JP2015012374A - 映像再生装置、映像再生装置の制御方法及び制御プログラム - Google Patents

Abstract

【課題】映像の表示内容に合わせて最適な画質改善を動的に行うことが可能な映像再生装置、映像再生装置の制御方法及び制御プログラムを提供することを目的としている。
【解決手段】実施形態の映像再生装置の分離部は、映像及び映像に同期した音声が入力され、音声から背景音と、声とを分離する。推定部は、声の再生状態に基づいて映像の表示内容を推定する。これらの結果、処理部は、推定部により推定された映像の表示内容に基づいて、予め設定した複数の画質改善処理から少なくともいずれかを選択して映像に対して施す。
【選択図】図２

Description

本発明の実施形態は、映像再生装置、映像再生装置の制御方法及び制御プログラムに関する。

現在、テレビ、ＤＶＤプレーヤ（ＤＶＤレコーダ）、Ｂｌｕ―ｒａｙ（登録商標） ｄｉｓｃプレーヤ（Ｂｌｕ―ｒａｙ ｄｉｓｃレコーダ）等の映像再生装置において、映像再生時には画質を改善する画質改善技術が盛り込まれている。
画質改善技術としては、例えば、エッジをきれいにするエッジ強調、映像の中できめ細かい箇所を見えやすくする質感復元、ノイズ除去、色補正などが挙げられる。

特開２００８−２０５６８４号公報

しかしながら、従来技術においては、このような画質改善はパネルに合わせる、またはユーザが指定するなどの方法があったが、場面ごとに合わせて動的に適切な画質改善を行うこと難しいという課題があった。
また、このうち、アップコンバート以外は映像によっては逆効果になってしまうものもあり、その時の映像にあわせて適切な画質改善を適用するのが難しいという課題もあった。
例えば、人の顔をきれいに見せるために色調整やエッジ強調は有効であるが、ノイズ除去や質感復元は逆効果になる可能性があるといった問題があった。

本発明は、上記に鑑みてなされたものであって、映像の表示内容に合わせて最適な画質改善を動的に行うことが可能な映像再生装置、映像再生装置の制御方法及び制御プログラムを提供することを目的としている。

実施形態の映像再生装置の分離部は、映像及び映像に同期した音声が入力され、音声から背景音と、声とを分離する。
推定部は、声の再生状態に基づいて映像の表示内容を推定する。
これらの結果、処理部は、推定部により推定された映像の表示内容に基づいて、予め設定した複数の画質改善処理から少なくともいずれかを選択して映像に対して施す。

図１は、本発明の映像再生装置の実施形態に係るテレビジョン放送受信装置の概要構成を示すブロック図である。 図２は、信号処理部の概要構成ブロック図である。 図３は、オーディオ解析エンジンの概要機能構成ブロック図である。 図４は、信号処理部の概要処理フローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、本発明の映像再生装置の実施形態に係るテレビジョン放送受信装置の概要構成を示すブロック図である。
テレビジョン放送受信装置１１は、アナログ放送の放送波とデジタル放送の放送波を受信し、受信したそれぞれの放送波から取り出した映像信号を用いて番組の映像を表示する据置型の映像表示装置である。

テレビジョン放送受信装置１１は、アンテナ１２、入力端子１３、チューナ１４および復調器１５を有している。
アンテナ１２は、デジタル放送の放送波を捕らえ、その放送波の放送信号を入力端子１３を介してチューナ１４に供給する。

チューナ１４は、入力されたデジタル放送の放送信号から所望のチャンネルの放送信号を選局する。
そして、チューナ１４から出力された放送信号は復調器１５に供給される。復調器１５は、放送信号に復調処理を施し、デジタル映像信号および音声信号を復調して、後述するセレクタ１６に供給する。

また、テレビジョン放送受信装置１１は、アンテナ１７、入力端子１８、チューナ１９およびアナログ復調器２０を有している。
アンテナ１７はアナログ放送の放送波を捕らえ、その放送波の放送信号を入力端子１８を介してチューナ１９に供給する。

チューナ１９は、入力されたアナログ放送の放送信号から所望のチャンネルの放送信号を選局する。
そして、チューナ１９から出力された放送信号はアナログ復調器２０により復調され、さらにデジタル信号に変換された後、セレクタ１６に出力される。

また、テレビジョン放送受信装置１１は入力端子２１，２３、Ａ／Ｄ変換部２２、信号処理部２４、スピーカ２５および映像表示パネル２６を有している。

入力端子２１は外部からアナログの映像信号および音声信号が入力され、入力端子２３は外部からデジタルの映像信号および音声信号が入力される。Ａ／Ｄ変換部２２は入力端子２１から供給されるアナログの映像信号および音声信号をデジタル信号に変換し、セレクタ１６に供給する。

セレクタ１６は、復調器１５、アナログ復調器２０、Ａ／Ｄ変換部２２および入力端子２３から供給されるデジタルの映像信号及び音声信号から１つを選択して、信号処理部２４に供給する。

信号処理部２４は、入力される映像信号について、所定の信号処理やスケーリング処理等を施し、処理後の映像信号を映像表示パネル２６に供給する。また、信号処理部２４は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ音声信号に変換してスピーカ２５に出力する。なお、詳しくは後述するが、信号処理部２４は図２に示す構成を含む。また、図１，２では、図示はしていないが、テレビジョン放送受信装置１１は、少なくともＴＳデマルチプレクサおよびＭＰＥＧデコーダを有し、ＭＰＥＧデコーダによってデコードされた後の信号が図２に示した信号処理部２４に入力される。

さらに、信号処理部２４は、映像表示パネル２６に表示させるためのＯＳＤ（On Screen display）信号も生成している。

スピーカ２５は、信号処理部２４から供給される音声信号を入力し、その音声信号を用いて音声を出力する。

そして、映像表示パネル２６は、液晶ディスプレイやプラズマディスプレイ等のフラットパネルディスプレイからなっている。映像表示パネル２６は、信号処理部２４から供給される映像信号を用いて映像を表示する。本実施の形態では、映像表示パネル２６は、後述する高解像度での映像表示を行える。

さらに、テレビジョン放送受信装置１１は制御部２７、操作部２８、受光部２９、ＨＤＤ（Hard Disk Drive）３０およびメモリ３１を有している。

制御部２７は、テレビジョン放送受信装置１１における種々の動作を統括的に制御する。制御部２７は、ＣＰＵ（central processing unit）等を内蔵したマイクロプロセッサであり、操作部２８からの操作情報を入力する一方、リモートコントローラ３２から送信された操作情報を受光部２９を介して入力し、それらの操作情報にしたがい各部をそれぞれ制御する。

この場合、制御部２７は、メモリ３１を使用している。メモリ３１は、主として、制御部２７に内蔵されているＣＰＵが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）と、ＣＰＵに作業エリアを提供するためのＲＡＭ（Random Access Memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。

ＨＤＤ３０は、セレクタ１６で選択されたデジタルの映像信号及び音声信号を記録する記録手段としての機能を有している。テレビジョン放送受信装置１１はＨＤＤ３０を有するため、セレクタ１６で選択されたデジタルの映像信号及び音声信号をＨＤＤ３０により記録することができる。さらに、テレビジョン放送受信装置１１は、ＨＤＤ３０に記録されたデジタルの映像信号及び音声信号を用いて映像および音声を再生することもできる。

図２は、信号処理部の概要構成ブロック図である。
信号処理部２４は、ストリームからオーディオデータ及びビデオデータを分離するデマルチプレクサ４１と、ビデオデータのデコードを行いアナログビデオ信号として出力するビデオデコーダ４２と、オーディオデータのデコードを行いアナログオーディオ信号として出力するオーディオデコーダ４３と、オーディオデコーダ４３のデコード結果であるアナログオーディオ信号に基づいて、音声から背景音及び声を分離し、解析を行うとともに、アナログオーディオ信号をそのまま出力（スルー出力）するオーディオ解析エンジン４４と、ビデオデータのデコード結果であるアナログビデオ信号及びオーディオ解析エンジン４４の解析結果に基づいて、アナログビデオ信号に対し画質改善を行う画質改善エンジン４５と、画質改善がなされたアナログビデオ信号を映像表示パネル２６で表示可能なフォーマットに変換した後、映像表示パネル２６に出力するビデオ出力モジュール４６と、入力されたアナログ音声信号に対し各種エフェクト（イコライジング等）などの処理を施した後、図示しないアンプで増幅し、スピーカ３５に出力するオーディオ出力モジュール４７と、を備えている。

ここで、オーディオ解析エンジン４４について詳細に説明する。
図３は、オーディオ解析エンジンの概要機能構成ブロック図である。
図４は、信号処理部の概要処理フローチャートである。

信号処理部２４は、映像及び音声の処理を行う（ステップＳ１１）。
まずオーディオ解析エンジン４４の概要動作について説明する。
オーディオ解析エンジン４４は、入力されたアナログオーディオ信号（音響信号）から取得した特徴量を用いて非定常性を持つ背景音成分を推定する。そして、背景音成分を推定する際、過去の一定時間内に取得した少ない特徴量で推定した背景音基底行列を用いる。

推定した背景音成分に加え、一定時間に推定した背景音成分を用いて、一定時間内の背景音成分を代表する背景音代表成分を推定する。また、取得した特徴量を用いて声成分を推定する。推定した声成分と代表成分を用いて、声または背景音のスペクトルを抽出するフィルタを作成する。作成したフィルタと音響信号のスペクトルを用いて、声信号と背景音信号に分離する。

このように、本実施形態のオーディオ解析エンジン４４は、過去に推定した第１背景音成分を用いて推定した代表成分に基づき分離を行う。これにより、背景音スペクトルが声スペクトルに残存する問題を改善できる。

オーディオ解析エンジン４４は、取得部５１と、算出部５２と、背景音推定部５３と、代表成分推定部５４と、声推定部５５と、フィルタ作成部５６と、分離部５７と、解析部５８と、を備えている。

取得部５１は、声信号と背景音信号を含んだ音響信号を周波数分析し、アナログオーディオ信号（音響信号）の特徴量を取得する。なお、取得部５１が周波数分析等により外部装置で求められた特徴量を取得するように構成してもよい。

算出部５２は、一定時間に取得される特徴量を用いて、背景音を表す背景音基底行列を算出する。
背景音推定部５３は、取得した特徴量および算出された背景音基底行列を利用して、特徴量の背景音成分のうち非定常性を持つ背景音成分を推定する。

代表成分推定部５４は、過去を含む一定時間に取得された１以上の特徴量により推定された背景音成分から、一定時間内の背景音成分の代表成分を推定する。
声推定部５５は、取得した特徴量を利用して、特徴量の声成分である声成分を推定する。

フィルタ作成部５６は、推定された声成分と背景音成分の代表成分とから、声のスペクトルまたは背景音のスペクトルを抽出するフィルタを作成する。

分離部５７は、フィルタとアナログオーディオ信号（音響信号）のスペクトルとを用いて、アナログオーディオ信号（音響信号）を声信号および背景音信号に分離する。
解析部５８は、分離された声信号及び背景音信号に基づいて、画質改善制御信号を画質改善エンジンに出力する。

より具体的には、解析部５８は、分離された声信号及び背景音信号に基づいて、人の声の音量変化により表示すべき映像の表示内容に変化があったか否か、すなわち、映像の場面に変化があったか否かを判別する（ステップＳ１２）。
映像の場面の変化の態様としては、例えば、以下のようなものが考えられる。

（１）人の声（声信号）の音量が、その他の音声（背景音信号）の音量に比較して、相対的に大きくなった場合には、当該映像の場面においては、人の顔が表示されていると判別して、人の肌の色が綺麗に見えるように色調整を行うように画質改善制御データを画質改善エンジンに出力すべき態様であるとする。

（２）同様に、人の声（声信号）の音量が、その他の音声（背景音信号）の音量に比較して、相対的に大きくなった場合には、当該映像の場面においては、人の顔が表示されていると判別して、輪郭をはっきりさせるようにエッジ強調を行うように画質改善制御データを画質改善エンジンに出力すべき態様であるとする。

（３）さらに人の声（声信号）の音量が、その他の音声（背景音信号）の音量に比較して、相対的に大きくなった場合には、当該映像の場面においては、人の顔が表示されていると判別して、画面全体を明るくする明るさ調整を行うように画質改善制御データを画質改善エンジンに出力すべき態様であるとする。

（４）人の声（声信号）の音量が、その他の音声（背景音信号）の音量に比較して、相対的に小さくなった場合には、当該映像の場面においては、人（人物）の表示サイズが画面全体に比較して小さくなったかあるいは表示されていないと判別して、細かな箇所が見やすくなるように質感復元を行うように画質改善制御データを画質改善エンジンに出力すべき態様であるとする。

ステップＳ１２の判別において、分離された声信号及び背景音信号に基づいて、人の声の音量変化により表示すべき映像の表示内容に変化が無かった場合には（ステップＳ１２；Ｎｏ）、待機状態となり、ステップＳ１２の判別を継続する。
ステップＳ１２の判別において、分離された声信号及び背景音信号に基づいて、人の声の音量変化により表示すべき映像の表示内容に変化があった場合には（ステップＳ１２；Ｙｅｓ）、解析部５８は、検知した映像の場面の変化の態様の種類と、映像の再生タイミングに対応するタイムスタンプを保持する（ステップＳ１３）。
そして、解析部５８は、画質改善エンジンにおいて、保持したタイムスタンプ以降の映像の画質改善態様を変更するように、画質改善制御データを画質改善エンジン４５に出力する。

画質改善エンジン４５は、画質改善制御データを保持し、保持した画質改善制御データに対応するタイムスタンプに基づいて当該タイムスタンプに対応する再生時刻以降の画質改善態様を変更する（ステップＳ１４）。

以上の結果、ユーザに意識させたり、画質改善のための指定を行わせたりすることなく、映像表示内容（場面）毎に動的に適切な画質改善を行うことができる。
また、より細かな映像表示内容（場面）を判別してより最適な画質改善を行うことができる。

本実施形態の映像再生装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成としてもよい。

本実施形態の映像再生装置で実行される制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。

また、本実施形態の映像再生装置で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の映像再生装置で実行される制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態の映像再生装置の制御プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
本実施形態の映像再生装置で実行される制御プログラムは、上述した各部（分離部、推定部、処理部等）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から制御プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、分離部、推定部、処理部等が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１ テレビジョン放送受信装置
２４ 信号処理部
２５ スピーカ
２６ 映像表示パネル
４１ デマルチプレクサ
４２ ビデオデコーダ
４３ オーディオデコーダ
４４ オーディオ解析エンジン
４５ 画質改善エンジン
５１ 取得部
５２ 算出部
５３ 背景音推定部
５４ 代表成分推定部
５５ 声推定部
５６ フィルタ作成部
５７ 分離部
５８ 解析部

Claims (9)

1. 映像及び前記映像に同期した音声が入力され、前記音声から背景音と、声とを分離する分離部と、
   前記声の再生状態に基づいて前記映像の表示内容を推定する推定部と、
   前記推定部により推定された前記映像の表示内容に基づいて、予め設定した複数の画質改善処理から少なくともいずれかを選択して前記映像に対して施す処理部と、
   を備えた映像再生装置。
2. 前記推定部は、前記声の再生状態と、対応する前記背景音の再生状態と、の相対的な関係に基づいて前記推定を行う、
   請求項１記載の映像再生装置。
3. 前記相対的な関係は、前記声の音量の前記背景音の音量に対する相対的な音量の変化を含む、
   請求項２記載の映像再生装置。
4. 前記音量の変化が前記声の音量が相対的に大きくなるものであった場合に、前記画質改善処理としてエッジ強調処理を選択する、
   請求項３記載の映像再生装置。
5. 前記音量の変化が前記声の音量が相対的に大きくなるものであった場合に、前記画質改善処理として人の肌の色を基準とする色補正処理を選択する、
   請求項３記載の映像再生装置。
6. 前記音量の変化が前記声の音量が相対的に大きくなるものであった場合に、前記画質改善処理として画面を明るくする明るさ変更処理を選択する、
   請求項３記載の映像再生装置。
7. 前記音量の変化が前記声の音量が相対的に小さくなるものであった場合に、前記画質改善処理として、質感復元処理を選択する、
   請求項１または請求項２記載の映像再生装置。
8. 映像及び前記映像に同期した音声の再生を行う映像再生装置において実行される映像再生装置の制御方法であって、
   映像及び前記映像に同期した音声が入力され、前記音声から背景音と、声とを分離する分離過程と、
   前記声の再生状態に基づいて前記映像の表示内容を推定する推定過程と、
   前記推定過程において推定された前記映像の表示内容に基づいて、予め設定した複数の画質改善処理から少なくともいずれかを選択して前記映像に対して施す処理過程と、
   を備えた映像再生装置の制御方法。
9. 映像及び前記映像に同期した音声の再生を行う映像再生装置において実行される映像再生装置をコンピュータにより制御する制御プログラムであって、
   前記コンピュータを、
   映像及び前記映像に同期した音声が入力され、前記音声から背景音と、声とを分離する分離手段と、
   前記声の再生状態に基づいて前記映像の表示内容を推定する推定手段と、
   前記推定手段により推定された前記映像の表示内容に基づいて、予め設定した複数の画質改善処理から少なくともいずれかを選択して前記映像に対して施す処理手段と、
   して機能させる制御プログラム。

Images