JP2008028902A - 映像調整装置 - Google Patents

Abstract

【課題】音声に応じて映像を最適に調整することが可能な、新規かつ改良された映像調整装置を提供すること。
【解決手段】映像信号と同期した音声信号の入力を受けて、前記音声信号の周波数帯域毎の度数分布を取得する音声信号分析部１１０と、度数分布に基づいて音声信号の特徴を判断し、音声信号に対応する映像のジャンル分けを行う音声信号特徴判断部１２０と、映像のジャンル分けの情報が入力され、映像のジャンルに応じて映像調整値を出力する画質調整テーブル１３０と、映像調整値が入力され、映像調整値に応じて映像信号を調整する画質調整部１４０と、を備える。
【選択図】図１

Description

本発明は、映像調整装置に関する。

テレビ等における映像と音声が両方含まれた信号源を表示する装置において、映像および音声のそれぞれは、ユーザの嗜好などに合わせて、各種の調整が行われるように構成されている。具体的には、映像信号では、明るさや、コントラスト、音声では、高音や低音等というように調整が行われる。

これらの調整機能は、あくまでも映像信号と音声信号を相互に独立して調整するものであり、両者が連動して処理されることはない。すなわち、映像信号と音声信号は、それぞれ独立した調整が行われているのが実情である。ここで、映像信号の調整が記載された文献としては、例えば特許文献１が挙げられる。また、音声信号の調整が記載された文献としては、例えば特許文献２が挙げられる。

特許２５８５５００号公報 特開平７−２１２８９８号公報

しかしながら、本来、映像信号と音声信号は互いに関連付けられるものであり、所定のコンテンツの映像を視聴者に対して提供する際に、映像信号と音声信号を別々に調整すると、音声に応じた最適な映像を提供することができなくなるという問題が発生する。

例えば、ニュース番組等は、アナウンサーの声など特定の音域の音声が連続して再生される場合が多く、一般に情報を伝達するのが主目的である。このような映像において、コントラストが低く、明るさ（輝度）の低い映像を表示すると、視聴者に対して違和感を与える場合がある。また、映画の静かなシーンを表示している場合に、コントラストが高く、明るいメリハリのある映像を表示すると、やはり視聴者に対して違和感を与える場合がある。このように、映像信号と音声信号を独立して調整する方法では、映像のコンテンツに応じて映像信号を調整することは困難である。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、音声に応じて映像を最適に調整することが可能な、新規かつ改良された映像調整装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、映像信号と同期した音声信号の入力を受けて、前記音声信号の周波数帯域毎の度数分布を取得する音声信号分析部と、前記度数分布に基づいて前記音声信号の特徴を判断し、前記音声信号に対応する映像のジャンル分けを行う音声信号特徴判断部と、前記映像のジャンル分けの情報が入力され、前記映像のジャンルに応じて映像調整値を出力する映像調整値出力部と、前記映像調整値が入力され、前記映像調整値に応じて前記映像信号を調整する画質調整部と、を備えた映像調整装置が提供される。

上記構成によれば、映像信号と同期した音声信号の入力を受けて、音声信号の周波数帯域毎の度数分布が取得され、度数分布に基づいて音声信号に対応する映像のジャンル分けが行われる。そして、映像のジャンルに応じて出力された映像調整値に応じて、映像信号が調整される。従って、音声信号に応じて映像信号を最適に調整することが可能となり、視聴者に対して映像のジャンルに応じた最適な映像を提供することが可能となる。

また、前記音声信号分析部は、前記度数分布に基づいて特定の周波数帯域の音声が連続する時間を取得し、前記音声信号特徴判断部は、前記特定の周波数帯域の音声が連続する時間に基づいて、前記音声信号の特徴を判断し、前記映像のジャンル分けを行うものであってもよい。

かかる構成によれば、特定の周波数帯域の音声が連続する時間に基づいて、映像のジャンル分けを的確に行うことができる。従って、例えば人の声に対応する周波数帯域の音声が連続する時間が所定時間以上の場合は、映像のジャンルがニュース番組であるなどの判定が可能となり、映像信号をニュース番組に適した状態に調整することができる。

また、前記音声信号特徴判断部は、前記特定の周波数帯域の音声が単一のピッチで繰り返される時間に基づいて、前記音声信号の特徴を判断し、前記映像のジャンル分けを行うものであってもよい。

かかる構成によれば、特定の周波数帯域の音声が単一のピッチで繰り返される時間に基づいて、映像のジャンル分けを的確に行うことができる。従って、例えば楽器のドラムの音など一定の周波数帯域に該当する音声が単一のピッチで繰り返される場合は、映像のジャンルが音楽番組であるなどの判定が可能となり、映像信号を音楽番組に適した状態に調整することができる。

また、前記音声信号特徴判断部は、前記度数分布に基づいて無音の状態が連続する時間を取得し、前記音声信号特徴判断部は、前記無音の状態が連続する時間に基づいて、前記音声信号の特徴を判断し、前記映像のジャンル分けを行うものであってもよい。

かかる構成によれば、無音の状態が連続する時間に基づいて、映像のジャンル分けを的確に行うことができる。従って、無音の状態が連続する場合は、映像のジャンルが映画番組であるなどの判定が可能となり、映像信号を映画番組に適した状態に調整することができる。

本発明によれば、音声に応じて映像を最適に調整することが可能な、新規かつ改良された映像調整装置を提供することが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態に係る映像調整装置１００の構成を示す模式図である。映像調整装置１００は、例えばテレビなどの情報発信装置の内部に構成される。図１に示すように、映像調整装置１００は、音声信号分析部１１０と、音声信号特徴判断部１２０と、画質調整テーブル１３０と、画質調整部１４０と、ディレイバッファ１５０と、を有して構成されている。

映像調整装置１００には、情報発信装置から発信される映像信号と、この映像信号に同期した音声信号が入力される。そして、音声信号分析部１１０には、音声信号が入力される。音声信号分析部１１０は、音声信号の入力を受けて、音声信号の特徴を抽出する。ここでは、音声信号を量子化し、所定のサンプリング周期毎に音声信号の中の特定周波数毎の度数を検出する。そして、この検出を複数の周波数帯域毎に行うことで、図２に示すようなヒストグラムを生成し、音声信号全体の周波数特性を抽出する。そして、度数分布の変化量に応じて、音声信号から推測する音域特徴を判断する。

例えば図２において、周波数帯域Ａは、人の声に相当する音声の周波数帯域を示している。通常、人の声の周波数帯域は８５［Ｈｚ］〜１１００［Ｈｚ］程度の範囲である。従って、音声信号分析部１１０に入力された音声信号の中で、周波数帯域Ａに相当する音声信号が連続し、この音声信号の度数が他の帯域よりも高い場合は、音声信号が人の声であると判断できる。

また、図２において、周波数帯域Ｂは、単一ピッチ（単一の時間間隔）で繰り返される音声の周波数帯域を示している。ここでは単一ピッチで繰り返される音声として、楽器のバスドラム(Bass Drum)の音を例示する。バスドラムでは、一般的に基本となるリズムを繰り返し叩くことが多く、その周波数帯域は５０［Ｈｚ］〜１００［Ｈｚ］程度の範囲である。音声信号分析部１１０に入力された音声信号の中で、周波数帯域Ｂに相当し、且つ所定レベル以上で現れる音声信号の間隔を調べ、この音声信号が特定の間隔で繰り返されている場合は、バスドラムの音に相当する単一ピッチの音声の繰り返しと判断することができる。

そして、音声信号分析部１１０では、特定の周波数帯域の音声信号と、この音声信号が連続する時間に基づいて、複数のパラメータを抽出する。ここでは、複数のパラメータの例として、無音部分が連続する時間、人の声が連続する時間、単一ピッチの音声が連続する時間、の３つのパラメータを挙げる。

無音部分が連続する時間は、音声信号が音の発生していない無音の状態を表している場合に、無音が連続する時間である。また、人の声が連続する時間は、音声信号が人の声である場合に、人の声が連続する時間である。また、単一ピッチの音声が連続する時間は、音声信号が単一ピッチで繰り返される場合に、この音声が連続する時間である。上述したように、ここでは、単一ピッチの音声として、周波数帯域が５０［Ｈｚ］〜１００［Ｈｚ］程度のバスドラムの音を例示する。

音声信号特徴判断部１２０には、音声信号分析部１１０から上記の３つのパラメータが入力される。音声信号特徴判断部１２０は、これらのパラメータの入力を受けて、音声信号に対応する映像のジャンル(genre)分けを行う。

図３は、音声信号分析部１１０で分析された３つのパラメータと、これらのパラメータに応じて音声信号特徴判断部１２０で分類される映像のジャンルとの関係の一例を示す模式図である。音声信号特徴判断部１２０では、図３に示すように、無音部分の連続時間、人の声の連続時間、単一ピッチ音声の連続時間に応じて、映像のジャンル分けが行われる。

図３の例では、無音部分の連続時間が１０秒未満であり、且つ、人の声の連続時間が３０秒以上の場合は、映像のジャンルがニュース番組であると判断される。一般的に、ニュース番組では、アナウンサーがニュースを読み上げる際に、無音部分が長時間（ここでは１０秒とする）に渡って連続することはない。また、アナウンサーによるニュースの読み上げは、通常、ある時間（ここでは３０秒とする）以上は連続して行われる。従って、一例として、無音部分の連続時間が１０秒未満であり、且つ、人の声の連続時間が３０秒以上の場合は、映像のジャンルがニュース番組であると判断することができる。

また、図３の例では、無音部分の連続時間が１０秒未満であり、且つ、単一ピッチ音声の連続時間が３０秒以上の場合は、映像のジャンルが音楽番組であると判断される。一般的に、音楽番組においても、無音部分が長く連続することはない。また、通常、音楽はベースとなるバスドラムの音を含んでおり、単一ピッチのバスドラムの音は、少なくともある時間（ここでは３０秒とする）以上は連続して発生する。従って、一例として、無音部分の連続時間が１０秒未満であり、且つ、バスドラムに相当する周波数帯域の音声が単一ピッチで３０秒以上連続する場合は、映像のジャンルが音楽番組であると判断することができる。

また、図３の例では、無音部分の連続時間が１０秒以上の場合は、映像のジャンルが映画番組であると判断される。映画番組では、他の番組と異なり、シーンによって無音部分が長く連続する場合がある。従って、一例として、無音部分の連続時間が１０秒以上の場合は、映像のジャンルが映画番組であると判断することができる。

画質調整テーブル１３０は、音声信号特徴判断部１２０で分類された各ジャンルに対して、映像調整の手法を規定したテーブルである。画質調整テーブル１３０には、音声信号特徴判断部１２０で判定された映像のジャンルが入力される。そして、画質調整テーブル１３０は、ジャンルに応じた映像調整値を出力する。図４は、画質調整テーブル１３０内で規定されたテーブルの一例を示す模式図である。ここでは、映像調整値の例として、映像のコントラスト(contrast)、映像の明るさ(bright)、映像の色彩(color)を挙げている。図４に示すように、画質調整テーブル１３０では、各ジャンルに対して、映像のコントラスト、明るさ、色彩の調整値が規定されている。

映像がニュース番組の場合は、映像および文字情報を視聴者に対して明確にわかり易く表示することが望ましい。このため、図４に示すように、映像のジャンルがニュース番組と判断された場合は、ニュース情報を読み取り易くするために、映像のコントラストおよび映像の色彩が高(high)に設定され、明るく、色が判別し易い映像に調整が行われる。映像の明るさは標準(middle)に設定される。

また、音楽番組の場合は、視聴者が映像のコンテンツ（内容）そのものを楽しむというよりも、映像を音楽と一体として観賞することが多い。このため、映像のジャンルが音楽番組と判定された場合は、明るく、ダイナミックな映像を得るために、映像のコントラストが高(high)に設定され、映像の明るさは低(Low)に設定される。コントラストを高(high)にすることで、明るく、メリハリのある映像へ調整を行うことができる。また、明るさを低(Low)にすることで、暗い部分の映像をつぶし、周囲の明るい映像を浮かび上がらせることができる。従って、映像の輪郭が強調され、シャープネスの効いた、躍動感溢れるきめ細やかな映像を表示することができる。映像の色彩は標準(middle)に設定される。

また、映画番組の場合は、映像のコンテンツの表現が主体となる。このため、映像のジャンルが映画番組と判定された場合は、映像のコントラストは低(Low)に設定され、映像の明るさは高(high)に設定され、映像の色彩は高(high)に設定される。明るさ、および色彩を高(high)にすることで暗部の映像を精細に表現することができる。また、コントラストを低(Low)にすることで、明るい部分の映像がつぶれてしまうことを回避できる。これにより、精細感に溢れ、暗い部分を含めて細部が明確に表示された、映画に適した映像に調整することができる。

以上のように画質調整テーブル１３０では、映像のコントラスト、映像の明るさ、映像の色彩の標準設定値を基準として、映像のジャンルに応じた調整が行われる。なお、図４に示す映像調整値はあくまでも一例であって、上記の他、例えば輪郭強調処理、ノイズ除去処理などの各種設定を調整することができる。

画質調整部１４０には、画質調整テーブル１３０から出力された各映像調整値が入力される。また、画質調整部１４０には、調整前の映像信号が入力される。画質調整部１４０は、入力された各映像調整値に基づいて、映像信号の調整（補正）を行う。

図５は、画質調整部１４０の構成の一例を示す模式図である。図５に示すように、画質調整部１４０は、映像信号のコントラストを調整するコントラスト調整部１４２、映像信号の明るさを調整する輝度調整部１４４、映像信号の色彩を調整する色彩調整部１４６を備えている。

コントラスト調整部１４２は、コントラストエンハンサに相当する構成要素である。図６は、コントラスト調整部１４２で行われる処理の一例を示す特性図である。図６に示すように、コントラスト調整部１４２では、映像信号の入力値（横軸）に対して、出力値が所定の特性で決定される。コントラストを高(high)にする場合は、標準(middle)の場合よりも特性の傾きが大きくなるように調整が行われ、コントラストを低(Low)にする場合は、標準(middle)よりも特性の傾きが小さくなるように調整が行われる。

輝度調整部１４４は、画質調整部１４０から出力される映像信号の絶対値を可変するものであり、調整値が高(high)の場合は、標準(middle)の場合に比べて、映像信号の出力が増加するように制御を行う。

色彩調整部１４４は、色彩の３要素（色相、彩度、明度）のうち、一例として、彩度(satulation)を可変する。図７は、色彩調整部１４４で行われる処理の一例を示す模式図である。図７は、円周方向に色相を示し、径方向に彩度を示した色度図を示している。図７のように、円周方向に黄、緑、青、赤の色相が配列された色度図においては、彩度は中心からの径方向の距離で表される。色彩の調整値が高(high)の場合は、標準(middle)よりも彩度が高くなるように調整が行われ、調整値が低(high)の場合は、標準(middle)よりも彩度が低くなるように調整が行われる。なお、本実施形態では彩度を調整することとしているが、色相、または明度を調整するようにしても良い。

図１に示すディレイバッファ１５０は、画質調整部１４０から出力される映像信号と、音声信号とを同調させるため、映像信号に対して音声信号を遅延させる機能を有している。映像調整装置１００に入力された時点では、音声信号と映像信号のタイミングは一致しているが、映像信号は、上述の一連の処理が行われた後に画質調整部１４０から出力されるため、音声信号に対して映像信号が遅延することが想定される。ディレイバッファ１５０は、音声信号を遅延させることで、画質調整部１４０から出力された映像信号と、音声信号とのタイミングを一致させる。

画質調整部１４０から出力され、映像調整装置１００から出力された映像信号は、情報発信装置が備える表示装置（モニタ）へ送られ、表示装置の画面に映像が表示される。これにより、視聴者は、映像のジャンルに応じて最適に調整された映像を見ることが可能となる。また、ディレイバッファ１５０から出力され、映像調整装置１００から出力された音声信号は、情報発信装置が備えるスピーカへ送られ、スピーカから音声が発信される。

ここで、映像調整を行う際に、映像信号のみから映像調整値を求める手法では、映像の調整に限界がある。本実施形態では、音声信号に基づいて映像調整値を決定するため、音声信号の特徴に応じて、映像や番組の種類、映像のコンテンツ情報に応じた調整を行うことが可能となる。従って、視聴者に対して、音声信号の特徴に基づいて最適に調整された映像を提供することが可能となる。

次に、図８のフローチャートに基づいて、本実施形態の映像調整装置における処理の手順について説明する。先ず、ステップＳ１では、情報発信装置から出力される音声信号を受信する。次のステップＳ２では、音声信号を量子化し、音声信号の中の特定周波数毎の度数を検出して、図２に示すようなヒストグラムを作成する。

次のステップＳ３では、ヒストグラムから抽出された特定の周波数帯域の音声と、その音声が連続する時間とに基づいて、音声信号の特徴を判断し、映像のジャンル分けを行う。次のステップＳ４では、映像のジャンルに基づいて映像調整値を取得する。ここでは、映像のジャンルに基づいて、コントラスト、明るさ、色彩の映像調整値が図４のテーブルから取得される。

次のステップＳ５では、ステップＳ４で取得された各映像調整値に基づいて、映像信号の調整が行われる。次のステップＳ６では、調整した映像信号に基づいて、情報発信装置の表示装置への映像表示を行う。ステップＳ６の後は処理を終了する(RETURN)。

以上説明したように本実施形態によれば、音声信号の特徴から映像のジャンル分けを行い、映像をジャンル毎に最適な状態に調整することが可能となる。従って、音声と映像を連動させて制御することが可能となり。映像のコンテンツに応じて最適に調整された映像を視聴者に対して発信することが可能となる。

なお、本実施形態を発展的に改変した例として、例えば音声信号特徴判断部１２０において、毎日同じ時刻に繰り返されるテレビ番組等を精度良く検出するために、時刻に応じた番組情報を考慮してジャンル分けを行ってもよい。また、音声信号特徴判断部１２０において、ジャンル分けについての学習機能を付加するなどしてもよい。更に、地上デジタル放送などの番組情報付加機能サービスが受信できる情報発信装置においては、電子番組表などの番組情報を考慮して、音域特徴を判断するようにしてもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の一実施形態に係る映像調整装置の構成を示す模式図である。 音声信号を分析して得られたヒストグラムを示す模式図である。 音声信号分析部で分析された３つのパラメータと、これらのパラメータに応じて音声信号特徴判断部で分類される映像のジャンルとの関係の一例を示す模式図である。 画質調整テーブル内で規定されたテーブルの一例を示す模式図である。 画質調整部の構成の一例を示す模式図である。 コントラスト調整部で行われる処理の一例を示す特性図である。 画質調整部の色彩調整部で行われる処理の一例を示す模式図である。 映像調整装置における処理の手順を示すフローチャートである。

符号の説明

１００ 映像調整装置
１１０ 音声信号分析部
１２０ 音声信号特徴判断部
１３０ 画質調整テーブル
１４０ 画質調整部

Claims (4)

1. 映像信号と同期した音声信号の入力を受けて、前記音声信号の周波数帯域毎の度数分布を取得する音声信号分析部と；
   前記度数分布に基づいて前記音声信号の特徴を判断し、前記音声信号に対応する映像のジャンル分けを行う音声信号特徴判断部と；
   前記映像のジャンル分けの情報が入力され、前記映像のジャンルに応じて映像調整値を出力する映像調整値出力部と；
   前記映像調整値が入力され、前記映像調整値に応じて前記映像信号を調整する画質調整部と；
   を備えたことを特徴とする、映像調整装置。
2. 前記音声信号分析部は、前記度数分布に基づいて特定の周波数帯域の音声が連続する時間を取得し、
   前記音声信号特徴判断部は、前記特定の周波数帯域の音声が連続する時間に基づいて、前記音声信号の特徴を判断し、前記映像のジャンル分けを行うことを特徴とする、請求項１に記載の映像調整装置。
3. 前記音声信号特徴判断部は、前記特定の周波数帯域の音声が単一のピッチで繰り返される時間に基づいて、前記音声信号の特徴を判断し、前記映像のジャンル分けを行うことを特徴とする、請求項２に記載の映像調整装置。
4. 前記音声信号特徴判断部は、前記度数分布に基づいて無音の状態が連続する時間を取得し、
   前記音声信号特徴判断部は、前記無音の状態が連続する時間に基づいて、前記音声信号の特徴を判断し、前記映像のジャンル分けを行うことを特徴とする、請求項１〜３のいずれかに記載の映像調整装置。

Images