JP2010130282A - 映像信号処理装置 - Google Patents

Abstract

【課題】入力映像信号がサイドパネル画像付加信号であるか否かを精度よく判断する。
【解決手段】映像信号処理装置１０は、映像信号の画面内の所定の第１の領域に含まれる複数の画素データに基づいて、第１の特徴情報を生成する第１の特徴検出部１と、第２の領域内の複数の画素データに基づいて、第２の特徴情報を生成する第２の特徴検出部２を備える。判断部３は、映像信号の複数画面で生成した複数の第１の特徴情報に基づいて第１の領域内の映像信号に変動があると判断し、複数の第２の特徴情報に基づいて第２の領域内の映像信号に変動がないと判断した場合に、映像信号はサイドパネル画像付加信号であると判断する。
【選択図】図１

Description

本発明は映像信号処理装置及び映像信号処理方法に係り、特にサイドパネルの画像を含む映像信号を処理する映像信号処理装置及び映像信号処理方法に関する。

入力映像信号におけるサイドパネルの有無を、輝度信号及び色信号を用いて検出する方法が特許文献１に開示されている。
特開２００７−６７８０９号公報

特許文献１では、サイドパネル領域の輝度信号及び色信号が連続時間一様であることを確認して、サイドパネル画像が付加された画像の映像信号が入力されたと判断している。
しかしながら、サイドパネル領域の輝度信号及び色信号に動きがないことを確認するだけでは、例えば動きの少ない画像の映像信号などが入力された際に、サイドパネル画像が付加された画像の映像信号であるか否かを検出することが困難な場合もある。
本発明は、入力映像信号がサイドパネル画像が付加された画像の映像信号であるか否かを、より精度よく検出できる映像信号処理装置を提供することを目的とする。

上記の課題を解決するため、本発明は（ａ）〜（ｅ）を提供する。
（ａ）映像信号の画面内の所定の第１の領域（ｆａ）に含まれる複数の画素データに基づいて、前記映像信号の輝度及び色の少なくとも一方の特徴を表す第１の特徴情報を生成する第１の特徴検出部（１）と、前記第１の領域の幅より狭い幅を有し、前記第１の領域の左右部それぞれに位置する第２の領域に含まれる複数の画素データに基づいて、前記第２の領域内の映像信号の輝度及び色の少なくとも一方の特徴を表す第２の特徴情報を生成する第２の特徴検出部（２）と、前記映像信号の複数画面で生成した複数の前記第１の特徴情報に基づいて前記第１の領域内の映像信号に変動があると判断し、前記映像信号の複数画面で生成した複数の前記第２の特徴情報に基づいて前記第２の領域内の映像信号に変動がないと判断した場合に、前記映像信号は第１のアスペクトの画像の左右部にサイドパネル画像が付加されて第２のアスペクトの画像となっているサイドパネル画像付加信号であると判断する判断部（３）とを備えることを特徴とする映像信号処理装置（１０）。
（ｂ）前記第２の特徴検出部は、前記第２の領域の幅より狭い幅を有する第３の領域（ｆｂ）の位置を所定の時間かけて移動させることによって前記第２の領域とし、前記第２の特徴情報を生成することを特徴とする（ａ）記載の映像信号処理装置。
（ｃ）前記判断部は、隣接する２つの画面間で前記第１の特徴情報が予め定めた第１のしきい値を超えて変動した場合に変動があると判断することを特徴とする（ａ）または（ｂ）に記載の映像信号処理装置。
（ｄ）前記判断部は、隣接する２つの画面間で前記第２の特徴情報が予め定めた第２のしきい値以内の変動であれば変動がないと判断することを特徴とする（ａ）ないし（ｃ）のいずれか１項に記載の映像信号処理装置。
（ｅ）前記映像信号に対して画質補正を施す映像信号処理部（４）をさらに備え、前記映像信号処理部は、前記判断部が前記映像信号はサイドパネル画像付加信号ではないと判断した場合は、前記第１の領域全体に含まれる複数の画素データに基づいて生成した前記第１の特徴情報を用いて前記映像信号に対して画質補正を施し、前記判断部が前記映像信号はサイドパネル画像付加信号であると判断した場合は、前記第１の領域から前記サイドパネル画像部分を除いた複数の画素データに基づいて生成した前記映像信号の輝度及び色の少なくとも一方の特徴を表す第３の特徴情報を用いて前記映像信号に対して画質補正を施すことを特徴とする（ａ）ないし（ｄ）のいずれか１項に記載の映像信号処理装置。

本発明によれば、映像信号の処理において、入力された映像信号がサイドパネル画像が付加された画像の信号であるか否かを正しく検出できる。

図１は本発明になる映像信号処理装置の一実施形態を示すブロック図である。本実施形態の映像信号処理装置１０は、画像特徴検出部１と帯領域検出部２と制御部３と映像信号処理部４と記憶部（メモリ）５を備える。
映像信号処理装置１０に入力された映像信号は、画像特徴検出部１、帯領域検出部２及び映像信号処理部４に供給される。なお入力映像信号はフィールド単位のインターレース信号でもフレーム単位のプログレッシブ信号でもよい。以下の説明では、プログレッシブ信号がフレーム単位で入力される場合を一例として説明する。

画像特徴検出部１は、供給された入力映像信号に基づいて制御部３から設定される、図２に示す画像特徴検出枠ｆａ内に含まれる複数の画素データに基づいて、映像信号の輝度または色の特徴を表す画像特徴情報を生成する。画像特徴情報は、例えば輝度信号分布（ヒストグラム）、平均輝度（ＡＰＬ）、最小輝度（ＭＩＮ）、最大輝度（ＭＡＸ）等を含む。画像特徴検出部１は、画像特徴情報を１画面（フレーム）毎に生成する。画像特徴情報を生成するために、輝度信号または色信号のどの信号を用いて、どのような情報をいくつ求めるかは、適宜決めればよい。

帯領域検出部２は、供給された入力映像信号に基づいて制御部３から設定される、図２に示す帯領域検出枠ｆｂ内に含まれる複数の画素データに基づいて、映像信号の輝度または色の特徴を表す帯領域情報を生成する。帯領域検出部２は、帯領域情報を１フレーム毎に生成する。帯領域検出枠ｆｂは、画像特徴検出枠ｆａより小なる幅を有する。
図３に帯領域検出部２の一構成例を示すブロック図を示す。帯領域検出部２は、帯領域検出枠ｆｂを構成する画素の各画素の輝度信号Ｙ、色差信号Ｂ−Ｙ、Ｒ−Ｙが入力される。色差信号Ｂ−Ｙは絶対値算出部２１Ｂに、色差信号Ｒ−Ｙは絶対値算出部２１Ｒに、それぞれ供給される。絶対値算出部２１Ｂ及び２１Ｒは、供給された色差信号を絶対値化して、最大値選択部２２に出力する。
輝度信号Ｙは直接、最大値選択部２２に供給される。

最大値選択部２２は、供給された輝度信号Ｙ、絶対値化された色差信号Ｂ−Ｙ、絶対値化された色差信号Ｒ−Ｙのうち、最大値を示す信号の値を選択し画素毎に記憶する。最大値選択部２２は、帯領域検出枠ｆｂを構成する全画素の信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）を受け取り、全画素分の最大値を選択すると、平均値算出部２３に出力する。
平均値算出部２３は全画素分の最大値の総和を求め、総和を全画素数で割り、帯領域検出枠ｆｂの平均値を算出する。帯領域検出部２は、算出した平均値（帯領域情報）を制御部３に出力する。

制御部３は、画像特徴検出部１に画像特徴情報を生成するための画像特徴検出枠ｆａを設定し、帯領域検出部２に帯領域情報を生成するための帯領域検出枠ｆｂを設定する。制御部３は、画像特徴検出部１が生成した画像特徴情報と帯領域検出部２が生成した帯領域情報とに基づいて、入力された映像信号が第１のアスペクトの画像の左右部にサイドパネル画像が付加されて第２のアスペクトの画像となっているサイドパネル画像付加信号であるか否かを判断する。制御部３の判断処理については後述する。
また制御部３は、画像特徴情報を基に入力映像信号に対して画質補正を行なうための制御情報を生成する。制御部３は映像信号処理部４を制御するための制御情報、及びサイドパネル画像付加信号であるか否かを示すサイドパネル情報を映像信号処理部４に出力する。
更に、制御部３は映像信号処理装置１０全体の制御も行なう。

映像信号処理部４は階調補正部４１と色補正部４２と輪郭補正部４３とを備え、制御部３から入力された制御情報及びサイドパネル情報を用いて入力映像信号の画質補正を行う。映像信号処理部４は補正した映像信号を、図示しない表示装置などへ出力する。
階調補正部４１は制御情報に基づいて、輝度信号（Ｙ）の階調を補正し、色補正部４２は制御情報に基づいて色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を補正する。輪郭補正部４３は、サイドパネル情報に基づいて映像信号の解像度にあわせた画像の輪郭補正を行う。

記憶部５は、制御部３が画像特徴検出部１及び帯領域検出部２を制御するために要する設定値を記憶する。設定値は、映像信号処理装置１０の出荷時または利用者のマニュアル操作などにより記憶部５に設定される。設定値はここでは、図２に示すパネルＰにおける画像特徴検出枠ｆａ及び帯領域検出枠ｆｂを設定するための４つの値(水平スタートポイント、水平幅、垂直スタートポイント、垂直幅)である。本実施形態のパネルＰの全画素数は、８５３×４８０画素である。
画像特徴検出枠ｆａにおけるこれらの４つの値を説明する。帯領域検出枠ｆｂについても同様の定義とし、説明を省略する。水平スタートポイントは、画像特徴検出枠ｆａの水平方向の一端部の位置を設定するための値であり、この端部と同じ側にあるパネルＰの水平方向の端部から何画素目に画像特徴検出枠ｆａの水平方向の端部を設定するかで決定する。水平幅は、画像特徴検出枠ｆａの水平方向の幅を示す値である。同様に垂直スタートポイントは、画像特徴検出枠ｆａの垂直方向の一端部の位置を設定するための値であり、この端部と同じ側にあるパネルＰの垂直方向の端部から何画素目に画像特徴検出枠ｆａの垂直方向の端部を設定するかで決定する。垂直幅は、画像特徴検出枠ｆａの垂直方向の幅を示す値である。
例えば本実施形態では画像特徴検出枠ｆａの、水平スタートポイントを５０、水平幅を７５３、垂直スタートポイントを２４、垂直幅を４３２とした。また帯領域検出枠ｆｂの、水平スタートポイントを４０、水平幅を８、垂直スタートポイントを２４、垂直幅を４３２とした。これらの値は、値１がパネルＰの１画素に対応するものとするが、これに限定するものではない。
制御部３は映像信号処理装置１０の動作開始時に記憶部５から各設定値を読み出し、図示しない一時記憶部に記憶する。制御部３は入力される映像信号のフレーム毎に、設定値を画像特徴検出部１及び帯領域検出部２に設定する。

画像特徴検出部１、帯領域検出部２及び映像信号処理部４は、比較的単純な情報処理を画素単位で行うため、一般的には高速処理が可能なハードウェアで実現される。一方制御部３は、複雑な演算処理により画像解析をフレーム単位で行なうので、一般的にはＣＰＵなどを用いたソフトウェアで実現される。
ただし、ハードウェアとソフトウェアの使い分けは特に限定されるものではない。

図４に、制御部３が入力映像信号をサイドパネル画像付加信号か否か、判断するためのフローチャートを示す。
映像信号処理装置１０が動作を開始すると、制御部３はステップＳ１にて、記憶部５が保持している設定値を取得する。制御部３は設定値に基づき、図２に示す画像特徴検出枠ｆａを画像特徴検出部１に設定する。画像特徴検出部１は、画像特徴検出枠ｆａ内の平均輝度値ＡＰＬを入力映像信号に基づいて求めて、制御部３に出力する。本実施形態では、平均輝度値ＡＰＬを画像特徴情報とした。
同様に制御部３は記憶部５から取得した設定値に基づき、帯領域検出枠ｆｂを帯領域検出部２に設定する（初期設定）。帯領域検出枠ｆｂの設定値は、サイドパネル画像付加信号において、一般的にサイドパネル画像が存在すると思われる領域（以降、サイドパネル領域）に含まれる複数の画素データを所定の時間かけて検出できるような値とする。帯領域検出部２は、帯領域検出枠ｆｂの位置を所定の時間かけて移動させることで、サイドパネル領域内の映像信号の輝度または色の特徴を表す情報を生成する。
本実施形態では、パネルＰの左側から帯領域情報の検出を行う。左側の帯領域情報の検出は、図２に示すように帯領域検出枠ｆｂを画像特徴検出枠ｆａの左側端部の外側から、パネルＰの内側に向けて移動させて行う。本実施形態では帯領域検出枠ｆｂを、左側端部から６フレームかけて移動させる。

帯領域検出部２は、帯領域検出枠ｆｂに囲われる全画素の信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）を基に、左側のサイドパネル領域から求めた平均値ＳＬ（帯領域情報）を算出し、制御部３に出力する。平均値ＳＬは、１フレーム毎に求めた６つの平均値ＳＬを制御部３に出力してもよいし、６フレーム分の平均値ＳＬの総和をフレーム数の６で割った値を制御部３に出力してもよい。
制御部３は、左側の帯領域情報を検出するための帯領域検出枠ｆｂの移動が終わると、続いてパネルＰの右側の帯領域情報の検出を開始する。右側の帯領域情報の検出は、帯領域検出枠ｆｂを画像特徴検出枠ｆａの右側端部の外側から、パネルＰの内側に向けて６フレームかけて移動させる。帯領域検出部２は上記同様に、６フレーム分の右側のサイドパネル領域から求めた平均値ＳＲを算出し、制御部３に出力する。

次に制御部３はステップＳ２で、ステップＳ１で求めた左右のサイドパネル領域の平均値の総和ＳＴを算出する。本実施形態では、１フレーム毎に求めた平均値ＳＬと平均値ＳＲとが、左右各領域６フレーム分ずつあるので、左右のサイドパネル領域の平均値の総和ＳＴは、１２フレーム分の値となる。
制御部３は続くステップＳ３で、ステップＳ１で入力された平均輝度値ＡＰＬと、ステップＳ２で求めた左右のサイドパネル領域の平均値の総和ＳＴのそれぞれを、１処理前の各値と比較し差分値を求める。１処理とは、ステップＳ１からステップＳ１１までのサイクルを指す。
ここで、１処理前の各値をそれぞれ、平均輝度値ＡＰＬｐ、総和ＳＴｐとし、算出した差分値をそれぞれ平均輝度値差分ＡＰＬｇ、総和差分ＳＴｇとする。各差分値を求める式を次の（１）（２）に示す。
（１）ＡＰＬｇ＝｜ＡＰＬｐ−ＡＰＬ｜
（２）ＳＴｇ＝｜ＳＴｐ−ＳＴ｜

ステップＳ４にて制御部３は、ステップＳ３で求めた平均値の総和の差分ＳＴｇが所定の値以上か否かを判定する。差分値ＳＴｇが所定の値より小さい場合は、隣接する画面間で左右のサイドパネル領域に変動が無いとし、ステップＳ５に進む。左右のサイドパネル領域に変動が無い場合、サイドパネル画像付加信号であると判断する。
一方、差分値ＳＴｇが所定の値以上の場合は、隣接する画面間で左右のサイドパネル領域に変動があるとし、ステップＳ１０に進む。左右のサイドパネル領域に変動がある場合、映像信号はサイドパネル画像が付加された画像のものではないと判断する。ここでは、所定の値を３０とし、差分値ＳＴｇ＜３０を判定した。

ステップＳ５にて制御部３は、ステップＳ３で求めた平均輝度値の差分値ＡＰＬｇが所定の値より大きいか否かを判定する。差分値ＡＰＬｇが所定の値より大きい場合は、隣接する画面間で入力映像信号が全体的に変動しているとし、ステップＳ６に進む。差分値ＡＰＬｇが所定の値以下の場合は、隣接する画面間で入力映像信号の変動が無いとし、ステップＳ７に進む。ここでは、所定の値を１０とし、ＡＰＬｇ＞１０を判定した。
ステップＳ６において制御部３は、映像信号はサイドパネル画像が付加された画像のもの（サイドパネル画像付加信号）であると判断した回数をカウントするためのカウンタの値ＳＣを１インクリメントする。すなわち、ステップＳ４にて左右のサイドパネル領域に変動がなく、ステップＳ５にて映像信号の変動があると判断した場合に、サイドパネル画像付加信号が入力されたと判断し、カウンタ値ＳＣを１加算する。
一方制御部３は、ステップＳ１０にてカウンタ値ＳＣを０にリセットする。これは、ステップＳ４にてサイドパネル領域に変動があると判断した場合である。

ステップＳ５にて制御部３が入力映像信号に変動がないと判断した場合、上記のように制御部３の処理はステップＳ７に進み、ステップＳ６にてカウンタ値ＳＣの更新を行わない。このステップＳ５からステップＳ７に移行する処理は、制御部３がサイドパネル領域に変動がないと判断し（ステップＳ４でＮＯ）、映像信号の変動がない（ステップＳ５でＮＯ）と判断したときに行われる。このような判断がされるのは、入力映像信号が静止画や変化の小さいものである場合が考えられる。
この場合制御部３は、カウンタ値ＳＣを変更することなくステップＳ７に進む。カウンタ値ＳＣは、更新あるいはリセットされるまで、その値が保持される。

ステップＳ６に続くステップＳ７では、制御部３はカウンタ値ＳＣが所定の値より大きいか否かを判定する。所定の値より大きい場合はステップＳ８に進み、制御部３は輪郭補正部４３の設定をＳＤ設定とする。この時制御部３は、入力映像信号は第１のアスペクトの画像の左右部にサイドパネル画像が付加されて第２のアスペクトの画像となっているサイドパネル画像付加信号であると判断する。一方、所定の値以下の場合はステップＳ１１に進み、制御部３は入力映像信号がサイドパネル画像付加信号ではないと判断し、輪郭補正部４３をＨＤ設定とする。ここでは、所定の値を４とし、カウンタ値ＳＣ＞４を判定した。
ステップＳ８またはステップＳ１１にて輪郭補正部４３の設定が完了すると、ステップＳ９に進む。ステップＳ９にて制御部３は、平均輝度値ＡＰＬと、左右のサイドパネル領域の平均値の総和ＳＴのそれぞれの値を更新する。すなわちステップＳ１からステップＳ８までの本処理で求めた平均輝度値ＡＰＬをＡＰＬｐと変更し、左右のサイドパネル領域の平均値の総和ＳＴをＳＴｐと変更する。そして再びステップＳ１に戻り、制御部３は上述した処理を繰り返す。

本実施形態では、制御部３がステップＳ４及びステップＳ５に基づいて、入力された映像信号はサイドパネルの画像を含む画像のものかどうかを判定する。制御部３はステップＳ４にてサイドパネル領域に変動が無いと判断し、更にステップＳ５において画像特徴検出枠ｆａ内の領域に変動があると判断した映像信号が入力されるフレーム数を数える。ステップＳ７において、数えたカウンタ値ＳＣが所定の値を超えたと判定すると、制御部３は入力映像信号がサイドパネル画像付加信号であると判定する。
なお、本実施形態では隣接する２つの画面間で求めた差分値を基に、サイドパネル領域及び画像特徴検出枠ｆａ内の領域の変動の有無を判断したが、差分値はこれに限るものではなく、複数画面より求めたものでもよい。

制御部３は、入力された映像信号がサイドパネル画像付加信号であると判断すると、新たな画像特徴検出枠ｆａ’の設定値を画像特徴検出部１に設定する。新たな画像特徴検出枠ｆａ’の設定値は、画像特徴検出枠ｆａ’が第２のアスペクトの画像からサイドパネル画像を除いた第１のアスペクトの画像の領域と一致するような値とする。
新たな画像特徴検出枠ｆａ’が画像特徴検出部１に設定されると、画像特徴検出部１は、画像特徴検出枠ｆａ’内の映像信号の輝度または色の特徴を表す画像特徴情報を生成し、制御部３に出力する。制御部３は画像特徴情報を基に映像信号に対して補正を行うよう、階調補正部４１、色補正部４２及び輪郭補正部４３を制御する。
入力された映像信号がサイドパネル画像付加信号ではない、と制御部３が判定した場合、制御部３は画像特徴検出枠ｆａ内の映像信号の画像特徴情報を基に、映像信号に対して補正を行うよう、階調補正部４１、色補正部４２及び輪郭補正部４３を制御する。
制御部３は、映像信号処理装置１０の動作が終了するまで図４に示すステップＳ１〜ステップＳ１１までの処理を繰り返し、サイドパネル画像付加信号であるか否かを判断し、その判断を考慮した映像信号処理を行う。

なお、本実施形態では画像特徴検出枠ｆａの領域の左右部に対して、帯領域検出枠ｆｂを移動させてサイドパネル画像の有無を検出したが、画像特徴検出枠ｆａの領域の上下部に対して同様の方法をもって黒帯の有無を検出してもよい。
また、本実施形態では帯領域検出枠ｆｂの移動を、画像特徴検出枠ｆａの外側から開始したが、画像特徴検出枠ｆａの内側から開始してもよい。その際、画像特徴検出枠ｆａの垂直方向一端部と帯領域検出枠ｆｂのパネルＰに対して外側の垂直方向端部とが一致する位置から、移動を開始させるとよい。
本実施形態によれば、画像特徴情報と帯領域情報とから、映像信号がサイドパネル画像付加信号であるか否かを判断することで、より精度よくサイドパネル画像の有無を検出できる。従ってサイドパネル画像を含まない画像部分の画像特徴情報を得られることで、画像の特徴に適した画質補正を行なうことが可能となる。

本発明の一実施形態である映像信号処理装置のブロック図である。 画面内に設定する検出枠の一実施形態を示す図である。 帯領域検出部２の一実施形態を示すブロック図である。 制御部３のフローチャートを示す図である。

符号の説明

１ 画像特徴検出部
２ 帯領域検出部
３ 制御部
４ 映像信号処理部
５ 記憶部

Claims (5)

1. 映像信号の画面内の所定の第１の領域に含まれる複数の画素データに基づいて、前記映像信号の輝度及び色の少なくとも一方の特徴を表す第１の特徴情報を生成する第１の特徴検出部と、
   前記第１の領域の幅より狭い幅を有し、前記第１の領域の左右部それぞれに位置する第２の領域に含まれる複数の画素データに基づいて、前記第２の領域内の映像信号の輝度及び色の少なくとも一方の特徴を表す第２の特徴情報を生成する第２の特徴検出部と、
   前記映像信号の複数画面で生成した複数の前記第１の特徴情報に基づいて前記第１の領域内の映像信号に変動があると判断し、前記映像信号の複数画面で生成した複数の前記第２の特徴情報に基づいて前記第２の領域内の映像信号に変動がないと判断した場合に、前記映像信号は第１のアスペクトの画像の左右部にサイドパネル画像が付加されて第２のアスペクトの画像となっているサイドパネル画像付加信号であると判断する判断部と
   を備えることを特徴とする映像信号処理装置。
2. 前記第２の特徴検出部は、前記第２の領域の幅より狭い幅を有する第３の領域の位置を所定の時間かけて移動させることによって前記第２の領域とし、前記第２の特徴情報を生成することを特徴とする請求項１記載の映像信号処理装置。
3. 前記判断部は、隣接する２つの画面間で前記第１の特徴情報が予め定めた第１のしきい値を超えて変動した場合に変動があると判断することを特徴とする請求項１または２に記載の映像信号処理装置。
4. 前記判断部は、隣接する２つの画面間で前記第２の特徴情報が予め定めた第２のしきい値以内の変動であれば変動がないと判断することを特徴とする請求項１ないし３のいずれか１項に記載の映像信号処理装置。
5. 前記映像信号に対して画質補正を施す映像信号処理部をさらに備え、
   前記映像信号処理部は、前記判断部が前記映像信号はサイドパネル画像付加信号ではないと判断した場合は、前記第１の領域全体に含まれる複数の画素データに基づいて生成した前記第１の特徴情報を用いて前記映像信号に対して画質補正を施し、前記判断部が前記映像信号はサイドパネル画像付加信号であると判断した場合は、前記第１の領域から前記サイドパネル画像部分を除いた複数の画素データに基づいて生成した前記映像信号の輝度及び色の少なくとも一方の特徴を表す第３の特徴情報を用いて前記映像信号に対して画質補正を施すことを特徴とする請求項１ないし４のいずれか１項に記載の映像信号処理装置。
   

Images