JP2007096807A - 映像信号処理装置 - Google Patents

Abstract

【課題】入力映像信号に含まれる黒帯を検出し、その黒帯部分を除いた領域の画像の特徴に応じて階調や色信号成分を補正することにより、視覚上の画質をより一層向上させることが可能な映像信号処理装置を提供する。【解決手段】映像信号の特徴を抽出する検出枠を設定する検出枠設定手段（２、４）と、画面の上下左右に黒帯が存在するか否かを所定の期間毎に検出する黒帯検出手段（１、２）とを有し、上下の黒帯のみを検出したならば、この上下の黒帯を避ける領域の検出枠を設定し、左右の黒帯のみを検出したならば、この左右の黒帯を避ける領域の検出枠を設定し、上下左右の黒帯を検出したならば、上下左右の黒帯を避ける領域の検出枠を設定し、黒帯を検出しなかったならば、前記各検出枠よりも大きい領域の検出枠を設定して、その検出枠内の映像信号の特徴を抽出する。
【選択図】図１

Description

本発明は、映像信号の階調や色信号成分を補正して視覚上の画質を向上させる映像信号処理装置に係り、特に、入力された映像信号に含まれる黒帯を検出し、その黒帯部分を排除した領域の画像の特徴に応じて階調や色信号成分を補正することにより、視覚上の画質をより一層向上させることが可能な映像信号処理装置に関する。

入力された映像信号の画像の特徴に応じて、映像信号の階調や色信号成分を補正することにより、視覚上の画質を自動的に向上させる映像信号処理装置の提案がある。
例えば、特許文献１は、入力映像信号の画像の特徴に応じて、ガンマカーブを適宜変更して、最適な画質を得ようというものである。

図３は上記従来技術を用いた映像信号処理装置の構成を示す構成図である。以下、この図３を用いて従来の映像信号処理装置の処理内容を簡単に説明する。
従来の映像信号処理装置は、画像特徴検出部１、データ処理部２、映像信号処理部３の３つのブロックで構成される。

入力される映像信号は、画像特徴検出部１、及び映像信号処理部３に供給される。
画像特徴検出部１では、供給された入力映像信号の１画面（フレーム又はフィールド）毎の画像データの輝度信号分布（ヒストグラム）、平均輝度（ＡＰＬ）、最小輝度（ＭＩＮ）、最大輝度（ＭＡＸ）などの画像特徴情報を検出する。この際に用いる画像データは１画面全体の画像データではなく、予め任意の大きさに設定された検出枠内の画像データを用いても良い。

データ処理部２は、上記画像特徴検出部１で検出した画像特徴情報を基に、映像信号の補正を行なうための制御データを生成する。また、データ処理部２は装置全体の制御も行なう。

映像信号処理部３は、供給された入力映像信号に対して、上記データ処理部２で生成した制御データを用いて映像信号の補正を行う。
図２は、図１に示す画像特徴検出部１での、１画面内の画像特徴情報を検出する領域を表した図である。全体画面がｆであり、その中のｆａが画像特徴情報を検出する領域（検出枠）である。この検出枠ｆａ内の画像の特徴を検出する。検出枠ｆａは予め設定された設定値によって任意の大きさに固定されている。
特開２００５−２１７５７４

しかしながら、このような従来技術では、画像特徴検出部１における１画面内の画像特徴情報を検出する検出枠ｆａは予め設定された設定値によって任意の大きさに固定されている。

従って、映画コンテンツなどのワイド画面サイズの画像を通常画面サイズで表示する際の上下の黒帯や、逆に通常画面サイズの画像をワイド画面サイズで表示する際の左右の黒帯などが存在する映像信号の画像特徴情報を検出しようとする場合、この黒帯部分が検出枠ｆａ内に含まれてしまう可能性がある。この場合、黒帯部分の画像も画像特徴情報を検出するために使用してしまい、本来補正したい黒帯部分以外の画像の補正のための正確な画像特徴情報を得ることができない。従って、精度の良い画質補正ができなくなる。また、この問題を避けるために、黒帯部分が検出枠ｆａ内に含まれないように検出枠ｆａの大きさを設定すると、検出枠ｆａの大きさを小さくしなければならなくなり、画像特徴情報を検出するための画像データ量が十分ではなくなる。従ってこの場合でも、正確な画像特徴情報を得ることができず、精度の良い画質補正ができない。

このように、従来技術では検出枠ｆａの大きさが固定されているために、上記で説明したとおり黒帯の存在しない入力映像及び黒帯の存在する入力映像の両方の映像信号に対して正確な画像特徴情報を得ることができず、精度の良い画質補正ができないという課題があった。

そこで本発明は、入力される映像信号に対して一定周期で黒帯の検出処理を行い、黒帯が検出されない場合は、画面全体を検出枠ｆａとし、黒帯を検出した場合はその黒帯を含まない領域の大きさに検出枠ｆａを変更することで、黒帯の存在しない入力映像及び黒帯の存在する入力映像の両方の映像信号に対して正確な画像特徴情報を得ることができ、この正確な画像特徴情報によって精度の良い画質補正が可能な映像信号処理装置を提供することを目的とする。

そこで上記課題を解決するために本発明は、下記の装置を提供するものである。
（１）映像信号のフィールド又はフレームにおける画素データの輝度成分及び色成分の少なくとも一方を分析して画像特徴情報を生成する画像特徴情報生成手段と（１）、
前記画像特徴情報を基に前記映像信号の輝度成分及び色成分の少なくとも一方を補正するための制御データを生成する制御データ生成手段と（２）、
前記制御データに基づき、前記映像信号のフィールド又はフレーム毎に前記映像信号の輝度成分及び色成分の少なくとも一方を補正する映像信号処理手段と（３）、
からなる映像信号処理装置において、
前記画像特徴情報生成手段で用いる前記映像信号のフィールド又はフレームにおける画素データを取得するための検出枠を設定する検出枠設定手段と（４，２）、
前記映像信号に上下の黒帯及び左右黒帯の少なくとも一方が存在するか否かを、予め設定される所定の期間毎に検出する黒帯検出手段と（１、２）
を有し、
前記検出枠設定手段は、
前記黒帯検出手段で前記上下の黒帯のみを検出したならば、前記上下の黒帯の領域を除く第１の所定領域からなる前記検出枠である第１の検出枠を設定し、
前記黒帯検出手段で前記左右の黒帯のみを検出したならば、前記左右の黒帯の領域を除く第２の所定領域からなる前記検出枠である第２の検出枠を設定し、
前記黒帯検出手段で前記上下の黒帯及び前記左右の黒帯の両方を検出したならば、前記上下の黒帯の領域及び前記左右の黒帯の領域を除く第３の所定領域からなる前記検出枠である第３の検出枠を設定し、
前記黒帯検出手段で前記上下の黒帯及び前記左右の黒帯のいずれも検出しなかったならば、前記第１〜第３の検出枠の領域よりも大きい領域の検出枠からなる第４の検出枠を設定する検出枠設定手段である、
ことを特徴とする映像信号処理装置。

本発明によれば、入力される映像信号に対して一定周期で黒帯の検出処理を行い、黒帯が検出されない場合は、画面全体を検出枠ｆａとし、黒帯を検出した場合はその黒帯を含まない領域の大きさに検出枠ｆａを変更することで、黒帯の存在しない入力映像及び黒帯の存在する入力映像の両方の映像信号に対して正確な画像特徴情報を得ることができ、この正確な画像特徴情報によって精度の良い画質補正を行なうことが可能となる。

＜構成＞
本発明の実施例を説明する。図１は本発明を用いた映像信号処理装置の一実施例の構成を示す構成図である。

画像特徴検出部１、データ処理部２、映像信号処理部３、検出枠設定部４の４つのブロックで構成される。
入力される映像信号は、画像特徴検出部１、及び映像信号処理部３に供給される。

画像特徴検出部１では、供給された入力映像信号の１画面（フレーム又はフィールド）毎に、データ処理部２から設定される検出枠内の画像データの輝度信号分布（ヒストグラム）、平均輝度（ＡＰＬ）、最小輝度（ＭＩＮ）、最大輝度（ＭＡＸ）などの画像特徴情報を検出する。

なお入力映像信号はフィールド単位のインターレース信号でもフレーム単位のプログレッシブ信号でもよい。以下の説明ではプログレッシブ信号がフレーム単位で入力される場合の例を説明する。

データ処理部２は、画像特徴抽出部１に画像特徴情報を検出するための検出枠を設定すると共に、その検出枠内で画像特徴抽出部１が検出した画像特徴情報を取り込み、この画像特徴情報を基に入力映像信号の補正を行なうための制御データを生成する。また、データ処理部２は装置全体の制御も行なう。

映像信号処理部３は、供給された入力映像信号に対して、上記データ処理部２で生成した制御データを用いて映像信号の補正を行い、その補正した映像信号を映像信号出力として、図示しない表示装置などへ出力する。より具体的には、輝度信号（Ｙ）については階調補正部で階調を補正し、色差信号（Ｒ−Ｙ、Ｂ−Ｙ）については色補正部で色に関する各種補正を行なう。詳細な補正方法は、例えば前述の特許文献１などの従来例に記載されている内容を用いればよい。本説明では省略する。

検出枠設定部４は、予め装置出荷時または利用者のマニュアル操作などによって設定され図６に示す６種類の検出枠のそれぞれを設定するための４つの設定値(水平スタートポイント、水平幅、垂直スタートポイント、垂直幅)を保持している。そして、装置の動作開始時にその保持しているそれぞれの設定値をデータ処理部２に設定する。６種類の検出枠というのは、図６に示す通りの以下の検出枠である。

・検出枠ＡＬＬ：黒帯が無い映像の際に用いる最も大きい検出枠。
・検出枠Ｖ：Ｖ（垂直)方向の範囲が上下の黒帯にかからないように設定された検出枠検出枠。上下に黒帯がある映像に用いる。

・検出枠Ｈ：Ｈ（水平)方向の範囲が上下の黒帯にかからないように設定された検出枠検出枠。左右に黒帯がある映像に用いる。
・検出枠ＨＶ：Ｈ（水平)方向及びのＶ（垂直)方向の範囲が上下左右の黒帯にかからないように設定された検出枠検出枠。上下左右に黒帯がある映像に用いる。

・検出枠ＶＢ：上部の黒帯を検出するための上部黒帯検出用検出枠。上部の黒帯が存在する範囲内に納まるような領域に設定されている。
・検出枠ＨＢ：左部の黒帯を検出するための左部黒帯検出用検出枠。左部の黒帯が存在する範囲内に納まるような領域に設定されている。

データ処理部２は、本装置の動作開始時に、検出枠設定部４に記憶されている上記６種類の検出枠における４つの設定値(水平スタートポイント、水平幅、垂直スタートポイント、垂直幅)をそれぞれ取得し、データ処理部２内の一時記憶部に記憶しておき、入力される映像信号のフレーム毎に、この６種類の検出枠から後述する本発明の一実施例の動作シーケンスに応じて所定の１種類を選択して画像特徴検出部に設定する。

画像特徴検出部１、映像処理部３は、画素の単位で、かつ比較的処理が単純な情報処理を行うため、一般的には高速処理が可能なハードウェアで実現される。一方、データ処理部２は、フレーム単位で、かつ複雑な演算処理で画像解析を行なう必要があるので、一般的にはＣＰＵなどを用いたソフトウェアで実現される。またデータ処理部２は装置全体の制御も併せて行なう。
＜動作シーケンス＞
本発明の一実施例の動作シーケンスを図１の構成図、図４の画面上の検出枠設定の遷移図、及び図５のフローチャートを用いて詳細に説明する。

この実施例は、上下左右に黒帯が存在する入力映像信号に対する動作例である。また、これは黒帯の検出動作を行ないつつ、同時に入力映像信号の補正動作も行なう実施例である。なお、以下のフローチャートの動作の主体はデータ処理部２である。

ステップＳ０１：初期設定
本装置が動作を開始すると、まず検出枠設定部４が保持している６種類の検出枠の設定値データを取得する。

ステップＳ０２：映像信号補正処理
入力映像信号に黒帯が無い状態を想定して、図４（１）に示すような検出枠ＡＬＬを画像特徴検出部１に設定する。

画像特徴検出部１は、設定された検出枠ＡＬＬ内で、入力映像信号の画像特徴情報を検出する。検出した画像特徴情報を取得して、この画像特徴情報を基に入力映像信号の補正を行なうための制御データを生成し、映像信号処理部３へ供給する。映像信号供給部３は、供給された制御データを用いて、入力映像信号のうち輝度信号（Ｙ）は階調補正部で階調を補正し、色差信号（Ｒ−Ｙ、Ｂ−Ｙ）は色補正部で色に関する各種補正を行なって出力映像信号（Ｙ’、(Ｒ−Ｙ)'、(Ｂ−Ｙ)'）として、図示しない表示装置などへ出力する（ステップＳ０１、図４（１））。

上記一連の映像信号補正処理を所定期間（例えば３秒程度）実行する。
ステップＳ０３：上部黒帯検出
入力映像信号の上部に黒帯があるかどうかを検出するため、図４（２）に示すような検出枠ＶＢを画像特徴検出部１に設定する。

画像特徴検出部１は、設定された検出枠ＶＢ内の画像データに対して上部の黒帯の有無を検出するための上部黒帯検出情報（BHistVNew)を生成する。
以下にこの上部黒帯検出情報（BHistVNew)の生成方法を説明する。

輝度信号の大きさを所定の１６レベルに分割し、前記検出枠ＶＢ内の存在する画像データの各画素の輝度レベルが、その分割した１６レベルのうちのどのレベル間に入るかをそれぞれ検出して、その各レベル間に入る画素の数を数え、各レベル間毎のヒストグラムデータ（レベル間毎の画素数）を求める。この求めた各ヒストグラムデータのうち、輝度レベルが低く、映像として黒と判断できる例えば輝度レベル０から１番輝度レベルが小さいレベル間のヒストグラムデータと１番輝度レベルが小さいレベルと２番目に輝度レベルが小さいレベル間のヒストグラムデータの２つのヒストグラムデータの加算値(BHistV)を求める。

そして、検出枠ＶＢ内の総画素数にあたる全ヒストグラムデータの総数（HistVSum）に対する割合（BHistVNew）を下記式１によって求める。
BHistVNew = (BHistV ÷ HistVSum) × １００ ・・・ 式１
このBHistVNewが上部黒帯検出情報となり、本装置動作開始後１回目の上部黒帯検出時には、以下の条件１を満たした時に上部黒帯が存在すると判断する。

条件1. BHistVNew > 90 （％）(但し90に相当する閾値は任意に設定可)
今回の実施例では上部に黒帯が存在しているので、BHistVNewは90％を超える値になる。

更に、２回目以降の上部黒帯検出処理時には、今回検出したBHistVNewの値と、前回検出したBHistVNewの値との差分をとり、その差分値も黒帯検出の条件とする。このため今回検出したBHistVNewの値を、便宜的にBHistVOldと名称変更してデータ処理部２内の一時記憶部に保存する。

そして今回求めたBHistVNewと前回求めた上部黒帯検出情報であるBHistVOldとにより、下記式２によってその差分２乗値(BHistVSub)を求める。
BHistVSub = (BHistVNew - BHistVOld) ² ・・・式２
このBHistVSubは値が小さいほど、前回の画像との変化が少ないことを示す。

従って、２回目以降の上部黒帯検出時には、以下の条件１、及び条件２を満たした時に上部黒帯が存在すると判断する。このように２つの条件によって判断することにより、より正確に上部黒帯を検出することができる。

条件1. BHistVNew > 90（％）(但し90に相当する値は任意に設定可)
条件2. BHistVSub < 5 （％）(但し5に相当する値は任意に設定可)
なお、上部に黒帯が存在するということは、必然的に下部にも黒帯が存在すると判断できる。

この上部黒帯検出処理と以下に説明する左部黒帯検出処理を実行している期間（数フレーム程度）は、映像信号補正処理用の画像特徴情報が得られないため、データ処理部２は、上部黒帯検出処理に入る前のフレームにおいて生成し、記憶している制御データを、映像信号処理部３に設定して映像信号補正処理を行わせる。こうすることにより、上部及び左部黒帯検出期間においても違和感のない映像信号補正が実現できる。

ステップＳ０４：左部黒帯検出
入力映像信号の左部に黒帯があるかどうかを検出するため、図４（３）に示すような検出枠ＨＢを画像特徴検出部１に設定する。

画像特徴検出部１は、設定された検出枠ＨＢ内の画像データに対して上部の黒帯の有無を検出するための上部黒帯検出情報（BHistHNew)を生成する。
この左部黒帯検出情報（BHistHNew)は上記ステップＳ０３での方法と同様の方法で生成する。

そして、検出枠ＨＢ内の総画素数にあたる全ヒストグラムデータの総数（HistHSum）に対する割合（BHistHNew）を下記式３によって求める。
BHistHNew = (BHistH ÷ HistHSum) × １００ ・・・ 式３
このBHistHNewが左部黒帯検出情報となり、以下の条件１を満たした時に左部黒帯が存在すると判断する。

条件1. BHistHNew > 90 （％）(但し90に相当する閾値は任意に設定可)
今回の実施例では左部に黒帯が存在しているので、BHistHNewは90％を超える値になる。

更に、２回目以降の左部黒帯検出処理時には、今回検出したBHistHNewの値と、前回検出したBHistHNewの値との差分をとり、その差分値も黒帯検出の条件とする。このため今回検出したBHistHNewの値は、検出時に便宜上BHistHOldと名称変更してデータ処理部２内の一時記憶部に保存する。

そして２回目以降の左部黒帯検出を行う際には、今回求めたBHistHNewと前回求めた上部黒帯検出情報であるBHistHOldとにより、下記式４によってその差分２乗値(BHistVSub)を求める。

BHistHSub = (BHistHNew - BHistHOld) ² ・・・式４
このBHistVSubは値が小さいほど、前回の画像との変化が少ないことを示す。
従って、２回目以降の左部黒帯検出時には、以下の条件１、及び条件２を満たして時に左部黒帯が存在すると判断する。このように２つの条件によって判断することにより、より正確に左部黒帯を検出することができる。

条件1. BHistHNew > 90（％）(但し90に相当する値は任意に設定可)
条件2. BHistHSub < 5 （％）(但し5に相当する値は任意に設定可)
なお、左部に黒帯が存在するということは、必然的に右部にも黒帯が存在すると判断できる。

ステップＳ０５：上記ステップＳ０３による上部黒帯の検出結果、及びステップＳ０４による左部黒帯の検出結果に基付いて、次の映像信号補正処理に用いる検出枠を選択する。

ステップＳ０６：上部左部いずれの黒帯も検出しなかった場合は検出枠ＡＬＬを選択する。
ステップＳ０７：上部黒帯のみを検出した場合は検出枠Ｖを選択する。

ステップＳ０８：左部黒帯のみを検出した場合は検出枠Ｈを選択する。
ステップＳ０９：上部左部両方の黒帯を検出した場合は検出枠ＨＶを選択する。
ステップＳ１０：映像信号補正処理
上記ステップＳ０６〜ステップＳ０９で選択した検出枠を画像特徴検出部１に設定する。画像特徴検出部１は、設定された検出枠内で、入力映像信号の画像特徴情報を検出する。検出した画像特徴情報を取得して、この画像特徴情報を基に入力映像信号の補正を行なうための制御データを生成し、映像信号処理部３へ供給する。映像信号供給部３は、供給された制御データを用いて、入力映像信号のうち輝度信号（Ｙ）は階調補正部で階調を補正し、色差信号（Ｒ−Ｙ、Ｂ−Ｙ）は色補正部で色に関する各種補正を行なって出力映像信号（Ｙ’、(Ｒ−Ｙ)'、(Ｂ−Ｙ)'）として、図示しない表示装置などへ出力する（ステップＳ０１、図４（１））。

上記一連の映像信号補正処理を所定期間（例えば３秒程度）実行し後、ステップＳ０３に戻る。そして、本装置動作終了までステップＳ０３〜ステップＳ１０までの処理を繰り返し実行し、検出枠を動的に制御しながら映像信号補正処理を行なう。

上記のように、本実施例によれば、黒帯の存在しない入力映像及び黒帯の存在する入力映像の両方の映像信号に対して正確な画像特徴情報を得ることができ、この正確な画像特徴情報によって精度の良い画質補正を行なうことが可能となる。

また上記効果に加えて、本実施例は、検出する画像特徴情報の種類（映像信号補正用の情報、上部又は左部黒帯検出用の情報）をフレーム毎に切り替えてそれぞれの処理を行う動作シーケンスとしているので、検出枠の設定用のリソース、及びその設定した検出枠内における画像特徴情報の生成のためのリソースがそれぞれ1つで済み、回路規模の削減も可能となる。

なお、以上説明した黒帯検出には、輝度信号の大きさを所定の１６レベルに分割したヒストグラムを用いたが、もちろんヒストグラムを用いなくても良い。例えば、単純に黒レベルと判断できる輝度信号レベルを閾値として、この閾値以下の画素の数をカウントしたデータと黒帯検出枠内の画素データとを基に黒帯検出を行なっても良い。

また、本発明は上記した映像信号処理装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明の一実施例を示す構成図である。 一画面内の検出枠の一例を示す図である。 従来技術を示す構成図である。 本発明の一実施例の検出枠の遷移を示す図である。 本発明の一実施例のフローチャートである。 本発明の一実施例の検出枠の例である。

符号の説明

１ 画像特徴検出部
２ データ処理部
３ 映像信号処理部
４ 検出枠設定部

Claims (1)

1. 映像信号のフィールド又はフレームにおける画素データの輝度成分及び色成分の少なくとも一方を分析して画像特徴情報を生成する画像特徴情報生成手段と、
   前記画像特徴情報を基に前記映像信号の輝度成分及び色成分の少なくとも一方を補正するための制御データを生成する制御データ生成手段と、
   前記制御データに基づき、前記映像信号のフィールド又はフレーム毎に前記映像信号の輝度成分及び色成分の少なくとも一方を補正する映像信号処理手段と、
   からなる映像信号処理装置において、
   前記画像特徴情報生成手段で用いる前記映像信号のフィールド又はフレームにおける画素データを取得するための検出枠を設定する検出枠設定手段と、
   前記映像信号に上下の黒帯及び左右黒帯の少なくとも一方が存在するか否かを、予め設定される所定の期間毎に検出する黒帯検出手段と、
   を有し、
   前記検出枠設定手段は、
   前記黒帯検出手段で前記上下の黒帯のみを検出したならば、前記上下の黒帯の領域を除く第１の所定領域からなる前記検出枠である第１の検出枠を設定し、
   前記黒帯検出手段で前記左右の黒帯のみを検出したならば、前記左右の黒帯の領域を除く第２の所定領域からなる前記検出枠である第２の検出枠を設定し、
   前記黒帯検出手段で前記上下の黒帯及び前記左右の黒帯の両方を検出したならば、前記上下の黒帯の領域及び前記左右の黒帯の領域を除く第３の所定領域からなる前記検出枠である第３の検出枠を設定し、
   前記黒帯検出手段で前記上下の黒帯及び前記左右の黒帯のいずれも検出しなかったならば、前記第１〜第３の検出枠の領域よりも大きい領域の検出枠からなる第４の検出枠を設定する検出枠設定手段である、
   ことを特徴とする映像信号処理装置。
   
   
   

Images