JP2009218862A - 映像信号処理装置、映像信号処理方法、およびプログラム - Google Patents

Abstract

【課題】映像信号の実質的な画像に付加されている黒帯部分を正確に検出する。
【解決手段】図１２のように、映像信号が推移した場合、上下端からそれぞれ２０画素の位置が境界位置として出力される。フレームｆ１では上端に境界候補が増加するものの、時間的連続性のある境界候補対は１つであるので、引き続き、同じ位置が境界位置として出力される。フレームｆ２では、境界候補は検出されないものの、１フレーム前出力した境界位置が、検出された低輝度範囲に含まれるので、フレームｆ１に対応して出力した境界位置が出力される。本発明は、例えば、ビデオプレーヤ、ビデオレコーダ、テレビジョンチューナ、テレビジョン受像機などの映像信号を処理する電子機器に適用できる。
【選択図】図１２

Description

本発明は、映像信号処理装置、映像信号処理方法、およびプログラムに関し、特に、テレビジョン放送画面などに含まれる黒帯を検出する場合に用いて好適な映像信号処理装置、映像信号処理方法、およびプログラムに関する。

例えば、テレビジョン放送番組やDVDなどのパッケージメディアに記録されている映画などのように、その画像の実質的な縦横比が従来のテレビジョン受像機に採用されていた横：縦＝４：３よりも横長（例えば、横：縦＝１６：９）である場合、映像信号としては、図１Ａに示すように、映画などの実質的な画像（黒帯以外の部分）の上下に黒帯が付加されていることがある。

また、反対に、従来のテレビジョン放送番組のように、画像の縦横比が横：縦＝４：３で作成されている番組を、ワイド画面に対応すべく１６：４の映像信号として放送する場合、図１Ｂに示すように、番組などの実質的な画像の左右に黒帯が付加されていることがある。

図１Ａおよび図１Ｂに示されたように、実質的な画像に黒帯が付加されている映像信号を表示する場合、例えば、黒帯部分を削除し、黒帯以外の実質的な画像の部分を拡大する画像処理が行われることがある。このような画像処理を実行するには、画像における黒帯部分を正確に検出する必要がある。

画像における黒帯部分を検出する方法としては、映像信号のフレーム毎、低輝度レベルや隣接ラインの画素との差分などに基づいて黒帯と実質的な画像との境界位置を検出し、検出した境界位置の時間連続性を判定する方法（例えば、特許文献１を参照）、黒帯が画面端から所定ライン期間に存在すると仮定して黒帯を検出する方法（例えば、特許文献２を参照）などが提案されている。

特開平９−２７０９６６号公報 特開平７−２９８２００号公報

しかしながら、特許文献１などに記載されている上述した方法では、黒帯の輝度値が十分に低くなかったりした場合、黒帯中に字幕やテロップなどが含まれていたりした場合、シーン途中で画面全体が低輝度なシーンになったりした場合などにおいて、フレーム毎の黒帯の境界位置を誤検出してしまうことがあり、これが黒帯位置の時間連続性の判定に影響を及ぼし、さらに最終的な黒帯位置の検出結果にも影響を及ぼしてしまうことがあった。

特許文献２などに記載されている上述した方法では、処理対象とする画像によっては、所定ライン期間の設定値に検出結果が左右されてしまうことがあった。

本発明はこのような状況に鑑みてなされたものであり、実質的な画像に付加された黒帯部分を正確に検出できるようにするものである。

本発明の一側面である映像信号処理装置は、映像信号を構成する時系列に連続したフレーム上に存在する黒帯を検出する映像信号処理装置において、前記フレーム上の低輝度範囲を検出する第１の検出手段と、検出された前記低輝度範囲内で前記黒帯の境界候補を検出する第２の検出手段と、検出された前記低輝度範囲および前記境界候補に基づき、前記黒帯の境界を判定する判定手段とを含む。

前記判定手段は、現フレーム上で検出された複数の前記境界候補のうち、現フレーム上の対向する端に存在し、且つ、現フレームの前記対向する端からの距離がほぼ同等の２つの前記境界候補からなる境界候補対を検出する検出処理、検出した前記境界候補対の時間的連続性をカウントするカウント処理、または、前フレームに対応する前記黒帯の境界位置が現フレームで検出された前記低輝度範囲に含まれるか否かを判定する判定処理のうちの、少なくとも２つの処理を含むようにすることができる。

前記判定手段は、現フレーム上で検出された複数の前記境界候補のうち、現フレーム上の対向する端に存在し、且つ、現フレームの前記対向する端からの距離がほぼ同等の２つの前記境界候補からなる境界候補対を検出した場合であって、且つ、検出した前記境界候補対に時間的連続性がある場合、検出した前記境界候補対の位置を前記黒帯の境界位置と判定し、現フレーム上で前記境界候補対を検出した場合であって、且つ、検出した前記境界候補対に時間的連続性がない場合、前フレームに対応する前記黒帯の境界位置を現フレームに対応する前記黒帯の境界位置に流用し、現フレーム上で前記境界候補対を検出しなかった場合であって、かつ、前フレームに対応する前記黒帯の境界位置が現フレームに対応して検出された低輝度範囲に含まれる場合、前フレームに対応する前記黒帯の境界位置を現フレームに対応する前記黒帯の境界位置に流用するようにすることができる。

本発明の一側面である映像信号処理方法は、映像信号を構成する時系列に連続したフレーム上に存在する黒帯を検出する映像信号処理装置の映像信号処理方法において、前記フレーム上の低輝度範囲を検出し、検出された前記低輝度範囲内で前記黒帯の境界候補を検出し、検出された前記低輝度範囲および前記境界候補に基づき、前記黒帯の境界を判定するステップを含む。

本発明の一側面であるプログラムは、映像信号を構成する時系列に連続したフレーム上に存在する黒帯を検出する映像信号処理装置の制御用のプログラムであって、前記フレーム上の低輝度範囲を検出し、検出された前記低輝度範囲内で前記黒帯の境界候補を検出し、検出された前記低輝度範囲および前記境界候補に基づき、前記黒帯の境界を判定するステップを含む処理を映像信号処理装置のコンピュータに実行させる。

本発明の一側面である映像信号処理装置、映像信号処理方法、およびプログラムにおいては、フレーム上の低輝度範囲が検出され、検出された低輝度範囲内で黒帯の境界候補が検出され、検出された低輝度範囲および境界候補に基づき、黒帯の境界が判定される。

本発明の一側面によれば、映像信号の実質的な画像に付加されている黒帯部分を正確に検出することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図２は、本発明の一実施の形態である黒帯検出装置の構成例を示している。この黒帯検出装置１０は、前段から入力される映像信号における黒帯を検出し、検出した黒帯と実質的な映像との境界（以下、単に境界と称する）の位置を後段に供給するものであり、当該後段においては、例えば、黒帯部分が除去されて、実質的な映像部分が拡大されるなどの画像処理が行われる。この黒帯検出装置１０は、例えば、テレビジョン受像機などの映像信号を処理する電子機器に適用される。

黒帯検出装置１０は、前段から入力される映像信号の各フレームにおける画素の輝度が低い範囲（低輝度範囲）を検出する低輝度範囲検出部１１、検出された低輝度範囲に存在する境界の候補を検出する境界候補検出部１２、検出される低輝度範囲と境界候補とに基づいてフレーム毎の境界の位置を判定する統合判定部１３、および、判定結果の時間的継続性に基づいて各フレームにおける境界の位置を後段に供給する出力処理部１５から構成される。

低輝度範囲検出部１１は、前段から入力される映像信号の各フレームを順に処理対象とし、処理対象のフレームの端（上、下、左、および右）から１ラインずつ順に注目ラインとし、さらに、図３に示すように、注目ライン上の画素を順に注目画素として、その輝度値が予め設定されている輝度閾値以下であるか否かを判定し、輝度値が輝度閾値以下である画素の数が予め設定されている第１の閾値以上である場合、当該注目ラインは低輝度範囲に含まれると判定し、当該ラインに低輝度ラインフラグを１に設定する。

なお、各フレームの縦ラインの画素数と横ラインの画素数とは異なるので、注目ラインが画像の上下にある場合と左右にある場合とは、第１の閾値として異なる値が設定されている。

このようにして、各フレームの注目ラインが低輝度範囲に含まれるか否かを判定することにより、図４に示すように、各フレームの端に低輝度範囲が検出される。なお、図４はフレームの上下の端に低輝度範囲が検出された例を示している。また当然ながら、黒帯が存在しないフレームにおいて低輝度範囲は検出されない。

境界候補検出部１２は、前段から入力される映像信号の各フレームを順に処理対象とし、処理対象のフレームの端（上、下、左、および右）で低輝度範囲検出部１１によって検出された低輝度範囲を１ラインずつ順に注目ライン、その隣のライン（次に注目ラインとなるライン）を隣接ラインとし、さらに、図５に示すように、注目ライン上の画素を順に注目画素として、隣り合う隣接ライン上の隣接画素との輝度値の差分絶対値を算出し、算出した輝度値の差分絶対値が予め設定されている差分閾値以上であるか否かを判定し、輝度値の差分絶対値が差分閾値以上である画素の数が予め設定されている第２の閾値以上である場合、当該注目ラインは境界候補であると判定する。

このように、境界候補が決定されることにより、例えば図６に示すように、黒帯内に字幕やテロップなどが表示されている場合においても、字幕やテロップなどの端を黒帯の境界として一意に検出してしまう（誤検出してしまう）ことなく、境界候補として検出することができる。

統合判定部１３は、低輝度範囲検出部１１によって検出される低輝度範囲と、境界候補検出部１２によって検出される境界候補とに基づき、フレーム毎に境界の位置を判定し、その時間的継続性を判定する。具体的には、フレームの上下端の境界候補、または左右端の境界候補のうち、フレーム端からの厚み、すなわち、黒帯の厚みが上下または左右でほぼ等しくなる組み合わせを検出し、検出した境界候補の組み合わせの時間的連続性をフレーム数としてカウントする。また、統合判定部１３は、上述したカウントした値や１フレーム前に境界の位置を保持するメモリ１４を内蔵している。

出力処理部１５は、統合判定部１３に判定された境界の位置の時間的継続性に基づき、各フレームにおける境界の位置を決定して後段に出力する。なお、出力処理部１５は、統合判定部１３に内蔵されたメモリ１４の情報も適宜参照する。

次に、黒帯検出装置１０による黒帯検出処理について、図７のフローチャートを参照して説明する。この黒帯検出処理は、黒帯検出装置１０に、時系列に連続した複数のフレームから成る映像信号が供給されたときに開始される。

ステップＳ１において、低輝度範囲検出部１１は、前段から入力された映像信号の各フレームを順に処理対象とし、処理対象のフレームにおける低輝度範囲を検出する。このステップＳ１の低輝度範囲検出処理について、図８のフローチャートを参照して詳述する。

この低輝度範囲検出処理は、前段から入力された映像信号の各フレームを順に処理対象として実行される。ステップＳ１１において、低輝度範囲検出部１１は、注目するフレームの上端、下端、左端、および右端を順に注目し、ステップＳ１２において、注目した端からフレーム中央に向かって１ラインずつ順に注目ラインに決定する。さらに、ステップＳ１３において、図３に示されたように、注目ライン上の画素を順に注目画素に決定する。

ステップＳ１４において、低輝度範囲検出部１１は、注目画素の輝度値が予め設定されている輝度閾値以下であるか否かを判定し、注目画素の輝度値が輝度閾値以下であると判定した場合、処理をステップＳ１５に進め、注目ラインにおける画素のうち、輝度値が輝度閾値以下である画素の数を示す第１のカウンタ値cnt1を１だけインクリメントする。

反対に、ステップＳ１４において、注目画素の輝度値が輝度閾値以下ではないと判定された場合、ステップＳ１５の処理はスキップされる。

ステップＳ１６において、低輝度範囲検出部１１は、現在の注目画素が注目ラインの最後の画素（端の画素）であるか否かを判定し、現在の注目画素が注目ラインの最後の画素ではないと判定した場合、処理をステップＳ１３に戻して、それ以降の処理を繰り返す。その後、ステップＳ１６において、現在の注目画素が注目ラインの最後の画素であると判定された場合、処理はステップＳ１７に進められる。

ステップＳ１７において、低輝度範囲検出部１１は、現在の注目ラインがフレームの中央のラインであるか否かを判定し、注目ラインがフレームの中央のラインではないと判定した場合、処理をステップＳ１２に戻して、それ以降の処理を繰り返す。その後、ステップＳ１７において、現在の注目ラインがフレームの中央のラインであると判定された場合、処理はステップＳ１８に進められる。

ステップＳ１８において、低輝度範囲検出部１１は、注目するフレームの上端、下端、左端、および右端を全て注目したか否か判定し、注目していない端が残っていると判定した場合、処理をステップＳ１１に戻して、それ以降の処理を繰り返す。そして、ステップＳ１８において、注目するフレームの上端、下端、左端、および右端が全て注目されたと判定された場合、処理はステップＳ１９に進められる。この段階において、処理対象とするフレームの全てのラインが注目ラインとされ、それぞれに対応する第１のカウンタ値cnt1がカウントされたことになる。

ステップＳ１９において、低輝度範囲検出部１１は、注目するフレームの上端、下端、左端、および右端を順に注目し、ステップＳ２０において、注目した端からフレーム中央に向かって１ラインずつ順に注目ラインに決定する。

ステップＳ２１において、低輝度範囲検出部１１は、注目ラインに対応する第１のカウンタ値cnt1が予め設定されている第１の閾値以上であるか否かを判定し、注目ラインに対応する第１のカウンタ値cnt1が第１の閾値以上であると判定した場合、処理をステップＳ２２に進めて、注目ラインに対応する低輝度領域フラグを１に設定する。

反対に、ステップＳ２１において、注目ラインに対応する第１のカウンタ値cnt1が第１の閾値以上ではないと判定された場合、低輝度範囲検出部１１は、注目ラインに対応する低輝度領域フラグを０に設定し、ステップＳ２２の処理をスキップする。

ステップＳ２３において、低輝度範囲検出部１１は、現在の注目ラインがフレームの中央のラインであるか否かを判定し、注目ラインがフレーム中央のラインではないと判定した場合、処理をステップＳ２０に戻して、それ以降の処理を繰り返す。その後、ステップＳ２３において、現在の注目ラインがフレーム中央のラインであると判定された場合、処理はステップＳ２４に進められる。

ステップＳ２４において、低輝度範囲検出部１１は、注目するフレームの上端、下端、左端、および右端を全て注目したか否か判定し、注目していない端が残っていると判定した場合、処理をステップＳ１９に戻して、それ以降の処理を繰り返す。そして、ステップＳ２４において、注目するフレームの上端、下端、左端、および右端が全て注目されたと判定された場合、当該低輝度範囲検出処理は終了される。

以上のように、処理対象とするフレームの各ラインが低輝度範囲に含まれるか否か判定され、この判定結果が低輝度ラインフラグとして設定されて、処理は図７のステップＳ２にリターンされる。

図７に戻る。ステップＳ２において、境界候補検出部１２は、前段から入力される映像信号の各フレームを順に処理対象とし、処理対象のフレームの端（上、下、左、および右）において低輝度範囲検出部１１によって検出された低輝度範囲における境界候補を検出する。このステップＳ２の境界候補検出処理について、図９のフローチャートを参照して詳述する。

この境界候補検出処理も低輝度範囲検出処理と同様、前段から入力された映像信号の各フレームを順に処理対象として実行される。ステップＳ３１において、境界候補検出部１２は、注目するフレームの上端、下端、左端、および右端で検出された低輝度範囲を順に注目し、ステップＳ３２において、注目した低輝度範囲の端からフレーム中央に向かって１ラインずつ順に注目ラインと隣接ラインを決定する。さらに、ステップＳ３３において、注目ライン上の画素を順に注目画素に決定する。

ステップＳ３４において、境界候補検出部１２は、注目画素と隣接画素との輝度値の差分絶対値を算出し、算出した輝度値の差分絶対値が予め設定されている差分閾値以上であるか否かを判定し、算出した輝度値の差分絶対値が差分閾値以上であると判定した場合、処理をステップＳ３５に進め、注目ラインにおける画素のうち、隣接画素との輝度値の差分絶対値が差分閾値以上である画素の数を示す第２のカウンタ値cnt2を１だけインクリメントする。

反対に、ステップＳ３４において、算出した輝度値の差分絶対値が差分閾値以上ではないと判定された場合、ステップＳ３５の処理はスキップされる。

ステップＳ３６において、境界候補検出部１２は、現在の注目画素が注目ラインの最後の画素（端の画素）であるか否かを判定し、現在の注目画素が注目ラインの最後の画素ではないと判定した場合、処理をステップＳ３３に戻して、それ以降の処理を繰り返す。その後、ステップＳ３６において、現在の注目画素が注目ラインの最後の画素であると判定された場合、処理はステップＳ３７に進められる。

ステップＳ３７において、境界候補検出部１２は、現在の注目ラインが注目している低輝度範囲のフレーム中央側の端のラインであるか否かを判定し、注目ラインが注目している低輝度範囲のフレーム中央側の端のラインではないと判定した場合、処理をステップＳ３２に戻して、それ以降の処理を繰り返す。その後、ステップＳ３７において、現在の注目ラインが注目している低輝度範囲のフレーム中央側の端のラインであると判定された場合、処理はステップＳ３８に進められる。

ステップＳ３８において、境界候補検出部１２は、注目するフレームの上端、下端、左端、および右端の低輝度範囲を全て注目したか否か判定し、注目していない端の低輝度範囲が残っていると判定した場合、処理をステップＳ３１に戻して、それ以降の処理を繰り返す。そして、ステップＳ３８において、注目するフレームの上端、下端、左端、および右端で検出された低輝度範囲が全て注目されたと判定された場合、処理はステップＳ３９に進められる。この段階において、処理対象とするフレームにおいて検出された低輝度範囲の全てのラインが注目ラインとされ、それぞれに対応する第２のカウンタ値cnt2がカウントされたことになる。

ステップＳ３９において、境界候補検出部１２は、注目するフレームの上端、下端、左端、および右端で検出された低輝度範囲を順に注目し、ステップＳ４０において、注目した低輝度範囲の端からフレーム中央側に向かって１ラインずつ順に注目ラインに決定する。

ステップＳ４１において、境界候補検出部１２は、注目ラインに対応する第２のカウンタ値cnt2が予め設定されている第２の閾値以上であるか否かを判定し、注目ラインに対応する第２のカウンタ値cnt2が第２の閾値以上であると判定した場合、処理をステップＳ４２に進めて、注目ラインを境界候補（黒帯と実質的な画像の境界の候補）に設定する。

反対に、ステップＳ４１において、注目ラインに対応する第２のカウンタ値cnt2が第２の閾値以上ではないと判定された場合、ステップＳ２２の処理はスキップされる。

ステップＳ４３において、境界候補検出部１２は、現在の注目ラインが注目している低輝度範囲のフレーム中央側の端のラインであるか否かを判定し、注目ラインが現在の注目ラインが注目している低輝度範囲のフレーム中央側の端のラインではないと判定した場合、処理をステップＳ４０に戻して、それ以降の処理を繰り返す。その後、ステップＳ４３において、現在の注目ラインが現在の注目ラインが注目している低輝度範囲のフレーム中央側の端のラインであると判定された場合、処理はステップＳ４４に進められる。

ステップＳ４４において、境界候補検出部１２は、注目するフレームの上端、下端、左端、および右端で検出された低輝度範囲を全て注目したか否か判定し、注目していない低輝度範囲が残っていると判定した場合、処理をステップＳ３９に戻して、それ以降の処理を繰り返す。そして、ステップＳ４４において、注目するフレームの上端、下端、左端、および右端で検出された全ての低輝度範囲が注目されたと判定された場合、当該境界候補検出処理は終了される。

以上のように、処理対象とするフレームで検出された低輝度範囲の各ラインが境界候補であるか否か判定される。この判定結果が統合判定部１３に供給されて、処理は図７のステップＳ３にリターンされる。

図７に戻る。ステップＳ３において、統合判定部１３は、低輝度範囲検出部１１によって検出された低輝度範囲と、境界候補検出部１２によって検出される境界候補とに基づき、フレーム毎の境界の位置を判定する。このステップＳ３の統合判定処理について、図１０のフローチャートを参照して説明する。

この低輝度範囲検出処理も、映像信号の各フレームに対して実行される。ステップＳ５１において、統合判定部１３は、境界候補検出部１２によって検出された境界候補のうち、フレームの上側で検出された低輝度範囲の境界候補と、フレームの下側で検出された低輝度範囲の境界候補とを比較し、それぞれの厚み（すなわち、上側の黒帯の厚みと下側の黒帯の厚み）がほぼ同等となる境界候補の組み合わせ（以下、境界候補対と称する）を検出する。なお、低輝度範囲が検出されなかった場合や境界候補が検出されなかった場合、このステップＳ５１の処理は省略することができる。

ステップＳ５２において、統合判定部１３は、境界候補検出部１２によって検出された境界候補のうち、フレームの左側で検出された低輝度範囲の境界候補と、フレームの右側で検出された低輝度範囲の境界候補とを比較し、それぞれの厚み（すなわち、左側の黒帯の厚みと右側の黒帯の厚み）がほぼ同等となる境界候補の組み合わせ（以下、境界候補対と称する）を検出する。なお、低輝度範囲が検出されなかった場合や境界候補が検出されなかった場合、このステップＳ５２の処理は省略することができる。

ステップＳ５３において、統合判定部１３は、ステップＳ５１またはＳ５２の処理の少なくとも一方で境界候補対が検出されたか否かを判定する。なお、映像信号に黒帯が含まれる場合、通常、フレームの上下端または左右端のいずれかに付加されているので、ステップＳ５１またはＳ５２の処理のどちらかで境界候補対が検出される。

ステップＳ５３において、ステップＳ５１またはＳ５２の処理の少なくとも一方で境界候補対が検出されたと判定された場合、処理はステップＳ５４に進められる。ステップＳ５４において、統合判定部１３は、検出された境界候補対とほぼ同じ位置で１フレーム前においても境界候補対が検出されていたか否かを判定し、検出されていたと判定した場合、処理をステップＳ５５に進める。

ステップＳ５５において、統合判定部１３は、検出された境界候補対の時間的継続性を示す第３のカウンタ値cnt3を１だけインクリメントして、当該統合判定処理を終了する。

反対に、ステップＳ５４において、検出された境界候補対とほぼ同じ位置で１フレーム前においても境界候補対が検出されていないと判定された場合、処理はステップＳ５７に進められる。

ステップＳ５７において、統合判定部１３は、検出された境界候補対の時間的継続性を示す第３のカウンタ値cnt3を０に初期化して、当該統合判定処理を終了する。

なお、ステップＳ５３において、ステップＳ５１およびＳ５２の処理で境界候補対が検出されないと判定された場合、処理はステップＳ５６に進められる。ステップＳ５６において、統合判定部１３は、１フレーム前の境界位置が現フレームの低輝度範囲に含まれるか否かを判定し、含まれると判定した場合、第３のカウンタ値cnt3を維持したまま、当該統合判定処理を終了する。

反対に、ステップＳ５６において、１フレーム前の境界位置が現フレームの低輝度範囲に含まれないと判定された場合、処理はステップＳ５７に進められ、第３のカウンタ値cnt3は０に初期化されて、当該統合判定処理は終了される。

以上のように、検出された境界候補対の時間的継続性を示す第３のカウンタ値cnt3がインクリメントされるか、０に初期化されるか、またはその値が維持されて、処理は図７のステップＳ４にリターンする。

図７に戻る。ステップＳ４において、出力処理部１５は、統合判定部１３によって設定された、境界候補対の時間的継続性を示す第３のカウンタ値cnt3に基づき、各フレームにおける境界の位置を決定して後段に出力する。このステップＳ４の出力処理について、図１１のフローチャートを参照して詳述する。

ステップＳ６１において、出力処理部１５は、統合判定部１３によって現フレーム上で境界候補対が検出されたか否かを判定し、検出されたと判定した場合、処理をステップＳ６２に進める。ステップＳ６２において、出力処理部１５は、検出された境界候補対に対する第３のカウンタ値cnt3が予め設定されている第３の閾値以上であるか否かを判定し、検出された境界候補対に対する第３のカウンタ値cnt3が第３の閾値以上であると判定した場合、処理をステップＳ６３に進める。

ステップＳ６３において、出力処理部１５は、現フレーム上で検出された境界候補対の位置を、境界の位置として後段に出力する。

反対に、ステップＳ６１において、統合判定部１３によって現フレーム上で境界候補対が検出されなかったと判定された場合、あるいは、ステップＳ６２において、検出された境界候補対に対する第３のカウンタ値cnt3が第３の閾値以上ではないと判定した場合、処理はステップＳ６４に進められる。

ステップＳ６４において、出力処理部１５は、1フレーム前に出力した境界の位置を、現フレームの境界の位置をして後段に出力する。

以上のように、出力処理によれば、現フレーム上で境界候補対が検出され、且つ、それが時間的継続性を有しているならば、境界と認識してその位置として後段に出力し、反対に、現フレーム上で境界候補対が検出されない場合、あるいは、検出されても時間的継続性を有していない場合、１フレーム前の境界の位置を後段に出力し、図７にリターンする。以上で、黒帯検出処理は終了される。

次に、以上説明した黒帯検出処理により、映像信号の各フレームに対応して出力される境界位置の例について、図１２乃至図１５を参照して説明する。

図１２は、フレームの上下端に黒帯が付加されている画像信号の推移を示しており、フレームの縦方向の画素数の一例としてその値が２４０である場合を示している。すなわち、フレームｆ０までは、その上下端に厚さ２０画素の低輝度範囲が存在し、そのフレーム中央側の端だけが境界候補として検出されている状況である。フレームｆ１になると、その上下端に厚さ２０画素の低輝度範囲が存在し、そのフレーム中央側の端だけでなく、低輝度範囲内の字幕などに応じた複数の境界候補が検出されている状況である。フレームｆ２では、画面全体が低輝度範囲となり、境界候補が検出されている状況である。

図１２のように、映像信号が推移した場合、フレームｆ０では、フレームの上下端の境界候補対として、検出されたフレームの上下端の境界候補対の位置、すなわち、上下端からそれぞれ２０画素の位置が境界位置として出力される。フレームｆ１では、上端に境界候補が増加するものの、時間的連続性のある境界候補対は１つであるので、引き続き、上下端からそれぞれ２０画素の位置が境界位置として出力される。そして、フレームｆ２では、境界候補は検出されないものの、１フレーム前のフレームｆ１に対応して出力した境界位置（フレームの上下端からそれぞれ２０画素の位置）が、検出された低輝度範囲に含まれるので、フレームｆ１に対応して出力した境界位置（フレームの上下端からそれぞれ２０画素の位置）が出力される。

図１３乃至図１５は、フレームの上下端に黒帯が付加されている映像信号の推移のうち、その上端側の情報を示している。なお、図１３乃至図１５においては、第３のカウンタ値の比較対象となる第３の閾値を７としている。

図１３は、黒帯検出処理が開始された直後（フレームｆ０乃至ｆ１１（図１２のフレームｆ０乃至ｆ２とは異なる））の例を示している。同図の場合、フレームｆ０乃至ｆ６においても、境界位置として上端から２０画素の位置が検出されているものの、時間的連続性がないので、フレームｆ６までは境界位置が出力されない。そして、フレームｆ７以降、検出された境界位置に時間的連続性がある（第３のカウンタ値が第３の閾値以上である）と判定されて、検出された境界位置（上端から２０画素の位置）が出力される。

図１４は、暗いシーンであるために画面全体の輝度が低下したときの例を示している。同図の場合、フレームｆ１０３以降に画面全体の輝度が低下し、低輝度範囲が上端から１１９画素の位置まで拡大され、境界位置が検出されていないが、１フレーム前のフレームｆ１０２に対応して出力した境界位置（フレームの上端から２０画素の位置）が検出された低輝度範囲に含まれるので、フレームｆ１０２に対応して出力した境界位置（フレームの上端から２０画素の位置）が出力される。

図１５は、黒帯が付加された映画などの画面から、黒帯のないコマーシャルの画面に切り替わったときの例を示している。同図の場合、フレームｆ２０３以降に低輝度範囲が消滅し、フレームｆ２０３で境界候補対が検出されないので第３のカウンタ値が０に初期化される。ただし、フレームｆ２０３乃至ｆ２０９では、新たな境界位置（フレームの上端から０画素の位置）の時間的連続性がないので、フレームｆ２０２に対応して出力した境界位置（フレームの上端から２０画素の位置）が出力される。そして、フレームｆ２１０以降、検出された境界位置に時間的連続性がある（第３のカウンタ値が第３の閾値以上である）と判定されて、検出された境界位置（上端から０画素の位置）が出力される。

以上説明したように、本発明を適用した黒帯検出装置１０によれば、映像信号にノイズのある場合、黒帯中に字幕、テロップなどを含む場合においても、高い精度で黒帯の境界を検出することが可能である。

また、映像信号の途中に画面全体が暗くなるようなシーンが含まれていても、高い精度で黒帯の境界を検出することが可能である。

なお、本発明は、例えば、ビデオプレーヤ、ビデオレコーダ、テレビジョンチューナ、テレビジョン受像機などの映像信号を処理する電子機器に適用することができる。

また、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

映像信号の画面上の黒帯を説明する図である。 本発明を適用した黒帯検出装置の構成例を示すブロック図である。 図２の低輝度範囲検出部の動作を説明する図である。 図２の低輝度範囲検出部の動作を説明する図である。 図２の境界候補検出部の動作を説明する図である。 境界候補の例を示す図である。 黒帯検出処理を説明するフローチャートである。 図７のステップＳ１を詳述するフローチャートである。 図７のステップＳ２を詳述するフローチャートである。 図７のステップＳ３を詳述するフローチャートである。 図７のステップＳ４を詳述するフローチャートである。 黒帯検出処理を説明するための図である。 黒帯検出処理による出力を説明するための図である。 黒帯検出処理による出力を説明するための図である。 黒帯検出処理による出力を説明するための図である。

符号の説明

１０ 黒帯検出装置， １１ 低輝度範囲検出部， １２ 境界候補検出部， １３ 統合判定部， １４ メモリ， １５ 出力処理部

Claims (5)

1. 映像信号を構成する時系列に連続したフレーム上に存在する黒帯を検出する映像信号処理装置において、
   前記フレーム上の低輝度範囲を検出する第１の検出手段と、
   検出された前記低輝度範囲内で前記黒帯の境界候補を検出する第２の検出手段と、
   検出された前記低輝度範囲および前記境界候補に基づき、前記黒帯の境界を判定する判定手段と
   を含む映像信号処理装置。
2. 前記判定手段は、現フレーム上で検出された複数の前記境界候補のうち、現フレーム上の対向する端に存在し、且つ、現フレームの前記対向する端からの距離がほぼ同等の２つの前記境界候補からなる境界候補対を検出する検出処理、検出した前記境界候補対の時間的連続性をカウントするカウント処理、または、前フレームに対応する前記黒帯の境界位置が現フレームで検出された前記低輝度範囲に含まれるか否かを判定する判定処理のうちの、少なくとも２つの処理を含む
   請求項１に記載の映像信号処理装置。
3. 前記判定手段は、
   現フレーム上で検出された複数の前記境界候補のうち、現フレーム上の対向する端に存在し、且つ、現フレームの前記対向する端からの距離がほぼ同等の２つの前記境界候補からなる境界候補対を検出した場合であって、且つ、検出した前記境界候補対に時間的連続性がある場合、検出した前記境界候補対の位置を前記黒帯の境界位置と判定し、
   現フレーム上で前記境界候補対を検出した場合であって、且つ、検出した前記境界候補対に時間的連続性がない場合、前フレームに対応する前記黒帯の境界位置を現フレームに対応する前記黒帯の境界位置に流用し、
   現フレーム上で前記境界候補対を検出しなかった場合であって、かつ、前フレームに対応する前記黒帯の境界位置が現フレームに対応して検出された低輝度範囲に含まれる場合、前フレームに対応する前記黒帯の境界位置を現フレームに対応する前記黒帯の境界位置に流用する
   請求項１に記載の映像信号処理装置。
4. 映像信号を構成する時系列に連続したフレーム上に存在する黒帯を検出する映像信号処理装置の映像信号処理方法において、
   前記フレーム上の低輝度範囲を検出し、
   検出された前記低輝度範囲内で前記黒帯の境界候補を検出し、
   検出された前記低輝度範囲および前記境界候補に基づき、前記黒帯の境界を判定する
   ステップを含む映像信号処理方法。
5. 映像信号を構成する時系列に連続したフレーム上に存在する黒帯を検出する映像信号処理装置の制御用のプログラムであって、
   前記フレーム上の低輝度範囲を検出し、
   検出された前記低輝度範囲内で前記黒帯の境界候補を検出し、
   検出された前記低輝度範囲および前記境界候補に基づき、前記黒帯の境界を判定する
   ステップを含む処理を映像信号処理装置のコンピュータに実行させるプログラム。

Images