JP2011033982A - 文字情報検出方法及び文字情報検出装置 - Google Patents

Abstract

【課題】ビデオ画像中に挿入されている字幕を挿入形式にかかわらず画像中から精度よく検出することができる技術を提供する。
【解決手段】映像信号入力部７１で入力された映像信号について、開始位置検出部７３によって注目画素の輝度値及びその周辺画素間の輝度差分値の大きさ、及び色差の絶対値に基づいて文字開始画素を検出する。同様に、終了位置検出部７４は文字終了画素を検出する。そして、文字情報検出部７５は、映像信号内の文字開始画素と文字終了画素の間の画素群の長さが映像信号内において相対的に短い場合にその画素群を文字情報として検出する。
【選択図】図７

Description

本発明は、映像信号中の文字情報を検出する技術に関する。

一般的に映画やドラマ等のビデオソフトには、翻訳された台詞、内容や状況等の説明のために字幕が挿入されていることが多い。このような字幕付きの映像をプロジェクタ等を使用して鑑賞する場合、暗い部屋で映画を観賞すると字幕が眩しく、快適な観賞の邪魔になることがある。これを改善するためには、映像信号に含まれる字幕を検出して、字幕の明るさを制御することが考えられる。

これまでにも字幕の表示エリアを検出して字幕の輝度レベルを制御する技術として、特開平４−３５４４８０号公報（特許文献１）に開示される技術があった。特許文献１には、映像信号のレベルが連続的に黒レベルとなったときに字幕表示エリアであると検出し、字幕表示エリアの字幕信号のレベルを制限する技術が開示されている。
図１は、映像信号に含まれる字幕を検出して字幕の明るさを制御する従来の輝度制御回路の一例を示すブロック図である。

図１おいて、入力端子１は再生装置から供給される再生映像信号が入力される端子である。図１に示される輝度制御回路では、入力端子１を介して映像信号が後述するリミッタ１０及び黒レベル検出回路２にそれぞれ供給される。黒レベル検出回路２は、入力端子１から入力された映像信号の黒レベルを電圧検出等により検出し、検出信号を出力する。黒レベル検出回路２は、例えば、入力映像信号が黒レベルと認められる時には映像信号を検出信号として出力し、これ以外のときにはローレベルの信号を検出信号として出力する。黒レベル検出回路２から出力された検出信号は、Ａ／Ｄコンバータ３に供給される。

次いで、ＣＰＵ４は、Ａ／Ｄコンバータ３から出力されたディジタル信号を用いて黒レベルとなっている水平同期期間の連続性を検出し、字幕表示領域に相当する映像信号が続いている間、制御回路９に制御信号を供給する。制御回路９は、ＣＰＵ４からの制御信号を受けてレベル制御信号を発生する。リミッタ１０は、制御回路９から供給されたレベル制御信号に基づいて映像信号の字幕表示領域に相当する映像信号のレベルに対してレベルの制限を行う。これにより、図１に示される従来の輝度制御回路は、映像の映像部分の輝度はそのままに維持しつつ、字幕表示領域内の字幕部分の輝度を変更して所望の明るさで映出することを可能としている。
また、画像信号から字幕部分の画像信号を抽出して、画像の平均輝度が低下した場合にそれに伴って字幕部分の輝度が低下するように画像処理を施す画像表示装置もある（特許文献２）。

特開平４−３５４４８０号公報（段落０００２、０００８、図１、図５） 特開２００４−１７７７２２号公報（段落０００６、００３５、図７）

しかしながら、上記特許文献１に記載の技術は、画面の上下に黒い部分を表示し、その黒い部分に字幕スーパーを映し出すシネマスコープサイズの形態で記録された映像信号にしか使えないという問題があった。したがって、市場に流通している映画やドラマ等のビデオソフトに挿入されている字幕はシネマスコープサイズの形態で記録されたものだけに限られないため、上記特許文献１に記載の技術をすべての字幕付きの映像に適用することはできなかった。
また、上記特許文献２に記載の技術は、字幕の背景となる画像の明るさから字幕の明るさを調整する必要があるため、１フレーム或いは複数フレーム等の画像信号を記憶することができるある程度大きなメモリが必要となる。

本発明は、上述した事情に鑑みてなされたものであり、上述のような問題を解決することを課題の一例とするものであり、これらの課題を解決することができる文字情報検出方法及び文字情報検出装置を提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、映像信号に含まれる文字情報を検出する文字情報検出方法であって、前記映像信号内の画素の輝度値、及び該画素の周辺画素間の輝度差分値、前記画素の色差の絶対値を該映像信号内の他画素の値と比較して前記画素が文字開始画素かどうかを判定することにより文字開始画素を検出する第１の工程と、前記映像信号内の画素の輝度値、及び該画素の周辺画素間の輝度差分値、前記画素の色差の絶対値を該映像信号内の他画素の値と比較して前記画素が文字終了画素かどうかを判定することにより文字終了画素を検出する第２の工程と、前記映像信号内の前記文字開始画素から前記文字終了画素までの間の画素群の長さで該画素群が文字情報かどうかを判定することにより文字情報を検出する第３の工程とを有することを特徴とする。

また、上記課題を解決するために、請求項２に係る発明は、映像信号に含まれる文字情報を検出する文字情報検出方法であって、前記映像信号内の画素の周辺画素間の輝度差分値を検出する第１の工程と、前記輝度差分値が第１閾値以上、かつ前記画素の輝度値が第２閾値以上、かつ前記画素の色差の絶対値が第３閾値以下のときに、該画素を文字開始画素とする第２の工程と、前記輝度差分値が第４閾値以下、かつ前記画素の輝度値が第５閾値以下、かつ前記画素の色差の絶対値が前記第３閾値以下のときに、該画素を文字終了画素とする第３の工程と、前記映像信号内の前記文字開始画素から前記文字終了画素までの間の長さが第６閾値よりも小さいときに、該画素群を文字情報として検出する第４の工程とを有することを特徴とする。

さらに、上記課題を解決するために、請求項６に係る発明は、映像信号に含まれる文字情報を検出する文字情報検出方法であって、前記映像信号内の一列に配列された画素列中の注目画素Ｐ_ｎ（ｎは１以上の整数）に隣接する画素Ｐ_ｎ＋１の輝度値と該注目画素Ｐ_ｎのもう一方に隣接する画素Ｐ_ｎ−１の輝度値の差分Ｐ_ｎ＋１−Ｐ_ｎ−１、又は前記注目画素Ｐ_ｎの輝度値と該注目画素Ｐ_ｎの隣接画素Ｐ_ｎ−１の輝度値の差分Ｐ_ｎ−Ｐ_ｎ−１を前記注目画素Ｐ_ｎにおける第１差分値として検出し、前記注目画素Ｐ_ｎにおける第１差分値と該注目画素Ｐ_ｎの少なくとも１つ以上の周辺画素Ｐ_ｎ−１，Ｐ_ｎ−２，…における第１差分値との和を第２差分値として検出する第１工程と、前記第１差分値が第１閾値以上、かつ前記注目画素Ｐ_ｎの輝度値が第２閾値以上、かつ前記注目画素Ｐ_ｎの色差の絶対値が第３閾値以下のときに、前記注目画素Ｐ_ｎを第１文字開始画素候補とし、前記第２差分値が前記第１閾値以上、かつ前記注目画素Ｐ_ｎの輝度値が前記第２閾値以上、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第２文字開始画素候補とする第２工程と、前記第１差分値が第４閾値以下、かつ前記注目画素Ｐ_ｎの輝度値が第５閾値以下、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第１文字終了画素候補とし、前記第２差分値が第４閾値以下、かつ前記注目画素Ｐ_ｎの輝度値が前記第５閾値以下、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第２文字終了画素候補とする第３工程と、前記第１文字開始画素候補から前記第１文字終了画素候補までの間の画素群の長さが第６閾値よりも小さいときに、前記第１文字開始画素候補を文字開始画素とし、前記第１文字終了画素候補を文字終了画素として前記画素群を文字情報として検出する第３工程と、前記第１文字開始位置候補から前記第１文字終了位置候補までの間の長さが前記第６閾値以上であって、前記第２文字開始位置候補から前記第２文字終了位置候補までの間の距離が前記第６閾値よりも小さいときに、前記第２文字開始位置候補を文字開始位置とし、前記第２文字終了位置候補を文字終了位置として前記画素群を文字情報として検出する第４工程とを有することを特徴とする。

さらにまた、上記課題を解決するために、請求項７に係る発明は、映像信号に含まれる文字情報を検出する文字情報検出装置であって、前記映像信号内の画素の輝度値、及び該画素の周辺画素間の輝度差分値、前記画素の色差の大きさを該映像信号内の他画素の値と比較して前記画素が文字開始画素かどうかを判定することにより文字開始画素を検出する開始位置検出手段と、前記映像信号内の画素の輝度値、及び該画素の周辺画素間の輝度差分値、前記画素の色差の大きさを該映像信号内の他画素の値と比較して前記画素が文字終了画素かどうかを判定することにより文字終了画素を検出する終了位置検出手段と、前記映像信号内の前記文字開始画素から前記文字終了画素までの間の画素群の長さで該画素群が文字情報かどうかを判定することにより文字情報を検出する文字情報検出手段とを備えることを特徴とする。

さらにまた、上記課題を解決するために、請求項８に係る発明は、映像信号に含まれる文字情報を検出する文字情報検出装置であって、前記映像信号内の画素の周辺画素間の輝度差分値を検出する差分値検出手段と、前記輝度差分値が第１閾値以上、かつ前記画素の輝度値が第２閾値以上、かつ前記画素の色差の絶対値が第３閾値以下のときに、該画素を文字開始画素とする開始位置検出手段と、前記輝度差分値が第４閾値以下、かつ前記画素の輝度値が第５閾値以下、かつ前記画素の色差の絶対値が前記第３閾値以下のときに、該画素を文字終了画素とする終了位置検出手段と、前記映像信号内の前記文字開始画素から前記文字終了画素までの間の長さが第６閾値よりも小さいときに、該文字開始画素と該文字終了画素との間の画素群を文字情報として検出する文字情報検出手段とを備えることを特徴とする。

さらにまた、上記課題を解決するために、請求項１２に記載の発明は、映像信号に含まれる文字情報を検出する文字情報検出装置であって、前記映像信号内の一列に配列された画素列中の注目画素Ｐ_ｎ（ｎは１以上の整数）に隣接する画素Ｐ_ｎ＋１の輝度値と該注目画素Ｐ_ｎのもう一方に隣接する画素Ｐ_ｎ−１の輝度値の差分Ｐ_ｎ＋１−Ｐ_ｎ−１、又は前記注目画素Ｐ_ｎの輝度値と該注目画素Ｐ_ｎの隣接画素Ｐ_ｎ−１の輝度値の差分Ｐ_ｎ−Ｐ_ｎ−１を前記注目画素Ｐ_ｎにおける第１差分値として検出し、前記注目画素Ｐ_ｎにおける第１差分値と該注目画素Ｐ_ｎの少なくとも１つ以上の周辺画素Ｐ_ｎ−１，Ｐ_ｎ−２，…における第１差分値との和を第２差分値として検出する差分値検出手段と、前記第１差分値が第１閾値以上、かつ前記注目画素の輝度値が第２閾値以上、かつ前記注目画素の色差の絶対値が第３閾値以下のときに、前記注目画素Ｐ_ｎを第１文字開始画素候補とし、前記第２差分値が前記第１閾値以上、かつ前記注目画素Ｐ_ｎの輝度値が前記第２閾値以上、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第２文字開始画素候補とする開始位置検出手段と、前記第１差分値が第４閾値以下、かつ前記注目画素Ｐ_ｎの輝度値が第５閾値以下、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第１文字終了画素候補とし、前記第２差分値が第４閾値以下、かつ前記注目画素Ｐ_ｎの輝度値が前記第５閾値以下、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第２文字終了画素候補とする終了位置検出手段と、前記第１文字開始画素候補から前記第１文字終了画素候補までの間の長さが第６閾値よりも小さいときに、前記第１文字開始画素候補を文字開始画素とし、前記第１文字終了画素候補を文字終了画素として前記画素群を文字情報として検出するとともに、前記第１文字開始位置候補から前記第１文字終了位置候補までの間の長さが前記第６閾値以上であって、前記第２文字開始位置と前記第２文字終了位置との間隔が前記第６閾値よりも小さいときに、前記第２文字開始位置候補を文字開始位置とし、前記第２文字終了位置候補を文字終了位置として前記画素群を文字情報として検出する文字情報検出手段とを備えることを特徴とする。

さらにまた、上記課題を解決するために、請求項１３に記載の映像信号処理装置の発明は、映像信号に含まれる文字情報を検出して文字情報検出信号を出力する請求項７から１２までのいずれか１項に記載の文字情報検出装置と、前記映像信号を所定期間蓄積する記憶装置と、前記文字情報検出信号に基づいて前記映像信号に含まれる文字情報の輝度を調整する輝度調整手段とを備えることを特徴とする。

さらにまた、上記課題を解決するために、請求項１４に記載の発明は、請求項１から６までのいずれか１項に記載の文字情報検出方法をコンピュータに実行させるためのプログラムである。

さらにまた、上記課題を解決するために、請求項１５に記載の発明は、請求項１４に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体である。

映像信号に含まれる字幕を検出して字幕の明るさを制御する従来の輝度制御回路の一例を示すブロック図である。 本発明の一実施形態に係る映像信号の水平方向の一ラインの画素データの配列の様子を示す図である。 本発明の第１の実施形態に係る文字情報検出方法の手順を説明するためのフローチャートである。 本発明の第２の実施形態に係る文字情報検出方法の手順を説明するためのフローチャートである。 本発明の一実施形態に係る文字情報検出処理を行う映像信号処理装置の構成図である。 図５に示す映像信号処理装置での文字情報検出処理の様子を説明するための図である。 本発明の一実施形態に係る文字情報検出装置の構成を示すブロック図である。

以下、図面を参照して、本発明の一実施形態に係る文字情報検出方法及び文字情報検出装置について説明する。

図２は、本発明の一実施形態に係る映像信号の水平方向の一ラインの画素データの配列の様子を示す図である。図２においてＰ_０,…,Ｐ_ｍａｘは１つの画素を表し、各画素Ｐ_０,…,Ｐ_ｍａｘはそれぞれ輝度成分Ｙ及び色差成分Ｃ_ｂ、Ｃ_ｒを持っている。本実施形態で対象とする字幕が挿入された映画等の画面は、図２に示されるような一列の画素群の映像信号が垂直方向に配列されることで構成される。

映画ソフト等の字幕は、一般的に、文字の周りを黒色で縁取られた高輝度の白色の文字であることが多い。このような字幕の場合は、映像信号中の当該字幕部分に相当する画素は高輝度の白色画素（白画素）であり、縁取り部分の画素は低輝度の黒色画素（黒画素）である。

本発明はこの特徴を利用することで、水平ライン方向の画素列で黒画素→白画素、白画素→黒画素となっている箇所を検出し，黒画素→白画素となっている画素から白画素→黒画素となっている画素までの間の画素群（白画素群）が字幕に相当する画素であると判定する。

一般に、映像信号中の各画素の色差成分Ｃ_ｂ、Ｃ_ｒは当該画素が白画素又は黒画素の場合、その値は０付近になる。ここで、色差成分のような正負の値をとる成分は、一般にオフセット・バイナリで表現されることが多い。オフセット・バイナリは、ストレート・バイナリを０が中央に来るように全体を押し下げたもので、最上位ビットＭＳＢ（Most Significant Bit）が１のときが正、０のときが負になっている。すなわち、ＭＳＢがサインビットとなっている。例えば、８ビットのオフセット・バイナリで０付近の値は、１０進法表現で１２８付近の値に相当する。そこで本実施形態では、映像信号が各画素８ビットで表現されており、色差成分Ｃ_ｂ、Ｃ_ｒが１２８付近であるか否かによって、当該画素が白画素又は黒画素であるか否かを判断する。尚、本実施形態では映像信号を各画素８ビットで表現しているが、この設定は本発明の一実施形態を説明するための一例であって、映像信号を８ビット以上又は８ビット以下の画素で表現した場合であっても同様の処理が可能である。

尚、以下の実施形態では、一例として、映像信号中の字幕を高輝度の白色の文字とした場合の文字検出方法及び装置について説明するが、本発明の適用は高輝度の白色の字幕だけに限定されるわけではない。すなわち、高輝度の白色以外の字幕であっても、その文字部分の画素の色差は映像信号中では一定の値をとることから、文字画素の色差成分の判定の際に文字色の値にあわせた演算（この場合は色差成分が白や黒を示す０付近ではない値での演算となる。）をさせることにより、白色以外の字幕に対しても本発明の適用が可能となる。そして、このような処理を行うためには、例えば、本発明を実施するための文字情報検出装置に字幕の色に合わせた色差（固定値又は一定範囲の値）を与えることができる構成を付加すればよい。また、映像信号中の字幕の色がわかった時点でユーザがその色を選択できるような構成を当該装置に付与してもよい。

＜第１の実施形態＞
以下の実施形態では、ＤＶＤプレーヤ、ブルーレイディスクプレーヤ及びディスプレイ装置等の内部装置、或いはそれらに接続可能な外部装置として構成される文字情報検出装置における文字情報検出処理について説明する。尚、本実施形態に係る文字情報検出処理おいては、一例として、一画面が縦Ｌ_{ｍａｘ＋１}画素×横Ｐ_{ｍａｘ＋１}画素で構成された映画等の動画像の映像信号から字幕を検出するものとする。
図３は、本発明の第１の実施形態に係る文字情報検出方法の手順を説明するためのフローチャートである。

（処理1）
まず、文字情報検出装置内のパラメータｍ、ｎを０とする（ステップＳ１０１）。当該パラメータｍ、ｎは文字情報検出処理を行っている映像信号中の注目画素の位置を示すものであり、０以上の整数である。従って、以下の処理では、水平ラインＬ_ｍ（ｍ＝０,…,ｍａｘ）毎に処理が行われていく。

そこで、図２に示す水平ラインＬ_ｍの画素Ｐ_１から順に前後の画素間の輝度差分値である一次微分値を求める（ステップＳ１０２）。すなわち、注目画素Ｐ_ｎとその隣接画素Ｐ_ｎ＋１，Ｐ_ｎ−１が有する輝度成分をそれぞれＹ_ｎ，Ｙ_ｎ＋１，Ｙ_ｎ−１とすると、注目画素（処理対象画素）の輝度差分値ｄ_ｎは隣接画素間の差分値（Ｙ_ｎ−Ｙ_ｎ−１）又は一次微分値（Ｙ_ｎ＋１−Ｙ_ｎ−１）等で計算することができる。本実施形態では、これらのどの輝度差分値を用いてもよい。

（処理２）
当該処理では、字幕の開始位置を特定するために、映像信号が黒→白へ変化している部分の検出を行う。本実施形態では、以下の条件をすべて満たす画素を文字開始画素候補として検出する（ステップＳ１０３）。
・条件１：処理１で得られた輝度差分値ｄ_ｎが正であり、かつ当該輝度差分値が第１閾値Ａ以上であること…ｄ_ｎ≧Ａ＞０（第１閾値Ａは、注目画素が文字開始画素候補であるか否かを、注目画素と隣接画素の輝度が一定以上の差異があることで当該注目画素が文字のエッジを構成する画素になっているか否かで判定するために用いられる。）
・条件２：注目画素Ｐ_ｎの輝度Ｙ_ｎが第２閾値Ｂ以上であること…Ｙ_ｎ≧Ｂ（第２閾値は、注目画素が文字開始画素候補であるか否かを、注目画素が高輝度の画素であるか否かで判定するために用いられる。）
・条件３：注目画素Ｐ_ｎの色差成分Ｃ_ｂ，Ｃ_ｒの絶対値（大きさ）が第３閾値Ｉ以下、すなわち０付近の値であること（第３閾値Ｉは、注目画素が白画素の文字開始画素候補であるか否かを、注目画素の色差が０に近いことによって判定するために用いられる。）

ステップＳ１０３で上記条件１〜３を全て満たす場合（Ｙｅｓ）、注目画素Ｐ_ｎを字幕開始画素候補として記録し（水平ライン中の画素の位置を示すパラメータｅｄｇｅにｎを割り当てる）、開始検出信号Ｓｔａｒｔ（ｎ）を１にする（ステップＳ１０４）。一方、ステップＳ１０３でそれ以外の場合（Ｎｏ）、開始検出信号Ｓｔａｒｔ（ｎ）を０にする（ステップＳ１０５）。

尚、前述したように本実施形態では色差成分Ｃ_ｂ、Ｃ_ｒがオフセット・バイナリ表現であるため、ステップＳ１０３の処理における色差成分Ｃ_ｂ、Ｃ_ｒが０付近であることの検出は、色差成分Ｃ_ｂ、Ｃ_ｒと一定値Ｈ_ｂ、Ｈ_ｒ（画像が８ビット表現の時はＨ_ｂ＝Ｈ_ｒ＝１２８となる）との差を求め、その差の絶対値が第３の閾値Ｉ以下であることで行っている（｜Ｃ_ｂ−Ｈ_ｂ｜≦Ｉ ＆ ｜Ｃ_ｒ−Ｈ_ｒ｜≦Ｉ）。

（処理３）
当該処理では、字幕の終了位置を特定するために、映像信号が白→黒へ変化している部分の検出を行う。本実施形態では以下の条件をすべて満たす画素を文字終了画素候補として検出する（ステップＳ１０６）。
・条件１：処理１で得られた輝度差分値が負であること…ｄ_ｎ＜０
・条件２：上記輝度差分値の絶対値（大きさ）が第４閾値Ｃ以上であること…｜ｄ_ｎ｜≧Ｃ（第４閾値Ｄは、注目画素が文字終了画素候補であるか否かを、注目画素と隣接画素の輝度が一定以上の差異があることで当該注目画素が文字画素とエッジを構成する画素になっているか否かで判定するために用いられる。）
・条件３：注目画素Ｐ_ｎの輝度値Ｙ_ｎが第５閾値Ｄ以下であること…Ｙ_ｎ≦Ｄ（第５閾値は、注目画素が白画素から黒画素に切り替わった部分である文字終了画素候補であるか否かを、注目画素が低輝度の画素であるか否かで判定するために用いられる。）
・条件４：注目画素Ｐ_ｎの色差成分Ｃ_ｂ、Ｃ_ｒが０付近であること

ステップＳ１０６で上記条件１〜４を全て満たす場合（Ｙｅｓ）、注目画素Ｐ_ｎを字幕終了画素候補として終了検出信号Ｅｎｄ（ｎ）を１にする（ステップＳ１０７）。一方、ステップＳ１０６でそれ以外の場合（Ｎｏ）、終了検出信号Ｅｎｄ（ｎ）を０にする（ステップＳ１０８）。

尚、処理３においても色差成分Ｃ_ｂ、Ｃ_ｒが０付近であることの検出は、Ｃ_ｂ、Ｃ_ｒがオフセット・バイナリ表現であるため、色差成分Ｃ_ｂ、Ｃ_ｒと一定値Ｈ_ｂ、Ｈ_ｒ（画像が８ビット表現の時はＨ_ｂ＝Ｈ_ｒ＝１２８となる）との差を求めて、その差の絶対値が第３の閾値Ｉ以下であることで行っている（｜Ｃ_ｂ−Ｈ_ｂ｜≦Ｉ ＆ ｜Ｃ_ｒ−Ｈ_ｒ｜≦Ｉ）。すなわち、第３閾値Ｉは、注目画素が黒画素の文字終了画素候補であるか否かを、注目画素の色差が０に近いことによって判定するために用いられる。

次いで、白から黒への変化を検出した時、すなわち字幕終了画素候補が検出された時の水平位置と文字開始画素候補の水平位置との差の確認を行う（ステップＳ１０９）。本実施形態では、文字開始画素候補と文字終了画素候補の画像上の距離（ｎ−ｅｄｇｅ）が第６閾値Ｅよりも小さいか否かを判断する。すなわち、本実施形態では字幕を構成する文字の線の幅をＥ画素程度とした。そして、以下に示すように、開始検出信号が１になってからＥ画素間のうちに終了検出信号が１にならない場合は、そのときの開始検出信号を０にし、次の開始検出信号を探すようにしている。

ステップＳ１０９の判断の結果、当該距離がＥ画素以上である場合（Ｎｏ）、文字開始画素候補及び文字終了画素候補はそれぞれ文字開始画素及び文字終了画素ではないとして、この時の開始検出信号Ｓｔａｒｔ（ｎ）及び終了検出信号Ｅｎｄ（ｎ）を無効とし、それぞれに０を割り当てる（ステップＳ１１１）。

一方、文字開始画素候補と文字終了画素候補間の画素数（ｎ−ｅｄｇｅ）が第６閾値Ｅより小さい場合（ステップＳ１０９でＹｅｓの場合）、文字開始画素候補及び文字終了画素候補をそれぞれ文字開始画素及び文字終了画素とする。すなわち、開始検出信号Ｓｔａｒｔ（ｅｄｇｅ）及び終了検出信号Ｅｎｄ（ｎ）の値に１を割り当てる（ステップＳ１１０）。そして、開始検出信号が１になってから終了検出信号が１になっているまでの間の信号（画素）を文字（字幕）の一部として、この区間のｅｎａｂｌｅ信号を１とする（ステップＳ１１２）。そして、水平位置を示すパラメータｎに１をインクリメントし（ステップＳ１１３）、ステップＳ１１４に進む。

（処理４）
ステップＳ１１４では、上記処理２及び処理３に示した各ステップの処理を一水平ライン分行ったか否かを判断する。すなわち、ステップＳ１１４でｎ＜Ｐ_ｍａｘと判断される場合（Ｙｅｓ）は、まだ一ライン分の処理を行ってないとしてステップＳ１０２に戻って上記処理を繰り返す。一方、ステップＳ１１４でｎ≧Ｐ_ｍａｘと判断される場合（Ｎｏ）は、上記処理を一ライン分行ったとしてステップＳ１１５に進む。ステップＳ１１５では、映像信号内の各ラインの処理で検出されたｅｎａｂｌｅ信号が１になっている画素群を字幕を構成する画素として検出する。このように本実施形態では、各ライン単位で文字情報検出処理を行うので文字検出装置にフレームメモリを持たせる必要がなく、ラインメモリを持たせるだけでよい。ステップＳ１１５の文字検出処理の後、次のラインに進むために垂直ラインの位置を示すパラメータｍに１をインクリメントする（ステップＳ１１６）。そして、全ラインについて上記処理２及び処理３の各ステップの処理が終了したか否かを判断する（ステップＳ１１７）。

その結果、ステップＳ１１７でパラメータｍの値がＱ_ｍａｘ以下と判断された場合（Ｙｅｓ）は、ステップＳ１０２に戻って上記処理を繰り返す。一方、ステップＳ１１７で全ラインについての処理が終了したと判断された場合（Ｎｏ）は、本処理を終了する。

尚、上述の処理で用いる各閾値Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｉには、経験値（固定値）或いは対象となる映像信号の種類（素材、チャンネル等）に応じた可変値を用いることができる。したがって、上記処理を行う装置に、経験値である固定の閾値を保持する構成、或いは、各閾値Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｉのそれぞれに複数の値をとることができるような構成を保持させておいて映像信号の種類に応じて閾値を選択する構成、或いは映像信号として入力される画像の平均輝度値等から閾値を計算して決定するような構成等を付加するようにしてもよい。

上述したように、本実施形態に係る文字情報検出方法によれば、ビデオ画像中に挿入されている字幕を挿入形式にかかわらず画像中から精度よく検出することができる。すなわち、字幕がシネマスコープサイズの形態で記録されているかいないかには全く関係なく字幕を精度よく検出することができる。

＜第２の実施形態＞
次に、各画面が縦Ｌ_{ｍａｘ＋１}画素×横Ｐ_{ｍａｘ＋１}画素で構成された映画等の動画像の映像信号と同じものから字幕を検出する文字情報検出処理の別の実施形態について説明する。

図４は、本発明の第２の実施形態に係る文字情報検出方法の手順を説明するためのフローチャートである。第２の実施形態は前述した第１の実施形態とほぼ同様の処理を行っているが、本実施形態では字幕構成画素の判定精度を向上させるために、１つの注目画素Ｐ_ｎに対して２つの輝度差分値ｄ_１，ｎ，ｄ_２，ｎを用いて文字情報検出処理を行っている。

まず、文字情報検出装置内のパラメータｍ、ｎを０とするとともに文字情報検出処理に使用する輝度差分値の数を示すパラメータｘに１を割り当てる（ステップＳ２０１）。尚、本実施形態では２つの輝度差分値を用いるので、パラメータｘは１又は２が割り当てられることになる。その後、水平ラインＬ_ｍ（ｍ＝０,…,ｍａｘ）毎に上記第１の実施形態で説明した処理２及び処理３と同様の処理を第１の輝度差分値ｄ_１，ｎについて行う（ステップＳ２０２〜Ｓ２１２）。

具体的には、まず、図２に示す水平ラインＬ_ｍの画素Ｐ_１から順に前後の画素間の第１の輝度差分値である一次微分値を求める（ステップＳ２０２）。すなわち、注目画素Ｐ_ｎとその隣接画素である画素Ｐ_ｎ＋１，Ｐ_ｎ−１が有する輝度成分をそれぞれＹ_ｎ，Ｙ_ｎ＋１，Ｙ_ｎ−１とすると、注目画素の輝度差分値ｄ_１，ｎは隣接画素間の差分値（Ｙ_ｎ−Ｙ_ｎ−１）又は一次微分値（Ｙ_ｎ＋１−Ｙ_ｎ−１）等で計算することができる。本実施形態では、これらのどの輝度差分値を用いてもよい。

次いで、字幕の開始位置を特定するために、映像信号が黒→白へ変化している部分の検出を行う。本実施形態では以下の条件をすべて満たす画素を文字開始画素候補として検出する（ステップＳ２０３）。
・条件１：処理１で得られた第１の輝度差分値が正であり、かつ当該輝度差分値が第１閾値Ａ以上であること…ｄ_１，ｎ≧Ａ＞０
・条件２：注目画素Ｐ_ｎの輝度Ｙ_ｎが第２閾値Ｂ以上であること…Ｙ_ｎ≧Ｂ
・条件３：注目画素Ｐ_ｎの色差成分Ｃ_ｂ、Ｃ_ｒの絶対値（大きさ）が第３閾値Ｉ以下、すなわち０付近の値であること

ステップＳ２０３で上記条件１〜３を全て満たす場合（Ｙｅｓ）、注目画素Ｐ_ｎを字幕開始画素候補として記録し（水平ライン中の画素の位置を示すパラメータｅｄｇｅ１にｎを割り当てる）、開始検出信号Ｓｔａｒｔ（ｎ）を１にする（ステップＳ２０４）。一方、ステップＳ２０３でそれ以外の場合（Ｎｏ）、開始検出信号Ｓｔａｒｔ（ｎ）を０にする（ステップＳ２０５）。

尚、前述したように本実施形態では色差成分Ｃ_ｂ，Ｃ_ｒがオフセット・バイナリ表現であるため、ステップＳ２０３の処理における色差成分Ｃ_ｂ，Ｃ_ｒが０付近であることの検出は、色差成分Ｃ_ｂ，Ｃ_ｒと一定値Ｈ_ｂ，Ｈ_ｒ（画像が８ビット表現の時はＨ_ｂ＝Ｈ_ｒ＝１２８となる）との差を求め、その差の絶対値が第３の閾値Ｉ以下であることで行っている（｜Ｃ_ｂ−Ｈ_ｂ｜≦Ｉ ＆ ｜Ｃ_ｒ−Ｈ_ｒ｜≦Ｉ）。

次いで、字幕の終了位置を特定するために、映像信号が白→黒へ変化している部分の検出を行う。本実施形態では以下の条件をすべて満たす画素を文字終了画素候補として検出する（ステップＳ２０６）。
・条件１：上記処理１で得られた第１の輝度差分値が負であること…ｄ_１，ｎ＜０
・条件２：上記輝度差分値の絶対値（大きさ）が第４閾値Ｃ以上であること…｜ｄ_１，ｎ｜≧Ｃ
・条件３：注目画素Ｐ_ｎの輝度値Ｙ_ｎが第５閾値Ｄ以下であること…Ｙ_ｎ≦Ｄ
・条件４：注目画素Ｐ_ｎの色差成分Ｃ_ｂ，Ｃ_ｒが０付近であること

ステップＳ２０６で上記条件１〜４を全て満たす場合（Ｙｅｓ）、注目画素Ｐ_ｎを字幕終了画素候補として終了検出信号Ｅｎｄ（ｎ）を１にする（ステップＳ２０７）。一方、ステップＳ２０６でそれ以外の場合（Ｎｏ）、終了検出信号Ｅｎｄ（ｎ）を０にする（ステップＳ２０８）。

尚、上記処理においても色差成分Ｃ_ｂ，Ｃ_ｒが０付近であることの検出は、Ｃ_ｂ、Ｃ_ｒがオフセット・バイナリ表現であるため、色差成分Ｃ_ｂ，Ｃ_ｒと一定値Ｈ_ｂ，Ｈ_ｒ（画像が８ビット表現の時はＨ_ｂ＝Ｈ_ｒ＝１２８となる）との差を求めて、その差の絶対値が第３の閾値Ｉ以下であることで行っている（｜Ｃ_ｂ−Ｈ_ｂ｜≦Ｉ ＆ ｜Ｃ_ｒ−Ｈ_ｒ｜≦Ｉ）。

次いで、白から黒への変化を検出した時、すなわち字幕終了画素候補が検出された時の水平位置と文字開始画素候補の水平位置との差の確認を行う。本実施形態では、文字開始画素候補と文字終了画素候補の画像上の距離（ｎ−ｅｄｇｅ１）が第６閾値Ｅよりも小さいか否かを判断する（ステップＳ２０９）。すなわち、本実施形態では字幕を構成する文字の線の幅をＥ画素程度とした。そして、以下に示すように、開始検出信号が１になってからＥ画素間のうちに終了検出信号が１にならない場合は、そのときの開始検出信号を０にし、次の開始検出信号を探すようにしている。

ステップＳ２０９の判断の結果、当該距離がＥ画素以上である場合（Ｎｏ）、文字開始画素候補及び文字終了画素候補はそれぞれ文字開始画素及び文字終了画素ではないとして、この時の開始検出信号Ｓｔａｒｔ（ｅｄｇｅ１）及び終了検出信号Ｅｎｄ（ｎ）を無効とし、それぞれに０を割り当てる（ステップＳ２１１）。

一方、文字開始画素候補と文字終了画素候補間の画素数（ｎ−ｅｄｇｅ１）が第６閾値Ｅよりも小さい場合（ステップＳ１０９でＹｅｓの場合）、文字開始画素候補及び文字終了画素候補をそれぞれ第１文字開始画素及び第１文字終了画素とする。すなわち、開始検出信号Ｓｔａｒｔ（ｅｄｇｅ１）及び終了検出信号Ｅｎｄ（ｎ）の値に１を割り当てる（ステップＳ２１０）。そして、開始検出信号が１になってから終了検出信号が１になっているまでの間の信号（画素）を文字（字幕）の一部として、この区間のｅｎａｂｌｅ信号を１とする（ステップＳ２１２）。そして、パラメータｘに１をインクリメントする（ステップＳ２１３）。

そして、２つ目の輝度差分値を用いた文字情報検出処理が終了したかどうかをパラメータｘが２よりも大きいかどうかで判断する（ステップＳ２１４）。その結果、終了したと判断された場合（Ｙｅｓ）はステップＳ２１５に進む。一方、ステップＳ２１４でまだ２つ目の輝度差分値を用いた処理が終了していないと判断された場合（Ｎｏ）はステップＳ２０２に戻る。

上述した処理ではまだパラメータｘが１のときの処理が終わっただけであり、２つ目の輝度差分値に対する処理がなされていない。すなわち、ステップＳ２１３でｘ＝２となった状態であり、ステップＳ２０２の処理に戻ることになる。

ステップＳ２０２では、第１の輝度差分値ｄ_１，ｎについて行った上記処理の結果を用いて第２の輝度差分値ｄ_ｎ２を求める。すなわち、注目画素Ｐ_ｎとその隣接画素である画素Ｐ_ｎ＋１，Ｐ_ｎ−２が有する輝度成分をそれぞれＹ_ｎ，Ｙ_ｎ＋１，Ｙ_ｎ−２とすると、注目画素の第１の輝度差分値ｄ_１，ｎは前述のようにＹ_ｎ−Ｙ_ｎ−1，Ｙ_ｎ＋１−Ｙ_ｎ−２等で計算した。そして、第２の輝度差分値は、注目画素における第１の輝度差分値と少なくとも１つ以上のその周辺画素における第１の輝度差分値との和（例えば、ｄ_{１，ｎ−１}+ｄ_１，ｎ,ｄ_{１，ｎ−２}+ｄ_{１，ｎ―１}+ｄ_１，ｎ等）で検出することとするこのように第１の輝度差分値の和を用いることで、改めて輝度差分値を各画素について行う必要がなく、装置での演算量を少なくすることができる。尚、これらの２つの画素で計算した輝度差分値は、正確には注目画素Ｐ_ｎの輝度差分値ではない場合もあるが注目画素Ｐ_ｎに近い画素位置での輝度差分値であるため、第１の輝度差分値ｄ_１，ｎを補うデータとして本実施形態では用いている。

以下、第２の輝度差分値について上述した処理２の処理を行う。
すなわち、字幕の開始位置を特定するために、映像信号が黒→白へ変化している部分の検出を行う。本実施形態では以下の条件をすべて満たす画素を文字開始画素候補として検出する（ステップＳ２０３）。
・条件１：処理１で得られた第２の輝度差分値が正であり、かつ当該輝度差分値が第１閾値Ａ以上であること…ｄ_２，ｎ≧Ａ＞０
・条件２：注目画素Ｐ_ｎの輝度Ｙ_ｎが第２閾値Ｂ以上であること…Ｙ_ｎ≧Ｂ
・条件３：注目画素Ｐ_ｎの色差成分Ｃ_ｂ、Ｃ_ｒの絶対値（大きさ）が第３閾値Ｉ以下、すなわち０付近の値であること

ステップＳ２０３で上記条件１〜３を全て満たす場合（Ｙｅｓ）、注目画素Ｐ_ｎを字幕開始画素候補として記録し（水平ライン中の画素の位置を示すパラメータｅｄｇｅ２にｎを割り当てる）、開始検出信号Ｓｔａｒｔ（ｎ）を１にする（ステップＳ２０４）。一方、ステップＳ２０３でそれ以外の場合（Ｎｏ）、開始検出信号Ｓｔａｒｔ（ｎ）を０にする（ステップＳ２０５）。

尚、前述したように本実施形態では色差成分Ｃ_ｂ，Ｃ_ｒがオフセット・バイナリ表現であるため、ステップＳ２０３の処理における色差成分Ｃ_ｂ，Ｃ_ｒが０付近であることの検出は、色差成分Ｃ_ｂ，Ｃ_ｒと一定値Ｈ_ｂ，Ｈ_ｒ（画像が８ビット表現の時はＨ_ｂ＝Ｈ_ｒ＝１２８となる）との差を求め、その差の絶対値が第３の閾値Ｉ以下であることで行っている（｜Ｃ_ｂ−Ｈ_ｂ｜≦Ｉ ＆ ｜Ｃ_ｒ−Ｈ_ｒ｜≦Ｉ）。

次いで、上述した処理３の処理を実行する。当該処理では、字幕の終了位置を特定するために、映像信号が白→黒へ変化している部分の検出を行う。本実施形態では以下の条件をすべて満たす画素を文字終了画素候補として検出する（ステップＳ２０６）。
・条件１：処理１で得られた第２の輝度差分値が負であること…ｄ_２，ｎ＜０
・条件２：上記輝度差分値の絶対値（大きさ）が第４閾値Ｃ以上であること…｜ｄ_２，ｎ｜≧Ｃ
・条件３：注目画素Ｐ_ｎの輝度値Ｙ_ｎが第５閾値Ｄ以下であること…Ｙ_ｎ≦Ｄ
・条件４：注目画素Ｐ_ｎの色差成分Ｃ_ｂ、Ｃ_ｒが０付近であること

ステップＳ１０６で上記条件１〜４を全て満たす場合（Ｙｅｓ）、注目画素Ｐ_ｎを字幕終了画素候補として終了検出信号Ｅｎｄ（ｎ）を１にする（ステップＳ２０７）。一方、ステップＳ２０６でそれ以外の場合（Ｎｏ）、終了検出信号Ｅｎｄ（ｎ）を０にする（ステップＳ２０８）。

尚、処理３においても色差成分Ｃ_ｂ，Ｃ_ｒが０付近であることの検出は、Ｃ_ｂ，Ｃ_ｒがオフセット・バイナリ表現であるため、色差成分Ｃ_ｂ，Ｃ_ｒと一定値Ｈ_ｂ，Ｈ_ｒ（画像が８ビット表現の時はＨ_ｂ＝Ｈ_ｒ＝１２８となる）との差を求めて、その差の絶対値が第３の閾値Ｉ以下であることで行っている（｜Ｃ_ｂ−Ｈ_ｂ｜≦Ｉ ＆ ｜Ｃ_ｒ−Ｈ_ｒ｜≦Ｉ）。

次いで、白から黒への変化を検出した時、すなわち字幕終了画素候補が検出された時の水平位置と文字開始画素候補の水平位置との差の確認を行う。本実施形態では、文字開始画素候補と文字終了画素候補の画像上の距離（ｎ−ｅｄｇｅ２）が第６閾値Ｅよりも小さいか否かを判断する（ステップＳ２０９）。すなわち、本実施形態では字幕を構成する文字の線の幅をＥ画素程度とした。そして、以下に示すように、開始検出信号が１になってからＥ画素間のうちに終了検出信号が１にならない場合は、そのときの開始検出信号を０にし、次の開始検出信号を探すようにしている。

ステップＳ２０９の判断の結果、当該距離がＥ画素以上である場合（Ｎｏ）、文字開始画素候補及び文字終了画素候補はそれぞれ文字開始画素及び文字終了画素ではないとして、この時の開始検出信号Ｓｔａｒｔ（ｅｄｇｅ２）及び終了検出信号Ｅｎｄ（ｎ）を無効とし、それぞれに０を割り当てる（ステップＳ２１１）。

一方、文字開始画素候補と文字終了画素候補間の画素数（ｎ−ｅｄｇｅ２）が第６閾値Ｅより小さい場合（ステップＳ２０９でＹｅｓの場合）、文字開始画素候補及び文字終了画素候補をそれぞれ第２の文字開始画素及び第２の文字終了画素とする。すなわち、開始検出信号Ｓｔａｒｔ（ｅｄｇｅ２）及び終了検出信号Ｅｎｄ（ｎ）の値に１を割り当てる（ステップＳ２１０）。そして、開始検出信号が１になってから終了検出信号が１になっているまでの間の信号（画素）を文字（字幕）の一部として、この区間のｅｎａｂｌｅ信号を１にする（ステップＳ２１２）。また、パラメータｘに１をインクリメントする（ステップＳ２１３）。ここで、パラメータｘは３になっている。

次いで、ステップＳ２１４で２つ目の輝度差分値を用いた文字情報検出処理が終了したか否かが判断される。その結果、ｘ＝３でありｘ＞２であるため処理が終了したと判断され（Ｙｅｓ）、ステップＳ２１５に進む。そして、水平位置を示すパラメータｎに１をインクリメントし（ステップＳ２１５）、ステップＳ２１６に進む。

ステップＳ２１６では、上記処理を一水平ライン分について行ったか否かを判断する。すなわち、ステップＳ２１６でｎ＜Ｐ_ｍａｘと判断される場合（Ｙｅｓ）は、まだ一ライン分の処理を行ってないとしてステップＳ２０２に戻って上記処理を繰り返す。一方、ステップＳ２１６でｎ≧Ｐ_ｍａｘと判断される場合（Ｎｏ）は、上記処理を一ライン分行ったとしてステップＳ２１７に進む。ステップＳ２１７では、映像信号内の各ラインの処理で検出されたｅｎａｂｌｅ信号が１になっている画素群を字幕を構成する画素として検出する。すなわち、２つの輝度差分値のそれぞれについて検出されたｅｎａｂｌｅ信号が１になっている信号の論理和に基づいて映像信号の文字情報が検出できる。このように本実施形態では、各ライン単位で文字情報検出処理を行うので文字検出装置にフレームメモリを持たせる必要がなく、ラインメモリを持たせるだけでよい。ステップＳ２１７の文字検出処理の後、次のラインに進むために垂直ラインの位置を示すパラメータｍに１をインクリメントする（ステップＳ２１８）。そして、全ラインについて前述した処理が終了したか否かを判断する（ステップＳ２１９）。

その結果、ステップＳ２１９でパラメータｍの値がＱ_ｍａｘ以下と判断された場合（Ｙｅｓ）は、ステップＳ２０２に戻って上記処理を繰り返す。一方、ステップＳ２１９で全ラインについての処理が終了したと判断された場合（Ｎｏ）は、本処理を終了する。

尚、上述の処理で用いる各閾値Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｉには、経験値（固定値）或いは対象となる映像信号の種類（素材、チャンネル等）に応じた可変値を用いることができる。したがって、上記処理を行う装置に、経験値である固定の閾値を保持する構成、或いは、各閾値Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｉのそれぞれに複数の値をとることができるような構成を保持させておいて映像信号の種類に応じて閾値を選択する構成、或いは映像信号として入力される画像の平均輝度値等から閾値を計算して決定するような構成等を付加するようにしてもよい。

上述したように、本実施形態に係る文字情報検出方法によれば、ビデオ画像中に挿入されている字幕を挿入形式にかかわらず画像中から精度よく検出することができる。すなわち、字幕がシネマスコープサイズの形態で記録されているかいないかには全く関係なく字幕を精度よく検出することができる。そして、この際に１つの輝度差分値だけでは検出できなかったような縁取りであっても、その他の輝度差分値を用いることによって文字情報を検出することが可能となる。

尚、上述した第１及び第２の実施形態では、全ラインの処理が終了した後に字幕構成画素を検出するのではなく、いずれも各ライン処理で検出されたｅｎａｂｌｅ信号が１になっている画素群を字幕を構成する画素として検出している。これによってフレームメモリを文字情報検出装置の構成要素にする必要がなくラインメモリを備えるだけでよいものとしている。尚、当該文字情報検出装置からあるラインについての画素群を出力するタイミングは次のライン処理の実行中でなくても、全ライン処理終了後でなければ、例えば複数のライン単位で行うようにしてもよい。

＜映像信号処理装置＞
ここでは、上述した実施形態で説明した文字情報検出処理を行う文字情報検出装置として、ＤＶＤプレーヤ、ブルーレイディスクプレーヤ及びディスプレイ装置等に内蔵或いは外部接続等される映像信号処理装置の構成及び動作について説明する。

図５は、本発明の一実施形態に係る文字情報検出処理を行う映像信号処理装置の構成図である。また、図６は、図５に示す映像信号処理装置での文字情報検出処理の様子を説明するための図である。

図５に示すように、ビデオデータ入力部５１から入力される走査された映像信号（一ラインの映像データ）はラインメモリ（Ｌｉｎｅ Ｍｅｍｏｒｙ）５２に一旦蓄えられる。そして、ラインメモリ５２に蓄積されたデータを読み出す際に、字幕検出部５３における文字情報検出処理で生成したｅｎａｂｌｅ信号と照らし合わせて、字幕検出時輝度調整部５４で輝度調整が行われる。そして、輝度調整が行われたビデオデータはビデオデータ出力部５５から出力される。

輝度調整は、図６に示すようにラインメモリ５２からビデオデータを読み出し、ｅｎａｂｌｅ信号が１の注目画素Ｐ_ｎの輝度Ｙ_ｎがある値Ｆより大きい場合には決められた値に調整を行うようにする。例えば、輝度Ｙ_ｎがＦ以上の場合はＦ、或いはある値Ｇまでしかとらないように変換を行うようにする。

図７は、本発明の一実施形態に係る文字情報検出装置の構成を示すブロック図である。本実施形態において文字情報検出装置は以下に示すような構成を有する。
・輝度成分及び色差成分を有する画素が所定方向に配列された映像信号が入力される映像信号入力手段である映像信号入力部７１
・注目画素周辺の画素が有する輝度成分から差分値を検出する差分値検出手段である差分値検出部７２
・差分値検出部７２で得られた差分値が第１閾値Ａ以上であり、かつ注目画素の輝度成分の値が第２閾値Ｂ以上であり、かつ色差成分の絶対値が第３閾値Ｉ以下のときに、注目画素の位置を開始位置とする開始位置検出手段である開始位置検出部７３
・差分値検出部７２で得られた差分値が第４閾値Ｃ以下であり、かつ注目画素の輝度成分の値が第５閾値Ｄ以下であり、かつ色差成分の絶対値が第３閾値Ｉ以下のときに、注目画素の位置を終了位置とする終了位置検出手段である終了位置検出部７４
・開始位置検出部７３及び終了位置検出部７４で得られた終了位置と開始位置との差が第６の閾値Ｅより小さいときに文字情報検出信号を出力する文字情報検出手段である文字情報検出部７５

図７に示すような構成を有する文字情報検出装置は、前述した第１及び第２の実施形態で説明した文字情報検出方法のための動作を行う。尚、上述の処理で用いる各閾値Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｉには、経験値（固定値）或いは対象となる映像信号の種類（素材、チャンネル等）に応じた可変値を用いることができる。したがって、本実施形態に係る上記処理を行う装置に、経験値である固定の閾値を保持する構成、或いは、各閾値Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｉのそれぞれに複数の値をとることができるような構成を保持させておいて映像信号の種類に応じて閾値を選択する構成、或いは映像信号として入力される画像の平均輝度値等から閾値を計算して決定するような構成等を付加するようにしてもよい。

上述した実施形態で説明した本発明に係る文字情報検出方法では、画素単位での字幕の検出をするために字幕の特性を利用して一次微分値や色差を字幕判定項目に加えたことにより、検出の精度が従来よりも飛躍的に向上させることができる。すなわち、字幕が本編のビデオ画像中に存在するような場合においても、字幕そのものを精度よく検出することができる。また、字幕の輝度を制御することができるため、家庭でプロジェクタ等を使用して暗い部屋で映画を観賞する際においても、字幕が眩しく、観賞の邪魔になることを防ぐことができる。

また、本実施形態に係る映像信号処理装置ではフィールドメモリやフレームメモリを用いることなく、ラインメモリ程度で構成可能であるため、外付けメモリ等が不要で、安価な映像システムを構成することができる。

さらに、本実施形態に係る映像信号処理装置では自動的に字幕部分のみを検出して，字幕部分の輝度を調整しているが、ユーザが何段階かのレベルのうちから好みのレベルを選択できるようにしてもよい。

さらにまた、本発明はＤＶＤプレーヤ、ＤＶＤレコーダ、ブルーレイディスクプレーヤ、ブルーレイレコーダ、ディジタル放送対応テレビ、ディスプレイ装置等にも応用することができる。

＜その他の実施形態＞
上述した各実施形態では、画像信号中の各画素の輝度成分Ｙ及び色差成分Ｃ_ｂ、Ｃ_ｒを用いて演算を行っている。従って、ＹＣ_ｂＣ_ｒ映像信号が直接入力される場合だけでなく演算によってＹＣ_ｂＣ_ｒ映像信号に色空間変換できるような映像信号、例えばＲＧＢ映像信号であれば色空間を変換することで同様の処理が可能である。したがって、ＨＤＭＩ端子やＤＶＩ−Ｄ端子等のようなディジタル画像信号や、ＤＶＩ−Ｉ端子、アナログＲＧＢ端子、コンポーネント端子、Ｄ端子等のようなアナログ画像信号のいずれであっても、演算によってＹＣ_ｂＣ_ｒ映像信号に色空間変換ができるものであれば同様に処理が可能である。

また、上述した各実施形態で検出した字幕を他の色に変換する色変換手段である色変換部を本発明の処理を行う装置に付加してもよい。このような処理を行うことにより、色覚に障害を持つユーザが映像信号中の字幕の色を感知しにくい場合、それを判別しやすい色に調節して読みやすくすることが可能となる。例えば、赤緑色覚障害の人は、一般に赤〜緑の波長域において明度が類似した色の見分けが困難なことが多い。そこで、このような赤緑色覚障害の人がユーザの場合には、当該装置では赤〜緑の色差を文字検出のための色差として保持しておき、当該色差の文字を検出し、検出された文字の文字色を例えば青色に変更する、或いは文字の輝度を調節（上げる／下げる）等の処理を行うようにすればよい。

さらに、上述した実施形態では、画像の水平方向ラインについての処理について説明しているが、画像の垂直方向ラインについて同様の処理を行うことも可能である。但し、この場合は前述した実施形態のようにラインメモリでは構成が困難となることが考えられ得るので、フィールドメモリやフレームメモリを用いた装置構成をする必要がある。

さらにまた、上述した本発明の実施形態はシステム、装置等を構成するコンピュータにインストールされたプログラム、又は当該プログラムを格納したフレキシブルディスク、ハードディスク、ＭＯ、ＣＤ、ＤＶＤ、ＵＳＢメモリ等の各種の記憶媒体の形態をとることも可能である。

５１ ビデオデータ入力部
５２ ラインメモリ
５４ 字幕検出時輝度調整部
７１ 映像信号入力部
７２ 差分値検出部
７３ 開始位置検出部
７４ 終了位置検出部
７５ 文字情報検出部

Claims (15)

1. 映像信号に含まれる文字情報を検出する文字情報検出方法であって、
   前記映像信号内の画素の輝度値、及び該画素の周辺画素間の輝度差分値、前記画素の色差の絶対値を該映像信号内の他画素の値と比較して前記画素が文字開始画素かどうかを判定することにより文字開始画素を検出する第１の工程と、
   前記映像信号内の画素の輝度値、及び該画素の周辺画素間の輝度差分値、前記画素の色差の絶対値を該映像信号内の他画素の値と比較して前記画素が文字終了画素かどうかを判定することにより文字終了画素を検出する第２の工程と、
   前記映像信号内の前記文字開始画素から前記文字終了画素までの間の画素群の長さで該画素群が文字情報かどうかを判定することにより文字情報を検出する第３の工程と
   を有することを特徴とする文字情報検出方法。
2. 映像信号に含まれる文字情報を検出する文字情報検出方法であって、
   前記映像信号内の画素の周辺画素間の輝度差分値を検出する第１の工程と、
   前記輝度差分値が第１閾値以上、かつ前記画素の輝度値が第２閾値以上、かつ前記画素の色差の絶対値が第３閾値以下のときに、該画素を文字開始画素とする第２の工程と、
   前記輝度差分値が第４閾値以下、かつ前記画素の輝度値が第５閾値以下、かつ前記画素の色差の絶対値が前記第３閾値以下のときに、該画素を文字終了画素とする第３の工程と、
   前記映像信号内の前記文字開始画素から前記文字終了画素までの間の長さが第６閾値よりも小さいときに、該画素群を文字情報として検出する第４の工程と
   を有することを特徴とする文字情報検出方法。
3. 前記映像信号に含まれる黒色で縁取りされた白色の文字を構成する画素群を前記文字情報として検出することを特徴とする請求項１又は２に記載の文字情報検出方法。
4. 前記周辺画素間の輝度差分値が、前記映像信号内の一列に配列された画素列中の画素Ｐ_ｎ（ｎは１以上の整数）の一方の隣接画素Ｐ_ｎ−１の輝度値と該画素Ｐ_ｎのもう一方の隣接画素Ｐ_ｎ＋１の輝度値の差分であることを特徴とする請求項１から３までのいずれか１項に記載の文字情報検出方法。
5. 前記画素Ｐ_ｎの２つ以上の周辺画素Ｐ_ｎ−１，Ｐ_ｎ−２，…と前記画素Ｐ_ｎのもう一方の隣接画素Ｐ_ｎ＋１との間でそれぞれ文字情報を検出し、検出された複数の文字情報の論理和を前記映像信号の文字情報として検出することを特徴とする請求項４に記載の文字情報検出方法。
6. 映像信号に含まれる文字情報を検出する文字情報検出方法であって、
   前記映像信号内の一列に配列された画素列中の注目画素Ｐ_ｎ（ｎは１以上の整数）に隣接する画素Ｐ_ｎ＋１の輝度値と該注目画素Ｐ_ｎのもう一方に隣接する画素Ｐ_ｎ−１の輝度値の差分Ｐ_ｎ＋１−Ｐ_ｎ−１、又は前記注目画素Ｐ_ｎの輝度値と該注目画素Ｐ_ｎの隣接画素Ｐ_ｎ−１の輝度値の差分Ｐ_ｎ−Ｐ_ｎ−１を前記注目画素Ｐ_ｎにおける第１差分値として検出し、前記注目画素Ｐ_ｎにおける第１差分値と該注目画素Ｐ_ｎの少なくとも１つ以上の周辺画素Ｐ_ｎ−１，Ｐ_ｎ−２，…における第１差分値との和を第２差分値として検出する第１工程と、
   前記第１差分値が第１閾値以上、かつ前記注目画素Ｐ_ｎの輝度値が第２閾値以上、かつ前記注目画素Ｐ_ｎの色差の絶対値が第３閾値以下のときに、前記注目画素Ｐ_ｎを第１文字開始画素候補とし、前記第２差分値が前記第１閾値以上、かつ前記注目画素Ｐ_ｎの輝度値が前記第２閾値以上、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第２文字開始画素候補とする第２工程と、
   前記第１差分値が第４閾値以下、かつ前記注目画素Ｐ_ｎの輝度値が第５閾値以下、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第１文字終了画素候補とし、前記第２差分値が第４閾値以下、かつ前記注目画素Ｐ_ｎの輝度値が前記第５閾値以下、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第２文字終了画素候補とする第３工程と、
   前記第１文字開始画素候補から前記第１文字終了画素候補までの間の画素群の長さが第６閾値よりも小さいときに、前記第１文字開始画素候補を文字開始画素とし、前記第１文字終了画素候補を文字終了画素として前記画素群を文字情報として検出する第３工程と、
   前記第１文字開始位置候補から前記第１文字終了位置候補までの間の長さが前記第６閾値以上であって、前記第２文字開始位置候補から前記第２文字終了位置候補までの間の距離が前記第６閾値よりも小さいときに、前記第２文字開始位置候補を文字開始位置とし、前記第２文字終了位置候補を文字終了位置として前記画素群を文字情報として検出する第４工程と
   を有することを特徴とする文字情報検出方法。
7. 映像信号に含まれる文字情報を検出する文字情報検出装置であって、
   前記映像信号内の画素の輝度値、及び該画素の周辺画素間の輝度差分値、前記画素の色差の大きさを該映像信号内の他画素の値と比較して前記画素が文字開始画素かどうかを判定することにより文字開始画素を検出する開始位置検出手段と、
   前記映像信号内の画素の輝度値、及び該画素の周辺画素間の輝度差分値、前記画素の色差の大きさを該映像信号内の他画素の値と比較して前記画素が文字終了画素かどうかを判定することにより文字終了画素を検出する終了位置検出手段と、
   前記映像信号内の前記文字開始画素から前記文字終了画素までの間の画素群の長さで該画素群が文字情報かどうかを判定することにより文字情報を検出する文字情報検出手段と
   を備えることを特徴とする文字情報検出装置。
8. 映像信号に含まれる文字情報を検出する文字情報検出装置であって、
   前記映像信号内の画素の周辺画素間の輝度差分値を検出する差分値検出手段と、
   前記輝度差分値が第１閾値以上、かつ前記画素の輝度値が第２閾値以上、かつ前記画素の色差の絶対値が第３閾値以下のときに、該画素を文字開始画素とする開始位置検出手段と、
   前記輝度差分値が第４閾値以下、かつ前記画素の輝度値が第５閾値以下、かつ前記画素の色差の絶対値が前記第３閾値以下のときに、該画素を文字終了画素とする終了位置検出手段と、
   前記映像信号内の前記文字開始画素から前記文字終了画素までの間の長さが第６閾値よりも小さいときに、該文字開始画素と該文字終了画素との間の画素群を文字情報として検出する文字情報検出手段と
   を備えることを特徴とする文字情報検出装置。
9. 前記映像信号に含まれる黒色で縁取りされた白色の文字を構成する画素群を前記文字情報として検出することを特徴とする請求項７又は８に記載の文字情報検出装置。
10. 前記周辺画素間の輝度差分値が、前記映像信号内の一列に配列された画素列中の画素Ｐ_ｎ（ｎは１以上の整数）の一方の隣接画素Ｐ_ｎ−１の輝度値と該画素Ｐ_ｎのもう一方の隣接画素Ｐ_ｎ＋１の輝度値の差分Ｐ_ｎ＋１−Ｐ_ｎ−１、又は前記画素Ｐ_ｎの輝度値と該画素Ｐ_ｎの隣接画素Ｐ_ｎ−１の輝度値の差分Ｐ_ｎ−Ｐ_ｎ−１であることを特徴とする請求項７から９までのいずれか１項に記載の文字情報検出装置。
11. 前記画素Ｐ_ｎの２つ以上の周辺画素Ｐ_ｎ−１，Ｐ_ｎ−２，…と前記画素Ｐ_ｎのもう一方の隣接画素Ｐ_ｎ＋１との間、又は前記画素Ｐ_ｎと該画素Ｐ_ｎの隣接画素Ｐ_ｎ−１との間でそれぞれ文字情報を検出し、検出された複数の文字情報の論理和を前記映像信号の文字情報として検出することを特徴とする請求項１０に記載の文字情報検出装置。
12. 映像信号に含まれる文字情報を検出する文字情報検出装置であって、
    前記映像信号内の一列に配列された画素列中の注目画素Ｐ_ｎ（ｎは１以上の整数）に隣接する画素Ｐ_ｎ＋１の輝度値と該注目画素Ｐ_ｎのもう一方に隣接する画素Ｐ_ｎ−１の輝度値の差分Ｐ_ｎ＋１−Ｐ_ｎ−１、又は前記注目画素Ｐ_ｎの輝度値と該注目画素Ｐ_ｎの隣接画素Ｐ_ｎ−１の輝度値の差分Ｐ_ｎ−Ｐ_ｎ−１を前記注目画素Ｐ_ｎにおける第１差分値として検出し、前記注目画素Ｐ_ｎにおける第１差分値と該注目画素Ｐ_ｎの少なくとも１つ以上の周辺画素Ｐ_ｎ−１，Ｐ_ｎ−２，…における第１差分値との和を第２差分値として検出する差分値検出手段と、
    前記第１差分値が第１閾値以上、かつ前記注目画素の輝度値が第２閾値以上、かつ前記注目画素の色差の絶対値が第３閾値以下のときに、前記注目画素Ｐ_ｎを第１文字開始画素候補とし、前記第２差分値が前記第１閾値以上、かつ前記注目画素Ｐ_ｎの輝度値が前記第２閾値以上、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第２文字開始画素候補とする開始位置検出手段と、
    前記第１差分値が第４閾値以下、かつ前記注目画素Ｐ_ｎの輝度値が第５閾値以下、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第１文字終了画素候補とし、前記第２差分値が第４閾値以下、かつ前記注目画素Ｐ_ｎの輝度値が前記第５閾値以下、かつ前記注目画素Ｐ_ｎの色差の絶対値が前記第３閾値以下のときに、前記注目画素Ｐ_ｎを第２文字終了画素候補とする終了位置検出手段と、
    前記第１文字開始画素候補から前記第１文字終了画素候補までの間の長さが第６閾値よりも小さいときに、前記第１文字開始画素候補を文字開始画素とし、前記第１文字終了画素候補を文字終了画素として前記画素群を文字情報として検出するとともに、
    前記第１文字開始位置候補から前記第１文字終了位置候補までの間の長さが前記第６閾値以上であって、前記第２文字開始位置と前記第２文字終了位置との間隔が前記第６閾値よりも小さいときに、前記第２文字開始位置候補を文字開始位置とし、前記第２文字終了位置候補を文字終了位置として前記画素群を文字情報として検出する文字情報検出手段と
    を備えることを特徴とする文字情報検出装置。
13. 映像信号に含まれる文字情報を検出して文字情報検出信号を出力する請求項７から１２までのいずれか１項に記載の文字情報検出装置と、
    前記映像信号を所定期間蓄積する記憶装置と、
    前記文字情報検出信号に基づいて前記映像信号に含まれる文字情報の輝度を調整する輝度調整手段と
    を備えることを特徴とする映像信号処理装置。
14. 請求項１から６までのいずれか１項に記載の文字情報検出方法をコンピュータに実行させるためのプログラム。
15. 請求項１４に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。