JP2004064431A - 文字情報検出装置及び文字情報検出方法、並びにプログラム及び記録媒体 - Google Patents
文字情報検出装置及び文字情報検出方法、並びにプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2004064431A JP2004064431A JP2002220058A JP2002220058A JP2004064431A JP 2004064431 A JP2004064431 A JP 2004064431A JP 2002220058 A JP2002220058 A JP 2002220058A JP 2002220058 A JP2002220058 A JP 2002220058A JP 2004064431 A JP2004064431 A JP 2004064431A
- Authority
- JP
- Japan
- Prior art keywords
- character information
- frame image
- candidate
- appearance
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Circuits (AREA)
Abstract
【課題】連続する画像中で使用される文字情報を正確且つ迅速に特定してリアルタイムで自動検出する。
【解決手段】文字情報検出装置は、入力フレーム画像とこれに時間的に近接する近接フレーム画像との間で予め設定されたテロップ出現領域の輝度変化が所定の閾値以上であるとき、入力フレーム画像をテロップ出現フレーム画像として検出する出現検出手部２０と、テロップ出現領域のエッジ密度が所定の閾値以上であるとき、これをテロップ候補として検出するエッジ密度検出部３０と、テロップ候補を既検出テロップ候補として記憶する記憶部４０と、既検出テロップ候補と後続の複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間が所定値に達したとき既検出テロップ候補をテロップと推定する推定部５０と、過去に表示されたテロップとの類似性が低いとき、既検出テロップをテロップとして検出する検出部６０とを有する。
【選択図】 図１
【解決手段】文字情報検出装置は、入力フレーム画像とこれに時間的に近接する近接フレーム画像との間で予め設定されたテロップ出現領域の輝度変化が所定の閾値以上であるとき、入力フレーム画像をテロップ出現フレーム画像として検出する出現検出手部２０と、テロップ出現領域のエッジ密度が所定の閾値以上であるとき、これをテロップ候補として検出するエッジ密度検出部３０と、テロップ候補を既検出テロップ候補として記憶する記憶部４０と、既検出テロップ候補と後続の複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間が所定値に達したとき既検出テロップ候補をテロップと推定する推定部５０と、過去に表示されたテロップとの類似性が低いとき、既検出テロップをテロップとして検出する検出部６０とを有する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置及びその方法並びにプログラム及び記録媒体に関し、特に、正確に文字情報を検出して提示することができる文字情報検出装置及びその方法並びにプログラム及び記録媒体に関する。
【０００２】
【従来の技術】
従来、連続する画像中に出現する文字情報を重要な情報だと考え、それらを検出する技術がある。例えば、特開平１０−４０３９１号公報には、動画像を構成する複数のフレームの中から文字が含まれるフレームを抽出する文字出現フレーム抽出装置及び方法が開示されている（以下、従来例１という。）。
【０００３】
この公報に記載の技術においては、映像中のテロップ文字又はフリップボード上の文字を投影した場合、文字が出現することにより前のフレームとの画素値に差が生じ、文字が出現した後、数フレームに亘って文字部分は変化が少ない点に着目し、動画像を構成する各フレームを部分矩形領域に分割し、前後の時刻の複数フレームとの間で対応する部分矩形領域内で輝度ヒストグラム差分値を算出し、各フレームと前後の時刻の複数のフレームとの間で求めた複数の輝度ヒストグラム差分値の中で、前の時刻の複数のフレームとの間で求めた差分値は、予め設定した第１の閾値よりも大きい値が１以上存在し、且つ後の時刻の複数のフレームとの間で求めた差分値は全ての値が予め設定した第２の閾値より小さいという条件を満たす部分矩形領域を有するフレームを文字出現フレームとして抽出するものである。
【０００４】
また、特開平１０−２３３９９４号公報には、テレビジョン放送における映像信号中のテロップのような特定領域を抽出する特定領域抽出装置が開示されている（以下、従来例２という。）。この公報に記載の特定領域抽出装置においては、テロップは、同一信号レベルで構成され、画素が所定の時間以上同一信号を保持し、背景となる画と信号レベルで大きな差があるという特徴を利用し、映像信号の任意の画素レベルと周辺画素レベルとを比較して略均一なレベル領域を検出する均一レベル領域検出手段と、任意の画素レベルが所定時間以上無変化であるか否かを判定する画素レベル無変化判定手段と、映像信号の任意の映像平面における周波数成分の高域を検出する高周波領域検出手段と、均一レベル領域検出手段、無変化判定手段及び高周波領域検出手段の各出力を基に特定領域を抽出する抽出手段とを備えている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来技術において、様々なパターンの画像の変化から、テロップ等の文字情報を判別する技術について確立されたものは存在しない。例えば、従来例１に記載の技術においても使用されているように、頻繁に用いられる技術として画素単位やブロック単位のフレーム間差分、又はブロック単位での輝度ヒストグラムを計算し、得られた値を閾値処理する手法が挙げられるが、閾値の設定が原画像に依存してしまうため、背景画のわずかな動きを誤検出してしまう等の問題点がある。
【０００６】
また、従来例２においては、均一レベル領域検出手段、無変化判定手段及び高周波領域検出手段の各出力を基に特定領域を抽出するため、演算量が多く処理に時間がかかるという問題点ある。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、連続する画像中で使用される文字情報を正確且つ迅速に特定してリアルタイムで自動検出することができる文字情報検出装置及びその方法並びにプログラム及び記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る文字情報検出装置は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出手段と、上記文字情報出現フレーム画像の上記文字情報出現領域を文字情報候補とし、該文字情報候補を既検出文字情報候補として記憶する記憶手段と、上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出手段とを有することを特徴とする。
【０００９】
本発明においては、フレーム画像に対して、予め文字情報が出現する可能性がある領域を文字情報出現領域として設定することからフレーム画像全体から文字情報を検出するよりもロバスト性を向上することができ、近接するフレーム間の輝度変化により文字情報出現領域の局所変化を検出し、これより文字情報の出現を検出することで画像上の小さな変化による誤検出を軽減することができ、更に、出現が検出された既検出文字情報候補とこれに連続する複数フレームの文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出することにより、文字情報をより精度よく検出することができる。
【００１０】
本発明に係る文字情報検出装置は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、フレーム画像に予め文字情報出現領域を設定し、該文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出手段と、上記文字情報候補を既検出文字情報候補として記憶する記憶手段と、上記既検出文字情報候補と該既検出文字情報候補を有するフレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出手段とを有することを特徴とする。
【００１１】
本発明においては、フレーム画像に対して、予め文字情報が出現する可能性がある領域を文字情報出現領域として設定することからフレーム画像全体から文字情報を検出するよりもロバスト性を向上することができ、更に、文字情報出現領域のエッジ密度が所定の閾値以上の文字情報出現領域を文字情報候補として検出して既検出文字情報として保持し、既検出文字情報候補とこれに連続する複数フレームの文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出することにより、文字情報をより精度よく検出することができる。
【００１２】
本発明に係る文字情報検出装置は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出手段と、上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出手段と、上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶手段と、上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報と推定する文字情報検出手段とを有することを特徴とする。
【００１３】
本発明においては、フレーム画像に対して、予め文字情報が出現する可能性のある領域を文字情報出現領域として設定することからフレーム画像全体から文字情報を検出するよりもロバスト性を向上することができ、近接するフレーム間の輝度変化から文字情報出現領域の局所変化を検出して文字情報の出現を検出し、更に出現が検出された文字情報出現領域のエッジ密度から文字情報候補を検出することで画像上の小さな変化による誤検出を軽減することができ、更に、既検出文字情報候補とこれに連続する複数フレームの文字情報候補とのエッジ密度の変化の割合から文字情報を検出することにより、文字情報をより精度よく検出することができる。
【００１４】
また、フレーム画像とこれに時間的に近接する近接フレーム画像との輝度変化を比較し、上記フレーム画像間の輝度変化が所定の閾値以下であるとき、該フレーム画像を候補フレーム画像として検出する候補フレーム画像検出手段を有し、上記文字情報出現フレーム画像検出手段は、上記候補フレーム画像とこれに時間的に近接する近接フレーム画像とを比較し、該候補フレーム画像から上記文字情報出現フレーム画像を検出することができ、候補フレーム画像の検出により、シーンチェンジ及び背景の大きな動き等による誤検出を軽減することできる。
【００１５】
また、上記文字情報検出手段は、上記既検出文字情報候補が上記記憶手段に保持される期間を検出する期間検出手段と、上記文字情報候補と上記既検出文字情報候補との類似度を検出する類似度検出手段と、上記類似度が所定の閾値以上であって、上記既検出文字情報候補のエッジ密度よりも上記文字情報候補のエッジ密度の方が高いとき、及び上記類似度が上記所定の閾値未満であるとき、上記記憶手段の上記既検出文字情報候補を上記文字情報候補に入れ替える入替手段とを有し、上記記憶手段に所定期間保持された既検出文字情報候補を文字情報と推定することができ、類似度として例えば両者の輝度から相関係数等を求めて比較することにより、同一文字情報が検出されること防止することができ、入替手段により、上記既検出文字情報候補のエッジ密度よりも上記文字情報候補のエッジ密度の方が高いとき、及び／又は上記類似度が所定の閾値未満であるとき上記記憶手段の上記既検出文字情報候補を上記文字情報候補に入れ替えることに、より鮮明な文字情報を有する領域の方を既検出文字情報候補として検出することができ、期間検出手段により、既検出文字情報候補が保持される期間を検出するため、更に誤検出を低減することができる。
【００１６】
更に、フレーム画像を予め規定したサイズのブロックに分割するブロック分割手段を有し、上記文字情報出現フレーム画像検出手段は、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域とで対応するブロック間の輝度変化が所定の閾値以上であるとき、該フレーム画像を局所変化フレーム画像として検出することができる。
【００１７】
更にまた、上記ブロック分割手段により分割されたブロック毎に輝度ヒストグラムを算出する輝度ヒストグラム算出手段を有し、上記文字情報出現フレーム画像検出手段は、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域とで対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値以下であるブロックの数が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出することができる。
【００１８】
また、上記検出手段により文字情報として検出された１以上の文字情報出現領域を、上記画像を表示する第１の表示手段とは異なる第２の表示手段に提示（表示）する提示手段を有することができる、これにより、例えば複数台のテレビ画面を同時に用いた場合、通常の放送が流れるメイン画面とは別の他の装置の画面に文字情報を提示することができ、使用者は、メイン画面でＴＶ映像を見ながら他の画面に表示された文字情報を見ることができる。
【００１９】
更に、上記提示手段は、複数の上記文字情報出現領域をリスト状にして他の画面に提示（表示）することができ、これにより、使用者は、刻々と変化する文字情報の内容の把握が容易になる。
【００２０】
更にまた、入力フレーム画像より過去のフレーム画像が上記文字情報出現フレーム画像であるか否かを判定する判定手段を有し、上記文字情報出現フレーム画像検出手段は、上記過去のフレーム画像が上記文字情報出現フレーム画像ではない入力フレーム画像とこれに時間的に近接するフレーム画像とを比較し、該入力フレーム画像から上記文字情報出現フレーム画像を検出し、上記文字情報候補検出手段は、上記過去のフレーム画像が上記文字情報出現フレーム画像である入力フレーム画像又は上記文字情報出現フレーム画像の上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出することができ、上記過去のフレーム画像が上記文字情報出現フレーム画像である入力フレーム画像は、上記文字情報出現フレーム画像検出手段の処理を省略することができる。
【００２１】
更に、上記文字情報出現領域は、１つのフレーム画像に対して複数設定されてもよく、文字情報出現領域は、動画像の種類等により、任意の場所に任意の個数設定することができる。
【００２２】
本発明に係る文字情報検出方法は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出方法において、フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出工程と、上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出工程と、記憶手段に上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶工程と、上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と有することを特徴とする。
【００２３】
本発明に係るプログラム及び記録媒体は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する動作をコンピュータに実行させるためのプログラム及びこれを記録したコンピュータ読み取り可能な記録媒体であって、フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出工程と、上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出工程と、記憶手段に上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶工程と、上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と有することを特徴とする。
【００２４】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ＴＶ放送等の連続する画像中で重要な情報を表示（提示、呈示）する際に用いられる文字情報をリアルタイムに自動検出してリスト表示する文字情報検出装置に適用したものである。
【００２５】
ＴＶ放送等において、文字情報（以下、テロップという。）は、制作者が重要だと判断した内容であって、視聴者に強く伝えたい情報であるといえる。そのため、テロップは、画面上の他の部分と区別しやすいよう工夫されており、以下に示す特徴を有すると考えられる。テロップが有する特徴とは、
１．テロップを構成する画素は高輝度である
２．文字の縁はエッジが急峻であるため、エッジ密度が高い
３．特徴的な出現形態をとる
４．出現した後、一定時間の安定状態を有する
５．特徴的な消失形態をとる
６．自然界に無い色が使用されている
７．情報の内容と出現場所とに関係がある
等である。これら全ての特徴を有することがテロップの必用条件ではないものの、多くのテロップがこれらの特徴のうち、数個の特徴を有すると考えられる。本願発明者等は、このようなテロップの特徴に着目し、テロップの高精度な抽出を実現する方法を見出した。
【００２６】
本発明においては、上述したように、テロップは情報の内容と出現場所とに関係がある、即ち、情報内容によってテロップの出現位置は数種類のパターンに代表されることから、予め予測されるテロップの出現位置をテロップ出現領域として設定する。図１（ａ）乃至図１（ｅ）は、テロップ出現領域を画面上に設定した例を示す模式図である。テロップ出現領域は、画面上で、テロップの出現が予測される任意の位置か又は目的に応じて検出したい所定の位置等に、例えば矩形又は帯状の領域として設定することができる。図１（ａ）は、画面中央にテロップ出現領域を設定した場合、図１（ｂ）は、画面中央上部にテロップ出現領域を設定した場合、図１（ｃ）は、画面中央下部にテロップ出現領域を設定した場合、図１（ｄ）は、画面の４隅にテロップ出現領域を設定した場合、図１（ｅ）は、画面側部にテロップ出現領域を設定した場合を示している。
【００２７】
例えば、ＴＶ番組においては、画面中央に表示されるテロップとしては、番組タイトル又は各コーナタイトル等を示すものがあり、画面中央上部に表示されるテロップとしては、臨時ニュース等を示すものがある。また、画面中央下部に表示されるテロップとしては、解説又は出演者のコメント内容等を示すものがあり、画面４隅に表示されるテロップとしては、トピック内容又は時刻等を示すものがあり、画面側部に表示されるテロップとしては人物名等の固有名詞等を示すもの等がある。
【００２８】
更に、本実施の形態においては、従来のテレビ視聴形態が１台のテレビを使用するものであることに対して、複数台のテレビ画面を同時に用い、通常の放送が流れるメイン画面の他に複数のサブ画面を用意する。そして、検出されたテロップをサブ画面にリスト状に表示し、その内容を一定期間保持することで、刻々と変化するテロップの内容を見落とさず、後に確認をすることも可能にする。
【００２９】
図２は、文字情報を検出する処理を実行する装置を示すブロック図である。図２に示すように、装置１は、例えばＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）等の中央処理装置２と、制御プログラム３を有するメインメモリ４と、データファイル５を有するファイル装置６と、入力装置７と、出力装置８とがバス９を介して接続されている。
【００３０】
この装置１は、文字情報検出処理を行う手段を備えるものであって、装置入力装置７から供給される例えばテレビ番組等の動画像から文字情報（以下、テロップという。）を切り取り、例えば、入力装置から供給される動画像を表示するメイン画面とは異なる画面（サブ画面）を有する他のＴＶ装置等の出力装置８に出力して提示することができる。メインメモリ４には、入力画像からテロップを切り取る処理を実行するための制御プログラム３が格納されており、中央処理装置２により制御されて制御プログラム３が実行される。以下、文字情報検出処理を行う手段について具体的に説明する。
【００３１】
図３は、本発明の実施の形態に係る文字情報検出装置におけるデータの流れを説明する説明図である。図３に示すように、本実施の形態の文字情報検出装置は、入力画像データが供給されるフレーム画像判定部（判定手段）１０と、フレーム画像判定部１０からのデータが供給され、図１に示すような画面上に予め設定されたテロップ出現領域（文字情報出現領域）において、このテロップ出現領域にテロップが出現するか否かを検出するテロップ出現検出部（文字情報出現フレーム画像検出手段）２０と、フレーム画像判定部１０又はテロップ出現検出部２０からフレーム画像が供給され、そのテロップ出現領域のエッジ密度が所定の閾値以上であるとき、このテロップ出現領域をテロップ候補として検出するエッジ密度検出部３０と、エッジ密度検出部３０により検出されたテロップ候補を既検出テロップ候補として記憶する記憶部４０と、既検出テロップ候補がこの既検出テロップ候補を有するフレーム画像に時間的に連続する複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間を検出しこの静止期間が所定値に達したとき当該既検出テロップ候補をテロップと推定する推定部５０と、推定部５０により推定されたテロップ候補と、実際に提示済みのテロップとの類似度を比較し、類似していないテロップ候補のみをテロップとして出力するテロップ類似度検出部６０と、テロップ類似度検出部６０から出力されるテロップを保持し、複数のテロップを合成してリスト状にして提示画像を生成する提示画像生成部（提示手段）７０とから構成されている。
【００３２】
テロップ出現検出部２０は、フレーム全体の輝度変化を検出する候補フレーム画像検出部２１とテロップ出現領域の輝度変化を検出する局所変化検出部２２とを有する。
【００３３】
また、推定部５０は、エッジ密度検出部３０から供給されるデータと記憶部４０に記憶されている既検出テロップ候補との類似度を比較する類似度検出部５１と、既検出テロップ候補が記憶部４０に保持される期間を検出する継続カウンタ５２と、継続カウンタ５２及び類似度検出部５１からのデータに基づき既検出テロップ候補の安定度を判定する安定度判定部５３から構成されている。
【００３４】
以下、本実施の形態における文字情報検出装置ついて更に詳細に説明する。文字情報検出装置には、時系列のフレーム単位の画像データが入力される。ここで、後述するテロップ出現検出部２０においてテロップ出現領域にテロップの出現が検出された時点及びエッジ密度検出部３０でテロップ出現領域のエッジ密度が所定の閾値以上のもの（テロップ候補（候補ベクトル））が検出された時点で、これを示すフラグ（ｓｔａｔｅｆｌｇ）に１が設定される。このフラグ（ｓｔａｔｅｆｌｇ）は、その後のフレーム画像のテロップ出現領域がテロップ候補ではないと判定された時点、具体的には、後述するが、エッジ密度検出部３０においてテロップ出現領域のエッジ密度が所定の閾値未満であることが検出された時点、テロップ類似度検出部６０で同様の既に提示済みのテロップが検出された時点、及び提示画像生成部７０からテロップと確定されて出力された時点で０が設定されるものである。
【００３５】
フレーム画像判定部１０は、入力フレーム（ｉフレーム）が入力された時点で、このフラグ（ｓｔａｔｅｆｌｇ）が０であるか、又は１であるかにより、既に文字情報候補が検出されているか否かを判定するものである。上述した如く、テロップは出現した後、一定時間の安定状態を有することから、ｉフレームが入力された時点で、既に過去のフレームにおいてテロップの出現又はテロップ候補が検出されていれば、ｉフレームではテロップ出現中とみなすことができる。従って、テロップ出現検出部２０における処理は不要であるため、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、フレーム画像をエッジ密度検出部３０に供給する。
【００３６】
テロップ出現検出部２０は、フラグ（ｓｔａｔｅｆｌｇ）が０である間、判定部１０からフレーム画像が供給される。そして、時間的に近接するフレーム画像間の輝度変化からテロップ出現領域におけるテロップの出現を検出するものである。入力フレーム（ｉフレーム）テロップ出現領域の輝度と、時間的に近接する例えば（ｉ−２）フレームのテロップ出現領域との輝度とを比較すれば、ｉフレームテロップ出現領域にテロップが出現する場合、その輝度が変化するため、この輝度変化を検出することにより、ｉフレームテロップ出現領域にテロップが出現するか否かが判定できる。
【００３７】
ここで、テロップ出現領域のみの輝度変化を検出すると、例えばシーンチェンジ等のようにフレーム全体の輝度が変化している場合にもテロップ出現領域の輝度変化が検出されてしまう。これを防止するため、候補フレーム画像検出部２１により、近接フレーム画像間のフレーム全体の輝度変化を調べ、この輝度変化が所定の閾値以下であるものを局所変化検出部２２に供給する。
【００３８】
そして、局所変化検出部２２は、近接フレームのテロップ出現領域間で輝度の局所変化を検出し、この輝度変化が所定の閾値以上であれば、テロップが出現するものと判断し、フラグ（ｓｔａｔｅｆｌｇ）に１を立てると共に、このフレーム画像（文字情報出現フレーム画像）をエッジ密度検出部３０に供給する。
【００３９】
次に、候補フレーム画像検出部２１及び局所変化検出部２２について具体的に説明する。候補フレーム画像検出部２１は、例えば図４のように構成された輝度ヒストグラム生成部８０に対して入力フレーム画像を送り、フレーム全体の輝度ヒストグラムを利用して候補フレーム画像を検出することができる。輝度ヒストグラム生成部８０は、フレーム画像判定部１０からのフレーム画像のデータ（以下、フレームデータという。）が供給されるブロック分割部８１及び遅延回路８３、遅延回路８３により所定時間遅延されたフレームデータが供給されるブロック分割部８４、並びに、ブロック分割部８１及び８４により所定のサイズのブロックに分割されたフレームデータが供給されブロック毎の輝度ヒストグラムを計算する夫々ヒストグラム計算部８２及び８５から構成されている。
【００４０】
このように構成された輝度ヒストグラム生成部８０に対して、候補フレーム画像検出部２１が、フレーム画像判定部１０から供給されるｉフレームの画像データを供給する。輝度ヒストグラム生成部８０は、ブロック分割部８１により、供給されたｉフレームの画像データ（情報列）を空間が規定サイズとなるブロックに分割し、このブロック単位のデータをヒストグラム計算部８２に送る。
【００４１】
また、このｉフレームの画像データは、同時に遅延回路８３にも供給され、遅延回路８３により、例えば２フレーム分遅延された画像データがブロック分割部２４に供給される。
【００４２】
ブロック分割部８４は、ブロック分割部８１と同様に、（ｉ−２）フレームの画像データ（情報列）を空間の規定サイズブロックに分割し、このブロック単位のデータをヒストグラム計算部８５に送る。
【００４３】
ヒストグラム計算部８２，８５は、全画面において、ブロック単位で輝度ヒストグラムを計算し、この結果を候補フレーム画像検出部２１に送る。
【００４４】
そして、候補フレーム画像検出部２１は、ヒストグラム計算部８２，８５からのデータ、即ち、ｉフレームのブロック単位の輝度ヒストグラムと、（ｉ−２）フレームのブロック単位の輝度ヒストグラムとが供給されると、ｉフレームと（ｉ−２）フレームとの間において、空間的に対応するブロック毎に輝度ヒストグラムの相関係数を求め、予め決められた閾値（Ｔｈ＿ｃｏｅｆ１）と比較し、相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ１）以下であるブロックを変化ブロックと判定する。下記式（１）に相関係数を求める際の式を示す。
【００４５】
【数１】
【００４６】
そして、この変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ１）以下であるｉフレームを候補フレーム画像として検出する。ここで、変化ブロックの割合が閾値（Ｔｈ＿ｄｉｆｆ１）より大きい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。
【００４７】
また、局所変化検出部２２も、候補フレーム画像検出部２１と同様に、候補フレーム画像検出部２１により検出されたｉフレーム及び（ｉ−２）フレームのデータが供給され、両者の上記文字情報出現領域において、候補フレーム画像検出部２１と同様に、空間的に対応するブロック毎に輝度ヒストグラムの相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ１）以下である変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であるｉフレームを検出する。ここで変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であった場合は、上述した如くフラグ（ｓｔａｔｅｆｌｇ）に１を立てると共にこのデータをエッジ密度検出部３０に供給する。一方、変化ブロックの割合が閾値（Ｔｈ＿ｄｉｆｆ２）より小さい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。これは近接するフレームの文字情報出現領域間の変化が小さい場合は、ｉフレームのテロップ出現領域においてテロップの出現は検出されなかったと判断し、このフレームについての後段の処理を省略するためである。
【００４８】
このように、テロップ出現検出部２０によって、全ブロック中の変化ブロックの割合とテロップ出現領域における変化ブロックの割合とを計算し、全ブロック中の変化ブロックの割合が予め決めた閾値以下であり、且つ、テロップ出現領域における変化ブロックの割合が予め決めた閾値以上である場合は、局所変化が存在する、即ち、テロップの出現と判定することができる。
【００４９】
なお、本実施の形態においては、輝度ヒストグラム生成部８０を用意し、候補フレーム画像検出部２１の要求に応じて輝度ヒストグラムを生成するものとしたが、候補フレーム画像検出部２１及び局所変化検出部２２において、図４に示すようなブロック分割部８１，８４及びヒストグラム計算部８２，８５等を個別に有するものとしてもよい。また、遅延回路８３による遅延時間は、２フレーム分としたが、例えば１フレーム又は３フレーム等、フレーム間の変化の割合を検出することができる範囲で任意に設定可能である。
【００５０】
図３に戻って、エッジ密度検出部３０は、フラグ（ｓｔａｔｅｆｌｇ）が１である間、フレーム画像か供給され、このテロップ出現領域のエッジ密度を計算する。なお、ここで、エッジ密度検出部３０に供給される画像データは、フレーム全体のデータであっても、テロップ出現領域のみのデータであってもよい。
【００５１】
エッジ密度検出部３０は、このフレーム画像のテロップ出現領域のエッジ密度が所定の閾値以上であるとき、当該テロップ出現領域をテロップ候補として検出する文字情報候補検出手段である。即ち、フレーム画像のテロップ出現領域におけるエッジ密度を算出し、上述したように、テロップであれば、エッジ密度が高いという特徴から、テロップ出現領域のエッジ密度が所定の閾値（Ｔｈ＿ｄｅｎ）以上のものをテロップ候補として検出する。ここで、テロップ出現領域のエッジ密度が所定の閾値（Ｔｈ＿ｄｅｎ）未満であるときは、フラグ（ｓｔａｔｅｆｌｇ）を０とする。これにより、以降のフレーム画像は、フラグ（ｓｔａｔｅｆｌｇ）に１が設定されるまでの間、テロップ出現検出部２０に供給されるようになる。
【００５２】
記憶部４０には、エッジ密度検出部３０において検出されたテロップ候補が既検出テロップ候補として記憶される。即ち、現フレーム（ｉフレーム）より過去のフレームにおいてテロップ候補として検出されたテロップ出現領域のデータが既検出テロップ候補として記憶されており、後述する推定部５０において、この既検出テロップ候補と、この既検出テロップ候補と時間的に連続する所定数のフレームにおいて検出されたテロップ候補とが比較されることにより、既検出テロップ候補がテロップであるか否かが推定される。即ち、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部３０によりテロップ候補が検出されなかった場合は、その時点で既検出テロップ候補は不要となる。従って、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部３０によりテロップ候補が検出されなかった場合、エッジ密度検出部３０は、記憶部４０に記憶されている既検出テロップ候補を初期化（破棄）し、後述する継続カウンタ５２のカウント値をリセットし、フラグ（ｓｔａｔｅｆｌｇ）を０とし、次のフレームの処理へ移る。
【００５３】
推定部５０は、記憶部４０に保持されている既検出テロップ候補と、この既検出テロップ候補を有するフレーム画像に連続する所定数のフレーム画像におけるテロップ候補とのエッジ密度の変化の割合が所定の閾値以下であるとき、当該既検出テロップ候補をテロップと推定する検出手段である。
【００５４】
継続カウンタ５２は、テロップが安定して出現したフレーム数（静止期間）をカウントするものである。例えば、エッジ密度検出部３０及び後述する類似度検出部５１等において、記憶部４０に記憶されている既検出テロップ候補は、これに続くフレームのテロップ候補と比較されることにより、既検出テロップ候補がテロップとしての特徴から外れる場合は、テロップ候補と置き換えられ、このとき、継続カウンタ５２のカウント値がリセットされる。上述したように、テロップであれば、数フレームは安定して出現することから、継続カウンタ５２により、記憶部４０に記憶されている既検出テロップ候補が置き換えられることなく保持される連続フレーム数をカウントする。推定部５０は、このカウント値から既検出テロップ候補がテロップであるか否かを最終的に推定するものである。
【００５５】
類似度検出部５１は、既検出テロップ候補と、これより後（未来）のフレームにおいて検出されたテロップ候補との類似度を検出する類似度検出手段である。即ち、エッジ密度検出部３０により検出されたエッジ密度が所定の閾値以上であるテロップ出現領域（テロップ候補）が供給され、このテロップ候補と、上記既検出テロップ候補との相関を比較する。具体的には、上述の候補フレーム画像検出部２１及び局所変化検出部２２と同様に、空間的に対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上である場合、テロップ候補のテロップと、既検出テロップ候補のテロップとは、同一のものであると判断する。この場合は、更に、テロップ候補のエッジ密度と、既検出テロップ候補のエッジ密度とを比較し、両者のうち、エッジ密度が高い方のデータを既検出テロップ候補とする。即ち、既検出テロップ候補のエッジ密度の方が高ければ、記憶部４０に記憶されているデータはそのまま保持されるが、テロップ候補の方がエッジ密度が高い場合は、記憶部４０のデータ（既検出テロップ候補）をテロップ候補のデータと置き換える。このように、エッジ密度が高いものを選択することにより、より鮮明なものを抽出することができる。
【００５６】
ここで、記憶部４０に記憶されている既検出テロップ候補が置き換えられた（書き換えられた）場合は、継続カウンタ５２のカウント値をリセットする。一方、記憶部４０に記憶されている既検出テロップ候補をそのまま保持した場合は、継続カウンタ５２のカウント値をインクリメントする。
【００５７】
また、相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ２）未満である場合、ｉフレームテロップ出現領域に出現している可能性のあるテロップは、既検出テロップ候補に出現している可能性のあるテロップとは異なるものと判定され、ｉフレームテロップ出現領域のデータを記憶部４０に供給し、記憶されている既検出テロップ候補をｉフレームテロップ出現領域のデータに置き換えると共に、継続カウンタ５２のカウント値をリセットする。
【００５８】
このように、類似度検出部５１は、テロップ候補と、記憶部４０に記憶された既検出テロップ候補との類似度が所定の閾値以上であって、既検出テロップ候補のエッジ密度よりテロップ候補のエッジ密度の方が高いとき、また、上記類似度が所定の閾値未満であるとき、記憶部４０の既検出テロップ候補をｉフレームのテロップ候補に入れ替える入替手段としても機能する。
【００５９】
安定度判定部５３は、既検出テロップ候補が記憶部４０に保持される期間を検出する期間検出手段として、継続カウンタ５２のカウント値を検出する。上述したように、テロップであれば、数フレーム間は安定に出現することから、カウント値が予め設定された所定値である場合に、記憶部４０に記憶されている既検出テロップ候補がテロップであると推定し、これをテロップ類似度判定部６０に送る。一方、カウント値が所定値以外、例えば所定値未満である場合は、この既検出テロップ候補がテロップとしての安定度が低いと判定し、また所定値より大きい場合は、既にテロップ類似度判定部６０に送られたものと判定し、記憶部４０の既検出テロップ候補及び継続カウンタ５２のカウント値を保持しつつ、次のフレームの処理へ進む。ここで、カウント値が所定値未満であった場合、以降のフレーム処理により、カウント値がインクリメントされ所定値に達した場合は、この既検出テロップ候補がテロップと推定されて類似度検出部６０に送られる。
【００６０】
また、既検出テロップ候補をテロップと推定してテロップ類似度検出部６０に送出した後は、記憶部４０に記憶されている既検出テロップ候補、及び継続カウンタ５２のカウント値はそのまま保持することにより、以降のフレームにおいて、この既検出テロップ候補と同一のテロップ候補が検出され、カウンタ値がインクリメントされれば、カウンタ値が所定値より大きくなるため、テロップ類似度検出部６０には送出されず、同一のテロップを出力することを防止することができる。
【００６１】
テロップ類似度検出部６０は、安定度判定部５３により、既検出テロップ候補がテロップと推定された既検出テロップ候補と、既に提示されているテロップとを比較しその類似度が所定の閾値以下であるとき、当該既検出テロップ候補をテロップとして検出する文字情報検出手段である。即ち、既にテロップと判定され、例えば既に提示されたテロップ、又は、後述する提示画像生成部７０に保持されているテロップ等の既検出テロップと、安定度判定部５３によりテロップであると判定された既検出テロップ候補とを比較し、既検出テロップと類似していない既検出テロップ候補のみ検出し、これをテロップとして提示画像生成部７０に送る。これにより、既検出テロップ候補が既にテロップとして判定され出力されているものと同じ場合には出力しないようにすることができる。このテロップ類似度判定部６０により、既検出テロップ候補が既にテロップとして出力されていると判定された場合は、この既検出テロップ候補のデータを初期化し、次のフレームの処理に進む。
【００６２】
提示画像生成部７０は、類似度判定部６０により検出された１以上の既検出テロップを合成し提示画像を生成して他の画面に表示する提示手段である。提示画像生成部７０は、所定数のテロップを保持して表示し続けるため、テロップの出現領域が例えば水平方向の帯状の領域に設定されている場合、この帯状の領域を切出し、例えは垂直方向に並べることでリスト表示を行っている。新しいテロップが検出される度に既存テロップをスクロールし、画像を更新して出力する。
【００６３】
このように、文字情報検出装置は、先ず、テロップ出現検出部２０により、入力画像データの輝度変化からテロップの出現を検出し、エッジ密度検出部３０により、出現を検出した文字情報出現領域のエッジ密度からテロップ゜候補を検出し、推定部５０により、テロップ候補の出現している期間を検出することによりテロップ候補が確実にテロップであるか否かを推定し、必要に応じて類似度類似度判定部６０を設け、これによりテロップが何度も検出されないようにして、提示画像を生成するものである。
【００６４】
以下、本実施の形態における文字情報検出方法について詳細に説明する。図５は、図３に示すフレーム画像判定部１０及びテロップ出現検出部２０の処理方法を示すフローチャートである。上述したように、文字情報を検出する際には、例えば図１に示すように、予めテロップ出現領域を画面上に設定する。以下の説明においては、図１（ｃ）に示すように、テロップ出現領域を画面下部に設定した場合について説明する。なお、複数のテロップ出現領域を設定する場合は、各テロップ出現領域について同様の処理を行うものとする。
【００６５】
図５に示すように、図３のフレーム画像判定部１０にｉフレームの画素値Ｆ（ｉ，ｐｘｌ）が入力されると、上述したフラグ（ｓｔａｔｅｆｌｇ）が１であるか０であるかが検出される（ステップＳ１）。ここで、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、後述するステップ９に進む。一方、フラグ（ｓｔａｔｅｆｌｇ）が０である間は、ステップＳ２及びＳ３に進む。
【００６６】
ステップＳ２では、ヒストグラム生成部８０のヒストグラム計算部８５から（ｉ−２）フレームの全画面においてブロック単位で計算された輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む。ここで、ｊは、フレーム内のｊ番目のブロック（ブロックＮｏ．）を示し、輝度ヒストグラムＨ（ｉ−２，ｊ）は、（ｉ−２）フレームにおけるｊ番目のブロックの輝度ヒストグラムを示す。このとき、同時に、ヒストグラム計算部８２で、ｉフレームの全画面において、ブロック毎の輝度ヒストグラムが計算され、このｉフレームにおける輝度ヒストグラムＨ（ｉ，ｊ）がフレーム変化検出部２６に供給される（ステップＳ３）。本実施の形態においては、フレーム画像を例えば７２０×４８０ピクセル等とすることができ、ブロックサイズを例えば３２×３２ピクセル等とすることができる。
【００６７】
次に、ステップＳ４では、局所変化検出部２６が、輝度ヒストグラムＨ（ｉ−２，ｊ）と輝度ヒストグラムＨ（ｉ，ｊ）とから対応ブロック毎に相関係数ｅ１（ｊ）を計算し、この相関係数ｅ１（ｊ）と所定の閾値（Ｔｈ＿ｃｏｅｆ１）とを比較し、相関係数ｅ１（ｊ）が、閾値（Ｔｈ＿ｃｏｅｆ１）以下であれば、変化ブロックと判定する。
【００６８】
そして、ステップＳ４で判定した全ブロックに対する変化ブロックの割合ｅ１（ｊ）が、所定の閾値（Ｔｈ＿ｄｉｆｆ１）以下であるか否かを判定し（ステップＳ５）、閾値（Ｔｈ＿ｄｉｆｆ１）より大きい場合は、現フレームの処理を終了し、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ１（ｊ）が閾値（Ｔｈ＿ｄｉｆｆ１）以下である場合は、ステップＳ６に進む。
【００６９】
ステップＳ６では、局所変化検出部２２において、ヒストグラム計算部８２，８５からのデータにより、フレーム内のテロップ出現領域、即ち、本実施の形態の場合は、例えば６４×５７６ピクセルのサイズを有する画面中央下部領域内の全ブロックに対する変化ブロックの割合ｅ２（ｊ）を計算し、ステップＳ７において、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であるか否かを判定する。変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）未満である場合は、現フレームの処理を終了して、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上である場合は、ステップＳ８に進み、ｉフレームのテロップ出現領域はテロップ候補であるとみなし、テロップ候補が検出されたことを示すフラグ（ｓｔａｔｅｆｌｇ）に１をたて、ｉフレームの画素値Ｆ（ｉ，ｐｘｌ）を推定部５０へ送る。これにより、以降のフレーム画像の処理は、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、ステップＳ２乃至ステップＳ８の処理を行わず、ステップＳ１からステップＳ９に進む処理がなされることになる。
【００７０】
次に、ヒストグラム生成部８０において、輝度ヒストグラムを計算する方法について更に詳細に説明する。図６は、ヒストグラム生成部８０によりブロック単位で計算された輝度ヒストグラムから候補フレーム画像を検出する方法を示すブローチャートである。
【００７１】
図６に示すように、先ず、ブロック分割部８１にｉフレームの画像データが入力され、このフレーム画像データを規定サイズ、例えば、３２×３２ピクセルのサイズのブロックに分割する（ステップＳ２１）。ブロック分割されたデータはヒストグラム計算部８２に送られ、ここで、ｊ番目のブロックの輝度ヒストグラムＨ（ｉ，ｊ）を計算する（ステップＳ２２）。次に、ヒストグラム計算部８５から、（ｉ−２）フレームのｊ番目のブロックの輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む（ステップＳ２３）。
【００７２】
次に、ステップＳ２２で得られた輝度ヒストグラムＨ（ｉ，ｊ）と、ステップＳ２３で得られた輝度ヒストグラムＨ（ｉ−２，ｊ）とから、上記式（１）により、ヒストグラムの相関係数ｅ１（ｊ）を計算し（ステップＳ２４）、閾値（Ｔｈ＿ｃｏｅｆ１）により変化を判定する（ステップＳ２５）。この変化の判定には、例えばフラグＥ（ｉ，ｊ）を使用し、ｉフレームのｊ番目のブロックは変化がある（変化ブロック）と判定された場合は、フラグＥ（ｉ，ｊ）＝１とし、変化ブロックではないと判定された場合は、フラグＥ（ｉ，ｊ）＝０とする。そして、（ｉ＋２）フレームのフレーム変化を検出する際に使用するため、Ｈ（ｉ，ｊ）を保持すると共に、候補フレーム画像検出部２１内のブロックＮｏ．をカウントするカウンタ値ｊをインクリメントする（ステップＳ２６）。そして、全ブロックについて、ステップＳ２５の閾値判定が終了しているか否かを判定し（ステップＳ２６）、終了していない場合は、ステップＳ２２に戻り、次のブロック（ｊ＋１番目のブロック）について、同様の処理を繰り返す。
【００７３】
一方、全てのブロックにおいて処理が終了した場合は、上述したように、変化ブロックの割合が所定の閾値より大きければ、現フレーム（ｉフレーム）の処理を終了し、次のフレームの処理へ進み、変化ブロックの割合が所定の閾値以下である場合は、局所変化検出部２２へデータを供給する。具体的には、全ブロックのフラグＥ（ｉ，ｊ）の値を加算し、これが所定の閾値より大きい場合は処理を終了し、所定の閾値以下である場合は、局所変化検出部２２へデータを供給する。 局所変化検出部２２においても、基本的には、ステップＳ２２乃至２７と同様の処理が繰り返される。即ち、テロップ出現領域内のブロック単位の輝度ヒストグラムＨ（ｉ，ｊ）及びＨ（ｉ−２，ｊ）が順次読み込まれ、テロップ出現領域内の変化ブロックを検出する処理を行う。
【００７４】
次に、推定部５０における既検出テロップ候補がテロップか否かを推定する方法について説明する。図７は、推定部の推定方法を示すフローチャートである。先ず、フラグ（ｓｔａｔｅｆｌｇ）＝１の間、画像データがエッジ密度検出部３０に送られる。ここでは、エッジ密度検出部３０に送られる画像データをｉフレームとする。先ず、図７に示すように、エッジ密度検出部３０において、ｉフレームにおけるテロップ出現領域におけるエッジ画像の密度ｄ（ｉ）が計算される（ステップＳ９）。このエッジ密度ｄ（ｉ）が所定の閾値（Ｔｈ＿ｄｅｎ）以上であるか否かが検出され（ステップＳ１０）、エッジ密度ｄ（ｉ）が閾値（Ｔｈ＿ｄｅｎ）未満である場合は、ステップＳ１１に進み、記憶部４０に記憶されている既検出テロップ候補を初期化、即ち、データを破棄し、継続カウンタ５２のカウント値をリセットし、更にテロップ候補が検出されていることを示すフラグ（ｓｔａｔｅｆｌｇ）を０にする（ステップＳ１１）。これにより、以降のフレーム画像は、フラグ（ｓｔａｔｅｆｌｇ）が１になるまで、ステップＳ２乃至ステップＳ８を繰り替えすことになる。一方、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）が閾値（Ｔｈ＿ｄｅｎ）以上である場合は、データを類似度検出部５１へ送り、ステップＳ１２に進む。
【００７５】
ステップＳ１２では、類似度検出部５１において、記憶部４０に記憶されている既検出テロップ候補と、ｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）を計算する。そして、相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上であるか否かを判定する（ステップＳ１３）。ステップＳ１３で、相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上であると判定された場合、即ち、既検出テロップ候補とｉフレームのテロップ出現領域とは同一のテロップを有するものと判定された場合はステップＳ１４に進み、記憶部４０に記憶されている既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）と、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）とが比較される（ステップＳ１４）。そして、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上であるか否かが判定され（ステップＳ１５）、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上である場合、即ち、既検出テロップ候補の方がｉフレームのテロップ出現領域に出現する可能性のあるテロップよりも鮮明であると判定された場合は、ステップＳ１７に進む。
【００７６】
一方、ステップＳ１３において、既検出テロップ候補とｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）未満である場合、即ち、ｉフレームのテロップ出現領域と既検出テロップ候補とでテロップが変化しているものと判断した場合と、ステップＳ１５において、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）より小さい場合、即ち、既検出テロップ候補よりもｉフレームのテロップ出現領域に出現する可能性があるテロップの方が、エッジ密度が高く鮮明であると判断した場合は、ステップＳ１６に進む。ステップＳ１６では、記憶部４０に記憶されている既検出テロップ候補が、現フレーム、即ち、ｉフレームのテロップ出現領域のデータに入れ替えられる。具体的には、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）を、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）に入れ替え、更に継続カウンタ５２のカウント値をリセット（ｔｌｐｌｅｎ＝０）し、ステップＳ１７に進む。
【００７７】
ステップＳ１７においては、継続カウンタ５２のカウント値をインクリメント（ｔｌｐｌｅｎ＝＋＋）し、ステップＳ１８において、継続カウンタ５２のカウント値（ｔｌｐｌｅｎ）が所定値（Ｔｈ＿ｔｌｐｌｅｎ）であるか否かが判定される。
【００７８】
上述したように、テロップであれば、一定フレームの間、安定して出現する。継続カウンタ５２のカウント値は、テロップが安定して出現したフレーム数を示すものである。従って、ステップＳ１８において、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）以外であると判定された場合は、カウント値及び既検出テロップ候補のデータを保持して次のフレームの処理へ進む。
【００７９】
一方、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）である場合、即ち、既検出テロップ候補が所定のフレーム数、出現し続けていると判定された場合は、このデータがテロップ類似度判定部６０へ送られてステップＳ１９に進む。この際、記憶部４０に保持されている既検出テロップ候補及び継続カウンタ５２のカウント値はそのまま保持する。
【００８０】
ステップＳ１９では、例えば、提示画像生成部７０等に保持されている既にテロップと判定されものと、既検出テロップ候補との相関係数を計算し、ステップＳ２０にて、相関係数が所定の閾値以下であるか否かが判定される。ステップＳ２０にて相関係数が所定の閾値以下である場合、既検出テロップ候補は、まだテロップとして検出されていない新しいテロップであると判断され、このデータを提示画像生成部７０へ送る。一方、相関係数が所定の閾値より大きい場合は、既検出テロップ候補に出現するテロップは既にテロップとして出力されていると判断され、次のフレームの処理に進む。
【００８１】
ここで、ステップＳ１８及びステップＳ１９において、安定度判定部５３及びテロップ類似度検出部６０の夫々判定結果及び検出結果に関わらず、記憶部４０の既検出テロップ候補のデータはそのまま保持され、且つ継続カウンタ５２のカウンタ値もそのまま保持されているため、例えば、次に入力されるフレーム画像において同じテロップ候補が検出され、このテロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より小さい場合は、継続カウンタ５２のカウンタ値がインクリメントされ、所定値（Ｔｈ＿ｔｌｐｌｅｎ）を超えるため、再びテロップ類似度検出部６０に送られることはない。また、テロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より大きい場合は、既検出テロップ候補が置き換えられ、継続カウンタのカウント値が１となり、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）に達するまで処理が繰り返される。
【００８２】
以上、図７に示す工程において、記憶部４０には、既検出テロップ候補が記憶されているものとして説明したが、図５に示すステップＳ５、ステップＳ８において、ｉフレームにおいてテロップ候補が検出されなかった場合、記憶部４０に記憶されている既検出テロップ候補は初期化（破棄）される。このように、記憶部４０には、既検出テロップ候補が記憶されていない状態で、推定部５０にテロップ候補を有するフレーム画像が供給された場合、図７に示すステップＳ１２乃至ステップＳ１５における処理は不要となる。従って、既検出テロップ候補が初期化された状態でステップＳ１０においてエッジ密度が所定の閾値以上であると判定された場合は、ステップＳ１６に進み、フレーム画像のテロップ出現領域のデータが既検出テロップ候補として記憶される。そして、同様に、ステップＳ１７において、継続カウンタｔｌｐｌｅｎ＝１として、次のフレームの処理に進む。
【００８３】
図８は、提示画像生成部７０において生成される提示画像の一例を示す模式図である。図８（ａ）に示すように、通常のＴＶ映像が表示されるメイン装置９０において、例えば画面中央下部に表示されるテロップ９１を、上述の方法により切り取り、リスト状にして、図８（ｂ）に示すように、サブ画面を有する装置９２上に表示することができる。
【００８４】
本実施の形態においては、テロップ出現検出部２０において異なるフレーム間におけるブロック単位の輝度ヒストグラムの相関を用いてテロップ出現領域における輝度変化（局所変化）を求めることで画像上の小さな変化等による誤検出を軽減することが可能となると共に、シーンチェンジ及び背景の大きな動き等による誤検出を軽減することが可能となる。また、エッジ密度検出部３０によるエッジ密度を判定条件に用いることで、文字情報（テロップ）を更に精度よく検出することが可能となる。更に、類似度判定部５１により、既検出テロップ候補とこれに連続するフレームのテロップ出現領域における類似度を判定すると共に、継続カウンタ５２により継続して出現するフレーム数をカウントし、更に、テロップ類似度検出部６０により既検出テロップとの類似度を判定することで、細かいテロップの変化等の場合にも、同内容のテロップを誤検出することを軽減することができる。更にまた、複数台のＴＶを用いて、提示画像生成部７０により映像を表示するＴＶとは別の画面にテロップをリスト状に表示し、一定時間保持することにより、一般に重要であるが刻々と変化するテロップの情報を見落とさず視聴することができ、且つテロップを後から見直すことができ、使用者の理解を容易にすることができる。
【００８５】
【発明の効果】
以上詳細に説明したように本発明によれば、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出手段と、上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出手段と、上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶手段と、上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出手段とを有するので、画像上の小さな変化の誤検出を軽減することができ、更に、文字情報候補のエッジ密度と、文字情報候補の変化の期間を判定条件に用いることで、文字情報をより精度よく検出することができる。
【図面の簡単な説明】
【図１】（ａ）乃至（ｅ）は、テロップ出現領域を画面上に設定した例を示す模式図である。
【図２】本発明の実施の形態の文字情報検出装置を示すブロック図である。
【図３】本発明の実施の形態に係る文字情報検出装置の制御プログラムにおけるデータの流れを説明する説明図である。
【図４】輝度ヒストグラムを生成する際のデータの流れを説明する説明図である。
【図５】本発明の実施の形態の文字情報検出方法を示す図であって、フレーム画像判定部１０及びテロップ出現検出部２０の処理方法を示すフローチャートである。
【図６】同じく、本発明の実施の形態の文字情報検出方法を示す図であって、輝度ヒストグラムからフレーム変化を検出する方法を示すブローチャートである。
【図７】同じく、本発明の実施の形態の文字情報検出方法を示す図であって、既検出テロップ候補がテロップか否かを推定する方法を示すブローチャートである。
【図８】本発明の実施の形態における文字情報検出装置の提示画像生成部で生成される提示画像の一例を示す模式図である。
【符号の説明】
１ 文字情報検出装置、２ 中央処理装置、３ 制御プログラム、４ メインメモリ、５ データファイル、６ ファイル装置、７ 入力装置、８ 出力装置、９ バス、１０ 判定部、２０ テロップ出現検出部、２１ 候補フレーム画像検出部、２２ 局所変化検出部、３０ エッジ密度検出部、４０ 記憶部、５０ 推定部、５１ 類似度検出部、５２ 継続カウンタ、５３ 安定度判定部、６０ テロップ類似度検出部、７０ 提示画像生成部、８０ ヒストグラム生成部、８１，８４ ブロック分割部、８２，８５ ヒストグラム計算部
【発明の属する技術分野】
本発明は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置及びその方法並びにプログラム及び記録媒体に関し、特に、正確に文字情報を検出して提示することができる文字情報検出装置及びその方法並びにプログラム及び記録媒体に関する。
【０００２】
【従来の技術】
従来、連続する画像中に出現する文字情報を重要な情報だと考え、それらを検出する技術がある。例えば、特開平１０−４０３９１号公報には、動画像を構成する複数のフレームの中から文字が含まれるフレームを抽出する文字出現フレーム抽出装置及び方法が開示されている（以下、従来例１という。）。
【０００３】
この公報に記載の技術においては、映像中のテロップ文字又はフリップボード上の文字を投影した場合、文字が出現することにより前のフレームとの画素値に差が生じ、文字が出現した後、数フレームに亘って文字部分は変化が少ない点に着目し、動画像を構成する各フレームを部分矩形領域に分割し、前後の時刻の複数フレームとの間で対応する部分矩形領域内で輝度ヒストグラム差分値を算出し、各フレームと前後の時刻の複数のフレームとの間で求めた複数の輝度ヒストグラム差分値の中で、前の時刻の複数のフレームとの間で求めた差分値は、予め設定した第１の閾値よりも大きい値が１以上存在し、且つ後の時刻の複数のフレームとの間で求めた差分値は全ての値が予め設定した第２の閾値より小さいという条件を満たす部分矩形領域を有するフレームを文字出現フレームとして抽出するものである。
【０００４】
また、特開平１０−２３３９９４号公報には、テレビジョン放送における映像信号中のテロップのような特定領域を抽出する特定領域抽出装置が開示されている（以下、従来例２という。）。この公報に記載の特定領域抽出装置においては、テロップは、同一信号レベルで構成され、画素が所定の時間以上同一信号を保持し、背景となる画と信号レベルで大きな差があるという特徴を利用し、映像信号の任意の画素レベルと周辺画素レベルとを比較して略均一なレベル領域を検出する均一レベル領域検出手段と、任意の画素レベルが所定時間以上無変化であるか否かを判定する画素レベル無変化判定手段と、映像信号の任意の映像平面における周波数成分の高域を検出する高周波領域検出手段と、均一レベル領域検出手段、無変化判定手段及び高周波領域検出手段の各出力を基に特定領域を抽出する抽出手段とを備えている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来技術において、様々なパターンの画像の変化から、テロップ等の文字情報を判別する技術について確立されたものは存在しない。例えば、従来例１に記載の技術においても使用されているように、頻繁に用いられる技術として画素単位やブロック単位のフレーム間差分、又はブロック単位での輝度ヒストグラムを計算し、得られた値を閾値処理する手法が挙げられるが、閾値の設定が原画像に依存してしまうため、背景画のわずかな動きを誤検出してしまう等の問題点がある。
【０００６】
また、従来例２においては、均一レベル領域検出手段、無変化判定手段及び高周波領域検出手段の各出力を基に特定領域を抽出するため、演算量が多く処理に時間がかかるという問題点ある。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、連続する画像中で使用される文字情報を正確且つ迅速に特定してリアルタイムで自動検出することができる文字情報検出装置及びその方法並びにプログラム及び記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る文字情報検出装置は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出手段と、上記文字情報出現フレーム画像の上記文字情報出現領域を文字情報候補とし、該文字情報候補を既検出文字情報候補として記憶する記憶手段と、上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出手段とを有することを特徴とする。
【０００９】
本発明においては、フレーム画像に対して、予め文字情報が出現する可能性がある領域を文字情報出現領域として設定することからフレーム画像全体から文字情報を検出するよりもロバスト性を向上することができ、近接するフレーム間の輝度変化により文字情報出現領域の局所変化を検出し、これより文字情報の出現を検出することで画像上の小さな変化による誤検出を軽減することができ、更に、出現が検出された既検出文字情報候補とこれに連続する複数フレームの文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出することにより、文字情報をより精度よく検出することができる。
【００１０】
本発明に係る文字情報検出装置は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、フレーム画像に予め文字情報出現領域を設定し、該文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出手段と、上記文字情報候補を既検出文字情報候補として記憶する記憶手段と、上記既検出文字情報候補と該既検出文字情報候補を有するフレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出手段とを有することを特徴とする。
【００１１】
本発明においては、フレーム画像に対して、予め文字情報が出現する可能性がある領域を文字情報出現領域として設定することからフレーム画像全体から文字情報を検出するよりもロバスト性を向上することができ、更に、文字情報出現領域のエッジ密度が所定の閾値以上の文字情報出現領域を文字情報候補として検出して既検出文字情報として保持し、既検出文字情報候補とこれに連続する複数フレームの文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出することにより、文字情報をより精度よく検出することができる。
【００１２】
本発明に係る文字情報検出装置は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出手段と、上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出手段と、上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶手段と、上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報と推定する文字情報検出手段とを有することを特徴とする。
【００１３】
本発明においては、フレーム画像に対して、予め文字情報が出現する可能性のある領域を文字情報出現領域として設定することからフレーム画像全体から文字情報を検出するよりもロバスト性を向上することができ、近接するフレーム間の輝度変化から文字情報出現領域の局所変化を検出して文字情報の出現を検出し、更に出現が検出された文字情報出現領域のエッジ密度から文字情報候補を検出することで画像上の小さな変化による誤検出を軽減することができ、更に、既検出文字情報候補とこれに連続する複数フレームの文字情報候補とのエッジ密度の変化の割合から文字情報を検出することにより、文字情報をより精度よく検出することができる。
【００１４】
また、フレーム画像とこれに時間的に近接する近接フレーム画像との輝度変化を比較し、上記フレーム画像間の輝度変化が所定の閾値以下であるとき、該フレーム画像を候補フレーム画像として検出する候補フレーム画像検出手段を有し、上記文字情報出現フレーム画像検出手段は、上記候補フレーム画像とこれに時間的に近接する近接フレーム画像とを比較し、該候補フレーム画像から上記文字情報出現フレーム画像を検出することができ、候補フレーム画像の検出により、シーンチェンジ及び背景の大きな動き等による誤検出を軽減することできる。
【００１５】
また、上記文字情報検出手段は、上記既検出文字情報候補が上記記憶手段に保持される期間を検出する期間検出手段と、上記文字情報候補と上記既検出文字情報候補との類似度を検出する類似度検出手段と、上記類似度が所定の閾値以上であって、上記既検出文字情報候補のエッジ密度よりも上記文字情報候補のエッジ密度の方が高いとき、及び上記類似度が上記所定の閾値未満であるとき、上記記憶手段の上記既検出文字情報候補を上記文字情報候補に入れ替える入替手段とを有し、上記記憶手段に所定期間保持された既検出文字情報候補を文字情報と推定することができ、類似度として例えば両者の輝度から相関係数等を求めて比較することにより、同一文字情報が検出されること防止することができ、入替手段により、上記既検出文字情報候補のエッジ密度よりも上記文字情報候補のエッジ密度の方が高いとき、及び／又は上記類似度が所定の閾値未満であるとき上記記憶手段の上記既検出文字情報候補を上記文字情報候補に入れ替えることに、より鮮明な文字情報を有する領域の方を既検出文字情報候補として検出することができ、期間検出手段により、既検出文字情報候補が保持される期間を検出するため、更に誤検出を低減することができる。
【００１６】
更に、フレーム画像を予め規定したサイズのブロックに分割するブロック分割手段を有し、上記文字情報出現フレーム画像検出手段は、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域とで対応するブロック間の輝度変化が所定の閾値以上であるとき、該フレーム画像を局所変化フレーム画像として検出することができる。
【００１７】
更にまた、上記ブロック分割手段により分割されたブロック毎に輝度ヒストグラムを算出する輝度ヒストグラム算出手段を有し、上記文字情報出現フレーム画像検出手段は、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域とで対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値以下であるブロックの数が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出することができる。
【００１８】
また、上記検出手段により文字情報として検出された１以上の文字情報出現領域を、上記画像を表示する第１の表示手段とは異なる第２の表示手段に提示（表示）する提示手段を有することができる、これにより、例えば複数台のテレビ画面を同時に用いた場合、通常の放送が流れるメイン画面とは別の他の装置の画面に文字情報を提示することができ、使用者は、メイン画面でＴＶ映像を見ながら他の画面に表示された文字情報を見ることができる。
【００１９】
更に、上記提示手段は、複数の上記文字情報出現領域をリスト状にして他の画面に提示（表示）することができ、これにより、使用者は、刻々と変化する文字情報の内容の把握が容易になる。
【００２０】
更にまた、入力フレーム画像より過去のフレーム画像が上記文字情報出現フレーム画像であるか否かを判定する判定手段を有し、上記文字情報出現フレーム画像検出手段は、上記過去のフレーム画像が上記文字情報出現フレーム画像ではない入力フレーム画像とこれに時間的に近接するフレーム画像とを比較し、該入力フレーム画像から上記文字情報出現フレーム画像を検出し、上記文字情報候補検出手段は、上記過去のフレーム画像が上記文字情報出現フレーム画像である入力フレーム画像又は上記文字情報出現フレーム画像の上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出することができ、上記過去のフレーム画像が上記文字情報出現フレーム画像である入力フレーム画像は、上記文字情報出現フレーム画像検出手段の処理を省略することができる。
【００２１】
更に、上記文字情報出現領域は、１つのフレーム画像に対して複数設定されてもよく、文字情報出現領域は、動画像の種類等により、任意の場所に任意の個数設定することができる。
【００２２】
本発明に係る文字情報検出方法は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出方法において、フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出工程と、上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出工程と、記憶手段に上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶工程と、上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と有することを特徴とする。
【００２３】
本発明に係るプログラム及び記録媒体は、連続するフレーム単位の画像が供給され該画像から文字情報を検出する動作をコンピュータに実行させるためのプログラム及びこれを記録したコンピュータ読み取り可能な記録媒体であって、フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出工程と、上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出工程と、記憶手段に上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶工程と、上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と有することを特徴とする。
【００２４】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ＴＶ放送等の連続する画像中で重要な情報を表示（提示、呈示）する際に用いられる文字情報をリアルタイムに自動検出してリスト表示する文字情報検出装置に適用したものである。
【００２５】
ＴＶ放送等において、文字情報（以下、テロップという。）は、制作者が重要だと判断した内容であって、視聴者に強く伝えたい情報であるといえる。そのため、テロップは、画面上の他の部分と区別しやすいよう工夫されており、以下に示す特徴を有すると考えられる。テロップが有する特徴とは、
１．テロップを構成する画素は高輝度である
２．文字の縁はエッジが急峻であるため、エッジ密度が高い
３．特徴的な出現形態をとる
４．出現した後、一定時間の安定状態を有する
５．特徴的な消失形態をとる
６．自然界に無い色が使用されている
７．情報の内容と出現場所とに関係がある
等である。これら全ての特徴を有することがテロップの必用条件ではないものの、多くのテロップがこれらの特徴のうち、数個の特徴を有すると考えられる。本願発明者等は、このようなテロップの特徴に着目し、テロップの高精度な抽出を実現する方法を見出した。
【００２６】
本発明においては、上述したように、テロップは情報の内容と出現場所とに関係がある、即ち、情報内容によってテロップの出現位置は数種類のパターンに代表されることから、予め予測されるテロップの出現位置をテロップ出現領域として設定する。図１（ａ）乃至図１（ｅ）は、テロップ出現領域を画面上に設定した例を示す模式図である。テロップ出現領域は、画面上で、テロップの出現が予測される任意の位置か又は目的に応じて検出したい所定の位置等に、例えば矩形又は帯状の領域として設定することができる。図１（ａ）は、画面中央にテロップ出現領域を設定した場合、図１（ｂ）は、画面中央上部にテロップ出現領域を設定した場合、図１（ｃ）は、画面中央下部にテロップ出現領域を設定した場合、図１（ｄ）は、画面の４隅にテロップ出現領域を設定した場合、図１（ｅ）は、画面側部にテロップ出現領域を設定した場合を示している。
【００２７】
例えば、ＴＶ番組においては、画面中央に表示されるテロップとしては、番組タイトル又は各コーナタイトル等を示すものがあり、画面中央上部に表示されるテロップとしては、臨時ニュース等を示すものがある。また、画面中央下部に表示されるテロップとしては、解説又は出演者のコメント内容等を示すものがあり、画面４隅に表示されるテロップとしては、トピック内容又は時刻等を示すものがあり、画面側部に表示されるテロップとしては人物名等の固有名詞等を示すもの等がある。
【００２８】
更に、本実施の形態においては、従来のテレビ視聴形態が１台のテレビを使用するものであることに対して、複数台のテレビ画面を同時に用い、通常の放送が流れるメイン画面の他に複数のサブ画面を用意する。そして、検出されたテロップをサブ画面にリスト状に表示し、その内容を一定期間保持することで、刻々と変化するテロップの内容を見落とさず、後に確認をすることも可能にする。
【００２９】
図２は、文字情報を検出する処理を実行する装置を示すブロック図である。図２に示すように、装置１は、例えばＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）等の中央処理装置２と、制御プログラム３を有するメインメモリ４と、データファイル５を有するファイル装置６と、入力装置７と、出力装置８とがバス９を介して接続されている。
【００３０】
この装置１は、文字情報検出処理を行う手段を備えるものであって、装置入力装置７から供給される例えばテレビ番組等の動画像から文字情報（以下、テロップという。）を切り取り、例えば、入力装置から供給される動画像を表示するメイン画面とは異なる画面（サブ画面）を有する他のＴＶ装置等の出力装置８に出力して提示することができる。メインメモリ４には、入力画像からテロップを切り取る処理を実行するための制御プログラム３が格納されており、中央処理装置２により制御されて制御プログラム３が実行される。以下、文字情報検出処理を行う手段について具体的に説明する。
【００３１】
図３は、本発明の実施の形態に係る文字情報検出装置におけるデータの流れを説明する説明図である。図３に示すように、本実施の形態の文字情報検出装置は、入力画像データが供給されるフレーム画像判定部（判定手段）１０と、フレーム画像判定部１０からのデータが供給され、図１に示すような画面上に予め設定されたテロップ出現領域（文字情報出現領域）において、このテロップ出現領域にテロップが出現するか否かを検出するテロップ出現検出部（文字情報出現フレーム画像検出手段）２０と、フレーム画像判定部１０又はテロップ出現検出部２０からフレーム画像が供給され、そのテロップ出現領域のエッジ密度が所定の閾値以上であるとき、このテロップ出現領域をテロップ候補として検出するエッジ密度検出部３０と、エッジ密度検出部３０により検出されたテロップ候補を既検出テロップ候補として記憶する記憶部４０と、既検出テロップ候補がこの既検出テロップ候補を有するフレーム画像に時間的に連続する複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間を検出しこの静止期間が所定値に達したとき当該既検出テロップ候補をテロップと推定する推定部５０と、推定部５０により推定されたテロップ候補と、実際に提示済みのテロップとの類似度を比較し、類似していないテロップ候補のみをテロップとして出力するテロップ類似度検出部６０と、テロップ類似度検出部６０から出力されるテロップを保持し、複数のテロップを合成してリスト状にして提示画像を生成する提示画像生成部（提示手段）７０とから構成されている。
【００３２】
テロップ出現検出部２０は、フレーム全体の輝度変化を検出する候補フレーム画像検出部２１とテロップ出現領域の輝度変化を検出する局所変化検出部２２とを有する。
【００３３】
また、推定部５０は、エッジ密度検出部３０から供給されるデータと記憶部４０に記憶されている既検出テロップ候補との類似度を比較する類似度検出部５１と、既検出テロップ候補が記憶部４０に保持される期間を検出する継続カウンタ５２と、継続カウンタ５２及び類似度検出部５１からのデータに基づき既検出テロップ候補の安定度を判定する安定度判定部５３から構成されている。
【００３４】
以下、本実施の形態における文字情報検出装置ついて更に詳細に説明する。文字情報検出装置には、時系列のフレーム単位の画像データが入力される。ここで、後述するテロップ出現検出部２０においてテロップ出現領域にテロップの出現が検出された時点及びエッジ密度検出部３０でテロップ出現領域のエッジ密度が所定の閾値以上のもの（テロップ候補（候補ベクトル））が検出された時点で、これを示すフラグ（ｓｔａｔｅｆｌｇ）に１が設定される。このフラグ（ｓｔａｔｅｆｌｇ）は、その後のフレーム画像のテロップ出現領域がテロップ候補ではないと判定された時点、具体的には、後述するが、エッジ密度検出部３０においてテロップ出現領域のエッジ密度が所定の閾値未満であることが検出された時点、テロップ類似度検出部６０で同様の既に提示済みのテロップが検出された時点、及び提示画像生成部７０からテロップと確定されて出力された時点で０が設定されるものである。
【００３５】
フレーム画像判定部１０は、入力フレーム（ｉフレーム）が入力された時点で、このフラグ（ｓｔａｔｅｆｌｇ）が０であるか、又は１であるかにより、既に文字情報候補が検出されているか否かを判定するものである。上述した如く、テロップは出現した後、一定時間の安定状態を有することから、ｉフレームが入力された時点で、既に過去のフレームにおいてテロップの出現又はテロップ候補が検出されていれば、ｉフレームではテロップ出現中とみなすことができる。従って、テロップ出現検出部２０における処理は不要であるため、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、フレーム画像をエッジ密度検出部３０に供給する。
【００３６】
テロップ出現検出部２０は、フラグ（ｓｔａｔｅｆｌｇ）が０である間、判定部１０からフレーム画像が供給される。そして、時間的に近接するフレーム画像間の輝度変化からテロップ出現領域におけるテロップの出現を検出するものである。入力フレーム（ｉフレーム）テロップ出現領域の輝度と、時間的に近接する例えば（ｉ−２）フレームのテロップ出現領域との輝度とを比較すれば、ｉフレームテロップ出現領域にテロップが出現する場合、その輝度が変化するため、この輝度変化を検出することにより、ｉフレームテロップ出現領域にテロップが出現するか否かが判定できる。
【００３７】
ここで、テロップ出現領域のみの輝度変化を検出すると、例えばシーンチェンジ等のようにフレーム全体の輝度が変化している場合にもテロップ出現領域の輝度変化が検出されてしまう。これを防止するため、候補フレーム画像検出部２１により、近接フレーム画像間のフレーム全体の輝度変化を調べ、この輝度変化が所定の閾値以下であるものを局所変化検出部２２に供給する。
【００３８】
そして、局所変化検出部２２は、近接フレームのテロップ出現領域間で輝度の局所変化を検出し、この輝度変化が所定の閾値以上であれば、テロップが出現するものと判断し、フラグ（ｓｔａｔｅｆｌｇ）に１を立てると共に、このフレーム画像（文字情報出現フレーム画像）をエッジ密度検出部３０に供給する。
【００３９】
次に、候補フレーム画像検出部２１及び局所変化検出部２２について具体的に説明する。候補フレーム画像検出部２１は、例えば図４のように構成された輝度ヒストグラム生成部８０に対して入力フレーム画像を送り、フレーム全体の輝度ヒストグラムを利用して候補フレーム画像を検出することができる。輝度ヒストグラム生成部８０は、フレーム画像判定部１０からのフレーム画像のデータ（以下、フレームデータという。）が供給されるブロック分割部８１及び遅延回路８３、遅延回路８３により所定時間遅延されたフレームデータが供給されるブロック分割部８４、並びに、ブロック分割部８１及び８４により所定のサイズのブロックに分割されたフレームデータが供給されブロック毎の輝度ヒストグラムを計算する夫々ヒストグラム計算部８２及び８５から構成されている。
【００４０】
このように構成された輝度ヒストグラム生成部８０に対して、候補フレーム画像検出部２１が、フレーム画像判定部１０から供給されるｉフレームの画像データを供給する。輝度ヒストグラム生成部８０は、ブロック分割部８１により、供給されたｉフレームの画像データ（情報列）を空間が規定サイズとなるブロックに分割し、このブロック単位のデータをヒストグラム計算部８２に送る。
【００４１】
また、このｉフレームの画像データは、同時に遅延回路８３にも供給され、遅延回路８３により、例えば２フレーム分遅延された画像データがブロック分割部２４に供給される。
【００４２】
ブロック分割部８４は、ブロック分割部８１と同様に、（ｉ−２）フレームの画像データ（情報列）を空間の規定サイズブロックに分割し、このブロック単位のデータをヒストグラム計算部８５に送る。
【００４３】
ヒストグラム計算部８２，８５は、全画面において、ブロック単位で輝度ヒストグラムを計算し、この結果を候補フレーム画像検出部２１に送る。
【００４４】
そして、候補フレーム画像検出部２１は、ヒストグラム計算部８２，８５からのデータ、即ち、ｉフレームのブロック単位の輝度ヒストグラムと、（ｉ−２）フレームのブロック単位の輝度ヒストグラムとが供給されると、ｉフレームと（ｉ−２）フレームとの間において、空間的に対応するブロック毎に輝度ヒストグラムの相関係数を求め、予め決められた閾値（Ｔｈ＿ｃｏｅｆ１）と比較し、相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ１）以下であるブロックを変化ブロックと判定する。下記式（１）に相関係数を求める際の式を示す。
【００４５】
【数１】
そして、この変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ１）以下であるｉフレームを候補フレーム画像として検出する。ここで、変化ブロックの割合が閾値（Ｔｈ＿ｄｉｆｆ１）より大きい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。
【００４７】
また、局所変化検出部２２も、候補フレーム画像検出部２１と同様に、候補フレーム画像検出部２１により検出されたｉフレーム及び（ｉ−２）フレームのデータが供給され、両者の上記文字情報出現領域において、候補フレーム画像検出部２１と同様に、空間的に対応するブロック毎に輝度ヒストグラムの相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ１）以下である変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であるｉフレームを検出する。ここで変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であった場合は、上述した如くフラグ（ｓｔａｔｅｆｌｇ）に１を立てると共にこのデータをエッジ密度検出部３０に供給する。一方、変化ブロックの割合が閾値（Ｔｈ＿ｄｉｆｆ２）より小さい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。これは近接するフレームの文字情報出現領域間の変化が小さい場合は、ｉフレームのテロップ出現領域においてテロップの出現は検出されなかったと判断し、このフレームについての後段の処理を省略するためである。
【００４８】
このように、テロップ出現検出部２０によって、全ブロック中の変化ブロックの割合とテロップ出現領域における変化ブロックの割合とを計算し、全ブロック中の変化ブロックの割合が予め決めた閾値以下であり、且つ、テロップ出現領域における変化ブロックの割合が予め決めた閾値以上である場合は、局所変化が存在する、即ち、テロップの出現と判定することができる。
【００４９】
なお、本実施の形態においては、輝度ヒストグラム生成部８０を用意し、候補フレーム画像検出部２１の要求に応じて輝度ヒストグラムを生成するものとしたが、候補フレーム画像検出部２１及び局所変化検出部２２において、図４に示すようなブロック分割部８１，８４及びヒストグラム計算部８２，８５等を個別に有するものとしてもよい。また、遅延回路８３による遅延時間は、２フレーム分としたが、例えば１フレーム又は３フレーム等、フレーム間の変化の割合を検出することができる範囲で任意に設定可能である。
【００５０】
図３に戻って、エッジ密度検出部３０は、フラグ（ｓｔａｔｅｆｌｇ）が１である間、フレーム画像か供給され、このテロップ出現領域のエッジ密度を計算する。なお、ここで、エッジ密度検出部３０に供給される画像データは、フレーム全体のデータであっても、テロップ出現領域のみのデータであってもよい。
【００５１】
エッジ密度検出部３０は、このフレーム画像のテロップ出現領域のエッジ密度が所定の閾値以上であるとき、当該テロップ出現領域をテロップ候補として検出する文字情報候補検出手段である。即ち、フレーム画像のテロップ出現領域におけるエッジ密度を算出し、上述したように、テロップであれば、エッジ密度が高いという特徴から、テロップ出現領域のエッジ密度が所定の閾値（Ｔｈ＿ｄｅｎ）以上のものをテロップ候補として検出する。ここで、テロップ出現領域のエッジ密度が所定の閾値（Ｔｈ＿ｄｅｎ）未満であるときは、フラグ（ｓｔａｔｅｆｌｇ）を０とする。これにより、以降のフレーム画像は、フラグ（ｓｔａｔｅｆｌｇ）に１が設定されるまでの間、テロップ出現検出部２０に供給されるようになる。
【００５２】
記憶部４０には、エッジ密度検出部３０において検出されたテロップ候補が既検出テロップ候補として記憶される。即ち、現フレーム（ｉフレーム）より過去のフレームにおいてテロップ候補として検出されたテロップ出現領域のデータが既検出テロップ候補として記憶されており、後述する推定部５０において、この既検出テロップ候補と、この既検出テロップ候補と時間的に連続する所定数のフレームにおいて検出されたテロップ候補とが比較されることにより、既検出テロップ候補がテロップであるか否かが推定される。即ち、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部３０によりテロップ候補が検出されなかった場合は、その時点で既検出テロップ候補は不要となる。従って、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部３０によりテロップ候補が検出されなかった場合、エッジ密度検出部３０は、記憶部４０に記憶されている既検出テロップ候補を初期化（破棄）し、後述する継続カウンタ５２のカウント値をリセットし、フラグ（ｓｔａｔｅｆｌｇ）を０とし、次のフレームの処理へ移る。
【００５３】
推定部５０は、記憶部４０に保持されている既検出テロップ候補と、この既検出テロップ候補を有するフレーム画像に連続する所定数のフレーム画像におけるテロップ候補とのエッジ密度の変化の割合が所定の閾値以下であるとき、当該既検出テロップ候補をテロップと推定する検出手段である。
【００５４】
継続カウンタ５２は、テロップが安定して出現したフレーム数（静止期間）をカウントするものである。例えば、エッジ密度検出部３０及び後述する類似度検出部５１等において、記憶部４０に記憶されている既検出テロップ候補は、これに続くフレームのテロップ候補と比較されることにより、既検出テロップ候補がテロップとしての特徴から外れる場合は、テロップ候補と置き換えられ、このとき、継続カウンタ５２のカウント値がリセットされる。上述したように、テロップであれば、数フレームは安定して出現することから、継続カウンタ５２により、記憶部４０に記憶されている既検出テロップ候補が置き換えられることなく保持される連続フレーム数をカウントする。推定部５０は、このカウント値から既検出テロップ候補がテロップであるか否かを最終的に推定するものである。
【００５５】
類似度検出部５１は、既検出テロップ候補と、これより後（未来）のフレームにおいて検出されたテロップ候補との類似度を検出する類似度検出手段である。即ち、エッジ密度検出部３０により検出されたエッジ密度が所定の閾値以上であるテロップ出現領域（テロップ候補）が供給され、このテロップ候補と、上記既検出テロップ候補との相関を比較する。具体的には、上述の候補フレーム画像検出部２１及び局所変化検出部２２と同様に、空間的に対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上である場合、テロップ候補のテロップと、既検出テロップ候補のテロップとは、同一のものであると判断する。この場合は、更に、テロップ候補のエッジ密度と、既検出テロップ候補のエッジ密度とを比較し、両者のうち、エッジ密度が高い方のデータを既検出テロップ候補とする。即ち、既検出テロップ候補のエッジ密度の方が高ければ、記憶部４０に記憶されているデータはそのまま保持されるが、テロップ候補の方がエッジ密度が高い場合は、記憶部４０のデータ（既検出テロップ候補）をテロップ候補のデータと置き換える。このように、エッジ密度が高いものを選択することにより、より鮮明なものを抽出することができる。
【００５６】
ここで、記憶部４０に記憶されている既検出テロップ候補が置き換えられた（書き換えられた）場合は、継続カウンタ５２のカウント値をリセットする。一方、記憶部４０に記憶されている既検出テロップ候補をそのまま保持した場合は、継続カウンタ５２のカウント値をインクリメントする。
【００５７】
また、相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ２）未満である場合、ｉフレームテロップ出現領域に出現している可能性のあるテロップは、既検出テロップ候補に出現している可能性のあるテロップとは異なるものと判定され、ｉフレームテロップ出現領域のデータを記憶部４０に供給し、記憶されている既検出テロップ候補をｉフレームテロップ出現領域のデータに置き換えると共に、継続カウンタ５２のカウント値をリセットする。
【００５８】
このように、類似度検出部５１は、テロップ候補と、記憶部４０に記憶された既検出テロップ候補との類似度が所定の閾値以上であって、既検出テロップ候補のエッジ密度よりテロップ候補のエッジ密度の方が高いとき、また、上記類似度が所定の閾値未満であるとき、記憶部４０の既検出テロップ候補をｉフレームのテロップ候補に入れ替える入替手段としても機能する。
【００５９】
安定度判定部５３は、既検出テロップ候補が記憶部４０に保持される期間を検出する期間検出手段として、継続カウンタ５２のカウント値を検出する。上述したように、テロップであれば、数フレーム間は安定に出現することから、カウント値が予め設定された所定値である場合に、記憶部４０に記憶されている既検出テロップ候補がテロップであると推定し、これをテロップ類似度判定部６０に送る。一方、カウント値が所定値以外、例えば所定値未満である場合は、この既検出テロップ候補がテロップとしての安定度が低いと判定し、また所定値より大きい場合は、既にテロップ類似度判定部６０に送られたものと判定し、記憶部４０の既検出テロップ候補及び継続カウンタ５２のカウント値を保持しつつ、次のフレームの処理へ進む。ここで、カウント値が所定値未満であった場合、以降のフレーム処理により、カウント値がインクリメントされ所定値に達した場合は、この既検出テロップ候補がテロップと推定されて類似度検出部６０に送られる。
【００６０】
また、既検出テロップ候補をテロップと推定してテロップ類似度検出部６０に送出した後は、記憶部４０に記憶されている既検出テロップ候補、及び継続カウンタ５２のカウント値はそのまま保持することにより、以降のフレームにおいて、この既検出テロップ候補と同一のテロップ候補が検出され、カウンタ値がインクリメントされれば、カウンタ値が所定値より大きくなるため、テロップ類似度検出部６０には送出されず、同一のテロップを出力することを防止することができる。
【００６１】
テロップ類似度検出部６０は、安定度判定部５３により、既検出テロップ候補がテロップと推定された既検出テロップ候補と、既に提示されているテロップとを比較しその類似度が所定の閾値以下であるとき、当該既検出テロップ候補をテロップとして検出する文字情報検出手段である。即ち、既にテロップと判定され、例えば既に提示されたテロップ、又は、後述する提示画像生成部７０に保持されているテロップ等の既検出テロップと、安定度判定部５３によりテロップであると判定された既検出テロップ候補とを比較し、既検出テロップと類似していない既検出テロップ候補のみ検出し、これをテロップとして提示画像生成部７０に送る。これにより、既検出テロップ候補が既にテロップとして判定され出力されているものと同じ場合には出力しないようにすることができる。このテロップ類似度判定部６０により、既検出テロップ候補が既にテロップとして出力されていると判定された場合は、この既検出テロップ候補のデータを初期化し、次のフレームの処理に進む。
【００６２】
提示画像生成部７０は、類似度判定部６０により検出された１以上の既検出テロップを合成し提示画像を生成して他の画面に表示する提示手段である。提示画像生成部７０は、所定数のテロップを保持して表示し続けるため、テロップの出現領域が例えば水平方向の帯状の領域に設定されている場合、この帯状の領域を切出し、例えは垂直方向に並べることでリスト表示を行っている。新しいテロップが検出される度に既存テロップをスクロールし、画像を更新して出力する。
【００６３】
このように、文字情報検出装置は、先ず、テロップ出現検出部２０により、入力画像データの輝度変化からテロップの出現を検出し、エッジ密度検出部３０により、出現を検出した文字情報出現領域のエッジ密度からテロップ゜候補を検出し、推定部５０により、テロップ候補の出現している期間を検出することによりテロップ候補が確実にテロップであるか否かを推定し、必要に応じて類似度類似度判定部６０を設け、これによりテロップが何度も検出されないようにして、提示画像を生成するものである。
【００６４】
以下、本実施の形態における文字情報検出方法について詳細に説明する。図５は、図３に示すフレーム画像判定部１０及びテロップ出現検出部２０の処理方法を示すフローチャートである。上述したように、文字情報を検出する際には、例えば図１に示すように、予めテロップ出現領域を画面上に設定する。以下の説明においては、図１（ｃ）に示すように、テロップ出現領域を画面下部に設定した場合について説明する。なお、複数のテロップ出現領域を設定する場合は、各テロップ出現領域について同様の処理を行うものとする。
【００６５】
図５に示すように、図３のフレーム画像判定部１０にｉフレームの画素値Ｆ（ｉ，ｐｘｌ）が入力されると、上述したフラグ（ｓｔａｔｅｆｌｇ）が１であるか０であるかが検出される（ステップＳ１）。ここで、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、後述するステップ９に進む。一方、フラグ（ｓｔａｔｅｆｌｇ）が０である間は、ステップＳ２及びＳ３に進む。
【００６６】
ステップＳ２では、ヒストグラム生成部８０のヒストグラム計算部８５から（ｉ−２）フレームの全画面においてブロック単位で計算された輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む。ここで、ｊは、フレーム内のｊ番目のブロック（ブロックＮｏ．）を示し、輝度ヒストグラムＨ（ｉ−２，ｊ）は、（ｉ−２）フレームにおけるｊ番目のブロックの輝度ヒストグラムを示す。このとき、同時に、ヒストグラム計算部８２で、ｉフレームの全画面において、ブロック毎の輝度ヒストグラムが計算され、このｉフレームにおける輝度ヒストグラムＨ（ｉ，ｊ）がフレーム変化検出部２６に供給される（ステップＳ３）。本実施の形態においては、フレーム画像を例えば７２０×４８０ピクセル等とすることができ、ブロックサイズを例えば３２×３２ピクセル等とすることができる。
【００６７】
次に、ステップＳ４では、局所変化検出部２６が、輝度ヒストグラムＨ（ｉ−２，ｊ）と輝度ヒストグラムＨ（ｉ，ｊ）とから対応ブロック毎に相関係数ｅ１（ｊ）を計算し、この相関係数ｅ１（ｊ）と所定の閾値（Ｔｈ＿ｃｏｅｆ１）とを比較し、相関係数ｅ１（ｊ）が、閾値（Ｔｈ＿ｃｏｅｆ１）以下であれば、変化ブロックと判定する。
【００６８】
そして、ステップＳ４で判定した全ブロックに対する変化ブロックの割合ｅ１（ｊ）が、所定の閾値（Ｔｈ＿ｄｉｆｆ１）以下であるか否かを判定し（ステップＳ５）、閾値（Ｔｈ＿ｄｉｆｆ１）より大きい場合は、現フレームの処理を終了し、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ１（ｊ）が閾値（Ｔｈ＿ｄｉｆｆ１）以下である場合は、ステップＳ６に進む。
【００６９】
ステップＳ６では、局所変化検出部２２において、ヒストグラム計算部８２，８５からのデータにより、フレーム内のテロップ出現領域、即ち、本実施の形態の場合は、例えば６４×５７６ピクセルのサイズを有する画面中央下部領域内の全ブロックに対する変化ブロックの割合ｅ２（ｊ）を計算し、ステップＳ７において、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であるか否かを判定する。変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）未満である場合は、現フレームの処理を終了して、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上である場合は、ステップＳ８に進み、ｉフレームのテロップ出現領域はテロップ候補であるとみなし、テロップ候補が検出されたことを示すフラグ（ｓｔａｔｅｆｌｇ）に１をたて、ｉフレームの画素値Ｆ（ｉ，ｐｘｌ）を推定部５０へ送る。これにより、以降のフレーム画像の処理は、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、ステップＳ２乃至ステップＳ８の処理を行わず、ステップＳ１からステップＳ９に進む処理がなされることになる。
【００７０】
次に、ヒストグラム生成部８０において、輝度ヒストグラムを計算する方法について更に詳細に説明する。図６は、ヒストグラム生成部８０によりブロック単位で計算された輝度ヒストグラムから候補フレーム画像を検出する方法を示すブローチャートである。
【００７１】
図６に示すように、先ず、ブロック分割部８１にｉフレームの画像データが入力され、このフレーム画像データを規定サイズ、例えば、３２×３２ピクセルのサイズのブロックに分割する（ステップＳ２１）。ブロック分割されたデータはヒストグラム計算部８２に送られ、ここで、ｊ番目のブロックの輝度ヒストグラムＨ（ｉ，ｊ）を計算する（ステップＳ２２）。次に、ヒストグラム計算部８５から、（ｉ−２）フレームのｊ番目のブロックの輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む（ステップＳ２３）。
【００７２】
次に、ステップＳ２２で得られた輝度ヒストグラムＨ（ｉ，ｊ）と、ステップＳ２３で得られた輝度ヒストグラムＨ（ｉ−２，ｊ）とから、上記式（１）により、ヒストグラムの相関係数ｅ１（ｊ）を計算し（ステップＳ２４）、閾値（Ｔｈ＿ｃｏｅｆ１）により変化を判定する（ステップＳ２５）。この変化の判定には、例えばフラグＥ（ｉ，ｊ）を使用し、ｉフレームのｊ番目のブロックは変化がある（変化ブロック）と判定された場合は、フラグＥ（ｉ，ｊ）＝１とし、変化ブロックではないと判定された場合は、フラグＥ（ｉ，ｊ）＝０とする。そして、（ｉ＋２）フレームのフレーム変化を検出する際に使用するため、Ｈ（ｉ，ｊ）を保持すると共に、候補フレーム画像検出部２１内のブロックＮｏ．をカウントするカウンタ値ｊをインクリメントする（ステップＳ２６）。そして、全ブロックについて、ステップＳ２５の閾値判定が終了しているか否かを判定し（ステップＳ２６）、終了していない場合は、ステップＳ２２に戻り、次のブロック（ｊ＋１番目のブロック）について、同様の処理を繰り返す。
【００７３】
一方、全てのブロックにおいて処理が終了した場合は、上述したように、変化ブロックの割合が所定の閾値より大きければ、現フレーム（ｉフレーム）の処理を終了し、次のフレームの処理へ進み、変化ブロックの割合が所定の閾値以下である場合は、局所変化検出部２２へデータを供給する。具体的には、全ブロックのフラグＥ（ｉ，ｊ）の値を加算し、これが所定の閾値より大きい場合は処理を終了し、所定の閾値以下である場合は、局所変化検出部２２へデータを供給する。 局所変化検出部２２においても、基本的には、ステップＳ２２乃至２７と同様の処理が繰り返される。即ち、テロップ出現領域内のブロック単位の輝度ヒストグラムＨ（ｉ，ｊ）及びＨ（ｉ−２，ｊ）が順次読み込まれ、テロップ出現領域内の変化ブロックを検出する処理を行う。
【００７４】
次に、推定部５０における既検出テロップ候補がテロップか否かを推定する方法について説明する。図７は、推定部の推定方法を示すフローチャートである。先ず、フラグ（ｓｔａｔｅｆｌｇ）＝１の間、画像データがエッジ密度検出部３０に送られる。ここでは、エッジ密度検出部３０に送られる画像データをｉフレームとする。先ず、図７に示すように、エッジ密度検出部３０において、ｉフレームにおけるテロップ出現領域におけるエッジ画像の密度ｄ（ｉ）が計算される（ステップＳ９）。このエッジ密度ｄ（ｉ）が所定の閾値（Ｔｈ＿ｄｅｎ）以上であるか否かが検出され（ステップＳ１０）、エッジ密度ｄ（ｉ）が閾値（Ｔｈ＿ｄｅｎ）未満である場合は、ステップＳ１１に進み、記憶部４０に記憶されている既検出テロップ候補を初期化、即ち、データを破棄し、継続カウンタ５２のカウント値をリセットし、更にテロップ候補が検出されていることを示すフラグ（ｓｔａｔｅｆｌｇ）を０にする（ステップＳ１１）。これにより、以降のフレーム画像は、フラグ（ｓｔａｔｅｆｌｇ）が１になるまで、ステップＳ２乃至ステップＳ８を繰り替えすことになる。一方、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）が閾値（Ｔｈ＿ｄｅｎ）以上である場合は、データを類似度検出部５１へ送り、ステップＳ１２に進む。
【００７５】
ステップＳ１２では、類似度検出部５１において、記憶部４０に記憶されている既検出テロップ候補と、ｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）を計算する。そして、相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上であるか否かを判定する（ステップＳ１３）。ステップＳ１３で、相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上であると判定された場合、即ち、既検出テロップ候補とｉフレームのテロップ出現領域とは同一のテロップを有するものと判定された場合はステップＳ１４に進み、記憶部４０に記憶されている既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）と、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）とが比較される（ステップＳ１４）。そして、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上であるか否かが判定され（ステップＳ１５）、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上である場合、即ち、既検出テロップ候補の方がｉフレームのテロップ出現領域に出現する可能性のあるテロップよりも鮮明であると判定された場合は、ステップＳ１７に進む。
【００７６】
一方、ステップＳ１３において、既検出テロップ候補とｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）未満である場合、即ち、ｉフレームのテロップ出現領域と既検出テロップ候補とでテロップが変化しているものと判断した場合と、ステップＳ１５において、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）より小さい場合、即ち、既検出テロップ候補よりもｉフレームのテロップ出現領域に出現する可能性があるテロップの方が、エッジ密度が高く鮮明であると判断した場合は、ステップＳ１６に進む。ステップＳ１６では、記憶部４０に記憶されている既検出テロップ候補が、現フレーム、即ち、ｉフレームのテロップ出現領域のデータに入れ替えられる。具体的には、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）を、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）に入れ替え、更に継続カウンタ５２のカウント値をリセット（ｔｌｐｌｅｎ＝０）し、ステップＳ１７に進む。
【００７７】
ステップＳ１７においては、継続カウンタ５２のカウント値をインクリメント（ｔｌｐｌｅｎ＝＋＋）し、ステップＳ１８において、継続カウンタ５２のカウント値（ｔｌｐｌｅｎ）が所定値（Ｔｈ＿ｔｌｐｌｅｎ）であるか否かが判定される。
【００７８】
上述したように、テロップであれば、一定フレームの間、安定して出現する。継続カウンタ５２のカウント値は、テロップが安定して出現したフレーム数を示すものである。従って、ステップＳ１８において、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）以外であると判定された場合は、カウント値及び既検出テロップ候補のデータを保持して次のフレームの処理へ進む。
【００７９】
一方、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）である場合、即ち、既検出テロップ候補が所定のフレーム数、出現し続けていると判定された場合は、このデータがテロップ類似度判定部６０へ送られてステップＳ１９に進む。この際、記憶部４０に保持されている既検出テロップ候補及び継続カウンタ５２のカウント値はそのまま保持する。
【００８０】
ステップＳ１９では、例えば、提示画像生成部７０等に保持されている既にテロップと判定されものと、既検出テロップ候補との相関係数を計算し、ステップＳ２０にて、相関係数が所定の閾値以下であるか否かが判定される。ステップＳ２０にて相関係数が所定の閾値以下である場合、既検出テロップ候補は、まだテロップとして検出されていない新しいテロップであると判断され、このデータを提示画像生成部７０へ送る。一方、相関係数が所定の閾値より大きい場合は、既検出テロップ候補に出現するテロップは既にテロップとして出力されていると判断され、次のフレームの処理に進む。
【００８１】
ここで、ステップＳ１８及びステップＳ１９において、安定度判定部５３及びテロップ類似度検出部６０の夫々判定結果及び検出結果に関わらず、記憶部４０の既検出テロップ候補のデータはそのまま保持され、且つ継続カウンタ５２のカウンタ値もそのまま保持されているため、例えば、次に入力されるフレーム画像において同じテロップ候補が検出され、このテロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より小さい場合は、継続カウンタ５２のカウンタ値がインクリメントされ、所定値（Ｔｈ＿ｔｌｐｌｅｎ）を超えるため、再びテロップ類似度検出部６０に送られることはない。また、テロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より大きい場合は、既検出テロップ候補が置き換えられ、継続カウンタのカウント値が１となり、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）に達するまで処理が繰り返される。
【００８２】
以上、図７に示す工程において、記憶部４０には、既検出テロップ候補が記憶されているものとして説明したが、図５に示すステップＳ５、ステップＳ８において、ｉフレームにおいてテロップ候補が検出されなかった場合、記憶部４０に記憶されている既検出テロップ候補は初期化（破棄）される。このように、記憶部４０には、既検出テロップ候補が記憶されていない状態で、推定部５０にテロップ候補を有するフレーム画像が供給された場合、図７に示すステップＳ１２乃至ステップＳ１５における処理は不要となる。従って、既検出テロップ候補が初期化された状態でステップＳ１０においてエッジ密度が所定の閾値以上であると判定された場合は、ステップＳ１６に進み、フレーム画像のテロップ出現領域のデータが既検出テロップ候補として記憶される。そして、同様に、ステップＳ１７において、継続カウンタｔｌｐｌｅｎ＝１として、次のフレームの処理に進む。
【００８３】
図８は、提示画像生成部７０において生成される提示画像の一例を示す模式図である。図８（ａ）に示すように、通常のＴＶ映像が表示されるメイン装置９０において、例えば画面中央下部に表示されるテロップ９１を、上述の方法により切り取り、リスト状にして、図８（ｂ）に示すように、サブ画面を有する装置９２上に表示することができる。
【００８４】
本実施の形態においては、テロップ出現検出部２０において異なるフレーム間におけるブロック単位の輝度ヒストグラムの相関を用いてテロップ出現領域における輝度変化（局所変化）を求めることで画像上の小さな変化等による誤検出を軽減することが可能となると共に、シーンチェンジ及び背景の大きな動き等による誤検出を軽減することが可能となる。また、エッジ密度検出部３０によるエッジ密度を判定条件に用いることで、文字情報（テロップ）を更に精度よく検出することが可能となる。更に、類似度判定部５１により、既検出テロップ候補とこれに連続するフレームのテロップ出現領域における類似度を判定すると共に、継続カウンタ５２により継続して出現するフレーム数をカウントし、更に、テロップ類似度検出部６０により既検出テロップとの類似度を判定することで、細かいテロップの変化等の場合にも、同内容のテロップを誤検出することを軽減することができる。更にまた、複数台のＴＶを用いて、提示画像生成部７０により映像を表示するＴＶとは別の画面にテロップをリスト状に表示し、一定時間保持することにより、一般に重要であるが刻々と変化するテロップの情報を見落とさず視聴することができ、且つテロップを後から見直すことができ、使用者の理解を容易にすることができる。
【００８５】
【発明の効果】
以上詳細に説明したように本発明によれば、連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出手段と、上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出手段と、上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶手段と、上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出手段とを有するので、画像上の小さな変化の誤検出を軽減することができ、更に、文字情報候補のエッジ密度と、文字情報候補の変化の期間を判定条件に用いることで、文字情報をより精度よく検出することができる。
【図面の簡単な説明】
【図１】（ａ）乃至（ｅ）は、テロップ出現領域を画面上に設定した例を示す模式図である。
【図２】本発明の実施の形態の文字情報検出装置を示すブロック図である。
【図３】本発明の実施の形態に係る文字情報検出装置の制御プログラムにおけるデータの流れを説明する説明図である。
【図４】輝度ヒストグラムを生成する際のデータの流れを説明する説明図である。
【図５】本発明の実施の形態の文字情報検出方法を示す図であって、フレーム画像判定部１０及びテロップ出現検出部２０の処理方法を示すフローチャートである。
【図６】同じく、本発明の実施の形態の文字情報検出方法を示す図であって、輝度ヒストグラムからフレーム変化を検出する方法を示すブローチャートである。
【図７】同じく、本発明の実施の形態の文字情報検出方法を示す図であって、既検出テロップ候補がテロップか否かを推定する方法を示すブローチャートである。
【図８】本発明の実施の形態における文字情報検出装置の提示画像生成部で生成される提示画像の一例を示す模式図である。
【符号の説明】
１ 文字情報検出装置、２ 中央処理装置、３ 制御プログラム、４ メインメモリ、５ データファイル、６ ファイル装置、７ 入力装置、８ 出力装置、９ バス、１０ 判定部、２０ テロップ出現検出部、２１ 候補フレーム画像検出部、２２ 局所変化検出部、３０ エッジ密度検出部、４０ 記憶部、５０ 推定部、５１ 類似度検出部、５２ 継続カウンタ、５３ 安定度判定部、６０ テロップ類似度検出部、７０ 提示画像生成部、８０ ヒストグラム生成部、８１，８４ ブロック分割部、８２，８５ ヒストグラム計算部
Claims (26)
- 連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、
フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出手段と、
上記文字情報出現フレーム画像の上記文字情報出現領域を文字情報候補とし、該文字情報候補を既検出文字情報候補として記憶する記憶手段と、
上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出手段と
を有することを特徴とする文字情報検出装置。 - 連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、
フレーム画像に予め文字情報出現領域を設定し、該文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出手段と、
上記文字情報候補を既検出文字情報候補として記憶する記憶手段と、
上記既検出文字情報候補と該既検出文字情報候補を有するフレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出手段と
を有することを特徴とする文字情報検出装置。 - 連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出装置において、
フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出手段と、
上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出手段と、
上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶手段と、
上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報と推定する文字情報検出手段と
を有することを特徴とする文字情報検出装置。 - フレーム画像とこれに時間的に近接する近接フレーム画像との輝度変化を比較し、上記フレーム画像間の輝度変化が所定の閾値以下であるとき、該フレーム画像を候補フレーム画像として検出する候補フレーム画像検出手段を有し、
上記文字情報出現フレーム画像検出手段は、上記候補フレーム画像とこれに時間的に近接する近接フレーム画像とを比較し、該候補フレーム画像から上記文字情報出現フレーム画像を検出する
ことを特徴とする請求項３記載の文字情報検出装置。 - 上記文字情報検出手段は、上記既検出文字情報候補が上記記憶手段に保持される期間を検出する期間検出手段と、上記既検出文字情報候補のエッジ密度よりも上記文字情報候補のエッジ密度の方が高いとき、上記記憶手段の上記既検出文字情報候補を上記文字情報候補に入れ替える入替手段とを有し、
上記記憶手段に所定期間保持された既検出文字情報候補を文字情報と推定することを特徴とする請求項３記載の文字情報検出装置。 - 上記文字情報検出手段は、上記既検出文字情報候補が上記記憶手段に保持される期間を検出する期間検出手段と、上記文字情報候補と上記既検出文字情報候補との類似度を検出する類似度検出手段と、上記類似度が所定の閾値以上であって、上記既検出文字情報候補のエッジ密度よりも上記文字情報候補のエッジ密度の方が高いとき、及び上記類似度が上記所定の閾値未満であるとき、上記記憶手段の上記既検出文字情報候補を上記文字情報候補に入れ替える入替手段とを有し
上記記憶手段に所定期間保持された既検出文字情報候補を文字情報と推定する
ことを特徴とする請求項３記載の文字情報検出装置。 - 上記類似度検出手段は、上記文字情報候補と上記既検出文字情報候補との輝度変化を検出する
ことを特徴とする請求項６記載の文字情報検出装置。 - フレーム画像を予め規定したサイズのブロックに分割するブロック分割手段を有し、
上記文字情報出現フレーム画像検出手段は、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域とで対応するブロック間の輝度変化が所定の閾値以上であるとき、該フレーム画像を局所変化フレーム画像として検出する
ことを特徴とする請求項３記載の文字情報検出装置。 - 上記ブロック分割手段により分割されたブロック毎に輝度ヒストグラムを算出する輝度ヒストグラム算出手段を有し、
上記文字情報出現フレーム画像検出手段は、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域とで対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値以下であるブロックの数が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する
ことを特徴とする請求項８記載の文字情報検出装置。 - フレーム画像を予め規定したサイズのブロックに分割するブロック分割手段を有し、
上記候補フレーム画像検出手段は、フレーム画像とこれに時間的に近接する近接フレーム画像とで対応するブロック間の変化が所定の閾値以下であるとき、該フレーム画像を候補フレーム画像として検出する
ことを特徴とする請求項４記載の文字情報検出装置。 - 上記ブロック分割手段により分割されたブロック毎に輝度ヒストグラムを算出する輝度ヒストグラム算出手段を有し、
上記候補フレーム画像検出手段は、フレーム画像とこれに時間的に近接する近接フレーム画像とで対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値以下であるブロックの数が所定の閾値以下であるとき、該フレーム画像を候補フレーム画像として検出する
ことを特徴とする請求項１０記載の文字情報検出装置。 - 上記文字情報検出手段の後段に、上記文字情報検出手段により文字情報と推定された既検出文字情報候補と既に提示されている文字情報とを比較しその類似度が所定の閾値以下であるとき、該既検出文字情報候補を文字情報と確定する文字情報類似度検出手段を有する
ことを特徴とする請求項３記載の文字情報検出装置。 - 上記文字情報検出手段により文字情報として検出された１以上の文字情報出現領域を、上記画像を表示する第１の表示手段とは異なる第２の表示手段に提示する提示手段を有する
ことを特徴とする請求項３記載の文字情報検出装置。 - 上記提示手段は、複数の上記文字情報出現領域をリスト状にして他の画面に提示する
を有することを特徴とする請求項１３記載の文字情報検出装置。 - 入力フレーム画像より過去のフレーム画像が上記文字情報出現フレーム画像であるか否かを判定する判定手段を有し、
上記文字情報出現フレーム画像検出手段は、上記過去のフレーム画像が上記文字情報出現フレーム画像ではない入力フレーム画像とこれに時間的に近接するフレーム画像とを比較し、該入力フレーム画像から上記文字情報出現フレーム画像を検出し、
上記文字情報候補検出手段は、上記過去のフレーム画像が上記文字情報出現フレーム画像である入力フレーム画像又は上記文字情報出現フレーム画像の上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する
ことを特徴とする請求項３記載の文字情報検出装置。 - 入力フレーム画像より過去のフレーム画像が上記文字情報候補を有するか否かを判定する判定手段を有し、
上記文字情報出現フレーム画像検出手段は、上記過去のフレーム画像に上記文字情報候補がない入力フレーム画像とこれに時間的に近接するフレーム画像とを比較し、該入力フレーム画像から上記文字情報出現フレーム画像を検出し、
上記文字情報候補検出手段は、上記過去のフレーム画像に上記文字情報候補を有する入力フレーム画像又は上記文字情報出現フレーム画像の上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する
ことを特徴とする請求項３記載の文字情報検出装置。 - 上記文字情報出現領域は、１つのフレーム画像に対して複数設定されることを特徴とする請求項３記載の文字情報検出装置。
- 連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出方法において、
フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出工程と、
上記文字情報出現フレーム画像の上記文字情報出現領域を文字情報候補とし、記憶手段に該文字情報候補を既検出文字情報候補として記憶する記憶工程と、
上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と
を有することを特徴とする文字情報検出方法。 - 連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出方法において、
フレーム画像に予め文字情報出現領域を設定し、該文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出工程と、
記憶手段に上記文字情報候補を既検出文字情報候補として記憶する記憶工程と、
上記既検出文字情報候補と該既検出文字情報候補を有するフレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と
を有することを特徴とする文字情報検出方法。 - 連続するフレーム単位の画像が供給され該画像から文字情報を検出する文字情報検出方法において、
フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出工程と、
上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出工程と、
記憶手段に上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶工程と、
上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と
を有することを特徴とする文字情報検出方法。 - 連続するフレーム単位の画像が供給され該画像から文字情報を検出する動作をコンピュータに実行させるためのプログラムにおいて、
フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出工程と、
上記文字情報出現フレーム画像の上記文字情報出現領域を文字情報候補とし、記憶手段に該文字情報候補を既検出文字情報候補として記憶する記憶工程と、
上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と
を有することを特徴とするプログラム。 - 連続するフレーム単位の画像が供給され該画像から文字情報を検出する動作をコンピュータに実行させるためのプログラムにおいて、
フレーム画像に予め文字情報出現領域を設定し、該文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出工程と、
記憶手段に上記文字情報候補を既検出文字情報候補として記憶する記憶工程と、
上記既検出文字情報候補と該既検出文字情報候補を有するフレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と
を有することを特徴とするプログラム。 - 連続するフレーム単位の画像が供給され該画像から文字情報を検出する動作をコンピュータに実行させるためのプログラムにおいて、
フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出工程と、
上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出工程と、
記憶手段に上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶工程と、
上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と
を有することを特徴とするプログラム。 - 連続するフレーム単位の画像が供給され該画像から文字情報を検出する動作をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出工程と、
上記文字情報出現フレーム画像の上記文字情報出現領域を文字情報候補とし、記憶手段に該文字情報候補を既検出文字情報候補として記憶する記憶工程と、
上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と
を有することを特徴とするプログラムが記録された記録媒体。 - 連続するフレーム単位の画像が供給され該画像から文字情報を検出する動作をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
フレーム画像に予め文字情報出現領域を設定し、該文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出工程と、
記憶手段に上記文字情報候補を既検出文字情報候補として記憶する記憶工程と、
上記既検出文字情報候補と該既検出文字情報候補を有するフレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と
を有することを特徴とするプログラムが記録された記録媒体。 - 連続するフレーム単位の画像が供給され該画像から文字情報を検出する動作をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
フレーム画像に予め文字情報出現領域を設定し、フレーム画像の上記文字情報出現領域とこれに時間的に近接する近接フレーム画像の上記文字情報出現領域との輝度変化を比較し、上記文字情報出現領域間の輝度変化が所定の閾値以上であるとき、該フレーム画像を文字情報出現フレーム画像として検出する文字情報出現フレーム画像検出工程と、
上記文字情報出現領域のエッジ密度が所定の閾値以上であるとき、該文字情報出現領域を文字情報候補として検出する文字情報候補検出工程と、
記憶手段に上記文字情報出現フレーム画像の上記文字情報候補を既検出文字情報候補として記憶する記憶工程と、
上記既検出文字情報候補と該既検出文字情報候補を有する文字情報出現フレーム画像に時間的に連続する複数のフレーム画像における上記文字情報候補との輝度変化の割合が所定の閾値以下である静止期間を検出し該静止期間が所定値に達したとき該既検出文字情報候補を文字情報として検出する文字情報検出工程と
を有することを特徴とするプログラムが記録された記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002220058A JP4288909B2 (ja) | 2002-07-29 | 2002-07-29 | 文字情報検出装置及び文字情報検出方法、並びにプログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002220058A JP4288909B2 (ja) | 2002-07-29 | 2002-07-29 | 文字情報検出装置及び文字情報検出方法、並びにプログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004064431A true JP2004064431A (ja) | 2004-02-26 |
| JP4288909B2 JP4288909B2 (ja) | 2009-07-01 |
Family
ID=31940806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002220058A Expired - Fee Related JP4288909B2 (ja) | 2002-07-29 | 2002-07-29 | 文字情報検出装置及び文字情報検出方法、並びにプログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4288909B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008085700A (ja) * | 2006-09-28 | 2008-04-10 | Sanyo Electric Co Ltd | 映像再生装置及び再生用プログラム |
| JP2008141392A (ja) * | 2006-11-30 | 2008-06-19 | Toshiba Corp | 字幕検出装置及び字幕検出方法並びにプルダウン信号検出装置 |
| CN102129848A (zh) * | 2010-01-18 | 2011-07-20 | 三星电子株式会社 | 液晶显示器及其驱动方法 |
| US8063984B2 (en) | 2006-03-24 | 2011-11-22 | Kabushiki Kaisha Toshiba | Subtitle detection apparatus, subtitle detection method and pull-down signal detection apparatus |
| JP2013030963A (ja) * | 2011-07-28 | 2013-02-07 | Nippon Hoso Kyokai <Nhk> | 映像字幕検出装置およびそのプログラム |
| WO2014097814A1 (ja) * | 2012-12-20 | 2014-06-26 | シャープ株式会社 | 表示装置、入力装置、情報提示装置、プログラムおよび記録媒体 |
-
2002
- 2002-07-29 JP JP2002220058A patent/JP4288909B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8063984B2 (en) | 2006-03-24 | 2011-11-22 | Kabushiki Kaisha Toshiba | Subtitle detection apparatus, subtitle detection method and pull-down signal detection apparatus |
| JP2008085700A (ja) * | 2006-09-28 | 2008-04-10 | Sanyo Electric Co Ltd | 映像再生装置及び再生用プログラム |
| JP2008141392A (ja) * | 2006-11-30 | 2008-06-19 | Toshiba Corp | 字幕検出装置及び字幕検出方法並びにプルダウン信号検出装置 |
| CN102129848A (zh) * | 2010-01-18 | 2011-07-20 | 三星电子株式会社 | 液晶显示器及其驱动方法 |
| US8749471B2 (en) | 2010-01-18 | 2014-06-10 | Samsung Display Co., Ltd. | Liquid crystal display and method of driving the same |
| JP2013030963A (ja) * | 2011-07-28 | 2013-02-07 | Nippon Hoso Kyokai <Nhk> | 映像字幕検出装置およびそのプログラム |
| WO2014097814A1 (ja) * | 2012-12-20 | 2014-06-26 | シャープ株式会社 | 表示装置、入力装置、情報提示装置、プログラムおよび記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4288909B2 (ja) | 2009-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8798151B2 (en) | Video display device, interpolated image generation circuit and interpolated image generation method | |
| JP4620163B2 (ja) | 静止字幕検出装置、静止字幕を含む画像を表示する映像機器、および静止字幕を含んだ画像の処理方法 | |
| US8421819B2 (en) | Pillarboxing correction | |
| US20070086669A1 (en) | Regions of interest in video frames | |
| US20140344853A1 (en) | Comment information generation device, and comment display device | |
| WO2012025042A1 (zh) | 视频画面显示方法及装置 | |
| JP2008199370A (ja) | デジタル放送番組表示装置およびデジタル放送番組表示プログラム | |
| JP2010503006A5 (ja) | ||
| US20230362328A1 (en) | Video frame insertion method and apparatus, and electronic device | |
| JP4573957B2 (ja) | 画像制御装置、画像制御方法及びテレビ受信機 | |
| JP4244584B2 (ja) | 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム | |
| JP2011070629A (ja) | 広告効果測定システム及び広告効果測定装置 | |
| JP4288909B2 (ja) | 文字情報検出装置及び文字情報検出方法、並びにプログラム及び記録媒体 | |
| JP2008046608A (ja) | ビデオウィンドウ検出器 | |
| CN113205573B (zh) | 一种图像显示方法、装置、图像处理设备及存储介质 | |
| CN113949920A (zh) | 视频标注方法、装置、终端设备及存储介质 | |
| CN113436072A (zh) | 一种视频画幅裁剪方法及装置 | |
| CN108074248B (zh) | 一种基于图像内容的osd自动检测方法及装置 | |
| JP2004080156A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム | |
| JPH07236153A (ja) | 動画像のカット点検出およびカット画面グループ検出装置 | |
| JP2004072617A (ja) | 特定情報検出装置、特定情報検出方法、プログラム、及び記録媒体並びに特定情報検出システム | |
| JP4433719B2 (ja) | 画像表示装置の焼き付き防止装置及び画像表示装置の焼き付き防止方法 | |
| JP3024574B2 (ja) | 動画像検索装置 | |
| JP5424737B2 (ja) | 画像再生装置 | |
| JP4788787B2 (ja) | 特定画像検出装置、特定画像検出方法、プログラム及び特定画像検出システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090310 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090323 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140410 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |