JP2004213095A - ビデオテキスト処理装置 - Google Patents

Abstract

【課題】複数のビデオフレームから候補テキストチェンジフレームを高速に選択し、テキストチェンジフレーム内のテキスト領域を正確に検出する。
【解決手段】与えられたビデオフレームから冗長なフレームや非テキストフレームを除くことにより、テキスト領域を含むビデオフレームを選択し、選択されたフレーム内の偽ストロークを除くことによりテキスト領域を特定し、テキスト領域内のテキストラインを抽出して二値化する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ画像処理装置に関し、さらに詳しくはｅラーニングビデオのためのテキスト画像抽出装置に関する。テキストチェンジフレーム検出装置は、テキスト情報を含むビデオフレームを特定する。テキスト抽出装置は、そのビデオフレームからテキスト情報を抽出し、抽出したテキスト情報を認識のため光学式文字認識（ＯＣＲ）エンジンに渡す。
【０００２】
【従来の技術】
ビデオおよび画像内のテキスト検索は非常に重要な技術であり、格納領域削減、ビデオおよび画像のインデックス付け、デジタルライブラリ等のように、多様な適用対象を有する。
【０００３】
本発明は、特定のタイプのビデオとして、大量のテキスト情報を含んでいるｅラーニングビデオに着目している。ビデオ内のテキストコンテンツを効率的に検索するためには、２つの技術が必要となる。ビデオ内でのテキストチェンジフレーム検出と画像からのテキスト抽出である。テキストチェンジフレームとは、ビデオ内でテキストコンテンツの変化を示すフレームである。第１の技術は、ビデオを高速に拾い読みしてテキスト領域を含むビデオフレームを選択する。そして、第２の技術は、そのビデオフレームからテキスト情報を抽出して、認識のためＯＣＲエンジンに渡す。
【０００４】
テキストチェンジフレーム検出技術は、場面チェンジフレーム検出技術の特別なケースであると考えられる。ビデオの内容の変化を示す場面チェンジフレームを検出する技術は、近年盛んに研究されている。いくつかの方法では、フレーム間の強度の違いに着目しており、いくつかの方法では、色ヒストグラムとテクスチャの違いに着目している。しかしながら、これらの方法は、特にｅラーニングの分野においては、ビデオ内でのテキストチェンジフレーム検出に適していない。
【０００５】
典型的なｅラーニングビデオの例として、ビデオフレームがしばしばスライド画像を含んでいるプレゼンテーションビデオを採り上げてみる。スライド画像の例としては、ＰｏｗｅｒＰｏｉｎｔ（登録商標）画像やプロジェクタからのフィルム画像がある。スライドの内容の変化は、色およびテクスチャの劇的な変化を引き起こすことにはならない。また、ビデオカメラの焦点は、話中にしばしばスライド画像内であちこち移動して、画像シフトを引き起こす。話し手が自分のスライドを動かすときにも、画像シフトが発生する。従来の方法では、これらの内容シフトフレームが場面チェンジフレームとしてマークされることになる。従来の方法のもう１つの欠点は、あるフレームがテキスト情報を含んでいるか否かを直接判定できないことである。
【０００６】
ビデオからテキストチェンジフレームを抽出するもう１つの方法は、ビデオ内のフレーム毎にテキスト抽出法を実行して、内容が変化したか否かを判定することである。この戦略の問題点は、非常に時間がかかるということである。
【０００７】
テキストチェンジフレームが検出された後、テキスト抽出法が用いて、そのフレームからテキストラインが抽出される。ビデオおよび静止画像からテキストラインを抽出するために多くの方法が提唱されている（例えば、非特許文献１および２参照）。
【０００８】
また、本分野に関連するいくつかの特許も公開されている（例えば、特許文献１、２、および３参照）。
これらの方法によれば、ｅラーニングにおけるビデオフレームを取り扱うときに問題が生じることになる。ｅラーニングビデオ画像内の文字は常に極小サイズであり、文字の境界も非常に不明瞭であり、テキスト領域の周辺には、テキストラインのバウンディングボックス、人間の体による陰影や隠蔽等のように、多くの障害がある。
【０００９】
【非特許文献１】
Ｖ． Ｗｕ， Ｒ． Ｍａｎｍａｔｈａ， ａｎｄ Ｅ． Ｍ． Ｒｉｓｅｍａｎ，“ＴｅｘｔＦｉｎｄｅｒ： Ａｎ Ａｕｔｏｍａｔｉｃ Ｓｙｓｔｅｍ ｔｏ Ｄｅｔｅｃｔ ａｎｄ Ｒｅｃｏｇｎｉｚｅ Ｔｅｘｔ ｉｎ Ｉｍａｇｅｓ，”ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ＶＯＬ． ２１， ＮＯ． １１， ｐｐ． １２２４−１２２９， Ｎｏｖｅｍｂｅｒ， １９９９．
【非特許文献２】
Ｔ． Ｓａｔｏ， Ｔ． Ｋａｎａｄｅ， Ｅ． Ｈｕｇｈｅｓ， Ｍ． Ｓｍｉｔｈ， ａｎｄ Ｓ． Ｓａｔｏｈ，“Ｖｉｄｅｏ ＯＣＲ： Ｉｎｄｅｘｉｎｇ Ｄｉｇｉｔａｌ Ｎｅｗｓ Ｌｉｂｒａｒｉｅｓ ｂｙ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｓｕｐｅｒｉｍｐｏｓｅｄ Ｃａｐｔｉｏｎｓ，”ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ Ｓｐｅｃｉａｌ Ｉｓｓｕｅ ｏｎ Ｖｉｄｅｏ Ｌｉｂｒａｒｉｅｓ， Ｆｅｂｒｕａｒｙ， １９９８．
【特許文献１】
米国特許第６，３６６，６９９号明細書
【特許文献２】
米国特許第５，４６５，３０４号明細書
【特許文献３】
米国特許第５，３０７，４２２号明細書
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来のビデオ画像処理には、次のような問題がある。
ビデオ内のフレーム毎にテキスト抽出法を実行して、内容が変化したか否かを判定するのには、非常に時間がかかる。
【００１１】
ｅラーニングビデオ画像内の文字は常に極小サイズであり、文字の境界も非常に不明瞭であり、テキスト領域の周辺には多くの障害がある。したがって、従来のテキスト抽出法では、最終二値画像内に多くの偽りの文字ストロークが残ってしまい、後続のＯＣＲ段階で誤った認識結果を生じさせることになる。
【００１２】
本発明の課題は、正しいテキストチェンジフレームの総数に対する抽出された正しいテキストチェンジフレームの数の比率として定義されるリコール率を高く維持したままで、複数のビデオフレームから候補テキストチェンジフレームを高速に選択することである。
【００１３】
本発明のもう１つの課題は、テキストチェンジフレーム内のテキスト領域を効率的に検出し、偽りの文字ストロークをできるだけ多く除去して、テキストライン毎の二値画像を提供するスキームを提供することである。
【００１４】
【課題を解決するための手段】
上記課題は、ビデオ内のテキストフレームを高速に選択するテキストチェンジフレーム検出装置と、テキストフレーム内のテキストラインを抽出するテキスト抽出装置とを備え、ビデオ内の全フレームからテキストコンテンツを含むフレームを高速に選択し、テキストフレーム内の各テキストラインの領域をマークして、テキストラインをバイナリ形式で出力するビデオテキスト処理装置により達成される。
【００１５】
第１のテキストチェンジフレーム検出装置は、第１のフレーム除去手段、第２のフレーム除去手段、第３のフレーム除去手段、および出力手段を備え、与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択する。第１のフレーム除去手段は、与えられたビデオフレームから冗長なビデオフレームを除去する。第２のフレーム除去手段は、与えられたビデオフレームからテキスト領域を含まないビデオフレームを除去する。第３のフレーム除去手段は、与えられたビデオフレームから画像シフトに起因する冗長なビデオフレームを検出して除去する。出力手段は、残されたビデオフレームを候補テキストチェンジフレームとして出力する。
【００１６】
第２のテキストチェンジフレーム検出装置は、画像ブロック有効化手段、画像ブロック類似度計測手段、フレーム類似度判定手段、および出力手段を備え、与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択する。
【００１７】
画像ブロック有効化手段は、与えられたビデオフレームのうちの２つのビデオフレーム内の同じ位置にある２つの画像ブロックが、画像コンテンツの変化を示す能力のある有効ブロックペアであるか否かを決定する。画像ブロック類似度計測手段は、有効ブロックペアの２つの画像ブロックの類似度を計算して、それらの２つの画像ブロックが類似しているか否かを決定する。フレーム類似度判定手段は、有効ブロックペアの総数に対する類似画像ブロックの数の比を用いて２つのビデオフレームが類似しているか否かを決定する。出力手段は、類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する。
【００１８】
第３のテキストチェンジフレーム検出装置は、高速簡易画像二値化手段、テキストライン領域決定手段、再二値化手段、テキストライン確認手段、テキストフレーム検証手段、および出力手段を備え、与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択する。高速簡易画像二値化手段は、与えられたビデオフレームのうちの１つのビデオフレームの第１の二値画像を生成する。テキストライン領域決定手段は、第１の二値画像の横射影と縦射影を用いてテキストライン領域の位置を決定する。再二値化手段は、テキストライン領域毎に第２の二値画像を生成する。テキストライン確認手段は、第１の二値画像と第２の二値画像の差と、テキストライン領域内の画素の総数に対するそのテキストライン領域内のフォアグランド画素の数の充填率とを用いて、テキストライン領域の有効性を決定する。テキストフレーム検証手段は、１組の連続するビデオフレーム内の有効テキストライン領域の数を用いて、１組の連続するビデオフレームがテキスト領域を含まない非テキストフレームであるか否かを確認する。出力手段は、非テキストフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する。
【００１９】
第４のテキストチェンジフレーム検出装置は、高速簡易画像二値化手段、テキストライン縦位置決定手段、縦シフト検出手段、横シフト検出手段、および出力手段を備え、与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択する。高速簡易画像二値化手段は、与えられたビデオフレームのうちの２つのビデオフレームの二値画像を生成する。テキストライン縦位置決定手段は、上記２つのビデオフレームの二値画像の横射影を用いてテキストライン領域毎の縦位置を決定する。縦シフト検出手段は、横射影の相関を用いて、上記２つのビデオフレームの間における画像シフトの縦オフセットと、それらの２つのビデオフレームの縦方向の類似度とを決定する。横シフト検出手段は、上記２つのビデオフレームの二値画像内におけるテキストライン毎の縦射影の相関を用いて、画像シフトの横オフセットと、それらの２つのビデオフレームの横方向の類似度とを決定する。出力手段は、類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する。
【００２０】
テキストチェンジフレーム検出装置によりビデオ内の候補テキストチェンジフレームが検出された後、フレーム毎の画像がテキスト抽出のためにテキスト抽出装置に送られる。
【００２１】
第１のテキスト抽出装置は、エッジ画像生成手段、ストローク画像生成手段、ストロークフィルタ手段、テキストライン領域形成手段、テキストライン検証手段、テキストライン二値化手段、および出力手段を備え、与えられた画像から少なくとも１つのテキストライン領域を抽出する。
【００２２】
エッジ画像生成手段は、与えられた画像のエッジ情報を生成する。ストローク画像生成手段は、エッジ情報を用いて与えられた画像内の候補文字ストロークの二値画像を生成する。ストロークフィルタ手段は、エッジ情報を用いて上記二値画像から偽りのストロークを除去する。テキストライン領域形成手段は、複数のストロークを１つのテキストライン領域に統合する。テキストライン検証手段は、テキストライン領域から偽りの文字ストロークを除去し、そのテキストライン領域を改善する。テキストライン二値化手段は、上記テキストライン領域の高さを用いてそのテキストライン領域を二値化する。出力手段は、上記テキストライン領域の二値画像を出力する。
【００２３】
第２のテキスト抽出装置は、エッジ画像生成手段、ストローク画像生成手段、ストロークフィルタ手段、および出力手段を備え、与えられた画像から少なくとも１つのテキストライン領域を抽出する。エッジ画像生成手段は、与えられた画像のエッジ画像を生成する。ストローク画像生成手段は、エッジ画像を用いて与えられた画像内の候補文字ストロークの二値画像を生成する。ストロークフィルタ手段は、エッジ画像内のエッジを表す画素と上記候補文字ストロークの二値画像内のストロークの輪郭との重複率をチェックし、重複率が所定のしきい値より大きければそのストロークを有効ストロークと決定し、重複率が所定のしきい値より小さければそのストロークを無効ストロークと決定して、無効ストロークを除去する。出力手段は、上記候補文字ストロークの二値画像内の残されたストロークの情報を出力する。
【００２４】
テキスト抽出装置によりテキストライン領域が抽出された後、それらは認識のためにＯＣＲエンジンに送られる。
【００２５】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
図１は、本発明のビデオテキスト処理装置の構成を示している。装置の入力は、既存のビデオデータ１０１またはテレビ（ＴＶ）ビデオカメラ１０２からの生のビデオストリームであり、入力されたビデオデータは、まずビデオ分解部１０３により連続したフレームに分解される。そして、テキストチェンジフレーム検出装置１０４を用いて、ビデオフレーム内の候補テキストチェンジフレームが見つけられる。テキストチェンジフレーム検出装置は、総処理時間を大幅に削減することになる。その後、テキスト抽出装置１０５に、候補テキストチェンジフレーム毎にフレーム内のテキストライン（テキスト領域）を検出させ、そのテキストラインの画像をさらなるＯＣＲ処理のためにデータベース１０６に出力させる。
【００２６】
図２は、図１のビデオテキスト処理装置の処理フローチャートを示している。Ｓ２０１の処理はビデオ分解部１０３により行われ、Ｓ２０２からＳ２０４までの処理はテキストチェンジフレーム検出装置１０４により行われ、Ｓ２０５からＳ２１０までの処理はテキスト抽出装置１０５により行われる。
【００２７】
まず、入力されたビデオが連続したフレームに分解される（Ｓ２０１）。そして、フレーム類似度計測が行われ、２つの隣同士のフレームの類似度が計測される（Ｓ２０２）。それらの２つのフレームが類似していれば、２番目のフレームが除去される。次に、テキストフレーム検出および検証が行われ、Ｓ２０２の処理で残されたフレームがテキストラインを含むか否かが判定される（Ｓ２０３）。フレームがテキストラインを含んでいなければ、そのフレームは除去される。さらに画像シフト検出が行われ、２つのフレーム内に画像シフトが存在するか否かが決定される（Ｓ２０４）。もしそうであれば、２番目のフレームが除去される。テキストチェンジフレーム検出装置１０４の出力は、一群の候補テキストチェンジフレームとなる。
【００２８】
候補テキストチェンジフレーム毎にエッジ画像生成が行われ、フレームのエッジ画像が生成される（Ｓ２０５）。そして、ストローク生成が行われ、エッジ情報に基づいてストローク画像が生成される（Ｓ２０６）。次に、ストロークフィルタリングが行われ、エッジ情報に基づいて偽りのストロークが除去される（Ｓ２０７）。さらにテキストライン領域形成が行われ、個々のストロークが接続されて１つのテキストラインになる（Ｓ２０８）。その後、テキストライン検証が行われ、テキストライン内の偽りのストロークが除去されて、テキストラインが改善される（Ｓ２０９）。最後に、テキストライン二値化が行われ、最終的な二値画像が生成される（Ｓ２１０）。最終出力は、認識のためにＯＣＲエンジンにより処理されることになる一連の二値テキストライン画像である。
【００２９】
図３は、図１のテキストチェンジフレーム検出装置１０４の構成を示している。入力されたビデオフレームは、まず重複しているフレームを削除するためにフレーム類似度計測部３０１に送られ、テキストフレーム検出検証部３０２を用いて、テキスト情報を含むフレームか否かがチェックされる。次に、画像シフト検出部３０３を用いて、画像シフトに起因する冗長なフレームが除去される。フレーム類似度計測部３０１、テキストフレーム検出検証部３０２、および画像シフト検出部３０３は、それぞれ第１、第２、および第３のフレーム除去手段に対応する。テキストチェンジフレーム検出装置１０４は、ｅラーニングビデオ内のテキストチェンジフレームを検出するのに非常に適している。この装置は、テキスト領域を含んでいないビデオフレームとともに、重複しているビデオフレームおよびシフトしているビデオフレームを、高いリコール率を維持しながら非常に高速に除去することができる。
【００３０】
図４は、図３のフレーム類似度計測部３０１の構成を示している。フレーム類似度計測部３０１は、画像ブロック有効化部３１１、画像ブロック類似度計測部３１２、およびフレーム類似度判定部３１３を含む。画像ブロック有効化部３１１は、２つのビデオフレーム内の同じ位置にある２つの画像ブロックが有効ブロックペアであるか否かを決定する。有効ブロックペアとは、画像内容の変化を示す能力のある画像ブロックペアである。画像ブロック類似度計測部３１２は、有効ブロックペアの２つの画像ブロックの類似度を計算し、それらの２つの画像ブロックが類似しているか否かを決定する。フレーム類似度判定部３１３は、有効ブロックペアの総数に対する類似画像ブロックの数の比を用いて、２つのビデオフレームが類似しているか否かを決定する。フレーム類似度計測部３０１によれば、ビデオフレームから重複しているフレームが効率的に検出され、除去される。
【００３１】
図５は、図３のテキストフレーム検出検証部３０２の構成を示している。テキストフレーム検出検証部３０２は、高速簡易画像二値化部３２１、テキストライン領域決定部３２２、再二値化部３２３、テキストライン確認部３２４、およびテキストフレーム検証部３２５を含む。高速簡易画像二値化部３２１は、ビデオフレームの第１の二値画像を生成する。テキストライン領域決定部３２２は、第１の二値画像の横射影と縦射影を用いてテキストライン領域の位置を決定する。再二値化部３２３は、テキストライン領域毎に第２の二値画像を生成する。テキストライン確認部３２４は、第１の二値画像と第２の二値画像の差と、テキストライン領域内の画素の総数に対するそのテキストライン領域内のフォアグランド画素の数の充填率とを用いて、テキストライン領域の有効性を決定する。テキストフレーム検証部３２５は、１組の連続するビデオフレーム内の有効テキストライン領域の数を用いて、１組の連続するビデオフレームがテキスト領域を含まない非テキストフレームであるか否かを確認する。テキストフレーム検出検証部３０２によれば、ビデオフレームから非テキストフレームが高速に検出され、除去される。
【００３２】
図６は、図３の画像シフト検出部３０３の構成を示している。画像シフト検出部３０３は、高速簡易画像二値化部３３１、テキストライン縦位置決定部３３２、縦シフト検出部３３３、および横シフト検出部３３４を含む。高速簡易画像二値化部３３１は、２つのビデオフレームの二値画像を生成する。テキストライン縦位置決定部３３２は、それらの二値画像の横射影を用いてテキストライン領域毎の縦位置を決定する。縦シフト検出部３３３は、横射影の相関を用いて、上記２つのビデオフレームの間における画像シフトの縦オフセットと、それらの２つのビデオフレームの縦方向の類似度とを決定する。横シフト検出部３３４は、上記２つのビデオフレームの二値画像内におけるテキストライン毎の縦射影の相関を用いて、画像シフトの横オフセットと、それらの２つのビデオフレームの横方向の類似度とを決定する。画像シフト検出部３０３によれば、ビデオフレームから画像シフトに起因する冗長なフレームが高速に検出され、除去される。
【００３３】
図７および８は、同じテキストコンテンツを有する２つのフレームを示している。図９は、これらの２つのフレームに対するフレーム類似度計測部３０１の処理結果を示している。図９の白のボックスは、有効ブロックペアに含まれるブロックであり、かつ、内容の変化を示す能力のある、すべての有効画像ブロックを示している。実線のボックスは類似画像ブロックを表し、破線のボックスは非類似画像ブロックを表す。有効ブロックの数に対する類似画像ブロックの数の比は、所定のしきい値より大きいので、これらの２つの画像は類似しているとみなされ、２番目のフレームが除去される。
【００３４】
図１０は、図４のフレーム類似度計測部３０１の動作フローチャートである。０番目の瞬間の０番目のフレームから比較が開始され（Ｓ５０１）、現在のｉ番目のフレームが、ＳＴＥＰ個のフレームのフレーム間隔を有するｊ番目のフレームと比較される（Ｓ５０２）。２つのフレームの比較においてｉ番目のフレームがｊ番目のフレームと類似していれば（Ｓ５０３）、現在のフレーム位置がｊ番目のフレームにジャンプして、比較のためのＳ５０２およびＳ５０３の処理が繰り返される。
【００３５】
２つのフレームが異なっていれば、現在のフレームの１フレーム後のフレームから比較が再開され、そのフレームはｋ番目のフレームとなる（Ｓ５０４およびＳ５０５）。ｋがｊより小さいか否かがチェックされる（Ｓ５０６）。ｋ番目のフレームがｊ番目のフレームの前であり、ｉ番目のフレームがｋ番目のフレームと類似していれば（Ｓ５１１）、ｋ番目のフレームが現在のフレームとなり（Ｓ５１２）、比較のためのＳ５０２およびＳ５０３の処理が繰り返される。
【００３６】
ｉ番目のフレームがｋ番目のフレームと異なっていれば、ｋが１だけ増加し（Ｓ５０５）、ｋがｊより小さいか否かがチェックされる。ｋがｊより小さくなければ、ｊ番目のフレームはそれ以前のフレームとは異なることを意味し、ｊ番目のフレームは新たな候補テキストチェンジフレームとしてマークされる（Ｓ５０７）。そして、ｊ番目のフレームから新たな検索が始まる（Ｓ５０８）。現在の検索フレームのインデックスｉとＳＴＥＰの和が入力されたビデオフレームの総数ｎＦｒａｍｅより大きければ（Ｓ５０９）、検索は終わり、見つかった候補テキストチェンジフレームは、さらなる処理のために後続部３０２および３０３に送られる。そうでなければ、検索が続けられる。
【００３７】
フレーム間隔ＳＴＥＰの意図は、検索動作全体の時間を短縮することである。ＳＴＥＰが大きすぎれば、ビデオの内容は急に変化し、性能が低下することになる。ＳＴＥＰが小さすぎれば、総検索時間はあまり短縮されないことになる。このフレーム間隔としては、例えば、ＳＴＥＰ＝４フレームが選ばれる。
【００３８】
図１１は、図１０のＳ５０３における２つのフレームの類似度の決定の動作フローチャートを示している。Ｓ５１１における処理のフローチャートは、図１１においてｊをｋに置き換えることで得られる。
【００３９】
開始時に、画像ブロックカウントｎ、有効ブロックカウントｎＶａｌｉｄ、および類似ブロックカウントｎＳｉｍｉｌａｒは、すべて０に設定される（Ｓ５１３）。そして、ｉ番目のフレームとｊ番目のフレームが、Ｎ×Ｎの規模の重複しない小さな画像ブロックに分割され、それらの画像ブロックの数がｎＢｌｏｃｋとして記録される（Ｓ５１４）。例えば、Ｎ＝１６である。２つのフレーム内の同じ位置にある２つの画像ブロックは、画像ブロックペアと定義される。そして、画像ブロックペア毎に、画像ブロック有効化部３１１を用いて、画像ブロックペアが有効ブロックペアであるか否かがチェックされる（Ｓ５１５）。画像ブロックペア毎の変化を検出することにより、２つのフレーム間における変化の検出が達成される。内容が変化したとしても、スライドのバックグラウンド部分は通常は変化しない。したがって、これらの部分の画像ブロックペアは、有効ブロックペアとみなされるべきではない。
【００４０】
ブロックペアが無効であれば、次のブロックペアがチェックされる（Ｓ５１９およびＳ５２０）。ブロックペアが有効ブロックペアであれば、有効ブロックカウントｎＶａｌｉｄが１だけ増加し（Ｓ５１６）、画像ブロック類似度計測部３１２を用いて、２つの画像ブロックの類似度が計測される（Ｓ５１７）。それらのブロックが類似していれば、類似ブロックカウントｎＳｉｍｉｌａｒが１だけ増加する（Ｓ５１８）。すべてのブロックペアが比較されたとき（Ｓ５１９およびＳ５２０）、フレーム類似度判定部３１３を用いて、２つのフレームが類似しているか否かが決定される（Ｓ５２１）。次の条件が満たされれば、２つのフレームは類似しているとみなされる（Ｓ５２２）。
ｎＳｉｍｉｌａｒ＞ｎＶａｌｉｄ＊ｓｉｍｒａｔｅ
例えば、ｓｉｍｒａｔｅ＝０．８５である。上記条件が満たされなければ、２つのフレームは非類似とみなされる（Ｓ５２３）。
【００４１】
図１２は、図１１のＳ５１５における画像ブロック有効化部３１１の動作フローチャートを示している。まず、ｎ番目の画像ブロックペアの平均と分散が計算される（Ｓ５２４）。ｉ番目のフレームの画像ブロックの濃淡値の平均および分散は、それぞれＭ（ｉ）およびＶ（ｉ）と記される。ｊ番目のフレームの画像ブロックの濃淡値の平均および分散は、それぞれＭ（ｊ）およびＶ（ｊ）と記される。ブロックペアの２つの分散Ｖ（ｉ）およびＶ（ｊ）がどちらも所定のしきい値Ｔｖより小さく（Ｓ５２５）、かつ、２つの平均Ｍ（ｉ）およびＭ（ｊ）の絶対差もまた所定のしきい値Ｔｍより小さければ（Ｓ５２６）、その画像ブロックペアは無効ブロックペアとなる（Ｓ５２７）。そうでなければ、その画像ブロックペアは有効ブロックペアとなる（Ｓ５２８）。
【００４２】
図１３は、図１１のＳ５１７における画像ブロック類似度計測部３１２の動作フローチャートを示している。ｎ番目の画像ブロックペアの平均Ｍ（ｉ）およびＭ（ｊ）がまず計算される（Ｓ５２９）。２つの平均Ｍ（ｉ）およびＭ（ｊ）の絶対差が所定のしきい値Ｔｍ１より大きければ（Ｓ５３０）、それらの２つの画像ブロックは非類似画像ブロックとみなされる（Ｓ５３４）。そうでなければ、２つの画像ブロックの相関Ｃ（ｉ，ｊ）が計算される（Ｓ５３１）。相関Ｃ（ｉ，ｊ）が所定のしきい値Ｔｃより大きければ（Ｓ５３２）、それらの２つの画像ブロックは類似しているとみなされ（Ｓ５３３）、相関Ｃ（ｉ，ｊ）がしきい値Ｔｃより小さければ、それらの２つの画像ブロックは非類似とみなされる（Ｓ５３４）。
【００４３】
図１４から図２１までは、図５のテキストフレーム検出検証部３０２により行われる処理の結果の例を示している。図１４は、元のビデオフレームを示している。図１５は、高速簡易画像二値化の結果である第１の二値画像を示している。図１６は、横二値射影の結果を示している。図１７は、射影正則化の結果を示している。図１８は、候補テキストライン毎の縦二値射影の結果を示している。図１９は、テキストライン領域決定の結果を示している。グレーの矩形は、候補テキストライン領域を示している。
【００４４】
図２０は、図１９において破線によりマークされた２つの候補テキストライン領域の二値画像の２つのペアの結果を示している。最初のペアの二値画像はテキスト情報を含んでいる。これらの２つの画像の違いは非常に小さい。したがって、このテキストライン領域は、真のテキストライン領域とみなされる。２番目のペアの二値画像には非常に大きな違いがある。異なる部分は所定のしきい値より大きいため、この領域は非テキストライン領域とみなされる。図２１は、検出されたテキストライン領域を示している。
【００４５】
図２２および２３は、図３のテキストフレーム検出検証部３０２の動作フローチャートを示している。まず、連続する候補フレームセクションの検出が行われ、フレーム類似度計測部３０１により出力された候補テキストフレームは、一連の連続する候補フレームをそれぞれ含む複数のセクションに分類される（Ｓ７０１）。これらのセクションの数は、ｎＳｅｃｔｉｏｎと記される。最初のセクションから始めて（Ｓ７０２）、ｉ番目のセクションの連続する候補フレームの数Ｍ（ｉ）が所定のしきい値Ｔｎｃｆより大きければ（Ｓ７０３）、高速簡易画像二値化部３２１を用いて、すべてのビデオフレームの各二値画像が求められる（Ｓ７０４）。そして、二値画像の横および縦射影を使用したテキストライン領域決定部３２２を用いて、テキストラインの領域が決定される（Ｓ７０５）。
【００４６】
次に、検出されたテキストライン領域から始めて（Ｓ７０６）、再二値化部３２３を用いて、テキストライン領域の２番目の二値画像が作成される（Ｓ７０７）。再二値化部３２３は、検出されたテキストライン毎の全領域に対してＮｉｂｌａｃｋ の画像二値化法を適用して、二値画像を求める。同じテキストライン領域の２つの二値画像は、テキストライン確認部３２４により比較される（Ｓ７０８）。それらの２つの二値画像が類似していれば、ｉ番目のセクションのテキストラインカウントｎＴｅｘｔＬｉｎｅ（ｉ）が１だけ増加する（Ｓ７０９）。この手順はＭ（ｉ）個の連続する候補フレーム内のすべてのテキストラインに対して繰り返される（Ｓ７１０およびＳ７１１）。
【００４７】
非テキストフレームがいくつかのテキストラインを含んでいるとみなされることもあるが、一連の候補フレームがいかなるテキストラインも含んでいないのであれば、これらのフレーム内で検出されるテキストラインの数はそれほど多くならないものと考えられる。そこで、テキストフレーム検証部３２５を用いて、その一連の候補テキストフレームが非テキストフレームであるか否かが確認される。一連の候補テキストフレームは、次の条件が満たされれば非テキストフレームとみなされ（Ｓ７１２）、
ｎＴｅｘｔＬｉｎｅ（ｉ）≦αＭ（ｉ）
これらの偽りの候補テキストフレームは除去される（Ｓ７１３）。ここで、αは、実験により決定される正の実数である。通常は、α＝０．８と設定される。この手順は連続する候補フレームのすべてのセクションに対して繰り返される（Ｓ７１４およびＳ７１５）。
【００４８】
図２４は、図２２のＳ７０４における高速簡易画像二値化部３２１の動作フローチャートを示している。フレーム画像は、まずＮ×Ｎの規模の重複しない画像ブロックに分割され、それらの画像ブロックの数はｎＢｌｏｃｋとして記録される（Ｓ７１６）。例えば、Ｎ＝１６である。最初の画像ブロックから始めて（Ｓ７１７）、Ｎｉｂｌａｃｋ の画像二値化法により画像ブロック毎に二値化される（Ｓ７１８）。Ｎｉｂｌａｃｋ の画像二値化のパラメータｋは、ｋ＝−０．４に設定される。この手順はすべての画像ブロックに対して繰り返される（Ｓ７１９およびＳ７２０）。
【００４９】
図２５は、図２４のＳ７１８におけるＮｉｂｌａｃｋ の画像二値化法のフローチャートを示している。入力はＭ×Ｎの規模の濃淡画像である。まず、画像の平均Ｍｅａｎおよび分散Ｖａｒが計算される（Ｓ７２１）。分散Ｖａｒが所定のしきい値Ｔｖより小さければ（Ｓ７２２）、その二値画像内のすべての画素が０に設定される。Ｖａｒ＞Ｔｖであれば、次式によりバイナリしきい値Ｔが計算される。
Ｔ＝Ｍｅａｎ＋ｋ＊Ｖａｒ
画像画素ｉ毎に、その画素の濃淡値ｇｒａｙ（ｉ）がＴより大きければ（Ｓ７２６）、その二値画像ｂｉｎ（ｉ）内の画素が０に設定される（Ｓ７２７）、そうでなければ、その画素が１に設定される（Ｓ７２８）。この手順は二値画像内のすべての画素に対して繰り返される（Ｓ７２９およびＳ７３０）。
【００５０】
図２６は、図２２のＳ７０５におけるテキストライン領域決定部３２２の動作フローチャートを示している。このテキストライン領域決定部の入力は、Ｓ７０４からのビデオフレームの二値画像である。横画像射影Ｐｒｊｈがまず計算される（Ｓ７３１）。この射影は平滑化されて（Ｓ７３２）正則化される（Ｓ７３３）。Ｐｒｊｈを正則化した結果はＰｒｊｈｒとなり、０または１の２つの値のみを有する。１はその位置が大きな射影値を有することを意味し、０はその位置が小さな射影値を有することを意味する。Ｐｒｊｈｒにおける各１の領域の始点および終点は、それぞれｓｙ（ｉ）およびｅｙ（ｉ）として記録される（Ｓ７３４）。Ｐｒｊｈｒにおける各１の領域に対して、縦画像射影Ｐｒｊｖ（ｉ）が計算される（Ｓ７３５）。Ｐｒｊｖ（ｉ）は平滑化されて（Ｓ７３６）正則化され、Ｐｒｊｖｒ（ｉ）となる（Ｓ７３７）。Ｐｒｊｖｒ（ｉ）内の２つの１の領域間の距離が２＊領域の高さより小さければ、それらの２つの１の領域は接続されて１つの領域となり、接続後の領域の始点および終点が、それぞれｓｘ（ｉ）およびｅｘ（ｉ）として記録される（Ｓ７３８）。これらの出力ｓｘ（ｉ）、ｅｘ（ｉ）、ｓｙ（ｉ）、およびｅｙ（ｉ）により、ｉ番目のテキストラインの領域が決定される（Ｓ７３９）。
【００５１】
図２７は、図２６のＳ７３１における横画像射影のフローチャートを示している。最初の横ラインから始めて（Ｓ７４０）、ｉ番目の横ラインに対する射影が次式により計算される（Ｓ７４１）。
【００５２】
【数１】

【００５３】
ここで、Ｉ（ｉ，ｊ）はｉ行ｊ列の画素値であり、ｗは画像の幅である。この計算は、画像の高さをｈとして、画像内のすべての横ラインに対して繰り返される（Ｓ７４２およびＳ７４３）。
【００５４】
図２８は、図２６のＳ７３２における射影平滑化のフローチャートを示している。平滑化ウィンドウの半径δに相当する点から始めて（Ｓ７４４）、平滑化射影のｉ番目の点の値ｐｒｊｓ（ｉ）が次式により計算される（Ｓ７４５）。
【００５５】
【数２】

【００５６】
ここで、平滑化ウィンドウの長さを２＊δ＋１とする。この計算は、平滑化の範囲をＬとして、平滑化射影のすべての点に対して繰り返される（Ｓ７４６およびＳ７４７）。
【００５７】
図２９は、図２６のＳ７３３における射影正則化のフローチャートを示している。最初に、射影内のすべての極大値が検出される（Ｓ７４８）。正則化射影Ｐｒｊｒのすべての画素の値は０に設定される（Ｓ７４９）。最初の極大値ｍａｘ（ｉ）から始めて（Ｓ７５０）、すぐ近くの２つの極小値ｍｉｎ１（ｉ）およびｍｉｎ２（ｉ）が検出される（Ｓ７５１）。
【００５８】
図３０は、射影曲線におけるｍａｘ（ｉ）、ｍｉｎ１（ｉ）、およびｍｉｎ２（ｉ）の位置の描画例を示している。３つの極大値が存在している。Ｐ２、Ｐ４、およびＰ６は、それぞれｍａｘ（１）、ｍａｘ（２）、およびｍａｘ（３）とする。Ｐ１はｍａｘ（１）に対する上側の極小値ｍｉｎ１（１）であり、Ｐ３はｍａｘ（１）に対する下側の極小値ｍｉｎ２（１）である。Ｐ３はｍａｘ（２）に対する上側の極小値ｍｉｎ１（２）でもある。同様に、Ｐ５はｍａｘ（２）に対する下側の極小値ｍｉｎ２（２）であり、ｍａｘ（３）に対する上側の極小値ｍｉｎ１（３）でもある。Ｐ７はｍａｘ（３）に対する下側の極小値ｍｉｎ２（３）である。
【００５９】
ｍｉｎ１（ｉ）＜ｍａｘ（ｉ）／２、かつ、ｍｉｎ２（ｉ）＜ｍａｘ（ｉ）／２であれば（Ｓ７５２）、ｍｉｎ１（ｉ）およびｍｉｎ２（ｉ）の位置の間の正則化射影Ｐｒｊｒの値は１に設定される（Ｓ７５３）。この手順は、極大値毎に繰り返される（Ｓ７５４およびＳ７５５）。
【００６０】
図３１は、図２２のＳ７０８におけるテキストライン確認部３２４の動作フローチャートを示している。このテキストライン確認部の入力は、同じテキストライン領域のｗ×ｈの規模の２つの二値画像Ｉ１およびＩ２である。まず、カウンタｃｏｕｎｔ１、ｃｏｕｎｔ２、およびｃｏｕｎｔが０に設定される（Ｓ７５６）。ｃｏｕｎｔは、Ｉ１およびＩ２内の対応する２つの画素の値がどちらも１であるような画素の数を意味する。ｃｏｕｎｔ１は、Ｉ１内の対応する画素の値が１であり、Ｉ２内のそれが０であるような画素の数を意味する。ｃｏｕｎｔ２は、Ｉ２内の対応する画素の値が１であり、Ｉ１内のそれが０であるような画素の数を意味する。
【００６１】
２つの画像内の最初の位置から始めて、対応する２つの画素Ｉ１（ｉ）およびＩ２（ｉ）が両方とも１であれば、ｃｏｕｎｔが１だけ増加する（Ｓ７５７およびＳ７５８）。そうでない場合、Ｉ１（ｉ）が１であれば、ｃｏｕｎｔ１が１だけ増加する（Ｓ７５９およびＳ７６０）。そうでもない場合、Ｉ２（ｉ）が１であれば、ｃｏｕｎｔ２が１だけ増加する（Ｓ７６１およびＳ７６２）。すべての画素がチェックされた後（Ｓ７６３およびＳ７６４）、次の条件が満たされるか否かがチェックされる（Ｓ７６５およびＳ７６６）。
ｃｏｕｎｔ＋ｃｏｕｎｔ１＜ｗ＊ｈ／２，
ｃｏｕｎｔ＋ｃｏｕｎｔ２＜ｗ＊ｈ／２，
ｃｏｕｎｔ１＜ｃｏｕｎｔ＊０．２，
ｃｏｕｎｔ２＜ｃｏｕｎｔ＊０．２，
ｆｉｌｌｒａｔｅ＜０．５
テキストライン領域の‘ｆｉｌｌｒａｔｅ’は、その領域内の総画素数に対するフォアグランド画素の数の比率として定義される。上記の条件が満たされれば、２つの二値画像はこのテキストライン領域内において類似しているとみなされ、そのテキストライン領域は有効テキストラインとみなされる（Ｓ７６８）。これらの条件の１つでも満たされなければ、そのテキストライン領域は無効テキストラインとみなされる（Ｓ７６７）。
【００６２】
図３２および３３は、図６の画像シフト検出部３０３の動作フローチャートを示している。連続する２つのフレームであるフレームｉおよびｊに対して、まず高速簡易画像二値化部３３１を用いて、それらの２つのフレームの二値画像が求められる（Ｓ８０１）。次に、フレームｉおよびフレームｊに対する横射影ＰｒｊｙｉおよびＰｒｊｙｊをそれぞれ求めるために、テキストライン縦位置決定部３３２を用いて、図２６のＳ７３１のような横画像射影が行われる（Ｓ８０２）。そして、縦シフト検出部３３３を用いて、２つの射影の相関関数Ｃｙ（ｔ）が計算される（Ｓ８０３）。
【００６３】
ここで、２つの射影Ｐｒｊ１（ｘ）およびＰｒｊ２（ｘ）の相関関数Ｃ（ｔ）は、
【００６４】
【数３】

【００６５】
のように定義される。ここで、Ｌは射影の長さであり、Ｍ１およびＭ２はそれぞれ射影Ｐｒｊ１およびＰｒｊ２の平均であり、Ｖ１およびＶ２はそれぞれ射影Ｐｒｊ１およびＰｒｊ２の分散である。
【００６６】
Ｃｙ（ｔ）の最大値が９０％より小さければ（Ｓ８０４）、２つの画像はシフト画像ではない。そうでなければ、Ｃｙ（ｔ）の最大値の位置が縦オフセットｏｆｆｙとして記録され（Ｓ８０５）、射影Ｐｒｊｙｉの正則化射影Ｐｒｊｙｉｒを求めるために、Ｓ７３３のような射影正則化が行われる（Ｓ８０６）。フレームｊがフレームｉのシフトしたものであれば、フレームｊの縦シフトオフセットはｏｆｆｙとなる。Ｐｒｊｙｉｒ内の１の領域はすべて候補テキストライン領域とみなされ、始点ｓｙｉおよび終点ｅｙｉにより表される（Ｓ８０７）。候補テキストライン領域の数はｎＣａｎＴＬとして記録される。
【００６７】
最初の候補テキストライン領域から始めて、一致カウントｎＭａｔｃｈが０に設定される（Ｓ８０８）。フレームｊ内のｃ番目の対応するシフト候補テキストライン領域は、ｓｙｊ（ｃ）＝ｓｙｉ（ｃ）＋ｏｆｆｙおよびｅｙｊ（ｃ）＝ｅｙｉ（ｃ）＋ｏｆｆｙにより表されるものとする（Ｓ８０９）。２つの対応する候補テキストライン領域に対して、縦射影が計算される（Ｓ８１０）。そして、横シフト検出部３３４を用いて、２つの縦射影に対する相関関数Ｃｘ（ｔ）が計算され、Ｃｘ（ｔ）の最大値の位置が、これらの２つの射影に対する横オフセットｏｆｆｘとして記録される（Ｓ８１１）。Ｃｙ（ｔ）の最大値が９０％より大きければ（Ｓ８１２）、２つの候補テキストライン領域は一致したシフトテキストライン領域とみなされ、一致カウントｎＭａｔｃｈが１だけ増加する（Ｓ８１３）。すべての候補テキストラインペアがチェックされた後（Ｓ８１４およびＳ８１５）、一致したシフトテキストライン領域の数がテキストライン領域の数の７０％より大きければ（Ｓ８１６）、フレームｊはフレームｉのシフトしたものとみなされる（Ｓ８１７）。そうでなければ、フレームｊはフレームｉのシフトしたフレームではない（Ｓ８１８）。
【００６８】
図３４は、図１のテキスト抽出装置１０５の構成を示している。テキスト抽出装置は、ビデオフレームのエッジ情報を抽出するエッジ画像生成部９０１、エッジ画像を用いて候補文字ストロークのストローク画像を生成するストローク画像生成部９０２、偽りの文字ストロークを除去するストロークフィルタ部９０３、隣同士のストロークを接続してテキストライン領域にするテキストライン領域形成部９０４、テキストライン領域内の偽りの文字ストロークを削除するテキストライン検証部９０５、およびテキストライン領域の最終二値画像を求めるテキストライン二値化部９０６を備える。テキスト抽出装置の出力は、フレーム内のすべてのテキストライン領域の二値画像のリストである。このテキスト抽出装置１０５によれば、できるだけ多くの偽りのストロークが検出されて除去されるので、テキストライン領域を正確に二値化することができる。
【００６９】
図３５は、図３４のエッジ画像生成部９０１の構成を示している。エッジ画像生成部９０１は、エッジ強度計算部９１１、第１のエッジ画像生成部９１２、および第２のエッジ画像生成部９１３を含む。エッジ強度計算部９１１は、Ｓｏｂｅｌ エッジ検出器を用いてビデオフレーム内の画素毎にエッジ強度を計算する。第１のエッジ画像生成部９１２は、画素毎のエッジ強度を所定のエッジしきい値と比較し、エッジ強度がしきい値より大きければ、第１のエッジ画像内の対応する画素の値をあるバイナリ値に設定し、エッジ強度がしきい値より小さければ、対応する画素の値を他のバイナリ値に設定することにより、第１のエッジ画像を生成する。例えば、あるバイナリ値として論理“１”を用いて白画素を表し、他のバイナリ値として論理“０”を用いて黒画素を表してもよい。第２のエッジ画像生成部９１３は、第１のエッジ画像内の上記あるバイナリ値を有する各画素の位置を中心とするウィンドウ内の画素毎のエッジ強度をそのウィンドウ内の画素の平均エッジ強度と比較し、その画素のエッジ強度が平均エッジ強度より大きければ、第２のエッジ画像内の対応する画素の値を上記あるバイナリ値に設定し、その画素のエッジ強度が平均エッジ強度より小さければ、対応する画素の値を上記他のバイナリ値に設定することにより、第２のエッジ画像を生成する。第２のエッジ画像生成には、例えば、３×３の規模の小さなウィンドウが用いられる。
【００７０】
図３６は、図３４のストローク画像生成部９０２の構成を示している。ストローク画像生成部９０２は、局所画像二値化部９２１を含む。局所画像二値化部９２１は、第２のエッジ画像内の上記あるバイナリ値を有する各画素の位置を中心とするウィンドウを用いることにより、Ｎｉｂｌａｃｋ の二値化方法でビデオフレーム内の濃淡画像を二値化して候補文字ストロークの二値画像を求める。局所画像二値化には、例えば、１１×１１の規模のウィンドウが用いられる。
【００７１】
図３７は、図３４のストロークフィルタ部９０３の構成を示している。ストロークフィルタ部９０３は、ストロークエッジ被覆有効化部９３１および大直線検出部９３２を備える。ストロークエッジ被覆有効化部９３１は、第２のエッジ画像内の上記あるバイナリ値を有する画素と候補文字ストロークの二値画像内のストロークの輪郭との重複率をチェックし、重複率が所定のしきい値より大きければそのストロークを有効ストロークと決定し、重複率が所定のしきい値より小さければそのストロークを無効ストロークと決定して、無効ストロークを偽りのストロークとして除去する。大直線検出部９３２は、ストロークの幅と高さを用いて非常に大きなストロークを偽りのストロークとして除去する。
【００７２】
図３８は、図３４のテキストライン領域形成部９０４の構成を示している。テキストライン領域形成部９０４は、ストローク接続チェック部９４１を含む。ストローク接続チェック部９４１は、２つの隣接するストロークの高さの重複率とそれらの２つのストロークの間の距離とを用いて、それらの２つのストロークが接続可能か否かをチェックする。テキストライン領域形成部９０４は、チェック結果を用いて複数のストロークを１つのテキストライン領域に統合する。
【００７３】
図３９は、図３４のテキストライン検証部９０５の構成を示している。テキストライン検証部９０５は、縦偽りストローク検出部９５１、横偽りストローク検出部９５２、およびテキストライン改善部９５３を含む。縦偽りストローク検出部９５１は、テキストライン領域内のストロークの平均高さより高い高さの各ストロークをチェックし、そのストロークが２つの横テキストライン領域を接続して１つの大テキストライン領域を生成していれば、そのストロークを偽りのストロークとしてマークする。横偽りストローク検出部９５２は、テキストライン領域内のストロークの平均幅により決定されるしきい値より大きな幅の各ストロークをチェックし、そのストロークを含む領域内のストロークの数が所定のしきい値より小さければ、そのストロークを偽りのストロークとしてマークする。テキストライン改善部９５３は、テキストライン領域内で偽りのストロークが検出されれば、そのテキストライン領域内の偽りのストローク以外のストロークを再接続する。
【００７４】
図４０は、図３４のテキストライン二値化部９０６の構成を示している。テキストライン二値化部９０６は、自動サイズ計算部９６１およびブロック画像二値化部９６２を含む。自動サイズ計算部９６１は、二値化用のウィンドウのサイズを決定する。ブロック画像二値化部９６２は、第２のエッジ画像内の上記あるバイナリ値を有する各画素の位置を中心とする上記ウィンドウを用いることにより、Ｎｉｂｌａｃｋ の二値化方法でビデオフレーム内の濃淡画像を二値化する。偽りのストロークを除去した後のこのようなテキストライン二値化によれば、テキストライン領域を正確に二値化することができる。
【００７５】
図４１から図４６までは、テキスト抽出装置のいくつかの結果を示している。図４１は、元のビデオフレームを示している。図４２は、最終エッジ画像（第２のエッジ画像）となるエッジ画像生成の結果を示している。図４３は、ストローク生成の結果を示している。図４４は、ストロークフィルタリングの結果を示している。図４５は、テキストライン形成の結果を示している。図４６は、精錬された最終二値化テキストライン領域の結果を示している。
【００７６】
図４７および４８は、図３５のエッジ画像生成部９０１の動作フローチャートを示している。まず、Ｗ×Ｈの規模の第１のエッジ画像ＥｄｇｅＩｍｇ１の画素ＥｄｇｅＩｍｇ１（ｉ）のすべての値が０に設定される（Ｓ１１０１）。そして、最初の画素から始めて（Ｓ１１０２）、エッジ強度計算部９１１を用いて、Ｓｏｂｅｌ エッジ検出器でｉ番目の画素のエッジ強度Ｅ（ｉ）が計算される（Ｓ１１０３）。次に、第１のエッジ画像生成部９１２を用いて、ＥｄｇｅＩｍｇ１（ｉ）の値が決定される。エッジ強度が所定のしきい値Ｔｅｄｇｅより大きければ（Ｓ１１０４）、第１のエッジ画像内のこの画素の値は１に設定され、ＥｄｇｅＩｍｇ１（ｉ）＝１となる（Ｓ１１０５）。この手順はすべての画素がチェックされるまで繰り返される（Ｓ１１０６およびＳ１１０７）。
【００７７】
第１のエッジ画像が得られた後、Ｗ×Ｈの規模の第２のエッジ画像ＥｄｇｅＩｍｇ２に対するすべての値ＥｄｇｅＩｍｇ２（ｉ）が０に初期化される（Ｓ１１０８）。最初の画素から走査して（Ｓ１１０９）、第１のエッジ画像内の画素の値が１であれば（Ｓ１１１０）、図４９に示すような画素ｉの近傍１１１６の配置に従って、近傍画素の平均エッジ強度が求められる（Ｓ１１１１）。そして、第２のエッジ画像生成部９１３を用いて、画素のエッジ強度を平均エッジ強度と比較することにより、第２のエッジ画像内のそれらの近傍画素の値を決定する（Ｓ１１１２）。エッジ強度が平均エッジ強度より大きければ、第２のエッジ画像内の画素値が１に設定され、そうでなければ、値は０に設定される。第１のエッジ画像内のすべての画素がチェックされた後（Ｓ１１１３およびＳ１１１４）、第２のエッジ画像が最終エッジ画像ＥｄｇｅＩｍｇとして出力される（Ｓ１１１５）。
【００７８】
図５０は、図４７のＳ１１０３におけるエッジ強度計算部９１１の動作フローチャートを示している。まず、ｉ番目の画素に対して、図４９に示した近傍領域１１１６内で、横および縦エッジ強度Ｅｘ（ｉ）およびＥｙ（ｉ）が次式により求められる（Ｓ１１１７およびＳ１１１８）。
Ｅｘ（ｉ）＝Ｉ（ｄ）＋２＊Ｉ（ｅ）＋Ｉ（ｆ）−Ｉ（ｂ）−２＊Ｉ（ａ）−Ｉ（ｈ），
Ｅｙ（ｉ）＝Ｉ（ｂ）＋２＊Ｉ（ｃ）＋Ｉ（ｄ）−Ｉ（ｈ）−２＊Ｉ（ｇ）−Ｉ（ｆ）
ここで、Ｉ（ｘ）はｘ番目の画素（ｘ＝ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）の濃淡値を表す。総エッジ強度Ｅ（ｉ）は、次式により計算される（Ｓ１１１９）。
【００７９】
【数４】

【００８０】
図４８のＳ１１１１における画素ｉの平均エッジ強度は、次式により計算される。

図５１は、図３６のストローク画像生成部９０２の動作フローチャートを示している。まず、Ｗ×Ｈの規模のストローク画像が０に初期化される（Ｓ１２０１）。そして、局所画像二値化部９２１を用いて、ストローク画像の画素の値が決定される。最初の画素から始めて（Ｓ１２０２）、エッジ画像ＥｄｇｅＩｍｇのｉ番目の画素の値ＥｄｇｅＩｍｇ（ｉ）が１であれば（Ｓ１２０３）、濃淡フレーム画像内にその画素の位置を中心とする１１×１１のウィンドウが設定され、図２５に示したＮｉｂｌａｃｋ の二値化法により、ウィンドウ内のストローク画像の画素の値が決定される。エッジ画像内のすべての画素がチェックされた後（Ｓ１２０５およびＳ１２０６）、ストローク画像が生成される。
【００８１】
図５２は、図３７のストロークフィルタ部９０３の動作フローチャートを示している。まず、大直線検出部９３２を用いて、非常に大きなストロークが削除される。最初のストロークから始めて（Ｓ１３０１）、ストロークの幅または高さが所定のしきい値ＭＡＸＳＴＲＯＫＥＳＩＺＥを超えていれば（Ｓ１３０２）、このストロークは削除される（Ｓ１３０４）。そうでなければ、ストロークエッジ被覆有効化部９３１を用いて、そのストロークの有効性がチェックされる（Ｓ１３０３）。有効ストロークは候補文字ストロークを意味し、無効ストロークは真の文字ストロークではない。ストロークが無効であれば、それは削除される（Ｓ１３０４）。ストロークの数をｎＳｔｒｏｋｅとして、ストローク画像内のすべてのストロークに対してチェックが繰り返される（Ｓ１３０５およびＳ１３０６）。
【００８２】
図５３は、図５２のＳ１３０３におけるストロークエッジ被覆有効化部９３１の動作フローチャートを示している。まず、ストロークの輪郭Ｃが求められる（Ｓ１３０７）。現在の輪郭点の近傍領域におけるＥｄｇｅＩｍｇの画素値が、最初の輪郭点から（Ｓ１３０８）チェックされる（Ｓ１３０９）。図４９に示したように、点ａから点ｈまでが点ｉの近傍点とみなされる。１の値を有する隣りのエッジ画素があれば、この輪郭点は有効エッジ輪郭点とみなされ、有効エッジ輪郭点のカウントｎＥｄｇｅが１だけ増加する（Ｓ１３１０）。ｎＣｏｎｔｏｕｒを輪郭点の数としてすべての輪郭点がチェックされた後、有効エッジ輪郭点の数が０．８＊ｎＣｏｎｔｏｕｒより大きければ、そのストロークは有効ストローク、つまり、候補文字ストロークとみなされる（Ｓ１３１４）。そうでなければ、そのストロークは無効ストロークである（Ｓ１３１５）。ｎＣｏｎｔｏｕｒに対するｎＥｄｇｅの比率は重複率を表している。
【００８３】
図５４は、図３８のテキストライン領域形成部９０４の動作フローチャートを示している。まず、すべてのストロークの領域が個々のテキストライン領域として設定され、テキストラインの数ｎＴＬがｎＳｔｒｏｋｅに設定される（Ｓ１４０１）。最初のストロークから始めて（Ｓ１４０２）、ストロークｉの次のストロークｊが選択され（Ｓ１４０３）、ストロークｉおよびストロークｊが１つのテキストライン領域に属するか否かチェックされる（Ｓ１４０４）。否であれば、ストローク接続チェック部９４１を用いて、これらの２つのストロークが接続可能か否かがチェックされる（Ｓ１４０５）。接続可能であれば、ストロークｉが属するテキストラインおよびストロークｊが属するテキストラインの２つのテキストライン内のすべてのストロークが、１つの大きなテキストラインに統合され（Ｓ１４０６）、テキストラインの数が１だけ減少する（Ｓ１４０７）。
【００８４】
ここで、テキストラインは一群の接続可能なストロークであり、すべてのストロークはテキストラインの属性を持っている。ストロークｉがｍ番目のテキストラインに属し、ストロークｊがｎ番目のテキストラインに属し、ストロークｉがストロークｊと接続可能であれば、ｍ番目およびｎ番目のテキストライン内のすべてのストロークの属性がｍに設定される。すべてのストロークペアがチェックされた後（Ｓ１４０８、Ｓ１４０９、Ｓ１４１０、およびＳ１４１１）、ｎＴＬはそのフレーム内のテキストラインの数となる。
【００８５】
図５５は、図５４のＳ１４０５におけるストローク接続チェック部９４１の動作フローチャートを示している。まず、２つのストロークの高さｈ１およびｈ２が求められ、高い方の高さがｍａｘｈとマークされ、低い方の高さがｍｉｎｈとマークされる（Ｓ１４１２）。ストロークｉおよびストロークｊの中心間の横距離が１．５＊ｍａｘｈより大きければ、これらの２つのストロークは接続可能ではない（Ｓ１４１７）。そうでなければ、ストロークｉおよびストロークｊの両方と交点を持つ横ラインの数がｎＯｖｅｒｌａｐとして記録される（Ｓ１４１４）。ｎＯｖｅｒｌａｐが０．５＊ｍｉｎｈより大きければ（Ｓ１４１５）、これらの２つのストロークは接続可能である（Ｓ１４１６）。そうでなければ、これらの２つのストロークは接続可能ではない（Ｓ１４１７）。Ｓ１４１５におけるｍｉｎｈに対するｎＯｖｅｒｌａｐの比率は重複率を表す。
【００８６】
図５６は、図３９のテキストライン検証部９０５の動作フローチャートを示している。まず、修正フラグｍｏｄｆｌａｇが偽に設定される（Ｓ１５０１）。最初のテキストライン領域から始めて（Ｓ１５０２）、ｉ番目のテキストライン領域の高さＨｅｉｇｈｔ（ｉ）が所定のしきい値ＭＩＮＴＬＨＥＩＧＨＴより小さければ（Ｓ１５０３）、このテキストライン領域は削除される（Ｓ１５０４）。そうでなければ、縦偽りストローク検出部９５１および横偽りストローク検出部９５２を用いて、偽りのストロークが検出される（Ｓ１５０５およびＳ１５０６）。偽りのストロークが検出されれば、そのストロークは削除され（Ｓ１５０７）、テキストライン改善部９５３を用いて残されたストロークが再接続され（Ｓ１５０８）、修正フラグが真に設定される（Ｓ１５０９）。テキストライン改善部９５３は、テキストライン領域形成部９０４と同様にして残されたストロークを再接続する。すべてのテキストライン領域がチェックされた後（Ｓ１５１０およびＳ１５１１）、修正フラグが真であれば（Ｓ１５１２）、偽りのストロークが検出されなくなるまで、再度、全体の処理が繰り返される。
【００８７】
図５７は、図５６のＳ１５０５における縦偽りストローク検出部９５１の動作フローチャートを示している。まず、テキストライン領域内のストロークの平均高さが計算される（Ｓ１５１３）。最初のストロークから始めて（Ｓ１５１４）、ストロークｉの高さが平均高さより大きければ（Ｓ１５１５）、マルチテキストライン検出が行われ、ストロークｉの左側の領域内のストロークがチェックされる（Ｓ１５１６）。ストロークｉの左側の領域はテキストライン領域内部の領域であり、この領域の左、上、および下の境界は、それぞれそのテキストライン領域の左、上、および下の境界である。この領域の右の境界はストロークｉの左の境界である。ストロークｉの左側の領域内に２つ以上の非重複横テキストライン領域が存在すれば、ストロークｉは縦偽りストロークとなる（Ｓ１５２０）。
【００８８】
そうでなければ、次に、マルチテキストライン検出が行われ、ストロークｉの右側の領域内のストロークがチェックされる（Ｓ１５１７）。ストロークｉの右側の領域は、ストロークｉの左側の領域と同様にして定義される。ストロークｉの右側の領域内に２つ以上の非重複横テキストライン領域が存在すれば、ストロークｉは縦偽りストロークとなる（Ｓ１５２０）。この手順はテキストライン領域内のすべてのストロークがチェックされるまで繰り返される（Ｓ１５１８およびＳ１５１９）。
【００８９】
図５８は、図５７のＳ１５１６およびＳ１５１７におけるマルチテキストライン検出のフローチャートを示している。まず、テキストライン領域形成部９０４と同様にしてストロークが接続される。テキストライン領域の数ｎＴｅｘｔＬｉｎｅが１より大きければ（Ｓ１５２２）、次の３つの条件が満たされるか否かがチェックされる。
１．２つの非重複横テキストライン領域が存在する（Ｓ１５２３）。
２．一方のテキストライン領域がもう一方のテキストライン領域の上にある（Ｓ１５２４）。
３．各テキストライン領域内のストロークの数が３より大きい（Ｓ１５２５）。３つの条件がすべて満たされれば、マルチテキストラインが検出されたことになる（Ｓ１５２６）。
【００９０】
図５９は、図５６のＳ１５０６における横偽りストローク検出部９５２の動作フローチャートを示している。まず、テキストライン領域内のストロークの平均幅が計算される（Ｓ１５２７）。最初のストロークから始めて（Ｓ１５２８）、ストロークｉの幅が平均ストローク幅の２．５倍より大きければ（Ｓ１５２９）、検出領域Ｒが設定される（Ｓ１５３０）。Ｒの左の境界Ｒ．ｌｅｆｔおよび右の境界Ｒ．ｒｉｇｈｔは、それぞれストロークｉの左の境界Ｓｔｒｏｋｅ（ｉ）．Ｌｅｆｔおよび右の境界Ｓｔｒｏｋｅ（ｉ）．Ｒｉｇｈｔにより決定される。Ｒの上の境界Ｒ．ｔｏｐおよび下の境界Ｒ．ｂｏｔｔｏｍは、それぞれそのテキストライン領域の上の境界ｔｅｘｔｌｉｎｅ．ｔｏｐおよび下の境界ｔｅｘｔｌｉｎｅ．ｂｏｔｔｏｍにより決定される。検出領域Ｒ内のストロークの数が計算され（Ｓ１５３１）、その数が３以下であれば（Ｓ１５３２）、ストロークｉは横偽りストロークとしてマークされる（Ｓ１５３３）。この手順はテキストライン領域内のすべてのストロークがチェックされるまで繰り返される（Ｓ１５３４およびＳ１５３５）。
【００９１】
図６０および６１は、偽りのストロークの例を示している。図６０のストローク１５４１は縦偽りストロークであり、図６１のストローク１５４２は横偽りストロークである。
【００９２】
図６２は、図４０のテキストライン二値化部９０６の動作フローチャートを示している。まず、自動サイズ計算部９６１を用いて、テキストライン領域の高さＨｅｉｇｈｔに基づき、次の３つの条件を満たすような二値化用のウィンドウのサイズｗｈが決定される（Ｓ１６０１）。
ｗｈ＝Ｈｅｉｇｈｔ／３，
ｗｈ＝ｗｈ＋１ ｉｆ ｗｈ ｉｓ ａｎ ｅｖｅｎ ｎｕｍｂｅｒ，
ｗｈ＝５ ｉｆ ｗｈ＜５
その後、ブロック画像二値化部９６２を用いて、そのテキストライン領域が再二値化される（Ｓ１６０２）。ブロック画像二値化部９６２は、Ｎｉｂｌａｃｋ の二値化法のウィンドウサイズをｗｈに設定し、ストローク画像生成部９０２と同様にしてテキストライン領域を再二値化する。
【００９３】
図１のビデオテキスト処理装置、あるいはテキストチェンジフレーム検出装置１０４およびテキスト抽出装置１０５の各々は、例えば、図６３に示すような情報処理装置（コンピュータ）を用いて構成される。図６３の情報処理装置は、ＣＰＵ（中央処理装置）１７０１、メモリ１７０２、入力装置１７０３、出力装置１７０４、外部記憶装置１７０５、媒体駆動装置１７０６、ネットワーク接続装置１７０７、およびビデオ入力装置１７０８を備え、それらはバス１７０９により互いに接続されている。
【００９４】
メモリ１７０２は、例えば、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等を含み、処理に用いられるプログラムおよびデータを格納する。ＣＰＵ１７０１は、メモリ１７０２を利用してプログラムを実行することにより、必要な処理を行う。この場合、図３の３０１から３０３までの各部と図３４の９０１から９０６までの各部は、メモリ１７０２に格納されたプログラムに対応する。
【００９５】
入力装置１７０３は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、ユーザからの指示や情報の入力に用いられる。出力装置１７０４は、例えば、ディスプレイ、プリンタ、スピーカ等であり、ユーザへの問い合わせや処理結果の出力に用いられる。
【００９６】
外部記憶装置１７０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置１７０５に、上記プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１７０２にロードして使用する。外部記憶装置１７０５は、図１の既存のビデオデータ１０１を格納するデータベースとしても用いられる。
【００９７】
媒体駆動装置１７０６は、可搬記録媒体１７１０を駆動し、その記録内容にアクセスする。可搬記録媒体１７１０は、メモリカード、フレキシブルディスク、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｋ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ ）、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。ユーザは、この可搬記録媒体１７１０に上記プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１７０２にロードして使用する。
【００９８】
ネットワーク接続装置１７０７は、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、インターネット等の任意の通信ネットワークに接続され、通信中にデータを変換する。情報処理装置は、上記プログラムおよびデータをネットワーク接続装置１７０７を介して受け取り、必要に応じて、それらをメモリ１７０２にロードして使用する。
【００９９】
ビデオ入力装置１７０８は、例えば、図１のＴＶビデオカメラ１０２であり、生のビデオストリームの入力に用いられる。
図６４は、図６３の情報処理装置にプログラムおよびデータを供給することのできるコンピュータ読み取り可能な記録媒体を示している。可搬記録媒体１７１０やサーバ１８０１のデータベース１８０３に格納されたプログラムおよびデータは、情報処理装置１８０２のメモリ１７０２にロードされる。サーバ１８０１は、そのプログラムおよびデータを搬送する搬送信号を生成し、ネットワーク上の任意の伝送媒体を介して情報処理装置１８０２に送信する。ＣＰＵ１７０１は、そのデータを用いてそのプログラムを実行し、必要な処理を行う。
【０１００】
（付記１） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するテキストチェンジフレーム検出装置であって、
前記与えられたビデオフレームから冗長なビデオフレームを除去する第１のフレーム除去手段と、
前記与えられたビデオフレームからテキスト領域を含まないビデオフレームを除去する第２のフレーム除去手段と、
前記与えられたビデオフレームから画像シフトに起因する冗長なビデオフレームを検出して除去する第３のフレーム除去手段と、
残されたビデオフレームを候補テキストチェンジフレームとして出力する出力手段と
を備えることを特徴とするテキストチェンジフレーム検出装置。
【０１０１】
（付記２） 前記第１のフレーム除去手段は、
前記与えられたビデオフレームのうちの２つのビデオフレーム内の同じ位置にある２つの画像ブロックが、画像コンテンツの変化を示す能力のある有効ブロックペアであるか否かを決定する画像ブロック有効化手段と、
前記有効ブロックペアの２つの画像ブロックの類似度を計算して、該２つの画像ブロックが類似しているか否かを決定する画像ブロック類似度計測手段と、
有効ブロックペアの総数に対する類似画像ブロックの数の比を用いて前記２つのビデオフレームが類似しているか否かを決定するフレーム類似度判定手段とを含み、
前記第１のフレーム除去手段は、類似ビデオフレームを冗長なビデオフレームとして除去することを特徴とする付記１記載のテキストチェンジフレーム検出装置。
【０１０２】
（付記３） 前記第２のフレーム除去手段は、
前記与えられたビデオフレームのうちの１つのビデオフレームの第１の二値画像を生成する高速簡易画像二値化手段と、
前記第１の二値画像の横射影と縦射影を用いてテキストライン領域の位置を決定するテキストライン領域決定手段と、
テキストライン領域毎に第２の二値画像を生成する再二値化手段と、
前記第１の二値画像と第２の二値画像の差と、テキストライン領域内の画素の総数に対する該テキストライン領域内のフォアグランド画素の数の充填率とを用いて、テキストライン領域の有効性を決定するテキストライン確認手段と、
１組の連続するビデオフレーム内の有効テキストライン領域の数を用いて、該１組の連続するビデオフレームがテキスト領域を含まない非テキストフレームであるか否かを確認するテキストフレーム検証手段とを含むことを特徴とする付記１記載のテキストチェンジフレーム検出装置。
【０１０３】
（付記４） 前記第３のフレーム除去手段は、
前記与えられたビデオフレームのうちの２つのビデオフレームの二値画像を生成する高速簡易画像二値化手段と、
前記２つのビデオフレームの二値画像の横射影を用いてテキストライン領域毎の縦位置を決定するテキストライン縦位置決定手段と、
前記横射影の相関を用いて、前記２つのビデオフレームの間における画像シフトの縦オフセットと、該２つのビデオフレームの縦方向の類似度とを決定する縦シフト検出手段と、
前記２つのビデオフレームの二値画像内におけるテキストライン毎の縦射影の相関を用いて、前記画像シフトの横オフセットと、該２つのビデオフレームの横方向の類似度とを決定する横シフト検出手段とを含み、
前記第３のフレーム除去手段は、類似ビデオフレームを前記画像シフトに起因する冗長なビデオフレームとして除去することを特徴とする付記１記載のテキストチェンジフレーム検出装置。
【０１０４】
（付記５） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するテキストチェンジフレーム検出装置であって、
与えられたビデオフレームのうちの２つのビデオフレーム内の同じ位置にある２つの画像ブロックが、画像コンテンツの変化を示す能力のある有効ブロックペアであるか否かを決定する画像ブロック有効化手段と、
前記有効ブロックペアの２つの画像ブロックの類似度を計算して、該２つの画像ブロックが類似しているか否かを決定する画像ブロック類似度計測手段と、
有効ブロックペアの総数に対する類似画像ブロックの数の比を用いて前記２つのビデオフレームが類似しているか否かを決定するフレーム類似度判定手段と、類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する出力手段と
を備えることを特徴とするテキストチェンジフレーム検出装置。
【０１０５】
（付記６） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するテキストチェンジフレーム検出装置であって、
前記与えられたビデオフレームのうちの１つのビデオフレームの第１の二値画像を生成する高速簡易画像二値化手段と、
前記第１の二値画像の横射影と縦射影を用いてテキストライン領域の位置を決定するテキストライン領域決定手段と、
テキストライン領域毎に第２の二値画像を生成する再二値化手段と、
前記第１の二値画像と第２の二値画像の差と、テキストライン領域内の画素の総数に対する該テキストライン領域内のフォアグランド画素の数の充填率とを用いて、テキストライン領域の有効性を決定するテキストライン確認手段と、
１組の連続するビデオフレーム内の有効テキストライン領域の数を用いて、該１組の連続するビデオフレームがテキスト領域を含まない非テキストフレームであるか否かを確認するテキストフレーム検証手段と、
前記非テキストフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する出力手段と
を備えることを特徴とするテキストチェンジフレーム検出装置。
【０１０６】
（付記７） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するテキストチェンジフレーム検出装置であって、
前記与えられたビデオフレームのうちの２つのビデオフレームの二値画像を生成する高速簡易画像二値化手段と、
前記２つのビデオフレームの二値画像の横射影を用いてテキストライン領域毎の縦位置を決定するテキストライン縦位置決定手段と、
前記横射影の相関を用いて、前記２つのビデオフレームの間における画像シフトの縦オフセットと、該２つのビデオフレームの縦方向の類似度とを決定する縦シフト検出手段と、
前記２つのビデオフレームの二値画像内におけるテキストライン毎の縦射影の相関を用いて、前記画像シフトの横オフセットと、該２つのビデオフレームの横方向の類似度とを決定する横シフト検出手段と、
類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する出力手段と
を備えることを特徴とするテキストチェンジフレーム検出装置。
【０１０７】
（付記８） 与えられた画像から少なくとも１つのテキストライン領域を抽出するテキスト抽出装置であって、
前記与えられた画像のエッジ情報を生成するエッジ画像生成手段と、
前記エッジ情報を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成するストローク画像生成手段と、
前記エッジ情報を用いて前記二値画像から偽りのストロークを除去するストロークフィルタ手段と、
複数のストロークを１つのテキストライン領域に統合するテキストライン領域形成手段と、
前記テキストライン領域から偽りの文字ストロークを除去し、該テキストライン領域を改善するテキストライン検証手段と、
前記テキストライン領域の高さを用いて該テキストライン領域を二値化するテキストライン二値化手段と、
前記テキストライン領域の二値画像を出力する出力手段と
を備えることを特徴とするテキスト抽出装置。
【０１０８】
（付記９） 前記エッジ画像生成手段は、
Ｓｏｂｅｌ エッジ検出器を用いて前記与えられた画像内の画素毎のエッジ強度を計算するエッジ強度計算手段と、
画素毎のエッジ強度を所定のエッジしきい値と比較し、該エッジ強度が該しきい値より大きければ、第１のエッジ画像内の対応する画素の値をあるバイナリ値に設定し、該エッジ強度が該しきい値より小さければ、該対応する画素の値を他のバイナリ値に設定することにより、該第１のエッジ画像を生成する第１のエッジ画像生成手段と、
前記第１のエッジ画像内の前記あるバイナリ値を有する各画素の位置を中心とするウィンドウ内の画素毎のエッジ強度を該ウィンドウ内の画素の平均エッジ強度と比較し、該画素のエッジ強度が該平均エッジ強度より大きければ、第２のエッジ画像内の対応する画素の値を該あるバイナリ値に設定し、該画素のエッジ強度が該平均エッジ強度より小さければ、該対応する画素の値を前記他のバイナリ値に設定することにより、該第２のエッジ画像を生成する第２のエッジ画像生成手段とを含むことを特徴とする付記８記載のテキスト抽出装置。
【０１０９】
（付記１０） 前記ストローク画像生成手段は、前記第２のエッジ画像内の前記あるバイナリ値を有する各画素の位置を中心とするウィンドウを用いることにより、Ｎｉｂｌａｃｋ の二値化方法で前記与えられた画像の濃淡画像を二値化して前記候補文字ストロークの二値画像を求める局所画像二値化手段を含むことを特徴とする付記９記載のテキスト抽出装置。
【０１１０】
（付記１１） 前記ストロークフィルタ手段は、
前記第２のエッジ画像内の前記あるバイナリ値を有する画素と前記候補文字ストロークの二値画像内のストロークの輪郭との重複率をチェックし、該重複率が所定のしきい値より大きければ該ストロークを有効ストロークと決定し、該重複率が該所定のしきい値より小さければ該ストロークを無効ストロークと決定して、該無効ストロークを除去するストロークエッジ被覆有効化手段と、
前記ストロークの幅と高さを用いて大きなストロークを除去する大直線検出手段とを含むことを特徴とする付記９記載のテキスト抽出装置。
【０１１１】
（付記１２） 前記テキストライン二値化手段は、
二値化用のウィンドウのサイズを決定する自動サイズ計算手段と、
前記第２のエッジ画像内の前記あるバイナリ値を有する各画素の位置を中心とする前記ウィンドウを用いることにより、Ｎｉｂｌａｃｋ の二値化方法で前記与えられた画像の濃淡画像を二値化するブロック画像二値化手段とを含むことを特徴とする付記９記載のテキスト抽出装置。
【０１１２】
（付記１３） 前記テキストライン領域形成手段は、２つの隣接するストロークの高さの重複率と該２つのストロークの間の距離とを用いて、該２つのストロークが接続可能か否かをチェックするストローク接続チェック手段を含み、該テキストライン領域形成手段は、チェック結果を用いて前記複数のストロークを１つのテキストライン領域に統合することを特徴とする付記８記載のテキスト抽出装置。
【０１１３】
（付記１４） 前記テキストライン検証手段は、
前記テキストライン領域内のストロークの平均高さより高い高さの各ストロークをチェックし、該ストロークが２つの横テキストライン領域を接続して１つの大テキストライン領域を生成していれば、該ストロークを偽りのストロークとしてマークする縦偽りストローク検出手段と、
前記テキストライン領域内のストロークの平均幅により決定されるしきい値より大きな幅の各ストロークをチェックし、該ストロークを含む領域内のストロークの数が所定のしきい値より小さければ、該ストロークを偽りのストロークとしてマークする横偽りストローク検出手段と、
前記テキストライン領域内で偽りのストロークが検出されれば、該テキストライン領域内の該偽りのストローク以外のストロークを再接続するテキストライン改善手段とを含むことを特徴とする付記８記載のテキスト抽出装置。
【０１１４】
（付記１５） 与えられた画像から少なくとも１つのテキストライン領域を抽出するテキスト抽出装置であって、
前記与えられた画像のエッジ画像を生成するエッジ画像生成手段と、
前記エッジ画像を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成するストローク画像生成手段と、
前記エッジ画像内のエッジを表す画素と前記候補文字ストロークの二値画像内のストロークの輪郭との重複率をチェックし、該重複率が所定のしきい値より大きければ該ストロークを有効ストロークと決定し、該重複率が該所定のしきい値より小さければ該ストロークを無効ストロークと決定して、該無効ストロークを除去するストロークフィルタ手段と、
前記候補文字ストロークの二値画像内の残されたストロークの情報を出力する出力手段と
を備えることを特徴とするテキスト抽出装置。
【０１１５】
（付記１６） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムであって、
前記与えられたビデオフレームから冗長なビデオフレームを除去し、
前記与えられたビデオフレームからテキスト領域を含まないビデオフレームを除去し、
前記与えられたビデオフレームから画像シフトに起因する冗長なビデオフレームを検出して除去し、
残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【０１１６】
（付記１７） 前記与えられたビデオフレームのうちの２つのビデオフレーム内の同じ位置にある２つの画像ブロックが、画像コンテンツの変化を示す能力のある有効ブロックペアであるか否かを決定し、
前記有効ブロックペアの２つの画像ブロックの類似度を計算して、該２つの画像ブロックが類似しているか否かを決定し、
有効ブロックペアの総数に対する類似画像ブロックの数の比を用いて前記２つのビデオフレームが類似しているか否かを決定し、
類似ビデオフレームを冗長なビデオフレームとして除去する処理を前記コンピュータに実行させることを特徴とする付記１６記載のプログラム。
【０１１７】
（付記１８） 前記与えられたビデオフレームのうちの１つのビデオフレームの第１の二値画像を生成し、
前記第１の二値画像の横射影と縦射影を用いてテキストライン領域の位置を決定し、
テキストライン領域毎に第２の二値画像を生成し、
前記第１の二値画像と第２の二値画像の差と、テキストライン領域内の画素の総数に対する該テキストライン領域内のフォアグランド画素の数の充填率とを用いて、テキストライン領域の有効性を決定し、
１組の連続するビデオフレーム内の有効テキストライン領域の数を用いて、該１組の連続するビデオフレームがテキスト領域を含まない非テキストフレームであるか否かを確認する処理を前記コンピュータに実行させることを特徴とする付記１６記載のプログラム。
【０１１８】
（付記１９） 前記プログラムは、
前記与えられたビデオフレームのうちの２つのビデオフレームの二値画像を生成し、
前記２つのビデオフレームの二値画像の横射影を用いてテキストライン領域毎の縦位置を決定し、
前記横射影の相関を用いて、前記２つのビデオフレームの間における画像シフトの縦オフセットと、該２つのビデオフレームの縦方向の類似度とを決定し、
前記２つのビデオフレームの二値画像内におけるテキストライン毎の縦射影の相関を用いて、前記画像シフトの横オフセットと、該２つのビデオフレームの横方向の類似度とを決定する処理を前記コンピュータに実行させ、
前記冗長なビデオフレームを検出して除去するステップは、類似ビデオフレームを前記画像シフトに起因する冗長なビデオフレームとして除去することを特徴とする付記１６記載のプログラム。
【０１１９】
（付記２０） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムであって、
与えられたビデオフレームのうちの２つのビデオフレーム内の同じ位置にある２つの画像ブロックが、画像コンテンツの変化を示す能力のある有効ブロックペアであるか否かを決定し、
前記有効ブロックペアの２つの画像ブロックの類似度を計算して、該２つの画像ブロックが類似しているか否かを決定し、
有効ブロックペアの総数に対する類似画像ブロックの数の比を用いて前記２つのビデオフレームが類似しているか否かを決定し、
類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【０１２０】
（付記２１） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムであって、
前記与えられたビデオフレームのうちの１つのビデオフレームの第１の二値画像を生成し、
前記第１の二値画像の横射影と縦射影を用いてテキストライン領域の位置を決定し、
テキストライン領域毎に第２の二値画像を生成し、
前記第１の二値画像と第２の二値画像の差と、テキストライン領域内の画素の総数に対する該テキストライン領域内のフォアグランド画素の数の充填率とを用いて、テキストライン領域の有効性を決定し、
１組の連続するビデオフレーム内の有効テキストライン領域の数を用いて、該１組の連続するビデオフレームがテキスト領域を含まない非テキストフレームであるか否かを確認し、
前記非テキストフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【０１２１】
（付記２２） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムであって、
前記与えられたビデオフレームのうちの２つのビデオフレームの二値画像を生成し、
前記２つのビデオフレームの二値画像の横射影を用いてテキストライン領域毎の縦位置を決定し、
前記横射影の相関を用いて、前記２つのビデオフレームの間における画像シフトの縦オフセットと、該２つのビデオフレームの縦方向の類似度とを決定し、
前記２つのビデオフレームの二値画像内におけるテキストライン毎の縦射影の相関を用いて、前記画像シフトの横オフセットと、該２つのビデオフレームの横方向の類似度とを決定し、
類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【０１２２】
（付記２３） 与えられた画像から少なくとも１つのテキストライン領域を抽出するコンピュータのためのプログラムであって、
前記与えられた画像のエッジ情報を生成し、
前記エッジ情報を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成し、
前記エッジ情報を用いて前記二値画像から偽りのストロークを除去し、
複数のストロークを１つのテキストライン領域に統合し、
前記テキストライン領域から偽りの文字ストロークを除去して、該テキストライン領域を改善し、
前記テキストライン領域の高さを用いて該テキストライン領域を二値化し、
前記テキストライン領域の二値画像を出力する
処理を前記コンピュータに実行させることを特徴とするプログラム。
【０１２３】
（付記２４） Ｓｏｂｅｌ エッジ検出器を用いて前記与えられた画像内の画素毎のエッジ強度を計算し、
画素毎のエッジ強度を所定のエッジしきい値と比較し、該エッジ強度が該しきい値より大きければ、第１のエッジ画像内の対応する画素の値をあるバイナリ値に設定し、該エッジ強度が該しきい値より小さければ、該対応する画素の値を他のバイナリ値に設定することにより、該第１のエッジ画像を生成し、
前記第１のエッジ画像内の前記あるバイナリ値を有する各画素の位置を中心とするウィンドウ内の画素毎のエッジ強度を該ウィンドウ内の画素の平均エッジ強度と比較し、該画素のエッジ強度が該平均エッジ強度より大きければ、第２のエッジ画像内の対応する画素の値を該あるバイナリ値に設定し、該画素のエッジ強度が該平均エッジ強度より小さければ、該対応する画素の値を前記他のバイナリ値に設定することにより、該第２のエッジ画像を生成する処理を前記コンピュータに実行させることを特徴とする付記２３記載のプログラム。
【０１２４】
（付記２５） 前記第２のエッジ画像内の前記あるバイナリ値を有する各画素の位置を中心とするウィンドウを用いることにより、Ｎｉｂｌａｃｋ の二値化方法で前記与えられた画像の濃淡画像を二値化して前記候補文字ストロークの二値画像を求める処理を前記コンピュータに実行させることを特徴とする付記２４記載のプログラム。
【０１２５】
（付記２６） 前記ストロークの幅と高さを用いて大きなストロークを除去し、
前記第２のエッジ画像内の前記あるバイナリ値を有する画素と前記候補文字ストロークの二値画像内のストロークの輪郭との重複率をチェックし、
前記重複率が所定のしきい値より大きければ前記ストロークを有効ストロークと決定し、該重複率が該所定のしきい値より小さければ該ストロークを無効ストロークと決定し、
前記無効ストロークを除去する処理を前記コンピュータに実行させることを特徴とする付記２４記載のプログラム。
【０１２６】
（付記２７） 二値化用のウィンドウのサイズを決定し、
前記第２のエッジ画像内の前記あるバイナリ値を有する各画素の位置を中心とする前記ウィンドウを用いることにより、Ｎｉｂｌａｃｋ の二値化方法で前記与えられた画像の濃淡画像を二値化する処理を前記コンピュータに実行させることを特徴とする付記２４記載のプログラム。
【０１２７】
（付記２８） ２つの隣接するストロークの高さの重複率と該２つのストロークの間の距離とを用いて、該２つのストロークが接続可能か否かをチェックし、チェック結果を用いて前記複数のストロークを１つのテキストライン領域に統合する処理を前記コンピュータに実行させることを特徴とする付記２３記載のプログラム。
【０１２８】
（付記２９） 前記テキストライン領域内のストロークの平均高さより高い高さの各ストロークをチェックし、
前記ストロークが２つの横テキストライン領域を接続して１つの大テキストライン領域を生成していれば、該ストロークを偽りのストロークとしてマークし、
前記テキストライン領域内のストロークの平均幅により決定されるしきい値より大きな幅の各ストロークをチェックし、
前記ストロークを含む領域内のストロークの数が所定のしきい値より小さければ、該ストロークを偽りのストロークとしてマークし、
前記テキストライン領域内で偽りのストロークが検出されれば、該テキストライン領域内の該偽りのストローク以外のストロークを再接続する処理を前記コンピュータに実行させることを特徴とする付記２３記載のプログラム。
【０１２９】
（付記３０） 与えられた画像から少なくとも１つのテキストライン領域を抽出するコンピュータのためのプログラムであって、
前記与えられた画像のエッジ画像を生成し、
前記エッジ画像を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成し、
前記エッジ画像内のエッジを表す画素と前記候補文字ストロークの二値画像内のストロークの輪郭との重複率をチェックし、
前記重複率が所定のしきい値より大きければ該ストロークを有効ストロークと決定し、該重複率が該所定のしきい値より小さければ該ストロークを無効ストロークと決定し、
前記無効ストロークを除去し、
前記候補文字ストロークの二値画像内の残されたストロークの情報を出力する処理を前記コンピュータに実行させることを特徴とするプログラム。
【０１３０】
（付記３１） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
前記与えられたビデオフレームから冗長なビデオフレームを除去し、
前記与えられたビデオフレームからテキスト領域を含まないビデオフレームを除去し、
前記与えられたビデオフレームから画像シフトに起因する冗長なビデオフレームを検出して除去し、
残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【０１３１】
（付記３２） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
与えられたビデオフレームのうちの２つのビデオフレーム内の同じ位置にある２つの画像ブロックが、画像コンテンツの変化を示す能力のある有効ブロックペアであるか否かを決定し、
前記有効ブロックペアの２つの画像ブロックの類似度を計算して、該２つの画像ブロックが類似しているか否かを決定し、
有効ブロックペアの総数に対する類似画像ブロックの数の比を用いて前記２つのビデオフレームが類似しているか否かを決定し、
類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【０１３２】
（付記３３） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
前記与えられたビデオフレームのうちの１つのビデオフレームの第１の二値画像を生成し、
前記第１の二値画像の横射影と縦射影を用いてテキストライン領域の位置を決定し、
テキストライン領域毎に第２の二値画像を生成し、
前記第１の二値画像と第２の二値画像の差と、テキストライン領域内の画素の総数に対する該テキストライン領域内のフォアグランド画素の数の充填率とを用いて、テキストライン領域の有効性を決定し、
１組の連続するビデオフレーム内の有効テキストライン領域の数を用いて、該１組の連続するビデオフレームがテキスト領域を含まない非テキストフレームであるか否かを確認し、
前記非テキストフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【０１３３】
（付記３４） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
前記与えられたビデオフレームのうちの２つのビデオフレームの二値画像を生成し、
前記２つのビデオフレームの二値画像の横射影を用いてテキストライン領域毎の縦位置を決定し、
前記横射影の相関を用いて、前記２つのビデオフレームの間における画像シフトの縦オフセットと、該２つのビデオフレームの縦方向の類似度とを決定し、
前記２つのビデオフレームの二値画像内におけるテキストライン毎の縦射影の相関を用いて、前記画像シフトの横オフセットと、該２つのビデオフレームの横方向の類似度とを決定し、
類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【０１３４】
（付記３５） 与えられた画像から少なくとも１つのテキストライン領域を抽出するコンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
前記与えられた画像のエッジ情報を生成し、
前記エッジ情報を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成し、
前記エッジ情報を用いて前記二値画像から偽りのストロークを除去し、
複数のストロークを１つのテキストライン領域に統合し、
前記テキストライン領域から偽りの文字ストロークを除去して、該テキストライン領域を改善し、
前記テキストライン領域の高さを用いて該テキストライン領域を二値化し、
前記テキストライン領域の二値画像を出力する
処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【０１３５】
（付記３６） 与えられた画像から少なくとも１つのテキストライン領域を抽出するコンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
前記与えられた画像のエッジ画像を生成し、
前記エッジ画像を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成し、
前記エッジ画像内のエッジを表す画素と前記候補文字ストロークの二値画像内のストロークの輪郭との重複率をチェックし、
前記重複率が所定のしきい値より大きければ該ストロークを有効ストロークと決定し、該重複率が該所定のしきい値より小さければ該ストロークを無効ストロークと決定し、
前記無効ストロークを除去し、
前記候補文字ストロークの二値画像内の残されたストロークの情報を出力する処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【０１３６】
（付記３７） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータにプログラムを搬送する搬送信号であって、該プログラムは、
前記与えられたビデオフレームから冗長なビデオフレームを除去し、
前記与えられたビデオフレームからテキスト領域を含まないビデオフレームを除去し、
前記与えられたビデオフレームから画像シフトに起因する冗長なビデオフレームを検出して除去し、
残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とする搬送信号。
【０１３７】
（付記３８） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータにプログラムを搬送する搬送信号であって、該プログラムは、
与えられたビデオフレームのうちの２つのビデオフレーム内の同じ位置にある２つの画像ブロックが、画像コンテンツの変化を示す能力のある有効ブロックペアであるか否かを決定し、
前記有効ブロックペアの２つの画像ブロックの類似度を計算して、該２つの画像ブロックが類似しているか否かを決定し、
有効ブロックペアの総数に対する類似画像ブロックの数の比を用いて前記２つのビデオフレームが類似しているか否かを決定し、
類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とする搬送信号。
【０１３８】
（付記３９） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータにプログラムを搬送する搬送信号であって、該プログラムは、
前記与えられたビデオフレームのうちの１つのビデオフレームの第１の二値画像を生成し、
前記第１の二値画像の横射影と縦射影を用いてテキストライン領域の位置を決定し、
テキストライン領域毎に第２の二値画像を生成し、
前記第１の二値画像と第２の二値画像の差と、テキストライン領域内の画素の総数に対する該テキストライン領域内のフォアグランド画素の数の充填率とを用いて、テキストライン領域の有効性を決定し、
１組の連続するビデオフレーム内の有効テキストライン領域の数を用いて、該１組の連続するビデオフレームがテキスト領域を含まない非テキストフレームであるか否かを確認し、
前記非テキストフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とする搬送信号。
【０１３９】
（付記４０） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータにプログラムを搬送する搬送信号であって、該プログラムは、
前記与えられたビデオフレームのうちの２つのビデオフレームの二値画像を生成し、
前記２つのビデオフレームの二値画像の横射影を用いてテキストライン領域毎の縦位置を決定し、
前記横射影の相関を用いて、前記２つのビデオフレームの間における画像シフトの縦オフセットと、該２つのビデオフレームの縦方向の類似度とを決定し、
前記２つのビデオフレームの二値画像内におけるテキストライン毎の縦射影の相関を用いて、前記画像シフトの横オフセットと、該２つのビデオフレームの横方向の類似度とを決定し、
類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
処理を前記コンピュータに実行させることを特徴とする搬送信号。
【０１４０】
（付記４１） 与えられた画像から少なくとも１つのテキストライン領域を抽出するコンピュータにプログラムを搬送する搬送信号であって、該プログラムは、
前記与えられた画像のエッジ情報を生成し、
前記エッジ情報を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成し、
前記エッジ情報を用いて前記二値画像から偽りのストロークを除去し、
複数のストロークを１つのテキストライン領域に統合し、
前記テキストライン領域から偽りの文字ストロークを除去して、該テキストライン領域を改善し、
前記テキストライン領域の高さを用いて該テキストライン領域を二値化し、
前記テキストライン領域の二値画像を出力する
処理を前記コンピュータに実行させることを特徴とする搬送信号。
【０１４１】
（付記４２） 与えられた画像から少なくとも１つのテキストライン領域を抽出するコンピュータにプログラムを搬送する搬送信号であって、該プログラムは、
前記与えられた画像のエッジ画像を生成し、
前記エッジ画像を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成し、
前記エッジ画像内のエッジを表す画素と前記候補文字ストロークの二値画像内のストロークの輪郭との重複率をチェックし、
前記重複率が所定のしきい値より大きければ該ストロークを有効ストロークと決定し、該重複率が該所定のしきい値より小さければ該ストロークを無効ストロークと決定し、
前記無効ストロークを除去し、
前記候補文字ストロークの二値画像内の残されたストロークの情報を出力する処理を前記コンピュータに実行させることを特徴とする搬送信号。
【０１４２】
（付記４３） 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するテキストチェンジフレーム検出方法であって、
前記与えられたビデオフレームから冗長なビデオフレームを除去し、
前記与えられたビデオフレームからテキスト領域を含まないビデオフレームを除去し、
前記与えられたビデオフレームから画像シフトに起因する冗長なビデオフレームを検出して除去し、
残されたビデオフレームを候補テキストチェンジフレームとして提示する
ことを特徴とするテキストチェンジフレーム検出方法。
【０１４３】
（付記４４） 与えられた画像から少なくとも１つのテキストライン領域を抽出するテキスト抽出方法であって、
前記与えられた画像のエッジ情報を生成し、
前記エッジ情報を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成し、
前記エッジ情報を用いて前記二値画像から偽りのストロークを除去し、
複数のストロークを１つのテキストライン領域に統合し、
前記テキストライン領域から偽りの文字ストロークを除去して、該テキストライン領域を改善し、
前記テキストライン領域の高さを用いて該テキストライン領域を二値化し、
前記テキストライン領域の二値画像を提示する
ことを特徴とするテキスト抽出方法。
【０１４４】
【発明の効果】
本発明によれば、テキスト領域を含んでいないビデオフレームとともに、重複しているビデオフレームおよびシフトしているビデオフレームを、与えられたビデオフレームから非常に高速に除去することができる。さらに、できるだけ多くの偽りのストロークが検出されて除去されるので、ビデオフレーム内のテキストライン領域を正確に二値化することができる。
【図面の簡単な説明】
【図１】本発明のビデオテキスト処理装置の構成を示す図である。
【図２】ビデオテキスト処理装置の処理フローチャートである。
【図３】本発明のテキストチェンジフレーム検出装置の構成を示すブロック図である。
【図４】フレーム類似度計測部の構成を示す図である。
【図５】テキストフレーム検出検証部の構成を示す図である。
【図６】画像シフト検出部の構成を示す図である。
【図７】テキストコンテンツを有する第１のフレームを示す図である。
【図８】テキストコンテンツを有する第２のフレームを示す図である。
【図９】フレーム類似度計測部の処理結果を示す図である。
【図１０】フレーム類似度計測部の動作フローチャートである。
【図１１】２つのフレームの類似度の決定のフローチャートである。
【図１２】画像ブロック有効化部の動作フローチャートである。
【図１３】画像ブロック類似度計測部の動作フローチャートである。
【図１４】テキストフレーム検出検証のための元のビデオフレームを示す図である。
【図１５】高速簡易画像二値化の結果の第１の二値画像を示す図である。
【図１６】横射影の結果を示す図である。
【図１７】射影正則化の結果を示す図である。
【図１８】候補テキストライン毎の縦二値射影の結果を示す図である。
【図１９】テキストライン領域決定の結果を示す図である。
【図２０】２つの候補テキストラインに対する２組の二値画像を示す図である。
【図２１】検出されたテキストライン領域を示す図である。
【図２２】テキストフレーム検出検証部の動作フローチャート（その１）である。
【図２３】テキストフレーム検出検証部の動作フローチャート（その２）である。
【図２４】高速簡易二値化部の動作フローチャートである。
【図２５】Ｎｉｂｌａｃｋ の画像二値化法のフローチャートである。
【図２６】テキストライン領域決定部の動作フローチャートである。
【図２７】横画像射影のフローチャートである。
【図２８】射影平滑化のフローチャートである。
【図２９】射影正則化のフローチャートである。
【図３０】射影のｍａｘおよびｍｉｎの例を示す図である。
【図３１】テキストライン確認部の動作フローチャートである。
【図３２】画像シフト検出部の動作フローチャート（その１）である。
【図３３】画像シフト検出部の動作フローチャート（その２）である。
【図３４】本発明のテキスト抽出装置の構成を示す図である。
【図３５】エッジ画像生成部の構成を示す図である。
【図３６】ストローク画像生成部の構成を示す図である。
【図３７】ストロークフィルタ部の構成を示す図である。
【図３８】テキストライン領域形成部の構成を示す図である。
【図３９】テキストライン検証部の構成を示す図である。
【図４０】テキストライン二値化部の構成を示す図である。
【図４１】テキスト抽出のための元のビデオフレームを示す図である。
【図４２】エッジ画像生成の結果を示す図である。
【図４３】ストローク生成の結果を示す図である。
【図４４】ストロークフィルタリングの結果を示す図である。
【図４５】テキストライン領域形成の結果を示す図である。
【図４６】最終二値化テキストライン領域を示す図である。
【図４７】エッジ画像生成部の動作フローチャート（その１）である。
【図４８】エッジ画像生成部の動作フローチャート（その２）である。
【図４９】画素ｉの近傍の配置を示す図である。
【図５０】エッジ強度計算部の動作フローチャートである。
【図５１】ストローク画像生成部の動作フローチャートである。
【図５２】ストロークフィルタ部の動作フローチャートである。
【図５３】ストロークエッジ被覆有効化部の動作フローチャートである。
【図５４】テキストライン領域形成部の動作フローチャートである。
【図５５】ストローク接続チェック部の動作フローチャートである。
【図５６】テキストライン検証部の動作フローチャートである。
【図５７】縦偽りストローク検出部の動作フローチャートである。
【図５８】マルチテキストライン検出のフローチャートである。
【図５９】横偽りストローク検出部の動作フローチャートである。
【図６０】第１の偽りストロークを示す図である。
【図６１】第２の偽りストロークを示す図である。
【図６２】テキストライン二値化部の動作フローチャートである。
【図６３】情報処理装置の構成を示す図である。
【図６４】記録媒体を示す図である。
【符号の説明】
１０１ ビデオデータ
１０２ ＴＶビデオカメラ
１０３ ビデオ分解部
１０４ テキストチェンジフレーム検出装置
１０５ テキスト抽出装置
１０６、１８０３ データベース
３０１ フレーム類似度計測部
３０２ テキストフレーム検出検証部
３０３ 画像シフト検出部
３１１ 画像ブロック有効化部
３１２ 画像ブロック類似度計測部
３１３ フレーム類似度判定部
３２１、３３１ 高速簡易画像二値化部
３２２ テキストライン領域決定部
３２３ 再二値化部
３２４ テキストライン確認部
３２５ テキストフレーム検証部
３３２ テキストライン縦位置決定部
３３３ 縦シフト検出部
３３４ 横シフト検出部
９０１ エッジ画像生成部
９０２ ストローク画像生成部
９０３ ストロークフィルタ部
９０４ テキストライン領域形成部
９０５ テキストライン検証部
９０６ テキストライン二値化部
９１１ エッジ強度計算部
９１２ 第１のエッジ画像生成部
９１３ 第２のエッジ画像生成部
９２１ 局所画像二値化部
９３１ ストロークエッジ被覆有効化部
９３２ 大直線検出部
９４１ ストローク接続チェック部
９５１ 縦偽りストローク検出部
９５２ 横偽りストローク検出部
９５３ テキストライン改善部
９６１ 自動サイズ計算部
９６２ 画像ブロック二値化部
１５４１、１５４２ 偽りストローク
１７０１ ＣＰＵ
１７０２ メモリ
１７０３ 入力装置
１７０４ 出力装置
１７０５ 外部記憶装置
１７０６ 媒体駆動装置
１７０７ ネットワーク接続装置
１７０８ ビデオ入力装置
１７０９ バス
１７１０ 可搬記録媒体
１８０１ サーバ
１８０２ 情報処理装置

Claims (8)

1. 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するテキストチェンジフレーム検出装置であって、
   前記与えられたビデオフレームから冗長なビデオフレームを除去する第１のフレーム除去手段と、
   前記与えられたビデオフレームからテキスト領域を含まないビデオフレームを除去する第２のフレーム除去手段と、
   前記与えられたビデオフレームから画像シフトに起因する冗長なビデオフレームを検出して除去する第３のフレーム除去手段と、
   残されたビデオフレームを候補テキストチェンジフレームとして出力する出力手段と
   を備えることを特徴とするテキストチェンジフレーム検出装置。
2. 与えられた画像から少なくとも１つのテキストライン領域を抽出するテキスト抽出装置であって、
   前記与えられた画像のエッジ情報を生成するエッジ画像生成手段と、
   前記エッジ情報を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成するストローク画像生成手段と、
   前記エッジ情報を用いて前記二値画像から偽りのストロークを除去するストロークフィルタ手段と、
   複数のストロークを１つのテキストライン領域に統合するテキストライン領域形成手段と、
   前記テキストライン領域から偽りの文字ストロークを除去し、該テキストライン領域を改善するテキストライン検証手段と、
   前記テキストライン領域の高さを用いて該テキストライン領域を二値化するテキストライン二値化手段と、
   前記テキストライン領域の二値画像を出力する出力手段と
   を備えることを特徴とするテキスト抽出装置。
3. 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムであって、
   前記与えられたビデオフレームから冗長なビデオフレームを除去し、
   前記与えられたビデオフレームからテキスト領域を含まないビデオフレームを除去し、
   前記与えられたビデオフレームから画像シフトに起因する冗長なビデオフレームを検出して除去し、
   残されたビデオフレームを候補テキストチェンジフレームとして出力する
   処理を前記コンピュータに実行させることを特徴とするプログラム。
4. 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムであって、
   与えられたビデオフレームのうちの２つのビデオフレーム内の同じ位置にある２つの画像ブロックが、画像コンテンツの変化を示す能力のある有効ブロックペアであるか否かを決定し、
   前記有効ブロックペアの２つの画像ブロックの類似度を計算して、該２つの画像ブロックが類似しているか否かを決定し、
   有効ブロックペアの総数に対する類似画像ブロックの数の比を用いて前記２つのビデオフレームが類似しているか否かを決定し、
   類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
   処理を前記コンピュータに実行させることを特徴とするプログラム。
5. 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムであって、
   前記与えられたビデオフレームのうちの１つのビデオフレームの第１の二値画像を生成し、
   前記第１の二値画像の横射影と縦射影を用いてテキストライン領域の位置を決定し、
   テキストライン領域毎に第２の二値画像を生成し、
   前記第１の二値画像と第２の二値画像の差と、テキストライン領域内の画素の総数に対する該テキストライン領域内のフォアグランド画素の数の充填率とを用いて、テキストライン領域の有効性を決定し、
   １組の連続するビデオフレーム内の有効テキストライン領域の数を用いて、該１組の連続するビデオフレームがテキスト領域を含まない非テキストフレームであるか否かを確認し、
   前記非テキストフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
   処理を前記コンピュータに実行させることを特徴とするプログラム。
6. 与えられたビデオフレームからテキストコンテンツを含む複数のビデオフレームを選択するコンピュータのためのプログラムであって、
   前記与えられたビデオフレームのうちの２つのビデオフレームの二値画像を生成し、
   前記２つのビデオフレームの二値画像の横射影を用いてテキストライン領域毎の縦位置を決定し、
   前記横射影の相関を用いて、前記２つのビデオフレームの間における画像シフトの縦オフセットと、該２つのビデオフレームの縦方向の類似度とを決定し、
   前記２つのビデオフレームの二値画像内におけるテキストライン毎の縦射影の相関を用いて、前記画像シフトの横オフセットと、該２つのビデオフレームの横方向の類似度とを決定し、
   類似ビデオフレームを除去した後に残されたビデオフレームを候補テキストチェンジフレームとして出力する
   処理を前記コンピュータに実行させることを特徴とするプログラム。
7. 与えられた画像から少なくとも１つのテキストライン領域を抽出するコンピュータのためのプログラムであって、
   前記与えられた画像のエッジ情報を生成し、
   前記エッジ情報を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成し、
   前記エッジ情報を用いて前記二値画像から偽りのストロークを除去し、
   複数のストロークを１つのテキストライン領域に統合し、
   前記テキストライン領域から偽りの文字ストロークを除去して、該テキストライン領域を改善し、
   前記テキストライン領域の高さを用いて該テキストライン領域を二値化し、
   前記テキストライン領域の二値画像を出力する
   処理を前記コンピュータに実行させることを特徴とするプログラム。
8. 与えられた画像から少なくとも１つのテキストライン領域を抽出するコンピュータのためのプログラムであって、
   前記与えられた画像のエッジ画像を生成し、
   前記エッジ画像を用いて前記与えられた画像内の候補文字ストロークの二値画像を生成し、
   前記エッジ画像内のエッジを表す画素と前記候補文字ストロークの二値画像内のストロークの輪郭との重複率をチェックし、
   前記重複率が所定のしきい値より大きければ該ストロークを有効ストロークと決定し、該重複率が該所定のしきい値より小さければ該ストロークを無効ストロークと決定し、
   前記無効ストロークを除去し、
   前記候補文字ストロークの二値画像内の残されたストロークの情報を出力する処理を前記コンピュータに実行させることを特徴とするプログラム。

Images