JP2004094967A - 文字領域判定方法および装置および記録媒体 - Google Patents

Abstract

　【課題】　文字を含む画像中の文字領域の判別精度を向上させる文字領域判別方法および装置を提供する。
　【解決手段】　カラー画像入力記憶部１は、文字が含まれるカラー画像データを入力してメモリに記憶する。画像領域分割部２は、入力され記憶されたカラー画像を予め決めた方法を用いて連結画素領域に分割する。高コントラスト領域判定部３は、分割領域の領域境界部からエッジを検出し、周囲長とエッジ画素の比が閾値以上の領域を、文字を含んでいる可能性が高い高コントラスト領域として残し、それ以外の領域を低コントラスト領域として捨てる処理を行うことで、高精度に文字領域を判別する。これにより得られた文字領域画像を、文字領域画像蓄積部４に蓄積する。
　【選択図】　図１

Description

　本発明は、例えば、テレビ放送の映像等のカラー動画像を構成する複数のフレーム画像において、テレビ放送映像中のテロップ文字等の文字が表示されているフレーム画像の中から文字部分を画素連結領域として抽出する文字領域判定技術に関するものである。

　カラー動画像を構成する複数のフレーム画像の中の文字が表示されているフレーム画像、あるいは文字が表示されている静止カラー画像から文字部分を画素連結領域として抽出する文字領域判定技術に関しては、従来から多くの研究が行われている。

　非特許文献１で提案されている方法（以下、従来手法［１］と記す）は、最初に入力されたカラー画像を色空間の分割処理により、連結画素領域に分割し、その後、得られた領域に対し、文字領域かどうかの判別を行っている。従来手法［１］では、図６左に示すように、面積値が一定値以下の領域、画像の枠に接しない領域、および一定時間位置が変わらない領域を文字領域として判定している。
桑野、倉掛、小高："映像データ検索のためのテロップ文字抽出法"、信学技報、ＰＲＭＵ９６−９８、ｐｐ．３９−４６、（１９９６−１１）

　しかしながら、前記の従来手法［１］は、図６右に示すように、領域分割処理後の文字領域判定処理において、文字と同程度の面積を持ち、画像の枠に触れておらず、且つ一定時間位置が変わらない文字以外の領域を残留させてしまう問題がある。

　そこで、本発明は、例えば映像中において、文字と同程度の面積を持ち、画像の枠に触れておらず、且つ一定時間位置が変わらない文字以外の領域を削除することで、文字を含む画像中の文字領域の判別精度を向上させる文字領域判別方法および装置を提供することを課題とする。

　前記の課題を解決するために、本発明による文字領域抽出方法は、文字が表示されている画像を入力して原画像として記憶する第１の段階と、該第１の段階で入力され記憶された原画像を予め決めた方法を用いて、連結画素領域に分割し、領域分割画像を得る第２の段階と、該第２の段階で得られた領域分割画像中の各領域に対し、領域の境界に接する画素の輝度値を用いて領域境界部における領域の内側と領域の外側の明暗の差を表すコントラスト特徴を計算し、コントラスト特徴が予め設定した値より大きい領域を文字領域として該領域分割画像中に残し、そうでない領域を該領域分割画像中から削除する第3の段階と、該第３の段階で得られた文字領域として判定された全ての連結画素領域を含む文字領域画像を蓄積する第４の段階とを、有することを特徴とする。

　さらには、以上の文字領域判定方法における段階をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。

　同じく前記の課題を解決するために、本発明による文字領域判定装置は、文字が表示されている画像を入力して原画像として記憶する画像入力記憶手段と、該画像入力記憶手段により入力され記憶された原画像を予め決めた方法を用いて、連結画素領域に分割し、領域分割画像を得る画像領域分割手段と、該画像領域分割手段により得られた領域分割画像中の各領域に対し、領域の境界に接する画素の輝度値を用いて領域境界部における領域の内側と領域の外側の明暗の差を表すコントラスト特徴を計算し、コントラスト特徴が予め設定した値より大きい領域を文字領域として該領域分割画像中に残し、そうでない領域を該領域分割画像中から削除する高コントラスト領域判定手段と、該高コントラスト領域判定手段により得られた文字領域として判定された全ての連結画素領域を含む文字領域画像を蓄積する文字領域画像蓄積手段と、該画像入力記憶手段、該画像領域分割手段、該高コントラスト領域判定手段および文字領域画像蓄積手段の実行順序を制御する制御手段とを、具備することを特徴とする。

　一般に映像中に表示される文字は周囲との輝度値コントラストが高い場合が多いという特徴を持つ。従来手法［１］では、領域の周囲の輝度コントラストは評価していないため、文字と同程度の面積を持ち、画像の枠に触れず、且つ一定時間位置が変わらない文字以外の領域のうち境界部の輝度コントラストが低い一般物体の領域も残留させてしまう。

　そこで、本発明では、領域分割後に各領域の境界部における輝度値のコントラスト特徴を計算し、コントラストの高い領域だけを残留させることで、文字領域の判別精度を向上させることを可能とする。

　以上の説明のとおり、本発明によれば、本発明では、領域分割後に各領域の境界部における輝度値のコントラスト特徴を計算し、コントラストの高い領域だけを残留させることで、文字領域の判別精度を向上させる効果が得られる。

　以下、図面を参照して本発明の実施形態例を詳細に説明する。

　図１は、本発明の一実施形態例による装置の構成とともに処理の流れを示すブロック図である。

　図１において、１はカラー画像入力記憶部であり、文字が表示されているカラー画像等の画像データを入力してメモリに記憶する。

　２は画像領域分割部であり、カラー画像入力記憶部１で入力され記憶されたカラー画像等の原画像を予め決めた方法（例えば、従来手法［１］で提案されている方法等）を用いて、連結画素領域に分割する。

　３は高コントラスト領域判定部であり、画像領域分割部２で得られた領域分割画像中の各領域に対し、領域境界部における輝度値のコントラスト特徴を計算し、コントラスト特徴が予め設定した値より大きい領域を文字領域として判別する。

　４は文字領域画像蓄積部であり、高コントラスト領域判定部により得られた文字領域画像を蓄積する。

　５は処理制御部であり、上記１〜４の各部の実行順序を制御する。

　図２は、図１中の高コントラスト領域判定部３の構成の一例とともに処理の流れの一例を示すブロック図である。

　図２において、６はエッジ検出部であり、カラー原画像等に対し予め決めた方法（例えば、Ｒｏｂｉｎｓｏｎのエッジ検出用オペレータを用いて行う等）を用いて画像中のエッジ画素を検出する。

　７は領域周囲長計算部であり、領域分割画像中の各領域の内側の境界画素の個数を計算する。

　８は領域境界エッジ計算部であり、領域分割画像中の各領域の内側の境界画素のうちエッジ検出部６により得られたエッジ画素の個数を計算する。

　９は領域周囲長／エッジ比計算部であり、領域周囲長計算部７により得られた各領域の内側の境界画素の個数と領域境界エッジ計算部８により得られた各領域の内側の境界画素のうちのエッジ画素の個数の比を計算する。

　１０は文字領域判定部であり、領域周囲長／エッジ比計算部９により得られた領域の内側境界における全周囲長とエッジ画素の個数の比が予め設定した値より大きい場合は該領域を文字領域として判別し該領域分割画像中に残し、そうでない場合は、該領域を背景ノイズ領域として該領域分割画像中から削除する。

　１１は、上記６〜１０の各部の実行順序を制御する処理制御部である。この処理制御部１１は、図１の処理制御部５が兼ねる構成であってもよい。

　図３は、図２中の高コントラスト領域判定部３の処理の実施形態を説明するためのフローチャートである。

　図３において、ステップ（３１）は、カラー原画像と領域分割画像をメモリ中に読み込む過程である。

　ステップ（３２）は、原画像に対し、予め決められた方法（例えばＲｏｂｉｎｓｏｎのエッジ検出用オペレータを用いて行う等）を用いてエッジ画素の検出を行う過程である。

　ステップ（３３）は、領域分割画像中の領域数用の変数ｎを１に初期化する過程である。

　ステップ（３４）は、変数ｎと領域分割画像中の領域の総数Ｎを比較し、ｎの値がＮ以下の場合はステップ（３５）に移り、ｎの値がＮより大きい場合は処理を終了する過程である。

　ステップ（３５）は、領域分割画像中のｎ番目の領域について、領域の内側境界の画素の個数Ｐ（ｎ）を計算する過程である。

　ステップ（３６）は、ステップ（３５）により得られたｎ番目の領域の内側境界画素のうち、ステップ（３２）により得られたエッジ画素の個数Ｑ（ｎ）を計算する過程である。

　ステップ（３７）は、ステップ（３５）およびステップ（３６）により求めたＰ（ｎ）とＱ（ｎ）の比を計算し、得られた値が予め設定した値以上の場合、ステップ（３８）に移り、そうでなければステップ（３９）へ移る過程である。

　ステップ（３８）は、Ｐ（ｎ）とＱ（ｎ）の比が予め設定した値以上の場合、領域分割画像中のｎ番目の領域を文字領域として判断し、該領域分割画像中に残す過程である。

　ステップ（３９）は、Ｐ（ｎ）とＱ（ｎ）の比が予め設定した値より小さい場合、領域分割画像中のｎ番目の領域を背景ノイズ領域として判断し、該領域分割画像中から削除する過程である。

　ステップ（４０）は、変数ｎを１だけインクリメントした後、ステップ（３４）へ戻る過程である。

　図４は、本発明による効果を示す図である。本発明の主要な特徴点は、文字が含まれる映像等の原画像から、文字領域を抽出する処理において、原画像を領域分割し、領域境界部からエッジを検出して（図４−（ａ））、周囲長とエッジ画素の比が閾値以上である領域を、文字を含んでいる可能性が高い高コントラスト領域として残し、それ以外の領域を低コントラスト領域として捨てる処理を行うことにより、文字以外の領域（例えば、低コントラストの静止画領域）を削除し文字領域だけを高精度で残すことを可能とする（図４−（ｂ））ものである。これによって、文字認識の精度を向上させることが可能となる。このような特徴的な構成が図２の６〜１０の各部での処理であり、その処理の詳細が、図３のステップ（３５）〜（３９）での処理である。

　上記の実施形態例では、原画像としてカラー画像に適用した場合を例に説明したが、本発明は、（１）入力が二値化されている画像の場合、（２）二値化されていない普通の画像の場合のどちらの場合においても適用可能なものである。

　本発明がもっとも効果を奏するのは、図５に示すように、前処理として「文字領域抽出処理」を行った後に本発明の「文字領域判定処理」を行い、その後、さらに文字認識処理を行う構成においてである。

　なお、図１、図２で示した手段の一部もしくは全部を、コンピュータを用いて機能させることができること、あるいは、図１、図２、図３で示した処理のステップ（段階）をコンピュータで実行させることができることは言うまでもなく、コンピュータをその手段として機能させるためのプログラム、あるいは、コンピュータでその処理のステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピー（登録商標）ディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して提供し、配布することが可能である。

本発明の一実施形態例による文字領域判定装置の構成とともに処理の流れを示すブロック図である。 上記実施形態例における高コントラスト領域判定部の構成の一例とともに処理の流れの一例を示すブロック図である。 図１中の高コントラスト領域判定部３の処理実施の一例を示すフローチャートである。 （ａ），（ｂ）は、本発明の実施形態例による文字領域判定結果の一例を示す図である。 本発明の効果が最もよく発揮される適用例を説明する図である。 従来手法［１］による文字領域判別結果の一例を示す図である。

符号の説明

　１…カラー画像入力記憶部
　２…画像領域分割部
　３…高コントラスト領域判定部
　４…文字領域画像蓄積部
　５…処理制御部
　６…エッジ検出部
　７…領域周囲長計算部
　８…領域境界エッジ計算部
　９…領域周囲長／エッジ比計算部
　１０…文字領域判定部
　１１…処理制御部

Claims (3)

1. 文字が表示されている画像を入力して原画像として記憶する第1の段階と、
   該第1の段階で入力され記憶された原画像を予め決めた方法を用いて、連結画素領域に分割し、領域分割画像を得る第2の段階と、
   該第2の段階で得られた領域分割画像中の各領域に対し、領域の境界に接する画素の輝度値を用いて領域境界部における領域の内側と領域の外側の明暗の差を表すコントラスト特徴を計算し、コントラスト特徴が予め設定した値より大きい領域を文字領域として該領域分割画像中に残し、そうでない領域を該領域分割画像中から削除する第3の段階と、
   該第3の段階で得られた文字領域として判定された全ての連結画素領域を含む文字領域画像を蓄積する第4の段階と、
   を有することを特徴とする文字領域判定方法
2. 文字が表示されている画像を入力して原画像として記憶する画像入力記憶手段と、
   該画像入力記憶手段により入力され記憶された原画像を予め決めた方法を用いて、連結画素領域に分割し、領域分割画像を得る画像領域分割手段と、
   該画像領域分割手段により得られた領域分割画像中の各領域に対し、領域の境界に接する画素の輝度値を用いて領域境界部における領域の内側と領域の外側の明暗の差を表すコントラスト特徴を計算し、コントラスト特徴が予め設定した値より大きい領域を文字領域として該領域分割画像中に残し、そうでない領域を該領域分割画像中から削除する高コントラスト領域判定手段と、
   該高コントラスト領域判定手段により得られた文字領域として判定された全ての連結画素領域を含む文字領域画像を蓄積する文字領域画像蓄積手段と、
   該画像入力記憶手段、該画像領域分割手段、該高コントラスト領域判定手段および文字領域画像蓄積手段の実行順を制御する制御手段と、
   を具備することを特徴とする文字領域判定装置
3. 　請求項1記載の文字領域判定方法における段階をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体

Images