JP2001076094A - 文字列情報抽出装置及び方法及びその方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 文字列周囲の背景中のコントラストやノイズ
の影響を抑制し、文字列の高さ・幅情報を正確に抽出で
きる文字列情報抽出装置、方法を提供する。 【解決手段】 文字を含む画像に対し、文字輪郭線検出
部２により輝度値が急変する文字輪郭線画素を検出し、
文字領域抽出部３により局所的に均一な輝度で連結する
複数画素を文字領域として抽出し、文字列矩形抽出部４
により文字列矩形抽出法等を用いて文字列を囲む矩形画
像を抽出する。文字列情報抽出部５は、この矩形画像の
中で水平方向、垂直方向の各ライン毎に、上記文字輪郭
画素の検出個数と抽出文字領域の個数を求め、両方が高
い値を取る場合にそのラインを文字列ラインとし、上記
矩形画像中で水平方向の最も上の文字列ラインと最も下
の文字列ライン、及び垂直方向の最も左の文字列ライン
と最も右の文字列ラインに囲まれる矩形を新たな文字列
矩形として抽出し、結果出力部６へ出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字列情報抽出技
術に関し、特に画像処理、パターン認識の技術を利用し
て、画像中に存在する文字列の表示位置、高さ、幅の検
出に適用して有効な技術に関するものである。

【０００２】

【従来の技術】画像中の文字列の位置情報を検出する技
術に関しては、従来、下記の文献［１］，［２］，
［３］等で提案されている。

【０００３】［１］Ｙ．Ａｒｉｋｉ ａｎｄ Ｔ．Ｔｅ
ｒａｎｉｓｈｉ，“Ｉｎｄｅｘｉｎｇ ａｎｄ Ｃｌａ
ｓｓｉｆｉｃａｔｉｏｎ ｏｆ ＴＶ ＮｅｗｓＡｒｔ
ｉｃｌｅｓ Ｂａｓｅｄ ｏｎ Ｔｅｌｏｐ Ｒｅｃｏ
ｇｎｉｔｉｏｎ”，Ｐｒｏｃ．ｏｆ ４ｔｈ ＩＣＤＡ
Ｒ，ｐｐ．４２２−４２７，１９９７。

【０００４】［２］Ｙｕ Ｚｈｏｎｇ，Ｋａｌｌｅ Ｋ
ａｒｕ，ａｎｄ Ａｎｌｉ Ｋ．Ｊａｉｎ、“Ｌｏｃａ
ｔｉｎｇ Ｔｅｘｔ ｉｎ Ｃｏｍｐｌｅｘ Ｃｏｌｏ
ｒＩｍａｇｅｓ”，Ｐｒｏｃ．ｏｆ ３ｒｄ ＩＣＤＡ
Ｒ，ｐｐ．１４６−１４９，１９９５。

【０００５】［３］Ｓ．Ｋｕｒａｋａｋｅ，Ｈ．Ｋｕｗ
ａｎｏ，ａｎｄ Ｋ．Ｏｄａｋａ、“Ｒｅｃｏｇｎｉｔ
ｉｏｎ ａｎｄ Ｖｉｓｕａｌ Ｆｅａｔｕｒｅ Ｍａ
ｔｃｈｉｎｇ ｏｆ Ｔｅｘｔ Ｒｅｇｉｏｎ ｉｎ
Ｖｉｄｅｏ ｆｏｒ Ｃｏｎｃｅｐｔｕａｌ Ｉｎｄｅ
ｘｉｎｇ”，Ｐｒｏｃ．ｏｆ ＳＰＩＥ Ｓｔｏｒａｇ
ｅ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｆｏｒ Ｉｍａｇｅ
Ｖｉｄｅｏ Ｄａｔａｂａｓｅ Ｖ，ｖｏｌ．３０２
２，ｐｐ．３６８−３７９，１９９７。

【０００６】文献［１］〜［３］はそれぞれ、ＣＤカバ
ー画像や映像中のフレーム画像等、複雑な背景中に表示
された文字列が検出対象であり、文字表示部の画像空間
内の輝度分布、及び領域抽出結果を利用した方法になっ
ている。

【０００７】文献［１］［２］は、画像内の文字部が周
囲の背景部との境界部に大きなコントラストを有し、文
字輪郭部からはエッジ成分が多く検出されるという特徴
に着目した方法である。画像にエッジ検出法を適用し、
エッジ画素を文字輪郭とみなし、エッジ画素を多く含む
ラインを文字列ラインとして定義し、文字列ラインが空
間的に集中している部分を文字列ライン群とし、文字列
ライン群の両端ラインを文字列の境界ラインとみなし、
高さや幅を計算している。

【０００８】文献［３］は、文字領域抽出結果を利用し
た方法である。決められた方法で入力画像から二値の文
字領域画像を得る。文字領域を膨張させ、縦、あるいは
横に一定長以上の長さを持つ膨張領域に含まれる領域を
文字領域とみなし、該膨張領域を囲む矩形を文字列矩形
として抽出する。矩形の高さや幅を文字列の高さ、幅と
している。

【０００９】

【発明が解決しようとする課題】しかしながら、上記文
献［１］〜［３］の従来技術とも文字以外の背景部分の
影響を十分に検討していないという問題点がある。

【００１０】文献［１］［２］は、文字輪郭部のコント
ラストに着目し、エッジ画素を文字輪郭とみなす方法で
あるが、文字以外の部分からもコントラストの高い部分
が存在する場合には、エッジは多数検出される。つま
り、文献［１］［２］のように、エッジ検出処理で得ら
れたエッジ画素を単純にすべて文字輪郭線とみなしてし
まっては、文字の存在しない背景部に文字が存在すると
誤って判断することもあり、正確な文字列の位置を検出
することが困難である。また、映像中の文字表示に関し
ては、文字の表示効果等により文字の境界からのエッジ
が少ない場合もある。この場合も同じく、文字列ライン
の決定精度が不安定になり、文字列の高さや幅を正確に
求めることが困難となる問題点がある。

【００１１】また、文献［３］では、文字領域抽出処理
の段階で、誤って抽出した背景中のノイズ領域が文字列
の周りに残る場合、膨張領域の中に背景中のノイズ領域
も含まれ、正確な文字列矩形を求めることが困難とな
り、その結果、文字列の高さや幅も正確に求まらないと
いう問題点がある。

【００１２】上記のように従来の方法は、文字輪郭情
報、あるいは文字領域情報のどちらか一方にのみ着目し
ているため、背景部から受ける影響を十分に取り除くこ
とができず、文字列情報の抽出が困難な場合があった。

【００１３】本発明は、従来手法で問題となった文字列
周囲の背景中のコントラストやノイズ領域の影響を極力
抑制し、正確な文字列の高さや幅の情報を抽出すること
ができる文字列情報抽出装置及び方法を提供することを
課題としている。

【００１４】

【課題を解決するための手段】前記の課題を解決するた
めに、本発明による文字列情報抽出装置は、入力画像に
対して輝度値が急激に変化する画素を文字の輪郭線上の
画素として検出し、文字輪郭線画像を得る文字輪郭線検
出部と、該入力画像に対して画像内で局所的に輝度値が
均一であり連結する複数の画素を文字領域として抽出し
文字領域画像を得る文字領域抽出部と、該入力画像に対
して画像中の文字列を囲む矩形画像を抽出する文字矩形
抽出部と、該矩形画像の中で水平方向、垂直方向の各ラ
イン毎に走査し、該文字輪郭線画像から文字輪郭画素の
個数を、該文字領域画像から文字領域の個数を各ライン
毎にカウントし、該文字輪郭画素の個数及び該文字領域
の個数がともに高い値を取るラインを文字の画素を含ん
だ文字列ラインとして抽出し、該矩形画像の水平ライン
中の最も上側の文字列ライン及び最も下側の文字列ライ
ン並びに垂直方向ライン中の最も左側の文字列ライン及
び最も右側の文字列ラインに囲まれる矩形を新たな文字
列矩形として抽出する文字列情報抽出部と、該文字列矩
形の抽出の結果を出力する結果出力部とを、具備するこ
とを特徴とする。

【００１５】また、前記文字輪郭線検出部が、前記入力
画像の中で輝度値が急激に変化する画素をエッジ画素と
して検出しエッジ画像を得るエッジ検出部と、該エッジ
画像のスキャン方向を指定するスキャン方向制御部と、
該指定されたスキャン方向に該エッジ画像をスキャン
し、同一のライン上で隣接する２つのエッジ画素を選択
し、該２つのエッジ画素についてライン上の距離が予め
決めた値より小さいかどうか判断するエッジ間距離判断
部と、該距離が予め決めた値より小さいと判断された２
つのエッジ画素の勾配が反対であるかどうか判断するエ
ッジ勾配正負判断部と、該勾配正負が反対であると判断
された２つのエッジ画素間の輝度差が予め決めた範囲内
であるかどうか判断するエッジ間輝度差計算部と、該輝
度差が予め決めた範囲内であると判断された２つのエッ
ジ画素を一組のエッジペアとして検出するエッジペア検
出部と、該エッジペア画素を該指定された全てのスキャ
ン方向で求め、該求めた全エッジペア画素を文字輪郭線
とみなして文字輪郭線画像を作成する文字輪郭線画像作
成部とを、具備することを特徴とする。

【００１６】また、前記文字列情報抽出部が、各ライン
毎にカウントした文字輪郭線画素の個数と文字領域の個
数の積を文字列特徴値として計算する文字列特徴値計算
部と、該文字列特徴値が予め設定した値以上の値を持つ
ラインを文字列ラインとして判断し、予め設定した値よ
り小さい値を持つラインを背景ラインとして判断する文
字列ライン判断部とを、具備することを特徴とする。

【００１７】また、テロップ文字が表示されている映像
中の各入力画像に対し、前記の文字列情報抽出装置によ
り得た文字列矩形を入力し、該文字列矩形の水平方向の
長さと垂直方向の長さを比較し、水平方向の長さが長い
場合は該文字列矩形に囲まれるテロップ文字列は横書き
であると判断し、垂直方向の長さが長い場合は該文字列
矩形に囲まれるテロップ文字列は縦書きであると判断す
るテロップ文字列方向判断部と、該テロップ文字列が横
書きであると判断された場合は該文字列矩形の最も上側
のラインと最も下側のラインからテロップ文字列の高さ
を求め、該テロップ文字列が縦書きであると判断された
場合は該文字列矩形の最も左側のラインと最も右側のラ
インからテロップ文字列の幅を求めるテロップ文字列情
報抽出部と、該映像中の各入力画像から求めた複数の該
テロップ文字列の高さの値又は該テロップ文字列の幅の
値が近いテロップ文字列同士を一つのカテゴリとして分
類する複数テロップ文字列情報分類部と、該分類された
一つあるいは複数のカテゴリに対し予め決められた規則
を用いて意味付けを行うテロップ文字列意味付け部と、
該意味付けの結果を出力する結果出力部とを、具備する
ことを特徴とする。

【００１８】なお、この構成において、テロップ文字列
方向判断部は、前記の文字列情報抽出装置を含む構成で
あっても良い。

【００１９】同じく、前記の課題を解決するために、本
発明による文字列情報抽出方法は、入力画像に対して輝
度値が急激に変化する画素を文字の輪郭線上の画素とし
て検出し、文字輪郭線画像を得る文字輪郭線検出手順
と、該入力画像に対して画像内で局所的に輝度値が均一
であり連結する複数の画素を文字領域として抽出し、文
字領域画像を得る文字領域抽出手順と、該入力画像に対
して画像中の文字列を囲む矩形画像を抽出する文字列矩
形抽出手順と、該矩形画像の中で水平方向、垂直方向の
各ライン毎に走査し、該文字輪郭線画像から文字輪郭画
素の個数を、該文字領域画像から文字領域の個数を各ラ
イン毎にカウントし、該文字輪郭画素の個数及び該文字
領域の個数がともに高い値を取るラインを文字の画素を
含んだ文字列ラインとして抽出し、該矩形画像の水平ラ
イン中の最も上側の文字列ライン及び最も下側の文字列
ライン並びに垂直方向ライン中の最も左側の文字列ライ
ン及び最も右側の文字列ラインに囲まれる矩形を新たな
文字列矩形として抽出する文字列情報抽出手順と、該文
字列矩形の抽出の結果を出力する結果出力手順とを、有
することを特徴とする。

【００２０】また、前記文字輪郭線検出手順では、前記
入力画像の中で輝度値が急激に変化する画素をエッジ画
素として検出するエッジ検出手順と、該エッジ画像のス
キャン方向を指定するスキャン方向制御手順と、該指定
されたスキャン方向に該エッジ画像をスキャンし、同一
のライン上で隣接する２つのエッジ画素を選択し、該２
つのエッジ画素についてライン上の距離が予め決めた値
より小さいかどうか判断するエッジ間距離判断手順と、
該距離が予め決めた値より小さいと判断された２つのエ
ッジ画素の勾配が反対であるかどうか判断するエッジ勾
配正負判断手順と、該勾配正負が反対であると判断され
た２つのエッジ画素間の輝度差が予め決めた範囲内であ
るかどうか判断するエッジ間輝度差計算手順と、該輝度
差が予め決めた範囲内であると判断された２つのエッジ
画素を一組のエッジペアとして検出するエッジペア検出
手順と、該エッジペア画素を該指定された全てのスキャ
ン方向で求め、該求めた全エッジペア画素を文字輪郭線
とみなして文字輪郭線画像を作成する文字輪郭線画像作
成手順とを、有することを特徴とする。

【００２１】また、前記文字列情報抽出手順では、各ラ
イン毎にカウントした文字輪郭線画素の個数と文字領域
の個数の積を文字列特徴値として計算する文字列特徴値
計算手順と、該文字列特徴値が予め設定した値以上の値
を持つラインを文字列ラインとして判断し、予め設定し
た値より小さい値を持つラインを背景ラインとして判断
する文字列ライン判断手順とを、有することを特徴とす
る。

【００２２】テロップ文字が表示されている映像中の各
入力画像に対し、前記の文字列情報抽出方法により得た
文字列矩形の水平方向の長さと垂直方向の長さを比較
し、水平方向の長さが長い場合は該文字列矩形に囲まれ
るテロップ文字列は横書きであると判断し、垂直方向の
長さが長い場合は該文字列矩形に囲まれるテロップ文字
列は縦書きであると判断するテロップ文字列方向判断手
順と、該テロップ文字列が横書きであると判断された場
合は該文字列矩形の最も上側のラインと最も下側のライ
ンからテロップ文字列の高さを求め、該テロップ文字列
が縦書きであると判断された場合は該文字列矩形の最も
左側のラインと最も右側のラインからテロップ文字列の
幅を求めるテロップ文字列情報抽出手順と、該映像中の
各入力画像から求めた複数の該テロップ文字列の高さの
値又は該テロップ文字列の幅の値が近いテロップ文字列
同士を一つのカテゴリとして分類する複数テロップ文字
列情報分類手順と、該分類された一つあるいは複数のカ
テゴリに対し予め決められた規則を用いて意味付けを行
うテロップ文字列意味付け手順と、該意味付けの結果を
出力する結果出力手順とを、有することを特徴とする。

【００２３】また、前記の文字列情報抽出方法における
手順をコンピュータに実行させるプログラムとして該コ
ンピュータが読み取り可能な記録媒体に記録したことを
特徴とする。

【００２４】本発明では、文字輪郭線情報と文字領域情
報を組み合わせることで、文字列の情報だけを選択的に
抽出し、文字列の高さや幅の情報を正確に抽出できるよ
うにしている。

【００２５】すなわち、画像中の文字部、及び周囲部に
関して、一般にエッジ画素の数と文字領域抽出結果の領
域の個数には以下のような傾向がある。エッジ分布に関
しては、文字部のエッジ数は、文字周囲の背景部のエッ
ジ数よりも多い傾向がある。文字と背景間のコントラス
トが高く、背景部に高コントラスト部が少ない理想的な
場合には、文字部から得られるエッジ画素が背景部から
得られるそれに比べて圧倒的に多い。ただし、実際には
映像中のテロップ文字などにおいて、文字表示効果の影
響で文字境界のコントラストが低く、さらに文字周囲の
背景に高コントラスト部が多く存在することがあり、文
字部と背景部のエッジ数には際立った差が見られない場
合がある。領域分布に関しても、同じく文字の領域数
は、文字周囲の背景部のノイズ領域数よりも多い傾向に
ある。文字部の周囲の背景部に高コントラスト部やある
いは文字部の濃度に近い濃度を持つ部分が存在しなけれ
ば、文字領域のみが選択的に抽出され、周囲からノイズ
領域は抽出されない。ただし、映像中のテロップ文字に
付着する飾り効果等、文字周囲の背景部に文字と類似す
るようなコントラスト部を持ち、さらに、文字部の濃度
に近い部分が存在する場合は、文字周囲の背景からも領
域が多く抽出される。そこで、本発明では、各ラインの
エッジペア数と領域の数がともに高い値をとるラインを
文字列の存在するラインであると判断することで、文字
部のラインと背景部のラインの境界を従来方法よりも精
度よく求めることができ、より正確な文字列の高さ・幅
情報を得ることが可能となる。

【００２６】また、画像中の文字部、及び周囲部に関し
て、一般にエッジ分布の特徴には、以下のような傾向が
ある。文字部からは、文字と背景の境界のコントラスト
が高いことから、文字輪郭部からエッジ画素が得られる
ことが多く、つまり隣接する２つのエッジ画素は、その
距離がほぼ線幅値に近く、また、濃度勾配の正負が反対
であり、さらには、エッジの内側画素は文字内部のため
濃度値がほぼ等しい、という特徴がある。これに対し、
背景部の濃度分布は任意であるため、必ずしも、文字部
と同等な特徴は持たない。そこで、本発明において定義
したエッジペア画素を検出することで、文字部からのエ
ッジ画素を従来方法よりも精度よく選択的に検出するこ
とが可能となる。

【００２７】また、通常、ニュース映像などの放送映像
では、最初に見出しを表すテロップ文字が画面上で大き
く表示され、見出し以外のニュース内容の詳細を説明す
るテロップは見出しのテロップよりも小さく表示される
等、重要な文字を大きく表示する傾向がある。そこで本
発明では、映像中の複数のテロップ文字列の方向を判断
し、それを基に文字列の高さと幅の情報を分類し、高さ
や幅の値が大きいテロップが表示されている画面を映像
中のテロップ画面の中でも重要度の高い画面として意味
付けることで、映像の構造化を行う上で有益な情報とし
て利用することが可能となる。

【００２８】

【発明の実施の形態】以下、本発明について図面を参照
して実施の形態ととも詳細に説明する。

【００２９】図１は、本発明による文字列情報抽出装
置、及び方法の構成の一実施形態例を示すブロック図で
ある。

【００３０】図１において、１は、画像データを、例え
ばコンピュータに入力し、メモリに記憶する画像入力記
憶部である。

【００３１】２は、画像入力記憶部１で入力、記憶され
た画像データに対し、輝度値が急激に変化する画素を文
字輪郭線画素として検出し、文字輪郭線画像を作成する
文字輪郭線検出部である。

【００３２】３は、画像入力記憶部１で入力、記憶され
た画像データに対し、画像内で局所的に輝度値が均一で
あり、連結する複数の画素を文字領域として抽出し、文
字領域画像を得る文字領域抽出部である。

【００３３】４は、画像入力記憶部１で入力、記憶され
た画像データに対し、予め決められた文字列矩形抽出法
を用いるか、あるいは、予め画像内の文字列を囲む範囲
を指定することにより、画像中の文字列を囲む矩形画像
を得る文字列矩形抽出部である。

【００３４】５は、該文字列矩形抽出部４により得られ
た画像中の文字列を含む矩形画像の中で水平方向、垂直
方向の各ライン毎に走査し、該文字輪郭線検出部から得
られた文字輪郭画素の個数と該文字領域抽出部から得ら
れた文字領域の個数を求め、各ライン毎に文字輪郭画素
の個数、及び文字領域の個数がともに高い値をとる場
合、該ラインを文字の画素を含んだ文字列ラインとして
抽出し、該矩形画像の水平ライン中の最も上側の文字列
ライン、及び最も下側の文字列ライン、垂直方向ライン
中の最も左側の文字列ライン、及び最も右側の文字列ラ
インに囲まれる矩形を新たな文字列矩形として抽出する
文字列情報抽出部である。

【００３５】６は、文字列情報抽出部５の結果を出力す
る結果出力部である。

【００３６】７は、前記画像入力記憶部１、文字輪郭線
検出部２、文字領域抽出部３、文字列矩形抽出部４文字
列情報抽出部５、結果出力部６の処理を実行するための
制御を行う処理制御部である。

【００３７】図１の構成において、本発明の一実施形態
例を説明する。

【００３８】まず、テレビやビデオ、あるいはカメラ等
の画像情報を画像入力記憶部１によりコンピュータ上の
メモリに記憶する。

【００３９】記憶された画像データに対し、文字輪郭線
検出部２において、画像中の輝度が急激に変化する画素
を検出するための従来提案されているエッジ検出方法、
例えば、Ｓｏｂｅｌオペレータを用いる方法やＲｏｂｉ
ｎｓｏｎオペレータを用いる方法を用いて、エッジ画素
を検出し、これを文字輪郭線画素とみなし文字輪郭線画
像を作成する。

【００４０】また、文字領域抽出部３では、画像入力記
憶部１で記憶された画像データに対し、予め決められた
文字領域抽出法（例えば、文献［４］「桑野、新井、倉
掛、杉村、“ライン単位の二値化による映像中文字領域
の抽出方法”、信学秋大、Ｄ−１２−４２，１９９８」
で提案されている方法）を用いて、文字領域画像を作成
する。

【００４１】また、文字列矩形抽出部４では、画像入力
記憶部１で記憶された画像データに対し、先に示した文
献［１］〜［３］等で提案されている方法を用いるか、
予め手入力等により矩形の範囲を設定することで、文字
列を囲む矩形画像を抽出する。

【００４２】文字列情報抽出部５では、文字列矩形抽出
部４で抽出された文字列矩形画像内で文字輪郭線検出部
２で求めた文字輪郭画素の個数と文字領域抽出部３で求
めた文字領域の個数を水平、垂直の各ライン毎に数え、
文字輪郭画素の個数、及び文字領域の個数がともに高い
値をとる場合、該ラインを文字の画素を含んだ文字列ラ
インとして抽出し、該矩形画像の水平ライン中の最も上
側の文字列ライン、及び最も下側の文字列ライン、垂直
方向ライン中の最も左側の文字列ライン、及び最も右側
の文字列ラインに囲まれる矩形を新たな文字列矩形とし
て抽出する。

【００４３】結果出力部６では、文字列情報抽出部５の
結果をコンピュータの上のメモリやディスク上のファイ
ル、あるいは、ディスプレイ上に表示などして出力す
る。

【００４４】処理制御部７では、一連の処理を行う上で
の同期とりを行う。

【００４５】図２は、図１の文字輪郭線検出部２を実施
する装置の構成の一実施形態例を示すブロック図であ
る。

【００４６】図２において、２１は図１の画像入力記憶
部１で入力された画像に対し、予め決められた方法でエ
ッジ検出処理を行うエッジ検出部である。

【００４７】２２は、エッジ検出処理を施した各フレー
ム画像に対して、エッジヘアカウント処理を行うスキャ
ン方向を制御するスキャン制御部である。

【００４８】２３は、スキャン制御部２２により指定さ
れたスキャン方向に前記エッジ画像をスキャンし、同一
のスキャンライン上で隣接する２つのエッジ画素を選択
し、選択した２つのエッジ画素について、ライン上の距
離が予め決められた値より小さいかどうか判断するエッ
ジ間距離判断部である。

【００４９】２４は、エッジ間距離判断部２３により同
一のスキャンライン上で距離が予め決められた値より小
さいと判断された隣接する２つのエッジの勾配が反対で
あるかどうか判断するエッジ勾配判断部である。

【００５０】２５は、エッジ勾配判断部２４により、同
一ライン上で距離が予め決められた値よりも小さく、且
つ勾配正負が反対であると判断された隣接する２つのエ
ッジの内側画素の輝度差が予め設定された範囲内にある
かどうか判断するエッジ間輝度差判断部である。

【００５１】２６は、エッジ間輝度差判断部２５によ
り、同一ライン上で距離が予め決められた値よりも小さ
く、且つ勾配正負が反対であり、且つ内側画素の輝度差
が予め設定された範囲内にある隣接する２つのエッジ点
を一組のエッジペアと定義し、カウントするエッジペア
検出部である。

【００５２】２７は、エッジペア検出部２６により得ら
れたエッジペアをスキャン制御部２２により指定された
全てのスキャン方向で求め、文字輪郭線画像を作成する
文字輪郭線画像作成部である。

【００５３】図３は、図１、及び図２の文字輪郭線検出
部２の処理の実施形態例を説明するためのフローチャー
トである。

【００５４】前記エッジ検出部２１において、ステップ
（３１）で、前記画像入力記憶部１で入力された画像を
コンピュータ上のメモリに読み、この画像に対し、ステ
ップ（３２）で、予め決められたエッジ検出方法を用い
てエッジの勾配の方向情報も伴ったエッジ検出処理を行
う。検出されたエッジ画素情報はスキャン制御部２２に
渡される。

【００５５】勾配方向情報を伴ったエッジ検出には、例
えばＳｏｂｅｌのエッジ検出オペレータやＲｏｂｉｎｓ
ｏｎのエッジ検出オペレータ等の従来提案されている方
法を用いればよい。

【００５６】次に、スキャン制御部２２において、ステ
ップ（３３）で、エッジ検出部２１で検出されたエッジ
画素に対し、エッジペア検出処理が未処理のスキャン方
向が存在するかどうかを判断し、未処理のスキャン方向
が存在すれば処理対象スキャン方向を指定し、ステップ
（３４）へ移り、未処理のスキャン方向が存在しない場
合はステップ（３９）へ移る、ステップ（３４）では、
処理対象スキャン方向に画像をスキャンしながら、エッ
ジペア検出処理が未処理のエッジ画素があるかどうかを
判断し、未処理のエッジ画素が存在すればステップ（３
５）へ移り、未処理のエッジ点が存在しない場合はステ
ップ（３３）へ移る。

【００５７】図４は、ステップ（３３）の一例を説明す
る図であり、図４ではスキャン方向を水平方向、垂直方
向の２方向に設定した例であり、矢印の方向がスキャン
方向を示す。

【００５８】次に、エッジ間距離判断部２３において、
ステップ（３５）で、スキャン方向に存在する同一ライ
ン上で隣接する２つのエッジ画素の距離が予め設定した
値より小さいかどうか判断し、小さい場合はステップ
（３６）へ移り、小さくない場合はステップ（３４）へ
移る。

【００５９】次に、エッジ勾配判断部２４において、ス
テップ（３６）で、エッジ間距離判断部２３でスキャン
方向に存在する距離が予め決めた値よりも小さい隣接す
る２つのエッジ画素の勾配がスキャン方向に対し「登
り」か「下り」かを判断し、同じであればステップ（３
４）へ移り、反対方向であればステップ（３７）へ移
る。

【００６０】図５は、ステップ（３６）の一例を説明す
る図であり、入力文字画像、及び入力文字画像上の水平
方向のあるスキャンライン上の座標値を横軸、その座標
における画像濃度レベルを縦軸にとったグラフを示す。
エッジの勾配方向に関して、「登り」は低濃度から高濃
度への変化を意味し、「下り」は高濃度から低濃度への
変化を意味する。スキャンライン上の隣接する２つのエ
ッジの勾配が、「登り」「登り」、あるいは「下り」
「下り」という同じ方向を持つ関係である場合はエッジ
ペアをカウントせず、「登り」「下り」、あるいは「下
り」「登り」の場合、エッジペアを１だけインクリメン
トすると図５に示されたスキャンライン上のエッジペア
数は１３である。

【００６１】次に、エッジ間輝度差計算部２５におい
て、ステップ（３７）で、エッジ勾配判断部２４で同一
ライン上で距離が予め決めた値より小さく、勾配が反対
である２つの隣接エッジ画素の輝度差が予め設定した範
囲内かどうか判断し、範囲内であればステップ（３８）
へ移り、範囲に入っていなければステップ（３４）へ移
る。

【００６２】図６は、ステップ（３７）の一例を説明す
る図であり、あるスキャンライン上の座標値を横軸、そ
の座標における画像濃度レベルを縦軸にとったグラフで
ある。図中では１組のエッジペア画素Ａ，Ｂの付近の輝
度分布を示しており、エッジペア画素間の輝度レベルの
差を矢印の範囲で示しており、ステップ（３７）ではこ
の差が予め設定した範囲に入るかどうかを判断する。

【００６３】次に、エッジペア検出部２６において、ス
テップ（３８）で、スキャン方向で隣接する２つのエッ
ジの距離が予め指定した値より小さく、勾配が互いに反
対であり、且つ、エッジ間の輝度変化が予め設定した範
囲内の場合、エッジペア数を１だけインクリメントす
る。

【００６４】次に、文字輪郭線画像作成部２７におい
て、ステップ（３９）で、スキャン方向毎に求められた
エッジペア画素からなる文字輪郭線画像を作成する。

【００６５】図７は、ステップ（３９）を補足する図で
あり、画像全体でのエッジペアの数え方を説明する図で
ある。水平方向の全スキャンライン上のエッジペアの合
計は１１、垂直方向の全スキャンライン上のエッジペア
の合計は９であり、スキャン方向毎に求めたエッジペア
の総数は、水平方向＋垂直方向＝１１＋９である。

【００６６】図８は、図１の文字列情報抽出部５を実施
する装置の構成の一実施形態例を示すブロック図であ
る。

【００６７】図８において、５１は、前記文字列矩形抽
出部４により得られた文字列矩形画像を水平、及び垂直
方向の各ライン毎にカウントした文字輪郭線画素の個数
と文字領域の個数の積を各ラインの文字列特徴値として
計算する文字列特徴値計算部である。

【００６８】５２は、該文字列特徴値計算部５１で得ら
れた文字列特徴値が予め設定した値以上の値を持つライ
ンを文字列ラインとして判断し、予め設定した値より小
さい値を持つラインを背景ラインとして判断する文字列
ライン判断部である。

【００６９】図９は、図１、図８の文字列情報抽出部５
の一実施形態例を説明するためのフローチャートであ
る。

【００７０】まず、ステップ（９１）で、図１の文字輪
郭線検出部２で得られた文字輪郭線画像を読み込む。

【００７１】図１０は、ステップ（９１）を補足する図
であり、（ａ）は入力画像、（ｂ）は従来のＳｏｂｅｌ
オペレータを用いたエッジ検出方法により得た文字輪郭
線画像、（ｃ）は、本発明による文字輪郭線画像の一例
である。文字部分から選択的にエッジペア画素が得られ
ていることが確認できる。この例の場合、ステップ（９
１）では、（ｃ）の画像を読み込む。

【００７２】ステップ（９２）では、図１の文字領域抽
出部３で得られた文字領域画像を読み込む。

【００７３】図１１は、ステップ（９２）を補足する図
であり、文字領域画像の一例を示す。文献［４］の従来
の文字領域抽出法を用いて得た文字領域画像である。

【００７４】ステップ（９３）では、図１の文字列候補
矩形抽出部４で得られた文字列候補矩形画像を読み込
む。

【００７５】図１２は、ステップ（９３）を補足する図
であり、図１１の文字列領域画像中に文献［３］の従来
の文字列候補矩形抽出法を用いて得た横書きの文字列の
矩形を示したものである。矩形内に文字列は全て含まれ
るが、文字列の正確な高さの値を出すためには情報が不
足である。図１２は説明の便宜上、文字列矩形は一つだ
け選択して示した。

【００７６】ステップ（９４）では、ステップ（９３）
で読み込んだ一つ、あるいは複数の文字列矩形のうち、
文字列情報抽出処理が未処理の画像があるかどうか判断
し、未処理の画像があればステップ（９５）に移り、未
処理の画像がなければステップ（９９）に移る。文字列
矩形が図１２に示したものの場合、以後の処理対象にな
る文字列矩形は一つになる。

【００７７】ステップ（９５）では、文字列情報抽出の
処理対象である文字列候補矩形中で、文字列特徴量を計
算する処理が未処理のラインがあるかどうか判断し、未
処理のラインが存在する場合、ステップ（９６）に移
り、未処理のラインが存在しない場合、ステップ（６
４）に移る。

【００７８】ステップ（９６）では、文字列情報抽出処
理対象の文字列候補矩形の中の文字列特徴量を計算する
処理対象のライン上に含まれるステップ（９２）で読み
込まれた文字領域画像中の文字領域の個数を数える。

【００７９】図１２は、ステップ（９６）を補足する図
でもあり、ステップ（９２）で読み込まれた文字領域画
像中で、ステップ（９３）で読み込まれた横書きの卒字
列候補矩形の範囲を示す。この場合、矩形中の注目水平
ライン上の文字領域の個数は１６である。

【００８０】ステップ（９７）では、文字列情報抽出処
理対象の文字列候補矩形の中の文字列特徴量を計算する
処理対象のライン上に含まれるステップ（９１）で読み
込まれたエッジペア画像中のエッジペア画素の個数を数
える。

【００８１】図１３は、ステップ（９７）を補足する図
であり、ステップ（９１）で読み込まれた文字輪郭線画
像中で、ステップ（９３）で読み込まれた横書きの文字
列候補矩形の範囲を示す。矩形中の注目水平ライン上の
文字輪郭線画素の個数は３０個である。

【００８２】ステップ（９８）では、文字列情報抽出処
理対象の文字列候補矩形の中の文字列特徴量を計算する
処理対象のライン上で、ステップ（９６）及びステップ
（９７）で求めた文字領域の個数と文字輪郭線画素の個
数を掛け合わせた値を文字列特徴値として計算する。

【００８３】ステップ（９９）は、水平、及び垂直の各
方向のライン毎に求めた文字列特徴値が予め設定した閾
値以上の場合、該ラインを文字列ラインと判断し、閾値
より小さい場合、該ラインを背景部のラインと判断す
る。

【００８４】ただし、文字列特徴値は、必ずしもステッ
プ（９８）のようにライン上の文字輪郭線画素の個数と
文字領域の個数の積で定義しなくともよい。文字輪郭線
画素の個数と文字領域の個数をともに利用し、文字列に
載るラインと載らないラインを判別できれば他の定義で
もよい。例えば、ライン上の文字輪郭線画素の個数と文
字領域の個数のそれぞれの合計を独立に予め設定した閾
値と比較し、両者ともに閾値以上の場合、該ラインを文
字列ラインと判断してもよい。あるいは、ライン上の文
字輪郭線画素の個数と文字領域の個数のそれぞれの合計
に予め設定した重みを掛けあわせて、両者の和をとり、
この値が予め設定した閾値以上の場合、該ラインを文字
列ラインと判断するなどしてもよい。

【００８５】図１４は、図９中のステップ（９９）、及
びステップ（９９）の処理内容を補足するためのもので
あり、文献［３］の従来の文字列矩形抽出法で抽出した
文字列矩形をやや細い実線で囲み、本発明により抽出し
た文字列矩形をやや太い実線で囲んだ画像を示す。ま
た、画像の横に文献［３］の従来の方法による文字列矩
形の水平ライン毎の文字列特徴値の分布の模式図を示
す。従来の方法よりも正確に文字列の矩形が抽出できて
いることが確認できる。これは、図１２、図１３より、
矩形内の文字部に関しては、実際の画像中の文字表示部
に相当する部分から文字輪郭線画素、及び文字領域とも
に抽出できているが、矩形内の背景部に関しては文字輪
郭線画素と文字領域が必ずしもともに存在せず、文字列
特徴値の一例として文字輪郭画素と文字領域の個数の積
をとると、文字部のラインからは高い値が得られ、背景
部のラインからは文字部よりも極めて低い値が得られ、
両者を分離しやすい、文字列特徴値の分布が得られるた
めである。

【００８６】図１５は、本発明による上記の実施形態例
の文字列情報抽出装置を映像中のテロップ文字が表示さ
れている画像に対して適用し、文字列情報を抽出する装
置の一実施形態例を説明するための図である。

【００８７】図１５において、１５１は、映像中のテロ
ップ文字が表示されている画像を入力するテロップ表示
画像入力記憶部である。

【００８８】１５２は、前記テロップ表示画像入力記憶
部１５１により入力された画像に対し、前述の文字列情
報抽出装置により得た文字列矩形を入力し、その文字列
矩形の水平方向の長さと垂直方向の長さを比較し、水平
方向の長さが長い場合は、該文字列矩形に囲まれる文字
列は横書きであると判断し、垂直方向の長さが長い場合
は、該文字列矩形に囲まれる文字列は縦書きであると判
断するテロップ文字列方向判断部である。

【００８９】なお、前述の文字列情報抽出装置と本文字
列情報抽出装置とは別体に構成しても良いし、本文字列
情報抽出装置のテロップ文字列方向判断部内に内蔵させ
ても構わない。

【００９０】１５３は、該文字列方向判断部１５２で得
られた文字列方向が横書きの場合、該文字列矩形の最も
上側のラインと最も下側のラインから文字列の高さを求
め、テロップ文字列が縦書きの場合、該文字列矩形の最
も左側のラインと最も右側のラインから文字列の幅を求
めるテロップ文字列情報抽出部である。

【００９１】１５４は、該テロップ文字列情報抽出部１
５３により抽出したある映像中に表示される複数のテロ
ップ文字の高さ、及び幅の値を予め決められた分類方法
を用いて、高さ、幅に関して近い値を持つテロップ文字
列同士を一つのカテゴリとして抽出する複数テロップ文
字列情報分類部である。

【００９２】１５５は、該複数テロップ文字列情報分類
部１５４により分類され、一つあるいは複数のテロップ
文字列カテゴリに対し、予め決められた規則を用いて、
意味付けを行うテロップ文字列意味付け部である。

【００９３】１５６は、該テロップ文字列意味付け部の
結果を出力する結果出力部である。

【００９４】１５７は、前記テロップ表示画像入力記憶
部１５１、テロップ文字列方向判断部１５２、テロップ
文字列情報抽出部１５３、複数テロップ文字列情報分類
部１５４、テロップ文字列意味付け部１５５、結果出力
部１５６の処理実効を制御する処理制御部である。

【００９５】図１６は、本発明の文字列情報抽出装置を
ニュース映像中のテロップ文字表示画像に対して適用し
た例を示す模式図である。

【００９６】図１６の（ａ）は、ニュース映像中の全て
のテロップ文字が表示されている画像を示す。見出しの
テロップは大きく、それ以外のテロップは小さい。図１
６の（ｂ）は、（ａ）の全画像から本発明の文字列情報
抽出装置を用いて抽出したテロップ文字の高さ、幅の情
報に関して、横軸を高さ、幅の値、縦軸をテロップ文字
列の個数とするヒストグラムで表した模式図である。図
１６の（ｃ）は、（ｂ）のヒストグラムを予め決めた方
法（例えば、判別分析法）を用いて、大小の二つのカテ
ゴリに分割した例を示す模式図である。図１６の（ｄ）
は、（ｃ）のカテゴライズの結果により、大きい文字列
カテゴリに含まれるテロップ文字が表示される画面だけ
を取り出し、ニュース映像の見出しだけを表示した例で
ある。これにより大量のニュース映像を、見出し画面だ
けを参照するだけで短時間で把握することが可能とな
る。

【００９７】なお、図１、図２、図８、図１５を用いて
示した装置各部の一部もしくは全部の機能を、コンピュ
ータを用いて実現することができること、あるいは、そ
れらの図面とともに図３、図９を用いて示した処理手順
をコンピュータに実行させることができることは言うま
でもなく、コンピュータでその各部の機能を実現するた
めのプログラム、あるいは、コンピュータにその処理手
順を実行させるためのプログラムを、そのコンピュータ
が読み取り可能な記憶媒体、例えば、ＦＤ（フロッピー
ディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、Ｄ
ＶＤ、リムーバブルディスクなどに記録し、提供し、配
布することが可能である。

【００９８】

【発明の効果】以上の説明の通り、本発明によれば、文
字を含む画像に対して、文字輪郭線検出処理、文字領域
抽出処理、文字列候補矩形抽出処理を行い、文字列候補
矩形の中で、文字輪郭線情報と文字領域情報を組み合わ
せて各ライン毎に文字列特徴値を計算し、閾値処理する
ことで、従来よりも正確に文字列の高さ、あるいは幅の
値を求めることが可能となる。

【００９９】さらには、映像中のテロップ文字が表示さ
れる画像、複数枚に対して本発明を適用し、抽出された
文字列の高さ情報を分類し、分類された各カテゴリ毎に
あらかじめ決めた規則で意味付けを行うことが可能とな
り、映像の構造化を行う上で有効な情報となる。例え
ば、ニュース映像中のテロップ文字画像に本発明を適用
して、文字列の正確な高さ情報を抽出し、映像中の全て
のテロップ文字画像中の文字列高さ情報を大小二つのカ
テゴリに分類し、大きいほうのカテゴリ中のテロップ文
字画面を抽出することでニュース項目の見出しテロップ
だけを選択的に参照することが可能となる。

【図面の簡単な説明】

【図１】本発明を実施する装置の構成の一実施形態例を
示すブロック図である。

【図２】図１中の文字輪郭線検出部を実施する装置の構
成の一実施形態例を示すブロック図である。

【図３】図１中、及び図２に示した文字輪郭線検出部の
処理の一実施形態例を説明するためのフローチャートで
ある。

【図４】（ａ），（ｂ）は、図３中のステップ（３３）
の処理内容を補足説明するためのものであり、スキャン
方向の例を示す図である。

【図５】図３中のステップ（３６）の処理内容を補足説
明するためのものであり、エッジ勾配の判断、及びエッ
ジペアのカウントの例を示す図である。

【図６】図３中のステップ（３７）の処理内容を補足説
明するためのものであり、エッジ間の輝度差の算出対象
箇所を示す図である。

【図７】（ａ），（ｂ）は、図３中のステップ（３９）
の処理内容を補足説明するためのものであり、画像全体
でのエッジペアの数え方の例を示す図である。

【図８】図１中の文字列情報抽出部を実施する装置の構
成の一実施形態例を示すブロック図である。

【図９】図１中、及び図８に示した文字列情報抽出部の
処理の一実施形態例を説明するためのフローチャートで
ある。

【図１０】（ａ），（ｂ），（ｃ）は、図９中のステッ
プ（９１）の処理内容を補足説明するためのものであ
り、入力画像、従来手法による文字輪郭線画像、本発明
による文字輪郭線検出画像の一例を示す図である。

【図１１】図９中のステップ（９２）の処理内容を補足
説明するためのものであり、文字領域画像の一例を示す
図である。

【図１２】図９中のステップ（９６）の処理内容を補足
説明するためのものであり、文字領域画像中の文字列候
補矩形範囲の一例、及び注目ライン上の文字領域の個数
を示す図である。

【図１３】図９中のステップ（９７）の処理内容を補足
するためのものであり、文字輪郭線画像中の文字列候補
矩形範囲の一例、及び注目ライン上の文字輪郭線画素の
個数を示す図である。

【図１４】図１０の入力画像に対し得られた文献［３］
の従来方法による文字列矩形と本発明により得られた文
字列矩形を図１１の文字領域画像上に示し、画像の横
に、文献［３］の従来方法により得られた矩形の範囲内
の各水平ライン毎の文字列特徴値の分布を示した図であ
る。

【図１５】映像中のテロップ文字画像の文字列情報を抽
出してテロップ文字画像に意味付けを行う装置の構成の
一例を示すブロック図である。

【図１６】（ａ），（ｂ），（ｃ），（ｄ）は、本発明
の文字列情報抽出装置をニュース映像中のテロップ文字
表示画像に対して適用した例を示す模式図である。

【符号の説明】

１…画像入力記憶部 ２…文字輪郭線検出部 ２１…エッジ検出部 ２２…スキャン制御部 ２３…エッジ間距離判断部 ２４…エッジ勾配判断部 ２５…エッジ間輝度差判断部 ２６…エッジペア検出部 ２７…文字輪郭線画像作成部 ３…文字領域抽出部 ４…文字列矩形抽出部 ５…文字列情報抽出部 ５１…文字列特徴値計算部 ５２…文字列ライン判断部 ６…結果出力部 ７…処理制御部 １５１…テロップ表示画像入力記憶部 １５２…テロップ文字列方向判断部 １５３…テロップ文字列情報抽出部 １５４…複数テロップ文字列情報分類部 １５５…テロップ文字列意味付け部 １５６…結果出力部 １５７…処理制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 児島 治彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B029 CC28 CC29

Claims (10)

【特許請求の範囲】
1. 【請求項１】 入力画像に対して輝度値が急激に変化す
   る画素を文字の輪郭線上の画素として検出し、文字輪郭
   線画像を得る文字輪郭線検出部と、 該入力画像に対して画像内で局所的に輝度値が均一であ
   り連結する複数の画素を文字領域として抽出し文字領域
   画像を得る文字領域抽出部と、 該入力画像に対して画像中の文字列を囲む矩形画像を抽
   出する文字矩形抽出部と、 該矩形画像の中で水平方向、垂直方向の各ライン毎に走
   査し、該文字輪郭線画像から文字輪郭画素の個数を、該
   文字領域画像から文字領域の個数を各ライン毎にカウン
   トし、該文字輪郭画素の個数及び該文字領域の個数がと
   もに高い値を取るラインを文字の画素を含んだ文字列ラ
   インとして抽出し、該矩形画像の水平ライン中の最も上
   側の文字列ライン及び最も下側の文字列ライン並びに垂
   直方向ライン中の最も左側の文字列ライン及び最も右側
   の文字列ラインに囲まれる矩形を新たな文字列矩形とし
   て抽出する文字列情報抽出部と、 該文字列矩形の抽出の結果を出力する結果出力部とを、 具備することを特徴とする文字列情報抽出装置。
2. 【請求項２】 前記文字輪郭線検出部が、 前記入力画像の中で輝度値が急激に変化する画素をエッ
   ジ画素として検出しエッジ画像を得るエッジ検出部と、 該エッジ画像のスキャン方向を指定するスキャン方向制
   御部と、 該指定されたスキャン方向に該エッジ画像をスキャン
   し、同一のライン上で隣接する２つのエッジ画素を選択
   し、該２つのエッジ画素についてライン上の距離が予め
   決めた値より小さいかどうか判断するエッジ間距離判断
   部と、 該距離が予め決めた値より小さいと判断された２つのエ
   ッジ画素の勾配が反対であるかどうか判断するエッジ勾
   配正負判断部と、 該勾配正負が反対であると判断された２つのエッジ画素
   間の輝度差が予め決めた範囲内であるかどうか判断する
   エッジ間輝度差計算部と、 該輝度差が予め決めた範囲内であると判断された２つの
   エッジ画素を一組のエッジペアとして検出するエッジペ
   ア検出部と、 該エッジペア画素を該指定された全てのスキャン方向で
   求め、該求めた全エッジペア画素を文字輪郭線とみなし
   て文字輪郭線画像を作成する文字輪郭線画像作成部と
   を、 具備することを特徴とする請求項１記載の文字列情報抽
   出装置。
3. 【請求項３】 前記文字列情報抽出部が、 各ライン毎にカウントした文字輪郭線画素の個数と文字
   領域の個数の積を文字列特徴値として計算する文字列特
   徴値計算部と、 該文字列特徴値が予め設定した値以上の値を持つライン
   を文字列ラインとして判断し、予め設定した値より小さ
   い値を持つラインを背景ラインとして判断する文字列ラ
   イン判断部とを、 具備することを特徴とする請求項１又は２記載の文字列
   情報抽出装置。
4. 【請求項４】 テロップ文字が表示されている映像中の
   各入力画像に対し、請求項１，２，３のいずれか１項記
   載の文字列情報抽出装置により得た文字列矩形を入力
   し、該文字列矩形の水平方向の長さと垂直方向の長さを
   比較し、水平方向の長さが長い場合は該文字列矩形に囲
   まれるテロップ文字列は横書きであると判断し、垂直方
   向の長さが長い場合は該文字列矩形に囲まれるテロップ
   文字列は縦書きであると判断するテロップ文字列方向判
   断部と、 該テロップ文字列が横書きであると判断された場合は該
   文字列矩形の最も上側のラインと最も下側のラインから
   テロップ文字列の高さを求め、該テロップ文字列が縦書
   きであると判断された場合は該文字列矩形の最も左側の
   ラインと最も右側のラインからテロップ文字列の幅を求
   めるテロップ文字列情報抽出部と、 該映像中の各入力画像から求めた複数の該テロップ文字
   列の高さの値又は該テロップ文字列の幅の値が近いテロ
   ップ文字列同士を一つのカテゴリとして分類する複数テ
   ロップ文字列情報分類部と、 該分類された一つあるいは複数のカテゴリに対し予め決
   められた規則を用いて意味付けを行うテロップ文字列意
   味付け部と、 該意味付けの結果を出力する結果出力部とを、 具備することを特徴とする文字列情報抽出装置。
5. 【請求項５】 前記テロップ文字列方向判断部が、 請求項１，２，３のいずれか１項記載の文字列情報抽出
   装置を具備することを特徴とする請求項４記載の文字列
   情報抽出装置。
6. 【請求項６】 入力画像に対して輝度値が急激に変化す
   る画素を文字の輪郭線上の画素として検出し、文字輪郭
   線画像を得る文字輪郭線検出手順と、 該入力画像に対して画像内で局所的に輝度値が均一であ
   り連結する複数の画素を文字領域として抽出し、文字領
   域画像を得る文字領域抽出手順と、 該入力画像に対して画像中の文字列を囲む矩形画像を抽
   出する文字列矩形抽出手順と、 該矩形画像の中で水平方向、垂直方向の各ライン毎に走
   査し、該文字輪郭線画像から文字輪郭画素の個数を、該
   文字領域画像から文字領域の個数を各ライン毎にカウン
   トし、該文字輪郭画素の個数及び該文字領域の個数がと
   もに高い値を取るラインを文字の画素を含んだ文字列ラ
   インとして抽出し、該矩形画像の水平ライン中の最も上
   側の文字列ライン及び最も下側の文字列ライン並びに垂
   直方向ライン中の最も左側の文字列ライン及び最も右側
   の文字列ラインに囲まれる矩形を新たな文字列矩形とし
   て抽出する文字列情報抽出手順と、 該文字列矩形の抽出の結果を出力する結果出力手順と
   を、 有することを特徴とする文字列情報抽出方法。
7. 【請求項７】 前記文字輪郭線検出手順では、 前記入力画像の中で輝度値が急激に変化する画素をエッ
   ジ画素として検出するエッジ検出手順と、 該エッジ画像のスキャン方向を指定するスキャン方向制
   御手順と、 該指定されたスキャン方向に該エッジ画像をスキャン
   し、同一のライン上で隣接する２つのエッジ画素を選択
   し、該２つのエッジ画素についてライン上の距離が予め
   決めた値より小さいかどうか判断するエッジ間距離判断
   手順と、 該距離が予め決めた値より小さいと判断された２つのエ
   ッジ画素の勾配が反対であるかどうか判断するエッジ勾
   配正負判断手順と、 該勾配正負が反対であると判断された２つのエッジ画素
   間の輝度差が予め決めた範囲内であるかどうか判断する
   エッジ間輝度差計算手順と、 該輝度差が予め決めた範囲内であると判断された２つの
   エッジ画素を一組のエッジペアとして検出するエッジペ
   ア検出手順と、 該エッジペア画素を該指定された全てのスキャン方向で
   求め、該求めた全エッジペア画素を文字輪郭線とみなし
   て文字輪郭線画像を作成する文字輪郭線画像作成手順と
   を、 有することを特徴とする請求項６記載の文字列情報抽出
   方法。
8. 【請求項８】 前記文字列情報抽出手順では、 各ライン毎にカウントした文字輪郭線画素の個数と文字
   領域の個数の積を文字列特徴値として計算する文字列特
   徴値計算手順と、 該文字列特徴値が予め設定した値以上の値を持つライン
   を文字列ラインとして判断し、予め設定した値より小さ
   い値を持つラインを背景ラインとして判断する文字列ラ
   イン判断手順とを、 有することを特徴とする請求項６又は７記載の文字列情
   報抽出方法。
9. 【請求項９】 テロップ文字が表示されている映像中の
   各入力画像に対し、請求項６，７，８のいずれか１項記
   載の文字列情報抽出方法により得た文字列矩形の水平方
   向の長さと垂直方向の長さを比較し、水平方向の長さが
   長い場合は該文字列矩形に囲まれるテロップ文字列は横
   書きであると判断し、垂直方向の長さが長い場合は該文
   字列矩形に囲まれるテロップ文字列は縦書きであると判
   断するテロップ文字列方向判断手順と、 該テロップ文字列が横書きであると判断された場合は該
   文字列矩形の最も上側のラインと最も下側のラインから
   テロップ文字列の高さを求め、該テロップ文字列が縦書
   きであると判断された場合は該文字列矩形の最も左側の
   ラインと最も右側のラインからテロップ文字列の幅を求
   めるテロップ文字列情報抽出手順と、 該映像中の各入力画像から求めた複数の該テロップ文字
   列の高さの値又は該テロップ文字列の幅の値が近いテロ
   ップ文字列同士を一つのカテゴリとして分類する複数テ
   ロップ文字列情報分類手順と、 該分類された一つあるいは複数のカテゴリに対し予め決
   められた規則を用いて意味付けを行うテロップ文字列意
   味付け手順と、 該意味付けの結果を出力する結果出力手順とを、 有することを特徴とする文字列情報抽出方法。
10. 【請求項１０】 請求項６，７，８，９のいずれか１項
    記載の文字列情報抽出方法における手順を、コンピュー
    タに実行させるプログラムとして該コンピュータが読み
    取り可能な記録媒体に記録したことを特徴とする文字列
    情報抽出方法を記録した記録媒体。