JP2000306109A - 文字位置変化検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像内の文字輪郭線検出において、誤って文
字以外の物体を検出することを抑制する。文字位置の変
化の原因を判別する。 【解決手段】 文字が表示されている動画像をフレーム
画像単位で入力して記憶する画像入力記憶手段と、該画
像入力記憶手段により入力された各フレーム画像のそれ
ぞれの画像内の文字輪郭線画像を作成する文字輪郭線画
像作成手段と、文字輪郭線画像作成手段により得られる
連続した複数枚の文字輪郭線画像において、文字輪郭画
素数の変化及び文字輪郭線の重なりの程度を評価し、文
字位置の変化要因を判断する文字位置変化要因判断手段
と、該文字位置変化要因判断手段により選ばれる文字位
置の変化情報を出力する文字位置変化情報出力手段と、
前記画像入力記憶手段、文字輪郭線画像作成手段、文字
位置変化要因判断手段、及び文字位置変化情報出力手段
を制御する制御手段とを具備する文字位置変化検出装置
である。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、文字位置変化検出
装置に関し、特に、画像処理、パターン認識の技術を利
用して、動画像中の文字表示位置の変化を検出する技術
に適用して有効な技術に関するものである。

【０００２】

【従来の技術】従来、動画像中の文字の検出、文字の表
示位置の変化を検出する技術に関しては、例えば、
（１）文字境界部からはエッジ成分が多く検出されると
いう特徴に着目し、各フレーム画像毎にエッジ検出法を
利用し、エッジ画素の個数を計算し、エッジ個数が急激
に減少した場合に文字が消失したとみなす方法が提案さ
れている（参考文献１：中島，堀，加納，塩原，“類似
画像検索を用いたＴＶニュース検索”，画像電子学会研
究会，94-06-05，pp.17-22，(1994-06)参照）。

【０００３】また、（２）画像内の文字表示と非表示の
場合の輝度分布の違いに着目した方法が提案されている
（参考文献２：桑野，倉掛，小高，“エッジ密集度によ
るテロップ文字フレーム検出誤り抑制方法”，信学秋
大，D-12-22，pp.214，(1997-09)参照）。この（２）の
方法では、エッジ検出法を利用し、文字輪郭線の検出を
行い、文字輪郭線の検出結果をフレーム画像間で比較す
ることにより、文字の表示位置の変化を検出している。
文字輪郭線の検出の際には、画像中のあるライン上の輝
度分布における文字部と背景部の境界のエッジは勾配の
正負が反対になるように連続して存在するという特徴に
着目しており、この条件を満たすエッジのみを文字輪郭
線として検出している。また、時間的に隣接する２枚の
文字輪郭線画像をフレーム画像間で比較し、２枚の間で
文字輪郭線の位置が変化した場合、文字の表示位置が変
化したと判断している。

【０００４】

【発明が解決しようとする課題】しかしながら、前記従
来の文字境界部からエッジ成分が多く検出されるという
特徴に着目した（１）の方法では、エッジ検出法によ
り、エッジ画素を多数持つ文字以外の物体も検出してし
まうという問題点があった。また、前記文字表示と非表
示の場合の輝度分布の違いに着目した（２）の方法で
も、エッジ検出法により、ライン上の輝度分布における
物体と背景の境界で勾配の正負が反対という条件を満た
す文字以外の物体からのエッジが検出された場合、その
文字以外の物体を誤って文字として判断してしまうとい
う問題があった。

【０００５】さらに、前記従来の技術では、テレビ放送
映像中に挿入されるテロップ文字を対象としており、文
字の上に他の物体が重なることがないため、比較対象と
なる文字輪郭線画像は隣接する２フレーム画像のみであ
る。このため、文字の位置変化だけしか検出できず、画
面内での位置変化、画面外への位置変化、あるいは文字
と他の物体が重なるといった位置変化の原因が判断でき
ないという問題があった。

【０００６】本発明の目的は、画像内の文字輪郭線検出
において、誤って文字以外の物体を検出することを抑制
することが可能な技術を提供することにある。本発明の
他の目的は、画像内の文字輪郭線検出する文字輪郭線検
出装置において、文字輪郭線の位置の変化をも検出し、
文字位置の変化の原因を判別することが可能な技術を提
供することにある。本発明の前記ならびにその他の目的
と新規な特徴は、本明細書の記述及び添付図面によって
明らかにする。

【０００７】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
以下のとおりである。 （１）文字が表示されている動画像をフレーム画像単位
で入力して記憶する画像入力記憶手段と、該画像入力記
憶手段により入力された各フレーム画像のそれぞれの画
像内の文字輪郭線画像を作成する文字輪郭線画像作成手
段と、該文字輪郭線画像作成手段により得られる連続し
た複数枚の文字輪郭線画像において、文字輪郭線画素数
の変化及び文字輪郭線の重なりの程度を評価し、文字位
置の変化要因を判断する文字位置変化要因判断手段と、
該文字位置変化要因判断手段により選ばれる文字位置の
変化情報を出力する文字位置変化情報出力手段と、前記
画像入力記憶手段、文字輪郭線画像作成手段、文字位置
変化要因判断手段及び文字位置変化情報出力手段を制御
する制御手段とを具備する文字位置変化検出装置であ
る。

【０００８】（２）前記手段（１）の文字位置変化検出
装置において、前記文字輪郭線画像作成手段は、入力さ
れた各フレーム画像のエッジを検出してエッジ画像を作
成するエッジ画像作成手段と、該エッジ画像作成手段に
より得られたエッジ画像及び元の輝度の濃淡情報を持つ
フレーム画像をスキャンする方向を制御するスキャン方
向制御手段と、該スキャン方向制御手段により指定され
たスキャン方向に前記エッジ画像をスキャンし、同一の
スキャンライン上で隣接する２つのエッジの勾配方向が
反対方向であるかどうかを判断する勾配方向判断手段
と、該勾配方向判断手段により、勾配方向が反対である
と判断された隣接する２つのエッジ間の輝度値の変化が
予め設定された範囲内にあるかどうかを判断する輝度値
変化範囲判断手段と、該輝度値変化範囲判断手段によ
り、勾配方向が反対であり、かつ輝度値の変化が予め設
定された範囲内にある隣接する２つのエッジ点を一組の
エッジペアとして検出するエッジペア検出手段と、該エ
ッジペア検出手段により検出されたエッジペアを、前記
スキャン方向制御手段により指定されたすべてのスキャ
ン方向で求め、求めた全エッジペア画素を文字輪郭線と
みなして文字輪郭線画像を作成する文字輪郭線画像作成
手段と、前記エッジ画像作成手段、勾配方向判断手段、
輝度値変化範囲判断手段及び文字輪郭線画像作成手段を
制御する制御手段とを具備する装置である。

【０００９】（３）前記手段（１）又は（２）の文字位
置変化検出装置において、前記文字位置変化要因判断手
段は、前記画像入力記憶手段により入力された動画像の
各フレーム画像のそれぞれの文字輪郭線画像を入力して
記憶する文字輪郭線画像入力記憶手段と、該文字輪郭線
画像入力記憶手段により入力された各フレーム画像のそ
れぞれの文字輪郭線画像中の文字輪郭線の位置を複数フ
レーム画像の間で比較する文字輪郭線位置比較手段と、
該文字輪郭線位置比較手段において、予め決めた枚数以
上の連続する複数のフレーム画像で、文字輪郭線画素が
同じ座標から検出された場合、文字位置に変化はないと
判断し、文字輪郭線画素の数が予め設定した個数よりも
少ない場合は文字が画像内から消失したと判断し、文字
輪郭線画素は予め設定した個数よりも多いが、フレーム
画像が変わる度に文字輪郭線画素のその個数の増減が変
動する場合、画像中の文字に他の物体が重なっていると
判断し、文字輪郭画素は、予め設定した個数よりも多い
が、時間的に前のフレーム画像と文字輪郭線画素の位置
が変化した場合、画面内の文字表示は継続しているが、
表示位置が変化したと判断する表示位置変化判断手段
と、前記文字輪郭線画像入力記憶手段、文字輪郭線位置
比較手段及び表示位置変化判断手段を制御する制御手段
を具備する装置である。

【００１０】（４）前記手段（１）乃至（３）のうちい
ずれか１つの文字位置変化検出装置において、前記画像
入力記憶手段は、固定カメラを道路の標識を写すように
設置し、標識中の文字表示を含む動画像を入力する動画
像入力手段と、該動画像入力手段により入力された動画
像に対し、前記文字輪郭線画像作成手段及び文字位置変
化要因判断手段を用いて動画像中の各フレーム画像の文
字輪郭線画素数と複数フレーム画像間の文字輪郭線画素
の重なりの程度を評価し、予め決めた枚数以上の連続す
る複数フレーム画像で、文字輪郭線画素が同じ座標から
検出された場合、標識の設置状況は変化はなく安定して
いると判断し、文字輪郭線画素の数が予め設定した個数
よりも少ない場合は、文字が画像から消失したとみな
し、標識が自動車事故等の原因により破損し、設置位置
に変化が生じたと判断し、文字輪郭線画素数は予め設定
した個数よりも多いが、フレーム画像が変わる度に文字
輪郭線画素の個数が変動する場合、標識中の文字表示に
他の物体が重なっていると判断し、文字輪郭線画素は予
め設定した個数よりも多いが、時間的に前のフレーム画
像と文字輪郭線画素の位置が変化した場合、標識中の文
字表示位置が画像から消えない範囲で変化したと判断す
る表示位置変化判断手段と、前記動画像入力手段及び表
示位置変化判断手段を制御する制御手段とを具備する装
置である。

【００１１】以下、本発明について、図面を参照して実
施の形態（実施例）とともに詳細に説明する。なお、実
施例を説明するための全図において、同一機能を有する
ものは、同一符号をつけ、その繰り返しの説明は省略す
る。

【００１２】

【発明の実施の形態】図１は、本発明による実施形態の
文字位置変化検出装置の概略構成を示すブロック図であ
る。図１において、１は動画像入力手段（カメラやビデ
オデッキ等）、２は文字位置変化検出手段、３は結果表
示手段、７は動画像データ記憶部、８は輪郭線検出部、
９は位置変化検出部、１０は結果出力部、１１は処理制
御部である。前記文字位置変化検出手段２は、ハードウ
ェアとしては、例えば、演算情報処理装置（ＣＰＵ）を
用いる。

【００１３】本実施形態の文字位置変化検出装置は、図
１に示すように、固定カメラやビデオデッキ等により撮
影された、対象となる文字が表示されている動画像デー
タを入力する動画像入力手段１と、前記動画像入力手段
１から入力された動画像データの各フレーム画像毎に表
示された文字（表示文字）を検出し、表示文字の位置の
時間的変化を調べる文字位置変化検出手段２と、前記文
字位置変化検出手段２の結果を表示するディスプレイ等
の結果表示手段３からなる。

【００１４】前記文字位置変化検出手段２は、前記動画
像入力手段１により入力された動画像データを記憶する
動画像データ記憶部７と、該動画像データ記憶部７に記
憶された動画像データの各フレーム画像毎に、例えばエ
ッジ検出法を用いて、各フレーム画像の表示文字等の輪
郭線を構成する画素（輪郭画素）を検出し、前記各フレ
ーム画像に対応した輪郭線画像を作成する輪郭線検出部
８及び前記輪郭線検出部８により得られた連続した複数
枚、例えば、該当フレーム画像と両隣のフレーム画像と
の３枚以上のそれぞれの輪郭線画像において、輪郭画素
数の変化及び輪郭線の重なりの程度を評価し、文字位置
の変化要因を判断する位置変化検出部９と、この位置変
化検出部９の検出結果を出力する結果出力部１０と、前
記動画像データ記憶部７、輪郭線検出部８、位置変化検
出部９及び結果出力部１０の処理を実行するための制御
を行う処理制御部１１により構成される。

【００１５】以下、本実施形態の文字位置変化検出装置
の動作について詳細に説明する。まず、固定カメラやビ
デオデッキ等からなる動画像入力手段１により、対象と
なる文字表示を有する被写体を撮影し、その動画像を動
画像データ記憶部７に順次動画像データを記憶してい
く。この時、動画像中のある瞬間のフレーム画像を記憶
している最中に次の瞬間のフレーム画像が入力されても
記憶できないので、一枚のフレーム画像の記憶が終了し
てから次のフレーム画像を入力、記憶するように、処理
制御部１１によりフレーム画像の入力及び記録の制御を
行う。次に、輪郭線検出部８により、前記動画像データ
記憶手段７に記憶された動画像データの各フレーム画像
中の表示文字の輪郭線を検出し、各フレーム画像毎にエ
ッジ画像を作成する。

【００１６】図２は、本実施形態の輪郭線検出部８の機
能構成を示すブロック図である。図２において、８１は
エッジ画素検出部、８２はスキャン制御部、８３は勾配
方向判断部、８４は輝度変化算出部、８５はエッジペア
カウント部、８６は輪郭線画像作成部、８７は輪郭線検
出処理制御部である。本実施形態の文字位置変化検出装
置の輪郭線検出部８は、図２に示すように、前記動画像
データ記憶部７に格納されている前記動画像入力手段１
からの動画像データの各フレーム画像を読み込み、この
読み込まれた各フレーム画像毎に、エッジ検出法を用い
てフレーム画像内で画素濃度（輝度）の勾配が変化する
点の画素（エッジ画素）を検出するエッジ画素検出部８
１と、このエッジ画素検出部８１で検出されたエッジ画
素を、前記フレーム画像のエッジペア数を求めるための
走査（スキャン）方向を制御するスキャン制御部８２
と、前記スキャン制御部８２により指定されたスキャン
方向に前記フレーム画像をスキャンし、同一のスキャン
ライン上で連続する複数枚のフレーム画像のうち両隣に
隣接する２つのフレーム画像のエッジ画素の輝度勾配の
方向の関係を判断する勾配方向判断部８３と、この勾配
方向判断部８３により輝度勾配の方向が反対であると判
断され、前記隣接する２つのエッジ画素間の輝度値の差
が設定された範囲内にあるかどうか判断する輝度変化算
出部８４と、この勾配方向判断部８３により輝度勾配の
方向が反対であると判定され、かつ前記輝度変化算出部
８４により輝度値の差が設定された範囲内にあると判断
され、前記隣接する２つのエッジ画素を一組のエッジペ
アと定義し、その数をカウントするエッジペアカウント
部８５と、前記エッジペアカウント部８５によりエッジ
ペアとして検出されたエッジ画素を前記フレーム画像の
表示文字等の輪郭を表す画素（輪郭画素）とみなし、前
記輪郭画素に基づいて前記フレーム画像に対応した輪郭
線画像を作成する輪郭線画像作成部８６と、前記エッジ
画素検出部８１、スキャン制御部８２、勾配方向判断部
８３、輝度変化算出部８４、エッジペアカウント部８５
及び輪郭線画像作成部８６の各処理部での一連の処理を
実行する上での同期とりをする輪郭線検出処理制御部８
７とにより構成される。

【００１７】図３は、本実施形態の輪郭検出部８の処理
手順を示すフロー図である。以下、図２及び図３を用い
て輪郭検出部８の処理動作を説明する。始めに、前記エ
ッジ画素検出部８１においてフレーム画像を読み込む前
に、ステップ８０１で時刻変数ｔを初期化しｔ＝１とす
る。次に、ステップ８０２で、前記動画像データ記憶手
段７に記憶された動画像データの時刻ｔにおけるフレー
ム画像Ｆ（ｔ）を読み込み、ステップ８０３で、読み込
んだフレーム画像Ｆ（ｔ）に対して、エッジ検出法を用
いてエッジ画素の画素濃度（輝度）の勾配方向の情報を
伴ったエッジ画素検出処理を行い、前記フレーム画像Ｆ
（ｔ）のエッジ画素データを作成する。

【００１８】この輝度の勾配方向の情報を持ったエッジ
画素検出処理は、例えば「参考文献３：高木、下田監
修、“画像解析ハンドブック”、東京大学出版会、pp.
５５４」に記載されるロビンソンのエッジ検出オペレー
タを用いればよい。ここではその説明を省略する。前記
エッジ画素検出部８１の各ステップを行い検出したフレ
ーム画像Ｆ（ｔ）のエッジ画素データはスキャン制御部
８２に渡される。

【００１９】次に、スキャン制御部８２において、スッ
テプ８０４でフレーム画像Ｆ（ｔ）にエッジペアを求め
ていない未処理スキャン方向が残っているかを調べ、未
処理スキャン方向が存在する場合は、前記未処理スキャ
ン方向を処理対象スキャン方向として指定し、次のステ
ップへ移る。

【００２０】図４は、エッジペアを求めるスキャン方向
の設定例を説明するための図である。例えば、フレーム
画像Ｆ（ｔ)に対して、図４(ａ)に示すような垂直方向
のスキャンと、図４(ｂ)に示すような水平方向のスキャ
ンを行うように設定すると、前記ステップ８０４で前記
フレーム画像Ｆ(ｔ)が垂直方向及び水平方向のスキャン
を行いそれぞれの方向でのエッジペア数を求めたかを判
断し、両方を行っていればステップ８０９へ移り、未処
理の方向があれば、処理対象スキャン方向として垂直方
向もしくは水平方向のうち未処理の方向に指定し、次の
ステップ８０５へ移る。前記スキャン制御部８２で処理
対象スキャン方向が指定されるとフレーム画像Ｆ(ｔ)の
エッジ画素データは勾配方向判断部８３に渡される。

【００２１】次に、勾配方向判断部８３において、スッ
テプ８０５で前記ステップ８０４で指定された処理対象
スキャン方向に輝度勾配の正負を判断する処理が未処理
のエッジ画素が存在するかを判断し、未処理のエッジ画
素が存在すれば、次のステップ８０６へ移り、存在しな
い場合は、ステップ８０４に戻り再び未処理のスキャン
方向があるかを判断する。

【００２２】次に、ステップ８０６で、指定されたスキ
ャン方向にスキャンしたときに存在するエッジ画素の輝
度の勾配方向がスキャン方向に対し、「上り」であるか
「下り」であるかを判断し、判断された方向が同一スキ
ャンライン上で隣接する、１つ前の既に輝度の勾配方向
の判断を終えているエッジ画素の輝度の勾配方向と同方
向かあるいは反対方向かを判断する。ここで、同方向で
あれば、ステップ８０５に戻り、反対方向であれば、次
のステップ８０７へ移る。

【００２３】図５は、エッジ画素の輝度の勾配方向の判
断例を説明するための図である。例えば、フレーム画像
Ｆ(ｔ)が、図５に示すようなＡＢＣＤの４文字が表示さ
れている濃淡画像である場合、このフレーム画像Ｆ(ｔ)
の水平方向のあるスキャンライン上の座標値(位置)を横
軸、その座標値における画像濃度レベルを縦軸にとり、
エッジ画素の画素濃度(輝度)の勾配方向を、画像濃度レ
ベルが低濃度から高濃度へ変化する場合は上りとし、画
像濃度レベルが高濃度から低濃度へ変化する場合は下り
とする。この時、同一スキャンライン上の隣接する２つ
のエッジ画素の画素濃度(輝度)の勾配方向が、スキャン
方向に対して２つ連続して上り、あるいは２つ連続して
下りとなる場合には、それらをエッジ画素をエッジペア
としない。一方、前記２つの隣接するエッジ画素の画素
濃度(輝度)の勾配方向が、スキャン方向に対して上りと
下り、あるいは下りと上りとなる場合には、それらをエ
ッジペアの候補とし、次のステップ８０７へ移る。前記
勾配方向判断部８３で得られたフレーム画像Ｆ(ｔ)のエ
ッジペアの候補は、次の輝度変化算出部８４へ渡され
る。

【００２４】次に、ステップ８０７で、前記ステップ８
０６においてエッジペアの候補となった画素濃度(輝度)
の勾配方向が反対の前記隣接する２つのエッジ画素間の
画素濃度(輝度)の差が設定した範囲内であるかを判断す
る。

【００２５】図６は、隣接した２つのエッジ画素間の画
素濃度(輝度)の差の判断例を説明するための図である。
例えば、図６に示すように、あるスキャンライン上の隣
接する２つのエッジ画素ＥＰ１，ＥＰ２において、エッ
ジ画素ＥＰ１の輝度レベルがＢ１、エッジ画素ＥＰ２の
輝度レベルがＢ２であったときに、前記エッジ画素ＥＰ
１，ＥＰ２間の画素濃度(輝度)の差の絶対値｜Ｂ１−Ｂ
２｜が所定の範囲内であるかを判断する。この差が所定
の範囲内であれば、次のステップ８０８へ移り、所定の
範囲より大きければ、前記エッジペアの候補からはずし
て、ステップ８０５に戻る。

【００２６】次に、ステップ８０８で、前記ステップ８
０６において、同一スキャンライン上で隣接する２つの
エッジ画素の画素濃度(輝度)の勾配方向が反対であると
判断され、かつ前記ステップ８０７により前記隣接する
２つのエッジ画素間の画素濃度(輝度)の差が所定の範囲
内であると判断された前記エッジペアの候補は、エッジ
ペアであると判定され、前記フレーム画像Ｆ(ｔ)に対す
るエッジペア数を１増やし、ステップ８０５に戻り、前
記各ステップを繰り返し、すべてのエッジペアを求め、
エッジペアデータを作成する。

【００２７】前記ステップ８０４で未処理のスキャン方
向がないと判断された場合、すなわち、設定された全て
のスキャン方向についてスキャンし、すべてのエッジペ
アを求め終えたら、ステップ８０９でスキャン方向毎に
求められたエッジペアを構成するエッジ画素からなる文
字輪郭線画像(エッジ画像)Ｅ(ｔ)を作成する。

【００２８】図７は、ステップ８０９で作成するエッジ
画像Ｅ(ｔ)の例を説明するための図である。画面全体に
対して、前記ステップ８０２乃至ステップ８０７の処理
を繰り返し、垂直方向及び水平方向にスキャンした結
果、図７(ａ)及び図７(ｂ)に示すように、水平方向の全
スキャンライン上のエッジペア数の合計が１５、垂直方
向の全スキャンライン上のエッジペア数が１０となり、
スキャン方向毎に求めたエッジペアの総数はこれらを加
えた２５となる。この２５個のエッジペアを構成する各
エッジ画素を表示文字の輪郭をあらわす画素(輪郭画素)
とみなし、各輪郭画素を接続し、エッジ画像Ｅ(ｔ)を作
成する。このエッジ画像Ｅ(ｔ)には、前記輪郭画素の数
及び位置の情報が付加されている。作成したエッジ画像
Ｅ(ｔ)を次の位置変化検出部９へ渡した後、ステップ８
１０で時刻変数ｔを１増やすと同時に、前記処理制御部
１１にエッジ画像Ｅ(ｔ)の作成が終了したという信号を
出力し、次のエッジ画像Ｅ(ｔ＋１)を作成する準備がで
きたことを知らせる。その後、次の時刻ｔ＋１でのフレ
ーム画像Ｆ(ｔ＋１)のエッジ画像Ｅ(ｔ＋１)を順次作成
していく。

【００２９】前記輪郭線検出部８で、動画像データの各
フレーム画像Ｆ(ｔ)に対して作成されたエッジ画像Ｅ
(ｔ)及び輪郭画素の情報を用いて、位置変化検出部９に
おいて、対象となる文字位置の時間的変化及びその変化
要因を検出する。

【００３０】図８は、本実施形態の位置変化検出部９の
概略構成を示すブロック図である。図８において、９１
は輪郭線画像入力部、９２は輪郭線画像比較部、９３は
変化要因判断部、９４は位置変化検出処理制御部であ
る。本実施形態の文字位置変化検出装置の位置変化検出
部９は、図８に示すように、前記輪郭線検出部８の輪郭
線画像作成部８６により得られる各フレーム画像Ｆ(ｔ)
の輪郭線画像(エッジ画像)Ｅ(ｔ)を入力、記憶する輪郭
線画像入力部９１と、前記輪郭線画像入力部９１により
入力された各フレーム画像Ｆ(ｔ)のエッジ画像Ｅ(ｔ)に
対して、複数枚のエッジ画像Ｅ(ｔ)間で輪郭画素数の変
化及び輪郭線の重なりを比較する輪郭線画像比較部９２
と、前記輪郭線画像比較部９２において、所定の枚数以
上の連続する複数枚のエッジ画像Ｅ(ｔ)で検出された輪
郭画素数の変化から、文字の表示位置の変化状況を判断
する変化要因判断部９３と、前記輪郭線画像入力部９
１、輪郭線画像比較部９２、変化要因判断部９３の各処
理部での一連の処理を実行する上での同期とりを行う位
置変化検出処理制御部９４とから構成される。

【００３１】また、前記変化要因判断部９３では、複数
枚の連続するエッジ画像Ｅ(ｔ)の輪郭画素の位置を比較
して、所定の数以上の輪郭画素がそれぞれのエッジ画像
Ｅ(ｔ)の同じ位置(座標)から検出された場合には文字位
置に変化はないと判断し、複数枚の連続するエッジ画像
Ｅ(ｔ)の同じ座標から検出される輪郭画素の数が所定の
数より少なく、かつ時間的に後のエッジ画像Ｅ(ｔ)の輪
郭画素の数が所定の数より少ない場合には文字が画像内
から消失したと判断し、複数枚の連続するエッジ画像Ｅ
(ｔ)の同じ座標から検出される輪郭画素の数は所定の数
より多いが、時間的に後のエッジ画像Ｅ(ｔ)の輪郭画素
の数が所定の数より多く、変動している場合には画像中
の文字に他の物体が重なっていると判断し、複数枚の連
続するエッジ画像Ｅ(ｔ)の同じ座標から検出される輪郭
画素の数は所定の数より少ないが、時間的に後のエッジ
画像Ｅ(ｔ)の輪郭画素の数が所定の数より多く、時間的
に前のエッジ画像Ｅ(ｔ)の輪郭画素の位置と比較してそ
の位置が変化している場合には画像内の文字表示は継続
しているが、表示位置が変化したと判断する。

【００３２】図９は、本実施形態の文字位置変化検出装
置の位置変化検出部９の処理手順を示すフロー図であ
る。

【００３３】以下、図９に沿って位置変化検出部９での
処理を説明する。始めに、前記輪郭線画像入力部９１に
おいて前記文字輪郭線画像(エッジ画像)Ｅ(ｔ)を読み込
む前に、ステップ９０１で時刻変数ｔを初期化しｔ＝１
としておく。次に、ステップ９０２で時刻変数ｔの値を
調べ、時刻変数ｔ＝１であればステップ９０３で時刻変
数ｔ＝１のエッジ画像Ｅ(１)を読み込み、ステップ９０
４で読み込んだエッジ画像Ｅ(１)をマスタエッジ画像と
して登録した後、ステップ９０５により時刻変数ｔを１
増やし、ステップ９０２へ戻る。時刻変数ｔが１以上の
整数である場合、すなわち、マスタエッジ画像登録後
は、ステップ９０２からステップ９０６へ移り時刻変数
ｔに対応するエッジ画像Ｅ(ｔ)を読み込む。

【００３４】次に、前記ステップ９０４で登録したマス
タエッジ画像Ｅ(１)を読み込む。前記輪郭線画像入力部
９１でのエッジ画像Ｅ(ｔ)の読み込みが終了したら、輪
郭線画像比較部９２で読み込んだエッジ画像Ｅ(ｔ)とマ
スタエッジ画像Ｅ(１)の輪郭画素の比較を行う。まず、
ステップ９０８で読み込んだエッジ画像Ｅ(ｔ)とマスタ
エッジ画像Ｅ(１)を、それぞれのエッジ画像中の画素の
位置に対して同じ座標軸を取るように重ね合わせ、ステ
ップ９０９でエッジ画像Ｅ(ｔ)の輪郭画素のうち、マス
タエッジ画像Ｅ(１)の輪郭画素と同じ位置(座標)にある
輪郭画素の個数を求め、その個数が所定の数以上であれ
ばステップ９１０に移り、所定の数以下であればステッ
プ９１３へ移る。

【００３５】前記ステップ９０９で、エッジ画像Ｅ(ｔ)
の輪郭画素のうち、マスタエッジ画像Ｅ(１)の輪郭画素
と同じ位置(座標)にある輪郭画素の個数が所定の数以上
ある場合は、ステップ９１０で前記エッジ画像Ｅ(ｔ)の
輪郭画素のうち、マスタエッジ画像Ｅ(１)の輪郭画素と
同じ位置(座標)にない輪郭画素の個数を調べ、所定の数
以上であれば、ステップ９１１に移り、エッジ画像Ｅ
(ｔ)中の表示文字の状態変数ＣをＣ＝１に設定し、所定
の数以下であれば、エッジ画像Ｅ(ｔ)中の表示文字の状
態変数ＣをＣ＝２に設定する。

【００３６】一方、前記ステップ９０９でエッジ画像Ｅ
(ｔ)の輪郭画素のうち、マスタエッジ画像Ｅ(１)の輪郭
画素と同じ位置(座標)にある輪郭画素が所定の数以下で
ある場合は、ステップ９１３でエッジ画像Ｅ(ｔ)の輪郭
画素のうち、マスタエッジ画像Ｅ(１)の輪郭画素と同じ
位置(座標)にない輪郭画素の個数を調べ、所定の数以上
であれば、ステップ９１４でエッジ画像Ｅ(ｔ)中の表示
文字の状態変数ＣをＣ＝３に設定し、所定の数以下であ
れば、ステップ９１５でエッジ画像Ｅ(ｔ)中の表示文字
の状態変数ＣをＣ＝４に設定する。

【００３７】前記文字輪郭線画像比較部９２において、
マスタエッジ画像Ｅ(１)中の表示文字に対するエッジ画
像Ｅ(ｔ)中の表示文字の状態変数Ｃを求めた後、前記位
置変化要因判断部９３で、前記エッジ画像Ｅ(ｔ)中の表
示文字の状態が連続する時間、すなわち、それぞれの状
態変数Ｃを持つエッジ画像Ｅ(ｔ)が連続する枚数を調
べ、表示文字の位置変化及びその原因を検出する。

【００３８】この時、画像中の表示文字の位置変化の原
因を長期的な範囲で判断するため、同じ状態変数Ｃのエ
ッジ画像Ｅ(ｔ)が連続する枚数は３枚以上に設定する。
まず、ステップ９１６で、前記ステップ９１１で設定さ
れた状態変数Ｃ＝１が所定の時間以上続くかを調べる。
すなわち、状態変数Ｃ＝１であるエッジ画像Ｅ(ｔ)が連
続する枚数を調べ、所定時間(枚数)以上連続する場合
は、ステップ９１７で画像中の表示文字に位置変化はな
いと判断し、ステップ９２７に移り時刻変数ｔを１増や
して前記ステップ９０６に戻り、次のエッジ画像Ｅ(ｔ
＋１)を読み込み、エッジ画像Ｅ(ｔ＋１)中の表示文字
の状態変数Ｃを求め、エッジ画像Ｅ(ｔ)の状態変数Ｃ＝
１が所定時間(枚数)連続していない場合は、次のステッ
プ９１８に移る。

【００３９】前記ステップ９１６で状態変数Ｃ＝１のエ
ッジ画像Ｅ(ｔ)が所定時間(枚数)以上連続していない場
合は、ステップ９１８で状態変数Ｃ＝２のエッジ画像Ｅ
(ｔ)が所定時間(枚数)連続しているかを調べ、連続して
いる場合はステップ９１９で画像中の表示文字に他の物
体が重なっていると判断し、ステップ９２０で判断結果
を前記結果出力部１０に出力した後、ステップ９２７で
時刻変数ｔを１増やし、ステップ９０６に戻り、次のエ
ッジ画像Ｅ(ｔ＋１)を読み込み状態変数Ｃを調べてい
く。

【００４０】次に、前記状態変数Ｃ＝１及び状態変数Ｃ
＝２が所定時間(枚数)以上連続していない場合は、ステ
ップ９２１で状態変数Ｃ＝３が所定時間(枚数)連続して
いるかを調べ、連続している場合はステップ９２２で画
像中の表示文字が消失したと判断し、ステップ９２３で
判断結果を前記結果出力部１０に出力した後、ステップ
９２７で時刻変数ｔを１増やし、ステップ９０６に戻り
次のエッジ画像Ｅ(ｔ＋１)を読み込み状態変数Ｃを調べ
ていく。

【００４１】次に、前記状態変数Ｃ＝１、状態変数Ｃ＝
２、状態変数Ｃ＝３のいずれも所定時間(枚数)以上連続
しない場合は、ステップ９２４で状態変数Ｃ＝４が所定
時間(枚数)以上連続しているか調べ、連続している場合
はステップ９２５で画像中の表示文字の位置が変化した
と判断し、ステップ９２６で判断結果を前記検出結果出
力部１０に出力した後、ステップ９２７で時刻変数ｔを
１増やし、ステップ９０６に戻り次のエッジ画像Ｅ(ｔ
＋１)を読み込み、表示文字の状態変数Ｃを調べてい
く。

【００４２】前記状態変数Ｃ＝１、状態変数Ｃ＝２、状
態変数Ｃ＝３、及び状態変数Ｃ＝４のいずれも所定時間
(枚数)以上連続しない場合は、状態変数Ｃを求めたエッ
ジ画像Ｅ(ｔ)の枚数が少なく所定時間(枚数)分に達して
いないため、表示文字の長期的な状態の変化を判断でき
ないか、もしくは極めて短時間の状態変数Ｃの変化が起
こり、その変化の原因が特定できない場合である。その
ような場合は原因を特定せず、ステップ９２７で時刻変
数ｔを１増やし、ステップ９０６に戻り次のエッジ画像
Ｅ(ｔ＋１)を読み込み状態変数Ｃを調べていく。

【００４３】前記位置変化要因判断部９３で判断し、前
記検出結果出力部１０に記憶された結果は、前記結果出
力部１０によりディスプレイ等の結果表示手段３に警告
メッセージとして表示される。また、前記結果表示手段
３は、警告メッセージの変わりにブザーなどで警告サイ
レンを鳴らしたり、メッセージとブザーを組み合わせた
ものでもよい。

【００４４】図１０乃至図１２は、本実施形態の変化要
因判断部９３の判断例を説明するための図である。図１
０は、本実施形態の文字位置変化検出装置を道路標識の
監視に用いたときの概略構成を示す図で、前記動画像入
力手段１に固定カメラを用い、道路標識１２を連続して
撮影し、道路標識１２上の文字の位置変化から道路標識
の変化を検出する。

【００４５】図１１は、画像中の表示文字に他の物体が
重なっていると判断した場合を示す図である。前記図１
１に示すような道路標識を監視する場合、図１１に示す
ように、時刻変数ｔ＝１での道路標識１２Ａは正常な状
態であり、この道路標識１２Ａの「横」という文字を固
定カメラ（動画像入力手段）１で撮影したフレーム画像
Ｆ(１）に対して、前記輪郭線検出部８での処理を行う
と輪郭線画像（エッジ画像)Ｅ(１)が得られる。長時間
監視を続けた後、時刻ｔ＝Ｔ付近で、例えば降雪により
雪１３が重なった道路標識１２Ｂのフレーム画像Ｆ(Ｔ)
に対して前記輪郭線検出部８での処理を行うとエッジ画
像Ｅ(Ｔ)のように「横」という文字以外にも雪１３の輪
郭を検出してしまう。

【００４６】前記エッジ画像Ｅ(１)をマスタエッジ画像
として、前記位置変化検出部９により、輪郭画素の比較
を行うと、エッジ画像Ｅ(Ｔ)の輪郭画素のうち、マスタ
エッジ画像Ｅ(１)の輪郭画素と同じ位置にある輪郭画素
は、「横」という文字の位置は変化しておらず、また他
の物体などにより完全に消えてはいないので、所定の数
以上であるが、同時に、マスタエッジ画像Ｅ(１)と同じ
位置にない輪郭画像が、雪１３の輪郭画素があるために
所定の数以上になる。このような場合は、エッジ画像Ｅ
(Ｔ)の前後の画像中の表示文字の状態変数ＣはＣ＝２に
設定されるので、スッテプ９１８で指定された所定時間
(枚数)以上状態変数Ｃ＝２が連続することになり、表示
文字に他の物体が重なっていると判断され、ディスプレ
イ（結果表示手段）３に警告メッセージが表示される。

【００４７】図１２は、画像中の表示文字の位置が変化
したと判断する場合の例を説明するための図である。前
記図１０に示すような道路標識を監視する場合、図１２
に示すように、時刻変数ｔ＝１での正常な状態の道路標
識１２Ａの「横」という文字を固定カメラ１で撮影した
フレーム画像Ｆ(１)に対して、前記輪郭線検出部９での
処理を行うと輪郭線画像(エッジ画像)Ｅ(１)が得られ
る。長時間の監視を行った後のｔ＝Ｔで、例えば事故に
より傾いた道路標識１２Ｃの「横」という文字を固定カ
メラ１で撮影したフレーム画像Ｆ(Ｔ)に対して、前記輪
郭線検出部８での処理を行うと、「横」という文字が斜
めになったエッジ画像Ｅ(Ｔ)が得られる。

【００４８】前記事故前のエッジ画像Ｅ(Ｔ)をマスタエ
ッジ画像Ｅ(１)として前記位置変化検出部９により、輪
郭画素の比較を行うと、事故後のエッジ画像Ｅ(Ｔ)では
「横」という文字の位置が変化しているため、輪郭画素
の位置も変化しており、マスタエッジ画像Ｅ(１)の輪郭
画素と同じ位置にある輪郭画素は少なく、他の物体の輪
郭画素もないのでマスタエッジ画像Ｅ(１)と同じ位置に
ない輪郭画素も少ない。そのため、エッジ画像Ｅ(Ｔ)前
後の画像中の表示文字の状態変数ＣはＣ＝４に設定さ
れ、状態変数Ｃ＝４が所定時間(枚数)以上連続すること
になり、文字位置が変化したと判断されるので、ディス
プレイ３に警告メッセージが表示される。

【００４９】以上説明したように、文字表示を含む動画
像中の各フレーム画像に対して、エッジ検出処理を行
い、エッジの勾配方向の正負が逆で、輝度差が少ない隣
接する２つのエッジを文字輪郭線とし、かつ複数のフレ
ーム画像間で文字輪郭線画像の文字輪郭線位置の比較を
行うことで、精度よく画像内の文字の位置を検出し、か
つ文字位置の変化の要因を判断することが可能となる。

【００５０】例えば、道路標識の監視業務に本発明を適
用して、文字位置の変化を検出することで、道路標識そ
のものの破損や変形、あるいは降雪などの自動検出がか
のうとなり道路標識管理業務の効率化が実現できる。以
上、本発明を、前記実施形態に基づき具体的に説明した
が、本発明は、前記実施形態に限定されるものではな
く、その要旨を逸脱しない範囲において種々変更可能で
あることは勿論である。

【００５１】

【発明の効果】以上説明したように、本発明によれば、
画像内の文字輪郭線検出において、誤って文字以外の物
体を検出することを抑制することができる。また、画像
内の文字輪郭線を検出する文字輪郭線検出装置におい
て、文字輪郭線の位置の変化をも検出し、文字位置の変
化の原因を判別することができる。

【図面の簡単な説明】

【図１】本発明による実施形態の文字位置変化検出装置
の概略構成を示すブロック図である。

【図２】本実施形態の輪郭線検出部の機能構成を示すブ
ロック図である。

【図３】本実施形態の輪郭線検出部の処理手順を示すフ
ロー図である。

【図４】本実施形態のエッジペアを求めるスキャン方向
の設定例を説明するための図である。

【図５】本実施形態のエッジ画素の輝度の勾配方向の判
断例を説明するための図である。

【図６】本実施形態の隣接した２つのエッジ画素間の画
素濃度(輝度)の差の判断例を説明するための図である。

【図７】本実施形態のエッジ画像Ｅ(ｔ)の例を説明する
ための図である。

【図８】本実施形態の位置変化検出部の概略構成を示す
ブロック図である。

【図９】本実施形態の位置変化検出部の処理手順を示す
フロー図である。

【図１０】本実施形態の文字位置変化検出装置の適用例
を説明するための図である。

【図１１】本実施形態の文字位置変化検出装置の別の適
用例の説明するための図である。

【図１２】本実施形態の文字位置変化検出装置の別の適
用例の説明するための図である。

【符号の説明】

１…動画像入力手段、２…文字位置変化検出手段、３…
結果表示手段、７…動画像データ記憶部、８…輪郭線検
出部、９…位置変化検出部、１０…結果出力部、１１…
処理制御部、１２、１２Ａ，１２Ｂ，１２Ｃ…道路標
識、Ｆ(ｔ)…フレーム画像、Ｅ(ｔ)…文字輪郭線画像
(エッジ画像)、８１…エッジ画素検出部、８２…スキャ
ン制御部、８３…勾配方向判断部、８４…輝度変化算出
部、８５…エッジペアカウント部、８６…輪郭線画像作
成部、８７…輪郭線検出処理制御部、９１…輪郭線画像
入力部、９２…輪郭線画像比較部、９３…位置変化検出
処理制御部。

フロントページの続き (72)発明者 児島 治彦 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5L096 BA02 BA17 CA04 DA02 DA03 FA06 FA19 FA25 FA44 FA54 FA67 GA28 GA51 HA02 9A001 HH23 HH30 HZ21 HZ22 KK56 KZ56

Claims (4)

【特許請求の範囲】
1. 【請求項１】 文字が表示されている動画像をフレーム
   画像単位で入力して記憶する画像入力記憶手段と、 該画像入力記憶手段により入力された各フレーム画像の
   それぞれの画像内の文字輪郭線画像を作成する文字輪郭
   線画像作成手段と、 該文字輪郭線画像作成手段により得られる連続した３枚
   以上の文字輪郭線画像において、文字輪郭線画素数の変
   化及び文字輪郭線の重なりの程度を評価し、文字位置の
   変化要因を判断する文字位置変化要因判断手段と、 該文字位置変化要因判断手段により選ばれる文字位置の
   変化情報を出力する文字位置変化情報出力手段と、 前記画像入力記憶手段、文字輪郭線画像作成手段、文字
   位置変化要因判断手段及び文字位置変化情報出力手段を
   制御する制御手段とを具備することを特徴とする文字位
   置変化検出装置。
2. 【請求項２】 前記請求項１に記載の文字位置変化検出
   装置において、前記文字輪郭線画像作成手段は、入力さ
   れた各フレーム画像のエッジを検出してエッジ画像を作
   成するエッジ画像作成手段と、 該エッジ画像作成手段により得られたエッジ画像及び元
   の輝度の濃淡情報を持つフレーム画像をスキャンする方
   向を制御するスキャン方向制御手段と、 該スキャン方向制御手段により指定されたスキャン方向
   に前記エッジ画像をスキャンし、同一のスキャンライン
   上で隣接する２つのエッジの勾配方向が反対方向である
   かどうかを判断する勾配方向判断手段と、 該勾配方向判断手段により、勾配方向が反対であると判
   断された隣接する２つのエッジ間の輝度値の変化が予め
   設定された範囲内にあるかどうかを判断する輝度値変化
   範囲判断手段と、 該輝度値変化範囲判断手段により、勾配方向が反対であ
   り、かつ輝度値の変化が予め設定された範囲内にある隣
   接する２つのエッジ点を一組のエッジペアとして検出す
   るエッジペア検出手段と、 該エッジペア検出手段により検出されたエッジペアを、
   前記スキャン方向制御手段により指定されたすべてのス
   キャン方向で求め、求めた全エッジペア画素を文字輪郭
   線とみなして文字輪郭線画像を作成する文字輪郭線画像
   作成手段と、 前記エッジ画像作成手段、勾配方向判断手段、輝度値変
   化範囲判断手段及び文字輪郭線画像作成手段を制御する
   制御手段とを具備することを特徴とする文字位置変化検
   出装置。
3. 【請求項３】 前記請求項１又は２に記載の文字位置変
   化検出装置において、前記文字位置変化要因判断手段
   は、前記画像入力記憶手段により入力された動画像の各
   フレーム画像のそれぞれの文字輪郭線画像を入力して記
   憶する文字輪郭線画像入力記憶手段と、 該文字輪郭線画像入力記憶手段により入力された各フレ
   ーム画像のそれぞれの文字輪郭線画像中の文字輪郭線の
   位置を複数フレーム画像の間で比較する文字輪郭線位置
   比較手段と、 該文字輪郭線位置比較手段において、予め決めた枚数以
   上の連続する複数のフレーム画像で、文字輪郭線画素が
   同じ座標から検出された場合、文字位置に変化はないと
   判断し、文字輪郭線画素の数が予め設定した個数よりも
   少ない場合は文字が画像内から消失したと判断し、文字
   輪郭線画素は予め設定した個数よりも多いが、フレーム
   画像が変わる度に文字輪郭線画素のその個数の増減が変
   動する場合、画像中の文字に他の物体が重なっていると
   判断し、文字輪郭線画素は、予め設定した個数よりも多
   いが、時間的に前のフレーム画像と文字輪郭線画素の位
   置が変化した場合、画面内の文字表示は継続している
   が、表示位置が変化したと判断する表示位置変化判断手
   段と、 前記文字輪郭線画像入力記憶手段、文字輪郭線位置比較
   手段及び表示位置変化判断手段を制御する制御手段を具
   備することを特徴とする文字位置変化検出装置。
4. 【請求項４】 前記請求項１乃至３のうちいずれか１項
   に記載の文字位置変化検出装置において、前記画像入力
   記憶手段は、固定カメラを道路の標識を写すように設置
   し、標識中の文字表示を含む動画像を入力する動画像入
   力手段と、 該動画像入力手段により入力された動画像に対し、前記
   文字輪郭線画像作成手段及び文字位置変化要因判断手段
   により動画像中の各フレーム画像の文字輪郭線画素数と
   複数フレーム画像間の文字輪郭線画素の重なりの程度を
   評価し、予め決めた枚数以上の連続する複数フレーム画
   像で、文字輪郭線画素が同じ座標から検出された場合、
   標識の設置状況は変化はなく安定していると判断し、文
   字輪郭線画素の数が予め設定した個数よりも少ない場合
   は、文字が画像から消失したとみなし、標識が自動車事
   故等の原因により破損し、設置位置に変化が生じたと判
   断し、文字輪郭線画素数は予め設定した個数よりも多い
   が、フレーム画像が変わる度に文字輪郭線画素の個数が
   変動する場合、標識中の文字表示に他の物体が重なって
   いると判断し、文字輪郭線画素は予め設定した個数より
   も多いが、時間的に前のフレーム画像と文字輪郭線画素
   の位置が変化した場合、標識中の文字表示位置が画像か
   ら消えない範囲で変化したと判断する表示位置変化判断
   手段と、 前記動画像入力手段及び表示位置変化判断手段を制御す
   る制御手段とを具備することを特徴とする文字位置変化
   検出装置。