JP2010161508A - インポーズ文字の色自動選択装置 - Google Patents

Abstract

【課題】映像情報に文字データをインポーズするにあたり、低演算量であり、且つ、頻繁な文字色変更による閲覧者への混乱を避ける手段を提供する。
【解決手段】例えば道路や河川などの監視のために設置されたカメラ等で撮影された動画情報をネットワークを経由してモニタで視聴するシステムにおいて、文字インポーズを実施する領域の画素データを読み取るインポーズ領域画素読み取り部１０１と、画素の明度が基準値より高いか低いかを判定する画素明度比較部１０３と、高いと判定したら白値に１を加算し又低いと判定したら黒値に１を加算する明度積分部１０７と、白値と黒値の値を比較する積分値比較部１１３と、白値が高い状態が一定時間続いたと判定したらインポーズ文字色を黒にし、又、黒値が高い状態が一定時間続いたと判定したらインポーズ文字色を白に決定する文字色決定部１２５からなるインポーズ文字の自動色選択装置。
【選択図】図１

Description

本発明は、スチルカメラやビデオカメラ等で撮影された映像情報を伝送し、再生する場合において、映像情報に文字を重畳させるスーパーインポーズ表示装置に関する。

スーパーインポーズ（ｓｕｐｅｒｉｍｐｏｓｅ）とは映像に文字や図形を重ねる映像効果を言うもので、テロップ（Ｔｅｌｅｖｉｓｉｏｎ Ｏｐａｑｕｅ Ｐｒｏｊｅｃｔｏｒ）とも呼ばれており、テレビ放送においては時刻告知や天気予報、歌番組における歌詞表示などに古くから用いられている技術である。以下、映像に文字を重畳することをインポーズと呼ぶことにする。

インポーズする文字の色は、現状では白色に固定することが多いが、この手段だと、例えば背景に雲や白い建造物、また、強い日光が入っている場合に、文字と背景の区別がつかなくなり、閲覧者による判読を著しく阻害するものとなる。

また、例えば防災用の定点監視においては、撮影する対象は長時間同一のものであっても、２４時間監視をする場合には、昼と夜とで映像の明度が大きく変わるため、例えば昼には黒い文字を、又、夜には白い文字をインポーズすることが理想となる。

テレビ放送初期の頃は、オペックカードと呼ばれる白色もしくは黒色のカードに、白色のオペックカードなら黒色の文字を、黒色のオペックカードなら白色の文字を表示し、判読しやすくする方法が採用された。

一方、例えば特許文献１のように、記録媒体に記録されている映像情報に関して、記録媒体から読み取った映像情報の背景色に応じてインポーズする文字色を変化する手段が提案されている。これは、文字情報を重畳させるエリアの色情報を抽出し、１フレーム間の彩度及び色相の平均値を計算することによって、最適な文字色を決定するというものであった。

また、特許文献２においても、液晶ファインダー付きカメラの液晶ファインダー部における映像と文字の表示方法に関して、背景色の明暗によってインポーズする文字色を変化させる手段が提案されている。

特開平８−１９５９６８号公報 特開平１０−３１９４８８号公報

一般に画像伝送装置の場合、搭載する文字インポーズ処理はリアルタイムでなくてはならず、そのため、ハードウェアで実現することが多い。しかるに、前記のような背景色の平均値により文字色を決定する手段をとった場合、背景色の計算にあたっては、画面の画素ドット毎の色情報を加算した後に、画素数で除算しなければならず、加算によるビット数の増加と、除算の除数の増減変化のため、計算は複雑なものとなる。

また、画素数に関しては電子デバイスや通信技術の発展により、ますます増加の傾向にあり、これに伴う演算量の増加も大きな障壁となっている。

また、映像情報は時々刻々と変化するものであるから、映像の変化に伴い頻繁に文字色が変化するのは閲覧者にとって苦痛であり、読みやすい文字色にした事がかえってスムーズな視聴を妨げることにもなりかねない。よって、頻繁にインポーズ文字色が変わってしまうという、いわゆるチャタリングを防止する保護機能が必須である。

前記のように、低演算量であり、且つ、頻繁な文字色変更を避けたいという課題を解決するために、本発明においては次のような手段をとるものとする。

本発明は、例えば道路や河川などの監視のために設置されたカメラ等で撮影された動画情報をネットワークを経由してモニタで視聴するシステムにおいて、
撮影機材によって撮影された動画情報データから文字インポーズを実施する領域の画素データを読み取るインポーズ領域画素読み取り部と、
中間調の明度値を基準値Ａとした場合に前記インポーズ領域画素読み取り部が読み取った画素の明度が基準値Ａより高いか低いかを判定する画素明度比較部と、
前記画素明度比較部が高いと判定したら白値Ｗに１を加算し又低いと判定したら黒値Ｂに１を加算する明度積分部と、
前記インポーズ領域画素読み取り部が読み取った全画素データを前記画素明度比較部が比較した結果の前記白値Ｗと黒値Ｂの値を比較する積分値比較部と、
前記積分値比較部により白値Ｗが高いと判定したらインポーズ文字色を黒にし又黒値Ｂが高いと判定したらインポーズ文字色を白に決定する文字色決定部と、
前記文字色決定部が決定した文字色によって文字情報を生成する文字情報生成部と、
からなるインポーズ文字の自動色選択装置とする。

本手段により、処理が複雑では無く、なおかつ低演算量で文字インポーズが出来、さらに、全ての手順を自動化することが可能となる。

また、本発明は、映像情報の処理単位をフレームと呼び、前記積分値比較部において、連続して前記白値Ｗが大きいと判定した連続数を連続白フレーム回数Ｘ、また、連続して黒値Ｂが大きいと判定した連続数を連続黒フレーム回数Ｙとし、連続白フレーム回数Ｘの閾値を連続白フレーム閾値Ｍ、連続黒フレーム回数Ｙの閾値を連続黒フレーム閾値Ｎとした場合に、
前記積分値比較部の比較結果を入力とする保護部は、連続白フレーム回数Ｘと連続白フレーム閾値Ｍを比較し、連続白フレーム回数Ｘが連続白フレーム閾値Ｍ以上であると判定した場合に前記文字色決定部はインポーズ文字色を黒に決定すること、ならびに、連続黒フレーム回数Ｙと連続黒フレーム閾値Ｎを比較し、連続白フレーム回数Ｘが連続黒フレーム閾値Ｎ以上であると判定した場合に前記文字色決定部はインポーズ文字色を白に決定することを特徴とするインポーズ文字の自動色選択装置とする。

本手段により、文字色が頻繁に変化する、いわゆる文字色変化のチャタリングを防止することができる。

また、本発明は、文字色を任意の色に固定し、さらに、前記文字色決定部が文字色を白と決定した場合には、文字の縁取り色を白とし、文字色を黒と決定した場合には、文字の縁取り色を黒とすることを特徴とするインポーズ文字の自動色選択装置とする。

本手段により、文字色を固定したままであっても、文字の縁の色を変化させることで、映像情報の閲覧者に対して、背景色と文字の分離理解を助けることが可能となる。

本発明によれば、映像情報にインポーズする文字色を自動で決定できるため、例えば昼と夜で文字色を変更する必要が生じるような、２４時間体制で定点監視する撮影装置が撮影した映像に重畳する文字色の変更作業を簡略化できるようになる。また、文字色の変更が頻繁に発生しない手段を取り入れた事により、画面のちらつきを防止でき、閲覧者が映像情報及び文字情報を視聴しやすくなるという効果が発生する。

全体ブロック図 処理フローチャート 保護部の処理フローチャート 決定する文字色の変化の様子

本発明による、チャタリングを防止しながらインポーズ文字色を決定する手段に関する好適な実施例に関して、図を参照して説明する。

図１は本発明にかかる全体ブロック図である。撮影機材で撮影された映像情報データ列から、インポーズ領域画素読み取り部１０１が画面内における、文字をインポーズする領域の各画素の明度データを読み取る。なお、映像情報データ列において、画面への描画の一画面分の処理単位をフレームと呼ぶことにする。

次に、予め決定している基準値Ａ１０５に対して、読み取った画素の明度値が高いか低いかを画素明度比較部１０３で判定する。判定結果を元に明度積分部１０７が、白値Ｗ１０９もしくは黒値Ｂ１１１の値を１増加させ、インポーズ領域の全画素に関しての処理が終了した時点での白値Ｗと黒値Ｂの値を積分値比較部１１３が大小判定する。

白値Ｗと黒値Ｂの大小関係は、文字をインポーズする領域に関して、白い部分が多いか黒い部分が多いかを表しているため、積分値比較部１１３により白値Ｗの数値が大きいと判定すればインポーズする文字の色を黒に、また、黒値Ｂの数値が大きいと判定すれインポーズする文字の色を白にするのも一手段ではあるが、動画映像では白値Ｗと黒値Ｂの大小関係が頻繁に入れ替わる可能性が大きい。

その際、積分値比較部１１３の判定の都度、インポーズする文字色を変えると、頻繁に文字色が変わるという、いわゆるチャタリングによる画面のちらつきが発生し、閲覧者による映像と文字の視聴が苦痛を強いるものになりかねない。そこで保護部１１５はインポーズする文字色の変更を最小限に抑え、チャタリングを防止する手段を実施する。

白値Ｗが黒値Ｂより大きい状態が何フレーム継続しているかを示す数値を連続白フレーム回数Ｘ、黒値Ｂが白値Ｗより大きい状態が何フレーム継続しているかを示す数値を連続黒フレーム回数Ｙとし、予め決定している閾値を連続白フレーム閾値Ｍ、連続黒フレーム閾値Ｎとする。

保護部１１５では連続白フレーム回数Ｘと連続黒フレーム回数Ｙの増加と初期化を管理し、連続白フレーム閾値Ｍと連続黒フレーム閾値Ｎを比較し、連続白フレーム回数Ｘと連続白フレーム閾値Ｍ、連続黒フレーム回数Ｙと連続黒フレーム閾値Ｎの大小関係を文字色決定部１２５に伝達し、インポーズする文字色が決定される。次に、決定された文字色で、文字情報生成部１２７は必要とする文字列を生成する。

次に、さらに詳細な処理フローに関して図２を参照して説明する。

ビデオ撮影機などの撮影機材で映像撮影をし（Ｓ２０１）、その映像情報における、文字をインポーズする領域の画素の明度データを読み取る（Ｓ２０３）。読み取った画素のデータ番号をｎとし、画素の明度が予め決定した基準値Ａよりも大きい場合に増加するカウンタを白値Ｗ、小さい場合に増加するカウンタを黒値Ｂとし、ループ処理の前に変数ｎ、Ｗ、Ｂを初期化する（Ｓ２０５）。

画素を順次検証するループ処理において、まず、ｎ番目の画素の明度が予め決定した基準値Ａよりも明るいか暗いかを比較判定する（Ｓ２０７）。その結果、基準値Ａよりも明るいと判定した場合は白値Ｗに１を加える（Ｓ２０９）。また、基準値Ａよりも暗いと判定した場合は黒値Ｂに１を加える（Ｓ２１１）。このように、白値Ｗの値は文字インポーズ領域における明るい部分の画素数であり、黒値Ｂの値は暗い部分の画素数である。

次に画素番号ｎに１を加え（Ｓ２１３）、文字インポーズを行う領域の画素について、１フレーム分の判定が全て終了したかを判定する（Ｓ２１５）。最後の画素でなければ再び基準値Ａとの比較処理Ｓ２０７に戻る。

直前に処理した画素が最後の画素番号であった場合には、後述するチャタリング保護処理（Ｓ２１７）を行う。

チャタリング保護処理は、インポーズする文字色が頻繁に変化するチャタリングを防止するよう動作し、その結果によってインポーズする文字の文字色が決定され、その文字色で文字情報を生成する（Ｓ２１９）。

生成した文字情報は、映像情報に重畳され、映像に文字をインポーズする処理が完了する（Ｓ２２１）。文字がインポーズされた映像情報はネットワークなどを経由して閲覧者に配信される（Ｓ２２３）。

次に、保護部１１５と文字色決定部１２５を含むチャタリング保護処理（Ｓ２１７）について、図３を用いて説明する。

チャタリング保護処理部には、１フレーム分の白値Ｗと黒値Ｂが入力される。まず、白値Ｗと黒値Ｂの大小判定を行う（Ｓ３０１）。その結果、白値Ｗの方が黒値Ｂよりも大きければ、連続白フレーム回数Ｘに１を加え、連続黒フレーム回数Ｙを０にする（Ｓ３０３）。また、黒値Ｂの方が白値Ｗよりも大きければ、連続黒フレーム回数Ｙに１を加え、連続白フレーム回数Ｘを０にする（Ｓ３０５）。

連続白フレーム回数Ｘに１を加えた場合には、次に、その結果として連続白フレーム回数Ｘが連続白フレーム閾値Ｍに達したかどうかを判定する（Ｓ３０７）。また、連続黒フレーム回数Ｙに１を加えた場合には、次に、その結果として連続黒フレーム回数Ｙが連続黒フレーム閾値Ｎに達したかどうかを判定する（Ｓ３０９）。

連続白フレーム回数Ｘが連続白フレーム閾値Ｍ以上であれば、一定時間以上、映像の明度が高い状態が継続していると判断し、インポーズする文字色を黒に決定する（Ｓ３１１）。また、連続黒フレーム回数Ｙが連続黒フレーム閾値Ｎ以上であれば、一定時間以上、映像の明度が低い状態が継続していると判断し、インポーズする文字色を白に決定する（Ｓ３１３）。それぞれ連続白フレーム閾値Ｍ、連続黒フレーム閾値Ｎに達していなければ、文字色は１フレーム前の状態を継続する（Ｓ３１５）。

チャタリング保護処理を行わない場合と行う場合について、インポーズする文字色が実際にどのように変化するかについて、一例を図４に示す。

図４において、横軸は映像フレーム数である。前記のように、映像情報データ列において、描画の一画面分の処理単位をフレームと呼ぶものであり、時間の推移に伴って横軸を右方向に移動していく。

縦軸は１つのフレームに関する処理終了時の連続白フレーム回数Ｘと連続黒フレーム回数Ｙであり、連続白フレーム閾値Ｍと連続黒フレーム閾値Ｎをグラフ中に示している。前記のように連続白フレーム回数Ｘと連続黒フレーム回数Ｙは、どちらかが１ずつ増加し、どちらかが０に初期化されるものであるから、一方が縦軸方向に伸びている区間は他方は０の値を取る。

まず、チャタリング保護機能が無い場合について説明する。

最初にフレーム終了時の白値Ｗが黒値Ｂよりも大きい状態、つまり、連続白フレーム回数Ｘが増加している状態が続いている。この状態ではインポーズする領域の画像の明度が高いと判定しているから、チャタリング保護機能が無ければインポーズする文字色を黒と判定する。フレーム数ｂで白値Ｗと黒値Ｂの大小関係は逆転し、黒値Ｂの方が白値Ｗよりも大きいと判定したために、連続白フレーム回数Ｘを０とし、連続黒フレーム回数Ｙが増加を始める。この間はインポーズする領域の画像の明度が低いと判定しているから、インポーズする文字色は白に変化する。

さらにフレーム数ｃでは再び白値Ｗの方が黒値Ｂよりも大きくなっており、インポーズする文字色は黒に変化する。このように、白値Ｗと黒値Ｂの比較において、白値Ｗの方が大きい区間は全てインポーズする文字色を黒に、黒値Ｂの方が大きい区間は全てインポーズする文字色を白に決定している。

次にチャタリング保護機能が有る場合について説明する。

チャタリング保護機能は、連続白フレーム回数Ｘが連続白フレーム閾値Ｍに達したかどうか、または、連続黒フレーム回数Ｙが連続黒フレーム閾値Ｎに達したかどうかを文字色の判定基準にするため、フレーム数ａまでは前のフレームでの文字色を維持し、フレーム数ａにおいて連続白フレーム回数Ｘが連続白フレーム閾値Ｍに達したため、ここで文字色を黒と判定する。

フレーム数ｂにおいて黒値Ｂの方が白値Ｗよりも大きくなり、連続白フレーム数も０になるが、連続黒フレーム回数Ｙが連続黒フレーム閾値Ｎに達していないため、文字色は変化しない。フレーム数ｅにおいて連続黒フレーム数Ｙが連続黒フレーム閾値Ｎに達したため、ここで文字色を白に変化させる。

同様に、フレーム数ｆにおいて白値Ｗが黒値Ｂより大きくなっているが、連続白フレーム回数Ｘが連続白フレーム閾値Ｍに達していないため、文字色は変化させない。

このように、図４において、保護機能無しの場合と保護機能有りの場合の文字色の変化を比べると、保護機能の効果によって、頻繁な文字色変化、つまりチャタリングの発生が抑えられていることがわかる。

本実施例において、インポーズする文字の文字色の決定手段と、頻繁な文字色変化を抑えるチャタリング保護手段について説明した。なお、本発明では基準値Ａ、連続白フレーム閾値Ｍ、および連続黒フレーム閾値Ｎに関して、その値の決定にはなんら制限を加えるものではない。

本発明では、文字色に関して、白色にするか黒色にするかに限定して実施例を説明したが、これに限定するものではない。例えば、白値Ｘから黒値Ｙを減算した値が大きい程に文字色を白に近く、又、黒値Ｙから白値Ｘを減算した値が大きい程に文字色を黒に近くするなど、グレースケールやカラーを用いた文字色決定手段も考えられる。

本発明では、閲覧者が映像を視聴しやすいようにする手段として文字色そのものを変化させるよう、本実施例で説明したが、これに限定するものではない。例えば、文字色を固定とし、文字の縁取りをする際の縁の色を本発明に沿って変化させることも、本発明によれば容易に実施することが可能である。

１０１…インポーズ領域画素読み取り部、 １０３…画素明度比較部、
１０５…基準値Ａ、 １０７…明度積分部、
１０９…白値Ｗ、 １１１…黒値Ｂ、
１１３…積分値比較部、 １１５…保護部、
１１７…連続白フレーム回数Ｘ、 １１９…連続黒フレーム回数Ｙ、
１２１…連続白フレーム閾値Ｍ、 １２３…連続黒フレーム閾値Ｎ、
１２５…文字色決定部、 １２７…文字情報生成部、

Claims (3)

1. 例えば道路や河川などの監視のために設置されたカメラ等で撮影された動画情報をネットワークを経由してモニタで視聴するシステムにおいて、
   撮影機材によって撮影された動画情報データから文字インポーズを実施する領域の画素データを読み取るインポーズ領域画素読み取り部と、
   中間調の明度値を基準値Ａとした場合に前記インポーズ領域画素読み取り部が読み取った画素の明度が基準値Ａより高いか低いかを判定する画素明度比較部と、
   前記画素明度比較部が高いと判定したら白値Ｗに１を加算し又低いと判定したら黒値Ｂに１を加算する明度積分部と、
   前記インポーズ領域画素読み取り部が読み取った全画素データを前記画素明度比較部が比較した結果の前記白値Ｗと黒値Ｂの値を比較する積分値比較部と、
   前記積分値比較部により白値Ｗが高いと判定したらインポーズ文字色を黒にし又黒値Ｂが高いと判定したらインポーズ文字色を白に決定する文字色決定部と、
   前記文字色決定部が決定した文字色によって文字情報を生成する文字情報生成部と、
   からなるインポーズ文字の自動色選択装置。
2. 映像情報の処理単位をフレームと呼び、前記積分値比較部において、連続して前記白値Ｗが大きいと判定した連続数を連続白フレーム回数Ｘ、また、連続して黒値Ｂが大きいと判定した連続数を連続黒フレーム回数Ｙとし、連続白フレーム回数Ｘの閾値を連続白フレーム閾値Ｍ、連続黒フレーム回数Ｙの閾値を連続黒フレーム閾値Ｎとした場合に、
   前記積分値比較部の比較結果を入力とする保護部は、連続白フレーム回数Ｘと連続白フレーム閾値Ｍを比較し、連続白フレーム回数Ｘが連続白フレーム閾値Ｍ以上であると判定した場合に前記文字色決定部はインポーズ文字色を黒に決定すること、ならびに、連続黒フレーム回数Ｙと連続黒フレーム閾値Ｎを比較し、連続白フレーム回数Ｘが連続黒フレーム閾値Ｎ以上であると判定した場合に前記文字色決定部はインポーズ文字色を白に決定すること、を特徴とする請求項１に記載のインポーズ文字の自動色選択装置。
3. 文字色を任意の色に固定し、さらに、前記文字色決定部が文字色を白と決定した場合には、文字の縁取り色を白とし、文字色を黒と決定した場合には、文字の縁取り色を黒とすることを特徴とする、請求項１ないし請求項２に記載のインポーズ文字の自動色選択装置。