JP2007164253A - 映像中文字認識装置、映像中文字認識方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】映像中の文字に対しての文字認識を実行する際に、短い処理時間で、高い文字認識率をもたらす結果を得るようにする。
【解決手段】文字列が画面上に表示される映像データを読み込む映像データ読み込み部１、読み込まれた映像データ中の個々の文字表示シーンに対し、画像中の個々の文字列矩形を抽出し、矩形領域内の文字らしさ特徴を計算する文字特徴抽出部２、抽出された文字特徴と、文字認識処理のパラメータセットとそれに対応する文字特徴条件の情報が定義されたパラメータセットデータベース３中の文字特徴条件とを比較し、条件に対応するパラメータセットを出力するパラメータセット検索部４、映像データ読み込み部１で読み込まれた映像データ中の個々の文字表示シーンの個々の文字列矩形内の画像領域に対し、パラメータセット検索部４から出力されたパラメータセットを用いて文字認識処理を実行する文字認識処理部５を備える映像中文字認識装置。
【選択図】図３

Description

本発明は映像中に表示される文字パターンを自動的に認識する技術に関するものである。特に、テレビ番組映像など長時間のカラー映像中に様々な文字パターンが表示されるような映像中の文字に対しての文字認識処理を実行する際に用いる各種閾値などのパラメータ情報の設定技術に関するものである。

テレビ番組などでよく使われる番組映像中のテロップ文字表示など、映像中に表示される文字パターンを文字認識処理により自動認識する技術の提案が従来からよく行われている。従来技術の例としては、文字領域判定方法および装置および記録媒体などがある(例えば、特許文献１参照。)。

一般に、映像中の文字パターンの認識処理には、その方式の中に必ず１つ以上の閾値などの処理パラメータが存在するものであり、画像内から文字領域を検出する際や認識する前にカラー画像を二値化する際などに多くのパラメータを設定する必要があるアルゴリズムとなっている。

図１に一般的なカラー画像中の文字認識処理の模式図、及び処理パラメータの例を示す。

図１（ａ）は映像中からのテロップ文字が表示されるフレーム画像を検出する処理であり、処理内容の例として、フレーム画像中の輝度エッジを検出する処理が用いられることがあるが、その際、画像中の輝度値に関する閾値が設定される。

図１（ｂ）は文字が表示される１枚のカラー画像を２値化し、文字領域を抽出した白黒の二値画像を作成する処理である。この処理の場合にも、画像を二値化する際の画像のカラー値に対しての二値化のための閾値が用いられる。

図１（ｃ）は文字パターンが含まれる白黒の二値画像から文字列を抽出し、文字列から一つ一つの文字パターンを切り出し、最終的に文字を認識する処理である。この場合は、例えば、文字パターンを切り出す際の１つ文字パターンのだいたいの大きさとして文字の高さと幅に関しての閾値を用いることが多い。通常、これら処理パラメータは、画像中に表示される文字の色、大きさ、形などの特徴に合せて、最も認識精度が高くなるような結果が得られるように設定される。
特開２０００−１８７７３２号公報

一般に、テレビ番組映像などの長時間のカラー映像中に様々な文字パターンが表示されるような映像中の文字に対しての文字認識を実行する際には、事前にどのような色、形、大きさの文字パターンが表示されるか知りうることができないため、全ての文字パターンを高精度に認識できる処理パラメータを設定することは困難である。

そのため、従来技術では、このような場合には、映像中に表示される様々な文字パターンの大きさ、色、形といった文字表示特徴にある程度の前提条件を設けて、それに合わせて、文字認識率が高くなるような１種類の処理パラメータ、あるいは、そのような前提条件が設けにくい場合は、複数の文字表示特徴に対応できるように複数種類の処理パラメータのセットを用意しておき、映像中の１つの文字表示シーンに対して、用意した処理パラメータのセットの数分だけ文字認識処理を実行する処理フローがとられている。

図２に従来技術による文字認識処理パラメータの設定方法の例を示す。

図２（ａ）は映像中に表示される様々な色、大きさ、形を持った複数のテロップ文字シーンの例を示したものである。映像中に３つのテロップシーン１〜３が含まれている様子を示しており、それぞれのテロップシーンで文字色や文字の形が異なることを示している。

図２（ｂ）は（ａ）の３つのテロップシーン１〜３に対しての処理パラメータの設定方法の例を示したものである。本来であれば、映像中の１つの文字表示シーンに対して、最も文字認識率が高くなる処理パラメータ１セットを用いた文字認識処理が１回だけ実行されるのが理想的である。

しかしながら、図２（ｂ）のような従来技術の処理パラメータの設定方法によると、複数の処理パラメータを用意する場合、映像中の個々の文字表示シーンに対し、処理の事前には、どの処理パラメータが最も認識率の高い結果を導くものかは分からないため、用意した処理パラメータセットの数だけ毎回文字認識処理が実施される。

図２（ｂ）の場合は、３つのテロップシーンに対して、それぞれパラメータセットＡ，Ｂ，Ｃが適用された文字認識処理が実施され、計９回の文字認識処理が実施される。１回あたりの文字認識処理が３秒だとすると、合計で２７秒の処理時間がかかるものである。

このように、従来技術のパラメータ設定方法によると、最も高い認識精度をもたらす処理パラメータによる実行結果を得るために、認識率の低い他のパラメータセットによる無駄な文字認識処理が実行されることになり、生放送番組などのテロップ文字をリアルタイムで認識する必要があるようなケースにおいては、余分な処理時間を費やすことになり、リアルタイムでの文字認識処理が困難となる場合があるという問題がある。

本発明は、以上の点を考慮してなされたもので、テレビ番組映像などの長時間のカラー映像中に様々な文字パターンが表示されるような映像中の文字に対しての文字認識を実行する際に、１つの文字表示シーンに対し、処理パラメータのセット数分だけ毎回文字認識処理が実行されるような非効率的な処理フローをとってしまう従来技術の問題点を解決することを目的とするものである。

そこで上記課題を解決するために、請求項１に記載の発明は、単数、または複数の文字列が画面上に表示される映像データを読み込む映像データ読み込み部と、前記映像データ読み込み部で読み込まれた映像データ中の個々の文字表示シーンに対し、画像中の個々の文字列矩形を抽出し、矩形領域内の文字らしさ特徴を計算する文字特徴抽出部と、前記文字徴抽出部で抽出された文字特徴と、文字認識処理のパラメータセットとそれに対応する文字特徴条件の情報が単数、または、複数定義されたパラメータセットデータベース中の文字特徴条件と、を比較し、条件と合致する場合、その条件に対応するパラメータセットを出力するパラメータセット検索部と、前記映像データ読み込み部で読み込まれた映像データ中の個々の文字表示シーンの個々の文字列矩形内の画像領域に対し、前記パラメータセット検索部から出力されたパラメータセットを用いて文字認識処理を実行する文字認識処理部と、を備えることを特徴とする。

また、請求項２に記載の発明は、映像データ読み込み部が、単数、または複数の文字列が画面上に表示される映像データを読み込む映像データ読み込みステップと、文字特徴抽出部が、前記映像データ読み込みステップで読み込まれた映像データ中の個々の文字表示シーンに対し、画像中の個々の文字列矩形を抽出し、矩形領域内の文字らしさ特徴を計算する文字特徴抽出ステップと、パラメータセット検索部が、前記文字徴抽出ステップで抽出された文字特徴と、文字認識処理のパラメータセットとそれに対応する文字特徴条件の情報が単数、または、複数定義されたパラメータセットデータベース中の文字特徴条件と、を比較し、条件と合致する場合、その条件に対応するパラメータセットを出力するパラメータセット検索ステップと、文字認識処理部が、前記映像データ読み込みステップで読み込まれた映像データ中の個々の文字表示シーンの個々の文字列矩形内の画像領域に対し、前記パラメータセット検索ステップから出力されたパラメータセットを用いて文字認識処理を実行する文字認識処理ステップと、を有することを特徴とする。

また、請求項３に記載の発明は、上記請求項２に記載の映像中文字認識方法をコンピュータで実行可能に記載したことを特徴とする。

また、請求項４に記載の発明は、
上記請求項２に記載の映像中文字認識方法をコンピュータで実行可能に記載したプログラムを記録したことを特徴とする。

請求項１〜４に記載の発明によれば、映像中の文字に対しての文字認識を実行する際に、短い処理時間で、高い文字認識率をもたらす結果を得ることができる。

以下、実施形態について、図面を参照しながら説明する。

図３は実施形態１の映像中文字認識装置の具体的な装置構成の一例を示したものである。

図３中の映像データ読み込み部１は、単数、又は複数の文字列が画面上に表示される映像データを読み込むものであり、具体的には、ＶＴＲ機器の出力映像信号を映像キャプチャボードを備えたパーソナルコンピュータで取り込み、ディジタル化し、メモリ領域、あるいはハードディスクに書き込むことで本部は実現可能である。

図３中の文字特徴抽出部２は、映像データ読み込み部１で読み込まれた映像データ中の個々の文字表示シーンに対し、予め決められた方法により画像中の個々の文字列矩形を抽出し、矩形領域内の色分布などの文字らしさ特徴を計算するものである。具体的には、パーソナルコンピュータ上のソフトウェアプログラムとして本部を実現する方式を実装することで実現可能である。

予め決められた方法とは、例えば、「特願平１１−２５３９４４：文字列情報抽出装置及び方法及びその方法を記録した記録媒体」で提案されている方式が利用可能である。

図４にその実現方法を説明する補足図を示す。入力画像に対し、文字領域抽出処理、及び輝度エッジ情報抽出処理を実施し、得られた文字領域、及び輝度エッジの画像内の分布密度に基づいて、映像・画像データ内の全ての表示文字列の外接矩形の位置、大きさ情報を取得するものである。

図４（ａ）は文字表示が含まれる入力画像であり、図４（ｂ）は図４（ａ）に対し、画像の二値化処理により文字領域を抽出した結果である。画像中の白い部分が文字領域である。

図４（ｃ）は図４（ａ）に対し、輝度エッジを抽出した結果である。

図４（ｄ）は図４（ｂ）、（ｃ）の文字領域と輝度エッジ情報を画像中の水平ライン毎にカウントして、ヒストグラム化した図である。このヒストグラムの山を閾値処理により取り出すことで、文字列矩形の位置、大きさを計算することが可能となる。

本処理部では、抽出した文字列矩形内でさらに、色分布の特徴など文字らしさの特徴情報を抽出する。具体的には、文字領域抽出処理を行い、文字領域の色の値、大きさの値を計算し、この値のセットを文字らしさ特徴の値として利用することで実現可能である。

図３中のパラメータセットデータベース３は文字認識処理のパラメータセットとそれに対応する文字特徴条件の情報が単数、又は、複数定義されたものであり、具体的には、コンピュータ上のハードディスクやメモリに蓄積される情報として実現可能である。なお、パラメータセットデータベース３は映像中文字認識装置の外部に設置して、映像中文字認識装置がアクセス可能にしてもよい。

図５にパラメータセットデータベースの内容の例を示す。図５の表においては、左列にパラメータセットに例を示した。パラメータセットＡとして、図１でも示した「輝度エッジ検出のための閾値：１２０」、「画像二値化のための閾値：６０」「文字サイズに関する閾値：４０」、「文字間隔に関する閾値：５」が設定されている。

右列には左列のパラメータセットに対応する画像中の文字列矩形の条件がそれぞれ設定されている。パラメータセットＡの場合は、対応する入力画像中の文字列矩形の条件として、
・矩形の左上頂点の水平座標：５０以上６０以下
・矩形の左上頂点の垂直座標：２５０以上２６０以下
・矩形の幅：３００以上３５０以下
・矩形の高さ：４０以上５０以下
・文字領域の色の値：２００以上２３０以下
・文字領域の大きさ：３０以上４０以下
というのが設定された例を示したものである。

図３中のパラメータセット検索部４は文字特徴抽出部２で抽出された文字特徴とパラメータセットデータベース３中の文字特徴条件を比較し、条件と合致する場合、その条件に対応するパラメータセットを出力するものであり、コンピュータ上のソフトウェアとして本方式を実装することで実現可能である。図６に本処理部の具体的な処理フローの一例を示す。

図６中のステップ２１は図３中の文字特徴抽出部２で抽出された文字特徴の情報を入力し、ステップ２２に移る。

図６中のステップ２２は図３中のパラメータセットデータベース３の中に格納されるパラメータセットを参照する際のカウンタ変数Ｎに対し、１を設定し、ステップ２３に移る。この際、パラメータセットデータベース中に格納される全てのパラメータセットの数をＭとする。

図６中のステップ２３は、ステップ２１で入力された文字特徴の値がパラメータセットデータベース中のＮ番目のメタデータ項目の文字列矩形条件を満たすかどうか判断するステップであり、満たす場合は、ステップ２６に進み、満たさない場合は、ステップ２４に進む。本ステップの具体的な処理結果としては、例えば、ステップ２１で入力された文字特徴の値として、文字列矩形の左上頂点の水平座標が５５、垂直座標が２５０、幅が３２０、高さが４５、文字領域の色の値が２１０、文字領域の大きさが３５であって、パラメータセットデータベース中の設定内容が図５の場合、前記入力値は、Ｎ＝１であるパラメータセットＡに対応する文字特徴の条件、
・矩形の左上頂点の水平座標：５０以上６０以下
・矩形の左上頂点の垂直座標：２５０以上２６０以下
・矩形の幅：３００以上３５０以下
・矩形の高さ：４０以上５０以下
・文字領域の色の値：２００以上２３０以下
・文字領域の大きさ：３０以上４０以下
を満たすことになる。このような場合は、ステップ２６に進む。条件を満たさない場合は、ステップ２４に進む。

図６中のステップ２４は図３中のパラメータセットデータベース３の中に格納されるパラメータセットを参照する際のカウンタ変数Ｎが全てのパラメータセット数Ｍ以下かどうか判断するステップであり、Ｎ＜＝Ｍの場合は、ステップ２５に進み、そうでない場合は、パラメータセットの検索結果は出力せずに本処理部を終了するものである。

図６中のステップ２５は図３中のパラメータセットデータベース３の中に格納されるパラメータセットを参照する際のカウンタ変数Ｎを１だけインクリメントするステップであり、ステップ２３に進む。

図６中のステップ２６はパラメータセットデータベース中のＮ番目のパラメータセットを出力するステップであり、例えば、ステップ２３の処理例の場合、パラメータセットＡが出力されるものである。本ステップの終了とともに、本処理部全体の処理も終了する。

図３中の文字認識処理部５は映像データ読み込み部１で読み込まれた映像データ中の個々の文字表示シーンの個々の文字列矩形内の画像領域に対し、前記パラメータセット検索部から出力されたパラメータセットを用いて文字認識処理を実行するものであり、コンピュータ上のソフトウェアとして実現可能である。本処理部における処理パラメータセットの適用例を図７に示す。図７には「２０日（火）」「佐藤記者」「台風１５号接近中」という３つの文字列が表示される画像を示した。

本発明によれば、図３の文字特徴抽出部２により、画像中の個々の文字列矩形、及び、矩形内の文字らしさ特徴を抽出し、その結果を利用して、文字列毎に最も文字認識率が高くなるような処理パラメータを図３のパラメータセット検索部４により取得することが可能である。具体例としては、図７の場合、３つの文字列毎に文字列「２０日（火）」に対してはパラメータセットＡ、文字列「台風１５号、接近中」に対してはパラメータセットＢ、文字列「佐藤記者」に対してはパラメータセットＣが取得され、それぞれの文字列に対して、それぞれのパラメータセットが適用され文字認識処理が実行される。

これにより、本発明によれば、映像中の文字認識を実施する場合において、複数の処理パラメータセットを事前に用意しておいても、従来技術のように処理パラメータセットの数分の処理を実行する必要なく、各文字表示画像に対して、１回の文字認識処理で最も文字認識率の高い結果を得ることが可能である。

なお、処理パラメータの事前準備方法としては、事前に入力映像中の文字表示と同様の文字表示についての処理を実施しておき、その文字表示について最も認識率が高くなるような処理パラメータセットを調べて用意しておく等の予め決められた方法により実施されるものとする。

以上の説明の通り、本実施形態によれば、テレビ番組映像などの長時間のカラー映像中に様々な文字パターンが表示されるような映像中の文字に対しての文字認識を実行する際に、１つの文字表示シーンに対し、処理パラメータのセット数分だけ毎回文字認識処理が実行されるような非効率的な処理フローをとってしまう従来技術の問題点を解決し、１回だけの文字認識処理という最短の処理時間で、最も高い文字認識率をもたらす結果を得ることができるという効果をもたらす。

具体的には、映像中の文字表示シーンの個々の文字列矩形を抽出し、その矩形内の色分布などの文字特徴を抽出し、パラメータデータベースの中から抽出した文字特徴に対応する処理パラメータを検索し、その処理パラメータを用いて文字列矩形内の文字認識を実施するものである。１枚の画像中の文字列矩形単位にその文字列に対して事前に用意された最も高い認識率をもたらす処理パラメータを用いて文字認識を実施することが可能である。

１枚の画像中の複数の文字列毎にそれぞれに最適な処理パラメータを設定することができることから、１枚の画像全体の中の部分領域に異なる処理パラメータを適用することで、画像１枚に対して１回の文字認識処理が実施されることと実質同じである。すなわち、本発明によれば、文字列矩形を事前に抽出し、それにあった処理パラメータを文字列矩形単位に取得し、画像１枚に対しては１回の文字認識処理で最も認識率の高い文字認識結果を得ることが可能となり、従来技術のように、１画像に対し、処理パラメータの個数分毎回処理する必要がなくなり、従来技術よりも速い処理速度で高精度の文字認識結果を得ることが可能となることから、従来技術の解決すべき課題が解決できる。

例えば、図２の場合であれば、テロップシーン１，２，３に対して、それぞれ処理パラメータは実質１種類で処理可能であることから、処理時間は従来技術の２７秒に対して、本発明によれば３分の１の９秒で処理可能となる。

はカラー映像中の文字認識処理のフロー、及び処理パラメータを示す模式図である。 映像中の複数の文字表示シーンに対する従来技術のパラメータ設定方法の例を示した図である。 映像中文字認識装置の装置構成の一例を示す図である。 文字列矩形抽出部の処理イメージを示す図である。 パラメータセットデータベースの内容の一例を示した図である。 パラメータセット検索部の具体的な処理フローの一例を示す図である。 文字認識処理における処理パラメータの適用例を示した図である。

符号の説明

１ 映像データ読み込み部
２ 文字特徴抽出部
３ パラメータセットデータベース
４ パラメータセット検索部
５ 文字認識処理部

Claims (4)

1. 単数、または複数の文字列が画面上に表示される映像データを読み込む映像データ読み込み部と、
   前記映像データ読み込み部で読み込まれた映像データ中の個々の文字表示シーンに対し、画像中の個々の文字列矩形を抽出し、矩形領域内の文字らしさ特徴を計算する文字特徴抽出部と、
   前記文字徴抽出部で抽出された文字特徴と、文字認識処理のパラメータセットとそれに対応する文字特徴条件の情報が単数、または、複数定義されたパラメータセットデータベース中の文字特徴条件と、を比較し、条件と合致する場合、その条件に対応するパラメータセットを出力するパラメータセット検索部と、
   前記映像データ読み込み部で読み込まれた映像データ中の個々の文字表示シーンの個々の文字列矩形内の画像領域に対し、前記パラメータセット検索部から出力されたパラメータセットを用いて文字認識処理を実行する文字認識処理部と、を備えることを特徴とする映像中文字認識装置。
2. 映像データ読み込み部が、単数、または複数の文字列が画面上に表示される映像データを読み込む映像データ読み込みステップと、
   文字特徴抽出部が、前記映像データ読み込みステップで読み込まれた映像データ中の個々の文字表示シーンに対し、画像中の個々の文字列矩形を抽出し、矩形領域内の文字らしさ特徴を計算する文字特徴抽出ステップと、
   パラメータセット検索部が、前記文字徴抽出ステップで抽出された文字特徴と、文字認識処理のパラメータセットとそれに対応する文字特徴条件の情報が単数、または、複数定義されたパラメータセットデータベース中の文字特徴条件と、を比較し、条件と合致する場合、その条件に対応するパラメータセットを出力するパラメータセット検索ステップと、
   文字認識処理部が、前記映像データ読み込みステップで読み込まれた映像データ中の個々の文字表示シーンの個々の文字列矩形内の画像領域に対し、前記パラメータセット検索ステップから出力されたパラメータセットを用いて文字認識処理を実行する文字認識処理ステップと、を有することを特徴とする映像中文字認識方法。
3. 上記請求項２に記載の映像中文字認識方法をコンピュータで実行可能に記載したことを特徴とするプログラム。
4. 上記請求項２に記載の映像中文字認識方法をコンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体。