JP2008234432A - 映像図形文字認識システム、映像図形文字認識方法および映像図形文字認識用プログラム - Google Patents

Abstract

【課題】動画像からの記号図形認識において、各フレームにおいて高負荷な全探索を要せず、高速かつ効率的で認識率を大きく損なうことのない認識処理装置を提供する。
【解決手段】認識図形テンプレートと認識時に類似する撮影条件の学習用動画との対応付けを行い、各記号の位置や幾何変形などのパラメータ分布情報を収集すると共に、同時に確認される複数の記号の組につきその相関と配置分布を得て上位学習モデルを構築する。認識時には、学習の結果得られた各パラメータ分布から探索優先度を設定し探索範囲を絞り込んでマッチングを行い各記号を検出して、さらに検出記号組を検出漏れを考慮しつつ上位学習モデルと照合し対象事象や物体出現を判定する。
これにより上記課題を満たす認識処理装置を提供する。
【選択図】図１

Description

本発明は画像処理システム、画像処理方法および画像処理用プログラムに関し、特に映像中の図形や文字を検出する用途に用いる映像図形文字認識システム、映像図形文字認識方法および映像図形文字認識用プログラムに関する。

放送のテロップに代表されるような、映像中に現れる文字等の図形を検出し、認識する技術が提案されている。

映像中のフレーム内において対象図形が存在すると思わしき領域を抽出して、個別の図形と詳細なマッチングを行い、その分類を確定する処理が代表的である。

例えば特許文献１には、位置の特定を目的として回路基板上に記された記号を撮影した画像と、複数のテンプレートとをマッチングして認識を行う手法についての発明が開示されている。
特開２００３−３１７０９７号公報

しかし、このような従来手法では、画像中から図形表示領域を特定する検出処理に多大な処理量を要する。

さらに多様な状況で対象が撮影されている画像に対して処理を行う場合に、考慮すべき変化が増加して探索空間が拡大し、処理負荷が増加して探索が困難になる。特に映像を入力としてリアルタイムで扱う必要がある場合には、各フレーム画像を限定された時間で処理する必要があり、広範な条件での探索ができず認識精度が低下するなど、上記条件下での適用は難しい。

このような問題により、実時間適用が可能な処理量で、実用的な認識精度を得ることのできる映像図形文字認識システムはこれまで提案されていなかった。

本発明の目的は、認識率を大きく損なうことなく、各フレームにおいて高負荷な全探索を要しない比較的軽量な映像図形文字認識処理を実現することにある。

本発明の他の目的は、厳密なキャリブレーションを行う必要が無く、画角や対象記号の位置などが変化する場合においても認識可能な安定性を維持できる映像図形文字認識処理を実現することにある。

本発明の映像図形文字認識システムは、テンプレート記憶手段と、対応探索手段と、パラメータ推定手段と、上位モデル推定手段と、パラメータ情報記憶手段と、上位モデル記憶手段と、情報出現判定手段とを備える。

これらの各要素は、以下のように動作する。

テンプレート記憶手段は認識対象図形の画像テンプレートを記憶する。

対応探索手段は入力される映像の各フレームに対して、前記テンプレート記憶手段に記憶されたテンプレート群が含まれるかを探索し、その表示における各種情報を取得する処理を行う。

パラメータ推定手段は、前記対応探索手段により得られた各種の情報を集め、その統計から平均・分散などを求めることにより代表値を推定する。

上位モデル推定手段は、前記対応探索手段により得られた各種の情報について、各パタン間の相関を調べて分布を集計し、頻出する組み合わせを上位モデルとして推定する。

パラメータ情報記憶手段は、前記パラメータ推定手段で得られた代表値を記憶する。

上位モデル記憶手段は、前記上位モデル推定手段で得られた上位モデルの情報を記憶する。

情報出現判定手段は、前記対応探索手段で得られた各種情報を、前記上位モデル記憶手段に記憶された上位モデルの情報と照合し、ある上位モデルに合致する状況が認められた場合に、そのモデルの種別などを含めた各種情報を検出結果として出力する。

このような構成を採用し、認識対象図形の各テンプレート画像と学習映像との対応付けにより幾何変形パラメータの分布、各記号の位置の分布、各記号画像における輝度値差分の分布などの情報を収集しつつ、複数の記号の相対的なパラメータの分布から上位のモデルを学習する（ここまでの処理を学習と呼ぶ）。

さらに認識対象映像に対し、上記学習の結果を用いて得られた、パラメータ分布を考慮して探索優先度を設定し、各テンプレートのマッチングを行う。

さらに得られた各記号の認識結果を組み合わせて上位モデルと照合し対象事象を判定することにより、本発明の目的を達成することができる。

本発明の効果は、認識率を大きく損なうことなく、各フレームにおいて高負荷な全探索を要しない比較的軽量な認識処理が実現できることにある。

その理由は、映像の状況に応じて柔軟な認識処理系を設定し、対象映像の特性に応じて探索範囲を効率的に絞り込めるためである。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

図１を参照すると、本発明の第１の実施の形態による映像図形文字認識システムは、テンプレート記憶手段１と、対応探索手段２と、パラメータ推定手段３と、上位モデル推定手段４と、パラメータ情報記憶手段５と、上位モデル記憶手段６と、情報出現判定手段７とを備える。このシステムは、ハードウェア、ソフトウェア又はこれらの組合せにより構成することができる。

これらの手段はそれぞれ概略つぎのように動作する。

テンプレート記憶手段１は認識対象図形の画像テンプレートを記憶する。

対応探索手段２は入力される映像の各フレームに対して、前記テンプレート記憶手段１に記憶されたテンプレート群が含まれるかを探索し、その表示における各種情報を取得する処理を行う。

パラメータ推定手段３は、前記対応探索手段２により得られた各種の情報を集め、その統計から平均・分散などを求めることにより代表値を推定する。

上位モデル推定手段４は、前記対応探索手段２により得られた各種の情報について、各パタン間の相関を調べて分布を集計し、頻出する組み合わせを上位モデルとして推定する。

パラメータ情報記憶手段５は、前記パラメータ推定手段３で得られた代表値を記憶する。

上位モデル記憶手段６は、前記上位モデル推定手段４で得られた上位モデルの情報を記憶する。

情報出現判定手段７は、前記対応探索手段２で得られた各種情報を、前記上位モデル記憶手段６に記憶された上位モデルの情報と照合し、ある上位モデルに合致する状況が認められた場合に、そのモデルの種別などを含めた各種情報を検出結果として出力する。

次に、図１及び図２、図３のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

本実施の形態における動作は、事前に与えられる映像を解析してその性質を学習する映像学習処理と、学習結果を用いて認識対象映像から各図形を抽出する映像認識処理に分けられるため、それぞれに分けて説明する。

まず、映像学習処理について説明する。図２も合わせて参照されたい。

事前に認識対象図形の画像テンプレート複数をテンプレート記憶手段１に記憶しておく。

まず、対応探索手段２において、入力される学習映像の各フレームに対し、テンプレート記憶手段１に記憶されたテンプレート群が含まれるかを探索し、その表示における各種情報を取得する対応探索処理が行われる（図２のステップＡ１）。

このとき考慮して推定するパラメータは、各記号ないし画面全体の幾何変形パラメータ、各記号の画面内での出現位置、および各記号画像における各画素の輝度値差分である。

画面全体の幾何変形については平面射影変換を仮定して説明する。なお幾何変換にはとくに制限はなく、状況によってはより簡易なアフィン変換などを仮定してもよい。

学習映像の複数フレームについて上記の対応探索を行い、対応が得られた際の情報、すなわち記号、変換パラメータ、画像内の位置、テンプレート画像における各画素の差分値などの情報は、パラメータ推定手段３に与えられる。パラメータ推定手段３では、各記号別に得られた各情報の統計的な分布が集計され、その最頻値および平均・分散等を得るパラメータ推定処理が行われる（ステップＡ２）。

このときテンプレート画像については、入力フレームから変換された画像と重畳し、画素ごとに差分値の分布集計を行って、分散の小さい文字部分と分散の大きい背景部分の判別も行われる。なおこの際に複数の代表値を得てもよい。推定された各記号におけるパラメータの情報は、学習結果としてパラメータ情報記憶手段５に記憶される。

さらに、同時に検出された各記号の組み合わせにつき、上位モデル推定手段において、そのパタンと各記号間の相対配置を求めて分布を集計し、頻出する組み合わせを上位モデルとする上位モデル推定処理が行われる（ステップＡ３）。得られた上位モデルは上位モデル記憶手段６に記憶される。なお、この上位モデルは先験的な情報（物体上の記号の幾何配置や記号列の文法）などから構築したものと併用できる。

以上が映像学習処理である。なお、この学習処理は事前にオフラインで実施可能であり、実時間の処理は不要である。

続いて、映像認識処理について説明する。図３も合わせて参照されたい。

上記の映像学習処理を終えた状態で、認識対象映像が学習時と同様に、対応検索手段２に与えられ、対応探索処理が行われる（図３のステップＢ１）。

このときには、学習結果として得られた各記号のパラメータ情報をパラメータ情報記憶手段５より読み出し、その分布を用いて探索範囲を絞り込んだマッチングを行う。すなわち平均ないし複数の代表値を中心とし、これに近い値を優先して、各パラメータの偏差に応じた所定の範囲で各値の推定を行う。

なお、この探索条件の設定は状況に応じて可変とすることもでき、また、一定範囲内を探索せず所定の順位までの探索とすることも可能である。

記号が検出された際には、対象記号と各パラメータ情報が情報出現判定手段７に与えられる。情報出現判定手段では、上位モデル記憶手段に記録された上位モデルと照合する情報出現判定処理が行われる（ステップＢ２）。

この上位モデルは学習時に得られたもの、ないし、事前に先験的に設定された複数記号によるルールセットであり、例えば、複数の図形が特定の配置で同時に出現した場合に事象発生とみなすなどの判定を含む。照合の結果、上位モデルに合致する状況が発生している際には、発生時刻や出現記号などの情報が検出結果として出力される。

この照合処理において、構成する一部記号のみを検出している上位モデルがある場合には、その対応配置箇所における該当記号を比較的緩やかな条件により再探索するよう構成してもよい。

以上が映像認識処理である。

次に、本実施の形態の効果について説明する。

本実施の形態では、映像学習処理により学習映像の特性を把握し、映像認識処理においてその結果を元に探索範囲を効率的に絞り込んで対応を求めるように構成されているため、認識率を大きく損なうことなく、各フレームにおいて高負荷な全探索を要しない比較的軽量な認識処理が実現できる。

また、本実施の形態では、さらに、映像学習による対象のパラメータの絞込みを一意に行わず、映像認識処理において探索範囲に柔軟性を維持するよう構成されているため、厳密なキャリブレーションを行う必要が無く、画角や対象記号の位置などが変化する場合においても認識可能な安定性を維持できる。

なお、実施の形態は上記に限られるものでは無く、様々な条件での実施が可能である。

例えば上記では映像学習処理と映像認識処理を同一の手段の構成で実施しているが、これを元に映像学習処理で用いる構成と、映像認識処理で用いる構成に分割し、それぞれを別に実施してもよい。

次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。

図４は対象映像を撮影する環境例を表す模式図である。図中の１０１は、対象の周囲の映像を撮影するカメラであり、これにより撮影された映像は図示しない処理装置へ入力として与えられる。

１０２は対象物の一例として挙げる箱状の物体であり、その表面にはテンプレート記憶手段１にも事前に記録された既知の記号のうちいくつかの記号１０３、１０４および１０５が表記ないし貼付されている。物体１０２の位置や向き、および貼付される記号の種類、数、位置等も変化するものとし、このような物体の出現を検出し、その記号表記を認識することを目的とする場合につき説明する。

図５に、事前にテンプレート記憶手段１に記憶してある認識対象図形の画像テンプレートを表す模式図を示す。テンプレート記憶手段１には、図中の２０１−２０４のように、検出すべき各記号の画像が一意の符号と対応する形で事前に記録されている。

本発明における実施の形態の動作の説明でも述べたように、本実施例の動作は、
事前に与えられる映像を解析してその性質を学習する映像学習処理と、
学習結果を用いて認識対象映像から各図形を抽出する映像認識処理に分けられる。

以下それぞれについて説明する。

映像学習処理について説明する。

まず、対応探索手段２へ入力として学習映像を与える。この学習映像は、映像認識処理において得られる映像に類似した条件で撮影され、十分なバリエーションの認識対象が映る映像フレームを含むものであることが望まれる。

対応探索手段２では、この入力学習映像の各フレームに対し、テンプレート記憶手段１に記憶されたテンプレート群が含まれるかを、特徴点抽出などの既知の手法で対応探索を行う。一致するものが見つかった場合にはその際の各種パラメータを算出する。算出されるパラメータは、各記号ないし画面全体の幾何変形パラメータ、各記号の画面内での出現位置、および各記号画像における各画素の輝度値差分などであるが、特にこれに限定するものではない。

たとえば以下では幾何変換に平面射影変換を仮定して説明するが、より簡易なアフィン変換などを用いてもよい。

学習映像入力における一連のフレームについて上記の対応探索を行い、対応が得られた際のパラメータ群、すなわち記号、変換パラメータ、画像内の位置、テンプレート画像における各画素の差分値などの情報は、パラメータ推定手段３に与えられる。パラメータ推定手段３では、個別のテンプレート毎に得られた各情報の統計的な分布が集計され、その高頻度な値、および平均・分散等を得るパラメータ推定処理が行われる。

たとえばテンプレート画像における各画素の差分値については、入力フレームから変換された画像と重畳し、画素ごとに差分値の分布集計を行って、分散の小さい文字部分と分散の大きい背景部分の判別も行われる。

なおパラメータ推定処理の際に複数の頻出値が認められた場合、それらを個別に代表値としてもよい。このようにして推定された各記号におけるパラメータの統計的情報は、学習結果としてパラメータ情報記憶手段に記憶される。

さらに上位モデル推定手段において、フレーム内で同時に検出された各記号の組み合わせにつき、頻出するものから上位モデルを推定する処理が行われる。ここでいう上位モデルとは、複数のテンプレートに対応する記号が特定の配置で現れる状況に対応するモデルで、複数記号の組み合わせとそれらの相対配置で構成される。具体的には、同時に検出される複数記号の組み合わせごとにその出現頻度を集計し、所定の閾値を超える頻度を得た組み合わせについては、当該組み合わせの各記号のパラメータ分布より位置や幾何変換の相対配置を求めてこれを集計し、それらの平均・分散を求める。分散が所定の閾値を下回る場合には、比較的定常性の高い上位モデルとしてその記号組み合わせと相対配置パラメータの統計情報を上位モデル記憶手段６に記憶する。

なお、この上位モデルは説明した手法によらず、別途物体上の記号の幾何配置や記号列の文法などの先験的な既知情報をもとに構築したものと併用するようにしてもよい。

以上が映像学習処理である。なお、この学習処理は事前にオフラインで実施可能であり、実時間の処理は不要である。

続いて、映像認識処理について説明する。

映像学習処理を終えた状態で、認識対象映像が学習時と同様に、対応検索手段２に与えられ、対応探索処理が行われる。

映像認識処理における対応検索手段２は、映像学習処理と若干異なり、学習結果を参照して探索範囲を絞り込んで各記号の対応探索を行う。すなわち、各記号の学習結果として蓄積されるパラメータの分布情報をパラメータ情報記憶手段５より読み出し、その分布を用いて探索範囲を絞り込んだマッチングを行う。このとき平均ないし複数の代表値を中心とし、これに近い値を優先して、各パラメータの偏差に応じた所定の範囲で各値の推定を行う。

例えばある記号について、映像学習処理の結果、画面内の位置および平面射影変換パラメータについてそれぞれ平均および分散が得られパラメータ情報記憶手段５に記憶されている場合には、認識時も当該記号は類似する分布を示すと仮定し、各平均値に従う条件から探索を開始する。以降十分な類似度を与えるものが見つからない限り順次周囲を走査していく処理を、分散から求めた偏差により定める一定の範囲で行う。

また、テンプレート画像における各画素の差分値についての分散を得ている際には、差分の分散が所定の閾値より小さい画素のみを物体領域と判断して対応計算時の類似度評価に用いることにより、テンプレート画像内での背景部分が実際の映像と一致しないことによる類似度の低下を抑えて検出精度を向上することができる。あるいは分散に応じた重みを導入しても良い。

なお、これらの探索条件の設定は状況に応じて可変とすることもでき、また、一定範囲内を探索せず所定の順位までの探索とすることも可能である。

同一フレーム中で複数の記号が検出された際には、対象記号と各パラメータ情報が情報出現判定手段７に与えられる。情報出現判定手段では、上位モデル記憶手段に記録された上位モデルと照合する情報出現判定処理が行われる。

この上位モデルは学習時に得られたもの、ないし事前に先験的に設定された複数記号によるルールセットであり、例えば、複数の図形が特定の配置で同時に出現した場合に事象発生とみなすなどの判定を含む。照合の結果、上位モデルに合致する状況が発生している際には、発生時刻や出現記号などの情報が検出結果として出力される。

この照合処理において、構成する一部記号のみを検出している上位モデルがある場合には、その対応配置箇所における該当記号を比較的緩やかな条件により再探索するよう構成してもよい。

以上が映像認識処理である。

これにより、学習映像の特性に応じて探索範囲を効率的に絞り込めるため、認識率を大きく損なうことなく、各フレームにおいて高負荷な全探索を要しない比較的軽量な図形文字認識処理を行える。さらに、厳密なキャリブレーションを行う必要が無く、画角や対象記号の位置などが変化する場合においても認識可能な安定性を維持できる図形文字認識処理が実現できる。

本発明によれば、映像中に撮影される物体に表示される複数種の記号ないし文字列の認識を行うシステムに広く適用できる。

例えば工場や運送等での物流管理における表示記号認識、車載撮影動画からの標識および電光掲示認識、映像蓄積データベースからの記号表示フレーム検索およびインデックス作成などの用途に用いることができる。

本発明の第１の発明を実施するための最良の形態の構成を示すブロック図である。 第１の発明を実施するための最良の形態における、映像学習処理時の動作を示す流れ図である。 第１の発明を実施するための最良の形態における、映像認識処理時の動作を示す流れ図である。 本発明の実施例における、対象映像を撮影する環境例を表す模式図である。 本発明の実施例における、テンプレート記憶手段１に記憶される認識対象図形画像テンプレートを表す模式図である。

符号の説明

１ テンプレート記憶手段
２ 対応探索手段
３ パラメータ推定手段
４ 上位モデル推定手段
５ パラメータ情報記憶手段
６ 上位モデル記憶手段
７ 情報出現判定手段
１０１ カメラ
１０２ 対象物体例
１０３−１０５ 対象物体上の記号表記例
２０１−２０４ 画像テンプレート例

Claims (6)

1. 認識対象図形の画像テンプレートを記憶するテンプレート記憶手段と、
   入力映像に対し前記テンプレート記憶手段に記憶されたテンプレート群が含まれるかを探索し、その表示における各種情報を取得する処理を行う対応探索手段と、
   前記対応探索手段により得られた各種の情報を集め、その統計から代表値を推定するパラメータ推定手段と、
   前記対応探索手段により得られた各種の情報について、各パタン間の相関を調べて分布を集計し、頻出する組み合わせを上位モデルとして推定する上位モデル推定手段と、
   前記パラメータ推定手段で得られた代表値を記憶するパラメータ情報記憶手段と、
   前記上位モデル推定手段で得られた上位モデルの情報を記憶する上位モデル記憶手段と、
   前記対応探索手段で得られた各種情報を、前記上位モデル記憶手段に記憶された上位モデルの情報と照合し、ある上位モデルに合致する状況が認められた場合に、そのモデルの種別などを含めた各種情報を検出結果として出力する情報出現判定手段と、
   を備えたことを特徴とする映像図形文字認識システム。
2. 請求項１に記載の映像図形文字認識システムにおいて、
   前記パラメータ推定手段は、平均・分散又は最頻値を求めることにより前記代表値を推定することを特徴とする映像図形文字認識システム。
3. 認識対象図形の画像テンプレートを記憶するテンプレート記憶手段を用意するステップと、
   入力映像に対し前記テンプレート記憶手段に記憶されたテンプレート群が含まれるかを探索し、その表示における各種情報を取得する処理を行う対応探索ステップと、
   前記対応探索ステップにより得られた各種の情報を集め、その統計から代表値を推定するパラメータ推定ステップと、
   前記対応探索ステップにより得られた各種の情報について、各パタン間の相関を調べて分布を集計し、頻出する組み合わせを上位モデルとして推定する上位モデル推定ステップと、
   前記パラメータ推定ステップで得られた代表値を記憶するパラメータ情報記憶手段を用意するステップと、
   前記上位モデル推定ステップで得られた上位モデルの情報を記憶する上位モデル記憶手段を用意するステップと、
   前記対応探索ステップで得られた各種情報を、前記上位モデル記憶手段に記憶された上位モデルの情報と照合し、ある上位モデルに合致する状況が認められた場合に、そのモデルの種別などを含めた各種情報を検出結果として出力する情報出現判定ステップと、
   を備えたことを特徴とする映像図形文字認識方法。
4. 請求項３に記載の映像図形文字認識方法において、
   前記パラメータ推定ステップは、平均・分散又は最頻値を求めることにより前記代表値を推定することを特徴とする映像図形文字認識方法。
5. 認識対象図形の画像テンプレートを記憶するテンプレート記憶手段と、
   入力映像に対し前記テンプレート記憶手段に記憶されたテンプレート群が含まれるかを探索し、その表示における各種情報を取得する処理を行う対応探索手段と、
   前記対応探索手段により得られた各種の情報を集め、その統計から代表値を推定するパラメータ推定手段と、
   前記対応探索手段により得られた各種の情報について、各パタン間の相関を調べて分布を集計し、頻出する組み合わせを上位モデルとして推定する上位モデル推定手段と、
   前記パラメータ推定手段で得られた代表値を記憶するパラメータ情報記憶手段と、
   前記上位モデル推定手段で得られた上位モデルの情報を記憶する上位モデル記憶手段と、
   前記対応探索手段で得られた各種情報を、前記上位モデル記憶手段に記憶された上位モデルの情報と照合し、ある上位モデルに合致する状況が認められた場合に、そのモデルの種別などを含めた各種情報を検出結果として出力する情報出現判定手段と、
   としてコンピュータを機能させることを特徴とする映像図形文字認識用プログラム。
6. 請求項５に記載の映像図形文字認識用プログラムにおいて、
   前記パラメータ推定手段は、平均・分散又は最頻値を求めることにより前記代表値を推定することを特徴とする映像図形文字認識用プログラム。

Images