JP2008040959A - 受動式及びインタラクティブ式の即時影像認識方法 - Google Patents

Abstract

【課題】受動式及びインタラクティブ式の即時影像認識方法を提供する。
【解決手段】主に環境の光源とノイズの影響を受けることのない影像識別方法で、受動式とインタラクティブ式の識別方法を含む。
【選択図】図１

Description

本発明は一種の受動式及びインタラクティブ式の即時影像認識方法に関する。特に一種の環境の光源とノイズの影響を受けることのない影像識別方法で、しかも各種マルチメディアインタラクティブ広告、教育、各種エンターテイメント/ゲーム、ビデオゲームなどに広く運用可能な受動式及びインタラクティブ式の即時影像認識方法に係る。

現在の影像識別技術は主にプロジェクター(或いは他の表示設備)によりマルチメディア影像を投射し、撮影機と影像読み取りインターフェースにより得られた影像をデジタル化するものである。

関連識別技術を利用し、人の身体が接触する投射影像のエリアを判断し、対応する反応を行う。識別技術の特許文献１はAND演算サブ方式を利用し図像の識別を行うものである。主に反映エリアの図像はパターンとして保存され、さらに撮影機は影像の読み取りを続け識別に供し、識別過程では逐一比較対照する。

米国特許第5,534,917号明細書

この方法は簡単で、かつ大量の演算速度を必要としないが、この種の識別方法は異なる背景光の影響を極めて容易に受け、識別に誤差が生じる易い。該予めメモリ中に保存していた図形パターンの投影後の色彩飽和度はほぼ変化し、さらにシステム設置位置が異なる場合には、その背景光源にも差異がある。よってこの種の識別技術はシステムの設置が完成後は色温色差の校正を行う必要があり、その過程は非常に煩瑣である。

本発明は上記構造の問題点を解決した受動式及びインタラクティブ式の即時影像認識方法を提供するものである。

上記課題を解決するため、本発明は下記の受動式及びインタラクティブ式の即時影像認識方法を提供する。
それは主に環境の光源とノイズの影響を受けることのない影像識別方法で、受動式及びインタラクティブ式の識別方法を含み、影像投射装置により影像を投射し、主に先ず８bitsグレースケール値の固定背景影像を確立し基準参考値とし、撮影機により影像投射装置が投射する影像区域に対して即時（８bitsグレースケール値）影像と基準参考影像を読み取り続け、影像相殺と影像２値化などの演算ステップを行い、迅速に正確に移動物体の活動を識別可能で、投射影像の感知ブロックを遮蔽していないかどうかを感知、検査し、対応する動作を執行することを特徴とする受動式及びインタラクティブ式の即時影像認識方法である。

上記のように、本発明はグレースケール撮影機により影像を読み取るため、特定のハイエンド影像読み取りカード及び各種高価なハードウエア等の補助機材を必要とせず、一般のパーソナルコンピュータで正確な識別を行うことができるため、コストを大幅に低下させることができる。しかも本発明の即時影像識別方法は各種マルチメディアインタラクティブ広告、教育、各種エンターテイメント/ゲーム、ビデオゲームなどに広く運用可能である。

本発明は環境光源変化と影像投射装置投射の影響が引起す色差の影響を受けない識別方法を開発した。しかも該方法はグレースケール撮影機を採用するため、データの流量が少なく、設備コストを大幅に低下させることができる。

図１に示すように、本発明はパーソナルコンピュータ１０、影像投射装置１１、影像区域１１a、撮影機１２、影像読み取りカード１３を含む。

本発明が主に識別する対象の種類は受動式とインタラクティブ式に大別される。受動式とインタラクティブ式の差異は影像感知ブロックの位置にある。受動式の識別モジュール下では、影像中の感知ブロック位置は固定である。インタラクティブ式の状況はちょうどこれと反対で、感知ブロックは影像投射装置の投射影像区域範囲その内において変動する。

また本発明が読み取る影像はすべて８bitsグレースケールで、そのグレースケール値の範囲は０〜２２５の間である。

受動式の即時影像識別方法は以下の通りである。
ステップ１：撮影機１２により影像投射装置１１が影像区域１１aに投射する影像を読み取り、基準参考影像（５×５グレースケール値）とする。（図１、２参照）

ステップ２：撮影機１２により影像投射装置１１が影像区域１１aに投射する即時影像（５×５グレースケール値）を読み取り続け（図１、３参照）、感知区域に外物が接触していないか否かを検査する。
上記ステップ１の基準参考影像（図２参照）とステップ２の即時影像（図３参照）の差異値を数１により表示する。

ステップ３：ステップ１の基準参考影像の各グレースケール値とステップ２の即時影像の各グレースケール値を相殺すると、のこりの影像グレースケール値分布（図４参照）を得ることができ、外物があることを示している。

ステップ４：ステップ３により相殺後の影像は通常はノイズが存在し、数２により、
２値化の方法によりノイズの影響を消去する（図７参照）。その内、Ｔ^*は最低値で、８bitsグレースケール影像中における最低値の範囲は０〜２２５の間で、最適最低値の決定方式は統計方式により求められ、最適最低値は谷位置のグレースケール値（図５参照）で、Ｔ^*を決定すると影像を２区間（図６参照）に分割することができ、その最適最低値Ｔ^*の条件はＣ₁その内の変異数にＣ₂その内の変異数を加えた和の最小であり、仮に影像の大きさＮ＝５×５で、かつ８bitsのグレースケール影像のグレースケール値個数がI＝２５６であるならグレースケール値Iの確率は以下数３のように表示され、
ここのＮ_iはグレースケール値iが影像中に出現する回数を表し、しかもiの範囲は０≦ｉ≦Ｉ−１で、確率原理に基づき以下数４を求めることができ、
仮にＣ₁その内の画素個数が占める比率が以下数５のように表示され、
であるなら、Ｃ₂その内の画素個数が占める比率は以下数６の通りで、
ここではＷ₁＋Ｗ₂＝１を満たし、続いてＣ₁の期待値を算出することができ、以下数７のように表示され、
またＣ₂の期待値は以下数８の通りで、
数７と数８を利用し、Ｃ₁とＣ₂の変異数を求めることができ、以下数９のように表示され、
すなわちＣ₁とＣ₂の変異数の和は以下数１０の通りで、
続いて、０〜２２５の間の数値を数１０中に入れるだけで、数１０中の最小値は最適最低値Ｔ^*である。

ステップ５：ステップ４により２値化後に残ったノイズは消去されたが、移動物体はいくらかの破砕の残留があり、この現象は４連続カバー及びその膨張、侵食演算法により除去し、
膨張の演算法は以下の通り：Ｍ_b（i,j）＝２５５である時、その４個の隣接点位置のカバーは以下数１１の通りで、
侵食の演算法は以下の通り：Ｍ_b（i,j）＝０である時、その４個の隣接点位置のカバーは以下数１２の通りで、
記のカバーと２値化後の影像を回転積分すれば破砕の現象を消去することができる。

ステップ６：続いて、側辺カバーを利用し、移動物体の輪郭を求めることができ、ここではSobel（影像輪郭演算カバー）カバーを採用し、物体輪郭の取得を行い、
Sobel（影像輪郭演算カバー）カバーと即時影像を、数１３で示すように回転積分し、
数１４を利用し読み取り影像のエッジを求めることができ、
上記のエッジ影像を２値化し、以下数１５のように表示され、
その内Ｔ_e ^*は最適最低値で、最適最低値を求める方法は前記と同様で、次に即時影像の２値化輪郭図E(x,y)と相殺後の２値化影像BIN(x,y)を混合すれば移動物体の輪郭は求められる。

ステップ７：移動物体の輪郭辺点の座標が感知区域と接触していないかどうかを感知、測定し、対応する動作を執行する。

ステップ８：上記すべてのステップを繰り返すことを特徴とする受動式の即時影像認識方法。

インタラクティブ式の即時影像識別方法の主要なステップは影像相殺、２値化、影像分割、感知ブロックパターン特徴読み取り、感知ブロックパターン識別に分けられる。その内、感知ブロックパターン特徴読み取りはオフライン方式で事前に行う。感知ブロックパターン識別は即時処理を行う。感知区域は投射影像中において任意の形状で、しかも回転或いは平行移動の運動を行う可能性があるため、パターン特徴値は回転、平行移動、或いは縮小拡大効果の影響を受けてはならない。ここで採用するパターン特徴値は識別を待つパターンの不変積率で、不変積率は平行移動、回転大きさ比率の変化の影響を受けない。

インタラクティブ式の即時影像識別方法は以下の通りである。
ステップ１：撮影機１２により影像投射装置１１が影像区域１１aに投射する影像を読み取り、基準参考影像とする。（図１、１０参照）

ステップ２：撮影機１２により影像投射装置１１が影像区域１１aに投射する即時影像を読み取り続ける（図１１参照）。その内、影像は可動影像２０を具え、可動感知ブロック２１に外物が接触していないか否かを検査し、
上記ステップ１の基準参考影像（図１０参照）とステップ２の即時影像（図１１参照）の差異値を数１６により表示する。

ステップ３：ステップ１の基準参考影像（図１０参照）の各グレースケール値とステップ２（図１１参照）の即時影像の各グレースケール値を相殺すると、のこりの影像グレースケール値分布を得ることができ、通常はノイズが存在し、数１７により以下に表し、
２値化の方法によりノイズの影響を消去する（図１２参照）。

ステップ４：２値化後、白色部分（図１２参照）は影像中の可動影像２０と可動感知ブロック２１で、線分エンコード法により該可動影像２０と該可動感知ブロック２１を分割することができる（図１４参照）。該（図１３参照）線分エンコード法は一種の線分保存の方法により物体中の各点のデータを保存するもので、１行目において１列の分割影像があることを探知したなら、それを第一物体中の第一列とし、１−１と記録する。次に２行目に２列を探知したなら、第一列は１−１の下方に位置するため１−２と記録する。第二列は新しい物体であるため、２−１と記録する。こうして４行目を探知する時、１列だけでしかも物体１と物体２の下方に位置することを発見したなら、元々２個物体と見なしていた影像は実は１個の物体である。しかし、先ず１−４と記録し、すべての影像の走査が完成後に合併の動作を行う。
その内、各物体保存の情報は面積区域、周囲の長さ、物体の特徴、分割の影像の大きさ、幅及び物体の総数を含む。

ステップ５：可動影像２０と可動感知ブロック２１が分割された後、続いて各物体の特徴値を計算し、７個の不変積率を採用し物体の特徴を表示し、その過程は以下の通りで、 １個の２値化影像b(m,n)の(k+l)モーメントは以下数１８のように定義され、
その中心モーメントの定義は以下数１９の通りで、
その内、数２０は物体の質量の中心を表し、
次に、数１９により得られた正規化セントラルモーメントは以下数２１の通りで、
次に、正規化の第二モーメントと第三モーメントにより７個の不変積率を導き出すことができ、以下数２２のように表示される。

ステップ６：実際のパターン識別過程では、各類別中のパターンは単一の特徴固有値だけを持つ可能性は低く、１範囲その内の値であり、しかも各パターンの特徴質は該範囲その内のある点にあり、正確に予知することはできず、さらにいわゆる明確数値範囲もまた知ることはできず、この種のアットランダム特性の問題に対して、確率の概念による記述が極めて適しており、ここでは即時パターン識別の部分に、ガウスパターン類別のベイズ分類器を採用し、識別を持つパターンを即時処理し、その定義は以下数２３の通りで、
その内、Ｄ_jは第ｊ類のパターンの決定函数で、X=[φ₁Λφ₇] は第ｊ類の特徴固定ベクターで、ｍ_jとＣ_jはそれぞれ第ｊ類パターンの平均特徴ベクターと共同変異数マトリックスで、Ｄ値が最大である時にはこの第ｊ類パターンとなり、パターン識別が完成後、感知区域の位置を決定し、識別の執行ステップは以下のように整理され、
１．図形サンプルを先ず設定し、各類別φ₁Λφ₇を計算し、さらに各類別ｍ_jとＣ_jを計算し、分類器の決定基準を完成することができ、
２．撮影機が読み取る影像はステップ４の方式を経て数個のサブ影像に分割され、各サブ影像のＤｊ（x）を計算され、
３．Ｄｊ（x）の大きさを比較し、最大であるＤｋ（x）を探し出し、この図形は第ｋ類と判定され、
識別処理後、可動感知ブロック２１を正確に探し出すことができる（図１５参照）。

ステップ７：可動感知ブロック２１が外物と接触していないかどうかを感知し、対応する動作を執行する。
ステップ８：上記のすべてのステップを繰り返す。

本発明受動式及びインタラクティブ式の即時影像認識方法のシステムアーキテクチャの表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法の撮影機事前読み取りの基準参考影像表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法の撮影機が読み取る即時影像の表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法の撮影機が読み取る基準参考影像と即時影像相殺後の表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法の最良水準値が谷位置のグレースケール値である表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法の最良水準値が2区間である表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法の読み取り基準参考影像と即時影像相殺後に２値化を経た表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法の4連続カバーの表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法のSobelカバー( a)×軸と(b)y軸の表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法のインタラクティブ式の基準参考影像の表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法のインタラクティブ式の即時影像の表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法のインタラクティブ式の基準参考影像と即時影像相殺と２値化後の表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法のインタラクティブ式の物体線分エンコード部分の表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法のインタラクティブ式の可動影像と可動感知ブロックを分割した表示図である。 本発明受動式及びインタラクティブ式の即時影像認識方法のインタラクティブ式の可動感知ブロック識別結果の表示図である。

符号の説明

１０ パーソナルコンピュータ
１１ 影像投射装置
１１a 影像区域
１２ 撮影機
１３ 影像読み取りカード
２０ 可動影像
２１ 可動感知ブロック

Claims (3)

1. 一種の受動式即時影像の認識方法について、その認識方法は以下の通りで、
   ステップ１：撮影機により影像投射装置が影像区域に投射する影像を読み取り、基準参考影像（５×５グレースケール値）とし、
   ステップ２：撮影機により影像投射装置が影像区域に投射する即時影像（５×５グレースケール値）を読み取り続け、感知区域に外物が接触していないか否かを検査し、
   上記ステップ１の基準参考影像とステップ２の即時影像の差異値を数１により表示し、
   ステップ３：ステップ１の基準参考影像の各グレースケール値とステップ２の即時影像の各グレースケール値を相殺すると、のこりの影像グレースケール値分布を得ることができ、外物があることを示しており、
   ステップ４：ステップ３により相殺後の影像は通常はノイズが存在し、数２により、
   ２値化の方法によりノイズの影響を消去し、そのその内、Ｔ^*は最低値で、８bitsグレースケール影像中における最低値の範囲は０〜２２５の間で、最適最低値の決定方式は統計方式により求められ、最適最低値は谷位置のグレースケール値で、Ｔ^*を決定すると影像を２区間に分割することができ、その最適最低値Ｔ^*の条件はＣ₁その内の変異数にＣ₂その内の変異数を加えた和の最小であり、仮に影像の大きさＮ＝５×５で、かつ８bitsのグレースケール影像のグレースケール値個数がI＝２５６であるならグレースケール値Iの確率は以下数３のように表示され、
   ここのＮ_iはグレースケール値iが影像中に出現する回数を表し、しかもiの範囲は０≦ｉ≦Ｉ−１で、確率原理に基づき以下数４を求めることができ、
   仮にＣ₁その内の画素個数が占める比率が以下数５のように表示され、
   であるなら、Ｃ₂その内の画素個数が占める比率は以下数６の通りで、
   ここではＷ₁＋Ｗ₂＝１を満たし、続いてＣ₁の期待値を算出することができ、以下数７のように表示され、
   またＣ₂の期待値は以下数８の通りで、
   数７と数８を利用し、Ｃ₁とＣ₂の変異数を求めることができ、以下数９のように表示され、
   すなわちＣ₁とＣ₂の変異数の和は以下数１０の通りで、
   続いて、０〜２２５の間の数値を数１０中に入れるだけで、数１０中の最小値は最適最低値Ｔ^*で、
   ステップ５：ステップ４により２値化後に残ったノイズは消去されたが、移動物体はいくらかの破砕の残留があり、この現象は４連続カバー及びその膨張、侵食演算法により除去し、
   膨張の演算法は以下の通り：Ｍ_b（i,j）＝２５５である時、その４個の隣接点位置のカバーは以下数１１の通りで、
   侵食の演算法は以下の通り：Ｍ_b（i,j）＝０である時、その４個の隣接点位置のカバーは以下数１２の通りで、
   記のカバーと２値化後の影像を回転積分すれば破砕の現象を消去することができ、
   ステップ６：続いて、側辺カバーを利用し、移動物体の輪郭を求めることができ、ここではSobel（影像輪郭演算カバー）カバーを採用し、物体輪郭の取得を行い、
   Sobel（影像輪郭演算カバー）カバーと即時影像を、数１３で示すように回転積分し、
   数１４を利用し読み取り影像のエッジを求めることができ、
   上記のエッジ影像を２値化し、以下数１５のように表示され、
   その内Ｔ_e ^*は最適最低値で、最適最低値を求める方法は前記と同様で、次に即時影像の２値化輪郭図E(x,y)と相殺後の２値化影像BIN(x,y)を混合すれば移動物体の輪郭は求められ、
   ステップ７：移動物体の輪郭辺点の座標が感知区域と接触していないかどうかを感知、測定し、対応する動作を執行し、
   ステップ８：上記すべてのステップを繰り返すことを特徴とする受動式の即時影像認識方法。
2. 一種のインタラクティブ式の即時影像認識方法について、その認識方法は以下の通りで、
   ステップ１：撮影機により影像投射装置が影像区域に投射する影像を読み取り、基準参考影像とし、
   ステップ２：撮影機により影像投射装置が影像区域に投射する即時影像を読み取り続け、その内、影像は可動影像を具え、可動感知ブロックに外物が接触していないか否かを検査し、
   上記ステップ１の基準参考影像とステップ２の即時影像の差異値を数１６により表示し、
   ステップ３：ステップ１の基準参考影像の各グレースケール値とステップ２の即時影像の各グレースケール値を相殺すると、のこりの影像グレースケール値分布を得ることができ、通常はノイズが存在し、数１７により以下に表し、
   ２値化の方法によりノイズの影響を消去し、
   ステップ４：２値化後、白色部分は影像中の可動影像と可動感知ブロックで、線分エンコード法により該可動影像と該可動感知ブロックを分割することができ、該線分エンコード法は一種の線分保存の方法により物体中の各点のデータを保存するもので、１行目において１列の分割影像があることを探知したなら、それを第一物体中の第一列とし、１−１と記録し、次に２行目に２列を探知したなら、第一列は１−１の下方に位置するため１−２と記録し、第二列は新しい物体であるため、２−１と記録し、こうして４行目を探知する時、１列だけでしかも物体１と物体２の下方に位置することを発見したなら、元々２個物体と見なしていた影像は実は１個の物体で、しかし、先ず１−４と記録し、すべての影像の走査が完成後に合併の動作を行い、
   その内、各物体保存の情報は面積区域、周囲の長さ、物体の特徴、分割の影像の大きさ、幅及び物体の総数を含み、
   ステップ５：可動影像と可動感知ブロックが分割された後、続いて各物体の特徴値を計算し、７個の不変積率を採用し物体の特徴を表示し、その過程は以下の通りで、
   １個の２値化影像b(m,n)の(k+l)モーメントは以下数１８のように定義され、
   その中心モーメントの定義は以下数１９の通りで、
   その内、数２０は物体の質量の中心を表し、
   次に、数１９により得られた正規化セントラルモーメントは以下数２１の通りで、
   次に、正規化の第二モーメントと第三モーメントにより７個の不変積率を導き出すことができ、以下数２２のように表示され、
   ステップ６：実際のパターン識別過程では、各類別中のパターンは単一の特徴固有値だけを持つ可能性は低く、１範囲その内の値であり、しかも各パターンの特徴質は該範囲その内のある点にあり、正確に予知することはできず、さらにいわゆる明確数値範囲もまた知ることはできず、この種のアットランダム特性の問題に対して、確率の概念による記述が極めて適しており、ここでは即時パターン識別の部分に、ガウスパターン類別のベイズ分類器を採用し、識別を持つパターンを即時処理し、その定義は以下数２３の通りで、
   その内、Ｄ_jは第ｊ類のパターンの決定函数で、X=[φ₁Λφ₇] は第ｊ類の特徴固定ベクターで、ｍ_jとＣ_jはそれぞれ第ｊ類パターンの平均特徴ベクターと共同変異数マトリックスで、Ｄ値が最大である時にはこの第ｊ類パターンとなり、パターン識別が完成後、感知区域の位置を決定し、識別の執行ステップは以下のように整理され、
   １．図形サンプルを先ず設定し、各類別φ₁Λφ₇を計算し、さらに各類別ｍ_jとＣ_jを計算し、分類器の決定基準を完成することができ、
   ２．撮影機が読み取る影像はステップ４の方式を経て数個のサブ影像に分割され、各サブ影像のＤｊ（x）を計算され、
   ３．Ｄｊ（x）の大きさを比較し、最大であるＤｋ（x）を探し出し、この図形は第ｋ類と判定され、
   識別処理後、可動感知ブロックを正確に探し出すことができ、
   ステップ７：可動感知ブロックが外物と接触していないかどうかを感知し、対応する動作を執行し、
   ステップ８：上記のすべてのステップを繰り返すことを特徴とするインタラクティブ式の即時影像認識方法。
3. 前記ステップ６において、もし影像中に数個の可動感知ブロックがあり、つまり数個のサブ参考影像があるなら、請求項１記載のステップ１から８の技術を利用し、外物がサブ参考影像に接触していないかどうかを判断することを特徴とする請求項２記載の受動式及びインタラクティブ式の即時影像認識方法。