JP2007066274A - 画像認識方式 - Google Patents

Abstract

【課題】高速に運動している物体の３次元位置と速度を検出する画像認識手法を与え、視線入力に応用する。
【解決手段】配列した複数のカメラの撮影タイミングを同期させて、微小視差、微小時差で撮影した画像を統合的に分析して、対象物体の３次元位置と速度を同時に検出する。
【選択図】 図１

Description

本発明は、多視点から撮影した物体の３次元位置と速度を検出する画像認識方式に関する。また高速に動く眼球の視線方向や３次元ポインターの指示方向を検出する画像認識方式に関する。

本発明では、高速に動く眼球の視線方向や３次元ポインターの指示方向を検出することを目的として、高速に移動する物体の３次元位置を高速、高精度に認識する手法を開発しているが、物体の速度、３次元位置を検出することは、画像認識技術の中心テーマであり、既に膨大な数の論文や特許が発表されている。３次元位置を検出するためには、複数台のカメラを用いて異なる視点から撮影した画像間で対応点を見つけ、その対応点のずれ（視差）を用いて三画測量の原理で３次元位置を推定する。また異なる時点で撮影された画像間の対応点の時間的な移動量から物体の速度が求まる。このように画像計測及びステレオ画像計測によって視線方向を検出する試みは、長い歴史を持ち、古賀一男著：「眼球運動実験ミニ・ハンドブック」、労働科学研究所出版部発行（１９９８）で詳しく説明されているし、カメラとステレオ視を使う方法が特許文献１に、カメラを用いずに光の反射強度のみを用いる方式が特許文献２に、カメラのファインダー内の視線検出方法が特許文献３に、利用者に使用上の負担とならないように顔に装着せずに離れた地点から計測した画像から視線を推定する方式が特許文献４に、そして非顔装着型で単眼カメラで視線方向を検出する手法が特許文献５にと、各種手法が提案されている。

こうした従来手法に比べたときに本発明の画像認識方式の特徴は、（１）多数のカメラを直線または円周上に一列に並べて、列中の隣接カメラを近接させることにより、隣接カメラの撮影画像の差異を小さくして対応点を近傍探索で発見できるようにしたこと、（２）隣接カメラの撮影画像間の対応点を追跡して行くことにより、結果的には、カメラを直線的に並べたときの両端や円周上に並べたときの直径両端にある離れたカメラの撮影画像間で対応点を検出できるようにしたこと、（３）列中のカメラの撮影時点を微小にずらすことによって、対象物体の運動も同時に検出できるようにしたこと、（４）撮影中に対象物体が動くと、動きによる対応点の移動と、視点の違いによる対応点の移動が同時に生じてしまうが、対象物体の運動が慣性の法則に従うことを仮定して両者を分離して検出できるようにしたこと、（５）眼球の視線や３次元ポインターの指示方向を検出するためには、高速、高精度に眼球やポインターの３次元位置や方向を検出しなければならないが、そのために位置や方向検出に適した形態の投光パターンを眼球やポインターの鏡面部位に映すようにして、映ったパターンを上述のカメラ列で撮影して画像認識するようにしたこと、（６）投光パターンの投光面積を広くするため、赤外線等の非可視光を投光する光源をモニタのディスプレイのバックライトと併置して、ディスプレイの広い範囲を使って投光パターンを表示するか、あるいはディスプレイの周辺部に配置して長い範囲に渡って投光パターンを表示するようにしたこと、（７）赤外線等非可視光を用いれば上記投光パターンはモニタの表示情報に重畳（ちょうじょう）しても波長に基づき分離できるが、可視光であってもモニタ表示画面にサブリミナル映像のように本来の映像と時分割して交互に表示し、かつ表示に同期してカメラの撮影タイミングを決めることで、投光パターンを他の表示情報と分離して撮影して、視線や３次元ポインターの指示方向を検出する目的に利用すること、（８）上記投光パターンをカメラの撮影タイミングと同期するように強度変調し、投光パターンの強度を強くしたときと弱くしたときの差分画像を求めて、眼球や３次元ポインターに映った投光パターンのみを抽出するようにしたこと、等にある。上記（１）、（２）については、例えば下記の特許文献６に示すように、従来にも多視点画像を用いる方法はあったが始点を近接させて対応点の検出を容易とし、さらにそれを追跡して遠方の対応点を検出する方法はなかった。また（３）、（４）については、従来は奥行きの違いによる対応点の変化と動きによる対応点の変化が同時に生じてしまうと両者の分離が困難となるため、両者が同時に生じる状況は避けられてきた。本発明では対象物体の運動に慣性を仮定し、対象物体の速度と３次元位置を未知変数として連立方程式を立てて、それを解くことによって両者の分離を可能にしている点に新規性がある。またその際にカメラを近接させ、さらに隣接したカメラの撮影時点も近くすることで画像の差異を小さくし、対応点検出を容易にしたことに特徴がある。さらに（５）についても従来は特に位置決めが容易となる形態のパターンが投光されてきたわけでなかったし、（６）についても従来は眼球表面に映す投光パターンの光源をモニターのディスプレイのバックライトと併置することで広い面積のディスプレイを投光用に兼用する試みはなく、大面積の投光パターンを用いるよりは点光源あるいは線光源が用いられてきた。また（７）、（８）については、投光パターンの照射タイミング、強度変調のタイミングと撮影のタイミングの同期を取る試みが、特許文献７に示されているが、通常のカメラではカメラの画素スキャンに要する時間が長く、短時間の間に２枚の画像を撮影することが難しいため、特許文献７では画素スキャンをしなくとも画素毎に前時点の画素値を記憶して差分を計算できるように、撮像素子の構造に特別な工夫が導入されており、コストが掛かることが問題であった。それに対して本発明では通常の安価なカメラを近接して配置して、それらのシャッターの開放タイミングを微細にずらして、近接時点の画像を撮影することを可能にしている点が新しい。さらにカメラの視点位置が微小であっても異なることによって生じる画像のずれは、物体の運動に慣性を仮定して、推定される速度で移動した分を前に戻すことにより補正し、さらに推定される対象物の３次元位置から異なる視点の視差も補正することで克服している点も新しい。
公開特許公報（Ａ）昭６３−１８２１３ 特開平９−１０５６０９ 特開２００２−８２２７８ 特開２００５−１００３６６ 特開平８−３２２７９６ 特開平４−２６４２０７ 特開２０００−２２２０９７

近年情報機器が広範に普及し、家庭内でインターネットにアクセスすることが普通になったため、誰でも情報機器を容易に操作できるようにすることが課題となっており、分かり易いユーザインターフェイスの開発が求められている。例えば、カーソルを画面の特定のエリアに移動してクリックする場合に、従来のポインティングデバイスは操作が難しく、高齢者が小さなカーソルを小さなエリアへ合わせることは困難であった。こうした中で視線は誰でも容易に目標点に向けることができるため、視線を用いた入力方法が活発に研究されている。しかしながら、従来の視線入力方式は、精度を得るために目の近くに装置を装着する必要があり、煩わしさを伴った。また追随速度が遅く、高速な眼球の運動に対応できなかった。こうした中で、本発明では、人体に装着せずに外部に設置したカメラ列で、高速、高精度に眼球の位置と方向を検出し、視線入力を実現するための画像認識方式を開発することを課題とする。こうして得られる画像認識方式は視線入力に限定せずに任意の目的に利用できるものである。

対象物体の３次元位置の検出も、速度の検出も、基本は撮影した画像間の対応点検出になる。３次元位置を検出する場合には、異なる視点で撮影した画像間で対応点を検出する。また速度を検出する場合には、異なる時点で撮影した画像間で対応点を検出する。画像間で対応点が大きく移動していると対応点の検出が難しい。この困難さを軽減するため対象物体の速度を検出する場合には、高速撮影カメラが用いられ、微小時間差で撮影することによって画像間の対応点を接近させて、対応点検出を容易にする。本発明では、同様のアイデアを対象物体の３次元位置検出に用いるため、複数のカメラを一列（直線または円周上の列）に配列し、隣接したカメラの近接した視点から撮影した画像間の対応点を検出し、これを配列した全カメラの撮影画像に渡って追跡することで、配列の両端や円周上の対向位置にある離れたカメラで撮影した画像間についても対応点検出を行えるようにする。近接した視点から撮影した画像の差異は小さく、対応点も近傍探索により容易に見つかる。この近傍探索を配列に沿って繰り返して、近傍に見つかる対応点を追跡して行くことによって、結果的には配列両端や円周上の対応位置にあるカメラの大きく異なる撮影画像間で対応点が見つかるようになる。

さらに本発明では、複数台のカメラを有効利用するために、上記の方法で対象物体の３次元位置を計測するのと同時に運動計測も行う。近年カメラの撮像素子の画素数が増えているが、画素数が増えると画素のスキャンに要する時間が増えて高速撮影が困難となる。本発明のように複数台のカメラを用いる場合には、各カメラが並列に画素をスキャンできるので、撮影の高速化に有利である。個々のカメラが高速撮影に不適な安価なカメラであって、例えば毎秒３０枚の画像しか撮影できなくとも、５台のカメラの撮影タイミングを少しずつずらして撮影するようにすれば、毎秒１５０枚の画像を撮影できる。５台のカメラの視点が異なるため、単一の高速カメラで撮影する場合と異なり、視点の相違による対応点の移動を考慮する必要があるが、対象物体の運動が連続的で、例えば物理学の慣性の法則に従い、等速直線運動しているのであれば、カメラの撮影位置が少しずつずれていても、視点の位置の違いによる視差を補正しながら、物体の運動のみに起因する対応点の移動量を計算できる。あるいは逆に運動による対応点の移動を補正して、視点の違いのみに起因する対応点の移動量を算出することもできる。したがって、この５台のカメラを、視点の違いに基づく３次元位置計測と、撮影時点の差に基づく運動計測の両目的に兼用することができて、視点と時点の差異を微小とすることによって、いずれの計測においても対応点の移動量を微小に抑えて、対応点の検出を容易にすることができる。

さらに本発明では、配列した複数のカメラのシャッターの開閉タイミングや撮像素子の画素スキャンのタイミングをカメラ間で同期させて、対応位置にある画素の露光タイミングを正確に微小時間差でずらすことによって、精度良く対象物体の速度と３次元位置を求めることができる。

さらに本発明では、モニタのディスプレイやディスプレイ周辺部に投光パターン生成用の光源を設け、モニタの方向へ向いた眼球の表面や３次元ポインターの鏡面部に大面積の投光パターンを映し出し、投光パターンの映り具合から、眼球や３次元ポインターの位置と方向を検出する。ＱＲコードなどの２次元コードは、位置検出容易で誤り訂正可能となるように特定の規則でパターンが作られているので、そのような規則性を持ったパターンを投光することによって、撮影条件が悪くとも眼球表面または鏡面部に映った投光パターンを画像認識して、眼球や３次元ポインターによる指示情報を検出できるようにする。

ここで投光パターン生成用の光源は赤外線などの非可視光として、ディスプレイのバックライトと併設して、ディスプレイの画面全体に投光パターンを表示しても良い。あるいは可視光を用いてサブリミナル映像のように本来の映像と投光パターンを時分割してディスプレイ画面に交互に表示することもできる。後者の場合にはカメラの撮影タイミングと画面の表示タイミングを同期させるようにする。

さらに本発明では、高速に動く眼球や３次元ポインターの３次元的な位置と方向を検出するために、一列に並べた複数のカメラの撮影タイミング（シャッターの開閉タイミングあるいは画素スキャンのタイミング）を同期させて、微小に異なる視点と時点で撮影した複数枚の画像を統合的に分析することによって、対応点の３次元位置と速度を同時に求めるようにする。この際に物体の運動が慣性の法則に従い、微小時間内の運動の軌跡が直線で近似できることを利用する。

配列した複数のカメラの撮影タイミングを制御して、微小な視点の差、微小な撮影時点の差の下で撮影した複数の画像を統合的に分析することによって、対象物体の３次元位置・方向の検出と３次元速度検出を同時に実行できるようになった。

図１に本発明の画像認識方式をパソコンのディスプレイモニタと携帯電話に実装した例を示す。図中１で示すのがカメラ列であり、カメラを直線上に配列した実施例と円周上に配列した実施例を示す。各カメラには、撮影タイミングコントローラ４から、撮影タイミングや画素スキャンタイミングの同期を取るためのクロック信号が入力している。またモニタの画面５上に眼球や３次元ポインターの鏡面部に映ることになる投光パターン２が表示されている。この投光パターンはモニタ内部のバックライト用光源と併置された非可視光の赤外線光源から発せられ、ディスプレイの液晶パネルを通過して眼球に到達する。あるいはディスプレイの液晶パネルに通常の表示画像と同様に投光パターンを表示しても良いが、その場合には通常の表示画像と投光パターンを時分割して交互に表示することで、表示パターンを見せながら投光パターンを眼球に映すことができる。または投光パターン３のようにディスプレイの画面の周辺部に投光パターンを表示しても良い。この例で投光パターンの形態は、ＱＲコードと呼ばれる２次元バーコードに用いられている位置検出用パターンと同様の形態にしているが、他にも位置検出や傾斜の検出に適するパターン形態であれば、どのような形態にしても良い。

図２には、カメラ列の配列形態を２通り示す。（ａ）にはカメラを直線上に配列した例、（ｂ）にはカメラを円周上に配列した例を示す。各カメラには撮影タイミングや画素スキャン・タイミングを取るための信号線が接続されている。タイミングは近くに並ぶカメラが小さな時差で撮影するように定める。カメラを直線上に配列する場合には、列の端部で視点が一度に大きく動くことを避けるため、撮影当番は列端部で折り返され、カメラ列を往復するように撮影順序を定める。例えば図２（ａ）の配列例では、（カメラ１）→（カメラ２）→・・・→（カメラ５）→（カメラ４）→（カメラ３）→・・・→（カメラ１）というように撮影順序を定め、微小な時間差で次に撮影するカメラが位置的にも近接するようにする。一方、カメラを円周上に配列する場合には、図２（ｂ）の例で、（カメラ１）→（カメラ２）→・・・→（カメラ６）→（カメラ１）→（カメラ２）→・・・→（カメラ６）というように円周上を周回しながら撮影の順番が決まるようにする。

図３には列中の二つのカメラ、カメラ１とカメラ２の撮像素子の画素をスキャンするタイミングを同期させる様子を示す。ＣＭＯＳ方式の撮像素子では、画素にランダムアクセスすることが可能であるが、ここでは画素配列を水平方向に順番にスキャンしている。カメラ２ではカメラ１よりも一定時間遅らせて対応する画素にアクセスする。画素数が増えると全画素をスキャンするのに相当の時間を要する。例えば１００万画素に１ＧＨｚのクロックサイクルでアクセスすると１０００分の１秒を要する。これは画素の露光時間を上回るほどである。メカニカルシャッターや電子シャッターを用いる場合には、露光は全画素同時に起こり、露光中に蓄積した電荷をシャッターを閉じている間に読み取るので、画素のスキャンを同期する必要がないが、シャッターを用いずに画素スキャン中にも露光し続ける方式を取る場合には、図３に示すようにカメラ間の画素スキャンを同期させて、一定の時間遅れを与えて対応する画素にアクセスする必要がある。

図４には眼の瞳と３次元ポインターの鏡面部（図中黒く塗り潰している部位）に図１のディスプレイ上の投光パターンが反射して映っている様子を示す。この映っているパターンを図１のカメラ列で計測して、眼球の３次元位置や視線の方向、または３次元ポインターの３次元位置や指示方向を検出することになる。

図５には対象物体上の点Ｐを直線上に配列したＮ＋１台のカメラ（カメラ０〜カメラＮ）で撮影している様子を示す。点Ｐから発する光は各カメラのレンズを通過して撮像素子に投射される。点Ｐはカメラの視点に応じて撮像素子の異なる地点に投射され、視差を生じていることが分かる。点Ｐが静止している場合には、これらの視差から三角測量の原理によって点Ｐの三次元位置を算出できる。原理的には２視点の撮影画像から点Ｐの三次元位置を算出できるが、ここではＮ＋１個の視点から撮影した冗長な画像情報がある。図５から分かるように隣接した２視点の観測画像では点Ｐの投射点は近くにあり、近傍探索によって対応点を見出すことができるが、点Ｐの三次元位置の算出結果の誤差が大きくなる。一方、カメラ列の両端を視点として撮影した２枚の画像では、点Ｐの投射結果が大きく離れており、対応点を見出すことが難しいが、見出すことができれば点Ｐの三次元位置を精度良く算出できる。Ｎ＋１個の視点から撮影される冗長な情報は、この２つのケースの良いところを併せて得るために用いる。すなわち近傍探索で簡単に見つかる隣接視点の撮影画像中の対応点を隣接視点について順に辿って行けば、カメラ列の両端を視点として撮影した２枚の画像の対応点を見つけることも容易となり、こうして求めた対応点から点Ｐの三次元位置を精度良く算出できる。なおＮ＋１個の視点の撮影画像の対応点をモデルフィッティングすれば、誤差を平均化して軽減することもできる。

図６には初期位置（ｘ０，ｙ０，ｚ０）から速度（ｖｘ，ｖｙ，ｖｚ）で運動している対象物体上の点Ｐを直線上に配列したＮ＋１台のカメラ（カメラ０〜カメラＮ）で撮影している様子を示す。慣性の法則によれば重量のある物体は大きな力を加えない限り、等速直線運動をするので、短時間の間であれば、点Ｐの運動も等速直線運動であると仮定できる。点Ｐはカメラの視点に応じて撮像素子の異なる地点に投射され、視差を生じていることが分かるが、この視差には、点Ｐの三次元位置に関する情報に重複して点Ｐの運動に関する情報も含まれている。点Ｐが任意の運動をする場合には、この二種の情報を分離することは不可能であるが、点Ｐが等速直線運動をする場合には、その３次元位置と速度を分離して算出できる。具体的には、図６で未知変数は初期位置（ｘ０，ｙ０，ｚ０）と速度（ｖｘ，ｖｙ，ｖｚ）の６個であるのに対して、計測される情報はＱ１からＱＮまでＮ＋１個の投射位置に関する情報があるので、Ｎをある程度多くすれば、６個の変数を決定する上で十分な情報が得られ、連立方程式を解くなどの操作によって、初期位置（ｘ０，ｙ０，ｚ０）と速度（ｖｘ，ｖｙ，ｖｚ）の値を決定して、点Ｐの３次元位置と３次元的な速度の両者を求めることができる。実際には、この場合もＮを大きくすれば冗長な情報が得られるのでモデルフィッティングを行って誤差を軽減することができる。

図７には、点Ｐをカメラ１、２、３の撮像素子に投射した場合に撮像面上に得られる投射点Ｑ１、Ｑ２、Ｑ３の軌跡を示す。光学系に歪がない場合には、点Ｐが３次元空間中で等速直線運動する場合に、その投射点も撮像面上で等速直線運動する。ただし図７には点Ｐの運動に視点の移動の影響も加わり、投射点の軌跡が定まっていることに注意する必要がある。この場合には視点は等間隔に配置され、視点切り替えも等時間間隔で起こるので、点Ｑ１、Ｑ２、Ｑ３も直線上に等間隔で並び、処理が容易となる。

視点を変えながら撮影している最中に対象物体が静止している場合には、エピポーラ拘束によって、対応点位置は視点移動方向に拘束され、対応点探索は容易になる。あるいは対象物体が動いていても、各視点で対象を同時に撮影すればエピポーラ拘束を適用できる。特に直線状のエッジの上の点Ｐに対して対応点を探す場合には、エピポーラ拘束がないと窓問題のために対応点が一意に定まらなくなるので、本来であれば各視点で同時に対象物体を撮影することが望ましい。しかしながら、対象物体の速度を知る目的のためには撮影時点を視点毎に変えることが望ましいので、両者の折衷案としてカメラ列の撮影スケジュールを次のように定めることにする。まずカメラ列から一つおきに選んだカメラで同時に撮影する。微小時間ずれた次の時点では前の時点で選ばなかった残りのカメラで同時に撮影する。こうすれば全カメラで同時に撮影する場合に比べて、２倍の高速撮影を行いながら、異なる視点で同時に撮影した画像を用いて、エピポーラ拘束を活用しながら対応点を検出し対象物体の３次元位置を決定できる。異なる時点で撮影した画像の視差には３次元位置の情報と速度の情報が混在しているが、そこから、こうして求めた３次元位置の情報を除外することによって、速度の情報を求めることができる。

なお本発明では複数のカメラを用いているので、画素スキャン時間の制限を受けずに、高速度撮影できる。すなわちシャッターの時間間隔を小さくすることで、極めて短時間の間に２枚の画像を撮影し、対象物体の動きによる画像の差異を最小化できる。もしも撮影のタイミングと同期して、短時間のシャッター間隔の間に投光パターンの光源をＯＮからＯＦＦに変え、ＯＮとしたときに撮影した画像からＯＦＦとしたときに撮影した画像を差し引けば、眼球に映った投光パターン以外の部分については画像に差異がないのでキャンセルして画像が打ち消しあい、眼球に映った投光パターンのみが抽出されることになる。このようにして投光パターンを容易に抽出できる。なお上記ではＯＮ−ＯＦＦと言ったが一般には光の強さを強度変調し、その変調方法に応じた処理を撮影画像に加えれば良い。

図８に本発明の画像認識方式の使用例を示す。ここでは携帯電話にカメラ列１、投光パターンの光源２を実装し、投光パターンから発した光が眼球表面に反射して、カメラに撮影される様子を示す。カメラの光軸を厳密に設定することは困難であるので、大体光軸が平行になるように設置し、後からキャリブレショーン用の対象を撮影して、キャリブレーションを取り、ソフトウェア的に補正することになる。

図９には本発明の画像認識方式の処理の流れ図を示す。画素スキャンや基本的な画像処理はカメラごとに独立に設けたコントローラやサブプロセッサーで並列に実行し、これらが共通のクロックで同期されている。また対象物体の運動の慣性を仮定した運動と立体情報の分離については、メインプロセッサーで各サブプロセッサーで処理した情報を統合して計算する。

なお本発明の応用としては、上述したポインティングの他、ロボットの目に応用したり、運転者の居眠り運転の検出なども考えられる。

デスクトップパソコンのディスプレイモニタと携帯電話にカメラ列と投光パターン光源を実装した例。 カメラ列のカメラの配列形態。直線上配列と円周上配列。 カメラ列内のカメラ１とカメラ２の画素スキャンの同期。 瞳に映った投光パターンと３次元ポインターの先端に設けられた鏡面部に映った投光パターン。 カメラ列内のカメラが同時に対象物体を撮影する場合の視差。対応点はエピポーラ拘束に従って移動し、その移動量には３次元位置の情報のみが含まれる。 カメラ列内に間隔Ｄで並んだカメラが時差Ｔで撮影時点をずらしながら対象物体を撮影する。対応点の移動量には３次元位置と速度の情報が混入している。 カメラ列中の各カメラの撮影画像と対応点の移動。 本発明の画像認識方式を携帯電話に実装し、眼球でポインティングする様子。 本発明の画像認識方式の処理の流れ図。

符号の説明

１：カメラ列 ２：投光パターン ３：赤外線投光器 ４：撮影タイミングコントローラ ５：ディスプレイ画面 ６：撮像素子 ７：画素 ８：画素読み出し ９：画像読み出し

Claims (7)

1. 狭い間隔で配列した複数のカメラから成るカメラ列と、
   前記カメラ列内の隣接したカメラが微小時間差で対象を撮影するように撮影タイミングを制御する撮影タイミングコントローラと、
   前記カメラ列内の各カメラが並列に撮像素子の画素情報を読み出す並列画素スキャン手段と、
   前記カメラ列内の隣接したカメラが撮影した画像間の対応点を検出する近傍対応点検出手段と、
   前記対応点をカメラ列全体に渡って追跡する対応点追跡手段と、
   を備えて、対象物体の運動速度または対象物体までの距離を検出することを特徴とする画像認識方式。
2. 請求項１に記載した画像認識方式において、
   シャッターを利用しない場合には、前記カメラ列の各カメラ内の撮像素子の画素読み出しタイミングをカメラ間で同期させる画素スキャン同期手段を備えて、前記カメラ列内の各カメラの対応画素の読み出し時間差を正確に制御することを特徴とする画像認識方式。
3. 眼球表面や３次元ポインターに設けられた鏡面部に映る投光パターンを認識する画像認識方式であって、
   位置や傾斜角度検出に適する形態の投光パターンを眼球表面または３次元ポインターの鏡面部に映して、映った投光パターンを画像認識することによって視線や３次元ポインターの３次元位置や指示方向を検出することを特徴とする画像認識方式。
4. 請求項３に記載した画像認識方式において、
   視線や３次元ポインターを向けることになるモニタのディスプレイ画面自体やディスプレイ画面周辺に赤外線投光器を設けたことを特徴とする画像認識方式。
5. 請求項３に記載した画像認識方式において、
   ディスプレイに本来の表示目的の画像と投光パターン用の画像を時分割して交互に表示し、その表示タイミングとカメラの撮影タイミングを同期させることを特徴とする画像認識方式。
6. 請求項３に記載した画像認識方式において、
   請求項１に記載した画像認識方式を用いて、眼球表面または３次元ポインター鏡面部に映った投光パターンを画像認識することを特徴とする画像認識方式。
7. 請求項３に記載した画像認識方式において、
   眼球表面または３次元ポインター鏡面部に映す投光パターンの強度をカメラ列の撮影タイミングと同期するように時間変調することを特徴とする画像認識方式。

Images