JP2006285715A - 視線検出システム - Google Patents

Abstract

【課題】視線検出対象の人物に負担をかけず、人物の状態変化に適応した視線の補正データを取得できる視線検出システムを提供する。
【解決手段】視線検出システムでは、人物の視線を検出して表示画面上の注視点(検出注視点)Ｐ０にポインタＰＴを表示させる。ここで、ポインタＰＴによって指定したボタンＢ１に対して例えば人物が素早く２回瞬きを行うことで押下イベントが生じる場合、ボタンＢ１が十分に小さいと、人物が実際に注視している点(主観注視点)ＱはボタンＢ１の中央Ｂｃとみなすことができる。そこで、このような場合には検出注視点Ｐ０とボタンＢ１の中央Ｂｃとの位置ずれ量(補正データ)を算出し、以後のポインタＰＴの表示位置の補正に反映させることとする。これにより、上記の入力イベントが発生する度に補正データを更新できるため、人物に負担をかけず人物の状態変化に適応した補正データを取得できる。
【選択図】図３

Description

本発明は、所定サイズより小さい小型入力部品が表示画面に表示される視線検出システムに関する。

人物の視線を検出する視線検出システムにおいては、検出される人物の視線方向と人物の実際に「見ている」方向(人物の主観)とは一般に一致せず、両者の間にずれが生じている。その原因としては、例えば
・検出装置の出力に誤差がある
・眼球形状に個人差がある
・光学的に検出される眼球の光軸と、中心窩を通る光軸とが異なる
・左右方向と上下方向とでずれ量が異なる
が考えられる。

そこで、上記のずれを改善するために、例えば特許文献１の技術が提案されている。この技術は、検出対象の人物に２点のターゲットを注視させ、その時の検出装置の検出結果と既知のターゲット位置とのずれ量を補正データとして取得し、以後の視線検出結果に反映させるというものである。

特開２００３−７９５７７号公報

しかしながら、特許文献１の技術では、補正データの取得を最初に行うため、補正データ取得後に人物の状態が変化する場合（例えば人物が眼鏡を着脱する場合や疲労により眼の開き具合等が小さくなって眼部位の形状が変化する場合）、この状態変化に適応した補正を行えない。

また、特許文献１の技術では、補正データ取得のためのアクション(ターゲットの注視)を人物に要求するため、その負担が大きい。

本発明は、上記課題に鑑みてなされたものであり、視線検出対象の人物に負担をかけず、人物の状態変化に適応した視線の補正データを取得できる視線検出システムを提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、所定サイズより小さい小型入力部品が表示画面に表示される視線検出システムであって、(a)前記表示画面の前にいる人物の頭部に関する位置と姿勢と視線方向との情報を取得する情報取得手段と、(b)前記情報取得手段で取得された情報に基づき、前記人物の視線と前記表示画面とに関する交点を算出する算出手段と、(c)前記交点に基づく表示画面の位置にポインタを表示させる表示制御手段と、(d)前記ポインタによって指定された小型入力部品で入力イベントが発生する際に、当該小型入力部品の中央部と前記交点とに関する位置ずれ量を検出する位置ずれ検出手段と、(e)前記位置ずれ量に基づく補正データを記憶手段に保存する保存手段とを備え、前記表示制御手段は、(c-1)前記記憶手段に保存される補正データに基づき前記ポインタの表示位置を補正する補正手段を有する。

また、請求項２の発明は、請求項１の発明に係る視線検出システムにおいて、前記保存手段は、(e-1)前記位置ずれ検出手段で前記位置ずれ量が検出された検出済の小型入力部品に関する位置情報と、当該検出済の小型入力部品で得られた前記補正データとを関連付けた第１データテーブルを前記記憶手段に保存する手段を有するとともに、前記補正手段は、前記表示画面に表示されているポインタの近傍位置にある前記検出済の小型入力部品に関連付けられた補正データを前記第１データテーブルに基づき取得して、当該ポインタの表示位置を補正する手段を有する。

また、請求項３の発明は、請求項１または請求項２の発明に係る視線検出システムにおいて、(f)前記人物の状態を検出する状態検出手段をさらに備え、前記保存手段は、(e-2)前記入力イベントが発生した際に前記状態検出手段で検出された人物の状態と、当該入力イベントによって得られた補正データとを関連付けた第２データテーブルを前記記憶手段に保存する手段を有するとともに、前記補正手段は、前記状態検出手段で検出されている人物の状態に応じた補正データを前記第２データテーブルに基づき取得して、前記ポインタの表示位置を補正する手段を有する。

また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る視線検出システムにおいて、(g)前記人物が行う特定の入力動作により、前記補正データに追加する追加の補正データを取得する追加データ取得手段をさらに備え、前記保存手段は、(e-3)前記追加データ取得手段で取得された追加の補正データを前記記憶手段に保存する手段を有するとともに、前記補正手段は、前記記憶手段に保存される前記補正データと前記追加の補正データとに基づき、前記ポインタの表示位置を補正する手段を有する。

上記の課題を解決するため、請求項１ないし請求項４の発明によれば、表示画面の前にいる人物の頭部に関する位置と姿勢と視線方向との情報を取得し、この取得情報に基づき人物の視線と表示画面とに関する交点を算出してポインタを表示させる。ここで、ポインタによって指定された小型入力部品で入力イベントが発生する際に当該小型入力部品の中央部と交点とに関する位置ずれ量を検出し、位置ずれ量に基づく補正データでポインタの表示位置を補正する。その結果、小型入力部品で入力イベントが発生する度に補正データを更新できるため、視線検出対象の人物に負担をかけず、人物の状態変化に適応した補正データが得られる。

特に、請求項２の発明においては、位置ずれ量が検出された検出済の小型入力部品に関する位置情報と当該検出済の小型入力部品で得られた補正データとを関連付けた第１データテーブルに基づき、表示されているポインタの近傍位置にある検出済の小型入力部品に関連付けられた補正データを取得して当該ポインタの表示位置を補正する。その結果、ポインタの位置補正に関する精度を向上できる。

また、請求項３の発明においては、入力イベントが発生した際に検出された人物の状態と当該入力イベントによって得られた補正データとを関連付けた第２データテーブルに基づき、検出されている人物の状態に応じた補正データを取得してポインタの表示位置を補正する。その結果、ポインタの位置補正に関する精度を向上できる。

また、請求項４の発明においては、人物が行う特定の入力動作により補正データに追加する追加の補正データを取得し、補正データと追加の補正データとに基づきポインタの表示位置を補正するため、補正データによるポインタの位置補正が不十分な場合でも、追加の補正データによる補正を行える。

＜第１実施形態＞
＜視線検出システムの要部構成＞
図１は、本発明の第１実施形態に係る視線検出システム１Ａの要部構成を示す図である。

視線検出システム１Ａは、ステレオカメラ２と、ステレオカメラ２と通信可能に接続する情報処理装置３とを備えている。

ステレオカメラ２は、例えばＣＣＤ等の撮像素子を有する２台の撮像装置２１、２２を備えており、これらの撮像装置２１、２２により被写体である人物ＳＢを異なる方向から撮影して得られた各画像データを情報処理装置３に送信する。

情報処理装置３は、例えばパーソナルコンピュータとして構成されており、本体部３０Ａと、画像表示が可能な表示画面３３を有する表示部３１と、キーボードとして構成された操作部３２とを備えている。表示画面３３は、例えば縦２８ｃｍ・横３５ｃｍの画面サイズを持っており、例えば縦１０２４ピクセル・横１２８０ピクセルの解像度を有している。

本体部３０Ａは、コンピュータとして働くＣＰＵおよびメモリを内蔵し、情報処理装置３の各部を統括的に制御する。また、本体部３０Ａには、ステレオカメラ２の前にいる人物ＳＢの視線を検出して補正を行うプログラムや、その補正データを保存する記憶部(例えばハードディスク)が設けられている。

情報処理装置３では、スレテオカメラ２から受信した画像データと、本体部３０Ａ内の記憶部に記憶している各撮像装置２１、２２の既知のカメラパラメータ（例えば光学パラメータとしての撮影レンズの焦点距離や画素サイズなど）とに基づき、被写体の３次元情報、具体的には表示画面３３の前にいる人物ＳＢの頭部ＨＤに関する３次元位置、姿勢および視線方向ＤＥの情報を取得できる。この３次元情報の取得については、特開２００３−１５８１６号公報で開示される「ステレオカメラを使用した顔・視線認識装置」の手法を利用できる。

以上のように取得された人物ＳＢの３次元情報を利用し、情報処理装置３では表示画面３３上において人物ＳＢが注視しているポイント(注視点)Ｐを検出できるようになっている。

注視点Ｐの検出については、ステレオカメラ２と表示画面３３との３次元位置関係が既知であれば、
(１)ステレオカメラ２の撮影画像から得られた人物ＳＢの頭部ＨＤの位置、姿勢および視線方向の情報と、
(２)ステレオカメラ２と表示画面３３との位置関係の情報と、
に基づき、視線方向ＤＥに沿った人物ＳＢの視線(視線ベクトル)と表示画面３３との交点を算出することにより、注視点Ｐの表示画面３３上の位置が得られることとなる。このように検出される注視点Ｐについては、ステレオカメラ２で人物ＳＢの頭部ＨＤを繰り返し撮影することにより人物の視線方向ＤＥに追従した注視点Ｐの移動が可能となる。

ただし、視線検出システム１Ａで検出される人物ＳＢの視線方向ＤＥと、人物ＳＢが実際に注視している方向とは、検出誤差や眼球形状の個人差等によって「ずれ」が生じているため、上記の注視点Ｐも位置ずれが発生していることとなる。

そこで、視線検出システム１Ａでは、注視点Ｐの位置ずれを改善するために補正データを取得して以後の視線検出に反映させるキャリブレーション(較正)動作を行うが、この補正データの取得について以下で詳しく説明する。

＜補正データの取得＞
図２は、表示画面３３に表示されるポインタＰＴを示す図である。また、図３は、図２のポインタＰＴ付近を拡大した図である。

ポインタＰＴは操作部３２に対するユーザの入力操作によっても表示画面３３内の移動が可能であるが、以下ではポインタＰＴを視線検出システム１Ａで検出される注視点(以下では「検出注視点」という)Ｐ０に基づく表示画面３３の位置に表示させて移動するケースについて説明する。具体的には、検出注視点Ｐ０にポインタＰＴを表す矢印の先端を一致させるようにポインタＰＴを表示して移動させる場合を考える。

視線検出システム１Ａでは、視線検出対象の人物ＳＢが表示画面３３に表示されるウィンドウＷＮ上の「Ｆ」ボタンＢ１を指定して押下イベント（マウスのクリックイベントに相当）を発生させたい場合、まず人物ＳＢは視線を「Ｆ」ボタンＢ１上に移してポインタＰＴを「Ｆ」ボタンＢ１上に移動させる。そして、ポインタＰＴが「Ｆ」ボタンＢ１に合っていることを確認した後、人物ＳＢはボタン入力動作として例えば素早く２回瞬きを行うことにより、視線検出システム１Ａにおいて「Ｆ」ボタンＢ１の押下イベントを発生させることとする。

この「Ｆ」ボタンＢ１の押下時は、上述のように検出注視点Ｐ０の位置ずれが生じているため、人物ＳＢがボタン押下動作を行う直前に検出された検出注視点Ｐ０と、人物ＳＢが実際に主観で見ている点(以下では「主観注視点」という)Ｑとの位置ずれ量を演算して、補正データを取得することとする。この補正データ取得について、具体的に説明する。

表示画面３３は上述のように縦２８ｃｍ・横３５ｃｍの画面サイズであるため、表示画面３３と人物ＳＢの眼までの距離が例えば６０ｃｍである場合には、表示画面３３全体に対する人物ＳＢの視野角は横３２.５°、縦２６.３°となる。一方、表示画面３３の解像度は上述のように縦１０２４ピクセル・横１２８０ピクセルであるため、「Ｆ」ボタンＢ１の縦横方向が各１６ピクセルである場合には、「Ｆ」ボタンＢ１は４.３８ｍｍ角の大きさとなり、人物ＳＢの視野角で表すと０.４２°となる。

このように人物ＳＢにとって縦横方向とも十分に小さい「Ｆ」ボタンＢ１においては、主観注視点Ｑは「Ｆ」ボタンＢ１の中央Ｂｃに一致しているとみなすことができる。ここで、十分に小さいボタンとしては、視野角で０.５°以内に収まる程度のボタンが好適である。一方、検出注視点Ｐ０については、主観注視点Ｑとみなす「Ｆ」ボタンＢ１の中央Ｂｃから右下に位置ずれが生じている。

そこで、視線検出システム１Ａは、「Ｆ」ボタンＢ１の中央Ｂｃに対する検出注視点Ｐ０の縦方向のずれ量Ｅｖおよび横方向のずれ量Ｅｈを補正データとして算出する。すなわち、ポインタＰＴによって指定された「Ｆ」ボタンＢ１で押下イベント(入力イベント)が発生する際に、当該「Ｆ」ボタンＢ１の中央部と検出注視点Ｐ０とに関する位置ずれ量を検出し、この位置ずれ量に基づく補正データを本体部３０Ａ内の記憶部に保存する。そして、保存された補正データに基づきポインタＰＴの表示位置補正を行って、以後のポインタＰＴの表示位置を改善することとする。

一方、「Ｆ」ボタンＢ１のように縦横方向とも小さいボタンではなく、図２の「Ｅ」ボタンＢ２のように縦方向は小さいが横方向に長いボタンに対して押下イベントが生じた場合、「Ｅ」ボタンＢ２の横方向について人物ＳＢがどの箇所を注視しているかを判断するのは難しい。このような場合には、ボタン押下動作の際に縦方向の位置ずれ量のみを補正データとして取得することとする。同様に、横方向は小さいが縦方向に長いボタンい対して押下イベントが生じた場合には、横方向の位置ずれ量のみを補正データとして取得する。

なお、図２の「Ａ」ボタンＢ３のように縦方向も横方向も大きなボタンの場合には、主観注視点Ｑを特定するのが困難であるため、この場合の補正データの更新は行わないこととする。

以上のように人物ＳＢがポインタＰＴで選択したボタンに基づき主観注視点Ｑを推定してポインタＰＴの補正量を算出するため、人物ＳＢに負担をかけずに簡易に補正データの取得が行える。

＜視線検出システム１Ａの動作＞
図４は、視線検出システム１Ａの基本的な動作を示すフローチャートである。本動作は、特にポインタＰＴの位置ずれ量を検出し補正データを取得する動作を示している。

ステップＳＴ１では、ステレオカメラ２で取得した画像中に人物ＳＢの顔が検出されたかを判定する。ここで、人物ＳＢの顔が検出された場合には、ステップＳＴ２に進み、検出されない場合には、ステップＳＴ１を繰り返す。

ステップＳＴ２では、人物ＳＢの頭部ＨＤの３次元位置、姿勢、視線方向を検出する。

ステップＳＴ３では、ステップＳＴ２の検出結果に基づき人物ＳＢの視線と表示部３１の表示画面３３との交点、つまり検出注視点Ｐを求め、この検出注視点ＰにポインタＰＴを表示する。これにより、人物ＳＢの視線が動くと、これに追従してポインタＰＴが表示画面３３上を移動することとなる。

ステップＳＴ４では、ポインタＰＴにより指定された表示画面３３上のボタンが押下されたかを判定する。すなわち、ポインタＰＴによって選択されたボタンで押下イベントが発生したか否かを判断する。ここで、ボタンが押下された場合には、ステップＳＴ５に進み、ボタンが押下されていない場合には、ステップＳＴ１に戻る。

ステップＳＴ５では、押下されたボタンの中心とポインタＰＴとの位置ずれ量を算出する。ここでは、例えば図３に示す「Ｆ」ボタンＢ１の中央ＢｃとポインタＰＴの先端(検出注視点Ｐ０)との縦・横方向のずれ量Ｅｖ、Ｅｈが導出される。

ステップＳＴ６では、例えば図２に示す「Ｆ」ボタンＢ１のように、縦横方向が十分に小さいボタンが押下されたかを判定する。具体的には、縦横方向が所定サイズ（例えば視野角０.５°）より小さい小型のボタン(小型入力部品)に該当するか否かを判断する。ここで、縦横方向が小さいボタンの場合には、ステップＳＴ７に進み、小さくないボタンの場合には、ステップＳＴ８に進む。

ステップＳＴ７では、ステップＳＴ５で算出した縦横方向の位置ずれ量をポインタＰＴの補正データとして保存する。これにより、保存される補正量をオフセット値として検出注視点に加えることができるため、以後のポインタＰＴの位置補正に反映できることとなる。

ステップＳＴ８では、例えば図２に示す「Ｅ」ボタンＢ２のように、縦方向のみが小さいボタンが押下されたかを判定する。具体的には、縦方向の幅が所定サイズ（例えば視野角０.５°に相当する長さ）より小さい小型のボタンに該当するか否かを判断する。ここで、縦方向のみが小さいボタンの場合には、ステップＳＴ９に進み、小さくないボタンの場合には、ステップＳＴ１０に進む。

ステップＳＴ９では、横方向の主観注視点Ｑが特定できないため、ステップＳＴ５で算出した縦方向の位置ずれ量のみを補正データとして保存する。これにより、保存される補正量をオフセット値として検出注視点に加えることができるため、以後のポインタＰＴの縦方向の位置補正に反映できることとなる。

ステップＳＴ１０では、横方向のみが小さいボタンが押下されたかを判定する。具体的には、横方向の幅が所定サイズ(例えば視野角０.５°に相当する長さ)より小さい小型のボタンに該当するか否かを判断する。ここで、横方向のみが小さいボタンの場合には、ステップＳＴ１１に進み、小さくないボタンの場合には、ステップＳＴ１２に進む。

ステップＳＴ１１では、縦方向の主観注視点Ｑが特定できないため、ステップＳＴ５で算出した横方向の位置ずれ量のみを補正データとして保存する。これにより、保存される補正量をオフセット値として検出注視点に加えることができるため、以後のポインタＰＴの横方向の表示位置補正に反映できることとなる。

ステップＳＴ１２では、ステップＳＴ５で算出された位置ずれ量に基づく補正データの保存を行わない。これは、例えば図２に示す「Ａ」ボタンＢ３のように縦方向も横方向も大きなボタンの場合には、主観注視点Ｑを特定できないためである。

以上の視線検出システム１Ａの動作により、所定長さより小さい幅を有する小型ボタンを人物の視線に追従するポインタで指定して押下する際に補正データを取得し、以後のポインタの表示位置補正に反映させるため、小型ボタン押下の都度、補正データを更新できる。その結果、視線検出対象の人物に負担をかけず、人物の状態変化に適応した補正データを取得できる。

＜第２実施形態＞
本発明の第２実施形態に係る視線検出システム１Ｂは、図１に示す第１実施形態の視線検出システム１Ａと類似の構成を有しているが、情報処理装置の本体部が異なっている。

すなわち、第２実施形態の本体部３０Ｂには、以下で説明する視線検出の補正データ取得を行うプログラムが格納されている。

＜補正データの取得＞
人物が同じ姿勢であっても注視方向によっては、ステレオカメラ２で取得した画像データに基づき検出される検出注視点と人物が感じる主観注視点との位置ずれ量が変化する場合がある。よって、表示画面３３上でも注視点の位置が異なると上記の位置ずれ量が変化する可能性がある。

そこで、本実施形態の補正データ取得では、注視する画面位置に応じた位置ずれ量を補正データとして保存できるように構成されている。これについて詳しく説明する。

図５は、視線検出システム１Ｂにおける補正データの取得を説明するための図であり、表示画面３３の様子を示している。

まず、表示画面３３を格子状に分割、具体的には縦横方向に６分割および７分割して、４２の分割エリアＧｋを作成する。

例えば、人物ＳＢがポインタＰＴで指定した「Ｆ」ボタンＢ１の押下イベントが生じた場合には第１実施形態のようにポインタＰＴの位置ずれ量を算出し、「Ｆ」ボタンＢ１を含む分割エリア（上から２番目、左から３番目のエリア）Ｇｍの補正データとして保存する。そして、ポインタＰＴが分割エリアＧｍ内に入る場合には、分割エリアＧｍの補正量に基づきポインタＰＴの表示位置を補正することとする。

上述した分割エリアＧｍのような分割エリア毎の補正量の取得を表示画面３３の全ての分割エリアについて逐次に行って２次元(６×７)の補正マップを作成し保存する。すなわち、位置ずれ量が検出された検出済のボタンの位置情報と、この検出済のボタンで得られた補正データとを関連付けた補正マップ(データテーブル)を作成して本体部３０Ｂの記憶部に保存する。

上記の補正マップにより、例えば表示画面３３に表示されているポインタＰＴが補正量検出済の「Ｆ」ボタンＢ１の近傍位置になる場合、つまりポインタＰＴが分割エリアＧｍ内に入る場合には、補正量検出済の「Ｆ」ボタンＢ１に関連付けられた補正データを取得してポインタＰＴの表示位置を補正できるため、ポインタＰＴの表示位置を人物ＳＢの主観注視点Ｑに精度良く合わせることが可能となる。

なお、ポインタＰＴが補正データ未検出の分割エリアＧｋ内にある場合には、ポインタＰＴから最も近い(近傍の)補正データ取得済の分割エリアＧｋの補正データに基づき、ポインタＰＴの表示位置を補正する。ここで、最も近傍の分割エリアとは、隣接するエリア（１つ離れたエリア）で補正データが未取得の場合には、２つ以上離れたエリアでも補正データが取得済のエリアがあればこのエリアが該当する。そして、補正データが未取得の分割エリアＧｋ内のボタンに対してポインタＰＴによる指定入力が行われる場合にはその補正データを取得することで、本分割エリアにおける以後のポインタＰＴの表示に反映できることとなる。

以上の視線検出システム１Ｂの動作により、第１実施形態と同様の効果を奏する。さらに、表示画面の分割エリア毎に補正データを逐次に取得して補正マップを作成し、この補正マップに基づきポインタの表示位置に応じた補正データを取得するため、ポインタの表示位置補正に関する精度を向上できる。

なお、視線検出システム１Ｂにおいては、図５に示すように表示画面３３を６×７個のエリアに分割するのは必須でなく、もっと多くのエリアに分割するようにしても良い。これにより、補正量に関して一層詳細なマップを作成でき、補正精度を一層向上できる。

＜第３実施形態＞
本発明の第３実施形態に係る視線検出システム１Ｃは、図１に示す第１実施形態の視線検出システム１Ａと類似の構成を有しているが、情報処理装置の本体部が異なっている。

すなわち、第３実施形態の本体部３０Ｃには、以下で説明する視線検出の補正データの取得を行うプログラムが格納されている。

＜補正データの取得＞
ステレオカメラ２で取得した画像データに基づき検出される検出注視点については、人物が同様に表示画面３３を注視している場合でも人物ＳＢの頭部ＨＤの３次元位置やステレオカメラ２に対する傾き、眼の開き具合等によって検出結果が異なる場合がある。

そこで、注視点の検出に影響を与える人物の状態の変化に応じて補正量を変更できるように、本実施形態の補正データ取得では、人物の状態に対応した補正量を規定する多次元の補正マップを作成し、検出される人物の状態に応じたポインタＰＴの表示位置補正を行うこととする。

視線検知システム１Ｄで検出可能な人物の状態として、例えば次に挙げるものがある。

(１)頭部の３次元位置（図６に示すＸ、Ｙ、Ｚ方向の位置）
(２)頭部の３次元姿勢（図６に示すｒｏｌｌ，Ｐｉｔｃｈ，ｙａｗの回転）
(３)瞼の開き具合（例えば上瞼と下瞼との距離と、目頭と目尻との距離との比率）
(４)眼鏡の有無
さらに、本実施形態の補正マップには、第２実施形態で説明した、視線方向と表示画面３３との交点が存在する各分割エリアの補正量を加えることも可能である。

そして、以上の９次元の入力(人物の状態)に対する一意な補正量を定めた詳細な補正マップを作成して保存する。すなわち、人物によるボタン押下時（押下イベントが発生した際）に検出された人物の状態と、この押下イベントによって得られた補正データとを関連付けた補正マップ（データテーブル）を作成して本体部３０Ｃ内の記憶部に保存する。

上記の補正マップにより、検出されている人物の状態に応じた補正データを取得してポインタＰＴの表示位置を補正できるため、ポインタＰＴの表示位置を人物ＳＢの主観注視点Ｑに精度良く合わせることが可能となる。

以上の視線検出システム１Ｃの動作により、第１実施形態と同様の効果を奏する。さらに、検出時の人物の状態に応じた補正データを補正マップから取得するため、ポインタの表示位置補正に関する精度を向上できる。

＜第４実施形態＞
本発明の第４実施形態に係る視線検出システム１Ｄは、図１に示す第１実施形態の視線検出システム１Ａと類似の構成を有しているが、情報処理装置の本体部が異なっている。

すなわち、第４実施形態の本体部３０Ｄには、以下で説明する視線検出の補正データの取得を行うプログラムが格納されている。

＜補正データの取得＞
ステレオカメラ２で取得した画像データに基づき検出される検出注視点と人物が感じる主観注視点との位置ずれについては、上述した各実施形態で取得される補正データによっても完全に改善できず、指定入力したいボタンの上にポインタＰＴを移動できない場合がある。

そこで、本実施形態の視線検出システム１Ｄでは、指定入力したいボタンの上にポインタＰＴを確実に移動できる構成となっている。これについて詳しく説明する。

図７は、視線検出システム１Ｄの動作を説明するための図であり、図３に対応するものである。そして、検出された補正量による補正を行っても、注視している「Ｆ」ボタンＢ１上にポインタＰＴが移動できていない具体例を示している。

人物ＳＢが「Ｆ」ボタンＢ１を注視する状態で検出された検出注視点Ｐ１に、上述の各実施形態で取得された補正量Ｒ１を加えて補正した注視点(以下では「補正注視点」ともいう)Ｐ２は、「Ｆ」ボタンＢ１上に存在しない。すなわち、検出注視点Ｐ１に補正量Ｒ１を加算した位置の補正注視点Ｐ２は、「Ｆ」ボタンＢ１から一定距離離れていて、人物ＳＢの意図する主観注視点Ｑから大きく外れている。よって、指定入力したい「Ｆ」ボタンＢ１上にポインタＰＴがないため、人物ＳＢは「Ｆ」ボタンＢ１の押下動作を行えない状況となっている。

このような場合、例えば人物ＳＢが「Ｆ」ボタンＢ１とポインタＰＴとの間で視線を素早く往復させる動作(特定の入力動作)を行えば、人物ＳＢが補正量Ｒ１に追加する追加の補正データを入力したいことを意図しているものと判断して、この追加の補正データを取得することとする。すなわち、視線検出システム１Ｄは視線の移動量の変化を常に監視し、短時間のうちに同一の移動距離を視線が往復したことを検出すると、この移動量が人物ＳＢの意図する追加の補正データであると判断して、その補正量、例えば図７に示す補正量Ｒ２を取得し本体部３０Ｄ内の記憶部に保存する。

そして、追加の補正量Ｒ２を表示中のポインタＰＴの位置に加えた補正注視点Ｐ３を求め、この補正注視点Ｐ３にポインタＰＴを移動させる。つまり、本体部３０Ｄ内に保存される補正量Ｒ１と追加の補正量Ｒ２とに基づきポインタＰＴの表示位置が補正されることとなる。

上記の補正注視点Ｐ３については、検出した視線の移動量に誤差が含まれる可能性があるため、必ずしも補正注視点Ｐ３が主観注視点Ｑに相当する「Ｆ」ボタンＢ１の中央Ｂｃと一致しない場合がある。そこで、人物ＳＢはポインタＰＴが「Ｆ」ボタンＢ１上に移動されたことを確認した後に行うボタン押下動作の際に、上記の補正注視点Ｐ３と「Ｆ」ボタンＢ１の中央Ｂｃとの位置ずれ量、つまり補正量Ｒ３を算出して保存することとする。これにより、３つの補正量Ｒ１〜Ｒ３を合成した補正量Ｒ４に基づき以後のポインタＰＴの表示位置を補正できるため、ポインタＰＴの位置精度を一層向上できる。

以上の視線検出システム１Ｄの動作により、第１実施形態と同様の効果を奏する。さらに、補正データに追加する追加の補正データを取得してポインタの表示位置補正に反映させるため、自動的に取得された補正データによる位置補正が不十分な場合でも追加の補正データによる補正を行える。

＜変形例＞
◎上記の各実施形態においては、小さなボタンで押下イベントが発生する場合に補正データを取得するのは必須でなく、例えば小さなチェック・ボックスなどのＧＵＩ入力部品で入力イベントが発生する場合に補正データを取得するようにしても良い。

本発明の第１実施形態に係る視線検出システム１Ａの要部構成を示す図である。 表示画面３３に表示されるポインタＰＴを示す図である。 図２のポインタＰＴ付近を拡大した図である。 視線検出システム１Ａの基本的な動作を示すフローチャートである。 本発明の第２実施形態に係る視線検出システム１Ｂにおける補正データの取得を説明するための図である。 本発明の第３実施形態に係る視線検出システム１Ｃで検出可能な人物の状態を説明するため図である。 本発明の第４実施形態に係る視線検出システム１Ｄの動作を説明するための図である。

符号の説明

１Ａ〜１Ｄ 視線検出システム
２ ステレオカメラ
３ 情報処理装置
３０Ａ〜３０Ｄ 本体部
３１ 表示部
３３ 表示画面
Ｂ１〜Ｂ３ ボタン
Ｂｃ ボタンの中央
ＨＤ 頭部
Ｇｋ 分割エリア
Ｐ０、Ｐ１ 検出注視点
Ｐ２、Ｐ３ 補正注視点
ＰＴ ポインタ
Ｑ 主観注視点
Ｒ１〜Ｒ４ 補正量
ＳＢ 人物

Claims (4)

1. 所定サイズより小さい小型入力部品が表示画面に表示される視線検出システムであって、
   (a)前記表示画面の前にいる人物の頭部に関する位置と姿勢と視線方向との情報を取得する情報取得手段と、
   (b)前記情報取得手段で取得された情報に基づき、前記人物の視線と前記表示画面とに関する交点を算出する算出手段と、
   (c)前記交点に基づく表示画面の位置にポインタを表示させる表示制御手段と、
   (d)前記ポインタによって指定された小型入力部品で入力イベントが発生する際に、当該小型入力部品の中央部と前記交点とに関する位置ずれ量を検出する位置ずれ検出手段と、
   (e)前記位置ずれ量に基づく補正データを記憶手段に保存する保存手段と、
   を備え、
   前記表示制御手段は、
   (c-1)前記記憶手段に保存される補正データに基づき前記ポインタの表示位置を補正する補正手段、
   を有することを特徴とする視線検出システム。
2. 請求項１に記載の視線検出システムにおいて、
   前記保存手段は、
   (e-1)前記位置ずれ検出手段で前記位置ずれ量が検出された検出済の小型入力部品に関する位置情報と、当該検出済の小型入力部品で得られた前記補正データとを関連付けた第１データテーブルを前記記憶手段に保存する手段、
   を有するとともに、
   前記補正手段は、
   前記表示画面に表示されているポインタの近傍位置にある前記検出済の小型入力部品に関連付けられた補正データを前記第１データテーブルに基づき取得して、当該ポインタの表示位置を補正する手段、
   を有することを特徴とする視線検出システム。
3. 請求項１または請求項２に記載の視線検出システムにおいて、
   (f)前記人物の状態を検出する状態検出手段、
   をさらに備え、
   前記保存手段は、
   (e-2)前記入力イベントが発生した際に前記状態検出手段で検出された人物の状態と、当該入力イベントによって得られた補正データとを関連付けた第２データテーブルを前記記憶手段に保存する手段、
   を有するとともに、
   前記補正手段は、
   前記状態検出手段で検出されている人物の状態に応じた補正データを前記第２データテーブルに基づき取得して、前記ポインタの表示位置を補正する手段、
   を有することを特徴とする視線検出システム。
4. 請求項１ないし請求項３のいずれかに記載の視線検出システムにおいて、
   (g)前記人物が行う特定の入力動作により、前記補正データに追加する追加の補正データを取得する追加データ取得手段、
   をさらに備え、
   前記保存手段は、
   (e-3)前記追加データ取得手段で取得された追加の補正データを前記記憶手段に保存する手段、
   を有するとともに、
   前記補正手段は、
   前記記憶手段に保存される前記補正データと前記追加の補正データとに基づき、前記ポインタの表示位置を補正する手段、
   を有することを特徴とする視線検出システム。
   

Images