JP2017146987A - 視点検出装置および視点検出方法 - Google Patents
視点検出装置および視点検出方法 Download PDFInfo
- Publication number
- JP2017146987A JP2017146987A JP2017083470A JP2017083470A JP2017146987A JP 2017146987 A JP2017146987 A JP 2017146987A JP 2017083470 A JP2017083470 A JP 2017083470A JP 2017083470 A JP2017083470 A JP 2017083470A JP 2017146987 A JP2017146987 A JP 2017146987A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- operator
- touch panel
- line
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】視点検出の精度を向上させることができる視点検出装置および視点検出方法を提供する。【解決手段】視点検出装置は、タッチパネルと、取得部と、視線検出部と、視点検出部と、補正部と、を備える。取得部は、タッチパネルの表示領域内を操作者が接触した位置を取得する。視線検出部は、操作者の視線方向を検出する。視点検出部は、タッチパネルの表示領域内を操作者が接触したときの視線方向に基づいて、タッチパネルの表示領域における操作者の視点の位置を表す視点位置を検出する。補正部は、接触した位置に基づいて視点位置を補正する。【選択図】図２
Description
本発明は、視点検出装置および視点検出方法に関する。
従来から、操作者または被験者がモニタ画面などの観察面上で注視している位置を検出
する視点検出装置が提案されている。例えば、特許文献１にはステレオカメラを用いた視
線検出方法が提案されている。さらに最近、カメラの小型化等により、内蔵されたカメラ
または取付けられた外部のカメラによって撮像した眼の画像から、操作者が画面を見つめ
る視線を検出する、電子機器が開発されている。このような視点検出装置において表示部
にタッチパネル等を設け、より操作性を高めた装置が検討されている。
する視点検出装置が提案されている。例えば、特許文献１にはステレオカメラを用いた視
線検出方法が提案されている。さらに最近、カメラの小型化等により、内蔵されたカメラ
または取付けられた外部のカメラによって撮像した眼の画像から、操作者が画面を見つめ
る視線を検出する、電子機器が開発されている。このような視点検出装置において表示部
にタッチパネル等を設け、より操作性を高めた装置が検討されている。
特許文献２は、操作者の視線を検出し、視線の先にあるタッチパネルの接触点が検出さ
れた場合、タッチ操作に対応するイベント情報を生成する技術を提案している。操作者が
意図しない誤動作により動作することを防止するための機能である。
れた場合、タッチ操作に対応するイベント情報を生成する技術を提案している。操作者が
意図しない誤動作により動作することを防止するための機能である。
特許文献３は、タッチパネルを用いた顧客操作型端末における操作性を向上させたタッ
チパネル補正装置に関する技術を提案している。このタッチパネル補正装置は、ボタンの
位置とそれに対応するタッチパネルの検出位置との相関を決定する視点位置を検出する視
点位置検出部を備え、視点位置のずれに応じた補正量によりタッチパネルの検出位置を補
正する。
チパネル補正装置に関する技術を提案している。このタッチパネル補正装置は、ボタンの
位置とそれに対応するタッチパネルの検出位置との相関を決定する視点位置を検出する視
点位置検出部を備え、視点位置のずれに応じた補正量によりタッチパネルの検出位置を補
正する。
タッチパネル等の画面上の位置を指示可能な視点検出装置でも、より精度の高い視点検
出結果が求められている。しかし、眼画像の個人差等によりその精度は十分ではなく、精
度の向上が必要であった。
出結果が求められている。しかし、眼画像の個人差等によりその精度は十分ではなく、精
度の向上が必要であった。
特許文献２の方法は、視点検出結果を使用してタッチパネルへの接触が誤動作でないか
チェックできるが、視点検出結果を補正するものではない。特許文献３の方法は、視点位
置によりタッチパネルの検出位置を補正するものであり、視点位置を補正するものではな
い。
チェックできるが、視点検出結果を補正するものではない。特許文献３の方法は、視点位
置によりタッチパネルの検出位置を補正するものであり、視点位置を補正するものではな
い。
本発明は、上記に鑑みてなされたものであって、視点検出の精度を向上できる視点検出
装置および視点検出方法を提供することを目的とする。
装置および視点検出方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、タッチパネルと、前記タッチパネルの表示領域内を操作者が接触した位置を取得する取得部と、前記操作者の視線方向を検出する視線検出部と、前記タッチパネルの表示領域内を前記操作者が接触したときの前記視線方向に基づいて、前記タッチパネルの表示領域における前記操作者の視点の位置を表す視点位置を検出する視点検出部と、前記接触した位置に基づいて前記視点位置を補正する補正部と、を備えることを特徴とする。
本発明にかかる視点検出装置および視点検出方法は、視点検出の精度を向上できるとい
う効果を奏する。
う効果を奏する。
以下に、本発明にかかる視点検出装置および視点検出方法の実施形態を図面に基づいて
詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
カメラを内蔵した、または、外部にカメラを接続した電子機器は、カメラで撮像した操
作者の眼画像から、操作者が画面上の見ている位置を表す視点位置を算出することが可能
である。しかし、眼画像から検出した視点位置は、個人によりばらつきが大きく、その結
果だけでは十分な精度を得られないことがある。
作者の眼画像から、操作者が画面上の見ている位置を表す視点位置を算出することが可能
である。しかし、眼画像から検出した視点位置は、個人によりばらつきが大きく、その結
果だけでは十分な精度を得られないことがある。
本実施形態では、操作者がタッチパネルでタッチ操作を行う場合、タッチされた時の眼
画像はタッチ位置周辺を見ていると判断し、タッチ位置（指示位置）を視点検出結果（視
点位置）の補正に使用する。これにより、より精度の高い視点位置検出を実現する。
画像はタッチ位置周辺を見ていると判断し、タッチ位置（指示位置）を視点検出結果（視
点位置）の補正に使用する。これにより、より精度の高い視点位置検出を実現する。
なお、適用可能な装置はタッチパネルを備えた電子機器に限られるものではない。表示
画面上での操作者の視点を検出する機能と、操作者が表示画面に対して指示した位置（指
示位置）を検出する機能と、を備える装置であれば、あらゆる装置に適用できる。例えば
、タッチパネルの代わりに、マウスやタッチパッドなどにより画面上の位置を指示する機
能を備える装置であってもよい。また、カメラ以外を用いて操作者の視点を検出する方法
を適用してもよい。
画面上での操作者の視点を検出する機能と、操作者が表示画面に対して指示した位置（指
示位置）を検出する機能と、を備える装置であれば、あらゆる装置に適用できる。例えば
、タッチパネルの代わりに、マウスやタッチパッドなどにより画面上の位置を指示する機
能を備える装置であってもよい。また、カメラ以外を用いて操作者の視点を検出する方法
を適用してもよい。
図１は、本実施形態の視点検出装置の一例としてのタブレット型ＰＣ１００の構成を示
す図である。図１は、タブレット型ＰＣ１００のタッチパネル、カメラ（ステレオカメラ
）、および、赤外線光源の配置の例を示している。タブレット型ＰＣ１００は、表示部と
操作部の機能を有するタッチパネル１０２を備えている。タッチパネル１０２の下側に、
１組のステレオカメラ（左カメラ１０３、右カメラ１０４）が配置される。
す図である。図１は、タブレット型ＰＣ１００のタッチパネル、カメラ（ステレオカメラ
）、および、赤外線光源の配置の例を示している。タブレット型ＰＣ１００は、表示部と
操作部の機能を有するタッチパネル１０２を備えている。タッチパネル１０２の下側に、
１組のステレオカメラ（左カメラ１０３、右カメラ１０４）が配置される。
ステレオカメラのレンズの直前には、円周方向に赤外線ＬＥＤ光源１０５、１０６が配
置される。赤外線ＬＥＤ光源１０５が左カメラ１０３用の光源である。赤外線ＬＥＤ光源
１０６が右カメラ１０４用の光源である。各カメラから離れた位置に赤外線ＬＥＤ光源１
０７、１０８が配置される。赤外線ＬＥＤ光源１０７が左カメラ１０３用の光源である。
赤外線ＬＥＤ光源１０８が右カメラ１０４用の光源である。赤外線ＬＥＤ光源１０５、１
０６は、瞳孔を高輝度で反射させた画像を取得するために点灯する。赤外線ＬＥＤ光源１
０７、１０８は瞳孔を低輝度で反射させた画像を取得するために点灯する。
置される。赤外線ＬＥＤ光源１０５が左カメラ１０３用の光源である。赤外線ＬＥＤ光源
１０６が右カメラ１０４用の光源である。各カメラから離れた位置に赤外線ＬＥＤ光源１
０７、１０８が配置される。赤外線ＬＥＤ光源１０７が左カメラ１０３用の光源である。
赤外線ＬＥＤ光源１０８が右カメラ１０４用の光源である。赤外線ＬＥＤ光源１０５、１
０６は、瞳孔を高輝度で反射させた画像を取得するために点灯する。赤外線ＬＥＤ光源１
０７、１０８は瞳孔を低輝度で反射させた画像を取得するために点灯する。
瞳孔の検出方法および瞳孔等による視線の検出方法としては、例えば特許文献１等に記
載の方法を適用できる。
載の方法を適用できる。
図２は、タブレット型ＰＣ１００の機能構成の一例を示すブロック図である。タブレッ
ト型ＰＣ１００は、タッチパネル１０２と、制御部１２０と、駆動・ＩＦ部１３０と、左
カメラ１０３と、右カメラ１０４と、赤外線ＬＥＤ光源１０５〜１０８と、を備えている
。
ト型ＰＣ１００は、タッチパネル１０２と、制御部１２０と、駆動・ＩＦ部１３０と、左
カメラ１０３と、右カメラ１０４と、赤外線ＬＥＤ光源１０５〜１０８と、を備えている
。
制御部１２０は、タブレット型ＰＣ１００の全体を制御する。制御部１２０は、例えば
処理結果をタッチパネル１０２等に出力する。制御部１２０には、タッチパネル１０２と
、駆動・ＩＦ部１３０が接続される。駆動・ＩＦ部１３０は、カメラＩＦ１３１Ｒ、１３
１Ｌと、ＬＥＤ駆動制御部１３２と、を備える。
処理結果をタッチパネル１０２等に出力する。制御部１２０には、タッチパネル１０２と
、駆動・ＩＦ部１３０が接続される。駆動・ＩＦ部１３０は、カメラＩＦ１３１Ｒ、１３
１Ｌと、ＬＥＤ駆動制御部１３２と、を備える。
駆動・ＩＦ部１３０には、カメラＩＦ１３１Ｒ、１３１Ｌを介して、それぞれ、左カメ
ラ１０３、右カメラ１０４が接続される。駆動・ＩＦ部１３０がこれらのカメラを駆動す
ることにより、操作者などを撮像する。
ラ１０３、右カメラ１０４が接続される。駆動・ＩＦ部１３０がこれらのカメラを駆動す
ることにより、操作者などを撮像する。
左カメラ１０３からはフレーム同期信号が出力される。フレーム同期信号は、右カメラ
１０４とＬＥＤ駆動制御部１３２とに入力される。これにより、第１フレームで、タイミ
ングをずらして左右の波長１の赤外線光源（赤外線ＬＥＤ光源１０５、１０６）が発光さ
れ、それに対応して左右カメラ（右カメラ１０４、左カメラ１０３）による画像が取り込
まれる。また、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（赤外
線ＬＥＤ光源１０７、１０８）が発光され、それに対応して左右カメラによる画像が取り
込まれる。
１０４とＬＥＤ駆動制御部１３２とに入力される。これにより、第１フレームで、タイミ
ングをずらして左右の波長１の赤外線光源（赤外線ＬＥＤ光源１０５、１０６）が発光さ
れ、それに対応して左右カメラ（右カメラ１０４、左カメラ１０３）による画像が取り込
まれる。また、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（赤外
線ＬＥＤ光源１０７、１０８）が発光され、それに対応して左右カメラによる画像が取り
込まれる。
赤外線ＬＥＤ光源１０５、１０６は、例えば波長１の赤外線を照射する。赤外線ＬＥＤ
光源１０７、１０８は、例えば波長２の赤外線を照射する。
光源１０７、１０８は、例えば波長２の赤外線を照射する。
波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の
波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像す
ると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合
に比べて、明るい瞳孔像が得られるためである。なお、照射する赤外線の波長については
、上記に限らず、波長１の赤外線を照射して瞳孔で反射された反射光を撮像した結果と、
波長２の赤外線を照射して瞳孔で反射された反射光を撮像した結果とで、差が出せるもの
であればよい。
波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像す
ると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合
に比べて、明るい瞳孔像が得られるためである。なお、照射する赤外線の波長については
、上記に限らず、波長１の赤外線を照射して瞳孔で反射された反射光を撮像した結果と、
波長２の赤外線を照射して瞳孔で反射された反射光を撮像した結果とで、差が出せるもの
であればよい。
また、視線の検出方法は、このようなステレオカメラを使用した方法に限らず、例えば
タブレット型ＰＣ１００に内蔵された単眼カメラを使用した方法でも構わない。
タブレット型ＰＣ１００に内蔵された単眼カメラを使用した方法でも構わない。
制御部１２０は、視線検出部１２１と、視点検出部１２２と、取得部１２３と、算出部
１２４と、補正部１２５と、を備えている。
１２４と、補正部１２５と、を備えている。
視線検出部１２１は、撮像部（ステレオカメラ）により撮像された撮像画像から、操作
者の視線（視線方向）を検出する。視線を検出する処理には、操作者の目の位置を検出す
る処理が含まれる。視点検出部１２２は、検出された視線方向を用いて操作者の視点を検
出する。視点検出部１２２は、例えば、タッチパネル１０２の表示画面（表示領域）上で
、操作者が注視する点である視点（注視点）の位置（視点位置）を検出する。視線検出部
１２１による視線検出方法、および、視点検出部１２２による視点検出方法としては、従
来から用いられているあらゆる方法を適用できる。以下では、特許文献３と同様に、ステ
レオカメラを用いて操作者の視線方向および注視点を検出する場合を例に説明する。
者の視線（視線方向）を検出する。視線を検出する処理には、操作者の目の位置を検出す
る処理が含まれる。視点検出部１２２は、検出された視線方向を用いて操作者の視点を検
出する。視点検出部１２２は、例えば、タッチパネル１０２の表示画面（表示領域）上で
、操作者が注視する点である視点（注視点）の位置（視点位置）を検出する。視線検出部
１２１による視線検出方法、および、視点検出部１２２による視点検出方法としては、従
来から用いられているあらゆる方法を適用できる。以下では、特許文献３と同様に、ステ
レオカメラを用いて操作者の視線方向および注視点を検出する場合を例に説明する。
この場合、まず視線検出部１２１は、ステレオカメラで撮像された画像から、操作者の
視線方向を検出する。例えば視線検出部１２１は、波長１の赤外線を照射して撮像した画
像と、波長２の赤外線を照射して撮像した画像との差分を求め、瞳孔像が明確化された画
像を生成する。視線検出部１２１は、左右のカメラ（右カメラ１０４、左カメラ１０３）
で撮像された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視
の手法により操作者の瞳孔の位置（目の位置）を算出する。また、視線検出部１２１は、
左右のカメラで撮像された画像を用いて操作者の角膜反射の位置を算出する。そして、視
線検出部１２１は、操作者の瞳孔の位置と角膜反射位置とから、操作者の視線方向を表す
視線ベクトルを算出する。
視線方向を検出する。例えば視線検出部１２１は、波長１の赤外線を照射して撮像した画
像と、波長２の赤外線を照射して撮像した画像との差分を求め、瞳孔像が明確化された画
像を生成する。視線検出部１２１は、左右のカメラ（右カメラ１０４、左カメラ１０３）
で撮像された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視
の手法により操作者の瞳孔の位置（目の位置）を算出する。また、視線検出部１２１は、
左右のカメラで撮像された画像を用いて操作者の角膜反射の位置を算出する。そして、視
線検出部１２１は、操作者の瞳孔の位置と角膜反射位置とから、操作者の視線方向を表す
視線ベクトルを算出する。
なお、操作者の目の位置および視線の検出方法はこれに限られるものではない。例えば
、赤外線ではなく、可視光を用いて撮像した画像を解析することにより、操作者の目の位
置および視線を検出してもよい。
、赤外線ではなく、可視光を用いて撮像した画像を解析することにより、操作者の目の位
置および視線を検出してもよい。
視点検出部１２２は、予め定められた座標系で表される視線ベクトルとタッチパネル１
０２の表示領域に対応する平面との交点を、操作者の注視点として検出する。座標系は、
例えば、タッチパネル１０２の表示領域の中央位置を原点として、上下をＹ座標（上が＋
）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）とした座標系を用いる
ことができる。両目の視線方向が得られた場合は、操作者の左右の視線の交点を求めるこ
とによって注視点を計測してもよい。
０２の表示領域に対応する平面との交点を、操作者の注視点として検出する。座標系は、
例えば、タッチパネル１０２の表示領域の中央位置を原点として、上下をＹ座標（上が＋
）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）とした座標系を用いる
ことができる。両目の視線方向が得られた場合は、操作者の左右の視線の交点を求めるこ
とによって注視点を計測してもよい。
取得部１２３は、表示部の表示領域内を操作者が指示した位置を表す指示位置を取得す
る。表示部としてタッチパネル１０２を用いる場合は、取得部１２３は、タッチパネル１
０２上で操作者（指、タッチペンなど）が接触した指示位置を取得する。マウスやタッチ
パッドなどの指示機能を用いる場合は、取得部１２３は、指示機能によって指示される、
表示領域上のカーソルの位置などを指示位置として取得する。
る。表示部としてタッチパネル１０２を用いる場合は、取得部１２３は、タッチパネル１
０２上で操作者（指、タッチペンなど）が接触した指示位置を取得する。マウスやタッチ
パッドなどの指示機能を用いる場合は、取得部１２３は、指示機能によって指示される、
表示領域上のカーソルの位置などを指示位置として取得する。
算出部１２４は、操作者が表示領域内を指示したときに検出された視点位置と、指示位
置と、の差分を算出する。例えば、算出部１２４は、上記座標系のＸ座標、Ｙ座標ごとの
、指示位置と視点位置との差分を算出する。また、算出部１２４は、差分から、以降に検
出される視点位置を補正するための補正値を算出する。後述するように、タッチパネル１
０２の表示領域を複数の表示領域に分割する場合は、算出部１２４は、分割した複数の表
示領域（以下、分割領域ともいう）ごとに差分および補正値を算出してもよい。
置と、の差分を算出する。例えば、算出部１２４は、上記座標系のＸ座標、Ｙ座標ごとの
、指示位置と視点位置との差分を算出する。また、算出部１２４は、差分から、以降に検
出される視点位置を補正するための補正値を算出する。後述するように、タッチパネル１
０２の表示領域を複数の表示領域に分割する場合は、算出部１２４は、分割した複数の表
示領域（以下、分割領域ともいう）ごとに差分および補正値を算出してもよい。
補正部１２５は、取得部１２３により取得された指示位置に基づいて、視点検出部１２
２により検出された視点位置を補正する。例えば、補正部１２５は、指示位置との差分お
よび補正値が算出された後に検出された視点位置を、補正値によって補正する。タッチパ
ネル１０２の表示領域を複数の分割領域に分割する場合は、補正部１２５は、複数の分割
領域ごとに算出された複数の補正値を用いて視点位置を補正してもよい。
２により検出された視点位置を補正する。例えば、補正部１２５は、指示位置との差分お
よび補正値が算出された後に検出された視点位置を、補正値によって補正する。タッチパ
ネル１０２の表示領域を複数の分割領域に分割する場合は、補正部１２５は、複数の分割
領域ごとに算出された複数の補正値を用いて視点位置を補正してもよい。
次に、このように構成された本実施形態にかかるタブレット型ＰＣ１００による視点検
出処理について図３を用いて説明する。図３は、本実施形態の視点検出処理の一例を表す
フローチャートである。
出処理について図３を用いて説明する。図３は、本実施形態の視点検出処理の一例を表す
フローチャートである。
まず、ＬＥＤ駆動制御部１３２は、左カメラ１０３に対応する赤外線ＬＥＤ光源１０５
を点灯させる（ステップＳ１０１）。視線検出部１２１は、赤外線ＬＥＤ光源１０５が点
灯されたときに左カメラ１０３により撮像された明瞳孔用の画像を取得する（ステップＳ
１０２）。右カメラ１０４についても同様に明瞳孔画像が取得される。すなわち、ＬＥＤ
駆動制御部１３２は、右カメラ１０４に対応する赤外線ＬＥＤ光源１０６を点灯させる（
ステップＳ１０３）。視線検出部１２１は、赤外線ＬＥＤ光源１０６が点灯されたときに
右カメラ１０４により撮像された明瞳孔用の画像を取得する（ステップＳ１０４）。
を点灯させる（ステップＳ１０１）。視線検出部１２１は、赤外線ＬＥＤ光源１０５が点
灯されたときに左カメラ１０３により撮像された明瞳孔用の画像を取得する（ステップＳ
１０２）。右カメラ１０４についても同様に明瞳孔画像が取得される。すなわち、ＬＥＤ
駆動制御部１３２は、右カメラ１０４に対応する赤外線ＬＥＤ光源１０６を点灯させる（
ステップＳ１０３）。視線検出部１２１は、赤外線ＬＥＤ光源１０６が点灯されたときに
右カメラ１０４により撮像された明瞳孔用の画像を取得する（ステップＳ１０４）。
なお、赤外線ＬＥＤ光源１０５、１０６は、瞳孔で高輝度反射する明瞳孔用ＬＥＤであ
る。赤外線ＬＥＤ光源１０７、１０８は、瞳孔で低輝度反射する暗瞳孔用ＬＥＤである。
る。赤外線ＬＥＤ光源１０７、１０８は、瞳孔で低輝度反射する暗瞳孔用ＬＥＤである。
次に、瞳孔を低輝度で反射させるために、ＬＥＤ駆動制御部１３２は、左カメラ１０３
に対応する赤外線ＬＥＤ光源１０７を点灯させる（ステップＳ１０５）。視線検出部１２
１は、赤外線ＬＥＤ光源１０７が点灯されたときに左カメラ１０３により撮像された暗瞳
孔用の画像を取得する（ステップＳ１０６）。右カメラ１０４についても同様に暗瞳孔画
像が取得される。すなわち、ＬＥＤ駆動制御部１３２は、右カメラ１０４に対応する赤外
線ＬＥＤ光源１０８を点灯させる（ステップＳ１０７）。視線検出部１２１は、赤外線Ｌ
ＥＤ光源１０８が点灯されたときに右カメラ１０４により撮像された暗瞳孔用の画像を取
得する（ステップＳ１０８）。
に対応する赤外線ＬＥＤ光源１０７を点灯させる（ステップＳ１０５）。視線検出部１２
１は、赤外線ＬＥＤ光源１０７が点灯されたときに左カメラ１０３により撮像された暗瞳
孔用の画像を取得する（ステップＳ１０６）。右カメラ１０４についても同様に暗瞳孔画
像が取得される。すなわち、ＬＥＤ駆動制御部１３２は、右カメラ１０４に対応する赤外
線ＬＥＤ光源１０８を点灯させる（ステップＳ１０７）。視線検出部１２１は、赤外線Ｌ
ＥＤ光源１０８が点灯されたときに右カメラ１０４により撮像された暗瞳孔用の画像を取
得する（ステップＳ１０８）。
次に、視線検出部１２１は、明瞳孔画像と暗瞳孔画像のそれぞれについて、左カメラ１
０３で撮像された画像と右カメラ１０４で撮像された画像との差分（輝度の差分）を表す
差分画像を生成する（ステップＳ１０９）。例えば視線検出部１２１は、左右カメラそれ
ぞれで撮像された画像の各位置（各画素）の輝度の差をそれぞれ求めることにより差分画
像を生成する。求めた差分画像では、瞳孔が明るく残り、瞳孔以外の部分は差分をとるこ
とにより無くなるか小さくなる。
０３で撮像された画像と右カメラ１０４で撮像された画像との差分（輝度の差分）を表す
差分画像を生成する（ステップＳ１０９）。例えば視線検出部１２１は、左右カメラそれ
ぞれで撮像された画像の各位置（各画素）の輝度の差をそれぞれ求めることにより差分画
像を生成する。求めた差分画像では、瞳孔が明るく残り、瞳孔以外の部分は差分をとるこ
とにより無くなるか小さくなる。
次に、視線検出部１２１は、差分画像中の瞳孔候補と考えられる高輝度な各領域の中か
ら、２つの領域を瞳孔として検出する（ステップＳ１１０）。さらに視線検出部１２１は
、瞳孔として検出された領域近辺の画像から、角膜反射と考えられる領域を算出する（ス
テップＳ１１１）。また視線検出部１２１は、左右カメラから取得した画像から、瞳孔と
カメラとの間の距離を算出する（ステップＳ１１２）。視線検出部１２１は、算出した瞳
孔の位置、角膜反射の位置、および、瞳孔とカメラとの間の距離から、操作者の視線方向
を算出する。そして、視点検出部１２２は、視線方向を用いて操作者がタッチパネル１０
２の表示領域上のどこを見ているか、すなわち、注視点の位置（視点位置）を検出する（
ステップＳ１１３）。
ら、２つの領域を瞳孔として検出する（ステップＳ１１０）。さらに視線検出部１２１は
、瞳孔として検出された領域近辺の画像から、角膜反射と考えられる領域を算出する（ス
テップＳ１１１）。また視線検出部１２１は、左右カメラから取得した画像から、瞳孔と
カメラとの間の距離を算出する（ステップＳ１１２）。視線検出部１２１は、算出した瞳
孔の位置、角膜反射の位置、および、瞳孔とカメラとの間の距離から、操作者の視線方向
を算出する。そして、視点検出部１２２は、視線方向を用いて操作者がタッチパネル１０
２の表示領域上のどこを見ているか、すなわち、注視点の位置（視点位置）を検出する（
ステップＳ１１３）。
この後、視線検出および視点検出の動作を続けるためにステップＳ１０１に戻り同様の
動作が繰り返し実行される。
動作が繰り返し実行される。
次に、タッチパネル１０２を操作した時の指示位置と視点位置との差分の算出方法につ
いて図４を用いて説明する。図４は、指示位置と視点位置との差分の算出方法の一例を示
す図である。
いて図４を用いて説明する。図４は、指示位置と視点位置との差分の算出方法の一例を示
す図である。
操作者は、タブレット型ＰＣ１００を使用する際、タッチパネル１０２の画面を見る。
上記のように、この時の操作者の目の画像が、明瞳孔用ＬＥＤ（赤外線ＬＥＤ光源１０５
、１０６）と暗瞳孔用ＬＥＤ（赤外線ＬＥＤ光源１０７、１０８）をそれぞれ点灯させた
状態で左右のステレオカメラ（左カメラ１０３、右カメラ１０４）によって撮影される。
そして、撮像された画像から算出される瞳孔の位置および角膜反射の位置の情報等から、
視点位置が算出される。
上記のように、この時の操作者の目の画像が、明瞳孔用ＬＥＤ（赤外線ＬＥＤ光源１０５
、１０６）と暗瞳孔用ＬＥＤ（赤外線ＬＥＤ光源１０７、１０８）をそれぞれ点灯させた
状態で左右のステレオカメラ（左カメラ１０３、右カメラ１０４）によって撮影される。
そして、撮像された画像から算出される瞳孔の位置および角膜反射の位置の情報等から、
視点位置が算出される。
一方、操作者は、タッチパネル１０２の画面上で操作する時、タッチパネル１０２の画
面と指との接触点４０１の周辺を注視すると考えられる。このため、算出部１２４は、こ
の時に求められた視点位置の座標と、接触点４０１の位置（指示位置）の座標から、接触
点４０１における視点位置の差分を算出し、記憶部（図示せず）等に保持しておく。
面と指との接触点４０１の周辺を注視すると考えられる。このため、算出部１２４は、こ
の時に求められた視点位置の座標と、接触点４０１の位置（指示位置）の座標から、接触
点４０１における視点位置の差分を算出し、記憶部（図示せず）等に保持しておく。
図５は、指示位置と視点位置との差分から補正値を算出する方法の一例を示す図である
。図５の例では、タッチパネル１０２の表示領域の全体を４分割した領域をそれぞれ領域
１〜４としている。操作者がタッチパネル１０２を使用した時の、カメラ画像から得られ
る視点位置を視点位置５１１とし、タッチパネル１０２の接触点の位置を指示位置５１２
とする。なお、視点位置５１１は、前回までに算出された補正値（初回の処理時は補正値
の初期値（例えば０）を用いればよい）を用いて補正された後の視点位置を表す。この時
、視点位置５１１は領域２に存在するため、視点位置５１１と指示位置５１２との差分は
、領域２の補正値に加算される。このように、前回までに算出された補正値に、今回算出
された差分を加算することにより、以降の補正で用いる補正値が算出される。図５の例で
は、視点位置５１１と指示位置５１２とから差分が算出される。そして、この差分から得
られる補正値を用いて、補正前の視点位置５２１から、補正後の視点位置５２２が求めら
れる。
。図５の例では、タッチパネル１０２の表示領域の全体を４分割した領域をそれぞれ領域
１〜４としている。操作者がタッチパネル１０２を使用した時の、カメラ画像から得られ
る視点位置を視点位置５１１とし、タッチパネル１０２の接触点の位置を指示位置５１２
とする。なお、視点位置５１１は、前回までに算出された補正値（初回の処理時は補正値
の初期値（例えば０）を用いればよい）を用いて補正された後の視点位置を表す。この時
、視点位置５１１は領域２に存在するため、視点位置５１１と指示位置５１２との差分は
、領域２の補正値に加算される。このように、前回までに算出された補正値に、今回算出
された差分を加算することにより、以降の補正で用いる補正値が算出される。図５の例で
は、視点位置５１１と指示位置５１２とから差分が算出される。そして、この差分から得
られる補正値を用いて、補正前の視点位置５２１から、補正後の視点位置５２２が求めら
れる。
次に、本実施形態の補正値算出処理について図６を用いて説明する。補正値算出処理は
、例えば、タッチパネル１０２が操作されたときに実行される処理であり、この操作によ
り検出された指示位置を用いて、視点検出処理で検出された視点位置を補正するための補
正値が算出される。図６は、本実施形態の補正値算出処理の一例を表すフローチャートで
ある。
、例えば、タッチパネル１０２が操作されたときに実行される処理であり、この操作によ
り検出された指示位置を用いて、視点検出処理で検出された視点位置を補正するための補
正値が算出される。図６は、本実施形態の補正値算出処理の一例を表すフローチャートで
ある。
取得部１２３は、タッチパネル１０２が操作されたか否かを判断する（ステップＳ２０
１）。操作されていない場合（ステップＳ２０１：Ｎｏ）、操作されるまで処理を繰り返
す。操作された場合（ステップＳ２０１：Ｙｅｓ）、取得部１２３は、タッチパネル１０
２の表示画面上のタッチ位置（指示位置）を取得する（ステップＳ２０２）。取得部１２
３は、さらにこの時のカメラ画像から算出された視点位置を取得する（ステップＳ２０３
）。算出部１２４は、取得された視点位置が、画面を分割した複数の分割領域のうち、い
ずれの分割領域に存在するかを判定する（ステップＳ２０４）。算出部１２４は、タッチ
位置と視点位置との差分を算出する（ステップＳ２０５）。算出部１２４は、該当する分
割領域の補正値に今回算出された差分を加算することにより、該当分割領域の補正値を算
出する（ステップＳ２０６）。
１）。操作されていない場合（ステップＳ２０１：Ｎｏ）、操作されるまで処理を繰り返
す。操作された場合（ステップＳ２０１：Ｙｅｓ）、取得部１２３は、タッチパネル１０
２の表示画面上のタッチ位置（指示位置）を取得する（ステップＳ２０２）。取得部１２
３は、さらにこの時のカメラ画像から算出された視点位置を取得する（ステップＳ２０３
）。算出部１２４は、取得された視点位置が、画面を分割した複数の分割領域のうち、い
ずれの分割領域に存在するかを判定する（ステップＳ２０４）。算出部１２４は、タッチ
位置と視点位置との差分を算出する（ステップＳ２０５）。算出部１２４は、該当する分
割領域の補正値に今回算出された差分を加算することにより、該当分割領域の補正値を算
出する（ステップＳ２０６）。
図７は、タッチパネル１０２を操作していない時の視点位置の補正方法を説明するため
の図である。位置７１１は、領域１での補正前の視点位置、位置７２１は、補正後の視点
位置の例を表す。位置７１２は、領域２での補正前の視点位置、位置７２２は、補正後の
視点位置の例を表す。位置７１３は、領域３での補正前の視点位置、位置７２３は補正後
の視点位置の例を表す。位置７１４は、領域４での補正前の視点位置、位置７２４は補正
後の視点位置の例を表す。補正前の視点位置と補正後の視点位置とを結ぶ矢印が補正値に
対応する。
の図である。位置７１１は、領域１での補正前の視点位置、位置７２１は、補正後の視点
位置の例を表す。位置７１２は、領域２での補正前の視点位置、位置７２２は、補正後の
視点位置の例を表す。位置７１３は、領域３での補正前の視点位置、位置７２３は補正後
の視点位置の例を表す。位置７１４は、領域４での補正前の視点位置、位置７２４は補正
後の視点位置の例を表す。補正前の視点位置と補正後の視点位置とを結ぶ矢印が補正値に
対応する。
補正部１２５は、例えば、検出された視点位置を、検出された視点位置が含まれる領域
の補正値を用いて補正する。補正部１２５が、各分割領域（領域１〜４）それぞれに対し
て得られる複数の補正値の一部または全部を用いて視点位置を補正してもよい。例えば、
補正部１２５は、補正前の視点位置７３１が検出されたときに、各分割領域の補正前の視
点位置（位置７１１、位置７１２、位置７１３、位置７１４）と視点位置７３１との位置
関係に応じて、各分割領域の補正値を重み付け加算し、実際に用いる補正値を算出しても
よい。重みは、例えば、視点位置７３１との距離が近い視点位置を含む分割領域の補正値
ほど、大きくなるように設定してもよい。図７の位置７３２は、このようにして視点位置
７３１を補正した補正後の視点位置の例を表している。
の補正値を用いて補正する。補正部１２５が、各分割領域（領域１〜４）それぞれに対し
て得られる複数の補正値の一部または全部を用いて視点位置を補正してもよい。例えば、
補正部１２５は、補正前の視点位置７３１が検出されたときに、各分割領域の補正前の視
点位置（位置７１１、位置７１２、位置７１３、位置７１４）と視点位置７３１との位置
関係に応じて、各分割領域の補正値を重み付け加算し、実際に用いる補正値を算出しても
よい。重みは、例えば、視点位置７３１との距離が近い視点位置を含む分割領域の補正値
ほど、大きくなるように設定してもよい。図７の位置７３２は、このようにして視点位置
７３１を補正した補正後の視点位置の例を表している。
このように、本実施形態によれば、タッチパネル１０２を操作していない時の操作者の
視点位置を、タッチパネル１０２の操作時のカメラ画像から算出した注視点と接触点の座
標の差分から求められる補正値により補正する。これにより、より精度の高い視点位置検
出を行うことが可能となる。
視点位置を、タッチパネル１０２の操作時のカメラ画像から算出した注視点と接触点の座
標の差分から求められる補正値により補正する。これにより、より精度の高い視点位置検
出を行うことが可能となる。
本発明の好ましい実施態様を以下に列挙する。
（実施態様１） 操作者の視線方向を検出する視線検出部と、
前記視線方向に基づいて、表示部の表示領域における前記操作者の視点の位置を表す視
点位置を検出する視点検出部と、
前記表示領域内を前記操作者が指示した位置を表す指示位置を取得する取得部と、
前記指示位置に基づいて前記視点位置を補正する補正部と、
を備えることを特徴とする視点検出装置。
（実施態様２） 前記操作者が前記表示領域内を指示したときに前記視点検出部により検
出された前記視点位置と、前記指示位置と、の差分を算出し、前記視点位置を補正するた
めの補正値を、前記差分から算出する算出部をさらに備え、
前記補正部は、前記差分が算出された後に検出された前記視点位置を前記補正値によっ
て補正すること、
を特徴とする実施態様１に記載の視点検出装置。
（実施態様３） 前記算出部は、前記補正値によって補正された前記視点位置と、前記指
示位置との差分を、前記補正値に加算することにより、新たな補正値を算出し、
前記補正部は、新たな補正値が算出された後に検出された前記視点位置を、新たな補正
値によって補正すること、
を特徴とする実施態様２に記載の視点検出装置。
（実施態様４） 前記算出部は、前記表示部を分割した複数の表示領域ごとに、前記差分
を算出し、
前記補正部は、前記複数の表示領域に対して算出される複数の前記差分を用いて、前記
視点位置を補正すること、
を特徴とする実施態様２に記載の視点検出装置。
（実施態様５） 操作者の視線方向を検出する視線検出ステップと、
前記視線方向に基づいて、表示部の表示領域における前記操作者の視点の位置を表す視
点位置を検出する視点検出ステップと、
前記表示領域内を前記操作者が指示した位置を表す指示位置を取得する取得ステップと
、
前記指示位置に基づいて前記視点位置を補正する補正ステップと、
を含む視点検出方法。
（実施態様１） 操作者の視線方向を検出する視線検出部と、
前記視線方向に基づいて、表示部の表示領域における前記操作者の視点の位置を表す視
点位置を検出する視点検出部と、
前記表示領域内を前記操作者が指示した位置を表す指示位置を取得する取得部と、
前記指示位置に基づいて前記視点位置を補正する補正部と、
を備えることを特徴とする視点検出装置。
（実施態様２） 前記操作者が前記表示領域内を指示したときに前記視点検出部により検
出された前記視点位置と、前記指示位置と、の差分を算出し、前記視点位置を補正するた
めの補正値を、前記差分から算出する算出部をさらに備え、
前記補正部は、前記差分が算出された後に検出された前記視点位置を前記補正値によっ
て補正すること、
を特徴とする実施態様１に記載の視点検出装置。
（実施態様３） 前記算出部は、前記補正値によって補正された前記視点位置と、前記指
示位置との差分を、前記補正値に加算することにより、新たな補正値を算出し、
前記補正部は、新たな補正値が算出された後に検出された前記視点位置を、新たな補正
値によって補正すること、
を特徴とする実施態様２に記載の視点検出装置。
（実施態様４） 前記算出部は、前記表示部を分割した複数の表示領域ごとに、前記差分
を算出し、
前記補正部は、前記複数の表示領域に対して算出される複数の前記差分を用いて、前記
視点位置を補正すること、
を特徴とする実施態様２に記載の視点検出装置。
（実施態様５） 操作者の視線方向を検出する視線検出ステップと、
前記視線方向に基づいて、表示部の表示領域における前記操作者の視点の位置を表す視
点位置を検出する視点検出ステップと、
前記表示領域内を前記操作者が指示した位置を表す指示位置を取得する取得ステップと
、
前記指示位置に基づいて前記視点位置を補正する補正ステップと、
を含む視点検出方法。
以上のように、本実施形態によれば、例えば以下のような効果が得られる。
・従来の視線の検出方法に加え、タッチパネル等をタッチ（指示）した位置を示す情報を
得ることにより、視点検出の補正を行うことが可能となる。これにより、より精度の高い
視点検出を行うことができる。
・従来の視線の検出方法に加え、タッチパネル等をタッチ（指示）した位置を示す情報を
得ることにより、視点検出の補正を行うことが可能となる。これにより、より精度の高い
視点検出を行うことができる。
１００ タブレット型ＰＣ
１０２ タッチパネル
１０３ 左カメラ
１０４ 右カメラ
１０５〜１０８ 赤外線ＬＥＤ光源
１２０ 制御部
１２１ 視線検出部
１２２ 視点検出部
１２３ 取得部
１２４ 算出部
１２５ 補正部
１３０ 駆動・ＩＦ部
１３１Ｒ、１３１Ｌ カメラＩＦ
１３２ ＬＥＤ駆動制御部
１０２ タッチパネル
１０３ 左カメラ
１０４ 右カメラ
１０５〜１０８ 赤外線ＬＥＤ光源
１２０ 制御部
１２１ 視線検出部
１２２ 視点検出部
１２３ 取得部
１２４ 算出部
１２５ 補正部
１３０ 駆動・ＩＦ部
１３１Ｒ、１３１Ｌ カメラＩＦ
１３２ ＬＥＤ駆動制御部
Claims (3)
- タッチパネルと、
前記タッチパネルの表示領域内を操作者が接触した位置を取得する取得部と、
前記操作者の視線方向を検出する視線検出部と、
前記タッチパネルの表示領域内を前記操作者が接触したときの前記視線方向に基づいて、前記タッチパネルの表示領域における前記操作者の視点の位置を表す視点位置を検出する視点検出部と、
前記接触した位置に基づいて前記視点位置を補正する補正部と、
を備えることを特徴とする視点検出装置。 - 前記タッチパネルの表示領域内を前記操作者が接触したときに前記視点検出部により検出された前記視点位置と、前記接触した位置と、の差分を算出し、前記視点位置を補正するための補正値を、前記差分から算出する算出部をさらに備え、
前記補正部は、前記差分が算出された後に検出された前記視点位置を前記補正値によって補正すること、
を特徴とする請求項１に記載の視点検出装置。 - タッチパネルの表示領域内を操作者が接触した位置を取得する取得ステップと、
前記操作者の視線方向を検出する視線検出ステップと、
前記タッチパネルの表示領域内を前記操作者が接触したときの前記視線方向に基づいて、前記タッチパネルの表示領域における前記操作者の視点の位置を表す視点位置を検出する視点検出ステップと、
前記接触した位置に基づいて前記視点位置を補正する補正ステップと、
を含む視点検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017083470A JP2017146987A (ja) | 2017-04-20 | 2017-04-20 | 視点検出装置および視点検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017083470A JP2017146987A (ja) | 2017-04-20 | 2017-04-20 | 視点検出装置および視点検出方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013178070A Division JP2015046111A (ja) | 2013-08-29 | 2013-08-29 | 視点検出装置および視点検出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017146987A true JP2017146987A (ja) | 2017-08-24 |
Family
ID=59682316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017083470A Pending JP2017146987A (ja) | 2017-04-20 | 2017-04-20 | 視点検出装置および視点検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017146987A (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006277666A (ja) * | 2005-03-30 | 2006-10-12 | Nhk Engineering Services Inc | 表示画面上位置解析装置及び表示画面上位置解析プログラム |
| JP2007025963A (ja) * | 2005-07-14 | 2007-02-01 | Nippon Hoso Kyokai <Nhk> | 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム |
| JP2009288881A (ja) * | 2008-05-27 | 2009-12-10 | Ntt Docomo Inc | 文字入力装置及び文字入力方法 |
| JP2012065781A (ja) * | 2010-09-22 | 2012-04-05 | Fujitsu Ltd | 視線検出装置および補正係数算出プログラム |
-
2017
- 2017-04-20 JP JP2017083470A patent/JP2017146987A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006277666A (ja) * | 2005-03-30 | 2006-10-12 | Nhk Engineering Services Inc | 表示画面上位置解析装置及び表示画面上位置解析プログラム |
| JP2007025963A (ja) * | 2005-07-14 | 2007-02-01 | Nippon Hoso Kyokai <Nhk> | 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム |
| JP2009288881A (ja) * | 2008-05-27 | 2009-12-10 | Ntt Docomo Inc | 文字入力装置及び文字入力方法 |
| JP2012065781A (ja) * | 2010-09-22 | 2012-04-05 | Fujitsu Ltd | 視線検出装置および補正係数算出プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20140085451A1 (en) | Gaze detection apparatus, gaze detection computer program, and display apparatus | |
| JP5949319B2 (ja) | 視線検出装置及び視線検出方法 | |
| CN111902070B (zh) | 左眼和右眼凝视追踪数据的可靠性 | |
| US11176842B2 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
| JP6971686B2 (ja) | 視線検出装置及び視線検出方法 | |
| US11937928B2 (en) | Evaluation apparatus, evaluation method, and evaluation program | |
| JP2015152938A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2015046111A (ja) | 視点検出装置および視点検出方法 | |
| KR100960269B1 (ko) | 눈동자 시선 추정 장치 및 추정 방법 | |
| WO2021059745A1 (ja) | 視線データ補正装置、評価装置、視線データ補正方法、評価方法、視線データ補正プログラム、及び評価プログラム | |
| EP3811852B1 (en) | Device, method, and program for detecting gaze | |
| US10996747B2 (en) | Line-of-sight detection device, line-of-sight detection method, and medium | |
| JP2017146987A (ja) | 視点検出装置および視点検出方法 | |
| EP3922166B1 (en) | Display device, display method and display program | |
| US11241152B2 (en) | Evaluation device, evaluation method, and non-transitory storage medium | |
| JP7063045B2 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
| JP2016049258A (ja) | 照明撮像装置及びそれを備えた視線検出装置 | |
| WO2024134972A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
| US11868544B2 (en) | Information processing device, information processing method, program, display system, display method, and electronic writing tool | |
| JPH1097376A (ja) | 視線操作装置 | |
| WO2021131335A1 (ja) | 角膜反射検出装置、視線検出装置、角膜反射検出方法、及び角膜反射検出プログラム | |
| US20230236666A1 (en) | Optical apparatus, image pickup apparatus, control method of optical apparatus, and storage medium | |
| WO2023008023A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
| WO2022044395A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
| JP2024090620A (ja) | 被験者特定装置、視線検出装置、被験者特定方法及び被験者特定プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180918 |