JP2017117376A - 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム - Google Patents
視線検出装置、視線検出方法及び視線検出用コンピュータプログラム Download PDFInfo
- Publication number
- JP2017117376A JP2017117376A JP2015254916A JP2015254916A JP2017117376A JP 2017117376 A JP2017117376 A JP 2017117376A JP 2015254916 A JP2015254916 A JP 2015254916A JP 2015254916 A JP2015254916 A JP 2015254916A JP 2017117376 A JP2017117376 A JP 2017117376A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- detected
- period
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
Description
この視線検出装置は、人が想定される範囲内に位置している限り、その人の顔全体を撮影可能な画角を持つ広角カメラと、画像上で瞳孔及びプルキンエ像が識別可能なサイズとなるように、広角カメラの画角よりも狭い画角を持つ赤外カメラを有する。この視線検出装置は、広角カメラが一定周期ごとに撮影することにより得られた一連の画像のそれぞれから、顔を検出する。そしてこの視線検出装置は、検出された顔の位置に基づいて想定される眼の位置を赤外カメラにより撮影して画像を生成し、赤外カメラによる画像上で瞳孔及びプルキンエ像を検出することで、人の注視位置を検出する。またこの視線検出装置は、広角カメラによる画像上で顔が検出されている期間内に検出された注視位置を、同一人物によるものと判定する。
なお、広角カメラ3も、赤外カメラ5と同様に、照明光源4から発せられる赤外光に感度を有するカメラであってもよい。
制御部9が有するこれらの各部は、制御部9が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。また制御部9が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として、制御部9が有するプロセッサとは別個にデジタルサイネージシステム1に実装されてもよい。
そこで顔検出部21は、顔領域候補画素に対してラベリング処理を行って、互いに隣接している顔領域候補画素の集合を顔候補領域とする。そして顔検出部21は、顔候補領域の大きさが人の顔の大きさに相当する基準範囲に含まれているか否か判定する。顔候補領域の大きさが人の顔の大きさに相当する基準範囲に含まれていれば、顔検出部21はその顔候補領域を顔領域と判定する。
なお、顔候補領域の大きさは、例えば、顔候補領域の水平方向の最大幅の画素数で表される。この場合、基準範囲は、例えば、広角画像の水平方向画素数の1/10以上〜1/3以下に設定される。あるいは、顔候補領域の大きさは、例えば、顔候補領域に含まれる画素数で表されてもよい。この場合、基準範囲は、例えば、画像全体の画素数の1/100以上〜1/9以下に設定される。
そして顔検出部21は、顔の位置の座標を撮影方向制御部22へ渡す。また顔検出部21は、広角画像の取得時刻とともに、顔の位置の座標を履歴情報記録部24へ渡す。さらに、顔検出部21は、顔領域の水平方向の幅を視線検出部23へ通知する。
視線検出部23は、瞳孔領域の検出に成功した場合、瞳孔領域に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、瞳孔領域の重心の位置座標として算出する。
本実施形態では、視線検出部23は、視線方向と注視位置との関係を表す注視位置テーブルを参照することにより、注視位置を決定する。なお、視線方向と注視位置との関係は、その注視位置(例えば、表示部2の表示画面)と視線方向が検出された人物との間の距離に応じて変化する。また、広角画像上での水平方向の顔の幅も、広角カメラ3とその人物との間の距離に応じて変化する。そして広角カメラ3は、表示部2の周辺に配置されているので、広角カメラ3とその人物との間の距離と、その人物の注視位置とその人物との間の距離は、略等しいことが想定される。
なお、変形例によれば、視線検出装置は、デプスカメラといった距離センサを有していてもよい。この場合には、視線検出部23は、距離センサにより得られた、広角画像上で検出された顔までの距離に応じて、注視位置テーブルを選択すればよい。
視線検出部23は、注視位置を、挟角画像の取得時刻とともに履歴情報記録部24へ通知する。
ステップS111またはS114の後、制御部9は、視線検出処理を終了する。
(付記1)
第1の画角を有し、第1の画像を生成する第1の撮像部と、
前記第1の画角よりも狭い第2の画角を有し、第2の画像を生成する第2の撮像部と、
前記第1の画像に人の顔が表されている場合に当該顔の位置を検出する顔検出部と、
前記検出した顔の位置を含む前記第2の画像に人の眼が表されている場合に当該人の注視位置を検出する視線検出部と、
連続して生成された複数の前記第1の画像のそれぞれについて前記顔の位置が検出されている第1の期間において生成された複数の前記第2の画像から検出された前記注視位置を同一人物によるものと判定する同一人物判定部と、
を有する視線検出装置。
(付記2)
前記同一人物判定部は、前記顔の位置が検出されない連続して生成された一つ以上の前記第1の画像のそれぞれについて前記顔の位置が検出されない第2の期間の直前に生成された前記第1の画像上での前記顔の位置と、前記第2の期間の直後に生成された前記第1の画像上での前記顔の位置との比較結果に基づいて、前記第2の期間の直前に生成された前記第2の画像から検出された前記注視位置と、前記第2の期間の直後に生成された前記第2の画像から検出された前記注視位置とを同一人物によるものか否かを判定する、付記1に記載の視線検出装置。
(付記3)
前記同一人物判定部は、前記第2の期間の直前において生成された前記第1の画像上での前記顔の位置が当該第1の画像の水平方向の一方の端部側に位置し、前記第2の期間の直後において生成された前記第1の画像上での前記顔の位置が当該第1の画像の水平方向の他方の端部側に位置する場合、前記第2の期間の直前に生成された前記第2の画像から検出された前記注視位置と、前記第2の期間の直後に生成された前記第2の画像から検出された前記注視位置とを異なる人物によるものと判定する、付記2に記載の視線検出装置。
(付記4)
前記同一人物判定部は、前記第2の期間の直前において生成された前記第1の画像上での前記顔の位置、及び、前記第2の期間の直後において生成された前記第1の画像上での前記顔の位置の何れも、前記第1の画像の水平方向の一方の端部側に位置し、かつ、前記第2の期間の直前において生成された前記第1の画像上での前記顔の垂直方向の位置と、前記第2の期間の直後において生成された前記第1の画像上での前記顔の垂直方向の位置との差が所定の長さ以下である場合、前記第2の期間の直前に生成された前記第2の画像から検出された前記注視位置と、前記第2の期間の直後に生成された前記第2の画像から検出された前記注視位置とを同一人物によるものと判定する、付記2に記載の視線検出装置。
(付記5)
前記同一人物判定部は、前記第2の期間の直前において生成された前記第1の画像上での前記顔の位置、及び、前記第2の期間の直後において生成された前記第1の画像上での前記顔の位置の何れも、前記第1の画像の水平方向の一方の端部側に位置し、かつ、前記第2の期間の長さが所定の期間以下である場合、前記第2の期間の直前に生成された前記第2の画像から検出された前記注視位置と、前記第2の期間の直後に生成された前記第2の画像から検出された前記注視位置とを同一人物によるものと判定する、付記2に記載の視線検出装置。
(付記6)
前記第2の撮像部は、撮影方向を変更可能であり、
前記第2の期間の直前において生成された前記第1の画像上での前記顔の位置が当該第1の画像の水平方向の何れか一方の端部から所定範囲内に位置していた場合、前記第2の撮像部の撮影方向を、前記一方の端部に対応する前記第1の撮像部の撮影範囲の端部から外れる方向へ向ける撮影方向制御部をさらに有する、
付記2〜5の何れかに記載の視線検出装置。
(付記7)
前記同一人物判定部は、前記第2の撮像部の撮影方向を、前記一方の端部に対応する前記第1の撮像部の撮影範囲の端部から外れる方向へ向けた後に生成された前記第2の画像から前記注視位置が検出された場合、当該第2の画像から検出された前記注視位置と、前記第2の期間の直前に生成された前記第2の画像から検出された前記注視位置とを、同一人物によるものと判定する、付記6に記載の視線検出装置。
(付記8)
同一人物による前記注視位置と、対応する前記第2の画像の取得時刻とを含む注視位置履歴情報を作成する履歴情報記録部をさらに有する、付記1〜7の何れかに記載の視線検出装置。
(付記9)
第1の画角を有する第1の撮像部により生成された第1の画像に人の顔が表されている場合に当該顔の位置を検出し、
前記第1の画角よりも狭い第2の画角を有する第2の撮像部により生成され、前記検出した顔の位置を含む第2の画像に人の眼が表されている場合に当該人の注視位置を検出し、
連続して生成された複数の前記第1の画像のそれぞれについて前記顔の位置が検出されている第1の期間において生成された複数の前記第2の画像から検出された前記注視位置を同一人物によるものと判定する、
ことを含む視線検出方法。
(付記10)
第1の画角を有する第1の撮像部により生成された第1の画像に人の顔が表されている場合に当該顔の位置を検出し、
前記第1の画角よりも狭い第2の画角を有する第2の撮像部により生成され、前記検出した顔の位置を含む第2の画像に人の眼が表されている場合に当該人の注視位置を検出し、
連続して生成された複数の前記第1の画像のそれぞれについて前記顔の位置が検出されている第1の期間において生成された複数の前記第2の画像から検出された前記注視位置を同一人物によるものと判定する、
ことをコンピュータに実行させるための視線検出用コンピュータプログラム。
2 表示部
3 広角カメラ
4 照明光源
5 赤外カメラ
6 入力部
7 記憶媒体アクセス装置
8 記憶部
9 制御部
10 筐体
11 記憶媒体
21 顔検出部
22 撮影方向制御部
23 視線検出部
24 履歴情報記録部
25 同一人物判定部
Claims (9)
- 第1の画角を有し、第1の画像を生成する第1の撮像部と、
前記第1の画角よりも狭い第2の画角を有し、第2の画像を生成する第2の撮像部と、
前記第1の画像に人の顔が表されている場合に当該顔の位置を検出する顔検出部と、
前記検出した顔の位置を含む前記第2の画像に人の眼が表されている場合に当該人の注視位置を検出する視線検出部と、
連続して生成された複数の前記第1の画像のそれぞれについて前記顔の位置が検出されている第1の期間において生成された複数の前記第2の画像から検出された前記注視位置を同一人物によるものと判定する同一人物判定部と、
を有する視線検出装置。 - 前記同一人物判定部は、前記顔の位置が検出されない連続して生成された一つ以上の前記第1の画像のそれぞれについて前記顔の位置が検出されない第2の期間の直前に生成された前記第1の画像上での前記顔の位置と、前記第2の期間の直後に生成された前記第1の画像上での前記顔の位置との比較結果に基づいて、前記第2の期間の直前に生成された前記第2の画像から検出された前記注視位置と、前記第2の期間の直後に生成された前記第2の画像から検出された前記注視位置とを同一人物によるものか否かを判定する、請求項1に記載の視線検出装置。
- 前記同一人物判定部は、前記第2の期間の直前において生成された前記第1の画像上での前記顔の位置が当該第1の画像の水平方向の一方の端部側に位置し、前記第2の期間の直後において生成された前記第1の画像上での前記顔の位置が当該第1の画像の水平方向の他方の端部側に位置する場合、前記第2の期間の直前に生成された前記第2の画像から検出された前記注視位置と、前記第2の期間の直後に生成された前記第2の画像から検出された前記注視位置とを異なる人物によるものと判定する、請求項2に記載の視線検出装置。
- 前記同一人物判定部は、前記第2の期間の直前において生成された前記第1の画像上での前記顔の位置、及び、前記第2の期間の直後において生成された前記第1の画像上での前記顔の位置の何れも、前記第1の画像の水平方向の一方の端部側に位置し、かつ、前記第2の期間の直前において生成された前記第1の画像上での前記顔の垂直方向の位置と、前記第2の期間の直後において生成された前記第1の画像上での前記顔の垂直方向の位置との差が所定の長さ以下である場合、前記第2の期間の直前に生成された前記第2の画像から検出された前記注視位置と、前記第2の期間の直後に生成された前記第2の画像から検出された前記注視位置とを同一人物によるものと判定する、請求項2に記載の視線検出装置。
- 前記同一人物判定部は、前記第2の期間の直前において生成された前記第1の画像上での前記顔の位置、及び、前記第2の期間の直後において生成された前記第1の画像上での前記顔の位置の何れも、前記第1の画像の水平方向の一方の端部側に位置し、かつ、前記第2の期間の長さが所定の期間以下である場合、前記第2の期間の直前に生成された前記第2の画像から検出された前記注視位置と、前記第2の期間の直後に生成された前記第2の画像から検出された前記注視位置とを同一人物によるものと判定する、請求項2に記載の視線検出装置。
- 前記第2の撮像部は、撮影方向を変更可能であり、
前記第2の期間の直前において生成された前記第1の画像上での前記顔の位置が当該第1の画像の水平方向の何れか一方の端部から所定範囲内に位置していた場合、前記第2の撮像部の撮影方向を、前記一方の端部に対応する前記第1の撮像部の撮影範囲の端部から外れる方向へ向ける撮影方向制御部をさらに有する、請求項2〜5の何れか一項に記載の視線検出装置。 - 前記同一人物判定部は、前記第2の撮像部の撮影方向を、前記一方の端部に対応する前記第1の撮像部の撮影範囲の端部から外れる方向へ向けた後に生成された前記第2の画像から前記注視位置が検出された場合、当該第2の画像から検出された前記注視位置と、前記第2の期間の直前に生成された前記第2の画像から検出された前記注視位置とを、同一人物によるものと判定する、請求項6に記載の視線検出装置。
- 第1の画角を有する第1の撮像部により生成された第1の画像に人の顔が表されている場合に当該顔の位置を検出し、
前記第1の画角よりも狭い第2の画角を有する第2の撮像部により生成され、前記検出した顔の位置を含む第2の画像に人の眼が表されている場合に当該人の注視位置を検出し、
連続して生成された複数の前記第1の画像のそれぞれについて前記顔の位置が検出されている第1の期間において生成された複数の前記第2の画像から検出された前記注視位置を同一人物によるものと判定する、
ことを含む視線検出方法。 - 第1の画角を有する第1の撮像部により生成された第1の画像に人の顔が表されている場合に当該顔の位置を検出し、
前記第1の画角よりも狭い第2の画角を有する第2の撮像部により生成され、前記検出した顔の位置を含む第2の画像に人の眼が表されている場合に当該人の注視位置を検出し、
連続して生成された複数の前記第1の画像のそれぞれについて前記顔の位置が検出されている第1の期間において生成された複数の前記第2の画像から検出された前記注視位置を同一人物によるものと判定する、
ことをコンピュータに実行させるための視線検出用コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015254916A JP6575353B2 (ja) | 2015-12-25 | 2015-12-25 | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015254916A JP6575353B2 (ja) | 2015-12-25 | 2015-12-25 | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017117376A true JP2017117376A (ja) | 2017-06-29 |
JP6575353B2 JP6575353B2 (ja) | 2019-09-18 |
Family
ID=59231884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015254916A Active JP6575353B2 (ja) | 2015-12-25 | 2015-12-25 | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6575353B2 (ja) |
-
2015
- 2015-12-25 JP JP2015254916A patent/JP6575353B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6575353B2 (ja) | 2019-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5949319B2 (ja) | 視線検出装置及び視線検出方法 | |
US9473696B2 (en) | Gaze detection apparatus, gaze detection computer program, and display apparatus | |
JP6930223B2 (ja) | 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法 | |
EP3453316B1 (en) | Eye tracking using eyeball center position | |
US20170286771A1 (en) | Gaze detection apparatus and gaze detection method | |
JP5655644B2 (ja) | 視線検出装置及び視線検出方法 | |
US9405364B2 (en) | Method of determining reflections of light | |
JP5621456B2 (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラムならびに携帯端末 | |
JP6957993B2 (ja) | ユーザの解答に対する自信レベルを推定する情報処理プログラム、情報処理装置及び情報処理方法 | |
JP6870474B2 (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
US11243607B2 (en) | Method and system for glint/reflection identification | |
JP6604271B2 (ja) | 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム | |
JP2018205819A (ja) | 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法 | |
US20170228594A1 (en) | Iris authentication apparatus | |
US20200187774A1 (en) | Method and system for controlling illuminators | |
JP2012187190A (ja) | 視線検出装置及び視線検出方法 | |
KR100960269B1 (ko) | 눈동자 시선 추정 장치 및 추정 방법 | |
JP2017199148A (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム | |
WO2019185136A1 (en) | Method and system for controlling illuminators | |
JP6575353B2 (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム | |
JP2018120299A (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
Lander et al. | Eyemirror: Mobile calibration-free gaze approximation using corneal imaging | |
KR20190027081A (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 | |
KR20230101580A (ko) | 안구 모델에 기초하여 센싱 범위를 결정하는 시선 추적 방법, 장치 및 시선 추적 센서 | |
CN117372475A (zh) | 眼球追踪方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190805 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6575353 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |