JP2016137155A - 眼の開閉状態の判定方法、画像処理装置、および判定システム - Google Patents
眼の開閉状態の判定方法、画像処理装置、および判定システム Download PDFInfo
- Publication number
- JP2016137155A JP2016137155A JP2015014819A JP2015014819A JP2016137155A JP 2016137155 A JP2016137155 A JP 2016137155A JP 2015014819 A JP2015014819 A JP 2015014819A JP 2015014819 A JP2015014819 A JP 2015014819A JP 2016137155 A JP2016137155 A JP 2016137155A
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- subject
- dots
- eye
- determination method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
Description
対象者に対して複数のドットを含むパターン光を照射する照射ステップと、
前記パターン光が照射された前記対象者を撮像した複数フレームの撮像画像を取得する第1取得ステップと、
前記第1取得ステップで取得された各撮像画像上の識別条件を満たすドットを識別する第1識別ステップと、
前記第1識別ステップで識別された前記ドットの数の前記複数フレームにおける経時変化に基づいて、前記対象者の眼の開閉状態を判定する判定ステップとを含む
ことを特徴とする。
複数のドットを含むパターン光が照射された対象者を撮像した複数フレームの撮像画像を取得し、取得された各撮像画像上の識別条件を満たすドットを識別し、識別された前記ドットの数の前記複数フレームにおける経時変化に基づいて前記対象者の眼の開閉状態を判定する制御部を備える
ことを特徴とする。
複数のドットを含むパターン光が照射された対象者を撮像した複数フレームの撮像画像を取得し、取得された各撮像画像上の識別条件を満たすドットを識別し、識別された前記ドットの数の前記複数フレームにおける経時変化に基づいて前記対象者の眼の開閉状態を判定する制御部を備える画像処理装置と、
前記パターン光が照射された前記対象者を撮像して前記複数フレームの撮像画像を生成する撮像装置とを備える
ことを特徴とする。
次に、本発明の実施形態の第1の変形例について説明する。第1の変形例に係る判定システム10の構成は、上述した実施形態と同様である(図1参照)。上述した実施形態において、対象者15の眼が閉状態であると判定されるドットの数の範囲は、実験などに基づいて予め決定される。一方、第1の変形例に係る判定システム10は、例えば対象者15が移動体16を走行させる前に眼の開閉状態に関するキャリブレーションを行い、キャリブレーションの結果に基づいて、対象者15の眼が閉状態であると判定されるドットの数の範囲などが決定される。以下、詳細に説明する。
次に、本発明の実施形態の第2の変形例について説明する。第2の変形例に係る判定システム10の構成は、上述した実施形態と同様である(図1参照)。上述した実施形態において、画像処理装置12は、対象者15の顔を撮像した撮像画像の全領域において識別したドットの数の経時変化に基づいて、眼の開閉状態を判定する。ここで、撮像画像上の対象者15の眼の位置は、運転中に変化する着座姿勢に応じて異なる。第2の変形例に係る判定システム10の画像処理装置12は、撮像画像上の対象者15の眼を含む所定面積の領域(眼周辺領域)において識別したドットの数の経時変化に基づいて、眼の開閉状態を判定する。以下、詳細に説明する。
11 撮像装置
12 画像処理装置
13 警告装置
14 ネットワーク
15 対象者
16 移動体
17 ダッシュボード
18 発光部
19 パターンマスク
20 照明光学系
21 撮像光学系
22 撮像素子
23 画像処理部
24 入出力部
25 カメラ制御部
26 背景
28 顔に対応する撮像画像上の領域
29 背景に対応する撮像画像上の領域
30 眼球
31、31a、31b 眼球に対応する撮像画像上の領域
31a 領域
31b 領域
32 第3のドット
33 入出力部
34 記憶部
35 制御部
Claims (13)
- 対象者に対して複数のドットを含むパターン光を照射する照射ステップと、
前記パターン光が照射された前記対象者を撮像した複数フレームの撮像画像を取得する第1取得ステップと、
前記第1取得ステップで取得された各撮像画像上の識別条件を満たすドットを識別する第1識別ステップと、
前記第1識別ステップで識別された前記ドットの数の前記複数フレームにおける経時変化に基づいて、前記対象者の眼の開閉状態を判定する判定ステップと
を含む、眼の開閉状態の判定方法。 - 請求項1に記載の判定方法であって、
前記識別条件は、前記撮像画像上のドットの輝度および形状の少なくとも一方に関する条件である、判定方法。 - 請求項2に記載の判定方法であって、
前記識別条件は、前記輝度が所定閾値以上である条件、および、前記形状が基準形状に略一致する条件の少なくとも一方を含む、判定方法。 - 請求項3に記載の判定方法であって、
前記第1識別ステップで識別された前記ドットの数が前記複数フレームにおいて単調増加するとき、前記対象者に対する警告を行う第1警告ステップをさらに含む、判定方法。 - 請求項2に記載の判定方法であって、
前記識別条件は、前記輝度が所定閾値未満である条件、および、前記形状が基準形状と異なる条件の少なくとも一方を含む、判定方法。 - 請求項5に記載の判定方法であって、
前記第1識別ステップで識別された前記ドットの数が前記複数フレームにおいて単調減少するとき、前記対象者に対する警告を行う第2警告ステップをさらに含む、判定方法。 - 請求項1乃至6の何れか一項に記載の判定方法であって、
前記第1識別ステップで識別された前記ドットの数が前記複数フレームのそれぞれにおいて所定範囲内であるとき、前記対象者に対する警告を行う第3警告ステップをさらに含む、判定方法。 - 請求項1乃至7の何れか一項に記載の判定方法であって、
前記パターン光が照射され眼が開状態である前記対象者を撮像した撮像画像と、前記パターン光が照射され眼が閉状態である前記対象者を撮像した撮像画像とを取得する第2取得ステップと、
前記第2取得ステップで取得された各撮像画像上の前記識別条件を満たすドットを識別する第2識別ステップと、
前記第2識別ステップで識別された前記ドットの数に基づく基準情報を記憶する記憶ステップとをさらに含み、
前記判定ステップにおいて、前記基準情報と、前記第1識別ステップで識別された前記ドットの数の複数フレームにおける経時変化とに基づいて、前記対象者の眼の開閉状態を判定する、判定方法。 - 請求項1乃至8の何れか一項に記載の判定方法であって、
前記第1取得ステップで取得された各撮像画像上の、前記対象者の眼を含む眼周辺領域を決定する決定ステップをさらに含み、
前記第1識別ステップにおいて、前記第1取得ステップで取得された各撮像画像上の前記眼周辺領域において前記識別条件を満たすドットを識別する、判定方法。 - 請求項9に記載の判定方法であって、
前記決定ステップにおいて、1つのフレームの撮像画像上の前記眼周辺領域を、該1つのフレームよりも前のフレームの撮像画像上の眼周辺領域および該1つのフレームよりも後のフレームの撮像画像上の眼周辺領域の少なくとも一方に基づいて決定する、判定方法。 - 請求項9または10に記載の判定方法であって、
前記決定ステップにおいて、前記第1取得ステップで取得された各撮像画像上の前記眼周辺領域を、該撮像画像上のドットパターンに基づいて決定する、判定方法。 - 複数のドットを含むパターン光が照射された対象者を撮像した複数フレームの撮像画像を取得し、取得された各撮像画像上の識別条件を満たすドットを識別し、識別された前記ドットの数の前記複数フレームにおける経時変化に基づいて前記対象者の眼の開閉状態を判定する制御部を備える、画像処理装置。
- 請求項12に記載の画像処理装置と、
前記パターン光が照射された前記対象者を撮像して前記複数フレームの撮像画像を生成する撮像装置と
を備える、眼の開閉状態の判定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015014819A JP6463975B2 (ja) | 2015-01-28 | 2015-01-28 | 眼の開閉状態の判定方法、画像処理装置、および判定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015014819A JP6463975B2 (ja) | 2015-01-28 | 2015-01-28 | 眼の開閉状態の判定方法、画像処理装置、および判定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016137155A true JP2016137155A (ja) | 2016-08-04 |
JP6463975B2 JP6463975B2 (ja) | 2019-02-06 |
Family
ID=56559543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015014819A Active JP6463975B2 (ja) | 2015-01-28 | 2015-01-28 | 眼の開閉状態の判定方法、画像処理装置、および判定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6463975B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2571300A (en) * | 2018-02-23 | 2019-08-28 | Sony Interactive Entertainment Inc | Eye tracking method and apparatus |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10960A (ja) * | 1996-06-12 | 1998-01-06 | Yazaki Corp | 運転者監視装置 |
US6163281A (en) * | 1996-08-19 | 2000-12-19 | Torch; William C. | System and method for communication using eye movement |
JP2005013626A (ja) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | 覚醒状態検出装置 |
JP2009125518A (ja) * | 2007-11-28 | 2009-06-11 | Calsonic Kansei Corp | ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置 |
JP2010026657A (ja) * | 2008-07-16 | 2010-02-04 | Toyota Motor Corp | 運転者状態検出装置 |
JP2010129050A (ja) * | 2008-12-01 | 2010-06-10 | Calsonic Kansei Corp | 顔向き検出装置 |
-
2015
- 2015-01-28 JP JP2015014819A patent/JP6463975B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10960A (ja) * | 1996-06-12 | 1998-01-06 | Yazaki Corp | 運転者監視装置 |
US6163281A (en) * | 1996-08-19 | 2000-12-19 | Torch; William C. | System and method for communication using eye movement |
JP2005013626A (ja) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | 覚醒状態検出装置 |
JP2009125518A (ja) * | 2007-11-28 | 2009-06-11 | Calsonic Kansei Corp | ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置 |
JP2010026657A (ja) * | 2008-07-16 | 2010-02-04 | Toyota Motor Corp | 運転者状態検出装置 |
JP2010129050A (ja) * | 2008-12-01 | 2010-06-10 | Calsonic Kansei Corp | 顔向き検出装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2571300A (en) * | 2018-02-23 | 2019-08-28 | Sony Interactive Entertainment Inc | Eye tracking method and apparatus |
GB2571300B (en) * | 2018-02-23 | 2020-05-27 | Sony Interactive Entertainment Inc | Eye tracking method and apparatus |
US11557020B2 (en) | 2018-02-23 | 2023-01-17 | Sony Interactive Entertainment Inc. | Eye tracking method and apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP6463975B2 (ja) | 2019-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5549721B2 (ja) | ドライバモニタ装置 | |
JP4793269B2 (ja) | 眠気検知装置 | |
JP5761074B2 (ja) | 撮像制御装置及びプログラム | |
JP5694161B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP6819291B2 (ja) | 制御システム、情報処理装置、制御方法、およびプログラム | |
WO2014017061A1 (ja) | 状態監視装置 | |
JP5641752B2 (ja) | 眼科撮影装置および眼科撮影方法 | |
JP6601351B2 (ja) | 視線計測装置 | |
US20150335242A1 (en) | Ophthalmic apparatus and control method for the same | |
JP2008125619A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
US20170156590A1 (en) | Line-of-sight detection apparatus | |
JP2010259647A (ja) | 眼底カメラ | |
WO2017073045A1 (ja) | 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法 | |
JP6463975B2 (ja) | 眼の開閉状態の判定方法、画像処理装置、および判定システム | |
JP6480586B2 (ja) | 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法 | |
JP5206190B2 (ja) | ドライバー監視装置 | |
JP6431210B2 (ja) | 撮像装置 | |
JP2017162233A (ja) | 視線検出装置および視線検出方法 | |
JP2008052317A (ja) | 認証装置および認証方法 | |
JP2017068385A (ja) | 撮像装置、および監視システム | |
US20040071318A1 (en) | Apparatus and method for recognizing images | |
JP2008132160A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
WO2014041758A1 (ja) | 状態監視装置 | |
WO2017134918A1 (ja) | 視線検出装置 | |
JP2018143285A (ja) | 生体状態判定装置、生体状態判定システム、及び、生体状態判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171010 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6463975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |