JP2018018401A - 瞼開閉検出装置および瞼開閉検出方法 - Google Patents
瞼開閉検出装置および瞼開閉検出方法 Download PDFInfo
- Publication number
- JP2018018401A JP2018018401A JP2016149809A JP2016149809A JP2018018401A JP 2018018401 A JP2018018401 A JP 2018018401A JP 2016149809 A JP2016149809 A JP 2016149809A JP 2016149809 A JP2016149809 A JP 2016149809A JP 2018018401 A JP2018018401 A JP 2018018401A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- opening
- open
- closing
- close
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 210000000744 eyelid Anatomy 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000037303 wrinkles Effects 0.000 claims 5
- 230000004399 eye closure Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Abstract
Description
10…瞼開閉検出装置
14…撮像素子
22…初期検出部
31…輝度補正部
33…仮開眼位置識別器
34…仮閉眼位置識別器
35…第1開閉識別器
36…第2開閉識別器
37…開閉判定部
Claims (9)
- 被写体の顔を撮像した撮像素子の出力にもとづいて生成された前記被写体の顔画像から、初期位置検出辞書を用いて目の領域を検出する初期検出部と、
前記初期検出部により検出された前記目の領域を包含する領域から、開いた目の画像を正解、目の周辺の画像を不正解として学習した開眼用位置検出辞書を用いて、前記被写体の瞼が開いていたと仮定した場合の目の位置である仮開眼位置を検出する仮開眼位置識別器と、
前記初期検出部により検出された前記目の領域を包含する領域から、閉じた目の画像を正解、目の周辺の画像を不正解として学習した閉眼用位置検出辞書を用いて、前記被写体の瞼が閉じていたと仮定した場合の目の位置である仮閉眼位置を検出する仮閉眼位置識別器と、
前記仮開眼位置識別器の出力および前記仮閉眼位置識別器の出力にもとづいて、前記被写体の瞼の開閉の判定結果を出力する開閉判定部と、
を備えた瞼開閉検出装置。 - 前記仮開眼位置識別器は、
前記開眼用位置検出辞書を用いて、前記目の領域を包含する領域を、この領域より小さい走査枠で走査して各走査位置の尤度を求めて、求めた尤度にもとづいて前記仮開眼位置を求め、
前記仮閉眼位置識別器は、
前記閉眼用位置検出辞書を用いて、前記目の領域を包含する領域を前記走査枠で走査して各走査位置の尤度を求め、求めた尤度にもとづいて前記仮閉眼位置を求め、
前記開閉判定部は、
前記仮開眼位置識別器の求めた尤度および前記仮閉眼位置識別器の求めた尤度にもとづいて、前記被写体の瞼の開閉を判定する、
請求項1記載の瞼開閉検出装置。 - 正解および不正解の一方を開いた目、他方を閉じた目として学習した第1開閉判定辞書を用いて、前記仮開眼位置について尤度を求める第1開閉識別器と、
前記第1開閉判定辞書とは正解と不正解とを反転して学習した第2開閉判定辞書を用いて、前記仮閉眼位置について尤度を求める第2開閉識別器と、
をさらに備え、
前記開閉判定部は、
前記第1開閉識別器が求めた尤度および前記第2開閉識別器が求めた尤度を用いて前記被写体の瞼の開閉を判定する、
請求項1または2に記載の瞼開閉検出装置。 - 前記第1開閉識別器および前記第2開閉識別器は、
それぞれ輝度勾配方向共起ヒストグラムを用いた識別器である、
請求項3記載の瞼開閉検出装置。 - 前記第1開閉識別器および前記第2開閉識別器はそれぞれ、
互いにブロックサイズが異なる開閉判定辞書を用いる複数の開閉識別器により構成され、
前記開閉判定部は、
前記第1開閉識別器を構成する複数の開閉識別器のそれぞれが求めた尤度および前記第2開閉識別器を構成する複数の開閉識別器のそれぞれが求めた尤度を用いて前記被写体の瞼の開閉を判定する、
請求項4記載の瞼開閉検出装置。 - 前記仮開眼位置識別器および前記仮閉眼位置識別器による処理の前に、前記目の領域を包含する領域について輝度ヒストグラムを平坦化するよう輝度補正する輝度補正部、
をさらに備えた請求項1ないし5のいずれか1項に記載の瞼開閉検出装置。 - 前記撮像素子は、
近赤外光で照明された前記被写体の顔を撮像する、
請求項1ないし6のいずれか1項に記載の瞼開閉検出装置。 - 請求項1ないし7のいずれか1項に記載の瞼開閉装置と、
前記撮像素子と、
を備えた車室内用カメラ。 - 被写体の瞼の開閉を検出する瞼開閉検出方法であって、
前記被写体の顔を撮像した撮像素子の出力にもとづいて前記被写体の顔画像を生成するステップと、
前記顔画像から、初期位置検出辞書を用いて目の領域を検出するステップと、
前記目の領域を包含する領域から、開いた目の画像を正解、目の周辺の画像を不正解として学習した開眼用位置検出辞書を用いて、前記被写体の瞼が開いていたと仮定した場合の目の位置である仮開眼位置を検出するステップと、
前記目の領域を包含する領域から、閉じた目の画像を正解、目の周辺の画像を不正解として学習した閉眼用位置検出辞書を用いて、前記被写体の瞼が閉じていたと仮定した場合の目の位置である仮閉眼位置を検出するステップと、
を有する瞼開閉検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016149809A JP6892231B2 (ja) | 2016-07-29 | 2016-07-29 | 瞼開閉検出装置および瞼開閉検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016149809A JP6892231B2 (ja) | 2016-07-29 | 2016-07-29 | 瞼開閉検出装置および瞼開閉検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018018401A true JP2018018401A (ja) | 2018-02-01 |
JP6892231B2 JP6892231B2 (ja) | 2021-06-23 |
Family
ID=61075320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016149809A Active JP6892231B2 (ja) | 2016-07-29 | 2016-07-29 | 瞼開閉検出装置および瞼開閉検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6892231B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019159364A1 (ja) * | 2018-02-19 | 2019-08-22 | 三菱電機株式会社 | 搭乗者状態検出装置、搭乗者状態検出システム及び搭乗者状態検出方法 |
JP2022517398A (ja) * | 2019-02-28 | 2022-03-08 | ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | ニューラルネットワークのトレーニング及び目開閉状態の検出方法、装置並び機器 |
WO2022185596A1 (ja) * | 2021-03-04 | 2022-09-09 | パナソニックIpマネジメント株式会社 | 推定システム、推定方法およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006251926A (ja) * | 2005-03-08 | 2006-09-21 | Nissan Motor Co Ltd | 直射光検出装置 |
JP2007323104A (ja) * | 2006-05-30 | 2007-12-13 | Fujifilm Corp | 目の状態判別方法および装置ならびにプログラム |
JP2013020353A (ja) * | 2011-07-08 | 2013-01-31 | Fujifilm Corp | 判別器生成方法、装置およびプログラム |
-
2016
- 2016-07-29 JP JP2016149809A patent/JP6892231B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006251926A (ja) * | 2005-03-08 | 2006-09-21 | Nissan Motor Co Ltd | 直射光検出装置 |
JP2007323104A (ja) * | 2006-05-30 | 2007-12-13 | Fujifilm Corp | 目の状態判別方法および装置ならびにプログラム |
JP2013020353A (ja) * | 2011-07-08 | 2013-01-31 | Fujifilm Corp | 判別器生成方法、装置およびプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019159364A1 (ja) * | 2018-02-19 | 2019-08-22 | 三菱電機株式会社 | 搭乗者状態検出装置、搭乗者状態検出システム及び搭乗者状態検出方法 |
JPWO2019159364A1 (ja) * | 2018-02-19 | 2020-05-28 | 三菱電機株式会社 | 搭乗者状態検出装置、搭乗者状態検出システム及び搭乗者状態検出方法 |
CN111712852A (zh) * | 2018-02-19 | 2020-09-25 | 三菱电机株式会社 | 乘客状态检测装置、乘客状态检测系统和乘客状态检测方法 |
CN111712852B (zh) * | 2018-02-19 | 2023-08-11 | 三菱电机株式会社 | 乘客状态检测装置、系统和方法 |
JP2022517398A (ja) * | 2019-02-28 | 2022-03-08 | ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | ニューラルネットワークのトレーニング及び目開閉状態の検出方法、装置並び機器 |
JP7227385B2 (ja) | 2019-02-28 | 2023-02-21 | ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | ニューラルネットワークのトレーニング及び目開閉状態の検出方法、装置並び機器 |
WO2022185596A1 (ja) * | 2021-03-04 | 2022-09-09 | パナソニックIpマネジメント株式会社 | 推定システム、推定方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6892231B2 (ja) | 2021-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8810642B2 (en) | Pupil detection device and pupil detection method | |
US8538044B2 (en) | Line-of-sight direction determination device and line-of-sight direction determination method | |
US8649583B2 (en) | Pupil detection device and pupil detection method | |
US9822576B2 (en) | Method for operating an activatable locking device for a door and/or a window, securing device for a vehicle, vehicle | |
WO2009107237A1 (ja) | 生体認証装置 | |
US11455810B2 (en) | Driver attention state estimation | |
JP2007004448A (ja) | 視線検出装置 | |
CN107169403B (zh) | 面部图像处理装置 | |
KR20100075167A (ko) | 얼굴인식 기능을 이용한 디지털 영상 촬영 장치 및 방법 | |
JP2018018401A (ja) | 瞼開閉検出装置および瞼開閉検出方法 | |
JP2010244156A (ja) | 画像特徴量検出装置及びこれを用いた視線方向検出装置 | |
KR20110029002A (ko) | 얼굴 판단 장치 및 방법 | |
JP2017188851A (ja) | 車室内用カメラの顔撮影方法および車室内用カメラ | |
JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
WO2018051836A1 (ja) | 虹彩検出装置、虹彩検出方法、虹彩検出プログラム、及び虹彩検出プログラムを記録した記録媒体 | |
JP6762794B2 (ja) | 瞼開閉検出装置および瞼開閉検出方法 | |
CN112101186A (zh) | 用于车辆驾驶员识别的装置和方法及其应用 | |
JP2019028959A (ja) | 画像登録装置、画像登録システムおよび画像登録方法 | |
WO2021044566A1 (ja) | 体格判定装置および体格判定方法 | |
CN110199318B (zh) | 驾驶员状态推定装置以及驾驶员状态推定方法 | |
JP2005296383A (ja) | 視線検出装置 | |
JP6737213B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP2017162233A (ja) | 視線検出装置および視線検出方法 | |
JP2018018399A (ja) | 瞼開閉検出装置および瞼開閉検出方法 | |
US20230326069A1 (en) | Method and apparatus for determining a gaze direction of a user |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20180312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6892231 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |