JP2016081512A - 瞬き検出方法および装置 - Google Patents
瞬き検出方法および装置 Download PDFInfo
- Publication number
- JP2016081512A JP2016081512A JP2015140422A JP2015140422A JP2016081512A JP 2016081512 A JP2016081512 A JP 2016081512A JP 2015140422 A JP2015140422 A JP 2015140422A JP 2015140422 A JP2015140422 A JP 2015140422A JP 2016081512 A JP2016081512 A JP 2016081512A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- pixel
- images
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- JLLRWYLHYCPJKU-UHFFFAOYSA-N CC1=CC(C2)C2C1N Chemical compound CC1=CC(C2)C2C1N JLLRWYLHYCPJKU-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
【解決手段】使用者の眼画像列を取得した後、眼画像列から現検出画像および前撮像画像を取得し、現検出画像および前撮像画像の反射領域をフィルタリングする。反射領域に含まれる画素の輝度値は、輝度しきい値よりも高い。現検出画像と前撮像画像の間の相違画素量を計算し、相違画素量に基づいて、使用者が瞬きしたかどうかを判断する。
【選択図】図2
Description
110 撮像ユニット
120 処理ユニット
130 記憶ユニット
131 光影分析モジュール
132 瞬き判断モジュール
133 顔検出モジュール
134 鼻孔検索モジュール
135 眼検索モジュール
510、610 現分析画像
520、620 前撮像画像
540、640 第1領域
S205〜S225、S305〜S330、S405〜S415 ステップ
Claims (10)
- 使用者の眼画像列を取得するステップと、
前記眼画像列から現検出画像および前撮像画像を取得するステップと、
前記現検出画像および前記前撮像画像の反射領域をフィルタリングし、前記反射領域に含まれる画素の輝度値が輝度しきい値よりも高いステップと、
前記現検出画像と前記前撮像画像の間の相違画素量を計算するステップと、
前記相違画素量に基づいて、前記使用者が瞬きしたかどうかを判断するステップと、
を含む瞬き検出方法。 - 前記現検出画像と前記前撮像画像の間の前記相違画素量を計算するステップが、
前記現検出画像の各画素と前記前撮像画像の各画素の間の画素差を計算するステップと、
前記画素差が第1しきい値よりも大きいかどうかを判断するステップと、
前記画素値が前記第1しきい値よりも大きい時の前記相違画素量を累積し、前記相違画素量に基づいて、前記使用者が瞬きしたかどうかを判断するステップと、
を含む請求項1に記載の瞬き検出方法。 - 前記相違画素量に基づいて前記使用者が瞬きしたかどうかを判断するステップが、
N個以上の連続眼画像のそれぞれの前記相違画素量が第2しきい値よりも大きいかどうかを判断するステップと、
前記N個以上の連続眼画像のそれぞれの前記相違画素量が前記第2しきい値よりも大きい時、前記N個以上の連続眼画像を取り込んだ時の時間区分内に、前記使用者が瞬きしたかどうかを判断するステップと、
を含む請求項2に記載の瞬き検出方法。 - 複数の連続した原画像を含む画像列を取り込むステップと、
各前記原画像に対して顔検出手順を実行し、複数の顔画像を取得するステップと、
各前記顔画像の鼻孔領域を検出するステップと、
前記鼻孔領域に基づいて、各前記顔画像から各眼画像を取得するステップと、
をさらに含む請求項1〜3のいずれか1項に記載の瞬き検出方法。 - 前記眼画像列が、複数の眼画像を含み、前記眼画像が、それぞれグレイレベル画像であり、前記前撮像画像が、前記現分析画像よりM個前の画像であり、Mが、1よりも大きいか、それに等しく、前記瞬き検出方法が、さらに、
前記現分析画像が前記眼画像において撮像時間が最も早いM個の眼画像のうちの1つである時、前記眼画像列から前記眼画像の次の画像を前記現分析画像として取得し、前記撮像時間が最も早い前記M個の眼画像の前記相違画素量を計算しないステップ、
を含む請求項1〜4のいずれか1項に記載の瞬き検出方法。 - 使用者の眼画像列を取得する撮像ユニットと、
複数のモジュールを含む記憶ユニットと、
前記撮像ユニットおよび前記記憶ユニットに結合され、前記モジュールを実行する処理ユニットと、
を含み、前記モジュールが、
眼画像列から現分析画像および前撮像画像を取得し、前記現分析画像の撮像時間が 、前記前撮像画像の撮像時間と異なるとともに、前記現分析画像および前記前撮像画 像の反射領域をフィルタリングし、前記反射領域に含まれる画素の輝度値が、輝度し きい値よりも高く、且つ前記現分析画像と前記前撮像画像の間の相違画素量を計算す る光影分析モジュールと、
前記相違画素量に基づいて、前記使用者が瞬きしたかどうかを判断する瞬き判断モ ジュールと、
を含む瞬き検出装置。 - 前記光影分析モジュールが、前記現分析画像の各画素と前記前撮像画像の各画素の間の画素差を計算し、前記画素差が第1しきい値よりも大きいかどうかを判断して、前記画素値が前記第1しきい値よりも大きい時の前記相違画素量を累積するとともに、前記瞬き判断モジュールが、前記相違画素量に基づいて、前記使用者が瞬きしたかどうかを判断する、
請求項6に記載の瞬き検出装置。 - 前記瞬き判断モジュールが、N個以上の連続眼画像のそれぞれの前記相違画素量が第2しきい値よりも大きいかどうかを判断し、前記N個以上の連続眼画像のそれぞれの前記相違画素量が前記第2しきい値よりも大きい時、前記瞬き判断モジュールが、前記N個以上の連続眼画像を取り込んだ時の時間区分内に、前記使用者が瞬きしたかどうかを判断する、
請求項7に記載の瞬き検出装置。 - 前記撮像ユニットが、複数の連続した原画像を含む画像列を取り込み、
前記記憶ユニットが、さらに、
各前記原画像に対して顔検出手順を実行し、複数の顔画像を取得する顔検出モジュールと、
各前記顔画像の鼻孔領域を検出する鼻孔検索モジュールと、
前記鼻孔領域に基づいて、各前記顔画像から各眼画像を取得する眼検索モジュールと、
を含む請求項6〜8のいずれか1項に記載の瞬き検出装置。 - 前記眼画像列が、複数の眼画像を含み、前記眼画像が、それぞれグレイレベル画像であり、前記前撮像画像が、前記現分析画像よりM個前の画像であり、Mが、1よりも大きいか、それに等しく、前記現分析画像が前記眼画像において前記撮像時間が最も早いM個の画像のうちの1つである時、前記光影分析モジュールが、前記現分析画像の前記相違画素量を計算しない、
請求項6〜9のいずれか1項に記載の瞬き検出装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103135357A TWI603293B (zh) | 2014-10-13 | 2014-10-13 | 眨眼偵測方法及裝置 |
TW103135357 | 2014-10-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016081512A true JP2016081512A (ja) | 2016-05-16 |
JP6058089B2 JP6058089B2 (ja) | 2017-01-11 |
Family
ID=55655653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015140422A Expired - Fee Related JP6058089B2 (ja) | 2014-10-13 | 2015-07-14 | 瞬き検出方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9501691B2 (ja) |
JP (1) | JP6058089B2 (ja) |
CN (1) | CN105718844B (ja) |
TW (1) | TWI603293B (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10503252B2 (en) | 2016-09-26 | 2019-12-10 | Ihab Ayoub | System and method for eye-reactive display |
US10281980B2 (en) | 2016-09-26 | 2019-05-07 | Ihab Ayoub | System and method for eye-reactive display |
CN106580334B (zh) * | 2016-11-24 | 2019-07-19 | 东软集团股份有限公司 | 确定眼睛眨动的方法及装置 |
CN106778611A (zh) * | 2016-12-16 | 2017-05-31 | 天津牧瞳星科技有限公司 | 一种在线追踪眨眼活动的方法 |
EP3381351A1 (en) * | 2017-03-29 | 2018-10-03 | Vivior AG | System for assessing a health condition of a user |
CN109840565A (zh) * | 2019-01-31 | 2019-06-04 | 成都大学 | 一种基于眼部轮廓特征点纵横比的眨眼检测方法 |
US11568540B2 (en) * | 2019-10-07 | 2023-01-31 | Optos Plc | System, method, and computer-readable medium for rejecting full and partial blinks for retinal tracking |
CN113331824B (zh) * | 2021-04-20 | 2023-09-26 | 北京九辰智能医疗设备有限公司 | 一种基于激光测量的眨眼判断方法及装置 |
CN114648829A (zh) * | 2022-03-14 | 2022-06-21 | 上海齐感电子信息科技有限公司 | 智能门禁方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867587A (en) * | 1997-05-19 | 1999-02-02 | Northrop Grumman Corporation | Impaired operator detection and warning system employing eyeblink analysis |
JP2003263629A (ja) * | 2002-03-07 | 2003-09-19 | Matsushita Electric Ind Co Ltd | 虹彩認証装置及び携帯端末装置 |
JP2009005251A (ja) * | 2007-06-25 | 2009-01-08 | Nikon Corp | 画像処理装置 |
JP2009116797A (ja) * | 2007-11-09 | 2009-05-28 | Aisin Seiki Co Ltd | 顔画像撮像装置、顔画像撮像方法、及びそのプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6927694B1 (en) * | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
KR20050025927A (ko) * | 2003-09-08 | 2005-03-14 | 유웅덕 | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 |
JP4331197B2 (ja) * | 2006-11-06 | 2009-09-16 | トヨタ自動車株式会社 | 眼開度検出装置及び方法 |
TWI383317B (zh) * | 2009-01-16 | 2013-01-21 | Hon Hai Prec Ind Co Ltd | 具有互動功能的音頻播放裝置及其互動方法 |
CN101593425B (zh) * | 2009-05-06 | 2011-01-12 | 深圳市汉华安道科技有限责任公司 | 一种基于机器视觉的疲劳驾驶监控方法及系统 |
CN101621697B (zh) * | 2009-07-28 | 2010-11-10 | 黄松涛 | 一种用多色图像传感器的背景消除装置及使用方法 |
CN101803928A (zh) * | 2010-03-05 | 2010-08-18 | 北京智安邦科技有限公司 | 基于视频的驾驶员疲劳检测装置 |
CN105303772A (zh) * | 2012-09-24 | 2016-02-03 | 由田新技股份有限公司 | 瞌睡提醒装置 |
CN103808305B (zh) * | 2012-11-07 | 2017-11-07 | 原相科技股份有限公司 | 检测系统 |
CN103839379B (zh) * | 2014-02-27 | 2017-05-10 | 长城汽车股份有限公司 | 汽车及用于其的驾驶员疲劳预警检测方法和系统 |
-
2014
- 2014-10-13 TW TW103135357A patent/TWI603293B/zh not_active IP Right Cessation
- 2014-12-04 CN CN201410727883.6A patent/CN105718844B/zh not_active Expired - Fee Related
-
2015
- 2015-02-26 US US14/631,851 patent/US9501691B2/en active Active
- 2015-07-14 JP JP2015140422A patent/JP6058089B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867587A (en) * | 1997-05-19 | 1999-02-02 | Northrop Grumman Corporation | Impaired operator detection and warning system employing eyeblink analysis |
JP2003263629A (ja) * | 2002-03-07 | 2003-09-19 | Matsushita Electric Ind Co Ltd | 虹彩認証装置及び携帯端末装置 |
JP2009005251A (ja) * | 2007-06-25 | 2009-01-08 | Nikon Corp | 画像処理装置 |
JP2009116797A (ja) * | 2007-11-09 | 2009-05-28 | Aisin Seiki Co Ltd | 顔画像撮像装置、顔画像撮像方法、及びそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6058089B2 (ja) | 2017-01-11 |
US9501691B2 (en) | 2016-11-22 |
CN105718844B (zh) | 2019-11-26 |
CN105718844A (zh) | 2016-06-29 |
TWI603293B (zh) | 2017-10-21 |
TW201614585A (en) | 2016-04-16 |
US20160104036A1 (en) | 2016-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6058089B2 (ja) | 瞬き検出方法および装置 | |
US10445574B2 (en) | Method and apparatus for iris recognition | |
JP6577454B2 (ja) | 軸上視線追跡システム及び方法 | |
JP6007682B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9508004B2 (en) | Eye gaze detection apparatus, computer-readable recording medium storing eye gaze detection program and eye gaze detection method | |
WO2016180224A1 (zh) | 一种人物图像处理方法及装置 | |
CN105550631B (zh) | 一种虹膜图像采集方法及装置 | |
US11612314B2 (en) | Electronic device and method for determining degree of conjunctival hyperemia by using same | |
EP3440593B1 (en) | Method and apparatus for iris recognition | |
JP2012118817A (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
CN110059666B (zh) | 一种注意力检测方法及装置 | |
JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
Darshana et al. | Efficient PERCLOS and gaze measurement methodologies to estimate driver attention in real time | |
Hajari et al. | A review of issues and challenges in designing Iris recognition Systems for noisy imaging environment | |
JP6043933B2 (ja) | 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム | |
US20140369553A1 (en) | Method for triggering signal and in-vehicle electronic apparatus | |
JP5971712B2 (ja) | 監視装置及び方法 | |
CN111860057A (zh) | 人脸图像模糊和活体检测方法、装置、存储介质及设备 | |
TWI466070B (zh) | 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置 | |
KR20120049605A (ko) | 동공 중심 검출 장치 및 방법 | |
KR101703690B1 (ko) | 홍채 인식 장치 및 그 동작 방법 | |
JP5688514B2 (ja) | 視線計測システム、方法およびプログラム | |
CA2931457C (en) | Measuring cervical spine posture using nostril tracking | |
US9918662B2 (en) | Measuring cervical spine posture using nostril tracking | |
CN111399627B (zh) | 一种3d显示装置节能方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6058089 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |