JP2013504114A - 目状態検出装置及び方法 - Google Patents
目状態検出装置及び方法 Download PDFInfo
- Publication number
- JP2013504114A JP2013504114A JP2012527821A JP2012527821A JP2013504114A JP 2013504114 A JP2013504114 A JP 2013504114A JP 2012527821 A JP2012527821 A JP 2012527821A JP 2012527821 A JP2012527821 A JP 2012527821A JP 2013504114 A JP2013504114 A JP 2013504114A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- state detection
- detection method
- image
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【選択図】図2
Description
Claims (29)
- 顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する方法であって、
(a)前記連続映像から停止した初期映像を入力するステップ、
(b)前記停止した初期映像から顔領域を検出するステップ、
(c)前記顔領域から目領域を検出するステップ、
(d)前記目領域から自動的な臨界値を設定し、イメージを分割し、分割された区域の境界点を獲得して、前記境界点に最も適合して一致させた楕円を用いて目開き及び目閉じを予備判別するステップ、及び
(e)前記ステップ(d)で目閉じと予備判別された場合、予め設定された回数だけ前記ステップ(a)ないし前記ステップ(d)を繰り返して、計算された目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップ、
を含むことを特徴とする目状態検出方法。 - 前記ステップ(b)は、haar基盤の顔検出法(haar based face detection)またはテンプレートマッチング法を用いて顔領域を検出することを特徴とする請求項1に記載の目状態検出方法。
- 前記ステップ(c)は、目幾何学(eye geometry)を用いて目領域を検出することを特徴とする請求項1に記載の目状態検出方法。
- 前記ステップ(d)は、
(d−1)前記目領域をフィルタリングするステップ、
(d−2)前記目領域から自動的な臨界値を設定するステップ、
(d−3)前記目領域の二進化されたイメージを分割し、分割された区域の境界点を獲得するステップ、
(d−4)前記境界点に最も適合する楕円を一致させるステップ、及び
(d−5)前記楕円を用いて目開き及び目閉じを予備判別するステップ、
を含むことを特徴とする請求項1に記載の目状態検出方法。 - 前記ステップ(d−1)の前に、前記目領域をクロップ(crop)し、リサイズするステップをさらに含むことを特徴とする請求項4に記載の目状態検出方法。
- 前記ステップ(d−1)は、コンボリューションを用いてログガボール(Log Gabor)フィルタリングすることを特徴とする請求項4に記載の目状態検出方法。
- 前記ステップ(d−2)は、
(dd−1)前記目領域のイメージ内における他のイメージのピクセル周波数の統計的表現である2Dヒストグラムを計算するステップ、
(dd−2)前記2Dヒストグラムを他のピクセル値の確率分布に正規化するステップ、
(dd−3)前記正規化された2Dヒストグラムから不確実性(uncertainty)の平均値を示す数値であるエントロピーを計算するステップ、
(dd−4)2段階の最大エントロピー値のインデックスを獲得するステップ、及び
(dd−5)2段階の最大エントロピー値に基づく自動的な臨界値を設定するステップ、
を含むことを特徴とする請求項4に記載の目状態検出方法。 - 前記ステップ(dd−2)は、各一つのヒストグラム要素をイメージ内の全体ピクセル数で分けて正規化することを特徴とする請求項8に記載の目状態検出方法。
- 前記ステップ(dd−1)で計算された2Dヒストグラムを保存するために、一次元整数配列を用いることを特徴とする請求項8に記載の目状態検出方法。
- 前記ステップ(dd−5)は、前記検出された最大エントロピー値を中心に、予め設定されたパーセント内に臨界値を獲得することを特徴とする請求項8に記載の目状態検出方法。
- 前記ステップ(dd−3)の次に、すべての小さいヒストグラムコラムを一つにグルーピングするヒストグラム均等化(equalization)を行うことを特徴とする請求項8に記載の目状態検出方法。
- 前記ステップ(d−4)で、少なくとも6個の境界点を用いて、最も適合する楕円を一致させることを特徴とする請求項4に記載の目状態検出方法。
- 前記ステップ(d−5)で、前記楕円の円形度または面積を用いて、目開き及び目閉じを予備判別することを特徴とする請求項4に記載の目状態検出方法。
- 前記停止した初期映像は、グレー映像であることを特徴とする請求項1に記載の目状態検出方法。
- 請求項1ないし請求項15のいずれか1項に記載の目状態検出方法を行うために、デジタル処理装置によって実行できる命令語のプログラムが具現されており、前記デジタル処理装置によって読み取り可能なプログラムを記録したことを特徴とする記録媒体。
- 顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する装置であって、
前記連続映像を撮影するカメラ部、及び
前記連続映像から第1項ないし第15項のいずれか1項に記載の目状態検出方法によって目状態検出を行って、目開き、目閉じ及び瞬きとして目の状態を判別する信号処理部、
を含むことを特徴とする目状態検出装置。 - 顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する方法であって、
(a)前記連続映像から停止した初期映像を入力するステップ、
(b)前記停止した初期映像から顔領域及び目領域を検出するステップ、
(c)前記検出された目領域をログガボールフィルタリングするステップ、
(d)前記目領域から自動的な臨界値を設定するステップ、
(e)前記目領域の二進化されたイメージを分割し、分割された区域の境界点を獲得するステップ、
(f)前記境界点に最も適合する楕円を一致させるステップ、
(g)前記楕円を用いて目開き及び目閉じを予備判別するステップ、及び
(h)前記ステップ(g)で目閉じと予備判別された場合、予め設定された回数だけ前記ステップ(a)ないし前記ステップ(g)を繰り返して、計算された目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップ、
を含むことを特徴とする目状態検出方法。 - 前記ステップ(c)は、コンボリューションを用いてログガボールフィルタリングすることを特徴とする請求項18に記載の目状態検出方法。
- 前記ステップ(d)は、
(d−1)前記目領域のイメージ内における他のイメージのピクセル周波数の統計的表現である2Dヒストグラムを計算するステップ、
(d−2)前記2Dヒストグラムを他のピクセル値の確率分布に正規化するステップ、
(d−3)前記正規化された2Dヒストグラムから不確実性(uncertainty)の平均値を示す数値であるエントロピーを計算するステップ、
(d−4)2段階の最大エントロピー値のインデックスを獲得するステップ、及び
(d−5)2段階の最大エントロピー値に基づく自動的な臨界値を設定するステップ、
を含むことを特徴とする請求項18に記載の目状態検出方法。 - 前記ステップ(d−2)は、各一つのヒストグラム要素をイメージ内の全体ピクセル数で分けて正規化することを特徴とする請求項21に記載の目状態検出方法。
- 前記ステップ(d−1)で計算された2Dヒストグラムを保存するために、一次元整数配列を用いることを特徴とする請求項21に記載の目状態検出方法。
- 前記ステップ(d−5)は、前記検出された最大エントロピー値を中心に、予め設定されたパーセント内に臨界値を獲得することを特徴とする請求項21に記載の目状態検出方法。
- 前記ステップ(d−3)の次に、すべての小さいヒストグラムコラムを一つにグルーピングするヒストグラム均等化(equalization)を行うことを特徴とする請求項21に記載の目状態検出方法。
- 前記ステップ(f)で、少なくとも6個の境界点を用いて、最も適合する楕円を一致させることを特徴とする請求項18に記載の目状態検出方法。
- 前記ステップ(g)で、前記楕円の円形度または面積を用いて、目開き及び目閉じを予備判別することを特徴とする請求項18に記載の目状態検出方法。
- 前記停止した初期映像は、グレー映像であることを特徴とする請求項18に記載の目状態検出方法。
- 請求項18ないし請求項28のいずれか1項に記載の目状態検出方法を行うために、デジタル処理装置によって実行できる命令語のプログラムが具現されており、前記デジタル処理装置によって読み取り可能なプログラムを記録したことを特徴とする記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090082055A KR101032726B1 (ko) | 2009-09-01 | 2009-09-01 | 눈 상태 검출방법 |
KR10-2009-0082055 | 2009-09-01 | ||
PCT/KR2010/005934 WO2011028023A2 (en) | 2009-09-01 | 2010-09-01 | Apparatus and method for detecting eye state |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013504114A true JP2013504114A (ja) | 2013-02-04 |
Family
ID=43649778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012527821A Pending JP2013504114A (ja) | 2009-09-01 | 2010-09-01 | 目状態検出装置及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120230553A1 (ja) |
JP (1) | JP2013504114A (ja) |
KR (1) | KR101032726B1 (ja) |
WO (1) | WO2011028023A2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5864910B2 (ja) * | 2010-07-16 | 2016-02-17 | キヤノン株式会社 | 画像取得装置及び制御方法 |
JP2013043044A (ja) * | 2011-08-26 | 2013-03-04 | Canon Inc | 瞬目計測装置、方法、及びプログラム |
JP5418579B2 (ja) * | 2011-12-06 | 2014-02-19 | 株式会社デンソー | 開閉眼検出装置 |
EP2805523B1 (en) | 2012-01-19 | 2019-03-27 | VID SCALE, Inc. | Methods and systems for video delivery supporting adaption to viewing conditions |
EP4201304A1 (en) * | 2012-10-24 | 2023-06-28 | Nidek Co., Ltd. | Ophthalmic analysis apparatus |
US9305225B2 (en) * | 2013-10-14 | 2016-04-05 | Daon Holdings Limited | Methods and systems for determining user liveness |
CN105022981B (zh) * | 2014-04-18 | 2019-08-16 | 中兴通讯股份有限公司 | 一种检测人眼健康状态的方法、装置及移动终端 |
US10045050B2 (en) | 2014-04-25 | 2018-08-07 | Vid Scale, Inc. | Perceptual preprocessing filter for viewing-conditions-aware video coding |
US9465981B2 (en) | 2014-05-09 | 2016-10-11 | Barron Associates, Inc. | System and method for communication |
US9782069B2 (en) * | 2014-11-06 | 2017-10-10 | International Business Machines Corporation | Correcting systematic calibration errors in eye tracking data |
KR101672946B1 (ko) * | 2015-03-06 | 2016-11-17 | 동국대학교 산학협력단 | 눈 개폐 분류 장치 및 방법 |
CN105631439B (zh) * | 2016-02-18 | 2019-11-08 | 北京旷视科技有限公司 | 人脸图像处理方法和装置 |
CN106778611A (zh) * | 2016-12-16 | 2017-05-31 | 天津牧瞳星科技有限公司 | 一种在线追踪眨眼活动的方法 |
WO2018120662A1 (zh) * | 2016-12-27 | 2018-07-05 | 华为技术有限公司 | 一种拍照方法,拍照装置和终端 |
CN107959756B (zh) * | 2017-11-30 | 2020-09-18 | 深圳市普斯美医疗科技有限公司 | 睡眠自动关闭电子设备的系统及其方法 |
CN110263693A (zh) * | 2019-06-13 | 2019-09-20 | 苏州元联传感技术有限公司 | 结合帧间差分与贝叶斯分类器的车辆行人检测识别方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07504531A (ja) * | 1992-12-31 | 1995-05-18 | イー・アイ・デユポン・ドウ・ヌムール・アンド・カンパニー | カラーにより妥当対象物を識別し特性付ける方法 |
JPH07181012A (ja) * | 1993-12-22 | 1995-07-18 | Nissan Motor Co Ltd | 画像データの特徴量検出装置 |
JPH08147582A (ja) * | 1994-11-17 | 1996-06-07 | Toyota Motor Corp | 居眠り警報装置 |
JP2004199386A (ja) * | 2002-12-18 | 2004-07-15 | Oki Electric Ind Co Ltd | 顔画像合成装置および顔画像の瞬き検出方法 |
JP2004220080A (ja) * | 2003-01-09 | 2004-08-05 | Nissan Motor Co Ltd | 開閉眼判定装置 |
JP2007004321A (ja) * | 2005-06-22 | 2007-01-11 | Mitsubishi Electric Corp | 画像処理装置及び入退室管理システム |
JP2007509334A (ja) * | 2003-10-21 | 2007-04-12 | ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー | レーザマイクロ切開におけるレーザ切断線の自動生成方法 |
JP2007094906A (ja) * | 2005-09-29 | 2007-04-12 | Toshiba Corp | 特徴点検出装置および方法 |
JP2008538425A (ja) * | 2005-01-26 | 2008-10-23 | ハネウェル・インターナショナル・インコーポレーテッド | 距離虹彩認識システム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
US6895103B2 (en) * | 2001-06-19 | 2005-05-17 | Eastman Kodak Company | Method for automatically locating eyes in an image |
CN1313979C (zh) * | 2002-05-03 | 2007-05-02 | 三星电子株式会社 | 产生三维漫画的装置和方法 |
US8896725B2 (en) * | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
KR100566272B1 (ko) * | 2003-11-11 | 2006-03-30 | 삼성전자주식회사 | 졸음운전 경고 시스템 |
KR100617777B1 (ko) * | 2004-01-26 | 2006-08-28 | 삼성전자주식회사 | 졸음운전 경고 장치에서 운전자의 눈 영상 검출 장치 및 방법 |
JP4449723B2 (ja) * | 2004-12-08 | 2010-04-14 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US8488023B2 (en) * | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
US7715598B2 (en) * | 2006-07-25 | 2010-05-11 | Arsoft, Inc. | Method for detecting facial expressions of a portrait photo by an image capturing electronic device |
JP4137969B2 (ja) * | 2006-12-04 | 2008-08-20 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
JP4895847B2 (ja) * | 2007-02-08 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置及びプログラム |
JP4898532B2 (ja) | 2007-04-13 | 2012-03-14 | 富士フイルム株式会社 | 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体 |
JP5121506B2 (ja) * | 2008-02-29 | 2013-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
US8570176B2 (en) * | 2008-05-28 | 2013-10-29 | 7352867 Canada Inc. | Method and device for the detection of microsleep events |
JP2010033305A (ja) * | 2008-07-29 | 2010-02-12 | Hitachi Ltd | 画像情報処理方法、及び装置 |
JP2018132643A (ja) * | 2017-02-15 | 2018-08-23 | キヤノン株式会社 | 光走査装置及び画像形成装置 |
EP4030762A4 (en) * | 2019-09-10 | 2023-09-06 | Samsung Electronics Co., Ltd. | IMAGE DECODING DEVICE USING A SET OF TOOLS AND CORRESPONDING IMAGE DECODING METHOD, AND IMAGE ENCODING DEVICE AND CORRESPONDING IMAGE ENCODING METHOD |
-
2009
- 2009-09-01 KR KR1020090082055A patent/KR101032726B1/ko active IP Right Grant
-
2010
- 2010-09-01 JP JP2012527821A patent/JP2013504114A/ja active Pending
- 2010-09-01 WO PCT/KR2010/005934 patent/WO2011028023A2/en active Application Filing
- 2010-09-01 US US13/393,675 patent/US20120230553A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07504531A (ja) * | 1992-12-31 | 1995-05-18 | イー・アイ・デユポン・ドウ・ヌムール・アンド・カンパニー | カラーにより妥当対象物を識別し特性付ける方法 |
JPH07181012A (ja) * | 1993-12-22 | 1995-07-18 | Nissan Motor Co Ltd | 画像データの特徴量検出装置 |
JPH08147582A (ja) * | 1994-11-17 | 1996-06-07 | Toyota Motor Corp | 居眠り警報装置 |
JP2004199386A (ja) * | 2002-12-18 | 2004-07-15 | Oki Electric Ind Co Ltd | 顔画像合成装置および顔画像の瞬き検出方法 |
JP2004220080A (ja) * | 2003-01-09 | 2004-08-05 | Nissan Motor Co Ltd | 開閉眼判定装置 |
JP2007509334A (ja) * | 2003-10-21 | 2007-04-12 | ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー | レーザマイクロ切開におけるレーザ切断線の自動生成方法 |
JP2008538425A (ja) * | 2005-01-26 | 2008-10-23 | ハネウェル・インターナショナル・インコーポレーテッド | 距離虹彩認識システム |
JP2007004321A (ja) * | 2005-06-22 | 2007-01-11 | Mitsubishi Electric Corp | 画像処理装置及び入退室管理システム |
JP2007094906A (ja) * | 2005-09-29 | 2007-04-12 | Toshiba Corp | 特徴点検出装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2011028023A3 (en) | 2011-07-07 |
WO2011028023A2 (en) | 2011-03-10 |
KR101032726B1 (ko) | 2011-05-06 |
KR20110024169A (ko) | 2011-03-09 |
US20120230553A1 (en) | 2012-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013504114A (ja) | 目状態検出装置及び方法 | |
CN106557726B (zh) | 一种带静默式活体检测的人脸身份认证系统及其方法 | |
CN105612533B (zh) | 活体检测方法、活体检测系统以及计算机程序产品 | |
US10445574B2 (en) | Method and apparatus for iris recognition | |
KR100724932B1 (ko) | 얼굴 검출 장치 및 방법 | |
US9582716B2 (en) | Apparatuses and methods for iris based biometric recognition | |
WO2019033574A1 (zh) | 电子装置、动态视频人脸识别的方法、系统及存储介质 | |
CN110348270B (zh) | 影像物件辨识方法与影像物件辨识系统 | |
CN108171158B (zh) | 活体检测方法、装置、电子设备及存储介质 | |
JP5361524B2 (ja) | パターン認識システム及びパターン認識方法 | |
JP6472184B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
Lee et al. | Vasir: an open-source research platform for advanced iris recognition technologies | |
JP6351243B2 (ja) | 画像処理装置、画像処理方法 | |
KR102469720B1 (ko) | 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법 | |
US9082000B2 (en) | Image processing device and image processing method | |
US9704024B2 (en) | Object discriminating apparatus and method | |
WO2020172870A1 (zh) | 一种目标对象的移动轨迹确定方法和装置 | |
JP5648452B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
Yi et al. | Partial face matching between near infrared and visual images in mbgc portal challenge | |
CN114360039A (zh) | 一种智能眼睑检测方法及系统 | |
CN112906610A (zh) | 用于活体检测的方法、电子电路、电子设备和介质 | |
Bhattacharyya et al. | IRIS texture analysis and feature extraction for biometric pattern recognition | |
CN108875472B (zh) | 图像采集装置及基于该图像采集装置的人脸身份验证方法 | |
JP5791361B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
Amjed et al. | Noncircular iris segmentation based on weighted adaptive hough transform using smartphone database |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140422 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140722 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141014 |