JP2012190351A - 画像処理装置、および画像処理方法 - Google Patents
画像処理装置、および画像処理方法 Download PDFInfo
- Publication number
- JP2012190351A JP2012190351A JP2011054651A JP2011054651A JP2012190351A JP 2012190351 A JP2012190351 A JP 2012190351A JP 2011054651 A JP2011054651 A JP 2011054651A JP 2011054651 A JP2011054651 A JP 2011054651A JP 2012190351 A JP2012190351 A JP 2012190351A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- curve
- point
- edge
- voting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Abstract
【解決手段】本発明に係る画像処理装置6は、人物の顔画像から目の特徴を特定する画像処理装置であって、顔画像の目がある目領域を、少なくとも目における縦方向に微分して輝度勾配を求める第2微分部41と、目領域について、輝度勾配を2値化しエッジ点を抽出する2値化部42と、目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記エッジ点に適合する曲線を、上瞼または下瞼の輪郭を表す曲線として特定する瞼輪郭特定部44とを備える。
【選択図】図1
Description
以下、本発明の実施形態について、図面を参照して詳細に説明する。
図1は、本発明の実施形態に係るデジタルカメラ1の概略構成を示すブロック図である。デジタルカメラ1は、指示入力装置2、撮像装置3、画像記憶装置4、表示装置5、および画像処理装置6を備える。
画像処理装置6は、画像取得部11、顔検出部12、特徴検出部13、目画像抽出部14、瞳輪郭検出部15、瞼輪郭検出部16、瞳領域特定部17、画像補正部18、および出力部19を備える。
瞳輪郭検出部15は、目画像抽出部14から目画像を取得し、特徴検出部13から対応する目頭点Eaおよび目尻点Ebの座標を取得する。目頭点Eaおよび目尻点Ebの座標は、目画像に対応付けられる。瞳輪郭検出部15は、第1微分部(微分部)31、3値化部(第2エッジ抽出部)32、第1投票部(投票部)33、および瞳輪郭特定部34を備える。
瞼輪郭検出部16は、目画像抽出部14から目画像を取得し、特徴検出部13から対応する目頭点Eaおよび目尻点Ebの座標を取得する。目頭点Eaおよび目尻点Ebの座標は、目画像に対応付けられる。瞼輪郭検出部16は、第2微分部(微分部)41、2値化部(第1エッジ抽出部)42、第2投票部(曲線特定部)43、および瞼輪郭特定部(曲線特定部)44を備える。
以下に、画像処理装置6における画像補正処理の流れについて説明する。図6は、画像処理装置6における画像補正処理の流れを示すフローチャートである。なお、ここでは、簡単のため、検出された1つの目に対して処理を行う場合について説明する。
本実施形態では、瞼検出において縦方向(y方向)にのみ微分を行う構成について説明する。なお、説明の便宜上、実施形態1にて説明した図面と同じ機能を有する部材・構成については、同じ符号を付記し、その詳細な説明を省略する。以下、本実施形態について、図面を参照して詳細に説明する。
2 指示入力装置
3 撮像装置
4 画像記憶装置
5 表示装置
6 画像処理装置
11 画像取得部
12 顔検出部
13 特徴検出部
14 目画像抽出部
15 瞳輪郭検出部
16 瞼輪郭検出部
17 瞳領域特定部
18 画像補正部
19 出力部
31 第1微分部(微分部)
32 3値化部(第2エッジ抽出部)
33 第1投票部(投票部)
34 瞳輪郭特定部
41 第2微分部(微分部)
42 2値化部(第1エッジ抽出部)
43 第2投票部(曲線特定部)
44 瞼輪郭特定部(曲線特定部)
Claims (10)
- 人物の顔画像から目の特徴を特定する画像処理装置において、
上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第1輝度勾配を求める第1微分部と、
上記目領域について、上記第1輝度勾配に応じて第1エッジ点を抽出する第1エッジ抽出部と、
目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第1エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定部とを備え、
上記両端点と制御点とによって表現される上記曲線は、Bスプライン曲線またはベジエ曲線であることを特徴とする画像処理装置。 - 上記曲線特定部は、ハフ変換を用いて、上記第1エッジ点について、投票対象である上記制御点に対して投票を行い、該投票結果に基づいて、上記第1エッジ点に適合する上記両端点と1つの上記制御点とによって表現されるBスプライン曲線を上記上瞼または下瞼の輪郭を表す曲線として特定することを特徴とする請求項1に記載の画像処理装置。
- 上記曲線特定部は、上記目頭点と上記目尻点とを結ぶ線より上側に位置する上記第1エッジ点から上記上瞼の輪郭を表す曲線を特定し、上記目頭点と上記目尻点とを結ぶ線より下側に位置する上記第1エッジ点から上記下瞼の輪郭を表す曲線を特定することを特徴とする請求項1または2に記載の画像処理装置。
- 上記第1微分部は、上記目領域を、目における縦方向に微分した値を上記第1輝度勾配として求め、
上記第1エッジ抽出部は、上記第1輝度勾配の絶対値が第1閾値より大きい点を上記第1エッジ点として抽出することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。 - 上記目領域を、目における横方向に微分して第2輝度勾配を求める第2微分部と、
上記目領域について、上記第2輝度勾配に応じて、左側が右側より明るい境界に対応する第2エッジ点と、左側が右側より暗い境界に対応する第3エッジ点とを、エッジ点として抽出する第2エッジ抽出部と、
ハフ変換を用いて、第2および第3の各エッジ点について、上記第2エッジ点および上記第3エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票部と、
上記投票部の投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定部とを備えることを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。 - 上記投票部の投票対象は円であり、
上記瞳輪郭特定部は、上記投票部の投票結果に基づいて、瞳の輪郭を表す円を特定することを特徴とする請求項5に記載の画像処理装置。 - 上記曲線特定部は、上記目頭点または上記目尻点より上側に位置する上記第1エッジ点に適合する上記曲線を上瞼の輪郭を表す曲線として特定し、上記目頭点または上記目尻点より下側に位置する上記第1エッジ点に適合する上記曲線を下瞼の輪郭を表す曲線として特定し、
上記瞳の輪郭を表す楕円、上記上瞼の輪郭を表す曲線、および上記下瞼の輪郭を表す曲線に基づき、上記顔画像における瞳の領域を特定する瞳領域特定部を備えることを特徴とする請求項5または6に記載の画像処理装置。 - 上記投票部は、
上記第2エッジ点から投票する場合、該第2エッジ点より中心座標が左に位置する上記楕円に対する重みより、該第2エッジ点より中心座標が右に位置する上記楕円に対する重みを大きくして投票し、
上記第3エッジ点から投票する場合、該第3エッジ点より中心座標が右に位置する上記楕円に対する重みより、該第3エッジ点より中心座標が左に位置する上記楕円に対する重みを大きくして投票することを特徴とする請求項5から7のいずれか一項に記載の画像処理装置。 - 上記第2微分部は、上記目領域を、目頭と目尻とが並ぶ方向に沿って微分して上記第2輝度勾配を求め、
上記第2エッジ抽出部は、正の第2閾値および負の第3閾値によって上記第2輝度勾配を3値化し、上記3値化された第2輝度勾配に応じて上記第2エッジ点および上記第3エッジ点を抽出することを特徴とする請求項5から8のいずれか一項に記載の画像処理装置。 - 人物の顔画像から目の特徴を特定する画像処理方法において、
上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第1輝度勾配を求める第1微分ステップと、
上記目領域について、上記第1輝度勾配に応じて第1エッジ点を抽出する第1エッジ抽出ステップと、
目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第1エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定ステップとを含み、
上記両端点と制御点とによって表現される上記曲線は、Bスプライン曲線またはベジエ曲線であることを特徴とする画像処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011054651A JP4893863B1 (ja) | 2011-03-11 | 2011-03-11 | 画像処理装置、および画像処理方法 |
US13/982,654 US8805087B2 (en) | 2011-03-11 | 2011-03-22 | Image processing device and image processing method |
PCT/JP2011/056782 WO2012124146A1 (ja) | 2011-03-11 | 2011-03-22 | 画像処理装置、および画像処理方法 |
EP11861275.3A EP2657904A4 (en) | 2011-03-11 | 2011-03-22 | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011054651A JP4893863B1 (ja) | 2011-03-11 | 2011-03-11 | 画像処理装置、および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4893863B1 JP4893863B1 (ja) | 2012-03-07 |
JP2012190351A true JP2012190351A (ja) | 2012-10-04 |
Family
ID=45907935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011054651A Active JP4893863B1 (ja) | 2011-03-11 | 2011-03-11 | 画像処理装置、および画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8805087B2 (ja) |
EP (1) | EP2657904A4 (ja) |
JP (1) | JP4893863B1 (ja) |
WO (1) | WO2012124146A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3073415A1 (en) | 2015-03-26 | 2016-09-28 | Omron Corporation | Image processing apparatus and image processing method |
KR20170029166A (ko) * | 2015-09-07 | 2017-03-15 | 삼성전자주식회사 | 시점 추적 방법 및 장치 |
DE102017220752A1 (de) | 2016-11-21 | 2018-05-24 | Yazaki Corporation | Bildverarbeitungsvorrichtung, Bildbverarbeitungsverfahren und Bildverarbeitungsprogramm |
JP2018160217A (ja) * | 2017-03-24 | 2018-10-11 | 株式会社Screenホールディングス | 画像処理方法および画像処理装置 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103493100B (zh) * | 2011-04-19 | 2016-04-06 | 爱信精机株式会社 | 眼睑检测装置、眼睑检测方法 |
KR101977638B1 (ko) * | 2012-02-29 | 2019-05-14 | 삼성전자주식회사 | 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말 |
JP5976198B2 (ja) * | 2013-03-26 | 2016-08-23 | 株式会社日立国際電気 | 人数計数装置および人数計数方法 |
US9704038B2 (en) * | 2015-01-07 | 2017-07-11 | Microsoft Technology Licensing, Llc | Eye tracking |
EP3259734A4 (en) * | 2015-02-20 | 2019-02-20 | Seeing Machines Limited | GLARE REDUCTION |
EP3337383A4 (en) * | 2015-08-21 | 2019-04-03 | Magic Leap, Inc. | EYE SHAPE ESTIMATION |
WO2017066296A1 (en) | 2015-10-16 | 2017-04-20 | Magic Leap, Inc. | Eye pose identification using eye features |
CN105679253B (zh) * | 2016-03-30 | 2019-02-01 | 深圳还是威健康科技有限公司 | 一种终端背光调节方法及装置 |
CN106650616A (zh) * | 2016-11-09 | 2017-05-10 | 北京巴塔科技有限公司 | 虹膜定位方法及可见光虹膜识别系统 |
CN109978773A (zh) * | 2017-12-27 | 2019-07-05 | 浙江宇视科技有限公司 | 图像处理方法及装置 |
CN108549836B (zh) * | 2018-03-09 | 2021-04-06 | 通号通信信息集团有限公司 | 照片的翻拍检测方法、装置、设备及可读存储介质 |
CN111157987B (zh) * | 2020-01-03 | 2021-11-02 | 中南大学 | 基于扩展贝塞尔模型的人体目标微多普勒频率估计方法 |
CN111157986B (zh) * | 2020-01-03 | 2021-10-12 | 中南大学 | 基于扩展贝塞尔模型的多普勒穿墙雷达定位方法 |
WO2022059066A1 (ja) * | 2020-09-15 | 2022-03-24 | 日本電気株式会社 | 検出システム、検出方法、及びコンピュータプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005309862A (ja) * | 2004-04-22 | 2005-11-04 | Digital Fashion Ltd | 図形抽出プログラム、図形抽出方法、及び図形抽出装置 |
DE102005047160B4 (de) * | 2005-09-30 | 2007-06-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zum Ermitteln einer Information über eine Form und/oder eine Lage einer Ellipse in einem graphischen Bild |
FR2907569B1 (fr) * | 2006-10-24 | 2009-05-29 | Jean Marc Robin | Procede et dispositif de simulation virtuelle d'une sequence d'images video. |
US8055074B2 (en) * | 2007-01-17 | 2011-11-08 | Donald Martin Monro | Shape representation using fourier transforms |
JP2009181424A (ja) | 2008-01-31 | 2009-08-13 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5035139B2 (ja) * | 2008-06-25 | 2012-09-26 | トヨタ自動車株式会社 | 眼画像処理装置 |
US8317325B2 (en) * | 2008-10-31 | 2012-11-27 | Cross Match Technologies, Inc. | Apparatus and method for two eye imaging for iris identification |
-
2011
- 2011-03-11 JP JP2011054651A patent/JP4893863B1/ja active Active
- 2011-03-22 US US13/982,654 patent/US8805087B2/en active Active
- 2011-03-22 WO PCT/JP2011/056782 patent/WO2012124146A1/ja active Application Filing
- 2011-03-22 EP EP11861275.3A patent/EP2657904A4/en not_active Ceased
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3073415A1 (en) | 2015-03-26 | 2016-09-28 | Omron Corporation | Image processing apparatus and image processing method |
US9762773B2 (en) | 2015-03-26 | 2017-09-12 | Omron Corporation | Image processing apparatus and method for increasing sharpness of images |
KR20170029166A (ko) * | 2015-09-07 | 2017-03-15 | 삼성전자주식회사 | 시점 추적 방법 및 장치 |
CN106504271A (zh) * | 2015-09-07 | 2017-03-15 | 三星电子株式会社 | 用于眼睛跟踪的方法和设备 |
JP2017054503A (ja) * | 2015-09-07 | 2017-03-16 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 視点追跡方法及び装置 |
CN106504271B (zh) * | 2015-09-07 | 2022-01-25 | 三星电子株式会社 | 用于眼睛跟踪的方法和设备 |
KR102463169B1 (ko) * | 2015-09-07 | 2022-11-04 | 삼성전자주식회사 | 시점 추적 방법 및 장치 |
DE102017220752A1 (de) | 2016-11-21 | 2018-05-24 | Yazaki Corporation | Bildverarbeitungsvorrichtung, Bildbverarbeitungsverfahren und Bildverarbeitungsprogramm |
US10521659B2 (en) | 2016-11-21 | 2019-12-31 | Yazaki Corporation | Image processing device, image processing method, and image processing program |
JP2018160217A (ja) * | 2017-03-24 | 2018-10-11 | 株式会社Screenホールディングス | 画像処理方法および画像処理装置 |
JP7112181B2 (ja) | 2017-03-24 | 2022-08-03 | 株式会社Screenホールディングス | 画像処理方法および画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2012124146A1 (ja) | 2012-09-20 |
EP2657904A4 (en) | 2014-03-26 |
EP2657904A1 (en) | 2013-10-30 |
US20140056529A1 (en) | 2014-02-27 |
JP4893863B1 (ja) | 2012-03-07 |
US8805087B2 (en) | 2014-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4893862B1 (ja) | 画像処理装置、および画像処理方法 | |
JP4893863B1 (ja) | 画像処理装置、および画像処理方法 | |
US11250241B2 (en) | Face image processing methods and apparatuses, and electronic devices | |
US10304166B2 (en) | Eye beautification under inaccurate localization | |
US8836777B2 (en) | Automatic detection of vertical gaze using an embedded imaging device | |
EP2242253B1 (en) | Electronic camera and image processing method | |
US8213690B2 (en) | Image processing apparatus including similarity calculating unit, image pickup apparatus, and processing method for the apparatuses | |
EP2615577B1 (en) | Image-processing device, image-processing method, and control program | |
JP4831259B1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
EP1394723A2 (en) | Method for detecting red-eye effect in digital images | |
US20100158325A1 (en) | Systems and methods for segmenting an image of a person to produce a mugshot | |
CN105787888A (zh) | 人脸图像美化方法 | |
JP2008530701A (ja) | 顔特徴の検出方法 | |
CN104063709B (zh) | 视线检测装置及方法、图像捕获装置及其控制方法 | |
CN108416291A (zh) | 人脸检测识别方法、装置和系统 | |
CN106570447A (zh) | 基于灰度直方图匹配的人脸照片太阳镜自动去除方法 | |
Yoo et al. | Red-eye detection and correction using inpainting in digital photographs | |
JP2004005384A (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 | |
JP7044504B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
Poulopoulos et al. | A new high precision eye center localization technique | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
CN111105368A (zh) | 图像处理方法及其装置、电子设备和计算机可读存储介质 | |
JP2008209969A (ja) | 顔特徴点検出装置、顔特徴点検出方法及びプログラム | |
NL2024816B1 (en) | Detection method for detecting an occlusion of an eye region in an image | |
CN110555810B (zh) | 红眼校正技术 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111122 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4893863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150106 Year of fee payment: 3 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |