JP2014229012A - 人物属性推定装置、人物属性推定方法及びプログラム - Google Patents
人物属性推定装置、人物属性推定方法及びプログラム Download PDFInfo
- Publication number
- JP2014229012A JP2014229012A JP2013107167A JP2013107167A JP2014229012A JP 2014229012 A JP2014229012 A JP 2014229012A JP 2013107167 A JP2013107167 A JP 2013107167A JP 2013107167 A JP2013107167 A JP 2013107167A JP 2014229012 A JP2014229012 A JP 2014229012A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- person attribute
- estimation
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 77
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000010606 normalization Methods 0.000 claims abstract description 45
- 230000010354 integration Effects 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims description 65
- 238000011156 evaluation Methods 0.000 claims description 46
- 238000001514 detection method Methods 0.000 description 25
- 238000000605 extraction Methods 0.000 description 21
- 230000001815 facial effect Effects 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000000611 regression analysis Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
まず、図1を参照して、本発明の一実施形態に係る人物属性推定装置の概略構成について説明する。図1は、本発明の一実施形態に係る人物属性推定装置100を示すブロック図である。人物属性推定装置100は、例えばカメラ等により撮像された人物の顔が含まれる画像から、画像中の人物の性別や年齢等の属性を推定する装置である。人物属性推定装置100は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)等を備える情報処理装置である。また、人物属性推定装置100は、例えばカメラ等と一体となった装置であってもよい。さらに、人物属性推定装置100は、後述する人物属性推定装置100の機能を有するプログラムであっても実現できる。
次に、図1、2を参照して、本発明の一実施形態に係る人物属性推定装置100の人物属性推定処理について説明する。図2は、同実施形態に係る人物属性推定処理の概要を示すフローチャートである。
次に、図3から図11を参照して、本実施形態に係る人物属性推定装置100により、人物属性として性別を推定する一処理例について説明する。
まず、図2のステップS100における顔検出処理について詳細な説明をする。顔検出処理は、画像中の人物の顔のある領域を検出し、画像中から顔領域を抜き出した顔画像を生成する処理である。本処理例に係る顔検出処理は、例えば非特許文献1に開示されているように、AdaBoostベースの識別器をカスケード状に並べて効率よく検出する方法等を用いることができる。
次に、図2のステップS104における顔特徴点抽出処理について詳細な説明をする。顔抽出点処理は、顔検出部130により生成された顔画像から、顔のパーツである目、鼻、口等の顔特徴点を抽出する処理である。本処理例に係る顔特徴点抽出処理は、例えば非特許文献2に開示されているように、AAM(Active Appearance models)を用いて抽出する方法等を用いることができる。
次に、図2のステップS108における顔向き推定処理について詳細な説明をする。顔向き推定処理は、例えば非特許文献3に開示されているような、顔特徴点抽出処理により抽出される特徴点の情報からTSPC(tree−structured Pose classification)法を用いて行うことができる。TSPC法は、例えば顔画像中の両目の中心、及び口の中心の位置から、ツリー構造を用いた分類を行うことで顔向きが算出される。
さらに、図2のステップS112における顔向き正規化処理について詳細な説明をする。顔向き正規化処理は、例えば非特許文献4に開示されているような、射影変換に基づいた3次元正規化法を用いて顔向きの正規化を行うことができる。
次に、図8、9を参照して、図2のステップS116における部分属性推定処理について詳細な説明をする。部分属性推定処理では、顔向き正規化処理によって生成された顔向き正規化画像を複数の領域に区分し、区分された各領域に人物属性の推定をする。図8は、顔の領域を左、中央、右に3分割した例を示す説明図である。図9は、図8の各領域における属性推定結果を示す表である。
次に、図2のステップS120における推定結果統合処理について詳細な説明をする。推定結果統合処理は、部分属性推定処理により得られた顔画像の各領域の人物属性の推定結果と、顔向きに応じた各領域への重み付けとに基づいて、顔画像の人物属性を推定するための人物属性評価値を算出する。
次に、図2のステップS124における人物属性推定処理について詳細な説明をする。人物属性推定処理は、推定結果統合処理(ステップS120)により算出される人物属性評価値に基づいて、顔画像の人物の人物属性を最終的に推定する。
110 記憶部
120 入力部
130 顔検出部
140 顔特徴点抽出処理部
150 顔向き推定処理部
160 顔向き正規化処理部
170 部分属性推定処理部
180 推定結果統合処理部
190 人物属性推定部
10 画像
20 顔領域
40 第1局所領域
50 第2局所領域
P1〜P8 顔特徴点
Claims (9)
- 顔画像の顔向きを正規化する顔向き正規化処理部と、
正規化した顔向き正規化画像に基づいて、前記顔向き正規化画像を区分した領域ごとに人物属性をそれぞれ推定する部分属性推定処理部と、
前記部分属性推定処理部による前記顔向き正規化画像の各領域に対する人物属性推定結果と、顔向きに応じた重み付けと、に基づいて前記顔画像の人物属性を推定するための人物属性評価値を算出する推定結果統合処理部と、
を備える、人物属性推定装置。 - 顔画像の特徴点に基づいて顔向きを推定する顔向き推定処理部をさらに備える、請求項1に記載の人物属性推定装置。
- 前記人物属性推定装置は、前記人物属性評価値に基づいて前記顔画像の人物属性を推定する人物属性推定部をさらに備える、請求項1または2に記載の人物属性推定装置。
- 前記顔向き正規化処理部は、前記顔画像を、3次元形状モデルを用いて正規化する、請求項1〜3のいずれか1項に記載の人物属性推定装置。
- 前記推定結果統合処理部は、正規化前の顔向きにより前記顔向き正規化画像のノイズが大きくなる領域の重みが小さくなるように重み付けをする、請求項1〜4のいずれか1項に記載の人物属性推定装置。
- 前記推定結果統合処理部は、同様な顔向きの複数の画像から学習した結果を用いて、前記部分属性推定処理部の推定結果を顔向きに応じて重み付けで統合する請求項1〜5のいずれか1項に記載の人物属性推定装置。
- 前記部分属性推定処理部は、前記顔画像を左右または上下の少なくともいずれか一方の方向に分けた領域ごとに人物属性を推定する、請求項1〜6のいずれか1項に記載の人物属性推定装置。
- 顔画像の顔向きを正規化するステップと、
正規化した顔向き正規化画像に基づいて、前記顔向き正規化画像を区分した領域ごとに人物属性をそれぞれ推定するステップと、
前記正規化するステップによる前記顔向き正規化画像の各領域に対する人物属性推定結果と、顔向きに応じた重み付けと、に基づいて前記顔画像の人物属性を推定するための人物属性評価値を算出するステップと、
を含む、人物属性推定方法。 - 顔画像の顔向きを正規化する機能と、
正規化した顔向き正規化画像に基づいて、前記顔向き正規化画像を区分した領域ごとに人物属性をそれぞれ推定する機能と、
前記正規化する機能による前記顔向き正規化画像の各領域に対する人物属性推定結果と、顔向きに応じた重み付けと、に基づいて前記顔画像の人物属性を推定するための人物属性評価値を算出する機能と、
をコンピュータに実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013107167A JP6430102B2 (ja) | 2013-05-21 | 2013-05-21 | 人物属性推定装置、人物属性推定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013107167A JP6430102B2 (ja) | 2013-05-21 | 2013-05-21 | 人物属性推定装置、人物属性推定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014229012A true JP2014229012A (ja) | 2014-12-08 |
JP6430102B2 JP6430102B2 (ja) | 2018-11-28 |
Family
ID=52128822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013107167A Active JP6430102B2 (ja) | 2013-05-21 | 2013-05-21 | 人物属性推定装置、人物属性推定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6430102B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108792849A (zh) * | 2018-06-29 | 2018-11-13 | 杜昭钦 | 垂直升降结构大数据安保系统 |
CN108829900A (zh) * | 2018-07-31 | 2018-11-16 | 成都视观天下科技有限公司 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
JP2019003536A (ja) * | 2017-06-19 | 2019-01-10 | カシオ計算機株式会社 | 表情判定装置、表情判定方法及びプログラム |
JP2021033359A (ja) * | 2019-08-14 | 2021-03-01 | 沖電気工業株式会社 | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003323622A (ja) * | 2002-02-27 | 2003-11-14 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
WO2005027048A1 (ja) * | 2003-08-29 | 2005-03-24 | Nec Corporation | 重み情報を用いた物体姿勢推定・照合システム |
JP2007128262A (ja) * | 2005-11-02 | 2007-05-24 | Omron Corp | 顔照合装置 |
JP2009223459A (ja) * | 2008-03-14 | 2009-10-01 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2012083938A (ja) * | 2010-10-12 | 2012-04-26 | Sony Corp | 学習装置、学習方法、識別装置、識別方法、およびプログラム |
-
2013
- 2013-05-21 JP JP2013107167A patent/JP6430102B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003323622A (ja) * | 2002-02-27 | 2003-11-14 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
WO2005027048A1 (ja) * | 2003-08-29 | 2005-03-24 | Nec Corporation | 重み情報を用いた物体姿勢推定・照合システム |
JP2007128262A (ja) * | 2005-11-02 | 2007-05-24 | Omron Corp | 顔照合装置 |
JP2009223459A (ja) * | 2008-03-14 | 2009-10-01 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2012083938A (ja) * | 2010-10-12 | 2012-04-26 | Sony Corp | 学習装置、学習方法、識別装置、識別方法、およびプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019003536A (ja) * | 2017-06-19 | 2019-01-10 | カシオ計算機株式会社 | 表情判定装置、表情判定方法及びプログラム |
US10713477B2 (en) | 2017-06-19 | 2020-07-14 | Casio Computer Co., Ltd. | Expression determination device, expression determination method, and recording medium |
CN108792849A (zh) * | 2018-06-29 | 2018-11-13 | 杜昭钦 | 垂直升降结构大数据安保系统 |
CN108829900A (zh) * | 2018-07-31 | 2018-11-16 | 成都视观天下科技有限公司 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
CN108829900B (zh) * | 2018-07-31 | 2020-11-10 | 成都视观天下科技有限公司 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
JP2021033359A (ja) * | 2019-08-14 | 2021-03-01 | 沖電気工業株式会社 | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム |
JP7306152B2 (ja) | 2019-08-14 | 2023-07-11 | 沖電気工業株式会社 | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム |
Also Published As
Publication number | Publication date |
---|---|
JP6430102B2 (ja) | 2018-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9372546B2 (en) | Hand pointing estimation for human computer interaction | |
Dame et al. | Dense reconstruction using 3D object shape priors | |
CN104573614B (zh) | 用于跟踪人脸的设备和方法 | |
US8811726B2 (en) | Method and system for localizing parts of an object in an image for computer vision applications | |
US9158970B2 (en) | Devices, systems, and methods for visual-attribute refinement | |
US9443325B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP6417664B2 (ja) | 人物属性推定装置、人物属性推定方法及びプログラム | |
KR101558547B1 (ko) | 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템 | |
Huang et al. | A component-based framework for generalized face alignment | |
CN110069989A (zh) | 人脸图像处理方法及装置、计算机可读存储介质 | |
JP6430102B2 (ja) | 人物属性推定装置、人物属性推定方法及びプログラム | |
Venkatesh et al. | A novel approach to classification of facial expressions from 3D-mesh datasets using modified PCA | |
Tu et al. | Automatic location of facial feature points and synthesis of facial sketches using direct combined model | |
Fooprateepsiri et al. | A general framework for face reconstruction using single still image based on 2D-to-3D transformation kernel | |
Luo et al. | Dynamic face recognition system in recognizing facial expressions for service robotics | |
Kuo et al. | Face recognition based on a two-view projective transformation using one sample per subject | |
Jariwala et al. | A real time robust eye center localization using geometric eye model and edge gradients in unconstrained visual environment | |
Zamuner et al. | A pose-adaptive constrained local model for accurate head pose tracking | |
Jacques et al. | Improved head-shoulder human contour estimation through clusters of learned shape models | |
Rabba et al. | Discriminative robust gaze estimation using kernel-dmcca fusion | |
Li et al. | Robust depth camera based eye localization for human-machine interactions | |
Ptucha et al. | Facial pose estimation using a symmetrical feature model | |
Hati et al. | Review and improvement areas of mean shift tracking algorithm | |
Xu et al. | Face recognition based on 3D mesh models | |
Wu et al. | Active appearance model algorithm with K-nearest neighbor classifier for face pose estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170302 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171026 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20171106 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20171124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6430102 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |