JP2017527040A - 画像処理装置、画像処理方法およびそのプログラムを記憶する記憶媒体 - Google Patents
画像処理装置、画像処理方法およびそのプログラムを記憶する記憶媒体 Download PDFInfo
- Publication number
- JP2017527040A JP2017527040A JP2017512402A JP2017512402A JP2017527040A JP 2017527040 A JP2017527040 A JP 2017527040A JP 2017512402 A JP2017512402 A JP 2017512402A JP 2017512402 A JP2017512402 A JP 2017512402A JP 2017527040 A JP2017527040 A JP 2017527040A
- Authority
- JP
- Japan
- Prior art keywords
- shape
- sub
- model
- image
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
- G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
Description
以下、本発明の第1の実施形態について詳細に説明する。
次に、本発明の第2の実施形態について、図面を参照しながら詳細に説明する。
画像処理装置100および画像処理装置100Aのそれぞれは、コンピュータとそのコンピュータを制御するプログラム、専用ハードウェア、または、コンピュータとそのコンピュータを制御するプログラムとの組合せ及び専用ハードウェアを用いて実現できる。
100A 画像処理装置
101 入力部
102 オブジェクト検出部
103 特徴抽出部
104 学習部
105 モデル記憶部
106 位置合わせ部
107 オクルージョン検出部
108 推定部
109 形状記憶部
110 出力部
111 訓練データセット記憶部
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 記憶装置
1004 インタフェース
1005 記憶媒体
1006 バス
Claims (10)
- 画像において撮像されたオブジェクトにおける位置にそれぞれ関連付けられる、それぞれ1つ以上の特徴点である、複数のサブ部分を含む形状に基づいて、前記画像から特徴を抽出する特徴抽出手段と、
前記特徴と前記形状の動きとの関係を表すグローバルモデルと、前記複数のサブ部分に含まれるサブ部分において前記特徴と動きとの関係をそれぞれ表す局所モデルとを含む、複数のモデルにおけるモデルを、初期形状に対して適用することによって、推定形状を導出する位置合わせ手段と、
前記複数のサブ部分において、前の画像からの推定形状と、前記グローバルモデルを適用することによって前記画像から得られる推定形状とを比較することによって、遮蔽されたサブ部分を検出するオクルージョン検出手段と、
前記局所モデルにおいて、前記遮蔽されたサブ部分として検出されている前記サブ部分の動きをそれぞれ制限する局所モデルを選択し、選択された当該局所モデルを適用することによって得られた推定形状を組み合わせて最終出力を生成する推定手段と
を備える画像処理装置。 - 前記位置合わせ手段は、前記初期形状を最初の開始形状として設定し、前記開始形状に基づいて前記画像から抽出された特徴に対して前記モデルを適用することによって前記形状の動きを算出することと、算出された前記動きが前記開始形状に加えられた形状である推定形状を前記開始形状として設定することとを繰り返すことによって、前記推定形状を導出する、
請求項1記載の画像処理装置。 - 1つ以上の一連の訓練画像および真の形状として与えられる形状によって、前記モデルを学習する学習手段
をさらに備える請求項1または2に記載の画像処理装置。 - 前記初期形状は、前記画像の前の画像から導出された推定形状である、
請求項1から3のいずれか一項に記載の画像処理装置。 - 前記形状および前記サブ部分は、前記特徴点の位置情報によって表わされる、
請求項1から3のいずれか一項に記載の画像処理装置。 - 画像において撮像されたオブジェクトにおける位置にそれぞれ関連付けられる、それぞれ1つ以上の特徴点である、複数のサブ部分を含む形状に基づいて、前記画像から特徴を抽出し、
前記特徴と前記形状の動きとの関係を表すグローバルモデルと、前記複数のサブ部分に含まれるサブ部分において前記特徴と動きとの関係をそれぞれ表す局所モデルとを含む、複数のモデルにおけるモデルを、初期形状に対して適用することによって、推定形状を導出し、
前記複数のサブ部分において、前の画像からの推定形状と、前記グローバルモデルを適用することによって前記画像から得られる推定形状とを比較することによって、遮蔽されたサブ部分を検出し、
前記局所モデルにおいて、前記遮蔽されたサブ部分として検出されている前記サブ部分の動きをそれぞれ制限する局所モデルを選択し、選択された当該局所モデルを適用することによって得られた推定形状を組み合わせて最終出力を生成する、
画像処理方法。 - コンピュータを、
画像において撮像されたオブジェクトにおける位置にそれぞれ関連付けられる、それぞれ1つ以上の特徴点である、複数のサブ部分を含む形状に基づいて、前記画像から特徴を抽出する特徴抽出手段と、
前記特徴と前記形状の動きとの関係を表すグローバルモデルと、前記複数のサブ部分に含まれるサブ部分において前記特徴と動きとの関係をそれぞれ表す局所モデルとを含む、複数のモデルにおけるモデルを、初期形状に対して適用することによって、推定形状を得る位置合わせ手段と、
前記複数のサブ部分において、前の画像からの推定形状と、前記グローバルモデルを適用することによって前記画像から得られる推定形状とを比較することによって、遮蔽されたサブ部分を検出するオクルージョン検出手段と、
前記局所モデルにおいて、該遮蔽された部分として検出されている該サブ部分の動きをそれぞれ制限する局所モデルを選択し、選択された当該局所モデルを適用することによって得られた推定形状を組み合わせて最終出力を生成する推定手段と、
して動作させるプログラムを記憶するコンピュータ読み取り可能な媒体。 - 前記位置合わせ手段は、前記初期形状を最初の開始形状として設定し、前記開始形状に基づいて前記画像から抽出された特徴に対して前記モデルを適用することによって前記形状の動きを算出することと、算出された前記動きが前記開始形状に加えられた形状である推定形状を前記開始形状として設定することとを繰り返すことによって、前記推定形状を導出する、
請求項7記載のコンピュータ読み取り可能な媒体。 - コンピュータを、
1つ以上の一連の訓練画像および真の形状として与えられる形状によって、前記モデルを学習する学習手段
として動作させるプログラムを記憶する、請求項7または8に記載のコンピュータ読み取り可能な媒体。 - 前記初期形状は、前記画像の前の画像から導出された推定形状である、
請求項7から9のいずれか一項に記載のコンピュータ読み取り可能な媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/004705 WO2016038647A1 (en) | 2014-09-11 | 2014-09-11 | Image processing device, image processing method and storage medium storing program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017527040A true JP2017527040A (ja) | 2017-09-14 |
JP6296205B2 JP6296205B2 (ja) | 2018-03-20 |
Family
ID=55458440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017512402A Active JP6296205B2 (ja) | 2014-09-11 | 2014-09-11 | 画像処理装置、画像処理方法およびそのプログラムを記憶する記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10878582B2 (ja) |
JP (1) | JP6296205B2 (ja) |
WO (1) | WO2016038647A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10528839B2 (en) * | 2015-06-26 | 2020-01-07 | Intel Coporation | Combinatorial shape regression for face alignment in images |
US10252417B2 (en) * | 2016-03-02 | 2019-04-09 | Canon Kabushiki Kaisha | Information processing apparatus, method of controlling information processing apparatus, and storage medium |
CN107451156B (zh) * | 2016-05-31 | 2021-08-20 | 杭州华为企业通信技术有限公司 | 一种图像再识别方法及识别装置 |
CN108304758B (zh) * | 2017-06-21 | 2020-08-25 | 腾讯科技(深圳)有限公司 | 人脸特征点跟踪方法及装置 |
JP2019109709A (ja) * | 2017-12-18 | 2019-07-04 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
CN109359510B (zh) * | 2018-08-27 | 2022-03-22 | 广州大学 | 一种对异常行为的视觉分析处理方法 |
CN111145097B (zh) * | 2019-12-31 | 2023-09-01 | 华为技术有限公司 | 图像处理方法、装置和图像处理系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007047965A (ja) * | 2005-08-09 | 2007-02-22 | Fujifilm Corp | デジタル画像の対象物検出方法および装置並びにプログラム |
JP2011060038A (ja) * | 2009-09-10 | 2011-03-24 | Seiko Epson Corp | 画像処理装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7558402B2 (en) * | 2003-03-07 | 2009-07-07 | Siemens Medical Solutions Usa, Inc. | System and method for tracking a global shape of an object in motion |
US20090002489A1 (en) | 2007-06-29 | 2009-01-01 | Fuji Xerox Co., Ltd. | Efficient tracking multiple objects through occlusion |
US8170280B2 (en) * | 2007-12-03 | 2012-05-01 | Digital Smiths, Inc. | Integrated systems and methods for video-based object modeling, recognition, and tracking |
US8983203B2 (en) * | 2011-10-14 | 2015-03-17 | Ulsee Inc. | Face-tracking method with high accuracy |
US9558396B2 (en) * | 2013-10-22 | 2017-01-31 | Samsung Electronics Co., Ltd. | Apparatuses and methods for face tracking based on calculated occlusion probabilities |
-
2014
- 2014-09-11 US US15/510,488 patent/US10878582B2/en active Active
- 2014-09-11 WO PCT/JP2014/004705 patent/WO2016038647A1/en active Application Filing
- 2014-09-11 JP JP2017512402A patent/JP6296205B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007047965A (ja) * | 2005-08-09 | 2007-02-22 | Fujifilm Corp | デジタル画像の対象物検出方法および装置並びにプログラム |
JP2011060038A (ja) * | 2009-09-10 | 2011-03-24 | Seiko Epson Corp | 画像処理装置 |
Non-Patent Citations (1)
Title |
---|
河合将吾 外3名: "顔追跡精度向上のための画像局所特徴量評価", 電子情報通信学会技術研究報告 PRMU2013−168−PRMU2013−214 パターン認識・メデ, vol. 第113巻 第493号, JPN6018001059, 6 March 2014 (2014-03-06), pages 197 - 202, ISSN: 0003721314 * |
Also Published As
Publication number | Publication date |
---|---|
WO2016038647A1 (en) | 2016-03-17 |
JP6296205B2 (ja) | 2018-03-20 |
US10878582B2 (en) | 2020-12-29 |
US20170286801A1 (en) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6296205B2 (ja) | 画像処理装置、画像処理方法およびそのプログラムを記憶する記憶媒体 | |
Hannuna et al. | DS-KCF: a real-time tracker for RGB-D data | |
Alp Guler et al. | Densereg: Fully convolutional dense shape regression in-the-wild | |
US10380413B2 (en) | System and method for pose-invariant face alignment | |
KR101304374B1 (ko) | 객체 특징을 위치결정하는 방법 | |
US9928405B2 (en) | System and method for detecting and tracking facial features in images | |
US9202138B2 (en) | Adjusting a contour by a shape model | |
US11138464B2 (en) | Image processing device, image processing method, and image processing program | |
US20140098988A1 (en) | Fitting Contours to Features | |
US10657625B2 (en) | Image processing device, an image processing method, and computer-readable recording medium | |
EP3300025A1 (en) | Image processing device and image processing method | |
Johnson et al. | Combining discriminative appearance and segmentation cues for articulated human pose estimation | |
Demirkus et al. | Multi-layer temporal graphical model for head pose estimation in real-world videos | |
Celestino et al. | 2D Image head pose estimation via latent space regression under occlusion settings | |
Alsheakhali et al. | CRF‐Based Model for Instrument Detection and Pose Estimation in Retinal Microsurgery | |
Guo et al. | Hand gesture recognition and interaction with 3D stereo camera | |
JP2011232845A (ja) | 特徴点抽出装置および方法 | |
Moteki et al. | Fast and accurate relocalization for keyframe-based SLAM using geometric model selection | |
Schmeckpeper et al. | Semantic keypoint-based pose estimation from single RGB frames | |
JP2018097795A (ja) | 法線推定装置、法線推定方法、及び法線推定プログラム | |
Dong et al. | Robust facial landmark localization using multi partial features | |
Wu et al. | Facial 3D model registration under occlusions with sensiblepoints-based reinforced hypothesis refinement | |
Kao et al. | Human upper-body motion capturing using kinect | |
Li et al. | Pose-Aware Face Alignment based on CNN and 3DMM. | |
Santiago et al. | A robust active shape model using an expectation-maximization framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170302 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6296205 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |