JP2019102081A - データ処理装置及びデータ処理方法 - Google Patents
データ処理装置及びデータ処理方法 Download PDFInfo
- Publication number
- JP2019102081A JP2019102081A JP2018221090A JP2018221090A JP2019102081A JP 2019102081 A JP2019102081 A JP 2019102081A JP 2018221090 A JP2018221090 A JP 2018221090A JP 2018221090 A JP2018221090 A JP 2018221090A JP 2019102081 A JP2019102081 A JP 2019102081A
- Authority
- JP
- Japan
- Prior art keywords
- shield
- face
- image
- data processing
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000009877 rendering Methods 0.000 claims abstract description 27
- 238000010276 construction Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 43
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 8
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000003786 synthesis reaction Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 28
- 230000000903 blocking effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
【課題】データ処理装置及びデータ処理方法を提供する。【解決手段】データ処理装置は、遮蔽物を含む画像に対して遮蔽物モデルを構築するモデル構築部と、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、遮蔽物と遮蔽物を含まない顔画像との幾何学的関係に基づいて遮蔽物モデルをレンダリングするレンダリング部と、遮蔽物を含まない顔画像とレンダリングされた遮蔽物画像とを遮蔽顔画像に合成する合成部とを含む。これによって、遮蔽物を有する顔データを生成することで顔訓練データセットの数を効果的に増加することができ、顔関連モジュールの性能を向上させることができる。【選択図】図１
Description
本発明は、データ処理の技術分野に関し、具体的には、顔データを強化するデータ処理装置及びデータ処理方法に関する。
この部分は、本発明に関連する背景情報を提供するが、必ずしも従来技術ではない。
実際の環境において顔関連モジュール（例えば検出、位置合わせ、認識など）の性能を向上させるために、実際の状況に応じて訓練データセットを収集する必要があり、このため、モデルの訓練データの多様性に対する要求が高い。既存のオープンデータセット（ｏｐｅｎ ｄａｔａｓｅｔ）、特に眼鏡やマスク着用などの局部遮蔽の顔データセットは、訓練データの多様性を確保しにくい場合がある。応用環境及び要求に応じて顔データを再収集すると、労働コストが高くなり、データセットの多様性を長期間維持する必要がある。
従って、顔データを低コストで、且つ安易に強化する方法が求められている。上記の問題を解決するために、本発明は、顔遮蔽のデータセットを低コストで生成するスキームを提案し、遮蔽物はマスク、眼鏡、手、マイクなどの通常の顔遮蔽の態様を含む。
この部分は、本発明の一般的な概要を提供し、その全範囲又はその全ての特徴を完全に開示するものではない。
本発明は、遮蔽物を有する顔データを生成することで顔訓練データセットの数を効果的に増加することができ、顔関連モジュールの性能を向上させることができる、顔データ強化のためのデータ処理装置及びデータ処理方法を提供することを目的とする。また、本発明のデータ処理装置及びデータ処理方法は、操作が容易であり、計算量及び労働コストが低い。
本発明の１つの態様では、遮蔽物を含む画像に対して遮蔽物モデルを構築するモデル構築手段と、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするレンダリング手段と、遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成する合成手段と、を含む、データ処理装置を提供する。
本発明のもう１つの態様では、遮蔽物を含む画像に対して遮蔽物モデルを構築するステップと、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするステップと、遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップと、を含む、データ処理方法を提供する。
本発明のもう１つの態様では、機器読み取り可能な命令コードを含むプログラムプロダクトであって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに本発明のデータ処理方法を実行させることができる、プログラムプロダクトを提供する。
本発明のもう１つの態様では、機器読み取り可能な命令コードを含むプログラムプロダクトを記録した機器読み取り可能な記憶媒体であって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに本発明のデータ処理方法を実行させることができる、機器読み取り可能な記憶媒体を提供する。
本発明のデータ処理装置及びデータ処理方法によれば、遮蔽物を有する顔データを生成することで顔訓練データセットの数を効果的に増加することができ、顔関連モジュールの性能を向上させることができる。また、本発明のデータ処理装置及びデータ処理方法は、操作が容易であり、計算量及び労働コストが低い。
ここで行われる説明により、本発明の適用可能な範囲はより明確になる。この部分における説明及び特定の例は、単なる例示するためのものであり、本発明の範囲を限定するものではない。
ここで説明される図面は、好ましい実施例を例示するためのものであり、全ての可能な実施例ではなく、本発明の範囲を限定するものではない。
本発明の実施例に係るデータ処理装置を示すブロック図である。
図２ａ乃至図２ｃは本発明の実施例に係る遮蔽物を示す図である。
図２ａ乃至図２ｃは本発明の実施例に係る遮蔽物を示す図である。
図２ａ乃至図２ｃは本発明の実施例に係る遮蔽物を示す図である。
本発明の他の実施例に係るデータ処理装置を示すブロック図である。
本発明の実施例に係る非剛体遮蔽物画像の遮蔽物モデルを示す模式図である。
本発明の実施例に係るデータ処理方法を示すフローチャートである。
本発明に係るデータ処理装置及びデータ処理方法を実現可能な汎用パーソナルコンピュータの例示的な構成を示すブロック図である。 本発明に対して各種の変更及び代替を行うことができるが、その特定の実施例は図面を参照しながら詳細に説明される。なお、特定の実施例の説明は本発明を開示の具体的な態様に限定するものではなく、本発明の主旨及び範囲内で各種の変更、均等的なものへの変形、代替を行ってもよい。なお、図面において、同一の構成部は同一の符号で示されている。
以下は、図面を参照しながら本発明の例示的な実施例を詳細に説明する。以下の説明は単なる例示的なものであり、本発明、応用及び用途を限定するものではない。
以下は、本発明を詳細に説明し、当業者が本発明の範囲を十分に理解するために、例示的な実施例を提供する。本発明の実施例を詳細に理解させるために、多くの特定の細部、例えば特定の手段、装置及び方法の例を説明する。なお、当業者が分かるように、特定の細部を用いる必要がなく、異なる方式を用いて例示的な実施例を実施してもよく、これらの実施例は本発明の範囲を制限するものではない。一部の例示的な実施例では、周知のプロセス、周知の構成及び周知の技術が詳細に説明されていない。
図１は本発明の実施例に係るデータ処理装置１００を示すブロック図である。図１に示すように、本発明の実施例に係るデータ処理装置１００は、モデル構築部１０１、レンダリング部１０２及び合成部１０３を含んでもよい。
モデル構築部１０１は、遮蔽物を含む画像に対して遮蔽物モデルを構築してもよい。
レンダリング部１０２は、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、該遮蔽物と該遮蔽物を含まない顔画像との幾何学的関係に基づいて該遮蔽物モデルをレンダリングしてもよい。
合成部１０３は、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像に合成してもよい。
本発明のデータ処理装置によれば、遮蔽物を有する顔データを生成することで顔訓練データセットの数を効果的に増加することができ、顔関連モジュールの性能を向上させることができる。また、本発明のデータ処理装置は、操作が容易であり、計算量及び労働コストが低い。
本発明の１つの実施例では、該遮蔽物は剛体遮蔽物及び非剛体遮蔽物を含んでもよい。図２ａ乃至図２ｃに示すように、該非剛体遮蔽物は、例えばマスク、顔用マスクなどのような境界が顔の輪郭に応じて変形し得る遮蔽物を含んでもよく、該剛体遮蔽物は、例えば眼鏡、マイク、手などのような顔の輪郭に応じて変形しない遮蔽物を含んでもよい。ここで、当業者が分かるように、該非剛体遮蔽物及び該剛体遮蔽物は本明細書に示されている例に限定されない。
本発明の１つの実施例では、データ処理装置は、該遮蔽物の類型を定義する遮蔽物定義部をさらに含んでもよい。即ち、該遮蔽物定義部は、該遮蔽物が剛体遮蔽物であるか、それとも非剛体遮蔽物であるかを定義してもよい。
＜非剛体遮蔽物の実施例＞
本発明の１つの実施例では、後続処理の便宜のために、モデル構築処理の前に、前処理を行ってもよい。図３は本発明の他の実施例に係るデータ処理装置３００を示すブロック図である。図３に示すように、本発明の実施例に係るデータ処理装置３００は、前処理部３１０、モデル構築部１０１、レンダリング部１０２及び合成部１０３を含んでもよい。
本発明の１つの実施例では、後続処理の便宜のために、モデル構築処理の前に、前処理を行ってもよい。図３は本発明の他の実施例に係るデータ処理装置３００を示すブロック図である。図３に示すように、本発明の実施例に係るデータ処理装置３００は、前処理部３１０、モデル構築部１０１、レンダリング部１０２及び合成部１０３を含んでもよい。
本実施例では、データ処理装置３００は、非剛体遮蔽物を含む顔画像に対して前処理を行う前処理部３１０をさらに含んでもよい。該前処理は、該非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含んでもよい。
本発明の１つの実施例では、該顔検出及び該顔特徴点検出を自動的又は手動で行ってもよい。該顔検出及び該顔特徴点検出を自動的に行う場合は、該顔検出は、マルチタスク畳み込みニューラルネットワーク（ＭＴＣＮＮ：Ｍｕｌｔｉ−Ｔａｓｋ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）又は正規化された画素差分特徴（ＮＰＤ：Ｎｏｒｍａｌｉｚｅｄ Ｐｉｘｅｌ Ｄｉｆｆｅｒｅｎｃｅ）などの方法を含んでもよい。該顔特徴点検出は、変形可能パーツモデル（ＤＰＭ：Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌ）又は畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）など基づく方法を含んでもよい。ここで、当業者が分かるように、該顔検出及び該顔特徴点検出の方法は本明細書に示されている例に限定されない。当業者は従来技術における類似機能を実現可能な他の方法を採用してもよい。該顔特徴点検出を手動で行う場合は、予めラベルを付け、顔特徴点を記憶してもよい。
マスクなどの非剛体遮蔽物が顔特徴点の位置の精度に影響を及ぼす可能性があるため、本発明の１つの実施例では、前処理部３１０は、標準顔又は平均顔画像により、該非剛体遮蔽物における顔特徴点を修正してもよい。
後続のモデル構築処理及び色一致性の調整のために、本発明の１つの実施例では、前処理部３１０は、最適化された（即ち修正後の）顔画像を分割し、非剛体遮蔽物画像を取得してもよい。ここで、非剛体遮蔽物画像は、非剛体遮蔽物領域、即ちマスク領域と、顔領域とを含む。本発明の１つの実施例では、手動でのラベル付け、又は自動若しくは半自動の方法、例えばウォーターシェッド法（Ｗａｔｅｒｓｈｅｄ Ｍｅｔｈｏｄ）により分割を行ってもよい。
そして、モデル構築部１０１は、非剛体遮蔽物画像に対して遮蔽物の変形モデルを構築してもよい。本発明の１つの実施例では、モデル構築部１０１は、図４に示すように、不規則三角網（ＴＩＮ：Ｔｒｉａｎｇｕｌａｔｅｄ Ｉｒｒｅｇｕｌａｒ Ｎｅｔｗｏｒｋ）により、分割された非剛体遮蔽物画像に対して遮蔽物の変形モデルを構築してもよい。ここで、当業者が分かるように、実際の視点などの需要に応じて、アフィン変換により処理を行ってもよい。
そして、遮蔽物を含まない顔画像を入力する。本発明の１つの実施例では、前処理部３１０は、該入力された遮蔽物を含まない顔画像に対して前処理を行ってもよく、該前処理は、同様に顔検出、顔特徴点検出及び顔分割を含んでもよく、ここで、顔特徴点検出は、顔特徴点の抽出を含む。同様に、該顔検出、該顔特徴点検出及び顔分割は、本明細書に示されている従来技術の方法を採用してもよい。当業者が分かるように、本明細書に示されていない従来技術における類似機能を実現可能な他の方法を採用してもよい。
そして、レンダリング部１０２は、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、該遮蔽物と該遮蔽物を含まない顔画像との幾何学的関係に基づいて該遮蔽物モデルをレンダリングしてもよい。
本発明の１つの実施例では、レンダリング部１０２は、抽出された顔特徴点及び該遮蔽物モデルに基づいて、該遮蔽物を含まない顔画像に対して、複数の三角形の面を含む不規則三角網（ＴＩＮ）を構築し、そして、該複数の三角形の面の各々に対して、アフィン変換により該遮蔽物モデルをレンダリングしてもよい。即ち、レンダリング部１０２は、アフィン変換により、該遮蔽物モデルの各三角形の面を、対応する入力された遮蔽物を含まない顔画像の座標に変換してもよい。
そして、合成部１０３は、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像（遮蔽された顔画像）に合成してもよい。
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像との合成に由来する遮蔽顔画像の真実性を向上させるために、画像の置換のみで十分ではなく、後処理が必要である。
本発明の１つの実施例では、合成部１０３は、例えばアルファ・マッティング（ａｌｐｈａ ｍａｔｔｉｎｇ）などの画像混合処理により、遮蔽顔画像の融合部分の境界を自然に遷移させてもよい。
また、融合領域と入力された遮蔽物を含まない顔画像とが同一の照明条件を有するために、本発明の１つの実施例では、合成部１０３は、ヒストグラム正規化手法を用いて、該遮蔽顔画像の融合領域と該遮蔽物を含まない顔画像とが同一の照明条件を有するようにしてもよい。具体的には、遮蔽顔画像の残りの顔領域及び入力された遮蔽物を含まない顔画像の対応領域において、ヒストグラム正規化を用いて、そして、取得されたグレースケールマッピング関数を最終的な融合領域に適用する。
本発明の１つの実施例では、データ処理装置は、正面図の場合の、該非剛体遮蔽物を有する顔画像、例えば図２ａに示す１番目及び３番目の画像を収集する収集部をさらに含んでもよい。
本発明のデータ処理装置によれば、遮蔽物を有する顔データを生成することで顔訓練データセットの数を効果的に増加することができ、顔関連モジュールの性能を向上させることができる。また、本発明のデータ処理装置及びデータ処理方法は、操作が容易であり、計算量及び労働コストが低い。
＜剛体遮蔽物の実施例＞
同様に、剛体遮蔽物の実施例において、後続処理の便宜のために、前処理を行ってもよい。図３に示すように、本発明の実施例に係るデータ処理装置３００は、前処理部３１０、モデル構築部１０１、レンダリング部１０２及び合成部１０３を含んでもよい。
同様に、剛体遮蔽物の実施例において、後続処理の便宜のために、前処理を行ってもよい。図３に示すように、本発明の実施例に係るデータ処理装置３００は、前処理部３１０、モデル構築部１０１、レンダリング部１０２及び合成部１０３を含んでもよい。
本実施例では、データ処理装置３００は、剛体遮蔽物を含む画像に対して前処理を行う前処理部３１０をさらに含んでもよく、該前処理は、該剛体遮蔽物の重心、高さ及び幅などを含むスケール情報を決定することを含んでもよい。当業者が分かるように、ここで、該剛体遮蔽物は、眼鏡、マイクなどのような変形しない遮蔽物であってもよく、そのスケール情報は、実際の状況又は需要に応じて決定されてもよく、本明細書に示されている重心、高さ及び幅などに限定されない。
後続のモデル構築処理のために、本発明の１つの実施例では、前処理部３１０は、剛体遮蔽物を含む画像を分割してもよい。
そして、モデル構築部１０１は、分割後の結果、該剛体遮蔽物の位置及び該スケール情報を用いて遮蔽物の平面モデルを構築してもよい。ここで、当業者が分かるように、実際の視点などの需要に応じて、アフィン変換により処理を行ってもよい。
そして、遮蔽物を含まない顔画像を入力する。本発明の１つの実施例では、前処理部３１０は、該入力された遮蔽物を含まない顔画像に対して前処理を行ってもよく、該前処理は、同様に顔検出、顔特徴点検出及び顔分割を含んでもよく、ここで、顔特徴点検出は、顔特徴点の抽出を含む。同様に、該顔検出、該顔特徴点検出及び顔分割は、本明細書に示されている従来技術の方法を採用してもよい。当業者が分かるように、本明細書に示されていない従来技術における類似機能を実現可能な他の方法を採用してもよい。
また、本発明の１つの実施例では、前処理部３１０は、該剛体遮蔽物について、簡単な幾何学的方法を用いて姿勢を推定してもよい。
そして、レンダリング部１０２は、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、該遮蔽物と入力された該遮蔽物を含まない顔画像との幾何学的関係に基づいて該遮蔽物モデルをレンダリングしてもよい。
本発明の１つの実施例では、レンダリング部１０２は、該剛体遮蔽物の情報及び該遮蔽物を含まない顔画像の情報に基づいてアフィン変換行列を算出してもよい。
例えば、該剛体遮蔽物が眼鏡である場合は、レンダリング部１０２は、眼鏡の重心及びスケール情報、入力された遮蔽物を含まない顔画像における両眼の中心点及び長さ、並びに入力された遮蔽物を含まない顔画像の回転、平行移動を含む姿勢などに基づいてアフィン変換行列を算出してもよい。該剛体遮蔽物がマイクや手などの他の遮蔽物である場合は、同様に類似のパラメータを用いて、遮蔽物の重心及びスケール情報などに基づいてアフィン変換行列を算出してもよい。ここで、生成されたデータセットの多様性を確保するために、遮蔽物の配置位置及び視点（角度）をランダムに生成してもよい。
そして、合成部１０３は、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像に合成してもよい。
本発明の１つの実施例では、データ処理装置は、例えば眼鏡、マイク及び手などのような剛体遮蔽物の顔画像、例えば図２ｂ及び図２ｃに示す画像を収集する収集部をさらに含んでもよい。なお、手のデータの強化方法を簡略化すると共に、ジェスチャ（ｇｅｓｔｕｒｅ）の多様性を維持するために、異なるジェスチャを含むオープンデータセット（例えばＥｇｏＨａｎｄｓ）用いてもよい。
ここで、本発明の上記非剛体遮蔽物の実施例と類似するユニットの動作について、ここでその説明を省略する。
以下は、図５を参照しながら本発明の実施例に係るデータ処理方法を説明する。図５に示すように、本発明の実施例に係るデータ処理方法は、ステップＳ５１０〜ステップＳ５３０を含む。
ステップＳ５１０において、遮蔽物を含む画像に対して遮蔽物モデルを構築してもよい。
次に、ステップＳ５２０において、レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、該遮蔽物と該遮蔽物を含まない顔画像との幾何学的関係に基づいて該遮蔽物モデルをレンダリングしてもよい。
最後に、ステップＳ５３０において、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像に合成してもよい。
本発明の実施例では、データ処理方法は、該遮蔽物が剛体遮蔽物であるか、それとも非剛体遮蔽物であるかを定義する該遮蔽物の類型の定義ステップをさらに含んでもよい。
本発明の実施例では、該遮蔽物が非剛体遮蔽物である場合は、データ処理方法は、非剛体遮蔽物を含む顔画像に対して第１前処理を行うステップをさらに含んでもよい。該第１前処理は、該非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含んでもよい。
本発明の実施例では、該顔検出及び該顔特徴点検出を自動的又は手動で行ってもよい。
本発明の実施例では、該第１前処理は、標準顔又は平均顔画像により該非剛体遮蔽物における顔特徴点を最適化するステップをさらに含んでもよい。
本発明の実施例では、該第１前処理は、最適化された顔画像を分割し、非剛体遮蔽物画像を取得するステップをさらに含んでもよい。
本発明の実施例では、モデルを構築するステップは、不規則三角網（ＴＩＮ）により該非剛体遮蔽物画像に対して遮蔽物の変形モデルを構築するステップを含んでもよい。
本発明の実施例では、データ処理方法は、遮蔽物を含まない顔画像に対して第１前処理を行うステップをさらに含んでもよい。該第１前処理は、顔検出、顔特徴点検出及び顔分割を含んでもよく、ここで、顔特徴点検出は、顔特徴点を抽出するステップを含んでもよい。
本発明の実施例では、該遮蔽物モデルをレンダリングするステップは、抽出された顔特徴点及び該遮蔽物モデルに基づいて、該遮蔽物を含まない顔画像に対して、複数の三角形の面を含む不規則三角網（ＴＩＮ）を構築するステップと、該複数の三角形の面の各々に対して、アフィン変換により該遮蔽物モデルをレンダリングするステップと、を含んでもよい。
本発明の実施例では、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップは、画像混合処理により、遮蔽顔画像の融合部分の境界を自然に遷移させるステップを含んでもよい。
本発明の実施例では、遮蔽物を含まない顔画像と該レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップは、ヒストグラム正規化手法を用いて、該遮蔽顔画像の融合領域と該遮蔽物を含まない顔画像とが同一の照明条件を有するようにするステップを含んでもよい。
本発明の実施例では、データ処理方法は、正面図の場合の、該非剛体遮蔽物を有する顔画像を収集するステップをさらに含んでもよい。
本発明の実施例では、該遮蔽物が剛体遮蔽物である場合は、データ処理方法は、剛体遮蔽物を含む画像に対して第２前処理を行うステップをさらに含んでもよい。該第２前処理は、該剛体遮蔽物の重心、高さ及び幅を含むスケール情報を決定することを含んでもよい。
本発明の実施例では、モデルを構築するステップは、該剛体遮蔽物の位置及び該スケール情報を用いて遮蔽物の平面モデルを構築するステップを含んでもよい。
本発明の実施例では、該第２前処理は、幾何学的方法を用いて姿勢を推定するステップを含んでもよい。
本発明の実施例では、該遮蔽物モデルをレンダリングするステップは、該剛体遮蔽物の情報及び該遮蔽物を含まない顔画像の情報に基づいてアフィン変換行列を算出するステップを含んでもよい。
本発明の実施例に係るデータ処理方法の上記ステップの各具体的な実施形態は既に詳細に説明されているため、ここでその説明を省略する。
なお、本発明のデータ処理方法の各処理は、各種の機器が読み取り可能な記憶媒体に記憶されたコンピュータ実行可能なプログラムにより実現されてもよい。
また、本発明の目的は、上記実行可能なプログラムコードを記憶した記憶媒体をシステム又は装置に直接的又は間接的に提供し、該システム又は装置におけるコンピュータ又は中央処理装置（ＣＰＵ）が該プログラムコードを読み出して実行することによって実現されてもよい。この場合は、該システム又は装置はプログラムを実行可能な機能を有すればよく、本発明の実施形態はプログラムに限定されない。また、該プログラムは任意の形であってもよく、例えばオブジェクトプログラム、インタプリタによって実行されるプログラム、又はオペレーティングシステムに提供されるスクリプトプログラム等であってもよい。
上記の機器が読み取り可能な記憶媒体は、各種のメモリ、記憶部、半導体装置、光ディスク、磁気ディスク及び光磁気ディスクのようなディスク、並びに情報を記憶可能な他の媒体等を含むが、これらに限定されない。
また、コンピュータがインターネット上の対応するウェブサイトに接続され、本発明のコンピュータプログラムコードをコンピュータにダウンロード、インストール、そして実行することによって、本発明の実施形態を実現することができる。
図６は本発明に係るデータ処理装置及びデータ処理方法を実現可能な汎用パーソナルコンピュータ１３００の例示的な構成を示すブロック図である。
図６に示すように、ＣＰＵ１３０１は、読み出し専用メモリ（ＲＯＭ）１３０２に記憶されているプログラム、又は記憶部１３０８からランダムアクセスメモリ（ＲＡＭ）１３０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ１３０３には、必要に応じて、ＣＰＵ１３０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ１３０１、ＲＯＭ１３０２、及びＲＡＭ１３０３は、バス１３０４を介して互いに接続されている。入力／出力インターフェース１３０５もバス１３０４に接続されている。
入力部１３０６（キーボード、マウスなどを含む）、出力部１３０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部１３０８（例えばハードディスクなどを含む）、通信部１３０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース１３０５に接続されている。通信部１３０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ部１３１０は、入力／出力インターフェース１３０５に接続されてもよい。取り外し可能な媒体１３１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライブ部１３１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部１３０８にインストールされている。
ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体１３１１を介してソフトウェアを構成するプログラムをインストールする。
なお、これらの記憶媒体は、図６に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体１３１１に限定されない。取り外し可能な媒体１３１１は、例えば磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ１３０２、記憶部１３０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。
なお、本発明のシステム及び方法では、各ユニット又は各ステップを分解且つ、或いは再組み合わせてもよい。これらの分解及び／又は再組み合わせは、本発明と同等であると見なされる。また、本発明の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本発明の技術的な範囲を限定するものではない。
以上は図面を参照しながら本発明の実施例を詳細に説明しているが、上述した実施形態及び実施例は単なる例示的なものであり、本発明を限定するものではない。当業者は、特許請求の範囲の主旨及び範囲内で本発明に対して各種の修正、変更を行ってもよい。これらの修正、変更は本発明の保護範囲に含まれるものである。
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
遮蔽物を含む画像に対して遮蔽物モデルを構築するモデル構築手段と、
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするレンダリング手段と、
遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成する合成手段と、を含む、データ処理装置。
（付記２）
前記遮蔽物は剛体遮蔽物及び非剛体遮蔽物を含む、付記１に記載のデータ処理装置。
（付記３）
非剛体遮蔽物を含む顔画像に対して第１前処理を行う前処理手段、をさらに含み、
前記第１前処理は、前記非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含む、付記２に記載のデータ処理装置。
（付記４）
前記第１前処理は、前記顔検出及び前記顔特徴点検出を自動的又は手動で行う、付記３に記載のデータ処理装置。
（付記５）
前記第１前処理は、標準顔又は平均顔画像により前記非剛体遮蔽物における顔特徴点を最適化することをさらに含む、付記３に記載のデータ処理装置。
（付記６）
前記第１前処理は、最適化された顔画像を分割し、非剛体遮蔽物画像を取得することをさらに含む、付記５に記載のデータ処理装置。
（付記７）
前記モデル構築手段は、不規則三角網（ＴＩＮ）により前記非剛体遮蔽物画像に対して遮蔽物の変形モデルを構築する、付記６に記載のデータ処理装置。
（付記８）
遮蔽物を含まない顔画像に対して第１前処理を行う前処理手段、をさらに含み、
前記第１前処理は、顔検出、顔特徴点検出及び顔分割を含み、
顔特徴点検出は、顔特徴点の抽出を含む、付記２に記載のデータ処理装置。
（付記９）
前記レンダリング手段は、
抽出された顔特徴点及び前記遮蔽物モデルに基づいて、前記遮蔽物を含まない顔画像に対して、複数の三角形の面を含む不規則三角網（ＴＩＮ）を構築し、
前記複数の三角形の面の各々に対して、アフィン変換により前記遮蔽物モデルをレンダリングする、付記８に記載のデータ処理装置。
（付記１０）
前記合成手段は、画像混合処理により、前記遮蔽顔画像の融合部分の境界を自然に遷移させる、付記１に記載のデータ処理装置。
（付記１１）
前記合成手段は、ヒストグラム正規化手法を用いて、前記遮蔽顔画像の融合領域と前記遮蔽物を含まない顔画像とが同一の照明条件を有するようにする、付記１０に記載のデータ処理装置。
（付記１２）
剛体遮蔽物を含む画像に対して第２前処理を行う前処理手段、をさらに含み、
前記第２前処理は、前記剛体遮蔽物の重心、高さ及び幅を含むスケール情報を決定することを含む、付記２に記載のデータ処理装置。
（付記１３）
前記モデル構築手段は、前記剛体遮蔽物の位置及び前記スケール情報を用いて遮蔽物の平面モデルを構築する、付記１２に記載のデータ処理装置。
（付記１４）
前記剛体遮蔽物について、前記第１前処理は幾何学的方法を用いて姿勢を推定する、付記８に記載のデータ処理装置。
（付記１５）
前記レンダリング手段は、前記剛体遮蔽物の情報及び前記遮蔽物を含まない顔画像の情報に基づいてアフィン変換行列を算出する、付記２に記載のデータ処理装置。
（付記１６）
正面図の場合の、前記非剛体遮蔽物を有する顔画像を収集する収集手段、をさらに含む、付記２に記載のデータ処理装置。
（付記１７）
遮蔽物を含む画像に対して遮蔽物モデルを構築するステップと、
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするステップと、
遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップと、を含む、データ処理方法。
（付記１８）
前記遮蔽物は剛体遮蔽物及び非剛体遮蔽物を含む、付記１７に記載のデータ処理方法。
（付記１９）
非剛体遮蔽物を含む顔画像に対して第１前処理を行うステップ、をさらに含み、
前記第１前処理は、前記非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含む、付記１８に記載のデータ処理方法。
（付記２０）
機器読み取り可能な命令コードを含むプログラムプロダクトであって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに付記１７乃至１９の何れかに記載のデータ処理方法を実行させることができる、プログラムプロダクト。
（付記１）
遮蔽物を含む画像に対して遮蔽物モデルを構築するモデル構築手段と、
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするレンダリング手段と、
遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成する合成手段と、を含む、データ処理装置。
（付記２）
前記遮蔽物は剛体遮蔽物及び非剛体遮蔽物を含む、付記１に記載のデータ処理装置。
（付記３）
非剛体遮蔽物を含む顔画像に対して第１前処理を行う前処理手段、をさらに含み、
前記第１前処理は、前記非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含む、付記２に記載のデータ処理装置。
（付記４）
前記第１前処理は、前記顔検出及び前記顔特徴点検出を自動的又は手動で行う、付記３に記載のデータ処理装置。
（付記５）
前記第１前処理は、標準顔又は平均顔画像により前記非剛体遮蔽物における顔特徴点を最適化することをさらに含む、付記３に記載のデータ処理装置。
（付記６）
前記第１前処理は、最適化された顔画像を分割し、非剛体遮蔽物画像を取得することをさらに含む、付記５に記載のデータ処理装置。
（付記７）
前記モデル構築手段は、不規則三角網（ＴＩＮ）により前記非剛体遮蔽物画像に対して遮蔽物の変形モデルを構築する、付記６に記載のデータ処理装置。
（付記８）
遮蔽物を含まない顔画像に対して第１前処理を行う前処理手段、をさらに含み、
前記第１前処理は、顔検出、顔特徴点検出及び顔分割を含み、
顔特徴点検出は、顔特徴点の抽出を含む、付記２に記載のデータ処理装置。
（付記９）
前記レンダリング手段は、
抽出された顔特徴点及び前記遮蔽物モデルに基づいて、前記遮蔽物を含まない顔画像に対して、複数の三角形の面を含む不規則三角網（ＴＩＮ）を構築し、
前記複数の三角形の面の各々に対して、アフィン変換により前記遮蔽物モデルをレンダリングする、付記８に記載のデータ処理装置。
（付記１０）
前記合成手段は、画像混合処理により、前記遮蔽顔画像の融合部分の境界を自然に遷移させる、付記１に記載のデータ処理装置。
（付記１１）
前記合成手段は、ヒストグラム正規化手法を用いて、前記遮蔽顔画像の融合領域と前記遮蔽物を含まない顔画像とが同一の照明条件を有するようにする、付記１０に記載のデータ処理装置。
（付記１２）
剛体遮蔽物を含む画像に対して第２前処理を行う前処理手段、をさらに含み、
前記第２前処理は、前記剛体遮蔽物の重心、高さ及び幅を含むスケール情報を決定することを含む、付記２に記載のデータ処理装置。
（付記１３）
前記モデル構築手段は、前記剛体遮蔽物の位置及び前記スケール情報を用いて遮蔽物の平面モデルを構築する、付記１２に記載のデータ処理装置。
（付記１４）
前記剛体遮蔽物について、前記第１前処理は幾何学的方法を用いて姿勢を推定する、付記８に記載のデータ処理装置。
（付記１５）
前記レンダリング手段は、前記剛体遮蔽物の情報及び前記遮蔽物を含まない顔画像の情報に基づいてアフィン変換行列を算出する、付記２に記載のデータ処理装置。
（付記１６）
正面図の場合の、前記非剛体遮蔽物を有する顔画像を収集する収集手段、をさらに含む、付記２に記載のデータ処理装置。
（付記１７）
遮蔽物を含む画像に対して遮蔽物モデルを構築するステップと、
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするステップと、
遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップと、を含む、データ処理方法。
（付記１８）
前記遮蔽物は剛体遮蔽物及び非剛体遮蔽物を含む、付記１７に記載のデータ処理方法。
（付記１９）
非剛体遮蔽物を含む顔画像に対して第１前処理を行うステップ、をさらに含み、
前記第１前処理は、前記非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含む、付記１８に記載のデータ処理方法。
（付記２０）
機器読み取り可能な命令コードを含むプログラムプロダクトであって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに付記１７乃至１９の何れかに記載のデータ処理方法を実行させることができる、プログラムプロダクト。
Claims (10)
- 遮蔽物を含む画像に対して遮蔽物モデルを構築するモデル構築手段と、
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするレンダリング手段と、
遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成する合成手段と、を含む、データ処理装置。 - 前記遮蔽物は剛体遮蔽物及び非剛体遮蔽物を含む、請求項１に記載のデータ処理装置。
- 非剛体遮蔽物を含む顔画像に対して第１前処理を行う前処理手段、をさらに含み、
前記第１前処理は、前記非剛体遮蔽物を含む顔画像に対して顔検出及び顔特徴点検出を行うことを含む、請求項２に記載のデータ処理装置。 - 前記第１前処理は、標準顔又は平均顔画像により前記非剛体遮蔽物における顔特徴点を最適化することをさらに含む、請求項３に記載のデータ処理装置。
- 前記第１前処理は、最適化された顔画像を分割し、非剛体遮蔽物画像を取得することをさらに含む、請求項４に記載のデータ処理装置。
- 遮蔽物を含まない顔画像に対して第１前処理を行う前処理手段、をさらに含み、
前記第１前処理は、顔検出、顔特徴点検出及び顔分割を含み、
顔特徴点検出は、顔特徴点の抽出を含む、請求項２に記載のデータ処理装置。 - 前記レンダリング手段は、
抽出された顔特徴点及び前記遮蔽物モデルに基づいて、前記遮蔽物を含まない顔画像に対して、複数の三角形の面を含む不規則三角網（ＴＩＮ）を構築し、
前記複数の三角形の面の各々に対して、アフィン変換により前記遮蔽物モデルをレンダリングする、請求項６に記載のデータ処理装置。 - 剛体遮蔽物を含む画像に対して第２前処理を行う前処理手段、をさらに含み、
前記第２前処理は、前記剛体遮蔽物の重心、高さ及び幅を含むスケール情報を決定することを含む、請求項２に記載のデータ処理装置。 - 遮蔽物を含む画像に対して遮蔽物モデルを構築するステップと、
レンダリングされた遮蔽物画像と遮蔽物を含まない顔画像とが同一のスケール及び姿勢を有するように、前記遮蔽物と前記遮蔽物を含まない顔画像との幾何学的関係に基づいて前記遮蔽物モデルをレンダリングするステップと、
遮蔽物を含まない顔画像と前記レンダリングされた遮蔽物画像とを遮蔽顔画像に合成するステップと、を含む、データ処理方法。 - 機器読み取り可能な命令コードを含むプログラムプロダクトを記録した機器読み取り可能な記憶媒体であって、前記命令コードがコンピュータにより読み取られて実行される場合、前記コンピュータに請求項９に記載のデータ処理方法を実行させることができる、機器読み取り可能な記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711267386.2A CN109872379B (zh) | 2017-12-05 | 2017-12-05 | 数据处理装置和方法 |
| CN201711267386.2 | 2017-12-05 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019102081A true JP2019102081A (ja) | 2019-06-24 |
| JP7188015B2 JP7188015B2 (ja) | 2022-12-13 |
Family
ID=66547851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018221090A Active JP7188015B2 (ja) | 2017-12-05 | 2018-11-27 | データ処理装置及びデータ処理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10929648B2 (ja) |
| JP (1) | JP7188015B2 (ja) |
| CN (1) | CN109872379B (ja) |
| DE (1) | DE102018129863A1 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021026685A (ja) * | 2019-08-08 | 2021-02-22 | セコム株式会社 | 対象物認識装置、対象物認識方法、及び対象物認識プログラム |
| JP2021033048A (ja) * | 2019-08-23 | 2021-03-01 | サウンドハウンド，インコーポレイテッド | 車載装置、発声を処理する方法およびプログラム |
| JP2021149961A (ja) * | 2020-03-23 | 2021-09-27 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 情報処理方法及び情報処理装置 |
| US11257493B2 (en) | 2019-07-11 | 2022-02-22 | Soundhound, Inc. | Vision-assisted speech processing |
| WO2022250063A1 (ja) * | 2021-05-26 | 2022-12-01 | キヤノン株式会社 | 顔認証を行う画像処理装置および画像処理方法 |
| JP2022182960A (ja) * | 2021-05-26 | 2022-12-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2023008811A3 (ko) * | 2021-07-29 | 2023-03-23 | 이광희 | 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법 |
| WO2023238365A1 (ja) * | 2022-06-10 | 2023-12-14 | 富士通株式会社 | 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム |
| JP7555685B2 (ja) | 2022-02-15 | 2024-09-25 | Kddi株式会社 | 人の顔に装着物を着用した顔画像及びラベリング画像を生成するプログラム、装置及び方法 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7102554B2 (ja) * | 2019-09-30 | 2022-07-19 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | 画像処理方法、装置及び電子機器 |
| CN111639545B (zh) * | 2020-05-08 | 2023-08-08 | 浙江大华技术股份有限公司 | 一种人脸识别方法、装置、设备及介质 |
| CN112257552B (zh) * | 2020-10-19 | 2023-09-05 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| US11482041B2 (en) * | 2020-10-21 | 2022-10-25 | Adobe Inc. | Identity obfuscation in images utilizing synthesized faces |
| CN113012176B (zh) * | 2021-03-17 | 2023-12-15 | 阿波罗智联(北京)科技有限公司 | 样本图像的处理方法、装置、电子设备及存储介质 |
| CN113435273B (zh) * | 2021-06-15 | 2022-03-25 | 北京的卢深视科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
| US20230137381A1 (en) * | 2021-10-29 | 2023-05-04 | Centre For Intelligent Multidimensional Data Analysis Limited | System and method for detecting a facial apparatus |
| CN115311397A (zh) * | 2022-08-09 | 2022-11-08 | 北京字跳网络技术有限公司 | 用于图像渲染的方法、装置、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011198112A (ja) * | 2010-03-19 | 2011-10-06 | Kokusai Kogyo Co Ltd | 商品選択システム、及び商品モデル装置と対象物モデル装置と対象物データ取得装置と通信販売方法、並びに体形管理システムと非接触式計測手段 |
| WO2011148596A1 (ja) * | 2010-05-26 | 2011-12-01 | 日本電気株式会社 | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム |
| JP2012003623A (ja) * | 2010-06-18 | 2012-01-05 | Toshiba Corp | 顔画像検索装置および顔画像検索方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005308553A (ja) * | 2004-04-21 | 2005-11-04 | Topcon Corp | 三次元画像計測装置及び方法 |
| KR100858087B1 (ko) * | 2007-02-14 | 2008-09-10 | 삼성전자주식회사 | 객체 포즈 정규화 방법과 장치 및 객체 인식 방법 |
| US9558396B2 (en) * | 2013-10-22 | 2017-01-31 | Samsung Electronics Co., Ltd. | Apparatuses and methods for face tracking based on calculated occlusion probabilities |
| US9589595B2 (en) * | 2013-12-20 | 2017-03-07 | Qualcomm Incorporated | Selection and tracking of objects for display partitioning and clustering of video frames |
| CN106133796B (zh) * | 2014-03-25 | 2019-07-16 | 苹果公司 | 用于在真实环境的视图中表示虚拟对象的方法和系统 |
| JP6528764B2 (ja) * | 2014-03-28 | 2019-06-12 | 日本電気株式会社 | 顔照合装置、方法、及び、記録媒体 |
| EP3185176A1 (en) * | 2015-12-21 | 2017-06-28 | THOMSON Licensing | Method and device for synthesizing an image of a face partially occluded |
| US10609324B2 (en) * | 2016-07-18 | 2020-03-31 | Snap Inc. | Real time painting of a video stream |
| GB201711353D0 (en) * | 2017-07-14 | 2017-08-30 | Idscan Biometrics Ltd | Improvements relating to face recognition |
| US10778939B2 (en) * | 2017-09-22 | 2020-09-15 | Facebook, Inc. | Media effects using predicted facial feature locations |
-
2017
- 2017-12-05 CN CN201711267386.2A patent/CN109872379B/zh active Active
-
2018
- 2018-11-27 DE DE102018129863.3A patent/DE102018129863A1/de active Pending
- 2018-11-27 JP JP2018221090A patent/JP7188015B2/ja active Active
- 2018-12-05 US US16/210,158 patent/US10929648B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011198112A (ja) * | 2010-03-19 | 2011-10-06 | Kokusai Kogyo Co Ltd | 商品選択システム、及び商品モデル装置と対象物モデル装置と対象物データ取得装置と通信販売方法、並びに体形管理システムと非接触式計測手段 |
| WO2011148596A1 (ja) * | 2010-05-26 | 2011-12-01 | 日本電気株式会社 | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム |
| JP2012003623A (ja) * | 2010-06-18 | 2012-01-05 | Toshiba Corp | 顔画像検索装置および顔画像検索方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11257493B2 (en) | 2019-07-11 | 2022-02-22 | Soundhound, Inc. | Vision-assisted speech processing |
| JP2021026685A (ja) * | 2019-08-08 | 2021-02-22 | セコム株式会社 | 対象物認識装置、対象物認識方法、及び対象物認識プログラム |
| JP7349288B2 (ja) | 2019-08-08 | 2023-09-22 | セコム株式会社 | 対象物認識装置、対象物認識方法、及び対象物認識プログラム |
| JP2021033048A (ja) * | 2019-08-23 | 2021-03-01 | サウンドハウンド，インコーポレイテッド | 車載装置、発声を処理する方法およびプログラム |
| JP7311544B2 (ja) | 2020-03-23 | 2023-07-19 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 情報処理方法及び情報処理装置 |
| JP2021149961A (ja) * | 2020-03-23 | 2021-09-27 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 情報処理方法及び情報処理装置 |
| KR20210118739A (ko) * | 2020-03-23 | 2021-10-01 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 정보 처리 방법과 장치, 전자 기기, 컴퓨터 판독가능 저장 매체 및 매체에 저장된 컴퓨터 프로그램 |
| KR102599977B1 (ko) * | 2020-03-23 | 2023-11-08 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 정보 처리 방법과 장치, 전자 기기, 컴퓨터 판독가능 저장 매체 및 매체에 저장된 컴퓨터 프로그램 |
| JP2022182960A (ja) * | 2021-05-26 | 2022-12-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP7346528B2 (ja) | 2021-05-26 | 2023-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2022250063A1 (ja) * | 2021-05-26 | 2022-12-01 | キヤノン株式会社 | 顔認証を行う画像処理装置および画像処理方法 |
| WO2023008811A3 (ko) * | 2021-07-29 | 2023-03-23 | 이광희 | 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법 |
| JP7555685B2 (ja) | 2022-02-15 | 2024-09-25 | Kddi株式会社 | 人の顔に装着物を着用した顔画像及びラベリング画像を生成するプログラム、装置及び方法 |
| WO2023238365A1 (ja) * | 2022-06-10 | 2023-12-14 | 富士通株式会社 | 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US10929648B2 (en) | 2021-02-23 |
| JP7188015B2 (ja) | 2022-12-13 |
| US20190171866A1 (en) | 2019-06-06 |
| DE102018129863A1 (de) | 2019-06-06 |
| CN109872379B (zh) | 2022-12-02 |
| CN109872379A (zh) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019102081A (ja) | データ処理装置及びデータ処理方法 | |
| US9990780B2 (en) | Using computed facial feature points to position a product model relative to a model of a face | |
| CN107564080B (zh) | 一种人脸图像的替换系统 | |
| CN107610202B (zh) | 人脸图像替换方法、设备及存储介质 | |
| CN107507216B (zh) | 图像中局部区域的替换方法、装置及存储介质 | |
| WO2019033903A1 (zh) | 虚拟现实的图形渲染方法和装置 | |
| CN109961496B (zh) | 表情驱动方法及表情驱动装置 | |
| CN103430218A (zh) | 用3d脸部建模和地标对齐扩增造型的方法 | |
| CN110443230A (zh) | 人脸融合方法、装置以及电子设备 | |
| CN112785674A (zh) | 纹理贴图的生成方法、渲染方法、装置、设备及存储介质 | |
| GB2517270A (en) | Locating and augmenting object features in images | |
| Manni et al. | Snap2cad: 3D indoor environment reconstruction for AR/VR applications using a smartphone device | |
| CN111275824A (zh) | 用于交互式增强现实的表面重建 | |
| WO2024174422A1 (zh) | 模型的生成方法及装置、电子设备、存储介质 | |
| Lanitis et al. | Virtual restoration of faces appearing in byzantine icons | |
| AU2016230943B2 (en) | Virtual trying-on experience | |
| CN115222895B (zh) | 图像生成方法、装置、设备以及存储介质 | |
| JP2017188071A (ja) | 柄替えシミュレーション装置、柄替えシミュレーション方法、及びプログラム | |
| Starck et al. | Model-based human shape reconstruction from multiple views | |
| CN114639161A (zh) | 多任务模型的训练方法以及衣服的虚拟试穿方法 | |
| Souza et al. | Multi-frame adaptive non-rigid registration for markerless augmented reality | |
| Kang et al. | MIRROR: Towards Generalizable On-Device Video Virtual Try-On for Mobile Shopping | |
| Botre et al. | Virtual Trial Room | |
| Schumacher et al. | Hallucination of facial details from degraded images using 3D face models | |
| CN116051694B (zh) | 虚拟形象生成方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220701 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7188015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |