JP2022507998A - 画像処理方法、装置及び電子機器 - Google Patents
画像処理方法、装置及び電子機器 Download PDFInfo
- Publication number
- JP2022507998A JP2022507998A JP2020566648A JP2020566648A JP2022507998A JP 2022507998 A JP2022507998 A JP 2022507998A JP 2020566648 A JP2020566648 A JP 2020566648A JP 2020566648 A JP2020566648 A JP 2020566648A JP 2022507998 A JP2022507998 A JP 2022507998A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- key point
- face
- point information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 141
- 238000006243 chemical reaction Methods 0.000 claims abstract description 125
- 238000012545 processing Methods 0.000 claims description 93
- 238000007499 fusion processing Methods 0.000 claims description 79
- 230000008569 process Effects 0.000 claims description 71
- 238000001514 detection method Methods 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 31
- 210000000056 organ Anatomy 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 18
- 210000001061 forehead Anatomy 0.000 claims description 16
- 210000000214 mouth Anatomy 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 210000000887 face Anatomy 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 230000002087 whitening effect Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 abstract description 22
- 230000001815 facial effect Effects 0.000 description 25
- 238000011282 treatment Methods 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 17
- 210000001508 eye Anatomy 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 230000001360 synchronised effect Effects 0.000 description 10
- 210000004709 eyebrow Anatomy 0.000 description 7
- 230000003993 interaction Effects 0.000 description 4
- 210000001331 nose Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000010428 oil painting Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000254 composite pulse decoupling sequence Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
本願は、2019年09月30日に提出された、出願番号が201910944389.8である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
第1画像及び第2画像を取得することと、前記第1画像におけるターゲット対象の顔キーポイントを検出し、第1キーポイント情報を得るて、前記第2画像におけるターゲット対象の顔キーポイントを検出し、第2キーポイント情報を得ることと、前記第1キーポイント情報及び前記第2キーポイント情報に基づいて変換関係を決定することと、前記変換関係に基づいて、前記第1画像及び前記第2画像におけるターゲット対象の顔をフュージョンし、第3画像を得ることと、を含む。
前記ターゲット画像及び前記第1参照画像に基づいて、第3画像を生成することは、前記ターゲット画像及び最適化処理後の第1参照画像に基づいて、第3画像を生成することを含む。
前記取得ユニットは、第1画像及び第2画像を取得するように構成され、
前記キーポイント検出ユニットは、前記第1画像におけるターゲット対象の顔キーポイントを検出し、第1キーポイント情報を得て、前記第2画像におけるターゲット対象の顔キーポイントを検出し、第2キーポイント情報を得るように構成され、
前記フュージョン処理ユニットは、前記第1キーポイント情報及び前記第2キーポイント情報に基づいて変換関係を決定し、前記変換関係に基づいて、前記第1画像及び前記第2画像におけるターゲット対象の顔をフュージョンし、第3画像を得るように構成される。
前記キーポイント検出ユニットは更に、前記第1参照画像におけるターゲット対象の顔キーポイントを検出し、第3キーポイント情報を得るように構成され、
前記フュージョン処理ユニットは更に、前記第2キーポイント情報及び第3キーポイント情報に基づいて、第2変換関係を決定するように構成される。
取得ユニット41は、第1画像及び第2画像を取得するように構成され、
キーポイント検出ユニット42は、第1画像におけるターゲット対象の顔キーポイントを検出し、第1キーポイント情報を得て、第2画像におけるターゲット対象の顔キーポイントを検出し、第2キーポイント情報を得るように構成され、
フュージョン処理ユニット43は、第1キーポイント情報及び第2キーポイント情報に基づいて変換関係を決定し、変換関係に基づいて、第1画像及び第2画像におけるターゲット対象の顔をフュージョンし、第3画像を得るように構成される。
キーポイント検出ユニット42は更に、第1参照画像におけるターゲット対象の顔キーポイントを検出し、第3キーポイント情報を得るように構成され、
フュージョン処理ユニット43は更に、第2キーポイント情報及び第3キーポイント情報に基づいて、第2変換関係を決定するように構成される。
42 キーポイント検出ユニット
43 フュージョン処理ユニット
44 画像処理ユニット
45 画像スタイル変換処理ユニット
51 プロセッサ
52 メモリ
Claims (35)
- 画像処理方法であって、
第1画像及び第2画像を取得することと、
前記第1画像におけるターゲット対象の顔キーポイントを検出し、第1キーポイント情報を得て、前記第2画像におけるターゲット対象の顔キーポイントを検出し、第2キーポイント情報を得ることと、
前記第1キーポイント情報及び前記第2キーポイント情報に基づいて変換関係を決定することと、
前記変換関係に基づいて、前記第1画像及び前記第2画像におけるターゲット対象の顔をフュージョンし、第3画像を得ることと、を含む、画像処理方法。 - 前記第1キーポイント情報及び前記第2キーポイント情報に基づいて変換関係を決定することは、
前記第1キーポイント情報及び前記第2キーポイント情報に基づいて、第1変換関係を決定することと、
前記第1変換関係に基づいて、前記第1画像におけるターゲット対象の顔に対して変形処理を行い、第1参照画像を得ることと、
前記第1参照画像におけるターゲット対象の顔キーポイントを検出し、第3キーポイント情報を得ることと、
前記第2キーポイント情報及び第3キーポイント情報に基づいて、第2変換関係を決定することと、を含むことを特徴とする
請求項1に記載の方法。 - 前記変換関係に基づいて、前記第1画像及び前記第2画像におけるターゲット対象の顔をフュージョンし、第3画像を得ることは、
前記第2変換関係に基づいて、前記第2画像におけるターゲット対象の顔に対して変形処理を行い、ターゲット画像を得ることと、
前記ターゲット画像及び前記第1参照画像におけるターゲット対象の顔をフュージョンし、第3画像を得ることと、を含むことを特徴とする
請求項2に記載の方法。 - 前記第2キーポイント情報及び前記第3キーポイント情報は、いずれもキーポイントの座標を含み、前記第2キーポイント情報及び第3キーポイント情報に基づいて第2変換関係を決定することは、
前記第2キーポイントの座標及び前記第3キーポイントの座標に対して加重オーバーレイ処理を行い、第4キーポイント情報を得ることであって、前記第4キーポイント情報に第4キーポイントの座標が含まれる、ことと、
前記第2キーポイントの座標及び前記第4キーポイントの座標に基づいて、前記第2変換関係を決定することと、を含むことを特徴とする
請求項2に記載の方法。 - 前記ターゲット画像及び前記第1参照画像におけるターゲット対象の顔をフュージョンし、前記第3画像を得ることは、
前記ターゲット画像におけるターゲット対象の顔キーポイントを検出し、第5キーポイント情報を得ることと、
前記第3キーポイント情報及び前記第5キーポイント情報に基づいて、第3変換関係を決定することと、
前記第3変換関係に基づいて、前記第1参照画像におけるターゲット対象の顔に対して変形処理を行い、第2参照画像を得ることと、
前記第2参照画像及び前記ターゲット画像に基づいて前記第3画像を得ることと、を含むことを特徴とする
請求項3に記載の方法。 - 前記第2参照画像及び前記ターゲット画像に基づいて、第3画像を得ることは、
前記第2参照画像及び前記ターゲット画像に対してフュージョン処理を行い、第3参照画像を得ることと、
前記第3参照画像及び前記ターゲット画像に対してフュージョン処理を行い、前記第3画像を得ることと、を含むことを特徴とする
請求項5に記載の方法。 - 前記第2参照画像及び前記ターゲット画像に対してフュージョン処理を行い、第3参照画像を得ることは、
前記第2参照画像における画素点の画素値の第1平均値を決定し、前記ターゲット画像における画素点の画素値の第2平均値を決定することと、
前記第2参照画像における第1画素点の画素値と前記第1平均値に対して差分処理を行い、差と前記第2平均値に対して加算処理を行い、第3参照画像を得ることと、を含み、
前記第1画素点は、前記第2参照画像におけるいずれか1つの画素点であることを特徴とする
請求項6に記載の方法。 - 前記第3参照画像及び前記ターゲット画像に対してフュージョン処理を行い、前記第3画像を得ることは、
前記第3参照画像における第2画素点の画素値と、前記ターゲット画像における、前記第2画素点に対応する画素点の画素値と、を加重加算処理し、前記第3画像を得ることであって、前記第2画素点は、前記第3参照画像におけるいずれか1つの画素点である、ことを含むことを特徴とする
請求項6に記載の方法。 - 前記ターゲット画像及び前記第1参照画像におけるターゲット対象の顔をフュージョンし、前記第3画像を得る前に、前記方法は、
前記第1参照画像に対して最適化処理を行うことであって、前記最適化処理は、前記第1参照画像におけるターゲット対象の顔に対して行われる、美肌処理、美白処理、色調補正処理のうちの少なくとも1つの処理を含む、ことを更に含み、
前記ターゲット画像及び前記第1参照画像に基づいて、第3画像を生成することは、
前記ターゲット画像及び最適化処理後の第1参照画像に基づいて、第3画像を生成することを含むことを特徴とする
請求項3に記載の方法。 - 前記第2変換関係に基づいて、前記第2画像におけるターゲット対象の顔に対して変形処理を行う前に、前記方法は、
前記第2画像におけるターゲット対象の鼻孔領域に対してガウスぼかし処理を行うことを更に含み、
前記第2変換関係に基づいて前記第2画像におけるターゲット対象の顔に対して変形処理を行うことは、前記第2変換関係に基づいて、ガウスぼかし処理後の第2画像におけるターゲット対象の顔に対して変形処理を行うことを含むことを特徴とする
請求項3に記載の方法。 - 前記第1画像におけるターゲット対象の顔キーポイントを検出し、第1キーポイント情報を得ることは、
顔キーポイント検出アルゴリズムに基づいて、前記第1画像を検出し、前記第1画像の顔領域に含まれる各器官のキーポイント情報及び前記顔領域の縁の輪郭キーポイント情報を得ることを含むことを特徴とする
請求項1に記載の方法。 - 前記顔領域の縁の輪郭キーポイント情報を得ることは、
前記顔領域における眼部以下の領域の第1組の輪郭キーポイント情報を得ることと、
前記顔領域における額領域に関わるキーポイント情報に基づいて、前記額領域の第2組の輪郭キーポイント情報を決定することと、
前記第1組の輪郭キーポイント情報及び前記第2組の輪郭キーポイント情報に基づいて、前記顔領域の縁の輪郭キーポイント情報を決定することと、を含むことを特徴とする
請求項11に記載の方法。 - 前記第1キーポイント情報及び前記第2キーポイント情報は、顔領域に関わる外縁キーポイント情報を更に含み、前記外縁キーポイント情報は、前記顔領域の縁の輪郭キーポイント情報に対応することを特徴とする
請求項11に記載の方法。 - 前記外縁キーポイント情報を決定することは、
前記顔領域の中心点を決定することと、
前記顔領域の縁の各輪郭キーポイントと前記中心点との距離を決定し、前記中心点に対する、各輪郭キーポイントの方向を決定することと、
第1輪郭キーポイントに対して、前記第1輪郭キーポイントに対応する方向に従って、顔領域の外部へ所定距離を延在させ、前記第1輪郭キーポイントに対応する外縁キーポイントを決定することであって、前記第1輪郭キーポイントは、前記顔領域の縁におけるいずれか1つの輪郭キーポイントである、こととを含むことを特徴とする
請求項13に記載の方法。 - 前記方法は、
前記第1画像と前記第2画像におけるターゲット対象の口部状態が異なっており、且つ前記第3画像におけるターゲット対象が開口状態である場合、歯テンプレート画像に基づいて、前記第3画像における前記ターゲット対象に対して歯追加操作を行い、第4画像を生成することを更に含むことを特徴とする
請求項1から14のうちいずれか一項に記載の方法。 - 前記方法は、前記第3画像又は前記第3画像に対して歯追加操作を行うことで得られた第4画像に対して画像スタイル変換処理を行い、第5画像を得ることを更に含むことを特徴とする
請求項1から15のうちいずれか一項に記載の方法。 - 画像処理装置であって、前記装置は、取得ユニットと、キーポイント検出ユニットと、フュージョン処理ユニットと、を備え、
前記取得ユニットは、第1画像及び第2画像を取得するように構成され、
前記キーポイント検出ユニットは、前記第1画像におけるターゲット対象の顔キーポイントを検出し、第1キーポイント情報を得て、前記第2画像におけるターゲット対象の顔キーポイントを検出し、第2キーポイント情報を得るように構成され、
前記フュージョン処理ユニットは、前記第1キーポイント情報及び前記第2キーポイント情報に基づいて変換関係を決定し、前記変換関係に基づいて、前記第1画像及び前記第2画像におけるターゲット対象の顔をフュージョンし、第3画像を得るように構成される、画像処理装置。 - 前記フュージョン処理ユニットは、前記第1キーポイント情報及び前記第2キーポイント情報に基づいて、第1変換関係を決定し、前記第1変換関係に基づいて、前記第1画像におけるターゲット対象の顔に対して変形処理を行い、第1参照画像を得るように構成され、
前記キーポイント検出ユニットは更に、前記第1参照画像におけるターゲット対象の顔キーポイントを検出し、第3キーポイント情報を得るように構成され、
前記フュージョン処理ユニットは更に、前記第2キーポイント情報及び第3キーポイント情報に基づいて、第2変換関係を決定するように構成されることを特徴とする
請求項17に記載の装置。 - 前記フュージョン処理ユニットは、前記第2変換関係に基づいて、前記第2画像におけるターゲット対象の顔に対して変形処理を行い、ターゲット画像を得て、前記ターゲット画像及び前記第1参照画像におけるターゲット対象の顔をフュージョンし、第3画像を得るように構成されることを特徴とする
請求項18に記載の装置。 - 前記第2キーポイント情報及び前記第3キーポイント情報は、いずれもキーポイントの座標を含み、前記フュージョン処理ユニットは、前記第2キーポイントの座標及び前記第3キーポイントの座標に対して加重オーバーレイ処理を行い、第4キーポイント情報を得るように構成され、前記第4キーポイント情報に第4キーポイントの座標が含まれ、前記フュージョン処理ユニットは、前記第2キーポイントの座標及び前記第4キーポイントの座標に基づいて、前記第2変換関係を決定するように構成されることを特徴とする
請求項18に記載の装置。 - 前記フュージョン処理ユニットは、前記ターゲット画像におけるターゲット対象の顔キーポイントを検出し、第5キーポイント情報を得て、前記第3キーポイント情報及び前記第5キーポイント情報に基づいて、第3変換関係を決定し、前記第3変換関係に基づいて、前記第1参照画像におけるターゲット対象の顔に対して変形処理を行い、第2参照画像を得て、前記第2参照画像及び前記ターゲット画像に基づいて第3画像を得るように構成されることを特徴とする
請求項19に記載の装置。 - 前記フュージョン処理ユニットは、前記第2参照画像及び前記ターゲット画像に対してフュージョン処理を行い、第3参照画像を得て、前記第3参照画像及び前記ターゲット画像に対してフュージョン処理を行い、前記第3画像を得るように構成されることを特徴とする
請求項21に記載の装置。 - 前記フュージョン処理ユニットは、前記第2参照画像における画素点の画素値の第1平均値を決定し、前記ターゲット画像における画素点の画素値の第2平均値を決定し、前記第2参照画像における第1画素点の画素値と前記第1平均値に対して差分処理を行い、差と前記第2平均値に対して加算処理を行い、第3参照画像を得るように構成され、前記第1画素点は、前記第2参照画像におけるいずれか1つの画素点であることを特徴とする
請求項22に記載の装置。 - 前記フュージョン処理ユニットは、前記第3参照画像における第2画素点の画素値と、前記ターゲット画像における、前記第2画素点に対応する画素点の画素値と、を加重加算処理し、前記第3画像を得るように構成され、前記第2画素点は、前記第3参照画像におけるいずれか1つの画素点であることを特徴とする
請求項22に記載の装置。 - 前記フュージョン処理ユニットは、前記ターゲット画像及び前記第1参照画像におけるターゲット対象の顔をフュージョンし、前記第3画像を得る前に、前記第1参照画像に対して最適化処理を行うように構成され、前記最適化処理は、前記第1参照画像におけるターゲット対象の顔に対して行われる、美肌処理、美白処理、色調補正処理のうちの少なくとも1つの処理を含み、前記フュージョン処理ユニットは更に、前記ターゲット画像及び最適化処理後の第1参照画像に基づいて、第3画像を生成するように構成されることを特徴とする
請求項19に記載の装置。 - 前記フュージョン処理ユニットは、前記第2変換関係に基づいて、前記第2画像におけるターゲット対象の顔に対して変形処理を行う前に、前記第2画像におけるターゲット対象の鼻孔領域に対してガウスぼかし処理を行うように構成され、前記フュージョン処理ユニットは更に、前記第2変換関係に基づいて、ガウスぼかし処理後の第2画像におけるターゲット対象の顔に対して変形処理を行うように構成されることを特徴とする
請求項19に記載の装置。 - 前記キーポイント検出ユニットは、顔キーポイント検出アルゴリズムに基づいて、前記第1画像を検出し、前記第1画像の顔領域に含まれる各器官のキーポイント情報及び前記顔領域の縁の輪郭キーポイント情報を得るように構成されることを特徴とする
請求項17に記載の装置。 - 前記キーポイント検出ユニットは、前記顔領域における眼部以下の領域の第1組の輪郭キーポイント情報を得て、前記顔領域における額領域に関わるキーポイント情報に基づいて、前記額領域の第2組の輪郭キーポイント情報を決定し、前記第1組の輪郭キーポイント情報及び前記第2組の輪郭キーポイント情報に基づいて、前記顔領域の縁の輪郭キーポイント情報を決定するように構成されることを特徴とする
請求項27に記載の装置。 - 前記第1キーポイント情報及び前記第2キーポイント情報は、顔領域に関わる外縁キーポイント情報を更に含み、前記外縁キーポイント情報は、前記顔領域の縁の輪郭キーポイント情報に対応することを特徴とする
請求項27に記載の装置。 - 前記キーポイント検出ユニットは更に、前記顔領域の中心点を決定し、前記顔領域の縁の各輪郭キーポイントと前記中心点との距離を決定し、前記中心点に対する、各輪郭キーポイントの方向を決定し、第1輪郭キーポイントに対して、前記第1輪郭キーポイントに対応する方向に従って、顔領域の外部へ所定距離を延在させ、前記第1輪郭キーポイントに対応する外縁キーポイントを決定するように構成され、前記第1輪郭キーポイントは、前記顔領域の縁におけるいずれか1つの輪郭キーポイントであることを特徴とする
請求項29に記載の装置。 - 前記装置は、前記第1画像と前記第2画像におけるターゲット対象の口部状態が異なっており、且つ前記第3画像におけるターゲット対象が開口状態である場合、歯テンプレート画像に基づいて、前記第3画像における前記ターゲット対象に対して歯追加操作を行い、第4画像を生成するように構成される画像処理ユニットを更に備えることを特徴とする
請求項17から30のうちいずれか一項に記載の装置。 - 前記装置は、前記第3画像又は前記第3画像に対して歯追加操作を行うことで得られた第4画像に対して画像スタイル変換処理を行い、第5画像を得るように構成される画像スタイル変換処理ユニットを更に備えることを特徴とする
請求項17から31のうちいずれか一項に記載の装置。 - コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、該プログラムがプロセッサにより実行される時、請求項1から16のうちいずれか一項に記載の方法のステップを実現させる、コンピュータ可読記憶媒体。
- 電子機器であって、前記電子機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサでの実行可能なコンピュータプログラムと、を備え、前記プロセッサが前記プログラムを実行する時、請求項1から16のうちいずれか一項に記載の方法のステップを実現させる、電子機器。
- プロセッサであって、前記プロセッサは、コンピュータプログラムを呼び出すように構成され、前記プロセッサは、前記プログラムを実行する時、請求項1から16のうちいずれか一項に記載の方法のステップを実現させる、プロセッサ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910944389.8A CN110728620A (zh) | 2019-09-30 | 2019-09-30 | 一种图像处理方法、装置和电子设备 |
CN201910944389.8 | 2019-09-30 | ||
PCT/CN2020/087498 WO2021062998A1 (zh) | 2019-09-30 | 2020-04-28 | 一种图像处理方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022507998A true JP2022507998A (ja) | 2022-01-19 |
JP7102554B2 JP7102554B2 (ja) | 2022-07-19 |
Family
ID=75275163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020566648A Active JP7102554B2 (ja) | 2019-09-30 | 2020-04-28 | 画像処理方法、装置及び電子機器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11461870B2 (ja) |
EP (1) | EP3971820A4 (ja) |
JP (1) | JP7102554B2 (ja) |
KR (1) | KR102391087B1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113111791B (zh) * | 2021-04-16 | 2024-04-09 | 深圳市格灵人工智能与机器人研究院有限公司 | 图像滤镜转换网络训练方法、计算机可读存储介质 |
CN113706428B (zh) * | 2021-07-02 | 2024-01-05 | 杭州海康威视数字技术股份有限公司 | 一种图像生成方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013171470A (ja) * | 2012-02-21 | 2013-09-02 | Kao Corp | 顔画像合成装置及び顔画像合成方法 |
US20180068178A1 (en) * | 2016-09-05 | 2018-03-08 | Max-Planck-Gesellschaft Zur Förderung D. Wissenschaften E.V. | Real-time Expression Transfer for Facial Reenactment |
US20180204052A1 (en) * | 2015-08-28 | 2018-07-19 | Baidu Online Network Technology (Beijing) Co., Ltd. | A method and apparatus for human face image processing |
JP2019053706A (ja) * | 2017-09-18 | 2019-04-04 | 麗寶大數據股▲フン▼有限公司 | 身体情報分析装置および顔形診断方法 |
WO2019133266A1 (en) * | 2017-12-29 | 2019-07-04 | Microsoft Technology Licensing, Llc | Image transformation by fusion |
US20190251684A1 (en) * | 2018-02-09 | 2019-08-15 | Samsung Electronics Co., Ltd. | Method and apparatus with image fusion |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2355789A (en) | 1999-10-26 | 2001-05-02 | Tricorder Technology Plc | Surface registration |
EP1818869A1 (en) * | 2004-11-25 | 2007-08-15 | NEC Corporation | Face image synthesis method and face image synthesis device |
KR20070068501A (ko) * | 2005-12-27 | 2007-07-02 | 박현 | 2차원 칼라 얼굴 영상에서 반복적인 주성분분석 재구성을이용한 자동적인 잡음 제거 |
KR101605769B1 (ko) * | 2009-05-11 | 2016-03-23 | 삼성전자주식회사 | 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치 |
KR101089287B1 (ko) | 2010-06-09 | 2011-12-05 | 한국과학기술원 | 다중 얼굴 특징 정보 융합 기반 자동 얼굴 인식 장치 및 방법 |
CN103324904A (zh) | 2012-03-20 | 2013-09-25 | 凹凸电子(武汉)有限公司 | 人脸识别系统及其方法 |
US9104908B1 (en) * | 2012-05-22 | 2015-08-11 | Image Metrics Limited | Building systems for adaptive tracking of facial features across individuals and groups |
TWM474207U (zh) | 2013-07-11 | 2014-03-11 | Imar Technology Co Ltd | 行動商務身份證實之圖像辨識服務系統 |
KR20150039028A (ko) * | 2013-10-01 | 2015-04-09 | 주식회사 이우소프트 | 치아교정 시뮬레이션 방법 및 이를 수행하는 시스템 |
CN103745237A (zh) | 2013-12-26 | 2014-04-23 | 暨南大学 | 光照变化条件下的人脸识别算法 |
US9940695B2 (en) | 2016-08-26 | 2018-04-10 | Multimedia Image Solution Limited | Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation |
CN111066060B (zh) | 2017-07-13 | 2024-08-02 | 资生堂株式会社 | 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪 |
US10733699B2 (en) * | 2017-10-24 | 2020-08-04 | Deep North, Inc. | Face replacement and alignment |
CN107993216B (zh) * | 2017-11-22 | 2022-12-20 | 腾讯科技(深圳)有限公司 | 一种图像融合方法及其设备、存储介质、终端 |
CN109872379B (zh) * | 2017-12-05 | 2022-12-02 | 富士通株式会社 | 数据处理装置和方法 |
CN108229330A (zh) | 2017-12-07 | 2018-06-29 | 深圳市商汤科技有限公司 | 人脸融合识别方法及装置、电子设备和存储介质 |
CN108537135A (zh) | 2018-03-16 | 2018-09-14 | 北京市商汤科技开发有限公司 | 对象识别及对象识别网络的训练方法和装置、电子设备 |
CN108985241B (zh) * | 2018-07-23 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN109147012B (zh) | 2018-09-20 | 2023-04-14 | 麒麟合盛网络技术股份有限公司 | 图像处理方法和装置 |
CN109712080A (zh) | 2018-10-12 | 2019-05-03 | 迈格威科技有限公司 | 图像处理方法、图像处理装置及存储介质 |
CN109598749B (zh) * | 2018-11-30 | 2023-03-10 | 腾讯科技(深圳)有限公司 | 一种三维人脸模型的参数配置方法、装置、设备及介质 |
CN109657583B (zh) * | 2018-12-10 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 脸部关键点检测方法、装置、计算机设备和存储介质 |
CN109801249A (zh) | 2018-12-27 | 2019-05-24 | 深圳豪客互联网有限公司 | 图像融合方法、装置、计算机设备和存储介质 |
CN109934766B (zh) * | 2019-03-06 | 2021-11-30 | 北京市商汤科技开发有限公司 | 一种图像处理方法及装置 |
CN110163832B (zh) | 2019-05-24 | 2021-06-08 | 北京百度网讯科技有限公司 | 人脸融合方法、装置和终端 |
CN110399849B (zh) * | 2019-07-30 | 2021-07-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
CN110443230A (zh) | 2019-08-21 | 2019-11-12 | 北京百度网讯科技有限公司 | 人脸融合方法、装置以及电子设备 |
CN110728620A (zh) | 2019-09-30 | 2020-01-24 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和电子设备 |
JP2021077376A (ja) * | 2019-11-07 | 2021-05-20 | ハイパーコネクト インコーポレイテッド | 画像変換装置及び方法、並びにコンピュータ読み取り可能な記録媒体 |
-
2020
- 2020-04-28 JP JP2020566648A patent/JP7102554B2/ja active Active
- 2020-04-28 KR KR1020207033809A patent/KR102391087B1/ko active IP Right Grant
- 2020-04-28 EP EP20873322.0A patent/EP3971820A4/en not_active Withdrawn
- 2020-11-27 US US17/105,716 patent/US11461870B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013171470A (ja) * | 2012-02-21 | 2013-09-02 | Kao Corp | 顔画像合成装置及び顔画像合成方法 |
US20180204052A1 (en) * | 2015-08-28 | 2018-07-19 | Baidu Online Network Technology (Beijing) Co., Ltd. | A method and apparatus for human face image processing |
US20180068178A1 (en) * | 2016-09-05 | 2018-03-08 | Max-Planck-Gesellschaft Zur Förderung D. Wissenschaften E.V. | Real-time Expression Transfer for Facial Reenactment |
JP2019053706A (ja) * | 2017-09-18 | 2019-04-04 | 麗寶大數據股▲フン▼有限公司 | 身体情報分析装置および顔形診断方法 |
WO2019133266A1 (en) * | 2017-12-29 | 2019-07-04 | Microsoft Technology Licensing, Llc | Image transformation by fusion |
US20190251684A1 (en) * | 2018-02-09 | 2019-08-15 | Samsung Electronics Co., Ltd. | Method and apparatus with image fusion |
Also Published As
Publication number | Publication date |
---|---|
EP3971820A1 (en) | 2022-03-23 |
US11461870B2 (en) | 2022-10-04 |
JP7102554B2 (ja) | 2022-07-19 |
EP3971820A4 (en) | 2022-08-10 |
KR20210041534A (ko) | 2021-04-15 |
US20210104012A1 (en) | 2021-04-08 |
KR102391087B1 (ko) | 2022-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021062998A1 (zh) | 一种图像处理方法、装置和电子设备 | |
US11055906B2 (en) | Method, device and computing device of face image fusion | |
JP7160925B2 (ja) | 画像処理方法及び装置 | |
US11250241B2 (en) | Face image processing methods and apparatuses, and electronic devices | |
US11043011B2 (en) | Image processing method, apparatus, terminal, and storage medium for fusing images of two objects | |
US11221504B2 (en) | Method, device, and computer program for the virtual fitting of a spectacle frame | |
JP7102554B2 (ja) | 画像処理方法、装置及び電子機器 | |
WO2020001013A1 (zh) | 图像处理方法、装置、计算机可读存储介质和终端 | |
CN108961175B (zh) | 人脸亮度调整方法、装置、计算机设备及存储介质 | |
CN109961496B (zh) | 表情驱动方法及表情驱动装置 | |
JP2011107877A5 (ja) | ||
JP5644773B2 (ja) | 顔画像を照合する装置および方法 | |
CN110084219B (zh) | 界面交互方法及装置 | |
TW202036467A (zh) | 影像處理方法及裝置、圖像設備及儲存媒介 | |
WO2021169736A1 (zh) | 美颜处理方法及装置 | |
CN105405157A (zh) | 肖像画生成装置、肖像画生成方法 | |
JP7138769B2 (ja) | 画像処理方法、装置及びコンピュータ記憶媒体 | |
WO2021196718A1 (zh) | 关键点检测的方法和装置、电子设备、存储介质及计算机程序 | |
WO2024140081A1 (zh) | 脸部图像处理方法、装置、计算机设备及存储介质 | |
CN113658035A (zh) | 脸部变换方法、装置、设备、存储介质以及产品 | |
CN110119674B (zh) | 一种作弊检测的方法、装置、计算设备及计算机存储介质 | |
JP7564307B2 (ja) | 学習装置、学習方法、学習プログラム | |
Chou et al. | Simulation of face/hairstyle swapping in photographs with skin texture synthesis | |
CN113421197A (zh) | 一种美颜图像的处理方法及其处理系统 | |
KR20230126635A (ko) | 이미지를 이용한 얼굴 분위기 진단 플랫폼 제공 방법, 장치 및 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7102554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |