CN112001859B - 一种人脸图像的修复方法及系统 - Google Patents
一种人脸图像的修复方法及系统 Download PDFInfo
- Publication number
- CN112001859B CN112001859B CN202010794408.6A CN202010794408A CN112001859B CN 112001859 B CN112001859 B CN 112001859B CN 202010794408 A CN202010794408 A CN 202010794408A CN 112001859 B CN112001859 B CN 112001859B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- face image
- dimensional face
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 51
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 33
- 230000000873 masking effect Effects 0.000 claims description 13
- 230000008439 repair process Effects 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 208000032443 Masked facies Diseases 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 208000006440 Open Bite Diseases 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种人脸图像的修复方法及系统，本发明实施例采用密集关键点定位技术对二维人脸图像进行三维人脸重建，并通过转正算法，渲染得到转正后的人脸图像；采用关键点热图回归的方式对二维人脸图像进行关键点遮挡判断，并对转正后的人脸进行掩码处理；最后利用对抗边缘修复模型恢复出被遮挡的人脸区域，最终获得转正修复后的正面人脸。
Description
技术领域
本发明涉及图像处理技术，特别涉及一种人脸图像的修复方法及系统。
背景技术
人脸识别和三维人脸重建技术是计算机视觉领域两大研究重点，其中人脸识别是在二维层面上对人脸进行识别，而三维人脸重建则是在三维层面上对人脸进行建模，两者之间既存在相同之处，又有其独有的特点。
目前，人脸识别技术已经应用于各种实际场景，并取得了不错的实际效果。但是多数人脸识别算法是面向无遮挡人脸的，当遇到姿态变化太大的人脸或遮挡人脸时，则人脸识别算法会受到严重影响。因而，在实际应用中，当遇到上述问题时，人脸识别算法会选择删除问题的人脸图像，只保留高质量的正面人脸图像来识别其中的人脸。这种处理模式严重依赖于所应用的姿态判断算法及遮挡判断算法的优劣，同时直接删除问题的人脸图像，难免会造成人脸整体识别性能不准确的问题。
发明内容
有鉴于此，本发明实施例提供了一种人脸图像的修复方法及系统，能够将人脸图像中的人脸进行转正及遮挡人脸进行修复。
本发明实施例提供了一种人脸图像的修复方法，包括：
采用三维人脸建模方式对二维人脸图像进行三维人脸重建，得到重建的三维人脸；
将重建的三维人脸转正，渲染后得到转正后的人脸图像；
采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断，根据得到的关键点遮挡判断结果，对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像；
将得到的掩码后的转正人脸图像及掩码图像输入到训练得到的对抗边缘模型edgeconnect中，得到修复后的人脸图像。
较佳地，所述采用三维人脸建模方式对二维人脸图像进行三维人脸重建包括：
采用UV position Map方式对二维人脸图像中的密集关键点进行定位后，采用密集关键点的三维坐标及其相应的在二维人脸图像中的像素值，得到重建的三维人脸的纹理贴图，将纹理贴图与三维人脸模型进行贴合，得到重建的三维人脸。
较佳地，所述将重建的三维人脸进行转正包括：
判断所述重建的三维人脸的姿态是否在设定的偏航阈值内，如果是，利用三维人脸重建方式获得重建的三维人脸的顶点坐标，根据计算得到的人脸旋转矩阵将重建的三维人脸转正；如果否，则不进行处理。
较佳地，所述采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断包括：
在二维人脸图像中选取设定个数的关键点，通过遮挡判断模型进行关键点热图的预测概率计算，当关键点热图的预测概率小于设置的经验阈值时，判断所选定的关键点被遮挡；
所述遮挡判断模型的关键点热图的定位损失函数函数采用
其中，i为第i个关键点，为预测的第i个关键点热图，Yi为第i个关键点的热图标签，/>为预测的关键点背景热图，Ybg为关键点背景热图标签，visi设置为1，代表第i个关键点可见，visi为0时，代表第i个关键点被遮挡，γ是第一权重值，设置为3，α是第二权重值，设置为1.5。
较佳地，所述对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像包括：
判断二维人脸图像的姿态是否在设置的第二偏航阈值以内，如果是，则对判定的遮挡关键点进行掩码处理，得到掩码后的转正人脸图像及掩码图像，如果否，则对转正的人脸图像进行半边脸遮码，得到掩码后的转正人脸图像及掩码图像。
较佳地，所述训练得到的edgeconnect包括边缘修复模型和图像修复模型，其中边缘修复模型根据掩码后的转正人脸图像的可见区域的边缘信息，修复掩码后的转正人脸图像的掩码处的边缘；图像修复模型根据补全边缘的图像作为先知信息，修补掩码后的转正人脸图像中的剩余掩码图像。
一种人脸图像的修复系统，包括：三维人脸重建模块、转正模块、遮挡判断模块和图像修复模块，其中，
三维人脸重建模块，用于采用三维人脸建模方式对二维人脸图像进行三维人脸重建，得到重建的三维人脸；
转正模块，用于将得到的三维人脸转正，渲染后得到转正后的人脸图像；
遮挡判断模块，用于采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断，根据得到的关键点遮挡判断结果对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像；
图像修复模块，用于将得到的掩码后的转正人脸图像及掩码图像输入到训练得到的edgeconnect中，得到修复后的人脸图像。
较佳地，所述三维人脸重建模块，还用于采用UV position Map方式对二维人脸图像中的密集关键点进行定位后，采用密集关键点的三维坐标及其相应的在二维人脸图像中的像素值，得到重建的三维人脸的纹理贴图，将纹理贴图与三维人脸模型进行贴合，得到重建的三维人脸；
所述转正模块，还用于判断所述重建的三维人脸的姿态是否在设定的偏航阈值内，如果是，利用三维人脸重建方式获得重建的三维人脸的顶点坐标，根据计算得到的人脸旋转矩阵将重建的三维人脸转正；如果否，则不进行处理。
较佳地，所述遮挡判断模块，还用于采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断包括：
在二维人脸图像中选取设定个数的关键点，通过遮挡判断模型进行关键点热图的预测概率计算，当关键点热图的预测概率小于设置的经验阈值时，判断所选定的关键点被遮挡；
所述遮挡判断模型的关键点热图的定位损失函数函数采用
其中，i为第i个关键点，为预测的第i个关键点热图，Yi为第i个关键点的热图标签，/>为预测的关键点背景热图，Ybg为关键点背景热图标签，visi设置为1，代表第i个关键点可见，visi为0时，代表第i个关键点被遮挡，γ是第一权重值，设置为3，α是第二权重值，设置为1.5。
还用于所述对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像包括：
判断二维人脸图像的姿态是否在设置的第二偏航阈值以内，如果是，则对判定的遮挡关键点进行掩码处理，得到掩码后的转正人脸图像及掩码图像，如果否，则对转正的人脸图像进行半边脸遮码，得到掩码后的转正人脸图像及掩码图像。
较佳地，所述训练得到的edgeconnect包括边缘修复模型和图像修复模型，其中边缘修复模型根据掩码后的转正人脸图像的可见区域的边缘信息，修复掩码后的转正人脸图像的掩码处的边缘；图像修复模型根据补全边缘的图像作为先知信息，修补掩码后的转正人脸图像中的剩余掩码图像。
如上所见，本发明实施例通过三维人脸建模方式将二维人脸图像三维建模得到重建的三维人脸，对重建的三维人脸转正后，渲染得到转正后的人脸图像，同时对二维人脸图像采用训练得到的遮挡判断模型进行遮挡信息的判断及获取；最后，基于遮挡信息对转正后的人脸图像进行修复。这样，本发明实施例提供的修复方法及系统就可以将人脸图像中的人脸进行转正及遮挡人脸进行修复。
附图说明
图1为本发明实施例提供的人脸图像的修复方法流程图；
图2为本发明实施例提供的人脸图像的修复系统结构示意图；
图3为本发明实施例提供的人脸图像的修复方法实施例示意图；
图4为本发明实施例提供的不同姿态示意图；
图5为本发明实施例提供的遮挡图像示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
本发明实施例为了将人脸图像中的人脸进行转正及遮挡人脸进行修复，通过三维人脸建模方式将二维人脸图像三维建模得到重建的三维人脸，对重建的三维人脸转正后，渲染得到转正后的人脸图像，同时对二维人脸图像采用训练得到的遮挡判断模型进行遮挡信息的判断及获取；最后，基于遮挡信息对转正后的人脸图像进行修复。
本发明实施例充分考虑到实际测试场景需要，针对人脸识别任务中存在的姿态较大和遮挡难点问题进行处理，提出利用三维人脸建模方式来辅助二维人脸图像进行人脸识别，改善人脸识别准确率。
本发明实施例主要利用三维人脸建模、遮挡判断及图像修复等方式对二维人脸图像进行处理，从而最终获得二维人脸图像的转正修复效果图。从而后续通过控制人脸识别系统的输入二维人脸图像质量，可有效地提高人脸的检测和识别性能，使人脸识别系统能更广泛地投入实际应用中。
图1为本发明实施例提供的人脸图像的修复方法流程图，其具体步骤包括：
步骤101、采用三维人脸建模方式对二维人脸图像进行三维人脸重建，得到重建的三维人脸；
步骤102、将重建的三维人脸转正，渲染后得到转正后的人脸图像；
步骤103、采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断，根据得到的关键点遮挡判断结果，对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像；
步骤104、将得到的掩码后的转正人脸图像及掩码图像输入到训练得到的对抗边缘模型(edgeconnect)中，得到修复后的人脸图像。
在该方法中，所述采用三维人脸建模方式对二维人脸图像进行三维人脸重建包括：
采用UV position Map方式对二维人脸图像中的密集关键点进行定位后，采用密集关键点的三维坐标及其相应的在二维人脸图像中的像素值，得到重建的三维人脸的纹理贴图，将纹理贴图与三维人脸模型进行贴合，得到重建的三维人脸。
在该方法中，所述将重建的三维人脸进行转正包括：
判断所述重建的三维人脸的姿态是否在设定的偏航阈值内，如果是，利用三维人脸重建方式获得重建的三维人脸的顶点坐标，根据计算得到的人脸旋转矩阵将重建的三维人脸转正；如果否，则不进行处理。在这里，所述偏航阈值为姿态左右偏航在50°以内同时俯仰姿态在25°以内。
在该方法中，所述采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断包括：
在二维人脸图像中选取设定个数的关键点，通过遮挡判断模型进行关键点热图的预测概率计算，当关键点热图的预测概率小于设置的经验阈值时，判断所选定的关键点被遮挡；
所述遮挡判断模型的关键点热图的定位损失函数函数采用
其中，i为第i个关键点，为预测的第i个关键点热图，Yi为第i个关键点的热图标签，/>为预测的关键点背景热图，Ybg为关键点背景热图标签，visi设置为1，代表第i个关键点可见，visi为0时，代表第i个关键点被遮挡，γ是第一权重值，设置为3，α是第二权重值，设置为1.5。
在该方法中，所述对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像包括：
判断二维人脸图像的姿态是否在设置的第二偏航阈值以内，如果是，则对判定的遮挡关键点进行掩码处理，得到掩码后的转正人脸图像及掩码图像，如果否，则对转正的人脸图像进行半边脸遮码，得到掩码后的转正人脸图像及掩码图像。在这里，第二偏航阈值设置为偏航22°。
在该方法中，所述训练得到的edgeconnect包括边缘修复模型和图像修复模型，其中边缘修复模型根据掩码后的转正人脸图像的可见区域的边缘信息，修复掩码后的转正人脸图像的掩码处的边缘；图像修复模型根据补全边缘的图像作为先知信息，修补掩码后的转正人脸图像中的剩余掩码图像。
可以看出，在本发明实施例中，人脸图像的修复方法主要是基于深度学习方法，对人脸图像中的人脸左右侧转过大和遮挡人脸区域进行处理，最终获得其中的问题图像对应的正面完整的人脸图像，以此保证人脸识别的准确率。
图2为本发明实施例提供的人脸图像的修复系统结构示意图，包括：三维人脸重建模块、转正模块、遮挡判断模块和图像修复模块，其中，
三维人脸重建模块，用于采用三维人脸建模方式对二维人脸图像进行三维人脸重建，得到重建的三维人脸；
转正模块，用于将得到的三维人脸转正，渲染后得到转正后的人脸图像；
遮挡判断模块，用于采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断，根据得到的关键点遮挡判断结果对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像；
图像修复模块，用于将得到的掩码后的转正人脸图像及掩码图像输入到训练得到的edgeconnect中，得到修复后的人脸图像。
在该系统中，所述三维人脸重建模块实现过程如下所述。
当输入一幅测试用的人脸图像后，对其进行三维人脸重建。由于三维人脸重建技术容易受到使用的三维人脸模板库的限制，导致人脸几何结构易被限制在模板的形状空间之中，因而，本发明实施例为简化三维人脸重建任务的复杂度，将人脸重建任务转化为密集关键点的定位任务，来重建二维人脸图像对应的三维人脸模型。
关键点的定位任务一般可通过关键点直接回归和关键点热图回归这两种方式获得，但对于密集关键点来说，若直接使用上述两种定位方式，容易出现算法复杂度较高以及定位不准的情况，因而，本发明实施例采用UV position Map方式来完成密集关键点的定位，通过编码和解码网络结构预测人脸图像对应的UV position Map，以此实现通过端到端的方式，预测出密集关键点的三维坐标值的目标。随后即可利用密集关键点的三维坐标及其相应的原始二维人脸图像像素值，获得重建人脸的纹理贴图。将纹理贴图与三维人脸模型进行贴合，最终完成对二维人图像的三维人脸重建。
在该系统中，所述转正模块实现过程如下。
对三维人脸模型进行姿态状态判断，当三维人脸模型的姿态状态在设置的偏航阈值时，比如姿态左右偏航在50°以内同时俯仰姿态在25°以内时，则利用三维人脸重建方式获得三维人脸模型的顶点坐标，计算人脸旋转矩阵，利用人脸旋转矩阵将重建的三维人脸转正，并渲染转正后的人脸图像；若相反，则不继续处理。
在该系统中，所述遮挡判断模块实现如下。
在三维人脸模型转正处理的同时，对原始的二维人脸图像进行关键点遮挡判断。通过人脸的14个关键点坐标位置，利用各关键点的检测概率来判断二维人脸图像各部位的遮挡情况，本发明实施例取关键点遮挡容忍度为经验值8，若判断的遮挡关键点小于8个，则继续进行，若相反则不继续处理。
为了简化实现，本发明实施例采用人脸关键点的定位任务实现二维人脸图像的关键点遮挡判断。为了能够通过关键点热图的预测概率判断该关键点是否被遮挡，在训练过程中，本发明实施例将遮挡的关键点热图置为空值，即不给遮挡判断模型输入遮挡关键点的坐标标签，仅提供未遮挡关键点坐标标签。
在训练遮挡判断模型时，训练样本中的遮挡关键点和未遮挡关键点存在样本不均的情况，该现象容易导致关键点的检测精度不准，为解决该问题，本发明实施例在现有损失函数基础上，提出一种改进算法，通过增加小样本的训练权重，使得遮挡判断模型在训练时可以更专注于样本较少的关键点，以获得更为准确的关键点预测概率。
在遮挡判断模型中，关键点热图的定位损失函数一般采用L2 loss，其计算公式如下：
其中，i为第i个关键点，设置二维人脸图像上共N＝14个关键点，为预测的第i个关键点热图，Yi为第i个关键点的标签热图，/>为预测的关键点背景热图，Ybg为关键点背景热图标签。从公式中可看出，在训练过程中，对于遮挡关键点和未遮挡关键点的更新权重是一样的，因而不能避免样本失衡对模型带来的负面影响。
本发明所提的损失函数如下：
其中当visi＝1的时候，代表第i个关键点可见，当visi＝0的时候，代表第i个关键点被遮挡。通过在遮挡关键点热图和关键点背景热图损失值处添加权重γ和α(在本发明实施例中，γ取经验值3，α取1.5)，使得遮挡判断模型可以有重点的训练遮挡关键点热图和关键点背景热图，以此来降低样本失衡对模型带来的影响。
本发明实施例取经验阈值(0.4)，当检测概率小于经验阈值时，即可判断该关键点被遮挡。
当测试的二维人脸图像的姿态左右偏航在22°以内，则利用关键点遮挡判断结果对转正的三维图像模型进行遮挡掩码处理，即关键点被物体遮挡了，则在转正的人脸图像上对该关键点进行掩码，以获得相应掩码后的转正人脸图像及掩码图像，掩码大小为60×80的矩形，保证掩码图像能将遮挡部位尽量掩盖；而若左右姿态较大，在22°-50°之间，则对转正人脸图像进行半边脸掩码，即对被遮挡住的人脸(侧脸)进行掩码，同样获得掩码后的转正人脸图像和掩码图像，以供后续图像修复。
在本系统中，所述图像修复模块的实现过程如下。
图像修复主要是基于图像的已有信息，来还原图像中缺失部分的技术。因此，当获得掩码图像和被掩码的人脸图像后，即可利用图像修复方法对该掩码人脸图像进行修复，以此获得转正修复后的正面人脸。
针对图像修复结果容易出现过渡平滑和模糊的情况，本发明实施例为更好的再现图像掩码区域，提出使用对抗边缘模型(edgeconnect)进行图像修复，该方式是一个二阶对抗模型，包含边缘修复模型和图像修复模型两种。其中边缘修复模型可根据图像的可见区域的边缘信息，来修复图像缺失部分的边缘，为图像掩码处的边缘补齐；而紧接着的图像修复模型，可根据补全了的边缘图像作为先验知识来修补缺失部分，以此获得更为准确的修复图像。
图3为本发明实施例提供的人脸图像的修复方法实施例示意图，结合图4所示的本发明实施例提供的不同姿态示意图，及图5所示的本发明实施例提供的遮挡图像示意图，进行详细说明。
步骤301、输入二维人脸图像。
步骤302、对二维人脸图像进行三维人脸重建，得到重建后的三维人脸。
在本步骤中，进行三维人脸重建的过程如下：
由于三维人脸重建技术容易受到三维人脸模板库的限制，导致人脸几何结构易被限制在模板的形状空间之中，因而，本发明实施例为简化三维人脸重建任务的复杂度，将人脸重建任务转化为密集关键点的定位任务。关键点定位任务一般可通过关键点直接回归和关键点热图回归这两种技术获得，但对于密集关键点来说，若直接使用上述两种定位技术，容易出现算法复杂度较高以及定位不准的情况，因而，在这里，采用UV position Map技术来完成密集关键点的定位。UV position Map中保存的是密集关键点的3D坐标值，有x、y和z3个通道，分别存储的人脸各部位关键点的x、y和z值。因而通过预测图像对应的UVposition Map，即可完成密集关键点的3D坐标定位任务。
本发明实施例的三维人脸重建网络结构遵循编码和解码结构，其输入为256×256×3的RGB人脸彩色图像，输出为256×256×3的预测UV position Map，可通过端到端的方式预测出密集关键点的三维坐标值。同时利用关键点的三维坐标及其相应的原始图像像素值，即可获得重建人脸的纹理图。将纹理贴图与三维人脸模型进行贴合，最终完成对二维人脸图像的三维人脸重建。
步骤303、对重建后的三维人脸进行姿态判断，判断姿态是否在设定的偏航阈值范围内，如果是，对三维人脸转正及渲染，得到转正后的人脸图像，继续执行步骤304；如果否，则结束判断步骤。
在该步骤中，利用重建结果进行姿态状态判断，若姿态左右偏航在50°以内同时俯仰姿态在25°以内，则对此利用人脸重建结果进行人脸转正，获得转正图像。若相反，则不继续处理。
进行人脸转正包括：利用三维人脸重建的密集关键点三维坐标来求取相机的旋转矩阵，基于该旋转矩阵，即可将重建的三维人脸转到正面相机坐标系下。通过渲染算法将转正的三维人脸进行渲染，从而可获得转正后的人脸图像，该转正后的人脸是二维的。
步骤304、对原始的二维人脸图像进行关键点遮挡判断。
该步骤可以与人脸转正进行同时处理。
步骤305、判断二维人脸图像的遮挡关键点超过设置的个数，如果是，则结束；如果否，则继续执行步骤306。
在本步骤中，通过定位人脸的14个关键点坐标位置，利用各关键点的检测概率来判断二维人脸图像各部位的遮挡情况，本发明实施例取关键点遮挡容忍度为经验值8，若判断出遮挡的关键点小于8个，则继续进行，若相反则不继续处理。
在本步骤中，进行遮挡关键点的判断具体如下：
本发明实施例将人脸遮挡判断创新式的转为了对人脸图像的关键点的定位任务。其中对于稀疏关键点定位任务，预测关键点热图相比于直接回归关键点坐标的方法，拥有更多的空间泛化能力，准确率更高，因而本发明实施例采用预测关键点热图的方式来预测关键点坐标位置。为能通过关键点热图的预测概率就能判断该关键点是否被遮挡，在训练过程中，本发明实施例将遮挡的关键点热图置为空值，即不给遮挡判断模型输入遮挡关键点的坐标标签，仅提供未遮挡关键点坐标标签。
为获得更为准确的关键点定位结果，本发明实施例采用级联的网络结构来精细化热图预测结果。其网络结构基于关键点定位的经典网络卷积姿态机(Convolutional PoseMachine,CPM)搭建而成，并通过级联的4个stage网络结构来精细化人脸14个关键点的热图预测结果。由于网络具有很强的学习能力，即使在训练过程中，并未提供遮挡关键点的坐标位置，在测试时，模型仍能对遮挡关键点位置做出预测，其检测概率一般要低于正常关键点，因而可利用各关键点的热图回归概率来判断人脸各部位的遮挡情况。
但是在实际环境下，人脸遮挡图像一般仅遮挡了某几个关键点，很少有全部关键点都被遮挡的情况，这个现象导致了未遮挡关键点和遮挡关键点的训练样本量不一致(未遮挡关键点远多于遮挡关键点)。因此，在遮挡判断模型的网络强大学习能力背景下，该训练样本失衡的问题，导致网络模型的整体学习方向极易向检测全脸关键点任务偏移，即遮挡关键点的检测概率会大幅增加，甚至与未遮挡关键点检测概率相当，进而导致该遮挡判断算法失效。因此，为解决上述问题，本发明实施例在现有损失函数基础上，提出一种改进算法，通过增加小样本的训练权重，使网络可以更专注于样本较少的关键点，以获得更为准确的关键点预测概率。
遮挡判断模型中的关键点热图的定位损失函数一般采用L2 loss，其计算公式如下：
其中，i为第i个关键点，人脸图像上共N＝14关键点，为预测的第i个关键点热图，Yi为第i个关键点的标签热图，/>为预测的关键点背景热图，Ybg为关键点背景标签热图。从公式中可看出，在训练过程中，对于遮挡关键点和未遮挡关键点的更新权重是一样的，因而不能避免样本失衡对模型带来的负面影响。
本发明实施例提供的的损失函数如下
其中当visi＝1的时候，代表第i个关键点可见，当visi＝0的时候，代表第i个关键点被遮挡。通过在遮挡关键点热图和关键点背景热图损失值处添加权重γ和α(在本发明实施例中，γ取经验值3，α取1.5)，使得网络可以有重点的训练遮挡关键点热图和关键点背景热图，以此来降低样本失衡对模型带来的影响。
本发明取经验阈值(0.4)，当检测概率小于经验阈值时，即可判断该关键点被遮挡。其中14个关键点共包含4个脸颊轮廓点及10个脸部主要关键点。
步骤306、判断二维人脸图像的姿态是否超过设置的第二偏航阈值，如果是，执行步骤307；如果否，执行步骤308。
在本步骤中，第二偏航阈值为22°。
步骤307、进行侧脸掩码过程，转入步骤309继续执行。
由于二维人脸图像的姿态有大有小，因而当人脸图像存在侧脸情况时，其被遮挡的侧脸部分对应的纹理是不准确的，即重建出来的人脸，侧脸对应的部位纹理是不合理的，因而本发明实施例提出采用图像修复方法进行修复。对于该部分图像，本发明实施例将左右偏航角度在22°到50°的侧脸图像，均进行侧脸掩码，即对被自遮挡的半边脸均做掩码，仅保留可见的半边脸。
步骤308、进行遮挡掩码过程，转入步骤309继续执行。
由于测试图像也会存在遮挡情况，因而本发明实施例将关键点遮挡容忍度设为8，即保证图像修复成功率的同时，提高图像遮挡处理率。当某个关键点被遮挡后，便可对该关键点进行图像掩码处理，掩码大小为60×80的矩形，以保证掩码mask能将遮挡部位掩盖。
步骤309、进行图像修复过程。
利用GAN对抗学习网络，将被掩码后的人脸图像进行修复，从而获得转正修复后的人脸正面图像。
图像修复主要是基于图像已有信息，来还原图像中缺失部分的技术。因此，当获得掩码图像和被掩码的人脸图像后，即可利用图像修复方法对该掩码人脸图像进行修复，以此获得转正修复后的正面人脸。
针对图像修复结果容易出现过渡平滑和模糊的情况，本发明实施例为更好的再现图像掩码区域，提出使用edgeconnect图像修复方法，该方法是一个二阶对抗模型，包含边缘修复模型和图像修复模型两种。其中边缘修复模型可根据图像的可见区域的边缘信息，来修复图像缺失部分的边缘，为图像掩码处的边缘补齐；而紧接着的图像修复模型，即可根据补全了的边缘图像作为先验知识来修补缺失部分，以此获得更为准确的修复图像。
本发明实施例可处理左右偏航姿态50°以下，俯仰姿态25°以内的侧脸图像，并且针对遮挡图像也可利用图像修复方法将遮挡部分抹除。该处理角度范围是本发明实施例在自建数据库上实验获得的经验值，在其他测试数据集上，其处理角度范围会发生轻微变化。
可以看出，本发明实施例为人脸识别的难点图像带来新的解决思路。通过对测试人脸图像进行转正修复处理，以获得修复后的正面人脸，可有效提高输入到人脸识别系统中的人脸质量，大大提高了人脸识别系统的识别性能。除此之外，本发明实施例也可应用于寻人及安防等领域，对现有的遮挡或侧脸图像进行转正修复处理，以获得质量较好的人脸正面图像，为后续人物搜索提供帮助。
本发明实施例转正并修复一幅二维人脸图像所需时间在0.13秒左右。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (7)
1.一种人脸图像的修复方法，其特征在于，包括：
采用三维人脸建模方式对二维人脸图像进行三维人脸重建，得到重建的三维人脸；
将重建的三维人脸转正，渲染后得到转正后的人脸图像；
采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断，根据得到的关键点遮挡判断结果，对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像；
将得到的掩码后的转正人脸图像及掩码图像输入到训练得到的对抗边缘模型edgeconnect中，得到修复后的人脸图像；
所述采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断包括：
在二维人脸图像中选取设定个数的关键点，通过遮挡判断模型进行关键点热图的预测概率计算，当关键点热图的预测概率小于设置的经验阈值时，判断所选定的关键点被遮挡；
所述遮挡判断模型的关键点热图的定位损失函数函数采用
其中，i为第i个关键点，为预测的第i个关键点热图，Yi为第i个关键点的热图标签，为预测的关键点背景热图，Ybg为关键点背景热图标签，visi设置为1，代表第i个关键点可见，visi为0时，代表第i个关键点被遮挡，γ是第一权重值，设置为3，α是第二权重值，设置为1.5；
所述对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像包括：
判断二维人脸图像的姿态是否在设置的第二偏航阈值以内，如果是，则对判定的遮挡关键点进行掩码处理，得到掩码后的转正人脸图像及掩码图像，如果否，则对转正的人脸图像进行半边脸遮码，得到掩码后的转正人脸图像及掩码图像。
2.如权利要求1所述的方法，其特征在于，所述采用三维人脸建模方式对二维人脸图像进行三维人脸重建包括：
采用UV position Map方式对二维人脸图像中的密集关键点进行定位后，采用密集关键点的三维坐标及其相应的在二维人脸图像中的像素值，得到重建的三维人脸的纹理贴图，将纹理贴图与三维人脸模型进行贴合，得到重建的三维人脸。
3.如权利要求1所述的方法，其特征在于，所述将重建的三维人脸进行转正包括：
判断所述重建的三维人脸的姿态是否在设定的偏航阈值内，如果是，利用三维人脸重建方式获得重建的三维人脸的顶点坐标，根据计算得到的人脸旋转矩阵将重建的三维人脸转正；如果否，则不进行处理。
4.如权利要求1所述的方法，其特征在于，所述训练得到的edgeconnect包括边缘修复模型和图像修复模型，其中边缘修复模型根据掩码后的转正人脸图像的可见区域的边缘信息，修复掩码后的转正人脸图像的掩码处的边缘；图像修复模型根据补全边缘的图像作为先知信息，修补掩码后的转正人脸图像中的剩余掩码图像。
5.一种人脸图像的修复系统，其特征在于，包括：三维人脸重建模块、转正模块、遮挡判断模块和图像修复模块，其中，
三维人脸重建模块，用于采用三维人脸建模方式对二维人脸图像进行三维人脸重建，得到重建的三维人脸；
转正模块，用于将得到的三维人脸转正，渲染后得到转正后的人脸图像；
遮挡判断模块，用于采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断，根据得到的关键点遮挡判断结果对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像；
图像修复模块，用于将得到的掩码后的转正人脸图像及掩码图像输入到训练得到的edgeconnect中，得到修复后的人脸图像；
所述遮挡判断模块，还用于采用训练得到的遮挡判断模型对二维人脸图像进行关键点遮挡判断包括：
在二维人脸图像中选取设定个数的关键点，通过遮挡判断模型进行关键点热图的预测概率计算，当关键点热图的预测概率小于设置的经验阈值时，判断所选定的关键点被遮挡；
所述遮挡判断模型的关键点热图的定位损失函数函数采用
其中，i为第i个关键点，为预测的第i个关键点热图，Yi为第i个关键点的热图标签，为预测的关键点背景热图，Ybg为关键点背景热图标签，visi设置为1，代表第i个关键点可见，visi为0时，代表第i个关键点被遮挡，γ是第一权重值，设置为3，α是第二权重值，设置为1.5；
还用于所述对转正后的人脸图像进行遮挡掩码处理，得到掩码后的转正人脸图像和掩码图像包括：
判断二维人脸图像的姿态是否在设置的第二偏航阈值以内，如果是，则对判定的遮挡关键点进行掩码处理，得到掩码后的转正人脸图像及掩码图像，如果否，则对转正的人脸图像进行半边脸遮码，得到掩码后的转正人脸图像及掩码图像。
6.如权利要求5所述的系统，其特征在于，所述三维人脸重建模块，还用于采用UVposition Map方式对二维人脸图像中的密集关键点进行定位后，采用密集关键点的三维坐标及其相应的在二维人脸图像中的像素值，得到重建的三维人脸的纹理贴图，将纹理贴图与三维人脸模型进行贴合，得到重建的三维人脸；
所述转正模块，还用于判断所述重建的三维人脸的姿态是否在设定的偏航阈值内，如果是，利用三维人脸重建方式获得重建的三维人脸的顶点坐标，根据计算得到的人脸旋转矩阵将重建的三维人脸转正；如果否，则不进行处理。
7.如权利要求5所述的系统，其特征在于，所述训练得到的edgeconnect包括边缘修复模型和图像修复模型，其中边缘修复模型根据掩码后的转正人脸图像的可见区域的边缘信息，修复掩码后的转正人脸图像的掩码处的边缘；图像修复模型根据补全边缘的图像作为先知信息，修补掩码后的转正人脸图像中的剩余掩码图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010794408.6A CN112001859B (zh) | 2020-08-10 | 2020-08-10 | 一种人脸图像的修复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010794408.6A CN112001859B (zh) | 2020-08-10 | 2020-08-10 | 一种人脸图像的修复方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112001859A CN112001859A (zh) | 2020-11-27 |
| CN112001859B true CN112001859B (zh) | 2024-04-16 |
Family
ID=73464018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010794408.6A Active CN112001859B (zh) | 2020-08-10 | 2020-08-10 | 一种人脸图像的修复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112001859B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112509144B (zh) * | 2020-12-09 | 2024-08-27 | 深圳云天励飞技术股份有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
| CN113177885B (zh) * | 2021-03-30 | 2024-08-13 | 新东方教育科技集团有限公司 | 校正图像的方法、装置、存储介质及电子设备 |
| CN113408568B (zh) * | 2021-04-16 | 2024-04-16 | 科大讯飞股份有限公司 | 对象关键点的检测模型训练的相关方法、装置、设备 |
| CN113255788B (zh) * | 2021-05-31 | 2023-04-07 | 西安电子科技大学 | 基于两阶段掩码指导的生成对抗网络人脸校正方法及系统 |
| CN113963424B (zh) * | 2021-12-21 | 2022-03-08 | 西南石油大学 | 一种基于单阶人脸定位算法的婴儿窒息或猝死预警方法 |
| CN114462495B (zh) * | 2021-12-30 | 2023-04-07 | 浙江大华技术股份有限公司 | 一种脸部遮挡检测模型的训练方法及相关装置 |
| CN114549501A (zh) * | 2022-02-28 | 2022-05-27 | 佛山虎牙虎信科技有限公司 | 人脸遮挡的识别、三维人脸处理方法、装置、设备及介质 |
| CN116721194B (zh) * | 2023-08-09 | 2023-10-24 | 瀚博半导体(上海)有限公司 | 基于生成模型的人脸渲染方法和装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844276A (zh) * | 2015-01-15 | 2016-08-10 | 北京三星通信技术研究有限公司 | 人脸姿态校正方法和装置 |
| CN106204721A (zh) * | 2016-06-30 | 2016-12-07 | 扬州大学 | 基于照片的局部非完备颜面模型修复方法 |
| CN108921926A (zh) * | 2018-07-02 | 2018-11-30 | 广州云从信息科技有限公司 | 一种基于单张图像的端到端三维人脸重建方法 |
| CN109087261A (zh) * | 2018-08-03 | 2018-12-25 | 上海依图网络科技有限公司 | 基于非受限采集场景的人脸矫正方法 |
| CN109191507A (zh) * | 2018-08-24 | 2019-01-11 | 北京字节跳动网络技术有限公司 | 三维人脸图像重建方法、装置和计算机可读存储介质 |
| CN109272492A (zh) * | 2018-08-24 | 2019-01-25 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞病理涂片的处理方法及系统 |
| CN109584358A (zh) * | 2018-11-28 | 2019-04-05 | 深圳市商汤科技有限公司 | 一种三维人脸重建方法及装置、设备和存储介质 |
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111199235A (zh) * | 2020-01-03 | 2020-05-26 | 深圳市京湾量子遥感科技有限公司 | 一种图像边缘提取方法 |
| CN113112416A (zh) * | 2021-03-23 | 2021-07-13 | 浙江工业大学 | 一种语义引导的人脸图像修复方法 |
| CN114331894A (zh) * | 2021-12-30 | 2022-04-12 | 安徽工业大学 | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 |
| CN115588077A (zh) * | 2022-09-28 | 2023-01-10 | 聚好看科技股份有限公司 | 解决三维人体模型与服装模型穿模的方法及电子设备 |
| CN116681621A (zh) * | 2023-06-26 | 2023-09-01 | 西南交通大学 | 一种基于特征融合及复用的人脸图像修复方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10002424B2 (en) * | 2016-09-22 | 2018-06-19 | Sony Corporation | Image processing system and method to reconstruct a three-dimensional (3D) anatomical surface |
| US12062249B2 (en) * | 2018-05-04 | 2024-08-13 | Northeastern University | System and method for generating image landmarks |
| CN109118569B (zh) * | 2018-08-16 | 2023-03-10 | Oppo广东移动通信有限公司 | 基于三维模型的渲染方法和装置 |
| US10825149B2 (en) * | 2018-08-23 | 2020-11-03 | Siemens Healthcare Gmbh | Defective pixel correction using adversarial networks |
| TWI704530B (zh) * | 2019-01-29 | 2020-09-11 | 財團法人資訊工業策進會 | 注視度判斷裝置及方法 |
| US20220084223A1 (en) * | 2020-09-14 | 2022-03-17 | The Regents Of The University Of Michigan | Focal Stack Camera As Secure Imaging Device And Image Manipulation Detection Method |
-
2020
- 2020-08-10 CN CN202010794408.6A patent/CN112001859B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844276A (zh) * | 2015-01-15 | 2016-08-10 | 北京三星通信技术研究有限公司 | 人脸姿态校正方法和装置 |
| CN106204721A (zh) * | 2016-06-30 | 2016-12-07 | 扬州大学 | 基于照片的局部非完备颜面模型修复方法 |
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108921926A (zh) * | 2018-07-02 | 2018-11-30 | 广州云从信息科技有限公司 | 一种基于单张图像的端到端三维人脸重建方法 |
| CN109087261A (zh) * | 2018-08-03 | 2018-12-25 | 上海依图网络科技有限公司 | 基于非受限采集场景的人脸矫正方法 |
| CN109191507A (zh) * | 2018-08-24 | 2019-01-11 | 北京字节跳动网络技术有限公司 | 三维人脸图像重建方法、装置和计算机可读存储介质 |
| CN109272492A (zh) * | 2018-08-24 | 2019-01-25 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞病理涂片的处理方法及系统 |
| CN109584358A (zh) * | 2018-11-28 | 2019-04-05 | 深圳市商汤科技有限公司 | 一种三维人脸重建方法及装置、设备和存储介质 |
| CN111199235A (zh) * | 2020-01-03 | 2020-05-26 | 深圳市京湾量子遥感科技有限公司 | 一种图像边缘提取方法 |
| CN113112416A (zh) * | 2021-03-23 | 2021-07-13 | 浙江工业大学 | 一种语义引导的人脸图像修复方法 |
| CN114331894A (zh) * | 2021-12-30 | 2022-04-12 | 安徽工业大学 | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 |
| CN115588077A (zh) * | 2022-09-28 | 2023-01-10 | 聚好看科技股份有限公司 | 解决三维人体模型与服装模型穿模的方法及电子设备 |
| CN116681621A (zh) * | 2023-06-26 | 2023-09-01 | 西南交通大学 | 一种基于特征融合及复用的人脸图像修复方法 |
Non-Patent Citations (3)
| Title |
|---|
| EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning;Kamyar Nazeri等;《arXiv:1901.00212v3 》;第1-17页 * |
| Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network;Yao Feng等;《arXiv:1803.07835v1》;第1-18页 * |
| 姿态检测网络在服装关键点检测中的应用;季晨颖等;《中国科技论文》;第15卷(第3期);第255-259页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112001859A (zh) | 2020-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112001859B (zh) | 一种人脸图像的修复方法及系统 | |
| Zhang et al. | Interacting two-hand 3d pose and shape reconstruction from single color image | |
| CN107103613B (zh) | 一种三维手势姿态估计方法 | |
| CN107507216B (zh) | 图像中局部区域的替换方法、装置及存储介质 | |
| CN109087261B (zh) | 基于非受限采集场景的人脸矫正方法 | |
| CN111445526A (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
| CN111784747B (zh) | 一种基于关键点检测和校正的车辆多目标跟踪系统及方法 | |
| CN106934827A (zh) | 三维场景的重建方法和装置 | |
| CN109063584B (zh) | 基于级联回归的面部特征点定位方法、装置、设备及介质 | |
| CN111797688A (zh) | 一种基于光流和语义分割的视觉slam方法 | |
| CN111723707A (zh) | 一种基于视觉显著性的注视点估计方法及装置 | |
| CN112102342B (zh) | 平面轮廓识别方法、装置、计算机设备和存储介质 | |
| CN116030498A (zh) | 面向虚拟服装走秀的三维人体姿态估计方法 | |
| CN115375844A (zh) | 一种融合注意力机制的单目三维重建方法 | |
| KR102315696B1 (ko) | 관절 모델 정합 장치 및 방법 | |
| CN118071873A (zh) | 一种在动态环境下稠密高斯地图重建方法及系统 | |
| CN108694348B (zh) | 一种基于自然特征的跟踪注册方法及装置 | |
| CN114241167A (zh) | 一种从视频到视频的无模板虚拟换衣方法及装置 | |
| WO2022018811A1 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| CN117809339A (zh) | 一种基于可变形卷积编码网络和特征区域关注的人体姿态估计方法 | |
| Che et al. | Detection-guided 3D hand tracking for mobile AR applications | |
| CN115810219A (zh) | 一种基于rgb摄像头的三维手势追踪方法 | |
| CN116012459A (zh) | 基于三维视线估计和屏幕平面估计的鼠标定位的方法 | |
| Zhou et al. | Hierarchical structure and nonrigid motion recovery from 2D monocular views | |
| Liang et al. | Hand pose estimation by combining fingertip tracking and articulated ICP |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |