CN112101073B - 脸部图像处理方法、装置、设备及计算机存储介质 - Google Patents
脸部图像处理方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN112101073B CN112101073B CN201910526595.7A CN201910526595A CN112101073B CN 112101073 B CN112101073 B CN 112101073B CN 201910526595 A CN201910526595 A CN 201910526595A CN 112101073 B CN112101073 B CN 112101073B
- Authority
- CN
- China
- Prior art keywords
- face image
- face
- replaced
- image
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims description 21
- 210000000697 sensory organ Anatomy 0.000 claims description 20
- 230000014509 gene expression Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 210000000056 organ Anatomy 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 claims description 4
- 238000011480 coordinate descent method Methods 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 210000000887 face Anatomy 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种脸部图像处理方法、装置、设备及计算机存储介质，该方法包括：获取同一角度下的第一人脸图像和第二人脸图像内脸部轮廓的关键点；计算第一人脸图像中各个关键点对应的第一位置特征值及第二人脸图像中各个关键点对应的第二位置特征值；比较标号相同的关键点对应的第一位置特征值和第二位置特征值，得到比较结果；获取与第二人脸图像同属一人的待替换人脸图上的脸部轮廓的关键点；计算待替换人脸图中各个关键点对应的第三位置特征值；依据比较结果调整待替换人脸图中的第三位置特征值，得到将待替换人脸图的脸部轮廓替换为第一人脸图像的脸部轮廓后的换脸图。根据本发明实施例，能够对人脸轮廓进行替换，提高换脸后的相似程度。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种脸部图像处理方法、装置、设备及计算机存储介质。
背景技术
换脸是将视频里某张人脸替换为用户的人脸，要求保持视频里人脸的姿态和表情，同时替换后与用户人脸相似度高。具有浓重的娱乐性和传播性，深受用户的喜欢。
现有技术在进行换脸时，通常提取两幅人脸的关键点，通过三角剖分的方式将对应部分的纹理替换。该方法保持了视频人脸的姿态和表情，但改变了用户人脸的脸部轮廓和五官布局，导致脸型差别比较大的两幅人脸，换脸后相似度不高。因此，需要提出一种脸部图像处理的方法来进一步优化原有的换脸方法，既保留视频里人脸的姿态和表情，又保留用户人脸的脸部轮廓和五官布局。
发明内容
本发明实施例提供一种脸部图像处理方法、装置、设备及计算机存储介质，能够对人脸轮廓进行替换，提高换脸后的相似程度。
一方面，本发明实施例提供一种脸部图像处理方法，方法包括：
分别获取同一角度下的第一人脸图像和第二人脸图像内脸部轮廓的关键点；
计算所述第一人脸图像中各个关键点对应的第一位置特征值以及所述第二人脸图像中各个关键点对应的第二位置特征值；
对所述第一人脸图像和所述第二人脸图像上标号相同的关键点所对应的所述第一位置特征值和所述第二位置特征值进行比较，得到比较结果；
获取与所述第二人脸图像同属一人的待替换人脸图上的脸部轮廓的关键点；
计算所述待替换人脸图中各个关键点对应的第三位置特征值；
依据所述比较结果调整所述待替换人脸图中的所述第三位置特征值，得到将所述待替换人脸图的脸部轮廓替换为所述第一人脸图像的脸部轮廓后的换脸图。
另一方面，本发明实施例提供了一种脸部图像处理装置，该装置包括：
第一关键点获取模块，用于分别获取同一角度下的第一人脸图像和第二人脸图像内脸部轮廓的关键点；
第一参数计算模块，用于计算所述第一人脸图像中各个关键点对应的第一位置特征值；
第二参数计算模块，用于计算所述第二人脸图像中各个关键点对应的第二位置特征值；
第一比较计算模块，用于对所述第一人脸图像和所述第二人脸图像上标号相同的关键点所对应的所述第一位置特征值和所述第二位置特征值进行比较，得到比较结果；
第二关键点获取模块，用于获取与所述第二人脸图像同属一人的待替换人脸图上的脸部轮廓的关键点；
第三参数计算模块，用于计算所述待替换人脸图中各个关键点对应的第三位置特征值；
调整模块，用于依据所述比较结果调整所述待替换人脸图中的所述第三位置特征值，得到将所述待替换人脸图的脸部轮廓替换为所述第一人脸图像的脸部轮廓后的换脸图。
再一方面，本发明实施例提供了一种脸部图像处理设备，设备包括：
处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如以上任意一项所述的脸部图像处理方法。
再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如以上任意一项所述的脸部图像处理方法。
本发明实施例的脸部图像处理方法、装置、设备及计算机存储介质，首先对同一角度下的第一人脸图像和第二人脸图像中的对应脸部轮廓关键点的位置特征值进行比对，确定两个人脸图像中脸部轮廓的差异，之后依据比对结果，对与第二人脸图像同属一人的待替换人脸图中的脸部轮廓的关键点的位置特征值进行调整，使得调整后即得到将第一人脸图像中的脸部轮廓替换到待替换人脸后的换脸图。通过本发明实施例，能够对人脸轮廓进行替换，提高换脸后的相似程度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的脸部图像处理方法的流程示意图；
图2是本发明另一个实施例提供的脸部图像处理方法的流程示意图；
图3是本发明另一个实施例提供的正脸图获取过程的流程示意图；
图4是本发明另一个实施例提供的五官调整方法的流程示意图；
图5是本发明又一个实施例提供的脸部图像处理装置的结构示意图；
图6是本发明又一个实施例提供的脸部图像处理设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本发明实施例提供了一种脸部图像处理方法、装置、设备及计算机存储介质。下面首先对本发明实施例所提供的脸部图像处理方法进行介绍。
图1示出了本发明一个实施例提供的脸部图像处理方法的流程示意图。该方法包括：
步骤s101：分别获取同一角度下的第一人脸图像和第二人脸图像内脸部轮廓的关键点；
由于本实施例采用的脸部轮廓替换方式，是需要依据两张人脸轮廓的形状差异比对结果来实现的，因此在比对两张人脸轮廓的形状差异时，显然两张人脸需要处于同一角度，不同角度下的两张人脸进行比对存在的误差过大。
步骤s102：计算第一人脸图像中各个关键点对应的第一位置特征值以及第二人脸图像中各个关键点对应的第二位置特征值；
这里的位置特征值是用于表征关键点在人脸图像中的位置的特征值。
步骤s103：对第一人脸图像和第二人脸图像上标号相同的关键点所对应的第一位置特征值和第二位置特征值进行比较，得到比较结果；
其中，这里标号相同，代表这两个关键点在人脸图像上所对应的人脸位置是相同的。例如，标号30代表左眼角的关键点。
步骤s104：获取与第二人脸图像同属一人的待替换人脸图上的脸部轮廓的关键点；
步骤s105：计算待替换人脸图中各个关键点对应的第三位置特征值；
步骤s106：依据比较结果调整待替换人脸图中的第三位置特征值，得到将待替换人脸图的脸部轮廓替换为第一人脸图像的脸部轮廓后的换脸图。
其中，步骤s101～103和步骤s104～105之间的先后顺序本发明不作限定，两者也可并行进行。
由于人脸型的差异，使得对于不同人的人脸图像上的同一标号的关键点，其位置特征值也是不同的。本实施例通过第一人脸图像的位置特征值和所述第二人脸图像的位置特征值之间的区别，能够反映两张人脸图像所对应的两个人脸之间的差异，因此之后依据该区别来对待替换人脸图中的脸部轮廓关键点的位置进行调整，即能够将待替换人脸图中的脸部轮廓调整为基本与第一人脸图像中的脸部轮廓一致，从而实现脸部轮廓的替换，进而提高换脸的相似程度。
其中，关键点的获取方式为：将人脸图像输入训练好的深度神经网络内，深度神经网络能够进行关键点的提取，并依次按照预设的顺序输出所提取的关键点的坐标，之后可按照其输出顺序对关键点进行标号。其中，这里的标号可以由系统自动完成，也可以人工标号，本发明对此不作限定。
在具体实施例中，位置特征值具体为极坐标系下：预设原点与关键点之间的距离以及预设原点与关键点连线的角度。参见图2所示，其中，步骤s102中计算第一人脸图像中各个关键点对应的第一位置特征值包括：
步骤s1021：在极坐标系下，计算第一人脸图像中预设原点与各个关键点之间的第一距离，以及预设原点与各个关键点之间连线的第一角度；
步骤s102中计算第二人脸图像中各个关键点对应的第二位置特征值包括：
步骤s1022：在极坐标系下，计算第二人脸图像中预设原点与各个关键点之间的第二距离，以及预设原点与各个关键点之间连线的第二角度；
其中，步骤s1021和步骤s1022的先后顺序本发明不作限定，两者也可并列进行。
步骤s105中计算待替换人脸图中各个关键点对应的第三位置特征值包括：
步骤s1051：在极坐标系下，计算待替换人脸图中预设原点与各个关键点之间的第三距离，以及预设原点与各个关键点之间连线的第三角度；
其中，步骤s103，包括：
步骤s1031：计算第一人脸图像和第二人脸图像上标号相同的关键点所对应的第一距离和第二距离的比值，得到第一距离比值；
例如，计算第一人脸图像上标号30的关键点对应的第一距离与第二人脸图像上标号30的关键点对应的第二距离之间的比值。
步骤s1032：计算第一人脸图像和第二人脸图像上标号相同的关键点所对应的第一角度和第二角度的差值，得到角度差值。
其中，步骤s1031和步骤s1032的先后顺序本发明不作限定，两者也可并列进行。
在本实施例中，由于为了保证图像的缩放不变性，需要使图像缩放后仍旧能够进行脸部轮廓的替换，因此，这里的距离必须作比，而不能做差，这是因为比值是相对值，在图像缩放后距离的比值仍旧保持不变，但是差值是绝对值，图像缩放后距离的差值会发生改变，因此，距离需要进行作比。但是，对于角度来说，图像是否缩放和旋转并不影响角度差，因此角度可以进行做差。极坐标系具有旋转和尺度不变性。出于计算方面的考虑，由于作比的话可能存在除不尽的情况，计算较为复杂，因此能做差就不作比，在角度能够进行做差计算的情况下，采用做差的方式。
在其他实施例中，若第二人脸图像设定为替换前不允许进行缩放的话，也可以采用xy坐标系来进行位置特征值的计算和比较。本发明对此不作限定。
在优选实施例中，将第一原始人脸图像和第二原始人脸图像的角度进行调整，得到同一角度下的所述第一人脸图像和所述第二人脸图像。即通过对第一原始人脸图像和第二原始人脸图像进行角度旋转，使其达到同一角度。或者也可以直接拍摄于第二原始人脸图像角度相同的第一原始人脸图像。具体采用哪种方式，本发明不作限定。
这里的角度本发明不作限定，但是，为了保证轮廓替换的完整性，第一人脸图像和第二人脸图像必须包含有人脸的完整轮廓。
在优选实施例中，限定第一人脸图像和第二人脸图像均为正脸图。这是因为正脸图属于最标准且最能够反映人脸轮廓中全部关键点的位置特征的图像。
进一步的，将第一原始人脸图像和第二原始人脸图像的角度进行调整，得到正脸角度下的第一人脸图像和第二人脸图像，包括：
参见图3所示，对第一原始人脸图像和第二原始人脸图像分别执行以下操作：
步骤s201：获取原始人脸图像的关键点代入3DMM(三维形变模型)模型；
3DMM模型多用于三维人脸重建，模型内保存有200个3D人脸，当接收到输入的2D人脸的关键点后，通过调整200个3D人脸的权重系数，并进行线性求和，使线性求和的结果投影至2D界面后能够与输入的2D图重合，此时利用得到的系数，即可以构建一个2D图对应的3D图。
步骤s202：利用坐标下降法，求解3DMM模型，得到形状参数、表情参数和姿态参数；
步骤s203：将形状参数、设为0的表情参数和设为0的姿态参数代入3DMM模型，得到人脸3D图像；
步骤s204：将人脸3D图像映射至2D界面，得到原始人脸图像的2D图像，并将2D图像作为原始人脸图像的正脸图。
本实施例中，通过将原始人脸图像输入3DMM模型中来计算三个特征参数，之后通过将表情参数和姿态参数设置为0，即使得参数设定后得到的正脸图上没有表情以及姿态，而仅包含形状信息，这里姿态包含人脸的角度等信息，形状信息指的是人脸的轮廓信息。因此，通过上述设置，即可将原始人脸图像转为0度并且去除表情的影响，从而使得后续依据正脸图求得的偏移量更为标准。
当然，在想要将第一原始人脸图像和第二原始人脸图像转为其他角度时，也可以采用上述实时例中的方法，只需要将步骤s203中的姿态参数的数值进行相应的调整即可。
进一步的，上述实施例中步骤s202的过程包括：
根据关键点确定其对应的3D点的坐标；
根据关键点以及3D点组成的矩阵代入3DMM的关系式进行迭代求解；3DMM的关系式为：
其中，为平均脸部模型，si为脸部形状shape对应的PCA(正交特征，主成分)部分，αi为形状参数，ei为表情expression对应的PCA部分，βi为表情参数；求解αi和βi，是为了将200个平均脸模型与照片中的脸部进行拟合。Xprojection是三维模型投影到二维平面的点；P＝[[1,0,0],[0,1,0]]为正交投影矩阵，s为尺度因子，R为旋转矩阵，t2d为位移矩阵，(s，R，t2d)为姿态参数pose。将Xprojection与2D图实际的关键点进行比对，比对结果满足阈值要求则满足收敛条件。m为形状不同的脸部模型的个数，n为表情不同的脸部模型的个数。
迭代求解的过程包括：
将αi和βi初始化为0；
求解(s，R，t2d)；
将上一步求出的(s，R，t2d)代入上述关系式，求解αi；
将(s，R，t2d)和αi代入上述关系式，求解βi；
利用求得的αi和βi，重复上述操作，直至结果收敛。
其中，3D点映射为2D点的过程具体为：将3D点的坐标(x,y,z)经过投影矩阵变换得到2D点的坐标(x,y)。
在另一优选实施例中，该方法还包括对人脸图像上的五官的位置进行调整。参见图4所示，具体过程包括：
步骤s301：分别获取第一人脸图像中的五官关键点以及第二人脸图像中的五官关键点；
其中，五官关键点可以是每个五官部位取一个关键点，当然本发明对此不作限定。
步骤s302：计算第一人脸图像中预设原点与其五官关键点的第四距离；
步骤s303：计算第二人脸图像中预设原点与其五官关键点的第五距离；
其中，步骤s302和s303的先后顺序本发明不作限定，两者也可并列进行。
步骤s304：计算第一人脸图像和第二人脸图像上标号相同的五官关键点所对应的第四距离与第五距离的比值，得到第二距离比值；
步骤s305：获取待替换人脸图中的五官关键点；
步骤s306：计算待替换人脸图中预设原点与其五官关键点的第六距离；
步骤s307：依据第二距离比值调整待替换人脸图中的第六距离，得到将待替换人脸图中的五官位置调整后的换脸图。
其中，步骤s301～304和步骤s305～306之间的先后顺序本发明不作限定，两者也可并行进行。
在换脸过程中，由于不同的人五官的比例和位置的分布是不同的，因此除了要将五官的形状进行替换来实现表情替换之外，还要进行五官位置的调整，从而使得人物五官在替换后的脸部轮廓上的分布更为自然。
在具体实施例中，可以先对待替换人脸图的脸部轮廓进行替换，然后再对脸部轮廓替换后的待替换人脸图进行五官位置调整；也可以先调整待替换人脸图的五官位置，再对五官调整后的待替换人脸图的脸部轮廓进行替换。具体采用哪种方式，本发明不作限定。
在一种具体实施例中，五官关键点包括如下点中的至少一种：眉毛顶点、鼻尖中心点、眼睛中心点、嘴唇顶点；预设原点为两个眼睛中心点的连线上的中点。
另外，由于每个五官部位均存在多个关键点，为了方便计算，本实施例对于每个五官位置选择一个关键点来进行表征，因为五官的形状在换脸的表情替换过程中已经完成了，因此仅需要通过一个关键点来确定该五官部位需要移动的位移即可。在其他实施例中，可以采用与上述实施例中不同位置处的五官关键点，具体选择五官位置处的哪个关键点，本发明对此不作限定。
另外，预设原点通常选择脸部中轴线上的点，例如可以为两个眉毛顶点的连线的中点，或者也可以是两眼中心点连线的中点等，本发明不限定预设原点的具体位置。
图5示出了本发明又一个实施例提供的脸部图像处理装置的结构示意图；该装置包括：
第一关键点获取模块1，用于分别获取同一角度下的第一人脸图像和第二人脸图像内脸部轮廓的关键点；
第一参数计算模块2，用于计算所述第一人脸图像中各个关键点对应的第一位置特征值；
第二参数计算模块3，用于计算所述第二人脸图像中各个关键点对应的第二位置特征值；
第一比较计算模块4，用于对所述第一人脸图像和所述第二人脸图像上标号相同的关键点所对应的所述第一位置特征值和所述第二位置特征值进行比较，得到比较结果；
第二关键点获取模块5，用于获取与所述第二人脸图像同属一人的待替换人脸图上的脸部轮廓的关键点；
第三参数计算模块6，用于计算所述待替换人脸图中各个关键点对应的第三位置特征值；
调整模块7，用于依据所述比较结果调整所述待替换人脸图中的所述第三位置特征值，得到将所述待替换人脸图的脸部轮廓替换为所述第一人脸图像的脸部轮廓后的换脸图。
作为优选的，第一参数计算模块2具体用于：在极坐标系下，计算所述第一人脸图像中预设原点与各个关键点之间的第一距离，以及预设原点与各个关键点之间连线的第一角度；
第二参数计算模块3具体用于：在极坐标系下，计算所述第二人脸图像中预设原点与各个关键点之间的第二距离，以及预设原点与各个关键点之间连线的第二角度；
第三参数计算模块6具体用于：在极坐标系下，计算所述待替换人脸图中预设原点与各个关键点之间的第三距离，以及预设原点与各个关键点之间连线的第三角度；
第一比较计算模块4具体用于：计算所述第一人脸图像和所述第二人脸图像上标号相同的关键点所对应的所述第一距离和所述第二距离的比值，得到第一距离比值；计算所述第一人脸图像和所述第二人脸图像上标号相同的关键点所对应的所述第一角度和所述第二角度的差值，得到角度差值。
作为优选的，该装置还包括：
角度调整模块7，用于将第一原始人脸图像和第二原始人脸图像的角度进行调整，得到同一角度下的所述第一人脸图像和所述第二人脸图像。
作为优选的，角度调整模型包括：
关键点获取单元，用于获取原始人脸图像的关键点代入三维形变模型3DMM模型；
求解单元，用于利用坐标下降法，求解所述3DMM模型，得到形状参数、表情参数和姿态参数；
参数设定单元，用于将所述形状参数、设为0的所述表情参数和设为0的所述姿态参数代入所述3DMM模型，得到人脸3D图像；
映射单元，用于将所述人脸3D图像映射至2D界面，得到所述原始人脸图像的2D图像，并将所述2D图像作为所述原始人脸图像的正脸图。
作为优选的，该装置还包括：
第一五官关键点获取单元，用于分别获取所述第一人脸图像中的五官关键点以及所述第二人脸图像中的五官关键点；
第四距离计算单元，用于计算所述第一人脸图像中预设原点与其五官关键点的第四距离；
第五距离计算单元，用于计算所述第二人脸图像中预设原点与其五官关键点的第五距离；
第二比较计算单元，用于计算所述第一人脸图像和所述第二人脸图像上标号相同的五官关键点所对应的所述第四距离与所述第五距离的比值，得到第二距离比值；
第二五官关键点获取单元，用于获取所述待替换人脸图中的五官关键点；
第六距离计算单元，用于计算所述待替换人脸图中预设原点与其五官关键点的第六距离；
调整单元，用于依据所述第二距离比值调整所述待替换人脸图中的所述第六距离，得到将所述待替换人脸图中的五官位置调整后的换脸图。
图6示出了本发明实施例提供的脸部图像处理设备的硬件结构示意图。
在脸部图像处理设备可以包括处理器601以及存储有计算机程序指令的存储器602。处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现上述实施例中的任意一种脸部图像处理方法。
具体地，上述处理器601可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在综合网关容灾设备的内部或外部。在特定实施例中，存储器602是非易失性固态存储器。在特定实施例中，存储器602包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
在一个示例中，脸部图像处理设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
另外，结合上述实施例中的脸部图像处理方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种脸部图像处理方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种脸部图像处理方法，其特征在于，包括：
分别获取同一角度下的第一人脸图像和第二人脸图像内脸部轮廓的关键点；
计算所述第一人脸图像中各个关键点对应的第一位置特征值以及所述第二人脸图像中各个关键点对应的第二位置特征值；
对所述第一人脸图像和所述第二人脸图像上标号相同的关键点所对应的所述第一位置特征值和所述第二位置特征值进行比较，得到比较结果；
获取与所述第二人脸图像同属一人的待替换人脸图上的脸部轮廓的关键点；
计算所述待替换人脸图中各个关键点对应的第三位置特征值；
依据所述比较结果调整所述待替换人脸图中的所述第三位置特征值，得到将所述待替换人脸图的脸部轮廓替换为所述第一人脸图像的脸部轮廓后的换脸图。
2.根据权利要求1所述的方法，其特征在于，所述计算所述第一人脸图像中各个关键点对应的第一位置特征值包括：
在极坐标系下，计算所述第一人脸图像中预设原点与各个关键点之间的第一距离，以及预设原点与各个关键点之间连线的第一角度；
所述计算所述第二人脸图像中各个关键点对应的第二位置特征值包括：
在极坐标系下，计算所述第二人脸图像中预设原点与各个关键点之间的第二距离，以及预设原点与各个关键点之间连线的第二角度；
所述计算所述待替换人脸图中各个关键点对应的第三位置特征值包括：
在极坐标系下，计算所述待替换人脸图中预设原点与各个关键点之间的第三距离，以及预设原点与各个关键点之间连线的第三角度；
其中，所述对所述第一人脸图像和所述第二人脸图像上标号相同的关键点所对应的所述第一位置特征值和所述第二位置特征值进行比较，得到比较结果，包括：
计算所述第一人脸图像和所述第二人脸图像上标号相同的关键点所对应的所述第一距离和所述第二距离的比值，得到第一距离比值；
计算所述第一人脸图像和所述第二人脸图像上标号相同的关键点所对应的所述第一角度和所述第二角度的差值，得到角度差值。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
将第一原始人脸图像和第二原始人脸图像的角度进行调整，得到同一角度下的所述第一人脸图像和所述第二人脸图像。
4.根据权利要求3所述的方法，其特征在于，所述第一人脸图像和所述第二人脸图像均为正脸图。
5.根据权利要求4所述的方法，其特征在于，所述将第一原始人脸图像和第二原始人脸图像的角度进行调整，得到同一角度下的所述第一人脸图像和所述第二人脸图像，包括：
对所述第一原始人脸图像和所述第二原始人脸图像分别执行以下操作：
获取原始人脸图像的关键点代入三维形变模型3DMM模型；
利用坐标下降法，求解所述3DMM模型，得到形状参数、表情参数和姿态参数；
将所述形状参数、设为0的所述表情参数和设为0的所述姿态参数代入所述3DMM模型，得到人脸3D图像；
将所述人脸3D图像映射至2D界面，得到所述原始人脸图像的2D图像，并将所述2D图像作为所述原始人脸图像的正脸图。
6.根据权利要求1所述的方法，其特征在于，还包括：
分别获取所述第一人脸图像中的五官关键点以及所述第二人脸图像中的五官关键点；
计算所述第一人脸图像中预设原点与其五官关键点的第四距离；
计算所述第二人脸图像中预设原点与其五官关键点的第五距离；
计算所述第一人脸图像和所述第二人脸图像上标号相同的五官关键点所对应的所述第四距离与所述第五距离的比值，得到第二距离比值；
获取所述待替换人脸图中的五官关键点；
计算所述待替换人脸图中预设原点与其五官关键点的第六距离；
依据所述第二距离比值调整所述待替换人脸图中的所述第六距离，得到将所述待替换人脸图中的五官位置调整后的换脸图。
7.根据权利要求6所述的方法，其特征在于，所述五官关键点包括如下点中的至少一种：眉毛顶点、鼻尖中心点、眼睛中心点、嘴唇顶点；所述预设原点为两个眼睛中心点的连线上的中点。
8.一种脸部图像处理装置，其特征在于，包括：
第一关键点获取模块，用于分别获取同一角度下的第一人脸图像和第二人脸图像内脸部轮廓的关键点；
第一参数计算模块，用于计算所述第一人脸图像中各个关键点对应的第一位置特征值；
第二参数计算模块，用于计算所述第二人脸图像中各个关键点对应的第二位置特征值；
第一比较计算模块，用于对所述第一人脸图像和所述第二人脸图像上标号相同的关键点所对应的所述第一位置特征值和所述第二位置特征值进行比较，得到比较结果；
第二关键点获取模块，用于获取与所述第二人脸图像同属一人的待替换人脸图上的脸部轮廓的关键点；
第三参数计算模块，用于计算所述待替换人脸图中各个关键点对应的第三位置特征值；
调整模块，用于依据所述比较结果调整所述待替换人脸图中的所述第三位置特征值，得到将所述待替换人脸图的脸部轮廓替换为所述第一人脸图像的脸部轮廓后的换脸图。
9.一种脸部图像处理设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的脸部图像处理方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的脸部图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910526595.7A CN112101073B (zh) | 2019-06-18 | 2019-06-18 | 脸部图像处理方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910526595.7A CN112101073B (zh) | 2019-06-18 | 2019-06-18 | 脸部图像处理方法、装置、设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112101073A CN112101073A (zh) | 2020-12-18 |
| CN112101073B true CN112101073B (zh) | 2023-12-19 |
Family
ID=73749359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910526595.7A Active CN112101073B (zh) | 2019-06-18 | 2019-06-18 | 脸部图像处理方法、装置、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101073B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112817503B (zh) * | 2021-01-18 | 2024-03-26 | 陈林斌 | 电子相框的智能显示方法、电子相框及可读存储介质 |
| CN113362434A (zh) * | 2021-05-31 | 2021-09-07 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113658035B (zh) * | 2021-08-17 | 2023-08-08 | 北京百度网讯科技有限公司 | 脸部变换方法、装置、设备、存储介质以及产品 |
| CN116993576B (zh) * | 2023-06-21 | 2024-03-08 | 北京开普云信息科技有限公司 | 视频换脸方法、装置、存储介质及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016011834A1 (zh) * | 2014-07-23 | 2016-01-28 | 邢小月 | 一种图像处理方法及系统 |
| CN106599817A (zh) * | 2016-12-07 | 2017-04-26 | 腾讯科技（深圳）有限公司 | 一种人脸替换方法及装置 |
| CN108550176A (zh) * | 2018-04-19 | 2018-09-18 | 咪咕动漫有限公司 | 图像处理方法、设备及存储介质 |
-
2019
- 2019-06-18 CN CN201910526595.7A patent/CN112101073B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016011834A1 (zh) * | 2014-07-23 | 2016-01-28 | 邢小月 | 一种图像处理方法及系统 |
| CN106599817A (zh) * | 2016-12-07 | 2017-04-26 | 腾讯科技（深圳）有限公司 | 一种人脸替换方法及装置 |
| CN108550176A (zh) * | 2018-04-19 | 2018-09-18 | 咪咕动漫有限公司 | 图像处理方法、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Face Swapping under Large Pose Variations: A 3D Model Based Approach;Yuan Lin et al.;《IEEE Xplore》;全文 * |
| 复杂背景下人体头部图像替换算法研究;陈晗 等;通信电源技术(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112101073A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112101073B (zh) | 脸部图像处理方法、装置、设备及计算机存储介质 | |
| He et al. | Sparse template-based 6-D pose estimation of metal parts using a monocular camera | |
| CN109859305B (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
| CN112102146B (zh) | 脸部图像处理方法、装置、设备及计算机存储介质 | |
| Bartoli et al. | Constrained structure and motion from multiple uncalibrated views of a piecewise planar scene | |
| CN110866934B (zh) | 基于规范性编码的复杂点云分割方法及系统 | |
| Nurutdinova et al. | Towards pointless structure from motion: 3d reconstruction and camera parameters from general 3d curves | |
| CN110688947B (zh) | 一种同步实现人脸三维点云特征点定位和人脸分割的方法 | |
| US20230085384A1 (en) | Characterizing and improving of image processing | |
| Nöll et al. | Markerless camera pose estimation-an overview | |
| CN111311485B (zh) | 图像处理方法及相关装置 | |
| CN106125907B (zh) | 一种基于线框模型的三维目标注册定位方法 | |
| CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
| CN111915657A (zh) | 一种点云配准方法、装置、电子设备及存储介质 | |
| WO2024012333A1 (zh) | 位姿估计方法及相关模型的训练方法、装置、电子设备、计算机可读介质和计算机程序产品 | |
| CN114608521B (zh) | 单目测距方法及装置、电子设备和存储介质 | |
| CN114267061A (zh) | 头部姿态识别方法、装置、设备及计算机存储介质 | |
| CN112767412B (zh) | 车辆部件级分割方法、装置以及电子设备 | |
| CN112270747A (zh) | 一种人脸识别方法、装置及电子设备 | |
| CN110990604A (zh) | 图像底库生成方法、人脸识别方法和智能门禁系统 | |
| CN106056599B (zh) | 一种基于物体深度数据的物体识别算法及装置 | |
| JP2019105992A (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
| CN110047032B (zh) | 一种基于径向基函数拟合的局部自适应误匹配点剔除方法 | |
| CN113592958A (zh) | 一种基于单目视觉的auv对接坞站光学引导方法 | |
| CN112967329A (zh) | 图像数据优化方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |