CN115409953A - 基于多相机颜色一致性的颌面重建方法、设备及介质 - Google Patents

基于多相机颜色一致性的颌面重建方法、设备及介质 Download PDF

Info

Publication number
CN115409953A
CN115409953A CN202211363012.1A CN202211363012A CN115409953A CN 115409953 A CN115409953 A CN 115409953A CN 202211363012 A CN202211363012 A CN 202211363012A CN 115409953 A CN115409953 A CN 115409953A
Authority
CN
China
Prior art keywords
image
face
color
maxillofacial
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211363012.1A
Other languages
English (en)
Other versions
CN115409953B (zh
Inventor
王艳福
王都洋
程忠君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hansf Hangzhou Medical Technology Co ltd
Original Assignee
Hansf Hangzhou Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hansf Hangzhou Medical Technology Co ltd filed Critical Hansf Hangzhou Medical Technology Co ltd
Priority to CN202211363012.1A priority Critical patent/CN115409953B/zh
Publication of CN115409953A publication Critical patent/CN115409953A/zh
Application granted granted Critical
Publication of CN115409953B publication Critical patent/CN115409953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，为一种基于多相机颜色一致性的颌面重建方法、设备及介质，包括；S1：采用多个相机获取不同视角的人脸图像；S2：对人脸图像进行人像解析，得到颌面分割结果图，确定颌面重建区域；S3：将步骤S1得到的人脸图像，以及步骤S2得到的分割结果进行图像融合，得到融合图像；S4：将步骤S3得到的融合图像进行整体粗糙颜色调整；S5：将步骤S4得到的粗糙颜色调整结果进行全局精细平滑；S6：将步骤S5得到的精细全局平滑结果进行局部精细平滑；本发明有效解决多相机颌面重建颌面信息质量低的问题，提高了颌面重建的精确度，有效将多相机下的颜色统一化。

Description

基于多相机颜色一致性的颌面重建方法、设备及介质
技术领域
本发明涉及图像处理技术领域，具体为一种基于多相机颜色一致性的颌面重建方法、设备及介质。
背景技术
颌面重建是医疗应用中重要的组成部分。其中，颌骨重建是颌面部外科医生面临的最常见的挑战之一。颌骨在支撑口腔内牙齿方面起着重要作用。医生需要根据图像、设计和制造技术来模拟颌骨的真实形态，从而改进颌骨的重建手术，颌面的三维重建是颌骨正畸的基础性技术。颌面三维重建的目的是确保患者术后美学尽可能接近其理想或者创伤前的状态。传统的图像技术往往是医生的依据，但由于手术视野小，缺乏解剖参考位置，以及调整前后的对比，这很难实现最佳手术计划的定义和术中指导的特定导航系统。
以往的技术分为两种：一种基于深度学习的单个相机进行的颌骨重建，但是由于透视投影的性质，它们不能重建实际的颌面尺寸。现有的技术更多的是采用第二种方法，基于多相机的颌面三维重建。然而，当使用多台相机以不同视角拍摄固定人脸图像时，由于环境以及相机本身的原因，采集的图像色调差异较大，而图像作为重建后纹理贴图的唯一来源，直接影响了重建的质量，导致重建精确度低。
因此有必要对基于多相机颜色一致性的颌面重建方法、设备及介质进行进一步的改进，以解决上述问题。
发明内容
本申请的目的：在于解决和克服现有技术和应用的不足，提供一种基于多相机颜色一致性的颌面重建方法、设备及介质，有效解决多相机颌面重建颌面信息质量低的问题，提高了颌面重建的精确度，有效将多相机下的颜色统一化。
本申请的目的是通过如下技术方案来完成的，一种基于多相机颜色一致性的颌面重建方法，包括以下步骤：
S1：采用多个相机获取不同视角的人脸图像；
S2：对人脸图像进行人像解析，得到颌面分割结果图，确定颌面重建区域；
S3：将步骤S1得到的人脸图像，以及步骤S2得到的分割结果进行图像融合，得到融合图像；
S4：将步骤S3得到的融合图像进行整体粗糙颜色调整；
S5：将步骤S4得到的粗糙颜色调整结果进行全局精细平滑；
S6：将步骤S5得到的精细全局平滑结果进行局部精细平滑；
其中，所述步骤S2具体包括：
S21.将人脸图像输入编码器得到纹理特征
Figure 126866DEST_PATH_IMAGE001
和结构特征
Figure 626112DEST_PATH_IMAGE002
；
S22.纹理特征
Figure 364261DEST_PATH_IMAGE001
被划分为特定的纹理特征
Figure 789295DEST_PATH_IMAGE003
；
S23.结构特征
Figure 980105DEST_PATH_IMAGE004
将图像划分为特定的感兴趣区域，得到感兴趣特征
Figure 532309DEST_PATH_IMAGE005
；
S24.通过解码器的作用将纹理特征
Figure 875696DEST_PATH_IMAGE003
和结构特征
Figure 487943DEST_PATH_IMAGE005
恢复出特定区域的目标。
优选地，将人脸图像中呈现的结构特征
Figure 166049DEST_PATH_IMAGE006
信息和纹理特征
Figure 505633DEST_PATH_IMAGE001
信息，映射到嵌入空间，二者的维度大小皆为
Figure 218374DEST_PATH_IMAGE007
，得到结构向量，维度为
Figure 939205DEST_PATH_IMAGE008
和纹理向量，维度为
Figure 917656DEST_PATH_IMAGE009
。
优选地，所述纹理特征
Figure 749346DEST_PATH_IMAGE003
和结构特征
Figure 362599DEST_PATH_IMAGE005
的划分是通过对结构张量进行切片，并通过解码器重建感兴趣区域来实现的；当给定纹理向量和一个掩码结构张量作为输入时，网络寻求发展的目标是：第1层：头发
Figure 254332DEST_PATH_IMAGE010
，第2层：皮肤，以此类推，第14层：脖子(
Figure 969347DEST_PATH_IMAGE011
)，在计算损失时，将每个解码器和编码器视为一个单独的组件，每个对应对的损失定义为：
Figure 355460DEST_PATH_IMAGE012
其中，
Figure 484871DEST_PATH_IMAGE013
代表类别数，
Figure 298237DEST_PATH_IMAGE014
，
Figure 969390DEST_PATH_IMAGE015
分别代表了预测值和真实值，
Figure 720046DEST_PATH_IMAGE016
为权重系数，为0.5。
优选地，所述步骤S4具体包括：
S41.对RGB图像进行 lab色彩空间转变，其转变的过程如下：
Figure 996307DEST_PATH_IMAGE017
Figure 26579DEST_PATH_IMAGE018
其中，LMS色彩空间代表人类对不同波长的敏感空间，L代表长波、M代表中波、S代表短波，RGB色彩空间表示了正常的红绿蓝三色空间，lab色彩空间表示了光照和色彩空间，
Figure 201340DEST_PATH_IMAGE019
代表了亮度分量、
Figure 912944DEST_PATH_IMAGE020
代表从绿色到红色的分量、
Figure 620875DEST_PATH_IMAGE021
代表从蓝色到黄色的分量，log表示对数；S42. 对转变后的图像颜色校正，待处理的图像称为源图像，参考图像称为目标图像。
优选地，所述步骤S42具体包括以下步骤：
S421.分别分通道计算源图像与目标图像的像素均值与标准差；
S422.源图像逐像素减去对应通道的均值；
S423.逐像素乘对应通道目标图像与源图像标准差之比。
S424.逐像素分通道加上目标图像的均值；
S425.将图像由lab重新转变为RGB图像，完成图像之间的整体色调迁移。
优先地，所述步骤S5具体包括：
S51. 获取多个相机的点云信息；
S52. 对步骤S5.1获取到的点云信息进行ICP点云配准，构建KD-tree，根据最近距离得到重叠区域点云信息的匹配关系；通过构建多组匹配点对得到两张不同源图像之间的RGB变换矩阵；对应点在RGB空间满足欧式变换T，变换公式如下：
Figure 25311DEST_PATH_IMAGE022
写成RGB值的齐次坐标形式为：
Figure 936636DEST_PATH_IMAGE023
其中，
Figure 202663DEST_PATH_IMAGE024
和
Figure 515833DEST_PATH_IMAGE025
为两个不同图像中匹配点对，
Figure 91170DEST_PATH_IMAGE026
为旋转矩阵，
Figure 739058DEST_PATH_IMAGE027
为平移矩阵；
S53. 根据步骤S52得到的变化矩阵可以把不同源的两张图片的颜色进行融合，颜色进行平滑过渡，通过步骤S2得到的颌面重建区域和相机之间的内外参数，限制该变换仅发生在面部的颜色调整，对左右脸中所有人脸区域的颜色进行一致化迁移，减少与正脸视图颜色差异。
优先地，所述步骤S6具体为：
分别计算步骤5.1中得到的三个点云的质心，通过距离置信度来加权重叠区域的RBG，使得其与左右色彩保持更平滑的一致性；重叠区域点云的颜色表达式定义如下：
Figure 58044DEST_PATH_IMAGE028
其中，
Figure 710874DEST_PATH_IMAGE029
，
Figure 722692DEST_PATH_IMAGE030
为通过KD-tree最近邻寻找的匹配点对的RGB值，
Figure 343029DEST_PATH_IMAGE031
，
Figure 709114DEST_PATH_IMAGE032
为匹配点对的坐标，
Figure 731297DEST_PATH_IMAGE033
，
Figure 648437DEST_PATH_IMAGE034
为两组点云的质心坐标，最终对左中图像及右中图像的重叠区域进行颜色调整，达到颜色平滑的效果。
本发明还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明提供的基于多相机颜色一致性的颌面重建方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，以实现上述任意一项所述的基于多相机颜色一致性的颌面重建方法。
本申请与现有技术相比，至少具有以下明显优点和效果：
1、在本发明中，通过人像解析算法中所设计的纹理信息与结构信息的结合训练，提升了人脸目标区域的准确度；
2、在本发明中，由粗糙到精细的全局颜色调整以及从全局到局部精细平滑的双向算法，能够有效的解决多相机下的颜色差异问题。
附图说明
图1是本申请的多相机颜色一致性的颌面重建方法流程图。
图2是本申请中的人脸解析网络结构图。
图3是本申请中的人脸解析结果图。
图4是本申请中颜色调整结果对比图。
图5是本申请中颌面三维数字化结果图。
图6是申请中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作（或步骤）可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面通过以下各个实施例及其可选方案对本申请中提供的基于多相机颜色一致性的颌面重建方法、设备及介质进行详细阐述。
图1是本发明实施例中提供的基于多相机颜色一致性的颌面重建方法的流程图。本发明实施例可适用于多相机颜色一致性的颌面重建方法，该方法可由多相机颜色一致性的颌面重建设备来执行，该设备可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的多相机颜色一致性的颌面重建方法，可包括以下步骤：
S1：采用多个相机一次拍摄获取不同视角的人脸图像；
在本申请实施例中，在不同角度固定三个型号相同的RGBD相机，由三个相机采集到一组三个视角下（左脸、右脸以及正脸）的人脸图像
Figure 772382DEST_PATH_IMAGE035
，其中，
Figure 229908DEST_PATH_IMAGE036
。其中，
Figure 293548DEST_PATH_IMAGE037
表示第几张人脸图像。
S2：对从步骤S1得到的三张人脸图像通过神经网络AI算法进行人像解析，得到三张颌面分割结果图
Figure 709486DEST_PATH_IMAGE038
，确定颌面重建区域（人脸目标区域）；步骤S2具体包括：
S21.将人脸图像输入编码器得到纹理特征
Figure 242098DEST_PATH_IMAGE039
和结构特征
Figure 254048DEST_PATH_IMAGE040
；
S22.纹理特征
Figure 188506DEST_PATH_IMAGE041
被划分为特定的纹理特征
Figure 24613DEST_PATH_IMAGE042
，
Figure 778942DEST_PATH_IMAGE043
；其中，
Figure 843850DEST_PATH_IMAGE044
表示第几个纹理特征（第一个表示眼睛，第二个表示鼻子等）。
S23.结构特征
Figure 445864DEST_PATH_IMAGE040
将图像划分为特定的感兴趣区域（ROI），得到感兴趣特征
Figure 875708DEST_PATH_IMAGE045
，
Figure 694497DEST_PATH_IMAGE046
；其中，
Figure 500779DEST_PATH_IMAGE047
为要解析的类别数，本申请实施例为15类，左右鼻子，左右眼睛，墨镜，左右耳朵，耳坠，嘴巴，脖子，皮肤，项链，头发，衣服以及背景
S24.通过解码器的作用将纹理特征
Figure 206567DEST_PATH_IMAGE048
和结构特征
Figure 823624DEST_PATH_IMAGE049
恢复出特定区域的目标。
如图2所示，为本申请中人脸解析网络结构图，在本申请实施例中，将人脸图像中呈现的结构特征
Figure 614863DEST_PATH_IMAGE040
信息和纹理特征
Figure 224836DEST_PATH_IMAGE039
信息，映射到嵌入空间，二者的维度大小皆为
Figure 305836DEST_PATH_IMAGE050
，得到结构向量，维度为
Figure 77483DEST_PATH_IMAGE051
和纹理向量，维度为
Figure 372329DEST_PATH_IMAGE052
。潜在空间
Figure DEST_PATH_IMAGE053
代表了所有的特征。在本实施例中目标是解开结构特征
Figure 582731DEST_PATH_IMAGE054
中的张量切片，使它们对应于每个感兴趣区域的结构信息，即重建图像中的头发、皮肤、鼻子、眼睛等。其中，结构特征
Figure 512378DEST_PATH_IMAGE054
的所有切片与纹理特征
Figure 720506DEST_PATH_IMAGE055
一起解码时应该产生一个只包含相应语义区域的图像。
纹理特征
Figure 971490DEST_PATH_IMAGE056
和结构特征
Figure 188844DEST_PATH_IMAGE057
的划分是通过对结构张量进行切片，并通过解码器重建感兴趣区域来实现的；当给定纹理向量和一个掩码结构张量作为输入时，网络寻求发展的目标是：第1层(
Figure 661414DEST_PATH_IMAGE058
的通道1和通道2)：头发
Figure 86448DEST_PATH_IMAGE059
，第2层(
Figure 339575DEST_PATH_IMAGE058
的通道3和通道4)：皮肤
Figure 95041DEST_PATH_IMAGE060
，以此类推，第14层
Figure 438429DEST_PATH_IMAGE058
的通道21)：脖子(
Figure 50676DEST_PATH_IMAGE061
)，在计算损失时，将每个解码器和编码器视为一个单独的组件，每个对应对的损失定义为：
Figure 463203DEST_PATH_IMAGE062
其中，
Figure 802786DEST_PATH_IMAGE063
代表类别数，
Figure 312265DEST_PATH_IMAGE064
，
Figure 783829DEST_PATH_IMAGE065
分别代表了预测值和真实值，
Figure 11548DEST_PATH_IMAGE066
为权重系数，为0.5。
如图3所示，为本专利人脸解析算法的人脸解析效果图，左列为原始人脸图像，右侧为解析结果。人脸中的左眼、右眼、上嘴唇、下嘴唇、左耳朵、右耳朵、头发以及帽子等分别分割为不同的目标，图中用不同的明亮颜色区别。人脸部位的准确解析可以有助于左脸与中间脸的特征匹配，右脸与中间脸的特征匹配，可以更好的进行图像融合。
S3：将步骤S1拍摄得到的左中右三张原始人脸图像与步骤S2得到的神经网络人脸解析结果进行由粗到精的多级别图像融合，得到融合图像；S3具体包括：
S31:将S1得到的左中右三张人脸图像进行粗糙的特征匹配；
S32:根据S2得到的分割图像得到每个部位的坐标位置，对S1得到的左中右三张人脸图像再进行一次精细特征匹配。
S32:根据匹配到的特征点进行左中右三张人脸图像进行拼接融合，得到包含侧脸以及正脸的一张完成人脸图像；
S4：将步骤S3得到的完整融合拼接图像在二维图像层面上进行整体粗糙初步颜色调整过渡；步骤S4具体包括：
S41.对融合拼接后的RGB图像以及S1拍摄到的原始左中右三张人脸图像进行 lab色彩空间转变，lab色彩空间对人类的视觉具有更加刺激的效果，可以更清楚的观察到颜色的差异。其转变的过程如下：
Figure 843237DEST_PATH_IMAGE067
Figure 5227DEST_PATH_IMAGE068
其中，LMS色彩空间代表人类对不同波长的敏感空间，L代表长波（560-580nm）、M代表中波（530-540nm）、S代表短波（420-440nm）。RGB色彩空间表示了正常的红绿蓝三色空间。lab色彩空间表示了光照和色彩空间，l代表了亮度分量、a代表从绿色到红色的分量、b代表从蓝色到黄色的分量。log表示对数。
S42. 对转变后的lab图像进行颜色校正，颜色矫正是根据原始的左右两张人脸图像与中间人脸的颜色差异，对融合拼接后的图像进行整体颜色调整。待处理的图像称为源图像（左右人脸图像），参考图像称为目标图像（中间人脸图像）。所述步骤S42具体包括以下步骤：
S421.分别分通道计算lab色彩下的左右两张人脸图像与中间人脸图像的像素均值与标准差；
S422.左右人脸图像（源图像）按照逐像素减去对应的lab通道均值；
S423.左右人脸图像（源图像）按照逐像素乘对应通道中间人脸图像（目标图像）与左右人脸图像的标准差之比。
S424. 左右人脸图像（源图像）按照逐像素的原则，在lab三个通道上分别上中间人脸图像（目标图像）的均值；
S425.将融合拼接的图像按照S424得到结果进行整体颜色调整，颜色调整后的图像从lab色彩空间重新调整为RGB色彩空间，完成图像之间的整体色调迁移，由S41的公式可以将lab的值计算出RGB对应的值。
S5：将步骤S4得到的初步粗糙颜色调整的人脸融合图像在三维点云层面上进行全局的精细平滑；步骤S5具体为：
S51. 由RGBD相机获取到三个相机的点云信息，包含左、中、右三个人脸的点云；
S52. 对步骤S5.1获取到的点云信息进行ICP点云配准，其中，配准是指左脸点云信息与中间脸点云信息进行匹配、右脸点云信息与中间脸点云信息进行匹配。之后构建KD-tree，根据最近距离得到重叠区域点云信息的匹配关系；通过构建多组匹配点对得到两张不同源图像之间的RGB变换矩阵；对应点在RGB空间满足欧式变换T，变换公式如下：
Figure 818331DEST_PATH_IMAGE069
写成RGB值的齐次坐标形式为：
Figure 205450DEST_PATH_IMAGE070
其中，
Figure 903147DEST_PATH_IMAGE071
和
Figure 75634DEST_PATH_IMAGE072
为两个不同图像中匹配点对，
Figure 200585DEST_PATH_IMAGE073
为旋转矩阵，
Figure 75000DEST_PATH_IMAGE074
为平移矩阵。
S53. 根据步骤S52得到的变化矩阵可以把不同源的两张图片（左脸图像与中间脸图像属于不同源两张图像、右脸图像与中间脸图像属于不同源两张图像）的颜色从点云三维层面进行融合，颜色进行平滑过渡，三维点云层面可以弥补同一张图像二在维层面颜色局部过于一致的问题，三维层面可以恢复出局部真实的颜色。通过步骤S2得到的颌面重建区域和相机之间的内外参数，限制该变换仅发生在面部的颜色调整，对左右脸中所有人脸区域的颜色进行一致化迁移，减少与正脸视图颜色差异。一致化迁移指的是左右人脸区域中的人脸部分的颜色进行平滑调整，减少颜色差异，达到两个脸的颜色接近或者相同。
S6：将步骤S5得到的精细全局平滑结果进行局部精细平滑，左脸图像与中间脸图像融合的时候存在区域重叠的情况，重叠拼接处的颜色如果不加以调整会出现有分界线的情况，右脸与中间脸融合情况也是如此。通过点云重叠区域的加权可以解决这个问题；步骤S6具体为：分别计算步骤5.1中得到的三个点云的质心，通过距离置信度来加权重叠区域的RBG，使得其与左右色彩保持更平滑的一致性；重叠区域点云的颜色表达式定义如下：
Figure 560077DEST_PATH_IMAGE075
其中，
Figure 836337DEST_PATH_IMAGE076
，
Figure 882922DEST_PATH_IMAGE077
为通过KD-tree最近邻寻找的匹配点对的RGB值，
Figure 41371DEST_PATH_IMAGE078
，
Figure 18554DEST_PATH_IMAGE079
为匹配点对的坐标，
Figure 726485DEST_PATH_IMAGE080
，
Figure 130921DEST_PATH_IMAGE081
为两组点云的质心坐标，最终对左中图像及右中图像的重叠区域进行颜色调整，达到颜色平滑的效果。
如图4所示，为本专利两次颜色平滑之后的结果与未调整之前的对比图，左侧（a）图为位调整的原始人脸图像，左侧（c）图为调整后的人脸结果图，右侧（b）图为未调整图像的颜色直方图，右侧（d）图为调整后的人脸图像的颜色直方图。图4中的（a）和图4中的（b）明亮程度不同代表了图像中的颜色和光照的不同。图4中的（c）的颜色曲线与图4中的（d）的颜色曲线相比，趋势较为平滑，且颜色波动较小，代表了图像中的颜色差异变化接近，颜色过渡平滑。二维图像颜色过渡和三维点云颜色平滑的多级平滑策略使得不同视角下的多张人脸图像能够得到较好的颜色融合。
本专利通过三个相同型号的相机一次采集三张人脸图像（左脸、正脸、右脸），对采集到的图像进行神经网络人工智能算法进行人脸面部解析，得到精确的人脸各个局部目标。通过AI算法的解析与采集到的图像进行拼接融合。融合后的图像分别进行二维图像上的粗糙颜色过渡和三维点云上的精细颜色平滑，最终得到完整的人脸重建结果。通过智能算法的辅助以及多级别的颜色平滑，本专利有效的解决了多相机颌面重建颌面信息质量低的问题，提高了人脸目标区域的精确度，解决了多相机下的颜色差异问题。如图5所示为本专利最终的人脸重建实施效果图，人脸区域颜色基本一致，左中右人脸拼接处没有色差，人脸重建效果比较完善，多相机的人脸重建效果几乎与一个相机环绕重建效果一致。
本发明还提供了一种电子设备，如图6所示为本申请中的一种电子设备的结构示意图，包括一个或多个处理器和存储装置；该电子设备中的处理器可以是一个或多个，图6中以一个处理器为例；存储装置用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一项所述的基于多相机颜色一致性的颌面重建方法。
该电子设备还可以包括：输入装置和输出装置。该电子设备中的处理器、存储装置、输入装置和输出装置可以通过总线或其他方式连接，图6中以通过总线连接为例。
该电子设备中的存储装置作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的基于多相机颜色一致性的颌面重建方法对应的程序指令/模块。处理器通过运行存储在存储装置中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中基于多相机颜色一致性的颌面重建方法。
存储装置可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器执行时，程序进行如下操作：
S1：采用多个相机获取不同视角的人脸图像；
S2：对人脸图像进行人像解析，得到颌面分割结果图，确定颌面重建区域；
S3：将步骤S1得到的人脸图像，以及步骤S2得到的分割结果进行图像融合，得到融合图像；
S4：将步骤S3得到的融合图像进行整体粗糙颜色调整；
S5：将步骤S4得到的粗糙颜色调整结果进行全局精细平滑；
S6：将步骤S5得到的精细全局平滑结果进行局部精细平滑。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器执行时，程序还可以进行本发明任意实施例中所提供的多相机颜色一致性的颌面重建方法中的相关操作。
需要进一步说明的是，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，实现上述实施例基于多相机颜色一致性的颌面重建方法。所述计算机程序可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
由于本领域技术人员能够很容易想到，利用申请的构思和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种基于多相机颜色一致性的颌面重建方法，其特征在于：包括以下步骤：
S1：采用多个相机获取不同视角的人脸图像；
S2：对人脸图像进行人像解析，得到颌面分割结果图，确定颌面重建区域；
S3：将步骤S1得到的人脸图像，以及步骤S2得到的分割结果进行图像融合，得到融合图像；
S4：将步骤S3得到的融合图像进行整体粗糙颜色调整；
S5：将步骤S4得到的粗糙颜色调整结果进行全局精细平滑；
S6：将步骤S5得到的精细全局平滑结果进行局部精细平滑；
其中，所述步骤S2具体包括：
S21.将人脸图像输入编码器得到纹理特征
Figure 361686DEST_PATH_IMAGE001
和结构特征
Figure 374641DEST_PATH_IMAGE002
；
S22.纹理特征
Figure 804616DEST_PATH_IMAGE001
被划分为特定的纹理特征
Figure 953838DEST_PATH_IMAGE003
；
S23.结构特征
Figure 942392DEST_PATH_IMAGE002
将图像划分为特定的感兴趣区域，得到感兴趣特征
Figure 177064DEST_PATH_IMAGE004
；
S24.通过解码器的作用将纹理特征
Figure 394418DEST_PATH_IMAGE005
和结构特征
Figure 414458DEST_PATH_IMAGE006
恢复出特定区域的目标。
2.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于，将人脸图像中呈现的结构特征
Figure 590225DEST_PATH_IMAGE007
信息和纹理特征
Figure 564390DEST_PATH_IMAGE008
信息，映射到嵌入空间，二者的维度大小皆为H × W × 3，得到结构向量，维度为H/16 × H/16 × 21和纹理向量，维度为1 × 1× 2048。
3.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于，所述纹理特征
Figure 585436DEST_PATH_IMAGE005
和结构特征
Figure 443670DEST_PATH_IMAGE006
的划分是通过对结构张量进行切片，并通过解码器重建感兴趣区域来实现的；当给定纹理向量和一个掩码结构张量作为输入时，网络寻求发展的目标是：第1层：头发
Figure 9912DEST_PATH_IMAGE009
，第2层：皮肤
Figure 219177DEST_PATH_IMAGE010
，第14层：脖子(
Figure 43913DEST_PATH_IMAGE011
)，在计算损失时，将每个解码器和编码器视为一个单独的组件，每个对应对的损失定义为：
Figure 271501DEST_PATH_IMAGE012
其中，
Figure 398857DEST_PATH_IMAGE013
代表类别数，
Figure 347615DEST_PATH_IMAGE014
，
Figure 710463DEST_PATH_IMAGE015
分别代表了预测值和真实值，
Figure 808869DEST_PATH_IMAGE016
为权重系数，为0.5。
4.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于，所述步骤S4具体包括：
S41.对RGB图像进行 lab色彩空间转变，其转变的过程如下：
Figure 716913DEST_PATH_IMAGE017
Figure 743513DEST_PATH_IMAGE018
其中，LMS色彩空间代表人类对不同波长的敏感空间，L代表长波、M代表中波、S代表短波，RGB色彩空间表示了正常的红绿蓝三色空间，lab色彩空间表示了光照和色彩空间，
Figure 457522DEST_PATH_IMAGE019
代表了亮度分量、
Figure 144855DEST_PATH_IMAGE020
代表从绿色到红色的分量、
Figure 738648DEST_PATH_IMAGE021
代表从蓝色到黄色的分量，log表示对数；
S42. 对转变后的图像颜色校正，待处理的图像称为源图像，参考图像称为目标图像。
5.根据权利要求4所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于：所述步骤S42具体包括以下步骤：
S421.分别分通道计算源图像与目标图像的像素均值与标准差；
S422.源图像逐像素减去对应通道的均值；
S423.逐像素乘对应通道目标图像与源图像标准差之比；
S424.逐像素分通道加上目标图像的均值；
S425.将图像由lab重新转变为RGB图像，完成图像之间的整体色调迁移。
6.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于：所述步骤S5具体包括：
S51. 获取多个相机的点云信息；
S52. 对步骤S51获取到的点云信息进行ICP点云配准，构建KD-tree，根据最近距离得到重叠区域点云信息的匹配关系；通过构建多组匹配点对得到两张不同源图像之间的RGB变换矩阵；对应点在RGB空间满足欧式变换T，变换公式如下：
Figure 384700DEST_PATH_IMAGE022
写成RGB值的齐次坐标形式为：
Figure 354930DEST_PATH_IMAGE023
其中，
Figure 162349DEST_PATH_IMAGE024
和
Figure 677775DEST_PATH_IMAGE025
为两个不同图像中匹配点对，
Figure 570645DEST_PATH_IMAGE026
为旋转矩阵，
Figure 328254DEST_PATH_IMAGE027
为平移矩阵；
S53. 根据步骤S52得到的变化矩阵可以把不同源的两张图片的颜色进行融合，颜色进行平滑过渡，通过步骤S2得到的颌面重建区域和相机之间的内外参数，限制该变换仅发生在面部的颜色调整，对左右脸中所有人脸区域的颜色进行一致化迁移，减少与正脸视图颜色差异。
7.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于：所述步骤S6具体为：
分别计算步骤51中得到的多个点云的质心，通过距离置信度来加权重叠区域的RBG，使得其与左右色彩保持更平滑的一致性；重叠区域点云的颜色表达式定义如下：
Figure 521338DEST_PATH_IMAGE028
其中，
Figure 207665DEST_PATH_IMAGE029
，
Figure 587831DEST_PATH_IMAGE030
为通过KD-tree最近邻寻找的匹配点对的RGB值，
Figure 634284DEST_PATH_IMAGE031
，
Figure 668493DEST_PATH_IMAGE032
为匹配点对的坐标，
Figure 774989DEST_PATH_IMAGE033
，
Figure 642451DEST_PATH_IMAGE034
为两组点云的质心坐标，最终对左中图像及右中图像的重叠区域进行颜色调整，达到颜色平滑的效果。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1至7中任一所述的基于多相机颜色一致性的颌面重建方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序可以被计算机处理器执行实现如权利要求1至7中的任意一项所述方法的计算机可读指令。
CN202211363012.1A 2022-11-02 2022-11-02 基于多相机颜色一致性的颌面重建方法、设备及介质 Active CN115409953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211363012.1A CN115409953B (zh) 2022-11-02 2022-11-02 基于多相机颜色一致性的颌面重建方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211363012.1A CN115409953B (zh) 2022-11-02 2022-11-02 基于多相机颜色一致性的颌面重建方法、设备及介质

Publications (2)

Publication Number Publication Date
CN115409953A true CN115409953A (zh) 2022-11-29
CN115409953B CN115409953B (zh) 2023-03-28

Family

ID=84169239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211363012.1A Active CN115409953B (zh) 2022-11-02 2022-11-02 基于多相机颜色一致性的颌面重建方法、设备及介质

Country Status (1)

Country Link
CN (1) CN115409953B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794728A (zh) * 2015-05-05 2015-07-22 成都元天益三维科技有限公司 由多幅图像重构人脸实时三维数据的方法
CN109859305A (zh) * 2018-12-13 2019-06-07 中科天网（广东）科技有限公司 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN110458906A (zh) * 2019-06-26 2019-11-15 重庆邮电大学 一种基于深度颜色迁移的医学图像着色方法
CN110555822A (zh) * 2019-09-05 2019-12-10 北京大视景科技有限公司 一种面向实时视频融合的颜色一致性调整方法
US20220027602A1 (en) * 2020-07-22 2022-01-27 Arcsoft Corporation Limited Deep Learning-Based Three-Dimensional Facial Reconstruction System
CN114049403A (zh) * 2021-11-23 2022-02-15 华中科技大学鄂州工业技术研究院 一种多角度三维人脸重建方法、装置及存储介质
WO2022036539A1 (zh) * 2020-08-18 2022-02-24 华为技术有限公司 一种多相机色彩一致性校正方法和装置
CN114120422A (zh) * 2021-12-01 2022-03-01 重庆第二师范学院 一种基于局部图像数据融合的表情识别方法及装置
CN114463525A (zh) * 2022-01-25 2022-05-10 武汉大学 一种面向三维重建的大规模图像色彩一致性校正方法
CN115063524A (zh) * 2021-03-08 2022-09-16 深圳市雅迅达液晶显示设备有限公司 一种3d人脸识别的重建方法及装置
CN115239885A (zh) * 2022-08-04 2022-10-25 聚好看科技股份有限公司 一种基于关键点识别的人脸重建方法及设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794728A (zh) * 2015-05-05 2015-07-22 成都元天益三维科技有限公司 由多幅图像重构人脸实时三维数据的方法
CN109859305A (zh) * 2018-12-13 2019-06-07 中科天网（广东）科技有限公司 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN110458906A (zh) * 2019-06-26 2019-11-15 重庆邮电大学 一种基于深度颜色迁移的医学图像着色方法
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN110555822A (zh) * 2019-09-05 2019-12-10 北京大视景科技有限公司 一种面向实时视频融合的颜色一致性调整方法
US20220027602A1 (en) * 2020-07-22 2022-01-27 Arcsoft Corporation Limited Deep Learning-Based Three-Dimensional Facial Reconstruction System
WO2022036539A1 (zh) * 2020-08-18 2022-02-24 华为技术有限公司 一种多相机色彩一致性校正方法和装置
CN115063524A (zh) * 2021-03-08 2022-09-16 深圳市雅迅达液晶显示设备有限公司 一种3d人脸识别的重建方法及装置
CN114049403A (zh) * 2021-11-23 2022-02-15 华中科技大学鄂州工业技术研究院 一种多角度三维人脸重建方法、装置及存储介质
CN114120422A (zh) * 2021-12-01 2022-03-01 重庆第二师范学院 一种基于局部图像数据融合的表情识别方法及装置
CN114463525A (zh) * 2022-01-25 2022-05-10 武汉大学 一种面向三维重建的大规模图像色彩一致性校正方法
CN115239885A (zh) * 2022-08-04 2022-10-25 聚好看科技股份有限公司 一种基于关键点识别的人脸重建方法及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SEMIH DINÇ等: "Depth-color image registration for 3D surface texture construction using kinect camera system", 《IEEE SOUTHEASTCON 2014》 *
付淼等: "基于虚拟现实的人体颌面三维重建", 《生物医学工程与临床》 *
阳策等: "基于标准肤色的人脸图像纹理合成与三维重建应用", 《计算机系统应用》 *
马俐丽等: "多来源颅颌面三维数字化模型的建立", 《中华医学美学美容杂志》 *

Also Published As

Publication number Publication date
CN115409953B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
Ibáñez et al. An experimental study on the applicability of evolutionary algorithms to craniofacial superimposition in forensic identification
JP5011168B2 (ja) 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN108447017A (zh) 人脸虚拟整容方法和装置
US10217275B2 (en) Methods and systems of performing eye reconstruction using a parametric model
US10217265B2 (en) Methods and systems of generating a parametric eye model
CN110838084B (zh) 一种图像的风格转移方法、装置、电子设备及存储介质
CN113269862A (zh) 场景自适应的精细三维人脸重建方法、系统、电子设备
CN108846807A (zh) 光效处理方法、装置、终端及计算机可读存储介质
CN115914505B (zh) 基于语音驱动数字人模型的视频生成方法及系统
CN112949605A (zh) 基于语义分割的人脸上妆方法和系统
CN113362422B (zh) 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
CN113343878A (zh) 基于生成对抗网络的高保真人脸隐私保护方法和系统
CN111127642A (zh) 一种人脸三维重建方法
CN111354077A (zh) 一种基于双目视觉的三维人脸重建方法
AU2022231680B2 (en) Techniques for re-aging faces in images and video frames
CN116648733A (zh) 用于从面部图像提取颜色的方法和系统
Wang et al. Faithful face image completion for HMD occlusion removal
CN112562056A (zh) 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
Xiong et al. An efficient underwater image enhancement model with extensive Beer-Lambert law
CN114049262A (zh) 一种图像处理方法、图像处理装置及存储介质
WO2022087941A1 (zh) 人脸重建模型的训练方法及装置、人脸重建方法及装置、电子设备和可读存储介质
CN115409953B (zh) 基于多相机颜色一致性的颌面重建方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Building 2, No. 5 Yichuang Road, Yuhang Street, Yuhang District, Hangzhou City, Zhejiang Province, 310026

Patentee after: Hansf (Hangzhou) Medical Technology Co.,Ltd.

Address before: Room 1717, building 1, 1199 Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province 310000

Patentee before: Hansf (Hangzhou) Medical Technology Co.,Ltd.

CP02 Change in the address of a patent holder