CN115409953B - 基于多相机颜色一致性的颌面重建方法、设备及介质 - Google Patents
基于多相机颜色一致性的颌面重建方法、设备及介质 Download PDFInfo
- Publication number
- CN115409953B CN115409953B CN202211363012.1A CN202211363012A CN115409953B CN 115409953 B CN115409953 B CN 115409953B CN 202211363012 A CN202211363012 A CN 202211363012A CN 115409953 B CN115409953 B CN 115409953B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- color
- maxillofacial
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000009499 grossing Methods 0.000 claims abstract description 23
- 239000003086 colorant Substances 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 241000282414 Homo sapiens Species 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000005012 migration Effects 0.000 claims description 7
- 238000013508 migration Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 230000001815 facial effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003221 ear drop Substances 0.000 description 1
- 229940047652 ear drops Drugs 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000007526 fusion splicing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，为一种基于多相机颜色一致性的颌面重建方法、设备及介质，包括；S1：采用多个相机获取不同视角的人脸图像；S2：对人脸图像进行人像解析，得到颌面分割结果图，确定颌面重建区域；S3：将步骤S1得到的人脸图像，以及步骤S2得到的分割结果进行图像融合，得到融合图像；S4：将步骤S3得到的融合图像进行整体粗糙颜色调整；S5：将步骤S4得到的粗糙颜色调整结果进行全局精细平滑；S6：将步骤S5得到的精细全局平滑结果进行局部精细平滑；本发明有效解决多相机颌面重建颌面信息质量低的问题，提高了颌面重建的精确度，有效将多相机下的颜色统一化。
Description
技术领域
本发明涉及图像处理技术领域，具体为一种基于多相机颜色一致性的颌面重建方法、设备及介质。
背景技术
颌面重建是医疗应用中重要的组成部分。其中，颌骨重建是颌面部外科医生面临的最常见的挑战之一。颌骨在支撑口腔内牙齿方面起着重要作用。医生需要根据图像、设计和制造技术来模拟颌骨的真实形态，从而改进颌骨的重建手术，颌面的三维重建是颌骨正畸的基础性技术。颌面三维重建的目的是确保患者术后美学尽可能接近其理想或者创伤前的状态。传统的图像技术往往是医生的依据，但由于手术视野小，缺乏解剖参考位置，以及调整前后的对比，这很难实现最佳手术计划的定义和术中指导的特定导航系统。
以往的技术分为两种：一种基于深度学习的单个相机进行的颌骨重建，但是由于透视投影的性质，它们不能重建实际的颌面尺寸。现有的技术更多的是采用第二种方法，基于多相机的颌面三维重建。然而，当使用多台相机以不同视角拍摄固定人脸图像时，由于环境以及相机本身的原因，采集的图像色调差异较大，而图像作为重建后纹理贴图的唯一来源，直接影响了重建的质量，导致重建精确度低。
因此有必要对基于多相机颜色一致性的颌面重建方法、设备及介质进行进一步的改进，以解决上述问题。
发明内容
本申请的目的：在于解决和克服现有技术和应用的不足，提供一种基于多相机颜色一致性的颌面重建方法、设备及介质，有效解决多相机颌面重建颌面信息质量低的问题，提高了颌面重建的精确度，有效将多相机下的颜色统一化。
本申请的目的是通过如下技术方案来完成的，一种基于多相机颜色一致性的颌面重建方法，包括以下步骤：
S1：采用多个相机获取不同视角的人脸图像；
S2：对人脸图像进行人像解析，得到颌面分割结果图，确定颌面重建区域；
S3：将步骤S1得到的人脸图像，以及步骤S2得到的分割结果进行图像融合，得到融合图像；
S4：将步骤S3得到的融合图像进行整体粗糙颜色调整；
S5：将步骤S4得到的粗糙颜色调整结果进行全局精细平滑；
S6：将步骤S5得到的精细全局平滑结果进行局部精细平滑；
其中，所述步骤S2具体包括：
S21.将人脸图像输入编码器得到纹理特征Ft和结构特征Fs；
S22.纹理特征Ft被划分为特定的纹理特征一Fti；
S23.结构特征Fs将图像划分为特定的感兴趣区域，得到感兴趣特征Fsi；
S24.通过解码器的作用将纹理特征一Fti和感兴趣特征Fsi恢复出特定区域的目标。
优选地，将人像图像中呈现的结构和纹理信息H×W×3嵌入到一个结构张量，维度为H/16×H/16×21和纹理向量，维度为1×1×2048中。
优选地，所述纹理特征一Fti和感兴趣特征Fsi的划分是通过对结构张量进行切片，并通过解码器重建感兴趣区域来实现的；当给定纹理向量和一个掩码结构张量作为输入时，网络寻求发展的目标是：第1层：头发R1，第2层：皮肤R2，以此类推，第14层：脖子(R14)，在计算损失时，将每个解码器和编码器视为一个单独的组件，每个对应的损失定义为：
其中，N代表类别数，p(x)，q(x)分别代表了预测值和真实值，γ为权重系数，为0.5。
优选地，所述步骤S4具体包括：
S41.对RGB图像进行lab色彩空间转变，其转变的过程如下：
其中，LMS色彩空间代表人类对不同波长的敏感空间，L代表长波、M代表中波、S代表短波，RGB色彩空间表示了正常的红绿蓝三色空间，lab色彩空间表示了光照和色彩空间，l代表了亮度分量、α代表从绿色到红色的分量、β代表从蓝色到黄色的分量，log表示对数；S42.对转变后的图像颜色校正，待处理的图像称为源图像，参考图像称为目标图像。
优选地，所述步骤S42具体包括以下步骤：
S421.分别分通道计算源图像与目标图像的像素均值与标准差；
S422.源图像逐像素减去对应通道的均值；
S423.逐像素乘对应通道目标图像与源图像标准差之比。
S424.逐像素分通道加上目标图像的均值；
S425.将图像由lab重新转变为RGB图像，完成图像之间的整体色调迁移。
优先地，所述步骤S5具体包括：
S51.获取多个相机的点云信息；
S52.对步骤S5.1获取到的点云信息进行ICP点云配准，构建KD-tree，根据最近距离得到重叠区域点云信息的匹配关系；通过构建多组匹配点对得到两张不同源图像之间的RGB变换矩阵；对应点在RGB空间满足欧式变换T，变换公式如下：
á＝Ra+t
写成RGB值的齐次坐标形式为：
其中，á和a为两个不同图像中匹配点对，R为旋转矩阵，t为平移矩阵；
S53.根据步骤S52得到的变化矩阵可以把不同源的两张图片的颜色进行融合，颜色进行平滑过渡，通过步骤S2得到的颌面重建区域和相机之间的内外参数，限制该变换仅发生在面部的颜色调整，对左右脸中所有人脸区域的颜色进行一致化迁移，减少与正脸视图颜色差异。
优先地，所述步骤S6具体为：
分别计算步骤5.1中得到的三个点云的质心，通过距离置信度来加权重叠区域的RBG，使得其与左右色彩保持更平滑的一致性；重叠区域点云的颜色表达式定义如下：
其中，a1，a2为通过KD-tree最近邻寻找的匹配点对的RGB值，c1，c2为匹配点对的坐标，c′，c″为两组点云的质心坐标，最终对左中图像及右中图像的重叠区域进行颜色调整，达到颜色平滑的效果。
本发明还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明提供的基于多相机颜色一致性的颌面重建方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，以实现上述任意一项所述的基于多相机颜色一致性的颌面重建方法。
本申请与现有技术相比，至少具有以下明显优点和效果：
1、在本发明中，通过人像解析算法中所设计的纹理信息与结构信息的结合训练，提升了人脸目标区域的准确度；
2、在本发明中，由粗糙到精细的全局颜色调整以及从全局到局部精细平滑的双向算法，能够有效的解决多相机下的颜色差异问题。
附图说明
图1是本申请的多相机颜色一致性的颌面重建方法流程图。
图2是本申请中的人脸解析网络结构图。
图3是本申请中的人脸解析结果图。
图4是本申请中颜色调整结果对比图。
图5是本申请中颌面三维数字化结果图。
图6是申请中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面通过以下各个实施例及其可选方案对本申请中提供的基于多相机颜色一致性的颌面重建方法、设备及介质进行详细阐述。
图1是本发明实施例中提供的基于多相机颜色一致性的颌面重建方法的流程图。本发明实施例可适用于多相机颜色一致性的颌面重建方法，该方法可由多相机颜色一致性的颌面重建设备来执行，该设备可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的多相机颜色一致性的颌面重建方法，可包括以下步骤：
S1：采用多个相机一次拍摄获取不同视角的人脸图像；
在本申请实施例中，在不同角度固定三个型号相同的RGBD相机，由三个相机采集到一组三个视角下(左脸、右脸以及正脸)的人脸图像Zl,其中，1≤l≤3。其中，l表示第几张人脸图像。
S2：对从步骤S1得到的三张人脸图像通过神经网络AI算法进行人像解析，得到三张颌面分割结果图Sl,1≤l≤3，确定颌面重建区域(人脸目标区域)；步骤S2具体包括：
S21.将人脸图像输入编码器得到纹理特征Ft和结构特征Fs；
S22.纹理特征Ft被划分为特定的纹理特征一Fti，1≤i≤N；其中，i表示第几个纹理特征(第一个表示眼睛，第二个表示鼻子等)。
S23.结构特征Fs将图像划分为特定的感兴趣区域(ROI)，得到感兴趣特征 Fsi，1≤i≤N；其中，N为要解析的类别数，本申请实施例为15类，左右鼻子，左右眼睛，墨镜，左右耳朵，耳坠，嘴巴，脖子，皮肤，项链，头发，衣服以及背景。
S24.通过解码器的作用将纹理特征一Fti和感兴趣特征Fsi恢复出特定区域的目标。
如图2所示，为本申请中人脸解析网络结构图，在本申请实施例中，将人像图像中呈现的结构和纹理信息H×W×3嵌入到一个结构张量，维度为 H/16×H/16×21和纹理向量，维度为1×1×2048中。潜在空间 F＝{Fs,Ft}代表了所有的特征。在本实施例中目标是解开结构特征Fs中的张量切片，使它们对应于每个感兴趣区域的结构信息，即重建图像中的头发、皮肤、鼻子、眼睛等。其中，结构特征Fs的所有切片与纹理特征Ft一起解码时应该产生一个只包含相应语义区域的图像。
纹理特征一Fti和感兴趣特征Fsi的划分是通过对结构张量进行切片，并通过解码器重建感兴趣区域来实现的；当给定纹理向量和一个掩码结构张量作为输入时，网络寻求发展的目标是：第1层(Fs的通道1和通道2)：头发R1，第2层 (Fs的通道3和通道4)：皮肤R2，以此类推，第14层Fs的通道21)：脖子(R14)，在计算损失时，将每个解码器和编码器视为一个单独的组件，每个对应的损失定义为：
其中，N代表类别数，p(x)，q(x)分别代表了预测值和真实值，γ为权重系数，为0.5。
如图3所示，为本专利人脸解析算法的人脸解析效果图，左列为原始人脸图像，右侧为解析结果。人脸中的左眼、右眼、上嘴唇、下嘴唇、左耳朵、右耳朵、头发以及帽子等分别分割为不同的目标，图中用不同的明亮颜色区别。人脸部位的准确解析可以有助于左脸与中间脸的特征匹配，右脸与中间脸的特征匹配，可以更好的进行图像融合。
S3：将步骤S1拍摄得到的左中右三张原始人脸图像与步骤S2得到的神经网络人脸解析结果进行由粗到精的多级别图像融合，得到融合图像；S3具体包括：
S31:将S1得到的左中右三张人脸图像进行粗糙的特征匹配；
S32:根据S2得到的分割图像得到每个部位的坐标位置，对S1得到的左中右三张人脸图像再进行一次精细特征匹配。
S32:根据匹配到的特征点进行左中右三张人脸图像进行拼接融合，得到包含侧脸以及正脸的一张完成人脸图像；
S4：将步骤S3得到的完整融合拼接图像在二维图像层面上进行整体粗糙初步颜色调整过渡；步骤S4具体包括：
S41.对融合拼接后的RGB图像以及S1拍摄到的原始左中右三张人脸图像进行lab色彩空间转变，lab色彩空间对人类的视觉具有更加刺激的效果，可以更清楚的观察到颜色的差异。其转变的过程如下：
其中，LMS色彩空间代表人类对不同波长的敏感空间，L代表长波 (560-580nm)、M代表中波(530-540nm)、S代表短波(420-440nm)。RGB色彩空间表示了正常的红绿蓝三色空间。lab色彩空间表示了光照和色彩空间，l 代表了亮度分量、a代表从绿色到红色的分量、b代表从蓝色到黄色的分量。log 表示对数。
S42.对转变后的lab图像进行颜色校正，颜色矫正是根据原始的左右两张人脸图像与中间人脸的颜色差异，对融合拼接后的图像进行整体颜色调整。待处理的图像称为源图像(左右人脸图像)，参考图像称为目标图像(中间人脸图像)。所述步骤S42具体包括以下步骤：
S421.分别分通道计算lab色彩下的左右两张人脸图像与中间人脸图像的像素均值与标准差；
S422.左右人脸图像(源图像)按照逐像素减去对应的lab通道均值；
S423.左右人脸图像(源图像)按照逐像素乘对应通道中间人脸图像(目标图像)与左右人脸图像的标准差之比。
S424.左右人脸图像(源图像)按照逐像素的原则，在lab三个通道上分别上中间人脸图像(目标图像)的均值；
S425.将融合拼接的图像按照S424得到结果进行整体颜色调整，颜色调整后的图像从lab色彩空间重新调整为RGB色彩空间，完成图像之间的整体色调迁移，由S41的公式可以将lab的值计算出RGB对应的值。
S5：将步骤S4得到的初步粗糙颜色调整的人脸融合图像在三维点云层面上进行全局的精细平滑；步骤S5具体为：
S51.由RGBD相机获取到三个相机的点云信息，包含左、中、右三个人脸的点云；
S52.对步骤S5.1获取到的点云信息进行ICP点云配准，其中，配准是指左脸点云信息与中间脸点云信息进行匹配、右脸点云信息与中间脸点云信息进行匹配。之后构建KD-tree，根据最近距离得到重叠区域点云信息的匹配关系；通过构建多组匹配点对得到两张不同源图像之间的RGB变换矩阵；对应点在RGB 空间满足欧式变换T，变换公式如下：
á＝Ra+t
写成RGB值的齐次坐标形式为：
其中，á和a为两个不同图像中匹配点对，R为旋转矩阵，t为平移矩阵。
S53.根据步骤S52得到的变化矩阵可以把不同源的两张图片(左脸图像与中间脸图像属于不同源两张图像、右脸图像与中间脸图像属于不同源两张图像) 的颜色从点云三维层面进行融合，颜色进行平滑过渡，三维点云层面可以弥补同一张图像二在维层面颜色局部过于一致的问题，三维层面可以恢复出局部真实的颜色。通过步骤S2得到的颌面重建区域和相机之间的内外参数，限制该变换仅发生在面部的颜色调整，对左右脸中所有人脸区域的颜色进行一致化迁移，减少与正脸视图颜色差异。一致化迁移指的是左右人脸区域中的人脸部分的颜色进行平滑调整，减少颜色差异，达到两个脸的颜色接近或者相同。
S6：将步骤S5得到的精细全局平滑结果进行局部精细平滑，左脸图像与中间脸图像融合的时候存在区域重叠的情况，重叠拼接处的颜色如果不加以调整会出现有分界线的情况，右脸与中间脸融合情况也是如此。通过点云重叠区域的加权可以解决这个问题；步骤S6具体为：分别计算步骤5.1中得到的三个点云的质心，通过距离置信度来加权重叠区域的RBG，使得其与左右色彩保持更平滑的一致性；重叠区域点云的颜色表达式定义如下：
其中，a1，a2为通过KD-tree最近邻寻找的匹配点对的RGB值，c1，c2为匹配点对的坐标，c′，c″为两组点云的质心坐标，最终对左中图像及右中图像的重叠区域进行颜色调整，达到颜色平滑的效果。
如图4所示，为本专利两次颜色平滑之后的结果与未调整之前的对比图，左侧(a)图为位调整的原始人脸图像，左侧(c)图为调整后的人脸结果图，右侧(b)图为未调整图像的颜色直方图，右侧(d)图为调整后的人脸图像的颜色直方图。图4中的(a)和图4中的(b)明亮程度不同代表了图像中的颜色和光照的不同。图4中的(c)的颜色曲线与图4中的(d)的颜色曲线相比，趋势较为平滑，且颜色波动较小，代表了图像中的颜色差异变化接近，颜色过渡平滑。二维图像颜色过渡和三维点云颜色平滑的多级平滑策略使得不同视角下的多张人脸图像能够得到较好的颜色融合。
本专利通过三个相同型号的相机一次采集三张人脸图像(左脸、正脸、右脸)，对采集到的图像进行神经网络人工智能算法进行人脸面部解析，得到精确的人脸各个局部目标。通过AI算法的解析与采集到的图像进行拼接融合。融合后的图像分别进行二维图像上的粗糙颜色过渡和三维点云上的精细颜色平滑，最终得到完整的人脸重建结果。通过智能算法的辅助以及多级别的颜色平滑，本专利有效的解决了多相机颌面重建颌面信息质量低的问题，提高了人脸目标区域的精确度，解决了多相机下的颜色差异问题。如图5所示为本专利最终的人脸重建实施效果图，人脸区域颜色基本一致，左中右人脸拼接处没有色差，人脸重建效果比较完善，多相机的人脸重建效果几乎与一个相机环绕重建效果一致。
本发明还提供了一种电子设备，如图6所示为本申请中的一种电子设备的结构示意图，包括一个或多个处理器和存储装置；该电子设备中的处理器可以是一个或多个，图6中以一个处理器为例；存储装置用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一项所述的基于多相机颜色一致性的颌面重建方法。
该电子设备还可以包括：输入装置和输出装置。该电子设备中的处理器、存储装置、输入装置和输出装置可以通过总线或其他方式连接，图6中以通过总线连接为例。
该电子设备中的存储装置作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的基于多相机颜色一致性的颌面重建方法对应的程序指令/ 模块。处理器通过运行存储在存储装置中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中基于多相机颜色一致性的颌面重建方法。
存储装置可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器执行时，程序进行如下操作：
S1：采用多个相机获取不同视角的人脸图像；
S2：对人脸图像进行人像解析，得到颌面分割结果图，确定颌面重建区域；
S3：将步骤S1得到的人脸图像，以及步骤S2得到的分割结果进行图像融合，得到融合图像；
S4：将步骤S3得到的融合图像进行整体粗糙颜色调整；
S5：将步骤S4得到的粗糙颜色调整结果进行全局精细平滑；
S6：将步骤S5得到的精细全局平滑结果进行局部精细平滑。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器执行时，程序还可以进行本发明任意实施例中所提供的多相机颜色一致性的颌面重建方法中的相关操作。
需要进一步说明的是，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，实现上述实施例基于多相机颜色一致性的颌面重建方法。所述计算机程序可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++ 等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
由于本领域技术人员能够很容易想到，利用申请的构思和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (9)
1.一种基于多相机颜色一致性的颌面重建方法，其特征在于：包括以下步骤：
S1：采用多个相机获取不同视角的人脸图像；
S2：对人脸图像进行人像解析，得到颌面分割结果图，确定颌面重建区域；
S3：将步骤S1得到的人脸图像，以及步骤S2得到的分割结果进行图像融合，得到融合图像；
S4：将步骤S3得到的融合图像进行整体粗糙颜色调整；
S5：将步骤S4得到的粗糙颜色调整结果进行全局精细平滑；
S6：将步骤S5得到的精细全局平滑结果进行局部精细平滑；
其中，所述步骤S2具体包括：
S21.将人脸图像输入编码器得到纹理特征Ft和结构特征Fs；
S22.纹理特征Ft被划分为特定的纹理特征一Fti；
S23.结构特征Fs将图像划分为特定的感兴趣区域，得到感兴趣特征Fsi；
S24.通过解码器的作用将纹理特征一Fti和感兴趣特征Fsi恢复出特定区域的目标。
2.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于，将人脸图像中呈现的结构特征Fs信息和纹理特征Ft信息，映射到嵌入空间，二者的维度大小皆为H×W×3，得到结构向量，维度为H/16×H/16×21和纹理向量，维度为1×1×2048。
3.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于，所述纹理特征一Fti和感兴趣特征Fsi的划分是通过对结构张量进行切片，并通过解码器重建感兴趣区域来实现的；当给定纹理向量和一个掩码结构张量作为输入时，网络寻求发展的目标是：第1层：头发R1，第2层：皮肤R2，第14层：脖子R14，在计算损失时，将每个解码器和编码器视为一个单独的组件，每个对应的损失定义为：
其中，N代表类别数，p(x)，q(x)分别代表了预测值和真实值，γ为权重系数，为0.5。
4.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于，所述步骤S4具体包括：
S41.对RGB图像进行lab色彩空间转变，其转变的过程如下：
其中，LMS色彩空间代表人类对不同波长的敏感空间，L代表长波、M代表中波、S代表短波，RGB色彩空间表示了正常的红绿蓝三色空间，lab色彩空间表示了光照和色彩空间，l代表了亮度分量、α代表从绿色到红色的分量、β代表从蓝色到黄色的分量，log表示对数；
S42.对转变后的图像颜色校正，待处理的图像称为源图像，参考图像称为目标图像。
5.根据权利要求4所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于：所述步骤S42具体包括以下步骤：
S421.分别分通道计算源图像与目标图像的像素均值与标准差；
S422.源图像逐像素减去对应通道的均值；
S423.逐像素乘对应通道目标图像与源图像标准差之比；
S424.逐像素分通道加上目标图像的均值；
S425.将图像由lab重新转变为RGB图像，完成图像之间的整体色调迁移。
6.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于：所述步骤S5具体包括：
S51.获取多个相机的点云信息；
S52.对步骤S51获取到的点云信息进行ICP点云配准，构建KD-tree，根据最近距离得到重叠区域点云信息的匹配关系；通过构建多组匹配点对得到两张不同源图像之间的RGB变换矩阵；对应点在RGB空间满足欧式变换T，变换公式如下：
写成RGB值的齐次坐标形式为：
其中，
和a为两个不同图像中匹配点对，R为旋转矩阵，t为平移矩阵；
S53.根据步骤S52得到的变化矩阵可以把不同源的两张图片的颜色进行融合，颜色进行平滑过渡，通过步骤S2得到的颌面重建区域和相机之间的内外参数，对左右脸中所有人脸区域的颜色进行一致化迁移，减少与正脸视图颜色差异。
7.根据权利要求1所述的一种基于多相机颜色一致性的颌面重建方法，其特征在于：所述步骤S6具体为：
分别计算步骤51中得到的多个点云的质心，通过距离置信度来加权重叠区域的RBG，使得其与左右色彩保持更平滑的一致性；重叠区域点云的颜色表达式定义如下：
其中，a1，a2为通过KD-tree最近邻寻找的匹配点对的RGB值，c1，c2为匹配点对的坐标，c′，c″为两组点云的质心坐标，最终对图像的重叠区域进行颜色调整，达到颜色平滑的效果。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1至7中任一所述的基于多相机颜色一致性的颌面重建方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序可以被计算机处理器执行实现如权利要求1至7中的任意一项所述方法的计算机可读指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211363012.1A CN115409953B (zh) | 2022-11-02 | 2022-11-02 | 基于多相机颜色一致性的颌面重建方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211363012.1A CN115409953B (zh) | 2022-11-02 | 2022-11-02 | 基于多相机颜色一致性的颌面重建方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115409953A CN115409953A (zh) | 2022-11-29 |
| CN115409953B true CN115409953B (zh) | 2023-03-28 |
Family
ID=84169239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211363012.1A Active CN115409953B (zh) | 2022-11-02 | 2022-11-02 | 基于多相机颜色一致性的颌面重建方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115409953B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
| CN110458906A (zh) * | 2019-06-26 | 2019-11-15 | 重庆邮电大学 | 一种基于深度颜色迁移的医学图像着色方法 |
| CN114120422A (zh) * | 2021-12-01 | 2022-03-01 | 重庆第二师范学院 | 一种基于局部图像数据融合的表情识别方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104794728B (zh) * | 2015-05-05 | 2017-09-19 | 成都元天益三维科技有限公司 | 由多幅图像重构人脸实时三维数据的方法 |
| CN109859305B (zh) * | 2018-12-13 | 2020-06-30 | 中科天网（广东）科技有限公司 | 基于多角度二维人脸的三维人脸建模、识别方法及装置 |
| CN110555822B (zh) * | 2019-09-05 | 2023-08-29 | 北京大视景科技有限公司 | 一种面向实时视频融合的颜色一致性调整方法 |
| CN113971715A (zh) * | 2020-07-22 | 2022-01-25 | 虹软科技股份有限公司 | 基于深度学习的三维脸部重建的系统 |
| WO2022036539A1 (zh) * | 2020-08-18 | 2022-02-24 | 华为技术有限公司 | 一种多相机色彩一致性校正方法和装置 |
| CN115063524A (zh) * | 2021-03-08 | 2022-09-16 | 深圳市雅迅达液晶显示设备有限公司 | 一种3d人脸识别的重建方法及装置 |
| CN114049403A (zh) * | 2021-11-23 | 2022-02-15 | 华中科技大学鄂州工业技术研究院 | 一种多角度三维人脸重建方法、装置及存储介质 |
| CN114463525B (zh) * | 2022-01-25 | 2024-06-25 | 武汉大学 | 一种面向三维重建的大规模图像色彩一致性校正方法 |
| CN115239885A (zh) * | 2022-08-04 | 2022-10-25 | 聚好看科技股份有限公司 | 一种基于关键点识别的人脸重建方法及设备 |
-
2022
- 2022-11-02 CN CN202211363012.1A patent/CN115409953B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458906A (zh) * | 2019-06-26 | 2019-11-15 | 重庆邮电大学 | 一种基于深度颜色迁移的医学图像着色方法 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
| CN114120422A (zh) * | 2021-12-01 | 2022-03-01 | 重庆第二师范学院 | 一种基于局部图像数据融合的表情识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于标准肤色的人脸图像纹理合成与三维重建应用;阳策等;《计算机系统应用》;20190515(第05期);第28-34页 * |
| 基于虚拟现实的人体颌面三维重建;付淼等;《生物医学工程与临床》;20150531(第03期);第233-236页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115409953A (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN111047510B (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
| CN109376582B (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
| Ibáñez et al. | An experimental study on the applicability of evolutionary algorithms to craniofacial superimposition in forensic identification | |
| CN108447017A (zh) | 人脸虚拟整容方法和装置 | |
| WO2019032604A1 (en) | ADJUSTING A DIGITAL REPRESENTATION OF A HEADQUARTERS | |
| Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
| CN113269862A (zh) | 场景自适应的精细三维人脸重建方法、系统、电子设备 | |
| CN115914505B (zh) | 基于语音驱动数字人模型的视频生成方法及系统 | |
| CN108846807A (zh) | 光效处理方法、装置、终端及计算机可读存储介质 | |
| CN116997933A (zh) | 用于构造面部位置图的方法和系统 | |
| CN112949605A (zh) | 基于语义分割的人脸上妆方法和系统 | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| CN113486944B (zh) | 人脸融合方法、装置、设备及存储介质 | |
| CN110838084A (zh) | 一种图像的风格转移方法、装置、电子设备及存储介质 | |
| CN113343878A (zh) | 基于生成对抗网络的高保真人脸隐私保护方法和系统 | |
| CN116648733A (zh) | 用于从面部图像提取颜色的方法和系统 | |
| CN111354077A (zh) | 一种基于双目视觉的三维人脸重建方法 | |
| CN112562056A (zh) | 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备 | |
| CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN110516598A (zh) | 用于生成图像的方法和装置 | |
| Wang et al. | Faithful face image completion for HMD occlusion removal | |
| CN111738964A (zh) | 一种基于建模的图像数据增强的方法 | |
| CN115239885A (zh) | 一种基于关键点识别的人脸重建方法及设备 | |
| CN113052783A (zh) | 一种基于人脸关键点的人脸图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: Building 2, No. 5 Yichuang Road, Yuhang Street, Yuhang District, Hangzhou City, Zhejiang Province, 310026 Patentee after: Hansf (Hangzhou) Medical Technology Co.,Ltd. Address before: Room 1717, building 1, 1199 Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province 310000 Patentee before: Hansf (Hangzhou) Medical Technology Co.,Ltd. |