CN112687009B - 一种三维人脸表示方法及其参数测量装置及方法 - Google Patents
一种三维人脸表示方法及其参数测量装置及方法 Download PDFInfo
- Publication number
- CN112687009B CN112687009B CN202011601169.4A CN202011601169A CN112687009B CN 112687009 B CN112687009 B CN 112687009B CN 202011601169 A CN202011601169 A CN 202011601169A CN 112687009 B CN112687009 B CN 112687009B
- Authority
- CN
- China
- Prior art keywords
- image
- reflection
- group
- images
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000002146 bilateral effect Effects 0.000 claims abstract description 17
- 238000005286 illumination Methods 0.000 claims description 100
- 238000007667 floating Methods 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000000691 measurement method Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 239000000463 material Substances 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010425 computer drawing Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请提供一种三维人脸表示方法及其参数测量装置及方法，装置包括：数据采集模块集、灯源阵列组模块、支架和处理终端，数据采集模块集与处理终端连接，灯源阵列组模块设置在支架上；数据采集模块组用于测量重建被测对象人脸几何参数与皮肤表面的反射参数，数据采集模块组包括一对数据采集模块，数据采集模块与数据采集模块之间左右对称设置，且均与垂直于地面且与所述支架相交的平面成第一预设角度设置；灯源阵列组模块用于在被测对象皮肤表面的各个区域均产生镜面反射光；处理终端用于接收从数据采集模块传输的与几何参数和反射参数测量相关的数据，并进行处理和重构被测对象，可构造有利于提高人脸识别率的人脸数据库。
Description
技术领域
本申请涉及计算机图形学和图像处理技术领域，具体而言，涉及一种三维人脸表示方法及其参数测量装置及方法。
背景技术
提供具有丰富光照、姿态的人脸图像数据，是提升深度人脸识别网络对姿态、光照鲁棒性的关键。但是，当前人脸数据库构建技术难以采集到包含大量不同光照、姿态的人脸图像。随着传感技术的发展，采集高精度人脸三维模型已经成为现实，基于采集的三维人脸模型，根据计算机绘制技术生成新光照、新姿态下的人脸图像以构建大规模、高质量的人脸图像库，可为人脸识别深度神经网络的训练提供充足数据，是提高人脸识别准确率的有效手段。
目前，通过当前主流三维重建设备，如：激光扫描仪和结构光三维测量仪等设备采集获得的人脸模型虽准确记录了人脸几何信息，但仅以拍摄的人脸照片作为表面纹理，由于纹理图像由如几何和材质的人脸固有属性和如拍摄场景光照和人脸姿态的外部因素综合作用的结果，现有模型无法准确反映人脸本质属性，因此难以准确生成新光照条件下人脸图像，使得在新光照条件下生成的人脸图像存在较大的误差，准确性不高。
发明内容
本申请的目的在于提供一种三维人脸表示方法及其参数测量装置及方法，用以有效的改善现有技术中存在的缺少人脸材质属性，使得在新光照条件下生成人脸图像不准确的技术缺陷。
第一方面，本申请实施例提供了一种三维人脸表示方法，方法包括：获得被测对象的纹理参数，建立三维人脸参数模型，纹理参数包括：与被测对象人脸固有属性相关的第一参数和与外界环境属性相关的第二参数，其中，第一参数包括：人脸几何参数和人脸皮肤表面反射参数，第二参数包括：被测对象头部姿态参数和环境光照参数；分离第一参数和第二参数，基于第一参数重构被测对象的三维人脸参数模型。
第二方面，本申请实施例提供了一种三维人脸参数测量装置，装置包括：数据采集模块集、灯源阵列组模块、支架和处理终端，数据采集模块集与处理终端连接，灯源阵列组模块设置在支架上；数据采集模块组用于测量重建被测对象人脸几何参数与皮肤表面的反射参数，数据采集模块组包括一对数据采集模块，数据采集模块与数据采集模块之间左右对称设置，且均与垂直于地面且与所述支架相交的平面成第一预设角度设置；灯源阵列组模块用于在被测对象皮肤表面的各个区域均产生镜面反射光；处理终端用于接收从数据采集模块传输的与几何参数和反射参数测量相关的数据，并进行处理和重构被测对象。
结合第二方面，在第一种可能的实现方式中，数据采集模块包括：结构光投射单元、三维重建相机和面阵式光照测量单元，结构光投射单元、三维重建相机与面阵式光照测量单元之间相互连接；结构光投射用于向被测对象皮肤表面投射结构光，三维重建相机用于采集结构光照射下被测对象的图像，实现被测对象人脸几何参数测量，面阵式光照测量单元用于测量被测对象皮肤表面各点的反射参数。
结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，灯源阵列组模块用于为被测对象皮肤表面的反射参数测量提供光源，灯源阵列组模块的安装步骤为：将过支架且垂直于地面的平面确定为第一平面，根据数据采集模块组的位置坐标，确定第一平面的方程表达式；被测对象皮肤表面按照预设规则划分为若干个表面区域，一对数据采集模块中的一个数据采集模块采集每个表面区域左侧部分位于中心的面部点，一对数据采集模块中的另一个数据采集模块采集每个表面区域右侧部分位于中心的面部点，根据重建的人脸三维信息获得每个面部点的三维坐标及为第一方向的法线方向，将由面阵式光照测量单元指向该面部点的第二方向确定为视线方向，计算为第二方向的视线方向向量关于为第一方向的法线向量的镜面反射方向向量，镜面反射方向向量的方向为第三方向，从该面部点沿着第三方向发射一条射线，将该射线与第一平面的交点确定为灯源阵列组模块中的一灯源的放置位置。
结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，装置还包括：镜面球，镜面球表面覆盖漫反射薄膜，镜面球设置在灯源阵列组模块前，用于校准灯源阵列组模块中每个灯源的放置位置。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，装置还包括：遮光板，遮光板设置在灯源阵列组模块后，用于屏蔽外部光源。
第三方面，本申请实施例提供了一种三维人脸参数测量方法，应用于第二方面及第二方面的任一种可能的实现方式中的三维人脸参数测量装置，包括：根据面阵式光照测量单元，对被测对象皮肤表面在不同预设条件下进行反射参数测量，分别获得被测对象皮肤表面在不同预设条件下各点的第一反射参数；获得仅由由灯源阵列组模块照射的被测对象图像以及被测对象皮肤表面各点的第二反射参数；基于第一反射参数和第二反射参数，获得仅由灯源阵列组模块产生的漫反射分量图像和镜面反射分量图像。
结合第三方面，在第一种可能的实现方式中，根据面阵式光照测量单元，对被测对象皮肤表面在不同预设条件下进行反射参数测量，分别获得被测对象皮肤表面在不同预设条件下各点的第一反射参数，包括：根据面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第一预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第一图像，其中，第一预设条件为关闭灯源阵列组模块，且仅存在环境光照，一组第一图像中的一张第一图像基于左侧的面阵式光照测量单元获得，一组第一图像中的另一张第一图像基于右侧的面阵式光照测量单元获得；根据面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第二预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第二图像，其中，第二预设条件为关闭灯源阵列组模块且仅存在环境光照的条件下，将偏振片设置在面阵式光照测量单元前，一组第二图像中的一张第二图像基于左侧的面阵式光照测量单元获得，一组第二图像中的另一张第二图像基于右侧的面阵式光照测量单元获得；根据面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第三预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第三图像，其中，第三预设条件为环境光照保持不变，打开灯源阵列组模块，一组第三图像中的一张第三图像基于左侧的面阵式光照测量单元获得，一组第三图像中的另一张第三图像基于右侧的面阵式光照测量单元获得；根据面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第四预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第四图像，其中，第四预设条件为环境光照保持不变，打开灯源阵列组模块，且将偏振片设置在面阵式光照测量单元前，一组第四图像中的一张第四图像基于左侧的面阵式光照测量单元获得，一组第四图像中的另一张第四图像基于右侧的面阵式光照测量单元获得。
结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，获得仅由灯源阵列组模块照射的被测对象图像以及被测对象皮肤表面各点的第二反射参数，包括：分别获得一组第一图像和一组第三图像；将分别对应的一张第一图像和一张第三图像进行减法运算，获得用于表示被测对象皮肤表面各点的第二反射参数信息的第五图像，其中，减法运算关系为被减数为第三图像对应的第一反射参数，减数为第一图像对应的第一反射参数。
结合第三方面的第二种可能的实现方式，在第三种可能的实现方式中，基于第一反射参数和第二反射参数，获得仅由灯源阵列组模块产生的漫反射分量图像和镜面反射分量图像，包括：分别获得一组第一图像、一组第二图像、一组第三图像、一组第四图像和一组第五图像；将分别对应的一张第三图像和一张第四图像之间的差值确定为第一被减数，将分别对应的一张第一图像和一张第二图像之间的差值确定为第一减数，第一被减数与第一减数之间的差值确定为用于表示仅由灯源阵列组模块产生的镜面反射分量图像；将分别对应的一张第五图像和镜面反射分量图像之间的差值确定为用于表示仅在灯源阵列组模块下产生的漫反射分量图像，其中，被减数为第五图像对应的第二反射参数，减数为镜面反射分量图像对应的镜面反射分量参数。
与现有技术相比，本发明的有益效果为：基于三维人脸参数测量装置的硬件设计，实现了对于人脸几何信息和场景光照信息的准确测量，同时基于硬件设计中的光学器件实现了人脸皮肤表面漫反射分量和镜面反射分量的准确分离；再通过基于三维人脸参数测量方法的软件设计，获得更准确的人脸材质参数，从而构造出有利于提高人脸识别率的人脸数据库。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种三维人脸参数测量装置的结构框图；
图2为本申请实施例提供的一种人脸表面划分区域的示意图；
图3为本申请实施例提供的一种三维人脸参数测量方法的流程示意图。
标号：10-三维人脸参数测量装置，110-数据采集模块，120-灯源阵列组模块，130-支架，140-处理终端。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
当前提出的三维人脸模型由人脸上采样点的三维空间坐标和纹理值构建，其中，纹理值为R、G和B通道对应的数值。然而，纹理值是固有的人脸几何、皮肤属性和外部采集环境光照条件及人脸姿态的综合作用。这种将内外部因素混合的三维模型表示方法没有体现人脸的本质属性，难以胜任三维人脸识别实际应用。
在将人脸几何属性和人脸皮肤表面反射属性称为固有属性，头部姿态和环境光照条件称为外部因素的基础上，本申请实施例提出了一种分离人脸固有属性和外部因素的三维人脸表示方法，称为三维人脸参数模型表示方法。方法包括：获得被测对象的纹理参数，建立三维人脸参数模型，所述纹理参数包括：与被测对象人脸固有属性相关的第一参数和与外界环境属性相关的第二参数，其中，第一参数包括：人脸几何参数和人脸皮肤表面反射参数，第二参数包括：被测对象头部姿态参数和环境光照参数；分离第一参数和第二参数，基于第一参数重构被测对象的三维人脸参数模型。
三维人脸参数模型去除了外部因素，主要描述人脸固有属性，包括人脸几何信息与人脸材质参数。人脸几何信息同传统三维模型表示方法相同，主要通过记录人脸采样点三维坐标及采样点构成的三角形或四边形面片实现，而材质信息则主要指采样点对应的漫反射系数即R、G和B通道对应的数值、镜面反射系数即R、G和B通道对应的数值以及镜面反射粗糙度指数即单通道值。
请参阅图1，本申请实施例提供了一种三维人脸参数测量装置10，三维人脸参数测量装置10包括：数据采集模块集、灯源阵列组模块、支架和处理终端，数据采集模块集与处理终端连接，灯源阵列组模块设置在支架上；数据采集模块组用于测量重建被测对象皮肤表面的反射参数测量，数据采集模块组包括一对数据采集模块，数据采集模块与数据采集模块之间左右对称设置，且均与垂直于地面且与所述支架相交的平面成第一预设角度设置；灯源阵列组模块用于在被测对象皮肤表面的各个区域均产生镜面反射光；处理终端用于接收从数据采集模块传输的与反射参数测量相关的数据，并进行处理和重构被测对象。在本申请实施例中，被测对象为待构建人脸图像对应的个人。
详细地，数据采集模块包括：结构光投射单元、三维重建相机和面阵式光照测量单元，结构光投射单元、三维重建相机与面阵式光照测量单元之间相互连接；结构光投射用于向被测对象皮肤表面投射结构光，三维重建相机用于采集结构光照射下被测对象的图像，实现被测对象人脸几何参数测量，面阵式光照测量单元用于测量被测对象皮肤表面各点的反射参数。
在本申请实施例中，测量人脸几何参数是基于数据采集模块中的结构光投射单元和三维重建相机。数据采集模块进行人脸数据采集时，人脸位于数据采集模块的正前方。结构光投射单元主要向人脸表面投射结构光；通过使用三维重建相机拍摄结构光照射下的人脸图像，实现对于人脸几何参数的测量；面阵式光照测量单元则主要用于测量人脸表面各点反射光颜色、强度等信息。工业相机或科学相机经过相应曲线及颜色校正后可作为光照测量单元，也可选择更专业的光照测量单元进行人脸表面反射光测量。
若采用的面阵式光照测量单元可实现对于人脸的成像，则可将面阵式光照测量单元作为三维重建相机使用；若否，将面阵式光照测量单元放置于三维重建相机附近，以相同角度进行测量，此时将面阵式光照测量单元与三维重建相机相匹配，即获取三维重建相机拍摄人脸图像上各点的光照测量结果，使得重建的人脸模型表面各点均可找到其对应反射光信息。在面阵式光照测量单元镜头前放置可移动的偏振片，该偏振片具有两种位置状态，第一种位于光照测量单元镜头正前方并尽量靠近镜头，以滤除反射光中的镜面反射部分；另一种则不遮挡镜头，使光照测量单元可接收反射光的所有分量，两种位置状态间可通过机械装置进行转化。
配备的灯源阵列组模块可为人脸反射参数测量提供可控的光源，提高测量准确性。在本申请实施例中，主要考虑皮肤表面的漫反射与镜面反射，其中漫反射光强度在空间中均匀分布，同视点无关，视点即为数据采集模块中面阵式光照测量单元所对应的位置点；镜面反射光能量主要集中在入射光的镜面反射方向附近，当观察方向偏离过多时镜面反射光强度会急剧下降，因此，灯源阵列组模块的布置需要满足在人脸表面各个区域均产生镜面反射光。
如图2所示，目前，已有研究表明，人脸表面大致可分为10个区域，在每个区域内皮肤反射属性较为相似。基于此，灯源阵列组模块中每个灯源的布置方法如下所述。
将过支架且垂直于地面的平面确定为第一平面，根据数据采集模块组的位置坐标，确定第一平面的方程表达式；被测对象皮肤表面按照预设规则划分为若干个表面区域，一对数据采集模块中的一个数据采集模块采集每个表面区域左侧部分位于中心的面部点，一对数据采集模块中的另一个数据采集模块采集每个表面区域右侧部分位于中心的面部点，根据重建的人脸三维信息获得每个面部点的三维坐标及为第一方向的法线方向，将由面阵式光照测量单元指向该面部点的第二方向确定为视线方向，计算为第二方向的视线方向向量关于为第一方向的法线向量的镜面反射方向向量，镜面反射方向向量的方向为第三方向，从该面部点沿着第三方向发射一条射线，将该射线与第一平面的交点确定为灯源阵列组模块中的一灯源的放置位置。需要说明的是，对于人脸的左部分或者右部分，采用相同方法确定灯源阵列组模块中相应的光源放置位置。
作为一种可能的实施方式，三维人脸参数测量装置还包括：镜面球，镜面球表面覆盖漫反射薄膜，镜面球设置在灯源阵列组模块前，用于校准灯源阵列组模块中每个灯源的放置位置。
三维人脸参数测量装置还包括：遮光板，遮光板设置在灯源阵列组模块后，用于屏蔽外部光源。
具体地，在确定灯源阵列组模块中的灯源的放置位置后，还需要对放置位置进行优化。将一镜面球表面包裹漫反射薄膜后放置在灯源阵列组模块前方，利用本装置的三维重建功能，重建该镜面球几何，获取其上各点的法向及三维位置信息，之后保持镜面球位置固定，撕除镜面球表面薄膜。逐一打开布置的光源，根据两部位置不同的光照采集模块所捕获的镜面球上光源的位置，分别从两部光照采集模块处即视点发反向跟踪光线，即由视点处发向镜面球上光源镜像中心发射光线，该光线经镜面球反射后产生反射光线，两条反射光线的交点即为光源的实际位置，考虑到误差的存在，两条位于三维空间的光线可能不存在交点，为此以两条反射光线距离最近处连线的中点作为光源的位置。
请参阅图3，本申请实施例提供一种三维人脸参数测量方法，三维人脸参数测量方法应用于三维人脸参数测量装置中，三维人脸参数测量方法包括：S11、S12和S13。
S11：根据面阵式光照测量单元，对被测对象皮肤表面在不同预设条件下进行反射参数测量，分别获得被测对象皮肤表面在不同预设条件下各点的第一反射参数；
S12:获得仅由由灯源阵列组模块照射的被测对象图像以及被测对象皮肤表面各点的第二反射参数；
S13:基于第一反射参数和第二反射参数，获得仅由灯源阵列组模块产生的漫反射分量图像和镜面反射分量图像。
下面将对三维人脸参数测量方法的具体执行流程做详细的说明。
在S11之前，三维人脸参数测量方法还包括人脸的几何信息测量，即三维模型测量，通过三维人脸参数测量装置中的数据采集模块，可以实现对于人脸高精度三维模型的测量。
S11：根据面阵式光照测量单元，对被测对象皮肤表面在不同预设条件下进行反射参数测量，分别获得被测对象皮肤表面在不同预设条件下各点的第一反射参数。
详细地，根据面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第一预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，其中，浮点图像为基图像中各像素的值为人脸真实反射光值，分为R、G和B三个颜色通道；进而获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第一图像OE1和OE2，其中，第一预设条件为关闭灯源阵列组模块，且仅存在环境光照，一组第一图像中的一张第一图像OE1基于左侧的面阵式光照测量单元获得，一组第一图像中的另一张第一图像OE2基于右侧的面阵式光照测量单元获得。
根据面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第二预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第二图像OE′1和OE′2，其中，第二预设条件为关闭灯源阵列组模块且仅存在环境光照的条件下，将偏振片设置在面阵式光照测量单元前，一组第二图像中的一张第二图像OE′1基于左侧的面阵式光照测量单元获得，一组第二图像中的另一张第二图像OE′2基于右侧的面阵式光照测量单元获得。
根据面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第三预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第三图像CE1和CE2，其中，第三预设条件为环境光照保持不变，打开灯源阵列组模块，一组第三图像中的一张第三图像CE1基于左侧的面阵式光照测量单元获得，一组第三图像中的另一张第三图像CE2基于右侧的面阵式光照测量单元获得。
根据面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第四预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第四图像OE′1和OE′2，其中，第四预设条件为环境光照保持不变，打开灯源阵列组模块，且将偏振片设置在面阵式光照测量单元前，一组第四图像中的一张第四图像CE′1基于左侧的面阵式光照测量单元获得，一组第四图像中的另一张第四图像CE′2基于右侧的面阵式光照测量单元获得。
记环境光产生的漫反射与镜面反射光照分别为Ed和Es，灯光阵列产生的漫反射与镜面反射光照分别为Ld和Ls。则上述4种预设条件下所采集到的人脸图像可表示为：
S12:获得仅由由灯源阵列组模块照射的被测对象图像以及被测对象皮肤表面各点的第二反射参数。
详细地，分别获得一组第一图像OE1和OE2以及一组第三图像CE1和CE2；将分别对应的一张第一图像和一张第三图像进行减法运算，获得用于表示被测对象皮肤表面各点的第二反射参数信息的第五图像C1和C2，其中，减法运算关系为被减数为第三图像对应的第一反射参数，减数为第一图像对应的第一反射参数。
在本申请实施例中，获取同环境光照无关的人脸图像C1和C2的运算表达式如下所示：
通过从第三图像CE1和CE2中去除环境光对应的第一图像OE1和OE2，得到仅有灯源阵列组模块照射的人脸图像C1和C2，由于灯源阵列组模块中光源的位置和亮度均为已知，故C1、C2记录了已知光照环境下人脸表面各点反射光信息。
S13:基于第一反射参数和第二反射参数，获得仅由灯源阵列组模块产生的漫反射分量图像和镜面反射分量图像。
详细地，分别获得一组第一图像、一组第二图像、一组第三图像、一组第四图像和一组第五图像；将分别对应的一张第三图像和一张第四图像之间的差值确定为第一被减数，将分别对应的一张第一图像和一张第二图像之间的差值确定为第一减数，第一被减数与第一减数之间的差值确定为用于表示仅由灯源阵列组模块产生的镜面反射分量图像；将分别对应的一张第五图像和镜面反射分量图像之间的差值确定为用于表示仅在灯源阵列组模块下产生的漫反射分量图像，其中，被减数为第五图像对应的第二反射参数，减数为镜面反射分量图像对应的镜面反射分量参数。
具体地，环境光在人脸表面产生的镜面反射为Es＝OE-OE′，人脸表面所有的镜面反射光为Es+Ls＝CE-CE′，因此仅由灯源阵列组模块产生的两张人脸镜面反射光图像
和
可以通过下面的运算表达式计算获得：
而仅由灯源阵列组模块产生的漫反射光图像
和
可以通过下面的运算表达式计算获得：
作为一种可能的实现方式，对于
和
其对应光照环境已知，且人脸几何也已知，因此，可以实现对于人脸材质参数的求解。
漫反射方面，对于人脸上一点p，首先根据人脸三维模型同光照测量装置拍摄图像像素对应关系，从
或
上获取p处的漫反射光照值Id(λ，p)，其中λ∈{R，G，B}，根据朗博模型有：
其中，kd(λ，p)为p处的漫反射系数，n为光源的总数，θi(p)为灯光阵列中第i个光源在p处的入射角，λ∈{R，G，B}，因此，漫反射系数的计算公式为：
镜面反射方面，由于镜面反射光照模型涉及两个参数，镜面反射参数ks与镜面反射粗糙度指数σ，可通过求解下面的优化问题计算：
其中w1与w2为权重参数，Edata(ks，σ)为数据项，Ek(ks)为镜面反射系数项，Eσ(σ)为镜面反射粗糙度指数项，上述四项具体定义如下：
(1)数据项
数据项用以保证根据求解的镜面反射系数与镜面反射粗糙度指数可准确计算出人脸表面各点的镜面反射光，其具体定义为：
其中，Nface为人脸表面点的集合，ks(λ，p)为p处的镜面反射系数，σ(p)为p处的镜面反射粗糙度指数，n为光源总数，αi(p)为灯光阵列中第i个光源在p处入射方向的镜面反射方向同视线方向的夹角，Is(λ，p)则为p点处的镜面反射光在λ颜色通道的值，可通过人脸三维模型同光照测量装置拍摄图像像素对应关系从
或
中获取。
(2)镜面反射系数项
根据图2所示的人脸表面区域划分，位于人脸同一区域内的皮肤材质具有相近的材质，因此位于同一区域的点其镜面反射系数具有相近的值。记第i个区域为Ai，则该项定义为：
(3)镜面反射粗糙度指数项
根据图2所示的人脸表面区域划分，位于人脸同一区域内的皮肤材质具有相近的材质，因此位于同一区域的点其镜面反射系数具有相近的值。记第i个区域为Ai，则该项定义为：位于人脸同一区域内的皮肤材质具有相近的材质，因此位于同一区域的点其镜面反射系数具有相近的值。记第i个区域为Ai，则该项定义为：
需要说明的是由于镜面反射分量涉及镜面反射系数ks(λ，p)与和式
的乘积，因此计算出的ks(λ，p)可能与真实值相差一个尺度因子λ，记真实的镜面反射系数为
计算的镜面反射系数为
则
为了消除尺度差异，需要使用分光测色计测量人脸表面不同两点的真实镜面反射系数
与
记对应两点计算得到的镜面反射系数为
与
则λ的计算公式如下：
最后，根据计算得到的真实镜面反射系数
的值，通过求解下面的方程重新计算镜面反射粗糙度σ(p)的值。
基于三维人脸参数测量装置的结构，测量在四种不同预设条件下的人脸表面反射光；以及根据四种预设条件下的人脸表面反射光，获得剔除环境光后仅在三维人脸参数测量装置中的灯源阵列组模块光源照射下的人脸表面反射信息，通过一系列的计算，可以实现分离外部因素与人脸固有属性并消除尺度差异。
综上所述，本申请实施例提供一种三维人脸参数测量装置，装置包括：数据采集模块集、灯源阵列组模块、支架和处理终端，数据采集模块集与处理终端连接，灯源阵列组模块设置在支架上；数据采集模块组用于测量重建被测对象皮肤表面的反射参数测量，数据采集模块组包括一对数据采集模块，数据采集模块与数据采集模块之间左右对称设置，且均与垂直于地面且与所述支架相交的平面成第一预设角度设置；灯源阵列组模块用于在被测对象皮肤表面的各个区域均产生镜面反射光；处理终端用于接收从数据采集模块传输的与反射参数测量相关的数据，并进行处理和重构被测对象。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种三维人脸参数测量装置，其特征在于，所述装置包括：数据采集模块组、灯源阵列组模块、支架和处理终端，所述数据采集模块组与所述处理终端连接，所述灯源阵列组模块设置在所述支架上；
所述数据采集模块组用于测量重建被测对象人脸几何参数与皮肤表面的反射参数，所述数据采集模块组包括一对数据采集模块，数据采集模块与数据采集模块之间左右对称设置，且均与垂直于地面且与所述支架相交的平面成第一预设角度设置，其中，所述数据采集模块包括：结构光投射单元、三维重建相机和面阵式光照测量单元，所述结构光投射单元、所述三维重建相机与所述面阵式光照测量单元之间相互连接；所述结构光投射用于向被测对象皮肤表面投射结构光，所述三维重建相机用于采集结构光照射下被测对象的图像，实现被测对象人脸几何参数测量，所述面阵式光照测量单元用于测量被测对象皮肤表面各点的反射参数；
所述灯源阵列组模块用于在被测对象皮肤表面的各个区域均产生镜面反射光，其中，所述灯源阵列组模块用于为被测对象皮肤表面的反射参数测量提供光源，所述灯源阵列组模块的安装步骤为：将过所述支架且垂直于地面的平面确定为第一平面，根据所述数据采集模块组的位置坐标，确定所述第一平面的方程表达式；被测对象皮肤表面按照预设规则划分为若干个表面区域，一对数据采集模块中的一个数据采集模块采集每个表面区域左侧部分位于中心的面部点，一对数据采集模块中的另一个数据采集模块采集每个表面区域右侧部分位于中心的面部点，根据重建的人脸三维信息获得每个面部点的三维坐标及为第一方向的法线方向，将由所述面阵式光照测量单元指向该面部点的第二方向确定为视线方向，计算为所述第二方向的视线方向向量关于为所述第一方向的法线向量的镜面反射方向向量，所述镜面反射方向向量的方向为第三方向，从该面部点沿着所述第三方向发射一条射线，将该射线与所述第一平面的交点确定为所述灯源阵列组模块中的一灯源的放置位置；
所述处理终端用于接收从所述数据采集模块传输的与几何参数和反射参数测量相关的数据，并进行处理和重构被测对象。
2.根据权利要求1所述的三维人脸参数测量装置，其特征在于，所述装置还包括：镜面球，所述镜面球表面覆盖漫反射薄膜，所述镜面球设置在所述灯源阵列组模块前，用于校准所述灯源阵列组模块中每个灯源的放置位置。
3.根据权利要求1所述的三维人脸参数测量装置，其特征在于，所述装置还包括：遮光板，所述遮光板设置在所述灯源阵列组模块后，用于屏蔽外部光源。
4.一种三维人脸参数测量方法，所述方法应用于如权利要求1-3任一项所述的三维人脸参数测量装置，其特征在于，所述方法包括：
根据面阵式光照测量单元，对被测对象皮肤表面在不同预设条件下进行反射参数测量，分别获得被测对象皮肤表面在不同预设条件下各点的第一反射参数；
获得仅由灯源阵列组模块照射的被测对象图像以及被测对象皮肤表面各点的第二反射参数；
基于所述第一反射参数和所述第二反射参数，获得仅由所述灯源阵列组模块照射产生的漫反射分量图像和镜面反射分量图像。
5.根据权利要求4所述的三维人脸参数测量方法，其特征在于，所述根据面阵式光照测量单元，对被测对象皮肤表面在不同预设条件下进行反射参数测量，分别获得被测对象皮肤表面在不同预设条件下各点的第一反射参数，包括：
根据所述面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第一预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第一图像，其中，第一预设条件为关闭所述灯源阵列组模块，且仅存在环境光照，一组第一图像中的一张第一图像基于左侧的面阵式光照测量单元获得，一组第一图像中的另一张第一图像基于右侧的面阵式光照测量单元获得；
根据所述面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第二预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第二图像，其中，第二预设条件为关闭所述灯源阵列组模块且仅存在环境光照的条件下，将偏振片设置在所述面阵式光照测量单元前，一组第二图像中的一张第二图像基于左侧的面阵式光照测量单元获得，一组第二图像中的另一张第二图像基于右侧的面阵式光照测量单元获得；
根据所述面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第三预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第三图像，其中，第三预设条件为环境光照保持不变，打开所述灯源阵列组模块，一组第三图像中的一张第三图像基于左侧的面阵式光照测量单元获得，一组第三图像中的另一张第三图像基于右侧的面阵式光照测量单元获得；
根据所述面阵式光照测量单元的左右对称设置结构，对被测对象皮肤表面的各个面部点在第四预设条件下进行反射参数测量，将测量结果以浮点图像的形式进行保存，获得至少一组用于表示被测对象皮肤表面第一反射光参数信息的第四图像，其中，第四预设条件为环境光照保持不变，打开所述灯源阵列组模块，且将偏振片设置在所述面阵式光照测量单元前，一组第四图像中的一张第四图像基于左侧的面阵式光照测量单元获得，一组第四图像中的另一张第四图像基于右侧的面阵式光照测量单元获得。
6.根据权利要求5所述的三维人脸参数测量方法，其特征在于，所述获得仅由灯源阵列组模块照射的被测对象图像以及被测对象皮肤表面各点的第二反射参数，包括：分别获得一组第一图像和一组第三图像；将分别对应的一张第一图像和一张第三图像进行减法运算，获得用于表示被测对象皮肤表面各点的第二反射参数信息的第五图像，其中，减法运算关系为被减数为第三图像对应的第一反射参数，减数为第一图像对应的第一反射参数。
7.根据权利要求6所述的三维人脸参数测量方法，其特征在于，所述基于所述第一反射参数和所述第二反射参数，获得仅由所述灯源阵列组模块产生的漫反射分量图像和镜面反射分量图像，包括：
分别获得一组所述第一图像、一组所述第二图像、一组所述第三图像、一组所述第四图像和一组所述第五图像；
将分别对应的一张所述第三图像和一张所述第四图像之间的差值确定为第一被减数，将分别对应的一张所述第一图像和一张所述第二图像之间的差值确定为第一减数，所述第一被减数与所述第一减数之间的差值确定为用于表示仅由所述灯源阵列组模块产生的镜面反射分量图像；
将分别对应的一张所述第五图像和所述镜面反射分量图像之间的差值确定为用于表示仅在所述灯源阵列组模块下产生的漫反射分量图像，其中，被减数为所述第五图像对应的第二反射参数，减数为所述镜面反射分量图像对应的镜面反射分量参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011601169.4A CN112687009B (zh) | 2020-12-29 | 2020-12-29 | 一种三维人脸表示方法及其参数测量装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011601169.4A CN112687009B (zh) | 2020-12-29 | 2020-12-29 | 一种三维人脸表示方法及其参数测量装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112687009A CN112687009A (zh) | 2021-04-20 |
| CN112687009B true CN112687009B (zh) | 2021-09-14 |
Family
ID=75454386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011601169.4A Expired - Fee Related CN112687009B (zh) | 2020-12-29 | 2020-12-29 | 一种三维人脸表示方法及其参数测量装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112687009B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115775303B (zh) * | 2023-02-13 | 2023-05-05 | 南京航空航天大学 | 一种基于深度学习与光照模型的高反光物体三维重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106327571A (zh) * | 2016-08-23 | 2017-01-11 | 北京的卢深视科技有限公司 | 一种三维人脸建模方法及装置 |
| CN110033509A (zh) * | 2019-03-22 | 2019-07-19 | 嘉兴超维信息技术有限公司 | 一种基于漫反射梯度偏振光构建三维人脸法线的方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3580779B2 (ja) * | 2001-02-21 | 2004-10-27 | 株式会社コナミコンピュータエンタテインメントジャパン | 画像の表現方法及びそれに用いるプログラム |
| CN107228625B (zh) * | 2017-06-01 | 2023-04-18 | 深度创新科技（深圳）有限公司 | 三维重建方法、装置及设备 |
| CN110647782A (zh) * | 2018-06-08 | 2020-01-03 | 北京信息科技大学 | 三维人脸重建与多姿态人脸识别方法及装置 |
| CN109919876B (zh) * | 2019-03-11 | 2020-09-01 | 四川川大智胜软件股份有限公司 | 一种三维真脸建模方法及三维真脸照相系统 |
| CN111951383A (zh) * | 2020-08-12 | 2020-11-17 | 北京鼎翰科技有限公司 | 一种人脸重建的方法 |
-
2020
- 2020-12-29 CN CN202011601169.4A patent/CN112687009B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106327571A (zh) * | 2016-08-23 | 2017-01-11 | 北京的卢深视科技有限公司 | 一种三维人脸建模方法及装置 |
| CN110033509A (zh) * | 2019-03-22 | 2019-07-19 | 嘉兴超维信息技术有限公司 | 一种基于漫反射梯度偏振光构建三维人脸法线的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112687009A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tunwattanapong et al. | Acquiring reflectance and shape from continuous spherical harmonic illumination | |
| KR100815503B1 (ko) | 물체의 기복을 측정하기 위한 방법 및 시스템 | |
| Kondo et al. | Accurate polarimetric BRDF for real polarization scene rendering | |
| CN111060023A (zh) | 一种高精度3d信息采集的设备及方法 | |
| CN114174783B (zh) | 用于创建具有改进的图像捕获的局部制剂的系统和方法 | |
| EP3492861B1 (en) | Image processing system and image processing method | |
| Fan et al. | Refractive laser triangulation and photometric stereo in underwater environment | |
| TR201811449T4 (tr) | Üç boyutlu nesnelerin doğrusal boyutlarını gözetlemek için yöntem. | |
| CN109341668A (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
| US20130044190A1 (en) | Three-dimensional model acquisition using planar mirrors | |
| CN112361989B (zh) | 一种通过点云均匀性考量测量系统标定参数的方法 | |
| CN112687009B (zh) | 一种三维人脸表示方法及其参数测量装置及方法 | |
| Gevaux et al. | Three-dimensional maps of human skin properties on full face with shadows using 3-D hyperspectral imaging | |
| CN103884294B (zh) | 一种宽视场的红外光三维形貌测量的方法及其装置 | |
| CN115115776A (zh) | 基于影子的单幅图像三维人体重建方法及装置 | |
| CN115359127A (zh) | 一种适用于多层介质环境下的偏振相机阵列标定方法 | |
| CN111208138A (zh) | 一种智能木料识别装置 | |
| CN201838001U (zh) | 计算机辅助图像分析下肢皮肤病变干预后疗效评价设备 | |
| Zhuang et al. | The influence of active projection speckle patterns on underwater binocular stereo vision 3D imaging | |
| Nogue et al. | Polarization-imaging Surface Reflectometry using Near-field Display. | |
| Simonot et al. | Modeling, measuring, and using BRDFs: significant French contributions | |
| Lavieri et al. | Image-based measurement system for regular waves in an offshore basin | |
| CN112149578B (zh) | 基于人脸三维模型的人脸皮肤材质计算方法、装置及设备 | |
| Bogdanov et al. | A BIDIRECTIONAL SCATTERING FUNCTION RECONSTRUCTION METHOD BASED ON OPTIMIZATION OF THE DISTRIBUTION OF MICRORELIEF NORMALS. | |
| Wu et al. | Simultaneous localization and mapping of medical burn areas based on binocular vision and capsule networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210914 |