CN115775303A - 一种基于深度学习与光照模型的高反光物体三维重建方法 - Google Patents

一种基于深度学习与光照模型的高反光物体三维重建方法 Download PDF

Info

Publication number
CN115775303A
CN115775303A CN202310106170.7A CN202310106170A CN115775303A CN 115775303 A CN115775303 A CN 115775303A CN 202310106170 A CN202310106170 A CN 202310106170A CN 115775303 A CN115775303 A CN 115775303A
Authority
CN
China
Prior art keywords
reflection
light
intensity
camera
high light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310106170.7A
Other languages
English (en)
Other versions
CN115775303B (zh
Inventor
汪俊
李超
李子宽
肖坤
易程
张沅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202310106170.7A priority Critical patent/CN115775303B/zh
Publication of CN115775303A publication Critical patent/CN115775303A/zh
Application granted granted Critical
Publication of CN115775303B publication Critical patent/CN115775303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及计算机三维视觉技术领域，解决了现有技术在某些情况下需要拍摄多张照片，降低测量效率、增加硬件复杂性的技术问题，尤其涉及一种基于深度学习与光照模型的高反光物体三维重建方法，包括以下步骤：S1、对测量系统进行系统标定完成参数优化得到优化后的测量系统；S2、采用优化后的测量系统对待测物体拍摄若干张曝光时间不同的多曝光图像，根据多曝光图像计算相机响应函数并获得传感器曝光量X与像素灰度值Z之间关系；S3、根据测量环境与待测物体的物理特性构建Blinn‑Phong光照模型；S4、构建高光反射光强剔除网络模型。本发明结合深度学习与光照模型，实现了高反光待测物体表面形貌信息的准确高效测量。

Description

一种基于深度学习与光照模型的高反光物体三维重建方法
技术领域
本发明涉及计算机三维视觉技术领域，尤其涉及一种基于深度学习与光照模型的高反光物体三维重建方法。
背景技术
结构光三维重建技术具有非接触、高精度等优势，可以在极短时间内获得待测物体精确的形貌信息，被广泛应用于三维视觉、缺陷检测、生物医学等领域中。面结构光作为结构光技术的一种，基于相位轮廓测量法，利用激光器将不同类型的光栅条纹图案投影至待测物体的表面，由相机拍摄经过待测物体高度信息调制之后的条纹图案，通过解算条纹图案中像素点灰度值的变化，经过相位提取、相位展开等过程获得待测物体空间位置，得到可以表示待测物体表面的点云数据。
结构光三维重建技术依赖图像中单个像素的信息，但是由于待测物体表面反射率变化范围较大及相机灰度范围有限等不足，处理包含有耀光导致的过饱和图像时仅可以获得靠近边缘轮廓部分的高度信息，得到的点云数据存在大面积的空洞，无法精确测量高反光表面的三维形貌。针对上述问题，可以使用三坐标测量机或喷涂薄粉末等方式，但上述方式存在效率低、精度差等问题，喷涂薄粉末则会导致测量的精度降低。此外，常用的方法有高动态范围技术，其通过多重曝光、调整投影图案强度、增加偏振片等方式获取高质量的光栅条纹图像，但是在某些情况下需要拍摄多张照片，降低测量效率、增加硬件复杂性等问题。
发明内容
针对现有技术的不足，本发明提供了一种基于深度学习与光照模型的高反光物体三维重建方法，解决了现有技术在某些情况下需要拍摄多张照片，降低测量效率、增加硬件复杂性的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：一种基于深度学习与光照模型的高反光物体三维重建方法，包括以下步骤：
S1、对测量系统进行系统标定完成参数优化得到优化后的测量系统；
S2、采用优化后的测量系统对待测物体拍摄若干张曝光时间不同的多曝光图像，根据多曝光图像计算相机响应函数并获得传感器曝光量X与像素灰度值Z之间关系；
S3、根据测量环境与待测物体的物理特性构建Blinn-Phong光照模型；
S4、构建高光反射光强剔除网络模型；
S5、根据多曝光图像投影相移图案、格雷码图案与纯色背景获得初始图像数据；
S6、将初始图像数据输入高光反射光强剔除网络模型剔除图像中高光部分，完成对待测物体表面形貌信息的三维重建。
进一步地，在步骤S1中，具体过程包括以下步骤：
S101、采用九宫格法采集相机所拍摄若干张包含有棋盘格的图像，采用张正友标定法对相机进行标定，获得相机自身内参矩阵M与外参矩阵N，并构建相机坐标系
Figure SMS_1
与世界坐标系
Figure SMS_2
之间的关系；
S102、根据包含有棋盘格的图像建立相机图像坐标系
Figure SMS_3
与投影仪图像坐标系
Figure SMS_4
之间的转换关系
Figure SMS_5
；
S103、使用多项式对转换关系
Figure SMS_6
进行拟合，消除相机与投影仪因镜头畸变导致的误差，获得矫正后的坐标
Figure SMS_7
；
S104、重复步骤S102和步骤S103获得棋盘格标定板上所有角点的投影仪图像坐标，然后使用张正友标定法标定投影仪获得投影仪自身内参矩阵
Figure SMS_8
与外参矩阵
Figure SMS_9
。
S105、使用测量过程的逆过程对测量系统的参数进行整体优化。
进一步地，测量系统由相机、投影仪、棋盘格和待测物体组成。
进一步地，在步骤S2中，具体过程包括以下步骤：
S201、根据传感器曝光量X与进入相机的实际辐照度E、曝光时间
Figure SMS_10
之间的关系确定第
Figure SMS_11
幅图像中的第
Figure SMS_12
像素的灰度值
Figure SMS_13
；
S202、根据灰度值
Figure SMS_14
和传感器曝光量X的反函数
Figure SMS_15
变换得到最小化能量函数O；
S203、增加像素灰度值Z的权重函数
Figure SMS_16
获得最终的能量函数，并建立相机响应函数。
进一步地，在步骤S3中，具体过程包括以下步骤：
S301、根据公式
Figure SMS_17
定量描述Blinn-Phong光照模型；
Figure SMS_18
上式中，
Figure SMS_19
分别表示Blinn-Phong光照模型中的环境光照强度、漫反射光照强度与高光反射光照强度，
Figure SMS_20
表示在距离光源距离为单位1的圆上接收到光的强度，
Figure SMS_21
表示某一位置到光源的距离，
Figure SMS_22
即代表距光源距离为
Figure SMS_23
部位接收到光的强度，
Figure SMS_24
表示漫反射系数，
Figure SMS_25
表示高光反射系数；
S302、对步骤S301中Blinn-Phong光照模型进行转换。
进一步地，在步骤S4中，具体过程包括以下步骤：
S401、建立高光反射去除数据集，并将高光反射去除数据集按照6：3：1的比例划分为训练集、测试集与验证集；
S402、将高光反射去除数据集的文件目录结构转化为PASCAL VOC数据集文件目录结构；
S403、搭建高光反射光强剔除网络模型，高光反射光强剔除网络模型的主体部分由两个模块组成：映射图计算模块和光照模型参数计算模块，映射图计算模块用于获取输入与输出图像之间映射图像；光照模型参数计算模块用于计算法向量
Figure SMS_26
、高光反射系数
Figure SMS_27
、高光范围控制系数
Figure SMS_28
与所受到的光强
Figure SMS_29
；
S404、确定高光反射光强剔除网络模型的损失函数
Figure SMS_30
；
S405、将训练集和验证集分别输入到高光反射光强剔除网络模型中进行高光反射光强
Figure SMS_31
的去除图像，最终输出不包含有高光反射光强
Figure SMS_32
的图像数据。
进一步地，在步骤S401中，具体过程包括以下步骤：
S4011、在测量系统中增加偏振光滤片，利用起偏器和检偏器消除高光表面反射对相机系统的影响，获取无高光反射的图像数据；
S4012、使用无偏振光滤片的测量系统进行数据采集，获得包含有高光反射的图像数据；
S4013、将无高光反射的图像数据和包含有高光反射的图像数据合并为高光反射去除数据集。
进一步地，在步骤S6中，具体过程包括以下步骤：
S601、采用四步相移法将初始图像数据生成四幅相移图案得到经过高度调制的条纹图；
S602、将条纹图输入到高光反射光强剔除网络模型中进行高光剔除，获得仅包括环境光照强度、漫反射光照强度的条纹图像数据；
S603、计算条纹图像数据的的绝对相位；
S604、将绝对相位转换为高度值，获得可以表示待测物体表面形貌信息的点云数据，完成对待测物体的三维重建。
借由上述技术方案，本发明提供了一种基于深度学习与光照模型的高反光物体三维重建方法，至少具备以下有益效果：
1、本发明适用于反射率在较大范围内变化的待测物表面，通过抑制图像过饱和现象，解决因其导致的点云数据空洞问题。同时，改善结构光重建中使用的高动态范围技术存在的效率低、硬件复杂等不足之处，提高光栅条纹投影结构光三维重建过程的稳定性。
2、本发明相比于多重曝光的HDR技术其在测量时需要拍摄较多张图像，降低了测量效率；使用偏振滤光片造成硬件设备的复杂，目前的方法均存在不同的不足之处。本发明通过结合深度学习与光照模型，通过深度学习网络模型确定光照模型，剔除图像中的高光反射光强，保留环境光强与漫反射光强，实现对高反光物体的快速、高精度重建。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明高反光物体三维重建方法的流程图；
图2为本发明Blinn-Phong光照模型的示意图；
图3为本发明高光反射光强剔除网络模型的结构示意图；
图4为本发明所用到的多步相移条纹图案的示意图；
图5为本发明所用到的互补格雷码图案的示意图；
图6为本发明格雷码解码过程将包裹相位展开为绝对相位的示意图。
实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1-图6，示出了本实施例的一种具体实施方式，本实施例为了解决高反光物体测量问题，结合深度学习与光照模型，实现了高反光待测物体表面形貌信息的准确高效测量，适用于反射率在较大范围内变化的待测物表面，通过抑制图像过饱和现象，解决因其导致的点云数据空洞问题。同时，改善结构光重建中使用的高动态范围技术存在的效率低、硬件复杂等不足之处，提高光栅条纹投影结构光三维重建过程的稳定性。
请参照图1，本实施例提出了一种基于深度学习与光照模型的高反光物体三维重建方法，该方法包括以下步骤：
S1、对测量系统进行系统标定完成参数优化得到优化后的测量系统。
具体的，从测量系统中能够获得相机与投影仪内、外参矩阵及相机与投影仪间位置关系，根据位置关系构建相机图像坐标系
Figure SMS_33
和待测物体上某点的相位、相位和世界坐标系
Figure SMS_34
之间的关系。
在步骤S1中，具体过程包括以下步骤：
S101、采用九宫格法采集相机所拍摄若干张包含有棋盘格的图像，采用张正友标定法对相机进行标定，获得相机自身内参矩阵M与外参矩阵N，并构建相机坐标系
Figure SMS_35
与世界坐标系
Figure SMS_36
之间的关系；
拍摄若干张包含有棋盘格的图像，本实施例中九宫格法采集若干张图片，即在每个角的不同角度拍摄3次图像，共拍摄27张图像；随后使用张正友标定法对相机进行标定，获得相机自身内参矩阵M与外参矩阵N，构建相机图像坐标系
Figure SMS_37
与世界坐标系
Figure SMS_38
之间的关系，同时获得畸变系数。
S102、根据包含有棋盘格的图像建立相机图像坐标系
Figure SMS_39
与投影仪图像坐标系
Figure SMS_40
之间的转换关系
Figure SMS_41
；
具体的，选择棋盘格标定板投影图案上的角点作为建立两个坐标系的桥梁，即相机图像坐标系
Figure SMS_42
与投影仪图像坐标系
Figure SMS_43
，可得
Figure SMS_44
，其中
Figure SMS_45
表示棋盘格某角点在投影仪图像坐标系下坐标，
Figure SMS_46
表示相机拍摄到的经投影仪投影后棋盘格对应角点在相机坐标系下坐标，
Figure SMS_47
表示两个坐标系之间的转换关系。
S103、使用多项式对转换关系
Figure SMS_48
进行拟合，消除相机与投影仪因镜头畸变导致的误差，获得矫正后的坐标
Figure SMS_49
；
矫正后的坐标
Figure SMS_50
表示为：
Figure SMS_51
；
Figure SMS_52
；
Figure SMS_53
；
上式中，
Figure SMS_54
和
Figure SMS_55
表示在像素坐标系
Figure SMS_56
轴和
Figure SMS_57
轴两个方向上需要补偿的误差量，
Figure SMS_58
与
Figure SMS_59
表示误差补偿系数。
S104、重复步骤S102和步骤S103获得棋盘格标定板上所有角点的投影仪图像坐标，然后使用张正友标定法标定投影仪获得投影仪自身内参矩阵
Figure SMS_60
与外参矩阵
Figure SMS_61
。
S105、使用测量过程的逆过程对测量系统的参数进行整体优化，即根据棋盘格标定板上角点的投影仪图像坐标系
Figure SMS_62
中的坐标
Figure SMS_63
，使用莱文贝格-马夸特非线性最小化方法对相机图像坐标系
Figure SMS_64
中的坐标
Figure SMS_65
与世界坐标系
Figure SMS_66
中的空间坐标
Figure SMS_67
涉及到的投影仪、相机内参矩阵进行参数优化。
其中，测量系统由相机、投影仪、棋盘格和待测物体组成。
S2、采用优化后的测量系统对待测物体拍摄若干张曝光时间不同的多曝光图像，根据多曝光图像计算相机响应函数并获得传感器曝光量X与像素灰度值Z之间关系。
在步骤S2中，具体过程包括以下步骤：
S201、根据传感器曝光量X与进入相机的实际辐照度E、曝光时间
Figure SMS_68
之间的关系确定第
Figure SMS_69
幅图像中的第
Figure SMS_70
像素的灰度值
Figure SMS_71
；
根据传感器曝光量X与进入相机的实际辐照度E、曝光时间
Figure SMS_72
之间的关系可用
Figure SMS_73
表示，因此第
Figure SMS_74
幅图像中的第
Figure SMS_75
像素的灰度值为
Figure SMS_76
；由于在拍摄过程中测量环境中光照条件保持稳定，因此对于单个像素而言，辐照度
Figure SMS_77
保持不变。
S202、根据灰度值
Figure SMS_78
和传感器曝光量X的反函数
Figure SMS_79
变换得到最小化能量函数O；
取上述灰度值
Figure SMS_80
和传感器曝光量X的反函数
Figure SMS_81
，变换得到如下的最小化能量函数O：
Figure SMS_82
上式中，
Figure SMS_83
，
Figure SMS_84
表示曝光时间，
Figure SMS_85
表示
Figure SMS_86
的二阶导数。
上式中，第一项为最小二乘误差；第二项为反向映射函数的二阶倒数，用于柔顺曲线，
Figure SMS_87
作为柔顺系数确定对曲线的柔顺程度；N表示其中像素的个数；P表示曝光的次数即图像的数量。
S203、增加像素灰度值Z的权重函数
Figure SMS_88
获得最终的能量函数，并建立相机响应函数；
权重函数
Figure SMS_89
为：
Figure SMS_90
；
增加权重函数
Figure SMS_91
，保证图像最终的灰度值落在较稳定的区间100-150内，获得最终的能量函数
Figure SMS_92
，使用奇异值分解方法可求解下式未知参数，建立相机响应函数。
最终的能量函数
Figure SMS_93
为：
Figure SMS_94
；
S3、根据测量环境与待测物体物理特性构建Blinn-Phong光照模型，确定测量场景中的环境光照强度、漫反射光照强度与高光反射光照强度对进入相机光线的光线强度的贡献度；
如图2所示，为Blinn-Phong光照模型的示意图，其中的向量均为单位向量，
Figure SMS_95
表示观察方向，
Figure SMS_96
表示待测物体在某一点的法线方向，
Figure SMS_97
表示光线方向，
Figure SMS_98
表示入射光经物体表面后反射光线方向。在本实施例中，
Figure SMS_99
表示单目结构光中的相机光轴方向，
Figure SMS_100
表示投影仪光轴所在方向。
在步骤S3中，具体过程包括以下步骤：
S301、根据公式
Figure SMS_101
定量描述Blinn-Phong光照模型；
Figure SMS_102
；
上式中，
Figure SMS_103
分别表示Blinn-Phong光照模型中的环境光照强度、漫反射光照强度与高光反射光照强度，
Figure SMS_109
表示在距离光源距离为单位1的圆上接收到光的强度，
Figure SMS_111
表示某一位置到光源的距离，
Figure SMS_105
即代表距光源距离为
Figure SMS_107
部位接收到光的强度。
Figure SMS_108
表示漫反射系数，
Figure SMS_110
表示高光反射系数，本实施例中将
Figure SMS_104
设为0.65，
Figure SMS_106
值用于控制高光反射面积的大小于可观测到的高光范围。
S302、对步骤S301中Blinn-Phong光照模型进行转换；
由于本实施例中使用的是单目结构光限制，上述由公式
Figure SMS_112
定量描述的Blinn-Phong光照模型中的投影仪光轴方向
Figure SMS_113
与物体表面法线方向
Figure SMS_114
、相机光轴方向
Figure SMS_115
与反射光线方向
Figure SMS_116
之间的夹角均小于90度，因此可将上述Blinn-Phong光照模型转换为：
Figure SMS_117
上式中，
Figure SMS_118
。
S4、构建高光反射光强剔除网络模型，基于相机响应函数与Blinn-Phong光照模型剔除图像数据中的高光反射部分
Figure SMS_119
，保留环境光强
Figure SMS_120
与漫反射光强
Figure SMS_121
，利用相机响应函数将剔除高光反射光强
Figure SMS_122
的光强转换为图像像素值，即获得去除过饱和后的图像；
在步骤S4中，具体过程包括以下步骤：
S401、建立高光反射去除数据集，并将高光反射去除数据集按照6：3：1的比例划分为训练集、测试集与验证集；
在步骤S401中，具体过程包括以下步骤：
S4011、在测量系统中增加偏振光滤片，利用起偏器和检偏器消除高光表面反射对相机系统的影响，获取无高光反射的图像数据；
S4012、使用无偏振光滤片的测量系统进行数据采集，获得包含有高光反射的图像数据；
S4013、将无高光反射的图像数据和包含有高光反射的图像数据合并为高光反射去除数据集。
在本实施例中，分别采集3000张包含有高光反射的图像数据与无高光反射的图像数据。
S402、将高光反射去除数据集的文件目录结构转化为PASCAL VOC数据集文件目录结构；
S403、搭建高光反射光强剔除网络模型，高光反射光强剔除网络模型的主体部分由两个模块组成：映射图计算模块和光照模型参数计算模块，映射图计算模块用于获取输入与输出图像之间映射图像；光照模型参数计算模块用于计算法向量
Figure SMS_123
、高光反射系数
Figure SMS_124
、高光范围控制系数
Figure SMS_125
与所受到的光强
Figure SMS_126
；
S404、确定高光反射光强剔除网络模型的损失函数
Figure SMS_127
；
Figure SMS_128
；
上式中，
Figure SMS_129
由边缘损失组成，
Figure SMS_130
为预测Blinn-Phong光照模型参数的损失函数，为
Figure SMS_131
损失函数，
Figure SMS_132
表示对应的权重系数，在本实施例中分别取值为1、0.5、0.8。具体的，
Figure SMS_133
为：
Figure SMS_134
Figure SMS_135
损失函数可由下式表示，即
Figure SMS_136
：
Figure SMS_137
上式中，
Figure SMS_138
表示输入的图像数据，
Figure SMS_139
表示网络模型生成的transmission map。
Figure SMS_140
表示双向梯度损失，具体如下：
Figure SMS_141
上式中，
Figure SMS_142
和
Figure SMS_143
分别表示在水平和竖直两方向上计算梯度，
Figure SMS_144
，
Figure SMS_145
表示网络模型输出特征图的宽度和高度，
Figure SMS_146
表示输入的图像数据。
Figure SMS_147
表示特征损失，具体如下：
Figure SMS_148
上式中，
Figure SMS_150
表示输入的图像数据，
Figure SMS_152
、
Figure SMS_153
表示网络结构中
Figure SMS_149
和
Figure SMS_154
的边界提取器，
Figure SMS_155
、
Figure SMS_156
、
Figure SMS_151
表示对应特征图的通道数、宽度和高度。
S405、将训练集和验证集分别输入到高光反射光强剔除网络模型中进行高光反射光强
Figure SMS_157
的去除图像，最终输出不包含有高光反射光强
Figure SMS_158
的图像数据。
S5、根据多曝光图像投影相移图案、格雷码图案与纯色背景获得初始图像数据。
S6、将初始图像数据输入高光反射光强剔除网络模型剔除图像中高光部分，完成对待测物体表面形貌信息的三维重建。
在步骤S6中，具体过程包括以下步骤：
S601、采用四步相移法将初始图像数据生成四幅相移图案得到经过高度调制的条纹图；
具体的，利用公式
Figure SMS_159
将初始图像数据生成相移图案，本实施例使用四步相移，因此其中N=4，即投影四幅相移图。其中，
Figure SMS_160
表示待测物表面上条纹图案的光强，
Figure SMS_161
表示相移图案背景光强大小，
Figure SMS_162
表示调制强度，
Figure SMS_163
表示待求解条纹图像的截断相位，投影如图5所示的格雷码图案并使用工业相机采集。
S602、将条纹图输入到高光反射光强剔除网络模型中进行高光剔除，获得仅包括环境光照强度、漫反射光照强度的条纹图像数据；
S603、计算条纹图像数据的的绝对相位；
具体的，基于公式
Figure SMS_164
对处理后的四幅受高度调制的条纹图计算绝对相位，即计算条纹图像数据的的绝对相位，基于如图6所示的格雷码解码过程将包裹相位展开为绝对相位，绝对相位表达式
Figure SMS_165
，
Figure SMS_166
表示绝对相位，
Figure SMS_167
表示相位主值，
Figure SMS_168
表示各类码解码相位级次。
S604、将绝对相位转换为高度值，获得可以表示待测物体表面形貌信息的点云数据，完成对待测物体的三维重建。
具体的，利用下述公式将绝对相位转换为高度值（相对于标定平面），获得可以表示待测物表面形貌信息的点云数据，完成对待测物的三维重建。
Figure SMS_169
其中，
Figure SMS_170
、
Figure SMS_171
为测量系统的固有参数（通过相机标定、投影仪标定与测量系统标定获得），
Figure SMS_172
表示条纹图案中条纹的像素周期长度，
Figure SMS_173
表示测量系统与参考平面间距离，
Figure SMS_174
表示相机与投影仪之间距离，
Figure SMS_175
表示上述步骤S503中的绝对相位。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于深度学习与光照模型的高反光物体三维重建方法，其特征在于，包括以下步骤：
S1、对测量系统进行系统标定完成参数优化得到优化后的测量系统；
S2、采用优化后的测量系统对待测物体拍摄若干张曝光时间不同的多曝光图像，根据多曝光图像计算相机响应函数并获得传感器曝光量X与像素灰度值Z之间关系；
S3、根据测量环境与待测物体的物理特性构建Blinn-Phong光照模型；
S4、构建高光反射光强剔除网络模型；
S5、根据多曝光图像投影相移图案、格雷码图案与纯色背景获得初始图像数据；
S6、将初始图像数据输入高光反射光强剔除网络模型剔除图像中高光部分，完成对待测物体表面形貌信息的三维重建。
2.根据权利要求1所述的高反光物体三维重建方法，其特征在于：在步骤S1中，具体过程包括以下步骤：
S101、采用九宫格法采集相机所拍摄若干张包含有棋盘格的图像，采用张正友标定法对相机进行标定，获得相机自身内参矩阵M与外参矩阵N，并构建相机坐标系
Figure QLYQS_1
与世界坐标系
Figure QLYQS_2
之间的关系；
S102、根据包含有棋盘格的图像建立相机图像坐标系
Figure QLYQS_3
与投影仪图像坐标系
Figure QLYQS_4
之间的转换关系
Figure QLYQS_5
；
S103、使用多项式对转换关系
Figure QLYQS_6
进行拟合，消除相机与投影仪因镜头畸变导致的误差，获得矫正后的坐标
Figure QLYQS_7
；
S104、重复步骤S102和步骤S103获得棋盘格标定板上所有角点的投影仪图像坐标，然后使用张正友标定法标定投影仪获得投影仪自身内参矩阵
Figure QLYQS_8
与外参矩阵
Figure QLYQS_9
；
S105、使用测量过程的逆过程对测量系统的参数进行整体优化。
3.根据权利要求1所述的高反光物体三维重建方法，其特征在于：测量系统由相机、投影仪、棋盘格和待测物体组成。
4.根据权利要求1所述的高反光物体三维重建方法，其特征在于：在步骤S2中，具体过程包括以下步骤：
S201、根据传感器曝光量X与进入相机的实际辐照度E、曝光时间
Figure QLYQS_10
之间的关系确定第
Figure QLYQS_11
幅图像中的第
Figure QLYQS_12
像素的灰度值
Figure QLYQS_13
；
S202、根据灰度值
Figure QLYQS_14
和传感器曝光量X的反函数
Figure QLYQS_15
变换得到最小化能量函数O；
S203、增加像素灰度值Z的权重函数
Figure QLYQS_16
获得最终的能量函数，并建立相机响应函数。
5.根据权利要求1所述的高反光物体三维重建方法，其特征在于：在步骤S3中，具体过程包括以下步骤：
S301、根据公式
Figure QLYQS_17
定量描述Blinn-Phong光照模型；
Figure QLYQS_18
上式中，
Figure QLYQS_19
分别表示Blinn-Phong光照模型中的环境光照强度、漫反射光照强度与高光反射光照强度，
Figure QLYQS_20
表示在距离光源距离为单位1的圆上接收到光的强度，r表示某一位置到光源的距离，
Figure QLYQS_21
即代表距光源距离为
Figure QLYQS_22
部位接收到光的强度，
Figure QLYQS_23
表示漫反射系数，
Figure QLYQS_24
表示高光反射系数；
S302、对步骤S301中Blinn-Phong光照模型进行转换。
6.根据权利要求1所述的高反光物体三维重建方法，其特征在于：在步骤S4中，具体过程包括以下步骤：
S401、建立高光反射去除数据集，并将高光反射去除数据集按照6：3：1的比例划分为训练集、测试集与验证集；
S402、将高光反射去除数据集的文件目录结构转化为PASCAL VOC数据集文件目录结构；
S403、搭建高光反射光强剔除网络模型，高光反射光强剔除网络模型的主体部分由两个模块组成：映射图计算模块和光照模型参数计算模块，映射图计算模块用于获取输入与输出图像之间映射图像；光照模型参数计算模块用于计算法向量
Figure QLYQS_25
、高光反射系数
Figure QLYQS_26
、高光范围控制系数
Figure QLYQS_27
与所受到的光强
Figure QLYQS_28
；
S404、确定高光反射光强剔除网络模型的损失函数
Figure QLYQS_29
；
S405、将训练集和验证集分别输入到高光反射光强剔除网络模型中进行高光反射光强
Figure QLYQS_30
的去除图像，最终输出不包含有高光反射光强
Figure QLYQS_31
的图像数据。
7.根据权利要求6所述的高反光物体三维重建方法，其特征在于：在步骤S401中，具体过程包括以下步骤：
S4011、在测量系统中增加偏振光滤片，利用起偏器和检偏器消除高光表面反射对相机系统的影响，获取无高光反射的图像数据；
S4012、使用无偏振光滤片的测量系统进行数据采集，获得包含有高光反射的图像数据；
S4013、将无高光反射的图像数据和包含有高光反射的图像数据合并为高光反射去除数据集。
8.根据权利要求1所述的高反光物体三维重建方法，其特征在于：在步骤S6中，具体过程包括以下步骤：
S601、采用四步相移法将初始图像数据生成四幅相移图案得到经过高度调制的条纹图；
S602、将条纹图输入到高光反射光强剔除网络模型中进行高光剔除，获得仅包括环境光照强度、漫反射光照强度的条纹图像数据；
S603、计算条纹图像数据的的绝对相位；
S604、将绝对相位转换为高度值，获得可以表示待测物体表面形貌信息的点云数据，完成对待测物体的三维重建。
CN202310106170.7A 2023-02-13 2023-02-13 一种基于深度学习与光照模型的高反光物体三维重建方法 Active CN115775303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310106170.7A CN115775303B (zh) 2023-02-13 2023-02-13 一种基于深度学习与光照模型的高反光物体三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310106170.7A CN115775303B (zh) 2023-02-13 2023-02-13 一种基于深度学习与光照模型的高反光物体三维重建方法

Publications (2)

Publication Number Publication Date
CN115775303A true CN115775303A (zh) 2023-03-10
CN115775303B CN115775303B (zh) 2023-05-05

Family

ID=85393648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310106170.7A Active CN115775303B (zh) 2023-02-13 2023-02-13 一种基于深度学习与光照模型的高反光物体三维重建方法

Country Status (1)

Country Link
CN (1) CN115775303B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116707019A (zh) * 2023-05-12 2023-09-05 云南电网有限责任公司信息中心 一种日前电力市场的电量分配方法、系统及计算机设备
CN116958292A (zh) * 2023-06-15 2023-10-27 湖南视比特机器人有限公司 一种面向光滑物体面型重建的偏折成像方法
CN117190910A (zh) * 2023-09-05 2023-12-08 南京信息工程大学 一种多元格雷相位编码的高频条纹解包裹方法
CN117809202A (zh) * 2024-02-28 2024-04-02 中国地质大学（武汉） 一种双模态目标检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046743A (zh) * 2015-07-01 2015-11-11 浙江大学 一种基于全局变分技术的超高分辨率三维重建方法
CN108597012A (zh) * 2018-04-16 2018-09-28 北京工业大学 一种基于cuda的医学图像的三维重建方法
CN111340936A (zh) * 2020-02-17 2020-06-26 西安电子科技大学 一种基于偏振漫反射分离的被动三维重建方法
CN111951377A (zh) * 2020-07-31 2020-11-17 中国科学院深圳先进技术研究院 三维对象重建方法及终端设备
CN111951376A (zh) * 2020-07-28 2020-11-17 中国科学院深圳先进技术研究院 融合结构光和光度学的三维对象重建方法及终端设备
CN112687009A (zh) * 2020-12-29 2021-04-20 四川大学 一种三维人脸表示方法及其参数测量装置及方法
CN113052953A (zh) * 2021-04-16 2021-06-29 南京大学 基于变化光源人脸图像的人脸本质参数确定方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046743A (zh) * 2015-07-01 2015-11-11 浙江大学 一种基于全局变分技术的超高分辨率三维重建方法
CN108597012A (zh) * 2018-04-16 2018-09-28 北京工业大学 一种基于cuda的医学图像的三维重建方法
CN111340936A (zh) * 2020-02-17 2020-06-26 西安电子科技大学 一种基于偏振漫反射分离的被动三维重建方法
CN111951376A (zh) * 2020-07-28 2020-11-17 中国科学院深圳先进技术研究院 融合结构光和光度学的三维对象重建方法及终端设备
CN111951377A (zh) * 2020-07-31 2020-11-17 中国科学院深圳先进技术研究院 三维对象重建方法及终端设备
CN112687009A (zh) * 2020-12-29 2021-04-20 四川大学 一种三维人脸表示方法及其参数测量装置及方法
CN113052953A (zh) * 2021-04-16 2021-06-29 南京大学 基于变化光源人脸图像的人脸本质参数确定方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NIETO等: "Robust Point Light Source Estimation Using Differentiable Rendering" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116707019A (zh) * 2023-05-12 2023-09-05 云南电网有限责任公司信息中心 一种日前电力市场的电量分配方法、系统及计算机设备
CN116707019B (zh) * 2023-05-12 2024-01-26 云南电网有限责任公司信息中心 一种日前电力市场的电量分配方法、系统及计算机设备
CN116958292A (zh) * 2023-06-15 2023-10-27 湖南视比特机器人有限公司 一种面向光滑物体面型重建的偏折成像方法
CN117190910A (zh) * 2023-09-05 2023-12-08 南京信息工程大学 一种多元格雷相位编码的高频条纹解包裹方法
CN117190910B (zh) * 2023-09-05 2024-04-05 南京信息工程大学 一种多元格雷相位编码的高频条纹解包裹方法
CN117809202A (zh) * 2024-02-28 2024-04-02 中国地质大学（武汉） 一种双模态目标检测方法及系统

Also Published As

Publication number Publication date
CN115775303B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
Feng et al. Calibration of fringe projection profilometry: A comparative review
CN115775303A (zh) 一种基于深度学习与光照模型的高反光物体三维重建方法
Hu et al. Microscopic fringe projection profilometry: A review
CN110514143B (zh) 一种基于反射镜的条纹投影系统标定方法
CN107110637B (zh) 对三维测量系统的校准进行更新
CN107063129B (zh) 一种阵列式并行激光投影三维扫描方法
CN110207614B (zh) 一种基于双远心相机匹配的高分辨高精度测量系统及方法
Zappa et al. Static and dynamic features of Fourier transform profilometry: A review
CN106989689B (zh) 大口径平面光学元件面形的子孔径拼接检测方法
Zhao et al. Calibration for stereo vision system based on phase matching and bundle adjustment algorithm
CN108171758B (zh) 基于最小光程原理和透明玻璃标定板的多相机标定方法
CN108362226B (zh) 提高图像过曝区域相位测量精度的双四步相移法
CN112967342B (zh) 一种高精度三维重建方法、系统、计算机设备及存储介质
Zhongdong et al. 3D laser scanner system using high dynamic range imaging
CN111238403A (zh) 一种基于光场子孔径条纹图像的三维重建方法及装置
CN112489109B (zh) 一种三维成像系统方法、装置及三维成像系统
JP6989276B2 (ja) 位置計測装置
CN113251953B (zh) 一种基于立体偏折技术的镜面夹角测量装置和方法
Wang Three-dimensional surface imaging by multi-frequency phase shift profilometry with angle and pattern modeling for system calibration
Chen et al. Finding optimal focusing distance and edge blur distribution for weakly calibrated 3-D vision
Zhang et al. Iterative projector calibration using multi-frequency phase-shifting method
CN108413893B (zh) 一种散斑偏折术检测平面元件面形的方法与装置
CN111121664A (zh) 一种类干涉镜面面型检测方法
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
CN116518869A (zh) 基于光度立体和双目结构光的金属表面测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant