CN112697071A - 一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法 - Google Patents
一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法 Download PDFInfo
- Publication number
- CN112697071A CN112697071A CN202011286474.9A CN202011286474A CN112697071A CN 112697071 A CN112697071 A CN 112697071A CN 202011286474 A CN202011286474 A CN 202011286474A CN 112697071 A CN112697071 A CN 112697071A
- Authority
- CN
- China
- Prior art keywords
- image
- shadow
- background
- stripe
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法,首先通过投影仪向参考平面投射彩色结构光,利用彩色CCD相机获取具有彩色结构光条纹的背景图像,接着将被测物放置参考平面上方,并利用彩色CCD相机获取具有彩色结构光条纹的被测物条纹图像,然后彩色CCD相机将背景图像和被测物图像传输至计算机,计算机对以上图像进行阴影检测和消除各通道的串扰,接着进行阴影补偿,最后利用三步相移法和相位‑高度映射关系得到被测物的三维测量数据。本发明有效减少了所需投影帧数,并且通过阴影检测和阴影补偿,有效避免了测量过程中的阴影干扰的影响,从而提高了采用结构光方式测量的速度与鲁棒性。
Description
技术领域
本发明涉及结构光三维测量的技术领域,尤其涉及到一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法。
背景技术
随着计算机视觉的迅速发展,三维重建已成为计算机视觉的核心研究方向。三维重建是指对某些三维物体或者三维场景的一种恢复和重构,重建出来的模型,方便计算机表示和处理。在实际重建过程中,三维重建是对三维空间中的物体、场景和人体等图像描述的一种逆过程,由二维的图像还原出三维的立体物体、场景和动态人体。因此三维重建是在计算机中建立表达客观世界的虚拟现实的关键技术。
基于结构光的三维重建在现代工业检测、测绘、智能制造、逆向工程等行业有着广泛的应用。在结构光三维测量的工业应用中,被测物表面不连续是非常常见的。然而,物体的不连续区域会产生阴影,阴影区域意味着丢失了正常的结构光信息,因此严重影响相位解包裹的准确性。常用的空域相位解包裹方法虽然测量速度快,只需3帧条纹图像即可恢复三维形貌,但鲁棒性较差。在带有阴影干扰的情况下,传统空域测量方法无法正确提取相位,并且会引起严重的误差扩散,最终无法恢复正常三维形貌。然而,时域相位解包裹方法虽然可以提高鲁棒性,但其需要增加大量投影张数,严重降低了测量效率。因此,尽可能减少投影帧数和解决阴影干扰问题是提高结构光方式测量的速度和鲁棒性的重要研究方向。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于深度神经网络DenseNet阴影补偿的彩色结构光投影三维测量方法,此方法较传统的相位编码的三维测量方法,所需帧数更少,从而提高三维测量速度;通过阴影检测和阴影补偿可以有效解决阴影干扰问题,从而提高三维测量的鲁棒性。因此,该方法适用于实时动态的三维测量场合。
为实现上述目的,本发明所提供的技术方案为:
一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法,首先通过投影仪向参考平面投射彩色结构光,利用彩色CCD相机获取具有彩色结构光条纹的背景图像,接着将被测物放置参考平面上方,并利用彩色CCD相机获取具有彩色结构光条纹的被测物条纹图像,然后彩色CCD相机将背景图像和被测物图像传输至计算机,计算机对以上图像进行阴影检测和消除各通道的串扰,接着进行阴影补偿,最后利用三步相移法和相位-高度映射关系得到被测物的三维测量数据。
进一步地,包括以下步骤:
S1、对三维测量系统进行标定,得到a,b,c标定参数;
S3、将被测物置于参考平面上方,投影仪向被测物投射与步骤S2中所述的彩色正弦条纹结构光,并用彩色CCD相机采集一帧被测物条纹图像object;
S4、将被测物条纹图像object输入到DenseNet阴影检测网络,其输出为标记阴影区域的二值掩膜图像shadow,其中阴影像素的值为1,非阴影像素的值为0;
S5、背景条纹图像background和被测物条纹图像object通过补偿公式消除各通道的串扰,然后矫正各个通道的强度;
S6、利用背景条纹图像background、被测物条纹图像object和标记阴影区域的二值掩膜图像shadow进行阴影补偿处理,得到补偿后被测物图像object_c;
其中,IR、IG、IB分别为图像红、绿、蓝通道的像素灰度值矩阵,I(x,y)为图像中第x行第y列的像素灰度值,k为条纹级数;其相位差可表示为:
S8、根据相位-高度映射公式:
上式中,a,b,c为标定参数,可得到被测物表面的高度信息。
进一步地,所述步骤S4将被测物条纹图像object输入到DenseNet阴影检测网络进行检测的具体过程如下:
S4-1、利用DenseNet网络从输入图像中提取四种不同尺寸的卷积特征;
S4-2、嵌入方向感知上下文模块,分别为步骤4-1所述四种不同尺寸的特征生成方向感知上下文特征;
S4-3、将步骤4-2所述的每层方向感知上下文特征与其对应卷积特征拼接起来,然后将拼接后的特征进行卷积核尺寸为1×1的卷积操作并上采样成与输入图像大小相同;
S4-4、利用深度监督机制对步骤4-3所述的拼接后特征生成预测的阴影掩膜图,并融合得到最终的阴影掩膜图;在训练网络时,使用交叉熵损失函数进行训练。
进一步地,所述步骤S4-2的具体过程如下:
S4-2-1、将输入的特征进行卷积核尺寸为1×1的卷积操作,并利用IRNN模块产生上、下、左、右方向的特征;
S4-2-2、将步骤S4-2-1所述方向特征拼接起来,进行卷积核尺寸为1×1的卷积操作;
S4-2-3、进行卷积核尺寸为1×1的卷积操作,然后执行ReLU非线性运算,生成方向感知上下文特征。
进一步地,所述步骤S6利用背景条纹图像background、被测物条纹图像object和标记阴影区域的二值掩膜图像shadow进行阴影补偿处理,得到补偿后被测物图像object_c的具体过程如下:
S6-1、对二值掩膜图像shadow取反得到反向图像shadow_inv;
S6-2、用二值掩膜图像shadow与背景条纹图像background的各通道分别进行图像代数乘法运算,得到阴影背景条纹图像background_new;
S6-3、用反向图像shadow_inv与被测物条纹图像object的各通道分别进行图像代数乘法运算,得到无阴影被测物图像object_new;
S6-4、用阴影背景条纹图像background_new与无阴影被测物图像object_new进行图像代数加法运算,最后得到阴影补偿后被测物图像object_c。
与现有技术相比,本方案原理及优点如下:
本方案通过彩色结构光投影方式进行三维测量,有效减少了所需投影帧数,并且通过阴影检测和阴影补偿,有效避免了测量过程中的阴影干扰的影响,从而提高了采用结构光方式测量的速度与鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法采用到的三维测量系统;
图2为被测物条纹图像;
图3为二值掩膜图像;
图4为基于DenseNet阴影检测网络的结构图;
图5为方向感知上下文模块的结构图。
具体实施方式
下面结合具体实施例对本发明作进一步说明:
而在此之前,先对本发明实施例所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法采用到的三维测量系统作具体说明:
如图1所示,彩色结构光投影三维测量系统包括投影仪1、彩色CCD相机2、计算机3、被测物4、参考平面5;投影仪1和彩色CCD相机分别通过数据线连接计算机3;投影仪1与彩色CCD相机2在同一高度,它们间的距离为d,它们到参考平面的距离为L。
本发明实施例所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法的工作原理如下:
首先通过投影仪1向参考平面5投射彩色结构光,利用彩色CCD相机2获取具有彩色结构光条纹的背景图像,接着将被测物4放置参考平面5上方,并利用彩色CCD相机2获取具有彩色结构光条纹的被测物条纹图像,然后彩色CCD相机2将背景图像和被测物图像传输至计算机3,计算机3对以上图像进行阴影检测和消除各通道的串扰,接着进行阴影补偿,最后利用三步相移法和相位-高度映射关系得到被测物的三维测量数据。
具体的工作步骤如下:
S1、对三维测量系统进行标定,得到a,b,c标定参数;
其中x为投影仪水平方向的像素,p为条纹间距;并用彩色CCD相机2采集一帧背景条纹图像background;
S3、将被测物4置于参考平面5上方,投影仪1向被测物4投射与步骤S2中所述的彩色正弦条纹结构光,并用彩色CCD相机2采集一帧如图2所示的被测物条纹图像object;
S4、将被测物条纹图像object输入到如图4所示的DenseNet阴影检测网络,其输出为如图3所示的标记阴影区域的二值掩膜图像shadow,其中阴影像素的值为1,非阴影像素的值为0;
其中,将被测物条纹图像object输入到DenseNet阴影检测网络进行检测的具体过程如下:
S4-1、利用DenseNet网络从输入图像中提取四种不同尺寸的卷积特征;
S4-2、嵌入如图5所示的方向感知上下文模块,分别为步骤4-1所述四种不同尺寸的特征生成方向感知上下文特征,具体包括:
S4-2-1、将输入的特征进行卷积核尺寸为1×1的卷积操作,并利用IRNN模块产生上、下、左、右方向的特征;
S4-2-2、将步骤S4-2-1所述方向特征拼接起来,进行卷积核尺寸为1×1的卷积操作;
S4-2-3、进行卷积核尺寸为1×1的卷积操作,然后执行ReLU非线性运算,生成方向感知上下文特征;
S4-3、将步骤4-2所述的每层方向感知上下文特征与其对应卷积特征拼接起来,然后将拼接后的特征进行卷积核尺寸为1×1的卷积操作并上采样成与输入图像大小相同;
S4-4、利用深度监督机制对步骤4-3所述的拼接后特征生成预测的阴影掩膜图,并融合得到最终的阴影掩膜图;在训练网络时,使用交叉熵损失函数进行训练;
S5、背景条纹图像background和被测物条纹图像object通过补偿公式消除各通道的串扰,然后矫正各个通道的强度;
S6、利用背景条纹图像background、被测物条纹图像object和标记阴影区域的二值掩膜图像shadow进行阴影补偿处理,得到补偿后被测物图像object_c;
本步骤的具体过程如下:
S6-1、对二值掩膜图像shadow取反得到反向图像shadow_inv;
S6-2、用二值掩膜图像shadow与背景条纹图像background的各通道分别进行图像代数乘法运算,得到阴影背景条纹图像background_new;
S6-3、用反向图像shadow_inv与被测物条纹图像object的各通道分别进行图像代数乘法运算,得到无阴影被测物图像object_new;
S6-4、用阴影背景条纹图像background_new与无阴影被测物图像object_new进行图像代数加法运算,最后得到阴影补偿后被测物图像object_c。
其中,IR、IG、IB分别为图像红、绿、蓝通道的像素灰度值矩阵,I(x,y)为图像中第x行第y列的像素灰度值,k为条纹级数;其相位差可表示为:
S8、根据相位-高度映射公式:
上式中,a,b,c为标定参数,可得到被测物表面的高度信息。
以上所述之实施例子只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。
Claims (5)
1.一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法,其特征在于,首先通过投影仪向参考平面投射彩色结构光,利用彩色CCD相机获取具有彩色结构光条纹的背景图像,接着将被测物放置参考平面上方,并利用彩色CCD相机获取具有彩色结构光条纹的被测物条纹图像,然后彩色CCD相机将背景图像和被测物图像传输至计算机,计算机对以上图像进行阴影检测和消除各通道的串扰,接着进行阴影补偿,最后利用三步相移法和相位-高度映射关系得到被测物的三维测量数据。
2.根据权利要求1所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法,其特征在于,包括以下步骤:
S1、对三维测量系统进行标定,得到a,b,c标定参数;
S3、将被测物置于参考平面上方,投影仪向被测物投射与步骤S2中所述的彩色正弦条纹结构光,并用彩色CCD相机采集一帧被测物条纹图像object;
S4、将被测物条纹图像object输入到DenseNet阴影检测网络,其输出为标记阴影区域的二值掩膜图像shadow,其中阴影像素的值为1,非阴影像素的值为0;
S5、背景条纹图像background和被测物条纹图像object通过补偿公式消除各通道的串扰,然后矫正各个通道的强度;
S6、利用背景条纹图像background、被测物条纹图像object和标记阴影区域的二值掩膜图像shadow进行阴影补偿处理,得到补偿后被测物图像object_c;
其中,IR、IG、IB分别为图像红、绿、蓝通道的像素灰度值矩阵,I(x,y)为图像中第x行第y列的像素灰度值,k为条纹级数;其相位差可表示为:
S8、根据相位-高度映射公式:
上式中,a,b,c为标定参数,可得到被测物表面的高度信息。
3.根据权利要求2所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法,其特征在于,所述步骤S4将被测物条纹图像object输入到DenseNet阴影检测网络进行检测的具体过程如下:
S4-1、利用DenseNet网络从输入图像中提取四种不同尺寸的卷积特征;
S4-2、嵌入方向感知上下文模块,分别为步骤4-1所述四种不同尺寸的特征生成方向感知上下文特征;
S4-3、将步骤4-2所述的每层方向感知上下文特征与其对应卷积特征拼接起来,然后将拼接后的特征进行卷积核尺寸为1×1的卷积操作并上采样成与输入图像大小相同;
S4-4、利用深度监督机制对步骤4-3所述的拼接后特征生成预测的阴影掩膜图,并融合得到最终的阴影掩膜图;在训练网络时,使用交叉熵损失函数进行训练。
4.根据权利要求2所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法,其特征在于,所述步骤S4-2的具体过程如下:
S4-2-1、将输入的特征进行卷积核尺寸为1×1的卷积操作,并利用IRNN模块产生上、下、左、右方向的特征;
S4-2-2、将步骤S4-2-1所述方向特征拼接起来,进行卷积核尺寸为1×1的卷积操作;
S4-2-3、进行卷积核尺寸为1×1的卷积操作,然后执行ReLU非线性运算,生成方向感知上下文特征。
5.根据权利要求2所述的一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法,其特征在于,所述步骤S6利用背景条纹图像background、被测物条纹图像object和标记阴影区域的二值掩膜图像shadow进行阴影补偿处理,得到补偿后被测物图像object_c的具体过程如下:
S6-1、对二值掩膜图像shadow取反得到反向图像shadow_inv;
S6-2、用二值掩膜图像shadow与背景条纹图像background的各通道分别进行图像代数乘法运算,得到阴影背景条纹图像background_new;
S6-3、用反向图像shadow_inv与被测物条纹图像object的各通道分别进行图像代数乘法运算,得到无阴影被测物图像object_new;
S6-4、用阴影背景条纹图像background_new与无阴影被测物图像object_new进行图像代数加法运算,最后得到阴影补偿后被测物图像object_c。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011286474.9A CN112697071B (zh) | 2020-11-17 | 2020-11-17 | 一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011286474.9A CN112697071B (zh) | 2020-11-17 | 2020-11-17 | 一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112697071A true CN112697071A (zh) | 2021-04-23 |
CN112697071B CN112697071B (zh) | 2022-05-13 |
Family
ID=75507127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011286474.9A Active CN112697071B (zh) | 2020-11-17 | 2020-11-17 | 一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112697071B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113188477A (zh) * | 2021-04-28 | 2021-07-30 | 伏燕军 | 基于三通道正弦条纹投影的彩色物体快速三维测量方法 |
CN113724154A (zh) * | 2021-08-03 | 2021-11-30 | 哈尔滨工程大学 | 一种基于神经网络补偿模板的图像传感器串扰补偿方法 |
CN115164776A (zh) * | 2022-07-04 | 2022-10-11 | 清华大学 | 一种结构光解码与深度学习融合的三维测量方法及装置 |
CN118096990A (zh) * | 2024-04-28 | 2024-05-28 | 武汉工程大学 | 可补偿阴影遮挡的双投影结构光三维重建方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102519394A (zh) * | 2011-11-18 | 2012-06-27 | 东南大学 | 一种高适应性彩色结构光三维测量方法 |
CN104390607A (zh) * | 2014-11-05 | 2015-03-04 | 南昌航空大学 | 基于相位编码的彩色结构光快速三维测量方法 |
CN109186476A (zh) * | 2018-10-26 | 2019-01-11 | 广东工业大学 | 一种彩色结构光三维测量方法、装置、设备及存储介质 |
CN109341527A (zh) * | 2018-10-22 | 2019-02-15 | 广东工业大学 | 一种自动阴影补偿的结构光投影三维测量系统及方法 |
CN109556535A (zh) * | 2018-09-29 | 2019-04-02 | 广东工业大学 | 一种基于彩色条纹投影的三维面型一步重构方法 |
CN110926339A (zh) * | 2018-09-19 | 2020-03-27 | 山东理工大学 | 一种基于一次投影结构光平行条纹图案的实时三维测量方法 |
-
2020
- 2020-11-17 CN CN202011286474.9A patent/CN112697071B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102519394A (zh) * | 2011-11-18 | 2012-06-27 | 东南大学 | 一种高适应性彩色结构光三维测量方法 |
CN104390607A (zh) * | 2014-11-05 | 2015-03-04 | 南昌航空大学 | 基于相位编码的彩色结构光快速三维测量方法 |
CN110926339A (zh) * | 2018-09-19 | 2020-03-27 | 山东理工大学 | 一种基于一次投影结构光平行条纹图案的实时三维测量方法 |
CN109556535A (zh) * | 2018-09-29 | 2019-04-02 | 广东工业大学 | 一种基于彩色条纹投影的三维面型一步重构方法 |
CN109341527A (zh) * | 2018-10-22 | 2019-02-15 | 广东工业大学 | 一种自动阴影补偿的结构光投影三维测量系统及方法 |
CN109186476A (zh) * | 2018-10-26 | 2019-01-11 | 广东工业大学 | 一种彩色结构光三维测量方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
葛尉: "基于彩色相位编码条纹投影的三维测量方法研究", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113188477A (zh) * | 2021-04-28 | 2021-07-30 | 伏燕军 | 基于三通道正弦条纹投影的彩色物体快速三维测量方法 |
CN113724154A (zh) * | 2021-08-03 | 2021-11-30 | 哈尔滨工程大学 | 一种基于神经网络补偿模板的图像传感器串扰补偿方法 |
CN113724154B (zh) * | 2021-08-03 | 2023-10-17 | 哈尔滨工程大学 | 一种基于神经网络补偿模板的图像传感器串扰补偿方法 |
CN115164776A (zh) * | 2022-07-04 | 2022-10-11 | 清华大学 | 一种结构光解码与深度学习融合的三维测量方法及装置 |
CN118096990A (zh) * | 2024-04-28 | 2024-05-28 | 武汉工程大学 | 可补偿阴影遮挡的双投影结构光三维重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112697071B (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112697071B (zh) | 一种基于DenseNet阴影补偿的彩色结构光投影三维测量方法 | |
CN109829891B (zh) | 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法 | |
CN104182982A (zh) | 双目立体视觉摄像机标定参数的整体优化方法 | |
CN104537625A (zh) | 一种基于方向标志位的Bayer彩色图像插值方法 | |
CN103697815B (zh) | 基于相位编码的混频结构光三维信息获取方法 | |
CN112700499A (zh) | 一种辐照环境下基于深度学习的视觉定位仿真方法及系统 | |
CN108550159B (zh) | 一种基于图像三色分割的烟气浓度标识方法 | |
CN105046743A (zh) | 一种基于全局变分技术的超高分辨率三维重建方法 | |
CN114549307B (zh) | 一种基于低分辨率图像的高精度点云色彩重建方法 | |
CN111339870A (zh) | 一种针对物体遮挡场景的人体形状和姿态估计方法 | |
CN109540023B (zh) | 基于二值网格编码模板结构光的物体表面深度值测量方法 | |
CN108931209B (zh) | 一种高适应性的彩色物体三维重建方法 | |
CN115615358A (zh) | 一种非监督深度学习的彩色结构光色彩串扰校正方法 | |
CN1431523A (zh) | 遥感图像双线性插值小波变换融合的优化方法 | |
CN115082538A (zh) | 基于线结构光投影的多目视觉平衡环零件表面三维重建系统及方法 | |
US20240020866A1 (en) | A three-dimensional measurement method based on end-to-end deep learning for speckle projection | |
CN113628170B (zh) | 一种基于深度学习的激光线提取方法及系统 | |
Wen et al. | A three-dimensional inspection system for high temperature steel product surface sample height using stereo vision and blue encoded patterns | |
CN116935181B (zh) | 一种完全二值散斑嵌入脉宽调制模式三维测量方法 | |
Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
CN113188477A (zh) | 基于三通道正弦条纹投影的彩色物体快速三维测量方法 | |
CN115601357B (zh) | 一种基于小样本的冲压件表面缺陷检测方法 | |
CN111429437A (zh) | 面向目标检测的图像无参考清晰度质量检测方法 | |
CN111161228A (zh) | 一种基于迁移学习的纽扣表面缺陷检测方法 | |
CN115170921A (zh) | 一种基于双边网格学习和边缘损失的双目立体匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |