CN116109772A - 点云重建方法、装置、设备及可读存储介质 - Google Patents
点云重建方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN116109772A CN116109772A CN202310119066.1A CN202310119066A CN116109772A CN 116109772 A CN116109772 A CN 116109772A CN 202310119066 A CN202310119066 A CN 202310119066A CN 116109772 A CN116109772 A CN 116109772A
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- map
- pixel point
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000010587 phase diagram Methods 0.000 claims abstract description 32
- 238000010586 diagram Methods 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000002146 bilateral effect Effects 0.000 claims description 9
- 230000010363 phase shift Effects 0.000 claims description 8
- 230000000737 periodic effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 abstract description 6
- ZJPGOXWRFNKIQL-JYJNAYRXSA-N Phe-Pro-Pro Chemical compound C([C@H](N)C(=O)N1[C@@H](CCC1)C(=O)N1[C@@H](CCC1)C(O)=O)C1=CC=CC=C1 ZJPGOXWRFNKIQL-JYJNAYRXSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000008602 contraction Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001314 profilometry Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种点云重建方法、装置、设备及可读存储介质，涉及点云重建技术领域，其中，所述点云重建方法包括：获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图；其中，所述目标条纹图像是被目标物体调制的条纹图像，所述掩膜图的所述目标物体区域的像素点的像素值为第一值，所述掩膜图的背景区域的像素点的像素值为第二值；利用所述掩膜图去除所述第一展开相位图上的背景像素点，获得第二展开相位图；基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据。本发明的方案能够去除点云数据中的噪声，从而提高点云后处理的精度。
Description
技术领域
本发明属于点云重建技术领域，尤其是涉及一种点云重建方法、装置、设备及可读存储介质。
背景技术
条纹投影轮廓术(Fringe Projection Profilometry，FPP)技术以其高精度和高速度在工业非接触三维测量中得到了广泛的应用。点云数据作为FPP系统的对面结构物体进行三维重建的测量结果，通常包含大量由背景引起的噪点，导致点云后处理精度较低。
发明内容
本发明的目的在于提供一种点云重建方法、装置、设备及可读存储介质，从而解决现有技术中面结构物体进行三维重建获得的点云数据存在噪声的问题。
为了实现上述目的，本发明实施例提供了一种点云重建方法，包括：
获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图；其中，所述目标条纹图像是被目标物体调制的条纹图像，所述掩膜图的所述目标物体区域的像素点的像素值为第一值，所述掩膜图的背景区域的像素点的像素值为第二值；
利用所述掩膜图去除所述第一展开相位图上的背景像素点，获得第二展开相位图；
基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据。
可选地，所述的点云重建方法，其中，所述基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据，包括以下至少一项：
根据所述目标条纹图像上每个像素点的图像强度，去除所述第二展开相位图上的第一像素点，基于去除所述第一像素点后的所述第二展开相位图，获得所述目标物体的点云数据；其中，所述第一像素点是对应所述目标物体的阴影区域上的噪点；
根据所述第二展开相位图对应的高度图，去除所述第二展开相位图上的第二像素点，基于去除所述第二像素点后的所述第二展开相位图，获得所述目标物体的点云数据；其中，所述第二像素点是对应所述目标物体的边缘区域上的噪点。
可选地，所述的点云重建方法，其中，所述目标条纹图像包括被所述目标物体调制的正弦周期N阶条纹的N个条纹图像，N为大于1的正整数；所述根据所述目标条纹图像上每个像素点的图像强度，去除所述第二展开相位图上的第一像素点，包括：
利用所述掩膜图去除所述目标条纹图像上的背景像素点，获得N个第一条纹图像；
针对每个所述第一条纹图像，获取所述第一条纹图像上每个像素点的图像强度；
针对每个像素点，获取像素点的图像强度的最大值和最小值之间的第一差值；
确定所述第一差值小于第一阈值的像素点为所述第一像素点；
去除所述第二展开相位图上的所述第一像素点。
可选地，所述的点云重建方法，其中，所述第一阈值是根据所述正弦周期N阶条纹的一维强度分布计算的。
可选地，所述的点云重建方法，其中，所述根据所述第二展开相位图对应的高度图，去除所述第二展开相位图上的第二像素点，包括：
采用双边滤波器对所述第二展开相位图对应的高度图上每个像素点的高度值进行滤波，获得滤波结果；
根据所述滤波结果，获取所述高度图上每个像素点的高度值在滤波前后的第二差值；
确定所述第二差值小于第二阈值的像素点为所述第二像素点；
去除所述第二展开相位图上的所述第二像素点。
可选地，所述的点云重建方法，其中，所述获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图，包括：
通过相移算法和时间相位展开算法，对所述目标条纹图像进行处理，获得所述第一展开相位图；
根据所述目标条纹图像和已构建的卷积神经网络，获得所述掩膜图。
可选地，所述的点云重建方法，其中，所述卷积神经网络用于将所述目标条纹图像的所述目标物体区域的像素点的像素值设置为第一值，且将所述目标条纹图像的所述背景区域的像素点的像素值设置为第二值，以去除所述背景区域的像素点。
可选地，所述的点云重建方法，其中，所述利用所述掩膜图去除所述第一展开相位图中的背景像素点，获得第二展开相位图，包括：
按照像素位置，将所述第一展开相位图上每个像素点的相位值乘以所述掩膜图上对应像素点的像素值，获得所述第二展开相位图。
为了实现上述目的，本发明实施例还提供一种点云重建装置，包括：
第一获得模块，用于获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图；其中，所述目标条纹图像是被目标物体调制的条纹图像，所述掩膜图的所述目标物体区域的像素点的像素值为第一值，所述掩膜图的背景区域的像素点的像素值为第二值；
第二获得模块，用于利用所述掩膜图去除所述第一展开相位图上的背景像素点，获得第二展开相位图；
第三获得模块，用于基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据。
可选地，所述的点云重建装置，其中，所述第三获得模块包括以下至少一项：
第一去除单元，用于根据所述目标条纹图像上每个像素点的图像强度，去除所述第二展开相位图上的第一像素点，基于去除所述第一像素点后的所述第二展开相位图，获得所述目标物体的点云数据；其中，所述第一像素点是对应所述目标物体的阴影区域上的噪点；
第二去除单元，用于根据所述第二展开相位图对应的高度图，去除所述第二展开相位图上的第二像素点，基于去除所述第二像素点后的所述第二展开相位图，获得所述目标物体的点云数据；其中，所述第二像素点是对应所述目标物体的边缘区域上的噪点。
可选地，所述的点云重建装置，其中，所述目标条纹图像包括被所述目标物体调制的正弦周期N阶条纹的N个条纹图像，N为大于1的正整数；所述第一去除单元具体用于：
利用所述掩膜图去除所述目标条纹图像上的背景像素点，获得N个第一条纹图像；
针对每个所述第一条纹图像，获取所述第一条纹图像上每个像素点的图像强度；
针对每个像素点，获取像素点的图像强度的最大值和最小值之间的第一差值；
确定所述第一差值小于第一阈值的像素点为所述第一像素点；
去除所述第二展开相位图上的所述第一像素点。
可选地，所述的点云重建装置，其中，所述第一阈值是根据所述正弦周期N阶条纹的一维强度分布计算的。
可选地，所述的点云重建装置，其中，所述第二去除单元具体用于：
采用双边滤波器对所述第二展开相位图对应的高度图上每个像素点的高度值进行滤波，获得滤波结果；
根据所述滤波结果，获取所述高度图上每个像素点的高度值在滤波前后的第二差值；
确定所述第二差值小于第二阈值的像素点为所述第二像素点；
去除所述第二展开相位图上的所述第二像素点。
可选地，所述的点云重建装置，其中，所述第一获得模块具体用于：
通过相移算法和时间相位展开算法，对所述目标条纹图像进行处理，获得所述第一展开相位图；
根据所述目标条纹图像和已构建的卷积神经网络，获得所述掩膜图。
可选地，所述的点云重建装置，其中，所述卷积神经网络用于将所述目标条纹图像的所述目标物体区域的像素点的像素值设置为第一值，且将所述目标条纹图像的所述背景区域的像素点的像素值设置为第二值，以去除所述背景区域的像素点。
可选地，所述的点云重建装置，其中，所述第二获得模块具体用于：
按照像素位置，将所述第一展开相位图上每个像素点的相位值乘以所述掩膜图上对应像素点的像素值，获得所述第二展开相位图。
为了实现上述目的，本发明实施例还提供一种点云重建设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器，用于读取存储器中的程序实现如上任一项所述的点云重建方法中的步骤。
为了实现上述目的，本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如上任一项所述的点云重建方法中的步骤。
本发明的上述技术方案至少具有如下有益效果：
上述方案中，通过获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图；其中，所述目标条纹图像是被目标物体调制的条纹图像，所述掩膜图的所述目标物体区域的像素点的像素值为第一值，所述掩膜图的背景区域的像素点的像素值为第二值；利用所述掩膜图去除所述第一展开相位图上的背景像素点，获得第二展开相位图；基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据。如此，基于去除背景像素点的第二展开相位图，能够去除点云数据中的噪声，从而提高了点云后处理的精度，拓宽了应用范围。
附图说明
图1为本发明实施例的点云重建方法的流程示意图；
图2为本发明实施例的正弦周期N阶条纹的一维强度分布的示意图；
图3为本发明实施例的点云重建装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有技术中面结构物体进行三维重建获得的点云数据存在噪声的问题，提供一种点云重建方法、装置、设备及可读存储介质。
本发明其中一实施例，如图1所示，提供一种点云重建方法，包括：
步骤101，获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图；其中，所述目标条纹图像是被目标物体调制的条纹图像，所述掩膜图的所述目标物体区域的像素点的像素值为第一值，所述掩膜图的背景区域的像素点的像素值为第二值。
其中，FPP系统包括投影仪和相机，投影仪用于将标准条纹图像投影到目标物体上；相机用于捕捉被目标物体调制的条纹图像，即本发明实施例中的目标条纹图像。
需要说明的是，采用所述掩膜图可以分割目标物体和背景，所述掩膜图作为感兴趣区域掩膜图，即目标物体区域掩膜图，因此第一值为1，第二值为0。
步骤102，利用所述掩膜图去除所述第一展开相位图上的背景像素点，获得第二展开相位图。
也就是说，所述第二展开相位图是去除背景像素点的展开相位图。
步骤103，基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据。
也就是说，采用去除背景像素点的第二展开相位图，能够生成目标物体的点云数据，实现三维重建，而且提高了三维重建的精度。
采用本发明实施例的所述点云重建方法，通过获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图；其中，所述目标条纹图像是被目标物体调制的条纹图像，所述掩膜图的所述目标物体区域的像素点的像素值为第一值，所述掩膜图的背景区域的像素点的像素值为第二值；利用所述掩膜图去除所述第一展开相位图上的背景像素点，获得第二展开相位图；基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据。如此，基于去除背景像素点的第二展开相位图，能够去除点云数据中的噪声，从而提高了点云后处理的精度，拓宽了应用范围。
本发明实施例中，可选地，步骤103包括以下至少一项：
根据所述目标条纹图像上每个像素点的图像强度，去除所述第二展开相位图上的第一像素点，基于去除所述第一像素点后的所述第二展开相位图，获得所述目标物体的点云数据；其中，所述第一像素点是对应所述目标物体的阴影区域上的噪点；
根据所述第二展开相位图对应的高度图，去除所述第二展开相位图上的第二像素点，基于去除所述第二像素点后的所述第二展开相位图，获得所述目标物体的点云数据；其中，所述第二像素点是对应所述目标物体的边缘区域上的噪点。
若目标物体上有凸起，例如人脸上的鼻子会导致人脸上有阴影，因此，需要去除第二展开相位图上的第一像素点，也就是去除第二展开相位图上对应目标物体的阴影区域上的噪点。
由于目标物体的边缘区域的光路容易受到环境光和其他噪声的干扰，导致边缘区域的相位误差，因此，需要去除第二展开相位图上的第二像素点，也就是去除第二展开相位图上对应目标物体的边缘区域上的噪点。
本发明实施例中，可选地，所述目标条纹图像包括被所述目标物体调制的正弦周期N阶条纹的N个条纹图像，N为大于1的正整数；所述根据所述目标条纹图像上每个像素点的图像强度，去除所述第二展开相位图上的第一像素点，包括：
利用所述掩膜图去除所述目标条纹图像上的背景像素点，获得N个第一条纹图像；
针对每个所述第一条纹图像，获取所述第一条纹图像上每个像素点的图像强度；
针对每个像素点，获取像素点的图像强度的最大值和最小值之间的第一差值；
确定所述第一差值小于第一阈值的像素点为所述第一像素点；
去除所述第二展开相位图上的所述第一像素点。
以N＝4为例，由于掩膜图上背景像素点的像素值为0，目标物体区域的像素值为1，因此按照像素位置，将目标条纹图像上的每个像素点的像素值乘以掩膜图上对应像素点的像素值，可以去除目标条纹图像上的背景像素点，从而获得4个第一条纹图像，然后获得每个第一条纹图像上每个像素点的图像强度，针对每个像素点，获得图像强度的最大值和最小值之间的第一差值，根据第一差值和第一阈值，对该像素点是否为第一像素点，即噪点进行判断。
本发明实施例中，可选地，所述第一阈值是根据所述正弦周期N阶条纹的一维强度分布计算的。
像素点的图像强度的最大值和最小值如图2所示，进一步，图2中的虚线表示像素点的图像强度的最大值和最小值之间的第一差值的最小值，这里用H表示。
根据图2，正弦周期N阶条纹的一维强度分布表示为公式(1)。
其中，I(x,n)是第n步相移的x轴像素的强度分布，A表示正弦函数的振幅且N是相移步数的总数。从图2可以分析出，第一差值为最小值(图2中的虚线)的地方是两个相邻正弦条纹曲线的交点，所以n被分别设置为0和1，且x可以被设为x′。可以基于x′和H写为公式(2)。
为了获得H，需要计算sin(x′)，因此公式(2)的右边部分可以改写为公式(3)。
公式(3)通过移项和平方进一步可以表示为公式(4)。
由于cos2(x′)＝1-sin2(x′)，因此公式(4)可以改写为公式(5)。
通过整理公式(5)，从而得到公式(6)。
由于环境光以及包括投影仪和相机的硬件系统的影响，捕获的目标条纹图像中的A通常为100-120，因此可以通过公式(6)计算H为大约71-85(N为4)。因此第一阈值应设置为H的一半，以防止点云的过度去除。定义第一阈值后，从而可以确定第一像素点，即噪点，从而对该第一像素点进行去除。
本发明实施例中，可选地，所述根据所述第二展开相位图对应的高度图，去除所述第二展开相位图上的第二像素点，包括：
采用双边滤波器对所述第二展开相位图对应的高度图上每个像素点的高度值进行滤波，获得滤波结果；
根据所述滤波结果，获取所述高度图上每个像素点的高度值在滤波前后的第二差值；
确定所述第二差值小于第二阈值的像素点为所述第二像素点；
去除所述第二展开相位图上的所述第二像素点。
其中，为了生成高度图，可以采用FPP系统的三维重建方法将第二展开相位图的相位值转化为高度值(Z值)，从而生成高度图。
需要说明的是，高度图可以消除第二展开相位图中的大斜率或尖锐目标物体边缘对滤波的影响。与高斯滤波器相比，二维双边滤波器考虑了向量像素强度以保留边缘区域，该二维双边滤波器可以表示为公式(7)。
其中，Gσ是二维高斯滤波核，可以表示为公式(8)。
Wp为归一化因子，需要确保像素权重总和为1，并采用公式(9)表示。
其中，σs和σr表示图像的滤波量；
表示空间高斯加权；
表示距离高斯，以分别控制滤波器强度和边缘区域识别。
将二维双边滤波器应用于高度图，对高度图上每个像素点进行滤波，滤波结果可以表示为公式(10)。
其中，符号
表示滤波器核卷积；
表示I卷积后的运算结果。双边滤波器卷积核的权重大于外围的权重，因此可以推测，当滤波像素点为噪点时，滤波结果与滤波之前的高度值之间的差异很大，即第二差值很大；但是，当滤波像素点为有效点时，滤波结果与滤波之前的高度值之间的差异很小，即第二差值很小。因此，本发明实施例中将过滤后的高度图定义为公式(11)。
其中，E表示第二阈值，可以根据经验值设定。
当
被计算后，可以通过FPP系统的校准关系映射到三维点云的高度图中的值为零的像素来去除噪点。也就是说，如公式(11)所示，确定
的像素点为第二像素点，即噪点。
本发明实施例中，可选地，步骤101包括：
通过相移算法和时间相位展开算法，对所述目标条纹图像进行处理，获得所述第一展开相位图；
根据所述目标条纹图像和已构建的卷积神经网络，获得所述掩膜图。
本发明实施例中，采用相移算法和时间相位展开算法处理目标条纹图像，获得目标条纹图像对应的第一展开相位图，其中，时间相位展开算法可以采用格雷码相位展开算法。当然，还可以采用其他算法获得目标条纹图像对应的第一展开相位图，本发明实施例在此不作限制。
本发明实施例中的已构建的卷积神经网络为一个端到端的卷积神经网络，可以将目标条纹图像作为卷积神经网络的输入，从而得到目标条纹图像的目标物体区域对应的掩膜图，也就是说，该卷积神经网络是用于识别交完图像的感兴趣区域的相应的掩膜图。
需要说明的是，步骤101中获得第一展开相位图和获得掩膜图之间无顺序关系。
本发明实施例中，可选地，所述卷积神经网络用于将所述目标条纹图像的所述目标物体区域的像素点的像素值设置为第一值，且将所述目标条纹图像的所述背景区域的像素点的像素值设置为第二值，以去除所述背景区域的像素点。
其中，第一值为1，第二值为0。该
需要说明的是，卷积神经网络包括收缩路径、扩展路径和复制联系路径，其中收缩路径用于编码，扩展路径用于解码，复制联系路径用于复制收缩路径中的特征图，并将其拼接到扩展路径中的特征图中。当目标条纹图像(相机图像尺寸一般为2048×2560)输入到卷积神经网络中时，在编码块中的每个卷积块计算后，特征图的高度和宽度将为一半，通道数将为两倍，它包含两个具有3×3核的卷积层和一个具有2×2核的最大池化层(用于增加信道数和下采样)。每个卷积层后面是一个批归一化(Batch Normalization，BN)层和一个ReLU(Rectified linear unit，修正线性单元)激活函数，可以防止过度拟合。然后在扩展路径中处理特征图，其中特征图的高度和宽度将加倍，并且每个编码块中的通道数将减少两个。在扩展路径中，详细架构包含一个具有2×2核的上卷积层和两个具有3×3核的卷积层，用于上采样和减少信道数。然后紧跟BN层和ReLU激活函数。在上述过程中，可以通过网络学习目标条纹图像的纹理和颜色信息。然而，随着收缩路径的加深，特征图的尺寸变小，图像的详细信息丢失，这导致背景分割中目标对象的边缘区域分割不准确。因此，每个编码块的最后一层特征图被复制并在复制和接触路径中与相应解码块中的特征图连接，以保留在卷积神经网络的编码器和解码器部分中的训练期间丢失的特征信息。此外，最后一个卷积块被设计为使得卷积神经网络输出的掩模图的高度和宽度与输入的目标条纹图像一致，通道数为1。掩模图中的目标物体区域的像素点的像素值为1，背景区域的像素点的像素值为0。
为了训练卷积神经网络，需要构建数据集，其中条纹图像数据集由FPP系统使用相机(相机图像尺寸一般为2048×2560)和投影仪(尺寸一般为912×1140)生成。可选地，选择30种不同形状和表面材质的物体作为目标物体，训练数据集。还可以将不同类型的背景与目标物体随机组合以进行数据集收集，以丰富样本，增强卷积神经网络的识别能力，并避免卷积神经网络过度拟合。数据集的输入和标签分别是条纹图像和手动处理的条纹图像的目标物体区域的掩模图，并生成1000个数据对用于卷积神经网络训练。数据被随机分成80％、10％和10％，分别用于训练、验证和测试。
本发明实施例中的卷积神经网络是在Python环境中训练的。网络中的参数在500个周期(约450000次迭代)中使用Adam优化进行更新，并将4个条纹图像打包为一个小批次。学习率设置为从10-4开始，每次损失函数值在8个周期内停止下降时减少6次，最小学习率设置为10-6。采用数据混洗和丢失来防止过度拟合，动量设置为0.9以提高计算效率。二元交叉熵(BCE)损失因其在二元分类问题中的优异性能而被选为损失函数，并且在训练、测试和验证数据集中，最终损失值分别降至0.00041、0.0008和0.00062。
需要说明的是，在构建卷积神经网络之后，还可以采用测试样本对卷积神经网络的可行性进行测试。具体地，可以选择三个具有不同类型目标物体和背景的测试样本。目标物体可以是人头模型、人体模型和狗的石膏模型，背景可以是灰墙、黑板和白板。此外，使用纸盒放置目标物体，丰富背景区域的内容，提高训练网络的泛化能力。其中，背景为黑板时，还可以在黑板上随机粘贴一些反射标记补丁，导致相机图像的高强度，从而增加背景的复杂性，提高测试结果的可靠程度。
本发明实施例所述卷积神经网络采用语义分割技术从背景区域甚至杂物区域分割目标物体区域，而且在不同类型的背景区域中分割目标物体区域时均表现稳健、正确，分割精度高，适合复杂工业环境。
本发明实施例中，可选地，步骤102包括：
按照像素位置，将所述第一展开相位图上每个像素点的相位值乘以所述掩膜图上对应像素点的像素值，获得所述第二展开相位图。
需要说明的是，根据像素位置，将第一展开相位图上每个像素点的相位值乘以掩膜图上对应像素点的像素值，获得第二展开相位图，该第二展开相位图的背景区域的相位值为0，从而基于第二展开相位图进行三维重建时，不生成对应背景区域的点云数据，只生成目标物体区域的点云数据，从而提高点云后处理的精度。
综上，本发明实施例所述点云重建方法，基于卷积神经网络，采用语义分割技术，从目标条纹图像中分割掩膜图，并利用掩膜图去除目标条纹图像对应的第一展开相位图上的背景像素点，获得第二展开相位图，然后基于图像强度去除第二展开相位图对应目标物体的阴影区域的噪点，以及基于双边滤波器去除第二展开相位图对应目标物体的边缘区域的噪点，最后对去除噪点后的第二展开相位图进行三维重建，实现高精度的点云重建。
本发明另一实施例，如图3所示，提供一种点云重建装置，包括：
第一获得模块301，用于获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图；其中，所述目标条纹图像是被目标物体调制的条纹图像，所述掩膜图的所述目标物体区域的像素点的像素值为第一值，所述掩膜图的背景区域的像素点的像素值为第二值；
第二获得模块302，用于利用所述掩膜图去除所述第一展开相位图上的背景像素点，获得第二展开相位图；
第三获得模块303，用于基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据。
采用本发明实施例的所述点云重建装置，通过获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图；其中，所述目标条纹图像是被目标物体调制的条纹图像，所述掩膜图的所述目标物体区域的像素点的像素值为第一值，所述掩膜图的背景区域的像素点的像素值为第二值；利用所述掩膜图去除所述第一展开相位图上的背景像素点，获得第二展开相位图；基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据。如此，基于去除背景像素点的第二展开相位图，能够去除点云数据中的噪声，从而提高了点云后处理的精度，拓宽了应用范围。
可选地，所述的点云重建装置，其中，所述第三获得模块403包括以下至少一项：
第一去除单元，用于根据所述目标条纹图像上每个像素点的图像强度，去除所述第二展开相位图上的第一像素点，基于去除所述第一像素点后的所述第二展开相位图，获得所述目标物体的点云数据；其中，所述第一像素点是对应所述目标物体的阴影区域上的噪点；
第二去除单元，用于根据所述第二展开相位图对应的高度图，去除所述第二展开相位图上的第二像素点，基于去除所述第二像素点后的所述第二展开相位图，获得所述目标物体的点云数据；其中，所述第二像素点是对应所述目标物体的边缘区域上的噪点。
可选地，所述的点云重建装置，其中，所述目标条纹图像包括被所述目标物体调制的正弦周期N阶条纹的N个条纹图像，N为大于1的正整数；所述第一去除单元具体用于：
利用所述掩膜图去除所述目标条纹图像上的背景像素点，获得N个第一条纹图像；
针对每个所述第一条纹图像，获取所述第一条纹图像上每个像素点的图像强度；
针对每个像素点，获取像素点的图像强度的最大值和最小值之间的第一差值；
确定所述第一差值小于第一阈值的像素点为所述第一像素点；
去除所述第二展开相位图上的所述第一像素点。
可选地，所述的点云重建装置，其中，所述第一阈值是根据所述正弦周期N阶条纹的一维强度分布计算的。
可选地，所述的点云重建装置，其中，所述第二去除单元具体用于：
采用双边滤波器对所述第二展开相位图对应的高度图上每个像素点的高度值进行滤波，获得滤波结果；
根据所述滤波结果，获取所述高度图上每个像素点的高度值在滤波前后的第二差值；
确定所述第二差值小于第二阈值的像素点为所述第二像素点；
去除所述第二展开相位图上的所述第二像素点。
可选地，所述的点云重建装置，其中，所述第一获得模块301具体用于：
通过相移算法和时间相位展开算法，对所述目标条纹图像进行处理，获得所述第一展开相位图；
根据所述目标条纹图像和已构建的卷积神经网络，获得所述掩膜图。
可选地，所述的点云重建装置，其中，所述卷积神经网络用于将所述目标条纹图像的所述目标物体区域的像素点的像素值设置为第一值，且将所述目标条纹图像的所述背景区域的像素点的像素值设置为第二值，以去除所述背景区域的像素点。
可选地，所述的点云重建装置，其中，所述第二获得模块302具体用于：
按照像素位置，将所述第一展开相位图上每个像素点的相位值乘以所述掩膜图上对应像素点的像素值，获得所述第二展开相位图。
需要说明的是，本发明实施例提供的上述装置，能够实现上述点云重建方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
本发明另一实施例，提供一种点云重建设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器，用于读取存储器中的程序实现如上任一项所述的点云重建方法中的步骤。
本发明实施例中，所述点云重建设备执行所述的点云重建方法的具体实施方式，可以参阅以上对应的点云重建方法中具体实施方式的详细说明，在此不再赘述。
另外，本发明具体实施例还提供一种可读存储介质，上存储有计算机程序，其中，该程序被处理器执行时实现如上中任一项所述的点云重建方法中的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种点云重建方法，其特征在于，包括：
获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图；其中，所述目标条纹图像是被目标物体调制的条纹图像，所述掩膜图的所述目标物体区域的像素点的像素值为第一值，所述掩膜图的背景区域的像素点的像素值为第二值；
利用所述掩膜图去除所述第一展开相位图上的背景像素点，获得第二展开相位图；
基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据。
2.根据权利要求1所述的点云重建方法，其特征在于，所述基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据，包括以下至少一项：
根据所述目标条纹图像上每个像素点的图像强度，去除所述第二展开相位图上的第一像素点，基于去除所述第一像素点后的所述第二展开相位图，获得所述目标物体的点云数据；其中，所述第一像素点是对应所述目标物体的阴影区域上的噪点；
根据所述第二展开相位图对应的高度图，去除所述第二展开相位图上的第二像素点，基于去除所述第二像素点后的所述第二展开相位图，获得所述目标物体的点云数据；其中，所述第二像素点是对应所述目标物体的边缘区域上的噪点。
3.根据权利要求2所述的点云重建方法，其特征在于，所述目标条纹图像包括被所述目标物体调制的正弦周期N阶条纹的N个条纹图像，N为大于1的正整数；所述根据所述目标条纹图像上每个像素点的图像强度，去除所述第二展开相位图上的第一像素点，包括：
利用所述掩膜图去除所述目标条纹图像上的背景像素点，获得N个第一条纹图像；
针对每个所述第一条纹图像，获取所述第一条纹图像上每个像素点的图像强度；
针对每个像素点，获取像素点的图像强度的最大值和最小值之间的第一差值；
确定所述第一差值小于第一阈值的像素点为所述第一像素点；
去除所述第二展开相位图上的所述第一像素点。
4.根据权利要求3所述的点云重建方法，其特征在于，所述第一阈值是根据所述正弦周期N阶条纹的一维强度分布计算的。
5.根据权利要求2所述的点云重建方法，其特征在于，所述根据所述第二展开相位图对应的高度图，去除所述第二展开相位图上的第二像素点，包括：
采用双边滤波器对所述第二展开相位图对应的高度图上每个像素点的高度值进行滤波，获得滤波结果；
根据所述滤波结果，获取所述高度图上每个像素点的高度值在滤波前后的第二差值；
确定所述第二差值小于第二阈值的像素点为所述第二像素点；
去除所述第二展开相位图上的所述第二像素点。
6.根据权利要求1所述的点云重建方法，其特征在于，所述获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图，包括：
通过相移算法和时间相位展开算法，对所述目标条纹图像进行处理，获得所述第一展开相位图；
根据所述目标条纹图像和已构建的卷积神经网络，获得所述掩膜图。
7.根据权利要求6所述的点云重建方法，其特征在于，所述卷积神经网络用于将所述目标条纹图像的所述目标物体区域的像素点的像素值设置为第一值，且将所述目标条纹图像的所述背景区域的像素点的像素值设置为第二值，以去除所述背景区域的像素点。
8.根据权利要求1所述的点云重建方法，其特征在于，所述利用所述掩膜图去除所述第一展开相位图中的背景像素点，获得第二展开相位图，包括：
按照像素位置，将所述第一展开相位图上每个像素点的相位值乘以所述掩膜图上对应像素点的像素值，获得所述第二展开相位图。
9.一种点云重建装置，其特征在于，包括：
第一获得模块，用于获得目标条纹图像对应的第一展开相位图，以及获得所述目标条纹图像的目标物体区域对应的掩膜图；其中，所述目标条纹图像是被目标物体调制的条纹图像，所述掩膜图的所述目标物体区域的像素点的像素值为第一值，所述掩膜图的背景区域的像素点的像素值为第二值；
第二获得模块，用于利用所述掩膜图去除所述第一展开相位图上的背景像素点，获得第二展开相位图；
第三获得模块，用于基于所述第二展开相位图进行三维重建，获得所述目标物体的点云数据。
10.一种点云重建设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至8中任一项所述的点云重建方法中的步骤。
11.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至8中任一项所述的点云重建方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310119066.1A CN116109772A (zh) | 2023-02-06 | 2023-02-06 | 点云重建方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310119066.1A CN116109772A (zh) | 2023-02-06 | 2023-02-06 | 点云重建方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116109772A true CN116109772A (zh) | 2023-05-12 |
Family
ID=86257834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310119066.1A Pending CN116109772A (zh) | 2023-02-06 | 2023-02-06 | 点云重建方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109772A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437149A (zh) * | 2023-11-23 | 2024-01-23 | 北京迁移科技有限公司 | 图像处理方法、点云生成方法、电子设备及存储介质 |
-
2023
- 2023-02-06 CN CN202310119066.1A patent/CN116109772A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437149A (zh) * | 2023-11-23 | 2024-01-23 | 北京迁移科技有限公司 | 图像处理方法、点云生成方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Riegler et al. | Octnetfusion: Learning depth fusion from data | |
| Uhrig et al. | Sparsity invariant cnns | |
| EP3742113B1 (en) | System and method for marking images for three-dimensional image generation | |
| CN111043988B (zh) | 一种基于图形学和深度学习的单张条纹投影测量方法 | |
| Song et al. | DOE-based structured-light method for accurate 3D sensing | |
| CN110189406B (zh) | 图像数据标注方法及其装置 | |
| Budianto et al. | Marker encoded fringe projection profilometry for efficient 3D model acquisition | |
| Huo et al. | Feature points extraction of defocused images using deep learning for camera calibration | |
| CN116109772A (zh) | 点云重建方法、装置、设备及可读存储介质 | |
| Wu et al. | Superpixel-based image noise variance estimation with local statistical assessment | |
| Li et al. | Absolute phase retrieval for a single-shot fringe projection profilometry based on deep learning | |
| Cai et al. | An improved gray-level coding method for absolute phase measurement based on half-period correction | |
| Medouakh et al. | Improved object tracking via joint color-LPQ texture histogram based mean shift algorithm | |
| CN117274072A (zh) | 一种基于二维多模态范围图像的点云去噪方法及装置 | |
| CN115205360A (zh) | 复合条纹投影钢管的三维外轮廓在线测量与缺陷检测方法及应用 | |
| CN109186550A (zh) | 一种可编码近景摄影测量标志的编码解码与测量方法 | |
| CN113468905B (zh) | 图形码识别方法、装置、计算机设备和存储介质 | |
| CN112923870B (zh) | 一种基于移相和多位码的彩色物体结构光三维测量方法 | |
| Law et al. | Deep learning based period order detection in structured light three-dimensional scanning | |
| CN109523570B (zh) | 运动参数计算方法及装置 | |
| CN110378167B (zh) | 一种基于深度学习的条码图像补正方法 | |
| CN116051813A (zh) | 全自动智能腰椎定位与识别方法及应用 | |
| Ariav et al. | Depth map super-resolution via cascaded transformers guidance | |
| CN115908705A (zh) | 一种基于特殊编码的三维成像方法及装置 | |
| CN114862866A (zh) | 标定板的检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |