CN112802184B - 三维点云重构方法、系统、电子设备及存储介质 - Google Patents
三维点云重构方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112802184B CN112802184B CN202110097806.7A CN202110097806A CN112802184B CN 112802184 B CN112802184 B CN 112802184B CN 202110097806 A CN202110097806 A CN 202110097806A CN 112802184 B CN112802184 B CN 112802184B
- Authority
- CN
- China
- Prior art keywords
- phase
- images
- fields
- image
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000009826 distribution Methods 0.000 claims abstract description 113
- 238000012937 correction Methods 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 abstract description 21
- 238000005070 sampling Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012994 industrial processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010587 phase diagram Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种三维点云重构方法、系统、电子设备及存储介质，所述方法首先获取三维相机的左右视场的目标物结构光图像，并基于目标物结构光图像，确定左右视场的相位分布图像；然后对左右视场的相位分布图像进行分层降采样，得到左右视场的多个层级的相位图像；对左右视场的最低层级的相位图像进行等相位像素点匹配，并确定最低层级的视差图像；最后基于最低层级的视差图像，确定左右视场的相位分布图像的视差图像，并基于左右视场的相位分布图像的视差图像，对目标物结构光图像中的目标物进行三维点云重构。该方法使用了多种分辨率层级的左右相位图像，逐级引导进行高分辨率的立体匹配，可以节约算力开销，减少计算时间，降低占用的内存。
Description
技术领域
本发明涉及三维重建技术领域，尤其涉及一种三维点云重构方法、系统、电子设备及存储介质。
背景技术
目前，三维相机能够重构出目标场景的三维点云，相较于常规的二维相机多了一个深度维度信息，为各种后端开发提供了额外的数据处理自由度，具有重要的应用价值。随着智能制造和智能交互技术的蓬勃发展，三维相机越来越成为其中不可或缺的基础硬件设备和数据处理核心技术，在工业制造、生物医学、移动支付以及军事导航等领域都有着广阔的应用前景。
基于光栅结构光的立体相机具有较高的测量精度，已逐渐成为工业制造中的常规传感器设备，用于引导机械臂、检测工件或者切割焊接等工业场合。为满足生产加工节拍需求，实际应用中对于三维相机的点云数据获取帧率的要求愈来愈高，这就意味着必须降低三维相机的计算耗时。在投影条纹模式固定的情况下，作为点云计算中的核心环节，立体匹配的算力开销占比较大，不利于三维相机计算耗时的降低，而且会占用大量内存，大大增加了三维点云重构的成本。
发明内容
本发明提供一种三维点云重构方法、系统、电子设备及存储介质，用以解决现有技术中存在的缺陷。
本发明提供一种三维点云重构方法，包括：
获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；
对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；
对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；
基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构。
根据本发明提供的一种三维点云重构方法，所述对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像，之前还包括：
获取所述三维相机的标定参数；
基于所述标定参数，对所述左右视场的相位分布图像进行极线校正，以使所述左右视场的相位分布图像中的对应行像素点对齐。
根据本发明提供的一种三维点云重构方法，所述基于所述标定参数，对所述左右视场的相位分布图像进行极线校正，以使所述左右视场的相位分布图像中的对应行像素点对齐，之后还包括：
确定极线校正后所述左右视场的相位分布图像的不同相位周期，并确定等相位像素点匹配在所述左右视场的相位分布图像的相同相位周期内进行。
根据本发明提供的一种三维点云重构方法，所述对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像，之前还包括：
对于所述左右视场的任一视场，判断所述任一视场的相位分布图像中任一行内任一像素点相邻的预设数量的像素点的相位值是否具有单调性；
若所述预设数量的像素点的相位值不具有单调性，则删除所述任一像素点。
根据本发明提供的一种三维点云重构方法，所述对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像，具体包括：
基于局部线性拟合相位差的方式，确定所述左右视场的最低层级的相位图像中各匹配点对的视差值；
基于所述左右视场的最低层级的相位图像中各匹配点对的视差值，确定最低层级的视差图像。
根据本发明提供的一种三维点云重构方法，所述基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，具体包括：
对所述最低层级的视差图像中各像素点的视差值进行插值，得到所述最低层级的上一层级的视差图像中各像素点的初始视差值；
确定所述左右视场的所述上一层级的相位图像中各匹配点对，并计算所述上一层级的相位图像中各匹配点对对应的校正量；
基于所述上一层级的视差图像中各像素点的初始视差值以及所述上一层级的相位图像中各匹配点对对应的校正量，确定所述上一层级的视差图像中各像素点的当前视差值；
重复执行以上过程，直至所述上一层级为最高层级，所述最高层级的视差图像为所述左右视场的相位分布图像的视差图像。
根据本发明提供的一种三维点云重构方法，所述对所述最低层级的视差图像中各像素点的视差值进行插值，具体包括：
基于最近邻插值算法或双线性插值算法，对所述最低层级的视差图像中各像素点的视差值进行插值。
本发明还提供一种三维点云重构系统，包括：获取模块、降采样模块、匹配模块以及重构模块。其中，
获取模块用于获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；
降采样模块用于对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；
匹配模块用于对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；
重构模块用于基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述三维点云重构方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述三维点云重构方法的步骤。
本发明提供的三维点云重构方法、系统、电子设备及存储介质，所述方法首先获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；然后对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；最后基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构。该方法一方面使用了多种分辨率层级的左右相位图像，逐级引导进行高分辨率的立体匹配，可以节约算力开销。进行点云重构时可以减少计算时间，降低占用的内存，并可以重构出精确的三维点云。另一方面多种分辨率设置同时兼顾了场景的高频和低频信号，匹配稳定性更高。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的三维点云重构方法的流程示意图之一；
图2是本发明提供的三维点云重构方法的流程示意图之二；
图3是本发明提供的三维点云重构方法的流程示意图之三；
图4是本发明提供的三维点云重构方法中通过升采样方式确定左右视场的相位分布图像的视差图像的流程示意图；
图5是本发明提供的三维点云重构系统的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，相位立体匹配加速计算的关键之处在于压缩左右相机间的搜索空间以及设计并行化的计算架构。通常可以利用左右相机对应点的唯一性、相位曲线的单调性和极线约束等条件压缩搜索范围。然而，由于左右相位图均为单精度浮点型或者双精度浮点型值，在处理较高分辨率点云时，其计算时间和内存占用都将大大增加，因此较难以胜任快速且精确的点云重构任务。
针对以上的局限性，本发明实施例中提供的三维点云重构方法，需要解决以下问题：
1)降低三维相机的计算耗时以满足工业加工生产的节拍需求；
2)立体匹配的算力开销较大；
3)现有常规加速方法在处理较高分辨率点云时，其计算时间和内存占用都将大大增加。
图1为本发明实施例中提供的一种三维点云重构方法的流程示意图，如图1所示，该方法包括：
S1，获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；
S2，对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；
S3，对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；
S4，基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构。
具体地，本发明实施例中提供的三维点云重构方法，其执行主体为处理器，该处理器可以配置于三维相机内，即三维相机包括左侧相机、右侧相机以及处理器。该处理器还可以是服务器，服务器可以是本地服务器或云端服务器，本地服务器具体可以是计算机、平板电脑以及智能手机等，本发明实施例中对此不作具体限定。
首先执行步骤S1。其中，三维相机的左右视场的目标物结构光图像包括三维相机的左视场的目标物结构光图像以及三维相机的右视场的目标物结构光图像。三维相机的左视场的目标物结构光图像通过三维相机的左侧相机拍摄得到，三维相机的右视场的目标物结构光图像通过三维相机的右侧相机拍摄得到。
在此之前，可以向空间场景中存在的目标物的表面投射空间编码结构光模式，目标物可以是空间场景中的待重构三维点云的物体，本发明实施例中对此不作具体限定。然后通过左侧相机以及右侧相机分别同步拍摄目标物，即可得到三维相机的左右视场的目标物结构光图像。投射空间编码结构光模式的动作可以通过结构光投影仪实现，本发明实施例中对此不作具体限定。空间编码结构光模式可以是纯格雷码、格雷码加相移或者多种频率相移的组合。
然后根据左视场的目标物结构光图像确定左视场的相位分布图像，根据右视场的目标物结构光图像确定右视场的相位分布图像。具体可以分别对采集得到的左右视场的目标物结构光图像进行解码，得到码值以及折叠相位，通过码值以及折叠相位即可得到左右视场的相位分布图像。
然后执行步骤S2，对左右视场的相位分布图像进行分层降采样，得到左右视场的多个层级的相位图像。分层降采样是指逐层级降低左右视场的相位分布图像的分辨率，进而得到各个层级的相位图像。层级的个数可以根据左右视场的相位分布图像的像素数量确定，本发明实施例中对此不作具体限定，例如层级的个数可以是3、4、5等。其中，第一层级即为最高层级，表示左右视场的相位分布图像。分层降采样的采样率可以设置为1/2、1/3、1/4等，具体可以为左右视场的相位分布图像的像素数量与层级的个数的比值。左视场的多个层级的相位图像可以构成多层级采样左相位簇，右视场的多个层级的相位图像可以构成多层级采样右相位簇。
然后执行步骤S3，对左右视场的最低层级的相位图像进行等相位像素点匹配，并确定最低层级的视差图像。每一视场均对应有一最低层级的相位图像，最低层级的相位图像是指分辨率最低的相位图像。分别对左右视场的最低层级的相位图像进行等相位像素点匹配，即进行最小相位差的左右等相位像素点的查找并进行匹配。等相位像素点匹配结束后可以得到由最小相位差的左右等相位像素点构成的匹配点对。得到匹配点对后，可以确定出各匹配点对对应的视差值，进而确定出最低层级的视差图像。该视差图像中每个像素点的像素值即为相应匹配点对对应的视差值。
最后执行步骤S4，根据最低层级的视差图像，确定左右视场的相位分布图像的视差图像。可以按最低层级至最高层级的顺序，根据最低层级的视差图像，逐层级进行视差图像校正，即得到各个层级的当前视差图像。这一过程可以看作是对视差图进行升采样校正的过程。最终得到的最高层级的视差图像即为左右视场的相位分布图像的视差图像。确定出左右视场的相位分布图像的视差图像后，结合三维相机的标定参数即可计算得到重构的目标物三维点云。
本发明实施例中提供的三维点云重构方法的流程还可以通过图2和图3表示。图2中，对于三维相机的左视场的目标物结构光图像，确定左视场的相位分布图像以及得到多层级采样左相位簇；对于三维相机的右视场的目标物结构光图像，确定右视场的相位分布图像以及多层级采样右相位簇；然后依次确定低分辨视差图以及高分辨视差图，最后进行三维点云重构。由于分层降采样得到的多个层级的相位图像的分辨率依次降低，而通过低分辨率的相位图像可以得到空间场景的低频信号，通过高分辨率的相位图像可以得到空间场景的高频信号，因此通过本发明实施例中提供的三维点云重构得到的三维点云可以同时兼顾空间场景的高频信号和低频信号，匹配稳定性更高。
图3中，通过对左右视场的目标物结构光图像进行分层降采样，分别得到多层级采样左相位簇以及多层级采样右相位簇；然后对于视差图，采用升采样校正的方式确定左右视场的相位分布图像的视差图像，最终重构得到点云。
本发明实施例中提供的三维点云重构方法，首先获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；然后对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；最后基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构。该方法一方面使用了多种分辨率层级的左右相位图像，逐级引导进行高分辨率的立体匹配，可以节约算力开销。进行点云重构时可以减少计算时间，降低占用的内存，并可以重构出精确的三维点云。另一方面多种分辨率设置同时兼顾了场景的高频和低频信号，匹配稳定性更高。
在上述实施例的基础上，本发明实施例中提供的三维点云重构方法，所述对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像，之前还包括：
获取所述三维相机的标定参数；
基于所述标定参数，对所述左右视场的相位分布图像进行极线校正，以使所述左右视场的相位分布图像中的对应行像素点对齐。
具体地，本发明实施例中在基于所述目标物结构光图像，确定所述左右视场的相位分布图像之后，且在对所述左右视场的相位分布图像进行分层降采样之前，还可以获取三维相机的标定参数。三维相机的标定参数可以包括相机内参、相机外参以及畸变参数等。根据标定参数，可以对左右视场的相位分布图像进行极线校正，极线校正可以是通过极线校正算法将双目立体视觉几何结构校正为平视双目标准几何结构，使左右视场的相位分布图像中的对应行像素点位于同一水平线上。可以使后续操作顺利进行。
在上述实施例的基础上，本发明实施例中提供的三维点云重构方法，所述基于所述标定参数，对所述左右视场的相位分布图像进行极线校正，以使所述左右视场的相位分布图像中的对应行像素点对齐，之后还包括：
确定极线校正后所述左右视场的相位分布图像的不同相位周期，并确定等相位像素点匹配在所述左右视场的相位分布图像的相同相位周期内进行。
具体地，本发明实施例中，在极线校正后，还可以确定极线校正后左右视场的相位分布图像的不同相位周期，不同相位周期可以对应有不同的相位周期编号，通过相位周期编号进行标识。进一步地，可以在左右视场的相位分布图像的同一相位周期内进行等相位像素点匹配。如此可以压缩匹配点的搜索范围，提高匹配速度，进而提高三维点云重构速度。
在上述实施例的基础上，本发明实施例中提供的三维点云重构方法，所述对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像，之前还包括：
对于所述左右视场的任一视场，判断所述任一视场的相位分布图像中任一行内任一像素点相邻的预设数量的像素点的相位值是否具有单调性；
若所述预设数量的像素点的相位值不具有单调性，则删除所述任一像素点。
具体地，在对左右视场的最低层级的相位图像进行等相位像素点匹配之前，还可以对于左右视场的任一视场，判断任一视场的相位分布图像中任一行内任一像素点相邻的预设数量的像素点的相位值是否具有单调性。任一视场可以是左视场或右视场，任一像素点相邻的预设数量的像素点可以是该任一像素点的邻域范围内的预设数量的像素点，预设数量的像素点中可以包含有该任一像素点，该任一像素点可以位于预设数量的像素点的中心位置。预设数量可以根据需要进行选择，既可以是奇数，例如可以选取3、5、7等；也可以是偶数，例如可以选取4、6等。然后判断该预设数量的像素点的相位值是否具有单调性，即是否是单调递增或单调递减。如果具有单调性则不作处理，如果不具有单调性则可以删除该任一像素点。以保证该任一像素点的领域范围内的像素点的相位值具有单调性，可以进一步压缩匹配点的搜索范围，提高匹配速度，进而提高三维点云重构速度。
在上述实施例的基础上，本发明实施例中提供的三维点云重构方法，所述对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像，具体包括：
基于局部线性拟合相位差的方式，确定所述左右视场的最低层级的相位图像中各匹配点对的视差值；
基于所述左右视场的最低层级的相位图像中各匹配点对的视差值，确定最低层级的视差图像。
具体地，本发明实施例中在等相位像素点匹配以及确定最低层级的视差图像时，可以先根据局部线性拟合相位差的方式，确定出左右视场的最低层级的相位图像中各匹配点对的视差，即采用局部线性拟合相位差的方式进行等相位像素点匹配。这里的局部线性拟合相位差是指在右视场的最低层级的相位图像中的候选点的指定邻域内进行线性拟合并插值得到超像素的匹配点，也可以根据编码相位的分布函数采用二次曲线、样条曲线等其它拟合方式。
假设左视场的最低层级的相位图像中任一像素点的相位值为pLij，在右视场的最低层级的相位图像中任一像素点对应于左视场的最低层级的相位图像中任一像素点的候选视差范围[d1,d2]内的相位值为计算两者的差值ε：
取最小ε对应的右相位列坐标k，并在k的指定邻域内拟合列坐标k与相位值p的直线方程：
p＝ak+b
其中，指定领域中可以包含有k附近的多个像素点，例如3或5个等像素点，a为直线斜率，b为直线截距。将pLij代入上面的直线方程即可得到右侧匹配点的像素点坐标ks：
当拟合直线的a≈0时，右侧相位近似为常数，表明左视场的最低层级的相位图像中任一像素点在右视场的最低层级的相位图像中的当前匹配点处于右视场的最低层级的相位图像的背景中。
由以上过程即可得到左右视场的最低层级的相位图像中像素精度的匹配点，由于一般情况下编码结构光对应的相位分布为斜坡样的单调递增或者递减函数，故在局部较小区域内使用拟合直线求取亚像素匹配点是可以满足精度要求的，该方式能够在保证亚像素精度的同时具有更快的匹配代价计算速度。此外还可以根据其他相位编码模式或场景物体形态，选择二次曲线或者样条曲线等高阶曲线形式，又或者使用邻域拟合多项式曲面的方式进行求解，具体实现方式可以根据实际情况和点云计算速度要求来选择不同的计算方法。
在上述实施例的基础上，本发明实施例中提供的三维点云重构方法，所述基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，具体包括：
对所述最低层级的视差图像中各像素点的视差值进行插值，得到所述最低层级的上一层级的视差图像中各像素点的初始视差值；
确定所述左右视场的所述上一层级的相位图像中各匹配点对，并计算所述上一层级的相位图像中各匹配点对对应的校正量；
基于所述上一层级的视差图像中各像素点的初始视差值以及所述上一层级的相位图像中各匹配点对对应的校正量，确定所述上一层级的视差图像中各像素点的当前视差值；
重复执行以上过程，直至所述上一层级为最高层级，所述最高层级的视差图像为所述左右视场的相位分布图像的视差图像。
具体地，本发明实施例中在基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像时，由底层分辨率的视差图引导进行更高层分辨率的视差图计算，由下一层级的视差图的视差值通过插值算法得到上一层级视差图的初始视差值，然后在该初始视差值对应的右相位图附近邻域的像素点范围内搜索最终等相位匹配点，从而校正当前层级视差图。
图4为本发明实施例中通过升采样方式确定左右视场的相位分布图像的视差图像的流程示意图，如图4所示，左右视场的相位分布图像分别划分为1、2、j层级的相位图像L1、L2、Lj和R1、R2、Rj。匹配首先从最低层级Lj与Rj开始计算得到最低层级的视差图像Dj，对Dj进行插值得到上一层级的视差图像D2的初始视差值接着由此时的L2与R2相位在初始视差邻域9个像素(或者其它值)内重新计算匹配点对，并计算校正量/>更新D2的当前视差值为/>后续重复以上计算过程得到最高层级的视差图像D1。
在上述实施例的基础上，本发明实施例中提供的三维点云重构方法，所述对所述最低层级的视差图像中各像素点的视差值进行插值，具体包括：
基于最近邻插值算法或双线性插值算法，对所述最低层级的视差图像中各像素点的视差值进行插值。
具体地，本发明实施例中，在对Dj进行插值得到上一层级的视差图像D2的初始视差值时，具体可以采用最邻近插值算法或者双线性插值算法实现，也可以采用其他插值算法，本发明实施例中对此不作具体限定。
在上述实施例的基础上，本发明实施例中提供的三维点云重构方法，整个计算过程可以分别针对于左右视场的目标物结构光图像中各像素点进行并行处理，如此可以实现并行化的架构设计，以进一步提升点云计算速度。
综上所述，本发明实施例中一方面构建了多种分辨率层级的左右视场的相位图像，逐级引导进行高分辨率的立体匹配，并同时利用相位周期编号与相位单调性等约束进一步压缩搜索范围；另一方面采用了局域线性拟合相位差计算等相位匹配点和像素视差值，且该方法还同时具备并行计算的架构设计，使得点云计算速度大大增加，其工业应用效率也相应得到显著提升。
如图5所示，在上述实施例的基础上，本发明实施例中提供了一种三维点云重构系统，包括：获取模块51、降采样模块52、匹配模块53和重构模块54。其中，
获取模块51用于获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；
降采样模块52用于对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；
匹配模块53用于对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；
重构模块54用于基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构。
在上述实施例的基础上，本发明实施例中提供的三维点云重构系统，还包括极线校正模块，用于：
获取所述三维相机的标定参数；
基于所述标定参数，对所述左右视场的相位分布图像进行极线校正，以使所述左右视场的相位分布图像中的对应行像素点对齐。
在上述实施例的基础上，本发明实施例中提供的三维点云重构系统，还包括相位周期确定模块，用于：
确定极线校正后所述左右视场的相位分布图像的不同相位周期，并确定等相位像素点匹配在所述左右视场的相位分布图像的相同相位周期内进行。
在上述实施例的基础上，本发明实施例中提供的三维点云重构系统，还包括单调性判断模块，用于：
对于所述左右视场的任一视场，判断所述任一视场的相位分布图像中任一行内任一像素点相邻的预设数量的像素点的相位值是否具有单调性；
若所述预设数量的像素点的相位值不具有单调性，则删除所述任一像素点。
在上述实施例的基础上，本发明实施例中提供的三维点云重构系统，所述匹配模块，具体用于
基于局部线性拟合相位差的方式，确定所述左右视场的最低层级的相位图像中各匹配点对的视差值；
基于所述左右视场的最低层级的相位图像中各匹配点对的视差值，确定最低层级的视差图像。
在上述实施例的基础上，本发明实施例中提供的三维点云重构系统，所述重构模块，具体用于：
对所述最低层级的视差图像中各像素点的视差值进行插值，得到所述最低层级的上一层级的视差图像中各像素点的初始视差值；
确定所述左右视场的所述上一层级的相位图像中各匹配点对，并计算所述上一层级的相位图像中各匹配点对对应的校正量；
基于所述上一层级的视差图像中各像素点的初始视差值以及所述上一层级的相位图像中各匹配点对对应的校正量，确定所述上一层级的视差图像中各像素点的当前视差值；
重复执行以上过程，直至所述上一层级为最高层级，所述最高层级的视差图像为所述左右视场的相位分布图像的视差图像。
在上述实施例的基础上，本发明实施例中提供的三维点云重构系统，所述重构模块，具体用于：
基于最近邻插值算法或双线性插值算法，对所述最低层级的视差图像中各像素点的视差值进行插值。
具体地，本发明实施例中提供的三维点云重构系统中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述各实施例提供的三维点云重构方法，该方法包括：获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例提供的三维点云重构方法，该方法包括：获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的三维点云重构方法，该方法包括：获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种三维点云重构方法，其特征在于，包括：
获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；
对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；所述分层降采样是指逐层级降低所述左右视场的相位分布图像的分辨率，得到各个层级的相位图像；
对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；
基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构；
所述基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，具体包括：
对所述最低层级的视差图像中各像素点的视差值进行插值，得到所述最低层级的上一层级的视差图像中各像素点的初始视差值；
确定所述左右视场的所述上一层级的相位图像中各匹配点对，并计算所述上一层级的相位图像中各匹配点对对应的校正量；
基于所述上一层级的视差图像中各像素点的初始视差值以及所述上一层级的相位图像中各匹配点对对应的校正量，确定所述上一层级的视差图像中各像素点的当前视差值；
重复执行以上过程，直至所述上一层级为最高层级，所述最高层级的视差图像为所述左右视场的相位分布图像的视差图像。
2.根据权利要求1所述的三维点云重构方法，其特征在于，所述对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像，之前还包括：
获取所述三维相机的标定参数；
基于所述标定参数，对所述左右视场的相位分布图像进行极线校正，以使所述左右视场的相位分布图像中的对应行像素点对齐。
3.根据权利要求2所述的三维点云重构方法，其特征在于，所述基于所述标定参数，对所述左右视场的相位分布图像进行极线校正，以使所述左右视场的相位分布图像中的对应行像素点对齐，之后还包括：
确定极线校正后所述左右视场的相位分布图像的不同相位周期，并确定等相位像素点匹配在所述左右视场的相位分布图像的相同相位周期内进行。
4.根据权利要求2所述的三维点云重构方法，其特征在于，所述对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像，之前还包括：
对于所述左右视场的任一视场，判断所述任一视场的相位分布图像中任一行内任一像素点相邻的预设数量的像素点的相位值是否具有单调性；
若所述预设数量的像素点的相位值不具有单调性，则删除所述任一像素点。
5.根据权利要求1-4中任一项所述的三维点云重构方法，其特征在于，所述对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像，具体包括：
基于局部线性拟合相位差的方式，确定所述左右视场的最低层级的相位图像中各匹配点对的视差值；
基于所述左右视场的最低层级的相位图像中各匹配点对的视差值，确定最低层级的视差图像。
6.根据权利要求1-4中任一项所述的三维点云重构方法，其特征在于，所述对所述最低层级的视差图像中各像素点的视差值进行插值，具体包括：
基于最近邻插值算法或双线性插值算法，对所述最低层级的视差图像中各像素点的视差值进行插值。
7.一种三维点云重构系统，其特征在于，包括：
获取模块，用于获取三维相机的左右视场的目标物结构光图像，并基于所述目标物结构光图像，确定所述左右视场的相位分布图像；
降采样模块，用于对所述左右视场的相位分布图像进行分层降采样，得到所述左右视场的多个层级的相位图像；所述分层降采样是指逐层级降低所述左右视场的相位分布图像的分辨率，得到各个层级的相位图像；
匹配模块，用于对所述左右视场的最低层级的相位图像进行等相位像素点匹配，并确定所述最低层级的视差图像；
重构模块，用于基于所述最低层级的视差图像，确定所述左右视场的相位分布图像的视差图像，并基于所述左右视场的相位分布图像的视差图像，对所述目标物结构光图像中的目标物进行三维点云重构；
所述重构模块，具体用于：
对所述最低层级的视差图像中各像素点的视差值进行插值，得到所述最低层级的上一层级的视差图像中各像素点的初始视差值；
确定所述左右视场的所述上一层级的相位图像中各匹配点对，并计算所述上一层级的相位图像中各匹配点对对应的校正量；
基于所述上一层级的视差图像中各像素点的初始视差值以及所述上一层级的相位图像中各匹配点对对应的校正量，确定所述上一层级的视差图像中各像素点的当前视差值；
重复执行以上过程，直至所述上一层级为最高层级，所述最高层级的视差图像为所述左右视场的相位分布图像的视差图像。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述三维点云重构方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维点云重构方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110097806.7A CN112802184B (zh) | 2021-01-25 | 2021-01-25 | 三维点云重构方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110097806.7A CN112802184B (zh) | 2021-01-25 | 2021-01-25 | 三维点云重构方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112802184A CN112802184A (zh) | 2021-05-14 |
| CN112802184B true CN112802184B (zh) | 2024-04-30 |
Family
ID=75811620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110097806.7A Active CN112802184B (zh) | 2021-01-25 | 2021-01-25 | 三维点云重构方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112802184B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972626A (zh) * | 2022-04-07 | 2022-08-30 | 福州大学 | 一种基于编码结构光双目视觉的焊缝三维重建系统及方法 |
| CN117315003A (zh) * | 2023-12-01 | 2023-12-29 | 常州微亿智造科技有限公司 | 基于双目光栅投影的三维测量方法、系统、设备及其介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815594A (zh) * | 2015-11-30 | 2017-06-09 | 展讯通信（上海）有限公司 | 立体匹配方法及装置 |
| CN107798694A (zh) * | 2017-11-23 | 2018-03-13 | 海信集团有限公司 | 一种像素点视差值计算方法、装置及终端 |
| WO2020181510A1 (zh) * | 2019-03-12 | 2020-09-17 | 深圳市大疆创新科技有限公司 | 一种图像数据处理方法、装置及系统 |
| CN111899326A (zh) * | 2020-06-18 | 2020-11-06 | 苏州小优智能科技有限公司 | 一种基于gpu并行加速的三维重建方法 |
| CN111951339A (zh) * | 2020-07-15 | 2020-11-17 | 苏州易航远智智能科技有限公司 | 利用异构双目相机进行视差计算的图像处理方法 |
-
2021
- 2021-01-25 CN CN202110097806.7A patent/CN112802184B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815594A (zh) * | 2015-11-30 | 2017-06-09 | 展讯通信（上海）有限公司 | 立体匹配方法及装置 |
| CN107798694A (zh) * | 2017-11-23 | 2018-03-13 | 海信集团有限公司 | 一种像素点视差值计算方法、装置及终端 |
| WO2020181510A1 (zh) * | 2019-03-12 | 2020-09-17 | 深圳市大疆创新科技有限公司 | 一种图像数据处理方法、装置及系统 |
| CN111899326A (zh) * | 2020-06-18 | 2020-11-06 | 苏州小优智能科技有限公司 | 一种基于gpu并行加速的三维重建方法 |
| CN111951339A (zh) * | 2020-07-15 | 2020-11-17 | 苏州易航远智智能科技有限公司 | 利用异构双目相机进行视差计算的图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112802184A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106780590B (zh) | 一种深度图的获取方法及系统 | |
| CN112802184B (zh) | 三维点云重构方法、系统、电子设备及存储介质 | |
| CN109945802B (zh) | 一种结构光三维测量方法 | |
| CN113160068B (zh) | 基于图像的点云补全方法及系统 | |
| CN113592026A (zh) | 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法 | |
| CN112833818B (zh) | 一种单帧条纹投影三维面型测量方法 | |
| CN111508030A (zh) | 一种计算机视觉的立体匹配方法 | |
| CN113762358A (zh) | 一种基于相对深度训练的半监督学习三维重建方法 | |
| WO2013012054A1 (ja) | 画像処理方法および装置 | |
| CN115239870A (zh) | 基于注意力代价体金字塔的多视图立体网络三维重建方法 | |
| CN115222889A (zh) | 基于多视图图像的3d重建方法、装置及相关设备 | |
| CN115272683A (zh) | 一种基于深度学习的中心差分信息滤波相位解缠方法 | |
| CN115100352A (zh) | 光场三维重建方法、装置、电子设备及计算机存储介质 | |
| Song et al. | Super-resolution phase retrieval network for single-pattern structured light 3D imaging | |
| CN114463408A (zh) | 自由视点图生成方法、装置、设备及存储介质 | |
| CN112116646B (zh) | 一种基于深度卷积神经网络的光场图像深度估计方法 | |
| CN111023994B (zh) | 一种基于多重测量的光栅三维扫描方法及系统 | |
| CN112270701A (zh) | 基于分组距离网络的视差预测方法、系统及存储介质 | |
| CN116246017A (zh) | 基于双目影像数据的海浪三维重建方法 | |
| CN115100382B (zh) | 一种基于混合表征的神经表面重建系统及方法 | |
| CN113551617B (zh) | 基于条纹投影的双目双频互补三维面型测量方法 | |
| CN114663600A (zh) | 一种基于自编码器的点云重建方法及系统 | |
| CN109509218B (zh) | 基于fpga获取视差图的方法、装置 | |
| CN112802079A (zh) | 一种视差图获取方法、装置、终端和存储介质 | |
| CN117496091B (zh) | 一种基于局部纹理的单视图三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221229 Address after: 314506 room 116, building 4, No. 288, development avenue, Tongxiang Economic Development Zone, Tongxiang City, Jiaxing City, Zhejiang Province Applicant after: Shengjing Intelligent Technology (Jiaxing) Co.,Ltd. Address before: 102206 5th floor, building 6, 8 Beiqing Road, Changping District, Beijing Applicant before: SANY HEAVY INDUSTRY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |