CN112070709A - 三维点云信息的采集方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种三维点云信息的采集方法、装置及电子设备，属于三维建模技术领域。三维点云信息的采集方法，包括：通过N个摄像头分别采集目标物体表面的图像，图像包括目标物体表面的结构光图案，N个摄像头中，至少存在两个镜头光圈不同的摄像头，其中，N为大于1的整数；根据各图像确定目标物体表面的三维点云信息。能够对表面不同区域反射率差异较大的目标物体，进行更加精准的三维点云信息采集。

Description

三维点云信息的采集方法、装置及电子设备

技术领域

本发明涉及三维建模技术领域，具体而言，涉及一种三维点云信息的采集方法、装置及电子设备。

背景技术

利用基于结构光的三维测量技术可以精确地获取待测目标的三维形貌信息。基于结构光的三维测量，通常用到结构光模组和摄像头。令结构光模组投射预先设定的结构光图案至目标物体的表面，然后用摄像头抓拍上述图案在目标物体表面的投射图像。使用这些照片，并对其进行结构光解算，就可以获得目标物体表面的三维信息。

然而，当目标物体表面的反射率变化范围较大时，即目标物体表面存在高反射区域(如金属、陶瓷等)和低反射区域(如黑色哑光物体)，则由于结构光模组投射的光的亮度或摄像头曝光时间设置固定，最终由摄像头抓拍到的带有结构光的目标物体表面的图像会部分区域发生过曝光(高反射区域)或欠曝光(低反射区域)的情况，导致根据摄像头采集的目标物体表面的图像无法识别得到三维点云信息的问题，或三维点云信息出现部分区域存在空洞的问题，从而造成三维点云信息精确度较低。

发明内容

本发明的目的在于提供一种三维点云信息的采集方法、装置及电子设备，能够对表面不同区域反射率差异较大的目标物体，进行更加精准的三维点云信息采集。

本发明的实施例是这样实现的：

本发明实施例的一方面，提供一种三维点云信息的采集方法，包括：

通过N个摄像头分别采集目标物体表面的图像，图像包括目标物体表面的结构光图案，N个摄像头中，至少存在两个镜头光圈不同的摄像头，其中，N为大于1的整数；

根据各图像确定目标物体表面的三维点云信息。

可选地，根据各图像确定目标物体表面的三维点云信息，包括：

分别获取各图像所对应的三维点云；

将各三维点云进行拼接融合，得到目标物体表面的三维点云信息。

可选地，分别获取各图像所对应的三维点云，包括：

对各图像中的每个图像：

获取目标物体表面每个空间点对应的结构光参考坐标；

获取目标物体表面每个空间点在图像中对应的结构光坐标；

根据结构光参考坐标以及结构光坐标，确定图像对应的目标物体表面的三维点云。

可选地，将各三维点云进行拼接融合，得到目标物体表面的三维点云信息，包括：

根据各摄像头之间的位置关系，获取各摄像头之间的坐标转换矩阵；

根据坐标转换矩阵，将各图像所对应的三维点云转换至同一坐标系下；

将同一坐标系下的各三维点云拼接融合，得到目标物体表面的三维点云信息。

可选地，各摄像头的镜头前端中心位于同一直线上，且直线与目标物体的测量基准面平行。

可选地，结构光图案通过结构光模组投射在目标物体表面，结构光模组的光轴与目标物体的测量基准面法线间的夹角，等于N个摄像头中镜头光圈最小的一个摄像头的光轴与目标物体的测量基准面法线间的夹角。

可选地，每个摄像头的镜头前设置有滤光片，滤光片的通光谱段与结构光模组的发光谱段一致。

可选地，N个摄像头分别采集目标物体表面的图像时，图像采集时间相同。

本发明实施例的另一方面，提供一种三维点云信息的采集装置，包括：

采集模块，用于通过N个摄像头分别采集目标物体表面的图像，图像包括目标物体表面的结构光图案，N个摄像头中，至少存在两个镜头光圈不同的摄像头，其中，N为大于1的整数；

计算模块，用于根据各图像确定目标物体表面的三维点云信息。

本发明实施例的又一方面，提供一种电子设备，包括处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行上述的三维点云信息的采集方法。

本发明实施例的有益效果包括：

本发明实施例提供的一种三维点云信息的采集方法，可以首先通过N个摄像头分别采集目标物体表面的图像，其中，该图像包括目标物体表面的结构光图案，N个摄像头中，至少存在两个镜头光圈不同的摄像头，且N为大于1的整数。之后根据各图像确定目标物体表面的三维点云信息。通过设置的N(N 为大于1的整数)个摄像头分别采集目标物体表面的图像，由于各摄像头中，存在至少两个镜头光圈不同的摄像头，因此，采集得到的各图像中，至少存在两个曝光度不同的图像，从而通过曝光不同的图像能够相互弥补目标物体表面高反射区域和低反射区域的曝光效果，进而根据各图像能够对高反射区域和低反射区域分别进行较好的解算，以使最终确定的目标物体表面的三维点云信息更加准确，且不易出现存在空洞的情况。并且，通过该方法进行目标物体表面三维点云信息的获取，避免了对目标物体进行重复多次的图像采集，从而提高了获取目标物体表面三维点云信息的测量时间，提高测量效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的三维点云信息的采集方法的流程示意图之一；

图2为本发明实施例提供的三维点云信息的采集方法的流程示意图之二；

图3为本发明实施例提供的三维点云信息的采集方法的流程示意图之三；

图4为本发明实施例提供的三维点云信息的采集方法的流程示意图之四；

图5为本发明实施例提供的三维点云信息的采集装置的结构示意图之一；

图6为本发明实施例提供的三维点云信息的采集装置的结构示意图之二；

图7为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本发明实施例提供一种三维点云信息的采集方法，如图1 所示，包括：

S101：通过N个摄像头分别采集目标物体表面的图像，图像包括目标物体表面的结构光图案，N个摄像头中，至少存在两个镜头光圈不同的摄像头。

其中，N为大于1的整数；

S102：根据各图像确定目标物体表面的三维点云信息。

在该方法中，目标物体表面的结构光图案通常通过结构光模组投射在目标物体的表面。其中，结构光图案的具体图样，可以为线阵结构光、点阵结构光等，此处不做限制。

其中，N个摄像头，且至少存在两个光圈不同的摄像头，示例地，可以是一个小光圈摄像头和一个大光圈摄像头。小光圈摄像头由于其光圈较小(进光量小)，因此能过降低目标物体表面的高折射区域的曝光度，从而使其采集得到的目标物体表面的图像在高折射区域能够具有相对正常的曝光，避免出现过曝光的情况。而大光圈摄像头由于其光圈较大(进光量大)，因此能过提高目标物体表面的低折射区域的曝光度，从而使其采集得到的目标物体表面的图像在低折射区域能够具有相对正常的曝光，避免出现欠曝光的情况。因此，根据至少存在两个不同光圈大小的摄像头的N个摄像头，能够相互进行曝光补偿，从而根据各摄像头采集得到的各图像，以确定目标物体表面的三维点云信息，能够使目标物体表面不同反射率区域分别具有较高分辨率的解算，从而提高最终得到的三维点云信息的精确度。

需要说明的是，在实际应用中，各摄像头的曝光时长可以设置为相同时长，或相近时长，从而避免曝光时长对各摄像头对目标物体表面的曝光度的影响。

在本发明实施例中，通过使各摄像头同时对目标物体表面的图像进行采集，从而减少采集目标物体表面的图像的总时长，提高三维点云信息的采集效率。

并且，在实际应用中，还可以仅通过一个大光圈摄像头和一个小光圈摄像头，或一个大光圈摄像头、一个中光圈摄像头以及一个小光圈摄像头来分别采集目标物体表面的图像，从而减小根据各图像进行三维点云信息解算使的数据量，进而提高采集三维点云信息的效率。

在该方法中，根据各图像确定目标物体表面的三维点云信息，可以采用将各图像进行HDR(高动态范围成像，High Dynamic Range Imaging)整合之后，对整合得到的图像进行三维点云信息解算等方式，此处不做限制。

本发明实施例提供的一种三维点云信息的采集方法，可以首先通过N个摄像头分别采集目标物体表面的图像，其中，该图像包括目标物体表面的结构光图案，N个摄像头中，至少存在两个镜头光圈不同的摄像头，且N为大于1的整数。之后根据各图像确定目标物体表面的三维点云信息。通过设置的N(N 为大于1的整数)个摄像头分别采集目标物体表面的图像，由于各摄像头中，存在至少两个镜头光圈不同的摄像头，因此，采集得到的各图像中，至少存在两个曝光度不同的图像，从而通过曝光不同的图像能够相互弥补目标物体表面高反射区域和低反射区域的曝光效果，进而根据各图像能够对高反射区域和低反射区域分别进行较好的解算，以使最终确定的目标物体表面的三维点云信息更加准确，且不易出现存在空洞的情况。

可选地，根据各图像确定目标物体表面的三维点云信息，如图2所示，包括：

S201：分别获取各图像所对应的三维点云。

S202：将各三维点云进行拼接融合，得到目标物体表面的三维点云信息。

通过先分别获取各图像所对应的三维点云，然后再将各三维点云进行拼接融合以得到三维点云信息，能够避免对各图像进行HDR融合，即避免直接进行像素处理，从而能够减少算法复杂度，并且还可以在三维点云拼接融合时，进行针对不同摄像头因位置差异而出现的视差补偿，从而进一步提高得到的三维点云信息的精确度(根据图像通常无法直接得到坐标信息，因此直接融合图像则进行视差补偿相对较难)。

其中，分别获取各图像所对应的三维点云，可以根据现有算法进行。例如，可以根据图像中的结构光图案，根据三角测量法进行图像中目标物体表面的高度信息的计算，以最终得到三维点云。

示例地，分别获取各图像所对应的三维点云，如图3所示，包括：

对各图像中的每个图像：

S301：获取目标物体表面每个空间点对应的结构光参考坐标。

S302：获取目标物体表面每个空间点在图像中对应的结构光坐标。

S303：根据结构光参考坐标以及结构光坐标，确定图像对应的目标物体表面的三维点云。

通过分别获取图像中目标物体表面各空间点对应的结构光图案的结构光参考坐标，以及结构光坐标(图像中的实际坐标)，能够使后续根据结构光坐标以及结构光参考坐标，可以得到结构光图案因目标物体表面的高度变化所产生的对应点坐标偏移的偏移向量，从而根据偏移向量便能够得到目标物体表面各空间点的高度(深度)信息，以对应得到三维点云。通过该方法步骤来获取各图像所对应的三维点云，能够相对准确，并且因为结构光参考坐标是根据每个图像所分别确定地，因此各三维点云可以反应到摄像头因位置差异所造成的图像的视差，从而便于后续对三维点云进行拼接融合时进行视差修正。

其中，各图像所对应的结构光参考坐标，可以通过分别对各摄像头进行相对于平面的结构光图案标定得到。

可选地，将各三维点云进行拼接融合，得到目标物体表面的三维点云信息，如图4所示，包括：

S401：根据各摄像头之间的位置关系，获取各摄像头之间的坐标转换矩阵。

S402：根据坐标转换矩阵，将各图像所对应的三维点云转换至同一坐标系下。

S403：将同一坐标系下的各三维点云拼接融合，得到目标物体表面的三维点云信息。

其中，坐标转换矩阵可以包括旋转矩阵和平移矩阵等，具体可以通过对各摄像头的感光单元坐标系、各摄像头间的间距、以及各摄像头的光轴夹角进行确定。当然，本领域技术人员还可以通过其他方式来确定坐标转换矩阵，只要能够根据确定的坐标转换矩阵将各图像对应的三维点云转换至同一坐标系下即可。

在实际应用中，各图像对应的三维点云所转换到的同一坐标系，可以是各摄像头中的一个的感光单元坐标系，还可以是独立设置的一个空间坐标系，此处不做限制，本领域技术人员可以根据实际条件对该坐标系进行建立。

通过上述方法步骤，能够使各摄像头分别采集的图像因对应的三维点云之间存在视差所造成的融合后的误差，能够得到修正，从而进一步提高最终得到的三维点云信息的准确性。

可选地，各摄像头的镜头前端中心位于同一直线上，且直线与目标物体的测量基准面平行。

其中，测量基准面为相对于目标物体的待测表面设置的基准平面(通常为放置目标物体以进行测量的目标物体承载平面，或水平面)，当目标物体的待测表面上的空间点位于该测量基准面上时，该空间点的深度值(或高度值)为零。

通过将各摄像头的镜头前端中心设置为同一直线上，且该直线与目标物体的测量基准面平行，能够使各摄像头的视场相对一致，以减小各摄像头所采集的图像之间存在的视差。从而减小因视差所造成的后续确定三维点云信息时的计算误差。

通常，各摄像头还可以相互紧贴设置，并且各摄像头间的光轴夹角还可以尽量设置的较小，甚至没有夹角，从而进一步提高各摄像头的视场的一致性。

可选地，结构光图案通过结构光模组投射在目标物体表面，结构光模组的光轴与目标物体的测量基准面法线间的夹角，等于N个摄像头中镜头光圈最小的一个摄像头的光轴与目标物体的测量基准面法线间的夹角。

由于高反射区域通常发生的是镜面反射，因此通过上述设置，能够使结构光模组投射的光线经物体表面的高反射区域时被反射后能够良好的进入到光圈最小的摄像头中，从而使光圈最小的摄像头能够对对应于高反射区域的部分进行较好的成像，使其采集的图像中对应于高反射区域的部分具有良好曝光，避免过曝光。

可选地，每个摄像头的镜头前设置有滤光片，滤光片的通光谱段与结构光模组的发光谱段一致。

通过设置滤光片，能够使环境光对摄像头采集的图像中的结构光图案产生影响，即降低环境光对三维点云信息的采集造成不良影响。

可选地，N个摄像头分别采集目标物体表面的图像时，图像采集时间相同。

通过将各摄像头的图像采集时间(曝光时长)设置为相同或相近，能够避免曝光时长对各摄像头采集图像时的曝光度造成影响。

本发明实施例的另一方面，提供一种三维点云信息的采集装置，如图5所示，包括：

采集模块11，用于通过N个摄像头分别采集目标物体表面的图像，图像包括目标物体表面的结构光图案，N个摄像头中，至少存在两个镜头光圈不同的摄像头，其中，N为大于1的整数；

计算模块12，用于根据各图像确定目标物体表面的三维点云信息。

本发明实施例提供的一种三维点云信息的采集装置，可以首先利用采集模块，通过N个摄像头分别采集目标物体表面的图像，其中，该图像包括目标物体表面的结构光图案，N个摄像头中，至少存在两个镜头光圈不同的摄像头，且N为大于1 的整数。之后再利用计算模块，根据各图像确定目标物体表面的三维点云信息。通过设置的N(N为大于1的整数)个摄像头分别采集目标物体表面的图像，由于各摄像头中，存在至少两个镜头光圈不同的摄像头，因此，采集得到的各图像中，至少存在两个曝光度不同的图像，从而通过曝光不同的图像能够相互弥补目标物体表面高反射区域和低反射区域的曝光效果，进而根据各图像能够对高反射区域和低反射区域分别进行较好的解算，以使最终确定的目标物体表面的三维点云信息更加准确，且不易出现存在空洞的情况。

可选地，如图6所示，计算模块12可以包括：

获取模块21，用于分别获取各图像所对应的三维点云；

拼接模块22，用于将各三维点云进行拼接融合，得到目标物体表面的三维点云信息。

可选地，获取模块21，具体用于对各图像中的每个图像：获取目标物体表面每个空间点对应的结构光参考坐标；获取目标物体表面每个空间点在图像中对应的结构光坐标；根据结构光参考坐标以及结构光坐标，确定图像对应的目标物体表面的三维点云。

可选地，拼接模块22，具体用于根据各摄像头之间的位置关系，获取各摄像头之间的坐标转换矩阵；根据坐标转换矩阵，将各图像所对应的三维点云转换至同一坐标系下；将同一坐标系下的各三维点云拼接融合，得到目标物体表面的三维点云信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中方法的对应过程，本发明中不再赘述。

本发明实施例还提供一种电子设备，该电子设备可以是能够执行前述三维点云信息的采集方法的三维测量系统、深度相机系统、计算机、服务器等。

如图7所示，该电子设备可以包括处理器31、存储介质32 和总线(图中未示出)，存储介质32存储有处理器31可执行的机器可读指令，当电子设备运行时，处理器31与存储介质32 之间通过总线通信，处理器31执行机器可读指令，以执行如前述的三维点云信息的采集方法。具体实现方式和技术效果类似，在此不再赘述。

为了便于说明，在上述电子设备中仅描述了一个处理器。然而，应当注意，本发明中的电子设备还可以包括多个处理器，因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备的处理器执行步骤A 和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B等。

在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用指令集处理器(Application Specific Instruction-set Processor， ASIP)、图形处理单元(Graphics Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器 (Digital Signal Processor，DSP)、现场可编程门阵列(Field ProgrammableGate Array，FPGA)、可编程逻辑器件 (Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing，RISC)、或微处理器等，或其任意组合。

本发明实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行如前述的三维点云信息的采集方法。具体实现方式和技术效果类似，在此同样不再赘述。

可选地，该存储介质可以是U盘、移动硬盘、ROM、RAM、磁碟或者光盘等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维点云信息的采集方法，其特征在于，所述方法包括：

通过N个摄像头分别采集目标物体表面的图像，所述图像包括目标物体表面的结构光图案，所述N个摄像头中，至少存在两个镜头光圈不同的摄像头，其中，N为大于1的整数；

根据各所述图像确定所述目标物体表面的三维点云信息。

2.如权利要求1所述的方法，其特征在于，所述根据各所述图像确定所述目标物体表面的三维点云信息，包括：

分别获取各所述图像所对应的三维点云；

将各所述三维点云进行拼接融合，得到所述目标物体表面的三维点云信息。

3.如权利要求2所述的方法，其特征在于，所述分别获取各所述图像所对应的三维点云，包括：

对各所述图像中的每个图像：

获取所述目标物体表面每个空间点对应的结构光参考坐标；

获取所述目标物体表面每个空间点在所述图像中对应的结构光坐标；

根据所述结构光参考坐标以及所述结构光坐标，确定所述图像对应的所述目标物体表面的三维点云。

4.如权利要求2所述的方法，其特征在于，所述将各所述三维点云进行拼接融合，得到所述目标物体表面的三维点云信息，包括：

根据各所述摄像头之间的位置关系，获取各摄像头之间的坐标转换矩阵；

根据所述坐标转换矩阵，将各所述图像所对应的三维点云转换至同一坐标系下；

将同一坐标系下的各所述三维点云拼接融合，得到所述目标物体表面的三维点云信息。

5.如权利要求1所述的方法，其特征在于，各所述摄像头的镜头前端中心位于同一直线上，且所述直线与所述目标物体的测量基准面平行。

6.如权利要求1所述的方法，其特征在于，所述结构光图案通过结构光模组投射在所述目标物体表面，所述结构光模组的光轴与所述目标物体的测量基准面法线间的夹角，等于所述N个摄像头中镜头光圈最小的一个摄像头的光轴与所述目标物体的测量基准面法线间的夹角。

7.如权利要求6所述的方法，其特征在于，每个所述摄像头的镜头前设置有滤光片，所述滤光片的通光谱段与所述结构光模组的发光谱段一致。

8.如权利要求1至7任一项所述的方法，其特征在于，所述N个摄像头分别采集目标物体表面的图像时，图像采集时间相同。

9.一种三维点云信息的采集装置，其特征在于，包括：

采集模块，用于通过N个摄像头分别采集目标物体表面的图像，所述图像包括目标物体表面的结构光图案，所述N个摄像头中，至少存在两个镜头光圈不同的摄像头，其中，N为大于1的整数；

计算模块，用于根据各所述图像确定所述目标物体表面的三维点云信息。

10.一种电子设备，其特征在于，包括处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过所述总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-8任一项所述的方法。

Images