CN113870115A - 一种基于双相机点云数据的拼接方法 - Google Patents

Abstract

本发明涉及一种基于双相机点云数据的拼接方法，包括以下步骤。S1、选取标定物，并将标定物的点云数据转化为模板文件。S2、架设左右两台相机，并调节两台相机之间的夹角。S3、将标定物放在两台相机捕捉画面重合的区域，并获取两张云图。S4、将两张云图分别与模板文件进行三维点云配准，将匹配最佳的点云数据作为特征物。S5、计算两台相机的位姿参数，将位姿参数作为标定文件。S6、取测试物进行比对测试；若测试结果为数据正确，则进行下一步骤；若测试结果为数据错位，则回到步骤S3。S7、将标定文件作为部署文件。通过双相机图像进行拼接，可以显示单相机无法看到的盲区位置，且双相机的数据可以相互验证，有效降低噪点带来的影响。

Description

一种基于双相机点云数据的拼接方法

技术领域

本发明涉及点云处理技术领域，特别是涉及一种基于双相机点云数据的拼接方法。

背景技术

现有技术中在获取物体图像时，通常是采用单相机进行获取图像，但是单相机进行获取的图像会存在错误的噪点数据；且单相机只能获取物体一个方向上的图像，获取的物体特征有限，因此，在实际应用过程中，不能满足需求，尤其是如果后续对物体进行分析或者检测时，有限的物体特征会影响精度。

发明内容

基于此，有必要针对现有技术中使用单相机获取物体图像时，存在错误的噪点数据的问题，提供一种基于双相机点云数据的拼接方法。

一种基于双相机点云数据的拼接方法，其包括以下步骤：

S1、选取标定物，并获取标定物的点云数据，将点云数据转化为模板文件。

S2、架设左右两台相机，并调节两台相机之间的夹角，使两台相机捕捉到画面的重合度大于一个预设重合度。

S3、将标定物放在两台相机捕捉画面重合的区域，并通过两台相机获取两张云图。

S4、将两张云图分别与模板文件进行三维点云配准，将匹配最佳的点云数据作为特征物。

S5、通过特征物在两台相机中的位置计算两台相机的位姿参数，将位姿参数作为当前两台相机的标定文件。

S6、取测试物，并将所述测试物放在两台相机捕捉画面重合的区域，两台所述相机根据所述标定文件进行测试；若测试结果为点云匹配数据正确，则进行下一步骤；若测试结果为点云匹配数据错位，则跳转到步骤S3。

S7、将所述标定文件作为点云数据拼接的部署文件。

上述基于双相机点云数据的拼接方法，通过双相机图像进行拼接，可以显示单相机无法看到的盲区位置，且双相机的数据可以相互验证，有效降低噪点带来的影响，提高测量精度。

在其中一个实施例中，步骤S2中，两台相机之间的夹角设置为30°。

在其中一个实施例中，步骤S4中，进行三维点云配准过程中，先用粗配准找出粗配准参数，并记录粗配准参数；然后再进行精配准，粗配准参数作为精配准的初始值。

在其中一个实施例中，步骤S1中，选取标定物时，标定物最多具有一个对称轴，且标定物的颜色与获取标定物点云数据时的背景颜色之间的颜色差异度大于一个预设值。

在其中一个实施例中，采用分割场景点云的方法将所述标定物提取为所述模板文件。

本发明还公开了一种基于双相机点云数据的拼接系统，其包括模板文件获取模块、相机搭建模块、拼接云图获取模块、特征物获取模块、标定文件获取模块和测试模块。模板文件获取模块用于获取标定物的点云数据，并将点云数据转化为模板文件。相机搭建模块用于架设左右两台相机，并调节两台相机之间的夹角，使两台相机捕捉到画面的重合度大于一个预设重合度。拼接云图获取模块用于标定物放在两台相机捕捉画面重合的区域，并通过两台相机获取两张云图。特征物获取模块通过将两张云图分别与模板文件进行三维点云配准，将匹配最佳的点云作为特征物。标定文件获取模块通过特征物在两台相机中的位置计算两台相机的位姿参数，将位姿参数作为当前两台相机的标定文件。测试模块将所述测试物放在两台相机捕捉画面重合的区域，两台所述相机根据所述标定文件进行测试；若测试结果为点云匹配数据正确，将所述标定文件作为点云数据拼接的部署文件；若测试结果为点云匹配数据错位，则重新获取两台相机的标定文件，直到测试结果为点云匹配数据正确为止。

在其中一个实施例中，进行三维点云配准过程中，先用粗配准找出粗配准参数，并记录粗配准参数；然后再进行精配准，粗配准参数作为精配准的初始值。

在其中一个实施例中，首先，选择一个最多具有一条对称轴的标定物，然后通过扫描设备扫描所述标定物，获取所述标定物的点云数据；最后将所述点云数据转化为模板文件进行存储；其中，在所述扫描设备扫描过程中，扫描背景的颜色与所述标定物的颜色之间的颜色差异度大于一个预设值。

本发明还公开了一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序是实现的基于双相机点云数据的拼接方法的步骤。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时，实现的基于双相机点云数据的拼接方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明的基于双相机点云数据的拼接方法，通过双相机图像进行拼接，可以显示单相机无法看到的盲区位置，且双相机的数据可以相互验证，有效降低噪点带来的影响，提高测量精度。

附图说明

图1为基于双相机点云数据的拼接方法的流程图。

图2为基于双相机点云数据的物体复位方法的流程图。

图3为基于双相机点云数据的拼接系统的模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“安装于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。当一个组件被认为是“固定于”另一个组件，它可以是直接固定在另一个组件上或者可能同时存在居中组件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/及”包括一个或多个相关的所列项目的任意的和所有的组合。

实施例1

请参阅图1，本实施例公开了一种基于双相机点云数据的拼接方法，其包括如下步骤S1-S7。

S1、选取标定物，并获取标定物的点云数据，将点云数据转化为模板文件。本实施例中，选取标定物时，标定物最多具有一个对称轴，且标定物的颜色与获取标定物点云数据时的背景颜色之间的颜色差异度大于一个预设值。其中颜色差异度指的是两种颜色之间的差异程度，预设值是根据经验或者现有标准确定的，比如，30％、40％等。本实施例中，标定物可以使用乒乓球拍，球拍黑色，背景设置为白色，标定物和背景之间有鲜明的对比，并且球拍的球柄和拍面可以作为一个方向，方便进行模板识别，类似于这种背景有差异，带有方向的物体都可以作为标定物，且在拍摄过程中需要注意标定物点云的完整性，点云数据尽量少噪点。

本实施例中，采用分割场景点云的方法将标定物提取为模板文件，模板文件的数据格式为通用数据格式，不需要依赖硬件数据。

S2、架设左右两台相机，并调节两台相机之间的夹角，使两台相机捕捉到画面的重合度大于一个预设重合度。预设重合度是可以根据查表或者经验进行确定，比如80％、90％等等。大于预设重合度是为了满足重合度要求。通过调整两台相机的夹角，可以改变两台相机的拍摄角度以及捕捉画面的重合度。当两台相机平行设置时，画面重合度为0；当两台相机之间的夹角不断增大时，画面重合区域由远慢慢变近，本实施例中，通过测试，选择30°为两台相机之间的夹角。当然，在其他实施例中，两台相机之间的夹角可以调整。

S3、将标定物放在两台相机捕捉画面重合的区域，并通过相机获取两张云图。本实施例中，标定物放在画面重合区域的正中央位置，左右两台相机分别从两个角度对标定物进行拍摄，可以得到左右两张相机视角下的标定物云图，标定物其中一侧会在两张标定物云图中共同出现，标定物两侧会分别在两张标定物云图中出现。比如乒乓球拍，以球柄、球拍作为方向，且与两台相机的摆放方向相平行，球拍一个面面向相机，此时，球拍、球柄朝向相机一面均能被两台相机捕捉，但是球柄的侧面和球拍的侧面只能分别被两台相机捕捉。

S4、将两张云图分别与模板文件进行三维点云配准，将匹配最佳的点云数据作为特征物。本实施例进行三维点云配准过程中，先用NDT粗配准找出粗配准参数，并记录所述粗配准参数；然后再进行ICP精配准，所述粗配准参数作为ICP精配准的初始值。粗配准和精配准是现有技术中常规的三维点云配准方法，本实施例不进行展开叙述，粗配准和精配准是点云匹配中用于加速的方法，可以提高匹配精度和速度。

S5、通过特征物在两台相机中的位置计算两台相机的位姿参数，将位姿参数作为当前两台相机的标定文件。两个标定文件之间可以相互验证，提高准确度。

S6、取测试物，并将所述测试物放在两台相机捕捉画面重合的区域，两台所述相机根据所述标定文件进行测试；若测试结果为点云匹配数据正确，则进行下一步骤；若测试结果为点云匹配数据错位，则跳转到步骤S3。

S7、将所述标定文件作为点云数据拼接的部署文件。

以乒乓球拍为例，单相机只能从球拍正面进行拍摄，球柄和球拍侧壁成为盲点，不能获取，且单相机进行测试，数据还有噪点。本实施例的基于双相机点云数据的拼接方法，通过双相机图像进行拼接，可以显示单相机无法看到的盲区位置，且双相机的数据可以相互验证，有效降低噪点带来的影响，提高测量精度。

实施例2

请结合图2，本实施例还公开了一种基于双相机点云数据的物体复位方法，其包括如下步骤。

S1、获取物体的原始点云数据。其采用如实施例1的基于双相机点云数据的拼接方法获取物体的原始点云数据。

S2、将存储的原始点云数据文件打开，并将原始点云数据作为参考云图，在参考云图中选择感兴趣(AOI)区域，在选择感兴趣区域时，可以任意选择，本实施例中，以带有明显特征的点云数据作为感兴趣区域，便于后续识别。

S3、获取物体的当前点云数据。获取物体的当前点云数据的过程与获取物体的原始点云数据的过程相同。

S4、在所述当前点云数据中选择与所述感兴趣区域重合度最高的区域，并判断该区域与所述感兴趣区域之间的重合度是否大于一个预设的重合度；若是，则将该区域作为目标区域。目标区域在当前点云数据中的位置就相当于感兴趣区域在原始点云数据中的位置，所以理论上目标区域的特征应该与感兴趣区域的特征相同，因此为了提高准确度，避免选错目标区域，需要目标区域与感兴趣区域有极高的重合度。

本实施例中，为了确保目标区域在当前点云数据中的位置相当于感兴趣区域在原始点云数据中的位置，在选定感兴趣区域时，应该保证感兴趣区域在参考云图中具有独特性，也就是说在参考云图中只能找到一个感兴趣区域。避免在当前点云数据中选择目标区域时发生错选。

本实施例中，如果选择的区域与所述感兴趣区域之间的重合度小于一个预设的重合度时，则调整物体的当前位置，并重新获取物体的当前点云数据，直到满足条件为止。

本实施例中，通过使用点云匹配形貌算法识别出当前点云数据中与感兴趣区域中重合度最高的区域。如果选择的区域与所述感兴趣区域之间的重合度小于一个预设的重合度时，则调整物体的当前位置，并重新获取物体的当前点云数据，直到满足条件为止。预设的重合度可以根据经验、或者可以根据查表等方式进行确定，比如80％、90％等等，若达不到预设的重合度，说明当前点云数据可能存在缺陷，可以调整物体的当前位置，并重新获取物体的当前点云数据。再在重新获取的当前点云数据中确定目标区域。

S5、通过对比感兴趣区域和目标区域，得出感兴趣区域和目标区域之间的位移量和角度偏转量；感兴趣区域和目标区域之间的位移量和角度偏转量表示原始点云数据和当前点云数据的位移值和角度偏转值。

S6、根据位移值和角度偏转值对物体的位置进行调整。具体的位置调整可通过先有的设备进行调整。

在本实施例中，对物体的位置进行调整前，先判断位移值和角度偏转值是否分别小于一个预设的值。预设的值是操作人员预定的，设置时可以参考具体的精度要求，但是应该保证预设值是亚毫米级的。若位移值和角度偏转值均小于一个预设的值，表示当前物体的位置和原始位置之间的误差是亚毫米级的且是满足精度要求的，因此不用继续对物体的位置进行调整。若位移值或角度偏转值中的任意一个大于一个预设的值，则表明当前物体的位置和原始位置之间的误差是不满足精度要求的，因此需要根据位移值或角度偏转值进行调整。

本实施例的基于点云形貌特征匹配的亚毫米级的物体复位方法，通过形貌特征匹配的方法，可以亚毫米级测量两次摆放位置的位移差值和姿态角度差值，若位移差值和姿态角度差值大于预设的阈值时，在进行调整，让物体再次回到原始位置。

本实施例的物体复位方法可应用于医疗领域，在医疗领域中有些患者进行人体放疗处理，放疗处理需要针对病灶治疗，必须每次都对着同一个位置，本实施例亚毫米级的精度可以满足使用。在应用过程中，控制治疗设备的激光射线方向不变对病灶进行治疗处理，在第一次治疗时首先通过扫描设备获取病灶的原始点云数据，对原始点云数据进行处理，滤出多余的干扰数据后将原始点云数据进行文件保存；再将病灶的原始点云数据制作成病灶的参考云图，在参考云图中选择感兴趣区域；后续再对病灶进行激光射线治疗时，首先利用扫描设备获取病灶当前的点云数据，并在当前的点云数据中识别出与感兴趣区域相似度极高的区域，作为目标区域；对比感兴趣区域和目标区域坐标的差值，可以反映原始点云数据和当前点云数据的位移值和角度偏转值，也就能体现出当前病灶位置与原始病灶位置之间位移值和角度偏转值，如果位移值和角度偏转值很小，则不需要进行调整，可以直接进行激光射线治疗；若位移值和角度偏转值超出一定值时，此时，激光射线并不能精准的指向当前病灶，需要调节病人的身体位置，进而调节病灶的位置，调节时，可以通过调节病床的方式实现。

实施例3

请参阅图3，本实施例公开了一种基于双相机点云数据的拼接系统，其包括模板文件获取模块、相机搭建模块、拼接云图获取模块、特征物获取模块、标定文件获取模块和测试模块。模板文件获取模块用于获取标定物的点云数据，并将点云数据转化为模板文件。相机搭建模块用于架设左右两台相机，并调节两台相机之间的夹角，使两台相机捕捉到画面的重合度大于一个预设重合度。拼接云图获取模块用于标定物放在两台相机捕捉画面重合的区域，并通过两台相机获取两张云图。特征物获取模块通过将两张云图分别与模板文件进行三维点云配准，将匹配最佳的点云作为特征物。标定文件获取模块通过特征物在两台相机中的位置计算两台相机的位姿参数，将位姿参数作为当前两台相机的标定文件。测试模块将所述测试物放在两台相机捕捉画面重合的区域，两台所述相机根据所述标定文件进行测试；若测试结果为点云匹配数据正确，将所述标定文件作为点云数据拼接的部署文件；若测试结果为点云匹配数据错位，则重新获取两台所述相机的标定文件，直到测试结果为点云匹配数据正确为止。

本实施例中，进行三维点云配准过程中，先用NDT粗配准找出粗配准参数，并记录粗配准参数；然后再进行ICP精配准，粗配准参数作为ICP精配准的初始值。

本实施例中，首先，选择一个最多具有一条对称轴的标定物，然后通过扫描设备扫描所述标定物，获取所述标定物的点云数据；最后将所述点云数据转化为模板文件进行存储；其中，在所述扫描设备扫描过程中，扫描背景的颜色与所述标定物的颜色之间的颜色差异度大于一个预设值。

本实施例具有与实施例1相同的有益效果。

实施例4

本发明实施例提供了一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行程序是实现如实施例1所述的基于双相机点云数据的拼接方法的步骤。

实施例1的方法在应用时，可以软件的形式进行应用，如设计成独立运行的程序，安装在计算机终端上，计算机终端可以是电脑、智能手机、控制系统以及其他物联网设备等。实施例1的方法也可以设计成嵌入式运行的程序，安装在计算机终端上，如安装在单片机上。

实施例5

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时，实现如实施例1所述的基于双相机点云数据的拼接方法的步骤。

实施例1的方法在应用时，可以软件的形式进行应用，如设计成独立运行的程序，存在计算机可读存储介质上，如U盘。采用U盘实施实施例1所述的基于双相机点云数据的拼接方法，这样直接插入U盘，即可让物体在拍摄时调用U盘中的计算机程序，使物体的拍摄更加精准，减小盲区和噪点。通过实施例5的方式，可利于基于双相机点云数据的拼接方法的推广与应用。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于双相机点云数据的拼接方法，其特征在于，其包括以下步骤：

S1、选取标定物，并获取所述标定物的点云数据，将所述点云数据转化为模板文件；

S2、架设左右两台相机，并调节两台相机之间的夹角，使两台相机捕捉到画面的重合度大于一个预设重合度；

S3、将所述标定物放在两台相机捕捉画面重合的区域，并通过两台所述相机获取两张云图；

S4、将两张所述云图分别与所述模板文件进行三维点云配准，将匹配最佳的点云数据作为特征物；

S5、通过所述特征物在两台相机中的位置计算两台相机的位姿参数，将所述位姿参数作为当前两台相机的标定文件；

S6、取测试物，并将所述测试物放在两台相机捕捉画面重合的区域，两台所述相机根据所述标定文件进行测试；若测试结果为点云匹配数据正确，则进行下一步骤；若测试结果为点云匹配数据错位，则跳转到步骤S3；

S7、将所述标定文件作为点云数据拼接的部署文件。

2.根据权利要求1所述的基于双相机点云数据的拼接方法，其特征在于，步骤S2中，两台相机之间的夹角设置为30°。

3.根据权利要求1所述的基于双相机点云数据的拼接方法，其特征在于，在步骤S4中，进行三维点云配准过程中，先通过粗配准找出粗配准参数，并记录所述粗配准参数；然后再进行精配准，所述粗配准参数作为精配准的初始值。

4.根据权利要求1所述的基于双相机点云数据的拼接方法，其特征在于，步骤S1中，选取所述标定物时，所述标定物最多具有一个对称轴，且所述标定物的颜色与获取所述标定物点云数据时的背景颜色之间的颜色差异度大于一个预设值。

5.根据权利要求4所述的基于双相机点云数据的拼接方法，其特征在于，步骤S1中，采用分割场景点云的方法将所述标定物提取为所述模板文件。

6.一种基于双相机点云数据的拼接系统，其特征在于，其包括：

模板文件获取模块，其用于获取标定物的点云数据，并将所述点云数据转化为模板文件；

相机搭建模块，其用于架设左右两台相机，并调节两台相机之间的夹角，使两台相机捕捉到画面的重合度大于一个预设重合度；

拼接云图获取模块，其用于所述标定物放在两台相机捕捉画面重合的区域，并通过两台所述相机获取两张云图；

特征物获取模块，其通过将两张所述云图分别与所述模板文件进行三维点云配准，将匹配最佳的点云数据作为特征物；

标定文件获取模块，其通过所述特征物在两台相机中的位置计算两台相机的位姿参数，将所述位姿参数作为当前两台相机的标定文件；

测试模块，其将所述测试物放在两台相机捕捉画面重合的区域，两台所述相机根据所述标定文件进行测试；若测试结果为点云匹配数据正确，将所述标定文件作为点云数据拼接的部署文件；若测试结果为点云匹配数据错位，则重新获取两台所述相机的标定文件，直到测试结果为点云匹配数据正确为止。

7.根据权利要求6所述的基于双相机点云数据的拼接系统，其特征在于，进行三维点云配准过程中，先用粗配准找出粗配准参数，并记录所述粗配准参数；再进行精配准，所述粗配准参数作为精配准的初始值。

8.根据权利要求6所述的基于双相机点云数据的拼接系统，其特征在于，获取所述标定物的模板文件包括以下步骤，首先，选择一个最多具有一条对称轴的标定物，然后通过扫描设备扫描所述标定物，获取所述标定物的点云数据；最后将所述点云数据转化为模板文件进行存储；其中，在所述扫描设备扫描过程中，扫描背景的颜色与所述标定物的颜色之间的颜色差异度大于一个预设值。

9.一种计算机终端，其特征在于，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行程序是实现如权利要求1至5任一所述的基于双相机点云数据的拼接方法的步骤。

10.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述程序被处理器执行时，实现如权利要求1至5任一所述的基于双相机点云数据的拼接方法的步骤。

Images