CN110779933A - 基于3d视觉传感阵列的表面点云数据获取方法和系统 - Google Patents

Abstract

一种基于3D视觉传感阵列的表面点云数据获取方法及系统，对3D视觉传感设备进行标定，获得相邻3D视觉传感设备之间的RT矩阵；设定拍摄顺序，利用3D视觉传感设备拍摄左右图像，通过相位值建立左右图像中的点对匹配关系，获得左点云和右点云；应用一次ICP算法求解左点云和右点云之间的刚体变换矩阵；根据相位值建立的匹配关系对左点云和右点云中未能进行匹配的点云进行剔除并对剩余的点云进行融合得到一片完整的点云。本发明为进一步检测被测表面可能出现的凹槽、凸起、变形，平面平整度等的详细信息提供数据分析依据，提升表面缺陷识别效率。

Description

基于3D视觉传感阵列的表面点云数据获取方法和系统

技术领域

本发明属于工件表面检测领域，具体地说是一种基于3D视觉传感阵列的表面点云数据获取方法和系统。

背景技术

在机械制造、汽车、船舶和航空航天等领域的生产制造过程中，产品的工作性能、可靠性、寿命在很大程度上取决于主要零件的表面质量，例如一个工件表面有微小的裂纹，在使用后裂纹很可能扩展并最终造成零件断裂，甚至将造成严重的安全事故。由于部分核心工件表面面积较大，由于原材料均匀度不一、加工刀具或设备稳定性较差等原因，加工过程中更易出现表面质量缺陷问题。

随着图像识别技术的快速发展，人们将视觉检测技术用于表面缺陷检测领域。如专利《大尺寸测量件表面三维形状高精度测量方法》(CN201810885841)，采用线激光扫描仪和PI电控平台搭建高精度三维点云采集系统，并利用激光跟踪仪实现多站高精度拼接，最终实现大尺寸工件的高精度、高效率检测。由于激光检测方式成本较高，很难在工业生产中得到推广使用。在表面质量检测领域，利用CCD相机视觉检测方式成本较低，在小尺寸表面缺陷检测时，采用基于结构光投影的CCD相机视觉检测方式进行工件表面缺陷检测也能取得较好效果，但在检测大尺寸表面时，受困于视野区域有限、通信距离段、识别速度慢等原因，难以实现快速且准确的表面质量检测，影响生产效率。

发明内容

为了解决上述的技术问题，本发明提供了一种基于3D视觉传感阵列的表面点云数据获取方法及系统。

为了解决上述技术问题，本发明采取以下技术方案：

一种基于3D视觉传感阵列的表面点云数据获取方法，该方法基于多台3D视觉传感设备，且一台3D视觉传感设备上具有左相机和右相机，包括以下步骤：

对3D视觉传感设备进行标定，采用单目标定和双目标定，其中单目标定用于建立像素坐标系和世界坐标系之间的关系，保存单目标定参数，双目标定用于计算单台3D视觉传感设备中两个相机的相对位置，保存双目标定参数；

再进行陈列标定，计算相邻设备中两个相机的相对位置，获得相邻3D视觉传感设备之间的RT矩阵；

设定拍摄顺序，利用3D视觉传感设备拍摄左右图像，通过相位值建立左右图像中的点对匹配关系，获得左点云和右点云；

应用一次ICP算法求解左点云和右点云之间的刚体变换矩阵；

根据相位值建立的匹配关系对左点云和右点云中未能进行匹配的点云进行剔除并对剩余的点云进行融合得到一片完整的点云。

所述单目标定具体包括以下步骤：

选择之前在3D视觉传感器设备的左相机和右相机中采集到的标定板的图像，在单幅图像中，标定板需覆盖2/3的图像幅面，设定好左相机和右相机的内部拍摄参数；

多角度、多姿态拍摄20组以上的数据，拍摄的20组以上图像中，标定板累计覆盖至少90％的图像幅面；

重复标定直到所有的标定误差在0.2以内；

保存结果，将标定的数据保存到指定路径中，导出经单目标定的RT矩阵，导出的RT矩阵表示标定过程中每一幅图像对应的相机的外参信息。

所述双目标定具体包括以下步骤：

选择之前在3D视觉传感器设备采集到的标定板的图像，让左相机和右相机同时采集20组以上的标定板数据，在单幅图像中，标定板需覆盖2/3的图像幅面；

载入之前单目标定的左相机和右相机的内部拍摄参数，完成单台3D视觉传感设备外部参数的计算；

重复标定直到所有误差位于0.2以内；

保存结果，将标定的数据保存到指定路径中，导出经双目标定的RT矩阵，导出RT矩阵表示标定过程中每一幅图像对应的相机的外参信息。

所述阵列标定具体包括以下步骤：

以每台3D视觉传感设备的左相机为参考系，将两台3D视觉传感设备的左相机分别当作一台3D视觉传感设备的左相机和右相机，使用双目标定方法完成标定操作；

使用两块同样规格的标定板，将标定板固定在一个支架上，保证两个标定板之间的相对位置固定不变，让相邻两台3D视觉传感设备的左相机能够分别拍摄到其中一个完整的标定板；

多角度，多姿态拍摄两块标定板，拍摄方式和单目标定、双目标定方式相同；

重复标定直到所有误差位于0.2以内；

用解方程和最优化方法求得相邻的3D视觉传感设备之间的RT矩阵。

一种基于3D视觉传感阵列的表面点云数据获取系统，包括：

3D视觉传感模块，包含有DLP数字光学投影、灰度相机、除尘高压气管接口、固定接口、相机USB接口、电源接口、DLP的USB接口，用于获取到工件表面点云数据信息；

控制模块，用于对3D视觉传感模块中灰度相机的参数的控制、传感阵列拍摄顺序的控制、主动防尘设置的控制、DLP的USB连接控制和DLP的外触发信号控制；

单双目标定模块，包含单目标定模块和双目标定模块，单目标定模块用于建立像素坐标系和世界坐标系之间的关系，双目标定用于计算单台设备中两个相机的相对位置；

阵列标定模块，用于依次计算相邻设备中两个相机的相对位置；

点云数据拼接模块，用于实现多台3D视觉传感模块采集的点云数据进行自动拼接。

所述3D视觉传感器模块的测量距离为0.8-1.0米，基线距离为400毫米，测量精度为30-50微米；

DLP数字光学投影，内置高分辨率DMD芯片，支持高速高精度复杂纹理的投影，支持内外触发，用于产生多组光栅条纹并将光栅条纹投影到工件表面；

灰度相机，用于获取工件表面灰度图像信息；

除尘高压气管接口，用于镜头除尘；

固定接口，用于将相关设备固定至其他支撑件如支架和机械臂；

相机USB接口，用于相机控制与图像数据输出；

电源接口，用于为各设备供电；

DLP的USB接口，用于实现DLP控制。

所述控制模块的具体控制为：

视觉相机参数的控制，首先选择相机序号，点击连接，设置曝光时间，伽马值相关参数值，曝光时间根据场景的明暗调整，在10000us-100000us之间，伽马值默认设置为1，增益区间为0-50，缓存数为25，传输时延设置为0；

传感阵列拍摄顺序的控制，通过调度不同组合相机数目的拍摄顺序，实现点云数据的快速拼接；

主动防尘设置的控制，控制高压气管接口的开合，向3D视觉传感模块吹送气体吹扫灰尘；

DLP的USB连接控制和DLP的外触发信号控制，用于对DLP设备的供电状态控制和对DLP的控制。

本发明具有以下有益效果：

1)采用基于结构光的三维建模技术，输出三维点云和灰度图，支持Windows平台，最大支持800mm*500mm测量范围，0.8m至1m测量距离，测量精度最高可达30微米；

2)3D视觉传感设备具备主动防尘机制，利用除尘高压气管压缩空气往镜头外吹风，阻止灰尘进入；

3)可由多台3D视觉传感设备组成传感阵列，目前最多可支持5台设备同时协同工作，有效覆盖特大场景；

4)控制模块内置灵活高效的多设备调度算法，可有效提高多台设备联合工作的效率，提升了点云数据的获取和拼接效率；

5)无特征点云拼接。可对多台设备进行联合标定，然后以此将各设备采集的点云数据进行自动拼接，适用于表面特征单一的大场景点云数据的采集。

6)为进一步检测被测表面可能出现的凹槽、凸起、变形，平面平整度等的详细信息提供数据分析依据，提升表面缺陷识别效率。

附图说明

附图1为本发明流程示意图；

附图2和3为本发明3D视觉传感设备示意图；

附图4为本发明检测示例图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

一种基于3D视觉传感阵列的表面点云数据获取系统，包括：

3D视觉传感模块，包含有DLP数字光学投影1、灰度相机2、除尘高压气管接口3、固定接口4、相机USB接口5、电源接口6、DLP的USB接口7，用于获取到工件表面点云数据信息。上述各接口及部件都安装在一个外壳体上，其中灰度相机通常设置两个，分别位于左侧和右侧，可定义为左相机和右相机，分别用于获取图像。

控制模块，用于对3D视觉传感模块中灰度相机的参数的控制、传感阵列拍摄顺序的控制、主动防尘设置的控制、DLP的USB连接控制和DLP的外触发信号控制。

单双目标定模块，包含单目标定模块和双目标定模块，单目标定模块用于建立像素坐标系和世界坐标系之间的关系，双目标定用于计算单台设备中两个相机的相对位置，进而保证对大尺寸表面的识别精度。

阵列标定模块，用于依次计算相邻设备中两个相机的相对位置，解决大尺寸表面的识别问题。

点云数据拼接模块，用于实现多台3D视觉传感模块采集的点云数据进行自动拼接。

所述3D视觉传感器模块的测量距离为0.8-1.0米，基线距离为400毫米，测量精度为30-50微米；DLP数字光学投影，内置高分辨率DMD芯片，支持高速高精度复杂纹理的投影，支持内外触发，用于产生多组光栅条纹并将光栅条纹投影到工件表面；灰度相机，用于获取工件表面灰度图像信息；除尘高压气管接口，用于镜头等部件除尘；固定接口，用于将相关设备固定至其他支撑件如支架和机械臂；相机USB接口，用于相机控制与图像数据输出；电源接口，用于为DLP等设备供电；DLP的USB接口，用于实现DLP控制。

所述控制模块的具体控制为：视觉相机参数的控制，首先选择相机序号，进一步地，点击连接，即可设置曝光时间，伽马值等参数值。曝光时间根据场景的明暗调整，一般在10000us-100000us之间，伽马值默认设置为1，增益区间大致为0-50，缓存数为25，传输时延可设置为0。

所述传感阵列拍摄顺序的控制，通过调度不同组合相机数目的拍摄顺序，实现点云数据的快速拼接，以5台设备组成的传感阵列为例，由于拍摄顺序为1-5号设备按顺序拍摄，正常拼接为相邻两台设备之间逐步拼接，需要进行4次拼接，采用本控制模块可将1、3、5三台设备作为组合拍拍摄，2、4作为组合拍摄，只需进行2次拼接，提升了点云数据的获取和拼接效率；

所述主动防尘设置的控制，主要控制高压气管接口的开合，设备工作时，打开防尘盖，同时打开压缩空气往镜头外吹风，阻止灰尘进入；

所述DLP的USB连接控制和DLP的外触发信号控制，用于对DLP等设备的供电状态控制和对DLP的控制。

通过以上的控制，确保3D视觉传感设备处于较佳的拍摄条件和状态，得到清晰的图像。

具体实例：

以某大型卡车车身表面磨抛质量检测为例，需要对车身表面进行3D视觉测量，输出点云数据，检测可能出现的凹槽(如刻痕)以及凸起(如凸痕)等缺陷，以便机械臂后续对车身表面及缺陷处，进行磨抛作业，精度要求50微米以内。如图2和3所示，所述3D视觉传感设备由DLP数字光学投影、灰度相机、除尘高压气管接口、固定接口、相机USB接口、电源接口和DLP的USB接口组成，测量距离为0.8-1.0米，基线距离为400毫米，测量精度为30-50微米。如图4所示，由于车身表面尺寸较大，需要使用5个3D视觉传感器设备才能实现一次性检测。首先通过控制模块检测DLP等接口是否处于连接状态，由于DLP本身的关系，目前单台PC在同一时间只能连接一台设备，否则会出现设备冲突的现象。控制板在打开与一台DLP的USB连接的同时，会自动关闭与其他设备的DLP的USB连接。在配置设备的DLP过程中，需要逐个打开DLP的USB连接，完成相关配置，并使其进入投影模式，配置完成后即可断开与DLP的USB连接。之后使用控制板触发DLP投射光栅，触发过程中无需保持和DLP的USB连接。所以USB连接DLP只存在于设备刚刚开启初始化的时候，一旦初始化配置完成，便无需进行二次配置。

设置灰度相机参数，一台3D视觉传感设备上具有左灰度相机和右灰度相机共两部相机，选择相机序号，点击连接，即可设置曝光时间，伽马值等参数值。曝光时间根据场景的明暗调整，一般在10000us-100000us之间，伽马值默认设置为1，增益区间大致为0-50，缓存数为25，传输时延可设置为0。

3D视觉传感设备工作时，打开防尘盖，同时打开除尘控制开关往镜头外吹风，阻止灰尘进入。

依次选定设备序号，进行单目相机标定，标定使用事先采集到的标定板的图像，保证图像对焦准确，曝光适宜，在单幅图像中，标定板需覆盖2/3的图像幅面，重复标定至误差小于0.2，保存结果，将标定的数据保存到指定路径中，导出的RT矩阵表示单目标定过程中每一幅图像对应的相机的外参信息。双目相机标定首先需要载入之前单目标定的左右相机的内参数据，完成单设备外参的计算，重复标定直到所有误差位于0.2以内，保存结果，将标定的数据保存到指定路径中，导出的RT矩阵表示标定过程中每一幅图像对应的相机的外参信息。

以每台设备的左相机为参考系。在两两标定中，左相机和右相机这两个相机之间的重叠区域可能较小，针对这种情况，可选择将标定板放置较远，将两台3D视觉传感设备的左相机分别当作一台设备的左右相机，使用双目标定方法完成标定工作。首先使用两块同样规格的标定板，将标定板固定在一个支架上，保证两个标定板之间的相对位置固定不变，让相邻两台设备的左相机能够分别拍摄到其中一个完整的标定板。然后多角度，多姿态拍摄两块标定板，要求和单双目标定方式相同，重复标定直到所有误差位于0.2以内，最后用解方程和最优化方法求得相邻设备之间的RT矩阵并保存。

然后利用控制模块实现对传感阵列拍摄顺序的控制，通过调度不同组合相机数目的拍摄顺序，实现点云数据的快速拼接，如图3所示，由于拍摄顺序为1-5号设备按顺序拍摄，正常拼接为相邻两台设备之间逐步拼接，需要进行4次拼接，采用本控制模块可将1、2、3三台设备作为组合拍拍摄，4、5作为组合拍摄，只需进行2次拼接，提升了点云数据的获取和拼接效率，目前最多只支持3个设备同时拍摄。

最后，再使用云数据拼接模块实现多台3D视觉传感器采集的点云数据进行自动拼接，首先通过相位值建立左右图像中的点对匹配关系，然后应用一次ICP算法求解左右点云之间的刚体变换矩阵，最后根据相位值建立的匹配关系对两片点云中未能很好匹配的点进行剔除并对剩余的点云进行融合得到一片完整的点云。

需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于3D视觉传感阵列的表面点云数据获取方法，该方法基于多台3D视觉传感设备，且一台3D视觉传感设备上具有左相机和右相机，包括以下步骤：

对3D视觉传感设备进行标定，采用单目标定和双目标定，其中单目标定用于建立像素坐标系和世界坐标系之间的关系，保存单目标定参数，双目标定用于计算单台3D视觉传感设备中两个相机的相对位置，保存双目标定参数；

再进行陈列标定，计算相邻设备中两个相机的相对位置，获得相邻3D视觉传感设备之间的RT矩阵；

设定拍摄顺序，利用3D视觉传感设备拍摄左右图像，通过相位值建立左右图像中的点对匹配关系，获得左点云和右点云；

应用一次ICP算法求解左点云和右点云之间的刚体变换矩阵；

根据相位值建立的匹配关系对左点云和右点云中未能进行匹配的点云进行剔除并对剩余的点云进行融合得到一片完整的点云。

2.根据权利要求1所述的基于3D视觉传感阵列的表面点云数据获取方法，其特征在于，所述单目标定具体包括以下步骤：

选择之前在3D视觉传感器设备的左相机和右相机中采集到的标定板的图像，在单幅图像中，标定板需覆盖2/3的图像幅面，设定好左相机和右相机的内部拍摄参数；

多角度、多姿态拍摄20组以上的数据，拍摄的20组以上图像中，标定板累计覆盖至少90％的图像幅面；

重复标定直到所有的标定误差在0.2以内；

保存结果，将标定的数据保存到指定路径中，导出经单目标定的RT矩阵，导出的RT矩阵表示标定过程中每一幅图像对应的相机的外参信息。

3.根据权利要求2所述的基于3D视觉传感阵列的表面点云数据获取方法，其特征在于，所述双目标定具体包括以下步骤：

选择之前在3D视觉传感器设备采集到的标定板的图像，让左相机和右相机同时采集20组以上的标定板数据，在单幅图像中，标定板需覆盖2/3的图像幅面；

载入之前单目标定的左相机和右相机的内部拍摄参数，完成单台3D视觉传感设备外部参数的计算；

重复标定直到所有误差位于0.2以内；

保存结果，将标定的数据保存到指定路径中，导出经双目标定的RT矩阵，导出RT矩阵表示标定过程中每一幅图像对应的相机的外参信息。

4.根据权利要求3所述的基于3D视觉传感阵列的表面点云数据获取方法，其特征在于，所述阵列标定具体包括以下步骤：

以每台3D视觉传感设备的左相机为参考系，将两台3D视觉传感设备的左相机分别当作一台3D视觉传感设备的左相机和右相机，使用双目标定方法完成标定操作；

使用两块同样规格的标定板，将标定板固定在一个支架上，保证两个标定板之间的相对位置固定不变，让相邻两台3D视觉传感设备的左相机能够分别拍摄到其中一个完整的标定板；

多角度，多姿态拍摄两块标定板，拍摄方式和单目标定、双目标定方式相同；

重复标定直到所有误差位于0.2以内；

用解方程和最优化方法求得相邻的3D视觉传感设备之间的RT矩阵。

5.一种基于3D视觉传感阵列的表面点云数据获取系统，其特征在于，包括：

3D视觉传感模块，包含有DLP数字光学投影、灰度相机、除尘高压气管接口、固定接口、相机USB接口、电源接口、DLP的USB接口，用于获取到工件表面点云数据信息；

控制模块，用于对3D视觉传感模块中灰度相机的参数的控制、传感阵列拍摄顺序的控制、主动防尘设置的控制、DLP的USB连接控制和DLP的外触发信号控制；

单双目标定模块，包含单目标定模块和双目标定模块，单目标定模块用于建立像素坐标系和世界坐标系之间的关系，双目标定用于计算单台设备中两个相机的相对位置；

阵列标定模块，用于依次计算相邻设备中两个相机的相对位置；

点云数据拼接模块，用于实现多台3D视觉传感模块采集的点云数据进行自动拼接。

6.根据权利要求5所述的基于3D视觉传感阵列的表面点云数据获取系统，其特征在于，所述3D视觉传感器模块的测量距离为0.8-1.0米，基线距离为400毫米，测量精度为30-50微米；

DLP数字光学投影，内置高分辨率DMD芯片，支持高速高精度复杂纹理的投影，支持内外触发，用于产生多组光栅条纹并将光栅条纹投影到工件表面；

灰度相机，用于获取工件表面灰度图像信息；

除尘高压气管接口，用于镜头除尘；

固定接口，用于将相关设备固定至其他支撑件如支架和机械臂；

相机USB接口，用于相机控制与图像数据输出；

电源接口，用于为各设备供电；

DLP的USB接口，用于实现DLP控制。

7.根据权利要求6所述的基于3D视觉传感阵列的表面点云数据获取系统，其特征在于，所述控制模块的具体控制为：

视觉相机参数的控制，首先选择相机序号，点击连接，设置曝光时间，伽马值相关参数值，曝光时间根据场景的明暗调整，在10000us-100000us之间，伽马值默认设置为1，增益区间为0-50，缓存数为25，传输时延设置为0；

传感阵列拍摄顺序的控制，通过调度不同组合相机数目的拍摄顺序，实现点云数据的快速拼接；

主动防尘设置的控制，控制高压气管接口的开合，向3D视觉传感模块吹送气体吹扫灰尘；

DLP的USB连接控制和DLP的外触发信号控制，用于对DLP设备的供电状态控制和对DLP的控制。

Images