CN115752237A

CN115752237A - 一种基于工业摄影测量的杆件位置自动检测方法

Info

Publication number: CN115752237A
Application number: CN202211469188.5A
Authority: CN
Inventors: 曾柏文; 王洪伟
Original assignee: Guangzhou Songxing Electric Co ltd
Current assignee: Guangzhou Songxing Electric Co ltd
Priority date: 2022-11-22
Filing date: 2022-11-22
Publication date: 2023-03-07

Abstract

本发明适用于工业摄影测量领域，提供了一种基于工业摄影测量的杆件位置自动检测方法，制作待检测杆件位置图片数据库，将面结构光三维测量和最小二乘法拟合平面测量两种方法相结合，增强了算法的鲁棒性，可适应更多新增杆件类型。同时也提高了检测精度，极大减少了检测时间，显著提高了生产效率。通过现场使用及测试情况，该系统可减少工作人员由原来的3人“串行”作业到现在的1人持手持机操作即可，真正实现了人工劳动成本的缩减，极具商业价值。

Description

一种基于工业摄影测量的杆件位置自动检测方法

技术领域

本发明涉及图像处理和工业摄影测量领域，具体为一种基于工业摄影测量的杆件位置自动检测方法。

背景技术

随着中国轨道交通技术的不断进步发展，多条轨道交通路线在国内开通，随着逐年增开的列车数量，如何保证轨道交通列车行驶安全是中国铁路的重中之重，它是定期预防危险情况的必要手段。由于杆件检修过程中杆件类型、数量较多，对检修工人的工作状态和身心健康都提出了较大的挑战，影响到杆件检修作业的完成质量。

随着工业摄影测量技术的不断发展壮大，已经在诸多领域得到了突破性进展，比如无人驾驶、二维码识别，人脸识别等等。针对杆件检修过程中人工检修较为缓慢、费时、低效的缺点，运用工业摄影测量进行视觉检测，可以解决杆件类型、数量多，工人维修效率低下的问题。

因此，更需提出一种更准确、高效的杆件部件检测方法，针对现有检测技术的不足，本发明提出了一种基于工业摄影测量的杆件位置自动检测方法，可运用于杆件自动检修系统，不但可以降低工作人员的劳动负荷，减少检修难度和时间，而且提高了杆件的检修效率，加速“人检”向“机检”的快速推进。

发明内容

为克服现有技术中存在的问题，本发明提供一种基于工业摄影测量的杆件位置自动检测方法，将面结构光三维测量和最小二乘法拟合平面测量两种方法相结合，增强了算法的鲁棒性，可适应更多新增杆件类型。同时也提高了检测精度，极大减少了检测时间，显著提高了生产效率。通过现场使用及测试情况，该系统可减少工作人员由原来的3人“串行”作业到现在的1人持手持机操作即可，真正实现了人工劳动成本的缩减，极具商业价值。

为实现上述目的，本发明提供了如下技术方案：一种基于工业摄影测量的杆件位置自动检测方法，包括以下步骤：

S1：制作待检测杆件位置图片数据库；

S2：基于面结构光三维测量对杆件位置进行目标定位；

S3：采用最小二乘法拟合平面测量的方法进行待检测杆件位置状态的检测；

S4：最后将图像的检测结果传输到数据库界面展示。

本发明进一步设置为：所述的基于工业摄影测量的杆件位置自动检测方法涉及的装置包括工业摄影相机、服务器、机器人、托盘、压铸台、杆件下模和待检测杆件。

本发明进一步设置为：所述的步骤S1具体为在数据库中录入杆件位置正常图数据库及杆件位置倾斜图数据库；杆件位置历史数据可以通过数据库进行溯源。

采取上述技术方案，解决了人工记录杆件位置数量大、溯源困难的问题。数据库具有数据结构化，数据共享度高，冗余度低，易于扩展；数据独立性高等特点，数据可以被多个用户、多个应用程序共享使用，可以大大减少数据冗余，节约存储空间，避免数据之间的不相容性与不一致性。

本发明进一步设置为：所述的步骤S2具体包括以下步骤：

S21：杆件上料过程；首先在压铸台上放置好当前杆件对应的下模，人工将放满杆件的托盘用拖车运送到预定位置，机器人按照预设轨迹将杆件搬运到压铸台上的下模上面，机器人按照预定好的轨迹走到拍照点，准备执行拍照流程；

S22：工业摄影相机对杆件进行拍照；即首先投影仪会将结构光编码图案投射至被测杆件表面，图案会由于杆件表面高低层次不齐而产生变形，工业射影相机拍摄到的是变形的结构光图像，然后通过计算机对该图像进行解码处理从而得到结构光图像点和投影图案点的对应关系，再根据三角测量原理计算得到杆件表面的三维点云数据，从而实现杆件表面的三维点云重建；

S23：杆件位置定位；在得到杆件的三维点云重建图后，利用Halcon双目结构光定位方法实现对杆件的定位。

本发明进一步设置为：所述的Halcon双目结构光定位方法详细步骤如下：

(1)首先是去噪处理过程，即对杆件三维点云模型进行Z轴方向的点云筛选以及连通域分割滤除杆件三维点云背景；

(2)对去噪处理后的杆件三维点云模型绘制外接箱体，获取箱体的姿态，做一个循环，从箱体上表面依次向下截取我们自定义的点云数量。直到提取到的点云数量达到要求，可以筛选出我们想要的杆件感兴趣区域；

(3)创建点云模板，在筛选出的杆件感兴趣区域中进行三维点云模板匹配，以达到定位的目的。

本发明进一步设置为：所述的步骤S3具体为：使用最小二乘法平面拟合通过最小化误差的平方和，使拟合对象越来越接近最终对象；已知三维空间的一些点集，求拟合出来的平面，即求出所有点到平面的距离最短的平面参数；

最小二乘法的矩阵形式为：

Ex＝d

其中E为n*k的矩阵，x为k*1的列向量，d为n*1的列向量，n为方程的个数，k为未知量的个数。如果n>k(方程的个数大于未知量的个数)，这个方程系统称为矛盾方程组OverDetermined System，如果n<k(方程的个数小于未知量的个数)，这个系统就是UnderDetermined System。

当找到向量x使得||Ex-d||最小，则x为该方程的最小二乘解；；

采用正规方程对平面方程进行拟合，以实现深度相机的外参标定；

正规方程组的解为：

x＝(E^TE)^-1E^Td

平面方程的一般表达式为：

Bx+Cy+Dz+E＝0(D≠0)

(注意：此处E仅为平面方程表达式所用，与上述最小二乘法矩阵形式中的E含义不同)；

将其变换为如下形式

令：

Z＝a₀x+a₁y+a₂

此时对应的最小二乘矩阵形式

其中(x₁，y₁，z₁)，(x₂，y₂，z₂)，……，(x_n，y_n，z_n)为输入的三维点坐标，套用正规方程的解，即可求得(a₀，a₁，a₂)。

本发明进一步设置为：利用面到面测量算子将杆件圆面的拟合平面(参考面)与压铸台的拟合平面(基面)做三维测量，得出基面和参考面的最大值与最小值，根据所得最大值与最小值之间的差值判断杆件位置是否倾斜。

本发明进一步设置为：在实际应用中，所述的杆件位置自动检测方法还包括判断杆件类型；所述的判断杆件类型具体为：PLC传入托盘类型、杆件类型、压铸流程代码；根据托盘型号代码进入压铸流程判断；根据压铸流程代码进入杆件类型判断；若杆件类型正确，则进入相应杆件位置检测函数，并进行所述的步骤S2，对杆件位置进行目标定位。

本发明进一步设置为：若判断杆件类型错误，则需PLC重新传入托盘类型、杆件类型、压铸流程代码。

通过采取上述技术方案，在数据库中录入不同类型的杆件数据及其对应的检测函数，可以使本申请应用范围更广，判断更精准。

综上，本发明的上述技术方案的有益效果如下：

1、大幅度降低成本；在利用人工进行杆件位置测量时，首先人工搬运杆件就会造成极大的的劳动负荷，其次还要对每根杆件两侧关节位置依次测量做数据记录，且数据记录过程中很容易出现测量误差；而工业摄影测量只需要一个工作人员用手持机操作即可，杆件位置检测时只需要查看数据库页面检测结果，工作效率很高。

2、提高测量精度；人工测量杆件位置时，用卷尺测量精度有限，而工业摄影测量法测量精度可控制在±0.5，测量精度大幅度提高。

3、降低人员消耗；在利用人工进行测量时，搬运中小型杆件需要两个人，搬运大型杆件需要三到四个人，杆件放置到压铸台做位置测量需要一个人，而工业摄影测量时只需要一个工作人员用手持机操作即可。

4、提高效率；在传统的人工测量杆件位置工作中，工作人员都是“串行”工作，耗时耗力，而工业摄影测量过程中，只需要机器人搬运杆件，工业摄影相机拍照自动检测识别，极大的提高了工作效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于工业摄影测量的杆件位置自动检测方法系统流程图；

图2是本发明基于面结构光三维测量对杆件位置进行目标定位的具体步骤；

图3是本发明基于工业摄影测量的检测算法流程图。

具体实施方式

为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。此外，以下实施例中提到的方向词，例如“上”“下”“左”“右”等仅是参考附图的方向，因此，使用的方向用词是用来说明而非限制发明创造。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中使用的术语包括相关所列项目的任何及所有组合。

下面结合附图和较佳的实施例对本发明作进一步说明。

实施例：

图1为本申请的较佳实施例，一种基于工业摄影测量的杆件位置自动检测方法，包括以下步骤：

S1：制作待检测杆件位置图片数据库；

S2：基于面结构光三维测量对杆件位置进行目标定位；

S4：最后将图像的检测结果传输到数据库界面展示。

所述的基于工业摄影测量的杆件位置自动检测方法涉及的装置包括工业摄影相机、服务器、机器人、托盘、压铸台、杆件下模和待检测杆件。

所述的步骤S1具体为在数据库中录入杆件位置正常图数据库及杆件位置倾斜图数据库；杆件位置历史数据可以通过数据库进行溯源。

如图2所示，所述的步骤S2具体包括以下步骤：

所述的Halcon双目结构光定位方法详细步骤如下：

S231：首先是去噪处理过程，即对杆件三维点云模型进行Z轴方向的点云筛选以及连通域分割滤除杆件三维点云背景；

S232：对去噪处理后的杆件三维点云模型绘制外接箱体，获取箱体的姿态，做一个循环，从箱体上表面依次向下截取我们自定义的点云数量。直到提取到的点云数量达到要求，可以筛选出我们想要的杆件感兴趣区域；

S233：创建点云模板，在筛选出的杆件感兴趣区域中进行三维点云模板匹配，以达到定位的目的。

如图3所示，为本申请基于工业摄影测量的检测算法流程图；

首先，PLC传入托盘类型、杆件类型、压铸流程代码；根据托盘型号代码进入压铸流程判断；根据压铸流程代码进入杆件类型判断；若杆件类型正确，则进入相应杆件位置检测函数，并进行所述的步骤S2，对杆件位置进行目标定位。

若判断杆件类型错误，则需PLC重新传入托盘类型、杆件类型、压铸流程代码。

对杆件位置进行目标定位后，使用最小二乘法平面拟合通过最小化误差的平方和，使拟合对象越来越接近最终对象。

已知三维空间的一些点集，求拟合出来的平面，即求出所有点到平面的距离最短的平面参数。

最小二乘法的矩阵形式为：

Ex＝d

当找到向量x使得||Ex-d||最小，则x为该方程的最小二乘解；；

正规方程组的解为：

x＝(E^TE)^-1E^Td

平面方程的一般表达式为：

Bx+Cy+Dz+E＝0(D≠0)

(注意：此处E仅为平面方程表达式所用)

将其变换为如下形式

令：

Z＝a₀x+a₁y+a₂

此时对应的最小二乘矩阵形式

利用面到面测量算子将杆件圆面的拟合平面(参考面)与压铸台的拟合平面(基面)做三维测量，得出基面和参考面的最大值与最小值，根据所得最大值与最小值之间的差值判断杆件位置是否倾斜。

综上，本发明提供了一种基于工业摄影测量的杆件位置自动检测方法，制作待检测杆件位置图片数据库，将面结构光三维测量和最小二乘法拟合平面测量两种方法相结合，增强了算法的鲁棒性，可适应更多新增杆件类型。同时也提高了检测精度，极大减少了检测时间，显著提高了生产效率。通过现场使用及测试情况，该系统可减少工作人员由原来的3人“串行”作业到现在的1人持手持机操作即可，真正实现了人工劳动成本的缩减。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种基于工业摄影测量的杆件位置自动检测方法，其特征在于，包括以下步骤：

S1：制作待检测杆件位置图片数据库；

S2：基于面结构光三维测量对杆件位置进行目标定位；

S4：最后将图像的检测结果传输到数据库界面展示。

2.根据权利要求1所述的一种基于工业摄影测量的杆件位置自动检测方法，其特征在于，所述的杆件位置自动检测方法涉及的装置包括工业摄影相机、服务器、机器人、托盘、压铸台、杆件下模和待检测杆件。

3.根据权利要求1所述的一种基于工业摄影测量的杆件位置自动检测方法，其特征在于，所述的步骤S1具体为在数据库中录入杆件位置正常图数据库及杆件位置倾斜图数据库；杆件位置历史数据可以通过数据库进行溯源。

4.根据权利要求1所述的一种基于工业摄影测量的杆件位置自动检测方法，其特征在于，所述的步骤S2具体包括以下步骤：

S21：杆件上料；首先在压铸台上放置好当前杆件对应的杆件下模，人工将放满杆件的托盘用拖车运送到预定位置，机器人按照预设轨迹将杆件搬运到压铸台上的杆件下模上面，机器人按照预定好的轨迹走到拍照点，准备执行拍照流程；

5.根据权利要求4所述的一种基于工业摄影测量的杆件位置自动检测方法，其特征在于，所述的Halcon双目结构光定位方法详细步骤如下：

S232：对去噪处理后的杆件三维点云模型绘制外接箱体，获取箱体的姿态，做一个循环，从箱体上表面依次向下截取我们自定义的点云数量；直到提取到的点云数量达到要求，可以筛选出我们想要的杆件感兴趣区域；

6.根据权利要求1所述的一种基于工业摄影测量的杆件位置自动检测方法，其特征在于，所述的步骤S3具体为：使用最小二乘法平面拟合通过最小化误差的平方和，使拟合对象越来越接近最终对象；已知三维空间的一些点集，求拟合出来的平面，即求出所有点到平面的距离最短的平面参数；

最小二乘法的矩阵形式为：

Ex＝d

其中E为n*k的矩阵，x为k*1的列向量，d为n*1的列向量，n为方程的个数，k为未知量的个数；如果n>k，这个方程系统称为矛盾方程组Over Determined System，如果n<k，这个系统就是Under Determined System；

当找到向量x使得||Ex-d||最小，则x为该方程的最小二乘解；；

正规方程组的解为：

x＝(E^TE)^-1E^Td

平面方程的一般表达式为：

Bx+Cy+Dz+E＝0(D≠0)；

其中，平面方程中的E仅为平面方程表达式所用，与上述最小二乘法矩阵形式中的E含义不同；

将其变换为如下形式

令：

z＝a₀x+a₁y+a₂

此时对应的最小二乘矩阵形式

7.根据权利要求6所述的一种基于工业摄影测量的杆件位置自动检测方法，其特征在于，利用面到面测量算子将杆件圆面的拟合平面(参考面)与压铸台的拟合平面(基面)做三维测量，得出基面和参考面的最大值与最小值，根据所得最大值与最小值之间的差值判断杆件位置是否倾斜。

8.根据权利要求1所述的一种基于工业摄影测量的杆件位置自动检测方法，其特征在于，在实际应用中，所述的杆件位置自动检测方法还包括判断杆件类型；所述的判断杆件类型具体为：PLC传入托盘类型、杆件类型、压铸流程代码；根据托盘型号代码进入压铸流程判断；根据压铸流程代码进入杆件类型判断；若杆件类型正确，则进入相应杆件位置检测函数，并进行所述的步骤S2，对杆件位置进行目标定位。

9.根据权利要求8所述的一种基于工业摄影测量的杆件位置自动检测方法，其特征在于，若判断杆件类型错误，则需PLC重新传入托盘类型、杆件类型、压铸流程代码。