CN108592788B - 一种面向喷涂生产线的3d智能相机系统与工件在线测量方法 - Google Patents

Abstract

本发明公开了一种面向喷涂生产线的3D智能相机系统与工件在线测量方法，其包括以下步骤：S1：设定成像设备以完成成像；S2：提取目标工件深度图像；滤除背景噪音并提取出目标工件深度图像；S3：对所述目标工件深度图像经过多尺度多结构元素的形态学边缘检测得到目标工件深度图像的单边缘轮廓；S4：对所述目标工件单边缘轮廓经过像素灰度极值搜索操作，完成二维图像坐标系内所述目标工件的尺寸测量，通过三维图元自适应步长线扫描和截尾均值统计，完成待喷涂工件点云中关键点的提取。本发明具有操作简便、效率和自动化程度高、测量精度高等优点。

Description

一种面向喷涂生产线的3D智能相机系统与工件在线测量方法

技术领域

本发明主要涉及到工业应用级的在线测量技术领域，特指一种面向喷涂生产线的3D智能相机系统与工件在线测量方法。

背景技术

传统人工喷涂的特点是操作人员经常在高温、高湿并且散布有毒有害喷涂粉尘的生产环境中进行大量的重复机械操作，这对从业人员的身体造成了严重危害，操作人员参差不齐的技术水平也无法保证生产质量。

随着技术的发展，自动化喷涂在喷涂行业已经得到广泛应用，不仅改善了工人的劳动环境还提高了产量与生产质量。在自动化喷涂作业过程中，由于待喷涂工件可能具有较为复杂的几何特征并且实际生产对实时性也有相对较高的要求，机器人自动编程技术作为一种智能化、高效率的机器人技术，可根据待喷涂工件的特点自动调整喷涂参数与规划喷涂路径，因此得到广泛应用。其关键是自动获取工件的3D形状和尺寸测量。3D相机是一种用来获取物体三维深度信息的成像设备，也可用于非接触的三维尺寸测量，具有高精度、高集成、低功耗等特点，近年来，3D相机从科研领域逐渐向民用与工业领域发展，例如将3D相机用于集成电路制造、无人机导航、手机人脸识别等场景。然而现有的3D相机往往只是单一设备，接口少、执行功能单一、计算处理芯片弱等缺点限制了3D相机在工业界的进一步应用。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种操作简便、效率和自动化程度高、测量精度高的面向喷涂生产线的3D智能相机系统与工件在线测量方法。

为解决上述技术问题，本发明采用以下技术方案：

一种面向喷涂生产线的3D智能相机系统与工件在线测量方法，其包括以下步骤：

S1：设定成像设备以完成成像；

S2：提取目标工件深度图像；滤除背景噪音并提取出目标工件深度图像；

S3：对所述目标工件深度图像经过多尺度多结构元素的形态学边缘检测得到目标工件深度图像的单边缘轮廓；

S4：对所述目标工件单边缘轮廓经过像素灰度极值搜索操作，完成二维图像坐标系内所述目标工件的尺寸测量，通过三维图元自适应步长线扫描和截尾均值统计，完成待喷涂工件点云中关键点的提取。

作为本发明的进一步改进：所述步骤S2中采用形态学双边深度阈值分割进行深度图像预处理，即目标工件深度图像提取的方法为：对直接采集到的深度图像进行开操作以平滑目标工件边缘，消除图像中的细小的噪点；再经过闭操作以连通狭窄的间断，填补深度图像的孔洞；深度灰度图像每一点的灰度值根据该点的深度值决定，通过设置远边界与近边界的深度阈值，即可消除背景与前景的干扰；最后在深度相机的视场中设置有效图像采集区域，只对区域内的图像进程处理，区域外的图像灰度都设为0，提取出目标工件深度图像。

作为本发明的进一步改进：所述步骤S3中采用自适应多尺度多结构边缘检测对预处理后的图像进行单边缘检测；即：根据工业现场不同的程度的噪声干扰，利用多种不同大小的结构元素按照相应的权值进行融合处理，利用多种不同的尺度元素按照相应的权值进行融合处理，最后根据一定比例构造出一个适应该工件该生产环境的多尺度多结构边缘检测算子；通过所述检测算子得到目标工件深度图像的单边缘轮廓。

作为本发明的进一步改进：所述步骤S4中采用单像素灰度极值搜索算法对目标工件深度图像的单边缘轮廓进行处理；即：对所述单边缘轮廓通过像素指针操作，搜索到所述单边缘轮廓上下左右四个端点的坐标，通个这些端点坐标计算出二维图像坐标系内所述目标工件的长、宽与中心点，利用步骤相机标定获得的相机内外参数，将图像坐标系的长宽值转换为现实坐标系的长宽值，结合中心点的深度值，所得长、宽与深度值就是喷涂工件的三维尺寸。

作为本发明的进一步改进：采用三维图元自适应步长线扫描方法对目标工件深度图像的单边缘轮廓进行处理；即：对所述单边缘轮廓，对其(x,y)平面的坐标(x,y)利用二维图元自适应步长线扫描，得出一组(x,y)平面上的扫描点，对其(z,y)平面的坐标(z,y)利用二维图元自适应步长线扫描，得出一组(z,y)平面上的扫描点；对同一目标可多次扫描并记录结果，对记录的结果进行统计学分析，替换误差值大的点，按照y坐标的大小排序与目标工件在图像坐标系的中心轴线匹配，最后所得扫描点即待喷涂工件点云中的关键点。

作为本发明的进一步改进：对所述待喷涂工件点云中的关键点采用截尾均值统计的方法进行统计学分析，对同一个关键点的深度值重复测量多次，将测量值按照从大到小排序，截除大端和小端各若干个数，对余下的数取均值得到精确关键点，利用所述3D智能相机标定获得的相机内外参数，将所述精确关键点通过坐标映射转换为真实坐标系下的待喷涂工件点云中的关键点，所得的一系列关键点能用于简化的表示待喷涂工件的几何轮廓。

作为本发明的进一步改进：所述步骤S1中采用红外相机与RGB工业相机结合的深度图像采集技术，在相机镜头前端安装带通滤光片将自然光中波长在800至1100mm以外的光过滤掉并根据具体工件调整视场和焦距以获取最优成像效果。

作为本发明的进一步改进：所述步骤S1中搭建了一个实现工件在线测量的设备，包括结构光发生器、成像模块、嵌入式计算单元、外部触发与IO接口单元；所述结构光发生器包括一个红外散斑投影器和四个近红外LED点光源，相机镜头前端安装镜头前端安装带通滤光片，红外散斑投影器和四个近红外LED点光源都安装在同一个刚性结构上；所述成像模块包括一对黑白工业相机和一台RGB工业相机，一对黑白工业相机水平且间隔一定距离摆放， RGB相机位于黑白工业相机对的一侧且与黑白工业相机处于同一水平线上；所述嵌入式计算单元安装在成像模块后侧与IO接口相连；所述外部触发单元包括一个激光漫 反射传感器，激光漫 反射传感器的一端连接安装于生产线支架的附近或光电开关附近，外部触发成像模块采集图像。

与现有技术相比，本发明的优点在于：

本发明的深度测量利用红外散斑投影器与近红外LED点光源成像可以在自然光照变化的影响下，非接触的自动测量出工件的三维尺寸大小，并根据工件的轮廓自动生成相应的待喷涂工件点云中的关键点。这个过程不需要人工参与，从而提高了生产效率减少了工人的负担，同时在没有待喷涂工件三维模型的情况下也能精确自动地控制喷涂机器人完成喷涂作业；使用方法简单、用户友好，可以在嵌入式环境下实现。

附图说明

图1是本发明方法的流程示意图。

图2是本发明在具体应用实例中的应用场景示意图。

图3是本发明在具体应用实例中3D智能相机系统结构示意图。

图4a,4b,4c分别是本发明在具体应用实例中工件原图、直接采集到的深度图、预处理后的深度图。

图5a,5b分别是本发明在具体应用实例中目标工件单边缘轮廓示意图、单边缘轮廓与目标工件深度图像重合对比示意图。

图6是本发明在具体应用实例中的工件三维尺寸测量结果示意图。

图7是本发明在具体应用实例中喷涂轨迹控制点示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明提供了一种面向喷涂生产线的3D智能相机系统与工件在线测量方法，包括以下步骤：

S1：设定成像设备以完成成像；

采用红外相机5与RGB工业相机结合的深度图像采集技术，在相机镜头前端安装带通滤光片将自然光中波长在800至1100mm以外的光过滤掉并根据具体工件调整视场和焦距以获取最优成像效果；

S2：提取目标工件深度图像；

通过形态学开闭操作、双边深度阈值切割与设置有效视场范围，滤除背景噪音并提取出目标工件深度图像。

S3：对所述目标工件深度图像经过多尺度多结构元素的形态学边缘检测得到目标工件深度图像的单边缘轮廓；

S4：对所述目标工件单边缘轮廓经过像素灰度极值搜索操作，完成二维图像坐标系内所述目标工件的尺寸测量，通过三维图元自适应步长线扫描和截尾均值统计，完成待喷涂工件点云中关键点的提取。

在具体应用实例中，在步骤S2中本发明采用形态学双边深度阈值分割进行深度图像预处理，即目标工件深度图像提取的方法为：对直接采集到的深度图像进行开操作以平滑目标工件边缘，消除图像中的细小的噪点。再经过闭操作以连通狭窄的间断，填补深度图像的孔洞。深度灰度图像每一点的灰度值根据该点的深度值决定，通过设置远边界与近边界的深度阈值，即可消除背景与前景的干扰。最后在深度相机的视场中设置有效图像采集区域，只对区域内的图像进程处理，区域外的图像灰度都设为0，最后提取出目标工件深度图像。

在具体应用实例中，在步骤S3中本发明采用自适应多尺度多结构边缘检测对预处理后的图像进行单边缘检测；即：根据工业现场不同的程度的噪声干扰，利用多种不同大小的结构元素按照相应的权值进行融合处理，利用多种不同的尺度元素按照相应的权值进行融合处理，最后根据一定比例构造出一个适应该工件该生产环境的多尺度多结构边缘检测算子。通过所述检测算子得到目标工件深度图像的单边缘轮廓。

在具体应用实例中，在步骤S4中本发明采用单像素灰度极值搜索算法对目标工件深度图像的单边缘轮廓进行处理；即：对所述单边缘轮廓通过像素指针操作，搜索到所述单边缘轮廓上下左右四个端点的坐标，通个这些端点坐标计算出二维图像坐标系内所述目标工件的长、宽与中心点，利用步骤相机标定获得的相机内外参数，将图像坐标系的长宽值转换为现实坐标系的长宽值，结合中心点的深度值，所得长、宽与深度值就是喷涂工件的三维尺寸。

本发明采用三维图元自适应步长线扫描方法对目标工件深度图像的单边缘轮廓进行处理；即：对所述单边缘轮廓，对其(x,y)平面的坐标(x,y)利用二维图元自适应步长线扫描，得出一组(x,y)平面上的扫描点，对其(z,y)平面的坐标(z,y)利用二维图元自适应步长线扫描，得出一组(z,y)平面上的扫描点。对同一目标可多次扫描并记录结果，对记录的结果进行统计学分析，替换误差值过大的点，按照y坐标的大小排序与目标工件在图像坐标系的中心轴线匹配，最后所得扫描点即待喷涂工件点云中的关键点。

在具体应用实例中，在步骤S4中本发明对所述待喷涂工件点云中的关键点采用截尾均值统计的方法进行统计学分析，对同一个关键点的深度值重复测量多次，将测量值按照从大到小排序，截除大端和小端各若干个数，对余下的数取均值得到精确关键点，利用所述3D智能相机标定获得的相机内外参数，将所述精确关键点通过坐标映射转换为真实坐标系下的待喷涂工件点云中的关键点，所得的一系列关键点能用于简化的表示待喷涂工件的几何轮廓。

如图2所示，在具体应用实例中，在步骤S1中本发明搭建了一个实现工件在线测量的设备，包括结构光发生器4、成像模块、嵌入式计算单元7、外部触发与IO接口单元8。该装置有一金属保护盒9，用于放置结构光发生器4、成像模块、嵌入式计算单元7、外部触发单元与IO接口单元8。该结构光发生器4由一个红外散斑投影器和四个近红外LED点光源组成，相机镜头前端安装镜头前端安装带通滤光片，红外散斑投影器和四个近红外LED点光源都安装在同一个刚性结构上。其中，成像模块由一对黑白工业相机和一台RGB工业相机组成，一对黑白工业相机水平且间隔一定距离摆放，RGB相机6位于黑白工业相机对的一侧且与黑白工业相机处于同一水平线上。嵌入式计算单元7基于NXP的MPC567xK系列MCU的开发板实现，安装在成像模块后侧与IO接口相连。外部触发单元由一个激光漫 反射传感器组成。传感器一端连接安装于生产线支架的附近或光电开关2附近，外部触发成像模块采集图像；数据线一端与IO接口单元8相接。IO接口单元8由开关数字量输入信号采集转485光电隔离转换器与USB转485串口信号光电隔离转换器组成，IO接口单元8放置在成像模块外部。

在图2中，当待喷涂工件移动到指定工位时，光电开关2检测到所述工件，并向3D智能相机系统1发送触发信号，所述3D智能相机1接收到触发信号后向待喷涂工件投射包含编码信息的红外光斑(一般为不可见光，也称为结构光)，接着3D智能相机1利用内置的处理器计算后得到深度图像。深度图像是一种将相机视场中的点与相机之间距离用像素值代表的特殊图像格式，深度图像中每个像素都包含其所在空间的三维坐标信息，即三维点云数据。

根据点云数据，通过本发明的工件在线测量的方法计算出所述待喷涂工件的尺寸(包括所述待喷涂工件的长、宽、与所述3D智能相机1之间的距离)，向PLC3发送工件尺寸信息， PLC3在接收到工件尺寸信息后控制执行机构做出相应的运动。

本发明的具体实施方式中提出了一种3D智能相机系统1。当所述外部触发检测到目标工件时，触发信号通过所述IO接口单元8传输给所述嵌入式计算单元7，所述嵌入式计算单元 7控制连接于其的所述结构光发生器4产生包含编码信息的红外光斑投射在目标工件上以生成深度图像，所述成像模块包括红外相机5与RGB相机6，分别用以采集红外图像与彩色图像，最后在所述嵌入式计算单元7进行融合，可以根据实际需要选择融合对象。

参见图3所示的3D智能相机系统1，红外相机5与RGB相机6组成成像模块，并与结构光发生器4并行放置，同步采集深度图像、红外图像、彩色图像后，输入到安装于所述3D 智能相机系统1中央的嵌入式计算单元7进行融合、图像处理与计算后得到待喷涂工件尺寸信息，通过数据线发送给IO接口单元8，将数据转换为电平信号后传输给PLC3控制器。

基于上述的设备，本发明的检测方法具体流程为：

S101、所述结构光发生器4用于投射包含编码信息的红外光斑进行深度图像采集，同时在相机镜头前端安装滤光片保证采集深度图像的过程不受自然光照变化影响，当悬挂工件的滑块运动到有效视场内的指定位置时，接触到安装在此的外部触发单元，触发程序运行，所述程序截取画面当前帧的深度图像。

S102、所述结构光发生器4中的红外散斑投影器将连续的近红外波长激光散斑投射到目标空间，由位于所述装置四个顶点出的LED提供光源。散斑在物体表明形成的光斑因距离的变换其大小也随之改变，对光斑进行编码后通过所述嵌入式计算单元7计算出物体到所述结构光发生器4的距离，接着通过所述成像模块采集的视差散斑图像进行立体匹配，使用所述嵌入式计算单元7生成深度图像。

S103、对所述当前帧深度图像经过形态学开闭操作、双边深度阈值切割与设置有效视场范围，滤除背景噪音并提取出目标工件深度图像。对所述目标工件深度图像经过多尺度多结构元素的形态学边缘检测得到目标工件深度图像的单边缘轮廓。

S104、对所述目标工件单边缘轮廓经过单像素灰度极值搜索，完成二维图像坐标系内所述目标工件的尺寸测量，通过三维图元自适应步长线扫描和截尾均值统计，完成待喷涂工件点云中的关键点的提取。

S105、完成尺寸测量与待喷涂工件点云中的关键点提取后，将得到的数据通过所述IO接口单元8以单精度浮点数组的形式将结果送人机界面显示，用户可以选择保存当前数据或退出系统，同时数据也会通过所述IO接口单元8传入控制喷涂机器人的工控主机。

本发明的所述结构光发生器4与所示成像模块进行深度图像采集，利用近红外编码结构光实时、稳定、快速地采集摄像机视场内的深度图像。

所述结构光发生器4固定安装在可旋转和移动平台上，通过调节所述平台可根据工件大小和距离调整光斑聚焦和照射范围，并可通过内置LED光源针对不同的生产环境调节光照强度。

参见图4，其中a为工件原图、b为直接采集到的深度图、c为预处理后的深度图，其中直接采集到的深度图与预处理后的深度图的分辨率是512×424，灰度等级为0到255。

参见图5，其中a为通过所述检测算子得到目标工件深度图像的单边缘轮廓，b为所述单边缘轮廓与所述目标工件深度图像重合比较，本发明的多尺度多结构元素的形态学边缘检测方法，可以根据工业现场不同的程度的噪声干扰，利用多种不同大小的结构元素按照相应的权值进行融合处理，接着利用多种不同的尺度元素按照相应的权值进行融合处理，最后根据一定比例(比例可以人工调试，需视具体应用场合而定)构造出一个适应该工件该生产环境的多尺度多结构边缘检测算子。

对所述单边缘轮廓通过像素指针操作，搜索到所述单边缘轮廓上下左右四个端点的坐标，通个这些端点坐标计算出二维图像坐标系内所述目标工件的长、宽与中心点，利用相机标定获得的相机内外参数，将图像坐标系的长宽值转换为现实坐标系的长宽值，结合中心点的深度值，所得长、宽与深度值就是喷涂工件的三维尺寸。实际喷涂中由于惯性需要预留一定的空间作为喷涂机器人的缓存区间，因此所得喷涂工件的长、宽分别增加一定的缓冲区间(本发明的缓冲区间大小可以人工设定，需要视喷涂机器人的型号、性能与生产现场的情况而定)。为了方便显示结果，用一等尺寸的框体将目标工件包围，所述框体可在所述程序运行中实时生成，如图6所示即为所述框体包围目标工件的示意图。

对所述单边缘轮廓，对其(x,y)平面的坐标(x,y)利用二维图元自适应步长线扫描，得出一组(x,y)平面上的扫描点，对其(z,y)平面的坐标(z,y)利用二维图元自适应步长线扫描，得出一组 (z,y)平面上的扫描点。对同一目标可多次扫描并记录结果，对记录的结果进行统计学分析，替换误差值过大的点，按照y坐标的大小排序与目标工件在图像坐标系的中心轴线匹配，最后所得扫描点即待喷涂工件点云中的关键点。

对同一个素点的深度值重复测量次，将测量值按照从大到小排序，截除大端和小端各若干个数，对余下的数(余数)求平均值得到精确关键点，利用所述3D智能相机标定获得的相机内外参数，将所述精确关键点通过坐标映射转换为真实坐标系下的待喷涂工件点云中的关键点。为便于观察，用圆点在所述目标工件深度图中表示关键点，如图7所示。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种面向喷涂生产线的3D智能相机系统与工件在线测量方法，其特征在于，包括以下步骤：

S1：设定成像设备以完成成像；

S2：提取目标工件深度图像；滤除背景噪音并提取出目标工件深度图像；

S3：对所述目标工件深度图像经过多尺度多结构元素的形态学边缘检测得到目标工件深度图像的单边缘轮廓；

S4：对所述目标工件单边缘轮廓经过像素灰度极值搜索操作，完成二维图像坐标系内所述目标工件的尺寸测量，通过三维图元自适应步长线扫描和截尾均值统计，完成待喷涂工件点云中关键点的提取；

所述步骤S1中搭建了一个实现工件在线测量的设备，包括结构光发生器、成像模块、嵌入式计算单元、外部触发与IO接口单元；所述结构光发生器包括一个红外散斑投影器和四个近红外LED点光源，相机镜头前端安装带通滤光片，红外散斑投影器和四个近红外LED点光源都安装在同一个刚性结构上；所述成像模块包括一对黑白工业相机和一台RGB工业相机，一对黑白工业相机水平且间隔一定距离摆放，RGB相机位于黑白工业相机对的一侧且与黑白工业相机处于同一水平线上；所述嵌入式计算单元安装在成像模块后侧与IO接口相连；所述外部触发单元包括一个激光漫 反射传感器，激光漫 反射传感器的一端连接安装于生产线支架的附近或光电开关附近，外部触发成像模块采集图像。

2.根据权利要求1所述的面向喷涂生产线的3D智能相机系统与工件在线测量方法，其特征在于，所述步骤S2中采用形态学双边深度阈值分割进行深度图像预处理，即目标工件深度图像提取的方法为：对直接采集到的深度图像进行开操作以平滑目标工件边缘，消除图像中的细小的噪点；再经过闭操作以连通狭窄的间断，填补深度图像的孔洞；深度灰度图像每一点的灰度值根据该点的深度值决定，通过设置远边界与近边界的深度阈值，即可消除背景与前景的干扰；最后在深度相机的视场中设置有效图像采集区域，只对区域内的图像进程处理，区域外的图像灰度都设为0，提取出目标工件深度图像。

3.根据权利要求1所述的面向喷涂生产线的3D智能相机系统与工件在线测量方法，其特征在于，所述步骤S3中采用自适应多尺度多结构边缘检测对预处理后的图像进行单边缘检测；即：根据工业现场不同的程度的噪声干扰，利用多种不同大小的结构元素按照相应的权值进行融合处理，利用多种不同的尺度元素按照相应的权值进行融合处理，最后根据一定比例构造出一个适应该工件该生产环境的多尺度多结构边缘检测算子；通过所述检测算子得到目标工件深度图像的单边缘轮廓。

4.根据权利要求1或2或3所述的面向喷涂生产线的3D智能相机系统与工件在线测量方法，其特征在于，所述步骤S4中采用单像素灰度极值搜索算法对目标工件深度图像的单边缘轮廓进行处理；即：对所述单边缘轮廓通过像素指针操作，搜索到所述单边缘轮廓上下左右四个端点的坐标，通个这些端点坐标计算出二维图像坐标系内所述目标工件的长、宽与中心点，利用步骤相机标定获得的相机内外参数，将图像坐标系的长宽值转换为现实坐标系的长宽值，结合中心点的深度值，所得长、宽与深度值就是喷涂工件的三维尺寸。

5.根据权利要求4所述的面向喷涂生产线的3D智能相机系统与工件在线测量方法，其特征在于，采用三维图元自适应步长线扫描方法对目标工件深度图像的单边缘轮廓进行处理；即：对所述单边缘轮廓，对其(x,y)平面的坐标(x,y)利用二维图元自适应步长线扫描，得出一组(x,y)平面上的扫描点，对其(z,y)平面的坐标(z,y)利用二维图元自适应步长线扫描，得出一组(z,y)平面上的扫描点；对同一目标可多次扫描并记录结果，对记录的结果进行统计学分析，替换误差值大的点，按照y坐标的大小排序与目标工件在图像坐标系的中心轴线匹配，最后所得扫描点即待喷涂工件点云中的关键点。

6.根据权利要求4所述的面向喷涂生产线的3D智能相机系统与工件在线测量方法，其特征在于，对所述待喷涂工件点云中的关键点采用截尾均值统计的方法进行统计学分析，对同一个关键点的深度值重复测量多次，将测量值按照从大到小排序，截除大端和小端各若干个数，对余下的数取均值得到精确关键点，利用所述3D智能相机标定获得的相机内外参数，将所述精确关键点通过坐标映射转换为真实坐标系下的待喷涂工件点云中的关键点，所得的一系列关键点能用于简化的表示待喷涂工件的几何轮廓。

7.根据权利要求1或2或3所述的面向喷涂生产线的3D智能相机系统与工件在线测量方法，其特征在于，所述步骤S1中采用红外相机与RGB工业相机结合的深度图像采集技术，在相机镜头前端安装带通滤光片将自然光中波长在800至1100mm以外的光过滤掉并根据具体工件调整视场和焦距以获取最优成像效果。

Images