CN111982016B - 一种二维三维一体化视觉检测传感器及其图像处理算法 - Google Patents

Abstract

本发明公开了一种二维三维一体化视觉检测传感器及其图像处理算法，该传感器包括：激光器，用于发射激光以及接收从待检物反射回来的激光；至少一台照相机，用于实现拍照功能；图像采集及处理电路板，所述图像采集及处理电路板与所述激光器相连，所述图像采集及处理电路板用于对3D线性成像数据及3D模拟测量数据进行计算，并输出可读取数据；交互管理及电源管理电路板，所述交互管理及电源管理电路板分别与所述图像采集及处理电路板、所述照相机、以太网交换机电路板相连，所述交互管理及电源管理电路板用于实现交互功能及电源管理功能。采用本发明的检测传感器及其图像处理算法，可精确识别工件或产品某间隙匹配误差、搭接面匹配误差及自身面轮廓的误差等。

Description

一种二维三维一体化视觉检测传感器及其图像处理算法

技术领域

本发明涉及一种检测传感器，具体涉及一种二维三维一体化视觉检测传感器及其图像处理算法。

背景技术

2D激光轮廓传感器是目前常用的一种利用激光扫描技术进行测量的传感器，可以对物体的轮廓、二维尺寸、二维位移进行精确和快速测量与检验的仪器，并且环境适应性强，作为精密测量仪器在诸多行业应用十分广泛，比如应用于测量车轮外形、钢轨平整度、零件装配缝隙检测、不锈钢板的缺陷等等。也有将2D激光轮廓传感器升级为3D激光轮廓传感器应用于前述领域，其通过三角测量法即可得到图像与实际的映射关系，从而得到物体表面的三维信息，但3D激光轮廓传感器造价相对较高。在某些检测项目上，由于精度要求，必须采用3D激光轮廓传感器，那么就需要同时配备2D和3D激光轮廓传感器。此外，现有的2D激光轮廓仪和3D激光轮廓仪，都无法脱离有线环境与终端链接来实现数据的互通，导致两者对工作环境要求过高，且携带不方便，需要多设备同时操作，不便于一个人单独操作。而目前还没有出现将2D和3D结合为一体的激光轮廓传感器。

发明内容

鉴于现有技术存在的上述问题，本发明提供一种二维三维一体化视觉检测传感器及其图像处理算法，该检测传感器通过2D图像与3D视觉系统结合，精确识别工件或产品某间隙匹配误差、搭接面匹配误差及自身面轮廓的误差等。本发明的技术方案为：

第一个方面，本发明提供一种二维三维一体化视觉检测传感器，包括：

激光器，所述激光器用于发射激光以及接收从待检物反射回来的激光；

至少一台照相机，用于实现拍照功能；

图像采集及处理电路板，所述图像采集及处理电路板与所述激光器相连，所述图像采集及处理电路板用于对3D线性成像数据及3D模拟测量数据进行计算，并输出可读取数据；

交互管理及电源管理电路板，所述交互管理及电源管理电路板分别与所述图像采集及处理电路板、所述照相机、以太网交换机电路板相连，所述交互管理及电源管理电路板用于实现交互功能及电源管理功能。

进一步地，所述激光器包括激光发射器和激光接收器，所述激光发射器和所述激光接收器分别和所述图像采集及处理电路板相连。

进一步地，所述交互管理及电源管理电路板包括交互管理模块和电源管理模块；其中，所述交换管理模块包括主控芯片、数码管、薄膜按键和指示灯，所述主控芯片分别与所述数码管、所述薄膜按键和所述指示灯连接，所述主控芯片通过以太网接口接收上位机发送的工作状态和显示要求，通过所述数码管和所述指示灯进行显示，同时上传所述薄膜按键的操作指令；所述电源管理模块包括充电管理模块、电源输出控制模块、电源转换模块和供电输出模块。

进一步地，所述传感器还包括锂电池，所述锂电池和所述充电管理模块相连。

进一步地，所述传感器还包括WIFI路由器电路板，所述WIFI路由器电路板分别与所述以太网交换机电路板、所述交互管理及电源管理电路板相连。

进一步地，所述传感器还包括保护外壳。

进一步地，所述外壳位于激光器一侧呈多段式折线形结构端面，其中两段相邻的折线形结构端面呈120°角，并且分别用于安装所述激光发射器和所述激光接收器，用以实现所述激光器的激光三角测距法。

优选地，所述外壳另一侧设有把持件。

第二个方面，本发明提供上述二维三维一体化视觉检测传感器的图像处理算法，包括以下步骤：

(1)原始图片获取：先通过激光器和照相机获取基于待检物体表面的原始激光图片；

(2)敏感区域识别：通过图像采集及处理电路板对所述原始激光图片进行卷积运算，以获取其中的敏感区域信息；

(3)待检物体表面平整度计算：根据所述敏感区域信息，通过直线拟合方式将该敏感区域拟合成直线，并计算该直线的偏移程度进而获得物体表面平整度结果。

优选地，所述步骤(2)中进行卷积运算所采用的公式为：

式[1]中，x(i)为输入信号数据；h(n-i)为卷积模板；y(n)为卷积结果序列，N为信号的长度。

进一步地，所述步骤(3)中通过直线拟合方式将该敏感区域拟合成直线，具体包括：

步骤一，采用公式：

式[2]中，Q为直线表达式，a,b为直线参数，x_i和y_i为原始图像中的任意两个像素点，n为像素点总数，i为像素点索引；

步骤二，计算x_i和y_i的平均值，公式分别如式[3]和[4]所示：

步骤三，将式[3]和[4]带入式[2]中得到b和a的估计值

和

分别如式[5]和[6]所示：

步骤四，将

和

代入式[2]可以得到所拟合的直线公式。

第三个方面，本发明提供一种二维三维轮廓检测系统，包括上述的检测传感器或者采用上述的图像处理算法的检测传感器和与所述传感器相连的极光系统。

本发明的有益效果是：其一，采用本发明的检测传感器及其图像处理算法，可精确识别工件或产品某间隙匹配误差、搭接面匹配误差及自身面轮廓的误差等。其二，本发明的检测传感器检测精度较高，最后的测量精度可以达到0.01MM(毫米)，并且操作简单，读取测量值迅速，大幅度提高检测数据采集的效率。其三，本发明的检测传感器可配合极光系统，实时把测量数据上传至系统终端，方便总公司对分公司及供应链质量的实时把控，做到质量管理数字化。

附图说明

图1是本发明的检测传感器的结构立体图。

图2是本发明的检测传感器的主视图。

图3是图2的左视图。

图4是图2的右视图。

图5是图2的俯视图。

图6是本发明的检测传感器的电路结构示意图。

图1、2和6中，1、激光发射器，2、工业相机，3、激光接收器，4、图像采集及处理电路板，5、交互管理及电源管理电路板，6、以太网交换机电路板，7、WIFI路由器电路板，8、12V锂电池，9、充电&数据线连接端口，10、上位机，11、外壳，12、把持件，13、折线形结构端面。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1～5所示，本发明具体实施例中提供一种二维三维一体化视觉检测传感器，包括：激光发射器1、工业相机2、激光接收器3、图像采集及处理电路板4、交互管理及电源管理电路板5、以太网交换机电路板6、WIFI路由器电路板7、12V锂电池8、充电及数据线连接端口9。该传感器还包括保护外壳11，前述的构件都安装在外壳11中。外壳11位于激光器一侧呈多段式折线形结构端面13，其中两段相邻的折线形结构端面呈120°角，并且分别用于安装所述激光发射器和所述激光接收器，用以实现所述激光器的激光三角测距法。外壳11另一侧设有把持件12。

其中，激光发射器1和激光接收器3相配合实现3D线性成像功能，两者再配合微型照相机2拾取图片实现3D模拟测量功能。微型照相机2实现拍照功能，并且在3D测量时起到识别被测量目标的作用。

图像采集及处理电路板4分别与激光发射器1和激光接收器3相连，图像采集及处理电路板4用于对3D线性成像数据及3D模拟测量数据进行计算，并输出可读取数据。

交互管理及电源管理电路板5分别与图像采集及处理电路板4、微型照相机2、以太网交换机电路板6、WIFI路由器电路板7、12V锂电池、充电及数据线连接端口9相连。交互管理及电源管理电路板5包括交互管理模块和电源管理模块；其中，所述交换管理模块包括主控芯片、3位7段数码管、薄膜按键和5个LED指示灯，主控芯片分别与数码管、薄膜按键和指示灯连接，主控芯片通过以太网接口接收上位机发送的工作状态和显示要求，通过数码管和指示灯进行显示，同时上传薄膜按键的操作指令；电源管理模块包括充电管理模块、电源输出控制模块、5V电源转换模块和供电输出模块。

以太网交换机电路板6提供仪器内部多个电路之间的网络连接通道，包括：交互管理及电源管理电路板5、图像采集与处理电路板4、微型照相机2、WIFI路由器电路板7，共同组成一个小型局域网，最终通过WIFI路由器电路板7与上位机10之间进行数据交互。

WIFI路由器电路板7分别与以太网交换机电路板6、交互管理及电源管理电路板5相连。WIFI路由器电路板7用于实现该传感器与上位机10之间的无线网络通信，通过WIFI网络完成仪器内部有线网络到无线网络的转接。

锂电池8采用8000mAH聚合物锂电池，保证该传感器在手持操作期间电源供给3小时以上。

充电及数据线连接端口9用于外部12V电源输入，给仪器内部锂电池8充电。通过数据线连接把获取的数据通过有线连接输出到终端，以及调试设备参数。

本发明具体实施例还提供上述检测传感器的图像处理算法，该算法基于FasterRCNN模型进行重新设计，对结构光反射激光线进行识别，从反射出来的结构光图像中找到敏感区域，并且将敏感区域合成为单条光线。即修改后的算法模型是一个端到端的结构模型，核心部分是引入RPN网络对得到的结构光反射数据进行光线和位置的处理。具体是使用该网络代替R-CNN中的Selective Search方法，避免理论特征的重复计算，加快识别速度。

RPN网络共享输入的特征图的卷积特征，能够生产一系列大的候选区域，这样减少了计算的代价。最后通过ROI映射，ROI池化层是在卷积层输出的特征图中提取固定长度的特征向量后将这些固定长度的特征向量送到下一个全连接层，最终输入到两个输出层进行分类和回归，所涉及的具体公式和计算原理如下：

RCNN卷积算法公式为：

式[7]中，X为二维输入矩阵，W为二维权重矩阵即卷积核，“*”号表示进行卷积运算，m表示卷积核长度减1，n表示卷积核宽度减1，i、j是像素点位置索引值，k、l是索引增幅。

RCNN汇聚算法公式为：

(1)平均池化公式：

(2)最大池化公式：

式[8]和[9]中，H为池化窗口的高度，W为池化窗口的宽度，m表示池化窗口高度减1，n表示池化窗口宽度减1。

基于RPN网络，RPN在最终通过过滤操作产生建议数k个候选区域，这些候选区域称为Anchor。分类层会生成2k个前景和背景的概率，4k个anchor box的位置坐标。在RPN之中特征图先通过一次卷积计算，再分别经过两个并行的卷积层得到输出张量。Anchor与任意目标的ground truth box的IoU值＞0.7则认为是前景；当IoU值＜0.3时则认为是背景；其他的不参与训练。

Loss函数定义如下：

，[11]

，[12]

式[10]～[12]中，p_i是anchor为目标的概率，当anchor为目标时

为1，反之为0。t_i是预测框的位置坐标，其中tx是预测框左上角x坐标，ty是预测框左上角y坐标，tw是预测框宽度，th是预测框的高度；

是真实边界框的坐标，其中tx*是真实边界框左上角x坐标，ty*是真实边界框左上角y坐标，tw*是真实边界框宽度，th*是真实边界框的高度。N_cls和N_reg分别用来归一化分类损失和回归损失。N_cls是每次迭代用到的批次大小，

代表前景和背景的对数损失，N_reg是anchor的总数，

是预测边界框和真实边界框的损失，λ是权重平衡参数用来在两种损失之间进行加权平衡。

上述的图像处理算法，具体包括以下步骤：

(1)原始图片获取：先通过激光器和照相机获取基于待检物体表面的原始激光图片；

(2)敏感区域识别：通过图像采集及处理电路板对所述原始激光图片进行卷积运算，以获取其中的敏感区域信息；卷积运算所采用的公式为：

式[1]中，x(i)为输入信号数据；h(n-i)为卷积模板；y(n)为卷积结果序列，N为信号的长度。

(3)待检物体表面平整度计算：根据所述敏感区域信息，通过直线拟合方式将该敏感区域拟合成直线，并计算该直线的偏移程度进而获得物体表面平整度结果。其中，通过直线拟合方式将该敏感区域拟合成直线，具体包括：

步骤一，采用公式：

式[2]中，Q为直线表达式，a,b为直线参数，x_i和y_i为原始图像中的任意两个像素点，n为像素点总数，i为像素点索引；

步骤二，计算x_i和y_i的平均值，公式分别如式[3]和[4]所示：

步骤三，将式[3]和[4]带入式[2]中得到b和a的估计值

和

分别如式[5]和[6]所示：

步骤四，将

和

代入式[2]可以得到所拟合的直线公式。图像中其他像素点和直线之间的距离就是激光扫码平面上，平面之间的距离差。

实施例1

将本发明的检测传感器用于检测成都某汽车主机厂不锈钢板的平整度，具体操作如下：

1.打开传感器电源，并连接wifi网络；待5项指示灯全部变绿，达到可使用状态；

2.将微型照相机对准待测量物体，距离待测量物体1至3米之间，按微型照相机控制按钮，进行采集图像数据；

3.使激光器垂直置于待测物体上方200mm±50mm，按住激光器控制按钮，待拍摄成功指示灯闪烁方可松开按钮；

4.确定待测量数据已获取完成，按住电源开关，待全部指示灯关闭，将传感器保存在专有储物箱内。

检测结果：该批次不锈钢板的数量为53个，其中3个存在凹凸表面，凹凸范围为0.05～0.08mm，检测过程在1h内全部完成。该主机厂之前检测不锈钢板平整度采用的是现有的2D激光轮廓传感器，检测效率低下且准确度不高，如果按照53个一批次的不锈钢板数量计，检测时间往往在1d左右，因为需要加入人为观察和评估过程。

实施例2

将本发明的检测传感器与极光系统相连后，用于成都某汽车厂进行精致化匹配和尺寸培育过程中，辅助测量间隙面差分解公差积累与公差分解以及每组圆孔(两个圆)的偏心差，具体操作同实施例1。

检测结果：该批次检测检具的数量为6个，其中每个检具上都有6～10组圆孔、8～10组间隙和面差检测以，自动记录检测结果。检测过程在1h内全部完成，精度高达0.01mm。该主机厂之前检测检具圆孔、间隙、面差是采用完全的人工测量、人工记录，测量效率非常的低。

综上，本发明的检测传感器将2D图像与3D视觉系统相结合，可精确识别工件或产品焊接匹配面、安装匹配面、间隙面差匹配面及安装定位孔的误差等。并且无需固定底座与数据线连接，本身自带电源可连续工作3小时以上，检测精度可到0.01MM(毫米)。此外，本发明的传感器操作简单，读取测量值迅速，大幅度提高检测数据采集的效率，还可以配合极光系统，可实时把测量数据上传至系统终端，便于对分公司及供应链质量的实时把控，做到质量管理数字化、网络化。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种二维三维一体化视觉检测传感器，其特征在于：包括：

激光器，所述激光器用于发射激光以及接收从待检物反射回来的激光；

至少一台照相机，所述照相机用于实现拍照功能；

图像采集及处理电路板，所述图像采集及处理电路板与所述激光器相连，所述图像采集及处理电路板用于对3D线性成像数据及3D模拟测量数据进行计算，并输出可读取数据；

交互管理及电源管理电路板，所述交互管理及电源管理电路板分别与所述图像采集及处理电路板、所述照相机、以太网交换机电路板相连，所述交互管理及电源管理电路板用于实现交互功能及电源管理功能；

该传感器采用的图像处理算法采用PRN网络模型，具体包括以下步骤：

(1)原始图片获取：先通过激光器和照相机获取基于待检物体表面的原始激光图片；

(2)敏感区域识别：通过图像采集及处理电路板对所述原始激光图片进行卷积运算，以获取其中的敏感区域信息；卷积运算所采用的公式为：

[1]；式[1]中，x(i)为输入信号数据；h(n-i)为卷积模板；y(n)为卷积结果序列，N为信号的长度；

(3)待检物体表面平整度计算：根据所述敏感区域信息，通过直线拟合方式将该敏感区域拟合成直线，具体包括：

步骤一，采用公式：

[2]；式[2]中，Q为直线表达式，a,b为直线参数，x_i和y_i为原始图像中的任意两个像素点，n为像素点总数，i为像素点索引；

步骤二，计算x_i和y_i的平均值，公式分别如式[3]和[4]所示：

步骤三，将式[3]和[4]带入式[2]中得到b和a的估计值

和

分别如式[5]和[6]所示：

步骤四，将

和

代入式[2]可以得到所拟合的直线公式；并计算该直线的偏移程度进而获得物体表面平整度结果。

2.根据权利要求1所述的一种二维三维一体化视觉检测传感器，其特征在于：所述激光器包括激光发射器和激光接收器，所述激光发射器和所述激光接收器分别和所述图像采集及处理电路板相连。

3.根据权利要求1所述的一种二维三维一体化视觉检测传感器，其特征在于：所述交互管理及电源管理电路板包括交互管理模块和电源管理模块；其中，所述交互管理模块包括主控芯片、数码管、薄膜按键和指示灯，所述主控芯片分别与所述数码管、所述薄膜按键和所述指示灯连接，所述主控芯片通过以太网接口接收上位机发送的工作状态和显示要求，通过所述数码管和所述指示灯进行显示，同时上传所述薄膜按键的操作指令；所述电源管理模块包括充电管理模块、电源输出控制模块、电源转换模块和供电输出模块。

4.根据权利要求3所述的一种二维三维一体化视觉检测传感器，其特征在于：所述传感器还包括锂电池，所述锂电池和所述充电管理模块相连。

5.根据权利要求1所述的一种二维三维一体化视觉检测传感器，其特征在于：所述传感器还包括WIFI路由器电路板，所述WIFI路由器电路板分别与所述以太网交换机电路板、所述交互管理及电源管理电路板相连。

6.根据权利要求1～5任意一项所述的一种二维三维一体化视觉检测传感器，其特征在于：所述传感器还包括保护外壳。

7.一种二维三维轮廓检测系统，其特征在于：包括权利要求1～6任意一项所述的检测传感器和与所述检测传感器相连的极光系统。

Images