CN113160201B - 基于极坐标的环状边界框的目标检测方法 - Google Patents

Abstract

本发明的目的在于提供一种基于极坐标的环状边界框的目标检测方法，该方法包括图像预处理和目标检测，其中：图像预处理，识别图像中圆形或圆环形零件的轮廓线和圆心，以所述圆心为原点建立极坐标系，将检测目标转换成在极坐标系下对应的圆环形边界框；目标检测，对预处理的图像采用目标检测网络进行目标检测，其中目标检测网络中的坐标系采用极坐标系。本发明的方法解决了传统方法很难避开背景的干扰，并产生很大的计算冗余的问题；有效地利用缺陷和零件的特征，节省计算资源，更好地检测出缺陷目标。

Description

基于极坐标的环状边界框的目标检测方法

技术领域

本发明属于目标检测技术领域，具体涉及一种基于极坐标的环状边界框的目标检测方法。

背景技术

随着人工智能的蓬勃发展，工业检测领域逐步采用计算机视觉相关算法进行质量检查，诸如目标检测、语义分割或实例分割和基于深度学习的异常检测算法等，普遍应用在工业零部件的缺陷检测中。工业领域很多基础零部件都是圆形，最为常见的零件有轴承、齿轮、螺母等，还有很多精密元件，可以说，“圆”是工业领域运转的基石。然而，深度学习的提出是为了帮助人类感知现实的物体，在工业零部件的缺陷检测的发展还是处在初期阶段，大多情况下，相关算法能够应用在工业缺陷检测上，但是，存在很多不适配的问题，精度和速度无法达到工业应用的要求。对于圆形零部件，采用常规通用的深度学习算法方案，无法很好的应对现实的问题，比如：圆环形的零部件，对于镂空部分，并不需要参与算法的运算；对于较长的弧线状的缺陷(见图5)，尤其圆环的内外边缘(很小的弧线区域甚至比其他大面积平面重要性更高)，基于横平竖直的矩形框目标检测方案，不可避免会将镂空的背景部分纳入框中，如此便很难避开背景的干扰，并产生了很大的计算冗余。因此，针对缺陷，尤其是圆形零部件的缺陷，有必要设计一种专用的缺陷目标检测方案，有效地利用缺陷和零配件的特征，节省计算资源，更好地检测出缺陷目标。

参考文献：

CN102663386A-机械轴承环形分布压印字符的在线检测方法；

CN103310215A-一种环状编码标记点的检测与识别方法；

CN107578051A-一种环状编码标记点的检测与识别方法；

CN109668897A-环状精密零件表面微型缺陷的视觉检测系统及其检测方法；

CN110728657A-一种基于深度学习的环状轴承外表面缺陷检测方法；

CN111815600A-一种基于视觉的环形磁钢外观缺陷检测方法；

CN111986220A-一种基于图像变换的环形文本检测和识别方法。

发明内容

本发明的目的在于提供一种基于极坐标的环状边界框的目标检测方法，解决了传统方法很难避开背景的干扰，并产生很大的计算冗余的问题；有效地利用缺陷和零件的特征，节省计算资源，更好地检测出缺陷目标。

为实现上述目的，本发明提供如下技术方案：

一种基于极坐标的环状边界框的目标检测方法，其特征在于：

图像预处理，识别图像中圆形或圆环形零件的轮廓线和圆心，以所述圆心为原点建立极坐标系，将检测目标转换成在极坐标系下对应的圆环形边界框；

目标检测，对预处理的图像采用目标检测网络进行目标检测，其中目标检测网络中的坐标系采用极坐标系。

进一步地，所述圆环形边界框在极坐标系下表示为(ρ₁，θ₁，ρ₂，θ₂)，对应圆环形边界框外边界线的左端点坐标和内边界线的右端点坐标。

进一步地，所述图像数据预处理包括：

S101、将图像转换成灰度图，再转成二值图；

S102、对二值图进行边缘检测获取图像中圆形或圆环形零件的轮廓线；

S103、根据先验的零件内外边界线尺寸，筛选步骤S102中得到的轮廓线，得到最接近的轮廓线；

S104、拟合轮廓线的椭圆边界线，获得椭圆的长短轴大小和中心坐标；

S105、采用仿射变换将椭圆变换成标准的圆，同时变换检测目标的坐标数据；

S106、将检测目标的坐标数据转换成圆环形边界框。

进一步地，所述步骤S101还包括：对二值图采用开运算去除噪声。

进一步地，当零件为圆环形时，在开运算结果图上采用距离变换方法得到圆环形的距离变化图，再对距离变化图转换二值图。

进一步地，所述目标检测网络为FCOS单阶段目标检测网络。

进一步地，所述FCOS单阶段目标检测网络进行目标检测包括：

S201、将预处理后得到的图像输入到Backbone网络进行特征提取；

S202、采用特征金字塔进行多尺度预测，总计有五个Head，每个Head参数共享；

S203、在Head中，做特征提取时，采用极坐标系，只选取圆环形边界框区域的点作为anchor点；

S204、根据上述的anchor点，计算anchor点(ρ，θ)到圆环形边界框边界的距离(l，r，t，b)，其中l和r是环向角度差，t和b是径向长度差；计算公式如下：

l＝θ-θ₁，r＝θ₂-θ

t＝ρ₂-ρ，b＝ρ-ρ₁ ①；

S205、计算anchor点的center-ness特性，计算公式如下：

S206、对anchor点直接进行分类，根据公式②回归center-ness，根据公式①回归圆环形边界框；

S207、预测的圆环形边界框A(ρ₁，θ₁，ρ₂，θ₂)与标注的边界框B(ρ′₁，θ′₁，ρ′₂，θ′₂)计算IoU，采用NMS最大值抑制算法，得到最终的圆环形边界框，计算IoU公式如下：

overlapbox＝((max(ρ₁，ρ′₁)，max(θ₁θ′₁))，(min(ρ₂，ρ′₂)，min(θ₂，θ′₂)))，

与现有技术相比，本发明的有益效果如下：

第一、本发明的方法采用圆环形边界框作为圆形或圆环形的零部件检测目标，相比于矩形边界框，对于工业领域圆形零部件上的缺陷的检测更准确。

第二、本发明设计了基于圆环形边界框检测的单阶段检测网络，借鉴了FCOS的思想，创新地设计了基于极坐标的圆环形边界框center-ness计算方法，IoU计算方法，如此能将FCOS思想很好地应用到圆环形边界框检测上，而不用做太多的改动。

第三、本发明相对于矩形边界框的FCOS算法，提出了只选取圆环区域(零部件所在区域)作为anchor点，对于较窄的圆环，可以大幅度降低计算量，有效地将圆环和极坐标的特征应用在FCOS算法上。

附图说明

图1为本发明的算法流程示意图。

图2为本发明中圆环形边界框坐标的表示示意图。

图3为本发明中圆环形边界框目标检测的网络结构的示意图。

图4为本发明中圆环形边界框的表示示意图。

图5为圆环形零件中环形缺陷的表示示意图。

具体实施方式

下面将结合具体实施例对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所述，一种基于极坐标的环状边界框的目标检测方法，其特征在于：

步骤一、图像预处理，识别图像中圆形或圆环形零件的轮廓线和圆心，以所述圆心为原点建立极坐标系，将检测目标(缺陷标注的多边形框)转换成在极坐标系下对应的圆环形边界框；具体包括：

S101、将图像转换成灰度图，再转成二值图；对二值图采用开运算去除噪声，去除噪声后可以得到较为准确的前景。当零件为圆环形时，在开运算结果图上采用距离变换方法得到圆环形的距离变化图，再对距离变化图转换二值图，可得到较为精确的前景。

S102、对二值图采用寻找轮廓线方法进行边缘检测获取图像中圆形或圆环形零件的轮廓线和圆心。

S103、根据先验的零件内外边界线尺寸(指零件的设计尺寸)，筛选步骤S102中得到的轮廓线，得到最接近的轮廓线(因为步骤S102中得到的轮廓线可能有若干条，需要降噪)。

S104、拟合轮廓线的椭圆边界线，获得椭圆的长短轴大小和中心坐标。

S105、采用仿射变换将椭圆变换成标准的圆，同时变换检测目标的坐标数据。因为相机可能拍出来的的图像不是正圆。

S106、将检测目标的坐标数据转换成圆环形边界框(ρ₁，θ₁，ρ₂，θ₂)，对应圆环形边界框外边界线的左端点坐标和内边界线的右端点坐标，如图2所示。

步骤二、目标检测，对预处理的图像采用目标检测网络进行目标检测，其中目标检测网络中的坐标系采用极坐标系。基于FCOS单阶段网络目标检测思想，对其针对圆环形边界框进行改造，如图3所示，具体包括：

S201、将预处理后得到的图像输入到Backbone网络进行特征提取。

S202、采用特征金字塔进行多尺度预测，总计有五个Head，每个Head参数共享。

S203、在Head中，做特征提取时，采用极坐标系，只选取圆环形边界框区域(ROI区域)的点作为anchor点。

S204、根据上述的anchor点，计算anchor点(ρ，θ)到圆环形边界框边界的距离(l，r，t，b)，如图4所示，其中l和r是环向角度差，t和b是径向长度差；计算公式如下：

l＝θ-θ₁，r＝θ₂-θ

t＝ρ₂-ρ，b＝ρ-ρ₁ ①。

S205、计算anchor点的center-ness特性，计算公式如下：

S206、对anchor点直接进行分类，根据公式②回归center-ness，根据公式①回归圆环形边界框。

S207、预测的圆环形边界框A(ρ₁，θ₁，ρ₂，θ₂)与标注的边界框B(ρ′₁，θ′₁，ρ′₂，θ′₂)计算IoU，采用NMS最大值抑制算法，得到最终的圆环形边界框，计算IoU公式如下：

overlapbox＝((max(ρ₁，ρ′₁)，max(θ₁，θ′₁(min(ρ₂，ρ′₂)，min(θ₂，θ′₂)))，

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种基于极坐标的环状边界框的目标检测方法，其特征在于：

步骤一、图像预处理，识别图像中圆形或圆环形零件的轮廓线和圆心，以所述圆心为原点建立极坐标系，将检测目标转换成在极坐标系下对应的圆环形边界框，包括：

S101、将图像转换成灰度图，再转成二值图；

S102、对二值图进行边缘检测获取图像中圆形或圆环形零件的轮廓线；

S103、根据先验的零件内外边界线尺寸，筛选步骤S102中得到的轮廓线，得到最接近的轮廓线；

S104、拟合轮廓线的椭圆边界线，获得椭圆的长短轴大小和中心坐标；

S105、采用仿射变换将椭圆变换成标准的圆，同时变换检测目标的坐标数据；

S106、将检测目标的坐标数据转换成圆环形边界框，所述圆环形边界框在极坐标系下表示为A(ρ₁，θ₁，ρ₂，θ₂)，对应圆环形边界框外边界线的左端点坐标和内边界线的右端点坐标；

步骤二、目标检测，对预处理的图像采用FCOS单阶段目标检测网络进行目标检测，所述目标检测网络中的坐标系采用极坐标系；

其中，所述对预处理的图像采用FCOS单阶段目标检测网络进行目标检测，包括：

S201、将预处理后得到的图像输入到Backbone网络进行特征提取；

S202、采用特征金字塔进行多尺度预测，总计有五个Head，每个Head参数共享；

S203、在Head中，做特征提取时，采用极坐标系，只选取圆环形边界框区域的点作为anchor点；

S204、根据上述的anchor点，计算anchor点(ρ，θ)到圆环形边界框边界的距离(l，r，t，b)，其中l和r是环向角度差，t和b是径向长度差；计算公式如下：

S205、计算anchor点的centerness特性，计算公式如下：

S206、对anchor点直接进行分类，根据公式②回归centerness，根据公式①回归圆环形边界框；

S207、圆环形边界框A(ρ₁，θ₁，ρ₂，θ₂)与标注的边界框B(ρ′₁，θ′₁，ρ′₂，θ′₂)计算IoU，采用NMS非最大值抑制算法，得到最终的圆环形边界框，计算IoU公式如下：

overlapbox＝((max(ρ₁，ρ′₁)，max(θ₁，θ′₁))，(min(ρ₂，ρ′₂)，min(θ₂，θ′₂)))，

2.根据权利要求1所述的基于极坐标的环状边界框的目标检测方法，其特征在于：所述步骤S101还包括：对二值图采用开运算去除噪声。

3.根据权利要求2所述的基于极坐标的环状边界框的目标检测方法，其特征在于：当零件为圆环形时，在开运算结果图上采用距离变换方法得到圆环形的距离变化图，再对距离变化图转换二值图。