CN114283275B - 一种基于优化深度学习的多图形目标检测方法 - Google Patents

Abstract

本发明公开了一种基于优化深度学习的多图形目标检测方法，包括以下步骤：采用标记工具对所需要识别的数据集进行标定，得到标定数据集；建立多目标检测模型；所述多目标检测模型包括选定模块和4个不同的计算模块；4个不同的计算模块分别用于预测圆形、椭圆、倾斜矩形和三角形目标；选定模块用于根据实际情况选定4个计算模块中的一个；利用标定数据集训练所述多目标检测模型，通过计算不同计算模块的iou及优化损失函数，得到训练完成的多目标检测模型；利用训练完成的多目标检测模型完成检测；有益效果是：相比于多个单独的目标检测算法，在检测速度效果上有所提升，单张图片处理速度平均缩短了18.8%，更适合用于工业和工程生产过程中。

Description

一种基于优化深度学习的多图形目标检测方法

技术领域

本发明涉及图像目标检测领域，更具体地说，涉及一种基于优化深度学习的多图形目标检测方法。

背景技术

现在主流的图形检测主要通过中值滤波去噪，通过图形的特性查找到图形的轮廓，再通过判断过滤，得到质量较高的识别结果，不同的图形特性也不同。

比如圆形可以使用Canny边缘检测和霍夫圆来得到图片中的圆形；椭圆可以通过拼接弧支撑线段，椭圆聚类，候选椭圆验证来得到高质量椭圆或使用随机Hough变换来识别椭圆，矩形和凸多边形也可以通过常规的算法来识别。

而常见的目标识别算法大多使用矩形框来预测、框选目标。另外也存在使用倾斜矩形框的算法如使用5参数的RRPN、R3det,8参数的Rsdet，极坐标的P-RSDet等来避免密集目标识别效果差等水平框存在的问题。

但对于某些特定的图形，矩形框的目标识别算法得到的矩形框不能较好的贴合物体，而图形检测如果用来目标识别存在被相同形状不同类别干扰的情况。

发明内容

由此，本发明要解决的技术问题在于，针对不同图形的目标检测时参数不同、以及某些特定的，存在相同形状干扰目标检测的问题，提出一种基于优化深度学习的多图形目标检测方法。

本发明提供的一种基于优化深度学习的多图形目标检测方法，包括以下步骤：

S101：采用标记工具对所需要识别的数据集进行标定，得到标定数据集；

S102：建立多目标检测模型；所述多目标检测模型包括选定模块和4个不同的计算模块；4个不同的计算模块分别用于预测圆形、椭圆、倾斜矩形和三角形目标；选定模块用于根据实际情况选定4个计算模块中的一个；

S103：利用标定数据集训练所述多目标检测模型，通过计算不同计算模块的iou及优化损失函数，得到训练完成的多目标检测模型；

S104：利用训练完成的多目标检测模型完成多目标检测。

进一步地，步骤S101中，对所需要识别的数据集进行标定，其标定规则具体为：使用多参数方法进行标定，多参数包括：x,y,w,h,r,2a,2b,c,theta,shape，它们分别代表需要预测目标的中心点x轴坐标、y轴坐标、倾斜矩形的宽w、高h、圆形半径r、椭圆两倍的长轴2a、短轴2b、三角形边长c、倾斜矩形和倾斜椭圆的夹角theta、图形类别shape；标定时，2a>2b，w>h。

进一步地，步骤S103中，不同计算模块的iou具体指：圆形iou、椭圆iou、倾斜矩形iou、三角形iou。

进一步地，所述圆形iou的计算方法具体如下：

S201：获取标定数据集中的两圆中心点坐标(x₄,y₄)、(x₆,y₆)，并再获取其对应的半径r₄,r₆；

S202：计算圆心距离d：

；

S203：通过两圆中心点之间的距离与半径判断两圆的位置关系, 位置关系分为：相离，包含，相交，具体如下式：

；

S204：最终得到的圆形iou，如下式：

圆形iou=

；

其中，S₁、S₂、S_iou-inter的计算过程如下：

O₁、O₂分别表示半径r₄、r₆的圆的圆心；A、B表示两个圆在相交情况下的两个交点。

进一步地，所述椭圆iou的具体计算方法如下：

S301：获取标定数据集中的两椭圆中心点坐标(x ₁ ,y ₁ )、(x ₂ ,y ₂ )，同时获取其长轴a ₁ 、a ₂ 短轴b ₁ 、b ₂ 、以及角度theta ₁ 、theta ₂ ；

S302：计算两椭圆的焦点长度c ₁ ,c ₂ ：

；

S303：计算椭圆的焦点的偏移量从d _1x ,d _1y ,d _2x ,d _2y 而得到焦点的坐标(c _11x ,c _11y ),(c _12x ,c _12y ),(c _21x ,c _21y ),(c _22x ,c _22y )，具体如下：

；

S304：利用遍历像素点的方法通过判断椭圆内的点到焦点的距离是否小于两倍的长轴判断像素点是否在椭圆内，记两椭圆各自椭圆内的像素点的数量为n1, 两椭圆相交区域包含像素点的数量为n2，则得到椭圆iou计算公式如下：

椭圆iou=

。

进一步地，所述倾斜矩形iou的计算方法具体如下：

S401：获取标定数据集中的两矩形中心点坐标(x ₃ ,y ₃ )、(x ₄ ,y ₄ )，长a ₃ 、a _4， 宽b ₃ 、b ₄ 、角度theta ₃ 、theta ₄ ；

S402：计算两矩形的面积：

；

S403：利用两矩形中心点坐标以及角度，通过opencv中旋转矩形交点方法判断矩形是否有交集，如果没有交集，则倾斜矩形iou=0；如果有交集，则倾斜矩形iou=s/(s ₃+s ₄-s)，其中s表示两矩形之间的交集面积。

进一步地，所述三角形iou的计算方法具体如下：

S501：获取标定数据集中的两等边三角形边长c ₁ ,c ₂ 和中心点坐标(x ₁ ,y ₁ )、(x ₂,y ₂ )；

S502：通过边长和中心点坐标求得两三角形端点坐标(x ₁₁ ,y ₁₁ )、(x ₁₂ ,y ₁₂ )、(x ₁₃ ,y ₁₃ )、(x ₂₁ ,y ₂₁ )、(x ₂₂ ,y ₂₂ )、(x ₂₃ ,y ₂₃ )；

S503：通过两三角形端点坐标判断两三角形是否存在包含情况，若存在，则三角形iou=s ₁ /s ₂ ；若不包含，进一步判断两三角形是否存在交点，若不存在，则三角形iou=0，若存在交点，则三角形iou=s _交 /(s ₁ +s ₂ )，其中s _交 为两三角形重合区域面积，s ₁ ，s ₂ 分别为小三角形面积和大三角形面积。

进一步地，步骤S103中所述的优化损失函数与圆形iou、椭圆iou以及倾斜矩形iou、三角形iou分别一一对应，分为圆形损失函数、椭圆损失函数、倾斜矩形损失函数以及三角形损失函数，具体如下：

loss1=1-圆形iou

loss2=1-椭圆iou

loss3=1-倾斜矩形iou

Loss4=1-三角形iou。

步骤S103中，在训练进行第一轮迭代时，默认使用倾斜矩形的iou与loss进行计算；正样本shape预测值根据二元交叉熵公式计算反向传播更新参数后用于新一轮的判断计算，通过判断此时的四个维度的shape值哪个最大，就使用相应的图形iou与对应的损失函数。

本发明提供的有益效果是：相比于一般的矩形框目标检测，本申请的目标检测算法更具有专业趋向性，解决了不同图形的目标检测时参数不同的问题，并实现了多图形目标检测的统一集合化。

相比于多个单独的目标检测算法，本算法在检测速度效果上也有所提升，单张图片处理速度平均缩短了18.8%，更适合用于工业和工程生产过程中。

附图说明

图1是本发明方法流程示意图；

图2表示两圆在相交情况下的示意图；

图3表示两椭圆相交情况下的示意图；

图4是本发明整体方法示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，图1是本发明方法流程示意图；

一种基于优化深度学习的多图形目标检测方法，包括以下步骤：

S101：采用标记工具对所需要识别的数据集进行标定，得到标定数据集；

作为一种实施例，步骤S101中，对所需要识别的数据集进行标定，其标定规则具体为：使用多参数方法进行标定，多参数包括：x,y,w,h,r,2a,2b,c,theta,shape，它们分别代表需要预测目标的中心点x轴坐标、y轴坐标、倾斜矩形的宽w、高h、圆形半径r、椭圆两倍的长轴2a、短轴2b、三角形边长c、倾斜矩形和倾斜椭圆的夹角theta、图形类别shape；标定时，2a>2b，w>h。具体的说：在标定时需要确保2a>2b，w>h（即椭圆都是x型椭圆或由x型椭圆旋转得来的椭圆，倾斜矩形都是由w>h的矩形或由w>h的矩形旋转得来的矩形）方便后续iou的计算与不同图形夹角的统一。另外需要注意只有倾斜矩形和倾斜椭圆是有夹角theta的，夹角指的是h边或以2b的延长线旋转后与水平线的夹角。

S102：建立多目标检测模型；所述多目标检测模型包括选定模块和4个不同的计算模块；4个不同的计算模块分别用于预测圆形、椭圆、倾斜矩形和三角形目标；选定模块用于根据实际情况选定4个计算模块中的一个；

S103：利用标定数据集训练所述多目标检测模型，通过计算不同计算模块的iou及优化损失函数，得到训练完成的多目标检测模型；

S104：利用训练完成的多目标检测模型完成多目标检测。

作为一种实施例，步骤S103中，不同计算模块的iou具体指：圆形iou、椭圆iou、倾斜矩形iou、三角形iou。

所述圆形iou的计算方法具体如下：

S201：获取标定数据集中的两圆中心点坐标(x₄,y₄)、(x₆,y₆)，并再获取其对应的半径r₄,r₆；

S202：计算圆心距离d：

；

S203：通过两圆中心点之间的距离与半径判断两圆的位置关系, 位置关系分为：相离，包含，相交，具体如下式：

；

S204：对于不同的位置关系，使用不同的计算方法计算交集。如果是相离情况iou（圆形）为0，如果是包含情况，iou为小圆的半径的平方比上大圆半径的平方。如果是相交（见图2）先计算出两圆形面积S₁,S₂与夹角a,再通过扇形面积计算出交集的大小，从而得到iou。

因此，最终得到的圆形iou，如下式：

圆形iou=

；

需要说明的是，r₄<r₆；当r₄大于且等于r₆时，在包含情况下，圆形iou=r₆ ²/r₄ ²；即r₄与r₆进行互换，互换情况仅求解圆形iou在包含情况下，进行互换，下文计算中，不进行互换；

其中，S₁、S₂、S_iou-inter的计算过程如下：

O₁、O₂分别表示半径r₄、r₆的圆的圆心；请参考图2，图2表示两圆在相交情况下的示意图；A、B表示两个圆在相交情况下的两个交点。

所述椭圆iou的具体计算方法如下：

S301：获取标定数据集中的两椭圆中心点坐标(x ₁ ,y ₁ )、(x ₂ ,y ₂ )，同时获取其长轴a ₁ 、a ₂ 短轴b ₁ 、b ₂ 、以及角度theta ₁ 、theta ₂ ；

S302：计算两椭圆的焦点长度c ₁ ,c ₂ ：

；

S303：计算椭圆的焦点的偏移量从d _1x ,d _1y ,d _2x ,d _2y 而得到焦点的坐标(c _11x ,c _11y ),(c _12x ,c _12y ),(c _21x ,c _21y ),(c _22x ,c _22y )，具体如下：

；

S304：利用遍历像素点的方法通过判断椭圆内的点到焦点的距离是否小于两倍的长轴判断像素点是否在椭圆内，请参考图3，图3表示两椭圆相交情况下的示意图；图3中，用1和2区别两个椭圆；记两椭圆各自椭圆内的像素点的数量为n1（图3中1和2的数目总和）,两椭圆相交区域包含像素点的数量为n2（图3中2数目的总和），最终得到椭圆iou计算公式如下：

椭圆iou=

。

所述倾斜矩形iou的计算方法具体如下：

S401：获取标定数据集中的两矩形中心点坐标(x ₃ ,y ₃ )、(x ₄ ,y ₄ )，长a ₃ 、a _4， 宽b ₃ 、b ₄ 、角度theta ₃ 、theta ₄ ；

S402：计算两矩形的面积：

；

S403：判断矩形是否有交集，如果没有交集，则倾斜矩形iou=0；如果有交集，则倾斜矩形iou=s/(s ₃+s ₄-s)，其中s表示两矩形之间的交集面积。

作为一种实施例，本申请中判断矩形是否有交集，采用的是cv2.rotatedRectangleIntersection方法，该方法返回值为0，1，2分别表示没有，有，包含，以及一个由两矩形交点内含点组成的阵列。

作为一种实施例，本申请中，若矩形有交集，则采用cv2.convexHull生成凸包，并用cv2.contourArea计算凸包面积s（两矩形交集面积）。

所述三角形iou的计算方法具体如下：

S501：获取标定数据集中的两等边三角形边长c ₁ ,c ₂ 和中心点坐标(x ₁ ,y ₁ )、(x ₂,y ₂ )；

S502：通过边长和中心点坐标求得两三角形端点坐标(x ₁₁ ,y ₁₁ )、(x ₁₂ ,y ₁₂ )、(x ₁₃ ,y ₁₃ )、(x ₂₁ ,y ₂₁ )、(x ₂₂ ,y ₂₂ )、(x ₂₃ ,y ₂₃ )；坐标计算式如下：

；

S503：通过两三角形端点坐标判断两三角形是否存在包含情况（只需遍历三角形的端点判断是否端点都在另一个三角形的区域内过边界上），若存在（内切情况算作包含不做另外讨论），则三角形iou=s ₁ /s ₂ ；若不包含，进一步判断两三角形是否存在交点，若不存在，则三角形iou=0，若存在交点，则三角形

iou=s _交 /(s ₁ +s ₂ )，其中s _交 为两三角形重合区域面积，s ₁ ，s ₂ 分别为小三角形面积和 大三角形面积。存在交点情况下通过三角形内部点到交点的距离确定重合三角形的边长从 而求得相交区域面积从而求得iou公式如下：

其中（x₃,y₃）为落入另一个三角形内部的点。

作为一种实施例，不同的图形由不同的计算模块使用不同的损失函数进行计算。

步骤S103中所述的优化损失函数与圆形iou、椭圆iou以及倾斜矩形iou、三角形iou分别一一对应，分为圆形损失函数、椭圆损失函数、倾斜矩形损失函数以及三角形损失函数，具体如下：

loss1=1-圆形iou

loss2=1-椭圆iou

loss3=1-倾斜矩形iou

Loss4=1-三角形iou.

另外，关于存在角度图形如椭圆，倾斜图形角度的损失区别于其他损失，单独使用MSE损失进行计算，则完整的损失计算公式如下：

其中λcoord和λnoobj为系数，S²,B用来控制遍历所有预测框；

当为正样本是为 1，否则为0；

仅当本轮迭代shape值对应的相应图形最大时为1，否则为0（即4个

中 只有一个为1其余为0）；

为负样本是为1，否则为0。n代表类别数；p_c为置信度。

在训练进行第一轮迭代时，默认使用倾斜矩形的iou与loss进行计算。正样本shape预测值根据二元交叉熵公式计算反向传播更新参数后用于新一轮的判断计算，通过判断此时的四个维度的shape值哪个最大，就使用相应的图形iou与对应的损失函数。

下面给出计算公式，二元交叉熵损失和激活函数如下：

其中shape标签为shape的标签值非0即1，shape值对应本轮形状的预测值范围在0,1之间，s(x)为sigmoid激活函数；

Loss对shape值求偏导，计算如下：

求得偏导后后续便可根据动量梯度下降法迭代更新参数：

其中

为第i轮的动量梯度，β为动量参数，shape_i为第i轮的shape预测值，α 为学习率。值得注意不同维度的标签值表示为那个维度是否是对应的图形，如倾斜椭圆维 度为1表示此目标形状为倾斜椭圆，相应的倾斜矩形维度与圆形维度和三角形维度的shape 标签为0。

请参考图4，图4是本发明方法的整体示意图；作为一个实施例，算法本身作为一个整体，识别单形状目标或多形状目标无需进行格外的说明，只需将所要识别的图形形状在包含图片形状信息的文件中的值与数据集中的shape值对应即可。本算法支持四种形状分别为椭圆，圆形，旋转矩形，等边三角形即最多四种，最少一种。

本申请方法在显卡为2080TI的配置下进行试验，得到的结果如下表：

表1 不同方法不同阶段单张图片平均处理时间

从结果可以看出，图形框检测算法在较好的融合实现其他图形检测的同时，单张图片的需要检测的时间相比于分别单独检测四种图形框缩短了18.8%，更适合用于工业和工程生产过程中。

本发明的有益效果是：相比于一般的矩形框目标检测，本申请的目标检测算法更具有专业趋向性，解决了不同图形的目标检测时参数不同的问题，并实现了多图形目标检测的统一集合化。相比于多个单独的目标检测算法，本算法在检测速度效果上也有所提升，单张图片处理速度平均缩短了18.8%，更适合用于工业和工程生产过程中。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于优化深度学习的多图形目标检测方法，其特征在于：包括以下步骤：

S101：采用标记工具对所需要识别的数据集进行标定，得到标定数据集；

步骤S101中，对所需要识别的数据集进行标定，其标定规则具体为：使用多参数方法进行标定，多参数包括：x,y,w,h,r,2a,2b,c,theta,shape，它们分别代表需要预测目标的中心点x轴坐标、y轴坐标、倾斜矩形的宽w、高h、圆形半径r、椭圆两倍的长轴2a、短轴2b、三角形边长c、倾斜矩形和倾斜椭圆的夹角theta、图形类别shape；标定时，2a>2b，w>h；

S102：建立多目标检测模型；所述多目标检测模型包括选定模块和4个不同的计算模块；4个不同的计算模块分别用于预测圆形、椭圆、倾斜矩形和三角形目标；选定模块用于根据实际情况选定4个计算模块中的一个；

S103：利用标定数据集训练所述多目标检测模型，通过计算不同计算模块的iou及优化损失函数，得到训练完成的多目标检测模型；

步骤S103中，不同计算模块的iou具体指：圆形iou、椭圆iou、倾斜矩形iou、三角形iou；

所述椭圆iou的具体计算方法如下：

S301：获取标定数据集中的两椭圆中心点坐标(x ₁ ,y ₁ )、(x ₂ ,y ₂ )，同时获取其长轴a ₁ 、a ₂ 短轴b ₁ 、b ₂ 、以及角度theta ₁ 、theta ₂ ；

S302：计算两椭圆的焦点长度c ₁ ,c ₂ ：

；

S303：计算椭圆的焦点的偏移量从d _1x ,d _1y ,d _2x ,d _2y 而得到焦点的坐标(c _11x ,c _11y ),(c _12x ,c _12y ),(c _21x ,c _21y ),(c _22x ,c _22y )，具体如下：

；

S304：利用遍历像素点的方法通过判断椭圆内的点到焦点的距离是否小于两倍的长轴判断像素点是否在椭圆内，记两椭圆各自椭圆内的像素点的数量为n1,两椭圆相交区域包含像素点的数量为n2，则得到椭圆iou计算公式如下：

椭圆iou=

；

步骤S103中所述的优化损失函数与圆形iou、椭圆iou以及倾斜矩形iou、三角形iou分别一一对应，分为圆形损失函数、椭圆损失函数、倾斜矩形损失函数以及三角形损失函数，具体如下：

loss1=1-圆形iou

loss2=1-椭圆iou

loss3=1-倾斜矩形iou

Loss4=1-三角形iou；

步骤S103中，在训练进行第一轮迭代时，默认使用倾斜矩形的iou与loss进行计算；正样本shape预测值根据二元交叉熵公式计算反向传播更新参数后用于新一轮的判断计算，通过判断此时的四个维度的shape值哪个最大，就使用相应的图形iou与对应的损失函数；

S104：利用训练完成的多目标检测模型对输入的一幅 图像同时完成多目标检测。

2.如权利要求1所述的一种基于优化深度学习的多图形目标检测方法，其特征在于：所述圆形iou的计算方法具体如下：

S201：获取标定数据集中的两圆中心点坐标(x₄,y₄)、(x₆,y₆)，并再获取其对应的半径r₄,r₆；

S202：计算圆心距离d：

；

S203：通过两圆中心点之间的距离与半径判断两圆的位置关系, 位置关系分为：相离，包含，相交，具体如下式：

；

S204：最终得到的圆形iou，如下式：

圆形iou=

；

其中，S₁、S₂、S_iou-inter的计算过程如下：

O₁、O₂分别表示半径r₄、r₆的圆的圆心；A、B表示两个圆在相交情况下的两个交点。

3.如权利要求1所述的一种基于优化深度学习的多图形目标检测方法，其特征在于：所述倾斜矩形iou的计算方法具体如下：

S401：获取标定数据集中的两矩形中心点坐标(x ₃ ,y ₃ )、(x ₄ ,y ₄ )，长a ₃ 、a ₄ ，宽b ₃ 、b ₄ 、角度theta ₃ 、theta ₄ ；

S402：计算两矩形的面积：

；

S403：利用两矩形中心点坐标以及角度，通过opencv中旋转矩形交点方法判断矩形是否有交集，如果没有交集，则倾斜矩形iou=0；如果有交集，则倾斜矩形iou=s/(s ₃+s ₄-s)，其中s表示两矩形之间的交集面积。

4.如权利要求1所述的一种基于优化深度学习的多图形目标检测方法，其特征在于：所述三角形iou的计算方法具体如下：

S501：获取标定数据集中的两等边三角形边长c ₁ ,c ₂ 和中心点坐标(x ₁ ,y ₁ )、(x ₂,y ₂ )；

S502：通过边长和中心点坐标求得两三角形端点坐标(x ₁₁ ,y ₁₁ )、(x ₁₂ ,y ₁₂ )、(x ₁₃ ,y ₁₃ )、(x ₂₁ ,y ₂₁ )、(x ₂₂ ,y ₂₂ )、(x ₂₃ ,y ₂₃ )；

S503：通过两三角形端点坐标判断两三角形是否存在包含情况，若存在，则三角形iou=s ₁ /s ₂ ；若不包含，进一步判断两三角形是否存在交点，若不存在，则三角形iou=0，若存在交点，则三角形iou=s _交 /(s ₁ +s ₂ )，其中s _交 为两三角形重合区域面积，s ₁ ，s ₂ 分别为小三角形面积和大三角形面积。

Images