CN114419333A - 一种检测框重叠度的生成方法、目标检测方法及装置 - Google Patents

Abstract

本申请公开了一种检测框重叠度的生成方法、目标检测方法及装置，该方法包括：获取第一旋转检测框与第二旋转检测框；对第一旋转检测框与第二旋转检测框进行变换处理，得到第一检测框至第四检测框，第一检测框的上边界、第四检测框的上边界均与水平方向平行，第一检测框的左边界、第四检测框的左边界均与竖直方向平行；计算第一检测框与第二检测框的交点或第三检测框与第四检测框的交点，得到交点集；获取第二检测框位于第一检测框内部的顶点以及第三检测框位于第四检测框内部的顶点，得到内部顶点集；基于交点集与内部顶点集，计算第一旋转检测框与第二旋转检测框的重叠度。通过上述方式，本申请能够降低计算的复杂度。

Description

一种检测框重叠度的生成方法、目标检测方法及装置

技术领域

本申请涉及深度学习技术领域，具体涉及一种检测框重叠度的生成方法、目标检测方法及装置。

背景技术

在目标检测网络中，在检测出候选框后，对于候选框之间存在区域重叠的情况，需要使用非最大值抑制(non-maximum suppression，NMS)算法选取局部可信度最高的目标作为最终输出目标；在使用NMS算法时需要计算两个候选框的交并比(IOU，Intersectionover Union)，如果该交并比大于指定的阈值，则只保留两者中可信度较高的目标，可信度较低的目标则被抑制掉。但是，现在很多检测网络的检测结果并不是与坐标轴平行的矩形框，而是一个倾斜的矩形(即旋转矩形框)，旋转矩形框的交并比的计算过程比较复杂，存在计算复杂度较高的问题。

发明内容

本申请提供一种检测框重叠度的生成方法、目标检测方法及装置，能够降低计算的复杂度。

为解决上述技术问题，本申请采用的技术方案是：提供一种检测框重叠度的生成方法，该方法包括：获取第一旋转检测框与第二旋转检测框；对第一旋转检测框与第二旋转检测框进行变换处理，得到与第一旋转检测框对应的第一检测框以及与第二旋转检测框对应的第二检测框，第一检测框的上边界与水平方向平行，第一检测框的左边界与竖直方向平行；对第一旋转检测框与第二旋转检测框进行变换处理，得到与第一旋转检测框对应的第三检测框以及与第二旋转检测框对应的第四检测框，第四检测框的上边界与水平方向平行，第四检测框的左边界与竖直方向平行；在第二检测框或第三检测框满足预设条件时，计算第一检测框与第二检测框的交点或第三检测框与第四检测框的交点，得到交点集；获取第二检测框位于第一检测框内部的顶点以及第三检测框位于第四检测框内部的顶点，得到内部顶点集；基于交点集与内部顶点集，计算第一旋转检测框与第二旋转检测框的重叠度。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种目标检测方法，该方法包括：对待检测图像进行目标检测处理，得到多个检测框；计算检测框与另一检测框之间的重叠度；基于重叠度，从所有检测框中选出目标检测框，计算检测框与另一检测框之间的重叠度的方法为上述技术方案中的检测框重叠度的生成方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种目标检测装置，该目标检测装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的检测框重叠度的生成方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的检测框重叠度的生成方法。

通过上述方案，本申请的有益效果是：先获取第一旋转检测框与第二旋转检测框；然后对第一旋转检测框与第二旋转检测框进行刚性变换，得到第一检测框、第二检测框、第三检测框以及第四检测框，第一检测框与第四检测框为简单矩形框；在第二检测框或第三检测框满足预设条件时，计算第一检测框与第二检测框的交点或第三检测框与第四检测框的交点，得到交点集；然后获取第二检测框位于第一检测框内部的顶点以及第三检测框位于第四检测框内部的顶点，得到内部顶点集；然后利用交点集与内部顶点集，计算第一旋转检测框与第二旋转检测框的重叠度；由于第一检测框与第四检测框均为简单矩形框，因此在计算第一检测框与第二检测框的交点以及第一检测框与第二检测框之间的内部顶点时，计算较为简单，进而简化两个旋转检测框之间的相交面积的计算，有助于降低计算重叠度的复杂度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的检测框重叠度的生成方法一实施例的流程示意图；

图2是本申请的第一旋转检测框与第二旋转检测框的示意图；

图3是对图2所示的两个旋转检测框进行刚性变换后的示意图；

图4是对图2所示的两个旋转检测框进行刚性变换后的另一示意图；

图5是本申请提供的检测框重叠度的生成方法另一实施例的流程示意图；

图6是本申请提供的第一检测框与第二检测框的示意图；

图7是本申请提供的目标检测方法一实施例的流程示意图；

图8是本申请提供的目标检测装置一实施例的结构示意图；

图9是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，对本申请所涉及的坐标系、计算相交区域的面积以及交并比的方法进行介绍。

1)本申请使用传统数学概念的表示方法，x轴的正向指向图像的右侧，y轴的正向为图像的上方，沿着逆时针方向旋转时角度为正值，旋转一周为360度，这些表示可以方便地转换到计算机图像的表示方法中，能够同样适用。

2)对于通用的多边形，可用其顶点坐标来表示，多边形是指除了相邻的边界外，其他的边界之间不存在相交或相连的情况。可将多边形的顶点按照逆时针方向排列，假设N边形的坐标依次为(x₀，y₀)，(x₁，y₁)，…，(x_N-1，y_N-1)，(x_N，y_N)，x_N＝x₀，y_N＝y₀，则其面积的计算公式为：

3)目标框A和B的交并比的计算公式为：

其中，在公式(2)中，Intersection(A，B)为目标框A和B的相交部分(即相交区域)的面积；如果目标框A与B不相交，则IOU(A，B)＝0；如果目标框A与B完全重合，则IOU(A，B)＝1；如果目标框A与B相交且不完全重合，则IOU(A，B)是位于(0，1)区间的值。

请参阅图1，图1是本申请提供的检测框重叠度的生成方法一实施例的流程示意图，该方法包括：

S11：获取第一旋转检测框与第二旋转检测框。

可将目标检测网络输出的多个候选框作为第一旋转检测框与第二旋转检测框，该目标检测网络为相关技术中常用的用于对目标进行检测的网络模型，比如：Yolo(You onlylook once)或单发多框检测(Single Shot MultiBox Detector，SSD)。

在一具体的实施例中，如图2所示，输入的两个旋转检测框(即第一旋转检测框与第二旋转检测框)记作A和B，第一旋转检测框A的表示为((x_A,y_A),(w_A,h_A),θ_A)，(x_A,y_A)为第一旋转检测框A的中心点的坐标，w_A为第一旋转检测框A的宽度，h_A为第一旋转检测框A的高度，θ_A为第一旋转检测框A的角度，其为长度为w_A的边界与x轴的夹角；第一旋转检测框B的表示为((x_B,y_B),(w_B,h_B),θ_B)，(x_B,y_B)为第二旋转检测框B的中心点的坐标，w_B为第二旋转检测框B的宽度，h_B为第二旋转检测框B的高度，θ_B为第二旋转检测框B的角度，其为长度为w_B的边界与x轴的夹角。

为了方便后续的计算，可对角度进行规范化；具体地，将角度记作θ，如果角度大于或等于180°，则将其持续减去180°，直到其值小于180°为止。如果角度小于0°，则将其持续加上180°，直到其值大于或等于0°。由于旋转检测框的中心对称性，上述操作不会对旋转检测框的实际位置产生影响；上述操作完成后，角度将限制在[0，180)的范围内，即0≤θ＜180°；如果θ≥90°，则进行如下变换：

((x,y),(w,h),θ)→((x,y),(h,w),θ–90) (3)

其中，由公式(3)可以知道变换前后表示的是同一个旋转检测框，且变换后的角度满足：0≤θ<90°。为了避免引入过多符号，可以仍然使用((x_A,y_A),(w_A,h_A),θ_A)和((x_B,y_B),(w_B,h_B),θ_B)表示对两个旋转检测框进行角度规范化后的结果。

S12：对第一旋转检测框与第二旋转检测框进行变换处理，得到与第一旋转检测框对应的第一检测框以及与第二旋转检测框对应的第二检测框。

如图2与图3所示，对第一旋转检测框A与第二旋转检测框B进行刚性变换，得到第一检测框A1和第二检测框B1，第一检测框A1的上边界与水平方向平行，第一检测框A1的左边界与竖直方向平行，即第一检测框A1为简单矩形框(简单矩形框为边界与坐标轴平行的矩形框)，其倾斜的角度为0°；具体地，将第一检测框A和第二检测框B视作整体进行平移，使得第一检测框A的中心与坐标原点相重合，再沿着原点顺时针旋转角度θ_A，得到第一检测框A1和第二检测框B1；在变换后检测框的宽高保持不变，因此w_A1＝w_A，h_A1＝h_A，w_B1＝w_B，h_B1＝h_B；为了方便描述，后面统一用不带数字的记号w_A、h_A、w_B和h_B进行表示，不再进行区分，其余参数的变换如下所示：

x_A1＝0，x_B1＝(x_B–x_A)cosθ_A+(y_B–y_A)sinθ_A (4)

y_A1＝0，y_B1＝(x_A–x_B)sinθ_A+(y_B–y_A)cosθ_A (5)

θ_A1＝0，θ_B1＝θ_B–θ_A (6)

S13：对第一旋转检测框与第二旋转检测框进行变换处理，得到与第一旋转检测框对应的第三检测框以及与第二旋转检测框对应的第四检测框。

如图2与图4所示，对第一旋转检测框A与第二旋转检测框B进行刚性变换，得到第三检测框A2和第四检测框B2，第四检测框B2的上边界与水平方向平行，第四检测框B2的左边界与竖直方向平行，即第四检测框B2为简单矩形框，其倾斜的角度为0°；具体地，将第一旋转检测框A和第二旋转检测框B视作整体进行平移，使得第二旋转检测框B的中心与坐标原点相重合，再沿着原点顺时针旋转角度θ_B，得到第三检测框A2和第四检测框B2；在变换后检测框的宽高保持不变，因此w_A2＝w_A，h_A2＝h_A，w_B2＝w_B，h_B2＝h_B；为了方便描述，后面统一用不带数字的记号w_A，h_A，w_B和h_B进行表示，不再进行区分，其余参数的变换如下所示：

x_B2＝0，x_A2＝(x_A–x_B)cosθ_B+(y_A–y_B)sinθ_B (7)

y_B2＝0，y_A2＝(x_B–x_A)sinθ_B+(y_A–y_B)cosθ_B (8)

θ_B2＝0，θ_A2＝θ_A–θ_B (9)

其中，θ_B1和θ_A2在(–90，90)的范围内，且两者互为相反数。

S14：在第二检测框或第三检测框满足预设条件时，计算第一检测框与第二检测框的交点或第三检测框与第四检测框的交点，得到交点集。

在对旋转检测框进行刚性变换后，可判断第二检测框是否满足预设条件，该预设条件可以为与第二检测框的角度相关的、用于判断第二检测框是否为旋转检测框的条件，比如：预设条件为角度为0°；如果第二检测框满足预设条件，则表明第二检测框为旋转检测框，即其角度不为0，为了计算出重叠度，可计算第一检测框与第二检测框的交点，得到交点集；例如，如图3所示，交点集包括{D1，D2}。

可以理解地，由于第二检测框与第三检测框均为可能倾斜的旋转检测框，因此还利用第三检测框来作为判断基准，即判断第三检测框是否满足预设条件；如果第三检测框满足预设条件，则表明第三检测框为旋转检测框，可计算第三检测框与第四检测框的交点，得到交点集；例如，如图4所示，交点集为{D1，D2}。

S15：获取第二检测框位于第一检测框内部的顶点以及第三检测框位于第四检测框内部的顶点，得到内部顶点集。

如图3与图4所示，由于第一检测框A1与第四检测框B2为简单矩形框，方便计算，因此可检测第二检测框B1位于第一检测框A1的内部的顶点，得到顶点E1；检测第三检测框A2位于第四检测框B2的内部的顶点，得到顶点E2与顶点E3，即内部顶点集为{E1，E2，E3}。可以理解地，还可以获取第一检测框A1位于第二检测框B1内部的顶点以及第四检测框B2位于第三检测框A2内部的顶点。

S16：基于交点集与内部顶点集，计算第一旋转检测框与第二旋转检测框的重叠度。

重叠度可以为交并比，如果获取到交点集与内部顶点集，则获取到第一旋转检测框与第二旋转检测框的相交区域的顶点的集合；例如，如图3所示，由点E1-E3与D1-D2所围成的区域即为相交区域，先采用公式(1)计算出该相交区域的面积(即相交面积)，然后带入上述公式(2)，即可得到第一旋转检测框与第二旋转检测框的重叠度。

本实施例提供了一种快速计算旋转检测框的相交面积和交并比的方法，将第一旋转检测框与第二旋转检测框作为一个整体进行刚性变换，使得在变换后其中一个检测框的角度为0°，由于该检测框为简单矩形框，可简化两个旋转检测框之间的相交面积的计算，有助于降低计算的复杂度，且能够应用于倾斜目标的检测中，以降低目标检测的计算复杂度。

请参阅图5，图5是本申请提供的检测框重叠度的生成方法另一实施例的流程示意图，该方法包括：

S501：获取第一旋转检测框与第二旋转检测框。

S501与上述实施例中S11相同，在此不再赘述。

S502：判断第一外包围矩形框与第二外包围矩形框是否存在相交区域。

第一外包围矩形框为将第一旋转检测框包围的矩形框，第二外包围矩形框为将第二旋转检测框包围的矩形框；具体地，假设旋转检测框(包括第一旋转检测框与第二旋转检测框)记作((x,y),(w,h),θ)，可采用如下公式计算旋转检测框的四个顶点的坐标：

(x0，y⁰)＝(x–0.5w*cosθ–0.5h*sinθ，y–0.5w*sinθ+0.5h*cosθ) (10)

(x¹，y¹)＝(x–0.5w*cosθ+0.5h*sinθ，y–0.5w*sinθ–0.5h*cosθ) (11)

(x²，y²)＝(x+0.5w*cosθ+0.5h*sinθ，y+0.5w*sinθ–0.5h*cosθ) (12)

(x³，y³)＝(x+0.5w*cosθ–0.5h*sinθ，y+0.5w*sinθ+0.5h*cosθ) (13)

其中，(x⁰，y⁰)为旋转检测框的第一个顶点的坐标，(x¹，y¹)为旋转检测框的第二个顶点的坐标，(x²，y²)为旋转检测框的第三个顶点的坐标，(x³，y³)为旋转检测框的第四个顶点的坐标。

进一步地，旋转检测框的顶点按照逆时针的方向排列，在0≤θ<90°时，得到其外包围矩形框的左右边界分别为：

left＝x–0.5w*cosθ–0.5h*sinθ (14)

right＝x+0.5w*cosθ+0.5h*sinθ (15)

上下边界分别为：

top＝y+0.5w*sinθ+0.5h*cosθ (16)

bottom＝y+0.5w*sinθ+0.5h*cosθ (17)

其中，在上述公式(14)-(17)中分别代入第一旋转检测框的参数和第二旋转检测框的参数，即可得到两者的外包围矩形框的顶点坐标；由于这两个外包围矩形框为简单矩形框，因此容易判断这两个外包围矩形框是否相交(即是否存在相交区域)。

可以理解地，S502是可选的，主要用于在特殊情况下提前结束计算流程，即使不执行该步骤，也不会影响后续的计算过程。

S503：若第一外包围矩形框与第二外包围矩形框不存在相交区域，则确定第一旋转检测框与第二旋转检测框不存在相交区域，重叠度为预设重叠度。

预设重叠度为0，如果第一外包围矩形框与第二外包围矩形框不存在相交区域，则表明第一外包围矩形框与第二外包围矩形的重叠度为0；由于第一旋转检测框位于第一外包围矩形框的内部，第二旋转检测框位于第二外包围矩形框的内部，因此第一旋转检测框与第二旋转检测框也不存在相交区域，它们的重叠度为0。

S504：若第一外包围矩形框与第二外包围矩形框存在相交区域，则对第一旋转检测框与第二旋转检测框进行变换处理，得到第一检测框、第二检测框、第三检测框以及第四检测框。

如果第一外包围矩形框与第二外包围矩形框存在相交区域，则表明第一旋转检测框与第二旋转检测框存在相交区域，此时可进一步分析，采用上述实施例中的方案对第一旋转检测框与第二旋转检测框进行刚性变换，得到第一检测框至第四检测框。

通过刚性变换将一个旋转检测框变成与坐标轴平行的简单矩形框，简化了另一个检测框与该简单矩形框的位置关系判断以及交点坐标的计算方法；而且，通过另一种刚性变换，互换两个检测框的角色，完成更多位置关系的判断，最终生成第一检测框至第四检测框，以便于后续计算相交面积。

S505：判断第二检测框或第三检测框是否满足预设条件。

为了判断第二检测框或第三检测框是否为简单矩形框，可以判断第二检测框的角度是否落在预设角度范围内或判断第三检测框的角度是否落在预设角度范围内。具体地，预设角度范围内为0°或者与0°较为接近的角度范围，即判断第二检测框的角度和第三检测框的角度是否为零或者与零较为接近；由于第二检测框的角度与第三检测框的角度互为相反数，因此用其中任意一个角度判断即可。如果第二检测框为简单矩形框，则可以方便地计算出第一检测框和第二检测框的相交面积。

例如，以预设角度范围为0°为例，判断第二检测框的上边界/下边界是否与水平方向平行、第二检测框的左边界/右边界是否与竖直方向平行、判断第三检测框的上边界/下边界是否与水平方向平行或第三检测框的左边界/右边界是否与竖直方向平行；若是，则确定第二检测框或第三检测框满足预设条件。

S506：在第二检测框或第三检测框满足预设条件时，计算第一检测框与第二检测框的相交区域的面积，得到相交面积。

对于边界与坐标轴平行的简单矩形框来说，交并比的计算是较为简单的，因为其相交区域也是与坐标轴平行的矩形区域，只需要分别计算相交区域在x轴方向和y轴方向的长度，即可计算出相交面积；具体地，相交面积Intersection(A，B)＝w_I*h_I，采用如下公式计算w_I与h_I：

w_I＝max(min(x_A+w_A/2，x_B+w_B/2)–max(x_A–w_A/2，x_B–w_B/2)，0) (18)

h_I＝max(min(y_A+h_A/2，y_B+h_B/2)–max(y_A–h_A/2，y_B–h_B/2)，0) (19)

其中，“min”表示计算所有输入的最小值，“max”表示计算所有输入的最大值。

S507：若第二检测框与第三检测框均不满足预设条件，则判断第一检测框与第二检测框是否存在相交区域或第三检测框与第四检测框是否存在相交区域。

判断第一检测框和第二检测框是否分离(即是否相交)、第三检测框和第四检测框是否分离，分成以下两部分：

1)由于第一检测框为简单矩形框，可方面地判断第二检测框是否全部位于第一检测框的左侧(左边界往左)、右侧(右边界往右)、上侧(上边界往上)或下侧(下边界往下)。

利用上述刚性变换的计算公式可以得到第二检测框的顶点坐标，当这四个顶点同时位于第一检测框的某侧时，表示整个第二检测框位于第一检测框的该侧。

2)由于第四检测框为简单矩形框，可以用类似的方法判断第三检测框是否位于第四检测框的左侧、右侧、上侧或下侧。

如果上述8种情况中有任意一种(或多种)发生，则说明第一旋转检测框和第二旋转检测框是不相交的，其相交面积为0；相比直接使用第一旋转检测框和第二旋转检测框的参数进行分离判断来说，基于旋转后的检测框进行分离判断的判断逻辑十分简单，能够降低计算的复杂度。

S508：若第一检测框与第二检测框存在相交区域或第三检测框与第四检测框存在相交区域，则判断第一检测框与第二检测框是否存在包含关系以及第三检测框与第四检测框是否存在包含关系。

判断第一检测框和第二检测框、第三检测框和第四检测框是否存在包含关系，分成以下两部分：

1)判断第二检测框是否位于矩形第一检测框的内部。

在获取到第二检测框的顶点坐标、第一检测框的位置和大小的情况下，容易判断出第二检测框是否位于第一检测框的内部，只需要判断第二检测框的每一个顶点是否都位于第一检测框的内部即可。

2)判断第三检测框是否位于矩形框第四检测框内部，方法与判断第二检测框是否位于矩形第一检测框的内部类似。

在一具体的实施例中，在第一检测框与第二检测框存在包含关系或第三检测框与第四检测框存在包含关系时，可判断第一检测框是否包含第二检测框；若第一检测框包含第二检测框，则第二检测框的面积为相交面积；若第二检测框包含第一检测框，则第一检测框的面积为相交面积。

由于第一旋转检测框和第二旋转检测框的位置关系与第一检测框和第二检测框的位置关系以及第三检测框和第四检测框的位置关系是保持一致的，如果第二检测框位于第一检测框的内部，则说明第二旋转检测框位于第一旋转检测框的内部，即两者的相交区域为第二旋转检测框；如果第三检测框位于第四检测框的内部，则说明第一旋转检测框位于第二旋转检测框的内部，即两者的相交区域为第一旋转检测框。相较于基于第一旋转检测框和第二旋转检测框的参数直接判断两者是否存在包含关系来说，计算的复杂度降低很多。

在排除完上述的各种特殊情况后，可以确定第一旋转检测框和第二旋转检测框的边界存在交点，下面介绍交点的计算方法以及相交区域的顶点的生成方法。

S509：若判断第一检测框与第二检测框不存在包含关系且第三检测框与第四检测框不存在包含关系，则计算第一检测框与第二检测框的交点，得到交点集。

按照逆时针的顺序对第二检测框的每条边界进行编号；对第二检测框的所有边界进行遍历，按照编号从小到大的顺序从第二检测框的所有边界中抽取出当前边界；计算当前边界与第一检测框的所有边界的交点；判断交点的数量是否为第一预设数量；若交点的数量为第一预设数量，则基于当前边界的起点，确定交点在交点集中的顺序；若交点的数量不为第一预设数量，则将交点放入交点集。具体地，第一预设数量可以为2，计算交点与当前边界的起点之间的距离；按照距离从小到大的顺序，将起点放入交点集。

在一具体的实施例中，先对第一旋转检测框和第二旋转检测框的顶点和边界进行编号，根据顶点的计算式，将四个顶点依次编号为0、1、2、3，即第k个顶点的坐标为(x^k，y^k)，且编号4与编号0表示同一个点。同样地，将四条边编号为0、1、2、3，第k条边界连接编号为k和k+1的两个顶点，顶点k为这条边界的起点，顶点k+1为这条边界的终点。按照编号顺序，顶点和边界都是按逆时针排列的。

由于第一检测框和第二检测框、第三检测框和第四检测框是由第一旋转检测框和第二旋转检测框通过刚性变换得到的，其顶点和边界存在严格的一一对应关系，即第一旋转检测框与第一检测框以及第三检测框上编号为k的顶点是由同一个顶点经过平移和旋转得到的，因此边界的交点也是一一对应的，比如：第一旋转检测框的边界1和第二旋转检测框的边界2有一个交点，那么第一检测框的边界1和第二检测框的边界2也有一个交点，第三检测框的边界1和第四检测框的边界2也有一个交点；如果第一旋转检测框的顶点3位于第二旋转检测框的内部，那么第一检测框的顶点3也位于第二检测框的内部，第三检测框的顶点3也位于第四检测框的内部。

基于上述编号信息，计算第一检测框和第二检测框的边界的交点，当然使用第三检测框和第四检测框进行计算的效果是一样的。

第一检测框的四条边的方程如下所示：

x＝–w_A/2，y＝–h_A/2，x＝w_A/2，y＝h_A/2 (20)

由于简单矩形框的情形已经排除，因此第二检测框不为简单矩形框，所以其边界不与坐标轴相平行，其方程可以用斜率来表示，四条边界的斜率为：

s⁰＝s²＝–cosθ_B1/sinθ_B1，s¹＝s³＝sinθ_B1/cosθ_B1 (21)

因此，第二检测框的四条边界的方程为：

y＝y^k _B1+s^k(x–x^k _B1)，x＝x^k _B1+(1/s^k)(y–y^k _B1) (22)

其中，k∈{0，1，2，3}，(x^k _B1，y^k _B1)为第二检测框的四个顶点的坐标。

由于第一检测框的边界与坐标轴平行，第二检测框的边界已经用斜率方程表示，因此可以方便地判断第一检测框的任意一条边界与第二检测框的任意一条边界是否相交，并利用坐标代入法计算得到交点的坐标。可以理解地，两条边界之间最多只有一个交点，并且一条边界与另一个检测框的边界最多存在两个交点。

按顺序遍历第二检测框的每一条边界e^k，计算边界e^k与第一检测框的边界的交点，如果有两个交点，则将离e^k的起点较近的交点排在前面，同时记录每个交点对应的两条边分别在第一检测框和第二检测框中的编号。在遍历完第二检测框的边界后，将得到m个交点(m≥2)，并且其在第二检测框的边界上沿着逆时针方向排列，同时得到交点i对应的第一检测框的边界的编号p_i和第二检测框的边界的编号q_i。

S510：获取第二检测框位于第一检测框内部的顶点以及第三检测框位于第四检测框内部的顶点，得到内部顶点集。

获取内部顶点的过程同样分为两部分，第一部分是判断第二检测框位于第一检测框的内部的顶点，第二部分是判断第三检测框位于第四检测框的内部的顶点；由于第一检测框和第四检测框都是简单矩形框，因此容易获取内部顶点；在完成内部顶点的判断后，得到8个状态，即第一旋转检测框(第一检测框/第三检测框)的每一个顶点是否位于第二旋转检测框(第二检测框/第四检测框)的内部以及第二旋转检测框(第二检测框/第四检测框)的每一个顶点是否位于第一旋转检测框(第一检测框/第三检测框)的内部。

S511：判断内部顶点集中内部顶点的数量是否为第二预设数量。

S512：若内部顶点集中内部顶点的数量为第二预设数量，则基于交点集，计算重叠度。

第二预设数量为0，即当内部顶点集中内部顶点的数量为0时，表明交点组成的多边形就是相交区域，此时可利用交点集中交点的位置信息，计算第一检测框与第二检测框的相交区域的面积，得到相交面积；然后基于相交面积，计算重叠度。例如，如图6所示，第一检测框K1与第二检测框K2的相交区域的顶点分别为H1-H4，利用上述公式(1)即可计算出相交面积。

进一步地，先计算第一检测框的面积与第二检测框的面积之和，得到第一数值；然后计算第一数值与相交面积的差值，得到第二数值；然后计算相交面积与第二数值的比值，得到重叠度，即采用上述公式(2)计算重叠度。

S513：若内部顶点集中内部顶点的数量不为第二预设数量，则基于交点的位置信息与顶点的位置信息，对所有交点与所有内部顶点进行排序，得到重叠集。

对交点和内部顶点进行排序，得到最终的相交区域顶点(即重叠集中的顶点)，如果内部顶点集中内部顶点个数不为零，则先将重叠集设置为空，然后执行以下步骤：

(1)对交点集进行遍历，按照交点集中交点的序号从小到大的顺序从交点集中抽取出当前交点。

(2)将当前交点放入重叠集中。

(3)基于当前交点对应的第一检测框，对内部顶点进行排序。

获取第一检测框中与当前交点对应的边界(即边界编号为p_i的边界)，并判断边界的终点(即编号为mod(p_i+1，4)的顶点)是否为内部顶点，“mod”为求余函数；若边界的终点为内部顶点，则将终点记作第一待处理点，并将第一待处理点放入重叠集中当前交点的后面；判断第一待处理点的下一个顶点是否为内部顶点；若第一待处理点的下一个顶点为内部顶点，则将下一个顶点放入重叠集中第一待处理点的后面，并将下一个顶点作为第一待处理点，返回第一待处理点的下一个顶点是否为内部顶点的步骤，直至下一个顶点不为内部顶点。

(4)基于当前交点对应的第二检测框，对内部顶点进行排序。

获取第二检测框中与当前交点对应的边界(即边界编号为q_i的边界)，并判断边界的终点(即编号为mod(q_i+1，4)的顶点)是否为内部顶点；若边界的终点为内部顶点，则将终点记作第二待处理点，并将第二待处理点放入重叠集中当前交点的后面；判断第二待处理点的下一个顶点是否为内部顶点；若第二待处理点的下一个顶点为内部顶点，则将下一个顶点放入重叠集中第一待处理点的后面，并将下一个顶点作为第二待处理点，返回第二待处理点的下一个顶点是否为内部顶点的步骤，直至下一个顶点不为内部顶点。

可以理解地，上述过程中的步骤(3)-步骤(4)最多只有一个条件能够成立，且添加顺序保证了相交区域的顶点是按照逆时针方向排列的。

在处理完所有交点后，即完成了相交区域所有顶点的排序工作，得到一个重叠集，该重叠集包括交点集中的所有交点以及内部顶点集中的所有内部顶点；交点集包括至少两个交点的位置信息，内部顶点集包括至少一个内部顶点的位置信息。本实施例通过标记交点和边界的对应关系，能够快速将相交区域的顶点按特定顺序排列。

例如，如图3所示，交点集为{D1，D2}，内部顶点集为{E1，E2，E3}；先将交点D1放入交叠集，此时交叠集为{D1}；交点D1在第一检测框A1的边界e⁰上，即p_i＝0，判断第一检测框A1的边界e⁰的终点(即顶点Q1)是否为内部顶点，由于顶点Q1不是内部顶点，因此，结束判断，执行上述步骤(4)；交点D2在第二检测框B1的边界e⁰上，即q_i＝0，判断第二检测框B1的边界e⁰的终点(即顶点E1)是否为内部顶点，由于顶点E1是内部顶点，因此将顶点E1放入交叠集，交叠集为{D1，E1}；然后判断顶点E1的下一个顶点(即顶点Q2)是否为内部顶点，由于顶点Q2不是内部顶点，因此结束当前判断，对交点集中的下一个交点进行处理。

将交点D2放入交叠集，此时交叠集为{D1，E1，D2}；交点D2在第一检测框A1的边界e²上，即p_i＝2，判断第一检测框A1的边界e²的终点(即顶点E3)是否为内部顶点，由于顶点E3是内部顶点，因此将顶点E3放入交叠集，此时交叠集为{D1，E1，D2，E3}；判断顶点E3的下一个顶点(即顶点E2)是否为内部顶点，由于顶点E2是内部顶点，因此将顶点E2放入交叠集，此时交叠集为{D1，E1，D2，E3，E2}；判断顶点E2的下一个顶点(即顶点Q1)是否为内部顶点，由于顶点Q1不是内部顶点，因此，结束判断；而且由于已经遍历完整个交点集，因此，整个排序流程完结，生成的交叠集为{D1，E1，D2，E3，E2}。

S514：基于重叠集中交点的位置信息与重叠集中内部顶点的位置信息，计算出重叠度。

在获取到重叠集后，可采用上述公式(1)计算出相交区域的面积；例如，如图3所示，通过将D1、E2、E3、D2、E1的坐标带入公式(1)，便可得到第一检测框A1与第二检测框B1的相交面积。

在其他实施例中，在计算得到第一检测框和第二检测框的相交区域的顶点坐标后，通过刚性变换的逆变换，可以得到第一旋转检测框和第二旋转检测框的相交区域的坐标；具体地，刚性变换的逆过程为先将图形沿着原点逆时针旋转角度θ_A，再将原点位置平移到(x_A，y_A)的坐标上，具体公式为：

x＝x₁cosθ_A–y₁sinθ_A+x_A (23)

y＝x₁sinθ_A+y₁cosθ_A+y_A (24)

其中，(x₁，y₁)是第一检测框和第二检测框的相交区域的顶点坐标，(x，y)是第一旋转检测框和第二旋转检测框的相交区域的顶点坐标。

通过计算第一检测框和第二检测框的相交区域的顶点坐标，并通过刚性变换的逆变换，得到第一旋转检测框和第二旋转检测框的相交区域的顶点坐标，实现了计算第一旋转检测框和第二旋转检测框的相交区域的顶点坐标。

本实施例提出了一种计算旋转检测框的相交面积和交并比的方法，采用了刚性变换(旋转与平移)，通过记录交点与边界的对应关系，很方便地将相交区域的顶点按顺序(即逆时针方向)排列；通过刚性变换的逆变换，可以快速计算得到两个检测框的相交区域的顶点坐标；通过将一个旋转检测框转换与坐标轴平行的简单矩形框的方式，简化了与另一个旋转检测框的位置关系的判断逻辑和边界交点坐标计算方式，提高了计算速度，而且能够精度地计算出相交面积，而非近似计算；此外，如果判断到特殊的位置关系(分离或包含)，则可以直接得到相交部分的面积(0或内部矩形的面积)以及相交区域的顶点(空集或内部矩形的顶点)，无需进行边界相交点的计算，能够进一步简化计算。

请参阅图7，图7是本申请提供的目标检测方法一实施例的流程示意图，该方法包括：

S71：对待检测图像进行目标检测处理，得到多个检测框。

可从图像数据库中获取待检测图像，或者利用摄像机进行实时拍摄，生成待检测图像；然后采用相关技术中的目标检测方法对待检测图像进行处理，生成多个检测框。

S72：计算检测框与另一检测框之间的重叠度。

对于获取到的检测框来说，采用上述实施例中的检测框重叠度的生成方法计算该检测框与另一检测框之间的重叠度。

S73：基于重叠度，从所有检测框中选出目标检测框。

在获取到重叠度之后，采用NMS算法基于检测框之间的重叠度，从所有检测框中筛选出目标检测框，NMS算法的具体实现过程与相关技术中相同，在此不再赘述。

本实施例所提供的目标检测方法利用刚性变换的面积不变性，将两个旋转检测框通过相同参数的刚性变换，生成两个新的旋转检测框(即第二检测框与第三检测框)与两个简单矩形框(即第一检测框与第四检测框)；能够简化相交面积的计算，降低计算旋转检测框的交并比的复杂度，且计算精度较高，有助于提升目标检测的精度，且降低目标检测的复杂度。

请参阅图8，图8是本申请提供的目标检测装置一实施例的结构示意图，目标检测装置80包括互相连接的存储器81和处理器82，存储器81用于存储计算机程序，计算机程序在被处理器82执行时，用于实现上述实施例中的检测框重叠度的生成方法。

请参阅图9，图9是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质90用于存储计算机程序91，计算机程序91在被处理器执行时，用于实现上述实施例中的检测框重叠度的生成方法。

计算机可读存储介质90可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (16)

1.一种检测框重叠度的生成方法，其特征在于，包括：

获取第一旋转检测框与第二旋转检测框；

对所述第一旋转检测框与所述第二旋转检测框进行变换处理，得到与所述第一旋转检测框对应的第一检测框以及与所述第二旋转检测框对应的第二检测框，所述第一检测框的上边界与水平方向平行，所述第一检测框的左边界与竖直方向平行；

对所述第一旋转检测框与所述第二旋转检测框进行变换处理，得到与所述第一旋转检测框对应的第三检测框以及与所述第二旋转检测框对应的第四检测框，所述第四检测框的上边界与所述水平方向平行，所述第四检测框的左边界与所述竖直方向平行；

在所述第二检测框或所述第三检测框满足预设条件时，计算所述第一检测框与所述第二检测框的交点或所述第三检测框与所述第四检测框的交点，得到交点集；

获取所述第二检测框位于所述第一检测框内部的顶点以及所述第三检测框位于所述第四检测框内部的顶点，得到内部顶点集；

基于所述交点集与所述内部顶点集，计算所述第一旋转检测框与所述第二旋转检测框的重叠度。

2.根据权利要求1所述的检测框重叠度的生成方法，其特征在于，所述交点集包括至少两个交点的位置信息，所述内部顶点集包括至少一个内部顶点的位置信息，所述基于所述交点集与所述内部顶点集，计算所述第一旋转检测框与所述第二旋转检测框的重叠度的步骤，包括：

基于所述交点的位置信息与所述顶点的位置信息，对所有所述交点与所有所述内部顶点进行排序，得到重叠集，所述重叠集包括所述交点集中的所有交点以及所述内部顶点集中的所有内部顶点；

基于所述重叠集中交点的位置信息与所述重叠集中内部顶点的位置信息，计算出所述重叠度。

3.根据权利要求2所述的检测框重叠度的生成方法，其特征在于，所述基于所述交点的位置信息与所述顶点的位置信息，对所有所述交点与所有所述内部顶点进行排序，得到重叠集的步骤，包括：

对所述交点集进行遍历，按照所述交点集中交点的序号从小到大的顺序从所述交点集中抽取出当前交点；

将所述当前交点放入重叠集中；

基于所述当前交点对应的第一检测框，对所述内部顶点进行排序；

基于所述当前交点对应的第二检测框，对所述内部顶点进行排序。

4.根据权利要求3所述的检测框重叠度的生成方法，其特征在于，所述基于所述当前交点对应的第一检测框，对所述内部顶点进行排序的步骤，包括：

获取所述第一检测框中与当前交点对应的边界，并判断所述边界的终点是否为所述内部顶点；

若所述边界的终点为所述内部顶点，则将所述终点记作第一待处理点，并将所述第一待处理点放入所述重叠集中所述当前交点的后面；

判断所述第一待处理点的下一个顶点是否为所述内部顶点；

若所述第一待处理点的下一个顶点为所述内部顶点，则将所述下一个顶点放入所述重叠集中所述第一待处理点的后面，并将所述下一个顶点作为所述第一待处理点，返回所述第一待处理点的下一个顶点是否为所述内部顶点的步骤，直至所述下一个顶点不为所述内部顶点；

所述基于所述当前交点对应的第二检测框，对所述内部顶点进行排序的步骤，包括：

获取所述第二检测框中与当前交点对应的边界，并判断所述边界的终点是否为所述内部顶点；

若所述边界的终点为所述内部顶点，则将所述终点记作第二待处理点，并将所述第二待处理点放入所述重叠集中所述当前交点的后面；

判断所述第二待处理点的下一个顶点是否为所述内部顶点；

若所述第二待处理点的下一个顶点为所述内部顶点，则将所述下一个顶点放入所述重叠集中所述第一待处理点的后面，并将所述下一个顶点作为所述第二待处理点，返回所述第二待处理点的下一个顶点是否为所述内部顶点的步骤，直至所述下一个顶点不为所述内部顶点。

5.根据权利要求1所述的检测框重叠度的生成方法，其特征在于，所述方法还包括：

判断所述第二检测框或所述第三检测框是否满足所述预设条件；

若所述第二检测框与所述第三检测框均不满足所述预设条件，则判断所述第一检测框与所述第二检测框是否存在相交区域或所述第三检测框与所述第四检测框是否存在相交区域；

若所述第一检测框与所述第二检测框存在相交区域或所述第三检测框与所述第四检测框存在相交区域，则判断所述第一检测框与所述第二检测框是否存在包含关系以及所述第三检测框与所述第四检测框是否存在包含关系；

若判断所述第一检测框与所述第二检测框不存在包含关系且所述第三检测框与所述第四检测框不存在包含关系，则计算所述第一检测框与所述第二检测框的交点，得到所述交点集。

6.根据权利要求5所述的检测框重叠度的生成方法，其特征在于，所述计算所述第一检测框与所述第二检测框的交点，得到所述交点集的步骤，包括：

按照逆时针的顺序对所述第二检测框的每条边界进行编号；

对所述第二检测框的所有边界进行遍历，按照编号从小到大的顺序从所述第二检测框的所有边界中抽取出当前边界；

计算所述当前边界与所述第一检测框的所有边界的交点；

判断所述交点的数量是否为第一预设数量；

若是，则基于所述当前边界的起点，确定所述交点在所述交点集中的顺序；

若否，则将所述交点放入所述交点集。

7.根据权利要求6所述的检测框重叠度的生成方法，其特征在于，所述基于所述当前边界的起点，确定所述交点在所述交点集中的顺序的步骤，包括：

计算所述交点与所述当前边界的起点之间的距离；

按照距离从小到大的顺序，将所述起点放入所述交点集。

8.根据权利要求5所述的检测框重叠度的生成方法，其特征在于，所述方法还包括：

判断所述内部顶点集中内部顶点的数量是否为第二预设数量；

若是，则基于所述交点集，计算所述重叠度；

若否，则基于所述交点集与所述内部顶点集，计算所述第一旋转检测框与所述第二旋转检测框的重叠度。

9.根据权利要求8所述的检测框重叠度的生成方法，其特征在于，所述基于所述交点集，计算所述重叠度的步骤，包括：

利用所述交点集中交点的位置信息，计算所述第一检测框与所述第二检测框的相交区域的面积，得到相交面积；

基于所述相交面积，计算所述重叠度。

10.根据权利要求5所述的检测框重叠度的生成方法，其特征在于，所述判断所述第二检测框或所述第三检测框是否满足所述预设条件的步骤，包括：

判断所述第二检测框的角度是否落在预设角度范围内；若是，则确定所述第二检测框满足所述预设条件；或者

判断所述第三检测框的角度是否落在所述预设角度范围内；若是，则确定所述第三检测框满足所述预设条件。

11.根据权利要求5所述的检测框重叠度的生成方法，其特征在于，所述方法还包括：

在所述第一检测框与所述第二检测框存在包含关系或所述第三检测框与所述第四检测框存在包含关系时，判断所述第一检测框是否包含所述第二检测框；

若是，则所述第二检测框的面积为相交面积；

若否，则所述第一检测框的面积为所述相交面积。

12.根据权利要求1所述的检测框重叠度的生成方法，其特征在于，所述方法还包括：

在所述第二检测框或所述第三检测框满足所述预设条件时，计算所述第一检测框与所述第二检测框的相交区域的面积，得到相交面积。

13.根据权利要求1所述的检测框重叠度的生成方法，其特征在于，所述对所述第一旋转检测框与所述第二旋转检测框进行变换处理的步骤之前，包括：

判断第一外包围矩形框与第二外包围矩形框是否存在相交区域，所述第一外包围矩形框为将所述第一旋转检测框包围的矩形框，所述第二外包围矩形框为将所述第二旋转检测框包围的矩形框；

若是，则对所述第一旋转检测框与所述第二旋转检测框进行变换处理；

若否，则确定所述第一旋转检测框与所述第二旋转检测框不存在相交区域，所述重叠度为预设重叠度。

14.一种目标检测方法，其特征在于，包括：

对待检测图像进行目标检测处理，得到多个检测框；

计算所述检测框与另一检测框之间的重叠度；

基于所述重叠度，从所有所述检测框中选出目标检测框；

其中，计算所述检测框与另一检测框之间的重叠度的方法为权利要求1-13中任一项所述的检测框重叠度的生成方法。

15.一种目标检测装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-13中任一项所述的检测框重叠度的生成方法或权利要求14所述的目标检测方法。

16.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-13中任一项所述的检测框重叠度的生成方法或权利要求14所述的目标检测方法。

Images