CN110348460A - 一种基于角度的目标检测训练方法、目标检测方法及装置 - Google Patents

Abstract

本发明的方面涉及图像处理领域，提供一种基于角度的目标检测训练方法、目标检测方法及装置。基于角度的目标检测训练方法，其中，包括：获取图像步骤，获取训练图像；获取预测框步骤，根据获取的训练图像，通过神经网络获取预测框；获取标记点步骤，获取标注框的第一顶点、与第一顶点位置对应的预测框的第二顶点、以及标注框中的第三点；获取损失步骤，基于目标损失得到损失，其中，目标损失包括角度损失，角度损失基于第一顶点和第三点的连线与第二顶点和第三点的连线之间的夹角进行获取；优化步骤，基于目标损失训练神经网络。通过引入角度损失函数对目标检测过程进行约束，用于增强标注框与预测框之间重叠度的约束力，从而提升目标检测的精度。

Description

一种基于角度的目标检测训练方法、目标检测方法及装置

技术领域

本发明一般地涉及图像处理领域，特别是涉及一种基于角度的目标检测训练方法、目标检测方法及装置。

背景技术

目标检测是计算机视觉领域出现的一个重要的研究方向，如何提高目标检测器的性能一直是众多研究者想要突破的课题。目前目标检测常用的目标损失和分类损失分别是平滑化曼哈顿距离损失函数(SmoothL1)和归一化指数函数(Softmax)，其中的SmoothL1度量的是预测框与标注框之间的距离。但在实际应用中，SmoothL1损失函数不能充分表现预测框与标注框之间强关联性，通常会出现经过距离损失函数所检测出的预测框与标注框之间的距离相同，但是IoU不同，预测框与标注框之间距离的局部最优值不一定是IoU的局部最优值的现象。如图1、图2和图3所示，经过SmoothL1的计算，图1至图3中，预测框2与标注框1之间的L1距离均相同，但IoU均不相同。

然而人们评判目标检测器的性能时更加关注预测框与标注框之间的重叠度，而不是预测框与标注框之间的距离。而如果以IoU作为损失函数，不能区分预测框和标注框在不同对齐方向上的差异，同时当预测框与标注框不重叠时，会出现梯度为0的现象，导致网络无法优化，同时也无法度量预测框与标注框之间的距离。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种基于角度的目标检测训练方法、目标检测方法及装置。

第一方面，本发明实施例提供一种基于角度的目标检测训练方法，其中，包括：获取图像步骤，获取训练图像，其中，训练图像包括训练目标的标注框的信息；获取预测框步骤，根据获取的训练图像，通过神经网络获取预测框；获取标记点步骤，基于标注框和预测框，获取标注框的第一顶点、与第一顶点位置对应的预测框的第二顶点、以及标注框中的第三点，其中，第一顶点与第二顶点分别为标注框和预测框相同方位的顶点，第三点为标注框的除第一顶点之外的任意一点；获取损失步骤，基于目标损失函数得到目标损失，其中，目标损失包括角度损失，角度损失基于第一顶点和第三点的连线与第二顶点和第三点的连线之间的夹角进行获取；优化步骤，基于目标损失调整神经网络的参数，训练神经网络。

在一实施例中，获取损失步骤包括，角度损失通过角度损失函数得到，角度损失函数公式为：angle(θ)＝1/(cos(θ/2)+β)，或angle(θ)＝1/(cos(α^θ/2)+β)，其中，θ为夹角，α和β为正数。

在一实施例中，目标损失还包括通过平滑化曼哈顿距离损失函数得到。

在一实施例中，其中，目标损失函数包括角度损失函数和平滑化曼哈顿距离损失函数，目标损失函数公式为：L＝a₁angle(θ)+a₂SmoothL1(t,t^*)，或L＝angle(θ)×SmoothL1(t,t^*)，其中，a₁和a₂为权重系数，t和t^*为预测框和标注框的坐标。

在一实施例中，第三点为标注框的中心点。

第二方面，本发明实施例提供一种目标检测方法，其中，包括：获取图像步骤，获取需要检测的图像；目标检测步骤，基于神经网络进行目标检测，神经网络通过基于角度的目标检测训练方法训练得到。

第三方面，本发明实施例提供一种基于角度的目标检测训练装置，其中，包括：获取图像模块，用于获取训练图像，其中，训练图像包括训练目标的标注框的信息；获取预测框模块，用于根据获取的训练图像，通过神经网络获取预测框；获取标记点模块，用于根据标注框和预测框，获取标注框的第一顶点、与第一顶点位置对应的预测框的第二顶点、以及标注框中的第三点，其中，第一顶点与第二顶点分别为标注框和预测框相同方位的顶点，第三点为标注框的除第一顶点之外的任意一点；获取损失模块，用于通过目标损失函数得到目标损失，其中，目标损失包括角度损失，角度损失基于第一顶点和第三点的连线与第二顶点和第三点的连线之间的夹角进行获取；优化模块，基于目标损失调整神经网络的参数，用于训练神经网络。

第四方面，本发明实施例提供一种目标检测装置，其中，包括：获取检测图像模块，用于获取需要检测的图像；目标检测模块，用于基于神经网络进行目标检测，神经网络通过基于角度的目标检测训练方法训练得到。

第五方面，本发明实施例提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行基于角度的目标检测训练方法或目标检测方法。

第六方面，本发明实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行基于角度的目标检测训练方法或目标检测方法。

本发明提供的一种基于角度的目标检测训练方法、目标检测方法及装置，通过引入角度损失函数对目标检测的过程进行约束，用于增强标注框与预测框之间重叠度的约束力，从而提升目标检测的精度，提高目标检测的准确率。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了一种平滑化曼哈顿距离损失函数表征重叠度的示意图；

图2示出了另一种平滑化曼哈顿距离损失函数表征重叠度的示意图；

图3示出了又一种平滑化曼哈顿距离损失函数表征重叠度的示意图；

图4示出了本发明实施例提供的一种基于角度的目标检测训练方法示意图；

图5示出了本发明实施例提供的一种获取角度的示例性示意图；

图6示出了本发明实施例提供的一种基于角度的目标检测训练装置示意图；

图7示出了本发明实施例提供的一种电子设备示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

图4为基于角度的目标检测训练方法10的一个实施例的流程示意图。如图4所示，该实施例方法包括：获取图像步骤110、获取预测框步骤120、获取标志点步骤130、获取损失步骤140、训练步骤150。下面对图4中的各个步骤进行详细说明。

获取图像步骤110，获取训练图像，训练图像包括训练目标的标注框的信息。

在本实施例中，获取待进行目标检测的训练图像，在放入神经网络进行训练前，预先对待进行识别的训练目标的标注框信息进行获取，获取的标注框的信息包括训练目标在训练图像的具体位置和坐标，用于获取待检测训练目标在图像中真实位置。图像可以是任何合适的、需要进行目标检测的图像。图像可通过图像采集设备进行获取，如：手机摄像头、电脑摄像头，也可通过本地数据库或者云端进行调取。

获取预测框步骤120，根据获取的训练图像，通过神经网络获取预测框。

在本实施例中，将获取的训练图像，通过神经网络对物体检测，获得预测框，用于与获取的标注框进行对比，检验神经网络对目标检测的准确度。

获取标记点步骤130，基于标注框和预测框，获取标注框的第一顶点、与第一顶点位置对应的预测框的第二顶点、以及标注框中的第三点，其中，第一顶点与第二顶点分别为标注框和预测框相同方位的顶点，第三点为标注框的除第一顶点之外的任意一点。

在本实施例中，通过标注框的信息和神经网络检测出预测框的关键点和关键点坐标，例如：标注框边框顶点、标注框中任意两个顶点中间边线的任意一点，便可获得标注框和预测框在图像中的位置及面积大小，例如：通过标注框左上角顶点的坐标(x₁,y₁)和右下角顶点的坐标(x₂,y₂)，便可以计算出标注框的长和宽，从而获得标注框的面积大小。通过标注框的信息和检测得到的关键点获取标记点，获取标注框的四个顶点中任意一个顶点作为第一顶点，选择预测框的四个顶点中与标注框的第一顶点位置对应的顶点作为第二顶点，例如：选取标注框的左上角顶点作为第一顶点，则对应的选取预测框的左上角顶点作为第二顶点；选择标注框的除第一顶点之外的任意一点作为第三点，例如：标注框的中心点、标注框除第一顶点之外的其余顶点。通过获取标记点，有利于后续通过标注框与预测框的角度关系对神经网络进行约束，使目标检测的训练更精准。

获取损失步骤140，基于目标损失函数得到目标损失，其中，目标损失包括角度损失，角度损失基于第一顶点和第三点的连线与第二顶点和第三点的连线之间的夹角进行获取。

在本实施例中，通过目标损失函数获取的损失结果，采用距离损失函数，例如：SmoothL1、L1损失函数、L2损失函数，和角度损失函数共同对目标检测神经网络进行约束，其中，角度损失函数中的角度参数，是由第一顶点和第三点的连线与第二顶点和第三点的连线之间的夹角进行获取。例如：如图5所示，获取的第一顶点为标注框右上角顶点A、第二顶点为预测框右上角顶点B，第三点为标注框中心点C，获取的角度就是射线与射线之间的夹角θ。再例如：获取的第一顶点为标注框右上角顶点A、第二顶点为预测框右上角顶点B，第三点为标注框左上角顶点F，获取的角度就是射线与射线之间的夹角θ。通过预设面积差阈值，使检测出的预测框与实际标注的标注框面积大小的差值属于面积差阈值内，筛选掉错误预测框，避免标注框与预测框的面积相差悬殊，例如：预测框的面积大小近似于标注框的面积大小的1/5，或者预测框的面积大小大于标注框的面积大小，影响神经网络训练结果。获取的损失结果用于后续调整优化神经网络的训练。

优化步骤150，基于目标损失调整神经网络的参数，训练神经网络。

在本实施例中，通过得到的损失结果，对神经网络的参数进行修改，调整神经网络生成的预测框与标注框之间的重叠度，使夹角θ的角度逐渐趋近于零，从而提高神经网络生成预测框的精准度。在一例中，将第一次生成预测框的第二顶点与标注框第一顶点之间的直线距离作为半径，以第一顶点做为圆心画圆，通过每次得到的损失结果，对神经网络的参数进行调整，使每次生成的预测框的第二顶逐渐向第三点与标注框第一顶点的连线靠近，最优结果是，第二顶点在第三点与第一顶点的连线在圆内的直径上。例如：如图5所示，A为标注框1的第一顶点，B为第一次生成预测框2的第二顶点，以A点为圆心，以线段AB之间的距离为半径画圆，C为标注框中的任意一点，线段DE为射线在圆中的直径部分。基于每次获得的损失结果调整神经网络参数，使射线逐渐趋近于射线夹角θ趋近于零，第二顶点B所处于的位置逐渐向线段DE靠近。

在本实施例中，通过角度损失函数和距离函数共同对神经网络进行约束，训练调整神经网络，使对生成预测框参数的调整都具有针对性，能够更好的对标注框与预测框之间的重叠区域进行约束，减少重复工作和获取重复数据，在提高训练神经网络的工作效率同时，还提高目标检测的准确率。

在一实施例中，获取损失步骤140包括，角度损失通过角度损失函数得到，角度损失函数公式为：angle(θ)＝1/(cos(θ/2)+β)，或angle(θ)＝1/(cos(α^θ/2)+β)，其中，θ为夹角，α和β为正数。角度损失是由角度损失函数进行获取。由图5所示，夹角θ的取值范围在0到π之间，余弦函数能够体现出损失函数的变化趋势，余弦函数在0到π之间的取值为(-1,1)且在(π/2,0)点处呈中心对称的图形，为了保证得到的角度损失为正数，不影响整体神经网络训练，则采用angle(θ)＝1/(cos(θ2)+β)作为角度损失函数，用于获取角度损失。当夹角θ的取值为0或π时，余弦值为零，会导致角度损失在训练的过程中崩溃，无法进行约束，在函数分母处添加一正数用于控制角度损失函数。避免β对角度损失的影响，通常采用(0,1)区间的常数，例如：β取值为0.1。在一例中，当夹角θ始终处于0到π/6之间时，角度损失函数angle(θ)的变化范围小，不利于对神经网络进行优化。为了便于清晰的观察角度损失变化，将夹角θ映射到其他角度区间，扩大θ的变化范围，采用余弦函数与幂指数函数相结合的形式来代替原来的余弦函数，使角度损失函数的变化趋势不变，即：angle(θ)＝1/(cos(α^θ/2)+β)，α＞0且α≠1，例如：第三点为标注框的中心点，通过angle(θ)＝1/(cos(θ/2)+β)，角度损失函数变化不明显，将夹角θ映射到0到π/2之间，扩大夹角θ变化范围的同时角度损失函数angle(θ)变化趋势不变，则α取值为(1+π/2)^6/π，与原角度损失函数angle(θ)变化趋势保持一致。

在一实施例中，目标损失还包括距离损失，距离损失通过平滑化曼哈顿距离损失函数得到。SmoothL1函数收敛快且对离群点或者异常数据不敏感，在训练神经网络的过程中，不容易造成神经网络崩溃的现象。因此使用SmoothL1函数和角度损失函数对神经网络进行距离和角度的双重约束，有利于训练神经网络的结果更准确。

在又一实施例中，目标损失函数包括角度损失函数和平滑化曼哈顿距离损失函数，目标损失函数公式为：L＝a1angle(θ)+a₂SmoothL1(t,t^*)，或L＝angle(θ)×SmoothL1(t,t^*)，其中，a₁和a₂为权重系数，t和t^*为预测框和标注框的坐标。在一例中，将SmoothL1函数与角度损失函数angle(θ)通过分权的形式进行组合使用，例如：L＝a₁angle(θ)+a₂SmoothL1(t,t^*)，其中，a₁和a₂为权重系数，可以是任意正数，但为了避免因为权重系数过大，导致对损失结果产生严重影响，通常采取(0,10)区间内的任意正数作为权重系数，a₁和a₂的数值接近，也可以相同；t和t^*为预测框和标注框的坐标。通过分权组合，可以在训练的过程中对参数分开进行调整，使训练的数据更丰富，得到的结果更具有说服力。在另一例中，将SmoothL1函数与角度损失函数angle(θ)通过相乘的方式结合在一起，例如：L＝angle(θ)×SmoothL1(t,t^*)，其中，t和t^*为预测框和标注框的坐标。通过将SmoothL1函数与角度损失函数angle(θ)之间的参数相互影响，共同约束神经网络，使预测框与标注框的重合度更高，训练结果更精准。

在一实施例中，第三点为标注框的中心点。使射线所在的直线为标注框的对角线，有利于在训练的过程中，生成的预测框面积大小与标注框面积大小更接近，且标注框与预测框的重合度更高。

在一实施例中，一种目标检测方法，其中，包括：获取图像步骤，获取需要检测的图像；目标检测步骤，基于神经网络进行目标检测，神经网络通过基于角度的目标检测训练方法训练得到。将经过角度损失函数和距离损失函数共同训练后的神经网络，对需要检测的图像进行检测，生成标注物体位置的边界框与图像中物体真实的位置更准确。

图6为为基于角度的目标检测训练装置20的一个实施例的装置示意图。如图6所示，该基于角度的目标检测训练装置包括：获取图像模块210，用于获取训练图像，其中，训练图像包括训练目标的标注框的信息；获取预测框模块220，用于根据获取的训练图像，通过神经网络获取预测框；获取标记点模块230，用于根据标注框和预测框，获取标注框的第一顶点、与第一顶点位置对应的预测框的第二顶点、以及标注框中的第三点，其中，第一顶点与第二顶点为标注框和预测框相同方位的顶点，第三点为标注框的任意一点；获取损失模块240，用于基于目标损失函数得到目标损失，其中，目标损失包括角度损失，角度损失基于第一顶点和第三点的连线与第二顶点和第三点的连线之间的夹角进行获取；优化模块250，基于目标损失调整神经网络的参数，用于训练神经网络。

在一实施例中，一种目标检测装置，其中，包括：获取检测图像模块，用于获取需要检测的图像；目标检测模块，用于基于神经网络进行目标检测，神经网络通过基于角度的目标检测训练方法训练得到。

装置中的各个模块所实现的功能与上文描述的方法中的步骤相对应，其具体实现和技术效果请参见上文对于方法步骤的描述，在此不再赘述。

如图7所示，本发明的一个实施方式提供了一种电子设备30。其中，该电子设备30包括存储器310、处理器320、输入/输出(Input/Output，I/O)接口330。其中，存储器310，用于存储指令。处理器320，用于调用存储器310存储的指令执行本发明实施例的用于基于角度的目标检测训练方法或目标检测方法。其中，处理器320分别与存储器310、I/O接口330连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器310可用于存储程序和数据，包括本发明实施例中涉及的用于基于角度的目标检测训练或目标检测的程序，处理器320通过运行存储在存储器310的程序从而执行电子设备30的各种功能应用以及数据处理。

本发明实施例中处理器320可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器320可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本发明实施例中的存储器310可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本发明实施例中，I/O接口330可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备30的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中I/O接口330可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

在一些实施方式中，本发明提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文所述的任何方法。

尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本发明的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (10)

1.一种基于角度的目标检测训练方法，其中，包括：

获取图像步骤，获取训练图像，其中，所述训练图像包括训练目标的标注框的信息；

获取预测框步骤，根据获取的所述训练图像，通过神经网络获取预测框；

获取标记点步骤，基于所述标注框和所述预测框，获取所述标注框的第一顶点、与所述第一顶点位置对应的所述预测框的第二顶点、以及所述标注框中的第三点，其中，所述第一顶点与所述第二顶点分别为所述标注框和所述预测框相同方位的顶点，所述第三点为所述标注框的除所述第一顶点之外的任意一点；

获取损失步骤，基于目标损失函数得到所述目标损失，其中，所述目标损失包括角度损失，所述角度损失基于所述第一顶点和所述第三点的连线与所述第二顶点和所述第三点的连线之间的夹角进行获取；

优化步骤，基于所述目标损失调整所述神经网络的参数，训练所述神经网络。

2.根据权利要求1所述的方法，其中，所述获取损失步骤包括，所述角度损失通过角度损失函数得到，所述角度损失函数公式为：

angle(θ)＝1/(cos(θ/2)+β)，

或angle(θ)＝1/(cos(α^θ/2)+β)，

其中，θ为所述夹角，α和β为正数。

3.根据权利要求2所述的方法，其中，所述目标损失还包括距离损失，所述距离损失通过平滑化曼哈顿距离损失函数得到。

4.根据权利要求3所述的方法，其中，所述目标损失函数包括所述角度损失函数和所述平滑化曼哈顿距离损失函数，所述目标损失函数公式为：

L＝a₁angle(θ)+a₂SmoothL1(t,t^*)，

或L＝angle(θ)×SmoothL1(t,t^*)，

其中，a₁和a₂为权重系数，t和t^*为所述预测框和所述标注框的坐标。

5.根据权利要求1所述的方法，其中，所述第三点为所述标注框的中心点。

6.一种目标检测方法，其中，包括：

获取图像步骤，获取需要检测的图像；

目标检测步骤，基于神经网络进行目标检测，所述神经网络通过权利要求1-5任一项所述的基于角度的目标检测训练方法训练得到。

7.一种基于角度的目标检测训练装置，其中，包括：

获取图像模块，用于获取训练图像，其中，所述训练图像包括训练目标的标注框的信息；

获取预测框模块，用于根据获取的所述训练图像，通过神经网络获取预测框；

获取标记点模块，用于根据所述标注框和所述预测框，获取所述标注框的第一顶点、与所述第一顶点位置对应的所述预测框的第二顶点、以及所述标注框中的第三点，其中，所述第一顶点与所述第二顶点分别为所述标注框和所述预测框相同方位的顶点，所述第三点为所述标注框的除所述第一顶点之外的任意一点；

获取损失模块，用于通过目标损失函数得到所述目标损失，其中，所述目标损失包括角度损失，所述角度损失基于所述第一顶点和所述第三点的连线与所述第二顶点和所述第三点的连线之间的夹角进行获取；

优化模块，基于所述目标损失调整所述神经网络的参数，用于训练所述神经网络。

8.一种目标检测装置，其中，包括：

获取检测图像模块，用于获取需要检测的图像；

目标检测模块，用于基于神经网络进行目标检测，所述神经网络通过权利要求1-5任一项所述的基于角度的目标检测训练方法训练得到。

9.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行权利要求1-5中任一项所述的基于角度的目标检测训练方法或权利要求6所述的目标检测方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1-5中任一项所述的基于角度的目标检测训练方法或权利要求6所述的目标检测方法。