CN113128553A - 基于目标架构的目标检测方法、装置、设备及存储介质 - Google Patents

基于目标架构的目标检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113128553A
CN113128553A CN202110250532.0A CN202110250532A CN113128553A CN 113128553 A CN113128553 A CN 113128553A CN 202110250532 A CN202110250532 A CN 202110250532A CN 113128553 A CN113128553 A CN 113128553A
Authority
CN
China
Prior art keywords
target
prediction
region
loss function
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110250532.0A
Other languages
English (en)
Inventor
李甲
付奎
穆凯
赵沁平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110250532.0A priority Critical patent/CN113128553A/zh
Publication of CN113128553A publication Critical patent/CN113128553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于目标架构的目标检测方法、装置、设备及存储介质，在该方法中，先获取预设图像，并将该预设图像输入到预设网络模型中，输出各个目标的预测架构信息，再基于各个目标的预测架构信息和预设图像中各个目标的标注架构信息，对预设网络模型进行参数更新，得到各个目标对应的目标检测模型，最后将待检测图像输入到各个目标对应的目标检测模型中，得到待检测图像的目标检测结果。该方案中，通过处理预测架构信息和标注架构信息，解决了现有技术中没有充分考虑预测的边界框与人工标注的边界框之间的位置、尺度等关系对损失函数的构造带来的影响，进而目标检测性能不高的问题。

Description

基于目标架构的目标检测方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于目标架构的目标检测方法、装置、设备及存储介质。
背景技术
目标检测是一种基于目标几何和统计特征的图像分割，目标是针对给定的类别，从输入图像中定位并输出该类别对象的矩形边界框。
目前，常见的目标检测方法主要是使用欧式距离损失(Euclidean distanceloss，Edl)损失及其变种，通过对每个目标计算检测模型预测的边界框坐标与人工标注的边界框坐标之间的距离差作为损失函数，最小化损失函数以优化模型，然后获得目标检测器。
然而，现有技术仅考虑了预测的边界框坐标与人工标注的边界框坐标之间的距离，并没有考虑到预测的边界框与人工标注的边界框之间的位置、尺度等关系对损失函数的构造带来的影响，进而导致目标检测性能不高的问题出现。
发明内容
本申请提供一种基于目标架构的目标检测方法、装置、设备及存储介质，用以解决现有技术中没有考虑预测的边界框与人工标注的边界框之间的位置、尺度等关系对损失函数的构造带来的影响，进而目标检测性能不高的问题。
第一方面，本申请实施例提供一种基于目标架构的目标检测方法，包括：
获取预设图像，所述预设图像包括至少一个目标以及所述目标对应的标注架构信息；
将所述预设图像输入到预设网络模型中，输出各个目标的预测架构信息；
基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型；
将待检测图像输入到各个目标对应的目标检测模型中，得到所述待检测图像的目标检测结果。
在第一方面的一种可能设计中，所述基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型，包括：
基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，构建各个目标的回归损失函数；
基于各个目标的回归损失函数最小化的方法，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型。
在该种可能的设计中，所述基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，构建各个目标的回归损失函数，包括：
对于每个目标，根据所述目标的预测架构信息确定所述目标的预测区域，以及根据所述目标的标注架构信息确定所述目标的标注区域；
根据所述目标的预测区域和所述目标的标注区域，确定所述预测架构和所述标注架构的交集区域、并集区域以及所述并集区域的最小包围框；
根据所述交集区域、所述并集区域和所述最小包围框的角度交并比关系，构建所述目标的回归损失函数。
可选的，所述根据所述交集区域、所述并集区域和所述最小包围框的角度交并比关系，构建所述目标的回归损失函数，包括：
以所述预测区域与所述最小包围框的重合点为第一顶点，确定所述预测区域与所述第一顶点相邻接的两个顶点连成的第一对角线；
以所述标注区域与所述最小包围框的重合点为第二顶点，确定所述标注区域与所述第二顶点相邻接的两个顶点连成的第二对角线；
以所述第一顶点为顶点、所述第二对角线为对边，构成第一夹角；
以所述第二顶点为顶点、所述第一对角线为对边，构成第二夹角；
根据所述第一夹角、所述第二夹角、所述交集区域的面积和所述并集区域的面积，构建所述目标的回归损失函数。
可选的，所述根据所述第一夹角、所述第二夹角、所述交集区域的面积和所述并集区域的面积，构建所述目标的回归损失函数，包括：
根据所述第一夹角、所述第二夹角，构建所述回归损失函数的惩罚项；
根据所述交集区域的面积和所述并集区域的面积，构建所述回归损失函数的交并比项；
根据所述惩罚项和所述交并比项，得到所述回归损失函数。
在第一方面的另一种可能设计中，所述基于各个目标的回归损失函数最小化的方法，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型，包括：
对于每个目标，利用反向传播方法，更新所述预设网络模型的参数，直到所述回归损失函数的取值小于预设误差，得到所述目标对应的目标检测模型。
第二方面，本申请实施例提供一种基于目标架构的目标检测装置，包括：获取模块、处理模块、计算模块和预测模块；
所述获取模块，用于获取预设图像，所述预设图像至少一个目标以及所述目标对应的标注架构信息；
所述处理模块，用于将所述预设图像输入到预设网络模型中，输出各个目标的预测架构信息；
所述计算模块，用于基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，对所述预设网络模型进行参数更新，得到各个目标对应的的目标检测模型；
所述预测模块，用于将待检测图像输入到各个目标对应的目标检测模型中，得到所述待检测图像的目标检测结果。
在第二方面的一种可能设计中，所述计算模块，具体用于：
基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，构建各个目标的回归损失函数；
基于各个目标的回归损失函数最小化的方法，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型。
在该种可能的设计中，所述计算模块，用于基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，构建各个目标的回归损失函数，具体为：
所述计算模块，具体用于：
对于每个目标，根据所述目标的预测架构信息确定所述目标的预测区域，以及根据所述目标的标注架构信息确定所述目标的标注区域；
根据所述目标的预测区域和所述目标的标注区域，确定所述预测架构和所述标注架构的交集区域、并集区域以及所述并集区域的最小包围框；
根据所述交集区域、所述并集区域和所述最小包围框的角度交并比关系，构建所述目标的回归损失函数。
可选的，所述计算模块，用于根据所述交集区域、所述并集区域和所述最小包围框的角度交并比关系，构建所述目标的回归损失函数，具体为：
所述计算模块，具体用于：
以所述预测区域与所述最小包围框的重合点为第一顶点，确定所述预测区域与所述第一顶点相邻接的两个顶点连成的第一对角线；
以所述标注区域与所述最小包围框的重合点为第二顶点，确定所述标注区域与所述第二顶点相邻接的两个顶点连成的第二对角线；
以所述第一顶点为顶点、所述第二对角线为对边，构成第一夹角；
以所述第二顶点为顶点、所述第一对角线为对边，构成第二夹角；
根据所述第一夹角、所述第二夹角、所述交集区域的面积和所述并集区域的面积，构建所述目标的回归损失函数。
可选的，所述计算模块，用于根据所述第一夹角、所述第二夹角、所述交集区域的面积和所述并集区域的面积，构建所述目标的回归损失函数，具体为：
所述计算模块，具体用于：
根据所述第一夹角、所述第二夹角，构建所述回归损失函数的惩罚项；
根据所述交集区域的面积和所述并集区域的面积，构建所述回归损失函数的交并比项；
根据所述惩罚项和所述交并比项，得到所述回归损失函数。
在第二方面的另一种可能设计中，所述计算模块，用于基于各个目标的回归损失函数最小化的方法，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型，具体为：
所述计算模块，具体用于对于每个目标，利用反向传播方法，更新所述预设网络模型的参数，直到所述回归损失函数的取值小于预设误差，得到所述目标对应的目标检测模型。
第三方面，本申请提供一种计算机设备，包括：处理器、存储器及收发器；
所述存储器存储计算机执行指令；
所述处理器执行所述计算机程序指令时实现第一方面以及各可能设计提供的基于目标架构的目标检测方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令被处理器执行时用于实现第一方面以及各可能设计提供的目标检测方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现第一方面以及各可能设计提供的基于目标架构的目标检测方法。
本申请实施例提供了一种基于目标架构的目标检测方法、装置、设备及存储介质，在该方法中，通过获取预设图像，该预设图像包括至少一个目标以及该目标对应的标注架构信息，然后将预设图像输入到预设网络模型中，输出各个目标的预测架构信息，再基于各个目标的预测架构信息和预设图像中各个目标的标注架构信息，对预设网络模型进行参数更新，得到各个目标对应的目标检测模型，最后将待检测图像输入到各个目标对应的目标检测模型中，得到待检测图像的目标检测结果。该方案中，通过处理预测架构信息和标注架构信息，解决了没有充分考虑到预测的边界框与人工标注的边界框之间的位置、尺度等关系对损失函数的构造带来的影响，进而目标检测性能不高的问题。
附图说明
图1为本申请实施例提供的基于目标架构的目标检测方法实施例一的流程图；
图2为本申请实施例提供的基于目标架构的目标检测方法实施例二的流程图；
图3为本申请实施例提供的基于目标架构的目标检测方法的架构示意图；
图4为本申请实施例提供的基于目标架构的目标检测装置的结构示意图；
图5为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在介绍本申请的实施例之前，首先对本申请的背景技术进行解释说明。
目标检测是计算机领域的基本任务，目标是针对给定的类别，从输入图像中定位并输出该类别对象的矩形边界框。目前针对目标的目标检测器主要分为：一阶段目标检测器和二阶段目标检测器。
具体为：二阶段目标检测器基于区域卷积神经网络(Region-ConvolutionalNeural Networks，R-CNN)结构，通过低等级计算机视觉算法产生感兴趣区域，然后对目标在该区域中进行分类和定位。简并行过程网络(spatial pyramid pooling network，SPPNet)和快速区域卷积神经网络(Fast Region-Convolutional Neural Networks，FastR-CNN)利用空间金字塔池化一次性产生特征并通过感兴趣区域(Region of interest，RoI)池化产生区域特征，有效减少冗余计算。而更快速区域卷积神经网络(Faster Region-Convolutional Neural Networks，Faster R-CNN)通过使用区域提议网络代替耗时的区域提议算法进一步提升目标检测的性能。区域全卷积网络(Region-Fully ConvolutionalNetworks，R-FCN)通过全卷积网络产生位置敏感得分来避免对于每个感兴趣区域的处理。掩码区域神经网络(Mask Region-Convolutional Neural Networks，Mask R-CNN)利用感兴趣区域对齐层有效解决粗糙空间量化的问题。特征金字塔网络(feature pyramidnetworks，FPN)通过一个从上到下通路和跳过连接，对低分辨率语义信息强的特征和高分辨率语义信息弱的特征进行融合，解决尺度变化问题。从传统上讲，上述二阶段目标检测器可以获得较好的检测性能，但是存在大的计算开销，不符合实时应用的需求。
为了解决这种问题，一阶段目标检测器避免了耗时的提议生成步骤，直接对预定义的检测框进行分类，例如单激发多盒检测器(Single Shot MultiBox Detector，SSD)模型。
上述一阶段目标检测器和二阶段目标检测器在训练过程中，主要使用欧式距离损失(Euclidean distance loss，Edl)损失及其变种，通过对每个目标计算检测模型预测的边界框坐标与人工标注的边界框坐标之间的距离差作为损失函数，最小化损失函数以优化模型，然后获得目标检测器。
然而，上述目标检测器在训练过程中，通过预测的边界框坐标与人工标注的边界框坐标之间的距离差作为损失函数来优化检测模型，并没有充分考虑到预测的边界框与人工标注的边界框之间的位置、尺度关系对目标检测结果带来的影响，以至于不能最大化提升检测模型的性能。
本申请针对上述技术问题，发明人的技术构思过程如下：发明人发现，可以基于预测的边界框与人工标注的边界框的长宽比、位置关系、以及面积去构建损失函数，然后不断更新优化参数，以获得目标检测器，从而更加准确地提升目标检测的性能，得到更加准确的目标检测结果。
下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图1为本申请实施例提供的基于目标架构的目标检测方法实施例一的流程图。如图1所示，该目标检测方法可以包括如下步骤：
步骤11、获取预设图像，该预设图像包括至少一个目标。
在本方案中，对目标检测模型的训练，是通过将预设图像输入到预设网络模型中进行处理，然后不断更新预设网络模型的参数，以得到更好的目标检测模型。
其中，本方案的执行主体可以是计算机设备，即目标检测方法应用于计算机设备。在一种可能的实现中，计算机设备通过获取具有标注好各个目标的标注架构信息的预设图像，然后对该预设图像上的目标进行预测，得到预测架构信息，并结合目标对应的标注架构信息，以更新预设网络模型的参数，直到预设网络模型中回归损失函数的值低于预设误差，得到目标检测模型，此时将待检测图像输入至目标检测模型中，便可以输出目标检测结果，并将该目标检测结果发送至终端设备，或直接在计算机设备上显示，或发送至第三方平台。
在本步骤中，为了实现对目标的检测，就需要先获取包含有目标的预设图像，其中，该预设图像中包含有目标以及目标对应的标注架构信息，该标注架构信息可以是事先针对特定目标标注好的标注框。
可选的，获取预设图像的方式可以是从终端设备直接获取，此处不做限制。
步骤12、将预设图像输入到预设网络模型中，输出各个目标的预测架构信息。
在本步骤中，为了得到待检测图像的目标检测结果，需要先对预设图像进行处理，即将预设图像输入到预设网络模型中，利用预设网络模型处理预设图像，以得到预设图像中各个目标的预测架构信息。
在一种可能的实现中，预设网络模型可以是卷积神经网络模型，将预设有标注架构信息的图片输入到卷积神经网络模型中，然后卷积神经网络模型对图片进行处理，得到图片中相应目标的预测框，该预测框可以是矩形框。
其中，各个目标的预测架构信息指各个目标对应的矩形的预测框的相关信息，包括：预测框的尺寸和位置等。
步骤13、基于各个目标的预测架构信息和预设图像中各个目标的标注架构信息，对预设网络模型进行参数更新，得到各个目标对应的目标检测模型。
在本步骤中，预先在预设图像的数据集中设置有各个目标对应的标注架构信息，当卷积神经网络模型对预设图像中各个目标进行处理时，输出各个目标的预测架构信息时，将各个目标对应的标注架构信息与相应的预测架构信息进行处理，以获得预设图像中各个目标对应的目标检测模型。
可选的，各个目标对应的标注架构信息指各个目标对应的预先设置的矩形的标注框的相关信息，包括：标注框的尺寸和位置等。
在一种可能的实现中，该步骤的实现过程可以是：对标注框和预测框的长宽比、尺度和空间位置信息进行计算，得出具有角度交并比关系的各个目标的回归损失函数，基于目标损失函数，然后对预设网络模型进行不断地参数更新，以得到各个目标对应的目标检测模型。
步骤14、将待检测图像输入到各个目标对应的目标检测模型中，得到待检测图像的目标检测结果。
可选的，目标检测结果可以是对待检测图像中的各个目标进行定位与识别，以确定目标的位置和目标的类别。
其中，在本申请实施例中，待检测图像可以是需要被检测的图像，其获取方式可以是通过输入至计算机设备，也可以是通过其它设备捕捉的实时画面，传输至计算机设备，此处不做赘述。
在一种可能的实现中，本申请实施例提供的目标检测方法相较于现有技术在检测性能上的提升在2.27％-2.36％之间，且不增加构建目标损失函数过程中的计算开销。
本申请实施例提供了一种基于目标架构的目标探测方法，通过获取预设图像，然后将预设图像输入到预设网络模型中，输出各个目标的预测架构信息。再基于各个目标的预测架构信息和预设图像中各个目标的标注架构信息，对预设网络模型进行参数更新，得到各个目标对应的目标检测模型。最后将待检测图像输入到各个目标对应的目标检测模型中，得到待检测图像的目标检测结果。该方案中，通过处理预测架构信息和标注架构信息，解决了现有技术中没有充分考虑预测的边界框与人工标注的边界框之间的位置、尺度等关系对损失函数的构造带来的影响，进而目标检测性能不高的问题。
在图1的基础上，图2为本申请实施例提供的基于目标架构的目标检测方法实施例二的流程图。图3为本申请实施例提供的基于目标架构的目标检测方法的架构示意图。以图3结合图2，对本申请实施例提供的基于目标架构的目标检测方法进行详细说明。如图2所示，上述步骤13可以通过如下步骤实现：
步骤21、基于各个目标的预测架构信息和预设图像中各个目标的标注架构信息，构建各个目标的回归损失函数。
在本步骤中，基于上述获取的各个目标的预测架构信息，以及各个目标对应的标注架构信息，确定出预测框与标注框之间的长宽比、尺度和空间位置，从而计算出各个目标的回归损失函数中各个项，进而构建各个目标的回归损失函数。
具体的，构建各个目标的回归损失函数的过程如下：
第1步、对于每个目标，根据目标的预测架构信息确定目标的预测区域，以及根据目标的标注架构信息确定目标的标注区域。
例如，如图3所示，预设图像中的一个目标的标注架构信息可以是A点、B点、C点和D点共同构成的标注区域，该目标对应的预测架构信息可以是A’点、B’点、C’点和D’点共同构成的预测区域。
第2步、根据目标的预测区域和目标的标注区域，确定预测架构和标注架构的交集区域、并集区域以及并集区域的最小包围框。
例如，如图3所示，交集区域可以是预测区域和标注区域的重叠区域，即E点、B点、F点和D’点共同构成的区域；并集区域可以是预测区域和标注区域的重叠区域加上各自不重叠的区域，即A点、B点、C点和D点共同构成的区域加上A’点、B’点、C’点、F点、B点和E点构成的区域；最小包围框可以是D点、B’点、I点和J点构成的区域。
其中，I点为A’点、B’点形成的连接线沿A’点的方向延伸线与A点、D点形成的连接线沿A点的方向延伸线的交点，J点为C’点、B’点形成的连接线沿C’点的方向延伸线与C点、D点形成的连接线沿C点的方向延伸线的交点。
可选的，预测区域可以用Bp表示，标注区域可以用Bg表示，交集区域可以用|Bp∩Bg|表示，并集区域可以用|Bp∪Bg|表示。
第3步、根据交集区域、并集区域和最小包围框的角度交并比关系，构建目标的回归损失函数。
可选的，回归损失函数反映了标注区域与预测区域的长宽比、尺度和空间位置等信息。
具体的，该步骤可通过如下方法实现：
1、以预测区域与最小包围框的重合点为第一顶点，确定预测区域与第一顶点相邻接的两个顶点连成的第一对角线。
具体的，B’点为第一顶点，预测区域与B’点相邻接的两个顶点A’点、C’点连成的第一对角线A’C’。
2、以标注区域与最小包围框的重合点为第二顶点，确定标注区域与第二顶点相邻接的两个顶点连成的第二对角线。
具体的，D点为第二顶点，标注区域与B’点相邻接的两个顶点A点、C点连成的第一对角线AC。
3、以第一顶点为顶点、第二对角线为对边，构成第一夹角。
具体的，第一夹角可以用θ2表示，即AB’与CB’构成的夹角。
4、以第二顶点为顶点、第一对角线为对边，构成第二夹角。
具体的，第二夹角可以用θ1表示，即A’D与CD构成的夹角。
5、根据第一夹角、第二夹角、交集区域的面积和并集区域的面积，构建目标的回归损失函数。
首先，根据第一夹角、第二夹角，构建回归损失函数的惩罚项。
可选的，回归损失函数的惩罚项RAIoU的公式表达为：
RAIoU＝cos2θ1+cos2θ2
其次，根据交集区域的面积和并集区域的面积，构建回归损失函数的交并比项。
可选的，回归损失函数的交并比项IoU的公式表达为：
Figure BDA0002965853500000111
最后，根据惩罚项和交并比项，得到回归损失函数。
可选的，回归损失函数
Figure BDA0002965853500000112
的公式表达为：
Figure BDA0002965853500000113
步骤22、基于各个目标的回归损失函数最小化的方法，对预设网络模型进行参数更新，得到各个目标对应的目标检测模型。
在本步骤中，对于预设图像中的每个目标，利用反向传播(Backpropagationalgorithm，BP)方法，不断更新预设网络模型的参数，使得回归损失函数的取值越来越小，直到回归损失函数的取值小于预设误差，从而得到基于角度交并比关系的目标检测模型。
可选的，该预设误差表示在保证目标检测结果精度的情况下，回归损失函数的取值所允许的最大误差值。
本申请实施例提供了一种基于目标架构的目标探测方法，基于各个目标的预测架构信息和预设图像中各个目标的标注架构信息，构建各个目标的回归损失函数，然后基于各个目标的回归损失函数最小化的方法，对预设网络模型进行参数更新，得到各个目标对应的目标检测模型。该方法中，通过对预测架构信息和标注架构信息之间的关系进行处理，确定了目标检测模型，用以提升目标检测的性能，为得到更加准确的目标检测结果提供了基础。
在上述目标检测方法实施例的基础上，图4为本申请实施例提供的基于目标架构的目标检测装置的结构示意图。如图4所示，该目标检测装置包括：获取模块41、处理模块42、计算模块43和预测模块44。
获取模块41，用于获取预设图像，该预设图像包括至少一个目标以及该目标对应的标注架构信息；
处理模块42，用于将预设图像输入到预设网络模型中，输出各个目标的预测架构信息；
计算模块43，用于基于各个目标的预测架构信息和预设图像中各个目标的标注架构信息，对预设网络模型进行参数更新，得到各个目标对应的目标检测模型；
预测模块44，用于将待检测图像输入到各个目标对应的目标检测模型中，得到待检测图像的目标检测结果。
在本申请实施例一种可能的设计中，计算模块43，具体用于：
基于各个目标的预测架构信息和预设图像中各个目标的标注架构信息，构建各个目标的回归损失函数；
基于各个目标的回归损失函数最小化的方法，对预设网络模型进行参数更新，得到各个目标对应的目标检测模型。
在该种可能的设计中，计算模块43，用于基于各个目标的预测架构信息和预设图像中各个目标的标注架构信息，构建各个目标的回归损失函数，具体为：
计算模块43，具体用于：
对于每个目标，根据目标的预测架构信息确定目标的预测区域，以及根据目标的标注架构信息确定目标的标注区域；
根据目标的预测区域和目标的标注区域，确定预测架构和标注架构的交集区域、并集区域以及并集区域的最小包围框；
根据交集区域、并集区域和最小包围框的角度交并比关系，构建目标的回归损失函数。
可选的，计算模块43，用于根据交集区域、并集区域和最小包围框的角度交并比关系，构建目标的回归损失函数，具体为：
计算模块43，具体用于：
以预测区域与最小包围框的重合点为第一顶点，确定预测区域与第一顶点相邻接的两个顶点连成的第一对角线；
以标注区域与最小包围框的重合点为第二顶点，确定标注区域与第二顶点相邻接的两个顶点连成的第二对角线；
以第一顶点为顶点、第二对角线为对边，构成第一夹角；
以第二顶点为顶点、第一对角线为对边，构成第二夹角；
根据第一夹角、第二夹角、交集区域的面积和并集区域的面积，构建目标的回归损失函数。
可选的，计算模块43，用于根据第一夹角、第二夹角、交集区域的面积和并集区域的面积，构建目标的回归损失函数，具体为：
计算模块43，具体用于：
根据第一夹角、第二夹角，构建回归损失函数的惩罚项；
根据交集区域的面积和并集区域的面积，构建回归损失函数的交并比项；
根据惩罚项和交并比项，得到回归损失函数。
在本申请实施例另一种可能的设计中，计算模块43，用于基于各个目标的回归损失函数最小化的方法，对预设网络模型进行参数更新，得到各个目标对应的目标检测模型，具体为：
计算模块43，具体用于对于每个目标，利用反向传播方法，更新预设网络模型的参数，直到回归损失函数的取值小于预设误差，得到目标对应的目标检测模型。
本申请实施例提供的基于目标架构的目标检测装置，可用于执行上述实施例中基于目标架构的目标检测方法的技术方案，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，计算模块43可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上计算模块43的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图5为本申请实施例提供的计算机设备的结构示意图。如图5所示，该计算机设备可以包括：处理器51、存储器52和收发器53。
处理器51执行存储器存储的计算机执行指令，使得处理器51执行上述实施例中的方案。处理器51可以是通用处理器，包括中央处理器CPU、网络处理器(network processor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器52通过系统总线与处理器51连接并完成相互间的通信，存储器52用于存储计算机程序指令。
收发器53可以用于获取预设图像以及待检测图像。
系统总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。收发器用于实现数据库访问装置与其他计算机(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccess memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)。
本申请实施例提供的计算机设备，可用于执行上述实施例中基于目标架构的目标检测方法的技术方案，其实现原理和技术效果类似，在此不再赘述。
本申请实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中基于目标架构的目标检测方法的技术方案。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述实施例中基于目标架构的目标检测方法的技术方案。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，其存储在计算机可读存储介质中，至少一个处理器可以从计算机可读存储介质读取计算机程序，至少一个处理器执行计算机程序时可实现上述实施例中基于目标架构的目标检测方法的技术方案。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于目标架构的目标检测方法，其特征在于，包括：
获取预设图像，所述预设图像包括至少一个目标以及所述目标对应的标注架构信息；
将所述预设图像输入到预设网络模型中，输出各个目标的预测架构信息；
基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型；
将待检测图像输入到各个目标对应的目标检测模型中，得到所述待检测图像的目标检测结果。
2.根据权利要求1所述的方法，其特征在于，所述基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型，包括：
基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，构建各个目标的回归损失函数；
基于各个目标的回归损失函数最小化的方法，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型。
3.根据权利要求2所述的方法，其特征在于，所述基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，构建各个目标的回归损失函数，包括：
对于每个目标，根据所述目标的预测架构信息确定所述目标的预测区域，以及根据所述目标的标注架构信息确定所述目标的标注区域；
根据所述目标的预测区域和所述目标的标注区域，确定所述预测架构和所述标注架构的交集区域、并集区域以及所述并集区域的最小包围框；
根据所述交集区域、所述并集区域和所述最小包围框的角度交并比关系，构建所述目标的回归损失函数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述交集区域、所述并集区域和所述最小包围框的角度交并比关系，构建所述目标的回归损失函数，包括：
以所述预测区域与所述最小包围框的重合点为第一顶点，确定所述预测区域与所述第一顶点相邻接的两个顶点连成的第一对角线；
以所述标注区域与所述最小包围框的重合点为第二顶点，确定所述标注区域与所述第二顶点相邻接的两个顶点连成的第二对角线；
以所述第一顶点为顶点、所述第二对角线为对边，构成第一夹角；
以所述第二顶点为顶点、所述第一对角线为对边，构成第二夹角；
根据所述第一夹角、所述第二夹角、所述交集区域的面积和所述并集区域的面积，构建所述目标的回归损失函数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一夹角、所述第二夹角、所述交集区域的面积和所述并集区域的面积，构建所述目标的回归损失函数，包括：
根据所述第一夹角、所述第二夹角，构建所述回归损失函数的惩罚项；
根据所述交集区域的面积和所述并集区域的面积，构建所述回归损失函数的交并比项；
根据所述惩罚项和所述交并比项，得到所述回归损失函数。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述基于各个目标的回归损失函数最小化的方法，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型，包括：
对于每个目标，利用反向传播方法，更新所述预设网络模型的参数，直到所述回归损失函数的取值小于预设误差，得到所述目标对应的目标检测模型。
7.一种基于目标架构的目标检测装置，其特征在于，包括：获取模块、处理模块、计算模块和预测模块；
所述获取模块，用于获取预设图像，所述预设图像包括至少一个目标以及所述目标对应的标注架构信息；
所述处理模块，用于将所述预设图像输入到预设网络模型中，输出各个目标的预测架构信息；
所述计算模块，用于基于各个目标的预测架构信息和所述预设图像中各个目标的标注架构信息，对所述预设网络模型进行参数更新，得到各个目标对应的目标检测模型；
所述预测模块，用于将待检测图像输入到各个目标对应的目标检测模型中，得到所述待检测图像的目标检测结果。
8.一种计算机设备，其特征在于，包括：
处理器、存储器及收发器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述权利要求1-6任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现如上述权利要求1-6任一项所述的方法。
CN202110250532.0A 2021-03-08 2021-03-08 基于目标架构的目标检测方法、装置、设备及存储介质 Pending CN113128553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110250532.0A CN113128553A (zh) 2021-03-08 2021-03-08 基于目标架构的目标检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110250532.0A CN113128553A (zh) 2021-03-08 2021-03-08 基于目标架构的目标检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113128553A true CN113128553A (zh) 2021-07-16

Family

ID=76773203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110250532.0A Pending CN113128553A (zh) 2021-03-08 2021-03-08 基于目标架构的目标检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113128553A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428875A (zh) * 2020-03-11 2020-07-17 北京三快在线科技有限公司 图像识别方法、装置及相应模型训练方法、装置
WO2020228370A1 (zh) * 2019-05-10 2020-11-19 创新先进技术有限公司 计算机执行的从图片中识别损伤的方法及装置
CN112287788A (zh) * 2020-10-20 2021-01-29 杭州电子科技大学 基于改进YOLOv3和改进NMS的行人检测方法
CN112329873A (zh) * 2020-11-12 2021-02-05 苏州挚途科技有限公司 目标检测模型的训练方法、目标检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228370A1 (zh) * 2019-05-10 2020-11-19 创新先进技术有限公司 计算机执行的从图片中识别损伤的方法及装置
CN111428875A (zh) * 2020-03-11 2020-07-17 北京三快在线科技有限公司 图像识别方法、装置及相应模型训练方法、装置
CN112287788A (zh) * 2020-10-20 2021-01-29 杭州电子科技大学 基于改进YOLOv3和改进NMS的行人检测方法
CN112329873A (zh) * 2020-11-12 2021-02-05 苏州挚途科技有限公司 目标检测模型的训练方法、目标检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YIFAN ZHAO 等: "Multi-Class Part Parsing With Joint Boundary-Semantic Awareness", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *

Similar Documents

Publication Publication Date Title
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN110838133B (zh) 多目标跟踪方法及相关设备
US11645851B2 (en) Method of processing image data in a connectionist network
US20220319209A1 (en) Method and apparatus for labeling human body completeness data, and terminal device
CN112560980A (zh) 目标检测模型的训练方法、装置及终端设备
CN111582021A (zh) 场景图像中的文本检测方法、装置及计算机设备
CN111192293A (zh) 一种运动目标位姿跟踪方法及装置
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN113421305A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN113469025B (zh) 应用于车路协同的目标检测方法、装置、路侧设备和车辆
CN108229305B (zh) 用于确定目标对象的外接框的方法、装置和电子设备
CN110852233A (zh) 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
CN112184688B (zh) 网络模型的训练方法、目标检测方法及相关装置
CN111160242A (zh) 图像目标检测方法、系统、电子终端及存储介质
US20210350165A1 (en) Methods and apparatus for generating point cloud histograms
CN111027554A (zh) 商品价签文字精确检测定位系统及定位方法
CN113610835B (zh) 看护摄像机的人形检测方法
US10803295B2 (en) Method and device for face selection, recognition and comparison
CN112446374B (zh) 一种目标检测模型的确定方法及装置
WO2021092797A1 (zh) 图像的配准方法、终端以及计算机存储介质
CN111507252A (zh) 人体跌倒检测装置、方法、电子终端及存储介质
CN110689556A (zh) 跟踪方法、装置及智能设备
CN114066930A (zh) 一种平面目标跟踪方法、装置、终端设备及存储介质
CN113128553A (zh) 基于目标架构的目标检测方法、装置、设备及存储介质
CN114187328B (zh) 一种物体检测方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210716

RJ01 Rejection of invention patent application after publication