CN109145931B - 物体检测方法、装置及存储介质 - Google Patents

物体检测方法、装置及存储介质 Download PDF

Info

Publication number
CN109145931B
CN109145931B CN201811018729.6A CN201811018729A CN109145931B CN 109145931 B CN109145931 B CN 109145931B CN 201811018729 A CN201811018729 A CN 201811018729A CN 109145931 B CN109145931 B CN 109145931B
Authority
CN
China
Prior art keywords
frame
alternative
encirclement
size
referring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811018729.6A
Other languages
English (en)
Other versions
CN109145931A (zh
Inventor
王学辉
李明
夏添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811018729.6A priority Critical patent/CN109145931B/zh
Publication of CN109145931A publication Critical patent/CN109145931A/zh
Priority to JP2019124461A priority patent/JP6871314B2/ja
Priority to EP19185959.4A priority patent/EP3620981B1/en
Priority to US16/512,249 priority patent/US11113836B2/en
Application granted granted Critical
Publication of CN109145931B publication Critical patent/CN109145931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出一种物体检测方法、装置及计算机可读存储介质。其中物体检测方法包括：获取输入图像中的目标物体的包围框；根据所述包围框从预先设置的备选框集合中确定出参照框；根据所述参照框与所述包围框的尺寸，生成尺寸相关特征；在机器学习模型中使用所述尺寸相关特征对所述输入图像进行物体检测。本发明实施例使用与物体的大小相关的特征进行物体检测，即在机器学习模型中在原有特征的基础上增加了物体大小的预测依据，进一步提升了物体检测的准确程度。

Description

物体检测方法、装置及存储介质
技术领域
本发明涉及信息技术领域，尤其涉及一种物体检测方法、装置及计算机可读存储介质。
背景技术
物体检测对于人眼来说并不困难，通过对图片中不同颜色、纹理、边缘模块的感知很容易定位出目标物体，但计算机面对的是RGB像素矩阵，很难从图像中直接得到狗和猫这样的抽象概念并定位其位置，再加上物体姿态、光照和复杂背景混杂在一起，使得物体检测更加困难。
在计算机视觉领域中，物体检测是经典问题之一，其任务是用框去标出图像中物体的位置，并给出物体的类别。从传统的人工设计特征加浅层分类器的框架，到基于深度学习的端到端的检测框架，物体检测正一步步变得愈加成熟。
检测算法里面通常包含三个部分，第一个是检测窗口的选择，第二个是特征的设计，第三个是分类器的设计。其中，特征的设计需要对不同的特征进行组合调优。从不同维度描述物体可以进一步提升检测精度。例如，通过对物体边缘使用直方图统计来进行编码，使特征表达能力更强，在物体检测、跟踪、识别等场景中都有广泛的应用。
在检测图像中的物体时，每个候选的物体区域在抽取深度学习网络的特征时，只能得到相同长度的特征，此特征与物体大小没有相关性，缺少物体大小的预测依据，造成物体大小预测不准确。例如，在图像中远处和近处的物体的大小是不一样的，但现有技术的方法中，针对这种大小不一样的物体所提取的特征是一样的，因此造成物体大小预测不准确。
发明内容
本发明实施例提供一种物体检测方法、装置及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种物体检测方法，包括：获取输入图像中的目标物体的包围框；根据所述包围框从预先设置的备选框集合中确定出参照框；根据所述参照框与所述包围框的尺寸，生成尺寸相关特征；在机器学习模型中使用所述尺寸相关特征对所述输入图像进行物体检测。
结合第一方面，本发明实施例在第一方面的第一种实现方式中，根据所述包围框从预先设置的备选框集合中确定出参照框，包括：计算目标物体的所述包围框与所述备选框集合中的每个备选框的重叠度；根据所述重叠度从所述备选框中选择参照框。
结合第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，计算目标物体的所述包围框与所述备选框集合中的每个备选框的重叠度，包括：将所述包围框与所述备选框在一个顶点对齐；计算所述包围框与所述备选框对齐后的交集面积与并集面积的比值；将所述比值作为所述包围框与所述备选框的重叠度。
结合第一方面的第一种实现方式，本发明实施例在第一方面的第三种实现方式中，根据所述重叠度从所述备选框中选择参照框，包括：若所述包围框与所述备选框的重叠度大于重叠度阈值，则将该备选框确定为参照框。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式，本发明实施例在第一方面的第四种实现方式中，根据所述参照框与所述包围框的尺寸，生成尺寸相关特征，包括：将所述包围框与所述备选框的长度比、宽度比，以及所述长度比的自然对数和所述宽度比的自然对数作为所述尺寸相关特征。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式，本发明实施例在第一方面的第五种实现方式中，还包括：预先设置与物体类别相匹配的备选框集合；预判所述待检测物体的所属的物体类别；根据预判的所述物体类别，选择与所述物体类别相匹配的备选框集合。
第二方面，本发明实施例提供了一种物体检测装置，包括：包围框获取单元，用于获取输入图像中的目标物体的包围框；参照框确定单元，用于根据所述包围框从预先设置的备选框集合中确定出参照框；尺寸特征生成单元，用于根据所述参照框与所述包围框的尺寸，生成尺寸相关特征；物体检测单元，用于在机器学习模型中使用所述尺寸相关特征对所述输入图像进行物体检测。
结合第二方面，本发明实施例在第二方面的第一种实现方式中，所述参照框确定单元包括：重叠度计算子单元，用于计算目标物体的所述包围框与所述备选框集合中的每个备选框的重叠度；参照框选择子单元，用于根据所述重叠度从所述备选框中选择参照框。
结合第二方面的第一种实现方式，本发明实施例在第二方面的第二种实现方式中，所述重叠度计算子单元还用于：将所述包围框与所述备选框在一个顶点对齐；计算所述包围框与所述备选框对齐后的交集面积与并集面积的比值；将所述比值作为所述包围框与所述备选框的重叠度。
结合第二方面的第一种实现方式，本发明实施例在第二方面的第三种实现方式中，所述参照框选择子单元还用于：若所述包围框与所述备选框的重叠度大于重叠度阈值，则将该备选框确定为参照框。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式，本发明实施例在第二方面的第四种实现方式中，所述尺寸特征生成单元还用于：将所述包围框与所述备选框的长度比、宽度比，以及所述长度比的自然对数和所述宽度比的自然对数作为所述尺寸相关特征。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式，本发明实施例在第二方面的第五种实现方式中，还包括备选框集合选择单元，用于：预先设置与物体类别相匹配的备选框集合；预判所述待检测物体的所属的物体类别；根据预判的所述物体类别，选择与所述物体类别相匹配的备选框集合。
在一个可能的设计中，物体检测装置的结构中包括处理器和存储器，所述存储器用于存储支持物体检测装置执行上述第一方面中物体检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述物体检测装置还可以包括通信接口，用于物体检测装置与其他设备或通信网络通信。
第三方面，本发明实施例提供了一种物体检测装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面中任一所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一所述的方法。
上述技术方案具有如下优点或有益效果：使用与物体的大小相关的特征进行物体检测，即在机器学习模型中在原有特征的基础上增加了物体大小的预测依据，进一步提升了物体检测的准确程度。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1为本发明一实施例提供的物体检测方法的流程图。
图2为本发明另一实施例提供的物体检测方法的确定参照框的步骤流程图。
图3为本发明另一实施例提供的物体检测方法的计算重叠度的步骤流程图。
图3a为本发明另一实施例提供的物体检测方法的重叠度计算中交集面积的示意图。
图3b为本发明另一实施例提供的物体检测方法的重叠度计算中并集面积的示意图。
图4为本发明另一实施例提供的物体检测方法的选择备选框集合的步骤流程图。
图5为本发明一实施例提供的物体检测装置的结构框图。
图6为本发明又一实施例提供的物体检测装置的参照框确定单元的结构框图。
图7为本发明又一实施例提供的物体检测装置的结构框图。
图8为本发明又一实施例提供的物体检测装置的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1为本发明一实施例提供的物体检测方法的流程图。如图1所示，本发明实施例的物体检测方法包括：步骤S110，获取输入图像中的目标物体的包围框；步骤S120，根据所述包围框从预先设置的备选框集合中确定出参照框；步骤S130，根据所述参照框与所述包围框的尺寸，生成尺寸相关特征；步骤S140，在机器学习模型中使用所述尺寸相关特征对所述输入图像进行物体检测。
本发明实施例在进行物体检测之前预先设置备选框集合。备选框集合中包括多个尺寸不同的备选框。将目标物体的包围框与备选框集合中的多个备选框比较，根据比较结果选择若干个与包围框的尺寸特征比较接近的备选框作为参照框。根据参照框与包围框之间大小关系，生成与大小、长宽比相关的特征，也就是尺寸相关特征。在机器学习模型中原有的特征的基础上，将尺寸相关特征与原有的特征融合后，再对物体进行预测，从而增加物体大小检测的准确度。
在一种实现方式中，首先要采用某种算法预测物体包围框。例如，将待处理图片分块，然后分别判断每个块是不是包围框。再如，计算待处理图片的颜色直方图。在颜色直方图上分布不平坦的区域可能是物体的边缘区域，由此预测物体包围框。
图2为本发明另一实施例提供的物体检测方法的确定参照框的步骤流程图。如图2所示，在一种可能的实现方式中，图1中的步骤S120，根据所述包围框从预先设置的备选框集合中确定出参照框，包括：步骤S210，计算目标物体的所述包围框与所述备选框集合中的每个备选框的重叠度；步骤S220，根据所述重叠度从所述备选框中选择参照框。
备选框可以包括预先设置的一些尺寸不同的矩形框。这些矩形框的尺寸之间的关系可以包括多种，例如：长度相同但宽度不同、长度不同但宽度相同、长宽不同但长宽比例相同、或者长宽和长宽比例都不同。其中，在一个示例中，设置多个长宽比例相同但长宽不同的一系列矩形框。假设长宽比例为1：1，可设置10*10像素、20*20像素和30*30像素的3个矩形框。
在这种实现方式中，将目标物体的包围框与备选框集合中多个尺寸不同的备选框计算重叠区域，根据计算结果选择若干个与包围框的尺寸特征比较接近的备选框。
图3为本发明另一实施例提供的物体检测方法的计算重叠度的步骤流程图。如图3所示，在一种可能的实现方式中，图2中的步骤S210，计算目标物体的所述包围框与所述备选框集合中的每个备选框的重叠度，包括：步骤S310，将所述包围框与所述备选框在一个顶点对齐；步骤S320，计算所述包围框与所述备选框对齐后的交集面积与并集面积的比值；步骤S330，将所述比值作为所述包围框与所述备选框的重叠度。
在这种实现方式中，采用IOU(Intersection over Union，重叠度)标准计算包围框与多个尺寸不同的备选框的重叠区域。其中，IOU是一种测量在特定数据集中检测相应物体准确度的一个标准。具体地，可将包围框与某个备选框对齐，例如可以将这两个矩形的左上角的顶点对齐；然后计算两个矩形的交集面积与并集面积的比值，作为包围框与某个备选框的IOU值。这个比值(IOU值)越大，说明两个矩形的重叠度越高。
图3a为本发明另一实施例提供的物体检测方法的重叠度计算中交集面积的示意图。图3b为本发明另一实施例提供的物体检测方法的重叠度计算中并集面积的示意图。在图3a和图3b中，A1、B1、C1、D1四个顶点构成的矩形表示包围框，A2、B2、C2、D2四个顶点构成的矩形表示备选框。如图3a和图3b所示，包围框和备选框在左上角的顶点对齐，也就是在图中A1和A2两个顶点是重合的。图3a中所示的阴影部分面积表示包围框与备选框对齐后的交集面积，图3b中所示的阴影部分面积表示包围框与备选框对齐后的并集面积。交集面积与并集面积的比值越大，说明两个矩形的重叠度越高，尺寸特征越接近。
在一种可能的实现方式中，根据所述重叠度从所述备选框中选择参照框，包括：若所述包围框与所述备选框的重叠度大于重叠度阈值，则将该备选框确定为参照框。
在这种实现方式中，预先设置重叠度阈值，若计算得到包围框与某个备选框的IOU值大于预先设置的重叠度阈值，则认为该备选框的大小特征与包围框是比较接近的。由此，选择出Top N个(排在最前的N个)与包围框的尺寸特征比较接近的备选框，将Top N个备选框确定为参照框。在后续提取特征时，可以只考虑参照框。例如，只提取包围框与参照框之间的大小关系数据作为特征。除了参考框之外其它备选框的大小特征与包围框相比，相对来说尺寸差距较大，与其它备选框对应的相关特征的数据可以用零填充。
在一种可能的实现方式中，根据所述参照框与所述包围框的尺寸，生成尺寸相关特征，包括：将所述包围框与所述备选框的长度比、宽度比，以及所述长度比的自然对数和所述宽度比的自然对数作为所述尺寸相关特征。
在这种实现方式中，根据参照框与包围框之间大小关系，生成与大小、长宽比相关的特征。例如，对于每个备选框可提取两个矩形的长度比、两个矩形的宽度比，以及两个矩形的长度比的自然对数和两个矩形的宽度比的自然对数作为特征。
上述方法设计的特征与物体的大小有关，在原有特征的基础上增加了物体大小的预测依据，进一步提升了物体检测的准确程度。
图4为本发明另一实施例提供的物体检测方法的选择备选框集合的步骤流程图。如图4所示，在一种可能的实现方式中，还包括：步骤S410，预先设置与物体类别相匹配的备选框集合；步骤S420，预判所述待检测物体的所属的物体类别；步骤S430，根据预判的所述物体类别，选择与所述物体类别相匹配的备选框集合。
在这种实现方式中，根据物体的类别，例如交通工具类别、家具类别，生成与物体类别相关的尺寸相关特征。加入类别的预判可进一步提升物体检测准确度。
首先步骤S410，预先设置与各类别相匹配的备选框集合。例如交通工具类别中，火车可能是一个扁长的矩形，它的长宽比很大；小型汽车一般长度可能是3—4米,宽度可能在1.6—1.8米之间，长宽比可能在1.5-2.5之间。由此可以看出交通工具类别中的备选框矩形的长宽比的取值范围比较大。再如，家具类别中，备选框矩形的长宽比的取值范围相对来说比较适中，一般情况下家具的长宽比会比火车小得多。
其次步骤S420，对物体的类别进行预判，例如预判的类别可能是交通工具、家具等。可采用区域特征、边界特征或者深度学习网络特征来对物体的类别进行预判。
然后步骤S430，根据预判的物体类别使用与类别相匹配的备选框集合，生成与物体类别相关的尺寸相关特征，进一步提升物体检测准确度。
上述技术方案具有如下优点或有益效果：使用与物体的大小相关的特征进行物体检测，即在机器学习模型中在原有特征的基础上增加了物体大小的预测依据，进一步提升了物体检测的准确程度。
图5为本发明一实施例提供的物体检测装置的结构框图。如图5所示，本发明实施例的物体检测装置包括：包围框获取单元100，用于获取输入图像中的目标物体的包围框；参照框确定单元200，用于根据所述包围框从预先设置的备选框集合中确定出参照框；尺寸特征生成单元300，用于根据所述参照框与所述包围框的尺寸，生成尺寸相关特征；物体检测单元400，用于在机器学习模型中使用所述尺寸相关特征对所述输入图像进行物体检测。
图6为本发明又一实施例提供的物体检测装置的参照框确定单元的结构框图。如图6所示，在一种可能的实现方式中，所述参照框确定单元200包括：重叠度计算子单元210，用于计算目标物体的所述包围框与所述备选框集合中的每个备选框的重叠度；参照框选择子单元220，用于根据所述重叠度从所述备选框中选择参照框。
在一种可能的实现方式中，所述重叠度计算子单元210还用于：将所述包围框与所述备选框在一个顶点对齐；计算所述包围框与所述备选框对齐后的交集面积与并集面积的比值；将所述比值作为所述包围框与所述备选框的重叠度。
在一种可能的实现方式中，所述参照框选择子单元220还用于：若所述包围框与所述备选框的重叠度大于重叠度阈值，则将该备选框确定为参照框。
在一种可能的实现方式中，所述尺寸特征生成单元300还用于：将所述包围框与所述备选框的长度比、宽度比，以及所述长度比的自然对数和所述宽度比的自然对数作为所述尺寸相关特征。
图7为本发明又一实施例提供的物体检测装置的结构框图。如图7所示，在一种可能的实现方式中，还包括备选框集合选择单元500，用于：预先设置与物体类别相匹配的备选框集合；预判所述待检测物体的所属的物体类别；根据预判的所述物体类别，选择与所述物体类别相匹配的备选框集合。
本发明实施例的物体检测装置中各单元的功能可以参见上述方法的相关描述，在此不再赘述。
在一个可能的设计中，物体检测装置的结构中包括处理器和存储器，所述存储器用于存储支持物体检测装置执行上述物体检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述物体检测装置还可以包括通信接口，用于物体检测装置与其他设备或通信网络通信。
图8为本发明又一实施例提供的物体检测装置的结构框图。如图8所示，该装置包括：存储器101和处理器102，存储器101内存储有可在处理器102上运行的计算机程序。所述处理器102执行所述计算机程序时实现上述实施例中的物体检测方法。所述存储器101和处理器102的数量可以为一个或多个。
该装置还包括：
通信接口103，用于与外界设备进行通信，进行数据交互传输。
存储器101可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器101、处理器102和通信接口103独立实现，则存储器101、处理器102和通信接口103可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器101、处理器102及通信接口103集成在一块芯片上，则存储器101、处理器102及通信接口103可以通过内部接口完成相互间的通信。
又一方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述物体检测方法中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种物体检测方法，其特征在于，包括：
获取输入图像中的目标物体的包围框；
根据所述包围框从预先设置的备选框集合中确定出参照框；
根据所述参照框与所述包围框的尺寸，生成包围框尺寸相关特征向量，所述包围框尺寸相关特征向量包括所述包围框与所述参照框之间的大小关系的数据；
在机器学习模型中使用所述包围框尺寸相关特征向量对所述输入图像进行物体检测。
2.根据权利要求1所述的方法，其特征在于，根据所述包围框从预先设置的备选框集合中确定出参照框，包括：
计算目标物体的所述包围框与所述备选框集合中的每个备选框的重叠度；
根据所述重叠度从所述备选框中选择参照框。
3.根据权利要求2所述的方法，其特征在于，计算目标物体的所述包围框与所述备选框集合中的每个备选框的重叠度，包括：
将所述包围框与所述备选框在一个顶点对齐；
计算所述包围框与所述备选框对齐后的交集面积与并集面积的比值；
将所述比值作为所述包围框与所述备选框的重叠度。
4.根据权利要求2所述的方法，其特征在于，根据所述重叠度从所述备选框中选择参照框，包括：
若所述包围框与所述备选框的重叠度大于重叠度阈值，则将该备选框确定为参照框。
5.根据权利要求1-4中任一项所述的方法，其特征在于，根据所述参照框与所述包围框的尺寸，生成包围框尺寸相关特征向量，包括：
将所述包围框与所述备选框的长度比、宽度比，以及所述长度比的自然对数和所述宽度比的自然对数作为所述包围框尺寸相关特征向量。
6.根据权利要求1-4中任一项所述的方法，其特征在于，还包括：
预先设置与物体类别相匹配的备选框集合；
预判待检测物体的所属的物体类别；
根据预判的所述物体类别，选择与所述物体类别相匹配的备选框集合。
7.一种物体检测装置，其特征在于，包括：
包围框获取单元，用于获取输入图像中的目标物体的包围框；
参照框确定单元，用于根据所述包围框从预先设置的备选框集合中确定出参照框；
尺寸特征生成单元，用于根据所述参照框与所述包围框的尺寸，生成包围框尺寸相关特征向量，所述包围框尺寸相关特征向量包括所述包围框与所述参照框之间的大小关系的数据；
物体检测单元，用于在机器学习模型中使用所述包围框尺寸相关特征向量对所述输入图像进行物体检测。
8.根据权利要求7所述的装置，其特征在于，所述参照框确定单元包括：
重叠度计算子单元，用于计算目标物体的所述包围框与所述备选框集合中的每个备选框的重叠度；
参照框选择子单元，用于根据所述重叠度从所述备选框中选择参照框。
9.根据权利要求8所述的装置，其特征在于，所述重叠度计算子单元还用于：
将所述包围框与所述备选框在一个顶点对齐；
计算所述包围框与所述备选框对齐后的交集面积与并集面积的比值；
将所述比值作为所述包围框与所述备选框的重叠度。
10.根据权利要求8所述的装置，其特征在于，所述参照框选择子单元还用于：
若所述包围框与所述备选框的重叠度大于重叠度阈值，则将该备选框确定为参照框。
11.根据权利要求7-10中任一项所述的装置，其特征在于，所述尺寸特征生成单元还用于：
将所述包围框与所述备选框的长度比、宽度比，以及所述长度比的自然对数和所述宽度比的自然对数作为所述包围框尺寸相关特征向量。
12.根据权利要求7-10中任一项所述的装置，其特征在于，还包括备选框集合选择单元，用于：
预先设置与物体类别相匹配的备选框集合；
预判待检测物体的所属的物体类别；
根据预判的所述物体类别，选择与所述物体类别相匹配的备选框集合。
13.一种物体检测装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201811018729.6A 2018-09-03 2018-09-03 物体检测方法、装置及存储介质 Active CN109145931B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811018729.6A CN109145931B (zh) 2018-09-03 2018-09-03 物体检测方法、装置及存储介质
JP2019124461A JP6871314B2 (ja) 2018-09-03 2019-07-03 物体検出方法、装置及び記憶媒体
EP19185959.4A EP3620981B1 (en) 2018-09-03 2019-07-12 Object detection method, device, apparatus and computer-readable storage medium
US16/512,249 US11113836B2 (en) 2018-09-03 2019-07-15 Object detection method, device, apparatus and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811018729.6A CN109145931B (zh) 2018-09-03 2018-09-03 物体检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109145931A CN109145931A (zh) 2019-01-04
CN109145931B true CN109145931B (zh) 2019-11-05

Family

ID=64826308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811018729.6A Active CN109145931B (zh) 2018-09-03 2018-09-03 物体检测方法、装置及存储介质

Country Status (4)

Country Link
US (1) US11113836B2 (zh)
EP (1) EP3620981B1 (zh)
JP (1) JP6871314B2 (zh)
CN (1) CN109145931B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582257A (zh) * 2019-02-15 2020-08-25 波音公司 用于对待检测对象进行检测的方法、装置及系统
CN112241675A (zh) * 2019-07-19 2021-01-19 百度在线网络技术（北京）有限公司 物体检测模型训练方法及装置
CN111553204B (zh) * 2020-04-10 2024-05-28 国网内蒙古东部电力有限公司 一种基于遥感影像的输电杆塔检测方法
CN111860493B (zh) * 2020-06-12 2024-02-09 北京图森智途科技有限公司 一种基于点云数据的目标检测方法及装置
CN112037196A (zh) * 2020-08-31 2020-12-04 中冶赛迪重庆信息技术有限公司 一种冷床倍尺检测方法、系统及介质
KR102464130B1 (ko) * 2020-09-17 2022-11-08 광주과학기술원 대상 객체의 크기를 식별하는 방법 및 장치
CN112153320B (zh) * 2020-09-23 2022-11-08 北京京东振世信息技术有限公司 一种物品尺寸的测量方法、装置、电子设备和存储介质
CN112381132A (zh) * 2020-11-11 2021-02-19 上汽大众汽车有限公司 一种基于多个摄像头融合的目标物跟踪方法和系统
US11622073B2 (en) 2020-11-30 2023-04-04 Yandex Europe Ag Method of generating a panoramic image
CN112934758B (zh) * 2020-12-14 2022-10-14 中科院计算所西部高等技术研究院 基于图像识别的煤炭分拣拨手控制方法
CN112884787B (zh) * 2021-01-28 2023-09-15 北京有竹居网络技术有限公司 图像剪裁方法、装置、可读介质及电子设备
CN113762315A (zh) * 2021-02-04 2021-12-07 北京京东振世信息技术有限公司 图像检测方法、装置、电子设备和计算机可读介质
CN113378005B (zh) * 2021-06-03 2023-06-02 北京百度网讯科技有限公司 事件处理方法、装置、电子设备以及存储介质
CN113658293B (zh) * 2021-07-29 2023-07-21 北京奇艺世纪科技有限公司 图片绘制方法、装置、电子设备及存储介质
AU2021240270A1 (en) * 2021-09-13 2023-03-30 Sensetime International Pte. Ltd. Data processing methods, apparatuses and systems, media and computer devices
CN115035186B (zh) * 2021-12-03 2023-04-11 荣耀终端有限公司 目标对象标记方法和终端设备
CN114973333B (zh) * 2022-07-13 2023-07-25 北京百度网讯科技有限公司 人物交互检测方法、装置、设备以及存储介质
CN117437397A (zh) * 2022-07-15 2024-01-23 马上消费金融股份有限公司 模型训练方法、目标检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301378A (zh) * 2017-05-26 2017-10-27 上海交通大学 图像中多分类器集成的行人检测方法和系统
CN108009544A (zh) * 2017-12-13 2018-05-08 北京小米移动软件有限公司 目标检测方法及装置
CN108230292A (zh) * 2017-04-11 2018-06-29 北京市商汤科技开发有限公司 物体检测方法和神经网络的训练方法、装置及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002855A1 (en) * 2006-07-03 2008-01-03 Barinder Singh Rai Recognizing An Unidentified Object Using Average Frame Color
US9613273B2 (en) * 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
JP2017191501A (ja) * 2016-04-14 2017-10-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10210418B2 (en) * 2016-07-25 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Object detection system and object detection method
US20180204076A1 (en) * 2017-01-13 2018-07-19 The Regents Of The University Of California Moving object detection and classification image analysis methods and systems
CN107134144B (zh) * 2017-04-27 2019-07-12 武汉理工大学 一种用于交通监控的车辆检测方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
US11004209B2 (en) * 2017-10-26 2021-05-11 Qualcomm Incorporated Methods and systems for applying complex object detection in a video analytics system
CN108875537B (zh) * 2018-02-28 2022-11-08 北京旷视科技有限公司 对象检测方法、装置和系统及存储介质
US20190304102A1 (en) * 2018-03-30 2019-10-03 Qualcomm Incorporated Memory efficient blob based object classification in video analytics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230292A (zh) * 2017-04-11 2018-06-29 北京市商汤科技开发有限公司 物体检测方法和神经网络的训练方法、装置及电子设备
CN107301378A (zh) * 2017-05-26 2017-10-27 上海交通大学 图像中多分类器集成的行人检测方法和系统
CN108009544A (zh) * 2017-12-13 2018-05-08 北京小米移动软件有限公司 目标检测方法及装置

Also Published As

Publication number Publication date
EP3620981A1 (en) 2020-03-11
EP3620981B1 (en) 2023-10-25
CN109145931A (zh) 2019-01-04
JP6871314B2 (ja) 2021-05-12
JP2020038619A (ja) 2020-03-12
US20200074665A1 (en) 2020-03-05
US11113836B2 (en) 2021-09-07

Similar Documents

Publication Publication Date Title
CN109145931B (zh) 物体检测方法、装置及存储介质
CN110309824B (zh) 文字检测方法、装置以及终端
US9773302B2 (en) Three-dimensional object model tagging
US8401292B2 (en) Identifying high saliency regions in digital images
US9141873B2 (en) Apparatus for measuring three-dimensional position, method thereof, and program
US7127107B2 (en) Land partition data generating method and apparatus
CN108921089A (zh) 车道线检测方法、装置和系统及存储介质
CN102739911B (zh) 图像处理装置及图像处理方法
CN106295502A (zh) 一种人脸检测方法及装置
CN109816745A (zh) 人体热力图展示方法及相关产品
CN102739951A (zh) 图像处理装置及图像处理方法
CN111461070B (zh) 文本识别方法、装置、电子设备及存储介质
CN107016348A (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN107481101A (zh) 穿衣推荐方法及其装置
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
US8396297B2 (en) Supervised edge detection using fractal signatures
JP2009025910A (ja) 障害物検出装置、障害物検出システム及び障害物検出方法
CN103995860A (zh) 一种基于颜色特征提取的图像检索系统及其方法
CN111325107A (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN111444806B (zh) 基于监控视频的商品触碰信息聚类方法、装置和设备
CN107113421B (zh) 一种光学系统成像质量的检测方法和装置
CN112883920A (zh) 基于点云深度学习的三维人脸扫描特征点检测方法和装置
CN109059780B (zh) 检测障碍物高度的方法、装置、设备及存储介质
CN110264522A (zh) 物品操作者的检测方法、装置、设备和存储介质
JP2011150626A (ja) 画像分類方法、装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211013

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

TR01 Transfer of patent right