CN108846826A - 物体检测方法、装置、图像处理设备及存储介质 - Google Patents

物体检测方法、装置、图像处理设备及存储介质 Download PDF

Info

Publication number
CN108846826A
CN108846826A CN201810373286.6A CN201810373286A CN108846826A CN 108846826 A CN108846826 A CN 108846826A CN 201810373286 A CN201810373286 A CN 201810373286A CN 108846826 A CN108846826 A CN 108846826A
Authority
CN
China
Prior art keywords
predicted
characteristic pattern
frame
characteristic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810373286.6A
Other languages
English (en)
Other versions
CN108846826B (zh
Inventor
施建源
陈剑勇
朱映映
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201810373286.6A priority Critical patent/CN108846826B/zh
Publication of CN108846826A publication Critical patent/CN108846826A/zh
Application granted granted Critical
Publication of CN108846826B publication Critical patent/CN108846826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用计算机技术领域，提供了一种物体检测方法、装置、图像处理设备及存储介质，该方法包括：通过训练好的卷积神经网络提取待检测图像在不同卷积层的特征图，从这些特征图中选取待预测特征图，在待预测特征图的每个特征值位置处生成与待检测图像尺寸相关的先验框，通过训练好的特征增强模块和预测模块，对待预测特征图进行预测，生成每个先验框对应的预测框，根据待预测特征图上的预测框，确定待检测图像上的目标物体类别和目标物体位置，从而有效地提高待检测图像上较小物体的检测效果，降低了复杂背景对检测结果的干扰，并实现多尺寸待检测图像的物体检测，进而有效地提高了物体检测的速度、效率和灵活性。

Description

物体检测方法、装置、图像处理设备及存储介质
技术领域
本发明属于计算机技术领域，尤其涉及一种物体检测方法、装置、图像处理设备及存储介质。
背景技术
随着无人驾驶、人脸检测、智能视频监控等应用的蓬勃发展，检测速度和检测准确度是制约物体检测技术在各种应用上部署的重要因素，基于传统特征提取的物体检测技术都存在检测准确率低、检测速度慢的问题。
目前，对图像进行物体检测的主流做法是采用基于卷积神经网络的物体检测技术，相对于基于传统特征提取的物体检测技术，基于卷积神经网络的物体检测技术能够实现更快速、更准确的检测。然而，现有的基于卷积神经网络的物体检测技术难检测出图像中较小的物体、且易于被复杂背景干扰，检测速度和检测准确度仍有待提高，此外，现有的物体检测技术大多只能对单一尺寸的图像进行物体检测，灵活性不足。
发明内容
本发明的目的在于提供一种物体检测方法、装置、图像处理设备及存储介质，旨在解决由于现有技术无法提供一种有效的物体检测方法，导致物体检测的检测速度不高、检测准确度不足、以及灵活性不足的问题。
一方面，本发明提供了一种物体检测方法，所述方法包括下述步骤：
接收待检测图像，通过预先训练好的卷积神经网络对所述待检测图像进行特征提取，以得到所述待检测图像在不同卷积层的特征图；
从所述提取得到的所有特征图中选取预设数目个待预测特征图，在每个所述待预测特征图的每个特征值位置处生成相应的先验框；
通过预先训练好的特征增强模块和预测模块，对每个所述待预测特征图进行预测，生成所述每个先验框对应的预测框；
根据所述待预测特征图上的所述预测框，确定所述待检测图像上的目标物体类别和目标物体位置。
另一方面，本发明提供了一种物体检测装置，所述装置包括：
特征提取单元，用于接收待检测图像，通过预先训练好的卷积神经网络对所述待检测图像进行特征提取，以得到所述待检测图像在不同卷积层的特征图；
先验框生成单元，用于从所述提取得到的所有特征图中选取预设数目个待预测特征图，在每个所述待预测特征图的每个特征值位置处生成相应的先验框；
特征图预测单元，用于通过预先训练好的特征增强模块和预测模块，对每个所述待预测特征图进行预测，生成所述每个先验框对应的预测框；以及
目标物体确定单元，用于根据所述待预测特征图上的所述预测框，确定所述待检测图像上的目标物体类别和目标物体位置。
另一方面，本发明还提供了一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述物体检测方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述物体检测方法所述的步骤。
本发明通过训练好的卷积神经网络提取待检测图像在不同卷积层的特征图，在从这些特征图中选取的待预测特征图的每个特征位置处，生成与待检测图像尺寸相关的先验框，通过训练好的特征增强模块和预测模块，对待预测特征图进行预测，生成每个先验框对应的预测框，根据这些预测框确定待检测图像上的目标物体类别和目标物体位置，从而通过图像卷积特征的增强，提高待检测图像上较小物体的检测效果、降低复杂背景对检测结果的干扰，通过生成与待检测图像尺寸相适应的先验框，实现多尺寸待检测图像的物体检测，进而有效地提高了物体检测的速度、效率和灵活性。
附图说明
图1是本发明实施例一提供的物体检测方法的实现流程图；
图2是本发明实施例二提供的物体检测装置的结构示意图；
图3是本发明实施例二提供的物体检测装置的优选结构示意图；以及
图4是本发明实施例三提供的图像处理设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的物体检测方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，接收待检测图像，通过预先训练好的卷积神经网络对待检测图像进行特征提取，以得到待检测图像在不同卷积层的特征图。
本发明实施例适用于对图像上的目标物体进行检测的平台或系统。在训练卷积神经网络时，可收集训练图像集，训练图像集中每张训练图像上存在一个或多个标准框体，这些标准框体用来标记训练图像上目标物体的位置和类别，因此卷积神经网络的训练过程为有监督训练。作为示例地，可采用现有公共数据集作为训练图像集，如COCO数据集、VOC数据集，这些现有公共数据集中的图像上都预先标记出了标准框体，此外，也可参照物体检测算法YOLO、MultiBox和Faster R-CNN中的RPN在训练图像上制作标准框体。
在本发明实施例中，通过训练好的卷积神经网络对待检测图像进行特征提取，得到待检测图像在卷积神经网络不同卷积层的特征图，不同卷积层的特征图尺寸不同。在预先训练卷积神经网络时，可先构建卷积神经网络，卷积神经网络由多层卷积层构成，不包含全连接层，再对卷积神经网络的参数进行初始化，通过训练数据集对卷积神经网络、后续的特征增强模块和后续的预测模块进行有监督训练。
在本发明实施例中，在有监督训练过程中，可通过卷积神经网络提取训练图像的特征图，生成相应特征图上的先验框，再通过后续特征增强模块、预测模块得到每个先验框对应的预测框，通过将先验框与标准框进行匹配，来确定预测框与标准框的关系，再通过预设的损失函数来计算预测框与标准框之间的误差，进而根据该误差对卷积神经网络、后续的特征增强模块和后续的预测模块进行参数调整。作为示例地，先验框与标准框的匹配方式和损失函数都可参照物体检测算法MultiBox进行设计。
在步骤S102中，从提取得到的所有特征图中选取预设数目个待预测特征图，在每个待预测特征图的每个特征值位置处生成与待检测图像尺寸相关的先验框。
在本发明实施例中，从所有特征图中选取预设数目个待预测特征图，优选地，根据卷积神经网络的层数，从卷积神经网络按照从高层到低层的方式挑选池化层前的预设数目个待预测特征图，从而有效地避免挑选太过于低层的特征图，导致物体检测的计算量较大。预设数目在此不进行限制，可根据卷积神经网络的层数或者待检测图像的尺寸确定。
在本发明实施例中，在待预测特征图的每个特征值位置处生成与待检测图像尺寸相关的先验框，从而依据待检测图像的尺寸自适应性地生成先验框体，实现对多尺寸图像进行物体检测，有效提高物体检测的灵活性。优选地，在待预测特征图的每个特征值位置处生成与待检测图像尺寸相关的先验框时，通过下述步骤实现：
(1)根据卷积神经网络中待预测特征图所在的卷积层、待预测特征图的数目，计算每个待预测特征图对应的默认框尺寸。
在本发明实施例中，可根据待预测特征图在卷积神经网络中所在的卷积层，从低层到高层将待预测特征图进行排序，再根据卷积神经网络中待预测特征图所在的卷积层、待预测特征图的数目，计算每个待预测特征图对应的默认框尺寸。优选地，排序后第k个待预测特征图对应的默认框尺寸Sk的计算公式为：
其中，m为挑选的待预测特征图的数目，Smax为预设的最大默认框尺寸，Smin为预设的最小默认框尺寸，从而高层特征图对应较大的默认框尺寸，低层特征图对应较小的默认框尺寸，使得高层特征图用来检测尺寸较大的物体，低层特征图用来检测尺寸较小的物体，有效地提高了待检测图像中小物体的检测效果。
(2)根据默认框尺寸和预设的、待预测特征图上每个特征值位置处不同的长宽比，计算每个特征值位置处不同默认框的长宽值。
在本发明实施例中，为了待预测特征图上每个特征值位置处生成不同形状的默认框，可预先设置不同的长宽比，根据待预测特征图对应的默认框尺寸和不同的长宽比，计算待预测特征图上每个特征值位置处不同默认框的长宽值。
作为示例地，将每个特征值位置处不同的长宽比设置为对于长宽比为1的默认框，可另外添加一个尺寸因此每个待预测特征图上每个特征值位置处对应6个不同的默认框。
(3)根据待预测特征图上的每个特征值位置和待预测特征图的尺寸，计算每个特征值位置对应的默认框中心点位置。
在本发明实施例中，根据待预测特征图上的每个特征值位置和待预测特征图的尺寸，计算每个待预测特征图每个特征值位置对应的默认框中心点位置，默认框中心点位置表示为：
其中，|fk|为第k个待预测特征图的尺寸，(i,j)为待预测特征图上特征值的位置，从而在每个待预测特征图的每个特征值位置处生成多个默认框。
(4)计算待预测特征图上默认框与先验框之间的坐标关系，根据每个特征值位置处不同默认框的长宽值、默认框中心点位置和待预测特征图上默认框与先验框之间的坐标关系，生成待预测特征图上每个特征值位置处每个默认框对应的先验框。
在本发明实施例中，由于默认框用来辅助生成先验框，默认框的尺寸对应的是待预测特征图的尺寸，先验框的尺寸对应的是待检测图像的尺寸，因此可根据待预测特征图的尺寸、待检测图像的尺寸，来计算待预测特征图上默认框与先验框的坐标关系，在确定这些坐标关系后，可在每张待预测特征图上每个特征值位置处每个默认框对应的先验框。
优选地，在根据待预测特征图的尺寸、待检测图像的尺寸，计算待预测特征图上默认框与先验框的坐标关系时，计算待预测特征图尺寸与待检测图像尺寸的比值，将该比值设置为默认框与先验框的坐标关系，从而依据待检测图像的尺寸自适应性地生成先验框体，实现对多尺寸图像进行物体检测，有效提高物体检测的灵活性。
在步骤S103中，通过预先训练好的特征增强模块和预测模块，对每个待预测特征图进行预测，生成每个先验框对应的预测框。
在本发明实施例中，由于低层的待预测特征图为卷积神经网络的低层，提取的特征信息较为粗糙、且语义表达能力较差，导致物体检测中对物体的类别进行分类时，容易与背景或其它相似物体混淆。此外，相较于高层的待预测特征图，通过预测模块的卷积操作对低层的待预测特征图进行预测时，产生的预测量很多，而且大多数的预测都是负样本，进而导致物体检测整体不稳定。因此，通过特征增强模块对待预测特征图进行特征增强处理，以使得低层的待预测特征图具有更好的语义特征，使得每层的待预测特征图具有更大的感受野，还能够缓冲低层的待预测特征图在预测时对物体检测稳定性的冲击。
优选地，特征增强模块由多层卷积层或inception V3结构构成，从而有效地提高对待预测特征图的特征增强效果。进一步优选地，当特征增强模块由多层卷积层构成时，卷积层的层数为3层，从而使得由多层卷积层构成的特征增强模块达到最佳的特征增强效果，进而提高待检测图像的后续检测效果。
在本发明实施例中，可通过预测模块计算待预测特征图上每个特征值位置相应的预测值，所得到的预测值包括每个先验框对应的类别预测值和偏距预测值，进而可根据先验框的位置信息和先验框对应的偏距预测值，计算得到待预测特征图上每个先验框对应的预测框的位置信息，每个先验框对应的类别预测值即每个先验框对应的预测框的类别预测值，预测框的类别预测值为预测框中的物体属于不同的预设目标类别的概率。
在本发明实施例中，预测模块由多个卷积核构成的一个卷积层，卷积核在待预测特征图上进行一次卷积运算，待预测特征图的每个特征值位置处会产生一个预测值，因此可根据需要产生的预测值的数量，来确定预测模块中卷积核的数量。作为示例地，预设的目标类别的数量为c，待预测特征图上每个特征值位置处先验框的数量为f，每个先验框对应4个偏距预测值，可计算得到对于一个m*n大小的待预测特征图，待预测特征图的每个特征值位置对应f个预测框，需要f*(c+4)个卷积核，最终产生(c+4)f*m*n个预测值。
在步骤S104中，根据待预测特征图上的预测框，确定待检测图像上的目标物体类别和目标物体位置。
在本发明实施例中，在得到待预测特征图上每个特征位置处的预测框后，可对冗余的预测结果(即预测框)进行消除得到最终的检测结果。可通过对待预测特征图上的所有预测框进行非极大值抑制处理(non maximum suppression，NMS)，来消除冗余的预测结果，剩下的预测框为待检测图像上的检测框，根据这些检测框的位置信息和检测框中物体属于不同的目标类别的概率，获得待检测图像上的目标物体类别和目标物体位置。
在本发明实施例中，从待检测图像在不同卷积层的特征图中选取待预测特征图，在待预测特征图的每个特征位置处生成与待检测图像尺寸相关的先验框，通过特征增强模块和预测模块生成待预测特征图上每个先验框对应的预测框，根据这些预测框确定待检测图像上的目标物体类别和目标物体位置，从而提高了待检测图像上较小物体的检测效果，降低了复杂背景对检测结果的干扰，并实现多尺寸待检测图像的物体检测，进而有效地提高了物体检测的速度、效率和灵活性。
实施例二：
图2示出了本发明实施例二提供的物体检测装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
特征提取单元21，用于接收待检测图像，通过预先训练好的卷积神经网络对待检测图像进行特征提取，以得到待检测图像在不同卷积层的特征图。
在本发明实施例中，通过训练好的卷积神经网络对待检测图像进行特征提取，得到待检测图像在卷积神经网络不同卷积层的特征图，不同卷积层的特征图尺寸不同。在预先训练卷积神经网络时，可先构建卷积神经网络，卷积神经网络由多层卷积层构成，不包含全连接层，再对卷积神经网络的参数进行初始化，通过训练数据集对卷积神经网络、后续的特征增强模块和后续的预测模块进行有监督训练。
先验框生成单元22，用于从提取得到的所有特征图中选取预设数目个待预测特征图，在每个待预测特征图的每个特征值位置处生成与待检测图像尺寸相关的先验框。
在本发明实施例中，从所有特征图中选取预设数目个待预测特征图，优选地，根据卷积神经网络的层数，从卷积神经网络按照从高层到低层的方式挑选池化层前的预设数目个待预测特征图，从而有效地避免挑选太过于低层的特征图，导致物体检测的计算量较大。预设数目在此不进行限制，可根据卷积神经网络的层数或者待检测图像的尺寸确定。
在本发明实施例中，在待预测特征图的每个特征值位置处生成与待检测图像尺寸相关的先验框，从而依据待检测图像的尺寸自适应性地生成先验框体，实现对多尺寸图像进行物体检测，有效提高物体检测的灵活性。
特征图预测单元23，用于通过预先训练好的特征增强模块和预测模块，对每个待预测特征图进行预测，生成每个先验框对应的预测框。
在本发明实施例中，由于低层的待预测特征图为卷积神经网络的低层，提取的特征信息较为粗糙、且语义表达能力较差，导致物体检测中对物体的类别进行分类时，容易与背景或其它相似物体混淆。此外，相较于高层的待预测特征图，通过预测模块的卷积操作对低层的待预测特征图进行预测时，产生的预测量很多，而且大多数的预测都是负样本，进而导致物体检测整体不稳定。因此，通过特征增强模块对待预测特征图进行特征增强处理，以使得低层的待预测特征图具有更好的语义特征，使得每层的待预测特征图具有更大的感受野，还能够缓冲低层的待预测特征图在预测时对物体检测稳定性的冲击。
优选地，特征增强模块由多层卷积层或inception V3结构构成，从而有效地提高对待预测特征图的特征增强效果。进一步优选地，当特征增强模块由多层卷积层构成时，卷积层的层数为3层，从而使得由多层卷积层构成的特征增强模块达到最佳的特征增强效果，进而提高待检测图像的后续检测效果。
在本发明实施例中，可通过预测模块计算待预测特征图上每个特征值位置相应的预测值，所得到的预测值包括每个先验框对应的类别预测值和偏距预测值，进而可根据先验框的位置信息和先验框对应的偏距预测值，计算得到待预测特征图上每个先验框对应的预测框的位置信息，每个先验框对应的类别预测值即每个先验框对应的预测框的类别预测值，预测框的类别预测值为预测框中的物体属于不同的预设目标类别的概率。
在本发明实施例中，预测模块由多个卷积核构成的一个卷积层，卷积核在待预测特征图上进行一次卷积运算，待预测特征图的每个特征值位置处会产生一个预测值，因此可根据需要产生的预测值的数量，来确定预测模块中卷积核的数量。作为示例地，预设的目标类别的数量为c，待预测特征图上每个特征值位置处先验框的数量为f，每个先验框对应4个偏距预测值，可计算得到对于一个m*n大小的待预测特征图，待预测特征图的每个特征值位置对应f个预测框，需要f*(c+4)个卷积核，最终产生(c+4)f*m*n个预测值。
目标物体确定单元24，用于根据待预测特征图上的预测框，确定待检测图像上的目标物体类别和目标物体位置。
在本发明实施例中，在得到待预测特征图上每个特征位置处的预测框后，可对冗余的预测结果(即预测框)进行消除得到最终的检测结果。可通过对待预测特征图上的所有预测框进行非极大值抑制处理(non maximum suppression，NMS)，来消除冗余的预测结果，剩下的预测框为待检测图像上的检测框，根据这些检测框的位置信息和检测框中物体属于不同的目标类别的概率，获得待检测图像上的目标物体类别和目标物体位置。
优选地，如图3所示，先验框生成单元22包括：
尺寸计算单元321，用于根据卷积神经网络中待预测特征图所在的卷积层、待预测特征图的数目，计算每个待预测特征图对应的默认框尺寸。
在本发明实施例中，可根据待预测特征图在卷积神经网络中所在的卷积层，从低层到高层将待预测特征图进行排序，再根据卷积神经网络中待预测特征图所在的卷积层、待预测特征图的数目，计算每个待预测特征图对应的默认框尺寸。优选地，排序后第k个待预测特征图对应的默认框尺寸Sk的计算公式为：
其中，m为挑选的待预测特征图的数目，Smax为预设的最大默认框尺寸，Smin为预设的最小默认框尺寸，从而高层特征图对应较大的默认框尺寸，低层特征图对应较小的默认框尺寸，使得高层特征图用来检测尺寸较大的物体，低层特征图用来检测尺寸较小的物体，有效地提高了待检测图像中小物体的检测效果。
长宽计算单元322，用于根据默认框尺寸和预设的、待预测特征图上每个特征值位置处不同的长宽比，计算每个特征值位置处不同默认框的长宽值。
在本发明实施例中，为了待预测特征图上每个特征值位置处生成不同形状的默认框，可预先设置不同的长宽比，根据待预测特征图对应的默认框尺寸和不同的长宽比，计算待预测特征图上每个特征值位置处不同默认框的长宽值。
作为示例地，将每个特征值位置处不同的长宽比设置为对于长宽比为1的默认框，可另外添加一个尺寸因此每个待预测特征图上每个特征值位置处对应6个不同的默认框。
中心计算单元323，用于根据待预测特征图上的每个特征值位置和待预测特征图的尺寸，计算每个特征值位置对应的默认框中心点位置。
在本发明实施例中，根据待预测特征图上的每个特征值位置和待预测特征图的尺寸，计算每个待预测特征图每个特征值位置对应的默认框中心点位置，默认框中心点位置表示为：
其中，|fk|为第k个待预测特征图的尺寸，(i,j)为待预测特征图上特征值的位置，从而在每个待预测特征图的每个特征值位置处生成多个默认框。
先验框生成子单元324，用于计算待预测特征图上默认框与先验框之间的坐标关系，根据每个特征值位置处不同默认框的长宽值、默认框中心点位置和待预测特征图上默认框与先验框之间的坐标关系，生成待预测特征图上每个特征值位置处每个默认框对应的先验框。
在本发明实施例中，由于默认框用来辅助生成先验框，默认框的尺寸对应的是待预测特征图的尺寸，先验框的尺寸对应的是待检测图像的尺寸，因此可根据待预测特征图的尺寸、待检测图像的尺寸，来计算待预测特征图上默认框与先验框的坐标关系，在确定这些坐标关系后，可在每张待预测特征图上每个特征值位置处每个默认框对应的先验框。
进一步优选地，在根据待预测特征图的尺寸、待检测图像的尺寸，计算待预测特征图上默认框与先验框的坐标关系时，计算待预测特征图尺寸与待检测图像尺寸的比值，将该比值设置为默认框与先验框的坐标关系，从而依据待检测图像的尺寸自适应性地生成先验框体，实现对多尺寸图像进行物体检测，有效提高物体检测的灵活性。
优选地，特征图预测单元23包括：
特征图增强单元331，用于通过特征增强模块对待预测特征图进行特征增强处理；
预测值计算单元332，用于通过预测模块计算处理后的待预测特征图上每个特征值位置相应的预测值，预测值包括类别预测值和偏距预测值；以及
预测框生成单元333，用于根据待预测特征图每个特征值位置处的先验框、偏距预测值，计算每个先验框对应的预测框的位置信息，类别预测值为预测框中的物体属于不同的预设目标类别的概率。
在本发明实施例中，从待检测图像在不同卷积层的特征图中选取待预测特征图，在待预测特征图的每个特征位置处生成与待检测图像尺寸相关的先验框，通过特征增强模块和预测模块生成待预测特征图上每个先验框对应的预测框，根据这些预测框确定待检测图像上的目标物体类别和目标物体位置，从而提高了待检测图像上较小物体的检测效果，降低了复杂背景对检测结果的干扰，并实现多尺寸待检测图像的物体检测，进而有效地提高了物体检测的速度、效率和灵活性。
在本发明实施例中，物体检测装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例三：
图4示出了本发明实施例三提供的图像处理设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的图像处理设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器40执行计算机程序42时实现上述装置实施例中各单元的功能，例如图2所示单元21至24的功能。
在本发明实施例中，从待检测图像在不同卷积层的特征图中选取待预测特征图，在待预测特征图的每个特征位置处生成与待检测图像尺寸相关的先验框，通过特征增强模块和预测模块生成待预测特征图上每个先验框对应的预测框，根据这些预测框确定待检测图像上的目标物体类别和目标物体位置，从而提高了待检测图像上较小物体的检测效果，降低了复杂背景对检测结果的干扰，并实现多尺寸待检测图像的物体检测，进而有效地提高了物体检测的速度、效率和灵活性。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述装置实施例中各单元的功能，例如图2所示单元21至24的功能。
在本发明实施例中，从待检测图像在不同卷积层的特征图中选取待预测特征图，在待预测特征图的每个特征位置处生成与待检测图像尺寸相关的先验框，通过特征增强模块和预测模块生成待预测特征图上每个先验框对应的预测框，根据这些预测框确定待检测图像上的目标物体类别和目标物体位置，从而提高了待检测图像上较小物体的检测效果，降低了复杂背景对检测结果的干扰，并实现多尺寸待检测图像的物体检测，进而有效地提高了物体检测的速度、效率和灵活性。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种物体检测方法，其特征在于，所述方法包括下述步骤：
接收待检测图像，通过预先训练好的卷积神经网络对所述待检测图像进行特征提取，以得到所述待检测图像在不同卷积层的特征图；
从所述提取得到的所有特征图中选取预设数目个待预测特征图，在每个所述待预测特征图的每个特征值位置处生成与所述待检测图像尺寸相关的先验框；
通过预先训练好的特征增强模块和预测模块，对每个所述待预测特征图进行预测，生成所述每个先验框对应的预测框；
根据所述待预测特征图上的所述预测框，确定所述待检测图像上的目标物体类别和目标物体位置。
2.如权利要求1所述的方法，其特征在于，在每个所述待预测特征图的每个特征值位置处生成与所述待检测图像尺寸相关的先验框的步骤，包括：
根据所述卷积神经网络中所述待预测特征图所在的卷积层、所述待预测特征图的数目，计算所述每个待预测特征图对应的默认框尺寸；
根据所述默认框尺寸和预设的、所述待预测特征图上每个特征值位置处不同的长宽比，计算所述每个特征值位置处不同默认框的长宽值；
根据所述待预测特征图上的每个特征值位置和所述待预测特征图的尺寸，计算所述每个特征值位置对应的默认框中心点位置；
计算所述待预测特征图上所述默认框与所述先验框之间的坐标关系，根据所述每个特征值位置处不同默认框的长宽值、所述默认框中心点位置和所述待预测特征图上所述默认框与所述先验框之间的坐标关系，生成所述待预测特征图上每个特征值位置处所述每个默认框对应的先验框。
3.如权利要求2所述的方法，其特征在于，计算所述待预测特征图上所述默认框与所述先验框之间的坐标关系的步骤，包括：
根据所述待预测特征图的尺寸和所述待检测图像的尺寸，计算所述待预测特征图上所述默认框与所述先验框之间的坐标关系。
4.如权利要求1所述的方法，其特征在于，通过预先训练好的特征增强模块和预测模块，对每个所述待预测特征图进行预测，生成所述每个先验框对应的预测框的步骤，包括：
通过所述特征增强模块对所述待预测特征图进行特征增强处理；
通过所述预测模块计算所述处理后的待预测特征图上每个特征值位置相应的预测值，所述预测值包括类别预测值和偏距预测值；
根据所述待预测特征图每个特征值位置处的所述先验框、所述偏距预测值，计算所述每个先验框对应的预测框的位置信息，所述类别预测值为所述预测框中的物体属于不同的预设目标类别的概率。
5.如权利要求1所述的方法，其特征在于，确定所述待检测图像上的目标物体类别和目标物体位置的步骤，包括：
通过对所述待预测特征图上的所述所有预测框进行非极大值抑制处理，确定所述待检测图像上的检测框；
根据所述检测框的位置信息和所述检测框中的物体属于不同的预设目标类别的概率，获得所述待检测图像上的目标物体类别和目标物体位置。
6.一种物体检测装置，其特征在于，所述装置包括：
特征提取单元，用于接收待检测图像，通过预先训练好的卷积神经网络对所述待检测图像进行特征提取，以得到所述待检测图像在不同卷积层的特征图；
先验框生成单元，用于从所述提取得到的所有特征图中选取预设数目个待预测特征图，在每个所述待预测特征图的每个特征值位置处生成与所述待检测图像尺寸相关的先验框；
特征图预测单元，用于通过预先训练好的特征增强模块和预测模块，对每个所述待预测特征图进行预测，生成所述每个先验框对应的预测框；以及
目标物体确定单元，用于根据所述待预测特征图上的所述预测框，确定所述待检测图像上的目标物体类别和目标物体位置。
7.如权利要求6所述的装置，其特征在于，所述先验框生成单元包括：
尺寸计算单元，用于根据所述卷积神经网络中所述待预测特征图所在的卷积层、所述待预测特征图的数目，计算所述每个待预测特征图对应的默认框尺寸；
长宽计算单元，用于根据所述默认框尺寸和预设的、所述待预测特征图上每个特征值位置处不同的长宽比，计算所述每个特征值位置处不同默认框的长宽值；
中心计算单元，用于根据所述待预测特征图上的每个特征值位置和所述待预测特征图的尺寸，计算所述每个特征值位置对应的默认框中心点位置；以及
先验框生成子单元，用于计算所述待预测特征图上所述默认框与所述先验框之间的坐标关系，根据所述每个特征值位置处不同默认框的长宽值、所述默认框中心点位置和所述待预测特征图上所述默认框与所述先验框之间的坐标关系，生成所述待预测特征图上每个特征值位置处所述每个默认框对应的先验框。
8.如权利要求6所述的装置，其特征在于，所述特征图预测单元包括：
特征图增强单元，用于通过所述特征增强模块对所述待预测特征图进行特征增强处理；
预测值计算单元，用于通过所述预测模块计算所述处理后的待预测特征图上每个特征值位置相应的预测值，所述预测值包括类别预测值和偏距预测值；以及
预测框生成单元，用于根据所述待预测特征图每个特征值位置处的所述先验框、所述偏距预测值，计算所述每个先验框对应的预测框的位置信息，所述类别预测值为所述预测框中的物体属于不同的预设目标类别的概率。
9.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201810373286.6A 2018-04-24 2018-04-24 物体检测方法、装置、图像处理设备及存储介质 Active CN108846826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810373286.6A CN108846826B (zh) 2018-04-24 2018-04-24 物体检测方法、装置、图像处理设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810373286.6A CN108846826B (zh) 2018-04-24 2018-04-24 物体检测方法、装置、图像处理设备及存储介质

Publications (2)

Publication Number Publication Date
CN108846826A true CN108846826A (zh) 2018-11-20
CN108846826B CN108846826B (zh) 2021-06-22

Family

ID=64212215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810373286.6A Active CN108846826B (zh) 2018-04-24 2018-04-24 物体检测方法、装置、图像处理设备及存储介质

Country Status (1)

Country Link
CN (1) CN108846826B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784181A (zh) * 2018-12-14 2019-05-21 平安科技（深圳）有限公司 图片水印识别方法、装置、设备及计算机可读存储介质
CN109916912A (zh) * 2019-04-01 2019-06-21 北京通运腾达科技发展有限公司 一种铁轨扣件病害检测方法及系统
CN110135503A (zh) * 2019-05-19 2019-08-16 重庆理工大学 一种装配机器人零件深度学习识别方法
CN110135408A (zh) * 2019-03-26 2019-08-16 北京捷通华声科技股份有限公司 文本图像检测方法、网络以及设备
CN110378381A (zh) * 2019-06-17 2019-10-25 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN110929774A (zh) * 2019-11-18 2020-03-27 腾讯科技（深圳）有限公司 图像中目标物的分类方法、模型训练方法和装置
CN111080697A (zh) * 2019-10-29 2020-04-28 北京海益同展信息科技有限公司 检测目标对象方向的方法、装置、计算机设备和存储介质
CN111160368A (zh) * 2019-12-24 2020-05-15 中国建设银行股份有限公司 图像中目标检测方法、装置、设备及存储介质
CN111476306A (zh) * 2020-04-10 2020-07-31 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质
CN111695478A (zh) * 2020-06-04 2020-09-22 济南信通达电气科技有限公司 一种目标检测方法及设备
CN111723736A (zh) * 2020-06-19 2020-09-29 中国农业科学院农业信息研究所 果树花期监测方法、装置、计算机设备及存储介质
WO2020223940A1 (zh) * 2019-05-06 2020-11-12 深圳大学 姿势预测方法、计算机设备和存储介质
CN112613564A (zh) * 2020-12-25 2021-04-06 桂林汉璟智能仪器有限公司 一种剔除重叠框的目标检测后处理方法
CN113114541A (zh) * 2021-06-15 2021-07-13 上海兴容信息技术有限公司 一种判断网络节点之间能否建立网络连接的方法和系统
CN113496139B (zh) * 2020-03-18 2024-02-13 北京京东乾石科技有限公司 从图像中检测目标和训练目标检测模型的方法和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
CN107657233A (zh) * 2017-09-28 2018-02-02 东华大学 基于改进型单次多目标检测器的静态手语实时识别方法
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN107741231A (zh) * 2017-10-11 2018-02-27 福州大学 一种基于机器视觉的多运动目标快速测距方法
US20180089505A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. System and method for deep network fusion for fast and robust object detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089505A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. System and method for deep network fusion for fast and robust object detection
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
CN107657233A (zh) * 2017-09-28 2018-02-02 东华大学 基于改进型单次多目标检测器的静态手语实时识别方法
CN107741231A (zh) * 2017-10-11 2018-02-27 福州大学 一种基于机器视觉的多运动目标快速测距方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN SZEGEDY等: ""Scalable high-quality object detection"", 《HTTPS://ARXIV.ORG/PDF/1412.1441.PDF》 *
DUMITRU ERHAN等: ""Scalable object detection using deep neural networks"", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
JIA-QI WANG等: ""Aircraft Detection in Remote Sensing Images via CNN Multi-scale Feature Representation"", 《2017 2ND INTERNATIONAL CONFERENCE ON SOFTWARE, MULTIMEDIA AND COMMUNICATION ENGINEERING》 *
LIBO ZHOU等: ""An overload behavior detection system for engineering transport vehicles based on deep learning"", 《HTTPS://AIP.SCITATION.ORG/DOI/PDF/10.1063/1.5033702》 *
MUHAMMAD ARFINA AFWANI等: ""Modifikasi Default-Boxes Pada Model SSD Untuk Meningkatkan Keakuratan Deteksi"", 《JURNAL IT CIDA》 *
WEI LIU等: ""SSD: Single shot multibox detector"", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
乔延军: ""面向户外增强现实的地理实体目标识别与检测"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
唐聪等: ""基于深度学习的多视窗SSD目标检测方法"", 《红外与激光工程》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784181B (zh) * 2018-12-14 2024-03-22 平安科技（深圳）有限公司 图片水印识别方法、装置、设备及计算机可读存储介质
CN109784181A (zh) * 2018-12-14 2019-05-21 平安科技（深圳）有限公司 图片水印识别方法、装置、设备及计算机可读存储介质
CN110135408A (zh) * 2019-03-26 2019-08-16 北京捷通华声科技股份有限公司 文本图像检测方法、网络以及设备
CN110135408B (zh) * 2019-03-26 2021-02-19 北京捷通华声科技股份有限公司 文本图像检测方法、网络以及设备
CN109916912A (zh) * 2019-04-01 2019-06-21 北京通运腾达科技发展有限公司 一种铁轨扣件病害检测方法及系统
WO2020223940A1 (zh) * 2019-05-06 2020-11-12 深圳大学 姿势预测方法、计算机设备和存储介质
US11348304B2 (en) 2019-05-06 2022-05-31 Shenzhen University Posture prediction method, computer device and storage medium
CN110135503A (zh) * 2019-05-19 2019-08-16 重庆理工大学 一种装配机器人零件深度学习识别方法
CN110135503B (zh) * 2019-05-19 2022-07-12 重庆理工大学 一种装配机器人零件深度学习识别方法
CN110378381A (zh) * 2019-06-17 2019-10-25 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN110378381B (zh) * 2019-06-17 2024-01-19 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN111080697A (zh) * 2019-10-29 2020-04-28 北京海益同展信息科技有限公司 检测目标对象方向的方法、装置、计算机设备和存储介质
CN111080697B (zh) * 2019-10-29 2024-04-09 京东科技信息技术有限公司 检测目标对象方向的方法、装置、计算机设备和存储介质
CN110929774B (zh) * 2019-11-18 2023-11-14 腾讯科技（深圳）有限公司 图像中目标物的分类方法、模型训练方法和装置
CN110929774A (zh) * 2019-11-18 2020-03-27 腾讯科技（深圳）有限公司 图像中目标物的分类方法、模型训练方法和装置
CN111160368A (zh) * 2019-12-24 2020-05-15 中国建设银行股份有限公司 图像中目标检测方法、装置、设备及存储介质
CN113496139B (zh) * 2020-03-18 2024-02-13 北京京东乾石科技有限公司 从图像中检测目标和训练目标检测模型的方法和设备
CN111476306A (zh) * 2020-04-10 2020-07-31 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质
CN111476306B (zh) * 2020-04-10 2023-07-28 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质
CN111695478A (zh) * 2020-06-04 2020-09-22 济南信通达电气科技有限公司 一种目标检测方法及设备
CN111723736A (zh) * 2020-06-19 2020-09-29 中国农业科学院农业信息研究所 果树花期监测方法、装置、计算机设备及存储介质
CN112613564A (zh) * 2020-12-25 2021-04-06 桂林汉璟智能仪器有限公司 一种剔除重叠框的目标检测后处理方法
CN113114541A (zh) * 2021-06-15 2021-07-13 上海兴容信息技术有限公司 一种判断网络节点之间能否建立网络连接的方法和系统
CN113114541B (zh) * 2021-06-15 2021-09-14 上海兴容信息技术有限公司 一种判断网络节点之间能否建立网络连接的方法和系统

Also Published As

Publication number Publication date
CN108846826B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN108846826A (zh) 物体检测方法、装置、图像处理设备及存储介质
CN110009679B (zh) 一种基于多尺度特征卷积神经网络的目标定位方法
CN108416250B (zh) 人数统计方法及装置
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
US10198821B2 (en) Automated tattoo recognition techniques
CN104700099B (zh) 识别交通标志的方法和装置
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110796048B (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN112949572B (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN110765865B (zh) 基于改进的yolo算法的水下目标检测方法
CN110321873A (zh) 基于深度学习卷积神经网络的敏感图片识别方法及系统
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN108932479A (zh) 一种人体异常行为检测方法
CN110991444B (zh) 面向复杂场景的车牌识别方法及装置
CN105160355B (zh) 一种基于区域相关和视觉单词的遥感图像变化检测方法
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CN111626295B (zh) 车牌检测模型的训练方法和装置
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN103593672A (zh) Adaboost分类器在线学习方法及系统
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN110069959A (zh) 一种人脸检测方法、装置及用户设备
CN109191418A (zh) 一种基于收缩自编码器特征学习的遥感图像变化检测方法
CN116563726A (zh) 一种基于卷积神经网络的遥感图像舰船目标检测方法
CN110706208A (zh) 一种基于张量均方最小误差的红外弱小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant