CN110852261A - 目标检测方法、装置、电子设备和可读存储介质 - Google Patents

目标检测方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN110852261A
CN110852261A CN201911090281.3A CN201911090281A CN110852261A CN 110852261 A CN110852261 A CN 110852261A CN 201911090281 A CN201911090281 A CN 201911090281A CN 110852261 A CN110852261 A CN 110852261A
Authority
CN
China
Prior art keywords
key points
acquiring
detected
class
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911090281.3A
Other languages
English (en)
Other versions
CN110852261B (zh
Inventor
翟佳
周嘉明
陈�峰
董毅
王锐
贾雨生
谢晓丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Environmental Features filed Critical Beijing Institute of Environmental Features
Priority to CN201911090281.3A priority Critical patent/CN110852261B/zh
Publication of CN110852261A publication Critical patent/CN110852261A/zh
Application granted granted Critical
Publication of CN110852261B publication Critical patent/CN110852261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种目标检测方法、装置、电子设备和计算机可读存储介质，方法包括：获取待检测图像，提取待检测图像的共享特征图；检测共享特征图中的多个关键点；每一关键点归属于一种物体类别；将共享特征图划分为多个区域，分别提取各个区域的区域特征；基于各个区域特征获取多个关键点中每两个关键点之间的关联编码；基于各个关联编码和检测得到的关键点，获取多个物体类别的类别概率；将最大的类别概率对应的物体类别确定为检测目标的类别。本申请提供的目标检测方法可以提高对目标检测的准确率。

Description

目标检测方法、装置、电子设备和可读存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种目标检测方法、 装置、电子设备和可读存储介质。
背景技术
目标检测是计算机视觉领域的重要研究方向之一，尤其是遥感图 像的目标检测，在视频监控、视觉导航、人机交互、精确制导等领域 有着广泛的应用前景。
现有技术中，针对于遥感图像的目标检测，通常采用深度神经网 络提取遥感图像中目标对应的特征，用于后续的区域分类和边界框回 归。但对于易混目标类型，以通用的候选框式标注方式来训练神经网 络很难保证类别之间的差异被准确识别出来，检测的准确度较低。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特别是对于 易混目标类型的检测准确度较低的技术缺陷。
本申请的目的通过如下技术方案实现：
第一方面，提供了一种目标检测方法，该方法包括：
获取待检测图像，提取待检测图像的共享特征图；检测共享特征 图中的多个关键点；每一关键点归属于一种物体类别；
将共享特征图划分为多个区域，分别提取各个区域的区域特征；
基于各个区域特征获取多个关键点中每两个关键点之间的关联编 码；
基于各个关联编码和检测得到的关键点，获取多个物体类别的类 别概率；将最大的类别概率对应的物体类别确定为检测目标的类别。
在第一方面的可选实施例中，检测共享特征图中的多个关键点， 包括：
基于预设的检测算法检测出共享特征图中的多个初始关键点；
采用预设分类器预测各个初始关键点的置信度，根据各个置信度 从多个初始关键点中筛选得到多个关键点，并得到关键点响应图。
在第一方面的可选实施例中，根据各个置信度从多个初始关键点 中筛选得到多个关键点，包括：
将置信度大于预设阈值的初始关键点作为关键点。
在第一方面的可选实施例中，基于各个区域特征获取多个关键点 中每两个关键点之间的关联编码，包括：
基于预设的变换矩阵将各个区域特征变换为特征向量；特征向量 的每一元素对应于每一区域；
基于特征向量获取多个关键点中每两个关键点之间的关联编码。
在第一方面的可选实施例中，基于各个关联编码和检测得到的关 键点，获取多个物体类别的类别概率，包括：
从待检测图像中获取多个候选区域；
针对于每一候选区域，在关键点响应图上对每一物体类型的关键 点寻找最高响应，得到该候选区域的感兴趣区域内，关键点所归属的 物体类别的最大响应值，以及关键点所归属的物体类别的最大响应值 对应的位置；
基于关键点所归属的物体类别的最大响应值以及关键点所归属的 物体类别的最大响应值对应的位置，获取多个物体类别的类别概率。
第二方面，提供了一种目标检测装置，该装置包括：
检测模块，用于获取待检测图像，提取待检测图像的共享特征图； 检测共享特征图中的多个关键点；每一关键点归属于一种物体类别；
提取模块，用于将共享特征图划分为多个区域，分别提取各个区 域的区域特征；
编码获取模块，用于基于各个区域特征获取多个关键点中每两个 关键点之间的关联编码；
类别确定模块，用于基于各个关联编码和检测得到的关键点，获 取多个物体类别的类别概率；将最大的类别概率对应的物体类别确定 为检测目标的类别。
在第二方面的可选实施例中，检测模块在检测共享特征图中的多 个关键点时，具体用于：
基于预设的检测算法检测出共享特征图中的多个初始关键点；
采用预设分类器获取各个初始关键点的置信度，根据各个置信度 从多个初始关键点中筛选得到多个关键点。
在第二方面的可选实施例中，检测模块在根据各个置信度从多个 初始关键点中筛选得到多个关键点时，具体用于：
将置信度大于预设阈值的初始关键点作为关键点。
在第二方面的可选实施例中，编码获取模块在基于各个区域特征 获取多个关键点中每两个关键点之间的关联编码时，具体用于：
基于预设的变换矩阵将各个区域特征变换为特征向量；特征向量 的每一元素对应于每一区域；
基于特征向量获取多个关键点中每两个关键点之间的关联编码。
在第二方面的可选实施例中，类别确定模块在基于各个关联编码 和检测得到的关键点，获取多个物体类别的类别概率时，具体用于：
从待检测图像中获取多个候选区域；
针对于每一候选区域，在关键点响应图上对每一物体类型的关键 点寻找最高响应，得到该候选区域的感兴趣区域内，关键点所归属的 物体类别的最大响应值，以及关键点所归属的物体类别的最大响应值 对应的位置；
基于关键点所归属的物体类别的最大响应值以及关键点所归属的 物体类别的最大响应值对应的位置，获取多个物体类别的类别概率。
第三方面，提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器 中并被配置为由一个或多个处理器执行，一个或多个程序配置用于： 执行实现本申请第一方面所示的目标检测方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介 质上存储有计算机程序，其特征在于，该程序被处理器执行时实现本 申请第一方面所示的目标检测方法。
本申请提供的技术方案带来的有益效果是：
在本公开实施例的方案中，通过检测待检测图像的关键点，每一 关键点归属于一种物体类别；将所述共享特征图划分为多个区域，分 别提取各个区域的区域特征；基于各个所述区域特征获取多个关键点 中每两个关键点之间的关联编码；基于各个关联编码和检测得到的关 键点，获取多个物体类别的类别概率；将最大的类别概率对应的物体 类别确定为检测目标的类别。通过检测归属于不同物体类别的关键点， 分别出物体类别，增强物体类别之间的可辨识度，从而提高物体检测 的精度。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从 下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请 实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种目标检测方法的流程示意图；
图2为本申请一个示例中提供的关键点检测示意图；
图3为本申请一个示例中提供的区域划分示意图；
图4为本申请一个示例中提供的识别出各个物体类别得分示意图；
图5为本申请实施例提供的一种目标检测装置的结构示意图；
图6为本申请实施例提供的一种目标检测的电子设备的结构示意 图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其 中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类 似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于 解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数 形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解 的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、 步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其 他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解， 当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接 到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦 接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或 更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图 对本申请实施方式作进一步地详细描述。
本申请提供的目标检测方法、装置、电子设备和计算机可读存储 介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案 如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以 相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘 述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例中提供了一种目标检测方法，如图1所示，该方法 包括：
步骤S101，获取待检测图像，提取待检测图像的共享特征图；检 测共享特征图中的多个关键点；每一关键点归属于一种物体类别。
具体的，可以采用预设的特征提取算法，从待检测图像中提取出 共享特征图。
在具体实施过程中，步骤S101的检测共享特征图中的多个关键点， 可以包括：
(1)基于预设的检测算法检测出共享特征图中的多个初始关键 点；
其中，可以采用多个训练样本，对初始检测算法进行训练，多个 训练样本中对不同物体类别的关键点进行标注，使得训练得到的检测 算法可以检测出共享特征图中的多个初始关键点，并且得到各个初始 关键点分别归属的物体类别。
如图2所示，图2中为识别出图像中的关键点以及关键点的物体 类别。
(2)采用预设分类器预测各个初始关键点的置信度，根据各个置 信度从多个初始关键点中筛选得到多个关键点，并得到关键点响应图。
具体的，可以将置信度大于预设阈值的初始关键点作为关键点。
在具体实施过程中，假设有N个要检测的物体类别，每个类别的 物体有ki个预定义的关键点。为了预测全图的关键点，本申请将该预测 过程建模为一个像素级分类问题，共有K+1个类别。对于共享特征图 的每一个位置，其应当属于K类关键点之一或是属于背景类。
本申请中，不考虑在一个位置上存在多个类别关键点的情况。此 外，有别于一般的人体关键点预测，本申请没有采用多个二分类器， 而是使用一个多分类器。当类别数量较多并且监督信号比较稀疏时， 使用多个二分类器会使正负样本的比例极度不平衡，造成训练困难， 而使用一个多分类器则会让训练更稳定高效。
步骤S102，将共享特征图划分为多个区域，分别提取各个区域的 区域特征。
如图3所示，将二维平面空间划分为dpair＝splitangle×splitradius的 扇形网格。
具体的，可以采用预设的特征提取算法获取各个区域的区域特征。
步骤S103，基于各个区域特征获取多个关键点中每两个关键点之 间的关联编码。
具体的，步骤S103的基于各个区域特征获取多个关键点中每两个 关键点之间的关联编码，可以包括：
(1)基于预设的变换矩阵将各个区域特征变换为特征向量；特征 向量的每一元素对应于每一区域；
(2)基于特征向量获取多个关键点中每两个关键点之间的关联编 码。
在具体实施过程中，通过变换矩阵T将该特征向量变换为长度为 dpair的特征向量E。特征向量向量的E的每个元素对应图3中的扇形网 格的一个区域，对应关系如图3所示：二维空间被分成24个区域，从 右肩膀的视角来看，第1，8，9，10和24部分包含了图中人物其他的 关键点。
对于预测出的关键点l1l2、由两部分构成：
Figure BDA0002266646790000081
Figure BDA0002266646790000082
表示从l1的角度看，l2和l1属于同一物体的概率；表示从l2的角度看，l1和l2属于同一物体的概率。令：
Figure BDA0002266646790000084
其中，
Figure RE-GDA0002340394640000085
Figure BDA0002266646790000086
σ是Sigmoid函数，用于将预测值归一化到0～1之间；
Figure BDA0002266646790000087
代 表共享特征图中l1位置的d维特征向量；
Figure BDA0002266646790000088
代表经过变换矩阵T变换 的长度为dpair的特征向量；
Figure BDA0002266646790000089
代表l2相对于l1在扇形网格中的 离散坐标。
在具体实施过程中，为了预测
Figure BDA00022666467900000810
需要学习变换矩阵T，变换矩 阵T的输入是共享特征图上某个位置的特征，输出是变换后的特征E。 E一一对应了以该位置为中心周围扇形区域内的
Figure BDA00022666467900000811
值。关联编码中唯 一带参数的部分就是变换T。考虑到变换T的平移不变性，本申请中 可以利用1×1的卷积操作来实现。
通过使用具有较大感受野的深度卷积神经网络特征，特征图的每 个位置可以包含来自大面积图片区域的信息，从而引入更多的视觉线 索。本申请中的扇形网格设计也合理的将相对位置分解为两个正交的 因素，即方向和距离。扇形网格的特点是距离中心越远，其网格越大， 这个性质与距离越远的关键点越难估计是一致的。关联编码不直接接 受监督，而是通过结构化得分方法反向传播回来的信号进行学习。
步骤S104，基于各个关联编码和检测得到的关键点，获取多个物 体类别的类别概率；将最大的类别概率对应的物体类别确定为检测目 标的类别。
具体的，步骤S104的基于各个关联编码和检测得到的关键点，获 取多个物体类别的类别概率，可以包括：
(1)从待检测图像中获取多个候选区域；
(2)针对于每一候选区域，在关键点响应图上对每一物体类型的 关键点寻找最高响应，得到该候选区域的感兴趣区域内，关键点所归 属的物体类别的最大响应值，以及关键点所归属的物体类别的最大响 应值对应的位置；
(3)基于关键点所归属的物体类别的最大响应值以及关键点所归 属的物体类别的最大响应值对应的位置，获取多个物体类别的类别概 率。
在具体实施过程中，对于一个给定的候选区域，首先在关键点预 测得到的关键点响应图上，对每一类关键点寻找最高响应，具体的有：
Figure BDA0002266646790000091
Figure BDA0002266646790000092
其中feature是关键点预测模块输出的关键点响应图；
Figure BDA0002266646790000093
代表在 给定的候选区区域RoI(region of interest,感兴趣区域)内，关键点类别 c的最大响应值；代表在给定的候选区域RoI内，关键点类别c 的最大响应值对应的位置。和
Figure BDA0002266646790000096
即作为对应候选区域RoI内关 键点类别c的预测结果。
基于关键点预测的位置
Figure BDA0002266646790000097
以及关联编码模块的输出，我们可以 得到关键点之间的关联信息。令c1、c2为两个关键点类别，
Figure BDA0002266646790000098
Figure BDA0002266646790000099
根据公式(2)，可以得到：
Figure BDA00022666467900000910
Figure BDA00022666467900000911
这两项代表了
Figure BDA00022666467900000912
和
Figure BDA00022666467900000913
两个关键点属于同一物体的可能性。
公式(6)整合了关键点以及关键点之间的关联信息，有效的去除 了简单打分方法中的失败情况。由于相对位置的不合理，或者视觉线 索上的差异，属于不同物体的关键点之间的关联应当较小，从而使得 同时与多个物体重叠的候选区域会有较小的物体类别得分。
Figure BDA0002266646790000101
如图4所示，图4为一个示例中识别出各个物体类别得分。
基于得到的各个物体类别得分，即物体类别的概率，将最大的类 别概率对应的物体类别确定为检测目标的类别。
上述的目标检测方法，通过检测待检测图像的关键点，每一关键 点归属于一种物体类别；将共享特征图划分为多个区域，分别提取各 个区域的区域特征；基于各个区域特征获取多个关键点中每两个关键 点之间的关联编码；基于各个关联编码和检测得到的关键点，获取多 个物体类别的类别概率；将最大的类别概率对应的物体类别确定为检 测目标的类别。通过检测归属于不同物体类别的关键点，分别出物体 类别，增强物体类别之间的可辨识度，从而提高物体检测的精度。
本申请实施例提供了一种目标检测装置，如图5所示，该目标检 测装置50可以包括检测模块501、提取模块502、编码获取模块503 和类别确定模块504，其中，
检测模块501，用于获取待检测图像，提取待检测图像的共享特征 图；检测共享特征图中的多个关键点；每一关键点归属于一种物体类 别；
提取模块502，用于将共享特征图划分为多个区域，分别提取各个 区域的区域特征；
编码获取模块503，用于基于各个区域特征获取多个关键点中每两 个关键点之间的关联编码；
类别确定模块504，用于基于各个关联编码和检测得到的关键点， 获取多个物体类别的类别概率；将最大的类别概率对应的物体类别确 定为检测目标的类别。
上述的目标检测装置，通过检测待检测图像的关键点，每一关键 点归属于一种物体类别；将共享特征图划分为多个区域，分别提取各 个区域的区域特征；基于各个区域特征获取多个关键点中每两个关键 点之间的关联编码；基于各个关联编码和检测得到的关键点，获取多 个物体类别的类别概率；将最大的类别概率对应的物体类别确定为检 测目标的类别。通过检测归属于不同物体类别的关键点，分别出物体 类别，增强物体类别之间的可辨识度，从而提高物体检测的精度。
本申请实施例中提供了一种可能的实现方式，检测模块501在检 测共享特征图中的多个关键点时，具体用于：
基于预设的检测算法检测出共享特征图中的多个初始关键点；
采用预设分类器获取各个初始关键点的置信度，根据各个置信度 从多个初始关键点中筛选得到多个关键点。
在第二方面的可选实施例中，检测模块501在根据各个置信度从 多个初始关键点中筛选得到多个关键点时，具体用于：
将置信度大于预设阈值的初始关键点作为关键点。
在第二方面的可选实施例中，编码获取模块503在基于各个区域 特征获取多个关键点中每两个关键点之间的关联编码时，具体用于：
基于预设的变换矩阵将各个区域特征变换为特征向量；特征向量 的每一元素对应于每一区域；
基于特征向量获取多个关键点中每两个关键点之间的关联编码。
在第二方面的可选实施例中，类别确定模块504在基于各个关联 编码和检测得到的关键点，获取多个物体类别的类别概率时，具体用 于：
从待检测图像中获取多个候选区域；
针对于每一候选区域，在关键点响应图上对每一物体类型的关键 点寻找最高响应，得到该候选区域的感兴趣区域内，关键点所归属的 物体类别的最大响应值，以及关键点所归属的物体类别的最大响应值 对应的位置；
基于关键点所归属的物体类别的最大响应值以及关键点所归属的 物体类别的最大响应值对应的位置，获取多个物体类别的类别概率。
本公开实施例的图片的目标检测装置可执行本公开的实施例所提 供的一种图片的目标检测方法，其实现原理相类似，本公开各实施例 中的图片的目标检测装置中的各模块所执行的动作是与本公开各实施 例中的图片的目标检测方法中的步骤相对应的，对于图片的目标检测 装置的各模块的详细功能描述具体可以参见前文中所示的对应的图片的目标检测方法中的描述，此处不再赘述。
基于与本公开的实施例中所示的方法相同的原理，本公开的实施 例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器 和存储器；存储器，用于存储计算机操作指令；处理器，用于通过调 用计算机操作指令执行实施例所示的方法。与现有技术相比，本申请 中的电子设备可以提高对目标检测的准确率。
在一个可选实施例中提供了一种电子设备，如图6所示，图6所 示的电子设备4000包括：处理器4001和存储器4003。其中，处理器 4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)， 通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC (Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器 件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行 结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。 处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处 理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002 可以是PCI(Peripheral Component Interconnect，外设部件互连标准) 总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结 构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。 为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或 一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或 可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型 的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、 CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘 存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝 光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取 的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理 器4001来控制执行。处理器4001用于执行存储器4003中存储的应用 程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播 接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒 体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如 数字TV、台式计算机等等的固定终端。电子设备仅仅是一个示例，不 应对本公开实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存 储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可 以执行前述方法实施例中相应内容。与现有技术相比，本申请提供的 计算机可读存储介质可以提高对目标检测的准确率。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示 依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。 除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制， 其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤 可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是 在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不 必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶 段的至少一部分轮流或者交替地执行。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读 信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算 机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红 外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机 可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导 线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只 读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光 纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器 件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质 可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、 装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信 号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中 承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形 式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算 机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读 介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执 行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介 质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电 线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是 单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者 多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示 的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开 的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设 计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语 言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户 计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包 执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远 程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机 可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连 接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服 务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、 方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点 上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码 的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实 现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实 现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。 例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时 也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是， 框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现， 或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实 现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下 并不构成对该单元本身的限定，例如，类别确定模块还可以被描述为 “用于确定检测目标的类别的模块”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说 明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限 于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离 上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合 而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于) 具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种目标检测方法，其特征在于，包括：
获取待检测图像，提取所述待检测图像的共享特征图；检测所述共享特征图中的多个关键点；每一关键点归属于一种物体类别；
将所述共享特征图划分为多个区域，分别提取各个区域的区域特征；
基于各个所述区域特征获取多个关键点中每两个关键点之间的关联编码；
基于各个关联编码和检测得到的关键点，获取多个物体类别的类别概率；将最大的类别概率对应的物体类别确定为检测目标的类别。
2.根据权利要求1所述的目标检测方法，其特征在于，所述检测所述共享特征图中的多个关键点，包括：
基于预设的检测算法检测出所述共享特征图中的多个初始关键点；
采用预设分类器预测各个初始关键点的置信度，根据各个置信度从多个初始关键点中筛选得到多个关键点，并得到关键点响应图。
3.根据权利要求2所述的目标检测方法，其特征在于，根据各个置信度从多个初始关键点中筛选得到多个关键点，包括：
将置信度大于预设阈值的初始关键点作为所述关键点。
4.根据权利要求1所述的目标检测方法，其特征在于，所述基于各个所述区域特征获取多个关键点中每两个关键点之间的关联编码，包括：
基于预设的变换矩阵将各个所述区域特征变换为特征向量；所述特征向量的每一元素对应于每一区域；
基于所述特征向量获取多个关键点中每两个关键点之间的关联编码。
5.根据权利要求2所述的目标检测方法，其特征在于，所述基于各个关联编码和检测得到的关键点，获取多个物体类别的类别概率，包括：
从所述待检测图像中获取多个候选区域；
针对于每一候选区域，在所述关键点响应图上对每一物体类型的关键点寻找最高响应，得到该候选区域的感兴趣区域内，关键点所归属的物体类别的最大响应值，以及关键点所归属的物体类别的最大响应值对应的位置；
基于所述关键点所归属的物体类别的最大响应值以及关键点所归属的物体类别的最大响应值对应的位置，获取多个物体类别的类别概率。
6.一种目标检测装置，其特征在于，所述装置包括：
检测模块，用于获取待检测图像，提取所述待检测图像的共享特征图；检测所述共享特征图中的多个关键点；每一关键点归属于一种物体类别；
提取模块，用于将所述共享特征图划分为多个区域，分别提取各个区域的区域特征；
编码获取模块，用于基于各个所述区域特征获取多个关键点中每两个关键点之间的关联编码；
类别确定模块，用于基于各个关联编码和检测得到的关键点，获取多个物体类别的类别概率；将最大的类别概率对应的物体类别确定为检测目标的类别。
7.根据权利要求6所述的目标检测装置，其特征在于，所述检测模块在检测所述共享特征图中的多个关键点时，具体用于：
基于预设的检测算法检测出所述共享特征图中的多个初始关键点；
采用预设分类器获取各个初始关键点的置信度，根据各个置信度从多个初始关键点中筛选得到多个关键点。
8.根据权利要求7所述的目标检测方法，其特征在于，所述检测模块在根据各个置信度从多个初始关键点中筛选得到多个关键点时，具体用于：
将置信度大于预设阈值的初始关键点作为所述关键点。
9.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～5任一项所述的目标检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～5任一项所述的目标检测方法。
CN201911090281.3A 2019-11-08 2019-11-08 目标检测方法、装置、电子设备和可读存储介质 Active CN110852261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911090281.3A CN110852261B (zh) 2019-11-08 2019-11-08 目标检测方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911090281.3A CN110852261B (zh) 2019-11-08 2019-11-08 目标检测方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN110852261A true CN110852261A (zh) 2020-02-28
CN110852261B CN110852261B (zh) 2022-06-17

Family

ID=69600154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911090281.3A Active CN110852261B (zh) 2019-11-08 2019-11-08 目标检测方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN110852261B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364933A (zh) * 2020-11-23 2021-02-12 北京达佳互联信息技术有限公司 图像分类方法、装置、电子设备和存储介质
CN114445716A (zh) * 2022-04-07 2022-05-06 腾讯科技（深圳）有限公司 关键点检测方法、装置、计算机设备、介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145857A (zh) * 2017-04-29 2017-09-08 深圳市深网视界科技有限公司 人脸属性识别方法、装置和模型建立方法
CN108229355A (zh) * 2017-12-22 2018-06-29 北京市商汤科技开发有限公司 行为识别方法和装置、电子设备、计算机存储介质、程序
CN108230390A (zh) * 2017-06-23 2018-06-29 北京市商汤科技开发有限公司 训练方法、关键点检测方法、装置、存储介质和电子设备
CN108229509A (zh) * 2016-12-16 2018-06-29 北京市商汤科技开发有限公司 用于识别物体类别的方法及装置、电子设备
CN110348335A (zh) * 2019-06-25 2019-10-18 平安科技（深圳）有限公司 行为识别的方法、装置、终端设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229509A (zh) * 2016-12-16 2018-06-29 北京市商汤科技开发有限公司 用于识别物体类别的方法及装置、电子设备
CN107145857A (zh) * 2017-04-29 2017-09-08 深圳市深网视界科技有限公司 人脸属性识别方法、装置和模型建立方法
CN108230390A (zh) * 2017-06-23 2018-06-29 北京市商汤科技开发有限公司 训练方法、关键点检测方法、装置、存储介质和电子设备
CN108229355A (zh) * 2017-12-22 2018-06-29 北京市商汤科技开发有限公司 行为识别方法和装置、电子设备、计算机存储介质、程序
CN110348335A (zh) * 2019-06-25 2019-10-18 平安科技（深圳）有限公司 行为识别的方法、装置、终端设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
E ROYER等: "guiding text image keypoints extraction through layout Analysis", 《ICDAR》 *
王强等: "一种新的图像关键点描述子", 《成都工业学院学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364933A (zh) * 2020-11-23 2021-02-12 北京达佳互联信息技术有限公司 图像分类方法、装置、电子设备和存储介质
CN114445716A (zh) * 2022-04-07 2022-05-06 腾讯科技（深圳）有限公司 关键点检测方法、装置、计算机设备、介质及程序产品

Also Published As

Publication number Publication date
CN110852261B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN108229419B (zh) 用于聚类图像的方法和装置
US11392792B2 (en) Method and apparatus for generating vehicle damage information
CN110910422A (zh) 目标跟踪方法、装置、电子设备和可读存储介质
CN113379718B (zh) 一种目标检测方法、装置、电子设备以及可读存储介质
EP3859560A2 (en) Method and apparatus for visual question answering, computer device and medium
US11915500B2 (en) Neural network based scene text recognition
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN110852261B (zh) 目标检测方法、装置、电子设备和可读存储介质
CN111291902B (zh) 后门样本的检测方法、装置和电子设备
CN114898266B (zh) 训练方法、图像处理方法、装置、电子设备以及存储介质
CN111291715B (zh) 基于多尺度卷积神经网络的车型识别方法、电子设备及存储介质
CN112712036A (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
CN110287817B (zh) 目标识别及目标识别模型的训练方法、装置和电子设备
CN113239883A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
CN116109907A (zh) 目标检测方法、装置、电子设备及存储介质
CN112785601B (zh) 一种图像分割方法、系统、介质及电子终端
CN111242322A (zh) 后门样本的检测方法、装置和电子设备
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备
CN111291901B (zh) 后门样本的检测方法、装置和电子设备
CN117478434B (zh) 边缘节点网络流量数据处理方法、装置、设备及介质
Ravikiran et al. Improved efficiency of semantic segmentation using pyramid scene parsing deep learning network method
Békési Benchmarking Generations of You Only Look Once Architectures for Detection of Defective and Normal Long Rod Insulators
CN118015398A (zh) 一种目标关联模型的训练方法、装置、设备及介质
KR20230097540A (ko) 물체 경계 예측 불확실성 및 강조 신경망을 이용한 물체 검출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant