CN114998438A - 一种目标检测方法、装置和机器可读存储介质 - Google Patents

一种目标检测方法、装置和机器可读存储介质 Download PDF

Info

Publication number
CN114998438A
CN114998438A CN202210919689.2A CN202210919689A CN114998438A CN 114998438 A CN114998438 A CN 114998438A CN 202210919689 A CN202210919689 A CN 202210919689A CN 114998438 A CN114998438 A CN 114998438A
Authority
CN
China
Prior art keywords
target
scale parameter
bounding box
boundary
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210919689.2A
Other languages
English (en)
Other versions
CN114998438B (zh
Inventor
凌明
艾国
杨作兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen MicroBT Electronics Technology Co Ltd
Original Assignee
Shenzhen MicroBT Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen MicroBT Electronics Technology Co Ltd filed Critical Shenzhen MicroBT Electronics Technology Co Ltd
Priority to CN202210919689.2A priority Critical patent/CN114998438B/zh
Publication of CN114998438A publication Critical patent/CN114998438A/zh
Application granted granted Critical
Publication of CN114998438B publication Critical patent/CN114998438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明实施例提供了一种目标检测方法、装置和机器可读存储介质。其中的方法包括：获取待检测图像，所述待检测图像中包含目标对象；将所述待检测图像输入至全定点目标检测网络中进行检测处理，得到所述待检测图像在每个尺度参数上对应的特征数据，所述特征数据包括每个特征点对应的边界框，所述边界框对应一个目标置信度；根据所述目标置信度确定每个尺度参数对应的边界框集合；向处理器发送数据处理请求，所述数据处理请求携带每个尺度参数对应的边界框集合，以使所述处理器根据所述每个尺度参数对应的边界框集合，执行数据处理操作。本发明实施例可以有效降低边缘计算设备的存储成本，有利于降低CPU功耗，且无需额外增加硬件开销。

Description

一种目标检测方法、装置和机器可读存储介质
技术领域
本发明涉及目标检测技术领域，尤其涉及一种目标检测方法、装置和机器可读存储介质。
背景技术
在计算机视觉中，目标检测是在图像和视频中扫描和搜寻目标，换言之，是在一个场景中对目标进行定位和识别。随着深度学习技术的不断发展，以卷积神经网络为代表的一系列深度学习模型在目标检测领域取得了良好的效果，并在生活中得到了广泛应用。
现有的目标检测网络在边缘计算设备中实现时，主要有两种方式：一种是由边缘计算设备的硬件与CPU（Central Processing Unit，中央处理器）相结合，共同完成目标检测；另一种是在边缘计算设备中固化实现目标检测。
然而，第一种实现方式中，硬件输出的数据量较大，会带来较大的存储成本；并且，边缘计算设备通常会直接将输出数据传输给CPU进行后续的复杂运算，导致CPU接收到的数据中存在较多的无效数据，增加了CPU功耗。在第二种实现方式中，目标检测的数据处理逻辑较为复杂，通过硬件固化实现时，会大大增加硬件开销。
发明内容
本发明实施例提供一种目标检测方法、装置和机器可读存储介质，可以对全定点目标检测网络的输出数据进行过滤，减少 CPU的计算量，同时还能节省硬件开销。
第一方面，本发明实施例公开了一种目标检测方法，应用于边缘计算设备，所述方法包括：
获取待检测图像，所述待检测图像中包含目标对象；
将所述待检测图像输入至全定点目标检测网络中进行检测处理，得到所述待检测图像在每个尺度参数上对应的特征数据，所述特征数据包括每个特征点对应的边界框，所述边界框对应一个目标置信度，所述目标置信度用于度量所述目标对象位于所述边界框内的概率；
根据所述目标置信度确定每个尺度参数对应的边界框集合，所述边界框集合中包含目标边界框和所述目标边界框的位置信息，所述目标边界框的目标置信度大于或等于预设的置信度阈值；
向处理器发送数据处理请求，所述数据处理请求携带每个尺度参数对应的边界框集合，以使所述处理器根据所述每个尺度参数对应的边界框集合，执行数据处理操作。
第二方面，本发明实施例公开了一种目标检测装置，应用于边缘计算设备，所述装置包括：
图像获取模块，用于获取待检测图像，所述待检测图像中包含目标对象；
检测处理模块，用于将所述待检测图像输入至全定点目标检测网络中进行检测处理，得到所述待检测图像在每个尺度参数上对应的特征数据，所述特征数据包括每个特征点对应的边界框，所述边界框对应一个目标置信度，所述目标置信度用于度量所述目标对象位于所述边界框内的概率；
边界框确定模块，用于根据所述目标置信度确定每个尺度参数对应的边界框集合，所述边界框集合中包含目标边界框和所述目标边界框的位置信息，所述目标边界框的目标置信度大于或等于预设的置信度阈值；
请求发送模块，用于向处理器发送数据处理请求，所述数据处理请求携带每个尺度参数对应的边界框集合，以使所述处理器根据所述每个尺度参数对应的边界框集合，执行数据处理操作。
第三方面，本发明实施例公开了一种机器可读存储介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如前述一个或多个所述的目标检测方法。
本发明实施例包括以下优点：
本发明实施例提供的目标检测方法，可以根据边界框的目标置信度对全定点目标检测网络在每个尺度参数上输出的边界框进行过滤，滤除目标置信度小于预设的置信度阈值的边界框，仅保留目标置信度大于或等于置信度阈值的目标边界框，可以有效降低边缘计算设备的存储成本；并且，在本发明实施例中，边缘计算设备向CPU仅发送过滤后的目标边界框，减少了CPU运算的数据量，有利于降低CPU功耗。此外，本发明实施例中，针对目标边界框的后续数据操作均由CPU处理，无需额外增加硬件开销。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种目标检测方法实施例的步骤流程图；
图2是本发明的一种目标检测系统的结构示意图；
图3是本发明的一种目标检测装置实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本发明实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
参照图1，示出了本发明的一种目标检测方法实施例的步骤流程图，所述方法可应用于边缘计算设备，所述方法可以包括如下步骤：
步骤101、获取待检测图像，所述待检测图像中包含目标对象。
步骤102、将所述待检测图像输入至全定点目标检测网络中进行检测处理，得到所述待检测图像在每个尺度参数上对应的特征数据，所述特征数据包括每个特征点对应的边界框，所述边界框对应一个目标置信度，所述目标置信度用于度量所述目标对象位于所述边界框内的概率。
步骤103、根据所述目标置信度确定每个尺度参数对应的边界框集合，所述边界框集合中包含目标边界框和所述目标边界框的位置信息，所述目标边界框的目标置信度大于或等于预设的置信度阈值。
步骤104、向处理器发送数据处理请求，所述数据处理请求携带每个尺度参数对应的边界框集合，以使所述处理器根据所述每个尺度参数对应的边界框集合，执行数据处理操作。
本发明实施例提供的目标检测方法，可以应用于边缘计算设备。需要说明的是，边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储及应用等能力，就近提供最近端服务。在某种意义上，边缘计算可以看做云计算的补充或云计算的预处理。所述边缘计算设备用于提供边缘计算服务。在本发明实施例中，所述边缘计算设备可以包括两类，一类需要连接外部摄像头，另一类集成有摄像头，可根据两类边缘计算设备中的至少一类来构建目标检测系统。示例性地，所述边缘计算设备可以接收来自一个或多个终端设备的待检测图像；或者，所述边缘计算设备可以通过自身集成的摄像头采集待检测图像。本发明实施例中的边缘计算设备可以是用于实现边缘计算功能的设备，例如可以包括服务器或网元等独立设备，也可以包括多个共同实现边缘计算功能的设备等。
所述边缘计算设备可以被部署在网络的多个位置，例如可以被部署在LTE（LongTerm Evolution，长期演进）网络的宏基站（eNode B）侧、无线网络控制器（Radio NetworkController，RNC）侧、多无线接入技术（multi-radio access technology，multi-RAN）蜂窝汇聚点侧或者核心网边缘等，本发明实施例对边缘计算设备的具体部署不做限定。
可以理解的是，所述边缘计算设备运行于网络边缘，逻辑上并不依赖于网络的其他部分，适用于安全性较高的应用。边缘计算设备通常具有较高的计算能力，因此适用于分析大量数据，例如本申请中的待检测图像，其中，所述待检测图像可以是图片，也可以为视频流中的图像帧。
在本发明实施例中，获取到待检测图像之后，先将待检测图像输入至全定点目标检测网络中进行检测处理。其中，所述全定点目标检测网络用于对待检测图像中的目标对象进行检测并定位。需要说明的是，所述全定点目标检测网络运行中没有浮点数运算，只有定点数运算，所述定点数运算可以包括针对定点数的乘、加、减、比较等运算。
所述全定点目标检测网络输出待检测图像在每个尺度参数上对应的特征数据，其中，所述尺度参数用于指示从待检测图像中提取的特征数据的尺寸大小与该待检测图像的尺寸大小之间的比例，尺度参数=特征数据的尺寸/待检测图像的尺寸。所述特征数据可以为特征图，包含每个特征点对应的边界框（Bounding box），所述边界框用于定义特征图中物体的位置，通常为矩形框，也可以选用多边形框。示例性地，假设有三个尺度参数，分别为1/8、1/16、1/32，待检测图像的尺寸为416*416，则在1/8尺度上提取的特征图的尺寸为52*52，在1/16尺度上提取的特征图的尺寸为26*26，在1/32尺度上提取的特征图的尺寸为13*13。在本发明实施例中，每一个边界框对应一个目标置信度，所述目标置信度用于度量目标对象位于所述边界框内的概率。
本发明实施例根据边界框对应的目标置信度对全定点目标检测网络输出的特征数据中的边界框进行筛选，得到每个尺度参数对应的边界框集合。需要说明的是，所述边界框集合中包含筛选出来的目标边界框，所述目标边界框的目标置信度大于或等于预设的置信度阈值。
最后，所述边缘计算设备向处理器（CPU）发送数据处理请求，所述数据处理请求携带每个尺度参数对应的边界框集合。CPU收到数据处理请求之后，基于每个尺度参数对应的边界框集合进行数据处理操作。可选地，所述数据处理操作包括边界框解码操作、非极大值抑制操作（Non-Maxinmun Suppression，NMS）中的至少一项。例如，对边界框集合执行边界框解码操作，以根据边界框的位置回归值和位置信息确定检测目标在待检测图像中的真实位置；对边界框集合执行NMS操作，以通过极大值抑制来清除重叠的边界框，等等。根据边界框的位置回归值和位置信息确定检测目标在待检测图像中的真实位置的方式有很多种，比如，所述位置回归值用于表示边界框的左上角的坐标相对于待检测图像的特征图上的每个点的网格左上角的位置偏移量，和所述边界框的高度和宽度。作为一种示例，假设待检测图像的尺寸为416*416，在1/8尺度上，提取的特征图的尺寸为52*52，以特征图中26*26这个位置的点作为参考点，以边界框相对于该参考点的位置回归值来计算检测目标在待检测图像中的真实位置：首先，计算参考点相对于待检测图像的比例坐标：（26/52，26/52）=（0.5，0.5），假设边界框的位置回归值为：0.01（x轴上的偏移量）、0.02（y轴上的偏移量）、0.05（边界框的宽）、0.06（边界框的高），则计算出边界框的左上角的x相对比例为0.5+0.01; 左上角的y相对比例为0.5+0.02。将上述比例坐标乘以图片宽高(可四舍五入)，获得检测目标的真实坐标：左上角的x坐标为0.51*416=212, y坐标为0.52*416=216，检测目标的真实大小：宽为0.05*416=21，高为0.06*416=25。
参照图2，示出了本发明实施例提供的一种目标检测系统的结构示意图。如图2所示，所述目标检测系统包括Backbone层、Neck层、Head层、Threshold层和Select层。其中，Backbone层用于特征提取，可以为在大型数据集，例如Image Net、COCO等上完成预训练、拥有预训练参数的卷积神经网络，例如ResNet-18、ResNet-50、DarkNet53等。Head层主要用于预测目标对象的种类和位置，输出目标对象对应的边界框，对于每个边界框，Head层同时输出边界框的目标置信度等特征数据。Neck层在Backbone层和Head层之间，用于收集不同阶段中的特征图。需要说明的是，Backbone层、Neck层和Head层构成本发明实施例中的全定点目标检测网络。本发明实施例在全定点目标检测网络之后增加了Threshold层和Select层，其中，Threshold层用于确定置信度阈值，Select层用于根据Threshold层提供的置信度阈值对Head层输出的边界框进行筛选，得到每个尺度参数对应的边界框集合，所述边界框集合中包含目标边界框和所述目标边界框的位置信息，所述目标边界框的目标置信度大于或等于预设的置信度阈值。
可选地，所述特征数据还包括每个特征点对应的类别得分信息和位置回归值。其中，所述类别得分信息用于指示所述特征点属于各个类别的概率。可以理解的是，每个边界框在每一个类别上，均存在一个类别得分，目标对象的预测类别可以从类别得分信息对应的各个类别中确定，一般情况下，类别得分最高的类别为目标对象的预测类别。
在现有的目标检测网络中，Head层针对每个尺度参数上的每个特征点，输出如下参数：类别得分信息class-score，类别得分的个数由检测的类别数目确定，以检测9个类别为例，输出9个类别得分；位置回归值，一般包含4个位置回归值；目标置信度，一般为1个值。假设输入的待检测图像的尺寸为416*416，预设的尺度参数分别为1/8、1/16、1/32，在这三个尺度参数上进行目标检测，现有的目标检测网络中Head层输出为8bit时，每个尺度参数对应的输出数据量分别为：
1）1/8尺度，特征图52*52；输出数据量为(9+4+1)*52*52=37856 bytes；
2）1/16尺度，特征图26*26；输出数据量为(9+4+1)*26*26=9464 bytes；
3）1/32尺度，特征图13*13；输出数据量为(9+4+1)*13*13=2366 bytes。
现有的目标检测网络输出的数据总量为：48.5Kbytes。其中，1Kbyte=1024 byte，49686bytes≈48.5Kbytes。
在本发明实施例中，假设有3个尺度参数，以检测9个类别为例，根据目标置信度对边界框进行筛选之后，每个尺度参数对应的边界框集合中最多包含预设数目个目标边界框，假设所述预设数目为100，3个尺度参数对应的边界框集合中最多包含3*100个目标边界框；目标边界框的位置信息包括2个坐标信息：1个横坐标信息x和1个纵坐标信息y，且每个边界框对应9个类别得分、4个位置回归值、1个目标置信度，则边缘计算设备向CPU发送的最大数据总量为：（9+4+1+2）*100*3=4800 bytes，是现有技术中目标检测网络输出的数据总量的9.6%。由此可见，本发明实施例可以有效减少边缘计算设备向CPU发送的数据量。
本发明实施例提供的目标检测方法，可以根据边界框的目标置信度对全定点目标检测网络在每个尺度参数上输出的边界框进行过滤，滤除目标置信度小于预设的置信度阈值的边界框，仅保留目标置信度大于或等于置信度阈值的目标边界框，可以有效降低边缘计算设备的存储成本；并且，在本发明实施例中，边缘计算设备向CPU仅发送过滤后的目标边界框，减少了CPU运算的数据量，有利于降低CPU功耗。此外，本发明实施例中，针对目标边界框的后续数据操作均由CPU处理，无需额外增加硬件开销。
在本发明的一种可选实施例中，所述方法还包括：若所述待检测图像在各个尺度参数上对应的特征数据中不包含目标置信度大于或等于预设的置信度阈值的目标边界框，则继续检测下一帧待检测图像。
在本发明实施例中，如果全定点目标检测网络输出的特征数据中，各个边界框的目标置信度均小于置信度阈值，也即所述待检测图像在各个尺度参数上对应的特征数据中不包含目标边界框，则无需向CPU发送数据处理请求，直接继续检测下一帧待检测图像即可，有利于降低整个系统功耗。
在本发明的一种可选实施例中，步骤103所述根据所述目标置信度确定每个尺度参数对应的边界框集合，包括：
步骤S11、根据预设的激活函数建立函数映射表，所述函数映射表包括置信度定点值与定点概率值之间的映射关系；
步骤S12、根据预设的浮点概率门限值计算定点概率门限值；
步骤S13、在所述函数映射表中查找所述定点概率门限值对应的置信度定点值，并将所述定点概率门限值对应的置信度定点值确定为置信度阈值；
步骤S14、将各个边界框对应的目标置信度与所述置信度阈值进行比较；
步骤S15、若存在目标置信度大于或等于所述置信度阈值的边界框，则确定所述边界框为目标边界框；
步骤S16、按照每个目标边界框对应的尺度参数对目标边界框进行聚类，得到每个尺度参数对应的边界框集合。
其中，所述激活函数用于把置信度映射为预设区间内的数值，便于后续预测概率，所述预设区间可以为[0,1]。所述激活函数可以表示为：
Figure 34481DEST_PATH_IMAGE001
（1）
需要说明的是，上述公式（1）中的自变量x为置信度的浮点值，S(x)为置信度对应的函数值，也即浮点概率值，用于表示目标对象的位于边界框内的概率值。由上述公式（1）可知，x、S(x)均为浮点数，而在本发明实施例中，全定点目标检测网络的输入数据、中间数据和输出数据均为定点数，所述函数映射表中记录的置信度定点值和定点概率值均为定点数。因此在建立函数映射表时，需要先将置信度定点值转换为置信度浮点值，代入上述公式（1）中，得到其对应的浮点概率值，将浮点概率值转换为定点概率值，然后建立置信度定点值与定点概率值之间的映射关系。浮点数和定点数的转换可以通过如下公式实现：
Figure 545097DEST_PATH_IMAGE002
（2）
其中，q表示量化后的定点整数，r表示浮点实数，S用于表示浮点实数和定点整数之间的比例关系，Z是zero point，表示浮点实数中的0经过量化后对应的定点整数。S和Z可以分别通过下列公式计算：
Figure 59255DEST_PATH_IMAGE003
（3）
Figure 188885DEST_PATH_IMAGE004
（4）
其中，
Figure 611381DEST_PATH_IMAGE005
是浮点实数中的最大值，
Figure 168264DEST_PATH_IMAGE006
是浮点实数中的最小值，
Figure 169718DEST_PATH_IMAGE007
是定点整数中的最大值，
Figure 962094DEST_PATH_IMAGE008
是定点整数中的最小值。
在本发明实施例中，可以提前预设一个浮点概率门限值，然后根据上述公式（2）计算所述浮点概率门限值对应的定点概率门限值。当然，也可以直接预设一个定点概率门限值。所述浮点概率门限值或所述定点概率门限值，用于限定本发明实施例中筛选出来的边界框集合中各个目标边界框的最小置信度定点值。
接下来，在函数映射表中查找定点概率门限值对应的置信度定点值，并将该定点概率门限值对应的置信度定点值确定为本发明实施例中的置信度阈值。当然，也可以直接设定置信度阈值。
本发明实施例在确定目标边界框时，可以直接将每个边界框对应的目标置信度与所述置信度阈值进行比较，将目标置信度大于等于所述置信度阈值的边界框确定为目标边界框。
现有技术在进行阈值比较时，先建立函数映射表，然后在每一次比较时，查找每个目标置信度对应的函数值，将查找到的函数值与预设的定点门限进行比较，本发明实施例在进行阈值比较时，确定了置信度阈值之后，就无需再查找函数映射表。相比于现有技术，本发明实施例可以不用存储函数映射表，仅对置信度阈值进行存储，节省了边缘计算设备的存储空间。
可选地，所述每个尺度参数对应的边界框集合中包含的目标边界框的数目小于或等于预设数目。
可以理解的是，在本发明实施例中，为了避免边缘计算设备向CPU发送的边界框集合中包含的边界框过多，造成数据冗余，本发明实施可以预先设定每个尺度参数对应的边界框集合中边界框的最大数目，也即所述预设数目，使得最终确定的每个尺度参数对应的边界框集合中包含的目标边界框的数目均小于或等于所述预设数目。其中，所述预设数目可以根据实际需求动态设定。
在本发明的一种可选实施例中，步骤S16所述按照每个目标边界框对应的尺度参数对目标边界框进行聚类，得到每个尺度参数对应的边界框集合，包括：
子步骤S161、按照每个目标边界框对应的尺度参数对目标边界框进行聚类，得到每个尺度参数对应的目标边界框；
子步骤S162、确定每个尺度参数对应的目标边界框的数目；
子步骤S163、若第一尺度参数对应的目标边界框的数目大于预设数目，则按照目标边界框的生成时间，在所述第一尺度参数对应的目标边界框中顺序选取预设数目个目标边界框，得到所述第一尺度参数对应的边界框集合，其中，所述第一尺度参数为任意一个预设的尺度参数。
在本发明实施例中，如果某个尺度参数对应的边界框中，目标置信度大于置信度阈值的目标边界框的数目大于预设数目，则可以在其对应的目标边界框中，按照目标边界框的生成时间，顺序选取预设数目个目标边界框组成边界框集合，避免数据冗余。在实际应用中，如果边界框集合中包含的目标边界框的数目已经等于预设数目，则无需再对后续生成的边界框的目标置信度进行判断。其中，所述预设数目可以根据实际需求进行设置，本发明实施例对此不做具体限定。
综上，本发明实施例提供的目标检测方法，可以根据边界框的目标置信度对全定点目标检测网络在每个尺度参数上输出的边界框进行过滤，滤除目标置信度小于预设的置信度阈值的边界框，仅保留目标置信度大于或等于置信度阈值的目标边界框，可以有效降低边缘计算设备的存储成本；并且，在本发明实施例中，边缘计算设备向CPU仅发送过滤后的目标边界框，减少了CPU运算的数据量，有利于降低CPU功耗。此外，本发明实施例中，针对目标边界框的后续数据操作均由CPU处理，无需额外增加硬件开销。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了本发明的一种目标检测装置实施例的结构框图，所述目标检测装置应用于边缘计算设备，具体可以包括：
图像获取模块301，用于获取待检测图像，所述待检测图像中包含目标对象；
检测处理模块302，用于将所述待检测图像输入至全定点目标检测网络中进行检测处理，得到所述待检测图像在每个尺度参数上对应的特征数据，所述特征数据包括每个特征点对应的边界框，所述边界框对应一个目标置信度，所述目标置信度用于度量所述目标对象位于所述边界框内的概率；
边界框确定模块303，用于根据所述目标置信度确定每个尺度参数对应的边界框集合，所述边界框集合中包含目标边界框和所述目标边界框的位置信息，所述目标边界框的目标置信度大于或等于预设的置信度阈值；
请求发送模块304，用于向处理器发送数据处理请求，所述数据处理请求携带每个尺度参数对应的边界框集合，以使所述处理器根据所述每个尺度参数对应的边界框集合，执行数据处理操作。
可选地，所述边界框确定模块，包括：
映射表构建子模块，用于根据预设的激活函数建立函数映射表，所述函数映射表包括置信度定点值与定点概率值之间的映射关系；
门限计算子模块，用于根据预设的浮点概率门限值计算定点概率门限值；
阈值确定子模块，用于在所述函数映射表中查找所述定点概率门限值对应的置信度定点值，并将所述定点概率门限值对应的置信度定点值确定为置信度阈值；
置信度比较子模块，用于将各个边界框对应的目标置信度与所述置信度阈值进行比较；
目标边界框确定子模块，用于若存在目标置信度大于或等于所述置信度阈值的边界框，则确定所述边界框为目标边界框；
聚类子模块，用于按照每个目标边界框对应的尺度参数对目标边界框进行聚类，得到每个尺度参数对应的边界框集合。
可选地，所述每个尺度参数对应的边界框集合中包含的目标边界框的数目小于或等于预设数目。
可选地，所述聚类子模块，包括：
聚类单元，用于按照每个目标边界框对应的尺度参数对目标边界框进行聚类，得到每个尺度参数对应的目标边界框；
数目确定单元，用于确定每个尺度参数对应的目标边界框的数目；
边界框选取单元，用于若第一尺度参数对应的目标边界框的数目大于预设数目，则按照目标边界框的生成时间，在所述第一尺度参数对应的目标边界框中顺序选取预设数目个目标边界框，得到所述第一尺度参数对应的边界框集合，其中，所述第一尺度参数为任意一个预设的尺度参数。
可选地，所述特征数据还包括每个特征点对应的类别得分信息和位置回归值；所述类别得分信息用于指示特征点属于各个类别的概率。
可选地，所述数据处理操作包括边界框解码操作、非极大值抑制操作中的至少一项。
可选地，所述装置还包括：
图像检测模块，用于若所述待检测图像在各个尺度参数上对应的特征数据中不包含目标置信度大于或等于预设的置信度阈值的目标边界框，则继续检测下一帧待检测图像。
综上，本发明实施例提供的目标检测装置，可以根据边界框的目标置信度对全定点目标检测网络在每个尺度参数上输出的边界框进行过滤，滤除目标置信度小于预设的置信度阈值的边界框，仅保留目标置信度大于或等于置信度阈值的目标边界框，可以有效降低边缘计算设备的存储成本；并且，在本发明实施例中，边缘计算设备向CPU仅发送过滤后的目标边界框，减少了CPU运算的数据量，有利于降低CPU功耗。此外，本发明实施例中，针对目标边界框的后续数据操作均由CPU处理，无需额外增加硬件开销。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例还提供一种机器可读存储介质，当所述存储介质中的指令由装置（服务器或者终端）的处理器执行时，使得装置能够执行前文图1所对应实施例中目标检测方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上对本发明所提供的一种目标检测方法、目标检测装置和机器可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种目标检测方法，其特征在于，应用于边缘计算设备，所述方法包括：
获取待检测图像，所述待检测图像中包含目标对象；
将所述待检测图像输入至全定点目标检测网络中进行检测处理，得到所述待检测图像在每个尺度参数上对应的特征数据，所述特征数据包括每个特征点对应的边界框，所述边界框对应一个目标置信度，所述目标置信度用于度量所述目标对象位于所述边界框内的概率；
根据所述目标置信度确定每个尺度参数对应的边界框集合，所述边界框集合中包含目标边界框和所述目标边界框的位置信息，所述目标边界框的目标置信度大于或等于预设的置信度阈值；
向处理器发送数据处理请求，所述数据处理请求携带每个尺度参数对应的边界框集合，以使所述处理器根据所述每个尺度参数对应的边界框集合，执行数据处理操作。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标置信度确定每个尺度参数对应的边界框集合，包括：
根据预设的激活函数建立函数映射表，所述函数映射表包括置信度定点值与定点概率值之间的映射关系；
根据预设的浮点概率门限值计算定点概率门限值；
在所述函数映射表中查找所述定点概率门限值对应的置信度定点值，并将所述定点概率门限值对应的置信度定点值确定为置信度阈值；
将各个边界框对应的目标置信度与所述置信度阈值进行比较；
若存在目标置信度大于或等于所述置信度阈值的边界框，则确定所述边界框为目标边界框；
按照每个目标边界框对应的尺度参数对目标边界框进行聚类，得到每个尺度参数对应的边界框集合。
3.根据权利要求2所述的方法，其特征在于，所述每个尺度参数对应的边界框集合中包含的目标边界框的数目小于或等于预设数目。
4.根据权利要求3所述的方法，其特征在于，所述按照每个目标边界框对应的尺度参数对目标边界框进行聚类，得到每个尺度参数对应的边界框集合，包括：
按照每个目标边界框对应的尺度参数对目标边界框进行聚类，得到每个尺度参数对应的目标边界框；
确定每个尺度参数对应的目标边界框的数目；
若第一尺度参数对应的目标边界框的数目大于预设数目，则按照目标边界框的生成时间，在所述第一尺度参数对应的目标边界框中顺序选取预设数目个目标边界框，得到所述第一尺度参数对应的边界框集合，其中，所述第一尺度参数为任意一个预设的尺度参数。
5.根据权利要求1所述的方法，其特征在于，所述特征数据还包括每个特征点对应的类别得分信息和位置回归值；所述类别得分信息用于指示特征点属于各个类别的概率。
6.根据权利要求1所述的方法，其特征在于，所述数据处理操作包括边界框解码操作、非极大值抑制操作中的至少一项。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述待检测图像在各个尺度参数上对应的特征数据中不包含目标置信度大于或等于预设的置信度阈值的目标边界框，则继续检测下一帧待检测图像。
8.一种目标检测装置，其特征在于，应用于边缘计算设备，所述装置包括：
图像获取模块，用于获取待检测图像，所述待检测图像中包含目标对象；
检测处理模块，用于将所述待检测图像输入至全定点目标检测网络中进行检测处理，得到所述待检测图像在每个尺度参数上对应的特征数据，所述特征数据包括每个特征点对应的边界框，所述边界框对应一个目标置信度，所述目标置信度用于度量所述目标对象位于所述边界框内的概率；
边界框确定模块，用于根据所述目标置信度确定每个尺度参数对应的边界框集合，所述边界框集合中包含目标边界框和所述目标边界框的位置信息，所述目标边界框的目标置信度大于或等于预设的置信度阈值；
请求发送模块，用于向处理器发送数据处理请求，所述数据处理请求携带每个尺度参数对应的边界框集合，以使所述处理器根据所述每个尺度参数对应的边界框集合，执行数据处理操作。
9.根据权利要求8所述的装置，其特征在于，所述边界框确定模块，包括：
映射表构建子模块，用于根据预设的激活函数建立函数映射表，所述函数映射表包括置信度定点值与定点概率值之间的映射关系；
门限计算子模块，用于根据预设的浮点概率门限值计算定点概率门限值；
阈值确定子模块，用于在所述函数映射表中查找所述定点概率门限值对应的置信度定点值，并将所述定点概率门限值对应的置信度定点值确定为置信度阈值；
置信度比较子模块，用于将各个边界框对应的目标置信度与所述置信度阈值进行比较；
目标边界框确定子模块，用于若存在目标置信度大于或等于所述置信度阈值的边界框，则确定所述边界框为目标边界框；
聚类子模块，用于按照每个目标边界框对应的尺度参数对目标边界框进行聚类，得到每个尺度参数对应的边界框集合。
10.根据权利要求9所述的装置，其特征在于，所述每个尺度参数对应的边界框集合中包含的目标边界框的数目小于或等于预设数目。
11.根据权利要求10所述的装置，其特征在于，所述聚类子模块，包括：
聚类单元，用于按照每个目标边界框对应的尺度参数对目标边界框进行聚类，得到每个尺度参数对应的目标边界框；
数目确定单元，用于确定每个尺度参数对应的目标边界框的数目；
边界框选取单元，用于若第一尺度参数对应的目标边界框的数目大于预设数目，则按照目标边界框的生成时间，在所述第一尺度参数对应的目标边界框中顺序选取预设数目个目标边界框，得到所述第一尺度参数对应的边界框集合，其中，所述第一尺度参数为任意一个预设的尺度参数。
12.根据权利要求8所述的装置，其特征在于，所述特征数据还包括每个特征点对应的类别得分信息和位置回归值；所述类别得分信息用于指示特征点属于各个类别的概率。
13.根据权利要求8所述的装置，其特征在于，所述数据处理操作包括边界框解码操作、非极大值抑制操作中的至少一项。
14.根据权利要求8所述的装置，其特征在于，所述装置还包括：
图像检测模块，用于若所述待检测图像在各个尺度参数上对应的特征数据中不包含目标置信度大于或等于预设的置信度阈值的目标边界框，则继续检测下一帧待检测图像。
15.一种机器可读存储介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如权利要求1至7中任一所述的目标检测方法。
CN202210919689.2A 2022-08-02 2022-08-02 一种目标检测方法、装置和机器可读存储介质 Active CN114998438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210919689.2A CN114998438B (zh) 2022-08-02 2022-08-02 一种目标检测方法、装置和机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210919689.2A CN114998438B (zh) 2022-08-02 2022-08-02 一种目标检测方法、装置和机器可读存储介质

Publications (2)

Publication Number Publication Date
CN114998438A true CN114998438A (zh) 2022-09-02
CN114998438B CN114998438B (zh) 2022-11-01

Family

ID=83021834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210919689.2A Active CN114998438B (zh) 2022-08-02 2022-08-02 一种目标检测方法、装置和机器可读存储介质

Country Status (1)

Country Link
CN (1) CN114998438B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294108A (zh) * 2022-09-29 2022-11-04 深圳比特微电子科技有限公司 目标检测方法、目标检测模型的量化方法、装置和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268869A (zh) * 2018-02-13 2018-07-10 北京旷视科技有限公司 目标检测方法、装置及系统
CN110781819A (zh) * 2019-10-25 2020-02-11 浪潮电子信息产业股份有限公司 一种图像目标检测方法、系统、电子设备及存储介质
CN111738262A (zh) * 2020-08-21 2020-10-02 北京易真学思教育科技有限公司 目标检测模型训练、检测方法、装置、设备及存储介质
CN112906685A (zh) * 2021-03-04 2021-06-04 重庆赛迪奇智人工智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN113221731A (zh) * 2021-05-10 2021-08-06 西安电子科技大学 一种多尺度遥感图像目标检测方法及系统
CN113642510A (zh) * 2021-08-27 2021-11-12 北京京东乾石科技有限公司 目标检测方法、装置、设备和计算机可读介质
US20220076444A1 (en) * 2017-11-22 2022-03-10 Beijing Sensetime Technology Development Co., Ltd. Methods and apparatuses for object detection, and devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220076444A1 (en) * 2017-11-22 2022-03-10 Beijing Sensetime Technology Development Co., Ltd. Methods and apparatuses for object detection, and devices
CN108268869A (zh) * 2018-02-13 2018-07-10 北京旷视科技有限公司 目标检测方法、装置及系统
CN110781819A (zh) * 2019-10-25 2020-02-11 浪潮电子信息产业股份有限公司 一种图像目标检测方法、系统、电子设备及存储介质
CN111738262A (zh) * 2020-08-21 2020-10-02 北京易真学思教育科技有限公司 目标检测模型训练、检测方法、装置、设备及存储介质
CN112906685A (zh) * 2021-03-04 2021-06-04 重庆赛迪奇智人工智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN113221731A (zh) * 2021-05-10 2021-08-06 西安电子科技大学 一种多尺度遥感图像目标检测方法及系统
CN113642510A (zh) * 2021-08-27 2021-11-12 北京京东乾石科技有限公司 目标检测方法、装置、设备和计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
施思雨 等: "基于MobileNet-SSD目标检测算法的硬件加速器设计", 《微电子学与计算机》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294108A (zh) * 2022-09-29 2022-11-04 深圳比特微电子科技有限公司 目标检测方法、目标检测模型的量化方法、装置和介质

Also Published As

Publication number Publication date
CN114998438B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN108038422B (zh) 摄像装置、人脸识别的方法及计算机可读存储介质
CN111401376B (zh) 目标检测方法、装置、电子设备以及存储介质
CN108460362B (zh) 一种检测人体部位的系统及方法
US11900676B2 (en) Method and apparatus for detecting target in video, computing device, and storage medium
US8842889B1 (en) System and method for automatic face recognition
US20220237887A1 (en) Saliency of an Object for Image Processing Operations
CN113129335B (zh) 一种基于孪生网络的视觉跟踪算法及多模板更新策略
CN109783680B (zh) 图像推送方法、图像获取方法、装置及图像处理系统
CN114998438B (zh) 一种目标检测方法、装置和机器可读存储介质
CN112686165A (zh) 视频中目标对象的识别方法、装置、电子设备及存储介质
CN114693946A (zh) 图像异常检测方法、装置、计算机设备及存储介质
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
WO2019201029A1 (zh) 备选框更新方法及装置
CN115439700B (zh) 一种图像处理方法、装置和机器可读存储介质
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN111369557A (zh) 图像处理方法、装置、计算设备和存储介质
CN112966687A (zh) 图像分割模型训练方法、装置及通信设备
CN109934185B (zh) 数据处理方法及装置、介质和计算设备
CN114820755B (zh) 一种深度图估计方法及系统
CN116665390A (zh) 基于边缘计算及优化YOLOv5的火灾检测系统
CN115810105A (zh) 一种全景分割方法、装置、设备及存储介质
CN114005140A (zh) 一种人员识别方法、装置、设备、行人监控系统及存储介质
CN114821596A (zh) 文本识别方法、装置、电子设备和介质
CN114399497A (zh) 文本图像质量检测方法、装置、计算机设备及存储介质
CN111767757B (zh) 身份信息确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant