CN116110030A - 目标检测方法、装置、电子设备及存储介质 - Google Patents

目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116110030A
CN116110030A CN202211721539.7A CN202211721539A CN116110030A CN 116110030 A CN116110030 A CN 116110030A CN 202211721539 A CN202211721539 A CN 202211721539A CN 116110030 A CN116110030 A CN 116110030A
Authority
CN
China
Prior art keywords
frame
detected object
detected
target
target frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211721539.7A
Other languages
English (en)
Inventor
程冰
吴金勇
李海龙
高立娅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Yuntian Lifei Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Chengdu Yuntian Lifei Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Yuntian Lifei Technology Co ltd, Shenzhen Intellifusion Technologies Co Ltd filed Critical Chengdu Yuntian Lifei Technology Co ltd
Priority to CN202211721539.7A priority Critical patent/CN116110030A/zh
Publication of CN116110030A publication Critical patent/CN116110030A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Abstract

本发明公开了一种目标检测方法、装置、电子设备及存储介质，该方法包括：获取待检测图像；所述待检测图像包含被检测物体；将所述待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图；基于多个所述尺度特征图进行对所述被检测物体进行预测，确定出所述被检测物体的第一目标框和第二目标框，以根据所述第一目标框和所述第二目标框确定所述被检测物体的属性状态；所述第一目标框用于表征所述被检测物体的第一类别属性，所述第二目标框用于表征所述被检测物体的第二类别属性。本发明可以避免因环境等因素影响导致检测过程中误报率较高，提高了检测的准确率，可以满足不同场景的需求。

Description

目标检测方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种目标检测方法、装置、电子设备及存储介质。
背景技术
目前，针对公共场所等场景的垃圾桶，由于垃圾桶在不同的使用状态时，容易造成垃圾外溢等问题，为了提高工作人员的管理效率和降低垃圾外溢等问题，需要严格监督和处理各个公共场所中垃圾桶的使用状态；传统的基于人工的方式对垃圾桶状态检查对工作人员容易造成影响且检查效率低，而目前针对垃圾桶进行目标检测的方式，由于环境光线及类似垃圾桶颜色和形状等因素影响，容易导致检测过程中误报率较高，检测的准确率不足，难以满足不同场景的需求。
发明内容
第一方面，本发明的主要目的是提供一种目标检测方法，包括：
获取待检测图像；所述待检测图像包含被检测物体；
将所述待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图；
基于多个所述尺度特征图进行对所述被检测物体进行预测，确定出所述被检测物体的第一目标框和第二目标框，以根据所述第一目标框和所述第二目标框确定所述被检测物体的属性状态；所述第一目标框用于表征所述被检测物体的第一类别属性，所述第二目标框用于表征所述被检测物体的第二类别属性。
可选地，所述将所述待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图，包括：
将所述待检测图像输入预先训练的目标检测模型中进行处理，并获取所述目标检测模型中的至少四个卷积核分别对应的输出结果，得到至少四个尺度的尺度特征图。
可选地，所述基于多个所述尺度特征图进行对所述被检测物体进行预测，确定出所述被检测物体的第一目标框和第二目标框，包括：
根据多个所述尺度特征图，确定出每个所述尺度特征图中所述被检测物体对应的先验框及所述先验框的置信度；
基于所述先验框的置信度对所述先验框进行筛选，以确定出所述被检测物体的第一目标框和第二目标框。
可选地，所述基于所述先验框的置信度对所述先验框进行筛选，以确定出所述被检测物体的第一目标框和第二目标框，包括：
基于所述先验框的置信度进行计算，以筛选得到第一类别属性对应的先验框和第二类别属性对应的先验框；
基于所述第一类别属性对应的先验框和所述第二类别属性对应的先验框分别进行非极大值抑制处理，以筛选得到所述被检测物体的第一目标框和第二目标框。
可选地，所述方法还包括：
对所述第一目标框和所述第二目标框进行颜色特征提取，得到所述被检测物体的颜色参数；
基于所述被检测物体的颜色参数确定所述被检测物体是否为垃圾桶。
可选地，所述颜色参数包括色调值、饱和度值及明度值；所述基于所述被检测物体的颜色参数确定所述被检测物体是否为垃圾桶，包括：
根据所述被检测物体的色调值、饱和度值及明度值，分别判断所述色调值是否在第一参数区间、所述饱和度值是否在第二参数区间及所述明度值是否在第三参数区间内；
若所述色调值在第一参数区间内、所述饱和度值在第二参数区间内且所述明度值在第三参数区间内，则确定所述被检测物体为垃圾桶。
可选地，所述目标检测模型的方法包括：
获取样本图像，所述样本图像包括被检测物体的第一真实框或第二真实框；
通过待训练的网络模型对所述样本图像进行处理，得到所述被检测物体的第一预测框或第二预测框；
根据所述第一真实框和所述第一预测框进行损失计算，或者根据所述第二真实框和所述第二预测框进行损失计算，得到损失结果；
基于所述损失结果更新所述网络模型的参数，得到训练后的目标检测模型。
第二方面，本发明实施例提供了一种目标检测装置，包括：
获取模块，用于获取待检测图像；所述待检测图像包含被检测物体；
特征提取模块，用于将所述待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图；
预测模块，用于基于多个所述尺度特征图进行对所述被检测物体进行预测，确定出所述被检测物体的第一目标框和第二目标框，以根据所述第一目标框和所述第二目标框确定所述被检测物体的属性状态；所述第一目标框用于表征所述被检测物体的第一类别属性，所述第二目标框用于表征所述被检测物体的第二类别属性。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的目标检测方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的目标检测方法的步骤。
本发明的上述方案至少包括以下有益效果：
本发明提供的目标检测方法，可以先获取待检测图像；所述待检测图像包含被检测物体；并将所述待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图；最后基于多个所述尺度特征图进行对所述被检测物体进行预测，确定出所述被检测物体的第一目标框和第二目标框，以根据所述第一目标框和所述第二目标框确定所述被检测物体的属性状态；所述第一目标框用于表征所述被检测物体的第一类别属性，所述第二目标框用于表征所述被检测物体的第二类别属性。由此可以避免因环境等因素影响导致检测过程中误报率较高，提高了检测的准确率，可以满足不同场景的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例提供的目标检测方法的整体流程示意图；
图2为本发明实施例提供的目标检测装置的结构框图；
图3为本发明实施例提供的特征提取模块和预测模块的结构框图；
图4为本发明实施例提供的筛选单元的结构框图；
图5为本发明实施例提供的目标检测装置的另一结构框图；
图6为本发明实施例提供的提取模块的结构框图；
图7为本发明实施例提供的目标检测装置的又一结构框图；
图8为本发明实施例提供的电子设备的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先结合相关附图来举例介绍下本申请实施例的方案。
如图1所示，本发明的具体实施例提供了一种目标检测方法，包括：
S10、获取待检测图像；待检测图像包含被检测物体；
在本实施例中，待检测图像可以是图像采集设备采集得到，例如各个公共场所中摄像头拍摄的照片、视频流中的图像帧等，并且待检测图像可以是jpg格式、PNG格式、TIF格式、BMP格式等；图像采集设备可以是实时采集视频流以截取图像帧得到待检测图像，也可以是以预定间隔时间抓拍得到待处理图像；被检测物体可以是垃圾桶，垃圾桶可以是不同种类、不同尺寸、不同颜色的垃圾桶，举例来说，通过小区摄像头拍摄得到的待检测图像，待检测图像中包含不同种类、不同颜色的垃圾桶，可以是打开状态的垃圾桶，关闭状态的垃圾桶，并且垃圾桶的颜色可以是黄色、绿色、蓝色等，通过对不同种类及不同颜色的垃圾桶进行检测，由此确定出待检测图像中垃圾桶的使用状态。
S20、将待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图。
在本实施例中，目标检测模型可以是YOLO网络模型等，不同的尺度特征图具有不同的感受野，例如通过目标检测模型中的高层网络进行提取得到尺度分辨率较小的尺度特征图，使其感受野比较大，语义信息表征能力强；通过低层网络的尺度分辨率较大的，感受野比较小且几何细节信息表征能力强，因此在将待检测图像输入目标检测模型后，目标检测模型通过不同的卷积核可以对待检测模型进行特征提取，从而对待检测图像中的被检测物体，进而可以得到上述的多个尺度特征图。
具体的，上述将待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图，包括：将待检测图像输入预先训练的目标检测模型中进行处理，并获取目标检测模型中的多个卷积核分别对应的输出结果，得到多个不同尺度下的尺度特征图。
其中，多个不同尺度的尺度特征图所对应的分辨率各不相同，并且可以是至少四个不同尺度，至少四个不同尺度的尺度特征图可以包括第一尺度特征图、第二尺度特征图、第三尺度特征图及第四尺度特征图，举例来说，待检测图像的分辨率可以是320×320，在将待检测图像进行特征提取后，得到的第一尺度特征图的分辨率可以是20×20，第二尺度特征图的分辨率可以是40×40，第三尺度特征图的分辨率可以是80×80，第四尺度特征图的分辨率可以是160×160，可以理解的是，第一尺度特征图可以采用较大的卷积核提取得到，第二尺度特征图和第三尺度特征图可以采用中层的卷积核提取得到，第四尺度特征图可以采用较小的卷积核提取得到，通过上述的尺度特征图对被检测物体进行检测，可以提高被检测物体的检出率；因此，在将待检测图像输入上述的目标检测模型中进行提取后，对于待检测图像中的大目标则可以输出第一尺度特征图，待检测图像中的中目标则可以输出第二尺度特征图或第三尺度特征图，待检测图像中的小目标则可以输出第四尺度特征图；例如待检测图像中的垃圾桶则可以对应输出第四尺度特征图。
S30、基于多个尺度特征图进行对被检测物体进行预测，确定出被检测物体的第一目标框和第二目标框，以根据第一目标框和第二目标框确定被检测物体的属性状态；第一目标框用于表征被检测物体的第一类别属性，第二目标框用于表征被检测物体的第二类别属性。
在本实施例中，第一类别属性可以包括打开类别属性和关闭类别属性，第二类别属性可以包括满溢类别属性和未满溢类别属性；因此，第一目标框可以用于表示被检测物体的打开状态和关闭状态，第二目标框可以用于表示被检测物体的满溢状态和未满溢状态；可以理解的是，在通过上述的尺度特征图输出第一目标框和第二目标框后，第一目标框可以区分被检测物体的打开状态和关闭状态，第二目标框可以区分被检测物体的满溢状态和未满溢状态，使得在检测过程中能够降低误识别率；举例来说，在待检测图像中包含打开满溢状态的垃圾桶A和关闭满溢状态的垃圾桶B，在对待检测图像进行检测后，垃圾桶A输出的第一目标框对应的属性为打开属性，第二目标框对应的标签为满溢属性，垃圾桶B输出的第一目标框对应的属性为关闭属性，第二目标框对应的标签为满溢属性，由此可以对垃圾桶的检测更为准确。
在一个可选的实施例中，可以根据上述对垃圾桶的目标检测结果，将待检测图像的目标检测结果、位置信息及时间信息上报至管理部门，以便于管理部门进行处理，由此使得管理部门可以安排工作人员处理垃圾桶的违规行为，进而提高对垃圾桶的检查效率。
具体的，上述基于多个尺度特征图进行对被检测物体进行预测，确定出被检测物体的第一目标框和第二目标框，包括：根据多个尺度特征图，确定出每个尺度特征图中被检测物体对应的先验框及先验框的置信度；基于先验框的置信度对先验框进行筛选，以确定出被检测物体的第一目标框和第二目标框。
在本实施例中，每个尺度特征图可以输出对应的3个先验框及先验框对5应的置信度，置信度可以包括存在被检测物体的置信度、第一类别置信度和第二类别置信度，第一类别置信度可以表示为打开类别属性和关闭类别属性的置信度，第二类别置信度可以表示为满溢类别属性和未满溢类别属性的置信度，即每个类别属性可以输出对应的置信度，在确定出先验框后，可以对
多个先验框进行过滤后再通过非极大值抑制处理，以确定出第一目标框和第0二目标框，可以理解的是，第一类别置信度表示先验框属于第一类别属性的概率值，第二类别置信度表示先验框属于第二类别属性的概率值，非极大值抑制处理表示依靠分类器得到多个先验框中属于第一类别属性和第二类别属性的置信度，并根据分类器得到的置信度进行排序处理，以对先验框筛选后
得到第一目标框和第二目标框；举例来说，上述输出的尺度特征图对应的特5征维度可以是30，30可以表示为3×10，3表示为3个先验框，10表示为每个先验框的深度信息，可以表示为5+1+2+2＝10，其中1表示先验框为最大的置信度所对应的类别属性；2+2分别表示先验框的第一类别属性和第二类别属性，以及第一类别置信度和第二类别置信度；5表示先验框的四个坐标和存在
被检测物体的物体置信度；因此，在确定出先验框后，可以根据每个先验框0的深度信息对先验框进行筛选，以确定出第一目标框和第二目标框。
进一步的，基于先验框的置信度对先验框进行筛选，以确定出被检测物体的第一目标框和第二目标框，包括：基于先验框的置信度进行计算，以筛选得到第一类别属性对应的先验框和第二类别属性对应的先验框；基于第一
类别属性对应的先验框和第二类别属性对应的先验框分别进行非极大值抑制5处理，以筛选得到被检测物体的第一目标框和第二目标框。
在本实施例中，在对多个先验框进行非极大值抑制处理之前，可以根据预先设定的置信度阈值对先验框进行筛选，因此可以将存在被检测物体的物体置信度与物体置信度阈值进行比对，在大于物体置信度阈值的先验框则保
留，小于物体置信度阈值的先验框则删除，然后将通过第一类别置信度、第0二类别置信度与物体置信度阈值进行综合计算，可以确定出综合置信度，通过综合置信度再对先验框进行进一步过滤，得到第一类别属性对应的先验框和第二类别属性对应的先验框，由此在通过非极大值抑制处理时，可以通过第一类别属性对应的先验框和第一类别属性对应的其他先验框进行交并比计算，在重叠面积大于第一预设阈值时，则可以将对应的先验框删除，由此得到第一目标框；以及通过第二类别属性对应的先验框和第二类别属性对应的其他先验框进行交并比计算，在重叠面积大于第二预设阈值时，则可以将对应的先验框删除，由此得到第二目标框。
举例来说，在针对上述的打开满溢状态的垃圾桶A进行预测后，可以确定出垃圾桶A的多个先验框对应有打开类别的置信度和满溢类别的置信度，通过打开类别的置信度和满溢类别的置信度对垃圾桶A的多个先验框进行筛选后，可以输出打开类别对应的第一目标框和满溢类别对应的第二目标框。
在一个优选的实施例中，本发明实施例中提供的方法还包括：对第一目标框和第二目标框进行颜色特征提取，得到被检测物体的颜色参数；基于被检测物体的颜色参数确定被检测物体是否为垃圾桶。
在本实施例中，在确定出第一目标框和第二目标框后，由于垃圾桶和其他物体的形状接近的情况下，也可以生成对应的目标框，因此可以将第一目标框和第二目标框的框选区域作为ROI(Region of Interest)区域，ROI区域表示为感兴趣区域，可以将第一目标框和第二目标框的框选区域进行HSV空间提取，确定出被检测物体的颜色参数，在颜色参数与预设条件相匹配时，则可以确定被检测物体为垃圾桶，在颜色参数与预设条件不匹配时，则可以确定被检测物体为垃圾桶；可以理解的是，预设条件可以是提取得到的颜色参数在对应的取值区间中，在对垃圾桶进行检测时，为进一步减少因其他物体出现的误检情况，可以针对垃圾桶的颜色进行检测，因此上述的颜色参数可以根据垃圾桶的颜色进行设定，例如垃圾桶的颜色可以是黄色、蓝色、绿色等，因此颜色参数可以对应黄色、蓝色、绿色进行设定。
进一步的，颜色参数包括色调值、饱和度值及明度值；基于被检测物体的颜色参数确定被检测物体是否为垃圾桶，包括：根据被检测物体的色调值、饱和度值及明度值，分别判断色调值是否在第一参数区间、饱和度值是否在第二参数区间及明度值是否在第三参数区间内；若色调值在第一参数区间内、饱和度值在第二参数区间内且明度值在第三参数区间内，则确定被检测物体为垃圾桶。
其中，色调值可以表示为颜色的种类，饱和度值表示该颜色接近光谱色的程度，明度可以表示为亮度，范围是0-255，第一参数区间表示为色调值的参数区间，第二参数区间表示为饱和度值的参数区间，第三参数区间表示为明度值的参数区间，可以将被检测物体对应提取得到的色调值和第一参数区间进行比对，将提取得到的饱和度值和第二参数区间进行比对，将提取得到的明度值和第三参数区间进行比对，若色调值处于第一参数区间、饱和度值处于第二参数区间及明度值处于第三参数区间，则可以确定被检测物体为垃圾桶；若色调值不处于第一参数区间、或饱和度值不处于第二参数区间、或明度值不处于第三参数区间，则可以确定被检测物体为非垃圾桶；由此可以确定被检测物体不是垃圾桶，使得在对垃圾桶进行检测过程中，误报率更低且提高了检测的准确率。
举例来说，第一参数区间可以是[26-34]，第二参数区间可以是[43-255]，第三参数区间可以是[46-255]，在被检测物体提取得到的色调值为30、饱和度值为200，明度值为100，在对比后则可以确定被检测物体为垃圾桶；在被检测物体提取得到的色调值为20、饱和度值为40，明度值为100，在对比后则可以确定被检测物体为非垃圾桶。
在一个优选的实施例中，上述目标检测模型的方法包括：获取样本图像，样本图像包括被检测物体的第一真实框或第二真实框；通过待训练的网络模型对样本图像进行处理，得到被检测物体的第一预测框或第二预测框；根据第一真实框和第一预测框进行损失计算，或者根据第二真实框和第二预测框进行损失计算，得到损失结果；基于损失结果更新网络模型的参数，得到训练后的目标检测模型。
在本实施例中，可以根据第一类别属性对网络模型进行训练，也可以根据第二类别属性对网络模型进行训练，因此，在对上述的网络模型进行训练之前，可以在样本图像中标注第一真实框，然后通过标注有第一真实框的样本图像输入上述的网络模型中以预测得到被检测物体的第一预测框，通过被检测物体的第一预测框和第一真实框之间进行损失计算，得到的损失结果可以与预先设定的损失阈值进行比对，当损失结果小于损失阈值时，则表示根据第一类别属性训练网络模型完成；可以理解的是，还可以在样本图像中标注第二真实框，通过标注有第二真实框的样本图像输入上述的网络模型中以预测得到被检测物体的第二预测框，通过被检测物体的第二预测框和第二真实框之间进行损失计算，得到的损失结果可以与预先设定的损失阈值进行比对，当损失结果小于损失阈值时，则表示根据第二类别属性训练网络模型完成，由此，在将上述的网络模型训练完成后可以确定得到目标检测模型，进而可以根据训练完成的目标检测模型对垃圾桶进行检测；由此提升了目标检测模型的训练数据，并且提高了目标检测模型的精度和泛化能力，降低了误识别率。
本发明提供的目标检测方法，可以先获取待检测图像；待检测图像包含被检测物体；并将待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图；最后基于多个尺度特征图进行对被检测物体进行预测，确定出被检测物体的第一目标框和第二目标框，以根据第一目标框和第二目标框确定被检测物体的属性状态；第一目标框用于表征被检测物体的第一类别属性，第二目标框用于表征被检测物体的第二类别属性。由此可以避免因环境等因素影响导致检测过程中误报率较高，提高了检测的准确率，可以满足不同场景的需求。
如图2所示，本发明实施例提供了一种目标检测装置10，包括：
获取模块11，用于获取包含被检测物体的待检测图像；
特征提取模块12，用于将待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图；
预测模块13，用于基于多个尺度特征图进行对被检测物体进行预测，确定出被检测物体的第一目标框和第二目标框，以根据第一目标框和第二目标框确定被检测物体的属性状态；第一目标框用于表征被检测物体的第一类别属性，第二目标框用于表征被检测物体的第二类别属性。
如图3所示，特征提取模块12包括：
处理单元121，用于将待检测图像输入预先训练的目标检测模型中进行处理，并获取目标检测模型中的至少四个卷积核分别对应的输出结果，得到至少四个尺度的尺度特征图。
上述预测模块13包括：
第一确定单元131，用于根据多个尺度特征图，确定出每个尺度特征图中被检测物体对应的先验框及先验框的置信度；
筛选单元132，用于基于先验框的置信度对先验框进行筛选，以确定出被检测物体的第一目标框和第二目标框。
如图4所示，上述筛选单元132包括：
计算子单元1321，基于先验框的置信度进行计算，以筛选得到第一类别属性对应的先验框和第二类别属性对应的先验框；
处理子单元1322，基于第一类别属性对应的先验框和第二类别属性对应的先验框分别进行非极大值抑制处理，以筛选得到被检测物体的第一目标框和第二目标框。
如图5所示，上述目标检测装置10还包括：
提取模块14，用于根据第一目标框和第二目标框进行提取，得到被检测物体的颜色参数；
确定模块15，用于基于被检测物体的颜色参数确定被检测物体是否为垃圾桶。
如图6所示，上述颜色参数包括色调值、饱和度值及明度值；提取模块14包括：
判断单元141，用于根据被检测物体的色调值、饱和度值及明度值，分别判断色调值是否在第一参数区间、饱和度值是否在第二参数区间及明度值是否在第三参数区间内；
第二确定单元142，用于若色调值在第一参数区间内、饱和度值在第二参数区间内且明度值在第三参数区间内，则确定被检测物体为垃圾桶。
如图7所示，目标检测装置10还包括：
第二获取模块16，用于获取样本图像，样本图像包括被检测物体的第一真实框或第二真实框；
处理模块17，用于通过待训练的网络模型对样本图像进行处理，得到被检测物体的第一预测框或第二预测框；
计算模块18，用于根据第一真实框和第一预测框进行损失计算，或者根据第二真实框和第二预测框进行损失计算，得到损失结果；
训练模块19，用于基于损失结果更新网络模型的参数，得到训练后的目标检测模型。
本发明提供的目标检测装置10，可以先获取待检测图像；待检测图像包含被检测物体；并将待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图；最后基于多个尺度特征图进行对被检测物体进行预测，确定出被检测物体的第一目标框和第二目标框，以根据第一目标框和第二目标框确定被检测物体的属性状态；第一目标框用于表征被检测物体的第一类别属性，第二目标框用于表征被检测物体的第二类别属性。由此可以避免因环境等因素影响导致检测过程中误报率较高，提高了检测的准确率，可以满足不同场景的需求。
需要说明的是，本发明具体实施例提供的目标检测装置10为与上述目标检测方法对应的装置，上述目标检测方法的所有实施例均适用于该目标检测装置10，上述目标检测装置10实施例中均有相应的模块对应上述目标检测方法中的步骤，能达到相同或相似的有益效果，为避免过多重复，在此不对目标检测装置2中的每一模块进行过多赘述。
如图8所示，本发明的具体实施例还提供了一种电子设备20，包括存储器202、处理器201以及存储在存储器202中并可在处理器201上运行的计算机程序，该处理器201执行计算机程序时实现上述的目标检测方法的步骤。
具体的，处理器201用于调用存储器202存储的计算机程序，执行如下步骤：
获取待检测图像；待检测图像包含被检测物体；
将待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图；
基于多个尺度特征图进行对被检测物体进行预测，确定出被检测物体的第一目标框和第二目标框，以根据第一目标框和第二目标框确定被检测物体的属性状态；第一目标框用于表征被检测物体的第一类别属性，第二目标框用于表征被检测物体的第二类别属性。
可选的，处理器201执行的将待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图，包括：
将待检测图像输入预先训练的目标检测模型中进行处理，并获取目标检测模型中的多个卷积核分别对应的输出结果，得到多个不同尺度下的尺度特征图。
可选的，处理器201执行的基于多个尺度特征图进行对被检测物体进行预测，确定出被检测物体的第一目标框和第二目标框，包括：
根据多个尺度特征图，确定出每个尺度特征图中被检测物体对应的先验框及先验框的置信度；
基于先验框的置信度对先验框进行筛选，以确定出被检测物体的第一目标框和第二目标框。
可选的，处理器201执行的基于先验框的置信度对先验框进行筛选，以确定出被检测物体的第一目标框和第二目标框，包括：
基于先验框的置信度进行计算，以筛选得到第一类别属性对应的先验框和第二类别属性对应的先验框；
基于第一类别属性对应的先验框和第二类别属性对应的先验框分别进行非极大值抑制处理，以筛选得到被检测物体的第一目标框和第二目标框。
可选的，处理器201执行的方法还包括：
根据第一目标框和第二目标框进行提取，得到被检测物体的颜色参数；
基于被检测物体的颜色参数确定被检测物体是否为垃圾桶。
可选的，颜色参数包括色调值、饱和度值及明度值；处理器201执行的基于被检测物体的颜色参数确定被检测物体是否为垃圾桶，包括：
根据被检测物体的色调值、饱和度值及明度值，分别判断所述色调值是否在第一参数区间、所述饱和度值是否在第二参数区间及所述明度值是否在第三参数区间内；
若所述色调值在第一参数区间内、所述饱和度值在第二参数区间内且所述明度值在第三参数区间内，则确定被检测物体为垃圾桶。
可选的，处理器201执行的目标检测模型的方法包括：
获取样本图像，样本图像包括被检测物体的第一真实框或第二真实框；
通过待训练的网络模型对样本图像进行处理，得到被检测物体的第一预测框或第二预测框；
根据第一真实框和第一预测框进行损失计算，或者根据第二真实框和第二预测框进行损失计算，得到损失结果；
基于损失结果更新网络模型的参数，得到训练后的目标检测模型。
即，在本发明的具体实施例中，电子设备20的处理器201执行计算机程序时实现上述目标检测方法的步骤，由此可以避免因环境等因素影响导致检测过程中误报率较高，提高了检测的准确率，可以满足不同场景的需求。
需要说明的是，由于电子设备20的处理器201执行计算机程序时实现上述目标检测方法的步骤，因此上述目标检测方法的所有实施例均适用于该电子设备20，且均能达到相同或相似的有益效果。
本发明实施例中提供的计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的目标检测方法或应用端目标检测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种目标检测方法，其特征在于，包括：
获取待检测图像；所述待检测图像包含被检测物体；
将所述待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图；
基于多个所述尺度特征图进行对所述被检测物体进行预测，确定出所述被检测物体的第一目标框和第二目标框，以根据所述第一目标框和所述第二目标框确定所述被检测物体的属性状态；所述第一目标框用于表征所述被检测物体的第一类别属性，所述第二目标框用于表征所述被检测物体的第二类别属性。
2.根据权利要求1所述的目标检测方法，其特征在于，所述将所述待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图，包括：
将所述待检测图像输入预先训练的目标检测模型中进行处理，并获取所述目标检测模型中的多个卷积核分别对应的输出结果，得到多个不同尺度下的尺度特征图。
3.根据权利要求1所述的目标检测方法，其特征在于，所述基于多个所述尺度特征图进行对所述被检测物体进行预测，确定出所述被检测物体的第一目标框和第二目标框，包括：
根据多个所述尺度特征图，确定出每个所述尺度特征图中所述被检测物体对应的先验框及所述先验框的置信度；
基于所述先验框的置信度对所述先验框进行筛选，以确定出所述被检测物体的第一目标框和第二目标框。
4.根据权利要求3所述的目标检测方法，其特征在于，所述基于所述先验框的置信度对所述先验框进行筛选，以确定出所述被检测物体的第一目标框和第二目标框，包括：
基于所述先验框的置信度进行计算，以筛选得到第一类别属性对应的先验框和第二类别属性对应的先验框；
基于所述第一类别属性对应的先验框和所述第二类别属性对应的先验框分别进行非极大值抑制处理，以筛选得到所述被检测物体的第一目标框和第二目标框。
5.根据权利要求1所述的目标检测方法，其特征在于，所述方法还包括：
对所述第一目标框和所述第二目标框进行颜色特征提取，得到所述被检测物体的颜色参数；
基于所述被检测物体的颜色参数确定所述被检测物体是否为垃圾桶。
6.根据权利要求5所述的目标检测方法，其特征在于，所述颜色参数包括色调值、饱和度值及明度值；所述基于所述被检测物体的颜色参数确定所述被检测物体是否为垃圾桶，包括：
根据所述被检测物体的色调值、饱和度值及明度值，分别判断所述色调值是否在第一参数区间、所述饱和度值是否在第二参数区间及所述明度值是否在第三参数区间内；
若所述色调值在第一参数区间内、所述饱和度值在第二参数区间内且所述明度值在第三参数区间内，则确定所述被检测物体为垃圾桶。
7.根据权利要求5所述的目标检测方法，其特征在于，所述目标检测模型的方法包括：
获取样本图像，所述样本图像包括被检测物体的第一真实框或第二真实框；
通过待训练的网络模型对所述样本图像进行处理，得到所述被检测物体的第一预测框或第二预测框；
根据所述第一真实框和所述第一预测框进行损失计算，或者根据所述第二真实框和所述第二预测框进行损失计算，得到损失结果；
基于所述损失结果更新所述网络模型的参数，得到训练后的目标检测模型。
8.一种目标检测装置，其特征在于，包括：
获取模块，用于获取待检测图像；所述待检测图像包含被检测物体；
特征提取模块，用于将所述待检测图像输入预先训练的目标检测模型中进行特征提取，得到多个尺度特征图；
预测模块，用于基于多个所述尺度特征图进行对所述被检测物体进行预测，确定出所述被检测物体的第一目标框和第二目标框，以根据所述第一目标框和所述第二目标框确定所述被检测物体的属性状态；所述第一目标框用于表征所述被检测物体的第一类别属性，所述第二目标框用于表征所述被检测物体的第二类别属性。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的目标检测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的目标检测方法的步骤。
CN202211721539.7A 2022-12-30 2022-12-30 目标检测方法、装置、电子设备及存储介质 Pending CN116110030A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211721539.7A CN116110030A (zh) 2022-12-30 2022-12-30 目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211721539.7A CN116110030A (zh) 2022-12-30 2022-12-30 目标检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116110030A true CN116110030A (zh) 2023-05-12

Family

ID=86263127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211721539.7A Pending CN116110030A (zh) 2022-12-30 2022-12-30 目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116110030A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI769626B (zh) * 2020-11-24 2022-07-01 航天信息股份有限公司 一種設備類應用軟體之更新方法及系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI769626B (zh) * 2020-11-24 2022-07-01 航天信息股份有限公司 一種設備類應用軟體之更新方法及系統

Similar Documents

Publication Publication Date Title
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN108830285B (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN110310264A (zh) 一种基于dcnn的大尺度目标检测方法、装置
CN110188635A (zh) 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法
Qu et al. A pedestrian detection method based on yolov3 model and image enhanced by retinex
CN109154978A (zh) 用于检测植物疾病的系统和方法
CN108446707B (zh) 基于关键点筛选及dpm确认的遥感图像飞机检测方法
CN110751079A (zh) 物品检测方法、装置、系统和计算机可读存储介质
CN111210399B (zh) 一种成像质量评价方法、装置及设备
WO2005066896A2 (en) Detection of sky in digital color images
CN108921099A (zh) 一种基于深度学习的航道内运动船舶目标检测方法
CN107944403A (zh) 一种图像中的行人属性检测方法及装置
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN109242826B (zh) 基于目标检测的移动设备端签状物根数计数方法及系统
CN116110030A (zh) 目标检测方法、装置、电子设备及存储介质
CN112489055A (zh) 融合亮度-时序特征的卫星视频动态车辆目标提取方法
CN114821440A (zh) 一种基于深度学习的移动视频流内容识别分析方法
CN110569716A (zh) 一种货架图像翻拍检测方法
CN113988222A (zh) 一种基于Faster-RCNN的森林火灾检测与识别方法
CN106650824B (zh) 基于支持向量机的运动目标分类方法
CN111950357A (zh) 一种基于多特征yolov3的船用水面垃圾快速识别方法
Al-Shammri et al. A Combined Method for Object Detection under Rain Conditions Using Deep Learning
CN113869401A (zh) Ai厨余垃圾桶满溢度确定方法、装置、设备及垃圾桶

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination