CN115063741B - 目标检测方法、装置、设备、介质及产品 - Google Patents
目标检测方法、装置、设备、介质及产品 Download PDFInfo
- Publication number
- CN115063741B CN115063741B CN202210654664.4A CN202210654664A CN115063741B CN 115063741 B CN115063741 B CN 115063741B CN 202210654664 A CN202210654664 A CN 202210654664A CN 115063741 B CN115063741 B CN 115063741B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- boundary
- warning zone
- warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标检测方法、装置、设备、介质及产品。该方法包括:获取包含目标警戒带的第一图像;将第一图像输入至目标检测模型中,利用目标检测模型确定第一图像中与目标警戒带对应的目标边界框,其中,目标边界框的边界与警戒带的边界平行;根据目标边界框,确定目标警戒带的状态;在目标警戒带处于断开状态的情况下,输出报警信息。采用本申请提供的目标检测方法、装置、设备、介质及产品,可以及时发现断开的警戒带。
Description
技术领域
本申请属于目标检测技术领域,尤其涉及一种目标检测方法、装置、设备、介质及产品。
背景技术
在某些场景中,为了提高安全性或保密性,需要设置警戒带。例如,在石油作业现场需要设置警戒带来保证作业的安全。但是,警戒带有可能因出现破损而断开,若没有及时对断开的警戒带进行重新设置,则可能出现危险。
现有技术中,通常通过人工检查警戒带是否断开。但是人工检查不仅耗费人力,还可能无法及时发现断开的警戒带。
发明内容
本申请实施例提供一种目标检测方法、装置、设备、介质及产品,能够至少解决现有技术中人工检查不仅耗费人力,还可能无法及时发现断开的警戒带的问题。
第一方面,本申请实施例提供一种目标检测方法,该方法包括:
获取包含目标警戒带的第一图像;
将第一图像输入至目标检测模型中,利用目标检测模型确定第一图像中与目标警戒带对应的目标边界框,其中,目标边界框的边界与目标警戒带的边界平行;
根据目标边界框,确定目标警戒带的状态;
在目标警戒带处于断开状态的情况下,输出报警信息。
第二方面,本申请实施例提供了一种目标检测装置,该装置包括:
第一获取模块,用于获取包含目标警戒带的第一图像;
第一确定模块,用于将第一图像输入至目标检测模型中,利用目标检测模型确定第一图像中与目标警戒带对应的目标边界框,其中,目标边界框的边界与目标警戒带的边界平行;
第二确定模块,用于根据目标边界框,确定目标警戒带的状态;
报警模块,用于在目标警戒带处于断开状态的情况下,输出报警信息。
第三方面,本申请实施例提供了一种电子设备,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如第一方面的任一项实施例中所示的目标检测方法。
第四方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现第一方面的任一项实施例中所示的目标检测方法。
第五方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行第一方面的任一项实施例中所示的目标检测方法。
本申请实施例的目标检测方法、装置、设备、介质及产品,可以将包含目标警戒带的第一图像输入至目标检测模型中,利用目标检测模型确定第一图像中与目标警戒带对应的目标边界框,由于目标边界框的边界与目标警戒带的边界平行,因此,可以根据该目标边界框,及时确定目标警戒带是否断开,并在目标警戒带处于断开状态的情况下,输出报警信息来提醒用户,这样便无需耗费人力,还可以及时发现断开的警戒带。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的一种目标检测方法的流程图;
图2是本申请一个实施例提供的另一种目标检测方法的流程图;
图3是本申请一个实施例提供的再一种目标检测方法的流程图;
图4是本申请一个实施例提供的一种目标检测装置的结构示意图;
图5是本申请一个实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
图1示出了本申请一个实施例提供的一种目标检测方法的流程示意图,具体的可以是本申请一个实施例提供的目标检测方法中所采用的目标检测模型的训练方法。
如图1所示,本申请实施例提供的目标检测方法中所采用的目标检测模型的训练方法可以包括S110-S120:
S110,获取多个训练样本;
S120,根据多个训练样本,训练目标检测模型,直至目标检测模型收敛,得到目标检测模型。
由此,利用包括警戒带的历史图像和边界与警戒带的边界平行的目标框作为训练样本对目标检测模型进行训练,可以得到训练好的目标检测模型,从而可以通过该目标检测模型确定第一图像中边界与目标警戒带的边界平行的目标边界框,进而根据该目标边界框,及时确定目标警戒带是否断开,并在目标警戒带处于断开状态的情况下,输出报警信息来提醒用户,这样便无需耗费人力,还可以及时发现断开的警戒带。
涉及S110,训练样本可以包括历史图像和目标框,目标框可以为历史图像中与警戒带对应的边界框,目标框的边界可以与警戒带的边界平行,该目标框可以是人工标记的。该训练样本可用于对目标检测模型进行训练。
在一些实施方式中,可以获取多个样本,将多个样本分为两部分,一部分作为对目标检测模型进行训练的训练样本,一部分作为对目标检测模型进行测试的测试样本。
示例性地,可以将75%的样本作为训练样本,将25%的样本作为测试样本。
在一些实施方式中,历史图像可以是从警戒带区域的历史监控视频中获取的,而历史监控视频中连续帧之间的差别通常是微小的,因此若将连续帧作为训练样本,由于多个训练样本之间的差别微小,不利于对目标检测模型进行训练,因此,为了使训练后的目标检测模型更准确,S110具体可以包括:
获取警戒带区域的历史监控视频;
从历史监控视频中,每间隔N帧抽取一个历史视频帧作为历史图像,N为正整数。
这里,可以从警戒带区域的历史监控视频中,每间隔N帧抽取一个历史视频帧作为历史图像。
示例性地,可以通过抽帧算法从历史监控视频中每隔45帧抽取一个历史视频帧作为历史图像。
此外,历史监控视频可以是通过监控设备获取的。
示例性地,为了保证图像的分辨率,监控设备可以安装在电线杆或路灯上,与警戒带区域的水平距离可以控制在100米以内。
如此,从警戒带区域的历史监控视频中,每间隔N帧抽取一个历史视频帧作为历史图像,可以使不同训练样本之间差别较大,从而使训练得到的目标检测模型更准确。
在一些实施方式中,为了丰富训练样本,提高目标检测模型的适应性,在S110之前,该方法还可以包括:
获取警戒带区域的原始图像;
通过目标方式处理原始图像,得到历史图像。
这里,原始图像可以是从警戒带区域的历史监控视频中获取的,为了使训练样本更加丰富,可以通过目标方式对从历史监控视频中获取的原始图像进行处理,从而得到历史图像作为训练样本。
其中,目标方式可以包括调整亮度、调整色调、调整饱和度以及马赛克数据增强处理中的至少一种。
示例性地,可以通过调整原始图像的像素值来调整亮度、色调和/或饱和度,得到历史图像;通过马赛克数据增强处理,可以将4张原始图像拼接为一张历史图像,且该历史图像与原始图像尺寸相同。
如此,通过调整亮度、色调和/或饱和度可以仿真出不同天气条件下的历史图像,通过马赛克数据增强处理可以提高历史图像的复杂度,这样对训练样本进行扩充,可以丰富训练样本,使训练后的目标检测模型对不同场景的适应性更强。
在一些实施方式中,在训练样本数量较少的情况下,为了提升目标检测模型的性能,在S110之前,该方法还可以包括:
获取预设的警戒带图像和背景图像;
将警戒带图像旋转随机角度后,放置到背景图像中,得到历史图像。
这里,由于合理的数据增强方式可以显著提升提升目标检测模型的性能,因此可以通过将预设的警戒带图像旋转随机角度后,放置到背景图像中,来得到历史图像作为训练样本。
示例性地,先将警戒带图像旋转随机角度,再将该旋转后的警戒带图像随机放置在背景图像中没有警戒带的位置。
如此,在训练样本数量较少的情况下,可以通过将预设的警戒带图像旋转随机角度后,放置到背景图像中,来得到历史图像作为训练样本,从而避免目标检测模型因训练样本数量不足而导致性能较差。
涉及S120,目标检测模型的主干网络可以为旋转等变检测器(Redet)。
具体地,可以将训练样本输入至目标检测模型中,利用目标检测模型获取目标框对应的区域的旋转等变特征,并根据目标框对应的区域的旋转等变特征预测目标框的方向,然后使用旋转不变的锚框对齐(RoI Align),根据目标框的方向将目标框对应的区域旋转至水平或竖直方向,再获取处于水平或竖直方向的目标框对应的区域的旋转不变特征,并根据该旋转不变特征,预测历史图像中警戒带对应的预测,根据该预测框和目标框,调整目标检测模型的模型参数,直至该目标检测模型收敛,得到训练后的目标检测模型。
此外,还可以在目标检测模型中加入细化阶段,对预测框进行细化,并在细化阶段加入特征细化模块(FRM)来重构特征图。在单级旋转目标检测任务中,对预测框进行连续细化可以提高回归精度。
示例性地,可以构建Redet网络模型结构,Redet网络模型可以采用8倍、16倍和32倍下采样特征图。可以采用带有特征图金字塔网络(Re-Feature Pyramid Networks,ReFPN)的残差网络(resnet)作为基础网络。对于区域生成网络(RegionProposal Network,RPN),可以在每个金字塔层的每个位置设置15个锚。对于卷积神经网络(Region-CNN,R-CNN),可以采样512个正负比为1:3的锚框(roi)进行训练。为了测试,在非极大抑制(NMS)之前可以采用10000个roi(每个金字塔层2000个),在NMS之后可以采用2000个roi。采用优化器(SGD),初始学习率为0.01,每一步衰减学习率除以10。动量衰减为0.9,重量衰减为0.0001。如此,利用训练样本对Redet网络模型进行训练,便可以得到训练好的Redet网络模型,也即目标检测模型。
传统的目标检测模型只能输出水平或竖直方向的矩形框,而警戒带在图像中可能处于任意方向,例如,倾斜45度的方向,这种情况下,若使用传统的目标检测模型检测警戒带,则输出的矩形框可能是以该警戒带为对角线的矩形框,这样该矩形框中除了警戒带还会包含大量其他物体,对后续判断警戒带是否断开造成困难。
而本申请实施例提供的目标检测方法中的目标检测模型输出的目标边界框的边界可以与目标警戒带的边界平行。因此,不会包含大量其他物体,从而可以更准确地判断目标警戒带是否断开。
在一些示例中,对上述目标检测模型进行了现场试验,在英特尔i7核心处理器(Inter Core i7 CPU),4G内存和英伟达精视2080加强版(NVIDIA GeForce 2080Ti)独立显卡条件下,采用自主拍摄收集的工地场景数据集进行训练和测试。本次目标检测模型的训练加载在图像数据库(ImageNet)预训练之后的权重文件后迭代70次,在上午、中午、下午和晚上分别选取了1个测试场景,获取足够的图像进行测试,具体结果如表1所示。
表1-测试结果表
下面结合附图2对本申请实施例提供的目标检测方法进行详细说明。
图2示出了本申请实施例提供的一种目标检测方法的流程示意图,该目标检测方法执行主体可以为目标检测装置,目标检测系统可以包括部署在后台服务器中以Redet为主干网络的目标检测装置和前端摄像头。如图2所示,本申请实施例提供的目标检测方法可以包括S210-S240:
S210,获取包含目标警戒带的第一图像;
S220,将第一图像输入至目标检测模型中,利用目标检测模型确定第一图像中与目标警戒带对应的目标边界框;
S230,根据目标边界框,确定目标警戒带的状态;
S240,在目标警戒带处于断开状态的情况下,输出报警信息。
由此,可以将包含目标警戒带的第一图像输入至目标检测模型中,利用目标检测模型确定第一图像中与目标警戒带对应的目标边界框,由于目标边界框的边界与目标警戒带的边界平行,因此,可以根据该目标边界框,及时确定目标警戒带是否断开,并在目标警戒带处于断开状态的情况下,输出报警信息来提醒用户,这样便无需耗费人力,还可以及时发现断开的警戒带。
涉及S210,第一图像可以为待检测图像,目标警戒带可以为待检测警戒带。
在一些实施方式中,第一图像可以是从警戒带区域的监控视频中获取的,由于监控设备的摄像头的采集帧率较高,若对全部视频帧进行处理,对于目标检测装置整体的要求会比较高,而且实际情况中,连续帧之间的差别通常是微小的,并不会对目标检测装置的整体的准确率产生影响,因此为了减轻目标检测装置的负担,S210具体可以包括:
获取目标警戒带区域的监控视频;
从监控视频中,每间隔N帧抽取一个视频帧作为第一图像,N为正整数。
这里,可以从目标警戒带区域的监控视频中,每间隔N帧抽取一个视频帧作为第一图像。
示例性地,可以通过抽帧算法从监控视频中每隔45帧抽取一个视频帧作为第一图像。
此外,监控视频可以是通过监控设备获取的。
示例性地,为了保证图像的分辨率,监控设备可以安装在电线杆或路灯上,与警戒带区域的水平距离可以控制在100米以内。
如此,从目标警戒带区域的监控视频中,每间隔N帧抽取一个视频帧作为第一图像进行检测,可以减少需要检测的图像的数量,减轻目标检测装置的负担。
涉及S220,将第一图像输入至目标检测模型中后,目标检测模型可以输出第一图像中与目标警戒带对应的目标边界框,该目标边界框的边界可以与目标警戒带的边界平行。示例性地,可以设置该目标检测模型输出置信度大于0.4的边界框作为目标边界框。
涉及S230,确定与目标警戒带对应的目标边界框之后,便可以根据该目标边界框,确定目标警戒带的状态。
当然,也可能存在输入至目标检测模型中的图像中不包含警戒带的情况,因此,还可以先确定图像中是否存在警戒带,若存在,再确定警戒带的状态。
在一些实施方式中,第一图像可以为目标警戒带区域的监控视频中的第M个视频帧,M为正整数,为了更准确地确定目标警戒带的状态,S230具体可以包括:
获取第M-N个视频帧中的第一边界框;
对目标边界框和第一边界框进行交并比IOU匹配;
在匹配成功的情况下,确定目标警戒带未处于断开状态;
在匹配失败的情况下,确定目标警戒带处于断开状态。
这里,若第一图像为目标警戒带区域的监控视频中的第M个视频帧,则可以获取前一个待检测图像中的边界框,由于抽取第一图像时可以是每间隔N帧抽取一个视频帧作为第一图像,因此第M个视频帧的前一个待检测图像可以是第M-N个视频帧,因此,可以获取第M-N个视频帧中的边界框,也即第一边界框。然后,可以通过对目标边界框和第一边界框进行IOU匹配,确定目标警戒带的状态。具体地,若IOU匹配成功,则可以确定目标警戒带未处于断开状态;若IOU匹配失败,则可以确定目标警戒带处于断开状态。
示例性地,M可以为136,N可以为45,在确定第136个视频帧中的边界框,也即目标边界框之后,可以获取第91个视频帧中的边界框,也即第一边界框,然后将第136个视频帧中的边界框与第91个视频帧中的边界框进行IOU匹配,若匹配成功,则可以确定第136个视频帧中的警戒带,也即目标警戒带,未处于断开状态;若匹配失败,则可以确定第136个视频帧中的警戒带处于断开状态。
如此,通过对第M个视频帧中的目标边界框和第M-N个视频帧中的第一边界框进行IOU匹配,可以更准确地确定第M个视频帧中的目标警戒带是否处于断开状态。
涉及S240,若确定目标警戒带处于断开状态,则可以输出报警信息提示用户,以便用户采取相应措施,避免因警戒带断开造成安全隐患。该报警信息中可以包括目标警戒带的位置信息,该位置信息可以为目标边界框的像素坐标。
在一些实施方式中,为了避免错误报警给用户造成困扰,S240具体可以包括:
在连续T张图像中的目标警戒带处于断开状态的情况下,输出报警信息,T为正整数。
示例性地,若确定连续5张图像中的目标警戒带处于断开状态,则可以输出目标警戒带对应的目标边界框的像素坐标。
如此,可以通过连续多个图像更准确地确定目标警戒带是否处于断开状态,从而避免误报警给用户造成困扰。
为了更好地描述整个方案,基于上述实施例举一个具体的例子,如图3所示,该目标检测方法可以包括:S310-S350,下面对此进行详细解释。
S310,获取监控视频。
这里,可以通过监控设备获取警戒带区域的监控视频。
S320,抽取视频帧。
这里,可以使用FFmpeg从监控视频中每间隔N帧抽取一个视频帧作为第一图像。
S330,确定第M个视频帧中的目标边界框。
这里,可以将第M个视频帧,也即第一图像,输入至目标检测模型中,利用目标检测模型确定第一图像中与目标警戒带对应的目标边界框;
S340,目标边界框与第一边界框是否匹配成功。
这里,可以将目标边界框与第M-N个视频帧中的第一边界框进行IOU匹配,并判断是否匹配成功,若是,则返回执行S310,若否,则执行S350;
S350,输出报警信息。
这里,若IOU匹配失败,则可以输出报警信息。
由此,可以将包含目标警戒带的第一图像输入至目标检测模型中,利用目标检测模型确定第一图像中与目标警戒带对应的目标边界框,由于目标边界框的边界与目标警戒带的边界平行,因此,可以根据该目标边界框,及时确定目标警戒带是否断开,并在目标警戒带处于断开状态的情况下,输出报警信息来提醒用户,这样便无需耗费人力,还可以及时发现断开的警戒带。
基于相同的发明构思,本申请实施例还提供了一种目标检测装置。下面结合图4对本申请实施例提供的目标检测装置进行详细说明。
图4示出了本申请一个实施例提供的一种目标检测装置的结构示意图。
如图4所示,该目标检测装置可以包括:
第一获取模块401,用于获取包含目标警戒带的第一图像;
第一确定模块402,用于将第一图像输入至目标检测模型中,利用目标检测模型确定第一图像中与目标警戒带对应的目标边界框,其中,目标边界框的边界与目标警戒带的边界平行;
第二确定模块403,用于根据目标边界框,确定目标警戒带的状态;
报警模块404,用于在目标警戒带处于断开状态的情况下,输出报警信息。
由此,可以将包含目标警戒带的第一图像输入至目标检测模型中,利用目标检测模型确定第一图像中与目标警戒带对应的目标边界框,由于目标边界框的边界与目标警戒带的边界平行,因此,可以根据该目标边界框,及时确定目标警戒带是否断开,并在目标警戒带处于断开状态的情况下,输出报警信息来提醒用户,这样便无需耗费人力,还可以及时发现断开的警戒带。
在一些实施方式中,第一图像可以是从警戒带区域的监控视频中获取的,由于监控设备的摄像头的采集帧率较高,若对全部视频帧进行处理,对于目标检测装置整体的要求会比较高,而且实际情况中,连续帧之间的差别通常是微小的,并不会对目标检测装置的整体的准确率产生影响,因此为了减轻目标检测装置的负担,第一获取模块401可以包括:
第一获取子模块,用于获取目标警戒带区域的监控视频;
抽取子模块,用于从监控视频中,每间隔N帧抽取一个视频帧作为第一图像,N为正整数。
在一些实施方式中,第一图像可以为目标警戒带区域的监控视频中的第M个视频帧,M为正整数,为了更准确地确定目标警戒带的状态,第二确定模块403可以包括:
第二获取子模块,用于获取第M-N个视频帧中的第一边界框;
匹配子模块,用于对目标边界框和第一边界框进行交并比IOU匹配;
第一确定子模块,用于在匹配成功的情况下,确定目标警戒带未处于断开状态;
第二确定子模块,用于在匹配失败的情况下,确定目标警戒带处于断开状态。
在一些实施方式中,为了得到训练后的目标检测模型,该装置还可以包括:
第二获取模块,用于在获取包含目标警戒带的第一图像之前,获取多个训练样本,训练样本包括历史图像和目标框,目标框为历史图像中与警戒带对应的边界框,目标框的边界与警戒带的边界平行;
训练模块,用于根据多个训练样本,训练目标检测模型,直至目标检测模型收敛,得到目标检测模型。
在一些实施方式中,为了丰富训练样本,提高目标检测模型的适应性,该装置还可以包括:
第三获取模块,用于在获取多个训练样本之前,获取警戒带区域的原始图像;
处理模块,用于通过目标方式处理原始图像,得到历史图像,目标方式包括调整亮度、调整色调、调整饱和度以及马赛克数据增强处理中的至少一种。
在一些实施方式中,在训练样本数量较少的情况下,为了提升目标检测模型的性能,该装置还可以包括:
第四获取模块,用于在获取多个训练样本之前,获取预设的警戒带图像和背景图像;
放置模块,用于将警戒带图像旋转随机角度后,放置到背景图像中,得到历史图像。
图5示出了本申请一个实施例提供的一种电子设备的结构示意图。
如图5所示,该电子设备5能够实现根据本申请实施例中的目标检测方法以及目标检测装置的电子设备的示例性硬件架构的结构图。该电子设备可以指代本申请实施例中的电子设备。
该电子设备5可以包括处理器501以及存储有计算机程序指令的存储器502。
具体地,上述处理器501可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器502可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器502可在综合网关容灾设备的内部或外部。在特定实施例中,存储器502是非易失性固态存储器。在特定实施例中,存储器502可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器502包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本申请的一方面的方法所描述的操作。
处理器501通过读取并执行存储器502中存储的计算机程序指令,以实现上述实施例中的任意一种目标检测方法。
在一个示例中,该电子设备还可包括通信接口503和总线504。其中,如图5所示,处理器501、存储器502、通信接口503通过总线504连接并完成相互间的通信。
通信接口503,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线504包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线504可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的目标检测方法,从而实现结合图1至图4描述的目标检测方法和装置。
另外,结合上述实施例中的目标检测方法,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种目标检测方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (7)
1.一种目标检测方法,其特征在于,所述方法包括:
获取包含目标警戒带的第一图像;
将所述第一图像输入至目标检测模型中,利用所述目标检测模型确定所述第一图像中与所述目标警戒带对应的目标边界框,其中,所述目标边界框的边界与所述目标警戒带的边界平行;
根据所述目标边界框,确定所述目标警戒带的状态,所述状态用于表征所述目标警戒带是否断开;
在所述目标警戒带处于断开状态的情况下,输出报警信息;
所述获取包含目标警戒带的第一图像,包括:
获取目标警戒带区域的监控视频;
从所述监控视频中,每间隔N帧抽取一个视频帧作为第一图像,N为正整数;
所述第一图像为目标警戒带区域的监控视频中的第M个视频帧,M为正整数;
所述根据所述目标边界框,确定所述目标警戒带的状态,包括:
获取第M-N个视频帧中的第一边界框;
对所述目标边界框和所述第一边界框进行交并比IOU匹配;
在匹配成功的情况下,确定所述目标警戒带未处于断开状态;
在匹配失败的情况下,确定所述目标警戒带处于断开状态。
2.根据权利要求1所述的方法,其特征在于,在所述获取包含目标警戒带的第一图像之前,所述方法还包括:
获取多个训练样本,所述训练样本包括历史图像和目标框,所述目标框为所述历史图像中与警戒带对应的边界框,所述目标框的边界与所述警戒带的边界平行;
根据多个所述训练样本,训练目标检测模型,直至所述目标检测模型收敛,得到所述目标检测模型。
3.根据权利要求2所述的方法,其特征在于,在所述获取多个训练样本之前,所述方法还包括:
获取警戒带区域的原始图像;
通过目标方式处理所述原始图像,得到历史图像,所述目标方式包括调整亮度、调整色调、调整饱和度以及马赛克数据增强处理中的至少一种。
4.根据权利要求2所述的方法,其特征在于,在所述获取多个训练样本之前,所述方法还包括:
获取预设的警戒带图像和背景图像;
将所述警戒带图像旋转随机角度后,放置到所述背景图像中,得到历史图像。
5.一种目标检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取包含目标警戒带的第一图像;
第一确定模块,用于将所述第一图像输入至目标检测模型中,利用所述目标检测模型确定所述第一图像中与所述目标警戒带对应的目标边界框,其中,所述目标边界框的边界与所述目标警戒带的边界平行;
第二确定模块,用于根据所述目标边界框,确定所述目标警戒带的状态,所述状态用于表征所述目标警戒带是否断开;
报警模块,用于在所述目标警戒带处于断开状态的情况下,输出报警信息;
所述第一获取模块包括:
第一获取子模块,用于获取目标警戒带区域的监控视频;
抽取子模块,用于从所述监控视频中,每间隔N帧抽取一个视频帧作为第一图像,N为正整数;
所述第一图像为目标警戒带区域的监控视频中的第M个视频帧,M为正整数;
第二确定模块包括:
第二获取子模块,用于获取第M-N个视频帧中的第一边界框;
匹配子模块,用于对所述目标边界框和所述第一边界框进行交并比IOU匹配;
第一确定子模块,用于在匹配成功的情况下,确定所述目标警戒带未处于断开状态;
第二确定子模块,用于在匹配失败的情况下,确定所述目标警戒带处于断开状态。
6.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-4任意一项所述的目标检测方法。
7.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-4任意一项所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210654664.4A CN115063741B (zh) | 2022-06-10 | 2022-06-10 | 目标检测方法、装置、设备、介质及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210654664.4A CN115063741B (zh) | 2022-06-10 | 2022-06-10 | 目标检测方法、装置、设备、介质及产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115063741A CN115063741A (zh) | 2022-09-16 |
CN115063741B true CN115063741B (zh) | 2023-08-18 |
Family
ID=83199538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210654664.4A Active CN115063741B (zh) | 2022-06-10 | 2022-06-10 | 目标检测方法、装置、设备、介质及产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115063741B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348303A (ja) * | 2003-05-21 | 2004-12-09 | Fujitsu Ltd | 物体検出装置及びプログラム |
CN110827325A (zh) * | 2019-11-13 | 2020-02-21 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN111860140A (zh) * | 2020-06-10 | 2020-10-30 | 北京迈格威科技有限公司 | 目标事件检测方法、装置、计算机设备和存储介质 |
CN112634326A (zh) * | 2020-12-17 | 2021-04-09 | 深圳云天励飞技术股份有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN112966587A (zh) * | 2021-03-02 | 2021-06-15 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、目标检测方法及相关设备 |
CN113298130A (zh) * | 2021-05-14 | 2021-08-24 | 嘉洋智慧安全生产科技发展(北京)有限公司 | 目标图像的检测、目标对象检测模型的生成方法 |
CN113947591A (zh) * | 2021-10-28 | 2022-01-18 | 中国建设银行股份有限公司 | 检测对象异常的方法、装置、电子设备和存储介质 |
CN114463368A (zh) * | 2021-12-31 | 2022-05-10 | 科大讯飞股份有限公司 | 目标跟踪方法和装置、电子设备、计算机可读存储介质 |
-
2022
- 2022-06-10 CN CN202210654664.4A patent/CN115063741B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348303A (ja) * | 2003-05-21 | 2004-12-09 | Fujitsu Ltd | 物体検出装置及びプログラム |
CN110827325A (zh) * | 2019-11-13 | 2020-02-21 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN111860140A (zh) * | 2020-06-10 | 2020-10-30 | 北京迈格威科技有限公司 | 目标事件检测方法、装置、计算机设备和存储介质 |
CN112634326A (zh) * | 2020-12-17 | 2021-04-09 | 深圳云天励飞技术股份有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
CN112966587A (zh) * | 2021-03-02 | 2021-06-15 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、目标检测方法及相关设备 |
CN113298130A (zh) * | 2021-05-14 | 2021-08-24 | 嘉洋智慧安全生产科技发展(北京)有限公司 | 目标图像的检测、目标对象检测模型的生成方法 |
CN113947591A (zh) * | 2021-10-28 | 2022-01-18 | 中国建设银行股份有限公司 | 检测对象异常的方法、装置、电子设备和存储介质 |
CN114463368A (zh) * | 2021-12-31 | 2022-05-10 | 科大讯飞股份有限公司 | 目标跟踪方法和装置、电子设备、计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
杨露菁 等.《智能图像处理及应用》.北京:中国铁道出版社,2019,第180-184页. * |
Also Published As
Publication number | Publication date |
---|---|
CN115063741A (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110650316A (zh) | 智能巡逻及预警处理方法、装置、电子设备及存储介质 | |
CN109086734B (zh) | 一种对人眼图像中瞳孔图像进行定位的方法及装置 | |
WO2019111976A1 (ja) | 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム | |
CN115063718B (zh) | 火灾检测方法、装置、设备及存储介质 | |
CN111507235B (zh) | 基于视频的铁路周界异物入侵检测方法 | |
CN111210399B (zh) | 一种成像质量评价方法、装置及设备 | |
CN112052815B (zh) | 一种行为检测方法、装置及电子设备 | |
CN110781711A (zh) | 目标对象识别方法、装置、电子设备及存储介质 | |
CN109684976B (zh) | 门状态监测方法、装置、设备和系统及存储介质 | |
US20110280478A1 (en) | Object monitoring system and method | |
CN111652098A (zh) | 产品表面缺陷检测方法及装置 | |
CN104573680A (zh) | 图像检测方法、图像检测装置以及交通违法检测系统 | |
CN111046971A (zh) | 图像识别方法、装置、设备及计算机可读存储介质 | |
CN111814776B (zh) | 一种图像处理方法、设备、服务器及存储介质 | |
US20110280442A1 (en) | Object monitoring system and method | |
CN103488966A (zh) | 一种能够识别实名制车票信息的智能手机 | |
CN111435437A (zh) | 一种pcb行人重识别模型训练方法及pcb行人重识别方法 | |
CN110121109A (zh) | 面向监控系统数字视频实时溯源方法、城市视频监控系统 | |
CN114494161A (zh) | 基于图像对比的受电弓异物检测方法、设备及存储介质 | |
CN111881984A (zh) | 一种基于深度学习的目标检测方法和装置 | |
CN111126112B (zh) | 候选区域确定方法和装置 | |
KR20160083465A (ko) | 다차선 카메라 인식 시스템 및 그의 학습형 영상분석 방법 | |
CN114494990A (zh) | 一种目标检测方法、系统、终端设备及存储介质 | |
CN115063741B (zh) | 目标检测方法、装置、设备、介质及产品 | |
CN115083008A (zh) | 运动目标检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Room 1707, Building 2, East Ring Road, Yanqingyuan, Zhongguancun, Yanqing District, Beijing, 102199 Applicant after: Jiayang Smart Security Technology (Beijing) Co.,Ltd. Address before: Room 1707, Building 2, East Ring Road, Yanqingyuan, Zhongguancun, Yanqing District, Beijing, 102199 Applicant before: PETROMENTOR INTERNATIONAL EDUCATION (BEIJING) CO.,LTD. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |