CN115273128A - 皮带机上人的检测方法、装置、电子设备及存储介质 - Google Patents
皮带机上人的检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115273128A CN115273128A CN202110479282.8A CN202110479282A CN115273128A CN 115273128 A CN115273128 A CN 115273128A CN 202110479282 A CN202110479282 A CN 202110479282A CN 115273128 A CN115273128 A CN 115273128A
- Authority
- CN
- China
- Prior art keywords
- image
- belt conveyor
- detected
- people
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种皮带机上人的检测方法、装置、电子设备及存储介质,该皮带机上人的检测方法包括:获取拍摄皮带机工作区域得到的待检测图像和待检测图像之前的多个历史图像;基于多个历史图像预测待检测图像拍摄时刻对应的预测图像;判断预测图像和待检测图像的相似度是否大于第一预设值;若预测图像和待检测图像的相似度不大于第一预设值,对待检测图像进行分类;当待检测图像属于皮带机上人类别时,确定皮带机工作区域出现皮带机上人。本申请先通过待检测图像和多个历史图像检测异常的动态变化,在发生异常动态变化时,再检测待检测图像的类别,能够提高皮带机上人的检测的准确度。
Description
技术领域
本申请涉及图像检测技术领域,具体涉及一种皮带机上人的检测方法、装置、电子设备及存储介质。
背景技术
在物流运输环节,皮带机在货物传送过程中发挥着重要的作用,尤其是在双十一等物流高峰时期,配合人员作业,皮带机可以非常有效得提升运输效率。然而部分工作人员在作业过程中,存在违规攀爬、翻越皮带机等危险行为,极易造成人员伤亡。
常规的方案多采用检测皮带机上是否有人的方式来捕捉人员上皮带机的违规行为,因人在皮带机周围活动和人员上皮带机行为特征较为相似,常规算法很难区分,非常容易造成误检。
也即,现有技术中对皮带机上人检测的准确率较低。
发明内容
本申请旨在提供一种皮带机上人的检测方法、装置、电子设备及存储介质,旨在解决现有技术中对皮带机上人检测的准确率较低的问题。
一方面,本申请提供一种皮带机上人的检测方法,所述皮带机上人的检测方法包括:
获取拍摄皮带机工作区域得到的待检测图像和所述待检测图像之前的多个历史图像;
基于所述多个历史图像预测所述待检测图像拍摄时刻对应的预测图像;
判断所述预测图像和所述待检测图像的相似度是否大于第一预设值;
若所述预测图像和所述待检测图像的相似度不大于所述第一预设值,对所述待检测图像进行分类;
当所述待检测图像属于皮带机上人类别时,确定所述皮带机工作区域出现皮带机上人。
其中,所述若所述预测图像和所述待检测图像的相似度不大于所述第一预设值,对所述待检测图像进行分类,包括:
若所述预测图像和所述待检测图像的相似度不大于所述第一预设值,则从所述多个历史图像获取目标图像;
基于所述目标图像和所述待检测图像进行光流计算,得到第一光流图;
基于所述目标图像和所述预测图像进行光流计算,得到第二光流图;
判断所述第一光流图和所述第二光流图的相似度是否大于第二预设值;
若所述第一光流图和所述第二光流图的相似度不大于所述第二预设值,对所述待检测图像进行分类。
其中,所述皮带机上人的检测方法还包括:
若所述第一光流图和所述第二光流图的相似度大于所述第二预设值,确定所述皮带机工作区域未出现皮带机上人。
其中,所述多个历史图像为等时间间隔的多个序列图像;
所述基于所述多个历史图像预测所述待检测图像拍摄时刻对应的预测图像,包括:
将所述多个历史图像输入至预设全卷积神经网络模型中进行三维语义分割,得到所述预测图像。
其中,所述对所述待检测图像进行分类,包括:
将所述目标图像和所述待检测图像进行图像相减,得到异常区域图像;
对异常区域图像进行分类。
其中,所述对所述异常区域图像进行分类,包括:
调取训练好的预设图像异常分类模型;
基于所述预设图像异常分类模型对所述异常区域图像进行分类。
其中,所述调取训练好的预设图像异常分类模型之前,包括:
获取标注好的异常图像训练集,其中,所述异常图像训练集中的图像被标注为人员翻越皮带机类别、人员攀爬皮带机类别、人员在皮带机周围搬运类别、人员在皮带机周围疏通货物类别;
基于所述异常图像训练集对预设的细粒度分类模型进行训练,得到预设图像异常分类模型;
存储所述预设图像异常分类模型。
一方面,本申请提供一种皮带机上人的检测装置,所述皮带机上人的检测装置包括:
获取单元,用于获取拍摄皮带机工作区域得到的待检测图像和所述待检测图像之前的多个历史图像;
预测单元,用于基于所述多个历史图像预测所述待检测图像拍摄时刻对应的预测图像;
判断单元,用于判断所述预测图像和所述待检测图像的相似度是否大于第一预设值;
分类单元,用于若所述预测图像和所述待检测图像的相似度不大于所述第一预设值,对所述待检测图像进行分类;
确定单元,用于当所述待检测图像属于皮带机上人类别时,确定所述皮带机工作区域出现皮带机上人。
其中,所述分类单元,还用于:
若所述预测图像和所述待检测图像的相似度不大于所述第一预设值,则从所述多个历史图像获取目标图像;
基于所述目标图像和所述待检测图像进行光流计算,得到第一光流图;
基于所述目标图像和所述预测图像进行光流计算,得到第二光流图;
判断所述第一光流图和所述第二光流图的相似度是否大于第二预设值;
若所述第一光流图和所述第二光流图的相似度不大于所述第二预设值,对所述待检测图像进行分类。
其中,所述判断单元,还用于:
若所述第一光流图和所述第二光流图的相似度大于所述第二预设值,确定所述皮带机工作区域未出现皮带机上人。
其中,所述多个历史图像为等时间间隔的多个序列图像;所述预测单元,还用于:
将所述多个历史图像输入至预设全卷积神经网络模型中进行三维语义分割,得到所述预测图像。
其中,所述分类单元,还用于:
将所述目标图像和所述待检测图像进行图像相减,得到异常区域图像;
对异常区域图像进行分类。
其中,所述分类单元,还用于:
调取训练好的预设图像异常分类模型;
基于所述预设图像异常分类模型对所述异常区域图像进行分类。
其中,所述获取单元,还用于:
获取标注好的异常图像训练集,其中,所述异常图像训练集中的图像被标注为人员翻越皮带机类别、人员攀爬皮带机类别、人员在皮带机周围搬运类别、人员在皮带机周围疏通货物类别;
基于所述异常图像训练集对预设的细粒度分类模型进行训练,得到预设图像异常分类模型;
存储所述预设图像异常分类模型。
一方面,本申请还提供一种电子设备,所述电子设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现第一方面中任一项所述的皮带机上人的检测方法。
一方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行第一方面任一项所述的皮带机上人的检测方法中的步骤。
本申请提供一种皮带机上人的检测方法,皮带机上人的检测方法包括:获取拍摄皮带机工作区域得到的待检测图像和待检测图像之前的多个历史图像;基于多个历史图像预测待检测图像拍摄时刻对应的预测图像;判断预测图像和待检测图像的相似度是否大于第一预设值;若预测图像和待检测图像的相似度不大于第一预设值,对待检测图像进行分类;当待检测图像属于皮带机上人类别时,确定皮带机工作区域出现皮带机上人。本申请先通过多个历史图像预测待检测图像对应的预测图像,预测图像是预期拍摄得到的图像,待检测图像是真实拍摄得到的图像,将预测图像和待检测图像进行相似度对比,预测图像和待检测图像的相似度不大于第一预设值,表明待检测图像和预测图像有较大差异,皮带机工作区域的工作状况偏离了预期,皮带机工作区域发生了异常的动态变化,此时对待检测图像进行分类,在待检测图像属于皮带机上人类别时,确定皮带机工作区域出现皮带机上人,先通过待检测图像和多个历史图像检测异常的动态变化,在发生异常动态变化时,再检测待检测图像的类别,能够提高皮带机上人的检测的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的皮带机上人的检测系统的场景示意图;
图2是本申请实施例提供的皮带机上人的检测方法的一个实施例流程示意图;
图3是本申请实施例提供的皮带机上人的检测方法的另一个实施例流程示意图;
图4是本申请实施例中提供的皮带机上人的检测装置一个实施例结构示意图;
图5是本申请实施例中提供的电子设备一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
需要说明的是,本申请实施例方法由于是在电子设备中执行,各电子设备的处理对象均以数据或信息的形式存在,例如时间,实质为时间信息,可以理解的是,后续实施例中若提及尺寸、数量、位置等,均为对应的数据存在,以便电子设备进行处理,具体此处不作赘述。
本申请实施例提供一种皮带机上人的检测方法、装置、电子设备及存储介质,以下分别进行详细说明。
请参阅图1,图1为本申请实施例所提供的皮带机上人的检测系统的场景示意图,该皮带机上人的检测系统可以包括电子设备100,电子设备100中集成有皮带机上人的检测装置,如图1中的电子设备。
进一步的,皮带机上人的检测系统与多个安装于皮带机工作区域的拍照设备连接,从而获取多个拍照设备网络发送的信息。拍照设备采集的视频、图像、时间戳等信息以消息的形式传回到皮带机上人的检测系统。多个拍照设备各自具有编号,皮带机上人的检测系统根据拍照设备的编号对各个皮带机工作区域进行监控。
本申请实施例中,该电子设备100可以是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本申请实施例中所描述的电子设备100,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
本领域技术人员可以理解,图1中示出的应用环境,仅仅是本申请方案的一种应用场景,并不构成对本申请方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的电子设备,例如图1中仅示出1个电子设备,可以理解的,该皮带机上人的检测系统还可以包括一个或多个其他服务器,具体此处不作限定。
另外,如图1所示,该皮带机上人的检测系统还可以包括存储器200,用于存储数据。
需要说明的是,图1所示的皮带机上人的检测系统的场景示意图仅仅是一个示例,本申请实施例描述的皮带机上人的检测系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着皮带机上人的检测系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
首先,本申请实施例中提供一种皮带机上人的检测方法,该皮带机上人的检测方法的执行主体为皮带机上人的检测装置,该皮带机上人的检测装置应用于电子设备,该皮带机上人的检测方法包括:
获取拍摄皮带机工作区域得到的待检测图像和待检测图像之前的多个历史图像;
基于多个历史图像预测待检测图像拍摄时刻对应的预测图像;
判断预测图像和待检测图像的相似度是否大于第一预设值;
若预测图像和待检测图像的相似度不大于第一预设值,对待检测图像进行分类;
当待检测图像属于皮带机上人类别时,确定皮带机工作区域出现皮带机上人。
参阅图2,图2是本申请实施例提供的皮带机上人的检测方法的一个实施例流程示意图。如图2所示,该皮带机上人的检测方法包括:
S201、获取拍摄皮带机工作区域得到的待检测图像和待检测图像之前的多个历史图像。
其中,可通过安装于皮带机工作区域的拍照设备拍摄皮带机工作区域。通过调整拍照设备的安装位置确保拍照设备能够拍到皮带机工作区域。
本申请实施例中,获取拍摄皮带机工作区域得到的皮带机工作视频,对皮带机工作视频解码后提取皮带机工作视频中待检测图像和多个历史图像。
在一个具体的实施例中,对皮带机工作视频解码后提取皮带机工作视频中待检测图像,判断待检测图像是否为关键帧,若待检测图像为关键帧,则获取待检测图像之前的多个历史图像;若待检测图像不为关键帧,则将皮带机工作视频中在时间轴上离待检测图像最近的图像确定为待检测图像。帧就是动画中最小单位的单幅影像画面,相当于电影胶片上的每一格镜头。在动画软件的时间轴上帧表现为一格或一个标记。关键帧相当于二维动画中的原画。指角色或者物体运动或变化中的关键动作所处的那一帧。关键帧与关键帧之间的动画可以由软件来创建,叫做过渡帧或者中间帧。
进一步的,多个历史图像为等时间间隔的多个序列图像,多个历史图像的拍摄时间在时间轴上依次排列。
S202、基于多个历史图像预测待检测图像拍摄时刻对应的预测图像。
本申请实施例中,将多个历史图像输入至预设全卷积神经网络模型中进行三维语义分割,得到预测图像。
具体的,预设全卷积神经网络模型可以为UNet模型,也可以是在降采样端引入残差块构筑的HDense-UNet,也可以是包含深监督设计和模型剪枝的UNet++等。
UNet是一个包含4层降采样、4层升采样和类似跳跃连接结构的全卷积网络,其特点是卷积层在降采样和升采样部分完全对称,且降采样端的特征图可以跳过深层采样,被拼接至对应的升采样端。UNet在其提出之初主要被用于医学影像的语义分割,并在之后的应用研究中被扩展至3维视频数据的语义分割和超分辨率图像生成。
S203、判断预测图像和待检测图像的相似度是否大于第一预设值。
本申请实施例中,计算待检测图像和预测图像的相似度,判断预测图像和待检测图像的相似度是否大于第一预设值。图像相似度计算主要用于对于两幅图像之间内容的相似程度进行打分,根据分数的高低来判断图像内容的相近程度。可以用于计算机视觉中的检测跟踪中目标位置的获取,根据已有模板在图像中找到一个与之最接近的区域。然后一直跟着。已有的一些算法比如BlobTracking,Meanshift,Camshift,粒子滤波等等也都是需要这方面的理论去支撑。
可通过直方图匹配和基于特征点的图像相似度计算等方法计算待检测图像和预测图像的相似度。具体的,分别计算待检测图像和预测图像的直方图,分别为HistA和HistB,然后计算两个直方图的归一化相关系数作为相似度,可以是巴氏距离和直方图相交距离等。每一幅图像都有自己的特征点,这些特征点表征图像中比较重要的一些位置,比较类似函数的拐点那种,通常比较常用的有Harris角点和Sift特征点。那么将得到的图像角点进行比较,如果相似的角点数目较多,那么可以认为这两幅图像的相似程度较高。
例如,预测图像和待检测图像的相似度为90%。
S204、若预测图像和待检测图像的相似度不大于第一预设值,对待检测图像进行分类。
本申请实施例中,第一预设值可以根据具体情况设定,例如,第一预设值为85%。若预测图像和待检测图像的相似度不大于第一预设值,表明待检测图像和预测图像有较大差异,皮带机工作区域的工作状况偏离了预期,皮带机工作区域发生了异常的动态变化,此时对待检测图像进行分类,在待检测图像属于皮带机上人类别时,确定皮带机工作区域出现皮带机上人,先通过待检测图像和多个历史图像检测异常的动态变化,在发生异常动态变化时,再检测待检测图像的类别,能够提高皮带机上人的检测的准确度。
在一个具体的实施例中,若预测图像和待检测图像的相似度不大于第一预设值,对待检测图像进行分类,包括:
(1)若预测图像和待检测图像的相似度不大于第一预设值,将目标图像和待检测图像进行图像相减,得到异常区域图像。
图像相减即在两幅图像之间对应像素做减法运算。图像相减可以检测出两幅图像的差异信息,因此这项技术在工业、医学、气象以及军事等领域中都有广泛的应用。目前实现图像相减的技术有很多,例如散斑干涉法、全息滤波法、干涉滤波法和光栅编码法等。在MATLAB中,图像的减法运算用imsubstract和imabsdiff函数可以完成,其调用格式为:Z=imsubstract(a,b)%差值结果小于0的赋值为0;Z=imabsdiff(a,b)%差值结果取绝对值。图像相减可以去除一幅图像中不需要的加性图案,如缓慢变化的背景阴影,周期性噪声等。
将预测图像和待检测图像相减后,得到异常区域图像。经过图像相减后,待检测图像中与预测图像不同的部分被去除,仅剩下待检测图像中发生动态变化的区域。
(2)对异常区域图像进行分类。
具体的,调取训练好的预设图像异常分类模型;基于预设图像异常分类模型对异常区域图像进行分类,将异常区域图像的分类类别确定为待检测图像的类别。
进一步的,获取标注好的异常图像训练集,其中,异常图像训练集中的图像被标注为人员翻越皮带机类别、人员攀爬皮带机类别、人员在皮带机周围搬运类别、人员在皮带机周围疏通货物类别。例如,人员翻越皮带机类别标注类别为类别1,人员攀爬皮带机类别为类别2、人员在皮带机周围搬运类别为类别3、人员在皮带机周围疏通货物类别为类别4。基于异常图像训练集对预设的细粒度分类模型进行训练,得到预设图像异常分类模型;存储预设图像异常分类模型。即,预先训练好预设图像异常分类模型,在使用时调用即可。
在一个具体的实施例中,细粒度分类模型为利用少量样本学习新类别细粒度分类器的FSFG模型,FSFG模型包含两个模块:双线性特征学习模块和分类器映射模块。分类器映射模块中的分段映射功能是该模型的关键部分,它通过一种参数更少的方式学习一组相对易实现的子分类器,进而生成决策边界。结合少量的训练数据,通过细粒度分类算法,提取不同类别之间最本质的特征,自动得学习两者之间细微的差别,进一步提高违规行为抓取的准确度。
S205、当待检测图像属于皮带机上人类别时,确定皮带机工作区域出现皮带机上人。
具体的,皮带机上人类别包括人员翻越皮带机类别和人员攀爬皮带机类别。获取预设图像异常分类模型的分类结果,得到待检测图像的类别,当待检测图像的类别为人员翻越皮带机类别标注类别和人员攀爬皮带机类别时,确定皮带机工作区域出现皮带机上人。
进一步的,确定皮带机工作区域出现皮带机上人后,向对应皮带机工作区域的工作人员发送信号,提醒相关管理人员,及时对违规人员进行告警,避免造成进一步人员伤亡。
参阅图3,图3是本申请实施例提供的皮带机上人的检测方法的另一个实施例流程示意图。如图3所示,该皮带机上人的检测方法包括:
S301、获取拍摄皮带机工作区域得到的待检测图像和待检测图像之前的多个历史图像。
本申请实施例中,S301的具体步骤可以参阅S201,在此不再赘述。
S302、基于多个历史图像预测待检测图像拍摄时刻对应的预测图像。
本申请实施例中,S302的具体步骤可以参阅S202,在此不再赘述。
S303、判断预测图像和待检测图像的相似度是否大于第一预设值。
本申请实施例中,若预测图像和待检测图像的相似度不大于第一预设值,执行S3041;若预测图像和待检测图像的相似度大于第一预设值,执行S308。预测图像和待检测图像的相似度不大于第一预设值,表明此时待检测图像偏离了预期,通过执行S3041及后续步骤,可以进一步确认待检测图像是否偏离预期,提高判断准确度,避免误报。
S3041、从多个历史图像获取目标图像。
本申请实施例中,将多个历史图像中拍摄时间最晚的历史图像确定为目标图像。当然,在其他实施例中,也可以将多个历史图像中的任意一张图像确定为目标图像,本申请对此不作限定。
S3042、基于目标图像和待检测图像进行光流计算,得到第一光流图。
本申请实施例中,光流计算,简单来说,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。
第一光流图是一个与待检测图像大小相等的双通道图像。不同颜色表示不同的运动方向,深浅表示运动的速度。
具体的,目标图像和待检测图像分别为第t帧以及第t+1帧的图像,将目标图像和待检测图像输入至FlowNet神经网络,目标图像和待检测图像首先通过一个由卷积层组成的收缩部分,用以提取各自的特征图,再通过一个扩大层,将各自的特征图扩展到原图大小,进行光流预测,得到第一光流图。
S3043、基于目标图像和预测图像进行光流计算,得到第二光流图。
将目标图像和预测图像输入至FlowNet神经网络,得到第二光流图。
S3044、判断第一光流图和第二光流图的相似度是否大于第二预设值。
计算第一光流图和第二光流图的相似度,判断第一光流图和第二光流图的相似度是否大于第二预设值。本申请实施例中,第二预设值可以根据具体情况设定,例如,第二预设值为85%。若第一光流图和第二光流图的相似度不大于第二预设值,表明第一光流图和第二光流图有较大差异,皮带机工作区域的工作状况偏离了预期,皮带机工作区域发生了异常的动态变化,此时对待检测图像进行分类。若第一光流图和第二光流图的相似度不大于第二预设值,执行S305;若第一光流图和第二光流图的相似度大于第二预设值,执行S308。
S305、对待检测图像进行分类。
本申请实施例中,S3045的具体步骤可以参阅S204,在此不再赘述。
S306、判断待检测图像是否属于皮带机上人类别。
若待检测图像属于皮带机上人类别,执行S307;若待检测图像不属于皮带机上人类别,执行S308。
S307、确定皮带机工作区域出现皮带机上人。
S308、确定皮带机工作区域未出现皮带机上人。
为了更好实施本申请实施例中皮带机上人的检测方法,在皮带机上人的检测方法基础之上,本申请实施例中还提供一种皮带机上人的检测装置,如图4所示,图4是本申请实施例中提供的皮带机上人的检测装置一个实施例结构示意图,该皮带机上人的检测装置包括:
获取单元401,用于获取拍摄皮带机工作区域得到的待检测图像和待检测图像之前的多个历史图像;
预测单元402,用于基于多个历史图像预测待检测图像拍摄时刻对应的预测图像;
判断单元403,用于判断预测图像和待检测图像的相似度是否大于第一预设值;
分类单元404,用于若预测图像和待检测图像的相似度不大于第一预设值,对待检测图像进行分类;
确定单元405,用于当待检测图像属于皮带机上人类别时,确定皮带机工作区域出现皮带机上人。
其中,分类单元404,还用于:
若预测图像和待检测图像的相似度不大于第一预设值,则从多个历史图像获取目标图像;
基于目标图像和待检测图像进行光流计算,得到第一光流图;
基于目标图像和预测图像进行光流计算,得到第二光流图;
判断第一光流图和第二光流图的相似度是否大于第二预设值;
若第一光流图和第二光流图的相似度不大于第二预设值,对待检测图像进行分类。
其中,判断单元403,还用于:
若第一光流图和第二光流图的相似度大于第二预设值,确定皮带机工作区域未出现皮带机上人。
其中,多个历史图像为等时间间隔的多个序列图像;预测单元402,还用于:
将多个历史图像输入至预设全卷积神经网络模型中进行三维语义分割,得到预测图像。
其中,分类单元404,还用于:
将目标图像和待检测图像进行图像相减,得到异常区域图像;
对异常区域图像进行分类。
其中,分类单元404,还用于:
调取训练好的预设图像异常分类模型;
基于预设图像异常分类模型对异常区域图像进行分类。
其中,获取单元401,还用于:
获取标注好的异常图像训练集,其中,异常图像训练集中的图像被标注为人员翻越皮带机类别、人员攀爬皮带机类别、人员在皮带机周围搬运类别、人员在皮带机周围疏通货物类别;
基于异常图像训练集对预设的细粒度分类模型进行训练,得到预设图像异常分类模型;
存储预设图像异常分类模型。
本申请实施例还提供一种电子设备,其集成了本申请实施例所提供的任一种皮带机上人的检测装置。如图5所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解,图中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器501是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器501可包括一个或多个处理核心;优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
电子设备还包括给各个部件供电的电源503,优选的,电源503可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元504,该输入单元504可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器501会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种功能,如下:
获取拍摄皮带机工作区域得到的待检测图像和待检测图像之前的多个历史图像;
基于多个历史图像预测待检测图像拍摄时刻对应的预测图像;
判断预测图像和待检测图像的相似度是否大于第一预设值;
若预测图像和待检测图像的相似度不大于第一预设值,对待检测图像进行分类;
当待检测图像属于皮带机上人类别时,确定皮带机工作区域出现皮带机上人。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。其上存储有计算机程序,计算机程序被处理器进行加载,以执行本申请实施例所提供的任一种皮带机上人的检测方法中的步骤。例如,计算机程序被处理器进行加载可以执行如下步骤:
获取拍摄皮带机工作区域得到的待检测图像和待检测图像之前的多个历史图像;
基于多个历史图像预测待检测图像拍摄时刻对应的预测图像;
判断预测图像和待检测图像的相似度是否大于第一预设值;
若预测图像和待检测图像的相似度不大于第一预设值,对待检测图像进行分类;
当待检测图像属于皮带机上人类别时,确定皮带机工作区域出现皮带机上人。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种皮带机上人的检测方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种皮带机上人的检测方法,其特征在于,所述皮带机上人的检测方法包括:
获取拍摄皮带机工作区域得到的待检测图像和所述待检测图像之前的多个历史图像;
基于所述多个历史图像预测所述待检测图像拍摄时刻对应的预测图像;
判断所述预测图像和所述待检测图像的相似度是否大于第一预设值;
若所述预测图像和所述待检测图像的相似度不大于所述第一预设值,对所述待检测图像进行分类;
当所述待检测图像属于皮带机上人类别时,确定所述皮带机工作区域出现皮带机上人。
2.如权利要求1所述的皮带机上人的检测方法,其特征在于,所述若所述预测图像和所述待检测图像的相似度不大于所述第一预设值,对所述待检测图像进行分类,包括:
若所述预测图像和所述待检测图像的相似度不大于所述第一预设值,则从所述多个历史图像获取目标图像;
基于所述目标图像和所述待检测图像进行光流计算,得到第一光流图;
基于所述目标图像和所述预测图像进行光流计算,得到第二光流图;
判断所述第一光流图和所述第二光流图的相似度是否大于第二预设值;
若所述第一光流图和所述第二光流图的相似度不大于所述第二预设值,对所述待检测图像进行分类。
3.如权利要求2所述的皮带机上人的检测方法,其特征在于,所述皮带机上人的检测方法还包括:
若所述第一光流图和所述第二光流图的相似度大于所述第二预设值,确定所述皮带机工作区域未出现皮带机上人。
4.如权利要求1所述的皮带机上人的检测方法,其特征在于,所述多个历史图像为等时间间隔的多个序列图像;
所述基于所述多个历史图像预测所述待检测图像拍摄时刻对应的预测图像,包括:
将所述多个历史图像输入至预设全卷积神经网络模型中进行三维语义分割,得到所述预测图像。
5.如权利要求1或2所述的皮带机上人的检测方法,其特征在于,所述对所述待检测图像进行分类,包括:
将所述目标图像和所述待检测图像进行图像相减,得到异常区域图像;
对异常区域图像进行分类。
6.如权利要求5所述的皮带机上人的检测方法,其特征在于,所述对所述异常区域图像进行分类,包括:
调取训练好的预设图像异常分类模型;
基于所述预设图像异常分类模型对所述异常区域图像进行分类。
7.如权利要求6所述的皮带机上人的检测方法,其特征在于,所述调取训练好的预设图像异常分类模型之前,包括:
获取标注好的异常图像训练集,其中,所述异常图像训练集中的图像被标注为人员翻越皮带机类别、人员攀爬皮带机类别、人员在皮带机周围搬运类别、人员在皮带机周围疏通货物类别;
基于所述异常图像训练集对预设的细粒度分类模型进行训练,得到预设图像异常分类模型;
存储所述预设图像异常分类模型。
8.一种皮带机上人的检测装置,其特征在于,所述皮带机上人的检测装置包括:
获取单元,用于获取拍摄皮带机工作区域得到的待检测图像和所述待检测图像之前的多个历史图像;
预测单元,用于基于所述多个历史图像预测所述待检测图像拍摄时刻对应的预测图像;
判断单元,用于判断所述预测图像和所述待检测图像的相似度是否大于第一预设值;
分类单元,用于若所述预测图像和所述待检测图像的相似度不大于所述第一预设值,对所述待检测图像进行分类;
确定单元,用于当所述待检测图像属于皮带机上人类别时,确定所述皮带机工作区域出现皮带机上人。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现权利要求1至7任一项所述的皮带机上人的检测方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的皮带机上人的检测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110479282.8A CN115273128A (zh) | 2021-04-30 | 2021-04-30 | 皮带机上人的检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110479282.8A CN115273128A (zh) | 2021-04-30 | 2021-04-30 | 皮带机上人的检测方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115273128A true CN115273128A (zh) | 2022-11-01 |
Family
ID=83745358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110479282.8A Pending CN115273128A (zh) | 2021-04-30 | 2021-04-30 | 皮带机上人的检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115273128A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116821730A (zh) * | 2023-08-30 | 2023-09-29 | 北京科锐特科技有限公司 | 风机故障检测方法、控制装置及存储介质 |
-
2021
- 2021-04-30 CN CN202110479282.8A patent/CN115273128A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116821730A (zh) * | 2023-08-30 | 2023-09-29 | 北京科锐特科技有限公司 | 风机故障检测方法、控制装置及存储介质 |
CN116821730B (zh) * | 2023-08-30 | 2024-02-06 | 北京科锐特科技有限公司 | 风机故障检测方法、控制装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Işık et al. | SWCD: a sliding window and self-regulated learning-based background updating method for change detection in videos | |
Popoola et al. | Video-based abnormal human behavior recognition—A review | |
Tsai et al. | Implementation of fall detection system based on 3D skeleton for deep learning technique | |
Elhamod et al. | Automated real-time detection of potentially suspicious behavior in public transport areas | |
Swathi et al. | Crowd behavior analysis: A survey | |
CN105426820B (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
Zhang et al. | Multi-target tracking of surveillance video with differential YOLO and DeepSort | |
JP3970877B2 (ja) | 追跡装置および追跡方法 | |
CN108275530A (zh) | 一种基于机器学习的电梯安全预警方法 | |
Yang et al. | Anomaly detection in moving crowds through spatiotemporal autoencoding and additional attention | |
CN113762314B (zh) | 一种烟火检测方法和装置 | |
Ullah et al. | Gaussian mixtures for anomaly detection in crowded scenes | |
CN102902965A (zh) | 实现多目标跟踪的视频图像数据结构化描述处理的方法 | |
CN115273128A (zh) | 皮带机上人的检测方法、装置、电子设备及存储介质 | |
Şaykol et al. | Keyframe labeling technique for surveillance event classification | |
Sree et al. | An evolutionary computing approach to solve object identification problem for fall detection in computer vision-based video surveillance applications | |
Elhamod et al. | Real-time semantics-based detection of suspicious activities in public spaces | |
Gómez-Conde et al. | Simple human gesture detection and recognition using a feature vector and a real-time histogram based algorithm | |
CN115601684A (zh) | 突发事件预警方法、装置、电子设备及存储介质 | |
Zhu et al. | Detection and recognition of abnormal running behavior in surveillance video | |
CN113762027B (zh) | 一种异常行为的识别方法、装置、设备及存储介质 | |
CN115131826A (zh) | 物品检测识别方法、网络模型的训练方法和装置 | |
Poppe et al. | Robust spatio-temporal multimodal background subtraction for video surveillance | |
Jacobs et al. | Time scales in video surveillance | |
Akella et al. | Crowd density analysis and suspicious activity detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |