CN113705472B - 基于图像识别的异常摄像头排查方法、装置、设备及介质 - Google Patents

基于图像识别的异常摄像头排查方法、装置、设备及介质 Download PDF

Info

Publication number
CN113705472B
CN113705472B CN202111007285.8A CN202111007285A CN113705472B CN 113705472 B CN113705472 B CN 113705472B CN 202111007285 A CN202111007285 A CN 202111007285A CN 113705472 B CN113705472 B CN 113705472B
Authority
CN
China
Prior art keywords
abnormal
camera
picture
pictures
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111007285.8A
Other languages
English (en)
Other versions
CN113705472A (zh
Inventor
陈于辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202111007285.8A priority Critical patent/CN113705472B/zh
Publication of CN113705472A publication Critical patent/CN113705472A/zh
Application granted granted Critical
Publication of CN113705472B publication Critical patent/CN113705472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域,揭示了一种基于图像识别的异常摄像头排查方法、装置、设备及介质,其中方法包括:接入第一摄像头组的视频流地址和第二摄像头组的视频流地址;将拍摄图片分为异常训练样本和正常训练样本;将异常训练样本和正常训练样本作为第一学习样本,训练产生第一识别模型;获取若干个目标图片,采用第一识别模型对若干个目标图片进行分类,得到对应的正常图片和异常图片;对异常图片中的被遮挡部分进行轮廓标记,并根据轮廓的形状判断各个异常图片中,被遮挡部分对应的遮挡物类别;识别各个异常图片对应的异常摄像头,根据异常摄像头的视频流地址和遮挡物类别生成并发送告警指令;从而提高了对异常摄像头的排查效率。

Description

基于图像识别的异常摄像头排查方法、装置、设备及介质
技术领域
本申请涉及到人工智能技术领域,特别是涉及到一种基于图像识别的异常摄像头排查方法、装置、设备及介质。
背景技术
传统的摄像头后台维护管理系统,只能识别统计摄像头是否在线,在面对摄像头被恶意遮挡、故意移动摄像头朝向角落、久积落灰或者有油污等人为或非人为的异常情况时,往往束手无策,只能依靠人工去现场或打开摄像头检查。
上述异常情况会导致摄像头保存的证据视频质量差、无法拍摄到目标现场的违法违规行为等问题,从而失去监控意义;然而,在摄像头数量众多的情况下,对上述异常情况的排查通常效率低下、人力成本高,且容易存在“漏网之鱼”。
发明内容
本申请的主要目的为提供一种基于图像识别的异常摄像头排查方法、装置、设备及介质,旨在解决现有技术中的对异常摄像头排查的效率较低的技术问题。
为了实现上述发明目的,本申请提出一种基于图像识别的异常摄像头排查方法,所述方法包括:
接入第一摄像头组的视频流地址和第二摄像头组的视频流地址,其中,第一摄像头组包括若干个工作状态异常的第一摄像头,第二摄像头组包括若干个工作状态正常的第二摄像头;
启动所述第一摄像头组和所述第二摄像头组,分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片,并将所述拍摄图片分为异常训练样本和正常训练样本;
将所述异常训练样本和所述正常训练样本作为第一学习样本,训练产生第一识别模型;
获取若干个目标图片,采用所述第一识别模型对若干个所述目标图片进行分类,得到对应的正常图片和异常图片;
对所述异常图片中的被遮挡部分进行轮廓标记,并根据所述轮廓的形状判断各个所述异常图片中,所述被遮挡部分对应的遮挡物类别;
识别各个所述异常图片对应的异常摄像头,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令。
进一步的,所述将所述拍摄图片分为异常训练样本和正常训练样本,包括:
计算每一个所述拍摄图片的模糊参数,将所述模糊参数大于预设的模糊阈值的所述拍摄图片标注为异常训练样本,并将所述模糊参数不大于所述模糊阈值的拍摄图片标注为正常训练样本。
进一步的,所述根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令,包括:
当识别到所述遮挡物的类别为动物时,开始延迟时间计时;
当所述延迟时间大于预设的延迟阈值时,再次采集所述异常摄像头的实时图片,识别所述实时图片中是否存在与所述被遮挡部分相同的像素区域;
若存在,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送所述告警指令。
进一步的,所述对所述异常图片中的被遮挡部分进行轮廓标记,包括:
计算所述异常图片中的梯度值;
根据所述梯度值识别所述异常图片中的被遮挡部分,并标记所述被遮挡部分的轮廓。
进一步的,所述分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片,包括:
按照预设的采集频率,分别采集所述每一个所述第一摄像头和每一个所述第二摄像头产生的图片帧;
对所述图片帧进行复制处理,得到若干个复制帧,并对所述复制帧进行变换处理,得到若干个变换帧,其中,所述变换处理包括缩放、旋转、平移中的至少一种;
将所述变换帧和所述图片帧共同作为所述拍摄图片。
进一步的,所述对所述异常图片中的被遮挡部分进行轮廓标记之后,还包括:
根据所述被遮挡部分的轮廓计算所述被遮挡部分的面积;
所述根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令,还包括:
根据所述异常摄像头的视频流地址和所述遮挡物类别生成所述告警指令;
根据所述所述被遮挡部分的面积由大到小的顺序对所述告警指令进行排序,并依次发送排序后的所述告警指令。
进一步的,所述采用所述第一识别模型对若干个所述目标图片进行分类,包括:
通过低通滤波器对所述目标图片进行一次滤波,得到第一滤波图片;
通过高频滤波器对所述第一滤波图片进行二次滤波,得到第二滤波图片;
采用所述第一识别模型对所述第二滤波图片进行识别并分类。
本申请还提出了一种基于图像识别的异常摄像头排查装置,包括:
摄像头接入模块,用于接入第一摄像头组的视频流地址和第二摄像头组的视频流地址,其中,第一摄像头组包括若干个工作状态异常的第一摄像头,第二摄像头组包括若干个工作状态正常的第二摄像头;
样本获取模块,用于启动所述第一摄像头组和所述第二摄像头组,分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片,并将所述拍摄图片分为异常训练样本和正常训练样本;
第一模型训练模块,用于将所述异常训练样本和所述正常训练样本作为第一学习样本,训练产生第一识别模型;
图片识别模块,用于获取若干个目标图片,采用所述第一识别模型对若干个所述目标图片进行分类,得到对应的正常图片和异常图片;
遮挡物识别模块,用于对所述异常图片中的被遮挡部分进行轮廓标记,并根据所述轮廓的形状判断各个所述异常图片中,所述被遮挡部分对应的遮挡物类别;
异常告警模块,用于识别各个所述异常图片对应的异常摄像头,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令。
本申请还提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于图像识别的异常摄像头排查方法、装置、设备及介质,通过分别接入一定数量的异常摄像头和正常摄像头,确保了模型的异常和正常的训练样本数量;通过分别采集每一个第一摄像头和每一个第二摄像头产生的拍摄图片,从而获取足够样本量和丰富度的拍摄图像作为训练样本;通过对工作中的摄像头进行抓拍,得到若干个目标图片,根据第一识别模型识别异常图片,从而实现对异常摄像头的排查,大大提高了异常摄像头排查的效率,更加及时地发现摄像头是否存在异常情况;通过标记被遮挡部分的轮廓,从而实现了轮廓的精确描绘;通过对各个异常图片中的被遮挡部分的轮廓形状进行识别,从而能够得到遮挡物的类别;通过根据异常摄像头的视频流地址和遮挡物类别,生成并向工作人员发送告警指令,使得其能够及时获取准确的异常原因和异常摄像头所在地点。
附图说明
图1为本申请一实施例的基于图像识别的异常摄像头排查方法的流程示意图;
图2为本申请一具体实施方式的基于图像识别的异常摄像头排查方法的流程示意图;
图3为本申请一实施例的基于图像识别的异常摄像头排查装置的结构示意框图;
图4为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,为了实现上述发明目的,本申请提出一种基于图像识别的异常摄像头排查方法,所述方法包括:
S1:接入第一摄像头组的视频流地址和第二摄像头组的视频流地址,其中,第一摄像头组包括若干个工作状态异常的第一摄像头,第二摄像头组包括若干个工作状态正常的第二摄像头;
S2:启动所述第一摄像头组和所述第二摄像头组,分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片,并将所述拍摄图片分为异常训练样本和正常训练样本;
S3:将所述异常训练样本和所述正常训练样本作为第一学习样本,训练产生第一识别模型;
S4:获取若干个目标图片,采用所述第一识别模型对若干个所述目标图片进行分类,得到对应的正常图片和异常图片;
S5:对所述异常图片中的被遮挡部分进行轮廓标记,并根据所述轮廓的形状判断各个所述异常图片中,所述被遮挡部分对应的遮挡物类别;
S6:识别各个所述异常图片对应的异常摄像头,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令。
本实施例通过分别接入一定数量的异常摄像头和正常摄像头,确保了模型的异常和正常的训练样本数量;通过分别采集每一个第一摄像头和每一个第二摄像头产生的拍摄图片,从而获取足够样本量和丰富度的拍摄图像作为训练样本;通过对工作中的摄像头进行抓拍,得到若干个目标图片,根据第一识别模型识别异常图片,从而实现对异常摄像头的排查,大大提高了异常摄像头排查的效率,更加及时地发现摄像头是否存在异常情况;通过标记被遮挡部分的轮廓,从而实现了轮廓的精确描绘;通过对各个异常图片中的被遮挡部分的轮廓形状进行识别,从而能够得到遮挡物的类别;通过根据异常摄像头的视频流地址和遮挡物类别,生成并向工作人员发送告警指令,使得其能够及时获取准确的异常原因和异常摄像头所在地点。
对于步骤S1,本实施例通常应用在摄像头排查领域,尤其是基于图像识别的排查应用中,可以基于人工智能技术对摄像头采集到的图片进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。具体来说,本实施例应用于异常摄像头的排查中,尤其是针对被物品遮挡、被移动朝向角落、落灰或者油污等异常情况。在进行模型训练之前,为了保证模型的准确性,则需要预先准备大量且类别足够丰富的训练样本,而等待摄像头自行产生异常的时间往往较久,且具有不可控性;因此,本实施例通过人为的方式制造异常,例如,在正常的摄像头表面涂抹灰尘、油污等可吸附在镜头表面的材料,将正常的摄像头转向使其面朝墙壁或角落,搬移大型物品对正常的摄像头进行完全遮挡和部分遮挡,从而得到工作状态异常且存在若干个不同的异常原因的摄像头,这些摄像头即上述工作状态异常的第一摄像头;除此之外,为了使模型存在足够数量的对照样本,同样也选取一些正常工作的摄像头,不进行人为破坏,作为上述工作状态正常的第二摄像头。此外,上述视频流地址通常支持RTMP、RTSP、HTTP等常用流媒体协议。本实施例通过分别接入一定数量的异常摄像头和正常摄像头,确保了模型的异常和正常的训练样本数量。
对于步骤S2,当第一和第二摄像头组均接入后,可将两组摄像头对准动态场景进行工作模拟,使用多媒体视频处理工具FFmpeg对摄像头进行抓拍,对每一个摄像头均获取一定数量的上述拍摄图片;本发明通过分别采集每一个第一摄像头和每一个第二摄像头产生的拍摄图片,从而获取足够样本量和丰富度的拍摄图像作为训练样本。
在具体的实施方式中,还可以根据对异常检测实时性的不同要求,来调节控制FFmpeg对摄像头的抓拍频率设置到一个适当的值,使得系统消耗的带宽、内存、处理器等资源达到合理化的利用。
具体地,可以初步将第一摄像头产生的拍摄图片作为上述异常训练样本,将第二摄像头产生的拍摄图片作为正常训练样本。
对于步骤S3,当得到置信度较高的异常训练样本和正常训练样本后,即可利用人工智能深度学习技术,搭建初始的卷积神经网络模型(Convolutional Neural Networks,CNN)或循环神经网络模型(Recurrent neural networks,RNN),将分好类的样本图片作为学习样本,对上述CNN模型或RNN进行训练,产生基于神经网络的AI模型,即上述第一识别模型。
对于步骤S4,训练得到第一识别模型后即可对实际投入工作的摄像头进行异常排查;具体来说,可以通过针对要监控的摄像头,24小时不间断使用FFmpeg抓拍获取图片,并将此过程中获取到的图片作为目标图片,然后使用上述第一识别模型去识别目标图片是否异常,将抓取到上述异常图片的摄像头作为异常摄像头。本发明通过对工作中的摄像头进行抓拍,得到若干个目标图片,根据第一识别模型识别异常图片,从而实现对异常摄像头的排查,大大提高了异常摄像头排查的效率,更加及时地发现摄像头是否存在异常情况。
对于步骤S5,在实际环境中,被物体遮挡、被移动至朝向角落、被灰尘覆盖和被油污覆盖的情况,均会导致产生不同的轮廓形状;具体来说,被物体遮挡时以及被移动至朝向角落时候,在异常图片中的轮廓通常存在直边;被灰尘覆盖时,在异常图片中的轮廓通常为较为粗糙的不规则边缘;而被油污覆盖时,其在异常图片中的轮廓通常为平滑的不规则边缘。本发明通过对各个异常图片中的被遮挡部分的轮廓形状进行识别和标记,从而能够得到遮挡物的类别。
对于步骤S6,经过第一识别模型排查出异常摄像头后,通常需要工作人员去现场进行清理,然而若工作人员无法预先得知异常原因,则需要携带各种清洁工具,若工作人员准备时间过长,会导致异常摄像头无法及时被清理,若工作人员的准备时间较短,则会导致工作人员有可能到达现场后发现携带的清洁工具与现场异常原因不对应的问题,例如遮挡物为油污时,工作人员未携带洗涤剂到现场等,造成即便排查到异常摄像头也无法及时清理的问题。本发明通过根据异常摄像头的视频流地址和遮挡物类别,生成并向工作人员发送告警指令,使得其能够及时获取准确的异常原因和异常摄像头所在地点。
除此之外,工作人员需要对预警的摄像头做出相应的人工确认是否真的异常,再把确认结果反馈给系统,系统根据反馈结果进一步训练优化AI模型,从而使得系统的识别准确率不断提高,即把管理人员对AI模型的识别结果反馈,作为新的学习样本来进一步训练优化模型,提高模型的准确率,形成一个正向的、积极的循环。
在一个实施例中,所述将所述拍摄图片分为异常训练样本和正常训练样本S2,包括:
S21:计算每一个所述拍摄图片的模糊参数,将所述模糊参数大于预设的模糊阈值的所述拍摄图片标注为异常训练样本,并将所述模糊参数不大于所述模糊阈值的拍摄图片标注为正常训练样本。
本实施例通过模将糊参数大于预设的模糊阈值的拍摄图片作为异常训练样本,将模糊参数不大于模糊阈值的拍摄图片作为正常训练样本,从而实现了采集后的样本的精确区分,避免意外事件导致异常训练样本和正常训练样本的混淆。
对于步骤S21,虽然已经预先对摄像头进行处理,得到了异常的第一摄像头组和正常的第二摄像头组,然而在实际样本采集过程中有可能会存在由于意外使得正常的第二摄像头组进灰等,导致原本应当采集到正常的拍摄图片的摄像头采集到的是被遮挡的异常拍摄图片;或者,还有可能因为其它环境因素使得用于遮挡的物体被挪开,导致原本异常的第一摄像头采集到了正常的拍摄图片;由此可见,不能简单地将第一摄像头组采集的拍摄图片全都作为异常拍摄图片,也不能简单地将第二摄像头组采集的拍摄图片全都作为正常拍摄图片,即需要再次对每一个拍摄图片进行分类。
本实施例采用模糊参数的计算方法,具体来说,可以通过下式计算各个上述拍摄图片的模糊参数:
H=k1×L+k2×B+k3×R
其中,H为模糊参数,L为该拍摄图片的梯度值、B为该拍摄图片的亮度值、R为该拍摄图片的模糊系数,k1、k2、k3分别为上述梯度值、亮度值、模糊系数的系数曲线,模糊参数越大,则该拍摄图片为被遮挡的异常图片的置信度越高。因此,模糊参数大于预设的模糊阈值的拍摄图片为异常训练样本,模糊参数不大于模糊阈值的拍摄图片为正常训练样本,从而实现了采集后的样本的精确区分,避免意外事件导致异常训练样本和正常训练样本的混淆。
在一个实施例中,参照图2,所述根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令S6,包括:
S61:当识别到所述遮挡物的类别为动物时,开始延迟时间计时;
S62:当所述延迟时间大于预设的延迟阈值时,再次采集所述异常摄像头的实时图片,识别所述实时图片中是否存在与所述被遮挡部分相同的像素区域;
S63:若存在,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送所述告警指令。
本实施例通过对动物类的遮挡物的遮挡时间进行识别,并在经过一段时间后仍未离开的情况下才向工作人员发送告警,以使工作人员进行驱赶,避免了人力的浪费。
对于步骤S61,在日常生活中,会导致遮挡摄像头的不仅仅是灰尘或油污等物质,还有可能是路过的蛾类或鸟类等低空飞行的动物,对动物而言,往往是暂时停在摄像头上或路过摄像头的前方,因此,若每一次识别到动物类的遮挡物均向工作人员发出告警,往往会工作人员抵达时候就已经飞走,导致人力浪费。
对于步骤S62,在具体的实施方式中,为了准确地识别动物类的遮挡物,可先采集各种种类与姿态的动物剪影,将剪影作为训练样本进行训练,得到遮挡物判定模型,通过该遮挡物判定模型判定被遮挡部分的轮廓是否符合某一类动物剪影,从而实现动物类的被遮挡物类别判定。
对于步骤S63,本实施例通过在识别到动物类的遮挡物时先进行延迟时间计时,若到达延迟阈值时该动物类的遮挡物仍未离开,再向工作人员发送告警,以使工作人员进行驱赶,避免了人力的浪费。
在一个实施例中,所述对所述异常图片中的被遮挡部分进行轮廓标记S5,包括:
S51:计算所述异常图片中的梯度值;
S52:根据所述梯度值识别所述异常图片中的被遮挡部分,并标记所述被遮挡部分的轮廓。
本实施例通过梯度值识别异常图片中的被遮挡部分,标记被遮挡部分的轮廓,从而实现了轮廓的精确描绘。
对于步骤S51,对于图片而言,梯度值反映了图片中相邻像元的亮度变化率,示例性地,图像中如果存在边缘,如道路、河流的边界,桌子的边缘等,则边缘处会具有较大的梯度值,并且,对于亮度值较平滑的部分,亮度梯度值较小;由此可见,找到梯度较大的位置,也即找到了物体边缘。
对于步骤S52,对边缘部分进行标记,将标记的轨迹作为被遮挡部分的轮廓;本发明通过计算异常图片中的梯度值,根据梯度值识别异常图片中的被遮挡部分,标记被遮挡部分的轮廓,从而实现了轮廓的精确描绘。
在一个实施例中,所述分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片S2,包括:
S21:按照预设的采集频率,分别采集所述每一个所述第一摄像头和每一个所述第二摄像头产生的图片帧;
S22:对所述图片帧进行复制处理,得到若干个复制帧,并对所述复制帧进行变换处理,得到若干个变换帧,其中,所述变换处理包括缩放、旋转、平移中的至少一种;
S23:将所述变换帧和所述图片帧共同作为所述拍摄图片。
本实施例采用了缩放、旋转、平移等方式对图片进行变换处理,在一个样本的基础上拓展出多种类型的周边样本,进一步提高了样本的丰富度,从而提高了第一识别模型的准确度。
对于步骤S21,为了采集到各个环境下的图片,本实施预先设定采集频率,使得第一摄像头和第二摄像头分别能够采集到早晨、中午、黄昏、夜晚等不同自然光线下的图片,提高样本的丰富度;而为了进一步提高样本丰富度和样本数量,本实施例采用了缩放、旋转、平移等方式对图片进行变换处理,在一个样本的基础上拓展出多种类型的周边样本,进一步提高了样本的丰富度,从而提高了第一识别模型的准确度。
在一个实施例中,所述对所述异常图片中的被遮挡部分进行轮廓标记S5之后,还包括:
S601:根据所述被遮挡部分的轮廓计算所述被遮挡部分的面积;
所述根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令S6,还包括:
S61:根据所述异常摄像头的视频流地址和所述遮挡物类别生成所述告警指令;
S62:根据所述所述被遮挡部分的面积由大到小的顺序对所述告警指令进行排序,并依次发送排序后的所述告警指令。
本实施例通过计算被遮挡部分的面积的方式进行紧急程度排序,以便于工作人员区分异常的紧急程度。
对于步骤S62,由于同一时间下需要排查的摄像头往往不止一个,若同时出现多个摄像头出现异常,为了便于工作人员区分异常的紧急程度,本实施例通过计算被遮挡部分的面积的方式进行紧急程度排序,由于被遮挡部分的面积越大越难以采集到应当监控的画面,因此,被遮挡部分的面积越大,其需要被清洁的紧急程度也越高。
在一个实施例中,所述采用所述第一识别模型对若干个所述目标图片进行分类S4,包括:
S41:通过低通滤波器对所述目标图片进行一次滤波,得到第一滤波图片;
S42:通过高频滤波器对所述第一滤波图片进行二次滤波,得到第二滤波图片;
S43:采用所述第一识别模型对所述第二滤波图片进行识别并分类。
本实施例通过上述低通滤波器能够平滑图像、去除噪声,通过高频滤波器衰减或抑制低频分量,能够对图像进行锐化处理,从而对目标图片进行增强,以便于第一识别模型进行图片识别和分类。
对于步骤S21,在图像的频率域内,对图像的变换系数直接进行运算,然后通过Fourier逆变换以获得图像的增强效果,即频域增强;其中,图像的边缘和噪声对应Fourier变换中的高频部分,所以通过上述低通滤波器能够平滑图像、去除噪声;而图像灰度发生聚变的部分与频谱的高频分量对应,所以采用高频滤波器衰减或抑制低频分量,能够对图像进行锐化处理,从而对目标图片进行增强,以便于第一识别模型进行图片识别和分类。
参照图3,本申请还提出了一种基于图像识别的异常摄像头排查装置,包括:
摄像头接入模块100,用于接入第一摄像头组的视频流地址和第二摄像头组的视频流地址,其中,第一摄像头组包括若干个工作状态异常的第一摄像头,第二摄像头组包括若干个工作状态正常的第二摄像头;
样本获取模块200,用于启动所述第一摄像头组和所述第二摄像头组,分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片,并将所述拍摄图片分为异常训练样本和正常训练样本;
第一模型训练模块300,用于将所述异常训练样本和所述正常训练样本作为第一学习样本,训练产生第一识别模型;
图片识别模块400,用于获取若干个目标图片,采用所述第一识别模型对若干个所述目标图片进行分类,得到对应的正常图片和异常图片;
遮挡物识别模块500,用于对所述异常图片中的被遮挡部分进行轮廓标记,并根据所述轮廓的形状判断各个所述异常图片中,所述被遮挡部分对应的遮挡物类别;
异常告警模块600,用于识别各个所述异常图片对应的异常摄像头,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令。
本实施例通过分别接入一定数量的异常摄像头和正常摄像头,确保了模型的异常和正常的训练样本数量;通过分别采集每一个第一摄像头和每一个第二摄像头产生的拍摄图片,从而获取足够样本量和丰富度的拍摄图像作为训练样本;通过对工作中的摄像头进行抓拍,得到若干个目标图片,根据第一识别模型识别异常图片,从而实现对异常摄像头的排查,大大提高了异常摄像头排查的效率,更加及时地发现摄像头是否存在异常情况;通过标记被遮挡部分的轮廓,从而实现了轮廓的精确描绘;通过对各个异常图片中的被遮挡部分的轮廓形状进行识别,从而能够得到遮挡物的类别;通过根据异常摄像头的视频流地址和遮挡物类别,生成并向工作人员发送告警指令,使得其能够及时获取准确的异常原因和异常摄像头所在地点。
在一个实施例中,所述样本获取模块200,还用于:
计算每一个所述拍摄图片的模糊参数,将所述模糊参数大于预设的模糊阈值的所述拍摄图片标注为异常训练样本,并将所述模糊参数不大于所述模糊阈值的拍摄图片标注为正常训练样本。
在一个实施例中,所述异常告警模块600,还用于:
当识别到所述遮挡物的类别为动物时,开始延迟时间计时;
当所述延迟时间大于预设的延迟阈值时,再次采集所述异常摄像头的实时图片,识别所述实时图片中是否存在与所述被遮挡部分相同的像素区域;
若存在,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送所述告警指令。
在一个实施例中,所述遮挡物识别模块500,还用于:
计算所述异常图片中的梯度值;
根据所述梯度值识别所述异常图片中的被遮挡部分,并标记所述被遮挡部分的轮廓。
在一个实施例中,所述样本获取模块200,还用于:
按照预设的采集频率,分别采集所述每一个所述第一摄像头和每一个所述第二摄像头产生的图片帧;
对所述图片帧进行复制处理,得到若干个复制帧,并对所述复制帧进行变换处理,得到若干个变换帧,其中,所述变换处理包括缩放、旋转、平移中的至少一种;
将所述变换帧和所述图片帧共同作为所述拍摄图片。
在一个实施例中,所述异常告警模块600,还用于:
根据所述被遮挡部分的轮廓计算所述被遮挡部分的面积;
根据所述异常摄像头的视频流地址和所述遮挡物类别生成所述告警指令;
根据所述所述被遮挡部分的面积由大到小的顺序对所述告警指令进行排序,并依次发送排序后的所述告警指令。
参照图4,本申请实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存基于图像识别的异常摄像头排查方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图像识别的异常摄像头排查方法。所述基于图像识别的异常摄像头排查方法,包括:接入第一摄像头组的视频流地址和第二摄像头组的视频流地址,其中,第一摄像头组包括若干个工作状态异常的第一摄像头,第二摄像头组包括若干个工作状态正常的第二摄像头;启动所述第一摄像头组和所述第二摄像头组,分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片,并将所述拍摄图片分为异常训练样本和正常训练样本;将所述异常训练样本和所述正常训练样本作为第一学习样本,训练产生第一识别模型;获取若干个目标图片,采用所述第一识别模型对若干个所述目标图片进行分类,得到对应的正常图片和异常图片;对所述异常图片中的被遮挡部分进行轮廓标记,并根据所述轮廓的形状判断各个所述异常图片中,所述被遮挡部分对应的遮挡物类别;识别各个所述异常图片对应的异常摄像头,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现一种基于图像识别的异常摄像头排查方法,包括步骤:接入第一摄像头组的视频流地址和第二摄像头组的视频流地址,其中,第一摄像头组包括若干个工作状态异常的第一摄像头,第二摄像头组包括若干个工作状态正常的第二摄像头;启动所述第一摄像头组和所述第二摄像头组,分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片,并将所述拍摄图片分为异常训练样本和正常训练样本;将所述异常训练样本和所述正常训练样本作为第一学习样本,训练产生第一识别模型;获取若干个目标图片,采用所述第一识别模型对若干个所述目标图片进行分类,得到对应的正常图片和异常图片;对所述异常图片中的被遮挡部分进行轮廓标记,并根据所述轮廓的形状判断各个所述异常图片中,所述被遮挡部分对应的遮挡物类别;识别各个所述异常图片对应的异常摄像头,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令。
上述执行的基于图像识别的异常摄像头排查方法,本实施例通过分别接入一定数量的异常摄像头和正常摄像头,确保了模型的异常和正常的训练样本数量;通过分别采集每一个第一摄像头和每一个第二摄像头产生的拍摄图片,从而获取足够样本量和丰富度的拍摄图像作为训练样本;通过对工作中的摄像头进行抓拍,得到若干个目标图片,根据第一识别模型识别异常图片,从而实现对异常摄像头的排查,大大提高了异常摄像头排查的效率,更加及时地发现摄像头是否存在异常情况;通过标记被遮挡部分的轮廓,从而实现了轮廓的精确描绘;通过对各个异常图片中的被遮挡部分的轮廓形状进行识别,从而能够得到遮挡物的类别;通过根据异常摄像头的视频流地址和遮挡物类别,生成并向工作人员发送告警指令,使得其能够及时获取准确的异常原因和异常摄像头所在地点。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种基于图像识别的异常摄像头排查方法,其特征在于,所述方法包括:
接入第一摄像头组的视频流地址和第二摄像头组的视频流地址,其中,第一摄像头组包括若干个工作状态异常的第一摄像头,第二摄像头组包括若干个工作状态正常的第二摄像头;
启动所述第一摄像头组和所述第二摄像头组,分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片,并将所述拍摄图片分为异常训练样本和正常训练样本;
将所述异常训练样本和所述正常训练样本作为第一学习样本,训练产生第一识别模型;
获取若干个目标图片,采用所述第一识别模型对若干个所述目标图片进行分类,得到对应的正常图片和异常图片;
对所述异常图片中的被遮挡部分进行轮廓标记,并根据所述轮廓的形状判断各个所述异常图片中,所述被遮挡部分对应的遮挡物类别;
识别各个所述异常图片对应的异常摄像头,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令;
所述根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令,包括:
当识别到所述遮挡物的类别为动物时,开始延迟时间计时;
当所述延迟时间大于预设的延迟阈值时,再次采集所述异常摄像头的实时图片,识别所述实时图片中是否存在与所述被遮挡部分相同的像素区域;采集各种种类与姿态的动物剪影,将剪影作为训练样本进行训练,得到遮挡物判定模型,通过该遮挡物判定模型判定被遮挡部分的轮廓是否符合某一类动物剪影;
若存在,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送所述告警指令。
2.根据权利要求1所述的基于图像识别的异常摄像头排查方法,其特征在于,所述将所述拍摄图片分为异常训练样本和正常训练样本,包括:
计算每一个所述拍摄图片的模糊参数,将所述模糊参数大于预设的模糊阈值的所述拍摄图片标注为异常训练样本,并将所述模糊参数不大于所述模糊阈值的拍摄图片标注为正常训练样本。
3.根据权利要求1所述的基于图像识别的异常摄像头排查方法,其特征在于,所述对所述异常图片中的被遮挡部分进行轮廓标记,包括:
计算所述异常图片中的梯度值;
根据所述梯度值识别所述异常图片中的被遮挡部分,并标记所述被遮挡部分的轮廓。
4.根据权利要求1所述的基于图像识别的异常摄像头排查方法,其特征在于,所述分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片,包括:
按照预设的采集频率,分别采集所述每一个所述第一摄像头和每一个所述第二摄像头产生的图片帧;
对所述图片帧进行复制处理,得到若干个复制帧,并对所述复制帧进行变换处理,得到若干个变换帧,其中,所述变换处理包括缩放、旋转、平移中的至少一种;
将所述变换帧和所述图片帧共同作为所述拍摄图片。
5.根据权利要求1所述的基于图像识别的异常摄像头排查方法,其特征在于,所述对所述异常图片中的被遮挡部分进行轮廓标记之后,还包括:
根据所述被遮挡部分的轮廓计算所述被遮挡部分的面积;
所述根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令,还包括:
根据所述异常摄像头的视频流地址和所述遮挡物类别生成所述告警指令;
根据所述被遮挡部分的面积由大到小的顺序对所述告警指令进行排序,并依次发送排序后的所述告警指令。
6.根据权利要求1所述的基于图像识别的异常摄像头排查方法,其特征在于,所述采用所述第一识别模型对若干个所述目标图片进行分类,包括:
通过低通滤波器对所述目标图片进行一次滤波,得到第一滤波图片;
通过高频滤波器对所述第一滤波图片进行二次滤波,得到第二滤波图片;
采用所述第一识别模型对所述第二滤波图片进行识别并分类。
7.一种基于图像识别的异常摄像头排查装置,其特征在于,包括:
摄像头接入模块,用于接入第一摄像头组的视频流地址和第二摄像头组的视频流地址,其中,第一摄像头组包括若干个工作状态异常的第一摄像头,第二摄像头组包括若干个工作状态正常的第二摄像头;
样本获取模块,用于启动所述第一摄像头组和所述第二摄像头组,分别采集每一个所述第一摄像头和每一个所述第二摄像头产生的拍摄图片,并将所述拍摄图片分为异常训练样本和正常训练样本;
第一模型训练模块,用于将所述异常训练样本和所述正常训练样本作为第一学习样本,训练产生第一识别模型;
图片识别模块,用于获取若干个目标图片,采用所述第一识别模型对若干个所述目标图片进行分类,得到对应的正常图片和异常图片;
遮挡物识别模块,用于对所述异常图片中的被遮挡部分进行轮廓标记,并根据所述轮廓的形状判断各个所述异常图片中,所述被遮挡部分对应的遮挡物类别;
异常告警模块,用于识别各个所述异常图片对应的异常摄像头,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送告警指令;
所述异常告警模块还用于:
当识别到所述遮挡物的类别为动物时,开始延迟时间计时;
当所述延迟时间大于预设的延迟阈值时,再次采集所述异常摄像头的实时图片,识别所述实时图片中是否存在与所述被遮挡部分相同的像素区域;采集各种种类与姿态的动物剪影,将剪影作为训练样本进行训练,得到遮挡物判定模型,通过该遮挡物判定模型判定被遮挡部分的轮廓是否符合某一类动物剪影;
若存在,根据所述异常摄像头的视频流地址和所述遮挡物类别生成并发送所述告警指令。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111007285.8A 2021-08-30 2021-08-30 基于图像识别的异常摄像头排查方法、装置、设备及介质 Active CN113705472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111007285.8A CN113705472B (zh) 2021-08-30 2021-08-30 基于图像识别的异常摄像头排查方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111007285.8A CN113705472B (zh) 2021-08-30 2021-08-30 基于图像识别的异常摄像头排查方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113705472A CN113705472A (zh) 2021-11-26
CN113705472B true CN113705472B (zh) 2024-01-26

Family

ID=78657062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111007285.8A Active CN113705472B (zh) 2021-08-30 2021-08-30 基于图像识别的异常摄像头排查方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113705472B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989509B (zh) * 2021-12-27 2022-03-04 衡水学院 基于图像识别的农作物虫害检测方法、检测系统及设备
CN115082571B (zh) * 2022-07-20 2022-11-18 深圳云游四海信息科技有限公司 用于路内停车摄像机的异常检测方法和系统
CN117095411B (zh) * 2023-10-16 2024-01-23 青岛文达通科技股份有限公司 一种基于图像故障识别的检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101440676A (zh) * 2008-12-22 2009-05-27 北京中星微电子有限公司 一种基于摄像头的智能防盗门锁及其报警处理方法
CN109614906A (zh) * 2018-12-03 2019-04-12 北京工业大学 一种基于深度学习的安防系统及安防报警方法
CN109711297A (zh) * 2018-12-14 2019-05-03 深圳壹账通智能科技有限公司 基于面部图片的风险识别方法、装置、计算机设备及存储介质
CN111476124A (zh) * 2020-03-26 2020-07-31 杭州鸿泉物联网技术股份有限公司 摄像头检测方法、装置、电子设备及系统
WO2020248957A1 (zh) * 2019-06-10 2020-12-17 中南民族大学 遮挡的目标物体的检测方法、系统、设备及存储介质
CN112381054A (zh) * 2020-12-02 2021-02-19 东方网力科技股份有限公司 摄像机的工作状态检测方法及相关设备、系统
CN112991397A (zh) * 2021-04-19 2021-06-18 深圳佑驾创新科技有限公司 交通牌跟踪方法、装置、设备和存储介质
CN113052147A (zh) * 2021-04-30 2021-06-29 北京邮电大学 一种行为识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101440676A (zh) * 2008-12-22 2009-05-27 北京中星微电子有限公司 一种基于摄像头的智能防盗门锁及其报警处理方法
CN109614906A (zh) * 2018-12-03 2019-04-12 北京工业大学 一种基于深度学习的安防系统及安防报警方法
CN109711297A (zh) * 2018-12-14 2019-05-03 深圳壹账通智能科技有限公司 基于面部图片的风险识别方法、装置、计算机设备及存储介质
WO2020248957A1 (zh) * 2019-06-10 2020-12-17 中南民族大学 遮挡的目标物体的检测方法、系统、设备及存储介质
CN111476124A (zh) * 2020-03-26 2020-07-31 杭州鸿泉物联网技术股份有限公司 摄像头检测方法、装置、电子设备及系统
CN112381054A (zh) * 2020-12-02 2021-02-19 东方网力科技股份有限公司 摄像机的工作状态检测方法及相关设备、系统
CN112991397A (zh) * 2021-04-19 2021-06-18 深圳佑驾创新科技有限公司 交通牌跟踪方法、装置、设备和存储介质
CN113052147A (zh) * 2021-04-30 2021-06-29 北京邮电大学 一种行为识别方法及装置

Also Published As

Publication number Publication date
CN113705472A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN113705472B (zh) 基于图像识别的异常摄像头排查方法、装置、设备及介质
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
CN110738127A (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
EP2353146B1 (de) Vermessung des wachstums von blattscheiben von pflanzen
CN111179249A (zh) 一种基于深度卷积神经网络的电力设备检测方法和装置
WO2005048195A2 (de) Verfahren zur korrespondenzanalyse in bilddatensätzen
CN108829762B (zh) 基于视觉的小目标识别方法和装置
CN112434666B (zh) 重复动作识别方法、装置、介质及设备
CN111784171A (zh) 基于人工智能及图像处理的市政cim环卫工作分配方法
CN111582073A (zh) 一种基于ResNet101特征金字塔的变电站违规行为识别方法
CN112419261B (zh) 具有异常点去除功能的视觉采集方法及装置
WO2020239540A1 (de) Verfahren und vorrichtung zur detektion von rauch
CN112464882B (zh) 连续动作的识别方法、装置、介质及设备
WO2010139495A1 (de) Verfahren und vorrichtung zum klassifizieren von situationen
CN114155472A (zh) 厂区场景临空面防护设备异常状态检测方法、装置和设备
CN113055657A (zh) 基于电网线路巡检的图像采集方法和系统
CN111680184A (zh) 一种用于航片筛选的正射文件预处理系统
CN116168019A (zh) 基于机器视觉技术的电网故障检测方法及系统
CN112560776A (zh) 一种基于图像识别的智能风机定检方法及系统
CN110222575B (zh) 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质
CN114155487A (zh) 一种基于多组卷积融合的电力作业人员检测方法
CN114445694A (zh) 巡检报告生成方法、装置、电子设备及存储介质
Wang et al. Automatic identification of asian rice plant-hopper based on image processing
CN109145732B (zh) 一种基于Gabor投影的黑烟车检测方法
CN113536847A (zh) 一种基于深度学习的工业场景视频分析系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant