CN110855932A - 基于视频数据的报警方法、装置、电子设备及存储介质 - Google Patents

基于视频数据的报警方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110855932A
CN110855932A CN201810952875.XA CN201810952875A CN110855932A CN 110855932 A CN110855932 A CN 110855932A CN 201810952875 A CN201810952875 A CN 201810952875A CN 110855932 A CN110855932 A CN 110855932A
Authority
CN
China
Prior art keywords
image data
alarm
preset
target
analyzed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810952875.XA
Other languages
English (en)
Other versions
CN110855932B (zh
Inventor
梅茂奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810952875.XA priority Critical patent/CN110855932B/zh
Publication of CN110855932A publication Critical patent/CN110855932A/zh
Application granted granted Critical
Publication of CN110855932B publication Critical patent/CN110855932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了基于视频数据的报警方法、装置、电子设备及存储介质,该方法包括,获取降质图像数据及目标图像数据,其中,降质图像数据与目标图像数据为同一监控视频的两份图像数据;对降质图像数据进行分析,判断降质图像数据是否满足预设第一报警规则;若降质图像数据满足预设第一报警规则,在目标图像数据中,确定降质图像数据中满足第一报警规则的图像数据对应的图像数据,作为待分析图像数据;通过深度学习算法对待分析图像数据进行分析,判断待分析图像数据是否满足预设第二报警规则;若待分析图像数据满足预设第二报警规则,触发报警。通过深度学习算法进行二次报警判断,能够增加报警的准确率,可以减少误报警。

Description

基于视频数据的报警方法、装置、电子设备及存储介质
技术领域
本发明涉及视频监控技术领域,特别是涉及基于视频数据的报警方法、装置、电子设备及存储介质。
背景技术
随着监控摄像头的普及,基于摄像头采集的视频数据进行自动报警的方法也应运而生,并且在安全防护领域中发挥着重要作用。
现有的基于视频数据的报警方法中,对视频数据进行背景建模,以确定视频数据的前景信息,并从前景信息中提取前景团块,按照前景团块生成待检测目标,通过对待检测目标进行分析,判断是否触发报警。
但是采用上述报警方法,当监控场景中的光线等环境因素发生变化时,容易触发误报警,并且容易因报警范围外的其他物体的干扰而产生误报警。
发明内容
本发明实施例的目的在于提供一种基于视频数据的报警方法、装置、电子设备及存储介质,以实现减少误报警。具体技术方案如下:
第一方面,本发明实施例提供了一种基于视频数据的报警方法,所述方法包括:
获取降质图像数据及目标图像数据,其中,所述降质图像数据与所述目标图像数据为同一监控视频的两份图像数据;
对所述降质图像数据进行分析,判断所述降质图像数据是否满足预设第一报警规则;
若所述降质图像数据满足所述预设第一报警规则,在所述目标图像数据中,确定所述降质图像数据中满足所述第一报警规则的图像数据对应的图像数据,作为待分析图像数据;
通过深度学习算法对所述待分析图像数据进行分析,判断所述待分析图像数据是否满足预设第二报警规则;
若所述待分析图像数据满足所述预设第二报警规则,触发报警。
可选的,在所述获取降质图像数据及目标图像数据之前,所述方法还包括:
获取待处理图像数据,复制所述待处理图像数据,得到两份相同的图像数据;
在所述两份相同的图像数据中,选取一份图像数据进行降质处理,得到分辨率小于目标图像数据分辨率的降质图像数据,其中,所述目标图像数据为所述两份相同的图像数据中未降质处理的图像数据。
可选的,所述对所述降质图像数据进行分析,判断所述降质图像数据是否满足预设第一报警规则,包括:
对所述降质图像数据进行背景建模,提取所述降质图像数据的前景信息;
按照所述前景信息,生成待识别目标;
判断所述待识别目标是否满足预设第一报警触发条件,若所述待识别目标满足所述预设第一报警触发条件,判定所述降质图像数据满足预设第一报警规则,否则判定所述降质图像数据不满足所述预设第一报警规则。
可选的,所述通过深度学习算法对所述待分析图像数据进行分析,判断所述待分析图像数据是否满足预设第二报警规则,包括:
在所述待分析图像数据中,选取目标区域对应的区域作为待分析区域,其中,所述目标区域为满足所述预设第一报警触发条件的待识别目标在所述降质图像数据中的区域;
通过深度学习算法对所述待分析区域进行分析,判断所述待分析区域是否满足预设第二报警触发条件,若所述待分析区域满足所述预设第二报警触发条件,判定所述待分析图像数据满足预设第二报警规则,否则判定所述待分析图像数据不满足所述预设第二报警规则。
可选的,所述对所述降质图像数据进行背景建模,提取所述降质图像数据的前景信息,包括:
按照预设视频帧选取规则,在所述降质图像数据中选取指定的视频帧,得到视频帧集合;
对所述视频帧集合中的各视频帧进行背景建模,提取所述视频帧集合中的各视频帧的前景信息。
可选的,在本发明实施例的基于视频数据的报警方法中,所述降质图像数据的分辨率小于所述目标图像数据的分辨率。
第二方面,本发明实施例提供了一种基于视频数据的报警装置,所述装置包括:
数据获取模块,用于获取降质图像数据及目标图像数据,其中,所述降质图像数据与所述目标图像数据为同一监控视频的两份图像数据;
第一判断模块,用于对所述降质图像数据进行分析,判断所述降质图像数据是否满足预设第一报警规则;
图像数据选取模块,用于若所述降质图像数据满足所述预设第一报警规则,在所述目标图像数据中,确定所述降质图像数据中满足所述第一报警规则的图像数据对应的图像数据,作为待分析图像数据;
第二判断模块,用于通过深度学习算法对所述待分析图像数据进行分析,判断所述待分析图像数据是否满足预设第二报警规则;
报警触发模块,用于若所述待分析图像数据满足所述预设第二报警规则,触发报警。
可选的,本发明实施例的基于视频数据的报警装置还包括:
数据复制模块,用于获取待处理图像数据,复制所述待处理图像数据,得到两份相同的图像数据;
图像降质模块,用于在所述两份相同的图像数据中,选取一份图像数据进行降质处理,得到分辨率小于目标图像数据分辨率的降质图像数据,其中,所述目标图像数据为所述两份相同的图像数据中未降质处理的图像数据。
可选的,所述第一判断模块,包括:
前景信息提取子模块,用于对所述降质图像数据进行背景建模,提取所述降质图像数据的前景信息;
目标生成子模块,用于按照所述前景信息,生成待识别目标;
第一计算子模块,用于判断所述待识别目标是否满足预设第一报警触发条件,若所述待识别目标满足所述预设第一报警触发条件,判定所述降质图像数据满足预设第一报警规则,否则判定所述降质图像数据不满足所述预设第一报警规则。
可选的,所述第二判断模块,包括:
区域选取子模块,用于在所述待分析图像数据中,选取目标区域对应的区域作为待分析区域,其中,所述目标区域为满足所述预设第一报警触发条件的待识别目标在所述降质图像数据中的区域;
第二计算子模块,用于通过深度学习算法对所述待分析区域进行分析,判断所述待分析区域是否满足预设第二报警触发条件,若所述待分析区域满足所述预设第二报警触发条件,判定所述待分析图像数据满足预设第二报警规则,否则判定所述待分析图像数据不满足所述预设第二报警规则。
可选的,所述前景信息提取子模块,包括:
视频帧选取单元,用于按照预设视频帧选取规则,在所述降质图像数据中选取指定的视频帧,得到视频帧集合;
背景建模单元,用于对所述视频帧集合中的各视频帧进行背景建模,提取所述视频帧集合中的各视频帧的前景信息。
可选的,在本发明实施例的基于视频数据的报警装置中,所述降质图像数据的分辨率小于所述目标图像数据的分辨率。
第三方面,本发明实施例提供了一种电子设备,包括处理器和存储器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现上述第一方面任一所述的基于视频数据的报警方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的基于视频数据的报警方法。
本发明实施例提供的基于视频数据的报警方法、装置、电子设备及存储介质,获取降质图像数据及目标图像数据,其中,降质图像数据与目标图像数据为同一监控视频的两份图像数据;对降质图像数据进行分析,判断降质图像数据是否满足预设第一报警规则;若降质图像数据满足预设第一报警规则,在目标图像数据中,确定降质图像数据中满足第一报警规则的图像数据对应的图像数据,作为待分析图像数据;通过深度学习算法对待分析图像数据进行分析,判断待分析图像数据是否满足预设第二报警规则;若待分析图像数据满足预设第二报警规则,触发报警。通过深度学习算法进行二次报警判断,能够增加报警的准确率,可以减少误报警。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于图像数据的报警方法的第一种流程示意图;
图2为本发明实施例的基于图像数据的报警方法的第二种流程示意图;
图3为本发明实施例的基于图像数据的报警方法的第三种流程示意图;
图4为本发明实施例的基于图像数据的报警方法的第四种流程示意图;
图5为本发明实施例的基于图像数据的报警装置的一种示意图;
图6为本发明实施例的电子设备的一种示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的基于前景提取的图像数据的报警方法,容易因光线等环境因素改变而触发误报警,有鉴于此,本发明实施例提供了一种基于视频数据的报警方法,参见图1,该方法包括:
S101,获取降质图像数据及目标图像数据,其中,上述降质图像数据与上述目标图像数据为同一监控视频的两份图像数据。
本发明实施例中的基于视频数据的报警方法可以通过报警系统实现,报警系统为任意能够实现本发明实施例的基于视频数据的报警方法的系统。例如:
报警系统可以为一种设备,包括:处理器、存储器、通信接口和总线;处理器、存储器和通信接口通过总线连接并完成相互间的通信;存储器存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行本发明实施例的基于视频数据的报警方法。
可选的,报警系统可以为一种硬盘录像机,例如,DVR(Digital Video Recorder,数字视频录像机)或NVR(Network Video Recorder,网络硬盘录像机)。
报警系统还可以为一种应用程序,用于在运行时执行本发明实施例的基于视频数据的报警方法。
报警系统还可以为一种存储介质,用于存储可执行代码,可执行代码用于执行本发明实施例的基于视频数据的报警方法。
降质图像数据与目标图像数据为同一监控视频的两份图像数据。可选的,上述降质图像数据的分辨率小于上述目标图像数据的分辨率。降质图像数据的分辨率越小,对降质图像数据进行分析的速度越快;在不超过采样图像分辨率的情况下,目标图像数据的分辨率越高,判断待分析图像数据是否满足预设第二报警规则的准确率越高,降质图像数据的分辨率可以按照实际的需求进行设定,但是应当小于目标图像数据的分辨率。降质图像数据的分辨率小于目标图像数据的分辨率,可以在提高整体处理速度的情况下,提高报警的准确率。
S102,对上述降质图像数据进行分析,判断上述降质图像数据是否满足预设第一报警规则。
报警系统通过背景建模、前景提取等算法判断降质图像数据是否满足预设第一报警规则。预设第一报警规则根据实际报警要求进行设定,例如,对降质图像数据进行分析,在检测到有稳定的前景块时,判定满足预设第一报警规则;或对降质图像数据进行分析,在检测到降质图像数据中包含指定目标时,判定满足预设第一报警规则。
S103,若上述降质图像数据满足上述预设第一报警规则,在上述目标图像数据中,确定上述降质图像数据中满足上述第一报警规则的图像数据对应的图像数据,作为待分析图像数据。
报警系统确定降质图像数据中满足预设第一报警规则的图像数据(以下称为预警图像数据),并在目标图像数据中选取预警图像数据对应的图形数据,作为待分析图像数据。降质图像数据与目标图像数据为同一监控视频的两份分辨率不同的图像数据,因此降质图像数据与目标图像数据中各视频帧存在对应关系。该对应关系可以通过拍摄时间或帧数表征。
例如,预警图像数据为降质图像数据中拍摄时间为9:00-9:02的图像数据,则待分析图像数据为目标图像数据中拍摄时间为9:00-9:02的图像数据;或带预警图像数据为降质图像数据中的第9帧视频帧,则待分析图像数据为目标图像数据中的第9帧视频帧。
S104,通过深度学习算法对上述待分析图像数据进行分析,判断上述待分析图像数据是否满足预设第二报警规则。
深度学习算法为任意的基于计算机视觉的深度学习算法,例如,Faster RCNN(Faster Regions Convolutional Neural Network)、Yolo(You Only Look Once)或SSD(single shot multibox detector)等。预设第二报警规则根据实际报警要求进行设定,但是应当保证与预设第一报警规则的报警原则一致,例如,预设第一报警规则的报警原则为针对车辆进行报警,预设第二报警规则的报警原则也应当为针对车辆进行报警。当然本发明实施例中的报警规则可以支持对多种目标进行报警,例如,报警原则为对车辆及人体进行报警。
S105,若上述待分析图像数据满足上述预设第二报警规则,触发报警。
若待分析图像数据满足预设第二报警规则,报警系统触发报警,例如显示报警信息、窗口弹窗、发送报警邮件或触发蜂鸣器等。若待分析图像数据不满足预设第二报警规则,则认为预设第一报警规则的检测为误报,不进行报警,可以将待分析图像数据记录到存储介质中,以方便后续查询。
在本发明实施例中,在降质图像数据满足预设第一报警规则时,通过深度学习算法对待分析图像数据进行分析,在待分析图像数据满足预设第二报警规则时,触发报警,通过深度学习算法进行二次报警判断,能够增加报警的准确率,减少误报警。
可选的,在上述获取降质图像数据及目标图像数据之前,上述方法还包括:
步骤一,获取待处理图像数据,复制上述待处理图像数据,得到两份相同的图像数据。
步骤二,在上述两份相同的图像数据中,选取一份图像数据进行降质处理,得到分辨率小于目标图像数据分辨率的降质图像数据,其中,上述目标图像数据为上述两份相同的图像数据中未降质处理的图像数据。
待处理图像数据为监控摄像头采集的监控场景的图像数据。报警系统将待处理图像数据,处理为一路降质图像数据和一路目标图像数据,其中,目标图像数据的分辨率与待处理图像数据的分辨率相同,降质图像数据的分辨率小于待处理图像数据的分辨率。
一般情况下针对一个摄像机,DVR获取一路待处理图像数据,将该一路待处理图像数据复制为两路相同的待处理图像数据,并选取一份图像数据进行降质处理。针于NVR设备,由于NVR连接的为网络摄像机,网络摄像机传输的一般包括两路录制内容相同的图像数据,包括一路主码流,即一路高分辨的图像数据,一路子码流,即一路低分辨的图像数据。此时不用再复制图像数据,可以将高分辨率的图像数据作为目标图像数据,并将低分辨率的图像数据进行降质处理得到降质图像数据,或直接将低分辨率的图像数据作为降质图像数据。
在发明实施例中,将复制待处理图像数据,保证了降质图像数据与目标图像数据为同一监控视频的两份图像数据,并且目标图像数据的分辨率与待处理图像数据的分辨率相同,降质图像数据的分辨率小于待处理图像数据的分辨率,可以在增加整体处理速度的情况下,提高报警的准确率。
图像数据是由视频帧组成的。在从目标图像数据中选取待分析图像数据的过程中,如果在目标图像数据中找不到采集时间与满足第一报警规则的视频帧采集时间的相同的视频帧,例如,针对NVR由于网络问题,导致主码流与子码流存在较大差异时。可选的,将满足第一报警规则的视频帧的采集时间作为目标采集时间,在目标图像数据中选取采集时间与目标采集时间最接近的视频帧,作为待判定视频帧。若待判定视频帧的采集时间与目标采集时间的差值小于预设有效时间阈值,将待判定视频帧作为待分析图像数据;若待判定视频帧的采集时间与目标采集时间的差值不小于预设有效时间阈值,将降质图像数据中满足第一报警规则的视频帧作为待分析图像数据。预设有效时间阈值可以根据实际情况进行设定,例如设定为100毫秒、0.5秒或1秒等。
可选的,上述对上述降质图像数据进行分析,判断上述降质图像数据是否满足预设第一报警规则,包括:
步骤一,对上述降质图像数据进行背景建模,提取上述降质图像数据的前景信息。
步骤二,按照上述前景信息,生成待识别目标。
报警系统从前景信息中提取前景团块,按照前景团块生成待识别目标。
步骤三,判断上述待识别目标是否满足预设第一报警触发条件,若上述待识别目标满足上述预设第一报警触发条件,判定上述降质图像数据满足预设第一报警规则,否则判定上述降质图像数据不满足上述预设第一报警规则。
预设第一报警触发条件根据实际报警要求进行设定,但是应当保证与预设第一报警规则的报警原则一致。例如,预设第一报警触发条件可为待识别目标的形状或像素大小等满足指定的条件。
在本发明实施例中,通过背景建模及前景信息提取,判断降质图像数据是否满足预设第一报警规则,相比于利用深度学习算法,计算方法简单,可以降低对处理器的要求,增加分析速度。
可选的,上述通过深度学习算法对上述待分析图像数据进行分析,判断上述待分析图像数据是否满足预设第二报警规则,包括:
步骤一,在上述待分析图像数据中,选取目标区域对应的区域作为待分析区域,其中,上述目标区域为满足上述预设第一报警触发条件的待识别目标在上述降质图像数据中的区域。
因为待分析图像数据为降质图像数据中满足第一报警规则的图像数据对应的图像数据,所以目标区域所处的视频帧在降质图像数据中的帧序,与待分析图像数据在目标图像数据中的帧序相同。例如,目标区域所处的视频帧为降质图像数据中的第6帧视频帧,则待分析图像数据为目标图像数据中的第6帧视频帧。
因为降质图像数据与目标图像数据为同一监控视频的两份图像数据,因此帧序相同的各视频帧间存在对应关系。例如,在目标图像数据分辨率为1920×1080,降质图像数据的分辨率为640×360时,目标图像数据位置(Wide=240,High=120)对应降质图像数据位置(Wide=80,High=40),目标图像数据位置(Wide=150,High=180)对应降质图像数据中的位置(Wide=50,High=60),目标图像数据位置(Wide=1200,High=600)对应降质图像数据位置中的位置为(Wide=400,High=200)等。
报警系统在待分析图像数据中,选取目标区域对应的区域作为待分析区域。例如,目标图像数据分辨率为1920×1080,降质图像数据的分辨率为640×360,目标区域为降质图像数据中第6帧视频帧中坐标为(Wide=120至240,High=120至180)的区域,则待分析区域为待分析图像数据(此时待分析图像数据为目标图像数据中的第6帧视频帧)中坐标为(Wide=360至720,High=360至540)的区域。
步骤二,通过深度学习算法对上述待分析区域进行分析,判断上述待分析区域是否满足预设第二报警触发条件,若上述待分析区域满足上述预设第二报警触发条件,判定上述待分析图像数据满足预设第二报警规则,否则判定上述待分析图像数据不满足上述预设第二报警规则。
第二报警触发条件根据实际报警要求进行设定,但是应当保证与预设第二报警规则的报警原则一致。
在本发明实施例中,通过深度学习算法对待分析区域进行分析,可以进一步缩小深度学习算法需要分析的范围,从而提高分析速度。
可选的,上述对上述降质图像数据进行背景建模,提取上述降质图像数据的前景信息,包括:
步骤一,按照预设视频帧选取规则,在上述降质图像数据中选取指定的视频帧,得到视频帧集合。
预设视频帧选取规则为任意的视频帧选取规则,例如,每间隔1帧视频帧选取1帧视频帧,得到视频帧集合;或每间隔0.5秒选取1帧视频帧,得到视频帧集合等。
步骤二,对上述视频帧集合中的各视频帧进行背景建模,提取上述视频帧集合中的各视频帧的前景信息。
在本发明实施例中,通过选取视频帧集合的方法,减少需要分析的视频帧的数量,可以增加分析速度。
本发明实施例提供了一种针对DVR/NVR基于图像数据的报警方法,如图2所示,通过主控SOC(System on Chip,系统级芯片)和智能协处理器实现,其中目标分类和误报识别是运行于智能协处理器,其余模块运行于主控SOC。本发明实施例提供了针对DVR和NVR设备的目标检测功能的中误报的抑制方法和目标的分类方法。其中视频数据输入模块提供了视频信号输入,对于DVR设备,该模块用于接入模拟信号,转为视频帧信号,对于NVR设备,该模块提供了对网络传入的视频数据的解码功能。视频输入模块将数据大小两种分辨率的视频信号。动目标检测单元负责对小分辨率视频进行实时检测处理,得到监控场景中的动目标信息和报警信息。目标图片预处理单元负责根据报警信息得到目标所在的图片。目标分类与误报抑制模块负责对目标进行检查,判断是否是误报,对于不是误报的目标输出目标类别信息。目标显示单元负责将目标按类别显示在界面。存储单元负责将目标信息结构化存储在存储设备中,同时,会将结果上传至中心云平台,实现远程查看搜索等功能。
对于DVR设备,目标检测与识别流程如图3所示,将视频信号接入到设备当中,利用视频缩放模块,得到一路高分辨视频和一路低分辨率视频。对低分辨率的视频信号,进行实时检测和跟踪处理,判断是否有运动目标触发配置的规则。处理流程包括背景建模、前景提取、前景团块提取、目标生成、事件判断以及报警信息生成。为了提高处理速度,该低分辨率视频可以配置采用隔帧抽帧等降帧处理方式。
高分辨图片备份一帧:实时流水备份一帧高分辨全景图像。
图片获取:根据是否有报警,决定该帧是否被使用:如果有目标触发报警,则从对应的高分辨率通道获取全景图片(YUV420格式)。
图片处理:根据目标的位置、大小以及宽高比,对目标进行调整,并从全景图片中提取出目标子图(从全景图片的YUV数据中找出子图对应的YUV数据)。
高分辨图片编码:对全景图片进行JPEG(Joint Photographic Experts Group)编码处理。
在周界防范等目标检测场景中,由于相机周围难免会有以树木,或者周围的光线变化,天气变化,导致相机中产生无需关注的报警信息。
将提取的目标子图送到智能协处理器(该处理器主要用于运行深度学习中的推理运算,实现计算加速),利用深度学习技术进行目标类别判断,根据处理结果判断目标时人体、车辆、动物还是误报等。并将处理结果回传给主控处理器。
目标识别:基于CNN(Convolutional Neural NetWork,卷积神经网络)的目标识别算法。
误报抑制:周界防范场景主要关注的目标是人和车辆,其它类型的目标(树叶,灯光变化等)即为误报。
主处理器将目标子图和信息显示在设备界面中,并将全景图片、报警信息和目标信息等以结构化方式存储到存储设备中,并通过网络上传中心平台,用于后续的智能检索。
对于NVR设备,目标检测与识别流程如图4所示,NVR的处理流程同DVR有区别,主要是样本源的输入方式,DVR通过模拟信号进行采集,NVR通过网络获取网络摄像机发送过来的视频编码数据,进行本地解封装和解码。
由于一般网络摄像机都有主码流和子码流两种分辨率,利用子码流实时处理能够降低对设备解码能力的消耗。如果没有子码流,那么则采用主码流视频数据来进行解码后缩放,然后抽帧后进行快速实时检测。
主码流备份:开启功能后,该通道的主码流视频数据在设备中以流水的方式备份数据,缓存单位为I帧序列(包括I帧及其后面的P帧)。
在主码流和子码流的信息当中都有时戳信息,来表征当前码流数据对应的时刻,根据实时检测中报警目标对应的时戳,在备份的主码流中找出该时戳对应的I帧及其后续的P帧数据。对其进行解码,并找出一系列图片中对应的那一帧图片,作为报警的全景图片。
如果在主码流中找不到对应的帧数据,例如,由于网络问题,导致主子码流差异很大时,在主码流中如果在预设有效时间阈值范围内有视频帧,则选取离报警时刻最近的一帧利用深度学习技术进行目标类别判断。如果在预设有效时间阈值范围内,不存在视频帧,则利用深度学习技术对子码流中小分辨率的视频帧进行目标类别判断。
后续的处理流程和DVR设备相似,均会去提取目标子图,传输到智能协处理器进行误报抑制和目标分类处理,并将结果进行界面显示,存储和上传云平台。
本发明实施例还提供了一种基于图像数据的预警装置,参见图5,该装置包括:
数据获取模块501,用于获取降质图像数据及目标图像数据,其中,上述降质图像数据与上述目标图像数据为同一监控视频的两份图像数据;
第一判断模块502,用于对上述降质图像数据进行分析,判断上述降质图像数据是否满足预设第一报警规则;
图像数据选取模块503,用于若上述降质图像数据满足上述预设第一报警规则,在上述目标图像数据中,确定上述降质图像数据中满足上述第一报警规则的图像数据对应的图像数据,作为待分析图像数据;
第二判断模块504,用于通过深度学习算法对上述待分析图像数据进行分析,判断上述待分析图像数据是否满足预设第二报警规则;
报警触发模块505,用于若上述待分析图像数据满足上述预设第二报警规则,触发报警。
可选的,本发明实施例的基于视频数据的报警装置还包括:
数据复制模块,用于获取待处理图像数据,复制上述待处理图像数据,得到两份相同的图像数据;
图像降质模块,用于在上述两份相同的图像数据中,选取一份图像数据进行降质处理,得到分辨率小于目标图像数据分辨率的降质图像数据,其中,上述目标图像数据为上述两份相同的图像数据中未降质处理的图像数据。
可选的,上述第一判断模块502,包括:
前景信息提取子模块,用于对上述降质图像数据进行背景建模,提取上述降质图像数据的前景信息;
目标生成子模块,用于按照上述前景信息,生成待识别目标;
第一计算子模块,用于判断上述待识别目标是否满足预设第一报警触发条件,若上述待识别目标满足上述预设第一报警触发条件,判定上述降质图像数据满足预设第一报警规则,否则判定上述降质图像数据不满足上述预设第一报警规则。
可选的,上述第二判断模块503,包括:
区域选取子模块,用于在上述待分析图像数据中,选取目标区域对应的区域作为待分析区域,其中,上述目标区域为满足上述预设第一报警触发条件的待识别目标在上述降质图像数据中的区域;
第二计算子模块,用于通过深度学习算法对上述待分析区域进行分析,判断上述待分析区域是否满足预设第二报警触发条件,若上述待分析区域满足上述预设第二报警触发条件,判定上述待分析图像数据满足预设第二报警规则,否则判定上述待分析图像数据不满足上述预设第二报警规则。
可选的,上述前景信息提取子模块,包括:
视频帧选取单元,用于按照预设视频帧选取规则,在上述降质图像数据中选取指定的视频帧,得到视频帧集合;
背景建模单元,用于对上述视频帧集合中的各视频帧进行背景建模,提取上述视频帧集合中的各视频帧的前景信息。
可选的,在本发明实施例的基于视频数据的报警装置中,上述降质图像数据的分辨率小于上述目标图像数据的分辨率。
在本发明实施例中,在降质图像数据满足预设第一报警规则时,通过深度学习算法对待分析图像数据进行分析,在待分析图像数据满足预设第二报警规则时,触发报警,通过深度学习算法进行二次报警判断,能够增加报警的准确率,减少误报警。
本发明实施例提供了一种电子设备,参见图6,包括处理器601及存储器602;
上述存储器602,用于存放计算机程序;
上述处理器601,用于执行上述存储器602上所存放的程序时,实现如下步骤:
获取降质图像数据及目标图像数据,其中,上述降质图像数据与上述目标图像数据为同一监控视频的两份图像数据;
对上述降质图像数据进行分析,判断上述降质图像数据是否满足预设第一报警规则;
若上述降质图像数据满足上述预设第一报警规则,在上述目标图像数据中,确定上述降质图像数据中满足上述第一报警规则的图像数据对应的图像数据,作为待分析图像数据;
通过深度学习算法对上述待分析图像数据进行分析,判断上述待分析图像数据是否满足预设第二报警规则;
若上述待分析图像数据满足上述预设第二报警规则,触发报警。
在本发明实施例中,在降质图像数据满足预设第一报警规则时,通过深度学习算法对待分析图像数据进行分析,在待分析图像数据满足预设第二报警规则时,触发报警,通过深度学习算法进行二次报警判断,能够增加报警的准确率,减少误报警。
可选的,上述处理器601,用于执行上述存储器602上所存放的程序时,还能够实现上述任一基于图像数据的报警方法。
可选的,本发明实施例的电子设备还包括,通信接口和通信总线,其中,处理器601,通信接口,存储器602通过通信总线完成相互间的通信。
可选的,本发明实施例的电子设备具体为硬盘录像机,例如DVR或NVR等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,上述计算机可读存储介质内存储有计算机程序,上述计算机程序被处理器执行时实现如下步骤:
获取降质图像数据及目标图像数据,其中,上述降质图像数据与上述目标图像数据为同一监控视频的两份图像数据;
对上述降质图像数据进行分析,判断上述降质图像数据是否满足预设第一报警规则;
若上述降质图像数据满足上述预设第一报警规则,在上述目标图像数据中,确定上述降质图像数据中满足上述第一报警规则的图像数据对应的图像数据,作为待分析图像数据;
通过深度学习算法对上述待分析图像数据进行分析,判断上述待分析图像数据是否满足预设第二报警规则;
若上述待分析图像数据满足上述预设第二报警规则,触发报警。
在本发明实施例中,在降质图像数据满足预设第一报警规则时,通过深度学习算法对待分析图像数据进行分析,在待分析图像数据满足预设第二报警规则时,触发报警,通过深度学习算法进行二次报警判断,能够增加报警的准确率,减少误报警。
可选的,上述计算机程序被处理器执行时,还能够实现上述任一基于图像数据的报警方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (14)

1.一种基于视频数据的报警方法,其特征在于,所述方法包括:
获取降质图像数据及目标图像数据,其中,所述降质图像数据与所述目标图像数据为同一监控视频的两份图像数据;
对所述降质图像数据进行分析,判断所述降质图像数据是否满足预设第一报警规则;
若所述降质图像数据满足所述预设第一报警规则,在所述目标图像数据中,确定所述降质图像数据中满足所述第一报警规则的图像数据对应的图像数据,作为待分析图像数据;
通过深度学习算法对所述待分析图像数据进行分析,判断所述待分析图像数据是否满足预设第二报警规则;
若所述待分析图像数据满足所述预设第二报警规则,触发报警。
2.根据权利要求1所述的方法,其特征在于,在所述获取降质图像数据及目标图像数据之前,所述方法还包括:
获取待处理图像数据,复制所述待处理图像数据,得到两份相同的图像数据;
在所述两份相同的图像数据中,选取一份图像数据进行降质处理,得到分辨率小于目标图像数据分辨率的降质图像数据,其中,所述目标图像数据为所述两份相同的图像数据中未降质处理的图像数据。
3.根据权利要求1所述的方法,其特征在于,所述对所述降质图像数据进行分析,判断所述降质图像数据是否满足预设第一报警规则,包括:
对所述降质图像数据进行背景建模,提取所述降质图像数据的前景信息;
按照所述前景信息,生成待识别目标;
判断所述待识别目标是否满足预设第一报警触发条件,若所述待识别目标满足所述预设第一报警触发条件,判定所述降质图像数据满足预设第一报警规则,否则判定所述降质图像数据不满足所述预设第一报警规则。
4.根据权利要求3所述的方法,其特征在于,所述通过深度学习算法对所述待分析图像数据进行分析,判断所述待分析图像数据是否满足预设第二报警规则,包括:
在所述待分析图像数据中,选取目标区域对应的区域作为待分析区域,其中,所述目标区域为满足所述预设第一报警触发条件的待识别目标在所述降质图像数据中的区域;
通过深度学习算法对所述待分析区域进行分析,判断所述待分析区域是否满足预设第二报警触发条件,若所述待分析区域满足所述预设第二报警触发条件,判定所述待分析图像数据满足预设第二报警规则,否则判定所述待分析图像数据不满足所述预设第二报警规则。
5.根据权利要求3所述的方法,其特征在于,所述对所述降质图像数据进行背景建模,提取所述降质图像数据的前景信息,包括:
按照预设视频帧选取规则,在所述降质图像数据中选取指定的视频帧,得到视频帧集合;
对所述视频帧集合中的各视频帧进行背景建模,提取所述视频帧集合中的各视频帧的前景信息。
6.根据权利要求1所述的方法,其特征在于,所述降质图像数据的分辨率小于所述目标图像数据的分辨率。
7.一种基于视频数据的报警装置,其特征在于,所述装置包括:
数据获取模块,用于获取降质图像数据及目标图像数据,其中,所述降质图像数据与所述目标图像数据为同一监控视频的两份图像数据;
第一判断模块,用于对所述降质图像数据进行分析,判断所述降质图像数据是否满足预设第一报警规则;
图像数据选取模块,用于若所述降质图像数据满足所述预设第一报警规则,在所述目标图像数据中,确定所述降质图像数据中满足所述第一报警规则的图像数据对应的图像数据,作为待分析图像数据;
第二判断模块,用于通过深度学习算法对所述待分析图像数据进行分析,判断所述待分析图像数据是否满足预设第二报警规则;
报警触发模块,用于若所述待分析图像数据满足所述预设第二报警规则,触发报警。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
数据复制模块,用于获取待处理图像数据,复制所述待处理图像数据,得到两份相同的图像数据;
图像降质模块,用于在所述两份相同的图像数据中,选取一份图像数据进行降质处理,得到分辨率小于目标图像数据分辨率的降质图像数据,其中,所述目标图像数据为所述两份相同的图像数据中未降质处理的图像数据。
9.根据权利要求7所述的装置,其特征在于,所述第一判断模块,包括:
前景信息提取子模块,用于对所述降质图像数据进行背景建模,提取所述降质图像数据的前景信息;
目标生成子模块,用于按照所述前景信息,生成待识别目标;
第一计算子模块,用于判断所述待识别目标是否满足预设第一报警触发条件,若所述待识别目标满足所述预设第一报警触发条件,判定所述降质图像数据满足预设第一报警规则,否则判定所述降质图像数据不满足所述预设第一报警规则。
10.根据权利要求9所述的装置,其特征在于,所述第二判断模块,包括:
区域选取子模块,用于在所述待分析图像数据中,选取目标区域对应的区域作为待分析区域,其中,所述目标区域为满足所述预设第一报警触发条件的待识别目标在所述降质图像数据中的区域;
第二计算子模块,用于通过深度学习算法对所述待分析区域进行分析,判断所述待分析区域是否满足预设第二报警触发条件,若所述待分析区域满足所述预设第二报警触发条件,判定所述待分析图像数据满足预设第二报警规则,否则判定所述待分析图像数据不满足所述预设第二报警规则。
11.根据权利要求9所述的装置,其特征在于,所述前景信息提取子模块,包括:
视频帧选取单元,用于按照预设视频帧选取规则,在所述降质图像数据中选取指定的视频帧,得到视频帧集合;
背景建模单元,用于对所述视频帧集合中的各视频帧进行背景建模,提取所述视频帧集合中的各视频帧的前景信息。
12.根据权利要求7所述的装置,其特征在于,所述降质图像数据的分辨率小于所述目标图像数据的分辨率。
13.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN201810952875.XA 2018-08-21 2018-08-21 基于视频数据的报警方法、装置、电子设备及存储介质 Active CN110855932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810952875.XA CN110855932B (zh) 2018-08-21 2018-08-21 基于视频数据的报警方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810952875.XA CN110855932B (zh) 2018-08-21 2018-08-21 基于视频数据的报警方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110855932A true CN110855932A (zh) 2020-02-28
CN110855932B CN110855932B (zh) 2022-04-05

Family

ID=69595235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810952875.XA Active CN110855932B (zh) 2018-08-21 2018-08-21 基于视频数据的报警方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110855932B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988563A (zh) * 2020-07-15 2020-11-24 浙江大华技术股份有限公司 多场景视频监测方法及装置
CN113920339A (zh) * 2021-12-15 2022-01-11 智洋创新科技股份有限公司 一种基于深度学习的输电线路通道隐患中吊车误告警方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826157A (zh) * 2010-04-28 2010-09-08 华中科技大学 一种地面静止目标实时识别跟踪方法
CN101996410A (zh) * 2010-12-07 2011-03-30 北京交通大学 动态背景下的运动目标检测方法及系统
US7920908B2 (en) * 2003-10-16 2011-04-05 David Hattery Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue
KR101289758B1 (ko) * 2013-05-06 2013-07-26 (주)오티에스 Hd영상 가변스트리밍 전송시스템 및 전송방법
CN104506819A (zh) * 2015-01-06 2015-04-08 成都新舟锐视科技有限公司 一种多摄像头实时联动的互反馈跟踪系统及方法
CN105657372A (zh) * 2016-02-04 2016-06-08 韩贵杰 实现执勤哨位视频智能侦测预警的方法及系统
CN106650613A (zh) * 2016-11-07 2017-05-10 四川靓固科技集团有限公司 一种基于深度学习和躯干提取的行人识别系统及方法
CN106845374A (zh) * 2017-01-06 2017-06-13 清华大学 基于深度学习的行人检测方法及检测装置
CN107038709A (zh) * 2015-07-14 2017-08-11 璧典凯 一种目标分割检测方法
CN108109385A (zh) * 2018-01-18 2018-06-01 南京杰迈视讯科技有限公司 一种输电线防外破的车辆识别与危险行为判别系统与方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920908B2 (en) * 2003-10-16 2011-04-05 David Hattery Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue
CN101826157A (zh) * 2010-04-28 2010-09-08 华中科技大学 一种地面静止目标实时识别跟踪方法
CN101996410A (zh) * 2010-12-07 2011-03-30 北京交通大学 动态背景下的运动目标检测方法及系统
KR101289758B1 (ko) * 2013-05-06 2013-07-26 (주)오티에스 Hd영상 가변스트리밍 전송시스템 및 전송방법
CN104506819A (zh) * 2015-01-06 2015-04-08 成都新舟锐视科技有限公司 一种多摄像头实时联动的互反馈跟踪系统及方法
CN107038709A (zh) * 2015-07-14 2017-08-11 璧典凯 一种目标分割检测方法
CN105657372A (zh) * 2016-02-04 2016-06-08 韩贵杰 实现执勤哨位视频智能侦测预警的方法及系统
CN106650613A (zh) * 2016-11-07 2017-05-10 四川靓固科技集团有限公司 一种基于深度学习和躯干提取的行人识别系统及方法
CN106845374A (zh) * 2017-01-06 2017-06-13 清华大学 基于深度学习的行人检测方法及检测装置
CN108109385A (zh) * 2018-01-18 2018-06-01 南京杰迈视讯科技有限公司 一种输电线防外破的车辆识别与危险行为判别系统与方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988563A (zh) * 2020-07-15 2020-11-24 浙江大华技术股份有限公司 多场景视频监测方法及装置
CN111988563B (zh) * 2020-07-15 2021-08-31 浙江大华技术股份有限公司 多场景视频监测方法及装置
CN113920339A (zh) * 2021-12-15 2022-01-11 智洋创新科技股份有限公司 一种基于深度学习的输电线路通道隐患中吊车误告警方法

Also Published As

Publication number Publication date
CN110855932B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
KR101942808B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
KR101223424B1 (ko) 비디오 모션 검출
EP1936576B1 (en) Camera tampering detection
US9396400B1 (en) Computer-vision based security system using a depth camera
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
WO2022227490A1 (zh) 行为识别方法、装置、设备、存储介质、计算机程序及程序产品
CN111723773B (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN111582060B (zh) 自动划线周界报警方法、计算机设备及存储装置
CN110855932B (zh) 基于视频数据的报警方法、装置、电子设备及存储介质
KR102127276B1 (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
US10657783B2 (en) Video surveillance method based on object detection and system thereof
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN114373162A (zh) 用于变电站视频监控的危险区域人员入侵检测方法及系统
US20230188679A1 (en) Apparatus and method for transmitting images and apparatus and method for receiving images
Supangkat et al. Moving Image Interpretation Models to Support City Analysis
CN115798133A (zh) 一种火焰报警方法、装置、设备及存储介质
Neto et al. Computer-vision-based surveillance of intelligent transportation systems
CN113963438A (zh) 行为识别方法及装置、设备和存储介质
CN113515986A (zh) 视频处理、数据处理方法及设备
CN116994201B (zh) 对高空抛物进行溯源监测的方法及计算设备
CN111144248B (zh) 基于st-fhcd网络模型的人数统计方法、系统及介质
US20210142481A1 (en) Method and System of Evaluating the Valid Analysis Region of a Specific Scene
Yan et al. Motion detection in a color video sequence with an application to monitoring a baby
CN115482253A (zh) 运动目标检测方法、装置及周界入侵检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant