CN117095324A - 事件检测方法、装置、设备及计算机存储介质 - Google Patents

事件检测方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN117095324A
CN117095324A CN202310501809.1A CN202310501809A CN117095324A CN 117095324 A CN117095324 A CN 117095324A CN 202310501809 A CN202310501809 A CN 202310501809A CN 117095324 A CN117095324 A CN 117095324A
Authority
CN
China
Prior art keywords
target
detected
attribute
sample
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310501809.1A
Other languages
English (en)
Inventor
应铭朗
陆振善
吕金城
马东星
张珈毓
兰天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202310501809.1A priority Critical patent/CN117095324A/zh
Publication of CN117095324A publication Critical patent/CN117095324A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本申请公开了一种事件检测方法、装置、设备及计算机存储介质,涉及事件检测技术领域,该方法通过预先为每个视频流配置了关联的经验库以及事件检测规则,则在对目标视频帧中的待检测目标进行特征提取获得目标特征值后,基于目标特征值以及该视频流关联的至少一个经验库,确定待检测目标的属性检测结果,进而基于属性检测结果以及事件检测规则,获得相应的事件检测结果,以确定所述视频流对应拍摄的目标区域内是否发生了目标事件,因此,该方法只需简单的配置经验库以及事件检测规则,而无需预先针对特定的场景进行样本素材采集以及模型训练,大大减少了前期准备工作,降低了事件检测过程的复杂程度,提升了事件检测应用于实际场景中的实用性。

Description

事件检测方法、装置、设备及计算机存储介质
技术领域
本申请涉及视频分析技术领域,尤其涉及事件检测技术领域,提供一种事件检测方法、装置、设备及计算机存储介质。
背景技术
事件检测(event detection)是一种通过分析数据判定特定事件是否发生的过程,目前常见的是结合视频或者图像数据来结合分析特定事件是否发生,而在基于视频或者图像的事件检测系统中,会有检测各种不同目标的需求,目前较为常见的做法是收集大量的样本素材进行标注训练,再基于训练出来的模型来检测目标物体和识别目标属性。
但是,这种训练的方式需要针对已经训练过的目标才能够更为准确,而在一些场景中,由于检测目标的种类可能较多,是无法逐一采集样本素材进行训练的,因而大大的影响了事件检测的准确性。例如,针对工作服检测方面,由于工作服的种类繁多,逐一采集工作服样本进行训练存在一定的难度,并且如果每种工作服都标注训练才能得到定制的事件检测程序版本,前期准备工作较为繁琐,使得事件检测流程的复杂度较高,在实际场景中的实用性不高。
发明内容
本申请实施例提供一种事件检测方法、装置、设备及计算机存储介质,用于降低事件检测过程的复杂程度,提升事件检测应用于实际场景中的实用性。
一方面,提供一种事件检测方法,该方法包括:
接收目标摄像设备拍摄的目标区域内的视频流;其中,所述视频流配置有至少一个经验库以及事件检测规则,每个经验库对应一种特征属性,且存储有相应特征属性的至少一个样本图片的样本特征值;
在检测到所述视频流中包括待检测目标的目标视频帧时,对所述目标视频帧中的所述待检测目标进行特征提取,获得相应的目标特征值;
基于所述目标特征值与所述至少一个经验库各自包含的至少一个样本特征值之间的匹配度,确定所述待检测目标的属性检测结果;
基于所述属性检测结果以及所述事件检测规则,获得相应的事件检测结果,所述事件检测结果用于表征所述目标区域内是否发生目标事件。
一方面,提供一种事件检测装置,所述装置包括:
收发单元,用于接收目标摄像设备拍摄的目标区域内的视频流;其中,所述视频流配置有至少一个经验库以及事件检测规则,每个经验库对应一种特征属性,且存储有相应特征属性的至少一个样本图片的样本特征值;
特征提取单元,用于在检测到所述视频流中包括待检测目标的目标视频帧时,对所述目标视频帧中的所述待检测目标进行特征提取,获得相应的目标特征值;
属性检测单元,用于基于所述目标特征值与所述至少一个经验库各自包含的至少一个样本特征值之间的匹配度,确定所述待检测目标的属性检测结果;
事件检测单元,用于基于所述属性检测结果以及所述事件检测规则,获得相应的事件检测结果,所述事件检测结果用于表征所述目标区域内是否发生目标事件。
可选的,所述特征提取单元,还用于:
针对所述视频流包括的各个视频帧,分别执行如下处理:
针对一个视频帧,调用已训练的目标检测模型,对所述视频帧进行目标检测,以确定所述视频帧是否包含待检测目标;或者,
针对一个视频帧,基于所述视频帧与相邻的视频帧中的指定区域之间的差异信息,确定所述视频帧是否包含待检测目标。
可选的,所述属性检测单元,具体用于:
针对所述至少一个经验库,分别执行如下操作:
针对一个经验库,分别将所述目标特征值与所述经验库中的至少一个样本特征值进行匹配,相应获得至少一个匹配度;
基于所述至少一个匹配度,确定所述待检测目标相对于所述经验库的属性检测子结果,所述属性检测子结果用于表征所述待检测目标是否具有所述经验库对应的特征属性;
基于获得的所述至少一个属性检测子结果,确定所述属性检测结果。
可选的,所述属性检测单元,具体用于:
若所述至少一个匹配度中的最大值大于设定匹配度阈值,确定所述待检测目标具有所述经验库对应的特征属性;或者,
若所述至少一个匹配度的均值大于设定匹配度阈值,确定所述待检测目标具有所述经验库对应的特征属性;或者,
基于所述至少一个样本特征值的权重以及所述至少一个匹配度,确定所述待检测目标与所述经验库之间的加权匹配度,且若所述加权匹配度大于设定匹配度阈值,确定所述待检测目标具有所述经验库对应的特征属性。
可选的,所述事件检测单元,具体用于:
若所述属性检测结果满足事件检测规则,确定所述目标区域内发生目标事件;其中,所述事件检测规则包括如下规则中的一个或者多个的组合:
所述属性检测结果中各个特征属性与所述目标事件的预设特征属性一致;
所述视频流中包括的各个待检测目标之间的位置关系与所述目标事件的预设位置关系一致;
所述各个待检测目标中存在关联关系的至少两个待检测目标的特征属性组合与所述目标事件的预设特征属性组合一致。
可选的,所述装置还包括配置单元,用于:
接收经验库配置请求,所述经验库配置请求携带待配置的经验库需添加的各个样本图片;
分别对所述各个样本图片包括的样本目标进行特征提取,获得相应的样本特征值;
将所述各个样本图片包括的样本目标以及相应的样本特征值存储至所述经验库中。
可选的,所述装置还包括告警单元,用于:
若所述事件检测结果表征所述目标区域内发生所述目标事件,则生成相应的告警信息;
将所述告警信息添加至消息队列中,以使得订阅所述消息队列的客户端能够接收所述告警信息。
可选的,所述装置还包括告警过滤单元;
所述告警过滤单元用于将所述目标特征值与所述视频流关联的告警过滤库进行匹配,获得相应的匹配度;其中,所述告警过滤库包含告警过滤目标的样本特征值;
则所述告警单元,具体用于若所述匹配度不大于预设匹配度阈值,则将所述告警信息添加至消息队列中,以使得订阅所述消息队列的客户端能够接收所述告警信息。
可选的,所述装置还包括误报反馈单元;
接收所述客户端针对所述告警信息反馈的误报指示,所述误报指示表征所述告警信息属于误报;
响应于所述误报指示,将所述待检测目标以及所述目标特征值添加至所述告警过滤库中。
一方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一种方法的步骤。
一方面,提供一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任一种方法的步骤。
一方面,提供一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述任一种方法的步骤。
本申请实施例中,通过预先为每个视频流配置了关联的经验库以及事件检测规则,则在检测到视频流中包括待检测目标的目标视频帧时,对目标视频帧中的待检测目标进行特征提取获得目标特征值后,基于目标特征值以及该视频流关联的至少一个经验库,确定待检测目标的属性检测结果,进而基于属性检测结果以及事件检测规则,获得相应的事件检测结果,以确定所述视频流对应拍摄的目标区域内是否发生了目标事件,因此,本申请实施例在进行视频事件检测时,只需简单的配置经验库,每个经验库中存储每种属性对应的样本图片的样本特征,以及配置每个视频流的事件检测规则即可,而无需预先针对特定的场景进行样本素材采集以及模型训练,大大减少了事件检测所需的前期准备工作,从而降低了事件检测过程的复杂程度,提升了事件检测应用于实际场景中的实用性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的应用场景示意图;
图2为本申请实施例提供的事件检测系统的系统架构图;
图3为本申请实施例提供的经验库创建的流程示意图;
图4为本申请实施例提供的事件检测方法的流程示意图;
图5a~图5c为本申请实施例提供的目标检测过程的示意图;
图6为本申请实施例提供的经验库匹配的示意图;
图7为本申请实施例提供的属性检测的流程示意图;
图8为本申请实施例提供的误报反馈的示意图;
图9为本申请实施例提供的事件检测过程的另一种流程示意图;
图10为本申请实施例提供的事件检测过程的又一种流程示意图;
图11为本申请实施例提供的事件检测装置的一种结构示意图;
图12为本申请实施例提供的事件检测设备的组成结构示意图;
图13为应用本申请实施例的另一种事件检测设备的组成结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
可以理解的是,在本申请的下述具体实施方式中,涉及到的用户相关数据,例如视频数据、经验库中的样本数据等,当本申请的各实施例运用到具体产品或技术中时,需要获得相关许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
为便于理解本申请实施例提供的技术方案,这里先对本申请实施例使用的一些关键名词进行解释:
事件检测:是一种通过分析数据判定特定事件是否发生的过程,目前常见的是结合视频或者图像数据来结合分析特定事件是否发生,例如工厂通过视频检测工人是否着装工作服、特定场景中通过视频检测A类人附近是否存在B类人、高楼场景中通过视频检测是否存在高空抛物或高速公路是否存在车窗抛物等事件。
经验库:是针对某种特征属性创建的特征值集合,针对特定的一种特征属性而言,其对应的经验库中存储了对具备该中特征属性的多个样本图片进行特征提取所得到的特征值,相当于作为一种经验性的辅助,用于辅助判断一个待检测目标是否具备该种特征属性。例如,对于工人是否着装工作服而言,可以将对该工厂的工作服进行特征提取后存储至相应的经验库,此后通过视频流中的视频帧结合经验库进行对比,以判断工人是否具备该经验库对应的特征属性,即是否着装该经验库对应的工作服。
误报库:误报库用于存储历史发生误报或者基于经验判断的容易发生误判的视频帧的特征值集合,以在触发告警之前,在误报库中进行匹配,确认此次告警是否为误报,若为误报则过滤此次告警,若非误报才继续进行告警。
目标检测模型:是采用已知类型的目标素材,基于深度学习(Deep Learning,DL)技术训练得到的,用于针对已知类型的目标进行检测,以确定视频帧中是否存在此种类型的目标。
相关技术中,针对事件检测,较为常见的做法是收集大量的样本素材进行标注训练,再基于训练出来的模型来检测目标物体和识别目标属性。
但是,这种训练的方式需要针对已经训练过的目标才能够更为准确,而在一些场景中,由于检测目标的种类可能较多,是无法逐一采集样本素材进行训练的,因而大大的影响了事件检测的准确性,并且通常模型结构复杂,对于设备的要求也较高,耗费的时长也更长,无法满足视频事件检测场景中的实时性要求。
基于此,本申请实施例提供了一种事件检测方法,在该方法中,通过预先为每个视频流配置了关联的经验库以及事件检测规则,则在检测到视频流中包括待检测目标的目标视频帧时,对目标视频帧中的待检测目标进行特征提取获得目标特征值后,基于目标特征值以及该视频流关联的至少一个经验库,确定待检测目标的属性检测结果,进而基于属性检测结果以及事件检测规则,获得相应的事件检测结果,以确定所述视频流对应拍摄的目标区域内是否发生了目标事件,因此,本申请实施例在进行视频事件检测时,只需简单的配置经验库,每个经验库中存储每种属性对应的样本图片的样本特征,以及配置每个视频流的事件检测规则即可,而无需预先针对特定的场景进行样本素材采集以及模型训练,大大减少了事件检测所需的前期准备工作,从而降低了事件检测过程的复杂程度,提升了事件检测应用于实际场景中的实用性。
此外,为了降低误报的可能性,本申请实施例还基于历史发生误报或者基于经验判断的容易发生误判的视频帧,来创建相应的误报库,进而通过误报库有效过滤误报,降低误报的可能性,进而提升告警的准确率。
下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
本申请实施例提供的方案可以适用于大多数视频事件检测场景中,比如适用于工作服检测、高空抛物检测或者公路抛物等事件检测场景中。如图1所示,为本申请实施例提供的一种应用场景示意图,在该场景中,可以包括终端设备101、摄像设备102以及事件检测设备103。
终端设备101例如可以为手机、平板电脑(PAD)、笔记本电脑、台式电脑、智能电视、智能车载设备以及智能可穿戴设备等任意设备。终端设备101可以安装有目标应用,目标应用具备与事件检测设备103连接,以接收事件检测设备103传输的消息的功能。本申请实施例涉及的应用可以是软件客户端,也可以是网页、小程序等客户端,不限制客户端的具体类型。
摄像设备102为任意具备摄像功能的设备,用于设置于能够拍摄目标区域的位置,并将自身拍摄到的视频流发送给事件检测设备103。
事件检测设备103可以是任意具备一定计算能力的终端设备,也可以为提供后台服务的后台服务器,例如为上述目标应用的服务器,当为后台服务器时,则该后台服务器例如可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、即内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云端服务器,但并不局限于此。
在一种可能的实施方式中,本申请实施例的方法可以应用于工作服检测场景中,则摄像设备102可以设置于能够拍摄到工人的位置,用于拍摄包括工人的视频流,并传输给事件检测设备103,事件检测设备103则可以基于该视频流以及预先配置的经验库判断视频中的工人是否着装经验库对应的工作服,并将检测结果传输给终端设备101。例如当检测到存在工人未着装工作服时,则向终端设备传输告警指示,以使得相关人员及时进行处理。
在一种可能的实施方式中,本申请实施例的方法可以应用于高空抛物事件检测场景中,则摄像设备102可以拍摄用于检测高空抛物的视频流,并传输给事件检测设备103,事件检测设备103则可以基于该视频流以及预先配置的经验库判断是否存在高空抛物事件,并将检测结果传输给终端设备101。例如当检测到存在高空抛物事件时,则向终端设备传输告警指示,以使得相关人员及时进行处理。
在一种可能的实施方式中,本申请实施例的方法可以应用于特定场景中对于某类人的检测,则摄像设备102可以设置于能够拍摄到和B类人的位置,用于拍摄包括A类人和B类人的视频流,并传输给事件检测设备103,事件检测设备103则可以基于该视频流以及预先配置的经验库判断视频中的人物的属性,例如是否为B类人或者A类人,从而结合B类人和A类人之间的位置关系判断每个B类人附近是否均存在A类人,并将检测结果传输给终端设备101。例如当检测到存在B类人附近不存在A类人时,则向终端设备传输告警指示,以使得相关人员及时进行处理。
该方法在其他事件检测场景中的实现过程与上述场景中是类似的,因而在此不再过多赘述。
事件检测设备103可以包括一个或多个处理器1031、存储器1032以及用于实现其他设备进行交互的I/O接口1033等。此外,事件检测设备103还可以配置数据库1034,数据库1034可以用于存储经验库以及事件检测规则等。其中,事件检测设备103的存储器1032中还可以存储本申请实施例提供的事件检测方法的程序指令,这些程序指令被处理器1031执行时能够用以实现本申请实施例提供的事件检测方法的步骤,以确定目标区域内是否发生目标事件。
本申请实施例中,终端设备101、摄像设备102以及事件检测设备103之间可以通过一个或者多个网络104进行直接或间接的通信连接。该网络104可以是有线网络,也可以是无线网络,例如无线网络可以是移动蜂窝网络,或者可以是无线保真(Wireless-Fidelity,WIFI)网络,当然还可以是其他可能的网络,本申请实施例对此不做限制。
需要说明的是,图1所示只是举例说明,实际上终端设备、摄像设备以及事件检测设备的数量不受限制,在本申请实施例中不做具体限定。
如图2所示,为本申请实施例提供的一种事件检测系统的系统架构图,在该架构中,可以包括终端设备端、摄像设备端以及事件检测端,其中,摄像设备端用于拍摄得到视频流,终端设备端用于接收事件检测端上报的告警信息。其中,事件检测端可以包括如下模块:
(1)拉流模块,与摄像设备端连接,用于从摄像设备端获取其拍摄的视频流。
(2)解码模块,用于对拉流模块获取到的视频流进行解码处理。
(3)目标检测模块,用于根据视频流解码后的视频数据进行目标检测,以识别该视频流中是否存在待检测目标。例如采用深度学习方法训练得到的目标检测模型来对视频流进行目标检测,以检测其中包括的待检测目标,例如识别视频中的人;或者,根据预先标注的标注框位置,确定当前的视频流中该位置是否出现了新的内容,即待检测目标。需要说明的是,这里的待检测目标是指待进行事件检测的目标。
(4)跟踪模块,用于对检测出的待检测目标进行跟踪。
(5)特征提取模块,可以用于对待检测目标的特征提取,也可以用于针对各个经验库或者误报库中的样本图片进行特征提取。
(6)目标属性识别模块,用于针对上述得到的待检测目标,可以基于已配置的至少一个经验库,来对该待检测目标进行属性检测,根据该待检测目标与各个经验库中的样本特征之间的匹配度,确定是否具有这些经验库对应的特征属性,若特征比对的匹配度大于一定的阈值就认为满足这个属性。
(7)事件检测模块,用于根据上述的目标检测以及待检测目标的属性识别结果,结合配置的事件检测规则来进行分析,确定是否触发了目标事件。例如可以配置的事件检测规则,可以对穿工作服的人员告警,也可以对没穿工作服的人员告警。
(8)告警上报模块,用于当检测目标事件触发时生成相应的告警信息,并发送给相应的终端设备端。例如,可以将告警信息上报到消息队列(message queue,MQ),进而使得已经订阅该消息队列的终端设备可以接收到该告警信息。
(9)过滤误报模块,用于针对误报的告警目标,提取该告警目标的特征值,并与误报库中的各个目标特征值进行比对,当满足误报条件时,例如当最大相似度大于设定的相似度阈值,则认为此次报警属于误报,则需要对其进行过滤,若是非误报的情况则继续进行告警,从而避免误报带来的不必要的工作,提升告警的准确性。
下面结合上述描述的应用场景,参考附图来描述本申请示例性实施方式提供的事件检测方法,需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。
在本申请实施例中,事件检测的进行是依据配置好的经验库进行的,因此在进行事件检测之前,还需要进行经验库的配置,因而首先对经验库的创建以及配置过程进行介绍。参见图3所示,为本申请实施例提供的经验库创建的流程示意图。
步骤301:接收经验库配置请求,经验库配置请求携带待配置的经验库需添加的各个样本图片。
本申请实施例总,考虑到在实际场景中若要针对特定场景进行深度学习模型的训练的前期准备工作是较多的,而且在实际场景中可能无法采集到较多的训练样本进行学习,因此本申请实施例提供了一种基于经验库的事件检测方法,通过配置经验库即可实现事件的准确检测,前期的准备工作量,更加符合实际场景的需求。
具体的,每个经验库对应了一种特征属性,用于在实际应用时,辅助判断目标是否觉有该种特征属性,因此经验库中需要存储具有特征属性的样本,即经验库用于存储具有该特征属性的至少一个样本图片及其样本特征值。
在实际应用时,可以依据实际的需求进行经验库的创建,例如需要检测是否着装工作服时可以创建包含待检测的工作服的经验库,这样可以判断待检测目标是否具有着装该工作服的特征属性;或者,需要检测高空抛物时,则可以创建包含高空抛物的样本图片的经验库,进而可以通过比检测对待检测目标是否具备高空抛物的特征属性。
在一种可能的实施方式中,当事件检测设备为终端设备时,则可以在事件检测设备上进行经验库的创建和配置过程。
具体的,用户可以在事件检测设备提供的操作界面上进行输入,以输入待创建的经验库的相关信息,例如经验库名称、特征属性名称以及需加入到该经验库的样本图片等,从而发起经验库的创建,进而事件检测设备可以接收到经验库配置请求,并基于经验库配置请求的指示,创建新的经验库。
在一种可能的实施方式中,当事件检测设备为服务器时,则可以在相应的管理客户端上进行操作,实现经验库的远程创建和配置过程。
具体的,用户可以在客户端中输入待创建的经验库的相关信息,例如经验库名称、特征属性名称、以及需加入到该经验库的样本图片,进而向服务器发起经验库配置请求,其中可以携带上述输入的相关信息,进而服务器则可以响应于该经验库配置请求,来创建新的经验库。
在实际应用时,上述的过程可以是通过一次请求实现整个过程的创建,也可以通过多次请求来实现的,例如上述的经验库配置请求可以包含多个子请求,每个子请求可以对应经验库创建过程中的一个阶段,通过多次子请求来实现经验库的完全创建。
需要说明的是,上述涉及的经验库配置请求可以是第一次创建经验库时的创建请求,此时则需要携带上述创建经验库所需的相关信息;或者,经验库配置请求也可以是在经验库完成创建之后,来完善经验库的相关信息的请求,例如向经验库中增添样本图片或者完善经验库的介绍信息等。
步骤302:分别对各个样本图片包括的样本目标进行特征提取,获得相应的样本特征值。
本申请实施例中,对于经验库配置请求中携带的各个样本图片,都会对其中的样本目标进行特征提取,并存储至经验库中,以便后续使用。由于针对每个样本图片的处理过程均是相同的,因此这里具体以其中一个样本图片为例进行介绍。
具体的,样本图片可以分为两种类型:
第一种是未标注目标框的样本图片,此类样本图片是因为其中包含的目标是已知类型的目标,通过目前已有的目标检测算法就可以进行目标检测,因而无需进行多余的标注工作,更加节省前期的准备工作。例如,针对是否着装工作服的检测,其针对的样本目标是人,而目前的人体或者人脸识别算法是非常成熟的了,因而可以直接使用已有的识别算法即可,不需要标注检测目标框。
那么,针对这种类型的样本图片,在进行特征提取时,则需要首先采用目标检测算法对样本图片进行目标检测,以识别出样本目标所在的位置,进而对相应的位置进行特征提取,获得样本目标的样本特征值。
第二种是需要标注目标框的样本图片,此类样本图片中包含的为未知类型的目标,目前的识别算法是无法直接检测到的,因此需要将需要进行特征提取的目标框标注出来。例如,对于抛洒物而言,抛洒物可以是任意的东西,其为类型不明确得目标,是无法通过深度学习算法根据单张图片识别到的,因此需要针对抛洒物进行人工标注,指定图中抛洒物的位置。
那么,针对这种类型的样本图片,在进行特征提取时,则可以根据标注的样本目标所在的目标框的位置,对目标框区域进行特征提取,获得相应样本特征值。
具体的,本申请实施例中所涉及到的特征值(包括样本特征值和目标特征值)可以是指目标所在位置的图片本身,例如可以是从图片中提取得到的像素值信息、数字化颜色信息或者灰度信息等;或者,特征值还可以是经由预先训练的基于深度学习算法的特征提取模型所提取得到的特征值,该特征值可以采用特征矩阵或者至少一个特征值的方式进行表征。
步骤303:将各个样本图片包括的样本目标以及相应的样本特征值存储至经验库中。
本申请实施例中,可以将这些样本目标及其相应的样本特征值,按照其特征属性保存到相应的经验库中,每个存入经验库中的样本图片,都可以称之为底库,进而可以创建多个经验库,一个经验库中包含有多张底库。
在经验库创建完成之后则可以将其应用至实际的事件检测过程中了,则参见图4所示,为本申请实施例提供的事件检测方法的流程示意图,该方法的具体实施流程如下:
步骤401:接收目标摄像设备拍摄的目标区域内的视频流,其中,所述视频流配置有至少一个经验库以及事件检测规则,每个经验库对应一种特征属性,且存储有相应特征属性的至少一个样本图片的样本特征值。
本申请实施例中,是根据摄像设备拍摄的视频流进行事件检测的,因而可以在需要进行事件检测的目标区域设置相应的摄像设备,以拍摄该目标区域内的视频流,并发送给事件检测设备作为事件检测的基础。
在实际应用时,根据目标区域内的事件检测需求,为每个视频流或者目标区域配置相应的至少一个经验库以及事件检测规则,至少一个经验库包含了目标事件的检测时所需要分析的待检测目标的特征属性,事件检测规则表征了在什么条件下触发告警,从而通过至少一个经验库可以分析待检测目标具备哪些特征属性,再结合事件检测规则与特征属性的分析结果确定是否触发了目标事件。
在一种可能的实施方式中,当至少一个经验库包含多个经验库时,事件检测规则可以包含每个经验库对应的触发阈值M,在一个事件检测规则中,可以同时选择多个经验库,每个经验库的阈值M都可以设置根据实际需求进行设置,即可以为不同的值。
步骤402:在检测到视频流中包括待检测目标的目标视频帧时,对目标视频帧中的待检测目标进行特征提取,获得相应的目标特征值。
本申请实施例中,在进行特征提取之前,需要对视频流进行目标检测,以确定该视频流中是否出现了待检测目标,若出现了待检测目标,则执行后续的流程判断该待检测目标是否触发目标事件,而若未出现待检测目标,则流程结束,并继续进行待检测目标的检测。
在一种可能的实施方式中,与上述样本图片的类型相对应的,针对已知类型的待检测目标是可以采用已有的目标检测模型来进行识别的,因而针对此种情况,可以针对视频流包括的各个视频帧,可以调用已训练的目标检测模型,分别对各个视频帧进行目标检测,以确定该视频帧是否包含待检测目标。
参见图5a所示,为目标检测过程的一种示意图,当接收视频流后,则对其进行解码处理,获得该视频流中的各个视频帧,并将各个视频帧输入至目标检测模型中,以采用该目标检测模型所对应的目标识别算法来检测各个视频帧中是否包含了待检测目标。
需要说明的是,在进行目标检测时,可以将单个视频帧输入至目标检测模型中进行检测,也可以是将多个视频帧输入至目标检测模型中进行检测,具体的可以依据目标识别算法而定,本申请实施例对此不做限制。
与上述样本图片的类型相对应的,针对未知类型的待检测目标无法采用已有的目标检测模型来进行识别的,因而针对此种情况,可以通过如下两种方式进行是否存在待检测目标的检测:
在一种可能的实施方式中,考虑到在一些场景中,通常是视频流中各个视频帧之间的变化不大,只有待检测目标出现时相邻帧之间的差异才足够大,例如在高空抛物的检测场景中,通常拍摄的目标区域是针对居民楼的高空区域的,因为居民楼是相对静态的,因而视频流中视频帧的变化是很小的,而当出现高空抛物时,则会存在相对动态的内容,因而可以通过视频流中相邻视频帧之间的差异,来判断视频帧中是否出现了待检测目标。
具体的,针对视频流中的各个视频帧,可以基于该视频帧与相邻的视频帧中的指定区域之间的差异信息,确定视频帧是否包含待检测目标。参见图5b所示,在对视频流进行解码之后,则可以将当前的视频帧i与其之前的至少一个视频帧进行差异对比,根据差异信息判断是否出现了待检测目标。需要说明的是,图5b中示出的至少一个视频帧为视频帧i-1~视频帧i-3,也就是当前视频帧i之前的3个视频帧,但本申请实施例的方案应用与实际场景中时,视频帧的数量是可以设置的,本申请实施例对此并不进行限制。
在实际场景中,为了降低误检测的可能性,可以在连续检测到待检测目标时才确认存在待检测目标。
在一种可能的实施方式中,参见图5c所示,由于在进行经验库的创建时,对样本目标进行了标注,因而还可以针对视频流中目标框的位置进行检测,当目标框的位置中出现了目标时,则确认存在待检测目标。
当然,在实际场景中,也可以实际场景需求来选定目标框的位置,并不局限于目标框在视频帧中的位置,还可以选定一定的参照物,结合参照物的位置设置目标框的位置,例如针对车窗抛洒而言,车辆在公路上是移动的,因而抛洒物相对而言也不是固定位于视频帧中的同一位置,因而可以将车辆作为参照物来结合判定是否出现待检测目标。
本申请实施例中,当确认存在待检测目标时,则会对目标视频帧中的待检测目标进行特征提取,获得相应的目标特征值。其中,目标视频帧可以是从包含待检测目标的各个视频帧中选取的其中一个视频帧,例如最能够完整呈现待检测目标的一个视频帧,也可以将这些包含待检测目标的各个视频帧共同作为目标视频帧。
其中,特征提取的过程与创建经验库时的特征提取的过程是类似的,因而在此不再进行赘述。
步骤403:基于目标特征值与至少一个经验库各自包含的至少一个样本特征值之间的匹配度,确定待检测目标的属性检测结果。
本申请实施例中,获得待检测目标的目标特征值之后,则可以将目标特征值分别与各个经验库中的样本特征值进行匹配,以确定该待检测目标是否具备各个经验库对应的特征属性。
具体的,针对至少一个经验库而言,可以通过匹配,获得待检测目标相对于每个经验库之间的匹配度,进而根据匹配度判断待检测目标是否具备其对应的特征属性,而相对于每个经验库而言,上述的过程是类似的,因此这里以一个经验库为例进行说明。
针对至少一个经验库中任意的一个经验库C,经验库C中包含至少一个样本特征值,是基于具备该经验库C的特征属性的样本目标进行特征提取得到的,进而分别将目标特征值与该经验库C中的至少一个样本特征值进行匹配,相应获得待检测目标与经验库C中的每个样本特征值之间的匹配度,每个匹配度表征一个样本目标与该待检测目标之间的相似度,进而基于这些匹配度,则可以得到待检测目标与经验库C之间的匹配度。
参见图6所示,经验库C中包含N个样本目标,各样本目标的样本特征值分别表示为样本特征c1~样本特征cn,将待检测目标的目标特征值分别与样本特征c1~样本特征cn进行匹配,相应得到与每个样本特征值的匹配度,如图6所示,目标特征值与样本特征c1之间的相似度为匹配度1,目标特征值与样本特征c2之间的相似度为匹配度2,以此类推。进而,可以根据相似度1~n来得到待检测目标与经验库C之间的匹配度pc。
在一种可能的实施方式中,考虑到经验库C中存储的每个样本目标都是具备该经验库C所对应的特征属性的,但不同的样本目标之间仍然可能存在差异,从而使得待检测目标与各个样本目标之间的匹配度存在不同,但是虽然存在不同,但各个样本目标均具备相应的特征属性,因而可以认为与任一个样本目标相似则具备特征属性,因此可以取待检测目标与各个样本目标之间的匹配度中的最大匹配度,作为待检测目标与经验库C之间的匹配度pc。
在一种可能的实施方式中,考虑到单个样本目标可能无法准确的表征经验库的特征属性,因而可以通过多个样本目标来衡量,因此可以在分别与各个样本目标进行匹配之后,将待检测目标与各个样本目标之间的匹配度的均值作为待检测目标与经验库C之间的匹配度pc。
在一种可能的实施方式中,考虑到单个样本目标可能无法准确的表征经验库的特征属性,且不同的样本目标之间存在差异,能够表征特征属性的程度不一,因而可以为各个样本目标赋予一定的权重值,进而在分别与各个样本目标进行匹配之后,根据待检测目标与各个样本目标之间的匹配度,以及至少一个样本特征值的权重,确定待检测目标与经验库之间的加权匹配度,并将加权匹配度作为待检测目标与经验库C之间的匹配度pc。
同样的,可以按照上述的方法得到待检测目标与各个经验库之间的匹配度。
进一步的,在分别得到待检测目标与各个经验库之间的匹配度后,则可以基于获得的至少一个匹配度,确定待检测目标相对于各个经验库的属性检测子结果,每个属性检测子结果用于表征待检测目标是否具有经验库对应的特征属性。
由于针对各个经验库而言,获得属性检测子结果的过程是类似的,因而这里同样以上述的经验库C为例进行介绍,其他经验库同样可以参照下述过程来得到相应的属性检测子结果。
具体的,针对经验库C而言,在得到待检测目标与经验库C之间的匹配度pc之后,则若匹配度pc大于设定匹配度阈值,则可以确定待检测目标具有经验库C对应的特征属性,否则确定待检测目标不具有经验库C对应的特征属性。
在一种可能的实施方式中,在待检测目标与经验库C中各个样本目标匹配之后,若获得的至少一个匹配度中的最大值大于设定匹配度阈值,则确定待检测目标具有经验库C对应的特征属性。
在一种可能的实施方式中,在待检测目标与经验库C中各个样本目标匹配之后,若获得的至少一个匹配度的均值大于设定匹配度阈值,则确定待检测目标具有经验库C对应的特征属性。
在一种可能的实施方式中,在待检测目标与经验库C中各个样本目标匹配后,基于至少一个样本特征值的权重以及获得的至少一个匹配度,确定待检测目标与经验库之间的加权匹配度,若加权匹配度大于设定匹配度阈值,则确定待检测目标具有经验库C对应的特征属性。
同样的,可以按照上述的方法,得到待检测目标是否具备其他经验库对应的特征属性。
进而,基于获得的至少一个属性检测子结果,确定属性检测结果,即至少一个经验库各自对应的属性检测子结果则可以组成属性检测结果。
在一种可能的实施方式中,可以将至少一个经验库各自对应的属性检测子结果按照一定的顺序排列,获得一个属性检测向量,用于表征属性检测结果。
参见图7所示,为一种属性检测的流程示意图。其中,将待检测目标与各个经验库进行匹配之后,则可以得到待检测目标是否具有各个经验库的特征属性,如图7中该待检测目标具有经验库1、3和4的特征属性,但不具备经验库2的特征属性,则如若用1表征具有,0保证不具有,则可以得到相应的属性检测向量,即图7所示的“1011”。当然,在实际应用中也可以采用其他的值进行表征,本申请实施例对此并不进行限制。
步骤404:基于属性检测结果以及事件检测规则,获得相应的事件检测结果,事件检测结果用于表征目标区域内是否发生目标事件。
本申请实施例中,为视频流配置了相应的事件检测规则,事件检测规则实质上即为表征在何种情况下触发了目标事件,也就是上述的属性检测结果满足何种条件时触发了目标事件,从而结合属性检测结果以及事件检测规则,即可以得到当前的事件检测结果。
具体的,若属性检测结果满足事件检测规则,则可以确定目标区域内发生了目标事件。其中,事件检测规则可以包括如下规则中的一个或者多个的组合:
(1)属性检测结果中各个特征属性与目标事件的预设特征属性一致,即检测得到的属性检测结果中各个经验库的特征检测子结果组合与预先设定的组合一致。
在一种可能的实施方式中,若采用属性检测向量表征属性检测结果,则目标事件的预设特征属性也可以采用向量的方式进行表达,沿用上述的例子,若目标事件的预设特征属性为“1011”,则上述得到的属性检测向量为“1011”,则表征目标事件已发生,而若得到的属性检测向量为“1101”,则与预设特征属性为“1011”不符,则表明目标事件未发生。
(2)在一些场景中,除了考虑属性检测结果之外,还需要结合场景中各个待检测目标之间的相对关系来结合判断目标事件是否发生,因此,在进行事件检测还需要考虑各个待检测目标之间的位置关系,即当视频流中包括的各个待检测目标之间的位置关系与目标事件的预设位置关系一致时,才认为目标事件发生。例如,对于特定场景中B类人附近未有A类人的目标事件,则除了对待检测目标也就是人员的服装属性,即着B类服装或者A类服装之外,还需要结合人员之间的相对位置关系结合判定,当某个着B类服装的人员的一定范围内未存在着A类服装的人员,则可以判定B类人附近未有A类人的目标事件发生。
(3)同样的,在一些场景中,待检测目标之间可能存在关联关系,则还需要考虑待检测目标之间的关联关系,即在进行目标事件是否触发的判定是,还需要检测各个待检测目标中存在关联关系的至少两个待检测目标的特征属性组合与目标事件的预设特征属性组合是否一致,若一致,才认为目标事件发生。
以特定场景中B类人附近未配置有A类人的目标事件为例,则每个B类人附近都需要存在至少一名A类人,则一个B类人和一个A类人可以认为是存在关联关系的,则可以将视频中存在的各个待检测目标进行组合的划分,例如一个B类人和一个A类人认为是一个组合,则需要每个组合中都包含一个特征属性为着B类服装的人员,以及一个着A类服装的人员,若每个组合都满足此条件,则认为目标事件未发生,而若是存在一个组合中不满足此条件,则认为目标事件发生。
本申请实施例中,当获得事件检测结果之后,则可以依据事件检测结果判断是否需要触发告警,例如若是事件检测结果表征目标区域内发生了目标事件,则可以生成相应的告警信息,并将告警信息发送给相应的客户端或者终端设备,使得相应人员及时进行处理。
在一种可能的实施方式中,可以采用消息队列的方式进行告警信息的推送。
具体的,相关人员的客户端可以对消息队列进行订阅,当订阅成功之后,则当该消息队列中存在新的消息时,则会触发向该客户端进行消息推送,因此,上述在生成告警信息之后,则可以将告警信息添加至消息队列中,以使得订阅消息队列的客户端能够及时接收到该告警信息。
为了进一步提升告警的准确性,本申请实施例中还提供了告警过滤库,告警过滤库包含告警过滤目标的样本特征值,告警过滤目标可以是容易发生误报的样本目标、需要过滤的样本目标或者历史发生过误报的样本目标等,用于在进行告警进而当为视频流配置经验库的同时,还可以为其配置关联的告警过滤库。
那么在进行告警之前,则还应将目标特征值与视频流关联的告警过滤库进行匹配,获得相应的匹配度,且若匹配度不大于预设匹配度阈值,也就是该目标特征值与告警过滤库中的各个样本目标均无法成功匹配时,则该告警信息是不需要进行过滤的,此时才将告警信息添加至消息队列中,以使得订阅消息队列的客户端能够接收告警信息。
当告警信息发送给客户端之后,相关人员则可以基于该告警信息进行相应的处理,同时相关人员还可以核实该告警信息是否属于误报,若属于误报也可以及时进行反馈。参见图8所示,当告警信息推送至客户端之后,则可以向相关人员提供误报反馈的可操作控件,则当其确认当前属于误报的情况时,则可以通过该可操作控件进行操作,向服务器发送针对该告警信息反馈的误报指示,该误报指示表征告警信息属于误报,进而服务器接收到误报指示后,则可以响应于误报指示,将待检测目标以及目标特征值添加至告警过滤库中,使得后续若再次触发,则可以将其过滤,避免发生误报的情况,提升告警的准确性。
在实际应用时,误报的情况往往是跟实际场景相关的,例如针对高速公路的抛洒事件的告警,其往往是与当前拍摄的路段直接相关的,而此误报的样本图片应用于其他拍摄场景时则可能无效,因此可以针对每个视频流关联其对应的告警过滤库,并基于该视频流的误报反馈来维护该告警过滤库。
参见图9所示,为本申请实施例提供的事件检测过程的另一种流程示意图,该过程通常可以适用于已知类型的目标,即可以通过深度学习算法检测到目标的情况,当然,对于未知类型的目标也同样可以适用。
S10:导入样本图片,可以在客户端导入样本图片,或者从告警信息中导入样本图片。
S11:对各个样本图片进行特征提取,提取各个样本图片的样本特征值。
若样本图片中的样本目标是算法可以检测的目标则可以不在样本图片中进行目标框的标注,例如,提取工作服的特征,检测的是人,人的检测算法已有,那么不需要标注目标框,算法会自动检测。特征提取模块在提取特征值时,客户端没有带入坐标框的,算法先识别出样本目标,再提取出这些样本目标的特征值。
而若是未知类型的目标,算法无法检测到的,需要把特征提取的目标框一起带入,例如,抛洒物的特征,抛洒物是类型不明确的目标,无法通过深度学习算法根据单张图片识别到,所以要人工标注目标框,指定样本图片中抛洒物的位置。特征提取模块在提取特征值时,客户端有带入坐标框的,提取坐标框内的特征值。
S12:将样本目标及其样本特征值,分类保存到各个经验库中。
S13:针对某个检测场景,配置相应的经验库以及事件检测规则,可以从已有的经验库中选择至少一个经验库,并设置每个经验库对应的比较阈值M,且每个经验库的阈值M可以设置为不同值。
S14:从前端的拍摄设备拉取视频码流。
S15:对视频码流进行解码操作。
S16:采用深度学习算法检测视频帧中的待检测目标。此外,还可以针对检测到的目标进行跟踪。
S17:将待检测目标的目标特征值与上述配置的各个经验库中的样本特征值进行比对,判断待检测目标的目标属性。其中,针对一个经验库而言,若特征比对的最大相似度S大于阈值M,就认为待检测目标满足该经验库的特征属性。
S18:根据目标检测和属性检测结果,结合配置的事件检测规则进行分析,确认是否触发目标事件。
S19:若触发需要告警的事件,则生成告警信息后上报到MQ,让客户端订阅。
下面以具体的应用实例进行介绍。
场景1:检测工作人员是否着装特定服装,例如防疫服。
在进行事件检测之前,预先设置好关联防疫服经验库,其中存储的样本目标即为穿着防疫服的工作人员,且存储有各个样本目标对应的样本特征值,相似度阈值M设置为80%,事件检测规则设置为若未穿着防疫服则触发目标事件,并进行告警。
当实际检测时,若检测到视频中有人时,则将其与防疫服经验库中各个样本特征值进行比对,若该人与各个样本特征值的相似度中的最大相似度S超过80%,则认为此人已穿着防疫服,否则就没有穿着防疫服。由此,根据与防疫服经验库的比对结果就可以检测出在指定区域没有穿防疫服的人员,并进行告警。
同理,如果经验库中的底库是A类服装或者其他工作服,就可以检测出在指定区域没有穿工作服的人员,同时,可以配置相应的事件检测规则,即可以对穿工作服的人员告警,也可以对没穿工作服的人员告警,而只需要维护好经验库里的底库和阈值,就可以对不同的工作服事件规则进行准确告警。例如可以用于工厂车间识别工人是否都已穿着工作服,对没穿工作服人员进行报警,如果有多种工作服,只要创建多个经验库即可。
上述的事件检测方法,无需训练所有类型的工作服模型再检测,显然事件检测的复杂度更低,适用范围更加广泛。当然,在一些复杂的场景中同样也是可以使用的,例如可以创建B类服装和A类服装两个经验库,结合事件检测规则的设定,就可判断穿B类服装人员身边是否都有穿A类服装人员,如发现穿B类服装人员身边没有穿A类服装人员则可以进行告警。
参见图10所示,为本申请实施例提供的事件检测过程的又一种流程示意图,该过程通常可以用于未知类型的目标,即无法通过深度学习算法检测到目标的情况。
S20:导入样本图片,可以在客户端导入样本图片,或者从告警信息中导入样本图片。
S21:对各个样本图片进行特征提取,提取各个样本图片的样本特征值。
S22:将样本目标及其样本特征值,分类保存到各个经验库中。
S23:针对某个检测场景,配置比对规则和事件检测规则,比对规则包括选择相应的经验库、告警过滤库以及事件检测规则,可以从已有的经验库中选择至少一个经验库,并设置每个经验库或者告警过滤库对应的比较阈值M,且每个经验库或者告警过滤库的阈值M可以设置为不同值。
其中,对于告警过滤库而言,其作为误报库使用,其包含的样本图片都是需要告警过滤的样本目标,例如误报的目标。在实际使用中,可由告警审核后是误报的告警信息图片导入,也可以导入被认为是容易误报的目标。
S24:从前端的拍摄设备拉取视频码流。
S25:对视频码流进行解码操作。
S26:结合配置的事件检测规则进行分析,确认是否触发目标事件。
需要说明的是,这里待检测目标的事件检测过程可以是与上述的过程类似的,因此这里不再进行过多的赘述。
S27:若触发需要告警的事件,生成告警信息。
S28:将告警目标的目标特征值,并与告警过滤库中的样本特征值进行比对,若最大相似度S大于阈值M,则认为此次告警为误报,即本次告警为需要过滤掉误报的告警,若各个相似度均小于阈值M,则认为此次告警并非误报。
S29:上报过滤后应该上报的告警信息。
下面以具体的应用实例进行介绍。
场景2:高速路上抛洒物的检测
在实际场景中,针对高速路上抛洒物的检测,经常会把高速路上的杆子的影子、太阳光通过桥洞照射的有明显亮度差的区域等误报为抛洒物,为了降低这些带来的误报干扰,则可以将某一视频中,经常发生的误报目标导入到告警过滤库中作为误报库使用,当这路视频发生新的抛洒物告警时,就先与误报库比对,是否是同样的误报,如果是则过滤掉,从而提高告警的准确率。
场景3:物品遗留检测
在实际场景中,针对物品遗留的检测,由于在产生告警之前,是无法知道遗留的物品会是什么类型的物品,属于未知类型的目标,因而为了提升告警的准确性,若是不希望对某一物品的遗留产生告警,例如某一个指定的箱子,则可以预先就将这个箱子导入到告警过滤库中,则当在生成告警信息之后,则会与告警过滤库进行比对,从而将此告警信息过滤掉,避免产生误报的情况。
综上所述,本申请实施例中,可以预先导入样本图片到经验库中,或者从告警信息中导入样本图片到经验库中,则在进行事件检测时,则可以与经验库进行比对,结合制定的事件检测规则来判断目标事件是否发生,从而无需复杂的模型训练过程,降低了事件检测的前期准备工作,降低复杂度,使得该方法能够适用于更多的场景中。其中,对于已知类型的目标,检测到目标后,通过检测目标和经验库特征比对的方式来识别目标属性,再进行进一步的事件检测,而对于未知类型的目标告警,还可以通过误报库有效过滤误报,进一步提高告警的准确率。
请参见图11,基于同一发明构思,本申请实施例还提供了一种事件检测装置110,该装置包括:
收发单元1101,用于接收目标摄像设备拍摄的目标区域内的视频流;其中,视频流配置有至少一个经验库以及事件检测规则,每个经验库对应一种特征属性,且存储有相应特征属性的至少一个样本图片的样本特征值;
特征提取单元1102,用于在检测到视频流中包括待检测目标的目标视频帧时,对目标视频帧中的待检测目标进行特征提取,获得相应的目标特征值;
属性检测单元1103,用于基于目标特征值与至少一个经验库各自包含的至少一个样本特征值之间的匹配度,确定待检测目标的属性检测结果;
事件检测单元1104,用于基于属性检测结果以及事件检测规则,获得相应的事件检测结果,事件检测结果用于表征目标区域内是否发生目标事件。
可选的,特征提取单元1102,还用于:
针对视频流包括的各个视频帧,分别执行如下处理:
针对一个视频帧,调用已训练的目标检测模型,对视频帧进行目标检测,以确定视频帧是否包含待检测目标;或者,
针对一个视频帧,基于视频帧与相邻的视频帧中的指定区域之间的差异信息,确定视频帧是否包含待检测目标。
可选的,属性检测单元1103,具体用于:
针对至少一个经验库,分别执行如下操作:
针对一个经验库,分别将目标特征值与经验库中的至少一个样本特征值进行匹配,相应获得至少一个匹配度;
基于至少一个匹配度,确定待检测目标相对于经验库的属性检测子结果,属性检测子结果用于表征待检测目标是否具有经验库对应的特征属性;
基于获得的至少一个属性检测子结果,确定属性检测结果。
可选的,属性检测单元1103,具体用于:
若至少一个匹配度中的最大值大于设定匹配度阈值,确定待检测目标具有经验库对应的特征属性;或者,
若至少一个匹配度的均值大于设定匹配度阈值,确定待检测目标具有经验库对应的特征属性;或者,
基于至少一个样本特征值的权重以及至少一个匹配度,确定待检测目标与经验库之间的加权匹配度,且若加权匹配度大于设定匹配度阈值,确定待检测目标具有经验库对应的特征属性。
可选的,事件检测单元1104,具体用于:
若属性检测结果满足事件检测规则,确定目标区域内发生目标事件;其中,事件检测规则包括如下规则中的一个或者多个的组合:
属性检测结果中各个特征属性与目标事件的预设特征属性一致;
视频流中包括的各个待检测目标之间的位置关系与目标事件的预设位置关系一致;
各个待检测目标中存在关联关系的至少两个待检测目标的特征属性组合与目标事件的预设特征属性组合一致。
可选的,该装置还包括配置单元1105,用于:
接收经验库配置请求,经验库配置请求携带待配置的经验库需添加的各个样本图片;
分别对各个样本图片包括的样本目标进行特征提取,获得相应的样本特征值;
将各个样本图片包括的样本目标以及相应的样本特征值存储至经验库中。
可选的,该装置还包括告警单元1106,用于:
若事件检测结果表征目标区域内发生目标事件,则生成相应的告警信息;
将告警信息添加至消息队列中,以使得订阅消息队列的客户端能够接收告警信息。
可选的,该装置还包括告警过滤单元1107;
告警过滤单元1107用于将目标特征值与视频流关联的告警过滤库进行匹配,获得相应的匹配度;其中,告警过滤库包含告警过滤目标的样本特征值;
则告警单元1106,具体用于若匹配度不大于预设匹配度阈值,则将告警信息添加至消息队列中,以使得订阅消息队列的客户端能够接收告警信息。
可选的,装置还包括误报反馈单元1108;
接收客户端针对告警信息反馈的误报指示,误报指示表征告警信息属于误报;
响应于误报指示,将待检测目标以及目标特征值添加至告警过滤库中。
通过上述装置,只需简单的配置经验库,每个经验库中存储每种属性对应的样本图片的样本特征,以及配置每个视频流的事件检测规则即可,而无需预先针对特定的场景进行样本素材采集以及模型训练,大大减少了事件检测所需的前期准备工作,从而降低了事件检测过程的复杂程度,提升了事件检测应用于实际场景中的实用性。
该装置可以用于执行本申请各实施例中所示的方法,因此,对于该装置的各功能模块所能够实现的功能等可参考前述实施例的描述,不多赘述。
请参见图12,基于同一技术构思,本申请实施例还提供了一种事件检测设备。在一种实施例中,该事件检测设备可以为服务器。该事件检测设备如图12所示,包括存储器1201,通讯模块1203以及一个或多个处理器1202。
存储器1201,用于存储处理器1202执行的计算机程序。存储器1201可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及运行即时通讯功能所需的程序等;存储数据区可存储各种即时通讯信息和操作指令集等。
存储器1201可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器1201也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);或者存储器1201是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器1201可以是上述存储器的组合。
处理器1202,可以包括一个或多个中央处理单元(central processing unit,CPU)或者为数字处理单元等等。处理器1202,用于调用存储器1201中存储的计算机程序时实现上述事件检测方法。
通讯模块1203用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器1201、通讯模块1203和处理器1202之间的具体连接介质。本申请实施例在图12中以存储器1201和处理器1202之间通过总线1204连接,总线1204在图12中以粗线描述,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线1204可以分为地址总线、数据总线、控制总线等。为便于描述,图12中仅用一条粗线描述,但并不描述仅有一根总线或一种类型的总线。
存储器1201中存储有计算机存储介质,计算机存储介质中存储有计算机可执行指令,计算机可执行指令用于实现本申请实施例的事件检测方法,处理器1202用于执行上述各实施例的事件检测方法。
在另一种实施例中,事件检测设备也可以是终端设备。在该实施例中,事件检测设备的结构可以如图13所示,包括:通信组件1310、存储器1320、显示单元1330、摄像头1340、传感器1350、音频电路1360、蓝牙模块1370、处理器1380等部件。
通信组件1310用于与服务器进行通信。在一些实施例中,可以包括电路无线保真(Wireless Fidelity,WiFi)模块,WiFi模块属于短距离无线传输技术,事件检测设备通过WiFi模块可以帮助用户收发信息。
存储器1320可用于存储软件程序及数据。处理器1380通过运行存储在存储器1320的软件程序或数据,从而执行终端设备的各种功能以及数据处理。存储器1320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1320存储有使得终端设备能运行的操作系统。本申请中存储器1320可以存储操作系统及各种应用程序,还可以存储执行本申请实施例事件检测方法的代码。
显示单元1330还可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种菜单的图形用户界面(graphical user interface,GUI)。具体地,显示单元1330可以包括设置在终端设备正面的显示屏1332。其中,显示屏1332可以采用液晶显示器、发光二极管等形式来配置。显示单元1330可以用于显示本申请实施例中的各种事件检测配置页面或事件检测结果页面。
显示单元1330还可用于接收输入的数字或字符信息,产生与终端设备的用户设置以及功能控制有关的信号输入,具体地,显示单元1330可以包括设置在终端设备正面的触摸屏1331,可收集用户在其上或附近的触摸操作,例如点击按钮,拖动滚动框等。
其中,触摸屏1331可以覆盖在显示屏1332之上,也可以将触摸屏1331与显示屏1332集成而实现终端设备的输入和输出功能,集成后可以简称触摸显示屏。本申请中显示单元1330可以显示应用程序以及对应的操作步骤。
摄像头1340可用于捕获静态图像,用户可以将摄像头1340拍摄的图像通过应用发布评论。摄像头1340可以是一个,也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给处理器1380转换成数字图像信号。
终端设备还可以包括至少一种传感器1350,比如加速度传感器1351、距离传感器1352、指纹传感器1353、温度传感器1354。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路1360、扬声器1361、传声器1362可提供用户与终端设备之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号,传输到扬声器1361,由扬声器1361转换为声音信号输出。终端设备还可配置音量按钮,用于调节声音信号的音量。另一方面,传声器1362将收集的声音信号转换为电信号,由音频电路1360接收后转换为音频数据,再将音频数据输出至通信组件1310以发送给比如另一终端设备,或者将音频数据输出至存储器1320以便进一步处理。
蓝牙模块1370用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如,终端设备可以通过蓝牙模块1370与同样具备蓝牙模块的可穿戴事件检测设备(例如智能手表)建立蓝牙连接,从而进行数据交互。
处理器1380是终端设备的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器1320内的软件程序,以及调用存储在存储器1320内的数据,执行终端设备的各种功能和处理数据。在一些实施例中,处理器1380可包括一个或多个处理单元;处理器1380还可以集成应用处理器和基带处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器1380中。本申请中处理器1380可以运行操作系统、应用程序、用户界面显示及触控响应,以及本申请实施例的事件检测方法。另外,处理器1380与显示单元1330耦接。
基于同一发明构思,本申请实施例还提供一种存储介质,该存储介质存储有计算机程序,当该计算机程序在计算机上运行时,使得计算机执行本说明书上述描述的根据本申请各种示例性实施方式的事件检测方法中的步骤。
在一些可能的实施方式中,本申请提供的事件检测方法的各个方面还可以实现为一种计算机程序产品的形式,其包括计算机程序,当程序产品在计算机设备上运行时,计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的事件检测方法中的步骤,例如,计算机设备可以执行各实施例的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序,并可以在计算机设备上运行。然而,本申请的程序产品不限于此,在本申请件中,可读存储介质可以是任何包含或存储程序的有形介质,其包括的计算机程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序,程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种事件检测方法,其特征在于,所述方法包括:
接收目标摄像设备拍摄的目标区域内的视频流;其中,所述视频流配置有至少一个经验库以及事件检测规则,每个经验库对应一种特征属性,且存储有相应特征属性的至少一个样本图片的样本特征值;
在检测到所述视频流中包括待检测目标的目标视频帧时,对所述目标视频帧中的所述待检测目标进行特征提取,获得相应的目标特征值;
基于所述目标特征值与所述至少一个经验库各自包含的至少一个样本特征值之间的匹配度,确定所述待检测目标的属性检测结果;
基于所述属性检测结果以及所述事件检测规则,获得相应的事件检测结果,所述事件检测结果用于表征所述目标区域内是否发生目标事件。
2.如权利要求1所述的方法,其特征在于,在所述视频流中的目标视频帧包括待检测目标时,对所述待检测目标进行特征提取,获得所述待检测目标的目标特征值之前,所述方法还包括:
针对所述视频流包括的各个视频帧,分别执行如下处理:
针对一个视频帧,调用已训练的目标检测模型,对所述视频帧进行目标检测,以确定所述视频帧是否包含待检测目标;或者,
针对一个视频帧,基于所述视频帧与相邻的视频帧中的指定区域之间的差异信息,确定所述视频帧是否包含待检测目标。
3.如权利要求1所述的方法,其特征在于,基于所述目标特征值与所述至少一个经验库各自包含的至少一个样本特征值之间的匹配度,确定所述待检测目标的属性检测结果,包括:
针对所述至少一个经验库,分别执行如下操作:
针对一个经验库,分别将所述目标特征值与所述经验库中的至少一个样本特征值进行匹配,相应获得至少一个匹配度;
基于所述至少一个匹配度,确定所述待检测目标相对于所述经验库的属性检测子结果,所述属性检测子结果用于表征所述待检测目标是否具有所述经验库对应的特征属性;
基于获得的所述至少一个属性检测子结果,确定所述属性检测结果。
4.如权利要求3所述的方法,其特征在于,基于所述至少一个匹配度,确定所述待检测目标相对于所述经验库的属性检测子结果,包括:
若所述至少一个匹配度中的最大值大于设定匹配度阈值,确定所述待检测目标具有所述经验库对应的特征属性;或者,
若所述至少一个匹配度的均值大于设定匹配度阈值,确定所述待检测目标具有所述经验库对应的特征属性;或者,
基于所述至少一个样本特征值的权重以及所述至少一个匹配度,确定所述待检测目标与所述经验库之间的加权匹配度,且若所述加权匹配度大于设定匹配度阈值,确定所述待检测目标具有所述经验库对应的特征属性。
5.如权利要求1所述的方法,其特征在于,基于所述属性检测结果以及所述事件检测规则,获得相应的事件检测结果,包括:
若所述属性检测结果满足事件检测规则,确定所述目标区域内发生目标事件;其中,所述事件检测规则包括如下规则中的一个或者多个的组合:
所述属性检测结果中各个特征属性与所述目标事件的预设特征属性一致;
所述视频流中包括的各个待检测目标之间的位置关系与所述目标事件的预设位置关系一致;
所述各个待检测目标中存在关联关系的至少两个待检测目标的特征属性组合与所述目标事件的预设特征属性组合一致。
6.如权利要求1~5任一项所述的方法,其特征在于,所述方法还包括:
接收经验库配置请求,所述经验库配置请求携带待配置的经验库需添加的各个样本图片;
分别对所述各个样本图片包括的样本目标进行特征提取,获得相应的样本特征值;
将所述各个样本图片包括的样本目标以及相应的样本特征值存储至所述经验库中。
7.如权利要求1~5任一项所述的方法,其特征在于,在基于所述属性检测结果以及所述事件检测规则,获得相应的事件检测结果之后,所述方法还包括:
若所述事件检测结果表征所述目标区域内发生所述目标事件,则生成相应的告警信息;
将所述告警信息添加至消息队列中,以使得订阅所述消息队列的客户端能够接收所述告警信息。
8.如权利要求7所述的方法,其特征在于,在若所述事件检测结果表征所述目标区域内发生所述目标事件,则生成相应的告警信息之后,所述方法还包括:
将所述目标特征值与所述视频流关联的告警过滤库进行匹配,获得相应的匹配度;其中,所述告警过滤库包含告警过滤目标的样本特征值;
则将所述告警信息添加至消息队列中,以使得订阅所述消息队列的客户端能够接收所述告警信息,包括:
若所述匹配度不大于预设匹配度阈值,则将所述告警信息添加至消息队列中,以使得订阅所述消息队列的客户端能够接收所述告警信息。
9.如权利要求7所述的方法,其特征在于,在将所述告警信息添加至消息队列中,以使得订阅所述消息队列的客户端能够接收所述告警信息之后,所述方法还包括:
接收所述客户端针对所述告警信息反馈的误报指示,所述误报指示表征所述告警信息属于误报;
响应于所述误报指示,将所述待检测目标以及所述目标特征值添加至所述告警过滤库中。
10.一种事件检测装置,其特征在于,所述装置包括:
收发单元,用于接收目标摄像设备拍摄的目标区域内的视频流;其中,所述视频流配置有至少一个经验库以及事件检测规则,每个经验库对应一种特征属性,且存储有相应特征属性的至少一个样本图片的样本特征值;
特征提取单元,用于在检测到所述视频流中包括待检测目标的目标视频帧时,对所述目标视频帧中的所述待检测目标进行特征提取,获得相应的目标特征值;
属性检测单元,用于基于所述目标特征值与所述至少一个经验库各自包含的至少一个样本特征值之间的匹配度,确定所述待检测目标的属性检测结果;
事件检测单元,用于基于所述属性检测结果以及所述事件检测规则,获得相应的事件检测结果,所述事件检测结果用于表征所述目标区域内是否发生目标事件。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,
所述处理器执行所述计算机程序时实现权利要求1至9任一项所述方法的步骤。
12.一种计算机存储介质,其上存储有计算机程序,其特征在于,
该计算机程序被处理器执行时实现权利要求1至9任一项所述方法的步骤。
13.一种计算机程序产品,包括计算机程序,其特征在于,
该计算机程序被处理器执行时实现权利要求1至9任一项所述方法的步骤。
CN202310501809.1A 2023-05-05 2023-05-05 事件检测方法、装置、设备及计算机存储介质 Pending CN117095324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310501809.1A CN117095324A (zh) 2023-05-05 2023-05-05 事件检测方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310501809.1A CN117095324A (zh) 2023-05-05 2023-05-05 事件检测方法、装置、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN117095324A true CN117095324A (zh) 2023-11-21

Family

ID=88777732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310501809.1A Pending CN117095324A (zh) 2023-05-05 2023-05-05 事件检测方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN117095324A (zh)

Similar Documents

Publication Publication Date Title
EP2688296B1 (en) Video monitoring system and method
CN111556294B (zh) 安全监测方法、装置、服务器、终端及可读存储介质
TWI765304B (zh) 圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體
TWI761851B (zh) 圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體
WO2022041830A1 (zh) 行人重识别方法和装置
US20210166040A1 (en) Method and system for detecting companions, electronic device and storage medium
TW202026948A (zh) 活體檢測方法、裝置以及儲存介質
WO2021180004A1 (zh) 视频分析方法、视频分析的管理方法及相关设备
JP2016129347A (ja) コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法
CN111047824B (zh) 一种室内儿童看护联动控制预警方法及系统
CN113139471A (zh) 目标检测方法及装置、电子设备和存储介质
CN114882437A (zh) 一种识别模型的训练方法、装置、电子设备和存储介质
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
CN115103157A (zh) 基于边云协同的视频分析方法、装置、电子设备及介质
CN108197563B (zh) 用于获取信息的方法及装置
CN111984803B (zh) 多媒体资源处理方法、装置、计算机设备及存储介质
KR101964230B1 (ko) 데이터 처리 시스템
CN109218620B (zh) 基于环境亮度的拍照方法、装置、存储介质及移动终端
CN111651627A (zh) 数据处理方法及装置、电子设备和存储介质
CN117095324A (zh) 事件检测方法、装置、设备及计算机存储介质
Mukherjee et al. Energy efficient face recognition in mobile-fog environment
WO2023279716A1 (zh) 设备联动方法、装置、设备、存储介质、程序产品及计算机程序
CN112883816A (zh) 信息推送方法和装置
CN110619734A (zh) 信息推送方法和装置
CN116758165B (zh) 一种基于阵列相机的图像标定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination