CN114926973B - 一种视频监控方法、装置、系统、服务器及可读存储介质 - Google Patents
一种视频监控方法、装置、系统、服务器及可读存储介质 Download PDFInfo
- Publication number
- CN114926973B CN114926973B CN202210356368.6A CN202210356368A CN114926973B CN 114926973 B CN114926973 B CN 114926973B CN 202210356368 A CN202210356368 A CN 202210356368A CN 114926973 B CN114926973 B CN 114926973B
- Authority
- CN
- China
- Prior art keywords
- layer node
- video
- occurrence
- early warning
- prior probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Emergency Management (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于视频处理技术领域,提供了一种视频监控方法、装置、系统、服务器及可读存储介质,该方法包括:获取待处理视频,待处理视频为采集设备拍摄预设区域得到视频;确定出待处理视频中目标对象对应的目标视频;将目标视频输入至预设的预警网络结构,输出预警结果。可见,本申请可以对预设区域的目标对象进行实时监控,准确预测出预警等级,并及时推送给监控人员,不需要监控人员时刻监看视频,可以达到自动预警的效果。
Description
技术领域
本申请属于视频处理技术领域,尤其涉及一种视频监控方法、装置、系统、服务器及可读存储介质。
背景技术
随着计算机视觉的发展,智能视频监控技术得到的广泛的关注和研究,并随着安全的日益重视,也成为当前的研究热点。但是现有的视频监控技术,只能提供视频的捕获、存储和回放等简单功能,用来记录发生的事情,还需要监控人员时刻监看视频,才能起到预警的作用。
发明内容
本申请实施例提供了一种视频监控方法、装置、系统、服务器及可读存储介质,可以解决现有技术中仍需要人工监看视频,才能起到预警作用的技术问题。
第一方面,本申请实施例提供了一种视频监控方法,包括:
获取待处理视频,所述待处理视频为采集设备拍摄预设区域得到视频;
确定出所述待处理视频中目标对象对应的目标视频;
将所述目标视频输入至预设的预警网络结构,输出预警结果。
在第一方面的一种可能的实现方式中,确定出所述待处理视频中目标对象对应的目标视频,包括:
对待处理视频的每一帧图像,用多尺度的滑窗按照预定步长截取候选小图像块,形成待处理特征;
将所述待处理特征输入预先训练好的特征识别模型,输出识别结果,根据所述识别结果确定所述待处理视频中的目标视频。
在第一方面的一种可能的实现方式中,所述预警网络结构包括基础层节点、中间层节点以及事件层节点;
将所述目标视频输入至预设的预警网络结构,输出预警结果,包括:
提取所述目标视频的视频序列特征;
将所述视频序列特征作为基础层节点,计算所述基础层节点独立发生的先验概率;
获取中间层节点独立发生的先验概率;
根据所述基础层节点独立发生的先验概率计算中间层节点发生的前提下基础层节点发生的先验概率;
将所述基础层节点独立发生的先验概率、中间层节点独立发生的先验概率以及中间层节点发生的前提下基础层节点发生的先验概率输入至预警网络结构,输出基础层节点发生的前提下中间层节点发生的后验概率;
根据基础层节点发生的前提下中间层节点发生的后验概率计算事件层阶段发生的前提下中间层节点发生的先验概率;
获取事件层节点独立发生的先验概率;
将所述事件层阶段发生的前提下中间层节点发生的先验概率、中间层节点独立发生的先验概率以及事件层节点独立发生的先验概率输入至预警网络结构中,输出中间层节点发生前提下事件层节点发生的后验概率;
根据中间层节点发生前提下事件层节点发生的后验概率得到预警结果。
在第一方面的一种可能的实现方式中,所述视频序列特征包括第一视频序列特征,第一视频序列特征为目标对象对应的人数、人群面积、人群速度、人群方向以及聚集时间;
提取所述目标视频的视频序列特征,包括:
跟踪所述目标视频中每个目标对象;
从所述目标视频中每个目标对象对应的图像提取出局部特征;
统计每个局部特征对应的像素点;
将所述每个局部特征对应的像素点输入至预设的运动块匹配模块,得到所述目标视频的第一视频序列特征。
在第一方面的一种可能的实现方式中,所述视频序列特征包括第二视频序列特征,所述第二视频序列特征为所述目标对象对应的姿态动作;
提取所述目标视频的视频序列特征,包括:
分类所述目标视频中每个目标对象对应的姿态类型;
根据所述姿态类型识别出所述目标对象对应的姿态动作。
在第一方面的一种可能的实现方式中,所述姿态动作包括第一姿态动作和第二姿态动作;
根据所述姿态类型识别出所述目标对象对应的姿态动作,包括:
调用第一姿态识别模型,将所述目标视频中目标对象的姿态类型为静态姿态的图像输入至静态姿态识别模型,输出第一姿态动作;
调用第二姿态识别模型,将所述目标视频中目标对象的姿态类型为动态姿态的视频输入至动态姿态识别模型,输出第二姿态动作。
第二方面,本申请实施例提供了一种视频监控装置,包括:
获取模块,用于获取待处理视频,所述待处理视频为采集设备拍摄预设区域得到视频;
确定模块,用于确定出所述待处理视频中目标对象对应的目标视频;
预警模块,用于将所述目标视频输入至预设的预警网络结构,输出预警结果。
在一种可能实现的方式中,所述确定模块,包括:
截取子模块,用于对待处理视频的每一帧图像,用多尺度的滑窗按照预定步长截取候选小图像块, 形成待处理特征;
识别子模块,用于将所述待处理特征输入预先训练好的特征识别模型,输出识别结果,根据所述识别结果确定所述待处理视频中的目标视频。
在第二方面的一种可能实现的方式中,所述预警网络结构包括基础层节点、中间层节点以及事件层节点;
所述预警模块,包括:
提取子模块,用于提取所述目标视频的视频序列特征;
第一计算子模块,用于将所述视频序列特征作为基础层节点,计算所述基础层节点独立发生的先验概率;
第一获取子模块,用于获取中间层节点独立发生的先验概率;
第二计算子模块,用于根据所述基础层节点独立发生的先验概率计算中间层节点发生的前提下基础层节点发生的先验概率;
第一预测子模块,用于将所述基础层节点独立发生的先验概率、中间层节点独立发生的先验概率以及中间层节点发生的前提下基础层节点发生的先验概率输入至预警网络结构,输出基础层节点发生的前提下中间层节点发生的后验概率;
第三计算子模块,用于根据基础层节点发生的前提下中间层节点发生的后验概率计算事件层阶段发生的前提下中间层节点发生的先验概率;
第二获取子模块,用于获取事件层节点独立发生的先验概率;
第二预测子模块,用于将所述事件层阶段发生的前提下中间层节点发生的先验概率、中间层节点独立发生的先验概率以及事件层节点独立发生的先验概率输入至预警网络结构中,输出中间层节点发生前提下事件层节点发生的后验概率;
预警子模块,用于根据中间层节点发生前提下事件层节点发生的后验概率得到预警结果。
在第二方面的一种可能实现的方式中,所述视频序列特征包括第一视频序列特征,第一视频序列特征为目标对象对应的人数、人群面积、人群速度、人群方向以及聚集时间;
所述提取子模块,包括:
跟踪单元,用于跟踪所述目标视频中每个目标对象;
提取单元,用于从所述目标视频中每个目标对象对应的图像提取出局部特征;
统计单元,用于统计每个局部特征对应的像素点;
匹配单元,用于将所述每个局部特征对应的像素点输入至预设的运动块匹配模块,得到所述目标视频的第一视频序列特征。
在第二方面的一种可能实现的方式中,所述视频序列特征包括第二视频序列特征,所述第二视频序列特征为所述目标对象对应的姿态动作;
所述提取子模块,包括:
分类单元,用于分类所述目标视频中每个目标对象对应的姿态类型;
识别单元,用于根据所述姿态类型识别出所述目标对象对应的姿态动作。
第三方面,本申请实施例提供了一种视频监控系统,包括:
采集设备,用于拍摄预设区域的待处理视频,并发送至服务器;
与所述采集设备连接的服务器,用于获取待处理视频;确定出所述待处理视频中目标对象对应的目标视频;将所述目标视频输入至预设的预警网络结构,输出预警结果;将所述预警结果发送至终端设备;
与所述服务器连接的终端设备,用于接收所述预警结果,并显示所述预警结果至用户。
第四方面,本申请实施例提供了一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第五方面,本申请实施例提供了一种可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
本申请实施例与现有技术相比存在的有益效果是:
本申请实施例中,通过获取待处理视频,待处理视频为采集设备拍摄预设区域得到视频;确定出待处理视频中目标对象对应的目标视频;将目标视频输入至预设的预警网络结构,输出预警结果。可见,本申请实施例可以对预设区域的目标对象进行实时监控,准确预测出预警等级,并及时推送给监控人员,不需要监控人员时刻监看视频,可以达到自动预警的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频监控系统的结构示意图;
图2是本申请实施例提供的视频监控方法的流程示意图;
图3是本申请实施例提供的视频监控装置的结构框图;
图4是本申请实施例提供的服务器的结构示意图;
图5是本申请实施例提供的预警网络结构的拓扑结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
下面将通过具体实施例对本申请实施例提供的技术方案进行介绍。
参见图1,为本申请实施例提供的视频监控系统的结构示意图,该视频监控系统包括采集设备10,与采集设备连接的服务器20,以及与服务器连接的终端设备30。
采集设备,用于拍摄预设区域的待处理视频,并发送至服务器。其中,采集设备优选的是摄像头。
服务器,用于获取待处理视频;确定出待处理视频中目标对象对应的目标视频;将目标视频输入至预设的预警网络结构,输出预警结果;将预警结果发送至终端设备。其中,目标对象可以是指行人,预警结果包括低级预警事件、中级预警事件以及高级预警事件。
终端设备,用于接收所述预警结果,并显示预警结果至用户。
其中,用户可以是指监控人员。
本申请实施例中,通过服务器对采集设备采集到的目标对象对应的目标视频进行处理,输出预警结果,并发送预警结果至终端设备,以指示终端设备显示预警结果至用户。可见,本申请实施例不需要监控人员时刻监看视频,可以达到自动预警的效果。
如图2所示,为本申请实施例提供的视频监控方法的流程示意图,作为示例而非限定,该方法可以应用于上述的服务器,该方法可以包括以下步骤:
步骤S201,获取待处理视频。
其中,待处理视频为采集设备拍摄预设区域得到视频。可以理解的是,预设区域可以是一段交通路段等,待处理视频表征多个对象,例如一段交通路段上的行人,汽车等。
步骤S202,确定出待处理视频中目标对象对应的目标视频。
其中,目标对象是指行人,目标视频是指表征目标对象像素信息的视频数据。
具体应用中,确定出待处理视频中目标对象对应的目标视频,包括:
步骤S301,对待处理视频的每一帧图像,用多尺度的滑窗按照预定步长截取候选小图像块,形成待处理特征。
步骤S302,待处理特征输入预先训练好的特征识别模型,输出识别结果,根据识别结果确定待处理视频中的目标视频。
其中,预先训练好的特征识别模型可以是预先训练好的头肩/非头肩识别模型HsNet (三级CNN 级联网络)。
步骤S203,将目标视频输入至预设的预警网络结构,输出预警结果。
其中,预警结构网络结构包括基础层节点、中间层节点以及事件层节点。
示意性地,如图5所示,为预警网络结构的拓扑结构示意图,包括基础层节点、中间层节点以及事件层节点,其中,基础层节点包括人数、人群面积、人群速度、人群方向、聚集时间、第一姿态动作以及第二姿态动作,中间层节点包括人群密度、聚集强度以及异常动作,事件等级包括低级预警事件、中级预警事件以及高级预警事件。
需说明的是,本申请实施例的预警结构网络结构具体可以是贝叶斯网络结构,贝叶斯网络是一种基于概率推理的有向无环非循环网络,可根据不完全或不精确的信息进行较为准确的因果推理。其中,贝叶斯网络结构的概率预测公式是,其中,上述P(Bj|A)为在事件A发生条件下事件Bj发生的后验概率,上述P(A|Bj)为在事件Bj发生的条件下事件A发生的先验概率,上述P(Bj)为事件Bj独立发生的先验概率,P(A)为事件A独立发生的先验概率。
另外,在预先设置预警结构网络结构中,根据历史数据计算出中间层节点独立发生的先验概率、事件层节点独立发生的先验概率,基础层节点与中间层节点之间的第一转移概率,以及中间层节点与事件层节点之间的第二转移概率。上述中间层节点独立发生的先验概率以及事件层节点独立发生的先验概率是指该节点发生次数除以的总发生次数得到的概率。基础层节点与中间层节点之间的第一转移概率和中间层节点与事件层节点之间的第二转移概率是由人工进行设置权重得到的。
具体应用中,将目标视频输入至预设的预警网络结构,输出预警结果,包括:
步骤S401,提取所述目标视频的视频序列特。
示例性地,视频序列特征包括第一视频序列特征以及第二视频序列特征,第一视频序列特征为目标对象对应的人数、人群面积、人群速度、人群方向以及聚集时间,第二视频序列特征为目标对象对应的姿态动作。
在一种可选的实施方式中,提取目标视频的视频序列特征,包括:
步骤S501,跟踪目标视频中每个目标对象。
示例性地,采用帧间差分算法实现运动目标的提取,对目标视频中每个目标对象进行跟踪。
步骤S502,从目标视频中每个目标对象对应的图像提取出局部特征。
示例性地,采用边缘检测算法从目标视频中每个目标对象对应的图像提取出局部特征。
步骤S503,统计每个局部特征对应的像素点。
步骤S504,将每个局部特征对应的像素点输入至预设的运动块匹配模块,得到目标视频的第一视频序列特征。
其中,预设的运动块匹配模块可以是指BMA块匹配模型。
可以理解的是,通过对目标视频采用帧间差分实现运动目标的提取,并通过边缘提取、像素统计、运动块匹配等提取出目标视频中目标对象对应的人数、人群面积、人群速度、人群方向以及聚集时间。
在一种可选的实施方式中,提取目标视频的视频序列特征,包括:
步骤S601,分类目标视频中每个目标对象对应的姿态类型。
其中,姿态类型包括静态姿态和动态姿态。
示例性地,采用SVM二分类算法分类目标视频中每个目标对象是属于静态姿态或者动态姿态。
步骤S602,根据姿态类型识别出目标对象对应的姿态动作。
其中,姿态动作包括第一姿态动作和第二姿态动作,第一姿态动作为静态姿态对应的姿态动作,比如行人倒在路上等,第二姿态动作为动态姿态对应的姿态动作,例如横穿马路、殴打等。
根据姿态类型识别出目标对象对应的姿态动作,包括:
步骤S701,调用第一姿态识别模型,将目标视频中目标对象的姿态类型为静态姿态的图像输入至静态姿态识别模型,输出第一姿态动作。
其中,静态姿态识别模型包括第一卷积网络结构、第二卷积网络结构以及用第三卷积网络结构。
示例性地,采用轮廓特征提取方式提取姿态类型为静态姿态的图像的特征图,调用第一卷积网络结构对特征图进行高分辨率的第一卷积运算,调用第二卷积网络结构对特征图进行中分辨率的第二卷积运算,调用第三卷积网络结构对特征图进行低分辨率的第三卷积运算,将第一卷积运算后的特征图、第二卷积运算后的特征图、第三卷积运算后的特征图进行融合,得到第一姿态动作。
步骤S702,调用第二姿态识别模型,将目标视频中目标对象的姿态类型为动态姿态的视频输入至动态姿态识别模型,输出第二姿态动作。
其中,动态姿态识别模型包括目标检测网络、局部特征提取网络、全局特征提取网络、姿态分类网络。
示例性地,对姿态类型为动态姿态的视频进行预处理,得到第一视频帧;基于目标检测网络分割第一视频帧,得到第二视频帧;将第二视频帧输入至局部特征提取网络,得到局部动态特征;将所述第二视频帧输入至全局特征提取网络,得到全局动态特征;根据姿态分类网络对局部动态特征和全局动态特征进行融合,并对融合后的局部动态特征和全局动态特征进行分类,得到第二姿态动作。
优选的,调用第一姿态动作、第二姿态动作采用编辑距离或者余弦相似度等相似度算法与本地数据库存储的异常动作进行匹配,识别出第一姿态动作、第二姿态动作中的异常动作,并进行标记。
步骤S402,将视频序列特征作为基础层节点,计算所述基础层节点独立发生的先验概率。
可以理解的是,即计算预警结构网络结构中基础层节点独立发生的先验概率。具体地,根据基础层节点对应的发生次数除以总发生次数得到。
步骤S403,获取中间层节点独立发生的先验概率。
步骤S404,根据基础层节点独立发生的先验概率计算中间层节点发生的前提下基础层节点发生的先验概率。
示例性地,根据基础层节点独立发生的先验概率与第一转移概率之间的乘积得到中间层节点发生的前提下基础层节点发生的先验概率。
步骤S405,将基础层节点独立发生的先验概率、中间层节点独立发生的先验概率以及中间层节点发生的前提下基础层节点发生的先验概率输入至预警网络结构,输出基础层节点发生的前提下中间层节点发生的后验概率。
示例性地,将基础层节点独立发生的先验概率、中间层节点独立发生的先验概率以及中间层节点发生的前提下基础层节点发生的先验概率代入到上述提到的贝叶斯网络结构的概率预测公式中,得到基础层节点发生的前提下中间层节点发生的后验概率。
步骤S406,根据基础层节点发生的前提下中间层节点发生的后验概率计算事件层阶段发生的前提下中间层节点发生的先验概率。
示例性地,根据基础层节点发生的前提下中间层节点发生的后验概率与第二转移概率之间的乘积得到事件层阶段发生的前提下中间层节点发生的先验概率。
步骤S407,获取事件层节点独立发生的先验概率。
步骤S408,将事件层阶段发生的前提下中间层节点发生的先验概率、中间层节点独立发生的先验概率以及事件层节点独立发生的先验概率输入至预警网络结构中输出中间层节点发生前提下事件层节点发生的后验概率。
示例性地,将事件层阶段发生的前提下中间层节点发生的先验概率、中间层节点独立发生的先验概率以及事件层节点独立发生的先验概率代入到上述提到的贝叶斯网络结构的概率预测公式中,得到中间层节点发生前提下事件层节点的后验概率。
步骤S409,根据中间层节点发生前提下事件层节点发生的后验概率得到预警结果。
示例性地,得到事件层节点中低级预警事件、中级预警事件以及高级预警事件分别对应的后验概率,取数值最高的后验概率对应的预警事件作为预警结果。
本申请实施例中,通过对预设区域的目标对象(例如行人)进行实时监控,准确预测出预警等级,并及时推送给监控人员,不需要监控人员时刻监看视频,可以达到自动预警的效果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的方法,图3示出了本申请实施例提供的视频监控装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图3,该装置包括:
获取模块31,用于获取待处理视频,所述待处理视频为采集设备拍摄预设区域得到视频;
确定模块32,用于确定出所述待处理视频中目标对象对应的目标视频;
预警模块33,用于将所述目标视频输入至预设的预警网络结构,输出预警结果。
在一种可能实现的方式中,所述确定模块,包括:
截取子模块,用于对待处理视频的每一帧图像,用多尺度的滑窗按照预定步长截取候选小图像块, 形成待处理特征;
识别子模块,用于将所述待处理特征输入预先训练好的特征识别模型,输出识别结果,根据所述识别结果确定所述待处理视频中的目标视频。
在一种可能实现的方式中,所述预警网络结构包括基础层节点、中间层节点以及事件层节点;
所述预警模块,包括:
提取子模块,用于提取所述目标视频的视频序列特征;
第一计算子模块,用于将所述视频序列特征作为基础层节点,计算所述基础层节点独立发生的先验概率;
第一获取子模块,用于获取中间层节点独立发生的先验概率;
第二计算子模块,用于根据所述基础层节点独立发生的先验概率计算中间层节点发生的前提下基础层节点发生的先验概率;
第一预测子模块,用于将所述基础层节点独立发生的先验概率、中间层节点独立发生的先验概率以及中间层节点发生的前提下基础层节点发生的先验概率输入至预警网络结构,输出基础层节点发生的前提下中间层节点发生的后验概率;
第三计算子模块,用于根据基础层节点发生的前提下中间层节点发生的后验概率计算事件层阶段发生的前提下中间层节点发生的先验概率;
第二获取子模块,用于获取事件层节点独立发生的先验概率;
第二预测子模块,用于将所述事件层阶段发生的前提下中间层节点发生的先验概率、中间层节点独立发生的先验概率以及事件层节点独立发生的先验概率输入至预警网络结构中,输出中间层节点发生前提下事件层节点发生的后验概率;
预警子模块,用于根据中间层节点发生前提下事件层节点发生的后验概率得到预警结果。
在一种可能实现的方式中,所述视频序列特征包括第一视频序列特征,第一视频序列特征为目标对象对应的人数、人群面积、人群速度、人群方向以及聚集时间;
所述提取子模块,包括:
跟踪单元,用于跟踪所述目标视频中每个目标对象;
提取单元,用于从所述目标视频中每个目标对象对应的图像提取出局部特征;
统计单元,用于统计每个局部特征对应的像素点;
匹配单元,用于将所述每个局部特征对应的像素点输入至预设的运动块匹配模块,得到所述目标视频的第一视频序列特征。
在一种可能实现的方式中,所述视频序列特征包括第二视频序列特征,所述第二视频序列特征为所述目标对象对应的姿态动作;
所述提取子模块,包括:
分类单元,用于分类所述目标视频中每个目标对象对应的姿态类型;
识别单元,用于根据所述姿态类型识别出所述目标对象对应的姿态动作。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图4为本申请实施例提供的服务器的结构示意图。如图4所示,该实施例的服务器4包括:至少一个处理器40、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42,所述处理器40执行所述计算机程序42时实现上述任意各个方法实施例中的步骤。
所述服务器4可以是云端服务器等计算设备。该服务器可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是服务器4的举例,并不构成对服务器4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),该处理器40还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41在一些实施例中可以是所述服务器4的内部存储单元,例如服务器4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述服务器4的外部存储设备,例如所述服务器4上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述服务器4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到服务器的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (9)
1.一种视频监控方法,其特征在于,包括:
获取待处理视频,所述待处理视频为采集设备拍摄预设区域得到视频;
确定出所述待处理视频中目标对象对应的目标视频;其中,目标对象是指行人,目标视频是指表征目标对象像素信息的视频数据;
将所述目标视频输入至预设的预警网络结构,输出预警结果;
所述预警网络结构包括基础层节点、中间层节点以及事件层节点;所述基础层节点包括人数、人群面积、人群速度、人群方向、聚集时间、第一姿态动作以及第二姿态动作,中间层节点包括人群密度、聚集强度以及异常动作,事件层节点包括低级预警事件、中级预警事件以及高级预警事件;
将所述目标视频输入至预设的预警网络结构,输出预警结果,包括:
提取所述目标视频的视频序列特征;
将所述视频序列特征作为基础层节点,计算所述基础层节点独立发生的先验概率;
获取中间层节点独立发生的先验概率;
根据所述基础层节点独立发生的先验概率计算中间层节点发生的前提下基础层节点发生的先验概率;
将所述基础层节点独立发生的先验概率、中间层节点独立发生的先验概率以及中间层节点发生的前提下基础层节点发生的先验概率输入至预警网络结构,输出基础层节点发生的前提下中间层节点发生的后验概率;
根据基础层节点发生的前提下中间层节点发生的后验概率计算事件层阶段发生的前提下中间层节点发生的先验概率;
获取事件层节点独立发生的先验概率;
将所述事件层阶段发生的前提下中间层节点发生的先验概率、中间层节点独立发生的先验概率以及事件层节点独立发生的先验概率输入至预警网络结构中,输出中间层节点发生前提下事件层节点发生的后验概率;
根据中间层节点发生前提下事件层节点发生的后验概率得到预警结果。
2.如权利要求1所述的视频监控方法,其特征在于,确定出所述待处理视频中目标对象对应的目标视频,包括:
对待处理视频的每一帧图像,用多尺度的滑窗按照预定步长截取候选小图像块,形成待处理特征;
将所述待处理特征输入预先训练好的特征识别模型,输出识别结果,根据所述识别结果确定所述待处理视频中的目标视频。
3.如权利要求1所述的视频监控方法,其特征在于,所述视频序列特征包括第一视频序列特征,第一视频序列特征为目标对象对应的人数、人群面积、人群速度、人群方向以及聚集时间;
提取所述目标视频的视频序列特征,包括:
跟踪所述目标视频中每个目标对象;
从所述目标视频中每个目标对象对应的图像提取出局部特征;
统计每个局部特征对应的像素点;
将所述每个局部特征对应的像素点输入至预设的运动块匹配模块,得到所述目标视频的第一视频序列特征。
4.如权利要求1所述的视频监控方法,其特征在于,所述视频序列特征包括第二视频序列特征,所述第二视频序列特征为所述目标对象对应的姿态动作;
提取所述目标视频的视频序列特征,包括:
分类所述目标视频中每个目标对象对应的姿态类型;
根据所述姿态类型识别出所述目标对象对应的姿态动作。
5.如权利要求4所述的视频监控方法,其特征在于,所述姿态动作包括第一姿态动作和第二姿态动作;
根据所述姿态类型识别出所述目标对象对应的姿态动作,包括:
调用第一姿态识别模型,将所述目标视频中目标对象的姿态类型为静态姿态的图像输入至静态姿态识别模型,输出第一姿态动作;
调用第二姿态识别模型,将所述目标视频中目标对象的姿态类型为动态姿态的视频输入至动态姿态识别模型,输出第二姿态动作。
6.一种视频监控装置,其特征在于,包括:
获取模块,用于获取待处理视频,所述待处理视频为采集设备拍摄预设区域得到视频;
确定模块,用于确定出所述待处理视频中目标对象对应的目标视频;
其中,目标对象是指行人,目标视频是指表征目标对象像素信息的视频数据;
预警模块,用于将所述目标视频输入至预设的预警网络结构,输出预警结果;
所述预警网络结构包括基础层节点、中间层节点以及事件层节点;所述基础层节点包括人数、人群面积、人群速度、人群方向、聚集时间、第一姿态动作以及第二姿态动作,中间层节点包括人群密度、聚集强度以及异常动作,事件层节点包括低级预警事件、中级预警事件以及高级预警事件;
所述预警模块,包括:
提取子模块,用于提取所述目标视频的视频序列特征;
第一计算子模块,用于将所述视频序列特征作为基础层节点,计算所述基础层节点独立发生的先验概率;
第一获取子模块,用于获取中间层节点独立发生的先验概率;
第二计算子模块,用于根据所述基础层节点独立发生的先验概率计算中间层节点发生的前提下基础层节点发生的先验概率;
第一预测子模块,用于将所述基础层节点独立发生的先验概率、中间层节点独立发生的先验概率以及中间层节点发生的前提下基础层节点发生的先验概率输入至预警网络结构,输出基础层节点发生的前提下中间层节点发生的后验概率;
第三计算子模块,用于根据基础层节点发生的前提下中间层节点发生的后验概率计算事件层阶段发生的前提下中间层节点发生的先验概率;
第二获取子模块,用于获取事件层节点独立发生的先验概率;
第二预测子模块,用于将所述事件层阶段发生的前提下中间层节点发生的先验概率、中间层节点独立发生的先验概率以及事件层节点独立发生的先验概率输入至预警网络结构中,输出中间层节点发生前提下事件层节点发生的后验概率;
预警子模块,用于根据中间层节点发生前提下事件层节点发生的后验概率得到预警结果。
7.一种视频监控系统,其特征在于,包括:
采集设备,用于拍摄预设区域的待处理视频,并发送至服务器;
与所述采集设备连接的服务器,用于获取待处理视频;确定出所述待处理视频中目标对象对应的目标视频,其中,目标对象是指行人,目标视频是指表征目标对象像素信息的视频数据;将所述目标视频输入至预设的预警网络结构,输出预警结果,所述预警网络结构包括基础层节点、中间层节点以及事件层节点;所述基础层节点包括人数、人群面积、人群速度、人群方向、聚集时间、第一姿态动作以及第二姿态动作,中间层节点包括人群密度、聚集强度以及异常动作,事件层节点包括低级预警事件、中级预警事件以及高级预警事件;将所述目标视频输入至预设的预警网络结构,输出预警结果,包括:提取所述目标视频的视频序列特征;将所述视频序列特征作为基础层节点,计算所述基础层节点独立发生的先验概率;获取中间层节点独立发生的先验概率;根据所述基础层节点独立发生的先验概率计算中间层节点发生的前提下基础层节点发生的先验概率;将所述基础层节点独立发生的先验概率、中间层节点独立发生的先验概率以及中间层节点发生的前提下基础层节点发生的先验概率输入至预警网络结构,输出基础层节点发生的前提下中间层节点发生的后验概率;根据基础层节点发生的前提下中间层节点发生的后验概率计算事件层阶段发生的前提下中间层节点发生的先验概率;获取事件层节点独立发生的先验概率;将所述事件层阶段发生的前提下中间层节点发生的先验概率、中间层节点独立发生的先验概率以及事件层节点独立发生的先验概率输入至预警网络结构中,输出中间层节点发生前提下事件层节点发生的后验概率;根据中间层节点发生前提下事件层节点发生的后验概率得到预警结果;将所述预警结果发送至终端设备;与所述服务器连接的终端设备,用于接收所述预警结果,并显示所述预警结果至用户。
8.一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
9.一种可读存储介质,所述可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210356368.6A CN114926973B (zh) | 2022-04-06 | 2022-04-06 | 一种视频监控方法、装置、系统、服务器及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210356368.6A CN114926973B (zh) | 2022-04-06 | 2022-04-06 | 一种视频监控方法、装置、系统、服务器及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114926973A CN114926973A (zh) | 2022-08-19 |
CN114926973B true CN114926973B (zh) | 2023-07-14 |
Family
ID=82805525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210356368.6A Active CN114926973B (zh) | 2022-04-06 | 2022-04-06 | 一种视频监控方法、装置、系统、服务器及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114926973B (zh) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764370B (zh) * | 2018-06-08 | 2021-03-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN109101888B (zh) * | 2018-07-11 | 2022-06-14 | 南京农业大学 | 一种游客人流量监控预警方法 |
CN111127837A (zh) * | 2018-10-31 | 2020-05-08 | 杭州海康威视数字技术股份有限公司 | 一种报警方法、摄像机及报警系统 |
CN110795595B (zh) * | 2019-09-10 | 2024-03-05 | 安徽南瑞继远电网技术有限公司 | 基于边缘计算的视频结构化存储方法、装置、设备及介质 |
CN111832400B (zh) * | 2020-06-04 | 2022-12-06 | 北京航空航天大学 | 一种基于概率神经网络的口罩佩戴情况的监测系统及方法 |
CN114202711A (zh) * | 2020-08-28 | 2022-03-18 | 中车株洲电力机车研究所有限公司 | 一种列车车厢内异常行为智能监测方法、装置及监控系统 |
CN112488042B (zh) * | 2020-12-15 | 2022-11-18 | 东南大学 | 一种基于视频分析的行人通行瓶颈判别方法及系统 |
CN112907867B (zh) * | 2021-01-22 | 2022-10-25 | 深圳英飞拓科技股份有限公司 | 一种基于图像识别的预警方法、装置及服务器 |
CN113052039B (zh) * | 2021-03-16 | 2022-12-02 | 北京邮电大学 | 一种交通路网行人密度检测的方法、系统及服务器 |
CN113221856B (zh) * | 2021-06-11 | 2022-12-27 | 石家庄铁道大学 | 人群拥挤危险度检测方法、装置及设备 |
CN113920585A (zh) * | 2021-10-22 | 2022-01-11 | 上海商汤智能科技有限公司 | 行为识别方法及装置、设备和存储介质 |
-
2022
- 2022-04-06 CN CN202210356368.6A patent/CN114926973B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114926973A (zh) | 2022-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10853943B2 (en) | Counting objects in images based on approximate locations | |
CN109740004B (zh) | 一种归档方法及装置 | |
CN105631418A (zh) | 一种人数统计的方法和装置 | |
CN112989962A (zh) | 轨迹生成方法、装置、电子设备及存储介质 | |
CN111079621A (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
US11250269B2 (en) | Recognition method and apparatus for false detection of an abandoned object and image processing device | |
CN111400550A (zh) | 一种目标运动轨迹构建方法、设备以及计算机存储介质 | |
CN115761655A (zh) | 一种目标跟踪方法及装置 | |
Anisha et al. | Automated vehicle to vehicle conflict analysis at signalized intersections by camera and LiDAR sensor fusion | |
Azimjonov et al. | Vision-based vehicle tracking on highway traffic using bounding-box features to extract statistical information | |
Desai et al. | Smart road surveillance using image processing | |
CN114926973B (zh) | 一种视频监控方法、装置、系统、服务器及可读存储介质 | |
CN112418118A (zh) | 一种无监督桥下行人入侵检测方法及装置 | |
CN112562315A (zh) | 一种获取车流信息的方法、终端及存储介质 | |
CN116311166A (zh) | 交通障碍物识别方法、装置及电子设备 | |
CA3012927A1 (en) | Counting objects in images based on approximate locations | |
EP4332910A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
CN112950961B (zh) | 车流量统计方法、装置、设备和存储介质 | |
CN116246298A (zh) | 一种空间占用人数统计方法、终端设备及存储介质 | |
JP2020101908A (ja) | 交通状況予測装置、および交通状況予測方法 | |
CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
CN112597924A (zh) | 电动自行车轨迹追踪方法、摄像机装置和服务器 | |
Kavitha et al. | A robust multiple moving vehicle tracking for intelligent transportation system | |
El-Khoreby et al. | Vehicle detection and counting using adaptive background model based on approximate median filter and triangulation threshold techniques | |
CN112906725A (zh) | 统计人流特征的方法、装置及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |