CN108920995A - 智能安防视频监控方法及其系统及监控终端 - Google Patents

智能安防视频监控方法及其系统及监控终端 Download PDF

Info

Publication number
CN108920995A
CN108920995A CN201810305794.0A CN201810305794A CN108920995A CN 108920995 A CN108920995 A CN 108920995A CN 201810305794 A CN201810305794 A CN 201810305794A CN 108920995 A CN108920995 A CN 108920995A
Authority
CN
China
Prior art keywords
image
target
cloud server
security guard
video monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810305794.0A
Other languages
English (en)
Inventor
杨建中
谢帅林
宋仕杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810305794.0A priority Critical patent/CN108920995A/zh
Publication of CN108920995A publication Critical patent/CN108920995A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Abstract

本申请涉及智能监控领域,公开了一种智能安防视频监控方法及其系统及监控终端。能够在不降低目标识别准确率的前提下大大降低监控图像上传的流量和云端服务器的计算量。本发明中,监控终端对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向云端服务器上传包含目标特征的图像;云端服务器对监控终端上传的经过滤之后的图像进行目标的识别。

Description

智能安防视频监控方法及其系统及监控终端
技术领域
本申请涉及监控技术领域,尤其涉及智能监控技术领域。
背景技术
近年来,随着安防需求的不断提高,机场、地铁、车站和银行等公共场所都装有大量的监控摄像设备,这些摄像设备构成了及其强大的信息采集网络,但以往这一采集网络上的边缘监控摄像设备的作用多仅限于拍摄和储存监视视频,往往只在非正常事件发生后再由相关负责人员对录像进行查看,同时消耗大量人力和时间。
随着智能视频监控技术的出现,这种状况得到改变。
具体地,智能视频监控技术生成的系统收集由边缘监控摄像设备上传的视频信息,并运行基于大数据的集中式视频信息分析软件,对视频进行分析处理。
因此,这种技术能够在非正常事件后快速发出警告并采取应对措施,大大提高了实时性,降低对人工的依赖,更大限度的降低误报和漏报现象,从而可广泛应用在交通管理、国防安全、无人工厂机床状态监控等安防场景:如排查公路事故车辆,确定事故责任;监控军事基地及国防边境,保障国防安全。
然而,另一方面,随着接入采集网络的摄像监控设备的数量迅速增加,单个摄像监控设备采集效率的提高,使得该类设备所产生的数据已达到泽字节(ZB)级别,导致产生了新的技术难题。
例如,从采集网络边缘摄像监控设备传输海量数据到云中心导致传输带宽的负载量急剧增加,造成较长的网络延迟。又例如,携带有限电能的边缘摄像监控设备传输海量数据到云中心的过程中消耗较大电能。还有,线性增长的集中式云计算能力无法匹配爆炸式增长的海量边缘数据,等等。
发明内容
本申请的目的在于提供一种智能安防视频监控方法及其系统及监控终端,能够在不降低目标识别准确率的前提下,大大降低监控图像上传的流量和网络延迟,减少电能消耗,大大减少云端服务器的计算量,
为了解决上述问题,本申请公开了一种智能安防视频监控方法,包括,
监控终端对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向云端服务器上传包含该目标特征的图像;以及,
该云端服务器对该监控终端上传的经过该过滤的图像进行目标的识别。
在一优选例中,该目标特征是HOG特征。
在一优选例中,该目标特征是对该目标的HOG和LBP的联合特征进行主成分分析降维后得到的特征。
在一优选例中,该目标特征是车辆的通用特征,该目标是特定的车牌号。
在一优选例中,该目标特征是车牌的通用特征,该目标是特定的车牌号。
在一优选例中,该目标特征是包含人脸的行人的通用特征,该目标是特定的人脸。
在一优选例中,该云端服务器对该监控终端上传的经过该过滤的图像进行该目标的识别的步骤进一步包括:
该云端服务器对该监控终端上传的经过该过滤的图像进行预处理,生成有标签的训练数据;
根据预处理生成的有标签的训练数据对已有的卷积神经网络模型进行进一步的训练,以提高该模型的识别准确率。
在一优选例中,该预处理包括以下之一或其任意组合:
图像剪裁,图像归一化。
在一优选例中,在该监控终端对拍摄到的图像进行基于图像识别分析的过滤的步骤之前,还包括:
客户端向该云端服务器发送目标信息;
该云端服务器根据该目标信息生成该目标特征;
该云端服务器将该目标特征发送给该监控终端。
在一优选例中,该目标特征是预先设置在该监控终端中的。
在一优选例中,该监控终端对拍摄到的图像进行基于图像识别分析的过滤的步骤中,被过滤的图像是摄像头拍摄的实时视频图像。
在一优选例中,该监控终端对拍摄到的图像进行基于图像识别分析的过滤的步骤中,被过滤的图像是存储在该监控终端中的图像。
在一优选例中,该云端服务器对该监控终端上传的经过该过滤的图像进行该目标的识别的步骤之后,还包括:
如果识别到该目标,该云端服务器将识别到该目标的图像的拍摄时间和拍摄位置发送给客户端。
本申请还公开了一种智能安防视频监控系统,该包括监控终端,云端服务器;
该监控终端用于对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向该云端服务器上传包含目标特征的图像;
该云端服务器用于对该监控终端上传的经过该过滤的图像进行目标的识别。
在一优选例中,还包括客户端,用于与该云端服务器交互,向该云端服务器发送目标信息,供该云端服务器生成该目标信息并发送给该监控终端。
在一优选例中,该监控终端包括相互电连接的摄像设备和处理设备;
该摄像设备用于拍摄视频;
该处理设备用于对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向该云端服务器上传包含目标特征的图像。
在一优选例中,该摄像设备包括枪型摄像机,或半球摄像机,或摄像头。
在一优选例中,该目标特征是对该目标的HOG和LBP的联合特征进行主成分分析降维后得到的特征。
在一优选例中,该云端服务器还包括机器自学习模块,用于对该监控终端上传的经过该过滤的图像进行预处理,并根据预处理生成的有标签的训练数据对已有的卷积神经网络模型进行进一步的训练。
在一优选例中,该目标特征是HOG特征。
在一优选例中,该目标特征是预先设置在该监控终端中的。
在一优选例中,该目标特征是车辆的通用特征,该目标是特定的车牌号。
在一优选例中,该目标特征是车牌的通用特征,该目标是特定的车牌号。
在一优选例中,该目标特征是包含人脸的行人的通用特征,该目标是特定的人脸。
本申请还公开了一种监控终端,包括:
存储器,用于存储计算机可执行指令;以及,
处理器,用于在执行该计算机可执行指令时实现以下步骤:
对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向云端服务器上传包含目标特征的图像,以供该云端服务器进行目标的识别。
本申请还公开了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现如上述智能安防视频监控方法的步骤。
本申请实施方式与现有技术相比,由于监控终端一侧将不包含目标特征的图像过滤掉,大大减少上传到云端服务器的视频图像,一方面大大减少了上传所需的通信带宽,另一方面大大减少了云端服务器的计算量,同时并没有降低目标识别的准确率。
本申请的说明书中记载了大量的技术特征,分布在各个技术方案中,如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话,会使得说明书过于冗长。为了避免这个问题,本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征,都可以自由地互相组合,从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载),除非这种技术特征的组合在技术上是不可行的。例如,在一个例子中公开了特征A+B+C,在另一个例子中公开了特征A+B+D+E,而特征C和D是起到相同作用的等同技术手段,技术上只要择一使用即可,不可能同时采用,特征E技术上可以与特征C相组合,则,A+B+C+D的方案因技术不可行而应当不被视为已经记载,而A+B+C+E的方案应当视为已经被记载。
附图说明
图1是本发明第一实施方式中一种智能安防视频监控方法的流程示意图;
图2是本发明的第一实施方式中一种智能安防视频监控方法的具体步骤示意图;
图3是本发明的第一实施方式中一种智能安防视频监控方法的具体步骤示意图;
图4是本发明第二实施方式中一种智能安防视频监控系统的结构示意图;
图5是本发明第二实施方式中一种智能安防视频监控系统的另一种结构示意图;
图6是本发明第二实施方式中一种智能安防视频监控系统的一个具体实现方式的硬件结构示意图;
图7是本发明第二实施方式中一种智能安防视频监控系统的一个具体实现方式的结构示意图;
图8是本发明第三实施方式中一种监控终端的结构示意图。
在各附图中,
401:监控终端
402:云端服务器
403:客户端
601:嵌入式主板
602:硬盘
603:防水外壳
604:电源模块
605:网络接口
606:底盘
801:存储器
802:处理器
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
术语解释:
目标:监控的对象。
目标特征:是目标的图像特征。可以是HOG特征。或者是对所述目标的HOG和LBP的联合特征进行主成分分析降维后得到的特征。是包含人脸的行人的通用特征。
通用特征:指一类物体普遍满足的特征。
目标信息:是用于描述目标的信息,可以是文字或数字,例如,车牌号,也可以是图片,例如,照片,等等。
HOG特征提取:方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子,本质上是通过计算和统计图像局部区域的梯度方向直方图来构成特征。
LBP:局部二值模式(Local binary patterns,LBP)是机器视觉领域中用于描述图像局部纹理特征的算子,当图像发生光照变化时,提取的特征仍然能够不发生大的改变的优良特性。
主成分分析(principal components analysis,PCA)是一种简化数据集的技术,其本质是通过对原来的样本空间进行空间变换,使原来的坐标投影到一个新的维度较低的并且相互正交的空间上。
LBP特征提取与HOG-PCA特征融合,HOG特征向量维度很高,存在大量的冗余信息,这些信息降低了识别的精度,也减缓的分类的速度。所以降维显的非常重要,采用PCA(主成分分析)对特征向量进行降维。当背景覆盖这凌乱的噪声边缘时,HOG处理效果很差,而LBP却可以处理,它可以过滤出噪声,结合了边缘/局部形状信息还有纹理信息,能够很好的捕捉到人的外表(目标特征),所以将HOG特征和LBP特征联合起来共同表征行人,既可以获取行人的梯度信息,又可以获取行人(目标)的纹理信息,提高在复杂背景的行人检测率。进而能不含有目标特征的图片筛选出去进而达到预处理的功能。
本发明人经过广泛而深入的研究后发现,现有技术的方案是把所有采集到的视频图像上传到云端,在云端进行对象识别。这样做的问题在于,把所有的图像都上传需要比较宽的带宽,而且在云端对所有的图像进行识别,计算量也非常大。本申请实施方式中,充分利用监控终端这一侧的计算能力,在监控终端一侧进行特征的识别和过滤,不上传不包含目标特征的图像。这样做的好处是可以大大减少上传所需的带宽,相应地,云端服务器只需要对监控终端实际上传的图像进行对象识别,因为数据量被大大减少了,所以计算量也相应的大大减少。
其中,在摄像设备一侧和在云端服务器所使用的检测方法是不同的,摄像设备一侧设置的图像特征信息可以是相对粗略(相对于云端服务器的目标识别而言)的,从而使得摄像设备一侧能够以比较少的计算量,把所有可能包含监控对象的图像全部找出来,但有可能其中部分图像中没有包含监控对象。
具体地,在一个实施例中,可以引入基于HOG特征提取的视频过滤算法,对车辆和行人等主要目标进行画面识别分析,过滤掉多余视频中无目标特征的冗余图片,但计算会比较复杂。
具体地,在另一个实施例中,可以同时对HOG+LBP联合特征进行PCA(主成分分析降维)。
通过该可能的实施方式,能够提高过滤速度,精简数据,减少上传至云端服务器的数据量,减少云端服务器的负担,保证识别的实时性。
具体地,在一个实施例中,通过根据经过滤的图像,对已有的卷积神经网络模型进行进一步的训练。
通过该可能的实施方式,可以提高模型的识别准确率,能够更好的适应具体场景下的目标识别。举例来说,原先的识别是针对白天情况下的车牌,但是监控终端上传的经过滤的图像是在夜晚场景下的,之后情况下,就需要对原来的神经网络模型使用新上传的数据进行进一步的训练,以便能够在夜晚的场景下也有比较好的识别准确率。
具体地,在一个实施例中,云端服务器可以根据来自客户端的目标信息(例如照片、车牌号等)生成特定的目标特征,发送到客户端进行过滤。通过该实施方式,能够提高对特定目标的过滤效果,进一步的降低通信带宽的需要,和云端服务器的计算量。
在一个实施例中,监控终端具有视频图像存储的功能,可以缓存最近的视频图像,视频太多时可以循环覆盖。
通过该可能的实施方式,采用本发明实施方式的方案,可以根据缺省的目标特征(例如车辆和行人的目标特征)把重要的图像及时上传。
举例来说,可以把包含车辆或行人的图像上传,如果有特定的需求,例如寻找一条丢失的狗,可以再把该特定需求的目标特征(例如狗的目标特征)设置到监控终端,对监控终端中缓存的视频图像进行过滤,上传有价值的图像,供云端服务器进行进一步的分析。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种智能安防视频监控方法。图1是该智能安防视频监控方法的流程示意图。该智能安防视频监控方法包括,
步骤101中,监控终端对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向云端服务器上传包含目标特征的图像。
目标可以是车牌、特定的人,特定的动物(如走失的宠物)等
目标特征可以是多种多样的。
可选地,目标特征是目标所属类别的通用特征。举例来说,目标是车牌,目标特征是车辆的通用特征,或者,目标是特定的人,目标特征是行人的通用特征,等等。
可选地,目标特征是目标特有的特征。举例来说,特定车牌的图像特征,特定人脸的图像特征,等等。
步骤102中,云端服务器对监控终端上传的经过滤之后的图像进行目标的识别。目标的识别就是识别图像中是否包含特定目标,或者说把包含特定目标的图像找出来。
在这种情况下,监控终端一侧将不包含目标特征的图像过滤掉了,上传到云端服务器的视频图像大大地减少。因此,这种做法的好处在于,一方面大大减少了上传所需的通信带宽,另一方面大大减少了云端服务器的计算量,同时并没有降低目标识别的准确率。
具体地,目标特征可以有多种提取方法。
可选地,目标特征是HOG特征。
可选地,目标特征是对目标的HOG和LBP的联合特征进行主成分分析降维后得到的特征。
可以理解,在本发明的实施方式中,还可以使用其他类型的目标特征,只要能够起到目标检测的效果即可。
注意,对于不同的目标,可以有不同的目标特征的取法。
可选地,目标是特定的车牌号,目标特征是车辆的通用特征。车辆的通用特征是指所有的车辆所共有的图像特征。
可选地,目标是特定的车牌号,目标特征是车牌的通用特征。车牌的通用特征是指所有的车牌所共有的图像特征。
可选地,目标是特定的人脸,目标特征是包含人脸的行人的通用特征。
另外,可选地,在本发明另一个实施例中,上述步骤102进一步包括:步骤1021:云端服务器对监控终端上传的经过滤之后的图像进行预处理(图像剪裁,图像归一化等)。
基于上述实施方式,可以进一步包括步骤1022:根据预处理生成的有标签的训练数据对已有的卷积神经网络模型进行进一步的训练,以提高该模型的识别准确率。
具体地,目标特征的设置方法是多种多样的。
可选地,目标特征是预先设置在监控终端中的。例如车辆的通用特征,行人的通用特征等。
可选地,目标特征是根据客户端的目标信息定制的。例如根据客户提供的照片生成的图像特征。
基于上述实施方式,在步骤101之前,还可以包括:步骤1001:客户端向云端服务器发送目标信息;步骤1002:云端服务器根据目标信息生成目标特征;步骤1003:云端服务器将目标特征发送给监控终端。
具体地,监控终端中被过滤的图像来源可以是多种多样的。
可选地,被过滤的图像是摄像头拍摄的实时视频图像。
可选地,被过滤的图像是存储在监控终端中的图像。
另外,可选地,在步骤102之后还可以包括步骤:如果识别到目标,云端服务器将识别到目标的图像的拍摄时间和拍摄位置发送给客户端。
本发明实施方式的优点在于,首先,通过对基于现有的边缘摄像监控设备的改进,减少了构建智能监控系统的成本。其次,更加充分地利用了边缘设备的处理能力,对视频信息进行过滤,减少了数据的上传量,缩减因带宽有限而造成的网络延迟,保证了时效性,节约了因冗余上传而造成的能耗。并且,相对于市场上流通的智能监控系统所常用的场景匹配、特征提取的云端计算方式,本发明实施方式中的机器自学习建模的方式更加高效、准确的完成目标的识别,进一步提高监控系统的时效性。
本发明第二实施方式涉及一种智能安防视频监控系统。图4是该智能安防视频监控系统的结构示意图。该智能安防视频监控系统包括监控终端401,云端服务器402。
其中,监控终端401用于对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向云端服务器402上传包含目标特征的图像。
并且,云端服务器402用于对监控终端401上传的经过滤之后的图像进行目标的识别。
可选的,如图5所示,在本发明的一个实施例中,还可以包含客户端403,用于与云端服务器402交互,向云端服务器402发送目标信息,供云端服务器402生成目标信息并发送给监控终端401。
具体地,监控终端401的形式可以是多种多样的。
可选地,监控终端401是一体式的,视频拍摄和处理都使用同一个处理系统。
可选地,监控终端401是分离式的,包括相互电连接的摄像设备和处理设备。
基于上述可选的实施方式,摄像设备用于拍摄视频。处理设备用于对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向云端服务器402上传包含目标特征的图像。
进一步的,摄像设备包括枪型摄像机,或半球摄像机,或摄像头等等。
具体地,云端服务器402还包括机器自学习模块,用于对监控终端401上传的经过滤之后的图像进行预处理,并根据预处理生成的有标签的训练数据对已有的卷积神经网络模型进行进一步的训练。
具体地,目标特征可以有多种提取方法。
可选地,目标特征是HOG特征。
可选地,目标特征是对目标的HOG和LBP的联合特征进行主成分分析降维后得到的特征。
另外,可以理解,在本发明的实施方式中,也可以使用其他类型的目标特征,只要能够起到目标检测的效果即可。
上述实施方式可以通过多种方式来实现,下面通过其中一个实现方式,对上述实施方式做进一步说明。
图6是本发明第二实施方式中一种智能安防视频监控系统的一个具体实现方式的硬件结构示意图。图7是本发明第二实施方式中一种智能安防视频监控系统的一个具体实现方式的结构示意图。
如图6、图7所示,在该智能安防视频监控系统的实现方式中,包括云端服务器402、客户端403,和监控终端401。云端服务器402中包含有机器自学习模块。监控终端401中包含监控摄像设备、嵌入式主板601、硬盘602、电源模块604、网络接口605等,其中,嵌入式主板601中包含智能过滤模块。其中,安装在各处的摄像监控设备分别连接到与之配套的终端处理设备。
具体的,如图6所示,监控终端401是由防水外壳603和底盘606组成的封闭空间,内部设置嵌入式主板601、硬盘602、电源模块604、网络接口605。
其中,硬盘602、电源模块604、网络接口606均与嵌入式系统主板601连接构成嵌入式主机。
具体的,嵌入式主板601中的智能过滤模块用于引入基于HOG特征提取的视频过滤算法,对车辆和行人等主要目标进行画面识别分析,过滤掉多余视频中无目标特征的冗余图片。
进一步的,嵌入式主板601的网络接口605接上光纤与云端服务器402构成通讯硬件,嵌入式主机上运行嵌入式程序,驱动与其相连的模块,实现视频的本地存取与云端服务器402的数据库的通讯,并运行智能过滤模块,对摄像监控设备拍摄的视频信息过滤与预处理,并将处理后信息其上传至云端服务器402,完成整个边缘计算过程。
并且,电源模块603包含交流转直流转换器与直流蓄电池,供电系统正常是采用电网中交流电供电,供电系统异常时蓄电池工作提供较长时间的有效供电,提高整个系统的抗干扰。
并且,监控摄像设备获取视频后,以网络视频流RTP/H264的方式输出,嵌入式主办601通过RTSP获取视频流,运行基于HOG特征提取方法的智能过滤模块,智能过滤模块通过分析视频画面内容,提取图像特征,去除多余信息,并将处理后信息上传至云端服务器402。
并且,云端服务器402将从监控终端401将过滤后的数据传入云端服务器402上运行的机器自学习模块中进行训练,建立具有准确的模型,并实现与客户端的信息流之间的通讯。
其中,运行在PC电脑上的可进行人机交互的客户端软件,客户在操作界面上可输入目标:如车牌号,人脸照片,客户端将信息上传至云服务根据服务器模型进行分析匹配,设别行人和车辆等主要目标,云端服务器402将信息反馈到客户端403,客户根据客户端403反馈的具体信息开启相应动作,最终实现监控系统的智能化。
如上所述,智能过滤模块用于在嵌入式主板601中引入基于HOG特征提取的视频过滤算法,对车辆和行人等主要目标进行画面识别分析,过滤掉多余视频中无目标特征的冗余图片。
本领域技术人员可以理解,由于计算比较复杂,可以同时对HOG+LBP联合特征进行PCA(主成分分析降维),这样做的好处,是提高过滤速度,精简数据,减少上传至云端服务器402的数据量,保证实时性。
并且,机器自学习模块用于在云端服务器402中引入CNN(卷积神经网络)深度学习算法对主要物体进行分类识别。
具体的,首先,对原始输入图像数据进行预处理操作,包括图像剪裁、图像归一化等,生成深度卷积神经网络的输入。其次,在云端服务器402上利用预处理生成的有标签的训练数据对卷积神经网络模型进行训练。
这样做的好处是,通过数据增强、fine-tuning在大数据集上预训练好的模型等技巧,提高模型的识别准确率。同时,在测试阶段,利用服务器高性能计算能力实现实时性地检测要求。
由此,本发明实施方式实现了视频实时的简历与智能报警,为实时监控提供了非常好的技术支持,保证了安防监控的准确性,且利于远程监控的集中化信息化管理。
本发明实施方式以及具体实施例的优点在于,首先,通过对基于现有的边缘摄像监控设备的改进,减少了构建智能监控系统的成本。其次,更加充分地利用了边缘设备的处理能力,对视频信息进行过滤,减少了数据的上传量,缩减因带宽有限而造成的网络延迟,保证了时效性,节约了因冗余上传而造成的能耗。并且,相对于市场上流通的智能监控系统所常用的场景匹配、特征提取的云端计算方式,本发明实施方式中的机器自学习建模的方式更加高效、准确的完成目标的识别,进一步提高监控系统的时效性。
具体的,通过智能过滤模块的过滤,精简了上传到云端的数据,加快了“机器自学习模块”的训练与识别速度,智能过滤模块所针对的过滤特征是根据“机器自学习模块”的需求来的。
进一步的,机器自学习模块在服务器中引入CNN(卷积神经网络)等深度学习算法对主要物体及场景进行分类识别。相比于传统的机器学习算法,深度卷积神经网络对于图像数据,特别是海量的图像数据有着更强的特征提取和分类能力。智能过滤模块上传的图像数据形成了机器自学习模型的原始输入数据,即自学习模型(CNN)以经过剪裁、归一化等预处理后的图像作为输入,直接输出各分类目标的类别概率。首先,在服务器上利用预处理生成的有标签的训练数据对卷积神经网络模型进行预训练。其次,通过数据增强、迁移学习等技巧,提高模型的识别精度。同时,在测试阶段,利用服务器高性能计算能力实现实时性地检测要求。
第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
需要说明的是,本发明各设备实施方式中提到的各模块都是逻辑模块,在物理上,一个逻辑模块可以是一个物理模块,也可以是一个物理模块的一部分,还可以以多个物理模块的组合实现,这些逻辑模块本身的物理实现方式并不是最重要的,这些逻辑模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块引入,这并不表明上述设备实施方式并不存在其它的模块。
本发明第三实施方式涉及一种监控终端。如图8所示,该监控终端401包括存储器801和处理器802。
其中,存储器801用于存储计算机可执行指令。
并且,处理器802用于在执行计算机可执行指令时实现以下步骤:
对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向云端服务器402上传包含目标特征的图像,以供云端服务器402进行目标的识别。
需要说明的是,本实施方式可以与上述第一实施方式及第二实施方式互相配合实施。第一实施方式和第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式和第二实施方式中。
本发明实施方式以及具体实施例的优点在于,首先,通过对基于现有的边缘摄像监控设备的改进,减少了构建智能监控系统的成本。其次,更加充分地利用了边缘设备的处理能力,对视频信息进行过滤,减少了数据的上传量,缩减因带宽有限而造成的网络延迟,保证了时效性,节约了因冗余上传而造成的能耗。并且,相对于市场上流通的智能监控系统所常用的场景匹配、特征提取的云端计算方式,本发明实施方式中的机器自学习建模的方式更加高效、准确的完成目标的识别,进一步提高监控系统的时效性。
相应地,本发明实施方式还提供一种计算机存储介质,其中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现本发明的各方法实施方式。
需要说明的是,在本专利的申请文件中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中,如果提到根据某要素执行某行为,则是指至少根据该要素执行该行为的意思,其中包括了两种情况:仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在本申请提及的所有文献都在本申请中引用作为参考,就如同每一篇文献被单独引用作为参考那样。此外应理解,在阅读了本申请的上述讲授内容之后,本领域技术人员可以对本申请作各种改动或修改,这些等价形式同样落于本申请所要求保护的范围。

Claims (26)

1.一种智能安防视频监控方法,其特征在于,包括,
监控终端对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向云端服务器上传包含所述目标特征的图像;以及,
所述云端服务器对所述监控终端上传的经过所述过滤的图像进行目标的识别。
2.根据权利要求1所述的智能安防视频监控方法,其特征在于,所述目标特征是HOG特征。
3.根据权利要求1所述的智能安防视频监控方法,其特征在于,所述目标特征是对所述目标的HOG和LBP的联合特征进行主成分分析降维后得到的特征。
4.根据权利要求1所述的智能安防视频监控方法,其特征在于,所述目标特征是车辆的通用特征,所述目标是特定的车牌号。
5.根据权利要求1所述的智能安防视频监控方法,其特征在于,所述目标特征是车牌的通用特征,所述目标是特定的车牌号。
6.根据权利要求1所述的智能安防视频监控方法,其特征在于,所述目标特征是包含人脸的行人的通用特征,所述目标是特定的人脸。
7.根据权利要求1所述的智能安防视频监控方法,其特征在于,所述云端服务器对所述监控终端上传的经过所述过滤的图像进行所述目标的识别的步骤进一步包括:
所述云端服务器对所述监控终端上传的经过所述过滤的图像进行预处理,生成有标签的训练数据;
根据预处理生成的有标签的训练数据对已有的卷积神经网络模型进行进一步的训练,以提高该模型的识别准确率。
8.根据权利要求7所述的智能安防视频监控方法,其特征在于,所述预处理包括以下之一或其任意组合:
图像剪裁,图像归一化。
9.根据权利要求1至7中任一项所述的智能安防视频监控方法,其特征在于,在所述监控终端对拍摄到的图像进行基于图像识别分析的过滤的步骤之前,还包括:
客户端向所述云端服务器发送目标信息;
所述云端服务器根据所述目标信息生成所述目标特征;
所述云端服务器将所述目标特征发送给所述监控终端。
10.根据权利要求1至7中任一项所述的智能安防视频监控方法,其特征在于,所述目标特征是预先设置在所述监控终端中的。
11.根据权利要求1至7中任一项所述的智能安防视频监控方法,其特征在于,所述监控终端对拍摄到的图像进行基于图像识别分析的过滤的步骤中,被过滤的图像是摄像头拍摄的实时视频图像。
12.根据权利要求1至7中任一项所述的智能安防视频监控方法,其特征在于,所述监控终端对拍摄到的图像进行基于图像识别分析的过滤的步骤中,被过滤的图像是存储在所述监控终端中的图像。
13.根据权利要求9所述的智能安防视频监控方法,其特征在于,所述云端服务器对所述监控终端上传的经过所述过滤的图像进行所述目标的识别的步骤之后,还包括:
如果识别到所述目标,所述云端服务器将识别到所述目标的图像的拍摄时间和拍摄位置发送给客户端。
14.一种智能安防视频监控系统,其特征在于,所述包括监控终端,云端服务器;
所述监控终端用于对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向所述云端服务器上传包含目标特征的图像;
所述云端服务器用于对所述监控终端上传的经过所述过滤的图像进行目标的识别。
15.根据权利要求14所述的智能安防视频监控系统,其特征在于,还包括客户端,用于与所述云端服务器交互,向所述云端服务器发送目标信息,供所述云端服务器生成所述目标信息并发送给所述监控终端。
16.根据权利要求14所述的智能安防视频监控系统,其特征在于,所述监控终端包括相互电连接的摄像设备和处理设备;
所述摄像设备用于拍摄视频;
所述处理设备用于对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向所述云端服务器上传包含目标特征的图像。
17.根据权利要求16所述的智能安防视频监控系统,其特征在于,所述摄像设备包括枪型摄像机,或半球摄像机,或摄像头。
18.根据权利要求14所述的智能安防视频监控系统,其特征在于,所述目标特征是对所述目标的HOG和LBP的联合特征进行主成分分析降维后得到的特征。
19.根据权利要求14所述的智能安防视频监控系统,其特征在于,所述云端服务器还包括机器自学习模块,用于对所述监控终端上传的经过所述过滤的图像进行预处理,并根据预处理生成的有标签的训练数据对已有的卷积神经网络模型进行进一步的训练。
20.根据权利要求14所述的智能安防视频监控系统,其特征在于,所述目标特征是HOG特征。
21.根据权利要求14所述的智能安防视频监控系统,其特征在于,所述目标特征是预先设置在所述监控终端中的。
22.根据权利要求14所述的智能安防视频监控系统,其特征在于,所述目标特征是车辆的通用特征,所述目标是特定的车牌号。
23.根据权利要求14所述的智能安防视频监控系统,其特征在于,所述目标特征是车牌的通用特征,所述目标是特定的车牌号。
24.根据权利要求14所述的智能安防视频监控系统,其特征在于,所述目标特征是包含人脸的行人的通用特征,所述目标是特定的人脸。
25.一种监控终端,其特征在于,包括:
存储器,用于存储计算机可执行指令;以及,
处理器,用于在执行所述计算机可执行指令时实现以下步骤:
对拍摄到的图像进行基于图像识别分析的过滤,将不包含目标特征的图像过滤掉,向云端服务器上传包含目标特征的图像,以供所述云端服务器进行目标的识别。
26.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现如权利要求1至13中任意一项所述的智能安防视频监控方法的步骤。
CN201810305794.0A 2018-04-08 2018-04-08 智能安防视频监控方法及其系统及监控终端 Pending CN108920995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810305794.0A CN108920995A (zh) 2018-04-08 2018-04-08 智能安防视频监控方法及其系统及监控终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810305794.0A CN108920995A (zh) 2018-04-08 2018-04-08 智能安防视频监控方法及其系统及监控终端

Publications (1)

Publication Number Publication Date
CN108920995A true CN108920995A (zh) 2018-11-30

Family

ID=64402887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810305794.0A Pending CN108920995A (zh) 2018-04-08 2018-04-08 智能安防视频监控方法及其系统及监控终端

Country Status (1)

Country Link
CN (1) CN108920995A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598259A (zh) * 2019-01-02 2019-04-09 浙江理工大学 一种野生动物动态踪迹监测系统及方法
CN109831650A (zh) * 2019-02-18 2019-05-31 中国科学院半导体研究所 一种监控视频的处理系统及方法
CN110278416A (zh) * 2019-07-12 2019-09-24 山东智洋电气股份有限公司 基于人工智能的输电线路智能监拍装置
CN110415159A (zh) * 2019-06-11 2019-11-05 汇盈讯科智能科技(佛山市)有限责任公司 一种基于图像识别中继器的控制系统及其控制方法
CN110555421A (zh) * 2019-09-09 2019-12-10 南京创维信息技术研究院有限公司 一种监控系统及监控方法
CN110597114A (zh) * 2019-09-04 2019-12-20 上海新储集成电路有限公司 一种监控系统
CN111093092A (zh) * 2019-12-17 2020-05-01 成都通甲优博科技有限责任公司 视频处理方法、装置、系统、服务器及可读存储介质
CN111510774A (zh) * 2020-04-21 2020-08-07 济南浪潮高新科技投资发展有限公司 一种结合边缘计算与深度学习的智能终端图像压缩算法
CN113033355A (zh) * 2021-03-11 2021-06-25 中北大学 一种基于密集输电通道的异常目标识别方法和装置
CN113242274A (zh) * 2021-04-08 2021-08-10 北京交通大学 铁路防灾监测系统信息分级回传方法
CN113935395A (zh) * 2020-06-25 2022-01-14 安讯士有限公司 对象识别神经网络的训练
CN114915646A (zh) * 2022-06-16 2022-08-16 上海伯镭智能科技有限公司 一种无人驾驶矿车的数据分级上传方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495904A (zh) * 2011-12-22 2012-06-13 刘翔 一种分布式智能人脸视频检索系统
CN102831166A (zh) * 2012-07-24 2012-12-19 武汉大千信息技术有限公司 一种基于色彩特征检测的刑侦视频预处理方法
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
CN104980681A (zh) * 2015-06-15 2015-10-14 联想(北京)有限公司 一种视频获取方法及装置
CN105631043A (zh) * 2016-01-26 2016-06-01 公安部第一研究所 一种视频处理方法及装置
CN105635821A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种视频过滤方法及装置
CN105701945A (zh) * 2016-01-25 2016-06-22 四川长虹电器股份有限公司 小区智能监控报警定位系统及方法
CN105894819A (zh) * 2016-01-26 2016-08-24 浙江捷尚视觉科技股份有限公司 一种基于二次验证的套牌车识别方法
US20170124821A1 (en) * 2015-10-28 2017-05-04 Xiaomi Inc. Alarm method and device
CN106982359A (zh) * 2017-04-26 2017-07-25 深圳先进技术研究院 一种双目视频监控方法、系统和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495904A (zh) * 2011-12-22 2012-06-13 刘翔 一种分布式智能人脸视频检索系统
CN102831166A (zh) * 2012-07-24 2012-12-19 武汉大千信息技术有限公司 一种基于色彩特征检测的刑侦视频预处理方法
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
CN104980681A (zh) * 2015-06-15 2015-10-14 联想(北京)有限公司 一种视频获取方法及装置
US20170124821A1 (en) * 2015-10-28 2017-05-04 Xiaomi Inc. Alarm method and device
CN105635821A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种视频过滤方法及装置
CN105701945A (zh) * 2016-01-25 2016-06-22 四川长虹电器股份有限公司 小区智能监控报警定位系统及方法
CN105631043A (zh) * 2016-01-26 2016-06-01 公安部第一研究所 一种视频处理方法及装置
CN105894819A (zh) * 2016-01-26 2016-08-24 浙江捷尚视觉科技股份有限公司 一种基于二次验证的套牌车识别方法
CN106982359A (zh) * 2017-04-26 2017-07-25 深圳先进技术研究院 一种双目视频监控方法、系统和计算机可读存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598259A (zh) * 2019-01-02 2019-04-09 浙江理工大学 一种野生动物动态踪迹监测系统及方法
CN109831650A (zh) * 2019-02-18 2019-05-31 中国科学院半导体研究所 一种监控视频的处理系统及方法
CN110415159A (zh) * 2019-06-11 2019-11-05 汇盈讯科智能科技(佛山市)有限责任公司 一种基于图像识别中继器的控制系统及其控制方法
CN110278416A (zh) * 2019-07-12 2019-09-24 山东智洋电气股份有限公司 基于人工智能的输电线路智能监拍装置
CN110597114A (zh) * 2019-09-04 2019-12-20 上海新储集成电路有限公司 一种监控系统
CN110555421A (zh) * 2019-09-09 2019-12-10 南京创维信息技术研究院有限公司 一种监控系统及监控方法
CN111093092A (zh) * 2019-12-17 2020-05-01 成都通甲优博科技有限责任公司 视频处理方法、装置、系统、服务器及可读存储介质
CN111510774A (zh) * 2020-04-21 2020-08-07 济南浪潮高新科技投资发展有限公司 一种结合边缘计算与深度学习的智能终端图像压缩算法
CN113935395A (zh) * 2020-06-25 2022-01-14 安讯士有限公司 对象识别神经网络的训练
CN113033355A (zh) * 2021-03-11 2021-06-25 中北大学 一种基于密集输电通道的异常目标识别方法和装置
CN113033355B (zh) * 2021-03-11 2023-04-07 中北大学 一种基于密集输电通道的异常目标识别方法和装置
CN113242274A (zh) * 2021-04-08 2021-08-10 北京交通大学 铁路防灾监测系统信息分级回传方法
CN114915646A (zh) * 2022-06-16 2022-08-16 上海伯镭智能科技有限公司 一种无人驾驶矿车的数据分级上传方法和装置
CN114915646B (zh) * 2022-06-16 2024-04-12 上海伯镭智能科技有限公司 一种无人驾驶矿车的数据分级上传方法和装置

Similar Documents

Publication Publication Date Title
CN108920995A (zh) 智能安防视频监控方法及其系统及监控终端
CN105426820B (zh) 基于安防监控视频数据的多人异常行为检测方法
CN104573111B (zh) 一种监控视频中的行人数据结构化存储及预检索方法
Lai et al. Developing a real-time gun detection classifier
Karim et al. Image processing based proposed drone for detecting and controlling street crimes
CN104751143B (zh) 一种基于深度学习的人证核验系统及方法
CN206272770U (zh) 一种车辆和人脸卡口系统
CN112651398B (zh) 车辆的抓拍控制方法、装置及计算机可读存储介质
CN104239309A (zh) 视频分析检索服务端、系统及方法
CN110427814A (zh) 一种骑行者重识别方法、装置及设备
CN108965804A (zh) 一种用于城市安防的视频结构化技术
Hu et al. Multi-task micro-expression recognition combining deep and handcrafted features
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
Dousai et al. Detecting humans in search and rescue operations based on ensemble learning
Jaiswal et al. Real-Time Biometric system for security and surveillance using face recognition
Alsadi et al. Scrutiny of methods for image detection and recognition of different species of animals
KR102555845B1 (ko) 지능형 cctv 및 이를 이용하는 감시시스템
Cohen et al. Machine vision algorithms for robust animal species identification
CN111291597B (zh) 一种基于图像的人群态势分析方法、装置、设备及系统
Olaniyi et al. Intelligent Video Surveillance Systems: A Survey
Ahmed et al. An image-based digital forensic investigation framework for crime analysis
Zhou et al. Fast thermal infrared image ground object detection method based on deep learning algorithm
Pawar et al. A novel approach to detect crimes and assist law enforcement agency using deep learning with cctvs and drones
Mishra et al. Agile-LSTM: Acclimatizing Convolution Neural Network for Crowd Behaviour Analysis
CN110379175B (zh) 一种新型的违章电动车阻断与监控分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181130

WD01 Invention patent application deemed withdrawn after publication