CN106921846A - 视频移动终端遗留物检测装置 - Google Patents
视频移动终端遗留物检测装置 Download PDFInfo
- Publication number
- CN106921846A CN106921846A CN201510991442.1A CN201510991442A CN106921846A CN 106921846 A CN106921846 A CN 106921846A CN 201510991442 A CN201510991442 A CN 201510991442A CN 106921846 A CN106921846 A CN 106921846A
- Authority
- CN
- China
- Prior art keywords
- video
- mobile terminal
- legacy
- service device
- processing service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于移动端的视频智能分析系统,其中,包括:移动视频采集端、WEB服务器、视频处理服务器以及智能分析服务器;该移动视频采集端用于采集视频信息;该视频处理服务器用于视频流的中继转发;该智能分析服务器用于对视频流进行遗留物检测分析,按照设置规则判断是否存在遗留物,如果存在遗留物,触发遗留物报警,通知该视频处理服务器;该视频处理服务器将报警信息和视频通知客。本发明的视频移动终端遗留物检测装置,能够更好的适应移动端,针对于移动端计算处理能力低,内存小等区别于固定视频监控终端的特点,发挥移动端容易便携,快速部署的优势,提高移动终端的使用范围。
Description
技术领域
本发明涉及移动通信技术领域,特别涉及一种视频移动终端遗留物检测装置。
背景技术
智能移动终端在一般看来应该是指手机、PDA等,随着手机上网资费的不断下降,以及无线网络的大面积覆盖,微博、游戏、影视、音乐等各类互联网应用开始向智能终端迁移,加速了智能终端APP应用的发展。
随着网络化、数字化、高清化在安防行业的广泛应用以及大数据时代的到来,人们对移动视频监控的需求日益增多,移动视频监控是安防企业争夺的一个重点区域。在建设智慧城市的历史机遇以及安防市场高清化、智能化的需求之下,政府、公安、交通、银行等行业已成为移动视频监控领域的应用主体,未来将会有越来越多的行业引入移动视频监控产品。以高清、网络、大数据、智能分析为基础的移动视频监控市场将是安防市场最具增长潜力的新增点。
可疑遗留物检测是机场、体育馆、候车厅和展览馆等公众场合的智能视频监控系统不可缺少的内容。遗留物通常是指被运动主体携带从运动到静止,再与运动主体分离,静止超过一定时间并且没有所属主体的物体。
随着城市经济的高速发展,由于城市地方扩大,人口增加等原因,目前城市治安管理面临的压力也越来越大,而公安警力的增加远不能满足实际的需求,传统的以人力防范和事后处理为主的公安管理模式已经开始制约城市治安管理水平的进一步提高。城市公安管理部门迫切需要采取更多的技术防犯手段来扩大管理的范围和提高管理的效率,以弥补人力管理资源缺乏、效率低的缺点,鉴于此,“智能监控分析系统”得到了迅猛的发展,它通过对图像的处理分析,实时检测非法行为(如偷窃、破坏)、遗留危险品(如包裹)等,从而迅速检测与治安有关的事故。
针对物体遗留异常事件,现在国内外的学者已给出了一些有效方法,其一是通过判断当前帧与背景帧中监控区域的灰度变化是否超过了预设阈值来判别;还有是基于颜色直方图的巴氏距离判定方法,以及利用轮廓点的空间相似性来判别。上面两种方法的算法复杂度低、检测正确率高,但它们只是针对固定区域进行监控。另外还有针对复杂的场景提出了利用多摄像机共同监控的方法,结合对象之间的关联属性来实现对无主包裹的监控分析,但系统数据量大、效率低。有学者将隐马尔科夫模型方法运用在无主包裹识别中,给出了一个基于HMM的无主包裹识别方案。它分别将无主包裹、手提包裹、未手提包裹、放下包裹以及捡起包裹等一系列人的相关特征行为进行了识别分类,该方法对运动目标的检测分割部分有着严格的要求,当包裹紧贴人身的时候就有可能不能准确地分割出包裹与人体。
发明内容
本发明的目的在于提供一种基于移动端的视频智能分析系统,用于解决上述现有技术的问题。
本发明一种基于移动端的视频智能分析系统,其中,包括:移动视频采集端、WEB服务器、视频处理服务器以及智能分析服务器;该移动视频采集端用于采集视频信息;该视频处理服务器用于视频流的中继转发;该智能分析服务器用于对视频流进行遗留物检测分析,按照设置规则判断是否存在遗留物,如果存在遗留物,触发遗留物报警,通知该视频处理服务器;该视频处理服务器将报警信息和视频通知客。
根据本发明的基于移动端的视频智能分析系统的一实施例,其中,还包括数据库服务器,用于存储所需数据。
根据本发明的基于移动端的视频智能分析系统的一实施例,其中,还包括存储服务器,用于保存视频数据。
根据本发明的基于移动端的视频智能分析系统的一实施例,其中,该Web服务器能够对用户登录信息进行验证。
根据本发明的基于移动端的视频智能分析系统的一实施例,其中,该视频处理服务器用于对完成对接入视频的处理任务,将处理好的结果发送至该存储服务器,并提供标准的RTSP流媒体服务。
综上,本发明视频移动终端遗留物检测装置,利用移动端进行视频智能分析,将智能分析技术引入到移动视频监控领域,能够更好的适应移动端,针对于移动端计算处理能力低,内存小等区别于固定视频监控终端的特点,发挥移动端容易便携,快速部署的优势,提高移动终端的使用范围。
附图说明
图1所示为本发明的智能视频移动终端遗留物检测系统的结构图;
图2所示为本发明的智能视频移动终端遗留物检测系统的工作流程图;
图3所示为移动视频采集端的工作流程图;
图4所示为Web服务器和数据库服务器的工作流程图;
图5所示为视频处理服务器的工作流程图;
图6是基于全天候复杂光线条件下智能移动终端视频监控系统的遗留物实时检测方法的流程图;
图7是基于混合高斯阴影模型来检测运动阴影的算法的流程图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
本发明介绍了一种基于移动端的视频智能分析系统,该系统把传统的网络视频监控与智能移动终端相结合,能够满足用户在任何地点任何时候对所需要的监控点进行视频监控的需求。
智能分析服务器14根据遗留物检测检测到异常情况,发送报警信息至视频分析服务器和web服务器;web服务器将报警信息转发给客户端;web服务器向视频处理服务器请求相应的报警视频;获得相应的报警视频,用户通过客户端进行查看。
图1所示为本发明的智能视频移动终端遗留物检测系统的结构图,如图1所示,本发明的智能视频移动终端遗留物检测系统以下几个部分组成:移动视频采集端3(移动终端),客户端1,以及视频监控智能分析平台2。视频监控智能分析平台2包括:WEB服务器11,数据库服务器12、视频处理服务器13、存储服务器15、智能分析服务器14。客户端1包括移动终端、PC)等。
图2所示为本发明的智能视频移动终端遗留物检测系统的工作流程图,如图1以及图2所示,本发明的智能视频移动终端遗留物检测系统由前端配置的移动视频采集端3采集视频信息,视频信号经过采集和编码,通过网络传输至视频处理服务器13,由视频处理服务器13负责视频流的中继转发,智能分析服务器14从视频处理服务器13获得视频流,对视频流进行遗留物检测分析,按照设置规则判断是否存在遗留物,如果不存在,则不进行处理,如果存在遗留物,触发遗留物报警,通知视频处理服务器13。视频处理服务器13将报警信息和视频通知客户端1,客户端1可以查看。
参考图1,移动视频采集端3是整个系统的信息采集单元,负责采集监控场所的视频信息,通过采集端配备的摄像头,完成监控现场的视频采集任务。利用设备自身的处理功能,对采集的视频流进行编码处理,传输至视频处理服务器13。客户端1接收视频数据,对接收到的数据进行解码、播放,最终实现设备之间的视频监控。移动视频采集端3易于携带,配置方便,可以用于快速部署,可是存在着自身计算能力较弱,内存容量不大等劣势,不能在前端由自身完成遗留物检测任务,需要配合系统智能分析服务器14,进行异常行为报警。
图3所示为移动视频采集端的工作流程图,如图1以及图3所示,系统将移动视频采集端3部署到所需监控场所,进行配置后,就可以利用其开始监控及遗留物检测工作。移动视频采集端3自带的摄像头完成视频监控前端的实时视频信息采集工作;调用MediaRecorder类操作终端进行视频采集,通过MediaRecorder采集视频主要是使用了在调用硬件底层的编码模块,利用摄像头进行视频录制;采集到视频数据后,为了节省空间、提高图像质量、节省网络传输带宽,需要对采集后的视频数据进行编码;分析采集到的视频数据,提取其中的相关解码参数SPS(SequenceParameterSets)和PPS(PictureParameterSet)以及每一个视频帧数据;将SPS和PPS以及视频帧用4字节的00000001分隔开,使之成为能够被识别的视频数据;将视频数据重新组合,形成新的视频流;通过调用ParcelFileDescriptor类,绑定采集端的Socket端口,Socket网络通信是建立在传输层协议和TCP上的一种套接字规范,移动视频采集端3实现了客户端和服务器端的网络通信,屏蔽了底层通信软件和具体操作系统的差异,使得编码后的视频数据可以通过网络发送;视频处理服务器13接收端通过Socket接收采集端传输的视频流,完成前端视频采集的工作。
图4所示为Web服务器和数据库服务器的工作流程图,参考图1以及图4所示,系统Web服务器11可以采用SunMicrosystems推出的Java语言来实现,采用的框架是对Struts1+JDBC进行组合,Struts1对客户端发送的请求进行处理,JDBC用来访问数据库。服务器可以是Tomcat服务器,采用设计模式是MVC+DAO的模式。
参考图1以及图4所示,当客户端1提交登录申请时,Web服务器11可以对用户登录信息进行验证,没有注册的用户,不允许访问,也可以对用设备信息和用户信息进行添加,修改和删除操作。客户端1获取实时报警视频列时,Web服务器11对数据库服务器12中获取的数据采用Json技术进行封装。
参考图1以及图4所示,客户端1访问web服务器11,登录系统,查看需要访问的前端监控视频;登录成功后,客户端1向web服务器11发送请求;web服务器11判断用户是否拥有权限查看视频,如果没有,结束当前访问流程,如果拥有,web服务器11转发客户端1的请求至视频处理服务器,请求相应的视频流;视频处理服务器13根据用户请求,返回前端的RTSP URL链接;web服务器11将链接转发给客户端1;客户端1与视频处理服务器13建立RTSP连接,进行视频流的传输;客户端1查看获取的前端视频。智能分析服务器14根据遗留物检测检测到异常情况,发送报警信息至视频处理服务器13和web服务器11;web服务器11将报警信息转发给客户端1;web服务器13向视频处理服务器13请求相应的报警视频;获得相应的报警视频,用户通过客户端1进行查看。
图5所示为视频处理服务器的工作流程图,如图1以及图5所示,视频处理服务器13其主要功能大致可以分为接入分析、结果分发和流媒体三个部分,主要负责对完成对接入视频的处理任务,将处理好的结果发送至存储服务器15,之后对外提供标准的RTSP流媒体服务,用户根据相应的流媒体RTSP地址,即可实时地获取系统处理完后的实时视频数据,以供监控和远程访问。
参考图1以及图5,视频处理服务器13需要接收前端采集的视频数据,采用Socket网络通信技术,面向连接的操作的效率比无连接的低,但是其数据安全性更高;接收数据时,首先创建Socket,使监控前端和监控终端通过网络连接进行数据交互,在进行Socket通信前必须对Socket初始化,不断循环的监听接收到的请求并建立新的客户连接Socket;在与移动视频采集端3成功建立连接后,传输采集到的视频数据;之后将移动视频采集端3传送来的视频转换成适合在网络上传输、适合用户端播放的流格式数据。编码过程中,要在保证文件质量的原则下尽量压缩文件大小,并按照容错格式将转码文件打包,避免数据丢失损坏;完成流华编码工作后,将视频流保存在视频处理服务器13上,同时将视频流转发给智能分析服务器14进行遗留物检测,转存至存储服务器15保存;当视频处理服务器13接收到客户端1请求时,将视频流通过网络进行转发,客户端1通过HTTP/TCP与Web服务器11交换信息,向视频处理服务器13请求相关的服务;视频处理服务器13在接到请求后,与客户端1建立连接,传输视频流,播放实时视频。在播放的同时,视频处理服务器13根据客户端1反馈的流媒体接收情况智能调整向客户端1传送的媒体数据流,从而在客户端1达到较理想的接收播放效果。
参考图1,智能分析服务器能够对监控画面进行自动分析,自动检测出监控防区内的可疑行李或遗弃物,发出报警并触发其他行为。迅速有效地检测被遗弃物体比以往更加重要。智能遗留检测不仅可以防止进攻目标,公共交通和重要资产等,而是可以保证工作场所的健康和安全,对现场出现的新物体进行检测并及时通知操作人员。
在智能视频移动终端遗留物检测系统中,用户通过手机及PC等终端来观看和视频,并接收报警信息。智能视频移动终端遗留物检测系统客户端由以下几个部分组成:实时监控管理,实时报警视频管理,设备管理,用户管理。实时监控管理完成对监控现场画面进行实时浏览,实时报警视频管理完成对实时报警视频进行查询、浏览以及删除等操作,用户管理对用户信息进行查询、添加、修改以及删除操作,设备管理对监控设备信息进行查询、添加、修改以及删除操作
为了实现上述目的,本发明的还提供了一种遗留物实时检测方法,包括以下步骤:
S10,获取视频图像数据;
S30,采用混合高斯模型改进算法对视频图像进行背景建模,分别建立一个长周期背景模型和一个短周期背景模型,其中,将背景划分为稳定区域和动态区域,于稳定区域中,当一像素的背景模型中,混合高斯模型的一高斯分布与每拍新进入的像素值相匹配的频率高于一设定的阈值时,则接下来的N帧图像内该像素点的背景模型的各个高斯分布参数都不再更新,在N帧后,重新设置混合高斯模型的各高斯分布参数并重新开始学习,直到又有高斯分布与新进入的像素值匹配的频率大于设定的阈值,如此循环反复;于动态区域中,当一像素的背景模型中,两个或三个高斯函数不断交替的与新获得的像素值匹配,这几个高斯函数权重之和大于一设定的阈值时,则接下来的M帧图像内该像素点的背景模型的各个高斯分布参数都不再更新,并将这几个高斯分布的均值表示该像素点的背景值,在M帧后,重新设置混合高斯模型的各高斯分布参数并重新开始学习,直到有新的高斯分布权重之和大于设定的阈值,如此循环反复,其中,M、N均为整数;
S40,通过当前视频帧减去长周期背景模型得到长周期前景FL,通过当前视频帧减去短周期背景模型得到短周期前景FS;
S50,对长周期前景FL和短周期前景FS进行分析并检测出遗留物,标记出遗留物并进行报警。
上述的遗留物实时检测方法,其中,所述步骤S30中重新设置混合高斯模型的各高斯分布参数包括如下步骤:
S31,ωi,t/σi,t值最大的高斯分布所对应的权重值设为:
S32,其余的高斯分布所对应的权值均设为:
其中,ωi,t为第i个高斯分布在t时刻的权重,σi,t为第i个高斯分布在t时刻的方差,K为混合高斯模型中高斯函数的个数,β为[0,1)区间的浮点数。
上述的遗留物实时检测方法,其中,所述步骤S10中采用抽帧的方式获取视频图像数据。
上述的遗留物实时检测方法,其中,所述步骤S10和步骤S30之间还包括如下步骤S20,所述步骤S20包括如下步骤:
S21,利用双线性内插值法对视频图像进行降采样处理。
上述的遗留物实时检测方法,其中,所述步骤S20还包括如下步骤:
S22,利用高斯滤波器对夜间模式下采集到的视频图像数据进行降噪处理。
上述的遗留物实时检测方法,其中,所述步骤S50还包括如下步骤:
S510,采用基于混合高斯的阴影抑制算法消除长周期前景FL和短周期前景FS中的运动阴影。
上述的遗留物实时检测方法,其中,所述步骤S510包括如下步骤:
S511,利用基于HSV颜色空间的阴影模型来检测长周期前景FL和短周期前景FS中的疑似阴影;
S512,根据长周期前景FL和短周期前景FS中被判定为疑似阴影的像素进行混合高斯阴影模型的学习更新;
S513,判断长周期前景FL和短周期前景FS中的疑似阴影是否为运动阴影,并消除长周期前景FL和短周期前景FS中的运动阴影。
上述的遗留物实时检测方法,其中,所述步骤S50还包括步骤S520,所述步骤S520包括如下步骤:
S521,对长周期前景FL和短周期前景FS进行二值化处理,得到长周期前景二值图FL /和短周期前景二值图FS /;
S522,采用形态学的方法处理长周期前景二值图FL /和短周期前景二值图FS /;
S523,采用区域标记的方法消除长周期前景二值图FL /和短周期前景二值图FS /中连通区域。
上述的遗留物实时检测方法,其中,所述步骤S523还包括如下步骤:
采用区域生长法对长周期前景二值图FL /和短周期前景二值图FS /中的连通区域进行标记,计算每个连通区域的面积Ri,若该连通区域的面积Ri小于预定的面积阈值Rmin,则将该连通区域从前景中剔除。
上述的遗留物实时检测方法,其中,所述步骤S650还包括如下步骤:
S530,通过分析长周期前景二值图FL /和短周期前景二值图FS /的特点,对前景中的目标进行分类,获得疑似遗留物的目标物体Ocur,分类规则为:
FL /(x,y)=1且FS /(x,y)=1,(x,y)点像素属于运动目标;
FL /(x,y)=1且FS /(x,y)=0,(x,y)点像素属于疑似遗留物的目标物体Ocur;
FL /(x,y)=0且FS /(x,y)=1,(x,y)点像素属于场景变化目标或噪声;
FL /(x,y)=0且FS /(x,y)=0,(x,y)点像素属于背景目标。
上述的遗留物实时检测方法,其中,所述步骤S50还包括如下步骤:
S540,采用目标轮廓与目标中心外围区域颜色直方图相结合的方法检测疑似遗留物的目标物体Ocur中的取走物Oremove,并剔除疑似遗留物的目标物体Ocur中的取走物Oremove,获得暂时静止的目标物体Oabandon。
上述的遗留物实时检测方法,其中,所述步骤S540还包括如下步骤:
S541,根据目标物体Ocur的目标轮廓特征判断候选取走物OEtemp;
S542,根据目标物体Ocur中心外围区域颜色直方图特征判断候选取走物OHtemp;
S543,根据候选取走物OEtemp和候选取走物OHtemp,确定取走物Oremove,剔除疑似遗留物的目标物体Ocur中的取走物Oremove,获得暂时静止的目标物体Oabandon,判断暂时静止的目标物体Oabandon和取走物Oremove的决策公示为:
上述的遗留物实时检测方法,其中,所述步骤S50还包括如下步骤:
S550,采用基于HOG和肤色特征的行人检测算法检测行人,剔除暂时静止的目标物体Oabandon中的静止行人,获得候选遗留物的目标物体。
上述的遗留物实时检测方法,其中,所述步骤S50还包括如下步骤:
S560,对每个候选遗留物的目标物体进行团块跟踪,并对每个候选遗留物的目标物体的持续停留的帧数Numi分别进行统计,当某个候选遗留物的目标物体累计停留的帧数超过一设定的阈值Tnum时,即Numi>Tnum,该候选遗留物的目标物体标记为遗留物,触发遗留物报警,并根据该遗留物的逻辑位置在源图像中标出遗留物的外接矩形区域。
本发明的遗留物检测方法产生以下几点良好的效果:
效果1:本发明采用视频图像抽帧、降采样处理方法降低了全高清视频图像分析处理的工作量,提高检测算法的实时性。
效果2:本发明采用选择性高斯滤波的方法,在全天候监控模式下,考虑到白天模式噪声较少图像质量高,无需进行滤波处理;而夜间模式噪声影响较大图像质量差,则进行滤波处理。提高了检测算法的鲁棒性和灵活性。
效果3:本发明采用一种快速的混合高斯模型改进算法对背景进行建模。考虑到混合高斯模型在背景建模过程中尤其适合室外有复杂光线变换的情况,但是其计算复杂,不仅对背景建模,也对前景建模,实时性较差。用一种快速的混合高斯模型改进算法提高遗留物检测的准确度,同时提高算法的执行速率。
效果4:本发明采用混合高斯阴影模型对前景中的阴影进行建模,对阴影检测效果较好,能将全天候复杂光线变化条件下运动目标和其投射的运动阴影较好的分离开来。
效果5:本发明采用严格的剔除方法,消除干扰目标(噪声、取走物、静止行人)对遗留物的影响,提高算法的准确度,尽量减少漏检率和误检率。
图6是基于全天候复杂光线条件下智能移动终端视频监控系统的遗留物实时检测方法的流程图,图7是基于混合高斯阴影模型来检测运动阴影的算法的流程图;步骤10:采用抽帧的方式获取视频图像数据。
该步骤采用从流媒体服务器上每30帧抽一帧进行遗留物检测。监控摄像机在抓拍图像时,图像速率保持在25帧/秒或30帧/秒,在全高清图像进一步升级后,帧率可达到60帧/秒。图像数据量太大,且很大一部分都是重复的场景,没有必要对每一帧图像都进行处理,采用抽帧的方式降低分析工作量,同时提高检测算法的实时性。
步骤20:图像前处理,首先对视频图像进行降采样处理,然后对夜间模式下采集到的视频图像进行高斯滤波降噪处理。
所述步骤20进一步包括以下步骤:
步骤21:利用双线性内插值法对视频图像进行降采样处理,该插值方法缩放后视频图像质量高,消除像素不连续的情况。
双线性内插值法对于图像中一个目的像素,设置坐标通过反向变换得到的浮点坐标为(i+u,j+v),其中i、j均为非负整数,u、v为[0,1)区间的浮点数,则这个像素的值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定,即:
f(i+u,j+v)=(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)
+u(1-v)f(i+1,j)+uvf(i+1,j+1)
其中f(i,j)表示源图像(i,j)处的像素值。
步骤22:利用高斯滤波器对夜间模式下采集到的图像进行降噪处理,对白天模式下采集到的图像则不需要进行降噪处理。高斯滤波对抑制噪声非常有效。
高斯滤波器是一种带权值的平均滤波器,某像素的颜色由其为中心的九宫格的像素加权平均值来决定,采用了3*3的高斯滤波器模板,即:
步骤30:采用一种快速的混合高斯模型改进算法对背景建模,分别建立一个长周期背景模型和一个短周期背景模型。
混合高斯模型算法是为视频图像的每个像素的每个颜色通道都建立一个包含K(3~5)个高斯函数的混合高斯模型,为了能处理复杂场景,取得较好的目标检测效果,往往希望K越大越好,K个高斯函数中每个函数又包含权重ω,均值μ,方差δ2三个参数,每获得一帧新的视频图像后都需要对各像素点每个颜色通道的每个高斯函数的三个参数进行更新,算法的计算量非常庞大,很难满足实时性的要求。
一种快速的混合高斯模型改进算法不仅能处理复杂场景取得较好的目标检测效果,而且提高了处理速度,对像素点的高斯参数并不是在每帧图像都更新,减少了混合高斯模型的参数更新频率。
一种快速的混合高斯模型改进算法注意到监控场景中通常只有少部分区域是比较混乱,而大部分区域是静止的,将背景划分为稳定区域(大部分静止的区域)和动态区域(少部分混乱的区域)。稳定区域的像素点总是呈现相同的像素值,且该像素值总是和混合高斯背景模型中的同一高斯分布相匹配,此高斯分布与图像序列中新进入的像素值相匹配的频率非常高,经过学习后该分布权重ωi,t会较大而方差较小,其中ωi,t为第i个高斯分布在t时刻的权重,为第i个高斯分布在t时刻的方差,则ωi,t/σi,t长时间保持最大,从而较长时间内会把同一高斯分布的均值作为背景的像素值,因此稳定区域像素点的背景参数模型不需要每帧都进行更新。据此对混合高斯背景建模算法进行改进,当在某一像素的背景模型中,某一高斯分布与每拍新进入的像素值相匹配的频率高于一定的阈值,则接下来的N(100~200)帧图像内该像素点的背景模型的各个高斯分布参数都不再更新,在N(100~200)帧后,重新把各高斯分布参数ωi,t设置在相对比较平等的状态下开始学习,直到又有高斯分布与新进入的像素值匹配的频率大于设定的阈值,如此循环反复。除了稳定区域用上述改进算法外,在动态区域也用此方法来提高算法的速度。在有混乱反复运动的动态区域,像素点总是重复呈现几个值,通过新获取的像素值不断对高斯模型进行训练,必定有两个或三个高斯函数不断交替的与新获得的像素值匹配,这几个高斯函数的权重ωi,t会较大而方差较小,ωi,t/σi,t长时间保持较大,且几个高斯函数间的权重ωi,t相差不大。当这几个高斯函数权重ωi,t之和大于一定的阈值时,则接下来的M(10~50)帧图像内该像素点的背景模型的各个高斯分布参数都不再更新,并将这几个高斯分布的均值表示该像素点的背景值,在M(10~50)帧后,重新设置混合高斯模型的各高斯分布参数并重新开始学习,直到有新的高斯分布权重之和大于一定的阈值,如此反复循环。
某一像素的高斯分布权值ωi,t按如下规则设置到相对比较平等的状态:
ωi,t/σi,t值最大的高斯分布所对应的权重值设为:
其余的高斯分布所对应的权值均设为:
其中,β为[0,1)区间的浮点数。
步骤40:当前视频帧分别减去长短周期背景模型得到长周期前景FL和短周期前景FS。
步骤50:对长周期前景FL和短周期前景FS进行分析并检测出遗留物,标记出遗留物并进行报警。
具体地,步骤50包括以下步骤:
步骤510:采用一种基于混合高斯的阴影抑制算法消除长周期前景FL和短周期前景FS中的运动阴影。
由于监控场景全天候,光线复杂,人流量大,阴影既有强光条件下的阴影又有弱光条件下的阴影,甚至出现阴影和其他目标相互重叠的情况,导致无法准确实时判断目标的危险性,不能及时地报警。因此遗留物检测时需要对前景中的阴影进行消除。
现有遗留物检测方法中阴影抑制算法主要是采用基于颜色空间的阴影抑制算法,这些方法对弱阴影的检测与抑制效果还比较有效,但对强光照条件下的强阴影抑制效果不甚理想。
基于混合高斯的阴影抑制算法先利用阴影在HSV颜色空间的特点,判断被检测为运动前景的像素是否为疑似阴影,非疑似阴影即为运动目标。若判断为疑似阴影则用该像素值更新混合高斯阴影模型的参数,并用混合高斯阴影模型最终判断此像素是阴影还是运动目标,若前景像素与混合高斯阴影模型的有效阴影状态相匹配,则该运动前景像素判定为运动阴影,否则判为运动目标。该阴影抑制算法可更有效地抑制阴影对运动目标检测的影响,不仅对弱阴影检测效果好,还能很大程度上检测出强阴影,并具有较强的实时性。
综上,本发明视频移动终端遗留物检测装置,利用移动端进行视频智能分析,将智能分析技术引入到移动视频监控领域,能够更好的适应移动端,针对于移动端计算处理能力低,内存小等区别于固定视频监控终端的特点,发挥移动端容易便携,快速部署的优势,提高移动终端的使用范围。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (5)
1.一种基于移动端的视频智能分析系统,其特征在于,包括:移动视频采集端、WEB服务器、视频处理服务器以及智能分析服务器;
该移动视频采集端用于采集视频信息;该视频处理服务器用于视频流的中继转发;该智能分析服务器用于对视频流进行遗留物检测分析,按照设置规则判断是否存在遗留物,如果存在遗留物,触发遗留物报警,通知该视频处理服务器;该视频处理服务器将报警信息和视频通知客户。
2.如权利要求1所述的基于移动端的视频智能分析系统,其特征在于,还包括数据库服务器,用于存储所需数据。
3.如权利要求1所述的基于移动端的视频智能分析系统,其特征在于,还包括存储服务器,用于保存视频数据。
4.如权利要求1所述的基于移动端的视频智能分析系统,其特征在于,该Web服务器能够对用户登录信息进行验证。
5.如权利要求3所述的基于移动端的视频智能分析系统,其特征在于,该视频处理服务器用于对完成对接入视频的处理任务,将处理好的结果发送至该存储服务器,并提供标准的RTSP流媒体服务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510991442.1A CN106921846A (zh) | 2015-12-24 | 2015-12-24 | 视频移动终端遗留物检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510991442.1A CN106921846A (zh) | 2015-12-24 | 2015-12-24 | 视频移动终端遗留物检测装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106921846A true CN106921846A (zh) | 2017-07-04 |
Family
ID=59459726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510991442.1A Pending CN106921846A (zh) | 2015-12-24 | 2015-12-24 | 视频移动终端遗留物检测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106921846A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111415347A (zh) * | 2020-03-25 | 2020-07-14 | 上海商汤临港智能科技有限公司 | 遗留对象检测方法和装置及交通工具 |
CN112995613A (zh) * | 2021-05-20 | 2021-06-18 | 武汉中科通达高新技术股份有限公司 | 一种分析资源管理方法及装置 |
CN114051120A (zh) * | 2021-10-26 | 2022-02-15 | 远光软件股份有限公司 | 视频告警方法、装置、存储介质及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101146218A (zh) * | 2007-11-02 | 2008-03-19 | 北京博睿视科技有限责任公司 | 基于串口的嵌入式智能视频处理设备的视频监控系统 |
CN102509075A (zh) * | 2011-10-19 | 2012-06-20 | 北京国铁华晨通信信息技术有限公司 | 一种遗留物检测方法及装置 |
CN102902960A (zh) * | 2012-09-25 | 2013-01-30 | 武汉烽火众智数字技术有限责任公司 | 基于高斯建模与目标轮廓的遗留物检测方法 |
CN103281518A (zh) * | 2013-05-30 | 2013-09-04 | 中国科学院长春光学精密机械与物理研究所 | 一种多功能网络化全天候智能视频监控系统 |
CN103294829A (zh) * | 2013-06-26 | 2013-09-11 | 公安部第三研究所 | 基于Android操作系统实现轻量化视频结构化描述的系统及方法 |
CN104239309A (zh) * | 2013-06-08 | 2014-12-24 | 华为技术有限公司 | 视频分析检索服务端、系统及方法 |
-
2015
- 2015-12-24 CN CN201510991442.1A patent/CN106921846A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101146218A (zh) * | 2007-11-02 | 2008-03-19 | 北京博睿视科技有限责任公司 | 基于串口的嵌入式智能视频处理设备的视频监控系统 |
CN102509075A (zh) * | 2011-10-19 | 2012-06-20 | 北京国铁华晨通信信息技术有限公司 | 一种遗留物检测方法及装置 |
CN102902960A (zh) * | 2012-09-25 | 2013-01-30 | 武汉烽火众智数字技术有限责任公司 | 基于高斯建模与目标轮廓的遗留物检测方法 |
CN103281518A (zh) * | 2013-05-30 | 2013-09-04 | 中国科学院长春光学精密机械与物理研究所 | 一种多功能网络化全天候智能视频监控系统 |
CN104239309A (zh) * | 2013-06-08 | 2014-12-24 | 华为技术有限公司 | 视频分析检索服务端、系统及方法 |
CN103294829A (zh) * | 2013-06-26 | 2013-09-11 | 公安部第三研究所 | 基于Android操作系统实现轻量化视频结构化描述的系统及方法 |
Non-Patent Citations (1)
Title |
---|
张琍等: "全天候复杂光线条件下的遗留物检测方法", 《计算机工程与设计》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111415347A (zh) * | 2020-03-25 | 2020-07-14 | 上海商汤临港智能科技有限公司 | 遗留对象检测方法和装置及交通工具 |
CN111415347B (zh) * | 2020-03-25 | 2024-04-16 | 上海商汤临港智能科技有限公司 | 遗留对象检测方法和装置及交通工具 |
CN112995613A (zh) * | 2021-05-20 | 2021-06-18 | 武汉中科通达高新技术股份有限公司 | 一种分析资源管理方法及装置 |
CN112995613B (zh) * | 2021-05-20 | 2021-08-06 | 武汉中科通达高新技术股份有限公司 | 一种分析资源管理方法及装置 |
CN114051120A (zh) * | 2021-10-26 | 2022-02-15 | 远光软件股份有限公司 | 视频告警方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107911653B (zh) | 驻所智能视频监控模组、系统、方法以及存储介质 | |
CN103108159B (zh) | 一种电力智能视频分析监控系统和方法 | |
CN110110575A (zh) | 一种人员脱岗检测方法及装置 | |
CN102306304B (zh) | 人脸遮挡物识别方法及其装置 | |
CN106650584B (zh) | 火焰检测方法和系统 | |
CN109241933A (zh) | 视频联动监控方法、监控服务器、视频联动监控系统 | |
CN104581081B (zh) | 基于视频信息的客流分析方法 | |
CN110245630A (zh) | 监控数据处理方法、装置及可读存储介质 | |
CN108364374A (zh) | 基于深度学习的人脸门禁控制装置及方法 | |
JP2005506740A (ja) | ビデオトリップワイヤ | |
CN110111515A (zh) | 一种边界入侵检测方法、装置、服务器及系统 | |
CN110113561A (zh) | 一种人员滞留检测方法、装置、服务器及系统 | |
CN109426798A (zh) | 一种边界入侵检测方法、装置及系统 | |
KR102397837B1 (ko) | 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법 | |
CN109389794A (zh) | 一种智能化视频监控方法和系统 | |
CN107330414A (zh) | 暴力行为监控方法 | |
CN109460744A (zh) | 一种基于深度学习的视频监控系统 | |
KR20220000226A (ko) | 엣지 컴퓨팅 기반 지능형 보안 감시 서비스 제공 시스템 | |
CN110781735A (zh) | 一种用于识别人员在岗状态的报警方法及系统 | |
CN110188617A (zh) | 一种机房智能监控方法及系统 | |
CN106921846A (zh) | 视频移动终端遗留物检测装置 | |
CN110111436A (zh) | 一种人脸签到方法、装置及系统 | |
KR20220000216A (ko) | 딥러닝 분산 처리 기반 지능형 보안 감시 서비스 제공 장치 | |
CN112601054B (zh) | 摄像画面的采集方法及装置、存储介质、电子设备 | |
CN115100572A (zh) | 一种校园异常行为的分析系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170704 |