发明内容
本申请实施例提供一种环境监控的处理方法、装置及存储介质,能够通过智能分析摄像头所采集的视频内容的活跃度,以提供更多维度的监控信息,提高环境监控的全面性。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种环境监控的处理方法,包括:
获取环境中部署的各个图像采集设备以第一时间粒度上传的各个视频文件;
对所述各个视频文件中的内容进行分析,对应得到表征各个视频文件的内容变化程度的视频活跃度数据;
在达到统计条件时,根据所述各个视频文件的视频活跃度数据,从各个图像采集设备中确定出满足第一活跃条件的活跃设备;
输出所述活跃设备的设备信息和对应的活跃度数据,以使得监控终端优先播放所述活跃设备采集到的视频文件。
在一些实施例中,所述方法还包括:
获取待查询的第三历史时间段、第二时间粒度和查询对象,所述查询对象为图像采集设备或所述环境;
获取所述各个图像采集设备在第三历史时间段内以上传的各个历史视频文件,并获取各个历史视频文件的历史视频活跃程度值;
基于所述各个历史视频文件的历史视频活跃程度值,确定所述第三历史时间段内各个子时间段对应的历史视频活跃程度值,其中所述子时间段对应第二时间粒度;
基于所述第三历史时间段内各个子时间段对应的历史视频活跃程度值,确定所述查询对象在第三历史时间段内各个子时间段对应的对象活跃程度值;
输出所述查询对象在第三历史时间段内各个时间段对应的对象活跃程度值。
在一些实施例中,输出所述查询对象在第三历史时间段内各个时间段对应的对象活跃程度值,包括:
当在第三历史时间段内第j个子时间段对应的对象活跃程度值大于活跃阈值时,以第一显示方式输出所述第j个时间段对应的对象活跃程度值;其中,j=1,2,…,S,S为第三历史时间段内包含的时间段总数;
当所述第j个子时间段对应的对象活跃程度值小于或者等于所述活跃阈值时,以第二显示方式输出所述第j个子时间段对应的对象活跃程度值,所述第一显示方式与所述第二显示方式不同。
本申请实施例提供一种环境监控的处理装置,包括:
第一获取模块,用于获取环境中部署的各个图像采集设备以第一时间粒度上传的各个视频文件;
第一分析模块,用于对所述各个视频文件中的内容进行分析,对应得到表征各个视频文件的内容变化程度的视频活跃度数据;
第一确定模块,用于在达到统计条件时,根据所述各个视频文件的视频活跃度数据,从各个图像采集设备中确定出满足第一活跃条件的活跃设备;
第一输出模块,用于输出所述活跃设备的设备信息和对应的活跃度数据,以使得监控终端优先播放所述活跃设备采集到的视频文件。
在一些实施例中,所述装置还包括:
第二获取模块,用于获取所述各个图像采集设备在第一历史时间段内以第一时间粒度上传的各个历史视频文件,并获取各个历史视频文件的历史视频活跃度数据;
构建模块,用于根据所述各个历史视频活跃度数据构建异常活跃检测模型;
第三获取模块,获取各个图像采集设备当前采集到的各个当前视频文件,并获取各个当前视频文件的视频活跃度数据;
第二确定模块,用于基于各个当前视频文件的视频活跃度数据和所述异常活跃检测模型,确定出符合异常活跃条件的目标视频文件;
第二输出模块,用于输出所述目标视频文件对应的图像采集设备的设备信息和文件标识信息。
在一些实施例中,所述装置还包括:
第四获取模块,用于获取其他视频文件的视频活跃度数据,所述其他视频文件为各个当前视频文件中除去目标视频文件之外的视频文件;
更新模块,用于基于所述其他视频文件的视频活跃度数据,对所述异常活跃检测模型进行更新,得到更新后的异常活跃检测模型。
在一些实施例中,所述视频活跃度数据至少包括活跃程度值、活跃帧数和活跃帧所占用空间大小,所述第一分析模块还用于:
获取每个视频文件的各个关键帧;
从所述各个关键帧中确定满足第二活跃条件的活跃帧和活跃帧数;
基于每个视频文件中的活跃帧数和关键帧数,确定每个视频文件的活跃程度值;
基于每个视频文件中的活跃帧和活跃帧数确定活跃帧所占用的空间大小。
在一些实施例中,所述第一分析模块还用于:
对所述各个关键帧进行二值化处理,得到各个二值化关键帧;
对所述各个二值化关键帧进行中值滤波,得到滤波后的二值化关键帧;
对所述滤波后的二值化关键帧进行像素值求和,得到各个滤波后的二值化关键帧的像素总和;
将像素总和满足第二活跃条件的关键帧确定为活跃帧。
在一些实施例中,所述第一确定模块还用于:
在达到统计条件时,根据每个图像采集设备采集到的各个视频文件的视频活跃度数据,确定每个图像采集设备的设备活跃度数据;其中,设备活跃度数据中至少包括设备活跃程度值;
基于各个图像采集设备的设备活跃程度值,从各个图像采集设备中确定出满足第一活跃条件的活跃设备。
在一些实施例中,所述构建模块还用于:
从所述第一历史时间段采集到的各个历史视频文件中,获取各个历史子时间段中包括的N个历史视频文件,其中所述第一历史时间段为所述历史子时间段的M倍,M为正整数;
将各个历史子时间段包括的第i个历史视频文件的历史视频活跃程度值进行求和运算,得到历史子时间段中第i个时间分段的历史视频活跃程度值,i=1,2,…,N;
基于第i个时间分段的历史视频活跃程度值、第i个时间分段的前一个至前P个时间分段的历史视频活跃程度值和第i个时间分段的后一个至后P个时间分段的历史视频活跃程度值,确定第i个时间分段的关联活跃程度值;
基于各个时间分段的历史视频活跃程度值和关联活跃程度值确定异常活跃检测模型。
在一些实施例,所述第二确定模块还用于:
获取各个视频活跃度数据确定各个当前视频文件的视频活跃程度值;
确定各个当前视频文件对应的目标时间分段,并获取所述目标时间分段的目标视频活跃程度值和目标关联活跃程度值;
将视频活跃程度值大于所述目标视频活跃程度值,且视频活跃程度值大于所述目标关联活跃程度值的当前视频文件确定为符合异常活跃条件的目标视频文件。
在一些实施例中,所述更新模块还用于:
基于所述其他视频文件的视频活跃程度值,对所述目标视频活跃程度值进行更新,得到更新后的目标视频活跃程度值;
基于更新后的目标视频活跃程度值,对所述目标时间分段、所述目标时间分段的前一个至前P个时间分段、所述目标时间分段的后一个至后P个时间分段的关联活跃程度值进行更新,得到所述目标时间分段、所述目标时间分段的前一个至前P个时间分段、所述目标时间分段的后一个至后P个时间分段更新后的关联活跃程度值。
在一些实施例中,所述装置还包括:
第四获取模块,用于获取预先设置的目标设备列表,并获取目标设备列表中各个目标设备的视频质量参数阈值;
第五获取模块,用于获取目标设备列表中各个目标设备采集到的当前视频文件和各个当前视频文件的属性信息;
第三确定模块,用于基于各个当前视频文件的属性信息,确定各个当前视频文件的视频质量参数;
第四确定模块,用于将各个视频质量参数中低于所述视频质量参数阈值的视频质量参数对应的目标设备确定为异常设备;
第三输出模块,用于输出所述异常设备的设备信息。
在一些实施例中,所述装置还包括:
第六获取模块,用于获取目标设备在第二历史时间段内采集到的各个视频文件;
第七获取模块,用于获取所述各个视频文件的属性信息;
第五确定模块,用于基于各个视频文件的属性信息,确定各个视频文件的视频质量参数;
第六确定模块,用于根据各个视频文件的视频质量参数和第二历史时间段内采集到的视频文件数量,确定目标设备的视频质量参数阈值。
在一些实施例中,所述视频文件的属性信息包括时长、帧数、码率、帧率,所述第五确定模块,还用于:
将所述属性信息中的时长和帧率进行乘积运算得到参考帧数;
将所述参考帧数、帧数和码率进行加权求和,得到所述视频文件的视频质量参数。
在一些实施例中,所述装置还包括:
第八获取模块,用于获取待查询的第二历史时间段、第二时间粒度和查询对象,所述查询对象为图像采集设备或所述环境;
第九获取模块,用于获取所述各个图像采集设备在第二历史时间段内以第一时间粒度上传的各个历史视频文件,并获取各个历史视频文件的历史视频活跃程度值;
第七确定模块,用于基于所述各个历史视频文件的历史视频活跃程度值,确定所述第二历史时间段内各个时间段对应的历史视频活跃程度值,其中所述时间段对应第二时间粒度;
第八确定模块,用于基于所述第二历史时间段内各个时间段对应的历史视频活跃程度值,确定所述查询对象在第二历史时间段内各个时间段对应的对象活跃程度值;
第四输出模块,用于输出所述查询对象在第二历史时间段内各个时间段对应的对象活跃程度值。
在一些实施例中,所述第四输出模块还用于:
当在第二历史时间段内第j个时间段对应的对象活跃程度值大于活跃阈值时,以第一显示方式输出所述第j个时间段对应的对象活跃程度值;其中,j=1,2,…,S,S为第二历史时间段内包含的时间段总数;
当所述第j个时间段对应的对象活跃程度值小于或者等于所述活跃阈值时,以第二显示方式输出所述第j个时间段对应的对象活跃程度值,所述第一显示方式与所述第二显示方式不同。
本申请实施例提供一种环境监控的处理设备,所述设备至少包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的方法。
本申请实施例提供一种存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的方法。
本申请实施例具有以下有益效果:
在获取环境中部署的各个图像采集设备采集的各个视频文件后,对各个视频文件进行智能分析,以得到表征各个视频文件的内容变化程度的视频活跃度数据,并且通过统计一定时长的视频文件的视频活跃度数据确定出满足第一活跃条件的活跃设备,并将活跃设备作为重点关注设备在监控终端优先播放,从而实现高效管控图像采集设备,并且输出活跃设备的设备信息和对应的活跃度数据能够提供多维的监控信息,提高环境监控的全面性。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明,在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)关键帧,指角色或者物体运动或变化中的关键动作所处的那一帧。
2)中值滤波,基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术,中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替,让周围的像素值接近的真实值,从而消除孤立的噪声点。
3)数据中心:指用于安置计算机系统及相关部件的设施,例如电信和存储系统;
4)视频活跃度:视频中活动内容帧数与总帧数的比例;
5)在活设备:当前可实时直播及录像的在线摄像头;
6)离线设备:由于网络或设备本身因素无法继续直播及录像的摄像头;
7)活跃设备:视频活跃度高于某个特定阈值的摄像头。
8)活跃摄像头:摄像头画面中有人或物在进行活动,在历史回放时可以看到移动的画面。
为了更好地理解本申请实施例中提供的多媒体数据处理方法,首先对相关技术中大规模摄像头安防场景的管控方案及存在的缺点进行说明。
在大规模摄像头安防场景中,需要人工设置安保人员每天观看哪些摄像头画面;并且现有的监控系统,需要安保人员时刻观看摄像头画面,确定是否有异常情况。另外,使用静态标记摄像头离线的方式,在人工刷新列表时才能确定摄像头的状态。
相关技术中大规模摄像头安防场景的管控方案存在的缺点包括:
第一、人工设置哪些摄像头需要观看,不能解决部分摄像头临时活跃却没有被观看的问题,容易造成遗漏,带来安全隐患。
第二、安保人员时刻观看摄像头,需要投入很多人力。
第三、采用静态标记摄像头离线的方式,在摄像头数量非常多的情况下,很难做到及时告知。
基于此,本申请实施例提出了一种基于对摄像头历史视频内容活跃度分析,对摄像头监控区域发生人流异常等告警以及针对数据中心所有在线或重点摄像头,因故障离线快速通知安保人员的方法,能够辅助安保人员快速定位安全问题。
下面说明实现本申请实施例的装置的示例性应用,本申请实施例提供的装置可以实施为终端设备。下面,将说明装置实施为终端设备时涵盖终端设备的示例性应用。
参见图1,图1A为本申请实施例环境监控的处理方法的网络架构示意图,如图1A所示,在该网络架构中至少包括图像采集设备100(在图1中示例性地示出了图像采集设备100-1、100-2和100-3)、环境监控的处理设备400、监控终端200和网络300。为实现支撑一个示例性应用,图像采集设备100和监控终端200分别通过网络300连接环境监控的处理设备400,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
图像采集设备100可以是摄像头,进一步地,可以是红外半球摄像头,还可以是针孔摄像头、有机板型摄像头等等。环境监控的处理设备400可以是数据中心,还可以是服务器,在一些实施例中,环境监控的处理设备400还可以是监控终端200,也就是说环境监控的处理设备400和监控终端200可以是同一个设备。
图像采集设备100实时采集监控视频,并将采集到的视频分段保存到处理设备中的分布式存储系统,环境监控的处理设备400从分布式存储系统中抽取视频文件,并进行活跃度分析,进而确定出活跃设备,以将活跃设备作为重点关注摄像头,并且在监控终端200中优先播放这些重点关注摄像头采集到的监控画面。另外,环境监控的处理设备400在对各个图像采集设备100采集到的视频文件进行活跃度分析后,还可以按照配置时间粒度(小时、天、周或月)对该环境中部署的所有摄像头进行分析、汇总,区分出TOP级别的活跃设备和非活跃设备,并将活跃设备和非活跃设备的活跃度数据推送到监控终端200,在监控终端200中进行报表展示,为安保人员提供更多维度的监控信息,节约定位安全问题的人力成本。
本申请实施例涉及的环境监控的处理方法对应的网络架构系统可以是由客户端、多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。
以分布式系统为区块链系统为例,参见图1B,图1B是本申请实施例提供的分布式系统101应用于区块链系统的一个可选的结构示意图,由多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)和客户端形成,节点之间形成组成的点对点(P2P,PeerTo Peer)网络,P2P协议是一个运行在传输控制协议(TCP,Transmission ControlProtocol)协议之上的应用层协议。在分布式系统中,任何机器如服务器、终端都可以加入而成为节点,节点包括硬件层、中间层、操作系统层和应用层。
参见图1B示出的区块链系统中各节点的功能,涉及的功能包括:
1)路由,节点具有的基本功能,用于支持节点之间的通信。
节点除具有路由功能外,还可以具有以下功能:
2)应用,用于部署在区块链中,根据实际业务需求而实现特定业务,记录实现功能相关的数据形成记录数据,在记录数据中携带数字签名以表示任务数据的来源,将记录数据发送到区块链系统中的其他节点,供其他节点在验证记录数据来源以及完整性成功时,将记录数据添加到临时区块中。
例如,应用实现的业务包括:
2.1)钱包,用于提供进行电子货币的交易的功能,包括发起交易(即,将当前交易的交易记录发送给区块链系统中的其他节点,其他节点验证成功后,作为承认交易有效的响应,将交易的记录数据存入区块链的临时区块中;当然,钱包还支持查询电子货币地址中剩余的电子货币;
2.2)共享账本,用于提供账目数据的存储、查询和修改等操作的功能,将对账目数据的操作的记录数据发送到区块链系统中的其他节点,其他节点验证有效后,作为承认账目数据有效的响应,将记录数据存入临时区块中,还可以向发起操作的节点发送确认。
2.3)智能合约,计算机化的协议,可以执行某个合约的条款,通过部署在共享账本上的用于在满足一定条件时而执行的代码实现,根据实际的业务需求代码用于完成自动化的交易,例如查询买家所购买商品的物流状态,在买家签收货物后将买家的电子货币转移到商户的地址;当然,智能合约不仅限于执行用于交易的合约,还可以执行对接收的信息进行处理的合约。
3)区块链,包括一系列按照产生的先后时间顺序相互接续的区块(Bloc k),新区块一旦加入到区块链中就不会再被移除,区块中记录了区块链系统中节点提交的记录数据。
参见图1C,图1C是本申请实施例提供的区块结构(Block Structure)一个可选的示意图,每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值,各区块通过哈希值连接形成区块链。另外,区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了相关的信息,用于验证其信息的有效性(防伪)和生成下一个区块。
本申请实施例提供的装置可以实施为硬件或者软硬件结合的方式,下面说明本申请实施例提供的装置的各种示例性实施。
环境监控的处理设备(以下简称为处理设备)400可以是单个服务器、还可以是多个服务器构成的服务器集群,当然也可以是云服务器、数据管理中心等。其中,云服务器是一种基于云技术的、简单高效、安全可靠、处理能力可弹性伸缩的计算服务。为了更好地理解本申请实施例,以下对云技术以及云安全进行相关说明。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
狭义的云计算是指互联网技术(IT,Internet Technology)基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源;广义的云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的,也可以是任意其他的服务,云计算具有超大规模、虚拟化、安全可靠等优点。对于网络运营商而言,云计算可以使运营成本和操作维护成本大大降低,达到节能减排的目的,除此之外,还可以扩大运营的范围,而不仅仅受限于管道运营。在云计算环境下,一切资源都是可以运营的,都可以作为服务提供,包括应用程序、软件、平台、处理能力、存储、网络、计算资源以及其他基础设施等。对于用户而言,云计算使得随时、随地消费服务成为可能,用户可以不需要大量投资而获得运营业务所需的IT资源,完全可以根据自己的需求来租用,IT资源像水、电和煤气一样,按需获取和计费。
云计算一般有三种主要的服务模式,基础设施即服务(IaaS,hfrastructure as aService,)、平台即服务(PaaS,Platform as a Service)和软件即服务(Saa S,Softwareas a Service)。
在云计算场景下,大量的用户信息都集中在云计算提供商,与传统的互联网业务相比,其信息更集中、信息资产价值更高、面临的攻击也会更多。云计算的安全解决方案需要根据不同业务的差异化安全需求,提供安全解决方案。而传统上针对单一业务所制定的安全解决方案,无法适应云计算平台高度共享的特性,因此,需要云计算安全在系统级架构上进行创新,适应平台的新特性,满足平台上所有业务的个性化安全需求。
云业务和云平台的资源在云计算环境下,被高度共享。面对多样化需求和多样化使用环境的用户,单一安全等级的保护方案已经不适合云计算环境。云计算迫切需要在安全上有新的机制,能够为不同业务,不同用户提供细粒度、个性化的安全解决方案,达到安全能力按需供给的目的。
根据图2示出的处理设备400的示例性结构,可以预见处理设备400的其他的示例性结构,因此这里所描述的结构不应视为限制,例如可以省略下文所描述的部分组件,或者,增设下文所未记载的组件以适应某些应用的特殊需求。
图2所示的处理设备400包括:至少一个处理器410、存储器440、至少一个网络接口420和用户接口430。处理设备400中的每个组件通过总线系统450耦合在一起。可理解,总线系统450用于实现这些组件之间的连接通信。总线系统450除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统450。
用户接口430可以包括显示器、键盘、鼠标、触感板和触摸屏等。
存储器440可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)。易失性存储器可以是随机存取存储器(RAM,Random Acces s Memory)。本申请实施例描述的存储器440旨在包括任意适合类型的存储器。
本申请实施例中的存储器440能够存储数据以支持处理设备400的操作。这些数据的示例包括:用于在处理设备400上操作的任何计算机程序,如操作系统和应用程序。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
作为本申请实施例提供的方法采用软件实施的示例,本申请实施例所提供的方法可以直接体现为由处理器410执行的软件模块组合,软件模块可以位于存储介质中,存储介质位于存储器440,处理器410读取存储器440中软件模块包括的可执行指令,结合必要的硬件(例如,包括处理器410以及连接到总线450的其他组件)完成本申请实施例提供的方法。
作为示例,处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
将结合前述的实现本申请实施例的装置的示例性应用和实施,说明实现本申请实施例的方法。
参见图3,图3为本申请实施例提供的环境监控的处理方法的一个实现流程示意图,可以应用于图1所示的处理设备400,将结合图3示出的步骤进行说明。
步骤S101,获取环境中部署的各个图像采集设备以第一时间粒度上传的各个视频文件。
这里,所述环境可以是工厂、学校、科研部门、仓库、地铁等室内和/或室外场所。第一时间粒度一般为将视频文件进行分段存储的存储时长,可以是安防系统的默认设置,也可以是安防人员根据安保需求进行人为设置的,例如可以是15分钟、10分钟。
步骤S101在实现时,可以是处理设备从分布式存储系统中获取图像采集设备以第一时间粒度上传的视频文件。
步骤S102,对所述各个视频文件中的内容进行分析,对应得到表征各个视频文件的内容变化程度的视频活跃度数据。
这里,步骤S102在实现时,首先要将各个视频文件进行解码,得到各个帧图像,然后再从各个帧图像中获取到关键帧,进而再确定多个关键帧中满足一定条件的活跃帧,并根据活跃帧的个数、各个活跃帧的属性信息确定表征视频文件的内容变化程度的视频活跃度数据。
在本申请实施例中,视频活跃度数据可以包括活跃程度值、活跃帧数和活跃帧所占用空间大小,其中活跃程度值是根据视频文件中的关键帧数和活跃帧数确定的。
步骤S103,在达到统计条件时,根据统计时间段中各个视频文件的视频活跃度数据,从各个图像采集设备中确定出满足第一活跃条件的活跃设备。
这里,达到统计条件在本申请实施例中可以时达到预设的统计时间段,统计时间段可以是预先配置时间粒度,例如可以是一小时、一天、一周或一个月。在一些实施例中,达到统计条件还可以是接收到安防人员发出的统计指令。
步骤S103在实现时,在达到统计条件时,确定统计时间段,并根据所述统计时间段内每个图像采集设备上传的各个视频文件的视频活跃度数据确定出每个图像采集设备的设备活跃度数据,再基于每个图像采集设备的设备活跃度数据确定出满足第一活跃条件的活跃设备。进一步地,可以是基于每个图像采集设备的设备活跃程度值确定满足第一活跃条件的活跃设备。
步骤S104,输出所述活跃设备的设备信息和对应的活跃度数据,以使得监控终端优先播放所述活跃设备采集到的视频文件。
在本申请实施例中,当处理设备为服务器或者数据中心系统时,输出所述活跃设备的设备信息和对应的活跃度数据可以是将活跃设备的设备信息和对应的活跃度数据发送给监控终端;在一些实施例中,当处理设备为监控终端时,那么输出活跃设备的设备信息和对应的活跃度数据可以是将设备信息和对应的活跃度数据显示在监控终端的图形界面中。
在本申请实施例提供的环境监控的处理方法中,在获取环境中部署的各个图像采集设备采集的各个视频文件后,对各个视频文件进行智能分析,以得到表征各个视频文件的内容变化程度的视频活跃度数据,并且通过统计一定时长的视频文件的视频活跃度数据确定出满足第一活跃条件的活跃设备,并将活跃设备作为重点关注设备在监控终端优先播放,从而实现高效管控图像采集设备,并且输出活跃设备的设备信息和对应的活跃度数据能够提供多维的监控信息,提高环境监控的全面性。
在一些实施例中,所述视频活跃度数据至少包括活跃程度值、活跃帧数和活跃帧所占用空间大小,对应地,图3中所示的步骤S102可以通过步骤S1021至步骤S1024实现,以下对各步骤进行说明。
步骤S1021,获取每个视频文件的各个关键帧。
这里,步骤S1021在实现时,首先要将各个视频文件进行解码,得到视频文件中的每个帧图像,然后再基于每个帧图像中表征帧类型的属性信息,从视频文件中包括的所有帧图像中提取出关键帧。
在一些实施例中,可以是基于表征帧类型的“pict_type”这一属性信息确定各个帧图像是否为关键帧,进一步地,当一个帧图像的“pict_type”对应的值为PICT_TYPE_I时,那么表征该帧为关键帧。
步骤S1022,从所述各个关键帧中确定满足第二活跃条件的活跃帧和活跃帧数。
这里,步骤S1022可以通过以下步骤实现:
步骤221,对所述各个关键帧进行二值化处理,得到各个二值化关键帧。
在对各个关键帧进行二值化处理时,从第二个关键帧开始至最后一个关键帧,将每一个关键帧与自身的前一个关键帧进行逐像素点的差值运算,并得到差值绝对值,然后再将各个像素点对应的差值绝对值与一差值阈值进行比较,当像素点对应的差值绝对值大于该差值阈值时,则将该像素点的像素值置为第一预设值,当像素点对应的差值绝对值小于或者等于差值阈值时,将该像素点的像素值置为第二预设值,第一预设值与第二预设值不同。
举例来说,第二个关键帧的第一个像素点的像素值为80,第一个关键帧的第一个像素点的像素值为125,那么第二个关键帧中的第一个像素点对应的差值绝对值为45,假设差值阈值为25,第一预设值为250,第二预设值为0,那么由于差值绝对值45大于差值阈值25,此时将第二个关键帧中的第一个像素点的像素值置为250。
在本申请实施例中,由于第一个关键帧没有前一帧,此时对第一个关键帧不进行二值化处理,在一些实施例中,还可以通过其他方式将第一个关键帧进行二值化处理,例如可以是将第一个关键帧的各个像素点的像素值与预设阈值比较,将大于该预设阈值的像素点的像素值置为第一预设值,将小于或者等于该预设阈值的像素点的像素值置为第二预设值。
在一些实施例中,还可以是从第一个关键帧开始至倒数第二个关键帧为止,将每个关键帧与自身的后一个关键帧进行逐像素点的差值运算,并得到差值绝对值,然后再将各个像素点对应的差值绝对值与一差值阈值进行比较,当像素点对应的差值绝对值大于该差值阈值时,则将该像素点的像素值置为第一预设值,当像素点对应的差值绝对值小于或者等于差值阈值时,将该像素点的像素值置为第二预设值。
步骤222,对所述各个二值化关键帧进行中值滤波,得到滤波后的二值化关键帧。
这里,可以是使用大小为3的滤波窗口对各个二值化关键帧进行中值滤波,得到滤波后的二值化关键帧。当然滤波窗口的大小可以是根据实际需求进行设置的,例如滤波窗口大小可以是5、7、9等,但是要保证窗口大小为大于1的奇数。
步骤223,对所述滤波后的二值化关键帧进行像素值求和,得到各个滤波后的二值化关键帧的像素总和。
步骤224,将像素总和满足第二活跃条件的关键帧确定为活跃帧。
这里,第二活跃条件可以是大于和值阈值,其中,和值阈值是根据视频的分辨率确定的,在实际实现中,和值阈值可以根据公式(1-1)计算:
Ta=r×c×0.001×255(1-1);
其中,在公式(1-1)中,Ta为和值阈值,r×c为视频分辨率。例如,当视频分辨率为720×1280时,根据公式(1-1)计算得到的和值阈值为235008,那么,将像素总和大于235008的关键帧确定为活跃帧。
步骤S1023,基于每个视频文件中的活跃帧数和关键帧数,确定每个视频文件的视频活跃程度值。
在实际应用过程中,视频文件的视频活跃程度值为该视频文件的活跃帧数与关键帧数的比值。
步骤S1024,基于每个视频文件中的活跃帧和活跃帧数确定活跃帧所占用的空间大小。
这里,活跃帧所占用的空间大小可以是根据每个活跃帧占用的空间大小与活跃帧数的乘积,例如,每个活跃帧占用的空间大小为2M,一个有20个活跃帧,那么该视频文件中活跃帧所占用的空间大小为40M。
通过上述步骤S1021至步骤S1024就完成了根据视频文件中相邻关键帧的差异大小确定视频文件的活跃度数据的过程,当相邻关键帧的差异较大时即认为存在活跃帧,当视频文件中活跃帧在关键帧占用的比例越高说明视频文件的活跃程度越高。
在一些实施例中,图3所示的步骤S103可以通过以下的步骤S1031至步骤S1032实现,以下结合各步骤进行说明。
步骤S1031,在达到统计条件时,根据每个图像采集设备在统计时间段内上传的各个视频文件的视频活跃度数据,确定每个图像采集设备的设备活跃度数据。
在本申请实施例中,统计条件可以是每七天统计一次,那么在每次统计完成后,可以启动计时器进行计时,在计时时长达到统计条件之前,处理设备在图像采集设备上传了视频文件之后,对各个视频文件进行分析,得到对应的活跃度数据,在计时时长达到统计条件时,认为达到了统计条件,此时处理设备将每个图像采集设备上传的视频文件的活跃度数据进行汇总,得到每个图像采集设备的设备活跃度数据。
设备活跃度数据中至少包括设备活跃程度值,还可以包括活跃帧总数、活跃帧占用的总空间大小,进一步地,设备活跃程度值可以是图像采集设备在统计时间段内上传的所有视频文件的视频活跃程度值的总和,还可以是像采集设备在统计时间段内上传的所有视频文件的视频活跃程度值的均值。
步骤S1032,基于各个图像采集设备的设备活跃程度值,从各个图像采集设备中确定出满足第一活跃条件的活跃设备。
这里,第一活跃条件可以是设备活跃程度值最高的前W个。步骤S1032在实现时,可以将各个图像采集设备的设备活跃程度值进行从大到小的排序,将排序后的前W个设备活跃程度值对应的图像采集设备确定为满足第一活跃条件的活跃设备。
在一些实施例中,在步骤S1031之前,可以在统计开始后的一段时长中根据各个图像采集设备上传视频文件的情况确定出在活设备和离线设备,进一步地,如果统计开始后,两个小时内可以收到某一图像采集设备按照第一时间粒度上传的各个视频文件,可以认为该设备为在活设备(也可以称为在线设备),如果在两个小时内都没有接收到一图像采集设备上传的各个视频文件,则认为该图像采集设备为离线设备。那么步骤S1031在实现时,可以是只分析每个在活设备上传的各个视频文件的视频活跃度数据,并进行后续的处理过程。当然,也有可能存在一个图像采集设备在统计开始时为离线状态,在一段时间后又进入在线状态,那么为了保证统计数据的完整性,可以如步骤S1031所述的,分析每个图像采集设备上传的各个视频文件的视频活跃度数据,并进行后续的处理过程。
在一些实施例中,如图4所示,在步骤S104之后,所述方法还包括:
步骤S105,获取所述各个图像采集设备在第一历史时间段内以第一时间粒度上传的各个历史视频文件,并获取各个历史视频文件的历史视频活跃度数据。
这里,第一历史时间段对应的第一时长可以是安防系统的默认设置时长,还可以是安防人员人为设置的,在本申请实施例中,第一历史时间段可以以当前时刻为终点的,例如,第一时长可以为7天,当前时刻为2019年8月28日0点,那么第一历史时间段为2019年8月22日0点至2019年8月28日0点。在一些实施例中,第一历史时间段可以是以当前时刻所在日期的某一个时间点为终点,例如可以是以当前时刻所在日期的0点为终点,假设当前时刻为2019年8月28日16点,那么第一历史时间段为2019年8月22日0点至2019年8月28日0点。
处理设备获取到各个历史视频文件后,可以通过与步骤S1021至步骤S1024类似的过程,得到各个历史视频文件的历史视频活跃度数据。
步骤S106,根据所述各个历史视频活跃度数据构建异常活跃检测模型。
这里,图4中所示的步骤S106可以通过以下步骤实现:
步骤S1061,获取第一历史时间段的每个历史子时间段中包括的N个历史视频文件。
这里,第一历史时间段对应的第一历史时长大于历史子时间段对应的历史子时长,例如第一历史时长可以是7天,历史子时长可以是24小时。假设第一历史时间段为2019年8月22日0点至2019年8月28日0点,那么,第一个历史子时间段为2019年8月22日0点至2019年8月23日0点,第二个历史子时间段为2019年8月23日0点至2019年8月24日0点,…,第七个历史子时间段为2019年8月27日0点至2019年8月28日0点。
每个历史子时间段中包括的历史视频文件的个数N为第二历史时长除以第一时间粒度并进行向下取整,例如,第二历史时长为24小时,第一时间粒度为15分钟,那么N为96。
步骤S1062,将各个历史子时间段包括的第i个历史视频文件的历史视频活跃程度值进行均值计算,得到历史子时间段中第i个时间分段的历史视频活跃程度值。
这里,i=1,2,…,N。步骤S1062在实现时,可以是将各个历史子时间段包括的第i个历史视频文件的历史视频活跃程度值进行算术均值运算,得到第i个时间分段的历史活跃程度值,在一些实施例中,还可以是将各个历史子时间段包括的第i个历史视频文件的历史视频活跃程度值进行加权求和运算,得到第i个时间分段的历史活跃程度值。
例如,一共有7个历史子时间段,每个历史子时间段包括96个时间分段,第一个时间分段为0:01-0:15,第二个时间分段为0:16-0:30,…,第96个时间分段为23:46-0:00。并且第一个历史子时间段中第一个历史视频文件的历史视频活跃程度值为0.2,第二个历史子时间段中第一个历史视频文件的历史视频活跃程度值为0.33,第三个历史子时间段中第一个历史视频文件的历史视频活跃程度值为0.5,第四个历史子时间段中第一个历史视频文件的历史视频活跃程度值为0.4,第五个历史子时间段中第一个历史视频文件的历史视频活跃程度值为0.25,第六个历史子时间段中第一个历史视频文件的历史视频活跃程度值为0.3,第七个历史子时间段中第一个历史视频文件的历史视频活跃程度值为0.27,如果是通过算术均值运算,得到第一个时间分段的历史活跃程度值时,那么第一个时间分段的历史活跃程度值为(0.2+0.33+0.5+0.4+0.25+0.3+0.27)/7=0.32;如果是通过加权求和运算,假设工作日的权值为0.4,节假日的权值为0.6,那么第一个时间分段的历史活跃程度值为0.2*0.4+0.33*0.4+0.5*0.6+0.4*0.6+0.25*0.4+0.3*0.4+0.27*0.4=1.08。
步骤S1063,基于第i个时间分段的历史视频活跃程度值、第i个时间分段的前一个至前P个时间分段的历史视频活跃程度值和第i个时间分段的后一个至后P个时间分段的历史视频活跃程度值,确定第i个时间分段的关联活跃程度值;
这里,P为正整数,且P<N/2。第i个时间分段的关联活跃程度值RAi可以通过公式(1-2)实现:
其中,Ai为第i个时间分段的历史视频活跃程度值。
通过将某一个时间分段和该时间分段的前几个或后几个时间分段的历史视频活跃程度值进行均值计算,能够将某一时间分段与前后几个时间分段建立关联,从而为该时间分段的异常判断提供参看,避免在某个时间分段出现突发活跃事件时,仅通过单独的一个时间分段判断是否异常时造成的误判。
步骤S1064,基于各个时间分段的历史视频活跃程度值和关联活跃程度值确定异常活跃检测模型。
这里,将各个时间分段的历史视频活跃程度值和关联活跃程度值最为异常活跃检测模型的检测参数,从而确定异常活跃检测模型。
步骤S107,获取各个图像采集设备当前上传的各个当前视频文件,并获取各个当前视频文件的视频活跃度数据。
这里,在本申请实施例中,图像采集设备当前上传的当前视频文件是从当前时刻为终点,往前一个时间粒度的这一时间段内采集到的监控视频。例如,当前时刻为13:15分,那么此时上传的是13:01-13:15的视频文件。处理设备通过与步骤S1021至步骤S1024类似的实现过程,对各个当前视频文件进行分析,得到各个当前视频文件的视频活跃度数据。
步骤S108,基于各个当前视频文件的视频活跃度数据和所述异常活跃检测模型,确定出符合异常活跃条件的目标视频文件。
在一些实施例中,图4中所示的步骤S108可以通过步骤S1081至步骤S1083实现:
步骤S1081,获取各个当前视频文件的视频活跃程度值。
这里,由于已经获取到各个当前视频文件的视频活跃度数据,那么就可以从各个当前视频文件的视频活跃度数据中获取各个当前视频文件的视频活跃程度值。
步骤S1082,确定各个当前视频文件对应的目标时间分段,并基于所述异常活跃检测模型,获取所述目标时间分段的视频活跃程度值和关联活跃程度值。
这里,承接步骤S107中的举例,假设当前视频文件为13:01-13:15这一时间段采集到的监控视频,那么当前视频文件对应的目标时间分段即为13:01-13:15,然后再基于异常活跃检测模型,获取该目标时间分段的视频活跃程度值和关联活跃程度值,假设该目标时间分段的视频活跃程度值为0.5,关联活跃程度值为0.7。
步骤S1083,将视频活跃程度值大于所述目标时间分段的视频活跃程度值,且视频活跃程度值大于所述目标时间分段的关联活跃程度值的当前视频文件确定为符合异常活跃条件的目标视频文件。
这里,在确定符合异常活跃条件的目标视频文件时,当一个视频文件的视频活跃程度值小于或者等于目标时间分段的视频活跃程度值时,那么可以确定该视频文件不是异常活跃的目标视频文件,当一个视频文件的视频活跃程度值大于目标时间分段的视频活跃程度值时,可能说明出现了突发情况,与以往此时段内的经验不同,此时还需要再进一步判断该视频文件的视频活跃程度值是否大于该时间段的关联活跃程度值,当该视频文件的视频活跃程度值大于该时间段的关联活跃程度值时才认为是发生了异常情况,需要报告安防人员。
步骤S109,输出所述目标视频文件对应的图像采集设备的设备信息和文件标识信息。
这里,步骤S109在实现时,可以是将目标视频文件对应的图像采集设备的设备信息和文件标识信息发送给监控终端,还可以是将设备信息和文件标识信息显示在显示设备中,从而能够及时通知安防人员发生了不同于以往情况的突发情况,以提醒安防人员注意。
需要说明的是,步骤S105至步骤S109的执行顺序并不限定为如图4所示,在一些实施例中,步骤S105至步骤S109还可以在步骤S101之前执行,在本申请实施例中不进行限定。
在一些实施例中,在步骤S109之后,所述方法还包括:
步骤S110,获取其他视频文件的视频活跃度数据。
这里,所述其他视频文件为各个当前视频文件中除去目标视频文件之外的视频文件。
步骤S111,基于所述其他视频文件的视频活跃度数据,对所述异常活跃检测模型进行更新,得到更新后的异常活跃检测模型。
在一些实施例中,步骤S111可以通过以下步骤实现:
步骤S1111,基于所述其他视频文件的视频活跃程度值,对所述目标时间分段的视频活跃程度值进行更新,得到更新后的视频活跃程度值。
这里,假设目标时间分段的视频活跃程度值为0.5,是通过7个历史子时间段的历史视频活跃程度值算术求均值计算得到的,其他视频文件的视频活跃程度值为0.6,那么此时基于所述其他视频文件的视频活跃程度值,对所述目标时间分段的视频活跃程度值进行更新时,也即将8个历史子时间段的历史视频活跃程度值进行算术求均值计算,更新后的视频活跃程度值为(0.5*7+0.6)/8=0.51。
步骤S1112,基于更新后的视频活跃程度值,对所述目标时间分段、所述目标时间分段的前一个至前P个时间分段、所述目标时间分段的后一个至后P个时间分段的关联活跃程度值进行更新,得到所述目标时间分段、所述目标时间分段的前一个至前P个时间分段、所述目标时间分段的后一个至后P个时间分段更新后的关联活跃程度值。
这里,由于目标时间分段的视频活跃程度值发生了变化,而目标时间分段的视频活跃程度值会影响目标时间分段、目标时间分段的前一个至前P个时间分段、目标时间分段的后一个至后P个时间分段的关联活跃程度值,因此需要根据更新后的目标时间分段的视频活跃程度值对这几个相邻时间分段的关联活跃程度值进行更新。从而使得异常活跃检测模型的参数是与当前的实际监控情况紧密相关的,保证异常活跃检测模型的及时更新,降低误判概率。
在一些实施例中,所述方法还包括:
步骤S21,获取预先设置的目标设备列表,并获取目标设备列表中各个目标设备的视频质量参数阈值。
这里,目标设备列表中的目标设备可以是需要重点关注的设备,可以是由安防人员设置的需要重点监控的地点的图像采集设备,还可以是通过步骤S103确定出的活跃设备。
视频质量参数阈值可以表征线路的稳定状况或者数据包的传输状况,是通过视频文件的属性信息确定出来的。
为了更好地理解本实施例中的相关步骤,下面对确定目标设备的视频质量参数阈值的实现过程,也即下述的步骤S31至步骤S34进行说明。
步骤S31,获取目标设备在第二历史时间段内上传的各个视频文件。
这里,第二历史时间段对应的第二历史时长可以是安防系统的默认设置时长,还可以是安防人员人为设置的,在本申请实施例中,第一历史时间段可以以当前时刻为终点的,也可以是以当前时刻所在日期的某一个时间点为终点,例如可以是以当前时刻所在日期的0点为终点。
步骤S32,获取所述各个视频文件的属性信息。
这里,视频文件的属性信息可以包括时长、帧数、码率、帧率。视频文件的属性信息可以是指视频元信息,可以是在获取到图像采集设备上传的视频文件之后就获取到并存储在相应的数据库中的。
步骤S33,基于各个视频文件的属性信息,确定各个视频文件的视频质量参数。
在一些实施例中,步骤S33可以通过以下步骤实现:
步骤S331,将所述属性信息中的时长和帧率进行乘积运算得到参考帧数;
这里,需要说明的是时长是以秒为单位的。参考帧数=时长(秒)*帧率。
步骤S332,将所述参考帧数、帧数和码率进行加权求和,得到所述视频文件的视频质量参数。
这里,步骤S332在实现时,可以是利用视频质量参数=参考帧数*a1+帧数*a2+码率*a3实现,其中,a1、a2和a3分别为参考帧数、实际帧数和码率对应的权值,a1、a2和a3均为大于0且小于1的有理数,并且a1+a2+a3=1。
步骤S34,根据各个视频文件的视频质量参数和第二历史时间段内上传的视频文件数量,确定目标设备的视频质量参数阈值。
这里,在计算出每个视频文件的视频质量参数后,可以将第二历史时间段内上传的视频文件的视频质量参数进行求和,并将得到的视频质量参数和值除以第二历史时间段上传的视频文件数量,能够得到该目标设备的视频质量参数,进一步地,可以将该目标设备的视频质量参数与预设的百分比相乘得到该目标设备的视频质量参数阈值。
步骤S22,获取目标设备列表中各个目标设备采集到的当前视频文件和各个当前视频文件的属性信息。
步骤S23,基于各个当前视频文件的属性信息,确定各个当前视频文件的视频质量参数;
这里,步骤S23的实现过程与步骤S33的实现过程是类似的,可以参考步骤S33的实现过程。
步骤S24,将各个视频质量参数中低于所述视频质量参数阈值的视频质量参数对应的目标设备确定为异常设备。
这里,如果某个目标设备上传的当前视频文件的视频质量参数低于该目标设备的视频质量参数阈值,说明该目标设备与处理设备之间的线路不稳定,或者存在丢包严重的现象,此时将该目标设备确定为异常设备。
步骤S25,输出所述异常设备的设备信息。
这里,输出异常设备的设备信息可以是输出异常设备的设备号、所在位置等信息。进一步地,输出异常设备的设备信息可以是处理设备将异常设备的设备信息发送给监控终端。在一些实施例中,输出异常设备的设备信息还可以是将异常设备的设备信息显示于显示屏中。
在一些实施例中,在确定出异常设备后,还可以进一步分析可能的异常原因,在输出异常设备的信息时,还可以输出异常原因,以便安防人员能够快速定位并解决目标设备的异常情况。特别地,当异常设备的视频质量参数为0时,说明该异常设备为离线状态,此时也可以输出设备离线的提示信息。
在一些实施例中,所述方法还包括:
步骤S41,获取待查询的第三历史时间段、第二时间粒度和查询对象,所述查询对象为图像采集设备或所述环境。
这里,第三历史时间段、第二时间粒度和查询对象都可以是安防人员或者用户根据查询需要进行设置的,但是在人为设置时,可以为用户提供可设置的参考值,当然第三历史时间段、第二时间粒度和查询对象也可以是系统默认设置的。
步骤S42,获取所述各个图像采集设备在第三历史时间段内上传的各个历史视频文件,并获取各个历史视频文件的历史视频活跃程度值。
这里,步骤S42的实现过程以步骤S102的实现过程是类似的,此处可参考步骤S102的实现过程。
步骤S43,基于所述各个历史视频文件的历史视频活跃程度值,确定所述第三历史时间段内的各个子时间段对应的历史视频活跃程度值,其中所述时间段对应第二时间粒度。
这里,由于图像采集设备在上传视频文件时,是以第一时间粒度进行上传的,当第一时间粒度小于第二时间粒度时,一般会要求第二时间粒度为第一时间粒度的整数倍,例如第一时间粒度为15分钟,第二时间粒度可以为1个小时。
当第一时间粒度小于第二时间粒度时,确定各个子时间段对应的历史视频活跃程度值可以是将各个子时间段中包括的多个历史视频文件的的视频活跃程度值进行求和,还可以是将各个子时间段中包括的多个历史视频文件的的视频活跃程度值进行求和后再取均值。
当第一时间粒度大于第二时间粒度时,一般是将可以再将各个历史视频文件进行划分,划分为第二时间粒度的历史视频子文件,再进行活跃度分析,得到各个历史视频子文件的视频活跃程度值。
步骤S44,基于所述第三历史时间段内各个子时间段对应的历史视频活跃程度值,确定所述查询对象在第三历史时间段内各个子时间段对应的对象活跃程度值。
这里,当查询对象为单个图像采集设备时,那么第三历史时间段内各个子时间段对应的历史视频活跃程度值,即为查询对象在第三历史时间段内各个子时间段对应的对象活跃程度值,当查询对象为整个环境时,那么查询对象在第三历史时间段内各个子时间段对应的对象活跃程度值即为环境中部署的所有图像采集设备在第三历史时间段内各个子时间段对应的历史视频活跃程度值的和值。
步骤S45,输出所述查询对象在第三历史时间段内各个时间段对应的对象活跃程度值。
在一些实施例中,步骤S45可以通过以下步骤实现:
步骤S451,当在第三历史时间段内第j个子时间段对应的对象活跃程度值大于活跃阈值时,以第一显示方式输出所述第j个时间段对应的对象活跃程度值;其中,j=1,2,…,S,S为第三历史时间段内包含的时间段总数;
步骤S452,当所述第j个子时间段对应的对象活跃程度值小于或者等于所述活跃阈值时,以第二显示方式输出所述第j个时间段对应的对象活跃程度值,所述第一显示方式与所述第二显示方式不同。
在实现过程中,第一显示方式可以是将对象活跃程度值大于活跃阈值的时间段以红色显示,第二显示方式可以是将对象活跃程度值小于或者等于活跃阈值的时间段以蓝色显示。在一些实施例中,第一显示方式可以是将对象活跃程度值大于活跃阈值的时间段增加预设的图标,例如可以是黑色圆点,红色五星等图标,第二显示方式可以是将对象活跃程度值小于或者等于活跃阈值的时间段以常规形式显示。这样可以方便安防人员能够快速了解在哪些时间段是有对象活动或者说在哪些时间段是对象活动频繁的。
基于前述的实施例,本申请实施例再提供一种环境监控的处理方法,应用于图1所示的网络架构,图5为本申请实施例提供的环境监控的处理方法的再一种实现流程示意图,如图5所示,所述方法包括:
步骤S501,环境中部署的多个图像采集设备采集监控视频。
步骤S502,环境中部署的各个图像采集设备将采集到的监控视频文件发送到处理设备。
这里,在本申请实施例中图像采集设备是以第一时间粒度将视频文件发送到处理设备的。所述环境可以是工厂、学校、科研部门、仓库、地铁等室内和/或室外场所。第一时间粒度一般为将视频文件进行分段存储的存储时长,可以是安防系统的默认设置,也可以是安防人员根据安保需求进行人为设置的,例如可以是15分钟、10分钟、5分钟等。
步骤S503,处理设备对所述各个视频文件中的内容进行分析,对应得到表征各个视频文件的内容变化程度的视频活跃度数据。
这里,步骤S503在实现时,首先要将各个视频文件进行解码,得到各个帧图像,然后再从各个帧图像中获取到关键帧,进而再确定多个关键帧中满足一定条件的活跃帧,并根据活跃帧的个数、各个活跃帧的属性信息确定表征视频文件的内容变化程度的视频活跃度数据。
在本申请实施例中,视频活跃度数据可以包括活跃程度值、活跃帧数和活跃帧所占用空间大小,其中活跃程度值是根据视频文件中的关键帧数和活跃帧数确定的。
步骤S504,在达到统计条件时,处理设备根据所述各个视频文件的视频活跃度数据,从各个图像采集设备中确定出满足第一活跃条件的活跃设备。
达到统计条件在本申请实施例中可以时达到预设的统计时间段,统计时间段可以是预先配置时间粒度,例如可以是一小时、一天、一周或一个月。在一些实施例中,达到统计条件还可以是接收到安防人员发出的统计指令。
步骤S504在实现时,在达到统计条件时,确定统计时间段,并根据所述统计时间段内每个图像采集设备上传的各个视频文件的视频活跃度数据确定出每个图像采集设备的设备活跃度数据,再基于每个图像采集设备的设备活跃度数据确定出满足第一活跃条件的活跃设备。进一步地,可以是基于每个图像采集设备的设备活跃程度值确定满足第一活跃条件的活跃设备。
步骤S505,处理设备将所述活跃设备的设备信息和对应的活跃度数据发送至监控终端。
这里,在一些实施例中,处理设备还可以将环境中部署的各个图像采集设备的设备信息和活跃度数据都发送至监控终端,以便安防人员能够全面了解各个图像采集设备的活跃度情况。当然,在将环境中部署的各个图像采集设备的设备信息和活跃度数据都发送至监控终端时,可以是按照将各个图像采集设备的设备活跃程度值进行排序后发送,这样可以使得安防人员能够方便地了解到哪些是活跃设备,哪些是非活跃设备。
步骤S506,监控终端优先播放所述活跃设备采集到的视频文件。
这里,由于活跃设备采集到的视频文件的视频活跃程度值较高,说明存在频繁的对象移动,因此出于安全考虑,可以优先播放这些活跃设备采集到的视频文件。
步骤S507,处理设备获取所述各个图像采集设备在第一历史时间段内上传的各个历史视频文件,并获取各个历史视频文件的历史视频活跃度数据。
这里,图像采集设备在第一历史时间段内也是以第一时间粒度上传各个历史视频文件的。第一历史时间段对应的第一时长可以是安防系统的默认设置时长,还可以是安防人员人为设置的,在本申请实施例中,第一历史时间段可以以当前时刻为终点的,也可以是以当前时刻所在日期的某一个时间点为终点,例如可以是以当前时刻所在日期的0点为终点。
步骤S508,处理设备根据所述各个历史视频活跃度数据构建异常活跃检测模型。
步骤S509,处理设备获取各个图像采集设备当前采集到的各个当前视频文件,并获取各个当前视频文件的视频活跃度数据。
步骤S510,处理设备基于各个当前视频文件的视频活跃度数据和所述异常活跃检测模型,确定出符合异常活跃条件的目标视频文件;
步骤S511,处理设备将所述目标视频文件对应的图像采集设备的设备信息和文件标识信息发送给监控终端。
需要说明的是,本实施例中与其它实施例中相同步骤或概念的解释可以参考其它实施例中的描述。
步骤S512,监控终端基于接收到所述设备信息和文件标识信息,生成报警信息。
这里,报警信息至少包括设备信息和文件标识信息。设备信息可以包括图像采集色板的设备号、所在位置等,文件标识信息可以是视频文件的URL。
步骤S513,监控终端输出该报警信息,并全屏播放该视频文件。
这里,监控终端输出报警信息可以是在显示界面上直接以突出的显示具有异常活跃设备的方式(如以醒目的颜色显示,红色,橙色或黄色等字体或背景显示,或以不同的字体等其他形式显示存在异常活跃设备的相关信息),还可以是输出语音、蜂鸣等报警声。这样,当确定出有异常活跃设备时,可以提醒安防人员注意。
在本申请实施例提供的环境监控的处理方法中,在获取环境中部署的各个图像采集设备采集的各个视频文件后,对各个视频文件进行智能分析,以得到表征各个视频文件的内容变化程度的视频活跃度数据,并且通过统计一定时长的视频文件的视频活跃度数据确定出满足第一活跃条件的活跃设备,并将活跃设备作为重点关注设备在监控终端优先播放,从而实现高效管控图像采集设备,并且输出活跃设备的设备信息和对应的活跃度数据能够提供多维的监控信息,提高环境监控的全面性;另外,还可以通过历史视频文件的视频活跃程度值和关联活跃程度值构建异常活跃检测模型,以对当前上传的视频文件进行异常活跃检测,并在检测出有异常活跃的视频文件时,将对应的设备信息和文件信息发送给监控终端,以提醒安防人员注意,使得安保人员及时关注异常活跃摄像头,尽早发现异常情况,并减少监控人力。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例提出了一种在数据中心场景下,通过智能分析摄像头视频内容的人流活跃度,推测出重点关注摄像头,并只需要少量安保人员就可以高效管控大规模摄像头并进行数据中心安防分析的方法。
图6为本申请实施例提供的安防管控方法的实现流程示意图,如图6所示,所示方法包括:
步骤S601,从分布式存储系统中的历史视频进行活跃度分析。
在实际实现过程中,步骤S601可以通过以下步骤实现:
步骤S6011,从15分钟(当前数据中心历史视频保存时长)历史视频解码得到所有关键帧。
这里,在本申请实施例中,数据中心每间隔15分钟保存一次监控视频,因此每个视频文件的时长为15分钟。将各个时长为15分钟的历史视频进行解码,得到历史视频中的关键帧。
步骤S6012,确定各个关键帧是否为活跃帧。
这里,步骤S6012在实现时,计算每一个关键帧中的各个像素点与前一个关键帧对应的像素点的差值绝对值,当该差值绝对值大于预设的差值阈值(例如,差值阈值可以是20)时,将关键帧中的该像素点记为250,当该差值绝对值小于或者等于差值阈值时,将关键帧中的改像素点记为0,从而得到该关键帧的差值二值图像。由于第一个关键帧没有前一个关键帧,因此对第一个关键帧不进行二值化处理。
得到关键帧对应的差值二值图像后,对差值二值图像使用窗口大小为3的滤波窗口进行中值滤波,得到滤波后的图像,然后再对滤波后的图像进行像素值求和,得到关键帧的像素值和值,如果该像素值和值大于预设的和值阈值,则将该关键帧记为活跃帧;如果该像素值和值小于或者等于和值阈值,则将该关键帧记为非活跃帧。
在实际应用过程中,和值阈值可以用公式(3-1)计算:
Ta=r×c×0.001×255 (3-1);
其中,在公式(3-1)中,Ta为和值阈值,r×c为视频分辨率。
例如,当视频分辨率为720×1280,那么按照公式(3-1)可以得出,和值阈值为720×1280×0.001×255=235008。
步骤S6013,计算历史视频的活跃度。
在实现时,可以根据公式(3-2)计算历史视频的活跃度La:
La=Sa/S (3-2);
其中,在公式(3-2)中,Sa为活跃关键帧总数,S为关键帧总数。
步骤S602,从分布式存储系统中进行准实时视频文件抽取,通过预处理划分出离线设备及在活设备。
这里,由于在将视频文件存储到分布式存储系统中时,并不是实时存储的,而是每间隔一段时间,例如15分钟存储一次,并且存储的是从当前时刻至当前时刻之前的15分钟的所采集到的监控图像。例如,当前时刻为15:30,此时存储一次视频文件,当前存储的是15:15-15:30之间采集到的监控图像,那么由于当前存储的是刚刚过去的之前一段时间的视频文件,因此称之为准实时视频文件。
通过抽取准实时视频文件可以确定出离线设备和在活设备,因为在活设备是每间隔一段时间就会存储一次视频文件的,如果在一定时长,例如一个小时或者30分钟都没有存储某一设备对应的视频文件,那么可以认为该设备为离线设备;如果每间隔一段时间都会存储某一设备对应的视频文件,那么可以认为该设备为在活设备。
步骤S603,将所有在活设备的准实时离线视频逐个打包成任务推送至分析模块进行活跃度分析,并记录活跃数据。
步骤S604,进行活跃数据展示呈现。
步骤S604在实现时,按照配置时间粒度(小时、天、周或月)对所有摄像头进行分析、汇总,区分出TOP级别的活跃设备和非活跃设备,然后再根据用户提供TOP数量和时间粒度,形成包括活跃设备和非活跃设备的活跃帧数、活跃存储容量、活跃度等信息推送数据进行报表展示。
在一些实施例中,用户还可以根据自己的实际需要来查看某个摄像头在某一段时间的活跃度情况,进而再根据活跃度情况选择要查看的时间段。图7A为本申请实施例摄像头在一周内的活跃度的界面示意图,如图7A所示,将一天以一个小时为时间粒度进行划分,显示每个小时采集到的活跃度情况。其中,某一时间段内的活跃度大于一定阈值时表征摄像头采集到的画面有对象活动,此时用一种显示方式显示该时间段,某一时间段活跃度小于或者等于该阈值时表征摄像头采集到的画面中没有对象活动,此时用另一种显示方式显示该时间段。在图7A中,斜线的部分701表示摄像头采集到的画面中有对象活动,此时监控管理人员可以直接选择斜线部分的时段进行查看。
类似的,也可以标记出有监控画面中有对象活动的日期,如图7B所示,在6月的17日、18日、19日的下方有用于表征有对象移动画面的黑色圆点标记711,也就是说在6月的17日、18日、19日采集到有对象移动的监控画面,其他日期没有采集到。
当有多个摄像头时,还可以查询同一日期下的哪些摄像头采集到了有对象移动的监控画面。在实现时,当用户点击了图7B中的6月19日时,会进入到展示各个摄像头采集情况的界面,哪个摄像头采集到了有对象移动的监控画面就将该摄像头标记出来。在点击该摄像头的标识之后,还可以显示该摄像头在该日期内哪个时间段采集到有对象移动的监控画面。如图7C所示,该摄像头采集到有对象移动的画面用灰色填充,因此19:30到19:56分这一时间段721,该摄像头采集到有对象移动的画面,也就是说该摄像头下可能是有人出现的。若该摄像头是安装在电梯内部的,那么说明此时间段有人乘坐电梯。在图7C中,时间轴可拖动,也可缩放(增大或放小时间粒度)。图7C中的播放线722指示的时间点即为在视频播放界面723中播放的视频时间点。
再以此类推,在一些实施例中,如图7D所示,还可以用曲线731的高度和面积来表示监控画面中,人员密度的多少,当画面中人流量高时,则曲线高度高,从而面积大,人少时则曲线下降。图7D中的曲线731可以是732所示的地铁站的分时人流活跃度。
步骤S605,进行动态自学习模型的搭建与训练。
在一些实施例中,步骤S605可以通过以下步骤实现:
步骤S6051,将一天以15分钟的粒度进行划分,从第一块(00:00:01至00:15:00)到最后一块(23:45:01至00:00:00),并首尾相连。
图8A为本申请实施例进行时间划分的示意图,如图8A所示,将一天24个小时,按照一个小时为划分粒度进行划分,得到801所示的序列,按照15分钟的划分粒度进行划分,得到802所示的序列。
步骤S6052,对过去一段时间(例如可以是1周及以上)中每天以15分钟为粒度计算每个时间段粒度的活跃度,将每个对应时间段粒度的活跃度进行均值计算,获得如图8B所示的,每个时间段粒度的均值活跃度A0、A1、A2…。
步骤S6053,对每个时间段计算前后相邻2个时间段(共5个时间段)的局部关联活跃度,获得RA0、RA1、RA2…。
图8C为本申请实施例各个时间段对应的关联活跃度的示意图,根据图8C的示例,某个时间段的关联活跃度为将该时间段以及前后两个相邻时间段的均值活跃度在进行均值计算,得到该时间段的关联活跃度。例如,RA2=(A0+A1+A2+A3+A4)/5。
在一些实施例中,还可以通过机器学习的方式实现步骤S605,进一步地,可以基于训练数据对预设的动态自学习模型进行训练,得到训练好的动态自学习模型,其中,动态自学习模型可以是神经网络模型,例如可以是卷积审神经网络模型、循环神经网络等等。
步骤S606,计算所有在活摄像头的当前准实时视频活跃度,对每个摄像头结合异常模型进行异常活跃分析。
在实现时,假设根据当前视频的时间信息确定落在第二个时间段的粒度区间,且当前视频的活跃度为a第二个时间段的均值活跃度为A2,在进行异常活跃分析时,首先判断a是否小于或者等于A2,当a小于或者等于A2时,表示未出现突然性的人群聚集、徘徊等现象,此时不产生告警,进入步骤S605继续进行自适应学习;当a大于A2时,表示出现突发情况,与以往此时段内的经验不同,为了保证判断结果的正确性,需要考虑一段时间内的关联活跃度,此时进一步判断a是否大于RA2,当a大于RA2时,表示摄像头画面确实出现异常情况,此时进入步骤S607;当a小于或者等于RA2时,说明在该较长时间段内活跃度时正常的,此时进入步骤S605继续进行自适应学习。
步骤S607,获取设备名、设备编号以及视频文件的统一资源定位符(URL,UniformResource Locator)等信息,并将该信息推送给用户,以进行异常活跃告警。
在本申请实施例中,还可以通过以下步骤实现根据视频文件的属性信息确定异常摄像头,并能及时下发管控通知的技术方案:
步骤S701,从分布式存储系统抽取准实时视频文件后,通过预处理模块,获取各个摄像头下当前准实时视频的时长、帧数、码率等视频元信息。
步骤S702,根据配置的7*24小时录像重点设备列表,计算前一周某个设备的水位值,并计算重点设备当前抽取的准实时视频的待比较水位值。
在本申请实施例中,水位值对应于其他实施例中的视频质量参数。其中,前一周某个设备的水位值=一周内所有视频文件的水位值之和/一周内视频文件总数,单个视频文件的水位值=时长(秒)*帧率*0.3+帧数*0.5+码率*0.2。
步骤S703,如果重点设备的待比较水位值小于设备水位值*可容忍阈值(百分比),则认为此重点设备出现异常情况,如线路不稳定、丢包严重等。当待比较水位值为0时,则认为此重点设备可能离线,之后将分析出的可能异常原因及设备名或编号推送用户进行告警。
在将本申请实施例提供的安防管控方法可以应用到数据中心监控系统,同时也可以用于已安装有传统监控的仓库、车库等其他人员活动少但具有安防需要的场景,能够每天通过报表推送的方式辅助安保人员知悉摄像头信息,为安保人员提供更多维度的监控信息,节约定位安全问题的人力成本。
下面说明软件模块的示例性结构,在一些实施例中,如图2所示,装置440中的软件模块,即为环境监控的处理装置90可以包括:
第一获取模块91,用于获取环境中部署的各个图像采集设备以第一时间粒度上传的各个视频文件;
第一分析模块92,用于对所述各个视频文件中的内容进行分析,对应得到表征各个视频文件的内容变化程度的视频活跃度数据;
第一确定模块93,用于在达到统计条件时,根据所述各个视频文件的视频活跃度数据,从各个图像采集设备中确定出满足第一活跃条件的活跃设备;
第一输出模块94,用于输出所述活跃设备的设备信息和对应的活跃度数据,以使得监控终端优先播放所述活跃设备采集到的视频文件。
在一些实施例中,所述装置还包括:
第二获取模块,用于获取所述各个图像采集设备在第一历史时间段内以第一时间粒度上传的各个历史视频文件,并获取各个历史视频文件的历史视频活跃度数据;
构建模块,用于根据所述各个历史视频活跃度数据构建异常活跃检测模型;
第三获取模块,获取各个图像采集设备当前采集到的各个当前视频文件,并获取各个当前视频文件的视频活跃度数据;
第二确定模块,用于基于各个当前视频文件的视频活跃度数据和所述异常活跃检测模型,确定出符合异常活跃条件的目标视频文件;
第二输出模块,用于输出所述目标视频文件对应的图像采集设备的设备信息和文件标识信息。
在一些实施例中,所述装置还包括:
第四获取模块,用于获取其他视频文件的视频活跃度数据,所述其他视频文件为各个当前视频文件中除去目标视频文件之外的视频文件;
更新模块,用于基于所述其他视频文件的视频活跃度数据,对所述异常活跃检测模型进行更新,得到更新后的异常活跃检测模型。
在一些实施例中,所述视频活跃度数据至少包括活跃程度值、活跃帧数和活跃帧所占用空间大小,所述第一分析模块还用于:
获取每个视频文件的各个关键帧;
从所述各个关键帧中确定满足第二活跃条件的活跃帧和活跃帧数;
基于每个视频文件中的活跃帧数和关键帧数,确定每个视频文件的活跃程度值;
基于每个视频文件中的活跃帧和活跃帧数确定活跃帧所占用的空间大小。
在一些实施例中,所述第一分析模块还用于:
对所述各个关键帧进行二值化处理,得到各个二值化关键帧;
对所述各个二值化关键帧进行中值滤波,得到滤波后的二值化关键帧;
对所述滤波后的二值化关键帧进行像素值求和,得到各个滤波后的二值化关键帧的像素总和;
将像素总和满足第二活跃条件的关键帧确定为活跃帧。
在一些实施例中,所述第一确定模块还用于:
在达到统计条件时,根据每个图像采集设备采集到的各个视频文件的视频活跃度数据,确定每个图像采集设备的设备活跃度数据;其中,设备活跃度数据中至少包括设备活跃程度值;
基于各个图像采集设备的设备活跃程度值,从各个图像采集设备中确定出满足第一活跃条件的活跃设备。
在一些实施例中,所述构建模块还用于:
从所述第一历史时间段采集到的各个历史视频文件中,获取各个历史子时间段中包括的N个历史视频文件,其中所述第一历史时间段为所述历史子时间段的M倍,M为正整数;
将各个历史子时间段包括的第i个历史视频文件的历史视频活跃程度值进行求和运算,得到历史子时间段中第i个时间分段的历史视频活跃程度值,i=1,2,…,N;
基于第i个时间分段的历史视频活跃程度值、第i个时间分段的前一个至前P个时间分段的历史视频活跃程度值和第i个时间分段的后一个至后P个时间分段的历史视频活跃程度值,确定第i个时间分段的关联活跃程度值;
基于各个时间分段的历史视频活跃程度值和关联活跃程度值确定异常活跃检测模型。
在一些实施例,所述第二确定模块还用于:
获取各个视频活跃度数据确定各个当前视频文件的视频活跃程度值;
确定各个当前视频文件对应的目标时间分段,并获取所述目标时间分段的目标视频活跃程度值和目标关联活跃程度值;
将视频活跃程度值大于所述目标视频活跃程度值,且视频活跃程度值大于所述目标关联活跃程度值的当前视频文件确定为符合异常活跃条件的目标视频文件。
在一些实施例中,所述更新模块还用于:
基于所述其他视频文件的视频活跃程度值,对所述目标视频活跃程度值进行更新,得到更新后的目标视频活跃程度值;
基于更新后的目标视频活跃程度值,对所述目标时间分段、所述目标时间分段的前一个至前P个时间分段、所述目标时间分段的后一个至后P个时间分段的关联活跃程度值进行更新,得到所述目标时间分段、所述目标时间分段的前一个至前P个时间分段、所述目标时间分段的后一个至后P个时间分段更新后的关联活跃程度值。
在一些实施例中,所述装置还包括:
第四获取模块,用于获取预先设置的目标设备列表,并获取目标设备列表中各个目标设备的视频质量参数阈值;
第五获取模块,用于获取目标设备列表中各个目标设备采集到的当前视频文件和各个当前视频文件的属性信息;
第三确定模块,用于基于各个当前视频文件的属性信息,确定各个当前视频文件的视频质量参数;
第四确定模块,用于将各个视频质量参数中低于所述视频质量参数阈值的视频质量参数对应的目标设备确定为异常设备;
第三输出模块,用于输出所述异常设备的设备信息。
在一些实施例中,所述装置还包括:
第六获取模块,用于获取目标设备在第二历史时间段内采集到的各个视频文件;
第七获取模块,用于获取所述各个视频文件的属性信息;
第五确定模块,用于基于各个视频文件的属性信息,确定各个视频文件的视频质量参数;
第六确定模块,用于根据各个视频文件的视频质量参数和第二历史时间段内采集到的视频文件数量,确定目标设备的视频质量参数阈值。
在一些实施例中,所述视频文件的属性信息包括时长、帧数、码率、帧率,所述第五确定模块,还用于:
将所述属性信息中的时长和帧率进行乘积运算得到参考帧数;
将所述参考帧数、帧数和码率进行加权求和,得到所述视频文件的视频质量参数。
在一些实施例中,所述装置还包括:
第八获取模块,用于获取待查询的第二历史时间段、第二时间粒度和查询对象,所述查询对象为图像采集设备或所述环境;
第九获取模块,用于获取所述各个图像采集设备在第二历史时间段内以第一时间粒度上传的各个历史视频文件,并获取各个历史视频文件的历史视频活跃程度值;
第七确定模块,用于基于所述各个历史视频文件的历史视频活跃程度值,确定所述第二历史时间段内各个时间段对应的历史视频活跃程度值,其中所述时间段对应第二时间粒度;
第八确定模块,用于基于所述第二历史时间段内各个时间段对应的历史视频活跃程度值,确定所述查询对象在第二历史时间段内各个时间段对应的对象活跃程度值;
第四输出模块,用于输出所述查询对象在第二历史时间段内各个时间段对应的对象活跃程度值。
在一些实施例中,所述第四输出模块还用于:
当在第二历史时间段内第j个时间段对应的对象活跃程度值大于活跃阈值时,以第一显示方式输出所述第j个时间段对应的对象活跃程度值;其中,j=1,2,…,S,S为第二历史时间段内包含的时间段总数;
当所述第j个时间段对应的对象活跃程度值小于或者等于所述活跃阈值时,以第二显示方式输出所述第j个时间段对应的对象活跃程度值,所述第一显示方式与所述第二显示方式不同。
作为本申请实施例提供的方法采用硬件实施的示例,本申请实施例所提供的方法可以直接采用硬件译码处理器形式的处理器410来执行完成,例如,被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circui t)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex ProgrammableLogic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件执行实现本申请实施例提供的方法。
本申请实施例提供一种存储有可执行指令的存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的方法,例如,如图3、图4和图5示出的方法。
在一些实施例中,存储介质可以是FRAM、ROM、PROM、EPROM、EE PROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(H TML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。