CN116456057A - 一种基于物联网的视频处理系统及方法 - Google Patents
一种基于物联网的视频处理系统及方法 Download PDFInfo
- Publication number
- CN116456057A CN116456057A CN202310461053.2A CN202310461053A CN116456057A CN 116456057 A CN116456057 A CN 116456057A CN 202310461053 A CN202310461053 A CN 202310461053A CN 116456057 A CN116456057 A CN 116456057A
- Authority
- CN
- China
- Prior art keywords
- video
- video block
- internet
- target information
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 title abstract description 17
- 238000012806 monitoring device Methods 0.000 claims abstract description 50
- 238000012544 monitoring process Methods 0.000 claims abstract description 40
- 230000000875 corresponding effect Effects 0.000 claims abstract description 20
- 230000006835 compression Effects 0.000 claims description 40
- 238000007906 compression Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000001276 controlling effect Effects 0.000 claims description 14
- 238000003672 processing method Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000014759 maintenance of location Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000012856 packing Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006854 communication Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/20—Analytics; Diagnosis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/30—Control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于物联网的视频处理系统及方法,属于数据处理技术领域,包括步骤S1:确定物联网设备的功能信息和目标信息,基于功能信息和目标信息设置联动规则;步骤S2:第一监控设备和第二监控设备分别持续生成第一视频和第二视频,获取第一视频包含的目标信息,以及包含目标信息的概率值;步骤S3:基于概率值调整第一监控设备和第二监控设备生成视频的分辨率和帧率,并持续生成第一扩展视频和第二扩展视频,将第一视频、第一扩展视频和第二扩展视频进行存储;步骤S4:基于目标信息和联动规则,控制物联网设备执行对应的动作。本发明通过上述步骤,实现在存储空间有限的条件下,最大程度保留监控设备所拍摄的视频。
Description
技术领域
本发明属于数据处理技术领域,具体涉及一种基于物联网的视频处理系统及方法。
背景技术
当前,将监控设备接入至物联网内,然后借助边缘计算装置对监控设备拍摄的视频进行智能分析,以在第一时间发现环境中的异常物体,例如视频中出现火灾或可疑人物等,从而及时向外界发出警报。如中国专利申请“CN101833838A”公开了一种大范围火灾分析预警系统,该系统首先获取大范围内的数字视频图像,之后通过火灾特征提取模块提取图像中的特征,并与火灾特征数据库进行比对识别,从而发现视频中是否出现火灾,若出现火灾,则通过火灾实时管控平台发布管控命令;又例如中国专利申请“CN115017360A”公开了一种物联网和视频融合联动方法、系统、电子设备和存储介质,通过将物联网采集数据和视频结构化语义数据输入联动规则库进行多参数融合和条件匹配,确定并执行联动动作,从而能够基于视频和物联网的数据,确定并执行联动动作,实现视频与物联网的有效融合。
实际应用中,在对异常情况进行处理后,一般还需要查看视频的回放,以确定异常发生的原因及发生过程;随着技术的发展,当前监控设备拍摄的视频分辨率及帧率逐渐提高,因此视频所占用的空间也越来越大,在存储空间有限的条件下,如何最大程度保留监控设备所拍摄的视频,成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种基于物联网的视频处理系统及方法,以实现在存储空间有限的条件下,最大程度保留监控设备所拍摄的视频。
为了达到上述的发明目的,本发明提出一种基于物联网的视频处理方法,包括:
步骤S1:确定进行联动的物联网设备,确定物联网设备的功能信息,基于所述功能信息生成目标信息,基于所述功能信息和所述目标信息设置联动规则;
步骤S2:设置第一监控设备和第二监控设备,所述第一监控设备和所述第二监控设备共同拍摄相同的环境信息,并分别持续生成第一视频和第二视频,截取所述第一视频在多个时间点的图像画面,定义为基础画面,获取包含不同所述目标信息的多张参考图像,基于所述参考图像建立参考数据库,将所述基础画面与所述参考数据库内各张所述参考图像对比,获取所述基础画面包含的所述目标信息,以及包含所述目标信息的概率值;
步骤S3:确定所述目标信息在所述第一视频中的位置区域,控制所述第一监控设备对该位置区域进行放大拍摄,基于所述概率值调整所述第一监控设备和所述第二监控设备生成视频的分辨率和帧率,并持续生成第一扩展视频和第二扩展视频,将所述第一视频、所述第一扩展视频和所述第二扩展视频进行存储;
步骤S4:基于所述目标信息和所述联动规则,控制物联网设备执行对应的动作。
进一步的,将所述第一视频、所述第一扩展视频和所述第二扩展视频进行存储包括以下步骤:
步骤S51:判断视频的存储方式,若视频采用第一存储方式,则执行步骤S52,若视频采用第二存储方式,则根据网络状态上传视频,其中,所述第一存储方式为本地存储,所述第二存储方式为云端存储;
步骤S52:设置第一时间段和第二时间段,每当所述第一视频达到所述第一时间段的长度,将其打包为第一视频块,每当所述第一扩展视频和所述第二扩展视频达到所述第二时间段的长度,将其打包为第二视频块,在所述第一视频块内标注第一标签,所述第二视频块内标注第二标签;
步骤S53:设置压缩级别A1,A2,…An,定义已经存储至本地的视频块为历史视频块,需要存储至本地的视频块为待存储视频块,计算所述待存储视频块的理论占用空间,以及本地存储的剩余存储空间,若所述剩余存储空间小于所述理论占用空间,则获取本地存储空间中包括所述第一标签的所述历史视频块,将其压缩至压缩级别A1,若所述剩余存储空间仍然小于所述理论占用空间,继续执行步骤S54;
步骤S54:获取本地存储空间中包括所述第二标签的所述历史视频块,将其压缩为压缩级别A1,若所述剩余存储空间仍然小于所述理论占用空间,则将包括所述第一标签的所述历史视频块压缩至压缩级别A2,重复所述步骤S53和所述步骤S54,直至所述剩余存储空间大于所述理论占用空间。
进一步的,包含所述第二标签的所述历史视频块设置有限制压缩等级,压缩级别达到所述限制压缩等级的所述历史视频块无法再被压缩。
进一步的,若所有所述历史视频块达到最大压缩级别,且所述剩余存储空间仍然小于所述理论占用空间时,则执行以下步骤:
基于各个所述历史视频块的存储次序对其进行编号,获取包含所述第一标签且编号最小的所述历史视频块,定义为第一目标视频块,设定保留阈值,基于第一公式计算所述第一目标视频块的关键度分,若所述第一目标视频块的关键度分小于所述保留阈值,则将所述第一目标视频块删除,所述第一公式为:σ=|xk-xα|×ω|k-α|+|xβ-xk|×ω|β-k|,其中,σ为所述第一目标视频块的关键度分,xk为所述第一目标视频块的编号,xα和xβ分别为距离所述第一目标视频块最近、且包含所述第二标签的所述历史视频块编号,ωr为预设的调整系数,且ωr中,r的数值越小,其对应的ωr数值越大。
进一步的,基于所述概率值调整所述第一监控设备和所述第二监控设备拍摄视频的分辨率和帧率包括以下步骤:
设定第一阈值和第二阈值,若所述概率值位于所述第一阈值和所述第二阈值之间,则增大所述第一扩展视频和所述第二扩展视频的生成帧率,若所述概率值大于所述第二阈值,则增大所述第一扩展视频和所述第二扩展视频的生成帧率及清分辨率。
进一步的,所述步骤S51中,根据网络状态上传视频包括以下步骤:
步骤S511:建立传送队列,所述传送队列将所述待存储视频由本地上传至云端,所述待存储视频块生成后,依据其生成次序将其逐个上传至所述传送队列内;
步骤S512:建立参考表格,所述参考表格包括所述目标信息、对应的关注等级及最长发送时间,定义需要上传至所述传送队列的所述待存储视频块为第二目标视频块,若所述第二目标视频块包括所述第二标签,则获取当前网络状态,基于当前网络状态和所述传送队列内的所述待存储视频块,计算发送所述第二目标视频块的所需时间,若所需时间大于所述最长发送时间,则继续执行步骤S513;
步骤S513:获取所述传送队列中、所述关注度等级大于等于所述第二目标视频块的所述待存储视频块,并获取其中生成次序最小的所述待存储视频块,将所述第二目标视频块插入该所述待存储视频块之后。
本发明还提供了一种基于物联网的视频处理系统,该系统用于实现上述所述的一种基于物联网的视频处理方法,该系统主要包括:
监控模块,包括第一监控设备和第二监控设备,所述第一监控设备和所述第二监控设备共同拍摄相同的环境信息,并分别持续生成第一视频和第二视频;
分析模块,截取所述第一视频在多个时间点的图像画面,定义为基础画面,获取包含不同所述目标信息的多张参考图像,基于所述参考图像建立参考数据库,将所述基础画面与所述参考数据库内各张所述参考图像对比,获取所述基础画面包含的所述目标信息,以及包含所述目标信息的概率值;
控制模块,确定所述目标信息在所述第一视频中的位置区域,控制所述第一监控设备对该位置区域进行放大拍摄,基于所述概率值调整所述第一监控设备和所述第二监控设备生成视频的分辨率和帧率,以使其持续生成第一扩展视频和第二扩展视频,将所述第一视频、所述第一扩展视频和所述第二扩展视频进行存储;
存储模块,用于存储所述第一视频、所述第一扩展视频和所述第二扩展视频;
联动模块,用于存储联动规则,基于目标信息和所述联动规则,控制物联网设备执行对应的动作。
与现有技术相比,本发明的有益效果至少如下所述:
本发明通过预设联动规则,并对监控视频进行智能分析,当发现监控视频中出现异常情况时,基于联动规则控制对应的物联网设备进行处理,从而快速发现并处理环境中的异常情况;在此基础上,本发明设置两个监控设备,当发生异常情况时,通过第一监控设备放大并重点拍摄异常情况,第二监控设备则继续保持原有焦距拍摄整体环境信息,这样既可以清晰的记录异常情况,又不会忽略环境中的其他信息;最后,在存储视频时,本发明将不包含或包括目标信息概率值较低的视频,以较低的清晰度和帧率保存,其余的以较高清晰度和帧率保存,从而缩小了重要性较低视频所占用的空间,并且也不影响重要性较高视频的质量。
附图说明
图1为本发明一种基于物联网的视频处理方法步骤流程图;
图2为本发明中视频块存储方式的原理示意图;
图3为本发明中删除视频块的原理示意图;
图4为本发明中上传视频块的原理示意图;
图5为本发明中监控模块和分析模块通信过程示意图;
图6为本发明一种基于物联网的视频处理系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一xx脚本称为第二xx脚本,且类似地,可将第二xx脚本称为第一xx脚本。
如图1所示,一种基于物联网的视频处理方法,包括
步骤S1:确定进行联动的物联网设备,确定物联网设备的功能信息,基于功能信息生成目标信息,基于功能信息和目标信息设置联动规则;
具体的,物联网设备包括声光报警器、消防喷淋器等,其对应的功能信息包括报警和灭火,报警功能所对应的目标信息可以是老人跌倒,或出现可疑人员等,灭火功能所对应的目标信息可以是出现浓烟或明火。在确定上述信息条件下可以设置联动规则,例如,检测到视频中出现明火的目标信息,则基于联动规则控制对应的消防喷淋器启动。
步骤S2:设置第一监控设备和第二监控设备,第一监控设备和第二监控设备共同拍摄相同的环境信息,并分别持续生成第一视频和第二视频,截取第一视频在多个时间点的图像画面,定义为基础画面,获取包含不同目标信息的多张参考图像,基于参考图像建立参考数据库,将基础画面与参考数据库内各张参考图像对比,获取基础画面包含的目标信息,以及包含目标信息的概率值;
由于第一监控设备和第二监控设备共同拍摄相同的环境信息,其生成的视频画面也会相同,因此对其中的一个视频进行分析即可;在对第一视频进行分析时,首先建立参考数据库,参考数据库包括多张参考图像,如包含火灾的参考图像,包含老人跌倒的参考图像,然后截取第一视频中某一时间段的多个画面,并与各个参考图像进行对比,从而确定视频中是否包含目标信息、包含哪种目标信息及包含目标信息的概率,具体对比方法可以使用边缘检测算法、骨骼检测算法等现有技术,此处不再赘述。
步骤S3:确定目标信息在第一视频中的位置区域,控制第一监控设备对该位置区域进行放大拍摄,基于概率值调整第一监控设备和第二监控设备生成视频的分辨率和帧率,并持续生成第一扩展视频和第二扩展视频,将第一视频、第一扩展视频和第二扩展视频进行存储;
步骤S4:基于目标信息和联动规则,控制物联网设备执行对应的动作。
若在第一视频中检测到目标信息,则获取目标信息在第一视频画面中的位置,然后控制第一监控设备对该位置进行放大拍摄,从而抓取到更为清晰的画面,例如第一视频画面中出现明火,则对发生明火的区域进行放大拍摄;进一步的,由于第一监控设备对某一区域进行放大拍摄,使得其拍摄范围缩小,这样就可能忽略环境中的其他信息,本发明为解决该问题,设置了第二监控设备,在第一监控设备放大拍摄时,第二监控设备也能拍摄整体的环境视频;在此基础上,通过控制视频生成的分辨率和帧率来压缩其所占用的空间大小;具体的,在视频中没有出现目标信息或出现目标信息的概率较小时,表明环境中没有出现异常,此种情况下,视频的重要性较低,监控设备就以较低的帧率和分辨率来保存视频;当视频中出现目标信息的概率值较大时,监控设备就以较高的帧率和分辨率来保存视频,从而便于后续对视频进行分析。
尤为注意的是,本发明通过上述步骤,实现在存储空间有限的条件下,最大程度保留监控设备所拍摄的视频。
本发明通过预设联动规则,并对监控视频进行智能分析,当发现监控视频中出现异常情况时,基于联动规则控制对应的物联网设备进行处理,从而快速发现并处理环境中的异常情况;在此基础上,本发明设置两个监控设备,当发生异常情况时,通过第一监控设备放大并重点拍摄异常情况,第二监控设备则继续保持原有焦距拍摄整体环境信息,这样既可以清晰的记录异常情况,又不会忽略环境中的其他信息;最后,在存储视频时,本发明将不包含或包含目标信息概率值较低的视频,以较低的清晰度和帧率保存,其余的以较高清晰度和帧率保存,从而缩小了重要性较低视频所占用的空间,并且也不影响重要性较高视频的质量。
现有技术保存监控视频的方式一般有两种,一种是在监控设备内设置SD卡,从而将视频存储至本地,另一种是通过因特网将视频上传至云端存储器;在第二种方式中,云端存储器的供应商会收取额外存储服务费,因此现有技术中,大多采用第一种存储方式,然而SD卡的存储空间有限且较小,本发明虽然基于上述步骤可以缩短视频所占用的空间,但是随着时间的推移,有限的存储空间势必不能存储所有的视频;现有技术的解决思路是,将视频拆分为多个视频块,当存储空间接近上限时,自动将存储时间较早的视频块删除,但是该方式存在这样的缺点,当存储空间较小时,系统会在较短的时间间隔删除较早的视频块,这就会使得视频块的保留时间较短,例如视频块仅能在SD卡中保留4天,超过4天就会被删除。为解决上述问题,本发明还提出了以下步骤:
步骤S51:判断视频的存储方式,若视频采用第一存储方式,则执行步骤S52,若视频采用第二存储方式,则根据网络状态上传视频,其中,第一存储方式为本地存储,第二存储方式为云端存储;
通过此步骤获取存储方式,以确定采用的存储策略。
步骤S52:设置第一时间段和第二时间段,每当第一视频达到第一时间段的长度,将其打包为第一视频块,每当第一扩展视频和第二扩展视频达到第二时间段的长度,将其打包为第二视频块,在第一视频块内标注第一标签,第二视频块内标注第二标签;
具体的,时间长度的大小为,第一时间段<第二时间段,如图2所示,V1和V2分别为第一监控设备和第二监控设备拍摄的视频,V3为存储的视频,常规情况下,V1中的第一视频块P1依次存储至V3中,出现目标信息时,第一监控设备拍摄的画面放大,视频变为第一扩展视频,然后以第二时间段长度被打包为第二视频块P2,第二监控设备拍摄的视频变为第二扩展视频,同样以第二时间段长度被打包为第二视频块P3,并存储至V3中;这里对第一时间段<第二时间段的设置原因进行解释,由于第一视频块的时间长度小于第二视频块,使得第一视频块存储的视频内容较少,第二视频块存储的视频内容较多;在后续对视频块进行删除时,由于优先删除第一视频块,因此可以尽可能减少所删除的视频信息,具体删除方式将在后续步骤中描述。
步骤S53:设置压缩级别A1,A2,…An,定义已经存储至本地的视频块为历史视频块,需要存储至本地的视频块为待存储视频块,计算待存储视频块的理论占用空间,以及本地存储的剩余存储空间,若剩余存储空间小于理论占用空间,则获取本地存储空间中包括第一标签的历史视频块,将其压缩至压缩级别A1,若剩余存储空间仍然小于理论占用空间,继续执行步骤S54;
在本实施例中设置三个压缩级别A1、A2和A3,本发明所描述的压缩为对视频的分辨率和帧率进行压缩,并非是将视频压缩为rar格式的压缩文件;下面对步骤S53进行解释,由于每个视频的时间长度、帧率和分辨率是确定的,因此可以预测每个视频块占用空间的大小;在此基础上,当SD卡,也即本地存储的剩余存储空间,小于将要存储的待存储视频块大小时,获取已经存储在SD卡中的历史视频块,若所有历史视频块均没有被压缩,则优先选取包含第一标签的历史视频块进行压缩,从而缩小其占用的体积,且存储时间越早的历史视频块,其被压缩的优先级别越高。
步骤S54:获取本地存储空间中包括第二标签的历史视频块,将其压缩为压缩级别A1,若剩余存储空间仍然小于理论占用空间,则将包括第一标签的历史视频块压缩至压缩级别A2,重复步骤S53和步骤S54,直至剩余存储空间大于理论占用空间。
若包含第一标签的所有历史视频块均被压缩后,仍无法满足待存储视频块的空间要求,则将包含第二标签的历史视频块进行压缩,由于压缩级别A1的压缩程度较低,且目标信息的区域也被放大,因此此操作基本不会影响对目标信息的辨别;若在一段时间后,SD卡内的所有视频块处于压缩级别A1,且剩余存储空间无法满足待存储视频块的存储要求,则继续重复上述步骤S53,将包含第一标签的历史视频块采用压缩级别A2进行进一步压缩,以进一步缩小视频块的体积。因此,通过上述步骤,可以在尽量不删除视频块的情况下,保留本地存储内的视频块,相比于现有技术,大大延长了视频块的存储时间。
进一步的,包含第二标签的历史视频块设置有限制压缩等级,压缩级别达到限制压缩等级的历史视频块无法再被压缩。
在本实施例中,限制压缩等级设置为压缩级别A2,在设置限制压缩等级的情况下,包含第二标签的历史视频块,即第二视频块最大只能被压缩至压缩级别A2,无法被压缩至压缩级别A3;通过此步骤可以避免第二视频块被过度压缩,致使出现视频质量较差,使得其中的目标信息无法被识别的情况发生。
若所有历史视频块达到最大压缩级别,且若剩余存储空间仍然小于理论占用空间时,则执行以下步骤:
基于各个历史视频块的存储次序对其进行编号,获取包含第一标签且编号最小的历史视频块,定义为第一目标视频块,设定保留阈值,基于第一公式计算第一目标视频块的关键度分,若第一目标视频块的关键度分小于保留阈值,则将第一目标视频块删除,第一公式为:σ=|xk-xα|×ω|k-α|+|xβ-xk|×ω|β-k|,其中,σ为第一目标视频块的关键度分,xk为第一目标视频块的编号,xα和xβ分别为距离第一目标视频块最近、且包含第二标签的历史视频块编号,ωr为预设的调整系数,且ωr中,r的数值越小,其对应的ωr数值越大。
具体的,编号以数字1为起始,每当待存储视频存入SD卡中后,对其赋予编号,这样就可以根据编号的大小确定历史视频块存入的先后次序;若所有历史视频块达到最大压缩级别,例如本实施例的SD卡中,所有第一视频块均达到压缩级别A3,所有第二视频块均达到压缩级别A2,且若剩余存储空间仍然小于理论占用空间时,将选择视频块进行删除。
下面对如何选择视频块进行描述,在需要删除历史视频块时,优先选择其中包含第一标签的历史视频块,然后计算该视频块的得分;如图3所示,当需要从包括第一标签的历史视频块U1、U2和U3中选择其中一个进行删除时,首先获取历史视频块U1、U2和U3的编号,以U1为例,其编号为2,为编号最小的历史视频块,那么首先计算它的关键度分;历史视频块U1与两边包含第二标签历史视频块Q1、Q2编号的差值为1和3,之后计算1×ω1+3×ω3,即可得出该历史视频块的得分;这里,ωr的数值预先设置的,且ω1<ω2<…<ωr,例如,ω1为10,ω2为1,因为越接近于包含第二标签的历史视频块,表明该视频块中越有可能存在发送异常情况的原因,或发生异常情况后导致的结果;因此,基于上述分析,若图3中历史视频块U2的关键度得分小于保留阈值,则将其删除,并重新对SD卡中的视频块进行编号。相比于现有技术直接选择时间最久的视频块删除,本步骤可以尽可保留重要的视频块,优先删除不重要的视频块。
在本实施例中,基于概率值调整第一监控设备和第二监控设备拍摄视频的分辨率和帧率包括以下步骤:
设定第一阈值和第二阈值,若概率值位于第一阈值和第二阈值之间,则增大第一扩展视频和第二扩展视频的生成帧率,若概率值大于第二阈值,则增大第一扩展视频和第二扩展视频的生成帧率及清分辨率。
由于帧率越高的视频,其展示出的动作越流畅,所丢失的画面越少;而在对视频进行分析时,若帧率过低,例如目标信息出现在两个视频帧之间的切换期,则可能丢失目标信息出现的图像,因此这里将帧率的重要性设置为大于分辨率的重要性;之后,若概率值位于第一阈值和第二阈值之间,表明第一视频有一定几率出现目标信息,但概率居中,因此只增加视频帧率,以进行更加频繁的捕获;若概率值大于第二阈值,表明第一视频极有可能出现目标信息,应在增加帧率的基础上增加分辨率,以对环境进行更加严密的监控;通过此步骤使得视频的帧率和分辨率根据实际情况进行调整,从而更加合理的调节最后所生成视频块的大小。
步骤S51中,根据网络状态上传视频包括以下步骤:
步骤S511:建立传送队列,传送队列将待存储视频由本地上传至云端,待存储视频块生成后,依据其生成次序将其逐个上传至传送队列内;
步骤S512:建立参考表格,参考表格包括目标信息、对应的关注等级及最长发送时间,定义需要上传至传送队列的待存储视频块为第二目标视频块,若第二目标视频块包括第二标签,则获取当前网络状态,基于当前网络状态和传送队列内的待存储视频块,计算发送第二目标视频块的所需时间,若所需时间大于最长发送时间,则继续执行步骤S513;
步骤S513:获取传送队列中、关注度等级大于等于第二目标视频块的待存储视频块,并获取其中生成次序最小的待存储视频块,将第二目标视频块插入该待存储视频块之后。
具体的,通过建立传输队列可以对监控设备与云端存储器之间的数据块进行暂存,当网络状态不佳时,可以将视频块放入至传送队列中依次传输,如图4所示,传送队列包括编号为1、2、3、4的数据块;之后建立参考表格,参考表格包括目标信息、对应的关注等级及最长发送时间,在本实施例中将关注等级设定为1-5,关注等级越高,异常情况越值得关注;例如目标信息为明火,关注等级为5,最长发送时间为1min,目标信息为门口出现可疑人物,关注等级为2,最长发送时间为10min。
在步骤S512中,若识别到第二目标视频块包括明火的目标信息,则根据当前网络状态和传送队列的情况判断,第二目标视频块能否在1min内发送;若不能,则在传送队列中寻找关注度等级大于等于第二目标视频块的待存储视频块,例如图4中编号为4的视频块与其关注等级相同,而编号为1、2、3的视频块等级小于第二目标视频块,那么就将第二目标视频块插入至编号3和编号4的视频块之间,从而缩短第二目标视频块的传输时间。
如图5和图6所示,本发明还提供了一种基于物联网的视频处理系统,该系统用于实现上述的一种基于物联网的视频处理方法,该系统主要包括:
监控模块,包括第一监控设备和第二监控设备,第一监控设备和第二监控设备共同拍摄相同的环境信息,并分别持续生成第一视频和第二视频;
分析模块,截取第一视频在多个时间点的图像画面,定义为基础画面,获取包含不同目标信息的多张参考图像,基于参考图像建立参考数据库,将基础画面与参考数据库内各张参考图像对比,获取基础画面包含的目标信息,以及包含目标信息的概率值;监控模块与分析模块的通信过程如图5所示,监控模块中的第一监控设备IPC1和第二监控设备IPC2生成第一视频和第二视频,然后通过通信网络发送至分析模块node,这里的通信网络为因特网;
控制模块,确定目标信息在第一视频中的位置区域,控制第一监控设备对该位置区域进行放大拍摄,基于概率值调整第一监控设备和第二监控设备生成视频的分辨率和帧率,以使其持续生成第一扩展视频和第二扩展视频,将第一视频、第一扩展视频和第二扩展视频进行存储;
存储模块,用于存储所述第一视频、所述第一扩展视频和所述第二扩展视频;
联动模块,用于存储联动规则,基于目标信息和联动规则,控制物联网设备执行对应的动作。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一个非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
上述的实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
上述的实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
上述的仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于物联网的视频处理方法,其特征在于,包括:
步骤S1:确定进行联动的物联网设备,确定物联网设备的功能信息,基于所述功能信息生成目标信息,基于所述功能信息和所述目标信息设置联动规则;
步骤S2:设置第一监控设备和第二监控设备,所述第一监控设备和所述第二监控设备共同拍摄相同的环境信息,并分别持续生成第一视频和第二视频,截取所述第一视频在多个时间点的图像画面,定义为基础画面,获取包含不同所述目标信息的多张参考图像,基于所述参考图像建立参考数据库,将所述基础画面与所述参考数据库内各张所述参考图像对比,获取所述基础画面包含的所述目标信息,以及包含所述目标信息的概率值;
步骤S3:确定所述目标信息在所述第一视频中的位置区域,控制所述第一监控设备对该位置区域进行放大拍摄,基于所述概率值调整所述第一监控设备和所述第二监控设备生成视频的分辨率和帧率,并持续生成第一扩展视频和第二扩展视频,将所述第一视频、所述第一扩展视频和所述第二扩展视频进行存储;
步骤S4:基于所述目标信息和所述联动规则,控制物联网设备执行对应的动作。
2.根据权利要求1所述的一种基于物联网的视频处理方法,其特征在于:将所述第一视频、所述第一扩展视频和所述第二扩展视频进行存储包括以下步骤:
步骤S51:判断视频的存储方式,若视频采用第一存储方式,则执行步骤S52,若视频采用第二存储方式,则根据网络状态上传视频,其中,所述第一存储方式为本地存储,所述第二存储方式为云端存储;
步骤S52:设置第一时间段和第二时间段,每当所述第一视频达到所述第一时间段的长度,将其打包为第一视频块,每当所述第一扩展视频和所述第二扩展视频达到所述第二时间段的长度,将其打包为第二视频块,在所述第一视频块内标注第一标签,所述第二视频块内标注第二标签;
步骤S53:设置压缩级别A1,A2,An,定义已经存储至本地的视频块为历史视频块,需要存储至本地的视频块为待存储视频块,计算所述待存储视频块的理论占用空间,以及本地存储的剩余存储空间,若所述剩余存储空间小于所述理论占用空间,则获取本地存储空间中包括所述第一标签的所述历史视频块,将其压缩至压缩级别A1,若所述剩余存储空间仍然小于所述理论占用空间,继续执行步骤S54;
步骤S54:获取本地存储空间中包括所述第二标签的所述历史视频块,将其压缩为压缩级别A1,若所述剩余存储空间仍然小于所述理论占用空间,则将包括所述第一标签的所述历史视频块压缩至压缩级别A2,重复所述步骤S53和所述步骤S54,直至所述剩余存储空间大于所述理论占用空间。
3.根据权利要求2所述的一种基于物联网的视频处理方法,其特征在于,包含所述第二标签的所述历史视频块设置有限制压缩等级,压缩级别达到所述限制压缩等级的所述历史视频块无法再被压缩。
4.根据权利要求2或3所述的一种基于物联网的视频处理方法,其特征在于,若所有所述历史视频块达到最大压缩级别,且所述剩余存储空间仍然小于所述理论占用空间时,则执行以下步骤:
基于各个所述历史视频块的存储次序对其进行编号,获取包含所述第一标签且编号最小的所述历史视频块,定义为第一目标视频块,设定保留阈值,基于第一公式计算所述第一目标视频块的关键度分,若所述第一目标视频块的关键度分小于所述保留阈值,则将所述第一目标视频块删除,所述第一公式为:σ=|xk-xα|×ω|k-α|+|xβ-xk|×ω|β-k|,其中,σ为所述第一目标视频块的关键度分,xk为所述第一目标视频块的编号,xα和xβ分别为距离所述第一目标视频块最近、且包含所述第二标签的所述历史视频块编号,ωr为预设的调整系数,且ωr中,r的数值越小,其对应的ωr数值越大。
5.根据权利要求3所述的一种基于物联网的视频处理方法,其特征在于,基于所述概率值调整所述第一监控设备和所述第二监控设备拍摄视频的分辨率和帧率包括以下步骤:
设定第一阈值和第二阈值,若所述概率值位于所述第一阈值和所述第二阈值之间,则增大所述第一扩展视频和所述第二扩展视频的生成帧率,若所述概率值大于所述第二阈值,则增大所述第一扩展视频和所述第二扩展视频的生成帧率及清分辨率。
6.根据权利要求2所述的一种基于物联网的视频处理方法,其特征在于,所述步骤S51中,根据网络状态上传视频包括以下步骤:
步骤S511:建立传送队列,所述传送队列将所述待存储视频由本地上传至云端,所述待存储视频块生成后,依据其生成次序将其逐个上传至所述传送队列内;
步骤S512:建立参考表格,所述参考表格包括所述目标信息、对应的关注等级及最长发送时间,定义需要上传至所述传送队列的所述待存储视频块为第二目标视频块,若所述第二目标视频块包括所述第二标签,则获取当前网络状态,基于当前网络状态和所述传送队列内的所述待存储视频块,计算发送所述第二目标视频块的所需时间,若所需时间大于所述最长发送时间,则继续执行步骤S513;
步骤S513:获取所述传送队列中、所述关注度等级大于等于所述第二目标视频块的所述待存储视频块,并获取其中生成次序最小的所述待存储视频块,将所述第二目标视频块插入该所述待存储视频块之后。
7.一种基于物联网的视频处理系统,用于实现如权利要求1-6任一项所述的一种基于物联网的视频处理方法,其特征在于,包括:
监控模块,包括第一监控设备和第二监控设备,所述第一监控设备和所述第二监控设备共同拍摄相同的环境信息,并分别持续生成第一视频和第二视频;
分析模块,截取所述第一视频在多个时间点的图像画面,定义为基础画面,获取包含不同所述目标信息的多张参考图像,基于所述参考图像建立参考数据库,将所述基础画面与所述参考数据库内各张所述参考图像对比,获取所述基础画面包含的所述目标信息,以及包含所述目标信息的概率值;
控制模块,确定所述目标信息在所述第一视频中的位置区域,控制所述第一监控设备对该位置区域进行放大拍摄,基于所述概率值调整所述第一监控设备和所述第二监控设备生成视频的分辨率和帧率,以使其持续生成第一扩展视频和第二扩展视频,将所述第一视频、所述第一扩展视频和所述第二扩展视频进行存储;
存储模块,用于存储所述第一视频、所述第一扩展视频和所述第二扩展视频;
联动模块,用于存储联动规则,基于目标信息和所述联动规则,控制物联网设备执行对应的动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310461053.2A CN116456057B (zh) | 2023-04-26 | 2023-04-26 | 一种基于物联网的视频处理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310461053.2A CN116456057B (zh) | 2023-04-26 | 2023-04-26 | 一种基于物联网的视频处理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116456057A true CN116456057A (zh) | 2023-07-18 |
CN116456057B CN116456057B (zh) | 2023-11-14 |
Family
ID=87121865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310461053.2A Active CN116456057B (zh) | 2023-04-26 | 2023-04-26 | 一种基于物联网的视频处理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116456057B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117111858A (zh) * | 2023-10-23 | 2023-11-24 | 深圳萨尔浒网络科技有限公司 | 计算机文件数据匹配系统 |
CN117558424A (zh) * | 2024-01-11 | 2024-02-13 | 广州宇翊鑫医疗科技有限公司 | 基于物联网的医疗器械运维状态巡视方法及系统 |
CN117558424B (zh) * | 2024-01-11 | 2024-06-11 | 广州宇翊鑫医疗科技有限公司 | 基于物联网的医疗器械运维状态巡视方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101547344A (zh) * | 2009-04-24 | 2009-09-30 | 清华大学深圳研究生院 | 基于联动摄像机的视频监控装置及其跟踪记录方法 |
CN108388649A (zh) * | 2018-02-28 | 2018-08-10 | 深圳市科迈爱康科技有限公司 | 处理音视频的方法、系统、设备及存储介质 |
CN115862081A (zh) * | 2021-09-22 | 2023-03-28 | Oppo广东移动通信有限公司 | 图像采集方法、装置、设备和计算机可读存储介质 |
-
2023
- 2023-04-26 CN CN202310461053.2A patent/CN116456057B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101547344A (zh) * | 2009-04-24 | 2009-09-30 | 清华大学深圳研究生院 | 基于联动摄像机的视频监控装置及其跟踪记录方法 |
CN108388649A (zh) * | 2018-02-28 | 2018-08-10 | 深圳市科迈爱康科技有限公司 | 处理音视频的方法、系统、设备及存储介质 |
CN115862081A (zh) * | 2021-09-22 | 2023-03-28 | Oppo广东移动通信有限公司 | 图像采集方法、装置、设备和计算机可读存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117111858A (zh) * | 2023-10-23 | 2023-11-24 | 深圳萨尔浒网络科技有限公司 | 计算机文件数据匹配系统 |
CN117111858B (zh) * | 2023-10-23 | 2024-04-02 | 深圳萨尔浒网络科技有限公司 | 计算机文件数据匹配系统 |
CN117558424A (zh) * | 2024-01-11 | 2024-02-13 | 广州宇翊鑫医疗科技有限公司 | 基于物联网的医疗器械运维状态巡视方法及系统 |
CN117558424B (zh) * | 2024-01-11 | 2024-06-11 | 广州宇翊鑫医疗科技有限公司 | 基于物联网的医疗器械运维状态巡视方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116456057B (zh) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104639860B (zh) | 一种监控录像的存储方法和装置 | |
CN116456057B (zh) | 一种基于物联网的视频处理系统及方法 | |
US10372995B2 (en) | System and method for previewing video | |
CN111163259A (zh) | 一种图像抓拍方法、监控相机及监控系统 | |
KR20190130478A (ko) | 인공지능 기반 해상도 개선 시스템 | |
CN110096996B (zh) | 生物信息识别方法、装置、终端、系统及存储介质 | |
CN110490078A (zh) | 监控视频处理方法、装置、计算机设备和存储介质 | |
CN109241897B (zh) | 监控图像的处理方法、装置、网关设备及存储介质 | |
CN113239874B (zh) | 基于视频图像的行为姿态检测方法、装置、设备及介质 | |
CN107959812B (zh) | 监控数据的存储方法、装置、系统与路由设备 | |
JP6016332B2 (ja) | 画像処理装置、画像処理方法 | |
CN110445952B (zh) | 摄像头的画面闪烁处理方法、装置、设备和存储介质 | |
CN110049310B (zh) | 视频图像获取、视频质量检测方法和装置 | |
CN103826109A (zh) | 一种视频监控图像数据处理方法及系统 | |
CN111260869B (zh) | 监控视频中视频帧的提取方法、装置和计算机设备 | |
CN112257643A (zh) | 一种基于视频流的抽烟行为和打电话行为识别方法 | |
CN107948605A (zh) | 车载监控视频数据存储的方法、装置、设备及存储介质 | |
CN113628404A (zh) | 一种减少无效告警的方法及装置 | |
CN111191506A (zh) | 人员流量统计方法、装置、计算机设备和存储介质 | |
CN112036279A (zh) | 一种楼宇智能监控方法及系统 | |
CN111091146A (zh) | 图片相似度获取方法、装置、计算机设备及存储介质 | |
US9894291B2 (en) | Still image provision device | |
CN114756847B (zh) | 一种基于大数据的档案管控系统及方法 | |
CN110365927B (zh) | 视频录制方法、装置、存储介质和计算机设备 | |
US11398091B1 (en) | Repairing missing frames in recorded video with machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |