CN115665359B - 一种环境监测数据智能压缩方法 - Google Patents
一种环境监测数据智能压缩方法 Download PDFInfo
- Publication number
- CN115665359B CN115665359B CN202211225990.XA CN202211225990A CN115665359B CN 115665359 B CN115665359 B CN 115665359B CN 202211225990 A CN202211225990 A CN 202211225990A CN 115665359 B CN115665359 B CN 115665359B
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- dynamic
- acquiring
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 68
- 238000007906 compression Methods 0.000 title claims abstract description 47
- 230000006835 compression Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003068 static effect Effects 0.000 claims abstract description 32
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013144 data compression Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 11
- 238000000926 separation method Methods 0.000 description 3
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种环境监测数据智能压缩方法，属于数据压缩技术领域；包括以下步骤：获取垃圾投放监控视频；获取每帧图像中运动物体的连通域；获取每帧图像中运动物体的骨架；获取每帧图像中节点的偏移量；获取每帧图像中骨架的偏移量；获取每帧图像的帧间连续性；将每个动态帧区间利用所述动态帧区间的关键帧进行双向预测压缩；并将每个静态帧区间的第一帧图像作为该静态帧区间的关键帧进行后向预测压缩；依次将垃圾投放监控视频进行压缩。本发明通过每个动态帧区间对应的关键帧进行预测编码是使得预测结果准确，并能够取得良好的压缩效果。
Description
技术领域
本发明涉及数据压缩技术领域，具体涉及一种环境监测数据智能压缩方法。
背景技术
随着科技的发展与人们对环保意识逐渐增强，已经有多地实行了垃圾分类定时定点投放政策，而为了督促人员在对于垃圾进行随意投放或者在非投放时间投放时，一般在垃圾投放点利用监控摄像头进行监控，这种监控摄像头一般为高清摄像头，利用高清摄像头进行拍摄获得高清视频来进行随意投放垃圾人员的人脸识别，也就是通过监控对投放垃圾时的环境进行检测，通过检测识别是否将垃圾投放至对应的垃圾桶中。在识别时需要并将拍摄获得高清视频进行压缩存储。在压缩存储过程中，根据通用常识，视频的画质越清晰，其所存储的占用空间也就越大，所以需要利用有效的压缩技术对这种环境远程监控视频数据进行压缩，来达到减少空间存储，节省存储资源的目的。
现有的对于视频的压缩的技术一般采用帧间预测编码的形式进行压缩，即利用已经编码传输过的像素预测实际要传送的像素来达到一种有损压缩的方法，而帧间预测编码对环境监控视频进行压缩时，帧间相关性较差时，不能取得很好的压缩效果，具体表现在预测编码中关键帧选择不准确时，利用该关键帧进行预测编码时帧间的相关性一定会较差从而导致预测值不准确，进行压缩时压缩效果并不理想。
发明内容
为了解决现有技术中的不足，本发明提供一种环境监测数据智能压缩方法，该方法通过每个动态帧区间对应的关键帧进行预测编码是使得预测结果准确，并能够取得良好的压缩效果。
本发明的目的是提供一种环境监测数据智能压缩方法，包括以下步骤：
获取垃圾投放监控视频；并获取监控视频中多个出现运动物体的连续帧图像对应的动态帧区间；根据每个动态帧区间中每帧图像与其相邻帧图像获取每帧图像中运动物体的连通域；
根据所述每帧图像中运动物体的连通域通过腐蚀获取每帧图像中运动物体的骨架；
获取所述每帧图像中运动物体的骨架上的多个节点，并对节点进行标记；
根据每个动态帧区间中每帧图像分别与其相邻上一帧图像和相邻下一帧图像中的标记相同节点之间的位置关系，获取每帧图像中节点的偏移量；根据每个动态帧区间中每帧图像分别与其相邻上一帧图像和相邻下一帧图像中标记相同的相邻节点之间对应于连通域中的区域的灰度差异，获取每帧图像中骨架的偏移量；
根据每个动态帧区间中每帧图像中节点的偏移量和骨架的偏移量，获取每帧图像的帧间连续性；将每个动态帧区间中选择最大的帧间连续性对应帧的图像作为每个动态帧区间的关键帧；
根据多个动态帧区间获取垃圾投放监控视频中的静态帧区间；
将每个动态帧区间利用所述动态帧区间的关键帧进行双向预测压缩；并将每个静态帧区间的第一帧图像作为该静态帧区间的关键帧进行后向预测压缩；依次将垃圾投放监控视频进行压缩。
在一实施例中，所述动态帧区间是按照以下步骤获取：
将垃圾投放监控视频中每帧图像的二维熵作为每帧图像的信息携带量；
根据相邻两帧图像的信息携带量的差异获取出现运动物体的多帧图像；
将多帧图像通过连续帧聚类获取多个出现运动物体的连续帧图像的动态帧区间。
在一实施例中，每帧图像中节点的偏移量是按照以下步骤获取：
获取每帧图像与其相邻上一帧图像中标记相同节点之间的第一欧式距离；
并获取所述每帧图像与其相邻下一帧图像中标记相同节点之间的第二欧式距离；
依次获取所述每帧图像中每个节点对应的第一欧式距离和第二欧式距离；
根据所有节点对应第一欧式距离和第二欧式距离加和的均值获取所述每帧图像中节点的偏移量。
在一实施例中，每帧图像中骨架的偏移量是按照以下步骤获取：
获取每个动态帧区间中每帧图像中标记的相邻节点之间对应于连通域中的区域；
将每帧图像中标记相邻节点之间对应于连通域中区域的二维熵作为每帧图像中标记相邻节点之间对应于连通域中区域的信息携带量；
再将每帧图像中标记相邻节点之间对应于连通域中区域的信息携带量，与其相邻上一帧图像中标记相同的相邻节点之间对应于连通域中区域的信息携带量的差值作为每个动态帧区间中每帧图像与其相邻上一帧图像标记相同的相邻节点之间对应于连通域中区域的第一灰度差异；
同理，获取每个动态帧区间中每帧图像与其相邻下一帧图像中标记相同的相邻节点之间对应于连通域中区域的第二灰度差异；
依次获取每帧图像中标记的所有相邻节点之间对应的第一灰度差异和第二灰度差异；
根据所有相邻节点之间对应的第一灰度差异和第二灰度差异加和的均值获取每帧图像中骨架的偏移量。
在一实施例中，每帧图像中标记的相邻节点之间对应于连通域中的区域是按照以下步骤获取：
对每帧图像中所有节点之间的骨架利用形态学中的自适应结构元进行膨胀操作，直至相邻节点之间的骨架膨胀至填充满所述每帧图像中运动物体的连通域，将相邻节点之间的骨架膨胀的区域作为所述每帧图像中标记的相邻节点之间对应于连通域中的区域。
在一实施例中，所述每帧图像的帧间连续性获取过程中，还包括：
获取监控视频中每帧图像的对应的三个通道图像；
获取每个动态帧区间中每帧图像对应每个通道图像中节点的偏移量和骨架的偏移量；再根据每帧图像对应每个通道图像中节点的偏移量和骨架的偏移量，获取每帧图像对应每个通道图像的帧间连续性；
将每帧图像对应每个通道图像的帧间连续性的均值作为每帧图像的帧间连续性。
在一实施例中，每帧图像中运动物体的连通域是通过对每个动态帧区间中每帧图像与其相邻帧图像进行帧差法运算而获取的。
在一实施例中，每帧动态图像中运动物体的骨架是对每帧图像中运动物体的连通域利用形态学算法中的自适应结构元对连通域进行腐蚀而获取的。
本发明的有益效果是：本发明提供的一种环境监测数据智能压缩方法，该方法首先对监控视频进行每帧图像的信息携带量进行计算，再通过信息携带量进行动态帧图像和静态帧图像进行分离，利用已经分离的动态帧图像进行动态帧区间的划分，而后通过对动态帧区间的每帧图像中运动物体进行骨架提取，利用每帧图像中骨架上节点的偏移量和骨架的偏移量计算当前帧图像的帧间连续性，根据每个动态帧区间中每帧图像的帧间连续性，选择最大的帧间连续性对应帧图像作为后续预测编码压缩时的关键帧，通过每个动态帧区间对应的关键帧进行预测编码时，使得预测结果更为准确，并能够取得良好的压缩效果。
本发明还对每个动态帧区间中每帧图像对应的三个通道图像中的运动物体的特征进行量化，计算出不同通道图像的帧间连续性，进而获得每帧图像的帧间联系性，最后通过三通道获取的每帧图像对应的帧间连续性进行关键帧的选取，对于较常规的预测编码的关键帧的选取来说，对于不同的动态帧区间采用不同的关键帧，并且关键帧的选择为三个通道的融合结果，故每个关键帧与对应的动态帧区间的其余帧图像来说连续性更强，所以进行预测编码时预测结果更准确，压缩效果更好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种环境监测数据智能压缩方法的实施例总体步骤的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明主要针对利用预测编码对环境远程监控视频数据进行压缩的时候，关键帧的选择往往对压缩的效率有着较大的影响。为此，本发明通过计算监控视频中每帧图像在帧间的连续性，获得在动态帧区间中的帧间连续性，最后通过帧间连续性来获取动态帧区间的关键帧，并利用获取的关键帧对动态帧区间进行环境远程监控视频数据的智能压缩。
本发明提供的一种环境监测数据智能压缩方法，参见图1所示，包括以下步骤：
S1、获取垃圾投放监控视频；
在本实施例，通过安装在垃圾投放处的监控摄像头，获取垃圾投放监控视频；对获取的垃圾投放监控视频进行智能压缩之前需要对其进行预处理来减少计算量，具体预处理过程为：
首先对监控视频进行备份，获得相同的备份数据，主要是因为后续操作中有些做法为不可逆操作，而为了保证视频的完整性，所以需要对其进行备份。
其次对备份后的视频进行帧拆解以及通道分离，帧拆解具体是指对整体视频进行逐帧拆解来获得每帧的图像数据，而通道分离则是对每帧的图像数据进行RGB三通道分离，由于环境监控视频是三个通道的视频，在后续处理的时候因为通道之间的影响导致连续性计算不准确从而使得关键帧选择不准确，所以进行帧拆解；至此，垃圾投放监控视频的预处理结束。
S2、获取多个动态帧区间；具体如下：
获取监控视频中多个出现运动物体的连续帧图像对应的动态帧区间；
需要说明的是，预测编码对监控视频进行压缩的时候，其中的静态帧图像和动态帧图像进行预测的时候难度是不相同的，本实施例所涉及的监控视频的特殊性，进行静态帧进行预测是十分容易的，监控摄像头角度固定，所以拍摄的视频没有移动的物体的时候其场景是大幅度相同的，即使有所变化也是由于光照等因素的影响，但是预测编码是相邻帧之间的预测，而相邻两帧之间的时间间隔相当的短，所以光照因素不做考虑。而含有移动中的物体的动态帧，由于物体的行为是不可预知性，所以预测难度较大，故本实施例要选取的关键帧为动态帧中的关键帧，要进行动态帧中的关键帧的选择，首先需要对动态帧和静态帧进行分离，而后通过对动态帧进行分析来进行动态帧中的关键帧的选择；其中，静态帧图像指的是拍摄的视频没有移动的物体时的每帧图像；动态帧图像指的是拍摄的视频有移动的物体时的每帧图像。
其中，动态帧区间是按照以下步骤获取：
将垃圾投放监控视频中每帧图像的二维熵作为每帧图像的信息携带量；
根据相邻两帧图像的信息携带量的差异获取出现运动物体的多帧图像；
将多帧图像通过连续帧聚类获取多个出现运动物体的连续帧图像的动态帧区间。
在本实施例中，首先计算每帧图像的信息携带量，其计算公式如下：
式中，En表示第n帧图像的信息携带量；n∈[1,N]，其中N为监控视频被帧拆解后的帧数总和；Pgg′表示第n帧图像中灰度值大小为g的像素点以及灰度值大小为g的像素点周围8邻域内的像素点平均灰度值为g′出现的概率；g表示灰度值大小g∈[0,255]；g′表示灰度值为g的8邻域内像素点灰度值的平均值g′∈[0,255]。需要说明的是，在每帧图像中由于静态帧图像的变化程度不大，所以其像素点的灰度值变化不大；而相对于静态帧图像来说，动态帧图像中由于掺杂了运动的物体，所以其像素点的灰度值发生了变化，但是有一定的可能运动物体所作的运动为平移运动，其像素点的灰度值未发生改变，故利用二维熵的计算方式来表示每帧图像中信息携带量来进行动态帧图像和静态帧图像的分离与分区，利用像素点的灰度值与像素点周围邻域内像素点的灰度值对每帧图像的信息携带量的量化。依次获取垃圾投放监控视频中每帧图像的信息携带量。
其次，对相邻帧进行信息携带量的差异进行计算，具体做法为以第一帧开始，计算后一帧图像与前一帧图像的信息携带量的差异值，计算方式为利用后一帧图像的信息携带量减去前一帧图像的信息携带量，而后根据动态阈值进行鉴定，鉴定后一帧图像相比于前一帧图像来说是否为动态帧图像的开始帧图像，在本实施例中，根据相邻两帧图像的信息携带量的差异获取出现运动物体的多帧图像；具体如下：
第n帧图像与第n-1帧图像的信息携带量的差异ΔEn计算如下：
ΔEn＝En-En-1
式中，En表示第n帧图像的信息携带量；En-1表示第n-1帧图像的信息携带量；ΔEn表示第n帧图像与第n-1帧图像的信息携带量的差异；
第n帧图像与第n-1帧图像的动态阈值Sn的计算：
式中，Sn表示第n帧图像与第n-1帧图像的动态阈值；En表示第n帧图像的信息携带量；En-1表示第n-1帧图像的信息携带量；
α为阈值参数，用于调节动态阈值的大小，α越大，则动态帧的选择越粗糙，预测编码时预测结果越不准确，压缩效率越低，但是计算量越小，反之则相反，此处给出经验值为
具体可根据实施者的需求进行实际调节；
需要说明的是，当监控视频数据中相邻两帧图像皆为静态帧图像时，其信息携带量差异是十分小的，基本上无差异，但是当出现动态帧图像时，其中由于视频中移动物体的运动，从而导致像素点的位置以及像素点的灰度值发生了变化，所以其信息携带量会发生明显的差异，所以利用相邻两帧图像的信息携带量的差异值的平均数和调节参数的乘积来作为动态阈值进行动态帧图像和静态帧图像的区分阈值。
随后，利用动态阈值进行动态帧图像与静态帧图像的分离，具体以第n帧图像为例，对第n帧图像与其相邻的第n-1帧图像的信息携带量的差异ΔEn与动态阈值Sn进行对比，当ΔEn<Sn时，则说明第n帧图像相对于第n-1帧图像为静态帧图像；而当ΔEn≥Sn时，则说明第n帧图像相对于第n-1帧图像为动态帧图像。即依次获取监控视频中出现运动物体的多帧图像。
最后，将多帧图像通过连续帧聚类获取多个出现运动物体的连续帧图像的动态帧区间。具体是按照以下方法进行聚类获取动态帧区间：
在本实施例中，以出现运动物体的多帧图像中的第n′帧图像为例，对其相邻帧进行双向检索判断，以前向为例，也就是小于n′帧的方向，判断第n′-1帧图像是否为出现运动物体的一帧图像，如是则检索第n′-2帧图像，直至检索为某一帧时，该帧为静态帧图像则停止检索，同理，后向检索方式相同，则这些出现运动物体的连续指帧图像为一个动态帧区间。依次对所有帧图像进行检索，共可获得多个动态帧区间，每个动态帧区间中有N′帧图像，其中，N′可不相同，为方便叙述，本实施例中，将统一以N′进行描述，至此，获得所有监控视频中动态帧区间。
S3、获取每帧图像中运动物体的骨架；
根据每个动态帧区间中每帧图像与其相邻帧图像获取每帧图像中运动物体的连通域；
根据每帧图像中运动物体的连通域通过腐蚀获取每帧图像中运动物体的骨架；
获取每帧图像中运动物体的骨架上的多个节点，并对节点进行标记；
在本实施例中，每帧图像中运动物体的连通域是通过对每个动态帧区间中每帧图像与其相邻帧图像进行帧差法运算而获取的。具体在每个动态帧区间中对第n′帧图像与第n′-1图像进行帧差法运算，获取第n′帧图像中的运动物体的连通域并在第n′帧图像上进行连通域标记。
其中，每帧动态图像中运动物体的骨架是对每帧图像中运动物体的连通域利用形态学算法中的自适应结构元对连通域进行腐蚀而获取的。
另外，对骨架上节点进行标记的过程中是从下往上进行标记，若多个节点处于同一行，则从左边先标记。
通过对每个动态帧区间中每帧图像所对应的骨架上的节点进行标注，便于后续对节点的偏移以及骨架的偏移的分析。
S4、获取每帧图像中节点的偏移量和骨架的偏移量；
根据每个动态帧区间中每帧图像分别与其相邻上一帧图像和相邻下一帧图像中的标记相同节点之间的位置关系，获取每帧图像中节点的偏移量；根据每个动态帧区间中每帧图像分别与其相邻上一帧图像和相邻下一帧图像中标记相同的相邻节点之间对应于连通域中的区域的灰度差异，获取每帧图像中骨架的偏移量；
其中，每帧图像中节点的偏移量是按照以下步骤获取：
获取每帧图像与其相邻上一帧图像中标记相同节点之间的第一欧式距离；
并获取每帧图像与其相邻下一帧图像中标记相同节点之间的第二欧式距离；
依次获取每帧图像中每个节点对应的第一欧式距离和第二欧式距离；
根据所有节点对应第一欧式距离和第二欧式距离加和的均值获取每帧图像中节点的偏移量。具体每个动态帧区间中第n′帧图像中节点的偏移量计算公式如下：
式中，Pn′表示第n′帧图像中节点的偏移量；Ln′,m表示第n′帧图像中的第m个节点与第n′-1帧图像中第m个节点的第一欧式距离；L′n′,m表示第n′+1帧图像中第m个节点与第n′帧中第m个节点的第二欧式距离；M表示第n′帧图像中节点的数量，其中，第n′-1帧图像和第n′+1帧图像中节点的数量与第n′帧图像相同。其中，欧式距离计算的过程中，每个节点在图像中均有相应的坐标，根据每个节点的坐标再进行计算之间的欧式距离。需要说明的是，在物体进行运动的过程中，由于连续两帧图像的间隔时间很短，所以运动物体的节点对应有所偏移，但是偏移的程度不够大，故利用标记的连续帧图像中对应相同的m节点极大概率为运动物体的同一个位置，但是即使偏移量再小，只要发生了运动，连续帧中的对应节点的位置一定会有所偏差，所以利用对应的节点的位置的欧式距离来表示对应节点的偏移量，而第n′图像的运动是相对于第n′-1帧图像和第n′+1帧图像而言的，所以对第n′帧图像的前后连续两帧图像的对应的所有的节点的位置偏移来求取平均值作为第n′帧的节点的偏移量，其节点的偏移量越大，说明第n′帧中的运动物体与前后连续两帧图像之间运动幅度较大，视频帧连续性不高，即联系性较弱。
进一步，每帧图像中骨架的偏移量是按照以下步骤获取：
获取每个动态帧区间中每帧图像中标记的相邻节点之间对应于连通域中的区域；
将每帧图像中标记相邻节点之间对应于连通域中区域的二维熵作为每帧图像中标记相邻节点之间对应于连通域中区域的信息携带量；
再将每帧图像中标记相邻节点之间对应于连通域中区域的信息携带量，与其相邻上一帧图像中标记相同的相邻节点之间对应于连通域中区域的信息携带量的差值作为每个动态帧区间中每帧图像与其相邻上一帧图像标记相同的相邻节点之间对应于连通域中区域的第一灰度差异；
同理，获取每个动态帧区间中每帧图像与其相邻下一帧图像中标记相同的相邻节点之间对应于连通域中区域的第二灰度差异；
依次获取每帧图像中标记的所有相邻节点之间对应的第一灰度差异和第二灰度差异；
根据所有相邻节点之间对应的第一灰度差异和第二灰度差异加和的均值获取每帧图像中骨架的偏移量。具体每个动态帧区间中第n′帧图像中骨架的偏移量计算公式如下：
式中，Qn′表示第n′帧图像中骨架的偏移量；
ΔEn′,m～t表示第n′帧图像中的第m个节点与其相邻的第t个节点之间对应于连通域中区域信息携带量，与第n′-1帧图像中第m个节点与其相邻的第t个节点之间对应于连通域中区域信息携带量的差值；
ΔE′n′,m～t表示第n′帧图像中的第m个节点与其相邻的第t个节点之间对应于连通域中区域信息携带量，与第n′+1帧图像中第m个节点与其相邻的第t个节点之间对应于连通域中区域信息携带量的差值；
M表示第n′帧图像中节点的数量，其中，第n′-1帧图像和第n′+1帧图像中节点的数量与第n′帧图像相同；
T表示第n′帧图像中与第m个节点相邻的节点的数量，需要说明的是，与第m个节点相邻的节点之间存在骨架；其中，在第n′-1帧图像和第n′+1帧图像中均存在与第n′帧图像相同的与第m个节点相邻的节点的数量。
需要说明的是，第n′帧图像中，只要运动物体发生了运动，则其在前后相邻帧图像中第m个节点与其相邻的第t个节点之间对应于连通域中区域信息携带量会发生些许的变化，也就是用第m个节点与其相邻的第t个节点之间的骨架所在的连通域的区域的灰度信息会发生变化；所有通过第m个节点与其相邻的第t个节点之间的骨架所在的连通域的区域的灰度信息的差异，来反应骨架是否在运动，则Qn′越大，则说明第n′帧中的运动物体与前后连续两帧之间运动幅度较大，视频帧连续性不高，即连续性较弱。
另外，每帧图像中标记的相邻节点之间对应于连通域中的区域是按照以下步骤获取：
对每帧图像中所有节点之间的骨架利用形态学中的自适应结构元进行膨胀操作，直至相邻节点之间的骨架膨胀至填充满每帧图像中运动物体的连通域，将相邻节点之间的骨架膨胀的区域作为每帧图像中标记的相邻节点之间对应于连通域中的区域。
需要说明的是，每帧图像中与第m个节点通过骨架相连的相邻节点有多个，也就是连接同一节点的不同相邻节点之间骨架在膨胀的过程中，会有出现交叉区域，而交叉区域也会反应相邻节点之间骨架的运动情况，使得两节点之间骨架的偏移量更为精准，为此，将所有相邻节点之间的骨架利用形态学中的自适应结构元进行同时膨胀操作，直至相邻节点之间的骨架膨胀至填充满每帧图像中运动物体的连通域，这样会获取相邻节点之间的骨架膨胀的区域；膨胀的过程中是朝着与骨架垂直的方向进行膨胀。
S5、获取每个动态帧区间的关键帧；
根据每个动态帧区间中每帧图像中节点的偏移量和骨架的偏移量，获取每帧图像的帧间连续性；将每个动态帧区间中选择最大的帧间连续性对应帧的图像作为每个动态帧区间的关键帧；
在本实施例中，为了计算每个动态帧区间中每帧图像的帧间的连续性，则每帧图像的帧间连续性获取过程中，还包括：
获取监控视频中每帧图像的对应的三个通道图像；具体包括R、G、B三个通道图像；
获取每个动态帧区间中每帧图像对应每个通道图像中节点的偏移量和骨架的偏移量；再根据每帧图像对应每个通道图像中节点的偏移量和骨架的偏移量，获取每帧图像对应每个通道图像的帧间连续性；
将每帧图像对应每个通道图像的帧间连续性的均值作为每帧图像的帧间连续性。
需要说明的是，每个通道图像中节点的偏移量和骨架的偏移量是按照步骤S3～S4获取的。每个动态帧区间中每帧图像对应R通道图像的帧间连续性计算公式如下：
CR(n′)＝e-(QR,n′+PR,n′)
式中，CR(n′)表示第n′帧图像对应R通道图像的帧间连续性；QR,n′表示第n′帧图像对应R通道图像中骨架的偏移量；PR,n′表示第n′帧图像对应R通道图像中节点的偏移量；e表示指数函数；需要说明的是，每个动态帧区间中第n′帧图像对应R通道图像中的节点的偏移量和骨架的偏移量越大，则说明第n′帧图像相对于前后连续的两帧图像而言，其运动物体的运动幅度也就越大，即视频的连续性越小，第n′帧图像相对于前后连续的两帧图像的帧间连续性也就越小，所以利用e的负指数函数进行取反，使得节点的偏移量和骨架的偏移量越大，其帧间联系性越小，反之则相反。
依次获取第n′帧图像对应G通道图像的帧间连续性CG(n′)；第n′帧图像对应B通道图像的帧间连续性CB(n′)。
再将每帧图像对应每个通道图像的帧间连续性的均值作为每帧图像的帧间连续性，则每个动态帧区间中第n′帧图像的帧间连续性计算公式如下：
式中，C(n)表示每个动态帧区间中第n′帧图像的帧间连续性；CR(n′)表示第n′帧图像对应R通道图像的帧间连续性；CG(n′)表示第n′帧图像对应G通道图像的帧间连续性；CB(n′)表示第n′帧图像对应B通道图像的帧间连续性。为此，在整个监控视频中，由于整体的监控视频的每帧图像是有三个通道图像共同组成，在监控视频中，其三个通道图像的重要程度是相同的，所以利用三个通道图像的帧间连续性进行平均值计算来表示每个动态帧区间中每帧图像的帧间连续性。
其中，每个动态帧区间中每帧图像的帧间连续性越大，则说明该帧图像在三个通道中与其余帧图像的连续性越强，所以选择最大的帧间连续性对应的那帧图像作为所在动态帧区间内的关键帧来进行后续的预测编码的压缩时的关键帧。
依次获得每个动态帧区间对应的关键帧，至此所有关键帧选择完毕。
S6、利用获取的每个动态帧区间对应的关键帧对监控视频进行压缩；
根据多个动态帧区间获取垃圾投放监控视频中的静态帧区间；
将每个动态帧区间利用动态帧区间的关键帧进行双向预测压缩；并将每个静态帧区间的第一帧图像作为该静态帧区间的关键帧进行后向预测压缩；依次将垃圾投放监控视频进行压缩。
根据步骤S5获取的每个动态帧区间对应的关键帧，利用对应的关键帧对每个动态帧区间的监控视频进行压缩；具体过程如下：
首先利用多个动态帧区间将监控视频分为多个区块，也就是将垃圾投放监控视频除过多个动态帧区间，剩下的区间为静态帧区间，静态帧区间指的是监控视频中未出现运动物体的连续帧图像所在的区间；
其次，将监控视频按照静态帧区间和动态帧区间所利用的关键帧进行预测编码压缩，每个静态帧区间对应的视频利用其第一帧图像作为该静态帧区间的关键帧进行后向预测压缩，每个动态帧区间对应的视频利用S5获取的每个动态帧区间对应的关键帧进行双向预测压缩。
最后将利用关键帧预测编码压缩过的监控视频数据进行传输即可。
本发明提供的一种环境监测数据智能压缩方法，该方法首先对监控视频进行每帧图像的信息携带量进行计算，再通过信息携带量进行动态帧图像和静态帧图像进行分离，利用已经分离的动态帧图像进行动态帧区间的划分，而后通过对动态帧区间的每帧图像中运动物体进行骨架提取，利用每帧图像中骨架上节点的偏移量和骨架的偏移量计算当前帧图像的帧间连续性，根据每个动态帧区间中每帧图像的帧间连续性，选择最大的帧间连续性对应帧图像作为后续预测编码压缩时的关键帧，通过每个动态帧区间对应的关键帧进行预测编码时，使得预测结果更为准确，并能够取得良好的压缩效果。
本发明还对每个动态帧区间中每帧图像对应的三个通道图像中的运动物体的特征进行量化，计算出不同通道图像的帧间连续性，进而获得每帧图像的帧间联系性，最后通过三通道获取的每帧图像对应的帧间连续性进行关键帧的选取，对于较常规的预测编码的关键帧的选取来说，对于不同的动态帧区间采用不同的关键帧，并且关键帧的选择为三个通道的融合结果，故每个关键帧与对应的动态帧区间的其余帧图像来说连续性更强，所以进行预测编码时预测结果更准确，压缩效果更好。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种环境监测数据智能压缩方法，其特征在于，包括以下步骤：
获取垃圾投放监控视频；并获取监控视频中多个出现运动物体的连续帧图像对应的动态帧区间；根据每个动态帧区间中每帧图像与其相邻帧图像获取每帧图像中运动物体的连通域；
根据所述每帧图像中运动物体的连通域通过腐蚀获取每帧图像中运动物体的骨架；
获取所述每帧图像中运动物体的骨架上的多个节点，并对节点进行标记；
根据每个动态帧区间中每帧图像分别与其相邻上一帧图像和相邻下一帧图像中的标记相同节点之间的位置关系，获取每帧图像中节点的偏移量；根据每个动态帧区间中每帧图像分别与其相邻上一帧图像和相邻下一帧图像中标记相同的相邻节点之间对应于连通域中的区域的灰度差异，获取每帧图像中骨架的偏移量；
根据每个动态帧区间中每帧图像中节点的偏移量和骨架的偏移量，获取每帧图像的帧间连续性；将每个动态帧区间中选择最大的帧间连续性对应帧的图像作为每个动态帧区间的关键帧；
根据多个动态帧区间获取垃圾投放监控视频中的静态帧区间；
将每个动态帧区间利用所述动态帧区间的关键帧进行双向预测压缩；并将每个静态帧区间的第一帧图像作为该静态帧区间的关键帧进行后向预测压缩；依次将垃圾投放监控视频进行压缩。
2.根据权利要求1所述的环境监测数据智能压缩方法，其特征在于，所述动态帧区间是按照以下步骤获取：
将垃圾投放监控视频中每帧图像的二维熵作为每帧图像的信息携带量；
根据相邻两帧图像的信息携带量的差异获取出现运动物体的多帧图像；
将多帧图像通过连续帧聚类获取多个出现运动物体的连续帧图像的动态帧区间。
3.根据权利要求1所述的环境监测数据智能压缩方法，其特征在于，每帧图像中节点的偏移量是按照以下步骤获取：
获取每帧图像与其相邻上一帧图像中标记相同节点之间的第一欧式距离；
并获取所述每帧图像与其相邻下一帧图像中标记相同节点之间的第二欧式距离；
依次获取所述每帧图像中每个节点对应的第一欧式距离和第二欧式距离；
根据所有节点对应第一欧式距离和第二欧式距离加和的均值获取所述每帧图像中节点的偏移量。
4.根据权利要求1所述的环境监测数据智能压缩方法，其特征在于，每帧图像中骨架的偏移量是按照以下步骤获取：
获取每个动态帧区间中每帧图像中标记的相邻节点之间对应于连通域中的区域；
将每帧图像中标记相邻节点之间对应于连通域中区域的二维熵作为每帧图像中标记相邻节点之间对应于连通域中区域的信息携带量；
再将每帧图像中标记相邻节点之间对应于连通域中区域的信息携带量，与其相邻上一帧图像中标记相同的相邻节点之间对应于连通域中区域的信息携带量的差值作为每个动态帧区间中每帧图像与其相邻上一帧图像标记相同的相邻节点之间对应于连通域中区域的第一灰度差异；
同理，获取每个动态帧区间中每帧图像与其相邻下一帧图像中标记相同的相邻节点之间对应于连通域中区域的第二灰度差异；
依次获取每帧图像中标记的所有相邻节点之间对应的第一灰度差异和第二灰度差异；
根据所有相邻节点之间对应的第一灰度差异和第二灰度差异加和的均值获取每帧图像中骨架的偏移量。
5.根据权利要求4所述的环境监测数据智能压缩方法，其特征在于，每帧图像中标记的相邻节点之间对应于连通域中的区域是按照以下步骤获取：
对每帧图像中所有节点之间的骨架利用形态学中的自适应结构元进行膨胀操作，直至相邻节点之间的骨架膨胀至填充满所述每帧图像中运动物体的连通域，将相邻节点之间的骨架膨胀的区域作为所述每帧图像中标记的相邻节点之间对应于连通域中的区域。
6.根据权利要求1所述的环境监测数据智能压缩方法，其特征在于，所述每帧图像的帧间连续性获取过程中，还包括：
获取监控视频中每帧图像的对应的三个通道图像；其中，所述三个通道图像包括R、G、B三个通道图像；
获取每个动态帧区间中每帧图像对应每个通道图像中节点的偏移量和骨架的偏移量；再根据每帧图像对应每个通道图像中节点的偏移量和骨架的偏移量，获取每帧图像对应每个通道图像的帧间连续性；
将每帧图像对应每个通道图像的帧间连续性的均值作为每帧图像的帧间连续性。
7.根据权利要求1所述的环境监测数据智能压缩方法，其特征在于，每帧图像中运动物体的连通域是通过对每个动态帧区间中每帧图像与其相邻帧图像进行帧差法运算而获取的。
8.根据权利要求1所述的环境监测数据智能压缩方法，其特征在于，每帧动态图像中运动物体的骨架是对每帧图像中运动物体的连通域利用形态学算法中的自适应结构元对连通域进行腐蚀而获取的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211225990.XA CN115665359B (zh) | 2022-10-09 | 2022-10-09 | 一种环境监测数据智能压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211225990.XA CN115665359B (zh) | 2022-10-09 | 2022-10-09 | 一种环境监测数据智能压缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115665359A CN115665359A (zh) | 2023-01-31 |
| CN115665359B true CN115665359B (zh) | 2023-04-25 |
Family
ID=84985832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211225990.XA Expired - Fee Related CN115665359B (zh) | 2022-10-09 | 2022-10-09 | 一种环境监测数据智能压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115665359B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117714691B (zh) * | 2024-02-05 | 2024-04-12 | 佳木斯大学 | 一种ar增强现实钢琴教学用自适应传输系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555901A (zh) * | 2019-09-05 | 2019-12-10 | 亮风台（上海）信息科技有限公司 | 动静态场景的定位和建图方法、装置、设备和存储介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8284249B2 (en) * | 2008-03-25 | 2012-10-09 | International Business Machines Corporation | Real time processing of video frames for triggering an alert |
| US9161012B2 (en) * | 2011-11-17 | 2015-10-13 | Microsoft Technology Licensing, Llc | Video compression using virtual skeleton |
| IN2013MU03837A (zh) * | 2013-12-06 | 2015-07-31 | Tata Consultancy Services Ltd | |
| CN106534949A (zh) * | 2016-11-25 | 2017-03-22 | 济南中维世纪科技有限公司 | 延长视频监控系统录像存储时间的方法 |
| CN107454395A (zh) * | 2017-08-23 | 2017-12-08 | 上海安威士科技股份有限公司 | 一种高清网络摄像机及智能码流控制方法 |
| CN109583315B (zh) * | 2018-11-02 | 2023-05-12 | 北京工商大学 | 一种面向智能视频监控的多通道快速人体姿态识别方法 |
| CN111641830B (zh) * | 2019-03-02 | 2022-03-15 | 上海交通大学 | 用于视频中的人体骨架的多模态无损压缩实现方法和系统 |
| CN110097026B (zh) * | 2019-05-13 | 2021-04-27 | 北京邮电大学 | 一种基于多维要素视频分割的段落关联规则评判方法 |
| CN110719474A (zh) * | 2019-10-18 | 2020-01-21 | 山东浪潮人工智能研究院有限公司 | 一种基于连通域分析的监控视频二次压缩方法 |
| CN112686153B (zh) * | 2020-12-30 | 2023-04-18 | 西安邮电大学 | 一种用于人体行为识别的三维骨架关键帧选择方法 |
| CN114550071B (zh) * | 2022-03-22 | 2022-07-19 | 北京壹体科技有限公司 | 田径视频动作关键帧自动识别和抓取方法、装置及介质 |
| CN114565882B (zh) * | 2022-04-29 | 2022-07-19 | 深圳航天信息有限公司 | 基于多视频摄像头智能联动的异常行为分析方法及装置 |
| CN114710674B (zh) * | 2022-06-06 | 2022-08-30 | 青岛亨通建设有限公司 | 一种建筑施工监控数据存储方法 |
-
2022
- 2022-10-09 CN CN202211225990.XA patent/CN115665359B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555901A (zh) * | 2019-09-05 | 2019-12-10 | 亮风台（上海）信息科技有限公司 | 动静态场景的定位和建图方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115665359A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023134791A2 (zh) | 一种环境安防工程监测数据管理方法及系统 | |
| CN110324626B (zh) | 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法 | |
| JP2809659B2 (ja) | ビデオ画像処理 | |
| CN111355956B (zh) | 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法 | |
| US8582915B2 (en) | Image enhancement for challenging lighting conditions | |
| CN107657228A (zh) | 视频场景相似性分析方法及系统、视频编解码方法及系统 | |
| CN115019111B (zh) | 用于互联网文创作品的数据处理方法 | |
| US20080095232A1 (en) | Method and apparatus for implementing b-picture scene changes | |
| CN115456868B (zh) | 一种消防演练系统数据管理方法 | |
| CN106851302B (zh) | 一种基于帧内编码压缩域的监控视频运动目标检测方法 | |
| CN111047532B (zh) | 一种基于3d卷积神经网络的低照度视频增强方法 | |
| CN115665359B (zh) | 一种环境监测数据智能压缩方法 | |
| US11798254B2 (en) | Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks | |
| US20130155228A1 (en) | Moving object detection method and apparatus based on compressed domain | |
| CN106993188A (zh) | 一种基于多人脸视频显著性的hevc压缩编码方法 | |
| CN116233479B (zh) | 基于数据处理的直播信息内容审核系统及方法 | |
| CN110717070A (zh) | 一种用于室内监控场景的视频压缩方法及系统 | |
| CN114202463B (zh) | 面向云端融合的视频超分辨率方法及系统 | |
| CN103020138A (zh) | 一种视频检索的方法和装置 | |
| JP5801614B2 (ja) | 画像処理装置、画像処理方法 | |
| CN115424179A (zh) | 一种基于边缘计算的实时视频监控方法、设备及存储介质 | |
| US11538169B2 (en) | Method, computer program and system for detecting changes and moving objects in a video view | |
| CN103702123A (zh) | 一种视频编码和处理的方法以及设备 | |
| CN107509074A (zh) | 基于压缩感知的自适应3d视频编解码方法 | |
| CN110519597B (zh) | 一种基于hevc的编码方法、装置、计算设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230425 |