CN116320465A - 一种视频压缩与传输方法、装置、网关及存储介质 - Google Patents
一种视频压缩与传输方法、装置、网关及存储介质 Download PDFInfo
- Publication number
- CN116320465A CN116320465A CN202310348481.4A CN202310348481A CN116320465A CN 116320465 A CN116320465 A CN 116320465A CN 202310348481 A CN202310348481 A CN 202310348481A CN 116320465 A CN116320465 A CN 116320465A
- Authority
- CN
- China
- Prior art keywords
- video
- band
- detail sub
- transmitted
- compressed video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006835 compression Effects 0.000 title claims abstract description 75
- 238000007906 compression Methods 0.000 title claims abstract description 75
- 230000005540 biological transmission Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000002156 mixing Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种视频压缩与传输方法、装置、网关及存储介质。该方法包括获取待传输视频，待传输视频根据视频编码标准对原始视频进行压缩得到；将待传输视频通过随机噪声发生器，得到混噪后的视频；根据空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取和小波分解，得到压缩视频和压缩视频中每一帧的低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；基于压缩视频和待传输视频的误差，建立压缩视频的损失函数；朝最小化压缩视频的损失函数的方向，调整压缩视频中每一帧的各频段的参数，直至损失函数取得最小值时停止调整，得到目标视频。采用本方法能够对高清视频进行无损压缩。
Description
技术领域
本申请涉及视频传输技术领域，更具体地，涉及一种视频压缩与传输方法、装置、网关及存储介质。
背景技术
在网络传输带宽受限的条件下，如何实现视频的流畅传输成为视频传输技术领域关注的重点问题。
目前，公开号为CN106454383A、发明名称为一种高倍率数字视频压缩处理系统的专利，基于视频宏块大小的扩展，提出一种基于小波变换的改进视频压缩算法，利用DSP的高速处理能力和内嵌ARM视频数据网络传输反馈机制，实现低带宽下高速低延时和高可靠传输。
但是，这种视频压缩处理系统是基于对视频宏块大小进行扩展而实现视频的流畅传输，适用性不强，应用场景受限。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种视频压缩与传输方法、装置、网关及存储介质，能够对高清视频进行无损压缩。
为实现上述目的，按照本发明的第一个方面，提供了一种视频压缩与传输方法，该方法包括：
获取待传输视频，待传输视频根据视频编码标准对原始视频进行压缩得到；
将待传输视频通过随机噪声发生器，得到混噪后的视频；
根据空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取和小波分解，得到压缩视频和压缩视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；
基于压缩视频和待传输视频的误差，建立压缩视频的损失函数；
朝最小化压缩视频的损失函数的方向，调整压缩视频中每一帧的各频段的参数，直至损失函数取得最小值时停止调整，得到目标视频，压缩视频中每一帧的各频段是与低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带分别对应的频段。
进一步地，根据空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取和小波分解，得到压缩视频和压缩视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带，包括根据混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取，得到压缩视频；对压缩视频中每一帧进行多层级的小波分解，得到压缩视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带。
进一步地，根据空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取和小波分解，得到压缩视频和压缩视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带，包括对混噪后的视频中每一帧进行多层级的小波分解，得到混噪后的视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；根据混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对小波分解后的混噪后的视频进行特征提取，得到压缩视频和压缩视频中每一帧的频段信息。
进一步地，基于压缩视频和待传输视频的误差，建立压缩视频的损失函数，包括在空间位置特征值和时间序列特征值相同的情况下，确定压缩视频和待传输视频的知识逻辑特征值的均方根误差、峰值信噪比或结构相似性中的至少一种；基于压缩视频和待传输视频的知识逻辑特征值的均方根误差、峰值信噪比或结构相似性中的至少一种，建立压缩视频的损失函数。
进一步地，根据混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取，得到压缩视频，包括对混噪后的视频的帧内的关键帧提取空间位置特征值、帧间的相邻帧提取时间序列特征值、内插编码帧提取知识逻辑特征值，得到压缩视频。
进一步地，获取待传输视频，包括通过单个摄像机，采集单路的原始视频，根据视频编码标准对单路的原始视频进行压缩，得到待传输视频，并将待传输视频传输至网关；通过网关，接收待传输视频。
进一步地，获取待传输视频，包括通过多个摄像机，分别采集各路的原始视频，根据视频编码标准分别对各路的原始视频进行压缩，得到待传输视频，并将待传输视频传输至交换机；通过交换机，将待传输视频按照交换机端口、传输时间进行数据帧标识，并按照数据帧混编形式发送至网关；通过网关，接收待传输视频。
按照本发明的第二个方面，还提供了一种视频压缩与传输装置，其包括：
获取模块，其被配置为获取待传输视频，待传输视频根据视频编码标准对原始视频进行压缩得到；
混噪模块，其被配置为将待传输视频通过随机噪声发生器，得到混噪后的视频；
压缩模块，其被配置为根据空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取和小波分解，得到压缩视频和压缩视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；
建立模块，其被配置为基于压缩视频和待传输视频的误差，建立压缩视频的损失函数；
调整模块，其被配置为朝最小化压缩视频的损失函数的方向，调整压缩视频中每一帧的各频段的参数，直至损失函数取得最小值时停止调整，得到目标视频，压缩视频中每一帧的各频段是与低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带分别对应的频段。
按照本发明的第三个方面，还提供了一种视频压缩与传输网关，其包括至少一个处理单元、以及至少一个存储单元，其中，存储单元存储有计算机程序，当计算机程序被处理单元执行时，使得处理单元执行上述任一项方法的步骤。
按照本发明的第四个方面，还提供了一种存储介质，其存储有由视频压缩与传输网关执行的计算机程序，当计算机程序在视频压缩与传输网关上运行时，使得视频压缩与传输网关执行上述任一项方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明提供的一种视频压缩与传输方法，能够对高清视频进行无损压缩。并且，经二次压缩后，实现了视频数据流速率和所需带宽的大幅度下降，因此也达到了在网络传输带宽受限的条件下实现高清视频无损压缩的目的。
(2)采用本发明提供的一种视频压缩与传输方法，能够对单路的高清视频进行无损压缩，还能够在不改变通信网络拓扑结构的基础上，实现对多路的高清视频同时进行无损压缩。
(3)采用本发明提供的一种视频压缩与传输方法，还能够减少视频对视频存储服务器的存储量的需求，能在后端解决视频服务器存储空间消耗过大、能源大量损耗的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频压缩与传输方法的流程示意图；
图2为本申请一个实施例中传输通信段的结构示意图；
图3为本申请另一个实施例中传输通信段的结构示意图；
图4为本申请实施例中采集、编码、发送段的结构示意图；
图5为本申请实施例提供的一种视频压缩与传输系统的结构示意图；
图6为本申请实施例中压缩模型的训练阶段的流程示意图；
图7为本申请实施例中接收、存储、解码与显示段的结构示意图；
图8为本申请实施例提供的一种视频压缩与传输装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
如图1所示，提供了一种视频压缩与传输方法，该方法可以由网关执行，包括以下步骤：
步骤101，获取待传输视频，待传输视频根据视频编码标准对原始视频进行压缩得到。
其中，待传输视频包括分辨率为720p、1080p及以上的高清视频。视频编码标准可以是H.264或H.265等。
步骤102，将待传输视频通过随机噪声发生器，得到混噪后的视频。
其中，混噪后的视频是混入了噪声的待传输视频。
步骤103，根据空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取和小波分解，得到压缩视频和压缩视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带。
其中，空间位置特征值和时间序列特征值分别是从空间和时间两个维度对视频中每一帧进行标识。空间位置特征值可以是用二维坐标，用于标识每个目标在每一帧中的位置，目标可以是树、桌子等静态物体，或者人、机器人等动态物。时间序列特征值可以是某一时间段(例如0.1s到0.2s)或者时间戳，用于标识每个目标在视频中出现的时间段。知识逻辑特征值用于标识目标以及表征目标的状态，例如目标是一个在走廊走路的路人还是放在走廊一头的一个花盆，路人是举手还是抬头等状态均是通过视频中每一帧的知识逻辑特征值体现的。
压缩视频是对混噪后的视频进行特征提取得到。由于特征提取步骤中，是根据空间位置特征值、时间序列特征值和知识逻辑特征值进行的，将剔除连续时间序列内相同的画面、或者重复的静止的画面。因此，通过特征提取，能够剔除冗余数据，从而减少视频数据流速率(码率)。
对于二维图像，在经过小波分解后，得到低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带。其中，低频细节子带(L)是由水平方向(也称作行方向)和垂直方向(也称作列方向)两个方向利用低通小波滤波器卷积后产生的小波系数，它是图像的近似表示。小波水平细节子带(H)是在行方向利用低通小波滤波器卷积后，再用高通小波滤波器在列方向卷积而产生的小波系数，它表示图像的水平方向奇异特性。垂直细节子带(V)是在行方向利用高通小波滤波器卷积后，再用低通小波滤波器在列方向卷积而产生的小波系数，它表示图像的垂直方向奇异特性。对角细节子带(D)是由行方向和列方向利用高通小波滤波器卷积后产生的小波系数，它表示图像的对角边缘特性。
对混噪后的视频进行特征提取和小波分解的顺序，可以是先进行特征提取，再进行小波分解。
示例性，根据混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取，得到压缩视频；对压缩视频中每一帧进行多层级的小波分解，得到压缩视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带。
在一个实施例中，根据混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取，得到压缩视频，包括对混噪后的视频的帧内的关键帧提取空间位置特征值、帧间的相邻帧提取时间序列特征值、内插编码帧提取知识逻辑特征值，得到压缩视频。
对混噪后的视频进行特征提取和小波分解的顺序，也可以是先进行小波分解，再进行特征提取。
示例性地，对混噪后的视频中每一帧进行多层级的小波分解，得到混噪后的视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；根据混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对小波分解后的混噪后的视频进行特征提取，得到压缩视频和压缩视频中每一帧的频段信息。
在一个实施例中，根据混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对小波分解后的混噪后的视频进行特征提取，得到压缩视频，包括对小波分解后的混噪后的视频的帧内的关键帧提取空间位置特征值、帧间的相邻帧提取时间序列特征值、内插编码帧提取知识逻辑特征值，得到压缩视频。
步骤104，基于压缩视频和待传输视频的误差，建立压缩视频的损失函数。
其中，压缩视频和待传输视频的误差是对于压缩视频和待传输视频中空间位置特征值和时间序列特征值相同的帧(简称为比较帧)而言。压缩视频和待传输视频的误差包括所有比较帧的知识逻辑特征值的差异。
压缩视频和待传输视频的误差可以表示为比较帧的知识逻辑特征值的均方根误差、峰值信噪比或结构相似性。
压缩视频的损失函数用于表征压缩视频的失真程度，压缩视频的损失函数的取值越小，表示压缩视频的信息熵越高，相对于待传输视频损失的信息越少，视频压缩的效果越好。
示例性地，根据空间位置特征值、时间序列特征值和知识逻辑特征值，对待传输视频进行特征提取。在空间位置特征值和时间序列特征值相同的情况下，确定压缩视频和待传输视频中比较帧的知识逻辑特征值的均方根误差、峰值信噪比或结构相似性中的至少一种；基于压缩视频和待传输视频中所有比较帧的知识逻辑特征值的均方根误差、峰值信噪比或结构相似性中的至少一种，建立压缩视频的损失函数。
步骤105，朝最小化压缩视频的损失函数的方向，调整压缩视频中每一帧的各频段的参数，直至损失函数取得最小值时停止调整，得到目标视频，压缩视频中每一帧的各频段是与低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带分别对应的频段。
其中，目标视频是与压缩视频的损失函数的最小值对应的压缩视频。压缩视频中每一帧的参数，可以是每帧图像中每个像素点的rgb值。
上述视频压缩与传输方法中，通过将经过一次压缩后的待传输视频先通过随机噪声发生器，得到混噪后的视频；根据空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取得到压缩视频，实现了冗余数据的剔除；对混噪后的视频进行小波分解，得到压缩视频中每一帧的低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；进而，比对压缩视频和待传输视频，确定两者的误差，并基于误差建立压缩视频的损失函数；朝最小化压缩视频的损失函数的方向，调整压缩视频中每一帧的各频段的参数，得到目标视频，由于目标视频相对于待传输视频失真很小甚至无失真，因此达到了实现高清视频的无损压缩的目的。并且，经二次压缩后，实现了视频数据流速率和所需带宽的大幅度下降，因此也达到了在网络传输带宽受限的条件下实现视频无损压缩的目的。
在一个实施例中，如图2所示，上述步骤101，获取待传输视频，包括通过单个摄像机，采集单路的原始视频，根据视频编码标准对单路的原始视频进行压缩，得到待传输视频，并将待传输视频传输至网关；通过网关，接收待传输视频。
本实施例中，通过单个摄像机采集原始视频，能够达到对单路的高清视频进行无损压缩的目的。
在一个实施例中，如图3所示，上述步骤101，获取待传输视频，包括通过多个摄像机，分别采集各路的原始视频，根据视频编码标准分别对各路的原始视频进行压缩，得到待传输视频，并将待传输视频传输至交换机；通过交换机，将待传输视频按照交换机端口、传输时间进行数据帧标识，并按照数据帧混编形式发送至网关；通过网关，接收待传输视频。
本实施例中，通过多个摄像机采集原始视频，能够达到在不改变通信网络拓扑结构的基础上对多路的高清视频同时进行无损压缩的目的。
不论是在仅有一台摄像机采集视频的情况下还是在有多台摄像机构成视频采集阵列的情况下，均是通过网线将已编码的视频流传输至网关(单路或多路)中，网关执行上述视频压缩与传输方法，匹配算力在时间序列维度、空间位置维度以及知识逻辑维度上剔除冗余数据，实现已编码的视频流的实时压缩，之后将压缩后的视频流通过输出端输出至带宽受限的传输网络中。因此，本发明提供的一种视频压缩与传输方法实质上是一种“算力换带宽”的视频压缩方法。
如图4所示，摄像机包括视觉传感器、成像单元、编码单元和通信接口。视觉传感器用于按照时间序列、空间序列采集场景或目标特征数据(即上述的知识逻辑特征)，并将视觉传感器单元采集的特征数据送入成像单元，按时间顺序和空间位置等信息逐帧拼成视频画面，随后根据H.264、H.265等但不限上述的主流编码标准对视频进行实时编码，并将编码后的实时视频流通过网口、光纤、4G/5G等但不限于上述的通信接口，凭借ONVIF等但不限于上述协议标准接入传输网络，实现视频的实时传输。
在一个实施例中，如图5所示，提供了一种视频压缩与传输系统。该系统包括三个部分：采集、编码、发送段，传输通信段，接收、存储、解码与显示段。其中，采集、编码、发送段的结构如图4所示，它由视觉传感器、成像单元、编码单元和通信接口构成；传输通信段的结构如图2和图3所示，它由网关和交换机构成，网关所执行的视频压缩与传输方法如图6所示；接收、存储、解码与显示段的结构如图7所示，它由通信接口、视频存储服务器、解码单元和显示设备构成。
该系统的框架为采用“端-边-云”框架。这里第一个“端”是前端，由摄像机阵列构成，负责场景或目标的实时视觉感知、采集成像和标准编码，“边”为边缘设备，负责对前端传输的视频流逐帧处理，剔除空间、时间和逻辑中相关冗余数据，实现数据帧的无损压缩，并通过如交换机在内的网络传输设备，实现“网”视频流传输转发，并通过第二个“端”，即后端的标准解码设备实现视频画面实时恢复呈现。
本实施例中，提供了一种视频压缩与传输系统，它可在前端已编码视频基础上，基于小波分解和特征提取，对已编码视频进行实时压缩，降低已编码视频的码率，从而实现同样画质的视频在原本无法传输视频带宽情况下实时、流畅传输，原本只能传输单路视频的带宽条件下可实时、无损传输多路视频。该方案可在不改变视频帧率、分辨率、时长，无损视频画面特征、不影响后续智能分析等条件下，实现720p、1080p甚至上述质量之上的高清视频平均10倍以上的无损压缩。并且，还能够减少视频对视频存储服务器的存储量的需求，能在后端解决视频服务器存储空间消耗过大、能源大量损耗的问题。
此外，由于压缩算法属于数据无损，并不涉及后续的视频特征改变，因此压缩后的视频流对特征提取具有较好的后续兼容性，同时，由于预置算法处理的，并不改变高清视频原本的格式标准，无需额外的解码器，因此可与第三方系统即平台无缝对接，也可以设备形态单独出现，具备较强的适用性。并且，应用场景广泛，面向直播和存储点播，可实现二次压缩编码视频的存储、计算，并以多种产品形态呈现于地铁、轨道交通相关场景。
如图6所示，图6是压缩模型的训练阶段(上述的视频压缩与传输方法)的流程示意图。将720P以上的高清视频流序列每一帧的特征值作为模型训练中的期望输入(第一路输入)，与此同时，对同源的高清视频流序列通过随机噪声发生器进行混合，降低画面质量；通过卷积长短期记忆神经网络(CNN-LSTM)对帧内关键帧提取空间位置特征值，对帧间相邻帧提取时间序列特征值，对内插编码帧提取知识逻辑特征值，实现分类无损压缩；在此基础上，利用多层离散小波分解(MDWT)，可将视频流序列逐类分解为多层低频细节子带(L)、小波水平细节子带(H)、垂直细节子带(V)和对角细节子带(D)，并将各层子带的特征值作为模型训练的实际输入(第二路输入)；根据期望输入画质和实际输入画质之间的误差指标：均方根误差(MSE)误差、峰值信噪比(PSNR)和结构相似性(SSIM)进行调参，寻找到鲁棒性最优的组合系数(损失函数取最小值)，形成压缩模型。
如图7所示，经过网络传输，压缩后的视频流通过网口、光纤、4G/5G等通信接口，进入解码单元中，由于仅仅只是进行数据冗余的剔除，并未改变原标准编码协议标准，输出视频的格式与输入已编码视频的格式保持一致，标准的解码单元能实现画面即刻恢复，实现单路/多路视频在显示设备上实时显示呈现。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的视频压缩与传输方法的视频压缩与传输装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个视频压缩与传输装置实施例中的具体限定可以参见上文中对于视频压缩与传输方法的限定，在此不再赘述。
如图8所示，本申请还提供了一种视频压缩与传输装置800，其包括：获取模块801，其被配置为获取待传输视频，待传输视频根据视频编码标准对原始视频进行压缩得到；混噪模块802，其被配置为将待传输视频通过随机噪声发生器，得到混噪后的视频；压缩模块803，其被配置为根据空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取和小波分解，得到压缩视频和压缩视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；建立模块804，其被配置为基于压缩视频和待传输视频的误差，建立压缩视频的损失函数；调整模块805，其被配置为朝最小化压缩视频的损失函数的方向，调整压缩视频中每一帧的各频段的参数，直至损失函数取得最小值时停止调整，得到目标视频，压缩视频中每一帧的各频段是与低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带分别对应的频段。
在一个实施例中，压缩模块803还被配置为根据混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对混噪后的视频进行特征提取，得到压缩视频；对压缩视频中每一帧进行多层级的小波分解，得到压缩视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带。
在一个实施例中，压缩模块803还被配置为对混噪后的视频中每一帧进行多层级的小波分解，得到混噪后的视频中每一帧的频段信息，频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；根据混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对小波分解后的混噪后的视频进行特征提取，得到压缩视频和压缩视频中每一帧的频段信息。
在一个实施例中，建立模块804还被配置为在空间位置特征值和时间序列特征值相同的情况下，确定压缩视频和待传输视频的知识逻辑特征值的均方根误差、峰值信噪比或结构相似性中的至少一种；基于压缩视频和待传输视频的知识逻辑特征值的均方根误差、峰值信噪比或结构相似性中的至少一种，建立压缩视频的损失函数。
在一个实施例中，压缩模块803还被配置为对混噪后的视频的帧内的关键帧提取空间位置特征值、帧间的相邻帧提取时间序列特征值、内插编码帧提取知识逻辑特征值，得到压缩视频。
在一个实施例中，获取模块801还被配置为通过单个摄像机，采集单路的原始视频，根据视频编码标准对单路的原始视频进行压缩，得到待传输视频，并将待传输视频传输至网关；通过网关，接收待传输视频。
在一个实施例中，获取模块801还被配置为通过多个摄像机，分别采集各路的原始视频，根据视频编码标准分别对各路的原始视频进行压缩，得到待传输视频，并将待传输视频传输至交换机；通过交换机，将待传输视频按照交换机端口、传输时间进行数据帧标识，并按照数据帧混编形式发送至网关；通过网关，接收待传输视频。
上述视频压缩与传输装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请还提供一种视频压缩与传输网关，该视频压缩与传输网关可以是计算机设备，该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频压缩与传输方法。
本申请还提供一种视频压缩与传输网关，其包括至少一个处理单元、以及至少一个存储单元，其中，该存储单元存储有计算机程序，当该计算机程序被该处理单元执行时，使得该处理单元执行上述各方法实施例中的步骤。
本申请还提供一种计算机可读存储介质，其存储有可由视频压缩与传输网关执行的计算机程序，当该计算机程序在视频压缩与传输网关上运行时，使得该视频压缩与传输网关执行上述各方法实施例中的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上所述，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种视频压缩与传输方法，其特征在于，包括：
获取待传输视频，所述待传输视频根据视频编码标准对原始视频进行压缩得到；
将所述待传输视频通过随机噪声发生器，得到混噪后的视频；
根据空间位置特征值、时间序列特征值和知识逻辑特征值，对所述混噪后的视频进行特征提取和小波分解，得到压缩视频和所述压缩视频中每一帧的频段信息，所述频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；
基于所述压缩视频和所述待传输视频的误差，建立所述压缩视频的损失函数；
朝最小化所述压缩视频的损失函数的方向，调整所述压缩视频中每一帧的各频段的参数，直至所述损失函数取得最小值时停止调整，得到目标视频，所述压缩视频中每一帧的各频段是与所述低频细节子带、所述小波水平细节子带、所述垂直细节子带和所述对角细节子带分别对应的频段。
2.如权利要求1所述的方法，其特征在于，所述根据空间位置特征值、时间序列特征值和知识逻辑特征值，对所述混噪后的视频进行特征提取和小波分解，得到压缩视频和所述压缩视频中每一帧的频段信息，所述频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带，包括：
根据所述混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对所述混噪后的视频进行特征提取，得到压缩视频；
对所述压缩视频中每一帧进行多层级的小波分解，得到所述压缩视频中每一帧的频段信息，所述频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带。
3.如权利要求1所述的方法，其特征在于，所述根据空间位置特征值、时间序列特征值和知识逻辑特征值，对所述混噪后的视频进行特征提取和小波分解，得到压缩视频和所述压缩视频中每一帧的频段信息，所述频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带，包括：
对所述混噪后的视频中每一帧进行多层级的小波分解，得到所述混噪后的视频中每一帧的频段信息，所述频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；
根据所述混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对小波分解后的所述混噪后的视频进行特征提取，得到压缩视频和所述压缩视频中每一帧的频段信息。
4.如权利要求1所述的方法，其特征在于，所述基于所述压缩视频和所述待传输视频的误差，建立所述压缩视频的损失函数，包括：
在空间位置特征值和时间序列特征值相同的情况下，确定所述压缩视频和所述待传输视频的知识逻辑特征值的均方根误差、峰值信噪比或结构相似性中的至少一种；
基于所述压缩视频和所述待传输视频的知识逻辑特征值的均方根误差、峰值信噪比或结构相似性中的至少一种，建立所述压缩视频的损失函数。
5.如权利要求2所述的方法，其特征在于，所述根据所述混噪后的视频的空间位置特征值、时间序列特征值和知识逻辑特征值，对所述混噪后的视频进行特征提取，得到压缩视频，包括：
对所述混噪后的视频的帧内的关键帧提取空间位置特征值、帧间的相邻帧提取时间序列特征值、内插编码帧提取知识逻辑特征值，得到压缩视频。
6.如权利要求1所述的方法，其特征在于，所述获取待传输视频，包括：
通过单个摄像机，采集单路的原始视频，根据视频编码标准对所述单路的原始视频进行压缩，得到待传输视频，并将所述待传输视频传输至网关；
通过所述网关，接收所述待传输视频。
7.如权利要求1所述的方法，其特征在于，所述获取待传输视频，包括：
通过多个摄像机，分别采集各路的原始视频，根据视频编码标准分别对所述各路的原始视频进行压缩，得到待传输视频，并将所述待传输视频传输至交换机；
通过所述交换机，将所述待传输视频按照交换机端口、传输时间进行数据帧标识，并按照数据帧混编形式发送至网关；
通过所述网关，接收所述待传输视频。
8.一种视频压缩与传输装置，其特征在于，包括：
获取模块，其被配置为获取待传输视频，所述待传输视频根据视频编码标准对原始视频进行压缩得到；
混噪模块，其被配置为将所述待传输视频通过随机噪声发生器，得到混噪后的视频；
压缩模块，其被配置为根据空间位置特征值、时间序列特征值和知识逻辑特征值，对所述混噪后的视频进行特征提取和小波分解，得到压缩视频和所述压缩视频中每一帧的频段信息，所述频段信息包括低频细节子带、小波水平细节子带、垂直细节子带和对角细节子带；
建立模块，其被配置为基于所述压缩视频和所述待传输视频的误差，建立所述压缩视频的损失函数；
调整模块，其被配置为朝最小化所述压缩视频的损失函数的方向，调整所述压缩视频中每一帧的各频段的参数，直至所述损失函数取得最小值时停止调整，得到目标视频，所述压缩视频中每一帧的各频段是与所述低频细节子带、所述小波水平细节子带、所述垂直细节子带和所述对角细节子带分别对应的频段。
9.一种视频压缩与传输网关，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行权利要求1-7中任一项所述方法的步骤。
10.一种存储介质，其特征在于，其存储有由视频压缩与传输网关执行的计算机程序，当所述计算机程序在所述视频压缩与传输网关上运行时，使得所述视频压缩与传输网关执行权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310348481.4A CN116320465A (zh) | 2023-03-30 | 2023-03-30 | 一种视频压缩与传输方法、装置、网关及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310348481.4A CN116320465A (zh) | 2023-03-30 | 2023-03-30 | 一种视频压缩与传输方法、装置、网关及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116320465A true CN116320465A (zh) | 2023-06-23 |
Family
ID=86779848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310348481.4A Pending CN116320465A (zh) | 2023-03-30 | 2023-03-30 | 一种视频压缩与传输方法、装置、网关及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116320465A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117614900A (zh) * | 2023-11-22 | 2024-02-27 | 江苏城乡建设职业学院 | 一种用于智能安防系统中的数据传输方法及传输系统 |
-
2023
- 2023-03-30 CN CN202310348481.4A patent/CN116320465A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117614900A (zh) * | 2023-11-22 | 2024-02-27 | 江苏城乡建设职业学院 | 一种用于智能安防系统中的数据传输方法及传输系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102625106B (zh) | 场景自适应的屏幕编码码率控制方法及其系统 | |
| US8031960B2 (en) | Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium | |
| US8000548B2 (en) | Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium for performing wavelet transformation at a plurality of division levels | |
| KR101377021B1 (ko) | 부호화 장치 및 방법, 복호 장치 및 방법, 및 전송 시스템 | |
| US10257528B2 (en) | Method and apparatus for adaptive encoding and decoding based on image quality | |
| TW411698B (en) | Methods for encoding and decoding the image sequences | |
| US20100166053A1 (en) | Information processing device and method | |
| US8254707B2 (en) | Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program in interlace scanning | |
| RU2518435C2 (ru) | Оптимизация кодера в системах доставки стереоскопического видео | |
| EP2134092B1 (en) | Information processing apparatus and method, and program | |
| US20220058775A1 (en) | Video denoising method and apparatus, and storage medium | |
| US10237548B2 (en) | Video transmission based on independently encoded background updates | |
| US11743475B2 (en) | Advanced video coding method, system, apparatus, and storage medium | |
| WO2015024362A1 (zh) | 一种图像处理方法及设备 | |
| CN107211145A (zh) | 几乎视觉无损的视频再压缩 | |
| US20170374283A1 (en) | Video transmission based on independently encoded background updates | |
| CN116320465A (zh) | 一种视频压缩与传输方法、装置、网关及存储介质 | |
| WO2022021519A1 (zh) | 视频解码方法、系统、设备及计算机可读存储介质 | |
| CN111406404B (zh) | 获得视频文件的压缩方法、解压缩方法、系统及存储介质 | |
| KR101538010B1 (ko) | 영상 부호화 장치, 영상 부호화 방법, 영상 복호화 장치 및 영상 복호화 방법 | |
| CN115643406A (zh) | 视频解码方法、视频编码方法、装置、存储介质及设备 | |
| CN102685498B (zh) | 一种基于jpeg-ls帧间扩展的三维声纳图像序列无损压缩方法 | |
| CN113727073A (zh) | 一种基于云计算实现车载视频监控的方法及系统 | |
| CN106060080A (zh) | 一种医疗视频信号采集转码系统 | |
| Hofman et al. | Offloading video encoding energy consumption to the decoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |