CN116456094A - 一种分布式视频混合数字模拟传输方法及相关设备 - Google Patents

一种分布式视频混合数字模拟传输方法及相关设备 Download PDF

Info

Publication number
CN116456094A
CN116456094A CN202310710973.3A CN202310710973A CN116456094A CN 116456094 A CN116456094 A CN 116456094A CN 202310710973 A CN202310710973 A CN 202310710973A CN 116456094 A CN116456094 A CN 116456094A
Authority
CN
China
Prior art keywords
coding
video
frequency domain
frame
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310710973.3A
Other languages
English (en)
Other versions
CN116456094B (zh
Inventor
陈雪晨
陈闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202310710973.3A priority Critical patent/CN116456094B/zh
Publication of CN116456094A publication Critical patent/CN116456094A/zh
Application granted granted Critical
Publication of CN116456094B publication Critical patent/CN116456094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种分布式视频混合数字模拟传输方法及相关设备，包括：将获取的原始待传输视频输入编码器；对原始待传输视频和传输信道进行特征提取，得到信源特征和信道特征；构建并训练参数优化网络模型，得到训练后的参数优化网络模型；将信源特征和信道特征输入训练后的参数优化网络模型得到编码参数，并将编码参数、信源特征和信道特征输入功率分配模块中得到功率分配系数；将功率分配系数和编码参数经过编码器和传输信道得到带噪声的编码符号序列，并将带噪声的编码符号序列进行传输；保持了良好的鲁棒性和编码效率的同时，降低了编码复杂度。

Description

一种分布式视频混合数字模拟传输方法及相关设备
技术领域
本发明涉及视频传输技术领域，特别涉及一种分布式视频混合数字模拟传输方法及相关设备。
背景技术
随着移动互联网和视频应用的快速发展，视频传输不在局限于广播等场景，视频发送端由集中式服务器向低能耗、低运算能力的终端转移，如手机、摄像头、汽车以及各类智能设备。视频流数据在无线移动互联网中的占比逐年增高，思科网络指数的报告指出，截至2022年底，视频数据在整个无线移动互联网中的占比达到了80%，视频数据的指数级增长为传统的分离式视频传输系统带来了挑战。
传统的分离式无线视频传输由于其设计本身对于传输错误极为敏感，无线信道的时变性使得该系统不可避免的受到了“悬崖效应”的影响。相对于数字方案来说，能够有效应对“悬崖效应”的模拟传输方法压缩效率低，对于带宽有限的移动互联网并不适用。视频混合数字模拟传输的方法结合了数字方法和模拟方法的特点，实现了优异的编码效率的同时，继承了模拟方法良好的信道自适应性。
目前，大多数的视频混合数字模拟传输的方法多为基于H.264设计的，以编码再解码获取精进层的方式极大的增加编码复杂性。同时还导致了这些方法的资源优化问题极其复杂，只能通过迭代或者暴力搜索的方式解决，这使得基于H.264设计的视频混合数字模拟传输方法不适用于计算能力弱、信道时变性的终端设备。因此，如何提供一种低编码复杂度的混合视频数字模拟传输方法，并将深度学习应用于解决复杂资源优化问题是一个亟需解决的问题。
发明内容
本发明提供了一种分布式视频混合数字模拟传输方法及相关设备，其目的是为了保持良好鲁棒性和编码效率的同时，降低编码复杂度。
为了达到上述目的，本发明提供了一种分布式视频混合数字模拟传输方法，包括：
步骤1，将获取的原始待传输视频划分为多个图像组数据，并将多个图像组数据输入编码器，每个图像组数据中包括连续多帧的原始待传输视频；
步骤2，对原始待传输视频和传输信道进行特征提取，得到信源特征和信道特征；
步骤3，构建参数优化网络模型用于实现联合信源信道的资源分配，并对参数优化网络模型进行训练，得到训练后的参数优化网络模型；
步骤4，将信源特征和信道特征输入训练后的参数优化网络模型进行参数优化，得到编码参数，并将编码参数、信源特征和信道特征输入功率分配模块中进行分配，得到功率分配系数；
步骤5，将功率分配系数和编码参数输入编码器，根据分配功率和编码参数对连续的图像组数据进行分布式编码，得到编码符号序列；
步骤6，在传输信道中对编码符号序列进行高斯白噪声叠加，得到带噪声的编码符号序列，并将带噪声的编码符号序列进行传输。
进一步来说，信源特征包括方差和相关噪声方差；
信道特征为信道噪声方差。
进一步来说，步骤4包括：
给定初始分配功率；
针对每个图像组数据中的每一帧视频，将每一帧视频经过离散余弦变换至频域，将转换至频域的每一帧视频划分为N个大小相同的频域系数块；
针对除第一帧视频以外的多帧视频中的每个频域系数块，将频域系数块的方差、相关噪声方差、初始分配功率和信道噪声方差输入参数优化网路模型进行参数优化，得到每个频域系数块的编码参数；
利用编码参数对每个频域系数块进行量化，得到量化值和量化误差值；
根据编码参数得到优化的分配功率；
根据优化的分配功率，计算量化值的功率分配系数和量化误差值的功率分配系数。
进一步来说，参数优化网络模型采用全连接深度神经网络，包括：
依次连接的输入层、第一隐藏层、第二隐藏层和输出层；
输入层包括四个输入节点，分别输入频域系数块的方差、相关噪声方差、初始分配功率和信道噪声方差；
输出层包括两个输出节点，输出编码参数，编码参数包括功率分配因子和量化步长。
进一步来说，优化的分配功率为：
其中，为总的能量约束，/>为每个频域系数块的相关噪声方差，/>为每个频域系数块的量化误差值的方差，/>为功率分配因子。
进一步来说，步骤5包括：
针对第一帧视频中的每个频域系数块，基于最优功率缩放系数对频域系数块进行功率缩放，得到第一编码结果；
针对除第一帧视频以外的多帧视频中的每个频域系数块，利用功率分配系数分别对量化值和量化误差值进行缩放，得到缩放结果，将缩放结果进行叠加，得到第二编码结果；
对第一编码结果和第二编码结果进行哈达玛变换，得到编码符号序列。
进一步来说，在所述步骤6之后，还包括：
步骤7，在数据接收端将带噪声的编码符号序列、功率分配系数和编码参数均输入解码器，解码器基于功率分配系数和编码参数对带噪声的编码符合序列进行解调，得到解调结果，并根据解调结果重建视频帧。
进一步来说，步骤7包括：
将带噪声的编码符号序列、功率分配系数和编码参数均输入解码器；
解码器基于功率分配系数和编码参数对带噪声的编码符合序列进行解调，得到解调结果；
对解调结果进行逆哈达玛变换，得到第一帧视频的第一编码结果和除第一帧视频以外的多帧视频的第二编码结果；
针对第一编码结果，根据第一编码结果和逆功率缩放系数计算得到多个频域系数块，将多个频域系数块进行合并并通过逆离散余弦变换，将频域下的频域系数块进行重建，得到重建后的第一帧视频；
针对第二编码结果，利用图像插帧算法对重建后的第一帧视频进行处理，生成边信息；
解码器采用带边信息的最小二乘估计器对边信息进行估计，得到估计的量化误差值和量化值；
将估计的量化误差值和量化值进行叠加，得到多个频域系数块，将多个频域系数块进行合并并通过逆离散余弦变换，将频域下的频域系数块进行重建，得到重建后的除第一帧视频以外的多帧视频；
将重建后的第一帧视频和重建后的除第一帧视频以外的多帧视频进行合并，完成视频传输。
本发明还提供了一种计算机存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现分布式视频混合数字模拟传输方法。
本发明还提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现分布式视频混合数字模拟传输方法。
本发明的上述方案有如下的有益效果：
本发明通过将获取的原始待传输视频划分为多个图像组数据，并将多个图像组数据输入编码器；对原始待传输视频和传输信道进行特征提取，得到信源特征和信道特征；构建参数优化网络模型并对参数优化网络模型进行训练，得到训练后的参数优化网络模型；将信源特征和信道特征输入训练后的参数优化网络模型进行参数优化，得到编码参数，并将编码参数、信源特征和信道特征输入功率分配模块中进行分配，得到功率分配系数；将功率分配系数和编码参数输入编码器，根据分配功率和编码参数对连续的图像组数据进行分布式编码，得到编码符号序列；在传输信道中对编码符号序列进行高斯白噪声叠加，得到带噪声的编码符号序列，并将带噪声的编码符号序列进行传输；将传统的基于迭代的编码参数优化方法转换为基于深度神经网络的参数优化方法，与现有技术相比，保持了良好的鲁棒性和编码效率的同时，降低了编码复杂度。
本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
图1为本发明实施例的流程示意图；
图2为本发明实施例中的参数优化网络模型的结构图；
图3为本发明实施例中的编码流程图；
图4为本发明实施例中的解码流程图；
图5为本发明实施例与现有技术的效果对比图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是锁定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明针对现有的问题，提供了一种分布式视频混合数字模拟传输方法及相关设备。
如图1所示，本发明的实施例提供了一种分布式视频混合数字模拟传输方法，包括：
步骤1，将获取的原始待传输视频划分为多个图像组数据，并将多个图像组数据输入编码器，每个图像组数据中包括连续多帧的原始待传输视频；
步骤2，对原始待传输视频和传输信道进行特征提取，得到信源特征和信道特征；
步骤3，构建参数优化网络模型用于实现联合信源信道的资源分配，并对参数优化网络模型进行训练，得到训练后的参数优化网络模型；
步骤4，将信源特征和信道特征输入训练后的参数优化网络模型进行参数优化，得到编码参数，并将编码参数、信源特征和信道特征输入功率分配模块中进行分配，得到功率分配系数；
步骤5，将功率分配系数和编码参数输入编码器，根据分配功率和编码参数对连续的图像组数据进行分布式编码，得到编码符号序列；
步骤6，在传输信道中对编码符号序列进行高斯白噪声叠加，得到带噪声的编码符号序列，并将带噪声的编码符号序列进行传输。
具体来说，如图3所示，本发明实施例将原始待传输视频划分为多个图像组数据（GoP）；每个GoP由连续的多帧原始待传输视频组成，其中，定义第一帧原始待传输视频为I帧，除第一帧原始待传输视频为P帧，将多个GoP依次输入到编码器。
具体来说，首先将I帧视频和P帧视频经过离散余弦变换（Discrete CosineTransform，简称DCT变换）至频域，然后将转换至频域下的I帧视频和P帧视频进行划分，得到N个大小相等且不重叠的频域系数块Xi，1≤i≤N。
具体来说，对原始待传输视频和传输信道进行特征提取，得到信源特征和信道特征；信源特征包括每个频域系数块的方差和相关噪声方差；信道特征为信道噪声方差。
具体来说，参数优化网络模型采用全连接深度神经网络，包括：
依次连接的输入层、第一隐藏层、第二隐藏层和输出层；
输入层包括四个输入节点，分别输入频域系数块的方差、相关噪声方差/>、初始分配功率/>和信道噪声方差/>；
输出层包括两个输出节点，输出编码参数，编码参数包括功率分配因子和量化步长/>。
本发明实施例采用神经网络的核心想法在于将神经网络视为一个从信源、信道特征信息到编码参数的近视函数，从而实现联合信源信道的资源优化。
本发明实施例对视频传输的目标是使得重建的视频帧与原始待传输视频的总平均均方误差最小，传输的编码符号序列需要满足功率总的功率限制，该问题包含参数优化和功率分配问题的求解。
参数优化问题为在给定功率Pi下优化编码参数，目标是使得传输失真最小化，失真由数字部分Ti的失真和模拟部分Si的传输失真两部分组成。
数字部分Ti的失真为：
（1）
模拟部分Si的传输失真为：
（2）
根据公式（1）和公式（2）可以构建参数优化问题为：
（3）
（4）
从视频样本中抽取各种数据与信道质量组成元组<>，针对各个元组进行穷尽搜索最小化公式（3）的编码参数</>>；其中/>是等价于/>的功率分配因子，和/>，其中/>和/>分别为量化值的方差和量化误差值的方差。可以通过下式估计得到：
（5）
（6）
重复上述过程，生成所有网络训练数据集。
然后将数据集按照一定比例随机划分为训练数据和测试数据，训练数据用于训练网络，测试数据用于对网络训练效果的检测。
构建如图2所示的深度神经网络，网络结构采用了全连接深度神经网络。其中包括一层输入层，第一隐藏层、第二隐藏层和一层输出层。输入层有4个输入节点，分别对应于。输入层也包含2个输出节点，分别对应于预测的最优参数元组/>。LeakyReLU函数作为隐藏层的激活函数。
功率分配因子需要经过sigmoid函数约束取值范围，量化步长/>则需要通过下式激活：
（7）
网络优化的目标是使得网络模型输出的参数与目标尽可能接近。所述网络模型的损失函数：
（8）
其中m表示样本的个数。
根据梯度下降方法调整网络各层的参数，对损失函数求导即可获得对输出层的连接参数的调整，并通过反向传播调整各层参数。该方法采用自适应矩估计作为神经网络参数的优化器。
使用训练数据对参数优化网络模型进行训练。
使用测试数据对训练后的参数优化网络模型进行验证。
具体来说，本发明实施例针对除第一帧视频以外的多帧视频中的每个频域系数块，将频域系数块的方差、相关噪声方差/>、初始分配功率/>和信道噪声方差/>输入参数优化网路模型进行参数优化，得到每个频域系数块的编码参数ai和qi；
利用编码参数ai和qi对每个频域系数块进行量化，得到量化值Ti和量化误差值Si；
根据编码参数得到优化的分配功率Pi；
根据优化的分配功率Pi，计算量化值Ti的功率分配系数和量化误差值Si的功率分配系数/>。
本发明实施例中的参数优化网络模型能够为各个频域系数块寻找到最优的编码参数。各个频域系数块的失真仅由量化误差值带来，因此总的功率分配问题退化为：
（9）
其中，为总的能量约束。
为了使总的传输失真最小化，应该最大，即/>，则为各个系数块的最优功率分配系数/>满足公式(10)：
（10）
根据优化的功率分配因子和功率系数重新计算功率分配系数和。编码器根据参数优化网络模型与功率分配模块的输出进行编码。具体来说，如图3所示，本发明实施例的编码过程如下：
针对I帧视频中的每个频域系数块，基于最优功率缩放系数对频域系数块进行功率缩放，得到第一编码结果，/>；
针对P帧视频中的每个频域系数块，利用功率分配系数和/>分别对量化值Ti和量化误差值Si进行缩放，得到缩放结果，将缩放结果进行叠加，得到第二编码结果/>，；
对第一编码结果和第二编码结果进行哈达玛变换，得到编码符号序列然后执行伪模拟调制。
具体来说，步骤6，通过传输信道在编码符号序列上叠加高斯白噪声，得到带噪声的编码符号序列，其中，高斯白噪声为方差为的加性高斯白噪声。
具体来说，在所述步骤6之后，还包括：
步骤7，在数据接收端将带噪声的编码符号序列、功率分配系数和编码参数均输入解码器，解码器基于功率分配系数和编码参数对带噪声的编码符合序列进行解调，得到解调结果，并根据解调结果重建视频帧。
具体来说，如图4所示的解码过程包括：
将带噪声的编码符号、功率分配系数和编码参数均输入解码器；
解码器基于功率分配系数和编码参数对带噪声的编码符合序列进行解调，得到解调结果；
对解调结果进行逆哈达玛变换，得到第一帧视频的第一编码结果和除第一帧视频以外的多帧视频的第二编码结果；
针对第一编码结果，根据第一编码结果和逆功率缩放系数计算得到多个频域系数块，将多个频域系数块进行合并并通过逆离散余弦变换，将频域下的频域系数块进行重建，得到重建后的第一帧视频；
针对第二编码结果，利用图像插帧算法对重建后的第一帧视频进行处理，生成边信息；
解码器采用带边信息的最小二乘估计器（linear least squares estimate，LLSE）对边信息进行估计，得到估计的量化误差值和量化值；具体的估计公式如下：
（11）
与
（12）
将估计的量化误差值和量化值进行叠加，得到多个频域系数块，将多个频域系数块进行合并并通过逆离散余弦变换，将频域下的频域系数块进行重建，得到重建后的除第一帧视频以外的多帧视频；
将重建后的第一帧视频和重建后的除第一帧视频以外的多帧视频进行合并，完成视频传输。
下面对本发明实施例与基于迭代的参数优化方法进行对比，单帧编码时延的统计结果如表1所示：
表1
统计结果表明，由于该方法在编码器中并未设置运动补偿等模块，且将基于迭代的参数优化方法替换为基于深度神经网络的参数优化方法。平均单帧的编码时延显著减少。由图5可看出，相比于穷尽搜索的优化方法，能够提供相当的性能。
本发明实施例通过将获取的原始待传输视频划分为多个图像组数据，并将多个图像组数据输入编码器；对原始待传输视频和传输信道进行特征提取，得到信源特征和信道特征；构建参数优化网络模型并对参数优化网络模型进行训练，得到训练后的参数优化网络模型；将信源特征和信道特征输入训练后的参数优化网络模型进行参数优化，得到编码参数，并将编码参数、信源特征和信道特征输入功率分配模块中进行分配，得到功率分配系数；将功率分配系数和编码参数输入编码器，根据分配功率和编码参数对连续的图像组数据进行分布式编码，得到编码符号序列；通过传输信道在编码符号序列上叠加高斯白噪声，得到带噪声的编码符号序列；将带噪声的编码符号序列、功率分配系数和编码参数均输入解码器，解码器基于功率分配系数和编码参数对带噪声的编码符合序列进行解调，得到解调结果，并根据解调结果重建视频帧，完成视频传输；将传统的基于迭代的编码参数优化方法转换为基于深度神经网络的参数优化方法，与现有技术相比，保持了良好的鲁棒性和编码效率的同时，降低了编码复杂度。
本发明实施例还提供了一种计算机存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现分布式视频混合数字模拟传输方法。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述方法实施例中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到构建装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本发明实施例还提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现分布式视频混合数字模拟传输方法。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑、服务器、服务器集群及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(CPU，Central Processing Unit)，该处理器还可以是其他通用处理器、数字信号处理器(DSP，Digital Signal Processor)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器在一些实施例中可以是所述终端设备的内部存储单元，例如终端设备的硬盘或内存。所述存储器在另一些实施例中也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡（SMC，Smart Media Card），安全数字（SD，Secure Digital）卡，闪存卡（Flash Card）等。进一步地，所述存储器还可以既包括所述终端设备的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本发明实施例的方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种分布式视频混合数字模拟传输方法，其特征在于，包括：
步骤1，将获取的原始待传输视频划分为多个图像组数据，并将多个所述图像组数据输入编码器，每个所述图像组数据中包括连续多帧的原始待传输视频；
步骤2，对原始待传输视频和传输信道进行特征提取，得到信源特征和信道特征；
步骤3，构建参数优化网络模型用于实现联合信源信道的资源分配，并对所述参数优化网络模型进行训练，得到训练后的参数优化网络模型；
步骤4，将所述信源特征和所述信道特征输入训练后的参数优化网络模型进行参数优化，得到编码参数，并将所述编码参数、所述信源特征和所述信道特征输入功率分配模块中进行分配，得到功率分配系数；
步骤5，将所述功率分配系数和所述编码参数输入所述编码器，根据所述分配功率和所述编码参数对所述连续的图像组数据进行分布式编码，得到编码符号序列；
步骤6，在所述传输信道中对所述编码符号序列进行高斯白噪声叠加，得到带噪声的编码符号序列，并对所述带噪声的编码符号序列进行传输。
2.根据权利要求1所述的分布式视频混合数字模拟传输方法，其特征在于，所述信源特征包括方差和相关噪声方差；
所述信道特征为信道噪声方差。
3.根据权利要求2所述的分布式视频混合数字模拟传输方法，其特征在于，所述步骤4包括：
给定初始分配功率；
针对每个所述图像组数据中的每一帧视频，将每一帧视频经过离散余弦变换至频域，将转换至频域的每一帧视频划分为N个大小相同的频域系数块；
针对除第一帧视频以外的多帧视频中的每个频域系数块，将所述频域系数块的方差、相关噪声方差、初始分配功率和信道噪声方差输入所述参数优化网路模型进行参数优化，得到每个频域系数块的编码参数；
利用所述编码参数对每个所述频域系数块进行量化，得到量化值和量化误差值；
根据所述编码参数得到优化的分配功率；
根据所述优化的分配功率，计算所述量化值的功率分配系数和所述量化误差值的功率分配系数。
4.根据权利要求3所述的分布式视频混合数字模拟传输方法，其特征在于，所述参数优化网络模型采用全连接深度神经网络，包括：
依次连接的输入层、第一隐藏层、第二隐藏层和输出层；
所述输入层包括四个输入节点，分别输入所述频域系数块的方差、相关噪声方差、初始分配功率和信道噪声方差；
所述输出层包括两个输出节点，输出编码参数，所述编码参数包括功率分配因子和量化步长。
5.根据权利要求3所述的分布式视频混合数字模拟传输方法，其特征在于，所述优化的分配功率为：
其中，为总的能量约束，/>为每个频域系数块的相关噪声方差，/>为每个频域系数块的量化误差值的方差，/>为功率分配因子。
6.根据权利要求5所述的分布式视频混合数字模拟传输方法，其特征在于，所述步骤5包括：
针对所述第一帧视频中的每个频域系数块，基于最优功率缩放系数对所述频域系数块进行功率缩放，得到第一编码结果；
针对除所述第一帧视频以外的多帧视频中的每个频域系数块，利用所述功率分配系数分别对所述量化值和所述量化误差值进行缩放，得到缩放结果，将所述缩放结果进行叠加，得到第二编码结果；
对所述第一编码结果和所述第二编码结果进行哈达玛变换，得到编码符号序列。
7.根据权利要求6所述的分布式视频混合数字模拟传输方法，其特征在于，在所述步骤6之后，还包括：
步骤7，在数据接收端将所述带噪声的编码符号序列、所述功率分配系数和所述编码参数均输入解码器，所述解码器基于所述功率分配系数和所述编码参数对所述带噪声的编码符合序列进行解调，得到解调结果，并根据解调结果重建视频帧。
8.根据权利要求7所述的分布式视频混合数字模拟传输方法，其特征在于，所述步骤7包括：
将所述带噪声的编码符号序列、所述功率分配系数和所述编码参数均输入所述解码器；
所述解码器基于所述功率分配系数和所述编码参数对所述带噪声的编码符合序列进行解调，得到解调结果；
对所述解调结果进行逆哈达玛变换，得到第一帧视频的第一编码结果和除所述第一帧视频以外的多帧视频的第二编码结果；
针对所述第一编码结果，根据所述第一编码结果和逆功率缩放系数计算得到多个频域系数块，将多个所述频域系数块进行合并并通过逆离散余弦变换，将频域下的频域系数块进行重建，得到重建后的第一帧视频；
针对所述第二编码结果，利用图像插帧算法对所述重建后的第一帧视频进行处理，生成边信息；
所述解码器采用带边信息的最小二乘估计器对所述边信息进行估计，得到估计的量化误差值和量化值；
将估计的量化误差值和量化值进行叠加，得到多个频域系数块，将多个频域系数块进行合并并通过逆离散余弦变换，将频域下的频域系数块进行重建，得到重建后的除第一帧视频以外的多帧视频；
将重建后的第一帧视频和重建后的除第一帧视频以外的多帧视频进行合并，完成视频传输。
9.一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的分布式视频混合数字模拟传输方法。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的分布式视频混合数字模拟传输方法。
CN202310710973.3A 2023-06-15 2023-06-15 一种分布式视频混合数字模拟传输方法及相关设备 Active CN116456094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310710973.3A CN116456094B (zh) 2023-06-15 2023-06-15 一种分布式视频混合数字模拟传输方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310710973.3A CN116456094B (zh) 2023-06-15 2023-06-15 一种分布式视频混合数字模拟传输方法及相关设备

Publications (2)

Publication Number Publication Date
CN116456094A true CN116456094A (zh) 2023-07-18
CN116456094B CN116456094B (zh) 2023-09-05

Family

ID=87125999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310710973.3A Active CN116456094B (zh) 2023-06-15 2023-06-15 一种分布式视频混合数字模拟传输方法及相关设备

Country Status (1)

Country Link
CN (1) CN116456094B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1631041A (zh) * 2001-11-21 2005-06-22 Vixs系统公司 视频变码中的速率控制方法和系统
CN101742313A (zh) * 2009-12-10 2010-06-16 北京邮电大学 基于压缩感知技术的分布式信源编码的方法
CN102186077A (zh) * 2011-05-04 2011-09-14 西安电子科技大学 基于Wyner-Ziv视频编码的Wyner-Ziv帧码率控制系统和方法
WO2014160705A1 (en) * 2013-03-26 2014-10-02 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer vdr coding
CN105681425A (zh) * 2016-01-22 2016-06-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于分布式存储系统的多节点修复方法及其系统
US20160360141A1 (en) * 2015-06-03 2016-12-08 Mitsubishi Electric Research Laboratories, Inc. System and Method for Hybrid Wireless Video Transmission
CN106412611A (zh) * 2016-09-26 2017-02-15 宁波大学 一种高效视频编码的复杂度控制方法
CN108111255A (zh) * 2017-11-24 2018-06-01 同济大学 一种模拟编码中基于最大后验概率的译码方法
CN110493603A (zh) * 2019-07-25 2019-11-22 南京航空航天大学 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法
WO2020035683A1 (en) * 2018-08-15 2020-02-20 Imperial College Of Science, Technology And Medicine Joint source channel coding for noisy channels using neural networks
CN113300813A (zh) * 2021-05-27 2021-08-24 中南大学 基于注意力的针对文本的联合信源信道方法
CN113938254A (zh) * 2021-10-21 2022-01-14 东南大学 一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法
CN114424552A (zh) * 2019-09-29 2022-04-29 华为技术有限公司 一种低延迟信源信道联合编码方法及相关设备
WO2022232844A1 (en) * 2021-04-30 2022-11-03 Tencent America LLC Content-adaptive online training with image substitution in neural image compression
WO2022248891A1 (en) * 2021-05-28 2022-12-01 Imperial College Innovations Ltd Communication system, transmitter, and receiver for conveying data from an information source across a communication channel using joint source and channel coding, and method of training an encoder neural network and decoder neural network for use in a communication system
WO2023031632A1 (en) * 2021-09-06 2023-03-09 Imperial College Innovations Ltd Encoder, decoder and communication system and method for conveying sequences of correlated data items from an information source across a communication channel using joint source and channel coding, and method of training an encoder neural network and decoder neural network for use in a communication system
US20230095541A1 (en) * 2021-09-29 2023-03-30 Ati Technologies Ulc Video encoding optimization for machine learning content categorization
US20230108722A1 (en) * 2021-10-01 2023-04-06 Microsoft Technology Licensing, Llc Allocating bit rate between video streams using machine learning

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1631041A (zh) * 2001-11-21 2005-06-22 Vixs系统公司 视频变码中的速率控制方法和系统
CN101742313A (zh) * 2009-12-10 2010-06-16 北京邮电大学 基于压缩感知技术的分布式信源编码的方法
CN102186077A (zh) * 2011-05-04 2011-09-14 西安电子科技大学 基于Wyner-Ziv视频编码的Wyner-Ziv帧码率控制系统和方法
WO2014160705A1 (en) * 2013-03-26 2014-10-02 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer vdr coding
US20160360141A1 (en) * 2015-06-03 2016-12-08 Mitsubishi Electric Research Laboratories, Inc. System and Method for Hybrid Wireless Video Transmission
CN105681425A (zh) * 2016-01-22 2016-06-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于分布式存储系统的多节点修复方法及其系统
CN106412611A (zh) * 2016-09-26 2017-02-15 宁波大学 一种高效视频编码的复杂度控制方法
CN108111255A (zh) * 2017-11-24 2018-06-01 同济大学 一种模拟编码中基于最大后验概率的译码方法
WO2020035683A1 (en) * 2018-08-15 2020-02-20 Imperial College Of Science, Technology And Medicine Joint source channel coding for noisy channels using neural networks
CN110493603A (zh) * 2019-07-25 2019-11-22 南京航空航天大学 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法
CN114424552A (zh) * 2019-09-29 2022-04-29 华为技术有限公司 一种低延迟信源信道联合编码方法及相关设备
WO2022232844A1 (en) * 2021-04-30 2022-11-03 Tencent America LLC Content-adaptive online training with image substitution in neural image compression
CN113300813A (zh) * 2021-05-27 2021-08-24 中南大学 基于注意力的针对文本的联合信源信道方法
WO2022248891A1 (en) * 2021-05-28 2022-12-01 Imperial College Innovations Ltd Communication system, transmitter, and receiver for conveying data from an information source across a communication channel using joint source and channel coding, and method of training an encoder neural network and decoder neural network for use in a communication system
WO2023031632A1 (en) * 2021-09-06 2023-03-09 Imperial College Innovations Ltd Encoder, decoder and communication system and method for conveying sequences of correlated data items from an information source across a communication channel using joint source and channel coding, and method of training an encoder neural network and decoder neural network for use in a communication system
US20230095541A1 (en) * 2021-09-29 2023-03-30 Ati Technologies Ulc Video encoding optimization for machine learning content categorization
US20230108722A1 (en) * 2021-10-01 2023-04-06 Microsoft Technology Licensing, Llc Allocating bit rate between video streams using machine learning
CN113938254A (zh) * 2021-10-21 2022-01-14 东南大学 一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
X. CHEN, F. LI AND X. LIU: "Efficient and Robust Distributed Digital Codec Framework for Jointly Sparse Correlated Signals", IEEE ACCESS, vol. 7 *
Y. LI, X. CHEN AND X. DENG: "Lightweight Deep Joint Source-Channel Coding for Gauss-Markov Sources over AWGN channel", 2023 IEEE WIRELESS COMMUNICATIONS AND NETWORKING CONFERENCE (WCNC), GLASGOW, UNITED KINGDOM *

Also Published As

Publication number Publication date
CN116456094B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN106803958B (zh) 一种基于叠加调制编码的数模混合视频传输方法
Zhang et al. Video compression artifact reduction via spatio-temporal multi-hypothesis prediction
CN107005713A (zh) 施加边缘类型偏移的视频编码方法和设备以及视频解码方法和设备
Bouchemel et al. Enhancement of Compressed Image Transmission in WMSNs Using Modified $\mu $-Nonlinear Transformation
Akbari et al. Sparse recovery-based error concealment
US11330264B2 (en) Training method, image encoding method, image decoding method and apparatuses thereof
Song et al. Compressed image restoration via artifacts-free PCA basis learning and adaptive sparse modeling
CN111327786B (zh) 基于社交网络平台的鲁棒隐写方法
CN112085667B (zh) 一种基于伪模拟视频传输的去分块效应方法和装置
US20230120553A1 (en) Saliency based denoising
Niu et al. A hybrid wireless image transmission scheme with diffusion
CN116456094B (zh) 一种分布式视频混合数字模拟传输方法及相关设备
CN111755018A (zh) 基于小波变换及量化嵌入密钥的音频隐藏方法及装置
US7630564B2 (en) Decoding apparatus, dequantizing method, and program thereof
US8437391B2 (en) Transmitting video between two stations in a wireless network
Jiang et al. DIFFSC: Semantic communication framework with enhanced denoising through diffusion probabilistic models
EP3154023A1 (en) Method and apparatus for de-noising an image using video epitome
CN110234011B (zh) 一种视频压缩方法及系统
JP2013258465A (ja) 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム
JPH02264585A (ja) 画像信号の符号化方式
CN102377996B (zh) 上下文自适应可变长编码方法及装置
Li et al. SCAST: Wireless video multicast scheme based on segmentation and SoftCast
CN1529511A (zh) 一种基于运动矢量合成的视频转码方法
Xu et al. Optimization-Based Pseudo-Analog Transmission Scheme for Wireless Feature Map Transmission
CN114882133B (zh) 一种图像编解码方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant