CN106803958A - 一种基于叠加调制编码的数模混合视频传输方法 - Google Patents

一种基于叠加调制编码的数模混合视频传输方法 Download PDF

Info

Publication number
CN106803958A
CN106803958A CN201710022442.XA CN201710022442A CN106803958A CN 106803958 A CN106803958 A CN 106803958A CN 201710022442 A CN201710022442 A CN 201710022442A CN 106803958 A CN106803958 A CN 106803958A
Authority
CN
China
Prior art keywords
video
signal
digital
coding
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710022442.XA
Other languages
English (en)
Other versions
CN106803958B (zh
Inventor
谭彬
崔浩
吴俊�
钱亦宸
刘典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201710022442.XA priority Critical patent/CN106803958B/zh
Publication of CN106803958A publication Critical patent/CN106803958A/zh
Application granted granted Critical
Publication of CN106803958B publication Critical patent/CN106803958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种基于叠加调制编码的数模混合视频传输方法,包括视频编码发送过程和视频接收重建过程,所述视频编码发送过程包括:原始视频信号经基本层数字编码和增强层模拟编码的分层编码,对应得到数字信道编码信号和模拟编码信号,并基于功率约束模型将数字信道编码信号与模拟编码信号按最优分配功率进行叠加后发送。与现有技术相比,本发明充分利用数字编码调制中的功率余量传输增强层相关的信息,在提高功率利用率的同时增强视频传输的重建质量。

Description

一种基于叠加调制编码的数模混合视频传输方法
技术领域
本发明涉及无线通信领域,尤其是涉及一种基于叠加调制编码的数模混合视频传输方法。
背景技术
现如今,随着无线网络以及无线设备的普及,无线视频的业务也越来越热。无线网络图像视频数据使用量正在呈加速增长的趋势,因此迫切需要研究针对图像视频的无线传输新方法。数模混合传输作为一种有效的克服悬崖效应的传输方式,也开始被广泛研究。视频与传统的网络数据传输的差别在于视频对实时性要求较高,另一方面,用户对于视频传输中的一些差错和失真是可以容忍的。这就给模拟编码传输创造了一个应用场景。在无线视频研究领域存在以下几个问题:一是移动性,比如说用户手持移动的设备,位置在不停的发生变化,因此它的信道也是在变化的,所以信道的质量也是在不停变化的;二是对于无线视频的广播传输,不同的用户在不同的地点,信道也具有分集特性;三是随着视频应用的普及,接收端从手机到各人电脑,它们的时间分辨率和空间分辨率都不一样。因此希望视频的传输获得的质量,能够在一定的信道范围质量内达到比较好的视频质量,同时,希望视频的质量能支持多分辨率,包括时间分辨率和空间分辨率。
现有数字编码方案它存在悬崖效应。信源经过熵编码之后,经过信道传输。根据香农的分离编码理论,对于点到点通信,这个性能是可以达到最优的。但这个最优性能是有前提的,一是要对信道质量估计非常准确;一旦信源数字编码的码率确定之后,如果信道质量发生变化,信道变得更好,也不能利用信道质量变好带来的增益,如果信道质量变差,差到临界点,整个视频质量就会出现悬崖效应。因此在数字视频传输中,虽然数字编码效率很高,在估计准信道状态的情况下,它的编码性能很高,但是它缺少可伸缩性。
悬崖效应核心的问题是:在数字编码中,把信源符号映射到信道符号时,它并不是线性映射。也就是如果一个比特发生错误的时候,它对应的信源符号并不是邻近的信源符号,而可能跑到很远的位置去了。模拟编码的核心思想是:信源符号经过编码映射之后其实是线性映射到它的周围。这样它对错误就能有很好的抵抗。因此信道质量有多好,得到的信号质量就与它相匹配。信道质量好,就得到好的信号质量;信道质量差一点,就得到较差的信号质量。
为克服传统无线视频传输的缺陷,本发明提出一种基于叠加调制编码的数模混合视频传输方法,具体是一种单用户数模信号叠加时的码率和功率分配优化选择方法,旨在针对不同的视频内容,利用信道反馈信息,实现对数模混合资源的最优分配策略,提高视频传输的平均PSNR(峰值信噪比)。这个分配方案考虑了数字视频压缩参数(即量化参数QP)、数字部分功率、模拟部分功率互相的平衡关系,通过最小化接收端的失真,得到这些参数的值。特别是考虑了视频内容对参数选择的影响,对于给定的视频,都能通过本发明分配方案得到最优的数模混合分配结果,实现在接收端的视频高质量完美平滑重现。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于叠加调制编码的数模混合视频传输方法。本发明利用分层编码,将数字部分的编码失真用模拟编码来传输,模拟编码中以功率优化代替了数字编码中的量化、熵编码和信道编码,实现的目的是,利用信道反馈的信道状态信息,对不同的视频源序列,选择最适合的数字调制方式、视频源的压缩参数、以及数字部分和模拟部分的分配功率,确保视频在无线信道中传输的时候,随着信道质量变化能够达到连续的图像质量衰减,同时接收端的视频也能达到高质量的重建。
本发明的目的可以通过以下技术方案来实现:
一种基于叠加调制编码的数模混合视频传输方法,包括视频编码发送过程和视频接收重建过程,所述视频编码发送过程包括:
原始视频信号经基本层数字编码和增强层模拟编码的分层编码,对应得到数字信道编码信号和模拟编码信号,并基于功率约束模型将数字信道编码信号与模拟编码信号按最优分配功率进行叠加后发送;
其中,基本层数模编码过程为:原始视频信号经基于最优量化参数的数字信源编码器得到数字比特流,数字比特流经数字信道编码器得到数字信道编码信号,增强层模拟编码过程为:数字比特流经视频解码器得到重建的数字编码视频,原始视频信号与重建的数字编码视频求差得到残差信号,残差信号经模拟编码器得到模拟编码信号。
所述视频编码发送过程中,基于功率约束模型获取数字信道编码信号与模拟编码信号的最优分配功率的方法包括以下步骤:
1)建立功率约束模型,满足以下公式:
Pa+Pd=PT
式中,SINR为预设的信噪比阈值,SNRreal为实际的信噪比,PT为总功率,Pa为对应模拟编码信号的分配功率,Pd为对应数字信道编码信号的分配功率;
2)基于功率约束模型,根据SINR与SNRreal的数值关系获取数字信道编码信号的最优分配功率Pd′与模拟编码信号的最优分配功率Pa′,满足以下公式:
若SINR=SNRreal,则Pa′=0,Pd′=PT
若SNRreal>SINR,则Pd′=PT-Pa′。
所述基本层数模编码过程中,最优量化参数根据模拟编码信号的最优分配功率P′a获取,满足以下公式:
式中,QP′表示最优量化参数,PT为总功率,为信道噪声,a和b为设定的参数。
所述参数a和b满足以下公式:
Nd=a·exp(b·QP)
式中,QP为设定的量化参数,Nd为数字比特流的数据长度。
所述视频编码发送过程中,数字信道编码信号与模拟编码信号的最优分配功率以及最优量化参数的选取使得数字信道编码信号的失真度为0,且模拟编码信号的失真度最小,所述模拟编码信号的失真度满足以下公式:
式中,符号Min(·)表示取(·)内最小值,n为残差信号分块后的子块总数,λi为残差信号分块后的第i个子块的块方差,Pa′为模拟编码信号的最优分配功率,为信道噪声。
所述视频编码发送过程中,还建立了残差信号分块后的子块的块方差与量化参数之间的线性函数关系,对应的建立过程为:
1)在设定的量化参数取值范围内,选取最高值QPmin和最低值QPmax
2)将原始视频信号划分为多个画面组GoP,由每个GoP分别得到与QPmin和QPmax对应的残差信号数据;
3)对步骤2)获得的两组的残差信号数据分别进行3维DCT变换,将3维DCT变换得到的DCT系数进行分块,获取分块后每个子块的块方差,用λi表示第i个子块的块方差;
4)用线性函数lnλi=ki·QP+wi表示lnλi随QP变化的曲线,可得:
式中,表示在QPmin和QPmax下第i个子块的块方差,ki和wi为第i个子块对应的曲线参数;
5)对于一个GoP中的每个子块,都对应得到一组ki和wi,则对于任意给出的一个量化参数QP的数值,可得在量化参数QP下第i个子块的块方差λi_QP为:
λi_QP=exp(ki·QP+wi)。
所述视频接收重建过程包括:
接收的信号经数字信道解码器得到重建的数字信道编码信号,由重建的数字信道编码信号得到重建的数字比特流,重建的数字比特流经数字信源解码器得到重建的数字编码视频;
接收的信号与重建的数字信道编码信号求差得到带躁的模拟编码信号,带躁的模拟编码信号经模拟解码器得到重建的残差信号;
重建的数字编码视频与重建的残差信号相叠加,获得重建的原始视频信号。
与现有技术相比,本发明具有以下优点:
1)本发明利用数字编码获得最佳的编码效率,模拟编码获得平缓的视频质量变化。通过混合数模编码方法,可以有效地结合二者的优点,充分利用数字编码调制中的功率余量传输增强层相关的信息,在提高功率利用率的同时增强视频传输的重建质量,从而实现质量可伸缩性和编码效率的有效权衡。
2)本发明首先将视频经过多媒体视频编码器(即数字信源编码器),对同一视频源可以通过调整量化参数QP输出不同码率R的视频码流,压缩之后得到基本层信息(包括数字比特流和重建的数字编码视频),原始视频与基本层信息的重建的数字编码视频之间的残差值作为增强层信息(即残差信号)。基本层信息的数字比特流以数字编码方式传输,这部分内容用信道编码进行可靠传输。接着,剩余的功率用来给模拟部分,而不需要额外增加信道的带宽,同时,也考虑到模拟信号对数字信号的干扰不能超过数字信号正确解码的阈值,从而提高系统性能。
3)本发明设计视频率失真模型,通过选取数字信道编码信号与模拟编码信号的最优分配功率以及最优量化参数,使得数字信道编码信号的失真度为0,且模拟编码信号的失真度最小,从而实现令接收端获得最小化失真的重建视频的目的。
4)本发明提出一个基于增强层信息的预测模型,这个预测模型不仅可以减少对获得视频信源增强层信息的计算量,也可以利用预测模型的线性函数关系,从而可以通过数值计算得到视频信源的量化参数,实现最优的数模混合资源分配。通过仿真验证,与传统视频传输方法相比,本发明在不同的信道条件下,都可以获得较好的峰均值信噪比,使得接收端的重建视频质量大大提高。
5)传统的数字视频通信系统都是基于信源信道分离编码设计的。这种有损压缩无损传输的设计通常是被设定在最差信道条件下进行的,那么当它在无线通信网络中传输时,将面临巨大挑战。如果信道条件更好了,这时由于信源压缩产生的失真是无法逆转的。反之,如果无线信道质量意外变差,比设定的最差信道条件更差时,那接收端可能什么都收不到。而本发明基于叠加调制编码的数模混合传输方法把数字编码和模拟编码融合到一起,将信源信道联合编码的框架和现有的体系联系起来,不是取代现有的数字通信系统,而是互相融合取得更好的性能,在应用上将产生更大的影响。
6)混合数字模拟的视频传输系统研究刚刚起步,有诸多需要研究的问题。本发明解决了基于叠加调制编码的数模混合视频传输系统的资源分配问题。在移动通信中,无线信道是时变的,同时,用户对于收视质量的需求是可以妥协的。因此,需要去掉分离定理要求的分离设计的约束,建立一种代价与性能最佳结合的编码方案。这正是数模混合传输研究的目标。无线视频通信系统中的数模混合传输方案的设计着重考虑了针对不同的通信系统中不同模块的协作、联合优化,使得设计更加具有针对性和适应性。本发明发送端基于叠加调制编码的数模混合视频传输技术,首次提出了将对增强层数据建立预测模型,利用预测模型最小化重建视频失真。与传统的无线视频传输方法相比,本发明充分利用数字编码调制中的功率余量传输增强层相关的信息,在提高功率利用率的同时增强视频传输的重建质量。本发明建立功率约束模型进行功率分配,解决了基于叠加调制编码的数模混合视频传输的资源分配问题,必将促进该方案从理论研究进入到实用。
附图说明
图1为数模混合编解码框架示意图;
图2为数模混合视频传输方法中的视频编码发送过程框图;
图3为数模混合视频传输方法中的视频编码发送过程流程图;
图4为不同内容的视频在不同QP下,残差信号的不同子块的块方差对比示意图,其中,图(4a)为视频“Foreman”的不同子块的块方差示意图,图(4b)为视频“Akiyo”的不同子块的块方差示意图;
图5为采用不同视频传输方法重建的视频截图对比效果图,其中,图(5a)为视频原图,图(5b)为采用本发明方法重建的视频截图,图(5c)为采用数字编码方案H.264重建的视频截图,图(5d)为采用伪模拟传输方案Softcast重建的视频截图;
图6为不同视频不同传输方案的性能比较示意图,其中,图(6a)为视频“Foreman”在不同传输方案下的性能曲线示意图,图(6b)为视频“Akiyo”在不同传输方案下的性能曲线示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本发明通过建立数模混合视频传输框架、视频率失真模型、增强层信息的预测模型、功率约束模型,利用数值计算得到视频信源的量化参数,以及最优的数模混合资源分配方案,实现令接收端获得最小化失真的重建视频的目的。
(一)建立数模混合视频传输框架
数模混合视频传输框架如图1所示,为了达到质量可伸缩性和编码效率的有效权衡,采用混合数模编码视频传输方案。这种混合数字模拟编码框架采用了分层的编码思想:基本层采用数字编码,以获得高编码效率;增强层采用模拟编码,以获得视频质量随着信道变化而平缓变化的特性。基于数模混合视频传输框架实现的基于叠加调制编码的数模混合视频传输方法包括视频编码发送过程和视频接收重建过程。
视频编码发送过程包括:
首先,将原始的视频信号S输入到数字的信源编码器中。对于视频信源来说,一个给定的量化参数QP,压缩之后的数字比特流表示为:Xd。不同内容的视频,压缩得到的数据长度也各不相同。将Xd的数据长度定义为Nd,数字编码调制的谱效率为SE,则可用带宽BW与数字编码谱效率SE的关系可表示如下:
将得到的数字比特流Xd作为数字信道编码器的输入,得到数字信道编码信号,这一部分作为基本层编码,与传统的数字编码方案一致。
其次,由原始的视频信号S减去重建的数字编码视频,获得残差信号,再将残差信号输入到模拟编码器中获得模拟编码信号。这一部分作为增强层编码,采用了模拟编码方法,此调制方法不需要额外增加信道的带宽。
最后,数字信道编码信号与模拟编码信号经过功率分配后,叠加生成发送数据,发送数据经过信道由发送端向接收端传输。
将数字部分的数据定义为XD,模拟部分的数据定义为XA,调制数字信道编码信号与模拟编码信号时,对数字信号XD和模拟信号XA使用去相关变换,做完功率分配之后,在实数域做叠加,实现数字信号和模拟信号的叠加复用传输。则接收端的接收信号可以表示为:
y=(α·XA+β·XD)+N (2)
其中:y是接收信号,α和β分别是功率约束系数,N是高斯白噪声,均值为0,方差为本实施例中用方差为的高斯白噪声表示为信道噪声,即用表示信道噪声。
视频接收重建过程包括:
首先,获取重建的数字编码视频:
数字信道解码器对接收放入信号进行解调,以高概率重建发送的数字信号,再由数字信号重建信道编码信号,重建的数字信道编码信号通过重建得到数字比特流,送入数字信源解码器中,可以得到重建的数字视频编码。
其次,获取带噪的模拟编码信号:
由接收的信号减去重建的数字信道编码信号,得到带躁的模拟编码信号,将带噪的模拟编码信号采用LLSE做模拟解码获得重建的残差信号(LLSE是解码器的重要组成部分,LLSE采用一种叫做最小线性平方估计的算法对从PHY物理层接收到的数据进行反白化,反能量分配过程)。
最后,重建原始视频信号:
叠加重建的数字编码视频和重建的残差信号,获得重建的原始视频信号。
通过建立数模混合视频传输框架,充分利用数字编码调制中的功率余量传输增强层相关的信息,在提高功率利用率的同时增强视频传输的重建质量。
(二)设计视频率失真模型
经过模拟信号(数字信道编码信号)与数字信号(模拟编码信号)的功率分配后,叠加生成的数据经过信道传输,数字信道编码信号的分配功率表示为Pd,模拟编码信号的分配功率表示为Pa,数字部分传输失真定义为模拟部分传输失真定义为由于这里是分析数模混合传输的整体性能,所以将数字部分失真与模拟部分的失真联合起来考虑。用户最终接收到的视频质量损失就是数字部分失真与模拟部分失真之和。数字部分传输的是视频基本层信息,因此功率分配优先保障数字部分的正确解码,表示为:
由公式(3)可知:用户最终接收到的视频质量损失只与有关。在设计的混合数字模拟编码方案中,采用了目前广泛流行的视频压缩编码器(H.264)作为数字信源编码器。对同一视频源可以通过调整量化参数QP输出不同码率R的视频码流。最后,在给定信道噪声条件下,针对每一个视频码流的重建视频我们可以计算出不同Pa条件下的视频失真度
为了在接收端获得最小化失真的重建视频,采用传统的MSE作为失真度量,模拟部分的失真可以表示为:
其中,n为残差信号分块后的子块总数,λi为残差信号分块后的第i个子块的块方差。公式(4)建立了Pa、λi三者之间的函数关系。
(三)建立增强层信息的预测模型
在实际的视频传输系统中,对每个视频做以上的数值分析无法满足实时性传输要求。因此,需要对不同的视频信源建立增强层信息的预测模型。
从发送端的角度出发,为了简化预测阶段的计算量,给出以下步骤预测λi
1)在设定的量化参数取值范围内,选取最高值QPmin和最低值QPmax
2)将原始视频信号以16帧划分为多个画面组GoP,由每个GoP分别经过压缩、解码、求差,得到与QPmin和QPmax对应的残差信号数据;
3)对步骤2)获得的两组的残差信号数据分别进行3维DCT变换,将3维DCT变换得到的DCT系数进行分块,每帧视频等分成8×8像素子块,获取分块后每个子块的块方差,用λi表示第i个子块的块方差,并对该值取对数得到lnλi
4)lnλi随QP变化的曲线可以用线性函数lnλi=ki·QP+wi表示,为了求解参数ki和wi,需要两个方程:
式中,表示在QPmin和QPmax下第i个子块的块方差,ki和wi为第i个子块对应的lnλi随QP变化的曲线参数;
5)对于一个GoP中的每个子块,都对应可解出一组ki和wi,利用这组参数,对于任意给出的一个量化参数QP的数值,都可以计算出在量化参数QP下第i个子块的块方差λi_QP
λi_QP=exp(ki·QP+wi) (6)
通过上述预测过程,建立了残差信号分块后的子块的块方差与量化参数之间的线性函数关系(对应公式(6))。
(四)建立功率约束模型
与数字信源编码部分类似,选取目前已有的合适的数字信道编码器(Turbo码)直接应用到混合数字模拟编码方案中。由于在混合数模传输中,解码数字信号时要将模拟信号部分当作噪声,因此对于固定码率的信道编码,在不同模拟信号功率条件下,无错传输码率数据所需要的总的发送功率也是不一样的。
用信干噪比SINR(Signal to Interference plus Noise Ratio)描述模拟部分对数字部分的影响:
其中,PT为总功率,Pa是模拟部分分得的功率,Pd是数字部分分得的功率。
在数模混合无线视频通信系统中,SNRreal为实际的信噪比,数字部分正确解码的信噪比阈值为SINR,通过比较SINR与SNRreal的值判断模拟部分分配的功率;
若SNRreal<SINR,数字部分会解错;
若SINR=SNRreal,优先保证数字部分解对,则Pa=0,Pd=PT
若SNRreal>SINR,在解对数字部分的基础上,有多余的能量可以给Pa
功率约束模型在数值计算中,建立以下功率约束关系:
Pa+Pd=PT
模拟部分分得的功率表示为:
通过设计数模分配功率策略、建立功率约束关系与模拟部分的分配功率等式,可以根据实际信道状态选取数字信道编码信号与模拟编码信号的最优分配功率。
(五)数字信源编码器中量化参数QP选择
根据公式(6)可由每个量化参数QP得到对应的块方差,即公式(4)中的未知参数λi。而公式(4)是一个关于Pa的凸函数,采用梯度下降法计算使得取得最小值时的Pa。因此,QP与Pa存在以下函数关系:
式中,QP(Pa)表示取Pa时的量化参数的数值,a和b为设定的参数,具体地是视频压缩的量化参数QP与压缩之后的数字比特流的数据长度Nd之间的关系式参数,表示如下:
Nd=a·exp(b·QP) (10)
通过公式(9),可知当基于功率约束模型得到数字信道编码信号与模拟编码信号的最优分配功率后,可以由模拟编码信号的最优分配功率得到对应的最优量化参数。
通过以上设计,基于最优量化参数与最优分配功率的数模混合编码发送流程如图2和图3所示,包括:
S1:初始化:输入信道条件和带宽BW。
S2:获取最优分配功率:
基于功率约束模型的功率约束关系,根据SINR与SNRreal的数值关系获取数字信道编码信号的最优分配功率Pd′与模拟编码信号的最优分配功率Pa′,满足以下公式:
若SINR=SNRreal,则Pa′=0,Pd′=PT
若SNRreal>SINR,则Pd′=PT-Pa′。
S3:获取最优量化参数:
根据模拟编码信号的最优分配功率Pa′获取最优量化参数,满足以下公式:
式中,QP′表示最优量化参数,a和b为设定的参数,满足以下公式:
Nd=a·exp(b·QP)
式中,QP为设定的量化参数,Nd为数字比特流的数据长度。
S4:采用QP′对视频源进行数字编码,得到数字信道编码信号;另一方面,由残差信号得到模拟编码信号。
S5:将数字信道编码信号与模拟编码信号按最优分配功率Pd′和Pa′进行叠加传输。
通过选取数字信道编码信号与模拟编码信号的最优分配功率以及最优量化参数,使得数字信道编码信号的失真度为0,且模拟编码信号的失真度最小,模拟编码信号的失真度满足以下公式:
式中,符号Min(·)表示取(·)内最小值。
在仿真实验中,为了说明本发明传输方法的正确性和有效性,以峰值信噪比(PSNR)来评价系统性能。仿真实验中使用了10组测试视频。首先给出了两个有代表性的视频:Foreman和Akiyo,它们在不同数字信源编码器中,经过不同的量化参数压缩之后,得到的不同块的增强层信息。这2个视频,名为“Akiyo”的视频序列背景几乎不动,运动量小的;名为“Foreman”的视频序列人物运动量小,场景变化多。视频源分辨率都为352*288。不同内容的视频在不同QP压缩之后得到的视频残差值各不相同,如图3所示。
为了验证仿真结果的正确性和优越性,将本发明提出的方法与其他两种方法进行了比较,其他两种方法分别是:伪模拟传输方案Softcast和数字编码方案H.264。
仿真实验在信噪比为5dB的情况下,对视频序列“Foreman”的第16帧进行重建,相关视频截图如图4所示。
图5是Foreman和Akiyo视频的不同方案下的性能曲线。
通过仿真比较,可知本发明相较于其他方法的有效性和优越性,无论在高信噪比还是低信噪比条件下,本发明方法接收端的重建视频质量都高于其他两种方法。同时,采用基于叠加编码的数模混合传输方法,克服了传统无线视频传输中的悬崖效应,实现了视频在无线信道中传输的时候随着信道质量变化能够达到连续的图像质量衰减,同时接收端的视频也能达到高质量的重建。

Claims (7)

1.一种基于叠加调制编码的数模混合视频传输方法,包括视频编码发送过程和视频接收重建过程,其特征在于,所述视频编码发送过程包括:
原始视频信号经基本层数字编码和增强层模拟编码的分层编码,对应得到数字信道编码信号和模拟编码信号,并基于功率约束模型将数字信道编码信号与模拟编码信号按最优分配功率进行叠加后发送;
其中,基本层数模编码过程为:原始视频信号经基于最优量化参数的数字信源编码器得到数字比特流,数字比特流经数字信道编码器得到数字信道编码信号,增强层模拟编码过程为:数字比特流经视频解码器得到重建的数字编码视频,原始视频信号与重建的数字编码视频求差得到残差信号,残差信号经模拟编码器得到模拟编码信号。
2.根据权利要求1所述的一种基于叠加调制编码的数模混合视频传输方法,其特征在于,所述视频编码发送过程中,基于功率约束模型获取数字信道编码信号与模拟编码信号的最优分配功率的方法包括以下步骤:
1)建立功率约束模型,满足以下公式:
S I N R = 10 log 10 ( P d P a + σ n 2 )
SNR r e a l = 10 log 10 ( P a + P d σ n 2 )
Pa+Pd=PT
式中,SINR为预设的信噪比阈值,SNRreal为实际的信噪比,PT为总功率,Pa为对应模拟编码信号的分配功率,Pd为对应数字信道编码信号的分配功率;
2)基于功率约束模型,根据SINR与SNRreal的数值关系获取数字信道编码信号的最优分配功率Pd′与模拟编码信号的最优分配功率Pa′,满足以下公式:
若SINR=SNRreal,则Pa′=0,Pd′=PT
若SNRreal>SINR,则Pd′=PT-Pa′。
3.根据权利要求1所述的一种基于叠加调制编码的数模混合视频传输方法,其特征在于,所述基本层数模编码过程中,最优量化参数根据模拟编码信号的最优分配功率Pa′获取,满足以下公式:
QP ′ = 1 b l n log 2 ( ( P T + σ n 2 ) / ( P a ′ + σ n 2 ) ) a
式中,QP′表示最优量化参数,PT为总功率,为信道噪声,a和b为设定的参数。
4.根据权利要求3所述的一种基于叠加调制编码的数模混合视频传输方法,其特征在于,所述参数a和b满足以下公式:
Nd=a·exp(b·QP)
式中,QP为设定的量化参数,Nd为数字比特流的数据长度。
5.根据权利要求1所述的一种基于叠加调制编码的数模混合视频传输方法,其特征在于,所述视频编码发送过程中,数字信道编码信号与模拟编码信号的最优分配功率以及最优量化参数的选取使得数字信道编码信号的失真度为0,且模拟编码信号的失真度最小,所述模拟编码信号的失真度满足以下公式:
M i n ( D X A ) = σ n 2 Σ i = 1 n λ i ( P a ′ / Σ i = 1 n λ i ) · λ i + σ n 2
式中,符号Min(·)表示取(·)内最小值,n为残差信号分块后的子块总数,λi为残差信号分块后的第i个子块的块方差,Pa′为模拟编码信号的最优分配功率,为信道噪声。
6.根据权利要求1所述的一种基于叠加调制编码的数模混合视频传输方法,其特征在于,所述视频编码发送过程中,还建立了残差信号分块后的子块的块方差与量化参数之间的线性函数关系,对应的建立过程为:
1)在设定的量化参数取值范围内,选取最高值QPmin和最低值QPmax
2)将原始视频信号划分为多个画面组GoP,由每个GoP分别得到与QPmin和QPmax对应的残差信号数据;
3)对步骤2)获得的两组的残差信号数据分别进行3维DCT变换,将3维DCT变换得到的DCT系数进行分块,获取分块后每个子块的块方差,用λi表示第i个子块的块方差;
4)用线性函数lnλi=ki·QP+wi表示lnλi随QP变化的曲线,可得:
k i · QP m i n + w i = lnλ i _ QP min k i · QP max + w i = lnλ i _ QP m a x
式中,表示在QPmin和QPmax下第i个子块的块方差,ki和wi为第i个子块对应的曲线参数;
5)对于一个GoP中的每个子块,都对应得到一组ki和wi,则对于任意给出的一个量化参数QP的数值,可得在量化参数QP下第i个子块的块方差λi_QP为:
λi_QP=exp(ki·QP+wi)。
7.根据权利要求1所述的一种基于叠加调制编码的数模混合视频传输方法,其特征在于,所述视频接收重建过程包括:
接收的信号经数字信道解码器得到重建的数字信道编码信号,由重建的数字信道编码信号得到重建的数字比特流,重建的数字比特流经数字信源解码器得到重建的数字编码视频;
接收的信号与重建的数字信道编码信号求差得到带躁的模拟编码信号,带躁的模拟编码信号经模拟解码器得到重建的残差信号;
重建的数字编码视频与重建的残差信号相叠加,获得重建的原始视频信号。
CN201710022442.XA 2017-01-12 2017-01-12 一种基于叠加调制编码的数模混合视频传输方法 Active CN106803958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710022442.XA CN106803958B (zh) 2017-01-12 2017-01-12 一种基于叠加调制编码的数模混合视频传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710022442.XA CN106803958B (zh) 2017-01-12 2017-01-12 一种基于叠加调制编码的数模混合视频传输方法

Publications (2)

Publication Number Publication Date
CN106803958A true CN106803958A (zh) 2017-06-06
CN106803958B CN106803958B (zh) 2019-12-27

Family

ID=58984374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710022442.XA Active CN106803958B (zh) 2017-01-12 2017-01-12 一种基于叠加调制编码的数模混合视频传输方法

Country Status (1)

Country Link
CN (1) CN106803958B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197289A (zh) * 2017-06-21 2017-09-22 同济大学 一种用于天线异构场景下的混合数模视频传输方法
CN109963125A (zh) * 2019-04-11 2019-07-02 湖北大学 一种基于增强层重传的车载监控视频混合数模传输方法
WO2020215433A1 (zh) * 2019-04-26 2020-10-29 深圳市华星光电技术有限公司 图像压缩方法及装置
CN112119619A (zh) * 2018-05-16 2020-12-22 深圳市大疆创新科技有限公司 图像传输
CN113453023A (zh) * 2020-03-24 2021-09-28 福州市博讯网络科技有限公司 基于无线信道信噪比调整码流速率的系统及其方法
CN113783821A (zh) * 2021-09-06 2021-12-10 中国科学院国家空间科学中心 一种基于功率复用的帧信令传输方法
WO2022140971A1 (zh) * 2020-12-28 2022-07-07 深圳市大疆创新科技有限公司 图像传输方法、装置、平台、设备及计算机可读存储介质
CN115085782A (zh) * 2022-06-15 2022-09-20 南通大学 基于深度学习的智能反射面联合反馈和混合预编码方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1149795A (zh) * 1995-11-02 1997-05-14 邝冬英 多媒体数字传输广播系统
CN101073271A (zh) * 2004-12-10 2007-11-14 皇家飞利浦电子股份有限公司 用于数字视频记录器中的分层数字视频编码的系统和方法
CN102158653A (zh) * 2011-05-03 2011-08-17 东华大学 一种实时高动态范围数字图像获取装置及方法
CN104486641A (zh) * 2014-11-20 2015-04-01 清华大学 基于叠加编码的多业务广播单频网优化方法
CN105025580A (zh) * 2015-08-18 2015-11-04 北京邮电大学 一种无线资源分配方法及装置
CN105187952A (zh) * 2014-06-18 2015-12-23 何跃 一种混合网视频流量管理系统和方法
CN105847780A (zh) * 2010-07-21 2016-08-10 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
US20160360141A1 (en) * 2015-06-03 2016-12-08 Mitsubishi Electric Research Laboratories, Inc. System and Method for Hybrid Wireless Video Transmission
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子(中国)研发中心 视频处理、解码方法和装置、vr终端、视频播放系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1149795A (zh) * 1995-11-02 1997-05-14 邝冬英 多媒体数字传输广播系统
CN101073271A (zh) * 2004-12-10 2007-11-14 皇家飞利浦电子股份有限公司 用于数字视频记录器中的分层数字视频编码的系统和方法
CN105847780A (zh) * 2010-07-21 2016-08-10 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
CN102158653A (zh) * 2011-05-03 2011-08-17 东华大学 一种实时高动态范围数字图像获取装置及方法
CN105187952A (zh) * 2014-06-18 2015-12-23 何跃 一种混合网视频流量管理系统和方法
CN104486641A (zh) * 2014-11-20 2015-04-01 清华大学 基于叠加编码的多业务广播单频网优化方法
US20160360141A1 (en) * 2015-06-03 2016-12-08 Mitsubishi Electric Research Laboratories, Inc. System and Method for Hybrid Wireless Video Transmission
CN105025580A (zh) * 2015-08-18 2015-11-04 北京邮电大学 一种无线资源分配方法及装置
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子(中国)研发中心 视频处理、解码方法和装置、vr终端、视频播放系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197289A (zh) * 2017-06-21 2017-09-22 同济大学 一种用于天线异构场景下的混合数模视频传输方法
CN107197289B (zh) * 2017-06-21 2019-10-01 同济大学 一种用于天线异构场景下的混合数模视频传输方法
CN112119619A (zh) * 2018-05-16 2020-12-22 深圳市大疆创新科技有限公司 图像传输
CN109963125A (zh) * 2019-04-11 2019-07-02 湖北大学 一种基于增强层重传的车载监控视频混合数模传输方法
CN109963125B (zh) * 2019-04-11 2020-09-11 湖北大学 一种基于增强层重传的车载监控视频混合数模传输方法
WO2020215433A1 (zh) * 2019-04-26 2020-10-29 深圳市华星光电技术有限公司 图像压缩方法及装置
CN113453023A (zh) * 2020-03-24 2021-09-28 福州市博讯网络科技有限公司 基于无线信道信噪比调整码流速率的系统及其方法
WO2022140971A1 (zh) * 2020-12-28 2022-07-07 深圳市大疆创新科技有限公司 图像传输方法、装置、平台、设备及计算机可读存储介质
CN113783821A (zh) * 2021-09-06 2021-12-10 中国科学院国家空间科学中心 一种基于功率复用的帧信令传输方法
CN115085782A (zh) * 2022-06-15 2022-09-20 南通大学 基于深度学习的智能反射面联合反馈和混合预编码方法

Also Published As

Publication number Publication date
CN106803958B (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN106803958A (zh) 一种基于叠加调制编码的数模混合视频传输方法
Yang et al. Deep convolutional compression for massive MIMO CSI feedback
CN106488243B (zh) 一种多描述屏幕内容视频编码方法
CN107197289B (zh) 一种用于天线异构场景下的混合数模视频传输方法
CN101304537A (zh) 3g-ip无线视频传输系统
CN104219528B (zh) 一种支持可分级视频编码的mimo系统的视频传输方法
CN107071422A (zh) 基于图像相关模型的低复杂度hevc码率适配转换编码方法
Liu et al. CG-Cast: Scalable wireless image SoftCast using compressive gradient
Gui et al. Robust video broadcast for users with heterogeneous resolution in mobile networks
CN105681803B (zh) 一种大容量的hevc视频信息隐藏方法
CN101895753B (zh) 基于网络拥塞程度的视频传输方法、系统及装置
Chen et al. MuVi: Multiview video aware transmission over MIMO wireless systems
Ibrahim et al. Multiple description coding for enhancing outage and video performance over relay-assisted cognitive radio networks
CN102547266B (zh) 一种视频数据传输方法及设备
Lan et al. A practical hybrid digital-analog scheme for wireless video transmission
Abot et al. A link adaptation scheme optimized for wireless JPEG 2000 transmission over realistic MIMO systems
CN107343202A (zh) 基于附加码率的无反馈分布式视频编解码方法及移动终端
CN104994055B (zh) 对多媒体数据进行全线性无纠错保护传输的方法
CN106657961A (zh) 立体视频的混合数字-模拟编码
Zhao et al. OmniCast: Wireless pseudo-analog transmission for omnidirectional video
Hamidouche et al. A solution to efficient power allocation for H. 264/SVC video transmission over a realistic MIMO channel using precoder designs
Zhang et al. Fine granularity resource allocation algorithm for video transmission in orthogonal frequency division multiple access system
Babu et al. Effective compressed image transmission through context aware wireless networks
Aljohani et al. Exit-chart-aided joint source coding, channel coding, and modulation design for two-way relaying
CN105072588B (zh) 全线性无纠错保护的多媒体数据组播方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant