CN113068065B - 一种基于视点预测的低时延流媒体传输方法 - Google Patents

一种基于视点预测的低时延流媒体传输方法 Download PDF

Info

Publication number
CN113068065B
CN113068065B CN202110263949.0A CN202110263949A CN113068065B CN 113068065 B CN113068065 B CN 113068065B CN 202110263949 A CN202110263949 A CN 202110263949A CN 113068065 B CN113068065 B CN 113068065B
Authority
CN
China
Prior art keywords
streaming media
fountain code
prediction
matrix
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110263949.0A
Other languages
English (en)
Other versions
CN113068065A (zh
Inventor
刘奕彤
田开聪
杨鸿文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110263949.0A priority Critical patent/CN113068065B/zh
Publication of CN113068065A publication Critical patent/CN113068065A/zh
Application granted granted Critical
Publication of CN113068065B publication Critical patent/CN113068065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0057—Block codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于视点预测的低时延流媒体传输方法，属于信道编码领域；具体步骤为：首先，对某段流媒体视频中的各帧图像分别进行分块；采用视点预测算法对各区域块进行概率赋值和归一化，得到预测概率矩阵P；接着，对矩阵P中的每个元素，分别取倒数后向下取整，得到度分布矩阵D；将度分布矩阵D中大于临界值的度值进行统一；然后，各度值作为喷泉码编码的参数，对各个区域块进行独立的喷泉码编码，并将编码内容及对应的区域块位置封装成数据传输单元；最后，各数据传输单元经过无线传输后，在接收端进行解码，实现流媒体内容的传输。本发明对不同的流媒体视频区域块，进行独立的喷泉码编码，降低了传输时延，减小了无线传输信道的带宽负载。

Description

一种基于视点预测的低时延流媒体传输方法
技术领域
本发明属于计算机信道编码领域，具体是一种基于视点预测的低时延流媒体传输方法。
背景技术
近年来，随着移动通信技术的快速发展，相应的移动通信业务也得到了极大的增长；在所有的通信业务中，流媒体业务是一个非常重要的组成部分。
流媒体业务的特点是数据量大，实时性要求高。相比于普通的通信业务，流媒体需要通过移动通信信道传输图片，文字和视频等内容，必然要占用较大的带宽资源。另外，流媒体业务对于时延的要求较高，较大的时延会影响用户的观看体验；针对上述流媒体业务的特点，有许多研究对流媒体业务的传输进行了相应的改善和优化。
视点预测技术是基于预测算法和模型，对未来时刻用户观看流媒体内容的视点轨迹或分布进行预测；其目的在于找到最大可能的用户观看区域，在进行信道传输时，尽可能保证这一部分区域的传输质量，从而保证用户的观看体验。
视点预测算法可以分为内容预测和运动预测；内容预测算法是通过机器学习或神经网络等方法，结合流媒体内容的图像特征和上下文信息，进行预测模型的训练，实现对于用户的视点预测。运动预测是通过研究用户观看流媒体时的头部特征，进行数学建模，得到用户视点轨迹的预测模型。运动预测相比于内容预测，不需要很多的训练数据，但是需要较为复杂的数学建模过程，在预测准确率上，两者相当。
喷泉码是一种无速率编码方式，属于信道编码；第一次实际使用于真实信道传输场景的喷泉码，是最早由Luby在2002年提出的LT喷泉码。LT码的码字长度是任意的，其中输入符号与编码符号之间的运算是异或运算，输入符号经过LT编码得到的每一个编码符号都是独立生成的。喷泉码的关键在于度分布的设计，Luby在设计LT码时，提出了2种度分布，理想弧波分布和鲁棒弧波分布，度值越低，相应的数据传输质量越高；扩展窗喷泉码是利用这一特性设计得出的。
扩展窗喷泉码在编译码端只需要一个编码或译码器，具有良好的不等保护性能。如图1所示，EWF代表扩展窗喷泉码，LT代表LT喷泉码；BPSK是信道调制方式，H.264是视频编码标准，H.264编码器的网络适配层有两种工作模式：分别为分割模式和不分割格式，在分割模式下，H.264有3种不同的分割方式：A型分割实现头信息的划分，B型分割实现帧内信息的划分，C型分割实现帧间信息的划分，这3种分割数据，A型的重要性较高，B,C型的重要性较低。
EWF中MIB(Most important bit)代表重要性最高的部分，LIB(least importantbit)代表重要性最低的部分。w1,w2分别代表扩展窗喷泉码的窗口1和窗口2，Ω(1)和Ω(2)代表两种扩展窗喷泉码的度分布。
基于扩展窗喷泉码的H.264视频流不等差错保护传输方案的实现过程是：首先，输入视频流经过H.264编码器编码，对编码的码流按照H.264的数据分割方法，获得重要性不同的A,B,C三种视频码流，然后采用扩展窗喷泉码作为信道编码，分别采用鲁棒弧波分布对w1,w2进行LT编码，完成分割码流的不等差错保护，并调制成BPSK信号在无线信道中传输；在接收端，对收到的数据进行BPSK解调及相应的扩展窗喷泉码解码，将还原的A,B,C码流送至H.264解码器中进行解码，实现视频的重建和质量评价。
之后Amin Shokrollahi在LT码的基础上提出了一种新的喷泉码编码方案，称为Raptor码，Raptor码一般采用LDPC码作为预编码，原始信息经过预编码后再进行LT码的编码，通过两步编码的方式，降低了编译码的复杂度，提高了编译码的速度。
但是，上述现有方案没有采用视点预测技术对流媒体数据进行重要性划分，不能保证接收端用户的观看体验；并且不能支持多种流媒体业务，包括VR全景视频和立体视频等。
发明内容
基于喷泉码的编解码特性，将喷泉码作为信道编码，本发明提出一种基于视点预测的低时延流媒体传输方法，利用视点预测技术和喷泉码的编解码特性，改善流媒体业务的无线信道传输，降低传输时延，保证用户的观看体验。
所述的一种基于视点预测的低时延流媒体传输方法，具体步骤如下：
步骤一、针对某段流媒体视频中的各帧图像，根据传输信道的质量，在发送端对每帧图像进行分块，各帧图像分别对应得到m×n个区域块。
其中m≥1,n≥1；
分块大小的准则为：将每帧图像的左下角作为坐标原点，按照长宽相等的尺寸，将各帧图像进行均匀划分；从而得到各图像中每个区域块的坐标位置。
分块数量的准则为：传输信道质量状况较好时，减少流媒体内容的分块数；传输信道质量状况较差时，增加流媒体内容的分块数；
步骤二、针对每帧图像，采用视点预测算法，对m×n个区域块分别进行概率赋值和归一化，得到m×n维的归一化预测概率矩阵P。
Figure BDA0002951414970000031
矩阵中的每个元素分别代表各归一化后的概率值，数值大小代表概率的大小；
预测的准则为：对下一时刻用户将要观看的流媒体区域块，赋值大于等于50％的概率；对用户在下一时刻不会观看或者很少观看的流媒体内容区域块，赋值低于50％的概率。
步骤三、对归一化预测概率矩阵P中的每个元素pi,j，分别取倒数后向下取整，得到m×n维的相应元素组成度分布矩阵D。
Figure BDA0002951414970000032
Figure BDA0002951414970000033
步骤四、逐个判断度分布矩阵D中的每个元素，将大于临界值的度值，统一为高值；
临界值根据实际需要人为设定。
步骤五、度分布矩阵D中各度值分别对应各自的流媒体内容区域块，利用喷泉码编码器对各个区域块分别进行喷泉码编码，将各喷泉码编码内容及对应的区域块坐标位置(i,j)封装在一起，形成一个独立的数据传输单元，共得到m×n个数据传输单元。
所述喷泉码编码，是指每个区域块对应在度分布矩阵D中的元素，作为喷泉码编码的度分布参数，喷泉码编码的各分布值参数相互独立，彼此不相关。喷泉码编码器根据独立的度分布参数对每个区域块进行独立编码，得到喷泉码编码信息；同时，喷泉码编码器对统一为高值的各度值进行统一编码，每个区域块分别得到各自的数据传输单元。
步骤六、各数据传输单元经过无线信道传输后，在接收端进行解码，实现流媒体内容的传输。
具体为：
首先，接收端接收封装的数据传输单元，对接收到的喷泉码编码内容采用高斯消元法或者置信传播法进行解码；
然后，根据数据传输单元中包含的流媒体区域块的位置信息，将解码出的流媒体内容在对相应的区域位置播放输出。
本发明的优点在于：
1)一种基于视点预测的低时延流媒体传输方法，根据视点预测结果得到喷泉码的度分布参数，通过对不同的流媒体视频区域块，进行独立的喷泉码编码，降低了传输时延。
2)一种基于视点预测的低时延流媒体传输方法，在信道质量较差时，通过将大于临界值的度值进行统一，在喷泉码编码时优先保证了视点预测结果中的较高概率的流媒体视频区域块的传输，保证了用户的观看体验。
3)一种基于视点预测的低时延流媒体传输方法，通过优先传输视点预测较高概率的视频区域块，减小无线传输信道的带宽负载。
附图说明
图1为现有技术中扩展窗喷泉码的应用原理示意图；
图2为本发明所述低时延流媒体传输方法基于的模块构建图；
图3为本发明一种基于视点预测的低时延流媒体传输方法的流程图；
图4为本发明基于视点预测的低时延流媒体传输方法的实施例示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细和深入描述。
为了对基于视点预测的低时延流媒体传输方法进行更好的描述，本发明设计了如图2所示的低时延流媒体传输模块，具体包括：媒体分块模块，视点预测模块，编码矩阵模块，数据封装模块和解码接收模块。
首先，针对某流媒体内容的视频帧图像，媒体分块模块根据传输信道的质量，在发送端对各帧图像进行不同大小的分块；然后针对各帧分块图像，视点预测模块对分得的各区域块进行视点预测，得到归一化预测概率矩阵P；编码矩阵模块对归一化预测概率矩阵P中的每个元素分别取倒数后向下取整，得到喷泉码编码的度分布矩阵D。利用喷泉码编码器对度分布矩阵D相应的各区域块进行独立的喷泉码编码后，数据封装模块将每个喷泉码编码结果及各分块所在的位置分别封装在一起，形成一个数据传输单元。解码接收模块对各封装的数据传输单元进行解码，并根据流媒体区域块的位置信息，将解码出的流媒体内容在对相应的位置播放输出。
所述的一种基于视点预测的低时延流媒体传输方法，如图3所示，具体步骤如下：
步骤一、针对某段流媒体视频中的各帧图像，根据传输信道的质量，在发送端利用媒体分块模块对每帧图像进行分块，各帧图像分别对应得到m×n个区域块。
其中m≥1,n≥1；
分块大小的准则为：将每帧图像的左下角作为坐标原点，按照长宽相等的尺寸，将各帧图像进行均匀划分；从而得到各图像中每个区域块的坐标位置。
分块数量的准则为：传输信道质量状况较好时，减少流媒体内容的分块数；传输信道质量状况较差时，增加流媒体内容的分块数；
步骤二、针对每帧图像，利用视点预测模块对m×n个区域块分别进行概率赋值和归一化，得到m×n维的归一化预测概率矩阵P。
Figure BDA0002951414970000051
矩阵中的每个元素分别代表各归一化后的概率值，数值大小代表概率的大小；
预测的准则为：对下一时刻用户将要观看的流媒体区域块，赋值大于等于50％的概率；对用户在下一时刻不会观看或者很少观看的流媒体内容区域块，赋值低于50％的概率。
步骤三、编码矩阵模块对归一化预测概率矩阵P中的每个元素pi,j，分别取倒数后向下取整，得到m×n维的相应元素组成度分布矩阵D。
Figure BDA0002951414970000052
Figure BDA0002951414970000053
步骤四、逐个判断度分布矩阵D中的每个元素，将大于临界值的度值，统一为高值；
临界值根据实际需要人为设定。
步骤五、度分布矩阵D中各度值分别对应各自的流媒体内容区域块，利用喷泉码编码器对各个区域块分别进行喷泉码编码，数据封装模块将各喷泉码编码内容及对应的区域块坐标位置(i,j)封装在一起，形成一个独立的数据传输单元，共得到m×n个数据传输单元。
所述流媒体区域块的位置信息，是指相对于原始流媒体内容，进行分块所得到的区域位置。
所述喷泉码编码信息，是指将编码矩阵模块得到的度分布矩阵D中的元素，作为喷泉码编码的度值，对每一个对应位置的流媒体区域块进行独立编码，得到喷泉码编码信息同时，喷泉码编码器对统一为高值的各度值进行统一编码，每一个流媒体区域块对应一个数据传输单元。
步骤六、各数据传输单元经过无线信道传输后，在接收端利用解码接收模块进行解码，实现流媒体内容的传输。
具体为：
首先，接收端接收封装的数据传输单元，对接收到的喷泉码编码内容采用高斯消元法或者置信传播法进行解码；
然后，根据数据传输单元中包含的流媒体区域块的位置信息，将解码出的流媒体内容在对相应的区域位置播放输出。
实施例
如图4所示，首先，采用一段流媒体视频作为传输内容，媒体分块模块根据信道质量状况，将视频中的各帧图像分别划分成5*8个流媒体视频区域。
视点预测模块采用视点预测算法，对视频内容进行用户的视点预测，根据视频划分的区域，将用户将要观看或者正在观看的区域赋予较大的概率值，对所有概率值进行归一化处理，得到归一化预测概率矩阵P＝[pi，j]5×8。
编码矩阵模块对于归一化概率矩阵中的各个元素，分别取
Figure BDA0002951414970000061
得到喷泉码编码对应的度分布矩阵D＝[di，j]5×8。
喷泉码编码器将度分布矩阵中的各度分布元素作为编码参数，对各个区域块分别进行独立编码；
数据封装模块将各区域块的位置信息以及根据度分布参数得到的该区域块的喷泉码编码数据，封装成一个数据传输单元，每帧图像共得到5*8个数据传输单元。
数据传输单元经过无线信道传输后，在接收端进行解码，解码接收模块先对接收的喷泉码编码内容进行解码，之后根据接收到的流媒体区域位置信息，在对应的区域位置进行流媒体内容的输出播放。

Claims (4)

1.一种基于视点预测的低时延流媒体传输方法，其特征在于，具体步骤如下：
步骤一、针对某段流媒体视频中的各帧图像，根据传输信道的质量，在发送端对每帧图像进行分块，各帧图像分别对应得到m×n个区域块；
其中m≥1,n≥1；
分块大小的准则为：将每帧图像的左下角作为坐标原点，按照长宽相等的尺寸，将各帧图像进行均匀划分；从而得到各图像中每个区域块的坐标位置；
步骤二、针对每帧图像，采用视点预测算法，对m×n个区域块分别进行概率赋值和归一化，得到m×n维的归一化预测概率矩阵P；
预测的准则为：对下一时刻用户将要观看的流媒体区域块，赋值大于等于50％的概率；对用户在下一时刻不会观看或者很少观看的流媒体内容区域块，赋值低于50％的概率；
Figure FDA0003357228490000011
矩阵中的每个元素分别代表各归一化后的概率值，数值大小代表概率的大小；
步骤三、对归一化预测概率矩阵P中的每个元素pi,j，分别取倒数后向下取整，得到m×n维的相应元素组成度分布矩阵D；
Figure FDA0003357228490000012
Figure FDA0003357228490000013
步骤四、逐个判断度分布矩阵D中的每个元素，将大于临界值的度值，统一为高值；
临界值根据实际需要人为设定；
步骤五、度分布矩阵D中各度值分别对应各自的流媒体内容区域块，利用喷泉码编码器对各个区域块分别进行喷泉码编码，将各喷泉码编码内容及对应的区域块坐标位置(i,j)封装在一起，形成一个独立的数据传输单元，共得到m×n个数据传输单元；
步骤六、各数据传输单元经过无线信道传输后，在接收端进行解码，实现流媒体内容的传输。
2.如权利要求1所述的一种基于视点预测的低时延流媒体传输方法，其特征在于，所述步骤一中，分块数量的准则为：传输信道质量状况较好时，减少流媒体内容的分块数；传输信道质量状况较差时，增加流媒体内容的分块数。
3.如权利要求1所述的一种基于视点预测的低时延流媒体传输方法，其特征在于，步骤五中所述喷泉码编码，是指每个区域块对应在度分布矩阵D中的元素，作为喷泉码编码的度分布参数，喷泉码编码的各分布值参数相互独立，彼此不相关；喷泉码编码器根据独立的度分布参数对各区域块进行单独编码，得到喷泉码编码信息；同时，喷泉码编码器对统一为高值的各度值进行统一编码，每个区域块分别得到各自的数据传输单元。
4.如权利要求1所述的一种基于视点预测的低时延流媒体传输方法，其特征在于，所述步骤六具体为：
首先，接收端接收封装的数据传输单元，对接收到的喷泉码编码内容采用高斯消元法或者置信传播法进行解码；
然后，根据数据传输单元中包含的流媒体区域块的位置信息，将解码出的流媒体内容在对相应的区域位置播放输出。
CN202110263949.0A 2021-02-25 2021-02-25 一种基于视点预测的低时延流媒体传输方法 Active CN113068065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110263949.0A CN113068065B (zh) 2021-02-25 2021-02-25 一种基于视点预测的低时延流媒体传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110263949.0A CN113068065B (zh) 2021-02-25 2021-02-25 一种基于视点预测的低时延流媒体传输方法

Publications (2)

Publication Number Publication Date
CN113068065A CN113068065A (zh) 2021-07-02
CN113068065B true CN113068065B (zh) 2022-02-25

Family

ID=76559972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110263949.0A Active CN113068065B (zh) 2021-02-25 2021-02-25 一种基于视点预测的低时延流媒体传输方法

Country Status (1)

Country Link
CN (1) CN113068065B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158696B (zh) * 2011-01-25 2012-10-03 天津大学 一种基于扩展窗喷泉码的立体视频传输方法
CN102227133B (zh) * 2011-06-23 2013-01-09 天津大学 一种立体视频传输方法
WO2017161122A1 (en) * 2016-03-16 2017-09-21 University Of Florida Research Foundation, Incorporated System for live video streaming using delay-aware fountain codes

Also Published As

Publication number Publication date
CN113068065A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN102143367B (zh) 一种纠错校验方法、设备和系统
CN103858433B (zh) 分层熵编码及解码
CN101304537B (zh) 3g-ip无线视频传输系统
CN101272495A (zh) 用于传输基于分组的图像帧的方法和装置
CN107872296B (zh) 用于传输视频的方法和数据发射机
CN110740334B (zh) 一种帧级别的应用层动态fec编码方法
JP6519474B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102383892B1 (ko) 미디어 콘텐츠 기반의 자가 적응 시스템 코드 fec의 코딩 및 디코딩 방법, 장치, 시스템 및 매체
Baruffa et al. Error protection and interleaving for wireless transmission of JPEG 2000 images and video
CN101854224B (zh) 纠错编码方法、装置和系统以及转发控制方法和装置
KR20040071765A (ko) Ｒｓ 코드들을 기초로 하여 포워드 에러 정정을 이용하는 비동등 에러 보호
Qian et al. A general joint source-channel matching method for wireless video transmission
Hussain et al. Adaptive video-aware forward error correction code allocation for reliable video transmission
Huang et al. DAVE: Dynamic adaptive video encoding for real-time video streaming applications
CN113068065B (zh) 一种基于视点预测的低时延流媒体传输方法
CN109687934B (zh) 基于媒体内容的自适应系统码fec方法、装置及系统
CN104137455A (zh) 提供流传输服务的方法和装置
CN101980466A (zh) 一种联合spiht压缩与不等差错保护编码的码流传输方法
CN107995502B (zh) 实现自适应流媒体的方法和设备以及系统
CN115942009A (zh) 基于混合式编码的远程视频业务办理方法和装置
CN113038126A (zh) 基于帧预测神经网络的多描述视频编码方法和解码方法
Chung et al. A cross-layer unequal error protection scheme for prioritized H. 264 video using RCPC codes and hierarchical QAM
Lv et al. Unequal error protection for 360 VR video based on expanding window fountain codes
Liu et al. A progressive transmission scheme for 3D models in VR/AR based on UEP-LT code
He et al. Multiple description coding for uncompressed video streaming over 60ghz networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant