CN114915773B - 一种实现360°vr视频视场重叠失真最小化的稳健传输方法 - Google Patents

一种实现360°vr视频视场重叠失真最小化的稳健传输方法 Download PDF

Info

Publication number
CN114915773B
CN114915773B CN202210367258.XA CN202210367258A CN114915773B CN 114915773 B CN114915773 B CN 114915773B CN 202210367258 A CN202210367258 A CN 202210367258A CN 114915773 B CN114915773 B CN 114915773B
Authority
CN
China
Prior art keywords
video
video data
data block
scheme
subcarrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210367258.XA
Other languages
English (en)
Other versions
CN114915773A (zh
Inventor
卢汉成
陈雨昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210367258.XA priority Critical patent/CN114915773B/zh
Publication of CN114915773A publication Critical patent/CN114915773A/zh
Application granted granted Critical
Publication of CN114915773B publication Critical patent/CN114915773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/00103—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种实现VR视频视场重叠失真最小化的稳健传输方法及系统，其方法包括：步骤S1：将360°VR视频转化为二维VR视频数据块；步骤S2：基于每个VR视频数据块的能量值，对多用户视场重叠的VR视频数据块的子载波进行信道增益操作，构建稳健传输系统端到端的视场重叠失真最小化模型；步骤S3：基于子载波匹配方案，计算传输VR视频数据块的最优功率分配方案；步骤S4：根据VR视频数据块的最优功率分配方案，将所有的VR视频数据块与子载波进行匹配，更新子载波匹配方案；步骤S5：重复步骤S3～S4，得到最终VR视频数据块的最优功率分配方案和子载波匹配方案。本发明提供的方法实现最优的联合带宽和功率分配策略来最小化360°VR视频传输失真。

Description

一种实现360°VR视频视场重叠失真最小化的稳健传输方法
技术领域
本发明涉及计算机和无线通信技术领域，具体涉及一种多播场景下360°VR视频稳健传输方法及系统。
背景技术
高质量的无线360°VR视频传输不仅要求接收端视频质量具有较小的失真，还要求VR头戴式播放设备提供持续的能耗。但是，传统的数字方案在高度动态变化的信道中，往往会出现误码，导致“悬崖效应”，从而造成接收端视频严重失真。在多播场景下，如果采用传统的数字方案，发送方必须根据信道条件最差的用户对视频数据进行解码，这对信道条件较好的用户是不公平的。并且，头戴式VR播放设备的功耗通常很大，其总能量通常受到设备本身的重量和体积的限制。近年，人们提出了一种称为稳健视频传输方案，通过去除了量化和熵编码等非线性操作，以消除数字系统中由传输错误引起的“悬崖效应”和“阶梯效应”。然而，现有的关于稳健视频传输的工作主要集中在传统视频上，在360°VR视频上的应用目前还不够成熟。360°VR视频是覆盖整个视场的球形视频，在多播场景中，用户之间的视场可能会相互重叠，并产生视场重叠失真。因此，在利用稳健传输技术来进行360°VR视频传输，如何实现最优的联合带宽和功率分配策略以实现360°VR视频传输失真最小化是一个非常开放并且具有实际应用价值的问题。
发明内容
为了解决上述技术问题，本发明提供一种实现360°VR视频视场重叠失真最小化的稳健传输方法及系统。
本发明技术解决方案为：一种实现360°VR视频视场重叠失真最小化的稳健传输方法，包括：
步骤S1：将360°VR视频投影到二维平面上，得到二维VR视频；将所述二维VR视频划分成若干个大小相同的VR视频图块，并对每个所述VR视频图块执行去相关操作，得到去相关的VR视频图块系数；将每个所述去相关的VR视频图块系数划分成若干个大小相同的VR视频数据块系数；
步骤S2：基于每个所述VR视频数据块的能量值，对多用户视场重叠的VR视频数据块的子载波进行信道增益操作，构建稳健传输系统端到端的视场重叠失真最小化模型；
步骤S3：基于子载波匹配方案，计算传输所述VR视频数据块的最优功率分配方案；
步骤S4：根据所述VR视频数据块的最优功率分配方案，计算所述VR视频数据块分配到的功率，每轮匹配中信道增益最高的一个所述子载波同分配到最高功率的一个所述VR视频数据块进行匹配，进行多轮匹配，直到所有的所述VR视频数据块被分配完毕，从而更新所述子载波匹配方案；
步骤S5：重复步骤S3～S4，迭代计算并更新所述VR视频数据块的最优功率分配方案和所述子载波匹配方案，直至收敛，得到最终所述VR视频数据块的最优功率分配方案和子载波匹配方案，从而实现360°VR视频在稳健传输中的视场重叠失真最小化。
本发明与现有技术相比，具有以下优点：
1、本发明公开了一种实现360°VR视频视场重叠失真最小化的稳健传输方法，通过将360°VR视频进行分片，并将分片之后的图块划分成大小相同的数据块提升了VR视频的传输效率。
2、本发明通过引入稳健传输技术来传输VR数据块不仅消除数字系统中的“悬崖效应”，还保证了360°VR视频接收质量对用户信道质量的渐进变化。
3、本发明通过推导的针对多播场景下的360°VR视频传输中的用户视场重叠失真优化问题所对应的线性功率分配因子，实现了在给定子载波匹配方案下，得到数据块最优的功率分配。
4、本发明通过对VR视频数据块的功率和子载波增益之间匹配关系，设计了子载波匹配策略，实现了在给定数据块最优功率分配方案下，得到近似最优的子载波匹配方案，并通过设计交替迭代优化策略，实现了360°VR视频在传输中的视场重叠失真最小化。
5、相比于传统的平均功率分配、随机子载波匹配和伪模拟传输方案，本发明在方案的收敛速度、计算复杂度、最终的360°VR视频接收质量、用户公平性等方面均可实现更好的传输性能。
附图说明
图1为本发明实施例中一种实现360°VR视频视场重叠失真最小化的稳健传输方法的流程图；
图2为本发明实施例中VR视频数据块与子载波进行匹配的示意图；
图3为本发明实施例中360°VR视频视场重叠失真最小化的稳健传输系统的框架示意图；
图4为本发明实施例中一种实现360°VR视频视场重叠失真最小化的稳健传输系统的结构框图。
具体实施方式
本发明提供了一种实现360°VR视频视场(FoV)重叠失真最小化的稳健传输方法，实现最优的联合带宽和功率分配策略来最小化360°VR视频传输失真。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种实现360°VR视频视场重叠失真最小化的稳健传输方法，包括下述步骤：
步骤S1：将360°VR视频投影到二维平面上，得到二维VR视频；将二维VR视频划分成若干个大小相同的VR视频图块，并对每个VR视频图块执行去相关操作，得到去相关的VR视频图块系数；将每个去相关的VR视频图块系数划分成若干个大小相同的VR视频数据块系数；
步骤S2：基于每个VR视频数据块的能量值，对多用户视场重叠的VR视频数据块的子载波进行信道增益操作，构建稳健传输系统端到端的视场重叠失真最小化模型；
步骤S3：基于子载波匹配方案，计算传输VR视频数据块的最优功率分配方案；
步骤S4：根据VR视频数据块的最优功率分配方案，计算VR视频数据块分配到的功率，每轮匹配中信道增益最高的一个子载波同分配到最高功率的一个所述VR视频数据块进行匹配，进行多轮匹配，直到所有的VR视频数据块都被分配完毕，从而更新子载波匹配方案；
步骤S5：重复步骤S3～S4，迭代计算并更新VR视频数据块的最优功率分配方案和子载波匹配方案，直至收敛，得到最终VR视频数据块的最优功率分配方案和子载波匹配方案，从而实现360°VR视频在稳健传输中的视场重叠失真最小化。
在一个实施例中，上述步骤S1：将360°VR视频投影到二维平面上，得到二维VR视频；将二维VR视频划分成若干个大小相同的VR视频图块，并对每个VR视频图块执行去相关操作，得到去相关的VR视频图块系数；将每个去相关的VR视频图块系数划分成若干个大小相同的VR视频数据块系数，具体包括：
步骤S11：利用等距投影的方法将360°VR视频从球面映射到二维平面上，得到二维VR视频，其分辨率为M×N，其中M＝2q,N＝2p；
本发明实施例采用等距投影(Equirectangular Projection，ERP)的方法将360°VR视频从球面映射到二维平面上，得到二维VR视频，其分辨率为M×N，本发明实施例中M＝2048，N＝4096；
步骤S12：将二维VR视频划分成若干个大小为m×n的VR视频图块，其中m＝M/22,n＝N/23；
为了提高传输效率，将投影后的二维VR视频划分成若干个大小相同的图块，图块的大小为m×n，本发明实施例中m＝512，n＝512；
步骤S13：利用三维离散余弦变换(3D-DCT)对每个VR视频图块去除视频帧内以及跨帧之间在时间和空间上的冗余信息，得到去相关的VR视频图块对应的系数；
与传统视频压缩不同，本发明实施例采用三维离散余弦变换(3D-DCT变换)来去除360°VR视频在帧以及跨帧之间在时间和空间上的冗余信息，从而达到压缩360°VR视频的目的。由于3D-DCT是线性变换的，因此在信道上的错误不会导致VR视频中的不成比例的失真，从而保证用户端视频接收质量随用户的信道质量渐进变化。每个VR视频图块经过3D-DCT变换后，得到一个VR视频图块对应的系数，即3D-DCT系数；
步骤S14：将每个去相关的VR视频图块对应的系数进一步划分成若干个大小为a×b的VR视频数据块系数，其中a＝m/22,b＝n/22；
本发明实施例中a＝128，b＝128。
在一个实施例中，上述步骤S2：基于每个VR视频数据块的能量值，对多用户视场重叠的VR视频数据块的子载波进行信道增益操作，构建稳健传输系统端到端的视场重叠失真最小化模型，具体包括：
步骤S21：构建公式(1)，用于计算每个VR视频数据块所分配到的功率μwv：
μwv＝(gwv)2·λwv (1)
其中，λwv和gwv分别表示是第w个VR视频图块中第v个VR视频数据块的能量值和稳健传输中的线性功率分配因子；能量值λwv可根据公式(2)计算得到：
Figure BDA0003587635740000051
其中，
Figure BDA0003587635740000052
为第w个VR视频图块中第v个VR视频数据块对应的系数，E[·]表示对
Figure BDA0003587635740000053
的平方求期望；λwv为第w个VR视频图块中第v个VR视频数据块系数的方差，即该VR视频数据块的能量值；
步骤S22：经过子载波j进行传输之后，第w个VR视频图块中第v个VR视频数据块的失真可以表示为公式(3)：
Figure BDA0003587635740000054
其中，
Figure BDA0003587635740000055
是原VR视频数据块系数
Figure BDA0003587635740000056
经过线性解码之后得到的VR视频数据块系数，σ2表示信道噪声，hj代表第j个子载波上的信道增益；
在多播场景下，对于未重叠部分的视场只有单用户失真，这不影响数据块的失真权重。然而，用户视场的重叠部分将会给用户带来耦合失真，给用户造成不同的失真权重，因此，对多用户视场重叠的VR视频数据块，需要对用户k在子载波j的上的信道增益进行处理，令
Figure BDA0003587635740000057
则可以得到子载波增益序列{aj}，其中，K表示的是用户数目，
Figure BDA0003587635740000058
表示的是用户k在子载波j上的信道增益；
在本发明实施例中用户视场区域View_Size为3×2个的图块范围，σ2＝-90dBm为高斯白噪声，
Figure BDA0003587635740000059
为瑞利信道，K＝3；
步骤S23：构建稳健传输系统端到端的视场重叠失真最小化模型的目标函数如公式(4)所示，其约束条件如公式(5)～(8)所示：
Figure BDA0003587635740000061
s.t.μwv＝(gwv)2·λwv≥0， (5)
Figure BDA0003587635740000062
Figure BDA0003587635740000063
Figure BDA0003587635740000064
其中，WK表示实际情况下用户间视场重叠的VR视频图块的数目，V表示的是每个VR视频图块所包含的数据块数目，J表示总的子载波数目，P是系统总功率；
公式(5)和(6)分别表示的是功率的非负性以及传输功率受系统总功率的约束；公式(7)和(8)表示子载波和VR视频数据块之间满足一对一匹配关系；bwv，j是一个二进制变量，当第w个VR视频图块中第v个VR视频数据块被分配给子载波j时，bwv，j＝1，否则bwv，j＝0。
本发明实施例中WK位于[0，K×View_Size]内，J＝128，V＝16，P＝5dBm。
在一个实施例中，上述步骤S3：基于子载波匹配方案，计算传输VR视频数据块的最优功率分配方案，具体包括：
步骤S31：根据子载波匹配方案{bwv，j}，将公式(4)和约束条件(5)～(8)分别简化为公式(9)和公式(10)～(11)：
Figure BDA0003587635740000065
s.t.μwv＝(gwv)2·λwv≥0， (10)
Figure BDA0003587635740000066
其中，
Figure BDA0003587635740000067
是{aj}根据子载波匹配方案{bwv，j}进行的重排的子载波增益序列；
对于子载波匹配方案，首次需要进行初始化操作，设定初始的子载波匹配方案，在之后的迭代计算过程中，则会自动对该子载波匹配方案进行优化更新。
步骤S32：对公式(9)～(11)进行优化，是一个凸优化问题，因此利用拉格朗日乘子法进行求解，可以得到线性功率分配因子gwv，如公式(12)所示：
Figure BDA0003587635740000071
其中，
Figure BDA0003587635740000072
步骤S33：将公式(12)带入公式(1)，得到稳健传输系统传输VR视频数据块的最优功率分配方案，如公式(13)所示：
Figure BDA0003587635740000073
在最优功率分配的前提下，本发明根据数据块功率和子载波增益之间的匹配关系来设计子载波匹配策略。
在一个实施例中，上述步骤S4：根据VR视频数据块的最优功率分配方案，计算VR视频数据块分配到的功率，每轮匹配中信道增益最高的一个子载波同分配到最高功率的一个VR视频数据块进行匹配，进行多轮匹配，直到所有的VR视频数据块被分配完毕，从而更新子载波匹配方案，具体包括：
步骤41：根据传输VR视频数据块的最优功率分配方案，计算所有VR视频数据块分配到的功率，将信道增益最高的一个子载波同分配到最高功率的一个VR视频数据块进行一对一匹配，二者不再参加后续匹配；
步骤42：重复步骤S41，直到所有的VR视频数据块被分配完毕，从而更新子载波匹配方案。
如图2所示，为本发明专利实施例中360°VR视频数据块与子载波进行匹配的示意图；不失一般性，下面考虑一个三个子载波和三个VR视频数据块进行匹配的例子：
VR视频数据块a、b、c分别来自不同视场FoV，利用步骤S3的最优功率分配方案，分别可以计算得到VR视频数据块a、b、c所分配的功率。假设VR视频数据块a、b、c所分配的功率大小之间的关系为：a>c>b；子载波J1，J2和J3增益之间的关系为J1>J3>J2，那么，根据所阐述的子载波匹配方案，对子载波和VR视频数据块进行一对一匹配，经过三轮匹配后，得到子载波匹配方案：(a,J1)，(c,J3)，(b,J2)。
在一个实施例中，上述步骤S5：重复步骤S3～S4，迭代计算VR视频数据块的最优功率分配方案和子载波匹配方案，直至收敛，得到最终VR视频数据块的最优功率分配方案和子载波匹配方案，从而实现360°VR视频在稳健传输中的视场重叠失真最小化，具体包括：
步骤51：基于VR视频数据块的能量值序列{λwv}和所述子载波增益序列{aj}，按照降序排列对两者进行一对一匹配，从而得到初始的子载波匹配方案；
步骤52：基于子载波匹配方案，执行步骤S3得到初始的最优功率分配方案；基于初始的最优功率分配方案执行步骤S4更新子载波匹配方案；
步骤S53：交替迭代步骤S3和S4，不断优化更新最优功率分配方案和子载波匹配方案，直至前后迭代的结果误差不超过预设的终止条件ε时，终止迭代；此时得到最终的最优功率分配方案和子载波匹配方案，从而最小化360°VR视频在传输中的视场重叠失真。
在本发明实施例中ε＝10-6。
根据最终的最优功率分配方案和子载波匹配方案，本发明实施例将已进行功率缩放(即μwv＝(gwv)2·λwv)过的实值数据块，通过密集星座对数据块的I分量和Q分量分别进行幅度调制，然后映射成一个复数信号进行发射。经过信道传输之后，对接收端得到的数据块采用线性最小二乘估计(LLSE)来进行线性解码，最后进行3D-DCT反变换，重建360°VR视频。本发明实施例在发送端和接收端所采用的包括3D-DCT去冗余变换、LLSE信道估计等操作均是线性的，因此本发明中360°VR数据块在信道上的传输错误不会引起VR视频不成比例的失真，从而保证用户的视频接收质量随用户的信道质量渐进变化，保证了用户间的公平性。
如图3所示，展示了360°VR视频视场重叠失真最小化的稳健传输的框架。
本发明公开了一种实现360°VR视频视场重叠失真最小化的稳健传输方法，通过将360°VR视频进行分片，并将分片之后的图块划分成大小相同的数据块提升了VR视频的传输效率。本发明通过引入稳健传输技术来传输VR数据块不仅消除数字系统中的“悬崖效应”，还保证了360°VR视频接收质量对用户信道质量的渐进变化。本发明通过推导的针对多播场景下的360°VR视频传输中的用户视场重叠失真优化问题所对应的线性功率分配因子，实现了在给定子载波匹配方案下，得到数据块最优的功率分配。本发明通过采用VR视频数据块功率和子载波增益之间匹配关系，设计了子载波匹配策略，实现了在给定数据块最优功率分配方案下，得到近似最优的子载波匹配方案，并通过设计交替迭代优化策略，实现了360°VR视频在传输中的视场重叠失真最小化。相比于传统的平均功率分配、随机子载波匹配和伪模拟传输方案，本发明专利在方案的收敛速度、计算复杂度、最终的360°VR视频接收质量、用户公平性等方面均可实现更好的传输性能。
实施例二
如图4所示，本发明实施例提供了一种实现360°VR视频视场重叠失真最小化的稳健传输系统，包括下述模块：
视频预处理模块61，用于将360°VR视频投影到二维平面上，得到二维VR视频；将二维VR视频划分成若干个大小相同的VR视频图块，并对每个VR视频图块执行去相关操作，得到去相关的VR视频图块系数；将每个去相关的VR视频图块划分成若干个大小相同的VR视频数据块系数；
构建视场重叠失真最小化模型模块62，用于基于每个VR视频数据块的能量值，对多用户视场重叠的VR视频数据块的子载波进行信道增益操作，构建稳健传输系统端到端的视场重叠失真最小化模型。
获取最优功率分配方案模块63，用于基于子载波匹配方案，计算传输VR视频数据块的最优功率分配方案；
获取子载波匹配策略模块64，用于根据VR视频数据块的最优功率分配方案，计算VR视频数据块分配到的功率，每轮匹配中信道增益最高的一个子载波同分配到最高功率的一个所述VR视频数据块进行匹配，进行多轮匹配，直到所有的VR视频数据块被分配完毕，从而更新子载波匹配方案；
迭代优化模块65，用于重复执行获取最优功率分配方案模块和获取子载波匹配策略模块，迭代计算并更新VR视频数据块的最优功率分配方案和子载波匹配方案，直至收敛，得到最终VR视频数据块的最优功率分配方案和子载波匹配方案，从而实现360°VR视频在稳健传输中的视场重叠失真最小化。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (7)

1.一种实现VR视频视场重叠失真最小化的稳健传输方法，其特征在于，包括：
步骤S1：将360°VR视频投影到二维平面上，得到二维VR视频；将所述二维VR视频划分成若干个大小相同的VR视频图块，并对每个所述VR视频图块执行去相关操作，得到去相关的VR视频图块系数；将每个所述去相关的VR视频图块系数划分成若干个大小相同的VR视频数据块系数；
步骤S2：基于每个所述VR视频数据块的能量值，对多用户视场重叠的VR视频数据块的子载波进行信道增益操作，构建稳健传输系统端到端的视场重叠失真最小化模型；
步骤S3：基于子载波匹配方案，计算传输所述VR视频数据块的最优功率分配方案；
步骤S4：根据所述VR视频数据块的最优功率分配方案，计算所述VR视频数据块分配到的功率，每轮匹配中信道增益最高的一个所述子载波同分配到最高功率的一个所述VR视频数据块进行匹配，进行多轮匹配，直到所有的所述VR视频数据块被分配完毕，从而更新所述子载波匹配方案；
步骤S5：重复步骤S3～S4，迭代计算并更新所述VR视频数据块的最优功率分配方案和所述子载波匹配方案，直至收敛，得到最终所述VR视频数据块的最优功率分配方案和子载波匹配方案，从而实现360°VR视频在稳健传输中的视场重叠失真最小化。
2.根据权利要求1所述的实现VR视频视场重叠失真最小化的稳健传输方法，其特征在于，所述步骤S1：将360°VR视频投影到二维平面上，得到二维VR视频；将所述二维VR视频划分成若干个大小相同的VR视频图块，并对每个所述VR视频图块执行去相关操作，得到去相关的VR视频图块系数；将每个所述去相关的VR视频图块系数划分成若干个大小相同的VR视频数据块系数，具体包括：
步骤S11：利用等距投影的方法将360°VR视频从球面映射到二维平面上，得到二维VR视频，其分辨率为M×N，其中M＝2q,N＝2p；
步骤S12：将所述二维VR视频划分成若干个大小为m×n的VR视频图块，其中m＝M/22,n＝N/23；
步骤S13：利用三维离散余弦变换对每个所述VR视频图块去除视频帧内以及跨帧之间在时间和空间上的冗余信息，得到去相关的VR视频图块对应的系数；
步骤S14：将每个所述去相关的VR视频图块对应的系数进一步划分成若干个大小为a×b的VR视频数据块系数，其中a＝m/22,b＝n/22。
3.根据权利要求1所述的实现VR视频视场重叠失真最小化的稳健传输方法，其特征在于，所述步骤S2：基于每个所述VR视频数据块的能量值，对多用户视场重叠的VR视频数据块的子载波进行信道增益操作，构建稳健传输系统端到端的视场重叠失真最小化模型，具体包括：
步骤S21：构建公式(1)，用于计算每个所述VR视频数据块所分配到的功率μwv：
μwv＝(gwv)2·λwv (1)
其中，λwv和gwv分别表示是第w个VR视频图块中第v个VR视频数据块的能量值和稳健传输中的线性功率分配因子；能量值λwv可根据公式(2)计算得到：
Figure FDA0003587635730000021
其中，
Figure FDA0003587635730000022
为第w个VR视频图块中第v个VR视频数据块对应的系数，E[·]表示对
Figure FDA0003587635730000023
的平方求期望；λwv为第w个VR视频图块中第v个VR视频数据块系数的方差，即该VR视频数据块的能量值；
步骤S22：经过子载波j进行传输之后，第w个VR视频图块中第v个VR视频数据块的失真可以表示为公式(3)：
Figure FDA0003587635730000024
其中，
Figure FDA0003587635730000025
是原VR视频数据块系数
Figure FDA0003587635730000026
经过线性解码之后得到的VR视频数据块系数，σ2表示信道噪声，hj代表第j个子载波上的信道增益；
对多用户视场重叠的VR视频数据块，需要对用户k在子载波j的上的信道增益进行处理，令
Figure FDA0003587635730000031
则可以得到子载波增益序列{aj}，其中，K表示的是用户数目，
Figure FDA0003587635730000032
表示的是用户k在子载波j上的信道增益；
步骤S23：构建稳健传输系统端到端的视场重叠失真最小化模型的目标函数如公式(4)所示，其约束条件如公式(5)～(8)所示：
Figure FDA0003587635730000033
s.t.μwv＝(gwv)2·λwv≥0， (5)
Figure FDA0003587635730000034
Figure FDA0003587635730000035
Figure FDA0003587635730000036
其中，WK表示用户间视场重叠的VR视频图块的数目，V表示的是每个VR视频图块所包含的数据块数目，J表示总的子载波数目，P是系统总功率；
公式(5)和(6)分别表示的是功率的非负性以及传输功率受系统总功率的约束；公式(7)和(8)表示所述子载波和所述VR视频数据块之间满足一对一匹配关系；bwv,j是一个二进制变量，当第w个VR视频图块中第v个VR视频数据块被分配给子载波j时，bwv,j＝1，否则bwv,j＝0。
4.根据权利要求3 所述的实现VR视频视场重叠失真最小化的稳健传输方法，其特征在于，所述步骤S3：基于子载波匹配方案，计算传输所述VR视频数据块的最优功率分配方案，具体包括：
步骤S31：根据子载波匹配方案{bwv,j},将公式(4)和约束条件(5)～(8)分别简化为公式(9)和公式(10)～(11)：
Figure FDA0003587635730000041
s.t.μwv＝(gwv)2·λwv≥0， (10)
Figure FDA0003587635730000042
其中，
Figure FDA0003587635730000043
是{aj}根据所述子载波匹配方案{bwv,j}进行的重排的子载波增益序列；
步骤S32：对公式(9)～(11)进行优化，是一个凸优化问题，因此利用拉格朗日乘子法进行求解，可以得到线性功率分配因子gwv，如公式(12)所示：
Figure FDA0003587635730000044
其中，
Figure FDA0003587635730000045
步骤S33：将所述公式(12)带入公式(1)，得到稳健传输系统传输所述VR视频数据块的最优功率分配方案，如公式(13)所示：
Figure FDA0003587635730000046
5.根据权利要求1所述的实现VR视频视场重叠失真最小化的稳健传输方法，其特征在于，所述步骤S4：根据所述VR视频数据块的最优功率分配方案，计算所述VR视频数据块分配到的功率，每轮匹配中信道增益最高的一个所述子载波同分配到最高功率的一个所述VR视频数据块进行匹配，进行多轮匹配，直到所有的所述VR视频数据块被分配完毕，从而更新所述子载波匹配方案，具体包括：
步骤41：根据传输所述VR视频数据块的最优功率分配方案，计算所述VR视频数据块分配到的功率，将信道增益最高的一个所述子载波同分配到最高功率的一个所述VR视频数据块进行匹配，二者不再参加后续匹配；
步骤42：重复步骤S41，直到所有的所述VR视频数据块被分配完毕，从而更新所述子载波匹配方案。
6.根据权利要求3 所述的实现VR视频视场重叠失真最小化的稳健传输方法，其特征在于，所述步骤S5：重复步骤S3～S4，迭代计算所述VR视频数据块的最优功率分配方案和所述子载波匹配方案，直至收敛，得到最终所述VR视频数据块的最优功率分配方案和子载波匹配方案，从而实现360°VR视频在稳健传输中的视场重叠失真最小化，具体包括：
步骤51：基于VR视频数据块的能量值序列{λwv}和所述子载波增益序列{aj}，按照降序排列对两者进行一对一匹配，从而得到初始的子载波匹配方案；
步骤52：基于所述子载波匹配方案，执行步骤S3得到初始的最优功率分配方案；基于初始的所述最优功率分配方案执行步骤S4更新子载波匹配方案；
步骤S53：交替迭代步骤S3和S4，不断优化更新所述最优功率分配方案和所述子载波匹配方案，直至前后迭代的结果误差不超过预设的终止条件ε时，终止迭代；此时得到最终的最优功率分配方案和子载波匹配方案，从而最小化360°VR视频在传输中的视场重叠失真。
7.一种实现VR视频视场重叠失真最小化的稳健传输系统，其特征在于，包括下述模块：
视频预处理模块，用于将360°VR视频投影到二维平面上，得到二维VR视频；将所述二维VR视频划分成若干个大小相同的VR视频图块，并对每个所述VR视频图块执行去相关操作，得到去相关的VR视频图块系数；将每个所述去相关的VR视频图块系数划分成若干个大小相同的VR视频数据块系数；
构建视场重叠失真最小化模型模块，用于基于每个所述VR视频数据块的能量值，对多用户视场重叠的VR视频数据块的子载波进行信道增益操作，构建稳健传输系统端到端的视场重叠失真最小化模型；
获取最优功率分配方案模块，用于基于子载波匹配方案，计算传输所述VR视频数据块的最优功率分配方案；
获取子载波匹配策略模块，用于根据所述VR视频数据块的最优功率分配方案，计算所述VR视频数据块分配到的功率，每轮匹配中信道增益最高的一个所述子载波同分配到最高功率的一个所述VR视频数据块进行匹配，进行多轮匹配，直到所有的所述VR视频数据块被分配完毕，从而更新所述子载波匹配方案；
迭代优化模块，用于重复执行获取最优功率分配方案模块和获取子载波匹配策略模块，迭代计算并更新所述VR视频数据块的最优功率分配方案和所述子载波匹配方案，直至收敛，得到最终所述VR视频数据块的最优功率分配方案和子载波匹配方案，从而实现360°VR视频在稳健传输中的视场重叠失真最小化。
CN202210367258.XA 2022-04-08 2022-04-08 一种实现360°vr视频视场重叠失真最小化的稳健传输方法 Active CN114915773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210367258.XA CN114915773B (zh) 2022-04-08 2022-04-08 一种实现360°vr视频视场重叠失真最小化的稳健传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210367258.XA CN114915773B (zh) 2022-04-08 2022-04-08 一种实现360°vr视频视场重叠失真最小化的稳健传输方法

Publications (2)

Publication Number Publication Date
CN114915773A CN114915773A (zh) 2022-08-16
CN114915773B true CN114915773B (zh) 2023-03-07

Family

ID=82762502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210367258.XA Active CN114915773B (zh) 2022-04-08 2022-04-08 一种实现360°vr视频视场重叠失真最小化的稳健传输方法

Country Status (1)

Country Link
CN (1) CN114915773B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414664A (zh) * 2013-06-19 2013-11-27 重庆邮电大学 Lte系统中基于信道预测的二维插值有限反馈方法
CN109792438A (zh) * 2016-09-12 2019-05-21 陈仕东 多入多出信道传输视频的方法及装置
CN112313951A (zh) * 2018-06-28 2021-02-02 苹果公司 低延迟视频编码和传输的速率控制

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971153B2 (en) * 2014-03-29 2018-05-15 Frimory Technologies Ltd. Method and apparatus for displaying video data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414664A (zh) * 2013-06-19 2013-11-27 重庆邮电大学 Lte系统中基于信道预测的二维插值有限反馈方法
CN109792438A (zh) * 2016-09-12 2019-05-21 陈仕东 多入多出信道传输视频的方法及装置
CN112313951A (zh) * 2018-06-28 2021-02-02 苹果公司 低延迟视频编码和传输的速率控制

Also Published As

Publication number Publication date
CN114915773A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
Zhang et al. Adaptive compressed sensing for wireless image sensor networks
CN110535936B (zh) 一种基于深度学习的能量高效雾计算迁移方法
CN112533274B (zh) 一种室内太赫兹bwp和功率调度方法及装置
CN106803958B (zh) 一种基于叠加调制编码的数模混合视频传输方法
CN112995636B (zh) 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN108809383B (zh) 一种用于massive MIMO上行系统信号的联合检测方法
Gui et al. Robust video broadcast for users with heterogeneous resolution in mobile networks
Fujihashi et al. HoloCast: Graph signal processing for graceful point cloud delivery
Basu et al. Enhancing videoconferencing using spatially varying sensing
Liu et al. Resource allocation for uncoded multi-user video transmission over wireless networks
Lan et al. Communication-efficient federated learning for resource-constrained edge devices
Fujihashi et al. Wireless 3D point cloud delivery using deep graph neural networks
CN114915773B (zh) 一种实现360°vr视频视场重叠失真最小化的稳健传输方法
Lan et al. A practical hybrid digital-analog scheme for wireless video transmission
CN106657961A (zh) 立体视频的混合数字-模拟编码
Hagag et al. HyperCast: hyperspectral satellite image broadcasting with band ordering optimization
CN115866253B (zh) 一种基于自调制的通道间变换方法、装置、终端及介质
Yoon et al. An image sequence transmission method in wireless video surveillance systems
Sherwood et al. Efficient image and channel coding for wireless packet networks
JPH09200762A (ja) 映像信号符号化方法及びその装置
CN108347615A (zh) 一种解决屏幕分辨率异构问题的空域可伸缩视频传输方法
CN1122421C (zh) 用于图象信号编码系统的运动矢量估算方法和设备
Mohammed et al. Lossless and reversible colour space transformation for Bayer colour filter array images
CN113422625B (zh) 基于稀疏低秩分解的拓扑干扰管理方法及装置
Babu et al. Effective compressed image transmission through context aware wireless networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant