CN111492660B - 用于有损无线链路的视频编解码器数据恢复技术 - Google Patents

用于有损无线链路的视频编解码器数据恢复技术 Download PDF

Info

Publication number
CN111492660B
CN111492660B CN201880082365.XA CN201880082365A CN111492660B CN 111492660 B CN111492660 B CN 111492660B CN 201880082365 A CN201880082365 A CN 201880082365A CN 111492660 B CN111492660 B CN 111492660B
Authority
CN
China
Prior art keywords
motion vector
transmitter
vector parameters
receiver
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880082365.XA
Other languages
English (en)
Other versions
CN111492660A (zh
Inventor
武玉荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Micro Devices Inc
Original Assignee
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Micro Devices Inc filed Critical Advanced Micro Devices Inc
Publication of CN111492660A publication Critical patent/CN111492660A/zh
Application granted granted Critical
Publication of CN111492660B publication Critical patent/CN111492660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • H04L1/0003—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate by switching between different modulation schemes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0617—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal for beam forming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H04L1/0011—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding applied to payload information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0017—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Television Systems (AREA)

Abstract

公开了用于实现有损无线链路的数据恢复技术的系统、装置和方法。发射器被配置为对视频流进行编码并将所编码的视频流无线传输到接收器，其中所述视频流表示虚拟现实(VR)呈现的环境。所述发射器基于频率将所述视频流划分为多个子流分量。仅计算所述视频流的最低频率子流分量的运动矢量参数，然后使用低MCS级别将所述运动矢量参数发送到所述接收器。当所述接收器接收到所述运动矢量参数，但所述接收器未接收到给定组块的最低频率分量时，所述接收器使用所述运动矢量参数通过从先前视频帧的对应组块外推来重建所述给定组块的所述最低频率分量。

Description

用于有损无线链路的视频编解码器数据恢复技术
背景技术
相关技术描述
无线通信链路可用于将视频流从计算机(或其他设备)发送到虚拟现实(VR)耳机(或头戴式显示器(HMD))。无线传输VR视频流消除了在计算机与佩戴HMD的用户之间建立电缆连接的需求，从而允许用户不受限制地移动。计算机与HMD之间的传统电缆连接通常包括一根或多根数据电缆和一根或多根电力电缆。允许用户在没有电缆系绳且不必意识到要避开电缆的情况下四处移动可以创建一个更加沉浸式的VR系统。无线发送VR视频流还允许VR系统在比以前更广泛范围的应用中使用。
然而，VR应用是低延迟的应用，通常不缓存视频数据。例如，当用户移动其头部时，这由HMD或控制台检测到，然后随后呈现的视频帧被更新以反映用户的新的观察位置。此外，链路的不断变化的状况可能会影响视频质量。当链路恶化和视频数据丢失或损坏时，这可能会导致糟糕的用户体验。因此，用于无线流传输数据的改进的技术是期望的。
附图说明
通过结合附图参考以下具体实施方式，可更好地理解本文所述的方法和机制的优点，在附图中：
图1为系统的一个实施方案的框图。
图2为无线虚拟现实(VR)系统的一个实施方案的框图。
图3为用于一系列视频帧的一组运动矢量的一个实施方案的框图。
图4为从相邻部分外推视频帧的丢失部分的高分辨率版本的一个实施方案的框图。
图5为用于从视频流的低频子流分量生成运动矢量分量的逻辑的一个实施方案的框图。
图6为示出了用于计算和传输视频流的低频分量的运动矢量参数的方法的一个实施方案的一般化流程图。
图7为示出了用于使用视频帧的低频子流分量的运动矢量参数来重建视频帧的丢失的组块的方法的一个实施方案的一般化流程图。
图8为示出了用于将视频帧的低频子流分量的运动矢量参数嵌入波束形成或ACK事务中的方法的一个实施方案的一般化流程图。
图9为示出了用于从相邻块重建视频帧的块的高频分量的方法的一个实施方案的一般化流程图。
图10为示出了用于选择用于传输视频流的MCS级别的方法的一个实施方案的一般化流程图。
具体实施方式
在以下描述中，阐述了许多特定细节以提供对本文呈现的方法和机制的透彻理解。然而，本领域的一般技术人员应当认识到，可在没有这些特定细节的情况下实现各种实施方案。在某些情况下，并未详细示出众所周知的结构、分量、信号、计算机程序指令和技术，以避免混淆本文所述的方法。应当理解，为了使说明清楚简单，附图中所示的元素未必按比例绘制。例如，元素中的一些的尺寸可相对于其他元件被放大。
本文公开了用于实现有损无线链路的数据恢复技术的各种系统、装置、方法和计算机可读介质。在一个实施方案中，无线通信系统包括通过无线链路进行通信的发射器和接收器(例如，头戴式显示器(HMD))。在一个实施方案中，发射器被配置为对视频流进行编码并且将编码的视频流无线传输到接收器。在一个实施方案中，视频流表示虚拟现实(VR)呈现的环境。
在一个实施方案中，当无线传输视频数据时，发射器仅将低分辨率分量传输到接收器。低分辨率分量也可称为低频分量或DC分量。该低分辨率分量利用鲁棒的低的调制编码方案(MCS)级别来传输。因此，在具有挑战性的链路上接收到低分辨率分量的可能性较高。另外，仅计算DC分量的运动估计数据(例如，运动矢量参数)。这使得运动估计数据远小于针对整个原始视频帧计算的运动估计数据。在一个实施方案中，使用比用于低分辨率分量的MCS级别更低的MCS级别(例如，MCS级别0)将运动估计数据传送到接收器。每当使用MCS0与接收器进行通信时(诸如在波束形成期间)，DC分量的运动估计数据被嵌入信号中。当HMD接收到运动估计数据，但HMD未接收到DC分量时，HMD使用运动估计数据来从先前视频帧外推当前DC分量。这使得HMD能够重建丢失的数据组块，不是非常详细，而是粗略地重建，使得用户不会注意到丢失的组块。
由于运动估计数据是从低分辨率分量生成的，这减小了运动估计数据的大小，因此可将该运动估计数据嵌入波束形成事务或确认(ACK)事务中。这些事务通常使用MCS 0来传送，并且对链路状况具有鲁棒性。波束形成和ACK事务在MCS 0发送，因为这使它们有最大的机会被HMD接收。并且，当将运动估计数据嵌入这些事务中时，运动估计数据被HMD接收的可能性很高。替代地，运动估计数据可通过其自己的MCS 0事务发送。在一个实施方案中，如果运动估计数据足够小(即，小于阈值)，则将运动估计数据与其他事务一起发送。
在一个实施方案中，如果运动估计数据丢失，则HMD可执行运动估计数据流外推。例如，如果HMD接收到前两个帧的运动估计数据，并且如果流在某个方向上移动，则HMD沿着检测到的方向外推以重新生成当前帧的丢失的运动估计数据。在该示例中，HMD预测到下一运动矢量将与先前的运动矢量在同一方向上。然后，HMD可从重新生成的运动估计数据中恢复低频分量。
在另一实施方案中，如果一个无线分组丢失，则这通常对应于视频帧的一小部分。例如，如果为整个视频帧发送了1000个分组，则一个分组可占整个帧的0.1％。在重建帧的丢失的组块时，不一定始终以高分辨率重建该小部分。丢失的组块的低分辨率重建通常不会为用户带来明显的缺陷或伪影。但是，如果该组块丢失并使用黑框显示，则用户将注意到视频帧中的这个缺陷。在另一实施方案中，当视频帧的仅一小部分的高分辨率分量丢失时，可利用这些技术来缓解这种情况。如果接收到该小部分的低频分量，并且如果接收到围绕该小部分的高分辨率分量，则HMD可使用相邻的高分辨率分量以及丢失的组块的低分辨率分量进行外推，以重新生成丢失的高分辨率分量。
现在参考图1，示出了系统100的一个实施方案的框图。系统100至少包括可操作为彼此无线通信的第一通信设备(例如，发射器105)和第二通信设备(例如，接收器110)。应注意，接收器110也可将数据和/或确认传输到发射器105。因此，发射器105和接收器110也可称为收发器。在一个实施方案中，发射器105和接收器110在非许可60千兆赫(GHz)频带上进行无线通信。例如，发射器105和接收器110可根据电气和电子工程师学会(IEEE)802.11ad标准(即，WiGig)进行通信。在其他实施方案中，发射器105和接收器110可在其他频带上和/或通过遵守其他无线通信标准进行无线通信。
在诸如60GHz频带的极高频带(EHF)内操作的无线通信设备能够使用相对较小的天线来传输和接收信号。然而，与在较低频带上的传输相比，此类信号经受高的大气衰减。为了降低这种衰减的影响并提高通信范围，EHF设备通常采用波束形成技术。例如，IEEE802.11ad规范详细说明了波束形成训练过程(也称为扇区级扫描(SLS))，在该过程期间，无线站测试并与远程站协商最佳发射和/或接收天线组合。在各种实施方案中，发射器105和接收器110被配置为执行周期性波束形成训练过程，以确定用于无线数据传输的最佳发射和/或接收天线组合。
发射器105和接收器110代表任何类型的通信设备和/或计算设备。例如，在各种实施方案中，发射器105和/或接收器110可以是移动电话、平板电脑、计算机、服务器、电视、游戏控制台、头戴式显示器(HMD)、另一类型的显示器、路由器或其他类型的计算或通信设备。在各种实施方案中，系统100被配置为执行延迟敏感的应用。例如，在一个实施方案中，系统100执行虚拟现实(VR)应用，以用于将所呈现的虚拟环境的帧从发射器105无线传输到接收器110。在其他实施方案中，系统100可实现利用了本文所述的方法和机制的其他类型的延迟敏感的应用。
在一个实施方案中，发射器105至少包括射频(RF)收发器模块125、处理器130、存储器135和天线140。RF收发器模块125被配置为传输和接收RF信号。在一个实施方案中，RF收发器模块125为毫米波收发器模块，其可操作为在60GHz频带中的一个或多个信道上无线地传输和接收信号。RF收发器模块125将基带信号转换成RF信号以用于无线传输，并且RF收发器模块125将RF信号转换成基带信号以用于由发射器105提取数据。应注意，出于说明性目的，RF收发器模块125被示出为单个单元。应当理解，根据实施方案，RF收发器模块125可用任何数量的不同单元(例如，芯片)来实现。类似地，处理器130和存储器135分别代表可实现为发射器105的一部分的任何数量和类型的处理器和存储器设备。
发射器105还包括用于传输和接收RF信号的天线140。天线140表示一个或多个天线，诸如相控阵天线、单元天线、一组切换式波束天线等，它们可被配置为改变无线电信号的传输和接收的方向性。作为示例，天线140包括一个或多个天线阵列，其中天线阵列内的每个天线的振幅或相位可独立于阵列内的其他天线来配置。尽管天线140被示出为在发射器105的外部，但应当理解，在各种实施方案中，天线140可被包括在发射器105的内部。另外，应当理解，发射器105还可包括任何数量的其他部件，它们未示出以避免使附图不清楚。与发射器105类似，在接收器110内实现的部件至少包括RF收发器模块145、处理器150、存储器155和天线160，它们与上面针对发射器105所述的部件类似。应当理解，接收器110还可包括或耦合到其他部件(例如，显示器)。
发射器105与接收器110之间的链路具有随环境变化而波动的容量特性。在各种实施方案中，发射器105被配置为将视频流分成多个子流分量，其中每个子流分量都对应于视频流的单独的频率范围。发射器使用来将视频流分成多个分量的技术可因实施方案而有所变化。在一个实施方案中，发射器利用连续压缩来将视频流分成较低质量子流和一个或多个连续较高质量子流。较高质量子流的数量可根据实施方案而变化。每个较高质量子流都将需要成功接收所有较低质量子流，以便成功解码。较高质量子流实际上是对较低质量子流的渐进式增强。应注意，“较低质量”子流也可称为“较低频率”子流。类似地，“较高质量”子流也可称为“较高频率”子流。还应注意，相对于上述术语，术语“子流”也可与“分量”、“流”、“元素”或“子集比特流”互换使用。
发射器105可将子流分量分别发送到接收器110，并且可针对不同的子流分量利用不同的调制编码方案(MCS)级别。在一个实施方案中，发射器105利用相对低的MCS级别来发送视频流的最低频率子流分量，以帮助提高接收器100接收到该最低频率子流分量的可能性。
然而，在某些情况下，由于糟糕的信道条件，即使视频流的最低频率子流分量也可能在传输期间丢失。因此，为了减轻这种情况，发射器105被配置为仅从最低频率子流分量计算运动估计数据(例如，运动矢量参数)，然后使用低的鲁棒的MCS级别将该运动估计数据发送到接收器110。在一个实施方案中，发射器105将某一MCS级别用于运动估计数据，该MCS级别低于用于最低频率子流分量的MCS级别。由于仅从最低频率子流分量计算运动估计数据，因此运动估计数据趋于变小。在一个实施方案中，如果运动估计数据的大小小于阈值，则将运动估计数据嵌入波束形成或确认(ACK)事务中。通常使用MCS级别0来发送波束形成事务，这提高了正确接收事务的可能性。
可利用各种技术中的任一种来仅针对最低频率子流分量生成运动估计数据。例如，在一个实施方案中，运动估计数据可包括用于视频帧的全局运动矢量和用于视频帧的部分的局部运动矢量。全局运动一般描述整个视频帧的运动，诸如由相机摇摄、俯仰、放大或缩小、旋转或其他操作引起的运动。如本文所用，术语“运动矢量”被定义为二维矢量，其指定从给定视频帧的至少一部分的坐标到该部分在参考帧中的坐标的偏移。例如，在一个实施方案中，局部运动矢量被表示为一组x和y坐标，其表示两个视频帧之间的块(例如，宏块)的水平运动和垂直运动。
在一个实施方案中，如果接收器110未接收到给定视频帧的给定组块的最低频率子流分量，但接收器110接收到该最低频率子流分量的运动估计数据，则接收器110利用该运动估计数据通过从先前视频帧中的对应组块外推来重建给定组块。这允许接收器110重建给定组块，尽管其质量较低。然而，由于在当前帧之后不久将显示新的帧，因此用户不太可能注意到较低质量的组块中的任何伪影。重建给定组块是比将给定组块留空更好的解决方案，因为将给定组块留空会在显示给用户的视频帧中造成更明显的缺陷。如本文所用，术语“外推”被定义为通过从已知数据的趋势中推断出未知值来扩展值的范围。
在一个实施方案中，如果运动估计数据丢失，则接收器110执行运动矢量流外推。例如，如果接收器110接收到前两个帧的运动估计数据，并且如果流在某个方向上移动，则接收器110沿着检测到的方向外推以重新生成当前帧的丢失的运动估计数据。在该示例中，接收器110预测到下一运动矢量将与先前的运动矢量在同一方向上。然后，接收器110可从重新生成的运动估计数据中恢复低频子流分量。
在另一实施方案中，如果一个无线分组丢失，则这通常对应于视频帧的一小部分。在该实施方案中，当视频帧的一小部分丢失时，接收器110重建视频帧的该部分。在重建帧的丢失的组块时，不一定需要以高分辨率重建该小部分。这种低分辨率重建通常不会为用户带来明显的缺陷或伪影。但是，如果该组块丢失并使用黑框显示，则用户可能会注意到视频帧中的这个缺陷。如果接收到视频帧的组块的低频分量，并且如果接收到围绕该小部分的高分辨率分量，则接收器110可使用相邻的高分辨率分量以及丢失的组块的低分辨率分量来重新生成丢失的高分辨率分量。
现在转向图2，示出了无线虚拟现实(VR)系统200的一个实施方案的框图。系统200至少包括计算机210和头戴式显示器(HMD)220。计算机210代表任何类型的计算设备，其包括一个或多个处理器、存储器设备、输入/输出(I/O)设备、RF部件、天线以及指示个人计算机或其他计算设备的其他部件。在其他实施方案中，除个人计算机之外，还可利用其他计算设备来将视频数据无线发送到头戴式显示器(HMD)220。例如，计算机210可以是游戏控制台、智能电话、机顶盒、电视、视频流设备、可穿戴设备、主题公园游乐设施的部件等等。
计算机210和HMD 220各自包括用于进行无线通信的电路和/或部件。应当理解，虽然计算机210被示出为具有外部天线，但这仅仅是为了说明视频数据是无线发送的。应当理解，计算机210可具有在计算机210的外壳内部的天线。另外，虽然可使用有线电源连接来为计算机210供电，但HMD 220通常由电池供电。替代地，计算机210可以是由电池供电的膝上型计算机。
在一个实施方案中，计算机210包括被配置为动态地呈现VR环境的表示以便呈现给佩戴HMD 220的用户的电路。例如，在一个实施方案中，计算机210包括一个或多个图形处理单元(GPU)以呈现VR环境。在其他实施方案中，计算机210可以包括其他类型的处理器，包括中央处理单元(CPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他处理器类型。HMD 220包括用于接收和解码由计算机210发送的压缩比特流以生成所呈现的VR环境的帧的电路。然后，HMD 220将生成的帧驱动到集成在HMD 220内的显示器。
在呈现虚拟环境视频流的帧之后，计算机210的视频编码器将所呈现的帧分成N个分量。然后可将N个分量中的每一个分别发送到HMD 220。N个分量中的每一个都以不同的频率、比特率、质量和/或分辨率表示视频。在一个实施方案中，对每个所呈现的帧进行多次处理以产生单独的较低质量/比特率的流和较高质量/比特率的流，其中较高质量的流是较低质量的流的派生。该过程为逐次逼近法，其并不限于两个较低/较高质量的流，而是也可用于生成具有不同质量/比特率的N个流。在一个实施方案中，以第一压缩比处理所呈现的帧以产生较低比特率的流。在该实施方案中，以第二较低压缩比从较低比特率的流和原始流的增量产生较高比特率的流。
在一个实施方案中，视频编码器基于频率将所呈现的视频帧分成多个分量。然后，视频编码器从视频帧的最低频率分量生成运动估计数据(例如，运动矢量场)。然后，媒体访问控制(MAC)层单元选择鲁棒的调制编码方案(MCS)级别，以用于调制运动估计数据并将其通过无线链路发送到HMD 220。应注意，“MCS级别”也可称为“MCS索引”。
例如，在一个实施方案中，使用MCS级别0来调制运动估计数据并将其发送到HMD220。MCS级别0使用二进制相移键控(BPSK)来每个符号编码单个比特，并且与较不可靠的MCS相比，MCS级别0是鲁棒的调制，因为其需要更多的噪声或失真才能使解调器做出错误的决定。MCS级别0以较低的传输速率为代价提供保护以免出现信道误差。其他MCS级别利用其他类型的调制。例如，MCS级别2使用正交相移键控(QPSK)调制，MCS级别4使用16正交幅度调制(QAM)，并且MCS级别7使用64-QAM。一般来讲，随着MCS级别的增加，比特率增加，而信号的弹性下降。换句话讲，在相对较低的MCS级别下实现了较高的弹性和较低的数据速率，而在相对较高的MCS级别下实现了较低的弹性和较高的数据速率。
在一个实施方案中，如果HMD 220未接收到给定视频帧的给定组块的最低频率子流分量，但HMD 220接收到该最低频率子流分量的运动估计数据，则HMD 220利用该运动估计数据以通过从先前视频帧中的对应组块外推来重建给定组块。这允许HMD 220重建给定组块，尽管质量较低。然而，由于此后不久将显示新的帧，因此用户不太可能注意到较低质量的组块中的任何伪影。重建给定组块是比将给定组块留空更好的解决方案，因为将给定组块留空会在显示给用户的视频帧中造成更明显的缺陷。
现在参考图3，示出了用于一系列视频帧305A-D的一组运动矢量315A-C的一个实施方案的框图。帧305A-D表示视频序列的连续帧。框310A表示帧305A内的各个像素块。框310A也可称为宏块。箭头315A表示随着视频序列从帧305A移动到305B，框310A内的图像的已知运动。箭头315A所示出的已知运动可通过运动矢量来定义。应注意，尽管运动矢量315A-C指向后续帧中的框310的运动方向，但在另一个实施方案中，可将运动矢量定义为指向与图像的运动相反的方向。例如，在一些压缩标准中，与宏块相关联的运动矢量指向参考帧中的该块的源。
在一个实施方案中，可使用运动矢量315A-C来在后续帧中跟踪框310B-D。例如，运动矢量315A指示帧305B中的框310B与帧305A中的框310A相比的位置变化。类似地，运动矢量315B指示帧310C中的框310C与帧305B中的框310B相比的位置变化。另外，运动矢量315C指示帧310D中的框310D与帧305C中的框310C相比的位置变化。在另一个实施方案中，可定义运动矢量以跟踪块从给定帧回到先前帧的反向运动。
如果接收器(例如，图2的HMD 220)未接收到给定运动矢量分量(例如，运动矢量315C)，则该接收器被配置为执行运动矢量流外推以重新生成丢失的运动矢量分量。例如，如果接收器接收到运动矢量315A-B，并且如果流在某个方向上移动，则接收器沿着检测到的方向外推以重新生成丢失的运动矢量分量315C。因此，接收器预测到运动矢量分量315C将与先前的运动矢量分量315A-B在同一方向上。然后，接收器可从重新生成的运动矢量分量315C恢复帧305D的低频子流分量。
现在转向图4，示出了从相邻部分外推视频帧405的丢失部分的高分辨率版本的一个实施方案的框图。在一个实施方案中，视频帧405表示通过无线链路从发射器无线发送到接收器(例如，HMD)的视频帧。在一个实施方案中，视频帧405从发射器一次发送一部分到接收器。在图4中示出视频帧405的一小部分区域，其中该小部分区域由部分415A-I组成，这些部分中的每一个都分别从发射器发送到接收器。在一个实施方案中，所接收的视频帧405的每个部分415A-I都分成多个子流分量，并且每个子流分量被分别发送到接收器。例如，在一个实施方案中，每个部分415A-I都分成高分辨率(HR)分量和低分辨率(LR)分量，并且HR分量和LR分量被分别发送到接收器。应注意，HR分量也可称为高频分量，并且LR分量也可称为低频分量。在其他实施方案中，每个部分415A-I都可分成表示原始部分的不同频率范围的其他数量的子流分量。如果未接收到给定部分的HR分量，则接收器被配置为通过从相邻部分的HR分量外推来重建给定部分的HR分量。
部分415A-D和部分415F-I的HR标签指示接收到视频帧405的这些部分的高分辨率分量。部分415E的标签LR指示仅接收到视频帧405的该部分的低分辨率分量。因此，基于未接收到部分415E的高分辨率分量，接收器被配置为通过从相邻部分415A-D和415F-I的HR分量外推来重建部分415E的HR分量。
现在参考图5，示出了用于从视频流的低频子流分量生成运动矢量分量的逻辑500的一个实施方案的框图。在一个实施方案中，发射器(例如，图2的计算机210)的视频编码器(即，编解码器)接收源视频数据505，并且提取单元510将源视频数据505分成多个子集比特流515A-N。子集比特流515A-N的数量可因实施方案而有所变化。不同的子集比特流515A-N分别从发射器发送到接收器。第一子集比特流515A包括视频帧的低频分量。应注意，视频帧的低频分量也可称为视频帧的低分辨率分量。
在一个实施方案中，分析连续视频帧的第一子集比特流515A和第一子集比特流525A。例如，将先前帧的第一子集比特流525A和当前帧的第一子集比特流515A提供给比较单元530。在其他实施方案中，可将多个先前帧的第一子集比特流提供给比较单元530。比较单元530被配置为基于背对背的第一子集比特流525A和515A的比较来生成运动矢量分量535。然后，使用低的鲁棒的MCS级别(例如，MCS级别0)将该运动矢量分量535发送到接收器。通过利用低的鲁棒的MCS级别发送运动矢量分量535，即使在具有挑战性的链路状况期间，发射器也提高了接收器将接收到运动矢量分量535的可能性。如果接收器未接收到给定帧的任何子集比特流515A-N，但接收器接收到给定帧的低频分量的运动矢量分量535，则接收器从运动矢量分量535重建给定帧的低频分量。
现在转向图6，示出了用于计算和传输视频流的低频分量的运动矢量参数的方法600的一个实施方案。为了讨论的目的，该实施方案中的步骤以及图7至图10的步骤按照依次顺序显示。然而，应注意，在所描述的方法的各种实施方案中，所描述的元素中的一个或多个以与所示不同的顺序并发地执行，或者整个被省略。也可根据需要执行其他附加元素。本文所述的各种系统或装置中的任一个都被配置为实现方法600。
发射器将视频流分成多个子流分量(框605)。例如，发射器将视频流分成N个子流分量，其中第一子流分量包括视频流的最高频率分量，第二子流分量包括次高范围的频率分量，依此类推，其中第N个子流分量包括视频流的最低频率分量。接下来，发射器计算视频流的仅最低频率子流分量的运动矢量参数(框610)。运动矢量参数可包括与最低频率子流分量的部分相关联的全局运动矢量和/或局部运动矢量。然后，发射器使用第一调制编码方案(MCS)级别将运动矢量参数发送到接收器，其中第一MCS级别小于阈值(框615)。在一个实施方案中，阈值为一，并且发射器使用MCS级别0发送运动矢量。在其他实施方案中，阈值可为其他值。通过使用低MCS级别发送运动矢量，发射器提高接收器接收到运动矢量的可能性。在框615之后，方法600结束。
现在参考图7，示出了用于使用视频帧的低频子流分量的运动矢量参数来重建视频帧的丢失的组块的方法700的一个实施方案。接收器接收视频帧的低频子流分量的运动矢量参数，而不接收视频帧的给定组块的低频子流分量(框705)。接收器没有请求重新发送给定组块的低频分量，而是通过基于所接收的运动矢量参数从先前视频帧的对应组块外推来重建视频流的给定组块(框710)。如果接收器请求重新发送给定组块，则在发送请求和等待接收给定组块的过程中所涉及的延迟可能会导致给定组块不可用，因为此时可能会显示新的帧。然后，接收器将具有重建的给定组块的视频帧驱动到显示器(框715)。在框715之后，方法700结束。通过使用运动矢量参数重建给定组块，接收器能够在满足延迟要求的同时显示视频帧的给定组块的重建版本。
现在转向图8，示出了用于将视频帧的低频子流分量的运动矢量参数嵌入波束形成或ACK事务中的方法800的一个实施方案。发射器基于频率将视频帧分成多个分量(框805)。接下来，发射器基于当前视频帧的低频分量与先前视频帧的低频分量的比较来从低频分量生成运动矢量参数(框810)。然后，如果运动矢量参数的数据量小于阈值(条件框815，“是”分支)，则发射器将运动矢量参数嵌入波束形成或确认(ACK)事务中(框820)。如果运动矢量参数的数据量大于或等于阈值(条件框815，“否”分支)，则发射器在单独的事务中发送运动矢量参数(框825)。在框820和825之后，方法800结束。应注意，可针对视频序列的每个帧重复方法800。
现在参考图9，示出了用于从相邻块重建视频帧的块的高频分量的方法900的一个实施方案。接收器仅接收视频帧的给定块的低频分量，而不接收给定块的其他频率分量(框905)。接收器通过从视频帧的相邻块的高频分量外推来重建给定块的丢失的高频分量(框910)。在框910之后，方法900结束。
现在转向图10，示出了用于选择用于传输视频流的MCS级别的方法1000的一个实施方案。视频编码器将视频流分成至少包括低频子流分量的多个子流分量(框1005)。视频编码器仅从低频子流分量生成运动矢量参数(框1010)。发射器使用第一MCS级别传输低频子流分量的运动矢量参数(框1015)。在一个实施方案中，第一MCS级别为MCS级别0。通过使用低的鲁棒的MCS级别传输运动矢量，发射器提高了接收器将接收到低频子流分量的运动矢量参数的可能性。另外，发射器使用第二MCS级别传输低频子流分量，其中第一MCS级别低于第二MCS级别(框1020)。在框1020之后，方法1000结束。应注意，发射器还可使用用于基于期望的鲁棒性级别将子流分量映射到适当的MCS级别的任何合适的方案而利用不同的MCS级别来发送其他子流分量。
在各种实施方案中，使用软件应用程序的程序指令来实现本文描述的方法和/或机制。例如，设想了可由通用或专用处理器执行的程序指令。在各种实施方案中，此类程序指令可通过高级编程语言来表示。在其他实施方案中，程序指令可从高级编程语言编译成二进制、中间或其他形式。替代地，可编写描述硬件行为或设计的程序指令。此类程序指令可通过诸如C的高级编程语言来表示。替代地，可使用诸如Verilog的硬件设计语言(HDL)。在各种实施方案中，程序指令存储在各种非暂时性计算机可读存储介质中的任一个上。在使用期间，计算系统可访问存储介质，以将程序指令提供给计算系统以执行程序。一般来讲，此类计算系统包括至少一个或多个存储器和被配置为执行程序指令的一个或多个处理器。
应该强调的是，上述实施方案仅仅是实施方式的非限制性示例。一旦充分理解上述公开内容，许多变化和修改对于本领域的技术人员将变得显而易见。意图将所附权利要求书解释为包含所有此类变化和修改。

Claims (17)

1.一种系统，其包括：
发射器；和
接收器；
其中所述发射器被配置为：
将视频流划分为与所述视频流的不同频率范围相对应的多个子流分量；
计算所述视频流的最低频率子流分量的运动矢量参数；
利用第一调制编码方案MCS级别将所述运动矢量参数发送到所述接收器，其中所述第一MCS级别小于第一阈值；
利用第二MCS级别发送所述最低频率子流分量，其中所述第一MCS级别低于所述第二MCS级别。
2.如权利要求1所述的系统，其中响应于未接收到视频帧的给定组块的给定最低频率子流分量，所述接收器被配置为通过基于接收到的运动矢量参数从先前视频帧的对应组块的最低频率子流分量外推来重建所述给定组块的所述给定最低频率子流分量。
3.如权利要求1所述的系统，其中响应于未接收到一组给定运动矢量参数，所述接收器被配置为通过从一组或多组先前运动矢量参数外推来重新生成所述一组给定运动矢量参数。
4.如权利要求1所述的系统，其中所述发射器被配置为将所述运动矢量参数嵌入波束形成事务中。
5.如权利要求4所述的系统，其中所述发射器被配置为如果所述运动矢量参数的数据量小于第二阈值，则将所述运动矢量参数嵌入所述波束形成事务中。
6.如权利要求1所述的系统，其中所述系统被配置为将所述运动矢量嵌入确认事务中。
7.一种方法，其包括：
将视频流划分为与所述视频流的不同频率范围相对应的多个子流分量；
计算所述视频流的最低频率子流分量的运动矢量参数；
利用第一调制编码方案MCS级别将所述运动矢量参数发送到接收器，其中所述第一MCS级别小于第一阈值；以及
利用第二MCS级别发送所述最低频率子流分量，其中所述第一MCS级别低于所述第二MCS级别。
8.如权利要求7所述的方法，其中响应于未接收到视频帧的给定组块的给定最低频率子流分量，所述方法还包括通过基于接收到的运动矢量参数从先前视频帧的对应组块的最低频率子流分量外推来重建所述给定组块的所述给定最低频率子流分量。
9.如权利要求7所述的方法，其中响应于未接收到一组给定运动矢量参数，所述方法还包括通过从一组或多组先前运动矢量参数外推来重新生成所述一组给定运动矢量参数。
10.如权利要求7所述的方法，其还包括将所述运动矢量参数嵌入波束形成事务中。
11.如权利要求10所述的方法，其还包括如果所述运动矢量参数的数据量小于第二阈值，则将所述运动矢量参数嵌入所述波束形成事务中。
12.如权利要求7所述的方法，其还包括将所述运动矢量嵌入确认事务中。
13.一种发射器，其包括：
处理单元；和
存储器；
其中所述发射器被配置为：
将视频流划分为与所述视频流的不同频率范围相对应的多个子流分量；
计算所述视频流的最低频率子流分量的运动矢量参数；
利用第一调制编码方案MCS级别将所述运动矢量参数发送到接收器，其中所述第一MCS级别小于第一阈值；以及
利用第二MCS级别发送所述最低频率子流分量，其中所述第一MCS级别低于所述第二MCS级。
14.如权利要求13所述的发射器，其中所述第一MCS级别为零。
15.如权利要求13所述的发射器，其中所述发射器被配置为将所述运动矢量参数嵌入波束形成事务中。
16.如权利要求15所述的发射器，其中所述发射器被配置为如果所述运动矢量参数的数据量小于第二阈值，则将所述运动矢量参数嵌入所述波束形成事务中。
17.如权利要求13所述的发射器，其中所述发射器被配置为将所述运动矢量嵌入确认事务中。
CN201880082365.XA 2017-12-22 2018-09-24 用于有损无线链路的视频编解码器数据恢复技术 Active CN111492660B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/852,833 2017-12-22
US15/852,833 US10938503B2 (en) 2017-12-22 2017-12-22 Video codec data recovery techniques for lossy wireless links
PCT/US2018/052373 WO2019125567A1 (en) 2017-12-22 2018-09-24 Video codec data recovery techniques for lossy wireless links

Publications (2)

Publication Number Publication Date
CN111492660A CN111492660A (zh) 2020-08-04
CN111492660B true CN111492660B (zh) 2024-04-02

Family

ID=63966084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880082365.XA Active CN111492660B (zh) 2017-12-22 2018-09-24 用于有损无线链路的视频编解码器数据恢复技术

Country Status (6)

Country Link
US (1) US10938503B2 (zh)
EP (1) EP3729809B1 (zh)
JP (2) JP7257400B2 (zh)
KR (1) KR102425410B1 (zh)
CN (1) CN111492660B (zh)
WO (1) WO2019125567A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10914957B1 (en) 2017-05-30 2021-02-09 Apple Inc. Video compression methods and apparatus
US10680927B2 (en) 2017-08-25 2020-06-09 Advanced Micro Devices, Inc. Adaptive beam assessment to predict available link bandwidth
US11140368B2 (en) * 2017-08-25 2021-10-05 Advanced Micro Devices, Inc. Custom beamforming during a vertical blanking interval
US11539908B2 (en) 2017-09-29 2022-12-27 Advanced Micro Devices, Inc. Adjustable modulation coding scheme to increase video stream robustness
US10871559B2 (en) 2017-09-29 2020-12-22 Advanced Micro Devices, Inc. Dual purpose millimeter wave frequency band transmitter
US11398856B2 (en) 2017-12-05 2022-07-26 Advanced Micro Devices, Inc. Beamforming techniques to choose transceivers in a wireless mesh network
WO2019183903A1 (zh) 2018-03-29 2019-10-03 Oppo广东移动通信有限公司 用于传输数据的方法和终端设备
TWI669023B (zh) * 2018-07-17 2019-08-11 明泰科技股份有限公司 雲端無線存取網路系統及其控制方法
US11695977B2 (en) * 2018-09-28 2023-07-04 Apple Inc. Electronic device content provisioning adjustments based on wireless communication channel bandwidth condition
CN110972202B (zh) 2018-09-28 2023-09-01 苹果公司 基于无线通信信道带宽条件的移动设备内容提供调节
US10959111B2 (en) 2019-02-28 2021-03-23 Advanced Micro Devices, Inc. Virtual reality beamforming
US11984952B2 (en) * 2019-08-06 2024-05-14 Sony Group Corporation Communication devices and methods
US11363247B2 (en) * 2020-02-14 2022-06-14 Valve Corporation Motion smoothing in a distributed system
US11699408B2 (en) 2020-12-22 2023-07-11 Ati Technologies Ulc Performing asynchronous memory clock changes on multi-display systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685731A (zh) * 2002-09-27 2005-10-19 皇家飞利浦电子股份有限公司 可分级视频编码
WO2009156366A1 (en) * 2008-06-25 2009-12-30 Telefonaktiebolaget L M Ericsson (Publ) Multiple description coding based method, system, and receiver for wireless video broadcasting
CN101656825A (zh) * 2008-08-19 2010-02-24 美国博通公司 一种信号处理的方法及系统
WO2011087905A1 (en) * 2010-01-12 2011-07-21 Quantenna Communications, Inc. Quality of service and rate selection
US8457026B1 (en) * 2009-02-03 2013-06-04 Sibeam, Inc. Enhanced wireless data rates using multiple beams

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3195926B2 (ja) 1991-02-08 2001-08-06 フバ オートモティブ ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディッド ゲセルシャフト 自動車テレビジョン信号受信における受信妨害を除去するためのアンテナダイバーシチ受信装置
JPH08172630A (ja) * 1994-12-16 1996-07-02 Matsushita Electric Ind Co Ltd 動画像符号化装置
US5860056A (en) 1995-01-19 1999-01-12 Uniden America Corporation Satellite information update system
JP3415319B2 (ja) * 1995-03-10 2003-06-09 株式会社東芝 動画像符号化装置及び動画像符号化方法
US5818543A (en) 1995-09-06 1998-10-06 Premier Wireless, Inc. Diversity receiver for television
US6414960B1 (en) 1998-12-29 2002-07-02 International Business Machines Corp. Apparatus and method of in-service audio/video synchronization testing
US20030072376A1 (en) 2001-10-12 2003-04-17 Koninklijke Philips Electronics N.V. Transmission of video using variable rate modulation
US20040204103A1 (en) 2002-03-18 2004-10-14 Rouphael Antoine J. Adaptive beamforming in a wireless communication system
US7542446B2 (en) 2002-07-31 2009-06-02 Mitsubishi Electric Research Laboratories, Inc. Space time transmit diversity with subgroup rate control and subgroup antenna selection in multi-input multi-output communications systems
US20040081238A1 (en) * 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
EP1455534A1 (en) * 2003-03-03 2004-09-08 Thomson Licensing S.A. Scalable encoding and decoding of interlaced digital video data
EP1702554B1 (en) 2004-01-07 2013-04-24 Olympus Corporation Receiving apparatus
JP2005236816A (ja) 2004-02-20 2005-09-02 Pioneer Electronic Corp テレビ受信機およびダイバーシティ受信方法
AU2005267169A1 (en) * 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
US20060212911A1 (en) 2005-03-15 2006-09-21 Radiospire Networks, Inc. System, method and apparatus for wireless delivery of analog media from a media source to a media sink
US20060209890A1 (en) 2005-03-15 2006-09-21 Radiospire Networks, Inc. System, method and apparatus for placing training information within a digital media frame for wireless transmission
US20060209892A1 (en) 2005-03-15 2006-09-21 Radiospire Networks, Inc. System, method and apparatus for wirelessly providing a display data channel between a generalized content source and a generalized content sink
US7479981B2 (en) 2005-06-20 2009-01-20 Microsoft Corporation Testing a vertical blanking interval signal
US8365238B2 (en) 2006-01-06 2013-01-29 Amimon Ltd Method and apparatus for using the video blanking period for the maintenance of a modem that is used for wireless transmission of video
DE602006011422D1 (zh) 2006-02-15 2010-02-11 Sony Deutschland Gmbh
US7881258B2 (en) 2006-03-22 2011-02-01 Sibeam, Inc. Mechanism for streaming media data over wideband wireless networks
US8698812B2 (en) 2006-08-04 2014-04-15 Ati Technologies Ulc Video display mode control
KR100842544B1 (ko) 2006-09-11 2008-07-01 삼성전자주식회사 스케일러블 영상 코딩을 이용한 전송 방법 및 이를 이용한이동통신 시스템
US8300563B2 (en) 2006-09-29 2012-10-30 Intel Corporation Aggregated transmission in WLAN systems with FEC MPDUs
AU2007333037A1 (en) * 2006-12-13 2008-06-19 Viasat, Inc. ACM aware encoding systems and methods
US8578432B2 (en) 2007-12-07 2013-11-05 Cisco Technology, Inc. Policy control over switched delivery networks
US8265171B2 (en) * 2008-02-26 2012-09-11 Richwave Technology Corp. Error resilient video transmission using instantaneous receiver feedback and channel quality adaptive packet retransmission
DE102008029353A1 (de) * 2008-06-20 2009-12-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zum Zuweisen und Schätzen von Übertragungssymbolen
US8478204B2 (en) 2008-07-14 2013-07-02 Samsung Electronics Co., Ltd. System and method for antenna training of beamforming vectors having reuse of directional information
US8374254B2 (en) 2008-12-15 2013-02-12 Sony Mobile Communications Ab Multimedia stream combining
US8422961B2 (en) 2009-02-23 2013-04-16 Nokia Corporation Beamforming training for functionally-limited apparatuses
US10165286B2 (en) 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
JP2011059351A (ja) 2009-09-09 2011-03-24 Toshiba Corp 映像信号処理装置および映像信号処理方法
WO2011032274A1 (en) * 2009-09-15 2011-03-24 Nortel Networks Limited Adaptive modulation and coding scheme adjustment in wireless networks
US9264992B2 (en) 2009-09-22 2016-02-16 Samsung Electronics Co., Ltd. Method and system for announcement time of idle timeout for power saving operations in wireless networks
US9048993B2 (en) 2009-12-18 2015-06-02 Qualcomm Incorporated Wireless communication channel blanking
FR2960320B1 (fr) 2010-05-21 2012-05-04 Canon Kk Procede de gestion d'une transmission de donnees depuis un dispositif emetteur, produit programme d'ordinateur, moyen de stockage et dispositif emetteur correspondants
US9973848B2 (en) 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US10209771B2 (en) 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US10051643B2 (en) 2011-08-17 2018-08-14 Skyline Partners Technology Llc Radio with interference measurement during a blanking interval
US8730328B2 (en) 2011-10-06 2014-05-20 Qualcomm Incorporated Frame buffer format detection
KR101872977B1 (ko) 2011-11-09 2018-07-03 삼성전자주식회사 빔 포밍 링크를 생성하는 통신 기기 및 빔 포밍 링크 생성 방법
US8971438B2 (en) 2012-07-09 2015-03-03 Qualcomm Incorporated Methods and apparatus for simplified beamforming
US9591513B2 (en) 2012-08-06 2017-03-07 Vid Scale, Inc. Rate adaptation using network signaling
US9001879B2 (en) 2012-11-08 2015-04-07 Intel Corporation Apparatus, system and method of beam selection for beamformed diversity wireless communication
JP6190889B2 (ja) 2012-11-09 2017-08-30 インターデイジタル パテント ホールディングス インコーポレイテッド ビーム形成方法およびビームを使用するための方法
US9472844B2 (en) * 2013-03-12 2016-10-18 Intel Corporation Apparatus, system and method of wireless beamformed communication
US9780910B2 (en) 2013-03-14 2017-10-03 Harris Corporation Systems and methods for multiple stream encoded digital video
US20140368667A1 (en) 2013-06-14 2014-12-18 Intel Corporation Apparatus, system, and method for n-phase data mapping
US8976220B2 (en) 2013-07-05 2015-03-10 Sorenson Communications, Inc. Devices and methods for hosting a video call between a plurality of endpoints
US10291503B2 (en) 2013-09-26 2019-05-14 Taiwan Semiconductor Manufacturing Co., Ltd. File block placement in a distributed network
US10341208B2 (en) 2013-09-26 2019-07-02 Taiwan Semiconductor Manufacturing Co., Ltd. File block placement in a distributed network
US10205954B2 (en) * 2013-10-23 2019-02-12 Qualcomm Incorporated Carriage of video coding standard extension bitstream data using MPEG-2 systems
US9860091B2 (en) 2014-01-30 2018-01-02 Telefonaktiebolaget Lm Ericsson (Publ) Table design for 256 quadrature amplitude modulation
JP6397243B2 (ja) * 2014-07-22 2018-09-26 キヤノン株式会社 表示装置、制御方法、及びプログラム
CN106464415B (zh) 2014-08-18 2019-01-04 松下电器产业株式会社 多输入多输出训练方法及无线装置
US9786985B2 (en) 2014-08-27 2017-10-10 Intel IP Corporation Apparatus, system and method of beamforming training
US9799954B2 (en) 2014-08-29 2017-10-24 Advanced Micro Devices, Inc. Apparatus with multi-directional radiation capability using multiple antenna elements
US9712221B2 (en) 2014-10-10 2017-07-18 Intel Corporation Apparatus, system and method of beamforming
JP6481339B2 (ja) 2014-11-12 2019-03-13 富士ゼロックス株式会社 帯域幅予測装置、帯域幅予測システム、帯域幅予測プログラム、帯域幅予測方法、及び記録媒体
US9753118B2 (en) 2014-11-25 2017-09-05 Qualcomm Incorporated Technique for obtaining the rotation of a wireless device
US9913167B2 (en) 2015-02-02 2018-03-06 Accelerated Media Technologies, Inc. Systems and methods for assigning bit rate
US20160301770A1 (en) 2015-04-10 2016-10-13 Facebook, Inc. Systems and methods for predicting bandwidth to optimize user experience
US9716537B2 (en) 2015-04-23 2017-07-25 Nitero Pty Ltd Automatic antenna sector-level sweep in an IEEE 802.11ad system
US9871642B2 (en) 2015-06-25 2018-01-16 Telefonaktiebolaget Lm Ericsson (Publ) Enabling higher-order modulation in a cellular network
US9450620B1 (en) 2015-06-25 2016-09-20 Nitero Pty Ltd. Fast indirect antenna control
CN105898799B (zh) 2015-10-30 2019-04-30 法法汽车(中国)有限公司 基于信号强度的移动网络的多链路带宽分配方法及装置
CN108141272B (zh) 2015-11-05 2021-06-15 苹果公司 基站装置、无线终端装置和无线通信方法
US10312980B2 (en) 2015-11-06 2019-06-04 Futurewei Technologies, Inc. Method and apparatus for multiuser MIMO beamforming training
US10027393B2 (en) 2015-12-23 2018-07-17 Intel IP Corporation Beamform training and operation for multiple single-input single-output links
US10411776B2 (en) 2016-01-14 2019-09-10 Qualcomm Incorporated Beamforming training using multiple-input and multiple-output transmission scheme
US20170222704A1 (en) 2016-02-02 2017-08-03 Qualcomm Incorporated Beamforming for line of sight (los) link
US10141994B2 (en) 2016-03-10 2018-11-27 Qualcomm Incorporated Technique for reducing responding sector sweep time for millimeter-wave devices
US20180062719A1 (en) 2016-08-26 2018-03-01 Qualcomm Incorporated Modalities to trigger air-interface beamforming in virtual reality use cases
CN109792438B (zh) 2016-09-12 2022-01-11 陈仕东 多入多出信道传输视频的方法及装置
US10613211B2 (en) 2016-09-15 2020-04-07 Avago Technologies International Sales Pte. Limited Virtual angle-of-arrival/angle-of-departure tracking
US20180123901A1 (en) 2016-10-31 2018-05-03 Level 3 Communication, Llc Distributed calculation of customer bandwidth utilization models
US10855550B2 (en) 2016-11-16 2020-12-01 Cisco Technology, Inc. Network traffic prediction using long short term memory neural networks
US10498418B2 (en) 2017-01-11 2019-12-03 Qualcomm Incorporated Fragmented beamforming for wireless devices
US10448303B2 (en) 2017-01-12 2019-10-15 Qualcomm Incorporated Beamforming triggering for wireless devices
US11228348B2 (en) 2017-01-13 2022-01-18 Qualcomm Incorporated Efficient beamforming technique
US10848218B2 (en) 2017-02-06 2020-11-24 Qualcomm Incorporated Fast beam refinement phase for periodic beamforming training
US11240682B2 (en) 2017-02-14 2022-02-01 Qualcomm Incorporated Split sector level sweep using beamforming refinement frames
US10523295B2 (en) 2017-02-28 2019-12-31 Qualcomm Incorporated Split beamforming refinement phase (BRP) based sector level sweep (SLS) for multi-antenna array devices
US10447351B2 (en) 2017-02-28 2019-10-15 Qualcomm Incorporated Partial multi-antenna sector level sweep
US10178570B2 (en) 2017-03-31 2019-01-08 Fortinet, Inc. Dynamic application bandwidth throttling and station steering for access points based on QOE (quality of experience) on a wireless network
US9948413B1 (en) 2017-04-20 2018-04-17 Oculus Vr, Llc Relay system calibration for wireless communications between a head-mounted display and a console
US11140368B2 (en) 2017-08-25 2021-10-05 Advanced Micro Devices, Inc. Custom beamforming during a vertical blanking interval
US10680927B2 (en) 2017-08-25 2020-06-09 Advanced Micro Devices, Inc. Adaptive beam assessment to predict available link bandwidth
US10871559B2 (en) 2017-09-29 2020-12-22 Advanced Micro Devices, Inc. Dual purpose millimeter wave frequency band transmitter
US11539908B2 (en) 2017-09-29 2022-12-27 Advanced Micro Devices, Inc. Adjustable modulation coding scheme to increase video stream robustness
US11398856B2 (en) 2017-12-05 2022-07-26 Advanced Micro Devices, Inc. Beamforming techniques to choose transceivers in a wireless mesh network
US10461817B2 (en) 2018-01-02 2019-10-29 Intel IP Corporation Enhanced multiple-input multiple-output beam refinement protocol transmit sector sweep
US10382308B2 (en) 2018-01-10 2019-08-13 Citrix Systems, Inc. Predictive technique to suppress large-scale data exchange
US10728358B2 (en) 2018-01-24 2020-07-28 Citrix Systems, Inc. Method to compute the tradeoff between user experience from prefetching versus the bandwidth constraints/cost at the cloud service
US10966135B2 (en) 2018-09-28 2021-03-30 Intel Corporation Software-defined networking data re-direction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685731A (zh) * 2002-09-27 2005-10-19 皇家飞利浦电子股份有限公司 可分级视频编码
WO2009156366A1 (en) * 2008-06-25 2009-12-30 Telefonaktiebolaget L M Ericsson (Publ) Multiple description coding based method, system, and receiver for wireless video broadcasting
CN101656825A (zh) * 2008-08-19 2010-02-24 美国博通公司 一种信号处理的方法及系统
US8457026B1 (en) * 2009-02-03 2013-06-04 Sibeam, Inc. Enhanced wireless data rates using multiple beams
WO2011087905A1 (en) * 2010-01-12 2011-07-21 Quantenna Communications, Inc. Quality of service and rate selection

Also Published As

Publication number Publication date
WO2019125567A1 (en) 2019-06-27
US20190199467A1 (en) 2019-06-27
KR20200100674A (ko) 2020-08-26
US10938503B2 (en) 2021-03-02
EP3729809B1 (en) 2023-11-08
JP2023017973A (ja) 2023-02-07
EP3729809A1 (en) 2020-10-28
CN111492660A (zh) 2020-08-04
JP7257400B2 (ja) 2023-04-13
JP2021508962A (ja) 2021-03-11
KR102425410B1 (ko) 2022-07-27

Similar Documents

Publication Publication Date Title
CN111492660B (zh) 用于有损无线链路的视频编解码器数据恢复技术
CN111279700B (zh) 用于提高视频流稳健性的可调整的调制编码方案
JP5746392B2 (ja) モバイルデバイスからワイヤレスディスプレイにコンテンツを送信するシステムおよび方法
JP2020535755A6 (ja) ビデオストリームのロバスト性を高めるための調整可能な変調符号化スキーム
KR101266667B1 (ko) 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템
US8230288B2 (en) Data transmission apparatus and method for applying an appropriate coding rate
JP2007507147A (ja) 高画質映像の無線伝送
US11290515B2 (en) Real-time and low latency packetization protocol for live compressed video data
US9143791B2 (en) Method and apparatus for processing video frame by using difference between pixel values
Le et al. Computing offloading over mmWave for mobile VR: Make 360 video streaming alive
KR20210090243A (ko) 포비티드 코딩의 슬라이스 크기 맵 제어
CN111263192A (zh) 视频处理方法及相关设备
US20160360141A1 (en) System and Method for Hybrid Wireless Video Transmission
US8963996B2 (en) Communication of stereoscopic three-dimensional (3D) video information including an uncompressed eye view video frames
Singh et al. Supporting uncompressed HD video streaming without retransmissions over 60GHz wireless networks
Seo et al. Switching Delay of Multi-viewpoint 360 VR in a Bandwidth-limited Environment
US10972752B2 (en) Stereoscopic interleaved compression
CN114640860B (zh) 一种网络数据处理与传输方法及系统
KR102012944B1 (ko) 영상 송수신 장치 및 제어 방법
Geetha et al. Design and implementation of distributed video coding architecture
Shahani et al. The Performance Maintenance of the Wireless Video Communication Using Source Bit Coding (SBC) Scheme and Sphere Packing Modulation
Pascual Biosca Successful decoding rate for wireless streaming of JPEG2000 videos
JP2012235210A (ja) 画像伝送装置及び画像伝送システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant