CN107211116B - 用于无线装置中的多视图视频的系统和方法 - Google Patents
用于无线装置中的多视图视频的系统和方法 Download PDFInfo
- Publication number
- CN107211116B CN107211116B CN201580072577.6A CN201580072577A CN107211116B CN 107211116 B CN107211116 B CN 107211116B CN 201580072577 A CN201580072577 A CN 201580072577A CN 107211116 B CN107211116 B CN 107211116B
- Authority
- CN
- China
- Prior art keywords
- video data
- channel quality
- error value
- threshold
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mobile Radio Communication Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供用于经由无线网络提供多视点MV视频数据的系统、方法和设备。举例来说,所述设备可包含处理器,其经配置以确定所述无线网络的用以发射第一MV视频数据的通信信道的至少一第一信道质量估计。所述设备可包含输入/输出I/O控制器,其经配置以接收指示所述第一MV视频数据的渲染的双眼视差错误估计。所述处理器可经配置以至少部分地基于所述第一信道质量估计和/或所述双眼视差错误估计,来确定是否继续进行捕获、编码和/或发射MV视频数据中的至少一者。
Description
技术领域
本发明与视频译码和压缩领域有关。明确地说,本发明涉及多视图(或多层)视频数据的发射和按比例缩放。
背景技术
数字视频能力可并入到多种多样的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频译码技术,例如描述于以下各项中的那些技术:由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准,以及此些标准的扩展。视频装置可通过实施这些视频译码技术而更有效率地发射、接收、编码、解码和/或存储数字视频信息。
随着“多视图(MV)”视频和“多层”视频(常常可互换指代),包含三维和/或立体视频,已在消费者视频装置中变得越来越流行,对多视图视频的移动检视和发射的需求已增加。某些技术也已允许经由网络或在对等架构中,将视频从一个装置无线发射到另一装置。可经由无线局域网(WLAN)载波(例如根据IEEE 802.11标准中的一或多者)和/或无线广域网(WWAN)载波(例如蜂窝式),将MV视频从源装置发射到目的地装置。经由WLAN和/或WWAN将此类MV视频从源装置投递到目的地装置可例如取决于相应无线网络载波的服务质量(QoS)。如本文所使用,无线网络可指WLAN、WWAN或类似者。
发明内容
在所附权利要求书的范围内的系统、方法和装置的各种实施方案各自具有若干方面,其中的单个方面并不单独负责本文中所描述的的合乎需要的属性。在不限制所附权利要求书的范围的情况下,本文描述一些显要特征。
在附图和以下描述中陈述本说明书中描述的标的物的一或多个实施方案的细节。其它特征、方面和优点将从描述、图式以及所附权利要求书变得显而易见。注意,以下各图的相对尺寸可能未按比例绘制。
根据本发明的一或多个方面,提供一种用于经由无线网络发射多视图(MV)视频数据的设备/装置。举例来说,所述设备可包含至少一个处理器,其经配置以确定无线网络的用以发射第一MV视频数据的通信信道的至少一第一信道质量估计。所述设备还可包含输入/输出(I/O)控制器,其经配置以接收指示第一MV视频数据的渲染的双眼视差错误估计。所述至少一个处理器可进一步经配置以至少部分地基于第一信道质量估计和/或双眼视差错误估计来确定是否继续进行捕获、编码和/或发射MV视频数据中的至少一者。
在相关方面,本发明提供一种设备,其例如包含用于确定通信信道的无线网络的用以发射第一MV视频数据的至少一第一信道质量估计的装置。所述设备还可包含用于接收指示第一MV视频数据的渲染的双眼视差错误估计的装置。所述设备可进一步包含用于至少部分地基于第一信道质量估计和/或双眼视差错误估计来确定是否继续进行捕获、编码和/或发射MV视频数据中的至少一者的装置。
本发明的另一方面提供一种用于经由无线网络发射MV视频数据的方法。举例来说,所述方法可涉及确定无线网络的用以发射第一MV视频数据的通信信道的至少一第一信道质量估计。所述方法还可涉及接收指示第一MV视频数据的渲染的双眼视差错误估计。所述方法可进一步涉及至少部分地基于第一信道质量估计和/或双眼视差错误估计来确定是否继续进行捕获、编码和/或发射MV视频数据中的至少一者。
本发明的另一方面提供一种非暂时性计算机可读存储媒体,在其上储存有指令,所述指令在被执行时,致使装置的处理器:确定用以发射第一MV视频数据的无线网络通信信道的至少一第一信道质量估计;接收指示第一MV视频数据的渲染的双眼视差错误估计;以及至少部分地基于第一信道质量估计和/或双眼视差错误估计来确定是否继续进行捕获、编码和/或发射MV视频数据中的至少一者。
根据本发明的一或多个方面,提供一种用于经由无线网络接收MV视频数据的设备/装置。举例来说,所述设备可包含I/O控制器,其经配置以经由无线网络的通信信道接收第一MV视频数据。所述设备可进一步包含至少一个处理器,其经配置以:确定所述通信信道的至少一第一信道质量估计;确定指示第一MV视频数据的渲染的双眼视差错误估计;以及至少部分地基于第一信道质量估计和/或双眼视差错误估计来确定是否继续进行接收、解码和/或渲染MV视频数据中的至少一者。
在相关方面中,本发明提供一种设备,其例如包含用于经由无线网络的通信信道接收第一MV视频数据的装置。所述设备还可包含:用于确定通信信道的至少一第一信道质量估计的装置;以及用于确定指示第一MV视频数据的渲染的双眼视差错误估计的装置。所述设备可进一步包含用于至少部分地基于第一信道质量估计和/或双眼视差错误估计来确定是否继续进行接收、解码和/或渲染MV视频数据中的至少一者的装置。
本发明的另一方面提供一种用于经由无线网络接收MV视频数据的方法。举例来说,所述方法可涉及经由无线网络的通信信道接收第一MV视频数据。所述方法还可涉及:确定通信信道的至少一第一信道质量估计;以及确定指示第一MV视频数据的渲染的双眼视差错误估计。所述方法可进一步涉及至少部分地基于第一信道质量估计和/或双眼视差错误估计来确定是否继续进行接收、解码和/或渲染MV视频数据中的至少一者。
本发明的另一方面提供一种非暂时性计算机可读存储媒体,在其上储存有指令,所述指令在被执行时,致使装置的处理器:经由无线网络的通信信道接收第一MV视频数据;确定所述通信信道的至少一第一信道质量估计;确定指示第一MV视频数据的渲染的双眼视差错误估计;以及至少部分地基于第一信道质量估计和/或双眼视差错误估计来确定是否继续进行接收、解码和/或渲染MV视频数据中的至少一者。
附图说明
图1示出根据示范性实施例的经由无线网络从视频捕获装置接收多视图(MV)视频数据的移动装置;
图2是根据本发明的方面的MV视频系统的功能框图;
图3A是根据示范性实施例的描绘视频数据在源装置与目的地装置之间的传送的信号流图;
图3B是根据示范性实施例的描绘视频数据在源装置与目的地装置之间的传送的另一信号流图;
图4是根据示范性实施例的将MV视频发射到目的地装置的视频源的实施例的流程图;
图5是根据示范性实施例的描绘发射MV视频数据的方法的流程图;
图6说明可由源装置操作的实例方法;以及
图7说明可由目的地装置操作的实例方法。
具体实施方式
经高保真度译码的视频数据在无线网络上的多媒体同步和传送可受带宽、传输距离和/或干扰,以及其它因素限制。在此上下文中,仍需要源装置来确定何时捕获、编码和/或发射多视图(MV)视频数据,相对于捕获、编码和/或发射单视场视频数据。可基于无线网络的用以发射MV视频数据的通信信道的信道质量估计和/或基于来自目的地装置的信息来做出此确定。类似地,仍需要目的地装置来知晓何时接收、解码和/或渲染MV视频数据,相对于单视场视频数据。
本文所述的技术通常涉及MV或多层视频译码,例如三维(3D)视频译码、立体视频译码、可缩放视频译码等。举例来说,可用高效视频译码(HEVC)标准或在高效视频译码(HEVC)标准内,以及用其多视图(或多层)扩展(例如对HEVC的多视点视频编码扩展(MV-HEVC)、对HEVC(3D-HEVC)的多视图加深度视频译码扩展,或对HEVC的可缩放视频译码(SVC)扩展(SHVC))来执行所述技术。然而,本发明的技术不限于任何特定视频译码标准,且还可或者结合对HEVC的其它扩展、其它多视图译码标准(具有或不具有深度分量)和/或其它多层视频标准使用。另外,如下文所描述,本发明的技术可独立地或组合地应用。
视频数据的“层”通常可指具有至少一个共同特性(例如,视图、帧率、分辨率或其类似者)的图片序列。例如,层可包含与多视点视频数据的特定视图(例如,透视图)相关联的视频数据。作为另一实例,层可包含与可缩放视频数据的特定层相关联的视频数据。因此,本发明可互换地提到视频数据的层和视图。也就是说,视频数据的视图可被称作视频数据的层,且视频数据的层可被称作视频数据的视图。此外,术语视图间预测和层间预测可互换指代视频数据的多个层和/或视图之间的预测。另外,多层编解码器(还被称作多层视频译码器或多层编码器-解码器)可联合地指代MV编解码器或可缩放编解码器(例如经配置以使用MV-HEVC、3D-HEVC、SHVC或另一多层译码技术来编码和/或解码视频数据的编解码器)。视频编码和视频解码两者可通常被称作视频译码。
下文参考附图更充分地描述新颖系统、设备和方法的各个方面。然而,本发明可以许多不同形式来体现,且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。相反地,提供这些方面是为了使本发明将透彻且完整,并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示,所属领域的技术人员应了解,本发明的范围既定涵盖本文中所公开的无论是独立于本发明的任一其它方面还是与之组合而实施的新颖系统、设备和方法的任何方面。举例来说,可使用本文中所陈述的任何数目个方面来实施设备或实践方法。另外,本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解,可通过权利要求的一或多个要素来体现本文中所公开的任何方面。
尽管本文描述了特定方面,但这些方面的许多变化和排列属于本发明的范围内。尽管提到了优选方面的一些益处和优点,但本发明的范围无意限于特定益处、用途或目标。而是,本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和发射协议,其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。具体实施方式和图式仅说明本发明,而不是限制由所附权利要求书和其等效物界定的本发明的范围。
图1是说明可利用根据本发明中所描述的方面的技术的实例系统10的框图。如本文所述,术语“视频译码器”一般是指视频编码器和/或视频解码器两者,且术语“视频译码”或“译码”可一般是指视频编码和/或视频解码。
如图1中所示,系统10可包含源装置12和目的地装置14。源装置12可产生经编码的视频数据(还被简称为“视频数据”)。目的地装置14可解码经编码视频数据,以便渲染或显示经解码视频数据(即,经重构的视频数据),以供用户检视或用于其它用途。源装置12和目的地装置14可各自经配备(例如配置或调适)来用于无线通信。源装置12可经由有线和/或无线网络的通信信道16,将视频数据提供(例如发射或传送)到目的地装置14。
源装置12和目的地装置14可分别包含各种裝置,包含桌上型计算机、笔记型(例如膝上型)计算机、平板计算机、机顶盒、电话手持机(例如智能电话)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、视频流式传输装置、可由实体(例如人、动物和/或另一受控装置)穿戴(或可移除地可附接)的裝置,例如护目镜和/或可穿戴计算机,可在实体内消耗、摄入或放置的裝置或设备,和/或类似者。
在一些实施例中源装置12可配备有视频源18,其可为例如视频捕获装置。因此,源装置12可进一步包括各种类型的摄像机,例如手持式相机单元、头戴式装置(HMD)、并入计算机中或与之组合使用的网络摄影机,或智能电话相机。举例来说,源装置12可为被远程控制的装置(例如被远程领航的飞机或无人机、基于陆地的交通工具、机器人、监测装置等),且视频源18可包含被远程控制的装置上的视频捕获传感器。
类似地,应注意,目的地装置14可为个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、数字媒体播放器、视频游戏装置、视频游戏控制台、3D显示面板、3D眼镜等,其包含无线和/或有线通信组件。
视频源18可包括一或多个内部视频传感器,例如CCD(电荷耦合装置)或CMOS(互补型金属氧化物半导体)相机或其它类似视频传感器。视频源18可产生基于计算机图形的数据或实况视频、存档视频和/或计算机产生的视频的组合,作为源视频(即视频数据)。在一些实施例中,视频源18可包括如可在MV视频捕获装置(例如立体视频捕获装置或3D视频俘获装置)中找到的多个视传感器或视频数据来源。
源装置12可进一步包含与视频源18通信的视频编码器20,且还可包含视频解码器23。视频编码器20可经配置以应用各种技术来译码包含符合多个有线或无线标准的视频数据的位流。视频编码器20可将视频数据编码成多种格式中的一或多者和/或利用各种压缩技术,例如由MPEG-2;MPEG-4;ITU-T H.263;ITU-T H.264/MPEG-4,第10部分;高级视频译码(AVC)、HEVC等定义的标准中描述的那些技术。但是,本发明的技术不限于任何特定译码标准。尽管图1中未示出,但视频编码器20可与音频编码器集成,且可包含适当的MUX-DEMUX单元,或其它硬件和软件,来处置单个或共享数据流或单独数据流中的音频数据和视频数据两者的编码。举例来说,MUX-DEMUX单元可符合ITU H.223多路复用器协议、用户数据报协议(UDP)或类似的适用协议。下文参考目的地装置14的视频解码器30提供关于视频解码器23的进一步细节。
源装置12可进一步包括与视频编码器20通信的输入/输出(I/O)控制器22。I/O控制器22可接收来自视频编码器20的经编码视频数据,以发射到目的地装置14。I/O控制器22可包括中央处理单元(CPU)和/或多个处理器,其用于指导源装置12内的过程。I/O控制器22可包括有线和/或无线接口,以经由通信信道16发射由视频源18捕获和/或存取且由视频编码器20编码的视频数据。I/O控制器22可进一步与目的地装置14通信,如下文进一步详细描述的所发射的视频数据的恰当速率或内容适配所需要。
源装置12可进一步包括源存储器24,其与视频源18、视频编码器20、I/O控制器22和/或视频解码器23中的一或多者通信。源存储器24可包括计算机可读存储媒体,其能够存储或缓冲视频源18所捕获和/或存取的原始视频数据、来自视频编码器20的经编码视频数据、来自视频解码器23的经解码视频数据,和/或经由I/O控制器22缓冲或列队以用于发射的视频数据。如本文所使用,原始视频数据可指不例如由视频编码器20编码和/或压缩的视频数据。
源装置12的I/O控制器22可经由通信信道16将经编码视频数据发射到目的地装置14。经编码的视频数据可根据通信标准(例如无线通信协议)而调制,且被发射到目的地装置14。通信媒体可为无线(例如射频(RF)频谱)和/或有线(例如物理传输线路)。
根据本发明的一或多个方面,源装置12和目的地装置14可交换命令和/或共享关于通信信道16能够经由其通信的第一无线网络的信息。更具体地说,此类命令和信息可涉及第一无线网络的性能,如由服务质量(QoS)指示,且可用于适应发送到目的地装置14的视频数据的内容(例如内容的版本)和/或发射(例如发射速率)。此处,QoS可涉及例如指示第一无线网络的性能的吞吐量、等待时间、频谱效率、数据速率、干扰和/或一些其它合适参数。
在某些实施例中,源装置12可进一步能够确定通信信道16的操作条件和/或性能特性(下文参看图4进一步详细阐述)举例来说,源装置12可经配置以确定通信信道16上的数据业务或其它条件,例如干扰、信噪比和/或其它信道质量度量(例如QoS度量,例如数据速率、延迟、延迟违反概率、包损失概率、实际包投递时间、包等待时间、包流规律性等)。源装置12可进一步经配置以将此类条件和/或信道质量度量(例如经由在通信信道16上通信的I/O控制器22)传送到目的地装置14。
在相关方面中,关于第一无线网络的性能的命令和/或信息可基于第一无线网络的通信信道16和/或其它通信通道的操作条件和/或性能特性。在进一步相关方面中,所述第一无线网络可为无线局域网(WLAN)(例如根据IEEE 802.11标准中的一或多者操作的WLAN)、无线广域网(WWAN)(例如根据第三代合作伙伴计划(3GPP)长期演进(LTE)、LTE-高级(LTE-A)或类似者操作的蜂窝式网络),或异构无线网络(HWN)。
在更进一步的相关方面中,源装置12和目的地装置14可经由第一无线网络的通信信道16和/或其它通信信道,交换命令和/或关于第一无线网络的性能的信息。在再进一步相关方面中,源装置12和目的地装置14可经由第二无线网络(例如WLAN或WWAN)、个域网(PAN)等的单独通信信道,来交换命令和/或关于第一无线网络的性能的信息。
通信信道16可将输出的视频数据从源装置12的I/O控制器22运载到目的地装置14的I/O控制器28。I/O控制器28可提供I/O控制器22的相同功能性。I/O控制器28可包括CPU和/或一或多个处理器,其可指导目的地装置14内的过程。在实施例中,目的地装置14可进一步将命令和信息(例如经由I/O控制器28)发送到源装置12和/或从源装置12接收命令和信息。I/O控制器28可进一步例如经由通信信道16接收信息,且所述接收到的信息可包含由视频编码器20定义的语法信息,其包含与处理视频数据的块和其它经译码单元有关的语法元素。目的地装置14可确定通信信道16上(或与之相关联)的某些条件(例如QoS),并在目的地装置14内和/或向源装置12传送与信道条件相关联(或基于信道条件)的度量。
目的地装置14可进一步包含与I/O控制器28通信的视频解码器30,且还可包含视频编码器27。视频解码器30可经由I/O控制器28接收经编码视频数据,且可解码所述接收到的视频数据以供目的地装置14使用(或进一步发射)。视频解码器30可利用与视频编码器20相同或类似但互补的译码技术,以便高效地解码和利用所述接收到的视频数据。上文参考源装置12的视频编码器20提供关于视频编码器27的进一步细节。
目的地装置14可进一步包括与视频编码器30通信的显示装置32。显示装置32可向用户显示经解码视频数据。显示装置32可通常包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器,或另一类型的显示器或视频投影装置。在实施例中,显示装置32可包括例如监视器或手持式移动视频装置或智能电话上的视频显示器。
目的地装置14可进一步包括目的地存储器26,其可与视频编码器27、I/O控制器28、视频解码器30和/或显示装置32中的一或多者通信。目的地存储器26可包括用于存储和/或缓冲经由通信信道16接收到的视频数据的计算机可读存储媒体。目的地装置14可使用经解码视频数据来在显示装置32上显示内容,和/或将经解码视频数据存储在目的地存储器26内,以供后续使用或重放。
参看图2,提供包含经由通信信道16彼此通信的源装置12和目的地装置14的系统200的示范性图形表示。举例来说,用户可利用源装置12来捕获视频数据208。视频数据208可例如作为单视场视频数据或多视点(或多层)视频数据捕获。如前文所述,本发明可互换地提到视频数据的层和视图。也就是说,视频数据的视图可被称作视频数据的层,且视频数据的层可被称作视频数据的视图。换句话说,在本发明中,对多视点(MV)视频数据的参考应理解为还包含对多层视频数据的参考,且对多层视频数据的参考应理解为还包含对MV视频数据的参考。在本实例中,目的地装置14可经由第一无线网络的通信信道16接收来自源装置12的视频数据208。“通信通道”,例如通信信道16,可被替代地称作“连接”或“链路”。
举例来说,通道16可包括根据点到点、对等或装置到装置通信技术和/或通信标准操作的WLAN连接或另一合适通信信道。信道16可周期性地经历干扰。此类干扰可中断发射和/或使信道质量或经由信道16可达到的QoS降级,且因此,中断发射和/或使视频数据208的发射的质量降级。作为非限制性实例,用户可处于具有很少无线装置的环境(即,低密度装置环境)中,同时使用源装置12来捕获视频数据208(例如MV视频数据)。因为源装置12和目的地装置14均接近仅很少的无线装置,所以因为相同和/或不同无线网络上的其它无线装置的操作而产生的干扰程度可最小。因此,可以通信信道16的全容量或几乎全容量来发射视频数据208。
在相同实例中,如果源装置12和/或目的地装置14的用户遇到高密度环境(例如具有经由相同无线网络通信的许多裝置和/或在不同无线网络上通信的裝置的区域或位置),那么归因于环境内的其它无线装置的操作而产生的干扰,源装置12与目的地装置14对之间经由通信信道16的通信可降级。在替代方案中,或另外,干扰可起因于环境和/或所述环境中的建筑物和建筑材料中在某些频率范围内(例如在2.4GHz或5.0GHz频带中)无线或以其它方式操作的其它装置。在此类环境中,归因于竞争裝置对通信信道16的加载,视频数据208可超过可用发射容量,和/或归因于相同和/或不同无线网络上(在所述环境内操作)的其它装置所导致的干扰,通信信道16可展现差QoS。通信信道16的此类干扰和/或加载可使视频数据208的包向目的地的投递延迟,和/或致使视频数据的包变成未投递到目的地装置14,从而导致视频解码器30处的处理的降级,和/或目的地装置14处的视频数据208的渲染的降级。举例来说,通信信道的此类干扰和/或加载可导致视频抖动、目的地装置14处的异步音频和视频解码以及显示,和/或目的地装置14处的双眼视差错误(在MV视频的情况下),以及其它问题。双眼视差错误可在目的地装置14处检测,例如当用户经历变形的深度感时,这可不利地影响MV视频数据208的检视。
为了解决双眼视差错误(例如超过视差错误阈值)和/或与MV视频质量的降级相关联的其它问题,源装置12和/或目的地装置14可采取某些行动来减少通信信道16的加载,并协调译码和/或发射从MV视频到单视场视频的转变。
在一些实施例中,源装置12可监视或确定通信信道16正向源装置12提供的QoS。源装置12可进一步发射某些信道测量数据210,其包含向目的地装置14指示信道质量的数据。目的地装置14可做出决策或确定,指令操作,和/或基于所述接收到的信道测量数据210执行某些操作。举例来说,目的地装置14可基于从源装置12接收到的信道测量数据210来做出关于发射质量的预测性决策,例如归因于通信信道16的当前条件,多少视频数据208可能丢失。举例来说,响应于基于信道测量数据210确定通信信道16的信道质量已降低到目的地装置14进行MV视频数据处理和/或渲染可接受的质量的层级或阈值以下,目的地装置14可选择不考虑(即,制止处理和/或渲染)MV视频数据,以利于处理和/或渲染单视场视频数据。相反,如果目的地装置14基于信道测量数据210确定通信信道16的信道质量已升高达到或高于(即,满足或超过)上文所述的层级层级阈值,那么目的地装置14处可发生相反过程。即,目的地装置14可从处理和重放单视场视频转变到处理(例如解码)和重放(即,渲染)MV视频数据。结合图3A到B更详细地论述此过程。
在一些实施例中,目的地装置14可独立地(即,无来自源装置12的输入)监视或确定通信信道16的QoS,并在某些配置数据212中,将此类信息(例如与通信信道16相关联的QoS量度)传送到源装置12。在相关方面中,目的地装置14可确定和发射(作为配置数据212的一部分)关于通信信道16的相同类型的QoS度量,如先前论述为由源装置12确定。在进一步相关方面中,配置数据212可包括信道质量指示和/或向源装置12的命令或请求,以从捕获、编码和/或发射MV视频数据转变到捕获、编码和/或发射单视场视频数据,或反之亦然。
源装置12和目的地装置14可合作地操作(例如向彼此传送信息),以确定源装置12是否应捕获、编码和/或发射MV视频和/或单视场视频。或者或另外,源装置12和目的地装置14可合作地操作,以确定目的地装置14是否应处理、解码和/或渲染MV视频和/或单视场视频。上文所述的合作确定可至少部分地基于通信信道16的信道质量(例如QoS),从而依据通信信道16的动态条件,确保用户的最佳体验。
图3A描绘根据本发明的一或多个方面的源装置12与目的地装置14之间的信号流图。源装置12和目的地装置14可无线地(例如经由通信信道16)和/或经由有线连接彼此通信。
源装置12可在308a处,周期性地或以响应性方式确定(例如接收或估计)用于发射第一MV视频数据306的通信信道16的信道质量估计(例如指示QoS的量度或其它参数),且可将信道质量估计消息310a(包含所确定的信道质量估计)发送到目的地装置14。信道质量估计在本文中还可被简称为质量估计。信道质量估计消息310a可为图2中的信道测量数据210的实例,或者包含作为其一部分。通信信道16所提供的QoS可受源装置12和目的地装置14其内操作的环境的特性影响。举例来说,在某些高密度或高业务无线通信环境中,QoS可归因于干扰和/或受限带宽而降级。相比之下,通信信道16所提供的QoS可归因于例如在环境中通信的裝置的数目的减少和/或在环境内发射的数据业务的减少而增加。
如图3A中所示,源装置12可使用信道质量估计来自主地(即,无任何外部输入和/或指令)适应或调整经由通信信道16的第一MV视频数据306的捕获、编码和/或发射,以便在目的地装置14处提供最佳视频体验。信道质量估计的确定(例如在308a处和/或在308b处)可允许源装置12调整第一MV视频数据306的捕获、译码和/或向目的地装置14的发射。
举例来说,源装置12可确定信道质量估计是否满足或超过被认为对于MV视频的发射来说为可接受或最佳的信道质量的阈值或层级(在本文中也被称作信道质量阈值或信道质量层级)。如果质量估计满足或超过信道质量阈值或层级,那么源装置12可在MV视频模式下操作(例如使操作转变到MV视频模式或继续在MV视频模式下操作)。如果质量估计低于信道质量阈值或层级,那么源装置12可在单视场视频模式下操作(使操作转变到单视场视频模式或继续在单视场视频模式下操作)。应注意,源装置12可接收并考虑确定在MV视频模式还是单视场视频模式下操作的其它信息,例如指示目的地装置14处的MV视频数据的渲染的双眼视差错误估计,如下文进一步详细阐释。在进一步相关方面中,源装置12可接收具有在MV视频模式或单视场视频模式下操作的命令或指令的反馈消息(例如图3B中的消息352和/或362),或从一个操作模式转变到另一操作模式。
当在MV视频模式下操作时,源装置12可根据MV/多层标准(例如MV-HEVC、3D-HEVC和/或SHVC)捕获、译码和/或发射MV视频数据。在又一相关方面中,当在单视场视频模式下操作时,源装置12可根据单层标准(例如H.264/MPEG-4AVC和/或HEVC)来捕获、译码和/或发射单视场视频数据。
源装置12可在308a处确定信道质量后,即刻将信道质量估计消息310a发射到目的地装置14。举例来说,源装置12可在308a处确定通信信道16的QoS(如基于信道质量估计所确定)已降低到被认为对于MV视频的发射来说可接受或最佳的信道质量阈值或质量等级。另外或替代地,此信道质量阈值或层级还可指示目的地装置14处所需的视频质量的可接受层级。基于QoS的此确定,信道质量估计消息310a可指示例如源装置12可从捕获、译码和/或发射第一MV视频数据306转变到捕获、译码和/或发射单视场视频数据(例如图3A中所示的单视场视频数据312)。换句话说,信道质量估计消息310a可指示源装置12正从MV视频模式下的操作转变为单视场视频模式下的操作。
在单视场视频数据312的发射之前和/或同时,可将信道质量估计消息310a发送到目的地装置14。应注意,与相同视频数据的MV版本相比,需要较少的数据来发射视频数据的单视场版本(例如单视场视频数据312)。由此,代替于第一MV视频数据306的单视场视频数据312的发射可导致目的地装置14处的较少视频质量降级。
如图3A中进一步示出,在308b处,源装置12稍后可再次评估通信信道16的信道质量。举例来说,源装置12可基于在308b处确定的信道质量估计,来确定通信信道16现在可能够提供比较早时间在308a处确定的质量估计所指示的QoS高的QoS。源装置12也可或者基于308b处确定的信道质量估计来确定通信信道16所实现(或提供)的QoS现将能够支持MV视频数据的发射,使得视频质量在目的地装置14处将为可接受的。举例来说,源装置12可在308b处确定通信信道16的QoS(如基于信道质量估计所确定)已升高,使得信道质量估计满足或超过上文所述的信道质量阈值或层级。
源装置12可将信道质量估计消息310b发射到目的地装置14,其可包含在308b处确定的信道质量估计。信道质量估计消息310b可指示例如可使单视场视频数据312的捕获、译码和/或发射转变为MV视频数据(例如图3A中所说明的第二MV视频314)的捕获、译码和/或发射或被其代替。
图3B描绘根据本发明的一或多个方面的源装置12与目的地装置14之间的另一信号流图。如所示出,在源装置12与目的地装置14之间示出信号流350。信号流350类似于图3A中的信号流300,有一些差异。代替于或除接收来自源装置12的信道质量估计消息(例如310a和/或310b)之外,目的地装置14可在358a处确定信道质量估计和/或双眼视差错误估计。
除将反馈消息354发射到源装置12之外,目的地装置14还可发射信道质量估计和/或双眼视差错误估计消息352(在本文中也被称作估计消息352)。在另一实例中,目的地装置14可发射估计消息352,作为反馈消息354的一部分。估计消息352可包含通信信道16的QoS的确定和/或指示通信信道16的QoS的量度,如目的地装置14所感知。在给定目的地装置14所确定的信道质量和/或双眼视差错误的情况下,目的地装置14所发射的反馈消息354可向源装置12提供目的地装置14是否可接收、解码和/或渲染MV视频数据306的指示。
举例来说,目的地装置14可经由估计消息352和/或反馈消息354,向源装置12指示如由目的地装置14在358a处确定的与通信信道16相关联的信道质量低于信道质量阈值。在替代方案中或另外,目的地装置14可经由估计消息352和/或反馈消息354,向源装置12指示358a处确定的双眼视差错误估计满足或超过视差错误阈值。响应于此类指示,源装置12可转变离开发射MV视频数据306和/或向发射单视场视频数据312转变。在一些实施例中,反馈消息354可包括响应于信道质量(如由目的地装置14确定)降低到信道质量阈值以下和/或双眼视差错误估计满足或超过视差错误阈值,从目的地装置14到源装置12的命令或请求从捕获、译码和/或发射MV视频数据转变,和/或转变到捕获、译码和/或发射单视场视频数据。
如上所述,反馈消息354可包括向源装置12的制止捕获、译码和/或发射MV视频数据的请求或命令。有利的是,在考虑到目的地装置14在358a处确定的降级的通信信道质量和/或过量的双眼视差错误,目的地装置14不能够准确地接收、解码和/或渲染的条件下,反馈消息354的效应可为源装置12可保存捕获、编码和/或发射MV视频数据所必需的资源。
目的地装置14可连续或周期性地估计通信信道质量,例如在358b处。如前所述,目的地装置14可将信道质量估计和/或双眼视差错误估计消息356和/或反馈消息362发射到源装置12。在一些实施例中,反馈消息362可包括响应于信道质量满足或超过信道质量阈值和/或双眼视差错误估计降低到视差错误阈值以下,从目的地装置14到源装置12的命令或请求,以从捕获、译码和/或发射单视场视频数据转变为捕获、译码和/或发射MV视频数据。
当信道质量估计满足或超过信道质量阈值或层级以上(和/或双眼视差错误低于视差错误阈值)时,源装置12可确定源装置12和目的地装置14所利用的通信信道16可再次支持MV视频数据。因此,源装置12可停止或转变离开提供(即,捕获、编码和/或发射)单视场视频数据,和/或开始或朝向目的地装置14提供MV视频数据(例如MV视频数据366)转变。换句话说,源装置12可从在单视场视频模式下操作转变为在MV视频模式下操作。
参考图3A到B,源装置12和目的地装置14可合作地控制从发射第一MV视频数据306到单视场视频数据312的转变,和/或从发射单视场视频数据312到第二MV视频数据314或第二MV视频数据366中的任一者的转变。在一个实施例中,源装置12可经配置以确定用于经由无线网络将MV视频数据发射到目的地装置14的通信信道16的第一信道质量估计。源装置12可经配置以从目的地装置14接收双眼视差错误估计,其与MV视频数据306在目的地装置14或与目的地装置14通信的另一装置处的渲染有关。源装置12可经配置以从目的地装置14接收通信信道16的第二信道质量估计,且至少部分地基于第一信道质量估计、第二信道质量估计和/或双眼视差错误估计,来确定是否捕获、编码和/或经由通信信道16发射MV视频数据306。
在以上实施例的相关方面中,源装置12可经配置以响应于以下各项中的至少一者:(i)第一信道质量估计低于信道质量阈值,(ii)第二信道质量估计低于信道质量阈值,和/或(iii)双眼视差错误估计满足或超过视差错误阈值,发射第一消息以指令目的地装置14转变为接收、解码或渲染单视场视频数据中的至少一者。源装置12可进一步经配置以以响应于通信信道的第二信道质量估计满足或超过信道质量阈值,发射第二消息以指令目的地装置14转变为接收、解码或渲染第二MV视频数据314或第二MV视频数据366中的至少一者。
在另一实施例中,目的地装置14可经配置以确定通信信道16的第一信道质量估计。目的地装置14可经配置以为MV视频数据在目的地装置14处的渲染确定双眼视差错误估计。目的地装置14可经配置以从源装置12接收通信信道16的第二信道质量估计,且至少部分地基于第一信道质量估计、第二信道质量估计和/或双眼视差错误估计来确定是否接收、解码和/或渲染MV视频数据。应注意,两个信号流300、350中描绘的技术可独立地或彼此结合实施。
在以上实施例的相关方面中,目的地装置14可经配置以响应于以下各项中的至少一者:(i)第一信道质量估计低于信道质量阈值,(ii)第二信道质量估计低于信道质量阈值,或(iii)双眼视差错误估计满足或超过视差错误阈值,发射第一消息以指令源装置12转变为捕获、编码或发射单视场视频数据中的至少一者。目的地装置14可进一步经配置以响应于通信信道的第二信道质量估计满足或超过信道质量阈值,发射第二消息来指令源装置12转变为捕获、编码或发射第二MV视频数据314或第二MV视频数据366中的至少一者。
图4是包含将MV视频数据发射到目的地装置14的源装置12的系统400的示范性实施例的系统框图。源装置12可包括传感器平台422(例如图1中的视频源18)和各种组件,其经配置以用于在将视频数据发射到目的地装置14之前,捕获、合成、处理和/或编码视频数据。经由传感器平台422的图像传感器捕获的视频数据可提供到具有MV功能的视频处理器模块424(例如图1中的编码器20),其可包含多频谱MV处理器、多媒体处理器和/或多媒体加速器,且接着提供到预处理模块425。所捕获的视频数据可经历增强层译码器426(其可包含例如视图间译码器和/或深度估计组件)处的各种增强,且可提供到视频合成模块428和基础层译码模块430。视频合成模块428和基础层译码模块430可进一步处理视频数据,并将经处理的视频数据提供到使经处理且经编码的视频数据包化的MV经译码视频包化模块432。应注意,源装置12的组件,以及其组件可经配置以捕获、处理、编码和/或促进MV视频数据和/或单视场视频数据的发射。由此,源装置12能够提供MV视频数据和单视场视频数据两者。模块可包含模拟和/或数字技术,且可包含一或多个多媒体信号处理系统,例如视频编码器/解码器,其使用基于国际标准(例如MPEG-x和H.26x标准)的编码/解码方法。
源装置12可进一步包括源无线通信子系统440。源无线通信子系统440可包括无线通信无线电模块443,例如WWAN无线电模块和/或WLAN无线电模块,用于经由无线网络470发射和/或接收数据。
子系统440还可包括信道质量估计器442,其经配置以确定无线网络470的无线通信信道的质量(例如QoS)。信道估计器442可与包传送控制器444和源适应引擎450(还被称作源适应处理器)通信。
源适应引擎450可接收来自MV经译码视频包化模块432的经包化MV视频数据,以及来自信道质量估计器422(和/或下文进一步详细描述的目的地装置14的信道质量估计器462)的信道质量估计(例如图3A到B中的信道质量估计310a、352)。源适应引擎450可确定无线网络470的通信信道的信道质量估计是否足以支持MV视频数据向目的地装置14的令人满意的发射。举例来说,MV视频数据发射是否令人满意的确定可至少部分地基于(例如信道质量估计器422和/或462所提供的)信道质量估计是否满足或超过信道质量阈值。适应引擎450可自主地和/或响应于从目的地装置14(例如下文进一步详细描述的目的地适应引擎460)接收到的额外信息或消息接发来做出此确定。
如上所述,源适应引擎450可向源装置12的其它组件(例如增强层译码器426、视频合成模块428和/或包化模块432)提供反馈446,以调整视频数据的捕获和/或处理。如果信道质量估计器442确定无线网络470的通信信道16的信道质量估计已降级和降低到信道质量阈值以下,那么适应引擎450可提供反馈信息446,其可包括制止捕获、译码和/或发射MV视频数据的命令,和/或捕获、译码和/或发射单视场视频数据的命令。类似地,如果信道质量估计满足或超过信道质量阈值,那么适应引擎450可将命令作为反馈信息446的一部分提供到源装置12的其它组件,以捕获和/或处理MV视频数据。
可经由无线网络470将MV视频数据发射到目的地装置14。目的地装置14可包括无线通信子系统480。子系统480可控制传入视频数据的接收和传送,且执行类似于图1中的I/O控制器28的功能。子系统480可包括无线通信无线电模块464,例如WWAN无线电模块和/或WLAN无线电模块。
子系统480可包括还包括信道质量估计器462,其经配置以估计无线网络470的无线通信信道的质量。信道质量估计器462可将信道质量估计传送到目的地适应引擎460(还被称作目的地适应处理器)。
目的地装置14可进一步包括多路分用器模块464和MV视频解码器466,其经由无线通信无线电模块464接收传入视频数据。多路分用器模块464可经配置以多路分用和重新组合经包化的MV视频数据。MV视频解码器466可经配置以解码经重新组合的MV视频数据,以用于目的地装置14处的后续处理和/或渲染。
目的地装置14可进一步包括视差错误估计器490,其与MV解码器466和目的地适应引擎460通信。视差错误估计器490(例如结合目的地适应引擎460)可确定或计算经渲染的MV视频中的双眼视差错误的估计。举例来说,视差错误估计器490可包括3D显示面板、3D眼镜或护目镜、传感器和/或用户输入模块(例如触摸屏,其经配置以接收关于经渲染的MV视频的3D质量的用户输入)通信。
目的地适应引擎460可接收来自信道质量估计器462的信道质量估计和/或来自视差错误估计器490的双眼视差错误估计。目的地适应引擎460可经配置以经由无线网络470和/或不同无线网络,将包括或关于所估计的信道质量和/或视差错误的反馈信息提供到源装置12。在一些实施例中,目的地适应引擎460可将反馈信息提供到源装置12的源极适应引擎450和/或信道质量估计器442。在一个实例中,源极适应引擎450可基于以下各项来确定源装置12是否应捕获、编码和/或发射MV视频数据或单视场视频数据:来自信道质量估计器442和/或信道质量估计器462的信道质量估计;和/或来自视差错误估计器490的双眼视差错误估计。在替代方案中或另外,源极适应引擎450可基于此类信道质量估计和/或双眼视差错误估计,确定目的地装置14是否应处理、解码和/或渲染MV视频数据或单视场视频数据,且可基于所述确定来将命令和/或信道质量/双眼视差信息发送到目的地装置14。
类似地,源极适应引擎450可经配置以经由无线网络470和/或不同无线网络将包括或关于所估计的信道质量的反馈信息(例如来自信道质量估计器442)提供到目的地装置14。在一些实施例中,源极适应引擎450可将反馈信息提供到目的地装置14的目的地适应引擎460和/或信道质量估计器442。在一个实例中,目的地适应引擎460可基于以下各项来确定目的地装置14是否应处理、解码和/或渲染MV视频数据或单视场视频数据:来自信道质量估计器442和/或信道质量估计器462的信道质量估计;和/或来自视差错误估计器490的双眼视差错误估计。在替代方案中或另外,目的地适应引擎460可基于此类信道质量估计和/或双眼视差错误估计,来确定源装置12是否应捕获、编码和/或发射MV视频数据或单视场视频数据,且可基于所述确定来将命令和/或信道质量/双眼视差信息发送到源装置12。
图5是出于说明性目的描绘响应于所述估计的改变或源装置12和目的地装置14所利用的通信信道16的信道质量的指示来在MV视频与单视场视频之间的转变的实例方法的流程图。如上所述,关于信道质量的估计、指示或度量可包含(但不限于)干扰、信噪比、数据速率、延迟、延迟违反概率、包损失概率、实际包投递时间、包等待时间、包流规律性等。
如所示出,提供实例方法500,其在框502处开始,且涉及测量或估计通信信道16的信道质量的指示。方法500移动到决策框504,其涉及确定信道质量估计是否可接受(例如基于信道质量估计是否满足或超过信道质量阈值)。如果确定信道质量估计为可接受的,那么方法500移动到决策框506,其可涉及确定是否接收到MV视频数据包。如果在决策框506处,做出未接收到MV视频数据包的确定,那么方法500进行到框502,以进行备用的处理操作。注意,可在源装置12和/或目的地装置14处执行框502、504和506。还要注意,框502、504和506可共同作为MV视频系统的备用处理操作510的一部分。
如果确定信道质量估计不可接受,如在框504处确定,那么方法500移动到框520,其可涉及适应目的地装置14处的MV视频解码器,其又可涉及制止解码MV视频数据,和/或如果可用的话,朝单视场视频数据的解码转变或开始所述解码。方法500接着前进到框530,其涉及考虑到差信道条件,请求或指令源装置12适应MV视频编码器。适应源装置12的MV视频编码器可涉及例如使源装置12制止捕获MV视频数据和/或编码所捕获的MV视频数据,以及或者,转变为编码所捕获的单视场视频数据。注意,框530可更一般化地涉及使源装置12制止捕获、编码和/或发射MV视频数据,和/或转变为捕获、编码和/或发射单视场视频数据。还注意,框520和/或530通常在目的地装置14处执行。
返回到决策框506,如果确定接收到MV视频数据包,那么方法500前进到框540,其可涉及基于大量准则(包含但不限于例如实际投递时间、包等待时间和/或包流规律性)来评估接收到的MV视频数据包。在替代方案中或另外,可在框540处确定和考虑其它信道质量度量(例如数据速率、延迟违反概率、包损失概率等)。注意,此类准则的评估可用于估计源装置12和目的地装置14所使用的通信信道16的信道质量(例如QoS),和/或可用于估计在目的地装置14处观察到双眼视差错误。框540可在目的地装置14和/或源装置12处执行。图5中提供用于实施框502和540的实例代码。
方法500接着可前进到在框550处,目的地装置14处的目的地适应引擎460和/或源装置12处的源极适应引擎450。目的地和/或源适应引擎可在决策框560处确定是否需要源装置12的适应。如果需要源装置12的适应,那么方法500移动到决策框570;如果不需要源装置12的适应,那么所述方法进行到框502以进行备用处理。在决策框570处,目的地和/或源适应引擎可确定是否需要目的地装置14的适应。如果需要目的地装置14的适应,那么方法500进行到框580,且接着结束。如果不需要目的地装置14的适应,那么方法500进行到框530,且接着结束。
参看图6,说明由源装置12或其组件执行的用于发射视频数据的方法600。方法600可在610处开始,其可涉及确定无线网络的用以发射第一MV视频数据的通信信道16的至少一第一信道质量估计。框610可例如由源装置12处的信道质量估计器442执行。
方法600可涉及在620处接收指示第一MV视频数据的渲染的双眼视差错误估计。框620可例如由源装置12处的无线通信子系统440(例如包含WLAN和/或WWAN无线电模块)和/或I/O控制器22执行。
方法600可涉及在630处,至少部分地基于第一信道质量估计和/或双眼视差错误估计,来确定是否继续进行捕获、编码和/或发射MV视频数据中的至少一者。决策框630可例如由源装置12处的源适应引擎450执行。
在相关方面中,决策框630可涉及确定(i)第一信道质量估计是否低于信道质量阈值,和/或(ii)双眼视差错误估计是否满足或超过视差错误阈值。
在一个实例中,如果对确定(i)或(ii)两者的应答为是,那么对决策框630的应答可为否(即,决策是不再继续进行捕获、编码和/或发射MV视频数据中的至少一者)。在另一实例中,如果对确定(i)或(ii)的应答为是,那么对决策框630的应答可为否。
或者,如果对确定(i)和(ii)两者的应答为否,那么对决策框630的应答可为是(即,决策是继续进行捕获、编码和/或发射MV视频数据中的至少一者)。在另一实例中,如果对确定(i)或(ii)的应答为否,那么对决策框630的应答可为是。
如果对决策框630的应答为否,那么方法600可继续进行到框640。方法600可涉及在640处,转变为捕获、编码和/或发射单视场视频数据中的至少一者(例如响应于(i)第一信道质量估计低于信道质量阈值和/或(ii)双眼视差错误估计满足或超过视差错误阈值中的至少一者)。框640可例如由源装置12处的视频源18、视频编码器20和/或I/O控制器22执行。
方法600可继续进行到决策框650,其可涉及确定通信信道16的第二信道质量估计是否满足或超过信道质量阈值。决策框650可例如由源装置12处的源适应引擎450执行。如果对决策框650的应答是否(即,第二信道质量估计并不满足或超过信道质量阈值),那么方法600可继续进行到框640。如果对决策框650的应答为是(即,第二信道质量估计满足或超过信道质量阈值),那么方法600可继续进行到框660。框660可涉及转变为捕获、编码和/或发射第二MV视频数据中的至少一者。框660可例如由源装置12处的视频源18、视频编码器20和/或I/O控制器22执行。方法600可在框660之后结束。
如果对决策框630的应答为是,那么方法600可继续进行到框670,其可涉及继续进行捕获、编码和/或发射MV视频数据中的至少一者,且接着结束。框670可例如由源装置12处的视频源18、视频编码器20和/或I/O控制器22执行。
在相关方面中,方法600可进一步涉及确定后续或第三信道质量估计,和/或接收指示第二MV视频数据的渲染的后续双眼视差错误估计。方法600也可涉及至少部分地基于第三信道质量估计和/或后续双眼视差错误估计,来确定是否继续进行捕获、编码和/或发射MV视频数据中的至少一者,且接着结束。
参看图7,说明可由目的地装置14或其组件执行的用于接收视频数据的方法700。方法700可在710处开始,其可涉及经由无线网络的通信信道16接收第一MV视频数据。框710可例如由目的地装置14处的无线通信子系统480(例如包含WLAN和/或WWAN无线电模块)和/或I/O控制器28执行。
方法700可涉及在720处,确定通信信道16的至少一第一信道质量估计。框720可例如由目的地装置14处的信道质量估计器462执行。
方法700可涉及在730处,确定指示第一MV视频数据的渲染的双眼视差错误估计。框730可例如由目的地装置14处的视差错误估计器490和/或目的地适应引擎460执行。
方法700可涉及在740处,至少部分地基于第一信道质量估计和/或双眼视差错误估计,来确定是否继续进行接收、解码和/或渲染MV视频数据中的至少一者。决策框740可例如由目的地装置14处的目的地适应引擎460执行。
在相关方面中,决策框740可涉及确定(i)第一信道质量估计是否低于信道质量阈值,和/或(ii)双眼视差错误估计是否满足或超过视差错误阈值。
在一个实例中,如果对确定(i)和(ii)两者的应答为是,那么对决策框740的应答可为否(即,决策是不再继续进行接收、解码或渲染MV视频数据中的至少一者)。在另一实例中,如果对确定(i)或(ii)的应答为是,那么对决策框740的应答可为否。
或者,如果对确定(i)和(ii)两者的应答为否,那么对决策框740的应答可为是(即,决策是继续进行接收、解码或渲染MV视频数据中的至少一者)。在另一实例中,如果对确定(i)或(ii)的应答为否,那么对决策框740的应答可为是。
如果对决策框740的应答为否,那么方法700可继续进行到框750。方法700可涉及在750处,转变为接收、解码或渲染单视场视频数据中的至少一者(例如响应于(i)第一信道质量估计低于信道质量阈值和/或(ii)双眼视差错误估计满足或超过视差错误阈值中的至少一者)。框750可例如由目的地装置14处的I/O控制器22、视频解码器30和/或显示装置32执行。
方法700可继续进行决策框760,其可涉及确定通信信道16的第二信道质量估计是否满足或超过信道质量阈值。决策框760可例如由目的地装置14处的目的地适应引擎460执行。如果对决策框760的应答为否,那么方法700可继续进行到框750。如果对决策框760的应答为是,那么方法700可继续进行到框770。框770可涉及转变为接收、解码或渲染第二MV视频数据中的至少一者。框770可例如由目的地装置14处的I/O控制器22、视频解码器30和/或显示装置32执行。方法700可在框770之后结束。
如果对决策框740的应答为是,那么方法700可继续进行到框780,其可涉及继续进行接收、解码和/或渲染MV视频数据中的至少一者,且接着结束。框780可例如由目的地装置14处的I/O控制器22、视频解码器30和/或显示装置32执行。
在相关方面中,方法700可进一步涉及确定后续或第三信道质量估计,和/或接收指示第二MV视频数据的渲染的后续双眼视差错误估计。方法700还可涉及至少部分地基于第三信道质量估计和/或后续双眼视差错误估计,来确定是否继续进行接收、解码或渲染MV视频数据中的至少一者,且接着结束。
上文描述的方法的各个操作可由能够执行所述操作的任何合适的装置来执行,例如各种硬件和/或软件组件、电路和/或模块。一般来说,各图中所说明的任何操作可由能够执行所述操作的对应功能装置执行。
可使用多种不同技术和技法中的任一者来表示信息和信号。举例来说,可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。
结合本文揭示的实施例所描述的各种说明性逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件,或两者的组合。为清晰地说明硬件与软件的此可互换性,上文已大体就其功能性来描述了各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用以及强加于整个系统的设计约束。可针对每一特定应用以不同方式来实施所描述的功能性,但此些实施决策不应被解释为会导致脱离本发明的实施例的范围。
可使用以下各项来实施或执行结合本文中所揭示的实施例而描述的各种说明性块、模块和电路:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件,或其经设计以执行本文所描述的功能的任何组合。通用处理器可为微处理器,但在替代方案中,处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心,或任何其它此类配置。
结合本文中所揭示的实施例而描述的方法或算法的步骤和功能可直接体现在硬件、由处理器执行的软件模块或两者的组合中。如果以软件来实施,那么可将功能作为一或多个指令或代码存储在有形的非暂时性计算机可读媒体上或经由有形的非暂时性计算机可读媒体进行传输。软件模块可驻留在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、可卸除式磁盘、CD ROM或此项技术中已知的任何其它形式的存储媒体中。存储媒体耦合到处理器,使得处理器可从存储媒体读取信息以及将信息写入到存储媒体。在替代方案中,存储媒体可集成到处理器。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。处理器和存储媒体可驻存于ASIC中。ASIC可以驻存于用户终端中。在替代方案中,处理器和存储媒体可作为离散组件驻存于用户终端中。
为了概述本发明,本文已描述了本发明的某些方面、优点和新颖特征。应理解,不一定可根据本发明的任何特定实施例实现所有此些优点。因此,可按照实现或优化如本文中所教示的一个优点或一组优点而不一定实现本文中可能教示或建议的其它优点的方式来体现或执行本发明。
将容易了解对上述实施例的各种修改,且可在不脱离本发明的精神或范围的情况下,将本文定义的一般原理应用于其它实施例。因此,本发明无意限于本文中所示的实施例,而应被赋予与本文中所揭示的原理和新颖特征相一致的最广泛范围。
Claims (20)
1.一种用于经由无线网络发射视频数据的设备,其包括:
至少一个处理器,其经配置以编码作为多视点视频数据的所述视频数据的第一部分并将作为多视点视频数据的所述视频数据的所述第一部分经由所述无线网络发射至目的地装置;以及
输入/输出I/O控制器,其经配置以从所述目的地装置且响应于作为多视点视频数据的所述视频数据的所述第一部分的发射,接收指示深度变形的错误值,所述深度变形是基于在所述目的地装置处作为多视点视频数据的所述视频数据的所述第一部分的渲染而确定的;
其中所述至少一个处理器进一步经配置以基于与作为多视点视频数据的所述视频数据的所述第一部分的渲染相关联的所述错误值与阈值错误值之间的比较而确定是否编码或发射作为多视点视频数据的所述视频数据的第二部分,或者编码或发射作为单视场视频数据的所述视频数据的所述第二部分,在所述阈值错误值处所述至少一个处理器在作为多视点视频数据的所述视频数据的处理部分或者作为单视场视频数据的所述视频数据的处理部分之间转变。
2.根据权利要求1所述的设备,其中所述至少一个处理器进一步经配置以:
在所述视频数据的所述第二部分的发射之前,确定第一信道质量估计,所述第一信道质量估计指示与用于发射所述视频数据的所述第一部分的所述无线网络的通信信道相关联的服务质量;以及
响应于以下各项中的至少一者:(i)所述第一信道质量估计低于信道质量阈值或(ii)所述错误值满足或超过所述阈值错误值,转变到编码或发射作为单视场视频数据的所述视频数据的所述第二部分,其中所述信道质量阈值指示与所述通信信道相关联的所述服务质量的层级,在所述信道质量阈值处,所述至少一个处理器在作为多视点视频数据的所述视频数据的处理部分或者作为单视场视频数据的所述视频数据的处理部分之间转变。
3.根据权利要求2所述的设备,其中所述至少一个处理器进一步经配置以响应于以下各项中的至少一者:(i)所述第一信道质量估计满足或超过所述信道质量阈值或(ii)所述错误值低于所述阈值错误值,编码或发射作为多视点视频数据的所述视频数据的所述第二部分。
4.根据权利要求2所述的设备,其中所述至少一个处理器进一步经配置以响应于以下各项中的至少一者:(i)所述第一信道质量估计低于所述信道质量阈值或(ii)所述错误值满足或超过所述阈值错误值,发射第一消息来指示所述目的地装置转变到接收、解码或渲染作为单视场视频数据的所述视频数据的部分。
5.根据权利要求4所述的设备,其中所述至少一个处理器进一步经配置以响应于所述通信信道的第二信道质量估计满足或超过所述信道质量阈值,发射第二消息来指示所述目的地装置转变到接收、解码或渲染作为多视点视频数据的所述视频数据的部分。
6.一种用于经由无线网络发射视频数据的方法,其包括:
编码作为多视点视频数据的所述视频数据的第一部分并将作为多视点视频数据的所述视频数据的所述第一部分经由所述无线网络发射至目的地装置;
从所述目的地装置且响应于作为多视点视频数据的所述视频数据的所述第一部分的发射,接收指示深度变形的错误值,所述深度变形是基于在所述目的地装置处作为多视点视频数据的所述视频数据的所述第一部分的渲染而确定的;以及
基于与作为多视点视频数据的所述视频数据的所述第一部分的渲染相关联的所述错误值与阈值错误值之间的比较而确定是否编码或发射作为多视点视频数据的所述视频数据的第二部分,或者编码或发射作为单视场视频数据的所述视频数据的所述第二部分,在所述阈值错误值处,对所述视频数据的处理在作为多视点视频数据的所述视频数据的处理部分或者作为单视场视频数据的所述视频数据的处理部分之间转变。
7.根据权利要求6所述的方法,其进一步包括:
在所述视频数据的所述第二部分的发射之前,确定第一信道质量估计,所述第一信道质量估计指示与用于发射所述视频数据的所述第一部分的所述无线网络的通信信道相关联的服务质量;以及
响应于以下各项中的至少一者:(i)所述第一信道质量估计低于信道质量阈值或(ii)所述错误值满足或超过所述阈值错误值,转变到编码或发射作为单视场视频数据的所述视频数据的所述第二部分,其中所述信道质量阈值指示与所述通信信道相关联的所述服务质量的层级,在所述信道质量阈值处,处理在作为多视点视频数据的所述视频数据的处理部分或者作为单视场视频数据的所述视频数据的处理部分之间转变。
8.根据权利要求7所述的方法,其进一步包括响应于以下各项中的至少一者:(i)所述第一信道质量估计满足或超过所述信道质量阈值或(ii)所述错误值低于所述阈值错误值,编码或发射作为多视点视频数据的所述视频数据的所述第二部分。
9.根据权利要求7所述的方法,其进一步包括响应于以下各项中的至少一者:(i)所述第一信道质量估计低于所述信道质量阈值或(ii)所述错误值满足或超过所述阈值错误值,发射第一消息来指示所述目的地装置转变到接收、解码或渲染作为单视场视频数据的所述视频数据的部分。
10.根据权利要求9所述的方法,其进一步包括响应于所述通信信道的第二信道质量估计满足或超过所述信道质量阈值,发射第二消息来指示所述目的地装置转变到接收、解码或渲染作为多视点视频数据的所述视频数据的部分。
11.一种用于经由无线网络接收视频数据的设备,其包括:
输入/输出I/O控制器,其经配置以经由所述无线网络接收作为多视点视频数据的所述视频数据的第一部分;以及
至少一个处理器,其经配置以:
指示显示器装置渲染作为多视点视频数据的所述视频数据的所述第一部分,
确定指示深度变形的错误值,所述深度变形是基于作为多视点视频数据的所述视频数据的所述第一部分的渲染而确定的,
将经确定的错误值传送至所述视频数据的源装置;以及
基于与作为多视点视频数据的所述视频数据的所述第一部分的渲染相关联的所述错误值与阈值错误值之间的比较而确定是否接收、解码或渲染作为多视点视频数据的所述视频数据的第二部分中的至少一者,或者接收、解码或渲染作为单视场视频数据的所述视频数据的所述第二部分中的至少一者,在所述阈值错误值处所述至少一个处理器在作为多视点视频数据的所述视频数据的处理部分或者作为单视场视频数据的所述视频数据的处理部分之间转变。
12.根据权利要求11所述的设备,其中所述至少一个处理器进一步经配置以:
在渲染所述视频数据的第二部分之前,确定第一信道质量估计,所述第一信道质量估计指示与用于接收所述视频数据的所述第一部分的所述无线网络的通信信道相关联的服务质量;以及
响应于以下各项中的至少一者:(i)所述第一信道质量估计低于信道质量阈值或(ii)所述错误值满足或超过所述阈值错误值,转变到接收、解码或渲染作为单视场视频数据的所述视频数据的所述第二部分,其中所述信道质量阈值指示与所述通信信道相关联的所述服务质量的层级,在所述信道质量阈值处,所述至少一个处理器在作为多视点视频数据的所述视频数据的处理部分或者作为单视场视频数据的所述视频数据的处理部分之间转变。
13.根据权利要求12所述的设备,其中所述至少一个处理器进一步经配置以响应于(i)所述第一信道质量估计满足或超过所述信道质量阈值或(ii)所述错误值低于所述阈值错误值,接收、解码或渲染作为多视点视频数据的所述视频数据的所述第二部分中的至少一者。
14.根据权利要求12所述的设备,其中所述至少一个处理器进一步经配置以响应于以下各项中的至少一者:(i)所述第一信道质量估计低于所述信道质量阈值或(ii)所述错误值满足或超过所述阈值错误值,发射第一消息来指示源装置转变到编码或发射作为单视场视频数据的所述视频数据的部分。
15.根据权利要求14所述的设备,其中所述至少一个处理器进一步经配置以响应于所述通信信道的第二信道质量估计满足或超过所述信道质量阈值,发射第二消息来指示所述源装置转变到编码或发射作为多视点(MV)视频数据的所述视频数据的部分。
16.一种用于经由无线网络接收视频数据的方法,其包括:
在目的地装置处,经由所述无线网络接收作为多视点视频数据的所述视频数据的第一部分;
在显示器装置上渲染作为多视点视频数据的所述视频数据的所述第一部分,确定指示深度变形的错误值,所述深度变形是基于在所述显示器装置上的作为多视点视频数据的所述视频数据的所述第一部分的渲染而确定的,
将经确定的错误值传送至所述视频数据的源装置;以及
基于与作为多视点视频数据的所述视频数据的所述第一部分的渲染相关联的所述错误值与阈值错误值之间的比较而确定是否接收、解码或渲染作为多视点视频数据的所述视频数据的第二部分中的至少一者,或者接收、解码或渲染作为单视场视频数据的所述视频数据的所述第二部分中的至少一者,在所述阈值错误值处所述目的地装置在作为多视点视频数据的所述视频数据的处理部分或者作为单视场视频数据的所述视频数据的处理部分之间转变。
17.根据权利要求16所述的方法,其进一步包括:
在渲染所述视频数据的第二部分之前,确定第一信道质量估计,所述第一信道质量估计指示与用于接收所述视频数据的所述第一部分的所述无线网络的通信信道相关联的服务质量;以及
响应于以下各项中的至少一者:(i)所述第一信道质量估计低于信道质量阈值或(ii)所述错误值满足或超过所述阈值错误值,转变到接收、解码或渲染作为单视场视频数据的所述视频数据的所述第二部分中的至少一者,其中所述信道质量阈值指示与所述通信信道相关联的所述服务质量的层级,在所述信道质量阈值处,处理在作为多视点视频数据的所述视频数据的处理部分或者作为单视场视频数据的所述视频数据的处理部分之间转变。
18.根据权利要求17所述的方法,其进一步包括响应于以下各项的至少一者:(i)所述第一信道质量估计满足或超过所述信道质量阈值或(ii)所述错误值低于所述阈值错误值,接收、解码或渲染作为多视点视频数据的所述视频数据的所述第二部分中的至少一者。
19.根据权利要求17所述的方法,其进一步包括响应于以下各项中的至少一者:(i)所述第一信道质量估计低于所述信道质量阈值或(ii)所述错误值满足或超过所述阈值错误值,发射第一消息来指示源装置转变到编码或发射作为单视场视频数据的所述视频数据的部分。
20.根据权利要求19所述的方法,其进一步包括响应于所述通信信道的第二信道质量估计满足或超过所述信道质量阈值,发射第二消息来指示所述源装置转变到编码或发射作为多视点视频数据的所述视频数据的部分。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/610,677 US10334223B2 (en) | 2015-01-30 | 2015-01-30 | System and method for multi-view video in wireless devices |
US14/610,677 | 2015-01-30 | ||
PCT/US2015/065587 WO2016122789A1 (en) | 2015-01-30 | 2015-12-14 | System and method for multi-view video in wireless devices |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107211116A CN107211116A (zh) | 2017-09-26 |
CN107211116B true CN107211116B (zh) | 2020-09-11 |
Family
ID=55083492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580072577.6A Active CN107211116B (zh) | 2015-01-30 | 2015-12-14 | 用于无线装置中的多视图视频的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10334223B2 (zh) |
EP (1) | EP3251345B1 (zh) |
CN (1) | CN107211116B (zh) |
WO (1) | WO2016122789A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112859899A (zh) * | 2014-10-31 | 2021-05-28 | 深圳市大疆创新科技有限公司 | 用于利用视觉标记进行监视的系统和方法 |
US10154139B2 (en) * | 2015-11-16 | 2018-12-11 | Cisco Technology, Inc. | Quality analysis of media at contact centers |
CN112367513B (zh) * | 2016-05-06 | 2022-06-17 | 深圳市大疆创新科技有限公司 | 导航系统和用于感测环境的方法 |
US10743004B1 (en) | 2016-09-01 | 2020-08-11 | Amazon Technologies, Inc. | Scalable video coding techniques |
US10743003B1 (en) | 2016-09-01 | 2020-08-11 | Amazon Technologies, Inc. | Scalable video coding techniques |
US20190166170A1 (en) * | 2017-11-29 | 2019-05-30 | Comcast Cable Communications, Llc | Video Streaming Delivery |
CN112907641B (zh) * | 2021-02-03 | 2024-04-09 | 杭州电子科技大学 | 一种基于细节信息保持的多视点视图深度估计方法 |
KR20230136195A (ko) * | 2021-02-28 | 2023-09-26 | 레이아 인코포레이티드 | 압축된 멀티뷰 동영상을 스트리밍하는 시스템 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011081646A1 (en) * | 2009-12-15 | 2011-07-07 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
CN102474662A (zh) * | 2009-08-06 | 2012-05-23 | 高通股份有限公司 | 根据无线显示协议制备视频数据 |
WO2013023345A1 (en) * | 2011-08-12 | 2013-02-21 | Motorola Mobility, Inc. | Method and apparatus for coding and transmitting 3d video sequences in a wireless communication system |
CN103004214A (zh) * | 2010-07-16 | 2013-03-27 | 高通股份有限公司 | 用于三维视频的基于视觉的质量度量 |
CN103795996A (zh) * | 2012-11-01 | 2014-05-14 | 上海贝尔股份有限公司 | 3d视频传递方法和设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8156238B2 (en) | 2009-05-13 | 2012-04-10 | Stmicroelectronics, Inc. | Wireless multimedia transport method and apparatus |
KR20120007308A (ko) * | 2010-07-14 | 2012-01-20 | 삼성전자주식회사 | 액추에이터 조립체 및 이를 구비한 광학 시스템 |
KR101426579B1 (ko) | 2010-11-08 | 2014-08-05 | 한국전자통신연구원 | 이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법 |
WO2012071063A1 (en) * | 2010-11-23 | 2012-05-31 | Circa3D, Llc | Blanking inter-frame transitions of a 3d signal |
KR101798408B1 (ko) | 2011-01-03 | 2017-11-20 | 삼성전자주식회사 | 3d 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치 |
JP2012182785A (ja) | 2011-02-07 | 2012-09-20 | Panasonic Corp | 映像再生装置および映像再生方法 |
US10244257B2 (en) | 2011-08-31 | 2019-03-26 | Nokia Technologies Oy | Video coding and decoding |
US8983393B2 (en) * | 2012-12-13 | 2015-03-17 | At&T Intellectual Property I, Lp | Method and apparatus for mitigating interference in a wireless communication system |
-
2015
- 2015-01-30 US US14/610,677 patent/US10334223B2/en active Active
- 2015-12-14 CN CN201580072577.6A patent/CN107211116B/zh active Active
- 2015-12-14 EP EP15823250.4A patent/EP3251345B1/en active Active
- 2015-12-14 WO PCT/US2015/065587 patent/WO2016122789A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102474662A (zh) * | 2009-08-06 | 2012-05-23 | 高通股份有限公司 | 根据无线显示协议制备视频数据 |
WO2011081646A1 (en) * | 2009-12-15 | 2011-07-07 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
CN103004214A (zh) * | 2010-07-16 | 2013-03-27 | 高通股份有限公司 | 用于三维视频的基于视觉的质量度量 |
WO2013023345A1 (en) * | 2011-08-12 | 2013-02-21 | Motorola Mobility, Inc. | Method and apparatus for coding and transmitting 3d video sequences in a wireless communication system |
CN103795996A (zh) * | 2012-11-01 | 2014-05-14 | 上海贝尔股份有限公司 | 3d视频传递方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107211116A (zh) | 2017-09-26 |
US20160227191A1 (en) | 2016-08-04 |
US10334223B2 (en) | 2019-06-25 |
EP3251345A1 (en) | 2017-12-06 |
EP3251345B1 (en) | 2021-05-19 |
WO2016122789A1 (en) | 2016-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107211116B (zh) | 用于无线装置中的多视图视频的系统和方法 | |
US9014277B2 (en) | Adaptation of encoding and transmission parameters in pictures that follow scene changes | |
RU2581014C1 (ru) | Устройство обработки изображения | |
RU2651201C2 (ru) | Устройство обработки изображения и способ | |
JP6449329B2 (ja) | ディスプレイストリーム圧縮(dsc)において量子化パラメータ(qp)を選択するためのシステムおよび方法 | |
JP2012533220A (ja) | モバイルデバイスからワイヤレスディスプレイにコンテンツを送信するシステムおよび方法 | |
US20100309984A1 (en) | Dual-mode compression of images and videos for reliable real-time transmission | |
US10165250B2 (en) | Method and apparatus for coding and transmitting 3D video sequences in a wireless communication system | |
TW202232952A (zh) | 用於視訊壓縮的基於機器學習的率失真優化器 | |
TW201503667A (zh) | 視訊串流功率知覺適應 | |
US20220210469A1 (en) | Method For Transmitting Video Picture, Device For Sending Video Picture, And Video Call Method And Device | |
US20230217025A1 (en) | Video encoder, a video decoder and corresponding methods | |
JP6644766B2 (ja) | ディスプレイストリーム圧縮のためにバッファ満杯を決定するためのシステムおよび方法 | |
KR101832407B1 (ko) | 입체 3차원 비디오 정보의 통신을 위한 방법 및 시스템 | |
EP3123714B1 (en) | Video orientation negotiation | |
CN115702562A (zh) | 使用长期参考、深度学习和负载均衡的视频吞吐量改进 | |
CN111263166B (zh) | 一种视频图像预测方法及装置 | |
WO2023287315A1 (en) | Video coding with dynamic groups of pictures | |
CN113395521A (zh) | 图像编码和解码方法及装置 | |
Nightingale et al. | Evaluation of in-network adaptation of scalable high efficiency video coding (SHVC) in mobile environments | |
WO2020143292A1 (zh) | 一种帧间预测方法及装置 | |
WO2022096467A1 (en) | Display control in cloud gaming applications | |
WO2023072554A1 (en) | Video encoding and decoding using reference picture resampling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |