CN104541509A - 兼容三维视频通信 - Google Patents

兼容三维视频通信 Download PDF

Info

Publication number
CN104541509A
CN104541509A CN201380042844.6A CN201380042844A CN104541509A CN 104541509 A CN104541509 A CN 104541509A CN 201380042844 A CN201380042844 A CN 201380042844A CN 104541509 A CN104541509 A CN 104541509A
Authority
CN
China
Prior art keywords
information
video information
message
compatibility
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380042844.6A
Other languages
English (en)
Inventor
王益魁
托马斯·斯托克哈默
尼古拉·康拉德·梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104541509A publication Critical patent/CN104541509A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

可将指示视频流是否包含立体三维视频数据的所述视频流的信息提供到显示装置。此信息允许所述装置确定是否接受所述视频数据及恰当地解码并显示所述视频数据。可使此信息可用于视频数据,而与用以对视频进行编码的编解码器无关。描述了用于包含立体三维图片信息的兼容视频通信的发射及接收的系统、装置及方法。

Description

兼容三维视频通信
技术领域
本发明涉及视频通信,更确切地说,涉及包含立体三维图片信息的兼容视频通信的发射及接收。
背景技术
多种多样的电子装置(包含移动无线通信装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、数码相机、数字记录装置及其类似者)具有各式各样的图像及视频显示能力。一些装置能够显示二维(2D)图像及视频、三维(3D)图像及视频或两者。
可使用多种视频译码过程中的一或多者发射视频信息。一些风行的视频译码过程包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-TH.263、ISO/IEC MPEG-4Visual、包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展的ITU-T H.264(也被称作ISO/IEC MPEG-4AVC),及ITU-T H.265(也被称作ISO/IECMPEG-H HEVC)。在一些情况下,可将图像或视频发射到具有一定的3D能力的装置。
可将经译码视频以文件的形式存储于存储器中以供显示。实例文件格式包含ISO基础媒体文件格式(ISOBMFF,ISO/IEC 14496-12)及从ISOBMFF导出的其它文件格式,所述其它文件格式包含MPEG-4文件格式(ISO/IEC 14496-14)、3GPP文件格式(3GPP TS26.244)及AVC/HEVC文件格式(ISO/IEC 14496-15)。
为了将呈经译码及/或文件格式的视频从源装置传输到显示装置,可使用多媒体传输服务。实例多媒体服务包含经由HTTP的3GPP动态自适应流式传输(3GP-DASH,3GPPTS 26.247)、包交换流式传输(PSS,3GPP TS 26.234)、多媒体广播及多播服务(MBMS,3GPP TS 26.346)及经由IMS的多媒体电话服务(MTSI,3GPP TS 26.114)。
在此整套标准的情况下,并不能够保证给定装置将能够接收及显示根据特定格式译码的媒体。举例来说,能够呈现二维视频数据的装置可试图存取立体三维视频数据。类似地,虽然装置可经配置以呈现一种形式的立体三维视频数据,但其可能不能够呈现第二种形式的立体三维视频数据。
因此,期望提供用于立体三维视频数据的兼容通信的系统及方法。
发明内容
本发明的系统、方法及装置各自具有若干方面,其中无单一方面单独地负责其所要属性。在不限制如通过以下的权利要求书表达的本发明的范围的情况下,现在将简洁地论述一些特征。在考虑此论述之后,并且尤其在阅读了标题为“详细描述”的章节之后,将理解本发明的特征如何提供包含立体三维视频数据的兼容通信的优势。
在一新颖方面,提供一种用于对视频信息进行译码的装置。所述装置包含存储器。所述存储器经配置以存储所述视频信息的至少一部分。所述视频信息包含图像数据。所述装置还包含与所述存储器通信的处理器。所述处理器经配置以从所述存储器接收所述视频信息的至少一部分。所述处理器还经配置以确定与所述图像数据相关联的兼容性信息。所述兼容性信息编码于所述视频信息的第一部分中。所述图像数据编码于所述视频信息的第二部分中。所提供的所述兼容性信息指示所述图像数据是否包含帧封装立体三维视频。所述处理器经进一步配置以基于所述所确定的兼容性信息处理所述视频信息。
在另一新颖方面,提供一种对视频信息进行编码的方法。所述方法包含接收视频信息。所述方法进一步包含经由电子装置的处理器产生所述视频信息的兼容性信息。所述兼容性信息指示视频信息是否包含帧封装立体三维数据。所述方法还包含产生用于发射到目的地装置的消息。所述消息在第一部分中包含所述兼容性信息,且在第二部分中进一步包含所述视频信息。
在另一新颖方面,提供一种对视频信息进行解码的方法。所述方法包含从源装置接收消息。所述消息在第一部分中包含兼容性信息。所述消息在第二部分中进一步包含所述视频信息。包含于所述消息中的所述兼容性信息指示所述消息中的所述视频信息是否包含帧封装立体三维视频。
在又一新颖方面,提供一种包括可由装置的处理器执行的指令的非暂时性计算机可读媒体。所述指令致使所述装置接收包含图像数据的视频信息。所述指令致使所述装置确定与所述图像数据相关联的兼容性信息。所述兼容性信息编码于所述视频信息的第一部分中。所述图像数据编码于所述视频信息的第二部分中。所述兼容性信息指示所述图像数据是否包含帧封装立体三维数据。所述指令进一步致使所述装置基于所述所确定的兼容性信息处理所述视频信息。
在另一新颖方面提供用于对视频信息进行译码的另一装置。所述装置包含用于接收视频信息的装置。所述视频信息包含图像数据。所述装置包含用于确定与所述图像数据相关联的兼容性信息的装置。所述兼容性信息编码于所述视频信息的第一部分中。所述图像数据编码于所述视频信息的第二部分中。所述兼容性信息指示所述图像数据是否包含帧封装立体三维数据。所述装置还包含用于处理所述视频信息的装置。基于所述所确定的兼容性信息处理所述视频信息。
下文进一步参考下图描述符合本发明的这些及其它实施方案。
附图说明
图1说明示范性视频编码及解码系统的功能框图。
图2展示示范性视频处理装置的功能框图。
图3说明示范性编码装置的功能框图。
图4说明用于提供图像编码兼容性信息的示范性消息编码的消息图。
图5说明用于图像兼容性信息的另一示范性编码的消息图。
图6说明示范性解码装置的功能框图。
图7展示对视频信息进行编码的方法的实例的过程流程图。
图8展示对视频信息进行解码的方法的实例的过程流程图。
图9展示用于对视频信息进行译码的装置的实例的功能框图。
在图中,具有相同或类似功能的元件尽可能地具有相同名称。
具体实施方式
可将指示视频流是否包含立体三维视频数据的视频流的信息提供到显示装置。此信息允许装置确定是否接受视频数据及恰当地解码并显示所述视频数据。可使此信息可用于视频数据,而与用以对视频进行编码的编解码器无关。独立于用以对数据进行编码的编解码器的通用解决方案是合乎需要的。
举例来说,支持呈3GPP文件格式、3GP-DASH、PSS及MBMS的帧封装立体3D视频的实施方案可能并不向后兼容根据规范的较早3GPP版本(例如,版本10)实施的旧版装置。这些装置可接收、解码及呈现帧封装立体3D视频位流,就好像其为2D视频位流一样。这可产生具有与位流经解码及呈现为帧封装立体3D视频位流的情况相比较低的视觉质量水平的图片。
同样考虑根据较新3GPP版本(例如,版本11)实施但并未经配置以支持帧封装立体3D视频的装置。此些装置无法容易识别视频内容是否为帧封装立体3D视频。因此,关于接受还是拒绝内容的决策可为复杂的、效率低下的且资源密集型的。
所描述的实施例包含系统及方法,所述系统及方法包含关于帧封装立体3D视频是否包含于高系统层级(例如,传输层、序列层、位流层)处的给定通信中(例如在基于实时传输协议(RTP)的包切换流(PSS)流式传输的会话描述协议(SDP)中)的指示。所述指示允许包含旧版装置的装置容易决定接受还是拒绝内容。可在不必解封装整个视频消息的情况下作出决策,从而节约装置及网络资源。
序列层及位流层通常是指包含于图像数据中的图像群组。举例来说,序列可指图像数据帧的群组。序列层处所包含的值可应用于群组的每一成员。通过识别序列或位流层处的兼容性,位流或序列的构成组分不需要解码或以其它方式进行处理,以确定其是否包含帧封装立体三维数据。
本文中所描述的系统及方法的实施例包含帧封装立体三维(3D)视频的向后兼容支持。举例来说,在根据H.264/AVC或HEVC实施的系统中,经由帧封装布置服务扩展信息(SEI)消息指示帧封装立体3D视频。此消息包含于所接收的视频传播的视频数据(例如有效负载)中。因此,为了确定视频数据是否包含3D信息,接收装置可仅获得及解码所接收的视频数据,从而发现接收装置无法对视频进行解码。获得及解码的过程可致使接收装置花费宝贵的资源,例如电力、带宽、处理循环、时间及其类似者。允许接收装置识别包含于有效负载中的信息的类型可帮助节约这些资源。
所描述的方面的另一非限制性优势为经配置以操纵某些立体3D视频数据的装置可更快地识别包含3D信息的视频数据。这具有允许装置作出所接收的视频包含3D信息的早期确定及进行调整以解码及呈现此数据的益处。举例来说,装置可包含可配置解码管线,可动态地调整所述可配置解码管线以根据所接收的视频数据进行解码。这允许实施通用解码器,所述通用解码器可操纵经由多种代码编码及/或以多个格式存储的视频数据。
在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。举例来说,可以在框图中展示电组件/装置,以免用不必要的细节混淆所述实例。在其它实例中,可详细展示此些组件、其它结构和技术以进一步解释所述方面。
还应注意,可能将所述实例描述成过程,这个过程被描绘成程序图、流程图、有限状态图、结构图或框图。尽管流程图可以将操作描述成顺序过程,但是许多操作可以并行或同时执行,并且所述过程可以重复。另外,可重新布置操作的次序。过程在其操作完成时终止。过程可以对应于方法、函数、程序、子例程、子程序等。当过程对应于软件函数时,其终止对应于所述函数返回到调用函数或主函数。
所属领域的技术人员将理解,可使用多种不同技术和技法中的任一者来表示信息和消息。举例来说,可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。
下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
图1说明示范性视频编码及解码系统的功能框图。如图1中所示,系统10包含可经配置以经由通信信道15将经编码视频发射到目的地装置16的源装置12。源装置12及目的地装置16可包括多种多样的装置中的任一者,包含移动装置或通常固定装置。在一些状况下,源装置12及目的地装置16包括无线通信装置,例如无线手持机、所谓的蜂窝式或卫星无线电电话、个人数字助理(PDA)、移动媒体播放器或可经由可能为无线或可能不为无线的通信信道15传达视频信息的任何装置。源装置还可包含机顶盒、控制台(例如,游戏控制台、DVD/蓝光控制台)、数字视频接收器/记录器、平板计算机、手持式游戏控制台及其类似者。然而,涉及兼容的帧封装立体三维数据通信的本发明的技术可用于许多不同系统及设置中。图1仅为此系统的一个实例。
在图1的实例中,源装置12可包括视频源20、视频编码器22、调制器/解调器(调制解调器)23及发射器24。目的装置16可包括接收器26、调制解调器27、视频解码器28及显示装置30。根据本发明,源装置12的视频编码器22可经配置以对图片序列进行编码。视频编码器22可经配置以对与图片相关联的额外信息(例如3D转换信息,其包含可应用于视频图片中的每一者以产生3D视频数据的参数集合)进行编码。调制解调器23及发射器24可调制及发射无线信号到目的地装置16。以此方式,源装置12将经编码的图片序列连同任何额外相关联信息一起传达到目的地装置16。
接收器26及调制解调器27接收及解调从源装置12接收的无线信号。因此,视频解码器28可接收图片序列。视频解码器28还可接收可用于对经译码图片序列进行解码的额外信息。
源装置12及目的装置16仅为这些译码装置的实例,其中源装置12产生用于发射到目的装置16的经译码视频数据。在一些状况下,装置12、16可以实质上对称的方式操作,使得装置12、16中的每一者包含视频编码和解码组件。因此,系统10可支持视频装置12、16之间的单向或双向视频发射,例如用于视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源20可包括视频俘获装置,例如视频相机、含有先前俘获的视频的视频档案或来自视频内容提供者的视频馈送。作为另一替代方案,视频源20可产生基于计算机图形的数据作为源视频,或直播视频(live video)、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源20为视频相机,那么源装置12及目的装置16可形成所谓的相机电话或视频电话。在每一状况下,视频编码器22可对所俘获、所预俘获或计算机产生的视频进行编码。作为编码过程的部分,视频编码器22可经配置以实施本文中所描述的方法中的一或多者,例如产生用于视频的兼容的帧封装立体三维数据通信。
经编码视频信息可接着通过调制解调器23根据通信标准(例如,码分多址(CDMA)或另一通信标准)进行调制,且经由发射器24而发射到目的装置16。经编码视频信息可包含图片定向信息。调制解调器23可包含各种混频器、滤波器、放大器或经设计用于信号调制的其它组件。发射器24可包含经设计用于发射数据的电路,所述电路包含放大器、滤波器及一或多个天线。
目的地装置16的接收器26可经配置以经由信道15接收信息。调制解调器27可经配置以解调信息。视频编码过程可实施本文中所描述的技术中的一或多者以包含图像兼容性信息。经由信道15传达的信息可包含由视频编码器22定义的信息,所述信息可由符合本发明的视频解码器28使用。显示装置30向用户显示经解码的视频数据,且可包括例如阴极射线管、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置的多种显示装置中的任一者。
在图1的实例中,通信信道15可包括任一无线或有线通信媒体,例如,射频(RF)频谱或一或多个物理传输线、或无线和有线媒体的任一组合。因此,调制解调器23及发射器24可支持许多可能的无线协议、有线协议或有线及无线协议。通信信道15可形成例如局域网(LAN)、广域网(WAN)或全球网(例如,包含一或多个网络的互连的因特网)的基于包的网络的一部分。通信信道15通常表示用于将视频数据从源装置12发射到目的装置16的任何合适的通信媒体或不同通信媒体的集合。通信信道15可包含可用于促进从源装置12到目的装置16的通信的路由器、交换器、基站或任何其它设备。本发明的技术不一定需要将经编码数据从一个装置传达到另一装置,且可适用于没有反向解码的编码情形。而且,本发明的方面可适用于没有反向编码的解码情形。
视频编码器22及视频解码器28可与视频压缩标准相一致地操作,所述视频压缩标准例如ITU-T H.264标准(或者被描述为MPEG-4,第10部分,及高级视频译码(AVC))或被称为高效率视频译码(HEVC)的下一代视频译码标准。然而,本发明的技术不限于任何特定译码标准或其扩展。尽管图1中未展示,但在一些方面中,视频编码器22及视频解码器28可各自与音频编码器及解码器集成,且可包括适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件,以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用,那么多路复用器-多路分用器(MUX-DEMUX)单元可符合多路复用器协议(例如,ITU H.223),或例如用户数据报协议(UDP)等其它协议。
视频编码器22及视频解码器28各自可实施为一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、执行于微处理器或其它平台上的软件、硬件、固件或其任何组合。视频编码器22和视频解码器28中的每一者可包含在一或多个编码器或解码器中,其任一者可作为经组合的编码器/解码器(CODEC)的部分集成在相应移动装置、订户装置、广播装置、服务器或其类似者中。
视频序列通常包含一系列视频图片。视频编码器22及视频解码器28可对个别视频图片内的视频块进行操作以便对视频数据进行编码及解码。所述视频块可具有固定的或变化的大小,且可根据指定的译码标准而大小不同。每一视频图片可包含一系列切片或其它可独立解码的单元。每一切片可包含一系列宏块或可经配置成子块的例如译码树单元等其它视频块。作为实例,ITU-T H.264标准支持各种块大小的帧内预测(例如对于明度分量,16乘16、8乘8或4乘4,及对于色度分量,8乘8)以及各种块大小的帧间预测(例如对于明度分量,16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4,及对于色度分量,对应的经按比例缩放的大小)。视频块可包含像素数据的块,或变换系数的块,例如,在例如离散余弦变换或概念上类似的变换过程等变换过程之后。
可将宏块、译码树单元或其它视频块分组到例如切片、切片群组、平铺块或其它独立单元等可独立解码的单元中。可将宏块、译码树单元或其它视频块分组到例如相依切片、熵切片、波前平行处理波或其它相依单元等非独立可解码的单元中。每一切片可为视频图片的可独立解码的单元。或者,图片自身可为可解码的单元,或图片的其它部分可被定义为可解码的单元。在本发明中,术语“经译码单元”是指例如整个图片、图片的切片或根据所使用的译码技术定义的另一可独立解码的单元等视频图片的任何可独立解码的单元。
图2展示示范性视频处理装置的功能框图。装置202为可经配置以实施本文中所描述的各种方法的装置的实例。举例来说,装置202可被实施为源装置12或目的地装置16。
装置202可包含控制装置202的操作的处理器单元204。处理器单元204中的一或多者可被统称为中央处理单元(CPU)。存储器206(其可包括只读存储器(ROM)与随机存取存储器(RAM)两者)将指令及数据提供到处理器204。存储器206通常可被实施为计算机可读存储媒体。存储器206的一部分还可包含非易失性随机存取存储器(NVRAM)。处理器单元204可经配置以基于存储于存储器206内的程序指令执行逻辑及算术操作。存储器206中的指令可为可执行的以实施本文中所述的方法。
处理器单元204可以通用微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑装置(PLD)、控制器、状态机、门控逻辑、离散硬件组件、专用硬件有限状态机或可执行信息的计算或其它操纵的任何其它合适的实体的任何组合来实施。在其中处理器单元204包含DSP的实施方案中,DSP可经配置以产生用于发射的包(例如,数据包)。在一些方面中,包可包括物理层数据单元(PPDU)。
装置202还可包含用于存储软件的机器可读媒体。处理单元204可包括用于存储软件的一或多个非暂时性机器可读媒体。软件应被广泛地解释为意指任何类型的指令,不管是被称作软件、固件、中间件、微码、硬件描述语言还是其它。指令可包括代码(例如,呈源代码格式、二进制代码格式、可执行代码格式或任何其它合适代码格式)。指令在由处理器单元204执行时致使装置202执行本文中所描述的各种功能。
装置202可包含发射器210及/或接收器212以允许在装置202与远程位置之间分别发射及接收数据。发射器210及接收器212可组合为收发器214。天线216可附接到外壳208,且与收发器214电耦合。装置202还可包含(未图示)多个发射器、多个接收器、多个收发器及/或多个天线。
发射器210可经配置以无线地发射包及/或信号。举例来说,发射器210可经配置以发射上文所论述的由处理器单元204产生的不同类型的包。将待发射的包提供到发射器201。举例来说,处理器单元204可将包存储于存储器206中,且发射器201可经配置以检索所述包。一旦发射器检索到所述包,发射器201便经由天线216发射所述包。在一些实施方案中,发射器201可经由网络输入/输出224发射所述包。
如果装置202被实施为目的地装置16,那么天线216检测无线地发射的包/信号。接收器212可经配置以处理所检测到的包/信号,且使其可由处理器单元204获得。举例来说,接收器212可将包存储于存储器206中,且处理器单元204可经配置以检索包。
装置202还可包含可用于努力检测及量化由收发器214接收的信号的水平的信号检测器218。装置202还可包含用于处理信号的数字信号处理器(DSP)220。DSP 220可经配置以产生用于发射的包。在一些方面中,包可包括物理层数据单元(PPDU)。
在一些实施方案中,装置202可进一步包括用户接口222。用户接口222可包括小键盘、麦克风、扬声器及/或显示器。在一些实施方案中,装置202可与显示器耦合。举例来说,装置202可被实施为机顶盒,其接收视频信息,处理所述信息以供显示,及将信息发射到电视以供显示。用户接口222可进一步包含将信息传达到装置202的用户及/或从用户接收输入的任何元件或组件。装置202还可包含环绕包含于装置202中的组件中的一或多者的外壳208。
装置202可包含视频译码处理器228。在被实施为源装置12时,视频译码处理器228可经配置以例如从一或多个相机或其它图像俘获装置接收视频数据。视频译码处理器228可包含编码器,例如上文所论述的视频编码器22或下文参看图3展示及描述的编码装置。视频译码处理器228可经配置以包含由装置202产生的多媒体流/文件中的图像兼容性信息。
在被实施为目的地装置16时,视频译码处理器228可经配置以接收及解码多媒体数据,且提供数据以供呈现。视频译码处理器228可包含解码器(例如上文所描述的视频解码器28或下文参看图6展示描述的解码装置)。包含于目的地装置16中的视频译码处理器228可经配置以识别包含立体三维数据的多媒体数据,且调整此数据的处理。在一些实施方案中,调整包含拒绝多媒体数据及终止其后续传递。在一些实施方案中,调整包含配置解码器以执行与所识别的图像兼容性信息兼容的解码过程。
装置202可包含时钟230。时钟230可经配置以识别时间点。时钟230可识别绝对时间点(例如,特定日期和时间信息)。时钟230可经配置以识别相对时间点(例如,多媒体呈现中的点)。时钟230可与包含于源装置12中的俘获传感器耦合。时钟230可提供在视频俘获的各种点处的时间信息。此时间信息可包含于被发射到目的地装置16的视频信息中。
装置202的各种组件可由总线系统226耦合在一起。总线系统226可包含例如数据总线以及除了数据总线之外的电源总线、控制信号总线及状态信号总线。所属领域的技术人员将理解装置202的组件可耦合在一起,或使用某一其它机构接受输入或向彼此提供输入。
尽管图2中说明了数个单独组件,但所属领域的技术人员将辨识出可组合或通常实施组件中的一或多者。举例来说,处理器单元204可用以不仅实施上文关于处理器单元204所描述的功能性,而且实施上文关于信号检测器218所描述的功能性。此外,可使用多个单独元件来实施图2中所说明的组件中的每一者。
图3说明示范性编码装置的功能框图。图3中所示的编码装置300接收多媒体信息作为一个输入。多媒体信息包含视频及音频信息。如果多媒体包含三维视频,那么可包含两个视图(例如,左视图及右视图)。
编码装置300包含图像编码器302。所展示的图像编码器302接收多媒体数据,且产生多媒体数据/流的经编码版本。图像编码器302还可接收图像编码配置输入。图像编码配置输入可识别待应用的编码方案。可提供图像编码配置输入一次,且将其用于所有多媒体流。图像编码配置输入可为动态的,且针对每一多媒体流或针对多媒体流的每一部分提供所述图像编码配置输入。在动态配置中,可至少部分基于多媒体信息、源装置12的一或多个特性(例如,功率、处理能力、负载)、目的地装置16的一或多个特性(例如,功率、处理能力、负载、与源装置耦合)及/或可由源装置12获得的其它信息选择图像编码配置。
图像编码器302可经配置以将所识别的编码方案应用于多媒体信息以产生多媒体数据的经编码版本。在一些实施方案中,多媒体数据的经编码版本可由源装置12进一步处理(例如,加密、压缩)。
将AVC文件格式视为一个图像编码格式。AVC文件包含配置文件兼容性字段。在一些实施方案中,配置文件兼容性字段的字段可用以指示样本项所应用于的视频位流是否含有帧封装布置SEI消息。作为一个实例,可将profile_compatibility中的第二字节的位7(例如,最高有效位)设定成1以指示样本项所应用于的视频位流含有帧封装布置SEI消息。在此实施方案中,如果将值设定成0,那么字段指示样本项所应用于的视频位流不含有帧封装布置SEI消息。或者,值等于1指示样本项所应用于的视频位流可含有帧封装布置SEI消息。在样本项所应用于的视频位流含有至少一个帧封装布置SEI消息时,可将profile_compatibility中的第二字节的位7(最高有效位)设定成1。
3GPP文件格式为图像编码器302可经配置以执行的另一实例图像编码格式。3GPP文件格式包含用于每一样本的样本项类型。在样本项类型为与AVC相关联的类型(例如,‘avc1’、‘avc2’、‘avc3’或‘avc4’)时,值可包含于样本的配置文件兼容性字段中,其指示样本项应用是否含有帧封装布置SEI消息。举例来说,配置文件兼容性值1可指示样本项所应用于的视频位流含有帧封装布置SEI消息,如H.264/AVC中所指定。值等于0指示样本项所应用于的视频位流不含有帧封装布置SEI消息。或者,值等于1指示样本项所应用于的视频位流可含有帧封装布置SEI消息。在样本项所应用于的视频位流含有至少一个帧封装布置SEI消息时,可将profile_compatibility中的第二字节的位7(最高有效位)设定成1。
通过这两个实例,应注意多媒体数据是否包含立体三维数据的识别符包含于经编码多媒体数据中。
将经编码多媒体数据提供到消息编码器304。消息编码器304可产生包含经编码多媒体数据的多媒体消息。
消息编码器304可接收消息编码配置。消息编码配置可指示将如何产生及/或发射多媒体消息。举例来说,消息编码配置可指示用于经编码多媒体的传输协议。基于此信息,消息编码器304可产生多媒体消息以使得关于经编码多媒体数据是否包含立体三维数据的指示包含于多媒体消息的传输层部分中,且经编码多媒体数据包含于多媒体消息的第二部分(例如,有效负载)中。消息编码器304可包含基于也可由消息编码器304接收的图像编码配置的指示。在一些实施方案中,消息编码器304可通过解码或以其它方式处理经编码多媒体数据来确定经编码多媒体数据是否包含立体三维数据。
可提供消息编码配置输入一次,且将其用于所有多媒体流。消息编码配置输入可为动态的,且针对每一多媒体流或针对多媒体流的每一部分提供所述图像编码配置输入。在动态配置中,可至少部分基于多媒体信息、源装置12的一或多个特性(例如,功率、处理能力、负载)、目的地装置16的一或多个特性(例如,功率、处理能力、负载、与源装置耦合)及/或可由源装置12获得的其它信息选择图像编码配置。
在一个实施方案中,消息编码器304的编码可包含指示第一部分中的立体三维数据及第二部分中的图像/视频数据的存在的值。举例来说,指示立体三维数据的存在的值可包含于不同于图像数据有效负载的传输层标头字段中。这可提供立体三维视频数据的更快识别,而不需要对图像数据进行解码以识别所接收的视频数据的类型。
消息编码器304可经配置以产生经由HTTP的兼容动态自适应流式传输(DASH)消息。DASH消息包含指定包含于流式传输呈现中的媒体类型的字段。举例来说,在XML文件内的编解码器属性可用以指定媒体类型。媒体类型字段(例如,编解码器)可包含所指定的媒体类型的配置文件及层级信息。在一些实施方案中,编解码器属性的内容符合RFC6381条款3.2的simp-列表或凡西-列表产品。在某一情况下,可在不围封DQUOTE字符的情况下指定属性。在一些实施方案中,可使用被映射到编解码器的姓名空间中的媒体格式的编解码器识别符(如RFC6381条款3.3中所指定)。
媒体类型字段(例如,编解码器属性)的值可包含指示AVC配置文件的值。在此些情况下,如果视频流含有至少一个帧封装布置SEI消息,那么值可包含指示在属性内的帧封装布置的值。举例来说,可将媒体类型字段(例如,编解码器属性)的第二元素的第二字节的位7(例如,最高有效位)设定成1,且将其它的位设定成0。
图4说明提供图像编码兼容性信息的示范性消息编码的消息图。在一些实施方案中,视频数据带内可包含图像编码兼容性信息。在此些实施方案中,图像编码兼容性信息连同消息400中的视频数据一起被发射。
可经由包含于消息400中的经译码的图片字段406发射图片信息(例如,图像)。消息400还可包含一或多个高系统层级字段404。高系统层级字段的一个实例为传输层标头,其为图像兼容性信息标头412。图像兼容性信息标头412可包含类型字段420。类型字段420可包含识别标头类型的值。在图像兼容性信息的状况下,包含于类型字段420中的类型值可与图像兼容性信息相关联。序列或位流标头字段为高系统层级字段的其它实例。
基于包含于类型字段420中的值,接收消息400的装置可确定是否利用经提供以用于处理图片信息的图像编码兼容性信息。如果装置并未经配置以接收、解码或呈现立体三维视频数据,那么装置可拒绝流。如果装置经配置以接收、解码或呈现立体三维视频数据,那么装置可从标头412提取图像编码兼容性信息,且相应地处理经编码图片。
图4中所示的图像兼容性信息标头412还包含图像兼容性信息字段422。图像兼容性信息字段422包含指示图像兼容性信息的一或多个值。举例来说,图像兼容性信息字段422可包含在已知位位置处的值,所述值在等于第一值时指示视频数据包含帧封装立体三维数据,且在等于第二值时,指示视频数据不包含帧封装立体三维数据。
例如经由消息400带内发射图像编码兼容性信息可适用于许多实施方案。然而,消息的语法可为编解码器特定的,例如,如上文参考DASH、PSS及MBMS所论述。
图5说明用于图像兼容性信息的另一示范性编码的消息图。消息500的格式可符合例如实时传输协议标准(如RFC 3550中所指定)及/或其扩展(如RFC 5285所指定)。因此,消息500可用于图像兼容性信息的带外发射。
消息500可包含版本字段502。版本字段502可包含指示规范的哪一版本用以产生消息500的值。接收装置可使用版本信息来确定消息500的恰当解码方案。
消息500可包含填补字段504。填补字段504可包含指示消息500是否包含填补位(例如在末尾)的值。消息500可包含格式字段506。格式字段506可包含指示消息格式类型的值。
消息500可包含有效负载类型字段508。对于每一消息格式类型,可定义一或多个有效负载类型。有效负载类型字段508可用以识别用以对有效负载进行编码的格式。
在一些实施方案中,有效负载类型字段508可包含配置文件层级识别符。配置文件层级识别符的值可经指派以指示有效负载是否包含立体三维视频数据。举例来说,如RFC 6184中所指定,可将profile-level-id中的第二字节的最高有效位(例如,位7)设定成1,以指示有效负载(例如,视频位流)含有帧封装布置SEI消息。可将这个位设定成0以指示视频位流不含有帧封装布置SEI消息。应注意,接收具有包含profile-level-id(其中指定位等于1)的有效负载类型字段508的消息的旧版客户端可拒绝内容。或者,位等于1指示视频位流可含有帧封装布置SEI消息,且接收装置可相应地调整解码。
消息500可包含序列号字段510。序列号字段510可用以相对于其它包识别消息500。序列号字段510可由接收装置使用以检测丢包及/或确保所接收的包的恰当次序。
消息500可包含时间戳字段512。时间戳字段512可包含识别与所接收的视频数据相关联的绝对或相对时间点的值。图5中所示的消息500包含源识别符字段514。源识别符字段514可包含识别消息500的源流的同步源标识符的值。消息500可包含一或多个贡献源识别符518。贡献源识别符518指示可向与消息500相关联的流贡献内容及/或信息的源。
消息500还包含扩展标头信息。扩展标头信息可为一个字节标头、两个字节标头或其它数量的字节标头。在图5中所示的消息500中,每一扩展标头信息元素包含三个字段,亦即扩展标头识别符字段520、扩展标头长度字段522及扩展标头字段524。扩展标头识别符字段520包含识别包含于此元素中的扩展标头信息的类型的值。可在会话协商期间例如经由扩展映射(例如,extmap)属性指定扩展标头识别符。实例extmap属性为“urn:ietf:params:rtp-hdrext:avc-compat”。扩展标头长度字段522包含指示包含于扩展标头字段524中的信息的长度的值。扩展标头字段524包含与扩展标头识别符相关联的信息。
扩展标头字段524可用以识别图像兼容性信息,如图5中所示。扩展标头字段524可包含识别三维视频数据的存在、三维数据的类型及/或用以对视频数据进行编码的帧封装格式的值。在一些实施方案中,扩展标头字段524可包含多字段值,其包含在单个扩展标头字段中的若干图像兼容性值。
如果消息500不包含图像兼容性信息,那么接收装置可经配置以提取有效负载,且经由传统的方法处理图像数据。在一些实施方案中,如果消息500不包含图像兼容性信息,那么接收装置可推断与包含此信息的先前接收的消息相同的图像兼容性信息。举例来说,推断可包含存储与发送器装置识别符相关联的第一图像兼容性信息(例如,MAC地址、MEID、IP地址)。在从相同发送器装置接收后续消息时,可将先前接收的图像兼容性信息应用于后续消息。其它或额外关联信息可用以产生推断,例如会话识别符、符记、媒体识别符、用户名及其类似者。
在一些实时流式传输实施方案中,在接收消息500之前,可在发送装置与接收器装置之间建立会话。在此些实施方案中,会话协商消息传递可包含将在会话期间发射的视频的图像兼容性信息。接收装置可经配置以应用默认图像兼容性信息,除非经由后续消息传递另外规定。
可使用的另一实例服务为多媒体广播及多播服务(MBMS)。因为可经由RTP传达MBMS,所以可以类似于在例如图5中描述的RTP中传达信息的方式传达MBMS多媒体数据的图像兼容性信息。
图6说明示范性解码装置的功能框图。解码装置600可包含于目的地装置16中。所示的解码装置600包含传输收发器601、解码器602及显示预处理器604。
传输收发器601可经配置以获得多媒体消息,例如图4中所示的多媒体消息。传输接收器601可经进一步配置以从多媒体消息的第一部分获得图像兼容性信息及从多媒体消息的第二部分获得经编码多媒体数据。传输接收器601可将经编码多媒体数据提供到解码器602。传输接收器601还可将图像兼容性信息提供到显示预处理器604及解码器602中的一或多者。
传输收发器601经进一步配置以产生及发射响应消息。可将响应消息发射到提供多媒体消息的装置。响应可确认多媒体消息的接收。响应可确认解码装置600可对包含于有效负载中的多媒体消息及/或经编码多媒体数据进行解码。传输收发器601可通过分别比较包含于多媒体消息中的信息与解码配置及显示配置来确定解码装置600是否可解码及呈现所接收的多媒体消息。举例来说,如果图像兼容性信息包含指示帧封装立体三维视频数据包含于有效负载中的值,那么解码装置的解码配置可包含与可提取帧封装立体三维视频数据的解码过程相关联的值。在此些实施方案中,响应可包含指示多媒体消息可能解码的消息。
在一些实施方案中,解码配置可不包含兼容解码信息。在此些实施方案中,传输收发器601可经配置以产生指示解码装置600无法对所接收的多媒体消息进行解码的响应消息。响应消息可进一步包含所支持的解码方案。
解码为解码装置600功能性的一部分。解码装置600还可经配置以准备用于呈现的多媒体。在此些实施方案中,解码装置600可经配置以对多媒体数据进行解码,但目的地显示器可并未经配置以显示所接收的多媒体数据类型。举例来说,解码器602可经配置以对帧封装立体三维数据进行解码,但显示装置可为二维监视器。在此些实施方案中,传输收发器601可产生响应消息,所述响应消息指示针对三维数据的解码是可能的,但显示器将在两个维度中。这允许发送装置作出关于其是应继续发射例如帧封装立体三维数据还是切换到由目标显示器支持的不同编码格式的确定。
解码器602可接收经编码多媒体数据。经编码多媒体数据可以上文所描述的方式中的一或多者编码。解码器602可接收图像兼容性信息。图像兼容性信息可被用作解码过程的部分。举例来说,图像兼容性信息可用以针对用以产生经编码多媒体数据的编码配置解码管线。这可包含保留视频缓冲器。
解码器602还可接收解码配置输入。解码配置输入可识别待应用的解码方案。可提供解码配置输入一次,且将其用于所有多媒体流。解码配置输入可为动态的,且针对每一经编码多媒体数据提供所述解码配置输入。在动态配置中,可至少部分基于所接收的多媒体数据、源装置12的一或多个特性(例如,功率、处理能力、负载)、目的地装置16的一或多个特性(例如,功率、处理能力、负载、与源装置耦合)及/或可由目的地装置16获得的其它信息选择解码配置。
解码器602提供经解码多媒体数据作为输出。如图6中所示,可将多媒体数据提供到显示预处理器604。显示预处理器604可经配置以至少部分基于兼容性信息及/或经解码多媒体调整多媒体数据。
显示预处理器604还可接收显示配置输入。显示配置输入可包含值,例如目标显示的定向、目标显示的尺寸、以二维还是三维显示的偏好及其类似者。因此,显示预处理器604可在显示图片之前取决于用户偏好、系统配置或其类似者选择性地调整来自解码器602的输出图片。显示预处理可包含颜色校正、时间校正、宽高比校正、按比例缩放及/或裁剪输出图片以适合于目标显示器大小。
图7展示对视频信息进行编码的方法的实例的过程流程图。图7中所示的方法可实施于本文中所描述的装置(例如,图2中所示的视频译码装置或图3中所示的的编码装置)中的一或多者中。
在节点702处,接收视频信息。在一些实施方案中,接收视频信息可包含从存储器检索视频信息的至少一部分。在一些实施方案中,接收视频信息可包含经由网络接收包含视频信息的消息。举例来说,可经由无线通信信道流式传输视频信息。所接收的视频信息可暂时全部或部分存储于存储器中以供进一步处理。
在节点704处,由电子装置的处理器产生视频信息的兼容性信息。兼容性信息指示视频信息是否包含帧封装立体三维数据。
在节点706处,产生用于发射到目的地装置的消息。消息在第一部分中包含兼容性信息。消息在第二部分中还包含视频信息。兼容性信息指示视频信息是否包含帧封装立体三维视频。
作为一个实例,兼容性信息可包含于消息的传输层标头字段中,而图像数据可包含于有效负载中。虽然可对整个消息进行编码,但可与有效负载独立地对标头字段进行编码。接收装置可向标头字段询问包含于有效负载中的图像数据的兼容性信息的初始指示。如果兼容性信息指示图像数据包含立体三维帧封装数据,那么接收装置可更改消息的后续处理。举例来说,接收装置可避免处理/解码有效负载。作为另一实例,在一些实施方案中,接收装置可将有效负载投送到专门经配置的解码器,所述解码器提供立体三维帧封装数据的增强解码。
通过避免处理图像数据,无法处理立体三维帧封装数据的接收装置不会开始可包含花费贵重系统及网络资源的解码过程。基于兼容性信息,接收装置可动态地调整以接受多种视频格式,其中的一些可在制造装置之后出现于服务中。这可延长装置在快速开发技术空间(例如视频及多媒体)时可使用的时间周期。
图8展示对视频信息进行解码的方法的实例的过程流程图。图8中所示的方法可实施于本文中所描述的装置(例如图2中所示的视频译码装置或图6中所示的解码装置)中的一或多者中。
在节点802处,从源装置接收消息。消息在第一部分中包含兼容性信息。消息在第二部分中还包含视频信息。兼容性信息指示所述视频信息是否包含帧封装立体三维视频。在节点804处,基于兼容性信息处理视频信息。处理可包含解码、设立解码管线,配置解码器,保留系统资源(例如,功率、处理器、通信带宽)及其类似者。在一些实施方案中,处理可包含在兼容性信息指示包含帧封装三维视频数据且接收解码器不支持此视频数据时拒绝与视频信息相关的进一步通信。
图9展示用于对视频信息进行译码的装置的实例的功能框图。装置900包含可用于描述上文所论述的某些方面的若干特征。将理解译码装置可包含执行译码装置(例如,移动智能电话、平板计算机、膝上型计算机、游戏控制台、机顶盒、个人计算机或其类似者)的功能的额外元件(例如,电路)。
装置900包含接收器902。接收器902可包含天线、网络接口、网络适配器、信号处理器或包含非易失性存储器电路(例如,EEPROM、快闪等)的存储器电路中的一或多者。存储器902可经配置以存储例如图像数据等视频信息。存储可包含存储视频信息的全部或一部分。在一些实施方案中,用于接收视频信息的装置可包含接收器902。
装置900还包含兼容性处理器904。兼容性处理器904经配置以确定与视频信息相关联的兼容性信息。兼容性处理器904可包含以下各者中的一或多者:经配置以接收视频信息的数据接收器、经配置以从视频信息提取兼容性信息的剖析器及包含兼容性处理器904的一或多个配置参数的配置集合。剖析器可包含传输层剖析器及有效负载剖析器。在一些实施方案中,用于确定与视频信息相关联的兼容性信息的装置包含兼容性处理器904。
如图9中所示,装置900还包含视频译码处理器906。视频译码处理器906经配置以基于所确定的兼容性信息处理视频信息。视频译码处理器906可包含编码器、解码器、显示器及收发器中的一或多者。在一些实施方案中,用于处理视频信息的装置包含视频译码处理器906。
作为所描述的方面的另一实例应用,一些目的地装置可经配置以使用实时传输协议包切换流式传输。目的地装置可经配置以接收、解码及呈现某些格式,例如包含帧封装布置SEI消息的视频数据。在此些实施方案中,接收、解码及呈现视频位流可在识别图像兼容性信息后加速。举例来说,在检测到图像兼容性信息时,可以预期后跟着帧封装布置SEI消息。因此,目的地装置可准备根据及/或假定以下各者中的一或多者来处理视频位流:语法元素frame_packing_arrangement_type具有定义的值中的一者:左右并排的为3,上下并列的为4;语法元素quincunx_sampling_flag等于0;语法元素content_interpretation_type等于1;语法元素spatial_flipping_flag等于0;语法元素field_views_flag等于0;语法元素current_frame_is_frame0_flag等于0。
在一些实施方案中,在存取单元含有帧封装布置SEI消息(“消息A”),且存取单元既非IDR存取单元也非含有恢复点SEI消息的存取单元时,可应用以下约束中的一或多者。首先,可存在按解码次序及输出次序两者先于存取单元且含有帧封装布置SEI消息B的另一存取单元。其次,两个帧封装布置SEI消息A及B应具有用于语法元素frame_packing_arrangement_type的相同值。
此些目的地装置可包含用于某些编码格式的视频缓冲器模型。举例来说,如果检测H.263编码,那么可初始化视频缓冲器模型以用于解码。并非所有的编码格式可使用缓冲器。举例来说,并没有缓冲器可用于H.264(AVC)经编码视频。
PSS客户端中的H.264(AVC)解码器可经配置以在其接收数据(即使流并未开始于IDR存取单元)时立即开始解码。或者,解码的开始可不迟于装置接收下一IDR存取单元或下一恢复点SEI消息时,无论哪个的解码次序较早。应注意在H.264(AVC)的交织包化模式在使用中时,通常在开始解码过程之前进行去交织。并未开始于IDR存取单元的流的解码过程可与有效H.264(AVC)位流的情况相同。然而,客户端应察觉到此流可含有经解码的图片缓冲器中不可用的图片的参考。
支持H.264(AVC)的PSS客户端可经配置以忽略在H.264(AVC)流中或在“sprop-parameter-sets”MIME/SDP参数中所传达的任何VUI HRD参数、缓冲周期SEI消息及图片定时SEI消息。替代地,支持H.264(AVC)的PSS客户端可遵循在SDP中及在RTSP中传达的缓冲参数。支持H.264(AVC)的PSS客户端还应使用图片的RTP时间戳或NALU时间作为其呈现时间,并且在交织RTP包化模式在使用中时,遵循去交织过程的“sprop-interleaving-depth”、“sprop-deint-buf-req”、“sprop-init-buf-time”及“sprop-max-don-diff”MIME/SDP参数。然而,如果位流中出现VUI HRD参数、缓冲周期SEI消息及图片定时SEI消息,那么其内容可不与先前句子中所提到的参数中的任一者相抵触。
如上所指出,RTP也可用以递送MBMS多媒体。在此些实施方案中,如上文所论述,可指定类似图像兼容性信息。
在H.264(AVC)用于MBMS流式传输递送方法时,可在流的SDP描述内发射H.264(AVC)参数集,例如通过使用sprop-parameter-sets MIME/SDP参数。一些实施方案可经配置以避免再使用先前在SDP描述中或在RTP流中出现的任何参数集识别符值。然而,如果使用序列参数集或在RTP流内更新所述序列参数集,那么其可至少含于每一IDR存取单元及包含恢复点SEI消息的每一存取单元中,其中序列参数集用于解码过程中。如果使用图片参数集或在RTP流内更新所述图片参数集,那么其最晚可含于将图片参数集用于解码过程中的每一项序列中的第一此存取单元中,其中项序列被定义为IDR存取单元或含有恢复点SEI消息的存取单元(包括性)与按解码次序下一存取单元(排它性)之间的存取单元,其为IDR存取单元或含有恢复点SEI消息。
包含MBMS客户端的H.264(AVC)解码器可经配置以在其接收数据(即使流并未开始于IDR存取单元)时立即开始解码。或者,MBMS客户端可经配置以不迟于其接收下一IDR存取单元或下一恢复点SEI消息时开始解码,无论哪个的解码次序较早。应注意,在H.264(AVC)交织包化模式在使用中时,通常在开始解码过程之前进行去交织。并未开始于IDR存取单元的流的解码过程应与有效H.264(AVC)位流的情况相同。然而,客户端可察觉到此流可含有经解码的图片缓冲器中不可用的图片的参考。
如本文所用,术语“确定(determine或determining)”包含广泛多种动作。举例来说,“确定”可包含推算、计算、处理、导出、研究、查找(例如,在表、数据库或另一数据结构中查找)、断定等。而且,“确定”可包含接收(例如,接收信息)、存取(例如,在存储器中存取数据)等等。而且,“确定”可包含解析、选择、挑选、建立等等。
如本文所用,术语“提供(provide或providing)”包含广泛多种动作。举例来说,“提供”可包含将值存储于位置中以用于后续检索,将值直接发射到接收方,发射或存储值的参考,及其类似者。“提供”还可包含编码、解码、加密、解密、验证、检验及其类似者。
如本文所使用,涉及项目列表中的“至少一者”的短语是指那些项目的任何组合,包含单个成员。作为实例,“a、b或c中的至少一者”意在涵盖:a、b、c、a-b、a-c、b-c和a-b-c。
以上描述的方法的各种操作可由能够执行所述操作的任何适当装置(例如,各种硬件和/或软件组件、电路和/或模块)执行。通常,图中所说明的任何操作可由能够执行所述操作的对应功能装置执行。
可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其它可编程逻辑装置(PLD)、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合来实施或执行结合本发明而描述的各种说明性逻辑块、模块及电路。通用处理器可为微处理器,但或者,处理器可为任何市售处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合,或任何其它此配置。
在一或多个方面中,所描述的功能可以硬件、软件、固件、或其任意组合来实施。如果实施于软件中,则可将功能作为计算机可读媒体上的一或多个指令或代码而加以存储或传输。计算机可读媒体包括计算机存储媒体与包括促进计算机程序从一处传递到另一处的任何媒体的通信媒体两者。存储媒体可为可由计算机存取的任何可用媒体。以实例方式(且并非限制),所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于载送或存储呈指令或数据结构的形式的所要程序码且可由计算机存取的任何其它媒体。同样,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件,则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。如本文中所使用,磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘,其中磁盘通常磁性地复制数据,而光盘使用激光光学地复制数据。
在一些方面中,计算机可读媒体可包括非暂时性计算机可读媒体(例如,有形媒体)。另外,在一些方面中,计算机可读媒体可包括暂时计算机可读媒体(例如,信号)。上文的组合也应包括在计算机可读媒体的范围内。
所描述的某些方面可包括用于执行本文中呈现的操作的计算机程序产品。举例来说,此类计算机程序产品可包含上面存储有(和/或编码有)指令的计算机可读媒体,所述指令可由一或多个处理器执行以执行本文中所描述的操作。对于某些方面,计算机程序产品可包含封装材料。
本文中所揭示的方法包括用于实现所描述的方法的一或多个步骤或动作。在不偏离权利要求书的范围的情况下,方法步骤及/或动作可互换。换句话说,除非规定了步骤或动作的特定次序,否则在不偏离权利要求书的范围的情况下可对特定步骤及/或动作的次序及/或用法加以修改。
类似地,上文所描述的消息包含可用于各种实施方案中的一或多个字段。消息可包含额外字段、较少字段及/或替代字段布置,而不偏离权利要求书的范围。
也可经由传输媒体而传输软件或指令。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或无线技术(例如,红外线、无线电及微波)从网站、服务器或其它远程源传输软件,则同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如,红外线、无线电及微波)包括在传输媒体的定义中。
此外,应了解用于执行本文中所描述的方法及技术的模块及/或其它适当装置可在适当时由编码装置及/或解码装置下载及/或以其它方式获得。举例来说,可将此装置耦合到服务器以有利于传送用于执行本文中所描述的方法的装置。或者,可经由存储装置(例如,RAM、ROM、例如压缩光盘(CD)或软盘等物理存储媒体等)来提供本文中所描述的各种方法,使得用户终端和/或基站可在将存储装置耦合或提供到所述装置后即刻获得各种方法。此外,可利用用于将本文中所描述的方法及技术提供到装置的任何其它合适的技术。
应理解,权利要求书不限于上文所说明的精确配置及组件。在不偏离权利要求书的范围的情况下,可在上文所描述的方法和设备的布置、操作和细节中作出各种修改、改变和变化。
虽然前述内容是针对本发明的各方面,但在不偏离本发明的基本范围的情况下,可设计出本发明的其它及另外方面,且由所附权利要求书确定本发明的范围。

Claims (33)

1.一种用于对视频信息进行译码的装置,所述装置包括:
经配置以存储所述视频信息的至少一部分的存储器,所述视频信息包含图像数据;及
与所述存储器通信的处理器,所述处理器经配置以:
从所述存储器接收所述视频信息的至少一部分;
确定与所述图像数据相关联的兼容性信息,所述兼容性信息编码于所述视频信息的第一部分中,且所述图像数据编码于所述视频信息的第二部分中,且所述兼容性信息指示所述图像数据是否包含帧封装立体三维视频;及
基于所述所确定的兼容性信息处理所述视频信息。
2.根据权利要求1所述的装置,其中所述处理器经配置以处理指示包括所述处理器经配置以接收所述兼容性信息。
3.根据权利要求1所述的装置,其中所述处理器经配置以处理指示包括所述处理器经配置以产生所述兼容性信息。
4.根据权利要求3所述的装置,其中所述处理器经配置以基于以下各者中的至少一者确定所述兼容性信息:所述图像数据、用于所述装置的配置或用于提供所述视频信息的俘获装置的识别符。
5.根据权利要求1所述的装置,其中所述处理器经进一步配置以在高系统层级处处理所述兼容性信息。
6.根据权利要求5所述的装置,其中所述高系统层级包括序列层级或位流层级中的一者。
7.根据权利要求6所述的装置,其中所述高系统层级包括在包切换流式传输服务PSS内的实时传输协议RTP的会话描述协议SDP。
8.根据权利要求1所述的装置,其进一步包括接收器,其中所述接收器经配置以从目的地装置获得消息,所述消息至少部分基于所述兼容性信息指示所述目的地装置接受还是拒绝所述视频信息。
9.根据权利要求1所述的装置,其中所述处理器经配置以处理所述兼容性信息包括所述处理器经配置以在所述视频信息不含有至少一个帧封装布置服务扩展信息消息时将与所述视频信息相关联的profile_compatibility参数的第二字节中的最高有效位设定为等于第一值及经进一步配置以在所述视频信息含有或可含有至少一个帧封装布置服务扩展信息消息时将所述最高有效位设定为第二值。
10.根据权利要求1所述的装置,其中所述处理器经配置以确定所述兼容性信息包括所述处理器经配置以基于与所述视频信息相关联的profile_compatibility参数的第二字节中的最高有效位确定所述兼容性信息。
11.根据权利要求10所述的装置,其中所述处理器经配置以处理所述视频信息包括在所述最高有效位指示所述视频信息含有或可含有至少一个帧封装布置服务扩展信息消息时:
获得解码能力;
在所述解码能力包含帧封装布置服务扩展消息能力时提供用于解码的所述视频信息;及
在所述解码能力不包含帧封装布置服务扩展消息能力时发射拒绝所述视频信息的消息。
12.根据权利要求1所述的装置,其进一步包括编码器及解码器中的至少一者。
13.根据权利要求1所述的装置,其中电话、计算机、平板计算机、机顶盒中的至少一者包括所述存储器及所述处理器。
14.一种对视频信息进行编码的方法,所述方法包括:
接收视频信息;
经由电子装置的处理器产生所述视频信息的兼容性信息,所述兼容性信息指示视频信息是否包含帧封装立体三维数据;及
产生用于发射到目的地装置的消息,所述消息在第一部分中包含所述兼容性信息,且在第二部分中进一步包含所述视频信息。
15.根据权利要求14所述的方法,其中产生所述兼容性信息包括在所述视频信息不含有至少一个帧封装布置服务扩展信息消息时将与所述视频信息相关联的profile_compatibility参数的第二字节中的最高有效位设定为等于第一值,且经进一步配置以在所述视频信息含有或可含有至少一个帧封装布置服务扩展信息消息时将所述最高有效位设定为第二值。
16.根据权利要求14所述的方法,其中产生所述消息包括将所述兼容性信息包含在所述消息的高系统层级部分处。
17.根据权利要求16所述的方法,其中所述高系统层级包括序列层级或位流层级中的一者。
18.根据权利要求16所述的方法,其中所述高系统层级部分包括基于实时传输协议RTP的包切换流PSS流式传输消息的会话描述协议SDP。
19.根据权利要求14所述的方法,其中产生所述兼容性信息包括:
产生对所述兼容性信息的请求,所述请求是基于所述视频信息的至少一部分;
发射对兼容性信息的所述请求;及
接收包含所述兼容性信息的响应。
20.根据权利要求14所述的方法,其中基于以下各者中的至少一者产生所述兼容性信息:包含于所述视频信息中的图像数据、用于所述装置的配置或用于提供所述视频信息的俘获装置的识别符。
21.根据权利要求14所述的方法,其进一步包括:
将所述消息发射到目的地装置;
从所述目的地装置接收拒绝所述视频信息的消息;及
取消所述视频信息到所述目的地装置的进一步发射。
22.一种对视频信息进行解码的方法,所述方法包括:
从源装置接收消息,所述消息在第一部分中包含兼容性信息,且在第二部分中进一步包含所述视频信息,其中所述兼容性信息指示所述视频信息是否包含帧封装立体三维视频;及
经由电子装置的处理器基于所述兼容性信息处理所述视频信息。
23.根据权利要求22所述的方法,其中所述消息包括高系统层级消息。
24.根据权利要求23所述的方法,所述高系统层级包括序列层级或位流层级中的一者。
25.根据权利要求23所述的方法,其中所述高系统层级消息包括基于实时传输协议RTP的包切换流PSS流式传输消息的会话描述协议SDP。
26.根据权利要求22所述的方法,其进一步包括基于与所述视频信息相关联的profile_compatibility参数的第二字节中的最高有效位确定所述兼容性信息。
27.根据权利要求22所述的方法,其中处理所述视频信息包括:
获得解码能力;
在所述解码能力包含帧封装布置服务扩展消息能力时提供用于解码的所述视频信息;及
在所述解码能力不包含帧封装布置服务扩展消息能力时发射拒绝所述视频信息的消息。
28.一种包括可由装置的处理器执行的指令的非暂时性计算机可读媒体,所述指令致使所述装置:
接收视频信息,所述视频信息包含图像数据;
确定与所述图像数据相关联的兼容性信息,其中所述兼容性信息编码于所述视频信息的第一部分中,且所述图像数据编码于所述视频信息的第二部分中,且其中所述兼容性信息指示所述图像数据是否包含帧封装立体三维视频;及
基于所述所确定的兼容性信息处理所述视频信息。
29.根据权利要求28所述的媒体,其中处理所述兼容性信息包括:
在所述视频信息不含有至少一个帧封装布置服务扩展信息消息时将与所述视频信息相关联的profile_compatibility参数的第二字节中的最高有效位设定为等于第一值;及
在所述视频信息含有或可含有至少一个帧封装布置服务扩展信息消息时将所述最高有效位设定为第二值。
30.根据权利要求28所述的媒体,其中基于与所述视频信息相关联的profile_compatibility参数的第二字节中的最高有效位确定所述兼容性信息。
31.一种用于对视频信息进行译码的装置,所述装置包括:
用于接收视频信息的装置,所述视频信息包含图像数据;
用于确定与所述图像数据相关联的兼容性信息的装置,其中所述兼容性信息编码于所述视频信息的第一部分中,且所述图像数据编码于所述视频信息的第二部分中,且其中所述兼容性信息指示所述图像数据是否包含帧封装立体三维视频;及
用于基于所述所确定的兼容性信息处理所述视频信息的装置。
32.根据权利要求31所述的装置,其中所述用于处理所述兼容性信息的装置经配置以:
在所述视频信息不含有至少一个帧封装布置服务扩展信息消息时将与所述视频信息相关联的profile_compatibility参数的第二字节中的最高有效位设定为等于第一值;及
在所述视频信息含有或可含有至少一个帧封装布置服务扩展信息消息时将所述最高有效位设定为第二值。
33.根据权利要求31所述的装置,其中所述用于确定所述兼容性信息的装置经配置以基于与所述视频信息相关联的profile_compatibility参数的第二字节中的最高有效位确定所述兼容性信息。
CN201380042844.6A 2012-08-15 2013-08-13 兼容三维视频通信 Pending CN104541509A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261683686P 2012-08-15 2012-08-15
US61/683,686 2012-08-15
US13/964,877 2013-08-12
US13/964,877 US9674499B2 (en) 2012-08-15 2013-08-12 Compatible three-dimensional video communications
PCT/US2013/054791 WO2014028533A1 (en) 2012-08-15 2013-08-13 Compatible three-dimensional video communications

Publications (1)

Publication Number Publication Date
CN104541509A true CN104541509A (zh) 2015-04-22

Family

ID=50099784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380042844.6A Pending CN104541509A (zh) 2012-08-15 2013-08-13 兼容三维视频通信

Country Status (4)

Country Link
US (1) US9674499B2 (zh)
EP (1) EP2885915A1 (zh)
CN (1) CN104541509A (zh)
WO (1) WO2014028533A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107787585A (zh) * 2015-06-17 2018-03-09 韩国电子通信研究院 用于处理立体视频数据的mmt装置和mmt方法
CN107846566A (zh) * 2017-10-31 2018-03-27 努比亚技术有限公司 一种信息处理方法、设备和计算机可读存储介质
CN110419223A (zh) * 2017-03-21 2019-11-05 高通股份有限公司 必需的及非必需的视频补充信息的信号发送

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101861497B1 (ko) * 2013-07-19 2018-05-28 에이치에프아이 이노베이션 인크. 3d 비디오 코딩에서의 카메라 파라미터 시그널링의 방법 및 장치
US9912623B2 (en) * 2015-01-16 2018-03-06 General Electric Company Systems and methods for adaptive context-aware control of multimedia communication sessions
US10810273B2 (en) 2017-06-13 2020-10-20 Bank Of America Corporation Auto identification and mapping of functional attributes from visual representation
WO2022211476A1 (en) * 2021-03-30 2022-10-06 Samsung Electronics Co., Ltd. Method and apparatus for supporting teleconferencing and telepresence containing multiple 360 degree videos
CN116033113B (zh) * 2023-03-27 2023-08-11 全时云商务服务股份有限公司 一种视频会议辅助信息传输方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102165784A (zh) * 2009-06-29 2011-08-24 索尼公司 立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置
US20110280316A1 (en) * 2010-05-13 2011-11-17 Qualcom Incorporated Frame packing for asymmetric stereo video
CN102301715A (zh) * 2009-01-29 2011-12-28 杜比实验室特许公司 对如立体图像的多个图像进行子采样和交织的方法和装置
CN102450022A (zh) * 2009-06-23 2012-05-09 Lg电子株式会社 输出三维内容的显示装置的图像处理方法以及采用该方法的显示装置
CN102577410A (zh) * 2009-10-16 2012-07-11 Lg电子株式会社 指示3d内容的方法和处理信号的装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060023802A1 (en) * 2004-07-28 2006-02-02 Texas Instruments Incorporated Concatenated coding of the multi-band orthogonal frequency division modulation system
US7808988B2 (en) * 2006-02-10 2010-10-05 Packet Video Corporation System and method for connecting mobile devices
WO2009051687A2 (en) * 2007-10-15 2009-04-23 Thomson Licensing Apparatus and method for encoding and decoding signals
US20120212579A1 (en) 2009-10-20 2012-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Method and Arrangement for Multi-View Video Compression
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
JP2012034138A (ja) 2010-07-29 2012-02-16 Toshiba Corp 信号処理装置及び信号処理方法
EP2659676A4 (en) 2010-12-27 2018-01-03 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for processing of encoded video
WO2013019261A1 (en) * 2011-08-01 2013-02-07 Intel Corporation MULTI-HOP SINGLE SIGN-ON (SSO) FOR IDENTITY PROVIDER (IdP) ROAMING/PROXY
IN2014CN01752A (zh) * 2011-08-31 2015-09-04 Nokia Corp
WO2013133587A1 (ko) * 2012-03-07 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301715A (zh) * 2009-01-29 2011-12-28 杜比实验室特许公司 对如立体图像的多个图像进行子采样和交织的方法和装置
CN102450022A (zh) * 2009-06-23 2012-05-09 Lg电子株式会社 输出三维内容的显示装置的图像处理方法以及采用该方法的显示装置
CN102165784A (zh) * 2009-06-29 2011-08-24 索尼公司 立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置
CN102577410A (zh) * 2009-10-16 2012-07-11 Lg电子株式会社 指示3d内容的方法和处理信号的装置
US20110280316A1 (en) * 2010-05-13 2011-11-17 Qualcom Incorporated Frame packing for asymmetric stereo video

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107787585A (zh) * 2015-06-17 2018-03-09 韩国电子通信研究院 用于处理立体视频数据的mmt装置和mmt方法
CN110419223A (zh) * 2017-03-21 2019-11-05 高通股份有限公司 必需的及非必需的视频补充信息的信号发送
CN110419223B (zh) * 2017-03-21 2021-10-22 高通股份有限公司 必需的及非必需的视频补充信息的信号发送
CN107846566A (zh) * 2017-10-31 2018-03-27 努比亚技术有限公司 一种信息处理方法、设备和计算机可读存储介质

Also Published As

Publication number Publication date
US20140049603A1 (en) 2014-02-20
US9674499B2 (en) 2017-06-06
EP2885915A1 (en) 2015-06-24
WO2014028533A1 (en) 2014-02-20

Similar Documents

Publication Publication Date Title
US9445125B2 (en) Device and method for multimedia communications with picture orientation information
KR102613593B1 (ko) 필수 및 비필수 비디오 보충 정보의 시그널링
CN104541509A (zh) 兼容三维视频通信
US11025940B2 (en) Method for signalling caption asset information and device for signalling caption asset information
US20160337424A1 (en) Transferring media data using a websocket subprotocol
KR101784051B1 (ko) 코딩된 비디오 데이터의 네트워크 스트리밍
KR101037338B1 (ko) 스케일러블 비디오 코딩 및 디코딩
KR101021831B1 (ko) 미디어 파일에서 트랙 관계를 표시하는 시스템 및 방법
US20070186005A1 (en) Method to embedding SVG content into ISO base media file format for progressive downloading and streaming of rich media content
US20160330255A1 (en) Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
CN111656796A (zh) 动态条件性广告插入
KR20140057659A (ko) 다중 소스들로부터의 멀티미디어 데이터의 스트리밍
US20180176278A1 (en) Detecting and signaling new initialization segments during manifest-file-free media streaming
KR102549656B1 (ko) 미디어 데이터 스트리밍을 위한 sei 트랙들의 시스템 레벨 시그널링
KR20230137894A (ko) 미디어 데이터의 배경 데이터 트래픽 분포
WO2022164862A1 (en) Background data traffic distribution of media data

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150422

WD01 Invention patent application deemed withdrawn after publication