CN104335590B - 用于利用图片方位信息进行多媒体通信的装置和方法 - Google Patents

Abstract

本发明描述用于俘获和显示包括图片方位信息的图像数据的系统、装置和方法。在一创新性方面中，提供一种用于发射媒体信息的方法。所述方法包括获得图片或视频信息，所述图片或视频信息包括图像数据和媒体俘获单元在获得所述图片或视频信息时的方位信息。所述方法进一步包括编码所述图片或视频信息，其中所述方位信息包括于第一部分中且所述图像数据包括于第二部分中，所述第二部分经编码且所述第一部分相异于所述第二部分。所述方法还包括发射所述第一部分和所述第二部分。

Description

用于利用图片方位信息进行多媒体通信的装置和方法

技术领域

本发明涉及俘获和显示图像数据，更特定来说，俘获和显示包括图片方位信息的图像数据。

背景技术

在移动装置上记录视频允许图片随着记录装置旋转在不同的方位被记录。在一些状况下，通过移动装置的相机所俘获的图片的矩形形状可使得将相机定向于特定方向上为优选的，以更好地俘获场景信息(例如，横向对纵向)。然而，在无关于图片被俘获的方位的任何信息的情况下，显示装置不可恰当地显示图片，例如，图片的呈现可能不恰当地旋转或颠倒。在一些情形下，显示装置不可通过检视者实体旋转以补偿旋转呈现。举例来说，大型固定显示器(比如HDTV)不可实体旋转。并且，在双向视频会议呼叫的状况下，显示装置的旋转还将旋转装置中的相机。此情形可能是不合需要的，这是因为其旋转发送到其它终端的视频，且防止相机经定向以更好地与其正俘获的场景匹配。需要提供信息以允许显示装置在显示装置上显示所俘获图片之前正确地定向所述图片。

发明内容

本发明的系统、方法和装置各自具有若干方面，所述方面中无单一方面单独负责其合乎需要的属性。在不限制如通过所附权利要求书所表达的本发明的范围的情况下，现将简要论述一些特征。在考虑此论述之后，且特定来说在阅读题为“具体实施方式”的章节之后，我们将理解本发明的特征提供优点的方式，所述优点包括于多媒体呈现(例如，视频、图片的序列)中包括的图片的旋转量及持续时间的识别和应用。

在一创新性方面中，提供一种用于显示媒体信息的方法。所述方法包括获得图片或视频信息，所述图片或视频信息包括至少一输出图片和用于所述至少一输出图片的旋转信息，所述旋转信息包括于所述图片或视频信息的第一部分中且所述至少一输出图片包括于所述图片或视频信息的第二部分中，所述第二部分经编码且所述第一部分相异于所述第二部分。所述方法进一步包括解码包括于所述图片或视频信息的所述第二部分中的至少一输出图片。所述方法还包括基于包括于视频信息的所述图片的所述第一部分中的所述旋转信息识别旋转数据和用于所述旋转数据的周期。所述方法还包括根据所述所识别旋转数据和所述所识别周期旋转所述经解码的至少一输出图片。

在另一创新性方面中，提供一种用于显示媒体信息的设备。所述设备包括存储器单元，所述存储器单元经配置以存储图片或视频信息，所述图片或视频信息包括至少一输出图片和用于所述至少一输出图片的旋转信息，所述旋转信息包括于所述图片或视频信息的第一部分中且所述至少一输出图片包括于所述图片或视频信息的第二部分中，所述第二部分经编码且所述第一部分相异于所述第二部分。所述设备包括输送层处理器。所述输送层处理器经配置以从包括于所述第一部分中的所述旋转信息提取旋转数据和用于所述旋转数据的周期。所述输送层处理器经进一步配置以从所述第二部分提取所述至少一输出图片。所述设备还包括解码器，所述解码器经配置以解码所述所提取的至少一输出图片。所述设备进一步包括呈现处理器，所述呈现处理器经配置以基于所述所识别旋转数据和所述所识别周期产生所述经解码的至少一输出图片的一版本以供显示。

在又一创新性方面中，提供一种计算机可读存储媒体，其包含可通过一设备的处理器执行的指令。所述指令使得所述设备获得图片或视频信息，所述图片或视频信息包括至少一输出图片和用于所述至少一输出图片的旋转信息，所述旋转信息包括于所述图片或视频信息的第一部分中且所述至少一输出图片包括于所述图片或视频信息的第二部分中，所述第二部分经编码且所述第一部分相异于所述第二部分。所述指令还使得所述设备解码包括于所述图片或视频信息的所述第二部分中的至少一输出图片。所述指令进一步使得所述设备基于包括于视频信息的所述图片的所述第一部分中的所述旋转信息识别旋转数据和用于所述旋转数据的周期。所述指令还使得所述设备根据所述所识别旋转数据和所述所识别周期旋转所述经解码的至少一输出图片。

提供用于显示媒体信息的另一创新性设备。所述设备包括用于获得图片或视频信息的装置，所述图片或视频信息包括至少一输出图片和用于所述至少一输出图片的旋转信息，所述旋转信息包括于所述图片或视频信息的第一部分中且所述至少一输出图片包括于所述图片或视频信息的第二部分中，所述第二部分经编码且所述第一部分相异于所述第二部分。所述设备包括用于处理输送层信息的装置，所述装置经配置以从包括于所述第一部分中的所述旋转信息提取旋转数据和用于所述旋转数据的周期，以及从所述第二部分提取所述至少一输出图片。所述设备进一步包括用于解码的装置，所述装置经配置以解码所述所提取的至少一输出图片。所述设备还包括用于产生显示的装置，所述装置经配置以基于所述所识别旋转数据和所述所识别周期产生所述经解码的至少一输出图片的一版本以供显示。

在又一创新性方面中，提供一种用于发射媒体信息的方法。所述方法包括获得图片或视频信息，所述图片或视频信息包括图像数据和媒体俘获单元在获得所述图片或视频信息时的方位信息。所述方法进一步包括编码所述图片或视频信息，其中所述方位信息包括于第一部分中且所述图像数据包括于第二部分中，所述第二部分经编码且所述第一部分相异于所述第二部分。所述方法还包括发射所述第一部分和所述第二部分。

在又一创新性方面中，提供一种用于发射媒体信息的设备。所述设备包括媒体俘获单元，所述媒体俘获单元经配置以获得图片或视频信息，所述图片或视频信息包括图像数据和所述媒体俘获单元在获得所述图片或视频信息时的方位信息。所述设备包括编码器，所述编码器经配置以编码所述图片或视频信息，其中所述方位信息包括于第一部分中且所述图像数据包括于第二部分中，所述第二部分经编码且所述第一部分相异于所述第二部分。所述设备进一步包括发射器，所述发射器经配置以发射所述第一部分和所述第二部分。

在另一创新性方面中，提供一种计算机可读存储媒体，其包含可通过一设备的处理器执行的指令。所述指令使得所述设备获得图片或视频信息，所述图片或视频信息包括图像数据和媒体俘获单元在获得所述图片或视频信息时的方位信息。所述指令使得所述设备编码所述图片或视频信息，其中所述方位信息包括于第一部分中且所述图像数据包括于第二部分中，所述第二部分经编码且所述第一部分相异于所述第二部分。所述指令还使得所述设备发射所述第一部分和所述第二部分。

在又一创新性方面中，提供一种用于发射媒体信息的设备。所述设备包括用于获得图片或视频信息的装置，所述图片或视频信息包括图像数据和媒体俘获单元在获得所述图片或视频信息时的方位信息。所述设备包括用于编码所述图片或视频信息的装置，其中所述方位信息包括于第一部分中且所述图像数据包括于第二部分中，所述第二部分经编码且所述第一部分相异于所述第二部分。所述设备还包括用于发射所述第一部分和所述第二部分的装置。

下文参看以下各图进一步描述符合本发明的这些和其它实施方案。

附图说明

图1说明示范性视频编码和解码系统的功能性框图。

图2展示示范性视频处理装置的功能性框图。

图3说明示范性编码装置的功能性框图。

图4说明用于图片方位信息的示范性编码的消息图。

图5说明用于图片方位信息的另一示范性编码的消息图。

图6说明用于图片方位信息的进一步示范性编码的消息图。

图7说明示范性解码装置的功能性框图。

图8说明用于发射媒体信息的方法的处理程序流程图。

图9说明用于发射媒体信息的示范性设备的功能框图。

图10说明用于显示媒体信息的方法的处理程序流程图。

图11说明用于显示媒体信息的示范性设备的功能框图。

在各图中，就可能的程度来说，具有相同或类似功能的元件具有相同名称。

具体实施方式

用于图片的方位信息提供到显示装置，以允许其恰当地显示图片。可使此信息可用于图片，而不管用以编码图片的编解码器如何。独立于所使用的编解码器的一般解决方案是合乎需要的。当多个媒体流或图片正被显示时，可能有必要指示用于不同流或图片的旋转信息。

本文描述用于提供图片方位信息的各种替代性方式，所述图片方位信息允许显示装置确定图片被俘获的方位，使得其可在向用户显示所述图片之前恰当地定向所述图片。图片方位信息包括推荐旋转及其持续周期。推荐旋转可为推荐逆时针旋转或推荐顺时针旋转。在下文中，在此文献中，假设推荐旋转为推荐逆时针旋转。信息可使用频带内发射、实时输送协议控制协议(RTCP)、实时输送协议(RTP)字段(例如，标头)、会话描述协议(SDP)、媒体呈现描述(MPD)或ISO基础媒体文件格式框从发送器侧(例如，第一固定或移动通信装置)运送到接收器侧(例如，第二固定或移动通信装置)。在接收到图片方位信息后，接收器侧即可在来自视频解码器的输出图片被显示之前旋转所述图片。

在以下描述中，提供特定细节以提供对实例的详尽理解。然而，所属领域的一般技术人员将理解，可在无这些特定细节的情形下实践实例。举例来说，电组件/装置可以框图来展示，以便不会以不必要的细节混淆实例。在其它例子中，可详细展示这些组件、其它结构和技术以进一步解释实例。

还应注意，实例可被描述为处理程序，其描绘为流程图、流图、有限状态图、结构图或框图。尽管流程图可将操作描述为循序处理程序，但可并行或同时执行操作中的许多操作，且可重复处理程序。另外，可重新排列操作的次序。当处理程序的操作完成时，所述处理程序终止。处理程序可对应于方法、函数、程序、子例程、子程序等。当处理程序对应于软件函数时，其终止对应于所述函数到调用函数或主函数的返回。

所属领域的技术人员将理解，可使用多种不同技艺和技术中的任一者来表示信息和消息。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子，或其任何组合来表示可遍及以上描述所引用的数据、指令、命令、信息、信号、位、符号和码片。

下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文所描述的方面可以广泛多种形式体现，且本文所描述的任何特定结构和/或功能仅为说明性的。基于本发明，所属领域的技术人员应了解，本文所描述的方面可独立于任何其它方面而实施，且这些方面中的两者或两者以上可以各种方式组合。举例来说，可使用本文所阐述的任何数目个方面来实施设备和/或可实践方法。另外，除本文所阐述的方面中的一或多者之外或不同于本文所阐述的方面中的一或多者，可使用其它结构和/或功能性来实施此设备和/或可实践此方法。

图1说明示范性视频编码和解码系统的功能性框图。如图1中所示，系统10包括源装置12，源装置12可经配置以经由通信信道15将经编码视频发射到目的地装置16。源装置12和目的地装置16可包含广泛范围的装置中的任一者，包括移动装置或大体固定装置。在一些状况下，源装置12和目的地装置16包含无线通信装置，例如无线手持机、所谓的蜂窝式或卫星无线电电话、个人数字助理(PDA)、移动媒体播放器，或可经由通信信道15(其可能为或可能不为无线的)传达视频信息的任何装置。然而，本发明的技术(其涉及图片方位信息)可在许多不同的系统和环境中使用。图1仅为此系统的一实例。

在图1的实例中，源装置12可包括视频源20、视频编码器22、调制器/解调器(调制解调器)23和发射器24。目的地装置16可包括接收器26、调制解调器27、视频解码器28和显示装置30。根据本发明，源装置12的视频编码器22可经配置以编码图片的序列。视频编码器22可经配置以编码与图片相关联的额外信息，例如包括可应用到视频图片中的每一者以产生3D视频数据的参数集合的3D转换信息。调制解调器23和发射器24可调制无线信号且将无线信号发射到目的地装置16。以此方式，源装置12将经编码图片序列连同任何额外相关联信息传达到目的地装置16。

接收器26和调制解调器27接收且解调制从源装置12所接收的无线信号。因此，视频解码器28可接收图片的序列。视频解码器28还可接收可用于解码经译码图片序列的额外信息。

源装置12和目的地装置16仅为此类译码装置的实例，其中源装置12产生用于发射到目的地装置16的经译码视频数据。在一些状况下，装置12、16可以实质上对称的方式操作，使得装置12、16中的每一者包括视频编码和解码组件。因此，系统10可支持视频装置12、16之间的单向或双向视频发射，(例如)用于视频流、视频播放、视频广播或视频电话。

源装置12的视频源20可包括视频俘获装置，例如视频相机、含有先前俘获的视频的视频存档，或来自视频内容提供者的视频馈入。作为又一替代，视频源20可产生基于计算机图形的数据，作为源视频，或直播视频、存档视频和计算机产生的视频的组合。在一些状况下，如果视频源20为视频相机，那么源装置12和目的装置16可形成所谓的相机电话或视频电话。在每一状况下，经俘获、预先俘获或计算机产生的视频可通过视频编码器22编码。作为编码处理程序的一部分，视频编码器22可经配置以实施本文所描述的方法中的一或多者，例如针对视频的多个部分获得识别相机的方位的图片方位信息。

经编码视频信息可接着通过调制解调器23根据通信标准(例如，码分多址(CDMA)或另一通信标准)调制，且经由发射器24发射到目的地装置16。经编码视频信息可包括图片方位信息。调制解调器23可包括各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包括经设计以用于发射数据的电路，包括放大器、滤波器和一或多个天线。

目的地装置16的接收器26可经配置以经由信道15接收信息。调制解调器27可经配置以解调制信息。视频编码处理程序可实施本文所描述的技术中的一或多者以包括图片方位信息。经由信道15所传达的信息可包括通过视频编码器22所定义的信息，所述信息可通过符合本发明的视频解码器28使用。显示装置30向用户显示经解码视频数据，且可包含例如阴极射线管、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置的多种显示装置中的任一者。

在图1的实例中，通信信道15可包含任何无线或有线通信媒体，例如射频(RF)频谱或一或多个实体发射线、或无线和有线媒体的任何组合。因此，调制解调器23和发射器24可支持许多可能的无线协议、有线协议或有线和无线协议。通信信道15可形成例如局域网(LAN)、广域网(WAN)或全球网络(例如，包含一或多个网络的互连的因特网)的基于包的网络的一部分。通信信道15大体表示任何合适的通信媒体，或不同通信媒体的集合，以用于将视频数据从源装置12发射到目的地装置16。通信信道15可包括路由器、开关、基站，或可用以促进从源装置12到目的地装置16的通信的任何其它设备。本发明的技术未必需要经编码数据从一装置到另一装置的通信，且可在无互逆解码的情况下适用于编码情形。并且，本发明的方面可在无互逆编码的情况下适用于解码情形。

视频编码器22和视频解码器28可符合视频压缩标准而操作，所述标准例如ITU-TH.264标准(或者描述为MPEG-4第10部分，和先进视频译码(AVC))，或命名为高效率视频译码(HEVC)的下一代视频译码标准。然而，本发明的技术不限于任何特定译码标准或其扩展。尽管未展示于图1中，但在一些方面中，视频编码器22和视频解码器28可各自与音频编码器和解码器集成，且可包括适当的MUX-DEMUX单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，MUX-DEMUX单元可符合多路复用器协议(例如，ITU H.223)或例如用户数据报协议(UDP)等其它协议。

视频编码器22和视频解码器28各自可实施为一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、在微处理器或其它平台上执行的软件、硬件、固件或其任何组合。视频编码器22和视频解码器28中的每一者可包括于一或多个编码器或解码器中，其中任一者可集成为相应移动装置、订户装置、广播装置、服务器，或其类似者中的组合式编码器/解码器(CODEC)的一部分。

视频序列通常包括一系列视频图片。视频编码器22和视频解码器28可对个别视频图片内的视频块操作，以便编码和解码视频数据。视频块可具有固定或变化大小，且可根据指定译码标准而在大小上不同。每一视频图片可包括一系列切片或其它可独立解码单元。每一切片可包括一系列宏块或其它视频块(例如，译码树单元)，所述块可配置为子块。作为实例，ITU-T H.264标准支持各种块大小的帧内预测(例如，针对亮度分量，16乘16、8乘8或4乘4，和针对色度分量，8乘8)，以及各种块大小的帧间预测(例如，针对亮度分量，16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和4乘4，和针对色度分量的相应按比例缩放的大小)。视频块(例如)在例如离散余弦变换或概念上类似的变换处理程序等变换处理程序之后可包含像素数据的块或变换系数的块。

宏块、译码树单元，或其它视频块可分组为可独立解码单元，例如切片、切片群组、瓦片或其它独立单元。宏块、译码树单元，或其它视频块可分组为可相依解码单元，例如相依切片、熵切片、波前并行处理波或其它相依单元。每一切片可为视频图片的可独立解码单元。或者，图片自身可为可解码单元，或图片的其它部分可定义为可解码单元。在本发明中，术语“经译码单元”指代视频图片的任何可独立解码单元，例如整个图片、图片的切片，或根据所使用的译码技术所定义的另一可独立解码单元。

图2展示示范性视频处理装置的功能性框图。装置202为可经配置以实施本文所描述的各种方法的装置的实例。举例来说，装置202可实施为源装置12或目的地装置16。

装置202可包括控制装置202的操作的(多个)处理器单元204。(多个)处理器单元204中的一或多者可统称为中央处理单元(CPU)。可包括只读存储器(ROM)和随机存取存储器(RAM)两者的存储器206将指令和数据提供到处理器单元204。存储器206可大体实施为计算机可读存储媒体。存储器206的一部分还可包括非易失性随机存取存储器(NVRAM)。(多个)处理器单元204可经配置以基于存储于存储器206内的程序指令执行逻辑和算术运算。存储器206中的指令可为可执行的以实施本文所描述的方法。

(多个)处理器单元204可通过以下各者的任何组合来实施：通用微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑装置(PLD)、控制器、状态机、门控逻辑、离散硬件组件、专用硬件有限状态机，或可执行信息的计算或其它操纵的任何其它合适的实体。在(多个)处理器单元204包括DSP的实施方案中，DSP可经配置以产生包(例如，数据包)以供发射。在一些方面中，包可包含实体层数据单元(PPDU)。

装置202还可包括用于存储软件的机器可读媒体。(多个)处理单元204可包含用于存储软件的一或多个非暂时性机器可读媒体。应将软件广泛地解释为表示任何类型的指令，而无论将其称为软件、固件、中间件、微代码、硬件描述语言还是其它。指令可包括代码(例如，呈原始代码格式、二进制代码格式、可执行代码格式，或任何其它合适的代码格式)。指令在通过(多个)处理器单元204执行时使得装置202执行本文所描述的各种功能。

装置202可包括发射器210和/或接收器212，以分别允许数据在装置202与远程位置之间的发射和接收。发射器210和接收器212可组合为收发器214。天线216可附接到外壳208且与收发器214电耦合。装置202还可包括(未图示)多个发射器、多个接收器、多个收发器，和/或多个天线。

发射器210可经配置以用无线方式发射包和/或信号。举例来说，发射器210可经配置以发射由(多个)处理器单元204产生的不同类型的包，上文所论述。待发射的包被提供到发射器201。举例来说，(多个)处理器单元204可将包存储于存储器206中，且发射器201可经配置以检索包。一旦发射器检索到包，发射器201就经由天线216发射包。在一些实施方案中，发射器201可经由网络输入/输出224发射包。

如果装置202被实施为目的地装置16，那么天线216检测以无线方式发射的包/信号。接收器212可经配置以处理检测到的包/信号，且使其可用于(多个)处理器单元204。举例来说，接收器212可将包存储于存储器206中，且(多个)处理器单元204可经配置以检索包。

装置202还可包括信号检测器218，信号检测器218可用以检测和量化由收发器214接收的信号的电平。装置202还可包括数字信号处理器(DSP)220以供在处理信号时使用。DSP 220可经配置以产生包以供发射。在一些方面中，包可包含实体层数据单元(PPDU)。

在一些方面中，装置202可进一步包含用户接口222。用户接口222可包含小键盘、麦克风、扬声器，和/或显示器。在一些实施方案中，装置202可与显示器耦合。举例来说，装置202可实施为机顶盒，其接收视频信息、处理用于显示的信息，且将信息发射到电视以供显示。用户接口222可进一步包括将信息运送到装置202的用户和/或从用户接收输入的任何元件或组件。装置202还可包括外壳208，外壳208围绕包括于装置202中的组件中的一或多者。

装置202可包括方位检测器228。当实施为源装置12时，方位检测器228可经配置以在视频信息被俘获时识别装置220的方位。方位检测器228可基于视频信息(例如，识别包括于视频中的已知地标)、地理空间定位系统、激光测算(例如，三角测量、水平测量)和/或通过装置202所产生的指示包括于装置202中的俘获传感器的方位的信号，经由使用回转仪、磁性测算(例如，罗盘)而检测方位。

当实施为目的地装置16时，方位检测器228可经配置以识别装置220的方位。装置220的方位可用以准备视频信息以供显示。举例来说，如果装置220以横向模式固持(例如，显示器的高度小于显示器的宽度)，那么装置220可调整视频信息以增强视频显示(例如，裁剪、按比例缩放、旋转)。在装置220与显示器耦合的实施方案中，装置202可从耦合式显示装置接收方位信息。方位信息可提供到方位检测器228以用于方位确定。

装置202可包括时钟230。时钟230可经配置以识别时间点。时钟230可识别绝对时间点(例如，特定日期和时间信息)。时钟230可经配置以识别相对时间点(例如，多媒体呈现中的点)。时钟230可与包括于源装置12中的俘获传感器耦合。时钟230可在视频俘获的各个点处提供时间信息。此时间信息可包括于发射到目的地装置16的视频信息中。

装置202的各种组件可通过总线系统226耦合在一起。举例来说，总线系统226可包括数据总线，以及除数据总线外的电力总线、控制信号总线和状态信号总线。所属领域的技术人员将了解，装置202的组件可耦合在一起，或使用某一其它机制彼此接受或提供输入。

尽管数个单独组件说明于图2中，但所属领域的技术人员将认识到，组件中的一或多者可经组合或共同实施。举例来说，(多个)处理器单元204可用以不仅实施上文关于(多个)处理器单元204所描述的功能性，而且实施上文关于信号检测器218所描述的功能性。此外，图2中所说明的组件中的每一者可使用多个单独元件来实施。

图3说明示范性编码装置的功能性框图。图3中所示的编码装置300接收三个输入：方位信息、时间信息，和多媒体信息。方位信息可从方位检测器228接收。方位信息可针对俘获传感器指示旋转度数。举例来说，在十六位表示中，方位信息可为从0到65535的值。每一值可表示旋转度数的360/65536的步阶。在一些实施方案中，八个位可用以表示方位信息。在此等实施方案中，旋转可以旋转度数的360/256的步阶识别。在不脱离本发明的范围的情况下，其它数目的位可用以表示方位信息。

编码装置300包括图像编码器302。所示的图像编码器302接收多媒体数据，且产生多媒体数据/流的经编码版本。图像编码器302还可接收图像编码配置输入。图像编码配置输入可识别待应用的编码方案。图像编码配置输入可被提供一次且用于所有多媒体流。图像编码配置输入可为动态的，且针对每一多媒体流或针对多媒体流的每一部分提供。在动态配置中，图像编码配置可至少部分地基于多媒体信息、源装置12的一或多个特性(例如，功率、处理性能、负载)、目的地装置16的一或多个特性(例如，功率、处理性能、负载、与源装置的耦合)，和/或可用于源装置12的其它信息而选择。

图像编码器302可经配置以将所识别编码方案应用于多媒体信息，以产生多媒体数据的经编码版本。在一些实施方案中，图像编码器302还可接收方位信息和/或时间信息。图像编码器302可经配置以基于方位信息和/或时间信息编码多媒体数据。在一些实施方案中，多媒体数据的经编码版本可通过源装置12进一步处理(例如，加密、压缩)。

方位和时间信息提供到消息编码器304。经编码多媒体数据还提供到消息编码器304。消息编码器304可产生包括经编码多媒体数据和方位信息的多媒体消息。

消息编码器304可接收消息编码配置。消息编码配置可指示多媒体消息待产生和/或发射的方式。举例来说，消息编码配置可指示用于经编码多媒体的输送协议。基于此信息，消息编码器304可产生多媒体消息，使得方位信息包括于多媒体消息的输送层部分中且经编码多媒体数据包括于多媒体消息的第二部分中。

消息编码配置输入可被提供一次且用于所有多媒体流。消息编码配置输入可为动态的，且针对每一多媒体流或针对多媒体流的每一部分提供。在动态配置中，消息编码配置可至少部分地基于多媒体信息、源装置12的一或多个特性(例如，功率、处理性能、负载)、目的地装置16的一或多个特性(例如，功率、处理性能、负载、与源装置的耦合)，和/或可用于源装置12的其它信息而选择。

在一实施方案中，消息编码器304的编码可包括第一部分中的方位信息和第二部分中的图像数据。举例来说，方位信息可包括于相异于图像数据有效负载的输送层标头字段中。此可在无需解码图像数据以获得方位信息的情况下提供对方位信息的较快存取。

图4说明用于图片方位信息的示范性编码的消息图。在一些实施方案中，图片方位信息可与视频数据频带内包括在一起。在此类实施方案中，图片方位信息连同消息400中的视频数据而发射。

图片信息(例如，图像)可经由包括于消息400中的经译码图片字段406而发射。消息400还可包括一或多个输送标头404。输送层标头的一实例为方位信息标头412。方位信息标头412可包括类型字段420。类型字段420可包括识别标头类型的值。在方位信息的状况下，包括于类型字段420中的类型值可与方位信息相关联。

基于包括于类型字段420中的值，接收消息400的装置可确定是否利用经提供以用于处理图片信息的信息。如果装置并未经配置以执行图片方位处理，那么装置可在类型为方位信息时忽略字段。如果装置经配置以执行图片方位处理，那么装置可从方位信息标头412提取方位信息且相应地处理(多个)经编码图片。

如图4中所示，方位信息标头412可包括两个额外字段。推荐旋转字段422可被包括，以提供针对经编码图片指示旋转的值。如上文所论述，此可表示与经编码图片相关联的旋转度数。推荐旋转字段422可取决于实施方案而包括十六个位、八个位、四个位，或三十二个位。

持续周期字段424还可包括于图片方位补充增强信息字段的有效负载中。持续周期字段424可包括针对视频流指示推荐旋转的持续时间的值。举例来说，包括值0可指定：用于推荐旋转的持续周期结束为与按解码次序的下一图片相关联的图片，或经译码视频序列的结束。在此类实施方案中，大于0的值可指定：用于推荐旋转的持续周期结束为具有如下图片次序计数的图片(如果此图片存在)：等于与当前图片方位信息相关联的图片的图片次序计数加上在持续周期字段424中所提供的值。如果此图片不存在，那么持续周期结束可为经译码视频序列的结束。在一些实施方案中，持续周期以持续周期开始而开始，持续周期开始为与包括图片方位信息的信号400相关联的图片，且以持续周期结束而结束(不包括持续周期开始和持续周期结束，以输出次序)。

图片方位信息(例如)经由消息400的频带内发射可适用于许多实施方案，但消息的语法可为编解码器特定的。举例来说，表示持续周期结束(在需要时)可基于不同于图片次序计数的某事物。用于表示持续周期结束的其它基础可包括推荐旋转所应用的最后图片的图片识别符值、识别推荐旋转所应用的图片的最后群组的值，及其类似者。

图5说明用于图片方位信息的另一示范性编码的消息图。消息500的格式可遵循(例如)如在RFC 4585中所指定的RTCP标准的反馈消息构架。包括于消息500中的反馈可指示关于正发射的视频的流的信息。消息500为可用于图片方位信息的频带外发射的实例消息。

消息500可包括版本字段502。版本字段502可包括指示规范的哪一版本用以产生消息500的值。接收装置可使用版本信息来确定用于消息500的恰当解码方案。

消息500可包括填补字段504。填补字段504可包括指示消息500是否包括填补位(例如，在末尾)的值。消息500可包括格式字段506。格式字段506可包括指示消息格式类型的值。消息500可包括有效负载类型。针对每一消息格式类型，可定义一或多个有效负载类型。举例来说，有效负载类型可与输送层信息或有效负载特定信息相关。在此类实例中，图片方位信息可与有效负载特定信息相关联。

消息500可包括长度字段510。长度字段510包括指示消息500的长度的值。长度字段510可识别位的数目、字节的数目，或包括于消息500中的数据的其它预定数量。

消息500可包括源识别字段。如图5中所示，消息500包括包源识别符字段512和媒体源识别符字段514。包源识别符字段512可包括消息500的发起者的同步源识别符。媒体源识别符字段514可包括与消息500相关的媒体源的同步源识别符。

消息500包括反馈控制信息字段520。反馈控制信息字段520可包括一或多个反馈控制消息。在如图5中所示的实例中，反馈控制信息字段520包括反馈控制消息，即，图片方位信息反馈控制消息。

每一反馈控制消息包括有效负载类型字段525和包括反馈控制消息的有效负载。有效负载可包括反馈控制信息的一或多个字段。如图5中所示，图片方位信息可包括于反馈控制信息消息的有效负载中。控制消息包括持续周期结束指定字段530。持续周期结束指定字段530包括指示识别旋转推荐的结束的值是否包括于消息500中的值。

控制消息包括推荐旋转字段535。推荐旋转字段535在如下文所描述的持续周期内指定每一输出图片的推荐旋转(例如，推荐逆时针旋转的值，以360/2ⁿ度为单位，其中n为包括于推荐旋转字段535中的位的数目)。如果推荐逆时针旋转在输出图片被显示之前执行，那么在显示装置实体定向为正置时显示也将为正置的。

控制消息还可包括例如零字节等保留字段540。控制消息包括持续周期开始字段545。持续周期开始字段545包括指定用于推荐旋转的持续周期的开始的值。举例来说，持续周期开始字段545可包括识别推荐旋转所应用到的第一图片的值。在一些实施方案中，所述值等于持续周期中的第一图片的RTP时戳。如果RTP包将仅含有图片的经译码数据，那么用于图片的RTP时戳大体指代RTP包的RTP时戳的值。在一些实施方案中，识别第一图片的值可为图片识别符，例如图片次序计数、图片识别符值的偏移，或其类似者。

控制消息还可包括持续周期结束字段550。当存在时，持续周期结束字段550指定用于所识别推荐旋转的持续周期的结束。举例来说，包括于持续周期结束字段550中的值可以呈现次序在持续周期之后识别第一图片(如果有)的RTP时戳。如果持续周期中的最后图片为会话中的最后图片(以呈现次序)，那么持续周期结束字段550值可等于持续周期中的最后图片(以呈现次序)的RTP时戳加上最后图片的呈现持续时间。在一些实施方案中，此字段的值可等于推荐旋转所应用于的最后图片的RTP时戳。

图6说明用于图片方位信息的又一示范性编码的消息图。消息600的格式可遵循(例如)如在RFC 3550中所指定的实时输送协议标准和/或如在RFC 5285中所指定的其扩展。因而，消息600可用于图片方位信息的频带外发射。

消息600可包括版本字段602。版本字段602可包括指示规范的哪一版本用以产生消息600的值。接收装置可使用版本信息来确定用于消息600的恰当解码方案。

消息600可包括填补字段604。填补字段604可包括指示消息600是否包括填补位(例如，在末尾)的值。消息600可包括格式字段606。格式字段606可包括指示消息格式类型的值。消息600可包括有效负载类型。针对每一消息格式类型，可定义一或多个有效负载类型。

消600可包括序号字段610。序号字段610可用以识别与其它包相关的消息600。序号字段610可由接收装置使用，以检测包损失和/或确保所接收包的恰当次序。

消息600可包括时戳字段612。时戳字段612可包括识别与所接收视频数据相关联的绝对或相对时间点的值。图6中所示的消息600包括源识别符字段614。源识别符字段614可包括识别用于消息600的源流的同步源识别符的值。消息600可包括一或多个贡献源识别符618。贡献源识别符618指示可将内容和/或信息贡献到与消息600相关联的流的源。

消息600还包括扩展标头信息。扩展标头信息可为一字节标头、两字节标头，或其它数量的字节标头。在图6中所示的消息600中，针对每一扩展标头信息元素包括三个字段，即，扩展标头识别符字段620、扩展标头长度字段622和扩展标头字段624。扩展标头识别符字段620包括识别包括于此元素中的扩展标头信息的类型的值。扩展标头识别符可(例如)经由扩展地图(例如，extmap)属性在会话协商期间被指定。实例extmap属性为“urn：ietf：params：rtp-hdrext：pict-orient”。扩展标头长度字段622包括指示包括于扩展标头字段624中的信息的长度的值。扩展标头字段624包括与扩展标头识别符相关联的信息。

扩展标头字段624可用以识别图片方位信息，如图6中所示。扩展标头字段624可包括识别推荐旋转的值。接收消息600的装置可使用时戳字段612来识别用于推荐旋转的开始点。在一些实施方案中，扩展标头字段624可包括多字段值，所述多字段值包括推荐旋转字段、持续开始周期字段、持续结束周期字段，和/或持续结束指定字段(例如，关于上文的图5所述)。

如果消息600不包括指定图片方位信息的扩展标头，那么接收装置可将图片方位解译为零旋转。在一些实施方案中，如果消息600不包括指定图片方位信息的扩展标头，那么接收装置可将图片方位解译为与包括此信息的先前接收的消息相同的推荐旋转。

在一些实时流实施方案中，在接收消息600之前，可在发送装置与接收器装置之间建立会话。在此类实施方案中，会话协商消息传递可包括例如用于会话的预设推荐旋转的图片方位信息。接收装置可经配置以应用预设推荐旋转，除非经由后续消息传递另外指定。

会话协商可包括会话描述协议(SDP)文件。SDP文件可经由例如SIP、RTSP、HTTP及其类似者等输送协议从发送器侧运送到接收器侧。图片方位信息可包括于SDP文件中。举例来说，在媒体层级属性a＝picorientationinfo：＜picture orientation information＞中，可包括信息。＜picture orientation information＞的值可包括推荐旋转的单一值，所述单一值在0到65535的范围内f针对16位值)(包括0和65535)。推荐旋转可应用于与当前SDP文件相关联的所有图片。

图片方位信息可包括推荐旋转、持续周期开始和持续周期结束值的一或多个集合。每一集合中的推荐旋转、持续周期开始和持续周期结束的三个值可通过例如逗号“，”或空格“”等已知分隔符号分开。集合还可通过例如分号“；”等已知分隔符号分开。持续周期开始指定持续周期中的第一图片的RTP时戳的值。持续周期结束指定在推荐旋转所应用于的最后图片(以呈现次序)之后的第一图片的RTP时戳的值。在一些实施方案中，持续周期结束指定推荐旋转所应用于的最后图片(以呈现次序)的RTP时戳的值。

在在会话的开始处已知例如所记录电影流等整个会话的任何时刻的推荐旋转的值的实施方案中，经由会话描述协议文件指定图片方位信息可能是合乎需要的。在会话中间改变旋转的情形下，还可使用SDP文件。在此状况下，用于会话的SDP参数可经重新协商以指示新的方位。然而，此方法归因于SDP重新协商处理程序而招致某延迟，且可存在图片并不以正确的方位显示的短的周期。

所述消息和方法还可在以上限制的情况下用于基于RTP的对话应用程序以及流、多播和广播应用程序中。

发射图片方位信息的又一实例将包括如(例如)在MPEG HTTP动态自适应流(DASH)标准中的媒体呈现描述(MPD)中的图片方位信息。DASH为视频流协议的实例。在一些DASH实施方案中，MPD经发布以允许客户端识别、获得和显现媒体。MPD可包括统一资源定位符(URL)连同关于媒体呈现的其它信息。

发布者可包括MPD中的图片方位信息，所述信息可为文件或文件的一部分。举例来说，PictureOrientationInfo元素(如展示于表1中的下文的实例中)可包括于MPD中，在MPD层级处(在所述状况下，信息应用于媒体呈现的所有视频流)、在周期层级处(在所述状况下，信息应用于周期中的所有视频流)、在适应集合层级处(在所述状况下，信息应用于适应集合中的所有视频流)、在表示层级处(在所述状况下，信息应用于表示中的所有视频流)，或在子表示层级处(在所述状况下，信息应用于子表示中的所有视频流)。

PictureOrientationInfo元素提供图片方位信息。可为MPD元素、周期元素、适应集合元素、表示元素或子表示元素的容器应用程序(container)元素可含有零个或零个以上PictureOrientationInfo元素。每一PictureOrientationInfor元素含有：强制recommendedRotation属性，其提供推荐旋转；可选persistencyPeriodStart属性，其提供持续周期开始；和可选persistencyPeriodEnd属性，其提供持续周期结束。

persistencyPeriodStart或persistencyPeriodEnd的值可以基于包括于MPD中的时幅属性的单位为单位。在一些实施方案中，持续周期信息可识别媒体呈现的一部分(例如，图片的集合、区段的集合，或子区段的集合)。

在一些实施方案中，容器应用程序元素内的PictureOrientationInfo元素的文字次序匹配PictureOrientationInfo元素适用的视频媒体样本的增加的呈现时间次序。

表1

发射图片方位信息的又一实例是(例如)根据ISO基础媒体文件格式(ISO BMFF)在多媒体文件中包括图片方位信息。ISO BMFF大体描述可扩展多媒体文件格式，其中数据结构的各种层级描述在各种粒度等级(例如，整个文件、图片的群组、特定图片)下的信息。图片方位信息可包括于在用于在文件中所识别的视频流的轨道中的样本描述条目中。一个样本描述条目可适用于一样本集合。针对每一推荐旋转值，持续周期开始和持续周期结束被明确地发射。用于推荐旋转的值可如上文所描述而指定。用于推荐旋转的持续周期开始的值可指定为等于推荐旋转所应用于的第一样本(以呈现次序)的解码时间，且持续周期结束的值可指定为等于推荐旋转所应用于的最后样本(以呈现次序)的解码时间。在一些实施方案中，用于推荐旋转的持续周期开始的值可指定为等于推荐旋转所应用于的第一样本(以呈现次序)的呈现时间，且持续周期结束的值可指定为等于推荐旋转所应用于的最后样本(以呈现次序)的呈现时间。在一些实施方案中，持续周期结束的值可指定为等于在推荐旋转所应用于的最后样本(以呈现次序)之后的第一样本(以呈现次序)的呈现时间。在一些实施方案中，持续周期结束的值可指定为等于在推荐旋转所应用于的最后样本(以呈现次序)之后的第一样本(以呈现次序)的解码时间。

还可使用新的类型的样本群组(例如，命名为“poif”)来运送图片方位信息。推荐旋转的特定值所应用的样本的每一集合包含具有类型“poif”的一个样本群组。在样本群组条目中，发射推荐旋转的值(与上文所定义类似)。视频轨道可含有具有grouping_type“poif”的SampleToGroupBox的零个或零个以上执行实例。每一SampleToGroupBox执行实例表示轨道中的样本的集合到具有类型“poif”的样本群组的指派。具有类型“poif”的每一样本群组与具有类型“poif”的样本群组描述条目相关联，所述条目包括于具有相同分组类型的SampleGroupDescriptionBox的执行实例中。

在另一替代性实施例中，图片方位信息可使用新的框来运送。所述框可具有将所述框识别为图片方位信息的类型(例如，“poif”)。用于所述框的容器应用程序为文件。所述框可为可选框。可包括图片方位信息框的一或多个执行实例。图片方位信息框可用以为电影切片或含有电影切片的文件(例如，区段)中的样本供应图片方位信息。

图片方位信息框与以位流次序跟随其的下一电影切片框相关。所述框大体遵照任何区段类型或区段中的区段索引框(如果有)，且在接下来的电影切片框(其所参考)之前出现。如果区段文件含有任何图片方位信息框，那么其中第一者优选在所述区段中的第一电影切片框之前出现。表2说明可用以表示图片方位框的样本语法。

表2

图7说明示范性解码装置的功能性框图。解码装置700可包括于目的地装置16中。所示的解码装置700包括输送接收器701和解码器702。

输送接收器701可经配置以获得多媒体消息(例如，图4中所示的多媒体消息)。输送接收器701可进一步经配置以从多媒体消息的第一部分获得方位信息，且从多媒体消息的第二部分获得经编码多媒体数据。输送接收器701可将经编码多媒体数据提供到解码器702。输送接收器701还可将方位信息提供到显示预处理器704，且视情况提供到解码器702。

解码器702可接收经编码多媒体数据。经编码多媒体数据可以上文所描述的方式中的一或多者编码。解码器702可视情况接收方位信息。方位信息可用作解码处理程序的一部分。

解码器702还可接收解码配置输入。解码配置输入可识别待应用的解码方案。解码配置输入可被提供一次且用于所有多媒体流。解码配置输入可为动态的，且针对每一经编码多媒体数据而提供。在动态配置中，解码配置可至少部分地基于所接收多媒体信息、源装置12的一或多个特性(例如，功率、处理性能、负载)、目的地装置16的一或多个特性(例如，功率、处理性能、负载、与源装置的耦合)，和/或可用于目的地装置16的其它信息而选择。

解码器702将可包括时间信息和多媒体数据的经解码信息提供作为输出。如图7中所示，输出可提供到显示预处理器704。显示预处理器704可经配置以至少部分地基于方位信息、经解码时间信息，和/或经解码多媒体而调整多媒体数据的方位。显示预处理器704还可从不同于解码器702的未描绘的其它模块接收图片方位信息。

显示预处理器704还可接收显示配置输入。显示配置输入可包括值，例如用于目标显示器的方位、目标显示器的尺寸、针对是否旋转的偏好，及其类似者。因此，取决于用户偏好、系统配置，或显示装置自身的方位，显示预处理器704可在来自视频解码器的输出图片被显示之前选择性地旋转所述图片。举例来说，如果发送器侧指示方位应逆时针旋转50度且显示预处理器704检测到目标显示器已逆时针旋转40度(从垂直)，那么显示预处理器704可确定其在显示图片之前无需旋转所述图片。额外显示预处理可包括色彩校正、时间校正、纵横比校正、按比例缩放，和/或裁剪输出图片以配合目标显示器大小。

图8说明用于发射媒体信息的方法的处理程序流程图。所述方法可以本文所描述的装置中的一或多者来实施。举例来说，源装置12可经配置以执行所示的方法的一或多个方面。

在框802处，获得图片或视频信息，图片或视频信息在图片或视频信息连同方位信息被获得时包括媒体俘获单元的图像数据和方位信息。在框804处，编码所获得信息。方位信息可包括于第一部分中，且图像数据可包括于第二部分中。在一些实施方案中，第二部分经编码且第一部分相异于第二部分。编码可通过编码装置300(例如，图3中所示的编码装置300)执行。编码可包括上文所描述的消息中的一或多者(例如，在图4到图6中)。在框806处，发射第一部分和第二部分。所述发射可为有线或无线的。所述发射可直接到目的地装置或经由一或多个中间体。

图9说明用于发射媒体信息的示范性设备的功能框图。所属领域的技术人员将了解，媒体信息发射设备可具有多于图9中所示的简化设备900的组件。所示的设备900仅包括可用于描述在权利要求书的范围内的实施方案的一些杰出特征的那些组件。设备900包括俘获电路902、编码电路904和发射器906。

俘获电路902经配置以获得图片或视频信息，图片或视频信息在图片或视频信息被获得时包括媒体俘获单元的方位信息。俘获电路902可包括图像传感器、相机、麦克风、方位检测器、时钟、处理器和存储器中的一或多者。在一些实施方案中，用于获得图片或视频信息的装置可包括俘获电路902。

编码电路904经配置以编码经俘获的图片或视频信息。方位信息可包括于第一部分中且图像数据可包括于第二部分中，第二部分经编码且第一部分相异于第二部分。编码电路904可经配置以根据上文所描述的技术中的一或多者编码。编码电路904可包括编码器装置、比较器、存储器、处理器、令牌器(tokenizer)和序列产生器中的一或多者。在一些实施方案中，用于编码图片或视频信息的装置可包括编码电路904。

发射器906经配置以发射第一部分和第二部分。发射器906可经配置以用于有线或无线发射。发射器906可包括天线、信号产生器、电源、放大器、网络接口、处理器和存储器中的一或多者。在一些实施方案中，用于发射经编码图片或视频信息的装置可包括发射器906。

图10说明用于显示媒体信息的方法的处理程序流程图。所述方法可以本文所描述的装置中的一或多者来实施。举例来说，目的地装置16可经配置以执行所示的方法的一或多个方面。

在框1002处，获得包括至少一输出图片的图片或视频信息。所存储的图片或视频信息可如上文所描述而编码，其在包括图片或视频信息的消息的相应部分中包括旋转信息和经编码图像数据。在框1004处，解码所获得的经编码图像数据。在框1006处，识别旋转数据和用于旋转数据的周期。在框1008处，基于所识别旋转数据和所识别周期产生经解码输出图片的版本。

图11说明用于显示媒体信息的示范性设备的功能框图。所属领域的技术人员将了解，媒体信息显示设备可具有多于图11中所示的简化设备1100的组件。所示的设备1100仅包括可用于描述在权利要求书的范围内的实施方案的一些杰出特征的那些组件。设备1100包括接收器1102、消息剖析器1104、解码电路1106和图片产生电路1108。

接收器1102经配置以获得图片或视频信息，图片或视频信息包括至少一输出图片。接收器1102可包括存储器、天线、信号处理器、网络接口和解调器中的一或多者。在一些实施方案中，用于获得图片或视频信息的装置包括接收器1102。

消息剖析器1104经配置以从旋转信息提取旋转数据和用于旋转数据的周期，且从视频信息的所获得图片提取经编码输出图片。消息剖析器1104可包括比较器、存储器、处理器和加法器中的一或多者。在一些实施方案中，用于识别旋转信息的装置包括消息剖析器1104。

解码电路1106经配置以解码包括于图片或视频信息中的经编码输出图片。解码电路1106可包括解码装置、比较器、存储器、处理器和令牌器中的一或多者。在一些实施方案中，用于解码输出图片的装置包括解码电路1106。

图片产生电路1108经配置以基于所识别旋转数据和所识别周期产生经解码的至少一输出图片的版本以供显示。图片产生电路1108可包括比较器、存储器、处理器、像素产生器、按比例缩放电路、裁剪电路和加法器中的一或多者。在一些实施方案中，用于处理输送层信息的装置包括图片产生电路1108。

如本文所使用，术语“确定”包含广泛多种移动。举例来说，“确定”可包括推算、计算、处理、推导、调查、查找(例如，在表、数据库或另一数据结构中查找)、查明及其类似者。并且，“确定”可包括接收(例如，接收信息)、存取(例如，存取存储器中的数据)及其类似者。并且，“确定”可包括解析、选择、挑选、建立及其类似者。

如本文所使用，术语“提供”包含广泛多种移动。举例来说，“提供”可包括将值存储于一位置以供后续检索、将值直接发射到接收者、发射或存储对值的参考，及其类似者。“提供”还可包括编码、解码、加密、解密、验证、核对，及其类似者。

如本文所使用，指代条目列表“中的至少一者”的短语指代那些条目的任何组合，包括单一成员。作为实例，“a、b或c中的至少一者”希望涵盖：a、b、c、a-b、a-c、b-c和a-b-c。

上文所描述的方法的各种操作可通过能够执行所述操作的任何合适的装置来执行，所述装置例如各种硬件和/或软件组件、电路，和/或模块。一般来说，各图中所说明的任何操作可通过能够执行所述操作的相应功能装置来执行。

结合本发明所描述的各种说明性逻辑块、模块和电路可通过通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其它可编程逻辑装置(PLD)、离散门或晶体管逻辑、离散硬件组件，或经设计以执行本文所描述的功能的其任何组合来实施或执行。通用处理器可为微处理器，但在替代方案中，处理器可为任何市售处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心，或任何其它此类配置。

在一或多个方面中，所述功能可以硬件、软件、固件，或其任何组合来实施。如果以软件来实施，那么可将所述功能作为一或多个指令或代码存储于计算机可读媒体上或经由计算机可读媒体来发射。计算机可读媒体包括计算机存储媒体和通信媒体两者，通信媒体包括促进计算机程序从一处传送到另一处的任何媒体。存储媒体可为可通过计算机存取的任何可用媒体。通过实例且非限制，此类计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以携载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。并且，将任何连接恰当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程源发射软件，那么同轴缆线、光纤缆线、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包括于媒体的定义中。如本文所使用，磁盘和光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。因此，在一些方面中，计算机可读媒体可包含非暂时性计算机可读媒体(例如，有形媒体)。另外，在一些方面中，计算机可读媒体可包含暂时性计算机可读媒体(例如，信号)。以上内容的组合也应包括于计算机可读媒体的范围内。

本文所揭示的方法包含用于实现所描述方法的一或多个步骤或动作。方法步骤和/或动作可在不脱离权利要求书的范围的情况下彼此互换。换句话说，除非指定步骤或动作的特定次序，否则在不脱离权利要求书的范围的情况下，可修改特定步骤和/或动作的次序和/或使用。

类似地，上文所描述的消息包括可在各种实施方案中使用的一或多个字段。在不脱离权利要求书的范围的情况下，消息可包括额外字段、较少的字段，和/或替代性字段配置。

所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么可将所述功能作为一或多个指令存储于计算机可读媒体上。存储媒体可为可由计算机存取的任何可用媒体。通过实例且非限制，此类计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以携载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文所使用，磁盘和光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘和Blu-光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。

因此，某些方面可包含用于执行本文所呈现的操作的计算机程序产品。举例来说，此计算机程序产品可包含上面存储有(和/或编码有)指令的计算机可读媒体，所述指令可通过一或多个处理器执行以执行本文所描述的操作。针对某些方面，计算机程序产品可包括封装材料。

还可经由发射媒体来发射软件或指令。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程源发射软件，那么同轴缆线、光纤缆线、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包括于发射媒体的定义中。

此外，应了解，用于执行本文所描述的方法和技术的模块和/或其它适当的装置可通过编码装置和/或解码装置下载和/或以其它方式获得(如果适用)。举例来说，此装置可耦合到服务器，以促进用于执行本文所描述的方法的装置的传送。或者，本文所描述的各种方法可经由存储装置(例如，RAM、ROM、例如紧密光盘(CD)或软性磁盘等实体存储媒体等)来提供，使得用户终端和/或基站可在将存储装置耦合或提供到装置后即刻获得各种方法。此外，可利用用于将本文所描述的方法和技术提供到装置的任何其它合适的技术。

应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可在上文所描述的方法和设备的配置、操作和细节上进行各种修改、改变和变化。

尽管前述内容针对本发明的方面，但可在不脱离本发明的基本范围的情况下设计本发明的其它和另外方面，且本发明的范围由所附权利要求书确定。

Claims (80)

1.一种用于显示媒体信息的方法，所述方法包含：

获得图片或视频信息，所述图片或视频信息包括至少一输出图片和用于所述至少一输出图片的旋转信息，所述旋转信息包括于所述图片或视频信息的标头部分中且所述至少一输出图片包括于所述图片或视频信息的图片字段部分中，所述图片字段部分经编码且所述标头部分相异于所述图片字段部分；

解码包括于所述图片或视频信息的所述图片字段部分中的至少一输出图片；

基于包括于所述图片或视频信息的所述标头部分中的所述旋转信息而识别旋转数据和用于所述旋转数据的周期，用于所述旋转数据的所述周期基于所述旋转所应用到的图片的开始时戳和所述旋转周期结束之后的图片的结束时戳而被识别，所述开始时戳包括于开始字段中，所述结束时戳包括于结束字段中；以及

根据所述所识别旋转数据和所述所识别周期旋转所述经解码的至少一输出图片。

2.根据权利要求1所述的方法，其中所述所识别周期包括旋转开始点和旋转结束点中的至少一者。

3.根据权利要求1所述的方法，其中所述周期识别包括待旋转的图片的包的包序号。

4.根据权利要求1所述的方法，其中所述周期识别待旋转的图片的呈现时间。

5.根据权利要求1所述的方法，其中在包括于所述图片或视频信息中的图片方位信息元素中识别所述周期，所述图片或视频信息包含实时输送控制协议消息。

6.根据权利要求1所述的方法，其中在包括于所述图片或视频信息中的一或多个扩展标头中识别所述周期，所述图片或视频信息包含实时输送协议消息。

7.根据权利要求1所述的方法，其中在包括于会话描述协议文件中的一或多个属性中识别所述周期，所述图片或视频信息包含所述会话描述协议文件。

8.根据权利要求7所述的方法，其中经由会话起始协议、实时流协议和超文本传送协议中的一或多者而接收所述会话描述协议文件。

9.根据权利要求1所述的方法，其中在媒体呈现描述中识别所述周期，所述图片或视频信息包含所述媒体呈现描述。

10.根据权利要求9所述的方法，其中针对与所述媒体呈现描述相关联的媒体呈现的视频流中的全部或子分组而识别所述周期。

11.根据权利要求10所述的方法，其中所述子分组包含媒体呈现层级分组、周期层级分组、适应集合层级分组、表示层级分组和子表示层级分组中的至少一者。

12.根据权利要求1所述的方法，其中在ISO基础媒体文件中的一或多个条目中识别所述周期，所述图片或视频信息包含所述ISO基础媒体文件。

13.根据权利要求12所述的方法，其中所述一或多个条目包括在与所述图片或视频信息相关联的轨道中的样本描述条目。

14.根据权利要求12所述的方法，其中所述一或多个条目包括图片方位信息样本群组条目。

15.根据权利要求12所述的方法，其中所述一或多个条目包括图片方位信息框条目，

所述框条目与所述图片或视频信息的至少一部分相关联。

16.根据权利要求1所述的方法，其进一步包含从发送器装置接收所述图片或视频信息。

17.根据权利要求16所述的方法，其中所述发送器装置包含相机、视频源、固定图片俘获装置和移动装置中的至少一者。

18.根据权利要求16所述的方法，其中旋转所述至少一输出图片在解码所述图片或视频信息之后发生。

19.根据权利要求16所述的方法，其进一步包含以与所述发送器装置起初俘获所述图片或视频时的方位实质上相同的方位显示所述至少一输出图片。

20.根据权利要求1所述的方法，其进一步包含基于用于目标显示器的信息旋转所述至少一输出图片。

21.根据权利要求20所述的方法，其中所述用于目标显示器的信息包括显示器尺寸信息、显示器方位信息、显示器分辨率信息和显示器识别信息中的一或多者。

22.根据权利要求21所述的方法，其进一步包含至少部分地基于所述显示器识别信息获得用于目标显示器的信息。

23.根据权利要求1所述的方法，其中处理器进一步经配置以基于所述旋转数据和所述周期修改所述至少一输出图片。

24.根据权利要求23所述的方法，其中所述修改包括色彩校正、时间校正、纵横比校正、按比例缩放和裁剪中的至少一者。

25.一种用于显示媒体信息的设备，所述设备包含：

存储器单元，其经配置以存储图片或视频信息，所述图片或视频信息包括至少一输出图片和用于所述至少一输出图片的旋转信息，所述旋转信息包括于所述图片或视频信息的标头部分中且所述至少一输出图片包括于所述图片或视频信息的图片字段部分中，所述图片字段部分经编码且所述标头部分相异于所述图片字段部分；

输送层处理器，其经配置以：

从包括于所述标头部分中的所述旋转信息提取旋转数据和用于所述旋转数据的周期，用于所述旋转数据的所述周期基于所述旋转所应用到的图片的开始时戳和所述旋转周期结束之后的结束时戳而被识别，所述开始时戳包含于开始字段中，所述结束时戳包含于结束字段中；且

从所述图片字段部分提取所述至少一输出图片；

解码器，其经配置以解码所述所提取的至少一输出图片；以及

呈现处理器，其经配置以基于所识别旋转数据和所识别周期而产生所述经解码的至少一输出图片的一版本以供显示。

26.根据权利要求25所述的设备，其中所述所识别周期包括旋转开始点和旋转结束点中的至少一者。

27.根据权利要求25所述的设备，其中所述周期识别包括待旋转的图片的包的包序号。

28.根据权利要求25所述的设备，其中所述周期识别待旋转的图片的呈现时间。

29.根据权利要求25所述的设备，其中所述周期被识别于包括于所述图片或视频信息中的图片方位信息元素中，所述图片或视频信息包含实时输送控制协议消息。

30.根据权利要求25所述的设备，其中所述周期被识别于包括于所述图片或视频信息中的一或多个扩展标头中，所述图片或视频信息包含实时输送协议消息。

31.根据权利要求25所述的设备，其中所述周期被识别于包括于会话描述协议文件中的一或多个属性中，所述图片或视频信息包含所述会话描述协议文件。

32.根据权利要求31所述的设备，其中所述会话描述协议文件经由会话起始协议、实时流协议和超文本传送协议中的一或多者而接收。

33.根据权利要求25所述的设备，其中所述周期被识别于媒体呈现描述中，所述图片或视频信息包含所述媒体呈现描述。

34.根据权利要求33所述的设备，其中所述周期针对与所述媒体呈现描述相关联的媒体呈现的视频流中的全部或子分组而被识别。

35.根据权利要求34所述的设备，其中所述子分组包含媒体呈现层级分组、周期层级分组、适应集合层级分组、表示层级分组和子表示层级分组中的至少一者。

36.根据权利要求25所述的设备，其中所述周期被识别于ISO基础媒体文件中的一或多个条目中，所述图片或视频信息包含所述ISO基础媒体文件。

37.根据权利要求36所述的设备，其中所述一或多个条目包括与所述图片或视频信息相关联的轨道中的样本描述条目。

38.根据权利要求36所述的设备，其中所述一或多个条目包括图片方位信息样本群组条目。

39.根据权利要求36所述的设备，其中所述一或多个条目包括图片方位信息框条目，所述框条目与所述图片或视频信息的至少一部分相关联。

40.根据权利要求25所述的设备，其进一步包含接收器，所述接收器经配置以从发送器装置接收所述图片或视频信息。

41.根据权利要求40所述的设备，其中所述发送器装置包含相机、视频源、固定图片俘获装置和移动装置中的至少一者。

42.根据权利要求40所述的设备，其中所述经解码的至少一输出图片的所述版本包括与所述发送器装置起初俘获所述图片或视频时实质上类似的方位。

43.根据权利要求25所述的设备，其中所述呈现处理器进一步经配置以基于所述经解码的至少一输出图片而产生所述经解码的至少一输出图片的一版本。

44.根据权利要求25所述的设备，其中所述呈现处理器进一步经配置以基于用于目标显示器的信息而产生所述经解码的至少一输出图片的旋转版本。

45.根据权利要求44所述的设备，其中所述用于目标显示器的信息包括显示器尺寸信息、显示器方位信息、显示器分辨率信息和显示器识别信息中的一或多者。

46.根据权利要求45所述的设备，其中所述呈现处理器经配置以至少部分地基于所述显示器识别信息而获得用于所述目标显示器的所述信息。

47.根据权利要求25所述的设备，其中所述呈现处理器进一步经配置以基于所述旋转数据和所述周期而修改所述至少一输出图片。

48.根据权利要求47所述的设备，其中所述修改包括色彩校正、时间校正、纵横比校正、按比例缩放和裁剪中的至少一者。

49.一种非暂时性计算机可读存储媒体，其包含可由一设备的处理器执行的指令，所述指令使得所述设备：

获得图片或视频信息，所述图片或视频信息包括至少一输出图片和用于所述至少一输出图片的旋转信息，所述旋转信息包括于所述图片或视频信息的标头部分中且所述至少一输出图片包括于所述图片或视频信息的图片字段部分中，所述图片字段部分经编码且所述标头部分相异于所述图片字段部分；

解码包括于所述图片或视频信息的所述图片字段部分中的至少一输出图片；

基于包括于视频信息的所述图片的所述标头部分中的所述旋转信息而识别旋转数据和用于所述旋转数据的周期，用于所述旋转数据的所述周期基于所述旋转所应用到的图片的开始时戳和所述旋转周期结束之后的图片的结束时戳而被识别，所述开始时戳包含于开始字段中，所述结束时戳包含于结束字段中；且

根据所述所识别旋转数据和所述所识别周期而旋转所述经解码的至少一输出图片。

50.一种用于显示媒体信息的设备，所述设备包含：

用于获得图片或视频信息的装置，所述图片或视频信息包括至少一输出图片和用于所述至少一输出图片的旋转信息，所述旋转信息包括于所述图片或视频信息的标头部分中且所述至少一输出图片包括于所述图片或视频信息的图片字段部分中，所述图片字段部分经编码且所述标头部分相异于所述图片字段部分；

用于处理输送层信息的装置，其经配置以：

从包括于所述标头部分中的所述旋转信息提取旋转数据和用于所述旋转数据的周期，用于所述旋转数据的所述周期基于所述旋转所应用到的图片的开始时戳和所述旋转周期结束之后的图片的结束时戳而被识别，所述开始时戳包含于所述开始字段中，所述结束时戳包含于所述结束字段中；且

从所述图片字段部分提取所述至少一输出图片；

用于解码的装置，其经配置以解码所述所提取的至少一输出图片；以及

用于产生显示的装置，其经配置以基于所识别旋转数据和所识别周期而产生所述经解码的至少一输出图片的一版本以供显示。

51.一种用于发射媒体信息的方法，所述方法包含：

获得图片或视频信息，所述图片或视频信息包括图像数据和媒体俘获单元在获得所述图片或视频信息时的方位信息，所述方位信息包括旋转数据和所述旋转数据所应用的周期，用于所述旋转数据的所述周期基于所述旋转所应用到的图片的开始时戳和所述旋转周期结束之后的图片的结束时戳而被识别，所述开始时戳包含于开始字段中，所述结束时戳包含于结束字段中；以及

编码所述图片或视频信息，其中所述方位信息包括于标头部分中且所述图像数据包括于图片字段部分中，所述图片字段部分经编码且所述标头部分相异于所述图片字段部分；以及

发射所述标头部分和所述图片字段部分。

52.根据权利要求51所述的方法，其中所述标头部分与所述图片字段部分一起在频带内发射。

53.根据权利要求51所述的方法，其中所述标头部分与所述图片字段部分一起在频带外发射。

54.根据权利要求51所述的方法，其中所述标头部分包括实时输送协议消息的图片方位信息元素。

55.根据权利要求51所述的方法，其中所述标头部分包括会话描述协议文件中所包括的一或多个属性。

56.根据权利要求55所述的方法，其中发射所述标头部分包括经由会话起始协议、实时流协议和超文本传送协议中的一或多者而发射。

57.根据权利要求51所述的方法，其中所述标头部分包括于媒体呈现描述中。

58.根据权利要求57所述的方法，其中所述标头部分针对与所述媒体呈现描述相关联的媒体呈现的视频串流中的全部或子分组而识别旋转的周期。

59.根据权利要求58所述的方法，其中所述子分组包含媒体呈现层级分组、周期层级分组、适应集合层级分组、表示层级分组和子表示层级分组中的至少一者。

60.根据权利要求51所述的方法，其中所述标头部分包括于ISO基础媒体文件中的一或多个条目中。

61.根据权利要求60所述的方法，其中所述一或多个条目包括在与所述图片或视频信息相关联的轨道中的样本描述条目。

62.根据权利要求60所述的方法，其中所述一或多个条目包括图片方位信息样本群组条目。

63.根据权利要求60所述的方法，其中所述一或多个条目包括图片方位信息框条目，所述框条目与所述图片或视频信息的至少一部分相关联。

64.根据权利要求51所述的方法，其中所述媒体俘获单元包含存储器、相机、视频源、固定图片俘获装置和移动装置中的至少一者。

65.一种用于发射媒体信息的设备，所述设备包含：

媒体俘获单元，其经配置以获得图片或视频信息，所述图片或视频信息包括图像数据和媒体俘获单元在获得所述图片或视频信息时的方位信息，所述方位信息包括旋转数据和所述旋转数据所应用的周期，用于所述旋转数据的所述周期基于所述旋转所应用到的图片的开始时戳和所述旋转周期结束之后的图片的结束时戳而被识别，所述开始时戳包括于开始字段中，所述结束时戳包括于结束字段中；

编码器，其经配置以编码所述图片或视频信息，其中所述方位信息包括于标头部分中且所述图像数据包括于图片字段部分中，所述图片字段部分经编码且所述标头部分相异于所述图片字段部分；以及

发射器，其经配置以发射所述标头部分和所述图片字段部分。

66.根据权利要求65所述的设备，其中所述标头部分与所述图片字段部分一起在频带内发射。

67.根据权利要求65所述的设备，其中所述标头部分与所述图片字段部分一起在频带外发射。

68.根据权利要求65所述的设备，其中所述标头部分包括实时输送协议消息的图片方位信息元素。

69.根据权利要求65所述的设备，其中所述标头部分包括在会话描述协议文件中所包括的一或多个属性。

70.根据权利要求69所述的设备，其中发射所述标头部分包括经由会话起始协议、实时流协议和超文本传送协议中的一或多者而发射。

71.根据权利要求65所述的设备，其中所述标头部分包括于媒体呈现描述中。

72.根据权利要求71所述的设备，其中所述标头部分针对与所述媒体呈现描述相关联的媒体呈现的视频流中的全部或子分组而识别旋转的周期。

73.根据权利要求72所述的设备，其中所述子分组包含媒体呈现层级分组、周期层级分组、适应集合层级分组、表示层级分组和子表示层级分组中的至少一者。

74.根据权利要求65所述的设备，其中所述标头部分包括于ISO基础媒体文件中的一或多个条目中。

75.根据权利要求74所述的设备，其中所述一或多个条目包括与所述图片或视频信息相关联的轨道中的样本描述条目。

76.根据权利要求74所述的设备，其中所述一或多个条目包括图片方位信息样本群组条目。

77.根据权利要求74所述的设备，其中所述一或多个条目包括图片方位信息框条目，

所述框条目与所述图片或视频信息的至少一部分相关联。

78.根据权利要求65所述的设备，所述媒体俘获单元包含存储器、相机、视频源、固定图片俘获装置和移动装置中的至少一者。

79.一种计算机可读存储媒体，其包含可由一设备的处理器执行的指令，所述指令使得所述设备：

获得图片或视频信息，所述图片或视频信息包括图像数据和媒体俘获单元在获得所述图片或视频信息时的方位信息，所述方位信息包括旋转数据和所述旋转数据所应用的周期，用于所述旋转数据的所述周期基于所述旋转所应用到的图片的开始时戳和所述旋转周期结束之后的图片的结束时戳而被识别，所述开始时戳包括于开始字段中，所述结束时戳包括于结束字段中；

编码所述图片或视频信息，其中所述方位信息包括于标头部分中且所述图像数据包括于图片字段部分中，所述图片字段部分经编码且所述标头部分相异于所述图片字段部分；且

发射所述标头部分和所述图片字段部分。

80.一种用于发射媒体信息的设备，所述设备包含：

用于获得图片或视频信息的装置，所述图片或视频信息包括图像数据和媒体俘获单元在获得所述图片或视频信息时的方位信息，所述方位信息包括旋转数据和所述旋转数据所应用的周期，用于所述旋转数据的所述周期基于所述旋转所应用到的图片的开始时戳和所述旋转周期结束之后的图片的结束时戳而被识别，所述开始时戳包括于开始字段中，所述结束时戳包括于结束字段中；

用于编码所述图片或视频信息的装置，其中所述方位信息包括于标头部分中且所述图像数据包括于图片字段部分中，所述图片字段部分经编码且所述标头部分相异于所述图片字段部分；以及

用于发射所述标头部分和所述图片字段部分的装置。