CN104685894A - 基于视频定向的多媒体适应 - Google Patents

基于视频定向的多媒体适应 Download PDF

Info

Publication number
CN104685894A
CN104685894A CN201380050362.5A CN201380050362A CN104685894A CN 104685894 A CN104685894 A CN 104685894A CN 201380050362 A CN201380050362 A CN 201380050362A CN 104685894 A CN104685894 A CN 104685894A
Authority
CN
China
Prior art keywords
video
orientation
directed
file
rtp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380050362.5A
Other languages
English (en)
Other versions
CN104685894B (zh
Inventor
O·奥伊曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN202010049662.3A priority Critical patent/CN111225256A/zh
Publication of CN104685894A publication Critical patent/CN104685894A/zh
Application granted granted Critical
Publication of CN104685894B publication Critical patent/CN104685894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

公开了用于基于视频定向的多媒体适应的技术。在一个示例中，服务器可以包括被配置为执行以下操作的计算机电路：从客户端设备接收设备能力，其中，该设备能力包括视频定向能力；以及基于该设备的视频定向能力来执行视频定向感知的多媒体适应。

Description

基于视频定向的多媒体适应
相关申请
本申请要求享受于2012年10月26日提交的美国临时专利申请号No.61/719,241(代理人案卷号为P50328Z)的优先权，故以引用方式将其并入本文。本申请要求享受于2013年1月17日提交的美国临时专利申请号No.61/753,914(代理人案卷号为P53504Z)的优先权，并以引用方式将其并入本文。
背景技术
无线移动通信技术使用各种标准和协议来在节点(例如，传输站)和无线设备(例如，移动设备)之间发送数据。一些无线设备在下行链路(DL)传输中使用正交频分多址(OFDMA)以及在上行链路(UL)传输中使用单载波频分多址(SC-FDMA)来进行通信。使用正交频分复用(OFDM)来进行信号传输的标准和协议包括：第三代合作伙伴计划(3GPP)长期演进(LTE)、电气和电子工程师协会(IEEE)802.16标准(例如，802.16e、802.16m)(工业组通常称之为WiMAX(全球微波互联接入))和IEEE 802.11标准(工业组通常称之为WiFi)。
在3GPP无线接入网络(RAN)LTE系统中，节点可以是与无线设备(其称为用户设备(UE))进行通信的演进型通用陆地无线接入网络(E-UTRAN)节点B(其通常还表示为演进型节点B、增强型节点B、eNodeB或eNB)和无线网络控制器(RNC)的组合。下行链路(DL)传输可以是从节点(例如，eNodeB)到无线设备(例如，UE)的通信，上行链路(UL)传输可以是从无线设备到节点的通信。
无线设备可以用于使用诸如超文本传输协议(HTTP)流式传输之类的各种协议，来接收互联网视频的多媒体传送。用于提供基于HTTP的视频流传送的协议可以包括HTTP动态自适应流式传输(DASH)。
附图说明
通过结合附图来考虑以下的具体实施方式，本发明的特征和优点将变得显而易见，这些附图通过举例的方式一起描绘了本发明的特征，其中：
图1根据一个示例示出了分组交换流式传输业务(PSS)能力交换中的功能分量(component)的图；
图2根据一个示例示出了用于分组交换流式传输服务(PSS)和基于集成多媒体子系统(IMS)的PSS和多媒体广播多播服务(MBMS)(IMS_PSS_MBMS)服务的示例性设备能力简档；
图3根据一个示例示出了具有针对视频定向(orientation)的适应的一种示例性的基于超文本传输协议(HTTP)动态自适应流式传输的(基于DASH的)流式传输；
图4根据一个示例示出了具有针对视频定向的适应的一种示例性的基于实时流式传输协议的(基于RTSP的)流式传输；
图5根据一个示例示出了一种示例性服务发现，其具有针对基于集成多媒体子系统(IMS)的分组交换流式传输业务(PSS)和多媒体广播多播服务(MBMS)(简称为IMS_PSS_MBMS)服务的订阅和通知；
图6根据一个示例示出了基于接收到具有嵌入的视频定向信息的内容，来使用定向感知的多媒体适应的示例性服务器-客户端交互；
图7根据一个示例示出了使用国际标准化组织的(基于ISO的)基媒体文件格式(ISO-BMFF)的实例化，在第三代合作伙伴计划(3GPP)文件格式(3GP)文件中嵌入视频定向信息的示例；
图8根据一个示例示出了基于接收到嵌入有视频定向信息的内容，来使用设备定向感知的多媒体适应的示例性服务器-客户端交互；
图9根据一个示例示出了一种国际标准化组织(ISO)文件格式盒(box)结构层次；
图10根据一个示例描绘了用于在服务器处基于移动终端(MT)的设备定向来进行多媒体适应的方法的流程图；
图11是根据一个示例描绘了可操作用于基于视频定向来进行多媒体适应的服务器的计算机电路的功能；
图12根据一个示例示出了服务器、节点和用户设备(UE)的图；
图13根据一个示例示出了一种无线设备(例如，UE)的图。
现在将参照所示出的示例性实施例，并且本文将使用特定的语言来描述它们。然而，将理解的是，其并不旨在对本发明的范围进行限制。
具体实施方式
在公开和描述本发明之前，应当理解，本发明不受限于本文所公开的特定结构、过程步骤或者材料，而是扩展到其等效项，如相关领域普通技术人员所应当认识到的。还应当理解的是，本文使用的术语是仅出于描述特定示例的目的来使用的，并不旨在是限制性的。不同附图中的相同附图标记表示相同的元素。在流程图和过程中所提供的数字，是为了清晰地示出步骤和操作，并不是必然地指示特定的顺序或者序列。
示例性实施例
下面提供了技术实施例的初始概述，稍后进一步详细描述了特定的技术实施例。这种初始的概括旨在帮助读者更快速地理解本技术，而不是旨在标识本技术的关键特征或者重要特征，也不是旨在限制本发明的所主张的主题的范围。
包括流式传输服务和会话服务的多媒体服务的增长，是向新的移动宽带技术和标准演进的驱动力之一。伴随着媒体压缩和无线网络基础设施的发展对多媒体业务具有高的客户需求，增强蜂窝和移动宽带系统的多媒体服务能力是期望的，其中，这些多媒体业务能力可以用于向客户传送高的体验质量(QoE)，确保能使用任何设备和技术，从任何位置，在任何时间，无处不在地访问视频内容和服务。支持各种移动设备、提供媒体处理过程和针对各种设备类型和能力而优化的会话管理协议，可以用于以无处不在的方式，在高QoE基础上实现多媒体内容的传送。
随着在实时视频通信中使用的移动设备中引入定向传感器，可以对显示内容进行旋转以便与设备定向相对齐。举例而言，定向传感器可以通过测量重力场来检测设备定向。还可以使用其它类型的定向传感器。随后，在应用中可以使用该设备定向，以便根据定向来调整设备功能。例如，设备可以基于设备定向，将用户界面或视频定向旋转到肖像(portrait)模式或者风景(landscape)模式。
由于一些客户端设备包含定向传感器，因此内容或服务提供商可以提供针对不同的设备定向而优化的内容的不同编码版本，或者内容/服务提供商可以在内容捕捉(例如，在运行中)期间，对内容进行捕捉或者转码，以便传送优化的体验。从用户设备(UE)向网络以信号形式发送定向传感器能力和/或当前设备定向，可以提供用于在网络侧对内容进行调整，以传送高质量客户端体验的机会。基于多媒体适应的设备和/或视频定向适应可以应用于二维(2D)和三维(3D)视频应用。举个2D视频示例，可以基于设备定向来调整肖像或风景视频视图和/或不同的视角。举个3D视频示例，可以基于设备定向来调整不同的视角和深度信息。
能力交换信令可以是第三代合作伙伴计划的(3GPP的)分组交换流式传输服务(PSS)(如在3GPP技术规范(TS)26.234V11.1.0(2012-09)中所描述的)、HTTP动态自适应流式传输(DASH)(如在3GPP技术规范(TS)26.247V11.0.0(2012-09)中所描述的)、以及基于集成多媒体子系统(IMS)的PSS和多媒体广播多播服务(MBMS)(简称为IMS_PSS_MBMS，如在3GPP技术规范(TS)26.237V11.0.0(2012-06)中所描述的)中的重要功能。能力交换使PSS、DASH和IMS_PSS_MBMS服务器能够向各种各样的设备提供适合于所讨论的特定设备的内容。为了促进服务器侧针对流式传输的内容协商，PSS或者IMS_PSS_MBMS服务器可以经由设备能力描述来访问移动终端(MT)的特定能力的描述。该设备能力描述可以包含多种属性。对于DASH而言，设备能力信令的属性可以包括以下的参数：预解码器缓冲区大小、初始缓冲周期、解码器能力、显示属性(例如，屏幕尺寸、分辨率或者比特深度)、流式传输方法(例如，实时流式传输协议(RTSP)或HTTP)自适应支持、QoE支持、扩展的实时传输协议(RTP)控制协议(RTCP)报告支持和快速内容切换支持、以及支持的RTP简档和会话描述协议(SDP)属性。在流式传输会话的建立期间，服务器可以使用该描述来向移动终端提供正确类型的多媒体内容。这些服务器可以使用关于移动终端的能力的信息来确定向连接的终端提供哪个流。例如，服务器可以将移动终端针对流的多种可用变型的需求与连接的终端的实际能力进行比较，以确定对于该特定的移动终端最适合的流。能力交换还允许针对PSS或IMS_PSS_MBMS会话，向客户端终端(例如，移动终端)传送优化的会话描述协议(SDP)文件，或者针对DASH会话，向客户端终端传送优化的媒体呈现描述(MPD)元数据文件。
图1示出了针对PSS服务如何执行能力交换的示例。在一个最简单的描绘中，移动终端110(或客户端设备或客户端终端)可以向PSS服务器130通知该MT的标识，使得PSS服务器可以从设备简档服务器120获取设备能力简档，其中，设备简档服务器120可以存储用于移动终端的设备能力简档122。MT可以向PSS服务器发送HTTP和/或RTSP请求(170)。该HTTP和/或RTSP请求可以包括统一资源定位符(URL)描述符(URLdesc)和/或简档差异(profileDiff)报头。PSS服务器可以向设备简档服务器发送针对MT的设备能力简档的HTTP请求(160)。设备简档服务器可以向PSS服务器发送具有MT的设备能力简档的HTTP响应(162)。PSS服务器可以匹配或者复制设备能力简档(132)。PSS服务器可以基于针对该MT的设备能力简档，来向该MT发送HTTP和/或RTSP应答172和多媒体内容174。举例而言，终端制造商或者软件供应商可以维护设备简档服务器，以便为该制造商或供应商的产品提供设备能力简档。在另一个示例中，运营商可以管理用于该运营商的用户的设备简档服务器，这可以允许用户对用户简档进行特定于用户的更新。设备简档服务器可以根据请求向PSS服务器提供设备能力简档。在某些场景中，移动终端可以补充具有额外属性的标识信令，或者替换(override)在该MT的设备能力简档中已经定义的属性，这可以称为Profdiff(ProfDiff或profileDiff)。Profdiff可以临时地允许调整设备能力简档的属性。举例而言，这种临时调整可以由用户偏好触发(例如，如果对应于特定的会话的用户希望接收单声道声音，即使该移动终端能够实现立体声)。
用户代理简档(UAProf)规范可以提供用于捕捉无线设备的能力和偏好信息的协议。该能力和偏好信息可以由内容提供商使用来产生具有针对特定设备的适合格式的内容。UAProf可以与由万维网(WWW)联盟创建的复合能力/偏好简档(CC/PP)规范有关。设备能力简档可以是遵循CC/PP框架的结构和CC/PP应用UAProf的资源描述框架(RDF)文档。可以使用属性来指定设备能力和偏好。属性名称、允许值和语义的集合可以组成CC/PP词汇，CC/PP词汇可以由RDF schema来定义。对于PSS和IMS_PSS_MBMS服务来说，UAProf词汇可以进行重用，并且可以定义另外的特定于服务的词汇。图2提供了用于PSS和IMS_PSS_MBMS服务的示例性设备能力简档，其可以定义诸如TerminalHardware、PSSCommon、Streaming、ThreeGPFileFormat(3GP)或PssSmil之类的各种CC/PP分量(ccpp:component)。
如本文所描述的技术(例如，服务器、客户端设备或终端、移动终端、方法、计算机电路、以及系统)可以基于移动终端或客户端设备的定向传感器能力的设备能力交换信令来提供多媒体适应。
举例而言，可以执行至少两步骤的过程。例如，客户端设备可以向服务器以信号形式发送关于该客户端设备是否具有定向传感器，以及该客户端设备支持什么视频定向(例如，页面定向)状态(例如，肖像、风景或者海景)(参见图6和图8的280)。视频定向可以是用于PSS词汇的新的设备能力属性集，其可适用于IMS_PSS_MBMS会话和DASH会话。关于客户端设备(例如，UE)的设备定向能力的设备能力属性可以包括设备定向位置的列表，该列表提供了对以下信息的指示：视频显示设备定向模式、视频捕捉设备定向模式、视频显示设备定向角度、视频捕捉设备定向角度、具有用于指示该UE是否对定向的改变进行响应的值的布尔值指示符、用于渲染和显示的默认设备定向、用于捕捉的默认设备定向、在90度间隔中的相等地间隔开的角度粒度水平的数量(其中，在视频捕捉和显示期间，定向传感器被配置为按照该值来检测定向改变)、与该UE相关联的摄像头的数量、或者水平镜像支持。此外，客户端设备还可以通过临时地替换默认的设备定向属性，经由Profdiff信令来以信号形式发送当前设备定向，其中，设备定向属性可以是添加到设备能力交换信令词汇的另一种属性。
在另一个步骤中，服务器可以考虑来自客户端设备的定向传感器支持信号，以最适合于不同的可能设备定向的格式来提供内容的不同编码版本(参见图6的284和286；或者图8的294和286)。在会话管理层级，访问客户端的设备定向信息和/或定向能力，还可以允许服务器针对PSS或IMS_PSS_MBMS会话中的RTSP/RTP流来传送优化的会话描述协议(SDP)，或者针对DASH会话中的HTTP动态自适应流式传输(DASH)来传送优化的媒体呈现描述(MPD)。此外，如果服务器还控制内容生成和/或准备的捕捉过程，则服务器可以指示摄像头单元(例如，另一个客户端设备)来捕捉和压缩相同内容的最适合于不同的可能设备定向(参见图6和图8的282)的多个副本。此外，服务器还可以在运行中动态地执行转码和/或格式转换，以便使内容与客户端设备的定向能力最佳地匹配。
本文所描述的技术可以应用于2D和3D视频应用二者。不同的流式传输范例(例如，PSS、DASH和IMS_PSS_MBMS)可以使用不同的多媒体适应方法和过程，下文将进行更为详细地描述。
服务可以使用基于拉模式的流式传输过程或者基于推模式的流式传输过程。DASH提供了基于拉模式的流式传输的示例。对于DASH会话而言，HTTP服务器230向DASH客户端220提供针对不同的设备定向而优化的内容，如图3中所示出的。HTTP服务器可以使用来自DASH客户端的设备能力交换信令，其中，该信令描述了各种支持的设备定向状态240。来自DASH客户端的设备能力信令还可以包括：默认的设备定向属性，其指示在缺少来自DASH客户端的任何另外信令时的设备定向。可以在针对不同的设备定向具有不同的编码内容的媒体呈现描述(MPD)元数据文件242中，向DASH客户端以信号形式发送设备定向和相应的内容信息的集合，其中，在图3中描绘了服务器-客户端交互。随后，DASH客户端播放器可以跟踪当前设备定向，并且请求针对当前设备定向而优化的该内容的相应版本。此外，当使用HTTP来获取MPD时，DASH客户端可以在GET请求中包括设备定向信息，其包括基于ProfDiff对设备定向的任何临时调整(例如，当前设备定向可能与默认的设备定向不同)。使用该DASH设备能力交换信令过程，HTTP服务器可以向DASH客户端(例如，UE)传送优化的MPD。
基于实时流式传输协议(RTSP)的PSS服务和基于会话发起协议(SIP)的IMS_PSS_MBMS服务提供了基于推模式的流式传输的示例。对于PSS或IMS_PSS_MBMS服务来说，服务器232可以从客户端222接收当前设备定向信息244，基于设备定向来调整内容，如图4中所示出的。例如，服务器可以在存储的内容版本中选择最适合的内容版本或者基于当前设备定向来对内容进行动态地转码，并且将该内容流式传送到客户端(246)，其中，在图4中描绘了服务器-客户端交互。在会话描述协议(SDP)中携带的与会话有关的元数据，可以携带针对流式传输的内容的设备定向信息。
在PSS服务中，客户端可以在RTSP描述(DESCRIBE)消息中向服务器发送设备定向信息。该RTSP描述消息还可以包括：默认设备定向属性，其指示在缺少来自客户端的任何另外信令时的设备定向。如果当前设备定向与默认的设备定向不同，则可以基于ProfDiff信令，来将该差异以信号形式发送成临时调整。举例而言，支持能力交换的PSS内容服务器还可以在HTTP和RTSP请求中从客户端接收设备定向信息。
在IMS_PSS_MBMS服务中，客户端(例如，UE 250)可以在服务发现期间，在SIP订阅(SUBSCRIBE)消息260中向互联网协议(IP)多媒体(IM)核心网(CN)子系统(IM CN子系统)252发送设备定向信息，如图5中所示出的，随后，IM CN子系统252可以向服务发现功能(SDF)254转发SIP订阅消息262。该SIP订阅消息还可以包括：默认设备定向属性，其指示在缺少来自客户端的任何另外信令时的设备定向。SDF可以确定适当的服务发现信息(例如，根据UE能力或者用户的简档(例如，个性化的服务发现))。SDF可以经由SIP 200OK消息264向IM CN子系统确认该SIP订阅消息，并且IM CN子系统可以向UE转发SIP 200OK消息266。
SDF 254可以生成和/或提供服务连接信息、和/或提供个性化服务发现。IM CN子系统252可以支持用户注册和认证、移动和漫游、多媒体会话的控制、服务质量(QoS)控制、策略控制、计费以及与电路交换系统的互通。
SDF 254可以向IM CN子系统252发送具有服务发现信息的针对UE250的SIP通知(NOTIFY)消息268，IM CN子系统252将SIP通知消息270中继回该UE。该UE可以经由SIP 200OK消息272向IM CN子系统确认该SIP通知消息，并且IM CN子系统可以向SDF转发SIP 200OK消息274。举例而言，使用SDF和IM CN子系统框架，在PSS和MBMS用户服务中可以利用设备定向信息来实现优化的服务发现。稍后在IMS会话中，UE还可以使用SIP信令来指示更新，所述更新包括基于ProfDiff对设备定向进行的任何临时调整(例如，如果当前设备定向与默认的设备定向不同)，这可以通过经由另外的SIP订阅消息来刷新订阅来执行。SIP订阅消息可以包括关于针对设备定向信息的更新的信息。
可以在PSS词汇设备能力交换信令中添加新的属性。例如，可以在TS26.234中的PSS基本词汇的PSSCommon分量中包括属性“Orientation”和“DefaultOrientation”(或者具有类似功能的属性)。这些属性可以具有名称、定义、相关联的分量、类型、合法值(或有效选项)和解析规则。
举例而言，可以如下所述地定义用于“Orientation”和“DefaultOrientation”的上下文：
属性名称：Orientation
属性定义：该客户端所支持的不同设备定向状态的列表
分量：PSSCommon
类型：文字(包)
合法值：“肖像”、“风景”、“海景”等等。
解析规则：附加
属性名称：DefaultOrientation
属性定义：被采用作为对内容生成/选择的参考的默认设备定向
分量：PSSCommon
类型：文字
合法值：“肖像”、“风景”、“海景”等等。
解析规则：锁定
示例：<DefaultOrientation>风景</DefaultOrientation>
在另一个示例中，还可以针对PSS词汇的PSSCommon分量，来定义在捕捉与渲染和/或显示期间，依据设备定向感知来识别潜在的差异。两种属性可以包括客户端所支持的、用于捕捉和显示的不同设备定向模式的列表(例如，“OrientationModesCapture”和“OrientationModesDisplay”)，并且两种属性可以包括用于捕捉和显示的默认设备定向的列表(如果定向传感器被禁用或者不存在)(例如，“DefaultOrientationCapture”和“DefaultOrientationDisplay”)。用于这些属性的可能语法，可以如下所述：
属性名称：OrientationModesCapture
属性定义：该客户端所支持的、用于捕捉的不同设备定向模式的列表
分量：PSSCommon
类型：文字(包)
合法值：“肖像”、“风景”、“海景”
解析规则：附加
属性名称：OrientationModesDisplay
属性定义：该客户端所支持的、用于渲染和显示的不同设备定向模式的列表
分量：PSSCommon
类型：文字(包)
合法值：“肖像”、“风景”、“海景”
解析规则：附加
属性名称：DefaultOrientationCapture
属性定义：基于摄像头传感器的安装，用于捕捉的默认设备定向(如果定向传感器被禁用或者不存在)。
分量：PSSCommon
类型：文字
合法值：“肖像”、“风景”、“海景”
解析规则：锁定
示例：
<DefaultOrientationCapture>风景</DefaultOrientationCapture>
属性名称：DefaultOrientationDisplay
属性定义：用于渲染和显示的默认设备定向(如果定向传感器被禁用或者不存在)。
分量：PSSCommon
类型：文字
合法值：“肖像”、“风景”、“海景”
解析规则：锁定
示例：
<DefaultOrientationDisplay>风景</DefaultOrientationDisplay>
在另一种配置中，定向模式的集合还可以包括：基于设备的定向改变，以角度小于90度来实现图像的旋转的另外模式。当角度小于90度时，上面所定义的“OrientationModesCapture”和“OrientationModesDisplay”属性(或者具有类似功能的属性)还可以包括：关于以更粒度化方式来实现图像的这种旋转的定向模式的其它合法值。
在另一个示例中，两种另外的属性(例如，“OrientationAngularGranularityCapture”和“OrientationAngularGranularityDisplay”)可以用于表征设备传感器的能力和该设备关于角度粒度的定向感知的能力，其中，设备传感器可以在捕捉或者渲染/显示期间，根据该角度粒度来检测定向改变。例如，可以如下所述地定义两个这种属性：
属性名称：OrientationAngularGranularityCapture
属性定义：在90度间隔中的相等地间隔开的角度粒度水平的数量，其中，设备传感器可以在捕捉期间，按照该值来检测定向改变
分量：PSSCommon
类型：数字
合法值：1和8之间的整数值
解析规则：锁定
示例：
<OrientationAngularGranularityCapture>2</OrientationAngularGranularityCapture>
属性名称：OrientationAngularGranularityDisplay
属性定义：在90度间隔中的相等地间隔开的角度粒度水平的数量，其中，设备传感器可以在渲染和显示期间，按照该值来检测定向改变
分量：PSSCommon
类型：数字
合法值：1和8之间的整数值
解析规则：锁定
示例：
<OrientationAngularGranularityDisplay>2</OrientationAngularGranularityDisplay>
在上面针对于“OrientationAngularGranularityCapture”和“OrientationAngularGranularityDisplay”的示例中，假定用于检测定向改变的最大可能角度粒度是11.25度，因此将该属性值限制在1和8之间的整数值。在其它示例中，可以通过更高级的定向传感器能力来实现更高水平的粒度，所以该属性可以使用更高的整数值。
在另一种配置中，可以使用单一属性(例如，“OrientationAngularGranularityDisplay”)来表征该设备关于角度粒度的定向感知，其中，设备传感器可以按照该角度粒度来检测定向改变，所以该属性对于捕捉和渲染/显示二者来说都是有效的。在这种设置下，可以如下所述地定义该另外的属性：
属性名称：OrientationAngularGranularityDisplay
属性定义：在90度间隔中的相等地间隔开的角度粒度水平的数量，其中，设备传感器可以在捕捉和渲染/显示期间，按照该值来检测定向改变
分量：PSSCommon
类型：数字
合法值：1和8之间的整数值
解析规则：锁定
示例：
<OrientationAngularGranularity>8</OrientationAngularGranularity>
在另一个示例中，可以定义另一种属性(例如，“NumOfCameras”)，以识别该客户端设备(例如，移动终端)上的捕捉摄像头的数量。超过一的值可以指示该客户端设备具有前置摄像头和后置摄像头二者，这对于定向感知的适应来说是有益的。对于通过“NumOfCameras”属性来说明的示例来说，假定摄像头的最大数量为四。其它示例和摄像头的数量也是可能的。
属性名称：NumOfCameras
属性定义：设备上的摄像头的数量
分量：PSSCommon
类型：数字
合法值：1和4之间的整数值
解析规则：锁定
示例：<NumOfCameras>8</NumOfCameras>
在另一种配置中，可以定义另一种属性(例如，“HorizontalMirroringSupport”)，以指示该设备是否支持水平镜像(例如，在旋转之后，图像的水平翻转)。这种另外的属性可以允许一些设备捕捉由于传感器配置而引起的水平镜像的图像。例如，基于用于水平镜像的能力交换信令，当服务器确定接收客户端设备支持水平镜像时，服务器可以确定该接收客户端设备具有镜像，并可以补偿水平镜像。一种示例性的水平镜像属性可以如下所述：
属性名称：HorizontalMirroringSupport
属性定义：如果该设备是定向感知的，则该属性指示其还支持水平镜像，即，基于传感器配置，旋转之后的图像的翻转。
分量：PSSCommon
类型：文字
合法值：“是”、“否”
解析规则：锁定
示例：<HorizontalMirroringSupport>否</HorizontalMirroringSupport>
所描述的技术提供了对具有定向的视频分量的内容的流式传输或下载。设备定向感知的多媒体适应提供了对先前捕捉到的和上传的具有定向的视频分量的内容的流式传输或下载。例如，作为PSS下载或MBMS下载应用的一部分，服务器可以将捕捉到的具有定向的视频分量的内容，以非实时方式推送到客户端以便稍后回放。或者作为基于DASH的流式传输服务的一部分，HTTP服务器可以向DASH客户端传送用户生成的内容(UGC)，其中，该UGC包含定向的视频分量。可以从PSS服务器传送UGC内容的基于RTP的流式传输。在这些上下文中，服务器可以接收关于该客户端设备所支持的视频定向能力的信息，并且基于终端的视频定向能力来确定最佳的传送策略(例如，选择各种存储的内容版本之中的最适合的内容版本，和/或对内容进行动态地转码)，并将最优选定的内容传送给客户端。
例如，如果服务器确定定向感知的终端捕捉到内容(例如，通过检查基于3GP的内容文件)，而接收客户端设备不是定向感知的(例如，基于PSS设备能力信令机制而知道)，则服务器可以对该内容进行处理(例如，将转码应用于内容)，以校正和避免在稍后的渲染和显示期间的未对准问题。如果接收客户端设备是定向感知的，则服务器可以不必校正该未对准，而是选择将“原样的”该内容连同嵌入在该内容中的视频定向信息(例如，针对RTP流式传输，在RTP扩展报头中，或者针对HTTP流和DASH，在3GP文件中)一起发送，使得接收客户端设备可以校正未对准。
图6示出了基于接收到具有嵌入的视频定向信息的内容，来实现定向感知的媒体传送的示例性服务器-客户端交互。例如，捕捉客户端224可以使用所述捕捉方法来捕捉视频定向信息，并且在282将具有嵌入的视频定向信息的内容(例如，3GP文件)上传到服务器232。在另一个示例中，在280，渲染客户端226可以向服务器发送具有视频定向能力信息的设备简档。在284，服务器可以执行定向处理，以校正渲染客户端处的潜在的未对准，如先前所描述的。随后，在286，作为流式传输或者下载服务的一部分，服务器可以将调整后的内容传送到渲染客户端。
本文所描述的技术还可以将视频定向信息嵌入到所捕捉的内容(例如，3GP文件)之中。作为国际标准化组织(ISO)基媒体文件格式(BMFF)310的实例化，将视频定向信息嵌入在3GP文件(如在3GPP技术规范(TS)26.244V11.1.0(2012-09)中所描述的；例如，具有运动图象专家组-4(MPEG-4)文件格式312的mp4文件314)中，以便由服务器作为流式传输和下载应用的一部分来稍后使用会是有益的，如图7中所示出的。将这种视频定向信息包含在3GP文件中，可以更好地使服务器能够执行定向感知的多媒体适应，以便优化向设备的内容传送(例如，在发送给不具有定向感知的设备之前，对视频进行校正，以避免未对准问题)。在PSS词汇和设备能力信令框架中，可以在设备定向能力属性中提供所嵌入的视频定向信息。内容文件(例如，mp4文件314)可以包括初始化区段(例如，“moov”盒316)和媒体数据(mdat 318)。Moov盒可以包括初始对象描述符(IOD)320、二进制场景格式(BIFS)轨道322、对象描述符(OD)轨道、视频轨道326和音频轨道328。所嵌入的视频定向信息330可以包括在视频trak(或轨道)之中。Mdat可以包括交织的、时间排序的、BIFS、OD、视频和音频访问单元(AC)。
图8示出了基于接收到具有嵌入的视频定向信息的内容，来实现定向感知的媒体传送的示例性服务器-客户端交互。例如，捕捉客户端224可以使用所述捕捉方法来捕捉视频定向信息，并且在282将具有嵌入的视频定向信息的内容(例如，3GP文件)上传到服务器232。在另一个示例中，在280，渲染客户端226可以向服务器以信号形式发送具有视频定向能力信息的设备简档。在294，服务器执行定向感知的内容适应、选择、转码和/或格式转换，以便针对(w.r.t.)渲染客户端的定向能力，来校正潜在的未对准并优化内容传送，如先前所描述的。随后，在286，作为流式传输或者下载服务的一部分，服务器可以将调整后的内容传送到渲染客户端。
因此，在一个示例中，作为所捕捉的图像的一系列定向值的连续记录，可以在3GP文件格式中记录对视频定向信息的包含。可以在ISO基媒体文件格式(ISO-BMFF)或3GPP文件格式中，定义用于定时(timed)视频定向信息的盒。例如，可以使用3GPP文件格式(3GP)的视频轨道或者RTP提示轨道来嵌入定向信息。对于基于DASH进行格式化的内容，可以在文件级别ISO-BMFF盒内携带视频定向信息，例如在初始化区段中(例如，在ISO-BMFF的“moov”盒中)或者在媒体区段中(如，在ISO-BMFF的“moof”盒中)，如图7中所示出的。在另一个示例中，可以选择ISO-BMFF的定时元数据轨道，以作为用于包含视频定向信息的轨道。例如，可以针对视频定向来专门创建一种新盒，其使用视频定向参数的描述来扩展MetaDataSampleEntry(元数据样本条目)。如图9中所示出的，在ISO文件格式盒结构层次中，还可以使用样本描述盒350内的其它盒来包含视频定向信息，其可以包括MP4VisualSampleEntry、AVCSampleEntry或者HintSampleEntry。ISO文件格式盒结构层次可以包括电影盒340、轨道盒342、媒体盒344、媒体信息盒346、样本表盒348和样本描述盒，其中，首先列出具有较高排序的盒。
在另一种配置中，视频定向信息可以支持90度粒度、翻转比特(例如，用于水平翻转)(如GSM(全球移动通信系统，原本为移动通信特别小组)协会(GSMA)富通信服务(RCS)5.1简档也支持的)、以及如RCS 5.1中的摄像头比特(用于表明前置摄像头与后置摄像头)。例如，可以将视频定向信息(例如，所捕捉的图像的定向的集合)携带成如下所述来格式化的字节(其与3GPP技术规范(TS)26.114V11.5.0(2012-09)中采纳的格式相一致)：
其中，使用以下的定义：R＝保留，其中可以将保留比特设置为零，并且预留其以用于未来使用。C＝摄像头，其指示用于该视频流的摄像头的方向(例如，0可以指示前置摄像头，其面向用户，如果摄像头方向是未知的，则可以使用零值；1可以指示后置摄像头，其背向用户)。F＝翻转，其指示对如在链路上发送的视频的水平(左右翻转)镜像操作(例如，0可以指示无翻转操作，并且1可以指示水平翻转操作)。R1，R0＝旋转，其指示对在该链路上发送的视频的旋转，如表1中针对旋转信令所示出的。定向感知的接收方可以对视频进行旋转，以补偿该旋转(例如，在进行显示之前，可以由接收方(例如，渲染客户端设备)使用90度顺时针旋转来补偿90度逆时针旋转)。替代地，在向无定向感知的客户端接收方(例如，渲染客户端设备)进行传输之前，服务器可以对视频进行旋转。在另一个示例中，可以使用其它定义。
表1
另一个示例提供了用于在服务器处基于移动终端(MT)的设备定向来进行多媒体适应的方法500，如图10中的流程图所示出的。该方法可以作为指令在机器或者计算机电路上执行，其中，所述指令包括在至少一个计算机可读介质或者一个非暂时性机器可读存储介质上。该方法包括以下的操作：在服务器处，接收移动终端(MT)的视频定向能力，如在框510中。该方法的下一步操作可以是：基于设备的视频定向能力，来进行多媒体内容的定向感知的处理，以校正该MT处的未对准，如在框520中。
在一个示例中，该方法还可以包括：作为对所捕捉的图像的一系列视频定向值的连续记录，指示该MT来捕捉视频；以及指示该MT在国际标准化组织(ISO)基媒体文件格式(ISO-BMFF)文件的实例化或者第三代合作伙伴计划(3GPP)文件格式(3GP)文件中嵌入定时视频定向信息。视频定向信息可以嵌入在以下各项中：3GP文件的视频轨道或者实时传输协议(RTP)提示轨道；文件级别ISO-BMFF盒，其中，该文件级别ISO-BMFF盒是‘moov’盒初始化区段或者‘moof’盒媒体区段；ISO-BMFF的定时元数据轨道；或者在ISO文件格式盒结构中，样本描述盒内的具有视频定向参数的SampleEntry(样本条目)。视频定向信息可以包括：用于支持90度粒度的旋转比特、用于水平翻转的翻转比特、或者用于在全球移动通信系统(GSM)协会(GSMA)富通信服务(RCS)5.1简档中指示前置摄像头或者后置摄像头方向的摄像头比特。在另一个示例中，指示该MT来捕捉视频的操作还可以包括：指示该MT来捕捉并压缩所捕捉的视频的多个副本或定向。
在另一种配置中，定向感知的处理的操作还可以包括：基于该设备的视频定向能力，来从多个存储的内容版本中选择所捕捉的内容的内容版本，或者，基于该设备的视频定向能力，来对所捕捉的内容进行动态地转码或者转换；以及在分组交换流式传输服务(PSS)实时传输协议(RTP)流式传输、PSS下载或者多媒体广播多播服务(MBMS)下载中，推送具有定向的视频分量的所捕捉的内容，或者，在超文本传输协议(HTTP)流、HTTP动态自适应流式传输(DASH)流、实时传输协议(RTP)流、或者实时流式传输协议(RTSP)中，动态地传送具有定向的视频分量的所捕捉的内容，其中，所述RTSP在会话描述协议(SDP)文件中指示视频定向信息的存在，并且在用于RTP流的RTP扩展报头中指示相应视频定向信息。
另一种示例提供了可操作用于基于视频定向来进行多媒体适应的服务器的计算机电路的功能600，如图11中的流程图所示出的。该功能可以实现成方法，或者该功能可以作为指令在机器上执行，其中，所述指令包括在至少一个计算机可读介质或者一个非暂时性机器可读存储介质上。该计算机电路可以被配置为：从客户端设备接收设备能力，其中，该设备能力包括视频定向能力，如在框610中。该计算机电路还可以被配置为：基于该设备的视频定向能力来执行视频定向感知的多媒体适应，如在框620中。
在一个示例中，该计算机电路还可以被配置为：当经由简档差异(Profdiff)信令从一个客户端设备接收到经更新的视频定向能力时，替换该客户端设备的默认的视频定向能力信息。在另一个示例中，被配置为执行视频定向感知的多媒体适应的计算机电路，还可以被配置为：执行定向感知的内容适应、定向感知的内容选择、定向感知的转码或者定向感知的格式转换，以校正视频定向未对准并确保在该客户端设备处以正确的视频定向进行内容回放。
在另一种配置中，该计算机电路还可以被配置为：基于客户端设备的视频定向能力，经由流式传输服务或者下载服务，来向该客户端设备传送定向感知调整后的内容。该定向感知调整后的内容可以根据客户端设备的针对超文本传输协议(HTTP)流或HTTP动态自适应流式传输(DASH)的视频定向能力，包括具有不同的编码内容的媒体呈现描述(MPD)元数据文件。该定向感知调整后的内容可以包括会话描述协议(SDP)文件和RTP报头扩展，其中，所述SDP文件指示在相应的RTP流中定向的视频分量的存在，所述RTP报头扩展指示针对实时传输协议(RTP)流的当前视频定向信息。
在另一个示例中，被配置为执行定向感知的多媒体适应的该计算机电路，还可以被配置为：当客户端设备的设备能力不包括定向感知的处理能力时，将超文本传输协议(HTTP)流、HTTP动态自适应流式传输(DASH)或者实时传输协议(RTP)流的多媒体内容动态地转码或者转换成不同的视频定向。或者，被配置为执行定向感知的多媒体适应的该计算机电路，还可以被配置为：当客户端设备的设备定向能力指示视频定向感知的处理能力时，在媒体呈现描述(MPD)元数据文件或者会话描述协议(SDP)文件中嵌入视频定向指示信息，使得该客户端设备能够激活该客户端设备上的视频定向处理引擎并在带内媒体流中获得视频定向指示信息。或者，被配置为执行定向感知的多媒体适应的该计算机电路，还可以被配置为：当客户端设备的设备定向能力指示视频定向感知的处理能力时，在国际标准化组织(ISO)基媒体文件格式(ISO-BMFF)文件的实例化或者实时传输协议(RTP)扩展报头中嵌入视频定向信息，使得该客户端设备能够修改多媒体内容的显示定向。
在另一种配置中，被配置为接收设备能力的该计算机电路，还可以被配置为：通过分组交换流式传输服务(PSS)设备能力交换信令来接收视频定向属性。该视频定向属性可以是包括以下各项的PSS通用分量：Orientation(定向)属性，其是从客户端设备所支持的不同视频定向模式列表中选择的；DefaultOrientation(默认定向)属性，其提供被采用作为用于内容生成或选择的参考的默认视频定向；OrientationModesCapture(定向模式捕捉)属性，其是从客户端设备针对捕捉所支持的不同视频定向模式列表中选择的；OrientationModesDisplay(定向模式显示)属性，其是从客户端设备针对渲染和显示所支持的不同视频定向模式列表中选择的；DefaultOrientationCapture(默认定向捕捉)属性，如果定向传感器被禁用或者不存在，则其基于摄像头传感器的安装来提供用于捕捉的默认视频定向；DefaultOrientationDisplay(默认定向显示)属性，如果定向传感器被禁用或者不存在，则其提供用于渲染和显示的默认视频定向；OrientationAngularGranularityCapture(定向角度粒度捕捉)属性，其是根据在90度间隔中的相等地间隔开的角度粒度水平数量来选择的，其中，设备传感器能够在捕捉期间，按照OrientationAngularGranularityCapture属性来检测视频定向改变；OrientationAngularGranularityDisplay(定向角度粒度显示)属性，其是根据在90度间隔中的相等地间隔开的角度粒度水平数量来选择的，其中，设备传感器能够在渲染和显示期间，或者在捕捉以及渲染和显示期间，按照OrientationAngularGranularityDisplay属性来检测视频定向改变；NumOfCameras(摄像头数量)属性，其是根据设备上的摄像头的数量来选择的；或者HorizontalMirroringSupport(水平镜像支持)属性，当该设备是定向感知的时，其用于指示该设备是否支持水平镜像。
在另一个示例中，该计算机电路还可以被配置为：指示客户端设备针对不同的设备定向来捕捉和压缩视频区段；以及指示客户端设备在国际标准化组织(ISO)基媒体文件格式(ISO-BMFF)文件的实例化或者第三代合作伙伴计划(3GPP)文件格式(3GP)文件中嵌入视频定向信息。视频定向信息可以嵌入在以下各项中：3GP文件的视频轨道或者实时传输协议(RTP)提示轨道；文件级别ISO-BMFF盒，其中，该文件级别ISO-BMFF盒是‘moov’盒初始化区段或者‘moof’盒媒体区段；ISO-BMFF的定时元数据轨道；或者，在ISO文件格式盒结构中，样本描述盒内的具有视频定向参数的SampleEntry(样本条目)。
在另一种配置中，所述服务器可以包括：第三代合作伙伴计划(3GPP)长期演进(LTE)分组交换流式传输服务(PSS)服务器、超文本传输协议(HTTP)动态自适应流式传输(DASH)服务器、或者基于集成多媒体子系统(IMS)的PSS和多媒体广播多播服务(MBMS)(IMS_PSS_MBMS)服务器。
图12示出了用于提供定向感知的处理能力的示例性客户端设备720、节点710和服务器730。该服务器可以被配置用于基于移动终端(MT)的设备定向来进行多媒体适应，如图10的500中所描述的。在另一种配置中，该服务器可操作用于基于视频定向来进行多媒体适应，如图11的600中所描述的。节点710可以包括：基站(BS)、节点B(NB)、演进型节点B(eNB)、基带单元(BBU)、远程无线电头端(RRH)、远程无线电设备(RRE)、远程无线电单元(RRU)或者中央处理模块(CPM)。
返回参见图12，客户端设备720可以包括处理器722、收发机724和定向传感器726。该处理器可以被配置用于确定视频定向能力。该收发机可以被配置为向服务器发送视频定向能力信息。
在一个示例中，客户端设备的当前视频定向能力信息可以经由简档差异(Profdiff)信令来替换默认的视频定向能力信息。处理器722可以被配置为：基于设备定向，针对指定的媒体区段，以指定的视频定向来捕捉视频；以及作为国际标准化组织(ISO)基媒体文件格式(ISO-BMFF)文件的实例化，在第三代合作伙伴计划(3GPP)文件格式(3GP)文件中嵌入针对所捕捉的视频的视频定向信息。视频定向信息可以嵌入在以下各项中：3GP文件的视频轨道或者实时传输协议(RTP)提示轨道；文件级别ISO-BMFF盒，其中，该文件级别ISO-BMFF盒是‘moov’盒初始化区段或者‘moof’盒媒体区段；ISO-BMFF的定时元数据轨道；或者，在ISO文件格式盒结构中，样本描述盒内的具有视频定向参数的样本条目。在另一个示例中，视频定向信息可以包括：用于支持90度粒度的旋转比特、用于水平翻转的翻转比特、或者用于在全球移动通信系统(GSM)协会(GSMA)富通信服务(RCS)5.1简档中指示前置摄像头或者后置摄像头方向的摄像头比特。收发机722还可以被配置为：针对超文本传输协议(HTTP)流或者HTTP动态自适应流式传输(DASH)，上传3GP文件。
在另一种配置中，收发机722还可以被配置为：经由分组交换流式传输服务(PSS)设备能力交换信令来发送视频定向属性，其中，该视频定向属性可以是包括以下各项的PSS通用分量：Orientation(定向)属性，其是从客户端所支持的不同视频定向状态列表中选择的；DefaultOrientation(默认定向)属性，其提供被采用作为用于内容生成或选择的参考的默认视频定向；OrientationModesCapture(定向模式捕捉)属性，其是从客户端针对捕捉所支持的不同视频定向模式列表中选择的；OrientationModesDisplay(定向模式显示)属性，其是从客户端针对渲染和显示所支持的不同视频定向模式列表中选择的；DefaultOrientationCapture(默认定向捕捉)属性，如果定向传感器被禁用或者不存在时，则其基于摄像头传感器的安装来提供用于捕捉的默认视频定向；DefaultOrientationDisplay(默认定向显示)属性，如果定向传感器被禁用或者不存在，则其提供用于渲染和显示的默认视频定向；OrientationAngularGranularityCapture(定向角度粒度捕捉)属性，其是根据在90度间隔中的相等地间隔开的角度粒度水平的数量来选择的，其中，设备传感器可以在捕捉期间，按照OrientationAngularGranularityCapture属性来检测视频定向改变；OrientationAngularGranularityDisplay(定向角度粒度显示)属性，其是根据在90度间隔中的相等地间隔开的角度粒度水平数量来选择的，其中，设备传感器可以在渲染和显示期间，或者在捕捉以及渲染和显示期间，按照OrientationAngularGranularityDisplay属性来检测视频定向改变；NumOfCameras(摄像头数量)属性，其是根据设备上的摄像头的数量来选择的；或者HorizontalMirroringSupport(水平镜像支持)属性，当该设备是定向感知的时，其用于指示该设备是否支持水平镜像。
在另一个示例中，可以在第三代合作伙伴计划(3GPP)长期演进(LTE)分组交换流式传输服务(PSS)会话、超文本传输协议(HTTP)动态自适应流式传输(DASH)会话、或者基于集成多媒体子系统(IMS)的PSS和多媒体广播多播服务(MBMS)(IMS_PSS_MBMS)会话中，提供所述视频定向能力信息。在另一种配置中，该客户端设备可以包括：定向传感器726，其用于确定该客户端设备的定向。
在另一个示例中，收发机724还可以被配置为：接收用于RTP流的实时传输协议(RTP)扩展报头，或者接收用于超文本传输协议(HTTP)流或者HTTP动态自适应流式传输(DASH)的第三代合作伙伴计划(3GPP)文件格式(3GP)文件。处理器722还可以被配置为：对媒体呈现描述(MPD)元数据文件进行解析，以识别在3GP文件中视频定向信息的存在，或者针对嵌入的视频定向信息，对3GP文件进行解析，基于所解析出的视频定向信息和该客户端设备的当前定向，来确定定向校正项，基于所确定的定向校正项，针对未对准来校正HTTP流或者DASH的渲染定向。或者，该处理器还可以被配置为：对会话描述协议(SDP)文件进行解析，以识别在RTP流中视频定向信息的存在，或者针对所嵌入的视频定向信息，对用于RTP流的RTP扩展报头进行解析，基于所解析出的视频定向信息和该客户端设备的当前定向，确定所述定向校正项，以及基于所确定的定向校正项，针对未对准来校正RTP流的渲染定向。校正渲染定向可以对定向的旋转或者翻转进行补偿。
图13提供了对客户端设备(例如，移动终端(MT)、移动节点、用户设备(UE)、移动站(MS)、移动无线设备、移动通信设备、平板电脑、手持装置或其它类型的无线设备)的示例性描绘。该无线设备可以包括一个或多个天线，所述一个或多个天线被配置为与节点、宏节点、低功率节点(LPN)或者传输站(例如，基站(BS)、演进型节点B(eNB)、基带单元(BBU)、远程无线电头端(RRH)、远程无线电设备(RRE)、中继站(RS)、无线设备(RE)、远程无线电单元(RRU)、中央处理模块(CPM)或者其它类型的无线广域网(WWAN)接入点)进行通信。该无线设备可以被配置为使用至少一种无线通信标准来进行通信，所述至少一种无线通信标准包括3GPP LTE、WiMAX、高速分组接入(HSPA)、蓝牙和WiFi。该无线设备可以针对每一个无线通信标准使用单独的天线来进行通信，或者针对多个无线通信标准使用共享的天线来进行通信。该无线设备可以在无线局域网(WLAN)、无线个域网(WPAN)和/或WWAN中进行通信。
图13还提供了对可以用于来自无线设备的音频输入和输出的话筒和一个或多个扬声器的描绘。显示屏可以是液晶显示器(LCD)屏，或者可以是诸如有机发光二极管(OLED)显示器之类的其它类型的显示屏。该显示屏可以被配置成触摸屏。该触摸屏可以使用电容式、电阻式或者其它类型的触摸屏技术。应用处理器和图形处理器可以耦合到内部存储器，以提供处理和显示能力。非易失性存储器端口也可以用于向用户提供数据输入/输出选项。该非易失性存储器端口还可以用于扩展无线设备的存储器能力。键盘可以与无线设备集成在一起，或者无线地连接到无线设备，以提供另外的用户输入。还可以使用触摸屏来提供虚拟键盘。
各种技术或者其某些方面或一些部分，可以采用包含在有形介质(例如，软盘、压缩盘只读存储器(CD-ROM)、硬驱动器、非暂时性计算机可读存储介质、或者任何其它机器可读存储介质)之中的程序代码(即，指令)的形式，其中，当将该程序代码装载到诸如计算机之类的机器中，并由该机器来执行时，该机器变成用于实施各种技术的装置。电路可以包括硬件、固件、程序代码、可执行代码、计算机指令和/或软件。非暂时性计算机可读存储介质可以是不包括信号的计算机可读存储介质。在程序代码在可编程计算机上进行执行的情况下，计算设备可以包括：处理器、处理器可读取的存储介质(其包括易失性和非易失性存储器和/或存储单元)、至少一个输入设备以及至少一个输出设备。易失性和非易失性存储器和/或存储单元可以是随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存驱动器、光驱动器、磁性硬驱动器、固态驱动器或者用于存储电子数据的其它介质。节点和无线设备还可以包括收发机模块(即，收发机)、计数器模块(即，计数器)、处理模块(即，处理器)和/或时钟模块(即，时钟)或定时器模块(即，定时器)。可实现或者利用本文所描述的各种技术的一个或多个程序，可以使用应用编程接口(API)、可重用控件等等。这些程序可以用高级过程语言或者面向对象编程语言来实现，以便与计算机系统进行通信。但是，如果需要的话，可以使用汇编语言或机器语言来实现这些程序。无论如何，该语言都可以是编译语言或者解释语言，并与硬件实现相结合。
应当理解的是，已经将本说明书中所描述的功能单元里的多个功能单元标记成了模块，以便更特别地强调它们的实现独立性。例如，模块可以实现成包括定制的超大规模集成(VLSI)电路或者门阵列的硬件电路、诸如逻辑芯片、晶体管或其它分立组件之类的现成的半导体。还可以用诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等等之类的可编程硬件器件来实现模块。
还可以用由各种类型的处理器执行的软件来实现模块。例如，标识的可执行代码的模块可以包括一个或多个物理或逻辑计算机指令块，例如可以将其组织成对象、过程或函数。然而，标识的模块的可执行文件不需要物理上位于一起，而可以包括存储在不同的位置的不同指令，当将这些不同的指令逻辑地联合在一起时，可以组成该模块并实现该模块的所陈述的目的。
事实上，可执行代码的模块可以是单个指令或许多指令，并且甚至可以在多个不同的代码段上、在不同的程序之中、以及跨多个存储器设备分布。类似地，本文可以在模块之内对操作数据进行识别和说明，并且操作数据可以用任何适当的形式来体现以及在任何适当类型的数据结构之内组织。操作数据可以被收集成单个数据集，或者可以分布在不同的位置上(其包括位于不同的存储设备上)，并且可以至少部分地只作为电子信号存在于系统或网络上。这些模块可以是无源的或有源的，包括可操作用于执行期望的功能的代理。
贯穿本说明书对于“示例”或“示例性”的引用，意味着结合该示例所描述的具体特征、结构或特性包括在本发明的至少一个实施例之中。因此，在遍及本说明书的各个地方出现的短语“在示例中”或词语“示例性”并不必然全部指代相同的实施例。
如本文所使用的，为了方便起见，可以在共同列表中呈现多个项目、结构元素、组成元素和/或材料。但是，这些列表应被解释为如同该列表中的每个成员被单独地标识为独立且唯一的成员。因此，在没有相反指示的情况下，这样的列表中的各个成员均不应仅仅基于它们在共同组中的呈现而被解释为该相同列表中的任何其它成员的事实上等效项。此外，可以在本文中提及本发明的各个实施例和示例连同其各个组件替代物。应当理解的是，这些实施例、示例和替代物不应被解释为彼此的事实上的等效项，而应被视为本发明的单独和自主的表示。
此外，在一个或多个实施例中，可以以任何适当的方式对所描述的特征、结构或特性进行组合。在下面的描述中，为了提供对本发明的实施例的透彻理解，提供了大量的特定细节(例如，布局的示例、距离、网络示例等等)。但是，相关领域技术人员将认识到，可以在不使用这些特定细节中的一个或多个的基础上实施本发明，或者使用其它方法、组件、布局等等来实施本发明。在其它实例中，为了避免模糊本发明的方面，没有详细地示出或描述公知的结构、材料或操作。
虽然前述的示例用一个或多个特定的应用来说明本发明的原理，但对于本领域普通技术人员来说将显而易见的是，可以在无需创造性劳动的基础上，并且在不脱离本发明的原理和概念的情况下，对实现的形式、用途和细节做出多种修改。因此，除了本发明受限于下面所阐述的权利要求之外，这些示例并不旨在对本发明进行限制。

Claims (27)

1.一种可操作用于基于视频定向来进行多媒体适应的服务器，所述服务器具有被配置为执行以下操作的计算机电路：
从客户端设备接收设备能力，其中，所述设备能力包括视频定向能力；以及
基于所述设备的视频定向能力来执行视频定向感知的多媒体适应。
2.根据权利要求1所述的计算机电路，其中，所述计算机电路还被配置为：
当经由简档差异(Profdiff)信令从客户端设备接收到经更新的视频定向能力时，替换所述客户端设备的默认的视频定向能力信息。
3.根据权利要求1所述的计算机电路，其中，被配置为执行视频定向感知的多媒体适应的所述计算机电路还被配置为：
执行定向感知的内容适应、定向感知的内容选择、定向感知的转码或者定向感知的格式转换，以校正视频定向未对准并确保在所述客户端设备处以正确的视频定向进行内容回放。
4.根据权利要求1所述的计算机电路，其中，所述计算机电路还被配置为：
基于所述客户端设备的视频定向能力，经由流式传输服务或者下载服务，来向所述客户端设备传送定向感知调整后的内容，其中，所述定向感知调整后的内容根据所述客户端设备的针对超文本传输协议(HTTP)流或HTTP动态自适应流式传输(DASH)的视频定向能力，包括具有不同的编码内容的媒体呈现描述(MPD)元数据文件，或者所述定向感知调整后的内容包括会话描述协议(SDP)文件和RTP报头扩展，其中，所述SDP文件指示在相应的RTP流中定向的视频分量的存在，所述RTP报头扩展指示针对实时传输协议(RTP)流的当前视频定向信息。
5.根据权利要求1所述的计算机电路，其中，被配置为执行定向感知的多媒体适应的所述计算机电路还被配置为：
当所述客户端设备的所述设备能力不包括定向感知的处理能力时，将超文本传输协议(HTTP)流、HTTP动态自适应流式传输(DASH)或者实时传输协议(RTP)流的多媒体内容动态地转码或者转换成不同的视频定向；或者
当所述客户端设备的设备定向能力指示视频定向感知的处理能力时，在媒体呈现描述(MPD)元数据文件或者会话描述协议(SDP)文件中嵌入视频定向指示信息，使得所述客户端设备能够激活所述客户端设备上的视频定向处理引擎并在带内媒体流中获得所述视频定向指示信息；或者
当所述客户端设备的设备定向能力指示视频定向感知的处理能力时，在国际标准化组织(ISO)基媒体文件格式(ISO-BMFF)文件的实例化或者实时传输协议(RTP)扩展报头中嵌入视频定向信息，使得所述客户端设备能够修改所述多媒体内容的显示定向。
6.根据权利要求1所述的计算机电路，其中，被配置为接收所述设备能力的所述计算机电路还被配置为：
经由分组交换流式传输服务(PSS)设备能力交换信令来接收视频定向属性，其中，所述视频定向属性是包括以下各项的PSS通用分量：
Orientation属性，其是从所述客户端设备所支持的不同视频定向模式的列表中选择的，
DefaultOrientation属性，其提供被采用作为用于内容生成或选择的参考的默认视频定向，
OrientationModesCapture属性，其是从所述客户端设备针对捕捉所支持的不同视频定向模式的列表中选择的，
OrientationModesDisplay属性，其是从所述客户端设备针对渲染和显示所支持的不同视频定向模式的列表中选择的，
DefaultOrientationCapture属性，如果定向传感器被禁用或者不存在，则其基于摄像头传感器的安装来提供用于捕捉的默认视频定向，
DefaultOrientationDisplay属性，如果所述定向传感器被禁用或者不存在，则其提供用于渲染和显示的默认视频定向，
OrientationAngularGranularityCapture属性，其是根据在90度间隔中的相等地间隔开的角度粒度水平的数量来选择的，其中，设备传感器能够在所述捕捉期间，按照所述OrientationAngularGranularityCapture属性来检测视频定向改变，
OrientationAngularGranularityDisplay属性，其是根据在90度间隔中的相等地间隔开的角度粒度水平的数量来选择的，其中，所述设备传感器能够在所述渲染和所述显示期间，或者在所述捕捉以及所述渲染和显示期间，按照所述OrientationAngularGranularityDisplay属性来检测视频定向改变，
NumOfCameras属性，其是根据设备上的摄像头的数量来选择的，或者
HorizontalMirroringSupport属性，当所述设备是定向感知的时，其用于指示所述设备是否支持水平镜像。
7.根据权利要求1所述的计算机电路，其中，所述计算机电路还被配置为：
指示所述客户端设备针对不同的设备定向来捕捉和压缩视频区段；以及
指示所述客户端设备在国际标准化组织(ISO)基媒体文件格式(ISO-BMFF)文件的实例化或者第三代合作伙伴计划(3GPP)文件格式(3GP)文件中嵌入视频定向信息。
8.根据权利要求7所述的计算机电路，其中，所述视频定向信息嵌入在以下各项中：
所述3GP文件的视频轨道或者实时传输协议(RTP)提示轨道；
文件级别ISO-BMFF盒，其中，所述文件级别ISO-BMFF盒是‘moov’盒初始化区段或者‘moof’盒媒体区段；
所述ISO-BMFF的定时元数据轨道；或者
在ISO文件格式盒结构中，样本描述盒内的具有视频定向参数的SampleEntry。
9.根据权利要求1所述的计算机电路，其中，所述服务器包括：第三代合作伙伴计划(3GPP)长期演进(LTE)分组交换流式传输服务(PSS)服务器、超文本传输协议(HTTP)动态自适应流式传输(DASH)服务器、或者基于集成多媒体子系统(IMS)的PSS和多媒体广播多播服务(MBMS)(IMS_PSS_MBMS)服务器。
10.一种用于提供定向感知的处理能力的客户端设备，包括：
处理器，其用于确定视频定向能力；以及
收发机，其用于向服务器发送视频定向能力信息。
11.根据权利要求10所述的客户端设备，其中，客户端设备的当前视频定向能力信息经由简档差异(Profdiff)信令来替换默认的视频定向能力信息。
12.根据权利要求10所述的客户端设备，其中：
所述处理器还被配置为：
基于设备定向，针对指定的媒体区段，以指定的视频定向来捕捉视频；以及
作为国际标准化组织(ISO)基媒体文件格式(ISO-BMFF)文件的实例化，在第三代合作伙伴计划(3GPP)文件格式(3GP)文件中嵌入针对所捕捉的视频的视频定向信息。
13.根据权利要求12所述的客户端设备，其中，所述视频定向信息嵌入在以下各项中：
所述3GP文件的视频轨道或者实时传输协议(RTP)提示轨道；
文件级别ISO-BMFF盒，其中，所述文件级别ISO-BMFF盒是‘moov’盒初始化区段或者‘moof’盒媒体区段；
所述ISO-BMFF的定时元数据轨道；或者
在ISO文件格式盒结构中，样本描述盒内的具有视频定向参数的SampleEntry。
14.根据权利要求12所述的客户端设备，其中，所述视频定向信息包括：用于支持90度粒度的旋转比特、用于水平翻转的翻转比特、或者用于在全球移动通信系统(GSM)协会(GSMA)富通信服务(RCS)5.1简档中指示前置摄像头或者后置摄像头方向的摄像头比特。
15.根据权利要求12所述的客户端设备，其中：
所述收发机还被配置为：
针对超文本传输协议(HTTP)流或者HTTP动态自适应流式传输(DASH)，上传所述3GP文件。
16.根据权利要求10所述的客户端设备，其中：
所述收发机还被配置为：
经由分组交换流式传输服务(PSS)设备能力交换信令来发送视频定向属性，其中，所述视频定向属性是包括以下各项的PSS通用分量：
Orientation属性，其是从所述客户端所支持的不同视频定向状态的列表中选择的，
DefaultOrientation属性，其提供被采用作为用于内容生成或选择的参考的默认视频定向，
OrientationModesCapture属性，其是从所述客户端针对捕捉所支持的不同视频定向模式的列表中选择的，
OrientationModesDisplay属性，其是从所述客户端针对渲染和显示所支持的不同视频定向模式的列表中选择的，
DefaultOrientationCapture属性，如果定向传感器被禁用或者不存在，则其基于摄像头传感器的安装来提供用于捕捉的默认视频定向，
DefaultOrientationDisplay属性，如果所述定向传感器被禁用或者不存在，则其提供用于渲染和显示的默认视频定向，
OrientationAngularGranularityCapture属性，其是根据在90度间隔中的相等地间隔开的角度粒度水平的数量来选择的，其中，设备传感器能够在所述捕捉期间，按照所述OrientationAngularGranularityCapture属性来检测视频定向改变，
OrientationAngularGranularityDisplay属性，其是根据在90度间隔中的相等地间隔开的角度粒度水平的数量来选择的，其中，所述设备传感器能够在所述渲染和所述显示期间，或者在所述捕捉以及所述渲染和显示期间，按照所述OrientationAngularGranularityDisplay属性来检测视频定向改变，
NumOfCameras属性，其是根据设备上的摄像头的数量来选择的，或者
HorizontalMirroringSupport属性，当所述设备是定向感知的时，其用于指示所述设备是否支持水平镜像。
17.根据权利要求10所述的客户端设备，其中，所述视频定向能力信息是在第三代合作伙伴计划(3GPP)长期演进(LTE)分组交换流式传输服务(PSS)会话、超文本传输协议(HTTP)动态自适应流式传输(DASH)会话、或者基于集成多媒体子系统(IMS)的PSS和多媒体广播多播服务(MBMS)(IMS_PSS_MBMS)会话中提供的。
18.根据权利要求10所述的客户端设备，还包括：
定向传感器，其用于确定所述客户端设备的定向。
19.根据权利要求10所述的客户端设备，其中：
所述收发机还被配置为：
接收用于RTP流的实时传输协议(RTP)扩展报头，或者接收用于超文本传输协议(HTTP)流或者HTTP动态自适应流式传输(DASH)的第三代合作伙伴计划(3GPP)文件格式(3GP)文件；并且所述处理器还被配置为：
对媒体呈现描述(MPD)元数据文件进行解析，以识别在所述3GP文件中视频定向信息的存在，或者针对嵌入的视频定向信息，对所述3GP文件进行解析，
基于所解析出的视频定向信息和所述客户端设备的当前定向，来确定定向校正项，
基于所确定的定向校正项，针对未对准来校正所述HTTP流或者DASH的渲染定向；或者
对会话描述协议(SDP)文件进行解析，以识别在所述RTP流中视频定向信息的存在，或者针对所嵌入的视频定向信息，对用于所述RTP流的RTP扩展报头进行解析，
基于所解析出的视频定向信息和所述客户端设备的当前定向，确定所述定向校正项，以及
基于所确定的定向校正项，针对未对准来校正所述RTP流的渲染定向，
其中，校正所述渲染定向对所述定向的旋转或者翻转进行补偿。
20.根据权利要求10所述的客户端设备，其中，所述客户端设备包括移动终端(MT)、用户设备(UE)或移动站(MS)；并且所述客户端设备包括天线、摄像头、触敏显示屏、扬声器、话筒、图形处理器、应用处理器、内部存储器、或者非易失性存储器端口。
21.一种用于在服务器处基于移动终端(MT)的设备定向来进行多媒体适应的方法，包括：
在所述服务器处，接收所述MT的视频定向能力；以及
基于设备的视频定向能力，来进行多媒体内容的定向感知的处理，以校正所述MT处的未对准。
22.根据权利要求21所述的方法，还包括：
作为对所捕捉的图像的一系列视频定向值的连续记录，指示所述MT来捕捉视频；以及
指示所述MT在国际标准化组织(ISO)基媒体文件格式(ISO-BMFF)文件的实例化或者第三代合作伙伴计划(3GPP)文件格式(3GP)文件中嵌入定时视频定向信息。
23.根据权利要求22所述的方法，其中，所述视频定向信息嵌入在以下各项中：
所述3GP文件的视频轨道或者实时传输协议(RTP)提示轨道；
文件级别ISO-BMFF盒，其中，所述文件级别ISO-BMFF盒是‘moov’盒初始化区段或者‘moof’盒媒体区段；
所述ISO-BMFF的定时元数据轨道；或者
在ISO文件格式盒结构中，样本描述盒内的具有视频定向参数的SampleEntry。
24.根据权利要求22所述的方法，其中，所述视频定向信息包括：用于支持90度粒度的旋转比特、用于水平翻转的翻转比特、或者用于在全球移动通信系统(GSM)协会(GSMA)富通信服务(RCS)5.1简档中指示前置摄像头或者后置摄像头方向的摄像头比特。
25.根据权利要求22所述的方法，其中，指示所述MT来捕捉视频还包括：
指示所述MT来捕捉和压缩所捕捉的视频的多个复本或定向。
26.根据权利要求21所述的方法，其中，定向感知的处理还包括：
基于所述设备的视频定向能力，来从多个存储的内容版本中选择所捕捉的内容的内容版本，或者
基于所述设备的视频定向能力，来对所捕捉的内容进行动态地转码或者转换；以及
在分组交换流式传输服务(PSS)实时传输协议(RTP)流式传输、PSS下载或者多媒体广播多播服务(MBMS)下载中，推送具有定向的视频分量的所捕捉的内容，或者
在超文本传输协议(HTTP)流、HTTP动态自适应流式传输(DASH)流、实时传输协议(RTP)流、或者实时流式传输协议(RTSP)中，动态地传送具有定向的视频分量的所捕捉的内容，其中，所述RTSP在会话描述协议(SDP)文件中指示视频定向信息的存在，并且在用于所述RTP流的RTP扩展报头中指示相应视频定向信息。
27.包括多个指令的至少一种非暂时性机器可读存储介质，其中，所述多个指令适于被执行以实现权利要求21所述的方法。
CN201380050362.5A 2012-10-26 2013-10-28 基于视频定向的多媒体适应的终端、服务器、方法和装置 Active CN104685894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010049662.3A CN111225256A (zh) 2012-10-26 2013-10-28 基于视频定向的多媒体适应的终端、服务器、方法和装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261719241P 2012-10-26 2012-10-26
US61/719,241 2012-10-26
US201361753914P 2013-01-17 2013-01-17
US61/753,914 2013-01-17
PCT/US2013/067048 WO2014066885A1 (en) 2012-10-26 2013-10-28 Multimedia adaptation based on video orientation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010049662.3A Division CN111225256A (zh) 2012-10-26 2013-10-28 基于视频定向的多媒体适应的终端、服务器、方法和装置

Publications (2)

Publication Number Publication Date
CN104685894A true CN104685894A (zh) 2015-06-03
CN104685894B CN104685894B (zh) 2020-02-04

Family

ID=50545383

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010049662.3A Pending CN111225256A (zh) 2012-10-26 2013-10-28 基于视频定向的多媒体适应的终端、服务器、方法和装置
CN201380050362.5A Active CN104685894B (zh) 2012-10-26 2013-10-28 基于视频定向的多媒体适应的终端、服务器、方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010049662.3A Pending CN111225256A (zh) 2012-10-26 2013-10-28 基于视频定向的多媒体适应的终端、服务器、方法和装置

Country Status (8)

Country Link
US (2) US9762938B2 (zh)
EP (2) EP2912850A4 (zh)
JP (2) JP6239629B2 (zh)
KR (2) KR102015204B1 (zh)
CN (2) CN111225256A (zh)
BR (1) BR112015006455B1 (zh)
HK (1) HK1211159A1 (zh)
WO (1) WO2014066885A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105706164A (zh) * 2014-09-12 2016-06-22 索尼公司 发送设备、发送方法、接收设备和接收方法
CN107682852A (zh) * 2016-08-02 2018-02-09 宏达国际电子股份有限公司 处理多小区无线运作的装置及方法
WO2018177373A1 (en) * 2017-03-30 2018-10-04 Mediatek Inc. Method and apparatus for signaling spherical region information in isobmff
CN109246115A (zh) * 2018-09-26 2019-01-18 杭州当虹科技股份有限公司 Sip协议在gb28181下无线网络监控方法
CN110535853A (zh) * 2019-08-28 2019-12-03 北京奇艺世纪科技有限公司 一种视频请求调度方法、装置、服务器及存储介质
US11563915B2 (en) 2019-03-11 2023-01-24 JBF Interlude 2009 LTD Media content presentation

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
AU2013334019B2 (en) 2012-10-26 2015-11-12 Apple Inc. Streaming with coordination of video orientation (CVO)
US9762938B2 (en) 2012-10-26 2017-09-12 Intel Corporation Multimedia adaptation based on video orientation
JP2014239278A (ja) * 2013-06-06 2014-12-18 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
US10182038B2 (en) * 2013-07-29 2019-01-15 Mobitv, Inc. Efficient common storage of partially encrypted content
US11765438B2 (en) 2013-10-25 2023-09-19 Turner Broadcasting System, Inc. Providing interactive advertisements
US9798828B2 (en) 2013-10-25 2017-10-24 Turner Broadcasting System, Inc. Concepts for providing an enhanced media presentation
CN104717555B (zh) * 2013-12-11 2018-01-02 华为技术有限公司 视频码流的获取方法及装置
EP3120520B1 (en) * 2014-03-17 2023-05-24 bitmovin GmbH Media streaming
US10447747B2 (en) * 2014-03-25 2019-10-15 Qualcomm Incorporated Video orientation negotiation
US9584577B2 (en) * 2014-04-03 2017-02-28 Cisco Technology, Inc. Method for enabling use of HLS as a common intermediate format
KR102004837B1 (ko) * 2014-04-09 2019-07-29 엘지전자 주식회사 방송 전송 장치, 방송 수신 장치, 방송 전송 장치의 동작 방법 및 방송 수신 장치의 동작 방법
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
CN105141569B (zh) * 2014-05-30 2019-06-21 华为技术有限公司 媒体处理方法及设备
GB2528039A (en) * 2014-07-01 2016-01-13 Canon Kk Method for identifying objects across time periods and corresponding device
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
CN106797499A (zh) 2014-10-10 2017-05-31 索尼公司 编码装置和方法、再现装置和方法以及程序
WO2016204712A1 (en) * 2015-06-16 2016-12-22 Intel IP Corporation Adaptive video content for cellular communication
US20170034470A1 (en) * 2015-08-02 2017-02-02 Cfkk, Llc Systems and methods and apparatuses for capturing concurrent multiple perspectives of a target by mobile devices
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US10528315B2 (en) 2015-09-25 2020-01-07 Intel Corporation Implementing wireless displays that handle rotation and/or portrait-first sinks
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US9723258B2 (en) 2015-12-30 2017-08-01 Roku, Inc. Orientation adjustment for casting videos
CN107027175A (zh) * 2016-01-29 2017-08-08 中兴通讯股份有限公司 一种数据传输的方法、用户设备和基站
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10623662B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10622023B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
KR102108871B1 (ko) * 2016-11-03 2020-05-12 주식회사 케이티 네트워크 슬라이스 기반 데이터 처리 방법 및 그 장치
US20180152737A1 (en) * 2016-11-28 2018-05-31 Facebook, Inc. Systems and methods for management of multiple streams in a broadcast
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US11134309B2 (en) 2016-12-31 2021-09-28 Turner Broadcasting System, Inc. Creation of channels using pre-encoded media assets
US11109086B2 (en) 2016-12-31 2021-08-31 Turner Broadcasting System, Inc. Publishing disparate live media output streams in mixed mode
US10856016B2 (en) 2016-12-31 2020-12-01 Turner Broadcasting System, Inc. Publishing disparate live media output streams in mixed mode based on user selection
US11470373B2 (en) 2016-12-31 2022-10-11 Turner Broadcasting System, Inc. Server-side dynamic insertion of programming content in an indexed disparate live media output stream
US11438658B2 (en) 2016-12-31 2022-09-06 Turner Broadcasting System, Inc. Client-side dynamic presentation of programming content in an indexed disparate live media output stream
US11038932B2 (en) 2016-12-31 2021-06-15 Turner Broadcasting System, Inc. System for establishing a shared media session for one or more client devices
US11503352B2 (en) 2016-12-31 2022-11-15 Turner Broadcasting System, Inc. Dynamic scheduling and channel creation based on external data
CN106960582B (zh) * 2017-03-12 2019-05-07 浙江大学 一种基于宏观基本图的区域瓶颈控制的方法
US10475483B2 (en) 2017-05-16 2019-11-12 Snap Inc. Method and system for recording and playing video using orientation of device
US11051073B2 (en) 2017-05-25 2021-06-29 Turner Broadcasting System, Inc. Client-side overlay of graphic items on media content
US11146608B2 (en) * 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
US10764650B2 (en) 2017-12-07 2020-09-01 At&T Intellectual Property I, L.P. Video optimization proxy system and method
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
KR20200124665A (ko) * 2018-02-28 2020-11-03 소니 주식회사 콘텐츠 배신 제어 장치, 콘텐츠 배신 제어 방법, 프로그램 및 콘텐츠 배신 시스템
CN111771386A (zh) * 2018-02-28 2020-10-13 索尼公司 内容传送控制装置、内容传送控制方法、程序和内容传送系统
EP3769515A1 (en) * 2018-03-22 2021-01-27 Huawei Technologies Co., Ltd. Immersive media metrics for rendered viewports
CN111937043A (zh) 2018-04-06 2020-11-13 华为技术有限公司 将文件格式对象和基于超文本传输协议的动态自适应流媒体(dash)对象进行关联
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
CN110572883A (zh) * 2018-06-05 2019-12-13 成都鼎桥通信技术有限公司 一种专网连接和音视频记录仪Wifi连接并存的方法和终端
DE102018119481A1 (de) * 2018-08-10 2020-02-13 Connaught Electronics Ltd. Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem
WO2020112480A1 (en) * 2018-11-28 2020-06-04 Convida Wireless, Llc Methods to leverage non-cellular device capabilities
US11082734B2 (en) 2018-12-21 2021-08-03 Turner Broadcasting System, Inc. Publishing a disparate live media output stream that complies with distribution format regulations
US10880606B2 (en) 2018-12-21 2020-12-29 Turner Broadcasting System, Inc. Disparate live media output stream playout and broadcast distribution
US10873774B2 (en) 2018-12-22 2020-12-22 Turner Broadcasting System, Inc. Publishing a disparate live media output stream manifest that includes one or more media segments corresponding to key events
CN112399209B (zh) * 2019-08-13 2022-06-07 大唐移动通信设备有限公司 一种视频业务识别处理方法及装置
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
JP2021068370A (ja) * 2019-10-28 2021-04-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20210059409A (ko) * 2019-11-15 2021-05-25 한국전자기술연구원 씬 정보 또는 샷 정보를 비디오 파일에 삽입하기 위한 시스템 및 방법
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
CN113518215B (zh) * 2021-05-19 2022-08-05 上海爱客博信息技术有限公司 3d动态效果生成方法、装置、计算机设备和存储介质
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000079406A8 (en) * 1999-06-23 2001-05-17 Infolio Inc System and operating method for an internet-based content adaptation service
US20060010226A1 (en) * 2004-07-07 2006-01-12 Nokia Corporation Controlling content communication in a communication system
US20070011256A1 (en) * 2005-05-31 2007-01-11 Yonatan Klein Presentation layer adaptation in multimedia messaging
US20070010286A1 (en) * 2005-07-08 2007-01-11 Microsoft Corporation Transforming media device
CN101300810A (zh) * 2005-09-01 2008-11-05 诺基亚公司 用于将svg内容嵌入进iso基本媒体文件格式以便渐进地下载或流式传输富媒体内容的方法
WO2009055938A1 (en) * 2007-11-01 2009-05-07 Vbt Innovations Inc. System for impulse input of commands, control arguments and data
CN102361492A (zh) * 2003-12-31 2012-02-22 索尼爱立信移动通讯股份有限公司 具有人机工程成像功能的移动终端
CN102577309A (zh) * 2009-09-29 2012-07-11 诺基亚公司 用于动态媒体文件流送的系统、方法和装置
US20120203861A1 (en) * 2010-12-20 2012-08-09 Akamai Technologies, Inc. Methods and systems for delivering content to differentiated client devices

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE522878C2 (sv) * 2000-06-16 2004-03-16 Ericsson Telefon Ab L M Datakommunikationssystem
JP4189627B2 (ja) 2002-04-24 2008-12-03 富士フイルム株式会社 画像サーバ並びに画像表示システム
US7065641B2 (en) 2002-06-13 2006-06-20 Intel Corporation Weighted processor selection apparatus and method for use in multiprocessor systems
JP2004240878A (ja) * 2003-02-07 2004-08-26 Nec Corp 携帯型電子機器、表示方向切り替え方法およびプログラム
JP2005049834A (ja) * 2003-07-11 2005-02-24 Matsushita Electric Ind Co Ltd メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム
JP2005148326A (ja) * 2003-11-14 2005-06-09 Casio Comput Co Ltd データ受信装置、表示制御方法及び表示制御プログラム
US7721204B2 (en) 2004-07-29 2010-05-18 Xerox Corporation Client dependent image processing for browser-based image document viewer for handheld client devices
KR100631601B1 (ko) 2004-10-21 2006-10-09 엘지전자 주식회사 휴대용 단말기의 동영상 스트리밍 서비스 방법
JP4567646B2 (ja) * 2006-09-25 2010-10-20 シャープ株式会社 動画像・音声再生携帯端末、及び、動画像・音声配信端末、及び、システム
US7984177B2 (en) 2007-04-30 2011-07-19 Vixs Systems, Inc. Multimedia client/server system with adjustable packet size and methods for use therewith
US8595186B1 (en) 2007-06-06 2013-11-26 Plusmo LLC System and method for building and delivering mobile widgets
US8600391B2 (en) * 2008-11-24 2013-12-03 Ringcentral, Inc. Call management for location-aware mobile devices
US8467991B2 (en) 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US8706910B2 (en) 2008-10-28 2014-04-22 Panzura, Inc. Dynamically adaptive network-based data processing system and method
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
EP2417748A4 (en) 2009-04-09 2012-09-19 Nokia Corp SYSTEMS, METHODS AND APPARATUS FOR CONTINUOUS TRANSMISSION OF MULTIMEDIA FILES
CN101540871B (zh) 2009-04-27 2011-05-11 中兴通讯股份有限公司 基于电路域可视电话同步录制对端声音图像的方法和终端
US9124804B2 (en) 2010-03-22 2015-09-01 Microsoft Technology Licensing, Llc Using accelerometer information for determining orientation of pictures and video images
US8521899B2 (en) 2010-05-05 2013-08-27 Intel Corporation Multi-out media distribution system and method
US8514331B2 (en) 2010-06-08 2013-08-20 Stmicroelectronics, Inc. De-rotation adaptor and method for enabling interface of handheld multi-media device with external display
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US20120195196A1 (en) 2010-08-11 2012-08-02 Rajat Ghai SYSTEM AND METHOD FOR QoS CONTROL OF IP FLOWS IN MOBILE NETWORKS
WO2012032502A1 (en) 2010-09-10 2012-03-15 Nokia Corporation A method and apparatus for adaptive streaming
US8918645B2 (en) * 2010-09-24 2014-12-23 Amazon Technologies, Inc. Content selection and delivery for random devices
WO2012046487A1 (ja) 2010-10-05 2012-04-12 シャープ株式会社 コンテンツ再生装置、コンテンツ配信システム、コンテンツ再生装置の同期方法、制御プログラム、および、記録媒体
EP2442562B1 (en) 2010-10-12 2017-08-02 BlackBerry Limited Method and apparatus for image orientation indication and correction
JP2012099890A (ja) 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
JP5811602B2 (ja) * 2010-12-16 2015-11-11 ソニー株式会社 画像生成装置、プログラム、画像表示システム、および画像表示装置
US8675577B2 (en) 2010-12-20 2014-03-18 Intel Corporation Signaling techniques for a multimedia-aware radio and network adaptation
US8441955B2 (en) 2011-01-24 2013-05-14 Tektronix, Inc. Determining mobile video quality of experience and impact of video transcoding
US20120278495A1 (en) 2011-04-26 2012-11-01 Research In Motion Limited Representation grouping for http streaming
KR101784316B1 (ko) 2011-05-31 2017-10-12 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기
CN103858457B (zh) 2011-08-01 2018-11-13 英特尔公司 用于身份提供商(IdP)漫游/代理的多跳单点登录(SSO)
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US20130060881A1 (en) 2011-09-01 2013-03-07 Mp4Sls Pte Ltd Communication device and method for receiving media data
TW201322743A (zh) 2011-11-18 2013-06-01 Onlive Inc 用於控制視訊串流之圖形使用者介面，系統及方法
US9438818B2 (en) 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
US20140019635A1 (en) 2012-07-13 2014-01-16 Vid Scale, Inc. Operation and architecture for dash streaming clients
US9357272B2 (en) 2012-08-03 2016-05-31 Intel Corporation Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
US9762938B2 (en) 2012-10-26 2017-09-12 Intel Corporation Multimedia adaptation based on video orientation
AU2013334019B2 (en) 2012-10-26 2015-11-12 Apple Inc. Streaming with coordination of video orientation (CVO)

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000079406A8 (en) * 1999-06-23 2001-05-17 Infolio Inc System and operating method for an internet-based content adaptation service
CN102361492A (zh) * 2003-12-31 2012-02-22 索尼爱立信移动通讯股份有限公司 具有人机工程成像功能的移动终端
US20060010226A1 (en) * 2004-07-07 2006-01-12 Nokia Corporation Controlling content communication in a communication system
US20070011256A1 (en) * 2005-05-31 2007-01-11 Yonatan Klein Presentation layer adaptation in multimedia messaging
US20070010286A1 (en) * 2005-07-08 2007-01-11 Microsoft Corporation Transforming media device
CN101300810A (zh) * 2005-09-01 2008-11-05 诺基亚公司 用于将svg内容嵌入进iso基本媒体文件格式以便渐进地下载或流式传输富媒体内容的方法
WO2009055938A1 (en) * 2007-11-01 2009-05-07 Vbt Innovations Inc. System for impulse input of commands, control arguments and data
CN102577309A (zh) * 2009-09-29 2012-07-11 诺基亚公司 用于动态媒体文件流送的系统、方法和装置
US20120203861A1 (en) * 2010-12-20 2012-08-09 Akamai Technologies, Inc. Methods and systems for delivering content to differentiated client devices

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105706164A (zh) * 2014-09-12 2016-06-22 索尼公司 发送设备、发送方法、接收设备和接收方法
CN105706164B (zh) * 2014-09-12 2021-04-13 索尼公司 发送设备、发送方法、接收设备和接收方法
CN107682852A (zh) * 2016-08-02 2018-02-09 宏达国际电子股份有限公司 处理多小区无线运作的装置及方法
WO2018177373A1 (en) * 2017-03-30 2018-10-04 Mediatek Inc. Method and apparatus for signaling spherical region information in isobmff
CN110651482A (zh) * 2017-03-30 2020-01-03 联发科技股份有限公司 发信isobmff的球面区域信息的方法和装置
US10819907B2 (en) 2017-03-30 2020-10-27 Mediatek Inc. Method and apparatus for signaling spherical region information in ISOBMFF
CN110651482B (zh) * 2017-03-30 2022-02-22 联发科技股份有限公司 发信isobmff的球面区域信息的方法和装置
CN109246115A (zh) * 2018-09-26 2019-01-18 杭州当虹科技股份有限公司 Sip协议在gb28181下无线网络监控方法
CN109246115B (zh) * 2018-09-26 2021-05-25 杭州当虹科技股份有限公司 Sip协议在gb28181下无线网络监控方法
US11563915B2 (en) 2019-03-11 2023-01-24 JBF Interlude 2009 LTD Media content presentation
CN110535853A (zh) * 2019-08-28 2019-12-03 北京奇艺世纪科技有限公司 一种视频请求调度方法、装置、服务器及存储介质
CN110535853B (zh) * 2019-08-28 2021-06-22 北京奇艺世纪科技有限公司 一种视频请求调度方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
EP2912850A4 (en) 2016-05-25
JP6239629B2 (ja) 2017-11-29
BR112015006455A2 (pt) 2017-08-08
US9762938B2 (en) 2017-09-12
US20150256861A1 (en) 2015-09-10
JP2018023169A (ja) 2018-02-08
HK1211159A1 (zh) 2016-05-13
CN104685894B (zh) 2020-02-04
US20170353743A1 (en) 2017-12-07
WO2014066885A1 (en) 2014-05-01
EP2912850A1 (en) 2015-09-02
KR20150052134A (ko) 2015-05-13
JP2016502296A (ja) 2016-01-21
EP3148290B1 (en) 2023-08-30
BR112015006455B1 (pt) 2022-12-20
CN111225256A (zh) 2020-06-02
KR20170101313A (ko) 2017-09-05
US10523982B2 (en) 2019-12-31
KR101773689B1 (ko) 2017-08-31
EP3148290A1 (en) 2017-03-29
JP6490778B2 (ja) 2019-03-27
KR102015204B1 (ko) 2019-08-27

Similar Documents

Publication Publication Date Title
CN104685894A (zh) 基于视频定向的多媒体适应
JP6455741B2 (ja) ビデオの向きの調整（ｃｖｏ）を伴うストリーミング
TWI568252B (zh) 具有視訊定向協調（ｃｖｏ）之串流技術
TWI528753B (zh) 裝置定向能力交換信令以及回應裝置定向的多媒體內容之伺服器調適

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1211159

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191231

Address after: California, USA

Applicant after: Apple Inc

Address before: California, USA

Applicant before: Intel Corporation

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1211159

Country of ref document: HK