CN106134187B - 用于定向处理协商的方法和装置 - Google Patents

用于定向处理协商的方法和装置 Download PDF

Info

Publication number
CN106134187B
CN106134187B CN201580015327.9A CN201580015327A CN106134187B CN 106134187 B CN106134187 B CN 106134187B CN 201580015327 A CN201580015327 A CN 201580015327A CN 106134187 B CN106134187 B CN 106134187B
Authority
CN
China
Prior art keywords
video
process apparatus
orientation
message
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580015327.9A
Other languages
English (en)
Other versions
CN106134187A (zh
Inventor
施里拉姆·加内什
阿尔温德·斯瓦米纳坦
纳维恩·卡拉勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106134187A publication Critical patent/CN106134187A/zh
Application granted granted Critical
Publication of CN106134187B publication Critical patent/CN106134187B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25825Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25833Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities

Abstract

本发明描述用于定向协商的系统、装置和方法。在一个创新方面中,一种方法包含在视频处理装置处从相关联于与所述视频处理装置进行的通信会话的第一装置接收定向协商消息。所述定向协商消息包含对所述第一装置的定向和与所述第一装置相关联的至少一个特性的指示。所述方法还包含至少部分地基于所接收的所述第一装置的所述至少一个特性而识别所述视频处理装置或所述第一装置以执行定向处理。所述方法进一步包含将消息传输到所述第一装置,所述消息包含指示所述识别的结果的信息。所述所识别的装置执行后续定向处理,例如旋转包含于所述通信会话中的图像。

Description

用于定向处理协商的方法和装置
技术领域
本发明涉及视频通信,更具体来说涉及传达视频信息的两个或多于两个装置之间的定向处理的协商。
背景技术
广泛范围的电子装置(包含移动无线通信装置、个人数字助理(PDA)、膝上型计算机、台式计算机、数码相机、数字记录装置等等)具有各式各样的图像和视频显示能力。
在此类电子装置上捕获视频允许在记录装置旋转时以不同定向记录图片。在一些情况下,由移动装置的相机捕获的图片的矩形形状可使得优选在特定方向上定向相机以更好地捕获场景信息(例如,横向对纵向)。然而,在没有关于捕获图片的定向的任何信息的情况下,显示装置无法恰当地显示图片,例如,图片的呈现可能不恰当地旋转或倒置。在一些情境中,显示装置无法由查看者物理旋转以补偿经旋转的呈现。举例来说,大的固定显示器(如,HDTV)无法物理旋转。另外,在双向视频会议通话的情况下,旋转显示装置也会旋转装置中的摄像机。此可为不合需要的,因为其旋转发送到另一终端的视频且防止摄像机经定向以更好地匹配其正捕获的场景。对图片定向的表示的描述可见于2013年6月14日申请的共同转让的美国申请案第13/918477号,所述美国申请案的全部内容特此以引用的方式并入。
调整视频以使呈现优化可在到达目的地装置之前执行,或可由接收装置执行。需要用于协调定向处理的系统和方法。
发明内容
本发明的系统、方法和装置各自具有若干方面,其中无单一者单独负责其所要属性。在不限制如由以下权利要求书表达的本发明的范围的情况下,现在将简要地论述一些特征。在考虑此论述之后,且确切来说在阅读标题为“具体实施方式”的章节之后,将理解本发明的特征如何提供包含视频定向处理的协商的优点。
在一个创新方面中,提供一种方法。所述方法包含在视频处理装置处从相关联于与所述视频处理装置进行的通信会话的第一装置接收定向协商消息。所述定向协商消息包含对所述第一装置的定向和与所述第一装置相关联的至少一个特性的指示。所述方法还包含识别所述视频处理装置或所述第一装置以执行定向处理。所述识别是基于所接收的所述第一装置的所述至少一个特性。所述方法进一步包含将消息传输到所述第一装置。所述消息包含指示所述识别的结果的信息。
在另一创新方面中,提供一种视频处理装置。所述装置包含经配置以从相关联于与所述视频处理装置进行的通信会话的第一装置接收定向协商消息的接收器。所述定向协商消息包含对所述第一装置的定向和与所述第一装置相关联的至少一个特性的指示。所述装置进一步包含经配置以产生识别所述视频处理装置或所述第一装置以执行定向处理的消息的协商消息产生器。所述识别至少部分地基于所接收的所述第一装置的所述至少一个特性。所述装置还包含经配置以将所述消息传输到所述第一装置的发射器。
在又一创新方面中,提供一种视频处理装置。所述装置包含用于从相关联于与所述视频处理装置进行的通信会话的第一装置接收定向协商消息的装置。所述定向协商消息包含对所述第一装置的定向和与所述第一装置相关联的至少一个特性的指示。所述装置还包含用于产生至少部分地基于所接收的所述第一装置的所述至少一个特性而识别所述视频处理装置或所述第一装置以执行定向处理的消息的装置。所述装置还包含用于将所述消息传输到所述第一装置的装置。
在另一创新方面中,提供一种包含可由视频处理装置的处理器执行的指令的非暂时性计算机可读媒体。所述指令在由所述处理器执行时,致使所述视频处理装置从相关联于与所述视频处理装置进行的通信会话的第一装置接收定向协商消息。所述定向协商消息包含对所述第一装置的定向和与所述第一装置相关联的至少一个特性的指示。所述指令进一步致使所述装置至少部分地基于所接收的所述第一装置的所述至少一个特性而识别所述视频处理装置或所述第一装置以执行定向处理。所述指令还致使所述装置将消息传输到所述第一装置。所述消息包含指示所述识别的结果的信息。
下文参考下图进一步描述与本发明一致的这些和其它实施方案。
附图说明
图1A、1B和1C说明定向感知通信装置的功能框图。
图2说明示范性视频编码和解码系统的功能框图。
图3展示示范性视频处理装置的功能框图。
图4说明示范性定向协商处理器的功能框图。
图5展示本端装置与远端装置之间的实例通信会话的呼叫流图。
图6展示定向处理协商的方法的实例的过程流图。
图7展示定向处理重新协商的方法的实例的过程流图。
图8展示定向协商的方法的过程流图。
图9展示有中介的定向处理协商的功能框图。
在图中,具有相同或类似功能的元件尽可能地具有相同名称。
具体实施方式
协调视频定向(CVO)允许发送器将带内信令提供到接收器以指示是否以与最初协商相同的定向捕获图像。对此信息的需要展示于图1A和1B中。
图1A展示两个通信装置102和104。在一些实施方案中,传输视频信号的通信装置可被称作本端。在图1A中,通信装置102充当本端。远端可用于指接收视频信号的通信装置。如图1A中所展示,通信装置102和通信装置104被定向于横向模式中。当远端和本端两者被定向于横向模式中时,在横向模式中的通信装置102处捕获的视频可在通信装置104处以同一定向显示。
图1B展示通信装置102和104的第二配置。如图1B中所展示,本端装置102已旋转90度。因此,本端装置102现在处于所谓的纵向模式中,而远端装置104仍处于横向模式中。在不调整所接收的视频的情况下,远端装置104可经配置以如所展示水平地显现所接收的视频。
一些CVO协议将视频定向信息包含在带内,例如,在实时输送协议(RTP)流内,从而允许本端正确地显示视频。然而,CVO特征始终将重新定向视频的负担加在远端处,且此并非总是最优的。本文中进一步详细描述的特征提供增强效率且减少与定向处理相关联的负担(例如,处理器、功率、时间、存储器、带宽、热等)的方式。
图1C展示可调整视频图像的一种方式。如所展示,视频图像可旋转。在一些实施方案中,可减小视频图像的大小以符合横向可显示格式。将了解,调整过程涉及资源的使用,所述资源例如处理器、时间、功率、热等等。因此,可能需要协调哪一装置(本端装置还是远端装置)将执行定向调整处理。
在以下描述中,给出特定细节以提供对实例的透彻理解。然而,所属领域的普通技术人员将理解,可在没有这些特定细节的情况下实践所述实例。举例来说,可在框图中展示电组件/装置,以免以不必要的细节混淆所述实例。在其它情况下,可详细展示这些组件、其它结构和技术以进一步解释所述实例。
还应注意,可将所述实例描述为过程,所述过程被描绘为流程图、流图、有限状态图、结构图或框图。尽管流程图可将操作描述成顺序过程,但许多操作可并行或同时执行,且所述过程可重复。另外,可重新布置操作的次序。当过程的操作完成时,所述过程终止。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于软件函数时,过程的终止对应于函数返回到调用函数或主函数。
所属领域的技术人员将理解,可使用多种不同技术和技艺中的任一者来表示信息和消息。举例来说,可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示贯穿以上描述可能参考的数据、指令、命令、信息、信号、位、符号和码片。
下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构和/或功能仅为说明性的。基于本发明,所属领域的技术人员应了解,本文中所描述的一方面可独立于任何其它方面而实施,且可以各种方式组合这些方面中的两者或多于两者。举例来说,可使用本文中所阐述的任何数目个方面来实施设备和/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外或不同于本文中所阐述的方面中的一或多者的其它结构和/或功能性来实施此设备和/或实践此方法。
图2说明示范性视频编码和解码系统的功能框图。如图2中所展示,系统10包含源装置12,源装置12可经配置以经由通信信道15将经编码视频传输到目的地装置16。源装置12和目的地装置16可包括广泛范围的装置中的任一者,包含移动装置或大体上固定装置。在一些情况下,源装置12和目的地装置16包括无线通信装置,例如无线手持机、所谓的蜂窝式或卫星无线电电话、个人数字助理(PDA)、移动媒体播放器或可经由可为或可不为无线的通信信道15传达视频信息的任何装置。源装置还可包含机顶盒、控制台(例如,游戏机、DVD/蓝光控制台)、数字视频接收器/记录器、平板计算机、手持式游戏机等等。然而,涉及兼容帧封装立体三维数据通信的本发明的技术可用于许多不同系统和设置。图2仅为此系统的一个实例。
在图2的实例中,源装置12可包含视频源20、视频编码器22、调制器/解调器(调制解调器)23和发射器24。目的地装置16可包含接收器26、调制解调器27、视频解码器28和显示装置30。根据本发明,源装置12的视频编码器22可经配置以编码图片序列。视频编码器22可经配置以编码与图片相关联的额外信息,例如包含可应用于视频图片中的每一者以产生3D视频数据的一组参数的3D转换信息。调制解调器23和发射器24可调制无线信号且将无线信号传输到目的地装置16。以此方式,源装置12将经编码图片序列连同任何额外相关联信息传达到目的地装置16。
接收器26和调制解调器27接收且解调从源装置12接收的无线信号。因此,视频解码器28可接收图片序列。视频解码器28还可接收可用于解码经译码图片序列的额外信息。
源装置12和目的地装置16仅为此类译码装置的实例,其中源装置12产生经译码视频数据以供传输到目的地装置16。在一些情况下,装置12、16可以基本上对称的方式操作,使得装置12、16中的每一者包含视频编码和解码组件。因此,系统10可支持视频装置12、16之间的单向或双向视频传输,例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源20可包含视频捕获装置(例如,摄像机)、含有先前所捕获视频的视频存档或来自视频内容提供者的视频馈送。作为另一替代方案,视频源20可产生基于计算机图形的数据作为源视频,或实况视频、存档视频和计算机产生的视频的组合。在一些情况下,如果视频源20是摄像机,那么源装置12和目的地装置16可形成所谓的摄像机电话或视频电话。在每一情况下,视频编码器22可对所捕获、所预捕获或计算机产生的视频进行编码。作为编码过程的部分,视频编码器22可经配置以实施本文中所描述的方法中的一或多者,例如协商定向处理和鉴于协商执行定向调整处理。
经编码视频信息可随后由调制解调器23根据通信标准(例如,码分多址接入(CDMA)或另一通信标准)调制,且经由发射器24传输到目的地装置16。经编码视频信息可包含图片定向信息。调制解调器23可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于传输数据的电路,包含放大器、滤波器和一或多个天线。
目的地装置16的接收器26可经配置以经由信道15接收信息。调制解调器27可经配置以解调信息。视频编码过程可实施本文中所描述的技术中的一或多者以包含定向协商/处理。经由信道15传达的信息可包含由视频编码器22定义的信息,其可由与本发明一致的视频解码器28使用。显示装置30将经解码视频数据显示给用户,且可包括多种显示装置中的任一者,例如阴极射线管、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在图2的实例中,通信信道15可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线,或无线与有线媒体的任何组合。因此,调制解调器23和发射器24可支持许多可能的无线协议、有线协议或有线和无线协议。通信信道15可形成例如局域网(LAN)、广域网(WAN)或包括一或多个网络的互连的全球网(例如,因特网)的基于数据包的网络的部分。通信信道15一般表示用于将视频数据从源装置12传输到目的地装置16的任何合适的通信媒体或不同通信媒体的集合。通信信道15可包含可用于促进从源装置12到目的地装置16的通信的路由器、交换器、基站或任何其它设备。本发明的技术未必需要将经编码数据从一个装置传达到另一装置,且可适用于无互逆解码的编码情境。另外,本发明的各方面可适用于无互逆编码的解码情境。
视频编码器22和视频解码器28可与视频压缩标准一致地操作,所述视频压缩标准例如ITU-T H.264标准(或者被描述为MPEG-4第10部分,和高级视频译码(AVC))或名为高效率视频译码(HEVC)的下一代视频译码标准。然而,本发明的技术不限于任何特定译码标准或其扩展。尽管图2中未展示,但在一些方面中,视频编码器22和视频解码器28可各自与音频编码器和解码器集成,且可包含适当的多路复用器-多路分用器单元或其它硬件和软件,以处置对共同数据流或单独数据流中的音频和视频两者的编码。如果适用,那么多路复用器-多路分用器单元可符合多路复用器协议(例如,ITU H.223)或例如用户数据报协议(UDP)等其它协议。
视频编码器22和视频解码器28各自可实施为一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、在微处理器或其它平台上执行的软件、硬件、固件或其任何组合。视频编码器22和视频解码器28中的每一者可包含在一或多个编码器或解码器中,其中的任一者可作为组合式编码器/解码器(编码解码器)的部分集成在相应移动装置、订户装置、广播装置、服务器等等中。
视频序列通常包含一系列视频图片。视频编码器22和视频解码器28可对个别视频图片内的视频块操作以便对视频数据进行编码和解码。视频块可具有固定或变化的大小,且可根据指定译码标准而大小不同。每一视频图片可包含一系列切片或其它可独立解码的单元。每一切片可包含一系列宏块或可被布置成子块的其它视频块,例如译码树单元。作为实例,ITU-T H.264标准支持各种块大小的帧内预测(例如,对于明度分量的16乘16、8乘8或4乘4,和对于色度分量的8乘8)以及各种块大小的帧间预测(例如,对于明度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和4乘4,和对于色度分量的对应的按比例缩放大小)。视频块可包括像素数据块,或(例如)在例如离散余弦变换或概念上类似的变换过程等变换过程后的变换系数块。
宏块、译码树单元或其它视频块可分组到例如切片、切片群组、平铺块或其它独立单元等可独立解码的单元中。宏块、译码树单元或其它视频块可分组到例如从属切片、熵切片、波前平行处理波或其它从属单元等不可独立解码的单元中。每一切片可为视频图片的可独立解码的单元。替代地,图片自身可为可解码单元,或图片的其它部分可被定义为可解码单元。在本发明中,术语“经译码单元”指视频图片的任何可独立解码的单元,例如整个图片、图片的切片或根据所使用的译码技术定义的另一可独立解码的单元。
图3展示示范性视频处理装置的功能框图。装置202为可经配置以实施本文中所描述的各种方法的装置的实例。举例来说,装置202可被实施为源装置12或目的地装置16。
装置202可包含处理器单元204,处理器单元204控制装置202的操作。处理器单元204中的一或多者可统称为中央处理单元(CPU)。可包含只读存储器(ROM)和随机存取存储器(RAM)两者的存储器206将指令和数据提供到处理器单元204。存储器206可一般被实施为计算机可读存储媒体。存储器206的一部分还可包含非易失性随机存取存储器(NVRAM)。处理器单元204可经配置以基于存储在存储器206内的程序指令而执行逻辑和算术运算。存储器206中的指令可执行以实施本文中所描述的方法。
处理器单元204可以通用微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑装置(PLD)、控制器、状态机、门控逻辑、离散硬件组件、专用硬件有限状态机或可执行信息的计算或其它操纵的任何其它合适实体的任何组合来实施。在处理器单元204包含DSP的实施方案中,DSP可经配置以产生包(例如,数据包)以供传输。在一些方面中,数据包可包括物理层数据单元(PPDU)。
装置202还可包含用于存储软件的机器可读媒体。处理单元204可包括用于存储软件的一或多个非暂时性机器可读媒体。无论是被称作软件、固件、中间件、微码、硬件描述语言或其它,都应将软件广泛地解释为意味着任何类型的指令。指令可包含代码(例如,呈源代码格式、二进制码格式、可执行代码格式或任何其它合适的代码格式)。指令在由处理器单元204执行时致使装置202执行本文中所描述的各种功能。
装置202可包含发射器210和/或接收器212以允许在装置202与远程位置之间分别传输和接收数据。发射器210和接收器212可组合成收发器214。天线216可附接到外壳208且与收发器214电耦合。装置202还可包含(未图示)多个发射器、多个接收器、多个收发器和/或多个天线。
发射器210可经配置以无线地传输数据包和/或信号。举例来说,发射器210可经配置以传输上文所论述的由处理器单元204产生的不同类型的数据包。待传输的数据包被提供到发射器210。举例来说,处理器单元204可在存储器206中存储数据包,且发射器210可经配置以检索数据包。一旦发射器检索数据包,发射器210就经由天线216传输数据包。在一些实施方案中,发射器210可经由网络输入/输出224传输数据包。
如果装置202被实施为目的地装置16,那么天线216检测无线传输的数据包/信号。接收器212可经配置以处理所检测到的数据包/信号且使其可用于处理器单元204。举例来说,接收器212可在存储器206中存储数据包,且处理器单元204可经配置以检索数据包。
装置202还可包含信号检测器218,信号检测器218可用于致力于检测和定量由收发器214接收的信号的电平。装置202还可包含供用于处理信号的数字信号处理器(DSP)220。DSP 220可经配置以产生数据包以供传输。在一些方面中,数据包可包括物理层数据单元(PPDU)。
在一些实施方案中,装置202可进一步包括用户接口222。用户接口222可包括小键盘、麦克风、扬声器和/或显示器。在一些实施方案中,装置202可与显示器耦合。举例来说,装置202可被实施为接收视频信息、处理供显示的信息且将所述信息传输到电视以供显示的机顶盒。用户接口222可进一步包含将信息传送给装置202的用户和/或接收来自用户的输入的任何元件或组件。装置202还可包含包围装置202中所包含的组件中的一或多者的外壳208。
装置202可包含视频译码处理器228。当被实施为源装置12时,视频译码处理器228可经配置以(例如)从一或多个摄像机或其它图像捕获装置接收视频数据。视频译码处理器228可包含编码器,例如上文所论述的视频编码器22。视频译码处理器228可经配置以包含由装置202产生的多媒体流/文件中的图像兼容性信息。在一些实施方案中,视频译码处理器228可经配置以定向待编码的视频。举例来说,如果视频流在横向模式中被捕获但以纵向定向传输到目的地装置,那么视频译码处理器228可基于定向协商和接收装置的定向信息而调整视频流的定向。
当被实施为目的地装置16时,视频译码处理器228可经配置以接收和解码多媒体数据且提供数据以供呈现。视频译码处理器228可包含解码器,例如上文所描述的视频解码器28。包含于目的地装置16中的视频译码处理器228可经配置以识别多媒体数据且调整此数据的处理。视频译码处理器228可基于定向协商和装置的定向信息而调整视频流的定向。
装置202可进一步包含定向协商处理器400。定向协商处理器400可经配置以与一或多个装置协商用于视频会话(例如,视频电话、视频广播)的定向处理。下文将参看图4进一步详细展示并描述定向协商处理器400。定向信息可被提供到视频译码处理器228。
装置202可包含时钟230。时钟230可经配置以识别时间点。时钟230可识别绝对时间点(例如,特定日期和时间信息)。时钟230可经配置以识别相对时间点(例如,多媒体呈现中的点)。时钟230可与包含于源装置12中的捕获传感器耦合。时钟230可提供各种视频捕获点的时间信息。此时间信息可包含于传输到目的地装置16的视频信息中。
装置202可包含定向检测器232。定向检测器232可经配置以提供装置202的定向信息。举例来说,定向检测器232可包含陀螺仪。在一些实施方案中,定向检测器232可提供指示装置202的旋转度数的值。
装置202的各种组件可由总线系统226耦合在一起。总线系统226可包含(例如)数据总线,以及除数据总线之外的功率总线、控制信号总线和状态信号总线。所属领域的技术人员将了解,装置202的组件可耦合在一起,或使用一些其它机构接受输入或将输入提供到彼此。
尽管图3中说明许多单独组件,但所属领域的技术人员将认识到可组合或共同实施组件中的一或多者。举例来说,处理器单元204不仅可用于实施上文关于处理器单元204描述的功能性,还可用于实施上文关于信号检测器218描述的功能性。作为第二实例,视频译码处理器228可包含定向协商处理器300。另外,可使用多个单独元件实施图3中所说明的组件中的每一者。
图4说明示范性定向协商处理器的功能框图。图4中所展示的定向协商处理器400接收协商触发消息作为一个输入。协商触发消息可为指示协商时间的时钟信号。在一些实施方案中,更复杂的协商触发消息可被提供到定向协商处理器400。举例来说,处理器单元204可识别从包含于通信会话中的另一装置接收的消息的特性。基于此识别,处理器单元204可将协商触发消息传输到定向协商处理器400以发起协商过程。在一些实施方案中,可检测例如通电、功率变化、温度波动、内存利用、递交、连接性等装置事件且所述事件致使协商触发消息产生。
特性收集器402可包含于定向协商处理器400中。在接收到协商触发消息后,特性收集器402可经配置以识别一或多个特性值。特性值可与包含定向协商处理器400的装置相关联。特性值可与包含定向协商处理器400的装置所连接到的网络相关联。特性值可与包含于与包含定向协商处理器400的装置进行的通信会话中的另一装置相关联。所述值可通过传输特性请求和接收特性响应来获得。所述值可从随时间存储特性值的存储器获得。所述值可由特性源提供到存储器。
在一些实施方案中,协商触发消息可包含特性值。在这些实施方案中,特性收集器402可通过解析协商触发消息来识别特性值。
特性可包含电池电量、处理单元(例如,中央处理单元或图形处理单元)能力(例如,时钟周期、芯片组、存储器轮转、热效率、操作系统、指令集)、装置电源、定向传感器能力、热条件、传输功率、参与者(例如,发送器/接收器)标识符(例如,电话号码、姓名等)等等。特性信息可包含缓存的特性信息。在这些实施方案中,一旦获得特性信息,值就可与对值的后续请求可由高速缓冲存储器实现而非由另一特性信息源实现的持续时间相关联。
特性被提供到定向协商消息产生器404。在一些实施方案中,协商触发消息也可被提供到定向协商消息产生器404。定向协商消息产生器404还可经配置以接收一或多个协商配置。协商配置可包含可用于确定包含定向协商处理器400的装置是否执行定向处理的特性值的阈值或范围。举例来说,一个协商配置可为可用于执行定向处理的最小百分比的电池寿命。协商配置可以相对术语来表达。举例来说,协商配置可指定装置在其电池寿命百分比与远端装置的电池寿命之间的差超出阈值的情况下执行定向处理。可提供与上文所描述的特征和特性一致的其它协商配置。
协商配置可在协商处理器400中(例如,在存储器中)预加载。在一些实施方案中,协商配置可(例如)经由空中预配或回程信令来更新。在一些实施方案中,协商配置可由用户指定为首选项。
协商消息产生器404可执行一或多个功能。首先,协商消息产生器404确定与特性信息相关联的装置是否可执行定向处理。其次,协商消息产生器404可经配置以产生包含指示确定结果的值的消息。在一些实施方案中,协商消息产生器404可仅提供确定结果作为输出消息。
基于所接收的特性和(任选地)协商触发消息和/或协商配置参数,协商消息产生器404产生定向处理协商消息。定向处理协商消息包含指示装置是否将执行定向处理的一或多个值。在一些实施方案中,定向处理协商消息被提供到处理器单元204以供经由发射器210传输到包含于通信会话中的其它装置。消息可在由协商消息产生器404产生时被发送。在一些实施方案中,定向处理协商消息可包含于另一消息(例如,作为设置或会话维护的部分而被传输的SIP消息)中。在一些实施方案中,定向处理协商消息可由本地装置进一步解析,且来自消息的信息可用于产生另一消息以供传输到包含于通信会话中的装置。
图5展示本端装置与远端装置之间的实例通信会话的呼叫流图。图5中所展示的呼叫流程可由本文中所描述的装置(例如,图2或3中所展示的那些装置)中的一或多者实施。图5中所展示的呼叫流程说明两个实体:本端装置502和远端装置504。将理解,虽然消息展示为直接地在本端装置502与远端装置504之间交换,但在一些实施方案中,在所述两个端点装置之间可包含额外实体。
本端装置502检测触发消息。触发消息可为(例如)呼叫的发起。本端装置502在呼叫510时收集定向和特性信息。如图5中所展示,本端装置502收集来自自身的定向和特性信息。在一些实施方案中,在呼叫510时的收集可包含对包含于通信会话中或待包含于通信会话中的另一装置的请求。呼叫510包含与另一服务器(例如,网络控制器或信息的其它中心存储库)进行消息传递。
一旦经由呼叫520收集到,就发起通信连接。发起消息包含收集到的定向信息。在一些实施方案中,发起消息包含收集到的特性信息的至少一部分。在一些实施方案中,发起消息可包含指示本端装置502是否可执行定向处理的值。
在接收到后,远端装置504评估发起消息。远端装置504可执行经由呼叫530收集其自身的特性信息。远端装置504可随后评估其特性信息(在收集到的情况下)连同从本端装置502接收的任何特性信息以确定其是否可执行定向处理。在一些实施方案中,远端装置504可基于指示本端装置502是否可执行定向处理的值而确定本端装置502可执行定向处理。在这些实施方案中,可省略远端装置504处的特性的进一步收集和评估。
远端装置504经配置以经由呼叫540提供连接确认消息。连接确认可包含指示评估结果(例如,远端装置504是否同意本端装置502的确定或是否提议替代的定向处理布置)的值。连接确认消息还可包含远端装置504的定向信息。如果本端装置502负责定向处理,那么此定向信息可由本端装置502使用。
图6展示定向处理协商的方法的实例的过程流图。图6中所展示的方法可实施于本文中所描述的装置中的一或多者中,例如图2或3中所展示的视频译码装置。
在节点602处,接收发起视频通信的信号。举例来说,装置的用户可提供指示与之发起视频通话的联系人的输入。
在节点604处,产生发起消息。发起消息可为根据通信协议(例如,SIP、RTP等等)产生的。可提供允许处理器单元根据所选的通信协议格式化发起消息的指令。可基于(例如)与之建立会话的联系人而识别协议。
在节点606处,收集装置特性。如上文所论述,装置特性可包含电池电量、处理单元(例如,中央处理单元或图形处理单元)能力(例如,时钟周期、芯片组、存储器轮转、热效率、操作系统、指令集)、装置电源、定向传感器能力、热条件、传输功率、发送器/接收器标识符等等。收集可包含查询包含于装置中的一或多个元件。收集可包含传输请求和接收特性的响应。
在节点608处,确定装置是否可执行定向处理。所述确定至少部分地基于如上文所论述的特性。在一些实施方案中,可基于包含于所接收的定向协商消息中的特性信息而作出确定。举例来说,远端装置可将发起通信会话的请求传输到近端装置。请求可包含远端装置的一或多个特性。接收装置可包含指示如何评估远端装置特性的一或多个规则。举例来说,如果远端装置使用外部电源来操作,那么可选择其来执行定向处理,因为其电源更可靠且不大可能被定向处理耗尽。在一些实施方案中,确定可包含将近端装置的特性信息与远端装置的特性信息比较。举例来说,近端装置可包含第一图形处理单元(GPU),且近端装置可包含第二图形处理单元。规则可包含用于执行定向处理的GPU列表,GPU列表经组织以使得将列表中的一个GPU的位置与列表中的另一GPU比较可指示在执行定向处理时更高效的GPU。规则可被单独处理(例如,仅应用一个规则),或被逻辑组织以提供更精密的确定。逻辑组织的一个实例为决策树。决策树内的规则可组织成使用初始特性比较(例如,电源),且向下延伸(descend)到其它装置特性的各种选项。将理解,规则的表示可呈许多形式,但无论何种形式,规则的意图都是确定装置以执行协商定向处理。
在节点610处,如果确定装置可执行定向处理,那么识别装置可执行定向处理的值包含于发起消息中。在一个实施方案中信息可包含于发起消息的标头字段中。在一个实施方案中,信息可包含于发起消息的信息元素中。如何提供此值并不限于这些实例。所描述特征的一个非限制性优点是定向协商确定值被作为会话发起过程的部分而提供。
在节点612处,将发起消息传输到所识别的接收装置。返回到决策节点608,如果确定装置无法执行定向处理,那么过程流程继续到节点612以在无定向处理值的情况下传输发起消息。在一些实施方案中,可能需要在发起消息中包含指示否定确定的值。在这些实施方案中,识别此情况的值可包含于发起消息中。
在节点614处,接收对在节点612处传输的发起消息的响应。响应可包含定向处理协商消息连同传输装置的定向信息。
在节点616处,确定是否已确认定向处理。如果确认接收装置的定向处理,那么过程继续到节点618以执行定向处理。节点618处的定向处理配置装置以至少部分地基于所接收的定向信息而调整视频。
返回到确定节点616,如果尚未确认接收装置的定向处理,那么过程继续到节点620。在节点620处,确定发起确认消息是否指示远端将执行定向处理。如果是,那么过程继续到节点622,在节点622中在传输之前不调整的情况下传输视频。如果否,那么过程可返回到节点606以重复特性收集和进一步定向处理协商。
图6展示如何可在通信会话发起之前或期间执行定向处理的协商。可包含类似特征以在装置特性变化时允许定向处理的重新协商。
图7展示定向处理重新协商的方法的实例的过程流图。图7中所展示的方法可实施于本文中所描述的装置中的一或多者中,例如图2或3中所展示的视频译码装置。
在节点702处,接收视频通信。视频通信可根据一或多个视频标准来编码且使用例如SIP或RTP等适合于视频通信的输送协议来传输。协商触发消息可与视频通信一起被包含在带内。在一些实施方案中,不同于视频通信,可带外接收协商触发消息。
在节点704处,接收一或多个装置特性。装置特性可为(例如)电池电量的变化。
在节点706处,确定是否需要定向重新协商。决策可基于视频通信或协商触发消息。在一些实施方案中,触发可为节点704处的特性的接收。确定可包含识别当前所协商的定向处理是否与先前所协商的定向处理相同。下表1展示本端装置的实例重新协商决策查找表。
表1
先前所协商的定向处理器 本端是否可执行定向处理? 重新协商?
远端
远端
本端
本端
如果节点706处的确定指示不需要重新协商,那么过程返回到节点702以接收进一步视频通信。如果在节点706处确定需要重新协商,那么过程继续到节点708,其中类似于图6中的节点606而收集装置特性。在节点710处,确定装置是否可执行定向处理。所述确定至少部分地基于如上文所论述的特性。
如果确定装置可执行定向处理,那么在节点712处,将识别装置可执行定向处理的值传输到其它装置。此可与视频传输一起带内传输,或可带外传输。如上文所提及,如何提供此值并不限于这些实例。所描述特征的一个非限制性优点为在活跃的通信会话期间提供定向协商确定值。
返回到决策节点710,如果确定装置无法执行定向处理,那么过程流程继续到节点714以传输识别装置无法执行定向处理的值。在一些实施方案中,可能需要在发起消息中包含指示否定确定的值。在这些实施方案中,识别此情况的值可包含于发起消息中。在一些实施方案中,可通过消息中不存在定向协商信息来指示无法执行定向处理。
在节点716处,接收响应。响应可包含定向处理协商消息连同传输装置的定向信息。如上文所论述,响应可与视频一起包含在带内或被带外包含。
在节点718处,确定是否已确认定向处理。如果确认接收装置的定向处理,那么过程继续到节点720以执行定向处理。节点720处的定向处理配置装置以至少部分地基于所接收的定向信息而调整视频。
返回到确定节点718,如果尚未确认接收装置的定向处理,那么过程继续到节点722。在节点722处,确定所接收的响应消息是否指示远端将执行定向处理。如果是,那么过程继续到节点726,在节点726中在传输之前不调整的情况下传输视频。如果否,那么过程可返回到节点708以重复特性收集和进一步定向处理协商。
图8展示定向协商的方法的过程流图。图8中所展示的方法可实施于本文中所描述的装置中的一或多者中,例如图2中所展示的视频译码装置。
在节点802处,在视频处理装置处从相关联于与视频处理装置进行的通信会话的第一装置接收定向协商消息。定向协商消息包含对第一装置的定向和与第一装置相关联的至少一个特性的指示。在节点804处,至少部分地基于所接收的第一装置的至少一个特性而识别视频处理装置或第一装置以执行定向处理。在节点806处,将消息传输到所述第一装置,所述消息包含指示所述识别的结果的信息。
作为所描述方面的另一实例应用,一些装置可经配置以使用实时输送协议数据包交换流流式传输(real-time transport protocol packet switch stream streaming)。装置可经配置以接收、解码且显现某些格式,例如包含帧封装布置SEI消息的视频数据。在这些实施方案中,可在识别协商定向信息后加速视频位流的接收、解码和显现。举例来说,当检测到定向协商信息且远端装置被识别为定向处理器时,接收管道可经配置以略过定向处理。
在已论述定向协商的若干方面之后,以下呈现几个特性的协商确定的若干实例。
举例来说,特性可包含当前电池电量。当前电池电量。如果远端装置处于10%电量且本端装置处于90%电量,那么远端可例如用将原因陈述为电池效率低的可能错误码通告其不支持CVO。本端装置可经配置以使用此信息来负责定向处理,且在传输到远端之前进行重新定向。
在另一实例中,特性可为装置的CPU和/或GPU能力。在此实例中,如果远端装置使用骁龙800芯片组,且本端装置使用骁龙200。那么与本端装置相比,远端装置可经配置以更有功率效率地执行重新定向。在此情境下,远端装置经配置以例如用将原因陈述为处理器效率低的可能错误码通告其不支持CVO。本端装置可经配置以使用此信息来确定在传输到远端装置之前本端装置应执行定向处理(例如,重新定向)。
在另一实例中,装置电源可为特性。由此实例,如果远端装置为依靠小电池工作的移动装置且本端装置为连接到恒定电源的台式机,那么远端装置可例如用如电源效率低的错误码通告其不支持CVO。在此情境下,本端装置经配置以基于所接收的通告而确定在将视频发送到远端装置之前本端装置应执行视频的定向处理。
又一实例特性可为定向传感器能力。如果端点中的一者不包含定向传感器能力,那么其可请求其它端点基于所接收的显示配置而执行预旋转。可在装置中的一者以定向配置安装在固定位置中(例如,安装于墙上的电视)的情况下包含此实施方案。在每一端点为定向感知的实施方案中,可能需要将具有较高质量传感器的端点选择用于定向处理。
这些仅为可用于协商定向处理的特性的若干实例。在协商期间可考虑与装置相关联的其它特性信息、网络、装置周围的天气、装置的位置等。信息可被视为在装置内部或可在作为协商的部分的通信会话中传输到其它装置。
如上文所描述,在通信会话中的两个或多于两个参与者之间执行协商。在一些实施方案中,协商确定可由通信会话中的两个或多于两个参与者之间的中介来执行。此实施方案可用于允许可不包含定向协商处理器的传统装置仍接收为传统装置定制的预定向视频。此外,其允许能够定向处理但缺少协商机制的装置选择性地执行定向处理以改进资源利用率。
图9展示有中介的定向处理协商的功能框图。本端装置102和远端装置104可经由消息传递服务器900传输视频或其它多媒体通信。可实施消息传递服务器900和因特网消息传递服务器、流媒体服务器、视频电话服务器或其它中心通信会话管理服务器。如图9中所展示,消息传递服务器900包含定向协商处理器400。定向协商处理器400可从本端装置102和/或远端装置104接收特性信息。定向协商处理器400可随后仲裁哪一装置(本端装置102还是远端装置104)将执行定向处理。指示此确定的消息可被提供到经选择以用于定向处理的装置(例如,与视频一起在带内或经由其它消息/信号)。
在消息传递服务器900从端点装置中的仅一者接收协商信息的实施方案中,消息传递服务器900可充当缺少协商功能性的装置的协商代理。在这些实施方案中,定向协商处理器400可经配置以远程地(例如,不在缺少所述功能性的装置处)为缺少协商功能性的装置进行协商。在一些实施方案中,消息传递服务器900可与缺少协商功能性的装置交换消息以获得协商将基于的装置特性信息。
如本文中所使用,术语“确定”涵盖广泛多种动作。举例来说,“确定”可包含计算、运算、处理、导出、研究、查找(例如,在表、数据库或另一数据结构中查找)、判定等等。另外,“确定”可包含接收(例如,接收信息)、存取(例如,存取存储器中的数据)等等。另外,“确定”可包含解决、选择、挑选、建立等等。
如本文中所使用,术语“提供”涵盖广泛多种动作。举例来说,“提供”可包含将值存储于位置中以用于后续检索,将值直接传输到接收方,传输或存储对值的参考等等。“提供”还可包含编码、解码、加密、解密、复核、验证等等。
如本文中所使用,提及项目列表“中的至少一者”的短语指那些项目的任何组合,包含单个成员。作为实例,“以下各者中的至少一者:a、b或c”希望涵盖:a、b、c、a-b、a-c、b-c和a-b-c。
上文所描述的方法的各种操作可由能够执行所述操作的任何合适装置(例如,各种硬件和/或软件组件、电路和/或模块)执行。一般来说,各图中所说明的任何操作可由能够执行所述操作的对应功能装置执行。
结合本发明描述的各种说明性逻辑块、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其它可编程逻辑装置(PLD)、离散门或晶体管逻辑、离散硬件组件、电子装置或其经设计以执行本文中所描述的功能的任何组合来实施或执行。通用处理器可为微处理器,但在替代方案中,处理器可为任何市售处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器,或任何其它此类配置。
在一或多个方面中,所描述的功能可在硬件、软件、固件或其任何组合中实施。如果在软件中实施,那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。计算机可读媒体包含计算机存储媒体与通信媒体两者,通信媒体包含促进计算机程序从一处传递到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制,此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于携载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。另外,任何连接被恰当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输软件,那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含于媒体的定义中。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。因此,在一些方面中,计算机可读媒体可包括非暂时性计算机可读媒体(例如,有形媒体)。另外,在一些方面中,计算机可读媒体可包括暂时计算机可读媒体(例如,信号)。以上各者的组合也应包含在计算机可读媒体的范围内。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下,方法步骤和/或动作可彼此互换。换句话说,除非指定了步骤或动作的特定次序,否则在不脱离权利要求书的范围的情况下,可修改特定步骤和/或动作的次序和/或用途。
类似地,上文所描述的消息包含可用于各种实施方案中的一或多个字段。消息可包含额外字段、较少字段及/或替代字段布置,而不脱离权利要求书的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实施。如果在软件中实施,那么可将所述功能作为一或多个指令存储在计算机可读媒体上。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制,此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于携载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。
因此,某些方面可包括用于执行本文中所呈现的操作的计算机程序产品。举例来说,此计算机程序产品可包括上面存储有(和/或编码有)指令的计算机可读媒体,所述指令可由一或多个处理器执行以执行本文中所描述的操作。对于某些方面,计算机程序产品可包含封装材料。
还可经由传输媒体传输软件或指令。举例来说,如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输软件,那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含于传输媒体的定义中。
此外,应了解,用于执行本文中所描述的方法和技术的模块及/或其它适当装置可在适当时由编码装置和/或解码装置下载和/或以其它方式获得。举例来说,可将此装置耦合到服务器以促进传递用于执行本文中所描述的方法的装置。替代地,可经由存储装置(例如,RAM、ROM、例如压缩光盘(CD)或软性磁盘等物理存储媒体等)来提供本文中所描述的各种方法,使得在将存储装置耦合或提供到用户终端和/或基站后,用户终端和/或基站可获得所述各种方法。此外,可利用用于将本文中所描述的方法和技术提供到装置的任何其它合适技术。
应理解,权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下,可在上文所描述的方法和设备的布置、操作和细节方面作出各种修改、改变和变化。
虽然前述内容是针对本发明的各方面,但在不脱离本发明的基本范围的情况下,可设计出本发明的其它和另外方面,且由所附权利要求书确定本发明的范围。

Claims (23)

1.一种用于定向处理协商的方法,其包括:
在视频处理装置处从相关联于与所述视频处理装置的通信会话的第一装置接收定向协商消息,所述定向协商消息包含对所述第一装置的定向的指示和指示所述第一装置的至少一个特性的第一值;
在视频处理装置处接收指示所述视频处理装置的至少一个特性的第二值;
识别所述视频处理装置或所述第一装置作为执行在所述通信会话期间传输的视频数据的定向处理的装置,所述识别至少部分地基于所述第一值与和所述第一值具有对应特性的所述第二值的比较并且基于所述第一值与所述第二值之间的差是否超出阈值;以及
将消息传输到所述第一装置,所述消息包含指示所述识别的结果的信息。
2.根据权利要求1所述的方法,其中所述至少一个特性包含以下各者中的至少一者:电池电量、中央处理单元能力、电源、定向传感器能力、热条件、传输功率和通信会话参与者标识符。
3.根据权利要求2所述的方法,其中所述中央处理单元能力包含时钟周期、芯片组、存储器轮转、热效率、操作系统或指令集。
4.根据权利要求1所述的方法,其中在建立所述通信会话之前接收所述定向协商消息。
5.根据权利要求1所述的方法,其中在所述通信会话期间接收所述定向协商消息。
6.根据权利要求1所述的方法,其进一步包括:
在所述通信会话期间识别所述视频处理装置的特性的变化;
当所述视频处理装置未被识别为执行定向处理时,基于改变的特性与所述第一装置的所述至少一个特性的后续比较而确定所述视频处理装置是否可执行定向处理;以及
在确定所述视频处理装置可执行定向处理后,将定向重新协商消息从所述视频处理装置传输到所述第一装置。
7.根据权利要求1所述的方法,其中所述消息包括会话发起协议或实时输送协议消息中的一者。
8.根据权利要求1所述的方法,还包括:
当所述视频处理装置被识别为执行定向处理的装置时,至少部分地基于所述第一装置的所述定向和所述视频处理装置的定向而调整在所述通信会话期间传输的视频数据的定向;以及
当所述第一装置被识别为执行定向处理的装置时,在视频处理装置处略过在通信会话期间传输的视频数据的定向处理。
9.根据权利要求8所述的方法,其中调整视频数据的所述定向包含轮转所述视频数据的一或多个部分。
10.一种视频处理装置,其包括:
接收器,其经配置以从相关联于与所述视频处理装置的通信会话的第一装置接收定向协商消息,所述定向协商消息包含对所述第一装置的定向的指示和指示所述第一装置的至少一个特性的第一值;
特性控制器,其经配置以获得指示所述视频处理装置的至少一个特性的第二值;
协商消息产生器,其经配置以产生识别所述视频处理装置或所述第一装置作为执行在所述通信会话期间传输的视频数据的定向处理的装置的消息,其中产生所述消息至少部分地基于所述第一值与和所述第一值具有对应特性的所述第二值的比较并且基于所述第一值与所述第二值之间的差是否超出阈值;以及
发射器,其经配置以将所述消息传输到所述第一装置。
11.根据权利要求10所述的视频处理装置,其中所述至少一个特性包含以下各者中的至少一者:电池电量、中央处理单元能力、电源、定向传感器能力、热条件、传输功率和通信会话参与者标识符。
12.根据权利要求11所述的视频处理装置,其中所述中央处理单元能力包含时钟周期、芯片组、存储器轮转、热效率、操作系统或指令集。
13.根据权利要求10所述的视频处理装置,其中在建立所述通信会话之前接收所述定向协商消息。
14.根据权利要求10所述的视频处理装置,其中在所述通信会话期间接收所述定向协商消息。
15.根据权利要求10所述的视频处理装置,其中所述特性收集器进一步经配置以在所述通信会话期间识别所述视频处理装置的所述至少一个特性的变化,
当所述视频处理装置未被识别为执行定向处理时,所述协商消息产生器进一步经配置以基于改变的特性与所述第一装置的所述至少一个特性的后续比较而确定所述视频处理装置是否可执行定向处理;且
在确定所述视频处理装置可执行定向处理后,所述发射器进一步经配置以将定向重新协商消息从所述视频处理装置传输到所述第一装置。
16.根据权利要求10所述的视频处理装置,其中所述消息包括会话发起协议或实时输送协议消息中的一者。
17.根据权利要求10所述的视频处理装置,其进一步包括视频译码处理器,所述视频译码处理器经配置以
在所述视频处理装置被识别为执行定向处理的所述装置时至少部分地基于所述第一装置的所述定向和所述视频处理装置的定向而调整在所述通信会话期间传输的视频数据的定向;以及
当所述第一装置被识别为执行定向处理的装置时,所述视频处理装置的视频译码处理器略过在通信会话期间传输的视频数据的定向处理。
18.根据权利要求17所述的视频处理装置,其中所述视频译码处理器经配置以轮转所述视频数据的一或多个部分。
19.根据权利要求10所述的视频处理装置,其进一步包括以下各者中的至少一者:蜂窝式电话、卫星电话、个人数字助理PDA、机顶盒、多媒体控制台、数码相机、平板计算机、手持式游戏机、膝上型计算机或台式计算机。
20.一种视频处理装置,其包括:
用于从相关联于与所述视频处理装置的通信会话的第一装置接收定向协商消息的装置,所述定向协商消息包含对所述第一装置的定向的指示和指示所述第一装置的至少一个特性的第一值;
用于接收指示所述视频处理装置的至少一个特性的第二值的装置;
用于产生识别所述视频处理装置或所述第一装置作为执行在所述通信会话期间传输的视频数据的定向处理的装置的消息的装置,所述用于产生的装置经配置以至少部分地基于所述第一值与和所述第一值具有对应特性的所述第二值的比较并且基于所述第一值与所述第二值之间的差是否超出阈值识别所述视频处理装置或所述第一装置;以及
用于将所述消息传输到所述第一装置的装置。
21.根据权利要求20所述的视频处理装置,其进一步包括用于在所述视频处理装置被识别为所述装置执行定向处理时至少部分地基于所述第一装置的所述定向和所述视频处理装置的定向而调整在所述通信会话期间传输的视频数据的定向的装置。
22.一种包括可由视频处理装置的处理器执行的指令的非暂时性计算机可读存储介质,所述指令在由所述处理器执行时,致使所述视频处理装置:
从相关联于与所述视频处理装置的通信会话的第一装置接收定向协商消息,所述定向协商消息包含对所述第一装置的定向的指示和指示所述第一装置的至少一个特性的第一值;
接收指示所述视频处理装置的至少一个特性的第二值;
识别所述视频处理装置或所述第一装置作为执行在所述通信会话期间传输的视频数据的定向处理的装置,所述识别至少部分地基于所述第一值与和所述第一值具有对应特性的所述第二值的比较并且基于所述第一值与所述第二值之间的差是否超出阈值;且
将消息传输到所述第一装置,所述消息包含指示所述识别的结果的信息。
23.根据权利要求22所述的介质,其进一步包括指令,其致使所述视频处理装置:
在所述视频处理装置被识别为执行定向处理的装置时至少部分地基于所述第一装置的所述定向和所述视频处理装置的定向而调整在所述通信会话期间传输的视频数据的定向;以及
当所述第一装置被识别为执行定向处理的装置时,所述视频处理装置略过在通信会话期间传输的视频数据的定向处理。
CN201580015327.9A 2014-03-25 2015-03-11 用于定向处理协商的方法和装置 Expired - Fee Related CN106134187B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/225,232 2014-03-25
US14/225,232 US10447747B2 (en) 2014-03-25 2014-03-25 Video orientation negotiation
PCT/US2015/019956 WO2015148125A1 (en) 2014-03-25 2015-03-11 Video orientation negotiation

Publications (2)

Publication Number Publication Date
CN106134187A CN106134187A (zh) 2016-11-16
CN106134187B true CN106134187B (zh) 2019-08-20

Family

ID=52780578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580015327.9A Expired - Fee Related CN106134187B (zh) 2014-03-25 2015-03-11 用于定向处理协商的方法和装置

Country Status (6)

Country Link
US (1) US10447747B2 (zh)
EP (1) EP3123714B1 (zh)
JP (1) JP2017517793A (zh)
KR (1) KR20160136333A (zh)
CN (1) CN106134187B (zh)
WO (1) WO2015148125A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11716300B2 (en) * 2013-02-13 2023-08-01 Guy Ravine Techniques for optimizing the display of videos
US10622023B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10623662B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10475483B2 (en) 2017-05-16 2019-11-12 Snap Inc. Method and system for recording and playing video using orientation of device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945090A (zh) * 2009-03-24 2011-01-12 阿瓦雅公司 通信会话准备方法和设备
CN102067668A (zh) * 2008-06-13 2011-05-18 高通股份有限公司 在切换期间用于个性修改的装置和方法
CN102362471A (zh) * 2009-03-27 2012-02-22 维里逊专利及许可公司 对话支持
WO2013192103A1 (en) * 2012-06-20 2013-12-27 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7598948B1 (en) 2003-02-06 2009-10-06 Nvidia Corporation System and method of detecting rotated displays
US7658498B2 (en) 2006-07-13 2010-02-09 Dell Products, Inc. System and method for automated display orientation detection and compensation
JP5039617B2 (ja) 2008-03-18 2012-10-03 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
US8803999B2 (en) * 2010-10-12 2014-08-12 Blackberry Limited Method and apparatus for image orientation indication and correction
EP2684294A4 (en) 2011-03-10 2014-08-20 Vidyo Inc RENDERING ORIENTATION DATA IN A VIDEO DATA BIT TRAIN
US20120230594A1 (en) 2011-03-10 2012-09-13 Jill Boyce Adaptive picture rotation
US8750911B2 (en) 2011-09-23 2014-06-10 Jianchong Yang Content source, content sink, and method for natively managing and delivering active content from one or more content sources to one or more content sinks wirelessly
JP2013135454A (ja) 2011-12-27 2013-07-08 Toshiba Corp 電子機器、及び電子機器相互の映像および音声の出力方法
US10057369B2 (en) 2011-12-28 2018-08-21 Intel Corporation Layout for dynamic web content management
US9357272B2 (en) 2012-08-03 2016-05-31 Intel Corporation Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
WO2014066885A1 (en) * 2012-10-26 2014-05-01 Intel Corporation Multimedia adaptation based on video orientation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067668A (zh) * 2008-06-13 2011-05-18 高通股份有限公司 在切换期间用于个性修改的装置和方法
CN101945090A (zh) * 2009-03-24 2011-01-12 阿瓦雅公司 通信会话准备方法和设备
CN102362471A (zh) * 2009-03-27 2012-02-22 维里逊专利及许可公司 对话支持
WO2013192103A1 (en) * 2012-06-20 2013-12-27 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information

Also Published As

Publication number Publication date
WO2015148125A1 (en) 2015-10-01
EP3123714B1 (en) 2019-01-16
JP2017517793A (ja) 2017-06-29
CN106134187A (zh) 2016-11-16
EP3123714A1 (en) 2017-02-01
US20150281300A1 (en) 2015-10-01
KR20160136333A (ko) 2016-11-29
US10447747B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
CN104335590B (zh) 用于利用图片方位信息进行多媒体通信的装置和方法
CN104506793B (zh) 一种基于互联网的安全视频会议系统及方法
CN103647954B (zh) 基于3g信道与智能终端的移动视频监控系统
CN106134187B (zh) 用于定向处理协商的方法和装置
US9674499B2 (en) Compatible three-dimensional video communications
US10165250B2 (en) Method and apparatus for coding and transmitting 3D video sequences in a wireless communication system
CN109068147A (zh) 一种多媒体数据传输方法、装置以及相关设备
CN111512609B (zh) 将数据从ue流传输到网络中的摄取点的方法和用户设备
CN105978926A (zh) 一种数据传输的方法和装置
CN104038741A (zh) 一种视频数据的投影方法
WO2018086567A1 (zh) 实现可视电话的方法及系统
CN108924088A (zh) 一种4k网络摄像机传输实现方法
TW201724868A (zh) 顯示部分視訊流方法及系統
Futemma et al. RTP Payload Format for JPEG 2000 video streams
WO2024060719A1 (zh) 一种数据传输的方法、装置、电子设备及存储介质
KR101883554B1 (ko) Mmt-기반 방송을 위한 시그널 메시지 송출 스케줄링 방법
Nithyanandan Medical video communication using modified HEVC over WiMAX network
WO2023112007A1 (en) Video codec importance indication and radio access network awareness configuration
CN116684223A (zh) 监控视频转换网关
Futemma et al. RFC 5371: RTP Payload Format for JPEG 2000 Video Streams

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190820