CN105393546B - 在用于无线显示的源设备中用于资源利用的方法和装置 - Google Patents

在用于无线显示的源设备中用于资源利用的方法和装置 Download PDF

Info

Publication number
CN105393546B
CN105393546B CN201480040926.1A CN201480040926A CN105393546B CN 105393546 B CN105393546 B CN 105393546B CN 201480040926 A CN201480040926 A CN 201480040926A CN 105393546 B CN105393546 B CN 105393546B
Authority
CN
China
Prior art keywords
content
host device
source device
decoded
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480040926.1A
Other languages
English (en)
Other versions
CN105393546A (zh
Inventor
S·V·谢特
S·S·索利曼
V·R·拉维德朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105393546A publication Critical patent/CN105393546A/zh
Application granted granted Critical
Publication of CN105393546B publication Critical patent/CN105393546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25858—Management of client data involving client software characteristics, e.g. OS identifier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开内容涉及用于当在无线显示(WD)系统中发送视频数据时在源设备中进行资源利用的技术。一种用于压缩内容的无线显示的方法可以包括：由源设备确定宿设备的解码能力，由所述源设备接收对在无线显示会话中在所述宿设备处显示压缩内容的请求，以及在所述宿设备的所述解码能力允许对所述压缩内容进行解码的情况下，将所述压缩内容从所述源设备发送给所述宿设备，由此避免了在所述源设备中对所述压缩内容进行转码。

Description

在用于无线显示的源设备中用于资源利用的方法和装置
技术领域
本公开内容涉及用于无线显示的媒体数据的传输和回放。
背景技术
无线显示(WD)系统包括源设备和一个或多个宿设备。源设备可以是能够在无线局域网内发送媒体内容的设备。宿设备可以是能够接收并且渲染媒体内容的设备。在一些例子中，设备可以是源设备和宿设备二者。源设备和宿设备可以是移动设备或有线设备。作为移动设备，例如，源设备和宿设备可以包括移动电话、具有无线通信卡的便携式计算机、个人数字助理(PDA)、便携式媒体播放器、数字图像捕获设备(诸如，照相机或摄像机)或具有无线通信能力的其它设备，包括所谓的“智能”电话和“智能”平板或平板电脑，或其它类型的无线通信设备。作为有线设备，例如，源设备和宿设备可以包括电视机、台式计算机、监视器、投影仪、打印机、机顶盒、游戏控制台、路由器和数字视频光盘(DVD)播放器以及媒体服务器。
源设备可以向参与特定媒体分享会话的一个或多个宿设备发送媒体数据，诸如音频视频(AV)数据。媒体数据既可以在源设备的本地显示器处回放，又可以在宿设备的显示器中的每一个显示器处回放。更具体地，参与的宿设备中的每一个宿设备可以对所接收到的媒体数据进行渲染，用于在相关联的屏幕和音频装置上呈现。在一些情况下，宿设备的用户可以将用户输入(诸如，触摸输入和远程控制输入)应用到宿设备以控制正被显示在宿设备处的内容。
在其它例子中，源设备可以向宿设备发送AV数据，其接着仅在宿设备上回放。在又一个例子中，源可以向源设备发送要被显示在宿设备上的AV数据，而源设备回放源设备上的不同的AV数据。
发明内容
总体而言，本公开内容涉及用于当在无线显示(WD)系统中发送视频数据时的源设备中的资源利用的技术。
在一个例子中，本公开内容描述了一种用于压缩内容的无线显示的方法，其包括：由源设备确定宿设备的解码能力，由源设备接收对在无线显示会话中在所述宿设备处显示压缩内容的请求，以及在所述宿设备的所述解码能力允许对所述压缩内容进行解码的情况下，将所述压缩内容从所述源设备发送给所述宿设备，由此避免了在所述源设备中对所述压缩内容进行转码。
在另一个例子中，本公开内容描述了一种用于压缩内容的无线显示的方法，其包括：监控无线显示会话，检测关于所述无线显示会话的触发事件，以及响应于所述触发事件来停止源设备处的转码过程，用于将内容发送给宿设备。
本公开内容的技术不限于方法，并且还将围绕被配置为实现该技术的设备或装置、以及围绕存储在由处理器执行时使得处理器实现该技术的指令的计算机可读存储介质来描述。
在附图和下面的描述中阐述了本公开内容的一个或多个例子的细节。根据描述、附图以及权利要求书，其它的特征、目的以及优势将变得显而易见。
附图说明
图1是示出了包括源设备和宿设备的无线显示系统的框图。
图2是示出了更详细的无线显示系统的框图。
图3是示出了在源设备中进行转码的框图。
图4是示出了源设备的例子的框图。
图5是示出了被配置为实现本公开内容的技术的源设备的例子的框图。
图6是示出了被配置为实现本公开内容的技术的源设备的例子的框图。
图7是描绘本公开内容的示例性方法的流程图。
图8是描绘本公开内容的示例性方法的流程图。
具体实施方式
总体而言，本公开内容涉及用于当在无线显示(WD)系统中发送视频数据时对源设备中的资源利用的技术。当前，无线显示协议(例如，Wi-Fi显示或“WFD”)需要无线显示源设备(例如，移动电话、平板计算机、膝上型计算机等)来捕获源设备的帧缓冲器的内容，对该内容进行编码，并且然后将经编码的内容发送给远程宿设备(例如，监视器、显示器、电视机等)。
在许多情况下，用户可能期望同时在源设备和宿设备二者处回放相同的压缩视频或其它压缩内容。在这种情况下，源设备可以将压缩内容解码到帧缓冲器，用于本地显示。此外，源设备还可以对帧缓冲器中的经解码的内容重新编码，用于发送给宿设备。因此，在发送给宿设备之前，源设备参与对压缩内容的转码。在包括功率消耗的系统资源消耗方面，转码是浪费的。
其它无线显示技术可以通过将压缩内容直接地流式传输到源设备来避免转码。然而，这样的技术不允许压缩内容的本地回放或显示，这是因为源设备在进行流式传输时不对压缩内容进行解码。
同样地，用于无线显示的传统技术需要在针对转码以便允许本地回放所需要的不期望的资源消耗和例如通过流式传输压缩视频并且不允许本地回放降低的资源消耗的愿望之间的折衷。
考虑到这些缺点，本公开内容提出了避免在许多情况下进行转码并且仍然允许源设备上的本地回放的无线显示技术。同样地，本公开内容的技术可以降低对于使用一种或多种系统资源(包括CPU、存储器、硬件和消耗功率的其它部件)的需求。因此，该技术对于延长电池寿命可能是有用的。
图1是示出了包括源设备和宿设备的无线显示系统的框图。无线显示(WD)系统10可以包括源设备20和宿设备60。源设备20可以是能够向宿设备60无线地发送音频/可视(AV)数据的任何类型的设备，包括移动电话、平板计算机、膝上型计算机、机顶盒等。宿设备60可以是能够接收并且显示来自源设备20的AV数据的任何类型的设备，包括机顶盒、膝上型计算机、移动电话、平板计算机、台式计算机、监视器、电视机等。
如图1中示出的，源设备20可以被配置为向宿设备60发送AV流。这样的AV流可以是具有由宿设备60可解码的格式的压缩视频数据和/或压缩音频数据。作为一个例子，该AV流可以根据H.264视频压缩标准来压缩。然而，任何压缩技术都可以被使用。AV流的传输可以通过控制信息来支持。用于无线显示的控制信息的示例性协议可以包括Wi-Fi显示(WFD)标准和/或实时流协议(RTSP)。
图2是示出了更详细的WD系统10的例子的框图。图2和接下来的附图是出于解释的目的而提供的，并且不应当被认为是对如本公开内容中广泛地举例说明和描述的技术的限制。
如图2的例子中示出的，WD系统10可以包括源设备20和宿设备60。源设备20可以经由无线信道50与宿设备60通信。源设备20可以包括存储器22、显示器24、扬声器26、媒体编码器28、媒体控制模块30以及发射机/接收机(TX/RX)单元32。宿设备60可以包括发射机/接收机单元(TX/RX)62、媒体解码器64、显示器66、扬声器68、用户输入(UI)设备70以及用户输入处理模块(UIPM)72。所示出的部件仅构成针对WD系统10的一个示例性配置。其它配置可以包括比所示出的那些更少的部件，或可以包括除了所示出的那些之外的部件。
在图2的例子中，源设备20可以被配置为在显示器24上显示媒体数据的视频部分，并且可以使用扬声器26来输出媒体数据的音频部分。可以将媒体数据本地地存储在存储器22上，从外部存储介质(诸如，文件服务器、硬盘驱动器、外部存储器、蓝光光盘、DVD或其它物理存储介质)访问，或可以经由网络连接(诸如，因特网)将其流式传输到源设备20。在一些情况下，可以经由源设备20的照相机和麦克风来实时捕获媒体数据。媒体数据可以包括多媒体内容(诸如，电影、电视秀，或音乐)，并且还可以包括由源设备20生成的实时内容。这样的实时内容可以例如由运行在源设备20上的应用生成，或被捕获，例如作为视频电话会议的一部分。在一些情况下，这样的实时内容可以包括可用于供用户选择的用户输入选项的图片。在一些情况下，媒体数据可以包括不同类型的内容的组合的图片，诸如，电影或电视节目的图片，其具有覆盖在该图片上的用户输入选项。
除了经由显示器24和扬声器26本地地渲染媒体数据之外，源设备20的媒体编码器28可以对媒体数据进行编码，并且TX/RX单元32可以通过无线信道50向宿设备60发送经编码的媒体数据。在一些例子中，媒体编码器28可以对已经编码的媒体数据进行重新编码。换言之，媒体编码器28可以对媒体数据进行转码。宿设备60的TX/RX单元62可以接收经编码的媒体数据，并且媒体解码器64可以对经编码的媒体数据进行解码并且输出经解码的媒体数据，用于在显示器66和扬声器68上呈现。以这种方式，正在由显示器24和扬声器26渲染的音频和视频数据可以同时由显示器66和扬声器68来渲染。可以按照帧来安排音频数据和视频数据，并且当被渲染时音频帧可以与视频帧(即，图片)时间同步。
媒体编码器28和媒体解码器64可以包括编码器/解码器(CODEC)单元，其实现各种音频和视频压缩标准，诸如，ITU-T H.264标准(或者被称为MPEG-4第10部分，高级视频编码(AVC))、或最近新兴的高效视频编码(HEVC)标准。也可以使用许多其它类型的专有的或标准化的压缩技术。一般而言，媒体解码器64被配置为执行媒体编码器28的相反的编码操作。虽然未在图2中示出，但是在一些方面，媒体编码器28和媒体解码器64均可以与音频编码器和解码器结合，并且可以包括适当的MUX-DEMUX单元或其它硬件和软件，以处理公共数据流或单独数据流中的音频和视频二者的编码。
媒体编码器28除了实现如上文所描述的视频压缩标准之外，还可以执行其它编码功能。例如，媒体编码器28可以在将媒体数据发送给宿设备60之前，将各种类型的元数据添加到媒体数据。在一些情况下，媒体数据可以以经编码的形式存储在源设备20上或在源设备20处接收，并且因此不需要由媒体编码器28进一步压缩。
尽管图2示出了分别携带音频有效载荷数据和视频有效载荷数据的无线信道50，但是在一些情况下，视频有效载荷数据和音频有效载荷数据可以是公共数据流的一部分，并且可以彼此复用或以其它方式彼此交织。如果可适用的话，MUX-DEMUX单元可以遵从ITUH.223多路复用器协议，或诸如用户数据报协议(UDP)的其它协议。媒体编码器28和媒体解码器64均可以被实现为一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或其任意组合。在用软件实现一个或多个方面的例子中，底层硬件(例如，具有可编程处理器的形式)可以执行软件。媒体编码器28和媒体解码器64中的每一个可以被包括在一个或多个编码器或解码器中，其中的任一个可以被集成作为组合的编码器/解码器(CODEC)的一部分。因此，源设备20和宿设备60中的每一个设备可以包括被配置为执行本公开内容的技术中的一个或多个技术的专用机器。
显示器24和显示器66可以包括各种各样的视频输出设备中的任何一种，诸如，阴极射线管(CRT)显示器、液晶显示器(LCD)、等离子体显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或另一类型的显示设备。在这些或其它例子中，显示器24和66均可以是发射式显示器或者透射式显示器。显示器24和显示器66还可以是触摸式显示器，使得其同时是输入设备和显示设备二者。这样的触摸式显示器可以是允许用户向各自设备提供用户输入的电容性、电阻式或者其它类型的触摸板。
扬声器26和扬声器68可以包括各种各样的音频输出设备中的任何一种，诸如，耳机、单扬声器系统、多扬声器系统或者环绕立体声系统。此外，虽然将显示器24和扬声器26示为源设备20的一部分并且将显示器66和扬声器68示为宿设备60的一部分，但是源设备20和宿设备60实际上可以是设备的系统。作为一个例子，显示器66可以是电视机，扬声器68可以是环绕立体声系统，以及媒体解码器64可以是有线地或无线地连接到显示器66和扬声器68的外部盒子的一部分。在其它情况下，宿设备60可以是单个设备，诸如，平板计算机或智能电话。在又一其它情况下，源设备20和宿设备60是类似的设备，例如，二者是智能电话、平板计算机等。在该情况下，一个设备可以作为源来操作，而另一个可以作为宿来操作。这些角色在随后的通信会话中可以被颠倒过来。在又一其它情况下，源设备20可以包括移动设备，诸如，智能电话、膝上型计算机或平板计算机，而宿设备60可以包括更固定的设备(例如，具有AC电源线)，在这种情况下，源设备20可以经由宿设备60向一个或多个观众传送用于呈现的音频和视频数据。
TX/RX单元32和TX/RX单元62均可以包括各种混频器、滤波器、放大器和被设计用于信号调制的其它部件，以及一个或多个天线和被设计用于发送和接收数据的其它部件。无线信道50通常表示用于在源设备20和宿设备60之间发送媒体数据、控制数据以及反馈的任何适当的通信介质或不同通信介质的集合。无线信道50通常是相对短程的通信信道，并且可以实现类似于Wi-Fi、蓝牙等的物理信道结构，诸如实现定义的2.4GHz、3.6GHz、5GHz、60GHz或超宽带(UWB)的频带结构。然而，无线信道50不必然地被限制到这方面，并且可以包括无线通信介质，诸如，射频(RF)频谱或一个或多个物理传输线，或无线和有线介质的组合。在其它例子中，无线信道50甚至可以形成基于分组的网络(诸如，有线的或无线的局域网、广域网或全球网(诸如，因特网))的一部分。此外，无线信道50可以由源设备20和宿设备60用来创建对等链路。
源设备20和宿设备60可以使用例如实时流协议(RTSP)、实时传输协议(RTP)或RTP控制协议(RTCP)的控制消息，根据能力协商来建立通信会话。在一个例子中，用于建立通信会话的请求可以由源设备20发送给宿设备60。在通信会话被建立时，源设备20可以向宿设备60发送媒体数据，例如，音频视频(AV)数据。源设备20可以例如使用实时传输协议(RTP)向宿设备60发送媒体数据。宿设备60可以在显示器66和扬声器68上渲染所接收到的媒体数据。
源设备20和宿设备60可以使用通信协议(例如，来自IEEE 802.11标准家族的标准)通过无线信道50进行通信。在一个例子中，无线信道50可以是网络通信信道。在该例子中，通信服务提供商可以使用作为网络集线器的基站来集中地操作和管理网络。源设备20和宿设备60可以例如根据Wi-Fi直连或Wi-Fi显示(WFD)标准来进行通信，从而使得源设备20和宿设备60可以在不使用诸如无线接入点或所谓的热点的媒介的情况下彼此直接通信。在本上下文中，相对短的距离可以指代例如小于大约七十米，然而，在嘈杂或受阻碍的环境中，设备之间的距离甚至可能更短，诸如，小于大约三十五米，或小于大约二十米。
本公开内容的技术有时可以关于WFD和/或RTSP来描述，但是可以预期的是，这些技术的方面还可以与其它通信协议兼容。通过举例而非限制的方式，源设备20和宿设备60之间的无线通信可以利用正交频分复用(OFDM)技术。还可以使用各种各样的其它无线通信技术，包括但不限于时分多址(TDMA)、频分多址(FDMA)、码分多址(CDMA)或OFDM、FDMA、TDMA和/或CDMA的任意组合。
除了对从源设备20接收到的媒体数据进行解码和渲染之外，宿设备60还可以从用户输入设备70接收用户输入。用户输入设备70可以例如包括键盘、鼠标、电子笔、轨迹球或轨迹板、触摸屏、语音命令识别模块或任何其它这样的用户输入设备。UIPM 72可以将由用户输入设备70接收到的用户输入命令规定成源设备20能够处理的数据分组结构的格式。这样的数据分组可以由TX/RX单元62通过无线信道50发送给源设备20。
TX/RX单元32可以接收数据分组，并且媒体控制模块30可以解析该数据分组以解释由用户输入设备70接收到的用户输入命令。基于在该数据分组中接收到的用户输入命令，媒体控制模块30可以改变正被编码并且发送的媒体内容。以这种方式，宿设备60的用户可以远程地控制由源设备20正在发送的媒体数据，而不直接地与源设备20进行交互。
此外，宿设备60的用户可以有能力启动并且控制源设备20上的应用。作为说明，宿设备60的用户可以有能力启动被存储在源设备20上的图片编辑应用，并且使用该应用来编辑被本地存储在源设备20上的照片。宿设备60可以向用户呈现看起来和感觉像是照片正在宿设备60上被本地地编辑而事实上该照片正在源设备20上被编辑的用户体验。使用这样的配置，用户可以有能力利用与若干设备一起使用的一个设备的能力。例如，源设备20可以包括具有大量存储器和高端处理能力的智能电话。然而，当观看电影时，用户可能希望在具有较大显示屏的设备上观看该电影，在这种情况下，宿设备60可以是平板计算机或甚至更大的显示设备或电视机。当想要发送或回复电子邮件时，用户可能希望使用具有物理键盘的设备，在这种情况下，宿设备60可以是膝上型计算机。在这两种情况下，即使用户正在与宿设备60进行交互，大部分的处理仍可以由源设备20来执行。源设备20和宿设备60可以通过发送控制数据(诸如，在无线信道50上的任何给定的会话中被用来协商和/或标识设备的能力的数据)来促进双向交互。
在一些配置中，媒体控制模块30可以包括正由源设备20的一个或多个处理器执行的操作系统进程。在其它配置中，媒体控制模块30可以包括在源设备20上运行的应用的软件进程。在这样的配置中，用户输入命令可以由软件进程来解释，从而使得宿设备60的用户正在与运行在源设备20上的应用进行直接地交互，而不与运行在源设备20上的操作系统进行直接地交互。通过与应用而不是操作系统进行直接地交互，宿设备60的用户可以具有对不在源设备20的操作系统本地的命令库的访问权限。此外，与应用进行直接地交互可以使得命令能够更容易地由运行在不同平台上的设备来发送和处理。
可以通过无线信道50将应用在宿设备60处的用户输入发送回源设备20。在一个例子中，可以实现反向信道架构(还被称为用户接口反向信道(UIBC))以使得宿设备60能够向源设备20发送应用在宿设备60处的用户输入。UIBC架构可以包括用于传输用户输入的上层消息以及用于协商宿设备60和源设备20处的用户接口能力的下层消息。UIBC可以存在于宿设备60和源设备20之间的因特网协议(IP)传输层之上。以这种方式，UIBC可以在开放系统互联(OSI)通信模型中的传输层之上。为了促进包括用户输入数据的数据分组的可靠传输和按序传送，UIBC可以被配置为运行在其它的基于分组的通信协议(诸如，传输控制协议/因特网协议(TCP/IP)或用户数据报协议(UDP))之上。UDP和TCP在OSI层架构中可以并行地操作。TCP/IP可以使得宿设备60和源设备20能够在发生分组丢失的情况下实现重传技术。
图3是示出了在源设备中进行转码的框图。如上文所解释的，传统无线显示技术(诸如，WFD)捕获源设备20的帧缓冲器74的内容。帧缓冲器74可以是如图2中示出的存储器22的一部分。帧缓冲器74存储在显示器24处显示的像素信息。然后，源设备20将使用编码器20对帧缓冲器74的内容进行编码，并且然后将经编码的数据发送给宿设备60。在图3的例子中，传输是通过使用WiFi模块76来完成的。WiFi模块76可以是图2中示出的TX/RX单元32的一部分，并且可以被配置为使用WiFi技术来发送数据。
如上文所解释的，在许多情况下，帧缓冲器74的内容可能先前已经被源设备20解码。例如，源设备20可能已经对本地地存储在源设备20的或者流式传输到源设备20的压缩视频数据(例如，H.264视频数据)进行了解码。然后，对帧缓冲器74中的经解码的数据进行重新编码(即，转码)用于在无线显示应用中传输到宿设备60。这样的转码操作消耗系统资源并且可能增加源设备20处的功率/电池消耗。
图4是示出了传统源设备和更详细的转码的例子的框图。在图4的例子中，源设备20包括解码器84、显示处理器86、帧缓冲器74、编码器20、无线显示控制器90、RTP封装单元88、RTSP服务器92以及Wi-Fi单元。源设备20可以被配置为在一个或多个处理单元(由内部处理82表示)上执行一个或多个应用(例如，App_178和App_280)。
源设备20的用户可以使应用(例如，App_178或App_280)在一个或多个处理单元(例如，App_178和App_280)上执行。这样的应用可以与显示器86、78以及内部处理82进行交互以使像素被产生并且存储在帧缓冲器74中。这样的像素可以在本地显示器94上显示。这样的像素内容可以包括图形用户界面、窗口、渲染的图形、文本、图像、或可以由源设备20的一个或多个处理单元(例如，中央处理单元、图形处理单元、数字信号处理器等)产生的任何其它类型的视觉素材。
此外，内部处理单元82可以使解码器84对压缩内容进行解码，该压缩内容可以由显示处理器86处理并且存储在帧缓冲器74中。在一个例子中，压缩内容可以是视频数据。针对视频的压缩方法的例子可以包括H.263、H.264、H.264/AVC(高级视频编码)、高效视频编码(HEVC)、或其它视频压缩标准。可以将压缩视频数据本地地存储在源设备20处，或可以通过网络(例如，因特网)将其存取(例如，流式传输)到源设备20。
在无线显示会话是在源设备20上发起的情况下，无线显示控制器90与编码器20、RTP封装单元88以及RTSP服务器单元92配合以产生具有由宿设备可解码的格式的数据。在一个例子中，无线显示控制器90可以指示编码器20取回帧缓冲器74的内容，并且对这样的数据进行编码。编码器20以由宿设备可解码的格式对数据进行编码。在WFD标准中，使用H.264编解码器来对帧缓冲器的内容进行编码，然而，可以使用任何编码方案。在典型的例子中，编码器28可以被配置为对两个逻辑流进行编码(如果适用的话)。一个流针对视频和/或图像内容，而一个流针对音频内容。如可以看到的，在帧缓冲器74的内容是通过利用解码器84对压缩内容进行解码来产生的情况下，由编码器28对帧缓冲器内容的重新编码相当于转码过程。
在帧缓冲器74的内容已经被编码时，无线显示器进一步与RTP封装单元88和RTSP服务器92配合以控制对经编码的内容的封装和时序。RTP封装单元88对经编码的内容进行封装，用于无线传输。例如，RTP封装单元88可以被配置为根据RTP标准来对经编码的内容进行封装。RTSP服务器单元92被配置为控制与宿设备进行中的会话。例如，RTSP服务器单元92可以使用TCP/IP协议栈和底层WiFi收发机76来管理与宿设备进行中的无线显示会话。WiFi收发机76可以被配置为根据IEEE 802.11标准来发送数据。然而，可以使用任何类型的无线传输技术。
图5是示出了被配置为实现本公开内容的技术的源设备的例子的框图。特别地，本公开内容提供了用于在不使用转码的情况下的无线显示传输和在源设备中进行本地回放的技术。图5示出了相对于图4中描述的源设备20具有额外的和修改的模块的源设备100。具有与图4中相同的数字标识符的图5中示出的单元以如上文所讨论的相同的方式进行操作。源设备100的新的和修改的单元将在下文中进行讨论。
为了避免压缩内容的转码，源设备100包括会话控制器102。会话控制器102被配置为动态地管理无线显示会话以及避免压缩内容的转码。特别地，会话控制器102可以被配置为控制源设备的各个其它单元，以避免在已知所期望的宿设备具有用于对压缩内容进行解码所需要的能力的情况下进行转码。在一个例子中，会话控制器102可以被配置为确定宿设备的解码能力。也就是说，会话控制器102被配置为确定宿设备能够对什么压缩格式进行解码。
在一个例子中，这样的确定可以根据被存储在源设备处的可解码格式的列表来作出。源设备可能在与宿设备的无线显示会话建立期间已经获得该格式信息。例如，源设备100可以存储由与特定无线显示协议兼容的宿设备可解码的压缩格式的列表。例如，与WFD协议兼容的宿设备可以有能力对根据H.264标准压缩的内容进行解码。宿设备可以有能力对根据任何视频编码标准(包括但不限于，高效视频编码(HEVC)、H.261、H.262、H.263、MPEG-2、MPEG-4、MPEG-4/AVC、JPEG 2000、VP8、VP9等)的视频进行解码。
在其它例子中，会话控制器102可以被配置为在空中(on-fly)交换控制信息(例如，通过WiFi单元76)以确定宿设备的解码能力。也就是说，宿设备可以与源设备100交换用于指示哪种压缩格式是由宿设备可解码的信息。
在一些例子中，会话控制器102可以连续地或间歇地尝试确定宿设备的解码能力。例如，会话控制器102可以尝试与源设备100的WiFi单元76的范围内的任何宿设备交换解码能力信息。在其它例子中，会话控制器102可以监控内部触发器以作为响应发起对确定宿设备的解码能力的尝试。该内部触发器可以是用于建立与宿设备的无线显示连接的请求(例如，软件请求或用户请求)。特别地，当无线显示会话包括显示压缩内容时，会话控制器102可以尝试确定宿设备的解码能力。
无论确定宿设备的编码能力的方法如何，会话控制器102被配置为在所确定的宿设备的解码能力允许对压缩内容进行解码的情况下，实现压缩内容从源设备到宿设备的直接地传输(即，不用转码)。
在确定了宿设备的解码能力时，会话控制器102被配置为监控并且控制无线显示控制器104、本地播放器96、网络流客户端98以及编码器128的操作，以在无需转码的情况下(如果可能的话)向宿设备发送经编码的数据。
首先，考虑用于发起无线显示会话的请求涉及通过本地播放器应用96产生的本地存储的内容112的传输和显示的情况。本地播放器96是被配置为对本地存储的内容112进行解码或对该解码进行指导的应用。在图5的例子中，本地内容112是被存储在本地存储器(例如，图2的存储器22)中的压缩内容。为了在源设备100中进行本地回放，本地播放器96将指示解析器110对所存储的内容112进行解析。解析器110处理所存储的内容，并且基于现在的元数据来生成一个或多个经解析的内容流，以表示视频和/或音频内容。然后，经解析的内容将由解码器108来解码并且由渲染器106移交给显示处理器86。渲染器106提供经解码的内容以及相关的信息，用于将该经解码的内容移交给显示处理器86。然后，显示处理器86将得到经解码的和经渲染的内容，并且产生像素用于存储在帧缓冲器74中。
如果会话控制器102确定宿设备不能够对所存储的内容112进行解码，则会话控制器102可以指示无线显示控制器104、RTSP服务器92以及编码器128对帧缓冲器74的内容进行编码和发送(即，对压缩内容进行转码)。编码器128被配置为以由宿设备可解码的格式对帧缓冲器的内容进行编码。然而，如果会话控制器102已经确定宿设备能够对所存储的内容112进行解码，而不是使用编码器128来对帧缓冲器74的内容进行重新编码，则会话控制器102可以指示无线显示控制器104和RTSP服务器92直接地将经解析的内容流式传输到宿设备。也就是说，在不解码的情况下，将经解析的内容传递到RTP封装单元88。如图5中示出的，所存储的内容112在由解析器110解析之后，被指向RTP封装单元88。这可以被称为解析分组流出(tap out)模式。在其它例子中，可以在不首先解析的情况下，将所存储的内容指向RTP封装单元88。
会话控制器102还可以被配置为针对可以改变内容被路由到宿设备的方式的触发来持续地监控无线显示会话。也就是说，会话控制器102可以监控本地播放器96和/或无线显示控制器104的状态和/或动作。如果发生状态改变或某些动作，则会话控制器102可以指引源设备100返回到帧缓冲器(FB)模式，因此编码器128对帧缓冲器74的内容进行编码，用于发送给宿设备。例如，如果用户停止由本地播放器96进行的对压缩内容的回放，并且替代地想要显示其它内容(例如，未压缩内容，或由宿设备不可解码的内容)，则会话控制器102可以检测这样的动作并且指示无线显示控制器104和RTSP服务器102发送由编码器128编码的帧缓冲器内容。如图5中示出的，利用指示备用路径的虚线来示出编码器128的输出。也就是说，会话控制器102被配置为优选地在不转码的情况下向宿设备发送内容，但是如果需要的话可以切换到FB模式下的转码。
类似地，如果源设备100参与FB模式下的无线显示会话，但是会话控制器102检测到由宿设备可解码的压缩内容要被发送并且显示，则会话控制器102可以指引无线显示控制器104和RTSP服务器92停止FB模式，并且替代地，在不转码的情况下直接地对这样的内容进行封装和发送。
当要在无线显示会话上共享的压缩内容未被本地地存储，而是从网络来源(例如，因特网)接收(例如，流式传输)到源设备100处时，也可以利用上文的技术。例如，如图5中示出的，网络流客户端98可以被配置为接收并且回放通过网络接口120流式传输到源设备100的压缩内容。像本地播放器96一样，网络流客户端98可以生成经解析的流118，并且使用解码器116和渲染器114来对压缩内容进行解码，并且将这样的经解码的内容提供给显示处理器86，用于最终在本地显示器94处显示。
像上文，首先考虑用于发起无线显示会话的请求涉及对首先通过网络接口120流式传输到源设备100并且在网络流客户端98的指引下解码的内容的传输和显示的情况。为了在源设备100中进行本地显示，网络流客户端98可以从网络接口120接收经解析的流内容，并且在经解析的流118处进行处理。然后，经解析的流可以由解码器116来解码并且由渲染器114移交给显示处理器86。然后，显示处理器86可以获得经解码并且经渲染的内容，并且产生像素用于存储在帧缓冲器74中。
如果会话控制器102确定宿设备不能够对由网络流客户端98接收的压缩内容进行解码，则会话控制器102可以指示无线显示控制器104、RTSP服务器92以及编码器128对帧缓冲器74的内容进行编码和发送(即，对压缩内容进行转码)。然而，如果会话控制器102确定宿设备能够对通过网络流客户端98接收的内容进行解码，而不是使用编码器128来对帧缓冲器74的内容进行重新编码，则会话控制器102可以指示无线显示控制器104和RTSP服务器92直接地将在网络接口120处接收的压缩内容流式传输到宿设备。也就是说，可以在不解码的情况下，将在网络接口120处接收的压缩内容指向RTP封装单元88。如图5中示出的，将经解析的流118指向RTP封装单元88。再次地，这可以被称为“解析分组敲出”模式。在其它例子中，可以在不首先解析的情况下，将在网络接口120处接收的压缩内容指向RTP封装单元88。
像上文，会话控制器102还可以被配置为针对可以改变将内容路由到宿设备的方式的触发来持续地监控无线显示会话。也就是说，会话控制器102可以监控网络流客户端98和/或无线显示控制器104的状态和/或动作。如果发生状态改变或某些动作，则会话控制器102可以指引源设备100返回到帧缓冲器(FB)模式，因此编码器128对帧缓冲器74的内容进行编码，用于发送给宿设备。例如，如果用户停止回放通过网络流客户端98接收的压缩内容，并且替代地想要显示其它内容(例如，未压缩内容，或由宿设备不可解码的内容)，会话控制器102可以检测这样的动作并且指示无线显示控制器104和RTSP服务器102发送由编码器128编码的帧缓冲器内容。
用于启动/停止无线显示会话中的转码过程的触发器可以散布在源设备中的多个模块之中。这样的触发器可以包括：对视频/音频解码器的初始化的检测、对压缩文件的加载、加载或解析器模块、对显示驱动器的加载和或对显示处理器的使用。源设备可以使用单个触发器和/或多个触发器的组合。
图6是示出了被配置为实现本公开内容的技术的源设备的例子的框图。在图6的例子中，论述了用于将本公开内容的技术扩展到具有视频捕获设备(例如，摄像机)的功能的系统。如图6中示出的，源设备100还可以包括被配置为控制对视频捕获设备的操作的摄像机应用150，所述视频捕获设备可以包括照相机传感器156、视频处理引擎(VPE)154以及文件存储152。照相机传感器156可以是能够捕获光用于产生视频的任何类型的照相机传感器。VPE 154是转换来自照相机传感器156的捕获的信号并且创建未压缩的视频流的处理器。
在使用摄像机的当前无线显示技术中，如果用户想要使用摄像机，用户必须停止无线显示会话。如果在源设备处只存在一个编码器，则用户不能够向远程显示器发送由摄像机捕获的直播视频流。同样地，要么用户必须停止该无线显示会话，要么在源设备中必须包括多个编码器。
为了处理该缺点，本公开内容提出了一种技术，由此会话控制器102与摄像机应用150配合。如果用户利用摄像机应用100开始视频录制，则会话控制器102将指示Wi-Disp控制器104停止对来自帧缓冲器74的内容进行编码。替代地，编码器128将被分配用于进行摄像机处理。以这种方式，捕获的视频将获得编码并且被存储到文件存储152中。然而，Wi-Disp控制器104(或类似模块)可以使编码器128的输出流出(tap)并且将其发送给远程显示器(即，宿设备)。在一个例子中，会话控制器102可以被配置为控制摄像机应用150来选择宿设备也支持的编码格式(例如，H.264等)。本地显示路径可以采用正常过程。
这种方式有助于降低针对在源设备处需要的硬件和/或软件编解码器的数量的需求、避免在用户调用视频捕获(例如，摄像机)应用的情况下停止无线显示会话的有力需求，并且节省了包括电池寿命在内的处理资源。
图7是描绘了本公开内容的示例性方法的流程图。图7的技术可以由源设备的一个或多个硬件和/或软件单元(包括源设备100的会话控制器102)来执行。
在本公开内容的一个例子中，源设备100可以被配置为确定宿设备的解码能力(700)，以及接收对在无线显示会话中在宿设备处显示压缩内容的请求(702)。在宿设备的解码能力允许对压缩内容进行解码的情况下(704)，源设备100还被配置为将压缩内容从源设备发送给宿设备(706)，由此避免了在源设备中对压缩内容进行转码。也就是说，在宿设备的解码能力允许对压缩内容进行解码的情况下，如果先前正发生针对无线显示会话的转码，则源设备100将被配置为停止源设备处的转码过程，用于将压缩内容发送给宿设备。
在一些例子中，源设备100还可以被配置为本地地回放压缩内容。在该情况下，源设备100还可以被配置为在源设备处对压缩内容进行解码以创建经解码的内容，将该经解码的内容存储在源设备处，以及与被发送给宿设备的压缩内容基本同时地在源设备处显示该经解码的内容。
在宿设备的解码能力不允许对压缩内容进行解码的情况下(704)，源设备100还可以被配置为以由宿设备可解码的格式对经解码的内容进行编码以创建经转码的内容(708)，以及将该经转码的内容从源设备发送给宿设备(710)。
图8是描绘本公开内容的另一个示例性方法的流程图。再次地，图8的技术可以由源设备的一个或多个硬件和/或软件单元(包括源设备100的会话控制器102)来执行。
在一个例子中，源设备100可以被配置为监控无线显示会话(800)，以及检测关于该无线显示会话的触发事件(802)。在一些例子中，源设备100可以被配置为响应于该触发事件来停止源设备处的转码过程，用于将内容发送给宿设备(804)。例如，如果要被显示的压缩内容是由宿设备可解码的。在其它例子中，源设备100可以被配置为响应于触发事件来在源设备处开始转码过程，用于将内容发送给宿设备(804)。例如，如果要被显示的压缩内容是由宿设备不可解码的。
在一些例子中，监控无线显示会话包括下列各项中的一项或多项：监控本地回放状态、监控视频解码器状态、监控宿设备的解码能力、监控无线显示控制器状态、以及监控网络流客户端状态。触发事件可以包括下列各项中的一项或多项：视频/音频解码器初始化、对压缩文件的加载、加载或解析器模块、对显示驱动器的加载、以及对显示处理器的使用。
在一个或多个例子中，所描述的功能可以用硬件、软件、固件、或其任何组合来实现。如果用软件来实现，则该功能可以被存储在计算机可读介质上或者作为计算机可读介质上的一个或多个指令或代码来传输。计算机可读介质可以包括计算机数据存储介质或通信介质，该通信介质包括促进计算机程序从一处传送到另一处的任何介质。在一些例子中，计算机可读介质可以包括非暂时性计算机可读介质。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器存取以取回用于实现本公开内容中描述的技术的指令、代码和/或数据结构的任何可用介质。
通过举例而非限制的方式，这样的计算机可读介质可以包括非暂时性介质，诸如，RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储、或其它磁存储设备、闪存，或可以被用来携带或存储具有指令或数据结构形式的期望的程序代码并且可以由计算机存取的任何其它介质。此外，将任何连接恰当地称为计算机可读介质。如本文中所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘以及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。以上的组合也应当被包括在计算机可读介质的范围内。
代码可以由一个或多个处理器来执行，诸如，一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)，或其它等效的集成的或分立的逻辑电路。因此，如本文所使用的，术语“处理器”可以指代前述的结构或适用于实现本文所描述的技术的任何其它结构中的任何结构。此外，在一些方面中，本文所描述的功能可以被提供在被配置用于编码和解码的专用硬件和/或软件模块内，或者被合并到组合的编解码器中。此外，本技术可以被完全用一个或多个电路或逻辑元件来实现。
本公开内容的技术可以用各种各样的设备或装置来实现，包括无线手持机、集成电路(IC)或IC集(例如，芯片集)。在本公开内容中描述各个部件、模块或单元来强调被配置为执行所公开的技术的设备的功能性方面，而不必然地需要由不同的硬件单元来实现。更确切地，如上文所描述的，各个单元可以被组合到编解码器硬件单元中或由互操作的硬件单元的集合来提供，包括如上文所描述的一个或多个处理器，连同适当的软件和/或固件。
已经描述了本发明的各个实施例。这些以及其它实施例在所附权利要求书的范围内。

Claims (24)

1.一种用于压缩内容的无线显示的方法，所述方法包括：
由被配置为显示经解码的内容的源设备确定宿设备的解码能力；
由所述源设备接收对在无线显示会话中在所述宿设备处显示压缩内容的请求；
在所述宿设备的所述解码能力允许对所述压缩内容进行解码的情况下，将所述压缩内容从所述源设备发送给所述宿设备，由此避免了在所述源设备中对所述压缩内容进行转码和编码；
在所述源设备处对所述压缩内容进行解码以创建经解码的内容；
将所述经解码的内容存储在所述源设备处；
与对被发送给所述宿设备的所述压缩内容的显示基本同时地在所述源设备处对所述经解码的内容进行显示；
检测停止对所述压缩内容的所述发送以支持显示帧缓冲器中的未压缩内容的触发事件；
响应于检测到所述触发事件，发起对所述帧缓冲器中的所述未压缩内容的编码；以及
向所述宿设备发送经编码的未压缩内容。
2.根据权利要求1所述的方法，在所述宿设备的所述解码能力不允许对所述压缩内容进行解码的情况下，所述方法还包括：
以由所述宿设备可解码的格式对所述经解码的内容进行编码来创建经转码的内容；以及
将所述经转码的内容从所述源设备发送给所述宿设备。
3.根据权利要求1所述的方法，还包括：
在所述宿设备的所述解码能力允许对所述压缩内容进行解码的情况下，停止所述源设备处的转码过程，用于将所述压缩内容发送给所述宿设备。
4.一种用于压缩内容的无线显示的方法，所述方法包括：
在无线显示会话中向宿设备转发所述压缩内容；
监控所述无线显示会话，其中，监控所述无线显示会话包括下列各项中的一项或多项：监控本地回放状态、监控视频解码器状态、监控所述宿设备的解码能力、监控无线显示控制器状态、监控摄像机应用状态、以及监控网络流客户端状态；
检测停止对所述压缩内容的所述转发以支持显示帧缓冲器中的未压缩内容的触发事件；
响应于检测到所述触发事件，发起对所述帧缓冲器中的所述未压缩内容的编码；以及
向所述宿设备发送经编码的未压缩内容。
5.根据权利要求4所述的方法，还包括：
响应于所述触发事件来停止源设备处的转码过程，用于将内容发送给所述宿设备。
6.根据权利要求4所述的方法，还包括：
响应于所述触发事件来启动源设备处的转码过程，用于将内容发送给所述宿设备。
7.一种被配置用于压缩内容的无线显示的装置，所述装置包括：
用于由被配置为显示经解码的内容的源设备确定宿设备的解码能力的单元；
用于由所述源设备接收对在无线显示会话中在所述宿设备处显示压缩内容的请求的单元；
在所述宿设备的所述解码能力允许对所述压缩内容进行解码的情况下，用于将所述压缩内容从所述源设备发送给所述宿设备，由此避免了在所述源设备中对所述压缩内容进行转码和编码的单元；
用于在所述源设备处对所述压缩内容进行解码以创建经解码的内容的单元；
用于将所述经解码的内容存储在所述源设备处的单元；
用于与对被发送给所述宿设备的所述压缩内容的显示基本同时地在所述源设备处对所述经解码的内容进行显示的单元；
用于检测停止对所述压缩内容的所述发送以支持显示帧缓冲器中的未压缩内容的触发事件的单元；
用于响应于检测到所述触发事件，发起对所述帧缓冲器中的所述未压缩内容的编码的单元；以及
用于向所述宿设备发送经编码的未压缩内容的单元。
8.根据权利要求7所述的装置，在所述宿设备的所述解码能力不允许对所述压缩内容进行解码的情况下，所述装置还包括：
用于以由所述宿设备可解码的格式对所述经解码的内容进行编码来创建经转码的内容的单元；以及
用于将所述经转码的内容从所述源设备发送给宿设备的单元。
9.根据权利要求7所述的装置，还包括：
用于在所述宿设备的所述解码能力允许对所述压缩内容进行解码的情况下，停止所述源设备处的转码过程用于将所述压缩内容发送给所述宿设备的单元。
10.一种用于压缩内容的无线显示的装置，所述装置包括：
用于在无线显示会话中向宿设备转发所述压缩内容的单元；
用于监控无线显示会话的单元，其中，所述用于监控所述无线显示会话的单元包括下列各项中的一项或多项：用于监控本地回放状态的单元、用于监控视频解码器状态的单元、用于监控所述宿设备的解码能力的单元、用于监控无线显示控制器状态的单元、用于监控摄像机应用状态的单元、以及用于监控网络流客户端状态的单元；
用于检测停止对所述压缩内容的所述转发以支持显示帧缓冲器中的未压缩内容的触发事件的单元；
用于响应于检测到所述触发事件，发起对所述帧缓冲器中的所述未压缩内容的编码的单元；以及
用于向所述宿设备发送经编码的未压缩内容的单元。
11.根据权利要求10所述的装置，还包括：
用于响应于所述触发事件来停止源设备处的转码过程用于将内容发送给所述宿设备的单元。
12.根据权利要求10所述的装置，还包括：
用于响应于所述触发事件来启动源设备处的转码过程用于将内容发送给所述宿设备的单元。
13.一种被配置用于压缩内容的无线显示的装置，所述装置包括：
存储器，其被配置为存储所述压缩内容的至少一部分；以及
一个或多个处理器，其被配置为：
由被配置为显示经解码的内容的源设备确定宿设备的解码能力；
由所述源设备接收对在无线显示会话中在所述宿设备处显示压缩内容的请求；
在所述宿设备的所述解码能力允许对所述压缩内容进行解码的情况下，将所述压缩内容从所述源设备发送给所述宿设备，由此避免了在所述源设备中对所述压缩内容进行转码和编码；
在所述源设备处对所述压缩内容进行解码以创建经解码的内容；
将所述经解码的内容存储在所述源设备处；
与对被发送给所述宿设备的所述压缩内容的显示基本同时地在所述源设备处对所述经解码的内容进行显示；
检测停止对所述压缩内容的所述发送以支持显示帧缓冲器中的未压缩内容的触发事件；
响应于检测到所述触发事件，发起对所述帧缓冲器中的所述未压缩内容的编码；以及
向所述宿设备发送经编码的未压缩内容。
14.根据权利要求13所述的装置，在所述宿设备的所述解码能力不允许对所述压缩内容进行解码的情况下，所述一个或多个处理器还被配置为：
以由所述宿设备可解码的格式对所述经解码的内容进行编码来创建经转码的内容；以及
将所述经转码的内容从所述源设备发送给宿设备。
15.根据权利要求13所述的装置，其中，所述一个或多个处理器还被配置为：
在所述宿设备的所述解码能力允许对所述压缩内容进行解码的情况下，停止所述源设备处的转码过程，用于将所述压缩内容发送给所述宿设备。
16.一种被配置用于压缩内容的无线显示的装置，所述装置包括：
存储器，其被配置为存储所述压缩内容的至少一部分；以及
一个或多个处理器，其被配置为：
在无线显示会话中向宿设备转发所述压缩内容；
监控无线显示会话，其中，监控所述无线显示会话包括下列各项中的一项或多项：监控本地回放状态、监控视频解码器状态、监控所述宿设备的解码能力、监控无线显示控制器状态、监控摄像机应用状态、以及监控网络流客户端状态；
检测停止对所述压缩内容的所述转发以支持显示帧缓冲器中的未压缩内容的触发事件；
响应于检测到所述触发事件，发起对所述帧缓冲器中的所述未压缩内容的编码；以及
向所述宿设备发送经编码的未压缩内容。
17.根据权利要求16所述的装置，其中，所述一个或多个处理器还被配置为：
响应于所述触发事件来停止源设备处的转码过程，用于将内容发送给所述宿设备。
18.根据权利要求16所述的装置，其中，所述一个或多个处理器还被配置为：
响应于所述触发事件来启动源设备处的转码过程，用于将内容发送给所述宿设备。
19.一种非暂时性计算机可读存储介质，其存储有指令，所述指令当被执行时，使被配置用于压缩内容的无线显示的一个或多个处理器进行以下操作：
由被配置为显示经解码的内容的源设备确定宿设备的解码能力；
由所述源设备接收对在无线显示会话中在所述宿设备处显示压缩内容的请求；
在所述宿设备的所述解码能力允许对所述压缩内容进行解码的情况下，将所述压缩内容从所述源设备发送给所述宿设备，由此避免了在所述源设备中对所述压缩内容进行转码和编码；
在所述源设备处对所述压缩内容进行解码以创建经解码的内容；
将所述经解码的内容存储在所述源设备处；
与对被发送给所述宿设备的所述压缩内容的显示基本同时地在所述源设备处对所述经解码的内容进行显示；
检测停止对所述压缩内容的所述发送以支持显示帧缓冲器中的未压缩内容的触发事件；
响应于检测到所述触发事件，发起对所述帧缓冲器中的所述未压缩内容的编码；以及
向所述宿设备发送经编码的未压缩内容。
20.根据权利要求19所述的非暂时性计算机可读存储介质，在所述宿设备的所述解码能力不允许对所述压缩内容进行解码的情况下，所述指令还使所述一个或多个处理器进行以下操作：
以由所述宿设备可解码的格式对所述经解码的内容进行编码来创建经转码的内容；以及
将所述经转码的内容从所述源设备发送给宿设备。
21.根据权利要求19所述的非暂时性计算机可读存储介质，其中，所述指令还使所述一个或多个处理器进行以下操作：
在所述宿设备的所述解码能力允许对所述压缩内容进行解码的情况下，停止所述源设备处的转码过程，用于将所述压缩内容发送给所述宿设备。
22.一种非暂时性计算机可读存储介质，其存储有指令，所述指令当被执行时，使被配置用于压缩内容的无线显示的一个或多个处理器进行以下操作：
在无线显示会话中向宿设备转发所述压缩内容；
监控无线显示会话，其中，监控所述无线显示会话包括下列各项中的一项或多项：监控本地回放状态、监控视频解码器状态、监控所述宿设备的解码能力、监控无线显示控制器状态、监控摄像机应用状态、以及监控网络流客户端状态；
检测停止对所述压缩内容的所述转发以支持显示帧缓冲器中的未压缩内容的触发事件；
响应于检测到所述触发事件，发起对所述帧缓冲器中的所述未压缩内容的编码；以及
向所述宿设备发送经编码的未压缩内容。
23.根据权利要求22所述的非暂时性计算机可读存储介质，其中，所述指令当被执行时，还使所述一个或多个处理器进行以下操作：
响应于所述触发事件来停止源设备处的转码过程，用于将内容发送给所述宿设备。
24.根据权利要求22所述的非暂时性计算机可读存储介质，其中，所述指令当被执行时，还使所述一个或多个处理器进行以下操作：
响应于所述触发事件来启动源设备处的转码过程，用于将内容发送给所述宿设备。
CN201480040926.1A 2013-07-22 2014-07-08 在用于无线显示的源设备中用于资源利用的方法和装置 Active CN105393546B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/947,852 2013-07-22
US13/947,852 US9800822B2 (en) 2013-07-22 2013-07-22 Method and apparatus for resource utilization in a source device for wireless display
PCT/US2014/045753 WO2015013027A1 (en) 2013-07-22 2014-07-08 Method and apparatus for resource utilization in a source device for wireless display

Publications (2)

Publication Number Publication Date
CN105393546A CN105393546A (zh) 2016-03-09
CN105393546B true CN105393546B (zh) 2018-08-21

Family

ID=51263501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480040926.1A Active CN105393546B (zh) 2013-07-22 2014-07-08 在用于无线显示的源设备中用于资源利用的方法和装置

Country Status (5)

Country Link
US (1) US9800822B2 (zh)
EP (1) EP3025503A1 (zh)
JP (1) JP6337114B2 (zh)
CN (1) CN105393546B (zh)
WO (1) WO2015013027A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10063912B2 (en) * 2014-02-28 2018-08-28 Avago Technologies General Ip (Singapore) Pte. Ltd. Adaptive transcoding bypass system
US9554183B2 (en) * 2014-05-08 2017-01-24 Lattice Semiconductor Corporation Caching of capabilities information of counterpart device for efficient handshaking operation
CN104657099B (zh) * 2015-01-15 2019-04-12 小米科技有限责任公司 屏幕投射方法、装置及系统
US20160308917A1 (en) * 2015-04-20 2016-10-20 Intel Corporation Sensor input transmission and associated processes
US9807459B2 (en) 2015-05-14 2017-10-31 At&T Intellectual Property I, L.P. Media interface device
US20180295414A1 (en) * 2015-05-21 2018-10-11 Lg Electronics Inc. Method and device for processing voice command through uibc
ITUA20163095A1 (it) * 2016-05-03 2017-11-03 Inst Rundfunktechnik Gmbh Dispositivo trasmittente per la trasmissione wireless di un flusso dati compatibile con MPEG-TS (Transport Stream)
CN109819234A (zh) * 2019-02-01 2019-05-28 广州卓远虚拟现实科技有限公司 一种基于h.265的虚拟现实视频传输与播放方法、系统
CN115119048B (zh) * 2019-08-10 2024-02-23 荣耀终端有限公司 一种视频流处理方法及电子设备
CN112165633A (zh) * 2020-09-28 2021-01-01 山东超越数控电子股份有限公司 一种显示信号远传的方法、设备及多屏笔记本电脑
CN113050800B (zh) * 2021-03-31 2023-06-23 联想(北京)有限公司 一种电子设备及处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7111058B1 (en) * 2000-06-28 2006-09-19 Cisco Technology, Inc. Server and method for transmitting streaming media to client through a congested network
CN101238723A (zh) * 2002-07-04 2008-08-06 三菱电机株式会社 视听系统及其操作方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040098463A1 (en) * 2002-11-19 2004-05-20 Bo Shen Transcoding-enabled caching proxy and method thereof
JP2006245807A (ja) * 2005-03-01 2006-09-14 Hitachi Ltd データ処理装置及びデータ処理システム
US20060203758A1 (en) 2005-03-11 2006-09-14 Samsung Electronics Co., Ltd. Mobile terminal for relaying multimedia data to an external display device
JP4055014B2 (ja) * 2005-03-25 2008-03-05 船井電機株式会社 データ送信装置
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
US20080263621A1 (en) 2007-04-17 2008-10-23 Horizon Semiconductors Ltd. Set top box with transcoding capabilities
US8429299B2 (en) 2008-10-03 2013-04-23 Advanced Micro Devices, Inc. Distributed audio and video processing
US8275914B2 (en) * 2008-10-16 2012-09-25 Silicon Image, Inc. Discovery of connections utilizing a control bus
US8102849B2 (en) 2009-02-12 2012-01-24 Qualcomm, Incorporated Association procedure to enable multiple multicast streams
US20100278345A1 (en) * 2009-05-04 2010-11-04 Thomas Matthieu Alsina Method and apparatus for proximity based pairing of mobile devices
JP2011029827A (ja) * 2009-07-23 2011-02-10 Sony Corp 呼制御装置、情報通信方法、情報通信プログラム、及び情報通信システム
WO2011153475A1 (en) * 2010-06-04 2011-12-08 Skype Ireland Technologies Holdings Limited Server-assisted video conversation
US8839112B2 (en) 2010-08-10 2014-09-16 Microsoft Corporation Cloning or extending a computer desktop on a wireless display surface
US20120178380A1 (en) * 2011-01-07 2012-07-12 Microsoft Corporation Wireless Communication Techniques
KR101832758B1 (ko) * 2011-04-08 2018-04-13 엘지전자 주식회사 적어도 하나 이상의 디바이스와 통합 유선 인터페이스로 연결되어 있는 디스플레이 장치 및 그 제어 방법
US8786634B2 (en) 2011-06-04 2014-07-22 Apple Inc. Adaptive use of wireless display
US9525998B2 (en) * 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US9088634B1 (en) * 2012-05-07 2015-07-21 Amazon Technologies, Inc. Dynamic media transcoding at network edge

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7111058B1 (en) * 2000-06-28 2006-09-19 Cisco Technology, Inc. Server and method for transmitting streaming media to client through a congested network
CN101238723A (zh) * 2002-07-04 2008-08-06 三菱电机株式会社 视听系统及其操作方法

Also Published As

Publication number Publication date
WO2015013027A1 (en) 2015-01-29
US20150023648A1 (en) 2015-01-22
JP6337114B2 (ja) 2018-06-06
US9800822B2 (en) 2017-10-24
CN105393546A (zh) 2016-03-09
EP3025503A1 (en) 2016-06-01
JP2016530793A (ja) 2016-09-29

Similar Documents

Publication Publication Date Title
CN105393546B (zh) 在用于无线显示的源设备中用于资源利用的方法和装置
US10911498B2 (en) User input back channel for wireless displays
US9723359B2 (en) Low latency wireless display for graphics
US8887222B2 (en) Multicasting in a wireless display system
KR101936944B1 (ko) 상호작용 비디오 회의
CN105794204B (zh) 交互式视频会议
CN104604286B (zh) 用于流式传输和对话服务的能量感知多媒体自适应
KR101780300B1 (ko) 무선 디스플레이 디바이스들에 대한 사용자 입력 제어를 위한 비연결형 전송
US9582239B2 (en) User input back channel for wireless displays
US8677029B2 (en) User input back channel for wireless displays
KR100800748B1 (ko) 블루투스를 이용한 동영상 스트림 전송 장치 및 방법
US20150350288A1 (en) Media agnostic display for wi-fi display
TW201445984A (zh) 無線通訊系統中的視訊流送
JP2014511583A (ja) ワイヤレスディスプレイのためのユーザ入力バックチャネル
EP2827596A1 (en) Transmitting and receiving method of multimedia video data and corresponding device
US20130089006A1 (en) Minimal cognitive mode for wireless display devices
RU2577184C2 (ru) Обратный канал ввода данных пользователем для беспроводных дисплеев
US10582376B2 (en) Information processing apparatus, information processing method, and source apparatus
WO2021237474A1 (zh) 视频传输方法、装置和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant