CN105191326A - 无线通信系统中的视频流送 - Google Patents

无线通信系统中的视频流送 Download PDF

Info

Publication number
CN105191326A
CN105191326A CN201480025886.3A CN201480025886A CN105191326A CN 105191326 A CN105191326 A CN 105191326A CN 201480025886 A CN201480025886 A CN 201480025886A CN 105191326 A CN105191326 A CN 105191326A
Authority
CN
China
Prior art keywords
display
equipment
group
packet
cover part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480025886.3A
Other languages
English (en)
Other versions
CN105191326B (zh
Inventor
V·N·萨布莱曼尼亚姆
F·肖卡特
P·L·卡福里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105191326A publication Critical patent/CN105191326A/zh
Application granted granted Critical
Publication of CN105191326B publication Critical patent/CN105191326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

向无线通信设备提供直接视频和音频流送能力。该流送能力可支持覆盖和搜寻功能性。一些实现包括将这些特征结合到具有诸如Miracast等镜像显示模式的设备中。

Description

无线通信系统中的视频流送
背景
已经做出最新的进步以允许将视频和音频从一个启用无线通信的设备直接流送到另一个启用无线通信的设备。一种这样的系统被称为“Miracast”。Miracast是由Wi-Fi联盟颁布的无线(例如，IEEE802.11无线协议族或“Wi-Fi”)显示协议的商标。如此处所使用的，术语Miracast指的是Wi-Fi联盟的显示共享协议的当前形式，其也被称为Wi-Fi显示(WFD)。Miracast规范被设计成用于将任何类型的视频比特流从源设备流送到阱设备。作为一个示例，源可以是智能电话，而阱可以是电视机。尽管在典型的IEEE802.11无线网络中，客户机设备通过接入点(AP)设备来进行通信，但存在支持直接设备通信的协议(诸如Wi-FiDirect)。Miracast系统使用这些协议来将显示数据从一个设备发送到另一设备，诸如从智能电话发送到电视机或计算机，或反之。Miracast系统涉及将源设备的帧缓冲器以及扬声器音频的内容通过Wi-Fi连接共享到远程显示器/扬声器设备(阱)。
Miracast协议涉及源捕捉来自帧缓冲器的RGB数据以及来自音频子系统的任何PCM(脉冲编码调制)音频数据。帧缓冲器中的内容可以从在该源上运行的应用程序或媒体播放器中导出。源然后压缩视频和音频内容并将这些数据传送到阱设备。当接收到比特流时，阱对该比特流进行解码并将其呈现在该阱的本地显示器和扬声器上。
当用户在具有Miracast能力的源设备上本地地播放音频/视频剪辑时，在源显示器上本地地解码和呈现比特流，并且然后与此同时对该音频/视频内容进行捕捉、重新编码并将其流送到具有Miracast能力的阱设备。阱设备然后对相同内容进行解码并将其呈现在该设备的显示器和扬声器上。这一操作通常被称为“镜像”模式。
概述
在一个实现中，呈现了一种显示在不通过中间设备传递的情况下从源设备无线地接收到的显示内容的方法。该方法包括直接从源设备无线地接收利用第一视频压缩格式来编码的用于图像帧的第一覆盖部分的第一组显示数据分组。该方法包括直接从源设备无线地接收利用第二视频压缩格式来编码的用于该图像帧的第二覆盖部分的第二组显示数据分组。该方法包括直接从源设备无线地接收覆盖混合信息。该方法包括从第一组显示数据分组中提取该图像帧的第一覆盖部分并且从第二组显示数据分组中提取图像帧的第二覆盖部分。该方法包括至少部分地基于从源设备接收到的覆盖混合信息来混合第一覆盖部分和第二覆盖部分以供显示。
在另一实现中，呈现了一种在不通过中间设备传递显示内容的情况下将显示内容无线地传送到阱设备的方法。该方法包括利用第一视频压缩格式来编码用于图像帧的第一覆盖部分的第一组显示数据分组。该方法包括利用第二视频压缩格式来编码用于该图像帧的第二覆盖部分的第二组显示数据分组。该方法包括生成与第一覆盖部分和第二覆盖部分相关联的覆盖混合信息。该方法包括直接将第一组显示数据分组、第二组显示数据分组和覆盖混合信息无线地传送到阱设备。
在另一实现中，呈现了一种显示数据阱设备。该设备包括显示器、多个视频解码器和处理电路系统。该处理电路系统被配置成直接从源设备无线地接收利用第一视频压缩格式来编码的用于图像帧的第一覆盖部分的第一组显示数据分组。该处理电路系统被配置成直接从源设备无线地接收利用第二视频压缩格式来编码的用于图像帧的第二覆盖部分的第二组显示数据分组。处理电路系统被配置成从源设备无线地接收覆盖混合信息。处理电路系统被配置成从第一组显示数据分组中提取该图像帧的第一覆盖部分并且从第二组显示数据分组中提取该图像帧的第二覆盖部分。处理电路系统被配置成至少部分地基于从源设备接收到的覆盖混合信息来混合第一覆盖部分和第二覆盖部分以供显示。处理电路系统被配置成在显示器上呈现该图像帧。
在另一实现中，呈现了一种显示数据源设备。该设备包括显示器、多个视频解码器、至少一个媒体播放器程序和处理电路系统。处理电路系统被配置成利用第一视频压缩格式来编码用于图像帧的第一覆盖部分的第一组显示数据分组。处理电路系统被配置成利用第二视频压缩格式来编码用于该图像帧的第二覆盖部分的第二组显示数据分组。处理电路系统被配置成生成与第一覆盖部分和第二覆盖部分相关联的覆盖混合信息。处理电路系统被配置成直接将第一组显示数据分组、第二组显示数据分组和覆盖混合信息无线地传送到阱设备。
在另一实现中，呈现了一种用于在不通过中间设备传递显示数据的情况下将显示数据从源设备无线地传送到阱设备的系统。该系统包括具有显示器以及无线传送和接收电路系统的源设备。该系统包括具有显示器以及无线传送和接收电路系统的阱设备。源设备和阱设备被配置成协商显示传送和接收参数以允许第一模式和第二模式。在第一模式中，从源设备的显示帧缓冲器中检索显示数据，对该显示数据进行编码以便进行无线传输，将该显示数据无线地传送到阱设备，在阱设备上对该显示数据进行解码，并且在阱设备的显示器上呈现该显示数据。在第二模式中，在源设备处至少利用第一视频压缩格式来对图像帧的第一覆盖部分进行编码并且利用第二视频压缩格式来对该图像帧的第二覆盖部分进行编码。在第二模式中，第一覆盖部分和第二覆盖部分被无线地传送到阱设备，在阱设备上被分别解码，在阱设备上至少部分地基于接收自源设备的覆盖混合信息来混合，并且被呈现在阱设备的显示器上。
附图简述
图1是支持直接流送的扩展式Miracast视频流送系统的一个实现中的源和阱设备的框图。
图2是图1中的扩展式Miracast视频流送系统的一个实现中的源设备的框图。
图3是图1中的扩展式Miracast视频流送系统的一个实现中的阱设备的框图。
图4是解说用于从镜像切换到直接流送的消息序列的一个实现的序列图。
图5是解说用于阱侧搜寻功能性的消息序列的一个实现的序列图。
图6解说支持阱设备中的覆盖处理的扩展式Miracast视频流送系统中的传输流的一个实现。
图7是支持阱设备中的覆盖处理的扩展式Miracast视频流送系统的一个实现的框图。
图8是支持阱设备中的覆盖处理的扩展式Miracast视频流送系统的阱设备中的混合模块的一个实现的框图。
图9是源设备或阱设备的一个实现的框图。
详细描述
以下参照附图更全面地描述本新颖系统、装置和方法的各种方面。然而，所公开的教导可用许多不同的形式实施并且不应解释为被限定于本公开通篇所给出的任何特定结构或功能。确切而言，提供这些方面是为了使本公开将是透彻和完整的，并且其将向本领域技术人员完全传达本公开的范围。基于本文中的教导，本领域技术人员应领会到，本公开的范围旨在覆盖本文中公开的这些新颖的系统、设备和方法的任何方面，不论其是独立实现的还是与本发明的任何其他方面组合实现的。例如，可以使用本文所阐述的任何数目的方面来实现装置或实践方法。另外，本发明的范围旨在覆盖使用作为本文所阐述的本发明各种方面的补充或者与之不同的其他结构、功能性或者结构及功能性来实践的装置或方法。应当理解，本文中所披露的任何方面可以由权利要求的一个或多个要素来实施。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。尽管提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在宽泛地适用于不同的无线技术、系统配置、网络、和传输协议，其中一些藉由示例在附图和以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
本公开涉及允许此处被称为源的第一设备向此处被称为阱的第二设备递送视频内容以供在第二设备上显示的系统和方法。在一些实现中，每一个设备都能够根据IEEE802.11无线通信协议族中的一个或多个协议来无线地通信。尽管这些设备通常通过接入点(AP)而不是直接地通信，但已经开发出允许源设备在不使用任何AP或其它中介的情况下直接向阱设备传送视频的协议。如上所述，一种这样的协议被称为Miracast或Wi-Fi显示。下述实现将当前存在的Miracast协议及其常用的镜像模式用作起点。以下阐述对该协议的增强和扩展。这些增强和扩展不仅适用于Miracast，而且还适用于允许在本地环境中无线连接的设备上和之间传送、接收和呈现显示数据的任何显示共享设备或协议、系统或方法，其中“本地”一般指无线LAN连接的范围，诸如房间、建筑物内等等。
如果在Miracast类型的系统中的源设备上播放视频剪辑，则Miracast及其基本模式(镜像)需要在视频输出被解码之后捕捉该视频输出并且然后需要在将其流送到阱设备之前用H.264编解码器对其进行重新编码。这一通常被称为转码的操作使得设备消耗更多功率，因为首先使用视频解码器对视频剪辑进行解码并且然后在传送到阱设备之前对经解码的视频剪辑进行重新编码。
对视频的转码还可能潜在地使视频质量降级，尤其在编码比特率低于视频剪辑的原生比特率时。会发生这种情况可能是因为当前Miracast实现要求只使用H.264编解码器的受限基础规格或受限的高端规格来进行重新编码，而视频内容通常以其它格式可用。
为了克服这些限制，启用无线通信的设备可被补充为另外支持直接流送能力，该能力允许在无需转码的情况下流送音频/视频内容。这允许通过流送比特流来降低功率并通过避免转码来获得更高质量。
现在参考图1到3，在扩展式Miracast系统中，可以在源设备30和阱设备32之间进行附加控制通信和传递协议协商。如图1所示，在源30处，将显示数据34路由至编码器36。在常规Miracast系统中，唯一受支持的编码器36和解码器38是H.264协议。该数据然后使用具有常规Miracast系统中的实时传输协议(RTSP)消息收发的MPEG2传输流来无线地传送到阱32。当在阱32处接收到该数据时，将该数据路由至对应的解码器38并将其发送到阱32上的显示器40。还在源30和阱32之间传递控制信号。在常规Miracast系统中，利用用于会话建立和会话维护的控制信号。在图1到3的系统中，在源30和阱32之间可进行一个或多个附加控制通信。在一个实现中，在能力协商期间，源30就直接流送向阱32进行查询以查看阱自身是否支持该特征。源还查询阱32支持的用于音频和视频的各种编解码器和规格以及阱32想要该源将流内容定向到的TCP(传输控制协议)或UDP(用户数据报协议)端口号。如果阱32支持Miracast会话期间的直接流送，则阱32可以用音频/视频编解码器和规格的列表以及TCP或UDP端口号来回头作出响应。在流送一个视频剪辑后，可将另一视频剪辑切换到直接流送数据路径中。这允许使用各种编码器36和解码器38，且具有以下进一步描述的优点。如将在下文中进一步描述的，还可提供对处置覆盖和阱侧搜寻功能性的支持。
现在参考图2，解说了图1的源设备30的一个实现的框图。在图2中，源设备包括图形处理单元(GPU)50、显示处理器/混合器52、帧缓冲器54和显示器56。该源可以正在运行诸如应用162和应用264等可提供显示数据供呈现给用户的若干应用。在源操作系统的控制下，GPU50和显示处理器/混合器52准备显示数据并填充帧缓冲器54，以便转发给显示器56。该源还可包括也通过视频解码器来将内容路由到显示处理器/混合器52的媒体播放器66。
常规自立显示模式和常规Miracast镜像模式中的数据流由图2的实线箭头解说。当正在执行Miracast镜像时，帧缓冲器54中相继的像素数据帧沿数据路径80被路由到视频编码器72，经编码的数据由模块74组装成MPEG2传输流，由模块75将其与RTP消息收发数据组合，并被路由到套接字77以供传送到阱设备32。在常规Miracast中，编码器72是H.264编码器，而套接字是UDP套接字，且不支持其它选项。
阱设备32在图3中解说。在该阱中，套接字92接收传入数据流，用模块94提取RTP消息收发，并且用模块96提取显示数据。如同图2，常规Miracast数据流用实线箭头解说。显示数据可被路由至视频解码器98，然后至显示处理器/混合器102，该显示处理器/混合器填充帧缓冲器104以供呈现在显示器106上。在常规Miracast中，视频解码器98是H.264解码器，这在与Miracast标准兼容的任何阱设备中是必需的。
可见，在常规Miracast系统中，因为像素数据是从帧缓冲器中检索的以便传送到阱32，所以没有关于什么类型的显示信息正被加载到帧缓冲器54中的信息可用。信息可能是来自应用程序62和64的文本、或者来自媒体播放器66的电影、或两者的组合。在许多情况下，该信息在优化阱显示质量以及使源设备的功率汲取最小化时可能是很有用的。
为了增强常规Miracast显示系统的性能和能力，该系统可支持附加的视频编码器82和84并且可提供用虚线箭头示出的附加数据路径。
在一个实现中，包含来自媒体播放器66的经预编码比特流的直接流送路径86可以在不由模块74转码成MPEG2传输流的情况下被自行组装，而不是使用数据路径80处的帧缓冲器输入。这避免了首先由视频解码器68来执行解码并且之后在传输流组装之前由视频编码器72来进行H.264重新编码。这节省了源30处的功率。在阱设备32处，用对应于从媒体播放器66输出的显示数据的原始经预编码格式(可能不是H.264格式)的解码器来对数据进行解码。在该实现中，任何编码格式都是合适的，只要阱设备具有兼容的解码器(如由源设备在上述查询过程期间确定的)即可。例如参考图2和3，在该实现中，对视频解码器98的唯一限制是要它能够对来自图2的路径86的原始经预编码比特流进行解码。
可利用关于直接流送的至少两个选项，即基于RTSP的消息收发和基于MPEG2-TS的消息收发。
基于RTSP的消息收发在图4中解说。如在常规Miracast协议中那样，系统可以在状态110开始于显示镜像模式，其中从源的帧缓冲器中取得图像数据，在该源处对该图像数据进行H.264编码并且在阱处对该图像数据进行H.264解码(例如，利用如上所述的图2和3中的实线)。也如上所述，该模式需要对显示数据进行转码。如果源设备30的用户选择播放被存储在源上、由源生成、或由源接收到的呈一编码格式(而阱32包括与其兼容的编解码器)的视频剪辑，则源30设备可以在112处发送RTSP请求消息以指示从镜像到直接流送的流切换将开始。当阱接收到该请求时，在114该阱对源要将比特流从镜像变为直接流送作出响应，并使其解码器准备好以在商定的TCP/UDP端口上接收新比特流，并且通知源它对直接流送做好了准备。当接收到来自阱的响应时，源停止镜像比特流并且开始将视频剪辑中所包含的比特流流送到出于该流送的目的而商定的TCP/UDP端口，以在框115进入直接流送模式。如果用户停止该剪辑或者该剪辑到达流的末尾，则在116源发送RTSP请求以指示直接流送将结束，即从直接流送到镜像的流切换将开始。当阱接收到该请求时，在118该阱对源要将比特流从直接流送变为镜像模式作出响应，并且使其解码器准备好在为Miracast会话建立的默认Miracast端口上接收镜像比特流。当接收到来自阱的响应时，源在120进入镜像模式并且开始将镜像比特流流送到默认的Miracast端口。
在另一可能的实现中，可以在使用UDP传输端口时使用基于MPEG2TS的消息收发。例如，如果源设备的用户选择要播放其编解码器和规格得到阱支持的视频剪辑，则源设备改变程序关联表(PAT)和程序映射表(PMT)，以使其使用一不同的活跃程序号来传输此新比特流以便进行直接流送。当阱接收到新PAT和PMT时，它停止播放镜像比特流并使其解码器准备好接收新比特流，该新比特流继续在曾在镜像期间使用的同一UDP端口上被接收。在发送经更新的PAT和PMT后，源开始将视频剪辑中所包含的比特流流送到与镜像比特流相同的的UDP端口。如果用户停止该剪辑或者该剪辑到达流的末尾，则源将PAT和PMT改回到作为活跃程序的镜像程序号的PAT和PMT。当阱接收到经更新的PAT和PMT时，它停止播放直接流送比特流并使其解码器准备好接收镜像比特流，该镜像比特流继续在相同的UDP端口上被接收。
在上述实现中，源可确定视频内容的当前压缩格式是与阱设备上的现有编解码器兼容的，并且可以发送呈原始格式的视频内容，由此避免由常规Miracast系统执行的转码过程。在一些实现中，信道状态(或其它信息)可指示可以有利地使用一不同的压缩格式。因为源知道阱上的编解码器，所以源可以选择使用与一不同的阱编解码器兼容的一不同的压缩格式。这可能涉及对原始视频内容进行转码，但可取决于信道状态来提高阱设备上的视频质量。
在视频内容的直接流送期间，可以灵活地支持搜寻功能。由于是正在使用源设备上显示帧缓冲器中的内容来流送实况会话这一事实，因此搜寻功能性当前不存在于Miracast中。当处在镜像中时在时间上来回移动是不切实际的。然而，在直接流送期间，可能希望对正从源流送到阱的媒体剪辑进行回退和前进。
例如，当源基于该源处的用户输入来发起搜寻触发时，该源可发送被设为暂停或播放动作的RTSPSET_PARAMETER(设置参数)触发方法连同希望的“呈现时间”值。之后，阱可发回对此触发请求的响应，并且源随后可以在该源准备好要从新时间开始进行流送之时发起新的播放请求消息。
阱侧搜寻请求的示例在图3中提供。在该示例中，当阱发起搜寻时，它可以在126发送M9暂停请求，并且源可以在128停止流送并向阱发送流停止确认。在130，阱可以将播放请求连同希望的“呈现时间”值发送到源，该值对应于在视频剪辑中被阱的用户选为视频回放的新起点的时间。在132，源从阱选择的新呈现时间开始进行流送。
当前，在只使用单个格式来流送视频内容的当前Miracast规范中不支持将覆盖内容随视频从源发送到阱的能力。在没有覆盖能力的情况下，只有全屏模式的视频回放是可能的。源的帧缓冲器中的全屏是用相同的视频编码器来编码的，而不管该显示的不同部分中的内容的特质如何。在一些实现中，扩展式系统能够灵活地启动多个覆盖，并且提供在阱侧执行的灵活的覆盖操作。
回头参考图2和3，可以图2的编码器72、82和84针对每一个图像帧的不同的覆盖分量使用分别的编码过程来提供智能覆盖支持。用于每一个覆盖的经编码数据可由模块74组装成单个MPEG2传输流。编码器72、82和84可具有相同或不同的格式。在针对不同覆盖使用不同格式的编码时，实现最优性能是可能的，诸如用于图形和UI的无损编解码器以及用于视频和其他不易看出有损压缩伪像的内容的有损编解码器。并且，对覆盖的支持允许只为图形发送帧缓冲器内容中的增量改变，从而降低了对高分辨率内容显示的带宽要求。对Miracast的这一扩展能够灵活地支持多个覆盖，其中覆盖内容可被流送到阱设备，并且在阱显示器中的所期望的感兴趣区域上显示。
如图3所示，在阱32侧，MPEG2传输流的各不同部分中的数据可被提取并路由至分别的解码器98、140和/或142，这些解码器可根据在源30上所执行的相应的编码方法来分别地对这些数据流进行解码。覆盖数据然后在阱侧由显示处理器/混合器102根据可以与MPEG2TS/RTP流(如以下进一步描述的)一起发送的控制信息来混合，以填充帧缓冲器104并呈现在阱显示器106上。
在许多游戏和对Wi-Fi显示的其它使用中，当较高视觉质量是为与常规视频显示一起在显示器的期望位置处显示某些图形或UI控制信息所必需的时候，便产生了同时传送一个或多个覆盖内容的需求。覆盖显示内容可使用原始RGB或其它无损压缩方法。
附加消息收发和协议扩展可被添加到Miracast协议以支持将诸(覆盖)与视频数据一起流送。在直接流送协商期间，源和阱设备可交换参数以协商阱是否能够支持覆盖、以及能够支持什么将覆盖内容与经组合的帧复合物进行混合的方法。可提供将经压缩或未经压缩的RGB覆盖帧与MPEG2TS复用或分用的方法，并且可确定和协商为覆盖所支持的视频格式，例如RGB或色度格式或任何特定编解码器格式。
对于RTSP消息收发，源可以与阱协商对视频编解码器的支持、以及关于是否支持覆盖和支持多少覆盖的能力信息。源可设置用于为背景帧选择各编解码器类型以及为各覆盖选择一种编解码器类型的参数。在一些实现中，可允许最多两种编解码器类型。例如，背景可以用JPEG来编码，而(诸)视频覆盖可以用H.264来编码。或者背景和覆盖两者都可以用H.264来编码。源还可以设置关于要发送的覆盖的最大数量的参数。
图6解说使用MPEG2TS信令的示例。在该示例中，每一个覆盖之前都可以有在分组化元流(PES)报头中的描述该覆盖的属性(被指定为76a、76b、76c和76d)。每一个报头之后接着是对应的覆盖数据分组78a、78b、78c和78d。MPEG2传输流中的PES报头格式是非常灵活的，从而允许在报头中创建可被用于进行因系统而异的信息的传递的专用数据字段。PES报头中所包括的覆盖属性可包括用于标记覆盖相对于背景的位置的左上角坐标(x,y)。坐标可以是像素位置的形式，A＝用于x的2字节以及用于y的2字节。对于覆盖的宽度和高度，W＝用于宽度的2字节且H＝用于高度的2字节。还可用Z＝1字节来提供要将覆盖混合到背景的次序，其中较低的数字指示该覆盖应被首先混合。0x00指示背景层，且可提供Alpha的值，其中Alpha＝1字节。可提供色键的3字节CK值。
图7解说具体的覆盖流送示例。在该示例中，前景覆盖150与背景视频流152组合。覆盖150可由视频播放器66、源30上的不同应用程序62或64、或源30的操作系统来生成。图7解说其中视频数据在不进行转码的情况下以其经预编码状态被流送的示例。该覆盖用一不同的无损压缩编码来进行编码。在阱32侧，MPEG2TS/RTP流被解包，并且这两个数据集被分别解码以供在模块102处根据MPEG2TS/RTP流中提供的覆盖信息来混合。
在阱侧可以在复合背景层与前景(覆盖)之间应用混合等式。例如：
经混合的像素＝Alpha*像素FG+(1–Alpha)*像素BG
如果使用色键的透明性检查通过，则最终像素＝前景像素。
否则最终像素＝经混合的像素
该算法由图8的功能框图来实现。在该附图中，覆盖层0160的像素是与一不同的覆盖层1162的对应像素一起处理的。选择信号blend_eq_sel使用复用器164和166来决定哪个覆盖是前景以及哪个覆盖是背景。另一控制信号blend_transp_en决定是否在框172执行透明性色检查。如果透明性色检查通过，则从复用器174输出背景像素，否则将来自框176的经混合像素从复用器174输出到阱32的帧缓冲器104以便在该像素位置显示。框176中实现的混合等式的参数以及这些控制信号的状态可由发送自源30的在MPEG2传输流上的信息来控制。
例如，在混合操作开始之前，阱设备可以等待接收由Z＝0x00标记的背景层和覆盖计数以匹配总覆盖(在启动时商定的)。背景层可以在宽度和高度上大于这些覆盖并且匹配商定的阱显示器分辨率。如果在接收到Z＝0x00之后没有接收到后续覆盖并且已经超过了呈现超时，则覆盖过程可被终止并且帧可被运送至显示器以供呈现。呈现超时时间可基于收到帧率。例如，如果正在接收的显示数据的帧率是30fps，则呈现超时可以大约是33毫秒。
在Miracast会话期间，任何数量的覆盖可在任何时刻开始，只要这些覆盖未超出在启动时商定的最大覆盖数量即可。每一个覆盖都可具有其自己的基于商定的编解码器(即，JPEG、H.264)的元流。用于MPEG2传输流的程序映射表(PMT)可以在每当有元流被添加或者从携带覆盖的程序中被移除时更新。如果添加了新的元流，则相继的MPEG2传输分组可包含用于此新的元流的PES分组。每一个元流都可携带覆盖的特定细节，以使得阱上的混合器可复合出要呈现的最终帧。新的PES_extension_flag(PES_扩展_标志)可被用于指示PES中存在覆盖信息。可以在PES分组中添加新字段以便在PES中携带覆盖信息，包括坐标、宽度、高度、Z次序、alpha值、色键和混合等式。该信息可被传递至阱上的显示处理器以便生成要呈现的最终帧。
如上所述，在一些实现中，对Miracast协议的扩展可协商共有的能力，包括所支持的编解码器参数和/或由阱创建TCP端口以供在直接流送期间使用的选项。对Miracast的另一扩展可支持在回放期间取决于等待时间相较于稳健性要求(例如，是要使用TCP还是UDP)使用基于RTSP和基于MPEG2-TS的办法来切换比特流。对Miracast的扩展可支持在使用直接流送模式的同时实现搜寻功能性。对Miracast协议的扩展可支持通过Miracast会话发送多个覆盖并且阱可使用预先商定的视频格式和混合模式(包括RTSP上的覆盖信令、覆盖混合技术以及关于覆盖传输的PES信息)来呈现经组合的帧复合物。
图9解说了可以在上述无线通信系统内采用的无线设备180中可利用的各种组件。无线设备180是可被配置成实现本文中所描述的各种方法的设备的示例。
无线设备180可包括控制无线设备180的操作的处理器184。处理器184也可被称为中央处理单元(CPU)。可包括只读存储器(ROM)和随机存取存储器(RAM)两者的存储器186向处理器184提供指令和数据。存储器186的一部分还可包括非易失性随机存取存储器(NVRAM)。处理器184通常基于存储器186内存储的程序指令来执行逻辑和算术运算。存储器186中的指令可以是可执行的以实现本文所描述的方法。例如，取决于设备是源30、阱32、还是两者，图1、2和3中的框可以用处理器184和存储器186来实现。处理器184可包括用一个或多个处理器实现的处理系统或者是其组件。这一个或多个处理器可以用通用微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、选通逻辑、分立硬件组件、专用硬件有限状态机、或能够对信息执行演算或其他操纵的任何其他合适实体的任何组合来实现。
处理系统还可包括用于存储软件的机器可读介质。软件应当被宽泛地解释成意指任何类型的指令，无论其被称作软件、固件、中间件、微代码、硬件描述语言、还是其他。指令可包括代码(例如，呈源代码格式、二进制代码格式、可执行代码格式、或任何其他合适的代码格式)。这些指令在由该一个或多个处理器执行时使处理系统执行本文中所描述的各种功能。
无线设备180还可包括外壳188，该外壳188可内含发射机190和接收机192以允许在无线设备180和远程位置之间进行数据的传送和接收。发射机190和接收机192可被组合成收发机194。可提供天线196并使之电耦合至收发机194。无线设备180还可包括(未示出)多个发射机、多个接收机、多个收发机、和/或多个天线。
无线设备180还可包括可用于力图检测和量化由收发机194所接收的信号的电平的信号检测器200。信号检测器200可检测诸如总能量、每副载波每码元能量、功率谱密度之类的信号以及其它信号。无线设备180还可包括供处理信号时使用的数字信号处理器(DSP)202。DSP202可被配置成生成数据单元以供传输。无线设备180还可包括显示器204和用户接口206。用户接口206可包括触摸屏、小键盘、话筒和/或扬声器。用户接口206可包括向无线设备180的用户传达信息和/或从该用户接收输入的任何元件或组件。
无线设备180的各种组件可由一个或多个总线系统208耦合在一起。总线系统208可包括例如数据总线，以及除了数据总线之外还有电源总线、控制信号总线和状态信号总线。本领域技术人员将领会，无线设备180的各组件可耦合在一起或者使用某种其他机制来接受或提供彼此的输入。
尽管图9中解说了数个分开的组件，但这些组件中的一个或多个组件可被组合或者共同地实现。例如，处理器184可被用于不仅实现以上关于处理器185所描述的功能性，而且还实现以上关于信号检测器200和/或DSP202所描述的功能性。另外，图9中所解说的每个组件可使用多个分开的元件来实现。另外，处理器184可被用于实现以下描述的组件、模块、电路、或类似物中的任一者，或者每一者可使用多个分开的元件来实现。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、探知及诸如此类。而且，“确定”可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)及诸如此类。而且，“确定”还可包括解析、选择、选取、确立及类似动作。另外，如本文中所使用的“信道宽度”可涵盖或者在某些方面还可称为带宽。
如本文中所使用的，引述一列项目中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
上面描述的方法的各种操作可由能够执行这些操作的任何合适的装置来执行，诸如各种硬件和/或软件组件、电路、和/或模块。一般而言，在附图中所解说的任何操作可由能够执行这些操作的相对应的功能性装置来执行。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器或任何其它此类配置。
在一个或多个方面中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。因此，在一些方面，计算机可读介质可包括非暂态计算机可读介质(例如，有形介质)。另外，在一些方面，计算机可读介质可包括暂态计算机可读介质(例如，信号)。上述的组合也应被包括在计算机可读介质的范围内。
本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则各功能可以作为一条或多条指令存储在计算机可读介质上。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。
因此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此种计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
软件或指令还可以在传输介质上传送。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波等无线技术从web站点、服务器或其它远程源传送而来的，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电以及微波等无线技术就被包括在传输介质的定义里。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文所述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，能利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。
应该理解的是，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和设备的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。
尽管上述内容针对本公开的各方面，然而可设计出本公开的其他和进一步的方面而不会脱离其基本范围，且其范围是由所附权利要求来确定的。

Claims (38)

1.一种显示在不通过中间设备传递的情况下从源设备无线地接收到的显示内容的方法，包括：
直接从所述源设备无线地接收利用第一视频压缩格式来编码的用于图像帧的第一覆盖部分的第一组显示数据分组；
至少直接从所述源设备无线地接收利用第二视频压缩格式来编码的用于所述图像帧的第二覆盖部分的第二组显示数据分组；
直接从所述源设备无线地接收覆盖混合信息；
至少从所述第一组显示数据分组中提取所述图像帧的第一覆盖部分并且从所述第二组显示数据分组中提取所述图像帧的第二覆盖部分；以及
至少部分地基于从所述源设备接收到的所述覆盖混合信息来至少混合所述第一覆盖部分和所述第二覆盖部分以供显示。
2.如权利要求1所述的方法，其特征在于，所述提取包括从单个数据传输流中分离至少所述第一组数据分组和所述第二组数据分组。
3.如权利要求2所述的方法，其特征在于，所述覆盖混合信息被结合到所述单个数据传输流中。
4.如权利要求2所述的方法，其特征在于，所述单个数据传输流是MPEG2传输流，并且其中所述混合信息是在所述MPEG2传输流的一个或多个PES报头字段中提供的。
5.如权利要求1所述的方法，其特征在于，所述提取包括解码至少所述第一组显示数据分组和所述第二组显示数据分组。
6.如权利要求5所述的方法，其特征在于，用于解码所述第一组数据分组的解码算法和用于解码所述第二组数据分组的解码算法中的至少一者是无损解码算法。
7.如权利要求1所述的方法，其特征在于，包括将暂停请求和含有呈现开始时间的播放请求传送到所述源设备。
8.如权利要求1所述的方法，其特征在于，包括无线地向所述源设备传送解码器能力信息。
9.如权利要求8所述的方法，其特征在于，包括当所述解码器能力信息指示解码由所述源设备的媒体播放器程序生成的经预编码格式的能力时，转变为无线地接收呈所述经预编码格式的显示数据。
10.一种在不通过中间设备传递显示内容的情况下将所述显示内容无线地传送到阱设备的方法，包括：
利用第一视频压缩格式来编码用于图像帧的第一覆盖部分的第一组显示数据分组；
至少利用第二视频压缩格式来编码用于所述图像帧的第二覆盖部分的第二组显示数据分组；
生成与至少所述第一覆盖部分和所述第二覆盖部分相关联的覆盖混合信息；以及
直接将至少所述第一组显示数据分组、所述第二组显示数据分组和所述覆盖混合信息无线地传送到所述阱设备。
11.如权利要求10所述的方法，其特征在于，到所述阱设备的至少所述第一组显示数据分组、所述第二组显示数据分组和所述覆盖混合信息是利用单个数据传输流来传送的。
12.如权利要求11所述的方法，其特征在于，所述单个数据传输流是MPEG2传输流，并且其中所述混合信息是在所述MPEG2传输流的一个或多个PES报头字段中传送的。
13.如权利要求10所述的方法，其特征在于，用于编码所述第一组显示数据分组的编码算法和用于编码所述第二组显示数据分组的编码算法中的至少一者是无损编码算法。
14.如权利要求10所述的方法，其特征在于，所述第一覆盖部分和所述第二覆盖部分是由在所述源设备上运行的不同程序来生成的。
15.如权利要求14所述的方法，其特征在于，所述不同程序包括应用程序和操作系统中的至少一者。
16.如权利要求14所述的方法，其特征在于，所述不同程序中的至少一者是媒体播放器。
17.如权利要求10所述的方法，其特征在于，包括接收用于将至少所述第一组显示数据分组、所述第二组显示数据分组和所述覆盖混合信息无线地传送到所述阱设备的TCP端口或UDP端口的指示。
18.如权利要求10所述的方法，其特征在于，包括从所述阱设备接收暂停请求和含有呈现开始时间的播放请求，并且随后从所请求的呈现开始时间起播放所述媒体内容。
19.如权利要求10所述的方法，其特征在于，包括：
向所述阱设备发送查询；以及
接收响应，所述响应包括关于所述阱设备的至少第一解码器和第二解码器的解码能力的信息。
20.如权利要求19所述的方法，其特征在于，包括当所述信息指示所述至少第一解码器和第二解码器中的至少一者的解码从媒体播放器程序接收到的经预编码格式的能力时，转变为将呈所述经预编码格式的显示数据无线地传送到所述阱设备。
21.一种显示数据阱设备，包括：
显示器；
多个视频解码器；
处理电路系统，配置成：
直接从源设备无线地接收利用第一视频压缩格式来编码的用于图像帧的第一覆盖部分的第一组显示数据分组；
至少直接从所述源设备无线地接收利用第二视频压缩格式来编码的用于所述图像帧的第二覆盖部分的第二组显示数据分组；
从所述源设备无线地接收覆盖混合信息；
至少从所述第一组显示数据分组中提取所述图像帧的第一覆盖部分并且从所述第二组显示数据分组中提取所述图像帧的第二覆盖部分；
至少部分地基于从所述源设备接收到的所述覆盖混合信息来混合至少所述第一覆盖部分和所述第二覆盖部分以供显示；以及
在所述显示器上呈现所述图像帧。
22.如权利要求21所述的设备，其特征在于，所述处理电路系统被配置成从单个数据传输流中分离至少所述第一组数据分组和所述第二组数据分组。
23.如权利要求21所述的设备，其特征在于，所述处理电路系统被配置成从所述单个数据传输流中提取所述覆盖混合信息。
24.如权利要求23所述的设备，其特征在于，所述单个数据传输流是MPEG2传输流，并且所述处理电路系统被配置成从所述MPEG2传输流的一个或多个PES报头字段中提取所述覆盖混合信息。
25.如权利要求21所述的设备，其特征在于，所述处理电路系统被配置成利用所述多个视频解码器中与用于解码所述第二组显示数据分组的解码器不同的一解码器来解码所述第一组显示数据分组。
26.如权利要求21所述的设备，其特征在于，所述多个视频解码器中的至少一者利用无损解码算法。
27.如权利要求21所述的设备，其特征在于，所述处理电路系统被配置成向所述源设备发送暂停命令和呈现时间。
28.如权利要求21所述的设备，其特征在于，所述处理电路系统被配置成将关于所述多个视频解码器的解码能力的信息无线地传送到所述源设备。
29.如权利要求28所述的设备，其特征在于，所述处理电路系统被配置成当所述解码器能力信息指示所述多个视频解码器中的至少一者的解码经预编码格式的能力时，转变为无线地接收呈所述经预编码格式的显示数据。
30.一种显示数据源设备，包括：
多个视频编码器；
处理电路系统，配置成：
利用第一视频压缩格式来编码用于图像帧的第一覆盖部分的第一组显示数据分组；
至少利用第二视频压缩格式来编码用于所述图像帧的第二覆盖部分的第二组显示数据分组；
生成与至少第一覆盖部分和第二覆盖部分相关联的覆盖混合信息；以及
直接将至少所述第一组显示数据分组、所述第二组显示数据分组和所述覆盖混合信息无线地传送到阱设备。
31.如权利要求30所述的设备，其特征在于，所述处理电路系统被配置成在单个数据传输流中无线地传送至少所述第一组显示数据分组、所述第二组显示数据分组和所述覆盖混合信息。
32.如权利要求31所述的设备，其特征在于，所述单个数据传输流是MPEG2传输流，并且其中所述处理电路系统被配置成在所述MPEG2传输流的一个或多个PES报头字段中传送所述混合信息。
33.如权利要求30所述的设备，其特征在于，所述多个视频编码器中的至少一者利用无损编码算法。
34.如权利要求30所述的设备，其特征在于，所述处理电路系统被配置成接收用于将至少所述第一组显示数据分组、所述第二组显示数据分组和所述覆盖混合信息无线地传送到所述阱设备的TCP端口或UDP端口的指示。
35.如权利要求30所述的设备，其特征在于，所述处理电路系统被配置成从所述阱设备接收暂停请求和呈现开始时间。
36.如权利要求30所述的设备，其特征在于，所述处理电路系统被配置成向所述阱设备发送查询并接收响应，所述响应包括关于所述阱设备的多个解码器的解码能力的信息。
37.如权利要求36所述的设备，其特征在于，所述处理电路系统被配置成当所述信息指示所述多个解码器中的至少一者的解码经预编码格式的能力时，转变为将呈所述经预编码格式的显示数据无线地传送到所述阱设备。
38.一种用于在不通过中间设备传递显示数据的情况下将所述显示数据从源设备无线地传送到阱设备的系统，所述系统包括：
具有显示器以及无线传送和接收电路系统的源设备；
具有显示器以及无线传送和接收电路系统的阱设备；
其中所述源设备和所述阱设备被配置成协商显示传送和接收参数以允许：
第一模式，其中从所述源设备的显示帧缓冲器中检索显示数据，对所述显示数据进行编码以便进行无线传输，将所述显示数据无线地传送到所述阱设备，在所述阱设备上对所述显示数据进行解码，并且在所述阱设备的显示器上呈现所述显示数据；以及
第二模式，其中：
在所述源设备处至少利用第一视频压缩格式来对图像帧的第一覆盖部分进行编码并且利用第二视频压缩格式来对所述图像帧的第二覆盖部分进行编码；并且
至少第一覆盖部分和第二覆盖部分被无线地传送到所述阱设备，在所述阱设备上被分别解码，在所述阱设备上至少部分地基于接收自所述源设备的覆盖混合信息来混合，并且被呈现在所述阱设备的所述显示器上。
CN201480025886.3A 2013-05-08 2014-04-16 无线通信系统中的视频流送 Active CN105191326B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361821108P 2013-05-08 2013-05-08
US61/821,108 2013-05-08
US14/144,032 US9716737B2 (en) 2013-05-08 2013-12-30 Video streaming in a wireless communication system
US14/144,032 2013-12-30
PCT/US2014/034299 WO2014182411A1 (en) 2013-05-08 2014-04-16 Video streaming in a wireless communication system

Publications (2)

Publication Number Publication Date
CN105191326A true CN105191326A (zh) 2015-12-23
CN105191326B CN105191326B (zh) 2019-05-10

Family

ID=51864727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480025886.3A Active CN105191326B (zh) 2013-05-08 2014-04-16 无线通信系统中的视频流送

Country Status (7)

Country Link
US (1) US9716737B2 (zh)
EP (1) EP2995087A1 (zh)
JP (1) JP2016521518A (zh)
KR (1) KR101810496B1 (zh)
CN (1) CN105191326B (zh)
TW (1) TWI565310B (zh)
WO (1) WO2014182411A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200470A (zh) * 2017-12-20 2018-06-22 中国联合网络通信集团有限公司 一种视频码率调整方法及设备
CN109417654A (zh) * 2016-05-03 2019-03-01 无线电广播技术研究所有限公司 用于mpeg-ts（传送流）兼容数据流的无线传输的传输装置
CN109587712A (zh) * 2018-11-23 2019-04-05 南京极域信息科技有限公司 一种WiFi-Display性能优化方法
CN110392047A (zh) * 2019-07-02 2019-10-29 华为技术有限公司 数据传输方法、装置及设备
CN110740363A (zh) * 2019-10-25 2020-01-31 华为终端有限公司 投屏方法和系统、电子设备
WO2022252842A1 (zh) * 2021-05-31 2022-12-08 华为技术有限公司 一种媒体文件传输方法及装置

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8819734B2 (en) 2003-09-16 2014-08-26 Tvworks, Llc Contextual navigational control for digital television
US7818667B2 (en) 2005-05-03 2010-10-19 Tv Works Llc Verification of semantic constraints in multimedia data and in its announcement, signaling and interchange
US11832024B2 (en) 2008-11-20 2023-11-28 Comcast Cable Communications, Llc Method and apparatus for delivering video and video-related content at sub-asset level
US9015757B2 (en) * 2009-03-25 2015-04-21 Eloy Technology, Llc Merged program guide
US9277230B2 (en) * 2011-11-23 2016-03-01 Qualcomm Incorporated Display mode-based video encoding in wireless display devices
US10880609B2 (en) 2013-03-14 2020-12-29 Comcast Cable Communications, Llc Content event messaging
US9253490B2 (en) * 2013-05-31 2016-02-02 Qualcomm Technologies International, Ltd. Optimizing video transfer
CN103338139B (zh) * 2013-06-18 2017-03-08 华为技术有限公司 多屏互动方法、装置及终端设备
JP2015019196A (ja) * 2013-07-10 2015-01-29 船井電機株式会社 サーバ装置、クライアント機器及びコンテンツ再生プログラム
JP6319970B2 (ja) * 2013-08-20 2018-05-09 キヤノン株式会社 画像通信装置およびその制御方法
US10110393B2 (en) * 2013-09-30 2018-10-23 Cavium, Inc. Protocol switching over multi-network interface
TWI511118B (zh) * 2013-12-04 2015-12-01 Wistron Corp 顯示器及其多畫面顯示方法
US9412332B2 (en) * 2013-12-20 2016-08-09 Blackberry Limited Method for wirelessly transmitting content from a source device to a sink device
EP3099080B1 (en) * 2014-01-23 2018-08-22 Sony Corporation Decoding device, decoding method, encoding device, and encoding method
CN106464965B (zh) * 2014-02-28 2020-02-14 三星电子株式会社 用于在无线通信系统中显示应用数据的方法和装置
US10560514B2 (en) * 2014-03-29 2020-02-11 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving information related to multimedia data in a hybrid network and structure thereof
KR102249147B1 (ko) * 2014-03-29 2021-05-07 삼성전자주식회사 복합 네트워크에서 멀티미디어 데이터 관련 정보를 송수신하기 위한 장치 및 방법과 그 구조
US11783382B2 (en) 2014-10-22 2023-10-10 Comcast Cable Communications, Llc Systems and methods for curating content metadata
US20160119673A1 (en) * 2014-10-28 2016-04-28 Aaron William Rees System and Method for Transmitting, Receiving, and Displaying High Resolution Images
US20160134929A1 (en) * 2014-11-07 2016-05-12 Qualcomm Incorporated Collaborative Distributed/Unstructured Service Management Framework for Wireless-Display Platform
WO2016093623A1 (ko) 2014-12-11 2016-06-16 엘지전자 주식회사 Wfd에서 보조 컨텐츠를 출력하는 방법 및 장치
US20160188279A1 (en) * 2014-12-27 2016-06-30 Intel Corporation Mode-switch protocol and mechanism for hybrid wireless display system with screencasting and native graphics throwing
CN105991516B (zh) * 2015-01-28 2019-06-25 中国移动通信集团公司 无线同屏系统中的反向传输音频的方法及装置
KR102443999B1 (ko) 2015-03-13 2022-09-19 삼성전자주식회사 무선 링크를 통해 영구 미라캐스트 세션을 유지하는 방법
JP6457630B2 (ja) * 2015-04-13 2019-01-23 オリンパス株式会社 映像通信システム、映像送信端末、映像受信端末、通信方法、およびプログラム
US20170025089A1 (en) * 2015-07-22 2017-01-26 Qualcomm Incorporated Devices and methods for facilitating transmission of video streams in remote display applications
JP2017028587A (ja) * 2015-07-24 2017-02-02 ソニー株式会社 情報処理装置及び情報処理方法
EP3378189B1 (en) 2015-11-20 2021-07-07 Genetec Inc. Secure layered encryption of data streams
EP3378235A4 (en) 2015-11-20 2019-05-01 Genetec Inc. MEDIA STREAMING
US20180367836A1 (en) * 2015-12-09 2018-12-20 Smartron India Private Limited A system and method for controlling miracast content with hand gestures and audio commands
US10264208B2 (en) * 2015-12-11 2019-04-16 Qualcomm Incorporated Layered display content for wireless display
US11134114B2 (en) * 2016-03-15 2021-09-28 Intel Corporation User input based adaptive streaming
US10983745B2 (en) * 2016-06-13 2021-04-20 Lg Electronics Inc. Display device and display system including same
CN106385622A (zh) * 2016-10-10 2017-02-08 腾讯科技（北京）有限公司 媒体文件的播放方法及装置
KR20180039341A (ko) * 2016-10-10 2018-04-18 삼성전자주식회사 외부 장치와 통신 방법 및 이를 지원하는 전자 장치
US20180130443A1 (en) * 2016-11-04 2018-05-10 Nausheen Ansari Techniques for managing transmission and display of a display data stream
US10440086B2 (en) * 2016-11-28 2019-10-08 Microsoft Technology Licensing, Llc Reading multiplexed device streams
US10602557B2 (en) 2016-11-30 2020-03-24 Microsoft Technology Licensing, Llc Discovering and protecting data streams in multi-path communication environments
US10455632B2 (en) 2016-11-30 2019-10-22 Microsoft Technology Licensing, Llc Dynamic identification of network connection preferences
JP6873762B2 (ja) * 2017-03-15 2021-05-19 キヤノン株式会社 通信装置、通信システム、通信方法、および、プログラム
US11509726B2 (en) * 2017-10-20 2022-11-22 Apple Inc. Encapsulating and synchronizing state interactions between devices
US11423161B1 (en) 2018-05-26 2022-08-23 Genetec Inc. System and media recording device with secured encryption
TWI699103B (zh) * 2019-04-22 2020-07-11 圓展科技股份有限公司 無線攝影機與影像串流方法
CN110267075A (zh) * 2019-05-14 2019-09-20 珠海海奇半导体有限公司 一种集成投屏功能的老人唱戏机
KR20210073305A (ko) * 2019-12-10 2021-06-18 삼성전자주식회사 전자장치 및 그 제어방법
US20210329053A1 (en) * 2020-04-21 2021-10-21 Sling TV L.L.C. Multimodal transfer between audio and video streams
TWI825928B (zh) * 2022-08-18 2023-12-11 瑞昱半導體股份有限公司 訊號補償裝置以及用來動態地補償訊號的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1145152A (zh) * 1994-12-14 1997-03-12 菲利浦电子有限公司 附加字幕的传输系统
CN101460992A (zh) * 2006-06-08 2009-06-17 高通股份有限公司 混合多个显示层
CN102377877A (zh) * 2010-08-13 2012-03-14 三星电子株式会社 便携式电子设备及其显示镜像方法
WO2012100197A1 (en) * 2011-01-21 2012-07-26 Qualcomm Incorporated User input back channel for wireless displays
WO2012106644A1 (en) * 2011-02-04 2012-08-09 Qualcomm Incorporated Low latency wireless display for graphics
CN102656551A (zh) * 2009-12-14 2012-09-05 高通股份有限公司 用于视频显示系统的流送技术
US20130050254A1 (en) * 2011-08-31 2013-02-28 Texas Instruments Incorporated Hybrid video and graphics system with automatic content detection process, and other circuits, processes, and systems
CN103026713A (zh) * 2010-07-12 2013-04-03 皇家飞利浦电子股份有限公司 3d视频广播中的辅助数据

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0884331A (ja) * 1994-09-13 1996-03-26 Canon Inc 画像通信装置およびその画像通信方法
JP2001211164A (ja) * 2000-01-27 2001-08-03 Victor Co Of Japan Ltd 画像符号化方式
KR20080019719A (ko) * 2005-06-22 2008-03-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 데이터 콘텐트 표시방법 및 장치
US9042454B2 (en) 2007-01-12 2015-05-26 Activevideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
US20090019492A1 (en) 2007-07-11 2009-01-15 United Video Properties, Inc. Systems and methods for mirroring and transcoding media content
US20090086095A1 (en) * 2007-09-28 2009-04-02 Gateway Inc. Method and apparatus for overlaying encoded streams
JP2010252215A (ja) * 2009-04-20 2010-11-04 Sony Ericsson Mobile Communications Ab 携帯端末、映像表示装置、および映像処理システム
US20110096699A1 (en) 2009-10-27 2011-04-28 Sakhamuri Srinivasa Media pipeline for a conferencing session
KR20110072970A (ko) 2009-12-23 2011-06-29 엘지전자 주식회사 영상표시장치 및 그 동작 방법
US9325929B2 (en) * 2010-04-29 2016-04-26 Ati Technologies Ulc Power management in multi-stream audio/video devices
US20120178380A1 (en) 2011-01-07 2012-07-12 Microsoft Corporation Wireless Communication Techniques
US20130148740A1 (en) 2011-12-09 2013-06-13 Qualcomm Incorporated Method and apparatus for processing partial video frame data
US20130148947A1 (en) * 2011-12-13 2013-06-13 Ati Technologies Ulc Video player with multiple grpahics processors
US10368108B2 (en) * 2011-12-21 2019-07-30 Ati Technologies Ulc Downstream video composition
KR101918040B1 (ko) * 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
JP2014027378A (ja) * 2012-07-25 2014-02-06 Hitachi Consumer Electronics Co Ltd 映像情報出力装置、映像情報出力方法、及び、システム
US8752113B1 (en) * 2013-03-15 2014-06-10 Wowza Media Systems, LLC Insertion of graphic overlays into a stream

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1145152A (zh) * 1994-12-14 1997-03-12 菲利浦电子有限公司 附加字幕的传输系统
CN101460992A (zh) * 2006-06-08 2009-06-17 高通股份有限公司 混合多个显示层
CN102656551A (zh) * 2009-12-14 2012-09-05 高通股份有限公司 用于视频显示系统的流送技术
CN103026713A (zh) * 2010-07-12 2013-04-03 皇家飞利浦电子股份有限公司 3d视频广播中的辅助数据
CN102377877A (zh) * 2010-08-13 2012-03-14 三星电子株式会社 便携式电子设备及其显示镜像方法
WO2012100197A1 (en) * 2011-01-21 2012-07-26 Qualcomm Incorporated User input back channel for wireless displays
WO2012106644A1 (en) * 2011-02-04 2012-08-09 Qualcomm Incorporated Low latency wireless display for graphics
US20130050254A1 (en) * 2011-08-31 2013-02-28 Texas Instruments Incorporated Hybrid video and graphics system with automatic content detection process, and other circuits, processes, and systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WI-FI ALLIANCE SPECIFICATION: "Wi-Fi Display Technical Specification Version 1.0.0", 《WI-FI DISPLAY TECHNICAL SPECIFICATION VERSION 1.0.0》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109417654A (zh) * 2016-05-03 2019-03-01 无线电广播技术研究所有限公司 用于mpeg-ts（传送流）兼容数据流的无线传输的传输装置
CN108200470A (zh) * 2017-12-20 2018-06-22 中国联合网络通信集团有限公司 一种视频码率调整方法及设备
CN109587712A (zh) * 2018-11-23 2019-04-05 南京极域信息科技有限公司 一种WiFi-Display性能优化方法
CN110392047A (zh) * 2019-07-02 2019-10-29 华为技术有限公司 数据传输方法、装置及设备
CN110740363A (zh) * 2019-10-25 2020-01-31 华为终端有限公司 投屏方法和系统、电子设备
WO2022252842A1 (zh) * 2021-05-31 2022-12-08 华为技术有限公司 一种媒体文件传输方法及装置

Also Published As

Publication number Publication date
US9716737B2 (en) 2017-07-25
US20140334381A1 (en) 2014-11-13
WO2014182411A1 (en) 2014-11-13
CN105191326B (zh) 2019-05-10
KR101810496B1 (ko) 2018-01-25
TW201445984A (zh) 2014-12-01
KR20160006190A (ko) 2016-01-18
TWI565310B (zh) 2017-01-01
JP2016521518A (ja) 2016-07-21
EP2995087A1 (en) 2016-03-16

Similar Documents

Publication Publication Date Title
CN105191326A (zh) 无线通信系统中的视频流送
US10045065B2 (en) Synchronization and control of overlay contents for video streaming in a wireless communication system
US20190007465A1 (en) Real-time placeshifting of media content to paired devices
KR101404493B1 (ko) 스펙트럼의 이용가능한 채널을 사용하는 데이터의 무선 송신
US9351028B2 (en) Wireless 3D streaming server
TW201116009A (en) Link management for multimedia content mobility
KR20130060266A (ko) 스트리밍 세션에서의 스위칭점 표시를 위한 방법 및 장치
US10034047B2 (en) Method and apparatus for outputting supplementary content from WFD
US9674499B2 (en) Compatible three-dimensional video communications
MX2015003591A (es) Dispositivo y metodo para procesamiento de imagen.
JP2021536163A (ja) サブピクチャ時限メタデータ情報をシグナリングするシステム及び方法
JP2021520711A (ja) 仮想現実アプリケーション用のサブピクチャコンポジション情報をシグナリングするためのシステム及び方法
JP7007293B2 (ja) Ｍｐｅｇ－ｔｓ（トランスポートストリーム）対応データストリームを無線伝送するための伝送装置
JP2021521676A (ja) 仮想現実アプリケーションにおいて特定のメッセージをシグナリングするためのシステム及び方法
WO2015193749A1 (en) Algorithm for pre-processing of video effects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant