CN111641849B - 通用镜像接收器 - Google Patents

通用镜像接收器 Download PDF

Info

Publication number
CN111641849B
CN111641849B CN202010486003.6A CN202010486003A CN111641849B CN 111641849 B CN111641849 B CN 111641849B CN 202010486003 A CN202010486003 A CN 202010486003A CN 111641849 B CN111641849 B CN 111641849B
Authority
CN
China
Prior art keywords
video
synchronized
audio
protocol
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010486003.6A
Other languages
English (en)
Other versions
CN111641849A (zh
Inventor
帕蒂克·库马尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pratik Kumar
Original Assignee
Pratik Kumar
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pratik Kumar filed Critical Pratik Kumar
Publication of CN111641849A publication Critical patent/CN111641849A/zh
Application granted granted Critical
Publication of CN111641849B publication Critical patent/CN111641849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种屏幕镜像接收设备，能够接收包含视听数据在内的镜像流，该镜像流符合供应商提供的不同屏幕镜像协议，同时这种屏幕镜像接收设备还能够对镜像流进行处理，供试听渲染。

Description

通用镜像接收器
相关申请的交叉引用
本申请书根据美国专利法第119条e款，提出2014年10月23日申请的美国的临时申请NO.62/067,845优先权，其全部内容并入本文。
相关的母案申请
本申请书为于2015年10月22日申请的题为“通用镜像接收器”的中国专利申请NO.201580057840.4的分案申请，其全部内容并入本文。
技术领域
本发明涉及从无线镜像，无线镜像经由多种类型的镜像协议从多种类型的设备平台(操作系统)，到能从设备接收镜像流的单一接收器实现。
背景技术
当前镜像技术的局限性在于异构操作系统平台(例如，
Figure GDA0003519238430000011
AndroidTM,
Figure GDA0003519238430000016
Figure GDA0003519238430000012
)无法将内容镜像到单内容接收器。
Figure GDA0003519238430000013
移动计算设备可以使用
Figure GDA0003519238430000018
Figure GDA0003519238430000014
协议将内容镜像到诸如Apple TV的设备，其可以连接到一个屏幕如一个电视机。同样，其他设备平台(例如Android，Windows)目前可以利用Chromecast，Google CastTM，
Figure GDA0003519238430000017
Figure GDA0003519238430000015
DNLA，Mirrorop和Airtame等技术来实现相关平台的镜像。
众所周知，人们通常需要从他们的计算设备来呈现内容。内容呈现的典型示例是一个用户将其计算机/笔记本电脑连接到会议室，教室或具有外部显示器的任何类型的场所的投影仪上。用户需要在外部显示器上显示其他设备的屏幕内容，或者通常可视化其设备的屏幕内容。外部显示器可以是投影仪，电视机或可连接到笔记本电脑/计算机的任何设备。这种情况需要笔记本电脑/计算机与电缆物理连接。在其他情况下，接收器或“接收设备”可以内置在/嵌入在TV或投影仪中，或者在加密狗运行的接收器软件中。当许多人出现时，从一个用户切换到另一个用户需要将电缆从一台笔记本电脑/计算机断开连接，并连接到需要呈现内容的人的笔记本电脑/计算机。这种呈现方法被认为是次优的，原因如下：断开和连接是物理操作，设备的声音不能投射到外部显示器上。一般来说，这些问题通过被称为屏幕镜像的技术来解决。
镜像是一组无线技术的总称，可帮助您将发送设备或计算机上看到和听到的内容投射到接收设备的显示器和扬声器。
Apple通过其
Figure GDA0003519238430000021
协议实现了镜像解决方案(http://en.wikipedia.org/wiki/AirPlay#AirPlay_Mirroring)。Apple的
Figure GDA0003519238430000022
(版本4S)和
Figure GDA0003519238430000023
移动设备(均运行iOS操作系统)都具有AirPlay发送设备的功能，并且Apple的
Figure GDA0003519238430000024
数字媒体扩展器是一个功能强大的接收器。Apple TV是一种硬件解决方案，而其他接收器(如AirServer)可以作为软件解决方案做相同的事情。AirPlay为了运行要求发送和接收设备连接到同一个无线网络。
使用Microsoft Windows或Google Android操作系统的其他供应商正在使用不同的解决方案，如Miracast(http://en.wikipedia.org/wiki/Miracast)或Chromecast(https://en.wikipedia.org/wiki/Chromecast)。为了镜像这些供应商的设备，需要一个可以使用Miracast或Chromecast功能的发送设备，例如Android移动计算设备(如手机或平板电脑)或Windows设备(如手机，平板电脑，笔记本电脑或台式机)和一个具有Miracast/Chromecast功能的接收器。这样的接收器可以是Miracast/Chromecast加密狗(插入电视机的HDMI端口的小型设备)或具有内置Miracast接收器的电视机。Miracast不要求为了运行，发送设备和接收器应连接到同一个无线网络。使用Miracast，可以直接从发送设备镜像到接收设备。
Apple TV和典型的Miracast接收设备每次只允许一个设备发送到接收器。没有允许AirPlay发送设备和Miracast发送设备同时连接到同一个接收器的解决方案。这是因为没有接收器能够同时从多个异构平台接收镜像。这需要用户决定是否仅使用AirPlay接收器镜像Apple iOS设备，或仅使用Miracast接收器来镜像Miracast发送设备。这样做的缺点是，如果选择使用基于AirPlay的接收器，那么具有Miracast功能的发送设备的用户将被排除在镜像之外，反之亦然。
需要一种允许单一内容接收器从多个异构平台接收镜像流的设备。虽然许多行业允许他们的员工“带自己的设备”(BYOD)工作，但是缺乏能够处理异构镜像流的接收器意味着并不是所有的设备都能被平等有效地使用。
发明内容
本发明是一种基于软件的解决方案，其接收多个同步的设备连接，并具有将数据流镜像到外部显示器的能力。本发明提供了镜像多个异构平台技术的能力，从而能够同时从这些平台接收镜像内容，包括同时连接许多设备的能力。异构计算设备的用户/所有者将能够同时(协同和比较)镜像内容(参与)，从而消除当前对异构计算设备的用户的限制。例如，在教室情况下，无论选择哪种计算设备和操作系统，所有用户都可以将内容镜像到投影机。本发明使得用户真正将自己的设备或选择的设备带入共享会话，并且解除了要求特定设备平台参与的限制。由于设备平台制造商的所有目标都是以这样的方式制造他们的平台，即排除了这一领域的竞争对手，本发明通过从平台制造商提供的各种技术，提供了在单个接收器中接受异构平台同时镜像内容的能力，消除了这些限制。
在第一实施例中，本发明涉及用于异构平台的接收器，包括第一协议处理器和第二协议处理器，第一协议处理器视频解码器，第二协议处理器视频解码器，多路分配器，音频渲染器，视频渲染器和视频布局管理器。视频布局管理器由图像定位模块，缩放模块和图像增强模块组成。本实施例包括连接各部件的连接装置。
在另一个实施方案中，本发明涉及一种方法，用于组合由平台制造商提供的“传输数据”/“网络包”至来自异构平台和协议的单一接收器接受镜像数据。该方法包括如前述实施例中所提供的准备本发明接收器的顺序步骤。在准备接收器之后，该方法继续通过接收器接收来自异构平台的至少两个视频信号和至少两个音频信号。从至少两个异构平台接收的视频信号与其相关联的音频信号同步。该方法通过同步发送同步的视频信号和音频信号到可用的输出设备(即视频渲染器和音频渲染器)来确定。
在另一个实施例中，本发明涉及计算机可读介质存储软件将，其将由平台制造商提供的“传输数据”/“网络包”组合到从异构平台接受的单一接收器中。该软件包括从异构平台接收至少两个视频信号并从异构平台接收至少两个音频信号的可执行代码，以及在接收器中同步来自异构平台的至少两个视频信号和音频信号的可执行代码。可执行代码将来自接收器中异构平台的至少两个视频信号的同步信号引导到视频渲染器(例如显卡)。此后，可执行代码将来自至少两个音频信号的同步信号同时分配给声音渲染器(例如声卡)。
附图说明
图1是本发明从第一和第二协议信号接收输入的一示例图；
图2示出了接收器经由多个协议接收信号的接收器，并将它们组合成由接收器的音频和视频渲染器呈现的单个视频和音频流；以及
图3示出了接收器的同时多视频处理。
具体实施方式
为了方便起见，本文中使用某些术语，并不作为对本发明的限制。术语包括具体提及的词，衍生词和近似关键词。本文讨论的实施例并不旨在是穷尽性的或将本发明限制为所公开的精确形式。选择和描述这些实施例以最好地解释本发明的原理及其应用和实际应用，并且使本领域技术人员能够最佳地利用本发明。
参考图1，在第一实施例中，本发明涉及对于输入信号和显示来说明本发明的装置。如图所示，接收器10提供了两个信号的变换，作为示例的目的，一个来自AirPlay设备，一个来自Miracast设备，用于在接收“镜像平台”的任何输出设备上呈现。然而，本领域技术人员将理解，接收器10可以处理大于2的数量的多个信号。
参考图2和图3，在第一实施例中，本发明涉及一个包括第一协议处理器12A和第二协议处理器12B的异构平台的接收器10；分别如本实施例“AirPlay Protocol Handler”和“Miracast Protocol Handler”所示。额外的异构平台需要额外的协议处理程序。因为每个协议可能显着不同，所以需要每个新协议的单独的协议处理程序，例如，如何传输音频和视频。一些协议使用相同的传输机制(如在在Miracast的情况下)传送使它“加入”或“多路复用，”而其他(如AirPlay)则使用独立的音频和视频传输机制。协议处理器12A和12B包括唯一的软件代码，其识别正在发送的协议，并且选择适当的会话模式，类似于一个人听到一种语言并且切换到该语言以便进行交谈。该代码通过协议与远程设备支持“对话”。本领域技术人员将理解，协议(AirPlay和Miracast)是“口头语言；”每个协议是一种“口语”。很像一种语言是一个人的“口语”本地语言；一个人可以学习其他语言(非本地语言)，因此可以说多种语言。“口语”是一种本地和非本地语言的协议；例如AirPlay来自AppleTM，Miracast来自Wi-Fi AllianceTM。
在本发明中，该软件具有以下能力：1)识别每个输入信号的语言(协议)，以及2)(基于该协议)调整以提供必要的顺序步骤，从多个发送协议中支持所得到的“镜像”。本发明的核心是镜像来自多个发送者的信号。然而，本领域技术人员将认识到无法阻止设备将其输出引导到多个接收者。根据本文档中的信息的范围，本发明的概念包括对多个接收者的镜像。
第一协议处理器12A向第一协议处理器视频解码器14A发射视频流，并将音频流发送到音频解码器15A，音频解码器连接到第一协议处理器12A的输出，“音频+时间同步”。因此，音频和视频已经分离并具有相关联的时间同步信息。然后由运行本发明的计算装置的内部时钟使用时间同步，这确保了当视频和音频渲染器(例如，在屏幕上显示或在扬声器中播放)处理时，视频和音频被正确同步。如图所示，如果包括附加协议的所有其他音频，两个音频流都通过音频渲染器。
第二协议处理器12B将多路复用的信号发射到多路分配器18。复用的信号包含潜在的多个流，通常是音频流和视频流。“多路分配器”是将输入信号分离成单独的数据流的模块。多路分配器选择几个模拟或数字输入信号中的一个，并将所选择的输入信号转发到单个线路中。每个数据“包，”作为多路复用信号中的复用音频或视频帧，将具有一个标识符，用于指定其属于哪些流。图中示出了一个“音频解码器”模块15B，其连接到标示为“音频+时间同步”的多路分配器18“输出”。如图所示，AirPlay和Miracast的路径是不同的，因为每个协议可以通过单个传输机制(例如Miracast)，或者使用单独的音频和视频传输机制(例如Airplay)传输音频和视频。在单个传输机制的情况下，需要多路分配器将音频和视频分离成两个流。
多路分配器18将视频流发送到第二协议处理器视频解码器14B，并将音频流发送到音频解码器15B，然后将其发送到音频渲染器16。第一协议处理器视频解码器14A和第二协议处理器视频解码器14B中的每个都向视频布局管理器20提交数据流。
如图3所示，视频布局管理器20接收两个信号(每个信号包含视频帧)，但仅发射一个信号。作为一个单元，视频布局管理器20集成多个组件，包括图像定位模块112，其从第一协议处理器视频解码器14A接收视频流，并从第二协议处理器视频解码器14B接收视频流。缩放模块114和图像增强模块116从图像定位模块112接收单个发射的数据流。
本发明的接收器识别“观看设备”的显示区域，例如电视或显示器等，可用于显示组合的(单流)最终图像。图像定位模块112布置输入视频信号的布局，使得它们有效地使用可用空间(输出视频信号的水平和垂直分辨率)。在两个设备的情况下，在宽高比为16：9的普通显示器上，一个视频信号将呈现在左侧，另一个在右侧。如果第三个设备连接，每个设备将被显示在同一行上，或者可能会添加一个新行，其中两个信号显示在第一行(一个到左边，另一个在右边)，并第三个信号显示在第二行中。软件的算法将输入信号视为具有平方分辨率(使用较大的宽度或高度)，以便允许设备在屏幕上自由旋转，而不会导致其他设备显示区域在最终输出中移动。
如图3所示，从图像定位模块112到缩放模块114的单个发射流具有“位置优化的全分辨率图像帧，”并且此后发射到图像增强模块116。总的来说，如图3所示，图像定位模块112，缩放模块114和图像增强模块116总体上被称为“视频布局管理器”。当一个新的连接通过向协议处理器12A，12B发送信号并将它传输而建立时，协议处理器12A，12B通知图像定位模块112新的视频流的分辨率。协议处理器12A，12B也在设备断开时通知图像定位模块112。这些连接和中断事件会导致新的布局，以便将输入视频流定位在最终显示中。
再次参考图2，来自视频布局管理器20的单个发射流被引导到视频渲染器22。
如所讨论的，本领域技术人员将认识到，本实施例示出了两个输入连接，但是可以包括多个输入连接，允许接收器充当无限数量设备的数据流的通道。
现在将在附加实施例中描述本发明，其中相同的附图标记旨在说明相似的特征。
如图2所示，在另一个实施例中，本发明涉及一种方法，用于将由平台制造商提供的“传输数据”/“网络包”组合成从异构平台接受的单一接收器。该方法包括准备前一实施例的接收器的连序步骤。在准备接收器之后，该方法通过接收器从异构平台接收至少两个视频信号并且从异构平台接收至少两个音频信号而继续。来自异构平台的至少两个视频信号与其在接收器中的音频信号同步，其中所述同步信号接收器中的异构平台中的至少两个视频信号和音频信号从引导到视频渲染器和声音渲染器。该方法通过将同步的视频信号和音频信号同时分配给可用的渲染器(例如，显示器，连接的投影仪，扬声器和耳机)来确定。
在另一个实施例中，本发明涉及计算机可读介质存储软件，将由平台制造商提供的“传输数据”/“网络包”组合成从异构平台接受的单一接收器。该软件包括可执行代码，可执行代码由接收器从异构平台接收至少两个视频信号并从异构平台接收至少两个音频信号。可执行代码使来自接收器中异构平台的视频信号和音频信号同步，并将来自接收器中异构平台的至少两个视频信号的同步信号引导到视频渲染器(例如显卡)。可执行代码将来自至少两个音频信号的同步信号同时分配给声音渲染器(例如声卡)。
示例
如本文所讨论的，并如图1、图2和图3的非限制性示例中所示，接收器10提供两个信号的转换，一个来自AirPlay，一个来自Miracast，用于在任何设备上呈现以接收“镜像平台”。在接收器10内，该方法具有由软件代码引导的多个步骤，软件代码在诸如PC，Mac的计算机设备，computing stick或能够执行计算机代码以执行该转换的任何平台的计算设备上执行。本发明提供一种接收器，其能够从独立于其类型的任何类型的设备上接收镜像。因此，如图1、图2和图3所示，本发明允许具有Miracast功能的发送设备和具有AirPlay功能的发送设备，同时镜像到外部显示器。接收器的用户不限于从任何特定类型的设备进行镜像，因此用户可以将他们的个人设备带到会议，学校或需要内容的任何情况。本发明的视频输出信号针对在软件设置中选择的“显示器”。通常，这是物理设备，例如连接到运行软件的计算机的显示器或投影仪。音频信号被引导到在软件设置中选择的“输出”设备。通常，这是声卡上的扬声器输出。
本发明提供了与多种类型的设备交互的能力。更具体地说，具有iOS设备的用户，具有Android设备的用户，以及具有Windows设备的用户可以同时使用本发明将其内容镜像到外部显示器；其在商业上名为AirServer UniversalTM。
提供有益情况的本发明的另一个例子是教室设置。老师具有一个设备，通过镜像与学生共享信息。学生有自己的设备，并且可以通过镜像同时分享他们的屏幕(例如，可能包含学校作业的解决方案)。没有AirServer UniversalTM，他们都需要决定使用一种类型的设备来实现这一点。借助AirServer UniversalTM，学生可以选择自己的设备(iOS，Windows，Android设备)，对于谁可以镜像到外部显示器上没有任何限制。
另外一个例子可以涉及到医疗保健领域，其中两个保健专业人员对于一个患者交换意见，如具有两种不同类型装置的X射线，现在可以在大屏幕上并排比较。此外，本领域技术人员将理解，本发明将允许“叠加”多种类型的图像的能力，例如，X射线，用于比较目的。更具体地，本发明将允许多个图像被“重叠，”以便根据大小或时间来观察恶化的进展，例如，肿瘤大小的进展或细胞数量的增加。
本发明的另一个应用是游戏领域，其中计算机游戏的两个或更多个玩家可以同时从他们的设备投射他们的游戏会话，以便比较或娱乐观众。
另一个例子可以在软件开发领域找到，其中两个或多个软件开发者/设计人员进行交互以参与用户交互的参考设计，并确保设计工作正常，或者通过在另一个平台上将相同软件的实现旁边的一个设备的参考设计进行镜像来设计。这是在使用本发明的软件质量保证测试中进行的。
本领域技术人员将理解，在不脱离其广泛的发明构思的情况下，可以对上述实施例进行改变。因此，应当理解，本发明不限于所公开的特定实施例，而是旨在覆盖由所附权利要求限定的本发明的精神和范围内的修改。

Claims (20)

1.一种屏幕镜像接收器，能够接收和处理来自第一设备的第一镜像流和来自第二设备的第二镜像流，所述第一镜像流和所述第二镜像流符合供应商提供的不同屏幕镜像协议，所述屏幕镜像接收器包括：
一第一协议句柄，其被配置为确定所述第一镜像流的第一屏幕镜像协议；
一第一解码器，其可操作地连接至所述第一协议句柄，并被配置为接收第一视频数据和第一音频数据，所述第一视频数据和所述第一音频数据来自所述第一镜像流，所述第一解码器还被配置为产生同步的第一视频输出和同步的第一音频输出，
其中所述同步的第一视频输出和所述同步的第一音频输出保持彼此时间上的同步；
一第二协议句柄，其被配置为确定所述第二镜像流的屏幕镜像协议；
一第二解码器，其可操作地连接至所述第二协议句柄，并被配置为接收第二视频数据和第二音频数据，所述第二视频数据和所述第二音频数据来自所述第二镜像流，所述第二解码器还被配置为产生同步的第二视频输出和同步的第二音频输出，其中所述同步的第二视频输出和所述同步的第二音频输出保持彼此时间上的同步；以及
一视频布局管理器，与所述第一解码器和所述第二解码器连接，并被配置为接收所述同步的第一视频输出和所述同步的第二视频输出，并根据所述第一视频输出和所述第二视频输出产生一单个组合的视频信号，用于传输到显示器；
其中所述第一解码器被配置为将所述同步的第一音频输出传输到一音频渲染器，所述第二解码器则被配置为将所述同步的第二音频输出传输到所述音频渲染器。
2.如权利要求1所述的屏幕镜像接收器，其特征在于，所述同步的第一视频输出包含与所述第一视频数据有关的视频帧。
3.如权利要求2所述的屏幕镜像接收器，其特征在于，所述同步的第二视频输出包含与所述第二视频数据有关的视频帧。
4.根据权利要求1所述的屏幕镜像接收器，其特征在于，所述视频布局管理器接收与所述第一视频数据有关的第一流方向信息和接收与所述第二视频数据有关的第二流方向信息。
5.根据权利要求1所述的屏幕镜像接收器，其特征在于，还包括一多路分配器，其与所述第二协议句柄和所述第二解码器连接，所述多路分配器接收与所述第二镜像流有关的多路复用的视听信号，同时分离所述多路复用的视听信号，以产生所述第二视频数据和所述第二音频数据。
6.根据权利要求5所述的屏幕镜像接收器，其特征在于，所述第二音频数据包含时间同步信息。
7.根据权利要求1所述的屏幕镜像接收器，其特征在于，所述供应商提供的不同屏幕镜像协议选自AirPlay协议、Miracast协议和Google Cast协议。
8.一种屏幕镜像系统，能够接收和处理来自第一设备的第一镜像流和来自第二设备的第二镜像流，所述第一镜像流和所述第二镜像流符合供应商提供的不同屏幕镜像协议，所述屏幕镜像系统包括：
一第一协议句柄，其被配置为确定所述第一镜像流的屏幕镜像协议；
一第一解码器，其可操作地连接至所述第一协议句柄，并被配置为接收第一视频数据和第一音频数据，所述第一视频数据和所述第一音频数据来自所述第一镜像流，所述第一解码器还被配置为产生同步的第一视频输出和同步的第一音频输出，
其中所述同步的第一视频输出和所述同步的第一音频输出保持彼此时间上的同步；
一第二协议句柄，其被配置为确定所述第二镜像流的屏幕镜像协议；
一第二解码器，其可操作地连接至所述第二协议句柄，并被配置为接收第二视频数据和第二音频数据，所述第二视频数据和所述第二音频数据来自所述第二镜像流，所述第二解码器还被配置为产生同步的第二视频输出和同步的第二音频输出，其中所述同步的第二视频输出和所述同步的第二音频输出保持彼此时间上的同步；
一视频布局管理器，与所述第一解码器和所述第二解码器连接，并被配置为接收所述同步的第一视频输出和所述同步的第二视频输出，并根据所述第一视频输出和所述第二视频输出产生一单个组合的视频信号；
一显示器，与所述视频布局管理器连接，且被配置为接收所述单个组合的视频信号；以及
一音频渲染器，与所述第一解码器和所述第二解码器连接，所述音频渲染器接收所述同步的第一音频信号和所述同步的第二音频信号；
其中使用所述单个组合的视频信号和所述同步的第一和第二音频信号，所述屏幕镜像系统生成来自所述第一设备的所述第一镜像流中的第一内容和来自所述第二设备的所述第二镜像流中的第二内容的一视听渲染。
9.根据权利要求8所述的屏幕镜像系统，其特征在于，所述同步的第一视频输出包含与所述第一视频数据有关的一视频帧。
10.根据权利要求9所述的屏幕镜像系统，其特征在于，所述同步的第二视频输出包含与所述第二视频数据有关的一视频帧。
11.根据权利要求8所述的屏幕镜像系统，其特征在于，所述视频布局管理器接收与所述第一视频数据有关的第一流方向信息和接收与所述第二视频数据有关的第二流方向信息。
12.根据权利要求8所述的屏幕镜像系统，其特征在于，还包括一多路分配器，其与所述第二协议句柄和所述第二解码器连接，所述多路分配器接收与所述第二镜像流有关的多路复用的视听信号，并分离所述多路复用的视听信号，以生成所述第二视频数据和所述第二音频数据。
13.根据权利要求12所述的屏幕镜像系统，其特征在于，所述第二音频数据包含时间同步信息。
14.根据权利要求8所述的屏幕镜像系统，其特征在于，所述供应商提供的不同屏幕镜像协议选自AirPlay协议、Miracast协议和Google Cast协议。
15.一种屏幕镜像镜像流的方法，包括：
接收来自第一设备的第一镜像流和来自第二设备的第二镜像流，所述第一镜像流和所述第二镜像流符合供应商提供的不同屏幕镜像协议；
通过第一协议句柄确定所述第一镜像流的屏幕镜像协议；
获得来自所述第一镜像流的第一视频数据和第一音频数据；
由第一解码器接收所述第一视频数据和所述第一音频数据；
通过所述第一解码器解码所述第一视频数据和所述第一音频数据；
通过所述第一解码器生成同步的第一视频输出和同步的第一音频输出，
其中所述同步的第一视频输出和所述同步的第一音频输出保持彼此时间上的同步；
通过第二协议句柄确定所述第二镜像流的屏幕镜像协议；
获得来自所述第二镜像流的第二视频数据和第二音频数据；
由第二解码器接收所述第二视频数据和所述第二音频数据；
通过所述第二解码器解码所述第二视频数据和所述第二音频数据；
通过所述第二解码器生成同步的第二视频输出和同步的第二音频输出，其中所述同步的第二视频输出和所述同步的第二音频输出保持彼此时间上的同步；
通过视频布局管理器接收所述同步的第一视频输出和所述同步的第二视频输出；
通过所述布局管理器生成一单个组合的视频信号；
通过观察设备显示所述单个组合的视频信号；以及
通过音频渲染器对所述同步的第一和第二音频信号进行声音渲染；
其中对来自所述第一设备的所述第一镜像流中的第一内容和来自所述第二设备的所述第二镜像流中的第二内容进行镜像。
16.根据权利要求15所述的方法，其特征在于，所述同步的第一视频输出和所述同步的第二视频输出中的至少一个包含一视频帧。
17.根据权利要求15所述的方法，其特征在于，通过视频布局管理器接收所述同步的第一视频输出和所述同步的第二视频输出的步骤还包括接收与所述第一视频数据有关的第一流方向信息和接收与所述第二视频数据有关的第二流方向信息。
18.根据权利要求15所述的方法，其特征在于，还包括以下步骤：
a. 由多路分配器从所述第二协议句柄接收与所述第二镜像流有关的多路复用的视听信号；以及
b. 通过多路分配器分离所述多路复用的视听信号，以生成所述第二视频数据和所述第二音频数据。
19.根据权利要求18所述的方法，其特征在于，所述第二音频数据包含时间同步信息。
20.根据权利要求15所述的方法，其特征在于，所述供应商提供的不同屏幕镜像协议选自AirPlay协议、Miracast协议和Google Cast协议。
CN202010486003.6A 2014-10-23 2015-10-22 通用镜像接收器 Active CN111641849B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462067845P 2014-10-23 2014-10-23
US62/067,845 2014-10-23
PCT/IB2015/002155 WO2016071753A1 (en) 2014-10-23 2015-10-22 Universal mirroring receiver and associated method and computer-readable medium
CN201580057840.4A CN107005681B (zh) 2014-10-23 2015-10-22 通用镜像接收器

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580057840.4A Division CN107005681B (zh) 2014-10-23 2015-10-22 通用镜像接收器

Publications (2)

Publication Number Publication Date
CN111641849A CN111641849A (zh) 2020-09-08
CN111641849B true CN111641849B (zh) 2022-07-22

Family

ID=55908654

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010486003.6A Active CN111641849B (zh) 2014-10-23 2015-10-22 通用镜像接收器
CN201580057840.4A Active CN107005681B (zh) 2014-10-23 2015-10-22 通用镜像接收器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580057840.4A Active CN107005681B (zh) 2014-10-23 2015-10-22 通用镜像接收器

Country Status (4)

Country Link
US (4) US10587909B2 (zh)
EP (1) EP3210375A4 (zh)
CN (2) CN111641849B (zh)
WO (1) WO2016071753A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322673B (zh) * 2018-01-24 2021-08-10 北京小米移动软件有限公司 视频生成方法和视频生成装置
CN108882010A (zh) * 2018-06-29 2018-11-23 深圳市九洲电器有限公司 一种多屏播放的方法及系统
EP3925229A4 (en) * 2019-06-26 2022-03-30 Samsung Electronics Co., Ltd. DISPLAY DEVICE AND CONTROL METHOD THEREOF
TWI742394B (zh) * 2019-07-03 2021-10-11 神雲科技股份有限公司 伺服器
CN118210391A (zh) * 2022-12-15 2024-06-18 技嘉科技股份有限公司 电脑装置及显示装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203732B2 (en) * 1999-11-11 2007-04-10 Miralink Corporation Flexible remote data mirroring
US7400752B2 (en) * 2002-02-21 2008-07-15 Alcon Manufacturing, Ltd. Video overlay system for surgical apparatus
US9413799B2 (en) * 2007-01-27 2016-08-09 Blackfire Research Corporation Broadcasting media from a stationary source to multiple mobile devices over wi-fi
EP1879382B1 (en) * 2006-07-10 2017-09-06 Samsung Electronics Co., Ltd. Multi-screen display apparatus and method for digital broadcast receiver
WO2008153067A1 (ja) * 2007-06-11 2008-12-18 Sharp Kabushiki Kaisha コンテンツ配信装置、プログラム、および記録媒体
US8599311B2 (en) * 2011-07-14 2013-12-03 Amimon Ltd. Methods circuits devices and systems for transmission and display of video
US20140012999A1 (en) * 2011-08-24 2014-01-09 Awind Inc. Method of establishing paid connection using screen mirroring application between multi- platforms
US9014075B2 (en) * 2011-10-13 2015-04-21 Alcatel Lucent Wide area mirroring router
US9386392B2 (en) * 2012-06-21 2016-07-05 Cue, Inc. Media content control module and presentation device
US9137281B2 (en) * 2012-06-22 2015-09-15 Guest Tek Interactive Entertainment Ltd. Dynamically enabling guest device supporting network-based media sharing protocol to share media content over local area computer network of lodging establishment with subset of in-room media devices connected thereto
US9176703B2 (en) * 2012-06-29 2015-11-03 Lg Electronics Inc. Mobile terminal and method of controlling the same for screen capture
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
EP2720470B1 (en) * 2012-10-12 2018-01-17 Sling Media, Inc. Aggregated control and presentation of media content from multiple sources
US20140156801A1 (en) * 2012-12-04 2014-06-05 Mobitv, Inc. Cowatching and connected platforms using a push architecture
US9230513B2 (en) * 2013-03-15 2016-01-05 Lenovo (Singapore) Pte. Ltd. Apparatus, system and method for cooperatively presenting multiple media signals via multiple media outputs
US9357238B2 (en) * 2013-03-26 2016-05-31 Eric Lee Rock Video data extension system and method
CN103200396B (zh) * 2013-04-09 2016-05-04 广州瀚阳工程咨询有限公司 基于信息展示平台的实时视频流显示方法及系统
CN203352726U (zh) * 2013-06-26 2013-12-18 深圳市锦锐科技有限公司 一种基于DLNA/Airplay/Miracast无线技术的音/视频播放器
WO2015012795A1 (en) * 2013-07-22 2015-01-29 Intel Corporation Coordinated content distribution to multiple display receivers
CN103618941B (zh) * 2013-12-13 2017-02-01 惠州市特纳电子有限公司 一种基于多屏互动的交互式系统及方法
US8843178B1 (en) * 2014-01-28 2014-09-23 Gigastone America Corp Wireless hotspot device capable of sharing video picture
CN104954847B (zh) * 2014-03-25 2018-04-10 扬智科技股份有限公司 视频流处理装置、镜像视频显示方法及显示装置
CN106162767A (zh) * 2015-04-20 2016-11-23 宇龙计算机通信科技(深圳)有限公司 通话管理方法、装置及多系统终端
CN106412646B (zh) * 2015-07-27 2020-06-02 中兴通讯股份有限公司 一种实现同步播放的方法和装置

Also Published As

Publication number Publication date
EP3210375A4 (en) 2018-08-22
US10958967B2 (en) 2021-03-23
US10587909B2 (en) 2020-03-10
US20210211765A1 (en) 2021-07-08
EP3210375A1 (en) 2017-08-30
CN107005681A (zh) 2017-08-01
US11425447B2 (en) 2022-08-23
WO2016071753A1 (en) 2016-05-12
CN107005681B (zh) 2020-05-29
US20200221164A1 (en) 2020-07-09
CN111641849A (zh) 2020-09-08
US20220408149A1 (en) 2022-12-22
US20180070127A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
US10958967B2 (en) Universal mirroring receiver
KR101326739B1 (ko) 정보처리 시스템 및 정보처리 장치
CN101291417B (zh) 一种视频会议系统的轮询方法和系统
CN109348160B (zh) 用于会议的电子工具和方法
US10038879B2 (en) Bi-directional virtual reality system
US20140118468A1 (en) Method and system for adapting a television for multimedia conferencing
WO2011140812A1 (zh) 多画面合成方法、系统及媒体处理装置
US9485596B2 (en) Utilizing a smartphone during a public address system session
US10231051B2 (en) Integration of a smartphone and smart conference system
CN109753259B (zh) 一种投屏系统及控制方法
JP6535431B2 (ja) 会議システム、共有表示装置に対する表示方法および切換装置
EP2590360B1 (en) Multi-point sound mixing method, apparatus and system
WO2015003532A1 (zh) 多媒体会议的建立方法、装置及系统
JP2005286972A (ja) 多地点会議接続システム、並びに多地点会議接続方法
CN114125358A (zh) 云会议字幕显示方法、系统、装置、电子设备和存储介质
JP2003339034A (ja) ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム
EP4191952B1 (en) Virtual online conference system and conference method
Shimizu et al. Live surgery broadcast from Japan to South Africa: High-quality image transmission over a high-speed academic network
WO2016006139A1 (ja) 映像提供システムおよびプログラム
WO2015078165A1 (zh) 显示处理方法及装置、显示系统
Dawson At the present time
CN116389780A (zh) 一种多直播流同步方法及装置
Bolei et al. Evolving methods of human interactions
JP2002010231A (ja) ビデオ画像配信システム及びテレビ会議システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant