CN106028066A - 分布式媒体流同步控制 - Google Patents

分布式媒体流同步控制 Download PDF

Info

Publication number
CN106028066A
CN106028066A CN201610104681.5A CN201610104681A CN106028066A CN 106028066 A CN106028066 A CN 106028066A CN 201610104681 A CN201610104681 A CN 201610104681A CN 106028066 A CN106028066 A CN 106028066A
Authority
CN
China
Prior art keywords
pts
video
timing error
packet
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610104681.5A
Other languages
English (en)
Other versions
CN106028066B (zh
Inventor
S·J·劳伦斯
R·安咖迪玛尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106028066A publication Critical patent/CN106028066A/zh
Application granted granted Critical
Publication of CN106028066B publication Critical patent/CN106028066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

下面描述用于通过在内容源和汇之间的直接无线链路接收的音频和视频数据流的无线显示同步的一种或多种系统、装置、方法和计算机可读介质。在一些实施方式中，与在源处把数字音频和数字视频数据流编码成经压缩分组数据流相关联的展现时间戳(PTS)被用作在汇处展现的数字音频和视频流有效载荷的同步的控制点。在一些实施方式中，基于指示显示同步错误的反馈信号确定一个或多个无线显示同步PTS值。包括光学照相机的源可以生成由多路复用器用无线显示同步PTS值来编码和分组的音频/视频(A/V)流。在进一步的实施方式中，在源和汇中的一种或多种处提供媒体同步用户输入界面。

Description

分布式媒体流同步控制
背景技术
随着移动设备的增加和无线联网的流行，无线显示能力正经历快速增长。在无线显示技术中，在源设备和汇显示设备之间的无线链路代替了在计算机和监视器之间的典型数据电缆。无线显示协议通常是对等或“直接”的，且大多数使用模型具有发射媒体内容的移动设备，媒体内容由一个或多个外部监视器接收和显示。在典型的抓屏(screencasting)应用中，例如，智能手机可以无线耦合到一个或多个外部监视器、显示面板、电视、投影仪等等。
已经开发了无线显示规范(例如，英特尔公司的WiDi v3.5和来自Wi-Fi联盟的Miracast计划的Wi-Fi显示器v1.0或WFD)，用于在具有足够带宽的无线局域网上传输经压缩视频数据和音频数据流。例如，当前的无线显示技术利用了能够流传播经编码全高清视频数据以及高保真度音频数据(例如，5.1环绕)的WiFi技术(例如，2.4GHz和5GHz无线电频段)。
对于媒体内容的无线和有线传输两者，在由接收显示(汇)设备解码和展现视频和音频数据时，所展现的视频信号的时序可能偏离所展现的音频信号的时序(timing)。这种时序差异或失配通常被称为“唇形同步(lip sync)”错误，这是因为在内容表示人说话时无线显示器用户的最容易明显看出这种错误。唇形同步错误可以被量化为音频偏离与视频的理想同步的时间量，其中正时间量指示音频领先于视频，且负数指示音频滞后于视频。唇形同步错误可以随时间改变，例如在传输期间A/V流恶化时发生。在50毫秒和几秒之间的唇形同步错误并不罕见。
特定的有线媒体内容接收器，例如兼容于高清媒体接口(HDMI)标准(例如，2013年9月4日发布的2.0)的接收器，包括了唇形同步功能，通过该功能，可以自动地调整音频处理时间以便消除音频/视频时序中的错误。然而，迄今为止，无线显示技术仍缺乏充分解决唇形同步问题的能力。
附图说明
作为示例而非限制在附图中阐释在此描述的资料。出于阐释的简单和清晰起见，并不必定按比例绘制各图中阐释的元素。例如，为了清晰起见，可以把一些元素的尺度相对于其他元素而放大。进一步，在认为合适的场合，在各图当中已经重复了参考标签，以便指示相应的或相似的元素。各图中：
图1是描述根据一些实施方式包括同步控制的无线显示系统示意图；
图2A是描述根据一些实施方式包括具有无线显示同步控制的视频捕捉平台的无线显示系统的示意图；
图2B是描述根据一些实施方式包括具有无线显示同步控制的视频转播(relay)平台的无线显示系统的示意图；
图3是描述根据一些实施方式用于无线显示同步控制的方法的流程图；
图4A是阐释根据一些实施方式同步经编码音频和视频流的方法的流程图；
图4B是阐释根据一些实施方式的数字音频和视频内容分组结构的示意图；
图5是阐释根据一些实施方式在同步用户输入和展现时间戳修改之间的映射的示意图；
图6是根据各实施方式的视频捕捉设备的功能框图；
图7是根据一些实施方式的数据处理系统的框图；
图8是根据一些实施方式包括展现时间戳修改模块的示例性超低功率系统的图；以及
图9是根据一些实施方式安排的示例性移动手持机平台的图。
具体实施方式
参考附图描述一种或多种实施方式。尽管详细描述和讨论了特定的配置和布置，但应理解，这样做仅仅是出于说明性目的。相关领域中的技术人员将认识到，在部偏离本描述的前体下，其他配置和布置也是可能的。相关领域中的技术人员将明显看出，在此描述的技术和/或布置可以用于在此详细描述的内容之外的各种其他系统和应用。
在下列详细描述中参考了附图，附图形成下列详细描述的一部分，且阐释示例性的实施方式。进一步，应理解，可以利用其他实施方式，且可以在不偏离所要求保护的主题的范围的前提下做出结构和/或逻辑改变。因此，不应以限制意义来理解下列详细描述，且由所附权利要求和它们的等效物单独地界定所要求保护的主题的范围。
在下列描述中，陈述了众多细节，然而，本领域中的技术人员将明显看出，无需这些特定的细节就可以实践各实施方式。以框图形式而非详细示出公知的方法和设备，以免模糊更显著的方面。贯穿本说明书对“一种实施方式”或“一种实施方式”的引用意指在至少一种实施方式中包括结合该实施方式描述的具体的特征、结构、功能或特性。因而，贯穿本说明书各种场所出现短语“在一种实施方式中”或“在一种实施方式中”并不一定都是指相同的实施方式。此外，在一种或多种实施方式中，可以以任何合适方式组合在一种实施方式的上下文中描述的具体的特征、结构、功能或特性。例如，在与两种实施方式相关联的具体的特征、结构、功能或特性彼此不排斥的任何地方，第一实施方式可以与第二实施方式组合。
除非上下文明确另外指出，否则示例性实施方式和所附权利要求的描述中所使用的单数形式“一个”、“一种”和“所述”预期也包括复数形式。还应理解，在此所使用的术语“和/或”是指且包括关联的列出项中的一个或多个的任何和所有可能的组合。
贯穿本描述且在权利要求中所使用的，由术语“……中的至少之一”或“……中的一个或多个”结合起来的各项的列表可以意指所列出的项的任何组合。例如，短语“A、B或C中的至少之一”可以意指A；B；C；A和B；A和C；B和C；或A、B和C。
在此可以使用术语“耦合”和“连接”以及它们的派生词来描述在各组件之间的功能或结构关系。应理解，这些术语预期是彼此的同义词。相反，在特定的实施方式中，“连接”可以用来表示两个或更多个元素彼此处于直接的物理、光学或电气接触。“耦合”可以用来表示两个或更多个元素彼此处于直接或非直接(在它们之间有其他中间元素)的物理、光学或电气接触，以及/或者两个或更多个元素协同操作或彼此交互(例如，存在因果关系)。
按照对在计算机存储器内的数据比特的操作的算法和符号表示来展现在此提供的详细描述的一些部分。从下列讨论明显看出，除非另外具体说明，应明白，贯穿本描述，利用诸如“计算”、“计算”、“确定”、“估计”、“存储”、“收集”、“显示”、“接收”、“合并”、“生成”、“更新”等等之类的术语的讨论是指计算机系统或类似电子计算设备的动作和过程，这些动作和过程把被表示为在包括寄存器和存储器的计算机系统电路内的物理(电子)量的数据操纵和变换成类似地被表示为在计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
尽管下列描述陈述了可以用诸如例如的片上系统(SoC)体系结构的体系结构表示的实施方式，但在此描述的技术和/或布置的实现不限于特定的体系结构和/或计算系统，且可以由用于类似目的的任何体系结构和/或计算系统来实现。采用例如多个集成电路(IC)芯片和/或封装的各种体系结构，和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消费者电子(CE)设备，都可以实现在此描述的技术和/或布置。进一步，尽管下列描述可以陈述众多特定的细节例如逻辑实现、系统组件的类型和相互关系、逻辑划分/集成选择等等，但无需这样的特定细节就可以实践所要求保护的本主题。此外，可以不详细示出诸如例如控制结构和全软件指令序列的一些材料，以免模糊在此公开的材料。
在此公开的材料的某些部分可以用硬件实现，例如实现为图像处理器中的逻辑电路。某些其他部分可以用硬件、固件、软件或其任何组合来实现。在此公开的材料中的至少一些也可以被实现为存储在机器可读介质上的指令，这些指令可以由一个或多个处理器(图形处理器和/或中央处理器)读取和执行。机器可读介质可以包括用于以机器(例如，计算设备)可读的形式存储或传输信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪速存储器设备；电、光、声或其他类似的非暂态有形的介质。
下面描述用于通过在内容源(source)和汇(sink)之间的直接无线链路所接收的音频和视频数据流的无线显示同步(sync)的示例性系统、方法和计算机可读介质。在一些实施方式中，与在源处将数字音频和数字视频数据流编码成经压缩分组数据流相关联的展现时间戳(PTS)被用作在汇处展现的数字音频和视频流有效载荷的同步的控制点。借助于在源设备处施加的展现时间同步控制的努力，接收设备仅需要兼容于标准化编解码器，允许显示器相对于展现同步调整算法而言是“沉默的”(dumb)。
在一些实施方式中，一个或多个指示显示同步错误的反馈信号被接收和映射到一个或多个PTS调整值，这些PTS调整值被应用到一个或多个参考PTS值，以便得到一个或多个无线显示同步PTS值。在一些实施方式中，包括光学照相机的源生成音频/视频(A/V)流，其被输入到压缩A/V流的编码器中。多路复用器把经压缩A/V流分包成包括无线显示同步PTS值的容器(container)。在进一步的实施方式中，在源和汇中的一者或多者处提供媒体同步用户输入界面，通过该接口可以接收用于给定传输的指示显示同步错误的反馈信号。
图1是描述根据一些实施方式包括A/V流同步控制的无线显示系统的示意图。该系统包括通过网络链路107直接耦合或“配对”到A/V显示(汇)设备150的A/V源设备105。在示例性的实施方式中，链路107是无线链路，然而，在一些备选的实施方式中链路107可以是有线链路。源设备105可以是可操作(operable)以设置音频和视频展现时间的任何设备。在说明性实施方式中，A/V源设备105包括音频编码器115和视频编码器120。编码器115、120分别接收数字音频数据和数字视频数据输入。任何上游源都可以提供这些输入。编码器115、120分别输出原始经压缩(经编码)数字音频数据流和数字视频数据流，作为输入的表示。编码器115、120可以实现已知用于执行变换、量化、运动补偿预测、循环滤波等等中的一种或多种的任何编解码器。在一些实施方式中，音频编码器120兼容于一个或多个线性的脉冲代码调制(LPCM)规范，例如但不限于数字杜比AC-3、杜比TrueHD或高级音频编码(AAC)。在一些实施方式中，视频编码器120兼容于由动态图像专家组(MPEG)维护的一个或多个规范，例如但不限于MPEG-1(1993)、MPEG-2(1995)、MPEG-4(1998)和关联的国际标准化组织/国际电工技术委员会(ISO/IEC)规范。在一些示例性的实施方式中，编码器115、120遵守H.264/MPEG-4AVC标准、HEVC标准、VP8标准、VP9标准规范中的一种或多种。
A/V源设备105还包括多路复用器130，以便把经编码基本流多路复用成更高级的经分包流，其还包括指定基本流分组的展现同步的元数据字段。在一些实施方式中，多路复用器130把经分包(packetized)基本流编码成MPEG程序流(MPS)，或更有利地编码成MPEG传输流(MTS)。可以在PES分组层中分配展现时间戳(PTS)，且PTS由接收设备用来设置给定视频片和音频片的展现时间。在进一步的实施方式中，可以根据实时协议(RTP)、用户数据报协议(UDP)和因特网协议(IP)中的一种或多种封装MTS，各实施方式不限于这一上下文。在一些RTP实施方式中，例如，网络抽象层(NAL)编码器(未描述)接收MTS并生成适用于无线传输的网络抽象层单元(NAL单元)。尽管在此详细描述的各示例性实施方式引用了“PTS”，但可以类似地利用不同名称但仍被用来设置展现时间的元数据字段。例如，在RTP有效载荷是PES而非MTS的场合，RTP时间戳可以用于设置给定视频帧的展现时间。
在示例性的实施方式中，A/V源设备还包括无线发射器(Tx)，其耦合以接收经编码流数据并把表示经编码流数据的无线信号直接输出给汇设备。在图1中所阐释的示例性的实施方式中，A/V源设备105包括耦合到多路复用器130的输出的无线收发器(Tx/Rx)。无线收发器105可以利用已知适用于直接地输送(例如，对等)流数据以便在汇设备上实时展现的目的的任何频段。在一些实施方式中，无线收发器105能够工作在2.4GHz和/或5GHz频段(例如，Wi-Fi 802.11n)。在一些实施方式中，无线收发器能够工作在60GHz频段。无线收发器105还可以支持和/或遵守一种或多种高清媒体接口(HDMI)协议，例如但不限于无线家庭数字接口(WHDI)、无线显示器(WiDi)、直连Wi-Fi、Miracast、无线HD或无线千兆比特联盟(WiGig)认证程序。
如图1中进一步阐释的，A/V显示设备150在无线流传播会话期间通过无线收发器155通信地耦合到A/V源设备105。无线收发器155可以利用与收发器140的频段和无线通信协议兼容的任何频段和无线通信协议。来自无线收发器155的输出被耦合到解复用器(de-multiplexer)160的输入，解复用器160把经封装的、经分包的流处理成传输给音频解码器165和视频解码器170的经压缩数据输入。解复用器160包括从经分包A/V流中解封并提取音频和视频有效载荷的逻辑。在示例性的实施方式中，解复用器160包括至少部分地基于指定基本流分组(例如，PTS)的展现同步的元数据字段来去复用分组有效载荷的逻辑。解码器165、170可以利用与编码器115、120的编解码器兼容的任何编解码器来生成分别输入到音频展现管线180和视频展现管线190的数字音频数据和数字视频数据的表示。音频展现管线180在一个或多个音频扬声器处终止，而视频展现管线190在一个或多个显示器(屏幕)处终止。在管线180、190内可以采用任何已知的音频和图像处理，各实施方式不限于这种上下文。
当在编码器115、120的输出处的展现时戳传播到解码器165、170时，且当解码器使用那些时戳来调度A/V显示设备150的展现时，发生系统101的端对端(end-to-end)同步。A/V源设备105包括控制点125，用于同步在显示设备150处展现的数字音频和视频流。在一些实施方式中，控制点125利用指定展现同步(例如PTS)的元数据字段。这一字段是从本机(native)或参考值修改而来，在没有控制点125施加的任何控制努力时被予以确定。根据无线显示同步控制信号(其指示基于A/V显示设备150的输出而感知或确定的A/V展现同步错误)在A/V源设备105处确定或调整PTS。根据一些实施方式分配给各分组的PTS在此可以被称为“展现反馈同步”的或“显示同步”的，这是因为源设备处的相对展现时间被调整以便和显示设备处实时感知(perceive)的PTS同步偏置值相抵。如下面进一步描述的，无线显示同步控制信号可以起源于以下任一项：与A/V源设备105的用户交互、转播回到A/V源设备105的与A/V显示设备150的用户交互或在A/V显示设备150处的自动化A/V同步错误确定。
可以采用各种网络拓扑和使用模型实现系统101。在一些实施方式中，例如，源包括摄像机(例如，照相机通信或“CamCom”平台)。由照相机模块输出的音频和视频流输出的分包至少部分地基于反馈信号，反馈信号指示在直接耦合的A/V显示设备上所感知的A/V展现同步错误。图2A是描述无线CamCom显示系统201的示意图，它可以例如部署在监视或虚拟视频会议应用中。在系统201中，视频捕捉平台205记录主体(例如，视频捕捉平台205的用户)的视频。把所记录的视频无线发射给视频显示器250，例如，视频显示器250可以位于视频捕捉平台205的用户的办公室附近的会议室。在其他实施方式中，无线显示源设备转码(transcode)从上游内容源接收的A/V流。采用这种拓扑，源设备至少部分地基于反馈信号(其指示在配对A/V显示设备处感知或确定的A/V展现同步错误)把再次编码的音频和视频流进行分包。图2B是描述一个示例的示意图，其中无线转播视频显示系统202被部署在内容镜像应用中。在系统202中，视频转播平台211把所接收的视频内容转码成与去往视频显示器250(例如在平台211的用户的视场内的大型显示器)的无线传输兼容的格式。
进一步参见图2A，视频捕捉平台205包括根据一些实施方式的无线显示同步控制。在视频捕捉平台205中，基于已知的A/V同步损耗调整音频和/或视频分组的展现时间。包括例如话筒的音频捕捉管线206被耦合到音频编码器115的输入。视频编码器120A的输入被耦合到视频捕捉管线207的输出，视频捕捉管线207可以包括以某种预先确定的帧率输出图像数据的时间连续帧的任何已知图像传感器。编码器115、120输出经编码比特流以便分包。使用任何已知的技术在分包水平确定本机展现时间戳(值)。展现时间戳调整模块226接收指示在A/V显示器250处感知或确定的展现时间同步错误的A/V同步信号。
如图4A中进一步阐释的，在一些实施方式中PTS调整模块接收本机PTS值470和PTS同步偏置值475，用作输入。反馈同步PTS值480被输出。在一些实施方式中，PTS调整模块可以例如把PTS同步偏置475增加到与经分包基本流的一个或多个有效载荷相关联的本机PTS值470。在一些实施方式中，无线显示同步PTS值与经编码视频基本流以及经编码音频基本流中的至少之一的分组相关联。图4B是阐释根据一些实施方式的数字音频和视频内容分组结构的示意图。在所阐释的实施方式中，本机PTS值470与表示一个视频帧的H.264经编码视频数据流430的一个或多个分组相关联，而无线显示同步PTS值480与编码到流430中的与该视频帧对应的LPCM音频流440的一个或多个分组相关联。经分包基本流415的有效载荷被组合成与一个或多个节目时钟参考(PCR)相关联的有效载荷，以便编码传输流410的时序。进一步把各传输流分组封装在RTP流405的一个或多个分组中，作为与相应的RTP时戳406相关联的有效载荷。在备选的实施方式中，本机PTS值470改为与LPCM音频流440的一个或多个分组相关联，而无线显示同步PTS值480与表示一个视频帧的H.264编码视频数据流430的一个或多个分组相关联。在进一步的实施方式中，按PTS同步偏置475，分别根据音频展现相对于视频展现所感知的音频滞后或领先，延迟经编码视频或音频分组。例如，响应于指示显示设备处的音频滞后同步错误信号，可以按PTS同步偏置475延迟经编码视频分组，而响应于指示显示设备处的音频领先的同步错误信号，可以按PTS同步偏置475延迟经编码音频分组。
在一些实施方式中，采用通过用户界面(UI)接收的用户输入确定A/V同步偏置值。在展现从源设备接收的内容期间，用户界面实时接收用户输入。例如通过映射表或函数从用户输入映射导出PTS偏置值。用于A/V同步调整的UI可以采取任何数字的形式，例如但不限于，递增/递减(+/-)按钮控件。图5是阐释根据一些实施方式在示例性同步用户输入和展现时间戳偏置之间的映射的示意图。A/V同步UI 227包括音频同步“-”控件571和音频同步“+”控件72。同步映射数据库501把音频领先和音频滞后的水平映射到可以与任一视频或数据展现相关联的PTS修改。可以根据用户对控件571、572的激活而遍历同步映射数据库501中的条目。在一些实施方式中，同步映射数据库501中的每一条目把音频滞后水平与预先确定的PTS同步偏置(例如，25毫秒、50毫秒等等)关联起来。在内容传输会话(例如，WFD会话)的初始化时，把PTS同步偏置设置为默认值0，得到不存在PTS修改的操作状态575。在接收到指示所感知的音频滞后的用户输入时，该会话在工作状态581中继续，其中应用所映射的PTS同步偏置到以便延迟视频展现。在接收到指示所感知的音频领先的用户输入时，该会话在工作状态582中继续，其中应用所映射的PTS同步偏置以便延迟音频展现。
在一些实施方式中，源设备和/或显示设备实现A/V同步UI。返回到图2A，例如，视频捕捉平台205可以包括A/V同步UI 225。在图2A中，用虚线表示A/V同步UI 225，以便强调，可以备选地通过由显示器250实现的A/V同步UI 227的用户输入来按照用户输入生成A/V同步信号。在第一实施方式中，A/V同步UI 225被耦合到PTS调整模块226。把响应于与内容传输一起实时接收的用户输入而确定的PTS同步偏置输出到PTS调整模块226。在其中通过A/V同步UI 227接收用户输入的备选实施方式中，把PTS同步偏置(或指示其的任何信号)传输回到视频捕捉平台205。在一个这样的实施方式中，使用在内容流传播会话期间被维护的反向通道，来把PTS同步偏置从显示器250传输给视频捕捉平台205。在一种兼容WiD的实施方式中，在视频捕捉平台205(充当WFD源)和视频显示器250(充当WFD汇)之间所维护的用户输入反向通道(UIBC)上传输PTS同步偏置。在WiD规范1.0下，UIBC可用于发送在WFD汇处以用户输入所发起的控制和数据信息。
在备选的实施方式中，在视频显示器250处基于从音频展现管线180和/或视频展现管线190接收的输入自动确定A/V同步偏置值。对于这样的实施方式，自动化A/V同步模块228可以实现用于检测和/或量化A/V同步错误的任何已知的算法，各实施方式在这一方面不受限制。
图2B描述具有无线显示同步控制的视频内容转播(relay)平台211，以便阐释在诸如屏幕镜像之类的备选的拓扑和应用中如何应用图2A的上下文中所描述的各组件如何组件。在所阐释的实施方式中，转播平台211转码从任意上游A/V源212接收的视频内容。A/V解码器118实现与由A/V源212实现的编解码器兼容的编解码器，以便生成由编码器115、120(再次)编码成一种适用于直接无线给视频显示器250的格式(例如，H.264)的音频和视频数据流。然后，PTS调整模块226可以应用基本上如同视频捕捉平台211的上下文中所述的展现同步控制努力。由视频转播平台211发射的经转播的视频可以与根据显示器250的输出中所感知的音频领先/滞后而充分地应用的PTS偏置再次同步，基本上如同在图2A的上下文中所述的那样。
图3是描述用于根据一些实施方式的无线显示同步控制的方法301的流程图。方法301在操作302开始，其中视频源105在无线信道上把经分包(例如，RTP和TS)和经压缩(例如，H.264)A/V数据实时流传播到配对视频显示器150。在操作304，视频显示器150把经封装分组解码成具有关联PTS的数字音频和视频表示。在一种实施方式中，在操作304，PTS偏置值为0。在操作306，显示器150例如采用音频扬声器和查看屏幕输出音频和视频，例如但不限于采用液晶显示器(LCD)技术和/或发光二极管(LED)技术的平板显示器。在操作308，例如在反向通道(例如，UIBC)上从视频显示器150把A/V同步错误信号传输给视频源105。在操作310，视频源105接收A/V同步错误信号，在一个示例中该A/V同步错误信号是在操作308中传输的错误信号。在操作320，视频源105把同步错误信号映射到展现时间戳修改，该展现时间戳修改将延迟正在被分包的经压缩音频或视频的展现。在操作330，视频源105生成音频和视频PES。在操作340，基于PES且合并经修改的、无线显示同步化的PTS，来生成MTS和RTP流。在操作350，把RTP流无线传输给视频显示器150。在操作360，视频显示器150根据已知技术解码RTP和TS流。在操作370，视频显示器150基于无线显示同步PTS展现音频和视频。内容从视频源105到视频显示器150的流传播与显示同步化PTS一起继续，直到关闭会话或把另一A/V同步错误传输给源对等方(操作305的另一迭代)。
图6是进一步阐释根据各实施方式的视频捕捉平台205的功能框图。平台205包括至少一个照相机模块(CM)。在示例性的实施方式中，CM 110还包括照相机传感器658。例如，传感器658可以是HD、FHD、QXGA、WQXGA、QSXGA或UHD格式数字的光学成像设备。在一种实施方式中，传感器658具有至少8百万像素分辨率。照相机传感器658可以提供每像素8比特或更多的色彩分辨率，可操作以捕捉顺序连续视频帧。传感器658可以具有170MHz或更多的像素频率。照相机传感器658可以包括RGB拜耳(Bayer)色彩滤光片、模拟放大器、A/D变换器、用于把入射光转换对应于原始图像数据的数字信号的其他组件。可以把传感器658控制为操作卷帘快门或电子焦平面快门过程，其中对于一帧以线性连续的方式顺序读出各像素。在示例性视频实施方式中，传感器658输出多个连续曝光的帧。CM 110可以输出与遵循诸如MIP1之类的任何已知流传播协议的连续采样的帧相关联的原始数据。把原始图像数据输入到ISP 675。ISP 675在与CM 110相关联的水平和/或垂直消隐周期期间接收和分析原始图像数据。在原始图像数据处理期间，例如，ISP 675可以执行色彩空间变换、噪声消除、像素线性化和阴影补偿中的一种或多种。
CM 110所输出的原始数据和/或ISP 675所输出的预处理视频数据还可以由A/V编码器601处理成经压缩形式。在一些实施方式中，A/V编码器601还包括本文其他地方描述的音频编码器115和视频编码器120。在各实施方式中，A/V编码器601包括执行本文其他地方描述的编码和分包操作和算法的逻辑。在进一步的实施方式中，PTS调整模块226包括执行对被分配给经编码音频或视频的分组的展现时戳的一种或多种修改的逻辑。在一些实施方式中，可以通过(多个)软件指令配置A/V编码器602和PTS调整模块226。
可以通过软件或硬件或采用软件和硬件两者的组合，来实现基于指示在无线显示器处感知的同步错误的反馈信号的PTS修改。对于纯硬件实现，A/V编码器601和/或PTS调整模块226可以由例如在ISP 675中提供的固定功能逻辑实现。对于软件实现，任何已知可编程处理器，例如处理器650的核心或图形处理器的执行单元，都可以用来实现A/V编码器601和/或PTS调整模块226的逻辑。在所阐释的实施方式中，用在处理器650的用户或内核空间中例示的软件实现A/V编码器601、PTS调整模块226和多路复用器130。备选地，具有固定的或半可编程的逻辑电路的ISP 675可以实现A/V编码器601、PTS调整模块226或多路复用器130中的一种或多种。
在一些实施方式中，处理器650包括一个或多个(可编程)逻辑电路，以执行用于修改在例如但不限于WFD或WiDi的实时无线协议上流传播的音频和/或视频的展现时间的方法的一个或多个阶段(stage)。例如，处理器650可以根据以上所描述的一些实施方式执行方法301(图3)。在一些实施方式中，处理器650访问存储在主存储器610中的PTS同步错误数据库501，且基于展现时间同步错误信号确定PTS修改(例如，PTS偏置值)。处理器650可以是单独负责修改PTS值以便同步由CM 110收集的或者从ISP 675输出的输入图像数据。在一个示例性的实施方式中，通过由处理器650所实例化(instantiated)的软件栈区的用户空间调用A/V编码器601和/或PTS调整模块602和/或MUX 130和/或A/V同步UI 225。在一些实施方式中，处理器650在所例示的软件栈区的内核空间中执行一种或多种视频编码和/或分包算法。在一些实施方式中，处理器650采用子系统驱动程序615中所包括的图形处理器驱动程序，以便引起由图形处理器(未描述)执行一种或多种视频编码算法。在一些实施方式中，用存储在计算机可读介质上的指令编程处理器650，以便引起处理器650执行对在实时无线协议上流传播的音频和/或视频的展现时间的一种或多种修改。
如图6中进一步阐释的，输出A/V数据流可以由无线收发器管线695输出。在一个示例性的实施方式中，通过把流数据写到电子存储器620(例如，DDR等等)来缓存输出A/V流数据。存储器620可以是独立的，或者是主存储器610的一部分。无线传输管线695包括无线收发器，例如基本如本文其他地方描述的，以便把输出A/V数据流输送(例如，采用实时协议)给接收的显示器150。
图7是可以用来采用一个或多个显示同步化的PTS值来编码和分包视频数据的数据处理系统700的框图。数据处理系统700包括一个或多个处理器702和一个或多个图形处理器708，且可以在单个处理器台式系统、多处理器工作站系统或具有大量处理器702或处理器核心707的服务器系统中实现。在另一实施方式中，数据处理系统700是用于移动、手持式或嵌入式设备的片上系统(SoC)集成电路。
数据处理系统700的实施方式可以包括以下或者合并在以下之内：基于服务器的游戏平台、游戏控制台(包括游戏和媒体控制台、移动游戏控制台、手持式游戏控制台)或在线游戏控制台。在一些实施方式中，数据处理系统700是移动电话、智能电话、平板计算设备或移动因特网设备。数据处理系统700也可以包括可穿戴设备、与可穿戴设备耦合或集成在可穿戴设备内，例如智能手表可穿戴设备、智能眼镜设备、增强现实设备或虚拟现实设备。在一些实施方式中，数据处理系统700是具有一个或多个处理器702和由一个或多个图形处理器708生成的图形界面的电视或机顶盒设备。
在一些实施方式中，一个或多个处理器702均包括处理指令的一个或多个处理器核心707，在执行时，各指令执行用于系统和用户软件的操作。在一些实施方式中，一个或多个处理器核心707中的每一个都被配置成处理特定的指令集709。在一些实施方式中，指令集709可以利于复杂指令集计算(CISC)、精简指令集计算(RISC)或经由超长指令字(VLIW)的计算。多个处理器核心707可以均处理不同的指令集709，指令集709可以包括促进其他指令集的仿真的指令。处理器核心707也可以包括其他处理设备，例如数字信号处理器(DSP)。
在一些实施方式中，处理器702包括高速缓存存储器704。取决于体系结构，处理器702可以具有单个内部高速缓存或多个级别的内部高速缓存。在一些实施方式中，在处理器702的各种组件当中共享高速缓存存储器。在一些实施方式中，处理器702也使用外部高速缓存(例如，3级(L3)高速缓存或末级高速缓存(LLC))(未示出)，可以使用已知的高速缓存一致性技术在处理器核心707当中共享它们。另外，在处理器702中可以包括寄存器堆706，寄存器堆706可以包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点数寄存器、状态寄存器和指令指针寄存器)。一些寄存器可以是通用寄存器，而其他寄存器对处理器702的设计来说可以是专用的。
在一些实施方式中，处理器702被耦合到处理器总线710以便在在处理器702和系统700中的其他组件之间传输数据信号。系统700具有‘中枢’系统体系结构，包括存储器控制器中枢716和输入输出(I/O)控制器中枢730。存储器控制器中枢716促进在存储器设备和系统700的其他组件之间的通信，而I/O控制器中枢(ICH)730提供经由本地I/O总线到I/O设备的连接。
存储器设备720可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪速存储器设备或具有充当处理存储器的合适性能的某种其他存储器设备。存储器720可以存储数据722和指令721，以供在处理器702执行过程时使用。存储器控制器中枢716也与可选外部图形处理器712耦合，可选外部图形处理器712可以与处理器702中的一个或多个图形处理器708通信，以执行图形和媒体操作。
在一些实施方式中，ICH 730允许外围设备经由高速I/O总线连接到存储器720和处理器702。I/O外围设备包括音频控制器746、固件接口728、无线收发器726(例如，Wi-Fi、蓝牙)、数据存储设备724(例如，硬盘驱动器、闪速存储器等等)和老旧I/O控制器用于把老旧(例如，个人系统2(PS/2))设备耦合到系统。一个或多个通用串行总线(USB)控制器742连接输入设备，例如键盘和鼠标744组合。网络控制器734也可以耦合到ICH 730。在一些实施方式中，高性能网络控制器(未示出)耦合到处理器总线710。
图8是根据一种或多种实施方式采用图像/视频CamCom Tx设备的示例性超低功率系统800的图。系统800可以是移动设备，但系统800不限于这种上下文。系统800可以合并到可穿戴计算设备、膝上型计算机、平板、触控板、手持式计算机、掌上计算机、蜂窝式电话、智能设备(例如，智能电话、智能平板或移动电视)、移动因特网设备(MID)、通讯设备、数据通信设备等等。系统800也可以是基础设施设备。例如，系统800可以合并到大号电视、机顶盒、台式计算机或其他家庭或商用网络设备。
系统800包括可以实现以上在图1-6的上下文中所描述的所记录的视频编码、分包和无线传输方法的全部或子集的设备平台802。在各种示例性的实施方式中，处理器810执行PTS调整，例如本文其他地方描述的。处理器810包括逻辑电路实现PTS调整模块226，例如本文其他地方描述的。在一些实施方式中，一种或多种计算机可读介质可以存储指令，在由CPU 810和/或视频处理器815执行时，这些指令引起(多个)处理器执行本文其他地方描述的图像数据编码和/或展现时间戳修改操作中的一种或多种。然后，可以由与无线显示同步PTS相关联的无线电818传输CM 110所输出的一个或多个图像数据帧。
在各实施方式中，设备平台802耦合到人机界面设备(HID)820。平台802可以采用CM 110收集原始图像数据，原始图像数据经过处理并被输出到HID 820。包括一个或多个导航功件的导航控制器850可以用来与例如设备平台802和/或HID 820交互。在各实施方式中，HID 820可以包括经由无线电818和/或网络860耦合到平台802的任何监视器或显示器。HID 820可以包括例如计算机显示屏、触摸屏显示器、视频监视器、类似电视的设备和/或电视。
在各实施方式中，设备平台802可以包括CM 110、芯片组805、处理器810、815、存储器/存储812、应用816和/或无线电818的任何组合。芯片组805可以提供在处理器810、815、存储器812、视频处理器815、应用816或无线电818当中的相互通信。
处理器810、815中的一个或多个可以被实现为一个或多个复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器；兼容x86指令集的处理器；多核心或任何其他微处理器或中央处理单元(CPU)。
存储器812可以被实现为易失性存储器设备，例如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。存储器812也可以被实现为非易失性存储设备，例如但不限于闪速存储器、电池供电的SDRAM(同步DRAM)、磁存储器、相变存储器等等。
无线电818可以包括能够使用各种合适的无线通信技术来发射和接收信号的一个或多个无线电设备。这样的技术可能涉及跨越一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝式网络和卫星网络。在跨越这样的网络通信时，无线电618可以根据任何版本的一个或多个适用标准操作。
在各实施方式中，系统800可以被实现为无线系统、有线系统或两者的组合。在被实现为无线系统时，系统800可以包括适用于在无线共享介质上通信的组件和接口，例如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等等。无线共享介质的示例可以包括无线谱的各部分，例如RF谱等等。在被实现为有线系统时，系统800可以包括适用于在有线通信介质上通信的组件和接口，例如输入/输出(I/O)适配器、把I/O适配器与相应的有线通信介质连接起来的物理连接器、网卡(NIC)、盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可以包括电线、电缆、金属引线、印刷电路板(PCB)、背板、交换机织物、半导体材料、双绞线、同轴电缆、光纤等等。
如上所述，可以用变化的物理形态或形状因子实现系统800。图9还阐释其中可以实现平台802和/或系统800的移动手持机设备900的实施方式。在各实施方式中，例如，设备900可以被实现为具有无线能力的移动计算手持机设备。如图9中所示出，移动手持机设备900可以包括具有前部901和后部902的机壳。设备900包括显示器904、输入/输出(I/O)设备906和集成式天线908。设备900也可以包括导航功件912。显示器904可以包括用于显示适用于移动计算设备的信息的任何合适的显示单元。I/O设备906可以包括用于把信息输入到移动计算设备的任何合适的I/O设备。I/O设备906的示例可以包括字母数字键盘、数字键区、触控板、输入键、按钮、开关、话筒、扬声器、语音识别设备和软件等等。也可以经由话筒(未示出)把信息输入到设备900，或者可以由语音识别设备对信息进行数字化。各实施方式不限于这种上下文。集成到至少后部902的是照相机模块910(例如，包括一个或多个透镜、光圈和成像传感器)，通过照相机模块910采样图像数据并将其输出到隐藏的图像数据解码器，例如本文其他地方描述的。
如上面所例示的，在此描述的各实施方式可以使用硬件元件、软件元件或两者的组合来实现。硬件元件或模块的示例包括：处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件元件或模块的示例包括：应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、例程、子例程、函数、方法、过程、软件接口、应用编程接口(AP1)、指令集、计算代码、计算机代码、代码段、计算机代码段、数据字、值、符号或其任何组合。判断是否使用硬件元件和/或软件元件实现实施方式可以根据为设计的选择而考虑的任何数量的因素而改变，这些因素例如但不限于：期望的计算速度、功率级、耐热性、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度和其他设计或性能约束。
与在此描述的示例性的实施方式一致的无线显示同步控制和PTS修改方法可以用各种硬件体系结构、单元设计、或“IP核”来实现。
可以由存储在机器可读存储介质上的表示性指令实现至少一种实施方式的一个或多个方面。在机器执行其期间，这样的指令可以完全地或至少部分地驻留在主存储器内和/或在处理器内，然后，存储指令的主存储器和处理器部分也构成机器可读存储介质。可编程逻辑电路可以具有由实现计算机可读介质配置的处理器配置的寄存器、状态机等等。然后，可以把这样的经编程的逻辑电路理解成物理上变换成落在在本文描述的至少一些实施方式的范围内的系统。表示在处理器内的各种逻辑的指令，在由机器读取时，也可以引起机器产生遵循在此描述的体系结构和/或执行在此描述的技术的逻辑。这样的表示被称为单元设计或IP核，可以被存储在有形机器可读介质上，且被提供给各种消费者或生产设施，以便加载到实际上制作该逻辑或处理器的生产机器中。
尽管本文已经参考各实施方式描述了某些特征，但不预期以限制性的意义来解释本描述。因此，本公开内容所属领域中的技术人员将明显看出的在此描述的实现以及其他实现的各种修改被视为是处于本公开内容的精神和范围之内。
下列段落简要地描述一些示例性的实施方式。
在第一实施方式中，一种视频源装置包括流多路复用器，其把展现时间戳(PTS)分配给经编码视频数据的一个或多个第一分组且分配给经编码音频数据的一个或多个第一分组。所述源装置进一步包括无线发射器，其耦合到所述多路复用器的输出以便使得所述第一分组无线流传播到配对显示设备。所述源装置进一步包括PTS调整模块，其耦合到所述多路复用器的输入，以触发响应于音频/视频(A/V)展现同步错误的、对所述经编码视频和音频数据的一个或多个第二分组的PTS修改,所述音频/视频(A/V)展现同步错误是基于从所述第一分组展现的所述显示设备的A/V输出感知或确定的。
在促成第一实施方式时，所述PTS调整模块接收指示所述A/V展现同步错误的同步错误信号，且还基于所述同步错误信号判断抵消(counter)所述A/V展现同步错误的所述PTS修改。
在促成上面的实施方式时，所述PTS调整模块把所述同步错误信号映射到预先确定的PTS偏置值，通过把所述预先确定的PTS偏置值增加到参考PTS值上来生成经修改PTS值。所述多路复用器把所述经修改PTS值分配给所述经编码视频和音频数据的所述第二分组中的一个或多个。
在促成第一实施方式时，所述多路复用器，响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的A/V展现同步错误，分配包括用以延迟所述经编码视频的第二分组的展现的PTS偏置值的经修改PTS。
在促成第一实施方式时，所述装置进一步包括同步错误用户界面，其接收指示所述A/V展现同步错误的用户输入。所述PTS调整模块把所述用户输入映射到预先确定的PTS偏置值，且通过把所述预先确定的PTS偏置值增加到参考PTS值上来生成经修改PTS值。所述多路复用器，响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的A/V展现同步错误，分配包括用以延迟所述经编码视频的第二分组的展现的PTS偏置值的经修改PTS。所述多路复用器，响应于指示基于所述第一分组展现的音频输出相对于视频输出的领先的A/V展现同步错误，分配包括用以延迟所述经编码音频的第二分组的展现的PTS偏置值的经修改PTS。
在促成第一实施方式时，所述装置进一步包括照相机模块，其生成数字视频和音频数据，以及视频编码器和音频编码器，其耦合在所述照相机模块的输出和所述多路复用器的输入之间，所述的各编码器生成所述经编码视频和音频数据。
在促成第一实施方式时，所述装置进一步包括视频编码器和音频编码器，其耦合到所述多路复用器的输入，所述的各编码器生成所述经编码视频和音频数据。所述装置进一步包括A/V解码器，其耦合到所述视频和音频编码器的输入，其中，所述A/V解码器、视频编码器和音频编码器包括转码器(transcoder)，其接收第一经编码A/V流并输出第二经编码音频和视频位流。
在一个或多个第二实施方式中，无线显示系统包括第一实施方式的所述视频源装置，以及显示设备，其在所述A/V源设备和所述显示设备之间所维护的反向通道上传输所述A/V展现同步错误。
在促成上面的第二实施方式时，所述显示器装置进一步包括同步错误用户界面，其接收指示所述A/V展现同步错误的用户输入。
在一个或多个第三实施方式中，无线视频显示器包括无线接收器，其接收来自配对源设备的第一分组的流。所述显示器进一步包括解复用器(de-multiplexer)，其耦合到所述无线接收器的输出，且至少部分地基于与所述第一分组相关联的一个或多个展现时间戳(PTS)来去复用(de-multiplex)来自经压缩视频数据有效载荷的经压缩音频数据有效载荷。所述显示器进一步包括音频解码器和视频解码器，其耦合到所述解复用器的输出，所述各解码器生成数字音频和视频数据。所述显示器进一步包括音频展现管线和视频展现管线，其耦合到所述解码器以便输出表示所述数字音频和视频数据的A/V。所述显示器进一步包括同步错误用户界面，其接收指示所述A/V展现中的同步错误的用户输入。所述显示器进一步包括无线发射器，其把所述A/V展现同步错误的指示传输给所述配对源设备。
在促成所述第三实施方式时，所述无线发射器在采用所述配对源设备维护的反向通道上发送所述A/V展现错误的所述指示。
在一个或多个第四实施方式中，一种用于控制无线显示器的音频/视频(A/V)展现的同步的方法包括把展现时间戳(PTS)分配给经编码视频数据的一个或多个第一分组且分配给经编码音频数据的一个或多个第一分组。所述方法进一步包括把所述第一分组无线流传播到配对显示设备。所述方法进一步包括把响应于音频/视频A/V展现同步错误的显示同步PTS分配给所述经编码视频和音频数据的一个或多个第二分组，所述音频/视频A/V展现同步错误是基于从所述第一分组展现的所述显示设备的A/V输出感知或确定的。所述方法进一步包括把所述第二分组无线流传播到所述配对显示设备。
在促成第四实施方式时，所述方法进一步包括接收指示所述A/V展现同步错误的同步错误信号。所述方法进一步包括基于所述同步错误信号，确定抵消(counter)所述A/V展现同步错误的所述显示同步PTS。
在促成上面的实施方式时，确定所述显示同步PTS进一步包括把所述同步错误信号映射到预先确定的PTS偏置值，通过把所述预先确定的PTS偏置值增加到参考PTS值上来生成经修改PTS值，以及把所述经修改PTS值分配给所述经编码视频和音频数据的所述第二分组中的一个或多个。
在促成第四实施方式时，所述方法进一步包括，分配显示同步PTS进一步包括：响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的A/V展现同步错误，分配包括用以延迟所述经编码视频的第二分组的展现的PTS偏置值的经修改PTS。作为备选，或另外，所述方法进一步包括：响应于指示基于所述第一分组展现的音频输出相对于视频输出的领先的A/V展现同步错误，分配包括用以延迟所述经编码音频的第二分组的展现的PTS偏置值的经修改PTS。
在促成第四实施方式时，所述方法进一步包括展现同步错误用户界面。所述方法进一步包括通过所述同步错误用户界面，接收指示所述A/V展现同步错误的用户输入。所述方法进一步包括把所述用户输入映射到预先确定的PTS偏置值，通过把所述预先确定的PTS偏置值增加到参考PTS上，生成经修改PTS，以及分配所述经修改PTS，以便响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的A/V展现同步错误延迟所述经编码视频的第二分组的展现，或响应于指示基于所述第一分组展现的音频输出相对于视频输出的领先的A/V展现同步错误延迟所述经编码音频的第二分组的展现。
在促成第四实施方式时，所述方法进一步包括采用包括图像传感器的照相机模块，生成所述数字视频和数字音频数据，以及把所述数字视频和数字音频数据编码成经压缩格式。
在促成第四实施方式时，所述方法进一步包括在所述A/V源设备和所述显示设备之间所维护的反向通道上传输所述A/V展现同步错误。
在一个或多个第五实施方式中，装置包括执行第四实施方式中的任何一种的设备。
在一个或多个第六实施方式中，一种或多种计算机可读介质包括存储在其上的指令，在由处理系统执行时，所述指令引起所述系统执行第四实施方式中的任何一种。
在一个或多个第七实施方式中，一种或多种计算机可读介质，其包括存储在其上的指令，在由处理系统执行时，所述指令引起所述系统执行一种方法，所述方法包括把展现时间戳(PTS)分配给经编码视频数据的一个或多个第一分组且分配给经编码音频数据的一个或多个第一分组，把所述第一分组无线流传播到配对显示设备，把响应于音频/视频(A/V)展现同步错误的显示同步PTS分配给所述经编码视频和音频数据的一个或多个第二分组，其中所述音频/视频(A/V)展现同步错误是基于从所述第一分组展现的所述显示设备的A/V输出感知或确定的，以及把所述第二分组无线流传播到所述配对显示设备。
在促成第七实施方式时，所述一个或多个介质还包括存储在其上的指令，在由所述处理系统执行时，引起所述系统执行一种方法，所述方法包括响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的音频/视频(A/V)展现同步错误，分配包括用以延迟所述经编码视频的第二分组的展现的PTS偏置值的经修改PTS；以及响应于指示基于所述第一分组展现的音频输出相对于视频输出的领先的音频/视频(A/V)展现同步错误，分配包括用以延迟所述经编码音频的第二分组的展现的PTS偏置值的经修改PTS。
在一个或多个第八实施方式中，一种用于控制无线显示器的音频/视频(A/V)展现的同步的方法包括把展现时间戳(PTS)分配给经编码视频数据的一个或多个第一分组且分配给经编码音频数据的一个或多个第一分组。所述方法进一步包括把所述第一分组无线流传播到配对显示设备。所述方法进一步包括把响应于基于从所述第一分组展现的所述显示设备的A/V输出感知或确定的音频/视频(A/V)展现同步错误的显示同步PTS分配给所述经编码视频和音频数据的一个或多个第二分组。所述显示同步PTS所述方法进一步包括把所述第二分组无线流传播到所述配对显示设备。
在一个或多个第九实施方式中，一种用于控制无线显示器的音频/视频(A/V)展现的同步的方法包括无线接收来自配对源设备的第一分组的流。所述方法进一步包括至少部分地基于与所述第一分组相关联的一个或多个展现时间戳(PTS)来去复用来自经压缩视频数据有效载荷的经压缩音频数据有效载荷。所述方法进一步包括解码数字音频和视频数据中的所述经压缩音频和视频数据有效载荷。所述方法进一步包括展现所述数字音频和视频数据的A/V表示。所述方法进一步包括接收指示所述A/V展现中的同步错误的用户输入。所述方法进一步包括把所述A/V展现同步错误的指示无线发射到所述配对源设备。
在促成上面的第九实施方式时，在采用所述配对源设备维护的反向通道上无线发射所述指示进一步包括发送所述A/V展现错误的所述指示。
在一个或多个第十实施方式中，一种或多种计算机可读介质，其包括存储在其上的指令，在由处理系统执行时，所述指令引起所述系统执行第九实施方式中的任何一种。
在一个或多个第十一实施方式中，一种装置包括执行第九实施方式中的任何一种的设备。
应明白，各实施方式不限于如此描述的示例性实施方式，而是可以在不偏离所附权利要求的范围的前提下与修改和更改一起实践。例如，上面的各实施方式可以包括特定的特征组合。然而，上面的各实施方式不限于此，且在各实施方式中，上面的各实施方式可以包括仅采用这样的特征的子集、采用不同顺序的这样的特征、采用这样的特征的不同组合和/或采用明确列出的那些特征之外的额外特征。因此，应参考所附权利要求以及这样的权利要求主张的等效物的完整范围来确定范围。

Claims (22)

1.一种视频源装置，包括：
流多路复用器，其把展现时间戳(PTS)分配给经编码视频数据的一个或多个第一分组且分配给经编码音频数据的一个或多个第一分组；
无线发射器，其耦合到所述多路复用器的输出以便使得所述第一分组无线流传播到配对显示设备；以及
PTS调整模块，其耦合到所述多路复用器的输入，以触发响应于音频/视频(A/V)展现同步错误的、对所述经编码视频和音频数据的一个或多个第二分组的PTS修改，所述音频/视频(A/V)展现同步错误是基于从所述第一分组展现的所述显示设备的A/V输出而感知或确定的。
2.如权利要求1所述的装置，其特征在于，所述PTS调整模块：
接收指示所述A/V展现同步错误的同步错误信号；以及
基于所述同步错误信号确定抵消所述A/V展现同步错误的所述PTS修改。
3.如权利要求2所述的装置，其特征在于：
所述PTS调整模块：
把所述同步错误信号映射到预先确定的PTS偏置值；
通过把所述预先确定的PTS偏置值增加到参考PTS值上来生成经修改PTS值；以及
所述多路复用器把所述经修改PTS值分配给所述经编码视频和音频数据的所述第二分组中的一个或多个。
4.如权利要求2所述的装置，其特征在于：
所述多路复用器，响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的A/V展现同步错误，分配包括用以延迟所述经编码视频的第二分组的展现的PTS偏置值的经修改PTS。
5.如权利要求1所述的装置，进一步包括：
同步错误用户界面，其接收指示所述A/V展现同步错误的用户输入；以及
其中，所述PTS调整模块：
把所述用户输入映射到预先确定的PTS偏置值；
通过把所述预先确定的PTS偏置值增加到参考PTS值上来生成经修改PTS值；以及
其中，所述多路复用器：
响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的A/V展现同步错误，分配包括用以延迟所述经编码视频的第二分组的展现的PTS偏置值的经修改PTS；以及
响应于指示基于所述第一分组展现的音频输出相对于视频输出的领先的A/V展现同步错误，分配包括用以延迟所述经编码音频的第二分组的展现的PTS偏置值的经修改PTS。
6.如权利要求1所述的装置，进一步包括：
照相机模块，其生成数字视频和音频数据；
视频编码器和音频编码器，其耦合在所述照相机模块的输出和所述多路复用器的输入之间，所述的各编码器生成所述经编码视频和音频数据。
7.如权利要求1所述的装置，进一步包括：
视频编码器和音频编码器，其耦合到所述多路复用器的输入，所述的各编码器生成所述经编码视频和音频数据；
A/V解码器，其耦合到所述视频和音频编码器的输入，其中，所述A/V解码器、视频编码器和音频编码器包括转码器，其接收第一经编码A/V流并输出第二经编码音频和视频位流。
8.一种无线显示系统，包括：
如权利要求1所述的视频源装置；以及
显示设备，其在所述A/V源设备和所述显示设备之间所维护的反向通道上传输所述A/V展现同步错误。
9.如权利要求8所述的无线显示系统，其特征在于，所述显示器装置进一步包括同步错误用户界面，其接收指示所述A/V展现同步错误的用户输入。
10.一种无线视频显示器，包括：
无线接收器，其接收来自配对源设备的第一分组的流；
解复用器，其耦合到所述无线接收器的输出，且至少部分地基于与所述第一分组相关联的一个或多个展现时间戳(PTS)来去复用来自经压缩视频数据有效载荷的经压缩音频数据有效载荷；
音频解码器和视频解码器，其耦合到所述解复用器的输出，所述的各解码器生成数字音频和视频数据；
音频展现管线和视频展现管线，其耦合到所述解码器以便输出表示所述数字音频和视频数据的A/V；
同步错误用户界面，其接收指示所述A/V展现中的同步错误的用户输入；以及
无线发射器，其把所述A/V展现同步错误的指示传输给所述配对源设备。
11.如权利要求10所述的显示器，其特征在于，所述无线发射器在采用所述配对源设备维护的反向通道上发送所述A/V展现错误的所述指示。
12.一种用于控制无线显示器的音频/视频(A/V)所展现的同步的方法，所述方法包括：
把展现时间戳(PTS)分配给经编码视频数据的一个或多个第一分组，且分配给经编码音频数据的一个或多个第一分组；
把所述第一分组无线流传播到配对显示设备；
把响应于A/V展现同步错误的显示同步PTS分配给所述经编码视频和音频数据的一个或多个第二分组，所述A/V展现同步错误是基于从所述第一分组展现的所述显示设备的A/V输出感知或确定的；以及
把所述第二分组无线流传播到所述配对显示设备。
13.如权利要求12所述的方法，进一步包括：
接收指示所述A/V展现同步错误的同步错误信号；以及
基于所述同步错误信号，确定抵消所述A/V展现同步错误的所述显示同步PTS。
14.如权利要求13所述的方法，其特征在于，确定所述显示同步PTS进一步包括：
把所述同步错误信号映射到预先确定的PTS偏置值；
通过把所述预先确定的PTS偏置值增加到参考PTS值上来生成经修改PTS值；以及
把所述经修改PTS值分配给所述经编码视频和音频数据的所述第二分组中的一个或多个。
15.如权利要求12所述的方法，其特征在于，分配显示同步PTS进一步包括：
响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的A/V展现同步错误，分配包括用以延迟所述经编码视频的第二分组的展现的PTS偏置值的经修改PTS；以及
响应于指示基于所述第一分组展现的音频输出相对于视频输出的领先的A/V展现同步错误，分配包括用以延迟所述经编码音频的第二分组的展现的PTS偏置值的经修改PTS。
16.如权利要求12所述的方法，进一步包括：
展现同步错误用户界面；
通过所述同步错误用户界面，接收指示所述A/V展现同步错误的用户输入；
把所述用户输入映射到预先确定的PTS偏置值；
通过把所述预先确定的PTS偏置值增加到参考PTS上，生成经修改PTS；以及
分配所述经修改PTS，以便响应于指示基于所述第一分组展现的音频输出相对于视频输出的滞后的A/V展现同步错误来延迟所述经编码视频的第二分组的展现，或响应于指示基于所述第一分组展现的音频输出相对于视频输出的领先的A/V展现同步错误来延迟所述经编码音频的第二分组的展现。
17.如权利要求12所述的方法，进一步包括：
采用包括图像传感器的照相机模块，生成所述数字视频和数字音频数据；以及
把所述数字视频和数字音频数据编码成经压缩格式。
18.如权利要求12所述的方法，进一步包括：
在所述A/V源设备和所述显示设备之间所维护的反向通道上传输所述A/V展现同步错误。
19.一种或多种计算机可读介质，其包括存储在其上的指令，在由处理系统执行时，所述指令引起所述系统执行如权利要求12-18中所述的方法中的任何一种。
20.一种用于控制无线显示器的音频/视频(A/V)所展现的同步的方法，所述方法包括：
无线接收来自配对源设备的第一分组的流；
至少部分地基于与所述第一分组相关联的一个或多个展现时间戳(PTS)，去复用来自经压缩视频数据有效载荷的经压缩音频数据有效载荷；
解码数字音频和视频数据中的所述经压缩音频和视频数据有效载荷；
展现所述数字音频和视频数据的A/V表示；
接收指示所述A/V展现中的同步错误的用户输入；以及
把所述A/V展现同步错误的指示无线传输给所述配对源设备。
21.如权利要求20所述的方法，其特征在于，无线发射所述指示进一步包括在采用所述配对源设备维护的反向通道上发送所述A/V展现错误的所述指示。
22.一种或多种计算机可读介质，其包括存储在其上的指令，在由处理系统执行时，所述指令引起所述系统执行如权利要求20-21中所述的方法中的任何一种。
CN201610104681.5A 2015-03-24 2016-02-25 分布式媒体流同步控制 Active CN106028066B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/667,525 2015-03-24
US14/667,525 US9532099B2 (en) 2015-03-24 2015-03-24 Distributed media stream synchronization control

Publications (2)

Publication Number Publication Date
CN106028066A true CN106028066A (zh) 2016-10-12
CN106028066B CN106028066B (zh) 2019-02-15

Family

ID=56974482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610104681.5A Active CN106028066B (zh) 2015-03-24 2016-02-25 分布式媒体流同步控制

Country Status (2)

Country Link
US (1) US9532099B2 (zh)
CN (1) CN106028066B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213598A (zh) * 2018-05-31 2019-09-06 腾讯科技（深圳）有限公司 一种视频转码系统、方法及相关产品
CN111837400A (zh) * 2018-05-24 2020-10-27 谷歌有限责任公司 用于同步多个媒体设备上的音频内容和视频内容的方法、系统和介质
CN113196695A (zh) * 2019-07-23 2021-07-30 谷歌有限责任公司 射频状况感知的音频缓冲
CN113556595A (zh) * 2021-06-16 2021-10-26 珠海全志科技股份有限公司 基于Miracast的回放方法及装置
US12009916B2 (en) 2019-07-23 2024-06-11 Google Llc Radio frequency condition aware audio buffering

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11036458B2 (en) * 2015-10-14 2021-06-15 Google Llc User interface for screencast applications
US20180367836A1 (en) * 2015-12-09 2018-12-20 Smartron India Private Limited A system and method for controlling miracast content with hand gestures and audio commands
US10812558B1 (en) 2016-06-27 2020-10-20 Amazon Technologies, Inc. Controller to synchronize encoding of streaming content
US10652625B1 (en) 2016-06-27 2020-05-12 Amazon Technologies, Inc. Synchronization of multiple encoders for streaming content
US10652292B1 (en) * 2016-06-28 2020-05-12 Amazon Technologies, Inc. Synchronization of multiple encoders for streaming content
SE541208C2 (en) * 2016-07-04 2019-04-30 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
US10148722B2 (en) 2016-07-04 2018-12-04 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
US10412441B2 (en) 2016-12-06 2019-09-10 Rgb Spectrum Systems, methods, and devices for high-bandwidth digital content synchronization
US10892833B2 (en) 2016-12-09 2021-01-12 Arris Enterprises Llc Calibration device, method and program for achieving synchronization between audio and video data when using Bluetooth audio devices
KR102581438B1 (ko) * 2017-01-12 2023-09-21 삼성전자주식회사 무선 디스플레이 서브시스템 및 시스템-온-칩
US10979785B2 (en) * 2017-01-20 2021-04-13 Hanwha Techwin Co., Ltd. Media playback apparatus and method for synchronously reproducing video and audio on a web browser
MX2019013630A (es) * 2017-05-15 2020-08-20 Mixhalo Corp Sistemas y metodos para proporcionar audio y datos en tiempo real con referencia reciproca a aplicaciones relacionadas.
EP3503563A1 (en) * 2017-12-20 2019-06-26 Andreas Baumgart Computer system and method for synchronous data transmission of multiple data streams
US10834296B2 (en) * 2018-09-12 2020-11-10 Roku, Inc. Dynamically adjusting video to improve synchronization with audio
WO2020060551A1 (en) * 2018-09-20 2020-03-26 Oohms Ny Llc Method and system for synchronization of audio content for a remotely displayed video
CN113286184B (zh) * 2018-10-17 2024-01-30 上海赛连信息科技有限公司 一种在不同设备上分别播放音频与视频的唇音同步方法
CN115086723B (zh) * 2018-12-12 2024-02-20 西安万像电子科技有限公司 一种数据传输方法及系统
US11190568B2 (en) * 2019-01-09 2021-11-30 Bose Corporation Multimedia communication encoding system
EP3726842A1 (en) * 2019-04-16 2020-10-21 Nokia Technologies Oy Selecting a type of synchronization
US11871068B1 (en) * 2019-12-12 2024-01-09 Amazon Technologies, Inc. Techniques for detecting non-synchronization between audio and video
CN111416959B (zh) * 2020-03-25 2022-05-17 福建升腾资讯有限公司 一种基于hid柜外设备摄像头双向预览方法、装置和介质
CN113056031A (zh) * 2021-02-01 2021-06-29 广州朗国电子科技有限公司 建立无线投屏连接的方法
CN113766146B (zh) * 2021-09-07 2022-09-16 北京百度网讯科技有限公司 音视频处理方法、装置、电子设备及存储介质
EP4195673A1 (en) * 2021-12-07 2023-06-14 MediaTek Singapore Pte Ltd Synchronization of media streams
CN114222360B (zh) * 2021-12-21 2023-09-12 南京欧珀软件科技有限公司 时间同步方法、系统及相关装置
US11750865B1 (en) 2022-04-08 2023-09-05 CodeShop, B.V. Method and system for synchronization of adaptive streaming transcoder and packager outputs
CN115834921A (zh) * 2022-11-17 2023-03-21 北京奇艺世纪科技有限公司 视频处理方法、装置、服务器、存储介质及程序产品
US11695815B1 (en) 2022-12-06 2023-07-04 CodeShop, B.V. Method and system for redundant media presentation generation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101218819A (zh) * 2005-05-26 2008-07-09 韩国电子通信研究院 数字多媒体广播中同步数据服务和视频服务的方法和装置
CN101887739A (zh) * 2010-06-25 2010-11-17 华为技术有限公司 媒体播放同步的方法及装置
CN101466045B (zh) * 2007-12-20 2011-03-16 上海奇码数字信息有限公司 自适应解码同步装置、同步方法及视频解码和显示系统
CN102075803A (zh) * 2010-12-22 2011-05-25 Tcl通力电子（惠州）有限公司 一种播放音视频同步的方法
US20120013746A1 (en) * 2010-07-15 2012-01-19 Qualcomm Incorporated Signaling data for multiplexing video components

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781196A (en) 1990-10-19 1998-07-14 Eidos Plc Of The Boat House Video compression by extracting pixel changes exceeding thresholds
JPH07322252A (ja) 1994-05-23 1995-12-08 Canon Inc 画像符号化装置
US6108447A (en) 1998-03-26 2000-08-22 Intel Corporation Method and apparatus for estimating frame rate for data rate control
US7571244B2 (en) 2000-07-15 2009-08-04 Filippo Costanzo Audio-video data switching and viewing system
AUPR212600A0 (en) 2000-12-18 2001-01-25 Canon Kabushiki Kaisha Efficient video coding
US20030161398A1 (en) 2002-02-21 2003-08-28 Meir Feder Improving static picture quality in compressed video
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US7092002B2 (en) 2003-09-19 2006-08-15 Applied Minds, Inc. Systems and method for enhancing teleconferencing collaboration
US8139090B2 (en) 2005-03-10 2012-03-20 Mitsubishi Electric Corporation Image processor, image processing method, and image display device
JP2008211379A (ja) 2007-02-23 2008-09-11 Fujitsu Ltd 表示制御プログラムおよび携帯端末装置
TWI354979B (en) 2007-07-06 2011-12-21 Au Optronics Corp Over-driving device
DE102008059028B4 (de) 2008-10-02 2021-12-02 Rohde & Schwarz GmbH & Co. Kommanditgesellschaft Verfahren und Vorrichtung zur Erzeugung eines Transportdatenstroms mit Bilddaten
US8704732B2 (en) 2010-09-29 2014-04-22 Qualcomm Incorporated Image synchronization for multiple displays
US20120183039A1 (en) 2011-01-13 2012-07-19 Qualcomm Incorporated Coding static video data with a baseline encoder
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US9836437B2 (en) 2013-03-15 2017-12-05 Google Llc Screencasting for multi-screen applications
US9826015B2 (en) * 2013-09-04 2017-11-21 Qualcomm Incorporated Dynamic and automatic control of latency buffering for audio/video streaming
US9786255B2 (en) 2014-05-30 2017-10-10 Nvidia Corporation Dynamic frame repetition in a variable refresh rate system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101218819A (zh) * 2005-05-26 2008-07-09 韩国电子通信研究院 数字多媒体广播中同步数据服务和视频服务的方法和装置
CN101466045B (zh) * 2007-12-20 2011-03-16 上海奇码数字信息有限公司 自适应解码同步装置、同步方法及视频解码和显示系统
CN101887739A (zh) * 2010-06-25 2010-11-17 华为技术有限公司 媒体播放同步的方法及装置
US20120013746A1 (en) * 2010-07-15 2012-01-19 Qualcomm Incorporated Signaling data for multiplexing video components
CN102075803A (zh) * 2010-12-22 2011-05-25 Tcl通力电子（惠州）有限公司 一种播放音视频同步的方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837400A (zh) * 2018-05-24 2020-10-27 谷歌有限责任公司 用于同步多个媒体设备上的音频内容和视频内容的方法、系统和介质
US11606596B2 (en) 2018-05-24 2023-03-14 Google Llc Methods, systems, and media for synchronizing audio and video content on multiple media devices
CN110213598A (zh) * 2018-05-31 2019-09-06 腾讯科技（深圳）有限公司 一种视频转码系统、方法及相关产品
CN110213598B (zh) * 2018-05-31 2021-10-15 腾讯科技（深圳）有限公司 一种视频转码系统、方法及相关产品
US11184627B2 (en) 2018-05-31 2021-11-23 Tencent Technology (Shenzhen) Company Limited Video transcoding system, method, apparatus, and storage medium
CN113196695A (zh) * 2019-07-23 2021-07-30 谷歌有限责任公司 射频状况感知的音频缓冲
US12009916B2 (en) 2019-07-23 2024-06-11 Google Llc Radio frequency condition aware audio buffering
CN113556595A (zh) * 2021-06-16 2021-10-26 珠海全志科技股份有限公司 基于Miracast的回放方法及装置
CN113556595B (zh) * 2021-06-16 2023-06-06 珠海全志科技股份有限公司 基于Miracast的回放方法及装置

Also Published As

Publication number Publication date
CN106028066B (zh) 2019-02-15
US20160286260A1 (en) 2016-09-29
US9532099B2 (en) 2016-12-27

Similar Documents

Publication Publication Date Title
CN106028066A (zh) 分布式媒体流同步控制
CN107258086B (zh) 针对汇显示器的静态帧图像质量改进的方法、装置及系统
CN103577269B (zh) 媒体工作负荷调度器
CN104756495B (zh) 用于发信号通知子画面缓冲器参数的电子设备
JP6663437B2 (ja) Ｍｍｔｐストリームをｍｐｅｇ−２ ｔｓに変換する方法及び装置
CN105027531A (zh) 针对无线显示设备的用户输入控制的无连接传输
US20170064329A1 (en) Reliable large group of pictures (gop) file streaming to wireless displays
CN105025349B (zh) 加密的投屏
CN109076246A (zh) 使用图像数据校正掩码的视频编码方法和系统
US10582258B2 (en) Method and system of rendering late or early audio-video frames
CN207399423U (zh) 一种分布式网络视频处理装置
CN106664407A (zh) 用于无线显示器的并行编码
CN103092552A (zh) 一种实现多屏显示的方法及系统
CN105578247B (zh) 镜射显示系统与镜射显示方法
CN107077313A (zh) 用于非媒体内容的远程显示的改进延迟和效率
CN102892032A (zh) 实时互动高清网络视频通讯系统
CN103929640B (zh) 用于管理视频流播的技术
CN203734742U (zh) 一种视频拼接墙的回显系统
US10070017B2 (en) Controlling synchronization between devices in a network
CN104956671A (zh) 视频帧重建
CN203136049U (zh) 一种用于远程视频系统的交互式数据共享及展示系统
CN203015009U (zh) 实时互动高清网络视频通讯系统
JPWO2011099254A1 (ja) データ処理装置及びデータ符号化装置
CN102170381B (zh) 基于千兆网物理层接口的非压缩数据双向传输系统和方法
CN202019362U (zh) 基于千兆网物理层接口的非压缩数据双向传输系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant