CN105940679B - 用于同步两个电子设备处的回放的方法和装置 - Google Patents

用于同步两个电子设备处的回放的方法和装置 Download PDF

Info

Publication number
CN105940679B
CN105940679B CN201480074223.0A CN201480074223A CN105940679B CN 105940679 B CN105940679 B CN 105940679B CN 201480074223 A CN201480074223 A CN 201480074223A CN 105940679 B CN105940679 B CN 105940679B
Authority
CN
China
Prior art keywords
audio
electronic equipment
playback
decoded
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480074223.0A
Other languages
English (en)
Other versions
CN105940679A (zh
Inventor
J.S.斯图尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN105940679A publication Critical patent/CN105940679A/zh
Application granted granted Critical
Publication of CN105940679B publication Critical patent/CN105940679B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64707—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load

Abstract

一种用于将第一电子设备处的包括视频和相关联第一音频的节目的回放与也接收第一音频的第二电子设备处的与节目相关联的第二音频的回放同步的方法(400)，所述方法包括：由第二电子设备中的第一音频解码器对第一音频进行解码(405)，并且输出解码后的第一音频；由第二电子设备中的第二音频解码器对第二音频进行解码(410)，并且输出解码后的第二音频以便由第二电子设备进行回放；接收(415)用以将第一电子设备处的视频的回放与第二电子设备处的第二音频的回放同步的用户命令；响应于用户命令，所述方法还包括：由第二电子设备中的捕获设备捕获(505)第一电子设备处的第一音频的回放；由第二电子设备确定(510)所输出的解码后的第一音频与所捕获的第一音频之间的偏移；以及根据偏移来调整(520)解码后的第二音频的输出，使得第一电子设备处的第一音频的回放与第二电子设备处的第二音频的回放同步。

Description

用于同步两个电子设备处的回放的方法和装置
技术领域
本实施例的原理总体上涉及一种用于同步两个电子设备的回放的方法和装置，更具体地，将在两个电子设备之一处的视频以及与该视频相关联的第一音频的回放与在另一电子设备处的与第一音频不同的且与该视频相关联的第二音频的回放进行同步。
背景技术
多种方式(诸如，宽带电视(TV)和移动TV)如今共存，以将多媒体流或广播节目带给端用户。在宽带TV的情况下，接收器通常是连接到被称为机顶盒或STB的接收设备的标准TV设备。在移动TV的情况下，接收器设备是移动终端(诸如，移动电话、个人数字助理(PDA)或平板)。
在MPEG-2流中，若干分量(例如，音频、视频)彼此之间进行同步，以便在正确的时间进行呈现。这被称为分量间同步。普通示例是唇形同步(被标注为lip-sync)，其在与人的唇在对应视频上移动的确切相同的时间提供音频。典型地使用特定时间戳来实现这种同步。在MPEG-2流中，展现(Presentation)时间戳(或PTS)确保这种同步。音频样本的PTS参照(归因于MPEG-2流中也包含的节目时钟基准或PCR而设置的)内部时钟来指示其展现时间；以相同的方式，视频样本的PTS也参照同一内部时钟来指示其展现时间。
然而，当两个电子设备分别接收视频流和音频流时，无法容易地实现各个回放之间的同步。相应地，需要一种用于同步由两个不同接收设备分别接收的音频和视频的方法和装置。本发明解决这些和/或其它问题。
发明内容
根据本发明一方面，公开一种用于将第一电子设备处的包括视频和相关联的第一音频的节目的回放与也接收第一音频的第二电子设备处的与节目相关联的第二音频的回放进行同步的方法。所述方法包括步骤：由第二电子设备中的第一音频解码器对第一音频进行解码，并且输出解码后的第一音频；由第二电子设备中的第二音频解码器对第二音频进行解码，并且输出解码后的第二音频以便第二电子设备进行回放；接收用以将第一电子设备处的视频的回放与第二电子设备处的第二音频的回放同步的用户命令；响应于用户命令，所述方法还包括：由第二电子设备中的捕获设备捕获第一电子设备处的第一音频的回放；由第二电子设备确定所输出的解码后的第一音频与所捕获的第一音频之间的偏移；以及根据偏移来调整解码后的第二音频的输出，使得第一电子设备处的第一音频的回放与第二电子设备处的第二音频的回放同步。
在一个实施例中，用户通过激活输入机制(mechanism)来生成用户命令。
在一个实施例中，所述方法还包括：由第二电子设备从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，由第一电子设备所进行的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。
在一个实施例中，所述方法还包括：响应于用户信号来将第二音频的回放定位到第一位置。
在另一实施例中，所述方法还包括步骤：如果确定偏移的步骤失败，则要求用户再次输入用户命令，而且重复捕获和确定偏移的步骤。
在另一实施例中，所述方法还包括：由第一音频解码器通过根据偏移输出解码后的第一音频来调整输出，使得第一音频解码器的输出和第二音频解码器的输出同步。
在另一实施例中，所述方法还包括：在由第二电子设备回放第二音频之前，将第一音频和第二音频下载到第二电子设备。可以从第一源或分别从第二源和第一源下载由第一电子设备接收的节目以及由第二电子设备接收的第一音频和第二音频。
在另一实施例中，所述方法还包括：根据偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳的步骤，并且调整第二音频的回放包括输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。
根据本发明另一方法，公开一种第二电子设备。第二设备包括：第一音频解码器和第二音频解码器，用于分别解码由第二电子设备接收的第一音频和第二音频，并且输出解码后的第一音频和第二音频，所述第一音频和第二音频与包括视频和第一音频并且由第一电子设备正在回放的节目相关联；音频捕获设备，用于捕获由第一电子设备正在回放的第一音频；音频相关器，接收所捕获的回放的第一音频和来自第一音频解码器的解码后的第一音频；以及处理器，其中，当处理器接收用以将第二电子设备处的第二音频的回放与第一电子设备的视频的回放同步的用户命令时，处理器被配置为：指令音频相关器确定接收到的所捕获的回放的第一音频与接收到的从第一音频解码器输出的解码后的第一音频之间的偏移，并且指令第二音频解码器根据偏移来输出解码后的第二音频。
在一个实施例中，第二电子设备还包括视频播放器，其通过第二电子设备从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，第一电子设备处的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。视频播放器可以响应于用户信号来将第二音频的回放定位到第一位置。第二电子设备可以包括输入机制(48，49)，用于用户输入用户命令。如果确定偏移失败，则处理器可以被配置为：要求用户再次输入用户命令，并且指令音频相关器再次确定偏移。
在一个实施例中，处理器可以被配置为：指令第一音频解码器通过根据偏移输出解码后的第一音频来调整输出，使得第一音频解码器的输出和第二音频解码器的输出同步。
在另一实施例中，在第二电子设备回放第二音频之前，可以将第一音频和第二音频下载到第二电子设备(4)。
在另一实施例中，从第一源或分别从第二源和第一源下载由第一电子设备接收的节目以及由第二电子设备接收的第一音频和第二音频。
在另一实施例中，处理器可以被配置为：指令音频相关器根据所述偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳，并且指令第二音频解码器输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。
根据本发明另一方面，公开一种第二电子设备。第二设备包括：第一部件和第二部件，用于分别解码由第二电子设备接收的第一音频和第二音频，并且输出解码后的第一音频和第二音频，所述第一音频和第二音频与包括视频和第一音频并且由第一电子设备正在回放的节目相关联；用于捕获第一电子设备正在回放的第一音频的部件；相关器部件，用于接收所捕获的回放的第一音频和来自第一部件的解码后的第一音频；以及处理部件，其中，当处理部件接收用以将第二电子设备处的第二音频的回放与第一电子设备的视频的回放同步的用户命令时，处理部件被配置为：指令相关器部件确定接收到的所捕获的回放的第一音频与接收到的从第一部件输出的解码后的第一音频之间的偏移，并且指令第二部件根据偏移来输出解码后的第二音频。第二电子设备可以包括用于用户输入用户命令的部件。
在一个实施例中，第二电子设备还包括视频播放器，其通过第二电子设备从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，第一电子设备处的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。视频播放器可以响应于用户信号来将第二音频的回放定位到第一位置。
在另一实施例中，如果确定偏移失败，则处理部件可以被配置为：要求用户再次输入用户命令，并且指令相关器部件再次确定偏移。
在另一实施例中，处理器可以被配置为：指令第一部件通过根据偏移输出解码后的第一音频来调整输出，使得第一部件和第二部件的输出同步。
在另一实施例中，在第二电子设备回放第二音频之前，可以将第一音频和第二音频下载到第二电子设备。
在另一实施例中，可以从第一源或分别从第二源和第一源下载由第一电子设备接收的节目以及由第二电子设备接收的第一音频和第二音频。
在另一实施例中，处理部件可以被配置为：指令相关器部件根据所述偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳，并且指令第二部件输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。
在所有三个方面中，第一电子设备可以是电视接收器、影院视频再现设备和计算机之一。
附图说明
通过参照与附图结合而进行的本发明的实施例的以下描述，本发明的上述和其它特征和优点以及实现它们的方式将变得更清楚，并且本发明将被更好地理解。
图1示出了根据本发明的示例性实施例的系统；
图2示出了根据本发明的示例性实施例的在图1中所示的系统中的STB2、TV 3和移动终端4的更多细节；
图3示出了移动终端4的显示器48上的视频播放器的示例性用户界面；
图4示出了根据本发明的示例性实施例的在移动终端4处执行的用于同步TV 3处的视频的回放与移动终端4处的第二音频的回放的示例性处理400；以及
图5示出了根据本发明的示例性实施例的响应于用以同步TV 3处的视频的回放与移动终端4处的第二音频的回放的用户命令而同步这两个回放的示例性处理420。
在此所阐述的范例说明了本发明的优选实施例，并且不要将这些范例理解为以任何方式限制本发明的范围。
具体实施方式
现参照附图，更具体地，参照图1，示出了符合本发明的实施例的系统的框图。作为音频-视频流的第一流8(诸如，MPEG-2传输流)在例如作为宽带网络的第一网络5上由视频服务器9发送。由机顶盒(STB)2接收第一流8。第一流8携带包括第一音频和相关联视频的节目，并且在该节目被STB 2处理完之后，由电视(TV)3回放该节目。如本领域中已知的，STB 2通过使用第一流8中所嵌入的同步信号来将第一音频与视频同步。因此，TV3处的视频和第一音频的回放得以同步。
在此所使用的术语“同步”意味着：如果音频相对于视频超前，则音频与视频之间的时间差不超过20毫秒(ms)，或者如果音频相对于视频延迟,则音频与视频之间的时间差不超过40ms。
虽然MPEG-2编码格式被用作示例，但同样可以使用根据数字视频广播(DVB)、数字视频广播手持(DVB-H)、高级电视系统委员会-移动/手持(ATSC-M/H)和ATSC A/53的编码。
此外，第一流8可以是经由卫星、地面或电缆从广播源进行广播的广播节目。第一流8也可以来自本地驱动器、网络驱动器或可由STB 2访问的其它存储设备。因此，在一些实施例中，无需第一网络5。第一流8同样可以表示模拟电视信号。在一个实施例中，STB 2可以被集成到TV 3中，使得TV 3执行二者的功能集合。
由视频服务器1通过第二网络6将包括第一音频和第二音频的第二流7发送到移动终端4。第二音频与第一流8中的视频相关联，但与第一音频不同。例如，第二音频携带与第一音频不同的语言。根据本发明的实施例的原理，在两个回放同步的情况下，用户可以观看TV 3上的视频并且收听移动终端4上的第二音频。
在需要时将第二流7发送到移动终端4，并且第二流7还可以包括相关联视频。在需要时第一流8可以被广播到STB 2或被发送到STB 2。
第二网络6也可以是互联网、卫星网络、Wi-Fi网络或可由移动终端4以无线方式或通过有线访问的其它数据网络。
根据实施例，只要移动终端4支持编码格式，就可以通过DVB-H网络、ATSC-M/H网络或支持其它编码标准的其它网络分发第二流7。还可以从可由移动终端4访问的存储设备(例如，以无线方式或通过有线(诸如USB)连接到移动终端4的存储设备)接收第二流7。因此，在一些实施例中，无需第二网络6。虽然被示出为移动终端，但移动终端4可能是诸如蜂窝终端、平板、Wi-Fi接收器、DVB-T终端、DVB-H终端以及ATSC-M/H终端的设备。
STB 2可以位于公共热点(hot spot)中，其包括用于展现视频的一个或多个显示器以及用于输出第一音频的听觉信号的一个或多个扬声器。当在公共热点中时，端用户在移动终端上收听与热点中所显示的视频相关联的音频。根据本发明的实施例的原理，利用被附接或包含在移动终端4中的麦克风将移动终端4所播放的音频与STB 2正在回放的视频进行同步。热点中的不同用户观看同一视频，但收听携带例如与该视频相关联的不同语言的不同音频流。
图2示出了STB 2、TV 3和移动终端4的更多细节。如先前所指示的，STB 2的功能可以被集成到TV 3中。STB 2包括数据解复用器21、视频解码器23和音频解码器25。TV 3包括显示器31和外放扬声器33。数据解复用器21从接收自第一网络5的第一流8中分离并且输出第一音频流和视频流。如上面所提到的，虽然第一流8被示出为来自网络，但第一流8可以来自本地驱动器、网络驱动器或可由STB 2访问的其它存储设备。在另一实施例中，第一流8可以是模拟信号，并且视频解码器23和音频解码器25应当例如分别由视频解调器和声音解调器来替换。
然后由视频解码器23对视频流进行解码。解码后的视频信号由TV 3接收，并且显示在显示器31上。音频解码器25对第一音频流进行解码，并且将解码后的第一音频信号输出到TV 3。TV 3响应于解码后的音频信号而经由扬声器33生成听觉输出信号(回放的第一音频信号)。
移动终端4在该实施例中包括主处理器40、音频捕获41、音频相关器42、第一音频解码器43、数据复用器44、第二音频解码器45、扬声器(诸如，头戴式耳机或入耳式耳机)46、麦克风47、显示器48和键盘49。主处理器40是移动终端4的主控制器。一些元件(诸如，音频捕获41、音频相关器42、数据解复用器44和/或第一音频解码器43和第二音频解码器45)的功能可以被集成到主处理器40中。
在操作中，数据解复用器44从接收自第二网络6的第二流7中分离并且提取第一音频流和第二音频流。数据解复用器44将第一音频流和第二音频流分别输出到第一音频解码器43和第二音频解码器45。第一音频解码器43和第二音频解码器45分别响应于相应的第一音频流和第二音频流而产生解码后的第一和第二音频信号。头戴式耳机46将解码后的第二音频信号呈现为听觉信号(回放的第二音频信号)。
麦克风47从扬声器33接收听觉输出信号。麦克风47所接收的听觉信号由音频捕获41进行数字化，音频捕获41还充当缓冲器并且将数字化的音频信号发送到音频相关器42。注意，数字化的音频和解码后的第一音频信号表示第一音频，但可以彼此不同步。
音频相关器42确定来自音频捕获41的数字化的音频信号与来自第一音频解码器43的解码后的第一音频信号之间的偏移。音频相关器42可以通过将数字化的音频信号的频率范围的至少一部分与解码后的第一音频信号的频率范围的至少一部分进行相关来确定偏移。例如，可以使用相应信号的低音分量、中央通道信号分量等来执行数字化的音频信号与解码后的第一音频信号的相关。
可替换地，如本领域中已知的，音频相关器42可以解释解码后的第一音频信号和数字化的音频信号的信号特性以确定偏移。例如，可以确定每个信号的信噪比，然后进行相关以提供关于偏移计算的置信度因子。
作为又一替换，音频相关器42可以解释数字化的音频信号和解码后的第一音频信号的峰值电平、包络和/或波形，以确定偏移。
一旦已经确定偏移，音频相关器42就通知第二音频解码器45根据该偏移将到扬声器46的解码后的第二音频信号进行回退或前进，使得移动终端4处的第二音频的回放与TV3处的视频的回放同步。因此，第一电子设备处的第一音频的回放与第二电子设备处的第二音频的回放之间的偏移得以消除。例如，如果音频相关器42确定偏移是两秒(即，来自扬声器33的数字化的音频信号在解码后的第一音频信号之前)，则第二音频解码器45使得到扬声器46的音频输出超前两秒。如果音频相关器42确定偏移是负两秒(即，来自扬声器33的数字化的音频信号在解码后的第一音频信号之后)，则第二音频解码器45重新输出来自两秒之前的输出音频信号。虽然在该实施例中，解码后的第一音频信号被用作用于计算偏移的基准，但数字化的音频信号也可以同样用作基准，这导致偏移的符号相反。
音频相关器42可以根据所确定的偏移来确定与最新近接收到的数字化的音频信号同步的解码后的第一音频信号的展现时间戳(PTS)，向第二音频解码器45通知PTS，以替代向第二音频解码器45通知偏移，使得第二音频解码器45可以根据所确定的PTS来输出解码后的第二音频信号。
为了减少音频相关器42用于确定偏移的时间和/或减小用于存储来自扬声器33的数字化的音频信号以及解码后的第一音频信号的缓冲器(未示出)的大小，数字化的音频信号与解码后的第一音频信号之间的实际偏移应当小于预定时间(例如10秒)。该方法也可以减小第一音频解码器43和第二音频解码器45中所使用的缓冲器(未示出)的大小。
根据本发明的实施例的原理，移动终端4的用户应当确定TV 3处的视频的回放的流逝时间。如本领域中所公知的，可以将该信息指示在TV 3的显示器31上，或者如果信息未显示在显示器31上，则用户可以从例如节目指南找出节目的开始时间并且使用当前时间计算流逝时间。如果从本地驱动器回放节目，则用户可以通过从当前时间减去回放开始时间来容易地计算流逝时间。一旦用户已经确定视频信号的流逝时间，用户就应当将移动终端4处的第二音频的回放调整到具有处于所确定的TV 3处的视频的回放的流逝时间的(优选地10秒的)时间间隔或预定偏移内的流逝时间的位置。然后用户通过激活输入机制(例如，按压键盘49中的特定键、显示器48上所显示的特定虚拟键，或在显示器48的前面生成特定姿势(假设主处理器通过显示器48或相机(未示出)能够检测特定姿势))来指令移动终端4同步TV 3处的节目的回放与移动终端4处的第二音频的回放。
用户可以通过例如从移动终端4上的web浏览器选择第二音频来开始第二音频的回放。在已经选择第二音频之后，移动终端4调用音频/视频播放器300(例如，图3示出其用户界面)，并且自动地或响应于另一用户信号而开始回放第二音频或者第二音频和视频的组合。如图3所示，状态条340示出回放的状态。由指示符330指示当前播放位置，由指示符310指示节目的总时间，并且由指示符320指示剩余时间。由于总时间被指示为01:15:00(一小时15分)，并且剩余时间被指示为39:33(39分33秒)，因此用户能够将流逝时间确定为35分27秒。如本领域中所公知的，用户可以通过将指示符330拖动到期望位置或在状态条340中的期望位置上进行点击来调整回放位置。基于指示符310和320，用户能够将第二音频或者第二音频和视频的组合的回放调整为处于TV 3处的视频的回放的10秒的示例性预定义偏移内。
如本领域中所公知的，用户输入可以来自键盘49或显示器48或这二者。然后主处理器40指令第一音频解码器43和第二音频解码器45运行期望的同步功能。
一旦用户已经在移动终端4处选择回放位置，用户就可以经由键盘49或显示器48输入请求主处理器40同步TV 3处的视频的回放与移动终端4处的第二视频的回放的另一信号。一旦主处理器40接收到用以同步两个回放的用户信号，主处理器40就激活或指令音频捕获41捕获TV 3处的第一音频的回放，并且激活或指令音频相关器42确定偏移或期望的PTS。可以通过激活键盘49中的特殊键、经由触敏显示器48或相机(未示出)激活显示器48上的特殊虚拟按钮或可由处理40检测的特定手部姿势，来生成请求主处理器40进行同步的信号。
参照图4，示出在移动终端4处所执行的用于同步TV 3处的视频的回放与移动终端4处的第二音频的回放的示例性处理400。使用图1-图3所示的实施例来说明处理400。第一电子设备(说明性地，TV 3)正在回放包括视频和相关联第一音频的节目。构成节目的视频和第一音频是第一流8的分量。第一流8可以是模拟形式。假设在第一电子设备处的节目的回放时，第一音频和视频是同步的。如本领域中所公知的，这是使用嵌入在第一流8中的同步信号的情况。第一电子设备同样可以是影院视频再现设备或计算机。
第二电子设备(说明性地，移动终端4)正在回放与节目相关联的第二音频。第二电子设备也接收第一音频并且对其进行解码。由第二电子设备接收到的第一音频和第二音频是第二流7的分量。虽然被示出为移动终端，但第二电子设备可以是能够接收第一电子设备处的第一音频的回放的任何电子设备，并且优选地具有入耳式耳机输出，使得第二音频的回放不影响从第一电子设备捕获第一音频的回放。
如果主处理器40执行音频捕获41、音频相关器42、第一音频解码器43和第二音频解码器45的功能，则由主处理器40执行处理400。然而，即使在主处理器40内部，这些组件也仍存在。
在步骤405，主处理器40可操作或配置为：调用或指令第一音频解码器43对第一音频进行解码并且输出解码后的第一音频。第一音频解码器43应当具有输出缓冲器，以便第一音频解码器43可以选择将输出缓冲器中的哪个样本输出到音频相关器42。
在步骤410，主处理器40可操作或配置为：调用或指令第二音频解码器45对第二音频进行解码，并且输出解码后的第二音频以便由第二电子设备进行回放。第二音频解码器45应当具有输出缓冲器，以便第二音频解码器45可以选择将输出缓冲器中的哪个样本输出到头戴式耳机46以便回放。
在步骤415，主处理器40可操作或配置为：接收用以同步第一电子设备处的视频的回放与第二电子设备处的第二音频的回放的用户命令。可以从激活输入机制来生成用户输入，输入机制可以是显示器46上所显示的特定图标、显示器46前面的特定用户姿势或键盘49上的特定键。
响应于用以同步的用户命令，在步骤420与其它元件协作的主处理器40可操作或配置为：同步两个回放。图5示出步骤420的说明性处理流程。
在步骤505，主处理器40可操作或配置为：调用或指令音频捕获41通过第二电子设备的捕获设备(诸如麦克风47)捕获第一电子设备处的第一音频的回放。主处理器40在步骤510还可操作或配置为：调用或指令音频相关器42确定来自移动终端4中的第一音频解码器43的解码后的第一音频与由音频捕获41进行数字化的捕获的第一音频之间的偏移。然后主处理器40可操作或配置为：调用或指令第二音频解码器45通过根据偏移调整输出解码后的第二音频来调整第二音频的回放，使得第一电子设备处的第一音频的回放与第二电子设备处的第二音频的回放同步。由于TV 3处的第一音频和视频的回放得以同步，并且TV 3处的第一音频的回放和移动终端4处的第二音频的回放得以同步，因此TV 3处的视频的回放和移动终端4处的第二音频的回放也得以同步。
注意，与其它组件(诸如，第二音频解码器45、以及其用户界面可以如图3所示的视频播放器(未示出))协作的主处理器40可操作或配置为：从第一位置回放第二音频，该第一位置是距离(away from)节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，第一电子设备处的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差处于预定义的间隔内。
预定义的间隔可以是用户可调整的，并且优选地是10秒或更少，使得可以快速地实现同步。如先前关于图3所讨论的，用户可以通过用户信号将第二音频的回放调整或定位为从第一位置开始。响应于用户信号，主处理器40可操作或配置为：指令第二音频解码器45通过例如输出与第一位置对应的解码后的第二音频中的样本来调整解码后的第二音频的输出。
在将第二音频提供给移动终端4的服务器获知发送到STB 2的视频的位置的情况下，提供第二音频的服务器可以确定与所发送的视频的当前位置对应的第二音频中的位置，并且响应于对服务器的用户输入(例如，激活服务器网站上的图标)来从对应位置发送第二音频。如此一来，可以在移动终端4处或者在发送第二音频的服务器处完成定位第一位置。
在一个实施例中，如果第一时间间隔与第二时间间隔之间的差大于预定义的间隔，则主处理器40可操作或配置为：响应于用以同步两个回放的用户命令而要求用户调整第一位置。
在另一实施例中，如果确定偏移的步骤失败，则主处理器40可操作或配置为：要求用户再次输入用以同步两个回放的用户命令，并且重复捕获和确定偏移的步骤。
根据本发明的实施例的原理，当从第二音频解码器45输出到头戴式耳机46的解码后的第二音频被调整到第一位置时，第一音频解码器43的输出自动地被调整为与第二音频解码器45的输出同步，使得解码后的第一音频中的输出样本也与第一位置对应。如此一来，两个音频解码器的输出得以同步。也就是说，来自第二音频解码器45的输出样本与来自第一音频解码器43的输出样本对应。例如，与来自第一音频解码器43的当前输出样本相关联的PTS和与来自第二音频解码器45的当前输出样本是相同的。
如此一来，主处理器40可以指令第一音频解码器43通过根据偏移输出解码后的第一音频来调整其输出，使得第一音频解码器和第二音频解码器的输出得以同步。
在另一实施例中，主处理器40可以指令第一音频解码器43响应于接收到用以同步第一电子设备处的视频的回放和第二电子设备处的第二音频的回放的用户命令的发生而与第二音频解码器45同步。
根据本发明的该实施例，同步第一音频解码器43和第二音频解码器45的输出的优点在于，用户可以在任何时间发送用以同步第一电子设备处的视频的回放和第二电子设备处的第二音频的回放的用户命令，并且两个音频解码器将准备好执行同步。
在另一实施例中，在移动终端4回放第二音频之前，第一音频和第二音频被预先下载到移动终端4。在一个实施例中，回放第二音频可以包括：回放由移动终端4接收到的视频。
在一个实施例中，可以从同一源(例如，将节目发送到第一电子设备的服务提供商的同一网站)将第一音频和第二音频下载到第二电子设备。在另一实施例中，可以从与将节目发送到第一电子设备的源不同的源下载第二音频。例如，从用于服务提供商的广播源接收由STB 2接收的节目，并且从服务提供商所赞助的网站下载由第二电子设备接收的第二音频。
实际上，当由第二电子设备接收第二音频的带宽太小时，用户可以切换到用于接收第二音频的另一源。这可以在用户选择具有非常低的带宽的流式传输源并且用户不能将第二音频的回放调整到第一位置的情况下发生。
在另一实施例中，主处理器40可操作或配置为：指令音频相关器42根据偏移确定PTS，并且将PTS提供给第二音频解码器45，并且第二音频解码器45应当从与PTS相关联的解码后的样本进行输出。在另一实施例中，主处理器40可操作或配置为：指令音频相关器42将相同的PTS提供给第一音频解码器43，使得第一音频解码器43应当从与PTS相关联的解码后的样本进行输出。音频相关器42一旦确定偏移，就可以如下确定PTS：确定应当与下一个接收到的捕获的音频样本对应的来自第一音频解码器43的解码后的音频样本，并且确定对应的解码后的第一音频样本的PTS作为期望的PTS。
虽然麦克风47被用作用于从TV 3的扬声器33捕获回放音频的捕获设备的示例，但捕获设备可以是无线接收器(诸如，移动终端4处的蓝牙接收器)，并且所捕获的第一音频信号仅是从STB 2以无线方式发送到无线终端4的来自音频解码器25的解码后的第一音频信号。
虽然已经将本发明描述为具有优选设计，但可以在本公开的精神和范围内进一步修改本发明。因此本申请意图使用其一般原理来覆盖本发明的任何变型、用途或改动。此外，本申请意图覆盖来自本发明所属领域中并且落入所附权利要求的限制内的已知的或惯用的实践内的本公开的这些变更。

Claims (33)

1.一种用于将第一电子设备处的包含视频和相关联的第一音频的节目的回放与也接收所述第一音频的第二电子设备处的与所述节目相关联的第二音频的回放进行同步的方法(400)，第一音频携带第一语言并且第二音频携带与第一语言不同的第二语言，所述方法包括：
由第二电子设备对第一音频进行解码(405)，并且输出解码后的第一音频；
由第二电子设备对第二音频进行解码(410)，并且输出解码后的第二音频以便由第二电子设备进行回放；
接收(415)用以将第一电子设备处的视频的回放与第二电子设备处的第二音频的回放同步的用户命令；
响应于所述用户命令，所述方法还包括：
由第二电子设备中的捕获设备捕获(505)第一电子设备处的第一音频的回放；
由第二电子设备确定(510)所输出的解码后的第一音频与所捕获的第一音频之间的偏移；以及
根据所述偏移来调整(520)解码后的第二音频的输出，使得第一电子设备处的第一音频的回放与第二电子设备处的第二音频的回放同步。
2.如权利要求1所述的方法(400)，还包括：由第二电子设备从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，由第一电子设备所进行的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。
3.如权利要求2所述的方法(400)，还包括：响应于用户信号，将第二音频的回放定位到第一位置。
4.如权利要求1所述的方法(400)，还包括：如果确定所述偏移失败，则要求用户再次输入用户命令，并且重复捕获和确定所述偏移。
5.如权利要求1所述的方法(400)，其中由第一解码器对第一音频进行解码并且由第二解码器对第二音频进行解码，并且所述方法还包括：由第一音频解码器通过根据所述偏移输出解码后的第一音频来调整输出，使得第一音频解码器的输出和第二音频解码器的输出同步。
6.如权利要求1所述的方法(400)，还包括：在由第二电子设备回放第二音频之前，将第一音频和第二音频下载到第二电子设备。
7.如权利要求6所述的方法(400)，其中，从第一源下载由第一电子设备接收的节目以及由第二电子设备接收的第一音频和第二音频。
8.如权利要求6所述的方法(400)，其中，从与用于将第一音频和第二音频下载到第二电子设备的第一源不同的第二源下载由第一电子设备接收的节目。
9.如权利要求1所述的方法(400)，其中，通过用户激活输入机制来生成用户命令。
10.如权利要求1所述的方法(400)，还包括根据所述偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳，并且调整第二音频的回放包括输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。
11.如权利要求1所述的方法(400)，其中，第一电子设备是电视接收器、影院视频再现设备和计算机之一。
12.一种第二电子设备(4)，包括：
第一音频解码器和第二音频解码器(43，45)，用于分别解码由第二电子设备(4)接收的第一音频和第二音频，并且输出解码后的第一音频和第二音频，所述第一音频和第二音频分别携带第一语言和第二语言，第二语言与第一语言不同，所述第一音频和第二音频与节目相关联，该节目包括视频和第一音频并且由第一电子设备(3)正在回放；
音频捕获设备(41)，用于捕获由第一电子设备(3)正在回放的第一音频；
音频相关器(42)，接收所捕获的回放的第一音频和来自第一音频解码器(43)的解码后的第一音频；以及
处理器(40)，其中当所述处理器(40)接收到用以将第二电子设备(4)处的第二音频的回放与第一电子设备(3)的视频的回放同步的用户命令时，所述处理器(40)被配置为：指令音频相关器(42)确定接收到的所捕获的回放的第一音频与接收到的从第一音频解码器(43)输出的解码后的第一音频之间的偏移，并且指令第二音频解码器(45)根据所述偏移来输出解码后的第二音频。
13.如权利要求12所述的第二电子设备(4)，还包括视频播放器，其通过第二电子设备(4)从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，第一电子设备(3)处的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。
14.如权利要求13所述的第二电子设备(4)，其中，视频播放器响应于用户信号来将第二音频的回放定位到第一位置。
15.如权利要求12所述的第二电子设备(4)，其中，如果确定偏移失败，则所述处理器(40)被配置为：要求用户再次输入用户命令，并且指令音频相关器(42)再次确定所述偏移。
16.如权利要求12所述的第二电子设备(4)，其中，所述处理器(40)被配置为：指令第一音频解码器(43)通过根据所述偏移输出解码后的第一音频来调整输出，使得第一音频解码器和第二音频解码器(43，45)的输出同步。
17.如权利要求12所述的第二电子设备(4)，其中，在第二电子设备(4)回放第二音频之前，将第一音频和第二音频下载到第二电子设备(4)。
18.如权利要求17所述的第二电子设备(4)，其中，从第一源下载由第一电子设备(3)接收的节目以及由第二电子设备(4)接收的第一音频和第二音频。
19.如权利要求17所述的第二电子设备(4)，其中，从与用于将第一音频和第二音频下载到第二电子设备(4)的第一源不同的第二源下载由第一电子设备(3)接收的节目。
20.如权利要求12所述的第二电子设备(4)，还包括输入机制(48，49)，用于用户输入所述用户命令。
21.如权利要求12所述的第二电子设备(4)，其中，所述处理器(40)被配置为：指令音频相关器(42)根据所述偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳，并且指令第二音频解码器(45)输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。
22.如权利要求12所述的第二电子设备(4)，其中，第一电子设备(3)是电视接收器、影院视频再现设备和计算机之一。
23.一种第二电子设备(4)，包括：
第一部件和第二部件(43，45)，用于分别解码由第二电子设备(4)接收的第一音频和第二音频，并且输出解码后的第一音频和第二音频，所述第一音频和第二音频分别携带第一语言和第二语言，第二语言与第一语言不同，所述第一音频和第二音频与节目相关联，该节目包括视频和第一音频并且由第一电子设备(3)正在回放；
用于捕获由第一电子设备(3)正在回放的第一音频的部件；
相关器部件(42)，用于接收所捕获的回放的第一音频和来自第一部件(43)的解码后的第一音频；以及
处理部件(40)，其中当所述处理部件(40)接收到用以将第二电子设备(4)处的第二音频的回放与第一电子设备(3)的视频的回放同步的用户命令时，所述处理部件(40)被配置为：指令相关器部件(42)确定接收到的所捕获的回放的第一音频与接收到的从第一部件(43)输出的解码后的第一音频之间的偏移，并且指令第二部件(45)根据所述偏移来输出解码后的第二音频。
24.如权利要求23所述的第二电子设备(4)，还包括视频播放器，其通过第二电子设备(4)从第一位置回放第二音频，该第一位置是距离节目的正常回放中的节目的起点的第一时间间隔，其中当第二音频的回放处于第一位置处时，第一电子设备(3)处的节目的回放处于第二位置处，该第二位置是距离正常回放中的节目的起点的第二时间间隔，并且其中第一时间间隔与第二时间间隔之间的差在预定义的间隔内。
25.如权利要求24所述的第二电子设备(4)，其中，视频播放器响应于用户信号来将第二音频的回放定位到第一位置。
26.如权利要求23所述的第二电子设备(4)，其中，如果确定偏移失败，则所述处理部件(40)被配置为：要求用户再次输入用户命令，并且指令相关器部件(42)再次确定所述偏移。
27.如权利要求23所述的第二电子设备(4)，其中，所述处理部件(40)被配置为：指令第一部件(43)通过根据所述偏移输出解码后的第一音频来调整输出，使得第一部件和第二部件(43，45)的输出同步。
28.如权利要求23所述的第二电子设备(4)，其中，在第二电子设备(4)回放第二音频之前，将第一音频和第二音频下载到第二电子设备(4)。
29.如权利要求28所述的第二电子设备(4)，其中，从第一源下载由第一电子设备(3)接收的节目以及由第二电子设备(4)接收的第一音频和第二音频。
30.如权利要求28所述的第二电子设备(4)，其中，从与用于将第一音频和第二音频下载到第二电子设备(4)的第一源不同的第二源下载由第一电子设备(3)接收的节目。
31.如权利要求23所述的第二电子设备(4)，还包括输入部件(48，49)，用于用户输入所述用户命令。
32.如权利要求23所述的第二电子设备(4)，其中，所述处理部件(40)被配置为：指令相关器部件(42)根据所述偏移确定关联于与最新捕获的音频样本对应的解码后的第一音频中的样本的展现时间戳，并且指令第二部件(45)输出与所确定的展现时间戳相关联的解码后的第二音频中的样本。
33.如权利要求23所述的第二电子设备(4)，其中，第一电子设备(3)是电视接收器、影院视频再现设备和计算机之一。
CN201480074223.0A 2014-01-31 2014-01-31 用于同步两个电子设备处的回放的方法和装置 Expired - Fee Related CN105940679B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/014146 WO2015116162A1 (en) 2014-01-31 2014-01-31 Method and apparatus for synchronizing playbacks at two electronic devices

Publications (2)

Publication Number Publication Date
CN105940679A CN105940679A (zh) 2016-09-14
CN105940679B true CN105940679B (zh) 2019-08-06

Family

ID=50102277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480074223.0A Expired - Fee Related CN105940679B (zh) 2014-01-31 2014-01-31 用于同步两个电子设备处的回放的方法和装置

Country Status (6)

Country Link
US (1) US10250927B2 (zh)
EP (1) EP3100458B1 (zh)
JP (1) JP6721510B2 (zh)
KR (1) KR102179321B1 (zh)
CN (1) CN105940679B (zh)
WO (1) WO2015116162A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015116162A1 (en) * 2014-01-31 2015-08-06 Thomson Licensing Method and apparatus for synchronizing playbacks at two electronic devices
FR3030979A1 (fr) * 2014-12-17 2016-06-24 Orange Procede de controle de la restitution d' un flux media lors d' un appel telephonique
CN105338393A (zh) * 2015-10-29 2016-02-17 小米科技有限责任公司 媒体同步方法和装置
EP3226570A1 (en) * 2016-03-31 2017-10-04 Thomson Licensing Synchronizing audio and video signals rendered on different devices
US9854302B1 (en) * 2016-06-23 2017-12-26 Bryan Nunes Multimedia servers that broadcast a channel listing and packet-switched audio
CN106412665A (zh) * 2016-10-18 2017-02-15 北京小米移动软件有限公司 多媒体的同步播放控制方法、装置及系统
WO2018078768A1 (ja) * 2016-10-27 2018-05-03 エヴィクサー株式会社 コンテンツ再生プログラム及びコンテンツ再生装置
US10892833B2 (en) 2016-12-09 2021-01-12 Arris Enterprises Llc Calibration device, method and program for achieving synchronization between audio and video data when using Bluetooth audio devices
JP7102826B2 (ja) 2018-03-23 2022-07-20 ヤマハ株式会社 情報処理方法および情報処理装置
US10764631B2 (en) 2018-06-04 2020-09-01 Dish Network L.L.C. Synchronizing audio of a secondary-language audio track
WO2021163639A1 (en) * 2020-02-13 2021-08-19 Pacers Basketball, LLC Technologies for communicating an enhanced event experience
US11601691B2 (en) 2020-05-04 2023-03-07 Kilburn Live, Llc Method and apparatus for providing audio and video within an acceptable delay tolerance
FR3111497A1 (fr) * 2020-06-12 2021-12-17 Orange Procédé de gestion de la restitution d’un contenu multimédia sur des dispositifs de restitution.
CN114339326B (zh) * 2021-12-10 2023-06-27 北京拼响天空文化科技有限公司 基于视频播放的声画同步方法、装置和系统

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040081A (en) * 1986-09-23 1991-08-13 Mccutchen David Audiovisual synchronization signal generator using audio signature comparison
US5055939A (en) 1987-12-15 1991-10-08 Karamon John J Method system & apparatus for synchronizing an auxiliary sound source containing multiple language channels with motion picture film video tape or other picture source containing a sound track
US5642171A (en) 1994-06-08 1997-06-24 Dell Usa, L.P. Method and apparatus for synchronizing audio and video data streams in a multimedia system
MXPA03010751A (es) 2001-05-25 2005-03-07 Dolby Lab Licensing Corp Segmentacion de senales de audio en eventos auditivos.
CN1742492B (zh) 2003-02-14 2011-07-20 汤姆森特许公司 媒体内容的基于音频和视频的媒体服务的自动同步
CN1728794A (zh) 2004-07-28 2006-02-01 上海乐金广电电子有限公司 视频来源设备中的音频信号传送方法及其装置
US8015306B2 (en) * 2005-01-05 2011-09-06 Control4 Corporation Method and apparatus for synchronizing playback of streaming media in multiple output devices
JP2006324960A (ja) 2005-05-19 2006-11-30 Toshiba Corp 無線通信装置
JP4834340B2 (ja) 2005-07-14 2011-12-14 キヤノン株式会社 情報処理装置及びその方法とプログラム
CN101305546B (zh) 2005-11-10 2012-06-06 美高森美股份有限公司-模拟混合信号集团有限公司 用于以太网上供电的增强分类
US7907212B2 (en) 2006-03-20 2011-03-15 Vixs Systems, Inc. Multiple path audio video synchronization
JP4953707B2 (ja) 2006-06-30 2012-06-13 三洋電機株式会社 デジタル放送受信機
JP4748075B2 (ja) 2007-02-07 2011-08-17 カシオ計算機株式会社 画像同期システム及び画像同期方法
US8272008B2 (en) * 2007-02-28 2012-09-18 At&T Intellectual Property I, L.P. Methods, systems, and products for retrieving audio signals
US20080219641A1 (en) * 2007-03-09 2008-09-11 Barry Sandrew Apparatus and method for synchronizing a secondary audio track to the audio track of a video source
CN101803390A (zh) 2007-09-21 2010-08-11 汤姆森特许公司 对用户可观察信号进行同步的设备和方法
EP2043323A1 (en) 2007-09-28 2009-04-01 THOMSON Licensing Communication device able to synchronise the received stream with that sent to another device
TW201015997A (en) 2008-10-03 2010-04-16 Aonvision Technology Corp System for listening multiple sound tracks
US8111843B2 (en) 2008-11-11 2012-02-07 Motorola Solutions, Inc. Compensation for nonuniform delayed group communications
JP2010171626A (ja) 2009-01-21 2010-08-05 Olympus Corp 動画生成装置および動画生成方法
JP2010206593A (ja) 2009-03-04 2010-09-16 Sony Corp 画像処理装置、画像処理方法、及びプログラム
RU2011147112A (ru) 2009-04-20 2013-05-27 Конинклейке Филипс Электроникс Н.В. Верификация и синхронизация файлов, полученных отдельно от видеоконтента
US20120102233A1 (en) * 2009-05-27 2012-04-26 Ajay Shah Synchronized delivery of interactive content using standardized vectors
JP2011188289A (ja) 2010-03-09 2011-09-22 Olympus Imaging Corp 画像音声記録システム
US8831761B2 (en) 2010-06-02 2014-09-09 Sony Corporation Method for determining a processed audio signal and a handheld device
US8640181B1 (en) * 2010-09-15 2014-01-28 Mlb Advanced Media, L.P. Synchronous and multi-sourced audio and video broadcast
EP2619989A1 (en) 2010-09-22 2013-07-31 Thomson Licensing Methods for processing multimedia flows and corresponding devices
GB201017174D0 (en) * 2010-10-12 2010-11-24 Muvemedia Ltd System and method for delivering multilingual video or film sound tracks or multilingual spoken or sung dialog for synchronization and playback
US20120105719A1 (en) 2010-10-29 2012-05-03 Lsi Corporation Speech substitution of a real-time multimedia presentation
US20130124664A1 (en) * 2011-11-16 2013-05-16 Motorola Mobility, Inc Coordinating media presentations among peer devices
JP5284451B2 (ja) * 2011-11-30 2013-09-11 株式会社東芝 電子機器及び音声出力方法
US20130177286A1 (en) * 2012-01-09 2013-07-11 Mozaik Multimedia, Inc Noninvasive accurate audio synchronization
US9118951B2 (en) * 2012-06-26 2015-08-25 Arris Technology, Inc. Time-synchronizing a parallel feed of secondary content with primary media content
US9596386B2 (en) * 2012-07-24 2017-03-14 Oladas, Inc. Media synchronization
US8726304B2 (en) * 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
CN103237203B (zh) 2013-04-09 2016-03-02 广东欧珀移动通信有限公司 一种基于移动终端的音视频同步方法及系统
EP3031205A4 (en) * 2013-08-07 2017-06-14 Audiostreamtv Inc. Systems and methods for providing synchronized content
US9210204B2 (en) * 2013-10-31 2015-12-08 At&T Intellectual Property I, Lp Synchronizing media presentation at multiple devices
WO2015116162A1 (en) * 2014-01-31 2015-08-06 Thomson Licensing Method and apparatus for synchronizing playbacks at two electronic devices
ES2665022T3 (es) * 2014-01-31 2018-04-24 Thomson Licensing Método y aparato para sincronizar reproducciones de dos dispositivos electrónicos
CN105376628B (zh) * 2014-08-27 2018-09-21 深圳Tcl新技术有限公司 音视频信号同步方法和装置
US9693165B2 (en) * 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check

Also Published As

Publication number Publication date
US20160323612A1 (en) 2016-11-03
WO2015116162A1 (en) 2015-08-06
US10250927B2 (en) 2019-04-02
JP6721510B2 (ja) 2020-07-15
EP3100458A1 (en) 2016-12-07
KR20160114612A (ko) 2016-10-05
CN105940679A (zh) 2016-09-14
JP2017507560A (ja) 2017-03-16
EP3100458B1 (en) 2018-08-15
KR102179321B1 (ko) 2020-11-18

Similar Documents

Publication Publication Date Title
CN105940679B (zh) 用于同步两个电子设备处的回放的方法和装置
CN106063283B (zh) 用于同步两个电子设备处的回放的方法和装置
US10178345B2 (en) Apparatus, systems and methods for synchronization of multiple headsets
JP6109736B2 (ja) 番組切替制御装置及びプログラム
US20110176060A1 (en) Data feedback for broadcast applications
KR102016171B1 (ko) 미디어 서비스들을 동기화하기 위한 방법
US20110231882A1 (en) Methods and devices for communications between two devices
US11743532B2 (en) Location-tracked media delivery across multiple media consumption devices
Segundo et al. Second screen event flow synchronization
KR101539199B1 (ko) 콘텐츠 제공 방법 및 그를 이용한 디스플레이장치
KR20150004685A (ko) 선호 채널 관리 장치 및 방법
CN108605156A (zh) 用于音频检测的方法和对应设备
GB2526154A (en) Broadcast media synchronisation system
KR20160126483A (ko) 디스플레이 장치 및 그의 디스플레이 방법
CN100373934C (zh) 数字电视的频道控制装置及方法
JP2008042516A (ja) 映像コンテンツ表示システムおよび映像表示装置
JP2013121096A (ja) 音声調整装置およびデジタル放送受信装置
EP2375600A2 (en) Method and apparatus for tuning to program channel based on sound sample in mobile communication terminal
JP2017069705A (ja) 受信装置、受信方法、放送システムおよびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190605

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190806

Termination date: 20210131

CF01 Termination of patent right due to non-payment of annual fee