CN113796090A - 用于将移动设备上的音频内容同步到分离的视觉显示系统的系统和方法 - Google Patents

用于将移动设备上的音频内容同步到分离的视觉显示系统的系统和方法 Download PDF

Info

Publication number
CN113796090A
CN113796090A CN202080034368.3A CN202080034368A CN113796090A CN 113796090 A CN113796090 A CN 113796090A CN 202080034368 A CN202080034368 A CN 202080034368A CN 113796090 A CN113796090 A CN 113796090A
Authority
CN
China
Prior art keywords
time
display system
visual display
audio content
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080034368.3A
Other languages
English (en)
Inventor
陈敬权
李绍正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Film Audio Pte Ltd
Original Assignee
Film Audio Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Film Audio Pte Ltd filed Critical Film Audio Pte Ltd
Publication of CN113796090A publication Critical patent/CN113796090A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

提供一种将配置成在移动设备上播放的从音频内容与同步到配置成分离的视觉显示系统上播放的主音频内容或主视觉内容的系统和方法，以增强观众成员在公共视听演出中的听觉和视觉体验。

Description

用于将移动设备上的音频内容同步到分离的视觉显示系统的 系统和方法
技术领域
本公开大体上涉及视听系统，以及具体地涉及用于在公共视听表演中增强观众成员的音频体验的系统和方法。更具体地，本公开涉及将一个或多个从计算设备上的音频内容的回放同步到分离的主计算设备上的音频内容或视觉内容。
背景技术
下文对本发明背景技术的论述旨在帮助理解本发明。然而，应当认识到，该论述并不是承认或认可所提及的任何材料在本申请的优先权日时在任何司法管辖区中已公开、已公知或是公知常识的一部分。
在许多情况下，在公共设施中的视听表演音效不佳，原因是声音差且低功率的放大器或扬声器、噪声污染、射频(RF)干扰(使用RF器件，如无线电耳机)或由于扬声器与观看者之间的距离太大(由于光和声音的速度差异，导致音频与视觉显示器不同步)。观众成员与视觉显示器之间的这种差的音效和/或大距离可能会对整体体验产生很大的影响，导致观众成员对大型活动的享受消退以及不满意。
一些应用尝试过使用基于因特网或诸如WIFI的本地通信网络的流传输技术将在移动设备上播放的音频内容同步到在分离的视觉显示系统上播放的视觉内容。然而，流传输在移动设备上是资源密集型的，占用大量数据和电池电量。此外，由于网络延迟或WIFI或数据连接受到的干扰，音频内容的流传输往往与视频内容不同步。WIFI连接也容易与移动设备断开连接，或者每个路由器的连接有限。在公共设施中观看视听表演时，甚至轻微的同步问题和丢包都会成为问题。通常，移动设备并未保持准确或一致的时间，并且随不同的硬件和软件而有所不同，在播放音频内容时容易漂移。因此，移动设备上的音频内容与与移动设备分离的视觉显示系统上播放的视觉内容不同步的风险很高，并且会降低观众成员对视听演出的享受。
因此，本公开的目的是解决上面论述的大多数问题和局限性。
发明内容
下文提出一个或多个方面的简化概述，以便提供对这些方面的基本理解。本概述不是所有可设想方面的广泛概述，而是既无意标识所有方面的重要或关键要件，也无意描述任何或所有方面的范围。其唯一目的是以简化的形式呈示一个或多个方面的一些概念，作为稍后给出的具体实施方式的前序。
根据本公开的第一方面，提供一种将配置成在移动设备上回放的音频内容同步到配置成用于分离的视觉显示系统上播放的视听显示的视觉内容的方法。该方法包括以下步骤：在第一个位置和时间处在所述视觉显示系统控制的视觉输出设备上呈示所述视觉内容，从所述视觉显示系统获取基于视觉显示系统本地时间和视觉显示系统时间偏移量的视觉显示系统真实时间，以及由所述视觉显示系统生成配置成用于向处理服务器传输的同步消息，其中，所述同步消息包括所述视觉显示系统真实时间、视觉内容状态和视觉内容时间码。该方法还包括：由所述处理服务器按周期性时间间隔向所述移动设备发送所述同步消息，以及确定音频内容时间码，所述音频内容时间码基于所述视觉内容时间码、移动设备真实时间和所述视觉显示系统真实时间，其中在所述视觉内容状态处于播放模式时的第二位置和时间处被触发在所述移动设备上播放所述音频内容时，在与所述视频显示系统上所述视频内容的当前位置关联的所述视频内容时间码同步的所述音频内容时间码处播放所述音频内容。
优选地，该方法确定所述音频内容时间码与所述视觉显示系统上所述视觉内容时间码不同步是否超过预定时间间隔，以及响应于所述音频内容时间码不同步超出所述预定时间间隔时，将所述移动设备上所述音频内容的回放调整到与所述视觉显示系统上所述视觉内容的当前位置关联的视觉内容时间码同步的音频内容时间码。
优选地，基于所述视觉内容时间码与所述移动设备真实时间与所述视觉显示系统真实时间之间的时间差的求和来确定所述音频内容时间码。
优选地，当存在对所述视觉内容时间码的调整时，传送所述同步消息。
优选地，当存在所述视觉内容状态的状态变化时，传送所述同步消息。
优选地，所述移动设备真实时间基于移动设备本地时间和移动设备时间偏移量来确定，其中所述移动设备时间偏移量是所述移动设备本地时间与根据与所述移动设备通信的时间服务器得到的时间服务器当前时间之间的时间差。
优选地，所述视觉显示系统时间偏移量是所述视觉显示系统本地时间与根据与所述视觉显示系统通信的时间服务器得到的时间服务器当前时间之间的时间差。
优选地，所述预定时间间隔为约200ms。
根据本公开的第二方面，提供一种将配置成在移动设备上回放的从音频内容同步到与现场视觉显示同步的主音频内容的方法，其中所述主音频内容被配置成用于在分离的视觉显示系统上播放。该方法包括以下步骤：在第一个位置和时间处，在所述视觉显示系统上播放所述主音频内容，从所述视觉显示系统获取基于视觉显示系统本地时间和视觉显示系统时间偏移量的视觉显示系统真实时间，以及由所述视觉显示系统生成配置成用于向处理服务器传输的同步消息，其中，所述同步消息包括所述视觉显示系统真实时间、主音频内容状态和主音频内容时间码。该方法还包括：由所述处理服务器按周期性时间间隔向所述移动设备发送所述同步消息，以及确定从音频内容时间码，所述从音频内容时间码基于所述主音频内容时间码、移动设备真实时间和所述视觉显示系统真实时间，其中在所述主音频内容状态处于播放模式时的第二位置和时间处被触发在所述移动设备上播放所述从音频内容时，在与所述视频显示系统上所述主音频内容的当前位置关联的所述主音频内容时间码同步的所述从音频内容时间码处播放所述从音频内容。
优选地，该方法确定所述从音频内容时间码与所述视觉显示系统上所述主音频内容时间码不同步是否超过预定时间间隔，以及响应于所述从音频内容时间码不同步超出所述预定时间间隔时，将所述移动设备上所述从音频内容的回放调整到与所述视觉显示系统上所述主音频内容的当前位置关联的所述主音频内容时间码同步的音频内容时间码。
优选地，所述从音频内容包括用于启动所述现场视觉显示一部分的从音频指示轨，由此通过一个或多个算设备向一个或多个控制系统传送所述从音频指示轨，使得所述音频指示轨被配置成用于与所述主音频内容同步。
优选地，所述从音频内容包括与语音记录关联的音频音轨，所述语音记录被配置成用于与所述主音频内容同步。
优选地，所述从音频内容包括与音乐伴奏关联的音频音轨，所述音乐伴奏被配置成用于与所述主音频内容同步。
优选地，所述主音频内容包括音频指示轨，所述音频指示轨被配置成用于由控制器或手动操作者触发现场视觉显示的一部分。
优选地，所述从音频内容包括从音频指示轨，所述音频指示轨被配置成用于由手动操作者触发被配置成用于与所述主音频内容同步的现场视觉显示的一部分。
优选地，当存在对所述视觉内容时间码的调整时，传送所述同步消息。
优选地，当存在所述视觉内容状态的状态变化时，传送所述同步消息。
优选地，基于所述主音频内容时间码与所述移动设备真实时间与所述视觉显示系统真实时间之间的时间差的求和来确定所述从音频内容时间码，以及其中所述移动设备真实时间基于移动设备本地时间和移动设备时间偏移量来确定，其中所述移动设备时间偏移量是所述移动设备本地时间与根据与所述移动设备通信的时间服务器得到的时间服务器当前时间之间的时间差。
优选地，所述视觉显示系统真实时间是基于视觉显示系统本地时间和视觉显示系统时间偏移量来确定，其中所述视觉显示系统时间偏移量是所述视觉显示系统本地时间与根据与所述视觉显示系统通信的时间服务器得到的时间服务器当前时间之间的时间差。
优选地，所述预定时间间隔为约200ms。
根据本公开的第三方面，提供一种被配置成用于移动设备上实现的方法，所述移动设备具有至少一个处理器、至少一个计算机可读存储介质和连接到网络的同步应用。该方法包括传送配置成用于存储在所述移动设备上的音频内容，基于移动设备本地时间和移动设备时间偏移量获得移动设备真实时间，其中所述移动设备时间偏移量是所述移动设备本地时间与根据与所述移动设备通信的时间服务器得到的时间服务器当前时间之间的时间差，并且按周期性间隔从与视觉系统系统进行无线通信的处理服务器接收同步消息，其中，所述同步消息包括视觉显示系统真实时间、视觉内容状态和视觉内容时间码。该方法还包括确定音频内容时间码，所述音频内容时间码基于所述视觉内容时间码、所述移动设备真实时间和所述视觉显示系统真实时间，其中所述视觉显示系统真实时间是由所述视觉显示系统本地时间与根据与所述视觉显示系统通信的时间服务器得到的时间服务器当前时间之间的时间差来获得，其中在所述视觉内容状态处于播放模式时被触发在所述移动设备上播放所述音频内容时，在与所述视频显示系统上所述视频内容的当前位置关联的所述视频内容时间码同步的所述音频内容时间码处播放所述音频内容。
根据公开的第四方面，提供一种将配置成在移动设备上回放的从音频内容同步到配置成用于分离的视觉显示系统上播放的主音频内容的方法。该方法包括以下步骤：从所述视觉显示系统获取基于视觉显示系统本地时间和视觉显示系统时间偏移量的视觉显示系统真实时间，其中所述视觉显示系统时间偏移量是所述视觉显示系统本地时间与根据与所述视觉显示系统通信的时间服务器得到的时间服务器当前时间之间的时间差，由所述视觉显示系统生成配置成用于向处理服务器传输的同步消息，其中所述同步消息包括所述视觉显示系统真实时间、与操作模式关联的主音频内容状态和与所述视觉显示系统的当前位置关联的主音频内容时间码，以及由所述处理服务器按周期性时间间隔向所述移动设备发送所述同步消息。该方法还包括确定从音频内容时间码，所述从音频内容时间码基于所述主音频内容时间码、移动设备真实时间和所述视觉显示系统真实时间，其中所述移动设备真实时间基于所述移动设备本地时间与根据与所述移动设备通信的时间服务器得到的时间服务器当前时间之间的时间差，其中在所述主音频内容状态处于播放模式时被触发在所述移动设备上播放所述从音频内容时，在与所述视频显示系统上所述主音频内容的当前位置关联的所述主音频内容时间码同步的所述从音频内容时间码处播放所述从音频内容。
根据公开的第五方面，提供一种将配置成在移动设备上回放的从音频内容同步到配置成用于分离的视觉显示系统上播放的主音频内容的系统，所述系统包括存储器、与所述存储器耦合的一个或多个处理器，其中所述存储器包括处理器可执行代码，当所述处理器可执行代码被所述处理器执行时，促使所述处理器执行包括以下的操作：从所述视觉显示系统获得视觉显示系统真实时间；其中所述视觉显示系统真实时间是基于视觉显示系统本地时间和视觉显示系统时间偏移量来确定，其中所述视觉显示系统时间偏移量是所述视觉显示系统本地时间与根据与所述视觉显示系统通信的时间服务器得到的时间服务器当前时间之间的时间差；由所述视觉显示系统生成配置成用于向处理服务器传输的同步消息，其中所述同步消息包括所述视觉显示系统真实时间、与操作模式关联的主音频内容状态和与所述视觉显示系统的当前位置关联的主音频内容时间码，以及由所述处理服务器按周期性时间间隔向所述移动设备发送所述同步消息。这些操作还包括确定从音频内容时间码，所述从音频内容时间码基于所述主音频内容时间码、移动设备真实时间和所述视觉显示系统真实时间，其中所述移动设备真实时间基于所述移动设备本地时间和移动设备时间偏移量，其中所述移动设备时间偏移量是所述移动设备本地时间与根据与所述移动设备通信的时间服务器得到的时间服务器当前时间之间的时间差。其中在所述主音频内容状态处于播放模式时被触发在所述移动设备上播放所述从音频内容时，在与所述视频显示系统上所述主音频内容的当前位置关联的所述主音频内容时间码同步的所述从音频内容时间码处播放所述从音频内容。
附图说明
附图作为示例图示且不限定本发明的一些实施例。
在附图中，相同的附图标记通常指代所有不同附图中相同的部分。这些附图并非一定按比例绘制，重点通常放在说明本发明的原理上。为了清晰起见，可能随意放大或缩减了多种特征或元件的尺寸。在下文描述中，参考以下附图描述了本发明的多种实施例，其中：
图1示出说明根据多种实施例的，用于将一个或多个计算设备上的从音频内容同步到配置成用于在分离的视觉显示系统上播放的主音频内容或主视觉内容的高级系统架构的框图。
图2示出说明根据多种实施例的，用于将一个或多个计算设备上的从音频内容同步到配置成用于在分离的视觉显示系统上播放的主音频内容或主视觉内容的示例性方法的流程图。
图3示出用于将移动设备上的音频内容同步到分离的视觉显示系统上的视觉内容的高级系统概览。
图4是图示视觉显示系统上用于使分离的音频内容能够同步到分离的视觉显示系统上的视觉内容的示例性方法的流程图。
图5示出用于将一个或多个移动设备上的音频内容同步到分离的视觉显示系统上的视觉内容的示范性方法的流程图。
图6图示将移动设备上的音频内容同步到分离的视觉显示系统上的视觉内容的备选高级系统概览。
图7是图示视觉显示系统上使移动设备上分离的音频内容能够同步到分离的视觉显示系统上的视觉内容的示例性方法的流程图。
图8示出用于将一个或多个移动设备上的音频内容同步到分离的视觉显示系统上的视觉内容的示范性方法的流程图。
具体实施方式
下文的详细描述参考了附图，这些附图以举例说明的方式示出可以实施本发明的具体细节和实施例。对这些实施例进行了足够详细的描述，以使本领域技术人员能够实施本发明。在不脱离本发明范围的情况下，可以利用其他实施例，并且可以进行结构和逻辑上的更改。多种实施例不一定是相互排斥的，因为一些实施例可以与一个或多个其他实施例进行组合以形成新的实施例。
这些系统或方法之一的场景中描述的实施例对于其他系统或方法是同样有效的。类似地，一个系统的场景中描述的实施例对于一个方法是同样有效的，且反之亦然。
在一个实施例的场景中描述的特征可以对应地适用于其他实施例，即使未在这些其他实施例中明确地描述。再者，如一个实施例的场景中针对一个特征描述的特征附加和/或组合和/或备选可以对应地适用于其他实施例中相同或类似的特征。
如本文以及多种实施例的场景中所使用的，表述“视觉内容”可以指任何类型的视觉媒体，例如，在任何电子装置上显示且能够在用户观看时被移动、制作成动画、更改或在视觉上进行修改的视频或静态视觉媒体。如在多种实施例的场景中使用的“视觉内容”可以与“视觉数据”互换使用，“视觉数据”可以指用于操控类似但不限于烟花、激光器、光投影、喷泉等的视觉元素的数据。
如本文和多种实施例的场景中所使用的，表述“音频内容”可以与“音频数据”互换使用。
如本文和多种实施例的场景中使用的，结合特征或元件使用的冠词“一个”和“该”包括对一个或多个特征或元件的引用。
如本文和多种实施例的场景中所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。
因此，在一个或多个示例实施例中，所描述的功能可以采用硬件、软件或其任何组合来实现。如果采用软件来实现，则这些功能可以一个或多个指令或代码被存储在计算机可读介质上或编码为计算机可读介质上的一个或多个指令或代码。
如本文中和多种实施例的场景中所使用的，结合位置和时间使用的“第二”和“第一”是用于非限制性地区分位置和时间。例如，“第二位置和时间”可以在不需要“第一位置和时间”的情况下被提供，或反之，“第一位置和时间”可以在不需要“第二位置和时间”的情况下被提供。
在说明书中，术语“包括”应被理解为具有与术语“包含”相似的广泛含义，并且将被理解为暗示包括所陈述的整数或步骤或整数或步骤的组，但不排除任何其他整数或步骤或一组整数或步骤。该定义也适用于术语“包括”的变体，例如“含有”和“包含”。
在本说明书中，“时间码”是指音频或视觉媒体的整个过程中恒定且定时的间隔的任何符号命名，可用于引用“正在播放”或“已停止”音频或视频内容文件的位置。
为了使本发明易于理解并付诸实施，现在将通过举例而非限制的方式参考附图来描述多个具体实施例。应当理解，本文中针对特定系统描述的任何特性对于本文描述的任何系统也可以是成立的。应当理解，本文针对特定方法描述的任何特性对于本文描述的任何方法也可以是成立的。再者，应当理解，对于本文描述的任何系统或方法，不一定所有部件或步骤都必须被包含在系统或方法中，而可以仅包含一些(但不是全部)部件或步骤。
本公开旨在通过提供一种使一段视听内容的音频内容能够被预下载到用户的移动设备然后与分离的视觉显示系统上播放的视觉内容同步地被播放(优选地通过耳机)的系统和方法来提供针对上述问题的解决方案。
本公开还允许将一个或多个移动设备上从音频内容的回放同步到分离的视觉显示系统上的主音频和/或主视觉内容。换言之，在一些实施例中，本公开允许将一个或多个移动设备上的主音频内容同步到分离的视觉显示系统上的主音频内容。在其他实施例中，本公开允许将一个或多个移动设备上的从音频内容同步到分离的视觉显示系统上的主视觉内容。在其他实施例中，本公开允许将一个或多个移动设备上的从音频内容同步到分离的视觉显示系统上的主音频和主视觉内容。
图1图示用于将一个或多个计算设备50、51、52上的从音频内容同步到在分离的视觉显示系统10上的主音频内容或主视觉内容的系统60。根据一些实施例，分离的视觉显示系统10位于远离一个或多个移动设备50、51、52的位置。在系统60中，移动设备的每个用户访问移动设备上的音频同步应用。该移动设备可以是任何类型的固定设备，或便携式设备，包括移动手机、单元、设备、多媒体平板电脑、PhableTet、通信器、桌面计算机、膝上型计算机、个人数字助理或其任何组合，专门被配置成执行具有扬声器、耳机或有线或无线连接到移动设备的耳塞的移动设备的功能。移动设备50、51、52可以经由通信网络(未示出)与处理服务器30、数据存储服务器40和时间服务器20通信。可以在预定时间或在需要时由用户从数据存储服务器40下载音频同步应用。
视觉显示系统10可以经由通信网络(未示出)与处理服务器30、数据存储服务器40和时间服务器20通信。在一些实施例中，可以在视觉显示系统上下载并安装视觉播放器显示应用，以提供用于控制和播放视觉内容的界面。视觉输出设备11可以通过有线或无线连接与视觉显示系统连接。根据多种实施例，视觉输出设备可以是被配置成在公共设施中供观众观看的视觉显示输出，例如，电视、投影仪或监视器。当通过操作者启动视觉显示系统以播放主视觉内容时，主视觉内容被显示在视觉输出设备上。主视觉内容可以包括但不限于：电影、电视、数字视觉内容等。在一些实施例中，本公开允许将一个或多个移动设备上的从音频内容同步到分离的视觉显示系统上的主视觉内容。例如，大型活动时在视觉输出设备上显示的表演或展映的场景中，可以将大型活动处观众成员的移动设备上播放的从音频内容与视觉显示系统上正在播放的主视觉内容同步。可以从数据存储服务器下载或播放主视觉内容或将其存储在视觉显示系统的存储器上。
时间服务器20是从参考时钟读取实际时间的服务器，并使用通信网络分发该信息。该时间服务器可以是利用网络时间协议(NTP)的服务器，用于通过通信网络分发和同步时间。
处理服务器30可以是单个服务器或服务器群组。该服务器组可以是集中式的或分布式的(例如，处理服务器30可以是分布式系统)。在一些实施例中，处理服务器30可以是本地的或远程的。例如，处理服务器30可以通过通信网络访问存储在视觉显示系统或移动设备中的信息和/或数据。作为另一个示例，处理服务器30可以直接连接到视觉显示系统以访问存储的信息和/或数据。在一些实施例中，可以在云平台上实现处理服务器30。仅仅通过举例，该云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间、多云等或其任何组合。
可与视觉显示系统10和移动设备50、51、52进行网络通信的数据存储服务器40可以包括分离的从音频内容和主视觉内容或主音频内容。可以将主视觉内容经由通信网络下载到视觉显示系统并将其存储在视觉显示系统的存储器内。视觉显示系统还包含处理器(未示出)，该处理器执行操作以执行或运行代码或编程以执行多个功能；具体为视频播放器应用(未显示)。在一些实施例中，可以无需从数据存储服务器40下载主视觉内容。在一些实施例中，可以经由与硬盘驱动器的直接连接将其上传到视觉显示系统上。在一些实施例中，可以由移动设备经由通信网络将从音频内容从数据存储服务器下载到移动设备并将其存储在所述移动设备的存储器中。
在一些实施例中，本公开允许将一个或多个移动设备上的从音频内容同步到分离的视觉显示系统上的主音频内容。例如，在第一位置处的现场视觉显示表演的场景中，可以将第二位置处观众成员的移动设备上播放的从音频内容与视觉显示系统上正在播放的主音频内容同步。在一些实施例中，视觉显示系统可以与控制系统12进行有线或无线通信。控制系统12是命令或调节其他设备或系统的行为以实现期望结果的设备系统或一组设备。在一些实施例中，控制系统12包括诸如按钮、按键或开关的输入设备以触发多个部分的现场视觉显示表演。被配置为在视觉显示系统上播放的主音频内容可以包括可嵌入、混合或组合到一个或多个音频音轨中的一个或多个音频指示轨以形成主音频内容，使得音频指示轨能够作为相对于音频音轨的精确时间描述。被配置为在移动设备上播放的从音频内容可以包括可嵌入、混合或组合到一个或多个音频音轨中的一个或多个从音频指示轨以形成从音频内容，使得所有从音频内容的预定持续时间与主音频内容相同。这些音频指示轨被配置成控制或激活现场视觉显示表演的多个部分。该音频提示轨可以包括声音提示或音频时间码，例如SMPTE时间码、FSK时间码或LTC(线性时间码)，每一个是用于时间码的标准协议。音频提示轨可以包括可采用烟花、定时、灯光或声音提示形式的提示，其控制或指导现场视觉显示表演的多个部分。例如，在烟花显示中，音频提示轨可以包括烟花提示，每个烟花提示在不同时间激活不同组烟花。另一方面，主音频内容可以包括可以是音乐内容或录音的音频音轨，其可以被输入到分离的音频输出设备(未示出)。在一些实施例中，将音频提示轨从视觉显示系统馈送到控制系统中。在一些实施例中，由一个或多个外部设备(未示出)将音频提示轨馈送到一个或多个控制系统中，该外部设备可以是与视觉显示系统同步地播放音频提示轨的从移动设备。在其他实施例中，该控制系统包括对应于用于激活现场视觉显示表演的提示的音频时间码的控制信号。另一方面，从音频内容可以包括可以是音乐内容或录音的音频音轨，其可以由观众成员的从移动设备播放。
主音频内容是预定持续时间的音频音轨。如前所述，从音频内容可以包括从音频提示轨道，其可以包括其上的音频时间码、灯光提示、声音提示或烟花提示或其组合。一个或多个从音频提示轨中的每一个都具有与主音频内容相同的预定持续时间。可以通过音频同步应用在一个或多个从外部设备上播放从音频提示轨。以这种方式，通过允许从外部设备(例如移动设备)播放与在视觉显示系统上播放的主音频内容同步播放的从音频提示轨，从移动设备的操作者可以控制或指导现场视觉显示表演的多个部分。例如，在一个实施例中，从移动设备可以与不同于与视觉显示系统进行有线或无线通信的控制系统的第二控制系统进行有线或无线通信。第二控制系统又可以被配置成在接收到对应于在从移动设备上播放的从音频提示轨的控制信号时触发灯光提示或烟花提示。在另一个实施例中，从移动设备可以不与第二控制系统进行通信。移动设备的操作者将收听到移动设备上播放的从音频提示轨，并且当操作者接收提示而如此操作时，将在第二控制系统上触发灯光提示或烟花提示。
作为示例，视觉显示系统可以播放包含音频提示轨的主音频内容，其包括诸如SMPTE、FSK或LTC的音频时间码。音频提示轨被馈送到第一控制系统中，第一控制系统具有与多种时间码位置相关联的一个或多个烟花提示。在一些实施例中，可以通过移动设备向远离视觉显示系统和第一控制系统的分离位置中的第二或第三控制系统馈送从音频提示轨，包括被配置成用于控制视觉或声音效果的音频时间码。具有移动设备的灯光显示操作者可以收听音频提示轨，其包括口头提示，以在现场视觉显示表演的多个预设位置处触发预设的灯光提示。灯光显示操作者的移动设备正在与视觉显示系统上播放的主音频提示轨同步地播放从音频提示轨。在一些实施例中，观众成员可以在从移动设备上收听与视觉显示系统同步地播放的音频音轨，其可以包含音乐音轨。这样使得大型烟花活动的多种视听部件能够彼此同步地工作。
通过经由通信网络将移动设备50、51、52和视觉显示系统10连接到处理服务器30、数据存储服务器40和时间服务器20，能够使配置成用于在移动设备上播放的从音频内容能够与分离的视觉显示系统10上播放的主音频内容和/或主视觉内容同步，从而使得正在观看显示主视觉内容的视觉输出设备11的观众成员能够拥有大型活动的更好的音频和视觉体验。
如本文所使用的，移动设备50、51、52、视觉显示系统10、视觉输出设备11和控制系统12可以经由任何通信网络，例如局域网(LAN)、城域网(MAN)、广域网(WAN)、专有网络和/或因特网协议(IP)网络，如因特网、内联网或外联网来交换数据。该系统内的每个设备、模块或部件可以通过网络连接或者可以直接连接。本领域技术人员将认识到，术语“网络”、“计算机网络”和“线上”是可以互换使用的并且不暗示特定的网络实施例。一般而言，任何类型的网络可以用于实现本公开的线上或计算机网络实施例。网络可以由服务器或服务器的组合来维护或网络可以是无服务器的。此外，可以使用任何类型的协议(例如，HTTP、FTP、ICMP、UDP、WAP、SIP、H.323、NDMP、TCP/IP)来跨网络进行通信。如本文描述的设备和系统可以经由一种或多种这样的通信网络来进行通信。
图2示出说明根据多种实施例的，用于将一个或多个计算设备上的从音频内容同步到配置成用于在分离的视觉显示系统上播放的主音频内容或主视觉内容的示例性方法的流程图。当观众成员到达能够在视觉输出设备上观看预定持续时间的主视觉内容的位置，例如，在先前通知观众成员的演出的日期和时间，或到达在视觉显示系统上进行播放预定持续时间的主音频内容所在的现场视觉显示表演处时，观众成员可以启动音频同步应用的下载。该音频同步应用允许观众成员从数据存储服务器下载观众成员有兴趣观看的演出的从音频内容，其具有与主视觉内容或主音频内容相同的预定持续时间。在一些实施例中，从数据存储服务器下载从音频内容可以在到达预定位置和时间之前在任何位置执行。在一些实施例中，向观众成员提供一个或多个演出的选择供其购买，无论是在预定位置或任何位置，并且提示用户使用但不限于支付网关或者电子钱包、信用卡或预付费来进行付费。在成功支付所选演出时，观众成员可以将所选演出的从音频内容下载到移动设备的存储器中。
在预定位置和时间处，操作者将在视觉显示系统上启动主视觉内容或主音频内容的广播。在一些实施例中，操作者将在视觉显示播放器应用上发起主视觉内容或主音频内容的广播，该应用向操作者提供用于控制和播放主视觉内容或主音频内容的界面。主视觉内容被输出到可视输出设备，例如屏幕、投影仪、电视机等。在步骤71中，当操作者触发主视觉内容或主音频内容进行播放时，视觉显示系统获得视觉显示系统真实时间。视觉显示系统真实时间是基于视觉显示系统本地时间和视觉显示系统时间偏移量来确定，并且基于以下公式：
视觉显示系统真实时间＝视觉显示系统本地时间+视觉显示系统时间偏移量
视觉显示系统时间偏移量是视觉系统本地时间与根据与该视觉显示系统通信的时间服务器得到的时间服务器时间之间的时间差。
在步骤72中，视觉显示系统继续以生成包含以下信息的同步消息：
视觉显示系统真实时间；
主视觉内容时间码或主音频内容时间码；以及
主视觉内容状态或主音频内容状态。
该主视觉内容时间码对应于在视觉显示系统上正在播放的主视觉内容的当前时间位置。主视觉内容状态或主音频内容状态分别与工作模式或主视觉内容的状态或主音频内容状态相关联。工作模式或状态可以是“正在播放”或“已停止”，其指示主视觉内容或主音频内容是否继续播放或内容是否已停止播放。一旦生成同步消息后，则将其发送到处理服务器。
在步骤73中，当移动设备被观众成员触发以播放从音频内容时，处理服务器按周期性时间间隔向移动设备发送同步消息。按周期性时间间隔将同步消息传输到移动设备是通过WebSocket通信协议来实现的。这使移动设备能够侦听或持续地与处理服务器通信，以使同步消息按周期性时间间隔被发送。例如，这可以每秒传送一次。WebSocket通信协议还使移动设备能够一旦在视觉显示系统向前或向后调整时间码时或者从“正在播放”更改到“已停止”状态或反之时接收到同步消息。换言之，每当操作者对主音频内容时间码或主视觉内容时间码有进行手动调整或分别对主视觉内容状态或主视觉内容状态的状态有进行更改时，则将向移动设备相应地传送一个或多个同步消息。
在步骤74中，移动设备将确定移动设备真实时间。移动设备真实时间是基于移动设备本地时间和移动设备时间偏移量来确定，并且基于以下公式：
移动设备真实时间＝移动设备本地时间+移动设备时间偏移量
移动设备真实偏移量是移动设备本地时间与根据与移动设备通信的时间服务器得到的时间服务器时间之间的时间差。
在步骤75中，该移动设备将确定从音频内容时间码，所述从音频内容时间码基于主视频内容时间码或主音频内容时间码、移动设备真实时间和视觉显示系统真实时间。从音频内容时间码基于以下公式确定：
延迟＝移动设备真实时间-视觉显示系统真实时间
从音频内容时间码＝主视觉内容时间码或主音频内容时间码+延迟
从音频内容时间码是基于主视觉内容时间码或主音频内容时间码与延迟求和来确定的，该延迟确定为移动设备真实时间与视觉显示系统真实时间之间的时间差。从音频内容时间码对应于视觉显示系统上正在播放的主视觉内容时间码或主音频内容时间码的当前位置。
在步骤76中，当检测到主视觉内容或主音频内容处于播放模式时，音频同步应用将确定从音频内容时间码是否与主视觉内容时间码或主音频内容时间码是否不同步。由于移动设备通过WebSocket通信协议与处理服务器保持持续连接，因此移动设备按周期性时间间隔接收同步消息。这使音频同步应用能够在预定时间间隔内检查音频内容时间码是否与主视觉内容时间码或主音频内容时间码不同步。确定从音频内容时间码是否与主视觉内容时间码或主音频内容时间码不同步的公式如下：
时间差＝从音频内容时间码-当前从音频内容时间码
在步骤77中，如果从音频内容时间码与主视觉内容时间码或主音频内容时间码不同步超过±200ms(即，时间差在任一方向上超过±200ms)，例如，移动设备将调整与视觉显示系统上内容的当前位置所关联的主音频内容时间码或主视频内容时间码同步的从音频内容时间码的回放。在一些实施例中，预定间隔可以是约+200ms或大约-200ms则被视为与主视觉内容时间码或主音频内容时间码不同步。在步骤78中，如果时间差小于±200ms，则移动设备将继续与主视觉内容时间码或主音频内容时间码同步地播放从音频内容时间码。
实施例1
图3示出系统100的部件的概览，该系统将能够使视听内容文件中分离的视觉内容112和音频内容114彼此同步地在视觉显示系统和一个或多个移动设备上分别播放。当被触发播放时，视觉显示系统向时间服务器通知与视觉显示系统上播放的视觉内容的当前位置和视觉显示系统上正在播放的视觉内容的视觉内容状态(“正在播放”或“已停止”)关联的视觉内容时间码。该时间服务器将视觉内容时间码与当前时间(时间戳)和视觉内容状态一起记录。用户的移动设备将通过从时间服务器提取最新当前时间、视觉内容状态、视觉内容时间码和时间戳来播放视听内容的音频内容，然后将音频内容的播放调整为与视觉显示系统上正在播放的视觉内容同步。在一些实施例中，视听内容文件可以包括演出，但不限于：电影、电视、视频内容、烟花、灯光、水、激光表演等。
时间码是由定时同步系统按规律性间隔生成的一系列数字码。时间码用于视频制作、演出控制和需要时间协调或记录录制或动作的应用。在本公开的场景中，“时间码”是指音频或视觉媒体的整个过程中恒定且定时的间隔的任何符号命名，可用于引用“正在播放”或“已停止”音频或视频内容文件的位置。为了同步分离的音频和视觉内容，在它们被播放时，它们的时间码应该精确地匹配。
考虑到网络延迟，视觉显示系统和移动设备都将在与时间服务器连接时检查时间服务器转接时间。这些转接时间用于调整移动设备上的音频内容播放。
数据存储服务器110在存储装置中具有特定视听内容文件的分离的视觉内容112和音频内容114。视听内容文件的视觉内容112经由因特网(未示出)或其他类似的通信网络下载到视觉显示系统120并存储在存储器126内。视觉显示系统120还包含处理器122，该处理器执行操作以执行或运行代码或编程以执行多个功能；例如，该处理器可以执行或运行视觉显示应用。在一些实施例中，视觉内容可以无需从数据存储服务器110下载，而是可以经由直接连接从外部存储源(例如，硬盘驱动器)加载到视觉显示系统120上。
特定视听内容文件的音频内容114经由因特网(未示出)或通信网络下载到移动设备150并存储在所述设备的存储器156内。在一些实施例中，音频内容可以无需从服务器110下载，而是可以从外部设备或存储源加载到移动设备的存储器中。在一些实施例中，可以无线地或经由有线连接从外部设备或存储源获取音频内容。在一些实施例中，该外部设备或存储源可以是硬盘驱动器。
时间服务器140是从参考时钟读取实际时间的服务器，并使用通信网络分发该信息。时间服务器140还具有用于记录信息的数据库。
当(使用控件来触发，这些控件可以包括但不限于：键盘、鼠标、语音控制、时间等)将视觉显示系统120设置为开始播放视觉内容128时，将有视觉显示输出经由连接到视觉输出设备162，例如投影仪、电视机或监视器。同时，使用处理器122和视觉显示系统时钟124的视觉显示系统120将通过因特网(未示出)或类似的通信网络，使用ping或类似方法来检查视觉显示系统时间服务器转接时间。视觉显示系统时间服务器转接时间是从视觉显示系统向时间服务器传送ping并返回所花费的时间。随后，它将发送视觉内容时间码、视觉显示系统时间服务器转接时间和视觉内容状态(“正在播放”或“已停止”)到时间服务器140。时间服务器立即记录其接收到视觉内容时间码所在的时间，本文中称为时间戳。时间服务器140将时间戳、视觉内容时间码、视觉显示系统服务器转接时间和当前状态(“正在播放”或“已停止”)记录到其数据库中。
移动设备150可以是任何类型的固定或便携式计算设备，包括移动手机、单元、设备、多媒体平板电脑、PhableTet、通信器、桌面计算机、膝上型计算机、个人数字助理或其任何组合，专门被配置成执行具有扬声器、耳机或有线或无线连接到移动设备150的耳塞的移动设备功能。在论述中，术语“移动设备”和“计算设备”是可以互换使用的。
移动设备150可以访问通信网络并与其他计算机和系统通信，例如，处理服务器、数据库和/或时间服务器、视觉显示系统和可操作地连接到视觉显示系统的显示设备，所有这些都经由通信网络互连。
移动设备150还包括用于执行或运行代码或编程应用的处理器152。在一些实施例中，处理器实现音频同步应用的执行或运行。该音频同步应用可以由用户下载或预先安装在移动设备上。在移动设备150上播放音频内容158时，该设备将首先使用处理器152和移动设备时钟154，使用ping或类似的方法经由因特网(未示出)或类似通信网络检查移动设备时间服务器转接时间。移动设备时间服务器转接时间是从移动设备向时间服务器传送ping并返回所花费的时间。随后，移动设备150将从时间服务器140获取视觉显示系统120的时间戳、视觉内容时间码、视觉显示时间服务器转接时间和视觉内容状态(“正在播放”或“已停止”)。使用(视觉显示系统和移动设备的)时间戳、视觉内容时间码、视觉内容状态和时间服务器转接时间，移动设备150将音频内容158调整为与视觉显示系统上的视觉内容同步地回放。为了将音频内容调整为与视觉显示系统上的视觉内容同步地回放，移动设备使用NTP协议来确定移动设备真实时间，即，移动设备检查时间服务器以获取时间服务器的当前时间，并且基于当前服务器时间和移动设备时间服务器转接时间确定移动设备真实时间。音频同步应用随后确定被配置为与视觉显示系统上播放的视觉内容时间码的当前位置同步的位置处播放音频内容的音频时间码。音频内容时间码由以下公式确定：
音频内容时间码＝(移动设备真实时间-(时间戳-视觉显示系统时间服务器转接时间/2))+视觉内容时间码
观众成员170将体验来自视觉输出设备162的视觉内容128和通过移动设备150无缝和视听同步地体验音频内容158。
如本文所使用的，移动设备150可以经由任何通信网络，例如局域网(LAN)、城域网(MAN)、广域网(WAN)、专有网络和/或因特网协议(IP)网络，如因特网、内联网或外联网来交换信息。该系统内的每个设备、模块或部件可以通过网络连接或者可以直接连接。本领域技术人员将认识到，术语“网络”、“计算机网络”和“线上”是可以互换使用的并且不暗示特定的网络实施例。一般而言，任何类型的网络可以用于实现本公开的线上或计算机网络实施例。网络可以由服务器或服务器的组合来维护或网络可以是无服务器的。此外，可以使用任何类型的协议(例如，HTTP、FTP、ICMP、UDP、WAP、SIP、H.323、NDMP、TCP/IP)来跨网络进行通信。如本文描述的设备和系统可以经由一种或多种这样的通信网络来进行通信。
图4是图示用于能使分离的音频内容同步到视觉显示系统上的视觉内容的示例性方法的流程图。视觉显示系统连接到因特网(或类似的通信网络)。在步骤210中，操作者下载视觉显示播放器应用并将其安装到视觉显示系统的操作系统中。在步骤230中，操作者选择将被安排在预定日期和时间播放的视听内容文件，并且下载视听内容文件的视觉内容，将其存储在存储器中，或从视觉显示系统的本地存储器打开并加载该视觉内容。
在一些实施例中，并且在步骤250中，操作者在该演出的位置、日期和时间上在视觉显示系统上的视觉显示播放器应用上播放该视觉内容。在步骤280中，将视觉内容输出到可视输出设备，例如屏幕、投影仪、电视机等。同时，在步骤262中，视觉显示播放器应用将使用ping或类似方法检查时间服务器转接时间，并且在步骤264中，向时间服务器发送视觉内容时间码、时间服务器转接时间和视觉内容状态(“正在播放”或“已停止”)。时间服务器立即记录其接收到视觉内容时间码所在的时间，本文中称为时间戳。在步骤270中，时间服务器将此时间戳、视觉内容时间码、服务器转接时间和当前状态(“正在播放”或“已停止”)记录到其数据库中。
根据多种实施例，时间服务器是从基准时钟读取实际时间并使用通信网络分发该信息的的服务器。在这种情况下，时间服务器也具有用于记录信息的数据库。时间服务器可以是本地网络时间服务器或因特网服务器。在一些实施例中，网络时间协议(NTP)用于在通信网络上分发和同步时间。
图5示出用于将移动设备上的音频内容同步到分离的视觉显示系统上的视觉内容的示范性方法的流程图。移动设备连接到因特网(或类似的通信网络)。在步骤310中，观众成员下载音频同步应用并将其安装到移动设备的操作系统中。在步骤320中，观众成员选择要购买的演出，并且然后作为可选步骤，提示观众成员使用但不限于支付网关、内部钱包、订阅费、信用卡等来为演出付费。或者，如果演出不需要任何付费，则观众成员将不需要支付。在成功付费或不需要付款时，下载演出的音频内容并将其存储在移动设备的存储器中。
在步骤360中，观众成员在演出的指定日期和时间到达该位置，并且在步骤370中，观众成员触发应用来播放音频内容。在步骤372中，移动设备将使用因特网(或类似的通信网络)检查时间服务器以确认演出是否已经开始。在步骤374中，如果演出已经开始，则移动设备确认存在来自视觉显示系统的以下记录：时间戳、时间码和处于“正在播放”状态的视觉内容状态。如果移动设备没有检测到记录或者如果在时间服务器数据库上检测到处于“已停止”状态的视觉内容状态，则音频内容将不会播放。在步骤376中，如果移动设备检测到存在时间戳、时间码和处于“正在播放”状态的视觉内容状态，则移动设备将使用ping或类似方法检查服务器转接时间。在步骤378中，移动设备将从时间服务器数据库中提取视觉显示系统的当前时间、时间戳、时间码、视觉内容状态(“正在播放”或“已停止”状态)，并使用这些信息连同移动设备的服务器转接时间来计算要与视觉内容同步380回放的音频内容的调整。为了将音频内容调整为与视觉显示系统上的视觉内容同步地播放，移动设备使用(视觉显示系统和移动设备的)时间戳、视觉内容时间码、视觉内容状态和时间服务器转接时间。移动设备使用NTP协议来确定移动设备真实时间，即，移动设备检查时间服务器以获取时间服务器的当前时间，并且基于当前服务器时间和移动设备时间服务器转接时间确定移动设备真实时间。音频同步应用随后确定被配置为与视觉显示系统上播放的视觉内容时间码的当前位置同步的位置处播放音频内容的音频时间码。音频内容时间码基于以下公式确定：
音频内容时间码＝(移动设备真实时间-(时间戳-视觉显示系统时间服务器转接时间/2))+视觉内容时间码
在一些实施例中，时间服务器和数据库140可以是单个服务器或服务器群组。该服务器组可以是集中式的或分布式的(例如，可以是分布式系统)。在一些实施例中，时间服务器和数据库140可以是本地的或远程的。在一些实施例中，时间服务器和数据库可以在云平台上实现。仅仅通过举例，该云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间、多云等或其任何组合。
实施例2
图6示出系统400的部件的概览，该系统将能够使视听内容中分离的视觉内容412和音频内容414彼此同步地在分离的设备上回放。在一些实施例中，视听内容是演出，但不限于：电影、电视、视频内容、烟花、灯光、水、激光表演等。
图6示出一个备选实施例，其中时间服务器是分离的实体，即与上述实施例1中公开的时间服务器不同，并且移动设备与视觉显示系统之间的通信通过处理服务器445来进行。如本实施例所公开的时间服务器是指因特网上公开可用的时间服务器设备，例如Google公共NTP时间服务器，其从基准时钟读取实际时间并使用NTP协议分发该信息。
数据存储服务器410在存储装置中具有特定演出的分离的视觉内容412和音频内容414。演出的视觉内容412经由因特网(未示出)或其他类似的通信网络下载到视觉显示系统420并存储在视觉显示系统的存储器426内。在一些实施例中，经由通信网络将视觉内容和音频内容下载到视觉显示系统。视觉显示系统420还包含处理器422，该处理器执行操作以执行或运行代码或编程以执行多个功能。例如，该处理器可以被编程为运行视觉显示应用。在一些实施例中，视觉内容可以不从数据存储服务器410下载，而是可以经由无线或有线连接从外部数据源加载到视觉显示系统420上。例如，该外部数据源可以是硬盘驱动器。
特定演出的音频内容414经由因特网(未示出)或类似通信网络下载到移动设备450并存储在所述设备的存储器456内。可以无需从数据存储服务器410下载该音频内容。在一些实施例中，该音频内容可以经由无线或有线连接从外部数据源加载到移动设备的存储器中。例如，该外部数据源可以是硬盘驱动器。
时间服务器440是从基准时钟读取实际时间并使用NTP协议分发该信息的服务器设备，例如，在因特网上公开可用的时间服务器。NTP协议包括使用若干数据包交换将客户端同步到网络服务器，其中每个交换是一对请求和回复。当发出请求时，客户端将自己的时间(起始时间戳)存储到正在发送的数据包中。当服务器接收此类数据包时，则将其自己的时间(接收时间戳)存储到数据包中，并且将传送时间戳放入数据包之后将该数据包返回。当接收到回复时，接收方将再次记录其自己的接收时间来估计数据包的行程时间。该行程时间(延迟)估算为“总延迟减去远程处理时间”的一半，其中假定是对称延迟。
还有一个处理服务器445，用于将来自视觉显示系统420的同步消息传送到所有移动设备450。可以通过使用WebSocket或类似协议经由处理服务器445通过轻量级和快速连接来建立用于从处理服务向移动设备传送同步消息的协议。处理服务器和移动设备之间的这种恒定连接将能够从视觉显示系统向移动设备发送频繁和规律性同步消息。移动设备和视觉显示系统还规律性地从时间服务器440中检查移动设备时间偏移量和视觉显示系统时间偏移量。
当(使用控件来触发，这些控件可以包括但不限于：键盘、鼠标、语音控制、时间等)将视觉显示系统420设置为开始播放视觉内容428时，将有视觉显示输出经由连接到视觉输出设备462。在一些实施例中，视觉输出设备是投影仪、电视、监视器。同时，使用处理器422和时钟424的视觉显示系统420将经由因特网(未示出)或类似通信网络从时间服务器440检查当前时间并计算其视觉显示系统时间偏移量。使用其本地时间以及与时间服务器时间的时间偏移量，它可以得出视觉显示系统真实时间。随后，它将经由因特网(未示出)或类似通信网络，将视觉内容时间码、视觉显示系统真实时间和视觉内容状态发送到处理服务器445。视觉内容状态可以包括“正在播放”或“已停止”状态。在整个视听演出中，此过程将周期性地进行。
移动设备450还包括用于执行或运行代码或编程的处理器452。在一些实施例中，该处理器被编程为运行音频同步应用。在移动设备450上播放音频内容458，该设备将通过因特网(未示出)或类似通信网络来检查时间服务器440的时间并使用处理器452和移动设备时钟454计算其自己的时间偏移量。当移动设备被触发以播放音频内容时，移动设备将与处理服务器连接，以从视觉显示系统接收同步消息。移动设备450将经由因特网(未示出)或类似通信网络从处理服务器445接收同步消息。
每个同步消息包括：
视觉内容状态(“正在播放”或“已停止”)；
视觉内容时间码；
视觉显示系统真实时间；
在接收到同步消息时，移动设备将执行两个操作中的一个操作。“正在播放”的视觉内容状态指示视觉内容正在视觉显示输出设备或视觉显示系统上播放。如果移动设备接收到视觉内容状态为“已停止”状态的同步消息，则音频内容将不播放。
移动设备将检查与时间服务器440的其移动设备时间偏移量。然后，移动设备使用移动设备时间偏移量连同来自同步消息的数据来计算视觉显示系统420上播放的视觉内容的当前视觉内容时间码或当前位置，并且将移动设备上的音频内容的回放调整为与视觉输出设备上显示的视觉内容同步。移动设备真实偏移量是移动设备本地时间与从时间服务器得到的当前时间之间的变差或时间差。对应地，视觉显示系统时间偏移量是视觉显示系统本地时间与从时间服务器得到的当前时间之间的变差或时间差。
观众成员470将体验来自视觉输出设备462的视觉内容428和通过移动设备450无缝和视听同步地体验音频内容458。
对每个同步消息，根据以下公式执行计算。此处是同步消息的示例：
同步消息＝
视觉显示系统真实时间；
视觉内容时间码(当前位置)；
视觉内容状态(“正在播放”或“已停止”)
移动设备真实时间＝移动设备本地时间+移动设备时间偏移量
视觉显示系统真实时间＝视觉显示系统本地时间+视觉显示系统时间偏移量
延迟＝移动设备真实时间-视觉显示系统真实时间
延迟解释为视觉显示系统与移动设备之间的“同步消息”的转接时间。
音频内容时间码＝视觉内容时间码+延迟
时间差＝音频内容时间码-当前音频内容时间码
移动设备上的音频应用检查播放器是否处于音频内容时间码处。如果音频内容时间码与当前音频内容时间码之间存在超过200ms的时间差，则播放器将调整到音频内容时间码。
由于可变的网络状况条件以及移动设备450和视觉显示系统420的性能下降，一直存在不同步的风险，因此移动设备和视觉显示系统经由处理服务器445使用WebSocket或类似协议建立轻量级和快速连接。这种恒定连接将能够实现从视觉显示系统向移动设备发送频繁和规律性“同步消息”。移动设备和视觉显示系统还规律性地分别检查移动设备时间偏移量和视觉显示系统时间偏移量。检查移动设备真实时间和视觉显示系统真实时间的这种恒定和频繁过程连同发送“同步消息”确保了视觉内容与音频内容同步而偏移量小于200ms。
WebSocket通信协议定义用于经由通信网络的客户端(即，移动设备和视觉显示系统)与处理服务器之间的快速、安全、准实时且双向通信的机制。数据通过全双工单套接字连接来传送，从而能够实时地从两个端点发送和接收数据包。为了建立WebSocket连接，在客户端和服务器之间交换特定基于HTTP的握手。如果成功，使用先前建立的TCP传输层连接，将应用层协议从HTTP“升级”
到WebSocket。在握手之后，不再使用HTTP，并且可以由两个端点使用WebSocket协议发送或接收数据，直到WebSocket连接关闭为止。因此，通过服务器上的WebSocket通信协议，数据在(移动设备上的)音频同步应用与(视觉显示系统上的)视觉显示应用之间传输以及反之。
图7是图示用于能使分离移动设备上的音频内容同步到视觉显示系统500上的视觉内容的示例性方法的流程图。在预定位置和时间，操作者将在与网络有线或无线通信的视觉显示系统上发起视觉内容的广播。主视觉内容被输出到可视输出设备，例如屏幕、投影仪、电视机等。在步骤510中，下载视觉显示播放器应用，并将其安装或写入到视觉显示系统的操作系统中。在步骤520中，操作者将在视觉显示播放器应用上选择演出。一旦选定，则将下载演出的视觉内容并将其存储在视觉显示系统的存储器中。在一些实施例中，已将演出的视觉内容预加载到视觉显示系统的存储器上。在一些实施例中，可以从外部存储设备下载演出的视觉内容。
在步骤550中，在演出的预定位置、日期和时间处，操作者可以触发视觉显示系统以在应用中播放视觉内容。在步骤580中，在视觉输出设备上显示视觉内容。在一些实施例中，视觉输出设备是屏幕、投影仪、电视等。同时，在步骤562中，当操作者触发播放视觉内容时，视觉显示系统或视觉显示应用获得视觉显示系统真正时间。视觉显示系统真实时间是基于视觉显示系统本地时间和视觉显示系统时间偏移量来确定，并且基于以下公式：
视觉显示系统真实时间＝视觉显示系统本地时间+视觉显示系统时间偏移量
视觉显示系统时间偏移量是视觉显示系统本地时间与根据与该视觉显示系统通信的时间服务器得到的时间服务器时间之间的时间差。
在步骤564中，视觉显示系统继续以生成包含以下信息的同步消息：
视觉显示系统真实时间；
视觉内容时间码；以及
视觉内容状态。
该视觉内容时间码对应于视觉显示系统上正在播放的视觉内容的当前时间位置。将视觉内容状态与视觉内容的工作模式或状态相关联。工作模式或状态可以是“正在播放”或“已停止”，其指示视觉内容是否继续播放或视觉内容是否已停止播放。一旦生成同步消息后，则将其发送到处理服务器。
在步骤570中，当移动设备被观众成员触发以播放音频内容时，处理服务器按周期性时间间隔向移动设备发送同步消息。按周期性时间间隔将同步消息传输到移动设备是通过WebSocket通信协议来实现的。这使移动设备能够侦听或持续地与处理服务器通信，以使同步消息按周期性时间间隔被发送。例如，这可以每秒传送一次。WebSocket通信协议还使移动设备能够一旦在视觉显示系统向前或向后调整时间码时或者从“正在播放”更改到“已停止”状态或反之时接收到同步消息。换言之，每当操作者对主音频内容时间码或主视觉内容时间码有进行手动调整或分别对主视觉内容状态或主视觉内容状态的状态有进行更改时，则将向移动设备相应地传送一个或多个同步消息。
图8示出用于将移动设备上的音频内容同步到分离的视觉显示系统上的视觉内容的示范性方法的流程图。移动设备连接到因特网(未示出)或类似通信网络。在步骤610中，下载音频同步应用，并将其安装或写入到移动设备的操作系统中。在步骤620中，观众成员将选择购买的演出。在一些实施例中，提示观众成员使用但不限于支付网关、内部钱包、订阅费、信用卡等来为演出付费。在一些实施例中，该演出可能不需要付费，并且向观众成员免费馈赠的。在成功付费时或由于演出是免费馈赠而无需付费的情况下，下载演出的音频内容并将其存储在移动设备的存储器中。
在步骤660中，到达在演出的预定位置、日期和时间时，观众成员触发音频同步应用在音频同步应用中播放音频内容。在步骤672中，移动设备将使用因特网(未示出)或类似通信网络与处理服务器连接，以侦听来自视觉显示系统的同步消息。在接收到同步消息时，678，移动设备将执行两个操作中的一个操作。“正在播放”的视觉内容状态指示视觉内容正在视觉输出设备或视觉显示系统上播放。如果移动设备接收到视觉内容状态为“已停止”状态的同步消息，则音频内容将不播放。
在步骤676中，移动设备将确定移动设备真实时间。移动设备真实时间是基于移动设备本地时间和移动设备时间偏移量来确定，并且基于以下公式：
移动设备真实时间＝移动设备本地时间+移动设备时间偏移量
移动设备真实偏移量是移动设备本地时间与根据与移动设备通信的时间服务器得到的时间服务器时间之间的时间差。
在步骤680中，移动设备将确定音频内容时间代码，所述音频内容时间代码基于所述视觉内容时间码、所述移动设备真实时间和所述视觉显示系统真实时间，该音频内容时间码使得音频同步应用能够将音频内容调整为与视觉显示系统上播放的视觉内容同步地在音频内容时间码处播放。音频内容时间码基于以下公式确定：
延迟＝移动设备真实时间-视觉显示系统真实时间
音频内容时间码＝视觉内容时间码+延迟
该音频内容时间码是基于视觉内容时间码与延迟求和来确定的，该延迟确定为移动设备真实时间与视觉显示系统真实时间之间的时间差。音频内容时间码对应于视觉显示系统上正在播放的视觉内容时间码的当前位置。
当检测到视觉内容处于播放模式时，音频同步应用将确定音频内容时间码是否与视觉内容时间码是否不同步。由于移动设备通过WebSocket通信协议与处理服务器保持持续连接，因此移动设备按周期性时间间隔接收同步消息。只要有对视觉内容时间码进行调整或对视觉内容状态的状态进行更改时，则处理服务器也传送同步消息。这使音频同步应用能够在预定时间间隔内检查音频内容时间码是否与视觉内容时间码不同步。确定音频内容时间码是否与视觉内容时间码不同步的公式如下：
时间差＝音频内容时间码-当前音频内容时间码
例如如果音频内容时间码与视觉内容时间码不同步超过±200ms，则移动设备将调整与视觉显示系统上内容的当前位置所关联的视频内容时间码同步的音频内容时间码的回放。在一些实施例中，该预定间隔可以是约+200ms或大约-200ms则被视为与视觉内容时间码不同步。如果时间差小于±200ms，则移动设备将继续与视觉内容时间码同步地播放音频内容时间码。
在使用中，将观众成员的移动设备上的音频内容同步到分离的视觉输出设备上显示的视觉内容的过程可以用于户外公共电影的设施。例如，电影操作者将使用视觉显示系统和/或视觉显示应用将电影的视觉部分(或视觉内容)下载到系统的存储器中。观众成员将通过其移动设备上的音频同步应用下载影片的音频内容。当视觉显示系统开始播放时，观众成员可以触发其移动设备以播放音频内容。该同步过程使用时钟、时间服务器(NTP)时间码、经由服务器发送的同步消息和计算，以将音频内容调整为与视觉内容同步地播放，使得观众成员可以通过视听同步来观看电影，如同电影的音频和视觉部分从未分离一样。音频内容可以是来自电影的初始音频或备选音频，如电影的导演评论或不同的音频语言音轨。
备选应用案例可以是将观众成员的移动设备上的音频内容同步到现场视频显示，例如烟花、灯光、水、激光表演等。例如，操作者将使用视觉显示系统420和应用将主音频内容下载到系统的存储器426中。主音频内容可以包括音频提示音轨，其可以包括音频时间码，例如SMPTE、FSK或线性时间码。可以将音频时间码音轨馈送到数字控制系统中，该数字控制系统可以读取音频时间码，并且已经预先配置成在时间码音轨的某些位置处启动烟花提示。音频提示音轨还可以包括供手动操作者用于触发一系列烟花的预先记录的口头提示。音频提示音轨可以提示现场视觉显示的任何组件的控制信号，例如灯光控制台、烟花控制模块、数字发射系统等。手动烟花操作者可以通过从移动设备来侦听音频提示音轨，该从移动设备与视频显示系统主音频内容同步地播放该音频提示音轨。观众成员可以通过其移动设备450上的应用下载现场演出的从音频内容。该从音频内容可以包括与视觉显示系统上播放的主音频内容对应或同步的音频音轨，向观众成员提供沉浸式音频体验。在一些实施例中，音频音轨可以包括语音评论、唱歌表演和/或音乐音轨。由于数字控制系统通过音频时间码同步到视觉显示系统，并且播放音频提示音轨的任何从音频设备也与视频显示系统同步；观众成员的移动设备450上的从音频内容将与烟花、激光器、灯光或水显示等的实时视觉显示同步。
再一个应用案例可以包括与主音轨同步的各种不同从音轨，使得现场演出中的多个不同工作人员能够侦听与主音频音轨同步的各自提示音轨。
例如，在现场戏剧表演中，灯光、音响、烟火制造人员和置景工等全部可以在其各自个人移动设备450上侦听其具体提示音轨，这些提示音轨都与舞台管理者控制的视频显示系统420上的主音频音轨同步。
在又一个示例中，在烟花演出中，多个手动钉板(pinboard)操作者可以在其各自移动设备450上侦听相同从音频提示音轨，以触发与视觉显示系统420上播放的主音频音轨同步的烟花和烟花发射。与此同时，观众成员可以观看烟花演出，同时在没有烟火发射触发提示的情况下在其各自移动设备450上侦听烟火演出的音频音轨(例如，解说/配乐)。
虽然本发明是参考实施例予以具体图示和描述的，但是本领域技术人员应该理解，在不背离所附权利要求定义的本发明精神和范围的情况下，可以在其中进行形式和细节上的多种更改。因此，本发明的范围由所附权利要求指示，以及落在所附权利要求的含义和范围内的所有更改因此均理应被包含在其中。

Claims (23)

1.一种将配置成在移动设备上回放的音频内容同步到配置成用于分离的视觉显示系统上播放的视听显示的视觉内容的方法，所述方法包括以下步骤：
在第一个位置和时间处，在所述视觉显示系统控制的视觉输出设备上呈现所述视觉内容；
从所述视觉显示系统获取基于视觉显示系统本地时间和视觉显示系统时间偏移量的视觉显示系统真实时间，
由所述视觉显示系统生成配置成用于向处理服务器传输的同步消息，其中，所述同步消息包括所述视觉显示系统真实时间、视觉内容状态和视觉内容时间码；
由所述处理服务器按周期性时间间隔向所述移动设备发送所述同步消息，
确定音频内容时间码，所述音频内容时间码基于所述视觉内容时间码、移动设备真实时间和所述视觉显示系统真实时间，其中在所述视觉内容状态处于播放模式时的第二位置和时间处被触发在所述移动设备上播放所述音频内容时，在与所述视频显示系统上所述视频内容的当前位置关联的所述视频内容时间码同步的所述音频内容时间码处播放所述音频内容。
2.根据权利要求1所述的方法，其包括以下步骤：
确定所述音频内容时间码是否与所述视觉显示系统上的所述视觉内容时间码不同步超出预定时间间隔；以及
响应于所述音频内容时间码不同步超出所述预定时间间隔时，将所述移动设备上所述音频内容的回放调整到与所述视觉显示系统上所述视觉内容的当前位置关联的所述视觉内容时间码同步的音频内容时间码。
3.根据权利要求1所述的方法，其中，所述音频内容时间码是基于所述视觉内容时间码与所述移动设备真实时间与所述视觉显示系统真实时间之间的时间差的求和来确定的。
4.根据权利要求1所述的方法，其中，当存在对所述视觉内容时间码的调整时，传送所述同步消息。
5.根据权利要求1所述的方法，其中，当存在对所述视觉内容状态的状态进行更改时，传送所述同步消息。
6.根据权利要求3所述的方法，其中，所述移动设备真实时间是基于移动设备本地时间和移动设备时间偏移量来确定，其中所述移动设备时间偏移量是所述移动设备本地时间与根据与所述移动设备通信的时间服务器得到的时间服务器当前时间之间的时间差。
7.根据权利要求1所述的方法，其中，所述视觉显示系统时间偏移量是所述视觉显示系统本地时间与根据与所述视觉显示系统通信的时间服务器得到的时间服务器当前时间之间的时间差。
8.根据权利要求2所述的方法，其中，所述预定时间间隔约为200ms。
9.一种将配置成在移动设备上回放的从音频内容同步到与现场视觉显示同步的主音频内容的方法，其中，所述主音频内容被配置成用于在分离的视觉显示系统上播放，所述方法包括以下步骤：
在第一个位置和时间处，在所述视觉显示系统上播放所述主音频内容；
从所述视觉显示系统获取基于视觉显示系统本地时间和视觉显示系统时间偏移量的视觉显示系统真实时间；
由所述视觉显示系统生成配置成用于向处理服务器传输的同步消息，其中，所述同步消息包括所述视觉显示系统真实时间、主音频内容状态和主音频内容时间码；
由所述处理服务器按周期性时间间隔向所述移动设备发送所述同步消息；
确定从音频内容时间码，所述从音频内容时间码基于所述主音频内容时间码、移动设备真实时间和所述视觉显示系统真实时间，其中在所述主音频内容状态处于播放模式时的第二位置和时间处被触发在所述移动设备上播放所述从音频内容时，在与所述视频显示系统上所述主音频内容的当前位置关联的所述主音频内容时间码同步的所述从音频内容时间码处播放所述从音频内容。
10.根据权利要求9所述的方法，其包括以下步骤：
确定所述从音频内容时间码是否与所述视觉显示系统上的所述主音频内容时间码不同步超出预定时间间隔；以及
响应于所述从音频内容时间码不同步超出所述预定时间间隔时，将所述移动设备上所述从音频内容的回放调整到与所述视觉显示系统上所述主音频内容的当前位置关联的所述主音频内容时间码同步的音频内容时间码。
11.根据权利要求9所述的方法，其中，所述从音频内容包括用于启动所述现场视觉显示一部分的从音频提示音轨，由此由一个或多个计算设备向一个或多个控制系统传送所述从音频提示音轨，使得所述音频提示音轨被配置成用于与所述主音频内容同步。
12.根据权利要求9所述的方法，其中，所述从音频内容包括与语音记录关联的音频音轨，所述语音记录被配置成用于与所述主音频内容同步。
13.根据权利要求9所述的方法，其中，所述从音频内容包括与音乐伴奏关联的音频音轨，所述音乐伴奏被配置成用于与所述主音频内容同步。
14.根据权利要求9所述的方法，其中，所述主音频内容包括音频提示音轨，所述音频提示音轨被配置成用于由控制器或手动操作者触发现场视觉显示的一部分。
15.根据权利要求9所述的方法，其中，所述从音频内容包括从音频提示音轨，所述音频提示音轨被配置成用于由手动操作者触发被配置成用于与所述主音频内容同步的现场视觉显示的一部分。
16.根据权利要求9所述的方法，其中，当存在对所述视觉内容时间码的调整时，传送所述同步消息。
17.根据权利要求9所述的方法，其中，当存在对所述视觉内容状态的状态进行更改时，传送所述同步消息。
18.根据权利要求9所述的方法，其中，所述从音频内容时间码是基于所述主音频内容时间码与所述移动设备真实时间与所述视觉显示系统真实时间之间的时间差的求和来确定的，以及其中所述移动设备真实时间基于移动设备本地时间和移动设备时间偏移量来确定，其中所述移动设备时间偏移量是所述移动设备本地时间与根据与所述移动设备通信的时间服务器得到的时间服务器当前时间之间的时间差。
19.根据权利要求9所述的方法，其中，所述视觉显示系统真实时间是基于视觉显示系统本地时间和视觉显示系统时间偏移量来确定，其中，所述视觉显示系统时间偏移量是所述视觉显示系统本地时间与根据与所述视觉显示系统通信的时间服务器得到的时间服务器当前时间之间的时间差。
20.根据权利要求9所述的方法，其中，所述预定时间间隔约为200ms。
21.一种被配置成用于移动设备上实现的方法，所述移动设备具有至少一个处理器、至少一个计算机可读存储介质和连接到网络的同步应用，所述方法包括：
传送配置成用于存储在所述移动设备上的音频内容；
获得移动设备真实时间，所述移动设备真实时间是基于移动设备本地时间和移动设备时间偏移量来确定的，其中，所述移动设备时间偏移量是所述移动设备本地时间与根据与所述移动设备通信的时间服务器得到的时间服务器当前时间之间的时间差；
按周期性时间间隔从与视觉显示系统进行无线通信的处理服务器接收同步消息，其中，所述同步消息包括视觉显示系统真实时间、视觉内容状态和视觉内容时间码；
确定音频内容时间码，所述音频内容时间码基于所述视觉内容时间码、所述移动设备真实时间和所述视觉显示系统真实时间；其中所述视觉显示系统真实时间是基于视觉显示系统本地时间和视觉显示系统时间偏移量来确定，其中所述视觉显示系统时间偏移量是所述视觉显示系统本地时间与根据与所述视觉显示系统通信的时间服务器得到的时间服务器当前时间之间的时间差；
其中在所述视觉内容状态处于播放模式时被触发在所述移动设备上播放所述音频内容时，在与所述视频显示系统上所述视频内容的当前位置关联的所述视频内容时间码同步的所述音频内容时间码处播放所述音频内容。
22.一种将配置成在移动设备上回放的从音频内容同步到配置成用于分离的视觉显示系统上播放的主音频内容的方法，所述方法包括以下步骤：
从所述视觉显示系统获得视觉显示系统真实时间，其中，所述视觉显示系统真实时间是基于视觉显示系统本地时间和视觉显示系统时间偏移量来确定的，其中，所述视觉显示系统时间偏移量是所述视觉显示系统本地时间与根据与所述视觉显示系统通信的时间服务器得到的时间服务器当前时间之间的时间差；
由所述视觉显示系统生成配置成用于向处理服务器传输的同步消息，其中所述同步消息包括所述视觉显示系统真实时间、与操作模式关联的主音频内容状态和与所述视觉显示系统的当前位置关联的主音频内容时间码；
由所述处理服务器按周期性时间间隔向所述移动设备发送所述同步消息，
确定从音频内容时间码，所述从音频内容时间码基于所述主音频内容时间码、移动设备真实时间和所述视觉显示系统真实时间；其中所述移动设备真实时间基于所述移动设备本地时间和移动设备时间偏移量，其中，所述移动设备时间偏移量是所述移动设备本地时间与根据与所述移动设备通信的时间服务器得到的时间服务器当前时间之间的时间差；
其中，在所述主音频内容状态处于播放模式时被触发在所述移动设备上播放所述从音频内容时，在与所述视频显示系统上所述主音频内容的当前位置关联的所述主音频内容时间码同步的所述从音频内容时间码处播放所述从音频内容。
23.一种将配置成在移动设备上回放的从音频内容同步到配置成用于分离的视觉显示系统上播放的主音频内容的系统，所述系统包括：
存储器；
与所述存储器耦合的一个或多个处理器，其中，所述存储器包括处理器可执行代码，当所述处理器可执行代码被所述处理器执行时，促使所述处理器执行包括以下的操作：
从所述视觉显示系统获得视觉显示系统真实时间；其中所述视觉显示系统真实时间是基于视觉显示系统本地时间和视觉显示系统时间偏移量来确定，其中所述视觉显示系统时间偏移量是所述视觉显示系统本地时间与根据与所述视觉显示系统通信的时间服务器得到的时间服务器当前时间之间的时间差；
由所述视觉显示系统生成配置成用于向处理服务器传输的同步消息，其中所述同步消息包括所述视觉显示系统真实时间、与操作模式关联的主音频内容状态和与所述视觉显示系统的当前位置关联的主音频内容时间码；
由所述处理服务器按周期性时间间隔向所述移动设备发送所述同步消息，
确定从音频内容时间码，所述从音频内容时间码基于所述主音频内容时间码、移动设备真实时间和所述视觉显示系统真实时间，其中，所述移动设备真实时间基于所述移动设备本地时间和移动设备时间偏移量，其中，所述移动设备时间偏移量是所述移动设备本地时间与根据与所述移动设备通信的时间服务器得到的时间服务器当前时间之间的时间差；
其中，在所述主音频内容状态处于播放模式时被触发在所述移动设备上播放所述从音频内容时，在与所述视频显示系统上所述主音频内容的当前位置关联的所述主音频内容时间码同步的所述从音频内容时间码处播放所述从音频内容。
CN202080034368.3A 2019-05-10 2020-05-08 用于将移动设备上的音频内容同步到分离的视觉显示系统的系统和方法 Pending CN113796090A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962845897P 2019-05-10 2019-05-10
US62/845,897 2019-05-10
US201962883185P 2019-08-06 2019-08-06
US62/883,185 2019-08-06
PCT/SG2020/050269 WO2020231332A1 (en) 2019-05-10 2020-05-08 System and method for synchronizing audio content on a mobile device to a separate visual display system

Publications (1)

Publication Number Publication Date
CN113796090A true CN113796090A (zh) 2021-12-14

Family

ID=73290273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080034368.3A Pending CN113796090A (zh) 2019-05-10 2020-05-08 用于将移动设备上的音频内容同步到分离的视觉显示系统的系统和方法

Country Status (10)

Country Link
US (1) US11445238B2 (zh)
EP (1) EP3967046A4 (zh)
JP (1) JP7318990B2 (zh)
KR (1) KR102559350B1 (zh)
CN (1) CN113796090A (zh)
AU (1) AU2020274956A1 (zh)
CA (1) CA3137289A1 (zh)
GB (1) GB2598682B (zh)
SG (1) SG11202111622WA (zh)
WO (1) WO2020231332A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103222A (zh) * 2022-06-24 2022-09-23 湖南快乐阳光互动娱乐传媒有限公司 一种视频音轨处理方法及相关设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827697A (zh) * 2021-01-29 2022-07-29 深圳市奥拓电子股份有限公司 一种同步播放方法、系统和led显示屏

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1860866A1 (en) * 2006-05-26 2007-11-28 British Telecommunications Public Limited Company Audio-visual reception
CN103905880A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 音视频数据的播放方法、智能电视和移动设备
US20140324422A1 (en) * 2013-04-18 2014-10-30 WTF Technology Partners, Inc. Synchronous audio distribution to portable computing devices
US20150012123A1 (en) * 2013-07-08 2015-01-08 Disney Enterprises, Inc. System for synchronizing remotely delivered audio with live visual components
US20150046953A1 (en) * 2013-08-07 2015-02-12 AudioStreamTV Inc. Systems and Methods for Providing Synchronized Content
WO2016068791A1 (en) * 2014-10-31 2016-05-06 Citrine Wireless Pte Ltd Methods and apparatus for transmission of data to a mobile device
US20160134911A1 (en) * 2014-11-11 2016-05-12 Jérôme Tétreault System and method for synchronizing public event music broadcast to mobile phones
US20160336043A1 (en) * 2014-12-29 2016-11-17 Mkues, Inc. Method and Apparatus for the Insertion of Audio Cues in Media Files by Post-Production Audio & Video Editing Systems
CN106331753A (zh) * 2015-06-30 2017-01-11 意法半导体国际有限公司 在多个网络客户端上同步渲染经拆分的多媒体内容
US20170142672A1 (en) * 2015-11-13 2017-05-18 Pyrotechnics Management, Inc. Time code controlled logic device
CN208340110U (zh) * 2018-06-21 2019-01-08 北京悦方科技有限公司 用于游乐设备的演出控制系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2303768Y (zh) 1997-08-08 1999-01-13 许清乔 摩托车安全帽防盗装置
CN2452866Y (zh) 2000-07-17 2001-10-10 楼兮 摩托车、自行车保护装置
JP3878180B2 (ja) * 2004-01-21 2007-02-07 株式会社コナミデジタルエンタテインメント カラオケ装置、カラオケ方法、ならびに、プログラム
EP1592245A1 (en) * 2004-04-27 2005-11-02 Matsushita Electric Industrial Co., Ltd. Adaptive generation of synchronization signals
JP5074834B2 (ja) * 2007-06-29 2012-11-14 沖電気工業株式会社 音声・映像同期方法、音声・映像同期システム及び音声・映像受信端末
FR2920415B1 (fr) 2007-08-30 2009-12-18 Pellenc Sa Dispositif de manutention a chaines a maillons flexibles et barreaux
JP3139263U (ja) 2007-11-26 2008-02-07 得洙 清原 自転車用幌装置
DE102010029030A1 (de) * 2010-05-17 2012-03-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Verarbeitung von Daten in einem Fahrzeug
US9143564B2 (en) * 2012-05-18 2015-09-22 Andrew Milburn Concert server incorporating front-end and back-end functions to cooperate with an app to provide synchronized messaging to multiple clients
JP2014112766A (ja) * 2012-12-05 2014-06-19 Toshiba Corp 電子機器、制御方法、及び制御プログラム
US20140355947A1 (en) * 2013-03-15 2014-12-04 Alois William Slamecka System and method for synchronizing multi-camera mobile video recording devices
KR20150046407A (ko) * 2013-10-21 2015-04-30 숭실대학교산학협력단 콘텐츠 제공 방법 및 서버
US9558787B2 (en) * 2014-01-29 2017-01-31 Google Inc. Media application backgrounding
US20160092052A1 (en) * 2014-09-30 2016-03-31 Theater Ears, LLC Syncronizing audio playback in coordination with external video playback with auto-dimming
US11044386B1 (en) * 2014-12-18 2021-06-22 The Directv Group, Inc. Method and system for synchronizing playback of independent audio and video streams through a network
US10349367B2 (en) * 2015-03-03 2019-07-09 Qualcomm Incorporated Methods and systems for synchronizing devices
JP2016192743A (ja) * 2015-03-31 2016-11-10 株式会社バンダイナムコライツマーケティング ストリーミング動画配信システム
US10021465B2 (en) * 2015-10-12 2018-07-10 Timecode Systems Limited Synchronizing media devices
US10349368B2 (en) * 2016-06-30 2019-07-09 Imagination Technologies Limited Reference synchronisation
KR102197544B1 (ko) * 2016-08-01 2020-12-31 매직 립, 인코포레이티드 공간화 오디오를 가진 혼합 현실 시스템
US9979998B1 (en) * 2017-05-02 2018-05-22 Amazon Technologies, Inc. System for time synchronization of audio devices
US20180367839A1 (en) * 2017-06-16 2018-12-20 Oohms Ny Llc Method and system for synchronization of audio content for a remotely displayed video
CN109995123A (zh) 2017-12-29 2019-07-09 方鸣谦 车棚及安装有所述车棚的车辆
WO2020060551A1 (en) * 2018-09-20 2020-03-26 Oohms Ny Llc Method and system for synchronization of audio content for a remotely displayed video

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1860866A1 (en) * 2006-05-26 2007-11-28 British Telecommunications Public Limited Company Audio-visual reception
US20140324422A1 (en) * 2013-04-18 2014-10-30 WTF Technology Partners, Inc. Synchronous audio distribution to portable computing devices
US20150012123A1 (en) * 2013-07-08 2015-01-08 Disney Enterprises, Inc. System for synchronizing remotely delivered audio with live visual components
US20150046953A1 (en) * 2013-08-07 2015-02-12 AudioStreamTV Inc. Systems and Methods for Providing Synchronized Content
CN103905880A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 音视频数据的播放方法、智能电视和移动设备
WO2016068791A1 (en) * 2014-10-31 2016-05-06 Citrine Wireless Pte Ltd Methods and apparatus for transmission of data to a mobile device
US20160134911A1 (en) * 2014-11-11 2016-05-12 Jérôme Tétreault System and method for synchronizing public event music broadcast to mobile phones
US20160336043A1 (en) * 2014-12-29 2016-11-17 Mkues, Inc. Method and Apparatus for the Insertion of Audio Cues in Media Files by Post-Production Audio & Video Editing Systems
CN106331753A (zh) * 2015-06-30 2017-01-11 意法半导体国际有限公司 在多个网络客户端上同步渲染经拆分的多媒体内容
US20170142672A1 (en) * 2015-11-13 2017-05-18 Pyrotechnics Management, Inc. Time code controlled logic device
CN208340110U (zh) * 2018-06-21 2019-01-08 北京悦方科技有限公司 用于游乐设备的演出控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARCHAND,JULIEN AND TABORISKIY,ALEXANDER: "《Technical Disclosure Commons》", 18 March 2015 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103222A (zh) * 2022-06-24 2022-09-23 湖南快乐阳光互动娱乐传媒有限公司 一种视频音轨处理方法及相关设备

Also Published As

Publication number Publication date
US20220248081A1 (en) 2022-08-04
GB2598682B (en) 2023-05-03
JP2022533534A (ja) 2022-07-25
GB202116851D0 (en) 2022-01-05
EP3967046A1 (en) 2022-03-16
AU2020274956A1 (en) 2021-12-16
US11445238B2 (en) 2022-09-13
JP7318990B2 (ja) 2023-08-01
GB2598682A (en) 2022-03-09
KR102559350B1 (ko) 2023-07-25
SG11202111622WA (en) 2021-11-29
KR20210153138A (ko) 2021-12-16
CA3137289A1 (en) 2020-11-19
WO2020231332A1 (en) 2020-11-19
EP3967046A4 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
US11553235B2 (en) Audiovisual collaboration method with latency management for wide-area broadcast
CN106464953B (zh) 双声道音频系统和方法
JP5301425B2 (ja) グループコンテンツプレゼンテーション、およびグループコンテンツプレゼンテーション中のグループ通信を編成するためのシステムおよび方法
US11553236B2 (en) System and method for real-time synchronization of media content via multiple devices and speaker systems
CN108260016B (zh) 直播处理方法、装置、设备、系统及存储介质
JP6662063B2 (ja) 収録データ処理方法
US20220232262A1 (en) Media system and method of generating media content
CN113796090A (zh) 用于将移动设备上的音频内容同步到分离的视觉显示系统的系统和方法
JP2005006037A (ja) メディア同期システム及びそれに用いるサービス提供方法
JP2019153952A (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム及びプログラム
JPWO2018173312A1 (ja) 仮想現実視聴システム、再生同期方法および仮想現実視聴用プログラム
KR102221501B1 (ko) 사용자 모바일 단말기를 이용한 오프라인 재생 음원 전달 시스템 및 방법
WO2022244364A1 (ja) 情報処理装置、情報処理方法、プログラム
KR20240044403A (ko) 참여형 콘텐츠 처리 시스템 및 그 제어방법
JP2012049944A (ja) Ｔｖ受信機

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211214

WD01 Invention patent application deemed withdrawn after publication