CN111656795A - 用于使附加信号与主要信号同步的方法 - Google Patents

用于使附加信号与主要信号同步的方法 Download PDF

Info

Publication number
CN111656795A
CN111656795A CN201880087529.8A CN201880087529A CN111656795A CN 111656795 A CN111656795 A CN 111656795A CN 201880087529 A CN201880087529 A CN 201880087529A CN 111656795 A CN111656795 A CN 111656795A
Authority
CN
China
Prior art keywords
signal
time
additional
server
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880087529.8A
Other languages
English (en)
Inventor
克里斯托夫·哈斯劳尔
奥利弗·邓波克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Original Wave Co ltd
Original Assignee
Original Wave Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102017131266.8A external-priority patent/DE102017131266A1/de
Priority claimed from ATA50180/2018A external-priority patent/AT520998B1/de
Application filed by Original Wave Co ltd filed Critical Original Wave Co ltd
Publication of CN111656795A publication Critical patent/CN111656795A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Abstract

本发明涉及一种用于使附加信号与主要信号同步的方法。通过提取主要信号的至少一个信号特征序列并且将它与存储在数据库中的DB特征序列进行比较来产生用于主要信号的同步信息。如果信号特征序列与DB特征序列中的一个匹配达到预定程度，则在信号特征序列指定的位置处将匹配的DB特征序列的同步信息分配给主要信号。将同步信息发送给回放装置，回放装置基于同步信息将附加信号输出到主要信号。

Description

用于使附加信号与主要信号同步的方法
技术领域
本发明涉及一种用于使附加信号与主要信号同步的方法、以及用于使附加信号与主要信号同步的装置。
背景技术
信号是“连续信号”；连续信号被理解为可以用按时间顺序相连的特征的特征序列描述的信号。典型的连续信号是可以被以规律的间隔采样以便产生对应特征的音频信号和视频信号。然而，连续信号也可以是用于发送数字化编码的文本的信号。
US 9,609,034 B2已经公开了用于借助于元数据识别媒体数据的方法。
WO 2016/085414 A1描述了以下方法，在该方法中，移动平台辨识电视上的台，并且在广告时间期间，接收适合于它的信息。
EP 2 507 790 B1描述了用于频道不变鲁棒音频散列化、随后比较两个音频散列的方法和系统。音频信号首先被分割为具有2秒的典型长度的片段。然后这些片段被进一步分割为具有0.36秒的典型长度的帧。帧被进行傅里叶变换，所得数据然后被规范化。通过对这些数据进行量化，获得散列值。
WO 2012/049223 A2描述了用于使替代的音频信号与组合的视频和音频信号同步的方法。对于这的两个可能性被提及。首先，描述了水印方法，该方法对于视频和音频信号，构成人类感知不到的并且可以例如被描述为主要音频信号的调制的附加信号。另一种方法描述了指纹方法。
主音频信号是基于振幅、频率、过零率、节奏、频谱平坦度、带宽和/或音频指纹表征的，并且被与第二信号的对应特性进行比较。如果第二信号中的位置被检测到，则这可以按时间顺序适应主要信号。
像WO 2012/049223 A2那样，WO 2014/018652 A2描述了用于使替代的音频信号与组合的视频和音频信号同步的方法。再一次，指纹过程被用作所述方法。在这种情况下，主音频信号的指纹被整个地耦合到第二信号。第一信号的指纹和第二信号被预先加载到将被同步的装置上，以使得在同步期间，只有第一信号必须被分析和被与该装置上的指纹进行比较。
WO 03003743 A2已经公开了供应用于使并行媒体同步的同步信号的方法和装置。同步服务器耦合到通信网络，并且连接到广播媒体开始时间数据库。同步服务器经由通信网络从用户客户端接收同步请求。同步服务器使用同步请求和广播媒体开始时间数据库来产生同步数据。
WO 2014209179 A1描述了用于长距离通信中的网络分集的方法和收发器。主节点中的方法包括用于与长距离上的目的地节点进行通信的以下步骤：
·使至少一个通信资源的使用与辅助节点同步，
·从信息量产生主要信号和辅助信号，
·通过所述至少一个同步的通信资源将主要信号发送给目的地节点，
·通过所述至少一个同步的通信资源将辅助信号发送给辅助节点。
本发明的目的是提供这样一种快速的、鲁棒的且精确的方法和对应的装置，利用该方法和装置，附加信号可以被同步地输出到任意的、甚至连续的主要信号。
另一个目的在于提供一种具有短延时的流传输方法。
另一个目的在于提供这样一种快速的、鲁棒的且精确的方法，利用该方法，可以测量并且校准媒体播放装置的接收和输出之间的延迟。
另一个目的在于提供一种用于使附加信号与主要信号同步的方法，该方法测量这两个信号之间的时间延迟，并且改动这些信号中的至少一个以使得时间延迟尽可能地小。
所述目的通过独立权利要求的特征来实现。有利的修改和优选的实施例是从属权利要求的主题。
根据本发明的第一方面，提供具有以下步骤的用于使附加信号与主要信号同步的方法：
-通过提取主要信号的至少一个信号特征序列并且将它与存储在数据库中的DB特征序列进行比较来产生用于主要信号的同步信息；如果信号特征序列与DB特征序列中的一个匹配达到预定程度，则在信号特征序列指定的位置处将匹配的DB特征序列的同步信息分配给主要信号，并且
-将同步信息发送给回放装置，所述回放装置基于同步信息将附加信号同步地输出到主要信号。
因为利用该方法，主要信号的一个或多个特征序列被提取并且被与数据库的对应的先前存储的DB特征序列进行比较，所以没有必要使主要信号固有地被提供特定的一条时间信息(诸如起始时间)。例如，主要信号可以是没有起始点的连续发送的电视信号。通过比较特征序列，主要信号中的信号特征序列中的一个可以通过将它与对应的DB特征序列进行比较来识别。借助于此，同步信息可以在与识别的信号特征序列相关的指定位置处被分配给主要信号。换句话说，这意味着同步信息与主要信号中的识别的信号特征序列的地点或位置相关。该同步信息例如与DB特征序列一起被存储在数据库中。然而，该同步信息还可以包括例如如果从同步服务器接收到具有该信号特征序列的附加信号、提取信号特征序列、或者将具有该信号特征序列的附加信号从同步服务器发送给回放装置、则被检测的时间，特别是其上执行该方法的同步服务器的服务器时间。该信号特征序列因此构成主要信号中的、特定时间(特别是服务器时间)然后被分配给的特定地点。该特定时间也可以从所述信号内包含的时间信息提取，并且可以被分配给相应的信号特征序列。
自然地，该方法也可以与具有特定起始点的主要信号一起使用。这使得根据本发明的方法的灵活性远高于已知的(例如，从EP 1 307 833B1知道的)种类的常规方法，这些常规方法需要具有固定的时间参考的主要信号。在根据本发明的方法中，该时间参考是在主要信号(英语：飞速地)传递(例如，传递通过同步服务器)期间产生的，因为与DB特征序列的比较被用于识别对应的同步信息然后可以被分配给的主要信号的至少一个信号特征序列。
另外，可以确定主要信号中的与DB特征序列匹配的信号特征序列的时间，该时间可以被作为提取时间分配给该提取的信号特征序列，以便产生同步信息。
利用这样的提取时间，产生分配给主要信号的时间信息，该时间信息将主要信号中的地点或点连接到时间。如果主要信号已经包括时间信息，例如，时间标记的形式的时间信息，则对于主要信号的时间信息的这样的分配也可以是明智的。如果需要，这被用于产生可以连接到进一步的信息的第二参考。
另外，DB特征序列可以被分配定义相对于用于产生同步信息的DB特征序列的特定DB时间的时间信息。该时间信息通常被与DB特征序列一起存储在数据库中。例如，它指示当与该DB特征序列匹配时的信号特征序列在更大的信号段(例如电影)中的特定点处发生时的特定时间。附加信号然后可以在回放装置上被相对于该DB时间同步。
也可以通过提取附加信号的信号特征序列并且将它与存储在数据库中的DB特征序列进行比较来将同步信息分配给附加信号；如果信号特征序列与DB特征序列中的一个匹配达到预定程度，则在信号特征序列指定的位置处将同步信息分配给附加信号。
也可以手动地将同步信息分配给附加信号。例如，操作者可以将关于附加信号相对于主要信号何时将被广播的时间信息分配给该附加信号。
然而，还可以使用同步信息预先已经被分配给的附加信号。
同步信息可以包括以下多条数据中的一个或多个：
-定义主要信号和/或附加信号的时间的时间信息；特别是，该时间信息描述相对于检测到的信号特征序列的时间。
-描述主要信号和/或附加信号的内容的一个或多个识别标记。这些识别标记可以例如仅描述附加信号的类型——诸如特定语言的字幕、特定语言的音频同步信号、或META信息的类型的说明——这些被连同附加信号一起发送。然而，识别标记还可以更详细地描述附加信号，并且反映附加信号的结构。例如，如果附加信号是歌词，则识别标记可以识别歌词的相应的歌曲段落。然而，还可以使识别标记描述其他结构，诸如章回、歌剧的表演、音乐会的歌曲、电视连续剧的剧集等。
-描述主要信号和/或附加信号中的特定时间的时间戳。该时间独立于检测到的信号特征序列中的一个，并且例如描述影片中的相对于与检测到的信号特征序列无关的参考点的特定点。该参考点一般是主要信号、附加信号或对应信号的特定段的起始点。
-描述在回放装置上将主要信号和/或附加信号从传输路径的特定点中继转发给主要信号和/或附加信号的实际输出所需的时间间隔。该同步信息因此不构成描述主要信号和/或附加信号的特性、而是利用其执行所述方法的装置的特性的同步信息。
可以根据应用非常不同地组成同步信息。
就以上说明的本发明的方面而言，匹配DB特征序列的同步信息在信号特征序列指定的位置处被分配给主要信号。数据库中的特定信息被分配给DB特征序列。但是该信息不是绝对必须包括时间信息。它可以例如是描述DB特征序列或信号的在其中找到DB特征序列的段的意义(例如，一首音乐的标题、歌剧的表演等)的元数据。然后可以例如基于主要信号内包含的、与信号特征序列一起提取的时间信息、或者基于提取时间(所述时间例如被与该元信息组合)来产生同步信息，从而得到同步信息，基于该同步信息，附加信号可以被分配相同的元信息；基于提取的时间信息或者基于提取时间来推导分配和同步的时间。
换句话说，这意味着同步信息被分配给主要信号并且同步信息与主要信号存在时间关系。
本发明还基于来自不同信号源的媒体信号通常具有类似的特征段的发现。这些特征段不必完全相同。例如，如果主要信号是音乐会的高质量音频信号，并且附加信号是具有低质量音频信号的视频信号，则基于低质量音频信号，例如，当音乐家受到鼓掌欢迎时，附加信号可以被非常准确地同步，因为这里的音频特征是非常类似的，即使两个音频信号的质量明显不同。就例如已经利用专业的相机记录的信号和已经利用移动电话记录的那些信号而言，这同样是可能的。
发明人已经发现基于这些特征段，可以执行一个或多个特定的信号特征序列的自动识别以便使不同的信号同步。
同步信息可以在独立于回放装置实施的同步服务器中产生。该同步信息然后必须被发送给在其上附加信号被同步地输出到主要信号的回放装置。在这种情况下，回放装置和同步服务器的同步也可以例如通过确定将对应信号从预定点(特别是从同步服务)发送给回放装置所需的时间间隔来执行。然而，同步服务器也可以包含在回放装置本身中。如果使用同步服务器和回放装置之间的数据的数字传输，则一般不可能确定该时间间隔，因为它是变化的。
在回放装置中，可以通过在回放装置上输出主要信号和附加信号——其中每个包含作为同步信息的一个或多个时间标记——来使附加信号和主要信号同步。基于时间标记，回放装置可以同步地将附加信号分配给主要信号，并且可以同步地输出它们。
另外，基于在回放装置中借助于时钟测量的回放时间，在回放装置中可以使用同步信息来以附加信号被同步地输出到主要信号的这样的方式将附加信号分配给该回放时间。
在第一种情况下，利用同一回放装置输出主要信号和附加信号，以使得这两个信号中的时间标记是足够的，以便同步地输出信号。但是如果可取的是不将任何时间标记插入到主要信号中，例如因为期望将主要信号尽可能快地并且没有任何时滞地发送给回放装置，或者如果主要信号在与附加信号不同的回放装置上输出，则有利的是使同步信息被用于将附加信号分配给借助于回放装置中的时钟测量的回放时间。同步信息包括用于以附加信号被同步地输出到主要信号的这样的方式将附加信号分配给回放时间的对应信息。
如果主要信号和附加信号被不同的回放装置输出，则有利的是使用主要信号的输出被分配给的第一时间。该时间因此描述主要信号中的单个的特征或特征序列的时间。基本上，这可以通过使用利用其输出主要信号的回放装置的时钟来实现。但是如果提供了对于主要信号来说独立于该回放装置的同步服务器，则还可以使用该同步服务器的时钟，特别是如果主要信号被连续地从同步服务器发送给回放装置。在这种情况下，只有必要补充具有对应的时间偏移的同步信息，所述时间偏移指示回放装置上的主要信号的输出相对于同步服务器上的传递延迟的时间间隔。对于附加信号的回放装置，提供同步信息，所述同步信息描述回放装置上的回放时间与同步服务器上的服务器时间的关系。借助于此，可以基于回放时间来建立与同步服务器的服务器时间的关系，因为主要信号的输出也与该服务器时间同步。如果服务器时间和回放时间这二者都与独立时间或参考时间(例如，NTP：网络时间协议)有规律地同步，则同步信息不必包括关于这两个时间的关系的任何信息，因为这两个时间在现有的测量精度水平的框架内都必须被认为是相同的。
在信号特征序列与DB特征序列的比较中，结果是几个信号特征匹配到预定程度。于是基本上可以使用该多个信号特征序列来产生同步信息。然而，有利地，对在预定时间间隔内满足预定程度的匹配的所有的信号特征序列的匹配进行评估，并且选择具有最佳评估的信号特征序列用于在信号特征序列指定的位置处将同步信息分配给主要信号。基本上，目标是实现对于主要信号的同步信息的唯一分配。使用多个信号特征序列，这并不总是有保证的。与DB特征序列最佳匹配的信号特征序列的使用还实现了最佳同步。
用于对信号特征序列与DB特征序列的匹配程度进行评估的预定规则包括以下规则中的一个或多个：
-特征序列的匹配特征的数量越多，评估越好。
-特征序列的匹配特征的数量相对于该特征序列中包含的特征的数量越多，评估越好。
-执行单个的特征的匹配的分类；匹配的特征之间的距离越小，分派给对应的匹配的分类越好，并且该分类然后在特征序列的匹配的总体评估中被考虑。
根据本发明的另一方面，提供了一种用于使附加信号与主要信号同步的方法，该方法包括以下步骤：
-从主要信号提取信号特征序列，并且将所述信号特征序列与时间信息一起存储在数据库中，
-使用该数据库来使附加信号同步；具体地说，将从附加信号提取的特征序列与存储在数据库中的特征序列进行比较，和/或将来自附加信号的时间信息与数据库中的对应的时间信息进行比较。
该方法可以用于当主要信号正在从广播站发送给回放装置时创建用于主要信号的数据库；该数据库立即可用于使附加信号与该主要信号同步。因此可以分析并且同步现场信号。由于这个原因，以该方式创建的数据库也被称为现场数据库。
可以借助于对应的服务器中提供的时钟的时间信息和/或基于主要信号内包含的时间信息来产生或提取时间信息。
根据本发明的另一方面，创建了一种用于使附加信号与主要信号同步的方法；为了校准从服务器到回放装置的传输路径和/或校准回放装置中的用于在该回放装置上输出媒体信号的延时，输出参考信号，所述参考信号被对应的传感器同时接收；将输出的参考信号和传感器接收的参考信号彼此进行比较，以便确定中继转发参考信号和/或实际上将它输出到回放装置所需的时间间隔，该时间间隔被用作按照基于与服务器和/或回放装置的时钟相关的时间信息的次序的时间偏移，以确定在媒体回放装置上输出信号的输出时间。
该方法可以用于自动地校准传输路径或回放装置。回放装置中的延时可以随着例如音频信号是在硬连线的扬声器上、通过蓝牙连接的扬声器上、还是在从属音频系统上输出而显著地不同。传输信号所需的时间间隔可以根据相应的传输路径而显著地不同。该方法可以用于在媒体信号回放之前或者还有在媒体信号回放期间校准输出装置的延时和/或传输路径一次或几次，以使得利用其输出信号的正确的偏移分别存在。
参考信号可以包括音频信号；在这种情况下，传感器是麦克风。参考信号还可以包括视频信号。在这种情况下，相机被用作传感器。
可以通过确定参考信号的发送时间和接收时间来确定时间间隔；从这两个时间之间的时间差推导时间间隔。如果参考信号的发送时间和接收时间是在同一地点处测量的，则将被确定的时间间隔是这两个时间之间的时间差的一半。如果参考信号的发送时间是在传输路径的开头测量的，参考信号的接收时间是在传感器处直接测量的，则将被确定的时间间隔是该时间差。可以通过将提取的参考特征序列与一个或多个先前存储的参考特征序列进行比较来实现一个或两个时间。该方法对应于以上说明的用于基于DB特征序列来识别信号特征序列的方法。因此可以使用特征序列的这样的比较来确定时间。这样的时间的精度受用于确定该时间的特征序列中的特征的长度的限制。这样的特征的典型长度在±8ms的范围内。
根据本发明的另一方面，提供了一种用于使附加信号与主要信号同步的方法，在该方法中，将附加信号从被实施为独立于回放装置的同步服务器发送给回放装置，并且在同步服务器中，产生同步信息，所述同步信息与在同步服务器中利用那里提供的时钟测量的、同步服务器的服务器时间相关；在回放装置中，提供了与服务器时间同步至少一次的、用于测量回放时间的回放装置时钟，并且测量与服务器时间相关的回放时间的时间漂移，该时间漂移在使附加信号与主要信号同步时被考虑。附加信号可以在受可从回放装置获得的回放时间控制的回放装置上输出。
时间漂移可以具有不同的原因。一方面，回放装置的时钟不总是能够以与服务器的时钟完全相同的速度运行，或者不同的回放装置的时钟以不同的速度运行。另一方面，附加信号与主要信号相比可以具有时间延长或压缩，以使得在特定时间与主要信号完全同步的附加信号随着回放时间增加而偏离主要信号。这样的时间延长或压缩出现在例如借助于对应的模数转换器将模拟信号转换为数字信号的转换中。主要信号和一个附加信号或多个附加信号至少是经由不同的路径传输的，因此在不同的地点处是利用不同的模数转换器转换的。每个模数转换器具有将时间标记的形式的时间信息添加到数字信号的时钟发生器(时钟)。不同的时钟发生器的时间可以略有不同。这导致以下事实，即，即使主要信号和附加信号在模拟状态下是相同的，它们在数字状态下也具有略微不同的时间信息。如果它们在回放装置上被同时回放，则随着回放时间减少，这两个信号之间的时间偏移可能出现。
由于以不同速度运行的不同回放装置上的时钟或时钟发生器而导致的时间漂移可以通过与参考时钟(例如，原子时钟或TMP)的有规律的比较来消除。在回放装置中，输出单元通常具有它自己的时钟信号，并且回放装置具有控制单元，该控制单元有它自己的时钟。在这样的情况下，如果回放单元的时钟信号与回放装置的控制单元的时钟有规律地同步，并且回放装置的控制单元的时钟按规律的间隔与参考时钟同步，则是有利的。
由于信号的压缩或延长而导致的时间漂移可以被测量。在该上下文中，可以利用特征序列的提取来确定压缩或延长。一旦时间漂移已经被确定，附加信号然后就可以永远与主要信号同步地回放，而不必按规律的间隔执行附加信号和主要信号之间的新的同步。
如果主要信号的与附加信号同步的信号部分是可用的，则这两个信号彼此的同步也可以被重复地执行，而不为了实现这而考虑时间漂移。例如，可以有利的是在主要信号和附加信号在回放装置上输出之前，通过共享的同步服务器输送主要信号和附加信号，以使得整个主要信号和附加信号在同步服务器上是可用的，并且附加信号与主要信号的新的同步可以在任何时间发生。然后，在回放装置上，即使在没有所述两个信号的同步必需的部分的情况下，主要信号也可以被输出，并且所述两个信号之间的新的同步仍可以规律地发生。
时间漂移可以通过为了计算相应的时间差、与参考时间的重复比较而发生；时间漂移是基于时间差的偏差确定的。第一次比较和最后一次比较之间的间隔越大，时间漂移可以被越精确地确定。
根据本发明的另一方面，创建了一种用于使附加信号与主要信号同步的方法；在第一步中，可用的附加信号的时间戳被发送给回放装置。因此可以计算可用的缓冲时间。在该连接中，缓冲时间描述在附加信号必须被回放以便与主要信号同步之前、该附加信号仍可用的时间。同时，在该第一传输中，确定可用的带宽。在第二步中，使用缓冲时间来对附加信号进行编码，以将它从附加信号服务器发送给回放装置，然后再次对附加信号进行解码。这种情况下的附加信号的质量取决于可用的缓冲时间和可用的比特率。在缓冲时间相同的情况下，高信号质量可以要么通过选择最短的可能的编码/解码时间(但是这导致需要对应地长的传输时间的大的数据量)来实现，要么通过选择长的编码/解码时间(这使比特率降低，并且使传输加快)来实现。在缓冲时间、硬件要求和可用的带宽不同的情况下，编码/解码时间必须被再次确定。
在实践中，该方法可以以这样的方式实施，即，在一个服务器或多个服务器上，信号(主要信号和/或附加信号)被不同地编码，例如，利用不同的编解码器编码，以使得信号可以按不同的量使用。在回放装置中，然后决定哪个信号被使用和从服务器检索。
另外，附加信号被按时间长度为10个帧(对应于大约400ms)、特别是最多5个帧(对应于大约200ms)、优选地最多1个帧(对应于大约40ms)的组块、从附加信号服务器发送给回放装置，并且在回放装置中，附加信号借助于本地web服务器被接收。通过经由web套接字为本地web服务器提供直接链接，附加信号可以被基本上没有延迟地接收到。直接连接是在传输事件之后保持的连接。本地web服务器优选地与回放装置使用的传输协议(作为规则：http)兼容，以使得回放装置本身不必被修改，除了本地web服务器必须被添加的事实之外。
这还使得能够使用非常短的组块。在常规的传输过程中，这样的组块在重复地建立数据连接的情况下引起显著的延迟，因为顺序的轮询行为和单个的文件请求(每个引起开销)将造成显著的延迟。基本上，将可以生成直接连接，该连接使得能够几乎没有延迟地传输组块。但是这具有以下缺点，即，它仅在两个特定的伙伴之间被建立，并且不能流传输到多个接收者。
代替直接连接，本地web服务器可以被实施为使得它同时或者紧接着请求多个组块，而不必等待先前请求的组块的接收。在常规的过程中，组块被单个地请求，并且附加组块只有在先前请求的组块已经被接收到时才被请求。借助于此，即使是非常小的组块也可以被紧接着传输。例如，常规的流传输技术(诸如HLS或DASH)可以被用于此。
因此可以使必要的传输时间最小化，结果，更多的时间可用于编码。这然后可以被以更高的数据速率执行，这使信号的质量提高。
利用该传输方法，附加信号一般可以在两秒到三秒内到达接收者。
以上说明的方面可以被单个地或者按任意的组合实现。在本发明的上下文中，附加信号可以与主要信号同步。然而，还可以使多个附加信号与主要信号同步。
附图说明
下面将基于附图、以举例的方式更详细地说明本发明。在附图中：
图1示出用于将多个相机信号同步地回放到主要信号的系统，
图2示出用于加载与现场广播相关的外部附加信息的系统，
图3示出用于加载与电视广播相关的外部附加信息的系统，
图4示出用于利用本地服务器加载与电视广播相关的外部附加信息的系统。
具体实施方式
第一示例性实施例涉及一种用于广播具有多个相机2和播音室3的舞台1上的现场事件的系统，在播音室3中，单个的相机2的相机信号合并以便被导演变换为主要信号。播音室3连接到同步服务器5，主要信号4被发送给同步服务器5。
同步服务器5将主要信号4作为数据流输送到一个或多个回放装置6。在图1中仅示出了单个回放装置。在现实中，主要信号4被发送给许多回放装置，例如，在广播过程中。
从播音室，单个的相机的信号被作为附加信号输送给附加信号同步服务器7。附加信号同步服务器7连接到web服务器8，从web服务器8，单个的附加信号可以根据互联网协议被检索，并且可以经由互联网18被供应给相应的回放装置6。在回放装置和web服务器8之间，存在双向数据连接，以使得在回放装置中，可以做出关于将被检索的附加信号的单个的选择。
在播音室中，主要信号被预先处理并且被优化。单个的附加信号在有或没有进一步的预处理的情况下输出。
两个同步服务器5、7每个连接到在其上提供数据库的数据库服务器9，特定的特征序列与分配给特征序列的同步信息一起存储在该数据库中。在本示例性实施例中，只提供了单个数据库，该数据库被两个同步服务器5、7访问。然而，还可以有利的是，紧邻同步服务器5、7中的每个提供数据库的相应的副本，以使得能够快速地访问或者还为两个数据库提供有些不同的数据内容。
利用该设备，主要信号4可以在回放装置6上输出，并且该回放装置的用户不过还应具有在回放装置6上同步地输出附加信号中的至少一个的可能性。
主要信号4和附加信号这二者每个具有视频轨道和音频轨道。附加信号的音频轨道每个是借助于安装在相应的相机上的麦克风记录的。主要信号的音频信号是借助于安装在舞台1上的麦克风系统记录的，因此质量明显更好。
在下面，给出关于主要信号和附加信号如何被处理以便使得它们能够简单地、精确地且可靠地被回放装置同步的说明。
在同步服务器5中，从音频轨道读取预定长度的连续段，并且从它们提取特定特征。为了实现这，执行快速傅里叶变换以将这些段变换到频率空间或傅里叶空间中。在本示例性实施例中，单个的段的长度为16ms。但是在任何情况下，它们应不长于50ms，特别是，不长于32ms，因为短的段使得可以实现对应地精确的同步。段和时隙越短，使低频不再被考虑的趋势越显著。然而，令人惊讶的是，结果是，在时隙长达8-10ms的最大长度的情况下，数量足够多的高频信号可用于执行同步。
读取的并且被变换的时隙优选地彼此重叠。在例如50％重叠并且时隙长度为32ms或16ms的情况下，可以实现16ms或8ms的分辨率。
在频率空间中，位于特定阈值以上的所有的频率峰值都被认为是特征。换句话说，特征是位于预定阈值以上的特定频率的强度值。
这些特征在单个的时隙中被检测到，并且形成特征序列。在本示例性实施例中，序列不是按时间顺序的序列，而是按频率的次序的特征的列表。
从音频轨道推导的特征序列在下面被称为信号特征序列。这些信号特征序列被与存储在数据库中的DB特征序列比较。
数据库9包含已经被预先存储的大量这样的DB特征序列。
如果在舞台1上呈现流行音乐会，则使用数据库9，在数据库9中，对应的音乐表演的所有歌曲都被转换为DB特征序列，可能还有来自其他艺术家的、通常被现场表演的歌曲被转换为DB特征序列。
特征序列的特征在于——即使已经从其产生DB特征序列的信号和现场信号不相同——它们具有使得它们可以被分配给对方的相似性的事实。
如果信号特征序列与DB特征序列的比较确定匹配达到预定程度，则这被评估为分配。
在相应的信号特征序列的提取中，提取时间是借助于同步服务器时钟11测量的，并且被分配给相应的特征序列。
提取时间被用于描述对应的信号中的特定的特征序列的时间。提取时间因此可以被用于唯一地描述信号内的多个信号特征序列的相对时间分配。然而，还可以使提取本身的过程是时间波动的对象。在这种情况下，提取时间受由时间波动引起的误差所累。由于这个原因，可以有利的是代替同步服务器时钟11测量的时间，使用主要信号中包含的描述主要信号中的特定点的时间的时间信息。这样的时间信息固有地包含在主要信号中，并且它在下面被称为信号时间信息。如果主要信号是例如视频信号，则它具有单个的帧被记录并且被回放的特定帧速率。如果帧是按顺序计数的，则该信号的两个特定帧之间的时间间隔是这些帧之间的信号中的帧数乘以帧速率的倒数。视频信号的帧的数量因此构成这种种类的信号时间信息。作为规则，这样的信号时间信息被明确地编码在主要信号中。然而，它也可以被隐含地包含，例如因为视频信号的帧数被计数。
在提取中，因此可以使特征序列与指示主要信号中的该特征序列的时间的信号时间信息一起提取。这得到独立于提取的过程的按时间顺序的序列的提取时间。
信号时间信息可以例如借助于同步服务器时钟11被分配绝对时间。该分配被执行一次，然后被保持。
识别的信号特征序列被分配与对应的DB特征序列一起存储在数据库中的同步信息。在本示例性实施例中，同步信息包括描述相应歌曲并且定义该歌曲中的点的识别标记。同步信息还包括对应的信号特征序列的提取时间。
在附加信号同步服务器7上，利用相应的附加信号10执行相同的过程；这里，还从音频轨道提取信号特征序列，并且将这些信号特征序列与数据库的DB特征序列进行比较。可以使用附加信号同步服务器时钟12来测量提取时间，或者可以从对应的信号时间信息提取提取时间，并且将提取时间与从数据库得到的分配给相应的附加信号的同步信息一起发送给回放装置。
借助于此，描述相应的信号中的提取的特征序列的相应时间的时间信息既被分配给主要信号，又被分配给附加信号。该时间信息可以已经预先通过提取的特征序列与存储在数据库9中的DB特征序列的比较而被同步，因为当提取的特征序列与DB特征序列中的一个匹配达到预定程度时，同步信息或该DB特征序列的时间信息被分配给提取的特征序列，时间差被计算，并且这被分配给主要信号和附加信号；时间差被与主要信号和附加信号的所有的提取时间相加，其结果是，相同的同步信息或相同的时间信息被分配给主要信号和附加信号中的相同的特征序列。
根据第一变体，同步信息被耦合到相应的信号。这意味着关于主要信号4并且在同步服务器5上产生的同步信息被耦合到主要信号，并且在附加信号同步服务器7上产生的同步信息被耦合到对应的附加信号。同步信息被与来自相应的服务器5、7的对应信号一起发送给回放装置6。附加信号只有在对应的附加信号已经被回放装置6请求时才从web服务器8发送给回放装置6。
主要信号4和请求的附加信号然后在回放装置6上输出。这两个信号是基于连同它们一起发送的同步信息而同步的；同步信息包括时间标记(例如，同步的提取时间)，基于这些时间标记，回放装置可以辨识附加信号何时被同步地输出到主要信号。在该变体中，对应的信号在一种水印中被提供同步信息。
在该变体中，有利的是
-回放装置上的同步是简单的，因为两个信号(即，主要信号和附加信号)只必须基于它们的时间标记被同步地输出到对方，并且
-为了在同步服务器5、7和回放装置之间发送同步信息，不需要附加的传输路径。
在该变体中，不利的是
-主要信号和附加信号必须在共享的回放装置上输出，并且
-主要信号和附加信号必须通过添加同步信息来进行修改。该附加信息可以在不使用该信息的对应信号的接收器中引起干扰。将同步信道整合到将被发送的信号中使传输延迟。
在该示例性实施例的另一变体中，同步信息没有被耦合到主要信号和附加信号，而是被单独地发送给回放装置6。同步信息分别包括耦合到相应信号的特定标识符的时间信息。如果信号是具有限定的开头的限定段，则时间信号可以参考该开头点或起始点。特别是就每个仅包含持续例如从几十秒一直到几分钟的缩略的附加信息并且除了主要信号之外还可以输出的附加信号而言，这可以是有利的。然后基于起始点和相应的时间信息，回放装置可以使附加信号与主要信号同步。如果这样的起始点不存在于相应的信号中，则时间信息必须参考另一个参考点。该参考点可以例如是相应信号中的特征序列。该特征序列可以在信号中的不同的点处出现。然后，回放装置必须被提供以下模块，该模块可以从相应的主要信号和/或附加信号提取特征序列，并且可以将它与连同同步信息一起供应的特征序列进行比较。因此可以在主要信号或附加信号中没有唯一地确定的起始点的情况下，获得时间信息对于相应的主要信号和附加信号的唯一参考。在该变体中，不利的是，回放装置必须被提供以下模块，该模块用于提取特征序列，并且用于将提取的特征序列与同步信息中包含的特征序列进行比较。然而，有利的是，在该变体中，附加信号和/或主要信号不必被修改，并且可以被以原始形式传输。
根据第一示例性实施例的第三变体，回放装置6中提供的回放装置时钟13、同步服务器时钟11和附加信号同步服务器时钟12被同步。在这种情况下，回放装置时钟13分别与同步服务器时钟11和附加信号同步服务器时钟12成对地同步。
另外，来自同步服务器5的主要信号到回放装置6的发送时间和从附加信号同步服务器7到回放装置6的发送时间是已知的。这种情况下的传输路径是以发送时间保持恒定的这样的方式实施的。在短传输路径(诸如蓝牙链路)的情况下，发送时间一般是恒定的。在较长的传输路径的情况下，特别是当数据经由互联网发送时，发送时间通常显著地变化，以使得在这种情况下，该变体没有作用。
同步信息中包含的时间信息与同步服务器5或附加同步服务器7上的特定事件有关。该事件通常是可能已经基于DB特征序列识别的特定的信号特征序列的提取的时间。因此知道主要信号或附加信号何时已经被连同对应的信号特征序列一起一直输送到对应的同步服务器5、7。因为从相应的同步服务器5、7到回放装置6的发送时间也是已知的，所以这可以被用于确定信号特征序列何时到达回放装置6。因为主要信号和对应的附加信号的这些信号特征序列已经被识别，所以可以使附加信号在时间上参考主要信号，即，附加信号可以与主要信号同步。对应的时间关系包括在同步信息中。
在该变体中，回放装置时钟13必须分别与同步服务器时钟11和附加信号同步服务器时钟12同步，并且从单个的同步服务器5、7到回放装置的发送时间必须是已知的且稳定的。然而，在这种情况下，有利的是，主要信号和同步信号都不必被修改。另外，用于提取特征序列的模块不必被集成到回放装置中。这是非常简单的解决方案，该解决方案使得可以可靠地同步。
第三变体的另一个优点在于该第三变体也可以利用两个不同的回放装置简单地实现的事实；提供一个回放装置用于回放主要信号，提供第二个回放装置用于回放附加信号。主要信号回放装置的回放装置时钟必须与同步服务器5的同步服务器时钟11同步，附加信号回放装置时钟必须与附加信号同步服务器时钟12同步。另外，所述两个回放装置时钟必须彼此同步。
例如，主要信号回放装置可以是电视机，附加信号回放装置可以是移动电话。主要信号和附加信号被同步地输出到对方。
以上说明的所有三个变体都共享以下事实，即，播音室3输出的主要信号的形式的主要信号可以在回放装置上输出，相机2的信号的形式的附加信号也可以被输出，相机2不必是利用其输出主要信号的相机。用户因此可以自由地选择他希望用来观看舞台1上的演出的相机。因为所有这些信号都具有类似的音频轨道，所以它们可以借助于音频轨道而被简单地且可靠地彼此同步。
另外，以上说明的变体可以相互组合，例如通过根据所述三个变体中的一个利用回放装置发送附加信号、以及根据其他变体中的一个将附加信号发送给回放装置并且与附加信号同步来相互组合。
基本上，第三变体对于发送主要信号是优选的，而所有的三个变体对于发送附加信号具有相等的价值。
下面将说明第二示例性实施例(图2)；与第一示例性实施例中的元件相同的元件被提供相同的参考标号。对于保持相同的元件，以上说明适用，除非下面另有陈述。
在第二示例性实施例中，舞台1再一次被提供，舞台1被多个相机2扫描。相机2的信号在播音室3中被变换为主要信号4。播音室3连接到同步服务器5。同步服务器5被耦合到数据库服务器9，数据库服务器9具有包含DB特征序列和相关联的同步信息的数据库。
PS回放装置6/1连接到同步服务器5，以便接收并且回放主要信号。再一次，可以提供多个PS回放装置6/1。
第二示例性实施例与第一示例性实施例的不同之处在于提供了独立的用于附加信息的源。例如，此源是附加信息数据库服务器15。如果在舞台1上给出具有多首歌曲的音乐会，则可以有利的是在附加信息数据库服务器15中提供对应的歌词。但是附加信息数据库服务器15还可以包含对应歌词的外语翻译作为音频轨道。存在已知的许多语言的歌曲，诸如儿童摇篮曲“Frère Jacques”。
优选地，存储在附加信息数据库服务器15上的附加信息已经被提供对应的同步信息。就歌曲而言，这可以是开始时间和歌曲期间的其他时间标记。
附加信息数据库服务器15连接到web服务器8。附加信息可以经由互联网18从web服务器8检索。用于回放附加信号的AS回放装置6/2连接到互联网14。同步服务器5也连接到互联网14，以使得在同步服务器5上产生的同步信息可以经由互联网14供应给AS回放装置6/2。
在同步服务器5中继而提供了同步时钟11，同步时钟11分别与PS回放装置的回放装置时钟13/1和AS回放装置6/2的回放装置时钟13/2同步。在第二示例性实施例中，同步服务器5的同步时钟11是主时钟，而在第一示例性实施例中，回放装置时钟13是所有的其他的时钟与其同步的主时钟。
在同步服务器5上，通过从主要信号提取信号特征序列并且将它们与数据库服务器9的对应的DB特征序列进行比较来产生同步信息。同步信息的产生基本上对应于第一示例性实施例的同步信息的产生。
另外，用于将主要信号从同步服务器5发送给PS回放装置6/1的发送时间是已知的，以使得如果当主要信号的特定段通过同步服务器5输送的时间是已知的，则该段在PS回放装置6/1上输出的时间也是已知的。
从同步服务器5发送给AS回放装置6/2的同步信息因此包括时间信息和识别标记，所述时间信息分别描述主要信号相对于检测到的信号特征序列的时间，所述识别标记描述主要信号的内容。在本示例性实施例中，识别标记指示哪首歌曲利用主要信号回放。
识别标记可以可选地还包括附加信息，诸如诗歌、线路或歌曲的歌词节选。这些歌词节选优选地是来自信号特征序列中的一个已经在其处被检测到的点的歌词节选。时间信息优选地包括同步服务器5上的对应的信号特征序列被提取的时间的指示。
基于该同步信息，AS回放装置6/2知道每首歌曲何时在PS回放装置6/1上输出。对应地，AS回放装置可以在AS回放装置6/2上同步将附加信号——所述附加信号是从附加信息数据库服务器15或者从web服务器8接收的，并且已经被预先提供同步信息——输出到PS回放装置6/1上的主要信号的输出。
可选地，在附加信息数据库服务器15和web服务器8之间，可以提供附加信号同步服务器7，附加信号同步服务器7的实施类似于第一示例性实施例中的附加信号同步服务器。如果附加信息为例如用ASCII编码的歌词的形式，则附加信息不包括任何音频信号。但是可以从歌词中包含的词语产生类似音频信号的特征序列，如从语音合成已知的那样。这些特征序列然后继而可以被与已经被存储在另一个数据库服务器16中的DB特征序列进行比较。这还使得可以将歌曲的歌词段直接与存储在数据库服务器16上的对应的歌词段进行比较。在这种情况下，歌词段的单个的字母构成对应的特征。存储在数据库服务器16上的特征序列分别被分配同步信息，该同步信息可以被添加到附加信息或附加信号。
可替代地，所讲的或所唱的文本也可以通过语音辨识被转换为文本形式。特征于是是同样地被存储在数据库中的文本和/或字母序列。
在AS回放装置6/2上，因此可以将对应的歌词同步地显示到在PS回放装置6/1上输出的、在舞台1上进行的音乐会的视频和音频回放。
第三示例性实施例(图3)基本上对应于第二示例性实施例，并且与第二示例性实施例的不同之处在于，同步服务器5是独立于广播站3和用于回放主要信号的PS回放装置6/1之间的连接实施的。另外，AS回放装置6/2具有传感器17，传感器17用于检测PS回放装置6/1输出的主要信号的至少一部分。该传感器17可以是用于检测主要信号4的音频信号的麦克风，或者可以是用于捕捉主要信号4的视频输出的相机。
A/S回放装置6/2被实施有用于提取主要信号4的信号特征序列的模块；这些信号特征序列是从传感器17拾取的主要信号4提取的。提取时间可以借助于AS回放装置时钟13/2来测量。因为如以上已经说明的，提取本身的过程可能有时间波动，所以可以有利的是使用信号时间信息以便确定提取时间。在该实施例中，代替主要信号中固有地包含的信号时间信息，还可以使用在利用传感器17(麦克风)记录期间添加的并且描述信号的记录时间的信号时间信息。这样的信号时间信息独立于提取过程的波动，并且使得能够实现提取的信号特征序列的唯一的相对时间定位。
信号特征序列被发送给同步服务器5，并且在其中基于来自数据库服务器9的DB特征序列被分析和识别，如第一示例性实施例和第二示例性实施例中那样。在同步服务器5上，继而产生同步信息；第三示例性实施例的同步信息与前面的示例性实施例的同步信息的不同之处在于，对于它，只有AS回放装置时钟13/2的时间有关系。同步信息经由互联网14从同步服务器发送给AS回放装置6/2。在那里，附加信号10基于同步信息被同步到主要信号4，如前面的示例性实施例中那样同步；然而，在这种情况下，同步仅仅是基于利用AS回放装置时钟13/2测量的回放时间进行的。不需要使AS回放装置6/2、PS回放装置6/1或同步服务器5之间的不同的时间同步。
可替代地，代替信号特征序列，还可以使短信号序列(诸如音乐片段)被发送给同步服务器5，这些短信号序列将被作为附加信号输出。在这种情况下，服务器识别信号序列的信号特征序列，并且基于来自数据库服务器9的DB特征序列来分析和识别它们。作为规则，信号序列不长于60s，特别是，不长于30s或者不长于15s。
第三示例性实施例还可以被修改，因为用于提取信号特征序列的模块被设在同步服务器5中，而不是AS回放装置6/2中。
第三示例性实施例是用于将附加信号输出到单独的AS回放装置6/2的非常精妙的解决方案。在该第三示例性实施例中，附加信号可以被同步到主要信号；发送时间可以在预定范围内，例如，在广播站3和PS回放装置6/1之间自由地变化。
第四示例性实施例(图4)基本上对应于第三示例性实施例，并且与第三示例性实施例的不同之处在于，同步服务器5具有传感器17。同步服务器5在本地计算单元(例如，计算机、迷你计算机或者甚至游戏机)上实现。如前面的示例性实施例中那样，传感器17可以是用于检测主要信号4的音频信号的麦克风，或者可以是用于捕捉主要信号4的视频输出的相机。
同步服务器5被实施有用于提取主要信号4的信号特征序列的模块；这些信号特征序列是从传感器17拾取的主要信号4提取的。
提取时间借助于同步时钟11测量。信号特征序列在同步服务器5上基于来自数据库服务器9的DB特征序列被分析和识别，如第一示例性实施例、第二示例性实施例和第三示例性实施例中那样。在同步服务器5上，继而产生同步信息；对于同步信息，只有同步时钟11的时间有关系。同步信息经由内联网14或者另一数据连接(诸如蓝牙)从同步服务器5发送给AS回放装置6/2。在那里，附加信号10基于同步信息被同步到主要信号4，如前面的示例性实施例中那样。在这种情况下，同步时钟11的时间与AS回放装置时钟13/2同步。
第四示例性实施例和前面的示例性实施例之间的主要差异在于以下事实，即，同步服务器5不是经由互联网控制的，而是在本地被提供给用户。这具有以下优点，即，即使互联网掉线，同步也总是工作，因为它独立于互联网。
然而，数据库服务器9可以经由互联网控制，或者它同样地被设在与同步服务器5相同的计算单元中。
在以上说明的第三示例性实施例或第四示例性实施例中，同步服务器5、数据库服务器9和AS回放装置6/2可以在单个装置(诸如计算机(台式、膝上型等))上或者在移动电话上实施。
然而，基本上，同步服务器5也可以被设在与回放装置6/2分开的硬件元件上。同步服务器5可以经由互联网连接到回放装置6/2。在同步服务器5和回放装置之间交换的数据量很少。
以上说明的所有的示例性实施例都共享以下事实，即，同步信息是基于从主要信号提取的一个或多个信号特征序列产生的。这使得可以(飞速地)使附加信号与关于其、没有特定的时间(诸如起始时间)是预先知道的主要信号同步。自然地，如果先前确定的时间在相应的信号中被指示并且可以被用于定向，则该方法也可以被使用。
基于该同步信息，附加信号与主要信号的同步可以以各种方式发生。以上说明了几个例子。然而，在本发明的上下文中，存在可以被对应地改动和实施以用于相应的用途的无数的可能的修改。
本发明的另一方面是不仅基于可用的带宽、而且还基于可用的缓冲时间来调整附加信号流传输的质量。在这种情况下，附加信号回放装置6/2接收同步信息，并且将关于哪些附加信号可用的查询发送给附加信息数据库服务器14。如果对应的附加信号10被找到，则缓冲时间也是已知的。该连接中的缓冲时间描述在附加信号必须被回放以便与主要信号同步之前仍可用于附加信号的剩余时间。该查询也可以大致地检查网络的可用的带宽。根据带宽和缓冲时间，另一编码步骤被自动地选择。在缓冲时间期间，附加信号被编码，被从附加信号服务器发送给回放装置，然后被再次解码。根据编码步骤，将被发送的文件或该文件的部分具有不同长度，并且需要不同的时间量来进行发送。因此必须在编码时间和发送时间之间达成平衡，以使得缓冲时间的使用最佳，并且附加信号的质量尽可能地高。
该方法也可以被执行为使得一个服务器或多个服务器按不同的量或者用不同的编码步骤对信号进行编码，并且同时使它们可用于检索，并且将回放信号的回放装置选择并且检索合适的量的信号或者在合适的编码步骤中的信号。
如果缓冲时间非常短，例如在现场广播期间，则如果将被发送的附加信号的组块长度被选择为尽可能地短，则是有利的。信号可以被划分为多个组块发送；组块必须首先被产生。组块越短，组块的处理越复杂，因为它们被单个地发送。但是当检索组块时，有必要至少等待与相应的组块的长度一样长的时间。由于这个原因，组块越短，需要越快的反应。在该上下文中，组块长度可以被缩短，直到它对应于单个帧为止。以每秒25个帧，这对应于40ms。非常快速的发送因此是可能的。利用某些编解码器(诸如h265编解码器)，“零延时”设置也是可能的。这意味着，用于编码和随后的再次解码的时间是非常短的，例如小于1s。一定量的延时是不可避免的。但是利用“零延时”设置，对应的编解码器方法不引起任何附加延时。缓冲时间因此被要求几乎专用于信号的实际发送，在带宽对应地更高的情况下，这也可能非常显著地缩短。例如，在组织者经由web服务器向具有智能电话的在场者提供相机视图的现场音乐会中，对应的WLAN基础设施也可以被提供，以使得视频信号可以被几乎没有延迟地发送。
就该方面而言，附加信号的编码和/或用于将附加信号发送给附加信号回放装置6/2的传输路径因此可以随着确定的同步信息而被自动地选择。如果同步信息包括没有很多时间留给发送附加信号的指示，则有利的是通过对应地压缩编码来减少附加信号的数据量并且选择快速的传输路径。编码也应非常快速地发生。数据量的急剧减少和快速压缩通常负面地影响附加信号的质量。但是如果更多时间可用，则可以使用更费劲的编码和/或低压缩速率，这实现了附加信号的更高质量。
在以上说明的所有的示例性实施例中，数据库服务器9被设有先前准备的包含DB特征序列和同步信息的数据库。
在本发明的上下文中，数据库也可以在操作期间在数据库服务器9上创建(现场数据库)。如果存在附加信号应被同步地输出到的主要信号，并且主要信号事先是未知的，则这是主要有利的。在这样的情况下，从主要信号提取特征序列，并且测量分别可用于提取的时间。这些提取的特征序列被与提取时间一起存储在数据库中。代替提取时间，或者除了提取时间之外，还可以使主要信号中包含的时间信息被提取并且被与特征序列一起存储在数据库服务器9中。
这种情况下的时间信息构成同步信息的全部或一部分。在所述系统的操作期间以这种方式产生的数据库可以与其中不同的信号已经被预先存储在特征序列中的另一个数据库同步；该数据库还可以包含元信息，所述元信息描述这些特征序列和/或该信号的内容、时间和意义。各种媒体流可以被作为特征序列存储在该数据库中。通过与该附加数据库的比较，“在线地”或“飞速地”产生的数据库的特征序列可以被分配元信息，特别是语义信息或意义。
数据库服务器9上的数据库的这样的在线产生利用以上说明的示例性实施例是可能的。用户还可以在他的用户装置(计算机、移动电话等)上，在本地在站点上产生这样的现场数据库。
附图标记列表
1 舞台 11 同步时钟
2 相机 12 附加信号同步时钟
3 播音室 13 回放装置时钟
4 主要信号 14 附加信息数据库服务器
5 同步服务器 16 数据库服务器
6 回放装置 17 传感器
7 附加信号同步服务器 18 互联网
8 web服务器
9 数据库服务器
10 附加信号

Claims (18)

1.一种用于使附加信号与主要信号同步的方法，所述方法包括以下步骤：
-通过提取主要信号的至少一个信号特征序列并且将它与存储在数据库中的DB特征序列进行比较来产生用于所述主要信号的同步信息；如果所述信号特征序列与所述DB特征序列中的一个匹配达到预定程度，则在所述信号特征序列指定的位置处将匹配DB特征序列的同步信息分配给所述主要信号；
-将所述同步信息发送给回放装置，所述回放装置基于所述同步信息将附加信号同步地输出到所述主要信号；
-在所述主要信号正被从广播站发送给回放装置时，从主要信号为数据库产生DB特征序列。
2.根据权利要求1所述的方法，
其特征在于，
确定所述主要信号中的与所述DB特征序列匹配的信号特征序列的时间，并且使用该时间作为提取时间以便产生所述同步信息。
3.根据权利要求1所述的方法，
其特征在于，
所述DB特征序列被分配时间信息，所述时间信息定义相对于所述DB特征序列的特定的DB时间，所述特定的DB时间被用于产生所述同步信息。
4.根据权利要求1至3之一所述的方法，
其特征在于，
通过提取所述附加信号的信号特征序列并且将它与存储在数据库中的DB特征序列进行比较来将同步信息分配给所述附加信号；如果所述信号特征序列与所述DB特征序列中的一个匹配达到预定程度，则在所述信号特征序列指定的位置处将同步信息分配给所述附加信号，或者
手动地将同步信息分配给所述附加信号，或者
使用已经被预先分配同步信息的附加信号。
5.根据权利要求1至4之一所述的方法，
其特征在于，
所述同步信息包括以下多条数据中的一个或多个：
-描述所述主要信号和/或附加信号相对于检测到的信号特征序列的时间的时间信息；
-描述所述主要信号和/或附加信号的内容的一个或多个识别标记；
-描述所述主要信号和/或附加信号中的特定时间的时间戳；
-描述在所述回放装置上将主要信号和/或附加信号从传输路径的特定点中继转发给所述主要信号和/或附加信号的实际输出所需的时间间隔。
6.根据权利要求1至5之一所述的方法，
其特征在于，
在同步服务器中产生所述同步信息，所述同步服务器是独立于回放装置实施的。
7.根据权利要求1至7之一所述的方法，
其特征在于，
在所述回放装置中，所述附加信号被同步到所述主要信号，
-因为所述主要信号和所述附加信号在所述回放装置上输出，并且每个包含一个或多个时间标记作为同步信息，基于所述同步信息，所述回放装置同步地将所述附加信号分配给所述主要信号，或者
-基于在所述回放装置中借助于时钟测量的回放时间，以所述附加信号被同步地输出到所述主要信号的这样的方式，借助于所述同步信息，将所述附加信号分配给所述回放时间。
8.根据权利要求1至7之一所述的方法，
其特征在于，
如果几个信号特征序列与对应的DB特征序列匹配达到预定程度，则根据预定规则对这些信号特征序列进行评估，并且选择具有最佳评估的信号特征序列用于在所述信号特征序列指定的位置处将所述同步信息分配给所述主要信号。
9.根据权利要求8所述的方法，
其特征在于，
所述预定规则满足以下规则中的一个或多个：
-特征序列的匹配特征的数量越多，评估越好；
-特征序列的匹配特征的数量相对于所述特征序列中包含的特征的数量越多，评估越好；
-执行单个特征的匹配的分类；匹配的特征之间的距离越小，分派给对应的匹配的分类越好，并且该分类然后在特征序列的匹配的总体评估中被考虑。
10.特别是根据权利要求1至9之一所述的用于使附加信号与主要信号同步的方法，包括以下步骤：
-从所述主要信号提取信号特征序列，并且将所述信号特征序列与时间信息一起存储在数据库中；
-使用该数据库来使附加信号同步；具体地说，将从所述附加信号提取的特征序列与存储在所述数据库中的特征序列进行比较，和/或将来自所述附加信号的时间信息与所述数据库中的对应的时间信息进行比较。
11.特别是根据权利要求1至10之一所述的用于使附加信号与主要信号同步的方法，
其特征在于，
为了校准从服务器到回放装置的传输路径和/或校准回放装置中的用于在所述回放装置上输出媒体信号的延时，输出参考信号，
所述参考信号被对应的传感器同时接收；将输出的参考信号和接收的参考信号彼此进行比较，以便确定中继转发所述参考信号和/或实际上将它输出到所述回放装置所需的时间间隔，并且
该时间间隔被用作按照次序的时间偏移，以确定在所述媒体回放装置上输出信号的输出时间。
12.根据权利要求11所述的方法，
其特征在于，
所述参考信号包括音频信号，并且所述传感器是麦克风，和/或所述参考信号包括视频信号，并且所述传感器是相机。
13.根据权利要求11或12所述的方法，
其特征在于，
通过确定所述参考信号的发送时间和接收时间来确定所述时间间隔；从这两个时间之间的时间差推导所述时间间隔，并且通过将提取的参考信号特征序列与一个或多个先前存储的参考信号特征序列进行比较来执行所述两个时间中的至少一个的测量。
14.特别是根据权利要求1至13之一所述的用于使附加信号与主要信号同步的方法，其中，
将附加信号从被实施为独立于回放装置的同步服务器发送给所述回放装置，并且在所述同步服务器中，产生同步信息，所述同步信息与在所述同步服务器中利用那里提供的时钟测量的、所述同步服务器的服务器时间相关；在所述回放装置中，提供了与服务器时间同步至少一次的、用于测量回放时间的回放装置时钟，并且
测量与服务器时间相关的回放时间的时间漂移，并且该时间漂移在使附加信号与主要信号同步时被考虑。
15.根据权利要求14所述的方法，
其特征在于，
通过对所述回放装置多次发送所述服务器时间的时间信号或者对所述同步服务器多次发送所述回放时间、并且按次序将发送的时间信号与本地存在的时间信号进行比较以计算相应的时间差来确定所述时间漂移；基于所述时间差的偏差来确定所述时间漂移。
16.特别是根据权利要求1至15之一所述的用于使附加信号与主要信号同步的方法，其中
产生同步信息，所述同步信息描述附加信号将如何被同步到主要信号，其中
基于所述同步信息，确定有多少时间可用于将所述附加信号从预定的服务器发送给回放装置，并且基于该时间，自动地选择或调整一种或多种编码方法，和/或选择一个或多个传输路径。
17.特别是根据权利要求1至16之一所述的用于使附加信号与主要信号同步的方法，其中
在第一步中，将可用的附加信号的时间戳发送给回放装置，并且借助于此，计算可用的缓冲时间，并且
在第二步中，将所述附加信号从附加信号服务器发送给回放装置；所述附加信号的质量取决于所述缓冲时间和可用的比特率。
18.根据权利要求17所述的方法，
其特征在于，
将所述附加信号以组块的形式从所述附加信号服务器发送给所述回放装置，其时长最多为10个帧，该10个帧对应于大约400ms、特别是最多5个帧，该5个帧对应于大约200ms、优选地最多1个帧，该1个帧对应于大约40ms的，并且在所述回放装置中，借助于本地web服务器来接收所述附加信号。
CN201880087529.8A 2017-12-22 2018-12-19 用于使附加信号与主要信号同步的方法 Pending CN111656795A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102017131266.8A DE102017131266A1 (de) 2017-12-22 2017-12-22 Verfahren zum Einspielen von Zusatzinformationen zu einer Liveübertragung
DE102017131266.8 2017-12-22
ATA50180/2018 2018-03-02
ATA50180/2018A AT520998B1 (de) 2018-03-02 2018-03-02 Verfahren zum Synchronisieren von einem Zusatzsignal zu einem Hauptsignal
PCT/EP2018/085831 WO2019121904A1 (de) 2017-12-22 2018-12-19 Verfahren zum synchronisieren von einem zusatzsignal zu einem hauptsignal

Publications (1)

Publication Number Publication Date
CN111656795A true CN111656795A (zh) 2020-09-11

Family

ID=64755569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880087529.8A Pending CN111656795A (zh) 2017-12-22 2018-12-19 用于使附加信号与主要信号同步的方法

Country Status (10)

Country Link
US (2) US11570506B2 (zh)
EP (2) EP3729817A1 (zh)
JP (2) JP7362649B2 (zh)
KR (1) KR20200142496A (zh)
CN (1) CN111656795A (zh)
BR (1) BR112020012544A2 (zh)
MX (1) MX2020006551A (zh)
RU (1) RU2020123356A (zh)
WO (1) WO2019121904A1 (zh)
ZA (1) ZA202003761B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102439201B1 (ko) * 2020-09-14 2022-09-01 네이버 주식회사 멀티미디어 콘텐츠와 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19906692C1 (de) 1999-02-18 2000-12-28 Videor Technical Services Gmbh Schutzgehäuse für optische Geräte, insbesondere für Video-Kameras
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
KR20020067925A (ko) * 2000-10-30 2002-08-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자 기호에 대해 강화된 프로그램 컨텐트를 자동으로커스토마이징하는 적응형 방법 및 장치
WO2003003743A2 (en) 2001-06-29 2003-01-09 Lightmotive Technologies Method and apparatus for synchronization of parallel media networks
US6830387B2 (en) 2002-12-17 2004-12-14 Raytheon Company Modular thermal security camera system
AU2003234420A1 (en) 2002-12-27 2004-07-29 Nielsen Media Research, Inc. Methods and apparatus for transcoding metadata
WO2005011281A1 (en) 2003-07-25 2005-02-03 Koninklijke Philips Electronics N.V. Method and device for generating and detecting fingerprints for synchronizing audio and video
US8356327B2 (en) * 2004-10-30 2013-01-15 Sharp Laboratories Of America, Inc. Wireless video transmission system
EP1729173A3 (en) * 2005-05-27 2007-01-03 Telegraf ApS System for generating synchronized add-on information
JP2009521169A (ja) * 2005-12-23 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツストリームから決定されたフィンガープリントを使用したスクリプト同期
US7925774B2 (en) * 2008-05-30 2011-04-12 Microsoft Corporation Media streaming using an index file
US9055335B2 (en) * 2009-05-29 2015-06-09 Cognitive Networks, Inc. Systems and methods for addressing a media database using distance associative hashing
WO2011069035A1 (en) * 2009-12-04 2011-06-09 Tivo Inc. Multifunction multimedia device
US20110137976A1 (en) 2009-12-04 2011-06-09 Bob Poniatowski Multifunction Multimedia Device
US8682145B2 (en) * 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
EP3418917B1 (en) 2010-05-04 2022-08-17 Apple Inc. Methods and systems for synchronizing media
CA2739104C (en) * 2010-05-06 2015-11-24 Research In Motion Limited Multimedia playback calibration methods, devices and systems
US8311487B2 (en) 2010-05-06 2012-11-13 Research In Motion Limited Multimedia playback calibration methods, devices and systems
US8118499B2 (en) 2010-05-19 2012-02-21 LIR Systems, Inc. Infrared camera assembly systems and methods
SG177783A1 (en) 2010-07-09 2012-02-28 Smart Communications Inc Content provision system and method
GB201017174D0 (en) * 2010-10-12 2010-11-24 Muvemedia Ltd System and method for delivering multilingual video or film sound tracks or multilingual spoken or sung dialog for synchronization and playback
KR101214515B1 (ko) * 2010-12-08 2013-01-09 주식회사 아이플래테아코리아 방송콘텐츠의 부가정보 제공 시스템 및 그 방법
ES2459391T3 (es) 2011-06-06 2014-05-09 Bridge Mediatech, S.L. Método y sistema para conseguir hashing de audio invariante al canal
US20130304243A1 (en) * 2012-05-09 2013-11-14 Vyclone, Inc Method for synchronizing disparate content files
WO2014018652A2 (en) 2012-07-24 2014-01-30 Adam Polak Media synchronization
WO2014178796A1 (en) 2013-05-03 2014-11-06 Telefun Transmedia Pte Ltd System and method for identifying and synchronizing content
US10075229B2 (en) 2013-06-26 2018-09-11 Saab Ab Method and transceiver for network diversity in long distance communications
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
WO2016085414A1 (en) 2014-11-27 2016-06-02 JOHN SMITH s.r.o. Method to lower decline in watching channels during commercial breaks and a connection
CA2958255A1 (en) * 2015-01-29 2016-08-04 Ecole De Technologie Superieure Method and apparatus for video intermodal transcoding
JP6215866B2 (ja) * 2015-05-19 2017-10-18 西日本電信電話株式会社 インターネット動画再生システム、及びプログラム
US10098082B2 (en) * 2015-12-16 2018-10-09 Sonos, Inc. Synchronization of content between networked devices
CN105868397B (zh) 2016-04-19 2020-12-01 腾讯科技（深圳）有限公司 一种歌曲确定方法和装置

Also Published As

Publication number Publication date
WO2019121904A1 (de) 2019-06-27
EP3729817A1 (de) 2020-10-28
US20200322671A1 (en) 2020-10-08
KR20200142496A (ko) 2020-12-22
EP4178212A1 (de) 2023-05-10
JP2023171914A (ja) 2023-12-05
US11570506B2 (en) 2023-01-31
US20230137315A1 (en) 2023-05-04
RU2020123356A3 (zh) 2022-01-25
JP7362649B2 (ja) 2023-10-17
JP2021507654A (ja) 2021-02-22
RU2020123356A (ru) 2022-01-24
MX2020006551A (es) 2020-11-24
BR112020012544A2 (pt) 2020-11-24
ZA202003761B (en) 2021-04-28

Similar Documents

Publication Publication Date Title
US8817183B2 (en) Method and device for generating and detecting fingerprints for synchronizing audio and video
US10034037B2 (en) Fingerprint-based inter-destination media synchronization
US20160073141A1 (en) Synchronizing secondary content to a multimedia presentation
US8111327B2 (en) Method and apparatus for audio/video synchronization
EP2665057B1 (en) Audiovisual synchronisation of Network Musical Performance
EP2662853B1 (en) Audiovisual synchronisation of network musical performance
CN107272318A (zh) 借助智能电话和音频水印的多种语言同步电影配音
US11792254B2 (en) Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
US20230137315A1 (en) Method for Synchronizing Additional Signal to Primary Signal
KR102320670B1 (ko) 데이터 동기화 시스템 및 방법
KR102056796B1 (ko) 듀엣 모드 및 동시 음향 모드 제공 기반 방송 송출 시스템 및 그 방법
DE102017131266A1 (de) Verfahren zum Einspielen von Zusatzinformationen zu einer Liveübertragung
EP1908283A1 (en) Apparatus and method for transforming terrestrial dmb stream, and terrestrial dmb stream transmitting system and method employing the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination