CN102884804A - 音频信号和视频信号的同步误差校正方法及装置 - Google Patents

Abstract

本发明公开了用于校正在结合多个视频时产生的视频信号和音频信号之间的同步误差的同步误差校正装置和方法。本发明的所述装置和方法包括：当结合不同的视频内容时，存储将要被结合的视频的初始视频信号和音频信号之间的同步误差；以及当结合多个视频内容时，结合多个视频内容以保持配置为使视频信号和音频信号相互同步的所述初始同步误差。本发明的所述装置和方法使现有技术中统一结合视频信号和音频信号而改变误差，因而显示视频信号和音频信号不同步的不自然的视频的缺陷能够被克服。

Description

音频信号和视频信号的同步误差校正方法及装置

技术领域

本发明涉及视频同步误差校正装置，更具体地说，涉及用于校正音频信号和视频信号之间的同步误差的方法和装置。 

背景技术

在通过诸如视窗媒体编码器（Window Media Encoder）之类的编码软件对连续的影像（直播影像）进行实时编码和播送时，存在如下多种情况。 

第一，存在从捕获设备（capture device）直接进行编码的方式，第二，存在从捕获设备间接进行编码的方式。 

在第一种方式下，因为来自设备的校正过音频/视频（A/V）的误差的数值已包含在流数据中，所以没有问题，但在第二种方式下，在根据每秒显示帧数（FPS：Frame Per Second）对音频/视频（A/V）的显示时间标志（PTS：Presentation Time Stamp）进行数值计算中，存在处理过程中的误差。 

例如，30FPS为每秒在画面上输出30个帧，但以数值进行表示时，就成为（100000000.0纳秒/30.0）=3333333.333333…，将其称为帧平均时间（AvgTimePerFrame）。 

帧平均时间在确定显示时间标志时起重要作用，是确定应在画面上显示多少影像的数值。 

在以计算出的帧平均时间计算每秒30帧时，经过（3333333*30）=99999990处理，存在10纳秒的误差。 

此外，当为影像专用的捕获设备时，根据30FPS捕获30帧的画面，但当为诸如网络摄像头之类的个人捕获设备时，即使设定为每秒捕获30帧，也存在如下缺点：并不是每秒捕获30帧、而捕获不到30帧会使上述误差进一步变大。亦即，存在设定的每秒显示帧数和捕获的帧的数量不一致的情况。 

在这样的过程中，这样的数值误差在长时间编码而流化（streaming）的过程中，以影像和声音的误差表现出来，可能会在服务中产生困难。 

当在生成视频的捕获设备和将其编码进行传输的编码装置间以不同的每秒显示帧数处理视频内容（包括视频信号和音频信号，下同）时，这样的误差问题就逐渐成为一个特别严重的问题。 

不仅如此，在将其他视频内容插入到一个视频内容时，各个视频的视频信号和音频信号之间的同步误差相互不同，当在一个视频中插入其他视频时，会产生有画面而无声音或有声音而无画面的情况。 

在这样的情况下，在地波播放过程中插入广告视频时就会有问题，但在体育转播（sports relay）过程中插入广告视频时，在仅显示影像而听不到声音的情况和听得到声音但不显示影像而以黑屏等显示的情况下，就会让观众产生抗拒感。 

发明内容

本发明要解决的问题是提供同步误差校正方法和装置，当在中途插入视频内容或结合多个视频内容时，同步误差校正方法和装置校正互不相同的视频间的音频信号和视频信号之间的同步误差，就能再生出自然的视频。 

此外，本发明要解决的其它课题是提供能够一边校正视频信号和音频信号之间的同步误差一边重新设定视频的每秒显示帧数的同步误差校正方法和装置。 

基于用于解决上述问题的本发明的一个实施例的同步误差校正装置包括：源选择单元，其从多个视频源接收视频内容的输入并进行输出，该视频内容包含视频信号和音频信号；误差校正单元，其对多个视频内容的每个提取出事先设定于视频信号和音频信号之间的初始同步误差；以及显示时间标志调节单元，其重新设定所述多个视频内容的视频信号及音频信号的显示时间标志，以使所述多个视频内容的视频信号及音频信号的显示时间标志与多个视频结合后生成的结合视频内容的显示时间标志对应，并对所述多个视频内容进行结合，重新设定显示时间标志以保持结合后的各视频内容区域的所述视频信号和音频信号之间的所述初始同步误差。 

此外，在第一视频内容中插入第二视频内容时，所述显示时间标志调节 单元调节显示时间标志以使所述第二视频内容结合到所述第一视频内容中且所述第一视频内容的其余部分结合到所述第二视频内容的末端，在结合所述第一视频内容的其余部分时，设定视频信号和音频信号的显示时间标志，以保持所述第一视频内容的视频信号和音频信号之间的初始同步误差。 

此外，基于上述的本发明的一个实施例的同步误差校正装置还包括每秒显示帧数调节单元，其根据从编码器输入的设定信息中包含的每秒显示帧数设定信息来调节结合过的视频内容的视频信号的每秒显示帧数。 

此外，所述每秒显示帧数调节单元对按照所述每秒显示帧数设定信息调节过每秒显示帧数的各影像帧的时间上的位置进行设定，在构成调节每秒显示帧数前的所述结合视频内容的视频信号的各影像帧中，利用根据所述每秒显示帧数设定信息设定的各影像帧的时间上的位置的正前面的影像帧来调节结合视频内容的视频信号的每秒显示帧数。 

此外，基于上述的本发明的一个实施例的同步误差校正装置还包括比例调节单元，其根据从编码器输入的设定信息中包含的画面比例设定信息来对调节过所述每秒显示帧数的结合视频内容的视频信号的画面比例进行调节。 

此外，基于上述的本发明的一个实施例的同步误差校正装置还包括重新采样单元，其根据从编码器输入的设定信息中包含的重新采样设定信息来对调节过的显示时间标志的音频信号进行重新采样。 

另一方面，基于用于解决上述问题的一个实施例的同步误差校正方法，所述同步误差校正方法在同步误差校正装置中进行，该同步误差校正装置用于校正从多个视频源输入的多个视频内容的视频信号和音频信号之间的同步误差并结合多个视频内容而进行输出，其特征在于，包括以下步骤：(a)从视频源接收第一视频内容；(b)从视频源接收结合到所述第一视频内容的第二视频内容，提取出所述第二视频内容的视频信号和音频信号之间的初始同步误差，生成初始同步误差信息；以及(c)按照所述初始同步误差信息，将所述第二视频内容结合到所述第一视频内容以保持所述第二视频内容的视频信号和音频信号之间的初始同步误差。 

此外，在将所述第二视频内容插入到所述第一视频内容中途时，在所述步骤（a）中，所述同步误差校正装置提取出所述第一视频内容的初始同步误 差，在所述步骤（c）中，所述同步误差校正装置将所述第二视频内容结合到所述第一视频内容中部，以保持所述第二视频内容的初始同步误差，在步骤（d）中，在所述第二视频内容的结合完成后，将所述第一视频内容结合到所述第二视频内容的末端，以保持所述第一视频内容的初始同步误差。 

此外，所述同步误差校正装置通过重新设定所述第一视频内容和所述第二视频内容的显示时间标志，以使所述第一视频内容及所述第二视频内容的显示时间标志与结合所述第一视频内容和所述第二视频内容而生成的结合视频的显示时间标志对应。 

此外，所述同步误差校正装置根据从编码器接收到的每秒显示帧数设定信息和重新采样设定信息来对结合视频内容的视频信号的每秒显示帧数进行转换，对音频信号进行重新采样并输出。 

此外，所述同步误差校正装置根据所述每秒显示帧数设定信息来对调节过每秒显示帧数的结合视频内容的各影像帧的时间上的位置进行设定，在构成调节每秒显示帧数前的所述结合视频内容的视频信号的各影像帧中，利用根据所述每秒显示帧数设定信息设定过的各影像帧的时间上的位置的正前面的影像帧来调节结合视频内容的视频信号的每秒显示帧数。 

此外，所述同步误差校正装置根据画面比例设定信息来调节影像帧的比例并进行输出，该画面比例设定信息是从所述编码器接收了转换过每秒显示帧数的结合视频内容的视频信号的画面比例设定信息。 

此外，基于上述本发明的一个实施例的同步误差校正方法由记录介质提供，该记录介质能够用计算机读取，并以可执行的程序代码记录有权利要求9的同步误差校正方法。 

本发明在结合不同的视频内容时，针对结合的视频存储设定的初始同步误差使得视频信号和音频信号相互地最适宜地进行同步，在结合多个视频内容时以保持已存的初始同步误差的方式进行结合，由此，就解决了现有技术中统一结合视频信号和音频信号而同步误差发生变化、视频信号和音频信号不同步而显示不自然的视频的问题。 

此外，本发明是根据从编码器输入的每秒显示帧数设定信息来对调节过的每秒显示帧数的结合视频内容的各影像帧的时间上的位置进行设定，在构 成调节每秒显示帧数前的上述结合视频内容的视频信号的各影像帧中，利用根据上述每秒显示帧数设定信息设定的各影像帧的时间上的位置的正前面的影像帧，能够简便地调节结合视频内容的视频信号的每秒显示帧数。 

附图说明

图1所示为将基于本发明的优选实施例的音频信号及视频信号的同步误差校正装置与视频源及编码器连接的整体结构的图。 

图2所示为基于本发明的优选实施例的同步误差校正装置的详细结构的图。 

图3所示为根据本发明的优选实施例说明显示时间标志调节单元考虑视频信号和音频信号之间的同步误差信息来调节显示时间标志的过程图。 

图4所示为表示调节视频影像帧的每秒显示帧数的一个示例图。 

图5所示为说明基于本发明的优选实施例的音频信号和视频信号的同步误差校正方法的流程图。 

具体实施方式

以下将参考附图说明本发明的优选实施例。 

图1所示为将基于本发明的优选实施例的音频信号和视频信号的同步误差校正装置200与视频源100-1~100-n及编码器300连接起来的整体结构的图。 

参照图1，本发明的音频信号和视频信号的同步误差校正装置200（以下简称为“同步误差校正装置”）接收来自多个视频源100-1~100-n的视频内容（包括基于初始同步误差而相互同步过的视频信号和音频信号，下同）的输入。 

在图1中，视频源100-1~100-n可以是如摄像头那样实际生成直接视频内容的设备，也可以是对事先在计算机中存储的视频文件进行过解码的程序，也可以是接收数字广播进行解码而输出的解码器等。即，本发明的视频源100-1~100-n能将视频内容输出到同步误差校正装置200即可，对其硬件结构或软件结构没有限制。 

此外，同步误差校正装置200校正结合过的音频信号和视频信号之间的同步误差，重新设定视频内容的视频信号的每秒显示帧数以与编码器300要求的每秒显示帧数匹配，重新采样音频信号输出到编码器300以与视频信号的每秒显示帧数对应。 

特别是，同步误差校正装置200将从多个视频源100-1~100-n输入的视频内容结合为一个，输出到编码器300。此时，从不同的视频源100-1~100-n输入的视频内容具有不同的视频信号和音频信号间的同步误差，具有不同的每秒显示帧数，因此，同步误差校正装置200一面将从不同的视频源100-1~100-n输入的视频内容相互结合起来，一面校正音频信号和视频信号之间的同步误差，之后转换视频信号的每秒显示帧数，重新采样音频信号以与视频信号的每秒显示帧数对应。下面，以在体育转播（sports relay）那样的实时视频中插入中间广告视频为例，来说明在一个视频中插入其它视频的情况。 

另一方面，编码器300向同步误差校正装置200发送设定信息，该设定信息包括自身希望的每秒显示帧数设定信息、重新采样设定信息和画面比例设定信息等，所述编码器300对从同步误差校正装置200接收到的视频内容编码并传送到外部网络或是压缩存储。 

图2所示为基于本发明的优选实施例的同步误差校正装置200的详细结构的图。 

参照图2，基于本发明的优选实施例的同步误差校正装置200包含：视频选择单元210、显示时间标志调节单元220、误差校正单元230、每秒显示帧数调节单元240、比例调节单元250以及重新采样单元260。 

首先，视频选择单元210从视频源接收视频的输入，该视频源为用户或管理员从多个视频源100-1~100-n中选择出的视频源，输出到显示时间标志调节单元220和误差校正单元230。例如，在视频选择单元210选择体育转播信号的视频源1（100-1）而输出视频内容的过程中，在棒球换局或职业篮球换节时，选择事先准备好的广告视频源（100-2~100-n中的任意一个）输出广告数据，当广告数据结束或体育转播重新开始时，就再次选择视频源1（100-1）输出体育转播视频。 

从源选择单元210输出的视频内容被输入到显示时间标志调节单元 220，误差校正单元230提取出输入到显示时间标志调节单元220的视频内容的视频信号和音频信号之间的同步误差信息并输出到显示时间标志调节单元220。此时，误差校正单元230针对各个视频内容分别提取出视频信号和音频信号之间的初始同步误差信息，并输出到显示时间标志调节单元220。 

显示时间标志调节单元220用结合多个视频而生成的视频的显示时间标志来调节在各视频中事先定义的显示时间标志。此时，显示时间标志调节单元220既整体考虑从误差校正单元230输入的初始同步误差信息又个别地调节音频信号的显示时间标志和视频信号的显示时间标志来调节结合过的视频的显示时间标志。 

图3是根据本发明的优选实施例、说明显示时间标志调节单元220考虑视频信号和音频信号之间的初始同步误差信息来调节显示时间标志的过程的图。在图3所示的例中说明了以视频信号作为基准来结合视频内容，但应注意，同样的方式也适用于以音频信号作为基准的情况。亦即，在图3中，图中标号301和401是视频信号、图中标号302和图中标号402是音频信号，但应注意，即使图中标号301和401是音频信号、图中标号302和图中标号402是视频信号的情况，也能够以相同的方式结合视频内容。 

参考图3，说明误差校正单元230和显示时间标志调整单元220的动作。 

显示时间标志（PTS：Presentation Time Stamp）表示在各个视频内容中构成视频信号的各个影像帧在画面上显示多长时间，或表示音频信号的一个单位数据应在多长的时间进行输出，该显示时间标志以累计值表示以对应于时间的流动。视频信号的各个影像帧具有开始显示时间标志和结束显示时间标志值，该视频影像帧从与开始显示时间标志对应的时间到与结束显示时间标志对应的时间显示给用户。 

当举例来概念性地进行说明时，假定构成从视频源1（100-1）输入到同步误差校正装置200的体育转播视频（内容（A））的视频信号的第一个帧的开始显示时间标志是从0开始、以1为单位增加、最后的影像帧的结束显示时间标志是1000，构成从其它视频源（100-2~100-n中的任一个）输入到同步误差校正装置200的广告视频（内容（B））的视频信号的第一个帧的开 始显示时间标志是从0开始、增加单位为1、最后的影像帧的结束显示时间标志是100。 

而且，假定为：如果在从视频源1（100-1）输入的体育转播视频在作为显示时间标志基准的500的时间点（时间点S）上半场结束、广告视频输入到同步误差校正装置200，同步误差校正装置200就在S定时结合广告视频和体育转播视频而输出到编码器300，当广告视频结束时（定时E），同步误差校正装置200就再次接收体育转播视频的输入、结合到广告视频后方并输出到编码器300。 

在这种情况下，体育转播视频和广告视频分别具有按照自身的时间标准设定的显示时间标志，与此相对，结合过从同步误差校正装置200输出的体育转播视频和广告视频的视频必须以一个时间为基准设定显示时间标志。 

亦即，结合了体育转播视频和广告视频而输出到编码器300的视频（以下称作“结合视频”）应是从基准时间零开始计时。然而，在体育转播视频的上半场结束后，结合视频的显示时间标志是从500开始计数，而新插入的广告视频的显示时间标志是从自己初始具有的显示时间标志值即0开始，所以必须改变初始值，将0改变为500。 

此外，结合广告视频后，结合视频的显示时间标志被设定为600，但从中断到重新开始的体育转播视频（内容（A））能够从500开始（在体育转播视频是事先录制、在广告视频的结合定时中断、其之前不前进的情况下）。在这种情况下，必须将设定为500的体育转播视频的显示时间标志重新设定为600。 

此外，在结合广告视频期间继续实时传送体育转播视频，但在仅在未输入到同步误差校正装置200的情况下，在体育转播视频的定时E的显示时间标志在500以上，体育转播视频的显示时间标志和结合视频的显示时间标志的时间设定不匹配，所以，需要转换操作，以使体育转播视频的各个影像帧的显示时间标志与结合视频的显示时间标志对应起来。因此，显示时间标志调节单元220重新定义各个视频的显示时间标志和结合视频的显示时间标志。 

然而，显示时间标志调节单元220必须重新设定显示时间标志以保持各 个视频内容的视频信号和音频信号之间的初始同步误差。当再次参考图3时，最初在内容（A）的体育转播视频的视频信号和音频信号之间存在有A的误差。这意味着，如果先显示视频信号，在作为显示时间标志基准的A的时间经过之后，输出音频信号，就输出音频信号和视频信号一致的自然的视频，如果该误差在过程中被改变，在画面中显示的样子和实际的声音不同步，给视听者带来不便。首先说明结合视频信号的过程，在后面介绍考虑同步误差来结合音频信号的过程。 

在图3所示的实施例中，显示时间标志调节单元220将在结合广告视频的定时即定时S、以内容（A）的视频信号结束的瞬间（即显示时间标志值与500相对应的定时）为基准，将广告视频的内容（B）的初始显示时间标志由0重新设定为500，使内容（A）和内容（B）结合起来。因此，内容（B）的最后的帧的结束显示时间标志被重新设定为600。 

此外，在广告视频结束、体育转播视频再次开始的定时即E时刻，再次输入到同步误差校正装置200的内容（A）的视频信号的第一个影像帧的开始显示时间标志被重新设定为600，内容（B）的最后的帧的结束显示时间标志被重新设定为1100。 

通过上述方式，视频信号是简单地重新设定显示时间标志而进行结合，相对于此，针对音频信号的显示时间标志是考虑了与各个视频内容的视频信号的误差而进行重新设定的。 

参照图3，内容（A）最初在视频信号和音频信号之间存在A的误差，内容（B）最初在视频信号和音频信号之间存在B的误差。这意味着，对于内容（A）而言，输出视频信号，在作为显示时间标志时间基准经过了A的定时输出音频信号，就输出视频信号和音频信号一致的自然的视频。同样，对于内容（B）而言，输出视频信号，在经过了以显示时间标志为基准的B的定时输出音频信号，就再生自然的视频。 

然而，显示时间标志调节单元220即使是对音频信号与视频信号相同地在S定时，在内容（A）的音频信号结束的定时结合内容（B）的音频信号，结果，对内容（B），不能保持原来必须保持的同步误差，导致提前了C的时间，产生如下问题：比必须与音频信号一起输出的视频信号更早输出。 

为了解决这个问题，误差校正单元230存储各个视频内容的视频信号和音频信号之间的初始同步误差信息（A和B），将初始同步误差信息输出到显示时间标志调节单元220。 

接收了误差信息的输入的显示时间标志调节单元220在对与视频信号的显示时间标志的重新设定不同的、音频信号的显示时间标志进行重新设定时，重新设定显示时间标志以保持与原视频信号的初始同步误差。在图3的实施例中，显示时间标志调节单元220重新设定内容（B）的音频信号的显示时间标志，从内容（B）的音频信号的重新设定过的显示时间标志即600重新设定为加上初始同步误差B的600+B。 

另一方面，即使在广告视频的内容（B）结束的定时，显示时间标志调节单元220也不重新设定内容（B）的音频信号的显示时间标志而是考虑视频信号和音频信号之间的初始同步误差来重新设定显示时间标志，使内容（B）的音频信号和重回的内容（A）的音频信号直接结合。 

如图3所示，在内容（A）的重回定时的定时E，在内容（A）的视频信号和音频信号之间产生A”的同步误差。然而，该同步误差是反映了在生成视频、压缩视频、再进行解码的复杂的过程中所积累的误差，因此，显示时间标志调节单元220在定时E重新设定音频信号的显示时间标志，使得不反映当前的内容（B）的视频信号和音频信号之间的同步误差A”、而反映内容（A）的初始同步误差A。因此，在图3所示的例中，重回的内容（A）的音频信号的第一帧的显示时间标志被重新设定为“600+A”。 

另一方面，显示时间标志调节单元220在视频信号和音频信号的显示时间标志重新设定结束时，就实时将显示时间标志重新设定结束的视频信号输出到每秒显示帧数调节单元240，将音频信号输出到重新采样单元260。 

每秒显示帧数调节单元240执行如下功能：将现有的设定为不同的每秒显示帧数的视频内容转换为编码器300所要求的每秒显示帧数。例如，在现有的体育转播视频的内容（A）和广告视频的内容（B）分别设定为30帧/秒（FPS）、编码器300要求15帧/秒的视频内容的情况下，每秒显示帧数调节单元240就调节从显示时间标志调节单元220输入的视频内容的每秒显示帧数，输出到比例调节单元250。 

但转换每秒显示帧数的方式可以是多样的，每秒显示帧数调节单元240通过事先设定影像帧的开始显示时间标志和结束显示时间标志以适合于编码器300所要求的每秒显示帧数，从自显示时间标志调节单元220输入的一系列影像帧中逐个选择进行分配，转换帧速率。 

例如，在显示调节视频影像帧的每秒显示帧数的一个例子的图4中，输出的视频信号的开始显示时间标志和结束显示时间标志（假设与下一帧的开始显示时间标志相同）已经被设定，如果从显示时间标志调节单元220输入的视频的每秒显示帧数多于编码器300要求的每秒显示帧数，就将位于输出影像帧的事先设定的开始显示时间标志正前面的输入影像帧分配给输出影像帧的该开始显示时间标志进行输出。因此，在图4中，

影像帧将被舍弃， 

影像帧被分配给输出影像帧进行输出。 

如果编码器300要求的每秒显示帧数比从显示时间标志调节单元220输出的视频信号的每秒显示帧数多，则一个输入影像帧就重复分配给多个输出影像帧进行输出，即使在这种情况下，也将位于事先设定的输出影像帧的正前面的影像帧分配给输出影像帧。 

从每秒显示帧数调节单元240输出的影像帧被输入到比例调节单元250，比例调节单元250按照编码器300要求的画面比例，将画面变换成4:3、16:10、16:9等多种比例。 

另一方面，从显示时间标志调节单元220接收了音频信号的输入的重新采样单元260按照编码器300的要求，重新采样音频信号并输出到编码器300。此时，重新采样的间隔优选与以每秒显示帧数调节单元240使帧速率改变的比例一致。 

至此，说明了基于本发明的优选实施例的同步误差校正装置200。下面，参照图5即用于说明基于本发明的优选实施例的音频信号和视频信号的同步误差校正方法的流程图，来说明本发明的音频信号和视频信号的同步误差校正方法。 

但是，本发明的同步误差校正方法与如上所述说明了同步误差校正装置200的功能的内容大部分重合，所以仅简要说明其流程。 

首先，同步误差校正装置200从编码器300接收设定信息，从多个视频 源100-1~100-n中选择输出源视频（结合有其他视频内容的视频）的视频源（S500）。设定信息包括结合多个视频内容而生成的结合视频的每秒显示帧数信息、重新采样周期信息（重新采样信息）和画面比例信息。 

当选择视频源100-1~100-n中的任一个时，就将视频内容从选择出的视频源输入到同步误差校正装置200，同步误差校正装置200的误差校正单元230提取出输入的视频内容的视频信号和音频信号的初始同步误差信息（S502）。 

然后，同步误差校正装置200重新设定原视频的视频信号和音频信号的显示时间标志，以与结合有多个视频内容后生成的视频内容的显示时间标志对应，按照从编码器300接收到的设定信息转换视频信号的每秒显示帧数并改变比例，重新采样音频信号（S510）。 

另一方面，同步误差校正装置200在上述步骤S502至步骤S510进行期间对是否选择了与原视频结合的新视频内容的视频源进行调查，如果没有选择新视频源，就对原视频重复进行上述的步骤S510（S512）。 

在步骤S512中，当选择了结合到原视频内容的新视频内容并输入视频内容，同步误差校正装置200就提取出新视频内容的视频信号和音频信号之间的初始同步误差信息（S520），按照初始同步误差信息重新设定显示时间标志，将新视频内容结合到原视频内容（S522）。在步骤S522中，如上所述，一面保持结合的新视频内容的视频信号和音频信号之间的误差，一面重新设定新视频的视频信号和音频信号的显示时间标志，来将新视频结合到原视频。 

然后，按照在步骤S500从编码器300输入的设定信息，转换结合的视频的音频信号的每秒显示帧数，调整画面比例，重新采样音频信号（S524）。 

另一方面，同步误差校正装置200调查其它的新视频是否被结合，当存在其它的新视频被结合的情况时，就进行步骤S520，当不存在其它的新视频被结合的情况时，就进行步骤S540（S530）。 

在新视频未被结合的情况下，同步误差校正装置200调查以前输入的视频是否要重回（S540）。例如，在上述例子中，在中途结合的视频（广告视频）结束，调查在步骤S500输入的原视频（体育转播视频）是否被再次输 入。 

此外，在将第一视频作为原视频进行输入、将第二视频结合到第一视频之后，再将第三视频结合到第二视频之后、第二视频重回的情况也与此相当。 

当以前的视频重回（复归）时，同步误差校正装置200就按照从重回的视频内容中提取出的初始同步误差信息来重新设定音频信号和视频信号的显示时间标志，以保持视频信号和音频信号的初始同步误差（S542）。 

然后，同步误差校正装置200在转换重回的视频的视频信号的每秒显示帧数并调整比例，重新采样音频信号并输出到编码器300之后，进行步骤S530（S544）。 

进行步骤S530，在没有新结合的视频且没有重回的视频的情况下，视频信号和音频信号的同步误差校正过程结束。 

本发明能够具体实现为在能够用计算机读取的记录介质中、计算机能够读取的代码。计算机能够读取的记录介质包括存储能够用计算机系统读取的数据的所有种类的记录装置。作为计算机能够读取的记录介质的例子，有ROM、RAM、CD-ROM、磁带、软盘和光数据存储装置等，也包括可以用载波（例如，通过互联网传送）的形式来具体实施的装置。此外，计算机能够读取的记录介质能够分布在由网络连接的计算机系统中，以分散方式对计算机能够读取的代码进行存储、执行。 

到目前为止，对本发明以其优选实施例为中心进行了讨论。但是对于本领域的技术人员而言，在不脱离所附权利要求的范围的情况下，可以作出各种改变和修改，以及使用等同方案。因此，所公开的实施例不是以限制性的观点而是以说明的观点来考虑的。本发明的范围不是由上述说明而是由权利要求的范围表示的；在与其具有相同的范围内的所有不同点应解释为包含在本发明内。 

Claims (14)

1.一种同步误差校正装置，其特征在于，包括：

源选择单元，所述源选择单元从多个视频源接收视频内容的输入并进行输出，该视频内容包含视频信号和音频信号；

误差校正单元，所述误差校正单元对多个视频内容的每个提取出事先设定于视频信号和音频信号之间的初始同步误差；以及

显示时间标志调节单元，所述显示时间标志调节单元重新设定所述多个视频内容的视频信号及音频信号的显示时间标志，以使所述多个视频内容的视频信号及音频信号的显示时间标志与多个视频结合后生成的结合视频内容的显示时间标志对应，并对所述多个视频内容进行结合，重新设定显示时间标志以保持结合后的各视频内容区域的所述视频信号和音频信号之间的所述初始同步误差。

2.根据权利要求1所述的同步误差校正装置，其特征在于，在将第二视频内容插入到第一视频内容中时，所述显示时间标志调节单元调节显示时间标志以使所述第二视频内容结合到所述第一视频内容中且所述第一视频内容的其余部分结合到所述第二视频内容的末端，在结合所述第一视频内容的其余部分时，设定视频信号和音频信号的显示时间标志，以保持所述第一视频内容的视频信号和音频信号之间的初始同步误差。

3.根据权利要求1所述的同步误差校正装置，其特征在于，还包括每秒显示帧数调节单元，所述每秒显示帧数调节单元根据从编码器输入的设定信息中包含的每秒显示帧数设定信息来调节结合过的视频内容的视频信号的每秒显示帧数。

4.根据权利要求3所述的同步误差校正装置，其特征在于，所述每秒显示帧数调节单元对根据所述每秒显示帧数设定信息调节过的每秒显示帧数的各影像帧的时间上的位置进行设定，在构成每秒显示帧数调节前的所述结合视频内容的视频信号的各影像帧中，利用根据所述每秒显示帧数设定信息设定过的各影像帧的时间上的位置的正前面的影像帧来调节结合视频内容的视频信号的每秒显示帧数。

5.根据权利要求3所述的同步误差校正装置，其特征在于，还包括比例调节单元，其按照从编码器输入的设定信息中包含的画面比例设定信息来对调节过的所述每秒显示帧数的结合视频内容的视频信号的画面比例进行调节。

6.根据权利要求1所述的同步误差校正装置，其特征在于，还包括重新采样单元，其根据从编码器输入的设定信息中包含的重新采样设定信息来对调节过的显示时间标志的音频信号进行重新采样。

7.一种同步误差校正方法，所述同步误差校正方法在同步误差校正装置中进行，该同步误差校正装置用于校正从多个视频源输入的多个视频内容的视频信号和音频信号之间的同步误差并结合多个视频内容进行输出，所述同步误差校正方法的特征在于，包括以下步骤：

(a)从视频源接收第一视频内容；

(b)从视频源接收要结合到所述第一视频内容的第二视频内容，提取出所述第二视频内容的视频信号和音频信号之间的初始同步误差，生成初始同步误差信息；以及

(c)按照所述初始同步误差信息，将所述第二视频内容结合到所述第一视频内容以保持所述第二视频内容的视频信号和音频信号之间的初始同步误差。

8.根据权利要求7所述的同步误差校正方法，其特征在于，在将所述第二视频内容插入到所述第一视频内容中时，在所述步骤（a）中，所述同步误差校正装置提取出所述第一视频内容的初始同步误差，在所述步骤（c）中，所述同步误差校正装置将所述第二视频内容结合到所述第一视频内容中，以保持所述第二视频内容的初始同步误差，在步骤（d）中，在所述第二视频内容的结合结束后，将所述第一视频内容结合到所述第二视频内容的末端，以保持所述第一视频内容的初始同步误差。

9.根据权利要求7或8所述的同步误差校正方法，其特征在于，所述同步误差校正装置通过重新设定所述第一视频内容及所述第二视频内容的显示时间标志，以使所述第一视频内容和所述第二视频内容的显示时间标志与结合所述第一视频内容和所述第二视频内容而生成的结合视频的显示时间标志对应。

10.根据权利要求9所述的同步误差校正方法，其特征在于，所述同步误差校正装置按照从编码器接收到的每秒显示帧数设定信息和重新采样设定信息来对结合视频内容的视频信号的每秒显示帧数进行转换，对音频信号进行重新采样并输出。

11.根据权利要求10所述的同步误差校正方法，其特征在于，所述同步误差校正装置按照所述每秒显示帧数设定信息来对调节过的每秒显示帧数的结合视频内容的各影像帧的时间上的位置进行设定，在构成调节每秒显示帧数前的所述结合视频内容的视频信号的各影像帧中，利用根据所述每秒显示帧数设定信息设定过的各影像帧的时间上的位置的正前面的影像帧来调节结合视频内容的视频信号的每秒显示帧数。

12.根据权利要求9所述的同步误差校正方法，其特征在于，所述同步误差校正装置根据画面比例设定信息来调节影像帧的比例并进行输出，该画面比例设定信息是从所述编码器接收了转换过每秒显示帧数的结合视频内容的视频信号的信息。

13.一种记录介质，所述记录介质能够用计算机读取，并以可执行的程序代码记录有权利要求7或8的同步误差校正方法。

14.一种记录介质，所述记录介质能够用计算机读取，并以可执行的程序代码记录有权利要求9的同步误差校正方法。

Images