CN102271278B - 用于串行数字视频信号的带内音频/视频定时测量的系统和方法 - Google Patents

用于串行数字视频信号的带内音频/视频定时测量的系统和方法 Download PDF

Info

Publication number
CN102271278B
CN102271278B CN201110195287.4A CN201110195287A CN102271278B CN 102271278 B CN102271278 B CN 102271278B CN 201110195287 A CN201110195287 A CN 201110195287A CN 102271278 B CN102271278 B CN 102271278B
Authority
CN
China
Prior art keywords
verification
frame
video
audio
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110195287.4A
Other languages
English (en)
Other versions
CN102271278A (zh
Inventor
迈克尔·J·斯特瑞恩
艾弗提姆斯·斯蒂芬爱迪斯
詹姆士·L·杰克逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/792,597 external-priority patent/US8300147B2/en
Priority claimed from US12/792,617 external-priority patent/US8384827B2/en
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN102271278A publication Critical patent/CN102271278A/zh
Application granted granted Critical
Publication of CN102271278B publication Critical patent/CN102271278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4342—Demultiplexing isochronously with video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及用于串行数字视频信号的带内音频/视频定时测量的系统和方法。公开了一种用于表征音频和视频信号之间的相对时间偏移量的系统和方法，该系统和方法使得该音频和视频信号的接收器能够再同步该音频和视频信号。动态地捕获信号表征数据并将其编码于由电视发生设施输出的视频和音频数据的帧中。该接收器提取该信号表征数据，并针对接收到的帧捕获该信号表征数据。将该提取的信号表征数据与该捕获的信号表征数据进行比较，以计算帧的视频和一个或多个音频信号之间的相对时间偏移量。该接收器可随后使用该计算的相对偏移量来再同步该视频和音频信号。

Description

用于串行数字视频信号的带内音频/视频定时测量的系统和方法
技术领域
本发明涉及音频和视频信令技术领域，更具体的，本发明涉及一种用于串行数字音频信号的带内(in-band)音频/视频(A/V)定时测量的方法和系统。
背景技术
当对应于视频图像的音频不同步时，观众能够容易地察觉到。即使视频和音频信号之间的仅仅1帧或2帧的相对偏移量也能够导致广播节目看起来好像没有唇同步。没有同步可能是由于从起始点开始直到视频和音频信号从电视设施输出时为止引入到视频信号和音频信号之一或者两者的延迟所导致的。
为了由接收器实现视频和音频信号的再同步，一些传统的系统表征从音频和视频信号的起始点到当音频和视频信号从电视设施输出时的点的相对时间偏移量。传统的表征技术在电视设施不处于工作状态时使用专门的测试模式来测量通过电视设施的相对偏移量。一旦确定了视频和音频信号之间的相对偏移量，则可调整电视设施内的设备以消除相对偏移量或将相对偏移量减少到可接受的程度。不需要使电视设施不处于工作状态以表征相对偏移量的其他技术需要昂贵的设备以及电视设施和接收器之间的双向通信，以在每个接收器再同步视频和音频信号。
如以上的描述所示出的，本技术领域需要一种用于表征音频和视频信号之间的相对时间偏移量以及向音频和视频信号的接收器提供偏移量测量的改进的技术。
发明内容
本发明的实施方式包括一种用于表征音频和视频信号之间的相对时间偏移量的系统，接收音频和视频信号的接收器使用该音频和视频信号来测量相对偏移量。该接收器可随后使用该测量的相对偏移量来再同步该视频和音频信号。使用带内信令进行表征，这样每个帧的视频和音频信号就可携带表征数据。表征数据包括视频信号的扫描线(scanline)的校验和，捕获该校验和并将其编码于高清电视(HDTV)信号的垂直辅助数据(VANC)空间中。表征数据还包括每个音频通道对的校验和，捕获该校验和并将其编码于VANC空间中。对于每个帧，电视设施都将视频和音频信号与编码于VANC空间中的校验和一起进行传输。接收器从该VANC空间中提取编码的校验和，并且还使用视频和音频信号来捕获每个扫描线的校验和。将该提取的校验和与该捕获的校验和进行比较，以确定视频和音频信号之间的相对偏移量。该接收器可随后使用该相对偏移量来再同步该视频和音频信号以供输出。
本发明的一个实施方式提供了一种计算机实施的用于表征音频和视频信号之间的相对时间偏移量的方法。该方法包括：从电视设施接收包括视频和音频信号以及使用带内信令传输的表征数据的帧序列。从帧序列中提取带内表征数据，并基于该视频和音频信号捕获帧序列的其他表征数据以产生捕获的表征数据。将该捕获的表征数据与提取的带内表征数据进行比较，以确定该帧序列的音频和视频信号之间的相对时间偏移量。
本发明的一个实施方式提供了一种计算机实施的用于表征音频和视频信号之间的相对时间偏移量的方法。该方法包括：由电视设施生成用于帧序列中每个帧的同步的音频和视频信号的表征数据。将该用于帧序列中每个帧的同步的音频和视频信号的表征数据嵌入到包括帧的视频和音频信号的信号的垂直辅助数据(VANC)空间中。将该信号传输到接收器，该接收器被配置为从该信号的VANC空间中提取表征数据，从该信号中提取视频和音频信号，并基于该提取的表征数据来校准提取的视频和音频信号，以为帧序列中的每个帧产生同步的音频和视频信号。
在此所描述的技术方案的一个优点是：在表征视频和音频信号之间的相对时间偏移量期间，电视设施不需要不处于工作状态。动态地进行表征，并且通过使用带内信令将确定相对偏移量所需的测量数据与视频和音频信号一起提供给接收器。由于接收器只需要存储从接收到的信号提取的一系列校验和，并将其与捕获的校验和进行比较以计算相对偏移量，所以另外一个优点包括更简单且比较便宜的硬件。
附图说明
为了能详细的理解以上所描述的本发明的特征，通过参考实施方式，可对以上简要概括的本发明进行更加详细的说明，一些实施方式在附图中示出。然而，需要指出的是，附图只示出了本发明的典型实施方式，由于本发明可允许其他同样有效的实施方式，所以不能将其认为是对本发明的范围的限制。
图1是被配置为实现本发明的一个或多个方面的系统的框图。
图2A是根据本发明的一个实施方式的示出包括视频数据和对应的音频数据的线以及VANC空间的帧的概念图。
图2B是根据本发明的一个实施方式的示出包括视频数据和对应的音频数据的同步帧序列以及包括视频数据和对应的音频数据的非同步帧序列的概念图。
图3A是根据本发明的一个实施方式的示出图1的VANC数据嵌入器的框图。
图3B是根据本发明的一个实施方式的示出图1的网络VANC接收器的框图。
图4A是根据本发明的一个实施方式的描述图3A的VANC数据嵌入器的操作的方法步骤的流程图。
图4B是根据本发明的一个实施方式的描述图3B的VANC数据接收器的操作的方法步骤的流程图。
具体实施方式
可在任何传输高清(HD)或其他标准格式的电视信号的数字电视传输系统中实现用于表征视频和音频信号之间的相对时间偏移量以及再同步视频和音频信号的系统和方法。标准格式的电视信号的结构可用于传输附加信息，有时将该附加信息称为辅助数据。在一实施方式中，将表征数据编码为与数字传输的音频信号和视频信号一起传输的辅助数据。接收器使用表征数据来再同步视频和音频信号。
可用硬件、软件或硬件和软件的组合实现用于表征视频和音频信号之间的相对时间偏移量以及再同步视频和音频信号的系统和方法。当用硬件实现时，可使用专用硬件元件和逻辑实现该用于表征视频和音频信号之间的相对时间偏移量以及再同步视频和音频信号的系统和方法。当用软件实现该用于表征视频和音频信号之间的相对时间偏移量以及再同步视频和音频信号的系统和方法时，该软件可用于控制与程序相关的网络和系统中的各种组件。软件可存储于存储器中并可由合适的指令执行系统(微处理器)执行。该用于表征视频和音频信号之间的相对时间偏移量以及再同步视频和音频信号的系统和方法的硬件实现可包括以下技术中的任意一个或其组合，这些技术在本领域中都是公知的：分立电子组件、具有用于在数据信号上实现逻辑功能的逻辑门的分立逻辑电路、具有合适的逻辑门的应用专用集成电路、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。
用于表征视频和音频信号之间的相对时间偏移量以及再同步视频和音频信号的系统和方法的软件包括有序的用于实现逻辑功能的可执行指令列表，并且该软件可被嵌入到由指令执行系统、设备或装置使用或与该指令执行系统、设备或装置连接的任何计算机可读媒体中，例如，基于计算机的系统、包括处理器的系统、或者其他能够从该指令执行系统、设备或装置取得指令并执行指令的系统。
图1是示出系统100的例子的框图，该系统100能实现用于表征视频和音频信号之间的相对时间偏移量以及再同步视频和音频信号的系统。系统100包括电视发生设施102、基带分配结构118和接收设施132。电视发生设施102可为电视演播室，接收设施132可为后期制作设施。系统100可被置于较大的系统内的通过点或集合点。电视发生设施102和接收设施132可相互之间紧挨着放置，例如，使它们位于同一设施内，或者它们可位于不同的地理位置。因为对于本领域技术人员来说是公知的，所以在此没有描述能够进行双向通信的基带分配结构118的细节。在一个实施方式中，例如，电视发生设施102可以为电缆电视(CATV)广播设施，其经由电缆或由基带分配结构118提供的其他有线分配系统传输具有垂直辅助数据(VANC)校验和的帧数据116。进一步的，可使用嵌入到高清电视(HDTV)或其他标准的广播信号的信息，通过基带分配结构118将具有VANC校验和的帧数据116从电视发生设施102传输到接收设施132。接收设施132可将信号输出到卫星或其他类型的传输系统。
电视发生设施102包括视频和音频源110，其存储输出到VANC校验和嵌入器120的视频和音频数据。在一实施方式中，VANC校验和嵌入器120是能够将数据嵌入到HDTV或其他标准格式的视频信号的垂直辅助数据(VANC)空间的通信元件。题目为“用于位串行接口的垂直辅助数据映射”(Vertical Ancillary Data Mapping for Bit-Serial Interface)的美国电影电视工程师协会(SMPTE)标准334M-200描述了将信息嵌入到HDTV信号的垂直辅助数据空间，引用在此作为参考。
根据用于表征视频和音频信号之间的相对时间偏移量以及再同步视频和音频信号的系统的实施方式，VANC校验和嵌入器120动态的捕获从视频和音频源110接收到的视频数据和对应的音频数据的扫描线的校验和。通常由电视发生设施102内的另一个单元(未示出)计算校验和，并且接收设施132使用该校验和以确定是否没有错误地接收了数据。将捕获的校验和编码于包括视频和音频数据的帧的VANC中以产生构造的帧。通过VANC校验和嵌入器120将构造的帧112输出到可选的处理流水线125，该可选的处理流水线125可被配置为对视频和音频信号执行另外的处理。可选的处理流水线125将具有VANC校验和的帧数据116输出到基带分配结构118。基带分配结构118将具有VANC校验和的帧数据116传输到接收设施132。
接收设施132接收具有VANC校验和的帧数据126，该帧数据包括编码于VANC中的校验和以及视频和音频数据。帧序列的视频和音频数据存储于帧存储器130中。可将音频数据和视频数据分开存储于帧存储器130中。VANC校验和接收器150接收具有VANC校验和的帧数据126，并提取编码于VANC中的视频和音频校验和。VANC校验和接收器150存储提取的视频和音频校验和，并使用作为具有VANC校验和的帧数据126的一部分而接收的视频和音频数据来捕获每个帧的同一扫描线的校验和。将捕获的校验和与提取的校验和进行比较，以测量视频数据和由音频数据表示的一个或多个音频通道对之间的任何相对偏移量。每个音频通道对相对于视频数据来说可具有不同的时间偏移量，因此每个音频通道对可分别同步到视频数据。将音频数据的不同的相对偏移量作为偏移量测量155输出到音频/视频校准单元160。音频/视频校准单元160基于偏移量测量155同步视频数据和音频数据，以产生同步的视频和音频数据。
图2A是根据本发明的一个实施方式的示出包括视频数据和对应的音频数据的扫描线210以及VANC空间220的帧的概念图。视频数据存储于帧的可视帧数据200部分。当使用一种类型的HDTV格式时，帧包括750条扫描线，其中，可视帧数据200占用720条扫描线，VANC空间220占用30条扫描线。水平辅助数据(HANC)空间215也包括在帧中，并且该HANC空间215为帧的每个扫描线存储音频数据。音频数据的多个通道可存储于HANC空间215，其中每个通道由一对音频信号表示。
图2B是根据本发明的一个实施方式的示出视频数据和对应的音频数据的同步帧230序列以及视频数据和对应的音频数据的非同步帧240序列的概念图。以相同的模式显示每个帧231、232、233和234的视频数据和对应的音频数据，其中音频数据位于HANC空间中，视频数据位于可视帧空间中。由电视发生设施102延迟音频数据，并且该音频数据表现为偏移视频和对应音频数据的非同步帧240的帧241、242、243和244中的两个帧。更具体的，来自帧231的音频数据与来自帧233的视频数据一起在帧243中到达接收设施132。类似的，来自帧232的音频数据与来自帧234的视频数据一起在帧244中到达接收设施132。为了正确地同步音频和视频数据，接收设施132可以将视频数据延迟2帧以与对应的音频数据一起出现在帧中，或者接收设施132也可以将音频数据提前2帧以与包括对应的视频数据的帧一起输出。在另一个例子中，可相对于视频数据将音频数据延迟或提前帧内的一个或多个扫描线。为了正确地同步音频和视频数据，接收设施132既可以将视频数据延迟相同数量的扫描线，也可以将音频数据延迟相同数量的扫描线，以校准对应的视频和音频数据。
图3A是根据本发明的一个实施方式的示出图1的VANC校验和嵌入器120的框图。VANC校验和嵌入器120包括扫描线校验和捕获单元310和帧构造单元305。扫描线校验和捕获单元310可被配置为接收音频/视频帧数据303，并捕获帧序列中的数个帧的特定的扫描线210中的视频数据的校验和。扫描线校验和捕获单元310还可被配置为捕获对应于帧序列中的数个帧的同一扫描线210的每对音频信号的校验和。在一些实施方式中，对于帧的每个扫描线都捕获校验和。随后由帧构造单元305对于每个帧将捕获的校验和编码于VANC空间220中以为每个帧产生构造的帧，该构造的帧包括视频和音频信号以及视频和音频表征数据，例如，校验和。
因为在视频和音频数据同步的点捕获校验和，所以校验和可起到接收设施132用来再同步视频和音频数据的表征数据的作用。然而，如果在将校验和编码于VANC空间后，以将会改变校验和的值的方式修改视频和/或音频数据，那么该校验和不能用作表征数据。改变音频的校验和的修改的例子包括增加或减少音频通道的音量水平。
在一个实施方式中，帧构造单元305使用根据SMPTE 272M-2004和291M-2006准则的数据ID(DID)0x52和副数据ID(SID)0x01将捕获的校验和嵌入到VANC空间220中，该SMPTE 272M-2004和291M-2006准则用于将用户定义的数据嵌入到HDTV信号中。帧的可视帧数据200的任何扫描线均可用于捕获视频和音频数据的校验和。为了补偿由电视发生设施102在视频和音频信号之间引入的任何延迟并在接收设施正确地同步视频和音频数据，视频和音频信号不应该是不变的，例如，静态测试模式。如果每个帧的校验和相同，则当提取出VANC空间中的校验和并将其与从接收的视频和音频信号捕获的校验和进行比较时，不能确定由电视发生设施102引入的任何相对偏移量。因为观众不会注意到恒定信号之间没有同步，因此没有必要同步恒定信号。
图3B是根据本发明的一个实施方式的示出图1的VANC校验和接收器150的框图。VANC校验和接收器150包括扫描线校验和捕获单元340、校验和比较单元350和超时单元345。扫描线校验和捕获单元340接收数据帧序列的具有VANC校验和的帧数据126，并捕获帧序列中数个帧的特定扫描线210中的视频数据的校验和。扫描线校验和捕获单元340还被配置为捕获对应于帧序列中数个帧的同一扫描线210的每个音频信号对的校验和。在一些实施方式中，对于帧的每个扫描线都捕获校验和。重要的是，为了在扫描线级检测没有同步，扫描线校验和捕获单元340应该对于帧的每个扫描线都捕获校验和。校验和比较单元350接收具有VANC校验和的帧数据126并提取编码于VANC空间中的校验和。随后通过校验和比较单元350将捕获的每个帧的每个扫描线的校验和与提取的每个帧的音频和视频信号的校验和进行比较。
由于一个或多个通道的音频信号可能会相对于视频信号在时间上延迟或者提前，所以校验和比较单元350将捕获的校验和与针对在帧序列中较早或较晚出现的扫描线和帧提取的校验和进行比较。校验和比较单元350确定与校验和相关的每一个音频通道对的偏移量测量，并将每个帧的偏移量测量作为偏移量测量155输出。该偏移量测量是帧序列的音频和视频信号之间的相对时间偏移量。超时单元345追踪没有发现匹配的时钟周期或帧的数量，并且当帧或者时钟周期的数量超过预定值时，超时单元345指示不能确定偏移量测量。在一些实施方式中，该预定值是为了比较操作而缓存了提取的校验和的帧的数量。
图4A是根据本发明的一个实施方式的描述图3A的VANC校验和嵌入器120的操作的方法步骤的流程图。VANC校验和嵌入器120生成表征数据，该表征数据由电视发生设施102传输，并且由接收设施132用来确定音频和视频信号之间的相对时间偏移量。在步骤400，VANC校验和嵌入器120接收视频和音频数据的帧。在步骤405，VANC校验和嵌入器120针对帧的扫描线选择视频和音频数据。在步骤410，VANC校验和嵌入器120通过捕获对应于扫描线的视频数据的校验和，生成帧的视频信号的表征数据。在步骤415，VANC校验和嵌入器120通过捕获对应于扫描线的音频数据的一个或多个通道对的校验和，生成帧的音频信号的表征数据。
在步骤420，帧构造单元305将帧的表征数据嵌入到信号的VANC空间中，该信号包括帧的视频和音频信号。电视发生设施102随后将构造的帧传输到接收设施132，该接收设施132被配置为使用每个帧的表征数据来确定帧序列的音频和视频信号之间的相对时间偏移量。构造的帧还包括帧中的每个扫描线的校验和，该校验和被编码于信号的VANC空间之外。这些每个扫描线的校验和用于检测当接收设施接收到帧数据时该帧数据是否被破坏。
图4B是根据本发明的一个实施方式的描述图3B的VANC校验和接收器150的操作的方法步骤的流程图。VANC校验和接收器150被配置为表征帧序列中音频和视频信号之间的相对时间偏移量。在步骤440，VANC校验和接收器150从电视发生设施102接收具有VANC校验和以及视频和音频数据的帧。在步骤445，从帧中提取传输的表征数据，例如，包括在VANC空间中的校验和。
在步骤455，扫描线校验和捕获单元340捕获帧中的视频数据的每个扫描线的校验和以产生VANC校验和，其中该扫描线包括电视发生设施102使用的相同的扫描线。在步骤460，将捕获的视频数据的校验和与提取的对应于帧的视频数据的校验和进行比较。在步骤465，校验和比较单元350确定是否捕获的校验和之一与提取的视频数据的校验和相匹配。如果在步骤465发现匹配，那么在步骤470计算视频数据的偏移量测量，并且方法进行到步骤475。注意，为了检查在接收到VANC中的对应的校验和之前是否接收到帧的视频数据，可以缓存捕获到的多个帧的校验和，并且通过校验和比较单元350将这些缓存的多个帧的校验和也与新提取的校验和进行比较。
如果在步骤465没有发现匹配，那么在步骤472，使用默认值作为视频数据的偏移量测量。例如，可将视频数据的偏移量测量设置为默认值0。当没有发现匹配并且超时计数值已到时，超时单元345可以指示不能确定视频信号的偏移量测量。
在步骤475，扫描线校验和捕获单元340为帧中的每个音频通道对捕获每个扫描线的校验和，其中该扫描线包括电视发生设施102用以产生VANC校验和的相同的扫描线。在步骤480，将捕获的音频数据的校验和与提取的对应于帧序列的音频数据的校验和进行比较。在步骤485，校验和比较单元350确定是否捕获的音频通道对的校验和之一与对应的提取的音频通道对的校验和相匹配。如果在步骤485发现一个或多个音频通道对的校验和的匹配，那么在步骤490，计算匹配的音频数据的偏移量测量，并且方法进行到步骤495。注意，为了检查在接收到VANC中的对应的校验和之前是否接收到帧的音频数据，可以缓存捕获到的多个帧的校验和，并且通过校验和比较单元350将这些缓存的多个帧的校验和也与新提取的校验和进行比较。
如果在步骤485，校验和比较单元350确定捕获的音频通道对的校验和都不与对应的提取的音频通道对的校验和匹配，那么在步骤492，将默认值用于偏移量测量。例如，可将音频数据的一个或多个音频对的偏移量测量设置为默认值0。当没有发现匹配并且超时计数值已到时，超时单元345可以指示不能确定视频信号的偏移量测量。
在步骤495，通过将缓存的来自序列中先前接收到的帧或者扫描线的音频和/或视频数据与来自序列中后来接收到的帧或者扫描线的视频或音频数据进行合并，来校准帧的音频和视频数据，以产生同步的视频和音频数据。基于由VANC校验和接收器150计算的偏移量测量来校准音频和视频数据。
在此所描述的系统和方法的一个优点是：动态地生成表征信息，并由电视发生设施102使用带内信令传输该表征信息，在表征视频和音频信号之间的相对时间偏移量时，不需要使电视设施不处于工作状态。由于接收设施被配置为提取特征信息数据并仅使用传输的信号确定视频和音频信号之间的相对时间偏移量，所以电视发生设施和接收设施之间不需要附加的通信通道。由于接收器只需要存储从接收到的信号提取的一系列校验和以及使用接收到的信号捕获的一系列校验和，并进行比较以计算相对偏移量，所以另外一个优点包括更简单且比较便宜的硬件。电视发生设施生成捕获的校验和并将该捕获的校验和嵌入到每个帧的VANC空间，以提供表征数据。
可将本发明的各种实施方式实现为利用计算机系统使用的程序产品。程序产品的程序定义实施方式(包括在此描述的方法)的功能并能包括在各种计算机可读存储介质中。示例性的计算机可读存储介质包括但不限于：(i)不可写存储介质(例如，诸如由CD-ROM驱动器读取的CD-ROM硬盘的计算机内的只读存储设备、闪存、ROM芯片或者任何类型的固态非易失性半导体存储器)，信息永久的存储于该不可写存储介质中；以及(ii)可写存储介质(例如，软盘驱动器或硬盘驱动器内的软盘、或者任何类型的固态半导体随机存取存储器)，可变的信息存储于该可写存储介质中。
以上已根据特定的实施方式描述了本发明，并阐明了许多特定的细节，以提供对本发明的全面的理解。然而，本领域技术人员将会理解，在不脱离本发明的较宽的精神和范围的情况下，可对本发明做出各种修改和改变。对应的，前面所描述的说明书和附图应该理解为示例性的，而非限制性的。

Claims (15)

1.一种用于表征音频和视频信号之间的相对时间偏移量的系统，该系统包括：
帧存储器，其被配置为：
从电视发生设施接收包括视频和音频信号以及带内表征数据的帧序列，该带内表征数据与该帧序列中的每个帧的视频数据和音频数据的每个扫描线相关；并且
存储所述帧序列中的至少一部分帧；
校验和接收器，其连接到该帧存储器并被配置为：
从该帧序列中提取所述带内表征数据；
基于该视频和音频信号对于该帧序列中的每个帧的视频数据和音频数据的每个扫描线捕获表征数据；以及
对于每个帧的视频数据和音频数据的每个扫描线将该捕获的表征数据与该提取的带内表征数据进行比较，以确定该帧序列的音频和视频信号之间的相对时间偏移量。
2.如权利要求1所述的系统，其中，该校验和接收器被进一步配置为通过以下方式捕获该表征数据：
捕获与该帧序列中的每个帧的每个扫描线相关的视频信号的校验和；以及
捕获与该帧序列中的每个帧的每个扫描线相关的音频信号的校验和。
3.如权利要求2所述的系统，其中，该音频信号包括多个音频通道，并且每个音频通道由一个音频通道对来表示，并且该校验和接收器被进一步配置为：通过捕获与所述多个音频通道相关的每个音频通道对的单独的校验和来捕获与扫描线相关的音频信号的校验和。
4.如权利要求1所述的系统，其中，提取的所述帧序列中的每个帧的带内表征数据包括：
与第一扫描线相关的视频信号的校验和；以及
与该第一扫描线相关的音频信号的校验和。
5.如权利要求4所述的系统，其中，该音频信号包括多个音频通道，并且每个音频通道由一个音频通道对来表示，并且该校验和接收器被进一步配置为：通过捕获与所述多个音频通道相关的每个音频通道对的单独的校验和来捕获与每个扫描线相关的音频信号的校验和。
6.如权利要求4所述的系统，其中，提取的所述帧序列中的每个帧的带内表征数据包括：
与另外的扫描线相关的视频信号的另外的校验和；以及
与该另外的扫描线相关的音频信号的另外的校验和。
7.如权利要求1所述的系统，进一步包括音频/视频校准单元，其连接到所述校验和接收器并被配置为：基于该相对时间偏移量校准该视频和音频信号以产生同步的帧序列。
8.如权利要求1所述的系统，其中，该校验和接收器被进一步配置为：通过将提取的所述帧序列中特定帧的带内表征数据与捕获的与在该特定帧之前和之后的一个或多个帧相关的表征数据相比较，来比较捕获的表征数据与提取的带内表征数据。
9.一种计算机实施的用于表征音频和视频信号之间的相对时间偏移量的方法，该方法包括：
生成用于与帧序列中的每个帧相关的同步的音频和视频信号的表征数据；
将该用于同步的音频和视频信号的表征数据嵌入到信号的垂直辅助数据(VANC)空间中，该信号包括所述帧序列中每个帧的视频和音频信号；以及
将该信号传输到接收器，该接收器被配置为重现与所述帧序列中的每个帧相关的同步的音频和视频信号。
10.一种用于表征音频和视频信号之间的相对偏移量的系统，包括：
视频和音频源，其被配置为：
输出与帧序列中的帧相关的同步的视频和音频信号；
校验和嵌入器，其连接到该视频和音频源并被配置为：
生成用于与所述帧序列中的每个帧相关的同步的音频和视频信号的表征数据；
将该用于同步的音频和视频信号的表征数据嵌入到信号的垂直辅助数据(VANC)空间中，该信号包括所述帧序列中的帧的视频和音频信号；以及
将该信号传输到接收器，该接收器被配置为重现与所述帧序列中的每个帧相关的同步的音频和视频信号。
11.如权利要求10所述的系统，其中，该校验和嵌入器被进一步的配置为通过以下方式生成该表征数据：
捕获与该帧序列中的每个帧的第一扫描线相关的视频信号的校验和；以及
捕获与该帧序列中的每个帧的所述第一扫描线相关的音频信号的校验和。
12.如权利要求11所述的系统，其中，该音频信号包括多个音频通道，其中每个音频通道由一个音频通道对表示，并且捕获与所述第一扫描线相关的音频信号的校验和的步骤包括：捕获与所述多个音频通道相关的每个音频通道对的单独的校验和。
13.如权利要求10所述的系统，其中，所述帧序列中每个帧的表征数据包括：
与第一扫描线相关的视频信号的校验和；以及
与该第一扫描线相关的音频信号的校验和。
14.如权利要求13所述的系统，其中，该音频信号包括多个音频通道，其中每个音频通道由一个音频通道对表示，并且捕获与所述第一扫描线相关的音频信号的校验和的步骤包括：捕获与所述多个音频通道相关的每个音频通道对的单独的校验和。
15.如权利要求13所述的系统，其中，所述帧序列中的每个帧的表征数据包括：
与另外的扫描线相关的视频信号的另外的校验和；以及
与该另外的附加扫描线相关的音频信号的另外的校验和。
CN201110195287.4A 2010-06-02 2011-06-02 用于串行数字视频信号的带内音频/视频定时测量的系统和方法 Active CN102271278B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US12/792,597 US8300147B2 (en) 2010-06-02 2010-06-02 System and method for in-band A/V timing measurement of serial digital video signals
US12/792,597 2010-06-02
US12/792,617 2010-06-02
US12/792,617 US8384827B2 (en) 2010-06-02 2010-06-02 System and method for in-band A/V timing measurement of serial digital video signals

Publications (2)

Publication Number Publication Date
CN102271278A CN102271278A (zh) 2011-12-07
CN102271278B true CN102271278B (zh) 2014-03-26

Family

ID=44645317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110195287.4A Active CN102271278B (zh) 2010-06-02 2011-06-02 用于串行数字视频信号的带内音频/视频定时测量的系统和方法

Country Status (2)

Country Link
EP (1) EP2393288B1 (zh)
CN (1) CN102271278B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108155971B (zh) * 2017-12-26 2020-06-16 重庆金山医疗器械有限公司 数据传输处理方法及食管pH值检测系统数据传输装置
CN114422825A (zh) * 2022-01-26 2022-04-29 科大讯飞股份有限公司 音视频同步方法、装置、介质、设备及程序产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208666A (en) * 1991-10-25 1993-05-04 Tektronix, Inc. Error detection for digital television equipment
JP3329076B2 (ja) * 1994-06-27 2002-09-30 ソニー株式会社 ディジタル信号伝送方法、ディジタル信号伝送装置、ディジタル信号受信方法及びディジタル信号受信装置
JP4245030B2 (ja) * 2006-09-27 2009-03-25 ソニー株式会社 出力処理装置及びその制御方法
CN102177726B (zh) * 2008-08-21 2014-12-03 杜比实验室特许公司 用于音频和视频签名生成和检测的特征优化和可靠性估计

Also Published As

Publication number Publication date
EP2393288A2 (en) 2011-12-07
EP2393288B1 (en) 2017-02-15
CN102271278A (zh) 2011-12-07
EP2393288A3 (en) 2012-11-14

Similar Documents

Publication Publication Date Title
US8531603B2 (en) System and method for in-band A/V timing measurement of serial digital video signals
US20230232069A1 (en) Methods and apparatus for an embedded appliance
US8363161B2 (en) Systems, methods, and apparatus for synchronization of audio and video signals
CA2541560C (en) Lip synchronization system and method
KR101690260B1 (ko) 무선 네트워크에서 오디오 통신을 위한 무선 통신방법 및 시스템
CN100495524C (zh) 用于中继流数据的信息处理装置
KR101523390B1 (ko) 재생 장치, 표시 장치, 재생 방법 및 표시 방법
CN107995503B (zh) 音视频播放方法和装置
US8300147B2 (en) System and method for in-band A/V timing measurement of serial digital video signals
CN103314599B (zh) 用于通过分组化通信网络传达的流送内容的时钟恢复的机制
CN102271278B (zh) 用于串行数字视频信号的带内音频/视频定时测量的系统和方法
US8384827B2 (en) System and method for in-band A/V timing measurement of serial digital video signals
KR20070008069A (ko) 음성/영상신호의 동기화 장치 및 방법
CN104954725B (zh) 一种基于sdi的传输双向辅助数据方法
US7321403B2 (en) Video signal transmitting/receiving system
KR20190071303A (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
CN109889876A (zh) 一种基于直通音频的ts传输流音视频同步装置和方法
JP2000244947A (ja) 動画伝送効率の測定装置
US20230231988A1 (en) Embedded timestamps for determining offset between test streams
RU2570831C2 (ru) Способ и абонентское устройство для воспроизведения сигналов изображений вещательного телевидения
Mosharafa et al. A novel algorithm for synchronizing audio and video streams in MPEG-2 system layer

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant