CN100508621C - 一种数字音视频同步的方法、装置和系统 - Google Patents
一种数字音视频同步的方法、装置和系统 Download PDFInfo
- Publication number
- CN100508621C CN100508621C CNB2007100651093A CN200710065109A CN100508621C CN 100508621 C CN100508621 C CN 100508621C CN B2007100651093 A CNB2007100651093 A CN B2007100651093A CN 200710065109 A CN200710065109 A CN 200710065109A CN 100508621 C CN100508621 C CN 100508621C
- Authority
- CN
- China
- Prior art keywords
- video
- signal
- audio
- unit
- cyclical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 230000005236 sound signal Effects 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000001360 synchronised effect Effects 0.000 claims description 13
- 230000001915 proofreading effect Effects 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种数字音视频同步的方法和系统，所述系统由音视频采集装置和主机控制器组成，所述方法则包括如下步骤：主机控制器产生周期性信号，并将所产生的周期性信号发送至音视频采集装置；音视频采集装置根据所收到的周期性信号对自身产生的音频时钟信号进行校准，根据校准后的音频时钟信号对音频信号进行采样得到音频数据；同时，音视频采集装置根据所收到的周期性信号对自身产生的视频时钟信号进行校准，根据校准后的视频时钟信号对视频信号进行采样得到视频数据；音视频采集装置将所述音频数据和视频数据发送至主机控制器，主机控制器根据所述周期性信号对所收到的音频数据和视频数据进行解码。本发明还公开了一种音视频采集装置。
Description
技术领域
本发明涉及数字视频音频信号处理技术领域，特别涉及一种数字音视频同步的方法、装置和系统。
背景技术
数字视频信号和数字音频信号的采集、传输、编解码以及其它处理过程中，保持这两者之间的时间同步是一个很重要的问题。
在如图1所示的现有通用串行总线(Universal Serial Bus，USB)传输系统中，音视频采集装置110通过USB接口连接USB主机控制器120。音视频采集装置110包括音频时钟产生单元111、音频采样单元112、视频时钟产生单元113和视频采样单元114。音频时钟产生单元111将所产生的音频时钟信号发送至音频采样单元112，音频采样单元112则根据所述音频时钟进行音频采样，得到音频数据并通过USB接口发送至USB主机控制器120；与此同时，视频时钟产生单元113将所产生的视频时钟信号发送至视频采样单元114，视频采样单元114则根据所述视频时钟进行视频采样，得到视频数据并通过USB接口发送至USB主机控制器120。
从图1中可以看出，视频信号和音频信号的采集和传输过程是彼此独立的，视频时钟信号与音频时钟信号之间可能并不存在内在关系，在这种情况下，音频时钟和视频时钟之间总是存在随机误差，该随机误差可能会随着采集和传输的过程不断累积，使得音频数据和视频数据两者之间的时间同步性越来越差。
即使采用某种技术手段使视频时钟和音频时钟保持同步，例如选用相同的时钟源生成视频时钟信号和音频时钟信号，但是USB主机控制器120接收到的视频信号和音频信号之间仍然难以保持同步性。其原因在于，USB主机控制器120接收到视频信号和音频信号之后，根据自身的主机时钟对所述视频信号和音频信号进行解码，由于所述主机时钟信号与视频时钟信号或音频时钟信号之间不存在时间同步性，因此主机时钟信号与视频时钟信号或音频时钟信号之间存在随机误差。而视频信号的采集频率与音频信号的采集频率相差很大，这就使得所述随机误差对解码后的视频信号或音频信号的影响程度不一致，并且这种不一致的情况会随时间的推移不断累积，使视频信号和音频信号之间的时间同步性变差。
发明内容
有鉴于此，本发明实施例提出一种数字音视频同步的方法，能够确保证音视频信号采集和传输过程中的时间同步性。包括如下步骤：
主机控制器产生周期性信号，并将所产生的周期性信号发送至音视频采集装置；
音视频采集装置根据所收到的周期性信号对自身产生的音频时钟信号进行校准，根据校准后的音频时钟信号对音频信号进行采样得到音频数据；同时，音视频采集装置根据所收到的周期性信号对自身产生的视频时钟信号进行校准，根据校准后的视频时钟信号对视频信号进行采样得到视频数据；
音视频采集装置将所述音频数据和视频数据发送至主机控制器；主机控制器根据自身产生的所述周期性信号对所收到的音频数据和视频数据进行解码。
本发明实施例还提出数字音视频同步的系统，包括音视频采集装置和主机控制器，所述主机控制器用于生成周期性信号，并将所生成的周期性信号发送至音视频采集装置；并接收来自音视频采集装置的音频信号和视频信号，根据自身产生的所述周期性信号对所收到的音频数据和视频数据进行解码；
所述音视频采集装置用于根据所收到的周期性信号对自身产生的音频时钟信号和视频时钟信号进行校正，并根据校正后的音频时钟信号采集音频数据，根据校正后的视频时钟信号采集视频数据，将所采集的音频数据和视频数据发送至主机控制器。
本发明实施例进一步提出一种音视频采集装置，所述音视频采集装置与主机控制器连接，包括音频时钟产生单元、音频采样单元、视频时钟产生单元和视频采样单元，其中，
所述音频时钟产生单元用于生成音频时钟信号，接收来自主机控制器的周期性信号，根据所接收的周期性信号对所生成的音频时钟信号进行校正，将校正后的音频时钟信号发送至音频采样单元；
所述音频采样单元用于根据所收到的音频时钟信号采样得到音频数据；
所述视频时钟产生单元用于生成视频时钟信号，接收来自主机控制器的周期性信号，根据所接收的周期性信号对所生成的视频时钟信号进行校正，将校正后的视频时钟信号发送至视频采样单元；
所述视频采样单元用于根据所收到的视频时钟信号采样得到视频数据。
所述音视频采集装置还可以进一步包括错误探测单元和修复单元，
所述错误探测单元用于判断周期性信号是否出现信号缺失，若是，则通知修复单元；否则将所述周期性信号透传至音频时钟产生单元和视频时钟产生单元；
所述修复单元根据来自错误探测单元的通知，补充所述周期性信号中缺失的信号，并将所述周期性信号发送至音频时钟产生单元和视频时钟产生单元。
从以上技术方案可以看出，由主机控制器向音视频采集装置发送一个周期性信号，音视频采集装置根据该周期性信号校准自身产生的音频时钟信号和视频时钟信号，使其与主机控制器的主机时钟保持时间同步性，再利用校准后的时钟信号采集音频数据以及视频数据，这样就能较好的保持音频数据和视频数据之间的时间同步性。
附图说明
图1为现有技术的音视频采集传输系统示意图；
图2为本发明实施例的音视频采集传输系统示意图；
图3为本发明实施例进行音视频采集传输的流程图；
图4为改进后的本发明实施例的系统示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细阐述。
本发明实施例所提出的技术方案就是针对图1所示的音视频信号采集与传输系统进行了改进。改进后的系统如图2所示，USB主机控制器120根据自身的主机时钟生成一个周期性的帧起始(Start of Frame，SOF)信号，并将所生成的SOF信号同时发送至音频时钟产生单元111和视频时钟产生单元113。音频时钟产生单元111和视频时钟产生单元113需要分别新增一个时钟校准单元，用于在每次收到SOF信号后，根据所收到的SOF信号对音频时钟产生单元111产生的音频时钟信号或视频时钟产生单元113产生的视频时钟信号进行校准。这样，不仅视频时钟和音频时钟彼此之间建立起同步关系，而且用于采样的视频时钟和音频时钟根据SOF信号进行校准，相当于与主机时钟保持同步。根据背景技术的描述可知，视频时钟信号和音频时钟信号与主机时钟保持同步，就消除了视频信号和音频信号传输和解码过程中同步性变差的根源，因此本发明实施例的方案可以有效控制视频信号和音频信号之间的时间同步性。
下面对本发明实施例的方法实现流程进行介绍。图3为本发明实施例的流程图，包括如下步骤：
步骤301：USB主机控制器根据自身的主机时钟，产生周期性的SOF信号，并将所产生的SOF信号发送至音视频采集装置的音频时钟产生单元和视频时钟产生单元；
步骤302：音频时钟产生单元根据所收到的SOF信号对自身产生的音频时钟进行校准，并将校准后的音频时钟发送至音频采样单元；同时，视频时钟产生单元根据所收到的SOF信号对自身产生的视频时钟进行校准，并将校准后的视频时钟发送至视频采样单元；
步骤303：音频采样单元根据所收到的音频时钟进行采样，将采样得到的音频数据通过USB接口发送至USB主机控制器；同时，视频采样单元根据所收到的视频时钟进行采样，将采样得到的视频数据通过USB接口发送至USB主机控制器。
在图2所示的系统中，SOF的传输通道未必绝对可靠，如果出现SOF信号丢失的现象，对于音视频时钟的校准是不利的。因此，可以对图2所示系统进行如图4那样的改进，在SOF信号的传输通道中增加错误探测单元115和修复单元116。其中，错误探测单元115用于探测来自USB主机控制器120的SOF信号是否出现了缺失，若是则通知修复单元116立即补上一个SOF信号，并将所补的SOF信号发送至音频时钟产生单元111和视频时钟产生单元113；如果错误探测单元115没有发现SOF信号缺失，则这两个单元仅是将来自USB主机控制器120的SOF信号透传至音频时钟产生单元111和视频时钟产生单元113，而不进行其它任何操作。
相应的，图4所示的系统的运作流程需要在图3所示流程的步骤301替换为如下步骤：
步骤301a：USB主机控制器根据自身的主机时钟，产生周期性的SOF信号，并将所产生的SOF信号发送错误探测单元；
步骤301b：错误探测单元判断所收到的SOF信号是否出现信号缺失，若是，则通知修复单元立即补上一个SOF信号，并将所补的SOF信号发送至音频时钟产生单元和视频时钟产生单元；否则，将所收到的SOF信号透传至音频时钟产生单元和视频时钟产生单元。
以上所述实施例均以音视频采集装置和USB主机控制器组成的系统为例，并利用了USB主机控制器原有的SOF信号。而实际本发明方案可以将其中的USB主机控制器替换为任何类型的主机控制器，只要该主机控制器能够根据自身的主机时钟产生准确的周期性信号来实现上述实施例中SOF所起到的作用就能够实现本发明目的。所述周期性信号可以是所述主机控制器自身固有的信号，也可以是在该主机控制器中新增一个信号发生器来产生这样一个周期信号。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1、一种数字音视频同步的方法，其特征在于，包括如下步骤：
主机控制器产生周期性信号，并将所产生的周期性信号发送至音视频采集装置；
音视频采集装置根据所收到的周期性信号对自身产生的音频时钟信号进行校准，根据校准后的音频时钟信号对音频信号进行采样得到音频数据；同时，音视频采集装置根据所收到的周期性信号对自身产生的视频时钟信号进行校准，根据校准后的视频时钟信号对视频信号进行采样得到视频数据；
音视频采集装置将所述音频数据和视频数据发送至主机控制器；主机控制器根据自身产生的所述周期性信号对所收到的音频数据和视频数据进行解码。
2、根据权利要求1所述的方法，其特征在于，所述将所产生的周期性信号发送至音视频采集装置之前，进一步包括：
判断主机控制器所产生的周期性信号是否出现信号缺失，若是则立即补上该信号，并执行所述后续步骤。
3、根据权利要求1或2所述的方法，其特征在于，所述周期性信号为帧起始信号。
4、一种数字音视频同步的系统，包括音视频采集装置和主机控制器，其特征在于，所述主机控制器用于生成周期性信号，并将所生成的周期性信号发送至音视频采集装置；并接收来自音视频采集装置的音频信号和视频信号，根据自身产生的所述周期性信号对所收到的音频数据和视频数据进行解码；
所述音视频采集装置用于根据所收到的周期性信号对自身产生的音频时钟信号和视频时钟信号进行校正，并根据校正后的音频时钟信号采集音频数据，根据校正后的视频时钟信号采集视频数据，将所采集的音频数据和视频数据发送至主机控制器。
5、根据权利要求4所述的系统，其特征在于，所述主机控制器包括信号发生器，用于生成周期性信号。
6、根据权利要求4所述的系统，其特征在于，所述音视频采集装置包括：音频时钟产生单元、音频采样单元、视频时钟产生单元和视频采样单元，其中，
所述音频时钟产生单元用于生成音频时钟信号，接收来自主机控制器的周期性信号，根据所接收的周期性信号对所生成的音频时钟信号进行校正，将校正后的音频时钟信号发送至音频采样单元；
所述音频采样单元用于根据所收到的音频时钟信号采样得到音频数据，并将所得音频数据发送至主机控制器；
所述视频时钟产生单元用于生成视频时钟信号，接收来自主机控制器的周期性信号，根据所接收的周期性信号对所生成的视频时钟信号进行校正，将校正后的视频时钟信号发送至视频采样单元；
所述视频采样单元用于根据所收到的视频时钟信号采样得到视频数据，并将所得视频数据发送至主机控制器。
7、根据权利要求6所述的系统，其特征在于，所述音视频采集装置进一步包括错误探测单元和修复单元，
所述错误探测单元用于判断来自主机控制器的周期性信号是否出现信号缺失，若是，则通知修复单元；否则将来自主机控制器的周期性信号透传至音频时钟产生单元和视频时钟产生单元；
所述修复单元根据来自错误探测单元的通知，补充所述周期性信号中缺失的信号，并将所述周期性信号发送至音频时钟产生单元和视频时钟产生单元。
8、根据权利要求4至7任一项所述的系统，其特征在于，所述主机控制器为通用串行总线主机控制器。
9、一种用于实现如权利要求1所述方法的音视频采集装置，所述音视频采集装置与主机控制器连接，其特征在于，所述音视频采集装置包括：音音频时钟产生单元、音频采样单元、视频时钟产生单元和视频采样单元，其中，
所述音频时钟产生单元用于生成音频时钟信号，接收来自主机控制器的周期性信号，根据所接收的周期性信号对所生成的音频时钟信号进行校正，将校正后的音频时钟信号发送至音频采样单元；
所述音频采样单元用于根据所收到的音频时钟信号采样得到音频数据；
所述视频时钟产生单元用于生成视频时钟信号，接收来自主机控制器的周期性信号，根据所接收的周期性信号对所生成的视频时钟信号进行校正，将校正后的视频时钟信号发送至视频采样单元；
所述视频采样单元用于根据所收到的视频时钟信号采样得到视频数据。
10、根据权利要求9所述的音视频采集装置，其特征在于，所述音视频采集装置进一步包括错误探测单元和修复单元，
所述错误探测单元用于判断周期性信号是否出现信号缺失，若是，则通知修复单元；否则将所述周期性信号透传至音频时钟产生单元和视频时钟产生单元；
所述修复单元根据来自错误探测单元的通知，补充所述周期性信号中缺失的信号，并将所述周期性信号发送至音频时钟产生单元和视频时钟产生单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2007100651093A CN100508621C (zh) | 2007-04-03 | 2007-04-03 | 一种数字音视频同步的方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2007100651093A CN100508621C (zh) | 2007-04-03 | 2007-04-03 | 一种数字音视频同步的方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101035296A CN101035296A (zh) | 2007-09-12 |
| CN100508621C true CN100508621C (zh) | 2009-07-01 |
Family
ID=38731551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2007100651093A Expired - Fee Related CN100508621C (zh) | 2007-04-03 | 2007-04-03 | 一种数字音视频同步的方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100508621C (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102932669B (zh) * | 2012-11-29 | 2016-06-29 | 济南中维世纪科技有限公司 | 一种基于usb传输的音视频数据处理方法及装置 |
| CN102932668B (zh) * | 2012-11-29 | 2016-07-06 | 济南中维世纪科技有限公司 | 一种基于usb传输的音视频数据处理装置 |
| CN103974020B (zh) * | 2013-02-06 | 2018-09-25 | 深圳市腾讯计算机系统有限公司 | 音视频数据采集方法及装置 |
| CN112235597B (zh) * | 2020-09-17 | 2022-07-29 | 深圳市捷视飞通科技股份有限公司 | 流媒体直播音视频同步保护方法、装置、计算机设备 |
| CN113076278A (zh) * | 2021-04-02 | 2021-07-06 | 深圳市航顺芯片技术研发有限公司 | Usb设备时钟校准方法、装置、系统及计算机可读存储介质 |
| CN114363303B (zh) * | 2021-12-31 | 2023-06-02 | 上海网达软件股份有限公司 | 一种实现监控视频快速起播的流媒体转码方法 |
-
2007
- 2007-04-03 CN CNB2007100651093A patent/CN100508621C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101035296A (zh) | 2007-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100508621C (zh) | 一种数字音视频同步的方法、装置和系统 | |
| CN100588261C (zh) | 将视频数据及音频数据同步的方法及系统 | |
| CN101494052B (zh) | 确定并使用采样频率对水印信息进行解码的方法和设备 | |
| CN103493424B (zh) | 对从数据流中重新产生的时钟信号的调整 | |
| CN101419827B (zh) | 在音频视频交叉文件中进行音频与视频数据同步的方法 | |
| KR102201617B1 (ko) | Av기기 및 그 제어방법 | |
| CN103533280A (zh) | 接口电路 | |
| CN105491373A (zh) | 一种lvds视频信号单路转多路的装置及方法 | |
| CN109348391A (zh) | 麦克风的检测方法、系统及麦克风 | |
| CN103648011A (zh) | 一种基于hls协议的音视频同步装置和方法 | |
| CN112559267A (zh) | 集成电路间总线i2c从机以及i2c控制器测试方法 | |
| CN104468042A (zh) | 一种数据传输方法和系统 | |
| CN103475843A (zh) | 双link的lvds视频信号转换为mipi视频信号方法 | |
| CN105516712A (zh) | 一种音视频解码芯片测试平台及方法 | |
| CN103024367B (zh) | 低压差分信号lvds接收器、发送器及lvds接收、发送处理方法 | |
| CN101534154A (zh) | 一种突发光信号接收模块的误码测试方法 | |
| US20210146972A1 (en) | Method, system, and computer-readable medium comprising software code for communicating data from a transmitter to a receiver via a physical transmission medium, and related railway track circuit | |
| CN1143477C (zh) | 时钟信号选择器系统 | |
| CN102932103B (zh) | 一种基于数字化变电站的数据传输速率自适应接收方法 | |
| CN106201956B (zh) | 自动更正非晶体振荡器的时钟的装置及其方法 | |
| CN101399929A (zh) | 一种平板电视图像分析装置 | |
| US20090167943A1 (en) | Apparatus and Method for Synchronizing Video and Audio Data | |
| CN105577671A (zh) | 音频信号与视频信号的传输方法及传输系统 | |
| CN113411114B (zh) | 一种用于实现超高频通讯信号增强的系统及方法 | |
| CN103391453A (zh) | 网络机顶盒pcr校正处理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090701 Termination date: 20120403 |