CN104935827B - 视频帧同步时嵌入音频的处理系统及处理方法 - Google Patents

Abstract

本发明提供了一种视频帧同步时嵌入音频的处理系统，包括：视音频数据分离模块将带有嵌入音频的视频信号分离成同步的视频数据和音频数据；视频帧同步模块对视频数据进行处理，输出帧同步的状态信号，同时输出帧同步后的视频数据；音频重采样模块对音频数据进行重采样，同时，基于状态信号，进行相应的减少音频样点或增加音频样点的操作，并将重采样后的音频数据输出；视音频数据嵌入模块将帧同步后的视频数据和重采样后的音频数据重新组合成带有嵌入音频的视频信号并输出。本发明还公开了一种视频帧同步时嵌入音频的处理方法。本发明不需要把音频进行数模转换，重采样后再模数转换的过程，简化了嵌入音频的处理设备，减少了开发时间和资金。

Description

视频帧同步时嵌入音频的处理系统及处理方法

技术领域

本发明涉及音视频数据处理技术领域，更具体地，涉及一种视频帧同步时嵌入音频的处理系统及处理方法。

背景技术

数字视频的行逆程或者场逆程会放置嵌入音频数据包，视频从发送时钟域（clk_tx）进入参考时钟域（clk_ref），由于时钟不同，需要进行帧同步操作，视频帧同步的基本操作方法是，用clk_tx时钟将视频数据写入缓冲区buf，再用clk_ref时钟把视频数据从缓冲区buf读出，按照clk_ref时钟域重新形成视频流。由于发送时钟clk_tx和参考时钟clk_ref之间必然会存在偏差，为了视频画面不出现撕裂，跳帧等现象，必然要对视频数据进行整帧抛帧，或者整帧重复输出的操作。物体在快速运动时,当人眼所看到的影像消失后，人眼仍能继续保留其影像0.1-0.4秒左右的图像，这种现象被称为视觉暂留现象。视频刷新率主要有23.98HZ，24HZ，，25HZ，29.97HZ，30Hz，50HZ，59.94HZ，60HZ等，刷新率最低的23.98HZ的视频，它一帧视频的时间是0.0417秒，远低于人眼的视觉暂留时间0.1-0.4秒，所以，偶尔丢失一帧或者重复一帧视频，人眼一般不会察觉。

数字音频是我们保存声音信号，传输声音信号的一种方式，它的特点是信号不容易损失。而模拟信号是我们最后可以听到的东西。采样频率就是采用一段音频，作为样本，因为wav使用的是数码信号，它是用一堆数字来描述原来的模拟信号，所以它要对原来的模拟信号进行分析，我们知道所有的声音都有其波形，数码信号就是在原有的模拟信号波形上每隔一段时间进行一次取点，赋予每一个点以一个数值，这就是采样，然后把所有的点连起来就可以描述模拟信号了，很明显，在一定时间内取的点越多，描述出来的波形就越精确，这个尺度我们就称为“采样频率”。

经过采样得到的数字音频样点，封装起来放到视频的逆程中，随着视频数据进行传输，这就是音频的嵌入过程。音频的嵌入遵循标准SMPTE272M。

帧同步的操作中，视频可以整帧进行抛弃或者重复，但是该帧进行抛弃或者重复的视频中嵌入的音频数据却不能简单抛弃或者重复，否则会造成音频出现爆音，频率不对，或者其他不可忽视的问题，因此对嵌入的音频数据要进行专门的处理。现有的嵌入音频同步操作方法：如图1所示，先用视音频数据分离模块把嵌入音频从视频数据中解嵌出来，再把解嵌出来的数字音频数据进行数模转换，恢复为模拟音频信号，然后用参考时钟对该模拟信号进行重采样，对采样后的模拟信号进行模数转换，最后把采样得到的音频样点由视音频嵌入模块重新嵌入到已做完帧同步的视频信号中。这种方法使嵌入音频的处理设备复杂，增大了电路面积，增加了开发资金和开发时间，同时，也扩大了音频在视频帧同步处理过程中所受的影响。

发明内容

有鉴于此，本发明的主要目的在于提供一种视频帧同步时嵌入音频的处理系统及处理方法，能够解决现有技术中存在的处理设备复杂、音频所受影响大的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种视频帧同步时嵌入音频的处理系统，包括视音频数据分离模块、视频帧同步模块、音频重采样模块和视音频数据嵌入模块，其中，视音频数据分离模块，用于将带有嵌入音频的视频信号分离成同步的视频数据和音频数据，并将视频数据和音频数据分别输出给视频帧同步模块和音频重采样模块；视频帧同步模块，用于对视频数据进行处理，输出帧同步的状态信号给音频重采样模块，同时输出帧同步完成后的视频数据给视音频数据嵌入模块；帧同步的状态信号包括：抛帧信号和加帧信号；音频重采样模块，用于对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据输出给视音频数据嵌入模块；视音频数据嵌入模块，用于将帧同步完成后的视频数据和完成重采样后的音频数据重新组合成带有嵌入音频的视频信号并输出。

优选地，视频帧同步模块包括：第一接收单元、第一处理单元和第一存储单元，其中，第一接收单元，用于接收视频数据并将视频数据缓存于第一存储单元；第一处理单元，用于读取缓存于第一存储单元中的视频数据并对视频数据进行帧同步处理，将处理后的视频数据缓存于第一存储单元，同时，输出抛帧信号或者加帧信号给音频重采样模块。

优选地，音频重采样模块包括：第二接收单元、检测单元、第二处理单元和第二存储单元，其中，第二接收单元，用于接收音频数据并将音频数据缓存于第二存储单元；检测单元，用于检测是否有来自于视频帧同步模块输出的抛帧信号或者加帧信号，并将抛帧信号或者加帧信号发送给第二处理单元；第二处理单元，用于读取缓存于第二存储单元中的音频数据并对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据缓存于第二存储单元。

优选地，基于接收到的抛帧信号进行相应的减少音频样点的操作包括：每帧的任意点抛弃一个音频样点，这个操作一直进行到处理的帧数等于所需减少的音频样点的总数。

优选地，基于接收到的加帧信号进行相应的增加音频样点的操作包括：每帧的任意点增加一个音频样点，增加的音频样点的值等于所要插入地方的前一个样点的值，这个操作一直进行到处理的帧数等于所需加的音频样点的总数。

另一方面，本发明还提供了一种视频帧同步时嵌入音频的处理方法，包括：视音频数据分离模块将带有嵌入音频的视频信号分离成同步的视频数据和音频数据，并将视频数据和音频数据分别输出给视频帧同步模块和音频重采样模块；视频帧同步模块对视频数据进行处理，输出帧同步的状态信号给音频重采样模块，同时输出帧同步完成后的视频数据给视音频数据嵌入模块；其中，帧同步的状态信号包括：抛帧信号和加帧信号；音频重采样模块对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据输出给视音频数据嵌入模块；视音频数据嵌入模块将帧同步完成后的视频数据和完成重采样后的音频数据重新组合成带有嵌入音频的视频信号并输出。

优选地，视频帧同步模块对视频数据进行处理，输出帧同步的状态信号给音频重采样模块的步骤包括：第一接收单元接收视频数据并将视频数据缓存于第一存储单元；第一处理单元读取缓存于第一存储单元中的视频数据并对视频数据进行帧同步处理，将处理后的视频数据缓存于第一存储单元，同时，输出抛帧信号或者加帧信号给音频重采样模块。

优选地，音频重采样模块对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作的步骤包括：第二接收单元接收音频数据并将音频数据缓存于第二存储单元；检测单元检测是否有来自于视频帧同步模块输出的抛帧信号或者加帧信号，并将抛帧信号或者加帧信号发送给第二处理单元；第二处理单元读取缓存于第二存储单元中的音频数据并对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据缓存于第二存储单元。

优选地，基于接收到的抛帧信号进行相应的减少音频样点的操作包括：每帧的任意点抛弃一个音频样点，这个操作一直进行到处理的帧数等于所需减少的音频样点的总数。

优选地，基于接收到的所述加帧信号进行相应的增加音频样点的操作包括：每帧的任意点增加一个音频样点，增加的音频样点的值等于所要插入地方的前一个样点的值，这个操作一直进行到处理的帧数等于所需加的音频样点的总数。

本发明的技术效果：

由于本发明中设置有视频帧同步模块和音频重采样模块，视频帧同步操作时，音频重采样模块可以根据视频帧同步模块输出的抛帧或者加帧的状态信号来进行相应的减少音频样点或者增加音频样点的操作，不需要把音频进行数模转换，重采样后再模数转换的过程，简化了嵌入音频的处理设备，缩小了电路面积，降低了音频所受视频帧同步处理的影响；同时，减少了开发时间，节省了开发资金。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了现有技术中视频帧同步时嵌入音频的处理系统结构示意图；

图2示出了根据本发明实施例一的视频帧同步时嵌入音频的处理系统结构示意图；

图3示出了根据本发明实施例二的视频帧同步时嵌入音频的处理系统结构示意图；

图4示出了根据本发明实施例三的视频帧同步时嵌入音频的处理系统结构示意图；

图5示出了根据本发明实施例四的视频帧同步时嵌入音频的处理系统在可编程器件FPGA上实现的结构示意图；

图6示出了根据本发明实施例五的视频帧同步时嵌入音频的处理方法的流程图；

图7示出了根据本发明实施例六的音频重采样工作具体处理流程图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

实施例一

图2示出了根据本发明实施例一的视频帧同步时嵌入音频的处理系统结构示意图；如图2所示，一种视频帧同步时嵌入音频的处理系统，包括：视音频数据分离模块10、视频帧同步模块20、音频重采样模块30和视音频数据嵌入模块40，其中，

视音频数据分离模块10，分别与视频帧同步模块20和音频重采样模块30相连，用于将带有嵌入音频的视频信号分离成同步的视频数据和音频数据，并将视频数据和音频数据分别输出给视频帧同步模块20和音频重采样模块30；

视频帧同步模块20，分别与视音频数据分离模块10、音频重采样模块30和视音频数据嵌入模块40相连，用于对视频数据进行处理，输出帧同步的状态信号给音频重采样模块30，同时输出帧同步完成后的视频数据给视音频数据嵌入模块40；

其中，帧同步的状态信号包括：抛帧信号和加帧信号；

音频重采样模块30，分别与视音频数据分离模块10、视频帧同步模块20和视音频数据嵌入模块40相连，用于对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据输出给视音频数据嵌入模块40；

视音频数据嵌入模块40，分别与视频帧同步模块20和音频重采样模块30相连，用于将帧同步完成后的视频数据和完成重采样后的音频数据重新组合成带有嵌入音频的视频信号并输出。

本发明的实施例中设置有视频帧同步模块和音频重采样模块，视频帧同步操作时，音频重采样模块可以根据视频帧同步模块输出的抛帧或者加帧的状态信号来进行相应的减少音频样点或者增加音频样点的操作，不需要把音频进行数模转换，重采样后再模数转换的过程，简化了嵌入音频的处理设备，缩小了电路面积，降低了音频所受视频帧同步处理的影响；同时，减少了开发时间，节省了开发资金。

实施例二

图3示出了根据本发明实施例二的视频帧同步时嵌入音频的处理系统结构示意图；如图3所示，视频帧同步模块20包括：第一接收单元202、第一处理单元204和第一存储单元206，其中，

第一接收单元202，用于接收视频数据并将视频数据缓存于第一存储单元206；

第一处理单元204，用于读取缓存于第一存储单元206中的视频数据并对视频数据进行帧同步处理，将处理后的视频数据缓存于第一存储单元206，同时，输出抛帧信号或者加帧信号给音频重采样模块30。

实施例三

图4示出了根据本发明实施例三的视频帧同步时嵌入音频的处理系统结构示意图；如图4所示，音频重采样模块30包括：第二接收单元302、检测单元304、第二处理单元306和第二存储单元308，其中，

第二接收单元302，用于接收音频数据并将音频数据缓存于第二存储单元308；

检测单元304，用于检测是否有来自于视频帧同步模块20输出的抛帧信号或者加帧信号，并将抛帧信号或者加帧信号发送给第二处理单元306；

第二处理单元306，用于读取缓存于第二存储单元308中的音频数据并对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据缓存于第二存储单元308。

其中，基于接收到的抛帧信号进行相应的减少音频样点的操作包括：每帧的任意点抛弃一个音频样点，这个操作一直进行到处理的帧数等于所需减少的音频样点的总数。例如：1920×1080@50I的视频，嵌入的是48KHz的一路音频，则一帧视频时间内，嵌入的音频样点总数为1920个。在检测到抛帧信号之后，对视频帧开始计数，第1帧视频时间内接收到1920个音频样点，把第一个样点抛弃，一共要存储1919个音频样点，第2帧也如此，直到1920帧；从1921帧开始恢复接收1920个音频样点，存储1920个样点的正常模式。当然，也可以根据需要隔n帧减少一个样点，只要能保证在下一次接收到抛帧信号之前，减少的音频样点数量等于需要减少的音频样点总数，不过这种操作会增加视频数据和音频数据的存储空间。

基于接收到的加帧信号进行相应的增加音频样点的操作包括：每帧的任意点增加一个音频样点，增加的音频样点的值等于所要插入地方的前一个样点的值，这个操作一直进行到处理的帧数等于所需加的音频样点的总数。例如：1920×1080@50I的视频，嵌入的是48KHz的一路音频，则一帧视频时间内，嵌入的音频样点总数为1920个。在检测到加帧信号之后，对视频帧开始计数，第1帧视频时间内接收到1920个音频样点，再加上复制的第一个样点，一共要存储1921个音频样点，第2帧也如此，直到1920帧；从1921帧开始恢复接收1920个音频样点，存储1920个样点的正常模式。当然也可以根据需要隔n帧增加一个样点，只要能保证在下一次接收到加帧信号之前，插入的音频样点数量等于需要加入的音频样点总数，不过这种操作会增加视频数据和音频数据所需的存储空间。

实施例四

图5示出了根据本发明实施例四的视频帧同步时嵌入音频的处理系统在可编程器件FPGA上实现的结构示意图；如图5所示，带有嵌入音频的视频信号经过解串器10后，并行视频数据和音频数据进入可编程器件FPGA，由可编程器件FPGA中的视频帧同步模块20和音频重采样模块30来实现视频的帧同步逻辑和音频重采样逻辑，视频数据和音频数据缓冲区在与FPGA连接的DDR3存储器上，最后把经过处理的视频数据和音频数据送入串化器40，输出经过帧同步处理的带有嵌入音频的视频信号。

实施例五

图6示出了根据本发明实施例五的视频帧同步时嵌入音频的处理方法的流程图；如图6所示，该方法包括以下步骤：

步骤S501，视音频数据分离模块将带有嵌入音频的视频信号分离成同步的视频数据和音频数据，并将视频数据和音频数据分别输出给视频帧同步模块和音频重采样模块；

步骤S502，视频帧同步模块对视频数据进行处理，输出帧同步的状态信号给音频重采样模块，同时输出帧同步完成后的视频数据给视音频数据嵌入模块；

其中，帧同步的状态信号包括：抛帧信号和加帧信号；

其中，视频帧同步模块对视频数据进行处理，输出帧同步的状态信号给音频重采样模块的步骤包括：

步骤S502-1，第一接收单元接收视频数据并将视频数据缓存于第一存储单元；

步骤S502-2，第一处理单元读取缓存于第一存储单元中的视频数据并对视频数据进行帧同步处理，将处理后的视频数据缓存于第一存储单元，同时，输出抛帧信号或者加帧信号给音频重采样模块。

步骤S503，音频重采样模块对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据输出给视音频数据嵌入模块；

其中，音频重采样模块对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作的步骤包括：

步骤S503-1，第二接收单元接收音频数据并将音频数据缓存于第二存储单元；

步骤S503-2，检测单元检测是否有来自于视频帧同步模块输出的抛帧信号或者加帧信号，并将抛帧信号或者加帧信号发送给第二处理单元；

步骤S503-3，第二处理单元读取缓存于第二存储单元中的音频数据并对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据缓存于第二存储单元。

其中，基于接收到的抛帧信号进行相应的减少音频样点的操作包括：每帧的任意点抛弃一个音频样点，这个操作一直进行到处理的帧数等于所需减少的音频样点的总数。例如：1920×1080@50I的视频，嵌入的是48KHz的一路音频，则一帧视频时间内，嵌入的音频样点总数为1920个。在检测到抛帧信号之后，对视频帧开始计数，第1帧视频时间内接收到1920个音频样点，把第一个样点抛弃，一共要存储1919个音频样点，第2帧也如此，直到1920帧；从1921帧开始恢复接收1920个音频样点，存储1920个样点的正常模式。当然，也可以根据需要隔n帧减少一个样点，只要能保证在下一次接收到抛帧信号之前，减少的音频样点数量等于需要减少的音频样点总数，不过这种操作会增加视频数据和音频数据的存储空间。

其中，基于接收到的所述加帧信号进行相应的增加音频样点的操作包括：每帧的任意点增加一个音频样点，增加的音频样点的值等于所要插入地方的前一个样点的值，这个操作一直进行到处理的帧数等于所需加的音频样点的总数。例如：1920×1080@50I的视频，嵌入的是48KHz的一路音频，则一帧视频时间内，嵌入的音频样点总数为1920个。在检测到加帧信号之后，对视频帧开始计数，第1帧视频时间内接收到1920个音频样点，再加上复制的第一个样点，一共要存储1921个音频样点，第2帧也如此，直到1920帧；从1921帧开始恢复接收1920个音频样点，存储1920个样点的正常模式。当然也可以根据需要隔n帧增加一个样点，只要能保证在下一次接收到加帧信号之前，插入的音频样点数量等于需要加入的音频样点总数，不过这种操作会增加视频数据和音频数据所需的存储空间。

步骤S504，视音频数据嵌入模块将帧同步完成后的视频数据和完成重采样后的音频数据重新组合成带有嵌入音频的视频信号并输出。

本发明的实施例中音频重采样模块可以根据视频帧同步模块输出的抛帧或者加帧的状态信号来进行相应的减少音频样点或者增加音频样点的操作，此方法不需要把音频进行数模转换，重采样后再模数转换的过程，简化了嵌入音频的处理设备，缩小了电路面积，降低了音频所受视频帧同步处理的影响；同时，减少了开发时间，节省了开发资金。

实施例六

图7示出了根据本发明实施例六的音频重采样工作具体处理流程图；如图7所示，音频重采样工作流程包括以下步骤：

步骤S601，检测帧同步状态信号加帧是否有效？如果是，说明视频帧同步操作进行了加帧逻辑，执行步骤S603；如果否，执行步骤S602；

步骤S602，是否抛帧？如果是，说明视频帧同步操作进行了抛帧逻辑，执行步骤S605；如果否，执行步骤S607；

步骤S603，每帧加一个音频样点；

步骤S604，是否达到所需增加的样点数量？若是，执行步骤S607，若否，返回步骤S603；

步骤S605，每帧减少一个音频样点；

步骤S606，是否达到所需减少的样点数量？若是，执行步骤S607，若否，返回步骤S605；

步骤S607，正常接收音频数据后返回开始。

本发明的实施例中由于音频数据不能直接加入一段不相关的数据，这样可能引起爆音或者频率变化，故采用离散渐变的方式加入或者减少音频样点，尽量使音频所受影响降低，音频重采样模块可以根据视频帧同步模块输出的抛帧或者加帧的状态信号来进行相应的减少音频样点或者增加音频样点的操作，此方法不需要把音频进行数模转换，重采样后再模数转换的过程，简化了嵌入音频的处理设备，缩小了电路面积，降低了音频所受视频帧同步处理的影响；同时，减少了开发时间，节省了开发资金。

从以上的描述中，可以看出，本发明上述的实施例实现了如下技术效果：本发明的实施例中设置有视频帧同步模块和音频重采样模块，视频帧同步操作时，音频重采样模块可以根据视频帧同步模块输出的抛帧或者加帧的状态信号来进行相应的减少音频样点或者增加音频样点的操作，不需要把音频进行数模转换，重采样后再模数转换的过程，简化了嵌入音频的处理设备，缩小了电路面积，降低了音频所受视频帧同步处理的影响；同时，减少了开发时间，节省了开发资金。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种视频帧同步时嵌入音频的处理系统，其特征在于，包括视音频数据分离模块、视频帧同步模块、音频重采样模块和视音频数据嵌入模块，其中，

所述视音频数据分离模块，用于将带有嵌入音频的视频信号分离成同步的视频数据和音频数据，并将所述视频数据和所述音频数据分别输出给所述视频帧同步模块和所述音频重采样模块；

所述视频帧同步模块，用于对所述视频数据进行处理，输出帧同步的状态信号给所述音频重采样模块，同时输出帧同步完成后的视频数据给所述视音频数据嵌入模块；

其中，所述帧同步的状态信号包括：抛帧信号和加帧信号；

所述音频重采样模块，用于对所述音频数据进行重采样，同时，基于接收到的所述抛帧信号或者所述加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据输出给所述视音频数据嵌入模块，其中：

所述基于接收到的所述抛帧信号进行相应的减少音频样点的操作包括：每帧的任意点抛弃一个音频样点，这个操作一直进行到处理的帧数等于所需减少的音频样点的总数；

所述基于接收到的所述加帧信号进行相应的增加音频样点的操作包括：每帧的任意点增加一个音频样点，增加的音频样点的值等于所要插入地方的前一个样点的值，这个操作一直进行到处理的帧数等于所需加的音频样点的总数；

所述视音频数据嵌入模块，用于将所述帧同步完成后的视频数据和所述完成重采样后的音频数据重新组合成带有嵌入音频的视频信号并输出。

2.根据权利要求1所述的视频帧同步时嵌入音频的处理系统，其特征在于，所述视频帧同步模块包括：第一接收单元、第一处理单元和第一存储单元，其中，

所述第一接收单元，用于接收所述视频数据并将所述视频数据缓存于所述第一存储单元；

所述第一处理单元，用于读取缓存于所述第一存储单元中的所述视频数据并对所述视频数据进行帧同步处理，将处理后的视频数据缓存于所述第一存储单元，同时，输出所述抛帧信号或者加帧信号给所述音频重采样模块。

3.根据权利要求1所述的视频帧同步时嵌入音频的处理系统，其特征在于，所述音频重采样模块包括：第二接收单元、检测单元、第二处理单元和第二存储单元，其中，

所述第二接收单元，用于接收所述音频数据并将所述音频数据缓存于所述第二存储单元；

所述检测单元，用于检测是否有来自于所述视频帧同步模块输出的所述抛帧信号或者所述加帧信号，并将所述抛帧信号或者所述加帧信号发送给所述第二处理单元；

所述第二处理单元，用于读取缓存于所述第二存储单元中的所述音频数据并对所述音频数据进行重采样，同时，基于接收到的所述抛帧信号或者所述加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据缓存于所述第二存储单元。

4.一种视频帧同步时嵌入音频的处理方法，其特征在于，包括：

视音频数据分离模块将带有嵌入音频的视频信号分离成同步的视频数据和音频数据，并将所述视频数据和所述音频数据分别输出给视频帧同步模块和音频重采样模块；

所述视频帧同步模块对所述视频数据进行处理，输出帧同步的状态信号给所述音频重采样模块，同时输出帧同步完成后的视频数据给视音频数据嵌入模块；

其中，所述帧同步的状态信号包括：抛帧信号和加帧信号；

所述音频重采样模块对所述音频数据进行重采样，同时，基于接收到的所述抛帧信号或者所述加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据输出给所述视音频数据嵌入模块，其中：

所述基于接收到的所述抛帧信号进行相应的减少音频样点的操作包括：每帧的任意点抛弃一个音频样点，这个操作一直进行到处理的帧数等于所需减少的音频样点的总数；

所述基于接收到的所述加帧信号进行相应的增加音频样点的操作包括：每帧的任意点增加一个音频样点，增加的音频样点的值等于所要插入地方的前一个样点的值，这个操作一直进行到处理的帧数等于所需加的音频样点的总数；

所述视音频数据嵌入模块将所述帧同步完成后的视频数据和所述完成重采样后的音频数据重新组合成带有嵌入音频的视频信号并输出。

5.根据权利要求4所述的视频帧同步时嵌入音频的处理方法，其特征在于，所述视频帧同步模块对所述视频数据进行处理，输出帧同步的状态信号给所述音频重采样模块的步骤包括：

第一接收单元接收所述视频数据并将所述视频数据缓存于第一存储单元；

第一处理单元读取缓存于所述第一存储单元中的所述视频数据并对所述视频数据进行帧同步处理，将处理后的视频数据缓存于所述第一存储单元，同时，输出所述抛帧信号或者所述加帧信号给所述音频重采样模块。

6.根据权利要求4所述的视频帧同步时嵌入音频的处理方法，其特征在于，所述音频重采样模块对所述音频数据进行重采样，同时，基于接收到的所述抛帧信号或者所述加帧信号，进行相应的减少音频样点或者增加音频样点的操作的步骤包括：

第二接收单元接收所述音频数据并将所述音频数据缓存于第二存储单元；

检测单元检测是否有来自于所述视频帧同步模块输出的所述抛帧信号或者所述加帧信号，并将所述抛帧信号或者所述加帧信号发送给第二处理单元；

所述第二处理单元读取缓存于所述第二存储单元中的所述音频数据并对所述音频数据进行重采样，同时，基于接收到的所述抛帧信号或者所述加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据缓存于所述第二存储单元。