CN104581202A - 音视频同步方法与系统及编码装置和解码装置 - Google Patents

音视频同步方法与系统及编码装置和解码装置 Download PDF

Info

Publication number
CN104581202A
CN104581202A CN201310509334.7A CN201310509334A CN104581202A CN 104581202 A CN104581202 A CN 104581202A CN 201310509334 A CN201310509334 A CN 201310509334A CN 104581202 A CN104581202 A CN 104581202A
Authority
CN
China
Prior art keywords
signal
audio
video
video synchronization
synchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310509334.7A
Other languages
English (en)
Other versions
CN104581202B (zh
Inventor
黄嘉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN201310509334.7A priority Critical patent/CN104581202B/zh
Priority to PCT/CN2014/087514 priority patent/WO2015058610A1/zh
Publication of CN104581202A publication Critical patent/CN104581202A/zh
Priority to US15/092,443 priority patent/US9961392B2/en
Priority to US15/940,718 priority patent/US10178427B2/en
Application granted granted Critical
Publication of CN104581202B publication Critical patent/CN104581202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4342—Demultiplexing isochronously with video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/08—Separation of synchronising signals from picture signals

Abstract

本发明实施方式提出了一种音视频同步方法与系统以及编码装置和解码装置。在编码端接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；在解码端从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。本发明实施方式可以提高同步的准确度。

Description

音视频同步方法与系统及编码装置和解码装置
技术领域
本发明实施方式涉及信息处理技术领域，更具体地，涉及一种音视频同步方法与系统以及编码装置和解码装置。
背景技术
多媒体技术不是各种信息媒体的简单复合，而更是一种把文本（Text）、图形（Graphics）、图像（Images）、动画（Animation）和声音（Sound）等形式的信息结合在一起，并通过计算机进行综合处理和控制，能支持完成一系列交互式操作的信息技术。
在一般带声音的视频中，源音频与源视频会在编码端经过不同的编码器进行编码，经过封装器（multiplexer）把音视频流合并到一个码流中，然后进行传输。解码端接收码流后，使用分离器（demuxer）把音视频流分开，然后分别进行解码，解码完成后再在播放端展现音视频内容。
在这个过程中，音视频码流的处理时序不一定有直接关系，播放端需要协调解码音视频的输出才能重现音视频内容，其中音视频必须要保持同步。
为了避免音视频不同步，现有技术中主要包含以下措施：
(1)在音视频码流中加入时间戳，让播放端以指定的时间顺序及速度播放音视频内容。
(2)在直播编码中，定时或人工重启编码端。
然而，由于音频流与视频流的时间戳并没有依赖关系，所以难以验证时间戳的正确性，从而难以保证同步的准确度，亦无法单纯以时间戳验证音视频的同步情况。另外，重启编码器会导致断流。
发明内容
本发明实施方式提出一种音视频同步方法，以提高同步的准确度。
本发明实施方式还提出了一种音视频同步系统，以提高同步的准确度。
本发明实施方式还提出了一种音视频编码装置，以提高同步的准确度。
本发明实施方式还提出了一种音视频解码装置，以提高同步的准确度。
本发明实施方式的具体方案如下：
一种音视频同步方法，该方法包括：
在编码端接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；
在解码端从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
一种音视频同步系统，包括编码端和解码端，其中：
编码端，用于接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；
解码端，用于从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
一种音视频编码装置，包括接收单元、分离单元、嵌入单元和输出单元，其中：
接收单元，用于接收输入码流；
分离单元，用于将所述输入码流分离为视频信号和音频信号；
嵌入单元，用于在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号；
输出单元，用于将所述视频信号和音频信号封装为输出码流。
一种音视频解码装置，包括解析单元、提取单元和调整单元，其中：
解析单元，用于从接收到的码流中解析出视频信号和音频信号；
提取单元，用于从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号；
调整单元，用于当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
从上述技术方案可以看出，在本发明实施方式中，在编码端接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；在解码端从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。由此可见，应用本发明实施方式之后，可以在音视频内容中嵌入各自的同步信息，并且可以基于对音视频同步信息的同步性比较确定出信号调整信息，因此可以提高同步的准确度。
而且，本发明实施方式便于扩展，可以大规模使用。
附图说明
图1为根据本发明实施方式音视频同步方法流程图；
图2为根据本发明实施方式视频同步信号示意图；
图3为根据本发明实施方式音频同步信号示意图；
图4为根据本发明实施方式音视频同步系统结构图；
图5为根据本发明实施方式音视频编码装置结构图；
图6为根据本发明实施方式音视频解码装置结构图；
图7为根据本发明实施方式音视频编码端处理示意图；
图8为根据本发明实施方式音视频解码端处理示意图；
图9为根据本发明实施方式音视频同步处理示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
图1为根据本发明实施方式音视频同步方法流程图。
如图1所示，该方法包括：
步骤101：在编码端接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流。
在这里，在编码端接收输入码流。该输入码流既可以来自其它音视频采集设备，也可以是在编码端处自行采集的输入码流。
输入码流可以为带音频的视频文件，该视频文件包括至少一个音频信号以及视频信号。可以在视频信号中嵌入视频同步信号，在音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流。
音频同步信号与视频同步信号在时间上同步，而且可以具有相同或相应的内容，从而便于判断音频信号与视频信号之间的同步性。同步信息具体可以包括音视频采集的时间、源视频帧的时间点和音频样本的时间点或其他随时间改变或不改变的信号，等等。
在一个实施方式中：
在视频信号中嵌入视频同步信号包括下列中的至少一个：将视频帧序列的预定像素点的值设置为视频同步信号；将视频帧序列的至少两个像素点之间的位置关系设置为视频同步信号；将视频帧序列的相同像素点在不同帧之间的位置关系设置为视频同步信号，等等。
可以在视频信号中嵌入可见或不可见的信号以作为视频同步信号。视频同步信号包括但不限于帧序列中指定某一个或多个像素点的值,或二个或以上像素点的关系,或相同的像素点在不同帧之间的关系。
图2为根据本发明实施方式视频同步信号示意图。
在图2中，可以使用视频帧右上角的相素点表示信号在每帧的时间点的值。假如0.0–0.4秒的同步信号为“01200”，以每秒25帧算，同步信号每秒最高能有25个样本，样本的精度取决于取像素点的量与像素点的精度。
以上以视频帧右上角的相素点为例对视频同步信号的具体形式进行了说明。本领域技术人员可以意识到，这种阐述仅是示范性的，并不用于对本发明实施方式的保护范围进行限定。
在一个实施方式中：
在音频信号中嵌入音频同步信号包括下列中的至少一个：在音频信号中嵌入正弦波；在音频信号中嵌入方波；在音频信号中嵌入三角波；在音频信号中中嵌入脉冲信号，等等。
比如，可以在音频信号中嵌入可听见或听不见的信号以作为音频同步信号。音频同步信号包括但不限于正弦波、方波、三角波或脉冲信号，等等。
通常情况下，使用人类不敏感的音频信号作为音频同步信号，例如18000Hz以上或30Hz以下的音频。音频同步信号能以带通滤波的方法探测出来。
图3为根据本发明实施方式音频同步信号示意图。
如图3所示,带同步信号的音频波型经过带通滤波后,会剩下音频同步信号,只要按间格算出滤波后的音频波幅，便能提取音频同步信号。每秒的样本量取决于取样间格，而且样本的精度取决于取音频样本的精度和声道的数量。
步骤102：在解码端从接收到的码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
解码端在接收到由编码端发出的输出码流后，从接收到的码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
解码端在分别提取出音视频的同步信号后，可以通过比较音视频同步信号之间的同步性获取音视频的时间差。解码端向编码端发送信号调整信息，在该信号调整信息中包含该时间差。编码端可以根据该时间差对相应的音频信号或视频信号进行延迟或提前，从而使得音视频恢复同步。
比如：假设编码端与解码端先协议好同步信号为“0120”,透过检测视频同步信号,发现视频同步信号在0.0-0.3秒之间出现。然而，针对音频却发现在0.0-0.5秒的检测出来的同步音频信号是“00120”，而“0120”这个信号在音频的0.1-0.0.4秒出现，也就是说音频出现0.1秒延迟。在这情况下，解码端可向编码端反馈信号调整信息,让编码端对视频源延迟0.1秒或对音频提前0.1秒,从而使得音视频恢复同步。
在一个实施方式中：
该方法进一步包括下列中的至少一个：编码端在视频同步信号中嵌入用于标注版权的水印信息；在音频同步信号中嵌入用于标注版权的水印信息；在视频同步信号中嵌入用于控制视频播放的视频控制信息；在视频同步信号中嵌入与视频播放相关的辅助信息；在音频同步信号中嵌入用于控制音频播放的音频控制信息；在音频同步信号中嵌入与音频播放相关的辅助信息。
具体地，编码端可以在音频信号同步信息或视频信号同步信息中嵌入特定信息，比如：
（a）、水印
水印可以是预先设定的特定信号,用以标注版权相关的信息。
（b）控制信息
控制信息包括但不限于标示片头片尾的时间点、可插播广告的时间点、节目重点时刻或用以触发其他功能的信息，等等。
（c）、其他文字信息:
其他文字信息可以包括网址或其他字符串以及使得播放端展现或利用的相关信息，比如字幕或广告，等等。
在一个实施方式中：
该方法进一步包括：在解码端判断视频同步信号中水印信息是否完整，如果是则判定所述视频信号完整，如果不是则判定所述视频信号不完整；和/或在解码端判断音频同步信号中水印信息是否完整，如果是则判定所述音频信号完整，如果不是则判定所述音频信号不完整。比如：通过在视频中不同的时间点嵌入验证信息,可以判断视频的完整性，包括鉴定视频是否经过剪接、音轨是否被替换等等。
可以将本发明实施方式应用到多种具体应用环境中，比如视频聊天系统、音频聊天系统等即时通讯系统中。
基于上述详细分析，本发明实施方式还提出了一种音视频同步系统。
图4为根据本发明实施方式音视频同步系统结构图。
如图4所示，该系统包括编码端401和解码端402，其中：
编码端401，用于接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；
解码端402，用于从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端401发送信号调整信息。
编码端401接收到该信号调整信息之后，可以对视频信号和/或音频信号进行时间调整，从而使得视频信号和/或音频信号保持同步。
在一个实施方式中：
编码端401，用于在视频信号中嵌入视频同步信号包括下列中的至少一个：将视频帧序列的预定像素点的值设置为视频同步信号；将视频帧序列的至少两个像素点之间的位置关系设置为视频同步信号；将视频帧序列的相同像素点在不同帧之间的位置关系设置为视频同步信号。
在一个实施方式中：
编码端402，用于在音频信号中嵌入音频同步信号包括下列中的至少一个：在音频信号中嵌入正弦波；在音频信号中嵌入方波；在音频信号中嵌入三角波；在音频信号中嵌入脉冲信号。
基于上述详细分析，本发明实施方式还提出了一种音视频编码装置。
图5为根据本发明实施方式音视频编码装置结构图。
如图5所示，该音视频编码装置包括接收单元501、分离单元502、嵌入单元503和输出单元504，其中：
接收单元501，用于接收输入码流；
分离单元502，用于将所述输入码流分离为视频信号和音频信号；
嵌入单元503，用于在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号；
输出单元504，用于将所述视频信号和音频信号封装为输出码流。
在一个实施方式中：
该音视频编码装置还包括同步调整单元505；
同步调整单元，用于根据解码端所反馈的信号调整信息对视频信号和/或音频信号进行时间调整，以同步所述视频信号和音频信号。
基于上述详细分析，本发明实施方式还提出了一种音视频解码装置。
图6为根据本发明实施方式音视频解码装置结构图。
如图6所示，该音视频解码装置包括解析单元601、提取单元602和调整单元603，其中：
解析单元601，用于从接收到的码流中解析出视频信号和音频信号；
提取单元602，用于从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号；
调整单元603，用于当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
在一个实施方式中：
该音视频解码装置进一步包括验证单元（图中未示出）。该验证单元，用于判断视频同步信号中水印信息是否完整，如果是则判定所述视频信号完整，如果不是则判定所述视频信号不完整；和/或判断音频同步信号中水印信息是否完整，如果是则判定所述音频信号完整，如果不是则判定所述音频信号不完整。
基于上述详细分析，基于具体应用环境以及需求的变化，可以通过多种形式实施本发明实施方式。
图7为根据本发明实施方式音视频编码端处理示意图；图8为根据本发明实施方式音视频解码端处理示意图；图9为根据本发明实施方式音视频同步处理示意图。
如图7所示，在编码端，首先输入码流或采集音视频信号，然后利用解码器和分离器分离出源视频信号以及源音频信号，再分别在源视频信号中嵌入视频同步信号以及在源音频信号中嵌入音频同步信号，其中音频同步信号与视频同步信号可以来自相同的同步信息源。接着，再将嵌入音频同步信号的源音频信号以及嵌入视频同步信号的视频信号编码封装，以形成输出码流。
如图8所示，在解码端，首先利用解码器和分离器从接收到的输入码流（即编码端所输出的输出码流）中分离出解码后视频信号和解码后音频信号，再分别从解码后视频信号和解码后音频信号中提取出各自的同步信号，并且将各自的同步信号予以输出。
比如，如图9所示，可以将各自的同步信号输出到编码端的延迟器，由编码端的延迟器判断音频同步信号与视频同步信号是否同步，如果不同步，则由编码端的延迟器对视频信号和音频信号进行同步处理。
再比如，也可以将各自的同步信号输出到解码端的判断器，由解码端的判断器判断音频同步信号与视频同步信号是否同步，如果不同步，则向编码端的延迟器发送调整时间差，最后由编码端的延迟器基于调整时间差该对视频信号和音频信号进行同步处理。
实际上，可以通过多种形式来具体实施本发明实施方式所提出的音视频同步方法。
比如，可以遵循一定规范的应用程序接口，将音视频同步方法编写为安装到个人电脑、移动终端等中的插件程序，也可以将其封装为应用程序以供用户自行下载使用。当编写为插件程序时，可以将其实施为ocx、dll、cab等多种插件形式。也可以通过Flash插件、RealPlayer插件、MMS插件、MIDI五线谱插件、ActiveX插件等具体技术来实施本发明实施方式所提出的音视频同步方法。
可以通过指令或指令集存储的储存方式将本发明实施方式所提出的音视频同步方法存储在各种存储介质上。这些存储介质包括但是不局限于：软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒（MemoryStick）、xD卡等。
另外，还可以将本发明实施方式所提出的音视频同步方法应用到基于闪存（Nand flash）的存储介质中，比如U盘、CF卡、SD卡、SDHC卡、MMC卡、SM卡、记忆棒、xD卡等。
综上所述，在编码端接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；在解码端从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。由此可见，应用本发明实施方式之后，可以在音视频内容中嵌入各自的同步信息，并且可以基于对音视频同步信息的同步性比较确定出信号调整信息，因此可以提高同步的准确度。
而且，本发明实施方式便于扩展，可以大规模使用。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种音视频同步方法，其特征在于，该方法包括：
在编码端接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；
在解码端从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
2.根据权利要求1所述的音视频同步方法，其特征在于，所述在视频信号中嵌入视频同步信号包括下列中的至少一个：
将视频帧序列的预定像素点的值设置为视频同步信号；
将视频帧序列的至少两个像素点之间的位置关系设置为视频同步信号；
将视频帧序列的相同像素点在不同帧之间的位置关系设置为视频同步信号。
3.根据权利要求1所述的音视频同步方法，其特征在于，所述在音频信号中嵌入音频同步信号包括下列中的至少一个：
在音频信号中嵌入正弦波；
在音频信号中嵌入方波；
在音频信号中嵌入三角波；
在音频信号中嵌入脉冲信号。
4.根据权利要求1所述的音视频同步方法，其特征在于，该方法进一步包括下列中的至少一个：
在视频同步信号中嵌入用于标注版权的水印信息；
在音频同步信号中嵌入用于标注版权的水印信息；
在视频同步信号中嵌入用于控制视频播放的视频控制信息；
在视频同步信号中嵌入与视频播放相关的辅助信息；
在音频同步信号中嵌入用于控制音频播放的音频控制信息；
在音频同步信号中嵌入与音频播放相关的辅助信息。
5.根据权利要求4所述的音视频同步方法，其特征在于，该方法进一步包括：
在解码端判断视频同步信号中水印信息是否完整，如果是则判定所述视频信号完整，如果不是则判定所述视频信号不完整；和/或
在解码端判断音频同步信号中水印信息是否完整，如果是则判定所述音频信号完整，如果不是则判定所述音频信号不完整。
6.一种音视频同步系统，其特征在于，包括编码端和解码端，其中：
编码端，用于接收输入码流，将所述输入码流分离为视频信号和音频信号，并在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号，再将所述视频信号和音频信号封装为输出码流；
解码端，用于从输出码流中解析出视频信号和音频信号，从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号，并当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
7.根据权利要求6所述的音视频同步系统，其特征在于，
编码端，用于在视频信号中嵌入视频同步信号包括下列中的至少一个：
将视频帧序列的预定像素点的值设置为视频同步信号；
将视频帧序列的至少两个像素点之间的位置关系设置为视频同步信号；
将视频帧序列的相同像素点在不同帧之间的位置关系设置为视频同步信号。
8.根据权利要求6所述的音视频同步系统，其特征在于，
编码端，用于在音频信号中嵌入音频同步信号包括下列中的至少一个：
在音频信号中嵌入正弦波；
在音频信号中嵌入方波；
在音频信号中嵌入三角波；
在音频信号中嵌入脉冲信号。
9.一种音视频编码装置，其特征在于，包括接收单元、分离单元、嵌入单元和输出单元，其中：
接收单元，用于接收输入码流；
分离单元，用于将所述输入码流分离为视频信号和音频信号；
嵌入单元，用于在所述视频信号中嵌入视频同步信号，在所述音频信号中嵌入音频同步信号；
输出单元，用于将所述视频信号和音频信号封装为输出码流。
10.根据权利要求9所述的音视频编码装置，其特征在于，还包括同步调整单元；
同步调整单元，用于根据解码端所反馈的信号调整信息对视频信号和/或音频信号进行调整，以同步所述视频信号和音频信号。
11.一种音视频解码装置，其特征在于，包括解析单元、提取单元和调整单元，其中：
解析单元，用于从接收到的码流中解析出视频信号和音频信号；
提取单元，用于从视频信号中提取出视频同步信号，从音频信号中提取出音频同步信号；
调整单元，用于当所述音频同步信号与视频同步信号不同步时，向编码端发送信号调整信息。
12.根据权利要求11所述的音视频解码装置，其特征在于，进一步包括验证单元；
验证单元，用于判断视频同步信号中水印信息是否完整，如果是则判定所述视频信号完整，如果不是则判定所述视频信号不完整；和/或
判断音频同步信号中水印信息是否完整，如果是则判定所述音频信号完整，如果不是则判定所述音频信号不完整。
CN201310509334.7A 2013-10-25 2013-10-25 音视频同步方法与系统及编码装置和解码装置 Active CN104581202B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310509334.7A CN104581202B (zh) 2013-10-25 2013-10-25 音视频同步方法与系统及编码装置和解码装置
PCT/CN2014/087514 WO2015058610A1 (zh) 2013-10-25 2014-09-26 音视频同步方法、装置与系统
US15/092,443 US9961392B2 (en) 2013-10-25 2016-04-06 Method, apparatus and system of synchronizing audio with video
US15/940,718 US10178427B2 (en) 2013-10-25 2018-03-29 Method, apparatus and system of synchronizing audio with video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310509334.7A CN104581202B (zh) 2013-10-25 2013-10-25 音视频同步方法与系统及编码装置和解码装置

Publications (2)

Publication Number Publication Date
CN104581202A true CN104581202A (zh) 2015-04-29
CN104581202B CN104581202B (zh) 2018-04-27

Family

ID=52992236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310509334.7A Active CN104581202B (zh) 2013-10-25 2013-10-25 音视频同步方法与系统及编码装置和解码装置

Country Status (3)

Country Link
US (2) US9961392B2 (zh)
CN (1) CN104581202B (zh)
WO (1) WO2015058610A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898505A (zh) * 2016-04-27 2016-08-24 北京小米移动软件有限公司 视频即时通讯中测试音视频同步的方法、装置及系统
CN109391825A (zh) * 2017-08-03 2019-02-26 腾讯科技（深圳）有限公司 一种视频转码方法及其装置、服务器、可读存储介质
CN110072137A (zh) * 2019-04-26 2019-07-30 湖南琴岛网络传媒科技有限公司 一种视频直播的数据传输方法及传输装置
CN111133741A (zh) * 2019-12-17 2020-05-08 威创集团股份有限公司 一种拼接墙视频信号同步方法、装置和系统
WO2021190372A1 (zh) * 2020-03-24 2021-09-30 阿里巴巴集团控股有限公司 视频文件处理与水印提取的方法和装置
CN113965662A (zh) * 2021-10-26 2022-01-21 歌尔科技有限公司 音视频输出设备及其音视频延时校准方法及相关组件
CN116437134A (zh) * 2023-06-13 2023-07-14 中国人民解放军军事科学院系统工程研究院 一种用于检测音视频同步性的方法及装置
TWI814427B (zh) * 2022-06-07 2023-09-01 宏正自動科技股份有限公司 影音同步方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581202B (zh) * 2013-10-25 2018-04-27 腾讯科技（北京）有限公司 音视频同步方法与系统及编码装置和解码装置
US10855760B2 (en) * 2013-11-07 2020-12-01 Cole Asher Ratias Systems and methods for synchronizing content and information on multiple computing devices
KR102201617B1 (ko) * 2014-01-07 2021-01-12 삼성전자 주식회사 Av기기 및 그 제어방법
KR101853441B1 (ko) * 2016-09-23 2018-05-02 재단법인 실감교류인체감응솔루션연구단 클라이언트 장치 및 그 로컬 클럭 스큐 보정 방법
TW201931863A (zh) * 2018-01-12 2019-08-01 圓剛科技股份有限公司 多媒體訊號的同步設備及其同步方法
CN109600563B (zh) * 2018-08-01 2020-05-15 北京微播视界科技有限公司 用于确定时间戳的方法和装置
US10958301B2 (en) 2018-09-18 2021-03-23 Roku, Inc. Audio synchronization of a dumb speaker and a smart speaker using a spread code
US10931909B2 (en) 2018-09-18 2021-02-23 Roku, Inc. Wireless audio synchronization using a spread code
US10992336B2 (en) * 2018-09-18 2021-04-27 Roku, Inc. Identifying audio characteristics of a room using a spread code
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
WO2021054769A1 (ko) * 2019-09-18 2021-03-25 엘지전자 주식회사 무선 통신 시스템에서 근거리 무선 통신을 이용한 오디오 데이터 전송 방법 및 이에 대한 장치
CN112584216B (zh) * 2019-09-29 2022-09-30 杭州海康威视数字技术股份有限公司 一种唇音同步方法和装置
CN110798591A (zh) * 2019-11-07 2020-02-14 金华深联网络科技有限公司 一种挖掘机远程操控视频数据与音频数据同步的方法
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
TWI721766B (zh) * 2020-01-30 2021-03-11 端點科技股份有限公司 影音同步判斷方法、系統與電腦儲存媒體
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US20240001912A1 (en) 2020-05-20 2024-01-04 State Farm Mutual Automobile Insurance Company Analyzing insurance claims in light of detected conditions pertaining to a road segment
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation
CN115460425B (zh) * 2022-07-29 2023-11-24 上海赫千电子科技有限公司 基于车载以太网传输音视频同步传输方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280008A (ja) * 1995-04-04 1996-10-22 Sony Corp 符号化方法及び装置
US20070247550A1 (en) * 2006-04-21 2007-10-25 Alan Plaunt Systems and Methods for Synchronizing Audio and Video Data Signals
CN101616331A (zh) * 2009-07-27 2009-12-30 北京汉邦高科数字技术有限公司 一种对视频帧率及音视频同步性能进行测试的方法
CN102572445A (zh) * 2010-12-17 2012-07-11 迪斯尼实业公司 用于串行数字视频信号的带内a/v定时测量的系统和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594660A (en) 1994-09-30 1997-01-14 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
US6480902B1 (en) * 1999-05-25 2002-11-12 Institute For Information Industry Intermedia synchronization system for communicating multimedia data in a computer network
US7346776B2 (en) * 2000-09-11 2008-03-18 Digimarc Corporation Authenticating media signals by adjusting frequency characteristics to reference values
US8363161B2 (en) * 2006-05-26 2013-01-29 Broadcom Corporation Systems, methods, and apparatus for synchronization of audio and video signals
CN102075767B (zh) * 2010-11-29 2012-12-12 大连捷成实业发展有限公司 一种视频与音频自动同步的处理方法
CN102932673B (zh) * 2011-08-11 2015-08-19 阿里巴巴集团控股有限公司 一种视频信号和音频信号的传输合成方法、系统及装置
US8923548B2 (en) * 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
CN104581202B (zh) 2013-10-25 2018-04-27 腾讯科技（北京）有限公司 音视频同步方法与系统及编码装置和解码装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280008A (ja) * 1995-04-04 1996-10-22 Sony Corp 符号化方法及び装置
US20070247550A1 (en) * 2006-04-21 2007-10-25 Alan Plaunt Systems and Methods for Synchronizing Audio and Video Data Signals
CN101616331A (zh) * 2009-07-27 2009-12-30 北京汉邦高科数字技术有限公司 一种对视频帧率及音视频同步性能进行测试的方法
CN102572445A (zh) * 2010-12-17 2012-07-11 迪斯尼实业公司 用于串行数字视频信号的带内a/v定时测量的系统和方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898505A (zh) * 2016-04-27 2016-08-24 北京小米移动软件有限公司 视频即时通讯中测试音视频同步的方法、装置及系统
CN105898505B (zh) * 2016-04-27 2019-02-19 北京小米移动软件有限公司 视频即时通讯中测试音视频同步的方法、装置及系统
CN109391825A (zh) * 2017-08-03 2019-02-26 腾讯科技（深圳）有限公司 一种视频转码方法及其装置、服务器、可读存储介质
US11451604B2 (en) 2017-08-03 2022-09-20 Tencent Technology (Shenzhen) Company Limited Video transcoding method and apparatus, a server system, and storage medium
CN110072137A (zh) * 2019-04-26 2019-07-30 湖南琴岛网络传媒科技有限公司 一种视频直播的数据传输方法及传输装置
CN110072137B (zh) * 2019-04-26 2021-06-08 湖南琴岛网络传媒科技有限公司 一种视频直播的数据传输方法及传输装置
CN111133741B (zh) * 2019-12-17 2021-06-15 威创集团股份有限公司 一种拼接墙视频信号同步方法、装置和系统
WO2021119967A1 (zh) * 2019-12-17 2021-06-24 威创集团股份有限公司 一种拼接墙视频信号同步方法、装置和系统
CN111133741A (zh) * 2019-12-17 2020-05-08 威创集团股份有限公司 一种拼接墙视频信号同步方法、装置和系统
WO2021190372A1 (zh) * 2020-03-24 2021-09-30 阿里巴巴集团控股有限公司 视频文件处理与水印提取的方法和装置
CN113965662A (zh) * 2021-10-26 2022-01-21 歌尔科技有限公司 音视频输出设备及其音视频延时校准方法及相关组件
TWI814427B (zh) * 2022-06-07 2023-09-01 宏正自動科技股份有限公司 影音同步方法
CN116437134A (zh) * 2023-06-13 2023-07-14 中国人民解放军军事科学院系统工程研究院 一种用于检测音视频同步性的方法及装置
CN116437134B (zh) * 2023-06-13 2023-09-22 中国人民解放军军事科学院系统工程研究院 一种用于检测音视频同步性的方法及装置

Also Published As

Publication number Publication date
US10178427B2 (en) 2019-01-08
US20180220183A1 (en) 2018-08-02
WO2015058610A1 (zh) 2015-04-30
US20160234544A1 (en) 2016-08-11
US9961392B2 (en) 2018-05-01
CN104581202B (zh) 2018-04-27

Similar Documents

Publication Publication Date Title
CN104581202A (zh) 音视频同步方法与系统及编码装置和解码装置
CN108401192B (zh) 视频流处理方法、装置、计算机设备及存储介质
CN104094540B (zh) 服务使用报告数据传输
US7188353B1 (en) System for presenting synchronized HTML documents in digital television receivers
CN108184135B (zh) 字幕生成方法及装置、存储介质及电子终端
US8379735B2 (en) Automatic video glitch detection and audio-video synchronization assessment
CN109889907B (zh) 一种基于html5的视频osd的显示方法及装置
WO2005006758A1 (en) Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
CN101243490B (zh) 编码和解码音频信号的方法和装置
CN103959807A (zh) 匹配视频编码器和广告插入器中的输入和输出时间戳的方法
US10529383B2 (en) Methods and systems for processing synchronous data tracks in a media editing system
CN102073534B (zh) 数据解析方法及装置
CN103733629A (zh) 测量流媒体曝光率的方法和设备
CN112954434B (zh) 字幕处理方法、系统、电子设备和存储介质
CN103763578A (zh) 一种节目关联信息推送方法和装置
CN105898556A (zh) 一种外挂字幕的自动同步方法及装置
CN102075767B (zh) 一种视频与音频自动同步的处理方法
CN105847752A (zh) 信息编解码方法、设备和视频监控系统
CN101218819A (zh) 数字多媒体广播中同步数据服务和视频服务的方法和装置
CN102421005A (zh) 一种基于嵌入式的码流分析系统
CN102123327A (zh) 基于流媒体非关键帧的数字水印嵌入和提取的方法
WO2017004933A1 (zh) 一种实时同步融入速度信息到视频中的录像系统
CN102955809A (zh) 媒体文件编辑和播放的方法和系统
CN114140850A (zh) 人脸识别方法、装置和电子设备
CN112151048B (zh) 音视图数据生成以及处理的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant