CN102075767B - 一种视频与音频自动同步的处理方法 - Google Patents

一种视频与音频自动同步的处理方法 Download PDF

Info

Publication number
CN102075767B
CN102075767B CN 201010564360 CN201010564360A CN102075767B CN 102075767 B CN102075767 B CN 102075767B CN 201010564360 CN201010564360 CN 201010564360 CN 201010564360 A CN201010564360 A CN 201010564360A CN 102075767 B CN102075767 B CN 102075767B
Authority
CN
China
Prior art keywords
video
module
embedding
audio
audio frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 201010564360
Other languages
English (en)
Other versions
CN102075767A (zh
Inventor
程鹏
常明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DALIAN JIECHENG TECHNOLOGY CO., LTD.
Original Assignee
DALIAN GIGATEC ELECTRONICS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DALIAN GIGATEC ELECTRONICS Co Ltd filed Critical DALIAN GIGATEC ELECTRONICS Co Ltd
Priority to CN 201010564360 priority Critical patent/CN102075767B/zh
Publication of CN102075767A publication Critical patent/CN102075767A/zh
Application granted granted Critical
Publication of CN102075767B publication Critical patent/CN102075767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Receiver Circuits (AREA)

Abstract

一种视频与音频自动同步的处理方法，将含嵌视频中同步的视频与音频加上相同的标记，在解嵌后各自经过不同的处理后，根据标记让视频与音频自动同步，再将同步的音频加嵌到视频流中输出。本方法采用视频与音频自动同步，无需人工干预，免去了手动调整同步的繁琐步骤，而且同步精度高、效率高。自动调整的范围大。通常的手动调整同步方式，只能对一帧内的延时进行同步，本发明可对256帧内的延时自动同步。

Description

一种视频与音频自动同步的处理方法
技术领域
本发明涉及的是视频与音频的同步，具体是一种基于FPGA的视频与音频自动同步的方法。
背景技术
音频加嵌和音频解嵌技术在数字电视中得到越来越广泛的应用。音频加嵌是采用时分复用的方式，将数字音频数据作为附属数据与数字视频数据合为一路数据信号。音频加嵌具有以下的优点：一根电缆传输视频音频信号，简化系统，提高播出的安全性。缺点是：对音频进行调整时，需先解嵌，不方便对音频的单独控制和切换；模拟音频先A/D才能嵌入；接收端需先解嵌后D/A。音频解嵌是将数字音频从SDI串行信号中分离出来的过程，它是加嵌的反过程。
在电视系统中，经常要对一路或多路嵌入音频的视频信号进行处理。假设要对一路含嵌视频信号进行帧同步，为了不对音频造成影响，通常的做法是先解嵌，将数字音频从视频信号中分离出来，然后对视频信号进行帧同步处理，最后再把音频加嵌到同步后的视频信号中。由于音频没做任何处理，而视频进行帧同步则会不可避免的产生延时，再加嵌回去就会造成视频与音频不同步(视频滞后)。为了避免声音和图像不同步现象，就要对音频进行延时，由于延时的不确定性，就需要设定一个单位时间，然后手动调整，直到声音与图像达到同步。如果是对音频进行处理，那么同理就要对视频延时。手动调整同步的缺点是：不同的处理方式会对延时的大小有不同影响，需要重新进行手动调整；手动调整的单位时间太大，就会造成精度低，单位时间太小，又会造成调整的效率低。
发明内容
针对上述问题，本发明提出了一种视频与音频自动同步的处理方法。在兼顾低成本和通用性好的基础上实现视频与音频的自动同步。
本发明将含嵌视频中同步的视频与音频加上相同的标记，在解嵌后各自经过不同的处理后，根据标记让视频与音频自动同步，再将同步的音频加嵌到视频流中输出。
其具体技术方案为：本方法采用的整个系统建立在FPGA的基础上，包括含嵌视频添加标记模块，解嵌模块，视频同步处理模块，存储器控制模块，自动同步模块，音频加嵌模块；所述的含嵌视频添加标记模块，解嵌模块，视频同步处理模块，自动同步模块，音频加嵌模块依次串联，存储器控制模块位于解嵌模块和自动同步模块之间，同时还与存储器连接；
所述的含嵌视频添加标记模块，为视频与内嵌音频增加标记位，标记位用数字0～255表示，256帧一个循环，一帧视频每行加一个标记，存放于行消隐区内，同一帧视频内的所有行标记相同；每个音频采样点都要加一个标记，存放于辅助音频数据区，同一帧视频内的音频采样点标记相同；
所述的解嵌模块，将数字音频从SDI串行信号中分离出来，解嵌后的音频数据为AES/EBU数字音频格式；
所述的视频同步处理模块，用本地的同步信号对视频做帧同步处理；
所述的存储器控制模块，用于控制存储器存取添加了标记的音频数据，存储256帧视频中包含的所有音频数据，存储的音频数据为AES/EBU数字音频格式；
所述的自动同步模块，根据同步后的视频标记调整音频数据的延时，使音频与视频同步；
所述的音频加嵌模块，将同步的音频加嵌到视频流中输出。
本发明的有益效果是：视频与音频自动同步，无需人工干预，免去了手动调整同步的繁琐步骤，而且同步精度高、效率高。
自动调整的范围大。通常的手动调整同步方式，只能对一帧内的延时进行同步，本发明可对256帧内的延时自动同步。
附图说明
下面结合附图和具体的实施方式对本发明做进一步的描述。
附图1是本发明方法的FPGA控制单元系统框图。
附图2是本发明的AES/EBU音频帧结构原理框图。
图1中，1、含嵌视频添加标记模块，2、解嵌模块，3、视频同步处理模块，4、存储器控制模块，5、自动同步模块，6、音频加嵌模块。
具体实施方式
下面结合实施例具体说明本发明。
以一路含嵌标清视频为例，对该视频进行帧同步。本发明中选用的FPGA芯片为Altera公司的EP3C40F484C6，FPGA控制单元系统框图如图1所示。按照功能可分为如下几个部分：
含嵌视频添加标记模块1，为视频与内嵌音频增加标记位，方便后续的自动同步。标记位用数字0～255表示，256帧一个循环。一帧视频每行加一个标记，存放于行消隐区内，同一帧视频内的所有行标记相同；每个音频采样点都要加一个标记，存放于辅助音频数据区，同一帧视频内的音频采样点标记相同。
即本实施例中每行视频数据添加一个标志，位置在行消隐区最后一个采样点。用其中的8比特来存储视频标记(0～255)，高两位写零(每个视频采样点10比特)。音频标记的位置：本实施例中每个音频采样点添加一个标记，位置在行消隐区的扩展辅助音频数据中。
解嵌模块2，将数字音频从SDI串行信号中分离出来，防止在帧同步过程中出现爆音现象。
对于解嵌后的音频，数据格式为AES/EBU数字音频格式。AES/EBU音频是由两个信号通道组成，这两个声道可作为立体声的左、右声道，可作为独立的声道，两声道传输同样的声音。每个声道都是32比特。如图2所示。其中0-3位为通道状态识别位，指示后面的音频数据是哪一个通道的音频数据；4-7位是用来将音频数据扩展成24bit的，填充音频数据的的低4位；8-27位是20bit音频数据；28位(V)为音频采样有效位，用来指明音频采样的比特位是否有效；29位(U)为用户比特位，用于携带其它信息；30位(C)为音频通道状态位，它反映了音频采样频率、声道类型等情况；31位(P)为CRC奇偶校验位，用于误码检测。本发明用上述的第4-7位来存放标记位数据，一个采样点的两个声道共有8比特，可存放的数据范围0～255，作为与视频同步的标记，其中左声道存储标记位数据的高四位，右声道存储标记位数据的低四位。
视频同步处理模块3，用本地的同步信号对视频做帧同步处理，在此不做累述。
存储器控制模块4，用于控制Memroy存取添加了标记的音频数据，存储256帧视频中包含的音频数据。存储的音频数据为AES/EBU数字音频格式。音频数据存储：625/50制视频每帧有1920个音频采样点，每个采样点包含左右两个声道，每个声道都是32比特。256帧视频中包含的音频采样点所需Memory的大小为：32×2×1920×256＝30Mbit。可以选择ISSI公司的IS42S32800D(256Mbit)存储器来存储音频采样数据。
自动同步模块5，根据同步后的视频标记调整音频数据的延时，使音频与视频同步。即根据帧同步后的视频数据的标号，从存储器Memory中读取与视频相同标记的音频，然后加嵌到视频中，实现视频与音频的同步。
音频加嵌模块6，将同步的音频加嵌到视频流中输出。
本发明不局限于上述实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (1)

1.一种视频与音频自动同步的处理方法，将含嵌视频中同步的视频与音频加上相同的标记，在解嵌后各自经过不同的处理后，根据标记让视频与音频自动同步，再将同步的音频加嵌到视频流中输出；其特征在于：本方法采用的系统建立在FPGA的基础上，包括含嵌视频添加标记模块（1），解嵌模块（2），视频同步处理模块（3），存储器控制模块（4），自动同步模块（5），音频加嵌模块（6）；所述的含嵌视频添加标记模块（1），解嵌模块（2），视频同步处理模块（3），自动同步模块（5），音频加嵌模块（6）依次串联，存储器控制模块（4）位于解嵌模块（2）和自动同步模块（5）之间，同时还与存储器连接；
所述的含嵌视频添加标记模块（1），为视频与内嵌音频增加标记位，标记位用数字0~255表示，256帧一个循环，一帧视频每行加一个标记，存放于行消隐区内，同一帧视频内的所有行标记相同；每个音频采样点都要加一个标记，存放于辅助音频数据区，同一帧视频内的音频采样点标记相同；
所述的解嵌模块（2)，将数字音频从SDI串行信号中分离出来，解嵌后的音频数据为AES/EBU数字音频格式；
所述的视频同步处理模块(3)，用本地的同步信号对视频做帧同步处理；
所述的存储器控制模块(4)，用于控制存储器存取添加了标记的音频数据，存储256帧视频中包含的所有音频数据，存储的音频数据为AES/EBU数字音频格式；
所述的自动同步模块(5)，根据同步后的视频标记调整音频数据的延时，使音频与视频同步；
所述的音频加嵌模块(6)，将同步的音频加嵌到视频流中输出。
CN 201010564360 2010-11-29 2010-11-29 一种视频与音频自动同步的处理方法 Active CN102075767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010564360 CN102075767B (zh) 2010-11-29 2010-11-29 一种视频与音频自动同步的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010564360 CN102075767B (zh) 2010-11-29 2010-11-29 一种视频与音频自动同步的处理方法

Publications (2)

Publication Number Publication Date
CN102075767A CN102075767A (zh) 2011-05-25
CN102075767B true CN102075767B (zh) 2012-12-12

Family

ID=44034088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010564360 Active CN102075767B (zh) 2010-11-29 2010-11-29 一种视频与音频自动同步的处理方法

Country Status (1)

Country Link
CN (1) CN102075767B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279855B1 (ko) 2011-09-29 2013-06-28 주식회사 아이덴코아 전송 방식 및 화질 적응형 보안용 카메라 및 ｄｖｒ 시스템
CN104581202B (zh) 2013-10-25 2018-04-27 腾讯科技（北京）有限公司 音视频同步方法与系统及编码装置和解码装置
CN103780799A (zh) * 2013-12-31 2014-05-07 南宁市公安局 一种信号同步的方法
CN105052163A (zh) * 2014-01-20 2015-11-11 松下知识产权经营株式会社 再现装置及数据再现方法
CN104935827B (zh) * 2014-03-21 2018-07-06 北京同步科技有限公司 视频帧同步时嵌入音频的处理系统及处理方法
CN104079974B (zh) * 2014-06-19 2017-08-25 广东威创视讯科技股份有限公司 音视频处理方法和系统
CN109327724B (zh) * 2017-08-01 2021-08-31 成都鼎桥通信技术有限公司 音视频同步播放方法和装置
CN114554027B (zh) * 2022-03-16 2022-11-25 湖南双菱电子科技有限公司 一种音频嵌入处理及视音频同步输出处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122668A (en) * 1995-11-02 2000-09-19 Starlight Networks Synchronization of audio and video signals in a live multicast in a LAN
US6173317B1 (en) * 1997-03-14 2001-01-09 Microsoft Corporation Streaming and displaying a video stream with synchronized annotations over a computer network
CN1588989A (zh) * 2004-08-05 2005-03-02 联合信源数字音视频技术（北京）有限公司 视频解码系统中保持显示同步的方法及其装置
CN1878315A (zh) * 2006-07-14 2006-12-13 杭州国芯科技有限公司 视音频同步方法
CN101198069A (zh) * 2007-12-29 2008-06-11 惠州华阳通用电子有限公司 一种地面广播数字电视接收装置、音视频同步方法及系统
CN101394469A (zh) * 2008-10-29 2009-03-25 北京创毅视讯科技有限公司 一种音视频同步方法、装置及一种数字电视芯片

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122668A (en) * 1995-11-02 2000-09-19 Starlight Networks Synchronization of audio and video signals in a live multicast in a LAN
US6173317B1 (en) * 1997-03-14 2001-01-09 Microsoft Corporation Streaming and displaying a video stream with synchronized annotations over a computer network
CN1588989A (zh) * 2004-08-05 2005-03-02 联合信源数字音视频技术（北京）有限公司 视频解码系统中保持显示同步的方法及其装置
CN1878315A (zh) * 2006-07-14 2006-12-13 杭州国芯科技有限公司 视音频同步方法
CN101198069A (zh) * 2007-12-29 2008-06-11 惠州华阳通用电子有限公司 一种地面广播数字电视接收装置、音视频同步方法及系统
CN101394469A (zh) * 2008-10-29 2009-03-25 北京创毅视讯科技有限公司 一种音视频同步方法、装置及一种数字电视芯片

Also Published As

Publication number Publication date
CN102075767A (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
CN102075767B (zh) 一种视频与音频自动同步的处理方法
CN102750962B (zh) 一种录像文件的回放方法及装置
CN104581202A (zh) 音视频同步方法与系统及编码装置和解码装置
CN101299647B (zh) 一种实现sdh业务无损切换的装置和方法
CN102065231B (zh) 多路数据融合装置及其实现方法、多路音频数据处理系统
CN102930615B (zh) 一种列车运行状态数据记录方法、装置及系统
CN101778204B (zh) 3g-sdi高清数字视音频延时系统
CN103617658A (zh) 机载多路音视频同步记录仪及记录方法
CN106162293A (zh) 一种视频声音与图像同步的方法及装置
CN101178921A (zh) 用于处理音频信号的方法和系统
CN106131660A (zh) 视频定位播放方法及装置
US20130208812A1 (en) High-speed interface for ancillary data for serial digital interface applications
JPH05268182A (ja) Ｓｏｎｅｔ伝送信号処理方法およびｓｏｎｅｔ伝送信号処理装置
CN105430299A (zh) 拼接墙信号源标注方法和系统
CN106231413A (zh) 一种基于智能终端的音视频数据自动分割处理方法及系统
CN103152605A (zh) 一种音频数据转码的方法、装置及转码服务器
CN106982103B (zh) 在100g以上光传输芯片中控制ptp报文的方法及系统
CN201577163U (zh) 一种通过1394实现高低码流音视频文件的处理装置
CN103780799A (zh) 一种信号同步的方法
CN203193799U (zh) 一种具有字符叠加功能的数字视频光端机
CN103945158B (zh) 源设备及其控制方法和通信系统
CN1274923A (zh) 通过数字接口收发音频数据流的方法及装置
WO2006031527A3 (en) System for live audio presentations
US20220094513A1 (en) Communication apparatus, communications system, and communication method
CN104902192A (zh) 多路信号的传输方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160323

Address after: Hi Tech Park Kehai street Dalian city Liaoning province 116023 No. 3 office building A block 3 layer

Patentee after: DALIAN JIECHENG TECHNOLOGY CO., LTD.

Address before: Hi Tech Park Kehai street Dalian city Liaoning province 116023 No. 3

Patentee before: Dalian GigaTec Electronics Co., Ltd.