CN105704506A - 一种解决视音频编码唇音同步的装置和方法 - Google Patents

一种解决视音频编码唇音同步的装置和方法 Download PDF

Info

Publication number
CN105704506A
CN105704506A CN201610031185.1A CN201610031185A CN105704506A CN 105704506 A CN105704506 A CN 105704506A CN 201610031185 A CN201610031185 A CN 201610031185A CN 105704506 A CN105704506 A CN 105704506A
Authority
CN
China
Prior art keywords
audio
video
module
coding
code stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610031185.1A
Other languages
English (en)
Inventor
曾泽君
龚克宇
易启鹏
黄巍
罗民喜
陈晓松
王卫
王渊
蔡舒砾
翟荣军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Times Culture Communication Corp Ltd
Original Assignee
Beijing Times Culture Communication Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Times Culture Communication Corp Ltd filed Critical Beijing Times Culture Communication Corp Ltd
Priority to CN201610031185.1A priority Critical patent/CN105704506A/zh
Publication of CN105704506A publication Critical patent/CN105704506A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4392Processing of audio elementary streams involving audio buffer management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及广播电视技术领域,特别涉及一种解决视音频编码唇音同步的装置和方法,包括视音频信号输入模块、视频编码模块、音频编码模块、码流输出模块、系统控制模块和电源模块,它还包括音频延时模块和视音频同步模块,所述系统控制模块分别与视音频信号输入模块、视频编码模块、音频编码模块、码流输出模块、电源模块、音频延时模块、视音频同步模块电连接;所述音频延时模块内置FIFO缓存器;它具有结构简单,使用方便,通过在现有的视音频编码器上增加音频延时模块和视音频同步模块,从而实现视频和音频的精确的唇音同步,并且长时间工作也能稳定同步,满足各级广播电视网络前端播出需求,极大提高了工作效率,以及降低了运营成本等优点。

Description

一种解决视音频编码唇音同步的装置和方法
技术领域
本发明涉及广播电视技术领域,特别涉及一种解决视音频编码唇音同步的装置和方法。
背景技术
随着数字电视的快速普及,运营商有线网络纷纷采用数字化传输技术进行广播电视节目传输,同时要求节目源为视音频压缩编码的码流信号,对信号源为模拟或基带数字视音频的节目则需要重新编码为码流信号。
现有的视音频编码器,有的采用视频编码和音频编码在一个编码芯片内部完成,在同一颗芯片内可以进行精确的唇音同步处理,但是也有不少编码芯片只能进行视频编码,而音频编码则需要采用外置的专用音频编码芯片完成,这时由于视频编码和音频编码分开独立进行,不存在严格的视音频同步,在正常工作的过程中,如果视频或音频出现过一些异常,导致视频或音频的时钟信号误差,经过长时间的累计误差,将会出现唇音不同步问题,因此需要在设计中引入唇音同步处理技术。
发明内容
本发明的目的在于针对现有技术的缺陷和不足,提供一种结构简单,设计合理、使用方便的一种解决视音频编码唇音同步的装置和方法,它具有结构简单,使用方便,通过在现有的视音频编码器上增加音频延时模块和视音频同步模块,通过调节音频延时的大小使得视频和音频同步,同时让音频码流PTS时钟严格锁定于视频码流PTS时钟,从而实现视频和音频的精确的唇音同步,并且长时间工作也能稳定同步,满足各级广播电视网络前端播出需求,极大提高了工作效率,以及降低了运营成本等优点。
为实现上述目的,本发明采用的技术方案是:
本发明所述的一种解决视音频编码唇音同步的装置和方法,包括视音频信号输入模块、视频编码模块、音频编码模块、码流输出模块、系统控制模块和电源模块,它还包括音频延时模块和视音频同步模块,所述系统控制模块分别与视音频信号输入模块、视频编码模块、音频编码模块、码流输出模块、电源模块、音频延时模块、视音频同步模块电连接;所述音频延时模块内置FIFO缓存器;
其为了确保编码输出的视音频同步,采用如下的方法步骤:
S1:将模拟视音频信号转换为数字基带视音频信号;
S2:对数字基带视频信号进行视频编码,对数字基带音频信号进行音频编码;
S3:对编码的音频码流缓冲存储,存储时间用户可以设定,由于视频运算较音频复杂,视频编码输出延时较音频大,因此,可以通过增加音频延时来补偿视音频不同步,音频存储时间越长则音频延时越大,通过调节音频延时使得音频和视频同步;
S4:为了使得音频和视频长时间工作也能稳定同步,延时处理后的音频码流和视频码流在复用成一个视音频码流时,需要将音频PTS时钟同步于视频PTS时钟,这样才能实现精确的唇音同步;
S5:唇音同步的视音频码流经过序列化处理之后以ASI格式输出或封装为TS/IP格式输出,供后级设备使用。
采用上述结构后,本发明有益效果为:本发明所述的一种解决视音频编码唇音同步的装置和方法,它具有结构简单,使用方便,通过在现有的视音频编码器上增加音频延时模块和视音频同步模块,通过调节音频延时的大小使得视频和音频同步,同时让音频码流PTS时钟严格锁定于视频码流PTS时钟,从而实现视频和音频的精确的唇音同步,并且长时间工作也能稳定同步,满足各级广播电视网络前端播出需求,极大提高了工作效率,以及降低了运营成本等优点。
附图说明
图1是本发明的结构示意图;
图2是本发明的流程框图。
附图标记说明:
1、系统控制模块;2、视音频信号输入模块;3、视频编码模块;4、音频编码模块;5、码流输出模块;6、电源模块;7、音频延时模块;8、视音频同步模块。
具体实施方式
下面结合附图对本发明作进一步的说明。
如图1所示,本发明所述的一种解决视音频编码唇音同步的装置和方法,包括视音频信号输入模块2、视频编码模块3、音频编码模块4、码流输出模块5、系统控制模块1和电源模块6,它还包括音频延时模块7和视音频同步模块8,所述系统控制模块1分别与视音频信号输入模块2、视频编码模块3、音频编码模块4、码流输出模块5、电源模块6、音频延时模块7、视音频同步模块8电连接;
所述视音频信号输入模块2将输入的模拟视音频信号转换成视频编码模块3所需的数字基带视音频信号;
所述视频编码模块3将输入的数字基带视频信号编码成视频码流,音频编码模块4将输入的数字基带音频信号编码成音频码流;
所述音频延时模块7提供一个FIFO(FirstInFirstOut)缓存器存储音频码流,由于视频编码延迟大于音频编码延迟,因此通过调整缓存的音频数据可以达到调节音频延时的目的,从而调节视音频同步;
在所述的视音频同步模块8内,以视频编码码流的PTS(ProgramTimeStamp)时间作为基准,经延时同步处理后的音频码流PTS时钟锁定于视频PTS时钟,从而实现视频码流和音频码流的时钟同步,实现精确的稳定的唇音同步;
所述系统控制模块1给视音频信号输入模块2、视频编码模块3、音频编码模块4、音频延时模块7、视音频同步模块8和码流输出模块5提供控制信号,以使各模块协调一致的工作;且通过所述电源模块6提供电源供应;
如图2所示,其为了确保编码输出的视音频同步,采用如下的方法步骤:
S1:将模拟视音频信号转换为数字基带视音频信号;
S2:对数字基带视频信号进行视频编码,对数字基带音频信号进行音频编码;
S3:对编码的音频码流缓冲存储,存储时间用户可以设定,由于视频运算较音频复杂,视频编码输出延时较音频大,因此,可以通过增加音频延时来补偿视音频不同步,音频存储时间越长则音频延时越大,通过调节音频延时使得音频和视频同步;
S4:为了使得音频和视频长时间工作也能稳定同步,延时处理后的音频码流和视频码流在复用成一个视音频码流时,需要将音频PTS时钟同步于视频PTS时钟,这样才能实现精确的唇音同步;
S5:唇音同步的视音频码流经过序列化处理之后以ASI格式输出或封装为TS/IP格式输出,供后级设备使用。
本发明所述的一种解决视音频编码唇音同步的装置和方法,它具有结构简单,使用方便,通过在现有的视音频编码器上增加音频延时模块和视音频同步模块,通过调节音频延时的大小使得视频和音频同步,同时让音频码流PTS时钟严格锁定于视频码流PTS时钟,从而实现视频和音频的精确的唇音同步,并且长时间工作也能稳定同步,满足各级广播电视网络前端播出需求,极大提高了工作效率,以及降低了运营成本等优点。
以上所述仅是本发明的较佳实施方式,故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰,均包括于本发明专利申请范围内。

Claims (1)

1.一种解决视音频编码唇音同步的装置和方法,包括视音频信号输入模块、视频编码模块、音频编码模块、码流输出模块、系统控制模块和电源模块,其特征在于:它还包括音频延时模块和视音频同步模块,所述系统控制模块分别与视音频信号输入模块、视频编码模块、音频编码模块、码流输出模块、电源模块、音频延时模块、视音频同步模块电连接;所述音频延时模块内置FIFO缓存器;
其为了确保编码输出的视音频同步,采用如下的方法步骤:
S1:将模拟视音频信号转换为数字基带视音频信号;
S2:对数字基带视频信号进行视频编码,对数字基带音频信号进行音频编码;
S3:对编码的音频码流缓冲存储,存储时间用户可以设定,由于视频运算较音频复杂,视频编码输出延时较音频大,因此,可以通过增加音频延时来补偿视音频不同步,音频存储时间越长则音频延时越大,通过调节音频延时使得音频和视频同步;
S4:为了使得音频和视频长时间工作也能稳定同步,延时处理后的音频码流和视频码流在复用成一个视音频码流时,需要将音频PTS时钟同步于视频PTS时钟,这样才能实现精确的唇音同步;
S5:唇音同步的视音频码流经过序列化处理之后以ASI格式输出或封装为TS/IP格式输出,供后级设备使用。
CN201610031185.1A 2016-01-19 2016-01-19 一种解决视音频编码唇音同步的装置和方法 Pending CN105704506A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610031185.1A CN105704506A (zh) 2016-01-19 2016-01-19 一种解决视音频编码唇音同步的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610031185.1A CN105704506A (zh) 2016-01-19 2016-01-19 一种解决视音频编码唇音同步的装置和方法

Publications (1)

Publication Number Publication Date
CN105704506A true CN105704506A (zh) 2016-06-22

Family

ID=56226588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610031185.1A Pending CN105704506A (zh) 2016-01-19 2016-01-19 一种解决视音频编码唇音同步的装置和方法

Country Status (1)

Country Link
CN (1) CN105704506A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963186A (zh) * 2017-12-22 2019-07-02 宏正自动科技股份有限公司 影音同步装置及影音数据同步方法
CN110072137A (zh) * 2019-04-26 2019-07-30 湖南琴岛网络传媒科技有限公司 一种视频直播的数据传输方法及传输装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030198256A1 (en) * 2002-04-19 2003-10-23 Wang Charles Chuanming Apparatus and method for synchronization of audio and video streams
CN1462552A (zh) * 2000-08-16 2003-12-17 波音公司 向移动平台提供双向数据业务和实况电视节目的方法和设备
CN1767601A (zh) * 2005-10-21 2006-05-03 西安交通大学 一种支持多源流媒体的同步播放控制方法
CN1949879A (zh) * 2005-10-11 2007-04-18 华为技术有限公司 分组网络中多媒体实时传输的唇同步方法及其装置
US20070109444A1 (en) * 2003-10-15 2007-05-17 Matsushita Electric Industrial Co., Ltd. AV synchronization system
CN101466045A (zh) * 2007-12-20 2009-06-24 上海奇码数字信息有限公司 自适应解码同步装置、同步方法及视频解码和显示系统
CN101778204A (zh) * 2010-02-06 2010-07-14 大连科迪视频技术有限公司 3g-sdi高清数字视音频延时系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1462552A (zh) * 2000-08-16 2003-12-17 波音公司 向移动平台提供双向数据业务和实况电视节目的方法和设备
US20030198256A1 (en) * 2002-04-19 2003-10-23 Wang Charles Chuanming Apparatus and method for synchronization of audio and video streams
US20070109444A1 (en) * 2003-10-15 2007-05-17 Matsushita Electric Industrial Co., Ltd. AV synchronization system
CN1949879A (zh) * 2005-10-11 2007-04-18 华为技术有限公司 分组网络中多媒体实时传输的唇同步方法及其装置
CN1767601A (zh) * 2005-10-21 2006-05-03 西安交通大学 一种支持多源流媒体的同步播放控制方法
CN101466045A (zh) * 2007-12-20 2009-06-24 上海奇码数字信息有限公司 自适应解码同步装置、同步方法及视频解码和显示系统
CN101778204A (zh) * 2010-02-06 2010-07-14 大连科迪视频技术有限公司 3g-sdi高清数字视音频延时系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963186A (zh) * 2017-12-22 2019-07-02 宏正自动科技股份有限公司 影音同步装置及影音数据同步方法
CN109963186B (zh) * 2017-12-22 2021-12-17 宏正自动科技股份有限公司 影音同步装置及影音数据同步方法
CN110072137A (zh) * 2019-04-26 2019-07-30 湖南琴岛网络传媒科技有限公司 一种视频直播的数据传输方法及传输装置
CN110072137B (zh) * 2019-04-26 2021-06-08 湖南琴岛网络传媒科技有限公司 一种视频直播的数据传输方法及传输装置

Similar Documents

Publication Publication Date Title
US9451313B2 (en) Network media adapter
CN102171750B (zh) 用于输送对齐的多通道音频的方法和设备
CN101682589A (zh) 接口电路
CN105611317A (zh) 一种支持音频透传的视音频转码的装置和方法
US10750228B2 (en) System and method for operating a transmission network
CN105532009B (zh) 发送设备、发送方法、接收设备和接收方法
CN202475622U (zh) 编码前端的sdi视频信号自动识别装置
CN105704506A (zh) 一种解决视音频编码唇音同步的装置和方法
CN105142037A (zh) 一种分布式转码音视频合成的方法及系统
CN103177725B (zh) 用于输送对齐的多通道音频的方法和设备
WO2009133403A3 (en) Television system
CN104954725A (zh) 一种基于sdi的传输双向辅助数据方法
CN103474076B (zh) 用于输送对齐的多通道音频的方法和设备
CN107925794A (zh) 发送设备、发送方法、接收设备和接收方法
CN107431834A (zh) 传输设备、传输方法、接收设备、以及接收方法
CN102185998B (zh) 一种利用aes/ebu数字音频信号同步视频信号的方法
CN113630643B (zh) 媒体流收录方法、装置及计算机存储介质、电子设备
CN202587238U (zh) Ts流字幕插入系统
CN100591140C (zh) 一种在视频中显示字幕的方法
CN203327182U (zh) 网络机顶盒pcr校正处理系统
CN109995963A (zh) 一种无线同步时码方法
CN100413341C (zh) 音视频信号同步方法
JP6220258B2 (ja) 映像データの伝送装置及び伝送方法
JP2015046708A (ja) 通信システム、通信方法、送信側同期信号配信装置、送信側同期制御装置、受信側同期信号配信装置、受信側同期制御装置及びプログラム
CN101237276A (zh) 基于移动网的手机电视单频网同步系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160622

RJ01 Rejection of invention patent application after publication