CN1156162C - 一种实现音频/视频信号同步的装置和方法 - Google Patents

一种实现音频/视频信号同步的装置和方法 Download PDF

Info

Publication number
CN1156162C
CN1156162C CNB981018955A CN98101895A CN1156162C CN 1156162 C CN1156162 C CN 1156162C CN B981018955 A CNB981018955 A CN B981018955A CN 98101895 A CN98101895 A CN 98101895A CN 1156162 C CN1156162 C CN 1156162C
Authority
CN
China
Prior art keywords
signal
audio
video
transport processor
inverse transport
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB981018955A
Other languages
English (en)
Other versions
CN1204214A (zh
Inventor
金承万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1204214A publication Critical patent/CN1204214A/zh
Application granted granted Critical
Publication of CN1156162C publication Critical patent/CN1156162C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种实现音频/视频信号同步的装置，包括以下部分：一个反向传输处理器，输出压缩的音频/视频信号并检测图像运动，以输出一个与图像运动相关的变量；一个视频解压器，对反向传输处理器输出的压缩视频信号解压；一个音频解压器，对反向传输处理器输出的压缩音频信号解压；一个微处理器，对分别来自音频解压器和视频解压器的音频/视频信号进行处理以产生一个同步误差信号；一个阈值检测器，根据反向传输处理器输出一变量信号和微处理器输出的同步误差信号产生一个静音信号。

Description

一种实现音频/视频信号同步的装置和方法
本发明涉及用于实现音频/视频信号的同步装置和方法，更确切地说，当所传输的音频/视频信号不同步时用以检测图像运动，并据此来调整与图像运动相关的阈值，以控制静音信号的装置和方法。
MPEG是国际标准化组织运动图像专家组颁布的一种音频/视频信号压缩方案。
通常，音频/视频信号都按MPEG方案进行压缩，压缩后的音频/视频信号分段成“信号包”进行传输，压缩的音频信号与视频信号是时分多路传输的。
相关的压缩音频/视频信号不仅是异步的，而且在传输过程中也不存在相互定时关系或同步性。
因此，当按MPEG方案压缩的音频/视频信号经解压缩在屏幕上显示时，音频信号与视频信号要同步以使声音和相应的图像一致。
然而，当对压缩的音频/视频信号解压缩时常常存在在音频与视频信号间产生不同步现象，这时，音频信号须为静音信号方能使声音与相应的图像一致。
图1是一种现有同步装置对音频/视频信号进行解压缩的方框图。
反向传输处理器10将传输中的信号分配并放置在缓冲器30的不同存贮区。
反向传输处理器10向系统时钟发生器40提供一个控制信号，其响应于控制信号，使得系统时钟信号与反向传输处理器的操作同步。
视频解压器50响应于缓冲器30中的压缩视频数据，产生一个解压后的视频信号送往显示器，或在显示器或其它未标出的存贮设备中存贮。音频解压器60响应于缓冲器30中的压缩音频数据，产生一个解压后的音频信号以再生或在扬声器或其它未标明的存贮设备中存贮。
微处理器70包括第一锁存器71、第二锁存器72、第一减法器73、第二减法器74和第三减法器75。微处理器70处理来自视频解压器50和音频解压器60的经解压后的音频/视频信号并产生一个同步误差信号。
滤波器和处理单元80接收来自微处理器70的同步误差信号并使之平滑，以尽量减小信号噪音造成的不良影响。滤波器和处理单元80可以对音频信号跳过或重复以实现音频/视频信号的粗同步，也可通过调节音频处理频率而实现精同步。
阈值检测器90根据来自微处理器70的同步误差信号而产生静音控制信号。
第一数/模(D/A)转换器100将视频解压器50的数字信号转换成相应的模拟信号，并输出到显示器。第二数/模(D/A)转换器110将音频解压器60的数字信号转换成相应的模拟信号，并输出到音频放大器。
在第二D/A转换器110的输出端与晶体管Q的集电极之间接有一个电阻，阈值检测器90的输出端耦合到晶体管Q的基极。
图1中的标号1表示一个调制解调器。
下面将详述图1中音频/视频信号同步装置的功能。
压缩的音频/视频信号以“信号包”的方式送到反向传输处理器10，并由其分配并放置在缓冲器30的不同存贮区。同时，反向传输处理器10将有关这些“信号包”的信息数据传送到系统控制器20以便将此控制信号输出到控制总线。
系统控制器20由系统时钟发生器40提供时钟信号，并与之同步。
视频解压器50接收来自缓冲器30的压缩视频数据，并产生解压视频信号送往显示器，或存贮在显示器或其它未标出的存贮设备中。同样，音频解压器60接收来自缓冲器30的压缩音频数据，并产生解压音频信号以再生或存贮在扬声器或其它未标出的存贮设备中。
微处理器70将来自视频解压器50和音频解压器60的解压音频/视频信号经处理后产生同步误差信号。
更具体地说，第一减法器73产生定时参考信号(PTSVid，表现时间标志(Presentaton Time Stamps))和施加到第一锁存器71的本地视频标志(Local Vidio Stamp(LVS))信号之差ΔV-PTS，其中PTSVid产生于每一视频帧从视频解压器50输出之时。第二减法器74产生定时参考信号(PTSaud；表现时间标志)和施加在第二锁存器72上的本地音频标志(LocalVidio Stamp(LVS))信号之差ΔA-PTS，其中PTSAud产生于每一音频帧从音频解压器60输出之时。接着，由第一减法器73产生的PTSVid和LVS之差，或由第二减法器74产生的PTSAud和LAS之差分别施加到第三减法器75上以产生同步误差信号，该信号对应于ΔV-PTS和ΔA-PTs之差。因此，当音频信号和视频信号同步时，微处理器70的同步误差信号将为零。
滤波器和处理单元80接收同步误差信号并使其光滑以尽量减小信号噪音的不良影响，并可通过对音频信号的跳过或重复来实现音频/视频信号的粗同步，或通过调整音频处理频率来实现音频/视频信号的精同步。
阈值检测器90接收来自微处理器70的同步误差信号，当音频/视频信号不同步时，将由其响应于同步误差信号产生静音控制信号。
于是，响应于阈值检测器90的静音控制信号，晶体管Q使D/A转换器110或音频解压器60的输出信号为零，从而使音频信号静音。也就是说，音频/视频信号的不同步将使D/A转换器110输出的音频信号根据静音控制信号而静音以实现同步。
然而，图1的装置是不完善的。由于用于同步的静音信号乃是通过比较在前的或在后的帧或图像或通过阈值信号而产生，故其不能确定图像运动的程度，并因此而经常产生不必要的静音信号。
本发明的目的是提供使音频/视频信号同步的装置和方法，其中，利用与图像运动相关的变量来确定一个阈值，并据此调整静音信号。
为实现上述目标，本发明的音频/视频信号同步装置包括一个反向传输处理器，用以输出压缩的音频/视频信号，并通过检测图像的运动，产生一个与图像运动相关的变量信号；一个视频解压器，用以对来自反向传输处理器的压缩视频信号进行解压；一个音频解压器，用以对来自反向传输处理器的压缩音频信号进行解压；一个微处理器，用以对分别来自音频解压器和视频解压器的音频/视频信号进行处理，以产生同步误差信号；一个阈值检测器，根据来自反向传输处理器的变量信号和来自微处理器的同步误差信号而产生静音信号。该微处理器包括一第一锁存器，一第二锁存器，一第一减法器，一第二减法器和一第三减法器。
参照附图以及下面将详述的优选实施例，将有助于进一步了解该发明的目标特征和其它方面。
图1是现有音频/视频信号同步装置的原理方框图。
图2是本发明实施例的原理方框图。
图3是阐述图2中有关同步过程的流程图。
图4a和4b所示运动向量大小和静音信号的关系。
图2所示为本发明一个优选实施例的原理方框图。这里与图1中用相同数字表示的相同元件，将不再赘述，因为其功能完全一样。
反向传输处理器120将所划分的“信息包”分配并放置在缓冲器30的不同存贮区，并且检测图像运动从而输出相关的变量信号。
阈值检测器130接收来自反向传输处理器120的上述变量信号，并相应地产生一个阈值，同时，阈值检测器120还根据来自微处理器70的同步误差信号产生一个静音信号。
下面参照图3和图4详细介绍本发明的优选实施例。
图3中的流程图表示在重放一个图像时检测图像运动程度，并因此调节一个与阈值相关的变量。图3表明在该实施例中，根据图像运动和相应阈值确定的电平在反向传输处理器120中设置为三极。
假设经压缩的音频和视频信号在解压以备重放时发生了音频和视频信号不同步现象，则音频信号将在事先设定的时间内静音以实现与视频信号同步。
如要根据图像运动来调整音频信号的静音，并由此实现音频/视频同步，则必须在反向传输处理器120(S1)中检测出代表图像运动的运动向量，并且只在运动图像而不是静止图像的情况下进行检测。
如果在反向传输处理器120中根据运动图像检测到运动向量，则对全部运动向量相加以产生一个总和(S2)。
这样，以MM表示上述总和与运动向量个数之商。
在步骤3中当MM与电平1相比MM较大时，则向阈值检测器130输出变量T1；当与电平1和电平2相比(S5)MM小于电平1而大于电平2时，则向阈值检测器130输出变量T2；当在步骤3(S6)中与电平2相比MM小于电平2时则向阈值检测器130输出变量T3。
由上述步骤4至步骤6根据阈值检测器130的输出变量进行阈值调节时，音频信号的静音间隙越来越短，以至为零，这是因为快速运动图像并不需要与音频信号严格同步。
这样，反向传输处理器120根据相应阈值产生一个变量达到阈值检测器130，阈值检测器130根据来自微处理器70的同步误差信号产生一个静音控制信号，从而实现音频/视频信号同步。
图4a和4b所示为实现音频/视频信号同步的静音信号，该信号通过一个与运动向量，亦即显示图像运动程度相关的可调阈值获得。
我们可以看到，如果图像运动越快，也就是说运动向量越大，则同步所需音频信号的静音信号持续时间越短。这是因为，在一定程度上，人们不能感觉到快速运动图像与相应声音间的不一致，即使两者不是严格同步的，或者说，即使音频/视频信号不同步时没能实现其精同步。
该发明是对上述实施例的阐释，而非仅限于此。尽管在上述实施例中，反向传输处理器120将电平值根据图像运动和相应阈值设为三级，但是该发明的范围应包括依其实质精神和本发明范围所做的任何修改，包括上述电平值级数的修改。
我们认为，该发明中音频/视频信号同步装置和方法的进步在于当图像快速运动时，忽略音频/视频信号间一部分异步时间差，从而缩短静音信号持续时间，并由此抑制不必要的静音信号。

Claims (3)

1.一种音频/视频信号同步装置，由以下部分组成：
反向传输处理器，输出压缩的音频/视频信号，并检测图像的运动以输出一个与之相关的变量；
视频解压器，对来自反向传输处理器的压缩视频信号解压；
音频解压器，对来自反向传输处理器的压缩音频信号解压；
微处理器，对分别来自视频解压器和音频解压器的解压视频和音频信号进行处理，以产生一个同步误差信号，该微处理器包括一第一锁存器，一第二锁存器，一第一减法器，一第二减法器和一第三减法器；
阈值检测器，响应于来自反向传输处理器的变量信号和来自微处理器的同步误差信号，产生静音信号。
2.权利要求1中的装置，其特征在于所述反向传输处理器产生一个与图像运动相关的电平值，并据此电平值产生一个阈值，该电平值和阈值设置成多级。
3.一种实现音频/视频信号同步的方法，由以下步骤组成：
确定是否检测到运动向量；
检测到运动向量时，将全部向量相加，产生一个总和；
用上述总和除以向量数目，得到一个平均值；
将此平均值与事先设定的多级电平值进行比较，产生一个相应于每个电平值的变量；
根据上述变量调节阈值，产生静音信号。
CNB981018955A 1997-05-30 1998-05-25 一种实现音频/视频信号同步的装置和方法 Expired - Fee Related CN1156162C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1019970022277A KR100224099B1 (ko) 1997-05-30 1997-05-30 오디오/비디오 신호의 동기장치 및 방법
KR22277/97 1997-05-30
KR22277/1997 1997-05-30

Publications (2)

Publication Number Publication Date
CN1204214A CN1204214A (zh) 1999-01-06
CN1156162C true CN1156162C (zh) 2004-06-30

Family

ID=19508070

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB981018955A Expired - Fee Related CN1156162C (zh) 1997-05-30 1998-05-25 一种实现音频/视频信号同步的装置和方法

Country Status (3)

Country Link
US (1) US6188731B1 (zh)
KR (1) KR100224099B1 (zh)
CN (1) CN1156162C (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483532B1 (en) * 1998-07-13 2002-11-19 Netergy Microelectronics, Inc. Video-assisted audio signal processing system and method
US6583821B1 (en) * 1999-07-16 2003-06-24 Thomson Licensing S.A. Synchronizing apparatus for a compressed audio/video signal receiver
US6961550B2 (en) * 2000-12-12 2005-11-01 International Business Machines Corporation Radio receiver that changes function according to the output of an internal voice-only detector
US7694325B2 (en) * 2002-01-31 2010-04-06 Innovative Electronic Designs, Llc Information broadcasting system
US7130528B2 (en) * 2002-03-01 2006-10-31 Thomson Licensing Audio data deletion and silencing during trick mode replay
AU2003282289A1 (en) * 2002-12-04 2004-06-23 Koninklijke Philips Electronics N.V. Method of automatically testing audio/video synchronization
KR100619007B1 (ko) * 2003-06-24 2006-08-31 삼성전자주식회사 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법
US7405769B2 (en) * 2004-02-09 2008-07-29 Broadcom Corporation Method and system for 3D comb synchronization and alignment of standard and non-standard video signals
WO2006101504A1 (en) * 2004-06-22 2006-09-28 Sarnoff Corporation Method and apparatus for measuring and/or correcting audio/visual synchronization
KR100694060B1 (ko) 2004-10-12 2007-03-12 삼성전자주식회사 오디오 비디오 동기화 장치 및 그 방법
KR20090015455A (ko) 2007-08-08 2009-02-12 삼성전자주식회사 오디오 신호 및 비디오 신호를 상호 의존적으로 제어하는방법과 그 장치
KR101841313B1 (ko) 2010-09-22 2018-03-22 톰슨 라이센싱 멀티미디어 흐름 처리 방법 및 대응하는 장치
JP5812808B2 (ja) * 2011-01-05 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
CN103209346B (zh) * 2013-03-06 2016-06-08 北京赛科世纪数码科技有限公司 噪音控制装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4641190A (en) * 1985-05-10 1987-02-03 Rca Corporation Muting system
JPH0817485B2 (ja) * 1991-01-29 1996-02-21 三洋電機株式会社 Ｍｕｓｅ音声デコーダ
KR0155730B1 (ko) * 1993-03-31 1998-11-16 김광호 뮤트회로 및 방법
US5621772A (en) 1995-01-20 1997-04-15 Lsi Logic Corporation Hysteretic synchronization system for MPEG audio frame decoder

Also Published As

Publication number Publication date
KR19980086039A (ko) 1998-12-05
KR100224099B1 (ko) 1999-10-15
US6188731B1 (en) 2001-02-13
CN1204214A (zh) 1999-01-06

Similar Documents

Publication Publication Date Title
CN1088305C (zh) 压缩音频／视频信号接收机的静噪装置
CN1156162C (zh) 一种实现音频/视频信号同步的装置和方法
JP3976759B2 (ja) 音声信号と映像信号を同期させる装置
US6583821B1 (en) Synchronizing apparatus for a compressed audio/video signal receiver
EP0920219A2 (en) Audio/video synchronous reproducer enabling accurate synchronization between audio and video data and a method of audio/video synchronous reproduction
EP1443770A2 (en) Encoder and method for encoding
US20040105660A1 (en) Audio video reproduction apparatus, audio video reproduction method, program, and medium
JP4903930B2 (ja) 信号処理装置
CN1227904C (zh) 缓冲像素数据的方法和系统
US20060176963A1 (en) Method for creating a system clock in a receiver device and corresponding receiver device
US10750233B2 (en) Recording apparatus, recording method, and program
KR100655000B1 (ko) 신호 동기의 자동 조절을 위한 텔레비젼 수상기 및 방법
JPS62145985A (ja) 音声遅延時間制御方法
JP3059151B1 (ja) デ―タストリ―ム切替装置及びデ―タストリ―ム切替方法
CN1198831A (zh) 同步控制装置
KR20050076968A (ko) 디지털방송수신기의 비디오립싱크방법
JPH08280008A (ja) 符号化方法及び装置
JP3156566B2 (ja) 映像信号記録装置
JP2569960B2 (ja) 波形等化装置
JPH1041979A (ja) 伝送データ生成方法および伝送データ生成装置
JPH09224243A (ja) 画像データ圧縮・伝送装置
JPH01173982A (ja) 映像・音声シミュレーション方法
JPS5930368A (ja) 音声同期装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040630

Termination date: 20160525