JP2004104730A - 遅延時間検出方法及びav同期検出方法 - Google Patents

遅延時間検出方法及びav同期検出方法 Download PDF

Info

Publication number
JP2004104730A
JP2004104730A JP2002267590A JP2002267590A JP2004104730A JP 2004104730 A JP2004104730 A JP 2004104730A JP 2002267590 A JP2002267590 A JP 2002267590A JP 2002267590 A JP2002267590 A JP 2002267590A JP 2004104730 A JP2004104730 A JP 2004104730A
Authority
JP
Japan
Prior art keywords
video
audio
signal
unit
counter value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002267590A
Other languages
English (en)
Inventor
Shingo Ishiyama
石山 慎吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2002267590A priority Critical patent/JP2004104730A/ja
Publication of JP2004104730A publication Critical patent/JP2004104730A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams

Abstract

【課題】送信側と受信側が遠距離に位置しても、製造メーカが異なっても、測定器がなくても、送信側と受信側の遅延時間を検出可能とする方法を提供する。
【解決手段】映像信号及び音声信号を圧縮し、伸長するコーデックシステムにおいて、送信側で、デジタル映像信号及びデジタル音声信号の基準信号でサンプリングした時刻情報をビデオ圧縮データ及びオーディオ圧縮データに付加して伝送し、受信側で、受信したビデオ圧縮データ及びオーディオ圧縮データに付加された時刻情報を抽出し、受信したビデオ圧縮データ及びオーディオ圧縮データを伸長したデジタル映像信号及びデジタル音声信号の基準信号でサンプリングした時刻情報と抽出した時刻情報の差分を検出し、当該検出した差分情報に基づき、映像信号及び音声信号の送信側における入力時刻と受信側における出力時刻の差である遅延時間及びAV同期を自動的に検出するものである。
【選択図】   図2

Description

【0001】
【発明の属する技術分野】
本発明は映像信号及び音声信号を入出力とする圧縮及び伸長装置(コーデック)に関するもので、特に映像信号及び音声信号の遅延時間とAV同期の検出方法に関するものである。
【0002】
【従来の技術】
近年、コーデック技術の発展に伴い、コーデックシステムを構成するデバイス等の処理能力は格段に向上した。特に放送局関連の運用において、生中継の現場とスタジオ間の会話では違和感のないかけ合い、いわゆる遅延時間が短いことが強く要求されている。
【0003】
図6に、従来技術におけるシステム構成例を示し説明する。 図6は、カメラ801、マイク802、MPEGビデオエンコーダ部803、MPEGオーディオエンコーダ部809、多重部810、変調器804、伝送路813、復調器805、分離部811、MPEGビデオデコーダ部806、MPEGオーディオデコーダ部812、モニタ807、スピーカ808より構成される。
【0004】
次に動作について説明する。 MPEGビデオエンコーダ部803は、カメラ801で撮影した映像信号816を圧縮し、ビデオ圧縮データ819を生成して出力する。 MPEGオーディオエンコーダ部809は、マイク802で録音した音声信号817を圧縮し、オーディオ圧縮データ820を生成して出力する。多重部810はビデオ圧縮データ819とオーディオ圧縮データ820を最終的に時分割多重し、TS(トランスポートストリーム)821を生成して出力する。変調器804はTS821を伝送路813に適する伝送路信号822に変調し、伝送路813に伝送する。伝送路とは、例えばマイクロ波などである。 復調器805は伝送路813から伝送路信号823を得ると復調し、TS824を再生する。 分離部811は、TS824から最終的にビデオ圧縮データ825と、オーディオ圧縮データ826を分離し、それぞれMPEGビデオデコーダ部806とMPEGオーディオデコーダ部812に出力する。 MPEGビデオデコーダ部806は、ビデオ圧縮データ825を仲長して映像信号827を生成し、モニタ807に出力する。 MPEGオーディオデコーダ部812は、オーディオ圧縮データ326を伸長して音声信号828を生成し、スピーカ808に出力する。
【0005】
次に、遅延時間について説明する。 遅延時間とは、カメラ801で撮影した映像が最終的にモニタ807で出力されるまでの時間、言い換えればエンコーダ、多重、変調、伝送路、復調、分離、デコーダの処理時間の合計である。 上記遅延時間を検出する方法は、図6を構成する送信側と受信側が近距離にある場合、カメラ801から出力される映像信号816とモニタ807に入力される映像信号827をケープルにより1台の測定器に接続する方法がある。 ところが、送信側と受信側が遠距離にある場合は、上記ケープルによる測定方法は実現困難である。 例えば、スタジオと撮影現場などがその例である。
【0006】
次に従来技術におけるエンコーダの構成例を図4に示し説明する。 図4は、ビデオデコーダ部403、フォーマット検出部407、オーディオA/D変換部408、CPU432、MPEGビデオエンコーダ部413、MPEGオーディオエンコーダ部416、STCカウンタ部420、ビデオPESパケット生成部423、オーディオPESパケット生成部424、プライベートPESパケット生成部425、STCカウンタ値ホールド部422、ビデオペイロードメモリ部437、オーディオペイロードメモリ部439、プライベートペイロードメモリ部441、PCR符号化部436、ビデオTSパケット制御部453、オーディオTSパケット制御部454、プライベートTS制御部455、PAT_TSパケット制御部456、PMT_TSパケット制御部468、PCR_TSパケット制御部457、バイトカウンタ部471、メモリ状態検出部473、ビデオ符号化レート計算部475より構成される。
【0007】
ビデオデコーダ部403、フォーマット検出部407、オーディオA/D変換部408、MPEGビデオエンコーダ部413、MPEGオーディオエンコーダ部416、ビデオPESパケット生成部423、オーディオPESパケット生成部424、プライベートPESパケット生成部425、ビデオペイロードメモリ部437の書込み側、オーディオペイロードメモリ部439の書込み側、プライベートペイロードメモリ部441の書込み側、STCカウンタ部420は、ビデオデコーダ部403の出力である映像用クロック406を基準として動作する。例えば、27MHzである。
【0008】
ビデオペイロードメモリ部437の読み出し側、オーディオペイロードメモリ部439の読み出し側、プライベートペイロードメモリ部441の読み出し側、ビデオTSパケット生成部453、オーディオTSパケット生成部454、プライベートTSパケット生成部455、PAT_TSパケット生成部456、PMT_TSパケット生成部468、PCR_TSパケット生成部457、バイトカウンタ部471、メモリ状態検出部473は、伝送路から得られる伝送クロック472を基準として動作する。例えば、伝送容量が8Mbit/secの場合はバイト処理のため、1/8となり1MHzとなる。
【0009】
続いて動作について詳しく説明する。 ビデオデコーダ部403は、アナログ映像信号400(例えばNTSC信号)を得ると、この信号をA/D変換してデコードし、デジタル映像信号405とデジタル映像信号と同位相の映像用クロック406を出力する。 フォーマット検出部407は、デジタル映像信号405と映像用クロック406を得ると、デジタル映像信号405のフォーマットの状態を検出する。 例えばITU−R656の場合、デジタル映像信号405に存在する最初のSAV(Start Active Video)をトリガとし、映像用クロック406を基準とする画素カウンタ及びラインカウンタを動作させ、以後デジタル映像信号405内のSAVを毎度認識した時点の上記カウンタ値が、常に一定値であるかの判断によりフォーマットの正常と異常を判断する。 一方、映像信号の3フレームパルス404を出力する。3フレームパルスとは、3フレーム間隔のパルス、いわゆる99msec間隔のパルスである。
【0010】
オーディオA/D変換部408は、アナログ音声信号401を得ると、この信号をA/D変換してデコードし、デジタル音声信号410(例えばPCM信号)と、音声用クロック411を出力する。 MPEGビデオエンコーダ部413は、CPU432からのビデオ符号化レート情報419に基づき、デジタル映像信号409を圧縮し、圧縮したビデオ圧縮データ414とビデオ圧縮クロック415を出力する。 CPU432は、ビデオ符号化レート計算部475からの伝送容量情報433を得て、ビデオ符号化レート情報419を出力する。 MPEGオーディオエンコーダ部416は、デジタル音声信号410と音声用クロック411を得ると、デジタル音声信号410を圧縮し、圧縮したオーディオ圧縮データ417とオーディオ圧縮クロック418を出力する。
【0011】
ビデオ符号化レート計算部475は伝送クロック472を基準とするカウンタとクロック476を基準とするカウンタを動作させ、後者のカウンタ値の任意値で前者のカウンタ値を周期的にサンプルし、サンプルしたカウンタ値から伝送路の伝送容量を計算し、伝送容量情報433を出力する。 なお、クロック476は外部の水晶発振器等のクロック、又は映像用クロック406であってもよい。ビデオPESパケット生成部423は、ビデオ圧縮データ414とビデオ圧縮クロック415を得ると、上記データにヘッダ等を付加してパケット化したビデオPESデータ426と書き込み信号427を生成し、ビデオPESデータ426をビデオペイロードメモリ部437に書き込む。
【0012】
オーディオPES生成部424は、オーディオ圧縮データ417とオーディオ圧縮クロック418を得ると、上記データにヘッダ等を付加し、パケット化したオーディオPESデータ428と書き込み信号429を生成し、オーディオ圧縮データ428を、オーディオペイロードメモリ部439に書き込む。 プライベートPES生成部425は、プライベートデータ402を得ると、上記データにヘッダ等を付加してパケット化したプライベートPESデータ430と書込み信号431を生成し、プライベートPESデータ430をプライベートペイロードメモリ部441に書き込む。
【0013】
STCカウンタ部420は、映像用クロック406を基準として42bitのカウンタを動作させ、STCカウンタ値421を出力する。 STCカウンタ値ホールド部422は、PCR符号化部436からのホールド信号435に従い、STCカウンタ値421をホールドし、ホールドされたSTCカウンタ値434を出力する。 PCR符号化部436はPCR_TSパケット制御部457からのPCR読み出し信号452に従い、ホールドされたSTCカウンタ値434を符号化し、PCR451を出力する。 バイトカウンタ部471は伝送クロック472を得ると、伝送クロック472を基準として、188バイトまたは204バイトのカウンタを繰り返し動作させて、バイトカウンタ開始指示信号459とバイトカウンタ値470を出力する。188バイトまたは204バイトは1TSパケットを意味する。
【0014】
ビデオTSパケット制御部453は、ビデオ送出指示信号461とビデオペイロードメモリ部437の蓄積状態438により、読み出し信号443を生成し、ビデオペイロードメモリ部437からビデオPESデータ442を読み出して、バイトカウンタ値470とTSパケット開始指示信号459に従い、ヘッダ等を付加してビデオTSパケット460を生成し出力する。 オーディオTSパケット制御部454は、オーディオ送出指示信号463とオーディオペイロードメモリ部439の蓄積状態440により、読み出し信号445を生成し、オーディオペイロードメモリ部439からオーディオPESデータ444を読み出し、バイトカウンタ値470とTSパケット開始指示信号459に従い、ヘッダ等を付加してオーディオTSパケット462を生成し出力する。
【0015】
プライベートTSパケット制御部455は、プライベート送出指示信号465と、プライベートペイロードメモリ部441の蓄積状態448により、読み出し信号447を生成し、プライベートペイロードメモリ部441からプライベートPESデータ446を読み出し、バイトカウンタ値470とTSパケット開始指示信号459に従い、ヘッダ等を付加してプライベートTSパケット464を生成し出力する。 PCR_TS制御部457はフォーマット検出部407からの3フレームパルス404を得て、PCR読み出し信号452を生成し、PCR値451を読み出し、バイトカウンタ値470とTSパケット開始指示信号459に従いヘッダ等を付加してPCR_TSパケット458を生成し出力する。また、PCR_TSパケットを送出した事を示す送出完了信号450を出力する。
【0016】
PMT_TSパケット制御部468は、PCR_TSパケット送出完了信号450を得てバイトカウンタ値470とTSパケット開始指示信号459に従い、ヘッダ等を付加してPMT_TSパケッ卜469を生成し出力する。また、PCR_TSパケットとPMT_TSパケットの送出が完了したことを示す送出完了信号449を出力する。 PAT_TSパケット制御部456は、PCR_TSパケットとPMT_TSパケットの送出完了信号449を得て、バイトカウンタ値470とTSパケット開始指示信号459に従いヘッダ等を付加し、PAT_TSパケット466を生成して出力する。 また、PAT、PMT、PCRの各TSパケットの送出が完了した事を示す送出完了信号467を、メモリ蓄積状態検出部473に出力する。
【0017】
メモリ状態検出部473は、PAT、PMT、PCRのTSパケット送出完了信号467を得て、PAT、PMT、PCRのTSパケット送出以外のタイミングにおいて、オーディオペイロードメモリ部439の蓄積状態440とプライベートペイロードメモリ部441の蓄積状態448を検出し、TSパケット送出に必要なペイロードがメモリに蓄積されている場合、TSパケットを生成し送出し、残りのPAT、PMT、PCR、オーディオ、プライベート以外のタイミング全てをビデオTSパケットの送出に割り当てる。 以上のように、各TSパケットが多重されてTS474が生成される。
【0018】
次に、従来技術におけるデコーダの構成例を図5に示し説明する。 図5は、ビデオ・オーディオ分離部502、STCカウンタ部508、メモリ部528、MPEGビデオデコーダ部509、メモリ部529、MPEGオーディオデコーダ部512、STCカウンタ値比較部517、クロック発生部519、ビデオD/A変換部520、オーディオD/A変換部522より構成される。 ビデオ・オーディオ分離部502はTS500と伝送クロック501を得ると、TS500に多重されたビデオTSパケット及びオーディオTSパケットを分離し、更に各々のTSパケットからビデオ圧縮データとオーディオ圧縮データを分離する。分離したビデオ圧縮データ503とビデオ圧縮クロック504をMPEGビデオデコーダ部509に、分離したオーディオ圧縮データ505とオーディオ圧縮クロック506をMPEGオーディオデコーダ512に出力する。
【0019】
また、TS500に多重されたPCR_TSパケットからSTCカウンタ値を抽出し、STCカウンタ値507をSTCカウンタ部508とSTCカウンタ値比較部517に出力する。 MPEGビデオデコーダ部509は、ビデオ圧縮データ503をメモリ528に蓄積しながら伸長し、デジタル映像信号510とデジタル映像信号と同位相のクロック511をビデオD/A変換部520に出力する。 MPEGオーディオデコーダ部512は、オーディオ圧縮データ505をメモリ529に蓄積しながら、デジタル音声信号513と、これと同位相のクロック514をオーディオD/A変換部522に出力する。 ビデオD/A変換部520は、デジタル映像信号510をD/A変換し、アナログ映像信号521を出力する。 オーディオD/A変換部522は、デジタル音声信号513をD/A変換し、アナログ音声信号523を出力する。
【0020】
STCカウンタ部508は、STCカウンタ値507を受信すると、STCカウンタ値507をSTCカウンタにロードし、クロック発生部519の出力であるシステムクロック516を基準に動作する。 以後、周期的に受信するSTCカウンタ値507とその時のSTCカウンタ部508のSTCカウンタ値515をSTCカウンタ値比較部517で比較し、その差分情報518をクロック発生部519に出力する。 クロック発生部519は、上記差分情報518よりクロック周波数を調整する。
【0021】
従って、送信側のSTCカウンタ部420の基準クロックと、受信側のSTCカウンタ部508の基準クロックはロックすることになり、基本的にSTCカウンタ値も同値でインクリメントされることになる。いわゆるPLL機能である。ところで、送信側と受信側の接続において、STCカウンタ部の基準となるクロックは前述した通りPLLによりロックしている。 またロックしたクロックを基準とするお互いのSTCカウンタのカウンタ値は、基本的に同値でインクリメントされる。 即ち、STCカウンタ値は送信側と受信側共通の時計といえる。
【0022】
【発明が解決しようとする課題】
従来技術における遅延時間の測定方法は、送信側と受信側が近距離にある場合、送信側の入力映像信号と受信側の出力映像信号をそれぞれ1台の測定器にケーブル類で接続して測定する方法であった。 ところが、送信側と受信側が遠距離(数km)にある場合、上記同様の接続で測定する方法は困難である。 また、遅延時間は送信側や受信側の設計思想(コンセプト)により異なり、当然送信側と受信側の製造メーカが異なれば遅延時間も異なる。 したがって、送信側と受信側の組み合わせのたびに、遅延時間を上記方法で測定していた。
本発明は、これらの欠点を除去し、送信側と受信側に遅延時間を自動的に検出可能とする機能を有することで、送信側と受信側が遠距離に位置しても、送信側と受信側の製造メーカが異なっても、測定器がなくても、遅延時間を自動的に検出することが可能になる遅延時間及びAV同期検出方法を提供することを目的とする。
【0023】
【課題を解決するための手段】
本発明は上記目的を達成するため、映像信号及び音声信号を圧縮して伝送し、受信した信号を伸長するコーデックシステムにおいて、送信側で、デジタル映像信号及びデジタル音声信号の基準信号でサンプリングした時刻情報をビデオ圧縮データ及びオーディオ圧縮データに付加して伝送し、受信側で、受信した上記ビデオ圧縮データ及びオーディオ圧縮データに付加された時刻情報を抽出し、受信した上記ビデオ圧縮データ及びオーディオ圧縮データを伸長したデジタル映像信号及びデジタル音声信号の基準信号でサンプリングした時刻情報と上記抽出した時刻情報の差分を検出し、当該検出した差分情報に基づき、上記映像信号及び音声信号の送信側における入力時刻と受信側における出力時刻の差である遅延時間を自動的に検出するものである。
また、検出した映像信号及び音声信号の遅延時間の差分に基づき、映像信号と音声信号のAV同期を自動的に検出するものである。
【0024】
【発明の実施の形態】
図1に、本発明によるエンコーダの一実施例の構成を示し、詳細に説明する。図1は、ビデオデコーダ部101、フォーマット検出部102、オーディオA/D変換部128、CPU104、MPEGビデオエンコーダ部105、MPEGオーディオエンコーダ部106、STCカウンタ部129、ビデオPESパケット生成部108、オーディオPESパケット生成部109、プライベートPESパケット生成部110、STCカウンタ値ホールド部111、ビデオペイロードメモリ部112、オーディオペイロードメモリ部113、プライベートペイロードメモリ部114、PCR符号化部115、ビデオTSパケット制御部116、オーディオTSパケット制御部117、プライベートTS制御部118、PAT_TSパケット制御部119、PMT_TSパケット制御部120、PCR_TSパケット制御部121、バイトカウンタ部122、メモリ状態検出部123、ビデオ符号化レート計算部173より構成される。
【0025】
ビデオデコーダ部101、フォーマット検出部102、オーディオA/D変換部128、MPEGビデオエンコーダ部105、MPEGオーディオエンコーダ部106、ビデオPESパケット生成部108、オーディオPESパケット生成部109、プライベートPESパケット生成部110、ビデオペイロードメモリ部112の書き込み側、オーディオペイロードメモリ部113の書き込み側、プライベートペイロードメモリ部114の書き込み側、STCカウンタ部129は、ビデオデコーダ部101の出力である映像用クロック103を基準として動作する。例えば、27MHzである。
ビデオペイロードメモリ部112の読み出し側、オーディオペイロードメモリ部113の読み出し側、プライベートペイロードメモリ部114の読み出し側、ビデオTSパケット生成部116、オーディオTSパケット生成部117、プライベートTSパケット生成部118、PAT_TSパケット生成部119、PMT_TSパケット生成部120、PCR_TSパケット生成部121、バイトカウンタ部122、メモリ状態検出部123は、伝送路から得られる伝送クロック171を基準として動作する。例えば、伝送容量が8Mbit/secの場合はバイト処理のため、1/8となり1MHzとなる。
【0026】
続いて、動作について詳しく説明する。 ビデオデコーダ部101はアナログ映像信号124(例えばNTSC信号)を得ると、この信号をA/D変換してデコードし、デジタル映像信号127と、この信号と同位相の映像用クロック103を出力する。 フォーマット検出部102は、デジタル映像信号127と映像用クロック103を得ると、デジタル映像信号127のフォーマットの状態を検出する。例えばITU―R656の場合、デジタル映像信号127に存在する最初のSAVをトリガとし、映像用クロック103を基準とする画素カウンタおよびラインカウンタを動作させ、以後、デジタル映像信号127内のSAVを認識した時点の上記カウンタ値が、常に一定値であるかの判断により、フォーマットの正常と異常を判断する。また、映像信号の3フレームパルス131を出力する。3フレームパルスとは3フレーム間隔のパルス、いわゆる99ms間隔のパルスである。
【0027】
オーディオA/D変換部128は、アナログ音声信号125を得ると、この信号をA/D変換してデコードし、デジタル音声信号179(例えば、PCM信号)と音声用クロック181を出力する。 MPEGビデオエンコーダ部105は、CPU104からのビデオ符号化レート情報178に基づき、デジタル映像信号130を圧縮し、圧縮したビデオ圧縮データ133とビデオ圧縮クロック134を出力する。 CPU104は、ビデオ符号化レート計算部173からの伝送容量情報176を得て、ビデオ符号化レート情報178をMPEGビデオエンコーダ部105に出力する。 MPEGオーディオエンコーダ部106は、デジタル音声信号179と音声用クロック181を得ると、デジタル音声信号179を圧縮し、圧縮したオーディオ圧縮データ135とオーディオ圧縮クロック136を出力する。
【0028】
ビデオ符号化レート計算部173は伝送クロック171を基準とするカウンタとクロック174を基準とするカウンタを動作させ、後者のカウンタ値の任意の値で前者のカウンタ値を周期的にサンプルし、サンプルしたカウンタ値から伝送路の伝送容量を計算し、伝送容量情報176を出力する。 クロック174は、外部の水晶発振器等のクロック、または映像用クロック103であってもよい。ビデオPESパケット生成部108は、ビデオ圧縮データ133とビデオ圧縮クロック134を得ると、上記データにヘッダ等を付加してパケット化したビデオPESデータ138と書き込み信号139を生成し、ビデオPESデータ138をビデオペイロードメモリ部112に書き込む。
【0029】
オーディオPES生成部109は、オーディオ圧縮データ135とオーディオ圧縮クロック136を得ると上記データにヘッダ等を付加し、パケット化したオーディオPESデータ140と書き込み信号141を生成し、オーディオ圧縮データ140をオーディオペイロードメモリ部113に書き込む。 プライベートPES生成部110はプライベートデータ126を得ると、上記データにヘッダ等を付加して、パケット化したプライベートPESデータ142とプライベートクロック143を生成し、プライベートPESデータ142をプライベートペイロードメモリ部114に書き込む。
STCカウンタ部129は、映像用クロック103を基準として42bitのカウンタを動作させ、STCカウンタ値107を出力する。 STCカウンタ値ホールド部111は、PCR符号化部115からのホールド信号145に従い、STCカウンタ値107をホールドしホールドされたSTCカウンタ値144を出力する。 PCR符号化部115は、PCR_TSパケット制御部121からのPCR読み出し信号156に従い、ホールドされたSTCカウンタ値144を符号化し、PCR155を出力する。
【0030】
バイトカウンタ部122は伝送クロック171を得ると、伝送クロック171を基準として、188バイトまたは204バイトのカウンタを繰り返し動作させて、バイトカウンタ開始指示信号157とバイトカウンタ値158を出力する。188バイトまたは204バイトは、1TSパケットを意味する。 ビデオTSパケット制御部116はビデオ送出指示信号160とビデオペイロードメモリ部112の蓄積状態148により、読み出し信号147を生成し、ビデオペイロードメモリ部112からビデオPESデータ146を読み出し、バイトカウンタ値158とTSパケット開始指示信号157に従いヘッダ等を付加し、ビデオTSパケット159を生成して出力する。
オーディオTSパケット制御部117はオーディオ送出指示信号162とオーディオペイロードメモリ部113の蓄積状態151により、読み出し信号150を生成し、オーディオペイロードメモリ部113からオーディオPESデータ149を読み出し、バイトカウンタ値158とTSパケット開始指示信号157に従ってヘッダ等を付加し、オーディオTSパケット161を生成して出力する。プライベートTSパケット制御部118は、プライベート送出指示信号164とプライベートペイロードメモリ部114の蓄積状態154により、読み出し信号153を生成し、プライベートペイロードメモリ部114からプライベートPESデータ152を読み出し、バイトカウンタ値158とTSパケット開始指示信号157に従いヘッダ等を付加し、プライベートTSパケット163を生成して出力する。
【0031】
PCR_TS制御部121はフォーマット検出部102からの3フレームパルス131を得て、PCR読み出し信号156を生成し、PCR値155を読み出し、バイトカウンタ値158とTSパケット開始指示信号157に従いヘッダ等を付加し、PCR_TSパケット168を生成して出力する。 また、PCR_TSパケットを送出したことを示す送出完了信号180を出力する。 PMT_TSパケット制御部120は、PCR_TSパケット送出完了信号180を得てバイトカウンタ値158とTSパケット開始指示信号157に従い、ヘッダ等を付加し、PMT_TSパケット167を生成し出力する。 また、PCR_TSパケットとPMT_TSパケットの送出が完了したことを示す完了信号190を出力する。 PAT_TSパケット制御部119はPCR_TSパケットとPMT_TSパケットの送出完了信号190を得て、バイトカウンタ値158とTSパケット開始指示信号157に従ってヘッダ等を付加し、PAT_TSパケット165を生成し出力する。 また、PAT、PMT、PCRの各TSパケットの送出が完了した事を示す送出力完了信号166を、メモリ蓄積状態検出部123に出力する。
メモリ状態検出部123は、PAT、PMT、PCRのTSパケット送出完了信号166を得て、PAT、PMT、PCRのTSパケット送出以外のタイミングにおいて、オーディオペイロードメモリ部113の蓄積状態151とプライベートペイロードメモリ部114の蓄積状態154を検出し、TSパケット送出に必要なペイロードがメモリに蓄積されている場合、TSパケットを生成し送出し、PAT、PMT、PCR、オーディオ、プライベート以外のタイミング全てをビデオTSパケットの送出に割り当てる。 以上のように、各TSパケットが多重されてTS172が生成される。
【0032】
続いて、遅延時間およびAV同期検出方法に関するエンコーダ側の動作について説明する。 先頭ラインSAV検出部701は、MPEGビデオエンコーダ部105のリセット直後、最初に受信し圧縮するフレームに相当するデジタル映像信号127のフレーム先頭ラインのSAVを検出し、STCカウンタ値ホールド信号702を生成してSTCカウンタ値ホールド部703に出力する。 STCカウンタ値ホールド部703は、STCカウンタ値ホールド信号702を得るとSTCカウンタ値136をホールドし、ホールドされたSTCカウンタ値704をCPU104に出力する。 CPU104は、上記STCカウンタ値704をMPEGビデオエンコーダ部105に出力し、MPEGビデオエンコーダ部105で生成されるビデオ圧縮データのヘッダ領域に付加する。 例えば、ヘッダ領域とは、ES(Elementary Stream)のユーザデータ領域である。
先頭PCMヘッダ検出部705は、MPEGオーディオエンコーダ部106のリセット直後、最初に受信して圧縮するAAU(Audio Access Unit)に相当するデジタル音声信号179のPCMヘッダを検出し、STCカウンタ値ホールド信号706を生成してSTCカウンタ値ホールド部707に出力する。 STCカウンタ値ホールド部707は、STCカウンタ値ホールド信号706を得ると、STCカウンタ値136をホールドし、ホールドされたSTCカウンタ値708をCPU104に出力する。 CPU104は、得たSTCカウンタ値708をMPEGオーディオエンコーダ部106に出力し、MPEGオーディオエンコーダ部106で生成されるオーディオ圧縮データのヘッダ領域に付加する。例えば、ヘッダ領域とはESのユーザデータ領域である。
【0033】
次に、図2に本発明によるデコーダの構成の一実施例を示し詳細に説明する。図2は、ビデオ・オーディオ分離部203、STCカウンタ部210、メモリ部249、MPEGビデオデコーダ部211、メモリ部250、MPEGオーディオデコーダ部212、STCカウンタ値比較部214、クロック発生部221、ビデオD/A変換部222、オーディオD/A変換部224、先頭ラインSAV検出部226、先頭PCMヘッダ検出部228、STCカウンタ値ホールド部231、STCカウンタ値ホールド部233、STCカウンタ値差分検出部235、STCカウンタ値差分検出部237、時間情報変換部239、差分検出部248、時間情報変換部246、時間情報変換部255より構成される。
ビデオ・オーディオ分離部203は、TS201と伝送クロック202を得ると、TS201に多重されたビデオTSパケット及びオーディオTSパケットを分離する。 更に各々のTSパケットから、ビデオ圧縮データとオーディオ圧縮データを分離する。 分離したビデオ圧縮データ204とビデオ圧縮クロック205をMPEGビデオデコーダ部211に出力する。 分離したオーディオ圧縮データ206とオーディオ圧縮クロック207を、MPEGオーディオデコーダ212に出力する。 また、TS201に多重されたPCRパケットからSTCカウンタ値208を抽出し、STCカウンタ値203をSTCカウンタ部210とSTCカウンタ値比較部214に出力する。
【0034】
MPEGビデオデコーダ部211は、ビデオ圧縮データ204をメモリ249に蓄積しながら伸長し、デジタル映像信号216とこの信号と同位相のクロック217をビデオD/A変換部222に出力する。 MPEGオーディオデコーダ212は、オーディオ圧縮データ206をメモリ250に蓄積しながらデジタル音声信号251とこの信号と同位相のクロック219をオーディオD/A変換部224に出力する。 ビデオD/A変換部222は、デジタル映像信号216をD/A変換し、映像信号223を出力する。 オーディオD/A変換部224は、デジタル音声信号251をD/A変換し、音声信号225を出力する。
STCカウンタ部210は、システム起動直後のSTCカウンタ値208を得ると、STCカウンタ値208をロードし、クロック発生部221の出力であるシステムクロック209を基準とし動作する。 以後、周期的に受信するSTCカウンタ値208とその時のSTCカウンタ部210のSTCカウンタ値230をSTCカウンタ値比較部214で比較し、その差分情報215をクロック発生部221に出力する。 クロック発生部221は、上記差分情報215よりクロック周波数を調整する。
【0035】
次に、本発明による遅延時間及びAV同期検出方法に関するデコーダ側の構成、動作について説明する。 先頭ラインSAV検出部226は、MPEGビデオデコーダ部211がリセット直後、最初に受信するビデオ圧縮データ204を伸長して出力したデジタル映像信号216内のフレーム先頭ラインのSAVを検出し、STCカウンタ値ホールド信号227を生成して、STCカウンタ値ホールド部231に出力する。 STCカウンタ値ホールド部231は、STCカウンタ値ホールド信号227を得ると、STCカウンタ値230をホールドし、ホールドしたSTCカウンタ値232をSTCカウンタ値差分検出部235に出力する。
STCカウンタ値差分検出部235は、得たSTCカウンタ値232と、抽出データ(送信側でビデオ圧縮データに付加したSTCカウンタ値)218の差分を計算し、差分データ236を時間情報変換部239に出力する。 上記差分データ236は、映像信号の遅延時間を表すカウンタ値である。 時間情報変換部239は、得た差分データ236を時間情報253に変換する。 時間情報253は映像信号の遅延時間を示す値である。 先頭PCM検出部228は、MPEGオーディオデコーダ部212がリセット直後、最初に受信したオーディオ圧縮データ206を伸長して出力したデジタル音声信号251内のPCMヘッダを検出し、STCカウンタ値ホールド信号229を生成して、STCカウンタ値ホールド部233に出力する。
【0036】
STCカウンタ値ホールド部233は、STCカウンタ値ホールド信号229を得るとSTC力ウンタ値230をホールドし、ホールドしたホールドデータ234をSTCカウンタ値差分検出部237に出力する。 STCカウンタ値差分検出部237は、得たSTCカウンタ値234と抽出データ(エンコーダでビデオ圧縮データに付加したSTCカウンタ値)213の差分を計算し、差分データ238を時間情報変換部246に出力する。 差分データ238は、音声信号の遅延時間を表すカウンタ値である。 時間情報変換部246は、得た差分データ238を時間情報254に変換する。 時間情報254は音声信号の遅延時間を示す値である。
また、差分検出部248は、差分データ236と差分データ238を得ると、その差分データ247を出力する。 差分データ247は映像信号と音声信号の遅延時間の差を表すカウンタ値である。 時間情報変換部255は、差分データ247を得ると時間情報240に変換する。 時間情報240は映像信号と音声信号の遅延時間の差を示す値である。
【0037】
続いて、図3に本発明による遅延時間検出方法の概要の1例を示し説明する。図3は、カメラ301、マイク302、MPEGビデオエンコーダ部303、MPEGオーディオエンコーダ部309、多重部310、変調器304、復調器305、分離部311、MPEGビデオデコーダ部306、MPEGオーディオデコーダ部312、モニタ307、スピーカ303より構成される。
例えば、ポイント350の入力デジタル映像信号において、最初に圧縮するフレームに対応するフレーム先頭ラインのSAVを基準としてSTCカウンタ値をホールドする。 ホールドしたSTCカウンタ値351は、前述した通り受信側へ伝送される。 ポイント352の出力デジタル映像信号において、最初に伸長するフレームに対応するフレーム先頭ラインのSAVを基準にSTCカウンタ値353をホールドする。 伝送されてきた上記STCカウンタ値351とホールドしたSTCカウンタ値353の差分と、上記STCカウンタの基準クロックである27MHzにより、ポイント350からポイント352までの時間が計算できる。この時間が遅延時間となる。
以上のように、STCカウンタ値を、送信側と受信側の共通の時計と見なし、送信側において、送信側の入力映像信号及び音声信号の所定基準でサンプリングしたSTCカウンタ値、いわゆる入力映像信号及び音声信号の時刻情報を伝送し、受信側において、受信側で最初に出力する出力映像信号及び音声信号の所定基準でサンプリングしたSTCカウンタ値、いわゆる出力映像信号及び音声信号の時刻情報と上記送信された時刻情報の差分で遅延時間を把握する事ができる。
【0038】
【発明の効果】
以上のように、本発明によって、送信側と受信側が遠距離に位置しても、送信側と受信側の製造メーカが異なっても、測定器が無くても、遅延時間を自動的に検出することができる遅延時間及びAV同期検出方法を提供することができる。
【図面の簡単な説明】
【図1】本発明によるエンコーダの一実施例の構成を示すブロック図
【図2】本発明によるデコーダの一実施例の構成を示すブロック図
【図3】本発明による映像信号の遅延時間検出方法の概要を説明する図
【図4】従来技術におけるエンコーダの一例の構成を示すブロック図
【図5】従来技術におけるデコーダの一例の構成を示すブロック図
【図6】従来技術におけるシステムの一例の構成を示すブロック図
【符号の説明】
101:ビデオデコーダ部、102:フォーマット検出部、104:CPU、105:MPEGビデオエンコーダ部、106:MPEGオーディオエンコーダ部、108:ビデオPESパケット生成部、109:オーディオPESパケット生成部、110:プライベートPESパケット生成部、111:STCカウンタ値ホールド部、112:ビデオペイロードメモリ部、113:オーディオペイロードメモリ部、114:プライベートペイロードメモリ部、115:PCR符号化部、116:ビデオTSパケット制御部、117:オーディオTSパケット制御部、118:プライベートTS制御部、119:PAT_TSパケット制御部、120:PMT_TSパケット制御部、121:PCR_TSパケット制御部、122:バイトカウンタ部、123:メモリ状態検出部、128:オーディオA/D変換部、129:STCカウンタ部、173:ビデオ符号化レート計算部、701:先頭ラインSAV検出部、203:ビデオ・オーディオ分離部、210:STCカウンタ部、211:MPEGビデオデコーダ部、212:MPEGオーディオデコーダ部、214:STCカウンタ値比較部、221:クロック発生部、222:ビデオD/A変換部、224:オーディオD/A変換部、226:先頭ラインSAV検出部、228:先頭PCMヘッダ検出部、231:STCカウンタ値ホールド部、233:STCカウンタ値ホールド部、235:STCカウンタ値差分検出部、237:STCカウンタ値差分検出部、239:時間情報変換部、246:時間情報変換部、248:差分検出部、249:メモリ部、250:メモリ部、255:時間情報変換部、301:カメラ、302:マイク、303:MPEGビデオエンコーダ部、309:MPEGオーディオエンコーダ部、310:多重部、304:変調器、305:復調器、311:分離部、306:MPEGビデオデコーダ部、312:MPEGオーディオデコーダ部、307:モニタ、303:スピーカ。

Claims (2)

  1. 映像信号及び音声信号を圧縮して伝送し、受信した信号を伸長するコーデックシステムにおいて、送信側で、デジタル映像信号及びデジタル音声信号の基準信号でサンプリングした時刻情報をビデオ圧縮データ及びオーディオ圧縮データに付加して伝送し、受信側で、受信した上記ビデオ圧縮データ及びオーディオ圧縮データに付加された時刻情報を抽出し、受信した上記ビデオ圧縮データ及びオーディオ圧縮データを伸長したデジタル映像信号及びデジタル音声信号の基準信号でサンプリングした時刻情報と上記抽出した時刻情報の差分を検出し、当該検出した差分情報に基づき、上記映像信号及び音声信号の送信側における入力時刻と受信側における出力時刻の差である遅延時間を自動的に検出することを特徴とした遅延時間検出方法。
  2. 映像信号及び音声信号を圧縮して伝送し、受信した信号を伸長するコーデックシステムにおいて、送信側で、デジタル映像信号及びデジタル音声信号の基準信号でサンプリングした時刻情報をビデオ圧縮データ及びオーディオ圧縮データに付加して伝送し、受信側で、受信した上記ビデオ圧縮データ及びオーディオ圧縮データに付加された時刻情報を抽出し、受信した上記ビデオ圧縮データ及びオーディオ圧縮データを伸長したデジタル映像信号及びデジタル音声信号の基準信号でサンプリングした時刻情報と上記抽出した時刻情報の差分を検出し、当該検出した差分情報に基づき、上記映像信号及び音声信号の送信側における入力時刻と受信側における出力時刻の差である遅延時間を検出し、当該検出した映像信号及び音声信号の遅延時間の差分に基づき、映像信号と音声信号のAV同期を自動的に検出することを特徴としたAV同期検出方法。
JP2002267590A 2002-09-13 2002-09-13 遅延時間検出方法及びav同期検出方法 Pending JP2004104730A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002267590A JP2004104730A (ja) 2002-09-13 2002-09-13 遅延時間検出方法及びav同期検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002267590A JP2004104730A (ja) 2002-09-13 2002-09-13 遅延時間検出方法及びav同期検出方法

Publications (1)

Publication Number Publication Date
JP2004104730A true JP2004104730A (ja) 2004-04-02

Family

ID=32266039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002267590A Pending JP2004104730A (ja) 2002-09-13 2002-09-13 遅延時間検出方法及びav同期検出方法

Country Status (1)

Country Link
JP (1) JP2004104730A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100793790B1 (ko) * 2006-03-09 2008-01-11 엘지전자 주식회사 무선 비디오 시스템 및 이 무선 비디오 시스템에서 신호를처리하는 방법
JP2008507183A (ja) * 2004-07-15 2008-03-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 2つの伝送経路により伝送された2つの信号の間の遅延の測定システム
CN100379279C (zh) * 2004-06-01 2008-04-02 三洋电机株式会社 解码装置
JP2009303059A (ja) * 2008-06-16 2009-12-24 Canon Inc 動画像処理システム、動画像処理方法、プログラム及び記憶媒体
US8467444B2 (en) 2008-06-16 2013-06-18 Canon Kabushiki Kaisha Information processing system, information processing apparatus, information processing method, and program
CN109906613A (zh) * 2016-09-14 2019-06-18 Dts有限责任公司 音频和视频的多模式同步渲染
CN109963186A (zh) * 2017-12-22 2019-07-02 宏正自动科技股份有限公司 影音同步装置及影音数据同步方法
CN112423120A (zh) * 2020-01-22 2021-02-26 上海哔哩哔哩科技有限公司 音频时延的检测方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100379279C (zh) * 2004-06-01 2008-04-02 三洋电机株式会社 解码装置
JP2008507183A (ja) * 2004-07-15 2008-03-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 2つの伝送経路により伝送された2つの信号の間の遅延の測定システム
KR100793790B1 (ko) * 2006-03-09 2008-01-11 엘지전자 주식회사 무선 비디오 시스템 및 이 무선 비디오 시스템에서 신호를처리하는 방법
JP2009303059A (ja) * 2008-06-16 2009-12-24 Canon Inc 動画像処理システム、動画像処理方法、プログラム及び記憶媒体
US8467444B2 (en) 2008-06-16 2013-06-18 Canon Kabushiki Kaisha Information processing system, information processing apparatus, information processing method, and program
CN109906613A (zh) * 2016-09-14 2019-06-18 Dts有限责任公司 音频和视频的多模式同步渲染
US11184661B2 (en) 2016-09-14 2021-11-23 Dts, Inc. Multimode synchronous rendering of audio and video
CN109963186A (zh) * 2017-12-22 2019-07-02 宏正自动科技股份有限公司 影音同步装置及影音数据同步方法
CN109963186B (zh) * 2017-12-22 2021-12-17 宏正自动科技股份有限公司 影音同步装置及影音数据同步方法
CN112423120A (zh) * 2020-01-22 2021-02-26 上海哔哩哔哩科技有限公司 音频时延的检测方法及系统

Similar Documents

Publication Publication Date Title
JP4481444B2 (ja) 画像符号化装置
JP4208398B2 (ja) 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
JP4983923B2 (ja) デコーダ装置、およびデコード方法
KR100638138B1 (ko) 비디오/오디오 부호화 및 다중화 기능을 가진 하드웨어장치 및 그 작동 방법
JP2004104730A (ja) 遅延時間検出方法及びav同期検出方法
US7725610B2 (en) Data processing apparatus that transmits and receives moving image data to and from an external device through a transmission path
JP4257478B2 (ja) 記録再生装置
JPH10334615A (ja) 基準クロック再生装置および記録装置
US20070203597A1 (en) Audio data processing apparatus
JP3990813B2 (ja) 符号化装置、符号化方法、ディジタル伝送装置、及びディジタル伝送システム
US9866898B2 (en) Elementary stream multiplexing method, multiplexing system, encoding or decoding method and apparatus
JP2004350292A (ja) Dvb−asi方式のデジタル放送受信器の非同期伝送ストリーム受信装置及びその非同期伝送ストリーム伝送方法
JP4186514B2 (ja) 放送受信機
JP4738251B2 (ja) 同期自動調整装置
JP2001111610A (ja) 情報データ伝送システムの受信装置
KR0154005B1 (ko) 시스템 부호화기를 위한 재생시간정보 발생장치
JP2010028642A (ja) 画像伝送システム
KR100739802B1 (ko) 데이터 재생 장치 및 방법
JP3698406B2 (ja) データ多重伝送方法
JP2005020429A (ja) ストリーム受信装置、ストリーム送信装置およびストリーム送受信システム
JP2001125596A (ja) オーディオデータ伝送方法及びオーディオデータ伝送装置
JP2004088745A (ja) 放送受信再生システム及び放送受信装置
JP2004356858A (ja) 伝送システム、伝送方法及び伝送装置
JP2005277461A (ja) データ伝送システム
JP2006014079A (ja) ディジタル信号処理装置及びディジタル信号処理方法