JP3958531B2 - Synchronous control device - Google Patents

Synchronous control device Download PDF

Info

Publication number
JP3958531B2
JP3958531B2 JP2001086580A JP2001086580A JP3958531B2 JP 3958531 B2 JP3958531 B2 JP 3958531B2 JP 2001086580 A JP2001086580 A JP 2001086580A JP 2001086580 A JP2001086580 A JP 2001086580A JP 3958531 B2 JP3958531 B2 JP 3958531B2
Authority
JP
Japan
Prior art keywords
signal
encoding
image signal
image
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001086580A
Other languages
Japanese (ja)
Other versions
JP2002290969A (en
Inventor
光晴 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ikegami Tsushinki Co Ltd
Original Assignee
Ikegami Tsushinki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ikegami Tsushinki Co Ltd filed Critical Ikegami Tsushinki Co Ltd
Priority to JP2001086580A priority Critical patent/JP3958531B2/en
Publication of JP2002290969A publication Critical patent/JP2002290969A/en
Application granted granted Critical
Publication of JP3958531B2 publication Critical patent/JP3958531B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、画像や音声のようなデータの入力信号を符号化して多重伝送する符号化装置の同期制御装置に関するものである。
【０００２】
【従来の技術】
一般に、画像信号及び音声信号を符号化して多重伝送する場合、受信側で分離及び復号化処理した後に再生する際に、同期がとられた画像信号及び音声信号を出力する必要がある。その理由は、復号された画像信号と音声信号との間に時間差が生じると、受信側で違和感が発生するからである。
【０００３】
従来の同期制御装置は、図４に示すように、画像信号が入力部１を通じて入力される画像符号化器２と、画像信号と同期をとった音声信号が入力部３を通じて入力される音声符号化器４と、入力部５を通じて同期信号が入力される制御器６と、遅延回路７と、多重化器８と、多重化器からの出力を伝送路に出力する出力部９とを具える。
【０００４】
画像符号化器２は、入力された画像信号を符号化し、符号化した画像信号を多重化器８に出力する。音声符号化器４は、入力された音声信号を符号化する。符号化された音声信号は、符号化された画像信号と同期をとるために、遅延回路７に入力され、所定時間遅延された後に多重化器８に入力される。
【０００５】
多重化器８は、符号化された画像信号及び音声信号を多重化し、伝送路に応じたフォーマットに変換した後に、多重化された画像信号及び音声信号を出力部９を通じて伝送路に出力する。制御器６は、符号化開始信号を画像符号化器２及び音声符号化器４に供給する。
【０００６】
近年、動画像符号化装置の国際標準としてＭＰＥＧ(Moving Picture Experts Group)方式が提案されている。ＭＰＥＧ方式では、入力する動画像に対して、Ｉピクチャ（フレーム内符号化画像）、Ｐピクチャ（順方向予測画像）及びＢピクチャ（双方向予測画像）の３種類の符号化画像を出力する。また、ＭＰＥＧ方式では、タイムスタンプという出力タイミング情報を使用している。タイムスタンプとしては、プレゼンテーションタイムスタンプと、デコーディングタイムスタンプとがある。
【０００７】
ＭＰＥＧ方式の復号器のシステムタイムクロックがプレゼンテーションタイムスタンプに一致すると、画像信号又は音声信号を再生し及び出力する。システムタイムクロックは、ＭＰＥＧで定義された基準となる時刻情報である。デコーディングタイムスタンプは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの復号順序及び再生出力順序の相違に対応するために設けられる。プレゼンテーションタイムスタンプがデコーディングタイムスタンプと一致する場合、タイムスタンプとしてプレゼンテーションタイムスタンプのみを付加する。
【０００８】
ＭＰＥＧ２では、ＰＥＳ(Packetized Elementary Stream)パケットのように複数のパケットを可変長の長さでパケット化して、ビデオストリームにタイムスタンプを付加している。一般に、符号化された画像信号及び音声信号には、対応するタイムスタンプがそれぞれ付加される。そのようなタイムスタンプは、画像信号及び音声信号とともにアクセスユニットを基準として付加される。音声信号のアクセスユニットの場合、シンクワード（オーディオストリーム内の一定ワードごとに存在するコード）部分を基準にしてタイムスタンプが付加され、画像信号のアクセスユニットの場合、ピクチャスタートコード（ビデオストリーム内にあるピクチャの区分を示すコード）部分を基準にしてタイムスタンプが付加される。
【０００９】
また、プレゼンテーションタイムスタンプ及びデコーディングタイムスタンプは、ＰＥＳパケットのヘッダ内に付加される。この場合、ＰＥＳパケットの実効パケットデータであるペイロード中に出現するＰＥＳパケットのヘッダの直後のアクセスユニットを基準にして、プレゼンテーションタイムスタンプ及びデコーディングタイムスタンプの値が算出される。
【００１０】
【発明が解決しようとする課題】
図４に示したような従来の同期制御装置の場合、遅延回路７の遅延時間が一定である。したがって、画像符号化器２の処理時間が符号化パラメータの変化などに起因して変動した場合、遅延回路７が正確かつ高精度に追従できないので、受信側の復号化器で再生したときに画像信号と音声信号との間に時間差が生じ、受信側で違和感が発生する。
【００１１】
このような時間差を、復号器によって解消することができるが、放送システムのように受信側の個数が送信側の個数に比べて著しく多い場合には、受信側で対応するとコスト的に高くなる。
【００１２】
特に、ＭＰＥＧのような動画像符号化システムの場合、符号化されたフレーム内画像及び予測画像が混在して出力され、図４に示す構成の同期制御装置では、受信側の復号化器で再生したときの画像信号と音声信号との時間差が顕著になる。
【００１３】
本発明の目的は、受信側における画像信号と音声信号との間の時間差の影響を低コストで軽減する同期制御装置を提供することである。
【００１４】
本発明による同期制御装置は、
画像信号をＭＰＥＧ方式で符号化する手段と、
その画像信号と同期をとりながら、前記画像信号よりも符号化する処理時間が短い所定の信号を符号化する手段と、
前記画像信号と前記所定の信号との同期をとる同期信号に基づいて、前記画像信号を符号化する手段及び前記所定の信号を符号化する手段の符号化を開始させる信号並びに遅延計測用クロック信号を発生させる手段と、
ＭＰＥＧビデオストリームの開始信号を判定することによって、前記画像信号の符号化出力の有効性を検出する信号を発生させる手段と、
前記符号化を開始させる信号と前記画像信号の符号化出力の有効性を検出する信号との位相差を、前記遅延計測用クロック信号を用いて検出する手段と、
符号化された前記所定の信号を、その位相差から前記所定の信号を符号化する手段での処理時間を減算した時間だけ遅延させる手段とを具えることを特徴とするものである。
【００１５】
本発明によれば、符号化された所定の信号を、符号化の開始時と画像信号の符号化の検出時との差から所定の信号の符号化の処理時間を減算した時間だけ遅延させているので、画像信号と所定の信号との位相差が大幅に小さくなる。その結果、受信側における画像信号と音声信号のような所定の信号との間の時間差の影響が大幅に軽減する。なお、本発明による同期制御装置を、送信側で比較的少数の回路によって構成することができるので、コスト的に高くなるおそれはない。
【００１６】
本発明による他の同期制御装置は、
画像信号をＭＰＥＧ方式で符号化する手段と、
その画像信号と同期をとりながら、前記画像信号よりも符号化する処理時間が短い所定の信号を符号化する手段と、
前記画像信号と前記所定の信号との同期をとる同期信号に基づいて、前記画像信号を符号化する手段及び前記所定の信号を符号化する手段の符号化を開始させる信号並びに遅延計測用クロック信号を発生させる手段と、
ＭＰＥＧビデオストリームの開始信号を判定することによって、前記画像信号の符号化出力の有効性を検出する信号を発生させる手段と、
前記符号化を開始させる信号と前記画像信号の符号化出力の有効性を検出する信号との位相差を、前記遅延計測用クロック信号を用いて検出する手段と、
符号化された前記画像信号及び所定の信号の出力タイミングを、前記位相差から前記所定の信号を符号化する手段での処理時間を減算した時間に基づいて補正して、前記画像信号及び所定の信号を多重化する手段とを具えることを特徴とするものである。
【００１７】
本発明によれば、符号化された画像信号及び所定の信号の出力タイミングを、符号化を開始させる信号と画像信号の符号化出力の有効性を検出する信号との位相差から所定の信号の符号化の処理時間を減算した時間に基づいて補正して、画像信号及び所定の信号を多重化しているので、画像信号と所定の信号との位相差が大幅に小さくなる。その結果、受信側における画像信号と音声信号のような所定の信号との間の時間差の影響が大幅に軽減する。本発明による他の同期制御装置も、送信側で比較的少数の回路によって構成することができるので、コスト的に高くなるおそれはない。
【００１８】
前記位相差を検出する手段は、例えば、符号化する処理を開始させる信号によって計測を開始するとともに、前記画像信号の符号化出力の有効性を検出する信号が前記有効性を検出することによって計測を終了する手段を有する。
【００１９】
本発明による同期制御装置は、符号化されたフレーム内画像及び予測画像が混在して出力されるＭＰＥＧの場合に有効である。また、前記所定の信号を音声信号又は文字信号（例えば、文字スーパー、字幕）とすることができる。
【００２０】
【発明の実施の形態】
本発明による同期制御装置の実施の形態を、図面を参照して詳細に説明する。図１は、本発明による同期制御装置の第１の実施の形態を示す図である。本実施の形態では、符号化方式としてＭＰＥＧ方式に適用し、第１信号として画像信号を使用し、第２信号として音声信号を使用し、これら画像信号及び音声信号を多重化して出力する場合について説明する。
【００２１】
この同期制御装置は、画像信号が入力部１１を通じて入力される画像符号化器１２と、画像信号と同期をとった音声信号が入力部１３を通じて入力される音声符号化器１４と、入力部１５を通じて同期信号が入力される制御器１６と、有効データ検出器１７と、可変遅延回路１８と、遅延計測器１９と、多重化器２０と、多重化器からの出力を伝送路に出力する出力部２１とを具える。
【００２２】
画像信号及び音声信号は、入力部１１及び１３にそれぞれ入力される前に互いに同期がとられている。画像符号化器１２によって符号化された画像信号は、有効データ検出器１７及び多重化器２０に入力される。
【００２３】
有効データ検出器１７は、符号化された画像信号の有効データを検出するものであり、有効データを検出すると、遅延計測器１９に検出信号を出力する。有効データを、例えばＭＰＥＧ２のＳＨＣ(Sequence Header Code: 0x000001B3)から始まるデータとする。ＳＨＣは、規格でＭＰＥＧ２ビデオストリームの開始信号として定められる３２ビット長のユニークな符号語である。すなわち、開始符号以外の意味で現れることはない。このユニークコードを１バイトずつ比較して検出する。
【００２４】
音声符号化器１４によって符号化された音声信号は、可変遅延回路１８に入力される。画像信号と音声信号との同期をとった同期信号が、入力部１５を通じて制御器１６に入力される。制御器１６は、符号化開始信号を画像符号化器１２、遅延計測器１９及び音声符号化器１４に出力し、計測用クロック（フレーム）信号を遅延計測器１９に出力する。
【００２５】
遅延計測器１９は、符号化開始信号が入力されると計測を開始し、検出信号が入力されると計測を終了する。なお、計測の際には計測用クロック信号を使用する。計測用クロック信号としては、同期信号に基づいて発生したクロック信号を使用するが、遅延時間が数フレームに及ぶ場合にはフレームパルス信号を使用してもよい。遅延計測器１９の計測値に音声符号化器１４での処理時間を減算した値を、制御値として可変遅延回路１８に供給され、可変遅延回路１８は、その制御値に応じて遅延時間を設定する。または、計測値を可変遅延回路１８に供給して、可変遅延回路１８内で音声符号化器１４の処理時間を減算した値を、遅延時間として設定してもよい。
【００２６】
画像符号化器１２からの出力及び可変遅延回路１８からの出力は、多重化器２０で多重化され、伝送路に応じたフォーマットに変換した後に、多重化された画像信号及び音声信号を出力部２１を通じて伝送路に出力される。
【００２７】
遅延計測器１９の動作を、図２のタイムチャートを用いて更に詳しく説明する。
図２において、入力同期信号としてフレームパルス信号を使用する。すなわち、入力同期信号は、２フィールドに１回のパルス信号となる。符号化開始信号は、任意のタイミングで出力される。
【００２８】
画像符号化器１２は、符号化開始信号によって符号化処理を開始するが、フレーム内符号化やフレーム間符号化のために、有効な符号化画像をすぐに得ることができない。また、符号化パラメータの設定によっても有効な画像をすぐに得ることができない。図２の場合には、有効データが２フレーム遅れて出力されることを示している。
【００２９】
有効データ検出器１７は、符号化された画像信号が有効となったタイミングでパルスを出力する。ＭＰＥＧ２方式の場合、ＳＨＣを検出したときが有効データとなる。遅延計測器１９は、符号化開始信号が出力された瞬時から有効データが出力された瞬時までの区間Ｔｄに音声符号化処理時間Ｄａを減じた値、すなわち（Ｔｄ−Ｄａ）を、可変遅延回路１８に供給する。
【００３０】
図３は、本発明による同期制御装置の第２の実施の形態を示す図である。図３において、図１と同一構成のパーツについては同一符号を付す。
本実施の形態では、可変遅延回路１８（図１）の代わりに、遅延回路７（図４）と同一構成の遅延回路２２を設ける。
【００３１】
多重化器２０には、画像符号化器１２の出力及び遅延回路２２の出力だけでなく、遅延計測器１９の出力も入力される。ＭＰＥＧ方式などのように、プレゼンテーションタイムスタンプやデコーディングタイムスタンプと称する時刻情報を多重化して伝送する場合、遅延計測器１９によって得られた遅延量をプレゼンテーションタイムスタンプやデコーディングタイムスタンプに加算することによって、これらプレゼンテーションタイムスタンプやデコーディングタイムスタンプが補正され、補正したプレゼンテーションタイムスタンプやデコーディングタイムスタンプを、新たな時刻情報として多重化する。
【００３２】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、上記実施の形態では符号化方式としてＭＰＥＧ方式に適用した場合について説明したが、本発明を、ＭＰＥＧ方式以外の他の任意の符号化方式に適用することもできる。
【００３３】
また、第１信号として画像信号を用いるとともに第２信号として音声信号を用いる場合について説明したが、第１信号と第２信号のそれ以外の組合せについても適用することができ、例えば、第１信号として画像信号を用いるとともに第２信号として文字信号を用いることもできる。
【図面の簡単な説明】
【図１】 本発明による同期制御装置の第１の実施の形態を示す図である。
【図２】 図１の遅延計測器のタイミングチャートである。
【図３】 本発明による同期制御装置の第２の実施の形態を示す図である。
【図４】 従来の同期制御装置を示す図である。
【符号の説明】
１，３，５，１１，１３，１５ 入力部
２，１２ 画像符号化器
４，１４ 音声符号化器
６，１６ 制御器
７，２２ 遅延回路
８，２０ 多重化器
９，２１ 出力部
１７ 有効データ検出器
１８ 可変遅延回路
１９ 遅延計測器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a synchronization control device of an encoding device that encodes and multiplexes an input signal of data such as an image or sound.
[0002]
[Prior art]
In general, when an image signal and an audio signal are encoded and multiplexed and transmitted, it is necessary to output a synchronized image signal and audio signal when reproducing after being separated and decoded on the receiving side. The reason is that when there is a time difference between the decoded image signal and audio signal, the receiving side will feel uncomfortable.
[0003]
As shown in FIG. 4, the conventional synchronization control apparatus includes an image encoder 2 in which an image signal is input through an input unit 1, and an audio code in which an audio signal synchronized with the image signal is input through an input unit 3. And a delay circuit 7, a multiplexer 8, and an output unit 9 that outputs the output from the multiplexer to the transmission path. .
[0004]
The image encoder 2 encodes the input image signal and outputs the encoded image signal to the multiplexer 8. The speech encoder 4 encodes the input speech signal. The encoded audio signal is input to the delay circuit 7 in order to synchronize with the encoded image signal, and is input to the multiplexer 8 after being delayed for a predetermined time.
[0005]
The multiplexer 8 multiplexes the encoded image signal and audio signal, converts them into a format corresponding to the transmission path, and then outputs the multiplexed image signal and audio signal to the transmission path through the output unit 9. The controller 6 supplies an encoding start signal to the image encoder 2 and the audio encoder 4.
[0006]
In recent years, the MPEG (Moving Picture Experts Group) system has been proposed as an international standard for moving picture coding apparatuses. In the MPEG system, three types of encoded images of an I picture (intra-frame encoded image), a P picture (forward prediction image), and a B picture (bidirectional prediction image) are output for an input moving image. In the MPEG system, output timing information called a time stamp is used. The time stamp includes a presentation time stamp and a decoding time stamp.
[0007]
When the system time clock of the MPEG decoder matches the presentation time stamp, an image signal or an audio signal is reproduced and output. The system time clock is reference time information defined in MPEG. The decoding time stamp is provided to cope with a difference in decoding order and reproduction output order of I picture, P picture, and B picture. If the presentation time stamp matches the decoding time stamp, only the presentation time stamp is added as the time stamp.
[0008]
In MPEG2, a plurality of packets are packetized with a variable length such as a PES (Packetized Elementary Stream) packet, and a time stamp is added to the video stream. In general, a corresponding time stamp is added to each of the encoded image signal and audio signal. Such a time stamp is added on the basis of the access unit together with the image signal and the audio signal. In the case of an audio signal access unit, a time stamp is added with reference to the sync word (a code existing for each fixed word in the audio stream), and in the case of an image signal access unit, a picture start code (in the video stream) A time stamp is added with reference to a code) portion indicating a certain picture segment.
[0009]
The presentation time stamp and the decoding time stamp are added in the header of the PES packet. In this case, the values of the presentation time stamp and the decoding time stamp are calculated based on the access unit immediately after the header of the PES packet appearing in the payload which is the effective packet data of the PES packet.
[0010]
[Problems to be solved by the invention]
In the case of the conventional synchronous control device as shown in FIG. 4, the delay time of the delay circuit 7 is constant. Therefore, when the processing time of the image encoder 2 fluctuates due to a change in the encoding parameter, the delay circuit 7 cannot accurately and accurately follow, so that when the image is reproduced by the decoder on the receiving side, There is a time difference between the signal and the audio signal, and a sense of incongruity occurs on the receiving side.
[0011]
Such a time difference can be eliminated by a decoder. However, when the number on the receiving side is significantly larger than the number on the transmitting side as in a broadcasting system, the cost on the receiving side is high.
[0012]
In particular, in the case of a moving picture coding system such as MPEG, the coded intra-frame picture and the predicted picture are mixedly output, and in the synchronous control device having the configuration shown in FIG. 4, it is reproduced by the decoder on the receiving side. In this case, the time difference between the image signal and the audio signal becomes significant.
[0013]
An object of the present invention is to provide a synchronization control device that reduces the influence of a time difference between an image signal and an audio signal on the receiving side at a low cost.
[0014]
The synchronous control device according to the present invention comprises:
Means for encoding an image signal in MPEG format;
Means for encoding a predetermined signal having a shorter processing time than the image signal while synchronizing with the image signal;
Based on a synchronization signal that synchronizes the image signal and the predetermined signal, a signal for starting encoding of the means for encoding the image signal and a means for encoding the predetermined signal, and a clock signal for delay measurement Means for generating
Means for generating a signal for detecting the validity of the encoded output of the image signal by determining a start signal of the MPEG video stream ;
Means for detecting a phase difference between a signal for starting the encoding and a signal for detecting the validity of the encoded output of the image signal, using the delay measurement clock signal;
And means for delaying the encoded predetermined signal by a time obtained by subtracting the processing time of the means for encoding the predetermined signal from the phase difference.
[0015]
According to the present invention, the predetermined encoded signal is delayed by a time obtained by subtracting the encoding processing time of the predetermined signal from the difference between the start of encoding and the detection of encoding of the image signal. Therefore, the phase difference between the image signal and the predetermined signal is greatly reduced. As a result, the influence of the time difference between the image signal and the predetermined signal such as the audio signal on the receiving side is greatly reduced. Since the synchronization control device according to the present invention can be configured with a relatively small number of circuits on the transmission side, there is no risk of high costs.
[0016]
Another synchronous control device according to the present invention is:
Means for encoding an image signal in MPEG format;
Means for encoding a predetermined signal having a shorter processing time than the image signal while synchronizing with the image signal;
Based on a synchronization signal that synchronizes the image signal and the predetermined signal, a signal for starting encoding of the means for encoding the image signal and a means for encoding the predetermined signal, and a clock signal for delay measurement Means for generating
Means for generating a signal for detecting the validity of the encoded output of the image signal by determining a start signal of the MPEG video stream ;
Means for detecting a phase difference between a signal for starting the encoding and a signal for detecting the validity of the encoded output of the image signal, using the delay measurement clock signal;
The output timing of the encoded image signal and the predetermined signal is corrected based on the time obtained by subtracting the processing time in the means for encoding the predetermined signal from the phase difference, and the image signal and the predetermined signal are corrected. And means for multiplexing the signals.
[0017]
According to the present invention, the output timing of the coded image signal and a predetermined signal, the predetermined signal from the phase difference between the signal for detecting the effectiveness of the coded output of the cell signal and the image signal starts encoding Since the image signal and the predetermined signal are multiplexed by correcting based on the time obtained by subtracting the encoding processing time , the phase difference between the image signal and the predetermined signal is significantly reduced. As a result, the influence of the time difference between the image signal and the predetermined signal such as the audio signal on the receiving side is greatly reduced. Since the other synchronization control device according to the present invention can also be configured by a relatively small number of circuits on the transmission side, there is no risk of high costs.
[0018]
The means for detecting the phase difference is measured by, for example, starting measurement by a signal for starting the encoding process and detecting a validity by a signal for detecting the validity of the encoded output of the image signal. Means for terminating.
[0019]
The synchronization control device according to the present invention is effective in the case of MPEG in which encoded intra-frame images and predicted images are mixedly output. Further, the predetermined signal may be a voice signal or a character signal (for example, a character super or subtitle).
[0020]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of a synchronous control device according to the present invention will be described in detail with reference to the drawings. FIG. 1 is a diagram showing a first embodiment of a synchronous control device according to the present invention. In this embodiment, a case where the MPEG system is applied as an encoding system, an image signal is used as a first signal, an audio signal is used as a second signal, and these image signal and audio signal are multiplexed and output. explain.
[0021]
This synchronization control apparatus includes an image encoder 12 to which an image signal is input through an input unit 11, an audio encoder 14 to which an audio signal synchronized with the image signal is input through an input unit 13, and an input unit 15. The controller 16, the valid data detector 17, the variable delay circuit 18, the delay measuring device 19, the multiplexer 20, and the output from the multiplexer are output to the transmission line. Part 21.
[0022]
The image signal and the audio signal are synchronized with each other before being input to the input units 11 and 13, respectively. The image signal encoded by the image encoder 12 is input to the valid data detector 17 and the multiplexer 20.
[0023]
The valid data detector 17 detects valid data of the encoded image signal, and outputs a detection signal to the delay measuring device 19 when valid data is detected. The valid data is data starting from, for example, MPEG2 SHC (Sequence Header Code: 0x000001B3). SHC is a unique 32-bit codeword defined as a start signal of an MPEG2 video stream by the standard. That is, it does not appear in a meaning other than the start code. This unique code is detected by comparing byte by byte.
[0024]
The audio signal encoded by the audio encoder 14 is input to the variable delay circuit 18. A synchronization signal obtained by synchronizing the image signal and the audio signal is input to the controller 16 through the input unit 15. The controller 16 outputs an encoding start signal to the image encoder 12, the delay measuring device 19, and the speech encoder 14, and outputs a measurement clock (frame) signal to the delay measuring device 19.
[0025]
The delay measuring device 19 starts measurement when an encoding start signal is input, and ends the measurement when a detection signal is input. Note that a measurement clock signal is used for measurement. As the measurement clock signal, a clock signal generated based on the synchronization signal is used. However, when the delay time reaches several frames, a frame pulse signal may be used. A value obtained by subtracting the processing time in the speech encoder 14 from the measurement value of the delay measuring device 19 is supplied as a control value to the variable delay circuit 18, and the variable delay circuit 18 sets the delay time according to the control value. To do. Alternatively, a value obtained by supplying the measured value to the variable delay circuit 18 and subtracting the processing time of the speech encoder 14 in the variable delay circuit 18 may be set as the delay time.
[0026]
The output from the image encoder 12 and the output from the variable delay circuit 18 are multiplexed by the multiplexer 20 and converted into a format according to the transmission path, and then the multiplexed image signal and audio signal are output to the output unit. 21 to the transmission line.
[0027]
The operation of the delay measuring device 19 will be described in more detail using the time chart of FIG.
In FIG. 2, a frame pulse signal is used as an input synchronization signal. That is, the input synchronization signal becomes a pulse signal once every two fields. The encoding start signal is output at an arbitrary timing.
[0028]
The image encoder 12 starts the encoding process in response to the encoding start signal, but cannot obtain an effective encoded image immediately because of intraframe encoding or interframe encoding. Also, an effective image cannot be obtained immediately even by setting the encoding parameter. In the case of FIG. 2, the valid data is output with a delay of 2 frames.
[0029]
The valid data detector 17 outputs a pulse at the timing when the encoded image signal becomes valid. In the case of the MPEG2 system, valid data is obtained when an SHC is detected. The delay measuring device 19 calculates a value obtained by subtracting the speech encoding processing time Da in a section Td from the moment when the encoding start signal is output to the moment when the effective data is output, that is, (Td−Da), and a variable delay circuit. 18 is supplied.
[0030]
FIG. 3 is a diagram showing a second embodiment of the synchronous control device according to the present invention. In FIG. 3, parts having the same configuration as in FIG.
In the present embodiment, a delay circuit 22 having the same configuration as that of the delay circuit 7 (FIG. 4) is provided instead of the variable delay circuit 18 (FIG. 1).
[0031]
The multiplexer 20 receives not only the output of the image encoder 12 and the output of the delay circuit 22 but also the output of the delay measuring device 19. When multiplexing and transmitting time information called a presentation time stamp or a decoding time stamp as in the MPEG system, the delay amount obtained by the delay measuring device 19 is added to the presentation time stamp or the decoding time stamp. Thus, the presentation time stamp and decoding time stamp are corrected, and the corrected presentation time stamp and decoding time stamp are multiplexed as new time information.
[0032]
The present invention is not limited to the above-described embodiment, and many changes and modifications can be made.
For example, in the above embodiment, the case where the MPEG system is applied as the encoding system has been described, but the present invention can also be applied to any other encoding system other than the MPEG system.
[0033]
Moreover, although the case where the image signal is used as the first signal and the audio signal is used as the second signal has been described, the present invention can be applied to other combinations of the first signal and the second signal, for example, the first signal. An image signal can be used as the second signal and a character signal can be used as the second signal.
[Brief description of the drawings]
FIG. 1 is a diagram showing a first embodiment of a synchronous control device according to the present invention.
FIG. 2 is a timing chart of the delay measuring device of FIG.
FIG. 3 is a diagram showing a second embodiment of a synchronous control device according to the present invention.
FIG. 4 is a diagram showing a conventional synchronous control device.
[Explanation of symbols]
1, 3, 5, 11, 13, 15 Input unit 2, 12 Image encoder 4, 14 Audio encoder 6, 16 Controller 7, 22 Delay circuit 8, 20 Multiplexer 9, 21 Output unit 17 Effective Data detector 18 Variable delay circuit 19 Delay measuring instrument

Claims (4)

画像信号をＭＰＥＧ方式で符号化する手段と、
その画像信号と同期をとりながら、前記画像信号よりも符号化する処理時間が短い所定の信号を符号化する手段と、
前記画像信号と前記所定の信号との同期をとる同期信号に基づいて、前記画像信号を符号化する手段及び前記所定の信号を符号化する手段の符号化を開始させる信号並びに遅延計測用クロック信号を発生させる手段と、
ＭＰＥＧビデオストリームの開始信号を判定することによって、前記画像信号の符号化出力の有効性を検出する信号を発生させる手段と、
前記符号化を開始させる信号と前記画像信号の符号化出力の有効性を検出する信号との位相差を、前記遅延計測用クロック信号を用いて検出する手段と、
符号化された前記所定の信号を、その位相差から前記所定の信号を符号化する手段での処理時間を減算した時間だけ遅延させる手段とを具えることを特徴とする同期制御装置。Means for encoding an image signal in MPEG format;
Means for encoding a predetermined signal having a shorter processing time than the image signal while synchronizing with the image signal;
Based on a synchronization signal that synchronizes the image signal and the predetermined signal, a signal for starting encoding of the means for encoding the image signal and a means for encoding the predetermined signal, and a clock signal for delay measurement Means for generating
Means for generating a signal for detecting the validity of the encoded output of the image signal by determining a start signal of the MPEG video stream ;
Means for detecting a phase difference between a signal for starting the encoding and a signal for detecting the validity of the encoded output of the image signal, using the delay measurement clock signal;
And a means for delaying the encoded predetermined signal by a time obtained by subtracting a processing time in the means for encoding the predetermined signal from the phase difference. 画像信号をＭＰＥＧ方式で符号化する手段と、
その画像信号と同期をとりながら、前記画像信号よりも符号化する処理時間が短い所定の信号を符号化する手段と、
前記画像信号と前記所定の信号との同期をとる同期信号に基づいて、前記画像信号を符号化する手段及び前記所定の信号を符号化する手段の符号化を開始させる信号並びに遅延計測用クロック信号を発生させる手段と、
ＭＰＥＧビデオストリームの開始信号を判定することによって、前記画像信号の符号化出力の有効性を検出する信号を発生させる手段と、
前記符号化を開始させる信号と前記画像信号の符号化出力の有効性を検出する信号との位相差を、前記遅延計測用クロック信号を用いて検出する手段と、
符号化された前記画像信号及び所定の信号の出力タイミングを、前記位相差から前記所定の信号を符号化する手段での処理時間を減算した時間に基づいて補正して、前記画像信号及び所定の信号を多重化する手段とを具えることを特徴とする同期制御装置。Means for encoding an image signal in MPEG format;
Means for encoding a predetermined signal having a shorter processing time than the image signal while synchronizing with the image signal;
Based on a synchronization signal that synchronizes the image signal and the predetermined signal, a signal for starting encoding of the means for encoding the image signal and a means for encoding the predetermined signal, and a clock signal for delay measurement Means for generating
Means for generating a signal for detecting the validity of the encoded output of the image signal by determining a start signal of the MPEG video stream ;
Means for detecting a phase difference between a signal for starting the encoding and a signal for detecting the validity of the encoded output of the image signal, using the delay measurement clock signal;
The output timing of the encoded image signal and the predetermined signal is corrected based on the time obtained by subtracting the processing time in the means for encoding the predetermined signal from the phase difference, and the image signal and the predetermined signal are corrected. A synchronization control device comprising means for multiplexing signals. 前記位相差を検出する手段が、
符号化する処理を開始させる信号によって計測を開始するとともに、前記画像信号の符号化出力の有効性を検出する信号が前記有効性を検出することによって計測を終了する手段を有することを特徴とする請求項１又は２記載の同期制御装置。Means for detecting the phase difference;
The measurement is started by a signal for starting the encoding process, and the signal for detecting the validity of the encoded output of the image signal has means for ending the measurement by detecting the validity. The synchronous control device according to claim 1 or 2. 前記所定の信号を音声信号又は文字信号としたことを特徴とする請求項１から３のうちのいずれか１項に記載の同期制御装置。  4. The synchronization control apparatus according to claim 1, wherein the predetermined signal is a voice signal or a character signal.
JP2001086580A 2001-03-26 2001-03-26 Synchronous control device Expired - Fee Related JP3958531B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001086580A JP3958531B2 (en) 2001-03-26 2001-03-26 Synchronous control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001086580A JP3958531B2 (en) 2001-03-26 2001-03-26 Synchronous control device

Publications (2)

Publication Number Publication Date
JP2002290969A JP2002290969A (en) 2002-10-04
JP3958531B2 true JP3958531B2 (en) 2007-08-15

Family

ID=18941938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001086580A Expired - Fee Related JP3958531B2 (en) 2001-03-26 2001-03-26 Synchronous control device

Country Status (1)

Country Link
JP (1) JP3958531B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100551068C (en) 2005-10-12 2009-10-14 日本电气株式会社 Moving image conversion method, equipment, system and server apparatus
JP2008054159A (en) * 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd Video-audio multiplexing apparatus
JP2009253744A (en) * 2008-04-08 2009-10-29 Mitsubishi Electric Corp Coder, decoder, and video/audio transmission system
JP6119260B2 (en) * 2013-01-16 2017-04-26 富士通株式会社 Moving picture multiplexing apparatus and moving picture multiplexing method, multiplexed moving picture decoding apparatus, and multiplexed moving picture decoding method

Also Published As

Publication number Publication date
JP2002290969A (en) 2002-10-04

Similar Documents

Publication Publication Date Title
JP3976759B2 (en) Device for synchronizing audio and video signals
EP0618728B1 (en) Synchronization of audio/video information
JP4481444B2 (en) Image encoding device
US5396497A (en) Synchronization of audio/video information
JP3932059B2 (en) Signal processing device
KR100271546B1 (en) Video and audio data demultiplexer having controlled synchronizing signal
KR100203262B1 (en) Interface device of video decoder for syncronization of picture
JP3644995B2 (en) Time stamp value calculation method in coded transmission system
JP4903930B2 (en) Signal processing device
JP3958531B2 (en) Synchronous control device
JP2872104B2 (en) Time stamp adding apparatus and method, and moving image compression / expansion transmission system and method using the same
JP4689231B2 (en) Transport stream switching device
JP2004015553A (en) Synchronization control method and apparatus thereof, synchronization reproduction apparatus and tv receiving apparatus using the control method and apparatus
JP2007195208A (en) Information processing apparatus and method, recording medium, and program
JP2002176643A (en) Synchronization recovery system for video/audio in video/ audio decoding processing
JPH1093841A (en) Video synchronizing signal correction device
KR100207687B1 (en) Decoder for use in mpeg system and audio/video synchronization method
JP3920125B2 (en) Decoding device and decoding method
KR20030082117A (en) Method for audio/video signal lip-sync controlling in digital broadcasting receiver
JP3944845B2 (en) Information processing apparatus and method, recording medium, and program
JPH11262001A (en) Method for calculating time stamp value in encoding transmission system
JP3744514B2 (en) Data transmission equipment
KR0154005B1 (en) Apparatus for generating the presentation time stamp in the system encoder
JP2001111610A (en) Receiver for information data transmission system
JP2002281498A (en) Reception reproducing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061031

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070208

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070510

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100518

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees