JP3404808B2 - Decoding method and decoding device - Google Patents

Decoding method and decoding device

Info

Publication number
JP3404808B2
JP3404808B2 JP19051393A JP19051393A JP3404808B2 JP 3404808 B2 JP3404808 B2 JP 3404808B2 JP 19051393 A JP19051393 A JP 19051393A JP 19051393 A JP19051393 A JP 19051393A JP 3404808 B2 JP3404808 B2 JP 3404808B2
Authority
JP
Japan
Prior art keywords
video signal
decoding
buffer memory
image signal
memory means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP19051393A
Other languages
Japanese (ja)
Other versions
JPH0746198A (en
Inventor
フェルトマン マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP19051393A priority Critical patent/JP3404808B2/en
Publication of JPH0746198A publication Critical patent/JPH0746198A/en
Application granted granted Critical
Publication of JP3404808B2 publication Critical patent/JP3404808B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は画像信号(ビデオ信
号)、および、音響信号または音声信号(オーディオ信
号)の処理方法とその装置に関する。本発明は特定的に
は、MPEG(Motion Pictrure Image Coding Expert
Group )などの規格に基づいて、ビデオ信号とこのビデ
オ信号に同期しているオーディオ信号とを圧縮・符号化
してデータ伝送系またはデータ蓄積系にビットストリー
ムとして提供し、さらにデータ伝送系またはデータ蓄積
系からこのビットストリームを入力して伸長・復号する
オーディオ・ビデオ(AV)信号処理方法と装置に関す
る。さらに特定的には、本発明は上記復号信号処理を行
う際、プレーバックまたはチャネル切換時などにおける
スタートアップディレーを短縮する方法と装置に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for processing image signals (video signals) and acoustic or audio signals (audio signals). The present invention is specifically directed to MPEG (Motion Pictrure Image Coding Expert).
Group) etc., the video signal and the audio signal synchronized with this video signal are compressed and encoded and provided to the data transmission system or the data storage system as a bit stream. The present invention relates to an audio / video (AV) signal processing method and apparatus for inputting this bit stream from a system and expanding / decoding it. More specifically, the present invention relates to a method and apparatus for reducing the start-up delay during playback or channel switching when performing the above-mentioned decoded signal processing.

【0002】[0002]

【従来の技術】コンパクトディスク・リードオンリーメ
モリ(CD−ROM)、レーザディスク(LD)、ビデ
オテープ、磁気光学式記録媒体(MO)、DCCなどの
ディジタルデータ蓄積媒体に映像信号(ビデオ信号)お
よび音声信号(オーディオ信号)を圧縮し多重化(マル
チプレクシング)してビットストリームとして直接記録
し、再び、データ蓄積媒体から多重化されたビットスト
リームを読み出してデマルチプレクシングをして圧縮と
逆の伸長処理をし、圧縮処理前の元のビデオ信号(原ビ
デオ信号)および元のオーディオ信号を再生する(復号
する)ことが、ビデオテープ記録再生装置、マルチメデ
ィアシステム、その他の画像および音声データ処理装置
において行われている。またテレビジョン放送、衛星放
送、マルチメディアシステムなどにおいても、ビデオ信
号とオーディオ信号とを圧縮して符号化し、多重化した
ビットストリームとしてデータ伝送系またはデータ蓄積
系に出力し、その後、多重化されたビットストリームを
入力してデマルチプレクシングした後、圧縮の逆の伸長
処理をして元のビデオ信号とオーディオ信号とを復号す
ることが行われている。
2. Description of the Related Art A video signal (video signal) and a digital data storage medium such as a compact disc read only memory (CD-ROM), a laser disc (LD), a video tape, a magneto-optical recording medium (MO), and a DCC. Audio signals (audio signals) are compressed, multiplexed (multiplexed), and directly recorded as a bit stream. Then, the multiplexed bit stream is read again from the data storage medium, demultiplexed, and decompressed in reverse. Processing and reproducing (decoding) the original video signal (original video signal) and the original audio signal before compression processing are video tape recording / reproducing devices, multimedia systems, and other image and audio data processing devices. Is being done in. Also in television broadcasting, satellite broadcasting, multimedia systems, etc., video signals and audio signals are compressed and encoded, output as a multiplexed bit stream to a data transmission system or a data storage system, and then multiplexed. After inputting the bit stream and demultiplexing it, decompression processing reverse to compression is performed to decode the original video signal and audio signal.

【0003】CD−ROM、LD、ビデオテープなどの
データ蓄積媒体にビデオ信号およびオーディオ信号を圧
縮して符号化して記録し、データ蓄積媒体に記録された
符号化されたビデオ信号およびオーディオ信号を伸長し
て元のビデオ信号およびオーディオ信号に復号する蓄積
用動画符号化標準としての国際的な規格として、ISO
とJECのデータ処理分野における共通事項を取り扱う
JTCIの傘下にあるSC2の中のワーキンググループ
(WG)11において、MPEG(Motion Pictrure Im
age Coding Expert Group )が定めた規格MPEG1、
および、規格MPEG2が知られている。
Video signals and audio signals are compressed and encoded and recorded on a data storage medium such as a CD-ROM, LD, and video tape, and the encoded video signals and audio signals recorded on the data storage medium are expanded. ISO is used as an international standard as a moving picture coding standard for storage in which the original video signal and audio signal are decoded.
In the working group (WG) 11 in SC2 under the umbrella of JTCI, which handles common matters in the data processing field of JEC and JEC, MPEG (Motion Pictrure Im
age Coding Expert Group) standard MPEG1,
And the standard MPEG2 is known.

【0004】MPEGは、広範囲な適用を前提とした標
準であり、位相同期(フェーズロック)をとる場合と位
相同期をとらない(アンロックする)場合とを予定して
いる。位相同期をとる場合は、ビデオ信号符号化クロッ
ク(つまり、フレームレート)とオーディオ信号符号化
クロック(つまり、オーディオ信号サンプリングレー
ト)とが共通のシステムクロック基準(System Clock R
eference)SCRに位相同期される。MPEGはこの場
合、0.7秒の周期でタイムスタンプを多重化ビットス
トリームに付加することを要求している。位相同期をと
らない場合は、ビデオ信号とオーディオ信号とは独立に
処理され、これらは符号化の際付加されたそれぞれのタ
イムスタンプに基づいて復号される。
[0004] MPEG is a standard premised on a wide range of applications, and it is planned that phase synchronization (phase lock) will be taken and phase synchronization will not be taken (unlocked). In the case of phase synchronization, the video signal encoding clock (that is, frame rate) and the audio signal encoding clock (that is, audio signal sampling rate) have a common system clock reference (System Clock R
eference) Phase locked to the SCR. MPEG in this case requires a time stamp to be added to the multiplexed bitstream with a period of 0.7 seconds. When the phase synchronization is not taken, the video signal and the audio signal are processed independently and they are decoded based on the respective time stamps added at the time of encoding.

【0005】またMPEGは、システムターゲットデコ
ーダのバッファリング遅延時間として、1秒を規定して
いる。さらにMPEGは、復号の際、ビデオ信号および
オーディオ信号を検索するためのディレクトリを設ける
こと規定している。
Also, MPEG defines 1 second as a buffering delay time of a system target decoder. Further, the MPEG stipulates that a directory for searching a video signal and an audio signal be provided when decoding.

【0006】図5は、そのようなMPEG1またはMP
EG2をビデオ信号およびオーディオ信号処理装置に適
用した場合の構成例を示す図であり、いかにして符号処
理系100が非圧縮ビデオ信号S2および非圧縮オーデ
ィオ信号S3を入力して、いかにして拘束パラメータシ
ステムターゲットデコーダ400についてのある情報を
生成し、いかにして種々の復号処理系に適した拘束ビッ
トストリームを形成するかについて示している。このビ
デオ信号およびオーディオ信号処理装置は、圧縮処理前
の元のビデオ信号(原ビデオ信号)を提供する非圧縮ビ
デオ信号源2、圧縮処理前の原オーディオ信号を提供す
る非圧縮オーディオ信号源3、これら非圧縮ビデオ信号
S2および非圧縮オーディオ信号S3を入力し、所定の
圧縮処理をして符号化しさらに多重化処理(マルチプレ
クシング)してビットストリーム形態の圧縮符号化信号
S100を出力する符号処理系100、および、この符
号処理系100からのビットストリーム形態の圧縮符号
化信号S1を伝送または蓄積するデータ伝送系またはデ
ータ蓄積系5を有する。データ伝送系またはデータ蓄積
系5としては、データ蓄積を行う場合はたとえば、CD
−ROM、LD、ビデオテープなどであり、データ伝送
を行う場合はたとえば、テレビジョン放送通信系、通信
衛星系、データ通信系などである。ビデオ信号およびオ
ーディオ信号処理装置はまた、データ伝送系またはデー
タ蓄積系5から送出されるビットストリーム形態の圧縮
符号化信号S5を入力し、符号処理系100における多
重化処理(マルチプレクシング)と逆の分解処理(デマ
ルチプレクシング)し、符号処理系100における圧縮
と逆の伸長処理をして、符号処理系100に入力される
前の非圧縮ビデオ信号S2および非圧縮オーディオ信号
S3と同等の復号化非圧縮ビデオ信号S6Aおよび復号
化非圧縮オーディオ信号S6Bを復号する復号処理系6
00を有する。ビデオ信号およびオーディオ信号処理装
置はさらに、符号処理系100および復号処理系600
の処理を規定するため、それぞれ、符号処理系100へ
のガイドライン(基準信号)S4Aおよび復号処理系6
Aへのガイドライン(基準信号)S4Bを送出する拘束
パラメータ(Constraint Parameter)・システムターゲ
ットデコーダ(STD:System Target Decoder )40
0を有する。
FIG. 5 illustrates such an MPEG1 or MP.
It is a figure which shows the structural example at the time of applying EG2 to a video signal and an audio signal processing apparatus, and how the code processing system 100 inputs the uncompressed video signal S2 and the uncompressed audio signal S3, and how it is restrained. It shows how to generate some information about the parameter system target decoder 400 to form a constrained bitstream suitable for various decoding systems. The video signal and audio signal processing apparatus includes an uncompressed video signal source 2 that provides an original video signal before compression processing (original video signal), an uncompressed audio signal source 3 that provides an original audio signal before compression processing, A code processing system for inputting the non-compressed video signal S2 and the non-compressed audio signal S3, performing predetermined compression processing, encoding, and further multiplexing processing (multiplexing) to output a compression encoded signal S100 in a bit stream form. 100, and a data transmission system or a data storage system 5 for transmitting or storing the bitstream type compressed coded signal S1 from the code processing system 100. As the data transmission system or the data storage system 5, when data is stored, for example, a CD
ROM, LD, video tape, etc., and when data transmission is performed, for example, a television broadcast communication system, a communication satellite system, a data communication system, etc. The video signal and audio signal processing apparatus also receives the bit-stream-type compressed coded signal S5 sent from the data transmission system or the data storage system 5, and reverses the multiplexing process (multiplexing) in the code processing system 100. Decomposition processing (demultiplexing), decompression processing opposite to compression in the code processing system 100, and decoding equivalent to the uncompressed video signal S2 and uncompressed audio signal S3 before being input to the code processing system 100. Decoding processing system 6 for decoding the uncompressed video signal S6A and the decoded uncompressed audio signal S6B
Has 00. The video signal and audio signal processing device further includes a code processing system 100 and a decoding processing system 600.
In order to specify the processing of the above, the guideline (reference signal) S4A and the decoding processing system 6 to the coding processing system 100 are respectively provided.
A constraint parameter for transmitting the guideline (reference signal) S4B to A. Constraint parameter system target decoder (STD: System Target Decoder) 40
Has 0.

【0007】拘束パラメータシステムターゲットデコー
ダ400は、仮想的な(Hypothical) システムターゲッ
トデコーダ、システム基準(Reference)デコーダ、ある
いは、基準復号処理系などとも呼ばれるが、ここでは、
以下、拘束パラメータシステム・ターゲットデコーダ、
あるいは、簡単に、システムターゲットデコーダなどと
呼ぶ。拘束パラメータシステムターゲットデコーダ40
0は、CCITT H.261およびMPEG1ビデオ
標準などの国際標準規格において使用されており、ビデ
オ信号符号器およびビデオ信号復号器(デコーダ)の設
計者のための指針を与えている。MPEG1システム標
準において、システムターゲットデコーダ(STD)も
基準オーディオ信号デコーダを有している。これらの基
準モデルにおいて、各ビデオ信号およびオーディオ信号
デコーダもまた推奨されているバッファの大きさを有す
るバッファ、および、いかにビデオ信号およびオーディ
オ信号デコーダを動作させるかについて記述する標準を
有している。推奨されているバッファの大きさを有する
モデルは「拘束パラメータ・システムターゲットデコー
ダ(STD)」と呼ばれている。実用的には、拘束パラ
メータ・システムターゲットデコーダ(STD)以上の
性能を持たない非常に多くの実際の復号システムが存在
しないことが期待されている。したがって、ビットスト
リームが形成されたとき、そして、多くの数の実際のデ
コーダに到達することが必要なとき、符号化システムが
一般的に、拘束パラメータ・システムターゲットデコー
ダに適したビットストリームを作成する。これらの多重
化ビットストリームは拘束システムパラメータ・ストリ
ーム:Constraint System Parameter Stream:CSP
S)と呼ばれている。
The constraint parameter system target decoder 400 is also called a hypothetical system target decoder, a system reference decoder, or a reference decoding processing system, but here,
Below, constraint parameter system target decoder,
Alternatively, it is simply called a system target decoder or the like. Constraint Parameter System Target Decoder 40
0 is CCITT H. It is used in international standards such as the H.261 and MPEG1 video standards and provides guidance for designers of video signal encoders and video signal decoders. In the MPEG1 system standard, the system target decoder (STD) also has a reference audio signal decoder. In these reference models, each video and audio signal decoder also has a buffer with the recommended buffer size, and a standard that describes how to operate the video and audio signal decoder. The model with the recommended buffer size is called the "constrained parameter system target decoder (STD)". In practice, it is expected that there will not be so many actual decoding systems that will outperform the constraint parameter system target decoder (STD). Therefore, when the bitstream is formed, and when it is necessary to reach a large number of real decoders, the coding system generally creates a bitstream suitable for the constraint parameter system target decoder. . These multiplexed bitstreams are Constraint System Parameter Streams (CSP).
S).

【0008】拘束パラメータシステムターゲットデコー
ダ400は、デマルチプレクシング部401、ビデオ信
号バッファ402、オーディオ信号バッファ403、ビ
デオ信号デコーダ404、および、オーディオ信号デコ
ーダ405を有する。この例においては、ビデオ信号バ
ッファ402は46Kバイトの記憶容量を有し、オーデ
ィオ信号バッファ403は4Kバイトの記憶容量を有す
る。デマルチプレクシング部401はスイッチング回路
を有し、ビデオ信号デコーダ404、および、オーディ
オ信号デコーダ405は高速演算処理に適した構成をと
る高速ディジタル信号処理装置(DSP)で一体構成さ
れることが、装置構成の面、フレキシブルの観点から望
ましい。
The constraint parameter system target decoder 400 has a demultiplexing unit 401, a video signal buffer 402, an audio signal buffer 403, a video signal decoder 404, and an audio signal decoder 405. In this example, the video signal buffer 402 has a storage capacity of 46 Kbytes and the audio signal buffer 403 has a storage capacity of 4 Kbytes. The demultiplexing unit 401 has a switching circuit, and the video signal decoder 404 and the audio signal decoder 405 are integrally configured by a high-speed digital signal processing device (DSP) having a configuration suitable for high-speed arithmetic processing. It is desirable in terms of structure and flexibility.

【0009】図6(A)は拘束パラメータシステムター
ゲットデコーダ400に入力される拘束パラメータ(マ
ルチプレクシング)・システムビットストリームCPS
Pのフォーマットを示す。このビットストリームは、時
系列的に配置された複数のパック(PACK)で構成さ
れ、それぞれのパックは、ヘッダ(HEADER)、ビ
デオ信号パッケット(PACKET)、および、オーデ
ィオ信号パッケットを含んでいる。それぞれのビデオ信
号パッケットは、ビデオ信号のフレームごとのビデオ信
号と、そのフレームの時刻を示すタイムスタンプ(TI
ME STAMP)を含むパッケットヘッダ(PACK
ET HEADER)から構成されている。それぞれの
オーディオ信号パッケットは、所定の単位(ユニット)
ごとのオーディオ信号とそのユニットの時刻を示すタイ
ムスタンプを含むパッケットヘッダとで構成されてい
る。ビデオ信号についてのフレームn+1のタイムスタ
ンプをビデオタイムスタンプvtsと呼び、オーディオ
信号についてユニットm+1のタイムスタンプをオーデ
ィオタイムスタンプatsと呼ぶ。つまり、符号処理系
100は、非圧縮ビデオ信号S2および非圧縮オーディ
オ信号S3を符号化して、図6(A)に示したフォーマ
ットのマルチプレクシング・ビットストリームにしてデ
ータ伝送系またはデータ蓄積系5に送出し、拘束パラメ
ータシステムターゲットデコーダ400はこのビットス
トリームに基づく圧縮符号化信号を含む多重化ビットス
トリームS5を入力して復号する。
FIG. 6A shows a constraint parameter (multiplexing) system bit stream CPS input to the constraint parameter system target decoder 400.
The format of P is shown. This bit stream is composed of a plurality of packs (PACK) arranged in time series, and each pack includes a header (HEADER), a video signal packet (PACKET), and an audio signal packet. Each video signal packet includes a video signal for each frame of the video signal and a time stamp (TI) indicating the time of the frame.
Packet header including ME STAMP (PACK)
ET HEADER). Each audio signal packet has a predetermined unit
Each audio signal and a packet header containing a time stamp indicating the time of the unit. The time stamp of frame n + 1 for the video signal is called the video time stamp vts, and the time stamp of unit m + 1 for the audio signal is called the audio time stamp ats. That is, the code processing system 100 encodes the uncompressed video signal S2 and the uncompressed audio signal S3 into a multiplexing bit stream of the format shown in FIG. The constraint parameter system target decoder 400 sends out and inputs and decodes the multiplexed bitstream S5 including the compression coded signal based on this bitstream.

【0010】符号処理系100に入力される非圧縮ビデ
オ信号S2と非圧縮オーディオ信号S3とは、データ
数、速度が異なる他、圧縮率も異なる。したがって、同
じ時刻に符号処理系100に入力されたビデオ信号とオ
ーディオ信号を圧縮処理しても同じ速度、同じ大きさの
符号化ビデオ信号と符号化オーディオ信号が提供される
訳ではない。また、たとえば、ビデオ信号についてみて
も、ビデオ信号の内容によって圧縮率は異なる。オーデ
ィオ信号についても同様である。したがって、符号処理
系100からは固定した状態(条件)の符号化ビデオ信
号および符号化オーディオ信号が出力される訳ではな
い。復号処理系600において、これら元のビデオ信号
およびオーディオ信号を復号化非圧縮ビデオ信号S6A
および復号化非圧縮オーディオ信号S6Bとして復号す
る際、タイミング的に同期をとる必要がある。そこで、
そのような同期を実現するため、MPEGは上述したタ
イムスタンプをビデオ信号とオーディオ信号のそれぞれ
にフレームごとに付加することを規定している。つま
り、ビデオ信号タイムスタンプとオーディオ信号タイム
スタンプとはビデオ信号とオーディオ信号との同期をと
った復号を行うためのクロックを規定する時刻を示して
おり、オーディオ信号タイムスタンプはオーディオ信号
の復号を行うためのクロックを生成する時刻を示してい
る。なお、タイムスタンプを用いる目的は、上述した同
期をとるための他に、バッファリングの問題を解消する
ため、および、符号系におけるデータの複写のためであ
る。
The uncompressed video signal S2 and the uncompressed audio signal S3 input to the code processing system 100 have different data numbers and speeds, and also different compression rates. Therefore, even if the video signal and the audio signal input to the code processing system 100 at the same time are compressed, the coded video signal and the coded audio signal having the same speed and the same size are not provided. Also, for example, regarding a video signal, the compression rate differs depending on the content of the video signal. The same applies to audio signals. Therefore, the coded video signal and the coded audio signal in a fixed state (condition) are not output from the code processing system 100. In the decoding processing system 600, the original video signal and audio signal are decoded to obtain a non-compressed video signal S6A.
And when decoding as the decoded uncompressed audio signal S6B, it is necessary to synchronize in timing. Therefore,
In order to realize such synchronization, MPEG stipulates that the above-mentioned time stamp is added to each of the video signal and the audio signal for each frame. That is, the video signal time stamp and the audio signal time stamp indicate the time that defines the clock for performing the synchronized decoding of the video signal and the audio signal, and the audio signal time stamp performs the decoding of the audio signal. Shows the time to generate the clock for. The purpose of using the time stamp is to solve the problem of buffering and to copy the data in the code system, in addition to the above-mentioned synchronization.

【0011】図7は復号処理系600の構成図である。
復号処理系600は、デマルチプレクシング部601、
ビデオ信号ビットストリーム構成変換処理部602、ビ
デオ信号受信バッファ603、ビデオ信号復号器(デコ
ーダ)604、ピクチャーレート制御回路605、オー
ディオ信号ビットストリーム構成変換処理部606、オ
ーディオ信号受信バッファ607、オーディオ信号復号
器(デコーダ)608、および、サンプリングレート制
御回路609を有する。デマルチプレクシング部601
は、上述したフォーマットの多重化ビットストリームS
5を入力し、ビデオ信号、ビデオタイムスタンプvt
s、オーディオ信号、オーディオタイムスタンプats
に分解(分離)する。ビデオ信号ビットストリーム構成
変換処理部602は分離されたビデオ信号とビデオタイ
ムスタンプvtsを入力し、図6(B)に示すフォーマ
ットに変換する。ビデオ信号受信バッファ603は変換
されたビデオ信号を順次記憶し、記憶した順序に従って
ビデオ信号復号器604に出力する。同様に、オーディ
オ信号ビットストリーム構成変換処理部606は分解さ
れたオーディオ信号とオーディオタイムスタンプats
を入力して図6(B)に示すフォーマットに変換する。
オーディオ信号受信バッファ607は変換されたオーデ
ィオ信号を順次記憶し、記憶した順序に従ってオーディ
オ信号復号器608に出力する。ビデオ信号復号器60
4は、ピクチャーレート制御回路605から出力される
タイミング信号に基づいてビデオ信号受信バッファ60
3から出力されたビデオ信号を復号する。オーディオ信
号復号器608は、サンプリングレート制御回路609
から出力されるタイミング信号に基づいてオーディオ信
号受信バッファ607から出力されたオーディオ信号を
復号する。
FIG. 7 is a block diagram of the decoding processing system 600.
The decoding processing system 600 includes a demultiplexing unit 601,
Video signal bit stream configuration conversion processing unit 602, video signal reception buffer 603, video signal decoder (decoder) 604, picture rate control circuit 605, audio signal bit stream configuration conversion processing unit 606, audio signal reception buffer 607, audio signal decoding A sampling rate control circuit 609 and a sampling rate control circuit 609. Demultiplexing unit 601
Is a multiplexed bitstream S of the format described above.
5 is input, video signal, video time stamp vt
s, audio signal, audio time stamp ats
Disassemble (separate). The video signal bit stream configuration conversion processing unit 602 inputs the separated video signal and video time stamp vts, and converts them into the format shown in FIG. 6 (B). The video signal reception buffer 603 sequentially stores the converted video signals and outputs them to the video signal decoder 604 in the stored order. Similarly, the audio signal bitstream configuration conversion processing unit 606 determines the decomposed audio signal and audio time stamp ats.
Is input to convert to the format shown in FIG.
The audio signal reception buffer 607 sequentially stores the converted audio signals and outputs them to the audio signal decoder 608 according to the stored order. Video signal decoder 60
4 is a video signal reception buffer 60 based on the timing signal output from the picture rate control circuit 605.
The video signal output from 3 is decoded. The audio signal decoder 608 includes a sampling rate control circuit 609.
The audio signal output from the audio signal receiving buffer 607 is decoded based on the timing signal output from the.

【0012】上述したビデオ信号受信バッファ603お
よびオーディオ信号受信バッファ607について述べ
る。復号に際して完全に一致したクロックを用いてビデ
オ信号とオーディオ信号とを復号することはできない。
第1の理由は、上述したように圧縮率が異なるからであ
る。第2の理由について、たとえば、オーディオ信号復
号器608におけるオーディオ信号の復号について述べ
る。固定のビデオレートで復号するオーディオ信号復号
器608に入力されるオーディオ信号の入力データレー
トと、データ伝送系またはデータ蓄積系5から出力され
たオーディオ信号の転送ビデオレートとはサンプリング
レートクロックの誤差に依存して変化する。さらに、オ
ーディオ信号復号器608には一般に、一度に1つのオ
ーディオ信号、アクセスユニットが入力されるので、デ
ータ伝送系またはデータ蓄積系5からの多重化ビットス
トリームS5の転送レートと、オーディオ信号復号器6
08に入力されるオーディオ信号とのデータレートとは
一致しない。そこで、オーディオ信号復号器608の前
段にオーディオ信号受信バッファ607が設けられ、上
述したデータレートの不一致を調整するように構成され
ている。図8に上述した関係を図解する。
The above-mentioned video signal receiving buffer 603 and audio signal receiving buffer 607 will be described. It is impossible to decode the video signal and the audio signal by using the clocks which are completely matched at the time of decoding.
The first reason is that the compression rates are different as described above. For the second reason, decoding of an audio signal in the audio signal decoder 608 will be described, for example. The input data rate of the audio signal input to the audio signal decoder 608 which decodes at a fixed video rate and the transfer video rate of the audio signal output from the data transmission system or the data storage system 5 cause a sampling rate clock error. Change depending. Furthermore, since one audio signal and access unit are generally input to the audio signal decoder 608 at a time, the transfer rate of the multiplexed bit stream S5 from the data transmission system or the data storage system 5 and the audio signal decoder 6
It does not match the data rate of the audio signal input to 08. Therefore, an audio signal reception buffer 607 is provided in the preceding stage of the audio signal decoder 608, and is configured to adjust the above-mentioned data rate mismatch. FIG. 8 illustrates the relationship described above.

【0013】また図9に図解したように、ビデオ信号は
符号処理系100においてフレームごとに(あるいは、
フィールドごとに)圧縮され、可変長符号化処理される
ために、ビデオ信号復号器604に対する入力データレ
ートは符号処理系100におけるビデオ信号の圧縮に依
存して大きく変化する。したがって、ビデオ信号受信バ
ッファ603の記憶容量はオーディオ信号受信バッファ
607の記憶容量より大きくなる。たとえば、ビデオ信
号受信バッファ603の記憶容量は46Kバイトに対し
て、オーディオ信号受信バッファ607の記憶容量は4
Kバイトである。図10にビデオ信号受信バッファ60
3またはオーディオ信号受信バッファ607の受信バッ
ファとしては(以下、ビデオ信号受信バッファ603を
例示する)のバッファリングタイミングを示す。図10
(A)に示したように、このバッファリングとしては、
ビデオ信号受信バッファ603に入力されたデータの量
から、破線で示したビデオ信号受信バッファ603の記
憶容量を減じたデータ量がビデオ信号受信バッファ60
3から読み出されるデータの量を越えない状態、つま
り、アンダーフローを生じさせず、かつ、ビデオ信号受
信バッファ603から読み出されたデータの量がビデオ
信号受信バッファ603に入力されるデータの量を越え
ない状態、つまり、オーバーフローを生じさせない状態
が理想的である。しかしながら、図10(B)に図解し
たように、このバッファリングにはオーバーフローまた
はアンダーフローが生ずることがある。
Further, as illustrated in FIG. 9, the video signal is transmitted for each frame (or, in the code processing system 100).
Since each field is compressed and variable length coding is performed, the input data rate to the video signal decoder 604 greatly changes depending on the compression of the video signal in the coding processing system 100. Therefore, the storage capacity of the video signal reception buffer 603 is larger than the storage capacity of the audio signal reception buffer 607. For example, the storage capacity of the video signal reception buffer 603 is 46 Kbytes, whereas the storage capacity of the audio signal reception buffer 607 is 4 Kbytes.
It is K bytes. FIG. 10 shows a video signal reception buffer 60.
3 or as a reception buffer of the audio signal reception buffer 607 (hereinafter, the video signal reception buffer 603 is exemplified). Figure 10
As shown in (A), this buffering includes:
The data amount obtained by subtracting the storage capacity of the video signal reception buffer 603 indicated by the broken line from the amount of data input to the video signal reception buffer 603 is the video signal reception buffer 60.
3 does not exceed the amount of data read out, that is, does not cause underflow, and the amount of data read out from the video signal reception buffer 603 is equal to the amount of data input to the video signal reception buffer 603. Ideally, it should not be exceeded, that is, should not cause overflow. However, as illustrated in FIG. 10B, this buffering may have overflows or underflows.

【0014】このバッファリングにおけるオーバーフロ
ーまたはアンダーフローを防止する方法としては、たと
えば、図11(A)〜図11(C)に図解した処理が考
えられている。第1の方法は、図11(A)に図解した
ように、「蓄積メディアスレーブ方法」と呼ばれるもの
であり、ビデオ信号受信バッファ603に入力されたデ
ータ量L1からビデオ信号受信バッファ603の記憶容
量がビデオ信号受信バッファ603から読み出されたデ
ータの量L3を越えず、かつ、ビデオ信号受信バッファ
603から読み出されたデータの量L3がビデオ信号受
信バッファ603に入力されたデータの量L1を越えな
いように曲線L1’で示したようにビデオ信号受信バッ
ファ603に入力されるデータの量を制御する。曲線L
2はビデオ信号受信バッファ603に入力されたデータ
L1からビデオ信号受信バッファ603の記憶容量を減
じた量の変化を示し、曲線L2’は制御された実際にビ
デオ信号受信バッファ603に入力されたデータの量の
変化を示す。第2の方法は、図11(B)に図解したよ
うに、「デコーダスレーブ方法」と呼ばれるものであ
り、ビデオ信号受信バッファ603に入力されたデータ
量L1が、ビデオ信号受信バッファ603の記憶容量を
減じたデータ量L2が、ビデオ信号受信バッファ603
から読み出されるデータの量L3を越えず、かつ、ビデ
オ信号受信バッファ603から読み出されたデータの量
L3がビデオ信号受信バッファ603に入力されるデー
タの量L1を越えないようにビデオ信号復号器604の
フレームレートを変更してビデオ信号受信バッファ60
3からデータを読み出す。実際にビデオ信号受信バッフ
ァ603から読み出されたデータの量の変化を曲線L
3’として示す。以上、ビデオ信号について述べたが、
オーディオ信号の場合も、オーディオ信号復号器608
のサンプリングレートを変化させてオーディオ信号受信
バッファ607から読み出すデータの量を調整する。第
3の方法は、図11(C)に図解したように、ビデオ信
号受信バッファ603から読み出すデータの量を調整す
るものであり、たとえば、アクセスユニットをスキップ
したり、再表示してビデオ信号受信バッファ603から
読み出されるデータの量を調整する。曲線L3’が調整
されてビデオ信号受信バッファ603から読み出された
データの量の変化を示す。
As a method of preventing overflow or underflow in this buffering, for example, the processing illustrated in FIGS. 11A to 11C is considered. The first method is called the “storage media slave method” as illustrated in FIG. 11A, and the storage capacity of the video signal reception buffer 603 is calculated from the data amount L1 input to the video signal reception buffer 603. Does not exceed the amount L3 of data read from the video signal reception buffer 603, and the amount L3 of data read from the video signal reception buffer 603 exceeds the amount L1 of data input to the video signal reception buffer 603. The amount of data input to the video signal reception buffer 603 is controlled as indicated by the curve L1 ′ so as not to exceed the limit. Curve L
2 shows a change in the amount obtained by subtracting the storage capacity of the video signal reception buffer 603 from the data L1 input to the video signal reception buffer 603, and a curve L2 ′ is the controlled actual data input to the video signal reception buffer 603. Shows the change in the amount of. The second method is called a “decoder slave method” as illustrated in FIG. 11B, and the data amount L1 input to the video signal reception buffer 603 is the storage capacity of the video signal reception buffer 603. The data amount L2 obtained by subtracting
The video signal decoder so that the amount L3 of data read from the video signal receiving buffer 603 does not exceed the amount L3 of data read from the video signal receiving buffer 603. The video signal reception buffer 60 by changing the frame rate of 604
Read data from 3. The change in the amount of data actually read from the video signal reception buffer 603 is shown by the curve L.
Shown as 3 '. The video signals have been described above,
Also in the case of audio signals, the audio signal decoder 608
The sampling rate of is changed to adjust the amount of data read from the audio signal reception buffer 607. The third method is to adjust the amount of data read from the video signal reception buffer 603 as illustrated in FIG. 11C. For example, the access unit is skipped or redisplayed to receive the video signal. The amount of data read from the buffer 603 is adjusted. The curve L3 ′ is adjusted to show the change in the amount of data read from the video signal reception buffer 603.

【0015】しかしながら、上述したデコーダ(復号
器)のフレームレートまたはサンプリングレート、ある
いは、データ伝送系またはデータ蓄積系5からの転送レ
ートを変更することは、ビデオ信号およびオーディオ信
号処理装置の外部の関連する装置に影響を与えるから、
自由には変更することができず、ある範囲に制限され
る。その結果、バッファリングにおいてオーバーフロー
またはアンダーフローが頻繁に発生するような場合に
は、それを完全に防止することができない。バッファリ
ングにおけるオーバーフローまたはアンダーフローに起
因する復号処理の誤動作は、特に、復号開始時点に生ず
る。よって、デコーダにおいて、「スタートアップディ
レー(開始時点遅延)」という、再生初期時に復号処理
を遅延する処理を行ってこの問題を解決する方法が考え
られている。
However, changing the frame rate or sampling rate of the above-mentioned decoder (decoder) or the transfer rate from the data transmission system or the data storage system 5 is related to the outside of the video signal and audio signal processing device. Because it affects the device
It cannot be changed freely and is limited to a certain range. As a result, when overflow or underflow frequently occurs in buffering, it cannot be completely prevented. The malfunction of the decoding process due to the overflow or underflow in the buffering occurs particularly at the time of starting the decoding. Therefore, in the decoder, there has been considered a method of solving this problem by performing a process called "startup delay (delay at start time)" that delays the decoding process at the initial stage of reproduction.

【0016】図12にスタートアップディレーに基づく
バッファリングの諸態様を示す。図12(A)は、スタ
ートアップディレーに無関係に理想的にバッファリング
が行われた場合、図12(B)は、適切にスタートアッ
プディレーが行われた場合のバッファリング、図12
(C)はスタートアップディレーが長くビデオ信号受信
バッファ603がオーバーフローする場合、図12
(D)はスタートアップディレーが短くアンダーフロー
が生じる場合を示す。
FIG. 12 shows various modes of buffering based on the startup delay. FIG. 12 (A) shows ideal buffering regardless of startup delay, and FIG. 12 (B) shows buffering when startup delay is properly performed.
FIG. 12C shows a case where the startup delay is long and the video signal reception buffer 603 overflows.
(D) shows a case where the startup delay is short and underflow occurs.

【0017】MPEGにおいては、上述したようにそれ
ぞれのパックのヘッダに位相同期をとるためのシステム
クロック基準SCRを記述することができ、システムク
ロック基準SCRは転送ビットレートを定義するために
使用できる。さらにMPEGにおいては、ビデオ信号パ
ッケットはオーディオ信号パッケットのヘッダに記述さ
れるタイムスタンプは、フレームレートまたはサンプリ
ングレートを制御するために使用できる。つまり図13
に図解したように、システムクロック基準SCRはデー
タ伝送系またはデータ蓄積系5から復号処理系600に
入力された多重化ビットストリームS5の時刻を示し、
ビデオ信号パッケットまたはオーディオ信号パッケット
のタイムスタンプはビデオ信号またはオーディオ信号が
ビデオ信号受信バッファ603またはオーディオ信号受
信バッファ607から出力された時刻を示す。これらの
時刻は、たとえば、水晶発振器を用いて90KHZ の基
準クロックを用いて絶対時刻で記録することができる。
このように、システムクロック基準SCRとタイムスタ
ンプとの差をスタートアップディレーに使用できる。図
13において、記号DTSは復号時刻を意味するデコー
ダタイムスタンプを示し、記号PTSはビデオ信号、つ
まり、ピクチャーの復号時刻を意味するピクチャータイ
ムスタンプを示し、記号Hはヘッダを示す。
In MPEG, the system clock reference SCR for phase synchronization can be described in the header of each pack as described above, and the system clock reference SCR can be used to define the transfer bit rate. Furthermore, in MPEG, the video signal packet is described in the header of the audio signal packet, and the time stamp can be used to control the frame rate or the sampling rate. That is, FIG.
As illustrated in FIG. 3, the system clock reference SCR indicates the time of the multiplexed bitstream S5 input from the data transmission system or the data storage system 5 to the decoding processing system 600,
The time stamp of the video signal packet or the audio signal packet indicates the time when the video signal or the audio signal is output from the video signal reception buffer 603 or the audio signal reception buffer 607. These times, for example, can be recorded in the absolute time by using the reference clock 90KH Z by using a crystal oscillator.
In this way, the difference between the system clock reference SCR and the time stamp can be used for the startup delay. In FIG. 13, a symbol DTS indicates a decoder time stamp which means a decoding time, a symbol PTS indicates a picture time stamp which means a decoding time of a video signal, that is, a picture, and a symbol H indicates a header.

【0018】上述したように、MPEGにおけるオーデ
ィオ信号の復号とビデオ信号の復号に際しては、これら
両者の復号結果を同期させる必要があり、この同期にタ
イムスタンプを用いる。ビデオ信号およびオーディオ信
号の復号処理時刻を0秒と仮定する。図14に示したよ
うに、IピクチャーおよびPピクチャーとしてのフレー
ム以外、つまり、Bピクチャーとしてのフレームにおい
ては、タイムスタンプによって示されるアクセスユニッ
トの復号時刻は、Bピクチャーが表示される表示時刻と
同じになる。つまり、デマルチプレクシング部601を
介してビデオ信号受信バッファ603に順次入力されて
いるビデオ信号のうち、第m番目のビデオ信号パッケッ
トの第i番目のフレームのIピクチャーのビデオ信号:
Frame i(I)が時刻DTSm にビデオ信号受信
バッファ603から読み出されて復号された後、ビデオ
信号復号器604の後段に設けられたIピクチャーおよ
びPピクチャーのビデオ信号(フレーム)を一時的に記
憶するI/Pバッファに記憶する。Iピクチャーのビデ
オ信号とPピクチャーのビデオ信号とでは復号時刻と表
示時刻とが異なる。そこで、そのビデオ信号に対応する
ビデオ信号パッケットのヘッダには、それぞれ復号時刻
および表示時刻を示すタイムスタンプとしてのDTSと
PTSとが記録されるが、IピクチャーとPピクチャー
のビデオ信号の表示時刻PTSとは次のIピクチャーと
PピクチャーのDTSとは同じであるから、表示時刻P
TSは省略できる。
As described above, when decoding an audio signal and a video signal in MPEG, it is necessary to synchronize the decoding results of both, and a time stamp is used for this synchronization. It is assumed that the decoding processing time of the video signal and the audio signal is 0 second. As shown in FIG. 14, in the frames other than the I picture and the P picture, that is, in the B picture, the decoding time of the access unit indicated by the time stamp is the same as the display time when the B picture is displayed. become. That is, among the video signals sequentially input to the video signal reception buffer 603 via the demultiplexing unit 601, the video signal of the I picture of the i th frame of the m th video signal packet:
After Frame i (I) is read from the video signal reception buffer 603 and decoded at time DTS m , the video signals (frames) of I picture and P picture provided in the subsequent stage of the video signal decoder 604 are temporarily transferred. Store in I / P buffer. The decoding time and the display time are different between the I picture video signal and the P picture video signal. Therefore, in the header of the video signal packet corresponding to the video signal, DTS and PTS as time stamps indicating the decoding time and the display time are recorded, but the display time PTS of the I picture and P picture video signals is recorded. Is the same as the DTS of the next I picture and P picture, the display time P
TS can be omitted.

【0019】しかしながら、上述したMPEGに基づく
ビデオ信号およびオーディオ信号処理装置においては、
ビデオ信号ビットストリーム構成変換処理部602およ
びオーディオ信号ビットストリーム構成変換処理部60
6の回路構成が複雑になるという問題に遭遇している。
さらに上述したビデオ信号およびオーディオ信号処理装
置は、復号処理系600に入力されるデータがマルチプ
レクシングされたビットストリームであることを前提と
しており、たとえば、ビデオ信号またはオーディオ信号
のいずれかがマルチプレクシングされずに入力された場
合には、復号することができず、復号処理系として種々
の復号処理を行うことを考慮すると、その汎用性に問題
があった。
However, in the above-mentioned MPEG-based video signal and audio signal processing apparatus,
Video signal bitstream configuration conversion processing unit 602 and audio signal bitstream configuration conversion processing unit 60
I have encountered the problem that the circuit configuration of 6 becomes complicated.
Furthermore, the above-described video signal and audio signal processing device is premised on that the data input to the decoding processing system 600 is a multiplexed bit stream. For example, either a video signal or an audio signal is multiplexed. If it is input without input, it cannot be decoded, and there is a problem in its versatility in consideration of performing various kinds of decoding processing as a decoding processing system.

【0020】そこで本願出願人(本願発明者)は、上述
した問題を解決するビデオ信号およびオーディオ信号復
号装置を提案した(たとえば、平成5年2月26日出願
の特願平5−63293号、「データ復号化装置」を参
照)。図15にこの復号装置の構成を示す。このときの
ビットストリームを図6または図16に示す。図16に
示したビットストリームは、複数のビデオ信号パッケッ
トと、オーディオ信号パッケットとが連続し、それぞれ
の複数のビデオ信号パッケットは、第1のビデオ信号パ
ッケットヘッダ、第1のピクチャーグループGOP0〜
第4のビデオ信号パッケットヘッダ、第4のピクチャー
グループGOP3が配列されている。各々のビデオ信号
パッケットヘッダにはこのビデオ信号のタイムスタンプ
が格納されている。それぞれのピクチャーグループには
20個のフレームのビデオ信号が格納されている。オー
ディオ信号パッケットにはオーディオ信号タイムスタン
プ、および、オーディオ信号アクセスユニットAAUが
格納されている。
Therefore, the applicant of the present application (the inventor of the present application) has proposed a video signal and audio signal decoding apparatus which solves the above-mentioned problems (for example, Japanese Patent Application No. 5-63293 filed on February 26, 1993, See "Data Decoding Device"). FIG. 15 shows the configuration of this decoding device. The bit stream at this time is shown in FIG. 6 or FIG. In the bit stream shown in FIG. 16, a plurality of video signal packets and a plurality of audio signal packets are consecutive, and each of the plurality of video signal packets includes a first video signal packet header and a first picture group GOP0.
A fourth video signal packet header and a fourth picture group GOP3 are arranged. The time stamp of this video signal is stored in each video signal packet header. Video signals of 20 frames are stored in each picture group. An audio signal time stamp and an audio signal access unit AAU are stored in the audio signal packet.

【0021】この復号装置は、デマルチプレクシング5
01、DSP502、90KHZ のクロックを発生する
クロック発生器503、全体時刻レジスタ504、ビデ
オ信号受信バッファ505a、オーディオ信号受信バッ
ファ505b、ビデオ信号復号器506a、オーディオ
信号復号器506b、ビデオ信号タイムスタンプバッフ
ァ507a、オーディオ信号タイムスタンプバッファ5
07b、ビデオ信号クロック用位相同期回路(PLL)
508a、オーディオ信号クロック用PLL508bを
有する。デマルチプレクシング501においてビットス
トリームから分解されたビデオ信号タイムスタンプがビ
デオ信号タイムスタンプバッファ507a、オーディオ
信号タイムスタンプがオーディオ信号タイムスタンプバ
ッファ507bに格納される。またビットストリームか
ら分解されたビデオ信号がビデオ信号受信バッファ50
5aに格納され、分解されたオーディオ信号がオーディ
オ信号受信バッファ505bに格納される。これらバッ
ファ505a、505bに格納されたデータがそれぞ
れ、PLL508a、508bからのクロックによって
復号器506a、506bにおいて同期状態で復号され
る。このように、簡単な回路構成にすることができる。
This decoding device uses the demultiplexing 5
01, the clock generator 503 for generating a clock of DSP502,90KH Z, overall time register 504, the video signal receiving buffer 505a, the audio signal receiving buffer 505b, a video signal decoder 506a, audio decoder 506b, a video signal time stamp buffer 507a, audio signal time stamp buffer 5
07b, video signal clock phase synchronization circuit (PLL)
508a and PLL 508b for audio signal clock. The video signal time stamp decomposed from the bit stream in the demultiplexing 501 is stored in the video signal time stamp buffer 507a, and the audio signal time stamp is stored in the audio signal time stamp buffer 507b. Also, the video signal decomposed from the bit stream is a video signal reception buffer 50.
The audio signal stored in 5a and decomposed is stored in the audio signal receiving buffer 505b. The data stored in these buffers 505a and 505b are decoded by the decoders 506a and 506b in synchronization with the clocks from the PLLs 508a and 508b, respectively. In this way, a simple circuit configuration can be obtained.

【0022】図17に多重化ビットストリームのフォー
マットとその処理を図解する。ただし、このビットスト
リームはビデオ信号についてのみ示し、オーディオ信号
については省略している。図18にこのビットストリー
ムに基づくMPEGによるビデオ信号およびオーディオ
信号処理装置の構成を示す。拘束パラメータシステムタ
ーゲットデコーダ410はデマルチプレクシング部41
1、ビデオ信号バッファ412、オーディオ信号バッフ
ァ413、ディレクトリデータバッファ414、ビデオ
信号デコーダ415、オーディオ信号デコーダ416、
ディレクトリデコーダ417を有する。復号処理系61
0は拘束パラメータシステムターゲットデコーダ410
と同様に構成されている。符号処理系110は、図17
(A)に図解したビットストリームを生成する。このビ
ットストリームは、第1のディレクトリパッケットとこ
のディレクトリパッケットに対応する第1のビデオ信号
パッケットとが一対になっている。ディレクトリパッケ
ット内は最初の位置にディレクトリパッケットヘッダ、
続いて、第1〜第20のポインタP0〜P19が格納さ
れている。ビデオ信号パッケットの最初の位置にビデオ
信号パッケットヘッダ、続けて第1〜第20のピクチャ
ーグループGOP0〜GOP19が格納されている。第
1のポインタP0が第1のピクチャーグループGOP0
の記録位置などを指定している。他のポインタも対応す
るピクチャーグループの位置を指定している。
FIG. 17 illustrates the format of the multiplexed bit stream and its processing. However, this bit stream is shown only for the video signal and omitted for the audio signal. FIG. 18 shows the configuration of an MPEG video signal and audio signal processing device based on this bit stream. The constraint parameter system target decoder 410 includes a demultiplexing unit 41.
1, video signal buffer 412, audio signal buffer 413, directory data buffer 414, video signal decoder 415, audio signal decoder 416,
It has a directory decoder 417. Decoding processing system 61
0 is a constraint parameter system target decoder 410
Is configured similarly to. The code processing system 110 is shown in FIG.
The bit stream illustrated in (A) is generated. The bitstream is a pair of a first directory packet and a first video signal packet corresponding to the directory packet. The first position in the directory packet is the directory packet header,
Subsequently, the first to twentieth pointers P0 to P19 are stored. The video signal packet header is stored at the first position of the video signal packet, followed by the first to twentieth picture groups GOP0 to GOP19. The first pointer P0 is the first picture group GOP0.
The recording position of is specified. Other pointers also specify the position of the corresponding picture group.

【0023】具体例として、ビデオテープ記録再生装置
における再生動作を例示する。この場合、符号処理系1
10はビデオテープ記録再生装置の記録系であり、デー
タ伝送系またはデータ蓄積系5はビデオテープであり、
復号処理系610は再生系である。図17(B)に示す
ように、ユーザーがファーストフォワード(First Forw
ard :FF)動作またはファーストリバース(First Re
verse :FR)動作を要求する前は、復号処理系610
はビデオテープ5から、順次、ディレクトリパッケット
ヘッダの記録内容、ポインタの指定内容に基づいて、ピ
クチャーグループが連続的に読みだし、ディレクトリバ
ッファにポインタ、ビデオ信号バッファにビデオ信号を
格納し、ビデオ信号復号器においてビデオ信号を復号す
る。図17(C)に示すように、ユーザーがファースト
フォワード動作を要求すると、ディレクトリバッファに
格納されたディレクトリデータが空になるまでスキップ
動作が行われ、ピクチャーグループを飛ばしていく。そ
して、図17(D)に示したように、ディレクトリバッ
ファに新たなディレクトリが格納された位置のポインタ
まで戻る。図17(E)に示したように、ファーストフ
ォワード動作においては上述した動作、つまり、フィー
ドバック動作が行われる。
As a specific example, a reproducing operation in the video tape recording / reproducing apparatus will be illustrated. In this case, the code processing system 1
10 is a recording system of the video tape recording / reproducing apparatus, and the data transmission system or the data storage system 5 is a video tape.
The decoding processing system 610 is a reproduction system. As shown in FIG. 17B, the user can
ard: FF) operation or first reverse (First Re
(verse: FR) operation before requesting the decoding processing system 610.
Sequentially reads the picture groups from the video tape 5 based on the recorded contents of the directory packet header and the specified contents of the pointer, stores the pointer in the directory buffer, stores the video signal in the video signal buffer, and decodes the video signal. And decode the video signal. As shown in FIG. 17C, when the user requests the first forward operation, the skip operation is performed until the directory data stored in the directory buffer becomes empty, and the picture group is skipped. Then, as shown in FIG. 17D, the pointer is returned to the position where the new directory is stored in the directory buffer. As shown in FIG. 17E, in the fast forward operation, the above-mentioned operation, that is, the feedback operation is performed.

【0024】また、MPEGにおいては、上述したよう
にバッファリングの遅延時間を規定しており、位相同期
をとらない場合のこのバッファリング遅延時間は1秒以
内と制限している。
In MPEG, the buffering delay time is specified as described above, and the buffering delay time when phase synchronization is not established is limited to within 1 second.

【0025】図19(A)は上述した復号処理系の概略
構成図である。この図解は、たとえば、上述した復号処
理系の1例としてテレビジョン受像機において、圧縮さ
れている複数のチャネルのビデオ信号の1つをデマルチ
プレクシング回路11でチャネル選択して、ビデオ信号
バッファメモリ12に一旦蓄積し、ビデオ信号復号器1
6で圧縮されているビデオ信号を伸長などの復号処理を
行い、再生装置20に出力する場合を例示している。デ
マルチプレクシング回路11は、機能的には、図7に示
したデマルチプレクサ601、図15に図解したデマル
チプレクサ501に対応しているが、これらの例におけ
るデマルチプレクサ501、601がビデオ信号とオー
ディオ信号とをデマルチプレクシングしているのに対し
て、デマルチプレクシング回路11は複数のチャネルの
ビデオ信号をデマルチプレクシングする。ビデオ信号バ
ッファメモリ12は、図7に図解したビデオ信号受信バ
ッファ603、図15に図解したビデオ信号受信バッフ
ァ505aと同様に動作する。ビデオ信号復号器16
は、図7および図15に図解したビデオ復号器と同様の
機能を有する。ビデオ信号バッファメモリ12とビデオ
信号復号器16とのバッファリング処理は、図9を参照
して述べたと同様の処理を行う。図解の関係でビデオ信
号の処理系についてだけ述べたが、オーディオ信号につ
いても上記同様の構成および処理を行うことができる。
FIG. 19A is a schematic block diagram of the decoding processing system described above. In this illustration, for example, in a television receiver as an example of the above-described decoding processing system, one of the compressed video signals of a plurality of channels is channel-selected by the demultiplexing circuit 11, and the video signal buffer memory is selected. Video signal decoder 1 once accumulated in 12
6 illustrates a case where the video signal compressed in 6 is subjected to decoding processing such as decompression and output to the reproduction device 20. The demultiplexing circuit 11 functionally corresponds to the demultiplexer 601 shown in FIG. 7 and the demultiplexer 501 shown in FIG. 15, but the demultiplexers 501 and 601 in these examples have a video signal and an audio signal. While the signal is demultiplexed with the signal, the demultiplexing circuit 11 demultiplexes the video signals of a plurality of channels. The video signal buffer memory 12 operates similarly to the video signal receiving buffer 603 illustrated in FIG. 7 and the video signal receiving buffer 505a illustrated in FIG. Video signal decoder 16
Has the same function as the video decoder illustrated in FIGS. 7 and 15. The buffering process between the video signal buffer memory 12 and the video signal decoder 16 is the same as that described with reference to FIG. Although only the video signal processing system has been described in relation to the illustration, the same configuration and processing as described above can be performed for an audio signal.

【0026】図19(A)に図解したように、デマルチ
プレクシング回路11を介して、チャネル1のビデオ信
号がビデオ信号バッファメモリ12に入力され、このビ
デオ信号バッファメモリ12にバッファリングされたビ
デオ信号をビデオ信号復号器16が復号処理して、復号
処理結果を再生装置20に出力する。図19(B)に図
解したように、次に、チャネル1からチャネル2にチャ
ネル切換が生じた場合、デマルチプレクシング回路11
を介してチャネル2のビデオ信号がビデオ信号バッファ
メモリ12にバッファリングされ、ビデオ信号復号器1
6はこの新たなバッファリングビデオ信号について復号
処理を行う。
As illustrated in FIG. 19A, the video signal of channel 1 is input to the video signal buffer memory 12 via the demultiplexing circuit 11, and the video signal buffered in the video signal buffer memory 12 is input. The video signal decoder 16 decodes the signal, and outputs the decoding processing result to the playback device 20. As illustrated in FIG. 19B, when channel switching from channel 1 to channel 2 occurs next, the demultiplexing circuit 11
The video signal of channel 2 is buffered in the video signal buffer memory 12 via the video signal decoder 1
6 performs a decoding process on this new buffered video signal.

【0027】[0027]

【発明が解決しようとする課題】しかしながら、図19
に図解した復号装置においては、複数のチャネルについ
て、1系統のバッファメモリ12およびビデオ信号復号
器しか有していないから、チャネル切換時に、上述した
1秒のスタートアップディレーの問題に遭遇する。つま
り、バッファメモリ12には上述した方法でビデオ信号
が蓄積され、ビデオ信号復号器16で復号処理のために
排出されていくが、ある時点においてチャネル切り換え
が行われた時、以前に選択されていたチャネルのビデオ
信号を全てバッファメモリ12から排出しないと新たに
選択されたチャネルについてのビデオ信号をバッファメ
モリ12に入力できず、ビデオ信号復号処理ができな
い。このため、スタートアップディレーが起こる。ビデ
オ信号と同様にオーディオ信号が再生されるから、オー
ディオ信号についても上記同様のスタートアップディレ
ーが起こる。このスタートアップディレーの間は、再生
装置20には新たに選択されたチャネルのビデオ信号お
よびオーディオ信号が再生されないから、ユーザーはチ
ャネル切り換えを行ったにも係わらず、新たに切り換え
たチャネルの映像および音響が得られない。つまり、現
在の復号処理系にはチャネル切り換え時の応答性に問題
がある。
However, as shown in FIG.
Since the decoding apparatus illustrated in FIG. 1 has only one system of buffer memory 12 and a video signal decoder for a plurality of channels, the above-mentioned 1 second startup delay problem is encountered when switching channels. That is, the video signal is accumulated in the buffer memory 12 by the above-mentioned method and is discharged for the decoding process in the video signal decoder 16, but when the channel is switched at a certain point, it is selected before. Unless all the video signals of the selected channel are discharged from the buffer memory 12, the video signal of the newly selected channel cannot be input to the buffer memory 12 and the video signal decoding process cannot be performed. Therefore, a start-up delay occurs. Since the audio signal is reproduced in the same manner as the video signal, the startup delay similar to the above also occurs for the audio signal. During this start-up delay, the video signal and audio signal of the newly selected channel are not reproduced by the reproducing device 20, so that the video and audio of the newly switched channel are generated despite the user switching the channel. Can't get That is, the current decoding processing system has a problem in response when switching channels.

【0028】上述した問題とテレビジョン受像機などに
おけるチャネル切り換えに限らず、ビデオ信号のプレー
バック時にも起こる。図20を参照して、プレーバック
時のスタートアップディレーの問題を述べる。この例
は、曲線CV1に示すように、第1の部分を復号処理す
るビットレートが3メガ(M)ビット/秒であり、第2
の部分を復号するビットレートが6Mビット/秒であ
る。第1の部分の開始時点において、ビデオ信号復号器
16がプレーバック処理を開始したとき、このビットス
トリームについては、スタートアップディレーは殆どな
く問題はない。しかしながら、第2の部分の開始時点に
おいて、ビデオ信号復号器16がプレーバック処理を開
始したとき、このビットストリームについては、上述し
たように、1秒のスタートアップディレーが必要であ
る。
The problems described above and channel switching in a television receiver or the like occur, and also occur during playback of a video signal. Referring to FIG. 20, the problem of start-up delay during playback will be described. In this example, as shown by the curve CV1, the bit rate for decoding the first part is 3 mega (M) bits / second, and the second part is
The bit rate for decoding the part is 6 Mbit / sec. At the beginning of the first part, when the video signal decoder 16 starts the playback process, there is little start-up delay for this bitstream, which is not a problem. However, at the beginning of the second part, when the video signal decoder 16 starts the playback process, a 1 second startup delay is required for this bitstream, as described above.

【0029】図21は1秒のスタートアップディレーを
行った後に、バッファメモリ12にビデオ信号が蓄積さ
れる状態を示すグラフである。図21において、アクセ
スポイントが画像データ量の多いイントラ(intra)・
ピクチャーの場合、第2の部分の開始時点に対するアク
セスのみ可能である。一般的に、イントラ・ピクチャー
はビデオ信号のビットストリームに規則的に発生する。
そこで、ユーザーが第2の部分の開始時点においてプレ
ーバックの始まりを要求すると、少なくとも1秒のスタ
ートアップディレーによって、ユーザーは少なくとも1
秒程度、再生情報、つまり、再生ビデオ信号および再生
オーディオ信号を得られない。
FIG. 21 is a graph showing a state in which the video signal is accumulated in the buffer memory 12 after the start-up delay of 1 second. In FIG. 21, the access point has a large amount of image data (intra).
In case of a picture, only the access to the start time of the second part is possible. Intra pictures generally occur regularly in the bitstream of a video signal.
So, if the user requests the beginning of playback at the beginning of the second part, the startup delay of at least 1 second will cause the user to lose at least 1
For about a second, the reproduction information, that is, the reproduction video signal and the reproduction audio signal cannot be obtained.

【0030】図22は、ビットストリームが1秒よりも
さらに長いスタートアップディレーを有する場合のバッ
ファリングを説明するグラフである。ビットストリーム
が1秒よりも長い場合、通常の伝送レートよりも高い伝
送レートを用いて迅速なスタートアップディレーを可能
にする高速な、換言すれば、高価なバッファメモリ(記
憶媒体)が必要になる。*を結んだ曲線abi(actual
decoder buffer input )は実際のバッファメモリへの
ビデオ信号の入力を示し、黒点を結んだ曲線abo(ac
tual decoder buffer output)は実際のバッファメモリ
へのビデオ信号の出力を示し、○印を結んだ曲線ibo
(intended decoder buffer output)は設計値としての
バッファメモリへのビデオ信号の出力を示し、+を結ん
だ曲線ovfはバッファのオーバーフロー限界を示す。
復号処理系が高性能の記憶媒体を持っているこの例にお
いて、たとえば、15Mビット/秒のレートでバッファ
メモリにビデオ信号の蓄積が始まる。その結果、0.5
秒後にバッファメモリには7.5Mビットのビデオ信号
が蓄積される。このビデオ信号の蓄積量は、4.5Mビ
ット/秒のレートで1.67秒、ビデオ信号を蓄積した
量に等しい。つまり、この例では、バッファメモリの開
始としては0.5秒で充分である。この例においては、
6Mビット/秒のレートでビデオ信号の読みだしが始ま
るまで15Mビット/秒のレートでビデオ信号の蓄積が
行われ、バッファメモリが満杯になったら、6Mビット
/秒のレートでビデオ信号を蓄積するようにレートを変
化させる。しかしながら、この方法はスタートアップデ
ィレーを短縮するものの、高価な記憶手段を必要とし、
レート制御を行うので、処理が複雑になる。
FIG. 22 is a graph illustrating buffering when the bitstream has a startup delay longer than 1 second. If the bitstream is longer than 1 second, a fast, in other words expensive buffer memory is required, which allows a quick start-up delay with a transmission rate higher than the normal transmission rate. Curve abi (actual that connects *
decoder buffer input) indicates the input of the video signal to the actual buffer memory, and the curve abo (ac
tual decoder buffer output) indicates the output of the video signal to the actual buffer memory, and the curve ibo that connects the circles
(Intended decoder buffer output) indicates the output of the video signal to the buffer memory as a design value, and the curve ovf connecting + indicates the overflow limit of the buffer.
In this example, where the decoding processing system has a high-performance storage medium, the accumulation of the video signal in the buffer memory starts at a rate of, for example, 15 Mbit / sec. As a result, 0.5
After a second, a 7.5 Mbit video signal is accumulated in the buffer memory. The accumulated amount of the video signal is equal to the accumulated amount of the video signal at 1.67 seconds at the rate of 4.5 Mbit / sec. That is, in this example, 0.5 seconds is sufficient to start the buffer memory. In this example,
The video signal is accumulated at the rate of 15 Mbit / sec until the reading of the video signal is started at the rate of 6 Mbit / sec, and when the buffer memory is full, the video signal is accumulated at the rate of 6 Mbit / sec. To change the rate. However, although this method shortens the start-up delay, it requires expensive storage means,
Since rate control is performed, processing becomes complicated.

【0031】本発明は上述した、圧縮されたビデオ信
号、および、圧縮されたオーディオ信号、またはいずれ
か一方の復号に関して、チャネル切換時、または、プレ
ーバック時などにおけるスタートアップディレーを短縮
する復号処理方法および復号処理系(装置)を提供する
ことを目的とする。
The present invention relates to the above-described decoding processing method for decoding the compressed video signal and / or the compressed audio signal, which shortens the start-up delay at the time of channel switching or at the time of playback. And a decoding processing system (apparatus).

【0032】[0032]

【課題を解決するための手段】本発明においては、所定
の遅延時間で画像信号および音響信号をバッファリング
する1つのバッファメモリ手段と1つの復号手段の他
に、少なくとも1つの上記同様のバッファメモリ手段
と、バッファメモリ手段に蓄積されたデータを無効化す
る少なくとも1つの疑似復号器を用いる。バッファメモ
リ手段は上述したように、圧縮されている画像信号、お
よび、圧縮されている音響(音声)信号またはいずれか
について所定の遅延時間でバッファリングする。復号手
段はバッファメモリ手段に蓄積されたデータを伸長など
の復号処理を行う。疑似復号手段はバッファメモリ手段
に蓄積されているデータを無効化する。以下、チャネル
選択の場合とプレーバックの場合とについて例示する。
According to the present invention, in addition to one buffer memory means and one decoding means for buffering an image signal and an audio signal with a predetermined delay time, at least one buffer memory similar to the above. Means and at least one pseudo-decoder for invalidating the data stored in the buffer memory means. As described above, the buffer memory means buffers the compressed image signal and / or the compressed audio (sound) signal with a predetermined delay time. The decoding means performs decoding processing such as decompression on the data stored in the buffer memory means. The pseudo decoding means invalidates the data stored in the buffer memory means. Hereinafter, the case of channel selection and the case of playback will be exemplified.

【0033】チャネル切換の場合について述べる。本発
明の復号装置は、少なくとも圧縮された画像信号を複数
チャネルについて受入れ、該複数チャネルのうち選択さ
れたチャネルについての圧縮された画像信号を出力する
手段と、該選択出力手段から出力される画像信号を受け
入れるように前記選択出力手段に作動的に接続された、
少なくとも2つの並列動作可能なバッファメモリ手段
と、該バッファメモリ手段のいずれかに作動的に接続さ
れ、該接続されたバッファメモリ手段に蓄積された画像
信号を読み出して復号処理する少なくとも1つの復号手
段と、前記バッファメモリ手段のうち、前記復号手段が
作動的に接続されてないほうのいずれかのバッファメモ
リ手段に作動的に接続され、該接続されたバッファメモ
リ手段に蓄積された画像信号を無効化処理する少なくと
も1つの疑似復号手段とを有する。好適には、連続的な
チャネル切換に則して、前記復号手段が1つ設けられ、
前記疑似復号手段が、チャネル位置的に前記復号手段を
挟んで前後に2つ設けられ、前記バッファメモリ手段が
3つ設けられ、前記復号手段に作動的に接続されるバッ
ファメモリ手段に、前記選択出力手段から選択されたチ
ャネルの画像信号が印加されて画像信号が蓄積され、前
記復号手段は該画像信号が蓄積されているバッファメモ
リ手段に蓄積された画像信号を復号処理し、前記疑似復
号手段のうちのチャネル選択に後行する位置の疑似復号
手段がチャネル選択直前に画像信号が蓄積されていたバ
ッファメモリ手段の画像信号を無効化する。
The case of channel switching will be described. A decoding device of the present invention receives at least a compressed image signal for a plurality of channels, outputs a compressed image signal for a channel selected from the plurality of channels, and an image output from the selection output unit. Operatively connected to the selective output means to receive a signal,
At least two buffer memory units that can operate in parallel, and at least one decoding unit that is operatively connected to one of the buffer memory units and that reads and decodes the image signal stored in the connected buffer memory unit. Of the buffer memory means, the decoding means is not operatively connected to any one of the buffer memory means, and the image signal stored in the connected buffer memory means is invalidated. And at least one pseudo-decoding means for performing a digitization process. Preferably, one of the decoding means is provided in accordance with continuous channel switching,
The pseudo decoding means is provided two before and after the decoding means in terms of the channel position, three buffer memory means are provided, and the selection is made in the buffer memory means operatively connected to the decoding means. The image signal of the selected channel is applied from the output means to accumulate the image signal, and the decoding means decodes the image signal accumulated in the buffer memory means in which the image signal is accumulated, and the pseudo decoding means. Pseudo-decoding means at a position subsequent to the channel selection invalidates the image signal of the buffer memory means in which the image signal was stored immediately before the channel selection.

【0034】プレーバックの場合について述べる。本発
明の復号装置は、少なくとも圧縮された画像信号を受入
れる並列動作可能な少なくとも2つのバッファメモリ手
段と、該バッファメモリ手段のいずれかに作動的に接続
され、該接続されたバッファメモリ手段に蓄積された画
像信号を読み出して復号処理する少なくとも1つの復号
手段と、前記バッファメモリ手段のうち、前記復号手段
が作動的に接続されてないほうのいずれかのバッファメ
モリ手段に作動的に接続され、該接続されたバッファメ
モリ手段に蓄積された画像信号を無効化処理する少なく
とも1つの疑似復号手段とを有する。この復号装置にお
いて、プレーバックが要求されたとき、要求されたプレ
ーバック時点からの画像信号を前記疑似復号手段に作動
的に接続されているバッファメモリ手段にバッファリン
グし、前記復号手段が該新たにバッファリングされてい
る画像信号を復号し、前記疑似復号手段がプレーバック
要求前の画像信号が蓄積されているバッファメモリ手段
に蓄積された画像信号を無効化する。
The case of playback will be described. The decoding device of the present invention includes at least two buffer memory means capable of operating in parallel for receiving at least a compressed image signal, and operatively connected to any of the buffer memory means, and stored in the connected buffer memory means. At least one decoding means for reading and decoding the generated image signal, and one of the buffer memory means, to which the decoding means is not operatively connected, operatively connected to one of the buffer memory means, And at least one pseudo decoding means for invalidating the image signal stored in the connected buffer memory means. In this decoding device, when playback is requested, the image signal from the requested playback time is buffered in the buffer memory means operatively connected to the pseudo decoding means, and the decoding means uses the new decoding means. The buffered image signal is decoded, and the pseudo decoding means invalidates the image signal stored in the buffer memory means in which the image signal before the playback request is stored.

【0035】[0035]

【作用】チャネル切換の作用について述べる。チャネル
切換があったとき、選択出力手段は新たに選択されたチ
ャネルの画像信号を未使用状態のバッファメモリ手段に
バッファリングし、復号手段は該新たにバッファリング
されている画像信号を復号する。疑似復号手段は、選択
前のチャネルの画像信号がまだ蓄積されているバッファ
メモリ手段に蓄積された画像信号を無効化する。これに
より、復号手段が選択前のバッファメモリ手段に蓄積さ
れている画像信号を排出する時間、つまり、スタートア
ップディレーを待たずに、新たに選択されたチャネルの
画像信号を復号できる。疑似復号手段は実際に復号処理
を行う機能を有している必要はなく、単にバッファメモ
リ手段内のデータを無効化処理するものであり、その構
成は簡単である。
[Operation] The operation of channel switching will be described. When the channel is switched, the selection output means buffers the image signal of the newly selected channel in the buffer memory means in the unused state, and the decoding means decodes the newly buffered image signal. The pseudo decoding unit invalidates the image signal stored in the buffer memory unit in which the image signal of the channel before selection is still stored. Thereby, the image signal of the newly selected channel can be decoded without waiting for the time for the decoding means to discharge the image signal stored in the buffer memory means before selection, that is, without waiting for the startup delay. The pseudo decoding means does not need to have a function of actually performing the decoding processing, but simply invalidates the data in the buffer memory means, and its configuration is simple.

【0036】プレーバックの作用について述べる。プレ
ーバックが要求されたとき、要求されたプレーバック時
点からの画像信号を未使用状態のバッファメモリ手段に
バッファリングし、復号手段が該新たにバッファリング
されている画像信号を復号する。疑似復号手段がプレー
バック要求前の画像信号がまだ蓄積されているバッファ
メモリ手段に蓄積されている画像信号を無効化する。
The action of playback will be described. When playback is requested, the image signal from the requested playback time is buffered in the unused buffer memory means, and the decoding means decodes the newly buffered image signal. The pseudo decoding means invalidates the image signal stored in the buffer memory means in which the image signal before the playback request is still stored.

【0037】[0037]

【実施例】本発明の復号方法および復号装置の実施例を
述べる。図1は本発明の復号装置の第1実施例として
の、ビデオ信号を復号処理するビデオ信号復号装置10
の構成図である。図1に示した復号装置は、従来技術と
して、図19を参照して述べた復号装置に対応してい
る。つまり、このビデオ信号復号装置10は、たとえ
ば、圧縮されたビデオ信号を伸長などの復号処理を行う
テレビジョン受像機などにおいて、複数チャネルについ
てのチャネル切換がある場合の復号処理を例示する。オ
ーディオ信号についても同様の構成となるが、図解の関
係で省略する。
Embodiments of the decoding method and the decoding apparatus of the present invention will be described. FIG. 1 shows a video signal decoding apparatus 10 for decoding a video signal as a first embodiment of the decoding apparatus of the present invention.
It is a block diagram of. The decoding device shown in FIG. 1 corresponds to the decoding device described with reference to FIG. 19 as a conventional technique. That is, the video signal decoding device 10 illustrates a decoding process when channel switching is performed for a plurality of channels in, for example, a television receiver that performs a decoding process such as decompressing a compressed video signal. The audio signal has the same configuration, but is omitted for the sake of illustration.

【0038】なお、ビデオ信号復号装置10にビデオ信
号およびオーディオ信号を提供する信号処理系として
は、図5および図18に図解した信号処理系であり、符
号化処理系100において、ビデオ信号とオーディオ信
号とを同時的に圧縮し、タイムスタンプをつけてデータ
蓄積系5またはデータ伝送系5に送出し、復号処理系6
00において、ビデオ信号復号装置10がそのような圧
縮されたビデオ信号とオーディオ信号を復号する。デー
タ伝送系またはデータ蓄積系5としては、データ伝送系
として、たとえば、衛星通信系、データ通信系などが対
象となり、データ蓄積系として、たとえば、CD−RO
M、LD、ビデオテープなどが対象となる。以下、本実
施例においては、データ伝送系またはデータ蓄積系5と
して、衛星通信系、または、CD−ROM、LDなどを
用いる場合について述べる。
The signal processing system for providing the video signal and the audio signal to the video signal decoding apparatus 10 is the signal processing system illustrated in FIG. 5 and FIG. The signal and the signal are simultaneously compressed, time stamped and sent to the data storage system 5 or the data transmission system 5, and the decoding processing system 6
At 00, the video signal decoding device 10 decodes such compressed video and audio signals. The data transmission system or the data storage system 5 is, for example, a satellite communication system or a data communication system as a data transmission system, and a data storage system such as a CD-RO.
M, LD, video tape, etc. are targeted. Hereinafter, in the present embodiment, a case where a satellite communication system, a CD-ROM, an LD or the like is used as the data transmission system or the data storage system 5 will be described.

【0039】図1に示したビデオ信号復号装置10は、
デマルチプレクシング回路11、4個並列に設けられた
第1のビデオ信号バッファメモリ12〜第4のビデオ信
号バッファメモリ15、4個並列に設けられた第1のビ
デオ信号復号器16〜第4のビデオ信号復号器19、お
よび、1つの再生装置20を有する。このビデオ信号復
号装置10において、デマルチプレクシング回路11は
チャネル切換に応じて、選択されたチャネルのビデオ信
号をそのチャネルに対応するビデオ信号バッファメモリ
に出力する。本実施例は、チャネル数として4チャネル
ある場合を例示する。第1のビデオ信号バッファメモリ
12〜第4のビデオ信号バッファメモリ15は、対応す
るビデオ信号復号器と協働して、上述した所定時間の遅
延時間でバッファリング動作を行う。バッファメモリ
は、図22を参照して述べたような特に高速動作をする
ものを用いる必要はない。第1のビデオ信号復号器16
〜第4のビデオ信号復号器19のそれぞれは、基本的に
図19を参照して述べた復号器と同じ構成および機能を
有しており、その前段に設けられた対応するバッファメ
モリ12〜19に蓄積されたビデオ信号を、上述した復
号処理方法に基づいて復号する。選択されたチャネルに
対応するビデオ信号復号器において復号されたビデオ信
号が再生装置20において再生される。再生装置20は
本実施例においてはビデオ信号の再生のみであるが、オ
ーディオ信号の復号をも行う場合は再生装置20はオー
ディオ信号の再生をも行う。
The video signal decoding apparatus 10 shown in FIG.
Demultiplexing circuit 11, four first video signal buffer memories 12 arranged in parallel to fourth video signal buffer memory 15, four parallel first video signal decoders 16 to fourth arranged It has a video signal decoder 19 and one playback device 20. In the video signal decoding device 10, the demultiplexing circuit 11 outputs the video signal of the selected channel to the video signal buffer memory corresponding to the channel according to the channel switching. The present embodiment exemplifies a case where the number of channels is four. The first video signal buffer memory 12 to the fourth video signal buffer memory 15 cooperate with the corresponding video signal decoders to perform the buffering operation with the delay time of the above-described predetermined time. As the buffer memory, it is not necessary to use one that operates particularly at high speed as described with reference to FIG. First video signal decoder 16
Each of the fourth video signal decoders 19 basically has the same configuration and function as the decoder described with reference to FIG. 19, and the corresponding buffer memories 12 to 19 provided in the preceding stage thereof. The video signal stored in is decoded based on the decoding processing method described above. The video signal decoded by the video signal decoder corresponding to the selected channel is reproduced by the reproducing device 20. In the present embodiment, the reproducing apparatus 20 only reproduces a video signal, but when the reproducing apparatus 20 also decodes an audio signal, the reproducing apparatus 20 also reproduces an audio signal.

【0040】図1は、チャネル2が選択されている状態
を示している。したがって、この状態においては、デマ
ルチプレクシング回路11から第2のビデオ信号バッフ
ァメモリ13にビデオ信号が蓄積され、第2のビデオ信
号復号器17が第2のビデオ信号バッファメモリ13に
蓄積されているビデオ信号を復号処理して、その復号結
果を再生装置20に出力する。ユーザーがチャネル2か
らチャネル1に切り換えた場合、デマルチプレクシング
回路11からチャネル1のビデオ信号が第1のビデオ信
号バッファメモリ12に出力され、第1のビデオ信号バ
ッファメモリ12にチャネル1のビデオ信号が蓄積され
ている。これに伴って、第1のビデオ信号復号器16が
復号処理に関して起動され、第2のビデオ信号復号器1
7は復号処理に関して停止される。これにより、再生装
置20が第1のビデオ信号復号器16に作動的に接続さ
れ、第2の実ビデオ信号復号器17は再生装置20から
切り離される。第1のビデオ信号復号器16は第1のビ
デオ信号バッファメモリ12に蓄積されたビデオ信号を
復号処理し、再生装置20にその復号結果を出力する。
この切換にはスタートアップディレーが存在しない。な
お、以前に選択されていたチャネル2に対応する第2の
ビデオ信号バッファメモリ13にはもはや新たなビデオ
信号の入力はなくなるが、依然として第2のビデオ信号
バッファメモリ13にはチャネル切換前に蓄積されたビ
デオ信号が残っている。そこで、第2のビデオ信号復号
器17は、スタートアップディレー機能によって、第2
のビデオ信号バッファメモリ13に残っているビデオ信
号を排出し、次のチャネル切換があっても、第2のビデ
オ信号バッファメモリ13をスタートアップディレーな
しで使用可能にしておく。
FIG. 1 shows a state in which channel 2 is selected. Therefore, in this state, the video signal is stored in the second video signal buffer memory 13 from the demultiplexing circuit 11, and the second video signal decoder 17 is stored in the second video signal buffer memory 13. The video signal is decoded, and the decoding result is output to the playback device 20. When the user switches from channel 2 to channel 1, the video signal of channel 1 is output from the demultiplexing circuit 11 to the first video signal buffer memory 12, and the video signal of channel 1 is output to the first video signal buffer memory 12. Has been accumulated. Along with this, the first video signal decoder 16 is activated for the decoding process, and the second video signal decoder 1
7 is suspended for the decoding process. This operatively connects the playback device 20 to the first video signal decoder 16 and disconnects the second real video signal decoder 17 from the playback device 20. The first video signal decoder 16 decodes the video signal stored in the first video signal buffer memory 12 and outputs the decoding result to the playback device 20.
There is no startup delay for this switch. It should be noted that although a new video signal is no longer input to the second video signal buffer memory 13 corresponding to the previously selected channel 2, it is still stored in the second video signal buffer memory 13 before channel switching. There is still video signal left. Therefore, the second video signal decoder 17 uses the startup delay function to perform the second video signal decoding.
The video signal remaining in the video signal buffer memory 13 is discharged so that the second video signal buffer memory 13 can be used without the start-up delay even when the next channel is switched.

【0041】以上のように、チャネル数に対応して、バ
ッファメモリとビデオ信号復号器を設けると、スタート
アップディレーなしでチャネル切換に即応できる。しか
しながら、図1に図解したビデオ信号復号装置10は、
チャネル数だけ、バッファメモリおよび実ビデオ信号復
号器を設けているが、ビデオ信号復号器のそれぞれは上
述したように、バッファメモリと協働してバッファ処理
を行う他、タイムスタンプに基づく同期処理、伸長処理
などの復号処理を高速に行うから、回路構成が複雑であ
り、DSPなどを用いて構成すると高価格となる。そこ
で、上述した問題を解決する他の実施例を述べる。
As described above, when the buffer memory and the video signal decoder are provided in correspondence with the number of channels, it is possible to immediately respond to channel switching without a start-up delay. However, the video signal decoding apparatus 10 illustrated in FIG.
As many buffer memories and real video signal decoders as the number of channels are provided, as described above, each of the video signal decoders performs buffer processing in cooperation with the buffer memory, as well as synchronization processing based on time stamps, Since the decoding process such as the decompression process is performed at high speed, the circuit configuration is complicated, and the cost is high if configured using a DSP or the like. Therefore, another embodiment for solving the above problem will be described.

【0042】図2は本発明の復号装置の第2実施例とし
てのビデオ信号復号装置10Aの構成図である。このビ
デオ信号復号装置10Aは、デマルチプレクシング回路
11、第1のビデオ信号バッファメモリ12〜第4のビ
デオ信号バッファメモリ15、および、第1の実ビデオ
信号復号器16および第2の実ビデオ信号復号器17、
第1の疑似ビデオ信号復号器21および第2の疑似ビデ
オ信号復号器22、および、再生装置20を有する。第
2実施例においても、チャネル数は4であるから、バッ
ファメモリを4系統設けている。第1の実ビデオ信号復
号器16および第2の実ビデオ信号復号器17は、図1
に図解した第1のビデオ信号復号器16および第2のビ
デオ信号復号器17と実質的に同じ構成および機能を有
しているが、第2実施例において、「実(real)」を付
加したのは、実際に復号処理を行うことを意味し、実際
に復号処理を行わない、第1の疑似ビデオ信号復号器2
1および第2の疑似ビデオ信号復号器22の「疑似(Qu
asi)」と区別するためである。
FIG. 2 is a block diagram of a video signal decoding apparatus 10A as a second embodiment of the decoding apparatus of the present invention. The video signal decoding apparatus 10A includes a demultiplexing circuit 11, a first video signal buffer memory 12 to a fourth video signal buffer memory 15, a first real video signal decoder 16 and a second real video signal. Decoder 17,
It has a first pseudo video signal decoder 21 and a second pseudo video signal decoder 22, and a reproduction device 20. Also in the second embodiment, since the number of channels is 4, four buffer memory systems are provided. The first real video signal decoder 16 and the second real video signal decoder 17 are shown in FIG.
Although it has substantially the same configuration and function as the first video signal decoder 16 and the second video signal decoder 17 illustrated in FIG. 2, in the second embodiment, "real" is added. Means that the decoding process is actually performed, and the first pseudo video signal decoder 2 that does not actually perform the decoding process
The “pseudo (Qu) of the first and second pseudo video signal decoders 22
asi) ”to distinguish it.

【0043】第1の疑似ビデオ信号復号器21および第
2の疑似ビデオ信号復号器22は、その前段に作動的に
接続されたバッファメモリに蓄積されているビデオ信号
を実質的に無効化にするものである。この無効化処理の
具体的処理例をいくつか例示する。第1の無効化方法
は、疑似ビデオ信号復号器21(または22)は、上述
したパケットヘッダからのタイムスタンプ、および、ビ
デオ信号シーケンスレイヤーからのピクチャーレートに
基づいてバッファメモリに蓄積されているピクチャーの
ヘッダ(先頭位置)を検出し、それ以降のビデオ信号を
無効化する。第2の無効化方法は、疑似ビデオ信号復号
器21(または22)は、バッファメモリに蓄積されて
いるビデオ信号の蓄積状態を示す制御ワードを強制的に
クリアしてそのバッファメモリにはビデオ信号が存在し
ていないようにする。第3の無効化方法は、疑似ビデオ
信号復号器21(または22)は、バッファメモリは通
常、FIFO(First-in First-out) 動作する場合が多
いので、このFIFO処理状態をクリアしてそのバッフ
ァメモリにはビデオ信号が存在していないようにする。
第1の疑似ビデオ信号復号器21および第2の疑似ビデ
オ信号復号器22はこのように、簡単なメモリ制御処理
であるから、簡単な構成でよく、安価に構成できる。つ
まり、第1の実ビデオ信号復号器16および第2の実ビ
デオ信号復号器17のような複雑な回路構成とはならな
い。しかも、第1の疑似ビデオ信号復号器21および第
2の疑似ビデオ信号復号器22は強制的にバッファメモ
リのビデオ信号を無効化するから、次のチャネル選択が
あっても、即応できる。
The first pseudo video signal decoder 21 and the second pseudo video signal decoder 22 substantially invalidate the video signal stored in the buffer memory operatively connected to the preceding stage. It is a thing. Some specific processing examples of this invalidation processing will be illustrated. In the first invalidation method, the pseudo video signal decoder 21 (or 22) uses the time stamp from the packet header described above and the picture stored in the buffer memory based on the picture rate from the video signal sequence layer. The header (head position) of is detected, and the video signal after that is invalidated. In the second invalidation method, the pseudo video signal decoder 21 (or 22) forcibly clears the control word indicating the storage state of the video signal stored in the buffer memory and the video signal is stored in the buffer memory. So that it doesn't exist. In the third invalidation method, since the buffer memory of the pseudo video signal decoder 21 (or 22) usually operates as a FIFO (First-in-First-Out) in many cases, this FIFO processing state is cleared to Make sure there is no video signal in the buffer memory.
Since the first pseudo video signal decoder 21 and the second pseudo video signal decoder 22 are simple memory control processing in this way, they can have a simple configuration and can be inexpensively constructed. That is, the complicated circuit configuration of the first real video signal decoder 16 and the second real video signal decoder 17 does not occur. Moreover, since the first pseudo video signal decoder 21 and the second pseudo video signal decoder 22 forcibly invalidate the video signal in the buffer memory, even if the next channel is selected, it can respond immediately.

【0044】図2(A)は、第1の実ビデオ信号復号器
16と第2の実ビデオ信号復号器17とがそれぞれ、チ
ャネル1のビデオ信号とチャネル2のビデオ信号を処理
している状態を示す。図2(B)に示したように、ユー
ザーがチャネル3を選択すると、デマルチプレクシング
回路11が第1の疑似ビデオ信号復号器21によってす
でに空き状態になっている第3のビデオ信号バッファメ
モリ14にチャネル2のビデオ信号を出力する。これに
より、第3のビデオ信号バッファメモリ14にビデオ信
号が蓄積され始める。同時に第1の実ビデオ信号復号器
16が、作動的に接続されていた第1のビデオ信号バッ
ファメモリ12から切り離され、第3のビデオ信号バッ
ファメモリ14に作動的に接続されて、第3のビデオ信
号バッファメモリ14に蓄積されているビデオ信号を復
号処理する。この復号処理により、再生装置20は第2
の実ビデオ信号復号器17から第1の実ビデオ信号復号
器16に作動的に接続され、第1の実ビデオ信号復号器
16で復号処理したビデオ信号が再生装置20に出力さ
れる。一方、第1の実ビデオ信号復号器16から切り離
された第1のビデオ信号バッファメモリ12には第1の
疑似ビデオ信号復号器21が作動的に接続され、第1の
ビデオ信号バッファメモリ12に残っているビデオ信号
を無効化する。
FIG. 2A shows a state in which the first real video signal decoder 16 and the second real video signal decoder 17 are processing the channel 1 video signal and the channel 2 video signal, respectively. Indicates. As shown in FIG. 2B, when the user selects the channel 3, the demultiplexing circuit 11 has the third video signal buffer memory 14 already empty by the first pseudo video signal decoder 21. To output the video signal of channel 2. As a result, the video signal starts to be stored in the third video signal buffer memory 14. At the same time, the first real video signal decoder 16 is disconnected from the operatively connected first video signal buffer memory 12 and operatively connected to the third video signal buffer memory 14, The video signal stored in the video signal buffer memory 14 is decoded. By this decryption processing, the playback device 20 receives the second
Is operatively connected to the first real video signal decoder 16 and the video signal decoded by the first real video signal decoder 16 is output to the playback device 20. On the other hand, a first pseudo video signal decoder 21 is operatively connected to the first video signal buffer memory 12 separated from the first real video signal decoder 16 and is connected to the first video signal buffer memory 12. Disable the remaining video signal.

【0045】第2実施例において、チャネル数だけバッ
ファメモリが設けられているから、デマルチプレクシン
グ回路11と第1のビデオ信号バッファメモリ12〜第
4のビデオ信号バッファメモリ15との接続関係は固定
しておき、第1のビデオ信号バッファメモリ12〜第4
のビデオ信号バッファメモリ15と第1の実ビデオ信号
復号器16および第2の実ビデオ信号復号器17、並び
に、第1の疑似ビデオ信号復号器21と第2の疑似ビデ
オ信号復号器22との接続関係を作動的に接続する場合
を例示した。第2実施例においては、第1の疑似ビデオ
信号復号器21は第1の実ビデオ信号復号器16に作動
的に接続されていたバッファメモリのビデオ信号の無効
化処理を行い、第2の疑似ビデオ信号復号器22は第2
の疑似ビデオ信号復号器22に作動的に接続されていた
バッファメモリのビデオ信号の無効化を行う。第2実施
例のビデオ信号復号装置10Aには2つの実ビデオ信号
復号器16、17が設けられているから、チャネル選択
が任意に行われても、迅速に選択されたチャネルについ
て、スタートアップディレーなしに、復号処理ビデオ信
号が提供できる。
In the second embodiment, since the buffer memories are provided by the number of channels, the connection relationship between the demultiplexing circuit 11 and the first video signal buffer memory 12 to the fourth video signal buffer memory 15 is fixed. Incidentally, the first video signal buffer memory 12 to the fourth
Of the video signal buffer memory 15, the first real video signal decoder 16 and the second real video signal decoder 17, and the first pseudo video signal decoder 21 and the second pseudo video signal decoder 22. The case where the connection relationships are operatively connected has been illustrated. In the second embodiment, the first pseudo video signal decoder 21 performs the invalidation process of the video signal of the buffer memory operatively connected to the first real video signal decoder 16 to obtain the second pseudo video signal. The video signal decoder 22 is the second
The video signal in the buffer memory operatively connected to the pseudo video signal decoder 22 in FIG. Since the video signal decoding apparatus 10A of the second embodiment is provided with the two real video signal decoders 16 and 17, even if the channel selection is arbitrarily performed, there is no start-up delay for the channel that is quickly selected. In addition, a decoded video signal can be provided.

【0046】図3は本発明の復号装置の第3実施例とし
てのビデオ信号復号装置10Bの構成図である。このビ
デオ信号復号装置10Bは、特に、チャネルが順番に切
り換えられる方式に適した構成である。つまり、チャネ
ル選択スイッチ(図示せず)内の上シフトボタンを1回
押すと、チャネル数が1つ増加し、下シフトボタンを1
回押すとチャネル数が1つ減少するチャネル選択方式に
適した構成である。ビデオ信号復号装置10Bは、デマ
ルチプレクシング回路11、第1のビデオ信号バッファ
メモリ12〜第3のビデオ信号バッファメモリ14、実
ビデオ信号復号器16、第1の疑似ビデオ信号復号器2
1および第2の疑似ビデオ信号復号器22、および、再
生装置20を有する。つまり、このビデオ信号復号装置
10Bには、チャネル数に依存せず、3個のバッファメ
モリ12〜15と、1個の実ビデオ信号復号器16と、
2個の疑似ビデオ信号復号器21、22が設けられてい
る。実ビデオ信号復号器16は選択されたチャネルのビ
デオ信号について復号処理を行う。第1の疑似ビデオ信
号復号器21は、チャネルが1つ増加したとき、それま
で実ビデオ信号復号器16が読み出していたバッファメ
モリに残っているビデオ信号を無効化する。第2の疑似
ビデオ信号復号器22は、チャネルが1つ減少したと
き、それまで実ビデオ信号復号器16が読み出していた
バッファメモリに残っているビデオ信号を無効化する。
FIG. 3 is a block diagram of a video signal decoding apparatus 10B as a third embodiment of the decoding apparatus of the present invention. The video signal decoding device 10B has a configuration particularly suitable for a system in which channels are switched in order. That is, pressing the up shift button in the channel select switch (not shown) once increases the number of channels by one and pushes the down shift button to 1.
This is a configuration suitable for a channel selection method in which the number of channels decreases by one when pressed twice. The video signal decoding device 10B includes a demultiplexing circuit 11, a first video signal buffer memory 12 to a third video signal buffer memory 14, a real video signal decoder 16, and a first pseudo video signal decoder 2.
It has first and second pseudo video signal decoders 22 and a playback device 20. That is, the video signal decoding device 10B includes three buffer memories 12 to 15 and one real video signal decoder 16 regardless of the number of channels.
Two pseudo video signal decoders 21 and 22 are provided. The real video signal decoder 16 performs a decoding process on the video signal of the selected channel. When the number of channels is increased by one, the first pseudo video signal decoder 21 invalidates the video signal remaining in the buffer memory which the real video signal decoder 16 has read until then. When the number of channels decreases by one, the second pseudo video signal decoder 22 invalidates the video signal remaining in the buffer memory which was read by the real video signal decoder 16 until then.

【0047】図3(A)は、チャネル2が選択されてお
り、実ビデオ信号復号器16がチャネル2のビデオ信号
を蓄積している第2のビデオ信号バッファメモリ13か
らビデオ信号を読みだし、復号処理して、再生装置20
に復号処理結果を出力している状態を示している。ユー
ザーがチャネル選択スイッチ内の上シフトボタンを押す
と、図3(B)に示したように、チャネル3が選択され
る。デマルチプレクシング回路11は、第2の疑似ビデ
オ信号復号器22によって事前に無効化されている第3
のビデオ信号バッファメモリ14にチャネル3のビデオ
信号を出力しはじめる。チャネル切換によって実ビデオ
信号復号器16とバッファメモリとの接続関係は、第2
のビデオ信号バッファメモリ13から第3のビデオ信号
バッファメモリ14に切り換わる。実ビデオ信号復号器
16は新たな接続関係の第3のビデオ信号バッファメモ
リ14に蓄積されたビデオ信号を復号処理する。一方、
第1の疑似ビデオ信号復号器21は切り換えられたチャ
ネル2のビデオ信号が残っている第2のビデオ信号バッ
ファメモリ13のビデオ信号を無効化する。さらに、ユ
ーザーがチャネル選択スイッチ内の上シフトボタンを押
すと、図3(C)に示したように、チャネル4が選択さ
れる。デマルチプレクシング回路11は、第2の疑似ビ
デオ信号復号器22によって事前に無効化されている第
1のビデオ信号バッファメモリ12にチャネル4のビデ
オ信号を出力しはじめる。チャネル切換によって実ビデ
オ信号復号器16とバッファメモリとの接続関係は、第
3のビデオ信号バッファメモリ14から第1のビデオ信
号バッファメモリ12に切り換わる。実ビデオ信号復号
器16は新たな接続関係の第1のビデオ信号バッファメ
モリ12に蓄積されたビデオ信号を復号処理する。一
方、第1の疑似ビデオ信号復号器21は切り換えられた
チャネル3のビデオ信号が残っている第3のビデオ信号
バッファメモリ14のビデオ信号を無効化する。
In FIG. 3A, the channel 2 is selected, and the actual video signal decoder 16 reads the video signal from the second video signal buffer memory 13 which stores the video signal of the channel 2, Playback device 20 after decryption processing
The state in which the decoding processing result is output is shown in FIG. When the user presses the up shift button in the channel selection switch, channel 3 is selected, as shown in FIG. 3 (B). The demultiplexing circuit 11 has a third pseudo video signal decoder 22 which has been previously disabled by the third pseudo video signal decoder 22.
The video signal of channel 3 is started to be output to the video signal buffer memory 14 of. The connection relationship between the real video signal decoder 16 and the buffer memory is changed to the second by the channel switching.
The video signal buffer memory 13 is switched to the third video signal buffer memory 14. The real video signal decoder 16 decodes the video signal stored in the third video signal buffer memory 14 having a new connection relationship. on the other hand,
The first pseudo video signal decoder 21 invalidates the video signal in the second video signal buffer memory 13 in which the switched channel 2 video signal remains. Further, when the user presses the up shift button in the channel selection switch, channel 4 is selected as shown in FIG. 3 (C). The demultiplexing circuit 11 starts to output the channel 4 video signal to the first video signal buffer memory 12 which has been previously invalidated by the second pseudo video signal decoder 22. The connection relationship between the real video signal decoder 16 and the buffer memory is switched from the third video signal buffer memory 14 to the first video signal buffer memory 12 by the channel switching. The actual video signal decoder 16 decodes the video signal stored in the first video signal buffer memory 12 having a new connection relationship. On the other hand, the first pseudo video signal decoder 21 invalidates the video signal of the third video signal buffer memory 14 in which the switched channel 3 video signal remains.

【0048】ユーザーがチャネル選択スイッチ内の上シ
フトボタンを押していった場合を述べたが、下シフトボ
タンを押していった場合は、上述した順序と逆に、第2
の疑似ビデオ信号復号器22が実ビデオ信号復号器16
から切り離されたバッファメモリの無効化処理を行う。
このように、第3実施例においては、バッファメモリ、
実ビデオ信号復号器16、および、疑似ビデオ信号復号
器21、22がチャネル選択状態に依存して、接続状態
が変化する。第3実施例によれば、チャネル数に依存さ
れずに、3並列のバッファメモリ、1つの実ビデオ信号
復号器16、2つの疑似ビデオ信号復号器21、22を
設けるだけでよいから、回路構成が簡単であり、低価格
でビデオ信号復号装置10Bを実現できる。
The case where the user pushes the upper shift button in the channel selection switch has been described. However, in the case where the user pushes the lower shift button, the second order is reversed in the reverse order.
The pseudo video signal decoder 22 of the real video signal decoder 16
Disables the buffer memory separated from.
Thus, in the third embodiment, the buffer memory,
The connection state of the real video signal decoder 16 and the pseudo video signal decoders 21 and 22 changes depending on the channel selection state. According to the third embodiment, it is sufficient to provide three parallel buffer memories, one real video signal decoder 16, and two pseudo video signal decoders 21 and 22 without depending on the number of channels. However, the video signal decoding device 10B can be realized at low cost.

【0049】図4は本発明の復号装置の第4実施例とし
てのビデオ信号復号装置10Cの構成図である。ビデオ
信号復号装置10Cは、デマルチプレクシング回路1
1、第1のビデオ信号バッファメモリ12および第2の
ビデオ信号バッファメモリ13、実ビデオ信号復号器1
6、疑似ビデオ信号復号器21、および、再生装置20
を有する。つまり、このビデオ信号復号装置10Bに
は、チャネル数に依存せず、2個のバッファメモリ12
〜15と、1個の実ビデオ信号復号器16と、1個の疑
似ビデオ信号復号器21が設けられている。実ビデオ信
号復号器16は選択されたチャネルのビデオ信号につい
て復号処理を行う。疑似ビデオ信号復号器21は、それ
まで実ビデオ信号復号器16が読み出していたバッファ
メモリに残っているビデオ信号を無効化する。
FIG. 4 is a block diagram of a video signal decoding apparatus 10C as a fourth embodiment of the decoding apparatus of the present invention. The video signal decoding device 10C includes a demultiplexing circuit 1
1, first video signal buffer memory 12 and second video signal buffer memory 13, real video signal decoder 1
6. Pseudo video signal decoder 21 and reproducing device 20
Have. That is, the video signal decoding device 10B has two buffer memories 12 independent of the number of channels.
˜15, one real video signal decoder 16 and one pseudo video signal decoder 21. The real video signal decoder 16 performs a decoding process on the video signal of the selected channel. The pseudo video signal decoder 21 invalidates the video signal remaining in the buffer memory read by the real video signal decoder 16 until then.

【0050】図4(A)は、チャネル1が選択されてお
り、実ビデオ信号復号器16がチャネル1のビデオ信号
を蓄積している第1のビデオ信号バッファメモリ12か
らビデオ信号を読みだし、復号処理して、再生装置20
に復号処理結果を出力している状態を示している。ユー
ザーがチャネル2を選択すると、図4(B)に示したよ
うに、チャネル2が選択される。デマルチプレクシング
回路11は、疑似ビデオ信号復号器21によって事前に
無効化されている第2のビデオ信号バッファメモリ13
にチャネル2のビデオ信号を出力しはじめる。チャネル
切換によって実ビデオ信号復号器16とバッファメモリ
との接続関係は、第1のビデオ信号バッファメモリ12
から第2のビデオ信号バッファメモリ13に切り換わ
る。実ビデオ信号復号器16は新たな接続関係の第2の
ビデオ信号バッファメモリ13に蓄積されたビデオ信号
を復号処理する。一方、疑似ビデオ信号復号器21は切
り換えられたチャネル1のビデオ信号が残っている第1
のビデオ信号バッファメモリ12のビデオ信号を無効化
する。
In FIG. 4A, the channel 1 is selected, and the actual video signal decoder 16 reads the video signal from the first video signal buffer memory 12 which stores the video signal of the channel 1, Playback device 20 after decryption processing
The state in which the decoding processing result is output is shown in FIG. When the user selects channel 2, channel 2 is selected, as shown in FIG. The demultiplexing circuit 11 includes a second video signal buffer memory 13 that has been invalidated in advance by the pseudo video signal decoder 21.
Then, the video signal of channel 2 is started to be output. The connection relationship between the real video signal decoder 16 and the buffer memory is changed by the channel switching to the first video signal buffer memory 12
To the second video signal buffer memory 13. The actual video signal decoder 16 decodes the video signal stored in the second video signal buffer memory 13 having a new connection relationship. On the other hand, the pseudo video signal decoder 21 uses the first video signal of the switched channel 1 as the first video signal.
The video signal in the video signal buffer memory 12 is invalidated.

【0051】このように、第4実施例においては、バッ
ファメモリ12、13、実ビデオ信号復号器16、およ
び、疑似ビデオ信号復号器21がチャネル選択状態に依
存して、接続状態が変化する。第4実施例によれば、チ
ャネル数に依存されずに、2並列のバッファメモリ、1
つの実ビデオ信号復号器16、1つの疑似ビデオ信号復
号器21を設けるだけでよいから、回路構成が簡単であ
り、低価格でビデオ信号復号装置10Cを実現できる。
As described above, in the fourth embodiment, the connection states of the buffer memories 12 and 13, the real video signal decoder 16 and the pseudo video signal decoder 21 change depending on the channel selection state. According to the fourth embodiment, two parallel buffer memories, 1
Since only one real video signal decoder 16 and one pseudo video signal decoder 21 need be provided, the circuit configuration is simple and the video signal decoding device 10C can be realized at low cost.

【0052】上述した第1〜第4の実施例は、チャネル
選択を行う場合について例示したが、プレーバックを行
う場合も、上述したビデオ信号復号装置を適用できる。
チャネル選択とプレーバックとの相違は、プレーバック
場合は、プレーバック前のビデオ信号が以前に選択され
ているチャネルのビデオ信号に相当し、プレーバック後
のビデオ信号が新たに選択されたチャネルのビデオ信号
に相当する。つまり、たとえば、図4のビデオ信号復号
装置10Cを例示すると、図4(A)において、チャネ
ル1としてプレーバック前のビデオ信号を復号処理して
いる場合に、プレーバックがあった場合、チャネル2と
してプレーバックが行われるビデオ信号を復号処理す
る。これにより、実ビデオ信号復号器16はプレーバッ
クされた時点から第2のビデオ信号バッファメモリ13
に蓄積されたビデオ信号を復号処理し、疑似ビデオ信号
復号器21は第1のビデオ信号バッファメモリ12に蓄
積されたビデオ信号を無効化し、次のプレーバックに備
える。本発明によれば、プレーバックにおいても、スタ
ートアップディレーなしにプレーバック後のビデオ信号
が再生できる。
Although the above-mentioned first to fourth embodiments exemplify the case of performing channel selection, the above-mentioned video signal decoding device can be applied to the case of performing playback.
In the case of playback, the difference between channel selection and playback is that the video signal before playback corresponds to the video signal of the previously selected channel, and the video signal after playback is of the newly selected channel. It corresponds to a video signal. That is, for example, when the video signal decoding device 10C of FIG. 4 is illustrated, in FIG. 4A, when the video signal before playback is decoded as channel 1, when there is playback, channel 2 is used. As a result, the video signal to be played back is decoded. As a result, the real video signal decoder 16 starts playing back the second video signal buffer memory 13 from the time of playback.
The pseudo video signal decoder 21 invalidates the video signal stored in the first video signal buffer memory 12, and prepares for the next playback. According to the present invention, even in playback, the video signal after playback can be reproduced without a start-up delay.

【0053】プレーバック処理について、図4に図解し
たビデオ信号復号装置に限らず、図1〜図3に図解した
ビデオ信号復号装置を適用できることは言うでもない。
It is needless to say that the playback processing is not limited to the video signal decoding device illustrated in FIG. 4 and the video signal decoding device illustrated in FIGS. 1 to 3 can be applied.

【0054】以上の実施例は、圧縮されて入力されるビ
デオ信号をバッファリングし伸長などの復号処理を行う
場合について述べたが、本発明は、そのようなビデオ信
号の処理に限らず、圧縮されて入力されるオーディオ信
号をバッファリングし伸長などの復号処理を行う場合、
および、圧縮されて入力されるビデオ信号およびオーデ
ィオ信号の両者についても、上記同様に処理できる。
The above embodiments have described the case where the compressed and input video signal is buffered and the decoding processing such as decompression is performed. However, the present invention is not limited to such processing of the video signal and the compression processing is performed. When buffering the input audio signal and performing decoding processing such as decompression,
Also, both the compressed and input video signal and audio signal can be processed in the same manner as described above.

【0055】[0055]

【発明の効果】以上、本発明によれば、プレーバックま
たはチャネル切換のいずれの場合も、スタートアップデ
ィレーなしでビデオ信号およびオーディオ信号を再生で
きる。
As described above, according to the present invention, a video signal and an audio signal can be reproduced without a start-up delay in either case of playback or channel switching.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の復号装置の第1実施例としての、ビデ
オ信号復号装置の構成図である。
FIG. 1 is a configuration diagram of a video signal decoding device as a first embodiment of a decoding device of the present invention.

【図2】本発明の復号装置の第2実施例としての、ビデ
オ信号復号装置の構成図である。
FIG. 2 is a configuration diagram of a video signal decoding device as a second embodiment of the decoding device of the present invention.

【図3】本発明の復号装置の第3実施例としての、ビデ
オ信号復号装置の構成図である。
FIG. 3 is a configuration diagram of a video signal decoding device as a third embodiment of the decoding device of the present invention.

【図4】本発明の復号装置の第4実施例としての、ビデ
オ信号復号装置の構成図である。
FIG. 4 is a configuration diagram of a video signal decoding device as a fourth embodiment of the decoding device of the present invention.

【図5】従来のMPEGに基づくビデオ信号およびオー
ディオ信号処理装置の構成図である。
FIG. 5 is a configuration diagram of a conventional video signal and audio signal processing device based on MPEG.

【図6】図5における拘束パラメータビットストリーム
のフォーマットを示す図であり、(A)は図5における
符号処理系においてマルチプレクシングしたビットスト
リームを示し、(B)は復号処理系においてフォーマッ
ト変換した信号フォーマットを示す。
6 is a diagram showing a format of a constraint parameter bitstream in FIG. 5, FIG. 6A shows a bitstream multiplexed in the code processing system in FIG. 5, and FIG. 6B is a format-converted signal in a decoding processing system. Indicates the format.

【図7】図5に示した復号処理系の構成図である。7 is a configuration diagram of a decoding processing system shown in FIG.

【図8】従来の復号処理系におけるオーディオ信号受信
バッファに入力されるオーディオ信号とオーディオ信号
復号器に入力されるオーディオ信号とのタイミングの関
係を示す図である。
FIG. 8 is a diagram showing a timing relationship between an audio signal input to an audio signal receiving buffer and an audio signal input to an audio signal decoder in a conventional decoding processing system.

【図9】従来の復号処理系におけるオーディオ信号受信
バッファに入力されるオーディオ信号とオーディオ信号
復号器に入力されるオーディオ信号との他のタイミング
の関係を示す図である。
FIG. 9 is a diagram showing another timing relationship between the audio signal input to the audio signal receiving buffer and the audio signal input to the audio signal decoder in the conventional decoding processing system.

【図10】バッファにおけるオーバーフローとアンダー
フローを示す図である。
FIG. 10 is a diagram showing overflow and underflow in a buffer.

【図11】図10に示したオーバーフローまたはアンダ
ーフローを防止する方法を示す図である。
11 is a diagram showing a method for preventing the overflow or underflow shown in FIG.

【図12】スタートアップディレーを説明する図であ
る。
FIG. 12 is a diagram illustrating a startup delay.

【図13】他のバッファリング処理を示す図である。FIG. 13 is a diagram showing another buffering process.

【図14】さらに他のバッファリング処理を示す図であ
る。
FIG. 14 is a diagram showing still another buffering process.

【図15】先行出願の復号器の構成図である。FIG. 15 is a block diagram of a decoder of the prior application.

【図16】図15に示した復号器で処理するビットスト
リームを示す図である。
16 is a diagram showing a bitstream processed by the decoder shown in FIG.

【図17】従来の他のビットストリームを示す図であ
る。
FIG. 17 is a diagram showing another conventional bit stream.

【図18】MPEGに基づく他の従来のビデオ信号およ
びオーディオ信号処理装置の構成図である。
FIG. 18 is a block diagram of another conventional video signal and audio signal processing device based on MPEG.

【図19】従来の復号装置の概要を示す図である。FIG. 19 is a diagram showing an outline of a conventional decoding device.

【図20】スタートアップディレーを示す第1のグラフ
である。
FIG. 20 is a first graph showing a startup delay.

【図21】スタートアップディレーを示す第2のグラフ
である。
FIG. 21 is a second graph showing a startup delay.

【図22】スタートアップディレーを示す第3のグラフ
である。
FIG. 22 is a third graph showing a startup delay.

【符号の説明】[Explanation of symbols]

1・・符号処理系 2・・非圧縮ビデオ信号源 3・・非圧縮オーディオ信号源 4・・拘束パラメータシステムターゲットデコーダ 5・・データ伝送系またはデータ蓄積系 6・・復号処理系 10〜10C・・ビデオ信号復号装置 11・・デマルチプレクシング回路 12〜15・・ビデオ信号バッファメモリ 16〜19・・実ビデオ信号復号器 20・・再生装置 21〜24・・疑似ビデオ信号復号器 1 ... Code processing system 2 ... Uncompressed video signal source 3 ... Uncompressed audio signal source 4 ... Constraint parameter system target decoder 5..Data transmission system or data storage system 6. Decoding processing system 10-10C ··· Video signal decoding device 11. Demultiplexing circuits 12-15 ... Video signal buffer memory 16-19 ... Real video signal decoder 20..Playback device 21-24 ... Pseudo video signal decoder

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04B 14/04 G11B 20/10 H04J 3/22 H04N 7/24 ─────────────────────────────────────────────────── ─── Continuation of front page (58) Fields surveyed (Int.Cl. 7 , DB name) H04B 14/04 G11B 20/10 H04J 3/22 H04N 7/24

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】少なくとも圧縮された画像信号を複数チャ
ネルについて受入れ、該複数チャネルのうち選択された
チャネルについて圧縮された画像信号をバッファメモリ
手段において所定の遅延時間でバッファリングし、この
バッファリングされた画像信号を復号する方法であっ
て、 新たに選択されたチャネルの画像信号を未使用状態のバ
ッファメモリ手段にバッファリングし、 該新たにバッファリングされている画像信号を復号し、 選択前のチャネルの画像信号が蓄積されているバッファ
メモリ手段に蓄積された画像信号を無効化する復号方
法。
1. At least a compressed image signal is received for a plurality of channels, an image signal compressed for a selected one of the plurality of channels is buffered in a buffer memory means with a predetermined delay time, and the buffered. A method for decoding a newly selected image signal, wherein the image signal of the newly selected channel is buffered in an unused buffer memory means, the newly buffered image signal is decoded, and A decoding method for invalidating an image signal accumulated in a buffer memory means in which an image signal of a channel is accumulated.
【請求項2】少なくとも圧縮された画像信号を複数チャ
ネルについて受入れ、該複数チャネルのうち選択された
チャネルについての圧縮された画像信号を出力する手段
と、 該選択出力手段から出力される画像信号を受け入れるよ
うに前記選択出力手段に作動的に接続され、所定の遅延
時間をもって該画像信号をバッファリングする少なくと
も2つの並列動作可能なバッファメモリ手段と、 該バッファメモリ手段のいずれかに作動的に接続され、
該接続されたバッファメモリ手段に蓄積された画像信号
を読み出して復号処理する少なくとも1つの復号手段
と、 前記バッファメモリ手段のうち、前記復号手段が作動的
に接続されてないほうのいずれかのバッファメモリ手段
に作動的に接続され、該接続されたバッファメモリ手段
に蓄積された画像信号を無効化処理する少なくとも1つ
の疑似復号手段とを有する復号装置。
2. A means for receiving at least a compressed image signal for a plurality of channels and outputting a compressed image signal for a channel selected from the plurality of channels, and an image signal output from the selection output means. At least two parallel operable buffer memory means operatively connected to the select output means for receiving and buffering the image signal with a predetermined delay time; and operably connected to any of the buffer memory means Is
At least one decoding means for reading and decoding the image signal stored in the connected buffer memory means, and one of the buffer memory means to which the decoding means is not operatively connected. A decoding device operatively connected to the memory means and having at least one pseudo decoding means for invalidating the image signals stored in the connected buffer memory means.
【請求項3】前記復号手段が1つ設けられ、 前記疑似復号手段が、チャネル位置的に前記復号手段を
挟んで前後に2つ設けられ、 前記バッファメモリ手段が3つ設けられ、 前記チャネル切換が順次連続的に行われ、 前記復号手段に作動的に接続されるバッファメモリ手段
に、前記選択出力手段から選択されたチャネルの画像信
号が印加されて画像信号が蓄積され、 前記復号手段は該画像信号が蓄積されているバッファメ
モリ手段に蓄積された画像信号を復号処理し、 前記疑似復号手段のうちのチャネル選択に後行する位置
の疑似復号手段がチャネル選択直前に画像信号が蓄積さ
れていたバッファメモリ手段の画像信号を無効化する請
求項2記載の復号装置。
3. The decoding means is provided one, the pseudo decoding means is provided two in front and in the back of the decoding means in terms of channel position, three buffer memory means are provided, and the channel switching is provided. Is sequentially and continuously performed, and the image signal of the channel selected from the selection output means is applied to the buffer memory means operatively connected to the decoding means to accumulate the image signal, and the decoding means is The image signal accumulated in the buffer memory means in which the image signal is accumulated is decoded, and the pseudo decoding means at the position following the channel selection of the pseudo decoding means stores the image signal immediately before the channel selection. The decoding device according to claim 2, wherein the image signal of the buffer memory means is invalidated.
【請求項4】少なくとも圧縮された画像信号を受入れ、
圧縮された画像信号をバッファメモリ手段において所定
の遅延時間でバッファリングし、このバッファリングさ
れた画像信号を復号する方法であって、 プレーバックが要求されたとき、要求されたプレーバッ
ク時点からの画像信号を未使用状態のバッファメモリ手
段にバッファリングし、 該新たにバッファリングされている画像信号を復号し、 プレーバック要求前の画像信号が蓄積されているバッフ
ァメモリ手段に蓄積されている画像信号を無効化する復
号方法。
4. Accepting at least a compressed image signal,
A method of buffering a compressed image signal in a buffer memory means with a predetermined delay time and decoding the buffered image signal, comprising the steps of: when playback is requested; An image stored in the buffer memory means in which the image signal is buffered in the unused buffer memory means, the newly buffered image signal is decoded, and the image signal before the playback request is stored. A decoding method that nullifies the signal.
【請求項5】少なくとも圧縮された画像信号を受入れ、
所定の遅延時間をもって該画像信号をバッファリングす
る並列動作可能な少なくとも2つのバッファメモリ手段
と、 該バッファメモリ手段のいずれかに作動的に接続され、
該接続されたバッファメモリ手段に蓄積された画像信号
を読み出して復号処理する少なくとも1つの復号手段
と、 前記バッファメモリ手段のうち、前記復号手段が作動的
に接続されてないほうのいずれかのバッファメモリ手段
に作動的に接続され、該接続されたバッファメモリ手段
に蓄積された画像信号を無効化処理する少なくとも1つ
の疑似復号手段とを有し、 プレーバックが要求されたとき、要求されたプレーバッ
ク時点からの画像信号を前記疑似復号手段に作動的に接
続されているバッファメモリ手段にバッファリングし、 前記復号手段が該新たにバッファリングされている画像
信号を復号し、 前記疑似復号手段がプレーバック要求前の画像信号が蓄
積されているバッファメモリ手段に蓄積された画像信号
を無効化する復号装置。
5. Accepting at least a compressed image signal,
At least two buffer memory means capable of operating in parallel for buffering the image signal with a predetermined delay time, and operably connected to any of the buffer memory means,
At least one decoding means for reading and decoding the image signal stored in the connected buffer memory means, and one of the buffer memory means to which the decoding means is not operatively connected. At least one pseudo-decoding means operatively connected to the memory means for invalidating the image signals stored in the connected buffer memory means, the playback being requested when playback is requested. The image signal from the back time is buffered in the buffer memory means operatively connected to the pseudo decoding means, the decoding means decodes the newly buffered image signal, and the pseudo decoding means is A decoding device for invalidating the image signal stored in the buffer memory means in which the image signal before the playback request is stored.
JP19051393A 1993-07-30 1993-07-30 Decoding method and decoding device Expired - Lifetime JP3404808B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19051393A JP3404808B2 (en) 1993-07-30 1993-07-30 Decoding method and decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19051393A JP3404808B2 (en) 1993-07-30 1993-07-30 Decoding method and decoding device

Publications (2)

Publication Number Publication Date
JPH0746198A JPH0746198A (en) 1995-02-14
JP3404808B2 true JP3404808B2 (en) 2003-05-12

Family

ID=16259345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19051393A Expired - Lifetime JP3404808B2 (en) 1993-07-30 1993-07-30 Decoding method and decoding device

Country Status (1)

Country Link
JP (1) JP3404808B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702202A (en) * 2013-12-13 2014-04-02 乐视致新电子科技(天津)有限公司 Method and device for realizing fast playing during channel switching

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724091A (en) * 1991-11-25 1998-03-03 Actv, Inc. Compressed digital data interactive program system
US5721720A (en) * 1994-12-28 1998-02-24 Kabushiki Kaisha Toshiba Optical recording medium recording pixel data as a compressed unit data block
US6009202A (en) * 1994-12-28 1999-12-28 Kabushiki Kaisha Toshiba Image information encoding/decoding system
TW361046B (en) 1996-10-31 1999-06-11 Matsushita Electric Ind Co Ltd Dynamic picture image decoding apparatus and method of decoding dynamic picture image
JP4712238B2 (en) * 2001-07-30 2011-06-29 パナソニック株式会社 Video signal encoding apparatus, video signal transmitting apparatus, and video signal encoding method
CN101258748B (en) * 2005-07-12 2010-12-08 日本电气株式会社 Multi-point conference server, multi-point conference system and method
JP5127187B2 (en) * 2006-09-06 2013-01-23 株式会社ソニー・コンピュータエンタテインメント Decoding device, broadcast wave reproduction system, and television reception support method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702202A (en) * 2013-12-13 2014-04-02 乐视致新电子科技(天津)有限公司 Method and device for realizing fast playing during channel switching

Also Published As

Publication number Publication date
JPH0746198A (en) 1995-02-14

Similar Documents

Publication Publication Date Title
US5905768A (en) MPEG audio synchronization system using subframe skip and repeat
US7400685B2 (en) Decoding method and apparatus and recording method and apparatus for moving picture data
KR100205494B1 (en) Rational input buffer arrangements for auxiliary information in video and audio signal processing system
US7292610B2 (en) Multiplexed data producing apparatus, encoded data reproducing apparatus, clock conversion apparatus, encoded data recording medium, encoded data transmission medium, multiplexed data producing method, encoded data reproducing method, and clock conversion method
JP4515465B2 (en) Moving picture photographing apparatus and moving picture photographing method, moving picture reproducing apparatus and moving picture reproducing method for reproducing a video signal recorded on a recording medium
US8233780B2 (en) Reproducing apparatus and method, and recording medium
US5694332A (en) MPEG audio decoding system with subframe input buffering
JPH10507597A (en) Programmable audio-video synchronization method and apparatus for multimedia systems
US6754239B2 (en) Multiplexing apparatus and method, transmitting apparatus and method, and recording medium
JP3552249B2 (en) Image and audio signal processing method and apparatus
US6185229B1 (en) Data multiplexing apparatus and method thereof
JP3404808B2 (en) Decoding method and decoding device
JPH11317768A (en) Transmission system, transmitting device, recording and reproducing device, and recording device
JP3668556B2 (en) Digital signal encoding method
JP3750760B2 (en) Repeated use data insertion device and digital broadcast transmission system
JP4069472B2 (en) Data transmitting apparatus, data transmitting method, data receiving apparatus, and data receiving method
US20050069289A1 (en) Transport stream recording/editing device and recording/editing method
JP3541413B2 (en) Information signal transmission method and apparatus
WO2004086396A1 (en) Reproducing apparatus and method, and recording medium
EP1311120A2 (en) Method for implementing low-speed playback of a digital broadcast program
JPH08191434A (en) Moving picture/audio coding data multiplexing method and moving picture/audio coding data multiplexer
JPH099215A (en) Data multiplex method, data transmission method, multiplex data decoding method and multiplex data decoder
JP2000187940A (en) Recording/reproducing device and recorder
JP3674717B2 (en) Data recording method and apparatus, data reproduction method and apparatus, data transmission method and apparatus
JP2001313905A (en) Recording and reproducing device of multidata, and recording and reproducing method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080307

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090307

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100307

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100307

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 10