JP2006014113A - Image decoding device and image encoding device - Google Patents

Image decoding device and image encoding device Download PDF

Info

Publication number
JP2006014113A
JP2006014113A JP2004190699A JP2004190699A JP2006014113A JP 2006014113 A JP2006014113 A JP 2006014113A JP 2004190699 A JP2004190699 A JP 2004190699A JP 2004190699 A JP2004190699 A JP 2004190699A JP 2006014113 A JP2006014113 A JP 2006014113A
Authority
JP
Japan
Prior art keywords
vop
decoding
processing
macroblock
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004190699A
Other languages
Japanese (ja)
Other versions
JP4470613B2 (en
Inventor
Yasuhiro Watabe
康弘 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2004190699A priority Critical patent/JP4470613B2/en
Publication of JP2006014113A publication Critical patent/JP2006014113A/en
Application granted granted Critical
Publication of JP4470613B2 publication Critical patent/JP4470613B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To obtain high throughput without increasing an operating frequency with regard to an image decoding device such as an MPEG decoder. <P>SOLUTION: A bit stream analytic section 17 distributes a VOP in a bit stream to VOP decoders 18-0 to 18-3 so that the decode processing start timing of each macro-block in the VOP decoders 18-0 to 18-3 can be after the decoding completion of a reference image region required for each macro-block is completed, and makes the VOP decoders 18-0 to 18-3 execute parallel processings of four VOPs. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、MPEG(Moving Picture Experts Group)システムに使用するMPEGデコーダ及びMPEGエンコーダ等、画像復号装置及び画像符号化装置に関する。具体的には、画像復号装置及び画像符号化装置の処理性能向上化技術に関する。   The present invention relates to an image decoding apparatus and an image encoding apparatus such as an MPEG decoder and an MPEG encoder used in an MPEG (Moving Picture Experts Group) system. Specifically, the present invention relates to a technique for improving processing performance of an image decoding device and an image encoding device.

例えば、MPEGデコーダ及びMPEGエンコーダは、デジタルハイビジョン放送等、扱う画像の大画面化に伴い、処理性能向上が望まれている。MPEGデコーダ及びMPEGエンコーダの処理性能向上を図る手法として、「動作周波数の高速化」、「処理の並列化」等が考えられるが、「動作周波数の高速化」には、プロセス技術の向上や高速動作可能な回路等が必要である。   For example, MPEG decoders and MPEG encoders are required to improve processing performance as the screen size of images handled increases, such as digital high-definition broadcasting. As a technique for improving the processing performance of the MPEG decoder and the MPEG encoder, “speeding up the operating frequency”, “parallel processing”, etc. are conceivable. An operable circuit or the like is necessary.

他方、「処理の並列化」に関しては、MPEGデコーダの場合、フレーム(ピクチャ)間の予測処理及び可変長復号処理が必要なため、符号圧縮されたビットストリームを前から順番に処理していく必要があり、単純な処理の並列化は難しく、処理の並列化には様々な工夫が行なわれてきた。   On the other hand, with regard to “parallelization of processing”, in the case of an MPEG decoder, prediction processing between frames (pictures) and variable length decoding processing are required, so it is necessary to process code-compressed bitstreams sequentially from the front. Therefore, it is difficult to parallelize simple processes, and various ideas have been made for parallelizing processes.

図7はMPEG−2におけるフレーム画像の構成を示す図である。図7に示すように、MPEG−2におけるフレーム1は、横長の帯状の領域である複数のスライス2から構成され、スライス2は、複数のマクロブロック3から構成され、マクロブロック3は、4つの輝度ブロック4〜7と2つの色差ブロック8、9から構成される。   FIG. 7 is a diagram showing the structure of a frame image in MPEG-2. As shown in FIG. 7, a frame 1 in MPEG-2 is composed of a plurality of slices 2 which are horizontally long strip-like regions, and the slice 2 is composed of a plurality of macroblocks 3, and the macroblock 3 is composed of four It is composed of luminance blocks 4 to 7 and two color difference blocks 8 and 9.

そこで、従来、MPEGデコーダにおける並列処理手法として、ブロックレベルでの並列処理(ブロックを処理単位として、複数のブロックを並列処理する手法)や、スライスレベルでの並列処理(スライスを処理単位として、複数のスライスを並列処理する手法)等が提案されている。   Therefore, as a parallel processing technique in an MPEG decoder, conventionally, parallel processing at a block level (a technique for processing a plurality of blocks in parallel with a block as a processing unit) or parallel processing at a slice level (a plurality of processing with a slice as a processing unit) A method for processing slices in parallel) has been proposed.

図8は従来のMPEGデコーダの一例の要部の構成図である。図8に示す従来のMPEGデコーダは、ブロックレベルでの並列処理を6並列で行うものであり、10はMPEGデジタル画像のビットストリームを入力して可変長復号を行う可変長復号部、11−0〜11−5はブロックを処理単位として逆量子化、逆離散コサイン変換を行うブロック処理部、12は動き補償部、13はフレームメモリである。   FIG. 8 is a configuration diagram of a main part of an example of a conventional MPEG decoder. The conventional MPEG decoder shown in FIG. 8 performs parallel processing at the block level in 6 parallels, and 10 is a variable length decoding unit that inputs a bit stream of an MPEG digital image and performs variable length decoding. 11-0 Reference numeral 11-5 denotes a block processing unit that performs inverse quantization and inverse discrete cosine transform using blocks as processing units, 12 denotes a motion compensation unit, and 13 denotes a frame memory.

図9は従来のMPEGデコーダの他の例の要部の構成図である。図9に示す従来のMPEGデコーダは、スライスレベルでの並列処理を4並列で行うものであり、14−0〜14−3はMPEGデジタル画像のビットストリームからスライスを検出するスライス検出部、15−0〜15−3はスライスを処理単位として可変長復号、逆量子化、逆離散コサイン変換、動き補償を行うスライス処理部、16はフレームメモリである。
特開平9−261641号公報 特開2001−285876号公報
FIG. 9 is a block diagram of the main part of another example of a conventional MPEG decoder. The conventional MPEG decoder shown in FIG. 9 performs parallel processing at the slice level in four parallel processes. 14-0 to 14-3 are slice detectors for detecting a slice from the bit stream of the MPEG digital image. Reference numerals 0 to 15-3 denote slice processing units that perform variable length decoding, inverse quantization, inverse discrete cosine transform, and motion compensation using a slice as a processing unit, and reference numeral 16 denotes a frame memory.
Japanese Patent Laid-Open No. 9-261642 JP 2001-285876 A

図8に示す従来のMPEGデコーダにおいては、可変長復号部10がビットストリーム解析を行い、ブロックY0〜Y3、Cb、Crをブロック処理部11−0〜11−5に振り分けることになるが、可変長復号処理はシリアル処理で行なう必要があるため、可変長復号部10については高速動作が必要であり、動作周波数を上げなければならないという問題点があった。   In the conventional MPEG decoder shown in FIG. 8, the variable length decoding unit 10 performs bit stream analysis and distributes the blocks Y0 to Y3, Cb, and Cr to the block processing units 11-0 to 11-5. Since the long decoding process needs to be performed by serial processing, the variable-length decoding unit 10 has to be operated at high speed and has a problem that the operating frequency has to be increased.

図9に示す従来のMPEGデコーダは、MPEG−2規格にはマクロブロックライン毎にスライスヘッダと呼ばれるユニークコードが存在することを利用しているが、MPEG−4規格では、VOP(video object plane)内に、そのようなユニークコードが存在しないため、スライスレベル相当の並列処理はできないという問題点があった。   The conventional MPEG decoder shown in FIG. 9 uses the fact that a unique code called a slice header exists for each macroblock line in the MPEG-2 standard, but in the MPEG-4 standard, a VOP (video object plane) is used. However, since there is no such unique code, parallel processing equivalent to the slice level cannot be performed.

本発明は、かかる点に鑑み、動作周波数を上げることなく、高い処理性能を実現することができるようにした画像復号装置及び画像符号化装置を提供することを目的とする。   In view of the above, an object of the present invention is to provide an image decoding apparatus and an image encoding apparatus that can realize high processing performance without increasing the operating frequency.

本発明の画像復号装置は、複数のピクチャを並列してデコード処理するための複数のピクチャデコード処理部を有し、各ピクチャデコード処理部の各マクロブロックのデコード処理開始タイミングを各マクロブロックの参照画像領域のデコード完了後とするものである。   The image decoding apparatus of the present invention has a plurality of picture decoding processing units for decoding a plurality of pictures in parallel, and refers to each macroblock for the decoding processing start timing of each macroblock of each picture decoding processing unit This is after the decoding of the image area is completed.

本発明の画像符号化装置は、複数のピクチャを並列してエンコード処理するための複数のピクチャエンコード処理部を有し、各ピクチャエンコード処理部の各マクロブロックのエンコード処理開始タイミングを各マクロブロックの参照画像領域のエンコード完了後とするものである。   The image encoding apparatus of the present invention has a plurality of picture encoding processing units for encoding a plurality of pictures in parallel, and the encoding processing start timing of each macroblock of each picture encoding processing unit is set for each macroblock. This is after the encoding of the reference image area is completed.

本発明の画像復号装置においては、各ピクチャデコード処理部の各マクロブロックのデコード処理開始タイミングを各マクロブロックの参照画像領域のデコード完了後とするので、複数のピクチャを並列してデコード処理することができる。したがって、動作周波数を上げることなく、高い処理性能を実現することができる。   In the image decoding apparatus of the present invention, since the decoding processing start timing of each macroblock of each picture decoding processing unit is after the decoding of the reference image area of each macroblock, a plurality of pictures are decoded in parallel. Can do. Therefore, high processing performance can be realized without increasing the operating frequency.

本発明の画像符号化装置においては、各ピクチャエンコード処理部の各マクロブロックのエンコード処理開始タイミングを各マクロブロックの参照画像領域のエンコード完了後とするので、複数のピクチャを並列してエンコード処理することができる。したがって、動作周波数を上げることなく、高い処理性能を実現することができる。   In the image encoding device of the present invention, since the encoding process start timing of each macroblock of each picture encoding processing unit is after the encoding of the reference image area of each macroblock is completed, a plurality of pictures are encoded in parallel. be able to. Therefore, high processing performance can be realized without increasing the operating frequency.

以下、図1〜図6を参照して、本発明の画像復号装置及び画像符号化装置の実施形態について、本発明の画像復号装置及び画像符号化装置をMPEG−4システム用のMPEGデコーダ及びMPEGエンコーダに適用した場合を例にして説明する。   1 to 6, an embodiment of an image decoding apparatus and an image encoding apparatus according to the present invention will be described. An image decoding apparatus and an image encoding apparatus according to the present invention are converted into an MPEG decoder and an MPEG for an MPEG-4 system. A case where the present invention is applied to an encoder will be described as an example.

(本発明の画像復号装置の第1実施形態)
図1は本発明の画像復号装置の第1実施形態(MPEGデコーダ)の要部の構成図である。本発明の画像復号装置の第1実施形態は、ピクチャレベルでの並列処理を4並列で行うもの、即ち、VOPを処理単位として、4つのVOPを並列してデコード処理するものであり、17はビットストリーム解析部、18−0〜18−3はピクチャデコード処理部であるVOPデコーダ、19はフレームメモリ、20はメモリ制御部である。
(First Embodiment of Image Decoding Device of the Present Invention)
FIG. 1 is a configuration diagram of a main part of a first embodiment (MPEG decoder) of an image decoding apparatus according to the present invention. The first embodiment of the image decoding apparatus of the present invention performs parallel processing at the picture level in four parallels, that is, decodes four VOPs in parallel using VOP as a processing unit. A bit stream analysis unit, 18-0 to 18-3 are VOP decoders as picture decoding processing units, 19 is a frame memory, and 20 is a memory control unit.

ビットストリーム解析部17は、MPEG−4デジタル画像のビットストリームを入力し、VOPのスタートコード(0x000001B6)を検出し、VOPデコーダ18−0〜18−3に対して、VOPデコーダ18−0〜18−3が4つのVOPを並列してデコード処理できるように、デコードを担当させるVOPを振り分けるものである。   The bit stream analysis unit 17 receives the bit stream of the MPEG-4 digital image, detects the VOP start code (0x000001B6), and detects the VOP decoders 18-0 to 18-3 with respect to the VOP decoders 18-0 to 18-18. -3 distributes VOPs in charge of decoding so that four VOPs can be decoded in parallel.

ビットストリーム解析部17では、ビットストリームのヘッダに含まれるFCODEが解析されてマクロブロックのデコードに必要な参照画像領域範囲情報が取得され、この参照画像領域範囲情報から、VOPデコーダ18−0〜18−3でのVOPのデコード処理に必要なタイミングが算出される。   The bitstream analysis unit 17 analyzes the FCODE included in the header of the bitstream and acquires reference image area range information necessary for decoding the macroblock. From the reference image area range information, the VOP decoders 18-0 to 18-18 are obtained. The timing required for the VOP decoding process at -3 is calculated.

そこで、ビットストリーム解析部17は、VOPデコーダ18−0〜18−3での各マクロブロックのデコード処理開始タイミングが、各マクロブロックが必要とする参照画像領域のデコード完了後となるように、VOPデコーダ18−0〜18−3のデコード処理開始制御を行う。   Therefore, the bitstream analysis unit 17 sets the VOP so that the decoding start timing of each macroblock in the VOP decoders 18-0 to 18-3 is after completion of the decoding of the reference image area required by each macroblock. Decode processing start control of the decoders 18-0 to 18-3 is performed.

VOPデコーダ18−0〜18−3は、VOPを処理単位として、VOPのデコード処理、即ち、可変長復号、逆量子化、逆離散コサイン変換及び動き補償を行うものであり、20−0〜20−3は可変長復号部、21−0〜21−3は逆量子化部、22−0〜22−3は逆離散コサイン変換部、23−0〜23−3は動き補償部である。   The VOP decoders 18-0 to 18-3 perform VOP decoding processing, that is, variable length decoding, inverse quantization, inverse discrete cosine transform, and motion compensation, with VOP as a processing unit. 20-0 to 20-20 -3 is a variable length decoding unit, 21-0 to 21-3 are inverse quantization units, 22-0 to 22-3 are inverse discrete cosine transform units, and 23-0 to 23-3 are motion compensation units.

ここに、ビットストリーム解析部17は、VOPデコーダ18−0〜18−3におけるデコード処理がマクロブロック単位で同期するようにVOPデコーダ18−0〜18−3にマクロブロック処理起動信号を与え、VOPデコーダ18−0〜18−3でのデコード処理が1マクロブロックずつ進行するように制御する。したがって、VOPデコーダ18−0〜18−3では、マクロブロックを単位として、パイプライン処理方式により複数のVOPのデコード処理が並列して行われることになる。   Here, the bitstream analysis unit 17 gives a macroblock processing activation signal to the VOP decoders 18-0 to 18-3 so that the decoding processing in the VOP decoders 18-0 to 18-3 is synchronized in units of macroblocks. Control is performed so that the decoding processing in the decoders 18-0 to 18-3 proceeds one macroblock at a time. Therefore, in the VOP decoders 18-0 to 18-3, a plurality of VOPs are decoded in parallel by the pipeline processing method in units of macroblocks.

フレームメモリ19は、VOPデコーダ18−0〜18−3から出力されるデコード画像を記憶させるものであり、複数フレームのデコード画像を記憶する容量を持つものである。メモリ制御部20は、VOPデコーダ18−0〜18−3から出力されるデコード画像のフレームメモリ19への書き込み及びフレームメモリ19に記憶された参照画像の動き補償部23−0〜23−3への転送等を制御するものである。   The frame memory 19 stores decoded images output from the VOP decoders 18-0 to 18-3, and has a capacity for storing decoded images of a plurality of frames. The memory control unit 20 writes the decoded image output from the VOP decoders 18-0 to 18-3 to the frame memory 19 and moves the reference image stored in the frame memory 19 to the motion compensation units 23-0 to 23-3. This is to control the transfer and the like.

図2は本発明の画像復号装置の第1実施形態の動作例を示す図であり、図2(A)はVOPデコーダ18−0〜18−3でのデコード処理タイミング、図2(B)は図2(A)に示す時刻Tでのデコード進行状況を示している。なお、マクロブロックの参照画像領域範囲=±32(FCODE=2)であり、ビットストリームのVOP並びはI−VOPとP−VOPのみで構成され、I0、P1、P2、P3がそれぞれVOPデコーダ18−0、18−1、18−2、18−3に振り分けられた場合を例にしている。   FIG. 2 is a diagram showing an operation example of the first embodiment of the image decoding apparatus of the present invention. FIG. 2 (A) is a decoding process timing in the VOP decoders 18-0 to 18-3, and FIG. The decoding progress state at the time T shown in FIG. Note that the reference image area range of the macroblock = ± 32 (FCODE = 2), the VOP arrangement of the bitstream is composed of only I-VOP and P-VOP, and I0, P1, P2, and P3 are VOP decoders 18 respectively. The case where it distributes to -0, 18-1, 18-2, 18-3 is taken as an example.

マクロブロックの参照画像領域範囲=±32であるから、VOPデコーダ18−1は、VOPデコーダ18−0がI0のフレーム上部の3段目のマクロブロックのデコード処理が完了した時点でP1のデコード処理を開始することができ、VOPデコーダ18−2は、VOPデコーダ18−1がP1のフレーム上部の3段目のマクロブロックのデコード処理が完了した時点でP2のデコード処理を開始することができ、VOPデコーダ18−3は、VOPデコーダ18−2がP2のフレーム上部の3段目のマクロブロックのデコード処理が完了した時点でP3のデコード処理を開始することができる。   Since the reference image area range of the macroblock is ± 32, the VOP decoder 18-1 decodes the P1 when the VOP decoder 18-0 completes the decoding of the third macroblock at the top of the I0 frame. The VOP decoder 18-2 can start the decoding process of P2 when the VOP decoder 18-1 completes the decoding process of the third macroblock at the top of the frame of P1, The VOP decoder 18-3 can start the decoding process of P3 when the VOP decoder 18-2 completes the decoding process of the third macroblock at the top of the frame of P2.

これらのデコード開始制御は、前述したように、ビットストリーム解析部17が行うことになるが、このようなタイミングで、VOPデコーダ18−0、18−1、18−2、18−3でのI0、P1、P2、P3のデコード処理を開始すると、図2(A)に示す時刻TでのVOPデコーダ18−0〜18−3におけるI0、P1、P2、P3のデコード進行状況は、図2(B)に示すようになる。   As described above, the decoding start control is performed by the bit stream analysis unit 17. At such timing, the IOP in the VOP decoders 18-0, 18-1, 18-2, and 18-3 is performed. , P1, P2, and P3 decoding processing, the decoding progress status of I0, P1, P2, and P3 in the VOP decoders 18-0 to 18-3 at time T shown in FIG. B).

なお、図2(B)において、24はVOPデコーダ18−0での処理マクロブロック、25はVOPデコーダ18−1での処理マクロブロック、26はVOPデコーダ18−2での処理マクロブロック、27はVOPデコーダ18−3での処理マクロブロック、28は処理マクロブロック25の動きベクトル範囲、29は処理マクロブロック26の動きベクトル範囲、30は処理マクロブロック27の動きベクトル範囲を示している。   In FIG. 2B, 24 is a processing macroblock in the VOP decoder 18-0, 25 is a processing macroblock in the VOP decoder 18-1, 26 is a processing macroblock in the VOP decoder 18-2, 27 is A processing macroblock in the VOP decoder 18-3, 28 indicates a motion vector range of the processing macroblock 25, 29 indicates a motion vector range of the processing macroblock 26, and 30 indicates a motion vector range of the processing macroblock 27.

以上のように、本発明の画像復号装置の第1実施形態によれば、VOPデコーダ18−0〜18−3は、各マクロブロックのデコード処理開始タイミングが各マクロブロックの参照画像領域のデコード完了後となるように制御されるので、4つのVOPを並列してデコード処理することができる。したがって、動作周波数を上げることなく、高い処理性能を実現することができる。なお、処理性能を、VOPをシリアル処理する場合と同一にする場合には、VOPデコーダ18−0〜18−3の動作周波数を1/4にすることができ、低消費電力化を図ることができる。   As described above, according to the first embodiment of the image decoding apparatus of the present invention, the VOP decoders 18-0 to 18-3 have the decoding processing start timing of each macroblock completed decoding of the reference image area of each macroblock. Since the control is performed later, four VOPs can be decoded in parallel. Therefore, high processing performance can be realized without increasing the operating frequency. If the processing performance is the same as that when serially processing a VOP, the operating frequency of the VOP decoders 18-0 to 18-3 can be reduced to ¼, thereby reducing power consumption. it can.

(本発明の画像復号装置の第2実施形態)
図3は本発明の画像復号装置の第2実施形態(MPEGデコーダ)の要部の構成図である。本発明の画像復号装置の第2実施形態は、本発明の画像復号装置の第1実施形態と同様に、ピクチャレベルでの並列処理を4並列で行うもの、即ち、VOPを処理単位として、4つのVOPを並列してデコード処理するものであり、31−0〜31−3はピクチャデコード処理部であるVOPデコーダ、32はフレームメモリ、33はメモリ制御部、34はデコード制御部である。
(Second Embodiment of Image Decoding Device of the Present Invention)
FIG. 3 is a block diagram of the main part of the second embodiment (MPEG decoder) of the image decoding apparatus of the present invention. As in the first embodiment of the image decoding apparatus of the present invention, the second embodiment of the image decoding apparatus of the present invention performs parallel processing at the picture level in 4 parallel processes, that is, 4 VOPs as processing units. One VOP is decoded in parallel. 31-0 to 31-3 are VOP decoders as picture decoding processing units, 32 is a frame memory, 33 is a memory control unit, and 34 is a decoding control unit.

VOPデコーダ31−0〜31−3は、入力するMPEG−4デジタル画像のビットストリームからの特定のVOPの検出と、VOPのデコード処理、即ち、可変長復号、逆量子化、逆離散コサイン変換、動き補償を行うものであり、35−0〜35−3はVOP検出部、36−0〜36−3は可変長復号部、37−0〜37−3は逆量子化部、38−0〜38−3は逆離散コサイン変換部、39−0〜39−3は動き補償部である。   The VOP decoders 31-0 to 31-3 detect a specific VOP from the bit stream of the input MPEG-4 digital image and decode the VOP, that is, variable length decoding, inverse quantization, inverse discrete cosine transform, 35-0 to 35-3 are VOP detection units, 36-0 to 36-3 are variable length decoding units, 37-0 to 37-3 are inverse quantization units, and 38-0 to 38-3 are motion compensation units. Reference numeral 38-3 denotes an inverse discrete cosine transform unit, and 39-0 to 39-3 denote motion compensation units.

また、VOPデコーダ31−0〜31−3は、参照画像領域位置演算部40−0〜40−3を有し、これら参照画像領域位置演算部40−0〜40−3から、現在処理中のマクロブロックのVOP内位置情報とともに、現在処理中のマクロブロックが必要とする参照画像領域位置情報をデコード制御部34に出力する。   The VOP decoders 31-0 to 31-3 include reference image region position calculation units 40-0 to 40-3, and the reference image region position calculation units 40-0 to 40-3 are currently processing. Along with the position information in the VOP of the macroblock, the reference image area position information required by the currently processed macroblock is output to the decode control unit 34.

フレームメモリ32は、VOPデコーダ31−0〜31−3から出力されるデコード画像を記憶させるものであり、複数フレームのデコード画像を記憶する容量を持つものである。メモリ制御部33は、VOPデコーダ31−0〜31−3から出力されるデコード画像のフレームメモリ32への書き込み及びフレームメモリ32に記憶された参照画像の動き補償部39−0〜39−3への転送等を制御するものである。   The frame memory 32 stores decoded images output from the VOP decoders 31-0 to 31-3, and has a capacity to store decoded images of a plurality of frames. The memory control unit 33 writes the decoded image output from the VOP decoders 31-0 to 31-3 to the frame memory 32 and moves the reference image stored in the frame memory 32 to the motion compensation units 39-0 to 39-3. This is to control the transfer and the like.

デコード制御部34は、入力されるビットストリーム内のVOPのVOPデコーダ31−0〜31−3に対する割り当てを行う。これに対応して、VOP検出部31−0〜31−3は、入力するビットストリームから、割り当てられた特定のVOPを検出することになる。   The decode control unit 34 assigns VOPs in the input bitstream to the VOP decoders 31-0 to 31-3. In response to this, the VOP detectors 31-0 to 31-3 detect the specific VOP assigned from the input bit stream.

また、デコード制御部34は、VOPデコーダ31−0〜31−3から出力される現在処理中のマクロブロックのVOP内位置情報と、現在処理中のマクロブロックが必要とする参照画像領域位置情報を入力し、各マクロブロックのデコード処理開始タイミングが各マクロブロックの参照画像領域のデコード完了後となるようにVOPデコーダ31−0〜31−3にマクロブロック処理起動信号を与え、VOPデコーダ31−0〜31−3に対してマクロブロック単位でデコード処理の開始指示や待機指示を行う。したがって、VOPデコーダ31−0〜31−3では、マクロブロックを単位として、パイプライン処理方式により複数のVOPのデコード処理が並列して行われることになる。   The decode control unit 34 also outputs the in-VOP position information of the currently processed macroblock output from the VOP decoders 31-0 to 31-3 and the reference image area position information required by the currently processed macroblock. The macro block processing start signal is given to the VOP decoders 31-0 to 31-3 so that the decoding process start timing of each macro block is after the decoding of the reference image area of each macro block is completed, and the VOP decoder 31-0 ~ 31-3 are instructed to start decoding process and wait for each macroblock. Therefore, in the VOP decoders 31-0 to 31-3, decoding processing of a plurality of VOPs is performed in parallel by the pipeline processing method in units of macroblocks.

図4は本発明の画像復号装置の第2実施形態の動作例を示す図である。図4(A)はVOPデコーダ31−0〜31−3でのデコード処理タイミング、図4(B)は図4(A)に示す時刻Tでのデコード進行状況を示している。なお、ビットストリームのVOP並びはI−VOPとP−VOPのみで構成され、I0、P1、P2、P3がそれぞれVOPデコーダ31−0、31−1、31−2、31−3に振り分けられた場合を例にしている。   FIG. 4 is a diagram showing an operation example of the second embodiment of the image decoding apparatus of the present invention. 4A shows the decoding processing timing in the VOP decoders 31-0 to 31-3, and FIG. 4B shows the decoding progress status at time T shown in FIG. 4A. The VOP arrangement of the bitstream is composed only of I-VOP and P-VOP, and I0, P1, P2, and P3 are allocated to VOP decoders 31-0, 31-1, 31-2, and 31-3, respectively. Take the case as an example.

この場合、VOPデコーダ31−0〜31−3のVOP検出部35−0〜35−3は、ビットストリーム内のVOPのスタートコード(0x000001B6)を検出し、そのヘッダ内情報(vop_coding_typeやvop_time_increment等)に基づいて、デコード制御部34から割り当てられた特定のVOPを検出する。ここに、VOP検出部35−0がI0を検出すると、I0は参照画を必要としないので、VOPデコーダ31−0は、直ちにI0のデコードを開始する。   In this case, the VOP detectors 35-0 to 35-3 of the VOP decoders 31-0 to 31-3 detect the start code (0x000001B6) of the VOP in the bitstream, and the information in the header (vop_coding_type, vop_time_increment, etc.) Based on the above, a specific VOP assigned from the decode control unit 34 is detected. Here, when the VOP detection unit 35-0 detects I0, since I0 does not require a reference picture, the VOP decoder 31-0 immediately starts decoding I0.

次に、VOP検出部35−1がP1を検出すると、VOPデコード開始の待機状態となる。そして、参照画像領域位置演算部40−1は、P1の最初のマクロブロックヘッダ情報から、参照画I0の内、最初のマクロブロックMB0の処理に必要な参照画像領域位置を算出し、マクロブロックMB0のVOP内位置情報及び参照画像領域位置情報をデコード制御部34に通知する。デコード制御部34は、I0のマクロブロックのデコード処理進行状況を監視し、P1のMB0が必要な参照画像領域位置のデコードが完成した後に、VOPデコーダ31−1に対して、P1のMB0デコード処理開始信号を発行する。   Next, when the VOP detection unit 35-1 detects P1, it enters a standby state for starting VOP decoding. Then, the reference image region position calculation unit 40-1 calculates a reference image region position necessary for processing the first macroblock MB0 in the reference image I0 from the first macroblock header information of P1, and the macroblock MB0. The decoding control unit 34 is notified of the position information in the VOP and the position information of the reference image area. The decoding control unit 34 monitors the progress of the decoding process of the macroblock of I0, and after the decoding of the reference image area position where the MB0 of P1 is necessary, the MB0 decoding process of P1 is performed on the VOP decoder 31-1. Issue a start signal.

以下、同様に、参照画像領域位置演算部40−0〜40−3は、VOPデコーダ31−0〜31−3がデコードするマクロブロックのピクチャ内位置情報及び参照画像領域位置情報をデコード制御部34に通知し、デコード制御部34は、マクロブロック単位でVOPデコーダ31−0〜31−3におけるデコード処理の起動及び待機を制御する。   Hereinafter, similarly, the reference image area position calculation units 40-0 to 40-3 decode the intra-picture position information and the reference image area position information of the macroblocks decoded by the VOP decoders 31-0 to 31-3. The decoding control unit 34 controls the start and standby of the decoding process in the VOP decoders 31-0 to 31-3 in units of macroblocks.

なお、図4(B)において、41はVOPデコーダ31−0での処理マクロブロック、42はVOPデコーダ31−1での処理マクロブロック、43はVOPデコーダ31−2での処理マクロブロック、44はVOPデコーダ31−3での処理マクロブロック、45は処理マクロブロック42の参照画像領域、46は処理マクロブロック43の参照画像領域、47は処理マクロブロック44の参照画像領域を示している。   In FIG. 4B, 41 is a processing macroblock in the VOP decoder 31-0, 42 is a processing macroblock in the VOP decoder 31-1, 43 is a processing macroblock in the VOP decoder 31-2, 44 is A processing macroblock in the VOP decoder 31-3, 45 indicates a reference image area of the processing macroblock 42, 46 indicates a reference image area of the processing macroblock 43, and 47 indicates a reference image area of the processing macroblock 44.

ここで、例えば、VOPデコーダ31−2での処理マクロブロック43の動きベクトルが、VOPデコーダ31−1での未処理領域46を指していた場合には、VOPデコーダ31−2での処理マクロブロック43のデコード処理は、VOPデコーダ31−2での参照画像領域46のデコードが完成するまで待機するように、デコード制御部34により制御される。   Here, for example, when the motion vector of the processing macroblock 43 in the VOP decoder 31-2 points to the unprocessed area 46 in the VOP decoder 31-1, the processing macroblock in the VOP decoder 31-2. The decoding process of 43 is controlled by the decoding control unit 34 so as to wait until the decoding of the reference image area 46 in the VOP decoder 31-2 is completed.

以上のように、本発明の画像復号装置の第2実施形態によれば、VOPデコーダ31−0〜31−3は、各マクロブロックのデコード処理開始タイミングを各マクロブロックの参照画像領域のデコード完了後となるように制御されるので、4つのVOPを並列処理することができる。したがって、動作周波数を上げることなく、高い処理性能を実現することができる。なお、処理性能を、VOPをシリアル処理する場合と同一にする場合には、VOPデコーダ31−0〜31−3の動作周波数を1/4にすることができ、低消費電力化を図ることができる。   As described above, according to the second embodiment of the image decoding apparatus of the present invention, the VOP decoders 31-0 to 31-3 set the decoding process start timing of each macroblock to the completion of decoding of the reference image area of each macroblock. Since control is performed later, four VOPs can be processed in parallel. Therefore, high processing performance can be realized without increasing the operating frequency. If the processing performance is the same as when serially processing a VOP, the operating frequency of the VOP decoders 31-0 to 31-3 can be reduced to ¼, thereby reducing power consumption. it can.

なお、特許文献1には、可変長復号処理、逆量子化処理、逆離散コサイン変換処理を、ブロックを処理単位として、パイプライン処理方式で複数のブロックを並列してデコード処理するMPEGデコーダが記載されているが、本発明の画像復号装置の第1実施形態及び第2実施形態は、ピクチャレベルでの並列処理を行うものであり、特許文献1から示唆されるものではない。   Patent Document 1 describes an MPEG decoder that performs variable-length decoding processing, inverse quantization processing, and inverse discrete cosine transform processing by decoding a plurality of blocks in parallel by a pipeline processing method using blocks as processing units. However, the first and second embodiments of the image decoding apparatus according to the present invention perform parallel processing at the picture level, and are not suggested by Patent Document 1.

(本発明のMPEGエンコーダの一実施形態)
図5は本発明の画像符号化装置の一実施形態(MPEGエンコーダ)の要部の構成図である。本発明の画像符号化装置の一実施形態は、ピクチャレベルの並列処理を2並列で行うもの、即ち、VOPを処理単位として、2つのVOPを並列してエンコード処理するものであり、47はフレームメモリ、48はメモリ制御部、49−0、49−1はピクチャエンコード処理部であるVOPエンコーダ、50−0、50−1はストリームバッファ、51はストリーム合成部である。
(One Embodiment of MPEG Encoder of the Present Invention)
FIG. 5 is a configuration diagram of a main part of an embodiment (MPEG encoder) of the image encoding apparatus of the present invention. One embodiment of the image coding apparatus according to the present invention performs two parallel processings at the picture level, that is, encodes two VOPs in parallel using VOP as a processing unit. Memory, 48 is a memory control unit, 49-0 and 49-1 are VOP encoders which are picture encoding processing units, 50-0 and 50-1 are stream buffers, and 51 is a stream synthesis unit.

フレームメモリ47は、外部から与えられる入力画像及びVOPエンコーダ49−0、49−1で作成されるローカルデコード画像を記憶させるためのものである。メモリ制御部48は、入力画像のフレームメモリ47への書き込み及びフレームメモリ47が記憶するVOPのVOPエンコーダ49−0、49−1への振り分け、VOPエンコーダ49−0、49−1で作成されたローカルデコード画像のフレームメモリ47への書き込み及びフレームメモリ47からVOPエンコーダ49−0、49−1への参照画像の転送等を制御するものである。   The frame memory 47 is for storing an input image given from the outside and a local decoded image created by the VOP encoders 49-0 and 49-1. The memory control unit 48 writes the input image to the frame memory 47, distributes the VOP stored in the frame memory 47 to the VOP encoders 49-0 and 49-1, and is created by the VOP encoders 49-0 and 49-1. It controls the writing of the local decoded image into the frame memory 47 and the transfer of the reference image from the frame memory 47 to the VOP encoders 49-0 and 49-1.

メモリ制御部48は、マクロブロックが必要とする参照画像領域範囲を基に、VOPエンコーダ49−0、49−1での各マクロブロックのエンコード処理開始タイミングが、各マクロブロックが必要とする参照画像領域のエンコード完了後となるように、エンコーダを担当させるVOPをVOPエンコーダ49−0、49−1に振り分け、エンコード処理の開始及び待機を制御して、VOPエンコーダ49−0、49−1で2つのVOPのエンコード処理を並列して行わせる。   Based on the reference image area range required by the macroblock, the memory control unit 48 determines the reference timing required for each macroblock for the encoding process start timing of each macroblock in the VOP encoders 49-0 and 49-1. The VOP assigned to the encoder is distributed to the VOP encoders 49-0 and 49-1, and the start and standby of the encoding process are controlled so that the encoding is completed for the area. Encode two VOPs in parallel.

VOPエンコーダ49−0、49−1は、メモリ制御部48により振り分けられた入力画像の中のVOPのエンコードを行うものであり、52−0、52−1は動きベクトル算出部、53−0、53−1は処理対象マクロブロックと、対応する予測マクロブロックとの差分を求める減算器、54−0、54−1は離散コサイン変換部、55−0、55−1は量子化部、56−0、56−1は可変長符号化部、57−0、57−1は逆量子化部、58−0、58−1は逆離散コサイン変換部、59−0、59−1は復元した差分信号と参照画像とを加算することによりローカルデコード画像を作成する加算器である。   The VOP encoders 49-0 and 49-1 encode VOPs in the input image distributed by the memory control unit 48. 52-0 and 52-1 are motion vector calculation units, 53-0, 53-1 is a subtractor for obtaining a difference between the processing target macroblock and the corresponding prediction macroblock, 54-0 and 54-1 are discrete cosine transform units, 55-0 and 55-1 are quantization units, 56- 0 and 56-1 are variable length coding units, 57-0 and 57-1 are inverse quantization units, 58-0 and 58-1 are inverse discrete cosine transform units, and 59-0 and 59-1 are restored differences. This is an adder that creates a local decoded image by adding a signal and a reference image.

ここに、メモリ制御部48は、VOPエンコーダ49−0、49−1でのエンコード処理がマクロブロック単位で同期するようにVOPエンコーダ49−0、49−1にマクロブロック処理起動信号を与え、VOPエンコーダ49−0、49−1でのエンコード処理が1マクロブロックずつ進行するように制御する。したがって、VOPエンコーダ49−0、49−1では、マクロブロックを単位として、パイプライン処理方式により複数のVOPのエンコード処理が並列して行われることになる。   Here, the memory control unit 48 gives a macro block processing start signal to the VOP encoders 49-0 and 49-1, so that the encoding processing in the VOP encoders 49-0 and 49-1 is synchronized in units of macro blocks. Control is performed so that the encoding process in the encoders 49-0 and 49-1 proceeds by one macro block. Therefore, in the VOP encoders 49-0 and 49-1, encoding processing of a plurality of VOPs is performed in parallel by the pipeline processing method in units of macroblocks.

ストリームバッファ50−0は、VOPエンコーダ49−0から出力されるビットストリームを一時的に格納するもの、ストリームバッファ50−1はVOP49−1から出力されるビットストリームを一時的に格納するもの、ストリーム合成部51は、ストリームバッファ50−0、50−1に一時的に格納されたビットストリームを合成するものである。   The stream buffer 50-0 temporarily stores the bit stream output from the VOP encoder 49-0, the stream buffer 50-1 temporarily stores the bit stream output from the VOP 49-1, and the stream The combining unit 51 combines the bit streams temporarily stored in the stream buffers 50-0 and 50-1.

本実施形態においては、VOPエンコーダ49−0、49−1でエンコードするマクロブロックが必要とする参照画像領域範囲は動きベクトル算出部52−0、52−1が決めるが、必ずしも、FCODE情報と一致する必要はなく、「FCODE情報が示す参照画像領域範囲≧実際にVOPエンコーダ49−0、49−1が使用する参照画像領域範囲」であれば良い。   In the present embodiment, the reference vector region range required by the macroblock encoded by the VOP encoders 49-0 and 49-1 is determined by the motion vector calculation units 52-0 and 52-1, but is not necessarily the same as the FCODE information. The reference image region range indicated by the FCODE information ≧ the reference image region range actually used by the VOP encoders 49-0 and 49-1 may be satisfied.

図6は本発明の画像符号化装置の一実施形態の動作例を示す図である。図6(A)はVOPエンコーダ49−0、49−1でのエンコード処理タイミング、図6(B)は図6(A)に示す時刻Tでのエンコード進行状況を示している。なお、参照画像領域範囲=±32(FCODE=2)であり、作成されるビットストリームのVOP並びはI−VOPとP−VOPのみで構成され、I0、P1がそれぞれVOPエンコーダ49−0、49−1で作成される場合を例にしている。   FIG. 6 is a diagram showing an operation example of an embodiment of the image encoding device of the present invention. 6A shows the encoding process timing in the VOP encoders 49-0 and 49-1, and FIG. 6B shows the progress of encoding at time T shown in FIG. 6A. Note that the reference image area range = ± 32 (FCODE = 2), and the VOP arrangement of the created bitstream is composed of only I-VOP and P-VOP, and I0 and P1 are VOP encoders 49-0 and 49, respectively. As an example, it is created at -1.

参照画像領域範囲=±32であるから、VOPエンコーダ49−1は、VOPエンコーダ49−0がI0のフレーム上部の3段目のマクロブロックのエンコード処理が完了した時点でP1のエンコード処理を開始することができる。このエンコード開始制御は、前述したようにメモリ制御部48が行うことになるが、このようなタイミングで、VOPエンコーダ49−0、49−1でのI0、P1のエンコーダを開始すると、図6(A)に示す時刻TでのVOPエンコーダ49−0、49−1におけるI0、P1のエンコード進行状況は、図6(B)に示すようになる。   Since the reference image area range = ± 32, the VOP encoder 49-1 starts the encoding process of P1 when the VOP encoder 49-0 completes the encoding process of the third macroblock at the top of the I0 frame. be able to. This encoding start control is performed by the memory control unit 48 as described above. When the encoders of I0 and P1 in the VOP encoders 49-0 and 49-1 are started at such timing, FIG. The encoding progress status of I0 and P1 in the VOP encoders 49-0 and 49-1 at time T shown in A) is as shown in FIG.

なお、図6(B)において、60はVOPエンコーダ49−0での処理マクロブロック、61はVOPエンコーダ49−1での処理マクロブロック、62は処理マクロブロック61の動きベクトル範囲を示している。   6B, reference numeral 60 denotes a processing macro block in the VOP encoder 49-0, 61 denotes a processing macro block in the VOP encoder 49-1, and 62 denotes a motion vector range of the processing macro block 61.

以上のように、本発明の画像符号化装置の一実施形態によれば、VOPエンコーダ49−0、49−1は、各マクロブロックのエンコード処理開始タイミングを各マクロブロックが必要とする参照画像領域のエンコード完了後となるように制御されるので、2つのVOPを並列してエンコード処理することができる。したがって、動作周波数を上げることなく、高い処理性能を実現することができる。なお、処理性能を、ピクチャをシリアル処理する場合と同一にする場合には、VOPエンコーダ49−0、49−1の動作周波数を1/2にすることができ、低消費電力化を図ることができる。   As described above, according to an embodiment of the image encoding device of the present invention, the VOP encoders 49-0 and 49-1 each have a reference image area that requires each macroblock to start encoding processing of each macroblock. Therefore, the two VOPs can be encoded in parallel. Therefore, high processing performance can be realized without increasing the operating frequency. If the processing performance is the same as that when serially processing a picture, the operating frequency of the VOP encoders 49-0 and 49-1 can be halved to reduce power consumption. it can.

なお、特許文献2には、1つのピクチャを4つの画像に分割し、4つの分割画像を並列処理するMPEGエンコーダが記載されているが、本発明の画像符号化装置の一実施形態は、ピクチャレベルでの並列処理を行うものであり、特許文献2から示唆されるものではない。   Patent Document 2 describes an MPEG encoder that divides one picture into four images and processes the four divided images in parallel. One embodiment of the image encoding device of the present invention is a picture encoder. This is to perform parallel processing at the level, and is not suggested by Patent Document 2.

上述の実施形態では、本発明の画像復号装置及び画像符号化装置をMPEG−4システム用のMPEGデコーダ及びMPEGエンコーダに適用した場合を例にして説明したが、本発明の画像復号装置及び画像符号化装置は、その他、MPEG−2システム用のMPEGデコーダ及びMPEGエンコーダ等の画像復号装置及び画像符号化装置に適用することができる。   In the above-described embodiment, the case where the image decoding apparatus and the image encoding apparatus of the present invention are applied to an MPEG decoder and an MPEG encoder for the MPEG-4 system has been described as an example, but the image decoding apparatus and the image code of the present invention are described. The encoding apparatus can also be applied to image decoding apparatuses and image encoding apparatuses such as MPEG decoders and MPEG encoders for the MPEG-2 system.

ここで、本発明の画像復号装置及び画像符号化装置を整理すると、本発明の画像復号装置及び画像符号化装置には、少なくとも、以下の画像復号装置及び画像符号化装置が含まれる。   Here, when arranging the image decoding apparatus and the image encoding apparatus of the present invention, the image decoding apparatus and the image encoding apparatus of the present invention include at least the following image decoding apparatus and image encoding apparatus.

(付記1)複数のピクチャを並列してデコード処理するための複数のピクチャデコード処理部を有し、各ピクチャデコード処理部の各マクロブロックのデコード処理開始タイミングを前記各マクロブロックの参照画像領域のデコード完了後とすることを特徴とする画像復号装置。   (Supplementary note 1) A plurality of picture decoding processing units for decoding a plurality of pictures in parallel are provided, and the decoding start timing of each macroblock of each picture decoding processing unit is set in the reference image area of each macroblock. An image decoding apparatus characterized by being after decoding is completed.

(付記2)入力するビットストリームを解析して前記複数のピクチャデコード処理部にピクチャを振り分けるビットストリーム解析部を有することを特徴とする付記1記載の画像復号装置。   (Supplementary note 2) The image decoding apparatus according to supplementary note 1, further comprising: a bitstream analysis unit that analyzes an input bitstream and distributes pictures to the plurality of picture decoding processing units.

(付記3)前記ビットストリーム解析部は、前記ビットストリームからマクロブロックの参照画像領域範囲情報を抽出し、前記参照画像領域範囲情報に基づいて、前記複数のピクチャデコード処理部の各マクロブロックのデコード処理開始タイミングが前記各マクロブロックの参照画像領域のデコード完了後となるように、前記複数のピクチャデコード処理部のデコード処理起動制御を行うことを特徴とする付記2記載の画像復号装置。   (Supplementary Note 3) The bitstream analysis unit extracts reference image region range information of a macroblock from the bitstream, and decodes each macroblock of the plurality of picture decoding processing units based on the reference image region range information The image decoding apparatus according to appendix 2, wherein the decoding processing activation control of the plurality of picture decoding processing units is performed so that the processing start timing is after completion of decoding of the reference image area of each macroblock.

(付記4)前記ビットストリーム解析部は、各ピクチャデコード処理部におけるデコード処理がマクロブロック単位で同期するように各ピクチャデコード処理部にマクロブロック処理起動信号を与え、各ピクチャデコード処理部でのデコード処理が1マクロブロックずつ進行するように制御することを特徴とする付記3記載の画像復号装置。   (Supplementary Note 4) The bitstream analysis unit provides a macroblock processing activation signal to each picture decoding processing unit so that the decoding processing in each picture decoding processing unit is synchronized in units of macroblocks, and decoding in each picture decoding processing unit 4. The image decoding apparatus according to appendix 3, wherein the control is performed so that the process proceeds one macroblock at a time.

(付記5)前記複数のピクチャデコード処理部は、各々、入力するビットストリームから特定のピクチャのみを抽出するピクチャ検出部を有することを特徴とする付記1記載の画像復号装置。   (Supplementary note 5) The image decoding apparatus according to supplementary note 1, wherein each of the plurality of picture decoding processing units includes a picture detection unit that extracts only a specific picture from an input bitstream.

(付記6)前記複数のピクチャデコード処理部は、各々、デコードするマクロブロックのピクチャ内位置情報及び参照画像領域位置情報を制御部に通知する手段を有し、前記制御部は、マクロブロック単位で前記複数のピクチャデコード処理部でのデコード処理の開始及び待機を制御することを特徴とする付記5記載の画像復号装置。   (Supplementary Note 6) Each of the plurality of picture decoding processing units has means for notifying the control unit of in-picture position information and reference image region position information of a macroblock to be decoded, and the control unit is in units of macroblocks. The image decoding apparatus according to appendix 5, wherein start and standby of decoding processing in the plurality of picture decoding processing units are controlled.

(付記7)複数のピクチャを並列してエンコード処理するための複数のピクチャエンコード処理部を有し、各ピクチャエンコード処理部の各マクロブロックのエンコード処理開始タイミングを前記各マクロブロックの参照画像領域のエンコード完了後とすることを特徴とする画像符号化装置。   (Supplementary note 7) A plurality of picture encoding processing units for encoding a plurality of pictures in parallel, and the encoding processing start timing of each macroblock of each picture encoding processing unit in the reference image area of each macroblock An image encoding apparatus characterized in that the encoding is performed after completion of encoding.

(付記8)前記複数のピクチャエンコード処理部にピクチャを振り分ける制御部を有し、前記制御部は、マクロブロックの参照画像領域情報から、前記複数のピクチャエンコード処理部の各マクロブロックのエンコード処理開始タイミングが、各マクロブロックが必要とする参照画像領域のエンコード完了後となるように、前記複数のピクチャエンコード処理部のエンコード処理起動制御を行うことを特徴とする付記7記載の画像符号化装置。   (Additional remark 8) It has a control part which distributes a picture to the said several picture encoding process part, The said control part starts the encoding process of each macroblock of the said several picture encoding process part from the reference image area information of a macroblock The image encoding apparatus according to appendix 7, wherein the encoding process activation control of the plurality of picture encoding processing units is performed so that the timing is after completion of encoding of the reference image area required by each macroblock.

(付記9)前記制御部は、前記複数のピクチャエンコード処理部におけるエンコード処理がマクロブロック単位で同期するように、前記複数のピクチャエンコード処理部のエンコード処理起動制御をマクロブロック単位で行うことを特徴とする付記8記載の画像符号化装置。   (Supplementary note 9) The control unit performs encoding processing activation control of the plurality of picture encoding processing units in units of macro blocks so that encoding processing in the plurality of picture encoding processing units is synchronized in units of macro blocks. The image encoding apparatus according to appendix 8.

本発明の画像復号装置の第1実施形態(MPEGデコーダ)の要部の構成図である。It is a block diagram of the principal part of 1st Embodiment (MPEG decoder) of the image decoding apparatus of this invention. 本発明の画像復号装置の第1実施形態(MPEGデコーダ)の動作例を示す図である。It is a figure which shows the operation example of 1st Embodiment (MPEG decoder) of the image decoding apparatus of this invention. 本発明の画像復号装置の第2実施形態(MPEGデコーダ)の要部の構成図である。It is a block diagram of the principal part of 2nd Embodiment (MPEG decoder) of the image decoding apparatus of this invention. 本発明の画像復号装置の第2実施形態(MPEGデコーダ)の動作例を示す図である。It is a figure which shows the operation example of 2nd Embodiment (MPEG decoder) of the image decoding apparatus of this invention. 本発明の画像符号化装置の一実施形態(MPEGエンコーダ)の要部の構成図である。It is a block diagram of the principal part of one Embodiment (MPEG encoder) of the image coding apparatus of this invention. 本発明の画像符号化装置の一実施形態(MPEGエンコーダ)の動作例を示す図である。It is a figure which shows the operation example of one Embodiment (MPEG encoder) of the image coding apparatus of this invention. MPEG−2におけるフレーム画像の構成を示す図である。It is a figure which shows the structure of the frame image in MPEG-2. 従来のMPEGデコーダの一例の要部の構成図である。It is a block diagram of the principal part of an example of the conventional MPEG decoder. 従来のMPEGデコーダの他の例の要部の構成図である。It is a block diagram of the principal part of the other example of the conventional MPEG decoder.

符号の説明Explanation of symbols

17…ビットストリーム解析部
18−0〜18−3…VOPデコーダ
19…フレームメモリ
20…メモリ制御部
20−0〜20−3…可変長復号部
21−0〜21−3…逆量子化部
22−0〜22−3…逆離散コサイン変換部
23−0〜23−3…動き補償部
31−0〜31−3…VOPデコーダ
32…フレームメモリ
33…メモリ制御部
34…デコード制御部
35−0〜35−3…VOP検出部
36−0〜36−3…可変長復号部
37−0〜37−3…逆量子化部
38−0〜38−3…逆離散コサイン変換部
39−0〜39−3…動き補償部
40−0〜40−3…参照画像領域位置演算部
47…フレームメモリ
48…メモリ制御部
49−0、49−1…VOPエンコーダ
50−0、50−1…ストリームバッファ
51…ストリーム合成部
52−0、52−1…動きベクトル算出部
53−0、53−1…減算部
54−0、54−1…離散コサイン変換部
55−0、55−1…量子化部
56−0、56−1…可変長符号化部
57−0、57−1…逆量子化部
58−0、58−1…逆離散コサイン変換部
59−0、59−1…加算器
DESCRIPTION OF SYMBOLS 17 ... Bit stream analysis part 18-0-18-3 ... VOP decoder 19 ... Frame memory 20 ... Memory control part 20-0-20-3 ... Variable length decoding part 21-0-21-3 ... Dequantization part 22 -0 to 22-3 ... inverse discrete cosine transform unit 23-0 to 23-3 ... motion compensation unit 31-0 to 31-3 ... VOP decoder 32 ... frame memory 33 ... memory control unit 34 ... decode control unit 35-0 ˜35-3, VOP detectors 36-0 to 36-3, variable length decoders 37-0 to 37-3, inverse quantization units 38-0 to 38-3, inverse discrete cosine transform units 39-0 to 39, -3 ... motion compensation unit 40-0 to 40-3 ... reference image region position calculation unit 47 ... frame memory 48 ... memory control unit 49-0, 49-1 ... VOP encoder 50-0, 50-1 ... stream buffer 51 ... strike Ream synthesis unit 52-0, 52-1 ... motion vector calculation unit 53-0, 53-1 ... subtraction unit 54-0, 54-1 ... discrete cosine transform unit 55-0, 55-1 ... quantization unit 56- 0, 56-1 ... variable length encoding unit 57-0, 57-1 ... inverse quantization unit 58-0, 58-1 ... inverse discrete cosine transform unit 59-0, 59-1 ... adder

Claims (5)

複数のピクチャを並列してデコード処理するための複数のピクチャデコード処理部を有し、
各ピクチャデコード処理部の各マクロブロックのデコード処理開始タイミングを前記各マクロブロックの参照画像領域のデコード完了後とすることを特徴とする画像復号装置。
A plurality of picture decoding processing units for decoding a plurality of pictures in parallel;
An image decoding apparatus characterized in that the decoding processing start timing of each macroblock of each picture decoding processing unit is after completion of decoding of the reference image area of each macroblock.
入力するビットストリームを解析して前記複数のピクチャデコード処理部にピクチャを振り分けるビットストリーム解析部を有することを特徴とする請求項1記載の画像復号装置。   The image decoding apparatus according to claim 1, further comprising: a bit stream analysis unit that analyzes an input bit stream and distributes pictures to the plurality of picture decoding processing units. 前記複数のピクチャデコード処理部は、各々、入力するビットストリームから特定のピクチャのみを抽出するピクチャ検出部を有することを特徴とする請求項1記載の画像復号装置。   2. The image decoding apparatus according to claim 1, wherein each of the plurality of picture decoding processing units includes a picture detecting unit that extracts only a specific picture from an input bit stream. 前記複数のピクチャデコード処理部は、各々、デコードするマクロブロックのピクチャ内位置情報及び参照画像領域位置情報を制御部に通知する手段を有し、
前記制御部は、マクロブロック単位で前記複数のピクチャデコード処理部でのデコード処理の開始及び待機を制御することを特徴とする請求項3記載の画像復号装置。
Each of the plurality of picture decoding processing units has means for notifying the control unit of in-picture position information and reference image area position information of a macroblock to be decoded,
The image decoding apparatus according to claim 3, wherein the control unit controls start and standby of decoding processing in the plurality of picture decoding processing units in units of macroblocks.
複数のピクチャを並列してエンコード処理するための複数のピクチャエンコード処理部を有し、
各ピクチャエンコード処理部の各マクロブロックのエンコード処理開始タイミングを前記各マクロブロックの参照画像領域のエンコード完了後とすることを特徴とする画像符号化装置。
Having a plurality of picture encoding processing units for encoding a plurality of pictures in parallel;
An image encoding apparatus characterized in that the encoding process start timing of each macroblock of each picture encoding processing unit is after completion of encoding of a reference image area of each macroblock.
JP2004190699A 2004-06-29 2004-06-29 Image decoding apparatus and image encoding apparatus Expired - Fee Related JP4470613B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004190699A JP4470613B2 (en) 2004-06-29 2004-06-29 Image decoding apparatus and image encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004190699A JP4470613B2 (en) 2004-06-29 2004-06-29 Image decoding apparatus and image encoding apparatus

Publications (2)

Publication Number Publication Date
JP2006014113A true JP2006014113A (en) 2006-01-12
JP4470613B2 JP4470613B2 (en) 2010-06-02

Family

ID=35780769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004190699A Expired - Fee Related JP4470613B2 (en) 2004-06-29 2004-06-29 Image decoding apparatus and image encoding apparatus

Country Status (1)

Country Link
JP (1) JP4470613B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008067026A (en) * 2006-09-07 2008-03-21 Fujitsu Ltd Mpeg decoder and mpeg encoder
JP2008136124A (en) * 2006-11-29 2008-06-12 Akuseru:Kk Moving picture decoding device, moving picture decoding method, compressed moving picture data structure, and moving picture coding method
JP2009033640A (en) * 2007-07-30 2009-02-12 Hitachi Ltd Image decoding apparatus
CN101584216A (en) * 2006-12-27 2009-11-18 英特尔公司 Methods and apparatus to decode and encode video information
JP2009296169A (en) * 2008-06-03 2009-12-17 Fujitsu Ltd Moving image decoding device, and encoding device
JP2010252069A (en) * 2009-04-16 2010-11-04 Panasonic Corp Apparatus and method for decoding image
EP2266319A1 (en) * 2008-03-28 2010-12-29 Sharp Kabushiki Kaisha Methods, devices and systems for parallel video encoding and decoding
WO2011004577A1 (en) * 2009-07-06 2011-01-13 パナソニック株式会社 Image decoding device, image encoding device, image decoding method, image encoding method, program, and integrated circuit
US8344917B2 (en) 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
JP2014027462A (en) * 2012-07-26 2014-02-06 Canon Inc Image encoder, image encoding system, image encoding method, program, image decoder, image decoding system, image decoding method and program
US9313514B2 (en) 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
US10334262B2 (en) 2013-10-24 2019-06-25 Renesas Electronics Corporation Moving-picture decoding processing apparatus, moving-picture coding processing apparatus, and operating method of the same

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008067026A (en) * 2006-09-07 2008-03-21 Fujitsu Ltd Mpeg decoder and mpeg encoder
JP2008136124A (en) * 2006-11-29 2008-06-12 Akuseru:Kk Moving picture decoding device, moving picture decoding method, compressed moving picture data structure, and moving picture coding method
CN101584216A (en) * 2006-12-27 2009-11-18 英特尔公司 Methods and apparatus to decode and encode video information
EP2127394A1 (en) * 2006-12-27 2009-12-02 Intel Corporation Methods and apparatus to decode and encode video information
JP2010515336A (en) * 2006-12-27 2010-05-06 インテル コーポレイション Method and apparatus for decoding and encoding video information
US8184700B2 (en) 2007-07-30 2012-05-22 Hitachi, Ltd. Image decoder
JP2009033640A (en) * 2007-07-30 2009-02-12 Hitachi Ltd Image decoding apparatus
US10284881B2 (en) 2008-03-28 2019-05-07 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US9930369B2 (en) 2008-03-28 2018-03-27 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
JP2021044842A (en) * 2008-03-28 2021-03-18 ドルビー・インターナショナル・アーベー Decoding method
EP2266319A4 (en) * 2008-03-28 2011-03-16 Sharp Kk Methods, devices and systems for parallel video encoding and decoding
JP2011515880A (en) * 2008-03-28 2011-05-19 シャープ株式会社 Method, apparatus and system for parallel encoding and decoding of moving images
JP7096319B2 (en) 2008-03-28 2022-07-05 ドルビー・インターナショナル・アーベー Decryption method
US10652585B2 (en) 2008-03-28 2020-05-12 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
JP2019208231A (en) * 2008-03-28 2019-12-05 ドルビー・インターナショナル・アーベー Encoding method and decoding method
JP2012257316A (en) * 2008-03-28 2012-12-27 Sharp Corp Decoding method and encoding method
EP2266319A1 (en) * 2008-03-28 2010-12-29 Sharp Kabushiki Kaisha Methods, devices and systems for parallel video encoding and decoding
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
US11838558B2 (en) 2008-03-28 2023-12-05 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
JP2014150576A (en) * 2008-03-28 2014-08-21 Sharp Corp Decoding method
US20140241438A1 (en) 2008-03-28 2014-08-28 Sharp Kabushiki Kaisha Methods, devices and systems for parallel video encoding and decoding
US8824541B2 (en) 2008-03-28 2014-09-02 Sharp Kabushiki Kaisha Methods, devices and systems for parallel video encoding and decoding
JP2022126800A (en) * 2008-03-28 2022-08-30 ドルビー・インターナショナル・アーベー Device
JP2015195609A (en) * 2008-03-28 2015-11-05 シャープ株式会社 Decoding method, encoding method, and device
JP2016001895A (en) * 2008-03-28 2016-01-07 シャープ株式会社 Decoding method
JP7348356B2 (en) 2008-03-28 2023-09-20 ドルビー・インターナショナル・アーベー Device
US11438634B2 (en) 2008-03-28 2022-09-06 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US9473772B2 (en) 2008-03-28 2016-10-18 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US9503745B2 (en) 2008-03-28 2016-11-22 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
JP2017079482A (en) * 2008-03-28 2017-04-27 ドルビー・インターナショナル・アーベー Device
US9681144B2 (en) 2008-03-28 2017-06-13 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US9681143B2 (en) 2008-03-28 2017-06-13 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US10958943B2 (en) 2008-03-28 2021-03-23 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
JP2009296169A (en) * 2008-06-03 2009-12-17 Fujitsu Ltd Moving image decoding device, and encoding device
JP2010252069A (en) * 2009-04-16 2010-11-04 Panasonic Corp Apparatus and method for decoding image
CN102687510B (en) * 2009-07-06 2014-11-05 松下电器产业株式会社 Image decoding device, image encoding device, image decoding method, image encoding method, program, and integrated circuit
JPWO2011004577A1 (en) * 2009-07-06 2012-12-20 パナソニック株式会社 Image decoding apparatus, image encoding apparatus, image decoding method, image encoding method, program, and integrated circuit
CN102687510A (en) * 2009-07-06 2012-09-19 松下电器产业株式会社 Image decoding device, image encoding device, image decoding method, image encoding method, program, and integrated circuit
WO2011004577A1 (en) * 2009-07-06 2011-01-13 パナソニック株式会社 Image decoding device, image encoding device, image decoding method, image encoding method, program, and integrated circuit
US8344917B2 (en) 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
US10341662B2 (en) 2010-10-01 2019-07-02 Velos Media, Llc Methods and systems for entropy coder initialization
US10999579B2 (en) 2010-10-01 2021-05-04 Velos Media, Llc Methods and systems for decoding a video bitstream
US10659786B2 (en) 2010-10-01 2020-05-19 Velos Media, Llc Methods and systems for decoding a video bitstream
US9313514B2 (en) 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
US9392278B2 (en) 2012-07-26 2016-07-12 Canon Kabushiki Kaisha Image encoding or decoding apparatus, system, method, and storage medium for encoding or decoding a plurality of images in parallel
JP2014027462A (en) * 2012-07-26 2014-02-06 Canon Inc Image encoder, image encoding system, image encoding method, program, image decoder, image decoding system, image decoding method and program
US10334262B2 (en) 2013-10-24 2019-06-25 Renesas Electronics Corporation Moving-picture decoding processing apparatus, moving-picture coding processing apparatus, and operating method of the same

Also Published As

Publication number Publication date
JP4470613B2 (en) 2010-06-02

Similar Documents

Publication Publication Date Title
RU2648592C2 (en) Motion-constrained control data for tile set
US8000388B2 (en) Parallel processing apparatus for video compression
US8861591B2 (en) Software video encoder with GPU acceleration
US8416857B2 (en) Parallel or pipelined macroblock processing
EP3288266B1 (en) Flexible band offset mode in sample adaptive offset in hevc
KR100666880B1 (en) System and method for decoding dual video signals
KR100504471B1 (en) Video decoding system
JP4470613B2 (en) Image decoding apparatus and image encoding apparatus
US20120063517A1 (en) Method and apparatus for hierarchical picture encoding and decoding
JP2007235456A (en) Moving image decoding device and moving image decoding method
WO2010100672A1 (en) Compressed dynamic image encoding device, compressed dynamic image decoding device, compressed dynamic image encoding method and compressed dynamic image decoding method
US9025666B2 (en) Video decoder with shared memory and methods for use therewith
US20100246679A1 (en) Video decoding in a symmetric multiprocessor system
WO2015145504A1 (en) Image decoding device, image decoding method, and integrated circuit
JP2003061100A (en) Apparatus and method for encoding multi-channel image
JPWO2008020470A1 (en) Decoding method and apparatus
Zhu et al. A real-time H. 266/VVC software decoder
US7307550B2 (en) Decoding method, decoding device, and program for the same
JP2014078891A (en) Image processing apparatus and image processing method
US9369713B2 (en) Multi-format video decoder with vector processing instructions and methods for use therewith
KR970025143A (en) MPEG Video Decoder
Mizosoe et al. A single chip H. 264/AVC HDTV encoder/decoder/transcoder system LSI
JP2009081489A (en) Moving picture encoding device and moving picture decoding device
JP5240230B2 (en) Transcoder, recording apparatus, and transcoding method
JP2008172545A (en) Image encoding/decoding device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees