JP2015146473A - Encoding device and decoding device - Google Patents

Encoding device and decoding device Download PDF

Info

Publication number
JP2015146473A
JP2015146473A JP2014017599A JP2014017599A JP2015146473A JP 2015146473 A JP2015146473 A JP 2015146473A JP 2014017599 A JP2014017599 A JP 2014017599A JP 2014017599 A JP2014017599 A JP 2014017599A JP 2015146473 A JP2015146473 A JP 2015146473A
Authority
JP
Japan
Prior art keywords
compression
encoding
image data
processing unit
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014017599A
Other languages
Japanese (ja)
Other versions
JP5879571B2 (en
Inventor
一樹 客野
Kazuki Kakuno
一樹 客野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axell Corp
Original Assignee
Axell Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axell Corp filed Critical Axell Corp
Priority to JP2014017599A priority Critical patent/JP5879571B2/en
Publication of JP2015146473A publication Critical patent/JP2015146473A/en
Application granted granted Critical
Publication of JP5879571B2 publication Critical patent/JP5879571B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To easily manage memory for prediction information on a decoding device, and optimize the management to enable the reproduction of a larger amount of moving images at the same time.SOLUTION: In an encoding device 1A including picture memory 17 for prediction reference in order to perform prediction encoding to moving image information including a plurality of temporally continuous frames, a reversible compression processing unit 16 calculates a compressibility ratio CR through compression processing performed by the unit in a frame unit and supplies the compressibility ratio to a compressibility ratio update unit 20. When the compressibility ratio update unit 20 receives the input of a compressibility ratio CR smaller than the compressibility ratio CR held therein, updates the compressibility ratio CR held therein to the new compressibility ratio CR and stores the updated compressibility ratio CR. The compressibility ratio update unit 20 performs such processing over the frames constituting single moving images. Thus, by the time of the completion of the processing for a single moving image, the compressibility ratio update unit 20 will have the worst compressibility ratio WCR. The compressibility ratio update unit 20 outputs the worst compressibility ratio WCR to a second variable-length coding unit 21 in a moving image unit.

Description

本発明は、符号化装置及び復号化装置に関し、特に、予測符号化を採用して動画像情報を符号化及び復号化するに際して、予測参照用の画像情報を格納しておくメモリに対して、その画像情報を圧縮処理して格納するような符号化装置及び復号化装置に関する。   The present invention relates to an encoding device and a decoding device, and in particular, when encoding and decoding moving image information using predictive encoding, for a memory storing image information for prediction reference, The present invention relates to an encoding device and a decoding device that store the image information after compression processing.

時間的に連続する複数のフレームで構成された動画像情報の符号化処理においては、時間的に近い画像の類似性という特性を利用して符号化効率を上げるべく、動き補償を含めた予測符号化を行うことが極めて常識になっている。かかるフレーム間の予測符号化を実現するためには、既に符号化したフレームの情報を別のフレームの符号化に利用できるようにすべく、既に符号化したフレームの符号化情報を復号化により戻して一時的に記憶しておくメモリ(記憶手段)が必要となる。これは、復号化装置側においても同様であり、既に復号化したフレームの情報を別のフレームの復号化に利用できるようにすべく、既に復号化したフレームの復号化情報をメモリに一旦記憶しておく。   In the encoding process of moving picture information composed of a plurality of temporally continuous frames, a prediction code including motion compensation is used to increase the encoding efficiency by using the characteristic of similarity of images close in time. It is very common sense to make it. In order to realize such inter-frame predictive encoding, the encoded information of the already encoded frame is returned by decoding so that the information of the already encoded frame can be used for encoding of another frame. Thus, a memory (storage means) for temporarily storing the data is required. The same applies to the decoding device side, and the decoding information of the already decoded frame is temporarily stored in the memory so that the information of the already decoded frame can be used for decoding another frame. Keep it.

ところで、最近は、例えば“4K”と言われるように、動画像も極めて精細になってきており、1フレームを構成する情報量は極めて多くなってきている。従って、それに応じて上述のようなメモリの容量も大きくせざるを得ない状況となっている。   Recently, for example, “4K”, moving images have become extremely fine, and the amount of information constituting one frame has become extremely large. Accordingly, the memory capacity as described above must be increased accordingly.

一方、特にパチンコ機等の遊技機における動画像の表示においては、一画面又は複数の画面に複数の動画像のストリームが重ねられて、又は隣接させて、同時並行的に表示されるという処理が行われることも多い。かかる場合でも、上述した符号化装置(符号化処理)及び復号化装置においては、それぞれの動画像ごとに、同時並列的に必要なフレームの情報を記憶しておく必要がある。従って、このような観点からも、予測符号化のためのメモリのその限られた容量の使用の仕方には工夫が必要となる。特に、高速実時間処理を行うべくハードウェアで構成されることが典型的な復号化装置においては必要性が高い。   On the other hand, particularly in the display of moving images in a gaming machine such as a pachinko machine, there is a process in which a plurality of moving image streams are superimposed on one screen or a plurality of screens, or are displayed simultaneously in parallel. Often done. Even in such a case, in the encoding apparatus (encoding process) and decoding apparatus described above, it is necessary to store necessary frame information in parallel for each moving picture. Therefore, from this point of view, it is necessary to devise how to use the limited capacity of the memory for predictive coding. In particular, it is highly necessary in a typical decoding apparatus that is configured by hardware to perform high-speed real-time processing.

上述のような状況から、近年では、予測符号化に必要なフレームの情報を格納するメモリに、その情報を圧縮して格納しておき、使用する際には、読み出して伸長してから使用するというような手法も採用されている。必要な処理又は回路が増加するが、メモリの容量の削減又は限られたメモリ帯域の有効活用という観点からは、こちらの方が有意義である。このような、予測符号化に必要なフレームの情報を圧縮してメモリに格納しておく技術は、例えば特許文献1に開示されている。当該文献は、復号化装置を開示しており、例えばその図1に示されているように、予測符号化に使用されるフレームの情報を格納するためのフレームメモリ102には、符号化回路101により圧縮符号化された情報が格納され、予測画像作成回路26において予測に使用する際には、第二のデータ伸長回路105bにより伸長されて供給されるように構成されている。図13及び図16に示された特定の工夫を実現する回路においても、そのベースとして同様である。   From the above situation, in recent years, the information is compressed and stored in a memory for storing information of a frame necessary for predictive coding, and when used, it is read and decompressed before use. Such a method is also adopted. Although the necessary processing or circuit increases, this is more meaningful from the viewpoint of reducing the memory capacity or effectively utilizing the limited memory bandwidth. Such a technique of compressing frame information necessary for predictive encoding and storing it in a memory is disclosed in Patent Document 1, for example. This document discloses a decoding device. For example, as shown in FIG. 1, the frame memory 102 for storing information of a frame used for predictive encoding includes an encoding circuit 101. The information compressed and encoded by is stored, and when it is used for prediction in the predicted image generation circuit 26, it is expanded and supplied by the second data expansion circuit 105b. The circuit that realizes the specific device shown in FIGS. 13 and 16 is the same as the base.

特開平9−261635号公報JP-A-9-261635

ところで、特許文献1においては、予測符号化に必要なフレームの情報をメモリに格納するための圧縮技法として、非可逆圧縮が採用されている(図2等の直交変換回路201及び量子化器202)。この非可逆圧縮を採用する欠点としては、フレーム間で予測を累積的に行った場合に、それに応じて画像の歪も累積的に増加してしまうということである。従って、ある程度の画質を優先したい場合には、当該圧縮技法として、可逆圧縮を採用することも可能である。但し、限られたメモリ容量に効率よく情報を格納するという観点からは劣る。   By the way, in Patent Document 1, lossy compression is employed as a compression technique for storing frame information necessary for predictive coding in a memory (an orthogonal transform circuit 201 and a quantizer 202 in FIG. 2 and the like). ). The disadvantage of adopting this lossy compression is that when prediction is performed cumulatively between frames, the distortion of the image also increases accordingly. Therefore, when priority is given to a certain level of image quality, lossless compression can be adopted as the compression technique. However, it is inferior from the viewpoint of efficiently storing information in a limited memory capacity.

ここで、予測符号化に必要なフレームの情報をメモリに格納するための圧縮技法として、非可逆圧縮及び可逆圧縮のいずれを採用しても、基本的には、メモリ容量の破綻(特に復号化装置側)を来さないように予め設計しておく必要がある。特に、可逆圧縮の場合、圧縮後の圧縮率は入力画像によって異なるため、圧縮が効かない素材が入力された場合を考慮し、無圧縮のサイズでメモリを確保しておく必要がある。一定の画質を保障した非可逆圧縮を行う場合も同様である。   Here, regardless of which lossy compression or lossless compression is adopted as a compression technique for storing frame information necessary for predictive coding in a memory, a memory capacity failure (especially decoding) It is necessary to design in advance so as not to bring the device side. In particular, in the case of lossless compression, since the compression rate after compression varies depending on the input image, it is necessary to secure a memory with an uncompressed size in consideration of the case where a material that cannot be compressed is input. The same applies to lossy compression that guarantees a certain image quality.

このようにメモリ容量を確保しておくことを前提とした上で、更に、各動画ストリームの復号化処理において、復号化装置が、各動画ストリームが予測情報用のメモリを最大どの程度占めるか、すなわち各動画ストリームの最大のメモリを占めるフレームはどの程度占めるか、という情報や、更に各動画ストリームの各フレームがそれぞれどの程度メモリを占めるかという情報が、復号化前に予め分かっていれば、そのサイズで予めメモリを確保すればよいことになってメモリ管理が容易となり、かつ、同じメモリ容量でより多くの動画を同時に再生できることとなる。   Assuming that the memory capacity is ensured in this way, in the decoding process of each video stream, the decoding device determines how much each video stream occupies the memory for prediction information, In other words, if information on how much the frame occupying the maximum memory of each video stream occupies and information on how much memory each frame of each video stream occupies is known in advance before decoding, It is sufficient to secure a memory in advance in that size, so that memory management becomes easy, and more moving images can be reproduced simultaneously with the same memory capacity.

本発明は上述のような事情から為されたものであり、本発明の目的は、復号化装置の予測情報用のメモリのメモリ管理を容易にすると共に、その最適化により、同じ容量で、より多くの動画を同時に再生することができるような符号化装置及び復号化装置を提供することにある。   The present invention has been made for the above-mentioned circumstances, and an object of the present invention is to facilitate memory management of a memory for prediction information of a decoding device and to optimize the capacity with the same capacity. An object of the present invention is to provide an encoding device and a decoding device capable of simultaneously reproducing many moving images.

上記目的を達成するため、本発明の第一の符号化装置は、時間的に連続する複数のフレームで構成された動画像情報のひとつ又は同時並行処理される複数の動画像情報を入力して予測符号化処理を行う符号化処理部と、前記符号化処理部で生成される復号化画像データを入力し、前記符号化装置内に設けられたメモリに予測参照用の画像データを圧縮して格納する際の所定の圧縮処理と同一の圧縮処理を行い、前記フレーム単位で圧縮率を算出して出力する圧縮処理部と、前記圧縮処理部から出力される、一動画を構成する各フレームに係る各圧縮率から最悪の圧縮率を求める圧縮率更新部と、を備え、圧縮符号化後の画像データと共に前記最悪の圧縮率を出力することを要旨とする。   In order to achieve the above object, the first encoding apparatus of the present invention inputs one piece of moving picture information composed of a plurality of temporally continuous frames or a plurality of pieces of moving picture information to be simultaneously processed. An encoding processing unit that performs predictive encoding processing and decoded image data generated by the encoding processing unit are input, and image data for prediction reference is compressed in a memory provided in the encoding device. A compression processing unit that performs the same compression processing as the predetermined compression processing at the time of storage, calculates and outputs a compression rate in units of frames, and outputs each compression frame to each frame that constitutes one moving image. And a compression rate update unit that obtains the worst compression rate from each compression rate, and outputs the worst compression rate together with the image data after compression encoding.

また、上記目的を達成するため、本発明の第二の符号化装置は、時間的に連続する複数のフレームで構成された動画像情報に対してフレーム間の予測符号化を行うために予測参照用の画像データを格納しておくためのメモリと、そのメモリに前記画像データを格納するために前記画像データに対して所定の圧縮処理を行う圧縮処理部と、前記メモリから圧縮画像データを入力して前記圧縮処理に対応した伸長処理を行う伸長処理部と、を備え、一動画又は同時並行処理される複数の動画を入力して予測符号化処理を符号化装置であって、前記圧縮処理部において、前記フレーム単位で、前記所定の圧縮処理に基づく圧縮率が算出されて出力され、一動画を構成する各フレームに係る各圧縮率から最悪の圧縮率を求める圧縮率更新部を更に備え、圧縮符号化後の画像データと共に前記最悪の圧縮率を出力することを要旨とする。   In order to achieve the above object, the second encoding apparatus of the present invention performs prediction reference to perform interframe predictive encoding on moving image information composed of a plurality of temporally continuous frames. A memory for storing image data for use, a compression processing unit for performing a predetermined compression process on the image data in order to store the image data in the memory, and inputting the compressed image data from the memory And a decompression processing unit that performs decompression processing corresponding to the compression processing, and a predictive encoding process by inputting a single moving image or a plurality of moving images that are simultaneously processed in parallel, wherein the compression processing A compression rate updating unit that calculates and outputs a compression rate based on the predetermined compression process in units of the frame, and obtains the worst compression rate from the compression rates related to the frames constituting one moving image. Together with the image data after compression coding and summarized in that outputs the worst compression ratio.

ここで、前記最悪の圧縮率は、出力される符号化画像データが所定に配置される出力フォーマットにおけるオプションヘッダ内に格納されることが好適である。   Here, it is preferable that the worst compression rate is stored in an option header in an output format in which encoded image data to be output is arranged in a predetermined manner.

また、上記目的を達成するため、本発明の第三の符号化装置は、時間的に連続する複数のフレームで構成された動画像情報のひとつ又は同時並行処理される複数の動画像情報を入力して予測符号化処理を行う符号化処理部と、前記符号化処理部で生成される復号化画像データを入力し、前記符号化装置内に設けられたメモリに予測参照用の画像データを圧縮して格納する際の所定の圧縮処理と同一の圧縮処理を行い、前記フレーム単位で圧縮率を算出して出力する圧縮処理部と、を備え、圧縮符号化後の画像データと共に一動画を構成する各フレームに係る各圧縮率を出力することを要旨とする。   In order to achieve the above object, the third encoding device of the present invention inputs one piece of moving picture information composed of a plurality of temporally continuous frames or a plurality of pieces of moving picture information to be simultaneously processed. Then, the encoding processing unit that performs the predictive encoding process and the decoded image data generated by the encoding processing unit are input, and the image data for prediction reference is compressed in the memory provided in the encoding device A compression processing unit that performs the same compression processing as the predetermined compression processing when storing and stores and calculates and outputs the compression rate in units of frames, and forms one moving image together with the image data after compression encoding The gist is to output each compression rate related to each frame.

また、上記目的を達成するため、本発明の第四の符号化装置は、時間的に連続する複数のフレームで構成された動画像情報に対してフレーム間の予測符号化を行うために予測参照用の画像データを格納しておくためのメモリと、そのメモリに前記画像データを格納するために前記画像データに対して所定の圧縮処理を行う圧縮処理部と、前記メモリから圧縮画像データを入力して前記圧縮処理に対応した伸長処理を行う伸長処理部と、を備え、一動画又は同時並行処理される複数の動画を入力して予測符号化処理を符号化装置であって、前記圧縮処理部において、前記フレーム単位で、前記所定の圧縮処理に基づく圧縮率が算出されて出力され、圧縮符号化後の画像データと共に一動画を構成する各フレームに係る各圧縮率を出力することを要旨とする。   In order to achieve the above object, the fourth encoding apparatus of the present invention performs prediction reference to perform interframe predictive encoding on moving image information composed of a plurality of temporally continuous frames. A memory for storing image data for use, a compression processing unit for performing a predetermined compression process on the image data in order to store the image data in the memory, and inputting the compressed image data from the memory And a decompression processing unit that performs decompression processing corresponding to the compression processing, and a predictive encoding process by inputting a single moving image or a plurality of moving images that are simultaneously processed in parallel, wherein the compression processing A compression rate based on the predetermined compression processing is calculated and output for each frame, and each compression rate related to each frame constituting one moving image is output together with the image data after compression encoding. And effect.

ここで、前記各圧縮率は、出力される符号化画像データが所定に配置される出力フォーマットにおける各フレームごとのオプションヘッダ内に格納されることが好適である。   Here, each compression rate is preferably stored in an option header for each frame in an output format in which output encoded image data is arranged in a predetermined manner.

また、上記第一乃至第四の符号化装置のいずれにおいても、前記圧縮処理部における圧縮処理を可逆圧縮処理とすることができる。   In any of the first to fourth encoding devices, the compression processing in the compression processing unit can be a lossless compression processing.

また、上記第一乃至第四の符号化装置のいずれにおいても、前記圧縮処理部における圧縮処理を非可逆圧縮処理とすることができる。   In any of the first to fourth encoding devices, the compression processing in the compression processing unit can be irreversible compression processing.

また、上記目的を達成するため、本発明の第一の復号化装置は、上記第一又は第二の符号化装置から出力された符号化画像データを入力して、前記符号化装置における予測符号化処理に対応した復号化処理を行う復号化装置であって、前記符号化装置から出力された前記最悪の圧縮率を入力し、前記符号化装置における前記圧縮処理に対応した圧縮処理部から、前記符号化装置における前記メモリに対応したメモリに圧縮処理後の画像データを格納するに際して、前記最悪の圧縮率に基づいてメモリ管理を行うメモリ管理部を備えたことを要旨とする。ここで、例えば、前記メモリ管理部は、前記最悪の圧縮率に基づいて、前記メモリ内に格納領域を確保する。   In order to achieve the above object, a first decoding device of the present invention inputs encoded image data output from the first or second encoding device, and performs prediction code in the encoding device. A decoding apparatus that performs a decoding process corresponding to the encoding process, the worst compression rate output from the encoding apparatus is input, from the compression processing unit corresponding to the compression process in the encoding apparatus, The gist of the present invention is to provide a memory management unit that performs memory management based on the worst compression rate when storing image data after compression processing in a memory corresponding to the memory in the encoding device. Here, for example, the memory management unit secures a storage area in the memory based on the worst compression rate.

また、上記目的を達成するため、本発明の第二の復号化装置は、上記第三又は第四の符号化装置から出力された符号化画像データを入力して、前記符号化装置における予測符号化処理に対応した復号化処理を行う復号化装置であって、前記符号化装置から出力された、一動画を構成する各フレームに係る各圧縮率を入力し、前記符号化装置における前記圧縮処理に対応した圧縮処理部から、前記符号化装置における前記メモリに対応したメモリに圧縮処理後の画像データを格納するに際して、前記各圧縮率に基づいてメモリ管理を行うメモリ管理部を備えたことを要旨とする。ここで、例えば、前記メモリ管理部は、前記各圧縮率に基づいて、前記メモリ内に格納領域を確保する。   In order to achieve the above object, the second decoding apparatus of the present invention inputs the encoded image data output from the third or fourth encoding apparatus, and performs prediction code in the encoding apparatus. A decoding apparatus that performs a decoding process corresponding to the encoding process, wherein each compression rate relating to each frame constituting one moving image output from the encoding apparatus is input, and the compression process in the encoding apparatus A memory management unit that performs memory management based on each compression rate when storing the compressed image data in the memory corresponding to the memory in the encoding device from the compression processing unit corresponding to The gist. Here, for example, the memory management unit secures a storage area in the memory based on the compression ratios.

また、上記第一及び第二の復号化装置のいずれにおいても、前記圧縮処理部における圧縮処理を可逆圧縮処理とすることができる。   In both the first and second decoding apparatuses, the compression processing in the compression processing unit can be a lossless compression process.

また、上記第一及び第二の復号化装置のいずれにおいても、前記圧縮処理部における圧縮処理を非可逆圧縮処理とすることができる。   In both the first and second decoding apparatuses, the compression processing in the compression processing unit can be irreversible compression processing.

本発明の符号化装置及び復号化装置によれば、復号化装置の予測情報用のメモリのメモリ管理を容易にすると共に、その最適化により、同じ容量で、より多くの動画を同時に再生できるようになる。   According to the encoding device and the decoding device of the present invention, the memory management of the prediction information memory of the decoding device is facilitated, and the optimization enables the reproduction of more moving images simultaneously with the same capacity. become.

第1実施形態における符号化装置の一例の構成を示す図である。It is a figure which shows the structure of an example of the encoding apparatus in 1st Embodiment. 第1実施形態における符号化装置の他の例の構成を示す図である。It is a figure which shows the structure of the other example of the encoding apparatus in 1st Embodiment. 第1実施形態における復号化装置の一例の構成を示す図である。It is a figure which shows the structure of an example of the decoding apparatus in 1st Embodiment. 第2実施形態における符号化装置の一例の構成を示す図である。It is a figure which shows the structure of an example of the encoding apparatus in 2nd Embodiment. 第2実施形態における符号化装置の他の例の構成を示す図である。It is a figure which shows the structure of the other example of the encoding apparatus in 2nd Embodiment. 第2実施形態における非可逆圧縮処理部23及び対応伸長処理部24の詳細構成を示す図である。It is a figure which shows the detailed structure of the lossy compression process part 23 and the corresponding expansion | extension process part 24 in 2nd Embodiment. 第2実施形態における復号化装置の一例の構成を示す図である。It is a figure which shows the structure of an example of the decoding apparatus in 2nd Embodiment.

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
<第1実施形態>
図1〜図3は、本発明の符号化装置及び復号化装置の第1実施形態を説明するため図である。この第1実施形態は、予測用の画像(ピクチャ)を格納するためのメモリ(ピクチャメモリ)への当該画像の格納に際して、可逆圧縮処理を採用する場合である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<First Embodiment>
1-3 is a figure for demonstrating 1st Embodiment of the encoding apparatus and decoding apparatus of this invention. The first embodiment is a case where reversible compression processing is employed when storing a picture in a memory (picture memory) for storing a picture (picture) for prediction.

図1は、第1実施形態における符号化装置の一例の構成を示す図である。同図に示す符号化装置1Aは、減算部11と、圧縮処理部12と、第1可変長符号化部13と、伸長処理部14と、加算部15と、可逆圧縮処理部16と、ピクチャメモリ17と、対応伸長処理部18と、動き補償予測部19と、圧縮率更新部20と、第2可変長符号化部21と、多重化部22とを備えている。なお、同図に示す符号化装置1Aは、時間的に連続する複数のフレームで構成された動画像情報をブロック単位で入力して、例えばH.264(MPEG(Moving Picture Experts Group)−4 AVC)のような規格に準拠した動画像符号化処理を行うものである。   FIG. 1 is a diagram illustrating a configuration of an example of an encoding device according to the first embodiment. The encoding apparatus 1A shown in FIG. 1 includes a subtraction unit 11, a compression processing unit 12, a first variable length encoding unit 13, an expansion processing unit 14, an addition unit 15, a lossless compression processing unit 16, and a picture. A memory 17, a corresponding decompression processing unit 18, a motion compensation prediction unit 19, a compression rate update unit 20, a second variable length coding unit 21, and a multiplexing unit 22 are provided. Note that the encoding apparatus 1A shown in FIG. 1 inputs moving image information composed of a plurality of temporally continuous frames in units of blocks. H.264 (MPEG (Moving Picture Experts Group) -4 AVC).

減算部11は、符号化対象フレームとしてのピクチャの符号化対象マクロブロックから、動き補償予測部19から送られてきたマクロブロックのピクチャ情報を減算し、残差予測信号として、圧縮処理部12に供給する。なお、MPEGの場合のIピクチャに係る符号化対象マクロブロックについては、減算部11を経ずにそのまま圧縮処理部12に送られる。   The subtraction unit 11 subtracts the picture information of the macroblock sent from the motion compensation prediction unit 19 from the encoding target macroblock of the picture as the encoding target frame, and sends it to the compression processing unit 12 as a residual prediction signal. Supply. Note that the encoding target macroblock related to the I picture in the case of MPEG is directly sent to the compression processing unit 12 without passing through the subtraction unit 11.

圧縮処理部12は、減算部11から送られてきた対象マクロブロックの残差予測信号に対して、非可逆圧縮処理を行う。ここで、この非可逆圧縮処理としては、静止画におけるJPEG(Joint Photographic Experts Group)のように直交変換処理及び量子化処理を行うアルゴリズムがある。なお、直交変換処理としては、離散コサイン変換(DCT:Discrete Cosine Transform)や、アダマール変換(Hadamard Transform)がある。   The compression processing unit 12 performs irreversible compression processing on the residual prediction signal of the target macroblock sent from the subtraction unit 11. Here, as the irreversible compression processing, there is an algorithm that performs orthogonal transformation processing and quantization processing like JPEG (Joint Photographic Experts Group) in a still image. Note that orthogonal transform processing includes discrete cosine transform (DCT) and Hadamard transform.

第1可変長符号化部13は、圧縮処理部12から出力された圧縮画像データに対してブロックごとにハフマン符号化や算術符号化等の可変長符号化による可逆圧縮を行う。   The first variable length coding unit 13 performs lossless compression on the compressed image data output from the compression processing unit 12 by variable length coding such as Huffman coding or arithmetic coding for each block.

また、伸長処理部14は、圧縮処理部12から出力されたマクロブロック単位の圧縮画像データに対して、圧縮処理部12における非可逆圧縮処理に対応する非可逆伸長処理を行い、伸長により得られたマクロブロックを加算部15に送る。加算部15は、動き補償予測部61から出力された先行の最も相関の高いマクロブロックに係る情報に、伸長処理部14から出力されたマクロブロックに係る情報を加算することにより、後続の予測に供されるマクロブロックを復元する。なお、前述と同様に、MPEGの場合のIピクチャに係るマクロブロックについては、加算部15を経ない。   Further, the decompression processing unit 14 performs irreversible decompression processing corresponding to the irreversible compression processing in the compression processing unit 12 on the compressed image data in units of macroblocks output from the compression processing unit 12, and is obtained by decompression. The macroblock is sent to the adder 15. The adding unit 15 adds the information related to the macroblock output from the decompression processing unit 14 to the information related to the preceding most highly correlated macroblock output from the motion compensation prediction unit 61, thereby performing subsequent prediction. Restore the provided macroblock. As described above, the macroblock related to the I picture in the case of MPEG does not go through the adding unit 15.

可逆圧縮処理部16は、加算部15から出力された、又は加算部15を経ない画像情報に対して所定の可逆圧縮処理を行い、得られた圧縮画像データを、後続との比較処理のためにピクチャメモリ17に格納する。なお、このときの可逆圧縮処理アルゴリズムについては、その処理すべき画像の特性等に応じて、任意に選定すればよい。例えば、GIF(Graphics Interchange Format)、PNG(Portable Network Graphics)がある。   The reversible compression processing unit 16 performs a predetermined reversible compression process on the image information output from the addition unit 15 or not passed through the addition unit 15, and the obtained compressed image data is compared with the subsequent processing. Is stored in the picture memory 17. Note that the lossless compression processing algorithm at this time may be arbitrarily selected according to the characteristics of the image to be processed. For example, there are GIF (Graphics Interchange Format) and PNG (Portable Network Graphics).

加えて、可逆圧縮処理部16は、自身の圧縮処理による圧縮率CRをフレーム単位で算出して圧縮率更新部20に供給する。圧縮率更新部20は、入力される圧縮率CRと、それ以前のフレームに係る圧縮率CRを比較し、今回のフレームに係る圧縮率CRの方が低ければ、それに更新して記憶する。圧縮率更新部20は、かかる処理を、一動画を構成する各フレームに渡って行う。従って、一動画分処理を終えると、圧縮率更新部20は、圧縮率が最悪に低いフレームに係る当該圧縮率(以下、「最悪圧縮率WCR」と称す)を保持することとなる。圧縮率更新部20は、動画単位で、この最悪圧縮率WCRを第2可変長符号化部21に対して出力する。第2可変長符号化部21は、圧縮率更新部20から出力された最悪圧縮率WCRの情報に対してハフマン符号化や算術符号化等の可変長符号化による可逆圧縮を行う。   In addition, the lossless compression processing unit 16 calculates the compression rate CR by its own compression processing in units of frames and supplies it to the compression rate update unit 20. The compression rate updating unit 20 compares the input compression rate CR with the compression rate CR related to the previous frame. If the compression rate CR related to the current frame is lower, it is updated and stored. The compression rate updating unit 20 performs such processing over each frame constituting one moving image. Therefore, when the processing for one moving image is completed, the compression rate update unit 20 holds the compression rate related to the frame having the worst compression rate (hereinafter referred to as “worst compression rate WCR”). The compression rate update unit 20 outputs the worst compression rate WCR to the second variable length coding unit 21 in units of moving images. The second variable length coding unit 21 performs lossless compression on the worst compression rate WCR information output from the compression rate update unit 20 by variable length coding such as Huffman coding or arithmetic coding.

一方、動き補償予測部19は、符号化対象フレームとしてのピクチャを構成する各マクロブロックを順次入力し、ピクチャメモリ17に記憶された予測用のフレームに係るピクチャのマクロブロックから最も相関の高いマクロブロックを検索する。可逆圧縮処理部16の処理に対応した対応伸長処理部18は、動き補償予測部19により検索されたマクロブロックに係るデータに対して、可逆圧縮処理部16における可逆圧縮処理に対応した伸長処理を行い、結果を動き補償予測部19に供給する。動き補償予測部19は、このようにして得られた、最も相関の高いマクロブロックに係る情報を、前述のように、減算部11及び加算部15に供給する。なお、図示していないが、動き補償予測部19は、比較に係る2つのマクロブロックの間で、ある固定領域として一体的に移動する部分がある場合に、その移動量を動きベクトルとして出力する。出力された動きベクトルは、同様に可変長符号化が行われ、多重化部22に供給される。   On the other hand, the motion compensated prediction unit 19 sequentially inputs each macroblock constituting the picture as the encoding target frame, and the macro having the highest correlation from the macroblocks of the picture related to the prediction frame stored in the picture memory 17. Search for a block. The corresponding decompression processing unit 18 corresponding to the processing of the lossless compression processing unit 16 performs decompression processing corresponding to the lossless compression processing in the lossless compression processing unit 16 on the data related to the macroblock retrieved by the motion compensation prediction unit 19. The result is supplied to the motion compensation prediction unit 19. The motion compensation prediction unit 19 supplies the information related to the macroblock with the highest correlation obtained in this way to the subtraction unit 11 and the addition unit 15 as described above. Although not shown, the motion compensation prediction unit 19 outputs the amount of movement as a motion vector when there is a part that moves integrally as a certain fixed area between two macroblocks for comparison. . The output motion vector is similarly subjected to variable length coding and supplied to the multiplexing unit 22.

多重化部22は、第1可変長符号化部13からの符号化画像データと、第2可変長符号化部21からの最悪圧縮率WCRの情報と、動きベクトル等のその他の情報を、多重化して出力する。このとき、最悪圧縮率WCRの情報を符号化画像データと共に出力する手法としては、いくつか考えられるが、好適には、例えばH.264規格に基づく符号データを格納できるMP4等のファイルフォーマットのSEI(Supplemental Enhancement Information)など、オプションヘッダ部分に組み込むことが可能である。また、無論、画像データファイルとは別個の独立ファイルとしても出力可能である。   The multiplexing unit 22 multiplexes the encoded image data from the first variable length encoding unit 13, the information on the worst compression rate WCR from the second variable length encoding unit 21, and other information such as a motion vector. Output. At this time, there are several possible methods for outputting the worst compression rate WCR information together with the encoded image data. It can be incorporated in an optional header portion such as SEI (Supplemental Enhancement Information) of a file format such as MP4 that can store code data based on the H.264 standard. Of course, it can also be output as an independent file separate from the image data file.

図1に示した符号化装置によれば、予測用のピクチャメモリ17に所定の可逆圧縮手法で圧縮して画像データを格納する当該装置において、設計された各動画の各々について、最悪の圧縮率を復号化装置側に供給できることとなる。各動画は、後述する復号化装置において、復号化処理を通して、そのピクチャメモリに格納可能なように設計されているが、後述のように、各画像が最悪どの程度ピクチャメモリを占めるかという情報が予め分かっていれば有効である。なお、復号化装置は、符号化装置1Aにおける可逆圧縮処理部16及び対応伸長処理部18と同じ各処理部を有していることが前提となる。   According to the encoding apparatus shown in FIG. 1, the worst compression rate for each of the designed moving pictures in the apparatus for storing image data by compressing the picture memory 17 for prediction by a predetermined lossless compression method. Can be supplied to the decoding device side. Each moving image is designed so that it can be stored in its picture memory through a decoding process in a decoding device to be described later. However, as will be described later, there is information on how bad each image occupies the picture memory. It is effective if it is known in advance. It is assumed that the decoding device has the same processing units as the lossless compression processing unit 16 and the corresponding expansion processing unit 18 in the encoding device 1A.

図2は、第1実施形態における符号化装置の他の例の構成を示す図である。なお、図1に示した例と異なる部分についてのみ説明する。同図に示した符号化装置1Bにおいては、各動画の各フレームの圧縮率の情報をすべて復号化装置側に供給する。すなわち、圧縮率更新部20を設けず、可逆圧縮処理部16から出力された各フレームに係る圧縮率の情報をすべて第2可変長符号化部21に供給する。この例では、多重化部22において、フレームごとの圧縮率の情報を、符号化画像データのファイルフォーマットのフレームごとのオプションヘッダに格納すればよい。無論、別ファイルとしても出力可能である。   FIG. 2 is a diagram illustrating a configuration of another example of the encoding device according to the first embodiment. Only parts different from the example shown in FIG. 1 will be described. In the encoding apparatus 1B shown in the figure, all the information on the compression rate of each frame of each moving image is supplied to the decoding apparatus side. That is, the compression rate update unit 20 is not provided, and all the compression rate information relating to each frame output from the lossless compression processing unit 16 is supplied to the second variable length coding unit 21. In this example, the multiplexing unit 22 may store the compression rate information for each frame in the option header for each frame of the file format of the encoded image data. Of course, it can be output as a separate file.

次に、復号化装置側について説明する。図3は、第1実施形態における復号化装置の一例の構成を示す図である。同図に示す復号化装置3Aは、分離化部31と、第1可変長復号化部32と、伸長処理部33と、加算部34と、可逆圧縮処理部35と、ピクチャメモリ36と、対応伸長処理部37と、動き補償予測部38と、第2可変長復号化部39と、メモリ管理部40とを備えている。   Next, the decoding device side will be described. FIG. 3 is a diagram illustrating a configuration of an example of a decoding device according to the first embodiment. The decoding apparatus 3A shown in the figure includes a separation unit 31, a first variable length decoding unit 32, an expansion processing unit 33, an addition unit 34, a lossless compression processing unit 35, and a picture memory 36. An expansion processing unit 37, a motion compensation prediction unit 38, a second variable length decoding unit 39, and a memory management unit 40 are provided.

分離化部31は、送られてくる符号化データを、符号化画像データと、圧縮率に係る符号化情報と、動きベクトル等に分離する。符号化画像データを入力した第1可変長復号化部32は、マクロブロック単位で、図1及び図2に示した第1可変長符号化部13による可変長符号化処理に対応した可変長復号化処理を行う。従って、例えばハフマン復号化や算術復号化である。同様に、第2可変長復号化部39は、圧縮率に係る符号化情報に対して可変長復号化処理を施して最悪圧縮率WCR又は各圧縮率CRを再現する。また、図示しない動きベクトルも可変長復号化処理が施されて動き補償予測部38に供給される。   The separation unit 31 separates the encoded data that is sent into encoded image data, encoded information related to the compression rate, a motion vector, and the like. The first variable length decoding unit 32 to which the encoded image data is input is a variable length decoding unit corresponding to the variable length encoding process by the first variable length encoding unit 13 shown in FIGS. Process. Thus, for example, Huffman decoding or arithmetic decoding. Similarly, the second variable length decoding unit 39 reproduces the worst compression rate WCR or each compression rate CR by performing variable length decoding processing on the encoded information related to the compression rate. Also, a motion vector (not shown) is subjected to variable length decoding processing and supplied to the motion compensation prediction unit 38.

第1可変長復号化部32からの画像データを入力した伸長処理部33は、図1及び図2に示した符号化装置1A,1Bの圧縮処理部12における非可逆圧縮処理に対応した非可逆伸長処理を行う。かかる処理により得られた残差予測信号は、加算部34及び動き補償予測部38に送られる。   The decompression processing unit 33 that has received the image data from the first variable length decoding unit 32 is an irreversible compression process corresponding to the irreversible compression processing in the compression processing unit 12 of the encoding devices 1A and 1B shown in FIGS. Perform decompression processing. The residual prediction signal obtained by such processing is sent to the addition unit 34 and the motion compensation prediction unit 38.

動き補償予測部38は、伸長処理部33からの残差予測信号と、動きベクトルを用いて、ピクチャメモリ36に格納された先行する画像データのマクロブロックのデータを処理し、加算部34に送る。加算部34は、伸長処理部33からの残差予測信号と、動き補償予測部38からのマクロブロックデータとを加算し、復号化されたマクロブロック単位の画像データを出力する。   The motion compensation prediction unit 38 processes the macroblock data of the preceding image data stored in the picture memory 36 using the residual prediction signal from the decompression processing unit 33 and the motion vector, and sends the processed data to the addition unit 34. . The adding unit 34 adds the residual prediction signal from the decompression processing unit 33 and the macroblock data from the motion compensation prediction unit 38, and outputs decoded image data in macroblock units.

加算部34から出力された画像情報は、外部に出力されるのと並行して、図1及び図2に示した可逆圧縮処理部16と同構成の可逆圧縮処理部35により可逆圧縮処理が行われ、得られた圧縮画像データが、後続との比較処理のためにピクチャメモリ36に格納される。一方、ピクチャメモリ36に対する情報の格納を管理するために設けられたメモリ管理部40は、第2可変長復号化部39から入力した最悪圧縮率WCR又は各圧縮率CRに基づき、可逆圧縮処理部35により得られた圧縮画像データのピクチャメモリ36に対する格納を制御する。具体的には、最悪圧縮率WCR又は各圧縮率CRに基づき、ピクチャメモリ36内に予め連続した領域を確保する。これにより、ピクチャメモリ36のメモリ管理が容易になると共に、その最適化により、同じ容量で、より多くの動画を同時に再生できるようになる。   The image information output from the adder 34 is subjected to a reversible compression process by a reversible compression processor 35 having the same configuration as the reversible compression processor 16 shown in FIGS. Thus, the obtained compressed image data is stored in the picture memory 36 for comparison with subsequent processing. On the other hand, the memory management unit 40 provided for managing the storage of information in the picture memory 36 is based on the worst compression rate WCR or each compression rate CR input from the second variable length decoding unit 39, and the lossless compression processing unit The storage of the compressed image data obtained by 35 in the picture memory 36 is controlled. Specifically, a continuous area is secured in advance in the picture memory 36 based on the worst compression rate WCR or each compression rate CR. As a result, the memory management of the picture memory 36 is facilitated, and the optimization makes it possible to simultaneously reproduce more moving images with the same capacity.

動き補償予測部38は、伸長処理部33による伸長処理により得られた各マクロブロックを順次入力し、ピクチャメモリ36に記憶された予測用のフレームに係るピクチャのマクロブロックから最も相関の高いマクロブロックを検索する。図1及び図2に示した対応伸長処理部18と同構成の対応伸長処理部37は、動き補償予測部38により検索されたマクロブロックに係るデータに対して、可逆圧縮処理部35における可逆圧縮処理に対応した伸長処理を行い、結果を動き補償予測部19に供給する。   The motion compensation prediction unit 38 sequentially inputs each macro block obtained by the expansion processing by the expansion processing unit 33, and the macro block having the highest correlation from the macro blocks of the picture related to the prediction frame stored in the picture memory 36. Search for. The corresponding decompression processing unit 37 having the same configuration as the corresponding decompression processing unit 18 shown in FIGS. 1 and 2 performs lossless compression in the lossless compression processing unit 35 on the data related to the macroblock retrieved by the motion compensation prediction unit 38. The decompression process corresponding to the process is performed, and the result is supplied to the motion compensation prediction unit 19.

なお、図1及び図2においては、符号化装置1A,1B内の画像データに対する予測符号化処理の過程において圧縮率を求めるように構成しているが、他の例として、符号化装置は従来と同様の構成、すなわち、圧縮率更新部20を設けず、また可逆圧縮処理部は圧縮率CRを出力しない構成とし、当該符号化装置の後段に設けた専用のソフトウェア又は装置が、符号化装置(処理部)から出力された符号化画像データに基づいて、符号化装置1A,1B内の可逆圧縮処理部16により各フレームがどの程度圧縮されるかを求めて、最悪圧縮率WCR又は各圧縮率CRとして復号化装置3A側に供給してもよい。   In FIGS. 1 and 2, the compression rate is obtained in the process of predictive coding processing for the image data in the coding devices 1 </ b> A and 1 </ b> B. As another example, the coding device is a conventional one. In other words, the compression rate update unit 20 is not provided, the lossless compression processing unit does not output the compression rate CR, and dedicated software or device provided at the subsequent stage of the encoding device is used as the encoding device. Based on the encoded image data output from the (processing unit), the degree to which each frame is compressed by the lossless compression processing unit 16 in the encoding devices 1A and 1B is determined, and the worst compression rate WCR or each compression is obtained. The rate CR may be supplied to the decoding device 3A side.

具体的には、圧縮率更新部20を設けず、また圧縮率CRを出力しない可逆圧縮処理部を有した符号化装置(処理部)で生成される復号化画像データを入力し、前記符号化装置内に設けられたピクチャメモリ17に予測参照用の画像データを圧縮して格納する際の所定の圧縮処理と同一の圧縮処理を行い、フレーム単位で圧縮率を算出して出力する圧縮処理部と、その圧縮処理部から出力される、一動画を構成する各フレームに係る各圧縮率から最悪の圧縮率を求める圧縮率更新部と、を備え、圧縮符号化後の画像データと共に前記最悪の圧縮率を出力すればよい。あるいは、圧縮率更新部を設けず、圧縮符号化後の画像データと共に一動画を構成する各フレームに係る各圧縮率を出力すればよい。   Specifically, the encoded image data generated by an encoding device (processing unit) having a lossless compression processing unit that does not include the compression rate update unit 20 and does not output the compression rate CR is input, and the encoding is performed. A compression processing unit that performs the same compression processing as the predetermined compression processing when compressing and storing predictive reference image data in the picture memory 17 provided in the apparatus, and calculates and outputs a compression rate in units of frames And a compression rate update unit for obtaining the worst compression rate from each compression rate related to each frame constituting one moving image, which is output from the compression processing unit, and the worst image together with the image data after compression encoding What is necessary is just to output a compression rate. Alternatively, the compression rate update unit is not provided, and each compression rate relating to each frame constituting one moving image may be output together with the image data after compression encoding.

<第2実施形態>
図4〜図7は、本発明の符号化装置及び復号化装置の第2実施形態を説明するため図である。第1実施形態においては、ピクチャメモリに格納する際の圧縮方式として可逆圧縮処理を採用しているが、この第2実施形態においては、非可逆圧縮処理を採用する。このように非可逆圧縮を採用した場合には、フレーム間で予測を累積的に行ったときに、それに応じて画像の歪も累積的に増加してしまうという欠点があるが、無論、可逆圧縮を採用したときよりも圧縮率は高くなるので、可逆圧縮と比較してピクチャメモリの容量を効率的に活用することができることとなる。更に、圧縮方式として非可逆圧縮方式を採用する場合には、フレームごとに圧縮パラメータ(量子化係数)を変更することが可能となるので、その場合には、最悪圧縮率や各圧縮率の情報を送るということが無意味となってしまう。従って、ここでは、一動画に渡って一定の画質を保つことを前提条件とし、一動画に渡って圧縮パラメータは一定とする。これにより、この場合でも、同時並行的に処理される各動画の容量、採用する非可逆圧縮の技法、ピクチャメモリの容量等に基づいて、ピクチャメモリの容量に破綻を来さないように、予め各動画を設計しておく必要がある。
Second Embodiment
4-7 is a figure for demonstrating 2nd Embodiment of the encoding apparatus and decoding apparatus of this invention. In the first embodiment, reversible compression processing is adopted as a compression method for storing in a picture memory, but in this second embodiment, lossy compression processing is adopted. When lossy compression is used in this way, there is a drawback that when the prediction is performed cumulatively between frames, the distortion of the image also increases accordingly. Since the compression rate is higher than when adopting the method, the capacity of the picture memory can be used more efficiently than the lossless compression. Furthermore, when the lossy compression method is adopted as the compression method, the compression parameter (quantization coefficient) can be changed for each frame. In this case, information on the worst compression rate or each compression rate is obtained. Sending it would be meaningless. Therefore, here, it is assumed that a constant image quality is maintained over one moving image, and the compression parameter is constant over one moving image. As a result, even in this case, based on the capacity of each moving image processed in parallel, the lossy compression technique to be employed, the capacity of the picture memory, etc. Each video needs to be designed.

図4は、第2実施形態における符号化装置の一例の構成を示す図であり、図1に示した第1実施形態における符号化装置に対応する装置である。図1と同一部分については同符号を付して説明を省略する。そこで、図4に示した符号化装置1Cにおいては、図1に示した符号化装置1Aにおける可逆圧縮処理部16及び対応伸長処理部18の代わりに、非可逆圧縮処理部23及び対応伸長処理部24を設けている。   FIG. 4 is a diagram illustrating a configuration of an example of the encoding device according to the second embodiment, and corresponds to the encoding device according to the first embodiment illustrated in FIG. 1. The same parts as those in FIG. Therefore, in the encoding device 1C illustrated in FIG. 4, instead of the lossless compression processing unit 16 and the corresponding expansion processing unit 18 in the encoding device 1A illustrated in FIG. 1, the lossy compression processing unit 23 and the corresponding expansion processing unit 24 is provided.

図6(a)及び図6(b)は、それぞれ、非可逆圧縮処理部23及び対応伸長処理部24の詳細構成を示す図である。同図(a)に示した非可逆圧縮処理部23は、加算部15から入力される画像データに対して所定の直交変換処理を行う直交変換部231と、直交変換後のデータに対して、量子化テーブル234から適切な量子化係数を選定して量子化処理を行う量子化部232と、量子化後のデータに対して、ハフマン符号化や算術符号化等の可変長符号化処理を行う可変長符号化部233とを有している。   FIGS. 6A and 6B are diagrams illustrating detailed configurations of the lossy compression processing unit 23 and the corresponding decompression processing unit 24, respectively. The irreversible compression processing unit 23 shown in FIG. 5A is an orthogonal transformation unit 231 that performs a predetermined orthogonal transformation process on the image data input from the addition unit 15, and for the data after the orthogonal transformation, A quantization unit 232 that selects an appropriate quantization coefficient from the quantization table 234 and performs quantization processing, and performs variable length coding processing such as Huffman coding and arithmetic coding on the quantized data. And a variable length coding unit 233.

また、同図(b)に示した対応伸長処理部24は、ピクチャメモリ17から読み出された圧縮画像データに対して、可変長符号化部233における可変長符号化に対応した可変長復号化処理を行う可変長復号化部241と、量子化テーブル244に基づき、量子化部232における量子化に対応した逆量子化処理を行う逆量子化部242と、直交変換部231における直交変換に対応した逆直交変換処理を行う逆直交変換部243とを有している。   Also, the corresponding decompression processing unit 24 shown in FIG. 5B performs variable length decoding corresponding to variable length coding in the variable length coding unit 233 on the compressed image data read from the picture memory 17. Supports variable length decoding unit 241 that performs processing, inverse quantization unit 242 that performs inverse quantization processing corresponding to quantization in quantization unit 232 based on quantization table 244, and orthogonal transform in orthogonal transform unit 231 And an inverse orthogonal transform unit 243 that performs the inverse orthogonal transform process.

図5は、第2実施形態における符号化装置の他の例の構成を示す図であり、図2に示した第1実施形態における符号化装置に対応する装置である。図2と同一部分については同符号を付して説明を省略する。そこで、図5に示した符号化装置1Dにおいては、図2に示した符号化装置1Bにおける可逆圧縮処理部16及び対応伸長処理部18の代わりに、非可逆圧縮処理部23及び対応伸長処理部24を設けている。   FIG. 5 is a diagram illustrating a configuration of another example of the encoding device according to the second embodiment, and is a device corresponding to the encoding device according to the first embodiment illustrated in FIG. 2. The same parts as those in FIG. Therefore, in the encoding device 1D illustrated in FIG. 5, instead of the lossless compression processing unit 16 and the corresponding expansion processing unit 18 in the encoding device 1B illustrated in FIG. 2, the lossy compression processing unit 23 and the corresponding expansion processing unit 24 is provided.

図7は、第2実施形態における復号化装置の一例の構成を示す図であり、図3に示した第1実施形態における復号化装置に対応する装置である。図3と同一部分については同符号を付して説明を省略する。そこで、図7に示した復号化装置3Bにおいては、図3に示した復号化装置3Aにおける可逆圧縮処理部35及び対応伸長処理部37の代わりに、非可逆圧縮処理部41及び対応伸長処理部42を設けている。   FIG. 7 is a diagram illustrating a configuration of an example of a decoding device according to the second embodiment, and corresponds to the decoding device according to the first embodiment illustrated in FIG. 3. The same parts as those in FIG. Therefore, in the decoding device 3B shown in FIG. 7, an irreversible compression processing unit 41 and a corresponding expansion processing unit are used instead of the lossless compression processing unit 35 and the corresponding expansion processing unit 37 in the decoding device 3A shown in FIG. 42 is provided.

以上のようにピクチャメモリに格納する際の圧縮方式として非可逆圧縮処理を採用した第2実施形態においても、第1実施形態と同様の効果が得られる。   As described above, also in the second embodiment that employs lossy compression processing as a compression method for storing in the picture memory, the same effects as in the first embodiment can be obtained.

本発明の符号化装置及び復号化装置は、パチンコ機やゲーム機等の遊技機に表示される動画像の処理に利用できる。   INDUSTRIAL APPLICABILITY The encoding device and decoding device of the present invention can be used for processing moving images displayed on a gaming machine such as a pachinko machine or a game machine.

1A、1B,1C,1D 符号化装置
11 減算部
12 圧縮処理部
13 第1可変長符号化部
14 伸長処理部
15 加算部
16 可逆圧縮処理部
17 ピクチャメモリ
18 対応伸長処理部
19 動き補償予測部
20 圧縮率更新部
21 第2可変長符号化部
22 多重化部
23 非可逆圧縮処理部
24 対応伸長処理部
3A,3B 復号化装置
31 分離化部
32 第1可変長復号化部
33 伸長処理部
34 加算部
35 可逆圧縮処理部
36 ピクチャメモリ
37 対応伸長処理部
38 動き補償予測部
39 第2可変長復号化部
40 メモリ管理部
41 非可逆圧縮処理部
42 対応伸長処理部
1A, 1B, 1C, 1D Encoder 11 Subtraction unit 12 Compression processing unit 13 First variable length coding unit 14 Decompression processing unit 15 Addition unit 16 Lossless compression processing unit 17 Picture memory 18 Corresponding expansion processing unit 19 Motion compensation prediction unit 20 compression rate update unit 21 second variable length coding unit 22 multiplexing unit 23 lossy compression processing unit 24 corresponding expansion processing unit 3A, 3B decoding device 31 separation unit 32 first variable length decoding unit 33 expansion processing unit 34 Adder 35 Lossless compression processing unit 36 Picture memory 37 Corresponding decompression processing unit 38 Motion compensation prediction unit 39 Second variable length decoding unit 40 Memory management unit 41 Lossy compression processing unit 42 Corresponding decompression processing unit

Claims (14)

時間的に連続する複数のフレームで構成された動画像情報のひとつ又は同時並行処理される複数の動画像情報を入力して予測符号化処理を行う符号化処理部と、
前記符号化処理部で生成される復号化画像データを入力し、前記符号化装置内に設けられたメモリに予測参照用の画像データを圧縮して格納する際の所定の圧縮処理と同一の圧縮処理を行い、前記フレーム単位で圧縮率を算出して出力する圧縮処理部と、
前記圧縮処理部から出力される、一動画を構成する各フレームに係る各圧縮率から最悪の圧縮率を求める圧縮率更新部と、
を備え、圧縮符号化後の画像データと共に前記最悪の圧縮率を出力することを特徴とする符号化装置。
An encoding processing unit for performing predictive encoding processing by inputting one of moving image information composed of a plurality of temporally continuous frames or a plurality of moving image information to be simultaneously processed;
The same compression as the predetermined compression process when the decoded image data generated by the encoding processing unit is input and the image data for prediction reference is compressed and stored in the memory provided in the encoding device A compression processing unit that performs processing and calculates and outputs a compression rate in units of frames;
A compression rate update unit for obtaining the worst compression rate from each compression rate related to each frame constituting one moving image output from the compression processing unit;
And an output device that outputs the worst compression rate together with the image data after compression encoding.
時間的に連続する複数のフレームで構成された動画像情報に対してフレーム間の予測符号化を行うために予測参照用の画像データを格納しておくためのメモリと、
そのメモリに前記画像データを格納するために前記画像データに対して所定の圧縮処理を行う圧縮処理部と、
前記メモリから圧縮画像データを入力して前記圧縮処理に対応した伸長処理を行う伸長処理部と、
を備え、一動画又は同時並行処理される複数の動画を入力して予測符号化処理を行う符号化装置であって、
前記圧縮処理部において、前記フレーム単位で、前記所定の圧縮処理に基づく圧縮率が算出されて出力され、一動画を構成する各フレームに係る各圧縮率から最悪の圧縮率を求める圧縮率更新部を更に備え、圧縮符号化後の画像データと共に前記最悪の圧縮率を出力することを特徴とする符号化装置。
A memory for storing image data for prediction reference in order to perform predictive encoding between frames for moving image information composed of a plurality of temporally continuous frames;
A compression processing unit that performs a predetermined compression process on the image data in order to store the image data in the memory;
A decompression processing unit that inputs compressed image data from the memory and performs decompression processing corresponding to the compression processing;
An encoding device that performs predictive encoding processing by inputting one moving image or a plurality of moving images that are processed in parallel,
In the compression processing unit, a compression rate update unit that calculates and outputs a compression rate based on the predetermined compression processing in units of the frame and obtains the worst compression rate from the compression rates related to each frame constituting one moving image. And an output device that outputs the worst compression rate together with the compressed and encoded image data.
前記最悪の圧縮率は、出力される符号化画像データが所定に配置される出力フォーマットにおけるオプションヘッダ内に格納されることを特徴とする請求項1又は2に記載の符号化装置。   The encoding apparatus according to claim 1 or 2, wherein the worst compression rate is stored in an option header in an output format in which encoded image data to be output is arranged in a predetermined manner. 時間的に連続する複数のフレームで構成された動画像情報のひとつ又は同時並行処理される複数の動画像情報を入力して予測符号化処理を行う符号化処理部と、
前記符号化処理部で生成される復号化画像データを入力し、前記符号化装置内に設けられたメモリに予測参照用の画像データを圧縮して格納する際の所定の圧縮処理と同一の圧縮処理を行い、前記フレーム単位で圧縮率を算出して出力する圧縮処理部と、
を備え、圧縮符号化後の画像データと共に一動画を構成する各フレームに係る各圧縮率を出力することを特徴とする符号化装置。
An encoding processing unit for performing predictive encoding processing by inputting one of moving image information composed of a plurality of temporally continuous frames or a plurality of moving image information to be simultaneously processed;
The same compression as the predetermined compression process when the decoded image data generated by the encoding processing unit is input and the image data for prediction reference is compressed and stored in the memory provided in the encoding device A compression processing unit that performs processing and calculates and outputs a compression rate in units of frames;
And a compression apparatus for outputting each compression rate relating to each frame constituting one moving image together with the image data after compression encoding.
時間的に連続する複数のフレームで構成された動画像情報に対してフレーム間の予測符号化を行うために予測参照用の画像データを格納しておくためのメモリと、
そのメモリに前記画像データを格納するために前記画像データに対して所定の圧縮処理を行う圧縮処理部と、
前記メモリから圧縮画像データを入力して前記圧縮処理に対応した伸長処理を行う伸長処理部と、
を備え、一動画又は同時並行処理される複数の動画を入力して予測符号化処理を行う符号化装置であって、
前記圧縮処理部において、前記フレーム単位で、前記所定の圧縮処理に基づく圧縮率が算出されて出力され、圧縮符号化後の画像データと共に一動画を構成する各フレームに係る各圧縮率を出力することを特徴とする符号化装置。
A memory for storing image data for prediction reference in order to perform predictive encoding between frames for moving image information composed of a plurality of temporally continuous frames;
A compression processing unit that performs a predetermined compression process on the image data in order to store the image data in the memory;
A decompression processing unit that inputs compressed image data from the memory and performs decompression processing corresponding to the compression processing;
An encoding device that performs predictive encoding processing by inputting one moving image or a plurality of moving images that are processed in parallel,
In the compression processing unit, a compression rate based on the predetermined compression processing is calculated and output for each frame, and each compression rate relating to each frame constituting one moving image is output together with the image data after compression encoding. An encoding apparatus characterized by that.
前記各圧縮率は、出力される符号化画像データが所定に配置される出力フォーマットにおける各フレームごとのオプションヘッダ内に格納されることを特徴とする請求項4又は5に記載の符号化装置。   6. The encoding apparatus according to claim 4, wherein each compression rate is stored in an option header for each frame in an output format in which encoded image data to be output is arranged in a predetermined manner. 前記圧縮処理部における圧縮処理は、可逆圧縮処理であることを特徴とする請求項1乃至6のいずれかに記載の符号化装置。   The encoding apparatus according to claim 1, wherein the compression processing in the compression processing unit is a reversible compression process. 前記圧縮処理部における圧縮処理は、非可逆圧縮処理であることを特徴とする請求項1乃至6のいずれかに記載の符号化装置。     The encoding apparatus according to claim 1, wherein the compression processing in the compression processing unit is an irreversible compression process. 請求項1又は請求項2に記載の符号化装置から出力された符号化画像データを入力して、前記符号化装置における予測符号化処理に対応した復号化処理を行う復号化装置であって、
前記符号化装置から出力された前記最悪の圧縮率を入力し、前記符号化装置における前記圧縮処理に対応した圧縮処理部から、前記符号化装置における前記メモリに対応したメモリに圧縮処理後の画像データを格納するに際して、前記最悪の圧縮率に基づいてメモリ管理を行うメモリ管理部を備えたことを特徴とする復号化装置。
A decoding device that inputs encoded image data output from the encoding device according to claim 1 or 2 and performs a decoding process corresponding to a predictive encoding process in the encoding device,
The worst compression rate output from the encoding device is input, and an image after compression processing is input from a compression processing unit corresponding to the compression processing in the encoding device to a memory corresponding to the memory in the encoding device. A decoding apparatus comprising: a memory management unit that performs memory management based on the worst compression ratio when storing data.
前記メモリ管理部は、前記最悪の圧縮率に基づいて、前記メモリ内に格納領域を確保することを特徴とする請求項9に記載の復号化装置。   The decoding device according to claim 9, wherein the memory management unit reserves a storage area in the memory based on the worst compression rate. 請求項4又は請求項5に記載の符号化装置から出力された符号化画像データを入力して、前記符号化装置における予測符号化処理に対応した復号化処理を行う復号化装置であって、
前記符号化装置から出力された、一動画を構成する各フレームに係る各圧縮率を入力し、前記符号化装置における前記圧縮処理に対応した圧縮処理部から、前記符号化装置における前記メモリに対応したメモリに圧縮処理後の画像データを格納するに際して、前記各圧縮率に基づいてメモリ管理を行うメモリ管理部を備えたことを特徴とする復号化装置。
A decoding device that inputs encoded image data output from the encoding device according to claim 4 or 5 and performs a decoding process corresponding to a predictive encoding process in the encoding device,
Input each compression rate related to each frame constituting one moving image output from the encoding device, and correspond to the memory in the encoding device from the compression processing unit corresponding to the compression processing in the encoding device A decoding device, comprising: a memory management unit that performs memory management based on each compression rate when storing image data after compression processing in the memory.
前記メモリ管理部は、前記各圧縮率に基づいて、前記メモリ内に格納領域を確保することを特徴とする請求項11に記載の復号化装置。   The decoding device according to claim 11, wherein the memory management unit reserves a storage area in the memory based on the compression ratios. 前記圧縮処理部における圧縮処理は、可逆圧縮処理であることを特徴とする請求項9乃至12のいずれかに記載の復号化装置。   The decoding device according to any one of claims 9 to 12, wherein the compression processing in the compression processing unit is a lossless compression processing. 前記圧縮処理部における圧縮処理は、非可逆圧縮処理であることを特徴とする請求項9乃至12のいずれかに記載の復号化装置。
The decoding device according to any one of claims 9 to 12, wherein the compression processing in the compression processing unit is an irreversible compression processing.
JP2014017599A 2014-01-31 2014-01-31 Encoding device and decoding device Active JP5879571B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014017599A JP5879571B2 (en) 2014-01-31 2014-01-31 Encoding device and decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014017599A JP5879571B2 (en) 2014-01-31 2014-01-31 Encoding device and decoding device

Publications (2)

Publication Number Publication Date
JP2015146473A true JP2015146473A (en) 2015-08-13
JP5879571B2 JP5879571B2 (en) 2016-03-08

Family

ID=53890538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014017599A Active JP5879571B2 (en) 2014-01-31 2014-01-31 Encoding device and decoding device

Country Status (1)

Country Link
JP (1) JP5879571B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009130931A (en) * 2007-11-19 2009-06-11 Samsung Electronics Co Ltd Method and apparatus for efficiently encoding and/or decoding moving image using image resolution adjustment
US20090245391A1 (en) * 2008-03-31 2009-10-01 Jeongnam Youn Lossy frame memory compression using intra refresh
JP2009260977A (en) * 2008-04-15 2009-11-05 Sony Corp Video data compression using combination of irreversible compression and reversible compression
JP2010098352A (en) * 2008-10-14 2010-04-30 Panasonic Corp Image information encoder
WO2011138912A1 (en) * 2010-05-06 2011-11-10 日本電気株式会社 Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method and program
WO2011148622A1 (en) * 2010-05-26 2011-12-01 パナソニック株式会社 Video encoding method, video decoding method, video encoding device and video decoding device
WO2012005106A1 (en) * 2010-07-08 2012-01-12 日本電気株式会社 Video decoding device, video coding device, video decoding method, video coding method and program
WO2012017945A1 (en) * 2010-08-03 2012-02-09 日本電気株式会社 Video encoding device, video decoding device, video encoding method, video decoding method, and program
WO2012095487A1 (en) * 2011-01-12 2012-07-19 Siemens Aktiengesellschaft Compression and decompression of reference images in a video coding device
JP2013058954A (en) * 2011-09-09 2013-03-28 Hitachi Consumer Electronics Co Ltd Video transmission device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009130931A (en) * 2007-11-19 2009-06-11 Samsung Electronics Co Ltd Method and apparatus for efficiently encoding and/or decoding moving image using image resolution adjustment
US20090245391A1 (en) * 2008-03-31 2009-10-01 Jeongnam Youn Lossy frame memory compression using intra refresh
JP2009260977A (en) * 2008-04-15 2009-11-05 Sony Corp Video data compression using combination of irreversible compression and reversible compression
JP2010098352A (en) * 2008-10-14 2010-04-30 Panasonic Corp Image information encoder
WO2011138912A1 (en) * 2010-05-06 2011-11-10 日本電気株式会社 Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method and program
WO2011148622A1 (en) * 2010-05-26 2011-12-01 パナソニック株式会社 Video encoding method, video decoding method, video encoding device and video decoding device
WO2012005106A1 (en) * 2010-07-08 2012-01-12 日本電気株式会社 Video decoding device, video coding device, video decoding method, video coding method and program
WO2012017945A1 (en) * 2010-08-03 2012-02-09 日本電気株式会社 Video encoding device, video decoding device, video encoding method, video decoding method, and program
WO2012095487A1 (en) * 2011-01-12 2012-07-19 Siemens Aktiengesellschaft Compression and decompression of reference images in a video coding device
JP2013058954A (en) * 2011-09-09 2013-03-28 Hitachi Consumer Electronics Co Ltd Video transmission device

Also Published As

Publication number Publication date
JP5879571B2 (en) 2016-03-08

Similar Documents

Publication Publication Date Title
CN105453570B (en) Content adaptive entropy coding of partition data for next generation video
JP4927207B2 (en) Encoding method, decoding method and apparatus
TWI612803B (en) Conditional signalling of reference picture list modification information
KR100952892B1 (en) Intra coding video data methods and apparatuses
WO2010032693A1 (en) Moving image encoding device, moving image decoding device, moving image encoding method, moving image decoding method, moving image encoding program, and moving image decoding program
KR20060088461A (en) Method and apparatus for deriving motion vectors of macro blocks from motion vectors of pictures of base layer when encoding/decoding video signal
JP2008011455A (en) Coding method
JP2007266749A (en) Encoding method
KR20050112588A (en) Video encoding, decoding apparatus and method
US20080013624A1 (en) Method and apparatus for encoding and decoding video signal of fgs layer by reordering transform coefficients
JP2014007469A (en) Image coding device and image coding method
JP6453652B2 (en) Video transmission system
JP2008271039A (en) Image encoder and image decoder
JP2007067526A (en) Image processor
JP2007266750A (en) Encoding method
KR20060069227A (en) Method and apparatus for deriving motion vectors of macro blocks from motion vectors of pictures of base layer when encoding/decoding video signal
KR20050112587A (en) Video encoding and decoding apparatus, and method thereof
JP3491001B1 (en) Signal encoding method, signal decoding method, signal encoding device, signal decoding device, signal encoding program, and signal decoding program
JP5879571B2 (en) Encoding device and decoding device
JP2023542332A (en) Content-adaptive online training for cross-component prediction based on DNN with scaling factor
US8326060B2 (en) Video decoding method and video decoder based on motion-vector data and transform coefficients data
JP2009296363A (en) Motion vector search apparatus, and motion vector search method
WO2017104010A1 (en) Moving-image coding apparatus and moving-image coding method
JP2015146474A (en) Encoding device and decoding device
JP6679778B2 (en) Image coding device, image coding method and program, image decoding device, image decoding method and program

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R150 Certificate of patent or registration of utility model

Ref document number: 5879571

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250