JP2007116460A - Encoding device and method, decoding device and method, program, and recording medium - Google Patents
Encoding device and method, decoding device and method, program, and recording medium Download PDFInfo
- Publication number
- JP2007116460A JP2007116460A JP2005306094A JP2005306094A JP2007116460A JP 2007116460 A JP2007116460 A JP 2007116460A JP 2005306094 A JP2005306094 A JP 2005306094A JP 2005306094 A JP2005306094 A JP 2005306094A JP 2007116460 A JP2007116460 A JP 2007116460A
- Authority
- JP
- Japan
- Prior art keywords
- data
- region
- encoding
- decoding
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は符号化装置および方法、復号化装置および方法、プログラム、並びに記録媒体に関し、特に、画質を低下させることなく、圧縮率を高めるような符号化を行えるようにし、また、そのような符号化が行われたデータを復号化できるようにした符号化装置および方法、復号化装置および方法、プログラム、並びに記録媒体に関する。 The present invention relates to an encoding apparatus and method, a decoding apparatus and method, a program, and a recording medium, and in particular, enables encoding to increase the compression rate without degrading image quality. The present invention relates to an encoding device and method, a decoding device and method, a program, and a recording medium that enable decoding of the processed data.
従来の可逆符号化として、ウェーブレット変換を用いたJPEG（Joint Photographic Experts Group ）2000 やDPCM（Differential PCM）を基本としたJPEGLSがある。これらの符号化は、サイズ変更を可能とすることを目的とした符号化方法(JPEG2000) であったり、隣接画素間の強い相関を利用したもの(JPEGLS) であったりした。 Conventional lossless encoding includes JPEG (Joint Photographic Experts Group) 2000 using wavelet transform and JPEGLS based on DPCM (Differential PCM). These encodings were an encoding method (JPEG2000) for the purpose of changing the size, or a method using a strong correlation between adjacent pixels (JPEGLS).
符号化された画像は用途により、例えば、医療分野などで利用される画像は、劣化の少ない画像が要求される。そのような要求に応えるために、画像を伝送する際の伝送損失による劣化や、画像を圧縮して保存する際の符号化圧縮による劣化を軽減させることが求められている。このような劣化の少ない画像が必要とされるときには、可逆符号化が用いられる。（例えば、特許文献１参照）
上記したように、劣化の少ない画像が要求されるときには、符号化方式としては、可逆符号化が用いられていた。可逆符号化は、圧縮による画質の劣化を抑えることができるが、圧縮後のデータ量が、不可逆符号化などの符号化方式と比べて大きくなってしまう。 As described above, when an image with little deterioration is required, lossless encoding has been used as the encoding method. Lossless encoding can suppress degradation in image quality due to compression, but the amount of data after compression becomes larger than encoding methods such as lossy encoding.
また、一般的な画像では数フレームにわたり、撮影対象が動いている部分と静止している部分がある。画像内で動きがある部分は、時間方向に相関が高いか、または空間方向に相関が高い。画像内で静止している部分は、時間方向に相関が高い。すなわち一般的な画像では、各画素によって周辺との相関の強さが異なる。このような性質を有する画像に、上述したような符号化方式で一律に処理を施すと、圧縮率を高めることができない（効率的な圧縮が行えない）ことがあった。 Further, in a general image, there are a moving part and a stationary part over a few frames. A portion having motion in the image has a high correlation in the time direction or a high correlation in the spatial direction. A portion that is stationary in the image has a high correlation in the time direction. That is, in a general image, the intensity of correlation with the surroundings differs depending on each pixel. When an image having such properties is uniformly processed by the encoding method as described above, the compression rate may not be increased (efficient compression cannot be performed).
すなわち、既存の可逆符号化方式は、画像自体の特徴を利用した方式が少なく、圧縮率を高めづらかった。 In other words, existing lossless encoding methods have few methods using the characteristics of the image itself, and it is difficult to increase the compression rate.
本発明は、このような状況に鑑みてなされたものであり、数フレームの画像データを動いている領域と静止している領域に分離し、それぞれに対して適切な処理を施すことにより効率良く符号化や、符号化された画像の復号化を行えるようにするものである。 The present invention has been made in view of such a situation, and separates several frames of image data into a moving area and a stationary area, and performs an appropriate process on each of them, thereby efficiently. It enables encoding and decoding of an encoded image.
本発明の一側面の符号化装置は、入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類手段と、前記第１の領域を第１の符号化方式で符号化する第１の符号化手段と、前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化手段とを備える。 An encoding apparatus according to an aspect of the present invention uses a plurality of input frames, and a predetermined frame of the plurality of frames is divided into a first region where a moving object is photographed and a first region Classification means for classifying the second area other than the first area, first encoding means for encoding the first area with a first encoding system, and the second area as a first encoding system. Comprises second encoding means for encoding with different encoding schemes.
前記分類手段は、複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段と、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段とを備え、前記第２の算出手段により算出された前記残差データを所定の演算式に代入した演算結果が、所定の閾値より大きいか否かを判断することにより、前記座標における画素が、前記第１の領域に属するか、または前記第２の領域に属するかを分類するようにすることができる。 The classification means includes first calculation means for calculating integration data from pixel values at the same coordinates in a plurality of frames, and first pixel values at the same coordinates in one frame in the plurality of frames. Second calculating means for calculating residual data by subtracting the integral data calculated by the calculating means, and converting the residual data calculated by the second calculating means into a predetermined arithmetic expression. By determining whether or not the calculated calculation result is greater than a predetermined threshold, it is classified whether the pixel at the coordinate belongs to the first area or the second area. be able to.
前記第１の符号化手段は、前記フレームを構成するラインを構成する画素のうち、ラスタースキャン順で最初にスキャンされる画素であり、前記分類手段により前記第１の領域であると判断された画素を基準に設定し、その基準に設定された画素値を基準データとする第１の導出手段と、前記分類手段により前記第１の領域であると判断された画素のうち、隣接する画素の画素値の差分を演算し、差分値データとする第２の導出手段とを備え、前記基準値データと前記差分値データを符号化するようにすることができる。 The first encoding means is a pixel that is scanned first in the raster scan order among the pixels constituting the line constituting the frame, and is determined to be the first area by the classification means. A first derivation unit that sets a pixel as a reference and uses the pixel value set as the reference as reference data, and of the pixels determined to be the first region by the classification unit, Second reference means for calculating a difference between pixel values to obtain difference value data may be provided, and the reference value data and the difference value data may be encoded.
前記第２の符号化手段は、複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段と、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段とを備え、前記積分データと前記残差データを符号化するようにすることができる。 The second encoding means includes first calculation means for calculating integration data from pixel values at the same coordinates in a plurality of frames, and pixel values at the same coordinates in one frame in the plurality of frames. A second calculation unit that calculates residual data by subtracting the integral data calculated by the first calculation unit, and encodes the integral data and the residual data. Can do.
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の算出手段は、１枚目のフレームにおける積分データを算出し、２乃至Ｎ枚の各フレームにおける積分データは、前のフレームの積分データを用いて算出するようにすることができる。 When the plurality of frames are composed of 1 to N frames, the second calculation means calculates the integration data in the first frame, and the integration data in each of the 2 to N frames is: It can be calculated using the integration data of the previous frame.
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の算出手段は、１乃至Ｎ−１までの各フレームにおける残差データを算出するようにすることができる。 When the plurality of frames are composed of 1 to N frames, the second calculation means can calculate residual data in each frame from 1 to N-1.
本発明の一側面の符号化方法は、入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類ステップと、前記第１の領域を第１の符号化方式で符号化する第１の符号化ステップと、前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化ステップとを含む。 According to an encoding method of one aspect of the present invention, a plurality of input frames are used, and a predetermined frame of the plurality of frames is divided into a first region where a moving object is photographed, and a first region A classification step for classifying the second region other than the first region, a first encoding step for encoding the first region with a first encoding method, and a first encoding method for the second region. Includes a second encoding step of encoding with a different encoding scheme.
本発明の一側面におけるプログラムは、入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類ステップと、前記第１の領域を第１の符号化方式で符号化する第１の符号化ステップと、前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化ステップとを含む処理をコンピュータに実行させる。 A program according to an aspect of the present invention uses a plurality of input frames, and a predetermined frame of the plurality of frames is divided into a first area where a moving object is photographed and a region other than the first area. The classification step for classifying into the second region, the first encoding step for encoding the first region with the first encoding method, and the second region different from the first encoding method are different. And causing a computer to execute a process including a second encoding step of encoding using an encoding method.
本発明の一側面の復号化装置は、複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データを入力する入力手段と、前記入力手段により入力された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化手段と、前記入力手段により入力された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化手段とを備える。 The decoding device according to one aspect of the present invention relates to a predetermined frame of a plurality of frames, and is classified into a first region where a moving object is captured and a second region other than the first region As a result of the classification, the encoded first encoded data related to the pixel value of the pixel in the first region, and the encoded second code related to the pixel value of the pixel in the second region Decoding the first encoded data inputted by the input means and the first encoded data inputted by the input means by the first decoding method while judging the first area using the classification result The first decoding unit and the second decoding data input by the input unit are used to determine the second region by using the classification result, and the first decoding method. Second decoding means for decoding with a different second decoding method
前記分類結果は、前記複数のフレームにおける同一の座標の画素値から積分データが算出され、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記積分データが減算されることにより残差データが算出され、前記残差データが所定の演算式に代入された演算結果が、所定の閾値より大きいか否かが判断されることにより、前記座標における画素が、前記第１の領域に属するか、または前記第２の領域に属するかが分類された結果であるようにすることができる。 As the classification result, integration data is calculated from pixel values of the same coordinates in the plurality of frames, and the integration data is subtracted from the pixel values of the same coordinates in one frame in the plurality of frames. The residual data is calculated by the above, and it is determined whether or not the calculation result obtained by substituting the residual data into a predetermined arithmetic expression is greater than a predetermined threshold value. It may be the result of classification whether it belongs to a region or belongs to the second region.
前記第１の符号化データは、前記フレームを構成するラインを構成する画素のうち、ラスタースキャン順で最初にスキャンされる画素であり、前記第１の領域に分類された画素の画素値と、前記第１の領域に分類された画素のうち、隣接する画素の画素値の差分値が含まれ、前記第１の復号化方式に対応する符号化方式で符号化されたデータであるようにすることができる。 The first encoded data is a pixel that is scanned first in the raster scan order among the pixels that constitute the line that constitutes the frame, and the pixel values of the pixels classified in the first region; Among the pixels classified in the first region, a difference value of pixel values of adjacent pixels is included, and the data is encoded by an encoding method corresponding to the first decoding method. be able to.
前記第１の符号化データは、前記複数のフレームにおける同一の座標の画素値から積分データと、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記積分データが減算されることにより残差データが含まれ、前記第２の復号化方式に対応する符号化方式で符号化されたデータであるようにすることができる。 The first encoded data is obtained by subtracting the integral data from the pixel value of the same coordinate in the plurality of frames and the pixel value of the same coordinate in one frame of the plurality of frames. Thus, residual data is included, and data encoded by an encoding method corresponding to the second decoding method can be obtained.
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の符号化データには、１枚目のフレームにおける積分データが含まれるようにすることができる。 When the plurality of frames are composed of 1 to N frames, the second encoded data can include integration data in the first frame.
前記複数のフレームが１乃至Ｎ枚のフレームから構成されている場合、前記第２の符号化データには、１乃至Ｎ−１までの各フレームにおける残差データが含まれるようにすることができる。 When the plurality of frames are composed of 1 to N frames, the second encoded data can include residual data in each frame from 1 to N-1. .
本発明の一側面の復号化方法は、複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データの入力を制御する入力制御ステップと、前記入力制御ステップの処理で入力が制御された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化ステップと、前記入力制御ステップの処理で入力が制御された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化ステップとを含む。 The decoding method according to one aspect of the present invention is classified into a first area where a moving object is photographed and a second area other than the first area with respect to a predetermined frame of the plurality of frames. As a result of the classification, the encoded first encoded data related to the pixel value of the pixel in the first region, and the encoded second code related to the pixel value of the pixel in the second region An input control step for controlling the input of the encoded data, and the first encoded data whose input is controlled in the process of the input control step, using the classification result, while determining the first region, A first decoding step for decoding by one decoding method, and the second encoded data whose input is controlled by the processing of the input control step, using the classification result, While judging, a second different from the first decoding method And a second decoding step of decoding by the decoding scheme.
本発明の一側面のプログラムは、複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データの入力を制御する入力制御ステップと、前記入力制御ステップの処理で入力が制御された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化ステップと、前記入力制御ステップの処理で入力が制御された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化ステップとを含む処理をコンピュータに実行させる。 A program according to one aspect of the present invention relates to a predetermined result of a plurality of frames, and a classification result classified into a first region where a moving object is photographed and a second region other than the first region , Encoded first encoded data related to pixel values of pixels in the first region, and encoded second encoded data related to pixel values of pixels in the second region An input control step for controlling the input of the first encoded data whose input has been controlled in the processing of the input control step, using the classification result to determine the first region, A first decoding step for decoding by a decoding method and the second encoded data whose input is controlled by the processing of the input control step are used to determine a second region using the classification result. However, the second decoding method is different from the first decoding method. To execute processing including a second decoding step of decoding by the decoding method in the computer.
本発明の一側面の記録媒体は、上記したプログラムを記録している。 A recording medium according to one aspect of the present invention records the above-described program.
本発明の一側面における符号化装置および方法、並びにプログラムにおいては、フレーム内で、物体が動いている動き領域と静止している静止領域とが判断され、その判断に基づき、動き領域と静止領域が、それぞれ異なる符号化方式で符号化される。 In the encoding apparatus, method, and program according to one aspect of the present invention, a motion region where an object is moving and a stationary region where an object is moving are determined in a frame, and the motion region and the stationary region are determined based on the determination. Are encoded by different encoding methods.
本発明の一側面における復号化装置および方法、並びにプログラムにおいては、フレーム内で、物体が動いている動き領域と静止している静止領域とが判断された結果が用いられて、動き領域が判断され、動き領域に関して符号化されたデータが復号化されるとともに、静止領域が判断され、静止領域に関して符号化されたデータが復号化される。 In the decoding apparatus and method and the program according to one aspect of the present invention, the motion region is determined by using the result of determining the motion region where the object is moving and the still region where the object is moving in the frame. Then, the data encoded with respect to the motion region is decoded, the still region is determined, and the data encoded with respect to the still region is decoded.
本発明の一側面によれば、効率良い符号化を行うことができる。 According to one aspect of the present invention, efficient encoding can be performed.
本発明の一側面によれば、画像の特徴に応じた符号化を行うことができる。また、そのように符号化されたデータを復号化することができる。 According to one aspect of the present invention, encoding according to image characteristics can be performed. In addition, the data encoded as such can be decoded.
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements of the present invention and the embodiments described in the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment which is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.
本発明の一側面の符号化装置（例えば、図２の符号化装置５０）は、入力された複数のフレームを用い、前記複数のフレームのうちの所定のフレームを、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類する分類手段（例えば、図２の判定テーブル導出部５２）と、前記第１の領域を第１の符号化方式で符号化する第１の符号化手段（例えば、図２の動き領域処理部５５）と、前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化手段（例えば、図２の静止領域処理部５４）とを備える。
An encoding apparatus according to an aspect of the present invention (for example, the
前記分類手段（例えば、図３の判定テーブル導出部５２）は、複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段（例えば、図３の積分データ導出部７１）と、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段（例えば、図３の残差導出部７２）とを備え、前記第２の算出手段により算出された前記残差データを所定の演算式に代入した演算結果が、所定の閾値より大きいか否かを判断することにより、前記座標における画素が、前記第１の領域に属するか、または前記第２の領域に属するかを分類する（例えば、図３の静止領域・動き領域判定部７３）ようにすることができる。
The classification unit (for example, the determination
前記第１の符号化手段（例えば、図６の動き領域処理部５５）は、前記フレームを構成するラインを構成する画素のうち、ラスタースキャン順で最初にスキャンされる画素であり、前記分類手段により前記第１の領域であると判断された画素を基準に設定し、その基準に設定された画素値を基準データとする第１の導出手段（例えば、図６の基準値導出部１３２）と、前記分類手段により前記第１の領域であると判断された画素のうち、隣接する画素の画素値の差分を演算し、差分値データとする第２の導出手段（例えば、図６の差分値導出部１３３）とを備え、前記基準値データと前記差分値データを符号化する（例えば、図６のエントロピー符号化処理部１３４）ようにすることができる。
The first encoding means (for example, the motion
前記第２の符号化手段（例えば、図５の静止領域処理部５４）は、複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段（例えば、図５の積分データ導出部１１２）と、前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段（例えば、図５の残差導出部１１３）とを備え、前記積分データと前記残差データを符号化する（例えば、図５のエントロピー符号化処理部１１４）ようにすることができる。
The second encoding unit (for example, the still
本発明の一側面の復号化装置（例えば、図１７の復号化装置２１０）は、複数のフレームのうちの所定のフレームに関し、動きがある物体が撮影された第１の領域と、第１の領域以外の第２の領域に分類された分類結果（例えば、符号化判定テーブルデータ）、前記第１の領域内の画素の画素値に係わる符号化された第１の符号化データ（例えば、符号化動き領域画像データ）、および、前記第２の領域内の画素の画素値に係わる符号化された第２の符号化データ（例えば、符号化静止領域画像データ）を入力する入力手段（例えば、図１７の入力部２１１）と、前記入力手段により入力された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化手段（例えば、図１７の動き領域復号化部２１５）と、前記入力手段により入力された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化手段（例えば、図１７の静止領域復号化部２１４）とを備える。
The decoding device according to one aspect of the present invention (for example, the
以下に、本発明の実施の形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
本実施の形態は、符号化および復号化に関する。まず先に、本発明における符号化方式の概念について、図１を参照して説明する。 The present embodiment relates to encoding and decoding. First, the concept of the encoding method in the present invention will be described with reference to FIG.
図１Ａは、カメラ１１において物体１２が撮影される様子を示した図である。物体１２は、所定の方向（図１Ａにおいては、図中左方向（矢印方向））に移動している。そのような所定の方向に移動している物体１２をカメラ１１により撮影した場合、図１Ｂに示したような画像が取得（撮影）される。
FIG. 1A is a diagram illustrating a state in which an
図１Ｂに示した画像は、カメラ１１は固定され、物体１２の移動方向に移動されることはない（物体１２に追従してカメラ１１が移動し、撮影することはない））状態で撮影された画像である。図１Ｂに示した例では、画像２１−１乃至２１−１０が撮影された状態を示している。物体２１は、撮影されたタイミングにより、画像内の異なる位置に位置している。このように連続して撮影された複数の画像の内の１枚を抽出すると、図１Ｃのようになっている。
The image shown in FIG. 1B is taken in a state in which the camera 11 is fixed and is not moved in the moving direction of the object 12 (the camera 11 moves following the
図１Ｃにおいては、画像２１−１を抽出した例を示している。画像２１−１は、動き領域３１と静止領域３２とから構成されている。動き領域３１は、物体１２が撮影されている領域であり、静止領域３２は、物体１２が撮影されている以外の部分（背景部分）である。このように、動き領域３１は、複数の画像間を見たときに、動きのある物体（被写体）が写っている領域であり、静止領域３２は、動きのある部分以外（複数の画像間で、同一の画像が撮影されている部分）の領域である。
FIG. 1C shows an example in which the image 21-1 is extracted. The image 21-1 is composed of a
図１Ｂに示したように、動画像は、複数の静止画像から構成されている。そして動画像を構成する静止画像の１枚に注目すると、図１Ｃに示したように、動き領域３１と静止領域３２に分解することができる。
As shown in FIG. 1B, the moving image is composed of a plurality of still images. When attention is paid to one of the still images constituting the moving image, the moving
以下に説明する符号化方式は、このように、動画像を構成する１枚の静止画像（フレーム）を、動き領域３１と静止領域３２に分解し、それぞれの領域の画像を、それぞれ符号化することにより、１枚の静止画像を符号化し、このような符号化を静止画像毎に繰り返すことにより、動画像を符号化する。そして復号化は、それぞれ符号化されている動き領域３１と静止領域３２を、それぞれ復号化し、復号化されたそれぞれの領域の画像を合成することにより１枚の静止画像を復号化し、このような復号化を静止画像毎に繰り返すことにより、動画像を復号化する。
In the encoding method described below, one still image (frame) constituting a moving image is decomposed into a
このような符号化を行う符号化装置の構成と動作、復号化を行う復号化装置の構成と動作について以下に説明する。 The configuration and operation of an encoding apparatus that performs such encoding and the configuration and operation of a decoding apparatus that performs decoding will be described below.
［符号化装置の構成と動作について］
図２は、本発明を適用した符号化装置の一実施の形態の構成を示す図である。符号化装置５０は、入力部５１、判定テーブル導出部５２、判定テーブル処理部５３、静止領域処理部５４、動き領域処理部５５、および、出力部５６を含む構成とされている。
[Configuration and operation of encoding apparatus]
FIG. 2 is a diagram showing a configuration of an embodiment of an encoding apparatus to which the present invention is applied. The
入力部５１には、例えば、カメラ１１（図１Ａ）により撮影された画像の画像データが入力される。図１Ｂに示したように、入力部５１に入力される画像データは、動画像を構成するフレームであり、フレームのデータが連続的に入力部５１に入力されるとして説明を続ける。以下、適宜、フレームと記述するが、フレームとの記載は、そのフレームの画像データであるとの意味も含むとする。
For example, image data of an image captured by the camera 11 (FIG. 1A) is input to the
入力部５１に供給された１フレームを構成する画像データは、判定テーブル導出部５２、静止領域処理部５４、及び、動き領域処理部５５に供給される。判定テーブル導出部５２は、供給された画像データに基づくフレームを、動き領域３１と静止領域３２に分類し、判定テーブルを作成する。作成された判定テーブルは、判定テーブル処理部５３、静止領域処理部５４、および動き領域処理部５５に供給される。
The image data constituting one frame supplied to the
判定テーブル処理部５３は、供給された判定テーブルを所定の方式で符号化する。符号化された判定テーブルは、出力部５６に供給される。以下、判定テーブル処理部５３から出力されるデータを、符号化判定テーブルデータと記述する。
The determination
静止領域処理部５４は、判定テーブル導出部５２から供給される判定テーブルを参照し、入力部５１から供給される画像内の静止領域３２を判定する。そして、静止領域３２と判定される領域内の画像を所定の符号化方式で符号化し、出力部５６に供給する。以下、静止領域処理部５４から出力されるデータを、符号化静止領域画像データと記述する。
The still
動き領域処理部５５は、判定テーブル導出部５２から供給される判定テーブルを参照し、入力部５１から供給される画像内の動き領域３１を判定する。そして、動き領域３１と判定される領域内の画像を所定の符号化方式で符号化し、出力部５６に供給する。以下、動き領域処理部５５から出力されるデータを、符号化動き領域画像データと記述する。
The motion
出力部５６は、判定テーブル処理部５３から供給された符号化判定テーブルデータ、静止領域処理部５４から供給された符号化静止領域画像データ、および、動き領域処理部５５から供給された符号化動き領域画像データを、図示されていない復号化装置に出力（送信）する。
The
次に、符号化装置５０を構成する各部の詳細な構成について説明する。図３は、判定テーブル導出部５２の内部構成例を示す図である。判定テーブル導出部５２は、積分データ導出部７１、残差導出部７２、静止領域・動き領域判定部７３、および判定テーブル導出部７４から構成されている。
Next, a detailed configuration of each unit configuring the
入力部５１（図２）を介して入力された画像は、判定テーブル導出部５２の積分データ導出部７１と残差導出部７２に供給される。積分データ導出部７１は、供給されたフレーム内の所定の画素値における積分データ（式などを参照し、後述する）を算出する。算出された積分データは、残差導出部７２に供給される。
The image input via the input unit 51 (FIG. 2) is supplied to the integral
残差導出部７２は、積分データ導出部７１から供給された積分データと、入力部５１から供給されたフレームとから、残差（式などを参照し、後述する）を算出する。算出された残差は、静止領域・動き領域判定部７３に供給される。静止領域・動き領域判定部７３は、供給された残差を用いて、動き領域３１と静止領域３２を判定する。その判定結果は、判定テーブル導出部７４に供給される。
The
判定テーブル導出部７４は、画素毎に、動き領域３１であるか、静止領域３２であるかを示すフラグを割り当て、１フレームにおける動き領域３１と静止領域３２の分布に関する判定テーブルを作成し、判定テーブル処理部５３、静止領域処理部５４、および動き領域処理部５５に出力する。
The determination
図４は、判定テーブル処理部９１の内部構成例を示す図である。判定テーブル処理部９１は、エントロピー符号化部９１を含む構成とされている。判定テーブル導出部５２からの判定テーブルは、判定テーブル処理部５３のエントロピー符号化部９１に供給される。エントロピー符号化部９１は、供給された判定テーブルを、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化判定テーブルデータを生成する。生成された符号化判定テーブルデータは、出力部５６（図２）に供給される。
FIG. 4 is a diagram illustrating an internal configuration example of the determination
図５は、静止領域処理部５４の内部構成例を示す図である。静止領域処理部５４は、静止領域選択部１１１、積分データ導出部１１２、残差導出部１１３、および、エントロピー符号化処理部１１４から構成されている。
FIG. 5 is a diagram illustrating an internal configuration example of the still
判定テーブル導出部５２からの判定テーブルは、静止領域処理部５４の静止領域選択部１１１に供給される。静止領域選択部１１１は、供給された判定テーブルから、静止領域３２を判定し、その情報（処理対象とする画素の情報（座標））を、積分データ導出部１１２と残差導出部１１３に供給する。
The determination table from the determination
積分データ導出部１１２には、入力部５１からフレームも供給される。積分データ導出部１１２は、処理対象とされた画素の積分データ（式を参照し、後述する）を算出し、残差導出部１１３とエントロピー符号化処理部１１４に供給する。残差導出部１１３には、入力部５１からフレームも供給される。残差導出部１１３は、処理対象とされた画素の残差データ（式を参照し、後述する）を算出し、エントロピー符号化処理部１１４に供給する。
The integrated
エントロピー符号化処理部１１４は、積分データ導出部１１２からの積分データと残差導出部１１３からの残差データを、それぞれ、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化静止領域画像データを生成する。生成された符号化静止領域画像データは、出力部５６（図２）に供給される。
The entropy
図６は、動き領域処理部５５の内部構成例を示す図である。動き領域処理部５５は、動き領域選択部１３１、基準値導出部１３２、差分値導出部１３３、および、エントロピー符号化処理部１３４から構成されている。
FIG. 6 is a diagram illustrating an internal configuration example of the motion
判定テーブル導出部５２からの判定テーブルは、動き領域処理部５５の動き領域選択部１３１に供給される。動き領域選択部１３１は、供給された判定テーブルから、動き領域３１を判定し、その情報（処理対象とする画素の情報（座標））を、基準値導出部１３２と差分値導出部１３３に供給する。
The determination table from the determination
基準値導出部１３２は、処理対象とされた画素の基準値を求める。詳細は後述するが、基準値とは、差分導出部１３３が差分を開始する画素の画素値である。基準値導出部１３２により導出された、基準値は、差分値導出部１３３とエントロピー符号化処理部１３４に供給される。差分値導出部１３３には、入力部５１からフレームも供給される。差分値導出部１３３は、処理対象とされた画素の差分値データ（式を参照し、後述する）を算出し、エントロピー符号化処理部１３４に供給する。
The reference
エントロピー符号化処理部１３４は、基準値データ導出部１３２からの基準値データと差分値導出部１３３からの差分値データを、それぞれ、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化動き領域画像データを生成する。生成された符号化動き領域画像データは、出力部５６（図２）に供給される。
The entropy
出力部５６（図２）には、判定テーブル処理部５３から符号化判定テーブルデータ、静止領域処理部５４から符号化静止領域画像データ、および、動き領域処理部５５から符号化動き領域画像データが供給される。すなわち、図７に示すように、入力部５１に入力された元データ１５１は、符号化装置５０により、符号化判定テーブルデータ１６１、符号化静止領域画像データ１６２、および、符号化動き領域画像データ１６３に符号化される。
The output unit 56 (FIG. 2) receives the encoded determination table data from the determination
このような符号化を行う符号化装置５０（図２）の動作について、図８乃至図１１のフローチャートを参照して説明する。 The operation of the encoding device 50 (FIG. 2) that performs such encoding will be described with reference to the flowcharts of FIGS.
ステップＳ１１（図８）において、ｍフレーム分のデータが蓄積される。例えば、図２の符号化装置５０において、入力部５１の後段に、蓄積分を設け、その蓄積分にｍフレーム分の画像データが蓄積されるようにしても良い。ここでは、１０フレーム分（ｍ＝１０）の画像データが蓄積されるとして説明を続ける。
In step S11 (FIG. 8), data for m frames is accumulated. For example, in the
ステップＳ１１において、１０フレーム分の画像データが蓄積されると、ステップＳ１２において、判定テーブル導出部５２と判定テーブル処理部５３により、判定テーブル作成と、作成された判定テーブルの符号化の処理が実行される。ステップＳ１２において実行される判定テーブル作成、符号化処理について、図９のフローチャートを参照して説明する。
In step S11, when image data for 10 frames is accumulated, in step S12, the determination
ステップＳ３１において、判定テーブル導出部５２の積分データ導出部７１（図３）は、積分データを導出する。積分データ導出部７１には、１０フレーム分の画像データが供給される。積分データは、以下の式（１）に基づき算出される。
In step S31, the integral data deriving unit 71 (FIG. 3) of the determination
式（１）において、Ｉｔｇｗ（ｘ，ｙ）は、ｎフレーム目の座標（ｘ，ｙ）における積分データを示し、ｗの添え字は、何フレーム目の積分データであるかを示す数値である。例えば、Ｉｔｇｗ1（ｘ，ｙ）は、１フレーム目の座標（ｘ，ｙ）における積分データであることを示す。また、式（１）において、Ｌfr（ｘ，ｙ）は、ｎフレーム目の座標（ｘ，ｙ）における画素値を示し、ｆｒの添え字は、何フレーム目の画素値であるかを示す数値である。例えば、Ｌfr1（ｘ，ｙ）は、１フレーム目の座標（ｘ，ｙ）における画素値であることを示す。 In Expression (1), Itgw (x, y) indicates the integral data at the coordinates (x, y) of the nth frame, and the subscript of w is a numerical value indicating the frame of the integral data. . For example, Itgw 1 (x, y) indicates integration data at the coordinates (x, y) of the first frame. In Expression (1), L fr (x, y) indicates the pixel value at the coordinate (x, y) of the nth frame, and the subscript of fr indicates the frame of the pixel value. It is a numerical value. For example, L fr1 (x, y) indicates a pixel value at the coordinates (x, y) of the first frame.
式（１）において、２9，２8，２7，・・・，２0（＝１）などは、係数である。係数は、このように、所定の底を複数回累乗した値である。この底は、“２”ではなく、“３”などの他の数値でも良いし、指数は、９，８，７，・・・，０といった減算される数値でなくても良い。 In equation (1), 2 9 , 2 8 , 2 7 ,..., 2 0 (= 1) are coefficients. As described above, the coefficient is a value obtained by multiplying a predetermined base multiple times. This base may be other numerical values such as “3” instead of “2”, and the index may not be a subtracted numerical value such as 9, 8, 7,.
ステップＳ３１において算出される積分データは、式（１）に基づいて算出される。すなわち、１フレーム目の座標（ｘ，ｙ）における積分データＩｔｇｗ1（ｘ，ｙ）は、
１フレーム目の座標（ｘ，ｙ）における画素値に２9を乗算した２9Ｌfr1（ｘ，ｙ）、
２フレーム目の座標（ｘ，ｙ）における画素値に２8を乗算した２8Ｌfr2（ｘ，ｙ）、
３フレーム目の座標（ｘ，ｙ）における画素値に２7を乗算した２7Ｌfr3（ｘ，ｙ）、
４フレーム目の座標（ｘ，ｙ）における画素値に２6を乗算した２6Ｌfr4（ｘ，ｙ）、
５フレーム目の座標（ｘ，ｙ）における画素値に２5を乗算した２5Ｌfr5（ｘ，ｙ）、
６フレーム目の座標（ｘ，ｙ）における画素値に２4を乗算した２4Ｌfr6（ｘ，ｙ）、
７フレーム目の座標（ｘ，ｙ）における画素値に２3を乗算した２3Ｌfr7（ｘ，ｙ）、
８フレーム目の座標（ｘ，ｙ）における画素値に２2を乗算した２2Ｌfr8（ｘ，ｙ）、
９フレーム目の座標（ｘ，ｙ）における画素値に２1を乗算した２1Ｌfr9（ｘ，ｙ）、
および、１０フレーム目の座標（ｘ，ｙ）における画素値に２0（＝１）を乗算したＬfr10（ｘ，ｙ）
を加算した値とされる。
The integral data calculated in step S31 is calculated based on Expression (1). That is, the integral data Itgw 1 (x, y) at the coordinates (x, y) of the first frame is
First frame coordinates (x, y) 2 9 multiplied by 2 9 to the pixel values in the L fr1 (x, y),
Second frame coordinates (x, y) 2 8 multiplied by 2 8 to the pixel values in the L fr2 (x, y),
Third frame coordinates (x, y) 2 7 multiplied by 2 7 to the pixel value in the L fr3 (x, y),
Fourth frame coordinates (x, y) 2 6 multiplied by 2 6 in the pixel values in the L fr4 (x, y),
5 th frame coordinates (x, y) multiplied by 2 5 to the pixel value in the 2 5 L fr5 (x, y),
6 th frame coordinates (x, y) 2 4 L multiplied by 2 4 to the pixel value at fr6 (x, y),
7 th frame coordinates (x, y) multiplied by 2 3 to the pixel value in the 2 3 L FR7 (x, y),
8 th frame coordinates (x, y) 2 2 multiplied by 2 2 pixel values in the L fr8 (x, y),
9 th frame coordinates (x, y) 2 1 L multiplied by 2 1 to the pixel value at fr9 (x, y),
L fr10 (x, y) obtained by multiplying the pixel value at the coordinate (x, y) of the 10th frame by 2 0 (= 1)
It is a value obtained by adding.
このように積分データ導出部７１は、所定のフレーム（処理対象となっているフレーム（例えば、図１２のフレーム２１−１））の所定の座標の画素値（処理対象となっている画素の値（例えば、図１２のフレーム２１−１の座標（ｘ，ｙ）における画素値）における積分データを、ｍフレーム分の同一の座標の画素値（例えば、図１２のフレーム２１−１乃至２１−１０のそれぞれのフレームにおける座標（ｘ，ｙ））から導出する。
As described above, the integral
ステップＳ３２において、判定テーブル導出部５２の残差導出部７２（図３）は、残差データを算出する。残差データは、次式（２）に基づき算出される。
In step S32, the residual deriving unit 72 (FIG. 3) of the determination
式（２）において、Ｄｉｆｆfr（ｘ，ｙ）は、ｎフレーム目の座標（ｘ，ｙ）における残差データであり、ｆｒの添え字は、何フレーム目の残差であるかを示す。例えば、Ｄｉｆｆfr1（ｘ，ｙ）は、１フレーム目の座標（ｘ，ｙ）における残差データであることを示す。また、式（２）において“１０２３”との数値は、以下の数式の演算結果である。
１０２３＝２9＋２8＋２7＋２6＋２5＋２4＋２3＋２2＋２1＋２0
すなわち、“１０２３”は、式（１）における係数を全て加算した値である。勿論、“２”以外の底の係数を式（１）において用いた場合、この“１０２３”という係数も、式（１）の係数に合った係数に変えられる。
In Expression (2), Diff fr (x, y) is residual data at the coordinates (x, y) of the nth frame, and the subscript of fr indicates the frame of the residual. For example, Diff fr1 (x, y) indicates residual data at the coordinates (x, y) of the first frame. The numerical value “1023” in Expression (2) is the calculation result of the following expression.
1023 = 2 9 +2 8 +2 7 +2 6 +2 5 +2 4 +2 3 +2 2 +2 1 +2 0
That is, “1023” is a value obtained by adding all the coefficients in Expression (1). Of course, when a base coefficient other than “2” is used in the equation (1), the coefficient “1023” is also changed to a coefficient that matches the coefficient of the equation (1).
式（２）を参照するに、１フレーム目の残差データＤｉｆｆfr1（ｘ，ｙ）は、１フレーム目の画素値Ｌfr1（ｘ，ｙ）から、１フレーム目の積分データＩｔｇｗ1（ｘ，ｙ）を１０２３で除算した値を減算した値とされる。積分データＩｔｇｗ1（ｘ，ｙ）は、式（１）で算出される値が用いられる。 Referring to equation (2), the residual data Diff fr1 (x, y) of the first frame is calculated from the pixel value L fr1 (x, y) of the first frame as the integral data Itgw 1 (x , Y) is a value obtained by subtracting the value obtained by dividing by 1023. As the integration data Itgw 1 (x, y), the value calculated by the equation (1) is used.
このように、所定のフレームの所定の座標における残差は、その座標における画素値から積分データ（積分データに所定の係数を除算した値）を減算することにより算出される。 Thus, the residual at a predetermined coordinate in a predetermined frame is calculated by subtracting integral data (a value obtained by dividing the integral data by a predetermined coefficient) from the pixel value at that coordinate.
このように、式（１）や式（２）において、係数や係数を加算した値を用いた演算を行うのは、処理対象となっているフレーム（画素値）に依存した結果が得られるようにするためである。例えば、式（１）は、１フレーム目の積分データを求める式であるが、その１フレーム目の画素値Ｌfr1（ｘ，ｙ）に乗算する係数は、他のフレームの画素値（例えば、２フレーム目の画素値Ｌfr2（ｘ，ｙ））に乗算する係数よりも大きな係数とされるので、１フレーム目の画素値が、他のフレームの画素値よりも積分データに大きく影響を及ぼすような演算が行われることになる。 As described above, in the expressions (1) and (2), the calculation using the coefficient and the value obtained by adding the coefficients seems to obtain a result depending on the frame (pixel value) to be processed. It is to make it. For example, the expression (1) is an expression for obtaining the integration data of the first frame, and the coefficient to be multiplied by the pixel value L fr1 (x, y) of the first frame is a pixel value (for example, Since the coefficient is larger than the coefficient multiplied by the pixel value L fr2 (x, y)) of the second frame, the pixel value of the first frame has a greater influence on the integrated data than the pixel values of other frames. Such an operation is performed.
このように、処理対象とされているフレームの影響が大きくなるように、積分データや残差データを求めることにより（係数に偏りを持たせることにより）、後段の符号化を効率良く行う（圧縮率を高める）ことが可能となる。 In this way, by calculating the integral data and residual data (by giving bias to the coefficients) so that the influence of the frame to be processed becomes large, subsequent encoding is efficiently performed (compression). Increase the rate).
上記した説明においては、１フレーム目の積分データや残差データが求められる例を挙げて説明した。以下に、２フレーム目の積分データを求める際の式（３）を示す。 In the above description, an example in which integral data and residual data of the first frame are obtained has been described. Equation (3) for obtaining integration data for the second frame is shown below.
式（３）に示すように、２フレーム目の座標（ｘ，ｙ）における積分データは、２フレーム目の座標（ｘ，ｙ）における画素値に２8を乗算した２8Ｌfr2（ｘ，ｙ）から、１０フレーム目の座標（ｘ，ｙ）における画素値に２0を乗算したＬfr10（ｘ，ｙ）までを加算した値である。この式（３）の上式と、式（１）を比較するに、式（３）の上式は、式（１）から１フレーム目の座標（ｘ，ｙ）における画素値に２9を乗算した２9Ｌfr1（ｘ，ｙ）が加算されていない式であることがわかる。 As shown in equation (3), the second frame of the coordinate (x, y) integral data in the second frame of the coordinate (x, y) 2 8 multiplied by 2 8 to the pixel values in the L fr2 (x, This is a value obtained by adding up to L fr10 (x, y) obtained by multiplying the pixel value at the coordinate (x, y) of the 10th frame by 2 0 from y). When comparing the above expression (3) with the expression (1), the above expression (3) indicates that the pixel value at the coordinates (x, y) of the first frame from the expression (1) is 2 9 . It can be seen that the multiplied 2 9 L fr1 (x, y) is not added.
換言すれば、式（３）の下式に示したように、１フレーム目の座標（ｘ，ｙ）における積分データＩｔｇｗ1（ｘ，ｙ）から、１フレーム目に係わる値２9Ｌfr1（ｘ，ｙ）を減算することにより、２フレーム目の積分データを求めることができる。 In other words, as shown in the following equation (3), from the integration data Itgw 1 (x, y) at the coordinates (x, y) of the first frame, the value 2 9 L fr1 ( By subtracting x, y), the integration data of the second frame can be obtained.
このように、２フレーム目の積分データは、１フレーム目の積分データを用いて算出することができる。 Thus, the integration data of the second frame can be calculated using the integration data of the first frame.
３フレーム目の積分データは、次式（４）により求められる。 The integration data of the third frame is obtained by the following equation (4).
式（４）に示したように３フレーム目の積分データは、２フレーム目の積分データＩｔｇｗ2（ｘ，ｙ）から、２フレーム目に係わる画素値２8Ｌfr2（ｘ，ｙ）を減算することにより求めることができる。さらに、３フレーム目の積分データは、１フレーム目の積分データＩｔｇｗ1（ｘ，ｙ）から、１フレーム目に係わる画素値２9Ｌfr1（ｘ，ｙ）と２フレーム目に係わる画素値２8Ｌfr2（ｘ，ｙ）を減算することによっても求めることができる。 As shown in Expression (4), the integration data of the third frame is obtained by subtracting the pixel value 2 8 L fr2 (x, y) related to the second frame from the integration data Itgw 2 (x, y) of the second frame. Can be obtained. Further, the integration data of the third frame is obtained from the integration data Itgw 1 (x, y) of the first frame and the pixel value 2 9 L fr1 (x, y) of the first frame and the pixel value of 2 of the second frame. It can also be obtained by subtracting 8 L fr2 (x, y).
このように、２フレーム以降の積分データは、それ以前の積分データ（例えば、１フレーム目の積分データ）を用いて算出することが可能である。 As described above, the integration data after the second frame can be calculated using the previous integration data (for example, the integration data of the first frame).
同様に、残差データも、処理対象とされるフレームより以前のフレームの残差データを算出する際に用いられたデータ（積分データ）を用いて算出することができる。例えば、図１３を参照して説明するに、２フレーム目の座標（ｘ，ｙ）における残差データは、次式（５）に基づいて算出される。 Similarly, residual data can also be calculated using data (integrated data) used when calculating residual data of a frame prior to the frame to be processed. For example, as will be described with reference to FIG. 13, the residual data at the coordinates (x, y) of the second frame is calculated based on the following equation (5).
式（５）に示すように、２フレーム目の残差データは、２フレーム目の画素値Ｌfr2（ｘ，ｙ）から、２フレーム目の積分データＩｔｇｗ2（ｘ，ｙ）に（１／５１１）を乗算した値を除算した値とされる。“５１１”は、２8から２0までを加算した値である。 As shown in the equation (5), the residual data of the second frame is changed from the pixel value L fr2 (x, y) of the second frame to the integral data Itgw 2 (x, y) of the second frame (1 / 511) is obtained by dividing the value obtained by multiplication. “511” is a value obtained by adding 2 8 to 2 0 .
９フレーム目の残差データは、図１３に示したように、２フレーム目の画素値Ｌfr2（ｘ，ｙ）から、９フレーム目の積分データＩｔｇｗ9（ｘ，ｙ）に（１／３）を乗算した値を除算した値とされる。“３”は、２1と２0を加算した値である。 As shown in FIG. 13, the residual data of the ninth frame is (1/3) from the pixel value L fr2 (x, y) of the second frame to the integration data Itgw 9 (x, y) of the ninth frame. ) Is a value obtained by dividing the value multiplied by. “3” is a value obtained by adding 2 1 and 2 0 .
このように、残差データも既に算出されている積分データおよび積分データを算出するのに用いた画素値を用いて算出することができる。 Thus, the residual data can also be calculated using the integration data that has already been calculated and the pixel values used to calculate the integration data.
よって、２フレーム目以降の積分データや残差データは、１フレーム目の積分データや残差データを算出する際に用いた値や、算出された値を用いることにより、効率良く（演算量を増大させることなく）算出することが可能となる。 Therefore, the integration data and residual data for the second and subsequent frames can be efficiently used (the calculation amount can be reduced by using the values used when calculating the integration data and residual data of the first frame. (Without increase).
また、残差データＤｉｆｆfr（ｘ，ｙ）は、式（２）、式（５）、図１３に示した式を参照すればわかるように、後に処理される残差データは、更新された積分データに、自己の値を多く含むようになるので、残差として０となる可能性が高くなる。残差データが“０”となることにより、後段の符号化において、圧縮されやすいデータとなる（圧縮率が高いデータとなる）。 Further, the residual data Diff fr (x, y) is updated as the residual data to be processed later is updated, as can be seen by referring to the equations (2), (5), and FIG. Since the integrated data includes many self values, there is a high possibility that the residual becomes zero. When the residual data is “0”, the data is easily compressed in the subsequent encoding (the data has a high compression rate).
図９のフローチャートの説明に戻り、ステップＳ３１において積分データが、ステップＳ３２において残差データが、それぞれ算出されると、ステップＳ３３において、静止領域３２（図１）内の画素であるか否かが判定される。換言すれば、動き領域３１内の画素であるか否かが判定される。
Returning to the description of the flowchart of FIG. 9, when the integration data is calculated in step S31 and the residual data is calculated in step S32, whether or not the pixel is in the still region 32 (FIG. 1) is determined in step S33. Determined. In other words, it is determined whether or not the pixel is in the
ステップＳ３３における静止領域内の画素であるか否かの判定は、次式（６）に基づく値が算出され、その値が所定の閾値より小さいか否かが判断されることにより行われる。 Whether or not the pixel is in the still region in step S33 is determined by calculating a value based on the following equation (6) and determining whether or not the value is smaller than a predetermined threshold.
式（６）において、Ｖａｒ（ｘ，ｙ）は、座標（ｘ，ｙ）における判定値を示す。式（６）は、分子が１フレーム目の差分データから９フレーム目の差分データをそれぞれ２乗し、加算した値であり、分母がフレーム数から１除算した値（この場合、１０−１＝９）である。この式（６）に基づき算出される判定値Ｖａｒ（ｘ，ｙ）が、以下の条件１を満たすとき、静止領域３２内の画素であると判定される。
条件１
判定値Ｖａｒ（ｘ，ｙ）≦閾値ｔｈsm
In Expression (6), Var (x, y) indicates a determination value at coordinates (x, y). Equation (6) is a value obtained by squaring and adding the difference data of the ninth frame to the difference data of the ninth frame, and the denominator dividing the number of frames by 1 (in this case, 10-1 = 9). When the determination value Var (x, y) calculated based on the equation (6) satisfies the
Determination value Var (x, y) ≦ threshold th sm
すなわち、判定値Ｖａｒ（ｘ，ｙ）が、閾値ｔｈsmよりも小さい値のとき、処理対象とされている座標（ｘ，ｙ）における座標は、静止領域内の画素であると判定される。このことは、以下の条件２を満たすときには、その画素は、動き領域３１内の画素であると判定できることと同一の意味である。
条件２
判定値Ｖａｒ（ｘ，ｙ）＞閾値ｔｈsm
That is, when the determination value Var (x, y) is a value smaller than the threshold th sm , it is determined that the coordinate at the coordinate (x, y) that is the processing target is a pixel in the still region. This means that when the
Determination value Var (x, y)> threshold value th sm
すなわち、判定値Ｖａｒ（ｘ，ｙ）が、閾値ｔｈsmよりも大きい値のとき、処理対象とされている座標（ｘ，ｙ）における画素は、動き領域内の画素であると判定される。 That is, when the determination value Var (x, y) is larger than the threshold th sm , the pixel at the coordinate (x, y) that is the processing target is determined to be a pixel in the motion region.
ステップＳ３３（図９）において判定テーブル導出部５２（図２）は、式（６）に基づく判定値を算出し、その判定値が所定の閾値以下であるか否かを判断することにより、処理対象とされている画素が、静止領域内の画素であるか否か（動き領域内の画素であるか否か）を判定する。 In step S33 (FIG. 9), the determination table deriving unit 52 (FIG. 2) calculates a determination value based on the equation (6), and determines whether or not the determination value is equal to or less than a predetermined threshold value. It is determined whether or not the target pixel is a pixel in the still region (whether or not it is a pixel in the motion region).
ステップＳ３４において、ステップＳ３３における判定結果が、判定テーブルに反映される。例えば、処理対象とされている座標（ｘ，ｙ）の画素が、静止領域内の画素であると判定された場合“０”に、動き領域内の画素であると判定された場合“１”に、それぞれ設定されるようにする。 In step S34, the determination result in step S33 is reflected in the determination table. For example, when it is determined that the pixel at the coordinate (x, y) to be processed is a pixel in the still region, it is “0”, and when it is determined that it is a pixel in the motion region, “1”. To be set respectively.
このようにした場合、例えば、図１４Ｂに示したような判定テーブルが作成される。図１４Ａは、フレーム内の所定の領域を示した図であり、白丸が静止領域内の画素であると判定された（判定される）画素を示し、黒丸が動き領域内の画素であると判定された（判定される）画素を示す。このような判定がなされた（判定がなされる）とき、上記したように、静止領域内の画素に“０”を割り当て、動き領域内の画素に“１”を割り当てるようすると、図１４Ｂに示したような判定テーブルが作成される。 In this case, for example, a determination table as shown in FIG. 14B is created. FIG. 14A is a diagram illustrating a predetermined area in a frame, in which a white circle indicates a pixel determined (determined) as a pixel in a still area, and a black circle is determined as a pixel in a motion area Indicates the determined (determined) pixel. When such a determination is made (determination is made), as described above, “0” is assigned to the pixel in the still region and “1” is assigned to the pixel in the motion region, as shown in FIG. 14B. Such a determination table is created.
ステップＳ３４においては、ステップＳ３３における判定結果を、判定テーブル内の対応する座標（ｘ，ｙ）に書き込むことにより、判定結果を判定テーブルに反映させるための処理が行われる。このような処理が１フレーム分行われたか否かが、ステップＳ３５において判断される。 In step S34, a process for reflecting the determination result in the determination table is performed by writing the determination result in step S33 to the corresponding coordinates (x, y) in the determination table. In step S35, it is determined whether or not such processing has been performed for one frame.
ステップＳ３５において、１フレーム分の処理は終了していないと判断された場合、換言すれば、処理対象とされたフレームの判定テーブルはまだ作成途中であると判断された場合、ステップＳ３１に処理が戻され、次の画素に対してステップＳ３１以降の処理が繰り返される。 If it is determined in step S35 that the processing for one frame has not been completed, in other words, if it is determined that the determination table for the frame to be processed is still being created, the process proceeds to step S31. The processing after step S31 is repeated for the next pixel.
一方、ステップＳ３５において、１フレーム分の処理は終了したと判断された場合、ステップ３６に処理が進められる。１フレーム分の処理が終了したと判断された場合、判定テーブル導出部５２（図２）から、導出された判定テーブルが、判定テーブル処理部５３、静止領域処理部５４、動き領域処理部５５に対して出力される。
On the other hand, if it is determined in step S35 that the processing for one frame has been completed, the process proceeds to step 36. When it is determined that the processing for one frame has been completed, the determination table derived from the determination table deriving unit 52 (FIG. 2) is transferred to the determination
判定テーブル処理部５３のエントロピー符号化部９１（図４）は、ステップＳ３６において、供給された判定テーブルを、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化判定テーブルデータを生成する。生成された符号化判定テーブルデータは、出力部５６（図２）に供給される。
In step S36, the entropy encoding unit 91 (FIG. 4) of the determination
このようにして、判定テーブル導出部５２と判定テーブル処理部５３により、ステップＳ１２（図８）における判定テーブルの作成、符号化処理が実行される。ステップＳ１２の処理が行われることにより、判定テーブルが生成されると、ステップＳ１３において、静止領域の符号化処理が実行される。静止領域の符号化処理は、静止領域処理部５４により実行される。
In this way, the determination
ステップＳ１３において、静止領域処理部５４により実行される静止領域の符号化処理について、図１０のフローチャートを参照して説明する。ステップＳ５１において、静止領域処理部５４の静止領域選択部１１１（図５）は、静止領域を判定する。すなわち、静止領域選択部１１１には、判定テーブル導出部５２により導出された判定テーブル（例えば、図１４Ｂに示したような“０”と“１”によるフラグにより構成されている判定テーブル）が供給され、その判定テーブルが参照されることにより、静止領域であるか否かの判定（静止領域の選択）が行われる。
The still area encoding processing executed by the still
ステップＳ５１の処理で、静止領域であると判定された領域に対して、ステップＳ５２以下の処理が実行される。ステップＳ５２において、積分データ導出部１１２は、積分データを導出する。積分データ導出部１１２は、静止領域選択部１１１から供給される静止領域であると判定された領域に関する情報（積分データを算出する対象とされた画素の座標の情報）と、入力部５１を介して入力されたフレーム（この場合、ステップＳ１１（図８）の処理で蓄積された１０フレーム）が供給される。
In the process of step S51, the process after step S52 is executed for the area determined to be a still area. In step S52, the integral
積分データ導出部１１２は、供給されたフレーム内で、処理対象とされた座標（ｘ，ｙ）における画素の積分データを導出する。この積分データの導出は、判定テーブル導出部５２の積分データ導出部７１（図３）と同様の処理により行われる。すなわち、式（１）や式（３）を参照して説明したように、画素値と係数が用いられた演算が行われることにより導出される。積分データの導出に関する処理については、既に説明したので、その説明は省略する。
The integral
ステップＳ５３において、残差導出部１１３により残差データが導出される。残差導出部１１３は、静止領域選択部１１１から供給される静止領域の情報から処理対象とされている画素の座標（積分データの算出の処理対象とされた画素と同一の画素の座標）を特定し、その特定された座標の画素の画素値を、入力部５１を介して供給されるフレームから読み出す。そして、読み出された画素値と、積分データが用いられ、残差データが導出される。
In step S53, residual data is derived by the
残差データは、式（２）などを参照して説明したように、画素値と積分データが用いられて算出される。残差導出部１１３は、判定テーブル導出部５２の残差導出部７２（図３）と同様の処理により残差データを算出する。残差導出部７２による残差データの算出の処理に関しては、既に説明したので、ここではその説明を省略する。
The residual data is calculated using the pixel value and the integral data as described with reference to the equation (2) and the like. The
なお、上述したように、判定テーブル導出部５２の積分データ導出部７１（図３）と静止領域処理部５４の積分データ導出部１１２（図５）、判定テーブル導出部５２の残差導出部７２（図３）と静止領域処理部５４の残差導出部１１３（図５）は、それぞれ同一の演算により、また、同一のデータを用いて積分データや残差データを導出しているので、１つのブロックとして符号化装置５０を構成する（または、データを共用する）ようにしても良い。
As described above, the integral data deriving unit 71 (FIG. 3) of the determination
このように、積分データ導出部１１２により導出された積分データと、残差導出部１１３により導出された残差データは、エントロピー符号化処理部１１４に供給される。エントロピー符号化処理部１１４は、ステップＳ５４において、供給された積分データと残差データを、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化静止領域画像データを生成する。生成された符号化静止領域画像データは、出力部５６（図２）に供給される。
As described above, the integral data derived by the integral
このようにして、ステップＳ１３（図８）において、静止領域処理部５４により、静止領域の符号化処理が行われている一方で、ステップＳ１４において、動き領域処理部５５により、動き領域の符号化処理が実行される。図８のフローチャートにおいては、静止領域の符号化処理の後、動き領域の符号化処理が実行されるという処理の流れにしたが、静止領域処理部５４による、静止領域の符号化処理と、動き領域処理部５５による、動き領域の符号化処理は、並列的に同時に行われるようにすることも可能である。
In this way, while the still region encoding process is performed by the still
ステップＳ１４において、動き領域処理部５５により実行される動き領域の符号化処理について図１１のフローチャートを参照して説明する。ステップＳ７１において、動き領域処理部５５の動き領域選択部１３１（図６）は、動き領域を判定する。すなわち、動き領域選択部１３１には、判定テーブル導出部５２により導出された判定テーブルが供給され、その判定テーブルが参照されることにより、動き領域であるか否かの判定（動き領域の選択）が行われる（処理対象とされる画素の座標が特定される）。
The motion region encoding processing executed by the motion
ステップＳ７１の処理で、動き領域であると判定された領域に対して、ステップＳ７２以下の処理が実行される。ステップＳ７２において、基準値導出部１３２は、基準値を導出する。基準値導出部１３２は、動き領域選択部１３１から供給される動き領域であると判定された領域に関する情報と、入力部５１を介して入力されたフレーム（この場合、ステップＳ１３（図８）の処理で蓄積された１０フレーム）が供給される。
The processing in step S72 and subsequent steps is executed for the region determined to be a motion region in the processing in step S71. In step S72, the reference
基準値導出部１３２は、供給されたフレーム内で、処理対象とされた座標（ｘ，ｙ）における画素を基準値として導出する。基準値の導出について図１５を参照して説明する。図１５は、所定のフレームの一部分を示している。図中左右方向は、ｘ軸方向であり、図中上下方向は、ｙ軸方向であるとする。
The reference
また、図１５において白丸は、静止領域内の画素であることを示し、黒丸は、動き領域内の画素であることを示す。また、黒丸をさらに破線の円で囲った丸は、動き領域内の画素であり、ステップＳ７２において基準値として導出される画素であることを示している。 In FIG. 15, white circles indicate pixels within the still region, and black circles indicate pixels within the motion region. Further, a circle in which a black circle is further surrounded by a broken-line circle indicates a pixel in the motion region and a pixel derived as a reference value in step S72.
フレームは、処理される際（処理対象とされる画素の決定がされる際）、左上から右下にかけてスキャンされるように設定されている。その設定されている処理順序（ラスタースキャン順）を、図１５中に、矢印として図示した（ただし、フレームの上部分のみ）。基準値は、処理対象とされているフレームをラスタースキャン順に走査し、静止領域と判定される画素の次に走査される画素であり、動き領域と判定される画素の画素値である。 The frame is set to be scanned from the upper left to the lower right when processed (when a pixel to be processed is determined). The set processing order (raster scan order) is shown as an arrow in FIG. 15 (however, only the upper part of the frame). The reference value is a pixel that is scanned next to a pixel that is determined as a still region by scanning a frame to be processed in raster scan order, and is a pixel value that is determined as a motion region.
換言すれば、基準値は、所定のｘ軸方向のラインにおいて、ラスタースキャン順（図中、左から右方向）に走査したときに、最初に動き領域内の画素であると判定される画素の画素値である。なお、座標（０，０）の画素（ラスタースキャン順の開始点の座標の画素）が、動き領域と判定された場合、その座標（０，０）の画素の画素値が、基準値として設定される。 In other words, the reference value is a pixel that is first determined to be a pixel in the motion region when scanning in a raster scan order (from left to right in the figure) on a predetermined line in the x-axis direction. It is a pixel value. When the pixel at the coordinate (0, 0) (the pixel at the coordinate of the start point in the raster scan order) is determined as the motion area, the pixel value of the pixel at the coordinate (0, 0) is set as the reference value. Is done.
ステップＳ７２においては、このような位置に存在する画素の画素値が、基準値データとして抽出される。ステップＳ７３において、差分値導出部１３３（図６）により差分値が導出される。差分値導出部１３３は、動き領域内で隣り合う画素の差分を算出する。差分値導出部１３３は、動き領域選択部１３１から供給される情報から、処理対象とされているフレーム内の動き領域を判定し、処理対象とする画素を設定する。
In step S72, the pixel value of the pixel present at such a position is extracted as reference value data. In step S73, the difference value is derived by the difference value deriving unit 133 (FIG. 6). The difference
図１５を再度参照して差分値の導出の仕方について説明する。図１５において、動き領域の範囲Ａにおける６個の画素を例に挙げて説明する。動き領域範囲Ａ内にある６個の画素の座標は、それぞれ、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ＋２，ｊ）、（ｉ＋３，ｊ）、（ｉ＋４，ｊ）、（ｉ＋５，ｊ）である。 With reference to FIG. 15 again, how to derive the difference value will be described. In FIG. 15, description will be made by taking six pixels in the range A of the motion region as an example. The coordinates of the six pixels in the motion region range A are (i, j), (i + 1, j), (i + 2, j), (i + 3, j), (i + 4, j), (i + 5, respectively). j).
隣り合う画素の差分が算出されるので、差分値ＤＭは、以下の式（７）乃至（１１）により、動き領域の範囲Ａ内からの差分値データが導出される。式（７）乃至（１１）において、例えば、ＬＭ（ｉ，ｊ）とは、座標（ｉ，ｊ）における画素の画素値を表す。
ＤＭ（ｉ＋１，ｊ）＝ＬＭ（ｉ＋１，ｊ）―ＬＭ（ｉ，ｊ） ・・・（７）
ＤＭ（ｉ＋２，ｊ）＝ＬＭ（ｉ＋２，ｊ）―ＬＭ（ｉ＋１，ｊ） ・・・（８）
ＤＭ（ｉ＋３，ｊ）＝ＬＭ（ｉ＋３，ｊ）―ＬＭ（ｉ＋２，ｊ） ・・・（９）
ＤＭ（ｉ＋４，ｊ）＝ＬＭ（ｉ＋４，ｊ）―ＬＭ（ｉ＋３，ｊ） ・・・（１０）
ＤＭ（ｉ＋５，ｊ）＝ＬＭ（ｉ＋５，ｊ）―ＬＭ（ｉ＋４，ｊ） ・・・（１１）
Since the difference between adjacent pixels is calculated, difference value data from the range A of the motion region is derived as the difference value DM by the following equations (7) to (11). In Expressions (7) to (11), for example, LM (i, j) represents the pixel value of the pixel at coordinates (i, j).
DM (i + 1, j) = LM (i + 1, j) −LM (i, j) (7)
DM (i + 2, j) = LM (i + 2, j) −LM (i + 1, j) (8)
DM (i + 3, j) = LM (i + 3, j) −LM (i + 2, j) (9)
DM (i + 4, j) = LM (i + 4, j) −LM (i + 3, j) (10)
DM (i + 5, j) = LM (i + 5, j) −LM (i + 4, j) (11)
このように、基準値（この場合、ＬＭ（ｉ，ｊ））から順に、隣接する画素との差分が算出される。隣接する画素は、通常、相関度が高い。すなわち、急峻な変化を伴わないことが多い。よって、このような隣接する画素同士の差分値は、小さい値となる。差分値が小さい値となることにより、後述する符号化により、圧縮率を高めた符号化を行うことが可能となる。 In this way, the difference from the adjacent pixel is calculated in order from the reference value (in this case, LM (i, j)). Adjacent pixels usually have a high degree of correlation. That is, there is often no sharp change. Therefore, the difference value between such adjacent pixels is a small value. When the difference value becomes a small value, it is possible to perform encoding with an increased compression rate by encoding described later.
差分値導出部１３３により導出された差分値データは、エントロピー符号化処理部１３４に供給される。エントロピー符号化処理部１３４には、基準値導出部１３２により導出された基準値データも供給される。エントロピー符号化処理部１３４は、供給された基準値データと差分値データを、所定の符号化方式、例えば、ハフマン符号化方式やランレングス符号化方式などのエントロピー符号化方式により、符号化し、符号化動き領域画像データを生成する。生成された符号化動き領域画像データは、出力部５６（図２）に供給される。
The difference value data derived by the difference
ステップＳ１４（図８）において、動き領域処理部５５（図２）により動き領域の符号化処理が終了されると、ステップＳ１５において、符号化されたデータが、出力部５６により、図示されていない他の装置（復号化装置）に対して出力される。出力部５６には、上述したような処理により、符号化判定テーブルデータ、符号化静止領域画像データ、および、符号化動き領域画像データが供給される。
In step S14 (FIG. 8), when the motion region encoding process is ended by the motion region processing unit 55 (FIG. 2), the encoded data in step S15 is not shown by the
出力部５６は、これらの供給されたデータを、例えば、図１６に示したような順で出力する。すなわち、符号化判定テーブル、符号化静止領域画像データ（積分データ、残差データ）、および、符号化動き領域画像データ（基準値データ、差分値データ）順で送信される。このような順で、符号化されたデータを受信する復号化側の装置および動作について次に説明する。
The
［復号化装置の構成と動作について］
図１７は、本発明を適用した復号化装置の一実施の形態の構成を示す図である。復号化装置２１０は、入力部２１１、符号化データ分類部２１２、判定テーブル復号化部２１３、静止領域復号化部２１４、動き領域復号化部２１５、合成部２１６、および、出力部２１７を含む構成とされている。
[Configuration and operation of decoding apparatus]
FIG. 17 is a diagram showing a configuration of an embodiment of a decoding device to which the present invention is applied. The
入力部２１１には、図１６に示した符号化されたデータが順次入力される。入力部２１１に供給されたデータ（符号化データ）は、符号化データ分類部２１２に供給される。符号化データ分類部２１２は、図１６に示したような符号化データを、符号化判定テーブルデータ、符号化静止領域画像データ、符号化動き領域画像データに分類する。符号化データ分類部２１２は、分類したデータの内、符号化判定テーブルデータを、判定テーブル復号化部２１３に、符号化静止領域画像データを、静止領域復号化部２１４に、符号化動き領域画像データを、動き領域復号化部２１５に、それぞれ供給する。
The encoded data shown in FIG. 16 is sequentially input to the
判定テーブル復号化部２１３は、供給された符号化判定テーブルデータを、符号化方式に対応した復号化方式で復号化し、判定テーブルを、静止領域復号化部２１４と動き領域復号化部２１５に、それぞれ供給する。
The determination
静止領域復号化部２１４は、判定テーブル復号化部２１３から供給される判定テーブルと、符号化データ分類部２１２から供給される符号化静止領域画像データ（積分値データと残差データが含まれるデータ）から、静止領域内の画像を復号化する。復号化された静止領域内の画像データは、合成部２１６に供給される。
The still
動き領域復号化部２１５は、判定テーブル復号化部２１３から供給される判定テーブルと、符号化データ分類部２１２から供給される符号化動き領域画像データ（基準値データと差分値データが含まれるデータ）から、動き領域内の画像を復号化する。復号化された動き領域内の画像データは、合成部２１６に供給される。
The motion
合成部２１６は、静止領域復号化部２１４から供給される静止領域内の画像データに基づく画像と、動き領域復号化部２１５から供給される動き領域内の画像データに基づく画像を合成し、その合成された画像の画像データを出力部２１７に供給する。出力部２１７は、図示されていない例えばディスプレイなどに、供給された画像データを出力する。
The synthesizing
次に、復号化装置２１０を構成する各部の詳細な構成について説明する。図１８は、判定テーブル復号化部２１３の内部構成例を示す図である。判定テーブル復号化部２１３は、エントロピー復号化部２３１を含む構成とされている。符号化データ分類部２１２からの符号化判定テーブルデータは、判定テーブル復号化部２１３のエントロピー復号化部２３１に供給される。エントロピー復号化部２３１は、供給された符号化判定テーブルデータを、所定の復号化方式、例えば、ハフマン復号化方式やランレングス復号化方式などの、符号化装置５０側での符号化方式に対応するエントロピー復号化方式により、復号化し、復号化された判定テーブルを生成する。生成された判定テーブルは、出力部２１７（図１７）に供給される。
Next, a detailed configuration of each unit configuring the
図１９は、静止領域復号化部２１４の内部構成例を示す図である。静止領域復号化部２１４は、符号化静止領域画像データ分類部２５１、積分データ復号化部２５２、残差データ復号化部２５３、および、静止領域導出部２５４から構成されている。
FIG. 19 is a diagram illustrating an internal configuration example of the still
符号化静止領域画像データ分類部２５１には、符号化データ分類部２１２から、符号化静止領域画像データが供給される。この供給される符号化静止領域画像データには、図１６に示したように、符号化されている積分データと残差データが含まれている。符号化静止領域画像データ分類部２５１は、供給された符号化静止領域画像データを、積分データと残差データに分類する。分類された積分データは、積分データ復号化部２５２に供給され、残差データは、残差データ復号化部２５３に供給される。
The encoded still area image data is supplied to the encoded still area image
積分データ復号化部２５２は、供給された符号化されている積分データを復号化し、積分データを生成する。生成された積分データは、静止領域導出部２５４に供給される。残差データ復号化部２５３は、供給された符号化されている残差データを復号化し、残差データを生成する。生成された残差データは、静止領域導出部２５４に供給される。
The integration
静止領域導出部２５４は、供給された積分データと残差データを用いて、静止領域内の画素を生成し、静止領域内の画像を生成する。
The still
図２０は、動き領域復号化部２１５の内部構成例を示す図である。動き領域復号化部２１５は、符号化動き領域画像データ分類部２７１、基準値復号化部２７２、差分値復号化部２７３、および、動き領域導出部２７４から構成されている。
FIG. 20 is a diagram illustrating an internal configuration example of the motion
符号化動き領域画像データ分類部２７１には、符号化データ分類部２１２から、符号化動き領域画像データが供給される。この供給される符号化動き領域画像データには、図１６に示したように、符号化されている基準値データと差分値データが含まれている。符号化動き領域画像データ分類部２７１は、供給された符号化動き領域画像データを、基準値データと差分値データに分類する。分類された基準値データは、基準値復号化部２７２に供給され、差分値データは、差分値復号化部２７３に供給される。
The encoded motion area image
基準値復号化部２７２は、供給された符号化されている基準値データを復号化し、基準値データを生成する。生成された基準値データは、動き領域導出部２７４に供給される。差分値データ復号化部２７３は、供給された符号化されている差分値データを復号化し、差分値データを生成する。生成された差分値データは、動き領域導出部２７４に供給される。
The reference
動き領域導出部２７４は、供給された基準値データと差分値データを用いて、動き領域内の画素を生成し、動き領域の画像を生成する。
The motion
このような復号化を行う復号化装置２１０（図１７）の動作について、図２１乃至図２３のフローチャートを参照して説明する。 The operation of the decoding apparatus 210 (FIG. 17) that performs such decoding will be described with reference to the flowcharts of FIGS.
ステップＳ１１１（図２１）において、復号化装置２１０の入力部２１１（図１７）は、符号化装置５０により符号化されたデータを受信（入力）する。入力部２１１により入力された符号化データは、符号化データ分類部２１２に供給される。符号化データ分類部２１２は、ステップＳ１１２において、供給された符号化データを分類する。
In step S111 (FIG. 21), the input unit 211 (FIG. 17) of the
符号化データ分類部２１２に供給される符号化データは、図１６に示すように、符号化判定テーブルデータ、符号化静止領域画像データ、および、符号化動き領域画像データから構成されている。符号化データ分類部２１２は、供給された符号化データを、これらの３つのデータに分類する。分類されたデータの内、符号化判定テーブルデータは、判定テーブル復号化部２１３に、符号化静止領域画像データは、静止領域復号化部２１４に、符号化動き領域画像データは、動き領域復号化部２１５に、それぞれ供給される。
As shown in FIG. 16, the encoded data supplied to the encoded
判定テーブル復号化部２１３のエントロピー復号化部２３１（図１８）は、ステップＳ１１２において、供給された符号化判定テーブルデータを、符号化方式に対応した復号化方式（例えば、符号化方式がハフマン符号化方式であった場合、ハフマン復号化方式）で復号化し、判定テーブルを、静止領域復号化部２１４と動き領域復号化部２１５に、それぞれ供給する。
In step S112, the entropy decoding unit 231 (FIG. 18) of the determination
ステップＳ１１４において、静止領域復号化部２１４は、静止領域の復号化処理を実行する。ステップＳ１１４において実行される静止領域の復号化処理について、図２２のフローチャートを参照して説明する。ステップＳ１３１において、静止領域復号化部２１４の符号化静止領域画像データ分離部２５１は、供給された符号化静止領域画像データを分類する。
In step S114, the still
符号化静止領域画像データは、図１６に示したように、符号化されている積分データと残差データが含まれている。符号化静止領域画像データ分類部２５１は、供給された符号化静止領域画像データを、積分データと残差データに分類する。分類された積分データは、積分データ復号化部２５２に供給され、残差データは、残差データ復号化部２５３に供給される。
The encoded still area image data includes encoded integral data and residual data, as shown in FIG. The encoded still area image
積分データ復号化部２５２は、ステップＳ１３２において、供給された符号化されている積分データを復号化し、積分データを生成する。積分データ復号化部２５２に供給され、復号化された積分データは、次式（８）のようなデータである。
In step S132, the integral
式（８）は、式（１）と同様である。すなわち、符号化装置５０の静止領域処理部５４の積分データ導出部１１２（図５）により導出された、１フレーム目の積分データである。この積分データは、符号化装置５０側で、エントロピー符号化処理部１１４（図５）により、符号化されているため、復号化装置２１０側で、ステップＳ１３２（図２２）の処理として、積分データ復号化部２５２により復号化される。
Expression (8) is the same as Expression (1). That is, the integration data of the first frame derived by the integral data deriving unit 112 (FIG. 5) of the still
積分データ復号化部２５２により、積分データが復号化されている一方で、残差データ復号化部２５３により、残差データが復号化される。残差データ復号化部２５３は、ステップＳ１３３において、符号化静止領域画像データ分離部２５１からの符号化されている残差データを復号化する。
While the integral data is decoded by the integral
残差データ復号化部２５３に供給され、復号化された残差データは、次式（９）のようなデータである。
The residual data supplied to and decoded by the residual
残差データ復号化部２５３による復号化により取得される残差データは、式（９）に示したように、１フレーム目の残差Ｄｉｆｆfr1、２フレーム目の残差Ｄｉｆｆfr2、３フレーム目の残差Ｄｉｆｆfr3、４フレーム目の残差Ｄｉｆｆfr4、５フレーム目の残差Ｄｉｆｆfr5、６フレーム目の残差Ｄｉｆｆfr6、７フレーム目の残差Ｄｉｆｆfr7、８フレーム目の残差Ｄｉｆｆfr8、９フレーム目の残差Ｄｉｆｆfr9、および、１０フレーム目の残差Ｄｉｆｆfr10である。
Residual data obtained by decoding by the
これらの残差データは、符号化装置５０の静止領域処理部５４の残差データ導出部１１３（図５）により導出された残差データである。この残差データは、符号化装置５０側で、エントロピー符号化処理部１１４（図５）により、符号化されているため、復号化装置２１０側で、ステップＳ１３３（図２２）の処理として、残差データ復号化部２５３により復号化される。
These residual data are the residual data derived by the residual data deriving unit 113 (FIG. 5) of the still
ステップＳ１３２における処理とステップＳ１３３における処理により、式（８）に示した積分データと、式（９）に示した残差データが、それぞれ生成され、静止領域導出部２５４に供給される。静止領域導出部２５４は、ステップＳ１３４において、供給された積分データと残差データを用いて、静止領域内の画素を生成し、静止領域内の画像を生成する。
The integration data shown in Equation (8) and the residual data shown in Equation (9) are generated by the processing in Step S132 and the processing in Step S133, respectively, and supplied to the still
すなわち、静止領域導出部２５４は、積分データと残差データから、静止領域内の画素値を生成し、その生成された画素値を、判定テーブル復号化部２１３からの判定テーブルを参照し静止領域内に配置することにより、静止領域内の画像を生成する。
That is, the still
静止領域導出部２５４は、以下のようにして画素値を生成する。１フレーム目の静止領域内の画素値は、次式（１０）に基づいて生成される。
The still
すなわち、１フレーム目の画素値Ｌfr1（ｘ，ｙ）は、１フレーム目の残差データＤｉｆｆfr1（ｘ，ｙ）に、１フレーム目の積分データＩｔｇｗ1（ｘ，ｙ）に（１／１０２３）を乗算した値を加算することにより算出される。この式（１０）は、式（２）から導き出すことができる。式（２）は、符号化装置５０で、残差データＤｉｆｆfr1（ｘ，ｙ）を算出するときの式であった。この式（２）において、積分データＩｔｇｗ1（ｘ，ｙ）に係わる項を、残差データＤｉｆｆfr1（ｘ，ｙ）側に移行することにより、式（１０）となる。
That is, the pixel value L fr1 (x, y) of the first frame is set to ( 1/1 / ) the residual data Diff fr1 (x, y) of the first frame and the integration data Itgw 1 (x, y) of the first frame. It is calculated by adding the value multiplied by 1023). This equation (10) can be derived from equation (2). Expression (2) is an expression used when the
このように、１フレーム目の画素値は、積分データと残差データを加算することにより求めることができる。同様に、２フレーム目の画素値Ｌｆｒ2（ｘ，ｙ）は、次式（１１）により求められる。 Thus, the pixel value of the first frame can be obtained by adding the integral data and the residual data. Similarly, the pixel value Lfr 2 (x, y) of the second frame is obtained by the following equation (11).
式（１１）における積分データＩｔｇｗ2（ｘ，ｙ）は、上式（１２）により求めることができる。式（１２）における積分データＩｔｇｗ1（ｘ，ｙ）は、式（８）により求められている。式（８）は、上述したように、積分データ復号化部２５２により復号された積分データである。また、式（１２）における画素値Ｌｆｒ1（ｘ，ｙ）は、式（１０）により求められている。
The integral data Itgw 2 (x, y) in the equation (11) can be obtained by the above equation (12). The integral data Itgw 1 (x, y) in equation (12) is obtained by equation (8). Expression (8) is the integration data decoded by the integration
このように、２フレーム目の画素値Ｌfr2（ｘ，ｙ）は、積分データ復号化部２５２から供給される積分データＩｔｇｗ1（ｘ，ｙ）（式（８））と、その積分データＩｔｇｗ1（ｘ，ｙ）と残差データ復号化部２５３から供給される残差データ（式（９））を用いて算出される１フレーム目の画素値Ｌfr1（ｘ，ｙ）（式（１０））により、算出することができる。
As described above, the pixel value L fr2 (x, y) of the second frame is obtained by integrating the integration data Itgw 1 (x, y) (formula (8)) supplied from the integration
３フレーム以降の画素値も、２フレーム目の画素値の算出の仕方と同様に算出される。すなわち、その時点で供給されているデータと、その時点までに復号化されているデータが用いられて画素値が復号化される。 The pixel values after the third frame are also calculated in the same manner as the pixel values for the second frame. That is, the pixel value is decoded using the data supplied at that time and the data decoded up to that time.
このように、静止領域導出部部２５４は、１フレーム目の積分データと、１乃至９フレーム目の残差データが供給されれば、１乃至１０フレームの、それぞれのフレームにおける静止領域内の画素値を生成することができる。復号化装置２１０では、静止領域の画素値（画像）を、このようにして生成（復号化）するため、符号化装置５０側では、１フレーム目の積分データと、１乃至９フレーム目の残差データのみを送信すれ良い。
As described above, when the integration data of the first frame and the residual data of the first to ninth frames are supplied, the still
ここで、符号化装置５０が、１乃至９フレーム目の残差データのみを送信すればよい理由について（１０フレーム目の残差データを送信しない理由について）説明を加える。まず以下に、９フレーム目の画素値を生成する際の式（１３）を示す。
Here, the reason why the
式（１３）に基づき９フレーム目の画素値Ｌfr9（ｘ，ｙ）が算出され、画素値Ｌfr9（ｘ，ｙ）を算出するために必要となる９フレーム目の積分データＩｔｇｗ9（ｘ，ｙ）は、式（１４）に基づいて算出される。 The pixel value L fr9 (x, y) of the ninth frame is calculated based on the equation (13), and the integration data Itgw 9 (x of the ninth frame necessary for calculating the pixel value L fr9 (x, y) is calculated. , Y) is calculated based on the equation (14).
このように、２フレームから９フレームまでの、それぞれのフレームにおける画素値は、同様の式（差分データと積分データを加算する式）により求められる。１０フレームも、同様に、差分データと積分データを加算することにより求める場合、以下のような式（１５）に基づいて算出されることになる。 In this way, the pixel values in the respective frames from 2 frames to 9 frames are obtained by the same formula (formula for adding difference data and integral data). Similarly, when 10 frames are obtained by adding the difference data and the integral data, they are calculated based on the following equation (15).
式（１５）に基づき１０フレーム目の画素値Ｌfr10（ｘ，ｙ）が算出され、画素値Ｌfr10（ｘ，ｙ）を算出するために必要となる１０フレーム目の積分データＩｔｇｗ10（ｘ，ｙ）は、式（１６）に基づいて算出される。式（１６）は、式（１）を代入することにより、最終的に、画素値Ｌfr10（ｘ，ｙ）になる。すなわち、この場合、
Ｉｔｇｗ10（ｘ，ｙ）＝Ｌfr10（ｘ，ｙ） ・・・（１７）
となる。
Based on the equation (15), the pixel value L fr10 (x, y) of the 10th frame is calculated, and the integration data Itgw 10 (x of the 10th frame necessary for calculating the pixel value L fr10 (x, y) is obtained. , Y) is calculated based on equation (16). Equation (16) finally becomes pixel value L fr10 (x, y) by substituting Equation (1). That is, in this case
Itgw 10 (x, y) = L fr10 (x, y) (17)
It becomes.
式（１７）を、式（１５）に代入すると、
Ｌfr10（ｘ，ｙ）＝Ｄｉｆｆfr10（ｘ，ｙ）＋Ｌfr10（ｘ，ｙ）
となる。よって、この式から、
Ｄｉｆｆfr10（ｘ，ｙ）＝０
と導くことができる。すなわち、１０フレーム目の残差データＤｉｆｆfr10（ｘ，ｙ）は“０”であるので、復号化装置２１０で、１０フレーム目の画素値を算出する際に必要がなく、符号化装置５０側から送信する必要もない。
Substituting equation (17) into equation (15),
L fr10 (x, y) = Diff fr10 (x, y) + L fr10 (x, y)
It becomes. Therefore, from this equation:
Diff fr10 (x, y) = 0
Can lead to. That is, since the residual data Diff fr10 (x, y) of the 10th frame is “0”, it is not necessary when the
また、別の説明を加えると、１０フレーム目の画素値は、次式（１８）により求めることができる。 In addition, when another explanation is added, the pixel value of the 10th frame can be obtained by the following equation (18).
すなわち、１０フレーム目の画素値Ｌfr10（ｘ，ｙ）は、１フレーム目の積分データＩｔｇｗ1（ｘ，ｙ）から、（２9・Ｌfr1（ｘ，ｙ）＋２8・Ｌfr2（ｘ，ｙ）＋２7・Ｌfr3（ｘ，ｙ）＋２6・Ｌfr4（ｘ，ｙ）＋２5・Ｌfr5（ｘ，ｙ）＋２4・Ｌfr6（ｘ，ｙ）＋２3・Ｌfr7（ｘ，ｙ）＋２2・Ｌfr8（ｘ，ｙ）＋２・Ｌfr9（ｘ，ｙ））を減算することにより求められる。 That is, the pixel value L fr10 (x, y) of the tenth frame is calculated from (2 9 · L fr1 (x, y) +2 8 · L fr2 (x) from the integration data Itgw 1 (x, y) of the first frame. , Y) +2 7 · L fr3 (x, y) +2 6 · L fr4 (x, y) +2 5 · L fr5 (x, y) +2 4 · L fr6 (x, y) +2 3 · L fr7 (x , Y) +2 2 · L fr8 (x, y) + 2 · L fr9 (x, y)).
Ｌfr1（ｘ，ｙ）、Ｌfr2（ｘ，ｙ）、Ｌfr3（ｘ，ｙ）、Ｌfr4（ｘ，ｙ）、Ｌfr5（ｘ，ｙ）、Ｌfr6（ｘ，ｙ）、Ｌfr7（ｘ，ｙ）、Ｌfr8（ｘ，ｙ）、Ｌfr9（ｘ，ｙ）は、それぞれ、１０フレーム目の画素値が求められる以前に、上記したような処理により求められている。 L fr1 (x, y), L fr2 (x, y), L fr3 (x, y), L fr4 (x, y), L fr5 (x, y), L fr6 (x, y), L fr7 (X, y), L fr8 (x, y), and L fr9 (x, y) are obtained by the above-described processing before the pixel value of the 10th frame is obtained.
式（１８）には、１０フレーム目の残差データＤｉｆｆfr10（ｘ，ｙ）は含まれていないが、そのような式（１８）から１０フレーム目の画素値を求めることは可能である。よって、１０フレーム目の残差データは必要とされない。よって、符号化装置５０からは、１フレーム目から９フレーム目までの残差データが送信され、１０フレーム目の残差データは送信されない。
Although the residual data Diff fr10 (x, y) of the 10th frame is not included in Expression (18), the pixel value of the 10th frame can be obtained from such Expression (18). Therefore, the residual data of the 10th frame is not required. Therefore, the
このように、復号化装置２１０においては、１フレーム目の積分データと、１乃至９フレーム目の残差データから、１０フレーム分の画素値（各フレーム内の静止領域内の画素値）を復号化することができる。よって、符号化において効率良い符号化を行うことが可能となり（圧縮率を高めることが可能となり）、そのような符号化されたデータを復号化することが可能となる。
As described above, the
図２２のフローチャートの説明に戻り、ステップＳ１３４において静止領域内の画素値が順次生成されることにより、静止領域内の画像が生成される。 Returning to the description of the flowchart in FIG. 22, in step S <b> 134, pixel values in the still region are sequentially generated, so that an image in the still region is generated.
このような処理が、静止領域復号化部２１４により実行されている一方で、動き領域復号化部２１５により、ステップＳ１１５（図２１）において、動き領域の復号化処理が実行される。図２１のフローチャートにおいては、静止領域の復号化処理の後、動き領域の復号化処理が実行されるという処理の流れにしたが、静止領域復号化部２１４による、静止領域の復号化処理と、動き領域復号化部２１５による、動き領域の復号化処理は、並列的に同時に行われるようにすることも可能である
While such processing is executed by the still
ステップＳ１１５において、動き領域復号化部２１５より実行される動き領域の復号化処理について図２３のフローチャートを参照して説明する。ステップＳ１５１において、動き領域復号化部２１５の符号化動き領域画像データ分離部２７１（図２０）は、供給された符号化動き領域画像データを分類する。
The motion region decoding processing executed by the motion
符号化動き領域画像データは、図１６に示したように、符号化されている基準値データと差分値データが含まれている。符号化動き領域画像データ分類部２７１は、供給された符号化動き領域画像データを、基準値データと差分値データに分類する。分類された基準値データは、基準値復号化部２７２に供給され、差分値データは、差分値復号化部２７３に供給される。
The encoded motion area image data includes encoded reference value data and difference value data, as shown in FIG. The encoded motion area image
基準値復号化部２５２は、ステップＳ１５２において、供給された符号化されている基準値データを復号化し、基準値データを生成する。基準値復号化部２５２に供給され、復号化された基準値データは、例えば、ＬＭ（ｉ，ｊ）である。このＬＭ（ｉ，ｊ）は、図１５を参照して説明したように、符号化装置５０の動き領域処理部５５の基準値導出部１３２（図６）で導出される値である。
In step S152, the reference
このように基準値データは、符号化装置５０の動き領域処理部５４の基準値導出部１３２（図６）により導出された基準値データであり、エントロピー符号化処理部１３４（図６）により、符号化されているため、復号化装置２１０側で、ステップＳ１５２（図２３）の処理として、基準値復号化部２７２により復号化される。
Thus, the reference value data is reference value data derived by the reference value deriving unit 132 (FIG. 6) of the motion
基準値復号化部２７２により基準値が復号化される一方で、ステップＳ１５３（図２３）において、差分値復号化部２７３により、符号化されている差分値データが復号化される。差分値復号化部２７３に供給され、復号化された差分値データは、例えば、ＤＭ（ｉ＋１，ｊ）といったデータである（式（７））。このＤＭ（ｉ＋１，ｊ）といった差分値データは、図１５や式（７）を参照して説明したように、符号化装置５０の動き領域処理部５５の差分値導出部１３３（図６）で導出される値である。
While the reference
このように差分値データは、符号化装置５０の動き領域処理部５４の差分値導出部１３３（図６）により導出された差分値データであり、エントロピー符号化処理部１３４（図６）により、符号化されているため、復号化装置２１０側で、ステップＳ１５３（図２３）の処理として、差分値復号化部２７３により復号化される。
Thus, the difference value data is difference value data derived by the difference value deriving unit 133 (FIG. 6) of the motion
ステップＳ１５２における処理とステップＳ１５３における処理により、基準値データと、差分値データが、それぞれ復号化され、動き領域導出部２７４に供給される。動き領域導出部２７４は、ステップＳ１５４において、供給された基準値データと差分値データを用いて、動き領域内の画素を生成し、動き領域内の画像を生成する。
Through the processing in step S152 and the processing in step S153, the reference value data and the difference value data are each decoded and supplied to the motion
すなわち、動き領域導出部２７４は、基準値データと差分値データから、静止領域内の画素値を生成し、その生成された画素値を、判定テーブル復号化部２１３からの判定テーブルを参照し動き領域内に配置することにより、動き領域内の画像を生成する。
That is, the motion
動き領域導出部２７４は、以下のようにして画素値を生成する。所定のフレームにおける動き領域内の画素値は、次式（１９）乃至（２４）に基づいて生成される。以下に示す式は、図１５の動き領域の範囲Ａ内の画素値を生成するための式である。
ＬＭ（ｉ，ｊ）＝ＬＭ（ｉ，ｊ） ・・・（１９）
ＬＭ（ｉ＋１，ｊ）＝ＤＭ（ｉ＋１，ｊ）＋ＬＭ（ｉ，ｊ） ・・・（２０）
ＬＭ（ｉ＋２，ｊ）＝ＤＭ（ｉ＋２，ｊ）＋ＬＭ（ｉ＋１，ｊ） ・・・（２１）
ＬＭ（ｉ＋３，ｊ）＝ＤＭ（ｉ＋３，ｊ）＋ＬＭ（ｉ＋２，ｊ） ・・・（２２）
ＬＭ（ｉ＋４，ｊ）＝ＤＭ（ｉ＋４，ｊ）＋ＬＭ（ｉ＋３，ｊ） ・・・（２３）
ＬＭ（ｉ＋５，ｊ）＝ＤＭ（ｉ＋５，ｊ）＋ＬＭ（ｉ＋４，ｊ） ・・・（２４）
The motion
LM (i, j) = LM (i, j) (19)
LM (i + 1, j) = DM (i + 1, j) + LM (i, j) (20)
LM (i + 2, j) = DM (i + 2, j) + LM (i + 1, j) (21)
LM (i + 3, j) = DM (i + 3, j) + LM (i + 2, j) (22)
LM (i + 4, j) = DM (i + 4, j) + LM (i + 3, j) (23)
LM (i + 5, j) = DM (i + 5, j) + LM (i + 4, j) (24)
動き領域内の範囲Ａ内のラスタースキャン順で、一番初めにスキャンされる画素は、基準値とされた画素であり、その画素の画素値は、式（１９）により算出される。この画素値（基準値）は、基準値復号化部２７２（図２０）により復号化された値である。基準値とされた画素の次の画素（２番目の画素）は、式（２０）により算出される。式（２０）を参照するに、２番目の画素の画素値は、“１番目の画素値（基準値）と２番目の画素値との差分値である差分値ＤＭ（ｉ＋１，ｊ）”と、“１番目の画素値（式（１９）により算出された値）”が加算された値とされる。 The pixel that is scanned first in the raster scan order within the range A within the motion region is the pixel that is set as the reference value, and the pixel value of the pixel is calculated by Expression (19). This pixel value (reference value) is a value decoded by the reference value decoding unit 272 (FIG. 20). The pixel (second pixel) next to the pixel set as the reference value is calculated by Expression (20). Referring to Equation (20), the pixel value of the second pixel is “difference value DM (i + 1, j) which is a difference value between the first pixel value (reference value) and the second pixel value”. , “First pixel value (value calculated by Expression (19))” is added.
同様に、式（２１）を参照するに、３番目の画素の画素値は、“２番目の画素値（基準値）と３番目の画素値との差分値である差分値ＤＭ（ｉ＋２，ｊ）”と、“２番目の画素値（式（２０）により算出された値）”が加算された値とされる。 Similarly, referring to Equation (21), the pixel value of the third pixel is “difference value DM (i + 2, j, which is a difference value between the second pixel value (reference value) and the third pixel value”. ) ”And“ second pixel value (value calculated by Expression (20)) ”are added.
このように、２番目以降の画素値は、差分値と、その前の時点で復号化されている画素の画素値が用いられて算出される。差分値は、順次差分値復号化部２７３により復号化され、供給される値が用いられる。
Thus, the second and subsequent pixel values are calculated using the difference value and the pixel value of the pixel decoded at the previous time point. Difference values are sequentially decoded by the difference
このように、動き領域内で、ラスタースキャン順で連続する画素の画素値は、基準とされた画素から順に復号化される。その復号化は、基準とされた画素の画素値（基準値）と、差分値から用いられ、また、順次復号化された画素値が用いられて行われる。 In this manner, the pixel values of pixels that are consecutive in the raster scan order within the motion region are sequentially decoded from the reference pixel. The decoding is performed using the pixel value (reference value) of the pixel that is set as a reference and the difference value, and sequentially using the decoded pixel value.
このような復号化が行われることにより、ステップＳ１５４において、画素値（画像）が生成されると、その生成された動き領域内の画像の画像データが、合成部２１６（図１７）に出力される。 By performing such decoding, when a pixel value (image) is generated in step S154, the image data of the image in the generated motion region is output to the combining unit 216 (FIG. 17). The
合成部２１６は、ステップＳ１１６（図２１）において、復号化された静止領域内の画像と動き領域内の画像を合成し、１枚の画像（フレーム）を生成し、出力部２１７に供給する。
In step S <b> 116 (FIG. 21), the synthesizing
このようにして、復号化が行われる。 In this way, decoding is performed.
上述したように、本実施の形態における符号化と復号化は、それぞれ、静止領域と動き領域に分類され、それぞれの領域毎に行われる。 As described above, encoding and decoding in the present embodiment are classified into a static region and a motion region, and are performed for each region.
静止領域に関する符号化は、上述したように、積分データと残差データが生成され、符号化されることにより行われた。静止領域に関する復号化は、積分データと残差データが復号化されることにより行われた。 As described above, the encoding relating to the still region is performed by generating and encoding the integral data and the residual data. Decoding for the still region was performed by decoding the integral data and the residual data.
この積分データは、上記したように、処理対象とされるフレーム分（上記した実施の形態においては、ｍ＝１０フレーム）からの画素値を積分した値とした。１０フレーム分の画素値から積分データを算出するということは、時間方向に注目して積分データを算出しているといえる。 As described above, the integration data is a value obtained by integrating pixel values from a frame to be processed (m = 10 frames in the above-described embodiment). It can be said that calculating the integration data from the pixel values for 10 frames calculates the integration data while paying attention to the time direction.
静止領域内の画像は、数フレーム間で静止している画像であると判断された画像であり、フレーム間同士（時間方向）に関わりが深い。そこで、時間方向（すなわち数フレーム間）での積分データを算出し、符号化するようにした。また、残差データも、積分データを用いているため、時間方向の情報を利用していると言える。 The image in the still region is an image determined to be a still image for several frames, and is deeply related to each other (in the time direction). Therefore, the integral data in the time direction (that is, between several frames) is calculated and encoded. Further, since residual data also uses integral data, it can be said that information in the time direction is used.
このように、本実施の形態においては、静止領域内の画像は、時間方向に注目して（時間方向の相関の高さに注目して）符号化や復号化が行われるようにした。 As described above, in the present embodiment, the image in the still region is encoded or decoded by paying attention to the time direction (noting the height of correlation in the time direction).
動き領域に関する符号化は、上述したように、基準値データと差分値データが符号化されることにより行われた。動き領域に関する復号化は、基準値データと差分値データが復号化されることにより行われた。 As described above, the encoding relating to the motion region is performed by encoding the reference value data and the difference value data. Decoding relating to the motion region was performed by decoding the reference value data and the difference value data.
この差分値データは、上述したように、処理対象とされているフレーム内で、動き領域と判定された領域内の隣り合う画素同士の差分が算出されることにより取得された。同一フレーム内に存在する画素同士から差分を算出するということは、空間方向に注目して算出した値であると言える。 As described above, the difference value data is acquired by calculating a difference between adjacent pixels in a region determined as a motion region in a frame to be processed. It can be said that calculating a difference from pixels existing in the same frame is a value calculated by paying attention to the spatial direction.
動き領域内の画像は、静止領域内の画像と異なり、フレーム間（時間方向）における相関は高くなく、フレーム内（動き領域内）における相関が高い。そこで、空間方向（フレーム内の動き領域内）での差分値データを算出し、符号化するようにした。 Unlike the image in the still region, the image in the motion region does not have a high correlation between frames (in the time direction) and has a high correlation in the frame (in the motion region). Therefore, difference value data in the spatial direction (in the motion region in the frame) is calculated and encoded.
このように、本実施の形態においては、動き領域内の画像は、空間方向に注目して（空間方向の相関の高さに注目して）符号化や復号化が行われるようにした。 As described above, in the present embodiment, the image in the motion region is encoded or decoded by paying attention to the spatial direction (noting the high correlation in the spatial direction).
このように、１フレームを符号化する際、１フレーム分のデータを同一の符号化方式で符号化するのではなく、１フレーム内の画像の特徴に注目し、特徴にあった符号化を行うようにすることで、効率良く符号化できるようになる（圧縮率を高めることができる）。また、符号化により画質が劣化するようなことがないように、符号化が行えるようになる。さらに、そのような符号化に対応する復号化を行うことも可能となる。 In this way, when encoding one frame, instead of encoding the data for one frame with the same encoding method, attention is paid to the characteristics of the image in one frame, and encoding according to the characteristics is performed. By doing so, it becomes possible to encode efficiently (the compression rate can be increased). Also, encoding can be performed so that image quality does not deteriorate due to encoding. Furthermore, it becomes possible to perform decoding corresponding to such encoding.
［記録媒体について］
図２４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Central Processing Unit）４０１は、ＲＯＭ（Read Only Memory）４０２、または記憶部４０８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）４０３には、ＣＰＵ４０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ４０１、ＲＯＭ４０２、およびＲＡＭ４０３は、バス４０４により相互に接続されている。
[About recording media]
FIG. 24 is a block diagram showing an example of the configuration of a personal computer that executes the above-described series of processing by a program. A CPU (Central Processing Unit) 401 executes various processes according to a program stored in a ROM (Read Only Memory) 402 or a
ＣＰＵ４０１にはまた、バス４０４を介して入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、キーボード、マウス、マイクロホンなどよりなる入力部４０６、ディスプレイ、スピーカなどよりなる出力部４０７が接続されている。ＣＰＵ４０１は、入力部４０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ４０１は、処理の結果を出力部４０７に出力する。
An input /
入出力インターフェース４０５に接続されている記憶部４０８は、例えばハードディスクからなり、ＣＰＵ４０１が実行するプログラムや各種のデータを記憶する。通信部４０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
The
また、通信部４０９を介してプログラムを取得し、記憶部４０８に記憶してもよい。
A program may be acquired via the
入出力インターフェース４０５に接続されているドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア４１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部４０８に転送され、記憶される。
The
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, the program is installed in a general-purpose personal computer from the program storage medium.
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図２４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４１１、またはプログラムが一時的もしくは永続的に格納されるＲＯＭ４０２や、記憶部４０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部４０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
As shown in FIG. 24, a program storage medium for storing a program that is installed in a computer and is ready to be executed by the computer includes a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only). Memory), DVD (including Digital Versatile Disc), magneto-optical disc (including MD (Mini-Disc)), or
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program stored in the program storage medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series. Or the process performed separately is also included.
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
５０ 符号化装置， ５１ 入力部， ５２ 判定テーブル導出部， ５３ 判定テーブル処理部， ５４ 静止領域処理部， ５５ 動き領域処理部， ５６ 出力部， ７１ 積分データ導出部， ７２ 残差導出部， ７３ 静止領域・動き領域判定部， ７４ 判定テーブル導出部， ９１ エントロピー符号化部， １１１ 静止領域選択部， １１２ 積分データ導出部， １１３ 残差導出部， １１４ エントロピー符号化処理部， １３１ 動き領域選択部， １３２ 基準値導出部， １３３ 差分値導出部， １３４ エントロピー符号化処理部， ２１０ 復号化装置， ２１１ 入力部， ２１２ 符号化データ分類部， ２１３ 判定テーブル復号化部， ２１４ 静止領域復号化部， ２１５ 動き領域復号化部， ２１６ 合成部， ２１７ 出力部， ２３１ エントロピー復号化部， ２５１ 符号化静止領域画像データ分類部， ２５２ 積分データ復号化部， ２５３ 残差データ復号化部， ２５４ 静止領域導出部， ２７１ 符号化動き領域画像データ分類部， ２７２ 基準値復号化部， ２７３ 差分値復号化部， ２７４ 動き領域導出部 50 Coding Device, 51 Input Unit, 52 Judgment Table Deriving Unit, 53 Judgment Table Processing Unit, 54 Static Region Processing Unit, 55 Motion Region Processing Unit, 56 Output Unit, 71 Integral Data Deriving Unit, 72 Residual Deriving Unit, 73 Still region / motion region determination unit, 74 determination table derivation unit, 91 entropy encoding unit, 111 still region selection unit, 112 integral data derivation unit, 113 residual derivation unit, 114 entropy encoding processing unit, 131 motion region selection unit , 132 reference value derivation unit, 133 difference value derivation unit, 134 entropy encoding processing unit, 210 decoding device, 211 input unit, 212 encoded data classification unit, 213 decision table decoding unit, 214 still region decoding unit, 215 Motion region decoding unit, 216 synthesis unit, 217 , 231 entropy decoding unit, 251 encoded still region image data classification unit, 252 integral data decoding unit, 253 residual data decoding unit, 254 still region derivation unit, 271 encoded motion region image data classification unit, 272 Reference value decoding unit, 273 Difference value decoding unit, 274 Motion region deriving unit
Claims (17)
前記第１の領域を第１の符号化方式で符号化する第１の符号化手段と、
前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化手段と
を備える符号化装置。 Classification means for classifying a predetermined frame of the plurality of frames into a first region where a moving object is photographed and a second region other than the first region using the plurality of input frames When,
First encoding means for encoding the first region by a first encoding method;
An encoding apparatus comprising: a second encoding unit that encodes the second region with an encoding method different from the first encoding method.
複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段と、
前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段と
を備え、
前記第２の算出手段により算出された前記残差データを所定の演算式に代入した演算結果が、所定の閾値より大きいか否かを判断することにより、前記座標における画素が、前記第１の領域に属するか、または前記第２の領域に属するかを分類する
請求項１に記載の符号化装置。 The classification means includes
First calculation means for calculating integral data from pixel values of the same coordinates in a plurality of frames;
Second calculation means for calculating residual data by subtracting the integration data calculated by the first calculation means from pixel values of the same coordinates in one frame of the plurality of frames. Prepared,
By determining whether or not a calculation result obtained by substituting the residual data calculated by the second calculation means into a predetermined calculation formula is greater than a predetermined threshold, the pixel at the coordinate is the first The coding apparatus according to claim 1, wherein the coding apparatus classifies whether the data belongs to a region or the second region.
前記フレームを構成するラインを構成する画素のうち、ラスタースキャン順で最初にスキャンされる画素であり、前記分類手段により前記第１の領域であると判断された画素を基準に設定し、その基準に設定された画素値を基準データとする第１の導出手段と、
前記分類手段により前記第１の領域であると判断された画素のうち、隣接する画素の画素値の差分を演算し、差分値データとする第２の導出手段と
を備え、
前記基準値データと前記差分値データを符号化する
請求項１に記載の符号化装置。 The first encoding means includes:
Among the pixels constituting the line constituting the frame, the pixel that is scanned first in the raster scan order, and the pixel determined to be the first region by the classification unit is set as a reference, and the reference First derivation means using the pixel value set in the reference data as reference data;
A second derivation unit that calculates a difference between pixel values of adjacent pixels among the pixels determined to be the first region by the classification unit, and sets the difference value data;
The encoding device according to claim 1, wherein the reference value data and the difference value data are encoded.
複数のフレームにおける同一の座標の画素値から積分データを算出する第１の算出手段と、
前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記第１の算出手段により算出された前記積分データを減算することにより残差データを算出する第２の算出手段と
を備え、
前記積分データと前記残差データを符号化する
請求項１に記載の符号化装置。 The second encoding means includes
First calculation means for calculating integral data from pixel values of the same coordinates in a plurality of frames;
Second calculation means for calculating residual data by subtracting the integration data calculated by the first calculation means from pixel values of the same coordinates in one frame of the plurality of frames. Prepared,
The encoding apparatus according to claim 1, wherein the integration data and the residual data are encoded.
請求項１に記載の符号化装置。 When the plurality of frames are composed of 1 to N frames, the second calculation means calculates the integration data in the first frame, and the integration data in each of the 2 to N frames is: The encoding apparatus according to claim 1, wherein calculation is performed using integration data of a previous frame.
請求項１に記載の符号化装置。 The encoding according to claim 1, wherein when the plurality of frames are composed of 1 to N frames, the second calculation means calculates residual data in each frame from 1 to N-1. apparatus.
前記第１の領域を第１の符号化方式で符号化する第１の符号化ステップと、
前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化ステップと
を含む符号化方法。 Classification step of classifying a predetermined frame of the plurality of frames into a first region where a moving object is photographed and a second region other than the first region using the plurality of input frames When,
A first encoding step of encoding the first region with a first encoding method;
And a second encoding step for encoding the second region with an encoding method different from the first encoding method.
前記第１の領域を第１の符号化方式で符号化する第１の符号化ステップと、
前記第２の領域を第１の符号化方式とは異なる符号化方式で符号化する第２の符号化ステップと
を含む処理をコンピュータに実行させるプログラム。 Classification step of classifying a predetermined frame of the plurality of frames into a first region where a moving object is photographed and a second region other than the first region using the plurality of input frames When,
A first encoding step of encoding the first region with a first encoding method;
A program that causes a computer to execute a process including: a second encoding step that encodes the second area with an encoding scheme different from the first encoding scheme.
前記入力手段により入力された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化手段と、
前記入力手段により入力された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化手段と
を備える復号化装置。 Classification results classified into a first area where a moving object is photographed and a second area other than the first area with respect to a predetermined frame of the plurality of frames, and pixels in the first area Input means for inputting the encoded first encoded data related to the pixel value of the first encoded data and the encoded second encoded data related to the pixel value of the pixel in the second area;
First decoding means for decoding the first encoded data input by the input means by using a first decoding method while determining a first region using the classification result;
The second encoded data input by the input unit is decoded by a second decoding scheme different from the first decoding scheme while determining a second region using the classification result. Decoding device comprising: second decoding means for converting to a decoding device.
前記複数のフレームにおける同一の座標の画素値から積分データが算出され、
前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記積分データが減算されることにより残差データが算出され、
前記残差データが所定の演算式に代入された演算結果が、所定の閾値より大きいか否かが判断されることにより、前記座標における画素が、前記第１の領域に属するか、または前記第２の領域に属するかが分類された結果である
請求項９に記載の復号化装置。 The classification result is
Integration data is calculated from pixel values at the same coordinates in the plurality of frames,
Residual data is calculated by subtracting the integral data from the pixel value of the same coordinate in one of the plurality of frames,
By determining whether or not a calculation result obtained by substituting the residual data into a predetermined calculation formula is greater than a predetermined threshold, the pixel at the coordinate belongs to the first region, or the first The decoding apparatus according to claim 9, wherein the decoding apparatus is a result of classification as to whether it belongs to area 2.
前記フレームを構成するラインを構成する画素のうち、ラスタースキャン順で最初にスキャンされる画素であり、前記第１の領域に分類された画素の画素値と、
前記第１の領域に分類された画素のうち、隣接する画素の画素値の差分値が含まれ、前記第１の復号化方式に対応する符号化方式で符号化されたデータである
請求項９に記載の復号化装置。 The first encoded data is:
Among the pixels constituting the line constituting the frame, the pixels scanned first in the raster scan order, and the pixel values of the pixels classified in the first region,
The data classified by the encoding method corresponding to the first decoding method includes a difference value of pixel values of adjacent pixels among the pixels classified in the first region. The decoding device according to 1.
前記複数のフレームにおける同一の座標の画素値から積分データと、
前記複数のフレーム内の１つのフレームにおける前記同一の座標の画素値から、前記積分データが減算されることにより残差データが含まれ、前記第２の復号化方式に対応する符号化方式で符号化されたデータである
請求項９に記載の復号化装置。 The first encoded data is:
Integration data from pixel values of the same coordinates in the plurality of frames,
Residual data is included by subtracting the integral data from the pixel value of the same coordinate in one frame of the plurality of frames, and encoding is performed using an encoding method corresponding to the second decoding method. The decoding device according to claim 9, wherein the data is converted into data.
請求項９に記載の復号化装置。 The decoding device according to claim 9, wherein when the plurality of frames are composed of 1 to N frames, the second encoded data includes integration data in the first frame.
請求項９に記載の復号化装置。 The residual data in each frame from 1 to N-1 is included in the second encoded data when the plurality of frames are composed of 1 to N frames. Decryption device.
前記入力制御ステップの処理で入力が制御された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化ステップと、
前記入力制御ステップの処理で入力が制御された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化ステップと
を含む復号化方法。 Classification results classified into a first area where a moving object is photographed and a second area other than the first area with respect to a predetermined frame of the plurality of frames, and pixels in the first area An input control step for controlling input of encoded first encoded data related to a pixel value of the second encoded data and encoded second encoded data related to a pixel value of a pixel in the second region; ,
Decoding the first encoded data whose input is controlled in the process of the input control step by using a first decoding method while determining a first region using the classification result. A decryption step;
The second encoded data, the input of which has been controlled in the process of the input control step, is different from the first decoding method while determining the second region using the classification result. A decoding method comprising: a second decoding step for decoding by a decoding method.
前記入力制御ステップの処理で入力が制御された前記第１の符号化データを、前記分類結果を用いて、第１の領域を判断しながら、第１の復号化方式で復号化する第１の復号化ステップと、
前記入力制御ステップの処理で入力が制御された前記第２の符号化データを、前記分類結果を用いて、第２の領域を判断しながら、前記第１の復号化方式とは異なる第２の復号化方式で復号化する第２の復号化ステップと
を含む処理をコンピュータに実行させるプログラム。 Classification results classified into a first area where a moving object is photographed and a second area other than the first area with respect to a predetermined frame of the plurality of frames, and pixels in the first area An input control step for controlling input of encoded first encoded data related to a pixel value of the second encoded data and encoded second encoded data related to a pixel value of a pixel in the second region; ,
Decoding the first encoded data whose input is controlled in the process of the input control step by using a first decoding method while determining a first region using the classification result. A decryption step;
The second encoded data, the input of which has been controlled in the process of the input control step, is different from the first decoding method while determining the second region using the classification result. A program that causes a computer to execute processing including a second decoding step of decoding by a decoding method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005306094A JP2007116460A (en) | 2005-10-20 | 2005-10-20 | Encoding device and method, decoding device and method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005306094A JP2007116460A (en) | 2005-10-20 | 2005-10-20 | Encoding device and method, decoding device and method, program, and recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007116460A true JP2007116460A (en) | 2007-05-10 |
Family
ID=38098240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005306094A Withdrawn JP2007116460A (en) | 2005-10-20 | 2005-10-20 | Encoding device and method, decoding device and method, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007116460A (en) |
-
2005
- 2005-10-20 JP JP2005306094A patent/JP2007116460A/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11375208B2 (en) | Trisoup node size per slice | |
| EP3861755B1 (en) | Techniques and apparatus for weighted-median prediction for point-cloud attribute coding | |
| US11166048B2 (en) | Method and apparatus for video coding | |
| JP7266686B2 (en) | Method, Apparatus, and Computer Program for Point Cloud Compression | |
| US10979730B2 (en) | Techniques and apparatus for interframe point cloud attribute coding | |
| US10986364B2 (en) | Method and apparatus for interframe point cloud attribute coding | |
| US11475604B2 (en) | Method and apparatus for adaptive point cloud attribute coding | |
| US11943457B2 (en) | Information processing apparatus and method | |
| US11328440B2 (en) | Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method | |
| US20110200105A1 (en) | Predicted pixel value generation procedure automatic producing method, image encoding method, image decoding method, apparatus therefor, programs therefor, and storage media which store the programs | |
| US11671576B2 (en) | Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding | |
| US11580670B2 (en) | Method and apparatus for inter-channel prediction and transform for point cloud attribute coding | |
| CN113795870A (en) | Techniques and apparatus for inter-channel prediction and transformation for point cloud attribute coding | |
| JP6065613B2 (en) | Video encoding device | |
| CN107155364B (en) | Method and apparatus for processing graph-based signals using geometric primitives | |
| US20220353492A1 (en) | Information processing device and method | |
| JP2008125002A (en) | Image encoder, image decoder and image processing program | |
| JP2007116460A (en) | Encoding device and method, decoding device and method, program, and recording medium | |
| WO2019198520A1 (en) | Information processing device and method | |
| JPH08186827A (en) | Hierarchical coder for digital image signal | |
| EP4325853A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| JP2007116246A (en) | Motion vector estimating device and method, encoding device and method, decoding device and method, program, and recording medium | |
| JP2002335405A (en) | Image data processing unit and method, recording medium, and program | |
| JP2006174213A (en) | Prediction image forming method and image coding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090106 |