JP2002152776A - Method and device for encoding and decoding distance image - Google Patents

Method and device for encoding and decoding distance image

Info

Publication number
JP2002152776A
JP2002152776A JP2000342688A JP2000342688A JP2002152776A JP 2002152776 A JP2002152776 A JP 2002152776A JP 2000342688 A JP2000342688 A JP 2000342688A JP 2000342688 A JP2000342688 A JP 2000342688A JP 2002152776 A JP2002152776 A JP 2002152776A
Authority
JP
Japan
Prior art keywords
distance image
image
distance
encoded
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000342688A
Other languages
Japanese (ja)
Inventor
Takayuki Nakachi
孝之 仲地
Akira Emura
暁 江村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000342688A priority Critical patent/JP2002152776A/en
Publication of JP2002152776A publication Critical patent/JP2002152776A/en
Pending legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To encode a distance image with high encoding efficiency while holding practical distance information by utilizing a difference in the measuring resolution of the distance image for each point on the surface of an object. SOLUTION: On the side of distance image encoding, after the distance image having the information of a distance which is measured by a distance image sensor, to each point on the surface of the object as each of pixel values is sampled, quantizing width is set for each portion of the distance image on the basis of the resolution of the distance image sensor corresponding to the relevant portion, and the distance image is quantized and encoded. For example, the quantizing width of each portion is set to the distance between the portion and the sensor in proportion to a square of the distance. On the side of distance image decoding, encoded data are decoded and inversely quantized on the basis of the quantizing width of each portion and the distance image is restored.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像の符号化およ
び復号化技術に係り、詳しくは距離画像を高摩率で圧縮
する符号化技術およびその復号化技術に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image encoding and decoding technique, and more particularly to an encoding technique for compressing a distance image at a high rate of friction and its decoding technique.

【0002】[0002]

【従来の技術】3次元世界の見え方を記録したり伝送す
るには、ある視点から対象表面の色・輝度・距離の2次
元情報、すなわちカラー画像もしくは輝度画像と色差画
像、および、カメラから物体表面各点までの絶対的な距
離を各ピクセルの値として持つ距離画像が必要になる。
より完全に近い3次元世界の情報を保存・伝送しようと
するならば、複数視点でのカラー画像と距離画像が必要
である。さらに再生側で任意視点からの見え方を再現す
るためには、より多くの視点からの情報を演算処理し再
統合する必要がある。そのためには、膨大なカラー画像
と距離画像を効率的に圧縮する必要がある。
2. Description of the Related Art To record and transmit the appearance of a three-dimensional world, two-dimensional information of the color, luminance, and distance of a target surface from a certain viewpoint, that is, a color image or a luminance image and a color difference image, and a camera. A range image having an absolute distance to each point on the object surface as a value of each pixel is required.
To store and transmit information of a more complete three-dimensional world, a color image and a range image from multiple viewpoints are required. Further, in order to reproduce the appearance from an arbitrary viewpoint on the reproducing side, it is necessary to perform arithmetic processing on information from more viewpoints and reintegrate the information. For that purpose, it is necessary to efficiently compress a large number of color images and range images.

【0003】一般に距離画像センサから入力されたアナ
ログ距離画像は、標本化によって離散時間信号に変換さ
れ、量子化によって離散値信号に変換される。従来技術
においては、距離画像信号の振幅軸全体を、一様の幅で
均等に量子化する線形量子化が行われていた。
Generally, an analog range image input from a range image sensor is converted into a discrete-time signal by sampling, and is converted into a discrete-value signal by quantization. In the prior art, linear quantization has been performed in which the entire amplitude axis of the range image signal is uniformly quantized with a uniform width.

【0004】一方、距離画像を効率的に符号化する手法
として、距離画像を予測符号化する手法が考えられる。
予測符号化法は、隣接するピクセル間の相関が高い性質
に注目して、現在のピクセル値を直前に符号化したピク
セル値から予測し、残差信号を符号化するものであり、
これを距離画像の符号化にも利用するものである。さら
に距離画像を効率的に符号化する手法として、本出願人
は、特願2000−239913号において、距離画像
と輝度画像の相関を利用して、距離画像のピクセルを、
距離画像の隣接ピクセルと対応する輝度画像のピクセル
から予測するモデルをもちいることで、距離画像を可逆
的に高能率で符号化する方法と、これにより符号化され
た距離画像を復号化する方法を提案している。しかし、
量子化について特に具体的には記述されていない。
On the other hand, as a technique for efficiently encoding a distance image, a method for predictive encoding of a distance image can be considered.
The predictive coding method focuses on the property that the correlation between adjacent pixels is high, predicts the current pixel value from the immediately coded pixel value, and codes the residual signal.
This is also used for encoding a distance image. Further, as a method of efficiently encoding a distance image, the present applicant disclosed in Japanese Patent Application No. 2000-239913 a pixel of a distance image using a correlation between a distance image and a luminance image.
A method of reversibly encoding a distance image with high efficiency by using a model that predicts from a pixel of a luminance image corresponding to an adjacent pixel of the distance image, and a method of decoding the encoded distance image Has been proposed. But,
The quantization is not specifically described.

【0005】[0005]

【発明が解決しようとする課題】距離画像の測定分解能
は物体表面各点において異なることが知られている。こ
こで、測定分解能とは、センサから物体表面までの距離
を正確に計測する能力のことを示す。分解能が高い場
合、センサから物体表面までの距離の測定誤差(真値と
測定値との差)は小さい。逆に、分解能が低い場合、セ
ンサから物体表面までの距離の測定誤差は大きい。通常
の距離画像の測定においては、分解能が高いか低いかに
かかわらず、同じビット数(例えば、各画素16ビッ
ト)でデータが保存される。このことは、測定分解能が
低い部分の距離情報には、実質的に多くのビット数が割
り当てられていることを意味する。したがって、従来技
術の線形量子化では、距離画像の圧縮に限界があった。
It is known that the measurement resolution of a range image differs at each point on the surface of an object. Here, the measurement resolution indicates the ability to accurately measure the distance from the sensor to the object surface. When the resolution is high, the measurement error (the difference between the true value and the measured value) of the distance from the sensor to the object surface is small. Conversely, when the resolution is low, the measurement error of the distance from the sensor to the object surface is large. In a normal range image measurement, data is stored with the same number of bits (for example, 16 bits for each pixel) regardless of whether the resolution is high or low. This means that a substantially large number of bits are assigned to the distance information of the portion where the measurement resolution is low. Therefore, in the conventional linear quantization, there is a limit in compression of a range image.

【0006】本発明の目的は、距離画像の測定分解能が
物体表面各点において異なることを利用して、視覚的に
ほぼ可逆符号化と同じ推定精度を保持したまま、距離画
像を高能率で圧縮する符号化法及び装置、並びに、この
符号化された距離画像を復号化する方法及び装置を提供
することにある。
An object of the present invention is to take advantage of the fact that the measurement resolution of a range image is different at each point on the object surface, and to compress the range image with high efficiency while visually maintaining almost the same estimation accuracy as lossless coding. It is an object of the present invention to provide an encoding method and an apparatus for performing the above-mentioned encoding, and a method and an apparatus for decoding the encoded distance image.

【0007】[0007]

【課題を解決するための手段】本発明は、距離画像を符
号化するにあたり、距離画像の測定分解能が物体表面各
点において異なることを利用して、距離画像を、その各
部分ごとに、当該部分に対応する距離画像センサの分解
能に基づいて量子化幅を設定することを主要な特徴とす
る。すなわち、各部分の量子化幅は、分解能の高さに対
して単調減少するように、分解能が高い部分の量子化幅
を小さく、低い部分の量子化幅を大きく設定する。具体
例では、距離画像センサの分解能は、センサからの距離
の2乗に比例することを利用して、距離画像の各部分の
量子化幅は、物体表面の当該部分と距離画像センサとの
距離に対して2乗に比例して設定する。これにより、実
質的な距離情報を保持したまま、保存するデータ量を削
除することができ、符号化効率に優れる距離画像の符号
化が実現する。
According to the present invention, when encoding a range image, the range image is measured for each part by utilizing the fact that the measurement resolution of the range image is different at each point on the object surface. The main feature is that the quantization width is set based on the resolution of the range image sensor corresponding to the portion. That is, the quantization width of the high-resolution part is set to be small and the quantization width of the low-resolution part is set to be large so that the quantization width of each part monotonously decreases with the height of the resolution. In a specific example, using the fact that the resolution of the range image sensor is proportional to the square of the distance from the sensor, the quantization width of each part of the range image is determined by the distance between the relevant part of the object surface and the range image sensor. Is set in proportion to the square. As a result, the amount of data to be stored can be deleted while retaining substantial distance information, and encoding of a distance image with excellent encoding efficiency is realized.

【0008】以下に、本発明で利用する距離画像の測定
分解能について説明する。実世界にある物体の3次元形
状を得る方法は、「受動的手法」と「能動的手法」に大
別される。「受動的手法」は、対象に対して何らかの意
味を持つエネルギーを投影することなく対象の3次元形
状を測定する手法であり、ステレオビジョンなどが含ま
れる。それに対して、「能動的手法」は計測対象物体に
対して光、音波などを投影し、その挙動を計測すること
により3次元形状を得る。一般的に、「受動的手法」お
よび「能動的手法」いずれの手法も三角測量の原理に基
づいてカメラから物体表面各点までの距離を計測して記
録する。
Hereinafter, the measurement resolution of a distance image used in the present invention will be described. Methods for obtaining the three-dimensional shape of an object in the real world are roughly classified into a “passive method” and an “active method”. The “passive method” is a method of measuring a three-dimensional shape of an object without projecting any meaningful energy to the object, and includes stereo vision and the like. On the other hand, the “active method” obtains a three-dimensional shape by projecting light, sound waves, and the like on a measurement target object and measuring the behavior. Generally, both the “passive method” and the “active method” measure and record the distance from the camera to each point on the object surface based on the principle of triangulation.

【0009】能動的手法によって対象物体の3次元形状
を得るセンサは「レンジファインダ」と呼ばれる。レン
ジファインダでは、相対的な位置関係が既知のカメラと
プロジェクタを用いて対象物体までの距離を計測する。
この方法では、プロジェクタから対応が一意に決定され
るような光パターンを対象物体に投影し、これをカメラ
で観察し3次元座標を求める。
A sensor that obtains the three-dimensional shape of a target object by an active method is called a "range finder". The range finder measures the distance to a target object using a camera and a projector whose relative positional relationship is known.
In this method, a light pattern whose correspondence is uniquely determined is projected from a projector onto a target object, and this is observed with a camera to obtain three-dimensional coordinates.

【0010】これらのレンジファインダでは、基本的に
は図17の関係から3次元座標値を計算する。カメラ中
心を原点とし、x−y平面が画像面に平行な座標系を、
カメラ座標系と呼ぶことにする。プロジェクタ中心は、
カメラ座標系で(D,0,0)Tにあるとする。プロジ
ェクタから投影された光パターンの像から、画像内の点
(u,v)Tのカメラ座標系での3次元座標(x,y,
z)Tを計算する。このとき、次式が成立する。
These rangefinders basically calculate three-dimensional coordinate values from the relationship shown in FIG. A coordinate system in which the xy plane is parallel to the image plane with the camera center as the origin,
Let's call it the camera coordinate system. The center of the projector is
Suppose that it is at (D, 0,0) T in the camera coordinate system. From the image of the light pattern projected from the projector, the three-dimensional coordinates (x, y,
z) Calculate T. At this time, the following equation is established.

【数1】 但し、θは光パターンの投影方向と、y軸を含みx軸に
直交する面のなす角である。
(Equation 1) Here, θ is an angle between the projection direction of the light pattern and a plane including the y axis and orthogonal to the x axis.

【0011】ここで、三角測量を用いて距離を測定する
場合に発生する誤差について検討する。そのために、ま
ずステレオビジョンを例に、測定対象点までの距離と測
定誤差の関係を分析する。
Here, the error that occurs when the distance is measured using triangulation will be discussed. For this purpose, first, the relationship between the distance to the measurement target point and the measurement error will be analyzed using stereo vision as an example.

【0012】図16のように、間隔Dで設置された2台
のカメラにより奥行zのところにある対象点を測定し、
視差すなわち2枚の画像間で対応する点の位置ずれ量b
が検出されたとする。カメラの焦点距離をFとすると、
奥行zは次式により求まる。
As shown in FIG. 16, an object point at a depth z is measured by two cameras installed at an interval D,
Parallax, that is, the positional shift amount b of the corresponding point between the two images
Is detected. If the focal length of the camera is F,
The depth z is obtained by the following equation.

【数2】 (Equation 2)

【0013】画像から視差を求めるときに1ピクセル分
の誤差がのったときの影響を調べる。式(2)にbにつ
いて微分したのち、式(2)の関係を用いてbを消去す
ると、
[0013] The effect of a one-pixel error when parallax is obtained from an image is examined. After differentiating b in equation (2), b is eliminated using the relationship in equation (2).

【数3】 となる。よって、測定点の奥行zと測定誤差Δzの間に
(Equation 3) It becomes. Therefore, between the depth z of the measurement point and the measurement error Δz

【数4】 の関係が成立する。(Equation 4) Is established.

【0014】レーザーレンジファインダでは、2台のカ
メラの代わりに、1台のスリット光投影装置と1台のカ
メラを用いる。この2台の装置の設置間隔をDとすれ
ば、式(4)と同様の関係が成立している。
In the laser range finder, one slit light projection device and one camera are used instead of two cameras. Assuming that the installation interval between these two devices is D, a relationship similar to Expression (4) holds.

【0015】本発明においては、この解析結果をもとに
センサからの距離が大きな距離画像の量子化幅を距離の
2乗に比例した大きさで設定する非一様量子化を行うの
である。一般には、分解能の高さに対して単調減少する
ように設定する非一様量子化を行うのである。
In the present invention, based on the result of the analysis, non-uniform quantization is performed in which the quantization width of a distance image having a large distance from the sensor is set in a size proportional to the square of the distance. Generally, non-uniform quantization is performed so as to monotonously decrease with the resolution.

【0016】[0016]

【発明の実施の形態】以下、本発明の二、三の実施の形
態について図面を参照して説明する。なお、以下の各実
施例では、距離画像の測定誤差が距離画像センサからの
距離の2乗に比例することを利用して、量子化幅を距離
の2乗に比例した大きさで設定することとする。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A few embodiments of the present invention will be described below with reference to the drawings. In each of the following embodiments, the quantization width is set to a value proportional to the square of the distance by using the fact that the measurement error of the range image is proportional to the square of the distance from the range image sensor. And

【0017】[第1実施例]これは、アナログ距離画像
をデジタル距離画像に量子化する場合の実施例である。
図1に、本発明の第1の一実施例の全体的構成図を示
す。図1において、100は距離画像符号化装置であ
り、200は距離画像復号化装置である。距離画像符号
化装置100では、距離画像センサによって測定された
アナログ距離画像を入力して、標本化部110によって
離散時間信号に標本化し、量子化部120によって離散
値信号に変換する。すなわち、アナログ距離画像をデジ
タル距離画像データに変換する。一般に量子化は、画像
信号の振幅軸全体を一様の幅で均等に量子化する線形量
子化が行われるが、本量子化部120においては、物体
表面を各部分においてそれぞれ量子化幅を設定すること
として、距離画像を各部分ごとに、その距離情報をもと
に、距離画像センサからの距離の2乗に比例して量子化
幅を設定する非一様量子化を行う。この量子化した距離
画像を、符号化部130において符号化し、保存・伝送
する。距離画像復号化装置200では、復号部210に
て符号化データを復号した後、逆量子化部220におい
て、各部分の量子化幅に基づいて逆量子化し、距離画像
を再生する。
[First Embodiment] This is an embodiment in which an analog range image is quantized into a digital range image.
FIG. 1 shows an overall configuration diagram of a first embodiment of the present invention. In FIG. 1, reference numeral 100 denotes a range image encoding device, and 200 denotes a range image decoding device. In the distance image encoding device 100, the analog distance image measured by the distance image sensor is input, sampled into a discrete time signal by the sampling unit 110, and converted into a discrete value signal by the quantization unit 120. That is, the analog distance image is converted into digital distance image data. Generally, in the quantization, linear quantization is performed to uniformly quantize the entire amplitude axis of the image signal with a uniform width. In the quantization unit 120, the quantization width is set in each part of the object surface. In other words, non-uniform quantization for setting a quantization width in proportion to the square of the distance from the distance image sensor is performed for each part of the distance image based on the distance information. The quantized distance image is encoded by the encoding unit 130, and is stored and transmitted. In the distance image decoding device 200, after the encoded data is decoded by the decoding unit 210, the inverse quantization unit 220 performs inverse quantization based on the quantization width of each part to reproduce the distance image.

【0018】[第2実施例]これは、距離画像の各ピク
セル値を隣接するピクセル値から予測し、その残差信号
を符号化する予測符号化法に適用する実施例である。こ
こで距離画像は、図2に示すように、距離画像センサに
よって測定されたアナログ距離画像を標本化部151に
よって離散時間信号に変換し、量子化部152によって
離散値信号(デジタル距離画像)に変換して得られたも
のとする。図2に示すA/D変換部150の構成は、図
1の標本化部110と量子化部120の構成と基本的に
同じであるが、量子部152が画像信号の量子化に一般
に用いられている一様量子化器を用いている点が異な
る。なお、これ以降の各実施例の距離画像は図2に示す
A/D変換部150により得られていると仮定する。な
お、通常の距離画像は図2のようにしてデジタル化して
与えられるものである。
[Second Embodiment] This is an embodiment in which each pixel value of a range image is predicted from neighboring pixel values and applied to a predictive coding method for coding the residual signal. Here, as shown in FIG. 2, the distance image is obtained by converting an analog distance image measured by the distance image sensor into a discrete time signal by the sampling unit 151 and converting the analog distance image into a discrete value signal (digital distance image) by the quantization unit 152. It shall be obtained by conversion. The configuration of A / D conversion section 150 shown in FIG. 2 is basically the same as the configuration of sampling section 110 and quantization section 120 in FIG. 1, but quantum section 152 is generally used for quantization of an image signal. The difference is that a uniform quantizer is used. It is assumed that the distance images in each of the following examples are obtained by the A / D converter 150 shown in FIG. Note that a normal distance image is given by being digitized as shown in FIG.

【0019】図3に、本発明の第2の実施例における距
離画像符号化装置300の構成図を示す。距離画像を効
率的に符号化する手法として、距離画像を予測符号化す
る手法が考えられる。予測符号化は、隣接するピクセル
間の相関が高い性質に注目し、符号化効率を高める符号
化法の一つである。
FIG. 3 is a block diagram showing a range image coding apparatus 300 according to a second embodiment of the present invention. As a method of efficiently encoding a distance image, a method of predictively encoding a distance image can be considered. Predictive coding is one of the coding methods that focuses on the property of high correlation between adjacent pixels and improves coding efficiency.

【0020】図3において、予測部310は、入力され
た距離画像(デジタル距離画像データ)を、局所復号距
離画像を用いて予測する。例えば、距離画像z(x,
y)は、次式により予測される。
In FIG. 3, a prediction unit 310 predicts an input distance image (digital distance image data) using a locally decoded distance image. For example, the distance image z (x,
y) is predicted by the following equation.

【数5】 なお、予測に用いる局所復号距離画像の数は増やすこと
も可能である。すなわち、次数は増やすことができる。
最適な次数は、対象とする距離画像および輝度画像の統
計的性質によって決定される。
(Equation 5) Note that the number of local decoding distance images used for prediction can be increased. That is, the order can be increased.
The optimal order is determined by the statistical properties of the target distance image and luminance image.

【0021】差分検出部320は、入力された距離画像
と予測信号(予測値)との残差信号すなわち予測誤差を
検出する。ここで、残差信号は次式で表される。
The difference detection section 320 detects a residual signal between the input distance image and the prediction signal (prediction value), that is, a prediction error. Here, the residual signal is represented by the following equation.

【数6】 量子化部330は、残差信号を、例えば、次式により量
子化する。
(Equation 6) The quantization unit 330 quantizes the residual signal by, for example, the following equation.

【数7】 但し、(Equation 7) However,

【数8】 予測符号化の場合、残差信号の量子化誤差は再生画像の
誤差に相当することから、残差信号の量子化誤差を決定
するδを、次式のように、距離zの2乗に比例するよう
に設定する。
(Equation 8) In the case of predictive coding, since the quantization error of the residual signal corresponds to the error of the reproduced image, δ that determines the quantization error of the residual signal is proportional to the square of the distance z as in the following equation. Set to

【数9】 但し、zmax距離画像の最大値で、16ビット画像の場
合zmax=216−1=65535となる。QSF(Qu
antization Scale Factor)
は、符号化品質を制御するパラメータであり、QSFが
小さいほど高品質な画像が保存できる。QSFが0の場
合、常にδ=0より可逆符号化となり、QSFが“n”
の場合、最大“n”の誤差を許容する準可逆符号化とな
る。
(Equation 9) However, the maximum value of the z max distance image is z max = 2 16 −1 = 65535 for a 16-bit image. QSF (Qu
(Analysis Scale Factor)
Is a parameter for controlling the coding quality, and the smaller the QSF, the higher the quality of the stored image. When QSF is 0, lossless encoding is always performed from δ = 0, and QSF is “n”.
In this case, the quasi-reversible coding allows a maximum of “n” errors.

【0022】可変長符号化部340は、量子化された残
差信号を、可変長符号化によりエントロピー符号化し保
存・伝送する。
The variable-length encoding unit 340 entropy-encodes the quantized residual signal by variable-length encoding, and stores and transmits it.

【0023】一方、逆量子化部350は、量子化された
残差信号を逆量子化し、加算部360は、逆量子化され
た残差信号と予測部310で予測された予測信号を加算
する。この加算部360の出力が予測部301にフィー
ドバックされて、次の予測のための局所復号距離画像に
用いられる。
On the other hand, inverse quantization section 350 inversely quantizes the quantized residual signal, and addition section 360 adds the inversely quantized residual signal to the prediction signal predicted by prediction section 310. . The output of the addition section 360 is fed back to the prediction section 301 and used for a local decoded distance image for the next prediction.

【0024】図4に、本発明の第2の実施例における距
離画像復号化装置400の構成図を示す。エントロピー
符号化された符号化データを、可変長復号化部410に
おいて復号した後、逆量子化部420において逆量子化
を行い、距離画像の残差信号を復元する。逆量子化は
FIG. 4 shows a configuration diagram of a range image decoding apparatus 400 according to the second embodiment of the present invention. After the encoded data subjected to the entropy encoding is decoded by the variable length decoding unit 410, the inverse quantization unit 420 performs inverse quantization to restore the residual signal of the distance image. Inverse quantization is

【数10】 により計算される。ここで、量子化幅δは式(9)によ
り計算する。
(Equation 10) Is calculated by Here, the quantization width δ is calculated by Expression (9).

【0025】逆量子化後の信号e'(x,y)と残差信号
e(x,y)には
The signal e ′ (x, y) after inverse quantization and the residual signal e (x, y) are

【数11】 の関係が成立し、量子化誤差は±δ以内となる。[Equation 11] Holds, and the quantization error is within ± δ.

【0026】予測信号復号化部430は、得られた残差
信号、予測信号近傍の復号済み距離画像の性質を用いて
距離画像を再生する。再生画像z'(x,y)は、次式で
求められる。
The prediction signal decoding unit 430 reproduces a distance image using the obtained residual signal and the properties of the decoded distance image near the prediction signal. The reproduced image z '(x, y) is obtained by the following equation.

【数12】 ここで、予測信号は符号化および復号化において同じ演
算処理であり、再生画像z'(x,y)に含まれる推定誤
差は残差信号の量子化誤差そのものとなることがわか
る。
(Equation 12) Here, it can be seen that the prediction signal has the same arithmetic processing in encoding and decoding, and the estimation error included in the reproduced image z ′ (x, y) is the quantization error of the residual signal itself.

【0027】[第3実施例]これは、距離画像と輝度画
像の相関を利用して、距離画像を予測符号化する方式に
適用する実施例である。図5に、本発明の第3の実施例
の全体的構成図を示す。図5において、500は距離画
像符号化装置であり、600は距離画像符号化装置であ
る。
[Third Embodiment] This is an embodiment applied to a method of predictive coding of a distance image by utilizing the correlation between the distance image and the luminance image. FIG. 5 shows an overall configuration diagram of the third embodiment of the present invention. In FIG. 5, reference numeral 500 denotes a range image coding device, and 600 denotes a range image coding device.

【0028】距離画像符号化装置500では、入力され
たカラー画像を、カラー画像符号化部1にて符号化する
と同時に、輝度画像抽出部520にて輝度画像に変換す
る。入力カラー画像が例えばRGB画像データならば、
輝度画像抽出部520は、各画素のR,G,B成分より
輝度成分を算出して輝度画像データを生成する。入力カ
ラー画像が例えばYCrCb画像データのような輝度プ
レーンを含むものならば、輝度画像抽出部520は、そ
の輝度プレーンすなわち各画素のY成分のみを抽出する
ことによって輝度画像データを生成する。距離画像符号
化部530は、距離画像と輝度画像を入力して、距離画
像の残差信号を距離画像センサからの距離の2乗に比例
して量子化し、符号化する。多重化部540は、カラー
画像の符号化データと距離画像の符号化データを多重化
し、通信網もしくは記録媒体を経由して情報を伝送す
る。
In the range image encoding device 500, the input color image is encoded by the color image encoding unit 1 and is converted into a luminance image by the luminance image extracting unit 520. If the input color image is, for example, RGB image data,
The luminance image extracting unit 520 calculates a luminance component from the R, G, and B components of each pixel to generate luminance image data. If the input color image includes a luminance plane such as YCrCb image data, the luminance image extracting unit 520 generates luminance image data by extracting only the luminance plane, that is, the Y component of each pixel. Distance image encoding section 530 receives the distance image and the luminance image, and quantizes and encodes the residual signal of the distance image in proportion to the square of the distance from the distance image sensor. The multiplexing unit 540 multiplexes the encoded data of the color image and the encoded data of the distance image, and transmits information via a communication network or a recording medium.

【0029】距離画像符号化装置600では、分離部6
10によりカラー画像と距離画像の各符号化データを分
離する。カラー画像の符号化データはカラー画像復号化
部620によりカラー画像と輝度画像に復号される。距
離画像復号化部630では、距離画像の符号データと輝
度画像とから距離画像を復号化する。
In the distance image coding apparatus 600, the separation unit 6
10 separates each encoded data of the color image and the distance image. The encoded data of the color image is decoded by the color image decoding unit 620 into a color image and a luminance image. The range image decoding unit 630 decodes the range image from the code data of the range image and the luminance image.

【0030】距離画像と輝度画像は高い相関を持つこと
が知られている。先に本出願人が提案した特願2000
−239913号によれば、距離画像z(x,y)は、
その近傍の信号と輝度画像I(x,y)を用いて、例え
ば次式により予測できる。
It is known that a distance image and a luminance image have a high correlation. Japanese Patent Application 2000 previously proposed by the present applicant
According to -239913, the distance image z (x, y) is
Using the signals in the vicinity and the luminance image I (x, y), the prediction can be made, for example, by the following equation.

【数13】 なお、予測に用いる距離画像および輝度画像の数は、増
やすことも可能である。すなわち、次数は増やすことが
できる。最適な次数は、対象とする距離画像および輝度
画像の統計的性質によって決定される。
(Equation 13) Note that the number of distance images and luminance images used for prediction can be increased. That is, the order can be increased. The optimal order is determined by the statistical properties of the target distance image and luminance image.

【0031】残差信号は次式で表される。The residual signal is represented by the following equation.

【数14】 これは、先の式(6)と同様である。この残差信号を量
子化し、エントロピー符号化する。ここで、量子化は式
(7)、(8)により行われ、量子化幅δは式(9)に
より計算する。
[Equation 14] This is similar to equation (6) above. This residual signal is quantized and entropy coded. Here, the quantization is performed by equations (7) and (8), and the quantization width δ is calculated by equation (9).

【0032】再生画像z'(x,y)は、The reproduced image z '(x, y) is

【数15】 により計算される。ここで、予測信号は符号化および復
号化において同じ演算処理であり、式(13)によって
計算される。したがって、再生画像z'(x,y)に含ま
れる推定誤差は残差信号の量子化誤差そのものとなるこ
とがわかる。
[Equation 15] Is calculated by Here, the prediction signal has the same arithmetic processing in encoding and decoding, and is calculated by Expression (13). Therefore, it can be seen that the estimation error included in the reproduced image z ′ (x, y) is the quantization error of the residual signal itself.

【0033】図6乃至図9に、図5の距離画像符号化装
置500における距離画像符号化部530の第1の構成
例を示す。これは、符号化対象である距離画像をブロッ
クに分割し、ブロックごとに予測器および量子化幅を切
り換えて予測処理する実施形態である。
FIGS. 6 to 9 show a first configuration example of the distance image encoding unit 530 in the distance image encoding device 500 of FIG. This is an embodiment in which a distance image to be encoded is divided into blocks, and a prediction process is performed by switching a predictor and a quantization width for each block.

【0034】図6は距離画像予測符号化部530の全体
的構成図であり、距離画像のブロック分割部531、輝
度画像のブロック分割部532及び予測符号化処理部5
33からなる。図6において、距離画像と輝度画像はブ
ロック分割部531,532にてそれぞれ一定の大きさ
のブロックに分割される。予測符号化処理部533は、
このブロック毎に予測処理を行い、残差信号をエントロ
ピー符号化する。
FIG. 6 is an overall configuration diagram of the distance image predictive encoding unit 530. The distance image block dividing unit 531, the luminance image block dividing unit 532, and the predictive encoding processing unit 5
It consists of 33. In FIG. 6, the distance image and the luminance image are divided into blocks of a fixed size by block dividing units 531 and 532, respectively. The prediction encoding processing unit 533 includes:
A prediction process is performed for each block, and the residual signal is entropy-encoded.

【0035】図7は予測符号処理部533の全体的構成
図であり、前処理部5330と符号化データ生成部53
40からなる。図8に前処理部5330の具体的構成例
を示し、図9に符号化データ生成部5340の具体的構
成例を示す。図9の符号化データ生成部5340は図3
と基本的には同様の構成である。
FIG. 7 is a diagram showing the overall configuration of the prediction code processing unit 533. The pre-processing unit 5330 and the encoded data generation unit 53
It consists of forty. FIG. 8 shows a specific configuration example of the preprocessing unit 5330, and FIG. 9 shows a specific configuration example of the encoded data generation unit 5340. The encoded data generation unit 5340 in FIG.
It is basically the same configuration.

【0036】予測符号化処理部533では、まず、前処
理部5330において、予測係数演算部5331はブロ
ック内距離画像と輝度画像の値を用いて予測係数を計算
し、量子化ステップサイズ演算部5332はブロック内
距離画像の値を用いて量子化ステップサイズ(量子化
幅)を計算する。
In the predictive coding processing section 533, first, in the preprocessing section 5330, the predictive coefficient calculating section 5331 calculates a predictive coefficient using the values of the intra-block distance image and the luminance image, and a quantization step size calculating section 5332. Calculates the quantization step size (quantization width) using the value of the intra-block distance image.

【0037】ここで、予測係数演算は、予測誤差の分散
を最小にする予測係数を最小自乗法により求めるもので
あり、ここでは、式(13)の右辺と距離画像z(x,
y)の差の分散が最小となる予測係数c1,c2,c
3,c4を算出する。量子化幅は、ここでは式(9)に
より計算する。式(9)において、距離zは、ブロック
内距離画像を用いて、距離画像センサからの距離の平均
Here, in the prediction coefficient calculation, a prediction coefficient for minimizing the variance of the prediction error is obtained by the least square method. Here, the right side of the equation (13) and the distance image z (x,
prediction coefficients c1, c2, c that minimize the variance of the difference y)
3 and c4 are calculated. Here, the quantization width is calculated by Expression (9). In Expression (9), the distance z is an average value of the distance from the distance image sensor using the in-block distance image.

【数16】 で与える。(Equation 16) Give in.

【0038】次に、符号化データ生成部5340におい
て、予測部5341は、得られた予測係数を用いて式
(13)により予測信号を生成し、差分検出部5342
は式(14)により残差信号を生成し、量子化部534
3は、式(7),(8)により残差信号を量子化する。
具体的には、得られた量子化ステップサイズを用いて量
子化幅を切り換えて量子化する。可変長符号化部534
4は、量子化された残差信号をエントロビー符号化す
る。このエントロビー符号化された残差信号(符号化デ
ータ)、及び、その付加情報として予測係数と量子化幅
(量子化ステップサイズ)が復号側に伝送される。一
方、逆量子化部5345は、量子化された残差信号を逆
量子化し、加算部5346は、逆量子化された残差信号
と予測部5341で予測された予測信号を加算して予測
部5341にフィードバックする。
Next, in the coded data generation unit 5340, the prediction unit 5341 generates a prediction signal by the equation (13) using the obtained prediction coefficient, and generates a difference detection unit 5342.
Generates a residual signal according to equation (14), and generates
3 quantizes the residual signal according to equations (7) and (8).
Specifically, the quantization is performed by switching the quantization width using the obtained quantization step size. Variable length coding section 534
4 entropy-codes the quantized residual signal. The residual signal (coded data) subjected to the entropy coding and the prediction coefficient and the quantization width (quantization step size) as the additional information are transmitted to the decoding side. On the other hand, the inverse quantization unit 5345 inversely quantizes the quantized residual signal, and the addition unit 5346 adds the inversely quantized residual signal to the prediction signal predicted by the prediction unit 5341 to obtain a prediction unit. Feedback to 5341.

【0039】このように、予測処理の対象をブロック単
位にすることで、予測モデルの精度が向上するため、よ
り高い圧縮率の符号化が可能となる。
As described above, by performing prediction processing in units of blocks, the accuracy of the prediction model is improved, so that encoding with a higher compression ratio can be performed.

【0040】図10に、図5の距離画像復号化装置60
0における距離画像復号化部630として、上述したブ
ロックごとに予測器および量子化幅を切り換えて予測処
理する実施形態に対応する構成例を示す。図10におい
て、ブロックごとにエントロピー符号化された符号化デ
ータを、可変長復号化部631において復号し、逆量子
化部632において量子化幅(量子化ステップサイズ)
を用いて逆量子化を行い、距離画像の残差信号を復元す
る。予測信号復号部633では、残差信号とブロック輝
度画像および付加情報の予測係数を用いてブロック距離
画像を復号化する。
FIG. 10 shows a range image decoding apparatus 60 shown in FIG.
As the distance image decoding unit 630 at 0, a configuration example corresponding to the above-described embodiment in which a prediction process is performed by switching a predictor and a quantization width for each block will be described. In FIG. 10, encoded data that has been entropy-encoded for each block is decoded by a variable-length decoding unit 631, and a quantization width (quantization step size) is calculated by an inverse quantization unit 632.
Is used to perform inverse quantization to restore the residual signal of the range image. The prediction signal decoding unit 633 decodes the block distance image using the residual signal, the block luminance image, and the prediction coefficient of the additional information.

【0041】次に、図11に、図5の距離画像符号化装
置500における距離画像予測符号化部503の第2の
構成例を示す。これは、符号化対象である距離画像を各
画素毎に予測器および量子化幅を切り換えて予測処理す
る実施形態である。
Next, FIG. 11 shows a second configuration example of the distance image predictive encoding unit 503 in the distance image encoding device 500 of FIG. This is an embodiment in which a predicting process is performed on a range image to be encoded by switching a predictor and a quantization width for each pixel.

【0042】図11において、距離画像符号化部530
は、距離画像と輝度画像を入力して、距離画像を画素ご
とに予測処理を行い、残差信号をエントロピー符号化す
る。全体の動作は、図9と基本的に同様であるので説明
を省略する。予測係数選択部770では、あらかじめ用
意された数種類の予測器を、予測信号近傍の復号済み距
離画像の性質を用いて選択する。残差信号の量子化は式
(8)により行われ、量子化幅δは式(9)により計算
する。量子化ステップサイズ演算部780では、式
(9)における距離zを、式(17)のように、予測信
号近傍の復号済み距離画像を用いて推定された距離画像
センサからの距離を用いて決定する。
In FIG. 11, distance image coding section 530
Inputs a distance image and a luminance image, performs a prediction process on the distance image for each pixel, and entropy-encodes the residual signal. The overall operation is basically the same as that of FIG. 9 and will not be described. The prediction coefficient selection unit 770 selects several types of predictors prepared in advance using the properties of the decoded distance image near the prediction signal. The quantization of the residual signal is performed by Expression (8), and the quantization width δ is calculated by Expression (9). The quantization step size calculation unit 780 determines the distance z in Expression (9) using the distance from the distance image sensor estimated using the decoded distance image near the prediction signal as in Expression (17). I do.

【数17】 [Equation 17]

【0043】このモデルでは、予測信号近傍の復号済み
距離画像を用いているため予測係数および量子化幅の付
加情報の伝送を必要としない。画素ごとに適応処理する
ことで、ブロック処理よりもさらなる符号化効率の向上
が期待できる。
In this model, the use of the decoded distance image near the prediction signal does not require the transmission of the additional information of the prediction coefficient and the quantization width. By performing the adaptive processing for each pixel, it is expected that the coding efficiency will be further improved as compared with the block processing.

【0044】図12に、図5の距離画像復号化装置60
0における距離画像復号化部630として、上述した各
画素毎に予測器および量子化幅を切り換えて予測処理す
る実施形態に対応する構成例を示す。図12において、
画像ごとにエントロピー符号化された符号化データを、
可変長符号化部810において復号し、逆量子化部82
0において、予測信号近傍の復号済み距離画像の性質を
用いて選択された予測器および予測信号近傍の復号済み
距離画像を用いて推定された量子化幅を用いて逆量子化
を行い、距離画像の残差信号を復元する。予測信号復号
化部830では、得られた残差信号と輝度画像を用いて
距離画像を復号化する。
FIG. 12 shows a range image decoding apparatus 60 shown in FIG.
As the distance image decoding unit 630 at 0, a configuration example corresponding to the above-described embodiment in which a prediction process is performed by switching a predictor and a quantization width for each pixel will be described. In FIG.
Encoded data that has been entropy-encoded for each image,
Decoding is performed in the variable length coding unit 810, and the
0, inverse quantization is performed using the predictor selected using the property of the decoded distance image near the prediction signal and the quantization width estimated using the decoded distance image near the prediction signal, and the distance image Is restored. The prediction signal decoding unit 830 decodes the distance image using the obtained residual signal and the luminance image.

【0045】[第4実施例]これは、ブロックごとに距
離画像を予測符号化する符号化法において、ブロック内
の信号が定常である場合には統計的手法により予測計測
を推定し、非定常の場合には固定予測器を用いて予測符
号化するものである。
[Fourth Embodiment] In a coding method for predictively coding a distance image for each block, when a signal in a block is stationary, a prediction measurement is estimated by a statistical method, and a non-stationary signal is estimated. In the case of (1), predictive coding is performed using a fixed predictor.

【0046】図13に、本実施例の説明図を示す。ま
ず、入力されたブロック内の距離信号が定常であるか非
定常であるかを判断する。定常である場合、最小二乗法
などの統計的手法を用いて予測係数を推定し、非定常性
が強い場合には最小二乗法などの統計的手法では適切な
予測係数を推定できない固定予測器を用いる。決定され
た予測係数を用いて符号化を行う。これは、例えば図8
の前処理部で行うようにする。この前処理により、さら
に符号化効率が上昇する。
FIG. 13 is an explanatory diagram of this embodiment. First, it is determined whether the input distance signal in the block is stationary or non-stationary. If it is stationary, estimate the prediction coefficients using a statistical method such as the least squares method.If the non-stationarity is strong, use a fixed predictor that cannot estimate an appropriate prediction coefficient using a statistical method such as the least squares method. Used. Encoding is performed using the determined prediction coefficient. This is, for example, FIG.
In the pre-processing unit. This preprocessing further increases the coding efficiency.

【0047】次に、本発明によるシミュレーション結果
を示す。具体的には、画像サイズが192×192の距
離画像に対して、本発明による符号化特性を検証した。
まず、距離画像に対する予測符号化法の有効性を検証す
るために、可逆予測符号化を行った。図14に演算結果
を示す。ここで、固定予測は、予測に固定予測器
Next, simulation results according to the present invention will be shown. Specifically, the coding characteristics according to the present invention were verified for a distance image having an image size of 192 × 192.
First, lossless predictive coding was performed to verify the effectiveness of the predictive coding method for range images. FIG. 14 shows the calculation results. Here, fixed prediction is a fixed predictor

【数18】 を用いたものである。また、ブロック処理は、ブロック
ごとに最小二乗法により予測係数を推定したモデルであ
る。
(Equation 18) Is used. The block processing is a model in which prediction coefficients are estimated for each block by the least squares method.

【0048】なお、ブロック内信号の非定常性が強い場
合には、予測器は式(18)を適用した。小ブロックの
大きさは8×8とした。エントロピーは、0.8882
=0.7692(残差信号)+0.1058(予測係
数)+0.0132(予測方法)となっており、予測係
数等の付加情報量込みの値である。ここで、0.013
2(予測方法)は、予測器として最小二乗法により予測
係数を推定したモデルを使用したか、式(18)を使用
したかを識別するための付加情報量である。
When the unsteadiness of the signal in the block is strong, the predictor employs the equation (18). The size of the small block was 8 × 8. The entropy is 0.8882
= 0.7692 (residual signal) + 0.1058 (prediction coefficient) + 0.0132 (prediction method), which is a value including the amount of additional information such as a prediction coefficient. Here, 0.013
2 (prediction method) is an additional information amount for identifying whether a model whose prediction coefficient is estimated by the least squares method or a formula (18) is used as a predictor.

【0049】図14より、いずれの手法を用いた場合に
おいても、エントロピーが原画像の1/3以下に減少し
ていることがわかり、距離画像に対しても予測符号が有
効であることがわかる。
It can be seen from FIG. 14 that the entropy is reduced to 1/3 or less of the original image in any case, and that the prediction code is effective for the distance image. .

【0050】次に、同じ距離画像に対して、画素適応処
理により準可逆符号化を施した結果を図15に示す。横
軸はQSFであり、縦軸はエントロピーを示している。
なお、予測器は可逆符号化の場合と等しく数(18)を
用いた。図15より、許容誤差すなわちQSFが増加す
るにつれて、エントロピーが減少することがわかる。Q
SF=4まで誤差を許容すると、可逆符号化(QSF=
0)と比較して約1/2程度まで情報量が削減できる。
Next, FIG. 15 shows the result of quasi-reversible encoding performed on the same distance image by pixel adaptive processing. The horizontal axis indicates QSF, and the vertical axis indicates entropy.
Note that the predictor used the number (18) as in the case of the lossless encoding. FIG. 15 shows that the entropy decreases as the allowable error, that is, the QSF increases. Q
If an error is allowed up to SF = 4, lossless encoding (QSF =
0), the amount of information can be reduced to about 1/2.

【0051】[0051]

【発明の効果】以上説明したように、本発明によれば、
距離画像の測定分解能が物体表面各点において異なるこ
とを利用して、距離画像の各部分をそれぞれ異なる量子
化幅で量子化することで、実質的な距離情報を保持した
まま高い符号化効率が実現できる。
As described above, according to the present invention,
By utilizing the fact that the measurement resolution of the distance image is different at each point on the object surface, each part of the distance image is quantized with a different quantization width, so that high coding efficiency can be achieved while retaining substantial distance information. realizable.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施例の全体的構成図である。FIG. 1 is an overall configuration diagram of a first embodiment of the present invention.

【図2】一般的な距離画像を得るための説明図である。FIG. 2 is an explanatory diagram for obtaining a general distance image.

【図3】本発明の第2の実施例の距離画像符号化装置の
構成図である。
FIG. 3 is a configuration diagram of a range image encoding device according to a second embodiment of the present invention.

【図4】本発明の第2の実施例の距離画像復号化装置の
構成図である。
FIG. 4 is a configuration diagram of a range image decoding device according to a second embodiment of the present invention.

【図5】本発明の第3の実施例の全体的構成図である。FIG. 5 is an overall configuration diagram of a third embodiment of the present invention.

【図6】本発明の第3の実施例の距離画像予測符号化部
の全体的構成図である。
FIG. 6 is an overall configuration diagram of a range image predictive encoding unit according to a third embodiment of the present invention.

【図7】図6中の予測符号化処理部の概略構成図であ
る。
FIG. 7 is a schematic configuration diagram of a prediction encoding processing unit in FIG. 6;

【図8】図7中の前処理部の具体的構成図である。FIG. 8 is a specific configuration diagram of a preprocessing unit in FIG. 7;

【図9】図7中の符号化データ生成部の具体的構成図で
ある。
FIG. 9 is a specific configuration diagram of an encoded data generation unit in FIG. 7;

【図10】図9に対応する距離画像復号化部の具体的構
成図である。
FIG. 10 is a specific configuration diagram of a range image decoding unit corresponding to FIG. 9;

【図11】本発明の第3の実施例の距離画像予測符号化
部の他の実施形態の構成図である。
FIG. 11 is a configuration diagram of another embodiment of the range image predictive encoding unit according to the third example of the present invention.

【図12】図11に対応する距離画像復号化部の具体的
構成図である。
FIG. 12 is a specific configuration diagram of a range image decoding unit corresponding to FIG. 11;

【図13】本発明の第4の実施例を説明する図である。FIG. 13 is a diagram for explaining a fourth embodiment of the present invention.

【図14】本発明の具体的シミュレーション結果を示す
表である。
FIG. 14 is a table showing specific simulation results of the present invention.

【図15】本発明の具体的シミュレーション結果を示す
グラフである。
FIG. 15 is a graph showing a specific simulation result of the present invention.

【図16】距離画像の測定原理を示す図である。FIG. 16 is a diagram illustrating the principle of measuring a distance image.

【図17】同じく距離画像の測定原理を示す図である。FIG. 17 is a diagram showing the principle of measuring a distance image.

【符号の説明】[Explanation of symbols]

100 距離画像符号化装置 110 標本化部 120 量子化部 130 符号化部 200 距離画像復号化装置 210 復号部 220 逆量子化部 500 距離画像符号化装置 510 カラー画像符号化部 520 輝度画像抽出部 530 距離画像予測符号化部 540 多重化部 600 距離画像復号化装置 610 分離部 620 カラー画像復号化部 630 距離画像復号化部 REFERENCE SIGNS LIST 100 distance image encoding device 110 sampling unit 120 quantization unit 130 encoding unit 200 distance image decoding device 210 decoding unit 220 inverse quantization unit 500 distance image encoding device 510 color image encoding unit 520 luminance image extraction unit 530 Range image prediction coding unit 540 Multiplexing unit 600 Range image decoding device 610 Separation unit 620 Color image decoding unit 630 Distance image decoding unit

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 KK08 LB01 MA04 MA19 MA45 MD03 ME01 PP01 PP13 SS06 SS11 TA53 TB08 TB10 TC31 TC47 TD20 UA02 UA05 5C061 AA21 AA25 AB04 AB08 AB12 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5C059 KK08 LB01 MA04 MA19 MA45 MD03 ME01 PP01 PP13 SS06 SS11 TA53 TB08 TB10 TC31 TC47 TD20 UA02 UA05 5C061 AA21 AA25 AB04 AB08 AB12

Claims (14)

【特許請求の範囲】[Claims] 【請求項1】 距離画像センサで測定された物体表面各
点までの距離情報を各ピクセル値として持つ距離画像の
符号化方法であって、 距離画像の各部分ごとに、当該部分に対する距離画像セ
ンサの分解能に基づいて量子化幅を設定して、距離画像
を量子化し、符号化すること特徴とする距離画像符号化
方法。
1. A method of encoding a distance image having, as each pixel value, distance information to each point on an object surface measured by the distance image sensor, wherein for each part of the distance image, a distance image sensor for the part is provided. A distance image encoding method characterized in that a quantization width is set based on the resolution of the distance image, and the distance image is quantized and encoded.
【請求項2】 請求項1記載の距離画像符号化方法にお
いて、距離画像の各部分の量子化幅は、当該部分に対す
る距離画像センサの分解能の高さに対して単調減少して
設定することを特徴とする距離画像符号化方法。
2. The range image encoding method according to claim 1, wherein the quantization width of each part of the range image is set so as to decrease monotonically with respect to the height of the resolution of the range image sensor for the part. Characteristic distance image coding method.
【請求項3】 請求項1記載の距離画像符号化方法にお
いて、距離画像の各部分の量子化幅は、当該部分と距離
画像センサとの距離に対して2乗に比例して設定するこ
とを特徴とする距離画像符号化方法。
3. The distance image encoding method according to claim 1, wherein the quantization width of each part of the distance image is set in proportion to the square of the distance between the part and the distance image sensor. Characteristic distance image coding method.
【請求項4】 請求項1乃至3記載の距離画像符号化方
法において、距離画像の各ピクセル値を隣接するピクセ
ル値から予測し、その残差信号を量子化・符号化する予
測符号化法に適用することを特徴とする距離画像符号化
方法。
4. The distance image encoding method according to claim 1, wherein each pixel value of the distance image is predicted from adjacent pixel values, and a residual signal thereof is quantized and encoded. A range image coding method characterized by being applied.
【請求項5】 請求項4記載の距離画像符号化方法にお
いて、符号化対象である距離画像を各画素毎ごとに予測
器および量子化幅を切り換えて予測処理することを特徴
とする距離画像符号化方法。
5. The range image coding method according to claim 4, wherein the range image to be coded is subjected to a prediction process by switching a predictor and a quantization width for each pixel. Method.
【請求項6】 請求項1乃至3記載の距離画像符号化方
法において、距離画像の各ピクセル値を、隣接するピク
セル値と輝度画像の対応ピクセル値から予測し、その残
差信号を量子化・符号化する予測符号化法に適用するこ
とを特徴とする距離画像符号化方法。
6. The distance image encoding method according to claim 1, wherein each pixel value of the distance image is predicted from an adjacent pixel value and a corresponding pixel value of the luminance image, and a residual signal thereof is quantized. A range image coding method characterized by being applied to a predictive coding method to be coded.
【請求項7】 請求項4、6記載の距離画像符号化方法
において、符号化対象である距離画像をブロックに分割
し、ブロックごとに予測器および量子化幅を切り換えて
予測処理することを特徴とする距離画像符号化方法。
7. The distance image encoding method according to claim 4, wherein the distance image to be encoded is divided into blocks, and a prediction process is performed by switching a predictor and a quantization width for each block. Distance image encoding method.
【請求項8】 請求項7記載の距離画像符号化方法にお
いて、ブロック内の信号が定常である場合には統計的に
予測計測を推定し、非定常の場合には固定予測器で予測
符号化することを特徴とする距離画像符号化方法。
8. The distance image encoding method according to claim 7, wherein when the signal in the block is stationary, the prediction measurement is statistically estimated, and when the signal in the block is non-stationary, the prediction encoding is performed by a fixed predictor. A distance image encoding method.
【請求項9】 距離画像符号化データを復号化する距離
画像復号化方法であって、請求項1乃至4記載の距離画
像符号化方法で符号化された符号化データを、各部分の
量子化幅に基づいて逆量子化することを特徴とする距離
画像復号化方法。
9. A range image decoding method for decoding range image encoded data, wherein the encoded data encoded by the range image encoding method according to claim 1 is quantized into respective parts. A range image decoding method, wherein inverse quantization is performed based on a width.
【請求項10】 距離画像符号化データを復号化する距
離画像復号化方法であって、請求項5記載の距離画像符
号化方法で符号化された符号化データを、各画素ごとに
符号化された距離画像の残差信号を用いて逆量子化する
ことを特徴とする距離画像復号化方法。
10. A distance image decoding method for decoding encoded distance image data, wherein the encoded data encoded by the distance image encoding method according to claim 5 is encoded for each pixel. A distance image decoding method, comprising: performing inverse quantization using a residual signal of the obtained distance image.
【請求項11】 距離画像符号化データを復号化する距
離画像復号化方法であって、請求項6記載の距離画像符
号化方法で符号化された符号化データを、各部分の量子
化幅に基づき、符号化された距離画像の残差信号と輝度
信号の値を用いて逆量子化することを特徴とする距離画
像復号化方法。
11. A distance image decoding method for decoding encoded distance image data, wherein the encoded data encoded by the distance image encoding method according to claim 6 is converted to a quantization width of each part. A distance image decoding method, comprising: performing inverse quantization using a value of a residual signal and a luminance signal of an encoded distance image based on the value.
【請求項12】 距離画像符号化データを復号化する距
離画像復号化方法であって、請求項7記載の距離画像符
号化方法で符号化された符号化データを、ブロック毎に
予測処理された距離画像の残差信号及び距離画像を用い
て逆量子化するすることを特徴とする距離画像復号化方
法。
12. A distance image decoding method for decoding encoded distance image data, wherein the encoded data encoded by the distance image encoding method according to claim 7 is predicted for each block. A range image decoding method, comprising performing inverse quantization using a residual signal of the range image and the range image.
【請求項13】 請求項1乃至8記載の距離画像符号化
方法を実現する機能を具備してなる距離画像符号化装
置。
13. A distance image encoding device having a function of realizing the distance image encoding method according to claim 1. Description:
【請求項14】 請求項9乃至12記載の距離画像復号
化方法を実現する機能を具備してなる距離画像復号化装
置。
14. A range image decoding device having a function of realizing the range image decoding method according to claim 9.
JP2000342688A 2000-11-09 2000-11-09 Method and device for encoding and decoding distance image Pending JP2002152776A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000342688A JP2002152776A (en) 2000-11-09 2000-11-09 Method and device for encoding and decoding distance image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000342688A JP2002152776A (en) 2000-11-09 2000-11-09 Method and device for encoding and decoding distance image

Publications (1)

Publication Number Publication Date
JP2002152776A true JP2002152776A (en) 2002-05-24

Family

ID=18817188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000342688A Pending JP2002152776A (en) 2000-11-09 2000-11-09 Method and device for encoding and decoding distance image

Country Status (1)

Country Link
JP (1) JP2002152776A (en)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227231A (en) * 2003-01-22 2004-08-12 Nippon Telegr & Teleph Corp <Ntt> Method, device, and program for burying three-dimensional information to image data
JP2008141666A (en) * 2006-12-05 2008-06-19 Fujifilm Corp Stereoscopic image creating device, stereoscopic image output device, and stereoscopic image creating method
US7403201B2 (en) 2003-01-20 2008-07-22 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
JP2009010557A (en) * 2007-06-27 2009-01-15 National Institute Of Information & Communication Technology Depth data output device, and depth data receiver
JP2009212664A (en) * 2008-03-03 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> Encoding method, decoding method, encoding device, decoding device, encoding program and decoding program, of distance information, and computer readable recording medium
JPWO2008053649A1 (en) * 2006-11-02 2010-02-25 コニカミノルタホールディングス株式会社 Wide-angle image acquisition method and wide-angle stereo camera device
JP2011095858A (en) * 2009-10-27 2011-05-12 Panasonic Electric Works Co Ltd Three-dimensional digitizer
WO2011118435A1 (en) * 2010-03-26 2011-09-29 ソニー株式会社 Image processor, image processing method, and program
JP2011211739A (en) * 2011-06-01 2011-10-20 Fujifilm Corp Stereoscopic vision image preparation device, stereoscopic vision image output device and stereoscopic vision image preparation method
JP2011527790A (en) * 2008-07-09 2011-11-04 プライムセンス リミテッド Integrated processing device for 3D mapping
US8374397B2 (en) 2005-10-11 2013-02-12 Primesense Ltd Depth-varying light fields for three dimensional sensing
US8390821B2 (en) 2005-10-11 2013-03-05 Primesense Ltd. Three-dimensional sensing using speckle patterns
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
JP2013157950A (en) * 2012-01-31 2013-08-15 Nippon Telegr & Teleph Corp <Ntt> Encoding method, decoding method, encoder, decoder, encoding program and decoding program
JP2013544449A (en) * 2010-09-08 2013-12-12 マイクロソフト コーポレーション Depth camera based on structured light and stereoscopic vision
JP2014502443A (en) * 2010-11-04 2014-01-30 コーニンクレッカ フィリップス エヌ ヴェ Depth display map generation
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
JP2015510288A (en) * 2011-12-29 2015-04-02 インテル コーポレイション Variable depth compression
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US9157790B2 (en) 2012-02-15 2015-10-13 Apple Inc. Integrated optoelectronic modules with transmitter, receiver and beam-combining optics for aligning a beam axis with a collection axis
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
JP2017073755A (en) * 2015-10-09 2017-04-13 キヤノン株式会社 Encoder and its control method, program and storage medium
JP2020120322A (en) * 2019-01-25 2020-08-06 日本放送協会 Distance image coding device and program of the same, and distance image decoding device and program of the same
GB2600527B (en) * 2020-08-27 2023-03-01 Extend Robotics Ltd Remote operation of robotic systems

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403201B2 (en) 2003-01-20 2008-07-22 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
JP2004227231A (en) * 2003-01-22 2004-08-12 Nippon Telegr & Teleph Corp <Ntt> Method, device, and program for burying three-dimensional information to image data
US8374397B2 (en) 2005-10-11 2013-02-12 Primesense Ltd Depth-varying light fields for three dimensional sensing
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
US9066084B2 (en) 2005-10-11 2015-06-23 Apple Inc. Method and system for object reconstruction
US8390821B2 (en) 2005-10-11 2013-03-05 Primesense Ltd. Three-dimensional sensing using speckle patterns
US8400494B2 (en) 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
US8269820B2 (en) 2006-11-02 2012-09-18 Konica Minolta Holdings, Inc. Wide-angle image acquiring method and wide-angle stereo camera device
JPWO2008053649A1 (en) * 2006-11-02 2010-02-25 コニカミノルタホールディングス株式会社 Wide-angle image acquisition method and wide-angle stereo camera device
JP2008141666A (en) * 2006-12-05 2008-06-19 Fujifilm Corp Stereoscopic image creating device, stereoscopic image output device, and stereoscopic image creating method
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
JP2009010557A (en) * 2007-06-27 2009-01-15 National Institute Of Information & Communication Technology Depth data output device, and depth data receiver
JP2009212664A (en) * 2008-03-03 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> Encoding method, decoding method, encoding device, decoding device, encoding program and decoding program, of distance information, and computer readable recording medium
JP2011527790A (en) * 2008-07-09 2011-11-04 プライムセンス リミテッド Integrated processing device for 3D mapping
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
JP2014209375A (en) * 2008-07-09 2014-11-06 プライムセンス リミテッド Integrated processor for 3d mapping
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
JP2011095858A (en) * 2009-10-27 2011-05-12 Panasonic Electric Works Co Ltd Three-dimensional digitizer
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
WO2011118435A1 (en) * 2010-03-26 2011-09-29 ソニー株式会社 Image processor, image processing method, and program
US8879840B2 (en) 2010-03-26 2014-11-04 Sony Corporation Image processor, image processing method, and program for shift-changing depth data of an image
JP2011205529A (en) * 2010-03-26 2011-10-13 Sony Corp Image processing apparatus, method, and program
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
JP2013544449A (en) * 2010-09-08 2013-12-12 マイクロソフト コーポレーション Depth camera based on structured light and stereoscopic vision
JP2014502443A (en) * 2010-11-04 2014-01-30 コーニンクレッカ フィリップス エヌ ヴェ Depth display map generation
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US9167138B2 (en) 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
JP2011211739A (en) * 2011-06-01 2011-10-20 Fujifilm Corp Stereoscopic vision image preparation device, stereoscopic vision image output device and stereoscopic vision image preparation method
US9626793B2 (en) 2011-12-29 2017-04-18 Intel Corporation Variable depth compression
JP2015510288A (en) * 2011-12-29 2015-04-02 インテル コーポレイション Variable depth compression
JP2013157950A (en) * 2012-01-31 2013-08-15 Nippon Telegr & Teleph Corp <Ntt> Encoding method, decoding method, encoder, decoder, encoding program and decoding program
US9157790B2 (en) 2012-02-15 2015-10-13 Apple Inc. Integrated optoelectronic modules with transmitter, receiver and beam-combining optics for aligning a beam axis with a collection axis
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
JP2017073755A (en) * 2015-10-09 2017-04-13 キヤノン株式会社 Encoder and its control method, program and storage medium
JP2020120322A (en) * 2019-01-25 2020-08-06 日本放送協会 Distance image coding device and program of the same, and distance image decoding device and program of the same
JP7257152B2 (en) 2019-01-25 2023-04-13 日本放送協会 Distance image coding device and its program, and distance image decoding device and its program
GB2600527B (en) * 2020-08-27 2023-03-01 Extend Robotics Ltd Remote operation of robotic systems
GB2613967A (en) * 2020-08-27 2023-06-21 Extend Robotics Ltd Remote operation of robotic systems
GB2613967B (en) * 2020-08-27 2024-01-03 Extend Robotics Ltd Remote operation of robotic systems

Similar Documents

Publication Publication Date Title
JP2002152776A (en) Method and device for encoding and decoding distance image
US11134263B2 (en) Moving picture decoding method and moving picture encoding method
KR101267178B1 (en) Method and device for encoding and decoding color enhancement layer for video
US6738423B1 (en) Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
US7016544B2 (en) Digital image encoding and decoding method and digital image encoding and decoding device using the same
JP2783534B2 (en) Encoding device
EP0734165A2 (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
US6785333B2 (en) Motion vector coding method
US11134242B2 (en) Adaptive prediction of coefficients of a video block
CN1177258A (en) Method and apparatus for encoding video signal of contour of object
EP1158806A1 (en) Motion vector coding
Ribas-Corbera et al. Optimizing block size in motion-compensated video coding
JP2007143176A (en) Compression method of motion vector
JP2002058031A (en) Method and apparatus for encoding image as well as method and apparatus for decoding image
US5706366A (en) Apparatus for encoding an image signal having a still object using an image warping technique
KR100442844B1 (en) Method for coding a contour of an object by using a central point and a coding device using the coding method, especially in connection with very effectively performing a contour coding in a moving image as well as a contour coding in a still image
JPH11112992A (en) Motion compensating picture encoder
JP2001061149A (en) Image coder of switching frame structure/field structure
JP3497664B2 (en) Stereoscopic image coding device
JP3032213B2 (en) Image encoding device and image decoding device
JPH09231377A (en) Outline approximating method and outline encoding device
KR0152014B1 (en) Method and apparauts for moving estimation in image data compression
JP2002152049A (en) Data processing apparatus and data processing method
JP4857152B2 (en) Orthogonal transformation / quantization equipment
KR100207397B1 (en) Method and apparatus for estimating motion of image in image encoder