JP2013123192A - Moving image encoder, moving image encoding system and moving image encoding program - Google Patents

Moving image encoder, moving image encoding system and moving image encoding program Download PDF

Info

Publication number
JP2013123192A
JP2013123192A JP2011271614A JP2011271614A JP2013123192A JP 2013123192 A JP2013123192 A JP 2013123192A JP 2011271614 A JP2011271614 A JP 2011271614A JP 2011271614 A JP2011271614 A JP 2011271614A JP 2013123192 A JP2013123192 A JP 2013123192A
Authority
JP
Japan
Prior art keywords
encoding
unit
data
quantization
slepian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011271614A
Other languages
Japanese (ja)
Other versions
JP5811823B2 (en
Inventor
Takashi Nishi
敬 西
Kazuhito Sakomizu
和仁 迫水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2011271614A priority Critical patent/JP5811823B2/en
Publication of JP2013123192A publication Critical patent/JP2013123192A/en
Application granted granted Critical
Publication of JP5811823B2 publication Critical patent/JP5811823B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a Wyner-Ziv frame encoder which can prevent encoding efficiency from being deteriorated when a difference between an original signal and side information estimated on the encoding side is small.SOLUTION: A Wyner-Ziv frame encoder includes: a Slepian-Wolf encoding section which Slepian-Wolf-encodes inputted data; and a quantization section which performs processing that generates data encoded in the Slepian-Wolf encoding section from an encoding object frame image and that includes quantization. The encoder also includes: a side information generation section which generates update candidate information from a reference frame image; and a quantization data update control section which updates data of the quantization section to update candidate information when the data generated in the quantization section largely differs from the update candidate information.

Description

本発明は動画像符号化装置、システム及びプログラムに関し、例えば、分散映像符号化方式(Distributed Video Coding:以下、DVC方式と呼ぶ)を用いたものに適用し得るものである。   The present invention relates to a moving image coding apparatus, system, and program, and can be applied to, for example, one using a distributed video coding method (hereinafter referred to as a DVC method).

近年、非特許文献1に記載されるようなDVC方式という新しい符号化方式が注目されている。   In recent years, a new encoding method called the DVC method as described in Non-Patent Document 1 has attracted attention.

このDVC方式は、動画像の符号化において、数フレームおき(一定間隔でなくても良い)のキーとなるいくつかのフレームの画像(以下、キーフレーム若しくはキーフレーム画像と呼ぶ)についてはフレーム内符号化を適用し(なお、キーフレームのいくつかに対して、フレーム間符号化方式を適用しても良い)、一方、その他のフレーム(若しくは全て)のフレーム(Wyner−Zivフレーム(非キーフレーム))については、時間方向の予測誤差信号の誤り訂正符号のみを符号化して伝送するものである。   In the DVC method, several frames of images (hereinafter referred to as key frames or key frame images) that become keys every few frames (not necessarily at regular intervals) are encoded within a frame. Encoding is applied (an inter-frame encoding method may be applied to some key frames), while other (or all) frames (Wyner-Ziv frames (non-key frames)) For ()), only the error correction code of the prediction error signal in the time direction is encoded and transmitted.

今日のDVC方式は、Slepian−Wolf定理及びWyner−Ziv定理という2つのキーとなる情報理論に基づいた新しい圧縮方式である。DVC方式は、Wyner−Zivフレーム符号化器で符号化するべき原画像(Wyner−Zivフレームの画像:以下、WZフレーム若しくはWZフレーム画像と呼ぶ)に対してSlepian−Wolf符号化処理を行い、その符号化データとWyner−Zivフレーム復号器側で得たWyner−Zivフレーム符号化器側の原画像の予測画像とを基にSlepian−Wolf復号を行う、新しい符号化方式である。   Today's DVC scheme is a new compression scheme based on two key information theories, the Slepian-Wolf theorem and the Wyner-Ziv theorem. In the DVC method, a Slepian-Wolf encoding process is performed on an original image to be encoded by a Wyner-Ziv frame encoder (an image of a Wyner-Ziv frame: hereinafter referred to as a WZ frame or a WZ frame image). This is a new encoding method in which Slepian-Wolf decoding is performed based on encoded data and a predicted image of an original image on the Wyner-Ziv frame encoder side obtained on the Wyner-Ziv frame decoder side.

非特許文献1に記載されるようなDVC方式は、キーフレームの符号化、復号には特徴がないので、以下、非特許文献1の図1を参照しながら、WZフレームの符号化、復号の面から説明する。なお、図7は、非特許文献1の図1をそのまま示した図面である。   The DVC method as described in Non-Patent Document 1 has no characteristics in encoding and decoding of key frames. Therefore, referring to FIG. 1 of Non-Patent Document 1, encoding and decoding of WZ frames will be described below. I will explain from the aspect. FIG. 7 is a drawing directly showing FIG. 1 of Non-Patent Document 1.

Wyner−Zivフレーム符号化器で、符号化するべきWZフレームを変換係数領域(周波数領域)に変換(DCT)した後、周波数領域における成分毎に、量子化(2MK level Quantizer)し、その量子化値(q)をビット列コードに変換し、各ビットの情報を、例えば、1フレーム分集めた情報(Extract bit−planes;ビットプレーン)毎にSlepian−Wolf符号化(Turbo Encoder)を行い、その結果のうち、パリティビットのみを一時保存(Buffer)し、情報ビットは捨てられる(非特許文献1の図1には明確に図示されていない)。 The Wyner-Ziv frame encoder converts (DCT) a WZ frame to be encoded into a transform coefficient domain (frequency domain), and then performs quantization (2 MK level Quantizer) for each component in the frequency domain, The converted value (q k ) is converted into a bit string code, and the information of each bit is subjected to, for example, Slepian-Wolf encoding (Turbo Encoder) for each information (Extract bit-planes) collected for one frame, Of the results, only the parity bits are temporarily stored (Buffer), and the information bits are discarded (not clearly shown in FIG. 1 of Non-Patent Document 1).

Wyner−Zivフレーム復号器では、予測画像を生成し(Interpolation/Extrapolation)、その予測画像を変換係数領域に変換(DCT)し、周波数領域における成分毎に、サイド情報(Side Information)としてSlepian−Wolf復号部(Turbo Decoder)に入力する。   In the Wyner-Ziv frame decoder, a predicted image is generated (Interpolation / Extrapolation), the predicted image is converted into a transform coefficient domain (DCT), and for each component in the frequency domain, a Slepian-Wolf is used as side information (Side Information). It inputs into a decoding part (Turbo Decoder).

Slepian−Wolf復号部は、Wyner−Zivフレーム符号化器に対して、一時保存しているパリティビットのうち一部に対して送信要求(Request bits)を行う。受信したパリティビットと、上述したサイド情報からSlepian−Wolf復号を行う。十分な復号が行えなかった場合には、再度、Wyner−Zivフレーム符号化器側にパリティビットの一部の追加送信要求(Request bits)を行い、受信したパリティビットと上述したサイド情報からSlepian−Wolf復号を行う。この処理を、十分な復号が行えるまで続ける。   The Slepian-Wolf decoding unit makes a transmission request (Request bits) to a part of the temporarily stored parity bits to the Wyner-Ziv frame encoder. Slepian-Wolf decoding is performed from the received parity bit and the side information described above. If sufficient decoding cannot be performed, the Wyner-Ziv frame encoder side again requests a part of the parity bit to be transmitted (Request bits), and from the received parity bit and the above side information, the Slepian- Wolf decoding is performed. This process is continued until sufficient decoding can be performed.

その後、Slepian−Wolf復号の復号値とサイド情報から変換係数を再構築し、逆変換(IDCT)することで復号画像を得る。   Thereafter, a transform coefficient is reconstructed from the decoded value of the Slepian-Wolf decoding and the side information, and a decoded image is obtained by performing inverse transform (IDCT).

上述した図7は、非特許文献1の記載に代表されるDVC方式の構成を示している。非特許文献1では、縦横の画素数が所定のブロックに対してDCT変換を行った後(transform−domain;変換係数領域)の情報(DCT係数)に符号化する方式を紹介しているが、符号化対象はこれに限定されるものではなく、DCT変換を実行せず、画素領域(pixel−domain)の情報の段階で符号化を行うものもある。   FIG. 7 described above shows the configuration of the DVC system represented by the description of Non-Patent Document 1. Non-Patent Document 1 introduces a method of encoding information (DCT coefficients) after DCT conversion is performed on a predetermined block with the number of vertical and horizontal pixels (transform-domain; conversion coefficient region). The encoding target is not limited to this, and there is also a coding target that does not perform DCT conversion but performs encoding at the pixel-domain information stage.

DVC方式は、Wyner−Zivフレーム(以下、WZフレームと略する)については、動画像符号化装置から動画像復号装置へ誤り訂正を実行するための情報(パリティビット若しくはシンドロームビット)を送信し、動画像復号装置において、キーフレームから予測したWZフレームの予測画像を、誤り訂正処理をし得るように変換した情報と、受信した誤り訂正を実行するための情報から、誤り訂正処理することで、動画像符号化装置が送信しようとした変換係数領域若しくは画素領域の情報を復号する。   In the DVC method, for Wyner-Ziv frames (hereinafter abbreviated as WZ frames), information (parity bits or syndrome bits) for error correction is transmitted from the moving image encoding device to the moving image decoding device, In the moving image decoding apparatus, by performing error correction processing from the information obtained by converting the predicted image of the WZ frame predicted from the key frame so that the error correction processing can be performed and the information for executing the received error correction, The information of the transform coefficient region or the pixel region that the moving image encoding device is to transmit is decoded.

非特許文献1の記載技術は、動画像符号化装置が、動画像復号装置からの要求があるごとに、誤り訂正を実行するための情報を徐々に送信するフィードバック制御を実行するものであった。従来、動画像復号装置は要求せずに、動画像符号化装置が、動画像復号装置で必要となる誤り訂正を実行するための情報の量(符号量)を決定し、その量に応じた誤り訂正を実行するための情報を送信するDVC方式も既に提案されている。このようなフィードバック制御をしないDVC方式については、例えば、非特許文献2に記載されている。   The technique described in Non-Patent Document 1 is that the video encoding device performs feedback control that gradually transmits information for performing error correction every time there is a request from the video decoding device. . Conventionally, a moving picture decoding apparatus determines the amount of information (code amount) for performing error correction required by the moving picture decoding apparatus without requiring a moving picture decoding apparatus, and according to the amount. A DVC method for transmitting information for performing error correction has also been proposed. The DVC method that does not perform such feedback control is described in Non-Patent Document 2, for example.

図8は、フィードバック制御をしないDVC方式に従う従来の動画像符号化装置の構成を示している。フィードバック制御をしないDVC方式については、例えば、非特許文献2に記載されている。図8は、WZフレームを変換係数領域で符号化する場合でも画素領域で符号化する場合でも適用可能なようにブロックに分けて図示しているが、以下では、画素領域で符号化するとし、Wyner−Zivフレーム符号化部102の処理を説明する。   FIG. 8 shows a configuration of a conventional moving picture encoding apparatus according to the DVC method that does not perform feedback control. For example, Non-Patent Document 2 describes a DVC system that does not perform feedback control. FIG. 8 illustrates the WZ frame divided into blocks so that it can be applied when encoding in the transform coefficient region or in the pixel region. In the following, it is assumed that encoding is performed in the pixel region. Processing of the Wyner-Ziv frame encoding unit 102 will be described.

Wyner−Zivフレーム符号化部102のサイド情報生成部103は、WZフレームの前後の少なくとも一方のキーフレームの符号化データを入力し、キーフレームの符号化データを局部復号してキーフレームに戻した後に、WZフレームの予測画像を生成し、生成されたWZフレームの予測画像を、複数画像を集めて画素領域で量子化し、その量子化値をビット列コードに変換した後、同一桁のビット毎にビットを集めたビットプレーンへ分割する。一方、WZフレーム画像が入力された量子化部104は、WZフレーム画像を、複数画像を集めて画素領域で量子化し、その量子化値をビット列コードに変換した後、同一ビット位置毎のビットを集めたビットプレーンヘ分割する。符号量制御部105は、サイド情報生成部103の出力と量子化部104の出力とから、送信符号量を計算し、Slepian−Wolf符号化部106は、量子化部104から入力されたビットプレーン毎のデータに対し、Turbo符号やLDPC符号といったSlepian−Wolf符号化を行い、送信符号量制御部105で計算された符号量に応じた誤り訂正符号(パリティビット若しくはシンドロームビット)を復号側へ送信する。   The side information generation unit 103 of the Wyner-Ziv frame encoding unit 102 inputs encoded data of at least one key frame before and after the WZ frame, and locally decodes the encoded data of the key frame and returns the key frame to the key frame. Later, a predicted image of the WZ frame is generated, and a plurality of the predicted images of the generated WZ frame are collected and quantized in the pixel region, and the quantized value is converted into a bit string code. Divide bits into collected bitplanes. On the other hand, the quantization unit 104 to which the WZ frame image is input collects a plurality of images and quantizes the WZ frame image in the pixel region, converts the quantized value into a bit string code, and then converts the bit at each bit position. Divide into collected bit planes. The code amount control unit 105 calculates a transmission code amount from the output of the side information generation unit 103 and the output of the quantization unit 104, and the Slepian-Wolf encoding unit 106 receives the bit plane input from the quantization unit 104. Each data is subjected to Slepian-Wolf encoding such as Turbo code or LDPC code, and an error correction code (parity bit or syndrome bit) corresponding to the code amount calculated by the transmission code amount control unit 105 is transmitted to the decoding side. To do.

WZフレーム画像とその予測画像とが類似しているほど、送信符号量は少なくても良い。送信符号量制御部105は、WZフレーム画像とその予測画像との類似度合を、量子化値を利用して判断するようにしている。   The more similar the WZ frame image and its predicted image, the smaller the transmission code amount. The transmission code amount control unit 105 determines the degree of similarity between the WZ frame image and the predicted image using a quantization value.

図8のWyner−Zivフレーム符号化部102に対応するWyner−Ziv復号部の構成は、図7に示した構成とほぼ同様である。但し、Slepian−Wolf復号部が符号化側に誤り訂正符号を要求しない点だけが異なっている。   The configuration of the Wyner-Ziv decoding unit corresponding to the Wyner-Ziv frame encoding unit 102 in FIG. 8 is almost the same as the configuration shown in FIG. However, the only difference is that the Slepian-Wolf decoding unit does not request an error correction code from the encoding side.

図9は、従来における画素領域での符号化と復号の流れを示している。図9は、後述する課題を分かりやすくするために、ある画素に注目して示している。   FIG. 9 shows a conventional flow of encoding and decoding in the pixel area. FIG. 9 focuses on a certain pixel in order to make it easier to understand a problem to be described later.

図9(A)に示すように、ある画素の原信号(□)が130、符号化側で推定したサイド情報(○)が120である場合を考える。また、簡単のために、ビットプレーンの数は、1(量子化サイズ=128)とする。図9(B1)に示すように、原信号(□)130は量子化値「1」に量子化され、サイド情報(○)は量子化値「0」に量子化される。異なる量子化値に量子化されたので、Slepian−Wolf符号化により、Slepian−Wolf符号がTurbo符号の場合にはパリティビット、Slepian−Wolf符号がLDPC符号化の場合はシンドロームビットが送信される。   As shown in FIG. 9A, consider a case where the original signal (□) of a certain pixel is 130 and the side information (◯) estimated on the encoding side is 120. For simplicity, the number of bit planes is 1 (quantization size = 128). As shown in FIG. 9B1, the original signal (□) 130 is quantized to a quantized value “1”, and the side information (◯) is quantized to a quantized value “0”. Since the quantized values are different from each other, a parity bit is transmitted when the Slepian-Wolf code is a Turbo code, and a syndrome bit is transmitted when the Lepian-Wolf code is LDPC encoded.

一方、復号側ではSlepian−Wolf復号で誤り訂正復号がなされて、量子化値「1」が復号される。量子化値「1」は、復号側でのサイド情報と同じであれば、画像再構成によりサイド情報の値を最終的な復号値(画素値)となるが、この場合、サイド情報120を量子化した量子化値「0」と異なるため、量子化値「1」が表現できる画素値(ここでは128から255のいずれかの値)に復号することになる。例えば、最終的な復号値(画素値)として中央値の「192」を採用した場合を、図9(B2)は示している。   On the other hand, on the decoding side, error correction decoding is performed by Slepian-Wolf decoding, and the quantized value “1” is decoded. If the quantization value “1” is the same as the side information on the decoding side, the side information value becomes the final decoded value (pixel value) by image reconstruction. In this case, the side information 120 is quantized. Since the quantized value is different from the quantized value “0”, the pixel value (in this case, any value from 128 to 255) that can represent the quantized value “1” is decoded. For example, FIG. 9B2 shows the case where the median value “192” is adopted as the final decoded value (pixel value).

Anne Aaron、Shantanu Rane,Eric Setton,and Bernd Girod:Transform−domain Wyner−Ziv Codec for Video.In:Proc, SPIE Visual Commnunications and Image Processing, San Jose, CA(2004)Anne Aaron, Shantan Rane, Eric Setton, and Bern Grid: Transform-domain Wyner-Ziv Code for Video. In: Proc, SPIE Visual Communications and Image Processing, San Jose, CA (2004) C.Brites, F.Pereira,”Encoder Rate Control for Transform Domain Wyner−Ziv Video Coding,” ICIP2007, USA, September, 2007C. Brites, F.M. Pereira, “Encoder Rate Control for Transform Domain Wyner-Ziv Video Coding,” ICIP 2007, USA, September, 2007

しかしながら、原信号(□)が130、符号化側で推定したサイド情報(○)が120の図9に示す例の場合、原信号とサイド情報が異なる量子化値となるため、実際には、原信号との差が小さい(ここでは10である)サイド情報を活用することができず、192という復号値を得ることになる。この復号値は原信号との差が62となり、著しくPSNR(Peak Signal−to−Noise Ratio)が悪くなっている。   However, in the example shown in FIG. 9 in which the original signal (□) is 130 and the side information (O) estimated on the encoding side is 120, the original signal and the side information are different quantization values. Side information having a small difference from the original signal (here, 10) cannot be used, and a decoded value of 192 is obtained. The difference between the decoded value and the original signal is 62, and the PSNR (Peak Signal-to-Noise Ratio) is remarkably deteriorated.

すなわち、従来においては、原信号と、符号化側で推定したサイド情報との差が小さいにも拘らず、PSNRが悪くなる(符号化効率が悪くなる)ことも生じるという課題があった。   That is, in the related art, there is a problem that although the difference between the original signal and the side information estimated on the encoding side is small, the PSNR deteriorates (encoding efficiency deteriorates).

そのため、原信号と、符号化側で推定したサイド情報との差が小さい場合に符号化効率が悪くなることを防止できる動画像符号化装置、システム及びプログラムが望まれている。   Therefore, there is a demand for a moving image encoding apparatus, system, and program that can prevent deterioration in encoding efficiency when the difference between the original signal and side information estimated on the encoding side is small.

第1の本発明は、量子化部とSlepian−Wolf符号化部とを備える動画像符号化装置において、(1)参照フレーム画像から更新候補情報を生成するサイド情報生成部と、(2)上記Slepian−Wolf符号化部で符号化するために生成された上記量子化部のデータが、上記更新候補情報と大きく相違しているときに、上記量子化部のデータを上記更新候補情報に更新する量子化データ更新制御部とを備えることを特徴とする。   The first aspect of the present invention is a moving image encoding device including a quantization unit and a Slepian-Wolf encoding unit, (1) a side information generation unit that generates update candidate information from a reference frame image, and (2) the above When the data of the quantization unit generated for encoding by the Slepian-Wolf encoding unit is greatly different from the update candidate information, the data of the quantization unit is updated to the update candidate information. And a quantized data update control unit.

第2の本発明は、フレーム系列から分離したキーフレームについて符号化するキーフレーム符号化装置と、上記フレーム系列から分離した非キーフレームについて符号化する、量子化部とSlepian−Wolf符号化部とを備えるWyner−Zivフレーム符号化装置とを有する動画像符号化装置において、上記Wyner−Zivフレーム符号化装置として、第1の本発明の動画像符号化装置を適用したことを特徴とする。   A second aspect of the present invention is a key frame encoding device that encodes a key frame separated from a frame sequence, and a quantization unit and a Slepian-Wolf encoding unit that encode a non-key frame separated from the frame sequence. In the moving picture coding apparatus having the Wyner-Ziv frame coding apparatus, the moving picture coding apparatus according to the first aspect of the present invention is applied as the Wyner-Ziv frame coding apparatus.

第3の本発明の動画像符号化システムは、第2の本発明の動画像符号化装置と、キーフレーム及び非キーフレームを復号する動画像復号装置とを備えたことを特徴とする。   A moving picture coding system according to a third aspect of the present invention includes the moving picture coding apparatus according to the second aspect of the present invention and a moving picture decoding apparatus that decodes key frames and non-key frames.

第4の本発明の動画像符号化プログラムは、コンピュータを、(1)入力されたデータをSlepian−Wolf符号化するSlepian−Wolf符号化部と、(2)符号化対象フレーム画像から、上記Slepian−Wolf符号化部で符号化するためのデータを生成する、量子化を含めた処理を実行する量子化部と、(3)参照フレーム画像から更新候補情報を生成するサイド情報生成部と、(4)上記Slepian−Wolf符号化部で符号化するために生成された上記量子化部のデータが、上記更新候補情報と大きく相違しているときに、上記量子化部のデータを上記更新候補情報に更新する量子化データ更新制御部として機能させることを特徴とする。   The moving image encoding program of the fourth aspect of the present invention includes a computer, (1) a Slepian-Wolf encoding unit that encodes input data into a Slepian-Wolf, and (2) the above-described Slepian from an encoding target frame image. A quantization unit that generates data to be encoded by the Wolf encoding unit and that performs processing including quantization; (3) a side information generation unit that generates update candidate information from a reference frame image; 4) When the data of the quantization unit generated for encoding by the Slepian-Wolf encoding unit is greatly different from the update candidate information, the data of the quantization unit is changed to the update candidate information. It is made to function as a quantized data update control unit for updating to.

本発明によれば、原信号と、符号化側で推定したサイド情報との差が小さい場合に符号化効率が悪くなることを防止することができる。   According to the present invention, it is possible to prevent the encoding efficiency from deteriorating when the difference between the original signal and the side information estimated on the encoding side is small.

実施形態に係る動画像符号化システムの構成を示すブロック図である。It is a block diagram which shows the structure of the moving image encoding system which concerns on embodiment. 実施形態の動画像符号化装置における量子化データ更新制御部の詳細構成を示すブロック図である。It is a block diagram which shows the detailed structure of the quantization data update control part in the moving image encoder of embodiment. 実施形態の動画像符号化装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the moving image encoder of embodiment. 実施形態の動画像符号化装置における量子化データ更新制御部の動作の詳細を示すフローチャートである。It is a flowchart which shows the detail of operation | movement of the quantization data update control part in the moving image encoder of embodiment. 実施形態の動画像符号化装置において、原信号と、符号化側で推定したサイド情報との差が小さい場合における量子化データの更新制御例(その1)の説明図である。In the moving image encoding device of an embodiment, it is explanatory drawing of the update control example (the 1) of quantization data in case the difference of an original signal and the side information estimated on the encoding side is small. 実施形態の動画像符号化装置において、原信号と、符号化側で推定したサイド情報との差が小さい場合における量子化データの更新制御例(その2)の説明図である。In the moving image coding apparatus of embodiment, it is explanatory drawing of the update control example (the 2) of quantization data in case the difference of an original signal and the side information estimated on the encoding side is small. 非特許文献1の図1をそのまま示した図面である。It is drawing which showed FIG. 1 of the nonpatent literature 1 as it was. 従来の予測画像を利用する動画像符号化装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving image encoding apparatus using the conventional estimated image. 従来の動画像符号化装置において、原信号と、符号化側で推定したサイド情報との差が小さい場合に生じる課題の説明図である。In the conventional moving image encoder, it is explanatory drawing of the subject which arises when the difference of an original signal and the side information estimated on the encoding side is small.

(A)主たる実施形態
以下、本発明による動画像符号化装置、システム及びプログラムの一実施形態を、図面を参照しながら詳述する。この実施形態に係る動画像符号化方式は上述したDVC方式である。
(A) Main Embodiments Hereinafter, an embodiment of a moving image encoding apparatus, system, and program according to the present invention will be described in detail with reference to the drawings. The moving picture coding system according to this embodiment is the DVC system described above.

(A−1)実施形態の構成
図1は、この実施形態の動画像符号化装置と、動画像復号装置とを有する動画像符号化システムの構成を示すブロック図である。実施形態の動画像符号化装置150や動画像復号装置200は、ハードウェア的に各種回路を接続して構築されても良く、また、CPU、ROM、RAMなどを有する汎用的な装置が動画像符号化プログラムや動画像復号プログラムを実行することで動画像符号化装置や動画像復号装置としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像符号化装置100や動画像復号装置200の機能的構成は、図1で表すことができる。
(A-1) Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of a video encoding system having a video encoding device and a video decoding device of this embodiment. The moving image encoding device 150 and the moving image decoding device 200 according to the embodiment may be constructed by connecting various circuits in hardware, and a general-purpose device having a CPU, a ROM, a RAM, and the like is a moving image. It may be constructed so as to realize a function as a moving image encoding device or a moving image decoding device by executing an encoding program or a moving image decoding program. Regardless of which construction method is applied, the functional configurations of the video encoding device 100 and the video decoding device 200 can be represented in FIG.

図1において、動画像符号化装置150は、キーフレーム符号化部151と、Wyner−Zivフレーム符号化部152とを有する。なお、Wyner−Zivフレーム符号化部152単体でも、ある種の動画像符号化装置になっている。   In FIG. 1, the moving image encoding device 150 includes a key frame encoding unit 151 and a Wyner-Ziv frame encoding unit 152. The Wyner-Ziv frame encoding unit 152 alone is a kind of moving image encoding device.

キーフレーム符号化部151は、キーフレーム画像をMPEGやJPEGといった所定の符号化方式で符号化を行い、復号側へ符号化データを送信する。   The key frame encoding unit 151 encodes the key frame image with a predetermined encoding method such as MPEG or JPEG, and transmits the encoded data to the decoding side.

上述したように、DVC方式のフレームワークにおいては、入力されたWZフレームを符号化する際に、画素領域で処理を行う方法や、DCTなどの変換による変換係数領域で処理を行う方法があるが、この実施形態は、画素領域で処理を行う方法を適用している。   As described above, in the DVC framework, there are a method of performing processing in the pixel region and a method of performing processing in the transform coefficient region by conversion such as DCT when encoding an input WZ frame. In this embodiment, a method of performing processing in the pixel region is applied.

Wyner−Zivフレーム符号化部152は、サイド情報生成部153と、量子化部154と、量子化データ更新制御部155と、符号化制御部156と、Slepian−Wolf符号化部157とを有する。   The Wyner-Ziv frame encoding unit 152 includes a side information generation unit 153, a quantization unit 154, a quantized data update control unit 155, an encoding control unit 156, and a Slepian-Wolf encoding unit 157.

サイド情報生成部153は、WZフレームの前、若しくは、WZフレームの後、若しくは、WZフレームの前後のキーフレームの符号化データを入力し、WZフレームの予測画像を生成するものである。WZフレームの前、WZフレームの後、若しくは、WZフレームの前後のキーフレームのいずれを適用するかは予め定められている。また、サイド情報生成部153は、キーフレームの符号化データを局部復号してキーフレームに戻した後に、WZフレームの予測画像を生成し、生成されたWZフレームの予測画像の複数の画素を集めて量子化し、その量子化値をビット列コードに変換(2値化)した後、同一桁のビット毎にビットを集めたビットプレーンへ分割するものである。   The side information generation unit 153 receives the encoded data of the key frame before the WZ frame, after the WZ frame, or before and after the WZ frame, and generates a predicted image of the WZ frame. Which of the key frames before the WZ frame, after the WZ frame, or before and after the WZ frame is applied is determined in advance. Further, the side information generation unit 153 generates a prediction image of the WZ frame after locally decoding the encoded data of the key frame and returning it to the key frame, and collects a plurality of pixels of the generated prediction image of the WZ frame. Then, the quantized value is converted into a bit string code (binarized), and then divided into bit planes in which bits are collected for each bit of the same digit.

量子化部154は、WZフレーム画像(キーフレームとキーフレームの間に挿入される画像データ)を量子化し、その量子化値をビット列コードに変換(2値化)した後、同一ビット位置毎のビットを集めたビットプレーンヘ分割するものである。   The quantizing unit 154 quantizes the WZ frame image (image data inserted between the key frames), converts the quantized value into a bit string code (binarization), and then converts the quantized value for each bit position. The bits are divided into bit planes.

量子化データ更新制御部155は、WZフレーム、量子化部154の出力、サイド情報生成部153の出力に基づいて、量子化部154が得た量子化データを更新すべきか否か判断し、更新すべき場合に、その量子化データを更新するものである。   The quantized data update control unit 155 determines whether or not to update the quantized data obtained by the quantizing unit 154 based on the WZ frame, the output of the quantizing unit 154, and the output of the side information generating unit 153, and updates If so, the quantized data is updated.

符号量制御部156は、サイド情報生成部153の出力と量子化データ更新制御部155の出力から、送信符号量を計算するものである。   The code amount control unit 156 calculates a transmission code amount from the output of the side information generation unit 153 and the output of the quantized data update control unit 155.

Slepian−Wolf符号化部157は、量子化データ更新制御部155から入力されたビットプレーン毎のデータに対し、Turbo符号やLDPC符号といったSlepian−Wolf符号化を行い、送信符号量制御部156で計算された符号量に応じた誤り訂正符号を復号側へ送信するものである。   The Slepian-Wolf encoding unit 157 performs Sleian-Wolf encoding such as Turbo code or LDPC code on the data for each bit plane input from the quantized data update control unit 155, and the transmission code amount control unit 156 performs calculation. An error correction code corresponding to the code amount thus transmitted is transmitted to the decoding side.

量子化データ更新制御部155は、図2に示すように、閾値決定部160と、データ比較部161と、量子化データ更新部162とを有する。   As illustrated in FIG. 2, the quantized data update control unit 155 includes a threshold value determination unit 160, a data comparison unit 161, and a quantized data update unit 162.

閾値決定部160は、量子化部154が適用している量子化サイズに基づいて、データ比較部161が利用する閾値を決定するものである。   The threshold determination unit 160 determines a threshold used by the data comparison unit 161 based on the quantization size applied by the quantization unit 154.

データ比較部161は、サイド情報生成部153から入力された量子化前の予測画像のデータとWZフレーム画像の対応画素値(原信号及びサイド情報)の差を計算し(例えば、絶対値で算出する)、その差と、閾値決定部160で決定された閾値と比較するものである。   The data comparison unit 161 calculates the difference between the pre-quantization predicted image data input from the side information generation unit 153 and the corresponding pixel values (original signal and side information) of the WZ frame image (for example, calculated as an absolute value). The difference is compared with the threshold value determined by the threshold value determination unit 160.

量子化データ更新部162は、データ比較部161の比較結果が、原信号とサイド情報の差が閾値以上という結果のときに、量子化部154の出力である第1の量子化データを、自己からの出力データ(更新後量子化データ)とすると共に、データ比較部161の比較結果が、原信号とサイド情報の差が閾値よりも小さいという結果のときに、サイド情報生成部153の出力である第2の量子化データを、自己からの出力データ(更新後量子化データ)とするものである。   When the comparison result of the data comparison unit 161 indicates that the difference between the original signal and the side information is equal to or greater than the threshold value, the quantized data update unit 162 converts the first quantized data that is the output of the quantization unit 154 to the self-quantization data update unit 162. Output data (updated quantized data), and when the comparison result of the data comparison unit 161 is that the difference between the original signal and the side information is smaller than the threshold value, the output of the side information generation unit 153 Certain second quantized data is used as output data (updated quantized data) from itself.

一方、動画像復号装置200は、キーフレーム復号部201と、Wyner−Zivフレーム復号部202とを有する。Wyner−Zivフレーム復号部202は、サイド情報生成部203と、Slepian−Wolf復号部204と、画像再構成部205とを有する。   On the other hand, the moving picture decoding apparatus 200 includes a key frame decoding unit 201 and a Wyner-Ziv frame decoding unit 202. The Wyner-Ziv frame decoding unit 202 includes a side information generation unit 203, a Slepian-Wol decoding unit 204, and an image reconstruction unit 205.

キーフレーム復号部201は、動画像符号化装置150(キーフレーム符号化部151)で符号化されたキーフレームを受信し、復号を行うことで、キーフレームの復号画像を得るものである。   The key frame decoding unit 201 receives the key frame encoded by the moving image encoding device 150 (key frame encoding unit 151) and performs decoding to obtain a decoded image of the key frame.

サイド情報生成部203は、キーフレームの復号で得られたWZフレームの前、若しくは、WZフレームの後、若しくは、WZフレームの前後のキーフレームから、WZフレームの予測画像を生成し、生成されたWZフレームの予測画像の複数の画素を集めて量子化し、その量子化値をビット列コードに変換(2値化)した後、同一桁のビット毎にビットを集めたビットプレーンへ分割するものである。   The side information generation unit 203 generates a predicted image of the WZ frame from the key frame before, after or after the WZ frame obtained by decoding the key frame, or from the key frame before and after the WZ frame. A plurality of pixels of a prediction image of a WZ frame are collected and quantized, and the quantized value is converted into a bit string code (binarized), and then divided into bit planes in which bits are collected for each bit of the same digit. .

Slepian−Wolf復号部204は、受信した誤り訂正符号とサイド情報生成部203で生成された予測画像の情報(ビットプレーン)とから、Slepian−Wolf復号を行うものである。   The Slepian-Wolf decoding unit 204 performs Slepian-Wolf decoding from the received error correction code and information (bit plane) of the predicted image generated by the side information generation unit 203.

画像再構成部205は、Slepian−Wolf復号部204での各ビットプレーンの復号結果と、サイド情報生成部203で生成された予測画像の情報を参照してフレーム単位での情報に再構成した後、再構成されたフレームに逆量子化を行い、WZフレームの復号画像を得るものである。   The image reconstruction unit 205 reconstructs information in units of frames by referring to the decoding result of each bit plane in the Slepian-Wolf decoding unit 204 and the prediction image information generated in the side information generation unit 203. Then, inverse quantization is performed on the reconstructed frame to obtain a decoded image of the WZ frame.

(A−2)実施形態の動作
次に、実施形態の動画像符号化装置150の動作を、図面を参照しながら説明する。なお、動画像復号装置200の動作は、従来の動画像復号装置の動作と同様であるので、その説明は省略する。
(A-2) Operation of Embodiment Next, the operation of the moving image encoding apparatus 150 of the embodiment will be described with reference to the drawings. Note that the operation of the moving picture decoding apparatus 200 is the same as the operation of the conventional moving picture decoding apparatus, and a description thereof will be omitted.

ここで、図3は、動画像符号化装置150の動作を示すフローチャートである。図3は、WZフレーム画像を処理する動作に焦点をあてて記載しており、キーフレームの処理については、WZフレーム画像の処理と関係する部分を敢えて書き出している。すなわち、1つのWZフレーム画像の処理毎に、キーフレームについての符号化処理が実行されている訳ではないが、図3では、キーフレームについての符号化に係る処理(ステップS101、S102)も敢えて記載している。   Here, FIG. 3 is a flowchart showing the operation of the moving picture coding apparatus 150. FIG. 3 focuses on the operation of processing the WZ frame image, and for the key frame processing, the portion related to the processing of the WZ frame image is intentionally written. That is, the encoding process for the key frame is not executed every time one WZ frame image is processed, but in FIG. 3, the process related to the encoding for the key frame (steps S101 and S102) is also performed. It is described.

キーフレーム画像は、キーフレーム符号化部151に入力し、キーフレーム符号化部151によって符号化される(ステップS101)。   The key frame image is input to the key frame encoding unit 151 and encoded by the key frame encoding unit 151 (step S101).

キーフレームの符号化データは、サイド情報生成部153に与えられると共に、動画像復号装置200に向けて送信される(ステップS102)。   The encoded data of the key frame is given to the side information generation unit 153 and transmitted to the moving picture decoding apparatus 200 (step S102).

キーフレームの符号化データは、サイド情報生成部153によって局部復号され、現在処理対象となっているWZフレームに対し、所定の時間関係を有する局部復号のキーフレームが利用されて、WZフレーム画像の予測画像が生成され、この予測画像が量子化前データとして量子化データ更新制御部155に入力され、また、予測画像に対し、量子化、2値化、ビットプレーン分割が実行され、処理後のデータが、第2の量子化データとして量子化データ更新制御部155及び符号量制御部156に与えられる(ステップS103)。   The encoded data of the key frame is locally decoded by the side information generation unit 153, and the local decoding key frame having a predetermined time relationship is used with respect to the WZ frame currently being processed, so that the WZ frame image A predicted image is generated, and this predicted image is input to the quantized data update control unit 155 as pre-quantization data. Further, quantization, binarization, and bit-plane division are performed on the predicted image. The data is provided as second quantized data to the quantized data update control unit 155 and the code amount control unit 156 (step S103).

WZフレーム画像は、量子化部154及び量子化データ更新制御部155に与えられる(ステップS104)。   The WZ frame image is given to the quantization unit 154 and the quantized data update control unit 155 (step S104).

WZフレーム画像は、量子化部154において、量子化、2値化、ビットプレーン分割が施され、処理後のデータが、第1の量子化データとして、量子化サイズと共に量子化データ更新制御部155に与えられる(ステップS105)。   The quantization unit 154 performs quantization, binarization, and bit-plane division on the WZ frame image, and the processed data becomes first quantized data as well as the quantized data update control unit 155. (Step S105).

第1の量子化データは、量子化データ更新制御部155において、妥当か否か判断され、妥当でないという判断のときに更新され、このような判断に基き適宜更新された量子化データ(更新後量子化データ)が符号量制御部156及びSlepian−Wolf符号化部157に与えられる(ステップS106)。このような量子化データ更新制御部155における量子化データの更新動作(見直し動作)は、画素ごとの全てのデータについて繰返し実行される(ステップS107)。   The first quantized data is determined by the quantized data update control unit 155 to determine whether or not it is valid, and is updated when it is determined that it is not valid. Quantized data) is provided to the code amount control unit 156 and the Lepian-Wolf encoding unit 157 (step S106). Such an update operation (review operation) of the quantized data in the quantized data update control unit 155 is repeatedly executed for all data for each pixel (step S107).

第2の量子化データ及び更新後量子化データが利用されて、符号量制御部156において、必要な符号量(送信符号量)が計算される(ステップS108)。送信符号量の計算方法や制御方法としては、非特許文献1の記載技術のように復号側からのフィードバックによって制御する方法や、非特許文献2の記載技術のようにフィードバックなしで制御する方法などがあるが、いずれの方法を適用しても良く、方法が限定されるものではない。   The code amount control unit 156 calculates the necessary code amount (transmission code amount) using the second quantized data and the updated quantized data (step S108). As a calculation method and control method of the transmission code amount, a method of controlling by feedback from the decoding side as in the technique described in Non-Patent Document 1, a method of controlling without feedback as in the technique described in Non-Patent Document 2, and the like However, any method may be applied, and the method is not limited.

量子化データ更新制御部155から出力されたビットプレーン毎の更新後量子化データは、Slepian−Wolf符号化部110によって、Slepian−Wolf符号化され、Slepian−Wolf符号化で得られた誤り訂正符号は、送信符号量制御部156で計算された符号量分だけ復号側へ送信される(ステップS109)。   The updated quantized data for each bit plane output from the quantized data update control unit 155 is subjected to Slepian-Wolf coding by the Slepian-Wolf coding unit 110, and an error correction code obtained by the Slepian-Wolf coding. Is transmitted to the decoding side by the amount of code calculated by the transmission code amount control unit 156 (step S109).

図4は、量子化データ更新制御部155が実行する動作(ステップS106)の詳細を示すフローチャートである。   FIG. 4 is a flowchart showing details of the operation (step S106) executed by the quantized data update control unit 155.

量子化サイズが量子化部154から閾値決定部160に与えられ、閾値決定部160において、量子化サイズに基づいて、閾値が決定されてデータ比較部161に与えられる(ステップS151)。サイド情報生成部153が得た量子化前の予測画像のデータ及びWZフレーム画像は、データ比較部161に与えられる(ステップS152)。なお、量子化データ更新制御部155が実行する動作(ステップS106)は、図3に示すように繰返し実行されるが、ステップS151及びステップS152の処理は、繰返し処理の1回目だけ実行するようにしても良い。   The quantization size is provided from the quantization unit 154 to the threshold value determination unit 160, and the threshold value determination unit 160 determines a threshold value based on the quantization size and provides it to the data comparison unit 161 (step S151). The data of the prediction image before quantization and the WZ frame image obtained by the side information generation unit 153 are provided to the data comparison unit 161 (step S152). The operation (step S106) executed by the quantized data update control unit 155 is repeatedly executed as shown in FIG. 3, but the processes in steps S151 and S152 are executed only for the first time of the repetition process. May be.

WZフレーム画像のある画素に係る原信号と予測画像の上記画素に係るサイド情報の差が、データ比較部161によって計算され、得られた差と、閾値決定部160が決定した閾値とが比較される(ステップS153)。   The difference between the original signal related to a pixel in the WZ frame image and the side information related to the pixel in the predicted image is calculated by the data comparison unit 161, and the obtained difference is compared with the threshold value determined by the threshold value determination unit 160. (Step S153).

量子化部154の出力である第1の量子化データ及びサイド情報生成部153の出力である第2の量子化データは、量子化データ更新部162に入力される(ステップS154)。   The first quantized data that is the output of the quantizing unit 154 and the second quantized data that is the output of the side information generating unit 153 are input to the quantized data updating unit 162 (step S154).

データ比較部161における比較結果が原信号とサイド情報の差が閾値よりも小さいという結果の場合には(ステップS155で肯定結果)、データ更新該当箇所における更新後量子化データの値として、第2の量子化データの値が選択(更新)される(ステップS156)。これに対して、データ比較部161における比較結果が原信号とサイド情報の差が閾値以上という結果の場合には(ステップS155で否定結果)、データ更新該当箇所における更新後量子化データの値として、第1の量子化データの値が選択される(ステップS157)。このような更新後量子化データの確定後に、上述した図3のステップS107に移行する。   When the comparison result in the data comparison unit 161 is a result that the difference between the original signal and the side information is smaller than the threshold value (positive result in step S155), the second value as the value of the updated quantized data in the data update corresponding part is Is selected (updated) (step S156). On the other hand, when the comparison result in the data comparison unit 161 is a result that the difference between the original signal and the side information is equal to or larger than the threshold value (negative result in step S155), as the value of the updated quantized data in the data update corresponding part The value of the first quantized data is selected (step S157). After determining the updated quantized data, the process proceeds to step S107 in FIG.

以下、量子化データ更新制御部155での量子化データの更新処理を具体的な数値を挙げて説明する。   Hereinafter, the update process of the quantized data in the quantized data update control unit 155 will be described with specific numerical values.

図5(A)に示すように、原信号(□)が130、符号化側で推定したサイド情報(○)が120である場合を考える。以下では簡単のために、ビットプレーンの数は1(量子化サイズ=128)で説明する。原信号(□)130は、図5(B1)に示すように量子化値「1」に量子化され、サイド情報(○)は量子化値「0」に量子化される。   As shown in FIG. 5A, consider a case where the original signal (□) is 130 and the side information (◯) estimated on the encoding side is 120. In the following, for simplicity, the number of bit planes will be described as 1 (quantization size = 128). The original signal (□) 130 is quantized to a quantized value “1” as shown in FIG. 5 (B1), and the side information (◯) is quantized to a quantized value “0”.

原信号(□)130とサイド情報(○)120の差を計算し、閾値と比較する(ステップS153参照)。図5は、量子化サイズが128(0〜255の値を0若しくは1で表現することを意味している)の場合の例を示しており、閾値を、量子化サイズの1/2に決定することとしている場合には、閾値は128(量子化)/2=64となる。従って、この際の比較は、130(原信号の値)−120(サイド情報の値)=10と閾値64との比較となる。   The difference between the original signal (□) 130 and the side information (◯) 120 is calculated and compared with a threshold value (see step S153). FIG. 5 shows an example in which the quantization size is 128 (meaning that the value of 0 to 255 is expressed by 0 or 1), and the threshold is determined to be 1/2 of the quantization size. If so, the threshold value is 128 (quantization) / 2 = 64. Therefore, the comparison at this time is a comparison between 130 (original signal value) −120 (side information value) = 10 and the threshold value 64.

原信号(□)130とサイド情報(○)120の差10は、閾値64よりも小さいため、サイド情報(○)の量子化値「0」が更新後量子化データとして選択される。言い換えると、原信号(□)の量子化値「1」をサイド情報の量子化値「0」に更新される。   Since the difference 10 between the original signal (□) 130 and the side information (◯) 120 is smaller than the threshold value 64, the quantization value “0” of the side information (◯) is selected as the updated quantized data. In other words, the quantization value “1” of the original signal (□) is updated to the quantization value “0” of the side information.

その後、更新された量子化値「0」は、Slepian−Wolf符号化され、Turbo符号の場合はパリティビット、LDPC符号化の場合はシンドロームビットが復号側に送信される(但し、この例のように、完全にサイド情報と同じになった場合は、Slepian−Wolf符号化せず、サイド情報と同じであるということを通知するようにし良い)。   Thereafter, the updated quantized value “0” is subjected to Slepian-Wolf coding, and parity bits are transmitted to the decoding side in the case of Turbo code, and syndrome bits are transmitted to the decoding side in the case of LDPC coding (however, as in this example) In addition, when it is completely the same as the side information, it may be notified that the information is the same as the side information without performing the Slepian-Wolf coding).

一方、復号側ではSlepian−Wolf復号で誤り訂正復号された後、量子化値「0」が復号される。この例の場合、量子化値「0」は、受信側でのサイド情報に係る量子化値と同じであるので、図5(B2)に示すように、画像再構成により、サイド情報の値を最終的な復号値(画素値)とする。   On the other hand, on the decoding side, the error correction decoding is performed by the Slepian-Wolf decoding, and then the quantized value “0” is decoded. In the case of this example, the quantized value “0” is the same as the quantized value related to the side information on the receiving side. Therefore, as shown in FIG. The final decoded value (pixel value) is used.

上述した図9に示した従来の場合ように更新処理を実施しないときは、原信号と復号値の差(62)が大きくなり、大きな劣化が生じたが、実施形態の場合には、量子化値の更新処理を適応的に実施することにより、原信号と復号値の差(10)が小さくなる。   When the update process is not performed as in the conventional case shown in FIG. 9 described above, the difference (62) between the original signal and the decoded value becomes large, resulting in significant degradation. By adaptively performing the value update process, the difference (10) between the original signal and the decoded value is reduced.

図6は、ビットプレーンの数が2(量子化サイズ=64)を示している。量子化サイズが64は、0〜255の値を4値「00」、「01」、「10」、「11」で表現することを意味している。   FIG. 6 shows that the number of bit planes is 2 (quantization size = 64). A quantization size of 64 means that the value of 0 to 255 is expressed by four values “00”, “01”, “10”, and “11”.

図6(A)に示すように、原信号(□)が130、符号化側で推定したサイド情報(○)が120である場合を考えると、原信号(□)130は、図6(B1)に示すように量子化値「10」に量子化され、サイド情報(○)は量子化値「01」に量子化される。   As shown in FIG. 6A, considering that the original signal (□) is 130 and the side information (◯) estimated on the encoding side is 120, the original signal (□) 130 is shown in FIG. ) Is quantized to a quantized value “10”, and the side information (◯) is quantized to a quantized value “01”.

原信号(□)130とサイド情報(○)120の差を計算し、閾値32(=64/2)と比較すると(ステップS153参照)、原信号(□)130とサイド情報(○)120の差10は、閾値32よりも小さいという結果が得られ、そのため、サイド情報(○)の量子化値「01」が更新後量子化データとして選択される。言い換えると、原信号(□)の量子化値「10」をサイド情報の量子化値「01」に更新される。その後、更新された量子化値「01」は、ビットプレーン単位にSlepian−Wolf符号化されて、誤り訂正符号が復号側に送信される。   When the difference between the original signal (□) 130 and the side information (◯) 120 is calculated and compared with the threshold value 32 (= 64/2) (see step S153), the original signal (□) 130 and the side information (◯) 120 are compared. The result that the difference 10 is smaller than the threshold value 32 is obtained. Therefore, the quantization value “01” of the side information (◯) is selected as the updated quantized data. In other words, the quantization value “10” of the original signal (□) is updated to the quantization value “01” of the side information. Thereafter, the updated quantized value “01” is subjected to Slepian-Wolf coding for each bit plane, and an error correction code is transmitted to the decoding side.

一方、復号側ではSlepian−Wolf復号で誤り訂正復号された後、量子化値「01」が復号される。この例の場合、量子化値「01」は、受信側でのサイド情報に係る量子化値と同じであるので、図6(B2)に示すように、画像再構成により、サイド情報の値を最終的な復号値(画素値)とする。   On the other hand, on the decoding side, the error correction decoding is performed by the Slepian-Wolf decoding, and then the quantized value “01” is decoded. In this example, the quantized value “01” is the same as the quantized value related to the side information on the receiving side. Therefore, as shown in FIG. The final decoded value (pixel value) is used.

量子化サイズが64の場合にも、量子化値の更新処理を適応的に実施することにより、原信号と復号値の差(10)を小さく抑えることができる。   Even when the quantization size is 64, the difference (10) between the original signal and the decoded value can be kept small by adaptively performing the update process of the quantization value.

以上から明らかなように、量子化サイズが128、64以外であっても(ビットプレーンの数がより増えても)、動作は同じである。   As is clear from the above, the operation is the same even if the quantization size is other than 128 and 64 (even if the number of bit planes increases).

(A−3)実施形態の効果
以上のように、上記実施形態によれば、Slepian−Wolf符号化するデータである量子化データとして、原信号とサイド情報の差が閾値より小さい場合には、サイド情報の量子化値を符号化対象とするようにしたので、送信する符号量を削減できると共に、原信号と復号値との差(歪)を軽減することができる。その結果、符号化効率を向上させることができる。
(A-3) Effect of Embodiment As described above, according to the above-described embodiment, when the difference between the original signal and the side information is smaller than the threshold as quantized data that is data to be subjected to Slepian-Wolf encoding, Since the quantization value of the side information is set as an encoding target, the amount of code to be transmitted can be reduced, and the difference (distortion) between the original signal and the decoded value can be reduced. As a result, encoding efficiency can be improved.

(B)他の実施形態
上記実施形態では、画素領域(pixel−domain)のデータを処理する場合を示したが、DCT変換などの直交変換後の変換係数領域(transform−domain)のデータを処理する動画像符号化システムに対しても、本発明を適用することができ、同様の効果が得られる。
(B) Other Embodiments In the above-described embodiment, the case of processing pixel region data has been shown, but the processing of transform coefficient region (transform-domain) data after orthogonal transform such as DCT transform is performed. The present invention can also be applied to a moving image encoding system, and the same effect can be obtained.

また、上記実施形態の説明では、Slepian−Wolf符号化として、Turbo符号、LDPC符号を用いる例で説明したが、これに限定されるものではなく、Slepian−Wolf理論に基づく符号化方式であれば、本発明を適用することができ、同様の効果が得られる。   In the description of the above embodiment, an example using a Turbo code and an LDPC code has been described as the Slepian-Wolf coding. However, the present invention is not limited to this, and any coding method based on the Slepian-Wolf theory may be used. The present invention can be applied and the same effect can be obtained.

さらに、上記実施形態の説明では、閾値を量子化サイズの1/2にする場合を示したが、これに限定されるものではない。1/4、1/8などであっても良く、外部から与えられた閾値を用いるようにしても良い。   Further, in the description of the above embodiment, the case where the threshold value is set to ½ of the quantization size is shown, but the present invention is not limited to this. The threshold may be 1/4, 1/8, or the like, or a threshold given from the outside may be used.

上記実施形態の動画像符号化装置から、対向する動画像復号装置間の通信路は、狭義の通信路に限定されるものではなく、広義の通信路であって良い。すなわち、リアルタイムの通信だけでなく、動画像符号化装置が符号化したデータを記録媒体に記録し、動画像復号装置が記録媒体から読み出したデータを処理するものであっても良い。   The communication path between the moving picture decoding apparatuses facing each other from the moving picture encoding apparatus of the above embodiment is not limited to a narrowly defined communication path, and may be a broadly defined communication path. That is, not only real-time communication but also data encoded by the moving image encoding apparatus may be recorded on a recording medium, and data read out from the recording medium by the moving image decoding apparatus may be processed.

150…動画像符号化装置、151…キーフレーム符号化部、152…Wyner−Zivフレーム符号化部、153…サイド情報生成部、154…量子化部、155…量子化データ更新制御部、156…符号化制御部、157…Slepian−Wolf符号化部、160…閾値決定部、161…データ比較部、162…量子化データ更新部。   DESCRIPTION OF SYMBOLS 150 ... Moving image encoding device, 151 ... Key frame encoding part, 152 ... Wyner-Ziv frame encoding part, 153 ... Side information generation part, 154 ... Quantization part, 155 ... Quantized data update control part, 156 ... Encoding control unit, 157... Slepian-Wolf encoding unit, 160... Threshold determination unit, 161... Data comparison unit, 162.

Claims (7)

量子化部とSlepian−Wolf符号化部とを備える動画像符号化装置において、
参照フレーム画像から更新候補情報を生成するサイド情報生成部と、
上記Slepian−Wolf符号化部で符号化するために生成された上記量子化部のデータが、上記更新候補情報と大きく相違しているときに、上記量子化部のデータを上記更新候補情報に更新する量子化データ更新制御部と
を備えることを特徴とする動画像符号化装置。
In a moving image encoding device including a quantization unit and a Slepian-Wolf encoding unit,
A side information generation unit that generates update candidate information from the reference frame image;
When the data of the quantization unit generated for encoding by the Slepian-Wolf encoding unit is greatly different from the update candidate information, the data of the quantization unit is updated to the update candidate information. And a quantized data update control unit.
上記量子化データ更新制御部は、
上記量子化部のデータと上記更新候補情報との差を閾値と比較するデータ比較部と、
上記量子化部のデータと上記更新候補情報との差が閾値より小さいときに、上記量子化部のデータを上記更新候補情報に更新する量子化データ更新部とを備える
ことを特徴とする請求項1に記載の動画像符号化装置。
The quantized data update controller is
A data comparison unit that compares a difference between the data of the quantization unit and the update candidate information with a threshold;
A quantized data update unit that updates the data of the quantization unit to the update candidate information when a difference between the data of the quantization unit and the update candidate information is smaller than a threshold value. The moving image encoding apparatus according to 1.
上記閾値は量子化サイズを元に決定されたものであることを特徴とする請求項2に記載の動画像符号化装置。   The moving image encoding apparatus according to claim 2, wherein the threshold is determined based on a quantization size. 上記閾値は量子化サイズの1/2であることを特徴とする請求項3に記載の動画像符号化装置。   4. The moving image encoding apparatus according to claim 3, wherein the threshold value is ½ of the quantization size. フレーム系列から分離したキーフレームについて符号化するキーフレーム符号化装置と、上記フレーム系列から分離した非キーフレームについて符号化する、量子化部とSlepian−Wolf符号化部とを備えるWyner−Zivフレーム符号化装置とを有する動画像符号化装置において、
上記Wyner−Zivフレーム符号化装置として、請求項1〜4のいずれかに記載の動画像符号化装置を適用したことを特徴とする動画像符号化装置。
A Wyner-Ziv frame code comprising: a key frame encoding device that encodes a key frame separated from a frame sequence; and a quantizing unit and a Slepian-Wolf encoding unit that encodes a non-key frame separated from the frame sequence. In a video encoding device having an encoding device,
5. A moving picture coding apparatus, wherein the moving picture coding apparatus according to claim 1 is applied as the Wyner-Ziv frame coding apparatus.
請求項5に記載の動画像符号化装置と、
キーフレーム及び非キーフレームを復号する動画像復号装置とを備えたことを特徴とする動画像符号化システム。
A moving image encoding device according to claim 5;
A moving picture coding system comprising: a moving picture decoding apparatus for decoding key frames and non-key frames.
コンピュータを、
入力されたデータをSlepian−Wolf符号化するSlepian−Wolf符号化部と、
符号化対象フレーム画像から、上記Slepian−Wolf符号化部で符号化するためのデータを生成する、量子化を含めた処理を実行する量子化部と、
参照フレーム画像から更新候補情報を生成するサイド情報生成部と、
上記Slepian−Wolf符号化部で符号化するために生成された上記量子化部のデータが、上記更新候補情報と大きく相違しているときに、上記量子化部のデータを上記更新候補情報に更新する量子化データ更新制御部と
して機能させることを特徴とする動画像符号化プログラム。
Computer
A Slepian-Wolf encoding unit for encoding the input data into a Slepian-Wolf;
A quantization unit that generates data to be encoded by the above-described Slepian-Wolf encoding unit from an encoding target frame image, and that performs processing including quantization;
A side information generation unit that generates update candidate information from the reference frame image;
When the data of the quantization unit generated for encoding by the Slepian-Wolf encoding unit is greatly different from the update candidate information, the data of the quantization unit is updated to the update candidate information. A moving picture coding program which functions as a quantized data update control unit.
JP2011271614A 2011-12-12 2011-12-12 Video encoding apparatus, system, and program Expired - Fee Related JP5811823B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011271614A JP5811823B2 (en) 2011-12-12 2011-12-12 Video encoding apparatus, system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011271614A JP5811823B2 (en) 2011-12-12 2011-12-12 Video encoding apparatus, system, and program

Publications (2)

Publication Number Publication Date
JP2013123192A true JP2013123192A (en) 2013-06-20
JP5811823B2 JP5811823B2 (en) 2015-11-11

Family

ID=48774921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011271614A Expired - Fee Related JP5811823B2 (en) 2011-12-12 2011-12-12 Video encoding apparatus, system, and program

Country Status (1)

Country Link
JP (1) JP5811823B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517078A (en) * 2013-09-29 2014-01-15 清华大学深圳研究生院 Side information generating method in distribution type video code

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296277A (en) * 2008-06-04 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> Image coder, image decoder, image coding method, image decoding method, and program
US20090316797A1 (en) * 2008-06-23 2009-12-24 Sungkyunkwan University Foundation For Corporate Collaboration Distributed coded video decoding apparatus and method capable of successively improving side information on the basis of reliability of reconstructed data
JP2010193304A (en) * 2009-02-19 2010-09-02 Oki Electric Ind Co Ltd Moving picture decoding apparatus, method and program, moving picture encoding apparatus, method and program, and moving picture encoding system
JP2010206395A (en) * 2009-03-02 2010-09-16 Oki Electric Ind Co Ltd Video encoding apparatus, method and program, and video encoding system
JP2010212863A (en) * 2009-03-09 2010-09-24 Oki Electric Ind Co Ltd Moving image encoder apparatus, moving image decoder apparatus, and moving image transmission system
JP2011077879A (en) * 2009-09-30 2011-04-14 Oki Electric Industry Co Ltd Moving image encoding apparatus and program, moving image decoding apparatus and program, and, moving image distribution system
JP2011077881A (en) * 2009-09-30 2011-04-14 Oki Electric Industry Co Ltd Moving picture coding equipment and program, and moving picture distribution system
US20110188766A1 (en) * 2010-01-29 2011-08-04 Canon Kabushiki Kaisha Decoding a sequence of digital images with error concealment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296277A (en) * 2008-06-04 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> Image coder, image decoder, image coding method, image decoding method, and program
US20090316797A1 (en) * 2008-06-23 2009-12-24 Sungkyunkwan University Foundation For Corporate Collaboration Distributed coded video decoding apparatus and method capable of successively improving side information on the basis of reliability of reconstructed data
JP2010193304A (en) * 2009-02-19 2010-09-02 Oki Electric Ind Co Ltd Moving picture decoding apparatus, method and program, moving picture encoding apparatus, method and program, and moving picture encoding system
JP2010206395A (en) * 2009-03-02 2010-09-16 Oki Electric Ind Co Ltd Video encoding apparatus, method and program, and video encoding system
JP2010212863A (en) * 2009-03-09 2010-09-24 Oki Electric Ind Co Ltd Moving image encoder apparatus, moving image decoder apparatus, and moving image transmission system
JP2011077879A (en) * 2009-09-30 2011-04-14 Oki Electric Industry Co Ltd Moving image encoding apparatus and program, moving image decoding apparatus and program, and, moving image distribution system
JP2011077881A (en) * 2009-09-30 2011-04-14 Oki Electric Industry Co Ltd Moving picture coding equipment and program, and moving picture distribution system
US20110188766A1 (en) * 2010-01-29 2011-08-04 Canon Kabushiki Kaisha Decoding a sequence of digital images with error concealment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517078A (en) * 2013-09-29 2014-01-15 清华大学深圳研究生院 Side information generating method in distribution type video code

Also Published As

Publication number Publication date
JP5811823B2 (en) 2015-11-11

Similar Documents

Publication Publication Date Title
JP5071416B2 (en) Moving picture encoding apparatus, moving picture decoding apparatus, and moving picture transmission system
JP5131224B2 (en) Moving picture decoding apparatus, method and program, moving picture encoding apparatus, method and program, and moving picture encoding system
KR101106086B1 (en) Encoding apparatus and encoding method
JP4819024B2 (en) Image encoding / decoding method and system
JP2003250157A (en) Optimal scanning method for transform coefficients in coding/decoding of still image and moving image
JP5625808B2 (en) Data updating apparatus and program, moving picture decoding apparatus and program, and moving picture distribution system
JP5446686B2 (en) Moving picture encoding apparatus and program, moving picture decoding apparatus and program, and moving picture distribution system
US7796825B2 (en) Losslessly improving compression of compressed image data
JP4515378B2 (en) Image decoding apparatus, program, and computer-readable recording medium
JP5811823B2 (en) Video encoding apparatus, system, and program
JP6210949B2 (en) Image estimation method
JP5004877B2 (en) Image encoder, image decoder, image encoding method, image decoding method, and program
JP2020522180A (en) Method and device for encoding and decoding a data stream representing at least one image
Van Luong et al. Parallel iterative decoding of transform domain Wyner-Ziv video using cross bitplane correlation
Weerakkody et al. Enhanced reconstruction algorithm for unidirectional distributed video coding
Li et al. Distributed video coding based on conditional entropy hash
Kuo et al. Distributed video coding with limited feedback requests
JP5900548B2 (en) Video encoding device
JP5625824B2 (en) Code amount control apparatus and program, and moving picture coding apparatus and program
US8532413B2 (en) Entropy encoding/decoding method and apparatus for hierarchical image processing and symbol encoding/decoding apparatus for the same
JP6268715B2 (en) Moving picture encoding apparatus and program, moving picture decoding apparatus and program, and moving picture distribution system
Lahsini et al. A low complexity video encoding scheme using DCT
Li et al. Distributed Video Coding with Background Modeling for Wireless Video Surveillance
Liu et al. An Improved Side Information Refinement Method in Distributed Video Coding
Lahsini et al. A Pixel Domain Video Coding based on Turbo code and Arithmetic code

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150728

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150907

R150 Certificate of patent or registration of utility model

Ref document number: 5811823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees