JP2015065644A - 画像推定方法 - Google Patents

画像推定方法 Download PDF

Info

Publication number
JP2015065644A
JP2015065644A JP2014159535A JP2014159535A JP2015065644A JP 2015065644 A JP2015065644 A JP 2015065644A JP 2014159535 A JP2014159535 A JP 2014159535A JP 2014159535 A JP2014159535 A JP 2014159535A JP 2015065644 A JP2015065644 A JP 2015065644A
Authority
JP
Japan
Prior art keywords
image
coding
value
information
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014159535A
Other languages
English (en)
Other versions
JP6210948B2 (ja
Inventor
シャンタヌ・ラーネ
Shantanu Rane
ロバート・エイ・コーエン
A Cohen Robert
アンソニー・ヴェトロ
Vetro Anthony
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2015065644A publication Critical patent/JP2015065644A/ja
Application granted granted Critical
Publication of JP6210948B2 publication Critical patent/JP6210948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】統計的に相関した副情報画像を用いて画像の分散ソースコーディング(DSC(分散情報源符号化))を行う方法を提供する。
【解決手段】復号化器において、まず、符号化された副情報画像からコーディングモードを検索し抽出することによって所望の画像が推定される。符号化された副情報画像内のビットプレーンごとに、シンドロームビット又はパリティビットを復号化して、所望の画像の量子化された変換係数の推定ビットプレーンを取得する。コーディングモードを用いて取得された予測残差に量子化及び変換を適用する。復号化は、符号化された副情報画像の量子化された変換係数を用いる。所望の画像の量子化された変換係数の推定ビットプレーンを結合して、結合されたビットプレーンを生成する。次に、結合されたビットプレーンに、コーディングモードに基づいて逆量子化、逆変換及び予測を適用して、所望の画像の推定値を復元する。
【選択図】図1

Description

本発明は、包括的には分散ソースコーディング(分散情報源符号化)に関し、より詳細には、1組の相関画像に適用される分散ソースコーディングに関する。
分散ソースコーディング(DSC:Distributed Source Coding(分散情報源符号化))は、互いに通信しない複数のソース(情報源)からの相関データを符号化する。DSCは、復号化器においてチャネルコードを用いて複数のソース間の相関をモデル化することによって、計算複雑性を符号化器から復号化器に移行する。したがって、DSCは、単純なセンサー、衛星画像、並びに移動電話及びデジタルタブレット等の電池式消費者デバイスにおけるマルチメディア符号化において用いられる符号化器等の複雑性が制限されリソースが制限された符号化器を伴う用途において頻繁に用いられる。DSCにおいて、相関するソースは別個に符号化されるが、共同で復号化される。利点として、ソースの別個の符号化を、低い計算オーバーヘッド及びより単純な回路を用いて行うことができる。
DSCは、ロスレススレピアン−ウォルフエントロピー限界(lossless Slepian-Wolf entropy bound)に基づく。ロスレススレピアン−ウォルフエントロピー限界は、2つの単独の符号化器が、あたかも互いに通信しているかのように効率的に相関データを符号化することができることを保証する。同時ガウス分布に従うソースの特殊な事例では、分散コーデックのレート歪み性能に対するウイナー−ジブ限界(Wyner-Ziv bounds)は、条件付き符号化、すなわち符号化器が互いに通信する事例に関して損失(ロス(loss))が存在しないことも確実にする。DSCは、画像、ビデオ及び生体データに適用されている。
復号化器において相関する副情報画像(side information image)が存在するときに、DSCを実施して相関画像を符号化する最も一般的な方法は、低密度パリティ検査(LDPC:Low Density Parity Check)コードを用いることを伴う。まず、その方法は入力画像から、量子化ピクセルから直接、又は画像の変換されたバージョンの量子化から間接的にビットプレーンを抽出する。通常用いられる変換は、2次元分散コサイン変換(DCT:Discrete Cosine Transform)、2次元分散ウェーブレット変換(DWT:Discrete Wavelet Transform)、H.264/AVC(進化型ビデオコーディング(Advanced Video Coding))変換等のようなブロック単位の変換を含む。ビットプレーンを得た後、各ビットプレーンはLDPC符号化を受け、シンドロームビットを生成する。通常、シンドロームビット数は、符号化されたビットプレーン内のビット数よりも少ない。
復号化を実行するために、方法は、符号化された画像と統計的に相関する画像を利用する。その画像は副情報画像と呼ばれる。ビットプレーンは副情報画像から、その画像内の量子化ピクセルから直接、又は画像の変換されたバージョンを量子化したものから抽出される。ビットプレーンは、復元されることになる所望の画像のビットプレーンの初期推定値を提供する。初期推定値は対数尤度比(LLR:Log-Likelihood Ratio)の形態でLDPC復号化手順に供給される。ここで、正のLLRは復号化されたビット値が0である尤度がより高いことを示し、負のLLRは復号化されたビット値が1である尤度がより高いことを示す。LDPC復号化手順はビットプレーンごとに別個に実行される。
上記で説明したように、各ビットプレーンを復号化するために、復号化器は、そのビットプレーンに対応する符号化器から受信したシンドロームビットと、符号化された副情報画像の対応するビットプレーンを用いてビットごとに求められたLLRとを入力として取る。次に、復号化器は、確率伝搬(belief propagation)を実行して復号化されたビットプレーンの推定値を出力する。最後に、ビットプレーンが結合されて、量子化された変換係数が生成され、次に量子化及び変換が逆に行われ、所望の復号化画像が得られる。
この技法は、符号化が高度に制約され、低い計算複雑度、低い回路複雑度、又は低い電力消費の要件を有するときに有用である。シンドローム符号化は通常、ジョイントフォトグラフィックエキスパートグループ(JPEG:Joint Photographic Experts Group)、JPEG2000、H.264/AVC、高効率ビデオコーディング(HEVC:High Efficiency Video Coding)等のような従来の画像符号化手順よりも複雑度が低いので、この分散方式で1つ又は複数の画像を符号化することは、標準符号化手順を用いて全ての画像を符号化することと比較して有利である。
これらの用途、例えばセンサーネットワーク、衛星データ圧縮等のための復号化器は、通常、符号化器よりも高い複雑度又は電力消費を許容することができる。利点は、同じ低複雑度符号化器に対して、高度な復号化器を設計できることであり、この高度な復号化器は、ソース画像と副情報画像との間の統計的相関をより良好に活用し、それによって理想的なウイナー−ジブコーディング限界に近づくシンドロームレートを達成する。
本発明の実施形態は、統計的に相関した副情報画像を用いて画像の分散ソースコーディング(DSC(分散情報源符号化))を行う方法を提供する。
従来のDSCにおいて、画像はシンドロームコーディングを用いて符号化されるのに対し、統計的に相関する副情報は、JPEG、JPEG2000、H.263、H.263+、H.264/AVC等の規格化された符号化器/復号化器(コーデック)を用いて符号化される。全ての従来技術による方法に共通の特徴は、画像及び副情報画像が、量子化ピクセルの形態、又は量子化ピクセルから導出された量子化された変換係数の形態のいずれかをとることである。1つの例外は残差ウイナー−ジブコーディング法であり、残差ウイナー−ジブコーディング法では、副情報画像は標準コーデックを用いて符号化されるが、画像は、量子化された残差ピクセル又は量子化された残差変換係数のシンドロームを送信することによって符号化される。「残差」は、画像と副情報画像との間の差によって求められる。
従来技術と対照的に、本発明は、副情報画像及び入力画像の双方が残差コーディングを用いて符号化される方法を用いる。さらに、本発明において、「残差」は従来技術と異なる形で求められる。副情報画像の残差は、符号化される副情報画像ブロックと、別の副情報画像ブロックとの差をとることによって求められる。同様に、入力画像の残差は、符号化される入力画像ブロックと別の入力画像ブロックとの差をとることによって求められる。この差は従来技術と異なることに留意されたい。なぜなら残差は同じ画像から求められ、入力画像と副情報画像との間で差分演算が行われないためである。
本発明は、H.264/AVC又はHEVC等の規格に対応した設定において、副情報画像についてレート歪み最適コーディングモードを求めることができることを規定する。この方法を実際に実現可能にするために、コーディングモードは、シンドロームコーディングされるべき入力画像に関して受け継がれ、再利用される。コーディングモードの例には、限定ではないが、インター予測のための動きベクトル又はイントラ予測のための予測方向が含まれる。
規格化された符号化とシンドロームコーディングとの間のコーディングモードのこの共有は、本発明の1つの特徴である。
ここで、イントラ予測という語は、画像のピクセルのブロック又は画像の変換係数のブロックを、同じ画像内のピクセルの別のブロックを用いて予測するか又は同じ画像の変換係数の別のブロックを用いて予測する動作を指すのに用いられる。インター予測とは、画像のピクセルのブロック又は画像の変換係数のブロックを、異なる画像内のピクセルの別のブロックを用いて予測するか又は異なる画像の変換係数の別のブロックを用いて予測する動作を指すのに用いられる。
本発明は、副情報画像についてのみ最適イントラ予測モードを計算し、入力画像についてモードを再利用することが以下の利点を有するという認識に基づいている。予測残差の符号化は一般にピクセルのコーディングよりも効率が良いので、予測コーディングによって副情報画像の符号化が改善する。さらに重要なことには、入力画像について予測コーディングを用いることによって、結果として、量子化された変換係数のビットプレーン内に多数のゼロビットが生じ、このためシンドロームコーディング、すなわち予測残差の分散コーディングの性能が改善する機会が提供される。
本発明の利点は以下のとおりである。上記で説明したように、インター予測又はイントラ予測を組み込むことによって、結果として副情報画像の符号化が改善する。予測が正しく行われる場合、予測残差の大きさは小さく、予測残差におけるピクセル又は変換係数の多くがゼロである。これによって、LDPC符号に基づく実際のシンドロームコーディング手順の効率が改善する。さらに、入力画像に用いられるコーディングモードは副情報画像に用いられるものから受け継がれるので、入力画像のコーディングモードを送信する際に、符号化器において余分な帯域幅が使い果たされない。復号化器において、まず副情報画像が復号化され、そのコーディングモードが入力画像の復号化中に単に再利用される。
本発明の実施形態による、副情報画像から得られるコーディングモードを用いて所望の画像の推定値を復元するための流れ図である。 34方向のイントラ予測モードの概略図であり、イントラ予測モードはコーディングモードの1つの例を構成する。 本発明の実施形態による、副情報画像のための符号化器/復号化器の流れ図である。 本発明の実施形態による復号化器の詳細の流れ図である。
詳細な方法の概説
図1は、本発明の実施形態による、符号化された副情報画像103から検索し抽出(索出(retrieve))された(110)イントラ予測コーディングモード及びインター予測コーディングモード102を用いて入力画像から所望の画像101の推定値を復元する分散ソースコーディング(DSC)方法の流れ図である。この方法は復号化器100において動作することができる。復号化器は、部分的に、バスによって接続されたメモリ及び入/出力インターフェースに接続されたプロセッサを用いて実施することができる。
復号化器は、符号化器、記憶デバイス、又は符号化されたビットストリームから、所望の画像の量子化された変換係数のビットプレーンに適用されるシンドロームビット又はパリティビットを受信する(120)。ビットプレーンは量子化された変換係数の符号絶対値(sign-magnitude)表現を用いる。量子化及び変換は、イントラ予測モード又はインター予測モードを用いて取得された予測残差に適用される。
副情報画像の量子化された変換係数のビットプレーンも得られる(140)。
所望の画像の量子化された変換係数のビットプレーンは、副情報画像の量子化された変換係数の対応するビットプレーン、コーディングされたブロックパターン値、及び所望の画像の量子化された変換係数の任意の以前に復号化されたビットプレーンの値を用いて、シンドロームビット又はパリティビットから推定される(150)。コーディングされたブロックパターン値の使用が以下で詳細に説明される。
次に、所望の画像の量子化された変換係数の全ての推定ビットプレーンを結合し(170)、結合されたビットプレーンに逆量子化180、逆変換190、及びイントラ予測モード又はインター予測モード195を適用して所望の画像101の推定値を復元することによって、所望の画像の推定値が復元される。
応用形態
復元方法は、画像、ビデオ、又は他の多次元データを含む様々なデータタイプに適用可能である。1つの実施形態において、2つの相関画像、例えば入力画像及び統計的に相関する副情報画像を検討する。
本方法は、副情報画像復号化の多岐にわたる手順にも適用可能である。これらは、JPEG、JPEG2000、H.264/AVC、HEVC等を含む任意の規格化された符号化手順又はその変更形態とすることができる。具体的にするために、実施形態はHEVCについて説明される。
本発明は、入力画像についてDSCを用いる。DSCは、ターボ符号、LDPC符号、LDPC累積(LDPCA)符号、畳み込み符号、繰返し反復累積(IRA:iterative repeat accumulate)符号、ラプター符号、ファウンテン符号(fountain code)等を用いて行うことができる。LDPCA符号について実施形態を説明する。すなわち、分散ソースコーディング手順は、LDPCA符号を用いて入力画像の予測残差の量子化された変換係数からシンドロームを生成することを伴う。実施形態は、復号化のために確率伝搬を用いる。確率伝搬方式は、当該技術分野において既知の因子ノード及び変数ノードを有する因子グラフを用いる。
本明細書において説明される実施形態は、イントラ予測及びインター予測にも適用可能である。1つの実施形態において、HEVCビデオコーディング規格に従って実施されるイントラ予測を検討する。HEVCイントラ予測において、符号化されるブロックの変換係数は、隣接するブロック、特に、符号化されている現在のブロックの上のブロック及び左のブロックにおける変換係数から予測される。イントラ予測モードのコストは、符号化されている現在のブロックの係数と、選択されたイントラ予測モードによる予測係数との間の残差誤差を符号化するコストと、選択されたイントラ予測モードを符号化するコストとの和である。
最良の予測モードは、図2に示すように34方向のイントラ予測モードのそれぞれのレート歪み(RD:rate-distortion)コストを計算し、次に、最も低いレート歪みコストを有するモードを選択することによって得られる。
副情報画像の符号化手順
図3は、本発明の実施形態とともに用いることができる通常の符号化器/復号化器(コーデック)300を示している。符号化器への入力は、元の副情報画像301、又はビデオ、指紋等のような任意の他のタイプのマルチメディアデータ若しくは生体データである。出力は、符号化画像315である。符号化画像は、復号化器320によって後に処理するように記憶することもできるし、ビットストリームとして送信することもできる。
復号化器320は、符号化画像から再構成された(所望の)副情報画像302を復元する。符号化器及び復号化器は、当該技術分野において既知の単一のプロセッサ又は複数のプロセッサにおいて実施することができる。多くの場合に、単一の市販の符号化器は、非常に多数の消費者復号化器のための符号化データを生成する。
好ましい実施形態において、副情報画像は、HEVCイントラコーディングを用いて符号化され、規格に適合したHEVCビットストリームが生成される。副情報画像のHEVCコーディングにおいて用いられるイントラ予測モードは記憶され、以下で説明するように入力画像のコーディングに再利用される。このため、この実施形態において、コーディングモードはイントラ予測モードである。HEVCにおいて、以前のビデオ規格とともに用いられるマクロブロックは、コーディングツリーユニット(CTU)によって置き換えられる。CTUは、例えば、64×64、32×32又は16×16ピクセルのコーディングツリーブロック(CTB)に分割することができる。CTBは1つ又は複数のコーディングユニット(CU)に分割することができる。
入力画像の符号化手順
1.入力画像の2次元CUごとに、副情報画像のイントラコーディング中に用いられるモードを用いて入力画像に対しイントラ予測が実行される。HEVC符号化器が入力画像CUのイントラコーディングのイントラ予測モードを決定した場合、一般に、モードは、副情報画像におけるCUのイントラコーディングに用いられるモードと異なる。したがって、符号化器は、副情報画像に用いられるイントラ予測モードを用いるように強制される。上記で説明したように、これは、入力画像に用いられるイントラ予測モードをシグナリングするのに余分な帯域幅が用いられないという利点を有する。このステップの出力はCUにおける予測残差信号であり、これはCU内に元々存在するピクセル数と同じ数のエントリーを有する2次元信号である。
2.各CU内の変換ユニットごとに、2Dブロックに基づくHEVC変換が行われる。入力画像の変換係数と副情報画像の変換係数との相関を最大にするために、変換行列要素及び変換ブロックサイズは、副情報画像の対応する部分の符号化中に用いられるものと同じである。このステップの出力は、各CUにおける変換コーディングされた予測残差信号である。
3.次に、変換コーディングされた予測残差信号の均一な量子化が、規定された量子化パラメーターを用いて行われる。好ましい実施形態において、量子化パラメーター(QP:quantization parameter)は副情報画像において用いられるものと同じである。しかしながら、これは絶対要件ではない。入力画像のピクセル値の動的範囲及び確率分布に依拠して、入力画像を量子化するのに異なるQP値を用いることが可能である。このステップの出力は、各CU内の各変換ユニットにおける各変換領域予測残差値の量子化インデックスである。例えば、変換ユニット(TU:transform unit)サイズが32×32である場合、各TU内に(それぞれ残差値に対応する)1024個の量子化インデックスが存在する。
4.各量子化インデックスは符号絶対値表現(sign-magnitude representation)を用いてビットプレーンに変換される。用いられるビットプレーン数は、前のステップから生成される最大の絶対値の変換係数に従って求められる。例えば、最大の変換係数が値212を有する場合、量子化インデックスは最大で1+ceiling(log(212))=9個のビットプレーン、すなわち1つの符号ビットプレーン及び8個の絶対値ビットプレーンに変換されることになる。
5.各ビットプレーンのシンドロームコーディングは、独立して実行される。このため、1024個の変換係数、及び変換係数あたり8個のビットプレーンが存在する場合、シンドロームコーディングは8192回実行される。実際には、シンドロームコーディング動作数は、8192よりも大幅に小さい。なぜなら、比較的小さい数の低周波数係数のみが幾つかのビットプレーンを必要とするのに十分大きいためである。高周波数係数は小さいか又はゼロ値であり、このためシンドロームコーディング動作をほとんど必要としないか又は一切必要としない。符号化システムの複雑度及び記憶要件に依拠して、任意の数のチャネル符号をシンドロームコーディングに用いることができる。好ましい実施形態はLDPC符号を用いる。しかしながら、ターボ符号、IRA符号、ラプター符号、畳み込み符号等も用いることができる。
6.生成された全てのシンドロームは、最終的に入力画像の復号化器430によって受信される。
副情報画像の復号化手順
例示的な実施形態において、副情報画像はHEVCイントラ復号化を用いて復号化される(320)。
入力画像の基本復号化手順
復号化器100は、入力画像のシンドロームを受信し(120)、また、復号化された副情報画像(又は副情報画像の部分的に復号化されたビットストリーム)を取得して(140)、図4に示すような以下のステップを用いて所望の復号化された画像101を形成する。
A.副情報の生成(410)
1.HEVCビットストリームが復号化され、量子化され変換された予測残差が得られる。この予測残差が副情報を構成する。副情報は各変換係数の量子化インデックスのベクトルの形態をとる。このため、TUサイズが32×32ピクセルに固定される場合、TUごとに量子化インデックスの1024個のベクトルがこのステップの終了時に得られる。
2.変換係数ごとに、量子化インデックスのベクトルがビットプレーンに分解される。ビットプレーンは、入力画像又は副情報画像内の全てのTU内の同じロケーションにおいて量子化された変換係数から取得される特定のビットから構成される。このため32×32のTUサイズを有する1600×1600のピクセル画像について、DC係数の最上位ビットに対応するビットプレーンは、長さ(1600×1600)/(32×32)=2500となる。同様に、AC1係数の第2下位ビット(second least significant bit)に対応するビットプレーンも長さ2500となる。変換係数あたりのビットプレーンの総数は、特定の変換係数の量子化インデックスのベクトルにおける最大量子化インデックスの絶対値の対数よりも1大きい。変換係数ごとに、これらのビットプレーンは、入力画像から受信された対応するシンドロームビットプレーンの復号化のための副情報としての役割を果たす。
B.(各変換係数のビットプレーンごとの)シンドローム復号化器の初期化(420)
1.復号化器を初期化するために、LDPC復号化器のシンドロームベクトルは、検討中のシンドロームビットプレーンに従って求められる。LDPC復号化器の変数ノードは、ステップAにおいて副情報画像から取得された対応する変換係数の対応するビットプレーンに従って求められる。
2.変数ノード内のビット及びチャネルモデルを用いてLDPCコーダーの各変数ノードの対数尤度比(LLR:Log-Likelihood Ratio)を求める。チャネルモデルは、副情報チャネルを通過した後に変数ノード内のビットが値を変える確率を指定する。換言すれば、副情報画像の特定の変換係数の量子化インデックスのビット値が、確率pで逆になるように、入力画像内の対応するビットと相関すると仮定した場合、そのビットのLLRは1−2*(副情報ビット値)*log((1−p)/p)によって与えられる。LLRの大きな正値は、その位置において復号化されている入力ビットが、ゼロである可能性が非常に高いことを示す。逆に、LLRの大きな負値は、その位置において復号化されている入力ビットが、値1である可能性が非常に高いという確信を示す。
C.入力画像のシンドロームを受信(430)
1.上述の入力画像の符号化に関するセクションにおいて、入力画像のシンドロームを生成する手順について説明した。これらのシンドロームは、以下で説明される確率伝搬アルゴリズムの入力として受信され用いられる。上記で説明されるように、各量子化された変換係数のビットプレーンごとに受信されるシンドローム数は、その特定のビットプレーン及び変換係数について選択されるLDPC符号(又は包括してチャネル符号)のレートに依拠する。確率伝搬アルゴリズムの目標は、これらのシンドロームを復号化して、入力画像の量子化された変換係数のビットプレーンを復元することである。
D.確率伝搬(440)
1.各変換係数のビットプレーンごとに、上記の初期化を実行した後、確率伝搬復号化を実行する。安定し、反復ごとに変化しないLLRの推定値を取得した後、又は予め指定された反復数にわたって確率伝搬を実行した後、変数ノード内のLLR値を読取り、その値を、負のLLR値が復号化されたビット値1を意味し、正のLLRが復号化されたビット値0を意味するという規則に従って閾値処理する。
E.HEVCを用いた復号化(450)
1.各量子化された変換係数のビットプレーンを取得した後、入力画像の各変換係数に対応する量子化インデックスベクトルが再編成される。
2.量子化インデックスはブロックに再配列され、量子化動作180及び変換動作190が逆に行われ、入力画像の再構成されたピクセルが得られる。
コーディングされたブロックパターンを用いて復号化効率を改善するプロセス
本発明による方法は、HEVC符号化された副情報ビットストリームからのコーディングされたブロックパターン(CBP)及び入力画像のためのCBPを活用することによって符号化効率を改善する方法も提供する。CBPは、全ての量子化インデックスがゼロであるCUに対応する。これは、副情報画像のHEVCビットストリームにおいてCBPフラグをセットすることによってシグナリングされる。CBPフラグがセットされている場合、対応する量子化インデックスは副情報画像のHEVCビットストリームにおいて送信されない。
入力画像の場合、CBPフラグがセットされている場合であっても、量子化インデックスのビットプレーンは、同期目的で分散ウイナー−ジブビットストリームにおいて送信される必要がある。しかしながら、CBPフラグを調べることによって、量子化インデックスが全てゼロであるという知識を利用することができる。
入力画像のCBPは、復号化器において符号化器から直接取得することもできるし、入力画像のCBPのシンドロームを符号化器から受信することもでき、次にシンドローム復号化を行って、副情報画像の復元されたCBPビットプレーンを副情報として用いて入力画像のCBPビットプレーンを取得することができる。
CBPにおけるビットに基づいたコーディング効率の改善は以下のステップを用いて達成される。
1.上記で説明したように入力画像のCBPを取得する。
2.変換係数の量子化インデックスのビットプレーンの復号化中に、検討中のコーディングユニット、すなわち検討中のコーディングユニット内の特定の量子化インデックスについて、CBPフラグがセットされているか否かを検査する。yesの場合、これらの量子化インデックスの絶対値ビット及び符号ビットの全てのLLRを無限大にセットする(又は実際には非常に大きな値にセットする)。これによって、ビットがゼロとして復号化されることが強制される。
結果として、LDPC復号化における制約式の数が増大し、それによって誤り訂正符号の強度が増大し、復号化プロセスの効率が増大する。特に、効率の増大は、入力画像について送信する必要がある絶対値ビットシンドローム及び符号ビットシンドロームの数が減少した形態で示される。

Claims (10)

  1. 所望の画像を推定する画像推定方法であって、
    符号化された副情報画像からコーディングモードを検索し抽出するステップと、
    前記符号化された副情報画像内のビットプレーンごとに、シンドロームビット又はパリティビットを復号化して、前記所望の画像の量子化された変換係数の推定ビットプレーンを取得するステップであって、前記コーディングモードを用いて取得された予測残差に量子化及び変換が適用され、前記復号化することは、前記符号化された副情報画像の前記量子化された変換係数を用いる、ステップと、
    前記所望の画像の前記量子化された変換係数の前記推定ビットプレーンを結合して、結合されたビットプレーンを生成するステップと、
    前記結合されたビットプレーンに、前記コーディングモードに基づいて、逆量子化、逆変換及び予測を適用して、前記所望の画像の推定値を復元するステップと
    を含み、
    各前記ステップは復号化器が実行する、画像推定方法。
  2. 前記ビットプレーンは前記量子化された変換係数の符号絶対値表現を用いる、請求項1に記載の方法。
  3. 前記復号化することは対数尤度比を推定することを含む、請求項1に記載の方法。
  4. 前記対数尤度比はコーディングされたブロックパターンに基づき、該コーディングされたブロックパターンは、前記所望の画像の変換ブロックの全ての量子化され変換された予測残差がゼロである場合に値ゼロを有し、そうでない場合に値1を有する、請求項3に記載の方法。
  5. 前記推定することは、
    前記値ゼロを有する前記コーディングされたブロックパターンに対応する前記ビットプレーン内のビットを位置特定することと、
    前記ビットの前記対数尤度比を無限大又は非常に大きな値に固定することであって、それによって前記ビットの復号化値をゼロに固定することと、
    を更に含む、請求項4に記載の方法。
  6. 前記シンドロームビット又は前記パリティビットを復号化して、前記所望の画像のコーディングされたブロックパターン値の推定ビットプレーンを取得するステップをさらに含み、該復号化することは、前記副情報画像の前記コーディングされたブロックパターン値を用いる、請求項1に記載の方法。
  7. 前記コーディングモードはイントラ予測モード又はインター予測モードを含む、請求項1に記載の方法。
  8. 前記コーディングモードは予測ブロック分割情報を含む、請求項1に記載の方法。
  9. 前記コーディングモードは変換ブロック分割情報を含む、請求項1に記載の方法。
  10. 前記コーディングモードは変換タイプ情報を含む、請求項1に記載の方法。
JP2014159535A 2013-09-25 2014-08-05 画像推定方法 Active JP6210948B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/036,385 US9014499B2 (en) 2013-09-25 2013-09-25 Distributed source coding using prediction modes obtained from side information
US14/036,385 2013-09-25

Publications (2)

Publication Number Publication Date
JP2015065644A true JP2015065644A (ja) 2015-04-09
JP6210948B2 JP6210948B2 (ja) 2017-10-11

Family

ID=52690918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014159535A Active JP6210948B2 (ja) 2013-09-25 2014-08-05 画像推定方法

Country Status (2)

Country Link
US (1) US9014499B2 (ja)
JP (1) JP6210948B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10455250B2 (en) * 2017-05-30 2019-10-22 Mitsubishi Electric Research Laboratories, Inc. Method and system for distributed coding of images
WO2019015742A1 (en) * 2017-07-17 2019-01-24 Huawei Technologies Duesseldorf Gmbh APPARATUS AND METHOD FOR ENCODING A MESSAGE WITH TARGET PROBABILITY OF CODE SYMBOLS
CN107888931B (zh) * 2017-11-28 2020-03-17 上海大学 一种利用视频统计特征预测差错敏感度的方法
WO2020007785A1 (en) * 2018-07-02 2020-01-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entropy coding of transform coefficients suitable for dependent scalar quantization
CN112188216A (zh) * 2019-07-05 2021-01-05 腾讯美国有限责任公司 视频数据的编码方法、装置、计算机设备及存储介质
US11917205B2 (en) * 2019-07-05 2024-02-27 Tencent America LLC Techniques and apparatus for scalable lifting for point-cloud attribute coding
CN113033523B (zh) * 2021-05-25 2021-08-17 杭州雄迈集成电路技术股份有限公司 跌倒判断模型的构建方法及系统、跌倒判断方法及系统
CN117294854A (zh) * 2022-06-20 2023-12-26 华为技术有限公司 一种图像编码、解码方法及编码、解码装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166145A (ja) * 2009-01-13 2010-07-29 Osaka Univ 動画像復号装置
JP2010206395A (ja) * 2009-03-02 2010-09-16 Oki Electric Ind Co Ltd 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
WO2011121715A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 画像復号化方法
US20120134411A1 (en) * 2010-11-26 2012-05-31 Oki Electric Industry Co., Ltd. Apparatus for updating side information on motion video data by different rules between dc and ac components
JP2012124890A (ja) * 2010-12-06 2012-06-28 Mitsubishi Electric Research Laboratories Inc 符号化信号を、この符号化信号と副情報との間の統計的依存性に基づいて復号する方法および復号器
JP2012186763A (ja) * 2011-03-08 2012-09-27 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013066092A (ja) * 2011-09-20 2013-04-11 Oki Electric Ind Co Ltd 動画像符号化装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7400774B2 (en) 2002-09-06 2008-07-15 The Regents Of The University Of California Encoding and decoding of digital data using cues derivable at a decoder
AU2007201403A1 (en) * 2007-03-30 2008-10-16 Canon Kabushiki Kaisha Improvement for Spatial Wyner Ziv coding
US20090103606A1 (en) * 2007-10-17 2009-04-23 Microsoft Corporation Progressive Distributed Video Coding
JP5018582B2 (ja) * 2008-03-21 2012-09-05 沖電気工業株式会社 予測値生成装置、予測値生成方法及び復号装置
JP5071416B2 (ja) * 2009-03-09 2012-11-14 沖電気工業株式会社 動画像符号化装置、及び動画像復号装置、並びに動画像伝送システム
US8428379B2 (en) 2011-08-25 2013-04-23 Mitsubishi Electric Research Laboratories, Inc. Method for distributed source coding of wavelet coefficients in zerotrees

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166145A (ja) * 2009-01-13 2010-07-29 Osaka Univ 動画像復号装置
JP2010206395A (ja) * 2009-03-02 2010-09-16 Oki Electric Ind Co Ltd 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
WO2011121715A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 画像復号化方法
US20120134411A1 (en) * 2010-11-26 2012-05-31 Oki Electric Industry Co., Ltd. Apparatus for updating side information on motion video data by different rules between dc and ac components
JP2012124890A (ja) * 2010-12-06 2012-06-28 Mitsubishi Electric Research Laboratories Inc 符号化信号を、この符号化信号と副情報との間の統計的依存性に基づいて復号する方法および復号器
JP2012186763A (ja) * 2011-03-08 2012-09-27 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013066092A (ja) * 2011-09-20 2013-04-11 Oki Electric Ind Co Ltd 動画像符号化装置及びプログラム

Also Published As

Publication number Publication date
JP6210948B2 (ja) 2017-10-11
US9014499B2 (en) 2015-04-21
US20150085920A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
JP6210948B2 (ja) 画像推定方法
JP5566529B2 (ja) 辞書を用いてビデオをコード化する方法
JP2013179707A (ja) 大きいサイズの変換単位を利用した映像符号化、復号化方法及び装置
JP4819024B2 (ja) 画像符号化・復号化方法及びシステム
Zhou et al. Distributed video coding using interval overlapped arithmetic coding
JP2012124890A (ja) 符号化信号を、この符号化信号と副情報との間の統計的依存性に基づいて復号する方法および復号器
JP6210949B2 (ja) 画像推定方法
JP4515378B2 (ja) 画像復号装置及びプログラム及びコンピュータ読み取り可能な記録媒体
KR20120014947A (ko) 전 방위 기반의 인트라 예측 부호화/복호화 장치 및 방법
Kodavalla et al. Distributed video coding: codec architecture and implementation
JP5004877B2 (ja) 画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラム
Milani et al. Distributed video coding based on lossy syndromes generated in hybrid pixel/transform domain
Fowler et al. Wavelet-based distributed source coding of video
Tonomura et al. Efficient index assignment by improved bit probability estimation for parallel processing of distributed video coding
Cai et al. Improved HEVC lossless compression using two-stage coding with sub-frame level optimal quantization values
Vijayanagar et al. Real-time low-bitrate multimedia communication for smart spaces and wireless sensor networks
Badem et al. Transform domain residual coding technique for distributed video coding
CN109413446B (zh) 多描述编码中的增益控制方法
Li et al. An LDPC-based improved decoding scheme for distributed video codec
Chien et al. AQT-DVC: adaptive quantization for transform-domain distributed video coding
Yang et al. Joint optimization of run-length coding, context-based arithmetic coding and quantization step sizes
Haqqani et al. Encoder rate control for transform domain Wyner-Ziv Video Coding
Wang et al. An improved decoding algorithm for distributed video coding
Reddy et al. Syndrome coding of video with LDPC codes
Karwowski Significance of entropy coding in contemporary hybrid video encoders

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170410

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170410

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170912

R150 Certificate of patent or registration of utility model

Ref document number: 6210948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250