JP2013247473A

JP2013247473A - 分散映像符号化方法及びシステム及び復号化装置

Info

Publication number: JP2013247473A
Application number: JP2012118999A
Authority: JP
Inventors: Takayuki Nakachi; 孝之仲地; Ryotaro Nakamura; 遼太郎中村; Nozomu Hamada; 望浜田
Original assignee: Nippon Telegraph and Telephone Corp; Keio University
Current assignee: Nippon Telegraph and Telephone Corp; Keio University
Priority date: 2012-05-24
Filing date: 2012-05-24
Publication date: 2013-12-09
Anticipated expiration: 2032-05-24
Also published as: JP5871714B2

Abstract

【課題】超解像（SR: Super Resolution）処理をDVCの枠組み内で利用し、DVCの符号化効率を高める。
【解決手段】本発明は、符号化装置において、入力映像の奇数フレームをダウンサンプルし、イントラ符号化し、入力映像の奇数フレーム及び偶数フレームを符号化すると共に、誤り訂正を行うSW符号化を行う。復号化装置において、符号化装置から入力されたフレームをイントラ復号化し、動き補償を行うことにより偶数フレームを生成し、イントラ復号化された奇数フレーム及び生成された偶数フレームを超解像処理することにより高周波成分の推定を行い、符号化装置から入力されたSW符号化されたフレームを復号化し、超解像処理手段から出力された高周波成分に基づいて、誤り訂正を行って出力する。
【選択図】図５

Description

本発明は、分散映像符号化方法及びシステム及び復号化装置に係り、特に、動画圧縮の負荷を復号側にもたせる分散映像符号化（DVC）における分散映像符号化方法及びシステム及び復号化装置に関する。

マルチメディアコンテンツの需要増加に伴い、動画圧縮に関する研究が盛んに行われている。現在広く普及しているH.264/AVCなどの動画圧縮法に対し、分散映像符号化（DVC: Distributed Video Coding）という新しい手法が提案され、注目を集めている(例えば、非特許文献１参照)。

従来の動画圧縮法では、符号化側で高負荷な処理を行うのに対し、DVCでは復号化側で高負荷な処理を行う。この特徴を活かして携帯電話など処理能力が低い端末でも従来の動画圧縮法と同等の符号化効率で映像を配信できるようになることが期待されている。

しかしながら、DVCの研究の歴史は浅く、まだ従来の動画圧縮法に匹敵するほどの符号化効率は達成できていない。

以下に、本発明のベースとなる従来の分散映像符号化DVCと超解像処理について説明する。

＜従来技術１＞
図１は、一般的なDVC符号器・復号器のブロック図を示す。

符号化側は、イントラ符号器１１で映像を数フレームおきにDCT変換や、ウェーブレット変換によってイントラ符号化する。この符号化されたフレームのことをKeyフレームと呼ぶ。その他のWyner-Zivフレームと呼ばれるフレームは、冗長性削減部１２により冗長性を除去した後に量子化器１３で量子化し、SW(Slepian Wolf)符号化部１４（分散化符号化において、誤り訂正を行う符号器）によりパリティシンドロームを生成し、伝送する。

復号化側は、SW復号器２１でKeyフレームを復号した後に、復号された情報から間のフレームを動き補償によって求める。こうして得られた画像列はサイドインフォメーションと呼ばれる。SW復号器２１は、このサイドインフォメーションで予測しきれなかった成分を、パリティシンドロームを用いて誤り訂正を行う。訂正に失敗した場合、復号器２０は、符号器１０に追加の情報を要求し、より長いパリティシンドロームを受信する。復号された信号は逆量子化器２２で逆量子化され、冗長性を復元し出力される。

＜従来技術２＞
画像補間の研究は古くからされており、応用される分野も様々である。近年ハードウェアの性能向上により高性能なデジタルカメラやテレビ等の普及によってディスプレイの高解像度化が進んできた。これに伴い低解像度のデータを大画面や高解像度ディスプレイに表示する必要がでてきた。しかし、コスト面の問題や需要によって逐一開発する必要があるなどハードウェアによる改善には限界がある。そこで、ソフトウェアからのアプローチによって高解像度化する超解像処理が注目されている。

複数枚超解像技術は、サブピクセル単位での動き補償の精度によって推定精度に大きく影響がでる。動画像は、並進以外にも回転や拡大縮小などの複雑な動きが含まれている。ここでは、一般的な古典カーネル回帰について述べた後に、適応カーネル回帰について説明する。

・古典カーネル回帰：
カーネル回帰による画像補間法は、推定したい画素とその周辺画素との距離を用いて劣化モデルに基づき画素値を推定する。劣化モデルを式(１)で定義する。

ｙ_iは空間座標

におけるノイズが付与された注目画素値、z(・)は回帰関数、ε_iは白色ノイズ、Ｐは周辺画素集合である窓の全画素数を表す。注目画素と周辺画素との距離を元に重み付き最小二乗法により関数回帰を行う。この処理で得られた関数を利用して画素値を推定する。これらの処理を全ての画素で行うことで、画像補間が行われる。回帰関数モデルには様々なモデルが選択肢に挙げられるが、本発明では、Taylor展開を利用した以下の多項式モデルを使用する。

ここで、∇は（２×１）の勾配演算子、Ｈは(２×１)のヘッセ行列を表す。vech( )は次式のような対象行列の下三角行列を用いる半ベクトル化を表す。さらに、β₀，β₁、β₂は式（４）のとおりとなる。

注目画素とその周辺画素のデータを多項式モデルとして扱う。そのため、周囲の画素から注目画素を推定するには、注目画素と距離が近い画素ほど重みを大きくし、距離の遠いものほど重みを小さくして画素値を推定する。よって、この問題は次の重み付き最小自乗問題として定式化される。

ここで、

Nは回帰の次数を表し、Ｋ（・）はカーネル関数を表す（本発明では、カーネル関数はガウス関数を使用する）。また、Hは２×２の平滑化マトリクスであり、カーネルの形状を設計するパラメータである。もっとも簡単な平滑化マトリクスは、等方的な広がりをもつH=hIである。ここでhは球状平滑化パラメータと呼ばれる。しかし、カーネルの形状は推定において最も重要な要素である。例えば、テクスチャが豊富な領域やエッジではカーネルの形状を小さくし、平坦な領域ではカーネルの形状を大きくする。また、エッジ部分ではエッジに沿うような形でカーネルの形状を変形させなければ適切な推定を行えない。つまり、注目画素と周辺画素の構造ごとに適切なカーネルの形状設計をする必要がある。式（6）では、回帰の次数を考慮していないため、以下の式に書き直すことができる。

ここで、

ここで、"diag"は対角行列を意味する。式（6）〜(11)より、次の重み付き最小自乗問題の解が与えられる。

また、注目画素値は周辺の画素値の重み付き線形結合で推定され、β₀として与えられる。

＜適応カーネル回帰＞
前述の式(6)に含まれる平滑化マトリクスHを考える。この平滑化マトリクスは古典的な方法で用いられるため、球状パラメータｈによって大きさが決定される。そのため、画素位置によらず全てガウス的に重み付けを行ってしまう。そのため、テクスチャが豊富な領域やエッジ部分での推定値がロバストでなくなってしまう。そこで、図２に示すように、各画素の周囲の構造によってカーネルの形状を変化させることで推定精度を上げることができると期待されている。

これに対し、画像勾配を利用し、ガウス関数の共分散を求め、ピクセル毎にカーネル設計することで周囲の構造に適用するものである。新たな平滑化マトリクスである適応マトリクスを定義する技術がある（例えば、非特許文献２参照）。

ここで、C_iは、注目画素ｘ_iにおける周辺画素の画素値微分をもとに推定される共分散行列である。この共分散行列は、初期推定

として式（14）により求められる。

ここで、ｚ_x1(・)とｚ_x2(・)はそれぞれ垂直方向と水平方向の１階微分であり、Ｅ_iは注目画素ｘ_iとしたときの周辺画素を含む解析窓、ＱはJ_iの列の長さである。しかし、この初期推定では、ランクが不完全で安定しない場合もある。そこで、特異値分解を用いて共分散行列を得る。特異値分解を用いることで式（14）は以下のように変形できる。

ここで、ρ_１，ρ_２，γ_ｉにおいて正則化項としてλ'、λ''を導入する。

ガウス関数をもとに適応マトリクスを導入したカーネル関数は次式で表すことができる。

これらから重み付最小自乗問題の解は式（19）となる。

ここで、

超解像処理（適応カーネル回帰の処理）をまとめると、図３に示すような手順となる。

（１）入力された映像に対して古典カーネル回帰により初期推定を行う。

（２）初期推定画像を利用して共分散行列Ｃを得る。

（３）共分散行列Ｃを使用して式（19）によりカーネルを設計する。

（４）図４のように適用カーネル回帰によってup-scalingし、出力する。

B. Girod, A. M. Aaron, S. Rane, and D. Rebollo-Monedero, "Distributed video coding", Proceedings of the IEEE, Vol. 93, No. 1, pp. 71-83, 2004. H.Takeda, P. Milanfar, M. Protter, "Kernel Regression for Image Processing and Reconstruction". IEEE TRANSACTIONS IMAGE PRO CESSING, VOL. 16, NO.29, FEBRUARY.

しかしながら、上記の従来技術１には、以下のような問題がある。

DVCは、H.264.AVCなどの従来の圧縮法に比べて圧縮効率が低い。最も大きな要因は、デコーダ側で推定を行うサイドインフォメーションの推定精度である。DVCでは、デコーダ側で行う動き補償では参照画像がないために、推定精度が低下してしまう。特に、高周波成分の推定が適切に行われず、誤り訂正の符号量が増加する。

また、従来技術２には、以下のような問題がある。

適応カーネル回帰は、注目画素値を周辺画素の構造を考慮して推定できる。そのためには、周辺画素勾配を用いて共分散行列を求め、カーネルをピクセル毎に計算する必要がある。具体的には式(18)による演算により計算するが、これを動画像のフレームに適用すると演算量が膨大となる。

本発明は、上記の点に鑑みなされたもので、超解像（SR: Super Resolution）処理をDVCの枠組み内で利用し、DVCの符号化効率を高めることが可能な分散映像符号化方法及びシステムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、復号化側で高負荷な処理を行う符号化装置及び復号化装置からなる分散映像符号化システムであって、
前記符号化装置は、
入力映像の奇数フレームをダウンサンプルするダウンサンプリング手段と、
ダウンサンプルされた奇数フレームをイントラ符号化するイントラ符号化手段と、
入力映像の奇数フレーム及び偶数フレームを符号化すると共に、誤り訂正を行うSW(Slepian Wolf)符号化を行うSW符号化手段と、
を有し、
前記復号化装置は、
前記符号化装置から入力されたフレームをイントラ復号化するイントラ復号化手段と、
前記イントラ復号化されたフレームの動き補償を行い、偶数フレームを生成する動き補償手段と、
前記イントラ復号化された前記奇数フレーム及び生成された前記偶数フレームを超解像処理することにより高周波成分の推定を行う超解像処理手段と、
前記符号化装置から入力されたSW符号化されたフレームを復号化し、前記超解像処理手段から出力された高周波成分に基づいて、誤り訂正を行って出力するSW復号化手段と、を有する。

また、本発明（請求項２）は、前記超解像処理手段において、SKR(Steering Kernel Regression:適用カーネル回帰)を用いる。

また、本発明（請求項３）は、前記超解像処理手段において、
画像集合の１枚目の画像に対しては、適用カーネル回帰を行い、共分散マトリックスと対応する重みのペアを保存しておく第１の超解像処理手段と、
前記画像集合の２枚目以降の画像に対しては、共分散マトリックスのみを計算し、該共分散マトリックスと前記第１の超解像処理手段で保存されていた前記共分散マトリックスとの距離計算を行い、最も近い共分散マトリックスに対応する重みを、前記カーネル回帰に適用する第２の超解像処理手段を含む。

また、本発明（請求項４）は、第１の超解像処理手段において、前記共分散マトリックスと重みのペアのパターンのクラスタリングを行い、クラスタリングの結果に基づいて探索範囲を絞り込むクラスタリング手段を含む。

本発明に関わるカーネル回帰を用いた超解像度処理技術により、DVCの項符号化効率を実現することができ、復元画像の品質を向上させることが可能となると共に、それに伴う演算量を大幅に軽減することができる。

一般的なDVC符号器・復号器のブロック図である。適応カーネルの概念図である。従来技術２の適用カーネルの処理手順である。適用カーネル回帰の例である。本発明の第１の実施の形態におけるシステム構成図である。本発明の第２の実施の形態における演算量削減の例である。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
本実施の形態では、DVCの課題を解決するため、学習型カーネル回帰による超解像処理を用いた分散映像符号化方法について説明する。本実施の形態では、keyフレームをダウンサンプルし、復号側で超解像法により復元することで符号量を削減する。超解像法として使用する超解像処理（適用カーネル回帰）によって従来の動き補償で推定しきれなかった高周波を推定することができ、誤り訂正量の削減につながる。

図５は、本発明の第１の実施の形態におけるシステム構成を示す。

符号器１００は、SW(Slepian Wolf)符号化部１１０、ダウンサンプリング部１２０、JPEG符号化部１３０を有し、復号器２００は、SW復号化部２１０、JPEG復号部２２０、動き補償部２３０、超解像処理部２４０を有する。

符号器１００において、奇数フレーム（keyフレーム）はダウンサンプリング部１２０とJPEG符号化部１３０で処理され、全フレームは、SW符号化部１１０で処理される。

奇数フレームは、入力画像をダウンサンプリング部１２０でダウンサンプルし、符号量を削減後、JPEG符号化部１３０でイントラ符号化を行う。ここで、イントラ符号化には、JPEGを使用する。誤り訂正のためのSW符号化部１１０は、偶数フレームのみならず、奇数フレームについても行う。奇数フレームにもSW符号化を行う理由は、デコーダ側の超解像処理でも復元できなかった成分を補償するためである。

復号器２００において、奇数フレームは、JPEG復号化部２２０によりJPEG復号し、超解像処理部２４０において、Ｎ倍（例えば、２倍）の解像度の画像を生成する。SW復号化部２１０で推定できなかった高周波成分などを誤り訂正して出力する。偶数フレームは、key−フレーム復号後、動き補償部２３０による動き補償によるサイドインフォメーションを生成する。SKR処理部２４０において、Ｎ倍(例えば２倍)の解像度の画像を生成し、SW復号化部２１０に出力する。SW符号化部２１０は、WZ(Wyner-Zip)フレームによる誤り訂正を行う。

偶数フレームでは、JPEG復号部２２０でkeyフレームを復号後、動き補償部２３０によってフレーム間予測を行う。ここで、動き補償には両方向からのブロックマッチングを使用することによってサイドインフォメーション(偶数フレーム)を生成する。サイドインフォメーションを生成することで、入力映像の半分のサイズのデータが復元されている。

ここで、超解像処理部２４０のカーネル回帰を用いて超解像復元し、入力映像と同様のサイズに復元する。その後、SW復号化部２１０で誤り訂正して出力を得る。超解像復元に使用するカーネル回帰は、適応カーネル回帰SKR(Steering Kernel Regression)を使用するものとする。

［第２の実施の形態］
超解像復元に使用するカーネル回帰は、適用カーネル回帰を使用するが、ピクセル毎に推定していくための動画に適用するには演算時間の短縮が求められる。

そこで、本実施の形態では、演算量削減を目的とした学習型カーネル回帰について説明する。前述の図５の超解像処理部２４０に、第１フレームに対する処理を行うSKR処理部２４１と、第２フレーム以降の処理を行う学習型処理部２４２を設ける。

図６は、本発明の一実施の形態における学習型カーネル回帰の概要を示す。

SKR処理部２４１は、入力(n.1dowsampling)に対して、GOP(Group Of Picture)の１枚目を学習として適応カーネル回帰を行う。具体的には、式（18）を用いて共分散マトリクスと、それに対応する重みを計算する。この際に、共分散マトリクスとそれに対応する重みのペアの関係をメモリ(図示せず)に保存しておく。学習型SKR処理部２４２は、GOPの２枚目以降のみを計算する。その際に、学習型SKR処理部２４２は、当該処理部２４２で計算された共分散とSKR処理部２４１で保存されている学習後の共分散を比較し、最も近いものを探索する。そのペアである重みを利用してカーネル回帰を適用する。式(18)の演算負荷は高いため、演算負荷を大幅に軽減できる。

さらに、上記の探索の際に探索範囲を絞るために、共分散と重みのペアのクラスタリングを行う。クラスタリングの手法としてk-means法を使用する。k-means法により探索範囲を削減した後に最近傍探索を行う。そして、最も近い共分散に対応する重みを適用し、ピクセル値を推定する。k-means法とは、ｋ個のクラスに分ける標準的なクラスタリング手法の一つである。当該手法はアルゴリズムが比較的簡単でデータ構造を発見するために広く使用される。

k-means法の手順を以下に示す。

１．各サンプル点にランダムに重心(セントロイド)を割り当てる。

２．クラスタの重心を計算する。

３．各サンプル点の所属するクラスタを最も近い重心にあるクラスタに変更する。

４．クラスタの変更がなくなるまで２．と３．を繰り返し処理する。

以上をまとめると、適用カーネル回帰の演算量は、以下の２つの手法により大幅に軽減できる。

１）GOPの１枚目から計算される共分散と対応する重みのペアを保存しておくことにより、GOPの２枚目以降は共分散のみを計算し、対応する重みは計算しなくてもよい。

すなわち、重みを計算しなくて済むことにより演算量が軽減できる。

２）"共分散と対応する重みのペア"のパターンのクラスタリングにより、探索範囲が絞り込める。すなわち、パターンマッチングの数が少なくなることにより演算量が軽減できる。

なお、上記の図５に示す符号器１００及び復号器２００の構成要素の動作をプログラムとして構築し、符号器及び復号器として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

１００符号器
１１０ SW(Slepian Wolf)符号化部
１２０ダウンサンプリング部
１３０ JPEG符号化部
２００復号器
２１０ SW復号化部
２２０ JPEG復号部
２３０動き補償器
２４０超解像処理部
２４１ SKR(Steering Kernel Regression)処理部
２４２学習型SKR処理部

Claims

復号化側で高負荷な処理を行う符号化装置及び復号化装置からなる分散映像符号化システムであって、
前記符号化装置は、
入力映像の奇数フレームをダウンサンプルするダウンサンプリング手段と、
ダウンサンプルされた奇数フレームをイントラ符号化するイントラ符号化手段と、
入力映像の奇数フレーム及び偶数フレームを符号化すると共に、誤り訂正を行うSW(Slepian Wolf)符号化を行うSW符号化手段と、
を有し、
前記復号化装置は、
前記符号化装置から入力されたフレームをイントラ復号化するイントラ復号化手段と、
前記イントラ復号化されたフレームの動き補償を行い、偶数フレームを生成する動き補償手段と、
前記イントラ復号化された前記奇数フレーム及び生成された前記偶数フレームを超解像処理することにより高周波成分の推定を行う超解像処理手段と、
前記符号化装置から入力されたSW符号化されたフレームを復号化し、前記超解像処理手段から出力された高周波成分に基づいて、誤り訂正を行って出力するSW復号化手段と、
を有することを特徴とする分散映像符号化システム。
前記超解像処理手段は、
SKR(Steering Kernel Regression:適用カーネル回帰)を用いる
請求項１記載の分散映像符号化システム。
前記超解像処理手段は、
画像集合の１枚目の画像に対しては、適用カーネル回帰を行い、共分散マトリックスと対応する重みのペアを保存しておく第１の超解像処理手段と、
前記画像集合の２枚目以降の画像に対しては、共分散マトリックスのみを計算し、該共分散マトリックスと前記第１の超解像処理手段で保存されていた前記共分散マトリックスとの距離計算を行い、最も近い共分散マトリックスに対応する重みを、前記カーネル回帰に適用する第２の超解像処理手段を含む
請求項２記載の分散映像符号化システム。
第１の超解像処理手段は、
前記共分散マトリックスと重みのペアのパターンのクラスタリングを行い、クラスタリングの結果に基づいて探索範囲を絞り込むクラスタリング手段を含む
請求項３記載の分散映像符号化システム。
復号化側で高負荷な処理を行う符号化装置及び復号化装置からなる分散映像符号化システムの復号化装置であって、
前記符号化装置から入力されたフレームをイントラ復号化するイントラ復号化手段と、
前記イントラ復号化されたフレームの動き補償を行い、偶数フレームを生成する動き補償手段と、
前記イントラ復号化された前記奇数フレーム及び生成された前記偶数フレームを超解像処理することにより高周波成分の推定を行う超解像処理手段と、
前記符号化装置から入力されたSW(Slepian Wolf)符号化された奇数フレーム及び偶数フレームを復号化し、前記超解像処理手段から出力された高周波成分に基づいて、誤り訂正を行って出力するSW復号化手段と、
を有することを特徴とする復号化装置。
前記超解像処理手段は、
SKR(Steering Kernel Regression:適用カーネル回帰)を用いる
請求項５記載の復号化装置。
前記超解像処理手段は、
画像集合の１枚目の画像に対しては、適用カーネル回帰を行い、共分散マトリックスと対応する重みのペアを保存しておく第１の超解像処理手段と、
前記画像集合の２枚目以降の画像に対しては、共分散マトリックスのみを計算し、該共分散マトリックスと前記第１の超解像処理手段で保存されていた前記共分散マトリックスとの距離計算を行い、最も近い共分散マトリックスに対応する重みを、前記カーネル回帰に適用する第２の超解像処理手段を含む
請求項６記載の復号化装置。
第１の超解像処理手段は、
前記共分散マトリックスと重みのペアのパターンのクラスタリングを行い、クラスタリングの結果に基づいて探索範囲を絞り込むクラスタリング手段を含む
請求項７記載の復号化装置。
復号化側で高負荷な処理を行う符号化装置及び復号化装置からなるシステムにおける分散映像符号化方法であって、
前記符号化装置において、
入力映像の奇数フレームをダウンサンプルし、イントラ符号化し、
前記入力映像の奇数フレーム及び偶数フレームを符号化すると共に、誤り訂正を行うSW(Slepian Wolf)符号化を行う符号化ステップと、
前記復号化装置において、
前記符号化装置から入力されたフレームをイントラ復号化し、動き補償を行うことにより偶数フレームを生成する動き補償ステップと、
前記イントラ復号化された前記奇数フレーム及び生成された前記偶数フレームを超解像処理することにより高周波成分の推定を行う超解像処理ステップと、
前記符号化装置から入力されたSW符号化されたフレームを復号化し、前記超解像処理手段から出力された高周波成分に基づいて、誤り訂正を行って出力するSW復号化ステップと、
からなることを特徴とする分散映像符号化方法。
前記超解像処理ステップにおいて、
SKR(Steering Kernel Regression:適用カーネル回帰)を用いる
請求項９記載の分散映像符号化方法。
前記超解像処理ステップにおいて、
画像集合の１枚目の画像に対しては、前記適用カーネル回帰を行い、共分散マトリックスと対応する重みのペアを保存しておく第１の超解像処理ステップと、
前記画像集合の２枚目以降の画像に対しては、共分散マトリックスのみを計算し、該共分散マトリックスと前記第１の超解像処理手段で保存されていた前記共分散マトリックスとの距離計算を行い、最も近い共分散マトリックスに対応する重みを、前記カーネル回帰に適用する第２の超解像処理ステップを行う
請求項１０記載の分散映像符号化方法。
第１の超解像処理ステップにおいて、
前記共分散マトリックスと重みのペアのパターンのクラスタリングを行い、クラスタリングの結果に基づいて探索範囲を絞り込む
請求項１１記載の分散映像符号化方法。