JP2014168150A - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システム - Google Patents

Abstract

【課題】低い符号化ビットレートでも歪みの顕在化を抑えて画像品質を改善することができるようにする。
【解決手段】付加情報生成部１４が、ダウンサンプラ１１により解像度が下げられる前のピクチャとアップサンプラ１３により生成されたアップサンプル局部復号画像との差分画像を生成し、その差分画像に基づいて画像復号装置２が復号画像の解像度を上げる際に実施するアップサンプル処理を指定するアップサンプル処理選択パラメータを生成する。
【選択図】図１

Description

この発明は、画像を圧縮符号化して伝送する画像符号化装置及び画像符号化方法と、画像符号化装置により伝送された符号化データから画像を復号する画像復号装置及び画像復号方法と、画像符号化装置及び画像復号装置から構成された画像符号化復号システムとに関するものである。

従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を実施した後、予測誤差信号をブロック単位に直交変換・量子化することによって情報圧縮を行うようにしている。
圧縮率が高くなると、直交変換係数の量子化が粗くなり、エッジ周辺にモスキートノイズが発生したり、直交変換処理単位のブロックの境界が見えるブロック歪みなどの画質劣化が顕在化する問題がある。
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の符号化方式（非特許文献１を参照）では、ループ内ブロッキングフィルタの処理を実施することで、直交変換係数の量子化に伴って発生する予測参照画像のブロック歪みを除去するようにしている。

図１０は以下の非特許文献１に開示されている画像符号化装置を示す構成図である。
この画像符号化装置では、ブロック分割部１０１が符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部１０２に出力する。
予測部１０２は、ブロック分割部１０１から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内空間予測又はフレーム間動き検出に基づいて予測して、予測誤差信号を算出する。

フレーム間予測では、検出した動きベクトルを用いて、メモリ１０７により格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号と分割画像信号の差分を求めることで予測誤差信号を算出する。
また、予測部１０２は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部１０８に出力する。
なお、予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。

圧縮部１０３は、予測部１０２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することで信号相関を除去した後、量子化することで圧縮データを得る。
局所復号部１０４は、圧縮部１０３から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部１０２から出力された予測誤差信号に相当する予測誤差信号を算出する。

加算器１０５は、局所復号部１０４から予測誤差信号を受けると、その予測誤差信号と予測部１０２から出力された予測信号を加算して、局所復号画像を生成する。
ループフィルタ１０６は、加算器１０５により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ１０７に格納する。

可変長符号化部１０８は、圧縮部１０３から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
なお、可変長符号化部１０８は、ビットストリームを出力する際、予測部１０２から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。

ここで、非特許文献１に開示されている方式では、ループフィルタ１０６が、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて平滑化強度を決定して、ブロック境界に発生する歪みの低減を図っている。

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格

従来の画像符号化装置は以上のように構成されているので、高解像度映像を少ない符号量で符号化するには、圧縮部１０３における量子化を粗くすることによって圧縮率を高くする必要があり、ブロック歪みがより顕在化する。過度のブロック歪みをループフィルタ１０６で処理しようとすると、映像のぼけがひどくなる課題があった。
また、エッジ領域のモスキートノイズなど、従来のループフィルタ１０６では抑制できない歪みが顕著になる課題もあった。

この発明は上記のような課題を解決するためになされたもので、低い符号化ビットレートでも歪みの顕在化を抑えて画像品質を改善することができる画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システムを得ることを目的とする。

この発明に係る画像符号化装置は、動画像を構成している各々のピクチャの解像度を下げるダウンサンプリング手段と、ダウンサンプリング手段により解像度が下げられたピクチャを圧縮符号化して、そのピクチャの符号化データを生成するとともに、その符号化データから局部復号画像を生成する符号化手段と、符号化手段により生成された局部復号画像の解像度を上げるアップサンプリング手段とを設け、処理指定情報生成手段が、ダウンサンプリング手段により解像度が下げられる前のピクチャとアップサンプリング手段により解像度が上げられた局部復号画像との差分画像を生成し、その差分画像に基づいて画像復号装置側が復号画像の解像度を上げる際に実施するアップサンプル処理を指定する処理指定情報を生成するようにしたものである。

この発明によれば、処理指定情報生成手段が、ダウンサンプリング手段により解像度が下げられる前のピクチャとアップサンプリング手段により解像度が上げられた局部復号画像との差分画像を生成し、その差分画像に基づいて画像復号装置側が復号画像の解像度を上げる際に実施するアップサンプル処理を指定する処理指定情報を生成するように構成したので、低い符号化ビットレートでも歪みの顕在化を抑えて画像品質を改善することができる効果がある。

この発明の実施の形態１による画像符号化装置及び画像復号装置からなる画像符号化復号システムを示す構成図である。 この発明の実施の形態１による画像符号化装置の付加情報生成部１４を示す構成図である。 この発明の実施の形態１による画像復号装置の再生画像生成部２４を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による画像復号装置２の処理内容（画像復号方法）を示すフローチャートである。 原画像であるピクチャ（ダウンサンプラ１１により解像度が下げられる前のピクチャ）、アップサンプル局部復号画像及び付加情報生成部１４の処理内容を示す説明図である。 エッジ対応アップサンプル処理部４２によるエッジ対応アップサンプル処理の概略を示す説明図である。 この発明の実施の形態２による画像符号化装置を示す構成図である。 この発明の実施の形態２による画像復号装置を示す構成図である。 非特許文献１に開示されている画像符号化装置を示す構成図である。

実施の形態１．
この実施の形態１では、動画像を構成している各々のピクチャ（フレーム画像）を圧縮符号化して符号化データを生成し、その符号化データをビットストリームとして出力する画像符号化装置と、画像符号化装置より出力されたビットストリームからピクチャを復号して動画像を再生する画像復号装置について説明する。

図１はこの発明の実施の形態１による画像符号化装置及び画像復号装置からなる画像符号化復号システムを示す構成図である。
図１において、画像符号化装置１は動画像を構成している各々のピクチャを圧縮符号化して符号化データを生成し、その符号化データをビットストリームとして出力する装置である。
画像復号装置２は画像符号化装置１より出力されたビットストリームからピクチャを復号して動画像を再生する装置である。

画像符号化装置１のダウンサンプラ１１は動画像を構成している各々のピクチャの解像度を下げるダウンサンプル処理を実施して、低解像度のピクチャ（以下、「低解像度原画像」と称する）を画像符号化部１２に出力する処理を実施する。なお、ダウンサンプラ１１はダウンサンプリング手段を構成している。
画像符号化部１２はダウンサンプラ１１から出力された低解像度原画像をブロック単位に分割（例えば、マクロブロック単位に分割）して、各々のブロックに対する動き補償予測処理や直交変換・量子化処理などを実施することで、各々のブロックを圧縮符号化して、その低解像度原画像の符号化データを生成するとともに、その符号化データから局部復号画像を生成する処理を実施する。なお、画像符号化部１２は符号化手段を構成している。

アップサンプラ１３は画像符号化部１２により生成された局部復号画像の解像度を上げるアップサンプル処理を実施して、ダウンサンプラ１１により解像度が下げられる前のピクチャと同じ解像度を有するアップサンプル局部復号画像を生成する処理を実施する。なお、アップサンプラ１３はアップサンプリング手段を構成している。
付加情報生成部１４はダウンサンプラ１１により解像度が下げられる前のピクチャとアップサンプラ１３により生成されたアップサンプル局部復号画像との差分画像を生成し、その差分画像に基づいて画像復号装置２が復号画像の解像度を上げる際に実施するアップサンプル処理を指定するアップサンプル処理選択パラメータ（処理指定情報）を生成する処理を実施する。なお、付加情報生成部１４は処理指定情報生成手段を構成している。
多重化部１５は画像符号化部１２により生成された符号化データと付加情報生成部１４により生成されたアップサンプル処理選択パラメータを多重化してビットストリームを生成し、そのビットストリームを画像復号装置２に出力する処理を実施する。なお、多重化部１５は多重化手段を構成している。

図１の例では、画像符号化装置１の構成要素であるダウンサンプラ１１、画像符号化部１２、アップサンプラ１３、付加情報生成部１４及び多重化部１５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置１がコンピュータで構成されていてもよい。
画像符号化装置１がコンピュータで構成されている場合、ダウンサンプラ１１、画像符号化部１２、アップサンプラ１３、付加情報生成部１４及び多重化部１５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図４はこの発明の実施の形態１による画像符号化装置１の処理内容（画像符号化方法）を示すフローチャートである。

画像復号装置２の多重分離部２１は画像符号化装置１から出力されたビットストリームに含まれている符号化データとアップサンプル処理選択パラメータを分離して、その符号化データを画像復号部２２に出力し、そのアップサンプル処理選択パラメータを付加情報復号部２３に出力する処理を実施する。なお、多重分離部２１は多重分離手段を構成している。
画像復号部２２は多重分離部２１から出力された符号化データに対する復号処理を実施することで、復号画像を生成する処理を実施する。なお、画像復号部２２は復号手段を構成している。

付加情報復号部２３は多重分離部２１から出力されたアップサンプル処理選択パラメータが符号化されている場合、そのアップサンプル処理選択パラメータを復号する処理を実施する。
再生画像生成部２４は複数のアップサンプル処理の中から、付加情報復号部２３から出力されたアップサンプル処理選択パラメータが示すアップサンプル処理を選択し、そのアップサンプル処理を実施することで、画像復号部２２により生成された復号画像の解像度を上げる処理を実施する。なお、再生画像生成部２４はアップサンプリング手段を構成している。

図１の例では、画像復号装置２の構成要素である多重分離部２１、画像復号部２２、付加情報復号部２３及び再生画像生成部２４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置２がコンピュータで構成されていてもよい。
画像復号装置２がコンピュータで構成されている場合、多重分離部２１、画像復号部２２、付加情報復号部２３及び再生画像生成部２４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図５はこの発明の実施の形態１による画像復号装置２の処理内容（画像復号方法）を示すフローチャートである。

図２はこの発明の実施の形態１による画像符号化装置１の付加情報生成部１４を示す構成図である。
図２において、減算部３１はダウンサンプラ１１により解像度が下げられる前のピクチャとアップサンプラ１３により生成されたアップサンプル局部復号画像との差分画像を生成する処理を実施する。

アクティビティ算出部３２は減算部３１により生成された差分画像の信号劣化の状態を示すアクティビティを算出する処理を実施する。
アップサンプル処理選択パラメータ生成部３３はアクティビティ算出部３２により算出されたアクティビティから画像復号装置２が復号画像の解像度を上げる際に実施するアップサンプル処理を指定するアップサンプル処理選択パラメータを生成する処理を実施する。なお、アップサンプル処理選択パラメータ生成部３３は処理指定情報生成部を構成している。

図３はこの発明の実施の形態１による画像復号装置２の再生画像生成部２４を示す構成図である。
図３において、切換スイッチ４１は付加情報復号部２３から出力されたアップサンプル処理選択パラメータがエッジ対応アップサンプル処理を示していれば、画像復号部２２により生成された復号画像をエッジ対応アップサンプル処理部４２に出力し、そのアップサンプル処理選択パラメータが高精度アップサンプル処理を示していれば、画像復号部２２により生成された復号画像を高精度アップサンプル処理部４３に出力し、そのアップサンプル処理選択パラメータがバイリニアアップサンプル処理を示していれば、画像復号部２２により生成された復号画像をバイリニアアップサンプル処理部４４に出力する処理を実施する。

エッジ対応アップサンプル処理部４２は切換スイッチ４１から復号画像を受けると、エッジ対応アップサンプル処理を実施することで、その復号画像の解像度を上げる処理を実施する。
高精度アップサンプル処理部４３は切換スイッチ４１から復号画像を受けると、高精度アップサンプル処理を実施することで、その復号画像の解像度を上げる処理を実施する。
バイリニアアップサンプル処理部４４は切換スイッチ４１から復号画像を受けると、バイリニアアップサンプル処理を実施することで、その復号画像の解像度を上げる処理を実施する。

次に動作について説明する。
最初に、画像符号化装置１の処理内容を説明する。
例えば、カメラなどにより撮影された動画像（映像信号）を構成している各々のピクチャが画像符号化装置１に入力される。
画像符号化装置１のダウンサンプラ１１は、動画像を構成しているピクチャを入力する毎に、所定の手順で、当該ピクチャの解像度を下げるダウンサンプル処理を実施して、低解像度のピクチャである低解像度原画像を画像符号化部１２に出力する（図４のステップＳＴ１）。
例えば、動画像を構成しているピクチャの水平及び垂直方向の画素の半分を間引くことで、当該ピクチャの解像度を下げるダウンサンプル処理などが考えられる。
ただし、ダウンサンプル処理の手法は特に限定するものではなく、任意の手法を選択することができる。

画像符号化部１２は、ダウンサンプラ１１から低解像度原画像を受けると、その低解像度原画像をブロック単位に分割する。ブロック単位は特に問わないが、マクロブロック単位や、サブマクロブロック単位などが考えられる。
画像符号化部１２は、低解像度原画像をブロック単位に分割すると、例えば、各々のブロックに対する動き補償予測処理や直交変換・量子化処理などを実施することで、各々のブロックを圧縮符号化して、その低解像度原画像の符号化データを生成する（ステップＳＴ２）。

ただし、各々のブロックの圧縮符号化方式は特に限定するものではなく、任意の圧縮符号化方式を用いることができる。
例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８−２）、ＭＰＥＧ−４ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）、ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０）や、ＨＥＶＣ（ＩＳＯ／ＩＥＣ ２３００８−２）などの方式を用いることができる。

画像符号化部１２は、その低解像度原画像の符号化データを生成すると、その符号化データから局部復号画像を生成し、その局部復号画像をアップサンプラ１３に出力する（ステップＳＴ３）。
符号化データから局部復号画像を生成する技術は公知の技術であるため詳細な説明を省略する。
なお、画像符号化部１２は、低解像度原画像の入力時刻を示す時刻情報を符号化データに付加して、その符号化データを多重化部１５に出力する。

アップサンプラ１３は、画像符号化部１２から局部復号画像を受けると、その局部復号画像の解像度を上げるアップサンプル処理を実施して、ダウンサンプラ１１により解像度が下げられる前のピクチャと同じ解像度を有するアップサンプル局部復号画像を生成する（ステップＳＴ４）。
ただし、アップサンプル処理の手法は特に限定するものではなく、任意の手法を選択することができる。

付加情報生成部１４は、ダウンサンプラ１１、画像符号化部１２及びアップサンプラ１３の処理過程で生じる信号劣化を適正に抑えることが可能なアップサンプル処理（画像復号装置２の再生画像生成部２４で実施されるアップサンプル処理）を選択できるようにするため、アップサンプラ１３がアップサンプル局部復号画像を生成すると、そのアップサンプル局部復号画像とダウンサンプラ１１により解像度が下げられる前のピクチャとの差分画像を生成し（ステップＳＴ５）、その差分画像に基づいて、画像復号装置２の再生画像生成部２４が実施するアップサンプル処理を指定するアップサンプル処理選択パラメータを生成する（ステップＳＴ６）。

以下、付加情報生成部１４の処理内容を具体的に説明する。
図６は原画像であるピクチャ（ダウンサンプラ１１により解像度が下げられる前のピクチャ）、アップサンプル局部復号画像及び付加情報生成部１４の処理内容を示す説明図である。
図６において、付加情報生成部１４の処理内容は、点線で囲まれている処理である。

付加情報生成部１４の減算部３１は、ダウンサンプラ１１により解像度が下げられる前のピクチャとアップサンプラ１３により生成されたアップサンプル局部復号画像との差分画像を生成する。
この差分画像には、ダウンサンプラ１１、画像符号化部１２及びアップサンプラ１３の処理過程で生じる信号劣化が表現されており、差分画像を構成する画素において、値が大きい画素程、劣化が大きい画素となっている。一般に画像の解像度変換と圧縮符号化処理の過程で損失する度合いが大きいのは高周波成分であり、特に視覚的に劣化が目立ち易いのはエッジ領域である。

付加情報生成部１４のアクティビティ算出部３２は、減算部３１が差分画像を生成すると、下記の式（１）に示すように、その差分画像を構成しているＮ×Ｎ画素ブロックＢの単位で、ブロックの信号劣化の状態を示すアクティビティａｃｔ_Ｂを算出する。

式（１）において、α，βは重みパラメータであり、αの項は差分画像上のブロックＢ内の絶対値和、βの項はブロックＢの分散を表している。
元の原画像の平坦部に雑音が重畳されている場合、ダウンサンプル処理や符号化処理の過程で、エッジ領域でない場合でも、αの項に相当する値がブロックＢ内で大きくなることがある。そのため、βの項により、エッジ領域以外の個所に発生し得る上記のような大きな信号劣化の影響を調整する。

付加情報生成部１４のアップサンプル処理選択パラメータ生成部３３は、アクティビティ算出部３２がアクティビティａｃｔ_Ｂを算出すると、そのアクティビティａｃｔ_Ｂから画像復号装置２の再生画像生成部２４が実施するアップサンプル処理を指定するアップサンプル処理選択パラメータを生成する。
即ち、アップサンプル処理選択パラメータ生成部３３は、アクティビティ算出部３２により算出されたアクティビティａｃｔ_Ｂを、ｎビットで表現可能な値（アップサンプル処理選択パラメータ）にマッピング（量子化）を行うものである。
図６はこのマッピングの様子を示しており、例えば、画像サイズを（Ｗ，Ｈ）とすると、アップサンプル処理選択パラメータの情報レート（上限の情報量）は、下記のようになる。
情報レート＝（Ｗ／Ｎ）×（Ｈ／Ｎ）×ｎ ［ｂｉｔ］

ただし、Ｎ，ｎの選択は、画像符号化装置１から出力されるビットストリームの符号量に影響を与えるため、システム運用時の要求条件に応じて定めればよい。
この選択は、予めシステムとして固定値で運用するように構成してもよいし、アップサンプル処理選択パラメータの符号化データの一部のパラメータとして符号化を行い、画像復号装置２側で識別するように構成してもよい。

この実施の形態１で示す例では、画像復号装置２の再生画像生成部２４が実施可能なアップサンプル処理が、エッジ対応アップサンプル処理、高精度アップサンプル処理及びバイリニアアップサンプル処理の３つであるため、ｎ＝２となり、アップサンプル処理選択パラメータは３値（０，１，２）にマッピングされるものとする。
アップサンプル処理選択パラメータ生成部３３は、アクティビティａｃｔ_Ｂからアップサンプル処理選択パラメータを生成すると、ダウンサンプラ１１により解像度が下げられる前のピクチャの入力時刻を示す時刻情報をアップサンプル処理選択パラメータに付加して、そのアップサンプル処理選択パラメータを多重化部１５に出力する。

ここでは、アップサンプル処理選択パラメータ生成部３３がアップサンプル処理選択パラメータを符号化せずに多重化部１５に出力するものを示したが、図２のマッピング例に示すように、隣接するブロックのエッジの状態には相関があることから、これを利用したエントロピー符号化を適用してアップサンプル処理選択パラメータの情報量を抑制するようにしてもよい。
例えば、左ないし上に位置するブロックのアクティビティ量子化値の状態に基づいてカレントブロックのアクティビティ量子化値の発生確率を推定して、アップサンプル処理選択パラメータの算術符号化を実施する構成や、符号テーブルを切り替えてアップサンプル処理選択パラメータのハフマン符号化を行う構成などが考えられる。

多重化部１５は、画像符号化部１２が符号化データを生成し、付加情報生成部１４がアップサンプル処理選択パラメータを生成すると、ピクチャ単位（フレーム単位）に、その符号化データとアップサンプル処理選択パラメータを多重化してビットストリームを生成し、そのビットストリームを画像復号装置２に出力する（ステップＳＴ７）。

次に、画像復号装置２の処理内容を説明する。
画像復号装置２の多重分離部２１は、画像符号化装置１からビットストリームを受けると、そのビットストリームに含まれている符号化データとアップサンプル処理選択パラメータを分離して、その符号化データを画像復号部２２に出力し、そのアップサンプル処理選択パラメータを付加情報復号部２３に出力する（図５のステップＳＴ１１）。

画像復号部２２は、多重分離部２１から符号化データを受けると、画像符号化装置１の画像符号化部１２で適用された圧縮符号化方式にしたがって当該符号化データに対する復号処理を実施することで、復号画像を生成する（ステップＳＴ１２）。
画像復号部２２は、復号画像を生成すると、その復号画像を再生画像生成部２４に出力するとともに、その符号化データに付加されていた時刻情報を再生画像生成部２４に出力する。

付加情報復号部２３は、多重分離部２１からアップサンプル処理選択パラメータを受けると、そのアップサンプル処理選択パラメータが符号化されていなければ、そのアップサンプル処理選択パラメータをそのまま再生画像生成部２４に出力する。
一方、そのアップサンプル処理選択パラメータが符号化されていれば、画像符号化装置１の付加情報生成部１４で適用された符号化方式にしたがって当該アップサンプル処理選択パラメータを復号し、復号後のアップサンプル処理選択パラメータを再生画像生成部２４に出力する。
なお、付加情報復号部２３は、アップサンプル処理選択パラメータを再生画像生成部２４に出力する際、そのアップサンプル処理選択パラメータに付加されていた時刻情報も一緒に再生画像生成部２４に出力する。

再生画像生成部２４は、付加情報復号部２３からアップサンプル処理選択パラメータを受けると、ブロックＢの単位で、複数のアップサンプル処理の中から、そのアップサンプル処理選択パラメータが示すアップサンプル処理を選択し（ステップＳＴ１３）、そのアップサンプル処理を実施することで、画像復号部２２により生成された復号画像の解像度を上げる処理を実施する（ステップＳＴ１４）。
再生画像生成部２４は、復号画像の解像度を上げると、高解像度の復号画像である再生画像を外部に出力する。
なお、再生画像生成部２４では、復号画像とアップサンプル処理選択パラメータの同期を図るため、画像復号部２２から復号画像と一緒に出力される時刻情報と、付加情報復号部２３からアップサンプル処理選択パラメータと一緒に出力される時刻情報との同一性を確認し、同一性が認められる復号画像とアップサンプル処理選択パラメータを組みにして、その復号画像の解像度を上げる処理を実施する。

以下、再生画像生成部２４の処理内容を具体的に説明する。
再生画像生成部２４の切換スイッチ４１は、付加情報復号部２３からアップサンプル処理選択パラメータを受けると、そのアップサンプル処理選択パラメータがエッジ対応アップサンプル処理を示していれば、画像復号部２２により生成された復号画像をエッジ対応アップサンプル処理部４２に出力する。
この実施の形態１では、説明の便宜上、アップサンプル処理選択パラメータの値が「０」である場合、画像復号部２２により生成された復号画像をエッジ対応アップサンプル処理部４２に出力するものとする。

また、切換スイッチ４１は、付加情報復号部２３から出力されたアップサンプル処理選択パラメータが高精度アップサンプル処理を示していれば、画像復号部２２により生成された復号画像を高精度アップサンプル処理部４３に出力する。
この実施の形態１では、説明の便宜上、アップサンプル処理選択パラメータの値が「１」である場合、画像復号部２２により生成された復号画像を高精度アップサンプル処理部４３に出力するものとする。

また、切換スイッチ４１は、付加情報復号部２３から出力されたアップサンプル処理選択パラメータがバイリニアアップサンプル処理を示していれば、画像復号部２２により生成された復号画像をバイリニアアップサンプル処理部４４に出力する。
この実施の形態１では、説明の便宜上、アップサンプル処理選択パラメータの値が「２」である場合、画像復号部２２により生成された復号画像をバイリニアアップサンプル処理部４４に出力するものとする。

アップサンプル処理選択パラメータの値が「０」である場合
エッジ対応アップサンプル処理部４２は、切換スイッチ４１から復号画像を受けると、エッジ対応アップサンプル処理を実施することで、その復号画像の解像度を上げる処理を実施する。
即ち、エッジ対応アップサンプル処理部４２は、視覚的に劣化が目立ち易いエッジが存在する個所に対して、例えば、以下の非特許文献２に開示されているような低解像度画像の共分散を用いる適応内挿フィルタを適用することで、復号画像の解像度を上げる処理を実施する。
［非特許文献２］
Ｘ．Ｌｉ ａｎｄ Ｍ．Ｔ．Ｏｒｃｈａｒｄ，“Ｎｅｗ Ｅｄｇｅ−Ｄｉｒｅｃｔｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１０， Ｎｏ．１０， Ｏｃｔｏｂｅｒ ２００１．

ここで、図７はエッジ対応アップサンプル処理部４２によるエッジ対応アップサンプル処理の概略を示す説明図である。
図７において、エッジ対応アップサンプル処理によって生成する画素Ｙ_{２ｉ＋１，２ｊ＋１}は、画像復号部２２により生成された復号画像の画素Ｙ_{２（ｉ＋ｋ），２（ｊ＋ｌ）}を用いて、下記の式（２）のように求める。

式（２）において、αはアップサンプル後の画像の共分散によって、下記の式（３）で表される。

このエッジ対応アップサンプル処理では、下記の式（４）に示すＲハット（電子出願の関係上、明細書の文書中で、Ｒの文字の上に“＾”の記号を付することができないので、「Ｒハット」のように表記している）と、下記の式（５）に示すｒハット（電子出願の関係上、明細書の文書中で、ｒの文字の上に“＾”の記号を付することができないので、「ｒハット」のように表記している）とを、画像復号部２２により生成された復号画像の領域での共分散を用いて、下記の式（６）のように近似して、式（２）を適用する。

アップサンプル処理選択パラメータの値が「１」である場合
高精度アップサンプル処理部４３は、切換スイッチ４１から復号画像を受けると、高精度アップサンプル処理を実施することで、その復号画像の解像度を上げる処理を実施する。
即ち、高精度アップサンプル処理部４３は、エッジ以外で視覚的に劣化が目立ち易い個所に対して、例えば、バイキュービック処理のような精度が高い内挿フィルタを適用することで、復号画像の解像度を上げる処理を実施する。
なお、高精度アップサンプル処理部４３による高精度アップサンプル処理として、ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０）、ＨＥＶＣ（ＩＳＯ／ＩＥＣ ２３００８−２）の動き補償予測画像を生成する際の半画素、１／４画素を生成するために用いる内挿フィルタを用いるように構成してもよい。

アップサンプル処理選択パラメータの値が「２」である場合
バイリニアアップサンプル処理部４４は、切換スイッチ４１から復号画像を受けると、バイリニアアップサンプル処理を実施することで、その復号画像の解像度を上げる処理を実施する。
即ち、バイリニアアップサンプル処理部４４は、画像符号化装置１での解像度変換処理や符号化処理に伴う劣化度が小さく、アップサンプル処理の精度が画質に影響を与えない箇所とみなし、その箇所に対して、簡易なアップサンプル処理であるバイリニアアップサンプル処理を適用することで、その復号画像の解像度を上げる処理を実施する。
バイリニアアップサンプル処理は、式（３）において、画素の状態にかかわらず、ベクトルα（電子出願の関係上、明細書の文書中で、αの文字の上に“→”の記号を付することができないので、「ベクトルα」のように表記している）を“１”とする処理に該当する。

この実施の形態１では、値が「０」のアップサンプル処理選択パラメータとエッジ対応アップサンプル処理を対応付け、値が「１」のアップサンプル処理選択パラメータと高精度アップサンプル処理を対応付け、値が「２」のアップサンプル処理選択パラメータとバイリニアアップサンプル処理を対応付けているものを示したが、これらの対応付けは一例に過ぎず、これらの対応付けに限定されるものではない。
例えば、値が「２」のアップサンプル処理選択パラメータとエッジ対応アップサンプル処理を対応付けて、値が「０」のアップサンプル処理選択パラメータとバイリニアアップサンプル処理を対応付けるようにしてもよい。

以上で明らかなように、この実施の形態１によれば、付加情報生成部１４が、ダウンサンプラ１１により解像度が下げられる前のピクチャとアップサンプラ１３により生成されたアップサンプル局部復号画像との差分画像を生成し、その差分画像に基づいて画像復号装置２が復号画像の解像度を上げる際に実施するアップサンプル処理を指定するアップサンプル処理選択パラメータを生成するように構成したので、画像復号装置２では、画像符号化装置１の処理で生じている歪みの抑制に適するアップサンプル処理を選択することができるようになる。その結果、低い符号化ビットレートでも歪みの顕在化を抑えて画像品質を改善することができる効果を奏する。

即ち、この実施の形態１によれば、符号化処理対象信号の解像度を予め低下させて符号化が容易な信号に変換して符号化を行い、復号時に、解像度低下と符号化に伴う歪み、ならびに主観的な劣化に対するマスキング効果を考慮した適応的なアップサンプル処理を行うことで、画像信号の劣化を復元することができるため、用いる圧縮符号化方式に依存せず、高い圧縮率でも高画質な符号化が可能となる効果がある。

この実施の形態１では、付加情報生成部１４のアップサンプル処理選択パラメータ生成部３３が、式（１）によって算出されたそのアクティビティａｃｔ_Ｂに基づいてアップサンプル処理選択パラメータを生成するものを示したが、アップサンプル処理に関わるブロックＢ内の状態を特徴付けるものであれば、式（１）以外の方法で定義される如何なるアクティビティに基づいてアップサンプル処理選択パラメータを生成するようにしてもよい。

また、Ｎの値の選定は、画像符号化部１２で用いる符号化方式に基づいて定めるように構成してもよい。
例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ／Ｈ．２６４では、符号化をマクロブロック（１６×１６画素ブロック）の単位で実行するが、ＨＥＶＣは最大６４×６４画素ブロックの処理となる。
画像符号化部１２の処理は、これら符号化処理単位のブロック毎に行われるため、符号化歪みの重畳の傾向も、その符号化処理単位で変化する。例えば、このような点を考慮してＮの値を定めることにより、直交変換ブロック境界に発生し得るブロック歪みのエリアとエッジ領域との区別を行うことができる効果がある。

実施の形態２．
上記実施の形態１では、付加情報生成部１４のアップサンプル処理選択パラメータ生成部３３が、式（１）によって算出されたそのアクティビティａｃｔ_Ｂに基づいてアップサンプル処理選択パラメータを生成するものを示したが、この実施の形態２では、動きボケの影響を考慮して、アップサンプル処理選択パラメータを生成する構成について述べる。
映像中に動きの大きい被写体が存在する場合や、カメラの動きが大きい場合、波形としての信号の劣化度が大きくても、人間の視覚上ではマスキングされて、劣化として感じられないことがある。
このような場合、再生画像生成部２４におけるアップサンプル処理を必要以上に高度な処理とする必要はなく、バイニリアアップサンプル処理のような簡易なアップサンプル処理を実施するようにしてもよい。

例えば、本発明における画像復号装置２をスマートフォンなどのモバイルデバイス上に実装する場合や、ＰＣソフトウェアで実装する場合、劣化に対する視覚上のマスキング効果を考慮してアップサンプル処理選択パラメータを生成することで、必要な演算量を抑制して、消費電力の低減化や処理性能の向上を図ることができる。

画像符号化装置１が動きボケを考慮する場合、画像符号化装置１の構成は図８のようになる。
図８において、画像符号化部５１は図１の画像符号化部１２と同様に、符号化データ及び局部復号画像を生成する他に、ブロックＢの単位で動き補償予測処理等を実施する際に用いる動き量情報を付加情報生成部５２に出力する処理を実施する。
なお、画像符号化部５１の内部で実行される動き検出処理の結果として得られる動きベクトル情報をブロックＢの単位にマッピングする処理を実施する構成や、画像符号化部５１で実施される圧縮符号化処理の前段の処理として、低解像度原画像におけるブロックＢの単位に動きベクトルを探索する処理を行う構成などで、動き量情報を決定することができる。

動き検出処理の結果として得られる動きベクトル情報をブロックＢの単位にマッピングする処理を実施する構成では、画像符号化部５１における圧縮符号化処理の一部を流用するため、動きベクトルを見つけるための付加的な演算を行う必要がない。この場合は、検出された動きベクトルで予測されるブロックがブロックＢのサイズと一致しない場合や、イントラ符号化モードが発生する場合などでは、検出された動きベクトルをブロックＢ毎の動きベクトルに割り当てる処理だけが必要になる。
この割り当て処理は、画像符号化部５１の内部にあってもよいし、付加情報生成部５２が備えるように構成してもよい。
画像符号化部５１で実施される圧縮符号化処理の前段の処理として、低解像度原画像におけるブロックＢの単位に動きベクトルを探索する処理を行う構成では、画像符号化部５１において、圧縮符号化処理以外の動きベクトル探索処理が必要になるが、低解像度原画像におけるブロックＢ毎の正確な動きベクトルを検出することができる。

付加情報生成部５２は、画像符号化部５１からブロックＢの動きベクトルＭＶ_ｍ，ｎ（（ｍ，ｎ）：ブロックＢの画面内位置）から、そのブロックＢが動きボケ領域に含まれるか否かを下記の式（７）の識別フラグｍｏｔｉｏｎ＿ｂｌｕｒ＿ｆｌａｇで判別する。

式（７）において、ＴＨは所定の閾値であり、閾値ＴＨが“１”である場合、位置（ｍ，ｎ）のブロックＢは動きボケ領域に含まれているとみなす。
この実施の形態２では、式（１）で算出されるアクティビティａｃｔ_Ｂを量子化して得られるアップサンプル処理選択パラメータの値が、バイリニアアップサンプル処理以外のアップサンプル処理に対応する値になる場合、識別フラグｍｏｔｉｏｎ＿ｂｌｕｒ＿ｆｌａｇ＝１であれば、バイリニアアップサンプル処理を実施することを示す値に変換するように構成する。
このような構成の画像符号化装置１を用いることにより、動きボケの情報を新しい符号化データとして追加することなく、上記実施の形態１の画像復号装置２の構成をそのまま使用して、動きボケを考慮したアップサンプル処理を行うことができる。

画像復号装置２が動きボケを考慮する場合、画像復号装置２の構成は図９のようになる。
画像復号装置２が動きボケを考慮する場合、画像復号部６２は、図１の画像復号部２２と同様にして、符号化データに対する復号処理を実施して復号画像を生成するとともに、その復号処理で得られる動きベクトル情報（動き量情報）を付加情報復号部６３に出力する。
付加情報復号部６３は、画像復号部６２から動きベクトル情報を受けると、その動きベクトル情報をブロックＢ毎の動きベクトルに変換したのち、式（７）にしたがって識別フラグｍｏｔｉｏｎ＿ｂｌｕｒ＿ｆｌａｇを算出する。

また、付加情報復号部６３は、図１の付加情報復号部２３と同様に、多重分離部６１により分離されたアップサンプル処理選択パラメータが符号化されていれば、そのアップサンプル処理選択パラメータを復号する。
付加情報復号部６３は、そのアップサンプル処理選択パラメータの値に、算出した識別フラグｍｏｔｉｏｎ＿ｂｌｕｒ＿ｆｌａｇを上述の手順のように適用して、アップサンプル処理選択パラメータの値を変換する。
このような構成の画像復号装置２を用いることにより、画像符号化装置１の構成を変更したり、符号化データに新たなパラメータを追加したりすることなく、動きボケの状態を考慮したアップサンプル処理を行うことができる。

なお、ビットストリームは、ネットワークを介して伝送されることがあるため、図９の構成をとる場合は、伝送の過程で、回線誤りなどの影響を受けて、ビットストリームが正しく復号されない場合が発生し得る。
そこで、図９の画像復号装置２の構成をとる場合、多重分離部６１が、ビットストリームに含まれている符号化データが欠損しているフレームであるか否かを識別する識別情報を付加情報復号部６３に出力する。
付加情報復号部６３は、多重分離部６１から出力された識別情報が、符号化データが欠損しているフレームである旨を示していれば、そのフレームについては識別フラグｍｏｔｉｏｎ＿ｂｌｕｒ＿ｆｌａｇを算出せずに、アップサンプル処理選択パラメータの値を変換しないように構成する。

ビットストリームに含まれているアップサンプル処理選択パラメータについても、回線誤りなどの影響を受けて、正しく復号されない場合が発生し得る。この場合、多重分離部６１は、識別情報を再生画像生成部６４にも出力する。
再生画像生成部６４は、多重分離部６１から出力された識別情報が、アップサンプル処理選択パラメータが欠損しているフレームである旨を示していれば、そのフレームについては、予め用意されている複数のアップサンプル処理の中で、いずれか一つに固定化したアップサンプル処理を行うよう構成する。

なお、付加情報復号部６３は、ビットストリームに含まれているアップサンプル処理選択パラメータを正しく受信できていない場合、動きベクトル情報から得られる識別フラグｍｏｔｉｏｎ＿ｂｌｕｒ＿ｆｌａｇのみに基づいて、動きボケ箇所のみにバイリニアアップサンプル処理を行い、その他の箇所にはエッジ対応アップサンプル処理又は高精度アップサンプル処理のいずれかを実行するように、アップサンプル処理選択パラメータの値を変換するよう構成してもよい。

上記実施の形態１，２では、画像符号化装置１に多重化部１５を実装し、画像復号装置２に多重分離部２１，６１を実装する構成について説明したが、伝送をＩＰパケットの単位で行う場合、多重化や多重分離を行うことなく、画像符号化部１２，５１により生成された符号化データと付加情報生成部１４，５２により生成されたアップサンプル処理選択パラメータをタイムスタンプのみ合わせて別ポートで独立に送受するように構成してもよい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 画像符号化装置、２ 画像復号装置、１１ ダウンサンプラ（ダウンサンプリング手段）、１２ 画像符号化部（符号化手段）、１３ アップサンプラ（アップサンプリング手段）、１４ 付加情報生成部（処理指定情報生成手段）、１５ 多重化部（多重化手段）、２１ 多重分離部（多重分離手段）、２２ 画像復号部（復号手段）、２３ 付加情報復号部、２４ 再生画像生成部（アップサンプリング手段）、３１ 減算部、３２ アクティビティ算出部、３３ アップサンプル処理選択パラメータ生成部（処理指定情報生成部）、４１ 切換スイッチ、４２ エッジ対応アップサンプル処理部、４３ 高精度アップサンプル処理部、４４ バイリニアアップサンプル処理部、５１ 画像符号化部、５２ 付加情報生成部、６１ 多重分離部、６２ 画像復号部、６３ 付加情報復号部、６４ 再生画像生成部、１０１ ブロック分割部、１０２ 予測部、１０３ 圧縮部、１０４ 局所復号部、１０５ 加算器、１０６ ループフィルタ、１０７ メモリ、１０８ 可変長符号化部。

Claims (6)

1. 動画像を構成している各々のピクチャの解像度を下げるダウンサンプリング手段と、
   上記ダウンサンプリング手段により解像度が下げられたピクチャを圧縮符号化して、上記ピクチャの符号化データを生成するとともに、上記符号化データから局部復号画像を生成する符号化手段と、
   上記符号化手段により生成された局部復号画像の解像度を上げるアップサンプリング手段と、
   上記ダウンサンプリング手段により解像度が下げられる前のピクチャと上記アップサンプリング手段により解像度が上げられた局部復号画像との差分画像を生成し、上記差分画像に基づいて画像復号装置側が復号画像の解像度を上げる際に実施するアップサンプル処理を指定する処理指定情報を生成する処理指定情報生成手段と、
   上記符号化手段により生成された符号化データと上記処理指定情報生成手段により生成された処理指定情報を多重化する多重化手段と
   を備えた画像符号化装置。
2. 処理指定情報生成手段は、
   ダウンサンプリング手段により解像度が下げられる前のピクチャとアップサンプリング手段により解像度が上げられた局部復号画像との差分画像を生成する減算部と、
   上記減算部により生成された差分画像の信号劣化の状態を示すアクティビティを算出するアクティビティ算出部と、
   上記アクティビティ算出部により算出されたアクティビティから画像復号装置側が復号画像の解像度を上げる際に実施するアップサンプル処理を指定する処理指定情報を生成する処理指定情報生成部と
   から構成されていることを特徴とする請求項１記載の画像符号化装置。
3. 多重化されている符号化データと処理指定情報を分離する多重分離手段と、
   上記多重分離手段により分離された符号化データから復号画像を生成する復号手段と、
   上記多重分離手段により分離された処理指定情報が示すアップサンプル処理を実施することで、上記復号手段により生成された復号画像の解像度を上げるアップサンプリング手段と
   を備えた画像復号装置。
4. ダウンサンプリング手段が、動画像を構成している各々のピクチャの解像度を下げるダウンサンプリング処理ステップと、
   符号化手段が、上記ダウンサンプリング処理ステップで解像度が下げられたピクチャを圧縮符号化して、上記ピクチャの符号化データを生成するとともに、上記符号化データから局部復号画像を生成する符号化処理ステップと、
   アップサンプリング手段が、上記符号化処理ステップで生成された局部復号画像の解像度を上げるアップサンプリング処理ステップと、
   処理指定情報生成手段が、上記ダウンサンプリング処理ステップで解像度が下げられる前のピクチャと上記アップサンプリング処理ステップで解像度が上げられた局部復号画像との差分画像を生成し、上記差分画像に基づいて画像復号側で復号画像の解像度を上げる際に実施するアップサンプル処理を指定する処理指定情報を生成する処理指定情報生成処理ステップと、
   多重化手段が、上記符号化処理ステップで生成された符号化データと上記処理指定情報生成処理ステップで生成された処理指定情報を多重化する多重化処理ステップと
   を備えた画像符号化方法。
5. 多重分離部が、多重化されている符号化データと処理指定情報を分離する多重分離処理ステップと、
   復号手段が、上記多重分離処理ステップで分離された符号化データから復号画像を生成する復号処理ステップと、
   アップサンプリング手段が、上記多重分離処理ステップで分離された処理指定情報が示すアップサンプル処理を実施することで、上記復号処理ステップで生成された復号画像の解像度を上げるアップサンプリング処理ステップと
   を備えた画像復号方法。
6. 動画像を構成している各々のピクチャの解像度を下げるダウンサンプリング手段と、上記ダウンサンプリング手段により解像度が下げられたピクチャを圧縮符号化して、上記ピクチャの符号化データを生成するとともに、上記符号化データから局部復号画像を生成する符号化手段と、上記符号化手段により生成された局部復号画像の解像度を上げるアップサンプリング手段と、上記ダウンサンプリング手段により解像度が下げられる前のピクチャと上記アップサンプリング手段により解像度が上げられた局部復号画像との差分画像を生成し、上記差分画像に基づいて画像復号装置側が復号画像の解像度を上げる際に実施するアップサンプル処理を指定する処理指定情報を生成する処理指定情報生成手段と、上記符号化手段により生成された符号化データと上記処理指定情報生成手段により生成された処理指定情報を多重化する多重化手段とから構成された画像符号化装置と、
   上記画像符号化装置の多重化手段により多重化された符号化データと処理指定情報を分離する多重分離手段と、上記多重分離手段により分離された符号化データから復号画像を生成する復号手段と、上記多重分離手段により分離された処理指定情報が示すアップサンプル処理を実施することで、上記復号手段により生成された復号画像の解像度を上げるアップサンプリング手段とから構成された画像復号装置と
   を備えた画像符号化復号システム。

Images