JP2009260519A - 画像復号化装置、画像復号化集積回路、画像復号化方法および画像復号化プログラム - Google Patents

Abstract

【課題】画像が基本階層と拡張階層に階層符号化されたデータの一部が欠落して受信された場合でも、復号化された画像の極端な品質劣化を防ぐことができる画像復号化装置を提供する。
【解決手段】画像復号化装置は、符号化データを受信するデータ受信手段、受信したデータの通信路上でのエラーを検出するエラー検出手段、受信データを復号化する復号化手段、復号化した画像に対して検出されたエラーが存在する位置の画像データを生成／補完する画像補完手段および復号化した復号画像を格納するフレームメモリを有し、拡張階層のエラーが検出された場合、エラーが検出された階層の解像度にエラーが検出された階層よりも下位の階層の復号画像を変換した基本画像と、復号順で過去に復号化した復号画像とその復号画像に対応する過去の基本画像との差分画像を用いて出力復号画像を補完する。
【選択図】図１

Description

本発明は、階層的に符号化されて伝送されてきた動画像データを復号する際に、通信路の帯域変動などの原因によりデータの一部が消失されて受信された場合でも、復号画像の極端な品質劣化を防ぐことを可能とした画像復号化装置、画像復号化集積回路、画像復号化方法および画像復号化プログラムに関するものであり、特に、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４（以下、Ｈ．２６４と称す）圧縮復号化方式により圧縮復号化を行う画像復号化装置、画像復号化集積回路、画像復号化方法および画像復号化プログラムに関する。

ネットワークなどの通信路を介する情報伝送においては、通信路の帯域および受信端末の能力などは様々に異なっている。また、インターネットに代表されるように、品質が保証されていない通信路上では、時々刻々と通信帯域が変動する。このようなネットワーク環境（通信路環境）において動画像を含む画像を伝送することを想定した場合、通信路の帯域および受信端末の能力に応じた品質の画像を受信側において得られるようにすることが重要となる。このような要望を実現するため、画像を階層符号化して伝送する方法が一般的に用いられる。

画像を階層的に符号化する技術の１つとして、Ｈ．２６４のＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が規格化されている。ＳＶＣにおいては、非特許文献１に開示されているように、データは動画像を最低限の品質で復号化するのに必要なデータを有する基本階層と、この基本階層に付加することによって動画像の品質を高めるデータを有する拡張階層の２つの階層に分けられている。拡張階層のデータは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニット単位またはスライス単位で符号化されるため、通信路の帯域変動などの影響で拡張階層のデータの一部が受信できなかった場合でも、受信されたデータ量に応じた品質の動画像を復号化することができる。

階層符号化のうち、動画像の空間解像度のスケーラビリティを実現する階層符号化における符号化処理の方法としては、例えば、基本階層と拡張階層の２階層の階層符号化装置は、拡張階層と同じ空間解像度の入力映像信号を基本階層の空間解像度に縮小処理した後に基本階層にて符号化し、その基本階層にて符号化する際のローカルデコード画像を空間的に補完して拡張階層と同じ空間解像度にした信号と、拡張階層と同じ空間解像度の入力映像信号との間で相関を利用した予測を行い、その予測誤差信号を符号化して得た符号化ビットストリームと、基本階層にて符号化して得られたビットストリームを多重化したものを復号化装置へ伝送し、復号化装置は、階層符号化装置から受信した多重化された符号化ビットストリームを復号化する。

上記のように、画像の空間解像度のスケーラビリティを実現するように階層符号化されたビットストリームを復号化装置において復号化する際に、通信路の帯域変動などの影響で拡張階層のデータの一部が受信できなかった場合、一般的には画像の品質劣化が発生するが、このような場合における画像の極端な品質劣化を抑える方法の一つとして、非特許文献２に開示されているような方法、すなわち、基本階層の符号化ビットストリームを復号化した画像を空間的に補完し、拡張階層と同じ空間解像度にした信号を拡張階層の復号画像とする方法がある。
Ｊｏｉｎｔ Ｄｒａｆｔ １０ ｏｆ ＳＶＣ Ａｍｅｎｄｍｅｎｔ Ｐｒｏｐｏｓｅｄ ｍｏｄｉｆｉｃａｔｉｏｎｓ ｆｏｒ Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ

しかしながら、非特許文献２に開示されている方法によっては、基本階層の符号化ビットストリームを復号化した画像のみを使用しているが、拡張階層の解像度に比べて基本階層の解像度は低いため、解像度感が損なわれ画質が劣化するという課題があった。

本発明は係る問題を解決するためになされたものであり、階層符号化されたデータの一部が欠落して受信された場合でも、復号化された画像の極端な品質劣化を防ぐことができ、解像度感あるいは精細度感の損なわれない復号画像を得ることができる階層符号化された画像の復号化装置および復号化方法を提供することを目的とする。

上記目的を達成するために、本願の第１の発明の画像復号化装置は、１つの基本階層と少なくとも１つの拡張階層に階層符号化された画像符号化データを、通信路を介して受信して復号化する画像復号化装置であって、前記画像符号化データを受信データとして前記通信路を介して受信するデータ受信手段と、前記データ受信手段において受信された前記受信データの前記通信路上でのエラーの発生と、エラーが発生した位置を検出するエラー検出手段と、前記受信データを復号化する復号化手段と、前記復号化手段において復号化された画像データに対して、前記エラー検出手段において検出されたエラーが発生した位置の画像データを補完する画像補完手段と、前記復号化手段において復号化された復号画像データを格納するフレームメモリを有し、前記画像補完手段は、前記エラー検出手段において少なくとも１つの前記拡張階層のエラーを検出した場合、エラーが検出された階層の解像度に前記エラーが検出された階層よりも下位の階層の復号画像データを変換した基本画像データと、復号順で過去に復号化した過去の復号画像データと前記過去の復号画像データに対応する過去の基本画像データとの差分画像データとを用いて、前記エラーが発生した位置の画像データを補完することを特徴とするものである。

また、本願の第２の発明の画像復号化装置は、本願の第１の発明の画像復号化装置において、前記画像補完手段は、前記エラー検出手段において少なくとも１つの前記拡張階層のエラーが検出された場合、エラーが検出された位置に相当するマクロブロックにおいて、前記エラーが検出された階層よりも下位の階層のマクロブロックの符号化モードがインターモードである場合、前記下位の階層のマクロブロックの動きベクトルが指し示す位置に相当する前記差分画像データと、前記基本画像データとを加算した画像データを復号画像データとし、前記マクロブロックの符号化モードがインターモードでない場合、前記基本画像データを復号画像データとすることを特徴とするものである。

また、本願の第３の発明の画像復号化装置は、本願の第１の発明の画像復号化装置において、前記画像補完手段は、前記エラー検出手段において少なくとも１つの前記拡張階層のエラーが検出された場合、エラーが検出された位置に相当するマクロブロックにおいて、前記エラーが検出された階層よりも下位の階層のマクロブロックの符号化モードがインターモードで、かつ動きベクトルの大きさが予め定められた閾値以下である場合は、前記下位の階層のマクロブロックの動きベクトルが指し示す位置に相当する前記差分画像データと、前記基本画像データを加算した画像データを復号画像データとし、それ以外の場合は、前記基本画像データを復号画像データとすることを特徴とするものである。

また、本願の第４の発明の画像復号化装置は、本願の第１〜第３のいずれかの発明の画像復号化装置において、前記階層符号化は、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４のＳｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ規格、または、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４のＭｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ規格に基づく階層符号化であることを特徴とするものである。

また、本願の第５の発明の画像復号化方法は、１つの基本階層と少なくとも１つの拡張階層に階層符号化された画像符号化データを、通信路を介して受信して復号化する画像復号化方法であって、前記画像符号化データを受信データとして前記通信路を介して受信するデータ受信ステップと、前記データ受信ステップにおいて受信された前記受信データの前記通信路上でのエラーの発生と、エラーが発生した位置を検出するエラー検出ステップと、前記受信データを復号化する復号化ステップと、前記復号化ステップにおいて復号化された画像データに対して、前記エラー検出ステップにおいて検出されたエラーが発生した位置の画像データを補完する画像補完ステップと、前記復号化ステップにおいて復号化された復号画像データをフレームメモリに格納するステップを有し、前記画像補完ステップは、前記エラー検出ステップにおいて少なくとも１つの前記拡張階層のエラーを検出した場合、エラーが検出された階層の解像度に前記エラーが検出された階層よりも下位の階層の復号画像データを変換した基本画像データと、復号順で過去に復号化した過去の復号画像データと前記過去の復号画像データに対応する過去の基本画像データとの差分画像データとを用いて、前記エラーが発生した位置の画像データを補完することを特徴とするものである。

また、本願の第６の発明の画像復号化方法は、本願の第５の発明の画像復号化方法において、前記画像補完ステップは、前記エラー検出ステップにおいて少なくとも１つの前記拡張階層のエラーが検出された場合、エラーが検出された位置に相当するマクロブロックにおいて、前記エラーが検出された階層よりも下位の階層のマクロブロックの符号化モードがインターモードである場合、前記下位の階層のマクロブロックの動きベクトルが指し示す位置に相当する前記差分画像データと、前記基本画像データとを加算した画像データを復号画像データとし、前記マクロブロックの符号化モードがインターモードでない場合、前記基本画像データを復号画像データとすることを特徴とするものである。

また、本願の第７の発明の画像復号化方法は、本願の第５の発明の画像復号化方法において、前記画像補完ステップは、前記エラー検出手段において少なくとも１つの前記拡張階層のエラーが検出された場合、エラーが検出された位置に相当するマクロブロックにおいて、前記エラーが検出された階層よりも下位の階層のマクロブロックの符号化モードがインターモードで、かつ動きベクトルの大きさが予め定められた閾値以下である場合は、前記下位の階層のマクロブロックの動きベクトルが指し示す位置に相当する前記差分画像データと、前記基本画像データとを加算した画像データを復号画像データとし、それ以外の場合は、前記基本画像データを復号画像データとすることを特徴とするものである。

また、本願の第８の発明の画像復号化方法は、本願の第５〜第７のいずれかの発明の画像復号化方法において、前記階層符号化は、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４のＳｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ規格、または、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４のＭｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ規格に基づく階層符号化であることを特徴とするものである。

また、本願の第９の発明の画像復号化集積回路は、１つの基本階層と少なくとも１つの拡張階層に階層符号化された画像符号化データを、通信路を介して受信して復号化する画像復号化集積回路であって、前記画像符号化データを受信データとして前記通信路を介して受信するデータ受信手段と、前記データ受信手段において受信された前記受信データの前記通信路上でのエラーの発生と、エラーが発生した位置を検出するエラー検出手段と、
前記受信データを復号化する復号化手段と、前記復号化手段において復号化された画像データに対して、前記エラー検出手段において検出されたエラーが発生した位置の画像データを補完する画像補完手段と、前記復号化手段において復号化された復号画像データを格納するフレームメモリを有し、前記画像補完手段は、前記エラー検出手段において少なくとも１つの前記拡張階層のエラーを検出した場合、エラーが検出された階層の解像度に前記エラーが検出された階層よりも下位の階層の復号画像データを変換した基本画像データと、復号順で過去に復号化した過去の復号画像データと前記過去の復号画像データに対応する過去の基本画像データとの差分画像データとを用いて、前記エラーが発生した位置の画像データを補完することを特徴とするものである。

また、本願の第１０の発明の画像復号化プログラムは、１つの基本階層と少なくとも１つの拡張階層に階層符号化された画像符号化データを、通信路を介して受信して復号化する画像復号化プログラムであって、前記画像符号化データを受信データとして前記通信路を介して受信するデータ受信ステップと、前記データ受信ステップにおいて受信された前記受信データの前記通信路上でのエラーの発生と、エラーが発生した位置を検出するエラー検出ステップと、前記受信データを復号化する復号化ステップと、前記復号化ステップにおいて復号化された画像データに対して、前記エラー検出ステップにおいて検出されたエラーが発生した位置の画像データを補完する画像補完ステップと、前記復号化ステップにおいて復号化された復号画像データをフレームメモリに格納するステップを有し、前記画像補完ステップは、前記エラー検出ステップにおいて少なくとも１つの前記拡張階層のエラーを検出した場合、エラーが検出された階層の解像度に前記エラーが検出された階層よりも下位の階層の復号画像データを変換した基本画像データと、復号順で過去に復号化した過去の復号画像データと前記過去の復号画像データに対応する過去の基本画像データとの差分画像データとを用いて、前記エラーが発生した位置の画像データを補完することを特徴とするものである。

本発明によれば、拡張階層の受信データの一部が欠落して受信された場合、既に復号化した画像データと、受信データの一部が欠落した階層より下位の階層の復号化データから生成した画像データを用いて復号画像データを生成し、この生成した復号画像データにより受信データが欠落した位置の復号画像データを補完することで、拡張階層の解像度感をできる限り維持することができるため、基本階層をアップサンプルした画像を出力する従来の方法に比べて、復号化された画像の極端な品質劣化を防ぎ、解像度感あるいは精細度感の損なわれない復号画像を得ることができる。

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図である。

なお、本発明の実施の形態１に係る画像復号化装置は、入力されたＨ．２６４圧縮符号化方式で階層符号化された画像の符号化データをＨ．２６４圧縮復号化方式で復号化し、復号画像として出力するものである。

また、Ｈ．２６４圧縮復号化方式による階層復号化においては、１つの基本階層と少なくとも１つの拡張階層で構成された動画像の符号化データを復号化することができるが、説明を簡単にするため、本発明の実施の形態１におけるＨ．２６４圧縮復号化方式による階層復号化においては、１つの基本階層とこの基本階層の上位の階層に相当する１つの拡張階層で構成された画像の符号化データを復号化するものとする。

図１において、画像復号化装置１００は、データ受信手段１０１、エラー検出手段１０２、復号化手段１０３、フレームメモリ１０４および画像補完手段１０５を備えている。

データ受信手段１０１は、通信路を介して画像復号化装置１００に入力された画像の符号化データを受信する。画像の符号化データは、１つの基本階層と１つの拡張階層で構成されており、基本階層は、例えば、復号画像の解像度が１９２０画素×１０８０画素の符号化データによって構成され、拡張階層は、例えば、復号画像の解像度が３８４０画素×２１６０画素の符号化データによって構成されている。

エラー検出手段１０２は、データ受信手段１０１から入力された画像の符号化データを解析し、通信路上でのエラーを検出し、エラーが発生したか否かの情報と、エラーが発生した場合はエラーの発生位置に関する情報を出力する。

復号化手段１０３は、データ受信手段１０１から入力された画像の符号化データを復号化し、拡張階層の復号画像データ、基本階層の復号画像データおよび基本階層のマクロブロックの符号化モードや動きベクトル等の復号化情報を出力する。

フレームメモリ１０４は、復号化手段１０３から入力された拡張階層の復号画像データと基本階層の復号画像データを格納する。

画像補完手段１０５は、エラー検出手段１０２から入力されたエラーが発生したか否かの情報を受け取り、エラーが発生していない場合は、復号化手段１０３から入力された拡張階層の復号画像データをそのまま出力し、エラーが発生している場合は、エラー検出手段１０２から入力されたエラーの発生位置に関する情報を基にエラーが発生した位置に相当する画像データを生成し、生成した画像データをエラーが発生した位置の画像データに置き換えて出力する。なお、エラーが発生した位置に相当する画像データについては、フレームメモリ１０４に格納されている基本階層の復号画像データ、過去の拡張階層の復号画像データおよび過去の基本階層の復号画像データを用いて生成するが、この画像補完手段１０５における具体的な動作に関する詳細については後述する。

次に、図２を用いて、復号化手段１０３における動作について、もう少し詳細に説明する。なお、図２は、本発明の実施の形態１に係る画像復号化装置１００における復号化手段１０３の詳細な構成を示すブロック図である。

図２において、復号化手段１０３は、分離部２０１、基本階層エントロピー復号化部２０２、基本階層逆量子化部２０３、基本階層逆直交変換部２０４、基本階層予測画像生成部２０５、基本階層加算器２０６、拡張階層エントロピー復号化部２０７、拡張階層逆量子化部２０８、拡張階層逆直交変換部２０９、拡張階層予測画像生成部２１０および拡張階層加算器２１１を備えている。

フレームメモリ１０４は、図１および図２に共通するブロックであるため同じ符号を付しており、ここでの説明は省略する。

分離部２０１は、データ受信手段１０１から入力された画像の符号化データを、基本階層の符号化データと拡張階層の符号化データに分離する。

基本階層エントロピー復号化部２０２は、分離部２０１から入力された基本階層の符号化データに対してエントロピー復号化の処理を行い、それにより得られた量子化データと、マクロブロックの符号化モードや動きベクトル等の復号化情報を出力する。

基本階層逆量子化部２０３は、基本階層エントロピー復号化部２０２から入力された基本階層の量子化データを逆量子化することにより周波数係数データに復元する。

基本階層逆直交変換部２０４は、基本階層逆量子化部２０３から入力された基本階層の周波数係数データを逆周波数変換することで画素差分データに変換する。

基本階層予測画像生成部２０５は、既に復号化されてフレームメモリ１０４に格納されている基本階層の復号画像（以下、基本階層の参照画像と称す）データと、基本階層エントロピー復号化部２０２から入力されたマクロブロックの符号化モードや動きベクトル等の復号化情報を用いて予測画像を生成する。この予測画像の生成においては、マクロブロックの符号化モードがインターモードであった場合は動き補償を用いた面間予測により予測画像を生成し、マクロブロックの符号化モードがイントラモードであった場合は面内予測により予測画像を生成する。

基本階層加算器２０６は、基本階層逆直交変換部２０４から入力された画素差分データと、基本階層予測画像生成部２０５から入力された予測画像データとを加算し、基本階層の復号画像データを生成する。

拡張階層エントロピー復号化部２０７は、分離部２０１から入力された拡張階層の符号化データに対してエントロピー復号化の処理を行い、それにより得られた量子化データと、マクロブロックの符号化モードや動きベクトル等の復号化情報を出力する。

拡張階層逆量子化部２０８は、拡張階層エントロピー復号化部２０７から入力された拡張階層の量子化データを逆量子化することにより周波数係数データに復元する。

拡張階層逆直交変換部２０９は、拡張階層逆量子化部２０８から入力された拡張階層の周波数係数データを逆周波数変換することで画素差分データに変換する。

拡張階層予測画像生成部２１０は、既に復号化されてフレームメモリ１０４に格納されている拡張階層の復号画像（以下、拡張階層の参照画像と称す）データと、既に復号化されてフレームメモリ１０４に格納されている基本階層の参照画像データと、基本階層逆直交変換部２０４から入力された基本階層の画素差分データと、拡張階層エントロピー復号化部２０７から入力されたマクロブロックの符号化モードや動きベクトル等の復号化情報と、基本階層エントロピー復号化部２０２から入力されたマクロブロックの符号化モードや動きベクトル等の復号化情報とを用いて予測画像を生成する。

拡張階層加算器２１１は、拡張階層逆直交変換部２０９から入力された拡張階層の画素差分データと、拡張階層予測画像生成部２１０から入力された予測画像データとを加算し、拡張階層の復号画像データを生成する。

次に、図３、図４を参照しながら、画像補完手段１０５がどのように復号画像の画像補完を行うかについて説明する。なお、図３は、本発明の実施の形態１に係る画像復号化装置における画像補完手段１０５が復号画像の画像補完を行う第１の方法を示すフローチャートであり、図４は、本発明の実施の形態１に係る画像復号化装置における画像補完手段１０５が復号画像の画像補完を行う第２の方法を示すフローチャートである。また、図３および図４に記述されているＭＢはマクロブロックの略称であり、ＭＶは動きベクトルの略称である。

まず、図３を参照しながら復号画像の画像補完を行う第１の方法について説明する。

図３において、画像補完手段１０５は、エラー検出手段１０２からエラーが発生したか否かの情報を受け取り、受信データにエラーが発生したか否かを判断する（Ｓ３０１）。ステップＳ３０１においてエラーが発生していないと判断された場合（ステップＳ３０１においてＮｏの場合）、画像補完手段１０５は復号化手段１０３から入力された拡張階層の復号画像データをそのまま出力する（Ｓ３０８）。ステップＳ３０１においてエラーが発生したと判断された場合（ステップＳ３０１においてＹｅｓの場合）、画像補完手段１０５は拡張階層の符号化データのみにエラーが発生したか否かを判断する（Ｓ３０２）。

ステップＳ３０２において、拡張階層だけではなく基本階層の符号化データにおいてもエラーが発生したと判断された場合（ステップＳ３０２においてＮｏの場合）、画像補完手段１０５はフレームメモリ１０４に格納されている拡張階層の参照画像データで補完する。すなわち、画像補完手段１０５はフレームメモリ１０４に格納されている拡張階層の参照画像データで補完して出力する（Ｓ３０７）。ここで、復号画像として出力する拡張階層の参照画像は、複数存在する拡張階層の参照画像のうち復号化対象となっている画像に対して表示順序で最も近い位置にある拡張階層の参照画像を選択することが望ましいが、それ以外の拡張階層の参照画像を使用してもよい。

ステップＳ３０２において、拡張階層の符号化データのみにエラーが発生したと判断された場合（ステップＳ３０２においてＹｅｓの場合）、画像補完手段１０５は、復号化対象となっている画像の基本階層の復号画像データを拡張階層の解像度にアップサンプルした基本画像データと、拡張階層の参照画像データとこれに対応する基本画像（拡張階層の参照画像を復号化する際に、基本階層の復号画像であった画像データを拡張階層の解像度にアップサンプルした画像）データとの差分画像データを生成する（Ｓ３０３）。

ここで、基本画像を生成するときに用いるアップサンプルの方法としては、例えば、ＳＶＣで基本階層から拡張階層の画素データを予測するときに用いるアップサンプルの方法と同様の方法でも良いし、それ以外のアップサンプルの方法を用いてもよい。また、差分画像データの生成に使用する拡張階層の参照画像は、複数存在する拡張階層の参照画像のうち復号化対象となっている画像に対して表示順序で最も近い位置にある拡張階層の参照画像を選択することが望ましいが、それ以外の拡張階層の参照画像を使用してもよい。

基本画像データと差分画像データを生成した後、画像補完手段１０５は、基本階層のマクロブロックの符号化モードがインターモードであるか否かを判断する（Ｓ３０４）。ステップＳ３０４において、マクロブロックの符号化タイプがインターモードであると判断された場合（ステップＳ３０４においてＹｅｓの場合）、画像補完手段１０５は、ステップＳ３０３において生成した基本画像データと差分画像データを加算した画像データで補完して出力する（Ｓ３０５）。ステップＳ３０４において、マクロブロックの符号化モードがインターモードでないと判断された場合（ステップＳ３０４においてＮｏの場合）、画像補完手段１０５は基本画像データで補完して出力する（Ｓ３０６）。ここで、マクロブロックの符号化モードがインターモードであるということは、復号化対象となっているマクロブロックが面間予測により予測画像を生成することを意味し、マクロブロックの符号化モードがインターモードでない、すなわち、イントラモードであるということは、復号化対象となっているマクロブロックが面内予測により予測画像を生成することを意味する。

このように、エラーを検出した場合、基本階層と拡張階層の両方でエラーが発生したことを検出した場合は拡張階層の参照画像データで補完し、拡張階層のみでエラーが発生したことを検出した場合は、基本画像データと差分画像データを生成し、基本階層のマクロブロックの符号化モードがインターモードである場合は基本画像データと差分画像データを加算した画像データで補完し、インターモードでない場合は基本画像データで補完を行うことにより、拡張階層のみでエラーが発生した場合に、従来の基本階層の復号データのみから画像データを補完する方法よりも解像度感あるいは精細度感のある補完画像を得ることができるので、復号画像の画質を向上させることが可能となる。

次に、図４を参照しながら復号画像の画像補完を行う第２の方法について説明する。

図４において、画像補完手段１０５は、エラー検出手段１０２からエラーが発生したか否かという情報を受け取り、受信データにエラーが発生したか否かを判断する（Ｓ４０１）。ステップＳ４０１においてエラーが発生していないと判断された場合（ステップＳ４０１においてＮｏの場合）、画像補完手段１０５は復号化手段１０３から入力された通常のデコード画像データである拡張階層の復号画像データをそのまま出力する（Ｓ４０９）。ステップＳ４０１においてエラーが発生したと判断された場合（ステップＳ４０１においてＹｅｓの場合）、画像補完手段１０５は、拡張階層の符号化データのみにエラーが発生したか否かを判断する（Ｓ４０２）。

ステップＳ４０２において、拡張階層だけではなく基本階層の符号化データにおいてもエラーが発生したと判断された場合（ステップＳ４０２においてＮｏの場合）、画像補完手段１０５は、フレームメモリ１０４に格納されている拡張階層の参照画像データで補完して出力する（Ｓ４０８）。ステップＳ４０２において、拡張階層の符号化データのみにエラーが発生したと判断された場合（ステップＳ４０２においてＹｅｓの場合）、画像補完手段１０５は、復号化対象となっている基本階層の復号画像データを拡張階層の解像度にアップサンプルした基本画像データと、拡張階層の参照画像データとこれに対応する基本画像データとの差分画像データを生成する（Ｓ４０３）。

基本画像データと差分画像データを生成した後、画像補完手段１０５は、基本階層のマクロブロックの符号化モードがインターモードであるか否かを判断する（Ｓ４０４）。ステップＳ４０４において、マクロブロックの符号化モードがインターモードでないと判断された場合（ステップＳ４０４においてＮｏの場合）、画像補完手段１０５は、基本画像データで補完して出力する（Ｓ４０７）。ステップＳ４０４において、マクロブロックの符号化モードがインターモードであると判断された場合（ステップＳ４０４においてＹｅｓの場合）、画像補完手段１０５は、基本階層のマクロブロックの動きベクトル（ＭＶ）の大きさが予め定められた閾値以下であるか否かを判定する（Ｓ４０５）。

ステップＳ４０５において、動きベクトルの大きさが予め定められた閾値以下であると判断された場合（ステップＳ４０５においてＹｅｓの場合）、画像補完手段１０５は、ステップＳ４０３において生成した基本画像データと差分画像データを加算した画像データで補完して出力する（Ｓ４０６）。ステップＳ４０５において、動きベクトルの大きさが予め定められた閾値より大きいと判断された場合（ステップＳ４０５においてＮｏの場合）、画像補完手段１０５は、基本画像データで補完して出力する（Ｓ４０７）。

ここで、動きベクトルの大きさとは、動きベクトルの水平成分の絶対値と垂直成分の絶対値の和であってもよいし、動きベクトルの水平成分と垂直成分の自乗和であってもよいし、さらに、動きベクトルの水平成分と垂直成分の実際の距離である自乗和の平方根であってもよい。また、予め定められた閾値とは、例えば、０（ゼロ）が望ましいが、それ以外の値であってもよい。

このように、エラーを検出した場合、基本階層と拡張階層の両方でエラーが発生したことを検出した場合は拡張階層の参照画像データで補完し、拡張階層のみでエラーが発生したことを検出した場合は、基本画像データと差分画像データを生成し、基本階層のマクロブロックの符号化モードがインターモードで、かつ、動きベクトルが予め定められた閾値以下であると判定された場合は、基本画像データと差分画像データを加算した画像データで補完し、それ以外の場合は、基本画像データで補完を行うことにより、拡張階層のみでエラーが発生した場合に、従来の基本階層の復号データのみから画像データを補完する方法よりも精細感のある補完画像を得ることができるので、復号画像の画質を向上させることが可能となる。

以上のように、本発明の実施の形態１に係る画像復号化装置は、画像補完手段１０５において、エラー検出手段１０２から入力されたエラーが発生したか否かの情報に基づき、フレームメモリ１０４に格納された基本階層の復号画像、過去の拡張階層の復号画像および過去の基本階層の復号画像の情報を用いて、復号画像の補完を行った上で復号画像を出力するように構成されている。

このように構成することにより、拡張階層のみでエラーが発生した場合に、基本階層の復号画像（ステップＳ３０３およびステップＳ４０３における基本画像）データと、過去の拡張階層の復号画像と過去の基本階層の復号画像から生成した差分画像（ステップＳ３０３およびステップＳ４０３における差分画像）データを用いて復号化された画像を補完することで、拡張階層の解像度感をできる限り維持することができるため、基本階層をアップサンプルした画像を出力する従来の方法に比べて、解像度感あるいは精細度感のある補完画像を得ることができ、復号画像の画質を向上させることが可能となる。

以上、本発明の実施の形態１について説明したが、本発明はこれに限定されるものではない。

例えば、本発明の実施の形態１においては、画像符号化装置１００へ入力される画像符号化データを、１つの基本階層と１つの拡張階層で構成された動画像符号化データとしたが、１つの基本階層と２つ以上の拡張階層で構成された動画像符号化データとしてもかまわない。この場合、階層は少なくとも３つとなり、基本階層が最も下位の階層となる。

また、本発明の実施の形態１においては、基本階層と拡張階層の解像度が異なっており、拡張階層の解像度が基本階層の解像度より大きくなっているが、基本階層と拡張階層の解像度が同じであってもよいし、拡張階層の解像度が基本階層の解像度より小さくなっていてもかまわない。ただし、基本階層と拡張階層で解像度が同じ場合は解像度変換は行わず、拡張階層の解像度が基本階層の解像度より小さくなる場合はダウンサンプルして解像度変換を行う。

また、本発明の実施の形態１においては、ピクチャ内の全マクロブロックの符号化モードがイントラモードで構成されるピクチャについては基本画像データで補完するとしたが、イントラモードで構成される該ピクチャについては基本画像データと差分画像データを加算した画像データで補完してもよい。

また、本発明の実施の形態１においては、基本階層の復号画像を拡張階層の解像度にアップサンプルした画像データを基本画像データとしたが、画像補完手段１０５において、基本階層エントロピー復号化手段２０２から入力されたマクロブロックの符号化モードや動きベクトル等の復号化情報から拡張階層の参照画像について動き補償を行った画素データと、基本階層逆直交変換部２０４から入力された画素差分データを拡張階層の解像度にアップサンプルした画素データとを加算したものを基本画像データとしてもよい。

また、本発明の実施の形態１においては、圧縮符号化方式としてＨ．２６４のＳＶＣを例に挙げて説明したが、圧縮符号化方式としては、例えば、Ｈ．２６４のＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＳＰ／ＦＧＳおよびＭｏｔｉｏｎ ＪＰＥＧ２０００などのように、スケーラビリティ機能や複数の画像データを符号化する方法が規定されている圧縮符号化方式を用いてもかまわない。

以上のように、本発明の画像復号化装置は、画像補完手段１０５において、エラー検出手段１０２から入力されたエラーが発生したか否かの情報に基づき、フレームメモリ１０４に格納された基本階層の復号画像、過去の拡張階層の復号画像および過去の基本階層の復号画像の情報を用いて、復号化された画像の補完を行った上で復号画像を出力するため、受信データ（画像の符号化データ）の一部が欠落して受信された場合でも精細感の損なわれない復号画像を得ることができるので、復号化された画像の極端な品質劣化を防ぐことができ、画像復号化装置の画質の向上を図ることが可能である。

なお、本発明は、本発明の実施の形態１における各手段を備える画像復号化装置として提供することができるばかりでなく、画像復号化装置が具備する各手段を備える画像復号化集積回路や、画像復号化装置が具備する各手段を各ステップとする画像復号化方法およびその画像復号化方法をコンピュータに実行させる画像復号化プログラムを提供することも可能である。そして、この画像復号プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。

また、画像復号化集積回路は、典型的な集積回路であるＬＳＩとして実現することができる。この場合、ＬＳＩは、１チップで構成しても良いし、複数チップで構成しても良い。例えば、メモリ以外の機能ブロックが１チップＬＳＩで構成しても良い。なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサーで実現してもよいし、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。ＬＳＩに置き換わる集積回路化の技術としては、例えば、バイオ技術の適応等がその可能性として有り得ると考えられる。

また、集積回路化に際し、各機能ブロックのうち、データを格納するユニットだけを１チップ化構成に取り込まず、別構成としても良い。

本発明に係る画像復号化装置および画像復号化方法は、Ｈ．２６４、ＭＰＥＧ−２などの規格に基づいて圧縮符号化された符号化データの復号化を行う際に、伝送エラーが発生したことに起因する復号画像の極端な品質劣化を防ぐことができるため、パーソナルコンピュータ、ＤＶＤプレイヤー、ＤＶＤレコーダ、ディジタルムービー、ディジタルカメラおよびカメラ付き携帯電話機等の画像を処理するディジタル機器に適用できる。

本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図 本発明の実施の形態１に係る画像復号化装置における復号化手段の詳細な構成を示すブロック図 本発明の実施の形態１に係る画像復号化装置における画像補完手段が復号画像の画像補完を行う第１の方法を示すフローチャート 本発明の実施の形態１に係る画像復号装置における画像補完手段が復号画像の画像補完を行う第２の方法を示すフローチャート

符号の説明

１００ 画像復号化装置
１０１ データ受信手段
１０２ エラー検出手段
１０３ 復号化手段
１０４ フレームメモリ
１０５ 画像補完手段
２０１ 分離部
２０２ 基本階層エントロピー復号化部
２０３ 基本階層逆量子化部
２０４ 基本階層逆直交変換部
２０５ 基本階層予測画像生成部
２０６ 基本階層加算器
２０７ 拡張階層エントロピー復号化部
２０８ 拡張階層逆量子化部
２０９ 拡張階層逆直交変換部
２１０ 拡張階層予測画像生成部
２１１ 拡張階層加算器

Claims (10)

1. １つの基本階層と少なくとも１つの拡張階層に階層符号化された画像符号化データを、通信路を介して受信して復号化する画像復号化装置であって、
   前記画像符号化データを受信データとして前記通信路を介して受信するデータ受信手段と、
   前記データ受信手段において受信された前記受信データの前記通信路上でのエラーの発生と、エラーが発生した位置を検出するエラー検出手段と、
   前記受信データを復号化する復号化手段と、
   前記復号化手段において復号化された画像データに対して、前記エラー検出手段において検出されたエラーが発生した位置の画像データを補完する画像補完手段と、
   前記復号化手段において復号化された復号画像データを格納するフレームメモリを有し、
   前記画像補完手段は、前記エラー検出手段において少なくとも１つの前記拡張階層のエラーを検出した場合、エラーが検出された階層の解像度に前記エラーが検出された階層よりも下位の階層の復号画像データを変換した基本画像データと、復号順で過去に復号化した過去の復号画像データと前記過去の復号画像データに対応する過去の基本画像データとの差分画像データとを用いて、前記エラーが発生した位置の画像データを補完することを特徴とする画像復号化装置。
2. 前記画像補完手段は、前記エラー検出手段において少なくとも１つの前記拡張階層のエラーが検出された場合、エラーが検出された位置に相当するマクロブロックにおいて、前記エラーが検出された階層よりも下位の階層のマクロブロックの符号化モードがインターモードである場合、前記下位の階層のマクロブロックの動きベクトルが指し示す位置に相当する前記差分画像データと、前記基本画像データとを加算した画像データを復号画像データとし、前記マクロブロックの符号化モードがインターモードでない場合、前記基本画像データを復号画像データとすることを特徴とする請求項１記載の画像復号化装置。
3. 前記画像補完手段は、前記エラー検出手段において少なくとも１つの前記拡張階層のエラーが検出された場合、エラーが検出された位置に相当するマクロブロックにおいて、前記エラーが検出された階層よりも下位の階層のマクロブロックの符号化モードがインターモードで、かつ動きベクトルの大きさが予め定められた閾値以下である場合は、前記下位の階層のマクロブロックの動きベクトルが指し示す位置に相当する前記差分画像データと、前記基本画像データを加算した画像データを復号画像データとし、それ以外の場合は、前記基本画像データを復号画像データとすることを特徴とする請求項１記載の画像復号化装置。
4. 前記階層符号化は、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４のＳｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ規格、または、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４のＭｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ規格に基づく階層符号化であることを特徴とする請求項１乃至３のいずれかに記載の画像復号化装置。
5. １つの基本階層と少なくとも１つの拡張階層に階層符号化された画像符号化データを、通信路を介して受信して復号化する画像復号化方法であって、
   前記画像符号化データを受信データとして前記通信路を介して受信するデータ受信ステップと、
   前記データ受信ステップにおいて受信された前記受信データの前記通信路上でのエラーの発生と、エラーが発生した位置を検出するエラー検出ステップと、
   前記受信データを復号化する復号化ステップと、
   前記復号化ステップにおいて復号化された画像データに対して、前記エラー検出ステップにおいて検出されたエラーが発生した位置の画像データを補完する画像補完ステップと、
   前記復号化ステップにおいて復号化された復号画像データをフレームメモリに格納するステップを有し、
   前記画像補完ステップは、前記エラー検出ステップにおいて少なくとも１つの前記拡張階層のエラーを検出した場合、エラーが検出された階層の解像度に前記エラーが検出された階層よりも下位の階層の復号画像データを変換した基本画像データと、復号順で過去に復号化した過去の復号画像データと前記過去の復号画像データに対応する過去の基本画像データとの差分画像データとを用いて、前記エラーが発生した位置の画像データを補完することを特徴とする画像復号化方法。
6. 前記画像補完ステップは、前記エラー検出ステップにおいて少なくとも１つの前記拡張階層のエラーが検出された場合、エラーが検出された位置に相当するマクロブロックにおいて、前記エラーが検出された階層よりも下位の階層のマクロブロックの符号化モードがインターモードである場合、前記下位の階層のマクロブロックの動きベクトルが指し示す位置に相当する前記差分画像データと、前記基本画像データとを加算した画像データを復号画像データとし、前記マクロブロックの符号化モードがインターモードでない場合、前記基本画像データを復号画像データとすることを特徴とする請求項５記載の画像復号化方法。
7. 前記画像補完ステップは、前記エラー検出手段において少なくとも１つの前記拡張階層のエラーが検出された場合、エラーが検出された位置に相当するマクロブロックにおいて、前記エラーが検出された階層よりも下位の階層のマクロブロックの符号化モードがインターモードで、かつ動きベクトルの大きさが予め定められた閾値以下である場合は、前記下位の階層のマクロブロックの動きベクトルが指し示す位置に相当する前記差分画像データと、前記基本画像データとを加算した画像データを復号画像データとし、それ以外の場合は、前記基本画像データを復号画像データとすることを特徴とする請求項５記載の画像復号化方法。
8. 前記階層符号化は、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４のＳｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ規格、または、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４のＭｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ規格に基づく階層符号化であることを特徴とする請求項５乃至７のいずれかに記載の画像復号化方法。
9. １つの基本階層と少なくとも１つの拡張階層に階層符号化された画像符号化データを、通信路を介して受信して復号化する画像復号化集積回路であって、
   前記画像符号化データを受信データとして前記通信路を介して受信するデータ受信手段と、
   前記データ受信手段において受信された前記受信データの前記通信路上でのエラーの発生と、エラーが発生した位置を検出するエラー検出手段と、
   前記受信データを復号化する復号化手段と、
   前記復号化手段において復号化された画像データに対して、前記エラー検出手段において検出されたエラーが発生した位置の画像データを補完する画像補完手段と、
   前記復号化手段において復号化された復号画像データを格納するフレームメモリを有し、
   前記画像補完手段は、前記エラー検出手段において少なくとも１つの前記拡張階層のエラーを検出した場合、エラーが検出された階層の解像度に前記エラーが検出された階層よりも下位の階層の復号画像データを変換した基本画像データと、復号順で過去に復号化した過去の復号画像データと前記過去の復号画像データに対応する過去の基本画像データとの差分画像データとを用いて、前記エラーが発生した位置の画像データを補完することを特徴とする画像復号化集積回路。
10. １つの基本階層と少なくとも１つの拡張階層に階層符号化された画像符号化データを、通信路を介して受信して復号化する画像復号化プログラムであって、
    前記画像符号化データを受信データとして前記通信路を介して受信するデータ受信ステップと、
    前記データ受信ステップにおいて受信された前記受信データの前記通信路上でのエラーの発生と、エラーが発生した位置を検出するエラー検出ステップと、
    前記受信データを復号化する復号化ステップと、
    前記復号化ステップにおいて復号化された画像データに対して、前記エラー検出ステップにおいて検出されたエラーが発生した位置の画像データを補完する画像補完ステップと、
    前記復号化ステップにおいて復号化された復号画像データをフレームメモリに格納するステップを有し、
    前記画像補完ステップは、前記エラー検出ステップにおいて少なくとも１つの前記拡張階層のエラーを検出した場合、エラーが検出された階層の解像度に前記エラーが検出された階層よりも下位の階層の復号画像データを変換した基本画像データと、復号順で過去に復号化した過去の復号画像データと前記過去の復号画像データに対応する過去の基本画像データとの差分画像データとを用いて、前記エラーが発生した位置の画像データを補完することを特徴とする画像復号化プログラム。

Images