JP2013016902A - 画像変換装置 - Google Patents

Abstract

【課題】エンハンスメントレイヤの符号化時に行うレイヤ間予測の負荷を低減することができる、画像変換装置を提供する。
【解決手段】画像変換装置１０では、ＳＶＣエンハンスメントレイヤ符号化部３４のレイヤ間予測部４０が行うレイヤ間予測（ＩＬＰ）における、レイヤ間動き予測、レイヤ間イントラ予測、及び残差予測の内、モードチェック部１８で有効と設定された予測処理を実行する。このため、レイヤ間予測部４０の負荷の低減を図ることができる。
【選択図】図１

Description

本発明の実施形態は、画像変換装置に関する。

映像圧縮符号化規格として、Ｈ．２６４／ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（以下、単にＳＶＣ規格と称する場合がある）というスケーラブル映像符号化が知られている。このＳＶＣ規格では、１つのビデオストリームに複数の空間、時間、又は画質サッブセットストリームを含むことができる。このＳＶＣ規格を用いた技術は、ビデオ通信システム等に用いられている。

また、映像圧縮符号化規格としては、ＳＶＣ規格の他にも種々の公知の規格が定められている。特に、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（以下、単に、ＡＶＣ規格と称する場合がある）に準拠した符号化方式で符号化する装置が広く用いられている。

このＡＶＣ規格に準拠した符号化方式で符号化する装置と、ＳＶＣ規格に準拠した符号化方式で符号化する装置と、を接続する場合には、ＡＶＣ規格に準拠した符号化方式で符号化されたストリームを、ＳＶＣ規格に準拠した符号化方式で符号化されたストリームに変換する、変換技術が重要となる。

具体的には、ＡＶＣ規格に準拠した符号化方式で符号化されたストリームを復号化した後に、再度、ＳＶＣ規格に準拠した符号化方式で符号化することによって、ストリームの変換を行う。

ＳＶＣ規格に準拠した符号化方式を用いてストリームを符号化する場合には、ベースレイヤと複数のエンハンスメントレイヤを受信し、ベースレイヤについては、公知のインター予測とイントラ予測を用いて符号化を行う。一方、エンハンスメントレイヤについては、解像度の低い下位階層における符号化処理で生成された情報を参照して符号化を行うレイヤ間予測（Ｉｎｔｅｒ Ｌａｙｅｒ Ｐｒｅｄｉｃｔｉｏｎ：以下、ＩＬＰと称する場合がある）を用いる。このレイヤ間予測を用いることによって、圧縮率の向上を図ることができるが、レイヤ間予測の負荷が大きかった。

一方、レイヤ間予測を用いずに、ベースレイヤとエンハンスメントレイヤとを別々に符号化する独立符号化技術も知られている。この独立符号化技術を用いることによって、負荷の低減を図ることはできるが、レイヤ間予測を用いた場合にくらべて圧縮率が低下するという問題があった。

ここで、特許文献１には、ＭＰＥＧ２規格に準拠した符号化方式で符号化された映像を復号化するデコーダと、該復号化された映像情報をＨ．２６４／ＡＶＣ規格に準拠した符号化方式で符号化するエンコーダと、を有するトランスコーダが開示されている。特許文献１では、ＭＰＥＧ２規格に準拠した符号化方式で符号化されたストリームに適用された符号化方式を示す情報を用いて、該エンコーダが符号化を行うことが開示されている。

しかしながら、特許文献１の技術を用いても、エンハンスメントレイヤの符号化時に行うレイヤ間予測の負荷軽減を図ることは困難であった。

本発明は、エンハンスメントレイヤの符号化時に行うレイヤ間予測の負荷を低減することができる、画像変換装置を提供することを課題とする。

本発明の画像変換装置は、Ｈ．２６４／ＡＶＣ規格に準拠した符号化方式で符号化された入力画像を復号化し、復号画像信号を出力する復号手段と、前記復号画像信号に対して、予め定められた解像度比に応じて該復号画像信号より解像度の低い低解像度信号を生成するダウンサンプリング手段と、前記復号画像信号及び前記低解像度信号をＨ．２６４／ＳＶＣ規格に準拠した符号化方式で符号化する符号化手段と、前記符号化手段が前記復号画像信号に対して行うレイヤ間予測に含まれる、複数の予測処理の各々について、各予測処理を有効とするか無効とするかを示す制御情報を生成する生成手段と、を備え、前記符号化手段は、前記復号画像信号を第１の解像度のエンハンスメントレイヤの符号化対象信号として受け付けると共に、前記低解像度信号を、前記第１の解像度より解像度の低いベースレイヤの符号化対象信号として受け付け、前記低解像度信号の符号化によって得られるベースレイヤ情報に基づいて、前記エンハンスメントレイヤの符号化対象信号に対して前記制御情報によって有効とされた予測処理を実行する、画像変換装置である。

Ｈ．２６４／ＡＶＣ規格に準拠した符号化方式で符号化された入力画像を復号化し、復号画像信号を出力する復号手段と、前記復号画像信号に対して、予め定められた解像度比に応じて該復号画像信号より解像度の低い低解像度信号を生成するダウンサンプリング手段と、前記入力画像のシンタックスを解析し、該入力画像のシンタックスへのＳＶＣ規格専用のシンタックス要素の挿入場所を設定する解析手段と、前記入力画像のシンタックスにおける前記挿入場所にＳＶＣ規格専用のシンタックス要素を挿入し、ＳＶＣ規格に準拠したシンタックスを生成する挿入手段と、前記ＳＶＣ規格に準拠したシンタックスと、前記低解像度信号をＨ．２６４／ＳＶＣ規格に準拠して符号化した符号化ストリームと、を多重化して出力する符号化手段と、を備えた画像変換装置である。

本発明によれば、エンハンスメントレイヤの符号化時に行うレイヤ間予測の負荷を低減することができる、画像変換装置を提供することができる、という効果を奏する。

図１は、実施の形態１の画像変換装置の機能的構成を示すブロック図である。 図２は、モードチェック部で行う制御情報生成処理の手順を示すフローチャートである。 図３は、レイヤ間動き予測設定部で行うレイヤ間動き予測設定処理の手順を示すフローチャートである。 図４は、分割モードを示す模式図である。 図５は、レイヤ間イントラ予測設定部で行うイントラ予測設定処理の手順を示すフローチャートである。 図６は、残差予測設定部で行う残差予測設定処理の手順を示すフローチャートである。 図７は、実施の形態２の画像変換装置の機能的構成を示すブロック図である。 図８は、ＡＶＣ入力ストリームと、ＳＶＣ出力ストリームと、の一例を示す模式図である。

以下に添付図面を参照して、本発明にかかる画像変換装置の一の実施形態を詳細に説明する。

（実施の形態１）
図１は、本実施の形態の画像変換装置１０の機能的構成を示すブロック図である。本実施の形態の画像変換装置１０は、図１に示すように、ＡＶＣ復号化部１２(復号手段)、ＳＶＣ符号化部１４（符号化手段）、ダウンサンプリング部１６（ダウンサンプリング手段）、及びモードチェック部１８（生成手段）を備える。

ＡＶＣ復号化部１２は、ＡＶＣ規格に準拠した符号化方式で符号化されたストリーム（以下、ＡＶＣ入力ストリームと称する場合がある）Ｓ１を受信し、該ＡＶＣ入力ストリームＳ１をＡＶＣ規格に準拠した方式で復号化する。ＡＶＣ規格とは、Ｈ．２６４／ＡＶＣ映像圧縮符号化規格（Ａｄｏｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ）を示す。

ＡＶＣ復号化部１２は、逆エントロピー符号化部２０、逆量子化部２２、逆変換部２４、動き補償部２６、加算部２８、フィルタ部３０、及びバッファ部３２を備える。

逆エントロピー符号化部２０は、ＡＶＣ復号化部１２に入力したＡＶＣ入力ストリームＳ１の各シンタクスの符号列を復号化する。これによって、逆エントロピー符号化部２０は、ＡＶＣ入力ストリームＳ１から、変換係数、フィルタ情報、符号化ブロック分割情報、該ＡＶＣ入力ストリームＳ１に含まれるマクロブロック（ＭＢ）の動きベクトルの差分を示す情報、及び該マクロブロック（ＭＢ）のビット数等を復号化する。

逆量子化部２２は、逆エントロピー符号化部２０によって復号された変換係数を受け取る。そして、逆量子化部２２は、予め設定されている量子化パラメータに従って、該変換係数を逆量子化する。逆変換部２４は、逆量子化された変換係数を逆変換（例えば、逆離散コサイン変換）し、誤差画像を生成する。そして、逆変換部２４は、該誤差画像を加算部２８へ出力する。

一方、バッファ部３２は、後述するフィルタ部３０によってフィルタ処理の施されたフレームを格納する。動き補償部２６は、逆変換部２４から出力されてくる誤差画像と、バッファ部３２に格納されているフレームとに基づいて、公知の動き補償処理を行って予測画像を生成し、加算部２８出力する。

加算部２８は、逆変換部２４から出力された誤差画像と、動き補償部２６から出力された予測画像と、を加算し、復号画像を生成する。フィルタ部３０は、加算部２８から受け付けた復号画像に公知のフィルタ処理を施し、ＡＶＣ復号化された画像Ｓ２を生成する。そして、フィルタ部３０は、ＡＶＣ復号化された画像Ｓ２を、ＳＶＣ符号化部１４、ダウンサンプリング部１６、及びモードチェック部１８へ出力する。

ダウンサンプリング部１６は、ＡＶＣ復号化部１２から出力されたＡＶＣ復号化された画像Ｓ２をダウンサンプリングする。ダウンサンプリングとは、高解像度画像を低解像度画像へ変換することを意味する。

なお、本実施の形態では、ダウンサンプリング部１６は、ＡＶＣ復号化された画像Ｓ２の解像度を、該解像度の１／４の解像度に低解像度化する場合を説明する。なお、この解像度比は、１／４に限られない。そして、ダウンサンプリング部１６は、ＡＶＣ復号化された画像Ｓ２の解像度を、予め定めた解像度比に低解像度化したベースレイヤの入力画像Ｓ３を生成し、ＳＶＣ符号化部１４へ出力する。

ＳＶＣ符号化部１４は、ＳＶＣ規格に準拠した符号化方式で符号化を行う。ＳＶＣ規格とは、Ｈ．２６４／ＳＶＣ圧縮符号化規格（ＳＶＣ：Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｓｉｎｇ）を示す。ＳＶＣ符号化部１４は、ＡＶＣ復号化部１２から受け付けたＡＶＣ復号化された画像（フレーム）Ｓ２を、エンハンスメントレイヤの符号化対象となる解像度を有する映像フレームとして受け付ける。また、ＳＶＣ符号化部１４は、ダウンサンプリング部１６によって低解像度化されたフレームであるベースレイヤの入力画像（フレーム）Ｓ３を、ベースレイヤの符号化対象となる解像度を有する画像（フレーム）として受け付ける。

ＳＶＣ符号化部１４は、ＳＶＣベースレイヤ符号化部３６、ＳＶＣエンハンスメントレイヤ符号化部３４、及び多重化部３８を備える。

ＳＶＣベースレイヤ符号化部３６は、ＳＶＣ規格に準拠した符号化方式を用いてベースレイヤの入力画像Ｓ３を符号化し、ベースレイヤの符号ビットストリームＳ５を生成する。そして、ＳＶＣベースレイヤ符号化部３６は、生成したベースレイヤの符号ビットストリームＳ５を、多重化部３８へ出力する。

また、ＳＶＣベースレイヤ符号化部３６は、ベースレイヤ情報Ｓ４を、ＳＶＣエンハンスメントレイヤ符号化部３４へ出力する。ベースレイヤ情報Ｓ４は、ベースレイヤにおける符号化時に行われた、動き推定、動き補償予測、画面内予測、デブロック処理等によって得られた、各種情報を含む。具体的には、ベースレイヤ情報Ｓ４は、ベースレイヤにおける予測処理によって得られた、復号画像（イントラブロックのみ）、動き補償予測により得られる予測誤差信号（以下、予測情報と称する場合がある）、動きベクトル、及びマクロブロックの分割モード（符号化モード、動き補償の単位、またはブロックサイズと称する場合がある）等の情報を含む。

なお、ＳＶＣベースレイヤ符号化部３６によるベースレイヤの入力画像Ｓ３の符号化は、Ｈ．２６４／ＳＶＣ規格に準拠した符号化方式を用いたものであるため、詳細な説明を省略する。

ＳＶＣエンハンスメントレイヤ符号化部３４は、ＡＶＣ復号化部１２から受け付けたＡＶＣ復号化された画像Ｓ２を、エンハンスメントレイヤの符号化対象となる解像度を有する入力映像として受け付ける。

ＳＶＣエンハンスメントレイヤ符号化部３４は、レイヤ間予測部４０を備えている。レイヤ間予測部４０は、ＳＶＣベースレイヤ符号化部３６から受け付けたベースレイヤ情報Ｓ４を、エンハンスメントレイヤとベースレイヤとの解像度の比に応じて、エンハンスメントレイヤの解像度に拡大または伸長する。そして、レイヤ間予測部４０は、拡大または伸長後のベースレイヤ情報Ｓ４を用いてレイヤ間予測を行う。このレイヤ間予測は、ＳＶＣ規格で規定されたレイヤ間予測(ｉｎｔｅｒ−ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ：以下、ＩＬＰと称する場合がある)である（詳細後述）。

ＳＶＣエンハンスメントレイヤ符号化部３４は、レイヤ間予測を行った後に、エンハンスメントレイヤのマクロブロック（ＭＢ）毎に周波数変換（ＤＣＴ：離散コサイン変換）、量子化（Ｑ）、可変長符号化（ＶＬＣ）を行なう。そして、これらの処理によって得られたエンハンスメントレイヤの符号ビットストリームＳ６を、多重化部３８へ出力する。

多重化部３８は、ベースレイヤの符号ビットストリームＳ５と、エンハンスメントレイヤの符号ビットストリームＳ６と、を多重化し、ＳＶＣストリームＳ７として出力する。

次に、レイヤ間予測部４０について詳細に説明する。レイヤ間予測部４０が行うレイヤ間予測には、レイヤ間動き予測、レイヤ間イントラ予測、及び残差予測、の３種類の予測処理が含まれる。

レイヤ間動き予測では、エンハンスメントレイヤにおけるレイヤ間予測部４０で符号化対象のマクロブロックに対応する、ベースレイヤのマクロブロック（ＭＢ）の動きベクトルと分割モードに基づいて、エンハンスメントレイヤの動き補償予測を行う。なお、このベースレイヤの動きベクトルや分割モードは、ＳＶＣベースレイヤ符号化部３６から受け付けたベースレイヤ情報Ｓ４を読み取ることによって得られる。

レイヤ間イントラ予測では、エンハンスメントレイヤにおけるレイヤ間予測部４０で符号化対象のマクロブロックに対応する、ベースレイヤのマクロブロック（ＭＢ）がイントラモードＭＢ(ｉｎｔｒａ ｍｏｄｅ ｍａｃｒｏ ｂｌｏｃｋ)であるか否かを判別する。そして、レイヤ間イントラ予測では、該ベースレイヤのマクロブロックがイントラモードＭＢである場合には、このマクロブロック（ＭＢ）の解像度をエンハンスメントレイヤの解像度に伸長し、エンハンスメントレイヤのイントラ予測を行う。なお、このエンハンスメントレイヤにおけるレイヤ間予測部４０で符号化対象のマクロブロックに対応する、ベースレイヤのマクロブロック（ＭＢ）がイントラモードＭＢであるか否かは、ＳＶＣベースレイヤ符号化部３６から受け付けたベースレイヤ情報Ｓ４から得られる。

また、残差予測では、まず、エンハンスメントレイヤにおけるレイヤ間予測部４０で符号化対象のマクロブロックに対応する、ベースレイヤのマクロブロック（ＭＢ）の動き補償予測により得られた予測誤差信号を、ＳＶＣベースレイヤ符号化部３６から受け付けたベースレイヤ情報Ｓ４から得る。そして、残差予測では、この予測誤差信号を、エンハンスメントレイヤとベースレイヤとの解像度の比に応じて、エンハンスメントレイヤの解像度に伸長した情報である残差情報を用いて、エンハンスメントレイヤとベースレイヤとの階層間の予測処理を行う。

ここで、レイヤ間予測部４０が、上記レイヤ間動き予測、レイヤ間イントラ予測、及び残差予測の３種類の予測処理のすべてを実行すると、レイヤ間の冗長性を効果的に抑制することができる。しかし、これらの３種類の予測処理の全てを実行すると、レイヤ間予測部４０における処理時間が膨大となる。具体的には、従来では、３種類の予測処理の全てを実行した後に、ベースレイヤ情報Ｓ４に含まれる、最も小さいレート歪みコスト（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ ｃｏｓｔ：ＲＤ ｃｏｓｔ）の得られるマクロブロックのベースレイヤ情報を、最適なベースレイヤ情報として選定していた。このため、従来では、演算量が多くなり、エンハンスメントレイヤの符号化時に行うレイヤ間予測の負荷が大きかった。

そこで、本実施の形態の画像変換装置１０では、モードチェック部１８を備えている。モードチェック部１８は、詳細を後述する制御情報生成処理を実行し、上述した３種類の予測処理である、レイヤ間動き予測、レイヤ間イントラ予測、及び残差予測の各々について、処理を有効とするか無効とするかを示す制御情報Ｓ９を生成する。

モードチェック部１８は、逆エントロピー符号化部２０から、ＡＶＣ入力ストリームＳ１に含まれるマクロブロック（ＭＢ）の動きベクトルの差分を示す情報、及び該マクロブロック（ＭＢ）のビット数を含む情報Ｓ８（以下、逆エントロピー符号化部Ｓ２０で解析された情報Ｓ８と称する）を受け付ける。なお、逆エントロピー符号化部２０では、ＡＶＣ入力ストリームＳ１の各シンタクスの符号列を復号化することによって得られた、ＡＶＣ入力ストリームＳ１に含まれるマクロブロック（ＭＢ）の動きベクトルの差分を示す情報、及び各マクロブロック（ＭＢ）のビット数等を含む、逆エントロピー符号化部Ｓ２０で解析された情報Ｓ８を、モードチェック部１８へ出力する。

また、モードチェック部１８は、ＳＶＣベースレイヤ符号化部３６から、ベースレイヤ情報Ｓ４を受け付ける。また、モードチェック部１８は、ＡＶＣ復号化された画像Ｓ２をフィルタ部３０から受け付ける。

そして、モードチェック部１８は、逆エントロピー符号化部Ｓ２０で解析された情報Ｓ８、ＡＶＣ復号化された画像Ｓ２、及びベースレイヤ情報Ｓ４に基づいて、詳細を後述する制御信号Ｓ９を生成し、レイヤ間予測部４０へ出力する。

この制御信号Ｓ９は、上述した３種類の予測処理である、レイヤ間動き予測、レイヤ間イントラ予測、及び残差予測の各々を有効とするか無効とするかを示す情報である。

そして、制御信号Ｓ９を受け付けたレイヤ間予測部４０では、レイヤ間動き予測、レイヤ間イントラ予測、及び残差予測の内、制御信号Ｓ９によって有効とされた予測処理を実行する。そして、レイヤ間予測部４０では、制御信号Ｓ９によって無効とされた予測処理については実行しない。

このように、本実施の形態の画像変換装置１０のレイヤ間予測部４０では、レイヤ間予測における、レイヤ間動き予測、レイヤ間イントラ予測、及び残差予測の内、モードチェック部１８で有効と設定された予測処理を実行する。このため、レイヤ間予測部４０では、レイヤ間予測において行う予測処理を軽減することができ、エンハンスメントレイヤの符号化時に行うレイヤ間予測の負荷を低減することができる。

このモードチェック部１８について、詳細を説明する。

図１に示すように、モードチェック部１８は、レイヤ間動き予測設定部４２（レイヤ間動き予測設定手段）、レイヤ間イントラ予測設定部４４（レイヤ間イントラ予測設定手段）、及び残差予測設定部４６（残差予測設定手段）を備えている。

逆エントロピー符号化部Ｓ２０で解析された情報Ｓ８と、ＡＶＣ復号化された画像Ｓ２、及びベースレイヤ情報Ｓ４に基づいて、レイヤ間動き予測設定部４２は、レイヤ間動き予測を有効とするか否かを設定する。レイヤ間イントラ予測設定部４４は、レイヤ間イントラ予測を有効とするか否かを設定する。残差予測設定部４６は、残差予測を有効とするか否かを設定する。

以下、モードチェック部１８が実行する制御情報生成処理について詳細を説明する。図２は、モードチェック部１８で行う制御情報生成処理の手順を示すフローチャートである。

レイヤ間動き予測設定部４２は、逆エントロピー符号化部Ｓ２０で解析された情報Ｓ８と、ＡＶＣ復号化された画像Ｓ２、及びベースレイヤ情報Ｓ４に基づいて、レイヤ間動き予測を有効とするか否かを設定する、レイヤ間動き予測設定処理を実行する（ステップＳ１００）（詳細後述）。

次に、レイヤ間イントラ予測設定部４４は、逆エントロピー符号化部Ｓ２０で解析された情報Ｓ８と、ＡＶＣ復号化された画像Ｓ２、及びベースレイヤ情報Ｓ４に基づいて、レイヤ間イントラ予測を有効とするか否かを設定する、レイヤ間イントラ予測設定処理を実行する（ステップＳ１０２）（詳細後述）。

次に、残差予測設定部４６は、逆エントロピー符号化部Ｓ２０で解析された情報Ｓ８と、ＡＶＣ復号化された画像Ｓ２、及びベースレイヤ情報Ｓ４に基づいて、残差予測を有効とするか否かを設定する、残差予測設定処理を実行する（ステップＳ１０４）（詳細後述）。

そして、モードチェック部１８は、上記ステップＳ１００〜ステップＳ１０４の処理によって設定された、レイヤ間動き予測、レイヤ間イントラ予測、及び残差予測の各々を有効とするか否かを示す情報である制御信号Ｓ９を生成し、レイヤ間予測部４０を出力する（ステップＳ１０６）。

なお、上記ステップＳ１００〜ステップＳ１０４の処理は、図２に示す処理順に限られない。

次に、レイヤ間動き予測設定部４２が実行するレイヤ間動き予測設定処理（ステップＳ１００）について詳細に説明する。図３は、レイヤ間動き予測設定部４２で行うレイヤ間動き予測設定処理の手順を示すフローチャートである。

レイヤ間動き予測設定部４２は、レイヤ間予測部４０で符号化対象のマクロブロック（ＭＢ）に対応する、逆エントロピー符号化部Ｓ２０で解析された情報Ｓ８中の４つのマクロブロック（以下、入力ＭＢと称する）と、ベースレイヤのマクロブロック（以下、ＢＬのＭＢと称する場合がある）と、の内の少なくとも１個のマクロブロックが、イントラマクロブロック（ＭＢ）であるか否かを判断する（ステップＳ２００）。“イントラマクロブロックである”とは、フレーム間予測を行わずに復号画像の得られるマクロブロックであることを意味する。レイヤ間動き予測設定部４２は、ベースレイヤ情報Ｓ４を読み取ることによって、ステップＳ２００の判断を行う。

なお、本実施の形態では、上述したように、エンハンストメントレイヤとベースレイヤとの解像度の比は、４：１である。すなわち、ダウンサンプリング部１６は、ＡＶＣ復号化された画像Ｓ２の解像度を、該解像度の１／４の解像度に低解像度化する。このため、モードチェック部１８は、ステップＳ２００において、レイヤ間予測部４０で符号化対象のマクロブロック（ＭＢ）に対応する、ＡＶＣ入力ストリームから、逆エントロピー符号化部Ｓ２０で解析された情報Ｓ８の４つのマクロブロック（以下、入力ＭＢと称する場合がある）を読み取る。一方、モードチェック部１８は、ベースレイヤについては、レイヤ間予測部４０で符号化対象のマクロブロック（ＭＢ）に対応する１つのマクロブロック（以下、ＢＬのＭＢと称する場合がある）のベースレイヤ情報Ｓ４を読み取る。

レイヤ間動き予測設定部４２では、入力ＭＢ、及びＢＬのＭＢの少なくとも１個のマクロブロックがイントラマクロブロックである場合には、肯定判断し（ステップＳ２００：Ｙｅｓ）、レイヤ間動き予測を無効に設定する（ステップＳ２０１）。

一方、レイヤ間動き予測設定部４２は、入力ＭＢ、及びＢＬのＭＢの双方が全てインターマクロブロックである場合には、否定判断する（ステップＳ２００：Ｎｏ）。そして、レイヤ間動き予測設定部４２は、レイヤ間予測部４０で符号化対象のマクロブロックに対応する、ＢＬのＭＢの分割モードを、ＳＶＣエンハンスメントレイヤ符号化部３４で用いるエンハンスメントレイヤの解像度に伸長する（ステップＳ２０２）。

この分割モードとは、動き予測を行うときのブロックサイズを示す。この動き予測を行うときのブロックサイズは、１６×１６画素から４×４画素までの７種類のブロックサイズがあり、マクロブロック単位とサブマクロブロック単位に階層化されている。

また、ＢＬのＭＢの分割モードを、ＳＶＣエンハンスメントレイヤ符号化部３４で用いるエンハンスメントレイヤの解像度に伸長する、とは、レイヤ間予測部４０で符号化対象のマクロブロックに対応するＢＬのＭＢの分割モードの解像度を、レイヤ間予測部４０で処理するエンハンスメントレイヤの解像度に高解像度化することを示している。ここで、上述したように、ダウンサンプリング部１６は、ＡＶＣ復号化された画像Ｓ２の解像度を、該解像度の１／４の解像度に低解像度化する。このため、本実施の形態では、レイヤ間動き予測設定部４２は、ステップＳ２０２の処理において、レイヤ間予測部４０で符号化対象のマクロブロックに対応するＢＬの１つのＭＢの分割モードを高解像度化処理する。これによって、レイヤ間予測部４０は、該ＢＬのＭＢに対応する、エンハンスメントレイヤの４つのＭＢ用の分割モードを生成する。これによって、モードチェック部１８は、ＢＬのＭＢの分割モードを伸長する。

図４には、分割モードを模式的に示した。図４は、分割モードを示す模式図である。

例えば、レイヤ間予測部４０で符号化対象のマクロブロックに対応するＢＬのＭＢの分割モードが、図４（Ａ）に示す分割モードであるとする。この場合、レイヤ間動き予測設定部４２は、８×８画素を１６×１６画素に、８×４画素を１６×８画素に、４×８画素を８×１６画素に、４×４画素をＰ８×８画素に、各々ブロックサイズを拡大し、ＢＬのＭＢの分割モードを伸長する（図４（Ｅ）参照）。なお、Ｐ８×８画素とは、８×８画素、８×４画素、４×８画素、及び４×４画素のいずれかを示す。また、伸長後の最大画素数は１６画素とする。

同様に、レイヤ間予測部４０で符号化対象のマクロブロックに対応するＢＬのＭＢの分割モードが、図４（Ｂ）に示す分割モードであるとする。この場合、レイヤ間動き予測設定部４２は、１６×８画素を１６×１６画素にブロックサイズを拡大し、１６×１６画素の４つの分割モードに伸長する（図４（Ｆ）参照）。

また、レイヤ間予測部４０で符号化対象のマクロブロックに対応するＢＬのＭＢの分割モードが、図４（Ｃ）に示す分割モードであるとする。この場合、レイヤ間動き予測設定部４２は、８×１６画素を１６×１６画素にブロックサイズを拡大し、１６×１６画素の４つの分割モードに伸長する（図４（Ｇ）参照）。

また、レイヤ間予測部４０で符号化対象のマクロブロックに対応するＢＬのＭＢの分割モードが、図４（Ｄ）に示す１６×１６画素の分割モードであるとする。この場合、レイヤ間動き予測設定部４２は、１６×１６画素の４つの分割モードに伸長する図４（Ｈ）参照）。

図３に戻って説明を続ける。次に、レイヤ間動き予測設定部４２は、上記ステップＳ２０２で伸長した後のＢＬのＭＢの分割モード（以下、伸長された分割モードと称する）と、レイヤ間予測部４０で符号化対象のマクロブロックに対応するＡＶＣ入力ストリームＳ１の４つのＭＢの分割モードと、が一致するか否かを判別する（ステップＳ２０４）。

すなわち、レイヤ間動き予測設定部４２は、伸長された分割モードであるＢＬの四つのＭＢの分割モードと、その四つのＭＢに対応するＡＶＣ入力ストリームＳ１のＭＢの分割モードとを比較して、分割モードが一致するかどうかを判断する。

例えば、ステップＳ２０２で伸長された分割モードが図４（Ｅ）に示す分割モードであったとする。そして、符号化対象のＢＬのＭＢに対応するＡＶＣ入力ストリームＳ１の４つのＭＢの分割モードが、図４（Ｉ）に示す分割モードであったとする。この場合、モードチェック部１８は、これらの分割モードが一致すると判別する（ステップＳ２０４：Ｙｅｓ）。

同様に、例えば、ステップＳ２０２で伸長された分割モードが図４（Ｆ）に示す分割モードであったとする。そして、符号化対象のＢＬのＭＢに対応するＡＶＣ入力ストリームＳ１の４つのＭＢの分割モードが、図４（Ｊ）に示す分割モードであったとする。この場合、レイヤ間動き予測設定部４２は、これらの分割モードが一致すると判別する（ステップＳ２０４：Ｙｅｓ）。また、同様に、ステップＳ２０２で伸長された分割モードが図４（Ｇ）に示す分割モードであったとする。そして、符号化対象のＢＬのＭＢに対応するＡＶＣ入力ストリームＳ１の４つのＭＢの分割モードが、図４（Ｋ）に示す分割モードであったとする。この場合、レイヤ間動き予測設定部４２は、これらの分割モードが一致すると判別する（ステップＳ２０４：Ｙｅｓ）。また、例えば、ステップＳ２０２で伸長された分割モードが図４（Ｈ）に示す分割モードであったとする。そして、符号化対象のＢＬのＭＢに対応するＡＶＣ入力ストリームＳ１の４つのＭＢの分割モードが、図４（Ｌ）に示す分割モードであったとする。この場合、レイヤ間動き予測設定部４２は、これらの分割モードが一致すると判別する（ステップＳ２０４：Ｙｅｓ）。

そして、上記以外の場合には、レイヤ間動き予測設定部４２は、分割モードが不一致であると判断する（ステップＳ２０４：Ｎｏ）。

図３に戻り、説明を続ける。

レイヤ間動き予測設定部４２は、ステップ２０４で肯定判断すると（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０６へ進む。そして、レイヤ間動き予測設定部４２は、レイヤ間予測部４０で符号化対象のマクロブロックに対応するＡＶＣ入力ストリームＳ１のＭＢ（入力ＭＢ）の、予測動きベクトルと、該入力ＭＢの動きベクトルと、の差分（ＭＶＤ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）を、差分１として算出する（ステップＳ２０６）。この差分の算出は、公知の方法を用いて行う。

レイヤ間動き予測設定部４２は、この差分１の算出によって、上記ステップＳ２０４で分割モードが一致と判断した場合において、レイヤ間動き予測を行わなかった場合の、入力ＭＢの動きベクトルの推測値を算出する。

次に、レイヤ間動き予測設定部４２は、差分１に基づいて、レイヤ間予測部４０で符号化対象のマクロブロックに対応する、入力ＭＢの動きベクトルを算出する（ステップＳ２０８）。この動きベクトルの算出は、公知の方法を用いて行う。

次に、レイヤ間動き予測設定部４２は、符号化対象のＭＢに対応する、ベースレイヤのＭＢの動き予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ：以下、ＭＶＰと称する場合がある）を算出し、算出したＭＶＰを、上記解像度の比に応じて２倍（解像度の比の平方根（ルート））に伸長した伸長ＭＶＰを算出する（ステップＳ２１０）。この動き予測子を２倍に伸長する、とは、動き予測子によって示されるベクトル情報を、Ｘ座標方向及びＹ座標方向の各々の方向に２倍にしたベクトル情報によって示される長さに伸長することを意味する。

次に、レイヤ間動き予測設定部４２は、ステップＳ２１０で算出した伸長ＭＶＰと、入力ＭＢと称する場合がある）の動きベクトルと、の差分を差分２として算出する（ステップＳ２１２）。

レイヤ間動き予測設定部４２は、この差分２の算出によって、上記ステップＳ２０４で分割モードが一致と判断した場合において、レイヤ間動き予測を行なった場合の入力ＭＢの動きベクトルの推測値を算出する。

次に、レイヤ間動き予測設定部４２は、ステップＳ２１２で算出した差分２が、ステップＳ２０６で算出した差分１より大きいか否かを判断する（ステップＳ２１４）。すなわち、レイヤ間動き予測設定部４２は、ステップＳ２１４の判断によって、レイヤ間動き予測を行なった場合の入力ＭＢの動きベクトルの推測値である差分２が、レイヤ間動き予測を行わなかった場合の入力ＭＢの動きベクトルの推測値である差分１より大きいか否かを判断する。

そして、レイヤ間動き予測設定部４２は、差分２が差分１より大きい場合は、肯定判断し（ステップＳ２１４：Ｙｅｓ）、動き予測を無効に設定する（ステップＳ２１６）。

一方、レイヤ間動き予測設定部４２は、差分２が差分１以下である場合には、否定判断し（ステップＳ２１４：Ｎｏ）、動き予測を有効に設定する（ステップＳ２１８）。

一方、レイヤ間動き予測設定部４２は、上記ステップＳ２０４の判断において、分割モードが不一致であると判断すると（ステップＳ２０４：Ｎｏ）、ステップＳ２２０へ進む。

レイヤ間動き予測設定部４２は、符号化対象のＭＢに対応する入力ＭＢのビット数を、ビット数１として抽出する（ステップＳ２２０）。ビット数の抽出は、公知の変換処理、量子化処理、及びエントロピー復号化処理によって行う。以下、同様とする。

レイヤ間動き予測設定部４２は、このビット数１の算出によって、上記ステップＳ２０４で分割モードが不一致と判断した場合において、レイヤ間動き予測を行わなかった場合の、入力ＭＢの動きベクトルの推測値を、ビット数１として算出する。

次に、レイヤ間動き予測設定部４２は、符号化対象のＭＢに対応する、ベースレイヤ（ＢＬ）のＭＢの動き予測ベクトルを、上記解像度の比に応じて２倍（解像度の比の平方根（ルート））に伸長して伸長ベクトルを算出する（ステップＳ２２２）。この動き予測ベクトルを２倍に伸長する、とは、動き予測ベクトルを、Ｘ方向及びＹ方向の各々の方向に２倍にしたベクトル情報によって示される長さに伸長することを意味する。

次に、レイヤ間動き予測設定部４２は、符号化対象のＭＢと、該符号化対象ＭＢを伸長ベクトル分移動した位置に対応する参照フレーム上のＭＢと、の残差を求める（ステップＳ２２４）。そして、レイヤ間動き予測設定部４２は、ステップＳ２２４で求めた残差のビット数をビット数２として求める（ステップＳ２２６）。

レイヤ間動き予測設定部４２は、このビット数２の算出によって、上記ステップＳ２０４で分割モードが不一致と判断した場合にレイヤ間動き予測を行った場合の、入力ＭＢの動きベクトルの推測値を、ビット数２として算出する。

次に、レイヤ間動き予測設定部４２は、ステップＳ２２６で算出したビット数２が、ステップＳ２２０で算出したビット数１より大きいか否かを判断する（ステップＳ２２８）。すなわち、レイヤ間動き予測設定部４２は、ステップＳ２２８の判断によって、レイヤ間動き予測を行なわなかった場合の入力ＭＢの動きベクトルの推測値であるビット数１が、レイヤ間動き予測を行なった場合の入力ＭＢの動きベクトルの推測値であるビット数２より大きいか否かを判断する。

そして、レイヤ間動き予測設定部４２は、ビット数２がビット数１より大きい場合は、肯定判断し（ステップＳ２２８：Ｙｅｓ）、動き予測を無効に設定する（ステップＳ２３０）。

一方、レイヤ間動き予測設定部４２は、ビット数２がビット数１以下である場合には、否定判断し（ステップＳ２２８：Ｎｏ）、動き予測を有効に設定する（ステップＳ２１８）。

以上説明したように、レイヤ間動き予測設定部４２では、レイヤ間動き予測を行なった場合の入力ＭＢの動きベクトルの推測値が、レイヤ間動き予測を行わなかった場合の入力ＭＢの動きベクトルの推測値より大きいか否かを判断する。そして、レイヤ間動き予測設定部４２は、推測値の小さい処理を有効に設定する。すなわち、モードチェック部１８は、レイヤ間動き予測を行なった場合の入力ＭＢの動きベクトルの推測値が、レイヤ間動き予測を行わなかった場合の入力ＭＢの動きベクトルの推測値以上であるときには、レイヤ間動き予測を無効に設定する。このため、レイヤ間動き予測設定部４２は、レイヤ間動き予測を行わなかった場合に比べて、レイヤ間動き予測を行った場合の方が圧縮率の高い予測処理を行うことができると推測できる場合に、レイヤ間動き予測を有効に設定することができる。また、レイヤ間動き予測設定部４２では、該推測ができない場合には、レイヤ間動き予測を無効に設定することができる。

次に、レイヤ間イントラ予測設定部４４が実行する、レイヤ間イントラ予測設定処理（ステップＳ１０２）について詳細に説明する。図５は、レイヤ間イントラ予測設定部４４で行うイントラ予測設定処理の手順を示すフローチャートである。

レイヤ間イントラ予測設定部４４は、ＢＬのＭＢが、イントラマクロブロックであるか否かを判断する（ステップＳ３００）。モードチェック部１８は、ベースレイヤ情報Ｓ４を読み取ることによって、ステップＳ３００の判断を行う。

ＢＬのＭＢがイントラマクロブロックではない場合には（ステップＳ３００：Ｎｏ）、レイヤ間イントラ予測設定部４４は、レイヤ間イントラ予測を無効に設定する（ステップＳ３０２）。

一方、ＢＬのＭＢがイントラマクロブロックである場合には（ステップＳ３００：Ｙｅｓ）、ステップＳ３０４へ進む。レイヤ間イントラ予測設定部４４は、符号化対象のＭＢに対応する入力ＭＢのビット数を、ビット数１として算出する（ステップＳ３０４）。

レイヤ間イントラ予測設定部４４は、このビット数１の算出によって、レイヤ間イントラ予測を行わなかった場合の、入力ＭＢに対する予測画像の推測値を、ビット数１として算出する。

次に、レイヤ間イントラ予測設定部４４は、符号化ＭＢと、符号化対象のＭＢに対応するＢＬのＭＢと、における８×８画素の分割ブロックの残差を、１６×１６画素に伸長する（ステップＳ３０６）。

次に、レイヤ間イントラ予測設定部４４は、ステップＳ３０６で伸長した１６×１６画素の残差のビット数を、ビット数２として算出する（ステップＳ３０８）。

レイヤ間イントラ予測設定部４４は、このビット数２の算出によって、レイヤ間イントラ予測を行った場合の、入力ＭＢに対する予測画像の推測値を、ビット数２として算出する。

次に、レイヤ間イントラ予測設定部４４は、ステップＳ３０８で算出したビット数２が、ステップＳ３０４で算出したビット数１より大きいか否かを判断する（ステップＳ３１０）。すなわち、レイヤ間イントラ予測設定部４４は、ステップＳ３１０の判断によって、レイヤ間イントラ予測を行なわなかった場合の入力ＭＢの予測画像の推測値であるビット数１が、レイヤ間イントラ予測を行った場合の入力ＭＢの予測画像の推測値であるビット数２より大きいか否かを判断する。

そして、レイヤ間イントラ予測設定部４４は、ビット数２がビット数１より大きい場合は、肯定判断し（ステップＳ３１０：Ｙｅｓ）、レイヤ間イントラ予測を無効に設定する（ステップＳ３０２）。

一方、レイヤ間イントラ予測設定部４４は、ビット数２がビット数１以下である場合には、否定判断し（ステップ３１０：Ｎｏ）、レイヤ間イントラ予測を有効に設定する（ステップＳ３１２）。

以上説明したように、レイヤ間イントラ予測設定部４４では、レイヤ間イントラ予測を行なった場合の入力ＭＢの予測画像の推測値が、レイヤ間イントラ予測を行わなかった場合の入力ＭＢの予測画像の推測値より大きいか否かを判断する。そして、レイヤ間イントラ予測設定部４４は、推測値の小さい処理を有効に設定する。すなわち、レイヤ間イントラ予測設定部４４は、レイヤ間イントラ予測を行なった場合の入力ＭＢの予測画像の推測値が、レイヤ間イントラ予測を行わなかった場合の入力ＭＢの予測画像の推測値以上であるときには、レイヤ間イントラ予測を無効に設定する。このため、レイヤ間イントラ予測設定部４４は、レイヤ間イントラ予測を行わなかった場合に比べて、レイヤ間イントラ予測を行った場合の方が圧縮率の高い予測処理を行うことができると推測できる場合に、レイヤ間イントラ予測を有効に設定することができる。また、レイヤ間イントラ予測設定部４４は、該推測ができない場合には、レイヤ間イントラ予測を無効に設定することができる。

次に、残差予測設定部４６が実行する残差予測設定処理（ステップＳ１０４）について詳細に説明する。図６は、残差予測設定部４６で行う残差予測設定処理の手順を示すフローチャートである。

残差予測設定部４６は、ＳＶＣ符号化部１４で符号化対象のマクロブロック（ＭＢ）に対応する、逆エントロピー符号化部Ｓ２０で解析された情報Ｓ８中の４つのマクロブロック（入力ＭＢ）と、ベースレイヤのマクロブロック（ＢＬのＭＢ）と、の少なくとも一方が、イントラマクロブロックであるか否かを判断する（ステップＳ４００）。残差予測設定部４６は、ベースレイヤ情報Ｓ４を読み取ることによって、ステップＳ４００の判断を行う。

残差予測設定部４６では、入力ＭＢ、及びＢＬのＭＢの少なくとも一方がイントラマクロブロックである場合には、肯定判断し（ステップＳ４００：Ｙｅｓ）、残差予測を無効に設定する（ステップＳ４２８）。

一方、残差予測設定部４６は、入力ＭＢ、及びＢＬのＭＢの双方がイントラマクロブロックである場合には、否定判断する（ステップＳ４００：Ｎｏ）。そして、残差予測設定部４６は、符号化対象のＢＬのＭＢの分割モードを、ＳＶＣエンハンスメントレイヤ符号化部３４で用いるエンハンスメントレイヤの解像度に伸長する（ステップＳ４０２）。なお、このステップＳ４０２の処理は、上述したステップＳ２０２の処理と同様であるため、詳細な説明を省略する。

次に、残差予測設定部４６は、上記ステップＳ４０２で伸長した後のＢＬのＭＢの分割モード（以下、伸長された分割モードと称する）と、符号化対象のＢＬのＭＢに対応するＡＶＣ入力ストリームＳ１の４つのＭＢの分割モードと、が一致するか否かを判別する（ステップＳ４０４）。このステップＳ４０４の処理は、上述したステップＳ２０４の処理と同様であるため、詳細な説明を省略する。

そして、残差予測設定部４６は、伸長された分割モードである四つのＭＢの分割モードと、その四つのＭＢに対応するＡＶＣ入力ストリームＳ１のＭＢの分割モードと、が一致する場合には（ステップＳ４０４：Ｙｅｓ）、ステップＳ４０６へ進む。

残差予測設定部４６は、符号化対象のＭＢに対応するＡＶＣ入力ストリームＳ１のＭＢ（入力ＭＢ）の動きベクトルと、該入力ＭＢの動きベクトルの予測値と、の差分を、上記ステップＳ２０６と同様にして算出する（ステップＳ４０６）。

次に、残差予測設定部４６は、ステップＳ４０６で算出した差分に基づいて、符号化対象のＭＢに対応する入力ＭＢの動きベクトルを、ステップＳ２０８と同様にして算出する（ステップＳ４０８）。そして、ステップＳ４１０へ進む。

一方、上記ステップＳ４０４において、分割モードが不一致である場合には（ステップＳ４０４：Ｎｏ）、ステップＳ４１２へ進む。そして、残差予測設定部４６は、上記ステップＳ２２２と同様にして、符号化対象のＭＢに対応する、ベースレイヤ（ＢＬ）のＭＢの動き予測ベクトルを２倍に伸長した伸長ベクトルを算出する（ステップＳ４１２）。

次に、ステップＳ４１０において、残差予測設定部４６は、符号化対象のＭＢから、上記ステップＳ４０８で求めた動きベクトル、または上記ステップ４１２で求めた伸長ベクトルによって求められる参照フレーム中のＭＢである予測画像と、符号化対象のＭＢと、の残差を、近似値残差１として算出する（ステップＳ４１０）。

なお、該近似値残差１の算出時に用いる参照フレームは、ＡＶＣ入力ストリームＳ１を復号化することによって得られる画像である、ＡＶＣ復号化された画像Ｓ２を用いればよい。

次に、残差予測設定部４６は、ステップＳ４１０で算出した近似値残差１のビット数を、ビット数１として算出する（ステップＳ４１４）。

次に、残差予測設定部４６は、ＢＬの残差フレームを伸長する（ステップＳ４１６）。ＢＬの残差フレームを伸長する、とは、ベースレイヤにおける予測誤差信号を、エンハンスメントレイヤとベースレイヤとの解像度の比に応じて伸長した情報である残差情報を生成することを意味する。

次に、残差予測設定部４６は、伸長したＢＬの残差フレームである残差情報と、符号化対象のＭＢの参照フレームと、の残差を用いて、該参照フレームを修正する（ステップＳ４１８）。参照フレームを修正する、とは、参照フレームとＢＬから伸長した残差フレームとの差分を求め、差分に基づいて修正した参照フレームを求めることを意味する。

次に、残差予測設定部４６は、この修正した参考フレーム上の、符号化対象のＭＢに対応するＭＢと、符号化対象のＭＢと、の残差を、近似値残差２として算出する（ステップＳ４２０）。

そして、残差予測設定部４６は、上記ステップＳ４２０で算出した近似値残差２のビット数を、ビット数２として算出する（ステップＳ４２２）。

次に、残差予測設定部４６は、ステップＳ４２２で算出した差分２が、ステップＳ４１４で算出した差分１より大きいか否かを判断する（ステップＳ４２４）。すなわち、残差予測設定部４６は、ステップＳ４２４の判断によって、残差予測を行なった場合の入力ＭＢの残差の推測値である近似値残差２が、残差予測を行わなかった場合の入力ＭＢの残差である近似値残差１より大きいか否かを判断する。

そして、残差予測設定部４６は、近似値残差２が近似値残差１より大きい場合は、肯定判断し（ステップＳ４２４：Ｙｅｓ）、残差予測を無効に設定する（ステップＳ４２８）。

一方、残差予測設定部４６は、近似値残差２が近似値残差１以下である場合には、否定判断し（ステップＳ４２４：Ｎｏ）、近似値予測処理を有効に設定する（ステップＳ４２６）。

以上説明したように、残差予測設定部４６では、残差予測を行なった場合の入力ＭＢの予測画像に対する残差の推測値が、残差予測を行わなかった場合の入力ＭＢの予測画像に対する残差の推測値より大きいか否かを判断する。そして、モードチェック部１８は、推測値の小さい処理を有効に設定する。すなわち、モードチェック部１８は、残差予測を行なった場合の入力ＭＢの予測画像に対する残差の推測値が、残差予測を行わなかった場合の入力ＭＢの予測画像に対する残差の推測値以上であるときには、残差予測を無効に設定する。このため、残差予測設定部４６は、残差予測を行わなかった場合に比べて、残差予測を行った場合の方が圧縮率の高い予測処理を行うことができると推測できる場合に、残差予測を有効に設定し、それ以外の場合には、残差予測を無効に設定することができる。

図１に戻り、レイヤ間予測部４０は、モードチェック部１８から制御信号Ｓ９を受け付ける。そして、レイヤ間予測部４０は、レイヤ間動き予測、レイヤ間イントラ予測、及び残差予測の内、制御信号Ｓ９によって有効とされた予測処理を実行する。

このように、本実施の形態の画像変換装置１０では、ＳＶＣエンハンスメントレイヤ符号化部３４のレイヤ間予測部４０が行うレイヤ間予測（ＩＬＰ）における、レイヤ間動き予測、レイヤ間イントラ予測、及び残差予測の内、モードチェック部１８で有効と設定された予測処理を実行するので、レイヤ間予測部４０の負荷の低減を図ることができる。

従って、本実施の形態の画像変換装置１０は、エンハンスメントレイヤの符号化処理の負荷の低減を図ることができる。

（実施の形態２）
実施の形態２の画像変換装置では、実施の形態１の画像変換装置１０におけるＳＶＣエンハンスメントレイヤ符号化部３４を備えない構成としている。

図７は、本実施の形態の画像変換装置１０Ａの機能的構成を示すブロック図である。本実施の形態の画像変換装置１０Ａは、図７に示すように、ＡＶＣ復号化部１３、ダウンサンプリング部１６、ＳＶＣ符号化部１５、及び解析部１９を備える。ダウンサンプリング部１６は、実施の形態１と同様である。

ＡＶＣ復号化部１３は、ＡＶＣ規格に準拠した符号化方式で符号化されたストリーム（以下、ＡＶＣ入力ストリームと称する場合がある）Ｓ１を受信し、該ストリームＳ１をＡＶＣ規格に準拠して復号化する。

ＳＶＣ符号化部１５は、ＡＶＣ復号化部１３から出力された、ＡＶＣ規格に準拠して復号化された、ＡＶＣ復号化された画像Ｓ２を、ＳＶＣ規格に準拠して符号化する。そして、ＳＶＣ規格に準拠した符号化方式で符号化されたストリーム（以下、ＳＶＣストリームと称する場合がある）Ｓ７を出力する。

なお、本実施の形態２での画像変換装置１０Ａは、実施の形態１におけるモードチェック部１８に代えて解析部１９を備え、ＳＶＣ符号化部１４に代えてＳＶＣ符号化部１５を備え、更に挿入部２１を備えた以外は、実施の形態１の画像変換装置１０と同じ構成である。このため、同じ機能を有する部分には同じ符号を付与して詳細な説明を省略する。

ＡＶＣ復号化部１３は、逆エントロピー符号化部２０、逆量子化部２２、逆変換部２４、動き補償部２６、加算部２８、フィルタ部３０、及びバッファ部３２を備える。ＡＶＣ復号化部１３は、実施の形態１のＡＶＣ復号化部１２と異なる点は、フィルタ部３０が、ＡＶＣ復号化された画像Ｓ２を、ＳＶＣ符号化部１５に出力しない点である。

ダウンサンプリング部１６は、ＡＶＣ復号化された画像Ｓ２の解像度を低解像度化したベースレイヤの入力画像Ｓ３を生成し、ＳＶＣ符号化部１５のＳＶＣベースレイヤ符号化部３６へ出力する。

ＳＶＣ符号化部１５は、ＳＶＣベースレイヤ符号化部３６と、多重化部３９と、を備える。ＳＶＣベースレイヤ符号化部３６は、ダウンサンプリング部１６によって低解像度化された映像であるベースレイヤの入力画像Ｓ３を、ベースレイヤの符号化対象となる解像度を有する入力映像として受け付ける。すなわち、本実施の形態では、ＳＶＣ符号化部１５は、エンハンスメントレイヤの入力画像を受け付けず、ベースレイヤの入力画像をダウンサンプリング部１６から受け付ける。

多重化部３９は、ＳＶＣベースレイヤ符号化部３６から出力されたベースレイヤの符号ビットストリームＳ５と、挿入部２１から受け付けた後述するシンタックスＳ１２と、を多重化し、ＳＶＣストリームＳ７として出力する。

ここで、ＡＶＣ入力ストリームＳ１の解像度は、ＳＶＣ規格で用いるエンハンスメントレイヤの内の最も解像度の高いエンハンスメントレイヤの解像度と同じである。本実施の形態の画像変換装置１０Ａは、この点に着目した構成となっている。

そして、ＳＶＣ規格は、ＡＶＣ規格を拡張した規格である。そして、ＳＶＣ規格に準拠した符号化方式で符号化されたストリームのシンタックスは、ＡＶＣ規格に準拠した符号化方式で符号化されたストリームのシンタックスに加えて、ＳＶＣ規格専用のシンタックスを有する。

そこで、解析部１９は、ＡＶＣ入力ストリームＳ１のシンタックスを解析し、該ＡＶＣ入力ストリームのシンタックス中の、ＳＶＣ規格専用のシンタックス要素の挿入場所を設定する。そして、この挿入場所を示す場所情報Ｓ１１を、挿入部２１へ出力する。

挿入部２１は、ＡＶＣ入力ストリームＳ１のシンタックスの、上記場所情報Ｓ１１によって示される挿入場所に、ＳＶＣ規格専用のシンタックス要素を挿入する。これによって、挿入部２１は、ＡＶＣ入力ストリームＳ１のシンタックスを、ＳＶＣ出力ストリームＳ７用のシンタックスに変更する。

そして、変更後のシンタックスＳ１２を、多重化部３９へ出力する。

多重化部３９では、ＳＶＣベースレイヤ符号化部３６から出力されたベースレイヤの符号ビットストリームＳ５と、挿入部２１から受け付けた後述するシンタックスＳ１２と、を多重化し、ＳＶＣストリームＳ７として出力する。

図８には、ＡＶＣ入力ストリームＳ１と、ＳＶＣ出力ストリームＳ７と、の一例を模式的に示した。なお、図８では、ビットストリームの形式が、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔ Ｌａｙｅｒ：ＮＡＬ）ユニットである場合の例を示した。

図８（Ａ）に示すように、ＡＶＣ入力ストリームＳ１は、スライスヘッダとスライスデータ部分とを含んだ構成である。スライスヘッダにはＳ１、Ｓ２〜Ｓｎ（ｎは３以上の整数）とＡＶＣシンタックス要素が存在している。これらのＡＶＣシンタックス要素としては、ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅ、ｓｌｉｃｅ＿ｔｙｐｅ等の公知の要素が挙げられる。スライスデータ部分が、ＡＶＣ規格で符号化されたストリームに相当する。

本実施の形態では、解析部１９は、シンタックスの解析として、ＡＶＣ入力ストリームＳ１のスライスヘッダを解析し、ＳＶＣ規格専用のシンタックス要素であるＳ_ｓｖｃの挿入場所を設定する。詳細には、解析部１９は、ＡＶＣ入力ストリームＳ１のＮＡＬユニット中のスライスヘッダ（シンタックス）を先頭から解析し、Ｓ_ｓｖｃの挿入場所を設定する。なお、ＳＶＣ規格では、各シンタックス要素の並べ順が規定されている。このため、解析部１９は、該規定によって定められた順番に基づいて、ＡＶＣ入力ストリームＳ１のＮＡＬユニット中のスライスヘッダ（シンタックス）を先頭から解析することによって、Ｓ_ｓｖｃの挿入場所を設定することができる（例えば、図８中、シンタックス要素Ｓ３とシンタックス要素Ｓ４との間）。

そして、解析部１９は、この挿入場所を示す場所情報Ｓ１１を、挿入部２１へ出力する。挿入部２１は、ＡＶＣ入力ストリームＳ１のシンタックスの、上記場所情報Ｓ１１によって示される挿入場所（例えば、図８中、シンタックス要素Ｓ３とシンタックス要素Ｓ４との間）に、ＳＶＣ規格専用のシンタックス要素であるＳ_ｓｖｃを挿入する。これによって、挿入部２１は、図８（Ｂ）に示すように、ＡＶＣ入力ストリームＳ１のシンタックスを、ＳＶＣ出力ストリームＳ７用のシンタックスに変更する。

以上説明したように、本実施の形態の画像変換装置１０Ａでは、エンハンスメントレイヤの符号化処理を実行せずに、解析部１９と挿入部２１とを設けた構成としている。そして、本実施の形態の画像変換装置１０Ａでは、ＡＶＣ入力ストリームＳ１のシンタックス中の、ＳＶＣ規格専用のシンタックス要素の挿入場所を設定し、この挿入場所に、ＳＶＣ規格専用のシンタックス要素を挿入する。これによって、挿入部２１が、ＡＶＣ入力ストリームＳ１のシンタックスを、ＳＶＣ出力ストリームＳ７用のシンタックスに変更する。そして、多重化部３９では、ＳＶＣベースレイヤ符号化部３６から出力されたベースレイヤの符号ビットストリームＳ５と、挿入部２１から受け付けた後述するシンタックスＳ１２と、を多重化し、ＳＶＣストリームＳ７として出力する。

すなわち、本実施の形態の画像変換装置１０Ａでは、エンハンスメントレイヤの符号化処理で行われる上述した各種予測処理を実行せずに、ＳＶＣ出力ストリームＳ７を出力することができる。

このため、本実施の形態の画像変換装置１０Ａでは、エンハンスメントレイヤの符号化処理の負荷の低減を図ることができる。

１０、１０Ａ 画像変換装置
１２、１３ ＡＶＣ復号化部
１４、１５ ＳＶＣ符号化部
１６ ダウンサンプリング部
１８ モードチェック部
１９ 解析部
２１ 挿入部
３４ ＳＶＣエンハンスメントレイヤ符号化部
３６ ＳＶＣベースレイヤ符号化部
３８、３９ 多重化部
４０ レイヤ間予測部
４２ レイヤ間動き予測設定部
４４ レイヤ間イントラ予測設定部
４６ 残差予測設定部

特開２０１０−２００３５７号公報

Claims (6)

1. Ｈ．２６４／ＡＶＣ規格に準拠した符号化方式で符号化された入力画像を復号化し、復号画像信号を出力する復号手段と、
   前記復号画像信号に対して、予め定められた解像度比に応じて該復号画像信号より解像度の低い低解像度信号を生成するダウンサンプリング手段と、
   前記復号画像信号及び前記低解像度信号をＨ．２６４／ＳＶＣ規格に準拠した符号化方式で符号化する符号化手段と、
   前記符号化手段が前記復号画像信号に対して行うレイヤ間予測に含まれる、複数の予測処理の各々について、各予測処理を有効とするか無効とするかを示す制御情報を生成する生成手段と、
   を備え、
   前記符号化手段は、前記復号画像信号を第１の解像度のエンハンスメントレイヤの符号化対象信号として受け付けると共に、前記低解像度信号を、前記第１の解像度より解像度の低いベースレイヤの符号化対象信号として受け付け、前記低解像度信号の符号化によって得られるベースレイヤ情報に基づいて、前記エンハンスメントレイヤの符号化対象信号に対して前記制御情報によって有効とされた予測処理を実行する、
   画像変換装置。
2. 前記レイヤ間予測は、
   前記復号画像信号の符号化対象のマクロブロックに対応する、前記低解像度信号のマクロブロックの動きベクトル及び分割モードに基づいて、動き補償予測を行うレイヤ間動き予測と、
   前記復号画像信号の符号化対象のマクロブロックに対応する、前記低解像度信号のマクロブロックの解像度を、該復号画像信号の解像度に伸長して予測画像を生成するレイヤ間イントラ予測と、
   前記復号画像信号の符号化対象のマクロブロックに対応する、前記低解像度信号のマクロブロックの動き補償予測によって得られた予測誤差信号の解像度を、前記復号画像信号の解像度に伸長した残差情報を用いて、階層間予測を行う残差予測と、
   を含む、請求項１に記載の画像変換装置。
3. 前記生成手段は、
   前記レイヤ間動き予測を有効とするか無効とするかを設定するレイヤ間動き予測設定手段、を有し、
   前記レイヤ間動き予測設定手段は、
   前記レイヤ間動き予測を行わなかった場合の前記入力画像におけるマクロブロックの動きベクトルの推測値が、前記レイヤ間動き予測を行った場合の前記入力画像におけるマクロブロックの動きベクトルの推測値より小さい場合に、前記レイヤ間動き予測を無効とすることを示す前記制御情報を生成する、請求項２に記載の画像変換装置。
4. 前記生成手段は、
   前記レイヤ間イントラ予測を有効とするか無効とするかを設定するレイヤ間イントラ予測設定手段、を有し、
   前記レイヤ間イントラ予測設定手段は、
   前記レイヤ間イントラ予測を行わなかった場合の前記入力画像におけるマクロブロックの動きベクトルの推測値が、前記レイヤ間イントラ予測を行った場合の前記入力画像におけるマクロブロックの動きベクトルの推測値より小さい場合に、前記レイヤ間イントラ予測を無効とすることを示す前記制御情報を生成する、請求項２または請求項３に記載の画像変換装置。
5. 前記生成手段は、
   前記残差予測を有効とするか無効とするかを設定する残差予測設定手段、を有し、
   前記残差予測設定手段は、
   前記残差予測を行わなかった場合の前記入力画像におけるマクロブロックの動きベクトルの推測値が、前記残差予測を行った場合の前記入力画像におけるマクロブロックの動きベクトルの推測値より小さい場合に、前記残差予測を無効とすることを示す前記制御情報を生成する、請求項２〜請求項４の何れか１項に記載の画像変換装置。
6. Ｈ．２６４／ＡＶＣ規格に準拠した符号化方式で符号化された入力画像を復号化し、復号画像信号を出力する復号手段と、
   前記復号画像信号に対して、予め定められた解像度比に応じて該復号画像信号より解像度の低い低解像度信号を生成するダウンサンプリング手段と、
   前記入力画像のシンタックスを解析し、該入力画像のシンタックスへのＳＶＣ規格専用のシンタックス要素の挿入場所を設定する解析手段と、
   前記入力画像のシンタックスにおける前記挿入場所にＳＶＣ規格専用のシンタックス要素を挿入し、ＳＶＣ規格に準拠したシンタックスを生成する挿入手段と、
   前記ＳＶＣ規格に準拠したシンタックスと、前記低解像度信号をＨ．２６４／ＳＶＣ規格に準拠して符号化した符号化ストリームと、を多重化して出力する符号化手段と、
   を備えた画像変換装置。

Images