JP2010263390A - 画像配信システム、符号装置及び復号装置 - Google Patents

Abstract

【課題】少ない復号処理で所望の品質の拡張画像が得られる画像配信システムを提供する。
【解決手段】符号装置１の基本画像処理部ＢＬＥは、基本画像の量子化係数及び量子化パラメータを生成する。拡張画像処理部ＥＬＥｊは、拡張画像の量子化係数及び量子化パラメータを生成し、基本画像及び拡張画像の量子化パラメータの比率である比率パラメータを求める。符号装置１は、基本画像の量子化係数及び量子化パラメータと、比率パラメータとを符号化して出力する。復号装置２の拡張画像処理部ＥＬＤｊは、基本画像の量子化係数と比率パラメータとに基づいて拡張画像の量子化係数を生成する。また、基本画像の量子化パラメータと比率パラメータとに基づいて拡張画像の量子化パラメータを求める。そして、求めた拡張画像の量子化係数及び量子化パラメータに基づいて、拡張画像を復号する。
【選択図】図１

Description

本発明は、画像配信システムに関し、さらに詳しくは、動画等の画像を符号化して符号化データを生成する符号装置と、符号化データから画像を復号する復号装置とを備えた画像配信システムに関する。

多段階の品質の画像を提供する符号化技術として、スケーラブル符号化方式がある。スケーラブル符号化方式では、品質の最も低い基本画像と、基本画像よりも上層であって品質の高い１又は複数の拡張画像とが生成される。拡張画像が複数生成される場合、上層に向かうにしたがって品質が向上する。つまり、第１拡張画像から第ｊ拡張画像（ｊは自然数）に向かうにしたがって、品質は向上する。

このような画像（レイヤ）間の品質の制御には、非特許文献１及び２に開示されるような、量子化パラメータが利用される。量子化パラメータは、インター予測モードやイントラ予測モードといった符号化モードに基づいて、画像のマクロブロックごとに設定される。

従前のスケーラブル符号化方式では、各画像で利用される量子化パラメータは、それぞれ別個独立に設定される。つまり、各画像（レイヤ）ごとに量子化パラメータは独立して設定される。

さらに、符号化量を低減するために、第ｊ拡張画像の符号化データは、第ｊ−１拡張画像との差分により生成された残差データとして復号装置に送信される。そのため、復号装置で第ｊ拡張画像を復号する場合、基本画像、第１〜第ｊ拡張画像の全てを復号しなければならず、復号処理に負担が掛かる。

J. Wei. B.H. Soong, Z.G. Li, "A New Rate-Distortion Model For Video Transmission Using Multiple Logarithmic Functions", IEEE Signal Processing Letters, 11, 8, pp. 694-697, 2004. 8 S. Ma, W. Gao, Y. Lu, "Rate-Distortion Analysis for H.264/AVC Video Coding and its Application to Rate Control", IEEE Trans. On CSVT, 15, 12, pp.1533-1544, 2005. 12

本発明の目的は、少ない復号処理で所望の品質の拡張画像が得られる画像配信システムを提供することである。

課題を解決するための手段及び発明の効果

本発明による画像配信システムは、スケーラブル符号化処理を実行可能な符号装置と復号装置とを備える。符号装置は、基本画像処理手段と、拡張画像処理手段とを備える。基本画像処理手段は、複数のマクロブロックに分割された画像を用いて基本画像を符号化する。拡張画像処理手段は、画像を用いて基本画像よりも上層の拡張画像を符号化する。基本画像処理手段は、基本量子化手段を備える。基本量子化手段は、マクロブロックごとに設定された複数の基本量子化パラメータに基づいて、画像をマクロブロックごとに量子化して基本画像の量子化係数を生成する。拡張画像処理手段は、拡張量子化手段と、比率決定手段とを備える。拡張量子化手段は、マクロブロックごとに設定された複数の拡張量子化パラメータに基づいて、画像をマクロブロックごとに量子化して拡張画像の量子化係数を生成する。比率決定手段は、基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを決定する。符号装置はさらに、符号化手段を備える。符号化手段は、基本画像の量子化係数と、基本量子化パラメータと、比率パラメータとを符号化し、符号化データを出力する。復号装置は、拡張生成手段と、逆量子化手段と、逆変換手段とを備える。拡張生成手段は、基本画像の量子化係数と、比率パラメータとに基づいて拡張画像の量子化係数を生成する。また、基本量子化パラメータと比率パラメータとに基づいて拡張量子化パラメータを生成する。逆量子化手段は、拡張量子化パラメータに基づいて、拡張画像の量子化係数を逆量子化する。逆変換手段は、逆量子化された拡張画像を逆変換して拡張画像を再生する。

この場合、拡張画像の量子化係数は、基本画像の量子化係数と比率パラメータとで求めることができる。そのため、拡張画像を復号するとき、その拡張画像より下層全ての画像を復号する必要がない。そのため少ない復号処理で所望の品質の拡張画像を得ることができる。

好ましくは、拡張画像処理手段はさらに、残差決定手段を備える。残差決定手段は、基本画像の量子化係数と比率パラメータとに基づいて決定される量子化係数を求め、求めた量子化係数と基本画像の量子化係数との差分である残差データを求める。符号化手段はさらに、残差データの符号化データを出力する。そして、拡張生成手段は、基本画像の量子化係数と、比率パラメータと、残差データとに基づいて拡張画像の量子化係数を生成する。

この場合、残差データを利用するので、復号された拡張画像のひずみを抑えることができる。

好ましくは、残差決定手段はさらに、各マクロブロック内において、比率パラメータが利用される領域を示す複数の領域パターンごとに量子化係数を求め、残差データを領域パターンごとに求める。そして、求めた残差データのうち最小の残差データとなる領域パターンを選択する。符号化手段は、選択された領域パターンに関する情報及び選択された領域パターンで求められた残差データの符号化データを出力する。拡張生成手段は、基本画像の量子化係数と、比率パラメータと、残差データと、選択された領域パターンとに基づいて、拡張画像の量子化係数を生成する。

この場合、残差データを少なくできる。そのため、比率パラメータで拡張画像の品質をより制御しやすくなる。

好ましくは、基本量子化手段はさらに、求めた残差データが所定値よりも大きい場合、基本量子化パラメータを変更して基本画像の量子化係数を再び生成する。比率決定手段は、変更された基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを再び求める。残差決定手段は、再び量子化された基本画像の量子化係数及び再び求められた比率パラメータに基づいて残差データを求める。符号化手段は、求めた残差データが所定値よりも小さい場合、残差データの符号化データを出力する。

この場合、残差データをより少なくすることができる。

好ましくは、拡張量子化手段はさらに、求めた残差データが所定値よりも大きい場合、拡張量子化パラメータを変更して拡張画像の量子化係数を再び生成する。比率決定手段は、変更された拡張量子化パラメータに基づいて比率パラメータを再び求める。残差決定手段は、量子化された基本画像の量子化係数及び再び求めた比率パラメータに基づいて残差データを求める。符号化手段は、求めた残差データが所定値よりも小さい場合、残差データの符号化データを出力する。

この場合、残差データをより少なくすることができる。

好ましくは、拡張画像処理手段はさらに、代表決定手段を備える。代表決定手段は、マクロブロックごとに決定された複数の比率パラメータに基づいて、代表比率パラメータを決定する。符号化手段は、基本画像の量子化係数と、基本量子化パラメータと、代表比率パラメータとを符号化して符号化データを出力する。拡張生成手段は、基本画像の量子化係数と、代表比率パラメータとに基づいて、拡張画像の量子化係数を生成する。そして、基本量子化パラメータと代表比率パラメータとに基づいて、拡張量子化パラメータを生成する。

この場合、代表比率パラメータを調整すれば、拡張画像の品質を容易に制御することができる。

好ましくは、拡張画像処理手段はさらに、特定手段を備える。特定手段は、複数のマクロブロックのうち、所定の領域内の複数のマクロブロックを特定する。代表決定手段は、特定された複数のマクロブロックに対応する複数の比率パラメータに基づいて、代表比率パラメータを決定する。符号化手段はさらに、特定されたマクロブロックに関する領域情報を符号化する。拡張生成手段は、基本画像の量子化係数と、基本量子化パラメータと、領域情報と、代表比率パラメータとに基づいて、拡張画像の量子化係数を生成する。

この場合、画像内の特定の領域に対して品質を調整することができる。

本発明による符号装置及び復号装置は、上述の画像配信システムに利用される。また、本発明による符号プログラム及び復号プログラムは、符号装置及び復号装置内のコンピュータに実装され、上述の手段を実現する。

本発明の第１の実施の形態による画像配信システムの全体構成を示す機能ブロック図である。 図１に示した画像配信システムのうち、符号装置の構成を示す機能ブロック図である。 図２に示した符号装置の符号処理において、マクロブロックを構成するブロックのうち、比率パラメータを利用する領域を示す領域パターンの例を示す模式図である。 図３と異なる他の領域パターンの例を示す模式図である。 コンピュータ装置のハードウェア構成を示す機能ブロック図である。 図２に示す符号装置の動作の詳細を示すフロー図である。 図６に示す動作で符号装置内の拡張画像処理部から出力される符号化データの内容を示す模式図である。 図１に示した画像配信システムのうち、復号装置の構成を示す機能ブロック図である。 図８に示した復号装置の動作の詳細を示すフロー図である。 第２の実施の形態による画像配信システムのうち、符号装置の動作の詳細を示すフロー図である。 マクロブロックごとの比率パラメータの一例を示す模式図である。 第３の実施の形態による画像配信システムのうち、符号装置の動作の詳細を示すフロー図である。

以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

１．第１の実施の形態
［全体構成］
図１を参照して、画像配信システム１００は、符号装置１と復号装置２とを備える。符号装置１と復号装置２とはネットワークを介して互いに接続される。ネットワークはたとえばＬＡＮやインターネットである。

符号装置１は、動画等の画像を量子化及び符号化し、符号化データを生成する。そして、生成された符号化データを配信する。復号装置２は、配信された符号化データを復号し、画像を再生する。

符号装置１はスケーラブル符号化機能を有する。スケーラブル符号化機能では、入力された画像に対して、最下層となる基本画像と、基本画像よりも上層となる第１〜第ｊ拡張画像（ｊは自然数）とを生成し、これらの符号化データを出力する。第１〜第ｊ拡張画像は、第１拡張画像が品質が最も低く（最も下層で）、第２〜第ｊに上がるにしたがって品質は向上する。複数の品質の画像が準備されるため、復号装置２の性能や伝送路の状態に応じて、画像品質を調整できる。

符号装置１は、基本画像を符号化するための基本画像処理部ＢＬＥと、第１〜第ｊ拡張画像を符号化するための拡張画像処理部ＥＬＥ１〜ＥＬＥｊとを備える。

復号装置２もスケーラブル符号化機能に対応している。そのため、復号装置２は、基本画像処理部ＢＬＤと、第１〜第ｊ拡張画像処理部ＥＬＤ１〜ＥＬＤｊとを備える。

［動作概要］
符号装置１では、基本画像処理部ＢＬＥが基本画像を符号化し、第１〜第ｊ拡張画像処理部ＥＬＥ１〜ＥＬＥｊが第１〜第ｊ拡張画像を符号化する。従来のスケーラブル符号化では、第１〜第ｊ拡張画像の符号化に利用される量子化パラメータ（以下、拡張量子化パラメータという）は、基本画像の符号化に利用された量子化パラメータ（以下、基本量子化パラメータという）と別個独立に設定される。さらに、第ｊ拡張画像の符号化データは、第ｊ−１拡張画像との差分データとして出力される。そのため、復号装置が第ｊ拡張画像を再生する場合、基本画像と、第１〜第ｊ拡張画像の符号化データ全てを復号し、合成しなければ、第ｊ拡張画像を再生できない。

本実施の形態では、拡張量子化パラメータと基本量子化パラメータとに基づいて決定される比率パラメータを利用する。画像を符号化する場合、画像を複数のマクロブロックに分割して、各マクロブロックごとに量子化を行うが、比率パラメータは、マクロブロックごとに決定される。具体的には、マクロブロックＭｎ（ｎは自然数）の比率パラメータＲｎは、以下の式（１）に基づいて決定される。

比率パラメータＲｎ＝拡張量子化パラメータＱＥＰｎ／基本量子化パラメータＱＢＰｎ （１）
ここで、拡張量子化パラメータＱＥＰｎは、マクロブロックＭｎの拡張量子化パラメータであり、基本量子化パラメータＱＢＰｎは、マクロブロックＭｎの基本量子化パラメータである。

比率パラメータＲｎを利用すれば、復号装置２での復号処理を簡略化できる。なぜなら、比率パラメータＲｎは、第ｊ拡張画像の拡張量子化パラメータＱＥＰｎと、基本量子化パラメータＱＢＰｎとの比率である。そのため、基本画像の符号化データと比率パラメータＲｎがあれば、第ｊ拡張画像を復号できる。つまり、第ｊ拡張画像を再生するために、第ｊ拡張画像より下層の拡張画像の全てを再生しなくてよい。

［符号装置の構成］
符号装置の詳細を説明する。図２を参照して、符号装置１は、基本画像処理部ＢＬＥと、第１〜第ｊ拡張画像処理部ＥＬＥ１〜ＥＬＥｊとを備える。

［基本画像処理部］
基本画像処理部ＢＬＥは、外部から入力された画像に基づいて、基本画像の符号化データを出力する。基本画像処理部ＢＬＥは、品質指定部４１と、符号化中核部５０とを備える。品質指定部４１は、ユーザ操作に応じて品質要求を外部から受信する。そして、品質要求に応じて、基本画像の品質を指定する。

符号化中核部５０は、品質指定部４１により指定された品質に応じた基本画像を生成し、基本画像の符号化データを生成する。符号化中核部５０は、画像入力部５１と、予測符号化部５２と、変換符号化部５３と、量子化部５４と、エントロピ符号化部５５とを備える。

画像入力部５１は、外部から入力された画像を複数のマクロブロックＭ１〜Ｍｎ（ｎは自然数）に分割する。そして、複数のマクロブロックＭｎからなる画像信号を出力する。

各マクロブロックＭｎは、複数のブロックからなる。各ブロックはたとえば、８画素×８画素からなる４つの輝度ブロックと、８画素×８画素からなる２つの色差ブロックとを含む。ただし、マクロブロックを構成する複数のブロックのサイズ及び個数はこれに限られない。マクロブロックは複数のブロックから構成された矩形状であればよい。

符号化モード決定部５６は、複数の符号化モードから所望の符号化モードを決定する。符号化モードは、各マクロブロックＭｎをどのような方法で符号化するかを示す。つまり、符号化モードは、マクロブロックＭｎごとに決定される。符号化モードには、フレーム内予測符号化（イントラ予測モード）と、フレーム間予測符号化（インター予測モード）とがある。符号化モード決定部５６は、複数の符号化モードの中から、エントロピ符号化後のデータ量が最も少ない符号化モードを決定する。

予測符号化部５２は、決定された符号化モードに基づいて、必要に応じて、画像信号の差分信号を生成する。具体的には、インター予測モードが適用されるマクロブロックＭｎでは、インター予測に基づいて動き予測画像が生成され、画像から予測画像が差分された差分画像が信号として出力される。一方、予測符号化部５２は、イントラ予測モードが適用されるマクロブロックＭｎに対しては処理を実行せずにスルーする。

変換符号化部５３は、予測符号化部５２から出力された画像信号を離散コサイン変換し、変換符号化係数を生成する。

量子化部５４は、変換符号化係数を量子化し、量子化係数を出力する。このとき、量子化部５４は、品質指定部４１からの要求に応じて、各マクロブロックＭｎに対応する基本量子化パラメータＱＢＰｎを決定する。量子化部５４はさらに、決定された量子化パラメータＱＢＰｎに基づいて、各マクロブロックＭｎの変換符号化係数を量子化し、基本画像の量子化係数ＱＢｎを生成する。量子化パラメータＱＢＰｎに応じて、基本画像の品質が決定される。量子化部５４は、線形の量子化を行ってもよいし、非線形の量子化を行ってもよい。

エントロピ符号化部５５は、生成された基本量子化係数ＱＢｎと基本量子化パラメータＱＢＰｎ、及び他に必要な情報（符号化モード等）とをエントロピ符号化して、符号化データを生成する。

以上のとおり、基本画像処理部ＢＬＥは、基本量子化係数ＱＢｎの符号化データと、基本量子化パラメータＱＢＰｎの符号化データとを生成し、出力する。

［拡張画像処理部］
第ｊ拡張画像処理部ＥＬＥｊ（ｊは自然数）は、品質指定部１１と、情報取得部１２と、符号化中核部２０と、比率パラメータ生成部３０とを備える。

品質指定部１１は、品質指定部４１と同様に、ユーザ操作に応じた品質要求を外部から受信し、要求に応じた拡張画像の品質を指定する。

符号化中核部２０は、画像入力部２１と、予測符号化部２２と、変換符号化部２３と、量子化部２４と、エントロピ符号化部２５と、符号化モード決定部２６とを備える。

画像入力部２１は、画像入力部５１に入力されるものと同じ画像を外部から受け付ける。そして、画像を複数のマクロブロックＭｎに分割する。このとき、マクロブロックのサイズ及び分割数は、画像入力部５１でのマクロブロックのサイズ及び分割数と同じにする。つまり、画像入力部２１に入力された画像の各マクロブロックＭ１〜Ｍｎは、画像入力部５１に入力された画像の各マクロブロックＭ１〜Ｍｎと対応する。

情報取得部１２は、基本画像のマクロブロックＭｎに適用された符号化モードを符号化モード決定部５６から取得する。情報取得部１２はさらに、基本量子化パラメータＱＢＰｎを量子化部５４から取得する。さらに、拡張量子化パラメータＱＥＰｎを、後述する量子化部２４から取得する。

符号化モード決定部２６は、情報取得部１２が取得した符号化モードを、画像入力部２１で分割されたマクロブロックＭｎに適用する。要するに、第ｊ拡張画像処理部ＥＬＥｊは、基本画像処理部ＢＬＥと同じ符号化モードを利用する。

予測符号化部２２、変換符号化部２３、量子化部２４及びエントロピ符号化部２５の動作は、予測符号化部５２、変換符号化部５３、量子化部５４及びエントロピ符号化部５５の動作と同じである。予測符号化部２２は、符号化モードに応じて画像信号を加工する。変換符号化部２３は、画像信号を離散コサイン変換して変換符号化係数を生成する。量子化部２４は、品質指定部１１からの指定及び符号化モードに基づいて拡張画像用の量子化パラメータ（拡張量子化パラメータ）ＱＥＰ１〜ＱＥＰｎを決定する。そして、拡張量子化パラメータＱＥＰ１〜ＱＥＰｎを用いて変換符号化係数を量子化し、拡張画像用の量子化係数（拡張量子化係数）ＱＥ１〜ＱＥｎを生成する。

エントロピ符号化部２５は、拡張量子化係数ＱＥｎの符号化データと、拡張量子化パラメータＱＥＰｎの符号化データとを生成する。

［比率パラメータ生成部］
比率パラメータ生成部３０は、式（１）に基づいて、比率パラメータＲｎを算出する。比率パラメータＲｎを利用することにより、復号装置２での復号処理に係る負担が軽減される。また、拡張画像の品質を制御しやすくなる。理想的には、基本量子化係数ＱＢｎと、拡張量子化係数ＱＥｎに比率パラメータＲｎを乗じた値（以下、疑似量子化係数ＲＱＥｎという）とが等しいのが好ましい。この場合、基本量子化係数ＱＢｎと疑似量子化係数ＲＱＥｎとの間に残差が発生しない。そのため、比率パラメータＲｎのみで拡張画像の品質を決定できる。また、比率パラメータＲｎを出力すれば、従来のように差分データを生成して出力する必要がないため、出力する情報量も低減できる。

一方、基本量子化係数ＱＢｎと疑似量子化係数ＲＱＥｎとの間に残差が生じる場合、残差データは小さい方が好ましい。したがって、基本量子化係数ＱＢｎと疑似量子化係数ＲＱＥｎとが等しくならない場合、以下の２つの方法により、残差データをできるだけ小さくする。

（ＣＡＳＥ１）
図３及び図４に示す様に、マクロブロックＭｎを構成する各ブロック内で、比率パラメータＲｎを乗じる領域が異なる領域パターンを複数準備する。図中、ハッチングされた領域が、ブロック内で比率パラメータＲｎが乗じられる領域である。図３及び図４では、領域パターン番号が増加するにしたがい、ハッチングされた領域が低周波成分から高周波成分に拡がっている。ハッチングされていない領域の係数は０にするか、符号化しない。
準備された領域パターンごとに疑似量子化係数ＲＱＥｎを算出し、残差データが最小となる領域パターンを決定する。

（ＣＡＳＥ２）
基本量子化パラメータＱＢＰｎ又は拡張量子化パラメータＱＥＰｎを変更し、基本量子化係数ＱＢｎ又は拡張量子化係数ＱＥｎを再計算する。そして、残差データを再度求める。この計算を繰り返し、残差データが小さくなる基本量子化係数ＱＢｎ又は拡張量子化係数ＱＥｎを求める。

比率パラメータ生成部３０は、ＣＡＳＥ１又はＣＡＳＥ２のいずれか又は両方を実行し、残差データを極力小さくするように調整する。
比率パラメータ生成部３０は、抽出部３１と、比率算出部３２と、最適化処理部３３と、比率パラメータ符号化部３４と、残差符号化部３５とを備える。

抽出部３１は、基本量子化パラメータＱＢＰ１〜ＱＢＰｎと拡張量子化パラメータＱＥＰ１〜ＱＥＰｎとを情報取得部１２から取得する。比率算出部３２は、上記式（１）に基づいて比率パラメータＲｎをマクロブロックＭｎごとに算出する。

最適化処理部３３は、上述のとおり、基本量子化係数ＱＢと疑似量子化係数ＲＱＥとの差分が可能な限り小さくなるよう、ＣＡＳＥ１及びＣＡＳＥ２を実行する。そして、差分が最小となるＣＡＳＥを決定する。詳細は後述する。

比率パラメータ符号化部３４は、比率算出部３２で算出された比率パラメータＲｎをエントロピ符号化して比率パラメータＲｎの符号化データを生成する。そして、残差符号化部３５は、基本量子化係数ＱＢｎと疑似量子化係数ＲＱＥｎとの間に残差が発生している場合に残差データをエントロピ符号化して残差の符号化データを生成する。

結合部１３は、基本量子化係数ＱＢｎの符号化データ、基本量子化パラメータＱＢＰｎの符号化データ、比率パラメータＲｎの符号化データ及び残差データの符号化データを含むビットストリームを生成し、外部に出力する。

［ハードウェア構成］
符号装置１の各構成は、コンピュータ装置に符号プログラムをインストールすることにより実現される。図５を参照して、コンピュータ装置は、中央演算処理装置（ＣＰＵ）１０１と、メモリ１０２と、ディスプレイ１０３と、ハードディスク（ＨＤＤ）１０４と、マウスやキーボード等の入力部１０５と、外部装置（たとえば復号装置２）と通信するための通信部１０６とを備える。符号プログラムはＨＤＤ１０４に記憶される。符号プログラムがメモリ１０２にロードされ、ＣＰＵ１０１で実行されることにより、コンピュータ装置は符号装置１となる。

［符号装置の動作］
以下、符号装置１の動作の詳細を説明する。
図６を参照して、符号装置１の画像入力部５１及び２１は、外部から画像を受け付ける。このとき、符号装置１の基本画像処理部ＢＬＥは、基本画像の符号化データを生成する（Ｓ４０）。まず、画像入力部５１は、受け付けた画像を複数のマクロブロックＭ１〜Ｍｎに分割する（Ｓ１）。品質指定部１１は、ユーザ操作に応じて基本画像の品質を指定する（Ｓ２）。続いて、基本画像処理部ＢＬＥは、基本画像の符号化データを作成する（Ｓ３）。

ステップＳ３は以下のとおりに実行される。符号化モード決定部５６は、品質指定部４１が指定した品質に応じて、各マクロブロックＭｎに採用する符号化モードをマクロブロックＭｎごとに決定する。各マクロブロックＭｎに採用された符号化モードに関する情報は、符号化モード決定部５６に記憶される。

続いて、予測符号化部５２は、決定された符号化モードに基づいて、必要に応じて画像を加工する。具体的には、符号化モードとしてインター予測モードが適用されるマクロブロックＭｎでは、周知のインター予測に基づいて予測画像が生成され、画像から予測画像が差分された差分画像が画像信号として出力される。一方、予測符号化部５２は、イントラ予測モードが適用されるマクロブロックに対しては処理を実行せずにスルーする。

続いて、変換符号化部５３は、予測符号化部５２から出力された画像信号を離散コサイン変換して、変換符号化係数を生成する。そして、量子化部５４は、変換符号化係数を量子化する。量子化部５４は、符号化モードに基づいて、マクロブロックＭｎごとに基本量子化パラメータＱＢＰｎが決定される。そして、決定された基本量子化パラメータＱＢＰｎに基づいて基本量子化係数ＱＢｎを求める。エントロピ符号化部５５は、基本量子化係数ＱＢｎの符号化データと、基本量子化パラメータＱＢＰｎの符号化データとを生成する。

続いて、符号装置１は、拡張画像の符号化データを生成する（Ｓ２０）。画像入力部２１は、受けた画像を複数のマクロブロックＭ１〜Ｍｎに分割する。情報取得部１２は、符号化モードを符号化モード決定部５６から取得する（Ｓ４）。そして、符号化モード決定部５６は、情報取得部１２が取得した符号化モードを、符号化中核部２０で利用する符号化モードに決定する。続いて、品質指定部４１は、ユーザ操作に応じた品質要求を外部から受信し、要求に応じた拡張画像の品質を指定する（Ｓ５）。

続いて、ステップＳ３と同様に、拡張画像処理部ＥＬＥｊは、拡張量子化係数ＱＥｎの符号化データ及び拡張量子化パラメータＱＥＰｎの符号化データを出力する（Ｓ６）。予測符号化部２２は、符号化モード決定部２６で決定された符号化モードに基づいて、画像を加工する。変換符号化部２３は、画像を離散コサイン変換して変換符号化係数を生成する。そして、量子化部２４は、符号化モード決定部２６で決定された符号化モードに基づいて、拡張量子化パラメータＱＥＰｎをマクロブロックＭｎごとに設定する。そして、設定された拡張量子化パラメータＱＥＰｎに基づいて、画像を量子化し、拡張量子化係数ＱＥｎを生成する。

拡張画像処理部ＥＬＥｊはさらに、比率パラメータＲｎを算出する。そして、基本量子化係数ＱＢｎと疑似量子化係数ＲＱＥｎとの残差データが最小になるように、最適化を図る（Ｓ３０）。

はじめに、抽出部３１は、情報取得部１２から、基本量子化パラメータＱＢｎ及び拡張量子化パラメータＱＥｎを取得する（Ｓ７）。続いて、比率算出部３２は、式（１）に基づいて、比率パラメータＲｎを算出する（Ｓ８）。比率パラメータＲｎはマクロブロックＭｎごとに算出される。比率パラメータＲｎが求められた後、最適化処理部３３は、上述のＣＡＳＥ１を実行し、残差符号化データが最小となる領域パターンを選択する（Ｓ９）。

最適化処理部３３は、図３又は図４に示す各マクロブロックＭｎ内のブロックに関する複数の領域パターンごとに、疑似量子化係数ＲＱＥｎを算出する。たとえば、図３の領域指定パターン１では、マクロブロックＭｎを構成する各ブロックの全領域に対して比率パラメータＲｎを乗じて疑似量子化係数ＲＱＥｎを算出する。図３の領域パターン２では、ブロック内のハッチングされた領域Ａ１に対してのみ比率パラメータＲｎを乗じて疑似量子化係数ＲＱＥｎを算出する。

このように、複数の領域パターンの各々について、疑似量子化係数ＲＱＥｎを算出する。そして、領域パターンごとの疑似量子化係数ＲＱＥｎと、基本量子化係数ＱＢとの差分である残差データを算出する。最適化処理部３３は、算出結果に基づいて、残差データが最小となる領域パターンを指定する。残差データが小さいほど、拡張量子化係数ＱＥｎが基本量子化係数ＱＢｎの比率パラメータＲｎ倍にほぼ相当することを示し、拡張画像の品質を制御しやすい。

続いて、最適化処理部３３は、特定された領域指定モードでの残差データが、所定値未満であるか否かを判断する（Ｓ１０）。所定値未満である場合（Ｓ１０でＹＥＳ）、残差データは充分に小さいため、ステップＳ１３に進む。

一方、ステップＳ１０で判断の結果、残差データが所定値を超える場合（Ｓ１０でＮＯ）、拡張画像処理部ＥＬＥｊはＣＡＳＥ２を実行する（Ｓ１１及びＳ１２）。具体的には、拡張量子化パラメータＱＥＰｎを変更するか（Ｓ１１でＹＥＳ）、基本パラメータＱＢＰｎを変更し（Ｓ１２でＹＥＳ）、再び、比率パラメータＲｎ及び各領域パターンでの残差データを算出する。

ステップＳ１１で拡張量子化パラメータＱＥＰｎを変更するか、ステップＳ１２で基本パラメータＱＢＰｎを変更するかは、たとえば、ユーザ操作に応じてあらかじめ設定されている。

［基本量子化パラメータを変更する場合］
拡張量子化パラメータの変更が設定されておらず（Ｓ１１でＮＯ）、基本量子化パラメータＱＢＰｎの変更が設定されている場合（Ｓ１２でＹＥＳ）、最適化処理部３３は、基本画像処理部ＢＬＥに対して、基本量子化パラメータＱＢＰｎを品質指定部１１により指定された品質を保持できる範囲で変更して、符号化データを再び出力するよう要求する。

この場合、ステップＳ３に戻って、基本画像処理部ＢＬＥの符号化モード決定部５６は、最適化処理部３３の要求を受ける。そして、要求に応じて符号化モードを変更する。予測符号化部５２は、変更された符号化モードに応じて、画像信号を加工する。そして、量子化部５４は、最適化処理部３３からの要求に基づいて基本量子化パラメータＱＢＰｎを変更し、基本量子化係数ＱＢｎを再び算出する。なお、比率パラメータ生成部３０での動作が終了するまで、画像入力部２１及び４１は受けた画像を保持している。そのため、基本画像処理部ＢＬＥは同じ画像を用いて再び基本量子化係数ＱＢｎを算出できる。

基本画像処理部ＢＬＥがステップＳ４０の処理を実行した後、拡張画像処理部ＥＬＥｊはステップＳ２０の動作を実行して、再び拡張量子化係数ＱＥｎ及び拡張量子化パラメータＱＥＰｎを算出する。そして、得られた基本量子化係数ＱＢｎ及び拡張量子化係数ＱＥｎを用いて、領域指定処理を再び実行する（Ｓ９）。実行した結果、特定された領域パターンで得られた残差データが所定値よりも大きいか否かを判断する（Ｓ１０）。

要するに、残差データが所定値未満となるまで、基本量子化パラメータＱＢＰｎを順次変更して、ステップＳ４０、Ｓ２０及びＳ７〜Ｓ１０の動作を繰り返す。これにより、残差データを所定値以下にすることができる。

［拡張量子化パラメータを変更する場合］
ステップＳ１１で拡張量子化パラメータＱＥＰｎを変更する場合（Ｓ１１でＹＥＳ）、ステップＳ６に戻って、拡張量子化係数ＱＥｎ及び拡張量子化パラメータＱＥＰｎを再び算出する。具体的には、量子化部２４は、最適化処理部３３からの要求に応じて、品質指定部１１により指定された品質を保持できる範囲で拡張量子化パラメータＱＥＰｎを変更する。そして、量子化部２４は、拡張量子化係数ＱＥｎを再び算出する（Ｓ６）。その後、ステップＳ７〜Ｓ１０を再び実行する。

上記のとおり、基本量子化パラメータＱＢＰｎ又は拡張量子化パラメータＱＥＰｎを変更して、基本量子化係数ＱＢｎ又は拡張量子化パラメータＱＥｎを算出し、残差データを求める。その結果、求めた残差データが所定値未満になったとき（Ｓ１０でＹＥＳ）、比率パラメータＲｎを利用するか否かを判断する（Ｓ１３）。比率パラメータＲｎを利用しないのであれば（Ｓ１３でＮＯ）、ステップＳ１６に進む。この場合、従前のスケータブル符号化方式の符号装置と同様の動作を実行する。つまり、結合部１３は、基本量子化係数ＱＢｎ、基本量子化パラメータＱＢＰｎ、拡張量子化係数ＱＥｎ、拡張量子化パラメータＱＥＰｎの符号化データを結合して外部に出力する（Ｓ１６）。

一方、比率パラメータＲｎを利用する場合（Ｓ１３でＹＥＳ）、比率パラメータ符号化部３４は、比率パラメータＲｎをエントロピ符号化し、比率パラメータＲｎの符号化データを生成する（Ｓ１４）。また領域パターンを利用した場合は、領域パターンに関する情報の符号化データを作成する。残差データが存在する場合、残差データをエントロピ符号化して残差符号化データを作成する（Ｓ１５）。この場合、拡張画像処理部ＥＬＥｊから出力される符号化データは、図７のとおりである。つまり、符号化データには、各マクロブロックＭｎに対応した符号化モードＭＭ１〜ＭＭｎ、比率パラメータＲ１〜Ｒｎ、選択された領域パターンに関する情報Ｎ１〜Ｎｎ及び残差データが含まれる。

結合部１３は、拡張画像処理部ＥＬＥｊから出力された符号化データと、基本画像処理部ＢＬＥから出力される符号化データ（基本量子化係数ＱＢｎ及び基本量子化パラメータＱＢＰｎの符号化データ）を結合して出力する。符号化装置１は、残差データが発生しないか、残差データが発生する場合であっても、そのデータ量は小さい。そのため、従来の符号化装置と比較して、出力される符号化データ量は少ない。

［復号装置の構成］
復号装置２は、上述の符号装置１から出力された符号化データを受け、所望の拡張画像を復号する。復号装置２の構成について、詳述する。
図８を参照して、復号装置２は、データ入力部２０１と、基本画像処理部ＢＬＤと、第１〜第ｊ拡張画像処理部ＥＬＤ１〜ＥＬＤｊとを備える。データ入力部２０１は、符号装置１から配信された符号化データ（ビットストリーム）を受信する。そして、基本画像処理部ＢＬＤ及び拡張画像処理部ＥＬＤｊに符号化データを出力する。

基本画像処理部ＢＬＤは、符号化データから基本画像を復号する。基本画像処理部ＢＬＤは、抽出部５００と、エントロピ復号部５０１と、逆量子化部５０２と、逆変換部５０３と、予測生成部５０４とを備える。抽出部５００は、データ入力部２０１に入力された符号化データから、基本画像量子化係数ＱＢｎの符号化データと、基本量子化パラメータＱＥＰｎの符号化データと、符号化モードの符号化データとを抽出する。エントロピ復号部５０１は、符号化データを復号し、基本画像量子化係数ＱＢｎと、基本量子化パラメータＱＢＰｎと、符号化モードとを生成する。逆量子化部５０２は、基本量子化パラメータＱＢＰｎ及び符号化モードに基づいて、基本量子化係数ＱＢｎを逆量子化し、基本画像の変換符号化係数を生成する。逆変換部５０３は、基本画像の変換符号化係数を逆離散コサイン変換し、基本画像の信号を生成する。

予測生成部５０４は、符号化モードに基づいて、必要に応じて予測信号を生成する。具体的には、符号化モードがインター予測モードの場合、予測生成部５０４は、先に出力された基本画像の信号に基づいて、動き補償等の周知の方法で予測信号を生成する。そして、逆変換部５０３から出力された基本画像の信号（差分信号）と予測信号とを合成し、基本画像を生成する。一方、符号化モードがイントラ予測モードの場合、予測生成部５０４は、逆変換部５０３から出力された信号をそのままスルーする。以上の動作により、基本画像処理部５００は基本画像を復号し、外部に出力する。

拡張画像処理部ＥＬＤｊは、データ入力部２０１に入力された符号化データから拡張画像を復号する。拡張画像処理部ＥＬＤｊは、比率パラメータ生成部３００と、復号中核部４００とを備える。

比率パラメータ生成部３００は、拡張画像量子化係数ＱＥｎの符号化データと、拡張量子化パラメータＱＥＰｎの符号化データとを生成する。比率パラメータ生成部３００は、符号化データ抽出部３０１と、比率復号部３０２と、残差復号部３０３と、合成部３０４と、パラメータ符号部３０５とを備える。符号化データ抽出部３０１は、データ入力部２０１に入力された符号化データから比率パラメータＲｎ、符号化モードＭＭｎ、領域パターンに関する情報Ｎｎ及び残差データの符号化データを抽出する（図７参照）。比率復号部３０２は、比率パラメータＲｎの符号化データを復号して、比率パラメータＲｎを生成する。また、比率復号部３０２は、領域パターンに関する情報の符号化データを復号して、領域パターンを特定する。残差復号部３０３は、残差データの符号化データを復号して残差データを生成する。

合成部３０４は、抽出部５００から基本量子化係数ＱＢｎの符号化データを取得し、エントロピ復号部５０１から基本量子化パラメータＱＢｎの符号化データを取得する。そして、基本量子化係数ＱＢｎの符号化データと、領域指定モードと、比率パラメータＲｎと、残差データとを用いて、拡張量子化係数ＱＥｎを生成する。このとき、領域パターンも利用される。合成部３０４はさらに、基本量子化パラメータＱＢＰｎと比率パラメータＲｎとを用いて、式（２）に基づいて拡張量子化パラメータＱＥＰｎを算出する。

拡張量子化パラメータＱＥＰｎ＝基本量子化パラメータＱＢＰｎ×比率パラメータＲｎ （２）
パラメータ符号部３０５は、算出された拡張量子化パラメータＱＥＰｎを再度符号化する。以上の方法により、比率パラメータ生成部３００は、拡張量子化係数ＱＥＰｎの符号化データと、拡張量子化パラメータＱＥＰｎの符号化データとを生成する。比率パラメータ生成部３００はさらに、符号化データ抽出部３０１で抽出された拡張画像用の符号化モードの符号化データも出力する。

復号中核部４００は、拡張量子化係数ＱＥｎと、拡張量子化パラメータＱＥＰｎと、符号化モードとに基づいて、拡張画像を生成する。復号中核部４００は、エントロピ復号部４０１と、逆量子化部４０２と、逆変換部４０３と、予測生成部４０４とを備える。

エントロピ復号部４０１は、拡張量子化係数ＱＥｎ、拡張量子化パラメータＱＥＰｎ及び符号化モードの符号化データを復号し、拡張量子化係数ＱＥｎ、拡張量子化パラメータＱＥＰｎ及び符号化モードを生成する。逆量子化部４０２は、拡張量子化係数ＱＥｎと、拡張量子化パラメータＱＥＰｎと、符号化モードとに基づいて、拡張画像の変数符号化係数を生成する。逆変換部４０３は、拡張画像の変換符号化係数を逆離散コサイン変換して、拡張画像の信号（又は差分信号）をマクロブロック単位で生成する。予測生成部４０４は、符号化モードに基づいて、対応のマクロブロックＭｎがインター予測モードを採用する場合、先に出力された拡張画像に基づいて周知の方法により予測信号を生成する。そして、拡張画像の差分信号と予測信号とを合成して、拡張画像を生成する。一方、対応のマクロブロックＭｎがイントラ予測モードを採用する場合、予測生成部４０４は、その信号をスルーする。以上の方法により、拡張画像処理部は拡張画像を生成し、外部に出力する。

［ハードウェア構成］
復号装置２の各構成は、符号装置１と同様に、コンピュータ装置に復号プログラムをインストールすることにより実現される。復号プログラムは図５のコンピュータ装置のハードディスク１０４に記憶される。復号プログラムがメモリ１０２にロードされ、ＣＰＵ１０１で実行されることにより、コンピュータ装置は復号装置２になる。

[復号装置の動作]
以下、復号装置の動作の詳細を説明する。図９を参照して、復号装置２のデータ入力部２０１は、符号装置１から配信された符号化データを受信する（Ｓ１０１）。復号装置２のユーザは、たとえば図５中の入力部１０５を介して、復号する画像の品質を選択する。品質指定部２０２は、ユーザ操作に応じて選択された品質要求を受ける。そして、受けた品質要求に応じて、復号する画像（基本画像、第１拡張画像〜第ｊ拡張画像のいずれか）を指定する（Ｓ１０２）。

品質を指定後、基本画像処理部ＢＬＤ内の抽出部５００は、符号化データから基本量子化係数ＱＢｎの符号化データと、基本量子化パラメータＱＢＰｎの符号化データと、符号化モードの符号化データとを抽出する。そして、エントロピ復号部５０１は、これらの符号化データをエントロピ復号し、基本量子化係数ＱＢｎと、基本量子化パラメータＱＢＰｎと、符号化モードとを生成する（Ｓ１０３）。続いて、逆量子化部５０２は、基本量子化係数ＱＢｎと、基本量子化パラメータＱＢＰｎと、符号化モードとに基づいて逆量子化し、基本画像の変換符号化係数を生成する（Ｓ１０４）。

続いて、品質指定部２０２は、ステップＳ１０２で受け付けた品質要求に基づいて、起動する画像処理部を、基本画像処理部ＢＬＤ及び第１〜第ｊ拡張画像処理部ＥＬＤ１〜ＥＬＤｊから選択する（Ｓ１０５及びＳ１０８）。

［基本画像を復号する場合］
ステップＳ１０２で受けた品質要求が基本画像に相当する品質である場合（Ｓ１０５でＹＥＳ）、品質指定部２０２は、基本画像処理部ＢＬＤに復号するよう指令する。この場合、逆変換部５０３は、逆量子化部５０２で生成された基本画像の変換符号化係数を逆変換して基本画像の信号を生成する（Ｓ１０６）。このとき、複数のマクロブロックＭ１〜Ｍｎのうち、インター予測モードが採用されたマクロブロックＭｎについては差分信号が生成される。

続いて、予測生成部５０４は、基本画像の符号化モードに基づいて、インター予測モードが採用されたマクロブロックＭｎの差分信号に対して予測信号を生成し、合成する。予測信号は、先に出力された画像信号に基づいて、動き補償等の周知の方法で生成される。一方、予測生成部５０４は、イントラ予測モードが採用されたマクロブロックＭｎの信号をスルーする（Ｓ１０７）。
以上の方法で生成された信号は結合され、基本画像として外部に出力される（Ｓ１１９）。

［第ｊ拡張画像を復号する場合］
ステップＳ１０２で受けた品質要求が第ｊ拡張画像（ｊ＝１〜）に相当する品質である場合（Ｓ１０５でＮＯ）、品質指定部２０２は、拡張画像処理部ＥＬＤｊに復号するよう指示する（Ｓ１０８）。このとき、品質指定部２０２は、基本画像処理部ＢＬＤに基本画像情報を拡張画像復号部ＥＬＤｊに出力するよう要求する。基本画像情報は、抽出部５００で抽出された基本量子化係数ＱＢｎの符号化データと、エントロピ復号部５０１で復号された基本量子化パラメータＱＢＰｎと、符号化モードとを含む。基本画像処理部ＢＬＤは、指示に応じて基本画像情報を拡張画像処理部ＥＬＤｊに出力する。

拡張画像処理部ＥＬＤｊは、品質指定部２０２から復号指示を受けて、第ｊ拡張画像の復号を実行する（Ｓ１５０及びＳ１６０）。初めに、拡張画像処理部ＥＬＤｊは、比率パラメータ生成部３００により、拡張量子化係数ＱＥｎの符号化データと、拡張量子化パラメータＱＥＰｎの符号化データとを生成する（Ｓ１５０）。そして、生成された拡張量子化係数ＱＥｎと拡張量子化パラメータＱＥＰｎとに基づいて、第ｊ拡張画像を再生する（Ｓ１６０）。

［比率パラメータ生成部での処理（Ｓ１５０）］
比率パラメータ生成部３００内の符号化データ抽出部３０１は、符号化データから、比率パラメータＲｎと、残差データと、領域パターンに関する情報と、符号化モードとを抽出する（Ｓ１１０）。そして、比率復号部３０２は、比率パラメータＲｎ、符号化モード及び領域パターンに関する情報の符号化データを復号して、比率パラメータＲｎ、符号化モード及び領域パターンに関する情報を生成する（Ｓ１１１）。次に、比率パラメータＲｎ、符号化モード、領域パターン及び残差データと、基本画像処理部ＢＬＤから送信された基本画像情報（基本量子化係数ＱＢｎの符号化データと、基本量子化パラメータＱＢＰｎの符号化データ）とに基づいて、拡張量子化係数ＱＥｎの符号化データと、拡張量子化パラメータＱＥＰｎとを生成する（Ｓ１１２）。具体的には、合成部３０４は、基本量子化係数ＱＢｎの符号化データに、領域パターンに応じて比率パラメータＲｎを乗じる。その後、残差データを加算する。以上の方法により、拡張量子化係数ＱＥｎの符号化データが得られる。一方、基本量子化パラメータＱＢＰｎに比率パラメータＲｎを乗じて、拡張量子化パラメータＱＥＰｎを算出する。パラメータ符号部３０５は、得られた拡張量子化パラメータＱＥＰｎと符号化モードとを再びエントロピ符号化する（Ｓ１１３）。そして、符号化されたデータを出力する（Ｓ１１４）。
以上の工程により、比率パラメータ生成部３００は、拡張量子化係数ＱＥｎの符号化データと、拡張量子化パラメータＱＥＰｎの符号化データとを生成する。

［拡張画像復号処理（Ｓ１６０）］
復号中核部４００は、生成された拡張量子化係数ＱＥｎの符号化データ、拡張量子化パラメータＱＥＰｎの符号化データ及び符号化モードに基づいて、第ｊ拡張画像を生成する（Ｓ１６０）。

まず、エントロピ復号部４０１は、拡張量子化係数ＱＥｎの符号化データと、拡張量子化パラメータＱＥＰｎの符号化データと、符号化モードの符号化データとをエントロピ復号し、拡張量子化係数ＱＥｎと、拡張量子化パラメータＱＥＰｎと、符号化モードとを生成する（Ｓ１１５）。続いて、逆量子化部４０２は、拡張量子化係数ＱＥｎと、拡張量子化パラメータＱＥＰｎと、符号化モードとに基づいて逆量子化し、第ｊ拡張画像の変換符号化係数を生成する（Ｓ１１６）。その後、ステップＳ１０６及び１０７と同様に、第ｊ拡張画像の変換符号化係数を逆離散コサイン変換し（Ｓ１１７）、インター予測モードを採用したマクロブロックＭｎに対しては予測信号を生成し、合成する（Ｓ１１８）。以上の工程により第ｊ拡張画像を生成し、外部に出力する（Ｓ１１９）。
以上の方法により、復号装置２は、基本画像処理部ＢＬＤの抽出部５００及びエントロピ復号部５０１での処理と、所望の品質に対応する第ｊ拡張画像復号部ＥＬＤｊでの処理を実行すれば、所望の品質の第ｊ拡張画像を得ることができる。

従前のスケーラブル符号化機能では、比率パラメータＲｎを用いず、第１〜第ｊ拡張画像に利用する拡張量子化パラメータＱＥＰｎが、それぞれ独立して利用される。そのため、第ｊ拡張画像を復号する場合、基本画像復号部ＢＬＤと、第１〜第ｊ拡張画像処理部ＥＬＤ１〜ＥＬＤｊの全てにおいて復号処理を実行し、再生された画像を合成しなければ第ｊ拡張画像を得ることができない。

これに対して、本実施の形態による復号装置２は、上述のとおり、基本画像復号部ＢＬＤの抽出部５００及びエントロピ復号部５０１での処理と、所望の品質に対応する第ｊ拡張画像復号部ＥＬＤｊでの処理を実行すれば、所望の品質の第ｊ拡張画像を得ることができる。そのため、復号装置２の復号処理は軽減される。

上述の実施の形態では、符号化装置１での処理において、拡張画像処理部ＥＬＥｊが残差データを算出したが、残差データを求めなくでもよい。この場合、拡張画像処理部ＥＬＥｊは、図７の残差データ以外の符号化データを出力する。このとき、復号装置２は、基本量子化係数ＱＢｎに比率パラメータＲｎを乗じて、拡張量子化係数ＱＥｎを算出する。また、拡張画像処理部ＥＬＥｊは、ＣＡＳＥ１又は／及びＣＡＳＥ２を実施しなくてもよい。

２．第２の実施の形態
第１の実施の形態では、符号装置１内の第ｊ拡張画像処理部ＥＬＥｊは、マクロブロックＭｎ〜Ｍｎごとに比率パラメータＲｎを設定した。しかしながら、画像の所定領域に含まれる複数のマクロブロックＭｎの比率パラメータＲｎが互いに近似している場合、その領域内の比率パラメータＲｎを平準化してもよい。この場合、領域内の複数のマクロブロックＭｎに対して１つの代表比率パラメータＲａｎが設定される。そのため、１つの代表比率パラメータＲａｎの値を調整すれば、領域内の画像品質を容易に調整できる。

平準比率パラメータＲａｎの設定は、図２中の比率算出部３２により実行される。以下、第２の実施の形態における符号装置１の動作の詳細を説明する。

[符号装置の動作]
図１０を参照して、ステップＳ１〜Ｓ８までの動作は図６と同じである。ステップＳ８で各マクロブロックＭｎの比率パラメータＲｎを算出した後、比率算出部３２はさらに、比率パラメータＲｎが近似するマクロブロックＭｎ群で構成される領域を検索する（Ｓ２１）。具体的には、比率算出部３２は、領域内の各マクロブロックＭｎの比率パラメータＲｎの最大値と最小値との差が所定マージンＭＸ以内となる領域（マクロブロック群）を特定する。マージンＭＸはユーザ操作に応じて設定可能である。マージンＭＸの小さく設定すれば、領域の範囲は小さくなるし、マージンＭＸを大きく設定すれば、マクロブロックＭ１〜Ｍｎ全体が１つの領域となる。また、マージンＭＸの設定によっては、領域が複数発生する。

ステップＳ２１での検索の結果、領域が存在しなければ（Ｓ２２でＮＯ）、ステップＳ９に進み、以降は図６と同じ動作を実行する。一方、領域が存在する場合（Ｓ２２でＹＥＳ）、領域ごとに代表比率パラメータＲａｎを決定する（Ｓ２３）。代表比率パラメータＲａｎは以下の方法で決定する。領域内の複数のマクロブロックＭｎの比率パラメータＲｎをヒストグラム化する。そして、作成されたヒストグラムのうち、頻度の高い値を代表比率パラメータＲａｎに決定する。たとえば、ステップＳ２１で検索された領域が１０個のマクロブロックＭ１〜Ｍ１０を含み、各マクロブロックＭ１〜Ｍ１０の比率パラメータＲｎ１〜Ｒｎ１０の値が図１１に示すとおりである場合、比率パラメータＲｎ１〜Ｒｎ１０の値のうち、最も頻度の高い値である「０．８５」を代表比率パラメータＲａｎに決定する。また、最も頻度の高い値に代えて、比率パラメータＲ１〜Ｒ１０の平均値（図１０では、「０．８４」）を代表比率パラメータに決定してもよい。

代表比率パラメータＲａｎを決定後、領域内の各マクロブロックＭｎの比率パラメータＲｎを平準比率パラメータＲａｎに変更する（Ｓ２４）。ステップＳ２４以降の動作は図６と同じである。なお、ステップＳ１６で拡張画像処理部ＥＬＥｊから出力される符号化データは、図７に示す情報に加えて、代表比率パラメータが適用される領域内のマクロブロックＭｎを特定するための情報（代表比率パラメータ適用領域情報）を含む。

［復号装置の動作］
復号装置２は、図９に示す動作を実行する。これにより、領域内のマクロブロックＭｎの拡張量子化係数ＱＥｎ及び拡張量子化パラメータＱＥＰｎの生成については、代表比率パラメータが利用される。なお、代表比率パラメータ適用領域情報を利用すれば、復号装置２で代表比率パラメータを変更し、代表比率パラメータが適用される領域内の画像品質を変更することができる。

品質指定部２０２は、ユーザ操作に基づく代表比率パラメータの設定変更要求を受けたとき、代表比率パラメータの設定変更要求を合成部３０４に送信する。設定変更要求には、代表比率パラメータの変更条件が含まれる。合成部３０４は、代表比率パラメータ適用領域情報を参照して領域内のマクロブロックＭｎを特定する。そして、特定されたマクロブロックＭｎの比率パラメータ（これらの比率パラメータは、ステップＳ２４で代表比率パラメータに変更されている）を設定変更要求内の変更条件に応じて変更する。変更後、拡張量子化係数ＱＥｎ及び拡張量子化パラメータＱＥＰｎを生成する。

以上の動作により、領域内の比率パラメータを１つの代表比率パラメータＲａｎに設定できる。たとえば、ステップＳ２１で検索された領域に、画像を構成する全てのマクロブロックＭ１〜Ｍｎが含まれる場合、拡張画像全体に対して１つの代表比率パラメータＲａｎが設定される。この場合、たとえば、復号装置２において、ユーザ操作により代表比率パラメータを変更すれば、拡張画像全体の品質を容易に変更することができる。

また、上述の例では、複数のマクロブロックＭｎの比率パラメータＲｎの差分が所定のマージンＭＸ内となる領域を特定したが、代表比率パラメータを利用する領域を初めから決めておいてもよい。たとえば、画像内で横一列に配列された複数のマクロブロック群（スライス）を領域に予め設定していても良い。また、複数のスライス群を領域に設定していてもよい。つまり、領域を一次元的（一列のマクロブロック群）又は二次元的（複数のスライス群）に予め設定してもよい。この場合、図１０中のステップＳ２１をスキップして、予め設定された領域の代表比率パラメータをステップＳ２３で決定する。

３．第３の実施の形態
拡張画像内の特定のオブジェクト、たとえば、画像内の人物や特定物に対して、代表比率パラメータＲａｎを利用してもよい。具体的には、画像内でオブジェクトが占める領域を、周知のオブジェクト抽出方法で特定する。周知のオブジェクト抽出方法とはたとえば、領域分割法である。画像内の特定のオブジェクトに対して代表比率パラメータＲａｎを利用すれば、特定のオブジェクトの品質を、画像内の他の部分と分けて調整することができる。

このようなオブジェクト領域の特定やオブジェクト領域の代表比率パラメータＲａｎの算出は、図２に示す符号装置１の比率算出部３２により実行される。

［符号装置の動作］
本実施の形態による符号装置の動作は次のとおりである。図１２を参照して、ステップＳ１〜Ｓ８までの動作は図６と同じである。ステップＳ８で拡張画像の各マクロブロックＭ１〜Ｍｎの比率パラメータＲ１〜Ｒｎを決定後、比率算出部３２は、オブジェクト領域の特定処理を実行する（Ｓ３２）。比率算出部３２はたとえば、領域分割法に基づいてオブジェクト領域を特定する。そして、特定されたオブジェクト領域内のマクロブロックＭｎの比率パラメータＲｎをヒストグラム化し、最も頻度の高い値を、オブジェクト領域の代表比率パラメータＲａｎに決定する（Ｓ３３）。特定されたオブジェクト領域が複数存在する場合、比率算出部３２は、オブジェクト領域ごとに代表比率パラメータＲａを決定する。比率算出部３２は、オブジェクト領域内のマクロブロックＭｎの比率パラメータＲｎを、代表比率パラメータに変更する（Ｓ３４）。ステップＳ３４以降の動作は図６と同じである。なお、第２の実施の形態と同様に、ステップＳ１６で拡張画像処理部ＥＬＥｊから出力される符号化データは、図７に示す情報に加えて、代表比率パラメータが適用される領域内のマクロブロックＭｎを特定するための情報（代表比率パラメータ適用領域情報）を含む。

復号装置の動作は第２の実施の形態と同じである。この動作により、第ｊ拡張画像内の特定のオブジェクトの品質のみを容易に変更できる。

以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。

１ 符号装置
２ 復号装置
２０ 符号化中核部
２２ 予想符号化部
２３ 変換符号部
２４ 量子化部
２５ エントロピ符号化部
２６，５６ 符号化モード決定部
３０ 比率パラメータ生成部
３２ 比率算出部
３３ 最適化処理部
５０ 符号化中核部
５１ 画像入力部
５２ 予測符号化部
５３ 変換符号化部
５４ 量子化部
５５ エントロピ符号化部
１００ 画像配信システム
３００ 比率パラメータ生成部
３０４ 合成部
４００ 復号中核部
４０１，５０１ エントロピ復号部
４０２，５０２ 逆量子化部
４０３，５０３ 逆変換部
４０４，５０４ 予測生成部

Claims (18)

1. スケーラブル符号化処理を実行可能な符号装置と復号装置とを備えた画像配信システムであって、
   前記符号装置は、
   複数のマクロブロックに分割された画像を用いて基本画像を符号化する基本画像処理手段と、
   前記画像を用いて前記基本画像よりも上層の拡張画像を符号化する拡張画像処理手段とを備え、
   前記基本画像処理手段は、
   前記マクロブロックごとに設定された複数の基本量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記基本画像の量子化係数を生成する基本量子化手段を備え、
   前記拡張画像処理手段は、
   前記マクロブロックごとに設定された複数の拡張量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記拡張画像の量子化係数を生成する拡張量子化手段と、
   前記基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを決定する比率決定手段とを備え、
   前記符号装置はさらに、
   前記基本画像の量子化係数と、前記基本量子化パラメータと、前記比率パラメータとを符号化し、符号化データを出力する符号化手段を備え、
   前記復号装置は、
   前記基本画像の量子化係数と、前記比率パラメータとに基づいて前記拡張画像の量子化係数を生成し、前記基本量子化パラメータと前記比率パラメータとに基づいて前記拡張量子化パラメータを生成する拡張生成手段と、
   前記拡張量子化パラメータに基づいて、前記拡張画像の量子化係数を逆量子化する逆量子化手段と、
   前記逆量子化された拡張画像を逆変換して前記拡張画像を再生する逆変換手段とを備えることを特徴とする画像配信システム。
2. 請求項１に記載の画像配信システムであって、
   前記拡張画像処理手段はさらに、
   前記基本画像の量子化係数と前記比率パラメータとに基づいて決定される量子化係数を求め、前記求めた量子化係数と前記基本画像の量子化係数との差分である残差データを求める残差決定手段を備え、
   前記符号化手段はさらに、前記残差データの符号化データを出力し、
   前記拡張生成手段は、前記基本画像の量子化係数と、前記比率パラメータと、前記残差データとに基づいて前記拡張画像の量子化係数を生成することを特徴とする画像配信システム。
3. 請求項２に記載の画像配信システムであって、
   前記残差決定手段はさらに、
   前記各マクロブロック内において、前記比率パラメータが利用される領域を示す複数の領域パターンごとに前記量子化係数を求め、前記残差データを前記領域パターンごとに求め、前記求めた残差データのうち最小の残差データとなる領域パターンを選択し、
   前記符号化手段は、前記選択された領域パターンに関する情報及び選択された領域パターンで求められた残差データの符号化データを出力し、
   前記拡張生成手段は、前記基本画像の量子化係数と、前記比率パラメータと、前記残差データと、前記選択された領域パターンとに基づいて、前記拡張画像の量子化係数を生成することを特徴とする画像配信システム。
4. 請求項２に記載の画像配信システムであって、
   前記基本量子化手段はさらに、
   前記求めた残差データが所定値よりも大きい場合、前記基本量子化パラメータを変更して前記基本画像の量子化係数を再び生成し、
   前記比率決定手段は、前記変更された基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを再び求め、
   前記残差決定手段は、再び量子化された基本画像の量子化係数及び再び求められた比率パラメータに基づいて残差データを求め、
   前記符号化手段は、前記求めた残差データが所定値よりも小さい場合、前記残差データの符号化データを出力することを特徴とする画像配信システム。
5. 請求項２に記載の画像配信システムであって、
   前記拡張量子化手段はさらに、
   前記求めた残差データが所定値よりも大きい場合、前記拡張量子化パラメータを変更して前記拡張画像の量子化係数を再び生成し、
   前記比率決定手段は、前記変更された拡張量子化パラメータに基づいて前記比率パラメータを再び求め、
   前記残差決定手段は、量子化された基本画像の量子化係数及び再び求められた比率パラメータに基づいて残差データを求め、
   前記符号化手段は、前記求めた残差データが所定値よりも小さい場合、前記残差データの符号化データを出力することを特徴とする画像配信システム。
6. 請求項１に記載の画像配信システムであって、
   前記拡張画像処理手段はさらに、
   前記マクロブロックごとに決定された複数の比率パラメータに基づいて、代表比率パラメータを決定する代表決定手段を備え、
   前記符号化手段は、前記基本画像の量子化係数と、前記基本量子化パラメータと、前記代表比率パラメータとを符号化して符号化データを出力し、
   前記拡張生成手段は、前記基本画像の量子化係数と、前記代表比率パラメータとに基づいて、前記拡張画像の量子化係数を生成し、前記基本量子化パラメータと前記代表比率パラメータとに基づいて、前記拡張量子化パラメータを生成することを特徴とする画像配信システム。
7. 請求項６に記載の画像配信システムであって、
   前記拡張画像処理手段はさらに、
   前記複数のマクロブロックのうち、所定の領域内の複数のマクロブロックを特定する特定手段を備え、
   前記代表決定手段は、前記特定された複数のマクロブロックに対応する複数の比率パラメータに基づいて、代表比率パラメータを決定し、
   前記符号化手段はさらに、前記特定されたマクロブロックに関する領域情報を符号化し、
   前記拡張生成手段は、前記基本画像の量子化係数と、前記基本量子化パラメータと、前記領域情報と、前記代表比率パラメータとに基づいて、前記拡張画像の量子化係数を生成することを特徴とする画像配信システム。
8. 請求項１〜請求項７のいずれか１項に記載の画像配信システムであって、
   前記基本画像処理手段はさらに、
   所定の符号化モードに応じて、前記画像を前記マクロブロックごとに予測符号化する基本予測符号化手段を備え、
   前記拡張画像処理手段はさらに、
   前記基本予測符号化処理で利用された符号化モードと同じ符号化モードに応じて、前記画像を前記マクロブロックごとに予測符号化する拡張予測符号化手段を備えることを特徴とする画像配信システム。
9. スケーラブル符号化処理を実行可能な符号装置であって、
   複数のマクロブロックに分割された画像を用いて基本画像を符号化する基本画像処理手段と、
   前記画像を用いて前記基本画像よりも上層の拡張画像を符号化する拡張画像処理手段とを備え、
   前記基本画像処理手段は、
   前記マクロブロックごとに設定された複数の基本量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記基本画像の量子化係数を生成する基本量子化手段を備え、
   前記拡張画像処理手段は、
   前記マクロブロックごとに設定された複数の拡張量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記拡張画像の量子化係数を生成する拡張量子化手段と、
   前記基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを決定する比率決定手段とを備え、
   前記符号装置はさらに、
   前記基本画像の量子化係数と、前記基本量子化パラメータと、前記比率パラメータとを符号化し、符号化データを出力する符号化手段を備えることを特徴とする符号装置。
10. 請求項９に記載の符号装置であって、
    前記拡張画像処理手段はさらに、
    前記基本画像の量子化係数と前記比率パラメータとに基づいて決定される量子化係数を求め、前記求めた量子化係数と前記基本画像の量子化係数との差分である残差データを求める残差決定手段を備え、
    前記符号化手段はさらに、前記残差データの符号化データを出力することを特徴とする符号装置
11. 請求項１０に記載の符号装置であって、
    前記残差決定手段はさらに、
    前記各マクロブロック内において、前記比率パラメータが利用される領域を示す複数の領域パターンごとに前記量子化係数を求め、前記残差データを前記領域パターンごとに求め、前記求めた残差データのうち最小の残差データとなる領域パターンを選択し、
    前記符号化手段は、前記選択された領域パターンに関する情報及び選択された領域パターンで求められた残差データの符号化データを出力することを特徴とする符号装置。
12. 請求項１０に記載の符号装置であって、
    前記基本量子化手段はさらに、
    前記求めた残差データが所定値よりも大きい場合、前記基本量子化パラメータを変更して前記基本画像の量子化係数を再び生成し、
    前記比率決定手段は、前記変更された基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを再び求め、
    前記残差決定手段は、再び量子化された基本画像の量子化係数及び再び求められた比率パラメータに基づいて残差データを求め、
    前記符号化手段は、前記求めた残差データが所定値よりも小さい場合、前記残差データの符号化データを出力することを特徴とする符号装置。
13. 請求項１０に記載の符号装置であって、
    前記拡張量子化手段はさらに、
    前記求めた残差データが所定値よりも大きい場合、前記拡張量子化パラメータを変更して前記拡張画像の量子化係数を再び生成し、
    前記比率決定手段は、前記変更された拡張量子化パラメータに基づいて前記比率パラメータを再び求め、
    前記残差決定手段は、量子化された基本画像の量子化係数及び再び求めた比率パラメータに基づいて残差データを求め、
    前記符号化手段は、前記求めた残差データが所定値よりも小さい場合、前記残差データの符号化データを出力することを特徴とする符号装置。
14. 請求項９に記載の符号装置であって、
    前記拡張画像処理手段はさらに、
    前記マクロブロックごとに決定された複数の比率パラメータに基づいて、代表比率パラメータを決定する代表決定手段を備え、
    前記符号化手段は、前記基本画像の量子化係数と、前記基本量子化パラメータと、前記代表比率パラメータとを符号化して符号化データを出力することを特徴とする符号装置。
15. 請求項１４に記載の符号装置であって、
    前記拡張画像処理手段はさらに、
    前記複数のマクロブロックのうち、所定の領域内の複数のマクロブロックを特定する特定手段を備え、
    前記代表決定手段は、前記特定された複数のマクロブロックに対応する複数の比率パラメータに基づいて、代表比率パラメータを決定し、
    前記符号化手段はさらに、前記特定されたマクロブロックに関する領域情報を符号化することを特徴とする符号装置。
16. スケーラブル符号化処理を実行可能な符号装置から配信された符号化データを復号する復号装置であって、
    前記符号化データは、画像を構成する複数のマクロブロックごとに設定された基本量子化パラメータに基づいて量子化された基本画像の量子化係数と、前記基本量子化パラメータと、前記基本画像よりも上層の拡張画像の量子化に利用される拡張量子化パラメータと前記基本量子化パラメータとの比率に関する比率パラメータとを含み、
    前記復号装置は、
    前記符号化データを受信する受信手段と、
    前記符号データ内の前記基本画像の量子化係数と、前記比率パラメータとに基づいて前記拡張画像の量子化係数を生成し、前記基本量子化パラメータと前記比率パラメータとに基づいて前記拡張量子化パラメータを生成する拡張生成手段と、
    前記拡張量子化パラメータに基づいて、前記拡張画像の量子化係数を逆量子化する逆量子化手段と、
    前記逆量子化された拡張画像を逆変換して前記拡張画像を再生する逆変換手段とを備えることを特徴とする復号装置。
17. コンピュータに実行させる符号化プログラムであって、
    複数のマクロブロックに分割された画像を用いて基本画像を符号化する基本画像処理ステップと、
    前記基本画像よりも上層の拡張画像を符号化する拡張画像処理ステップとを備え、
    前記基本画像処理ステップは、
    前記マクロブロックごとに設定された複数の基本量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記基本画像の量子化係数を生成するステップを備え、
    前記拡張画像処理ステップは、
    前記マクロブロックごとに設定された複数の拡張量子化パラメータに基づいて、前記画像をマクロブロックごとに量子化して前記拡張画像の量子化係数を生成するステップと、
    前記基本量子化パラメータと拡張量子化パラメータとの比率に関する比率パラメータを決定するステップとを備え、
    前記符号化プログラムはさらに、
    前記基本画像の量子化係数と、前記基本量子化パラメータと、前記比率パラメータとを符号化し、符号化データを出力するステップとを備えることを特徴とする符号化プログラム。
18. スケーラビリティ符号化処理を実行可能な符号装置から配信された符号化データを復号する復号装置に搭載されたコンピュータに実行させる復号プログラムであって、
    前記符号化データは、画像を構成する複数のマクロブロックごとに設定された基本量子化パラメータに基づいて量子化された基本画像の量子化係数と、前記基本量子化パラメータと、前記基本画像よりも上層の拡張画像の量子化に利用される拡張量子化パラメータと前記基本量子化パラメータとの比率に関する比率パラメータとを含み、
    前記復号プログラムは、
    前記符号化データを受信するステップと、
    前記符号データ内の前記基本画像の量子化係数と、前記比率パラメータとに基づいて前記拡張画像の量子化係数を生成し、前記基本量子化パラメータと前記比率パラメータとに基づいて前記拡張量子化パラメータを生成するステップと、
    前記拡張量子化パラメータに基づいて、前記拡張画像の量子化係数を逆量子化するステップと、
    前記逆量子化された拡張画像を逆変換して前記拡張画像を再生するステップとを前記コンピュータに実行させる復号プログラム。

Images