JP2010177828A - スケーラブル画像符号化方法、スケーラブル画像符号化装置、スケーラブル画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、Ｈ．２６４／ＡＶＣのＳＶＣのＣＧＳの枠組みにおいて、興味領域に対応した画質スケーラビリティを実現する新たな符号化技術の提供を目的とする。
【解決手段】興味領域についての符号化情報を、基本階層と最下位拡張階層を起点とする１つ又は複数の下位側拡張階層の符号化情報とする構成を採り、さらに、その構成に従って下位側拡張階層よりも上位の拡張階層が不要となることで、非興味領域との間で拡張階層の数が合わなくなるのを防ぐために、その不要となった上位の拡張階層の符号化情報として、符号化情報がないことを示す符号量最小のスキップ情報を割り当てる構成を採り、さらに、下位側拡張階層における興味領域と非興味領域との間に強弱を与えるために、非興味領域における下位側拡張階層の符号化情報として、符号化情報がないことを示す符号量最小のスキップ情報を割り当てる構成を採る。
【選択図】図３

Description

本発明は、動画像や静止画像を階層的に符号化するスケーラブル画像符号化方法およびその装置と、そのスケーラブル画像符号化方法の実現に用いられるスケーラブル画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、Ｈ．２６４／ＡＶＣのスケーラブル拡張方式ＳＶＣのＣＧＳの枠組みにおいて、興味領域に対応した画質スケーラビリティを実現するスケーラブル画像符号化方法およびその装置と、そのスケーラブル画像符号化方法の実現に用いられるスケーラブル画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

映像表示環境の多様化を背景にして、Ｈ．２６４／ＡＶＣのスケーラブル拡張方式ＳＶＣが策定された。

ＳＶＣ(Scalable Video Coding）は、１解像度が１レイヤに対応したマルチレイヤ構造をとり、各レイヤで出力される符号化情報を多重化することで空間スケーラビリティを実現している。低解像度映像の処理レイヤを基本レイヤ、高解像度映像の処理レイヤを拡張レイヤと呼ぶ。基本レイヤでは、Ｈ．２６４／ＡＶＣ準拠の符号化処理を行い、拡張レイヤでは、Ｈ．２６４／ＡＶＣの予測機構にレイヤ間予測を追加した符号化処理を行う。ＳＶＣは、時間・空間・画質の３種類のスケーラブル機能を備えている。

一方、画質スケーラブル機能の応用の一つとして、ＲＯＩスケーラビリティ（ＲＯＩ：Regions of interest)が挙げられる（例えば、非特許文献１参照）。これは、フレーム内を興味領域（ＲＯＩ）と非興味領域とに分け、興味領域に対する優先度を上げることで、帯域変動時にも興味領域の画質を保持することを目的としている。

P.Yin, J.Boyce, P.Pandit, "FMO and ROI Scalability", JVT-Q029, Nice, France, October, 2005

ＳＶＣでは、画質スケーラビリティの実現方法として、Coase Grain Scalability （ＣＧＳ）とMedium Grain Scalability（ＭＧＳ）をサポートしている。しかし、ＳＶＣは復号方式を規定した標準であり、符号化方式については自由度がある。

一方、ＲＯＩの実現方法は符号化方式に関する内容である。これから、ＲＯＩの具体的な実現方法は、ＳＶＣの標準化では何も規定されていない。

本発明はかかる事情に鑑みてなされたものであって、ＳＶＣにおける画質スケーラビリティ処理（ＣＧＳ）において、ＳＶＣに与えられた規約の中でＲＯＩスケーラビリティを実現する新たなスケーラブル画像符号化技術の提供を目的とする。

〔１〕本発明の構成
〔１−１〕第１の構成
前記の目的を達成するために、第１の構成に従う本発明のスケーラブル画像符号化装置は、（１）興味領域についての符号化情報を、全て基本階層の符号化情報とする構成を採り、（２）さらに、その構成に従って、興味領域について、拡張階層が不要となることで、非興味領域との間で拡張階層の数が合わなくなるのを防ぐために、その不要となった拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報（符号量が最小の情報）を割り当てる構成を採る。

すなわち、第１の構成に従う本発明のスケーラブル画像符号化装置は、基本階層と拡張階層とからなり、符号化対象画像の画面内の拡張階層の数が分類クラスによらずに一定に設定するように定められるスケーラブル画像符号化で画像符号化を実行する場合に、（イ）画面内に含まれる興味領域を検出して、その検出結果に基づいて、画面内を興味領域と非興味領域とに分類する分類手段と、（ロ）分類手段の分類した興味領域について、スケーラブル画像符号化における最高画質までの符号化を基本階層で完了し、拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当てることで、興味領域についての符号化情報を生成する第１の符号化手段と、（ハ）分類手段の分類した非興味領域について、基本階層および拡張階層についての符号化をスケーラブル画像符号化で設定された符号化パラメータを用いて実行することで、非興味領域についての符号化情報を生成する第２の符号化手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明のスケーラブル画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔１−２〕第２の構成
前記の目的を達成するために、第２の構成に従う本発明のスケーラブル画像符号化装置は、（１）興味領域についての符号化情報を、基本階層と最下位拡張階層を起点とする１つ又は複数の下位側拡張階層の符号化情報とする構成を採り、（２）さらに、その構成に従って、興味領域について、下位側拡張階層よりも上位の拡張階層が不要となることで、非興味領域との間で拡張階層の数が合わなくなるのを防ぐために、その不要となった上位の拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報（符号量が最小の情報）を割り当てる構成を採る。

すなわち、第２の構成に従う本発明のスケーラブル画像符号化装置は、基本階層と拡張階層とからなり、符号化対象画像の画面内の拡張階層の数が分類クラスによらずに一定に設定するように定められるスケーラブル画像符号化で画像符号化を実行する場合に、（イ）画面内に含まれる興味領域を検出して、その検出結果に基づいて、画面内を興味領域と非興味領域とに分類する分類手段と、（ロ）分類手段の分類した興味領域について、基本階層についての符号化をスケーラブル画像符号化で設定された符号化パラメータを用いて実行するとともに、スケーラブル画像符号化における最高画質までの符号化を最下位拡張階層を起点とする１つ又は複数の下位側拡張階層で完了し、さらに、その下位側拡張階層よりも上位の拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当てることで、興味領域についての符号化情報を生成する第１の符号化手段と、（ハ）分類手段の分類した非興味領域について、基本階層および拡張階層についての符号化をスケーラブル画像符号化で設定された符号化パラメータを用いて実行することで、非興味領域についての符号化情報を生成する第２の符号化手段と備えるように構成する。

以上の各処理手段が動作することで実現される本発明のスケーラブル画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔１−３〕第３の構成
前記の目的を達成するために、第３の構成に従う本発明のスケーラブル画像符号化装置は、（１）興味領域についての符号化情報を、基本階層と最下位拡張階層を起点とする１つ又は複数の下位側拡張階層の符号化情報とする構成を採り、（２）さらに、その構成に従って、興味領域について、下位側拡張階層よりも上位の拡張階層が不要となることで、非興味領域との間で拡張階層の数が合わなくなるのを防ぐために、その不要となった上位の拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報（符号量が最小の情報）を割り当てる構成を採り、（３）さらに、下位側拡張階層における興味領域と非興味領域との間に第２の構成よりも大きな強弱を与えるために、非興味領域における下位側拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報（符号量が最小の情報）を割り当てる構成を採る。

すなわち、第３の構成に従う本発明のスケーラブル画像符号化装置は、基本階層と拡張階層とからなり、符号化対象画像の画面内の拡張階層の数が分類クラスによらずに一定に設定するように定められるスケーラブル画像符号化で画像符号化を実行する場合に、（イ）画面内に含まれる興味領域を検出して、その検出結果に基づいて、画面内を興味領域と非興味領域とに分類する分類手段と、（ロ）分類手段の分類した興味領域について、基本階層についての符号化をスケーラブル画像符号化で設定された符号化パラメータを用いて実行するとともに、スケーラブル画像符号化における最高画質までの符号化を最下位拡張階層を起点とする１つ又は複数の下位側拡張階層で完了し、さらに、その下位側拡張階層よりも上位の拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当てることで、興味領域についての符号化情報を生成する第１の符号化手段と、（ハ）分類手段の分類した非興味領域について、基本階層についての符号化をスケーラブル画像符号化で設定された符号化パラメータを用いて実行するとともに、下位側拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当て、さらに、下位側拡張階層よりも上位の拡張階層についての符号化をスケーラブル画像符号化で設定された符号化パラメータを用いて実行することで、非興味領域についての符号化情報を生成する第２の符号化手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明のスケーラブル画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２〕本発明の具体的な手法について
次に、このように構成される本発明の具体的な手法について説明する。

本発明では、slice skip（前述のスキップ情報）と呼ばれるシンタックスを利用する。slice skipは、slice-skip-flag によりslice 単位で指定される符号化モードである。slice-skip-flag ＝１の場合、ＤＣＴ係数・動きベクトルといった符号化情報は符号化ストリームには含まれず、slice header情報のみが伝送される。

本来、このシンタックスの導入目的は、複数のマクロブロックがＤＣＴ係数・動きベクトルなどの符号化情報を含まないskipやdirectといった符号化モードをとる場合に、複数のマクロブロックの符号化モードを一括して指定することにより符号量を削減することにある。

本発明では、このslice skipを利用することで、ＣＧＳにおいて、ＲＯＩスケーラビリティを効率的に実現する。以下、具体的手法について詳述する。

フレーム内の興味領域（ＲＯＩ）を検出し、フレーム内を興味領域と非興味領域とに分類する。例えば、興味領域としては、顔が映っている領域や移動物体の領域などがあげられる。ここで、興味領域の検出方法については外部から与えられるものとする。例えば、興味領域として顔領域を設定するのであれば、顔領域の検出方法については既に数多く提案されており、こうした従来手法を用いることが可能である。

なお、以下では、説明の簡単化のために、興味領域と非興味領域とが各々１つずつの場合を例にとり説明する。しかし、領域数が２個以上に増えた場合にも、本手法は同様に適用可能である。

領域検出の結果に基づき、興味領域に属する画素をslice-1 とし、非興味領域に属する画素をslice-2 とする。なお、例えば、slice の最小構成単位はマクロブロック（１６×１６画素のＹ信号、４×４画素のＣｂ信号、４×４画素のＣｒ信号からなる）であり、slice の分類はマクロブロック単位でなされる。

〔イ〕符号化モード設定方法１
以下に説明する量子化パラメータＱ_i についてはＱ₀ ≧Ｑ₁ ≧Ｑ₂ ≧Ｑ₃ ・・・・が成立し、量子化パラメータが小さいほど、量子化誤差が小さく、復号画像の画質が高いものとなる。

符号化モード設定方法１は、前述した第１の構成に相当するものであり、slice-1 （興味領域）に属するマクロブロックの情報を、全て基本階層の符号化情報とする方法である。

この場合、slice-1 の拡張階層の符号化データには、画質向上に寄与する情報は存在しない。しかし、ＳＶＣの規格において、拡張階層の数は、全slice に対して一定に設定するよう定められている。そこで、slice-1 の拡張階層の符号化データとして、最も発生符号量の少ないslice skipを割り当てることで、ＳＶＣの規格に従う形式の符号化ストリームを生成する。slice skipの場合、符号化ストリームに含まれるのはslice header情報のみであり、その符号量は、slice-skip-flag ＝１とする１ビットのフラグ情報を含めた数バイトの情報である。

一方、slice-2 （非興味領域）に対しては、基本階層と拡張階層に符号化情報を分散させる。

図１に、基本階層と１つの拡張階層からなる場合における具体例を示す。ここで、縦軸は符号量である。

Ｑ₀ を基本階層に対する量子化パラメータとし、Ｑ₁ を拡張階層に対する量子化パラメータとすると、基本階層と１つの拡張階層からなる場合、符号化モード設定方法１では、図１に示すように、slice-1 （興味領域）の基本階層については量子化パラメータをＱ₁ として、slice-2 （非興味領域）の拡張階層と同程度に小さくして符号化処理を行うことで高画質の復号画像を与えるようにし、拡張階層についてはslice skipを割り当てる。

一方、slice-2 （非興味領域）の基本階層については量子化パラメータをＱ₀ として符号化を行い、拡張階層については量子化パラメータをＱ₁ として符号化処理を行う。

図２に、基本階層と２つの拡張階層（下位拡張階層・上位拡張階層）からなる場合における具体例を示す。ここで、縦軸は符号量である。

Ｑ₀ を基本階層に対する量子化パラメータとし、Ｑ₁ を下位拡張階層に対する量子化パラメータとし、Ｑ₂ を上位拡張階層に対する量子化パラメータとすると、基本階層と２つの拡張階層からなる場合、符号化モード設定方法１では、図２に示すように、slice-1 （興味領域）の基本階層については量子化パラメータをＱ₂ として、slice-2 （非興味領域）の上位拡張階層と同程度に小さくして符号化処理を行うことで高画質の復号画像を与えるようにし、上位拡張階層および下位拡張階層についてはslice skipを割り当てる。

一方、slice-2 （非興味領域）の基本階層については量子化パラメータをＱ₀ として符号化を行い、下位拡張階層については量子化パラメータをＱ₁ として符号化を行い、上位拡張階層については量子化パラメータをＱ₂ として符号化処理を行う。

〔ロ〕符号化モード設定方法２
以下に説明する量子化パラメータＱ_i についてはＱ₀ ≧Ｑ₁ ≧Ｑ₂ ≧Ｑ₃ ・・・・が成立し、量子化パラメータが小さいほど、量子化誤差が小さく、復号画像の画質が高いものとなる。

符号化モード設定方法２は、前述した第３の構成に相当するものであり、slice-1 （興味領域）に属するマクロブロックの情報を、基本階層と最下位拡張階層を起点とする１つ又は複数の下位側拡張階層の符号化情報とし、さらに、下位側拡張階層における興味領域と非興味領域との間に大きな強弱を与えるために、非興味領域における下位側拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当てるという方法である。

〔ロ−１〕下位側拡張階層＝最下位拡張階層のみの場合
符号化モード設定方法２において、下位側拡張階層を最下位拡張階層のみとする構成を採ることが可能である。

この場合、slice-1 の上位の拡張階層の符号化データには、画質向上に寄与する情報は存在しない。しかし、ＳＶＣの規格において、拡張階層の数は、全slice に対して一定に設定するよう定められている。そこで、slice-1 の上位の拡張階層の符号化データとして、最も発生符号量の少ないslice skipを割り当てることで、ＳＶＣの規格に従う形式の符号化ストリームを生成する。slice skipの場合、符号化ストリームに含まれるのはslice header情報のみであり、その符号量は、slice-skip-flag ＝１とする１ビットのフラグ情報を含めた数バイトの情報である。

一方、slice-2 （非興味領域）に対しては、基本階層と拡張階層に符号化情報を分散させることを基本にして、その例外として、最下位の拡張階層についてはslice-1 （興味領域）との間で強弱を与えるためにslice skipを割り当てるようにする。

図３に、基本階層と３つの拡張階層（最下位拡張階層・中位拡張階層・最上位拡張階層）からなる場合における具体例を示す。ここで、縦軸は符号量である。

Ｑ₀ を基本階層に対する量子化パラメータとし、Ｑ₁ を最下位拡張階層に対する量子化パラメータとし、Ｑ₂ を中位拡張階層に対する量子化パラメータとし、Ｑ₃ を最上位拡張階層に対する量子化パラメータとすると、基本階層と３つの拡張階層からなる場合、符号化モード設定方法２では、図３に示すように、slice-1 （興味領域）の基本階層については量子化パラメータをＱ₀ として符号化を行い、最下位拡張階層については量子化パラメータをＱ₃ として、slice-2 （非興味領域）の最上位拡張階層と同程度に小さくして符号化処理を行うことで高画質の復号画像を与えるようにし、中位拡張階層および最上位拡張階層についてはslice skipを割り当てる。

一方、slice-2 （非興味領域）の基本階層については量子化パラメータをＱ₀ として符号化を行い、最下位拡張階層についてはslice-1 （興味領域）との間で強弱を与えるためにslice skipを割り当て、中位拡張階層については量子化パラメータをＱ₂ として符号化を行い、最上位拡張階層については量子化パラメータをＱ₃ として符号化処理を行う。

ここで、図３では、slice-2 （非興味領域）における最下位拡張階層に対してslice skipを割り当てるという構成を採ったが、前述した第２の構成に従う場合には、図４に示すように、通常通り、基本階層および２つの拡張階層についての符号化を、スケーラブル画像符号化で設定された符号化パラメータ（この場合は量子化パラメータＱ_0,Ｑ_1,Ｑ_2,Ｑ₃ ）を用いて実行する。

〔ロ−２〕下位側拡張階層＝最下位拡張階層＋それに続く拡張階層の場合
図３では、前述した下位側拡張階層を最下位拡張階層のみとする場合を示したが、この下位側拡張階層を最下位拡張階層とそれに続く拡張階層とすることも可能である。

図５に、基本階層と４つの拡張階層（最下位拡張階層・第２位拡張階層・第３位拡張階層・最上位拡張階層）からなり、かつ、slice-1 （興味領域）に属するマクロブロックの情報を、基本階層および２つの下位側の拡張階層の符号化情報とする場合の具体例を示す。

Ｑ₀ を基本階層に対する量子化パラメータとし、Ｑ₁ を最下位拡張階層に対する量子化パラメータとし、Ｑ₂ を第２位拡張階層に対する量子化パラメータとし、Ｑ₃ を第３位拡張階層に対する量子化パラメータとし、Ｑ₄ を最上位拡張階層に対する量子化パラメータとすると、基本階層と４つの拡張階層からなる場合、符号化モード設定方法２では、図５に示すように、slice-1 （興味領域）の基本階層については量子化パラメータをＱ₀ として符号化を行い、最下位拡張階層については量子化パラメータをＱ₃ として、slice-2 （非興味領域）の第３位拡張階層と同程度に小さくして符号化処理を行うことで高画質の復号画像を与えるようにし、第２位拡張階層については量子化パラメータをＱ₄ として、slice-2 （非興味領域）の最上位拡張階層と同程度に小さくして符号化処理を行うことで高画質の復号画像を与えるようにし、第３位拡張階層および最上位拡張階層についてはslice skipを割り当てる。

一方、slice-2 （非興味領域）の基本階層については量子化パラメータをＱ₀ として符号化を行い、最下位拡張階層および第２位拡張階層についてはslice-1 （興味領域）との間で強弱を与えるためにslice skipを割り当て、第３位拡張階層については量子化パラメータをＱ₃ として符号化を行い、最上位拡張階層については量子化パラメータをＱ₄ として符号化処理を行う。

ここで、図５では、slice-2 （非興味領域）における下位側拡張階層（最下位拡張階層・第２位拡張階層）に対してslice skipを割り当てるという構成を採ったが、前述した第２の構成に従う場合には、図６に示すように、通常通り、基本階層および４つの拡張階層についての符号化を、スケーラブル画像符号化で設定された符号化パラメータ（この場合は量子化パラメータＱ_0,Ｑ_1,Ｑ_2,Ｑ_3,Ｑ₄ ）を用いて実行する。

〔ハ〕興味領域検出方法
各フレームに対する興味領域の検出処理が演算量的に高負荷な場合、リアルタイム処理が要求されるアプリケーションでは、全フレームについての処理が行えず、処理のリアルタイム性を確保するためには、検出処理の対象となるフレーム数が制限される。例えば、顔検出処理では、高負荷処理を要求するため、リアルタイム処理が求められる場合、単位時間当たりに処理可能なフレーム数はフレームレート３０〔フレーム／秒〕を大きく下回る。

こうした場合、検出処理の対象から外れたフレームに対しては、符号化処理において、興味領域を検出する必要がある。

ここでは、入力されたフレームに対して、フレーム番号を表すインデックスをｔとし、ｔ＝Ｌ×ｍフレーム（ｍ：自然数）に対して、興味領域の検出処理が行われた場合、つまり、Ｌフレームに一枚、興味領域の検出処理が実施される場合を考える。このとき、ｔ＝Ｌ×ｍ＋ｎフレーム（ｎ＝１,....,Ｌ−１）に対する検出処理を以下に示す。なお、以下では、興味領域の検出処理が行われるｔ＝Ｌ×ｍフレームをアンカーフレームと呼び、それ以外のフレームを非アンカーフレームと呼ぶ。

アンカーフレーム（ｔ＝Ｌ×ｍフレーム）の興味領域内の各マクロブロックに対して、非アンカーフレーム（ｔ＝Ｌ×ｍ＋ｎフレーム）内において両ブロック間の差分絶対値和を最小化するブロック（１６×１６画素のＹ信号、４×４画素のＣｂ信号、４×４画素のＣｒ信号からなる）を検出する。両ブロック間を対応付ける情報として、両ブロックの座標位置の差を表す二次元ベクトル（対応付けベクトル）で表現する。

この処理により、アンカーフレームの興味領域内のマクロブロックと対応付けられた非アンカーフレーム内のブロックに対して、そのブロックの一部を含む位置にあるマクロブロックは、その非アンカーフレーム内における興味領域として、その非アンカーフレーム内におけるslice-1 に分類される。

非アンカーフレーム（ｔ＝Ｌ×ｍ＋ｎフレーム）内のslice-1 に属するマクロブロックに対しては、フレーム間予測の参照フレームをアンカーフレーム（ｔ＝Ｌ×ｍフレーム）とする。このフレーム間予測における動きベクトルを求める際、前記の対応付けベクトルの向きを逆転したベクトルを動きベクトル推定時の初期位置とする。その初期位置の周辺を対応付けベクトルの検出時よりも小さな範囲に対して、絶対値誤差和最小化を実現する動きベクトルを求める。これにより、対応付けベクトル検出時の計算結果を流用することで、演算量の増加を抑えることができる。

以上説明したように、本発明によれば、Ｈ．２６４／ＡＶＣのＳＶＣのＣＧＳの枠組みにおいて、ユーザが興味を持つ領域（興味領域）に対応した画質スケーラビリティを実現することができるようになる。

これから、本発明によれば、帯域が制限され、十分な符号量を割り当てることができない通信環境下であっても、ユーザが重要と考える領域の画質を確保することができるようになる。

しかも、本発明では、この実現にあたって、符号量が最小のslice skipを用いることから、少ないオーバヘットで、ユーザが興味を持つ領域（興味領域）に対応した画質スケーラビリティを実現することができるようになる。

本発明の処理の説明図である。 本発明の処理の説明図である。 本発明の処理の説明図である。 本発明の処理の説明図である。 本発明の処理の説明図である。 本発明の処理の説明図である。 本発明を具備するスケーラブル映像符号化装置の装置構成の一例である。 スケーラブル映像符号化部の実行するフローチャートである。 スケーラブル映像符号化部の実行するフローチャートである。 スケーラブル映像符号化部の実行するフローチャートである。 スケーラブル映像符号化部の実行するフローチャートである。 スケーラブル映像符号化部の実行するフローチャートである。 スケーラブル映像符号化部の実行するフローチャートである。

以下、実施の形態に従って本発明を詳細に説明する。

図７に、本発明を具備するスケーラブル映像符号化装置１の装置構成の一例を図示する。

この図に示すように、本発明のスケーラブル映像符号化装置１は、映像情報を入力する映像入力部１０と、映像入力部１０の入力した映像フレームに含まれる興味領域を検出する興味領域検出部１１と、興味領域検出部１１が連続する映像フレームについて興味領域を検出することができない場合に備えられて、興味領域検出部１１の検出した興味領域を使って補間処理を行うことで、興味領域検出部１１が検出対象としなかった映像フレームについて興味領域を検出する興味領域補間検出部１２と、興味領域検出部１１や興味領域補間検出部１２により興味領域の検出された映像フレームを入力として、その映像フレームを階層的に符号化するスケーラブル映像符号化部１３と、スケーラブル映像符号化部１３の生成した符号化情報を統合する符号化情報統合部１４とを備える。

本発明に特徴的な処理を行うスケーラブル映像符号化部１３は、基本階層の符号化処理を行う基本階層符号化部１３０と、拡張階層の符号化処理を行う拡張階層符号化部１３１と、基本階層および拡張階層の符号化処理で使用する量子化パラメータＱ_i （ｉ＝０〜Ｌ）を記憶して、基本階層符号化部１３０および拡張階層符号化部１３１に提供する量子化パラメータ記憶部１３２とを備える。

ここで、量子化パラメータ記憶部１３２の記憶する量子化パラメータＱ_i （ｉ＝０〜Ｌ）は、興味領域・非興味領域を区別しないで行われる通常のスケーラブル符号化で使用する量子化パラメータであり、結局のところ、非興味領域に対してのスケーラブル符号化で使用する量子化パラメータ（従来技術に従った設定された量子化パラメータ）である。

スケーラブル映像符号化部１３の備える基本階層符号化部１３０は、本発明を実現するために、興味領域の基本階層についての符号化処理を実行する興味領域基本階層符号化部１３００と、非興味領域の基本階層についての符号化処理を実行する非興味領域基本階層符号化部１３０１とを備える。

一方、スケーラブル映像符号化部１３の備える拡張階層符号化部１３１は、本発明を実現するために、slice skipを割り当てる処理を行うスキップモード割当部１３１００を有して、興味領域の拡張階層についての符号化処理を実行する興味領域拡張階層符号化部１３１０と、slice skipを割り当てる処理を行うスキップモード割当部１３１１０を有して、非興味領域の拡張階層についての符号化処理を実行する非興味領域拡張階層符号化部１３１１とを備える。

ここで、前述した第１の符号化手段は、興味領域基本階層符号化部１３００および興味領域拡張階層符号化部１３１０で構成されることになり、前述した第２の符号化手段は、非興味領域基本階層符号化部１３０１および非興味領域拡張階層符号化部１３１１で構成されることになる。

図８〜図１３に、このように構成されるスケーラブル映像符号化部１３の実行するフローチャートの一例を図示する。

次に、これらのフローチャートに従って、スケーラブル映像符号化部１３が本発明を実現すべく実行する処理について詳細に説明する。

〔１〕図２に示す符号化処理の実行
まず最初に、図８および図９のフローチャートに従って、図２で説明した符号化処理を実行する場合にスケーラブル映像符号化部１３が実行することになる処理について詳細に説明する。

スケーラブル映像符号化部１３は、符号化対象の映像フレームに対して図２で説明した符号化処理を実行する場合には、図８および図９のフローチャートに示すように、まず最初に、ステップＳ１０１で、符号化対象の映像フレームのどの領域が興味領域であるのかということについて示す興味領域の検出結果を読み込み、続くステップＳ１０２で、その興味領域の数Ｎを読み込む。

すなわち、興味領域検出部１１や興味領域補間検出部１２により検出された興味領域の検出結果と、その興味領域の数Ｎとを読み込むのである。

続いて、ステップＳ１０３で、検出された興味領域のそれぞれをslice-1 からslice-N に対応付けるとともに、非興味領域（検出された興味領域以外のフレーム領域）をslice-N+1 に対応付け、続くステップＳ１０４で、設定された拡張階層数Ｌを読み込む。

続いて、ステップＳ１０５で、量子化パラメータ記憶部１３２から、非興味領域の基本階層および各拡張階層に対しての量子化パラメータＱ_i （ｉ＝０〜Ｌ）を読み込む。ここで、Ｑ₀ は基本階層に対しての量子化パラメータで、Ｑ_L は最上位の拡張階層に対しての量子化パラメータである。

続いて、ステップＳ１０６で、ｎ番目の興味領域であるslice-n を指定する変数ｎに初期値である１をセットして、そのslice-n （興味領域）に対して、以下に説明するステップＳ１０７〜ステップＳ１１１の処理を実行する。

すなわち、ステップＳ１０７で、slice-n の基本階層に対して、量子化パラメータをＱ_L として符号化処理を行う。slice-n （興味領域）の基本階層に対して、slice-N+1 （非興味領域）の最上位の拡張階層と同程度に量子化パラメータを小さくして、高画質の復号画像を与えるようにして符号化処理を行うのである。

続いて、ステップＳ１０８で、最下位の拡張階層から数えて何番目の拡張階層であるのを示す変数ｉに初期値である１（最下位の拡張階層を示す値）をセットする。

続いて、ステップＳ１０９で、slice-n の第ｉ位の拡張階層に対して、slice-skipモードを割り当てる。

続いて、ステップＳ１１０で、変数ｉの値がＬ以上となったのか否かを判断して、変数ｉの値がＬ以上となっていないことを判断するときには、ステップＳ１１１に進んで、変数ｉの値を１つインクリメントしてから、その１つ上の拡張階層に対してslice-skipモードを割り当てるべく、ステップＳ１０９の処理に戻る。

このようにして、ステップＳ１０７〜ステップＳ１１１の処理を実行することで、図２に示すような形で、slice-n （興味領域）に対しての符号化処理を実行するのである。

一方、ステップＳ１１０の判断処理で、変数ｉの値がＬ以上となったことを判断するときには、ステップＳ１１２に進んで、変数ｎの値がＮ以上となったのか否かを判断して、変数ｎの値がＮ以上となっていないことを判断するときには、ステップＳ１１３に進んで、変数ｎの値を１つインクリメントしてから、次のslice-n に対して符号化処理を実行すべく、ステップＳ１０７の処理に戻る。

このようにして、ステップＳ１０７〜ステップＳ１１３の処理を実行することで、全ての興味領域（slice-1 〜slice-N ）についての符号化処理を終了すると、slice-N+1 （非興味領域）の符号化処理に入って、ステップＳ１１４に進んで、基本階層から数えて何番目の階層（基本階層・拡張階層）であるのを示す変数ｉに初期値である０（基本階層を示す値）をセットする。

続いて、ステップＳ１１５で、slice-N+1 （非興味領域）の第ｉ位の拡張階層（但し、ｉ＝０は基本階層を示す）に対して、量子化パラメータをＱ_i として符号化処理を行う。すなわち、通常のスケーラブル符号化で用いられている量子化パラメータＱ_i を用いて符号化処理を行うのである。

続いて、ステップＳ１１６で、変数ｉの値がＬ以上となったのか否かを判断して、変数ｉの値がＬ以上となっていないことを判断するときには、ステップＳ１１７に進んで、変数ｉの値を１つインクリメントしてから、その１つ上の拡張階層に対してスケーラブル符号化を実行すべく、ステップＳ１１５の処理に戻る。

このようにして、ステップＳ１１５〜ステップＳ１１７の処理を実行することで、図２に示すような形で、slice-N+1 （非興味領域）に対しての符号化処理を実行するのである。

そして、ステップＳ１１６で、変数ｉの値がＬ以上となったことを判断するときには、符号化対象の映像フレームに対しての全ての符号化処理を終了したことを判断して、処理を終了する。

このようにして、スケーラブル映像符号化部１３は、図２に示すような形で符号化処理を行うことで、Ｈ．２６４／ＡＶＣのＳＶＣのＣＧＳの枠組みにおいて、ユーザが興味を持つ領域（興味領域）に対応した画質スケーラビリティを実現するように処理するのである。

〔２〕図３に示す符号化処理の実行
次に、図１０および図１１のフローチャートに従って、図３で説明した符号化処理を実行する場合にスケーラブル映像符号化部１３が実行することになる処理について詳細に説明する。

スケーラブル映像符号化部１３は、符号化対象の映像フレームに対して図３で説明した符号化処理を実行する場合には、図１０および図１１のフローチャートに示すように、まず最初に、ステップＳ２０１で、符号化対象の映像フレームのどの領域が興味領域であるのかということについて示す興味領域の検出結果を読み込み、続くステップＳ２０２で、その興味領域の数Ｎを読み込む。

すなわち、興味領域検出部１１や興味領域補間検出部１２により検出された興味領域の検出結果と、その興味領域の数Ｎとを読み込むのである。

続いて、ステップＳ２０３で、検出された興味領域のそれぞれをslice-1 からslice-N に対応付けるとともに、非興味領域（検出された興味領域以外のフレーム領域）をslice-N+1 に対応付け、続くステップＳ２０４で、設定された拡張階層数Ｌを読み込む。

続いて、ステップＳ２０５で、量子化パラメータ記憶部１３２から、非興味領域の基本階層および各拡張階層に対しての量子化パラメータＱ_i （ｉ＝０〜Ｌ）を読み込む。ここで、Ｑ₀ は基本階層に対しての量子化パラメータで、Ｑ_L は最上位の拡張階層に対しての量子化パラメータである。

続いて、ステップＳ２０６で、ｎ番目の興味領域であるslice-n を指定する変数ｎに初期値である１をセットして、そのslice-n （興味領域）に対して、以下に説明するステップＳ２０７〜ステップＳ２１２の処理を実行する。

すなわち、ステップＳ２０７で、slice-n の基本階層に対して、量子化パラメータをＱ₀ として符号化処理を行う。

続いて、ステップＳ２０８で、slice-n の最下位の拡張階層に対して、量子化パラメータをＱ_L として符号化処理を行う。slice-n （興味領域）の最下位の拡張階層に対して、slice-N+1 （非興味領域）の最上位の拡張階層と同程度に量子化パラメータを小さくして、高画質の復号画像を与えるようにして符号化処理を行うのである。

続いて、ステップＳ２０９で、最下位の拡張階層から数えて何番目の拡張階層であるのを示す変数ｉに初期値である２（最下位の拡張階層の１つ上の拡張階層を示す値）をセットする。

続いて、ステップＳ２１０で、slice-n の第ｉ位の拡張階層に対して、slice-skipモードを割り当てる。

続いて、ステップＳ２１１で、変数ｉの値がＬ以上となったのか否かを判断して、変数ｉの値がＬ以上となっていないことを判断するときには、ステップＳ２１２に進んで、変数ｉの値を１つインクリメントしてから、その１つ上の拡張階層に対してslice-skipモードを割り当てるべく、ステップＳ２１０の処理に戻る。

このようにして、ステップＳ２０７〜ステップＳ２１２の処理を実行することで、図３に示すような形で、slice-n （興味領域）に対しての符号化処理を実行するのである。

一方、ステップＳ２１１の判断処理で、変数ｉの値がＬ以上となったことを判断するときには、ステップＳ２１３に進んで、変数ｎの値がＮ以上となったのか否かを判断して、変数ｎの値がＮ以上となっていないことを判断するときには、ステップＳ２１４に進んで、変数ｎの値を１つインクリメントしてから、次のslice-n に対して符号化処理を実行すべく、ステップＳ２０７の処理に戻る。

このようにして、ステップＳ２０７〜ステップＳ２１４の処理を実行することで、全ての興味領域（slice-1 〜slice-N ）についての符号化処理を終了すると、slice-N+1 （非興味領域）の符号化処理に入って、ステップＳ２１５に進んで、slice-N+1 （非興味領域）の基本階層に対して、量子化パラメータをＱ₀ として符号化処理を行う。

続いて、ステップＳ２１６で、slice-N+1 （非興味領域）の最下位の拡張階層に対して、slice-skipモードを割り当てる。

続いて、ステップＳ２１７で、最下位の拡張階層から数えて何番目の拡張階層であるのを示す変数ｉに初期値である２（最下位の拡張階層の１つ上の拡張階層を示す値）をセットする。

続いて、ステップＳ２１８で、slice-N+1 （非興味領域）の第ｉ位の拡張階層に対して、量子化パラメータをＱ_i として符号化処理を行う。すなわち、通常のスケーラブル符号化で用いられている量子化パラメータＱ_i を用いて符号化処理を行うのである。

続いて、ステップＳ２１９で、変数ｉの値がＬ以上となったのか否かを判断して、変数ｉの値がＬ以上となっていないことを判断するときには、ステップＳ２２０に進んで、変数ｉの値を１つインクリメントしてから、その１つ上の拡張階層に対してスケーラブル符号化を実行すべく、ステップＳ２１８の処理に戻る。

このようにして、ステップＳ２１５〜ステップＳ２２０の処理を実行することで、図３に示すような形で、slice-N+1 （非興味領域）に対しての符号化処理を実行するのである。

そして、ステップＳ２１９で、変数ｉの値がＬ以上となったことを判断するときには、符号化対象の映像フレームに対しての全ての符号化処理を終了したことを判断して、処理を終了する。

このようにして、スケーラブル映像符号化部１３は、図３に示すような形で符号化処理を行うことで、Ｈ．２６４／ＡＶＣのＳＶＣのＣＧＳの枠組みにおいて、ユーザが興味を持つ領域（興味領域）に対応した画質スケーラビリティを実現するように処理するのである。

ここで、図３では、slice-N+1 （非興味領域）における最下位拡張階層に対してslice skipを割り当てるという構成を採ったが、図４に示すように、通常通り、基本階層および拡張階層についての符号化をスケーラブル符号化で設定された符号化パラメータを用いて実行するようにすることも可能である。

〔３〕図５に示す符号化処理の実行
次に、図１２および図１３のフローチャートに従って、図５で説明した符号化処理を実行する場合にスケーラブル映像符号化部１３が実行することになる処理について詳細に説明する。

スケーラブル映像符号化部１３は、符号化対象の映像フレームに対して図５で説明した符号化処理を実行する場合には、図１２および図１３のフローチャートに示すように、まず最初に、ステップＳ３０１で、符号化対象の映像フレームのどの領域が興味領域であるのかということについて示す興味領域の検出結果を読み込み、続くステップＳ３０２で、その興味領域の数Ｎを読み込む。

すなわち、興味領域検出部１１や興味領域補間検出部１２により検出された興味領域の検出結果と、その興味領域の数Ｎとを読み込むのである。

続いて、ステップＳ３０３で、検出された興味領域のそれぞれをslice-1 からslice-N に対応付けるとともに、非興味領域（検出された興味領域以外のフレーム領域）をslice-N+1 に対応付け、続くステップＳ３０４で、設定された拡張階層数Ｌおよび下位側拡張階層数Ｋを読み込む。ここで、下位側拡張階層数Ｋは、最下位の拡張階層を起点として、それに続く拡張階層で定義される下位側拡張階層の数を表している。

続いて、ステップＳ３０５で、量子化パラメータ記憶部１３２から、非興味領域の基本階層および各拡張階層に対しての量子化パラメータＱ_i （ｉ＝０〜Ｌ）を読み込む。ここで、Ｑ₀ は基本階層に対しての量子化パラメータで、Ｑ_L は最上位の拡張階層に対しての量子化パラメータである。

続いて、ステップＳ３０６で、ｎ番目の興味領域であるslice-n を指定する変数ｎに初期値である１をセットして、そのslice-n （興味領域）に対して、以下に説明するステップＳ３０７〜ステップＳ３１５の処理を実行する。

すなわち、ステップＳ３０７で、slice-n の基本階層に対して、量子化パラメータをＱ₀ として符号化処理を行う。

続いて、ステップＳ３０８で、最下位の拡張階層から数えて何番目の拡張階層であるのを示す変数ｊに初期値である１（最下位の拡張階層を示す値）をセットする。

続いて、ステップＳ３０９で、slice-n の第ｊ位の拡張階層に対して、量子化パラメータをＱ_L-(K-j) として符号化処理を行う。slice-n （興味領域）の第ｊ位の拡張階層に対して、slice-N+1 （非興味領域）の第Ｌ−（Ｋ−ｊ）位の拡張階層と同程度に量子化パラメータを小さくして、高画質の復号画像を与えるようにして符号化処理を行うのである。

続いて、ステップＳ３１０で、変数ｊの値がＫ以上となったのか否かを判断して、変数ｊの値がＫ以上となっていないことを判断するときには、ステップＳ３１１に進んで、変数ｊの値を１つインクリメントしてから、その１つ上の拡張階層に対して高画質の復号画像を与えるようにして符号化処理を行うべく、ステップＳ３０９の処理に戻る。

一方、ステップＳ３１０の判断処理で、変数ｊの値がＫ以上となったことを判断するときには、ステップＳ３１２に進んで、最下位の拡張階層から数えて何番目の拡張階層であるのを示す変数ｉに初期値であるＫ＋１（下位側拡張階層の１つ上の拡張階層を示す値）をセットする。

続いて、ステップＳ３１３で、slice-n の第ｉ位の拡張階層に対して、slice-skipモードを割り当てる。

続いて、ステップＳ３１４で、変数ｉの値がＬ以上となったのか否かを判断して、変数ｉの値がＬ以上となっていないことを判断するときには、ステップＳ３１５に進んで、変数ｉの値を１つインクリメントしてから、その１つ上の拡張階層に対してslice-skipモードを割り当てるべく、ステップＳ３１３の処理に戻る。

このようにして、ステップＳ３０７〜ステップＳ３１５の処理を実行することで、図５に示すような形で、slice-n （興味領域）に対しての符号化処理を実行するのである。

一方、ステップＳ３１４の判断処理で、変数ｉの値がＬ以上となったことを判断するときには、ステップＳ３１６に進んで、変数ｎの値がＮ以上となったのか否かを判断して、変数ｎの値がＮ以上となっていないことを判断するときには、ステップＳ３１７に進んで、変数ｎの値を１つインクリメントしてから、次のslice-n に対して符号化処理を実行すべく、ステップＳ３０７の処理に戻る。

このようにして、ステップＳ３０７〜ステップＳ３１７の処理を実行することで、全ての興味領域（slice-1 〜slice-N ）についての符号化処理を終了すると、slice-N+1 （非興味領域）の符号化処理に入って、ステップＳ３１８に進んで、slice-N+1 （非興味領域）の基本階層に対して、量子化パラメータをＱ₀ として符号化処理を行う。

続いて、ステップＳ３１９で、最下位の拡張階層から数えて何番目の拡張階層であるのを示す変数ｊに初期値である１（最下位の拡張階層を示す値）をセットする。

続いて、ステップＳ３２０で、slice-N+1 （非興味領域）の第ｊ位の拡張階層に対して、slice-skipモードを割り当てる。

続いて、ステップＳ３２１で、変数ｊの値がＫ以上となったのか否かを判断して、変数ｊの値がＫ以上となっていないことを判断するときには、ステップＳ３２２に進んで、変数ｊの値を１つインクリメントしてから、その１つ上の拡張階層に対してslice-skipモードを割り当てるべく、ステップＳ３２０の処理に戻る。

一方、ステップＳ３２１の判断処理で、変数ｊの値がＫ以上となったことを判断するときには、ステップＳ３２３に進んで、最下位の拡張階層から数えて何番目の拡張階層であるのを示す変数ｉに初期値であるＫ＋１（下位側拡張階層の１つ上の拡張階層を示す値）をセットする。

続いて、ステップＳ３２４で、slice-N+1 （非興味領域）の第ｉ位の拡張階層に対して、量子化パラメータをＱ_i として符号化処理を行う。すなわち、通常のスケーラブル符号化で用いられている量子化パラメータＱ_i を用いて符号化処理を行うのである。

続いて、ステップＳ３２５で、変数ｉの値がＬ以上となったのか否かを判断して、変数ｉの値がＬ以上となっていないことを判断するときには、ステップＳ３２６に進んで、変数ｉの値を１つインクリメントしてから、その１つ上の拡張階層に対してスケーラブル符号化を実行すべく、ステップＳ３２４の処理に戻る。

このようにして、ステップＳ３１８〜ステップＳ３２６の処理を実行することで、図５に示すような形で、slice-N+1 （非興味領域）に対しての符号化処理を実行するのである。

そして、ステップＳ３２５で、変数ｉの値がＬ以上となったことを判断するときには、符号化対象の映像フレームに対しての全ての符号化処理を終了したことを判断して、処理を終了する。

このようにして、スケーラブル映像符号化部１３は、図５に示すような形で符号化処理を行うことで、Ｈ．２６４／ＡＶＣのＳＶＣのＣＧＳの枠組みにおいて、ユーザが興味を持つ領域（興味領域）に対応した画質スケーラビリティを実現するように処理するのである。

ここで、図５では、slice-N+1 （非興味領域）における下位側拡張階層に対してslice skipを割り当てるという構成を採ったが、図６に示すように、通常通り、基本階層および拡張階層についての符号化をスケーラブル符号化で設定された符号化パラメータを用いて実行するようにすることも可能である。

本発明は、動画像や静止画像を階層的に符号化するスケーラブル画像符号化に適用できるものであり、本発明を適用することで、Ｈ．２６４／ＡＶＣのＳＶＣのＣＧＳの枠組みにおいて、ユーザが興味を持つ領域（興味領域）に対応した画質スケーラビリティを実現することができるようになる。

これから、本発明によれば、帯域が制限され、十分な符号量を割り当てることができない通信環境下であっても、ユーザが重要と考える領域の画質を確保することができるようになる。

１ スケーラブル映像符号化装置
１０ 映像入力部
１１ 興味領域検出部
１２ 興味領域補間検出部
１３ スケーラブル映像符号化部
１４ 符号化情報統合部
１３０ 基本階層符号化部
１３１ 拡張階層符号化部
１３２ 量子化パラメータ記憶部
１３００ 興味領域基本階層符号化部
１３０１ 非興味領域基本階層符号化部
１３１０ 興味領域拡張階層符号化部
１３１１ 非興味領域拡張階層符号化部
１３１００ スキップモード割当部
１３１１０ スキップモード割当部

Claims (8)

1. 基本階層と拡張階層とからなり、符号化対象画像の画面内の拡張階層の数が分類クラスによらずに一定に設定するように定められるスケーラブル画像符号化で画像符号化を実行するスケーラブル画像符号化方法において、
   画面内に含まれる興味領域を検出して、その検出結果に基づいて、画面内を興味領域と非興味領域とに分類する過程と、
   前記興味領域について、前記スケーラブル画像符号化における最高画質までの符号化を基本階層で完了し、拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当てることで、前記興味領域についての符号化情報を生成する過程と、
   前記非興味領域について、基本階層および拡張階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行することで、前記非興味領域についての符号化情報を生成する過程とを備えることを、
   特徴とするスケーラブル画像符号化方法。
2. 基本階層と拡張階層とからなり、符号化対象画像の画面内の拡張階層の数が分類クラスによらずに一定に設定するように定められるスケーラブル画像符号化で画像符号化を実行するスケーラブル画像符号化方法において、
   画面内に含まれる興味領域を検出して、その検出結果に基づいて、画面内を興味領域と非興味領域とに分類する過程と、
   前記興味領域について、基本階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行するとともに、前記スケーラブル画像符号化における最高画質までの符号化を最下位拡張階層を起点とする１つ又は複数の下位側拡張階層で完了し、さらに、その下位側拡張階層よりも上位の拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当てることで、前記興味領域についての符号化情報を生成する過程と、
   前記非興味領域について、基本階層および拡張階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行することで、前記非興味領域についての符号化情報を生成する過程とを備えることを、
   特徴とするスケーラブル画像符号化方法。
3. 基本階層と拡張階層とからなり、符号化対象画像の画面内の拡張階層の数が分類クラスによらずに一定に設定するように定められるスケーラブル画像符号化で画像符号化を実行するスケーラブル画像符号化方法において、
   画面内に含まれる興味領域を検出して、その検出結果に基づいて、画面内を興味領域と非興味領域とに分類する過程と、
   前記興味領域について、基本階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行するとともに、前記スケーラブル画像符号化における最高画質までの符号化を最下位拡張階層を起点とする１つ又は複数の下位側拡張階層で完了し、さらに、その下位側拡張階層よりも上位の拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当てることで、前記興味領域についての符号化情報を生成する過程と、
   前記非興味領域について、基本階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行するとともに、前記下位側拡張階層の符号化情報として前記スキップ情報を割り当て、さらに、前記下位側拡張階層よりも上位の拡張階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行することで、前記非興味領域についての符号化情報を生成する過程とを備えることを、
   特徴とするスケーラブル画像符号化方法。
4. 基本階層と拡張階層とからなり、符号化対象画像の画面内の拡張階層の数が分類クラスによらずに一定に設定するように定められるスケーラブル画像符号化で画像符号化を実行するスケーラブル画像符号化装置において、
   画面内に含まれる興味領域を検出して、その検出結果に基づいて、画面内を興味領域と非興味領域とに分類する手段と、
   前記興味領域について、前記スケーラブル画像符号化における最高画質までの符号化を基本階層で完了し、拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当てることで、前記興味領域についての符号化情報を生成する手段と、
   前記非興味領域について、基本階層および拡張階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行することで、前記非興味領域についての符号化情報を生成する手段とを備えることを、
   特徴とするスケーラブル画像符号化装置。
5. 基本階層と拡張階層とからなり、符号化対象画像の画面内の拡張階層の数が分類クラスによらずに一定に設定するように定められるスケーラブル画像符号化で画像符号化を実行するスケーラブル画像符号化装置において、
   画面内に含まれる興味領域を検出して、その検出結果に基づいて、画面内を興味領域と非興味領域とに分類する手段と、
   前記興味領域について、基本階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行するとともに、前記スケーラブル画像符号化における最高画質までの符号化を最下位拡張階層を起点とする１つ又は複数の下位側拡張階層で完了し、さらに、その下位側拡張階層よりも上位の拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当てることで、前記興味領域についての符号化情報を生成する手段と、
   前記非興味領域について、基本階層および拡張階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行することで、前記非興味領域についての符号化情報を生成する手段とを備えることを、
   特徴とするスケーラブル画像符号化装置。
6. 基本階層と拡張階層とからなり、符号化対象画像の画面内の拡張階層の数が分類クラスによらずに一定に設定するように定められるスケーラブル画像符号化で画像符号化を実行するスケーラブル画像符号化装置において、
   画面内に含まれる興味領域を検出して、その検出結果に基づいて、画面内を興味領域と非興味領域とに分類する手段と、
   前記興味領域について、基本階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行するとともに、前記スケーラブル画像符号化における最高画質までの符号化を最下位拡張階層を起点とする１つ又は複数の下位側拡張階層で完了し、さらに、その下位側拡張階層よりも上位の拡張階層の符号化情報として、符号化情報がないことを示すスキップ情報を割り当てることで、前記興味領域についての符号化情報を生成する手段と、
   前記非興味領域について、基本階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行するとともに、前記下位側拡張階層の符号化情報として前記スキップ情報を割り当て、さらに、前記下位側拡張階層よりも上位の拡張階層についての符号化を前記スケーラブル画像符号化で設定された符号化パラメータを用いて実行することで、前記非興味領域についての符号化情報を生成する手段とを備えることを、
   特徴とするスケーラブル画像符号化装置。
7. 請求項１ないし３のいずれか１項に記載のスケーラブル画像符号化方法をコンピュータに実行させるためのスケーラブル画像符号化プログラム。
8. 請求項１ないし３のいずれか１項に記載のスケーラブル画像符号化方法をコンピュータに実行させるためのスケーラブル画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images