JP2010004375A - 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、および画像復号プログラム - Google Patents

Abstract

【課題】 骨格画像とテクスチャ画像とを分離して符号化する場合でも、符号量の増加を抑えつつ画像品質の向上を図ることを目的とする。
【解決手段】 本発明の画像符号化装置１００は、符号化対象画像から骨格画像を生成する骨格画像生成部１１０と、骨格画像を符号化し、骨格画像符号化データと局所復号骨格画像とを生成する骨格画像符号化部１１２と、局所復号骨格画像から符号化劣化成分を分離し、修正局所復号骨格画像を生成する符号化劣化分離部１１４と、符号化対象画像から修正局所復号骨格画像を減算してテクスチャ画像を生成するテクスチャ画像生成部１１８と、テクスチャ画像を符号化し、テクスチャ画像符号化データを生成するテクスチャ画像符号化部１２０と、骨格画像符号化データとテクスチャ画像符号化データとを多重化して多重化ビットストリームを生成する多重化部１２２と、を備えることを特徴とする
【選択図】 図１

Description

本発明は、符号化対象画像を骨格画像とテクスチャ画像とに分離して符号化または復号する画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、および画像復号プログラムに関するものである。

符号化対象画像を、例えば、ＴＶ（Total Variation）法により骨格画像とテクスチャ画像に分離し、それぞれを別途符号化することで既存方式より高い符号化効率を実現する技術が公開されている（例えば、特許文献１）。ここで、ＴＶ法は、画像信号の周波数成分に応じて、対象となる画像を、骨格画像とテクスチャ画像に分離するものであり、一般に画像の超解像処理や、ノイズ除去用途として利用されている（例えば、特許文献２）。
特開２００７−１８４８００号公報 特開２００７−３１７１０９号公報

しかし、上記特許文献１の発明では、骨格画像とテクスチャ画像とを分離して符号化することについては述べられてなく、また、上記特許文献２の発明では、骨格画像とテクスチャ画像とを分離して符号化することについては記載されているものの、その符号化の際に、それぞれ独立した量子化パラメータにより符号化していたため、復号装置側で符号化された骨格画像とテクスチャ画像とを合成して復号する場合、骨格画像とテクスチャ画像それぞれに発生した量子化パラメータによる符号化劣化をも足し合わされるので、復号画像の品質が低下する、という課題がある。

このようなＴＶ分離により分離される骨格画像は、低域成分と強エッジ成分で構成され、その符号化における符号化劣化による情報の損失は主にエッジ周辺に生じる。骨格画像は、符号化において粗目の量子化を施した場合、低域成分は比較的良好な品質の復号画像を得ることができる一方、エッジ付近には強い劣化を生じやすいという特徴を有している。そこで、全体の画像品質を高めるために細かい量子化を試みると、本来効率よく符号化できるはずの低域成分にも必要以上の符号量を割り当ることになってしまい、全体の符号化効率が低下する結果を招く。このように従来の画像符号化装置では、骨格画像を効率よく符号化する術がなく、符号化効率向上の妨げとなっていた。

ところで、符号化した画像を復元する画像復元処理は、一般に微小な歪の混入を伴う。かかる歪に対しては、画像復号装置側に骨格画像を復元する後処理を追加することで、復号画像全体の品質を高めることが可能ではあるが、その際に画像全体に微小な歪が乗ることになる。従って、画像符号化装置においてなんら歪の抑制を行わず、画像復号装置側にのみ画像復元処理を追加しても、本質的な画像品質や符号化効率の向上は望めない。

本発明は、このような課題に鑑み、骨格画像とテクスチャ画像とを分離して符号化する場合でも、符号量の増加を抑えつつ画像品質の向上を図ることが可能な、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、および画像復号プログラムを提供することも目的としている。

上記課題を解決するために、本発明の代表的な構成は、符号化対象画像から骨格画像を生成する骨格画像生成部と、骨格画像を符号化し、骨格画像符号化データとその骨格画像符号化データを局所復号した局所復号骨格画像とを生成する骨格画像符号化部と、骨格画像の符号化の際の量子化パラメータに基づいて、局所復号骨格画像から符号化劣化成分を分離し、修正局所復号骨格画像を生成する符号化劣化分離部と、符号化対象画像から修正局所復号骨格画像を減算してテクスチャ画像を生成するテクスチャ画像生成部と、テクスチャ画像を符号化し、テクスチャ画像符号化データを生成するテクスチャ画像符号化部と、骨格画像符号化データとテクスチャ画像符号化データとを多重化して多重化ビットストリームを生成する多重化部と、を備えることを特徴とする。

骨格画像の符号化データに含まれる符号化劣化成分は符号化を通じて生じたテクスチャ成分を含む。本発明では、符号化劣化分離部が符号化劣化のテクスチャ成分を再度分離し、テクスチャ画像生成部がそのテクスチャ成分を加味してテクスチャ画像を生成しているので、符号量の増加を抑えつつ符号化劣化成分を最小限に留め、画像品質の向上を図ることが可能となる。

画像符号化装置は、骨格画像符号化データの量子化パラメータから劣化分離強度を導出する分離強度導出部をさらに備え、符号化劣化分離部は、劣化分離強度に応じた度合で符号化劣化成分を分離してもよい。

一般に、骨格画像の符号化劣化成分の大きさは、骨格画像符号化データの量子化パラメータの大きさに応じて変化する。従って、骨格画像符号化データの量子化パラメータに応じた適切な劣化分離強度によりテクスチャ成分を含む符号化劣化成分を分離することで、より符号化効率を向上させることが可能となる。

本発明の画像符号化装置の代表的な他の構成は、骨格画像生成モードと修正局所復号骨格画像生成モードとを交互に切り換えるモード切換部と、骨格画像生成モードにおいて、符号化対象画像から骨格画像を生成し、修正局所復号骨格画像生成モードにおいて、局所復号骨格画像から符号化劣化成分を分離し修正局所復号骨格画像を生成する骨格画像生成部と、骨格画像を符号化し、骨格画像符号化データと局所復号骨格画像とを生成する骨格画像符号化部と、符号化対象画像から修正局所復号骨格画像を減算してテクスチャ画像を生成するテクスチャ画像生成部と、テクスチャ画像を符号化し、テクスチャ画像符号化データを生成するテクスチャ画像符号化部と、骨格画像符号化データとテクスチャ画像符号化データとを多重化して多重化ビットストリームを生成する多重化部と、を備えることを特徴とする。

上述した発明における骨格画像生成部と符号化劣化分離部とは分離強度に応じてＴＶ分離を行う点で機能を等しくする。従って、骨格画像生成部が符号化劣化分離部としても機能することで本発明による符号化効率の向上を実現しつつ画像符号化装置の肥大化を防ぐことが可能となる。

本発明の画像符号化方法の代表的な構成は、符号化対象画像から骨格画像を生成し、骨格画像を符号化し、骨格画像符号化データとその骨格画像符号化データを復号した局所復号骨格画像とを生成し、骨格画像の符号化の際の量子化パラメータに基づいて、局所復号骨格画像から符号化劣化成分を分離し、修正局所復号骨格画像を生成し、符号化対象画像と修正局所復号骨格画像からテクスチャ画像を生成し、テクスチャ画像を符号化し、テクスチャ画像符号化データを生成し、骨格画像符号化データとテクスチャ画像符号化データとを多重化して多重化ビットストリームを生成することを特徴とする。

本発明の画像符号化プログラムの代表的な構成は、コンピュータを、符号化対象画像から骨格画像を生成する骨格画像生成部と、骨格画像を符号化し、骨格画像符号化データとその骨格画像符号化データを局所復号した局所復号骨格画像とを生成する骨格画像符号化部と、骨格画像の符号化の際の量子化パラメータに基づいて、局所復号骨格画像から符号化劣化成分を分離し、修正局所復号骨格画像を生成する符号化劣化分離部と、符号化対象画像から修正局所復号骨格画像を減算してテクスチャ画像を生成するテクスチャ画像生成部と、テクスチャ画像を符号化し、テクスチャ画像符号化データを生成するテクスチャ画像符号化部と、骨格画像符号化データとテクスチャ画像符号化データとを多重化して多重化ビットストリームを生成する多重化部と、して機能させることを特徴とする。

上述した画像符号化装置における技術的思想に対応する構成要素やその説明は、当該画像符号化方法、画像符号化プログラムにも適用可能である。

本発明の画像復号装置の代表的な構成は、骨格画像符号化データとテクスチャ画像符号化データとが多重化された多重化ビットストリームを骨格画像符号化データとテクスチャ画像符号化データとに分離する多重化分離部と、骨格画像符号化データを復号し、復号骨格画像を生成する骨格画像復号部と、復号骨格画像から符号化劣化成分を分離し、修正復号骨格画像を生成する符号化劣化分離部と、テクスチャ画像符号化データを復号し、復号テクスチャ画像を生成するテクスチャ画像復号部と、修正復号骨格画像と復号テクスチャ画像を合成し、復号画像を生成する復号画像合成部と、を含むことを特徴とする。

骨格画像符号化データは、そのエッジ周辺に符号化を通じて生じたテクスチャ成分を含む。本発明では、符号化劣化分離部が符号化劣化のテクスチャ成分を適切に分離することが可能となり、高品質の骨格画像を生成することができる。

画像復号装置は、骨格画像符号化データの量子化パラメータから劣化分離強度を導出する分離強度導出部をさらに備え、符号化劣化分離部は、劣化分離強度に応じた度合で符号化劣化成分を分離してもよい。

上述したように、骨格画像の符号化劣化成分の大きさは、骨格画像符号化データの量子化パラメータの大きさに応じて変化する。従って、骨格画像符号化データの量子化パラメータに応じた適切な劣化分離強度によりテクスチャ成分を含む符号化劣化成分を分離することで、より符号化効率を向上させることが可能となる。

本発明の画像復号方法の代表的な構成は、骨格画像符号化データとテクスチャ画像符号化データとが多重化された多重化ビットストリームを、骨格画像符号化データとテクスチャ画像符号化データとに分離し、骨格画像符号化データを復号し、復号骨格画像を生成し、復号骨格画像から符号化劣化成分を分離し、修正復号骨格画像を生成し、テクスチャ画像符号化データを復号し、復号テクスチャ画像を生成し、修正復号骨格画像と復号テクスチャ画像を合成し、復号画像を生成することを特徴とする。

本発明の画像復号プログラムの代表的な構成は、コンピュータを、骨格画像符号化データとテクスチャ画像符号化データとが多重化された多重化ビットストリームを、骨格画像符号化データとテクスチャ画像符号化データとに分離する多重化分離部と、骨格画像符号化データを復号し、復号骨格画像を生成する骨格画像復号部と、復号骨格画像から符号化劣化成分を分離し、修正復号骨格画像を生成する符号化劣化分離部と、テクスチャ画像符号化データを復号し、復号テクスチャ画像を生成するテクスチャ画像復号部と、修正復号骨格画像と復号テクスチャ画像を合成し、復号画像を生成する復号画像合成部と、して機能させることを特徴とする。

上述した画像復号装置における技術的思想に対応する構成要素やその説明は、当該画像復号方法、画像復号プログラムにも適用可能である。

以上説明したように本発明の画像符号化装置によれば、符号量の増加を抑えつつ符号化劣化成分を最小限に留めるといった効率的な画像符号化によって、画像品質の向上を図ることが可能となる。また、画像復号装置が、このような画像符号化装置に対応し、画像符号化装置からの多重化ビットストリームを適切に復号することで、より効率的な画像復号を実現することも可能となる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

本実施形態では、ＴＶ（Total Variation）法を用いて原画像を、例えば、低域成分および強エッジ成分で構成される骨格画像と、中域成分で構成されるテクスチャ画像とに分離し、それぞれを別途符号化することで高い符号化効率を実現することができる。その際、骨格画像を符号化した際に生じる局所復号画像から符号化劣化成分を分離して修正局所復号画像を生成し、原画からその修正局所復号画像を減算してテクスチャ画像を生成して符号化することで、符号量の増加を抑えつつ符号化劣化を最小限に留めるといった効率的な画像符号化を実現することが可能となり、ひいては画像品質を向上することができる。ここでは、上記の処理を実現するための画像符号化装置および画像復号装置の具体的な構成を、それぞれ実施形態を分けて以下に示す。

（第１の実施形態：画像符号化装置１００）
図１は、画像符号化装置１００の概略的な構成を示した機能ブロック図である。画像符号化装置１００は、オリジナルとなる符号化対象画像（原画像）が入力され、その符号化対象画像を骨格画像とテクスチャ画像に分離し、それぞれを符号化して多重化ビットストリーム（符号化データ）を生成する。画像符号化装置１００は、骨格画像生成部１１０と、骨格画像符号化部１１２と、符号化劣化分離部１１４と、分離強度導出部１１６と、テクスチャ画像生成部１１８と、テクスチャ画像符号化部１２０と、多重化部１２２とを含んで構成される。

骨格画像生成部１１０は、外部から符号化対象画像および画像分離強度を取得し、取得した符号化対象画像に対してＴＶ分離処理を施し、骨格画像を生成し、骨格画像符号化部１１２に伝送する。

図２は、ＴＶ分離のイメージを示した説明図である。ここでは、符号化対象画像１５０が骨格画像１５２とテクスチャ画像１５４とに分離されている。図２に示すように、骨格画像１５２は、符号化対象画像信号のうち、ゆるやかな変化や平坦な面を含む低域成分と強エッジ成分とを含む画像である。テクスチャ画像１５４は、符号化対象画像信号のうち、骨格画像１５２を除く、所定周波数以下の中域成分を含む画像である。

骨格画像生成部１１０では、このようなＴＶ分離を外部から取得する画像分離強度に基づいて行う。画像分離強度はエッジ判定に使用するパラメータであり、画像分離強度を強く取ることにより、エッジがテクスチャ画像に乗りやすくなる一方、骨格画像からは振動成分の多くが除かれる。逆に分離強度を弱く取れば、骨格画像に振動成分が残りやすくなり、エッジの多くが骨格成分に残る。ここでは、画像分離強度を外部から取得する構成を述べているが、骨格画像生成部１１０に予め所定の画像分離強度が設定されていてもよい。

骨格画像符号化部１１２は、骨格画像生成部１１０から骨格画像を取得し、取得した骨格画像に対し符号化処理を施し、骨格画像符号化データを生成する。その際、骨格画像符号化データを局所復号（ローカルデコード）した局所復号骨格画像も生成される。そして、骨格画像符号化部１１２は、骨格画像符号化データを分離強度導出部１１６と多重化部１２２へ、局所復号骨格画像を符号化劣化分離部１１４へ伝送する。

かかる骨格画像符号化部１１２における符号化処理は、例えばＭＰＥＧ−２，４や、ＡＶＣ／Ｈ．２６４のような既存の符号化を用いる。本実施形態では、ＡＶＣ／Ｈ．２６４により、ブロック分割、イントラ予測、直交変換／量子化、エントロピー符号化を行っている。

ここで、骨格画像の符号化にイントラ予測を適用する理由は、骨格画像は低域成分と強エッジ成分とを含む画像であるが、その中でも特に低域成分が多く、イントラ予測による予測精度が効果的であるからである。また、骨格画像符号化部１１２において、イントラ予測に画面間予測を加える構成をとることもできる。その場合、併せて局所復号骨格画像を格納するメモリも要する。

符号化劣化分離部１１４は、骨格画像符号化部１１２から局所復号骨格画像を、分離強度導出部１１６から後述する劣化分離強度を取得し、骨格画像生成部１１０と同様、劣化分離強度に基づいて局所復号骨格画像に対しＴＶ分離処理を施し、修正局所復号骨格画像を生成する。そして、生成した修正局所復号骨格画像をテクスチャ画像生成部１１８に伝送する。

骨格画像はすでに一度ＴＶ分離を施された画像であり、低域成分と、強エッジ成分のみを含む画像である。一方、符号化を通じて局所復号骨格画像に新たに加わった符号化劣化成分は、周波数が中域以上かつ強度が低い信号である。即ち、分離すべき符号化劣化成分は、ＴＶ分離におけるテクスチャ成分と同様の性質を持つ。従って、局所復号骨格画像にさらに再度のＴＶ分離処理を施すことで符号化劣化成分を分離し、本来の骨格画像を得ることが可能となる。

図３は、符号化劣化分離部１１４による符号化劣化成分の分離処理を説明するための説明図である。図３（ａ）に示した骨格画像に対し、符号化および局所復号を施した局所復号骨格画像は図３（ｂ）のようになる。かかる図３（ｂ）で把握できるように、局所復号骨格画像のエッジ付近に符号化劣化成分が生じている。そこで、符号化劣化分離部１１４は、骨格画像生成部１１０と同様のＴＶ法により図３（ｃ）に示すような符号化劣化成分を分離して、符号化劣化成分が除去された、図３（ｄ）に示すような修正局所復号骨格画像を生成する。このような符号化劣化成分の分離処理を施すことにより、修正後の劣化成分は図３（ｅ）に示した程度に抑制され、修正前の符号化劣化成分（図３（ｃ））と比較して軽減されていることが理解できる。つまり、図３（ｄ）に示す修正局所復号骨格画像は、図３（ｂ）に示す局所復号骨格画像より、図３（ａ）に示す符号化劣化成分のない符号化前の骨格画像になるべく近付けて復元することができる。

分離強度導出部１１６は、骨格画像符号化部１１２から骨格画像符号化データを取得し、その量子化パラメータを用いて劣化分離強度を導出する。そして、導出した劣化分離強度を符号化劣化分離部１１４へ伝送する。ここで、劣化分離強度は、骨格画像生成部１１０における画像分離強度と同様のパラメータであり、その値によって符号化劣化分離部１１４における骨格画像とテクスチャ画像との分離の度合を制御することができる。

一般に、骨格画像の符号化劣化成分の大きさは、骨格画像符号化データの量子化パラメータの大きさに応じて変化する。例えば、骨格画像符号化部１１２で適用した量子化パラメータが大きい場合、骨格画像の符号化劣化成分が大きくなり、量子化パラメータが小さい場合、骨格画像の符号化劣化成分が小さくなる。従って、骨格画像符号化データの量子化パラメータに応じた適切な劣化分離強度により、テクスチャ成分を含む符号化劣化成分を分離することで、より符号化効率を向上させることが可能となる。量子化パラメータと劣化分離強度とは所定の関数によって一義的に関連付けることもできる。

図４は、量子化パラメータに対する劣化分離強度の関数の一例を示した説明図である。ここでは、符号化劣化成分の分離を実行しない範囲を定める量子化パラメータＱｐ０と、最大の符号化劣化分離（ｍａｘ）を実行する範囲を定める量子化パラメータＱｐ１が直線で結ばれている。従って、量子化パラメータがＱｐ０以下であれば符号化劣化成分の分離は実行されず、Ｑｐ０からＱｐ１までの間は劣化分離強度が量子化パラメータに比例して上昇し、Ｑｐ１でｍａｘの値に飽和する。

図４に示すような関数をとる理由を以下に示す。一般に量子化パラメータが小さい場合、ほぼ符号化劣化成分が発生しない。符号化劣化分離処理を敢えて行うことにより、本来骨格成分として必要な成分をも分離することを防ぐため量子化パラメータが小さい場合には、符号化劣化分離を行わない。

逆に量子化パラメータが大きい場合は、符号化劣化成分の割合が高くなり、本来の骨格成分の割合が小さくなる。このような必要以上の分離を行うことを回避するために、劣化分離強度最大値を設け、量子化パラメータが所定値を超えると所定の劣化分離強度を適用する。

また、劣化分離強度は、骨格画像生成部１１０で用いられる画像分離強度より小さく設定する。これは、骨格画像の符号化で発生した符号化劣化成分の信号レベルが、符号化対象画像のテクスチャ成分に比べ小さいことに起因する。このように画像分離強度より小さい値、例えば１／１０程度であっても十分な分離効果を得ることができる。

なお、図４においては劣化分離強度の関数として一次関数を用いているが、かかる場合に限られず、対数関数や、二次関数といった非線形関数で表現することも可能である。また、Ｑｐ０、Ｑｐ１といった転換点を設定しない構成をとることもできる。さらにそれらの関数を予め計算し、量子化パラメータから劣化分離強度を一意に抽出できるテーブルを用いることもできる。

テクスチャ画像生成部１１８は、骨格画像生成部１１０と同様に、外部から原画である符号化対象画像を、符号化劣化分離部１１４から修正局所復号骨格画像を取得し、その差分をとってテクスチャ画像を生成する。そして、生成されたテクスチャ画像をテクスチャ画像符号化部１２０に伝送する。

上述したように修正局所復号骨格画像は、局所復号骨格画像から符号化劣化成分を分離した信号である。かかる処理は、後述する画像復号装置においても遂行されるので、画像復号装置においても修正局所復号骨格画像と同一の骨格画像を得ることができる。しかし、修正局所復号骨格画像も骨格画像符号化部１１２に入力される前の骨格画像と比較すると多少の劣化が生じている。かかるテクスチャ画像生成部１１８は、単に骨格画像を用いてテクスチャ画像を生成せず、このような多少の符号化劣化成分を含む修正局所復号骨格画像を用いてテクスチャ画像を生成しているので、修正局所復号骨格画像における符号化劣化成分までも吸収することが可能となる。この結果、テクスチャ画像における符号化劣化成分のみが潜在することとなるが、テクスチャ画像は上述したように所定振動以下の中域成分を主とする画像なので、その符号化劣化の影響はほとんどない。

テクスチャ画像符号化部１２０は、テクスチャ画像生成部１１８からテクスチャ画像を取得し、取得したテクスチャ画像に対し符号化処理を施してテクスチャ画像符号化データを生成する。そして、生成したテクスチャ画像符号化データを多重化部１２２へ伝送する。

テクスチャ画像符号化部１２０における符号化処理は、骨格画像符号化部１１２と同様、既存の符号化を用いる。従って、ブロック分割、イントラ予測、直交変換／量子化、エントロピー符号化が行われる。テクスチャ画像符号化部１２０においても骨格画像符号化部１１２同様、イントラ予測に画面間予測を加える構成をとることもできる。その場合、併せて局所復号骨格画像を格納するメモリも要する。

多重化部１２２は、骨格画像符号化部１１２から骨格画像符号化データを、テクスチャ画像符号化部１２０からテクスチャ画像符号化データを取得し、骨格画像符号化データとテクスチャ画像符号化データに対し多重化処理を行い、一本の多重化ビットストリームを生成する。そして、生成した多重化ビットストリームを通信回線１３０や記憶媒体１３２へ伝送する。

図５は、多重化部１２２が生成した多重化ビットストリームの構成例を示す説明図である。多重化部１２２における、ビットストリームへの多重化処理は、例えばＭＰＥＧ−４ ＡＶＣ Ａｍｄ．３ ＳＶＣ（Scalable Video Coding）のような既存の多重化を用いる。従って、図５における多重化ビットストリームの各構成要素はＭＰＥＧ−４ ＡＶＣ Ａｍｄ．３ ＳＶＣに従う。

例えば、共通情報には原画像の画像サイズ等や、骨格画像符号化データおよびテクスチャ画像符号化データには、符号化対象ブロック毎に、ブロックタイプや、イントラ予測モード、量子化パラメータ、符号化モード、量子化直交変換係数などのブロック情報が多重化されている。なお、共通情報として、さらに、骨格画像とテクスチャ画像とに分離して個別符号化したことを示す情報を多重化するようにしても良い。この情報により、多重化ビットストリームの受信側で、符号化側では、骨格画像とテクスチャ画像とに分離して個別符号化したことを知ることが出来る。

以上説明した画像符号化装置１００においても、画像復号装置へ伝送する骨格画像符号化データは従来の符号化装置と同一となる。しかし、原画から修正局所復号骨格画像を減算してのテクスチャ画像の生成は、再度のＴＶ分離においても除去できない符号化劣化成分のみをテクスチャ画像に乗せることに相当し、符号化時の情報の損失を著しく防ぐ効果を得ることができる。また、本実施形態のテクスチャ画像に乗る骨格画像の符号化劣化成分は、テクスチャ画像全体の情報量に比べ極めて小さく、全体の符号量はほとんど増加しないため、符号量の増加を抑えつつ符号化劣化を最小限に留めるといった効率的な画像符号化によって、画像品質の向上を図ることが可能となる。

（画像符号化方法）
また、上述した画像符号化装置１００を用いて符号化対象画像を骨格画像とテクスチャ画像に分離し、それぞれを符号化して多重化ビットストリームを生成する画像符号化方法も提供される。

図６は、画像符号化方法の具体的な処理を示したフローチャートである。外部から符号化対象画像が入力されると、まず、骨格画像生成部１１０は、ＴＶ分離処理を施してかかる符号化対象画像から骨格画像を生成し（Ｓ２００）、骨格画像符号化部１１２は、骨格画像を符号化し、骨格画像符号化データと局所復号骨格画像とを生成する（Ｓ２０２）。

続いて、分離強度導出部１１６は、骨格画像符号化データから量子化パラメータを抽出し、その量子化パラメータに基づいて劣化分離強度を導出する（Ｓ２０４）。そして、符号化劣化分離部１１４は、かかる劣化分離強度を用いて局所復号骨格画像にＴＶ分離処理を施し、符号化劣化成分を分離して修正局所復号骨格画像を生成する（Ｓ２０６）。

次にテクスチャ画像生成部１１８は、符号化対象画像から修正局所復号骨格画像を減算してテクスチャ画像を生成し（Ｓ２０８）、テクスチャ画像符号化部１２０は、テクスチャ画像を符号化して、テクスチャ画像符号化データ（多重化ビットストリーム）を生成する（Ｓ２１０）。

最後に、多重化部１２２は、骨格画像符号化データとテクスチャ画像符号化データとを多重化して多重化ビットストリームを生成する（Ｓ２１２）。

かかる画像符号化方法においても、符号量の増加を抑えつつ符号化劣化を最小限に留めるといった効率的な画像符号化によって、画像品質の向上を図ることが可能となる。

（画像符号化装置の他の例）
上述した画像符号化装置１００においては、骨格画像生成部１１０と符号化劣化分離部１１４とは分離強度に応じてＴＶ分離を行う点で機能を等しくする。従って、骨格画像生成部１１０が符号化劣化分離部１１４として機能することも可能である。

図７は、他の画像符号化装置３００の概略的な構成を示した機能ブロック図である。画像符号化装置３００は、骨格画像生成部３１０と、骨格画像符号化部１１２と、分離強度導出部１１６と、テクスチャ画像生成部１１８と、テクスチャ画像符号化部１２０と、多重化部１２２と、モード切換部３２４と、画像入力切換部３２６と、強度入力切換部３２８と、画像出力切換部３３０とを含んで構成される。

上述した画像符号化装置１００における構成要素として既に述べた骨格画像符号化部１１２と、分離強度導出部１１６と、テクスチャ画像生成部１１８と、テクスチャ画像符号化部１２０と、多重化部１２２とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する骨格画像生成部３１０と、モード切換部３２４と、画像入力切換部３２６と、強度入力切換部３２８と、画像出力切換部３３０とを主に説明する。

モード切換部３２４は、排他的かつ交互に、骨格画像生成モードＡと修正局所復号骨格画像生成モードＢとを切り換える。

骨格画像生成部３１０は、モード切換部３２４で示されるモードに応じ、骨格画像生成モードにおいて、符号化対象画像から骨格画像を生成（骨格画像生成部１１０として機能）し、修正局所復号骨格画像生成モードにおいて、局所復号骨格画像から符号化劣化成分を分離し修正局所復号骨格画像を生成（符号化劣化分離部１１４として機能）する。

画像入力切換部３２６は、骨格画像生成部３１０の画像入力（入力端子）Ｃに対し、骨格画像生成モードＡにより外部からの符号化対象画像を出力し、修正局所復号骨格画像生成モードＢにより骨格画像符号化部１１２からの局所復号骨格画像を出力する。

強度入力切換部３２８は、骨格画像生成部３１０の強度入力（入力端子）Ｄに対し、骨格画像生成モードＡにより画像分離強度を出力し、修正局所復号骨格画像生成モードＢにより分離強度導出部１１６からの劣化分離強度を出力する。

画像出力切換部３３０は、骨格画像生成部３１０の画像出力（出力端子）Ｅを、骨格画像生成モードＡにより骨格画像符号化部１１２に、修正局所復号骨格画像生成モードＢによりテクスチャ画像生成部１１８に接続する。

このように、画像符号化装置３００では、ハードウェアで構成した場合、占有面積および消費電力が大きくなり、ソフトウェアで構成した場合、ＴＶ分離処理により負荷が大きくなる骨格画像生成部１１０と符号化劣化分離部１１４とを一体的に形成することができるので、符号化効率の向上を実現しつつ画像符号化装置の肥大化を防ぐことが可能となる。

（第２の実施形態：画像復号装置４００）
上記第１の実施形態では、符号化側で、局所復号骨格画像から量子化パラメータに基づいた符号化劣化成分を分離するように説明したが、第２の実施形態では、復号側で、復号骨格画像から量子化パラメータに基づいた符号化劣化成分を分離する一例を説明する。

図８は、画像復号装置４００の概略的な構成を示した機能ブロック図である。画像復号装置４００は、例えば、従来の画像符号化装置で生成された、すなわち修正局所復号骨格画像を使用しないで骨格画像とテクスチャ画像とに分離して符号化した骨格画像符号化データとテクスチャ画像符号化データとが多重化された多重化ビットストリームを受信して復号しても、符号化劣化を低減させた復号画像を生成するものである。ここで、画像復号装置４００は、多重化分離部４１０と、分離強度導出部４１２と、骨格画像復号部４１４と、符号化劣化分離部４１６と、テクスチャ画像復号部４１８と、復号画像合成部４２０とを含んで構成される。

多重化分離部４１０は、画像符号化装置１００が生成した多重化ビットストリームを、通信回線１３０や記憶媒体１３２等を通じて取得し、取得した多重化ビットストリームに対し多重化分離処理を行い、骨格画像符号化データとテクスチャ画像符号化データとを生成する。そして、骨格画像符号化データを骨格画像復号部４１４および分離強度導出部４１２へそれぞれ伝送し、また、テクスチャ画像符号化データをテクスチャ画像復号部４１８へ伝送する。かかる多重化分離処理は、例えばＭＰＥＧ−４ ＡＶＣ Ａｍｄ．３ ＳＶＣのような既存の多重化分離を用いる。その際、例えば、図５に示すように、多重化ビットストリームに多重化された、骨格画像とテクスチャ画像とに分離して個別符号化したことを示す共通情報等を参照して、多重分離しても良い。

分離強度導出部４１２は、多重化分離部４１０から骨格画像符号化データを取得し、分離強度導出部１１６と同様、その量子化パラメータを用いて劣化分離強度を導出する。そして、生成した劣化分離強度を符号化劣化分離部４１６へ伝送する。かかる量子化パラメータから劣化分離強度を導出する手順は、既に図４を用いて説明したのでここではその詳述を省略する。

骨格画像復号部４１４は、多重化分離部４１０から骨格画像符号化データを取得し、復号骨格画像を生成する。そして、生成した復号骨格画像を符号化劣化分離部４１６へ伝送する。本実施形態において、骨格画像復号部４１４は、例えば、ブロック分割、エントロピー復号、逆直交変換／逆量子化、イントラ予測を行うことによって復号処理を遂行する。また、骨格画像復号部４１４において、イントラ予測に画面間予測を加える構成をとることもできる。その場合、併せて局所復号骨格画像を格納するメモリも要する。

符号化劣化分離部４１６は、骨格画像復号部４１４から復号骨格画像を、分離強度導出部４１２から劣化分離強度を取得し、復号骨格画像に対しＴＶ分離による符号化劣化分離処理を施し、修正復号骨格画像を生成する。そして、生成した修正復号骨格画像を復号画像合成部４２０へ伝送する。修正復号骨格画像の符号化劣化成分は、主に骨格画像の量子化パラメータに依存するため、符号化劣化分離部４１６によって正確な符号化劣化成分の分離を行うことが可能となり、より高品質な復号画像を生成することが可能となる。

また、本実施形態では、分離強度導出部４１２が量子化パラメータから劣化分離強度を導出しているが、画像符号化装置１００においても同一の劣化分離強度が導出されるので、画像符号化装置１００において導出された劣化分離強度を多重化ビットストリームに付加し、符号化劣化分離部４１６は、かかる多重化ビットストリームの劣化分離強度を参照してＴＶ分離を実行することができる。かかる構成によると、分離強度導出部４１２を削除でき、占有面積の低減を図ることができる。

テクスチャ画像復号部４１８は、多重化分離部４１０からテクスチャ画像符号化データを取得し、骨格画像復号部４１４同様、そのテクスチャ画像符号化データを復号して復号テクスチャ画像を生成する。そして、生成した復号テクスチャ画像を復号画像合成部４２０へ伝送する。従って、ブロック分割、エントロピー復号、逆直交変換／逆量子化、イントラ予測を行うことによって復号処理を遂行する。また、骨格画像復号部４１４同様、イントラ予測に画面間予測を加える構成をとることもできる。その場合、併せて局所復号骨格画像を格納するメモリも要する。

復号画像合成部４２０は、符号化劣化分離部４１６から修正復号骨格画像を、テクスチャ画像復号部４１８から復号テクスチャ画像を取得し、修正復号骨格画像と復号テクスチャ画像を合成して一枚の復号画像を生成する。生成した復号画像は、外部に出力され、モニタ４３０等において再生される。

以上、説明した画像復号装置４００では、符号化劣化分離部４１６が符号化劣化のテクスチャ成分を適切に分離しているので、高品質の骨格画像を生成することができる。

（画像復号方法）
また、上述した画像復号装置４００を用い、骨格画像符号化データとテクスチャ画像符号化データとが多重化された多重化ビットストリームを復号して復号画像を生成する画像復号方法も提供される。

図９は、画像復号方法の具体的な処理を示したフローチャートである。外部から多重化ビットストリームが入力されると、まず、多重化分離部４１０は、多重化ビットストリームを骨格画像符号化データとテクスチャ画像符号化データとに分離する（Ｓ５００）。そして、分離強度導出部４１２は、骨格画像符号化データの量子化パラメータから劣化分離強度を導出する（Ｓ５０２）。

続いて、骨格画像復号部４１４は、骨格画像符号化データを復号し、復号骨格画像を生成する（Ｓ５０４）。そして、符号化劣化分離部４１６は、かかる劣化分離強度を用いて復号骨格画像にＴＶ分離処理を施し、符号化劣化成分を分離して修正復号骨格画像を生成する（Ｓ５０６）。これにより、図３に示すように、修正復号骨格画像は、符号化劣化のない符号化前の骨格画像になるべく近付けて復元することができる。

次に、テクスチャ画像復号部４１８は、多重化分離部４１０からのテクスチャ画像符号化データを復号し、復号テクスチャ画像を生成し（Ｓ５０８）、最後に、復号画像合成部４２０は、かかる復号テクスチャ画像と符号化劣化分離部４１６からの修正復号骨格画像とを合成し、復号画像を生成する（Ｓ５１０）。

かかる画像復号方法においても、符号化劣化のテクスチャ成分が適切に分離されるので、高品質の骨格画像を生成することが可能となる。

（画像符号化プログラム、画像復号プログラム）
図１０は、本実施形態における画像符号化装置１００による画像符号化および画像復号装置４００による画像復号が可能なコンピュータ（情報処理装置）６００の典型例を示した機能ブロック図である。コンピュータ６００は、中央処理装置６１０と、一時記憶装置６１２と、外部記憶装置６１４と、通信部６１６と、入力部６１８と、出力部６２０とを含んで構成される。

中央処理装置（ＣＰＵ）６１０は、一時記憶装置６１２や外部記憶装置６１４のプログラムやアプリケーションによりコンピュータ６００全体を管理および制御する。一時記憶装置６１２は、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ等から構成され、中央処理装置６１０で処理されるプログラムや画像データ等を一時的に記憶する。外部記憶装置６１４は、フラッシュメモリ、ＨＤＤ等で構成され、中央処理装置６１０で処理されるプログラムや画像データ等を記憶する。通信部６１６は、通信回線１３０を介して様々な電子機器やサーバと接続され、それらと画像データを送受信することができる。入力部６１８は、メディア１３２からの多重化ビットストリームや各種パラメータを入力できる。出力部６２０は、モニタ４３０等に画像出力を出力できる。

上述した画像符号化および画像復号は、中央処理装置６１０がプログラムを実行することによって為される。従って、画像符号化装置１００、３００および画像復号装置４００が提供されると同時に、コンピュータ６００を、画像符号化装置１００、３００および画像復号装置４００として機能させるプログラムも提供される。また、このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信回線１３０を介して伝送されてコンピュータに取り込まれてもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

上述した実施形態２においては、骨格画像と修正局所復号骨格画像を使用せずに生成したテクスチャ画像とに分離して符号化する一般の画像符号化装置からの多重化ビットストリームを、画像復号装置４００で復号することを想定して説明したが、これに限らず、実施形態１の画像符号化装置１００、３００からの多重化ビットストリームを画像復号装置４００にて復号しても何ら問題はない。従って、一方の装置を採用したとしても画像の高圧縮による画像品質の向上が見込まれる。

なお、本明細書の画像符号化方法および画像復号方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、符号化対象画像を骨格画像とテクスチャ画像とに分離して符号化または復号する画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、および画像復号プログラムに利用することができる。

画像符号化装置の概略的な構成を示した機能ブロック図である。 ＴＶ分離のイメージを示した説明図である。 符号化劣化分離部による符号化劣化成分の分離処理を説明するための説明図である。 量子化パラメータに対する劣化分離強度の関数を示した説明図である。 多重化ビットストリームの構成を示した説明図である。 画像符号化方法の具体的な処理を示したフローチャートである。 他の画像符号化装置の概略的な構成を示した機能ブロック図である。 画像復号装置の概略的な構成を示した機能ブロック図である。 画像復号方法の具体的な処理を示したフローチャートである。 コンピュータの典型例を示した機能ブロック図である。

符号の説明

１００ …画像符号化装置
１１０、３１０ …骨格画像生成部
１１２ …骨格画像符号化部
１１４、４１６ …符号化劣化分離部
１１６、４１２ …分離強度導出部
１１８ …テクスチャ画像生成部
１２０ …テクスチャ画像符号化部
１２２ …多重化部
３２４ …モード切換部
４００ …画像復号装置
４１０ …多重化分離部
４１４ …骨格画像復号部
４１８ …テクスチャ画像復号部
４２０ …復号画像合成部

Claims (9)

1. 符号化対象画像から骨格画像を生成する骨格画像生成部と、
   前記骨格画像を符号化し、骨格画像符号化データとその骨格画像符号化データを局所復号した局所復号骨格画像とを生成する骨格画像符号化部と、
   前記骨格画像の符号化の際の量子化パラメータに基づいて、前記局所復号骨格画像から符号化劣化成分を分離し、修正局所復号骨格画像を生成する符号化劣化分離部と、
   前記符号化対象画像から前記修正局所復号骨格画像を減算してテクスチャ画像を生成するテクスチャ画像生成部と、
   前記テクスチャ画像を符号化し、テクスチャ画像符号化データを生成するテクスチャ画像符号化部と、
   前記骨格画像符号化データと前記テクスチャ画像符号化データとを多重化して多重化ビットストリームを生成する多重化部と、
   を備えることを特徴とする画像符号化装置。
2. 前記骨格画像符号化データの量子化パラメータから劣化分離強度を導出する分離強度導出部をさらに備え、
   前記符号化劣化分離部は、前記劣化分離強度に応じた度合で符号化劣化成分を分離することを特徴とする請求項１に記載の画像符号化装置。
3. 骨格画像生成モードと修正局所復号骨格画像生成モードとを交互に切り換えるモード切換部と、
   前記骨格画像生成モードにおいて、前記符号化対象画像から骨格画像を生成し、前記修正局所復号骨格画像生成モードにおいて、局所復号骨格画像から符号化劣化成分を分離し修正局所復号骨格画像を生成する骨格画像生成部と、
   前記骨格画像を符号化し、骨格画像符号化データと前記局所復号骨格画像とを生成する骨格画像符号化部と、
   前記符号化対象画像から前記修正局所復号骨格画像を減算してテクスチャ画像を生成するテクスチャ画像生成部と、
   前記テクスチャ画像を符号化し、テクスチャ画像符号化データを生成するテクスチャ画像符号化部と、
   前記骨格画像符号化データと前記テクスチャ画像符号化データとを多重化して多重化ビットストリームを生成する多重化部と、
   を備えることを特徴とする画像符号化装置。
4. 前記符号化対象画像から骨格画像を生成し、
   前記骨格画像を符号化し、骨格画像符号化データとその骨格画像符号化データを復号した局所復号骨格画像とを生成し、
   前記骨格画像の符号化の際の量子化パラメータに基づいて、前記局所復号骨格画像から符号化劣化成分を分離し、修正局所復号骨格画像を生成し、
   前記符号化対象画像と前記修正局所復号骨格画像からテクスチャ画像を生成し、
   前記テクスチャ画像を符号化し、テクスチャ画像符号化データを生成し、
   前記骨格画像符号化データと前記テクスチャ画像符号化データとを多重化して多重化ビットストリームを生成することを特徴とする画像符号化方法。
5. コンピュータを、
   前記符号化対象画像から骨格画像を生成する骨格画像生成部と、
   前記骨格画像を符号化し、骨格画像符号化データとその骨格画像符号化データを局所復号した局所復号骨格画像とを生成する骨格画像符号化部と、
   前記骨格画像の符号化の際の量子化パラメータに基づいて、前記局所復号骨格画像から符号化劣化成分を分離し、修正局所復号骨格画像を生成する符号化劣化分離部と、
   前記符号化対象画像から前記修正局所復号骨格画像を減算してテクスチャ画像を生成するテクスチャ画像生成部と、
   前記テクスチャ画像を符号化し、テクスチャ画像符号化データを生成するテクスチャ画像符号化部と、
   前記骨格画像符号化データと前記テクスチャ画像符号化データとを多重化して多重化ビットストリームを生成する多重化部と、
   して機能させることを特徴とする画像符号化プログラム。
6. 骨格画像符号化データとテクスチャ画像符号化データとが多重化された多重化ビットストリームを、該骨格画像符号化データと該テクスチャ画像符号化データとに分離する多重化分離部と、
   前記骨格画像符号化データを復号し、復号骨格画像を生成する骨格画像復号部と、
   前記復号骨格画像から符号化劣化成分を分離し、修正復号骨格画像を生成する符号化劣化分離部と、
   前記テクスチャ画像符号化データを復号し、復号テクスチャ画像を生成するテクスチャ画像復号部と、
   前記修正復号骨格画像と前記復号テクスチャ画像を合成し、復号画像を生成する復号画像合成部と、
   を含むことを特徴とする画像復号装置。
7. 前記骨格画像符号化データの量子化パラメータから劣化分離強度を導出する分離強度導出部をさらに備え、
   前記符号化劣化分離部は、前記劣化分離強度に応じた度合で符号化劣化成分を分離することを特徴とする請求項６に記載の画像復号装置。
8. 骨格画像符号化データとテクスチャ画像符号化データとが多重化された多重化ビットストリームを、該骨格画像符号化データと該テクスチャ画像符号化データとに分離し、
   前記骨格画像符号化データを復号し、復号骨格画像を生成し、
   前記復号骨格画像から符号化劣化成分を分離し、修正復号骨格画像を生成し、
   前記テクスチャ画像符号化データを復号し、復号テクスチャ画像を生成し、
   前記修正復号骨格画像と前記復号テクスチャ画像を合成し、復号画像を生成することを特徴とする画像復号方法。
9. 前記コンピュータを、
   骨格画像符号化データとテクスチャ画像符号化データとが多重化された多重化ビットストリームを、該骨格画像符号化データと該テクスチャ画像符号化データとに分離する多重化分離部と、
   前記骨格画像符号化データを復号し、復号骨格画像を生成する骨格画像復号部と、
   前記復号骨格画像から符号化劣化成分を分離し、修正復号骨格画像を生成する符号化劣化分離部と、
   前記テクスチャ画像符号化データを復号し、復号テクスチャ画像を生成するテクスチャ画像復号部と、
   前記修正復号骨格画像と前記復号テクスチャ画像を合成し、復号画像を生成する復号画像合成部と、
   して機能させることを特徴とする画像復号プログラム。