JP2013074304A - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム - Google Patents

画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム Download PDF

Info

Publication number
JP2013074304A
JP2013074304A JP2011209417A JP2011209417A JP2013074304A JP 2013074304 A JP2013074304 A JP 2013074304A JP 2011209417 A JP2011209417 A JP 2011209417A JP 2011209417 A JP2011209417 A JP 2011209417A JP 2013074304 A JP2013074304 A JP 2013074304A
Authority
JP
Japan
Prior art keywords
prediction
image
prediction unit
subject
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011209417A
Other languages
English (en)
Other versions
JP5711636B2 (ja
Inventor
Shinya Shimizu
信哉 志水
Hideaki Kimata
英明 木全
Shiori Sugimoto
志織 杉本
Nobuhiko Matsuura
宣彦 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011209417A priority Critical patent/JP5711636B2/ja
Publication of JP2013074304A publication Critical patent/JP2013074304A/ja
Application granted granted Critical
Publication of JP5711636B2 publication Critical patent/JP5711636B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】被写体に応じて少ない符号量で表現し、効率的な画像符号化を実現する。
【解決手段】画像を所定の大きさの処理領域に分割し、画像における被写体の距離情報を表したデプスマップに基づき処理領域毎に予測符号化を行うために、処理領域に対応する距離情報に基づき、処理領域内の画素群を複数に分割した予測ユニットに分割し、複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成し、予測ユニット毎に、境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成し、被写体内予測ユニットおよび境界予測ユニット毎に、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する画像を予測する方法を設定し、設定された予測方法を示す情報を符号化し、設定された予測方法に従って、処理領域の画像の予測画像を生成し、予測画像を用いて処理領域の画像を予測符号化する。
【選択図】図１

Description

本発明は、画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムに関する。
従来から、撮影空間内でのカメラの位置や向き（以下、視点と称する）をユーザが自由に指定することができる自由視点画像が知られている。自由視点画像では、ユーザが任意の視点を指定するため、その全ての可能性に対して画像を保持しておくことは不可能である。そのため、自由視点画像は、指定された視点の画像を生成するのに必要な情報群によって構成される。自由視点画像は様々なデータ形式を用いて表現されるが、最も一般的な形式として画像とその画像に対するデプスマップ（距離画像）を用いる方式がある（例えば、非特許文献１参照）。ここで、デプスマップとは、カメラから被写体までのデプス（距離）を画素ごとに表現したものであり、被写体の三次元的な位置を表現している。デプスは２つのカメラ間の視差の逆数に比例しているため、ディスパリティマップ（視差画像）と呼ばれることもある。コンピュータグラフィックスの分野では、デプスはＺバッファに蓄積された情報となるため、Ｚ画像やＺマップと呼ばれることもある。
なお、カメラから被写体までの距離の他に、表現対象空間上に張られた三次元座標系のＺ軸に対する座標値をデプスとして用いることもある。一般に、撮影された画像に対して水平方向をＸ軸、垂直方向をＹ軸とするため、Ｚ軸はカメラの向きと一致するが、複数のカメラに対して共通の座標系を用いる場合など、Ｚ軸がカメラの向きと一致しない場合もある。以下では、距離・Ｚ値を区別せずにデプスと呼び、デプスを画素値として表した画像をデプスマップと呼ぶ。ただし、厳密にはディスパリティマップでは基準となるカメラ対を設定する必要がある。
デプスを画素値として表す際に、物理量に対応する値をそのまま画素値とする方法と、最小値と最大値の間をある数に量子化して得られる値を用いる方法と、最小値からの差をあるステップ幅で量子化して得られる値を用いる方法がある。表現したい範囲が限られている場合には、最小値などの付加情報を用いる方がデプスを高精度に表現することができる。また、等間隔に量子化する際に、物理量をそのまま量子化する方法と物理量の逆数を量子化する方法とがある。距離の逆数は視差に比例した値となるため、距離を高精度に表現する必要がある場合には、前者が使用され、視差を高精度に表現する必要がある場合には、後者が使用されることが多い。以下では、デプスの画素値化の方法や量子化の方法に関係なく、デプスが画像として表現されたものを全てデプスマップと呼ぶ。
デプスマップは、各画素が１つの値を持つ画像として表現されるため、グレースケール画像とみなすことができる。また、被写体が実空間上で連続的に存在し、瞬間的に離れた位置へ移動することができないため、画像信号と同様に空間的相関および時間的相関を持つと言える。したがって、通常の画像信号や映像信号を符号化するために用いられる画像符号化方式や動画像符号化方式によって、デプスマップやその動画像（デプスビデオ）を空間的冗長性や時間的冗長性を取り除きながら効率的に符号化することが可能である。
ここで、一般的な画像符号化について説明する。画像符号化では、被写体が空間的に連続しているという特徴を利用して効率的な符号化を実現するために、画像をマクロブロックと呼ばれる処理単位ブロックに分割し、マクロブロックごとにその画像信号を空間的または時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化する。画像信号を空間的に予測する場合は、例えば空間的な予測の方向を示す情報が予測情報となり、時間的に予測する場合は、例えば参照する画像を示す情報とその画像中の位置を示す情報とが予測情報となる。
画像信号の空間相関や時間相関は被写体やテクスチャに依存したものであるため、Ｈ．２６４／ＡＶＣに代表される近年の動画像符号化では、マクロブロックごとに画像信号にあわせて更に細かいブロックへの分割を可能にする可変ブロックサイズを採用することで、ブロック分割の柔軟性の低いＭＰＥＧ−２やＭＰＥＧ−４ ＡＳＰよりも効率的な符号化を実現している（Ｈ．２６４／ＡＶＣの詳細については、例えば、非特許文献２参照）。
画像とデプスマップとで構成される自由視点画像の符号化においては、どちらも空間相関と時間相関を持つことから、通常の画像符号化方式や動画像符号化方式を用いて、それぞれを符号化することでデータ量を削減できる。例えばＭＰＥＧ−Ｃ Ｐａｒｔ．３を用いて、画像とそれに対するデプスマップを表現する場合は、それぞれを既存の動画像符号化方式を用いて符号化している。
また、画像とデプスマップとを一緒に符号化する際に、同じ被写体や空間に対する情報であることから、その間に存在する相関を利用することで、効率的な符号化を実現する方法がある。非特許文献３や非特許文献４では、画像やデプスマップを符号化する際に用いる予測情報（ブロック分割や動きベクトル）を共通化し重複して符号化することを避けることで、効率的な符号化を実現している。なお、非特許文献３では、画像とデプスマップの両方を鑑みて１つの予測情報を生成して共通利用するのに対し、非特許文献４では、画像を符号化する際に生成された予測情報に対して、必要に応じた修正を加えてデプスマップを符号化する際に利用する。
Y. Mori, N. Fukusima, T. Fuji, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV ",In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008. Rec. ITU-T H.264,"Advanced video coding for generic audiovisual services", March 2009. I. Daribo, C. Tillier, and B. P. Popescu, "Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding," EURASIP Journal on Advances in Signal Processing, vol. 2009, Article ID 258920, 13 pages, 2009. H. Oh, Y.-S. Ho, "H.264-based depth map sequence coding Using Motion Information of Corresponding Texture Video," Springer Berlin/Heidelberg, Advances in Image and Video Technology, vol. 4319, 2006.
上述した可変ブロックサイズによる画像信号の予測によって、被写体の形状に応じて単一の方法で予測画像を生成するブロックの大きさを変化させることでより精度の高い予測を実現し、画像信号とデプスとで構成される自由視点画像を高効率に圧縮符号化することができる。しかしながら、被写体の形状は様々であり、規則的な分割ルールに従ったブロック分割を行う従来方式では、被写体に応じた正確なブロック分割を行う場合には、細かいブロック分割が必要となってしまう。細かいブロック分割を用いることで、画像信号やデプスの予測精度を向上することが可能だが、ブロックの分割方法を示す情報やブロックごとの予測方法を示す情報の量が膨大になり、トータルとして符号化効率を悪化させてしまう。そのため、上述したＨ．２６４／ＡＶＣでは、４画素ｘ４画素のブロックが最小ブロックサイズとされている。
非特許文献３では、画像信号やデプスの予測値を決定するのに必要なブロック分割や動きベクトルなどの予測情報を、画像とデプスマップとで共有することで、符号化しなくてはならない予測情報の総量を減らし、効率的な符号化を実現しようとしている。この方法を用いることで、画像とデプスマップのそれぞれで予測信号を符号化する場合に比べて、符号量を削減することができている。しかしながら、規則的な分割ルールに従ったブロック分割を使うため、被写体に応じた正確なブロック分割を行うことは不可能であるか、可能であっても大量の符号量を必要とし、効率的な符号化を実現することができない。また、両方に適したブロック分割を求めるということは、それぞれに対して最適なブロック分割を足し合わせて作られるブロック分割を使用することになる。すなわち、単独で符号化する場合に比べて過度に分割したブロックを用いることになるため、画像とデプスマップとで予測方法も含めて完全に共有できない場合は、無駄な符号量が生じることになる。
一方、非特許文献４では、画像に対する予測情報からデプスマップに対する予測情報を予測することで、画像とデプスマップ間の予測情報についての冗長性を取り除き、効率的な符号化を実現しようとしている。この方法では、画像とデプスマップとで異なるブロック分割を用いることができるようになるため、過度なブロック分割が生じてしまう懸念を回避している。しかしながら、この方式でも、規則的な分割ルールに従ったブロック分割を使うため、被写体に応じた正確なブロック分割を行うことは不可能であるか、可能であっても大量の符号量を必要とし、効率的な符号化を実現することができない。
本発明は、このような事情に鑑みてなされたもので、画像とデプスマップとを構成要素に持つ自由視点画像データの符号化において、効率的な画像符号化を実現する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムを提供することを目的とする。
本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成ステップと、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成ステップと、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップとを有することを特徴とする。
本発明は、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップをさらに有し、前記予測方法設定ステップは、前記予測候補集合設定ステップで設定された候補集合の中から、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の前記画像を予測する方法を選択し、前記予測情報符号化ステップは、前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで選択された予測方法を示す情報を符号化することを特徴とする。
本発明は、前記予測候補集合設定ステップは、前記境界予測ユニットに対して、前記予測ユニットの境界線に沿って、隣接する既に符号化済みの画素から予測を行う方法を含む候補集合を生成することを特徴とする。
本発明は、前記予測候補集合設定ステップは、前記境界予測ユニットに対して、隣接する前記被写体内予測ユニットの予測画像または復号画像を用いて予測を行う方法を含む候補集合を生成することを特徴とする。
本発明は、前記予測情報符号化ステップは、前記予測候補集合設定ステップで設定された候補集合に２つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに対してのみ、前記予測方法設定ステップで選択された予測方法を示す情報を符号化することを特徴とする。
本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、当該予測ユニットに対して前記予測候補集合設定ステップで設定された候補集合の中から、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップとを有することを特徴とする。
本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成ステップと、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成ステップと、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有することを特徴とする。
本発明は、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップをさらに有し、予測方法復号ステップは、前記予測候補集合設定ステップで設定された前記候補集合を用いて、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法を復号することを特徴とする。
本発明は、前記予測候補集合設定ステップは、前記境界予測ユニットに対して、前記予測ユニットの境界線に沿って、隣接する既に復号済みの画素から予測を行う方法を含む候補集合を生成することを特徴とする。
本発明は、前記予測候補集合設定ステップは、前記境界予測ユニットに対して、隣接する前記被写体内予測ユニットの予測画像または復号画像を用いて予測を行う方法を含む前記候補集合を生成することを特徴とする。
本発明は、前記予測情報復号ステップは、前記予測候補集合設定ステップにおいて設定された前記候補集合に２つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに対してのみ、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号し、前記予測画像生成ステップは、前記予測候補集合設定ステップにおいて設定された前記候補集合に２つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに含まれる画素では、前記予測情報復号ステップで復号された予測方法に従って予測画像を生成し、前記予測候補集合設定ステップで設定された前記候補集合に１つの予測方法の候補のみ存在する前記被写体内予測ユニットまたは前記境界予測ユニットに含まれる画素では、前記候補集合に含まれる予測方法に従って予測画像を生成することを特徴とする。
本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、前記予測候補集合設定ステップで当該予測ユニットに対して設定された前記候補集合を用いて、前記符号データから、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有することを特徴とする。
本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割手段と、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成手段と、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成手段と、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化手段とを備えたことを特徴とする。
本発明は、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定手段をさらに備え、前記予測方法設定手段は、前記予測候補集合設定手段において設定された候補集合の中から、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の前記画像を予測する方法を選択し、前記予測情報符号化手段は、前記予測候補集合設定手段において設定された候補集合を用いて、前記予測方法設定手段において選択された予測方法を示す情報を符号化することを特徴とする。
本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、当該予測ユニットに対して前記予測候補集合設定ステップで設定された候補集合の中から、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップとを有することを特徴とする。
本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号装置であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割手段と、前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成手段と、前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成手段と、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、前記予測方法復号手段において復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号手段とを有することを特徴とする。
本発明は、前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定手段をさらに有し、予測方法復号手段は、前記予測候補集合設定手段において設定された前記候補集合を用いて、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法を復号することを特徴とする。
本発明は、画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、前記予測ユニットごとに、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、前記予測ユニットごとに、前記予測候補集合設定ステップで当該予測ユニットに対して設定された前記候補集合を用いて、前記符号データから、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有することを特徴とする。
本発明は、前記画像符号化方法をコンピュータに実行させるための画像符号化プログラムである。
本発明は、前記画像復号方法をコンピュータに実行させるための画像復号プログラムである。
本発明によれば、画像信号がその画像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に、被写体依存のデータを用いて対応する領域の画像信号を符号化する際のブロック分割を決定することで、被写体に応じた任意形状のブロック分割を表現するための符号量を削減することが可能となる。更に、ブロックごとに異なる画像信号の予測方法の候補集合を準備することで、被写体に依存する相関を利用し、画像信号の予測精度の向上に伴う予測残差の符号量や、予測方法を示す情報の符号量を削減することが可能となる。これらの結果、効率的な画像符号化を実現することができるようになるという効果が得られる。
第１実施形態による画像符号化装置の構成を示すブロック図である。 第１実施形態による画像符号化装置の処理フローチャートである。 被写体マップの例を示す図である。 拡張被写体マップの例を示す図である。 第２実施形態による画像符号化装置の構成を示すブロック図である。 第２実施形態による画像符号化装置の処理フローチャートである。 境界予測ユニットとその参照画素の例を示す図である。 境界予測ユニットとその参照画素の別の例を示す図である。 第３実施形態による画像復号装置の構成を示すブロック図である。 第３実施形態による画像復号装置の処理フローチャートである。 第４実施形態による画像復号装置の構成を示すブロック図である。 第４実施形態による画像復号装置の処理フローチャートである。 画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。 画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。
以下、本発明の一実施形態を、図面を参照して説明する。
〔第１実施形態：画像符号化装置〕
まず、本発明の第１実施形態による画像符号化装置を説明する。図１は、本発明の第１実施形態による画像符号化装置の構成を示すブロック図である。図１に示すように、画像符号化装置１００は、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、デプスマップ入力部１０３、デプスマップメモリ１０４、被写体数決定部１０５、被写体マップ生成部１０６、拡張被写体マップ生成部１０７、予測画像生成部１０８、予測情報符号化部１０９、画像信号符号化部１１０、画像信号復号部１１１、復号画像メモリ１１２、および多重化部１１３を備えている。
符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下は、この符号化対象となる画像のことを符号化対象画像と呼ぶ。符号化対象画像メモリ１０２は、入力された符号化対象画像を記憶する。デプスマップ入力部１０３は、符号化対象画像に対応するデプスマップを入力する。このデプスマップは符号化対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ１０４は、入力されたデプスマップを記憶する。被写体数設定部１０５は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部１０６は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。拡張被写体マップ生成部１０７は、画像信号の予測を行う単位領域（予測ユニット）を決定する。
予測画像生成部１０８は、予測画像候補を生成する機能と、予測画像を評価する機能を有し、符号化対象画像を用いて、予測ユニットごとに画像信号の予測方法を決定し、予測画像を生成する。予測情報符号化部１０９は、予測画像生成部で決定した画像信号の予測方法を示す情報を符号化する。画像信号符号化部１１０は、生成された予測画像を用いて、符号化対象画像を予測符号化する。画像信号復号部１１１は、生成された予測画像を用いて、生成された符号データを復号して復号画像を生成する。復号画像メモリ１１２は、生成された復号画像を記憶する。多重化部１１３は、予測情報の符号データと、画像信号の符号データを多重化して出力する。
次に、図２を参照して、図１に示す装置の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。まず、符号化対象画像入力部１０１は符号化対象画像Ｏｒｇを入力し、符号化対象画像メモリ１０２に記憶する。一方、デプスマップ入力部１０３は、符号化対象画像Ｏｒｇに対応するデプスマップＤを入力し、デプスマップメモリ１０４に記憶する（ステップＳ１０１）。ここで入力するデプスマップは、既に符号化済みのデプスマップを復号したものなど、復号側で得られるデプスマップとする。これは、復号装置で得られる情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されてもよい。その他の復号側で得られるデプスマップの例としては、別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや、別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。
なお、符号化対象画像の各画素に対するデプス情報が得られれば、デプスマップの解像度は符号化対象画像と異なっていても構わない。符号化対象画像とデプスマップとで解像度が異なる場合は、デプスマップに対してアップサンプリングやダウンサンプリングといった解像度変換処理を行うことで、符号化対象画像の各画素に対するデプス情報が得られるようにしても構わないし、符号化対象画像の各画素に対する対応関係を内部的に保持し、解像度変換処理を行わずに処理を行っても構わない。
次に、符号化対象画像とデプスマップの入力が終了したら、符号化対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、符号化対象画像の画像信号を符号化する（ステップＳ１０２〜Ｓ１１５）。すなわち、符号化対象領域インデックスをｂｌｋ、総符号化対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ１０２）、その後、ｂｌｋに１を加算しながら（ステップＳ１１４）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１１５）、以下の処理（ステップＳ１０３〜ステップＳ１１３）を繰り返す。なお、一般的な符号化では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、復号側と同じであればその他の大きさのブロックに分割してもよい。
符号化対象領域ごとに繰り返される処理において、まず、被写体数設定部１０５は、符号化対象領域ｂｌｋに含まれる被写体の数（被写体数ｎｕｍＯｂｊｓ）を決定する（ステップＳ１０３）。被写体数は復号側が同じ値を得られる処理であれば、どのような処理を用いて設定してもよい。例えば、常に予め定められた数を設定すればよい。また、符号化対象領域ごとに異なる値を被写体数として設定してもよい。符号化対象領域ごとに異なる値を設定する方法としては、符号化後の画質を決定するパラメータに基づいて設定する方法がある。Ｈ．２６４／ＡＶＣなどでは量子化パラメータＱＰと呼ばれるものが画質を決定するパラメータである。このパラメータに基づいて、高品質に符号化する（量子化パラメータＱＰが小さい）場合は大きな数の被写体数を設定し、低品質に符号化する（量子化パラメータＱＰが大きい）場合は小さな数の被写体数を設定する。
さらに、画質を決定するパラメータのほかに、そのブロックにおけるデプスマップの値の分布も使用して決定してもよい。例えば、高品質に符号化する（量子化パラメータＱＰが小さい）場合でも、デプスマップの値の分布範囲が狭い場合は被写体数に小さな数を設定し、低品質に符号化する（量子化パラメータＱＰが大きい）場合でも、デプスマップの値の分布範囲が広い場合は被写体数に大きな数を設定してもよい。また、デプスマップの値が主に背景に分布している場合は被写体数を小さくし、前景に分布している場合は被写体数を大きくしてもよい。
符号化対象領域ごとに異なる値を被写体数として設定する別の方法としては、符号化対象領域に対するデプスマップに従って被写体数を設定する方法がある。具体的には、符号化対象領域に対するデプスマップの各画素をｋ−ｍｅａｎｓ法やＡｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎなどのクラスタリング手法を用いて、各クラスタ内のデプス値分散が予め定められた値以下になるクラスタリング結果のうち、最小のクラスタ数を被写体数にする方法がある。クラスタリングに用いる尺度としては、デプス値のみを用いてもよいし、デプス値と画素位置とからなる値を用いてもよい。
なお、クラスタリング結果を評価する際に、各クラスタ内のデプス値の分散ではなく、各クラスタ内のデプスを定数または平面で近似した際の誤差量を用いる方法もある。このような評価をすることで、カメラの向きに対して鉛直に存在する被写体だけでなく、斜めになっている被写体を正しく識別することが可能になる。
符号化対象領域ごとに異なる被写体数を推定して設定する場合、被写体数が大きくなると符号化効率が低下する場合があるため、被写体数の最大値を予め定めておき、被写体数が一定値以上になるのを防いでもよい。
更に別の方法として、被写体数を導出する際に符号化対象画像等の復号側では得られない情報を用いて設定し、設定した被写体数を符号化して伝送してもよい。例えば、複数の被写体数の候補値に対して、発生符号量と符号化によって生じる歪み量の重み付き和で表されるレート歪みコストなどの符号化効率を評価する尺度を計算し、最も符号化効率が高いと判断された被写体数を選ぶ方法がある。この場合は、画像符号化装置は被写体数を符号化する被写体数符号化部を有し、被写体数を設定した後に被写体数を符号化するステップを有し、後述する多重化ステップ（ステップＳ１１２）では被写体数を示す符号データを一緒に多重化する。このとき、被写体数に対する符号語をコンパクトに設計するために、被写体数として取りえる数を制限してもよい。なお、被写体数を符号化する際には、デプスマップや隣接する符号化済みブロックの画像情報を用いて被写体数を予測して、予測誤差のみを符号化してもよい。
被写体数を予測する方法としては、復号側で同じ処理を行うことが可能であれば、どのような処理を用いてもよい。例えば、前述のように符号化対象ブロックやその周辺のデプスマップに対してクラスタリングを適用することで得られる値を予測値とする方法や、それらデプスマップの値に加えて符号化対象ブロック周辺の既に符号化済みのブロックに対する復号画像信号を用いてクラスタリングを適用することで得られる値を予測値とする方法や、符号化対象ブロック周辺の既に符号化済みのブロックにおける被写体数や領域分割数に対して、平均値や中央値などの数値計算を適用することで得られる値を予測値とする方法がある。
次に、被写体数の設定が終了したら、符号化対象領域ｂｌｋに対して拡張被写体マップを生成する（ステップＳ１０４）。ここで、被写体マップとは、ブロック内の各画素にどの“被写体”が存在しているかを示したものであり、符号化対象領域ｂｌｋの各画素に対して、０からｎｕｍＯｂｊｓ−１までの値で表される被写体識別子（番号）を割り当てたものである。どのように表現をしてもよいが、最も単純な表現を用いる場合は、図３に示す２次元情報として表現できる。また、拡張被写体マップとは、被写体マップを拡張したものであり、被写体だけでなく、被写体の境界領域に別の被写体識別子を割り当てたものである。例えば、図３に対しては、図４が拡張被写体マップの一例となる。なお、図４の拡張被写体マップでは、被写体０と被写体１の境界部分と、被写体１と被写体２の境界部分とに対して、異なる被写体識別子を付与したが、同じ被写体識別子を割り当ててもよい。
拡張被写体マップを直接生成してもよいが、被写体マップを生成した後に境界部分を見つけて拡張被写体マップを生成してもよい。ただし、図１で示した画像符号化装置１００は、デプスマップから被写体マップ生成部１０６が被写体マップを生成した後に、この被写体マップから拡張被写体マップ生成部１０７が拡張被写体マップを生成する場合の構成図であり、デプスマップから拡張被写体マップを直接生成する場合は、被写体マップ生成部１０６は不要であり、デプスマップメモリ１０４と被写体数決定部１０５の出力が拡張被写体マップ生成部１０７に入力されることになる。なお、被写体マップを生成する方法や、そこから境界領域を見つける方法にも任意の手法を用いることができる。ただし、ここでの処理は復号側でも同じ処理が行える必要がある。
例えば、被写体マップは、符号化対象領域に対するデプスマップの各画素をｋ−ｍｅａｎｓ法やＡｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎなどのクラスタリング手法を用いて、ｎｕｍＯｂｊｓ個のクラスタに分類し、同じクラスタ内の画素が全て同じ被写体識別子を持ち、別のクラスタ内の画素とは必ず異なる被写体識別子を持つように、被写体識別子を割り振ることで生成される。クラスタリングに用いる尺度としては、デプス値のみを用いてもよいし、デプス値と画素位置とからなる値を用いてもよい。ただし、使用するクラスタリング手法や尺度は復号側と同じものを用いる必要がある。
クラスタリングが終了し、各クラスタへの被写体識別子を割り振る際も、復号側と同じで、与えられたクラスタリング結果に対して単一の割り振りができるのであれば、どのような方法を用いてもよい。例えば、より上の行の画素を含むクラスタほど小さな値の被写体識別子を持ち、クラスタに含まれる画素の最も上の行が同じクラスタ間では、より左の列の画素を含むクラスタほど小さな値の被写体識別子を持つように、値を割り振ることで曖昧性のない被写体識別子の割り振りを行うことができる。なお、被写体数を決定する際にクラスタリングを行っている場合には、ここで再度クラスタリングを行わず、その結果を利用から被写体マップを生成することが可能である。
被写体マップの境界領域を別の領域として設定する方法としては、被写体マップのエッジを抽出し、エッジから一定の距離の画素を境界領域として設定する方法がある。なお、基準となる距離は予め固定の値を割り当ててもよいし、ブロックごとに可変の値を設定してもよい。復号側で得られない値を用いる場合は、設定した値を符号化して伝送する。別の方法としては、各画素に対して自身と近傍画素を調べ、その状態に応じて境界領域の情報を設定する方法もある。図４の拡張被写体マップは、図３の被写体マップに対して、隣接４近傍と自身からなる５画素の集合において、単一の被写体識別子しかない場合は、その被写体識別子を割り当て、０と１が存在する場合には３を、０と２が存在する場合には４を、１と２が存在する場合には５を、０と１と２が存在する場合には６を割り当てて生成したものである。なお、調べる近傍画素の数等は固定のものを用いてもよいし、可変のものを用いてもよい。可変にする場合で、復号側でそのパラメータを別の情報から導出できない場合は、パラメータを符号化して伝送する。
なお、被写体マップを符号化対象領域ｂｌｋだけでなく、その周辺も含めて作成し、そこから符号化対象領域ｂｌｋの拡張被写体マップを作成してもよい。この場合、符号化処理領域の境界部分が被写体境界と一致している場合でも、境界領域を設定可能である。ただし、その場合は被写体数も被写体マップを作成する範囲と同じ範囲で作成する必要がある。また、被写体数が１の場合は境界領域が存在しないため、被写体マップを拡張被写体マップとして生成することになる。
また、本実施形態では、この後の処理で拡張被写体マップにおける被写体識別子の値が小さい順に予測処理を行うものとしている。そのため、拡張被写体マップを生成した後に、予め定められた規則に従って、被写体識別子の値を予測順に変更してもよい。ただし、同様の順序付けが復号側でも行える必要がある。拡張被写体マップが得られたら、その結果から予測ユニット数ｎｕｍＰＵｓを計算する。予測ユニット数とは、単一の予測方法で画像信号を予測する画素集合（予測ユニット）の数であり、被写体マップと拡張被写体マップが同じ場合は、予測ユニット数は被写体数と等しい。
予測ユニット数が得られたら、予測ユニットごとに画像信号の予測を行う（ステップＳ１０５〜Ｓ１１０）。すなわち、予測ユニットのインデックスをｐｕで表すとすると、ｐｕを０で初期化し（ステップＳ１０６）、その後、ｐｕに１を加算しながら（ステップＳ１０９）、ｐｕがｎｕｍＰＵｓになるまで（ステップＳ１１０）、予測ユニットｐｕ（すなわち、拡張被写体マップ上の対応する位置の被写体識別子がｐｕである画素群）に対する符号化対象画像の画像信号の予測画像を生成する方法を決定して予測画像を生成する処理（ステップＳ１０７）と、予測画像を生成する方法を示すための情報を符号化する処理（ステップＳ１０８）とを交互に繰り返す。
予測画像生成法の決定と予測画像の生成は、予測画像生成部１０８が行う。予測画像を生成する方法を決定する方法には、どのようなものを用いてもよい。ただし、符号化効率を最大化する場合は、各予測画像生成法による画像信号の予測効率を評価し、その予測効率が最大になるものを探し出したほうがよい。すなわち、ある予測画像生成法ｍでの予測効率の評価値をＥ（ｍ）とするとき、次の式で与えられるＭｂｌｋ，ｐｕを、予測ユニットｐｕに対する符号化対象画像の予測画像を生成する方法に決定する。
Figure 2013074304
なお、Ｅ（ｍ）の値は大きいほど予測効率が高いことを示しており、ａｒｇｍａｘは与えられた関数を最大化するパラメータを求める処理を示す。導出するパラメータはａｒｇｍａｘの下部で与えられる。Ｍｏｄｅは使用可能な予測方法の集合であり、復号側で同じ方法が使用可能であれば、どのような方法が含まれていてもよいし、その集合の大きさがいくつであってもよい。例えば、Ｈ．２６４／ＡＶＣのイントラ予測のように、８つ異なる予測方向に従ったイントラ予測、隣接画素の復号画像の平均値で予測画像を生成するＤＣ予測、グラデーションを想定して隣接画素を線形補間することで予測画像を生成するＰｌａｎｅ予測からなる集合を用いてもよい。
また、文献：「K. McCann, W.-J. Han, and I. Kim, “Samsung's Response to the Call for Proposals on Video Compression Technology”, Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A124, April 2010.」のようにさらに多数の予測方向を集合に加えてもよい。また、文献：「K. Ugur, K. R. Andersson, and A. Fuldseth,“Description of video coding technology proposal by Tandberg, Nokia, Ericsson”, Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A119, April 2010.」のように先に一部分を符号化し、その情報を用いて双方向予測を行う方法を集合に加えてもよい。
更に、画面内予測方法だけでなく、時間的に連続する複数枚の画像（動画像）や異なる位置に置いたカメラで同一シーンを撮影した複数枚の画像（多視点画像）やその動画像（多視点動画像）を符号化する場合は、符号化済みの画像から予測画像を生成する画面間予測方法を使用してもよい。画面間予測では、参照する画像を示す情報と、その参照する画像上の領域を指定するベクトル情報との組で１つの予測画像生成法となる。
予測効率の評価値Ｅ（ｍ）としては、任意のものを使用することが可能であるが、たとえば、次の式で表される符号化対象画像と予測画像とのＳＡＤ（差分絶対値和）やＳＳＤ（差分二乗和）を用いてもよい。
Ｅ（ｍ）＝−Σｐ｜Ｏｒｇ［ｐ］−Ｐｒｅｄｍ［ｐ］｜ ・・・（２）
Ｅ（ｍ）＝−Σｐ（Ｏｒｇ［ｐ］−Ｐｒｅｄｍ［ｐ］）２ ・・・（３）
ここで、Ｐｒｅｄｍは予測画像生成法ｍに従って生成された予測画像を示す。Σｐは領域ｂｌｋの内部で被写体マップによって示される被写体識別子がｏｂｊである画素全てについての和を表している。これら以外に符号化対象画像と予測画像の差分値をＤＣＴやアダマール変換などを用いて変換した値を用いた方法がある。
その変換を行列Ａで表すと、（４）式で表すことができる。なお、‖Ｘ‖はＸのノルムを表す。
Ｅ（ｍ）＝−‖Ａ・（Ｏｒｇ［ｂｌｋ］−Ｐｒｅｄｍ［ｂｌｋ］）‖ ・・・（４）
ただし、この場合変換に用いる全ての画素（上記の式の場合は領域ｂｌｋ全体）についての予測画像が必要となるため、全ての被写体識別子に対して予測画像生成方法を仮定して評価する必要がある。
また、上記のように符号化対象画像と予測画像との乖離度のみを評価する方法ではなく、発生する符号量と歪み量を鑑みたＲＤコストを用いてもよい。ここで用いるＲＤコストは、Ｐｒｅｄｍを予測画像として、Ｏｒｇを符号化した際の符号量Ｒ（ｍ）と歪み量Ｄ（ｍ）とを用いて、次の式で表すことができる。なお、λはラグランジュの未定乗数であり、予め定められた値を用いる。
Ｅ（ｍ）＝−Ｄ（ｍ）−λＲ（ｍ） ・・・（５）
予測画像の生成法を示す情報の符号化は予測情報符号化部１０９が行う。符号化する方法には、どのような方法を使用してもよい。ただし、正しく復号するためには、復号側で行う処理に対応させる必要がある。例えば、Ｍｂｌｋ，ｐｕを予め定められたテーブルを用いて符号化してもよいし、Ｍｂｌｋ，ｐｕを予め定められたテーブルを用いて２値化した後に、周辺の符号化結果を考慮した２値算術符号化によって符号化してもよい。なお、本実施形態１では被写体識別子ｐｕごとに符号化しているが、符号化対象領域ｂｌｋごとにまとめて符号化してもよいし、画像全体でまとめて符号化してもよい。その場合、Ｍｂｌｋ，ｐｕを記憶しておくことで、予測情報の符号化処理を符号化対象領域ｂｌｋごとの１度だけ行われる処理や、画像全体で１度だけ行われる処理とすることができる。
次に、符号化対象領域ｂｌｋに対する予測画像の生成が終わったら、画像信号符号化部１１０は、得られた予測画像を用いて符号化対象画像Ｏｒｇの符号化対象領域ｂｌｋにおける画像信号を符号化する（ステップＳ１１１）。符号化にはどのような方法を用いてもよい。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化では、ブロックｂｌｋの画像信号と予測画像との差分信号（Ｏｒｇ［ｂｌｋ］−Ｐｒｅｄ［ｂｌｋ］）に対して、ＤＣＴなどの周波数変換、量子化、２値化、エントロピー符号化を順に施すことで符号化を行う。
次に、画像信号復号部１１１は、符号化結果として得られた符号データと予測画像とを用いて、ブロックｂｌｋに対する画像信号を復号し、復号結果であるところの復号画像Ｄｅｃ［ｂｌｋ］を復号画像メモリ１１２に記憶する（ステップＳ１１２）。ここでは、符号化時に用いた手法に対応する手法を用いる。例えば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化であれば、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施し、得られた２次元信号に対して予測信号を加え、最後に画素値の値域でクリッピングを行うことで画像信号を復号する。なお、符号化側での処理がロスレスになる直前のデータと予測画像を受け取り、簡略化した復号処理によって復号処理を行っても構わない。つまり、前述の例であれば符号化時に量子化処理を加えた後の値と予測画像を受け取り、その量子化後の値に逆量子化、周波数逆変換を順に施して得られた２次元信号に対して予測画像を加え、画素値の値域でクリッピングを行うことで映像信号を復号しても構わない。復号して得られた画像信号は、他のブロックを符号化する際の予測画像を生成するために用いられる。
次に、多重化部１１３は、予測画像生成法を示す情報の符号データと、画像信号の符号データとを多重化して出力する（ステップＳ１１３）。なお、ここではブロックごとに多重化しているが、フレーム単位で多重化してもよい。ただし、その場合には、復号時に１フレーム分の符号データをバッファリングしてから復号する必要が生じる。また、復号画像を生成した後に多重化しているが、画像信号の符号化が終了した直後に多重化してもよい。
〔第２実施形態：画像符号化装置〕
次に、本発明の第２実施形態による画像符号化装置を説明する。図５は、本発明の第２実施形態による画像符号化装置の構成を示すブロック図である。図５に示すように、画像符号化装置２００は、符号化対象画像入力部２０１、符号化対象画像メモリ２０２、デプスマップ入力部２０３、デプスマップメモリ２０４、被写体数決定部２０５、被写体マップ生成部２０６、拡張被写体マップ生成部２０７、予測方法集合生成部２０８、予測画像生成部２０９、予測情報符号化部２１０、画像信号符号化部２１１、画像信号復号部２１２、復号画像メモリ２１３、および多重化部２１４を備えている。
符号化対象画像入力部２０１は、符号化対象画像を入力する。符号化対象画像メモリ２０２は、入力された符号化対象画像を記憶する。デプスマップ入力部２０３は、符号化対象画像に対応するデプスマップを入力する。このデプスマップは符号化対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ２０４は、入力されたデプスマップを記憶する。被写体数設定部２０５は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部２０６は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。拡張被写体マップ生成部２０７は、画像信号の予測を行う単位領域（予測ユニット）を決定する。
予測方法集合生成部２０８は、予測ユニットごとに使用可能な予測画像の生成方法の集合を設定する。予測画像生成部２０９は、予測画像候補生成機能、予測画像評価機能を有し、符号化対象画像を用いて、予測ユニットごとに画像信号の予測方法を決定し、予測画像を生成する。予測情報符号化部２１０は、予測画像生成部で決定した画像信号の予測方法を示す情報を符号化する。画像信号符号化部２１１は、生成された予測画像を用いて、符号化対象画像を予測符号化する。画像信号復号部２１２は、生成された予測画像を用いて、生成された符号データを復号して復号画像を生成する。復号画像メモリ２１３は、生成された復号画像を記憶する。多重化部２１４は、予測情報の符号データと、画像信号の符号データを多重化して出力する。
次に、図６を参照して、図５に示す画像符号化装置２００の動作を説明する。図６は、図５に示す画像符号化装置２００の動作を示すフローチャートである。図６示す動作が図２に示す動作と異なる点は、予測ユニットｐｕごとの処理だけであり、その他の処理は全て同じである。すなわち、図６に示すステップＳ２０１〜Ｓ２０６、および、ステップＳ２１０〜Ｓ２１６は、図２に示すステップＳ１０１〜Ｓ１０６、および、ステップＳ１０９〜Ｓ１１５とそれぞれ同じである。以下、予測ユニットｐｕごとに行われる処理のみを説明する。
予測ユニットｐｕごとに行われる処理では、まず予測ユニットｐｕに対して、予測方法集合生成部２０８は、画像信号の予測方法の候補集合を設定する（ステップＳ２０７）。どのような方法を用いて候補集合を設定してもよいが、復号側でも同じ処理が行える必要がある。すなわち、ここでは拡張被写体マップやデプスマップと既に符号化済み領域の復号画像とが使用できる情報となる。この処理で被写体によって異なる相関や性質を反映させた候補集合を設定することで、予測精度を向上させることが可能となる。また相関や性質を鑑みて候補の絞込みが可能であれば、予測方法を示すための情報を少ない符号量で符号化できるようになる。例えば、符号化対象領域ｂｌｋ内の位置によって予測方法の候補を制限する方法がある。具体的には、符号化対象領域の最左列に接していない予測ユニットでは、水平方向のイントラ予測は被写体間の予測になるため効率的ではないと考えられるため、予測方法の候補には含めないことにしたり、符号化対象領域の最上行に接していない予測ユニットでは、鉛直方向のイントラ予測を予測方法の候補から外したりしてもよい。別の方法としては、デプスマップから既に符号化済み領域との被写体の連続性を求め、連続性が認められる向きのイントラ予測の方向を細かく選択可能にする候補を用意してもよい。
更に別の方法としては、被写体識別子がｎｕｍＯｂｊｓ未満の予測ユニット（以下、被写体内予測ユニットと称する）は被写体の内部になるが、被写体識別子がｎｕｍＯｂｊｓ以上の予測ユニット（以下、境界予測ユニットと称する）は複数の被写体の境界領域になるため、境界予測ユニットに対してのみ、その予測ユニットに接する被写体内予測ユニットの画素値に対して、距離に応じた重み付け平均を求めることによって、予測値を生成する方法を使用可能にしてもよい。通常、境界部分にある画素では複数の被写体からの光線が混ざったものがサンプリングされているため、このような予測方法を使用可能にすることで予測精度を向上することができる。また、このような特定の条件を満たす予測ユニットに特化した予測方法を追加しても、常に予測方法の候補に入れるわけではないので、被写体の内部など、この予測方法が有効でない予測ユニットでは、予測方法を示す情報（モード情報）の符号化に必要な符号量の増加を防ぐことができる。
なお、このような予測方法を可能とするためには、被写体内予測ユニットを先に予測・符号化し、その復号画像を利用して境界予測ユニットを予測するように、処理の順序を変更しなくてはならない。ただし、予測残差の符号化が予め定められた単位（以下、変換ユニットと称する）ごとに行われ、その単位に被写体内予測ユニットと境界予測ユニットが混在する場合は、境界予測ユニットの予測画像を生成する前に被写体内予測ユニットの符号化処理を終了できない。そのため、境界予測ユニットに対する予測として被写体内予測ユニットの画素から重み付け平均を取る際に、同じ変換ユニット内の画素は使用しないことにしたり、復号画像を使う代わりに予測画像や被写体ごとの予測画像の平均値を使ったりする必要がある。また、繰り返し処理によって実現する方法もある。
繰り返し処理では、まず、被写体内予測ユニットについて予測画像を生成する（ステップＳ１）。次に、境界予測ユニットについて予め定められた方法で暫定的な予測画像を生成する（ステップＳ２）。例えば、画素値の値域の中間値（灰色）や、隣接する被写体内予測ユニットの平均値、隣接する被写体内予測ユニットの予測画像を復号画像とみなして生成した予測画像などを用いてもよい。次に、得られた予測画像に従って変換ユニットに対する予測残差を生成する（ステップＳ３）。次に、予測残差の符号化および復号を行い予測残差の符号データおよび復号予測残差を得る（ステップＳ４）。次に、復号予測残差と予測画像とを用いて被写体内予測ユニットに対する復号画像を生成する（ステップＳ５）。次に、ステップＳ５で得られた被写体内予測ユニットに対する復号画像を用いて、再度、境界予測ユニットについて予測画像を生成する（ステップＳ６）。
そして、予め定められた条件に従って、ステップＳ３〜ステップＳ６を繰り返す。繰り返しが終了したら、最後に行ったステップＳ６で得られた予測画像と、ステップＳ４で得られた復号予測残差とを用いて、境界予測ユニットに対する復号画像を生成する（ステップＳ７）。なお、予め定められた繰り返し条件としては、繰り返し回数や、符号化効率の改善度、繰り返し回数と符号化効率の改善度との複合条件などを用いてもよい。繰り返し回数が多い場合は、符号化にかかる演算コストが増加するが、被写体内予測ユニットの情報をより多く利用して境界予測ユニットを予測することが可能となるため、効率のよい符号化を実現することができる。なお、上記ステップＳ１〜ステップＳ７は図６に示すステップＳ２０６〜ステップＳ２１３を置き換える形で実行されることになる。
更に別の特殊な予測画像の生成方法として、予測ユニットの形に沿って隣接する復号画像の画素値をコピーして予測画像を生成する方法を、境界予測ユニットに対してのみ使用可能にしてもよい。境界予測ユニットは、被写体間の画素となるため、一般に細長く曲がった形状の領域となる。従って、Ｈ．２６４／ＡＶＣ等の従来の画面内予測のように、一つの向きに従って予測を行った場合、別の被写体等から予測を行うことになってしまい、予測精度が悪い。そこで、境界予測ユニットについては、その形状に沿って予測を行うことで、常に同じ境界領域からの予測値の生成が可能になる。
例えば、図７のような拡張被写体マップ（灰色の画素は符号化済み画素、２および２’が境界予測ユニット）の場合、各行の境界予測ユニットに対して、（２，２’）の画素の予測値として、隣接する（ｂ，ｃ）の画素の画素値を用いてもよいし、境界予測ユニットの端での向きから、（ｃ，ｄ）の画素の画素値を用いてもよいし、別途向きの情報を符号化するとして、その向きに従ってａ〜ｄの画素の画素値の線形結合を用いてもよい。また，向きの情報を符号化せずに、隣接する符号化済み領域に対して拡張被写体マップを生成し、その情報を元に向きを決定してもよい。なお、境界予測ユニットにおける２と２’はどちらも０と１の境界に属する画素であるが、被写体マップ上で０だった画素を２とし、被写体マップ上で１だった画素を２’としている。
別の例としては、図８の拡張被写体マップのように、２箇所で符号化済み領域と接点を持っている場合は、向きの情報を指定してもよいし、２の画素についてはｅとｇの画素の画素値の線形結合で、２’の画素についてはｆとｈの画素の画素値の線形結合で予測値を生成してもよい。線形結合の重みについては全画素で固定のもの（例えば、どちらも１／２）を用いてもよいし、それぞれの符号化済み画素からの距離に基づいたものを用いてもよい。なお、距離としては画素間の距離を用いてもよいし、境界予測ユニット内を通ってｅとｇ、及び、ｆとｈを結ぶ経路上の距離を用いてもよい。
予測ユニットｐｕに対して、予測方法の候補集合が生成できたら、予測画像生成部２０９で、その候補集合の中から、予測ユニットｐｕに属する画素を予測する予測方法を１つ選択し、予測画像を生成する（ステップＳ２０８）。ここでの処理は、予測方法の候補集合が別途与えられるだけで、図２に示すステップＳ１０７と同じである。すなわち、符号化効率を最大化する場合は、前述の数式（１）において、Ｍｏｄｅとして、ステップＳ２０７で生成された予測方法の候補集合を使用して、１つの予測方法を決定し、予測画像を生成する。
予測方法が決定し、予測画像の生成ができたら、予測情報符号化部２１０は、選択された予測方法を示すための情報を符号化する（ステップＳ２０９）。この際、ステップＳ２０７で生成された予測方法の候補集合の情報を利用して設計した符号語を使用してもよい。例えば、予測方法の候補集合が２つの予測方法しか含まない場合は、１ビットの信号を符号化し、予測方法の候補集合が４つの予測方法を含む場合は、２ビットの信号を符号化し、予測方法の候補集合がＨ．２６４／ＡＶＣと同じ予測方法を全て含む場合は、Ｈ．２６４／ＡＶＣと同様の方法で符号化するようにしてもよい。特に境界予測ユニットにおいて、１種類の予測方法しか設定しない場合は、境界予測ユニットにおいては予測方法を符号化する必要がない（空ビットを符号化する）。これによって、予測方法を示す情報を符号化するのに必要な符号量を減らすことが可能となる。
〔第３実施形態：画像復号装置〕
次に、本発明の第３実施形態による画像復号装置を説明する。図９は、本発明の第３実施形態による画像復号装置の構成を示すブロック図である。図９に示すように、画像復号装置３００は、符号データ入力部３０１、符号データメモリ３０２、デプスマップ入力部３０３、デプスマップメモリ３０４、被写体数決定部３０５、被写体マップ生成部３０６、拡張被写体マップ生成部３０７、分離部３０８、予測情報復号部３０９、予測画像生成部３１０、画像信号復号部３１１、および復号画像メモリ３１２を備えている。
符号データ入力部３０１は、復号対象となる画像の符号データを入力する。以下では、この復号対象となる画像のことを復号対象画像と呼ぶ。符号データメモリ３０２は、入力された符号データを記憶する。デプスマップ入力部３０３は、復号対象画像に対応するデプスマップを入力する。このデプスマップは復号対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ３０４は、入力されたデプスマップを記憶する。被写体数設定部３０５は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部３０６は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。拡張被写体マップ生成部３０７は、画像信号の予測を行う単位領域（予測ユニット）を決定する。
分離部３０８は、入力された符号データでは多重化されている予測情報の符号データと画像信号の符号データとを分離する。予測情報復号部３０９は、画像信号の予測方法を示す情報を符号データから復号する。予測画像生成部３１０は、与えられた予測情報に従って、処理領域内の予測ユニットごとに予測画像を生成する。画像信号復号部３１１は、生成された予測画像を用いて、符号データを復号して復号画像を生成する。復号画像メモリ３１２は、生成された復号画像を記憶する。
次に、図１０を参照して、図９に示す画像復号装置３００の動作を説明する。図１０は、図９に示す画像復号装置３００の動作を示すフローチャートである。まず、符号データ入力部３０１は復号対象画像の符号データを入力し、符号データメモリ３０２に記憶する。一方、デプスマップ入力部３０３は、復号対象画像に対するデプスマップを入力し、デプスマップメモリ３０４に記憶する（ステップＳ３０１）。ここで入力されるデプスマップは、符号化時に使用したデプスマップと同じものである。これは符号化装置で使用した情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化に使用されたものとは異なるものが入力されてもよい。入力されるデプスマップとしては、例えば、別途復号されたデプスマップや、別の視点に対して復号されたデプスマップを用いて合成されたデプスマップや、別の視点に対して復号された画像群からステレオマッチング等によって推定したデプスマップなどがある。
次に、符号データとデプスマップの格納が終了したら、復号対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、復号対象画像の画像信号を符号データから復号する（ステップＳ３０２〜Ｓ３１４）。すなわち、復号対象領域インデックスをｂｌｋ、総復号対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ３０２）、その後、ｂｌｋに１を加算しながら（ステップＳ３１３）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ３１４）、以下の処理（ステップＳ３０３〜ステップＳ３１２）を繰り返す。なお、一般的な符号化方式が用いられている場合の復号処理では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、符号化側と同じであればその他の大きさのブロックに分割してもよい。
復号対象領域ごとに繰り返される処理では、まず、分離部３０８は符号データから、ブロックｂｌｋの予測情報の符号データと画像信号の符号データとを分離する（ステップＳ３０３）。なお、ここではブロックごとに分離しているが、フレーム単位など他の単位で分離してもよい。ただしフレーム単位で分離する場合は、入力された符号データではなく、分離された符号データを記憶する必要が生じる。また、ブロックごとの処理の最初に行っているが、被写体ごとに予測画像を生成する前であれば、いつ分離してもよい。
次に、被写体数設定部３０５は、復号対象領域ｂｌｋに含まれる被写体の数（被写体数ｎｕｍＯｂｊｓ）を決定する（ステップＳ３０４）。被写体数は符号化側と同じ処理であれば、どのような処理を用いて設定してもよい。すなわち、ここでの処理は図２に示すステップＳ１０３と同じである。なお、被写体数が符号化されて符号データに含まれている場合は、符号データを分離する際に、被写体数に対する符号データも分離し、その符号データを復号することで被写体数を設定する。また、隣接する復号済みブロックの情報を用いて被写体数が予測符号化されている場合は、予め定められた符号化側と同じ処理によって被写体数の予測値を生成し、その予測値を用いて符号データから被写体数を復号する。ただし、被写体数を予測する方法は、符号化側で行われた処理と同じである必要がある。
次に、被写体数の設定が終了したら、復号対象領域ｂｌｋに対して拡張被写体マップを生成する（ステップＳ３０５）。ここで、被写体マップとは、ブロック内の各画素にどの“被写体”が存在しているかを示したものであり、復号対象領域ｂｌｋの各画素に対して、０からｎｕｍＯｂｊｓ−１までの値で表される被写体識別子（番号）を割り当てたものである。どのように表現をしてもよいが、最も単純な表現を用いる場合は、図３に示す２次元情報として表現できる。また、拡張被写体マップとは、被写体マップを拡張したものであり、被写体だけでなく、被写体の境界領域に別の被写体識別子を割り当てたものである。例えば、図３に対しては、図４が拡張被写体マップの一例となる。なお、図４の拡張被写体マップでは、被写体０と被写体１の境界部分と、被写体１と被写体２の境界部分とに対して、異なる被写体識別子を付与したが、同じ被写体識別子を割り当ててもよい。
ここでの処理は図２に示すステップＳ１０４と同じであり、拡張被写体マップはデプスマップから直接生成してもよいが、デプスマップから被写体マップを生成した後に境界部分を見つけて拡張被写体マップを生成してもよい。また、被写体マップを生成する方法や、そこから境界領域を見つける方法にも任意の手法を用いることができる。ただし、符号化側と同じ拡張被写体マップが得られる必要がある．符号化側と同じ拡張被写体マップを得るもっとも簡単な方法は、符号化側で用いた処理と同じ処理を用いることである。
なお、図９で示した画像復号装置３００は、デプスマップから被写体マップ生成部３０６が被写体マップを生成した後に、被写体マップから拡張被写体マップ生成部３０７が拡張被写体マップを生成する場合の構成図であり、デプスマップから拡張被写体マップを直接生成する場合は、被写体マップ生成部３０６は不要であり、デプスマップメモリ３０４と被写体数決定部３０５の出力が拡張被写体マップ生成部３０７に入力されることになる。
また、本実施形態では、この後の処理で拡張被写体マップにおける被写体識別子の値が小さい順に予測処理を行うものとしている。そのため、拡張被写体マップを生成した後に、予め定められた規則に従って、被写体識別子の値を予測順に変更してもよい。ただし、ここでの順序付けの有無や方法は符号化側と同じである必要がある。
次に、拡張被写体マップが得られたら、その結果から予測ユニット数ｎｕｍＰＵｓを計算する（ステップＳ３０６）。予測ユニット数とは、単一の予測方法で画像信号を予測する画素集合（予測ユニット）の数であり、被写体マップと拡張被写体マップが同じ場合は、予測ユニット数は被写体数と等しい。ここでの処理は図２に示すステップＳ１０５と同じである。
次に、予測ユニット数が得られたら、予測ユニットごとに、復号対象画像の画像信号の予測を行う（ステップＳ３０７〜Ｓ３１１）。すなわち、予測ユニットのインデックスをｐｕで表すとすると、ｐｕを０で初期化し（ステップＳ３０７）、その後、ｐｕに１を加算しながら（ステップＳ３１０）、ｐｕがｎｕｍＰＵｓになるまで（ステップＳ３１１）、予測ユニットｐｕ（すなわち、拡張被写体マップ上の対応する位置の被写体識別子がｐｕである画素群）の予測画像を生成する方法を示す情報を、予測情報復号部３０９が、予測情報の符号データから復号する処理（ステップＳ３０８）と、復号して得られた予測情報に従って、予測画像生成部３１０が、予測ユニットｐｕに対する予測画像を生成する処理（ステップＳ３０９）とを交互に繰り返す。
なお、予測情報を復号する処理は符号化時に用いた方式に対応する方式を用いる。また、予測画像を生成する方法にはどのようなものを用いてもよいが、復号した予測情報によって符号化時に生成した予測情報と同じものが生成できる必要がある。更に、本実施形態では、予測ユニットｐｕごとに予測情報を復号しているが、復号対象領域ｂｌｋごとにまとめて復号してもよいし、画像全体でまとめて復号してもよい。その場合、復号した予測情報を記憶しておき、予測情報の復号処理を、復号対象領域ｂｌｋごとに１度だけ行われる処理や、画像全体で１度だけ行われる処理とすることができる。
次に、復号対象領域ｂｌｋに対する予測画像の生成が終わったら、画像信号復号部３１１は、生成した予測画像を用いて復号対象領域ｂｌｋにおける復号対象画像の画像信号を復号する（ステップＳ３１２）。復号にはどのような方法を用いてもよいが、符号化時に用いた方法に対応する方法を用いる必要がある。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化が使用されている場合は、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施し、得られた２次元信号に対して予測信号（予測画像）を加え、最後に画素値の値域でクリッピングを行うことで画像信号を復号する。復号して得られた画像信号は、画像復号装置３００の出力となると共に、他のブロックを符号化する際の予測画像を生成するために復号画像メモリ３１２に記憶する。なお、復号画像をフレーム単位で出力する必要がある場合は、画像信号復号部３１１からは直接出力せずに、１フレーム分の処理が終わったところで、復号画像メモリ３１２から出力する。
〔第４実施形態：画像復号装置〕
次に、本発明の第４実施形態による画像復号装置を説明する。図１１は、本発明の第４実施形態による画像復号装置の構成を示すブロック図である。図１１に示すように、画像復号装置４００は、符号データ入力部４０１、符号データメモリ４０２、デプスマップ入力部４０３、デプスマップメモリ４０４、被写体数決定部４０５、被写体マップ生成部４０６、拡張被写体マップ生成部４０７、分離部４０８、予測方法集合生成部４０９、予測情報復号部４１０、予測画像生成部４１１、画像信号復号部４１２、および復号画像メモリ４１３を備えている。
符号データ入力部４０１は、復号対象となる画像の符号データを入力する。符号データメモリ４０２は、入力された符号データを記憶する。デプスマップ入力部４０３は、復号対象画像に対応するデプスマップを入力する。このデプスマップは復号対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ４０４は、入力されたデプスマップを記憶する。被写体数設定部４０５は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部４０６は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。拡張被写体マップ生成部４０７は、画像信号の予測を行う単位領域（予測ユニット）を決定する。
分離部４０８は、入力された符号データでは多重化されている予測情報の符号データと画像信号の符号データとを分離する。予測方法集合生成部４０９は、予測ユニットごとに使用される可能性のある予測画像の生成方法の集合を設定する。予測情報復号部４１０は、画像信号の予測方法を示す情報を符号データから復号する。予測画像生成部４１１は、与えられた予測情報に従って、処理領域内の予測ユニットごとに予測画像を生成する。画像信号復号部４１２は、生成された予測画像を用いて、符号データを復号して復号画像を生成する。復号画像メモリ４１３は、生成された復号画像を記憶する。
次に、図１２を参照して、図１１に示す画像復号装置４００の動作を説明する。図１２は、第４実施形態による画像復号装置４００の動作を示すフローチャートである。図１２に示す動作が、図１０に示す動作と異なる点は、予測ユニットｐｕごとの処理だけであり、その他の処理は全て同じである。すなわち、図１２に示すステップＳ４０１〜Ｓ４０７、および、ステップＳ４１１〜Ｓ４１５は、図１０に示すステップＳ３０１〜Ｓ３０７、および、ステップＳ３１０〜Ｓ３１４とそれぞれ同じである。以下、予測ユニットｐｕごとに行われる処理のみを説明する。
予測ユニットｐｕごとに行われる処理では、まず予測ユニットｐｕに対して、予測方法集合生成部４０９は、画像信号の予測方法の候補集合を設定する（ステップＳ４０８）。どのような方法を用いて候補集合を設定してもよいが、符号化側と同じ処理で設定する必要がある。なお、ここで使用可能な情報は、拡張被写体マップやデプスマップと既に符号化済み領域の復号画像である。また、ここでの処理は第２実施形態の予測方法集合生成部２０８で行われるステップＳ２０７と同じである。
次に、予測ユニットｐｕに対して、予測方法の候補集合が生成できたら、予測情報復号部４１０は、予測情報の符号データから、予測ユニットｐｕに対する予測画像を生成する方法を示す情報を復号する（ステップＳ４０９）。ここでの処理は符号化側の処理と対応した方式を用いる。すなわち、ここでの復号処理は図１０に示すステップＳ３０８と異なり、ステップＳ４０８で生成された予測方法の候補集合の情報を利用して復号する。具体的には、予測方法の候補集合によって使用される符号語が異なっていたり、復号ビットの生起確率が異なっていたりする。例えば、予測方法の候補集合が２つの予測方法しか含まない場合は１ビットの信号を復号し、予測方法の候補集合が４つの予測方法しか含まない場合は２ビットの信号を復号することにしてもよい。特殊な例としては、境界予測ユニットにおいて、１種類の予測方法しか設定しない場合は、境界予測ユニットにおいてはビット列を復号して予測方法を得る必要はなく、唯一の方法を復号結果として予測情報復号部４１０の出力とする。
次に、予測画像を生成する方法が分かったら、その方法に従って、予測画像生成部４１１は予測ユニットｐｕに対する予測画像を生成する（ステップＳ４１０）。第２実施形態では、境界予測ユニットを予測する際に、隣接する被写体内予測ユニットの復号画像を使用する方法の例を説明した。そこでは、繰り返し処理を行う方法を説明したが、その場合であっても復号側は繰り返し処理を必要としない。ただし、その場合は、境界予測ユニットの予測画像を生成する前に、被写体内予測ユニットの予測画像を生成し、変換ユニットに対する予測残差の復号を行い、その結果から被写体内予測ユニットの復号画像を生成する処理を行う必要がある。復号対象ブロックごとの具体的な処理順の例としては、まず全変換ユニットの予測残差を画像信号の符号データから復号する。次に、被写体数の決定、拡張被写体マップの生成、予測ユニット数の計算を行う。そして、全ての被写体内予測ユニットの予測画像を生成し、対応する予測残差の復号値を使って、被写体内予測ユニットの復号画像を生成する。その後、境界予測ユニットの予測画像を生成し、対応する予測残差の復号値を使って、境界予測ユニットの復号画像を生成する。
第１実施形態〜第４実施形態では、デプスマップの各画素の値をそのまま用いて被写体マップを生成するため、デプスマップの取得誤差や符号化ノイズの影響を受けて、非常に小さな孤立した領域が１つの被写体と決定されることがある。また、ブロック端にほんの少しだけ被写体が残っている場合なども、同様に非常に小さな領域に対して１つの被写体識別子が対応付けられることになる。この場合、拡張被写体マップにおいて予測ユニットの数が多くなってしまい、多くの予測情報を符号化しなくてはならなくなるため、符号化効率が低下してしまうことがある。そこで生成された被写体マップにおいて、微小な被写体画素集合を隣接する被写体と統合してもよい。また、拡張被写体マップにおいて微小な予測ユニットを隣接する予測ユニットと統合してもよい。
被写体マップ（拡張被写体マップ）を修正する場合は、一度、被写体マップ（拡張被写体マップ）を生成した後に、予め定めた規則にしたがって微小な被写体（予測ユニット）がなくなるように被写体マップ（拡張被写体マップ）を修正する。なお、被写体マップ（拡張被写体マップ）を修正した場合は、それに伴って被写体数ｎｕｍＯｂｊｓ（予測ユニット数ｎｕｍＰＵｓ）も更新される。修正処理は符号化側と復号側との処理が一致していればどのような処理を用いてもよい。例えば、被写体マップ（拡張被写体マップ）のある被写体に含まれる数（ある予測ユニットに含まれる画素の数）が予め定められた閾値以下の場合に、その被写体（予測ユニット）を隣接する被写体（予測ユニット）に統合する方法がある。
複数の被写体（予測ユニット）と隣接している場合は、予め定めた規則に従って統合を行う。どのような規則を用いてもよいが、例えば、微小な被写体（予測ユニット）に接する画素の多い被写体（予測ユニット）と統合する、被写体（予測ユニット）内の画素に対する平均デプス値が近い被写体（予測ユニット）と統合する、被写体（予測ユニット）内の画素に対する平均デプス値が小さい／大きい被写体（予測ユニット）と統合するなどの統合規則がある。なお、複数の統合規則の組み合わせを用いてもよい。統合対象を判定する閾値や、統合規則の選択をシーケンス、フレーム、スライス、ブロックなどの単位で指定してもよい。その場合、画像符号化においては、それらを指定する情報を、シーケンスヘッダ、フレームヘッダ、スライスヘッダ、ブロックヘッダなどの適切な位置で必要に応じて符号化する必要があり、画像復号においては、それらを指定する情報を適切な位置で必要に応じて復号して切り替える必要がある。
また、既に符号化済み／復号済みの隣接ブロック内の被写体（予測ユニット）との統合を許可してもよい。その場合、既に符号化済み／復号済みの隣接ブロック内の被写体（予測ユニット）と統合された被写体（予測ユニット）に対しては、予測画像の生成方法の決定・予測画像の生成方法の候補集合の作成・予測画像の生成方法の符号化・予測画像の生成方法の復号の４つの処理をスキップし、統合先で使用された予測画像の生成方法を用いて予測画像を生成する。なお、この場合は符号化／復号された予測情報を記憶しておく必要がある。
小さな領域が１つの被写体（予測ユニット）として生成されるのを防ぐために、被写体マップ（拡張被写体マップ）を生成する前に、入力されたデプスマップにフィルタをかけてもよい。その場合、デプスマップを入力した後に、デプスマップにフィルタをかけるステップが追加される。どのようなフィルタを用いてもよいが、小さな領域が１つの被写体（予測ユニット）として判定されるのを防ぐことが目的であるため、一般的には、デプスマップの空間相関を高めるようなフィルタを用いる。例えば、２次元のメディアンフィルタやバイラテラルフィルタ、Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ（ＮＬＭ）フィルタを用いてもよい。
メディアンフィルタとは、注目画素の値を一定距離内の画素の値の中央値で置き換えるフィルタである。バイラテラルフィルタとは、エッジを保持しながら平滑化を書けるフィルタである（詳しくは文献：「C. Tomasi, R. Manduchi, "Bilateral Filtering for Gray and Color Images," iccv, pp.839, Sixth International Conference on Computer Vision (ICCV'98), 1998.」参照）。ＮＬＭフィルタとは、画素ごとにマッチング度合いを考慮した係数を計算して畳み込むフィルタである（詳しくは、文献：「A. Buades, B. Coll, J.-M. Morel, "A Non-Local Algorithm for Image Denoising," cvpr, vol. 2, pp.60-65, 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, 2005.」参照）。なお、同じフィルタを繰り返しかけてもよいし、複数種類のフィルタを組み合わせて使ってもよい。ただし、符号化側と復号側とで行うフィルタ処理と一致させる必要がある。一致させるためには、予め使用するフィルタの種類や回数を固定しておいてもよいし、使用するフィルタの種類や回数に関する情報を符号化して、復号側に伝えてもよい。
また、小さな領域が１つの被写体として生成されるのを防ぐために、上述した２つの方法を組み合わせ、被写体マップ（拡張被写体マップ）生成前にデプスマップにフィルタ処理を施し、被写体マップ（拡張被写体マップ）の生成後に微小な被写体（予測ユニット）を隣接する被写体（予測ユニット）と統合する処理を行う方法もある。
第１実施形態〜第４実施形態では、予測画像の生成法を指定する単位を、デプスマップの値の類似性から生成する任意形状の領域分割に従って決定しているが、画像信号の空間相関や時間相関は同じ被写体であっても異なることがあるため、拡張被写体マップによって決定した領域を更に分割し、得られた小領域ごとに異なる予測画像生成法を指定してもよい。その場合、予測ユニットごとに、当該予測ユニット更に分割するための方法を示す情報を符号化／復号する必要がある。
予測ユニットｐｕに対する画素の集合を分割する方法は、どのような方法を用いてもよい。例えば、被写体ｐｕ毎に、（１）分割を行わない、（２）ブロックｂｌｋを２等分する水平のラインで分割する、（３）ブロックｂｌｋを２等分する鉛直のラインで分割する、（４）ブロックｂｌｋを４等分する十字のラインで分割する、のいずれかを予測効率や符号化効率を基準にして選択してもよい。なお、被写体ｐｕの形状や大きさを考慮して分割を決定する方法もある。例えば、被写体ｐｕの重心を通る水平ラインや鉛直ラインを用いる方法や、被写体ｐｕを含む傾きのない最小の長方形を見つけ、その長方形を等分するラインを用いる方法がある。
分割方法を示す情報を符号化する方法および復号する方法は、お互いに解釈できる方法であれば、どのような方法を用いてもよい。例えば、上記の例のように４通りの中から１つを選ぶのであれば、それぞれに００、０１、１０、１１の符号を割り当ててもよいし、これらバイナリ列を隣接ブロック等の情報を用いて算術符号化してもよい。その場合、復号時は算術復号をして得られたバイナリ列を解釈することで正しく情報が得られる。なお、分割方法を示す情報と予測画像の生成方法を示す情報を一緒に符号化／復号してもよい。
第１実施形態〜第４実施形態では、各ブロックに対して被写体数を決定し、それに基づいてブロック内の画素をクラスタリングすることで被写体マップを決定しているが、被写体数の代わりに分割規則を与えて、その規則に従って被写体マップを決定する方法もある。分割規則によって被写体マップを生成する場合は、ブロックごとに、分割規則に従ってブロック内のデプスをグルーピングして被写体マップを生成し、その結果から被写体数を計算する。そして拡張被写体マップはこの被写体マップに基づいて生成する。
分割規則は符号化側と復号側とで同じ規則が利用できるのであれば、どのようなものを用いてもよい。例えば、Ｓｏｂｅｌフィルタ等を用いてデプスマップのエッジを抽出し、そのエッジ（またはその内側や外側）を領域の境界とする規則でもよい。また、デプスの値域を幾つかの区間に分割し、同じ区間に属するデプス値を持つ画素ごとに領域を設定する規則でもよい。この場合、デプス値区間の分割は固定のものでもよいし、量子化パラメータ等の符号化品質をコントロールするパラメータに依存して可変にしてもよいし、別途分割情報を符号化して伝送してもよい。また、被写体数を明示的に伝送する方法と組み合わせて、分割規則に従って被写体マップを生成した後に、指定された被写体数となるように、被写体を統合する処理を行ってもよい。
上述した第１実施形態〜第４実施形態では、１枚の画像を符号化／復号する処理を説明したが、連続する複数枚の画像を処理することで動画像を符号化／復号する処理にも拡張できることは容易に考えられる。また、複数のカメラで撮影された多視点画像や多視点動画像を符号化／復号する処理にも適用可能なことも容易に類推可能である。これらの場合、予測モードは動き／視差ベクトルや参照フレームを含む１つの予測画像を生成する方法と解釈する。
上述した第１実施形態〜第４実施形態では、画像全体を符号化／復号する処理として書かれているが、画像の一部分のみに適用することも可能である。また、上述の説明では、予め定められたブロックごとに処理を行う場合を説明したが、画像全体や複数のブロックの集合を１つのブロックとみなして処理をしてもよい。
上述した第１実施形態〜第４実施形態では、符号化／復号対象画像に対するデプスマップを用いているが、法線マップや温度画像などの被写体に依存した値を持つ画像情報を代わりに用いることも可能である。ただし、符号化側で使用されたものが復号側でも同様に入手できる必要がある。
なお、被写体とは、撮影されている個々の物体や人物そのものを意味するのではなく、対応するデプスマップの値が類似する画素の集合である。すなわち、単一の実物体であっても、対応するデプスマップの値が大きく異なる場合などは、複数の被写体とみなされることもある。また、複数の実物体であっても、対応するデプスマップの値が類似する場合は、単一の被写体とみなされることもある。
また、被写体数は、ブロック内に存在する“被写体”の数である。被写体数は、ブロック内のデプスマップの値を解析することで生成することができる。例えば、ブロック内の画素をデプスマップの値や位置などの情報を用いてクラスタリングし、各クラスタの評価値（例えば、デプスマップ値の分散）が一定値以下となるクラスタ数の最大値を被写体数とすることが可能である。また、経験などに基づいて外部から与えたり、符号化結果の画質や符号量をコントロールするために指定されるパラメータ（例えば、Ｈ．２６４などにおける量子化パラメータ）に基づいて決定したり、予め定められた値を用いたりすることも可能である。
以上説明した多画像符号化および画像復号の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。図１３に、画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。図１３に示すシステムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、例えばネットワークを介して符号化対象画像に対するデプスマップを入力するデプスマップ入力部５３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、図２、図６を参照して説明した処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５４１が格納されたプログラム記憶装置５４と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５４１を実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部５５（ディスク装置等による多重化符号データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。図示を省略するが、他に、符号データ記憶部、復号画像記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、画像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。
図１４に、画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、画像符号化装置が本手法により符号化した符号データを入力する符号データ入力部６２（ディスク装置等による多重化符号データを記憶する記憶部でもよい）と、例えばネットワークを介して復号対象の画像に対するデプスマップを入力する参照視点画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、図１０、図１２を参照して説明した処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６４１が格納されたプログラム記憶装置６４と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６４１を実行することにより、符号データを復号して得られた復号画像を、再生装置などに出力する復号画像出力部６５とが、バスで接続された構成になっている。図示省略するが、他に、復号画像記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、画像信号符号データ記憶部、予測情報符号データ記憶部が用いられることもある。
なお、複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成し、予測ユニットごとに、境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成し、被写体内予測ユニットまたは境界予測ユニットに含まれる画素群に対する画像を予測する方法を設定し、この設定された予測方法を示す情報を符号化する手順に代えて、予測ユニットごとに、予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定し、予測ユニットに対して設定された候補集合の中から、予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定し、この設定された予測方法を示す情報を符号化するようにしてもよい。
また、複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成し、予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成し、符号データから、被写体内予測ユニットまたは境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する手順に代えて、予測ユニットごとに、予測ユニットに含まれる画素群に対する画像を予測する方法の候補集合を設定し、予測ユニットごとに、設定された候補集合を用いて、符号データから、予測ユニットに含まれる画素群に対する画像を予測する方法を復号するようにしてもよい。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加、省略、置換、その他の変更を行ってもよい。
以上説明したように、画像信号がその画像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に、被写体依存のデータを用いて対応する領域の画像信号を符号化する際のブロック分割を決定することで、被写体に応じた任意形状のブロック分割を表現するための符号量を削減することができる。さらに、ブロックごとに異なる画像信号の予測方法の候補集合を準備することで、被写体に依存する相関を利用し、画像信号の予測精度の向上に伴う予測残差の符号量や、予測方法を示す情報の符号量を削減することができる。これらは結果的に、効率的な画像符号化を実現することができるようになる。
画像とデプスマップとを構成要素に持つ自由視点画像データの符号化に対して、対応するデプスマップの復号画像を用いて、画像信号を符号化する際のブロック分割を決定することで、被写体に応じた正確なブロック分割を少ない符号量で表現し、効率的な画像符号化を実現することが不可欠な用途に適用できる。
１００、２００・・・画像符号化装置、１０１、２０１・・・符号化対象画像入力部、１０２、２０２・・・符号化対象画像メモリ、１０３、２０３・・・デプスマップ入力部、１０４、２０４・・・デプスマップメモリ、１０５、２０５・・・被写体数決定部、１０６、２０６・・・被写体マップ生成部、１０７、２０７・・・拡張被写体マップ生成部、１０８、２０９・・・予測画像生成部、１０９、２１０・・・予測情報符号化部、１１０、２１１・・・画像信号符号化部、１１１、２１２・・・画像信号復号部、１１２、２１３・・・復号画像メモリ、１１３、２１４・・・多重化部、２０８・・・予測方法集合生成部、３００、４００・・・画像復号装置、３０１、４０１・・・符号データ入力部、３０２、４０２・・・符号データメモリ、３０３、４０３・・・デプスマップ入力部、３０４、４０４・・・デプスマップメモリ、３０５、４０５・・・被写体数決定部、３０６、４０６・・・被写体マップ生成部、３０７、４０７・・・拡張被写体マップ生成部、３０８、４０８・・・分離部、３０９、４１０・・・予測情報復号部、３１０、４１１・・・予測画像生成部、３１１、４１２・・・画像信号復号部、３１２、４１３・・・復号画像メモリ、４０９・・・予測方法集合生成部

Claims (20)

  1. 画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、
    前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、
    前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成ステップと、
    前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成ステップと、
    前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、
    前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、
    前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、
    前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップと
    を有することを特徴とする画像符号化方法。
  2. 前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップをさらに有し、
    前記予測方法設定ステップは、前記予測候補集合設定ステップで設定された候補集合の中から、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の前記画像を予測する方法を選択し、
    前記予測情報符号化ステップは、前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで選択された予測方法を示す情報を符号化する
    ことを特徴とする請求項１に記載の画像符号化方法。
  3. 前記予測候補集合設定ステップは、前記境界予測ユニットに対して、前記予測ユニットの境界線に沿って、隣接する既に符号化済みの画素から予測を行う方法を含む候補集合を生成する
    ことを特徴とする請求項２に記載の画像符号化方法。
  4. 前記予測候補集合設定ステップは、前記境界予測ユニットに対して、隣接する前記被写体内予測ユニットの予測画像または復号画像を用いて予測を行う方法を含む候補集合を生成する
    ことを特徴とする請求項２に記載の画像符号化方法。
  5. 前記予測情報符号化ステップは、前記予測候補集合設定ステップで設定された候補集合に２つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに対してのみ、前記予測方法設定ステップで選択された予測方法を示す情報を符号化する
    ことを特徴とする請求項２から４にいずれかに記載の画像符号化方法。
  6. 画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、
    前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、
    前記予測ユニットごとに、当該予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、
    前記予測ユニットごとに、当該予測ユニットに対して前記予測候補集合設定ステップで設定された候補集合の中から、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、
    前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、
    前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、
    前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップと
    を有することを特徴とする画像符号化方法。
  7. 画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、
    前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、
    前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成ステップと、
    前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成ステップと、
    前記被写体内予測ユニットおよび前記境界予測ユニットごとに、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、
    前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
    前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有する
    ことを特徴とする画像復号方法。
  8. 前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップをさらに有し、
    予測方法復号ステップは、前記予測候補集合設定ステップで設定された前記候補集合を用いて、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法を復号する
    ことを特徴とする請求項７に記載の画像復号方法。
  9. 前記予測候補集合設定ステップは、前記境界予測ユニットに対して、前記予測ユニットの境界線に沿って、隣接する既に復号済みの画素から予測を行う方法を含む候補集合を生成する
    ことを特徴とする請求項８に記載の画像復号方法。
  10. 前記予測候補集合設定ステップは、前記境界予測ユニットに対して、隣接する前記被写体内予測ユニットの予測画像または復号画像を用いて予測を行う方法を含む前記候補集合を生成する
    ことを特徴とする請求項８または請求項９に記載の画像復号方法。
  11. 前記予測情報復号ステップは、前記予測候補集合設定ステップにおいて設定された前記候補集合に２つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに対してのみ、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号し、
    前記予測画像生成ステップは、前記予測候補集合設定ステップにおいて設定された前記候補集合に２つ以上の予測方法の候補が存在する前記被写体内予測ユニットまたは前記境界予測ユニットに含まれる画素では、前記予測情報復号ステップで復号された予測方法に従って予測画像を生成し、前記予測候補集合設定ステップで設定された前記候補集合に１つの予測方法の候補のみ存在する前記被写体内予測ユニットまたは前記境界予測ユニットに含まれる画素では、前記候補集合に含まれる予測方法に従って予測画像を生成する
    ことを特徴とする請求項８から１０のいずれかに記載の画像復号方法。
  12. 画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、
    前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、
    前記予測ユニットごとに、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、
    前記予測ユニットごとに、前記予測候補集合設定ステップで当該予測ユニットに対して設定された前記候補集合を用いて、前記符号データから、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、
    前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
    前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有する
    ことを特徴とする画像復号方法。
  13. 画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、
    前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割手段と、
    前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成手段と、
    前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成手段と、
    前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、
    前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、
    前記予測方法設定手段において設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成手段と、
    前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化手段と
    を備えたことを特徴とする画像符号化装置。
  14. 前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定手段をさらに備え、
    前記予測方法設定手段は、前記予測候補集合設定手段において設定された候補集合の中から、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の前記画像を予測する方法を選択し、
    前記予測情報符号化手段は、前記予測候補集合設定手段において設定された候補集合を用いて、前記予測方法設定手段において選択された予測方法を示す情報を符号化する
    ことを特徴とする請求項１３に記載の画像符号化装置。
  15. 画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、
    前記処理領域に対応する前記距離情報に基づき、前記処理領域内の画素群を複数に分割した予測ユニットに分割する領域分割ステップと、
    前記予測ユニットごとに、当該予測ユニットに含まれる画素群の画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、
    前記予測ユニットごとに、当該予測ユニットに対して前記予測候補集合設定ステップで設定された候補集合の中から、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、
    前記予測候補集合設定ステップで設定された候補集合を用いて、前記予測方法設定ステップで設定された予測方法を示す情報を符号化する予測情報符号化ステップと、
    前記予測方法設定ステップで設定された予測方法に従って、前記処理領域の画像の予測画像を生成する予測画像生成ステップと、
    前記予測画像を用いて前記処理領域の画像を予測符号化する画像信号符号化ステップと
    を有することを特徴とする画像符号化方法。
  16. 画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号装置であって、
    前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割手段と、
    前記複数の予測ユニットの境界に位置した画素群からなる境界予測ユニットを生成する境界予測ユニット生成手段と、
    前記予測ユニットごとに、前記境界予測ユニットに含まれない画素群からなる被写体内予測ユニットを生成する被写体内予測ユニット生成手段と、
    前記被写体内予測ユニットおよび前記境界予測ユニットごとに、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、
    前記予測方法復号手段において復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、
    前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号手段とを有する
    ことを特徴とする画像復号装置。
  17. 前記被写体内予測ユニットおよび前記境界予測ユニットごとに、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定手段をさらに有し、
    予測方法復号手段は、前記予測候補集合設定手段において設定された前記候補集合を用いて、前記符号データから、当該被写体内予測ユニットまたは当該境界予測ユニットに含まれる画素群の画像を予測する方法を復号する
    ことを特徴とする請求項１６に記載の画像復号装置。
  18. 画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データを復号する画像復号方法であって、
    前記処理領域に対応する前記距離情報に基づき、前記処理領域内を複数に分割した画素群からなる予測ユニットに分割する領域分割ステップと、
    前記予測ユニットごとに、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法の候補集合を設定する予測候補集合設定ステップと、
    前記予測ユニットごとに、前記予測候補集合設定ステップで当該予測ユニットに対して設定された前記候補集合を用いて、前記符号データから、当該予測ユニットに含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、
    前記予測方法復号ステップで復号された予測方法に従って、処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
    前記予測画像を用いて前記処理領域の画像を前記符号データから復号する画像信号復号ステップとを有する
    ことを特徴とする画像復号方法。
  19. 請求項１から６のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
  20. 請求項７から１２のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
JP2011209417A 2011-09-26 2011-09-26 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム Active JP5711636B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011209417A JP5711636B2 (ja) 2011-09-26 2011-09-26 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011209417A JP5711636B2 (ja) 2011-09-26 2011-09-26 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム

Publications (2)

Publication Number Publication Date
JP2013074304A true JP2013074304A (ja) 2013-04-22
JP5711636B2 JP5711636B2 (ja) 2015-05-07

Family

ID=48478488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011209417A Active JP5711636B2 (ja) 2011-09-26 2011-09-26 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム

Country Status (1)

Country Link
JP (1) JP5711636B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016514431A (ja) * 2013-03-15 2016-05-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 深度マップイントラコード化のための予測子

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307877A (ja) * 1995-05-12 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> 動画像構造化の符号化および復号化方法
JPH09326024A (ja) * 1996-06-06 1997-12-16 Matsushita Electric Ind Co Ltd 画像符号及び復号化方法とその装置
JP2003299100A (ja) * 2002-04-03 2003-10-17 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体
JP2004200991A (ja) * 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラム，画像符号化プログラムを記録した記録媒体および画像復号プログラムを記録した記録媒体
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
WO2010095471A1 (ja) * 2009-02-23 2010-08-26 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
JP2014150297A (ja) * 2011-05-25 2014-08-21 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307877A (ja) * 1995-05-12 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> 動画像構造化の符号化および復号化方法
JPH09326024A (ja) * 1996-06-06 1997-12-16 Matsushita Electric Ind Co Ltd 画像符号及び復号化方法とその装置
JP2003299100A (ja) * 2002-04-03 2003-10-17 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体
JP2004200991A (ja) * 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラム，画像符号化プログラムを記録した記録媒体および画像復号プログラムを記録した記録媒体
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
WO2010095471A1 (ja) * 2009-02-23 2010-08-26 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
JP2013509022A (ja) * 2009-10-14 2013-03-07 トムソン ライセンシング フィルタ処理およびエッジ符号化
JP2014150297A (ja) * 2011-05-25 2014-08-21 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016514431A (ja) * 2013-03-15 2016-05-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 深度マップイントラコード化のための予測子
US10375411B2 (en) 2013-03-15 2019-08-06 Qualcomm Incorporated Predictor for depth map intra coding

Also Published As

Publication number Publication date
JP5711636B2 (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
JP5281624B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
US11856221B2 (en) Method and device for image encoding and decoding, and recording medium having bit stream stored therein
US20190364298A1 (en) Image encoding/decoding method and device, and recording medium having bitstream stored thereon
KR101592535B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
KR101552664B1 (ko) 화상 부호화 방법 및 장치, 화상 복호 방법 및 장치, 및 그 프로그램
US20160241855A1 (en) Optimized plenoptic image encoding
JP5729825B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR101750421B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
US20230388490A1 (en) Encoding method, decoding method, and device
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP5711636B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
JP2015128252A (ja) 予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体
JP5876933B2 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体
JP5759357B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130606

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150306

R150 Certificate of patent or registration of utility model

Ref document number: 5711636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150