JP2012010255A - 画像変換装置、画像変換装置の制御方法、画像変換装置制御プログラムおよび記録媒体 - Google Patents

Abstract

【課題】奥行き画像の情報量を、遅延が少なく、簡便な処理で削減する。
【解決手段】画像符号化装置１０は、奥行き画像を取得する分割部１１と、分割部１１が取得した奥行き画像における奥行き値の出現数の分布を作成する奥行き値分布作成部１３と、奥行き値分布作成部１３が作成した奥行き値分布を、該分布における奥行き値の連続性に応じて複数の区間に分割し、奥行き値分布の各区間の代表値を決定する画素分類部１４と、画素分類部１４が分割した奥行き値分布の各区間に含まれる奥行き値を、代表値に変換することにより奥行き画像を変換する奥行き値変換部１６と、を備えている。これにより、奥行き値を代表値に変換することができるので、奥行き画像の情報量を、遅延が少なく、簡便な処理で削減することができる。
【選択図】図１

Description

本発明は、画像の奥行き値を示す奥行き画像を変換する画像変換装置、画像変換装置の制御方法、プログラムおよび記録媒体に関するものである。

近年、複数の視点からの画像（複数視点画像）を用いることにより、１視点方向からの画像である単一視点画像のみでは得ることのできない臨場感の高い映像表現が実現されている。複数視点画像を用いた映像表現としては、例えば、立体画像表示や任意視点画像表示が挙げられる。

立体画像表示は、視差のある２つの画像を用い、観察者が右眼で一方の画像を左眼で他方の画像を見ることにより、それぞれの画像は平面画像であるにもかかわらず、観察者の脳内ではあたかも立体的な三次元空間を見ているような感覚を与えるものである。具体的に図９を用いて説明する。図９は、立体画像表示の概要を示す説明図である。図９に示すように、視差のある２つ画像５０１、５０２に対し、観察者は左眼で画像５０１を、右眼で画像５０２を見ることにより、観察者の脳内５０３では、画像５０１、５０２内の物体５０４、５０５が立体的に存在しているように感じられる。

また、任意視点画像表示は、視点の異なる複数の視点画像およびそれぞれの視点画像におけるカメラと被写体との距離から、任意の視点における被写体の画像を作成し、表示するものである。具体的に図１０を用いて説明する。図１０は、任意視点画像表示の概要を示す説明図である。図１０に示すように、視点の異なる複数の視点画像６０１ｖ、６０２ｖ、６０３ｖと、それぞれの視点画像におけるカメラと被写体との距離を示す奥行き画像６０１ｄ、６０２ｄ、６０３ｄとから、任意の視点における被写体の画像（図１０に示す例では、視点画像６０４ｖ、６０５ｖ）を作成し、表示する。これにより、撮影していない視点からの被写体の画像を表示させることができる。

非特許文献１に、任意の視点おける視点画像（任意視点画像）を生成する方法が記載されている。非特許文献１に記載の方法は、２つの視点画像、およびこれらに対応する奥行き画像を利用して任意視点画像を生成するものである。具体的には、（１）仮想視点に対して奥行き画像を投影し、（２）投影した奥行き画像を平滑化し、（３）平滑化した奥行き画像に対して、実画像の画素値をマッピングし、（４）残った位置の画素を周囲の画素を利用して修復する、という方法である。このように、２視点の視点画像とその奥行き画像を利用することで、それら視点の近傍にある任意視点からの画像を生成することが可能となる。

また、任意視点画像の生成技術を用いることにより、上述した立体画像表示の改善につながる。図１１を用いて説明する。図１１は、任意視点画像の生成技術により立体表示の改善につながる原理を説明するための図である。図１１に示すように、間隔７０６だけ離れて設置されている２つのカメラ７０１、７０２で被写体７０４、７０５を撮影し、視点画像７０１ｖ、７０２ｖを得たとする。そして、間隔７０６が人間の左右の眼の間隔（一般に６５ｍｍ前後と言われている）よりも大きい場合、視点画像７０１ｖを左の眼で、視点画像７０２ｖを右の眼で見たとしても、ぼやけた立体画像となるか、あるいは全く立体としては見えない画像となってしまう。

そこで、カメラ７０１から人間の左右の眼の間隔と同じ間隔７０７だけ離れた視点位置７０３において被写体をみた視点画像７０３ｖを作成し、視点画像７０１ｖと視点画像７０３ｖとを用いることで、適正な立体画像として観察することが可能となる。

また、２つのカメラ７０１、７０２の間隔が、人間の左右の眼の間隔と比較して狭すぎる場合であっても、カメラ７０１、またはカメラ７０２の地点から人間の左右の眼の間隔に相当する地点における視点画像を生成することにより、十分な立体感が得られる立体画像を観察することが可能になる。

さらに、上述した原理を用いることで、任意視点からの立体画像を観察することや、任意視点における立体画像の観察時の立体感を調整することが可能となる。

以上のように、複数の視点画像および対応する奥行き画像（奥行き情報）を利用すれば、画像表示の表現機能を向上させることができる。しかしながら、奥行き画像を必要とするため、記録・伝送時のデータ量が増えるという問題が生じる。

この問題を解決するため、特許文献１では、奥行き情報を伝送するときに、視覚の奥行き変化に対する時間周波数および空間周波数特性に従い、知覚感度の高い周波数成分に対して優先的に伝送量を割り当てるように奥行き値を符号化する技術が開示されている。特許文献１では、奥行き情報の情報量を圧縮するときに、人の奥行き知覚の感度に着目して符号量を割り当てることによって、奥行き情報の品質（すなわち奥行き情報を利用して生成される視点画像の品質）を保ちつつ、情報量の削減を可能にしている。

特開２００１−６１１６４号公報（２００１年３月６日公開）

森、他：奥行き画像を用いた３Ｄ ｗａｒｐｉｎｇによる自由視点画像生成，電子情報通信学会総合大会 情報・システム講演論文集２，Ｄ−１１−７，２００８年３月５日

しかしながら、上記特許文献１の方法では、奥行き情報を符号化するために、奥行き情報の時間周波数特性および空間周波数特性を分析するため、奥行き情報をそのまま符号化する方法に比べて処理量が増加し、処理時間が遅延してしまう。特に、時間周波数特性を得るためには、複数のフレームにわたって奥行き情報を分析する必要があり、必ず処理に数フレーム以上の遅延が生じてしまう。

そして、数フレーム以上の遅延が生じてしまうため、リアルタイムに符号化・復号するようなアプリケーションには適用することができない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、奥行き画像における被写体の遠近関係を維持したまま、遅延が少なく、簡便な処理で、奥行き画像の情報量を減らすことができる画像変換装置等を実現することにある。

上記課題を解決するために、本発明に係る画像変換装置は、奥行き値を変換することによって奥行き画像を変換する画像変換装置であって、上記奥行き画像を取得する取得手段と、上記取得手段が取得した奥行き画像における奥行き値の出現数の分布を作成する奥行き値分布作成手段と、上記奥行き値分布作成手段が作成した奥行き値分布を、該分布における奥行き値の連続性に応じて複数の区間に分割する奥行き値分布分割手段と、上記奥行き値分布分割手段が分割した奥行き値分布の各区間の代表値を決定する代表値決定手段と、上記奥行き値分布分割手段が分割した奥行き値分布の各区間に含まれる奥行き値を、上記代表値決定手段が決定した代表値に変換することにより上記奥行き画像を変換する画像変換手段と、を備えたことを特徴としている。

また、本発明に係る画像変換装置の制御方法は、奥行き値を変換することによって奥行き画像を変換する画像変換装置の制御方法であって、上記奥行き画像を取得する取得ステップと、上記取得ステップで取得した奥行き画像における奥行き値の出現数の分布を作成する奥行き値分布作成ステップと、上記奥行き値分布作成ステップで作成した奥行き値分布を、該分布における奥行き値の連続性に応じて複数の区間に分割する奥行き値分布分割ステップと、上記奥行き値分布分割ステップで分割した奥行き値分布の各区間の代表値を決定する代表値決定ステップと、上記奥行き値分布分割ステップで分割した奥行き値分布の各区間に含まれる奥行き値を、上記代表値決定ステップで決定した代表値に変換することにより上記奥行き画像を変換する画像変換ステップと、を含むことを特徴としている。

上記の構成または方法によれば、奥行き画像における奥行き値の出現数の分布を、該分布における奥行き値の連続性に応じて複数の区間に分割し、分割した区間における奥行き値を代表値に変換して奥行き画像を変換する。

これにより、各奥行き画像における奥行き値の出現数の分布の形状の特徴を維持したまま、奥行き値を代表値に変換することができるので、奥行き画像の遠近関係を維持したまま奥行き画像の情報量を減らすことができる。

また、変換の対象となる奥行き画像の前後の奥行き画像を用いることなく、奥行き値を変換して奥行き画像の情報量を減らすことができるので、前後の奥行き画像を用いて奥行き値の変換を行う場合のように、変換処理が遅延してしまうことを防止することができる。

本発明に係る画像変換装置では、上記奥行き値分布分割手段は、上記奥行き値分布作成手段が作成した奥行き値分布に不連続区間が存在する場合、該不連続区間を境として奥行き値分布を分割し、上記奥行き値分布の連続区間については、該連続区間における出現数の極大値を検出し、極大値が複数存在する場合に、隣接する極大値に挟まれた区間における出現数の最小値が、該区間を挟む極大値のうちの小さい方の極大値に１未満の所定比率を乗じた値未満であるとき、該最小値をとる奥行き値を境として奥行き値分布を分割するものであることが好ましい。

上記の構成によれば、奥行き値分布を、不連続区間または極大値に挟まれた極大値に対して所定の比率を乗じた値未満の出現数の奥行き値を境として分割する。

これにより、出現数が少ない、または出現数がゼロの奥行き値を境として奥行き値分布を分割するので、分割後の各区間における奥行き値を代表値に変換しても、奥行き値分布の形状を正確に維持することができる。よって、奥行き画像の遠近関係を正確に維持したまま奥行き画像を変換することができる。

本発明に係る画像変換装置では、上記代表値決定手段は、上記奥行き値分布分割手段が分割した奥行き値分布の区間において、出現数の極大値が１つ存在する場合、該極大値に対応する奥行き値を当該区間の代表値に決定するものであることが好ましい。

分割された区間において、出現数の極大値が１つの場合、該極大値に対応する奥行き値が最も当該区間の奥行き値を表現しているということができる。

そして、上記の構成によれば、代表値決定手段は、奥行き値分布分割手段が分割した奥行き値分布の区間の代表値を、出現数の極大値が１つの場合は該極大値に対応する奥行き値に決定する。

これにより、分割された区間の奥行き値を変換する代表値を的確に決定することができる。

本発明に係る画像変換装置では、上記代表値決定手段は、上記奥行き値分布分割手段が分割した奥行き値分布の区間において、出現数が一定である場合、または出現数の極大値が複数存在する場合、当該区間の中央の奥行き値を代表値に決定するものであることが好ましい。

分割された区間において、出現数が一定であるか、または出現数の極大値が複数存在する場合、出現数が偏っていないと考えられるため、当該区間の中間の奥行き値が、最も当該区間の奥行き値を表現しているということができる。

そして、上記の構成によれば、代表値決定手段は、奥行き値分布分割手段が分割した奥行き値分布の区間の代表値を、出現数が一定であるか、または出現数の極大値が複数存在する場合は、当該区間の中央の奥行き値に決定する。

これにより、分割された区間の奥行き値を変換する代表値を的確に決定することができる。

本発明に係る画像変換装置では、上記取得手段は、視点の異なる複数の奥行き画像を取得し、上記取得手段が取得した複数の奥行き画像において、被写体の重なり方が異なる領域であるオクルージョン領域を特定するオクルージョン領域特定手段を備え、上記画像変換手段は、上記オクルージョン領域特定手段がオクルージョン領域と特定した領域については、それぞれの奥行き値を変換しないものであってもよい。

オクルージョン領域は、視点の異なる複数の奥行き画像において被写体の重なり方が異なる領域であり、狭い領域で遠近関係が大きく異なる。よって、この領域で奥行き値を代表値に変換してしまうと、大きく異なっていた遠近関係がなくなり、平坦になってしまう可能性がある。

そこで、上記の構成によれば、オクルージョン領域特定手段がオクルージョン領域と特定した領域について、画像変換手段は、それぞれの奥行き値を変換しない。

よって、オクルージョン領域については、そのままの遠近関係を維持したまま奥行き画像を変換することができる。すなわち、奥行き画像の品質を維持したまま奥行き画像を変換することができる。

本発明に係る画像変換装置では、上記取得手段が取得した複数の奥行き画像を、同じ分割位置でそれぞれ複数の分割画像に分割する画像分割手段を備え、上記奥行き値分布作成手段は、上記画像分割手段が分割した各分割画像の奥行き値の出現数の分布を作成するものであって、さらに、上記奥行き画像のうち、或る奥行き画像の分割画像と対応する他の奥行き画像の分割画像を決定する対応分割画像決定手段を備え、上記オクルージョン領域特定手段は、上記対応分割画像決定手段が決定した、対応する分割画像同士の間で、或る分割画像の奥行き値分布のすべての区間について、１区間ずつ注目区間としながら、該注目区間の特徴量と、対応する分割画像の奥行き値分布のすべての区間の特徴量との差分をそれぞれ算出し、算出したすべての差分が所定値より大きいとき、当該注目区間に属する奥行き値を有する画素よりなる領域を、オクルージョン領域と特定するものであってもよい。

オクルージョン領域は、複数の奥行き画像間で遠近関係が異なる領域なので、或る奥行き画像におけるオクルージョン領域の奥行き値分布と、この領域に対応する他の奥行き画像の奥行き値分布も異なる。

よって、オクルージョン領域では、対応する分割画像間の奥行き値分布の区間における特徴量が大きく異なることになる。逆に言えば、オクルージョン領域でなければ、対応する分割画像の奥行き値分布の区間における特徴量は、それほど変わらない。

したがって、ある分割画像における奥行き値分布の区間の特徴量と対応する分割画像における奥行き値分布の区間の特徴量との差分をみれば、オクルージョン領域か否かを特定することができる。

そこで、上記の構成によれば、オクルージョン領域特定手段は、対応する分割画像同士の間で、或る分割画像の奥行き値分布のすべての区間について、１区間ずつ注目区間としながら、該注目区間の特徴量と、対応する分割画像の奥行き値分布のすべての区間の特徴量との差分をそれぞれ算出し、算出したすべての差分が所定値より大きいとき、当該注目区間に属する奥行き値を有する画素よりなる領域を、オクルージョン領域と特定するので、オクルージョン領域の特定を正確に行うことができる。

本発明に係る画像変換装置では、上記代表値決定手段は、上記画像分割手段が分割した各奥行き画像の奥行き値分布の各区間の代表値を決定するものであって、各奥行き画像の各分割画像について、上記奥行き値分布分割手段が分割した１つの区間に属する奥行き値を有する画素よりなる領域が当該分割画像において占める面積である占有面積を、上記奥行き値分布分割手段が分割したすべての区間について算出する占有面積算出手段を備え、上記オクルージョン領域特定手段は、上記特徴量として、上記代表値および上記占有面積の少なくともいずれか一方を用いるものであってもよい。

奥行き値分布の各区間の代表値および占有面積は、当該区間の奥行き値分布の特徴を表すものである。よって、オクルージョン領域特定手段は、特徴量として、代表値および占有面積を用いることで、オクルージョン領域の特定を正確に行うことができる。

なお、上記画像変換装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像変換装置をコンピュータにて実現させる画像変換装置の制御プログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る画像変換装置は、奥行き画像を取得する取得手段と、上記取得手段が取得した奥行き画像における奥行き値の出現数の分布を作成する奥行き値分布作成手段と、上記奥行き値分布作成手段が作成した奥行き値分布を該分布の形状に応じて複数の区間に分割する奥行き値分布分割手段と、上記奥行き値分布分割手段が分割した奥行き値分布の各区間の代表値を決定する代表値決定手段と、上記奥行き値分布分割手段が分割した奥行き値分布の各区間に含まれる奥行き値を、上記代表値決定手段が決定した代表値に変換することにより上記奥行き画像を変換する画像変換手段と、を備えた構成である。

また、本発明に係る画像変換装置の制御方法は、奥行き画像を取得する取得ステップと、上記取得ステップで取得した奥行き画像における奥行き値の出現数の分布を作成する奥行き値分布作成ステップと、上記奥行き値分布作成ステップで作成した奥行き値分布を該分布の形状に応じて複数の区間に分割する奥行き値分布分割ステップと、上記奥行き値分布分割ステップで分割した奥行き値分布の各区間の代表値を決定する代表値決定ステップと、上記奥行き値分布分割ステップで分割した奥行き値分布の各区間に含まれる奥行き値を、上記代表値決定ステップで決定した代表値に変換することにより上記奥行き画像を変換する画像変換ステップと、を含む方法である。

これにより、奥行き画像における奥行き値の出現数の分布の形状の特徴を維持したまま、奥行き値を代表値に変換することができるので、奥行き画像の遠近関係を維持したまま奥行き画像の情報量を減らすことができるという効果を奏する。

また、前後の奥行き画像を用いることなく、奥行き値を変換して奥行き画像の情報量を減らすことができるので、前後の奥行き画像を用いて奥行き値の変換を行う場合のように、変換処理が遅延してしまうことを防止することができるという効果を奏する。

本発明の実施の形態を示すものであり、画像符号化装置の要部構成を示すブロック図である。 上記画像符号化装置における処理の流れを示すフローチャートである。 上記画像符号化装置におけるマッチング処理の流れを示すフローチャートである。 上記画像符号化装置における画素分類処理の流れを示すフローチャートである。 本実施の形態を説明するための図であり、左眼用視点画像および右眼用視点画像と、これらに対応する右眼用奥行き画像および左眼用奥行き画像を示す図であり、同図の（ａ）は左眼用視点画像を示す図、同図の（ｂ）は左眼用視点画像と対応する左眼用奥行き画像を示す図、同図の（ｃ）は右眼用視点画像を示す図、同図の（ｄ）は右眼用視点画像と対応する右眼用奥行き画像を示す図である。 本実施の形態を説明するための図であり、図５に示すブロック領域における奥行き値分布を示す図である。同図の（ａ）、（ｂ）はブロック領域における奥行き値分布を示す図（ヒストグラム）である。 上記画像符号化装置における画素分類部が分類処理を行う対象となる奥行き値分布の例を示す図である。 上記画像符号化装置におけるオクルージョン領域特定処理の流れを示すフローチャートである。 立体画像表示の概要を示す説明図である。 任意視点画像表示の概要を示す説明図である。 任意視点画像の生成技術により立体表示の改善につながる原理を説明するための図である。

本発明の一実施の形態について図１〜図８に基づいて説明すれば、以下のとおりである。

（画像符号化装置の構成）
まず、本実施の形態に係る画像符号化装置（画像変換装置）１０について説明する。図１は、画像符号化装置１０の要部構成を示すブロック図である。画像符号化装置１０は、複数の視点画像（例えば、右眼用画像および左眼用画像）に対応する奥行き画像を取得し、これらに符号化処理を施して情報量を削減し、送信する装置である。なお、右眼用画像とは、観察者が右眼で見ることを想定している画像であり、左眼用画像とは、観察者が左眼で見ることを想定している画像である。観察者が、右眼用画像と左眼用画像とを同時に見ることで、画像に表示されている被写体を立体的に見ることができる。また、本実施の形態では、奥行き画像が２つの場合を説明するが、本発明はこれに限られるものではなく、奥行き画像が３つ以上であってもよい。

なお、奥行き画像とは、各画素を、カメラと被写体との距離である奥行き値を示す輝度のみで表現した画像である。通常、カメラに近い被写体ほど大きい輝度で表現され、カメラからの距離が離れるにつれて、輝度が小さくなるように、表現される。

奥行き画像の作成方法としては、例えば、カメラから赤外線や超音波を照射し、その反射を利用してカメラと被写体との距離を実測して奥行き値を求めることにより奥行き画像を作成する方法や、複数のカメラにより撮影を行い、撮影時のカメラ配置および撮影条件に関する情報と、複数のカメラで撮影したそれぞれの視点画像の対応関係とから、視点画像内の各領域の配置と前後関係を推定して奥行き値を求めることにより奥行き画像を作成する方法などを挙げることができる。

図１に示すように、画像符号化装置１０は、分割部（取得手段、画像分割手段）１１、マッチング部（対応分割画像決定手段）１２、奥行き値分布作成部（奥行き値分布作成手段）１３、画素分類部（奥行き値分布分割手段、代表値決定手段、占有面積算出手段）１４、オクルージョン領域特定部（オクルージョン領域特定手段）１５、奥行き値変換部（画像変換手段）１６、符号化部１７、および多重化部１８を含む構成である。

分割部１１は、右眼用画像および左眼用画像に対応する右眼用奥行き画像および左眼用奥行き画像を取得し、それぞれ、所定のサイズ（例えば、１６×１６画素）のブロック（分割画像）に分割するものである。そして、複数のブロックに分割したそれぞれの奥行き画像（右眼用画像および左眼用画像）をマッチング部１２、および奥行き値分布作成部１３へ送信する。また、奥行き画像は、複数の画素情報によって構成されており、画素情報は、当該画像における位置を示す座標情報と輝度情報とによって構成されている。なお、奥行き画像は、複数のフレームで構成される動画像であってもよいし、静止画像であってもよい。また、本実施の形態では、輝度情報は、８ビットで表現されるものとして説明するが、これに限られるものではない。

マッチング部１２は、分割部１１から取得した、複数のブロックに分割された右眼用奥行き画像および左眼用奥行き画像のそれぞれについて、他方の奥行き画像とのブロックマッチングを行い、最も一致度が高いブロックを判定するものである。そして、最も一致度が高いと判定したブロック同士を相互に対応付けてオクルージョン領域特定部１５へ送信する。

ブロック同士の一致度の判定方法について、より具体的に説明する。マッチング部１２は、左眼用奥行き画像の各ブロックについて、右眼用奥行き画像の同位置ブロックを中心に所定範囲内（例えば±１６画素）のブロックに対し、差分絶対値の累積和ＡＥを求める。そして、差分絶対値の累積和ＡＥが最も小さいブロックを一致度が高いブロックと判定する。

奥行き値分布作成部１３は、分割部１１から取得した複数のブロックに分割された右眼用奥行き画像および左眼用奥行き画像について、各ブロックにおける輝度情報（奥行き値）の出現数を計数し、奥行き値と出現数（画素数）との関係を示す奥行き値分布を生成する。そして、生成した、各ブロックにおける奥行き値分布を、それぞれのブロックと対応付けて画素分類部１４へ送信する。

画素分類部１４は、奥行き値分布作成部１３から取得した、右眼用奥行き画像および左眼用奥行き画像の各ブロックにおける奥行き値分布を用いて、各ブロックの画素を、１つ以上の画素グループに分類する。そして、各画素グループの代表値および占有面積（特徴量）を算出する。そして、各画素グループの代表値および占有面積を、それぞれのブロックを対応付けてオクルージョン領域特定部１５へ送信する。なお、画素グループの分類方法、代表値および占有面積の算出方法については後述する。

オクルージョン領域特定部１５は、マッチング部１２から取得した、右眼用奥行き画像と左眼用奥行き画像との各ブロックの対応関係と、画素分類部１４から取得した、右眼用奥行き画像および左眼用奥行き画像の各ブロックにおける画素グループの代表値および占有面積を用いて、オクルージョンが発生している領域の特定を行う。オクルージョンとは、カメラから近い距離に存在している被写体が、これよりも遠くに存在している被写体の一部または全部を隠すことをいう。本実施の形態では、オクルージョンによって、右眼用画像と左眼用画像とで、被写体の表示されている範囲が異なっている領域を、オクルージョン領域と定義する。そして、オクルージョン領域特定部１５は、オクルージョンが発生している領域を特定すると、オクルージョンが発生している画素グループの奥行き画像における位置を、それぞれのブロックと対応付けて奥行き値変換部１６へ送信する。なお、オクルージョンが発生している領域の特定方法については後述する。

奥行き値変換部１６は、画素分類部１４から取得したブロック毎の画素グループの代表値および占有面積と、オクルージョン領域特定部１５から取得したオクルージョンが発生している位置とを用いて、各ブロックにおける奥行き値を変換して当該ブロックの解像度を落とす処理を行い、符号化部１７へ送信するものである。変換処理の詳細については後述する。

符号化部１７は、奥行き値変換部１６で奥行き値が変換された奥行き画像を所定の符号化方式に基づいて、圧縮符号化するものである。符号化方式としては、符号化の対象となる画像が静止画像であればＪＰＥＧ（Joint Photographic Experts Group）やＪＰＥＧ２０００などの方式を挙げることができる。また、符号化の対象となる画像が動画像であればＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの方式を挙げることができる。そして、圧縮符号化した奥行き画像を多重化部１８へ送信する。

多重化部１８は、符号化部１７で符号化された各奥行き画像の符号化データを、所定のフォーマットに従い多重化して、図示しない記録装置や外部通信手段などへ送信する。多重化の所定のフォーマットとしては、ＭＶＣ（Multi-view Video Coding）フォーマットを挙げることができる。

（画像符号化装置における処理の流れ）
次に、図２を用いて画像符号化装置１０における処理の流れを説明する。図２は、画像符号化装置１０の処理の流れを示すフローチャートである。

図２に示すように、画像符号化装置１０は、奥行き画像（左眼用奥行き画像および右眼用奥行き画像）を取得すると（Ｓ１、取得ステップ）、分割部１１が、これらの奥行き画像をそれぞれ所定のサイズに分割する（Ｓ２）。次に、マッチング部１２は、分割部１１が分割した左眼用奥行き画像の各ブロックについて、右眼用奥行き画像とブロックマッチングを行うとともに、右眼用奥行き画像の各ブロックについて、左眼用奥行き画像とブロックマッチングを行う。そして、右眼用奥行き画像および左眼用奥行き画像それぞれの各ブロックについて、マッチングペアを決定する（Ｓ３）。マッチングペアを決定する処理の詳細については後述する。

そして、奥行き値分布作成部１３は、分割部１１が分割したブロックごとに、奥行き値分布を作成し（Ｓ４、奥行き値分布作成ステップ）、画素分類部１４は、分割部１１が分割したブロックごとに画素グループの分類を行い（奥行き値分布分割ステップ）、それぞれの画素グループにおける代表値を決定し（代表値決定ステップ）、占有面積を算出する（Ｓ５）。画素グループを分類する処理の詳細については後述する。

次に、オクルージョン領域特定部１５は、マッチング部１２が決定したマッチングペアおよび画素分類部１４が算出したそれぞれの画素グループの代表値および占有面積を用いてオクルージョンの有無を判定する（Ｓ６）。オクルージョン領域の特定処理の詳細については後述する。

その後、奥行き値変換部１６は、オクルージョン領域特定部１５が特定したオクルージョンの有無に応じて、奥行き値を変換し（Ｓ７、画像変換ステップ）、符号化部１７は、奥行き値変換部１６によって奥行き値が変換された奥行き画像を符号化し（Ｓ８）、多重化部１８は、符号化されたそれぞれの奥行き画像（左眼用奥行き画像および右眼用奥行き画像）を多重化して（Ｓ８）、記録装置や外部通信装置等に送信する。なお、奥行き値の変換処理の詳細については後述する。以上で、画像符号化装置１０における処理が終了する。

（マッチング部における処理）
次に、図３を用いて、マッチング部１２における処理の流れを説明する。図３は、マッチング処理の流れを示すフローチャートである。

まず、マッチング部１２は、左眼用奥行き画像における各ブロックについて、右眼用奥行き画像における同位置ブロックおよび当該ブロックから所定の範囲内（±１６画素）に存在するブロックを参照ブロックに設定する（Ｓ３１）。次に、マッチング部１２は、左眼用奥行き画像のブロックと、設定された右眼用奥行き画像における参照ブロックとの差分絶対値の累積和ＡＥを算出する（Ｓ３２）。そして、設定した全ての参照ブロックについて、差分絶対値の累積和ＡＥの算出が終了すると（Ｓ３３でＹＥＳ）、差分絶対値の累積和ＡＥが最小であったブロックのペアをマッチングブロックとして決定する（Ｓ３４）。そして、左眼用奥行き画像の全てのブロックについて、マッチングペアが決定すると（Ｓ３５でＹＥＳ）、マッチング処理を終了する。

なお、右眼用奥行き画像についても、同様の処理を行う。

（画素分類部における処理）
次に、図４〜７を用いて、画素分類部１４における処理について説明する。図４は、画素分類処理の流れを示すフローチャートである。なお、以下の説明では、奥行き画像における１つのブロックに対する処理について説明するが、画素分類部１４は、以下の処理を、奥行き画像（左眼用奥行き画像および右眼用奥行き画像）の全てのブロックに対して行うものである。

まず、画素分類部１４は、奥行き値分布作成部１３が作成した各ブロックごとの奥行き値分布に不連続区間があるか否かを判定する（Ｓ５１）。そして、不連続区間があれば（Ｓ１でＹＥＳ）、当該不連続区間を境として２つの画素グループに分類する（Ｓ５２）。画素グループとは、当該グループに分類された奥行き値を持つ画素情報（座標および奥行き値を持つ情報）のグループのことをいう。

一方、奥行き値分布に不連続区間が存在しない場合（Ｓ５１でＮＯ）、または、ステップＳ５２で画素グループの分類を行った後、画素分類部１４は、奥行き値分布作成部１３が作成した各ブロックごとの奥行き値分布の連続区間における出現数の極大値を抽出する（Ｓ５３）。そして、抽出した極大値の個数が１つであれば（Ｓ５４でＮＯ）、当該奥行き値分布の連続区間を１グループとする（Ｓ５５）。すなわち、当該奥行き値分布の連続区間におけるそれぞれの奥行き値を持つ画素情報を、１つの画素グループに分類する。

一方、抽出した極大値が複数であれば（Ｓ５４でＹＥＳ）、画素分類部１４は、隣接する２つの極大値に挟まれた分布の中に、両極大値に対して所定の比率（例えば２０％）未満の出現数の奥行き値があるか否かを判定する（Ｓ５５）。そして、両極大値に対して所定の比率（例えば２０％）未満の出現数の奥行き値があれば（Ｓ５５でＹＥＳ）、当該奥行き値のうち出現数が最小の奥行き値を境界として２つの画素グループに分類する（Ｓ５６）。すなわち、当該出現数が最小の奥行き値を境界として、それぞれの極大値を含む範囲の奥行き値を持つ画素情報を、２つのグループに分類する。他方、両極大値に対して所定の比率未満の出現数の奥行き値がなければ（Ｓ５５でＮＯ）、当該両極大値を含む範囲の奥行き値については１グループとする（Ｓ５７）。

そして、画素分類部１４は、分類したそれぞれの画素グループについて、代表値を決定し、占有面積を算出する（Ｓ５８）。画素グループの代表値は、以下のように決定する。画素グループ内に出現数が最大の奥行き値が１つだけ存在する場合は、当該奥行き値を代表値として決定する。また、出現数が最大の奥行き値が複数存在する場合は、当該画素グループにおける奥行き値の中央の値を代表値として決定する。

また、画素グループの占有面積は、奥行き値分布を、当該画素グループの区間で積分して算出する。以上で、画素分類部１４における処理が終了する。

次に、図５〜７を用いて、画素分類部１４における処理の例を説明する。図５〜７は、画素分類部１４における処理の例を説明するための図である。

図５は、左眼用視点画像および右眼用視点画像と、これらに対応する右眼用奥行き画像および左眼用奥行き画像を示すものである。図５の（ａ）は、左眼用視点画像２１０を示し、図５の（ｂ）は、左眼用視点画像２１０と対応する左眼用奥行き画像２１１を示している。また、図５の（ｃ）は、右眼用視点画像２２０を示し、図５の（ｄ）は、右眼用視点画像２２０と対応する右眼用奥行き画像２２１を示している。

図５（ａ）および（ｂ）は、それぞれ、２つの被写体２０１、２０２を含む空間を撮影したものであるが、視点の違いから視差が生じるために、右眼用視点画像２２０では被写体２０２は被写体２０１に隠れずに全て表示されているが、左眼用視点画像２１０では被写体２０２の一部分が被写体２０１に隠れて表示されていない。これが、上述したオクルージョンが発生している状態である。

ここで、左眼用奥行き画像２１１のブロック領域２０３ａと右眼用奥行き画像２２１のブロック領域２０３ｂとに注目する。ブロック領域２０３ａとブロック領域２０３ｂとは、分割部１１によって分割され、マッチング部１２において最も一致度が高いと判定されたブロックのペア（マッチングペア）である。

図５の（ｂ）および（ｄ）に示すように、左眼用奥行き画像２１１のブロック領域２０３ａには、被写体２０２が含まれているが、右眼用奥行き画像２２１のブロック領域２０３ｂには被写体２０２は含まれていない。すなわち、右眼用奥行き画像２２１のブロック領域２０３ｂ内の奥行き値は、被写体２０１と背景部分とで構成されている。

また、図６は、図５に示すブロック領域２０３ａおよびブロック領域２０３ｂにおける奥行き値分布を示す図である。図６に示す奥行き値分布では、横軸に奥行き値、縦軸に出現数が示されている。図６の（ａ）は、ブロック領域２０３ａにおける奥行き値分布を示す図（ヒストグラム）であり、図６の（ｂ）は、ブロック領域２０３ｂにおける奥行き値分布を示す図である。

図５の左眼用奥行き画像２１１のブロック領域２０３ａにおける奥行き値分布が、図６の（ａ）に示すような奥行き値分布であった場合、画素分類部１４は、まず、奥行き値分布に不連続区間が存在するか否かを判定する。図６の（ａ）に示す奥行き値分布では、不連続区間６０３が存在する。そこで、画素分類部１４は、不連続区間６０３を境として奥行き値分布を画素グループ３０１ａと画素グループ３０２とに分類する。そして、画素グループ３０１ａおよび画素グループ３０２のそれぞれに分類された奥行き値分布に、出現数の極大値が複数存在するか否かを判定する。画素グループ３０１ａに分類された奥行き値分布には、極大値は１つ（極大値６０１）しかないので、画素グループ３０１ａに分類された奥行き値分布は、これ以上複数には分類されない。また、同様に、画素グループ３０２に分類された奥行き値分布にも極大値は１つ（極大値６０２）しかないので、画素グループ３０２に分類された奥行き値分布は、これ以上複数には分類されない。

以上より、図６の（ａ）に示す奥行き値分布は、極大値６０１を含む画素グループ３０１ａと極大値６０２を含む画素グループ３０２とに分類される。

そして、画素分類部１４は、画素グループ３０１ａの代表値を極大値６０１に対応する奥行き値に決定し、画素グループ３０２の代表値を極大値６０２に対応する奥行き値に決定する。さらに、奥行き値分布における、画素グループ３０１ａおよび画素グループ３０２の区間について、積分することにより、それぞれの画素グループの占有面積を算出する。

同様に、図５の右眼用奥行き画像２２１のブロック領域２０３ｂにおける奥行き値分布が、図６の（ｂ）に示すような奥行き値分布であった場合、画素分類部１４は、まず、奥行き値分布に不連続区間が存在するか否かを判定する。図６の（ｂ）に示す奥行き値分布では、不連続区間６０６が存在する。そこで、画素分類部１４は、不連続区間６０６を境として奥行き値分布を画素グループ３０１ｂと画素グループ３０３とに分類する。そして、画素グループ３０１ｂおよび画素グループ３０３のそれぞれに分類された奥行き値分布に、出現数の極大値が複数存在するか否かを判定する。画素グループ３０１ａに分類された奥行き値分布には、極大値は１つ（極大値６０４）しかないので、画素グループ３０１ｂに分類された奥行き値分布は、これ以上複数には分類されない。また、画素グループ３０３に分類された奥行き値分布には、極大値は存在しないので、画素グループ３０３に分類された奥行き値分布も、これ以上複数には分類されない。

以上より、図６の（ａ）に示す奥行き値分布は、極大値６０４を含む画素グループ３０１ｂと画素グループ３０３とに分類される。

そして、画素分類部１４は、画素グループ３０１ｂの代表値を極大値６０４に対応する奥行き値に決定し、画素グループ３０３の代表値を、画素グループ３０３における奥行き値の中間の値である中間値６０５に決定する。さらに、奥行き値分布における、画素グループ３０１ｂおよび画素グループ３０３の区間について、積分することにより、それぞれの画素グループの占有面積を算出する。

なお、奥行き値分布に不連続区間が存在しない場合は、画素分類部１４は、以下のように分類を行う。図７を用いて説明する。図７は、不連続区間が存在しない奥行き値分布を示す例である。図７に示すような奥行き値分布が存在した場合、画素分類部１４は、まず、奥行き値分布の極大値を抽出する。ここでは、極大値４０１、極大値４０２が抽出される。そして、複数の極大値が抽出されたので、両極大値に挟まれた区間に両極大値に対する比率が２０％未満の出現数の奥行き値が存在するか否かを判定する。図７に示す例では極小値４０３が存在する。そこで、画素分類部１４は、極小値４０３を境界として、極大値４０１を含む画素グループ３０５と、極大値４０２を含む画素グループ３０４とに分類する。そして、それぞれの画素グループの代表値と占有面積を上述した方法で算出する。

（オクルージョン領域特定部における処理）
次に、図５、６、８を用いてオクルージョン領域特定部１５における処理について説明する。図８は、オクルージョン領域特定部１５における処理の流れを示すフローチャートである。

オクルージョン領域特定部１５は、まず、マッチング部１２が決定したマッチングペアのブロックについて、画素分類部１４で複数の画素グループに分類されたか否かを判定する（Ｓ６１）。そして、当該ブロックの画素グループが１つの場合は（Ｓ６１でＮＯ）、オクルージョンは発生していないと判定する（Ｓ６４）。画素グループが１つの場合は、当該ブロック内には被写体領域が一つしかないことを意味するためである。

一方、複数の画素グループに分類されている場合は（Ｓ６１でＹＥＳ）、それぞれのブロックにおける画素グループの代表値と占有面積とを比較し、一致する画素グループがあるか否かを判定する。画素グループが一致するか否かは、例えば、或る画素グループ（注目区間に含まれる奥行き値を有する画素よりなる領域）について比較対象となるブロックに一致する画素グループがあるか否かを判定する場合、代表値と占有面積とのそれぞれについて差分を、比較対象となるブロックに含まれる全ての画素グループについて計算し、その差分値が元の値に対してそれぞれ１０％未満の画素グループが存在するか否かを判定する。そして、差分値が１０％未満の画素グループが存在すれば、その画素グループ同士は一致すると判定する。

そして、マッチングペアのブロック間で、一致しない画素グループがあるか否かを判定し（Ｓ６２）、一致しない画素グループがあれば（Ｓ６２でＹＥＳ）、当該画素グループの領域をオクルージョン領域と特定する（Ｓ６３）。以上で、オクルージョン領域特定部１５における処理が終了する。

次に、図５、６を用いて、オクルージョン領域特定部１５における処理の例を具体的に説明する。上述したように、図５（ｂ）のブロック領域２０３ａと図５（ｄ）のブロック領域２０３ｂとがマッチングペアであり、オクルージョンが発生している。この場合に、これらのブロックについて、画素グループが一致するか否かを判定し、オクルージョンが発生しているか否かを判定すると以下のようになる。

図６の（ａ）および（ｂ）に示すように、ブロック領域２０３ａは、画素グループ３０１ａおよび画素グループ３０２に分類されており、ブロック領域２０３ｂは、画素グループ３０１ｂおよび画素グループ３０３に分類されているので、ブロック領域２０３ａおよびブロック領域２０３ｂは、ともに複数の画素グループに分類されている。

そして、画素グループ３０１ａ、画素グループ３０２と画素グループ３０１ｂ、画素グループ３０３との、それぞれの代表値および占有面積を比較すると、画素グループ３０１ａと画素グループ３０１ｂとが一致し、画素グループ３０２と画素グループ３０３とは一致しないことがわかる。そこで、オクルージョン領域特定部１５は、ブロック領域２０３ａの画素グループ３０２の領域と、ブロック領域２０３ｂの画素グループ３０３の領域とにオクルージョンが発生していると判定する。そして、オクルージョン領域特定部１５は、画素グループ３０２の領域と画素グループ３０３の領域とをオクルージョンが発生している領域として特定し、奥行き値変換部１６へ送信する。

（奥行き値変換部における処理）
次に、奥行き値変換部１６における処理について説明する。奥行き値変換部１６は、各ブロック内の画素グループの代表値と占有面積、および、オクルージョンの発生領域を用いて、次のように奥行き値を変換する。
（１）ブロック内に、画素グループが複数あり、かつ、オクルージョンが発生していない場合、各画素グループに含まれる奥行き値は、それぞれのグループの代表値に置き換える。
（２）ブロック内に、画素グループが複数あり、かつ、オクルージョンが発生している場合、オクルージョンが発生している画素グループに含まれる奥行き値はそのまま維持し、それ以外の画素グループに含まれる奥行き値は、それぞれのグループの代表値に置き換える。
（３）ブロック内に、画素値グループが１つの場合、ブロック内の奥行き値は全て、画素グループの代表値に置き換える。

以上のように変換処理を行うことによって、奥行き方向に重なり合う複数の被写体を含む画像に関して、オクルージョンが発生していない領域については、奥行き値が均一化されることにより、データ量およびデータの冗長度が削減される。よって、奥行き値変換部１６で奥行き値が変換された奥行き画像を符号化部１７において圧縮符号化を行うときに、圧縮率が向上するという効果を奏することができる。

また、上記（３）の処理を行った場合、当該ブロックの奥行き値は単一となる。これは、奥行き画像の空間解像度が削減されることを意味する。例えば、ブロックサイズが１６×１６＝２５６画素の場合、（３）の処理を行うことによって２５６画素のすべてが同一の奥行き値で表現できることになる。よって、１画素分の奥行き値で２５６画素の奥行き値を表現できることになり、データ量を２５６分の１に削減することができる。

なお、上述した実施の形態では、奥行き値変換部１６は、オクルージョンが発生している領域か否かという基準を用いて奥行き値の変換を行っている。しかしながら、奥行き値の変換の基準は、これに限られず、他の基準を用いて行ってもよい。例えば、奥行き値分布のばらつきから、奥行き値の変換を行ってもよい。すなわち、画素グループにおける奥行き値の分散σを求め、分散σが所定値Ｒより大きい場合には奥行き値の変換を行わず（すなわち、奥行き値をそのまま維持する）、所定値Ｒ以下の場合には当該画素グループに含まれる奥行き値を代表値に変換する。

これにより、奥行き方向の変化が大きい被写体の場合（σ＞Ｒ）は、変換が行われず、奥行き方向の変化が小さい被写体の場合（σ≦Ｒ）は、変換が行われる（奥行き値が代表値に変換される）ので、被写体の遠近感の再現性を大きく損なわずに、情報量を減らすことができる。

このような方法により、奥行き方向に重なる複数の被写体の遠近関係を維持したまま、奥行き値の変換を行うことができるので、画像内の遠近感の歪みを抑えたまま、情報量を減らすことができる。

以上のように、本実施の形態によれば、奥行き画像に関して、複数被写体の前後関係を維持しながら、奥行き値の情報量を削減して符号化することで、奥行き画像の情報量を削減することができる。また、奥行き画像の情報量を削減するときに、時間方向に複数の画像フレームを用いることなく処理を行うことができるので、処理の遅延を抑えることができ、リアルタイムに符号化を行うことができる。

本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、画像符号化装置１０の各ブロック、特に分割部１１、マッチング部１２、奥行き値分布作成部１３、画素分類部１４、オクルージョン領域特定部１５、奥行き値変換部１６、符号化部１７、および多重化部１８は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（central processing unit）を用いてソフトウェア的に実現してもよい。

後者の場合、画像符号化装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像符号化装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記の画像符号化装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、画像符号化装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（high data rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。

視点画像に対応する奥行き値を、遅延が少なく簡便な処理で圧縮できるので、奥行き値を用いて画像を処理する装置、例えば、立体画像や任意の視点における画像を作成する装置に好適である。

１０ 画像符号化装置（画像変換装置）
１１ 分割部（取得手段、画像分割手段）
１２ マッチング部（対応分割画像決定手段）
１３ 奥行き値分布作成部（奥行き値分布作成手段）
１４ 画素分類部（奥行き値分布分割手段、代表値決定手段、占有面積算出手段）
１５ オクルージョン領域特定部（オクルージョン領域特定手段）
１６ 奥行き値変換部（画像変換手段）
１７ 符号化部
１８ 多重化部

Claims (10)

1. 奥行き値を変換することによって奥行き画像を変換する画像変換装置であって、
   上記奥行き画像を取得する取得手段と、
   上記取得手段が取得した奥行き画像における奥行き値の出現数の分布を作成する奥行き値分布作成手段と、
   上記奥行き値分布作成手段が作成した奥行き値分布を、該分布における奥行き値の連続性に応じて複数の区間に分割する奥行き値分布分割手段と、
   上記奥行き値分布分割手段が分割した奥行き値分布の各区間の代表値を決定する代表値決定手段と、
   上記奥行き値分布分割手段が分割した奥行き値分布の各区間に含まれる奥行き値を、上記代表値決定手段が決定した代表値に変換することにより上記奥行き画像を変換する画像変換手段と、を備えたことを特徴とする画像変換装置。
2. 上記奥行き値分布分割手段は、
   上記奥行き値分布作成手段が作成した奥行き値分布に不連続区間が存在する場合、該不連続区間を境として奥行き値分布を分割し、
   上記奥行き値分布の連続区間については、該連続区間における出現数の極大値を検出し、極大値が複数存在する場合に、隣接する極大値に挟まれた区間における出現数の最小値が、該区間を挟む極大値のうちの小さい方の極大値に１未満の所定比率を乗じた値未満であるとき、該最小値をとる奥行き値を境として奥行き値分布を分割することを特徴とする請求項１に記載の画像変換装置。
3. 上記代表値決定手段は、上記奥行き値分布分割手段が分割した奥行き値分布の区間において、出現数の極大値が１つ存在する場合、該極大値に対応する奥行き値を当該区間の代表値に決定することを特徴とする請求項１または２に記載の画像変換装置。
4. 上記代表値決定手段は、上記奥行き値分布分割手段が分割した奥行き値分布の区間において、出現数が一定である場合、または出現数の極大値が複数存在する場合、当該区間の中央の奥行き値を代表値に決定することを特徴とする請求項１〜３のいずれか１項に記載の画像変換装置。
5. 上記取得手段は、視点の異なる複数の奥行き画像を取得し、
   上記取得手段が取得した複数の奥行き画像において、被写体の重なり方が異なる領域であるオクルージョン領域を特定するオクルージョン領域特定手段を備え、
   上記画像変換手段は、上記オクルージョン領域特定手段がオクルージョン領域と特定した領域については、奥行き値を変換しないことを特徴とする請求項１〜４のいずれか１項に記載の画像変換装置。
6. 上記取得手段が取得した複数の奥行き画像を、同じ分割位置でそれぞれ複数の分割画像に分割する画像分割手段を備え、
   上記奥行き値分布作成手段は、上記画像分割手段が分割した各分割画像の奥行き値の出現数の分布を作成するものであって、
   さらに、
   上記奥行き画像のうち、或る奥行き画像の分割画像と対応する他の奥行き画像の分割画像を決定する対応分割画像決定手段を備え、
   上記オクルージョン領域特定手段は、
   上記対応分割画像決定手段が決定した、対応する分割画像同士の間で、
   或る分割画像の奥行き値分布のすべての区間について、１区間ずつ注目区間としながら、該注目区間の特徴量と、対応する分割画像の奥行き値分布のすべての区間の特徴量との差分をそれぞれ算出し、
   算出したすべての差分が所定値より大きいとき、当該注目区間に属する奥行き値を有する画素よりなる領域を、オクルージョン領域と特定することを特徴とする請求項５に記載の画像変換装置。
7. 上記代表値決定手段は、上記画像分割手段が分割した各奥行き画像の奥行き値分布の各区間の代表値を決定するものであって、
   各奥行き画像の各分割画像について、上記奥行き値分布分割手段が分割した１つの区間に属する奥行き値を有する画素よりなる領域が当該分割画像において占める面積である占有面積を、上記奥行き値分布分割手段が分割したすべての区間について算出する占有面積算出手段を備え、
   上記オクルージョン領域特定手段は、上記特徴量として、上記代表値および上記占有面積の少なくともいずれか一方を用いることを特徴とする請求項６に記載の画像変換装置。
8. 請求項１〜７に記載の画像変換装置を動作させる画像変換装置制御プログラムであって、コンピュータを上記の各手段として機能させるための画像変換装置制御プログラム。
9. 請求項８に記載の画像変換装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 奥行き値を変換することによって奥行き画像を変換する画像変換装置の制御方法であって、
    上記奥行き画像を取得する取得ステップと、
    上記取得ステップで取得した奥行き画像における奥行き値の出現数の分布を作成する奥行き値分布作成ステップと、
    上記奥行き値分布作成ステップで作成した奥行き値分布を、該分布における奥行き値の連続性に応じて複数の区間に分割する奥行き値分布分割ステップと、
    上記奥行き値分布分割ステップで分割した奥行き値分布の各区間の代表値を決定する代表値決定ステップと、
    上記奥行き値分布分割ステップで分割した奥行き値分布の各区間に含まれる奥行き値を、上記代表値決定ステップで決定した代表値に変換することにより上記奥行き画像を変換する画像変換ステップと、を含むことを特徴とする画像変換装置の制御方法。