JP2012004623A

JP2012004623A - 多視点画像符号化装置

Info

Publication number: JP2012004623A
Application number: JP2010134885A
Authority: JP
Inventors: Takeshi Kaneko; 毅金子
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2010-06-14
Filing date: 2010-06-14
Publication date: 2012-01-05
Anticipated expiration: 2030-06-14
Also published as: WO2011158562A1; JP4764516B1

Abstract

【課題】多視点画像の処理システムにおいて、視点画像と対応する奥行き情報とを圧縮符号化する際に、画像品質を保ちつつ、少ない処理負荷で、視点画像の符号化・伝送における情報量を効率よく削減する。
【解決手段】多視点画像符号化装置１００は、少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から被写体までの実距離を算出し、算出した実距離と所定の閾値とを比較し、比較結果に基づいて、視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する実距離算出部１０１と、出力された変換情報に基づいて視点画像を構成する画素または小領域毎に色差情報の階調数を変換する視点画像変換部１０２とを備える。所定の閾値は、被写体の視点から被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値である。
【選択図】図１

Description

本発明は、多視点画像の処理技術に関するもので、特に視点画像の符号化処理における処理負荷の低減に関するものである。

複数の視点に対応する画像を利用することにより、従来の単一視点画像だけでは得られない、より臨場感の高い映像表現が可能になる。複数視点画像の代表的な利用例として、立体画像表示技術と任意視点画像表示技術がある。立体画像表示技術は、表示する画像自体は平面画像すなわち二次元情報でありながら、図８のように、観察者の左眼と右眼に対して視差のある画像３０１，３０２を観察させるように与えることにより、脳内で知覚される映像３０３が擬似的に実際の三次元物体・三次元空間の観察時と同様の立体感を与えるものである。

また、任意視点画像表示技術は、図９のように、複数の視点から撮影された画像データ４０１ｖ〜４０３ｖと、カメラと被写体間の距離情報４０１ｄ〜４０３ｄなどを利用し、撮影していない視点からの画像４０４ｖ，４０５ｖ等を生成することによって、観察者の好みの位置すなわち任意の視点からの画像を観察可能にするものである。

このように、任意視点画像の生成・表示技術は、撮影していない視点を含め、観察者の好みの位置からの画像を観察可能にするものである。任意視点画像生成のためには、映像内の各被写体の奥行き情報が必要となる。例えば、奥行き情報を用いない場合、ある視点からは見える領域Ａが、別の視点から見ると物体Ｂの後ろに隠れて見えなくなるが、そのような関係を任意の視点全てにおいて再現するためには、無限の数の視点画像を用意する必要がある。しかし、奥行き情報があれば、少ない視点画像で、任意視点の画像を再現することが可能となる。

例えば、非特許文献１には、任意視点画像の生成技術の基本となる３ＤＷａｒｐｉｎｇに関し、その基本手法をベースにしつつ、さらに高品質な任意視点画像の生成を行うための方法が開示されている。

このような任意視点画像の生成技術は、前述の立体画像表示に対しても臨場感の向上や改善に応用することが出来る。例えば、図１０のように２つのカメラ５０１，５０２で被写体５０４，５０５を撮影した立体表示用の画像データ５０１ｖ，５０２ｖがあったとする。しかし、カメラの間隔５０６が人の左右眼の距離（６５ｍｍ前後と言われている）より離れすぎているため、立体画像として観察した場合に不自然な画像になるか、あるいは全く立体画像として知覚できない画像になってしまう。

このようなケースに、前述の任意視点画像生成技術を適用して、カメラ位置５０１から人の左右眼の距離５０７に相当する仮想視点位置５０３における画像５０３ｖを生成することにより、画像５０１ｖと５０３ｖを用いて、適正な立体画像として観察することが可能になる。

逆に、２つのカメラ５０１，５０２の間隔が狭すぎる場合には、撮影された画像５０１ｖ，５０２ｖはほとんど立体感の得られない立体画像になってしまうが、このようなケースも同様に、いずれかの視点から左右眼の距離に相当する仮想視点を設定し、その仮想視点における画像を生成することにより、充分な立体感が得られる立体画像として観察することが可能になる。さらに、以上の原理を応用して、任意視点からの立体画像を観察することや、任意視点における立体画像観察時に立体感を調整することが可能である。

上述のように、複数の視点画像および対応する奥行き画像を利用することにより、画像表示システムの表現機能を向上させることができる。しかし一方で、奥行き画像データを必要とするため、その分、記録・伝送時の符号量が増えるという問題が生じる。この問題を解決するため、多視点画像の符号化復号装置においては、各種の工夫がなされている。

例えば、特許文献１では、奥行き情報を伝送する際に、視覚の奥行き変化に対する時間及び空間周波数特性に従い、知覚感度の高い周波数成分に対して優先的に伝送量を割り当てるように奥行き値を符号化する技術が開示されている。奥行き情報は、通常、輝度値のみで構成される画像データとして表現され、通常の画像と同様の符号化方法により情報量を圧縮することができる。この特許文献１に記載の方法によれば、奥行き情報の情報量を圧縮する際に、ヒトの奥行き知覚の感度に着目して符号量を割り当てることによって、奥行き情報の品質すなわち奥行き情報を利用して生成される仮想視点画像の品質を保ちつつ、符号量の削減を可能にしている。

特開２００１−６１１６４号公報

森、他：奥行き画像を用いた３Ｄｗａｒｐｉｎｇによる自由視点画像生成、電子情報通信学会総合大会情報・システム講演論文集２、Ｄ−１１−７、２００８年金、他：視点・視対象間距離と色彩変化の関係、日本建築学会計画系論文集第４７５号、２０９−２１５頁、１９９５年

しかしながら、特許文献１に記載の方法に従う場合、奥行き情報を符号化するためには、一旦、奥行き情報の時間周波数特性および空間周波数特性を分析する必要があり、そのまま符号化する方法に比べて処理量が増加し、処理時間の遅延を招く。特に、時間周波数特性を得るためには、複数のフレームにわたって奥行き情報を分析する必要があり、必ず処理に数フレーム以上の遅延が生じることになる。すなわち、リアルタイムに符号化・復号するようなアプリケーションには適用できないという問題が生じる。

さらに、この方法における伝送情報量の削減は、輝度情報のみで構成されている奥行き情報のみに有効であり、輝度情報と２つの色差情報で構成されている視点画像の情報量は変化しないため、伝送情報量全体における情報量の削減効果は決して高いとは言えない。

本発明は、上述のごとき実情に鑑みてなされたものであり、多視点画像の処理システムにおいて、視点画像と対応する奥行き情報とを圧縮符号化する際に、画像品質を保ちつつ、少ない処理負荷で、視点画像の符号化・伝送における情報量を効率よく削減すること、を目的とする。

上記課題を解決するために、本発明の第１の技術手段は、複数の視点画像および対応する奥行き情報を符号化する多視点画像符号化装置であって、少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から該被写体までの実距離を算出し、該算出した実距離と所定の閾値とを比較し、比較結果に基づいて、前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する実距離算出手段と、該出力された変換情報に基づいて前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換する視点画像変換手段とを備え、前記所定の閾値は、被写体の視点から該被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値であることを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記実距離算出手段は、前記実距離が所定の閾値以上である場合、前記視点画像を構成する画素または小領域毎に色差情報の階調数を削減するための変換情報を出力することを特徴としたものである。

第３の技術手段は、第１又は第２の技術手段において、前記実距離算出手段は、前記奥行き情報の１フレーム毎に、１フレーム内の画素または小領域毎に対応する変換情報を出力することを特徴としたものである。

第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記視点画像変換手段により色差情報の階調数が変換された視点画像の符号化を行う視点画像符号化手段と、前記奥行き情報の符号化を行う奥行き情報符号化手段と、前記視点画像符号化手段で符号化された視点画像と前記奥行き情報符号化手段で符号化された奥行き情報とを多重化し、符号化データとして出力する多重化手段とを更に備えたことを特徴としたものである。

上記構成を備えることにより、本発明の多視点画像符号化装置は、次の効果を奏する。すなわち、多視点画像を圧縮符号化する際に、被写体の視点から被写体までの実距離が人間の色弁別感度に与える影響を考慮し、少なくとも奥行き情報及び撮影条件情報から、視点画像の色差の階調数を変換するための変換情報を求め、その変換情報に基づき視点画像の情報（符号）量を削減することができる。従って、視点画像における、特に人間の主観的な画像品質を保ちつつ、かつ、符号化・伝送における情報量を効率よく削減することができる。また、この変換情報は１フレーム単位で算出が完結する処理であるため、処理による遅延を少なくすることができる。

本発明の一実施形態に係る多視点画像符号化装置の構成例を示すブロック図である。視点画像と奥行き情報の一例を示す図である。実距離算出部による実距離算出方法の一例について説明するための図である。実距離が変化した際の明度（輝度純度）の変化を示す図である。実距離が変化した際の彩度の変化を示す図である。被写体の視点から被写体までの実距離に対する輝度情報（Ｙ）と色差情報（Ｃｂ，Ｃｒ）の変化の様子の一例を示した図である。実距離の閾値を５ｋｍとした場合に、図２の奥行き情報から算出した小領域の一例を示す図である。背景技術である立体画像表示の概念説明図である。背景技術である任意視点画像生成の概念説明図である。任意視点画像生成技術を利用した立体画像表示の補正処理を説明する図である。

以下、添付図面を参照しながら、本発明の多視点画像符号化装置に係る好適な実施の形態について説明する。

図１は、本発明の一実施形態に係る多視点画像符号化装置の構成例を示すブロック図で、図中、１００は多視点画像符号化装置を示す。この多視点画像符号化装置１００は、実距離算出部１０１、視点画像変換部１０２、視点画像符号化部１０３、奥行き情報符号化部１０４、及び多重化部１０５を備え、複数の視点画像、視点画像に対応する奥行き情報、及び撮影条件情報を入力として、符号化処理を施して情報量を削減するための装置である。

実距離算出部１０１は、本発明の実距離算出手段に相当し、少なくとも奥行き情報と撮影条件情報とが入力される。実距離算出部１０１は、入力された奥行き情報及び撮影条件情報に基づいて、被写体の視点から被写体までの実距離を算出し、算出した実距離と所定の閾値とを比較し、比較結果に基づいて、視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する。

ここで、所定の閾値とは、被写体の視点から被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値である。すなわち、被写体の視点から被写体までの実距離を変化させながら、視点画像の画素または小領域の色差（彩度）及び輝度の変化の様子を実測し、実測した色差及び輝度の値と、人間の色弁別感度との関係に基づいて決定される値である。この所定の閾値の決め方の具体例については後述する。

視点画像変換部１０２は、本発明の視点画像変換手段に相当し、輝度情報Ｙ及び色差情報ＣｂＣｒで構成される複数の視点画像と、実距離算出部１０１から変換情報とが入力され、この変換情報に基づいて視点画像を構成する色差情報ＣｂＣｒの階調数を変換する。

視点画像符号化部１０３は、本発明の視点画像符号化手段に相当し、視点画像変換部１０２により変換済みの視点画像を所定の符号化方式に基づいて圧縮符号化する。この符号化方式としては、入力が静止画像であれば、ＪＰＥＧ（Joint Photographic Experts Group）やＪＰＥＧ２０００などの方式が適用され、また、動画像であれば、ＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４などの方式が適用できる。

奥行き情報符号化部１０４は、本発明の奥行き情報符号化手段に相当し、奥行き情報を所定の符号化方式に基づいて符号化する。多重化部１０５は、本発明の多重化手段に相当し、上記により符号化された視点画像と奥行き情報とを多重化し、符号化データとして装置外部に出力する。また、多重化部１０５は、視点画像の撮影時のカメラ配置など、撮影条件情報も併せて符号化データとして多重化する。

このように、本発明による多視点画像符号化装置１００は、被写体の視点から被写体までの実距離が所定の閾値以上である場合に、視点画像を構成する色差情報の階調数を削減するようにしたものである。これにより、視点画像における、特に人間の主観的な画像品質を保ちつつ、かつ、符号化・伝送における情報量を効率よく削減することができる。

以下、実距離算出部１０１及び視点画像変換部１０２の各処理について具体的に説明する。まず、実距離算出部１０１に入力される奥行き情報は、例えば、図２（Ａ）のような視点画像に対して、各画素に対応する被写体の視点からの距離に応じた数値が与えられ、図２（Ｂ）のような輝度画像として表される。一般に、奥行き情報は、カメラ位置から視点画像上の物体がどのくらい離れているか（実際には近い程大きい値になるよう変換してある）を示しており、各カメラによって、各画素に対する奥行き値、最大奥行き値（最も近い）、最小奥行き値（最も遠い）が定義されている。

奥行き情報の生成方法としては、例えば、赤外線、超音波、あるいは、赤外線と超音波の両方を使った距離計測装置による方法や、ソフトウェアによる方法がある。赤外線を使った方法では、出射した光線が戻ってくるまでの時間を用いて距離を計測する。また、ソフトウェアによる方法には、左右の視点画像の各画素をマッチングした際の画素ずれから距離を算出する方法などがある。本発明は、奥行き情報の生成方法を限定するものではなく、従来公知の方法に基づく奥行き情報の生成方法を適宜適用することができる。

通常、視点画像は各画素８ビットの輝度情報（Ｙ）と、同様に各画素８ビットの２種類の色差情報（Ｃｂ、Ｃｒ）とで構成され、奥行き情報は各画素８ビットの輝度情報で構成される。実距離算出部１０１には撮影条件情報も入力され、図２（Ｂ）のような奥行き情報の各画素や小領域に対応する被写体の視点から被写体までの実際の距離を算出する。なお、撮影条件情報には、少なくとも、カメラの位置や方向等に関する情報が含まれ、例えば、前述の図１０におけるカメラ５０１とカメラ５０２間の距離、各カメラの撮影方向（角度）、カメラの焦点距離などが含まれる。このカメラ間距離やカメラの撮影方向は、実空間上の座標値等で表現され、実際のカメラの距離や角度を知ることができる。

ここで、奥行き情報は、一般に量子化されたデジタルデータで表現されていて、距離の相対値が、例えば２５６階調値で記述される。実距離算出部１０１による実距離算出の方法には、大きく分けて３通りある。第１の方法として、多視点画像符号化装置１００の前段で奥行き情報を算出する過程において実距離を計測あるいは算出しているため、この実距離情報を撮影条件情報に含めて、奥行き情報と共に実距離算出部１０１に入力する。これにより、実距離算出部１０１は、入力された撮影条件情報から実距離を求めることができる。

第２の方法として、撮影条件情報に実距離情報を含まない場合、奥行き情報から実距離を算出するが、この際、上述のカメラ間距離、カメラ焦点距離等に基づいて算出される所定のパラメータ（後述のパラメータａ，ｂ）が必要となるため、このパラメータａ，ｂを撮影条件情報に含めて、奥行き情報と共に実距離算出部１０１に入力する。これについて以下の図３に基づいて具体的に説明する。

図３は、実距離算出部１０１による実距離算出方法の一例について説明するための図である。本例では、２つのカメラＣ_L，Ｃ_R、被写体Ｓ１が配置されているものとする。そして、２つのカメラＣ_L，Ｃ_Rの焦点距離をｆ、カメラＣ_L，Ｃ_R間の距離をＢ、カメラＣ_L，Ｃ_R（被写体Ｓ１の視点）から被写体Ｓ１までの実距離をＤ１とすると、図中のｄ_L、ｄ_Rは以下の式で幾何学的に算出される。なお、実距離Ｄ１は、カメラＣ_L，Ｃ_R（被写体Ｓ１の視点）を結ぶ線と被写体Ｓ１との最短距離を示す。
ｄ_L＝ｆ×ｓ／Ｄ１ …式（１）
ｄ_R＝ｆ×（Ｂ−ｓ）／Ｄ１ …式（２）

一方、物体認識や形状認識等により、カメラＣ_LとカメラＣ_Rの各視点画像から算出可能な視差ｄ１は、ｄ１＝ｄ_L＋ｄ_Rとなる。そうすると、上記の式（１）、（２）より、
ｄ１＝ｄ_L＋ｄ_R＝ｆ×ｓ／Ｄ１＋ｆ×（Ｂ−ｓ）／Ｄ１＝ｆ×Ｂ／Ｄ１ …式（３）
となる。そして、この式（３）を、
Ｄ１＝ｆ×Ｂ／ｄ１ …式（４）
と書き換えれば、被写体Ｓ１の視点から被写体Ｓ１までの実距離Ｄ１は、視点画像上の視差ｄ１と、カメラ焦点距離ｆと、カメラ間距離Ｂとにより表わすことができる。

また、実距離Ｄ１に対応する奥行き値（例えば、０〜２５５）は、入力される奥行き情報で与えられている数値であり、これを例えばｄｅｐ１とすれば、この値は、実距離Ｄ１と１対１に対応する数値であるため、最も単純には、例えば、
Ｄ１＝ａ×ｄｅｐ１＋ｂ …式（５）
但し、ａは傾きを示すパラメータ、ｂは切片を示すパラメータ
といった一次式で表現することができる。

上記の計算を、奥行き値の異なる別の被写体Ｓ２に対しても同様に実行すると、実距離Ｄ２と奥行き値ｄｅｐ２との関係を、
Ｄ２＝ａ×ｄｅｐ２＋ｂ …式（６）
と表現することができる。

そして、被写体Ｓ２、実距離Ｄ２における視差をｄ２とすると、上記式（４）と同様に、
Ｄ２＝ｆ×Ｂ／ｄ２ …式（７）
と表され、上記式（５）、（６）の傾きａ及び切片ｂと、カメラ間距離Ｂとの関係は、上記式（４）〜（７）より、
ａ＝（Ｄ１−Ｄ２）／（ｄｅｐ１−ｄｅｐ２）
＝ｆ×Ｂ×（１／ｄ１−１／ｄ２）／（ｄｅｐ１−ｄｅｐ２） …式（８）
ｂ＝（ｄｅｐ１×Ｄ２−ｄｅｐ２×Ｄ１）／（ｄｅｐ１−ｄｅｐ２）
＝ｆ×Ｂ×（ｄｅｐ１／ｄ２−ｄｅｐ２／ｄ１）／（ｄｅｐ１−ｄｅｐ２）…式（９）
となる。

ここで、撮影条件情報として、予め傾きａと切片ｂをパラメータとして記述している場合には、実距離算出部１０１における処理のうち、物体認識等を用いて視差ｄ１、ｄ２を算出するプロセスが不要となるため、高速に処理を行うことができる。この方法の場合、奥行き情報及び撮影条件情報が実距離算出部１０１に入力され、これらの情報により実距離を求めることができる。具体的には、上記の式（５）、（６）により求めることができる。

また、第３の方法として、撮影条件情報として、傾きａと切片ｂをパラメータとして記述していない場合には、物体認識等を用いて視差ｄ１、ｄ２を算出する必要があるため、実距離算出部１０１に視点画像を入力する必要がある。すなわち、奥行き情報、撮影条件情報、及び視点画像が実距離算出部１０１に入力され、これらの情報により実距離を求めることができる。具体的には、上記の式（４），（７）、あるいは、上記の式（５）、（６），（８），（９）により求めることができる。

そして、実距離算出部１０１は、上記より求めた実距離Ｄ１，Ｄ２（以下、実距離Ｄで代表する）を、後述する所定の閾値と比較して、実距離Ｄが閾値より小さい場合は、色差の階調数削減は行わないため、輝度Ｙと２種類の色差Ｃｂ、Ｃｒをいずれも８ビットとした変換情報を視点画像変換部１０２へ出力し、一方、実距離Ｄが閾値より大きい場合は、色差の階調数削減を行うため、例えば、色差Ｃｂだけを７ビットにして、輝度Ｙ及び色差Ｃｒを８ビットとした変換情報を視点画像変換部１０２へ出力する。なお、色差Ｃｒだけを７ビットにしてもよく、色差Ｃｂ，Ｃｒの両方を７ビットにしてもよい。

この際、実距離算出部１０１は、奥行き情報の１フレーム毎に、１フレーム内の画素または小領域毎に対応する変換情報を出力する。つまり、変換情報の算出処理は１フレーム単位で完了するため、処理による遅延を小さくすることができる。

視点画像変換部１０２では、実距離算出部１０１から入力された変換情報に基づいて、奥行き情報に対応する視点画像に対して、その視点画像を構成する画素または小領域毎に色差の階調数（ビット数）を変換し、変換後の視点画像のビット数と画素情報を、視点画像符号化部１０３へ出力する。

ここで、非特許文献２に基づいて、被写体の視点から被写体までの実距離が輝度Ｙや色差Ｃｂ、Ｃｒに及ぼす影響について説明する。この非特許文献２では、被写体として山のある点を決めて固定しておき、その点からの距離のみが変わるように、観察場所（カメラ位置）を１ｋｍ毎に１２ｋｍまで変えたときの、色情報（Ｒ、Ｇ、Ｂ）を実測している。

この実測情報に基づいて、実距離（１〜１２ｋｍ）の変化に対して、彩度と色座標（国際照明委員会ＣＩＥが策定したＣＩＥＬ^＊ａ^＊ｂ^＊色空間におけるａ^＊，ｂ^＊）の変化の様子を算出しグラフ化したものを図４、図５にそれぞれ示す。また、さらに、この実測情報より、視点画像として使われることの多い輝度情報（Ｙ）と色差情報（Ｃｂ、Ｃｒ）も算出し、それぞれの実距離（１〜１２ｋｍ）に対する変化の一例を図６に示す。

また、これら彩度や色座標といった画像情報（画素値）と、人間の眼の色弁別感度との関係に関しては、一般に、彩度に対しては、高いほど感度が低くなり、色座標によって決まる色相に対しては、彩度に対する感度低下の程度が異なることが知られている。

従って、上記に基づいて、実距離と人間の眼の色弁別感度との関係を導出すると、図４より、５ｋｍ付近までは実距離が大きくなると共に彩度も高くなっているが、５ｋｍ付近を超えると彩度はほぼ一定になっている。また、図５より、やはり５ｋｍ付近までは色座標（色相）が変化しているが、５ｋｍ付近を超えるとほぼ一定になっているため、５ｋｍ付近までは感度低下の程度が変化しつつ感度の低下が進み、５ｋｍ付近を超えると感度はほぼ一定になることがわかる。

図６は、被写体の視点から被写体までの実距離に対する輝度情報（Ｙ）と色差情報（Ｃｂ，Ｃｒ）の変化の様子の一例を示した図である。これによれば、輝度情報（Ｙ）は、１〜１２ｋｍまでなだらかな変化を示しているのに対して、色差情報（Ｃｂ，Ｃｒ）は、Ｃｂ，Ｃｒとも、５ｋｍ付近で値が飽和して、実距離がさらに大きくなっても、その変化がほとんどなくなっている。これらのことより、実距離との比較に用いる所定の閾値を例えば「５ｋｍ」と決定する。すなわち、この「５ｋｍ」は、被写体の視点から被写体までの実距離と、人間の眼の色弁別感度との関係に基づいて決定される値である。

そして、実距離算出部１０１は、少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から被写体までの実距離を算出し、算出した実距離と「５ｋｍ」とを比較し、比較結果に基づいて、視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する。つまり、実距離算出部１０１は、実距離が「５ｋｍ」以上である場合、視点画像を構成する画素または小領域毎に色差情報の階調数を削減するための変換情報を出力する。図６より、実距離が「５ｋｍ」以上では、輝度Ｙについてはなだらかな変化を表現するために階調数を８ビットに保持するが、色差Ｃｂ，Ｃｒについては変化がないため階調数を削減したとしても、人間の色弁別感度が低下するため画質に与える影響は少ないと考えられる。一方、実距離が「５ｋｍ」未満の場合は、輝度Ｙ、色差Ｃｂ，Ｃｒとも階調数を８ビットのまま保持することで画質を劣化させないようにする。

上記について、前述の図２（Ｂ）に示した奥行き情報の画像例で説明すると、「５ｋｍ」という閾値によって、図７に示すように、奥行き情報の画像内が２つの小領域２０１、２０２に分割することができる。小領域２０１は、視点画像の輝度Ｙ、色差Ｃｂ，Ｃｒ共に階調数を８ビットに保持する領域であり、小領域２０２は、視点画像の色差Ｃｂ，Ｃｒの少なくとも一方の階調数を例えば７ビットに削減する領域となる。この奥行き情報に基づいて、小領域毎の階調数（ビット数）情報を変換情報として出力する。なお、画素毎あるいは小領域毎にビット数が変動するため、このビット数を保存しておく必要がある。画素単位の場合、画素毎に対応する階調（ビット）数を保存しておく。このため、処理速度や情報量削減には若干不利となるが、より高画質を保持することができる。また、小領域単位の場合、各小領域の形状を領域情報として管理し、これにより小領域毎にビット数を保存しておく。このため、画素単位の場合とは逆に、処理速度や情報量削減には有利となるが、画質面では不利となる。画素単位の制御とするか、小領域単位の制御とするかは、オプションとして選択可能な構成にしておくとよい。

ここで、本発明の場合、奥行き情報の情報量は削減せずに、視点画像の情報量を削減するのに対して、前述の特許文献１に記載の技術の場合、視点画像の情報量を削減せずに、奥行き情報の情報量を削減するため、特許文献１に記載の技術と比較して、情報量の削減効果が高くなる。なぜなら、奥行き情報は輝度値のみのモノクロ画像であるのに対して、視点画像は輝度値と色差値とからなるカラー画像である。このカラー画像をＹＣｂＣｒで考えると、視点画像は奥行き情報の３倍の情報量となる。このうちＣｂ，Ｃｒについて情報量の削減が可能であるため、輝度値のみを削減する場合と比べ、同じ階調数であれば、削減対象の情報量は２倍となる。つまり、視点画像（ＹＣｂＣｒ）と奥行き情報（Ｙ）とを合わせた情報量を例えば１００（Ｙ，Ｃｂ，Ｃｒ，Ｙをそれぞれ２５）と仮定すると、特許文献１に記載の技術の場合、削減対象となるのは奥行き情報Ｙの２５、本発明の場合、削減対象となるのは色差情報Ｃｂ，Ｃｒの５０となる。

また、これまで多視点画像符号化装置について説明したが、多視点画像符号化装置で符号化された符号化データを復号する多視点画像復号装置の形態としてもよいことは言うまでもない。この多視点画像復号装置は、多視点画像符号化装置の符号化処理と逆の復号処理を行うように構成されるものであるが、図示による説明は省略するものとする。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も本発明の適用範囲に含まれる。

１００…多視点画像符号化装置、１０１…実距離算出部、１０２…視点画像変換部、１０３…視点画像符号化部、１０４…奥行き情報符号化部、１０５…多重化部、２０１，２０２…小領域。

Claims

複数の視点画像および対応する奥行き情報を符号化する多視点画像符号化装置であって、
少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から該被写体までの実距離を算出し、該算出した実距離と所定の閾値とを比較し、比較結果に基づいて、前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する実距離算出手段と、
該出力された変換情報に基づいて前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換する視点画像変換手段とを備え、
前記所定の閾値は、被写体の視点から該被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値であることを特徴とする多視点画像符号化装置。
前記実距離算出手段は、前記実距離が所定の閾値以上である場合、前記視点画像を構成する画素または小領域毎に色差情報の階調数を削減するための変換情報を出力することを特徴とする請求項１に記載の多視点画像符号化装置。
前記実距離算出手段は、前記奥行き情報の１フレーム毎に、１フレーム内の画素または小領域毎に対応する変換情報を出力することを特徴とする請求項１又は２に記載の多視点画像符号化装置。
前記視点画像変換手段により色差情報の階調数が変換された視点画像の符号化を行う視点画像符号化手段と、前記奥行き情報の符号化を行う奥行き情報符号化手段と、前記視点画像符号化手段で符号化された視点画像と前記奥行き情報符号化手段で符号化された奥行き情報とを多重化し、符号化データとして出力する多重化手段とを更に備えたことを特徴とする請求項１〜３のいずれか１項に記載の多視点画像符号化装置。