JP2012060345A - 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム - Google Patents

Abstract

【課題】一視点の入力非立体画像から視点毎に奥行き情報と背景の奥行き情報との差分に基づいた明るさやコントラストが異なる画像を作り、この異なる画像に視差をつけた画像を生成することによって、曲面のなだらかな奥行き感を持つ多視点画像を作成する。
【解決手段】合成部１７は、フレームメモリ１４〜１６から発生した３つの基本奥行きモデルを、高域成分評価部１２及び１３で算定された値に応じた合成比率で合成して、背景を構成する曲面の奥行きデータを生成する。加算部１８は、非立体画像のＲ信号成分と、背景を構成する曲面の奥行きデータとを加算して奥行き推定データを生成する。輝度調整部２０ａ及び２０ｂは、Ｒ信号成分が奥行き推定データと背景を構成する曲面の奥行きデータとの差分を示す奥行き差分として入力され、その奥行き差分に基づいて背景より手前に近付くほど非立体画像の輝度信号の振幅を大とする輝度調整を２つの各視点別に行う。
【選択図】図１

Description

本発明は多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システムに係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない一視点の２次元画像（非立体画像）から多視点の画像を作成する多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システムに関する。

従来、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない２次元画像（非立体画像）から擬似的に立体画像を作り出す方式の一つとして、静止画像からでも擬似立体画像を生成できる擬似立体画像作成方法が知られている（例えば、特許文献１参照）。この特許文献１記載の擬似立体画像作成方法では、他の擬似立体画像生成方式と同様に、非立体画像から擬似立体画像を生成する際、その非立体画像から推定された奥行き情報に応じて、視点毎に元の非立体画像を水平方向にずらした視差画像を作り、左右の目で異なる視差画像を見せることにより、立体感を得ている。

また、人が３次元空間を知覚する手がかりとして、両眼視差や運動視差、線透視、空気透視、焦点調整に起因するもの等、多岐に亘っていることが知られている。

特開２００５−１５１５３４号公報

特許文献１記載の擬似立体画像作成方法のような従来の視差画像による擬似立体画像作成方法では、一つの画像から奥行きに基づき視差をつけた画像を左右視点の画像として作り出している。このようにして作られた立体画像を立体表示装置で見ると、滑らかに奥行きが変化する曲面や物体表面の微妙な起伏があっても、あたかも奥行きに変化がない板状の物体が建っているように見え、奥行き感が離散的に感じられる問題がある。

立体画像を作る際に、両眼視差を使用するのは、立体視の要因としても最も高いのが両眼視差であることが一般に知られているためである。この両眼視差では、特徴とする点や線などを手がかりに左右の目で見た画像の対応から奥行きを感じている。そのため、曲面など特徴とする点や線が現れにくい表面形状では、両眼視差による立体感は得にくく、奥行き感が離散的に感じられる要因の一つだと考えられる。また、立体表示装置の解像度で両眼視差の最小分解能は決まるため、奥行きは変化してもディスプレイ上で１画素以下の視差の変化は、表示することはできない。そのため、ある程度離れた物体の表面の起伏が、視差の変化として現れないことが多々ある。

こういった問題は、立体表示装置上での両眼視差で知覚しにくい曲面や起伏を両眼視差以外の方法で補ってやることにより解決されることが考えられる。

ところで、実世界では、物体に着目し、左右片目ずつ見てみると、それぞれの目で違う明るさで見え、視点を変えると明るさが変化するのがわかる。この視点変化に対する明るさの変化について、ＣＧ（コンピュータ・グラフィックス）分野では、フォン（Phong）の照明モデルが知られている。この照明モデルは、光源と物体表面の明るさとをモデル化したもので、物体の注目する一点の明るさを拡散反射及び鏡面反射の合成で表現する。拡散反射は、見る角度に関わらず同じ明るさで見えるものである。鏡面反射は、光源から物体注目点へのベクトルを注目点の法線ベクトルに対称に反射光のベクトルと、視点から注目点へのベクトルの積によって明るさが決まる反射である。

この照明モデルを使い、左右違う視点からの明るさについて考えてみる。奥行きに変化がない板状の物体が建っているように見える問題に関して、拡散反射を用いて説明する。

図８に示すように、ランベルト反射をする板状の物体５１のある点の左視点５２Ｌ及び右視点５２Ｒでの明るさは、次式により決まる。

また、明るさは、左視点５２Ｌ及び右視点５２Ｒのそれぞれで同一となる。その光の強さは、以下の式で表される。

ただし、（１）式中、Ｉは光の強度、Ｉ_pは点光源強度である。また、ｋ_dは物体の拡散反射率で０〜１の範囲内の定数で、物質によって変わる。

一方、図９に示すように、ランベルト反射をする曲面をもつ円柱状の物体５３上にある点の左右視点での明るさも同様に、左右視点の明るさは、左視点，右視点で同一になる。

つまり、ランベルト反射をする表面を持った物体は、平面であろうが曲面であろうが、表面形状にかかわらず、左右視点で同じ明るさに見える。これは、２次元画像から立体画像を作る際、視差をつけるが明るさを左右視点で変えない立体画像生成方法と同じ見え方といえる。物体形状の違いは左右視点の明るさには反映されないため、視点の違いによる明るさの変化に起因する物体上の奥行きの変化は知覚できない。

一般的な物体は、拡散反射と併せ鏡面反射も少なからず持っている。鏡面反射項に着目し、平面と曲面での左右視点の明るさの変化を比較する。説明簡略化のため、光源が太陽光のような平行光とする。また、一般的に、画像は順光で撮影されることが多く、逆光は少ないこともあり、視点がある側に光源がある前提で説明する。また、曲面には、凸面以外にも凹面があるが、人間の顔や自然界の木の幹など、大局的には凸面で構成されている例が多いため、凸面の曲面で説明する。

平行光での鏡面反射を含めたPhongの照明モデルは、次の式で表される。

図１０に示すような平面５４において、光源が平行光の場合、注目する点が平面５４上で移動しても、拡散反射項の値は一定であり、拡散反射光は一定である。変化するのは右視点の鏡面反射項と左視点の鏡面反射項の各値である。しかし、Ｒのベクトル方向は一定であり、平面５４上の注目点移動に伴い、僅かにＲとＶ１、ＲとＶ２のなす角度が変化するが、その変化は微小で、右視点の鏡面反射項と左視点の鏡面反射項の各値の変化も小さい。よって、平面５４においては、注目点の移動が鏡面反射光の強度の変化として現れにくい。

一方、図１１に示すような凸面の曲面５５において、注目する点が曲面５５上を移動すると、図１２に示すように、Ｎのベクトル方向が大きく変化する。そのため、拡散反射項の値が大きく変化する。また、反射の方向Ｒは法線の方向Ｎに関して光源の方向Ｌの鏡像なため、拡散反射項の角度変化の２倍だけＲのベクトルとＬのベクトルとの積の値は角度変化する。このように、凸面の曲面５５では注目点の移動により反射の方向Ｒが大きく変化するため、平面に比べて凸面の曲面５５では、右視点の鏡面反射項と左視点の鏡面反射項の各値の変化も大きくなる。

鏡面反射光の強度は、右視点の鏡面反射項と左視点の鏡面反射項の各値のｎ乗に比例する。このため、鏡面反射指数ｎの値が大きくなるにつれ、右視点の鏡面反射項と左視点の鏡面反射項の各値の変化が拡大され、視点の差が大きな強度の違いとして現れる。よって、曲面では、注目点の移動による鏡面反射光の強度の変化が視点によって異なる。

さて、図１１や図１２のような凸面の曲面５５において、視点５２Ｒ、５２Ｌからの奥行きと反射光の強度の相関性を見てみる。

図１２に示すように奥行きが遠くなるほど、法線ベクトルと視線ベクトルの角度が大きくなり、そして反射の方向Ｒのベクトルと、視点５２Ｒ、５２Ｌ方向のベクトルとのなす角度が大きくなり、その結果、右視点の鏡面反射項と左視点の鏡面反射項の各値が小さくなる。反射の方向Ｒのベクトルと、視点５２Ｒ、５２Ｌ方向のベクトルとのなす角度が９０度以上になると、鏡面反射光の強度は０となり、拡散反射光のみになる。拡散反射光は角度によらず強度が一定のため、視点５２Ｒ、５２Ｌで同じ明るさとして見える。つまり、視点５２Ｒ、５２Ｌに対し、この注目点を同じ明るさで表示すればよい。視点５２Ｒ、５２Ｌで同じ明るさということは、コントラストや明るさに差をつけなくて良いということである。

一方、図１１に示すように奥行きが近くなるほど、法線ベクトルと視線ベクトルの角度が小さくなり、そして反射の方向Ｒのベクトルと、視点５２Ｒ、５２Ｌ方向のベクトルとのなす角度が小さくなり、その結果、右視点の鏡面反射項と左視点の鏡面反射項の各値が大きくなる傾向にある。視点５２Ｒ、５２Ｌの光の強度は、拡散反射光と鏡面反射光の合成になる。鏡面反射光に由来する角度の違いにより、視点５２Ｒ、５２Ｌでは違う明るさとして見える。つまり、背景に対し、手前にある物体ほど、左右の目で大きな明るさの違いを持つ傾向にあるので、視点５２Ｒ、５２Ｌに対し、注目点を違う明るさで表示する必要がある。そのため、視点５２Ｒ、５２Ｌでコントラストや明るさに差をつける必要がある。

上記の明るさの変化は、鏡面反射に関してであり、拡散反射の明るさは見る角度によって変化せず一定なため、合成される明るさに対する鏡面反射の占める割合によって、コントラストが変化する。手前のものほど、左右の視点から注目点へのベクトルの違いが大きいため、手前のものほどコントラストが大きくなる傾向がある。３次元空間知覚の手がかりの一つである空気透視法においても、コントラストが小さいものは遠景に、コントラストが大きいものほど手前に感じられることから、コントラストを変化させることは、両眼視差を補う方法として有効と考えられる。以上の明るさ及びコントラストは、物体を見る角度（視点の違い）により変化し、動画に限らず静止画像に対しても有効である。

本発明は、以上の点に鑑みなされたもので、実世界の視点の違いにより明るさやコントラストが変化することに着目し、一視点の入力非立体画像から視点毎に奥行き情報と背景の奥行き情報との差分に基づいた明るさやコントラストが異なる画像を作り、視点毎にこの異なる画像に視差をつけた画像を生成することによって、曲面のなだらかな奥行き感を持つ多視点画像を作成する多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システムを提供することを目的とする。

上記目的を達成するため、第１の発明の多視点画像作成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを発生する発生手段と、入力される奥行き情報が与えられていない非立体画像の、画面内の所定領域における画素値の統計量を算定してシーン構造を推定する算定手段と、発生手段から発生した複数の基本奥行きモデルを、算定手段により算定された値に応じた合成比率で合成して、背景を構成する曲面の奥行きデータを生成する合成手段と、入力される非立体画像の原画像の凹凸に略対応した信号レベルを示す非立体画像の所定の信号成分と、背景を構成する曲面の奥行きデータとを加算して奥行き推定データを生成する加算手段と、加算手段に供給される非立体画像の所定の信号成分が、奥行き推定データと背景を構成する曲面の奥行きデータとの差分を示す奥行き差分として入力されると共に非立体画像の輝度信号が入力され、奥行き差分に基づいて、背景より手前に近付くほど非立体画像の輝度信号の振幅を大とする輝度調整を複数の各視点別に行う複数の輝度調整手段と、複数の輝度調整手段からそれぞれ出力される各視点別の輝度調整後の画像信号のそれぞれのテクスチャのシフトを、対応部分の奥行き推定データに応じた量だけ行う複数のテクスチャシフト手段とを有することを特徴とする。

また、上記の目的を達成するため、第２の発明の多視点画像作成装置は、第１の発明の複数の輝度調整手段が、非立体画像中の所定の信号成分と、視点別に設定される非立体画像中の所定の信号成分の輝度変化に対する寄与率とを乗算した乗算結果に、非立体画像中の所定の信号成分が０のときのオフセット値を与える視点別に設定される輝度変調オフセット値とを加算して輝度変調信号を生成する輝度変調信号生成手段と、非立体画像の輝度信号からコントラスト調整の基準値であるコントラスト調整中心値を減算した値に輝度変調信号を乗算し、その乗算結果にコントラスト調整中心値を加算して調整後輝度信号を生成する調整後輝度信号生成手段と、調整後輝度信号と非立体画像中の輝度信号以外の信号成分とから各視点別の輝度調整後の画像信号を生成する画像信号生成手段とを有することを特徴とする。

また、上記の目的を達成するため、第３の発明の多視点画像作成方法は、入力される奥行き情報が与えられていない非立体画像の、画面内の所定領域における画素値の統計量を算定してシーン構造を推定する算定ステップと、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを、算定ステップにより算定された値に応じた合成比率で合成して、背景を構成する曲面の奥行きデータを生成する合成ステップと、入力される非立体画像の原画像の凹凸に略対応した信号レベルを示す非立体画像の所定の信号成分と、背景を構成する曲面の奥行きデータとを加算して奥行き推定データを生成する加算ステップと、非立体画像の所定の信号成分が、奥行き推定データと背景を構成する曲面の奥行きデータとの差分を示す奥行き差分として入力されると共に非立体画像の輝度信号が入力され、奥行き差分に基づいて、背景より手前に近付くほど非立体画像の輝度信号の振幅を大とする輝度調整を複数の各視点別に行う輝度調整ステップと、輝度調整ステップにより得られる各視点別の輝度調整後の画像信号のそれぞれのテクスチャのシフトを、対応部分の奥行き推定データに応じた量だけ行うテクスチャシフトステップとを含むことを特徴とする。

また、上記の目的を達成するため、第４の発明の多視点画像作成方法は、第３の発明の輝度調整ステップが、非立体画像中の所定の信号成分と、視点別に設定される非立体画像中の所定の信号成分の輝度変化に対する寄与率とを乗算した乗算結果に、非立体画像中の所定の信号成分が０のときのオフセット値を与える視点別に設定される輝度変調オフセット値とを加算して輝度変調信号を生成する輝度変調信号生成ステップと、非立体画像の輝度信号からコントラスト調整の基準値であるコントラスト調整中心値を減算した値に輝度変調信号を乗算し、その乗算結果にコントラスト調整中心値を加算して調整後輝度信号を生成する調整後輝度信号生成ステップと、調整後輝度信号と非立体画像中の輝度信号以外の信号成分とから各視点別の輝度調整後の画像信号を生成する画像信号生成ステップとを含むことを特徴とする。

また、上記の目的を達成するため、第５の発明の多視点画像表示システムは、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを発生する発生手段と、入力される奥行き情報が与えられていない非立体画像の、画面内の所定領域における画素値の統計量を算定してシーン構造を推定する算定手段と、発生手段から発生した複数の基本奥行きモデルを、算定手段により算定された値に応じた合成比率で合成して、背景を構成する曲面の奥行きデータを生成する合成手段と、入力される非立体画像の原画像の凹凸に略対応した信号レベルを示す非立体画像の所定の信号成分と、背景を構成する曲面の奥行きデータとを加算して奥行き推定データを生成する加算手段と、加算手段に供給される非立体画像の所定の信号成分が、奥行き推定データと背景を構成する曲面の奥行きデータとの差分を示す奥行き差分として入力されると共に非立体画像の輝度信号が入力され、奥行き差分に基づいて、背景より手前に近付くほど非立体画像の輝度信号の振幅を大とする輝度調整を複数の各視点別に行う複数の輝度調整手段と、複数の輝度調整手段からそれぞれ出力される各視点別の輝度調整後の画像信号のそれぞれのテクスチャのシフトを、対応部分の奥行き推定データに応じた量だけ行う複数のテクスチャシフト手段と、入力される非立体画像を左目視点又は右目視点の画像とし、複数のテクスチャシフト手段から出力されるテクスチャシフト後の複数の画像を、非立体画像の視点とはそれぞれ異なる複数の視点の画像として表示する多視点表示手段とを有することを特徴とする。

本発明によれば、凸曲面の持つ明るさやコントラストを視点毎の画像に反映させることができるため、両眼視差では知覚しにくい曲面のなだらかな奥行き感を持つ多視点画像（擬似立体画像）を生成することができる。また、本発明によれば、視差量を減らしても本発明を用いない立体画像表示システムの立体画像と同等の立体感を得ることができるため、大きな視差をつけた場合に問題となっていた目の負担を軽減できる。

本発明の多視点画像表示システムの一実施形態のブロック図である。 基本奥行きモデルタイプＡの画像の立体構造の一例である。 基本奥行きモデルタイプＢの画像の立体構造の一例である。 基本奥行きモデルタイプＣの画像の立体構造の一例である。 図１中の合成部における合成比率の決定条件の一例を示す図である。 図１中の輝度調整部の一実施の形態のブロック図である。 多視点立体表示装置に表示される画像に対する各視点の一例を示す図である。 ランベルト反射をする板状の物体と視点との関係の説明図である。 ランベルト反射をする円柱状の物体と視点との関係の説明図である。 平面上の注目点移動に伴い、視点と反射光のベクトル方向とがなす角度が変化することを説明する図である。 注目する点が曲面上を移動したときの光源方向と反射光方向の法線方向Ｎのベクトル方向の変化を説明する図（その１）である。 注目する点が曲面上を移動したときの光源方向と反射光方向の法線方向Ｎのベクトル方向の変化を説明する図（その２）である。

次に、本発明の実施の形態について図面と共に詳細に説明する。

図１は、本発明になる多視点画像表示システムの一実施の形態のブロック図を示す。同図に示すように、本実施の形態の多視点画像表示システム１は、擬似立体画像生成部１０と、輝度調整部２０ａ及び２０ｂと、ステレオペア生成部３０ａ及び３０ｂと、多視点立体表示装置４０とより構成される。本実施の形態の多視点画像表示システム１は、３視点画像を生成して表示する例であるが、視点数はこれに限定されるものではない。

擬似立体画像生成部１０は、画像入力部１１と、画面上部の高域成分評価部１２と、画面下部の高域成分評価部１３と、フレームメモリ１４、１５及び１６と、合成部１７と、加算部１８とを有し、奥行き推定データを生成すると共に、入力画像信号中の赤色信号（Ｒ信号）成分を抽出して出力する。

画像入力部１１は、フレームメモリを備えており、非立体画像信号である１フレーム分の画像信号を一時記憶した後、その１フレーム分の画像信号を画面上部の高域成分評価部１２、画面下部の高域成分評価部１３、及び後述するステレオペア生成部３０ａ及び３０ｂ内の各テクスチャシフト部３１ａ及び３１ｂにそれぞれ供給すると共に、入力画像信号中の赤色信号（Ｒ信号）成分のみを加算部１８と後述する輝度調整部２０ａ及び２０ｂにそれぞれ供給する。画像入力部１１に入力される非立体画像信号は一視点の画像信号であり、ここでは一例として右目画像として表示されるべき右目用画像信号であるものとする。

画面上部の高域成分評価部１２は、１フレーム分の右目用画像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する。そして、画面上部の高域成分評価部１２は、画面上部の高域成分評価値を合成部１７に供給する。画面下部の高域成分評価部１３は、１フレーム分の右目用画像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する。そして、画面下部の高域成分評価部１３は、画面下部の高域成分評価値を合成部１７に供給する。上記の画面上部の高域成分評価部１２と、画面下部の高域成分評価部１３とは、入力される非立体画像のシーン構造を推定する本発明の算定手段を構成している。

一方、フレームメモリ１４は基本奥行きモデルタイプＡ、フレームメモリ１５は基本奥行きモデルタイプＢ、フレームメモリ１６は基本奥行きモデルタイプＣの画像を予め格納している。これらの基本奥行きモデルタイプＡ〜Ｃの画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。フレームメモリ１４〜１６は、本発明の基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを発生する発生手段を構成している。

すなわち、上記の基本奥行きモデルタイプＡの画像は、球面状の凹面による奥行きモデルの画像で、図２に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。

また、上記の基本奥行きモデルタイプＢの画像は、基本奥行きモデルタイプＡの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図３に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。

更に、上記の基本奥行きモデルタイプＣの画像は、図４に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ１４〜１６に格納されている、これら基本奥行きモデルタイプＡ〜Ｃの画像は、合成部１７へ供給される。

合成部１７は、まず、画面上部の高域成分評価部１２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部１３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３を自動的に算出する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。

図５は、合成比率の決定条件の一例を示す。図５は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）と、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）の各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。この合成比率の決定条件は、本出願人が特許第４２１４９７６号公報にて開示した公知の決定条件であるが、これに限定されるものではない。

図５において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図５において、「ｔｙｐｅＡ／Ｂ」の領域では、下記のように（上部の高域成分評価値）と（下部の高域成分評価値）との比率で基本奥行きモデルタイプＡの値であるｔｙｐｅＡと基本奥行きモデルタイプＢの値であるｔｙｐｅＢの比率が決定され、基本奥行きモデルタイプＣの値であるｔｙｐｅＣは比率の決定には用いられない。

ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−ｔｐｓ）：（ｔｐ１−下部の高域成分評価値）：０
また、図５において、「ｔｙｐｅＡ／Ｂ／Ｃ」の領域では、ｔｙｐｅＡ／ＢとｔｙｐｅＡ／Ｃとの平均を採用して、下記のようにｔｙｐｅＡ／Ｂ／Ｃの値が決定される。

ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−tps）＋（下部の高域成分評価値−bms）：（tpl−
上部の高域成分評価値）：（bml−下部の高域成分評価値）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。

ｋ１＝ｔｙｐｅＡ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ２＝ｔｙｐｅＢ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ３＝ｔｙｐｅＣ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
合成部１７は、続いて、上記のように算出した合成比率ｋ１〜ｋ３が示す比率で、基本奥行きモデルタイプＡ〜Ｃの画像を合成して、背景を構成する曲面の奥行きデータ（以下、「背景の奥行きデータ」ともいう）を生成する。この合成部１７は、本発明の合成手段を構成する。加算部１８は、合成部１７から供給される背景の奥行きデータと、画像入力部１１から供給されるＲ信号成分とを加算して奥行き推定データを生成する。

上記のＲ信号成分は、画像入力部１１において、輝度信号（Ｙ）及び色差信号（Ｃｒ）とから、Ｒ＝Ｙ＋Ｃｒといった演算で算出される。Ｒ信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。すなわち、このＲ信号成分は、入力非立体画像の原画像の凹凸に略対応した信号レベルを示す信号成分である。なお、テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。

また、Ｒ信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。

上記のＲ信号成分は、背景となる基本奥行きモデルに対して、奥行きの前後成分として使われるため、背景となる基本奥行きモデルに対して、加算部１８から出力される奥行き推定データと、合成部１７から出力される背景の奥行きデータとの差分（以下、奥行き差分ともいう）に相当する信号であり、輝度調整部２０ａ及び２０ｂにも供給される。

なお、輝度調整部２０ａ及び２０ｂの入力信号として、Ｒ信号成分の替りに加算部１８から出力される奥行き推定データを用いることが考えられるが、輝度調整部２０ａ及び２０ｂは奥行きの凹凸に対し輝度調整するため、奥行き差分を示すＲ信号成分を輝度調整部２０ａ及び２０ｂの入力信号として用いるようにしている。すなわち、本実施の形態では、単純な奥行きに比例した明るさやコントラストの調整ではなく、同じような奥行きにある物体（例えば人物）の凹凸に対して輝度コントラストによる陰影をつけることをしている。これは両眼視差による奥行き感だけでは平面と知覚され易いが、輝度コントラストを調整して陰影を付けることで、曲面と知覚させるためである。

なお、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。更に双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。

輝度調整部２０ａは、画像入力部１１から出力される右目用画像信号の右目視点以外の他の第１の視点（以下視点１ともいう）の明るさ及びコントラストが制御された視点１画像を生成するための輝度調整を行い、輝度調整後の信号をテクスチャシフト部３１ａへ出力する。また、輝度調整部２０ｂは、上記の右目視点と視点１以外の他の第２の視点（以下視点２ともいう）の明るさ及びコントラストが制御された視点２画像を生成するための輝度調整を行い、輝度調整後の信号をテクスチャシフト部３１ｂへ出力する。輝度調整部２０ａ及び２０ｂは同一構成であるので、以下代表して輝度調整部２０ａの構成と動作の詳細について説明する。

図６は、輝度調整部２０ａの一実施の形態のブロック図を示す。同図に示すように、輝度調整部２０ａは、画像入力部１１から出力される赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の三原色の画像信号（ＲＧＢ信号）とＲ信号成分とを入力信号として受け、ＲＧＢ信号は画素毎にＲＧＢ−ＹＵＶ変換部２１により輝度成分であるＹ信号と、色成分であるＵ，Ｖ信号に変換し、Ｒ信号成分は乗算器２５により輝度変調度と画素毎に乗算する。上記の「輝度変調度」は、奥行き差分であるＲ信号成分の輝度変化に対する寄与率を示す。なお、この輝度変調度は、後述する「輝度変調オフセット」及び「コントラスト調整中心値」とともに、図示しない中央処理装置（ＣＰＵ）から視点別に設定されるレジスタの値である。

減算器２３は、ＲＧＢ−ＹＵＶ変換部２１から供給されるＹ信号とコントラスト調整中心値とを減算して乗算器２４に供給する。一方、加算器２６は、乗算器２５により得られた画素毎のＲ信号成分と輝度変調度との乗算結果に、輝度変調オフセットを加算して輝度変調信号を生成する。ここで、「輝度変調オフセット」は、奥行き差分であるＲ信号成分が０の場合の輝度変調信号の値を与えるオフセット値である。また、上記の「コントラスト調整中心値」は、この値を中心にＹ信号の振幅を輝度変調信号で制御するため、基準となる値である。

乗算器２４は、減算器２３から供給される信号と加算器２６から供給される輝度変調信号とを乗算し、その乗算結果を加算器２７に供給する。加算器２７は、乗算器２４から供給される乗算結果とコントラスト調整中心値とを加算して調整後Ｙ信号を生成し、ＹＵＶ−ＲＧＢ変換部２２へ供給する。従って、上記の輝度変調信号と調整後Ｙ信号とはそれぞれ次式により表される。

輝度変調信号＝Ｒ信号成分×輝度変調度＋輝度変調オフセット
調整後Ｙ信号＝（Ｙ信号−コントラスト調整中心値）×輝度変調信号
＋コントラスト調整中心値
上記の調整後Ｙ信号は、輝度変調信号に基づき、コントラスト調整中心値を中心とし、Ｙ信号の振幅を調整した信号である。この調整後Ｙ信号は、コントラスト調整中心値より大きな振幅のＹ信号はより大きな振幅に調整し、コントラスト調整中心値より小さな振幅のＹ信号はより小さな振幅に調整したＹ信号となる。

ここで、奥行き推定データは、前述したように、背景の奥行きデータ（基本奥行きモデル）と奥行き差分を示すＲ信号成分とを加算した信号であり、その値は推定される奥行きが遠いほど小さく、近いほど大きな値をとる。従って、奥行き推定データにより推定される奥行きが背景より手前に近付くほど、奥行き推定データと背景の奥行きデータとの差分であるＲ信号成分が増加し、結果、輝度変調信号も増加して、Ｙ信号とコントラスト調整中心値を大きくする方向に働き、入力Ｙ信号よりも大きな振幅に調整された調整後Ｙ信号が得られる。

一方、奥行き推定データにより推定される奥行きが遠くになるほど、奥行き推定データと背景の奥行きデータとの差分であるＲ信号成分が減少し、結果、輝度変調信号も減少して、Ｙ信号とコントラスト調整中心値を小さくする方向に働き、入力Ｙ信号よりも小さな振幅に調整された調整後Ｙ信号が得られる。

明るさは調整後Ｙ信号の画素値であり、コントラストは調整後Ｙ信号の明暗の差を示すから、上記の処理により、明るさ及びコントラスト調整がなされる。ここで、使用する輝度変調度、輝度変調オフセット、コントラスト調整中心値については、視点別に異なる値を用いることができる。このように視点別に異なる輝度変調度を用いることで、奥行き推定データと背景の奥行きデータとの差分の寄与度を調整することができる。例えば、元の画像の視点から離れた視点ほど、輝度変調度を大きくすることにより、明るさやコントラストを大きな値に変えることができる。

ＹＵＶ−ＲＧＢ変換部２２は、上記の調整後Ｙ信号とＲＧＢ−ＹＵＶ変換部２１から供給されるＵ，Ｖ信号とを入力信号として受け、元のＲＧＢ信号に変換して、ステレオペア生成部３０ａ内のテクスチャシフト部３１ａへ出力する。

図１に戻って説明する。ステレオペア生成部３０ａは、テクスチャシフト部３１ａ、オクルージョン補償部３２ａ及びポスト処理部３３ａを有し、視点１画像３４ａを出力する。一方、ステレオペア生成部３０ｂは、テクスチャシフト部３１ｂ、オクルージョン補償部３２ｂ及びポスト処理部３３ｂを有し、視点２画像３４ｂを出力する。

テクスチャシフト部３１ａ、３１ｂは、輝度調整部２０ａ、２０ｂから供給される奥行き差分に応じて輝度調整された視点別の輝度調整後右目用画像信号のそれぞれのテクスチャのシフトを、加算部１８から供給される対応部分の奥行き推定データに応じた量だけ行うことで、右目視点とは別視点の画像信号をそれぞれ生成する。

例えば、テクスチャシフト部３１ａは、図７に示すように、後述する多視点立体表示装置４０により画像入力部１１から出力される右目用画像信号を右目画像３５として画面表示させた場合の右目視点を基準にして、左に視点移動した視点１の画像信号を生成し、テクスチャシフト部３１ｂは更に左に視点移動した視点２の画像信号を生成する。その場合、テクスチャシフト部３１ａ、３１ｂは、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側（鼻側）に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部３１ａ、３１ｂは、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。

ここでは、それぞれの画素に対する奥行き推定データを８ビットの値Ｄｄで表すものとする。テクスチャシフト部３１ａ、３１ｂは、Ｄｄの小さい値（すなわち、画面奥に位置するもの）から順に、そのＤｄに対応する入力輝度調整後右目用画像信号のテクスチャをそれぞれの画素毎に（Ｄｄ−ｍ）／ｎ画素分右にシフトした画像信号を生成する。上記のｍは飛び出し感を表すパラメータ（輻輳値）であり、上記のｎは奥行きを表すパラメータ（奥行き値）である。

なお、ユーザーには、奥行き推定データを示す値Ｄｄの小さいテクスチャは画面奥側に見え、奥行き推定データを示す値Ｄｄの大きいテクスチャは画面手前に見える。奥行き推定データを示す値Ｄｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。

オクルージョン補償部３２ａ、３２ｂは、テクスチャシフト部３１ａ、３１ｂより出力された視点１、視点２の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部３３ａ、３３ｂに供給する。オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャの存在しない部分のことをいう。オクルージョン補償部３２ａ、３２ｂは、テクスチャシフトされた画像信号に対応する元の入力輝度調整後右目用画像信号によりオクルージョンの箇所を充填する。また、公知の文献（山田邦男、望月研二、相澤清晴、齊藤隆弘："領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5,pp.863〜866（2002.5））に記載の手法でオクルージョンを補償してもよい。

ポスト処理手段であるポスト処理部３３ａ、３３ｂは、オクルージョン補償部３２ａ、３２ｂによりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、視点１画像３４ａ、視点２画像３４ｂを出力する。

多視点立体表示装置４０は、上記の視点１画像３４ａ及び視点２画像３４ｂと共に、画像入力部１１から出力される右目用画像信号の右目画像３５とを入力として受け、図７に示したような各視点の擬似立体画像（多視点画像）を表示する。

このように、本実施の形態の多視点画像表示システム１によれば、Ｒ信号成分を奥行き差分を表す信号として用い、奥行きの凸部分に対し凸曲面が有する視点毎に異なる奥行き及び明るさやコントラストの関係を用いて、原画像から視点毎に輝度調整された画像を生成するようにしたため、凸曲面の持つ明るさやコントラストを視点毎の画像に反映させることができ、これにより両眼視差では知覚しにくい曲面のなだらかな奥行き感を持つ多視点画像（擬似立体画像）を生成することができる。

また、立体視の要因は両眼視差だけではなく、両眼の輻輳角、物体の明るさ、コントラストその他の要因を含む複合的なものであることが公知の文献（増田千尋，「３次元ディスプレイ」，産業図書株式会社，平成４年４月３０日発行，２９頁）にて知られている。従って、本実施の形態の多視点画像表示システム１によれば、視差画像に明るさやコントラストによる立体感を付け加えているため、視差量を減らしても本発明を用いない立体画像表示システムの立体画像と同等の立体感を得ることができる。これにより、本実施の形態によれば、大きな視差をつけた場合に問題となっていた目の負担を軽減できるという効果を得ることもできる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、上記プロセスにおいて、右目画像を入力画像とし、別視点画像をステレオペア生成部３０ａ、３０ｂで生成しているが、左目画像を入力画像と、別視点画像をステレオペア生成部３０ａ、３０ｂで生成するようにしてもよく、更には左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。

また、多視点立体表示装置４０は、２視点以上の表示が可能な表示装置であり、各視点の画像に対応した視点数と同じ数のプロジェクタによるプロジェクタシステムを含む。更に、多視点立体表示装置４０は、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、パララックスバリア方式のステレオディスプレイ、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。

なお、本発明は、擬似立体画像生成部１０、輝度調整部２０ａ及び２０ｂ、ステレオペア生成部３０ａ及び３０ｂからなる構成の多視点画像作成装置や、その動作を実現する多視点画像作成方法も包含する。更に、本発明はハードウェアにより図１の構成の多視点画像表示システムや多視点画像作成装置を構成する場合に限定されるものではなく、同等の処理を実行するコンピュータプログラムによるソフトウェアにより多視点画像作成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

１ 多視点画像表示システム
１０ 擬似立体画像生成部
１１ 画像入力部
１２ 画面上部の高域成分評価部
１３ 画面下部の高域成分評価部
１４〜１６ フレームメモリ
１７ 合成部
１８ 加算部
２０ａ、２０ｂ 輝度調整部
２１ ＲＧＢ−ＹＵＶ変換部
２２ ＹＵＶ−ＲＧＢ変換部
２３ 減算器
２４、２５ 乗算器
２６、２７ 加算器
３０ａ、３０ｂ ステレオペア生成部
３１ａ、３１ｂ テクスチャシフト部
３２ａ、３２ｂ オクルージョン補償部
３３ａ、３３ｂ ポスト処理部
３４ａ 視点１画像
３４ｂ 視点２画像
３５ 右目画像
４０ 多視点立体表示装置

Claims (5)

1. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを発生する発生手段と、
   入力される奥行き情報が与えられていない非立体画像の、画面内の所定領域における画素値の統計量を算定してシーン構造を推定する算定手段と、
   前記発生手段から発生した前記複数の基本奥行きモデルを、前記算定手段により算定された値に応じた合成比率で合成して、背景を構成する曲面の奥行きデータを生成する合成手段と、
   入力される前記非立体画像の原画像の凹凸に略対応した信号レベルを示す前記非立体画像の所定の信号成分と、前記背景を構成する曲面の奥行きデータとを加算して奥行き推定データを生成する加算手段と、
   前記加算手段に供給される前記非立体画像の所定の信号成分が、前記奥行き推定データと前記背景を構成する曲面の奥行きデータとの差分を示す奥行き差分として入力されると共に前記非立体画像の輝度信号が入力され、前記奥行き差分に基づいて、背景より手前に近付くほど前記非立体画像の輝度信号の振幅を大とする輝度調整を複数の各視点別に行う複数の輝度調整手段と、
   前記複数の輝度調整手段からそれぞれ出力される各視点別の輝度調整後の画像信号のそれぞれのテクスチャのシフトを、対応部分の前記奥行き推定データに応じた量だけ行う複数のテクスチャシフト手段と
   を有することを特徴とする多視点画像作成装置。
2. 前記複数の輝度調整手段は、
   前記非立体画像中の所定の信号成分と、視点別に設定される前記非立体画像中の所定の信号成分の輝度変化に対する寄与率とを乗算した乗算結果に、前記非立体画像中の所定の信号成分が０のときのオフセット値を与える視点別に設定される輝度変調オフセット値とを加算して輝度変調信号を生成する輝度変調信号生成手段と、
   前記非立体画像の輝度信号からコントラスト調整の基準値であるコントラスト調整中心値を減算した値に前記輝度変調信号を乗算し、その乗算結果に前記コントラスト調整中心値を加算して調整後輝度信号を生成する調整後輝度信号生成手段と、
   前記調整後輝度信号と前記非立体画像中の前記輝度信号以外の信号成分とから各視点別の前記輝度調整後の画像信号を生成する画像信号生成手段と
   を有することを特徴とする請求項１記載の多視点画像作成装置。
3. 入力される奥行き情報が与えられていない非立体画像の、画面内の所定領域における画素値の統計量を算定してシーン構造を推定する算定ステップと、
   基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを、前記算定ステップにより算定された値に応じた合成比率で合成して、背景を構成する曲面の奥行きデータを生成する合成ステップと、
   入力される前記非立体画像の原画像の凹凸に略対応した信号レベルを示す前記非立体画像の所定の信号成分と、前記背景を構成する曲面の奥行きデータとを加算して奥行き推定データを生成する加算ステップと、
   前記非立体画像の所定の信号成分が、前記奥行き推定データと前記背景を構成する曲面の奥行きデータとの差分を示す奥行き差分として入力されると共に前記非立体画像の輝度信号が入力され、前記奥行き差分に基づいて、背景より手前に近付くほど前記非立体画像の輝度信号の振幅を大とする輝度調整を複数の各視点別に行う輝度調整ステップと、
   前記輝度調整ステップにより得られる各視点別の輝度調整後の画像信号のそれぞれのテクスチャのシフトを、対応部分の前記奥行き推定データに応じた量だけ行うテクスチャシフトステップと
   を含むことを特徴とする多視点画像作成方法。
4. 前記輝度調整ステップは、
   前記非立体画像中の所定の信号成分と、視点別に設定される前記非立体画像中の所定の信号成分の輝度変化に対する寄与率とを乗算した乗算結果に、前記非立体画像中の所定の信号成分が０のときのオフセット値を与える視点別に設定される輝度変調オフセット値とを加算して輝度変調信号を生成する輝度変調信号生成ステップと、
   前記非立体画像の輝度信号からコントラスト調整の基準値であるコントラスト調整中心値を減算した値に前記輝度変調信号を乗算し、その乗算結果に前記コントラスト調整中心値を加算して調整後輝度信号を生成する調整後輝度信号生成ステップと、
   前記調整後輝度信号と前記非立体画像中の前記輝度信号以外の信号成分とから各視点別の前記輝度調整後の画像信号を生成する画像信号生成ステップと
   を含むことを特徴とする請求項３記載の多視点画像作成方法。
5. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを発生する発生手段と、
   入力される奥行き情報が与えられていない非立体画像の、画面内の所定領域における画素値の統計量を算定してシーン構造を推定する算定手段と、
   前記発生手段から発生した前記複数の基本奥行きモデルを、前記算定手段により算定された値に応じた合成比率で合成して、背景を構成する曲面の奥行きデータを生成する合成手段と、
   入力される前記非立体画像の原画像の凹凸に略対応した信号レベルを示す前記非立体画像の所定の信号成分と、前記背景を構成する曲面の奥行きデータとを加算して奥行き推定データを生成する加算手段と、
   前記加算手段に供給される前記非立体画像の所定の信号成分が、前記奥行き推定データと前記背景を構成する曲面の奥行きデータとの差分を示す奥行き差分として入力されると共に前記非立体画像の輝度信号が入力され、前記奥行き差分に基づいて、背景より手前に近付くほど前記非立体画像の輝度信号の振幅を大とする輝度調整を複数の各視点別に行う複数の輝度調整手段と、
   前記複数の輝度調整手段からそれぞれ出力される各視点別の輝度調整後の画像信号のそれぞれのテクスチャのシフトを、対応部分の前記奥行き推定データに応じた量だけ行う複数のテクスチャシフト手段と、
   前記入力される前記非立体画像を左目視点又は右目視点の画像とし、前記複数のテクスチャシフト手段から出力されるテクスチャシフト後の複数の画像を、前記非立体画像の視点とはそれぞれ異なる複数の視点の画像として表示する多視点表示手段と
   を有することを特徴とする多視点画像表示システム。