JP2014072602A - 多視点画像生成装置及び方法 - Google Patents

Abstract

【課題】オクルージョンの影響を受けることなく、歪みのない多視点画像信号を得ることができる多視点画像生成装置を提供する。
【解決手段】視点位置判定部６１は、視点配列信号が示す視点が左眼視点と右眼視点とのいずれに近いかを判定する。係数発生部６２は、視点配列信号に基づいて係数を発生を発生する。選択部６３は、左眼視点画像信号と右眼視点画像信号とのいずれかを選択する。選択部６４は、左眼視点奥行き値ＤＰＴ＿Ｌと右眼視点奥行き値ＤＰＴ＿Ｒとのいずれかを選択する。乗算器６５は、左眼視点奥行き値ＤＰＴ＿Ｌまたは右眼視点奥行き値ＤＰＴ＿Ｒに係数を乗算する。画素シフト部６６は、左眼視点画像信号及び右眼視点画像信号を、乗算器６５より出力された奥行き値に応じて画素シフトして、多視点画像信号を生成する。
【選択図】図９

Description

本発明は、２視点の画像信号に基づいて３視点以上の多視点画像信号を生成する多視点画像生成装置及び方法に関する。

例えば特許文献１には、左眼視点画像信号と右眼視点画像信号との２視点の画像信号に基づいて、３視点以上の多視点画像信号を生成する多視点画像生成装置が提案されている。特許文献１に記載の多視点画像生成装置においては、２視点の画像信号から抽出した視点画像間の視差を示す視差マップを作成して、視差マップを用いて多視点画像信号を生成している。

特開２００１−３４６２２６号公報

２視点の画像には、一方の視点からは見えるものの、他方の視点からは見えない領域が存在する、いわゆるオクルージョンが存在する。従って、２視点の画像信号によって適切な視差マップを作成することはできず、視差マップを用いて生成した多視点画像信号には歪みが生じてしまうという問題点があった。

本発明はこのような問題点に鑑み、オクルージョンの影響を受けることなく、歪みのない多視点画像信号を得ることができる多視点画像生成装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、所定のシーン構造の画面内の奥行き値を示す基本奥行きモデルを生成する基本奥行きモデル生成部（１）と、左眼視点画像信号に基づいて画像内の被写体の凹凸情報を推測して、左眼視点凹凸値を生成する左眼視点画像オブジェクト情報生成部（２）と、右眼視点画像信号に基づいて画像内の被写体の凹凸情報を推測して、右眼視点凹凸値を生成する右眼視点画像オブジェクト情報生成部（３）と、前記基本奥行きモデルと前記左眼視点凹凸値とを加算して左眼視点奥行き値を生成する第１の加算器（４）と、前記基本奥行きモデルと前記右眼視点凹凸値とを加算して右眼視点奥行き値を生成する第２の加算器（５）と、画面内の画素の位置に応じて複数の視点のうちのいずれの視点であるかを示す視点配列信号を生成する視点配列信号生成部（７）と、前記左眼視点画像信号と、前記右眼視点画像信号と、前記左眼視点奥行き値と、前記右眼視点奥行き値と、前記視点配列信号とに基づいて、３視点以上の多視点画像信号を生成する多視点画像信号生成部（６）とを備え、前記多視点画像信号生成部は、前記視点配列信号が示す視点が左眼視点と右眼視点とのいずれに近いかを判定する視点位置判定部（６１）と、前記視点配列信号に基づいて、前記左眼視点または前記右眼視点よりも右側の視点では前記左眼視点または前記右眼視点より離れるに従って正方向に大きくなる係数を発生し、前記左眼視点または前記右眼視点よりも左側の視点では前記左眼視点または前記右眼視点より離れるに従って負方向に大きくなる係数を発生する係数発生部（６２）と、前記視点位置判定部による判定結果に基づいて、前記左眼視点画像信号と前記右眼視点画像信号とのいずれかを選択する第１の選択部（６３）と、前記視点位置判定部による判定結果に基づいて、前記左眼視点奥行き値と前記右眼視点奥行き値とのいずれかを選択する第２の選択部（６４）と、前記第２の選択部によって選択された前記左眼視点奥行き値または前記右眼視点奥行き値に、前記係数発生部が発生した係数を乗算する乗算器（６５）と、前記第１の選択部によって選択された前記左眼視点画像信号及び前記右眼視点画像信号を、前記乗算器より出力された奥行き値に応じて画素シフトして、多視点画像信号を生成する画素シフト部（６６）とを有することを特徴とする多視点画像生成装置を提供する。

上記の多視点画像生成装置において、前記基本奥行きモデル生成部は、基本となる複数のシーン構造それぞれの画面内の奥行き値を示す複数の基本奥行きモデルのうちからいずれかを選択するか、前記複数の基本奥行きモデルを組み合わせて基本奥行きモデルを生成することが好ましい。

上記の多視点画像生成装置において、前記基本奥行きモデル生成部は、画面内の所定の領域に含まれる高域成分の程度に応じて、前記複数の基本奥行きモデルのうちからいずれかを選択するか、前記複数の基本奥行きモデルを組み合わせることが好ましい。

上記の多視点画像生成装置において、前記左眼視点画像オブジェクト情報生成部及び前記右眼視点画像オブジェクト情報生成部は、それぞれ、赤色信号に基づいて前記被写体の凹凸情報を推測することが好ましい。

また、本発明は、上述した従来の技術の課題を解決するため、左眼視点画像信号に基づいて画像内の被写体の凹凸情報を推測して、左眼視点凹凸値を生成し、右眼視点画像信号に基づいて画像内の被写体の凹凸情報を推測して、右眼視点凹凸値を生成し、所定のシーン構造の画面内の奥行き値を示す基本奥行きモデルと前記左眼視点凹凸値とを加算して左眼視点奥行き値を生成し、前記基本奥行きモデルと前記右眼視点凹凸値とを加算して右眼視点奥行き値を生成し、画面内の画素の位置に応じて複数の視点のうちのいずれの視点であるかを示す視点配列信号を生成し、前記視点配列信号が示す視点が左眼視点と右眼視点とのいずれに近いかを判定し、前記視点配列信号に基づいて、前記左眼視点または前記右眼視点よりも右側の視点では前記左眼視点または前記右眼視点より離れるに従って正方向に大きくなる係数を発生し、前記左眼視点または前記右眼視点よりも左側の視点では前記左眼視点または前記右眼視点より離れるに従って負方向に大きくなる係数を発生し、左眼視点と右眼視点とのいずれに近いかの判定結果に基づいて、前記左眼視点画像信号と前記右眼視点画像信号とのいずれかを選択し、前記判定結果に基づいて、前記左眼視点奥行き値と前記右眼視点奥行き値とのいずれかを選択し、選択された前記左眼視点奥行き値または前記右眼視点奥行き値に前記係数を乗算し、前記左眼視点画像信号及び前記右眼視点画像信号を、前記係数を乗算した前記左眼視点奥行き値または前記右眼視点奥行き値に応じて画素シフトして、多視点画像信号を生成することを特徴とする多視点画像生成方法を提供する。

本発明の多視点画像生成装置及び方法によれば、オクルージョンの影響を受けることなく、歪みのない多視点画像信号を得ることができる。

一実施形態の多視点画像生成装置を示すブロック図である。 図１中の基本奥行きモデル生成部１が生成する基本奥行きモデル（タイプ１）の立体構造の一例を示す図である。 図１中の基本奥行きモデル生成部１が生成する基本奥行きモデル（タイプ２）の立体構造の一例を示す図である。 図１中の基本奥行きモデル生成部１が生成する基本奥行きモデル（タイプ３）の立体構造の一例を示す図である。 図１中の基本奥行きモデル生成部１が基本奥行きモデルを合成する際の合成比率決定条件の一例を示す図である。 多視点画像信号を表示する立体画像表示装置を示す図である。 ７視点の多視点画像信号の視点位置の例を説明するための図である。 立体画像表示装置を見る顔の位置によって見ることができる視点位置の例を示す図である。 図１中の多視点画像信号生成部６の具体的な構成例を示すブロック図である。 図９中の視点位置判定部６１における判定動作を説明するための図である。 図９中の係数発生部６２が発生する係数を説明するための図である。

以下、一実施形態の多視点画像生成装置及び方法について、添付図面を参照して説明する。図１に示すように、一実施形態の多視点画像生成装置は、基本奥行きモデル生成部１，左眼視点画像オブジェクト情報生成部２，右眼視点画像オブジェクト情報生成部３，加算器４，加算器５，多視点画像信号生成部６，視点配列信号生成部７とを備える。

基本奥行きモデル生成部１は、例えば図２〜図４に示すような基本奥行きモデルを記憶している。図２〜図４に示す基本奥行きモデルをそれぞれタイプ１，タイプ２，タイプ３とする。図２，図３，図４は、それぞれ、基本奥行きモデルのタイプ１，タイプ２，タイプ３の立体構造の一例を示している。図２，図３に示すタイプ１，タイプ２の基本奥行きモデルは凹面タイプの基本奥行きモデルである。図４に示すタイプ３の基本奥行きモデルは非凹面の平面タイプの基本奥行きモデルである。

基本奥行きモデルとは画面全体の視差値を決定するためのモデルである。基本奥行きモデルは、平面上のそれぞれの画素を、図２〜図４に示すような非平面形状の特性が有する飛び出し方向または引っ込み方向（奥行き方向）にシフトさせるためのデータである。基本奥行きモデル生成部１は、基本奥行きモデルを記憶しておいてもよいし、計算によって発生してもよい。基本奥行きモデルは、一例として、白から黒までのグレーレベルによって飛び出し方向または奥行き方向を表現する輝度信号で構成することができる。

基本奥行きモデル生成部１には、左眼視点画像信号と右眼視点画像信号とが入力される。基本奥行きモデル生成部１は、左眼視点画像信号もしくは右眼視点画像信号に基づいて、または、左眼視点画像信号及び右眼視点画像信号に基づいて、タイプ１〜３のいずれかの基本奥行きモデルを選択する。基本奥行きモデル生成部１は、タイプ１〜３の基本奥行きモデルのうちの２つまたは全てを合成してもよい。

基本奥行きモデル生成部１は、例えば次のようにして基本奥行きモデルを選択または合成する。基本奥行きモデル生成部１は、それぞれのフレームの上部約２０％の領域に高域成分（所定統計量）がどの程度含まれているかを評価する。具体的には、基本奥行きモデル生成部１は、上部約２０％の領域を水平８画素、垂直８画素のブロックに分割し、それぞれのブロックにおいて次の式（１）を計算し、ブロックの平均を上部高域成分評価値top_actとする。

また、基本奥行きモデル生成部１は、それぞれのフレームの下部約２０％の領域に高域成分（所定統計量）がどの程度含まれているかを評価する。同様に、基本奥行きモデル生成部１は、下部約２０％の領域を水平８画素、垂直８画素のブロックに分割し、それぞれのブロックにおいて上記の式（１）を計算し、ブロックの平均を下部高域成分評価値bottom_actとする。

ここでは、フレームの上部約２０％の領域と下部約２０％の領域それぞれの高域成分を評価したが、領域の範囲及び位置は適宜設定すればよい。所定統計量は高域成分に限定されない。但し、高域成分を評価することが好ましい。

そして、基本奥行きモデル生成部１は、上部高域成分評価値top_act及び下部高域成分評価値bottom_actそれぞれの値に応じて、タイプ１〜３の基本奥行きモデルを所定の合成比率で合成する。合成比率が０の場合もあることから、合成とはタイプ１〜３のうちのいずれか１つのみを用いる場合も含むものとする。一例として、基本奥行きモデル生成部１は、図５に示す合成比率決定条件に従ってタイプ１〜３の基本奥行きモデルを合成する。図５の横軸は上部高域成分評価値top_act、縦軸は下部高域成分評価値bottom_actである。

図５に示すように、下部高域成分評価値bottom_actが所定の値bms以下であれば、基本奥行きモデル生成部１は、上部高域成分評価値top_actの値にかかわらず、タイプ３の基本奥行きモデルを用いる。即ち、タイプ１，２の合成比率を０にする。

下部高域成分評価値bottom_actが値bmsより大きく、所定の値bml以下であれば、基本奥行きモデル生成部１は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが所定の値tps以下であれば、基本奥行きモデル生成部１は、タイプ１の合成比率を０にして、タイプ２とタイプ３とを合成する。

上部高域成分評価値top_actが値tpsより大きく、所定の値tpl以下であれば、基本奥行きモデル生成部１は、タイプ１〜３を合成する。上部高域成分評価値top_actが値tplより大きければ、基本奥行きモデル生成部１は、タイプ２の合成比率を０にして、タイプ１とタイプ３とを合成する。

下部高域成分評価値bottom_actが値bmlより大きければ、基本奥行きモデル生成部１は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが値tps以下であれば、基本奥行きモデル生成部１は、タイプ１，３の合成比率を０にして、タイプ２の基本奥行きモデルを用いる。

上部高域成分評価値top_actが値tpsより大きく、値tpl以下であれば、基本奥行きモデル生成部１は、タイプ３の合成比率を０にして、タイプ１とタイプ２とを合成する。上部高域成分評価値top_actが値tplより大きければ、基本奥行きモデル生成部１は、タイプ２，３の合成比率を０にして、タイプ１の基本奥行きモデルを用いる。

基本奥行きモデル生成部１は、以上のようにして、図５に示す合成比率決定条件に従って合成した画面全体の視差値を示すデータである基本奥行きモデル値ＤＰＴ＿ＭＤＬを生成して出力する。基本奥行きモデル値ＤＰＴ＿ＭＤＬは、正の値のときには飛び出し方向、負の値のときは引っ込み方向の奥行き信号であることを意味する。

複数のタイプの基本奥行きモデルを上部高域成分評価値top_act及び下部高域成分評価値bottom_actに応じて合成する構成は必須の構成ではないが、好ましい構成である。少なくとも１つのタイプの基本奥行きモデルを用いて、基本奥行きモデル値ＤＰＴ＿ＭＤＬを生成すればよい。

左眼視点画像オブジェクト情報生成部２は、入力された左眼視点画像信号の特徴から画像内の被写体の凹凸情報を画素単位で推測して、左眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｌを生成して出力する。本実施形態では、赤色信号（Ｒ信号）に基づいて左眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｌを生成する。

Ｒ信号を用いる理由の１つは、順光に近い環境で、かつ、画面内の明度が大きく異ならない条件で、Ｒ信号の大きさが被写体の凹凸の程度と一致する確立が高いからである。他の理由の１つは、赤色等の暖色は色彩学における前進色であり、寒色よりも奥行き方向の手前に認識されやすいからである。

左眼視点画像オブジェクト情報生成部２は、次の式（２）に基づいて、左眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｌを算出する。式（２）中のＲ＿ＬＥＦＴは、左眼視点画像信号のＲ信号を表す。Ｒ信号が８ビットで０〜２５５の範囲の値をとるとすると、Ｒ＿ＬＥＦＴの値が１２８のとき、左眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｌは０となる。
ＤＰＴ＿ＥＭＢＳ＿Ｌ＝Ｒ＿ＬＥＦＴ−１２８ …（２）

右眼視点画像オブジェクト情報生成部３は、次の式（３）に基づいて、右眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｒを算出する。式（３）中のＲ＿ＲＩＧＨＴは、右眼視点画像信号のＲ信号を表す。同様に、Ｒ＿ＲＩＧＨＴの値が１２８のとき、右眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｒは０となる。
ＤＰＴ＿ＥＭＢＳ＿Ｒ＝Ｒ＿ＲＩＧＨＴ−１２８ …（３）

本実施形態では、左眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｌ及び右眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｒを算出するためにＲ信号を用いたが、Ｒ信号に限るものではない。左眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｌ及び右眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｒを緑色信号（Ｇ信号）もしくは青色信号（Ｂ信号）、または、Ｇ信号とＢ信号との組み合わせから求めてもよく、輝度信号から求めてもよい。

加算器４は、式（４）によって、基本奥行きモデル生成部１から出力された基本奥行きモデル値ＤＰＴ＿ＭＤＬと左眼視点画像オブジェクト情報生成部２から出力された左眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｌとを加算して、左眼視点奥行き値ＤＰＴ＿Ｌを生成する。
ＤＰＴ＿Ｌ＝ＤＰＴ＿ＭＤＬ＋ＤＰＴ＿ＥＭＢＳ＿Ｌ …（４）

加算器５は、式（５）によって、基本奥行きモデル生成部１から出力された基本奥行きモデル値ＤＰＴ＿ＭＤＬと右眼視点画像オブジェクト情報生成部３から出力された右眼視点凹凸値ＤＰＴ＿ＥＭＢＳ＿Ｒとを加算して、右眼視点奥行き値ＤＰＴ＿Ｒを生成する。
ＤＰＴ＿Ｒ＝ＤＰＴ＿ＭＤＬ＋ＤＰＴ＿ＥＭＢＳ＿Ｒ …（５）

多視点画像信号生成部６には、左眼視点画像信号と、右眼視点画像信号と、左眼視点奥行き値ＤＰＴ＿Ｌと、右眼視点奥行き値ＤＰＴ＿Ｒと、視点配列信号生成部７より出力される視点配列信号とが入力される。視点配列信号生成部７には、水平同期信号Hsync及び垂直同期信号Vsyncが入力される。視点配列信号生成部７は、水平同期信号Hsync及び垂直同期信号Vsyncに基づいて、画面内の画素の位置に応じた視点を示す視点配列信号を生成する。

多視点画像信号生成部６は、左眼視点奥行き値ＤＰＴ＿Ｌと右眼視点奥行き値ＤＰＴ＿Ｒと視点配列信号とに基づいて、左眼視点画像信号または右眼視点画像信号を画素シフトすることによって多視点画像信号を生成して出力する。

図６を用いて、視点配列信号生成部７で生成する視点配列信号について説明する。図６は、多視点画像信号を表示する立体画像表示装置を示している。立体画像表示装置は、例えば液晶パネル等の表示パネル１０上に、複数のシリンドリカルレンズ２０ｓを傾斜させて配列させたレンチキュラーレンズ２０を貼り合わせた構成を有する。ここでは簡略化のためシリンドリカルレンズ２０ｓを２本しか示していないが、レンチキュラーレンズ２０は表示パネル１０の画素Ｐｘが存在する部分の全体を覆っている。

図６に示すように、表示パネル１０には、画素Ｐｘが水平方向にｎ、垂直方向にｍ配列されている。ここでは簡略化のため、画素Ｐｘを部分的に示している。１つの画素ＰｘはＲ，Ｇ，ＢのサブピクセルＳpxで構成されている。Ｒ，Ｇ，ＢのサブピクセルＳpxは垂直方向に同じ色のサブピクセルＳpxが並んでストライプ状に配列されている。

このように構成される立体画像表示装置はいわゆる裸眼立体表示装置であり、多視点画像信号をレンチキュラーレンズ２０によって異なる方向に提示させることによって裸眼での立体画像の表示を実現する。図６に示すそれぞれのサブピクセルＳpxに示している数字は、多視点画像信号を７視点の画像信号とした場合の視点の番号を示している。この視点の番号が、視点配列信号生成部７で生成する視点配列信号に相当する。

図７を用いて、７視点の多視点画像信号の視点位置の例を説明する。図７に示すように、カメラ３０を図示の位置に配置して同じ被写体を撮影する場合のそれぞれのカメラ３０の位置が視点位置ｓｐ１〜ｓｐ７となる。実際にはカメラ３０を視点位置ｓｐ１〜ｓｐ７のそれぞれに配置して被写体を撮影することは容易ではないので、例えば実線で示す視点位置ｓｐ３，ｓｐ４のみにカメラ３０を配置して２視点で撮影して２視点の画像信号を得る。視点位置ｓｐ３のカメラ３０で撮影した画像信号が右眼視点画像信号であり、視点位置ｓｐ４のカメラ３０で撮影した画像信号が左眼視点画像信号である。

そして、後述する多視点画像信号生成部６によって、２視点の画像信号（左眼視点画像信号及び右眼視点画像信号）に基づいて視点位置ｓｐ１〜ｓｐ７のそれぞれの視点の画像信号を生成して、７視点の多視点画像信号を生成する。ここでは、視点位置ｓｐ３を右眼視点、視点位置ｓｐ４を左眼視点としているが、これは単なる一例である。

図６に示す立体画像表示装置の表示パネル１０の“１”〜“７”を付しているサブピクセルＳpxに視点位置ｓｐ１〜ｓｐ７それぞれの視点の画像信号を表示させることによって、７視点の立体画像が表示されることになる。

具体的には、図８に示すように、顔が位置Ｐａにあるときには視点位置ｓｐ１，ｓｐ２の視点の画像を見ることができ、顔が位置Ｐｂあるときには視点位置ｓｐ２，ｓｐ３の視点の画像を見ることができる。顔が位置Ｐｃにあるときには視点位置ｓｐ３，ｓｐ４の視点の画像を見ることができ、顔が位置Ｐｄあるときには視点位置ｓｐ４，ｓｐ５の視点の画像を見ることができる。顔が位置Ｐｅにあるときには視点位置ｓｐ５，ｓｐ６の視点の画像を見ることができ、顔が位置Ｐｆあるときには視点位置ｓｐ６，ｓｐ７の視点の画像を見ることができる。

図６では、表示パネル１０上にシリンドリカルレンズ２０ｓが傾斜するようにレンチキュラーレンズ２０を配置させたが、配置する角度は斜めに限定されない。多視点画像信号の視点数は７視点に限定されない。それぞれのサブピクセルＳpxに対する視点の割り当ては、図６に示す割り当てに限定されない。レンチキュラーレンズ２０以外に、スリット型のバリアやレンズアレイを用いてもよく、表示パネル１０上に立体視を実現させる光学部材を配置した構成であればよい。

図９を用いて、多視点画像信号生成部６の具体的な構成例について説明する。図９において、視点配列信号発生部７から出力された視点配列信号は、視点位置判定部６１及び係数発生部６２に入力される。７視点の多視点画像信号の場合、Ｒ，Ｇ，Ｂそれぞれ３ビットで視点の番号を表現できるので、視点配列信号は９ビットのデジタル値とすればよい。なお、視点位置判定部６１及び係数発生部６２には、左眼視点画像信号及び右眼視点画像に基づいて多視点化する際の視点位置と、どの視点位置が右眼視点と左眼視点であるかが予め設定されている。

視点位置判定部６１は、画素シフト部６６によって生成するそれぞれの視点の画像信号が左眼視点画像の位置と右眼視点画像の位置とのどちらに近いかを判定する。図１０を用いて、視点位置判定部６１における判定について説明する。図７で説明したように視点位置ｓｐ３が右眼視点であり、視点位置ｓｐ４が左眼視点である。図１０では、視点位置ｓｐ３をｓｐＲ、視点位置ｓｐ４をｓｐＬとする。視点位置判定部６１は、視点配列信号が１〜３のときは右眼視点が近いと判定し、視点配列信号が４〜７のときは左眼視点に近いと判定する。

右眼視点の視点位置ｓｐＲと左眼視点の視点位置ｓｐＬが視点位置ｓｐ３，ｓｐ４以外に設定されている場合も同様に、視点配列信号１〜７が視点位置ｓｐＲと左眼視点の視点位置ｓｐＬとのどちらに近いかによって、視点位置を左または右のいずれに設定する。視点位置判定部６１による視点位置の左右の判定結果を示す情報は、選択部６３，６４に入力される。

選択部６３は、入力された視点位置の左右の判定結果を示す情報に基づいて、視点位置が左と判定された場合には、左眼視点画像信号を選択して出力し、視点位置が右と判定された場合には、右眼視点画像信号を選択して出力する。同様に、選択部６４は、入力された視点位置の左右の判定結果を示す情報に基づいて、視点位置が左と判定された場合には、左眼視点奥行き値ＤＰＴ＿Ｌを選択して出力し、視点位置が右と判定された場合には、右眼視点奥行き値ＤＰＴ＿Ｒを選択して出力する。

係数発生部６２は、視点配列信号が示す視点位置に応じて係数を発生する。具体的には、画素シフト部６６で生成する多視点画像信号におけるそれぞれの視点位置と、左眼視点画像または右眼視点画像の視点位置との距離に応じて、左眼視点奥行き値ＤＰＴ＿Ｌまたは右眼視点奥行き値ＤＰＴ＿Ｒを増減させる係数を発生する。

図１１の（ａ）を用いて、右眼視点の視点位置ｓｐＲが視点位置ｓｐ３、左眼視点の視点位置ｓｐＬが視点位置ｓｐ４に設定されている場合に、係数発生部６２が発生する係数について説明する。図１１の（ａ）〜（ｃ）において、横軸は視点配列信号が示す視点の１〜７を示しており、縦軸は係数を示している。縦軸において、係数が１の位置より上方では係数は０より大きい正の値であり、係数が０より下方では係数は０より小さい負の値である。

図１１の（ａ）において、視点位置ｓｐ３，ｓｐ４はそれぞれ右眼視点，左眼視点であるので、視点配列信号が視点位置ｓｐ３を示す場合には、選択部６３で選択された右眼視点画素信号が画素シフト部６６でシフトされないように、選択部６４で選択された左眼視点奥行き値ＤＰＴ＿Ｌまたは右眼視点奥行き値ＤＰＴ＿Ｒを０に、視点配列信号が視点位置ｓｐ４を示す場合には、選択部６３で選択された左眼視点画素信号が画素シフト部６６でシフトされないように選択部６４で選択された左眼視点奥行き値ＤＰＴ＿Ｌまたは右眼視点奥行き値ＤＰＴ＿Ｒを０にすることが必要である。そこで、係数発生部６２は、図１１の（ａ）に示すように、視点配列信号が視点位置ｓｐ３，ｓｐ４を示す場合には係数として０を発生する。

視点配列信号が視点位置ｓｐ２，ｓｐ１を示す場合には、視点位置ｓｐ２は視点位置ｓｐ３よりも外側（右側）に、視点位置ｓｐ１は視点位置ｓｐ２よりも外側に位置しているので、右眼視点奥行き値は、視点位置ｓｐ３から離れるに従って大きくする必要がある。そこで、係数発生部６２は、視点配列信号が視点位置ｓｐ２，ｓｐ１を示す場合には、図１１の（ａ）に示すように、視点位置ｓｐ３から離れるに従って正方向に大きくなる係数を発生する。

視点配列信号が視点位置ｓｐ５〜ｓｐ７を示す場合には、視点位置ｓｐ５は視点位置ｓｐ４よりも外側（左側）に、視点位置ｓｐ６は視点位置ｓｐ５よりも外側に、視点位置ｓｐ７は視点位置ｓｐ６よりも外側に位置しているので、左眼視点奥行き値は、視点位置ｓｐ４から離れるに従って大きくする必要がある。そこで、係数発生部６２は、視点配列信号がｓｐ５〜ｓｐ７を示す場合には、図１１の（ａ）に示すように、視点位置ｓｐ４から離れるに従って負方向に順次大きくなる係数を発生する。

図１１の（ａ）において視点位置ｓｐ５〜ｓｐ７の係数が負になっているのは、左側の視点の画像を生成する場合、右側の視点の画像を生成する場合に対して、奥行き値の符号に対するシフト方向の左右の関係が逆転するためである。即ち、元画像よりも右側の視点の画像を生成するとき、画面より手前に表示するもの（奥行き値＞０）については、近い物ほど画像を見る者の左側に見えるように、対応部分のテクスチャを奥行き値に応じた量だけ左側へ移動させる。しかし、元画像よりも左側の視点の画像を生成する場合、対応部分のテクスチャを左側へ移動させると画面より奥に表示させることになる。

同様に、画面より奥に表示するもの（奥行き＜０）については、遠い物ほど画像を見る者の右側に見えるように、対応部分のテクスチャを奥行き値に応じた量だけ右側へ移動させる。しかし、元画像よりも左側の視点の画像を生成する場合、対応部分のテクスチャを右側へ移動させると画面より手前に表示させることになる。従って、画素シフト部６６で生成される画像が元画像よりも左側の視点の画像を生成する場合は奥行き値の符号を反転させるように係数を発生させる必要がある。

図１１の（ｂ）は、右眼視点の視点位置ｓｐＲが視点位置ｓｐ３、左眼視点の視点位置ｓｐＬが視点位置ｓｐ５に設定されている場合に、係数発生部６２が発生する係数を示している。この場合には、視点位置ｓｐ４は視点位置ｓｐ３よりも内側（左側）に位置しているので、右眼視点画像信号より左側の視点の画像を生成するために、視点位置ｓｐ４では右眼視点奥行き値ＤＰＴ＿Ｒの符号を反転させるように負の値の係数を発生させる。または、視点位置ｓｐ４は視点位置ｓｐ５よりも内側（右側）に位置しているとして、左眼視点画像信号より右側の視点の画像を生成するために、視点位置ｓｐ４では左眼視点奥行き値ＤＰＴ＿Ｌの符号が反転しないように係数を発生させてもよい。

なお、視点位置ｓｐ４の画像信号を生成する場合、画素シフト部６６は左眼視点画像と右眼視点画像とのいずれに基づいて視点位置ｓｐ４の画像信号を生成してもよい。従って、視点位置判定部６１は、視点位置ｓｐ４を右眼視点と判定してよいし、左眼視点と判定してよく、選択部６３は左眼視点画像信号を選択してもよいし、右眼視点画像信号を選択してもよい。選択部６４は、選択部６３が左眼視点画像信号を選択する場合には左眼視点奥行き値ＤＰＴ＿Ｌを選択し、選択部６３が右眼視点画像信号を選択する場合には右眼視点奥行き値ＤＰＴ＿Ｒを選択すればよい。

また、右眼視点の視点位置ｓｐＲを視点位置ｓｐ１、左眼視点の視点位置ｓｐＬを視点位置ｓｐ７に設定した場合のように、視点位置ｓｐＲ，ｓｐＬの内側に複数の視点位置が存在する場合には、図１１（ｃ）のように係数を発生すればよい。

乗算器６５は、選択部６４より出力された左眼視点奥行き値ＤＰＴ＿Ｌまたは右眼視点奥行き値ＤＰＴ＿Ｒに図１１の（ａ）のように設定された係数を乗算して、画素シフト部６６に供給する。視点位置ｓｐ１，ｓｐ２，ｓｐ５〜ｓｐ７それぞれの係数の具体的な値は適宜設定すればよい。

画素シフト部６６は、選択部６３より出力された左眼視点画像信号を、乗算器６５より出力された奥行き値に応じて画素シフトして視点位置ｓｐ４〜ｓｐ７それぞれの視点の画像信号を生成する。また、画素シフト部６６は、選択部６３より出力された右眼視点画像信号を、乗算器６５より出力された奥行き値に応じて画素シフトして視点位置ｓｐ１〜ｓｐ３それぞれの視点の画像信号を生成する。以上のようにして、画素シフト部６６は、視点位置ｓｐ１〜ｓｐ７の多視点画像信号を生成して出力する。

以上説明したように、本実施形態によれば、多視点画像信号を、左眼視点画像信号のみから生成した左側視点の画像信号と、右眼視点画像信号のみから生成した右側視点の画像信号とによって生成しているので、オクルージョンの影響を受けることなく、歪みのない多視点画像信号を得ることができる。なお、歪みのないとは、オクルージョンの影響を受けていないという意味での歪みがないことを示している。一切の歪みがないということを意味するものではない。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１ 基本奥行きモデル生成部
２ 左眼視点画像オブジェクト情報生成部
３ 右眼視点画像オブジェクト情報生成部
４，５ 加算器
６ 多視点画像信号生成部
７ 視点配列信号生成部
６１ 視点位置判定部
６２ 係数発生部
６３，６４ 選択部
６５ 乗算器
６６ 画素シフト部

Claims (5)

1. 所定のシーン構造の画面内の奥行き値を示す基本奥行きモデルを生成する基本奥行きモデル生成部と、
   左眼視点画像信号に基づいて画像内の被写体の凹凸情報を推測して、左眼視点凹凸値を生成する左眼視点画像オブジェクト情報生成部と、
   右眼視点画像信号に基づいて画像内の被写体の凹凸情報を推測して、右眼視点凹凸値を生成する右眼視点画像オブジェクト情報生成部と、
   前記基本奥行きモデルと前記左眼視点凹凸値とを加算して左眼視点奥行き値を生成する第１の加算器と、
   前記基本奥行きモデルと前記右眼視点凹凸値とを加算して右眼視点奥行き値を生成する第２の加算器と、
   画面内の画素の位置に応じて複数の視点のうちのいずれの視点であるかを示す視点配列信号を生成する視点配列信号生成部と、
   前記左眼視点画像信号と、前記右眼視点画像信号と、前記左眼視点奥行き値と、前記右眼視点奥行き値と、前記視点配列信号とに基づいて、３視点以上の多視点画像信号を生成する多視点画像信号生成部と、
   を備え、
   前記多視点画像信号生成部は、
   前記視点配列信号が示す視点が左眼視点と右眼視点とのいずれに近いかを判定する視点位置判定部と、
   前記視点配列信号に基づいて、前記左眼視点または前記右眼視点よりも右側の視点では前記左眼視点または前記右眼視点より離れるに従って正方向に大きくなる係数を発生し、前記左眼視点または前記右眼視点よりも左側の視点では前記左眼視点または前記右眼視点より離れるに従って負方向に大きくなる係数を発生する係数発生部と、
   前記視点位置判定部による判定結果に基づいて、前記左眼視点画像信号と前記右眼視点画像信号とのいずれかを選択する第１の選択部と、
   前記視点位置判定部による判定結果に基づいて、前記左眼視点奥行き値と前記右眼視点奥行き値とのいずれかを選択する第２の選択部と、
   前記第２の選択部によって選択された前記左眼視点奥行き値または前記右眼視点奥行き値に、前記係数発生部が発生した係数を乗算する乗算器と、
   前記第１の選択部によって選択された前記左眼視点画像信号及び前記右眼視点画像信号を、前記乗算器より出力された奥行き値に応じて画素シフトして、多視点画像信号を生成する画素シフト部と、
   を有することを特徴とする多視点画像生成装置。
2. 前記基本奥行きモデル生成部は、基本となる複数のシーン構造それぞれの画面内の奥行き値を示す複数の基本奥行きモデルのうちからいずれかを選択するか、前記複数の基本奥行きモデルを組み合わせて基本奥行きモデルを生成することを特徴とする請求項１記載の多視点画像生成装置。
3. 前記基本奥行きモデル生成部は、画面内の所定の領域に含まれる高域成分の程度に応じて、前記複数の基本奥行きモデルのうちからいずれかを選択するか、前記複数の基本奥行きモデルを組み合わせることを特徴とする請求項２記載の多視点画像生成装置。
4. 前記左眼視点画像オブジェクト情報生成部及び前記右眼視点画像オブジェクト情報生成部は、それぞれ、赤色信号に基づいて前記被写体の凹凸情報を推測することを特徴とする請求項１〜３のいずれか１項に記載の多視点画像生成装置。
5. 左眼視点画像信号に基づいて画像内の被写体の凹凸情報を推測して、左眼視点凹凸値を生成し、
   右眼視点画像信号に基づいて画像内の被写体の凹凸情報を推測して、右眼視点凹凸値を生成し、
   所定のシーン構造の画面内の奥行き値を示す基本奥行きモデルと前記左眼視点凹凸値とを加算して左眼視点奥行き値を生成し、
   前記基本奥行きモデルと前記右眼視点凹凸値とを加算して右眼視点奥行き値を生成し、
   画面内の画素の位置に応じて複数の視点のうちのいずれの視点であるかを示す視点配列信号を生成し、
   前記視点配列信号が示す視点が左眼視点と右眼視点とのいずれに近いかを判定し、
   前記視点配列信号に基づいて、前記左眼視点または前記右眼視点よりも右側の視点では前記左眼視点または前記右眼視点より離れるに従って正方向に大きくなる係数を発生し、前記左眼視点または前記右眼視点よりも左側の視点では前記左眼視点または前記右眼視点より離れるに従って負方向に大きくなる係数を発生し、
   左眼視点と右眼視点とのいずれに近いかの判定結果に基づいて、前記左眼視点画像信号と前記右眼視点画像信号とのいずれかを選択し、
   前記判定結果に基づいて、前記左眼視点奥行き値と前記右眼視点奥行き値とのいずれかを選択し、
   選択された前記左眼視点奥行き値または前記右眼視点奥行き値に前記係数を乗算し、
   前記左眼視点画像信号及び前記右眼視点画像信号を、前記係数を乗算した前記左眼視点奥行き値または前記右眼視点奥行き値に応じて画素シフトして、多視点画像信号を生成する
   ことを特徴とする多視点画像生成方法。

Images