JP2016140056A - 立体表示装置及び視差画像補正方法 - Google Patents

Abstract

【課題】裸眼式３Ｄディスプレイと空間結像素子とを組合せた構成において、空中浮遊像に３Ｄ正視領域と３Ｄ逆視領域とが出現しない立体表示装置及び視差画像補正方法を提供する。【解決手段】２視点分の入力画像に基づいて、第１の方向に並んだ観察者の左眼と右眼とに異なる画像を投影する裸眼立体ディスプレイ２０と、物体からの光を、互いに直交する第１の反射面及び第２の反射面で反射させる光反射素子を複数有する平板状の空間結像素子とを備え、空間結像素子が、裸眼立体ディスプレイから出射され、入射面に入射した光を、出射面から観察者側に出射する立体表示装置であって、一方の入力画像を投影した画像の中に、他方の入力画像を投影した画像が混在する場合に、２視点分の入力画像の奥行き視差と飛び出し視差とが逆転する逆視領域に対応する部分を入れ替える画像処理部５０を備える。【選択図】図２３

Description

本発明は、３Ｄ（Dimension）画像を空中に結像した空中浮遊像を生成する立体表示装置及び当該立体表示装置における視差画像の補正方法に関する。

立体画像を観測者に認識させる手法として、一般的に、左眼と右眼との位置差を利用した両眼視差による立体画像表示方法が用いられている。この方法は、左眼と右眼にそれぞれ異なる２次元画像を視認させ、脳においてその見え方の違いから３次元の立体画像を認識させるステレオグラム（Stereogram）の原理を応用したものである。また、立体画像の表示方法としては、メガネを用いた方式又はメガネを使用しない裸眼方式があり、裸眼方式には、観測者の視点数に応じて２眼式又は多眼式などがある。

通常のフラットパネルディスプレイなどの２次元ディスプレイを用いて、裸眼方式により立体画像を表現するには、２次元ディスプレイに左眼用画像及び右眼用画像を表示する画素を設け、２次元ディスプレイと観測者との間に、シリンドリカルレンズを配列したレンチキュラレンズ又はスリット状の遮光パターンを配列したパララックスバリアなどの光学手段を配置し、画面上の左眼用画像と右眼用画像とを空間的に分離して、左右それぞれの眼に視認させる方法が用いられている。

上記技術は、２次元ディスプレイの画面上に画像を立体的に表示するものであるが、更に、物体があたかも空中に浮かんでいるかのように画像を表示する技術も開発されてきている。例えば、凸レンズ又は凹面鏡などの結像光学系を利用し、２次元ディスプレイを結像光学系の光軸に対して傾けて配置し、ミラースキャンによって光軸に対して傾いた２次元像を移動させ、２次元像の移動に同期させて２次元ディスプレイに表示物体の断面像を表示させることにより３次元像を形成する、という体積走査法による３次元像の立体表示方法が提案されている。

しかしながら、上記方法では、結像光学系として凸レンズ又は凹面鏡を用いているため、凸レンズ又は凹面鏡が持つ収差により像に歪みが生じ、表示物体の形状を正確に再現することができない。この問題に対して、結像光学系として、２つの鏡面から構成される２面コーナーリフレクタを多数備えた光学素子などの実鏡映像結像光学系を利用する方法が提案されている。

図１は特許文献１の３次元空中映像表示装置を模式的に示す斜視図である。図２は特許文献１の実鏡映像結像光学系である２面コーナーリフレクタアレイを模式的に示す平面図及びＡ部の部分拡大図である。例えば、特許文献１には、図１及び図２に示すように、被投影物の実像を、対称面となるある１つの幾何平面に対する面対称位置に結像可能な実鏡映像結像光学系を少なくとも２つ並べて配置し、各結像光学系に対応してそれぞれに被投影物を配置してなり、相対的に左側に配置した前記実鏡映像結像光学系である右眼用結像光学系によって結像される対応する被投影物の実鏡映像と、相対的に右側に配置した前記実鏡映像結像光学系である左眼用結像光学系によって結像される対応する被投影物の実鏡映像とを同じ位置で重ね合わせて表示させる３次元空中映像表示装置が開示されている。

図３は特許文献２の体積走査型３次元空中映像ディスプレイ装置を模式的に示す斜視図である。図４は特許文献２の実鏡映像結像光学系である２面コーナーリフレクタアレイによる結像様式を模式的に示す図である。また、下記特許文献２には、図３及び図４に示すように、被投影物の実像を、対称面となるある１つの幾何平面に対する面対称位置に鏡映像として結像可能な実鏡映像結像光学系と、前記対称面の下面側に配置されて前記被投影物として映像を表示する表示面を備えたディスプレイと、前記ディスプレイを、その表示面に対して垂直方向の成分を含む運動をするように動作させる駆動手段とを具備し、前記駆動手段による前記ディスプレイの動作と同期させて前記表示面に表示される映像を変化させることにより、当該映像を前記対称面の上面側の空間に立体映像として結像させる体積走査型３次元空中映像ディスプレイ装置が開示されている。

特開２０１２−１６３７０２号公報 特開２０１３−０８０２２７号公報

このように２次元ディスプレイと図２又は図４に示すような実鏡映像結像光学系９１とを組み合わせ、更に、特許文献１のように２次元ディスプレイを視点分配置したり、特許文献２のように２次元ディスプレイを移動させたりすることによって、空中浮遊像を表示することが可能となる。しかしながら、特許文献１の構成では、図１に示すように、視点数に応じた被投影物９２を表示するための２次元ディスプレイが必要になり、また、特許文献２の構成では、図３に示すように、２次元ディスプレイ９４を移動させる駆動手段９５が必要になるため、装置が大型化するという問題がある。

この問題に対して、２次元ディスプレイにレンチキュラレンズなどの光学手段を配置したディスプレイ（いわゆる裸眼式３Ｄディスプレイ）に、上記の実鏡映像結像光学系のような空間結像素子を組み合わせて、空中浮遊像を表示させる方法が考えられる。しかしながら、この構成の場合、空中浮遊像に３Ｄ正視領域（３Ｄオブジェクトの奥行きが正しく表示される領域）と３Ｄ逆視領域（３Ｄオブジェクトの奥行きが逆転する領域）とが交互に出現するという新たな問題が発生してしまう。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、裸眼式３Ｄディスプレイと空間結像素子とを組合せた構成において、空中浮遊像に３Ｄ正視領域と３Ｄ逆視領域とが出現するという問題を回避することができる立体表示装置及び視差画像補正方法を提供することにある。

本発明の一側面は、２視点分の入力画像に基づいて、第１の方向に並んだ観察者の左眼と右眼とに異なる画像を投影する裸眼立体ディスプレイと、物体からの光を、互いに直交する第１の反射面及び第２の反射面で反射させる光反射素子を複数有する平板状の空間結像素子とを備え、前記空間結像素子が、前記裸眼立体ディスプレイから出射され、入射面に入射した光を、出射面から観察者側に出射する立体表示装置であって、前記裸眼立体ディスプレイは、表示面の中心を通る法線近傍の正面の立体視域であるメインローブと、前記メインローブの前記第１の方向の外側の立体視域であるサイドローブとを有し、一方の入力画像を投影した画像の中に、他方の入力画像を投影した画像が混在する場合に、前記２視点分の入力画像の奥行き視差と飛び出し視差とが逆転する逆視領域に対応する部分を入れ替えて、前記裸眼立体ディスプレイに出力する画像処理部を備えることを特徴とする。

本発明の一側面は、２視点分の入力画像に基づいて、第１の方向に並んだ観察者の左眼と右眼とに異なる画像を投影する裸眼立体ディスプレイと、物体からの光を、互いに直交する第１の反射面及び第２の反射面で反射させる光反射素子を複数有する平板状の空間結像素子と、を備え、前記裸眼立体ディスプレイは、表示面の中心を通る法線近傍の正面の立体視域であるメインローブと、前記メインローブの前記第１の方向の外側の立体視域であるサイドローブと、を有し、前記空間結像素子が、前記裸眼立体ディスプレイから出射され、入射面に入射した光を、出射面から観察者側に出射する立体表示装置における視差画像補正方法であって、前記立体表示装置は、一方の入力画像を投影した画像の中に、他方の入力画像を投影した画像が混在する場合に、奥行き視差と飛び出し視差とが逆転する逆視領域が存在するかを判断し、前記逆視領域が存在する場合に、前記２視点分の入力画像の、前記逆視領域に対応する部分を入れ替えて、前記裸眼立体ディスプレイに出力する処理を実行することを特徴とする。

本発明の立体表示装置及び視差画像補正方法によれば、３Ｄディスプレイと空間結像素子とを組合せた構成において、空中浮遊像に３Ｄ正視領域と３Ｄ逆視領域とが出現するという問題を回避することができる。

その理由は、入力画像を処理する画像処理部を設け、画像処理部では、入力画像を解析して逆視が生じる視差画像領域を抽出し、抽出した視差画像領域の左眼用画像と右眼用画像とを入れ替えて３Ｄディスプレイに入力する制御を行うからである。

特許文献１の３次元空中映像表示装置を模式的に示す斜視図である。 特許文献１の実鏡映像結像光学系である２面コーナーリフレクタアレイを模式的に示す平面図及びＡ部の部分拡大図である。 特許文献２の体積走査型３次元空中映像ディスプレイ装置を模式的に示す斜視図である。 特許文献２の実鏡映像結像光学系である２面コーナーリフレクタアレイによる結像様式を模式的に示す図である。 従来の立体表示装置の構成を示す斜視図である。 従来の立体表示装置における入力画像と観察者の視認画像との関係を示す図である。 従来の立体表示装置における逆視を説明する図である。 本実施例の立体表示装置の構成を示す斜視図である。 本実施例の立体表示装置に含まれる３Ｄディスプレイの構成を示す断面図である。 本実施例の立体表示装置に含まれる３Ｄディスプレイの構成を示す上面図である。 ３Ｄディスプレイと撮影手段の配置例を示す斜視図である。 ３Ｄディスプレイの光学手段としてレンチキュラレンズを用いたときに形成される立体視域を説明するための光路図である。 撮影手段を３Ｄディスプレイの中心線上に配置し、撮影手段とレンチキュラレンズとの間隔Ｄを変化させた場合の例である。 図１３の構成におけるレンチキュラレンズと撮影手段との間隔と撮影画像との対応関係を示す図である。 撮影手段を３Ｄディスプレイの中心線に対して右側（右眼側）にずらして配置し、撮影手段とレンチキュラレンズとの間隔Ｄを変化させた場合の例である。 図１５の構成におけるレンチキュラレンズと撮影手段との間隔と撮影画像との対応関係を示す図である。 図１５の撮影画像の構成を説明する図である。 撮影手段を３Ｄディスプレイの中心線に対して左側（左眼側）にずらして配置し、撮影手段とレンチキュラレンズとの間隔Ｄを変化させた場合の例である。 図１８の構成におけるレンチキュラレンズと撮影手段との間隔と撮影画像との対応関係を示す図である。 ３Ｄディスプレイによって視認される画像を説明する図である。 ３Ｄディスプレイにおける飛び出し視差を説明する模式図である。 立体表示装置における逆視を説明する図である。 本発明の第１の実施例に係る立体表示装置における画像処理部の構成例を示すブロック図である。 本発明の第１の実施例に係る立体表示装置における視差画像補正方法を示すフローチャート図である。 本発明の第１の実施例に係る立体表示装置における視差画像補正方法を説明する１例の模式図である。 本発明の第１の実施例に係る立体表示装置における視差画像補正方法を説明する他の例の模式図である。 本実施例の画像処理部の構成例を示すブロック図である。 本実施例の立体画像の処理方法を示すフローチャート図である。 本発明の第２の実施例に係る立体表示装置における視差画像補正方法を説明する模式図である。 本発明の第２の実施例に係る立体表示装置における視差画像補正方法を説明する模式図である。 本発明の第３の実施例に係る３Ｄディスプレイの構成の概略図である。 本発明の第３の実施例に係る３Ｄディスプレイの機能説明図である。 本発明の第３の実施例に係る３Ｄディスプレイの機能説明図である。 本発明の第３の実施例のサブ画素の構成を示す具体例である。 本発明の第３の実施例に係る３Ｄディスプレイの機能説明図である。 図３１の構成におけるレンチキュラレンズと撮影手段との間隔と撮影画像との対応関係を示す図である。 立体表示装置における逆視を説明する図である。 本発明の第３の実施例に係る立体表示装置における視差画像補正方法を説明する模式図である。 本実施例の立体表示装置の構成を示す斜視図である。 観察者の移動に応じたＰｘの値を説明する図である。 観察者の移動に応じて観察する視認画像と逆視領域を示す図である。 本発明の第４の実施例に係る立体表示装置における画像処理部、視点位置検出部の構成例を示すブロック図である。 本発明の第４の実施例に係る立体表示装置における視差画像補正方法を示すフローチャート図である。 本発明の第４の実施例に係る立体表示装置における視差画像補正方法を示すフローチャート図である。

背景技術で示したように、２次元ディスプレイに左眼用画像及び右眼用画像を表示する画素を設け、レンチキュラレンズ又はパララックスバリア等の光学手段により、観察者の左右の眼に左眼用画像と右眼用画像を振分けることによって立体画像を表示する３Ｄディスプレイ２０が開発されている。更に、物体があたかも空中に浮かんでいるかのように画像を表示するために、２次元ディスプレイと実鏡映像結像光学系のような空間結像素子とを組み合わせた３次元空中映像表示装置も開発されている。

しかしながら、従来の３次元空中映像表示装置は、２次元ディスプレイを視点分配置したり２次元ディスプレイを移動させたりすることによって、空中浮遊像を形成するものであるため、視点数に応じた２次元ディスプレイが必要になったり、２次元ディスプレイを移動させる駆動手段が必要になったりし、装置が大型化するという問題がある。

この問題に対して、図５に示すように、３Ｄディスプレイ２０と上記の実鏡映像結像光学系のような空間結像素子とを組み合わせることによって、空中浮遊像を形成する方法が考えられるが、本願発明者が検討した結果、この方法では、空中浮遊像に３Ｄ正視領域と３Ｄ逆視領域とが交互に出現するという新たな問題が発生することを見出した。

すなわち、この構成の場合、３Ｄディスプレイ２０から出射される光が空間結像素子に入射するように、３Ｄディスプレイ２０と空間結像素子との距離を極めて小さくする必要があるため、隣接するシリンドリカルレンズからの光線が投影されてしまい、図６に示すような入力画像に対して、左右の各々の眼に投影される視認画像は左眼用画像と右眼用画像の繰り返しとなる。また、基本的に反射光学系を１つ介在させると奥行き方向が反転した反転像が生成されてしまう。その結果、図６に示すように、中央の領域に投影される画像（メインローブ画像）は、左右が入れ替わってしまい、図７に示すように、空中浮遊像に３Ｄ正視領域と３Ｄ逆視領域とが交互に出現するという問題が発生してしまう。

そこで、本発明の一実施の形態では、３Ｄディスプレイ２０に入力する画像に対して、逆視が生じる視差画像領域の左眼用画像と右眼用画像とを入れ替える画像処理を行う。具体的には、観察者の視線方向と空間結像素子の法線方向とがなす角度、空間結像素子と観察者との距離、３Ｄディスプレイ２０と空間結像素子との距離又は空間結像素子の光学特性などに基づいて、奥行き視差と飛び出し視差とが逆転する逆視領域を抽出し、左眼用画像及び右眼用画像の内の、逆視領域に対応する部分の画像を入れ替える。

これにより、３次元ディスプレイと空間結像素子とを組み合わせた場合における、３Ｄ正視領域と３Ｄ逆視領域とが交互に出現するという問題を回避することができる。

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る立体表示装置及び視差画像補正方法について、図８乃至図２６を参照して説明する。図８は、本実施例の立体表示装置の構成を示す斜視図である。また、図１１乃至図２０は、３Ｄディスプレイ２０によって視認される画像を説明する図である。

図８に示すように、本実施例の立体表示装置１０は、３Ｄディスプレイ２０と空間結像素子３０と画像信号入力部４０と画像処理部５０とで構成される。また、図示していないが、必要に応じて、空間結像素子３０と観察者との間隔を検出するための手段（例えばカメラなど）が立体表示装置１０の所定の位置に配置される。

３Ｄディスプレイ２０は、立体画像を裸眼で視認可能にする裸眼立体ディスプレイであり、液晶表示装置などの表示パネルと、レンチキュラレンズ又はパララックスバリアなどの光学手段（本実施例ではレンチキュラレンズとする。）とで構成される。表示パネルには、左眼用の画像を表示する左眼用画素と右眼用の画像を表示する右眼用画素とが第１の方向に交互に配列された構成である。また、レンチキュラレンズは、表示パネルに対向する面が平面であり、他方の面が半円柱状のシリンドリカルレンズが上記第１の方向に配列された構成である。この３Ｄディスプレイ２０の詳細については後述する。

空間結像素子３０は、３Ｄディスプレイ２０に表示された立体画像を空間中に結像して空中浮遊像を形成する装置である。空間結像素子３０は、例えば、垂直な２つの鏡面からなる光学素子（第１の反射面で反射し、更に該第１の反射面と対となって段違いに配置され、該第１の反射面と交差配置された第２の反射面で反射させて通過させる光反射素子）を複数配列したものである。この空間結像素子３０として、例えば、特許文献１及び２に開示された実鏡映像結像光学系を利用することができる。この２つの垂直鏡面を持った構造は、例えば、平板の面上に１００μｍ程度の高さの四角断面の柱を立て、その側面の内の直交する２つの面をミラーとして使用したり、１００μｍ程度の厚さの平板の面内に四角の孔を掘り、その２つの内壁面を鏡面にしたりすることによって形成することができる。

なお、図８では、空間結像素子３０を、垂直な２つの鏡面からなる光学素子を、当該２つの鏡面に対して垂直な平面に配列した（すなわち、上記の柱又は孔を平板の主面に対して垂直に形成した）構成としているため、空間結像素子３０の平面が３Ｄディスプレイ２０の表示面に対して所定の角度で傾斜するように記載しているが、柱又は孔が平板の主面の法線に対して傾斜するように形成した場合は、空間結像素子３０の平面が３Ｄディスプレイ２０の表示面に対して平行となるように配置することができる。

画像信号入力部４０は、表示パネルの各画素に表示させる左眼用画像及び右眼用画像を画像処理部５０に出力する装置である。左眼用画像及び右眼用画像は、２つの視点からカメラで撮影した撮影画像（２視点分の画像）としてもよいし、１つの視点からカメラで撮影した撮影画像とこの画像の各画素に対応する３Ｄオブジェクトの奥行き情報を表すデプス画像のセットとしてもよい。その場合は、撮影画像とデプス画像とに基づいて、３次元空間に仮想的に配置した仮想カメラ位置から撮影して得られる仮想視点画像を生成し、撮影画像と仮想視点画像とを画像処理部５０に出力すればよい。

画像処理部５０は、画像信号入力部４０から出力される画像（２視点分の撮影画像若しくは１視点分の撮影画像と仮想視点画像のセット）を解析し、逆視が生じる領域（視差画像領域）を抽出し、視差画像領域の入力画像を左右反転させる（左眼用画像と右眼用画像を入れ替える）画像処理を行い、画像処理後の画像データを３Ｄディスプレイ２０に出力する装置である。画像処理部５０は、３Ｄディスプレイ２０とは独立した装置としてもよいし、３Ｄディスプレイ２０に組み込まれていてもよい。この画像処理部５０の詳細についても後述する。

まず、本実施例の立体表示装置１０の理解を容易にするために、３Ｄディスプレイ２０の構成及び動作について説明する。なお、本明細書においては、便宜上、以下のようにＸＹＺ直交座標系を設定する。Ｘ軸方向は後述する左眼用画素２４Ｌ及び右眼用画素２４Ｒが繰り返し配列される方向とする。＋Ｘ方向は右眼用画素２４Ｒから左眼用画素２４Ｌに向かう方向とする。また、Ｙ軸方向は後述するシリンドリカルレンズ２９ａの長手方向とする。更に、Ｚ軸方向はＸ軸方向及びＹ軸方向の双方に直交する方向をとする。＋Ｚ方向は左眼用画素２４Ｌ又は右眼用画素２４Ｒが配置された面からレンチキュラレンズ２９に向かう方向（観察者に向かう方向）とする。

図９は本実施例の立体表示装置に含まれる３Ｄディスプレイ２０の構成を示す断面図である。図１０は、本実施例の立体表示装置に含まれる３Ｄディスプレイ２０の構成を示す上面図である。図９及び図１０に示すように、３Ｄディスプレイ２０は、電気光学素子として液晶分子を利用した表示パネル２１と、光学手段としてレンチキュラレンズ２９とを備える。

表示パネル２１は、薄膜トランジスタ（ＴＦＴ：Thin Film Transistor）を有するアクティブマトリクス型の表示パネルであり、ＴＦＴが形成されるＴＦＴ基板２４と対向基板２６とが微小な間隙を空けて対向しており、この間隙に液晶層２５が配置されている。ＴＦＴ基板２４には、各々１個の左眼用画素２４Ｌ及び右眼用画素２４Ｒからなる表示単位としての画素対がマトリクス状に設けられている。液晶層２５は、例えば透過型のＴＮ（Twisted Nematic）モードとなるように構成されている。ＴＦＴ基板２４は表示パネル２１の−Ｚ方向側に配置され、対向基板２６は＋Ｚ方向側に配置されている。更に、ＴＦＴ基板２４の−Ｚ方向側に第１光学フィルム２３が貼付され、対向基板２６の＋Ｚ方向側に第２光学フィルム２７が貼付されている。そして、第２光学フィルム２７の＋Ｚ方向側に接着層２８を介してレンチキュラレンズ２９が固定され、第１光学フィルム２３の−Ｚ方向側にバックライト２２が配置されている。

ＴＦＴ基板２４の内側の面、すなわち＋Ｚ方向側の面に、行方向、すなわちＸ軸方向に延伸する複数のゲート線Ｇ（図ではＧ１〜Ｇ５）が配置されている。更に、ＴＦＴ基板２４の同じ面には、列方向、すなわちＹ軸方向に延伸する複数のデータ線Ｄ（図ではＤ１〜Ｄ７）が配置されている。そして、ゲート線Ｇとデータ線Ｄとで囲まれる領域に画素（左眼用画素２４Ｌ又は右眼用画素２４Ｒ）が形成され、ゲート線Ｇとデータ線Ｄの交点近傍に配置されるＴＦＴによって画素が駆動される。図１０では、各画素とゲート線Ｇ及びデータ線Ｄとの接続関係を明確にするため、例えばゲート線Ｇ３とデータ線Ｄ２に接続された画素をＰ３２と表記している。

なお、ＴＦＴ基板の構成は、図１０のようにＸ軸方向にゲート線Ｇが延伸し、Ｙ軸方向にデータ線Ｄが延伸する配置に限らず、Ｘ軸方向にデータ線Ｄが延伸し、Ｙ軸方向にゲート線Ｇが延伸するように配置されても構わない。また、表示パネル２１は、液晶表示素子以外の表示素子、例えば有機ＥＬ（Electro Luminescence）素子、量子ドット素子又はフィールドエミッション素子など、様々な表示素子を用いることができる。また、表示パネル２１の駆動方法は、ＴＦＴ等を用いたアクティブマトリクス方式に限らず、パッシブマトリクス方式でもよい。

レンチキュラレンズ２９は、多数のシリンドリカルレンズ２９ａが一次元に配列したレンズアレイである。シリンドリカルレンズ２９ａは、かまぼこ状の凸部が一方向に延伸する一次元レンズであり、シリンドリカルレンズ２９ａの配列方向は、左眼用画素２４Ｌ及び右眼用画素２４Ｒからなる画素対が繰り返し配列される方向、すなわちＸ軸方向に設定され、１つのシリンドリカルレンズ２９ａが１つの画素対に対応するように構成される。

シリンドリカルレンズ２９ａは、その延伸方向と直交する方向にのみレンズ効果を有する。そして、このレンズ効果を有する方向が、左眼用画素２４Ｌ及び右眼用画素２４Ｒが繰り返し配列される方向と一致している。この結果、シリンドリカルレンズ２９ａは、左眼用画素２４Ｌから出射される光と右眼用画素２４Ｒから出射される光を異なる方向に分離可能な光線分離手段として作用する。これにより、レンチキュラレンズ２９は、各表示単位の左眼用画素２４Ｌが表示する画像と、各表示単位の右眼用画素２４Ｒが表示する画像を、異なる方向に分離することができる。このシリンドリカルレンズ２９ａの焦点距離は、シリンドリカルレンズ２９ａの主点、すなわちレンズの頂点と、画素面、すなわち左眼用画素２４Ｌ又は右眼用画素２４Ｒが配置された面との間の距離に設定されている。

なお、レンチキュラレンズ２９は、表示パネル２１に対抗する面にレンズ面が配置された構成としてもよい。また、光学手段はレンチキュラレンズ２９に限らず、フライアイレンズ、パララックスバリア又はプリズムシート等の光を分離可能な様々な光学素子を用いることができる。また、光学手段は、例えば液晶を用いたＧＲＩＮ（Gradient Index）レンズ、レンズ効果を有する凹凸基板と液晶分子とを組み合わせた液晶レンズ又は液晶を用いたスイッチングパララックスバリア等を用いることもできる。

次に、上記構成の３Ｄディスプレイ２０から出射して観察者の眼に入射する光の様子を、撮影手段で撮影した撮影画像を用いて説明する。図１１は、３Ｄディスプレイ２０と撮影手段８０の配置例を示す斜視図である。図１１は観察者の左眼の位置６０と右眼の位置６１とを併せて示している。なお、ここでは説明を容易にするために、左眼用画素２４Ｌ及び右眼用画素２４Ｒは各々シリンドリカルレンズ２９ａの長手方向に延伸する短冊状とし、Ｘ軸方向に配列されているものとする。

図１１に示すように、撮影手段８０は、３Ｄディスプレイ２０の表示面を撮影する位置に配置される。この撮影手段８０は、画像処理用レンズシステム、一般的なビデオカメラ又はデジタルカメラ等が用いられる。撮影手段８０は、表示パネル２１の表示面近傍に焦点が合う、３Ｄディスプレイ２０に対して＋Ｚ方向の位置で固定される。撮影手段８０の撮影中心８１は、３Ｄディスプレイ２０の中心２０ａと一致し、理想的には当該中心２０ａ近傍の左眼用画素２４Ｌと右眼用画素２４Ｒとの中間に位置することが望ましい。

図１２は、３Ｄディスプレイ２０の光学手段としてレンチキュラレンズ２９を用いたときに形成される立体視域を説明するための光路図である。

表示パネル２１には、Ｘ軸方向に左眼用画素２４Ｌ（Ｌ１〜Ｌ３）、（Ｃ１〜Ｃ３）及び(Ｒ１〜Ｒ３）と、右眼用画素２４Ｒ（Ｌ１〜Ｌ３）、（Ｃ１〜Ｃ２）及び（Ｒ１〜Ｒ３）とが順次配置されている。また、シリンドリカルレンズ２９Ｌは、左眼用画素２４Ｌ（Ｌ１〜Ｌ３）と右眼用画素２４Ｒ（Ｌ１〜Ｌ３）とに対応し、シリンドリカルレンズ２９Ｃは、左眼用画素２４Ｌ（Ｃ１〜Ｃ３）と右眼用画素２４Ｒ（Ｃ１〜Ｃ２）とに対応し、シリンドリカルレンズ２９Ｒは、左眼用画素２４Ｌ（Ｒ１〜Ｒ３）と右眼用画素２４Ｒ（Ｒ１〜Ｒ３）とに対応している。

図１２に示す１Ｌ１、２Ｌ１及び３Ｌ１は、左眼用画素２４Ｌ（Ｌ１〜Ｌ３）から出射され、シリンドリカルレンズ２９Ｌで屈折された光の光路を示し、１Ｌ２、２Ｌ２及び３Ｌ２は、右眼用画素２４Ｒ（Ｌ１〜Ｌ３）から出射され、シリンドリカルレンズ２９Ｌで屈折された光の光路を示している。また、１Ｃ１、２Ｃ１及び３Ｃ１は、左眼用画素２４Ｌ（Ｃ１〜Ｃ３）から出射され、シリンドリカルレンズ２９Ｃで屈折された光の光路を示し、１Ｃ２及び２Ｃ２は、右眼用画素２４Ｒ（Ｃ１〜Ｃ２）から出射され、シリンドリカルレンズ２９Ｃで屈折された光の光路を示している。同様に、１Ｒ１、２Ｒ１及び３Ｒ１は、左眼用画素２４Ｌ（Ｒ１〜Ｒ３）から出射され、シリンドリカルレンズ２９Ｒで屈折された光の光路を示し、１Ｒ２、２Ｒ２及び３Ｒ２は、右眼用画素２４Ｒ（Ｒ１〜Ｒ３）から出射され、シリンドリカルレンズ２９Ｒで屈折された光の光路を示している。

光路上を進行する実際の光は、これらの光路に対して時計回りまたは反時計回りに所定の角度の幅を有している。１Ｌ１、１Ｃ１及び１Ｒ１が交わる点を含む領域に左眼用画像領域６２が形成され、１Ｌ２、１Ｃ２及び１Ｒ２が交わる点を含む領域に右眼用画像領域６３が形成される。これらの左眼用画像領域６２及び右眼用画像領域６３が立体視できる立体視認範囲となり、左眼用画像領域６２に左眼の位置６０があり、右眼用画像領域６３に右眼の位置６１があるとき、観察者は立体画像を正しく視認することができる。

立体視認範囲が最大となる（すなわち、左眼用画像領域６２及び右眼用画像領域６３のＸ軸方向の距離が最大となる）位置とレンチキュラレンズ２９の位置との距離を最適立体視認距離（Ｄｏｐ）とし、左右眼のＹ軸方向と、左眼用画像領域６２及び右眼用画像領域６３とが交差する位置とレンチキュラレンズ２９の位置との距離を、最大立体視認距離（Ｄｍａｘ）及び最小立体視認距離（Ｄｍｉｎ）とする。

ここで、シリンドリカルレンズ２９Ｌに注目すると、左眼用画像領域６２と右眼用画像領域６３の形成に寄与する光は、左眼用画素２４Ｌ（Ｌ１）及び右眼用画素２４Ｒ（Ｌ１）から出射された光（１Ｌ１、１Ｌ２）だけである。これらを一次光と定義する。また、左眼用画素２４Ｌ（Ｌ１）又は右眼用画素２４Ｒ（Ｌ１）の隣接画素である左眼用画素２４Ｌ（Ｌ２）又は右眼用画素２４Ｒ（Ｌ２）から出射され、シリンドリカルレンズ２９Ｌで屈折された光（２Ｌ１、２Ｌ２）を二次光と定義する。同様に、左眼用画素２４Ｌ（Ｌ１）又は右眼用画素２４Ｒ（Ｌ１）の第２の隣接画素である左眼用画素２４Ｌ（Ｌ３）又は右眼用画素２４Ｒ（Ｌ３）から出射され、シリンドリカルレンズ２９Ｌで屈折された光（３Ｌ１、３Ｌ２）を三次光と定義する。シリンドリカルレンズ２９Ｃ又は２９Ｒに関連する光についても、同様に一次光が左眼用画像領域６２及び右眼用画像領域６３の形成に寄与する。

図１２の光路図から分かるように、観察者とレンチキュラレンズ２９との間隔が最小立体視認距離Ｄｍｉｎよりも短くなると、表示パネル２１の左右側から出射される二次光又は三次光等の高次光の影響が顕在化することが分かる。

次に、撮影手段８０とレンチキュラレンズ２９との間隔Ｄを変化させた時に得られる撮影画像について説明する。なお、図１３、図１５及び図１８では、光路を分かりやすくするために、一次光の光路のみを記載している。

図１３は、撮影手段８０を３Ｄディスプレイ２０の中心線上に配置し、撮影手段８０とレンチキュラレンズ２９との間隔Ｄを変化させた場合の例である。図１４は図１３の構成におけるレンチキュラレンズと撮影手段との間隔と撮影画像との対応関係を示す図である。この場合、間隔Ｄが最適立体視認距離Ｄｏｐ近傍であれば、図１４Ａ及びＢに示すように、撮影手段８０が撮影する画像は、左側が左眼用画素２４Ｌの入力画像、右側が右眼用画素２４Ｒの入力画像となる。これに対して、間隔Ｄが徐々に小さくなると（例えば、最適立体視認距離Ｄｏｐの１／３程度になると）、図１４Ｃに示すように、二次光の影響を受けて、撮影画像の左側に右眼用画素２４Ｒの入力画像が出現し、右側に左眼用画素２４Ｌの入力画像が出現する。更に、間隔Ｄが小さくなると（例えば、最適立体視認距離Ｄｏｐの１／４程度になると）、図１４Ｄ及びＥに示すように、三次光の影響を受けて、撮影画像の左側に左眼用画素２４Ｌの入力画像が出現し、右側に右眼用画素２４Ｒの入力画像が出現する。すなわち、撮影手段８０とレンチキュラレンズ２９との間隔Ｄが最適立体視認距離Ｄｏｐに比べて小さくなるほど、二次光又は三次光等の高次光の影響を受けて、撮影画像が左眼用画素２４Ｌの入力画像と右眼用画素２４Ｒの入力画像の繰り返しになる。

図１５は、撮影手段８０を３Ｄディスプレイ２０の中心線に対して右側（右眼側）にずらして配置し、撮影手段８０とレンチキュラレンズ２９との間隔Ｄを変化させた場合の例である。図１６は図１５の構成におけるレンチキュラレンズと撮影手段８０との間隔と撮影画像との対応関係を示す図である。この場合、間隔Ｄが最適立体視認距離Ｄｏｐ近傍であれば、図１６Ａに示すように、撮影手段８０が撮影する画像は、右眼用画素２４Ｒの入力画像のみとなる。また、間隔Ｄが小さくなり、最適立体視認距離Ｄｏｐの１／２程度になると、図１６Ｂに示すように、撮影画像の両側に左眼用画素２４Ｌの入力画像が出現する。更に、間隔Ｄが小さくなり、最適立体視認距離Ｄｏｐの１／３〜１／４程度になると、図１６Ｃ及びＤに示すように、二次光の影響を受けて、撮影画像の両側に右眼用画素２４Ｒの入力画像が出現する。更に、間隔Ｄが小さくなり、最適立体視認距離Ｄｏｐの１／４以下になると、図１６Ｅに示すように、三次光の影響を受けて、撮影画像の左側に左眼用画素２４Ｌの入力画像が出現する。

このような撮影画像となるのは、３Ｄディスプレイ２０の表示面の中心を通る法線を含む正面の立体視域であるメインローブを構成する一次光と、メインローブに対してＸ軸方向の外側の立体視域である他のローブ（サイドローブ）を構成する高次光が混合して撮影画像が形成されるからである。図１７は図１５の撮影画像の構成を説明する図である。例えば、図１７に示すように、撮影手段８０とシリンドリカルレンズ２９との間隔Ｄに関わらず、メインローブを構成する一次光によって右眼用画素２４Ｒの入力画像が撮影されるが、間隔Ｄが小さくなるに従って他のローブを構成する高次光の影響を受けて、左眼用画素２４Ｌの入力画像が多く撮影される。その結果、間隔Ｄが最適立体視認距離Ｄｏｐ（例えば６００ｍｍ）の場合、撮影画像はメインローブを構成する一次光による右眼用画素２４Ｒの入力画像のみであるが、間隔Ｄが０．５×Ｄｏｐ（例えば３００ｍｍ）の場合、撮影画像は、メインローブを構成する一次光による右眼用画素２４Ｒの入力画像と、他のローブを構成する高次光による両側の左眼用画素２４Ｌの入力画像とを合成した画像となり、撮影画像は中央に右眼用画素２４Ｒの入力画像が配置され、その両側に左眼用画素２４Ｌの入力画像が配置された構成となる。また、間隔Ｄが０．３３×Ｄｏｐ（例えば２００ｍｍ）又は０．２８×Ｄｏｐ（例えば１７０ｍｍ）の場合、他のローブを構成する高次光による左眼用画素２４Ｌの入力画像が中央に寄るため、撮影画像は中央に右眼用画素２４Ｒの入力画像が配置され、その両外側に左眼用画素２４Ｌの入力画像が配置され、更にその両外側に右眼用画素２４Ｒの入力画像が配置された構成となる。また、間隔Ｄが０．２３×Ｄｏｐ（例えば１４０ｍｍ）の場合、他のローブを構成する高次光による左眼用画素２４Ｌの入力画像が更に中央に寄り、更に外側に左眼用画素２４Ｌの入力画像が出現するため、撮影画像は左眼用画素２４Ｌの入力画像と右眼用画素２４Ｒの入力画像とが３回繰り返し配置された構成となる。

図１８は、撮影手段８０を３Ｄディスプレイ２０の中心線に対して左側（左眼側）にずらして配置し、撮影手段８０とレンチキュラレンズとの間隔Ｄを変化させた場合の例である。図１９は図１８の構成におけるレンチキュラレンズと撮影手段８０との間隔と撮影画像との対応関係を示す図である。この場合、間隔Ｄが最適立体視認距離Ｄｏｐ近傍であれば、図１９Ａに示すように、撮影手段８０が撮影する画像は、左眼用画素２４Ｌの入力画像のみとなる。また、間隔Ｄが小さくなり、最適立体視認距離Ｄｏｐの１／２程度になると、図１９Ｂに示すように、撮影画像の両側に右眼用画素２４Ｒの入力画像が出現する。更に、間隔Ｄが小さくなり、最適立体視認距離Ｄｏｐの１／３〜１／４程度になると、図１９Ｃ及びＤに示すように、二次光の影響を受けて、撮影画像の両側に左眼用画素２４Ｌの入力画像が出現する。更に、間隔Ｄが小さくなり、最適立体視認距離Ｄｏｐの１／４以下になると、図１９Ｅに示すように、三次光の影響を受けて、撮影画像の左側に右眼用画素２４Ｒの入力画像が出現する。

図２０は図１９の撮影画像の構成を説明する図である。この場合、図２０に示すように、撮影手段８０とシリンドリカルレンズ２９との間隔Ｄに関わらず、メインローブを構成する一次光によって左眼用画素２４Ｌの入力画像が撮影されるが、間隔Ｄが小さくなるに従って他のローブを構成する高次光の影響を受けて、右眼用画素２４Ｒの入力画像が多く撮影される。その結果、撮影画像は、図１７の左眼用画素２４Ｌの入力画像と右眼用画素２４Ｒの入力画像とが入れ替えた構成となる。

すなわち、撮影手段８０とシリンドリカルレンズ２９との間隔Ｄが小さくなると、高次光の影響を受けて、撮影画像は左眼用画素２４Ｌの入力画像と右眼用画素２４Ｒの入力画像とが繰り返し配置された構成となり、撮影手段８０の位置が３Ｄディスプレイ２０の中心線からずれると、ずれに応じてメインローブを構成する一次光による画像と他のローブを構成する高次光による画像とが変化する。

次に、上記３Ｄディスプレイ２０に空間結像素子３０を組み合わせた場合について説明する。なお、以下では、空間結像素子３０を、２面コーナーリフレクタとなる柱又は孔が平板の主面の法線に対して傾斜するように形成された構成とし、空間結像素子３０の平面が３Ｄディスプレイ２０の表示面に対して平行となるように配置されるものとする。

図２１は３Ｄディスプレイ２０における飛び出し視差を説明する模式図である。ここで、表示パネル２１の左眼用画素２４Ｌに、図２１Ｂの左側に示すように、星形のオブジェクト７１が中央のやや右側に配置された入力画像を表示させ、右眼用画素２４Ｒに、図２１Ｂの右側に示すように、星形のオブジェクト７１が中央のやや左側に配置された入力画像を表示させた場合、図２１Ａに示すように、空中に星形のオブジェクト７１が飛び出したように視認される飛び出し視差となる。これに対して、例えば、図２２Ａに示すように、Ｄ＝０．５×Ｄｏｐの位置に空間結像素子３０を配置した場合、空間結像素子３０の位置に仮想的に配置した仮想カメラで撮影される画像は、図１７及び図２０より、図２２Ｂのようになる。ここで、空間結像素子３０は反射光学系であり、空間結像素子３０から出射される光線は、入射方向と同じ方向になるため、観察者が見る画像は左右が入れ替わる。その結果、観察者が見る画像は図２２Ｃのようになり、左眼で視認する画像の中央に、右眼用画素２４Ｒの入力画像が配置され、右眼で視認する画像の中央に、左眼用画素２４Ｌの入力画像が配置される。すなわち、飛び出し視差が奥行き視差になる、いわゆる逆視が生じる。

このように、本願発明者の考察により、３Ｄディスプレイ２０と空間結像素子３０とを組み合わせた場合、逆視が生じることが判明したことから、本実施例の立体表示装置１０では、画像処理部５０を設け、画像信号入力部４０から入力される入力画像の逆視が生じる（奥行き視差と飛び出し視差とが逆転する）領域を左右反転させる（逆視が生じる領域の左眼用画像と右眼用画像とを入れ替える）画像処理を行い、画像処理後の画像データを３Ｄディスプレイ２０に出力するようにする。

図２３は本発明の第１の実施例に係る立体表示装置１０における画像処理部５０の構成例を示すブロック図である。この画像処理部５０は、図２３に示すように、視差画像補正部５１と領域パラメータ格納部５６とで構成され、視差画像補正部５１は、視差画像領域抽出部５２と画像データ入替部５３とで構成される。

視差画像補正部５１の視差画像領域抽出部５２は、画像信号入力部４０から、２視点分の撮影画像若しくは１視点分の撮影画像と仮想視点画像のセットを取得し、上記したメインローブを構成する一次光の角度（ＥＶＳ（Eye Viewing Space）角度）、３Ｄディスプレイ２０と空間結像素子３０との距離、空間結像素子３０と観察者との距離又は空間結像素子３０のアスペクト比（例えば、２面コーナーリフレクタの開口幅と開口高さの比）などの所定の条件に基づいて、逆視が生じる（奥行き視差と飛び出し視差とが逆転する）領域（視差画像領域）を抽出する。

例えば、ＥＶＳ角度、３Ｄディスプレイ２０と空間結像素子３０の距離又は空間結像素子３０と観察者との距離が小さくなると、左眼用画像と右眼用画像との繰り返し画素数が多くなる。また、３Ｄディスプレイ２０と空間結像素子３０の距離、または空間結像素子３０と観察者との距離が所定の範囲外となる場合は、メインローブ画像が左右眼の視認画像の中央に出現しない。なお、３Ｄディスプレイ２０と空間結像素子３０の距離及び空間結像素子３０と観察者との距離が所定の範囲外となる場合も、メインローブ画像が左右眼の視認画像の中央に出現しない。また、空間結像素子３０のアスペクト比によって、左眼用画像と右眼用画像の位置又は繰り返し画素数が変化する。そこで、これらの条件を領域パラメータ格納部５６に記憶しておき、画像信号入力部４０から入力画像を取得したら、領域パラメータ格納部５６から条件を読み出し、読み出した条件の内の少なくとも１つの条件に基づいて、どの領域で逆視が生じるかを特定し、特定した領域を視差画像領域として抽出する。言い換えると、上記所定の条件によってメインローブ画像の位置及び大きさが決定され、メインローブ画像の位置及び大きさによってどの領域で逆視が生じるかを判断できることから、メインローブ画像の位置及び大きさに基づいて視差画像領域を抽出することになる。

なお、ＥＶＳ角度及び空間結像素子３０と観察者との距離は、観察者の位置に伴って変化する。そこで、立体表示装置１０にカメラを設置し、画像処理部５０が、適宜カメラから観察者を撮影した画像を取得し、撮影画像から特徴点を抽出して両眼の位置を検出し、両眼の位置及び間隔などに基づいて、ＥＶＳ角度及び空間結像素子３０と観察者との距離を特定して領域パラメータ格納部５６に格納すればよい。また、ここでは所定の条件として、ＥＶＳ角度、３Ｄディスプレイ２０と空間結像素子３０の距離、空間結像素子３０と観察者との距離、空間結像素子３０のアスペクト比の４つを例示したが、表示パネル２１の特性（例えば、画素サイズ、画素ピッチもしくは画素配列構造）又はレンチキュラレンズ２９の特性（例えば、シリンドリカルレンズ２９ａの形状、ピッチ、焦点距離、収差もしくは材質）などの他の条件を利用してもよい。また、ここでは空間結像素子３０の特性に関する所定の条件として、空間結像素子３０のアスペクト比を例示したが、空間結像素子３０を構成する２面コーナーリフレクタのミラー表面粗さ、ミラー組立精度又は反射率などを利用することもできる。

視差画像補正部５１の画像データ入替部５３は、入力画像から、視差画像領域抽出部５２が抽出した視差画像領域に対応する左眼用画像と右眼用画像とを特定し、左眼用画像と右眼用画像の境界位置が実質的に一致している場合、それらを入れ替えた画像データを生成し、生成した画像データを３Ｄディスプレイ２０に出力する。

領域パラメータ格納部５６は、メモリなどの記憶手段であり、視差画像領域抽出部５２が視差画像領域を抽出する際に参照する、上記の所定の条件を記憶する。

なお、視差画像領域抽出部５２及び画像データ入替部５３はハードウェアとして構成してもよいし、画像処理部５０にＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）などのメモリとを含む制御部を設け、ＣＰＵがＲＯＭに記憶したプログラムをＲＡＭに展開して実行することにより、制御部を、視差画像領域抽出部５２及び画像データ入替部５３として機能させるようにしてもよい。

図２４は本発明の第１の実施例に係る立体表示装置１０における視差画像補正方法を示すフローチャート図である。図２５は本発明の第１の実施例に係る立体表示装置１０における視差画像補正方法を説明する１例の模式図である。上記構成の画像処理部５０を用いた視差画像補正方法について、図２４のフローチャート図及び図２５の概念図を用いて説明する。

まず、視差画像領域抽出部５２は、画像信号入力部４０から入力画像（２視点分の撮影画像若しくは１視点分の撮影画像と仮想視点画像のセット）を取得する（ステップＳ１０１）。ここでは、図２５Ａに示すように、メインローブ画像に逆視が生じているものとする。

次に、視差画像領域抽出部５２は、領域パラメータ格納部５６から所定の条件を取得し、所定の条件に基づいて視差画像領域を抽出する（ステップＳ１０２）。ここでは、視差画像領域としてメインローブ画像の領域を抽出する。

次に、画像データ入替部５３は、視差画像領域の左眼用画像と右眼用画像との入れ替えを行う（ステップＳ１０３）。例えば、図２５Ｂに示すように、入力画像の左眼用画像がＬ_Ａ、Ｌ_Ｂ及びＬ_Ｃで構成され、右眼用画像がＲ_Ａ、Ｒ_Ｂ及びＲ_Ｃで構成されている場合、左眼用画像のメインローブ画像Ｒ_Ｂと、右眼用画像のメインローブ画像Ｌ_Ｂとを入れ替える。

そして、画像データ入替部５３は、視差画像領域の左眼用画像と右眼用画像との入れ替えを行った画像データを３Ｄディスプレイ２０に出力し、３Ｄディスプレイ２０はその画像データに基づいて、表示パネル２１に画像を表示する（ステップＳ１０４）。ここでは、逆視が生じるメインローブの左眼用画像と右眼用画像とが入れ替えられているため、図２５Ｃに示すように、観察者は全ての領域が３Ｄ正視領域となった空中浮遊像を視認することができる。

なお、上記では、左右各々の入力画像が左右及び中央の３つの画像で構成される場合について記載したが、左右各々の入力画像が複数の領域で構成される場合に対しても同様に適用することができる。図２６は本発明の第１の実施例に係る立体表示装置１０における視差画像補正方法を説明する他の例の模式図である。例えば、図２６に示すように、左右各々の入力画像が５つの画像で構成される場合、図２６Ａに示すように、視差画像領域抽出部５２は、上記の所定の条件に基づいて、中央のメインローブ画像及び両端のサイドローブ画像の領域を視差画像領域として抽出し、図２６Ｂに示すように、画像データ入替部５３は、入力画像に対して、左眼用画像のＲ_Ａ、Ｒ_Ｃ及びＲ_Ｅと右眼用画像のＬ_Ａ、Ｌ_Ｃ及びＬ_Ｅとを入れ替えて３Ｄディスプレイ２０に出力すれば、図２６Ｃに示すように、観察者は全ての領域が３Ｄ正視領域となった空中浮遊像を視認することができる。

このように、入力画像から逆視が生じる視差画像領域を抽出し、その視差画像領域に対応する左眼用画像と右眼用画像とを入れ替えることにより、空中浮遊像に３Ｄ正視領域と３Ｄ逆視領域とが交互に出現するという問題を回避することができる。

なお、本実施例の立体表示装置１０は３Ｄオブジェクトをモノクロ表示する場合とカラー表示する場合のいずれの場合にも適用することができる。３Ｄオブジェクトをカラー表示する場合は、表示パネル２１を構成する対向基板２６をカラーフィルタ（ＣＦ）基板とすることによって実現することができる。その場合、シリンドリカルレンズ２９ａのレンズ効果を有する方向（Ｘ軸方向）に並ぶ一対の画素を同色とし、シリンドリカルレンズ２９ａの長手方向（Ｙ軸方向、すなわち行毎）に周期的に色を変化させる構造とすることもできるし、Ｘ軸方向とＹ軸方向を逆にした構造とすることもできる。また、ＣＦを設ける代わりに、例えば、バックライト２２をＲ（Red）／Ｇ（Green）／Ｂ（Blue）各々の単色で発光できる光源で構成し、Ｒ／Ｇ／Ｂの発光時間に合わせて所望の画素を所定の階調で表示させることにより（いわゆる時分割駆動により）、カラー表示を実現することもできる。

次に、本発明の第２の実施例に係る立体表示装置及び視差画像補正方法について、図２７乃至図３０を参照して説明する。図２７は、本実施例の画像処理部の構成例を示すブロック図である。図２８は、本実施例の立体画像の処理方法を示すフローチャート図である。図２９は本発明の第２の実施例に係る立体表示装置１０における視差画像補正方法を説明する模式図である。図３０は本発明の第２の実施例に係る立体表示装置１０における視差画像補正方法を説明する模式図である。

前記した第１の実施例では、視差画像領域の左眼用画像と右眼用画像との入れ替えを行ったが、画像と入れ替えた画像とで奥行き（又は飛び出し）の状態が異なる場合、入れ替えた画像とその画像に隣接する画像との繋ぎ目で奥行き（又は飛び出し）が不自然に変化したり、メインローブ画像の奥行き（又は飛び出し）が小さい場合、立体感を十分に表現できなかったりする場合がある。また、空間結像素子の特性によっては、各画像の境界部近傍において画像が混合する領域（３Ｄクロストーク領域）が大きくなり、視差がある場合には２重画像が視認される場合もある。そこで、本実施例では、入力画像の奥行き情報を用いて、入力画像の視差量（左眼用画像と右眼用画像の各画素のずらし量）を調整して、空中浮遊像が適切に表示されるようにする。

その場合、立体表示装置１０の構成は第１の実施例の図８乃至図１０と同様であるが、図２７に示すように、画像処理部５０の視差画像補正部５１に、視差画像領域抽出部５２と画像データ入替部５３とに加えて、奥行き情報抽出部５４と視差量調整部５５とを設ける。

上記奥行き情報抽出部５４は、画像信号入力部４０が１視点分の撮影画像及びデプス画像から仮想視点画像を生成する場合は、画像信号入力部４０から、１視点分の撮影画像と仮想視点画像に加えてデプス画像を取得し、このデプス画像に基づいて３Ｄオブジェクトの各部の奥行き情報を抽出する。また、画像信号入力部４０から２視点分の撮影画像を取得する場合は、この２視点分の撮影画像を比較することによって３Ｄオブジェクトの各部の奥行き情報を抽出する。なお、デプス画像は、３Ｄ空間のある視点位置から撮影した撮影画像の各画素に対応するオブジェクトと上記視点位置との距離を表すものである。

視差量調整部５５は、奥行き情報抽出部５４が抽出した奥行き情報に基づいて、入力画像（１視点分の撮影画像及び仮想視点画像若しくは２視点分の撮影画像）の視差量を調整する。その際、領域パラメータ格納部５６から、ＥＶＳ角度、３Ｄディスプレイ２０と空間結像素子３０の距離、空間結像素子３０と観察者との距離、空間結像素子３０のアスペクト比などの所定の条件を読み出し、この所定の条件を参照して、どのように視差量を調整するかを決定する。例えば、左眼用画像と右眼用画像とを入れ替えることによって、入れ替えた画像とその画像に隣接する画像との繋ぎ目で画像の左右で奥行き又は飛び出しが不自然さに変化する場合がある。そのような場合は、画像の両端部分（隣接する画像との境界近傍部分）の視差量を境界近傍以外の視差量より小さくし、画像の繋がりをなめらかにする。また、メインローブ画像の奥行き又は飛び出しの程度が小さい場合、３Ｄオブジェクトの立体感が十分に得られない場合がある。そのような場合は、メインローブ画像（逆視領域に対応する部分の画像）の視差量をメインローブ画像以外の視差量より大きくし、３Ｄオブジェクトの立体感を強調する。また、空間結像素子によって、画像の境界部近傍において３Ｄクロストーク領域が大きくなり、２重画像が視認される場合がある。そのような場合は、上記と同様に、画像の両端部分（隣接する画像との境界近傍部分）の視差量を小さく若しくはゼロにし、２重画像が視認されにくくなるようにする。

視差画像領域抽出部５２は、視差量調整部５５から、視差量を調整した画像（１視点分の撮影画像と仮想視点画像若しくは２視点分の撮影画像）を取得し、領域パラメータ格納部５６から、ＥＶＳ角度、３Ｄディスプレイ２０と空間結像素子３０の距離、空間結像素子３０と観察者との距離又は空間結像素子３０のアスペクト比などの所定の条件を読み出し、所定の条件の内の少なくとも１つの条件に基づいて、逆視が生じる領域（視差画像領域）を抽出する。

なお、第１の実施例と同様に、ＥＶＳ角度及び空間結像素子３０と観察者との距離は、観察者の位置に伴って変化するため、立体表示装置１０にカメラを設置し、画像処理部５０が、適宜カメラから観察者を撮影した画像を取得し、撮影画像から特徴点を抽出して両眼の位置を検出し、両眼の位置及び間隔などに基づいて、ＥＶＳ角度及び空間結像素子３０と観察者との距離を特定して領域パラメータ格納部５６に格納すればよい。また、所定の条件として、表示パネル２１の特性又はレンチキュラレンズ２９の特性などの他の条件を利用することができる。また、空間結像素子３０の特性に関する所定の条件として、空間結像素子３０を構成する２面コーナーリフレクタのミラー表面粗さ又はミラー組立精度、反射率などを利用することもできる。

画像データ入替部５３は、入力画像から、視差画像領域抽出部５２が抽出した視差画像領域に対応する左眼用画像と右眼用画像とを特定し、左眼用画像と右眼用画像の境界位置が実質的に一致している場合、それらを入れ替えた画像データを生成し、生成した画像データを３Ｄディスプレイ２０に出力する。

なお、奥行き情報抽出部５４、視差量調整部５５、視差画像領域抽出部５２及び画像データ入替部５３はハードウェアとして構成してもよいし、画像処理部５０にＣＰＵとＲＯＭ又はＲＡＭなどのメモリとを含む制御部を設け、ＣＰＵがＲＯＭに記憶したプログラムをＲＡＭに展開して実行することにより、制御部を、奥行き情報抽出部５４、視差量調整部５５、視差画像領域抽出部５２及び画像データ入替部５３として機能させるようにしてもよい。また、前記した第１の実施例と同様に、本実施例の３Ｄディスプレイ２０の表示パネル２１に、カラーフィルタを形成した対向基板２６を使用したり、Ｒ／Ｇ／Ｂの単色光を発光可能なバックライト２２を使用したりして、カラー表示を行うことができる。

上記構成の画像処理部５０を用いた視差画像補正方法について、図２８のフローチャート図及び図２９、３０の概念図を用いて説明する。

まず、奥行き情報抽出部５４は、画像信号入力部４０から入力画像（１視点分の撮影画像と仮想視点画像とデプス画像のセット若しくは２視点分の撮影画像を取得する（ステップＳ２０１）。そして、奥行き情報抽出部５４はデプス画像若しくは２視点分の撮影画像を処理した結果に基づいて、３Ｄオブジェクトの各部の奥行き情報を抽出する（ステップＳ２０２）。

次に、視差量調整部５５は、奥行き情報抽出部５４が抽出した奥行き情報と領域パラメータ格納部５６から取得した所定の条件とに基づいて、入力画像（１視点分の撮影画像信号と仮想視点画像信号若しくは２視点分の撮影画像）の視差量を調整する（ステップＳ２０３）。例えば、入れ替えた画像とその画像に隣接する画像との繋がりを改善したい場合は、図２９Ｂに示すように、画像の境界近傍の視差量が境界部分以外の視差量より小さくなるように調整する。また、３Ｄオブジェクトの奥行き又は飛び出しを十分に表現したい場合は、図２９Ｃに示すように、メインローブ画像の視差量がメインローブ画像以外の視差量より大きくなるように調整する。また、２重画像が視認される不具合を改善したい場合は、画像の境界近傍の視差量が小さくなるように調整する。例えば、３Ｄクロストークが少ない場合は、図３０Ｂに示すように、画像の境界近傍の視差量が境界部分以外の視差量より小さくなるように調整する。また、３Ｄクロストークが著しい場合は、図３０Ｃに示すように、画像の境界部分の視差量がゼロなるように調整する。

次に、視差画像領域抽出部５２は、視差量調整部５５が調整した１視点分の撮影画像と仮想視点画像とを取得する。また、視差画像領域抽出部５２は、領域パラメータ格納部５６から所定の条件を取得する。そして、視差画像領域抽出部５２は、それらに基づいて視差画像領域を抽出する（ステップＳ２０４）。ここでは、視差画像領域としてメインローブ画像の領域を抽出する。

次に、画像データ入替部５３は、視差画像領域の左眼用画像と右眼用画像との入れ替えを行う（ステップＳ２０５）。例えば、図２９Ａ、図３０Ａに示すように、入力画像の左眼用画像がＬ_Ａ、Ｌ_Ｂ及びＬ_Ｃで構成され、右眼用画像がＲ_Ａ、Ｒ_Ｂ及びＲ_Ｃで構成されている場合、左眼用画像のメインローブ画像Ｒ_Ｂと、右眼用画像のメインローブ画像Ｌ_Ｂとを入れ替える。

そして、画像データ入替部５３は、視差画像領域の左眼用画像と右眼用画像との入れ替えを行った画像データを３Ｄディスプレイ２０に出力し、３Ｄディスプレイ２０はその画像データに基づいて、表示パネル２１に画像を表示する（ステップＳ２０６）。

なお、上記では、左右各々の入力画像が左右及び中央の３つの画像で構成される場合について記載したが、左右各々の入力画像が複数の領域で構成される場合に対しても同様に適用することができる。

このように、デプス画像に基づいて視差量を調整した後、視差画像領域に対応する左眼用画像と右眼用画像とを入れ替えることにより、空中浮遊像を適切に表示することができ、立体表示装置１０の利用価値を高めることができる。

本発明の第３の実施例に係る立体表示装置及び視差画像補正方法について、図３１乃至図３８を参照して説明する。

前記した第１の実施例では、図１０に示すように、レンチキュラレンズ２９を構成するシリンドリカルレンズ２９ａは、その延伸方向と、延伸方向と直交しレンズ効果を有する方向とが、画素の配列するＹ方向ならびにＸ方向に夫々平行になるように配置される。しかしながら、本発明は、シリンドリカルレンズの配列方向が画素の配列に対して回転配置された３Ｄディスプレイ２０を用いることも可能である。以下に詳細を説明する。

図３１は本発明の第３の実施例に係る３Ｄディスプレイ２０の構成の概略図である。図３２は本発明の第３の実施例に係る３Ｄディスプレイ２０の機能説明図である。図３３は本発明の第３の実施例に係る３Ｄディスプレイ２０の機能説明図である。図３１Ａ及びＢに本実施例に用いる３Ｄディスプレイ２０を示す。図３１に示すように、配列されるシリンドリカルレンズ２９ａの延伸方向と、表示パネル２１の画素１２４が配列されるＹ軸方向との間は角度αである。

表示パネル２１は、図３１Ａ及びＢに示すように画素１２４がＸ方向ならびに、Ｙ方向に複数配列し構成される。表示パネル２１は、レンチキュラレンズ２９を構成するシリンドリカルレンズ２９ａの配置に従い、画素１２４の各々を、左眼用画素２４Ｌ、右眼用画素２４Ｒとして機能させることにより、観察者へ立体表示を提供することができる。例えば、図３１Ａの３Ｄディスプレイ２０では図３２に示すように、図３１Ｂの３Ｄディスプレイ２０では図３３に示すように、配置されるシリンドリカルレンズ２９ａの光線分離特性に合わせて、画素１２４を左眼用画素２４Ｌ、右用画素２４Ｒとして機能させる。なお、図３２及び図３３に示す画素１２５は、画素から出る光線がシリンドリカルレンズ２９ａによって、観察者の右眼側及び左眼側の両方向に分けられる画素である。これらの画素１２５は、表示パネル内での総数が等しくなるように左眼用画素２４Ｌ、右眼用画素２４Ｒとして機能させてもよいし、隣接する左眼用画素２４Ｌと右眼用画素２４Ｒの中間輝度を表示する画素として機能させてもよいし、表示させない（黒表示）画素としてもよい。また、図３１から図３３において、画素を単一に図示しているが、説明の便宜上であり、カラー表示のため、複数のサブ画素から画素１２４が構成される表示パネルを用いることも可能である。

図３４は本発明の第３の実施例のサブ画素の構成を示す具体例である。図３４Ａ及びＢに、複数のサブ画素から画素１２４が構成される具体例を示す。図３４Ａは、画素１２４をＸ方向に３分割し、サブ画素１２６、サブ画素１２７、サブ画素１２８を配置した例であり、図３４Ｂは、画素１２４をＹ方向に３分割し、サブ画素１２６、サブ画素１２７、サブ画素１２８を配置した例である。図３４では、Ｘ軸方向に延伸する複数のゲート線Ｇ（Ｇｙ、Ｇｙ＋１・・・）、Ｙ軸方向に延伸する複数のデータ線Ｄ（Ｄｘ、Ｄｘ＋１・・・）が配置され、ゲート線Ｇとデータ線Ｄとで囲まれる領域に画素が形成され、ゲート線Ｇとデータ線Ｄの交点付近に配置されるＴＦＴによってサブ画素が駆動される例を示しているが、Ｘ軸方向にデータ線Ｄが延伸し、Ｙ軸方向にゲート線Ｇが延伸するように配置されても構わない。また、画素１２４を３つのサブ画素で構成したが、さらに複数のサブ画素から画素１２４を構成してもよい。

以上のように、画素１２４が複数のサブ画素から構成されている場合は、図３２及び図３３に示した画素１２５は、配置されるシリンドリカルレンズ２９ａの光線分離特性に合わせて、サブ画素単位で左眼用画素２４Ｌ又は右眼用画素２４Ｒとして機能させればよい。以降、シリンドリカルレンズ２９ａが画素配列に対して回転配置されたときの光学特性について説明するが、説明の便宜上、図３２から画素１２５を省いた図３５を用いる。

図３１Ａの３Ｄディスプレイ２０の画素１２４を、図３５に示すように、左眼用画素２４Ｌ、右眼用画素２４Ｒとして機能させることにより、観察者へ立体表示を提供することができる。例えば図３５のＢ-Ｂ’のＸＺ面断面は、図９と同じ断面図で説明できるため、Ｂ-Ｂ’上の左眼用画素２４Ｌ又は右眼用画素２４Ｒから出射されシリンドリカルレンズで屈折され観察者へ向かう光の光路は、図５によって説明できる。また、Ｂ-Ｂ’とはＹ方向に位置が異なるＡ-Ａ’又はＣ-Ｃ’の断面も図９によって説明できるが、左眼用画素２４Ｌ又は右眼用画素２４Ｒは回転角αに従って配置されているため、左眼用画素２４Ｌ又は右眼用画素２４Ｒの位置は、Ｂ-Ｂ’と比較するとＡ-Ａ’では−Ｘ方向にＣ−Ｃ’では＋Ｘ方向にずれる。このため、図５に示す光路もＹ方向の位置に応じてずれが生じる。したがって、視認される画像へも回転角αの影響が及ぶ。

視認される画像への回転角αの影響については、実施例１と同様に撮影手段を用いて撮影される撮影画像を用いて説明する。

図３６は図３１の構成におけるレンチキュラレンズ２９と撮影手段との間隔と撮影画像との対応関係を示す図である。すなわち、本実施例の３Ｄディスプレイ２０と撮影手段８０を実施例１の図１１と同様に配置したとき、撮影される撮影画像である。図３６に示すように、実施例１で説明した図１３のように、撮影手段８０を３Ｄディスプレイ２０の中心線上に配置し、撮影手段８０とレンチキュラレンズ２９との間隔Ｄを変化させた場合の例であり、実施例１の図１３に対応する撮影画像である。この場合、本実施例における間隔Ｄが最適立体視認距離Ｄｏｐ近傍の撮影画像は、図３６Ａ及びＢに示すように、実施例１と同様、左側に左眼用画素２４Ｌの入力画像と、右側に右眼用画素２４Ｒの入力画像となるが、中央の境界線１２９は、回転角αに応じてＹ軸からβ傾いた撮影画像となる。Ｙ軸に対する境界線の傾き角βは、理想的には回転角αと等しいが、レンチキュラレンズ２９を実装した際の位置が理想とずれると、実装の位置ずれに応じて回転角αからのずれが生じる。

間隔Ｄが徐々に小さくなると、実施例１と同様に、図３６Ｃに示すように、二次光の影響を受けて撮影画像の左側に右眼用画素２４Ｒの入力画像が出現し、右側に左眼用画素２４Ｌの入力画像が出現する。更に、間隔Ｄが小さくなると、図３６Ｄ及びＥに示すように、三次光の影響を受けて、撮影画像の左側に左眼用画素２４Ｌの入力画像が出現し、右側に右眼用画素２４Ｒの入力画像が出現する。すなわち、実施例１の図１４と同様に、撮影手段８０とレンチキュラレンズ２９との間隔Ｄが最適立体視認距離Ｄｏｐに比べて小さくなるほど、二次光又は三次光等の高次光の影響を受けて、撮影画像が左眼用画素２４Ｌの入力画像と右眼用画素２４Ｒの入力画像の繰り返しになる。

また、実施例１で説明した撮影手段８０を３Ｄディスプレイ２０の中心線に対して右側（右眼側）にずらして配置し、撮影手段８０とレンチキュラレンズ２９との間隔Ｄを変化させた場合（図１５）、及び、撮影手段８０を３Ｄディスプレイ２０の中心線に対して左側（左眼側）にずらして配置し、撮影手段８０とレンチキュラレンズ２９との間隔Ｄを変化させた場合（図１８）の撮影画像については、上記と同様に、左眼用画素２４Ｌの入力画像と、右側に右眼用画素２４Ｒの入力画像の境界線１２９が、Ｙ軸から傾き角βとなる以外は同じであるため説明を略す。

次に、図３１Ａに例示した本実施例の３Ｄディスプレイ２０と空間結像素子３０とを組み合わせた場合について説明する。なお、以下では、空間結像素子３０を、２面コーナーリフレクタとなる柱又は孔が平板の主面の法線に対して傾斜するように形成された構成とし、空間結像素子３０の平面が３Ｄディスプレイ２０の表示面に対して平行となるように配置されるものとする。

実施例１と同様、図２１Ｂの左側に示すように、左眼用画素２４Ｌに星形のオブジェクト７１が中央のやや右側に配置された入力画像を表示させ、右眼用画素２４Ｒに、図２１Ｂの右側に示すように、星形のオブジェクト７１が中央のやや左側に配置された入力画像を表示させた場合、空中に星形のオブジェクト７１が飛び出したように視認される飛び出し視差となる。

これに対して、例えば、図３７Ａに示す（実施例１の図２２と同様）ように、Ｄ＝０．５×Ｄｏｐの位置に空間結像素子３０を配置した場合、空間結像素子３０の位置に仮想的に配置した仮想カメラで撮影される画像は、図３７Ｂのようになる。ここで、空間結像素子３０は反射光学系であり、空間結像素子３０から出射される光線は、入射方向と同じ方向になるため、観察者が見る画像は左右が入れ替わる。その結果、観察者が見る画像は図３７Ｃのようになり、実施例１で説明したように、飛び出し視差が奥行き視差になる、いわゆる逆視が生じる。

このように、本実施例の３Ｄディスプレイ２０と空間結像素子３０とを組み合わせた場合も、実施例１と同様に逆視が生じる。

本実施例の立体表示装置１０の構成は、上記３Ｄディスプレイ２０が異なる以外は実施例１と同じである。すなわち、図３１に示す３Ｄディスプレイ２０が図８に配置される。したがって、実施例１と同様に画像処理部５０を設け、画像信号入力部４０から入力される入力画像の逆視が生じる領域を左右反転させる画像処理を行い、画像処理後の画像データを３Ｄディスプレイ２０に出力するようにする。

この画像処理部５０の構成は、実施例１と同じ構成を適用できるため詳細説明を略す。本実施例の視差画像補正方法について、実施例１のフローチャートである図２４及び図３８に示す本発明の第３の実施例に係る立体表示装置１０における視差画像補正方法を説明する模式図を用いて説明する。

まず、視差画像領域抽出部５２は、画像信号入力部４０から入力画像（２視点分の撮影画像若しくは１視点分の撮影画像と仮想視点画像のセット）を取得する（ステップＳ１０１）。ここでは、図３８Ａに示すように、メインローブ画像に逆視が生じているものとする。このとき、３Ｄ正視領域と３Ｄ逆視領域の境界線は、実施例１と異なり、図３４に示した傾き角βに応じて、傾き角γとなる。傾き角γは理想的には傾き角βと等しくなるが、空間結像素子の特性（２面コーナーリフレクタのミラー表面粗さ又はミラー組立精度、反射率など）によっては、立体表示装置の表示像と空中浮遊像の寸法にずれが生じるため、傾き角βからのずれが生じる場合がある。

次に、視差画像領域抽出部５２は、領域パラメータ格納部５６から所定の条件を取得し、所定の条件に基づいて視差画像領域を抽出する（ステップＳ１０２）。ここでは、視差画像領域としてメインローブ画像の領域を抽出する。領域抽出の際に用いる境界線のパラメータとしては、回転角α又は傾き角βを用いることもできるが、立体表示装置に実際用いる３Ｄディスプレイ２０と空間結像素子３０とを組み合わせ、空中浮遊像から実測した傾き角γの適用が好ましい。

次に、画像データ入替部５３は、視差画像領域の左眼用画像と右眼用画像との入れ替えを行う（ステップＳ１０３）。例えば、図３８Ｂに示すように、入力画像の左眼用画像がＬ_Ａ、Ｌ_Ｂ及びＬ_Ｃで構成され、右眼用画像がＲ_Ａ、Ｒ_Ｂ及びＲ_Ｃで構成されている場合、左眼用画像のメインローブ画像ＲＢと、右眼用画像のメインローブ画像ＬＢとを入れ替える。

そして、画像データ入替部５３は、視差画像領域の左眼用画像と右眼用画像との入れ替えを行った画像データを３Ｄディスプレイ２０に出力し、３Ｄディスプレイ２０はその画像データに基づいて、表示パネル２１に画像を表示する（ステップＳ１０４）。ここでは、逆視が生じるメインローブの左眼用画像と右眼用画像とが入れ替えられているため、図３８Ｃに示すように、観察者は全ての領域が３Ｄ正視領域となった空中浮遊像を視認することができる。

なお、上記では、左右各々の入力画像が左右及び中央の３つの画像で構成される場合について記載したが、実施例１で図２６を用いて説明したように、左右各々の入力画像が複数の領域で構成される場合に対しても同様に適用することができる。

また、本実施例の立体表示装置へ、実施例２の画像処理部の適応も可能であり、実施例２で説明した視差画像補正方法を適用することも可能である。

さらに、第１及び第２の実施例と同様に、ＥＶＳ角度及び空間結像素子３０と観察者との距離は、観察者の位置に伴って変化するため、立体表示装置１０にカメラを設置し、画像処理部５０が、適宜カメラから観察者を撮影した画像を取得し、撮影画像から特徴点を抽出して両眼の位置を検出し、両眼の位置及び間隔などに基づいて、ＥＶＳ角度及び空間結像素子３０と観察者との距離を特定して領域パラメータ格納部５６に格納すればよい。また、所定の条件として、表示パネル２１の特性又はレンチキュラレンズ２９の特性などの他の条件を利用することができる。また、空間結像素子３０の特性に関する所定の条件として、空間結像素子３０を構成する２面コーナーリフレクタのミラー表面粗さ、ミラー組立精度又は反射率などを利用することもできる。

このように、入力画像から逆視が生じる視差画像領域を抽出し、その視差画像領域に対応する左眼用画像と右眼用画像とを入れ替えることにより、空中浮遊像に３Ｄ正視領域と３Ｄ逆視領域とが交互に出現するという問題を回避することができる。

なお、本実施例に用いる表示パネル２１は、液晶表示素子、有機ＥＬ（Electro Luminescence）素子、量子ドット素子又はフィールドエミッション素子など、様々な表示素子を用いることができる。また、表示パネル２１の駆動方法は、ＴＦＴ等を用いたアクティブマトリクス方式に限らず、パッシブマトリクス方式でもよい。

本発明の第４の実施例に係る立体表示装置及び視差画像補正方法について、図３９乃至図４４を参照して説明する。

図３９は、本実施例の立体表示装置１３０の構成を示す斜視図である。図４０は観察者の移動に応じたＰｘの値を説明する図である。図４１は観察者の移動に応じて観察する視認画像と逆視領域を示す図である。図４２は本発明の第４の実施例に係る立体表示装置における画像処理部、視点位置検出部の構成例を示すブロック図である。

図３９に示すように、本実施例の立体表示装置１３０は、３Ｄディスプレイ２０と空間結像素子３０と画像信号入力部１４０と画像処理部１５０と、空間結像素子３０と観察者との位置関係を検出するための手段である視点位置検出部１６０から構成される。

３Ｄディスプレイ２０は、第１及び第３の実施例で説明したものを用いることができ、詳細説明は略す。また、以降、説明の便宜上、本実施例に実施例１の３Ｄディスプレイ２０を用いた例で説明する。

図３９に空中浮遊像からの法線を示し、観察者が空中浮遊像を好適に立体視できる法線上の距離をＬｐとする。また、Ｘ軸と平行な軸上における観察者の左眼位置６０と右眼位置６１との中点をＰｘとする。次に、図３９に示す空中浮遊像と観察者を真上から観察した図４０を用い、観察者が空中浮遊像との距離Ｌｐを保ちながら移動した場合のＰｘの値について説明する。図４０Ｂに示すように、観察者が空中浮遊像に対して中心位置にいるときのＰｘの値を０とし、図４０Ａのように、観察者が左に移動した場合のＰｘの値を負とし、図４０Ｃのように、観察者が右に移動した場合のＰｘの値を正とする。このＰｘを用いて、観察位置ＶＰｘを以下の式で定義する。

ＶＰｘ＝Ｐｘ/Ｌｐ ・・・・・式（１）

次に、観察者がＸ軸と平行な軸上を移動する場合の視認画像について説明する。図４１は、３Ｄディスプレイ２０の右眼用画素と左眼用画素に異なる入力画像を入れたとき、観察者が図３９に示すＸ軸との平行移動に応じて観察する視認画像と、逆視領域を示す図である。ここで、観察位置の値には、式（１）で算出されるＶＰｘの値を用いる。

例えば、ＶＰｘ＝０のとき、左眼の視認画像は、実施例１で図２５Ｂによって説明したものと同じであり、中央部には、逆視が生じるメインローブの右眼用画像が視認され、その左右両端にはサイドローブの左眼用画像が視認される。また、ＶＰｘ＝０のとき、右眼の視認画像は、中央部には、逆視が生じるメインローブの左眼用画像が視認され、その左右両端にはサイドローブの右眼用画像が視認される。

観察者が右方向へ移動すると、逆視が生じるメインローブ画像も右方向へ移動し、両端のサイドローブ画像も右へ移動する。このとき、実施例１の図１７及び図２０に示すように、メインローブの画像（一次光による画像）とサイドローブの画像（高次光による画像）は、Ｘ方向に繰り返して出現するため、メインローブ画像に対して左側のサイドローブ画像のさらに左側に再びメインローブ画像が出現する。具体的には、ＶＰｘ＝＋０．０２２において、左眼の視認画像は、左端から順に、メインローブの右眼用画像、サイドローブの左眼用画像、メインローブの右眼用画像、サイドローブの左眼用画となり、右眼の視認画像は、左端から順に、メインローブの左眼用画像、サイドローブの右眼用画像、メインローブの左眼用画像、サイドローブの右眼用画となる。このため、ＶＰｘ＝＋０．０２２において、逆視領域はＶＰｘ＝０の逆視領域が右側に移動した領域に加え、左端にも出現する。つまり、観察者が観察位置を変えると、図４１に示すように視認画像が変化するため、逆視領域も変化する。

このように、観察者の位置に応じて、逆視が生じる位置が変化することから、本実施例の立体表示装置１３０では、視点位置検出部１６０をさらに設けることで、観察者の位置に応じた逆視領域を求め、画像信号入力部４０から入力される入力画像に対して、その求めた逆視領域に対して左右反転させる（逆視が生じる領域の左眼用画像と右眼用画像とを入れ替える）画像処理を行い、画像処理後の画像データを３Ｄディスプレイ２０に出力するようにする。

この視点位置検出部１６０は、図４２に示すように、観察者撮影部１６１と、両眼位置検出部１６２とで構成される。また、画像処理部１５０は、図４２に示すように、視差画像補正部５１、領域パラメータ格納部１６４及び相対位置算出部１６３から構成される。

観察者撮影部１６１は、視点位置検出部１６０から観察者の両眼までの三次元座標を測定するために、観察者の画像を撮影する手段であり、可視光カメラ、可視光カメラと赤外線カメラの組合せ又は複数のカメラを用いることができる。

両眼位置検出部１６２は、観察者撮影部１６１で取得された画像データを基に観察者両眼の三次元座標を算出する。算出方法は観察者撮影部１６１によって異なり、例えば、可視光カメラ１台のみの場合は、撮影画像内の顔の特徴点から両眼位置を算出し、顔の大きさによって距離を算出する。可視光カメラと赤外線カメラの組合せの場合は、可視光カメラ撮影画像内の顔の特徴点から両眼位置を算出し、パターン発光させた赤外光の撮影画像から距離を算出、または、投光した赤外線が戻る時間を計測する方式（TOF方式：Time Of Flight 光の飛行時間）によって距離を算出する。複数のカメラを用いる場合は、撮影画像内の顔の特徴点から両眼位置を算出し、三角法によって距離を算出する。

上記のようにして、算出された視点位置検出部１６０から観察者両眼までの測定値が、相対位置算出部１６３へ入力される。相対位置算出部１６３では、取得した測定値と、立体表示装置１３０の視点位置検出部１６０の設置位置等の設計パラメータとを基に、空中浮遊像と観察者の位置関係（図３９に示す距離Ｌｐ、及び両眼中心位置Ｐｘ）を算出し、算出結果を領域パラメータ格納部に出力する。出力された空中浮遊像と観察者の位置関係が、領域パラメータ格納部１６４に格納される。

本実施例の視差画像補正部５１は、実施例１と同じであり、視差画像領域抽出部５２と画像データ入替部５３とで構成される。

視差画像補正部５１の視差画像領域抽出部５２は、画像信号入力部４０から２視点分の撮影画像若しくは１視点分の撮影画像と仮想視点画像のセットを取得し、領域パラメータ格納部１６４から、空中浮遊像と観察者の位置関係（図３７に示す距離Ｌｐ、及び両眼中心位置Ｐｘ）、３Ｄディスプレイ２０と空間結像素子３０の距離、空間結像素子３０のアスペクト比などの所定の条件を読み出し、所定の条件の内の少なくとも１つの条件に基づいて、逆視が生じる領域（視差画像領域）を抽出する。例えば、図４１に示すように、観察位置に応じた逆視領域を抽出する。

なお、観察者の位置に伴って変化するＥＶＳ角度及び空間結像素子３０と観察者との距離は、視点位置検出部１６０と相対位置算出部１６３によって算出された空中浮遊像と観察者の位置関係により算出することができる。これらの観察者位置に対する変化率を領域パラメータ格納部１６４に格納しておけばよい。また、所定の条件として、表示パネル２１の特性又はレンチキュラレンズ２９の特性などの他の条件を利用することができる。また、空間結像素子３０の特性に関する所定の条件として、空間結像素子３０を構成する２面コーナーリフレクタのミラー表面粗さ、ミラー組立精度又は反射率などを利用することもできる。

画像データ入替部５３は、入力画像から視差画像領域抽出部５２が抽出した視差画像領域に対応する左眼用画像と右眼用画像とを特定し、それらを入れ替えた画像データを生成し、生成した画像データを３Ｄディスプレイ２０に出力する。例えば、図４１に示す左眼用入力画像の逆視領域画像と、右眼用入力画像の逆視領域画像を特定し、それらを入れ替えた画像データを生成し３Ｄディスプレイ２０に出力する。

以上で説明した本実施例の構成以外は、実施例１と同じ構成であるため詳細説明は省略する。

図４３は本発明の第４の実施例に係る立体表示装置１０における視差画像補正方法を示すフローチャート図である。図３９及び図４２に示す視点位置検出部１６０、及び画像処理部１５０を用いた視差画像補正方法について、図４３のフローチャート図を用いて以下に説明する。

まず、画像処理部１５０は、画像信号処理部４０から入力画像（２視点分の撮影画像若しくは１視点分の撮影画像と仮想視点画像のセット）を取得する（ステップＳ４０１）。次に視点位置検出部１６０では、観察者撮影部１６１で撮影された画像から、両眼位置検出部１６２において、観察者両眼位置を検出する（ステップＳ４０２）。画像処理部１５０では、視点位置検出部１６０で検出された両眼位置に基づき、相対位置算出部１６３において、空中浮遊像と観察者の位置関係（距離Ｌｐ、両眼中心位置Ｐｘ）が算出され、領域パラメータ格納部１６４に出力される（ステップＳ４０３）。なお、観察者が撮影範囲にいないため空中浮遊像と観察者の位置関係を算出できない場合には、以前に算出された位置関係、あるいは、理想的な位置関係を領域パラメータ格納部１６４に出力すればよい。

次に、視差画像領域抽出部５２は、領域パラメータ格納部１６４から観察者の位置関係を含む所定の条件を取得し、これらに基づいて視差画像領域を抽出する（ステップＳ４０４）。ここでは、視差画像領域として、図４１に例示するように観察者の位置によって変化する逆視領域を抽出する。次にステップＳ４０１で取得した入力画像について、抽出された逆視領域の左眼用画像と右眼用画像との入れ替えを行う（ステップＳ４０５）。例えば、図４１に示す左眼用入力画像の逆視領域画像と右眼画像入力画像の逆視領域画像とを入れ替える。

そして、画像データ入替部５３は、視差画像領域の左眼用画像と右眼用画像との入れ替えを行った画像データを３Ｄディスプレイ２０に出力し、３Ｄディスプレイ２０はその画像データに基づいて、表示パネル２１に画像を表示する（ステップＳ４０６）。ここで、逆視が生じる左眼用画像と右眼用画像とが入れ替えられているため、観察者は全ての領域が３Ｄ正視領域となった空中浮遊像を視認することができる。

なお、上記では、図４１の例を用い、ＶＰｘ＝０において左右各々の入力画像が左右及び中央の３つの画像で構成される場合を示したが、実施例１で説明したように、左右各々の入力画像が複数の領域で構成される場合に対しても同様に適用することができる。

このように、観察者の位置を検出し、観察者の位置に応じて入力画像から逆視が生じる視差画像領域を抽出し、その視差画像領域に対応する左眼用画像と右眼用画像とを入れ替えることにより、観察者が移動した場合でも、空中浮遊像に３Ｄ正視領域と３Ｄ逆視領域とが交互に出現するという問題を回避することができる。

なお、本実施例の立体表示装置に実施例１の３Ｄディスプレイ２０を用いて説明したが、実施例３の３Ｄディスプレイ２０を用いることも可能である。実施例３の３Ｄディスプレイ２０を用いる場合は、逆視領域の形成する境界線を３Ｄディスプレイ２０の特性に合わせた傾きとすればよい。

また、本実施例で説明した観察者の位置を検出し、観察者の位置に応じて入力画像から逆視が生じる視差画像領域を抽出する処理を実施例２に適用することも可能である。この場合のフローチャートを図４４に示す。

なお、本発明は上記各実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成又は制御は適宜変更可能である。

本発明は、３Ｄ画像を空中に結像した空中浮遊像を生成する立体表示装置及び当該立体表示装置における視差画像補正方法並びに視差画像補正プログラム並びに当該視差画像補正プログラムを記録した記録媒体に利用可能である。

１０ 立体表示装置
２０ ３Ｄディスプレイ
２０ａ 中心
２１ 表示パネル
２２ バックライト
２３ 第１光学フィルム
２４ ＴＦＴ基板
２４Ｒ 右眼用画素
２４Ｌ 左眼用画素
２５ 液晶層
２６ 対向基板
２７ 第２光学フィルム
２８ 接着層
２９ 光学手段（レンチキュラレンズ）
２９ａ、２９Ｌ、２９Ｃ、２９Ｒ シリンドリカルレンズ
３０ 空間結像素子
４０ 画像信号入力部
５０ 画像処理部
５１ 視差画像補正部
５２ 視差画像領域抽出部
５３ 画像データ入替部
５４ 奥行き情報抽出部
５５ 視差量調整部
５６ 領域パラメータ格納部
６０ 左眼の位置
６１ 右眼の位置
６２ 左眼用画像領域
６３ 右眼用画像領域
７１ オブジェクト
８０ 撮影手段
８１ 撮影中心
９０ ３次元空中映像表示装置
９１ 実鏡映像結像光学系（２面コーナーリフレクタアレイ）
９１ａ ２面コーナーリフレクタ
９２ 被投影物
９３ 体積走査型３次元空中映像ディスプレイ装置
９４ ２次元ディスプレイ
９５ 駆動手段
１２４、１２５ 画素
１２６、１２７、１２８ サブ画素
１２９ 境界線
１３０ 立体表示装置
１４０ 画像信号入力部
１５０ 画像処理部
１６０ 視点位置検出部
１６１ 観察者撮影部
１６２ 両眼位置検出部
１６３ 相対位置算出部
１６４ 領域パラメータ格納部

Claims (18)

1. ２視点分の入力画像に基づいて、第１の方向に並んだ観察者の左眼と右眼とに異なる画像を投影する裸眼立体ディスプレイと、
   物体からの光を、互いに直交する第１の反射面及び第２の反射面で反射させる光反射素子を複数有する平板状の空間結像素子とを備え、
   前記空間結像素子が、前記裸眼立体ディスプレイから出射され、入射面に入射した光を、出射面から観察者側に出射する立体表示装置であって、
   前記裸眼立体ディスプレイは、表示面の中心を通る法線近傍の正面の立体視域であるメインローブと、前記メインローブの前記第１の方向の外側の立体視域であるサイドローブとを有し、
   一方の入力画像を投影した画像の中に、他方の入力画像を投影した画像が混在する場合に、前記２視点分の入力画像の奥行き視差と飛び出し視差とが逆転する逆視領域に対応する部分を入れ替えて、前記裸眼立体ディスプレイに出力する画像処理部を備える
   ことを特徴とする立体表示装置。
2. 前記観察者の視点位置を検出する視点位置検出部を備え、
   前記画像処理部は、一方の入力画像を投影した画像の中に他方の入力画像を投影した画像が混在する場合に、前記視点位置検出部で検出された観察者の位置に応じて、前記逆視領域に対応する部分を入れ替えて、前記裸眼立体ディスプレイに出力する
   ことを特徴とする請求項１に記載の立体表示装置。
3. 前記視点位置検出部は、
   前記観察者を撮影する観察者撮影部と、
   撮影した画像から両眼位置を検出する両眼位置検出部とを備え、
   該両眼位置検出部で検出した両眼の位置に基づいて前記空間結像素子と前記観察者との位置関係を特定する相対位置算出部を備え、
   前記画像処理部は、一方の入力画像を投影した画像の中に他方の入力画像を投影した画像が混在する場合に、特定した位置関係に応じて、前記逆視領域に対応する部分を入れ替えて、前記裸眼立体ディスプレイに出力する
   ことを特徴とする請求項２に記載の立体表示装置。
4. 前記画像処理部は、
   所定の条件に基づいて、前記逆視領域を抽出する視差画像領域抽出部と、
   前記逆視領域に対応する部分の画像を入れ替える画像データ入替部とを備える、
   ことを特徴とする請求項１から請求項３のいずれか一に記載の立体表示装置。
5. 前記逆視領域の境界線は、前記裸眼立体ディスプレイが備える画素の配列方向に対して角度を有する
   ことを特徴とする請求項４に記載の立体表示装置。
6. 前記画像処理部は、
   前記２視点分の入力画像に基づいて、表示対象物の各部の奥行き情報を抽出する奥行き情報抽出部と、
   前記所定の条件に基づいて、前記２視点分の入力画像の視差量を調整する視差量調整部と、を更に備える
   ことを特徴とする請求項４、又は、請求項５に記載の立体表示装置。
7. 前記視差量調整部は、前記逆視領域に対応する部分の画像と当該画像に隣接する画像との境界近傍の視差量を該境界近傍以外の視差量より小さくする、
   ことを特徴とする請求項６に記載の立体表示装置。
8. 前記視差量調整部は、前記逆視領域に対応する部分の画像の視差量を前記逆視領域に対応する部分以外の画像の視差量より大きくする、
   ことを特徴とする請求項６に記載の立体表示装置。
9. 前記所定の条件は、前記観察者の視線方向と前記空間結像素子の法線方向とがなす角度、前記裸眼立体ディスプレイと前記空間結像素子との距離、前記空間結像素子と前記観察者との距離又は前記空間結像素子の光学特性の少なくとも１つを含む、
   ことを特徴とする請求項４乃至８のいずれか一に記載の立体表示装置。
10. ２視点分の入力画像に基づいて、第１の方向に並んだ観察者の左眼と右眼とに異なる画像を投影する裸眼立体ディスプレイと、
    物体からの光を、互いに直交する第１の反射面及び第２の反射面で反射させる光反射素子を複数有する平板状の空間結像素子と、を備え、
    前記裸眼立体ディスプレイは、表示面の中心を通る法線近傍の正面の立体視域であるメインローブと、前記メインローブの前記第１の方向の外側の立体視域であるサイドローブと、を有し、
    前記空間結像素子が、前記裸眼立体ディスプレイから出射され、入射面に入射した光を、出射面から観察者側に出射する立体表示装置における視差画像補正方法であって、
    前記立体表示装置は、
    一方の入力画像を投影した画像の中に、他方の入力画像を投影した画像が混在する場合に、奥行き視差と飛び出し視差とが逆転する逆視領域が存在するかを判断し、前記逆視領域が存在する場合に、前記２視点分の入力画像の、前記逆視領域に対応する部分を入れ替えて、前記裸眼立体ディスプレイに出力する
    処理を実行することを特徴とする視差画像補正方法。
11. 前記立体表示装置は、
    前記観察者の視点位置を検出し、
    一方の入力画像を投影した画像の中に他方の入力画像を投影した画像が混在する場合に、検出された観察者の視点位置に応じて、前記逆視領域が存在するか否かを判断し、前記逆視領域が存在する場合に、検出された観察者の視点位置に応じて前記逆視領域を特定し、
    特定した逆視領域に対応する部分を入れ替えて、前記裸眼立体ディスプレイに出力する
    処理を実行することを特徴とする請求項１０に記載の視差画像補正方法。
12. 前記立体表示装置は、
    前記観察者を撮影し、
    撮影した画像から両眼位置を検出し、
    検出した両眼の位置に基づいて前記空間結像素子と前記観察者との位置関係を特定し、
    一方の入力画像を投影した画像の中に他方の入力画像を投影した画像が混在する場合に、特定した位置関係に応じて、前記逆視領域に対応する部分を入れ替えて、前記裸眼立体ディスプレイに出力する
    処理を実行することを特徴とする請求項１１に記載の視差画像補正方法。
13. 前記立体表示装置は、
    所定の条件に基づいて、前記逆視領域を抽出し、
    前記２視点分の入力画像の内の、前記逆視領域に対応する部分の画像を入れ替える
    処理を実行する
    ことを特徴とする請求項１０から請求項１２のいずれか一に記載の視差画像補正方法。
14. 前記逆視領域の境界線は、前記裸眼立体ディスプレイが備える画素の配列方向に対して角度を有する
    ことを特徴とする請求項１３に記載の視差画像補正方法。
15. 前記立体表示装置は、
    前記逆視領域を抽出する前に、
    前記２視点分の入力画像に基づいて、表示対象物の各部の奥行き情報を抽出し、
    前記所定の条件に基づいて、前記２視点分の入力画像の視差量を調整する
    処理を実行することを特徴とする請求項１３、又は、請求項１４に記載の視差画像補正方法。
16. 前記逆視領域に対応する部分の画像と当該画像に隣接する画像との境界近傍の視差量を該境界近傍以外の視差量より小さくする
    処理を実行することを特徴とする請求項１５に記載の視差画像補正方法。
17. 前記逆視領域に対応する部分の画像の視差量を前記逆視領域に対応する部分以外の画像の視差量より大きくする
    処理を実行することを特徴とする請求項１５に記載の視差画像補正方法。
18. 前記所定の条件は、前記観察者の視線方向と前記空間結像素子の法線方向とがなす角度、前記裸眼立体ディスプレイと前記空間結像素子との距離、前記空間結像素子と前記観察者との距離又は前記空間結像素子の光学特性の少なくとも１つを含む
    ことを特徴とする請求項１３乃至１７のいずれか一に記載の視差画像補正方法。

Images