JP2007097155A - 三次元画像表示用要素画像アレイの作成方法、作成装置、および作成プログラム - Google Patents

Abstract

【課題】任意の位置に二次元画像を表示することが可能で、表示された画像のアスペクト比を維持し、かつ補間効果を最大に発揮するための要素画像アレイを作成することを可能にする。
【解決手段】二次元画像の解像度を三次元画像表示装置と同一または同程度の解像度に変換するステップと、解像度変換後の二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得るステップと、多視点画像を、射出瞳と投影方向との相対位置関係に応じて並び替えるステップと、を備えている。
【選択図】図１

Description

本発明は、三次元画像表示用要素画像アレイの作成方法、作成装置、および作成プログラムに関する。

観察者に対峙しておかれた二次元画像を観察者が水平方向に移動することにより認識される視差情報は二次元画像の左右の移動だけである。注視点より手前にあれば、観察者とは逆に、注視点より奥にあれば観察者と同じ方向に移動する。よって、水平パララックス方式三次元画像表示装置に二次元画像を表示する場合、二次元画像そのもの（以後、元画像と呼ぶ）を水平シフトしたものを各視点画像として用いることができる（例えば、特許文献１参照）。水平シフト量を調整することにより、三次元画像表示装置における飛び出しまたは奥行き表示位置を変えることが可能である。

また、射出瞳越しに観察される画素を複数画素にする（以後、クロストークと呼ぶ）設計を採用することにより、三次元画像表示装置の解像度以上の二次元画像を表示する方法が提案されている。このとき、レンズ越しに観察される複数の画素が担う情報が視差情報であるとともに、隣接するレンズ同士の間を補間する画像情報であるという関係が満たされている（以後、補間効果と呼ぶ）。この補間効果を発現するためには、表示する二次元画像の表示位置を三次元画像表示装置の表面より少しだけずらして表示する必要がある。より具体的には、光線制御素子として複数のシリンドカルレンズ（射出瞳）からなるレンズアレイを用いた場合、レンズアレイと二次元画像表示用画素との距離がシリンドカルレンズの焦点距離より短い場合に、シリンドカルレンズ越しに観察される複数の視差情報はそのまま順方向で観察される（虚像）。すなわち、要素画像アレイの視差情報の並びが二次元画像の並びと同じ方向に並ぶ、奥行き位置に二次元画像を表示することによって、シリンドカルレンズ越しに観察された複数の視差情報がシリンドカルレンズ間の情報を補間する関係を満たす（特許文献２参照）。
特開平１１−９８５２９号公報 特開２００５−０９１６２３号公報

二次元画像情報の水平移動のみで要素画像アレイを作成しようとした場合、元画像の解像度と三次元画像表示装置の解像度が等しいかまたは近い場合に、その表示位置が離散的になるという問題があった。元画像の解像度が三次元画像表示装置の解像度に比較して十分高い場合にはこのような問題は生じないが、レンダリング効率を考えると、元画像の解像度は必要最低限、すなわち三次元画像表示装置と同等である場合が多く、二次元画像情報の水平移動をピクセル単位でしか実施できないとなると、表示可能な奥行き位置が著しく制限される。画像レンダリングの負荷低減を目的としたスプライト処理が知られているが、フレームごとに複数視点を必要とする三次元画像表示にとってはスプライト表示の有効性は高い。しかしながら、奥行き位置が離散的にしか取れないとなると、連続的に奥行き位置を変えるようなアニメーションを実現できない。

さらなる問題点として、前述のような二次元画像の左右シフトによって要素画像アレイを作成した場合に、垂直方向については視差情報がないことから、二次元画像を手前に表示するに従って幅が広がり、奥に表示するに従って幅が狭くなる、という水平方向の正しい挙動に対して、高さが普遍であることから、二次元画像のアスペクト比が歪むという問題があることが判明した。すなわち、手前に表示した二次元画像は水平方向に伸びた画像、奥に表示した二次元画像は垂直方向に伸びた画像になってしまい、違和感が生じる。

最後に、補間効果を実現する要素画像アレイを作成するにあたり、前述した最も効果的に補間効果が得られる奥行き表示位置が不明確であり、奥行き方向の表示位置を変えた複数の要素画像アレイを目視で観察し、最適な奥行きまたは飛び出し表示位置を求めるという作業を行って、奥行き位置を変えた要素画像アレイを用意しようとしても離散的な値しかとれず、最適位置かどうかの確認が不明瞭であった。

本発明は、上記事情を考慮してなされたものであって、任意の位置に二次元画像を表示することが可能で、表示された画像のアスペクト比を維持し、かつ補間効果を最大に発揮するための要素画像アレイを作成することのできる、水平パララックス方式三次元画像表示装置における三次元画像表示用要素画像アレイの作成方法、作成装置、および作成プログラムを提供することを目的とする。

本発明の第１の態様による三次元画像表示用要素画像アレイの作成方法は、二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成方法であって、
二次元画像の水平解像度を操作するステップと、
解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得るステップと、
前記多視点画像を、前記射出瞳と前記投影方向との相対位置関係に応じて並び替えるステップと、
を備えたことを特徴とする。

また、本発明の第２の態様よる三次元画像表示用要素画像アレイの作成装置は、二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成装置であって、
二次元画像の水平解像度を操作する水平解像度変更部を有する画像処理部と、
解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得る多視点画像生成処理部と、
前記多視点画像を、前記射出瞳と前記投影方向との相対位置関係に応じて並び替える並び替え処理部と、
を備えたことを特徴とする。

また、本発明の第３の態様による三次元画像表示用要素画像アレイの作成プログラムは、二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成プログラムであって、
二次元画像の水平解像度を操作する手順と、
解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得る手順と、
前記多視点画像を、射出瞳と投影方向との相対位置関係に応じて並び替える手順と、
をコンピュータに実行させる。

以上述べたように、本発明の各実施形態によれば、三次元画像表示装置において、元画像である二次元画像の伸縮と並び替えのみで、略任意の位置に二次元画像を表示することが可能で、また、表示された画像のアスペクト比が維持させ、かつ、補間効果を最大に発揮するための要素画像アレイを作成することが可能である。

また、これとは別に，レンズアレイと二次元画像表示用画素との距離がレンズの焦点距離より長い場合は、シリンドカルレンズ越しに観察される複数の視差情報は反転して観察されるが，これを利用する補完効果も可能なことが新たに判明した。すなわち、要素画像アレイの視差情報の並びが二次元画像の並びに対して反転している飛び出し位置に二次元画像を表示することによって、シリンドカルレンズ越しに観察された複数の視差情報がシリンドカルレンズ間の情報を補間する関係を満たすことができる。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、各図において、同様または類似する機能を有する構成要素には同一の参照符号を付し、重複する説明は省略する。

（第１実施形態）
本発明の第１実施形態による三次元画像表示用要素画像アレイの作成方法を図１乃至図４を参照して説明する。

まず、本実施形態の三次元画像表示用要素画像アレイの作成方法の原理を図２乃至図４を参照して説明する。

本実施形態の作成方法は、水平パララックス方式の三次元画像表示装置に用いられる。この水平パララックス方式の三次元画像表示装置の水平断面を図２に示す。この水平パララックス方式の三次元画像表示装置１は、例えば液晶パネルからなる二次元画像表示装置２と、複数の射出瞳を備えた、例えばレンチキュラーシートからなる光線制御素子３とを備えている。二次元画像表示装置２は、二次元的に複数の画素が配列され、これらの画素に表示された画像情報が光線制御素子３によって観察される領域を画素ごとに異なるようにされる。射出瞳一つに対応して水平方向に複数の画素が対応させられており、この画素群を要素画像の表示用画素とした場合に、要素画像の各表示用画素が射出瞳３を経由して観察される方向に応じた画像情報を要素画像の各表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる。

図２に示すように、レンチキュラーシート２のある射出瞳３_０の真後ろにある画素を２_Ａ、その左隣の画素を２_Ｂ、画素２_Ａに対峙した射出瞳３_０に対応する三次元画像表示画素（以下、３Ｄ画素ともいう）を３Ｄ_０、右隣の射出瞳３_１に対応した３Ｄ画素を３Ｄ_＋１、左隣の射出瞳３_−１に対応した３Ｄ画素を３Ｄ_−１とする。すると、図２からわかるように、画素２_Ａと画素２_Ｂに表示する画像情報の関係によって、二次元画像の表示位置が定まる。すなわち、画素２_Ｂに画素２_Ａと同一の、３Ｄ画素３Ｄ_０の情報を表示すると、二次元画像は位置４＿０に表示される。位置４＿０は、レンチキュラーシート２の表面位置となる。画素２_Ｂに３Ｄ画素３Ｄ_＋１の情報を表示すると、二次元画像は位置４＿４／４に表示される。この位置４＿４／４は、レンチキュラーシート２の表面から前側（２次元画像表示装置２と反対側）にｈ（＝ｇ×Ｐｅ／Ｐｐ）の距離にある。ここで、Ｐｅは射出瞳のピッチ、Ｐｐは二次元画像表示装置の画素のピッチを示す。

したがって、三次元画像表示装置１と同じ解像度の二次元画像（元画像）を用いる場合、二次元画像の表示位置はｈの整数倍に限られる。ところが、図２からわかるように、元画像の解像度をｎ倍、例えば４倍に上げることにより、表示位置をｈ／４まで細かくすることができる。例えば、３Ｄ画素３Ｄ_＋１の画像情報と、３Ｄ画素３Ｄ_０の画像情報との変移量（＝（３Ｄ画素３Ｄ_＋１の画像情報−３Ｄ画素３Ｄ_０の画像情報）の１／４を３Ｄ画素３Ｄ_０の画像情報に加えた画像情報を画素２_Ｂに表示したら、二次元画像を位置４＿１／４に表示することができる（図２参照）。ここで、位置４＿１／４は、レンチキュラーシート２の表面から前側にｈ／４の距離にある。

以下同様に、上記変移量の２／４を３Ｄ画素３Ｄ_０の画像情報に加えた画像情報を画素２_Ｂに表示したら位置４＿２／４に表示することが可能で、上記変移量の３／４を３Ｄ画素３Ｄ_０の画像情報に加えた画像情報を画素２_Ｂに表示したら位置４＿３／４に表示することが可能である。ここで、位置４＿２／４は、レンチキュラーシート２の表面から前側に２ｈ／４の距離にあり、位置４＿３／４は、レンチキュラーシート２の表面から前側に３ｈ／４の距離にある。

また、上記変移量の−１／４を３Ｄ画素３Ｄ_０の画像情報に加えた画像情報を画素２_Ｂに表示したら位置４＿−１／４に表示することが可能で、上記変移量の−２／４を３Ｄ画素３Ｄ_０の画像情報に加えた画像情報を画素２_Ｂに表示したら位置４＿−２／４に表示することが可能である。ここで、位置４＿−１／４は、レンチキュラーシート２の表面から奥側（二次元画像表示装置と同じ側）にｈ／４の距離にあり、位置４＿−２／４は、レンチキュラーシート２の表面から奥側に２ｈ／４の距離にある。したがって、奥側の表示位置もより細かく変えることができる。

以上説明したことからわかるように、ｍを自然数、ｎを０と異なる整数としたとき、
ｘ：ｇ ＝ ｍ／ｎ×Ｐｅ：Ｐｐ ・・・（１）
を満たすように、元画像をｎ倍、ｍピクセルずつ切り出し位置を変えて各視点画像を作成、要素画像アレイを作成することで、位置ｘに二次元画像を表示することができる。

次に、表示位置に応じた縦方向の伸縮について図３（ａ）、（ｂ）を参照して説明する。図３（ａ）は飛び出し位置に表示した二次元画像の例を示す斜視図、図３（ｂ）は、上記二次元画像の水平断面図である。視距離Ｌ、レンチキュラーシート２の表面からの表示位置をｘとした場合に、視点に位置する観察者は透視投影的に観察するので、表示位置ｘに表示された二次元画像は、表示位置が手前にきたぶん、水平方向が拡大されて認識される。しかしながら、垂直方向については二次元画像の大きさは変化しない。すなわち、手前に表示された二次元画像は水平方向に伸びて表示され、そのアスペクト比の１からのずれは飛び出し量が大きくなるほど大きくなる。アスペクト比を横／縦とすると、表示位置ｘに表示された二次元画像のアスペクト比は１より大きくなる。例えば、図３（ｂ）に示すように、ディスプレイ面上の表示領域の半幅をＷ／２、視距離をＬとすると、飛び出し位置の二次元画像の表示領域の半幅はＷ／２×（Ｌ−ｘ）／Ｌとなり、ここに表示される二次元画像のアスペクト比は１より大きくなる。

奥側についても同様で、奥の表示位置ｘ’に表示された二次元画像は水平方向のみが縮んで表示され、そのアスペクト比の１からのずれは、奥行き方向に遠ざかるにつれて拡大し、１より小さくなる。例えば、図３（ｂ）に示すように、奥行き表示位置の二次元画像表示領域の半幅はＷ／２×（Ｌ＋ｘ’）／Ｌであることから,ここに表示される二次元画像のアスペクト比は１より小さくなる。このように、拡大縮小は図３（ｂ）からわかるように、元画像のオリジナルの高さをＨ、各視点画像に望まれる高さをＨ’とすると、
Ｈ’＝ Ｈ×Ｌ／（Ｌ−ｘ） ・・・（２）
を満たすように伸縮することにより、アスペクト比を維持することができる。

最後に、補間効果を得るための要素画像アレイの作成方法について述べる。図４（ａ）、（ｂ）にクロストーク量ｃが２ピクセルの場合の、射出瞳越しの画素の見え方を示した。図４（ａ）は観察者がある射出瞳３_１の正面にいて水平解像度が２倍のときの射出瞳越しの画素の見え方を示す図であり、図４（ｂ）は観察者が左に移動したときの射出瞳越しの画素の見え方を示す図である。

図４（ａ）に示すように、ある射出瞳３_１（＝３Ｄ画素）の中心に見える画像情報をＩ_ｎ、隣接した射出瞳３_２の中心に見える画像情報をＩ_ｎ＋２とした場合に、その間に見える画素に表示されるべき画像はＩ_ｎ＋１であることが望まれる。このとき、観察者が左に移動すると、図４（ｂ）に示すように射出瞳３_１の中心に見える画像情報がＩ_ｎ＋１、隣接した射出瞳３_２の中心に見える画像情報がＩ_ｎ＋４とした場合に、その間に見える画素に表示されるべき画像がＩ_ｎ＋２となり、結果的に奥行き側に表示される。

このような条件を満たすように視差情報を並べることで、観察者の位置にかかわらず、射出瞳越しに観察された複数画素に表示された画像情報は補間するデータになる。このような要素画像アレイを作成するためには、
ｍ／ｎ ＝ １／ｃ ・・・（３）
を満たすように、ｎ倍に拡大した元画像を、ｍピクセルピッチで利用位置をシフトさせて視差画像を作成、要素画像アレイを作成すればいい。表示位置は結果的に（１）式に従う。ちなみに，背景技術に記載した，焦点距離よりレンズ厚みが薄い場合（補完１）の補完を実現する場合は，レンズ越しの視差情報の並びがそのまま観察されることを考慮して，図２の画素２_Ｂに表示される視差画像は，３Ｄ画素３Ｄ_０と３Ｄ_１の間を補完する方向にシフトさせる．これに対し，本発明における焦点距離よりレズ厚みが厚い場合の補完（補完２）を実現する場合は，レンズ越しの視差情報の並びが反転することを考慮して，図２の画素２_Ｂに表示される視差画像は，３Ｄ画素３Ｄ_０と３Ｄ_−１の間を補完する方向にシフトさせる。

以上述べたことからわかるように、本実施形態の三次元画像表示用要素画像アレイの作成方法は、図１に示したフローチャートに示す手順を有する。すなわち、元となる三次元画像表示装置と同一または同程度（ｋ倍）の解像度を有する二次元画像（元画像）の解像度をｎ倍に変換する工程（図１のステップＳ１）と、解像度変換後の画像の切り出す位置を水平方向に一定間隔でずらすこと（ｍピクセルシフト）により多視点画像とする工程（図１のステップＳ２）と、この多視点画像を射出瞳と投影方向の相対位置関係に応じてアスペクト比を修正する，または並び替える、すなわち垂直伸縮およびインターリーブする工程（図１のステップＳ３、Ｓ４）とを備えている。図１では，垂直伸縮操作はｍピクセルシフトの次に記載しているが，垂直伸縮操作は，元画像の後ならどこに入ってもよい．
これにより、二次元画像の表示位置を任意に設定し、アスペクト比を維持できる。また、用いた光線制御素子の性能を考慮した補完効果を最大に発現できる要素画像アレイを作成できる。

なお、本実施形態においては、解像度を変更する前の元の二次元画像（元画像）の解像度は三次元画像表示装置の解像度と同じであるとして説明したが、元画像の解像度が三次元画像表示装置の解像度のｋ倍である場合は、（１）式のｎをｎ×ｋに置き換えた（４）式、すなわち
ｘ：ｇ ＝ ｍ／ｋ／ｎ×Ｐｅ：Ｐｐ ・・・（４）
を満たす必要がある。

また、解像度変換または画像サイズ変更ステップにおいては、ニアレストネイバー法、バイリニア法、バイキュービック法、といった画像フィルタを用いてもよく，水平解像度ｎ倍（図１のステップＳ１）と垂直伸縮（図２のステップＳ３）は，個別のフィルタを用いてもよい。

以上、三次元画像表示装置１における二次元画像の表示位置を任意に設定するためには要素画像を作成するための二次元画像のサンプリングピッチを三次元画像表示装置の射出瞳ピッチＰｅより短くする必要があり、このために、三次元画像表示装置の解像度と同程度の二次元画像については、一旦拡大してリサンプリングする方法について述べた。すなわち、元画像の（ｍ／ｎ）倍の水平ピッチでリサンプリングしたい場合には、水平方向の解像度をｎ倍にしたうえで、（ｍ／ｎ）になるようにリサンプリングした。これを図１８（ａ）、１８（ｂ）、１８（ｃ）を参照して説明する。図１８（ａ）が元画像の水平方向の解像度とすると、例えば、画素ピッチの２／３倍（＝ｍ／ｎ倍）のピッチでリサンプリングしたい場合には、画像補間を利用して水平方向の解像度を３倍にしたうえで、２画素ごとにサンプリングする方法を説明した（図１８（ｂ））。このようなリサンプリングについては、画像補間で直接作成する場合もある。すなわち、所望のリサンプリング位置のデータを画像補間で直接作成する（図１８（ｃ））。図１８（ｂ）、１８（ｃ）では，最も単純な線形補間の場合の元画像の占有率を示したが、サンプリングピッチを変えるための画像補間に使用するフィルタは一般的に用いられるものなら何でも良く、例えば、画像情報ＢとＣの間のデータを作成するために利用される画像データは、画像情報ＢとＣに制限するものではない。

以上説明したように、本実施形態によれば、三次元画像表示装置において、元画像である二次元画像の伸縮と並び替えのみで、略任意の位置に二次元画像を表示することが可能となり、また表示された画像のアスペクト比が維持させ、かつ補間効果を最大に発揮するための要素画像アレイを作成することができる。

ちなみに，補完１と補完２では，補完２のデータがより自然でかつレンズ厚み変化，すなわち観察位置の変化に対してロバストな様子が確認された。

（第２実施形態）
次に、本発明の第２実施形態による三次元画像表示用要素画像アレイの作成装置を図５乃至図１５を参照して説明する。本実施形態の三次元画像表示用要素画像アレイの作成装置は、第１実施形態の三次元画像表示用要素画像アレイの作成方法を実施する装置であって、図５にその構成を示す。本実施形態の作成装置は、画像処理部２０と、画像情報並び替え処理部２２と、要素画像アレイ合成処理部２４と、各視点画像処理部２６と、各視点画像合成処理部２８と、並び替え処理部３０とを備えている。

背景追加処理部３２は、元画像情報４０と、奥行き情報４２とに基づいて、図９に示すように、二次元画像として表示したい元画像（図では星型形状として表示）の表示面積が、二次元画像表示装置の表示面（図では破線で表示）の面積に比較して小さく、他の画像（図では斜線で示す画像）と合成して表示したい場合や、他の三次元画像と合成するためにブルーバックにしたい場合など、元画像に背景画像を追加、合成する処理を行う。

画像処理部２０は、図６に示すように、水平解像度変更部２０ａと、垂直方向伸縮部２０ｂと、画像補間部２０ｃとを備えており、背景追加処理部３２の出力と、奥行き情報４２とに基づいて、画像処理を行う。水平解像度変更部２０ａは、奥行き情報４２と、背景追加処理部３２の出力に基づいて、図１０に示すように元画像の水平解像度を上げる処理を行う。垂直方向伸縮部２０ｂは、奥行き情報４２と、水平解像度変更部２０ａの出力に基づいて、図１１に示すように、垂直方向に画像を伸縮する処理を行う。画像補間部２０ｃは、水平解像度変更部２０ａの出力と、垂直方向伸縮部２０の出力とに基づいて、第１実施形態で説明した補間処理を行う。

画像情報並び替え処理部２２は、奥行き情報４２と、画像処理部２０の出力とに基づいて、１枚の入力画像を、射出瞳に対応させた並び順に変えて要素画像アレイにする処理を行う。なお、必要ならば、後述する図１４に示すように、並び替えのために水平方向に画素（画像）を追加する処理を含んでいてもよい。

要素画像アレイ合成処理部２４は、画像情報並び替え処理部２２の出力と、他の要素画像アレイ情報４４とに基づいて、図１２に示すように要素画像アレイ同士を合成する処理を行い、合成した要素画像アレイを要素画像アレイ情報４６として記憶する。

各視点画像生成処理部２６は、画像処理部２０の出力と、奥行き情報４２とに基づいて、図１３に示すように、１枚の入力画像から、切り出し位置を変えた画像を視点数分作成する処理を行う。この各視点画像生成処理部２６は、図７に示すように、水平ピクセル追加部２６ａと、サンプリング部２６ｂとを備えている。水平ピクセル追加部２６ａは、図１４に示すように、切り出し位置をシフトさせるために、水平方向に画素（画像）を増やす必要があれば、これを増やす処理を行う。サンプリング部２６ｂは切り出し処理を行う。

各視点画像合成処理部２８は、各視点画像生成処理部２６の出力と、他の各視点画像情報４８と、各視点画像を獲得するためのカメラの配置情報５０とに基づいて、図１５に示すように、各視点画像と他の各視点画像とを合成する。

並び替え処理部３０は、各視点画像複数枚から、射出瞳に対応した並び順にした要素画像アレイを作成する処理を行う。

なお、二次元画像を背景ボードとして表示するためには、三次元画像表示装置の奥行き表示限界をｘ＿ｆａｒとした場合に、（４）式のｘをｘ＿ｆａｒに置き換えた式
ｘ＿ｆａｒ：ｇ ＝ （ｍ／ｋ／ｎ）×Ｐｅ：Ｐｐ
を満足するようにｍ、ｎを選択することが必要となる。

また、二次元スプライト画像の奥行き方向を連続的に変えて表示するためには、二次元スプライト画像の奥行き方向の位置の変化量をｘ＿ｓｈｉｆｔとした場合に、（４）式のｘをｘ＿ｓｈｉｆｔに置き換えた式
ｘ＿ｓｈｉｆｔ：ｇ ＝ （ｍ／ｋ／ｎ）×Ｐｅ：Ｐｐ
を満足するようにｍ、ｎを選択する必要がある。

本実施形態の三次元画像表示用要素画像アレイの作成装置は、第１実施形態と同様に、元画像である二次元画像の伸縮と並び替えのみで、略任意の位置に二次元画像を表示することが可能となり、また表示された画像のアスペクト比を維持させ、かつ補間効果を最大に発揮するための要素画像アレイを作成することができる。

（第３実施形態）
次に、本発明の第３実施形態による三次元画像表示用要素画像アレイの作成プログラムを図１６乃至図１７を参照して説明する。本実施形態の作成プログラムは、第１実施形態による三次元画像表示用要素画像アレイの作成方法を実行するプログラムである。図１６および図１７は、本実施の形態の作成プログラムを実行するコンピュータシステム１３０の一例を示す斜視図およびブロック図である。

図１６において、コンピュータシステム１３０は、ＣＰＵを含むコンピュータ本体１３１と、例えばＣＲＴ等の表示装置１３２と、キーボードやマウス等の入力装置１３３と、印刷を実行するプリンタ１３４と、を備えている。

コンピュータ本体１３１は、図１７に示すように、ＲＡＭより構成される内部メモリ１３５と、内蔵または外付け可能なメモリユニット１３６と、を備えており、メモリユニット１３６としてはフレキシブルまたはフロッピディスク（ＦＤ）ドライブ１３７，ＣＤ−ＲＯＭドライブ１３８，ハードディスクドライブ（ＨＤ）ユニット１３９が搭載されている。図１６に示すように、これらのメモリユニット１３６に用いられる記録媒体１４０としては、ＦＤドライブ１３７のスロットに挿入されて使用されるフレキシブルディスクまたはフロッピディスク（ＦＤ）１４１と、ＣＤ−ＲＯＭドライブ１３８に用いられるＣＤ−ＲＯＭ１４２等が用いられる。

図１６および図１７に示すように、一般的なコンピュータシステムに用いられる記録媒体１４０としては、ＦＤ１４１やＣＤ−ＲＯＭ１４２が考えられる。

また、記録媒体としては、ＦＤ、ＣＤ−ＲＯＭ、ＭＯ(Magneto-Optical)ディスク、ＤＶＤ(Digital Versatile Disk)、その他の光学的記録ディスク、カードメモリ、磁気テープ等の、コンピュータで読み取り可能な記録媒体であっても良いことは云うまでもない。

本実施形態の作成プログラムは、図１に示す手順を示すステップＳ１〜Ｓ４を少なくとも備えるように構成したものである。

また、本実施形態にかかる三次元画像表示用要素画像アレイの作成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

また、本実施形態にかかる三次元画像表示用要素画像アレイの作成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

（実施例１）
図２における二次元画像表示装置２は液晶表示装置であって、その前面に光線制御子３が設けられ、後面にバックライト（図示せず）を設けた。具体的には液晶表示装置として、Ｗ−ＵＸＧＡ−ＬＣＤパネル（画素数１９２０×１２００、画面サイズ３３１．２ｍｍ×２０７．０ｍｍ等）を使用した。ピクセルサイズは１７２．５μｍ×１７２．５μｍの正方形で、赤、緑、青色の各サブピクセルの水平幅は５７．５μｍ、垂直幅は１７２．５μｍ、サブピクセルは独立して駆動可能である。通常の二次元画像表示装置２では、横に並んだ赤、緑、青色の３つのサブピクセルで１つのピクセルを構成するが、ここではこの制約を解いて用いた。カラーフィルタ配列はモザイク配列とした。

光線制御素子３としては、液晶パネルの画素位置が焦点距離より少し短くなるように設計、クロストーク量を２としたレンチキュラーシートを用いた。すなわち、水平方向にのみ視差情報を付与することが可能である。

この三次元画像表示装置の視差数を１８としたところ、三次元画像表示装置の水平解像度は、１９２０×３／１８＝３２０となる。垂直方向の解像度は、モザイク配列の縦に連続した３つのサブピクセルで１つの３Ｄ画素として用い、１２００／３＝４００画素となる。よって、元画像として、サイズがディスプレイと等しく、横×縦の解像度が３２０×４００、画素のアスペクト比が１．３３３３３の画像を用意した。この元画像の横解像度をバイキュービック法のフィルタを用いて水平方向のみ４倍に拡大、各視点画像ごとに１ピクセルごとずらした元画像を利用して要素画像アレイを作成した。切り出し位置をずらす必要があったことから、元画像の両側に１×視点分余剰を設けた。この各視点画像の並び替えにより要素画像アレイを作成、表示したところ、（１）式にしたがって、
ｘ ＝ ｍ／ｎ×Ｐｅ／Ｐｐ×ｇ
＝ １／４×（１８×０．０５７５）／０．０５７５×１．５
＝ ６．７５ｍｍ
と、飛び出し６．７５ｍｍの位置に元画像が表示されることを確認した。

（比較例１）
実施例１と同じ条件において、水平方向のｎ倍の伸張を行なわずに、元画像のピクセル単位での切り出し位置の変更により各視点画像を作成、表示位置を変えたところ、（１）式に従い、２．７ｃｍの倍数でしか表示位置を選択できなかった。

（実施例２）
実施例１と同じ条件において、飛び出し限界である＋５ｃｍの位置に二次元画像を表示しようとしたところ、
ｍ／ｎ＝ｘ×Ｐｐ／Ｐｅ／ｇ
＝５０×０．０５７５／（０．０５７５×１８）／１．５
＝１．８５
〜９／５
すなわち、バイキュービック法によるフィルタを用いて水平方向に５倍に伸張した。このときに、（２）式にしたがって、垂直方向についても１．０８倍に拡大した。

Ｈ’／Ｈ＝ Ｌ／（Ｌ−ｘ） ＝７００／（７００−５０） ＝ １．０８
このように、図１に示す手順に従って各視点画像を作成、これを並び替えて要素画像アレイを作成、表示したところ、二次元画像をこのディスプレイの表示限界である＋５ｃｍのまさにその位置に、アスペクト比を維持した二次元画像を表示することができた。

（比較例２）
実施例２において、垂直方向の伸張の処理を行わなかったところ、縦に比較して横が８％伸びた二次元画像となり、横に伸びた印象を与えた。

本発明の第１実施形態による作成方法の手順を示すフローチャート。 第１実施形態による作成方法の原理を説明する図。 第１実施形態の作成方法に係る、二次元画像の表示位置に応じた縦方向の伸縮について説明する図。 第１実施形態の作成方法に係る、補間効果を得るための要素画像アレイの作成方法を説明する図。 本発明の第２実施形態による作成装置を示すブロック図。 第２実施形態の作成装置に係る画像処理部の一例を示すブロック図。 第２実施形態の作成装置に係る各視点画像生成処理部の一例を示すブロック図。 第２実施形態の作成装置に係る並べ替え処理部の一例を示すブロック図。 第２実施形態の作成装置に係る背景処理部の処理内容の一例を説明する図。 第２実施形態の作成装置に係る水平解像度変更部の変更処理内容の一例を説明する図。 第２実施形態の作成装置に係る垂直方向伸縮部の伸縮処理内容の一例を説明する図。 第２実施形態の作成装置に係る要素画像アレイ合成処理部の処理内容の一例を説明する図。 第２実施形態の作成装置に係る各視点画像生成処理部の処理内容の一例を説明する図。 第２実施形態の作成装置に係る水平ピクセル追加部の処理内容の一例を説明する図。 第２実施形態の作成装置に係るサンプリング部の処理内容の一例を説明する図。 本発明の第３実施形態による作成プログラムが実行されるコンピュータシステムの一例を示す斜視図。 本発明の第３実施形態による作成プログラムが実行されるコンピュータシステムの一例を示すブロック図。 三次元画像表示装置の解像度と同程度の二次元画像を一旦拡大してリサンプリングする方法を説明する図。

符号の説明

１ 三次元画像表示装置
２ 二次元画像表示装置
２Ａ、２Ｂ 画素
３ 光線制御素子
３_０、３_１ 射出瞳

Claims (12)

1. 二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成方法であって、
   二次元画像の水平解像度を操作するステップと、
   解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得るステップと、
   前記多視点画像を、前記射出瞳と前記投影方向との相対位置関係に応じて並び替えるステップと、
   を備えたことを特徴とする三次元画像表示用要素画像アレイの作成方法。
2. 視点画像、または要素画像アレイを縦方向に伸縮するステップを有することを特徴とする請求項１記載の三次元画像表示用要素画像アレイの作成方法。
3. 前記二次元画像の解像度が前記三次元画像表示装置の解像度のｋ倍であり、前記二次元画像を表示する位置の前記三次元画像表示装置の表示面からの距離をｘ、射出瞳と二次元画像表示部との空気換算ギャップをｇ、射出瞳ピッチをＰｅ、画素ピッチをＰｐとした場合に、
   ｘ：ｇ ＝ （ｍ／ｋ／ｎ）×Ｐｅ：Ｐｐ
   を満たすように、二次元画像の水平方向の解像度をｎ倍にし、その後切り出し位置の水平方向のずらし量を各視点画像毎にｍ画素とすることを特徴とする請求項１記載の三次元画像表示用要素画像アレイの作成方法。
4. 各視点画像、または要素画像アレイを縦方向に伸縮するステップを有することを特徴とする請求項３記載の三次元画像表示用要素画像アレイの作成方法。
5. 前記二次元画像を表示する位置の前記三次元画像装置の表示面からの距離をｘ、前記三次元画像表示装置の設定視距離をＬとした場合に、前記各視点画像または前記要素画像アレイの高さｙを、解像度を変換する前の元の二次元画像の高さｙ’に対して、
   ｙ ＝ ｙ’×Ｌ／（Ｌ−ｘ）
   となるように縦方向を伸縮したことを特徴とする請求項４記載の三次元画像表示用要素画像アレイの作成方法。
6. 前記三次元画像表示装置の奥行き表示限界をｘ＿ｆａｒとした場合に、
   ｘ＿ｆａｒ：ｇ ＝ （ｍ／ｋ／ｎ）×Ｐｅ：Ｐｐ
   を満足するようにｍ、ｎを選択し、前記二次元画像を背景ボードとして表示することを特徴とする請求項３記載の三次元画像表示用要素画像アレイの作成方法。
7. 二次元スプライト画像の奥行き方向の位置の変化量をｘ＿ｓｈｉｆｔとした場合に、
   ｘ＿ｓｈｉｆｔ：ｇ ＝ （ｍ／ｋ／ｎ）×Ｐｅ：Ｐｐ
   を満足するようにｍ、ｎを選択して前記二次元スプライト画像の奥行き方向を連続的に変えて表示することを特徴とする請求項３記載の三次元画像表示用要素画像アレイの作成方法。
8. 前記射出瞳から同時に観察できる画素をｃ個の画素とした場合に、
   （ｍ／ｋ／ｎ） ＝ １／ｃ
   とすることにより、前記射出瞳から観察できる複数の画素を利用して、前記三次元画像表示装置の解像度以上の解像度の前記二次元画像を表示できるようにしたことを特徴とする請求項３記載の三次元画像表示用要素画像アレイの作成方法。
9. 二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成装置であって、
   二次元画像の水平解像度を操作する水平解像度変更部を有する画像処理部と、
   解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得る多視点画像生成処理部と、
   前記多視点画像を、前記射出瞳と前記投影方向との相対位置関係に応じて並び替える並び替え処理部と、
   を備えたことを特徴とする三次元画像表示用要素画像アレイの作成装置。
10. 前記画像処理部は、視点画像または要素画像アレイを縦方向に伸縮する伸縮部を更に備えていることを特徴とする請求項９記載の三次元画像表示用要素画像アレイの作成装置。
11. 前記画像処理部は、前記水平解像度変更部の出力および前記伸縮部の出力とに基づいて、前記二次元画像の表示位置に応じて前記二次元画像を補間する画像補間部を更に備えていることを特徴とする請求項１０記載の三次元画像表示用要素画像アレイの作成装置。
12. 二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成プログラムであって、
    二次元画像の水平解像度を操作する手順と、
    解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得る手順と、
    前記多視点画像を、射出瞳と投影方向との相対位置関係に応じて並び替える手順と、
    をコンピュータに実行させる三次元画像表示用要素画像アレイの作成プログラム。

Images