JP2012008252A - 画像データ生成方法及びその装置ならびにホログラフィックステレオグラム作成システム - Google Patents
画像データ生成方法及びその装置ならびにホログラフィックステレオグラム作成システム Download PDFInfo
- Publication number
- JP2012008252A JP2012008252A JP2010142755A JP2010142755A JP2012008252A JP 2012008252 A JP2012008252 A JP 2012008252A JP 2010142755 A JP2010142755 A JP 2010142755A JP 2010142755 A JP2010142755 A JP 2010142755A JP 2012008252 A JP2012008252 A JP 2012008252A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- subject
- image data
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Holo Graphy (AREA)
Abstract
【課題】
ホログラフィックステレオグラムに用いる被写体の多数観察点からの多数の画像を生成するための時間を短縮し得る画像データ生成方法を提供する。
【解決手段】
画像データ生成方法は、固定した被写体に対してカメラが公転又は固定したカメラに対して被写体が自転するように相対的に運動させて、複数の異なる視点から撮影される複数の正射影画像の画像データを取得するステップと、複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録する多視点画像の画像データを生成するステップと、を含む。
【選択図】 図17
ホログラフィックステレオグラムに用いる被写体の多数観察点からの多数の画像を生成するための時間を短縮し得る画像データ生成方法を提供する。
【解決手段】
画像データ生成方法は、固定した被写体に対してカメラが公転又は固定したカメラに対して被写体が自転するように相対的に運動させて、複数の異なる視点から撮影される複数の正射影画像の画像データを取得するステップと、複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録する多視点画像の画像データを生成するステップと、を含む。
【選択図】 図17
Description
本発明はホログラフィックステレオグラム作成装置(以降、ホログラフィックプリンタともいう)に関し、特に、ホログラフィックステレオグラムに記録すべき画像を生成する画像データ生成方法及びその装置ならびにホログラフィックステレオグラム作成システムに関する。
ホログラムは、一般的に、レーザ光(コヒーレント光)を2つに分け、一方を被写体に照射してその拡散反射光(物体光)をホログラム記録媒体を塗った感光シートに当てると同時に、他方の光を所定角度で参照光として感光シートに直接照射して、この2つの光の干渉による干渉縞を感光シートへ記録したものとして知られている。このホログラムに記録時と同じ角度で参照光を照明することで、記録時と同一の強度と方向の物体光が再生され、被写体の3次元像が得られる。
ステレオグラムは、人間の左右目の視点位置に対応して物体を撮影した1組の視差画像を目視して、立体視を可能とするものが知られている。一般に、立体視は、視覚により人間が立体物体を知覚することであり、人の5つの生理的要因、眼球水晶体の調節、両眼の幅較角、両眼視差、運動視差及び視野の拡大効果、による。その中で、ステレオグラムは立体視効果の高い両眼視差を利用したもので、2視点式ステレオグラムとして、レンチキュラなどを用いた裸眼式や、アナグリフなどメガネ式などがある。例えば、2視点式ステレオグラムは1組の視差画像の真正面しか立体視できず、両眼視差こそ再現できるものの輻輳や焦点調節といった立体認識に必要なその他の要因を無視しているため、自然な立体視には不十分といえる。
ホログラフィックステレオグラムは、ステレオグラムに用いる視差画像をホログラムによって記録/再生するものである。具体的には、被写体を異なる視点(観察位置)から撮影した複数の2次元画像をドット状(又は短冊状)の微小なホログラム(要素ホログラム)として敷き詰めるように感光シートへ記録したものである。このとき視点位置を例えば60視点にして要素ホログラムを60個敷き詰めれば60枚の視差画像が再生されるので、運動視差をも利用可能で、観察者の視点変化や多数の観察者に応じた3次元像が再現できる。
このように、ホログラフィックステレオグラムでは、その視差数(要素ホログラム数、画像数)を多くすることが可能であり、例えば、片眼瞳内に複数の画像が入るくらい要素ホログラムを増やせば輻輳や焦点調節なども機能させることができる。
ホログラフィックステレオグラム及びその装置は、更なる自然な立体視を目指して開発されている(例えば、特許文献1、非特許文献1〜4、参照)。ホログラフィックステレオグラムには、撮影において被写体に対して水平と同時に垂直にもカメラを動かして2次元的に画像を取得する場合もあるが、例えば、水平方向だけのホログラフィックステレオグラムをHPOホログラフィックステレオグラム(Horizontal Parallax Only)、2次元的なホログラフィックステレオグラムをフルパララックス・ホログラフィックステレオグラムと呼ばれているものがある。
『ホログラフィック・ステレオグラムによる像再生特性に関する考察』、山口雅浩ほか、「光学」第22号巻第11号(1993年11月)pp.714
『Holographicthree−dimensionalprinter:newmethod』,MasahiroYamaguchi,APPLIEDOPTICS,vol.31,No.2,(1992)
『即時ホログラフィック3Dプリント技術』,白倉明,映像情報メディア学会技術報告vol.22No.43,pp7−15,(1998)
『実写からの全方向視差ホログラフィックステレオグラム作成システム』,小嶋遼太他,映像情報メディア学会技術報告vol.31,No.40,pp9−12,(2007)
ホログラフィックステレオグラム、特に、フルパララックス・ホログラフィックステレオグラムは、再生される画像の画面サイズや解像度などにもよるが、多数の、例えば、数千、数万、数億枚の視差画像(以降、多視点画像ともいう)を取得する必要がある。数億枚では不可能に近いが、3次元コンピュータグラフィックス(3 Dimensional Computer Graphics:3DCG)技術を用いて、仮想3次元空間上の形状情報から所定平面上に投射することで多くの視差画像を取得(描画)すれば現実的に処理できるが、それでも計算処理に時間がかかり、実用にはほど遠いという問題があった。
そこで本発明は、ホログラフィックステレオグラムに用いる被写体の多数観察点からの多数の画像を生成するための時間を短縮し得る画像データ生成方法及びその装置ならびにホログラフィックステレオグラム作成システムを提供することが一例として挙げられる。
本発明の画像データ生成方法は、被写体とカメラの相対位置を変更しながら、複数の異なる視点位置から被写体を撮影することで複数の正射影画像の画像データを取得するステップと、
前記複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する画像パターンの画像データを合成するステップと、を含むことを特徴とする。
前記複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する画像パターンの画像データを合成するステップと、を含むことを特徴とする。
本発明の画像データ生成装置は、被写体とカメラの相対位置を変更しながら、複数の異なる視点位置から被写体を撮影することで複数の正射影画像の画像データを取得する正射影画像取得部と、
前記複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する画像パターンの画像データを合成する画像パターン生成部と、を含むことを特徴とする。
前記複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する画像パターンの画像データを合成する画像パターン生成部と、を含むことを特徴とする。
本発明のホログラフィックステレオグラム作成システムは、被写体の多視点画像を複数の要素ホログラムの各々に記録するホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成システムであって、
被写体とカメラの相対位置を変更しながら、複数の異なる視点位置から被写体を撮影することで複数の正射影画像の画像データを取得する正射影画像取得部と、前記複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する画像パターンの画像データを合成する画像パターン生成部と、を備えた画像データ生成装置と、
前記画像パターンの画像データに基づき物体光を生成する空間光変調器と、
参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、を含むことを特徴とする。
被写体とカメラの相対位置を変更しながら、複数の異なる視点位置から被写体を撮影することで複数の正射影画像の画像データを取得する正射影画像取得部と、前記複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する画像パターンの画像データを合成する画像パターン生成部と、を備えた画像データ生成装置と、
前記画像パターンの画像データに基づき物体光を生成する空間光変調器と、
参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、を含むことを特徴とする。
上記の画像データ生成方法、画像データ生成装置及びホログラフィックステレオグラム作成システムにおいては、前記被写体、前記カメラはそれぞれ、3次元コンピュータグラフィックスプログラムを搭載したコンピュータにより計算して生成された仮想被写体、仮想カメラであり、前記コンピュータにより、前記正射影画像の画像データを取得することとすることができる。
上記の画像データ生成方法、画像データ生成装置及びホログラフィックステレオグラム作成システムにおいては、前記カメラはテレセントリック光学系を含む撮影装置であり、固定した被写体に対してカメラが公転もしくは固定したカメラに対して被写体が自転するように相対的に運動させて、又はカメラの光軸を常に被写体に向けカメラを水平移動させて複数の画像データを間歇的に取得することとすることができる。
さらに、本発明の画像データ生成方法は、多視点画像の画像データに基づき物体光を生成する空間光変調器と、参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、により、フルパララクス・ホログラフィックステレオグラムを作成するための画像データ生成方法であって、前記対物レンズの瞳の内側に相当する視点位置だけから多視点画像を取得することを特徴とする。
さらに、本発明の画像データ生成装置は、多視点画像の画像データに基づき物体光を生成する空間光変調器と、参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、により、フルパララクス・ホログラフィックステレオグラムを作成するための画像データ生成装置であって、前記対物レンズの瞳の内側に相当する視点位置だけから多視点画像を取得することを特徴とする。
さらに、本発明のホログラフィックステレオグラム作成システムは、多視点画像から物体光を変調する画像パターンを生成する画像データ生成装置と、画像パターンに基づき物体光を生成する空間光変調器と、参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、を有したホログラフィックステレオグラム作成装置であって、対物レンズの瞳の内側に相当する視点位置だけからの多視点画像を取得することを特徴とする。
以下に、ホログラフィックステレオグラム作成装置いわゆるホログラフィックプリンタによるホログラフィックステレオグラムの作成システムを、図面を参照しつつ説明する。
ホログラフィックステレオグラム作成システムは大きく次の3つ、記録すべき被写体の撮影などを行う画像取得部である撮影セクションと、ホログラフィックステレオグラムための物体光を変調する画像データを生成する画像パターン生成セクションと、ホログラフィックステレオグラムを作成する印刷セクションとに分けられる。
まず、撮影セクションにおいて、記録すべき被写体を多数の観察点から順次撮影することにより、複数の原画すなわち、多視点画像を取得、データ化する。次に、画像パターン生成セクションにおいて、データ化されているこれら複数の多視点画像からコンピュータで計算、合成し、具体的に記録すべき画像パターン(SLM画像と呼ぶ)を生成する(画像パターンの合成)。そして、印刷セクションにおいて、かかる画像パターンを、例えば光透過液晶パネルに表示し、これをレーザ光で照明し、液晶パネルで変調された透過光を集光レンズで感光シート(ホログラム面)上に集光しつつ、参照光で照明し順次記録する(要素ホログラムの記録)。
ここで、画像パターンの合成は多視点画像の取得の手法に左右されるので、先に、印刷セクションを説明し、撮影セクション及び画像パターン生成セクションである多視点画像の取得と画像パターンの合成をまとめて後で詳細に説明する。
−<印刷セクション:要素ホログラムの記録>−
図1は実施形態に用い得るホログラフィックプリンタの構成の一例を模式的に示したものである。レーザ光源21の直後には制御部22で開閉制御が可能なシャッター23が置かれ、要素ホログラムを露光(記録)する時だけレーザ光を後方の光学系24に導くようにされている。シャッター23を通過した光はコリメータレンズ241によって平行光に変換される。なお、光学系においてエクスパンダ(図示せず)を用いてレーザ光の断面積を拡大することもできる。光源21からの平行光はビームスプリッタ242によって光路を2つに分割され、一方の光は、鏡243を介して空間光変調器244(パネルにSLM画像が表示されている)を通過した後に物体光となり、鏡245を介して対物レンズ246によって感光シート31上にその球面波が集光され、要素ホログラムが記録される。もう一方の平行光は参照光として鏡247を介して感光シート31の裏側から斜めに照射される。この際、物体光と参照光の光路長はほぼ同じにしておくことが望ましい。
図1は実施形態に用い得るホログラフィックプリンタの構成の一例を模式的に示したものである。レーザ光源21の直後には制御部22で開閉制御が可能なシャッター23が置かれ、要素ホログラムを露光(記録)する時だけレーザ光を後方の光学系24に導くようにされている。シャッター23を通過した光はコリメータレンズ241によって平行光に変換される。なお、光学系においてエクスパンダ(図示せず)を用いてレーザ光の断面積を拡大することもできる。光源21からの平行光はビームスプリッタ242によって光路を2つに分割され、一方の光は、鏡243を介して空間光変調器244(パネルにSLM画像が表示されている)を通過した後に物体光となり、鏡245を介して対物レンズ246によって感光シート31上にその球面波が集光され、要素ホログラムが記録される。もう一方の平行光は参照光として鏡247を介して感光シート31の裏側から斜めに照射される。この際、物体光と参照光の光路長はほぼ同じにしておくことが望ましい。
ホログラム記録媒体の感光シート31はステージ35上に固定され、感光シート31の主面が物体光の光軸に対して垂直になるように保持される。ステージ35は例えば、X軸用およびY軸用の2軸ステッピングモータ41によって、物体光の光軸と垂直な面内(XY平面)において自由にその位置を変えられるようになっている。空間光変調器244は、例えば、透過型液晶パネルとフレームメモリを備え、フレームメモリ上の画像データを液晶パネルに表示することで物体光の光軸と垂直な面内の光強度分布を自由に変調することができる。なお、フレームメモリ上の画像データは制御部22によって自由に書き換えることができる。
図2に示すフローチャートのような手順でホログラフィックステレオグラム作成を行う。一例として、水平方向の要素ホログラムを600個、垂直方向の要素ホログラム数を400個、要素ホログラム間隔△e=250μmとして感光シート31に露光する。この場合、最終的に印刷されるホログラフイックステレオグラムは15cm×10cmになる。水平方向がnx番目、垂直方向がny番目の要素ホログラムを記録する際に空間光変調器244のパネルに表示する記録すべき画像パターン(SLM画像)をSLM(nx,ny)と記すことにする。すなわち、nxは水平方向の要素ホログラム番号(1〜nxmax)で、nyは垂直方向の要素ホログラム番号(1〜nymax)である。
はじめに、図2に示すように、印刷を開始すると、nx=1,ny=1に初期化され(ステップS1)、最終的に印刷されるホログラフイックステレオグラムのサイズを考慮した上で、ステッピングモータ41を回転させてステージ35を印刷開始位置まで移動する(ステップS2)。この時のステージ35の位置を原点、すなわち座標(0,0)とする。このときシャッター23は閉じておく。
次に、空間光変調器244のフレームメモリにSLM(1,1)を送る(ステップS3)。次にシャッター23を開き一定時間だけ感光シートを露光する(ステップS4)。一定時間が経過したらシャッター23を閉じて(ステップS5)、ステッピングモータ41を回転させてステージ位置を座標(0,250μm)にする(ステップS6)。ステッピングモータ41の回転が終わってもステージ35が振動している可能性があるので、その場合は一定時間待つ(ステップS7)。
次に、シャッター23を閉じてからステージ35を移動し、振動が治まるまでの間に、空間光変調器244のフレームメモリにSLM(1,2)を送っておく。振動が治まったらシャッター23を開いて露光を開始する。一定時間露光したらシャッター23を閉じてステージ35を座標(0,500μm)に移動する。以降、同様の処理を繰り返し、SLM(1,400)の露光まで行う。SLM(1,400)の露光が終了したら、今度はステージ35を水平方向に移動してステージ位置を座標(250μm,10000μm)にする。その間にSLMのフレームメモリにSLM(2,400)を送る。振動が治まったらシャッター23を開いて再び露光を開始する。露光が終了したら今度は垂直方向のステージ座標が減少するようにステッピングモータ41を回転させ、ステージ位置を座標(250μm,99750μm)にする。このように垂直方向に400個の要素ホログラムを露光したら水平方向に250μmだけ移動して次の400個の要素ホログラムを垂直方向に露光することを繰り返す。最終的にはステージ位置が座標(150000μm,0μm)でSLM(600,400)の露光が行われることになる。すなわち、図2に示すステップS3〜S14のループによって、水平及び垂直方向の要素ホログラム番号nx、nyの増分1ごとにラスタスキャンして要素ホログラムを記録する。
ステップS11においてnx=nxmaxとなり、すべての露光が終了したら、ステージ35から感光シートを取り出す(ステップS15)。感光シートの種類によってはその後、記録を定着させるための処理が必要になる場合がある(ステップS16)。例えば、感光シートにフォトポリマー材を用いた場合は、記録後に高温のオーブンに一定時間入れることで記録を定着させることができる。以上で、フルパララックス・ホログラフィックステレオグラムが作成できる。この場合、要素ホログラムを露光する回数は600×400=24万回、そのためのSLM画像が24万枚必要になる。
撮影セクション及び画像パターン生成セクションを説明する前に、初期のホログラフィックステレオグラムの記録原理と、それを元にしてホログラムプリンタ用に改良されたホログラフィックステレオグラムの記録原理を説明しておく。
−<初期のホログラフィックステレオグラムの記録原理>−
我々が物体(被写体)を観察することができるのは、その物体表面で散乱された光線が瞳に入り網膜を刺激するためであると解釈できる。ある被写体をカメラで撮影し、その画像を拡散スクリーンに投影することを考える(図3参照)。この場合、被写体を取り去っても、カメラ位置(観察点)にはスクリーンに投影/拡散された光線が入射するため、被写体が存在した時と同じ画像(光線群)を観察することができる。
我々が物体(被写体)を観察することができるのは、その物体表面で散乱された光線が瞳に入り網膜を刺激するためであると解釈できる。ある被写体をカメラで撮影し、その画像を拡散スクリーンに投影することを考える(図3参照)。この場合、被写体を取り去っても、カメラ位置(観察点)にはスクリーンに投影/拡散された光線が入射するため、被写体が存在した時と同じ画像(光線群)を観察することができる。
画像を取得した位置(カメラ位置)に感光シートをおき、その直前(スクリーン側)にスリットを設ける(図4参照)。フィルムをコヒーレント光で照明するのと同時に、同じ光を裏面から照射すると、感光シートにはスリットが開いた部分にだけ干渉縞が記録される。つまりスクリーンからの拡散光を物体光、裏面から照射した光を参照光として微小なホログラムが形成される。この微小ホログラムは要素ホログラムと呼ばれる。
以上の作業を、カメラ位置を水平方向に少しずつ移動させながら多数回行う。その際、スリットの開口位置は常にその時のカメラ位置、すなわち投影画像を取得した位置に合わせる。
ところで、一般にホログラムは、それを形成する際に照射した参照光と同じ光で照明すると物体光を発生する性質がある。厳密な言い方をするなら、参照光が干渉縞によって物体光として回折される。つまり、感光シート上に要素ホログラムを連続して形成することは、それぞれのカメラ位置(観察点)で観察される光線の向きと強度を記録/保存していると解釈できる。従って、この感光シートを参照光の照射側から眺めると、観察位置に依存して視差を伴った画像を観察することができる(図5参照)。しかしながら実際には、参照光で照明した際に各要素ホログラムから発生する物体光は要素ホログラムから遠ざかるほど、回折の影響でその向きが僅かに変化してしまう。従って、図5に示すように感光シート31に対して被写体(の再生像)が遠い位置にあると再生像はボケ易いことになる。
−<ホログラフィックプリンタ用に改良された記録原理>−
図6は、視差画像を取得する位置(カメラ)と要素ホログラムを記録する位置(感光シート31)を別々にすることで被写体と感光シートを近づけ、再生像がボケ難くなるように改良を施したホログラフィックステレオグラムの記録原理を示す模式図である。ホログラフィックプリンタではこちらの記録原理を用いてシステムを構築する。
図6は、視差画像を取得する位置(カメラ)と要素ホログラムを記録する位置(感光シート31)を別々にすることで被写体と感光シートを近づけ、再生像がボケ難くなるように改良を施したホログラフィックステレオグラムの記録原理を示す模式図である。ホログラフィックプリンタではこちらの記録原理を用いてシステムを構築する。
この場合、要素ホログラムを記録する際、空間光変調器244には撮影した視差画像を直接表示するのではなく、コンピュータを用いて複数の視差画像から必要な画素だけを取り出し、それらを繋ぎ合わせることで1つの視差画像を合成して空間光変調器244に表示する必要があるが、これに関しては後述する。
視差画像取得位置と要素ホログラム記録位置を分けたことで、取得する画像の枚数と記録する要素ホログラムの数を、ある程度独立に設定できる利点がある。上述のようにホログラフィックステレオグラムは再生時の視差数が多いほど自然な立体視が可能になる。ホログラフィックプリンタでは使用する空間光変調器244の画素数が充分であれば、視差画像取得枚数を増やすだけで再生時の視差数を増やすことができる。また、3DCG(3次元コンピュータグラフィックス)プログラムを搭載したコンピュータを用いて、仮想空間内に仮想3次元被写体を生成し、それに対して仮想カメラを少しずつ動かして仮想撮影した画像を非常に短時間で取得(生成)できる。このため、直接印刷時間の長さに影響する要素ホログラム数を増やすことなく、視差画像枚数を増やすだけで再生時の視差数を増やすことができる。このことから、ホログラフィックプリンタは、仮想的な被写体のホログラフィックステレオグラムを作成する手法としては特に適している。
また、ホログラフィックプリンタでは要素ホログラムを記録する際の物体光として対物レンズで集光した光を利用している。このため、感光シートとして銀塩フィルムよりもはるかに感度の低いフォトポリマー材を利用できるという利点がある。また拡散スクリーンや投影光学系も不要なので光学系を小型にすることも可能である。
−<撮影セクション及び画像パターン生成セクション:多視点画像の取得とSLM画像(画像パターン)の合成>−
パララックス・ホログラフィックステレオグラムの場合、多視点画像は水平と垂直の2方向に対して視点(カメラ位置)を少しずつ変えたものが必要になる。
パララックス・ホログラフィックステレオグラムの場合、多視点画像は水平と垂直の2方向に対して視点(カメラ位置)を少しずつ変えたものが必要になる。
(撮影セクション)
画像取得の手法、すなわち多視点画像を取得する際の視点の動かす撮影手法についてはいくつかあるが、ここでは次の2つの多視点画像取得手法を説明する。本来であれば2次元的に視点位置を動かす場合の説明をすべきであるが、ここでは簡単にするためにHPOホログラフィックステレオグラムとして説明する。フルパララックス・ホログラフィックステレオグラムの場合も同様に考えられることは言うまでもない。
画像取得の手法、すなわち多視点画像を取得する際の視点の動かす撮影手法についてはいくつかあるが、ここでは次の2つの多視点画像取得手法を説明する。本来であれば2次元的に視点位置を動かす場合の説明をすべきであるが、ここでは簡単にするためにHPOホログラフィックステレオグラムとして説明する。フルパララックス・ホログラフィックステレオグラムの場合も同様に考えられることは言うまでもない。
第1の撮影手法はカメラの光軸方向は変えずにその方向を一定に保持し被写体に対してカメラを平行移動させながら撮影する手法(図7、参照)である。図7に示すように、異なる位置から間歇的に被写体を多数撮影することによって得られる。すなわち、被写体に向けたカメラ光軸を平行に、被写体がカメラ画角範囲に入る位置から、被写体がカメラ画角範囲から外れる位置に至るまでカメラを動かす。
第2の撮影手法はカメラと被写体の距離を一定に保ちつつ固定した被写体を囲むようにカメラを回転移動させながら撮影する手法(図8、参照)である。被写体を中心としてカメラを回動させる他に、被写体を回転台(図示せず)の回転中心に固定し、カメラを被写体に向くように固定したまま、被写体とカメラの距離を略一定に保持して、回転台を被写体とともに回動させても、同様な視点の異なる多数の視差画像を得ることができる。すなわち、固定した被写体に対してカメラが公転又は固定したカメラに対して被写体が自転するように相対的に運動させて、視点の異なる複数の被写体画像を間歇的に撮影ことができる。カメラ感光面はCCD、CMOSセンサなど光電変換器により構成され、受光した各結像画像を光電変換して複数の画像の画像データを生成、出力する。
(画像パターン生成セクション)
図9は図7に示した撮影手法で多視点画像を取得し、それらを元にSLM画像を合成する手順を説明するための模式図である。空間光変調器244の画素数をN、記録する要素ホログラムの数をK、対物レンズの画角(全角)をθo、多視点画像を取得するためのカメラの画角をθc、取得画像の画素数をLとする。つまり、空間光変調器244の1画素あたりの画角はθo/N、取得画像の1画素あたりの画角はθc/Lである。
図9は図7に示した撮影手法で多視点画像を取得し、それらを元にSLM画像を合成する手順を説明するための模式図である。空間光変調器244の画素数をN、記録する要素ホログラムの数をK、対物レンズの画角(全角)をθo、多視点画像を取得するためのカメラの画角をθc、取得画像の画素数をLとする。つまり、空間光変調器244の1画素あたりの画角はθo/N、取得画像の1画素あたりの画角はθc/Lである。
図9に示すように、空間光変調器244には平行光が入射するので、空間光変調器244の表示面の座標と対物レンズ246の瞳面の座標は1対1に対応する。空間光変調器244の各画素に対応する対物レンズ246の瞳面上の点をSj(j=1,2,…,N)、要素ホログラムの座標をHi(i=1,2,…,K)、SjとHiを結んだ光線が多視点画像取得面と交わる点をCijとする。
ここで、一例としてi番目の要素ホログラムHi用のSLM画像の合成方法を説明する。
まず、S1とHiを結んだ光線(図9中のS1からの左側破線)が多視点画像取得面と交わる点Ci1にカメラを置いて被写体を撮影する。この時、S1とHiを結んだ光線はカメラの光軸に対して+θo/2だけ傾いているので、S1とHiを結んだ線上にある被写体(の輝度値)は取得画像上では中心画素から
まず、S1とHiを結んだ光線(図9中のS1からの左側破線)が多視点画像取得面と交わる点Ci1にカメラを置いて被写体を撮影する。この時、S1とHiを結んだ光線はカメラの光軸に対して+θo/2だけ傾いているので、S1とHiを結んだ線上にある被写体(の輝度値)は取得画像上では中心画素から
だけ離れた画素に記録される。この画素を取り出して(合成すべき)SLM画像の第1画素とする。
次に、Sj(ただしj=2)とHiを結んだ光線(図9中のSjからの中間破線線)が多視点画像取得面と交わる点Cijにカメラを移動させて被写体を撮影する。この時、SjとHiを結んだ光線はカメラの光軸に対して+θo/2−θo/Nだけ傾いているので、SjとHiを結んだ線上にある被写体(の輝度値)は取得画像上では中心画素から
だけ離れた画素に記録される。この画素を取り出して(合成すべき)SLM画像の第j(j=2)画素とする。
このようにカメラを順次(j=2,3,…N)移動させながら多視点画像を撮影していく。
そして最後に、SNとHiを結んだ光線(図9中のSNからの右側破線)が多視点画像取得面と交わる点CiNにカメラを移動させて被写体を撮影する。SNとHiを結んだ光線はカメラの光軸に対して−θo/2だけ傾いているので、SNとHiを結んだ線上にある被写体(の輝度値)は取得画像上では中心画素から
だけ離れた画素に記録される。この画素を取り出して(合成すべき)SLM画像の第N画素とする。
これで要素ホログラムHi用のSLM画像を合成することができる。
この一連の作業を全ての要素ホログラム(Hi〜HK)に対して行うことで、必要な全てのSLM画像を合成することができる。図10は、この図7、図9に示した撮影手法によるSLM画像合成方法のフローチャートを示す(HPOホログラフィックステレオグラムの場合)。すなわち、図10に示すフローチャートのような手順で多視点画像の取得を行うことができる。ここで、iは要素ホログラム番号(1〜K)とし、jはSLM画素番号(1〜N)とする。撮影が開始すると、j=1,i=1に初期化され(ステップSa1)、ステッピングモータなどで移送させてカメラを位置Cij(j=1,i=1)まで移動する(ステップSa2)。次に、カメラシャッタを切って透視投影画像を取得し(ステップSa3)、要素ホログラムの座標Hi用SLM画像のj番画素をセットする(ステップSa4)。次に、要素ホログラムの座標Hiの1個に対してSLM画素番号jを判別し(ステップSa5)、j=Nとなるまでj増分1をもって(ステップSa6)、ステップSa2へ戻るループを繰り返し、j=Nが満たされたときに、次の要素ホログラムの座標Hiの要素ホログラム番号iを判別し(ステップSa7)、i=Kとなるまでi増分1をもって(ステップSa8)、ステップSa2へ戻るループを繰り返し、j=N,i=Kが満たされたときにすべての多視点画像の取得を終了する。
ところで、記録する要素ホログラム数Kは600×400としたので、例えば、空間光変調器244の画素数N(再生時の視点数になる)を64×64とすると、取得する2次元画像は600×400×64×64=9億8304万枚になる。この枚数を現実世界で取得することは不可能に近い。もちろん3DCGを利用して仮想空間で取得(描画)すれば現実世界よりも高速に処理できるが、それでも困難性を伴う。
そこで、1度取得した多視点画像を複数の要素ホログラムに対して再利用する手法が考えられる。ここからはその取得手法について説明する。
図11は要素ホログラムHi用のSLM画像を生成するためのカメラ位置を示している模式図である。要素ホログラム記録面と多視点画像取得面の距離をZとすると、カメラ間隔△dは簡単な幾何問題を解くことで次のように表せる。
さて、図11に示す要素ホログラムHiの1つ右隣の要素ホログラムHi+1を記録する場合、要素ホログラム間隔を△eとすると、カメラ位置を全て△eだけ図11の右に移動させて多視点画像を取得し直さなければならない。ここで、仮に△d=△eであれば、Ci+11を除いて、要素ホログラムHi用に取得した多視点画像をそのまま利用することができる。
△d=△eとなるためには、上記(1)式より、
という制約式が得られる。この制約式が成り立てば、画素数Nの空間光変調器244を用いてK個の要素ホログラムを記録する際に必要となる多視点画像の枚数はK+N枚ですむ。先の例の場合、K=600×400、N=64×64としたので(600+64)×(400+64)=30万8096枚になる。9億8304枚に比べれば圧倒的に少なくなるが、それでもなお、現実世界で取得することは不可能に近く、また、要素ホログラム記録面と多視点画像取得面の距離Zに制約があるため被写体のサイズを自由に設定することができないという欠点も生じる。
図12は図8に示した第2の手法で多視点画像を取得し、それらを元にSLM画像を合成する手順を説明するための模式図である。空間光変調器244の画素数や対物レンズの画角などは図9の説明で用いたものと同じとするので、同一のものの説明は省略する。
図12の場合は、カメラの光軸は常に注目している要素ホログラムに向いているので、各視点位置で取得した2次元画像の中心近傍画素を取り出して、それらを空間光変調器244の各画素と同じ順番で整列させることでSLM画像を合成することができる。この第2の手法は、取得画像のうち常に光軸近傍の画素を利用するため画角の狭いカメラを利用できるなどのメリットがある。
一方、この手法は、カメラの移動軌跡と要素ホログラム記録面が平行ではないため、図11で説明したように要素ホログラム記録面と多視点画像取得面の間隔Zに制約を与えて△d=△eとしても、一度取得した多視点画像を再利用することができない。その代わりに次に示すように近似を用いることで多視点画像枚数を少なくすることができる。
図13は、中心の要素ホログラムに対するSLM画像を合成する際の多視点画像(N枚)だけを用いて、全ての要素ホログラムに対するSLM画像を近似によって合成する手法を説明するための模式図である。この例では図中のHiを中心要素ホログラムとする。要素ホログラムの数をKとすると、i=(K+1)/2となる(ただし、Kは奇数)。図中に示したカメラ位置は要素ホログラムHiに対するSLM画像を合成するために必要となる多視点画像を取得する際の視点位置Cij(j=1,2,…N)である。取得された多視点画像の中心近傍画素を取り出して整列させることで、近似ではなく、要素ホログラムHi用のSLM画像を合成することができる。
次に、図13に示す要素ホログラムHiの1つ右隣の要素ホログラムHi+1用のSLM画像の合成について考える。本来であればカメラ位置を全て△eだけ右側に平行移動させて改めてN枚の多視点画像を取得する必要があるが、先ほど取得した多視点画像を再利用してHi+1用のSLM画像を近似によって合成する。そのためにはHi+1とCij(j=1,2,…N)を結んだ線がカメラ感光面と交わる点の画素を利用すれば良い。カメラの画角をθcとし、Hi+1とCi(要素ホログラム記録面と多視点画像取得面)の距離をZとすると、Hi+1とCijを結んだ線がカメラ感光面と交わる点は、中心画素よりも左に
だけずれた位置になる。
より一般的に書くと、中心要素ホログラムからm個だけ離れた要素ホログラムに対するSLM画像は、中心要素ホログラム用に取得した多視点画像の中心から
だけずれた画素を取り出して整列させることで合成できる。これはあくまでも近似であり、要素ホログラム全体のサイズ(要素ホログラム間隔×要素ホログラム数)に対して要素ホログラム記録面と多視点画像取得面の距離Zが充分大きい場合にのみ成り立つ。
ただし、ここで注意することがある。それは、カメラの光軸を常に被写体に向けることで、カメラの感光面と要素ホログラム記録面が非平行になってしまうことである。この場合、図12ないし図13に示したようにカメラで取得される画像はキーストン歪みが生じる。図12の手法(近似なし)では常に取得画像の中心画素しか利用しないのでキーストン歪みの影響は無視できたが、図13の手法では中心画素以外も利用するためキーストン歪み補正が必要となる。また、同じ理由で座標スケール補正も必要になる。これらの補正は多視点画像から該当画素を抜き出す前に施す必要がある。
ここで、キーストン歪み補正と座標スケール補正について説明する。
先ほど説明したように、中心の要素ホログラムからm個だけ離れた要素ホログラムに対するSLM画像を合成するために抜き出す画素を、カメラの光軸角度によらず、
だけ中心画素からずらすためには、取得画像内における全ての要素ホログラムの投影座標が、カメラの光軸角度によらず、常に同じになっている必要がある。別の言い方をすると、要素ホログラム記録面内においた厚みがゼロの被写体が全ての取得画像で同じように見えれば、先の手法で該当画素を抜き出して整列させることでSLM画像を近似合成できることになる。
図14は、要素ホログラム記録面に対してカメラの光軸が垂直の場合と、θだけ傾いた場合に取得される2次元画像を示す模式図である。視点1で取得した画像と視点2で取得した画像ではキーストン歪みにより被写体像の形が大きく異なることが分かる。
被写体像の変形の1つ目の理由は、カメラで取得される画像が透視投影像(遠近像)になるためである。つまり、カメラに近い物ほど大きく、遠い物ほど小さく写るためである。被写体の辺Aと辺Bは視点1に対して同じ距離にあるため視点1で取得した画像の辺Aと辺Bは同じ長さであるが、視点2に対しては辺Aの方が辺Bよりも遠くになるため、視点2で取得した画像の辺Aは辺Bよりも短くなってしまう。これがキーストン歪みである。すなわちキーストン歪みは非視差方向(この場合は垂直方向)に被写体のスケールが拡大縮小してしまう現象である。これを補正するためには次式で表される係数αで取得画像の非視差方向(この場合は垂直方向)を拡大縮小し直せば良い。
ただし、Lは取得画像の視差方向画素、lは中心画素から数えた視差方向画素番号で−L/2〜L/2である。
被写体像の変形の2つ目の理由は、要素ホログラム記録面とカメラ感光面が平行ではない場合、要素ホログラム面での視差方向座標軸xとカメラ感光面での視差方向座標軸xaのスケールが異なるためである。すなわち視差方向にの場合は水平方向)に被写体のスケールが拡大縮小してしまう現象である。これを補正するには係数β=1/cosθで取得画像の視差方向にの場合は水平方向)を拡大縮小し直せば良い。
図15は、この図12ないし図13に示した撮影手法によるSLM画像合成方法のフローチャートを示す(HPOホログラフィックステレオグラムの場合)。すなわち、図15に示すフローチャートのような手順で多視点画像の取得を行うことができる。ここで、iは要素ホログラム番号(1〜K)とし、jはSLM画素番号(1〜N)とする。撮影が開始すると、j=1に初期化され(ステップSb1)、ステッピングモータなどで移送させてカメラを位置Cij(ただし、iは中心の要素ホログラム番号に対応)まで移動する(ステップSb2)。次に、カメラシャッタを切って透視投影画像を取得し(ステップSb3)、各透視投影画像のキーストン歪み補正を実行し(ステップSb4)、各透視投影画像の座標スケール補正を実行し(ステップSb5)、抜き出す画素(要素ホログラムHi+1)を決める(ステップSb6)。次に、要素ホログラムの座標Hi用SLM画像のj番画素をセットする(ステップSb7)。次に、次の要素ホログラムの座標Hiの要素ホログラム番号iを判別し(ステップSb8)、i=Kとなるまでi増分1をもって(ステップSb9)、ステップSb6へ戻るループを繰り返し、i=Kが満たされたときに、要素ホログラムの座標Hiの1個に対してSLM画素番号jを判別し(ステップSb10)、j=Nとなるまでj増分1をもって(ステップSb11)、ステップSb2へ戻るループを繰り返し、i=K,j=Nが満たされたときにすべての多視点画像の取得を終了する。
この場合、先の例で取得する多視点画像の枚数はN=64×64=4096枚で済むので、辛うじて現実世界でも実現可能になってくる。また3DCG(3次元コンピュータグラフィックス)技術を利用した仮想空間であれば数分で生成することが可能である。ただし、これはあくまでも近似であり、中心の要素ホログラムから離れた要素ホログラムほど歪んだ画像になってしまうという欠点がある。そこで、この近似手法の改良型として、実際に多視点画像を取得する要素ホログラム(基準ホログラムともいう)を中心だけではなく、複数箇所に用意して、それ以外のホログラムに対するSLM画像を生成する際は、最も近くの基準ホログラムに対して取得した多視点画像群を利用するという手法も考えられる。この場合は、先の例で取得する多視点画像の枚数は4096×基準ホログラム数になるが近似を用いることによる画像の歪みは緩和される。
以上のような手法でSLM画像を準備したら印刷、すなわちホログラフィックプリンタで要素ホログラムの記録を開始する。
−<実施形態1>−
上記したように、SLM画像を合成するための多視点画像は膨大な枚数を必要とするため実在する被写体のみならず、3DCG(3次元コンピュータグラフィックス)技術により仮想被写体のフルパララックス・ホログラフィックステレオグラムを作成するためにも膨大な時間を要する。そこで、上記した構成を基本として、発明者は、時間を短縮し得るSLM画像の処理技術を鋭意研究した結果、画像パターン生成において、3DCGプログラム搭載コンピュータを用い、仮想的な被写体に対して仮想的なカメラを回転させながら多視点画像を取得して、上記のように透視投影画像を描画するのではなく、正射影画像を描画し、これらに基づいて複数の正射影画像からなるSLM画像データを生成する実施形態1にいたった。
上記したように、SLM画像を合成するための多視点画像は膨大な枚数を必要とするため実在する被写体のみならず、3DCG(3次元コンピュータグラフィックス)技術により仮想被写体のフルパララックス・ホログラフィックステレオグラムを作成するためにも膨大な時間を要する。そこで、上記した構成を基本として、発明者は、時間を短縮し得るSLM画像の処理技術を鋭意研究した結果、画像パターン生成において、3DCGプログラム搭載コンピュータを用い、仮想的な被写体に対して仮想的なカメラを回転させながら多視点画像を取得して、上記のように透視投影画像を描画するのではなく、正射影画像を描画し、これらに基づいて複数の正射影画像からなるSLM画像データを生成する実施形態1にいたった。
これによって多視点画像の取得枚数を大幅に減らせるので、ホログラフックステレオグラムの作成時間を短縮することができる。また近似を用いていないので合成されるSLM画像の歪みが無くなり最終的に作成されるホログラフイックステレオグラムの品質を向上させることができる。
実施形態1は、3DCG技術を用いて、全て仮想空間内に仮想被写体を生成し、それを仮想カメラで撮影することを前提としている。3DCG技術によれば、仮想カメラにより上記の平行移動撮影(図7)や回転移動撮影(図8)による透視投影画像の多視点画像を取得できるが、この実施形態1では正射影画像を用いることで、その取得枚数を大幅に削減することができる。
図16は本実施形態の多視点画像を生成する画像処理方法を用いてSLM画像を合成する手順を説明するための模式図である。
基本的には図16は図13と同じであるが、仮想カメラによる画像取得(描画)を正射影で行っている。正射影であるので、取得される画像は距離感(立体感)がなくなる。別の言い方をするなら、被写体(要素ホログラム記録面)とカメラの距離は幾つであっても同じ画像が得られる。このことはカメラの移動方法として、被写体との距離を一定に保ったまま被写体を囲むように回転移動させる必要はなくなり、カメラの光軸(感光面の法線方向)が常に被写体を向いていれば水平移動であっても良いことを意味する。この際、カメラの間歇的撮影のための移動間隔としては光軸と要素ホログラム記録面の成す角度が等間隔になるように設定することが望ましい。
中心の要素ホログラム(図16ではHi)に対して多視点画像を取得し、それらを元にSLM画像を合成する手順は、図12もしくは図13を用いて説明した手順と同じである。だが、本実施形態では、被写体、特に正面を向いた板状被写体からある視点位置にて取得した1枚の2次元画像が全ての要素ホログラムに対して利用できる特徴がある。
例えば、図16中のCijは、空間光変調器244の中心画素に対応する対物レンズ上の点Sjと中心の要素ホログラムHiを結んだ線上に置いた視点であるが、ここにカメラを置いて正射影画像を取得(描画)すると、各要素ホログラムから発する光線のうち対物レンズの光軸と平行な光線を一度に取得(描画)することができる。
要素ホログラム数をKとし、ちょうど全ての要素ホログラムが入る空間を撮影する場合、取得された正射影画像の画素数がLならば、その画像上にはL/(K−1)の画素間隔で全ての要素ホログラムの像が並ぶ。
つまり、1枚の正射影画像から、最終的に合成すべきN枚のSLM画像の中心画素をまとめて取得できる訳である。したがって、カメラ位置をCi1からCiNまで移動させながらN枚の正射影画像を取得(描画)するだけで、近似を用いることなく、全ての要素ホログラムに対するSLM画像を合成できる。
さらに、図13の場合では透視投影画像のキーストン歪み補正が必要であったが、本実施形態では正射影画像ゆえにそれは必要なくなるという利点がある。
図17は、この図16にて説明した本発明による実施形態の多視点画像を生成する画像処理方法に示した撮影手法によるSLM画像合成方法のフローチャートを示す(HPOホログラフィックステレオグラムの場合)。すなわち、図17に示すフローチャートのような手順で多視点画像の取得を実行ができる。ここで、iは要素ホログラム番号(1〜K)とし、jはSLM画素番号(1〜N)とする。撮影が開始すると、j=1に初期化され(ステップSc1)、ステッピングモータなどで移送させてカメラを位置Cij(ただし、iは中心の要素ホログラム番号に対応)まで移動する(ステップSc2)。次に、カメラシャッタを切って正射影画像を取得し(ステップSc3)、各正射影画像の座標スケール補正を実行し(ステップSc4)、要素ホログラムの座標Hi用SLM画像のj番画素をセットする(ステップSc5)。
次に、次の要素ホログラムの座標Hiの要素ホログラム番号iを判別し(ステップSc6)、i=Kとなるまでi増分1をもって(ステップSc7)、ステップSc5へ戻るループを繰り返し、i=Kが満たされたときに、要素ホログラムの座標Hiの1個に対してSLM画素番号jを判別し(ステップSc8)、j=Nとなるまでj増分1をもって(ステップSc9)、ステップSc2へ戻るループを繰り返し、i=K,j=Nが満たされたときにすべての多視点画像(SLM画像)の取得を終了する。
次に、次の要素ホログラムの座標Hiの要素ホログラム番号iを判別し(ステップSc6)、i=Kとなるまでi増分1をもって(ステップSc7)、ステップSc5へ戻るループを繰り返し、i=Kが満たされたときに、要素ホログラムの座標Hiの1個に対してSLM画素番号jを判別し(ステップSc8)、j=Nとなるまでj増分1をもって(ステップSc9)、ステップSc2へ戻るループを繰り返し、i=K,j=Nが満たされたときにすべての多視点画像(SLM画像)の取得を終了する。
このように、実施形態1においては、3DCGを用いて、仮想空間にて仮想カメラにて仮想被写体を撮影して、仮想カメラの感光面か複数の正射影画像の画像データを取得し、これらに基づいて複数の正射影画像の画像データを取得し、これらから多視点画像(SLM画像)を合成し、ホログラフィックプリンタによりホログラフィックステレオグラムを作成する。
−<実施形態2>−
上記実施形態1を含む手法でフルパララックス・ホログラフィックステレオグラムを作成するためには、水平方向と垂直方向にカメラ位置を2次元的に移動させて取得した多視点画像が少なくとも1組は必要であった。例えば、視点数をN=64×64とする場合、多視点画像は少なくとも4096枚必要であった。
上記実施形態1を含む手法でフルパララックス・ホログラフィックステレオグラムを作成するためには、水平方向と垂直方向にカメラ位置を2次元的に移動させて取得した多視点画像が少なくとも1組は必要であった。例えば、視点数をN=64×64とする場合、多視点画像は少なくとも4096枚必要であった。
本実施形態2は、印刷光学系、特に要素ホログラムを露光する対物レンズが回転対象であることを鑑みて、多視点画像の取得枚数をさらに削減する手法である。
図18はフルパララックス・ホログラフィックステレオグラムを作成するときに上記の画像処理アルゴリズムで作成したSLM画像の一例の正面図である。視差数はN=64×64とした。破線の円は対物レンズの瞳の外縁を示している(空間光変調器244には平行光が入射するので、空間光変調器244の表示面の座標と対物レンズ246の瞳面の座標は1対1に対応する)。
要素ホログラムとして記録される物体光は図18中の破線の円の内側だけであり、それ以外の領域は必要ない。そこで、SLM画像を合成する際に、対物レンズ瞳の外側領域に相当する多視点画像は取得(生成)しないようにする。すなわち、実施形態2においては、フルパララクス・ホログラフィックステレオグラムを作成する時に、物体光を集光する対物レンズ246の瞳の内側に相当する視点位置だけから多視点画像を取得する。
実施形態2を実行するアルゴリズムを図19に示す。
図19は、この本発明による実施形態2の多視点画像を生成する画像処理方法に示したSLM画像合成方法のフローチャートを示す(HPOホログラフィックステレオグラムの場合)。すなわち、図19に示すフローチャートのような手順で多視点画像の取得を実行ができる。ここで、ixは水平方向の要素ホログラム番号(1〜Kx)と、iyは垂直方向の要素ホログラム番号(1〜Ky)と、jxは水平方向のSLM画素番号(1〜Nx)と、jyは垂直方向のSLM画素番号(1〜Ny)と、RはSLM画像上での対物レンズ瞳半径とする。撮影が開始すると、ix=1,iy=1に初期化され(ステップSd1)、要素ホログラムが対物レンズの瞳半径Rの内部であるか否か、すなわちix2+iy2≦R2を判別し(ステップSd2)、対物レンズの瞳の内部であれば、ステッピングモータなどで移送させてカメラを位置C(ix,iy)(jx,jy)(ただし、(ix,iy)(jx,jy)は中心の要素ホログラム番号に対応)まで移動する(ステップSd3)。次に、カメラシャッタを切って正射影画像を取得し(ステップSd4)、各正射影画像の座標スケール補正を実行し(ステップSd5)、要素ホログラムの座標Hix,iy用SLM画像のix,iy番画素をセットする(ステップSd6)。次に、要素ホログラムの座標Hix,iyの要素ホログラム番号ixを判別し(ステップSd7)、ix=Kxとなるまでix増分1をもって(ステップSd8)、ステップSd6へ戻るループを繰り返し、ix=Kxが満たされたときに、要素ホログラムの座標Hix,iyの要素ホログラム番号iyを判別し(ステップSd9)、iy=Kyとなるまでiy増分1をもって(ステップSd10)、ステップSd6へ戻るループを繰り返し、iy=Kyが満たされたときに、要素ホログラムの座標Hix,iyの1個に対してSLM画素番号jyを判別し(ステップSd11)、jy=Nyとなるまでjy増分1をもって(ステップSd12)、ステップSd2へ戻るループを繰り返し、jy=Nyが満たされたときに、要素ホログラムの座標Hix,iyの1個に対してSLM画素番号jxを判別し(ステップSd13)、jx=Nxとなるまでjx増分1をもって(ステップSd14)、ステップSd2へ戻るループを繰り返し、jx=Nxが満たされたときに、すべての多視点画像の取得を終了する。
これにより、取得する多視点画像枚数をπ/4=0.785倍に減らすことが可能になる。先の例の場合、4096×0.785≒3216枚になる。
なお、実施形態2は、3DCG(3次元コンピュータグラフィックス)技術を用いて、全て仮想空間内に仮想被写体を生成し、それを仮想カメラで撮影するだけではなく、現実世界で図7、図8に説明したカメラによる多視点画像の取得に対しても有効である。
−<実施形態3>−
上記実施形態1の手法ではフルパララックス・ホログラフィックステレオグラム用の複数の正射影画像を獲得するために、3DCG技術を用いて全て仮想空間内に仮想被写体を生成し、それを仮想カメラで撮影することを前提としているが、図7、図8に説明した多視点画像の取得方法において、カメラに、直交カメラ、オルソグラフィックカメラと呼ばれるテレセントリック光学系を含む撮影装置を用いることによっても、複数の正射影画像を獲得することができる。
上記実施形態1の手法ではフルパララックス・ホログラフィックステレオグラム用の複数の正射影画像を獲得するために、3DCG技術を用いて全て仮想空間内に仮想被写体を生成し、それを仮想カメラで撮影することを前提としているが、図7、図8に説明した多視点画像の取得方法において、カメラに、直交カメラ、オルソグラフィックカメラと呼ばれるテレセントリック光学系を含む撮影装置を用いることによっても、複数の正射影画像を獲得することができる。
テレセントリック光学系はその入射瞳及び射出瞳の少なくとも一方が可視波長でほぼ無限遠にある光学系として知られている。
テレセントリック光学系では、系の像側焦点に絞りを配置し入射瞳を無限遠とするものを物体側テレセントリックレンズ系と、系の物体側焦点に絞りを配置し射出瞳を無限遠とするものを像側テレセントリックレンズ系と、系の一致した像側及び物体側焦点に絞りを配置し入射瞳及び射出瞳両方とも無限遠にあるものを両側テレセントリックレンズ系と呼ばれている。焦点距離は無限大である両側テレセントリックレンズ系や物体側テレセントリック光学系は測長など寸法測定用カメラなどに用いられ、感光面に達する光束は像面のどこでも光軸に垂直になるのでCCDなど画素にマイクロレンズが装着されているデジタルカメラ、ステッパなどに、像側テレセントリック光学系が採用されこともある。
テレセントリック光学系では、系の像側焦点に絞りを配置し入射瞳を無限遠とするものを物体側テレセントリックレンズ系と、系の物体側焦点に絞りを配置し射出瞳を無限遠とするものを像側テレセントリックレンズ系と、系の一致した像側及び物体側焦点に絞りを配置し入射瞳及び射出瞳両方とも無限遠にあるものを両側テレセントリックレンズ系と呼ばれている。焦点距離は無限大である両側テレセントリックレンズ系や物体側テレセントリック光学系は測長など寸法測定用カメラなどに用いられ、感光面に達する光束は像面のどこでも光軸に垂直になるのでCCDなど画素にマイクロレンズが装着されているデジタルカメラ、ステッパなどに、像側テレセントリック光学系が採用されこともある。
図20に両側テレセントリックレンズ系の模式図を示す。テレセントリック光学系においては、被写体側レンズ51と感光面側レンズ52の一致した焦点位置(f51−f52)に設けられた絞り53により、高さHの被写体側から光軸に対して斜めに被写体側レンズ51に入射した光線は焦点の絞り53を通過できず、光軸に平行に被写体側レンズ51に入射する光線(主光線)のみが、絞り53を通過して感光面側レンズ52により感光面に像高hの像として結像される。よって、被写体がどの位置にあっても系の感光面では像高hが維持された正射影画像が得られる。
テレセントリック光学系は、平行光線を導くために被写体サイズ(高さH)を超える口径の物側光学系を必要とする。そのため、被写体サイズが大きい場合は、被写体又はテレセントリックレンズ系カメラを相対的に精密に移動して複数枚の画像を取り込み、それらを合成して一枚の正射影画像とする。または、複数のテレセントリックレンズ系カメラ(感光面)を被写体に平行に向け同時に複数枚撮影して、それらを合成して一枚の正射影画像とする方法もある。
さらに、被写体サイズが大きい又は遠方の場合は、テレセントリック光学系には図21に示すように、凹面鏡55、例えば反射面に回転放物面を使った凹面鏡である放物面鏡を用いることもできる。被写体側光学系に大口径の放物面鏡55を使用したテレセントリック光学系の場合でも、放物面鏡55と感光面側レンズ52の一致した焦点位置(f55−f52)に設けられた絞り53を被写体(高さH)から通過する主光線が感光面側レンズ52により感光面に像高hの正射影画像が結像される。大口径の凹面鏡55には、ニュートン式、カセグレン式、グレゴリー式、ナスミス式、シュミット式など望遠鏡で用いられている形態でも利用できる。
このように、実施形態3においては、テレセントリック光学系撮影装置を用いて、実空間にて被写体を撮影して、テレセントリック光学系撮影装置の感光面を介し光電変換して複数の正射影画像の画像データを取得し、これらに基づいて複数の正射影画像の画像データを取得し、これらから多視点画像パターン(SLM画像)を合成し、ホログラフィックプリンタによりホログラフィックステレオグラムを作成することができる。
21 レーザ光源
22 制御部
23 シャッター
24 光学系
31 感光シート
35 ステージ
41 2軸ステッピングモータ
51 被写体側レンズ
52 感光面側レンズ
f51−f52、f55−f52 焦点位置
53 絞り
55 凹面鏡
241 コリメータレンズ
242 ビームスプリッタ
243、245、247 鏡
244 空間光変調器
246 対物レンズ
22 制御部
23 シャッター
24 光学系
31 感光シート
35 ステージ
41 2軸ステッピングモータ
51 被写体側レンズ
52 感光面側レンズ
f51−f52、f55−f52 焦点位置
53 絞り
55 凹面鏡
241 コリメータレンズ
242 ビームスプリッタ
243、245、247 鏡
244 空間光変調器
246 対物レンズ
Claims (12)
- 被写体とカメラの相対位置を変更しながら、複数の異なる視点位置から被写体を撮影することで複数の正射影画像の画像データを取得するステップと、
前記複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する画像パターンの画像データを合成するステップと、を含むことを特徴とする画像データ生成方法。 - 前記被写体、前記カメラはそれぞれ、3次元コンピュータグラフィックスプログラムを搭載したコンピュータにより計算して生成された仮想被写体、仮想カメラであり、前記コンピュータにより、前記正射影画像の画像データを取得することを特徴とする請求項1記載の画像データ生成方法。
- 前記カメラはテレセントリック光学系を含む撮影装置であり、固定した被写体に対してカメラが公転もしくは固定したカメラに対して被写体が自転するように相対的に運動させて、又はカメラの光軸を常に被写体に向けカメラを水平移動させて複数の画像データを間歇的に取得することを特徴とする請求項1記載の画像データ生成方法。
- 被写体とカメラの相対位置を変更しながら、複数の異なる視点位置から被写体を撮影することで複数の正射影画像の画像データを取得する正射影画像取得部と、
前記複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する画像パターンの画像データを合成する画像パターン生成部と、を含むことを特徴とする画像データ生成装置。 - 前記被写体、前記カメラはそれぞれ、3次元コンピュータグラフィックスプログラムを搭載したコンピュータにより計算して生成された仮想被写体、仮想カメラであり、前記コンピュータにより、前記正射影画像の画像データを取得することを特徴とする請求項4記載の画像データ生成装置。
- 前記カメラはテレセントリック光学系を含む撮影装置であり、固定した被写体に対してカメラが公転もしくは固定したカメラに対して被写体が自転するように相対的に運動させて、又はカメラの光軸を常に被写体に向けカメラを水平移動させて複数の画像データを間歇的に取得することを特徴とする請求項4記載の画像データ生成装置。
- 被写体の多視点画像を複数の要素ホログラムの各々に記録するホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成システムであって、
被写体とカメラの相対位置を変更しながら、複数の異なる視点位置から被写体を撮影することで複数の正射影画像の画像データを取得する正射影画像取得部と、前記複数の正射影画像の画像データから、ホログラフィックステレオグラムに記録するための物体光を変調する画像パターンの画像データを合成する画像パターン生成部と、を備えた画像データ生成装置と、
前記画像パターンの画像データに基づき物体光を生成する空間光変調器と、
参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、を含むことを特徴とするホログラフィックステレオグラム作成システム。 - 前記被写体、前記カメラはそれぞれ、3次元コンピュータグラフィックスプログラムを搭載したコンピュータにより計算して生成された仮想被写体、仮想カメラであり、前記コンピュータにより、前記正射影画像の画像データを取得することを特徴とする請求項7記載のホログラフィックステレオグラム作成システム。
- 前記カメラはテレセントリック光学系を含む撮影装置であり、固定した被写体に対してカメラが公転もしくは固定したカメラに対して被写体が自転するように相対的に運動させて、又はカメラの光軸を常に被写体に向けカメラを水平移動させて複数の画像データを間歇的に取得することを特徴とする請求項7記載のホログラフィックステレオグラム作成システム。
- 多視点画像の画像データに基づき物体光を生成する空間光変調器と、参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、により、フルパララクス・ホログラフィックステレオグラムを作成するための画像データ生成方法であって、前記対物レンズの瞳の内側に相当する視点位置だけから多視点画像を取得することを特徴とする画像データ生成方法。
- 多視点画像の画像データに基づき物体光を生成する空間光変調器と、参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、により、フルパララクス・ホログラフィックステレオグラムを作成するための画像データ生成装置であって、前記対物レンズの瞳の内側に相当する視点位置だけから多視点画像を取得することを特徴とする画像データ生成装置。
- 多視点画像から物体光を変調する画像パターンを生成する画像データ生成装置と、画像パターンに基づき物体光を生成する空間光変調器と、参照光が照射されているホログラム記録媒体上に、物体光を集光して要素ホログラムを記録する対物レンズと、を有したホログラフィックステレオグラム作成装置であって、対物レンズの瞳の内側に相当する視点位置だけからの多視点画像を取得することを特徴とするホログラフィックステレオグラム作成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010142755A JP2012008252A (ja) | 2010-06-23 | 2010-06-23 | 画像データ生成方法及びその装置ならびにホログラフィックステレオグラム作成システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010142755A JP2012008252A (ja) | 2010-06-23 | 2010-06-23 | 画像データ生成方法及びその装置ならびにホログラフィックステレオグラム作成システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012008252A true JP2012008252A (ja) | 2012-01-12 |
Family
ID=45538903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010142755A Pending JP2012008252A (ja) | 2010-06-23 | 2010-06-23 | 画像データ生成方法及びその装置ならびにホログラフィックステレオグラム作成システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012008252A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017083562A (ja) * | 2015-10-26 | 2017-05-18 | 国立研究開発法人情報通信研究機構 | ホログラムデータ生成装置およびそのプログラム |
KR102190773B1 (ko) * | 2019-12-11 | 2020-12-14 | 인하대학교 산학협력단 | 라이트필드 변환 기술과 딥러닝을 적용한 홀로그램 스페클 제거 방법 및 장치 |
CN112824968A (zh) * | 2019-11-20 | 2021-05-21 | 宁波舜宇车载光学技术有限公司 | 投影设备和方法 |
-
2010
- 2010-06-23 JP JP2010142755A patent/JP2012008252A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017083562A (ja) * | 2015-10-26 | 2017-05-18 | 国立研究開発法人情報通信研究機構 | ホログラムデータ生成装置およびそのプログラム |
CN112824968A (zh) * | 2019-11-20 | 2021-05-21 | 宁波舜宇车载光学技术有限公司 | 投影设备和方法 |
CN112824968B (zh) * | 2019-11-20 | 2022-08-16 | 宁波舜宇车载光学技术有限公司 | 投影设备和方法 |
KR102190773B1 (ko) * | 2019-12-11 | 2020-12-14 | 인하대학교 산학협력단 | 라이트필드 변환 기술과 딥러닝을 적용한 홀로그램 스페클 제거 방법 및 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Okano et al. | Real-time integral imaging based on extremely high resolution video system | |
Stern et al. | Three-dimensional image sensing, visualization, and processing using integral imaging | |
US7261417B2 (en) | Three-dimensional integral imaging and display system using variable focal length lens | |
JP3744559B2 (ja) | 立体カメラ、立体ディスプレイ、及び、立体映像システム | |
Hong et al. | Three-dimensional visualization of partially occluded objects using integral imaging | |
JP5258049B2 (ja) | 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム | |
JP3394149B2 (ja) | 立体像再生装置 | |
TWI452453B (zh) | 彩色全像影像的合成系統 | |
TWI452451B (zh) | 全像影像的合成系統 | |
JP2012008252A (ja) | 画像データ生成方法及びその装置ならびにホログラフィックステレオグラム作成システム | |
Javidi et al. | Three-dimensional holographic image sensing and integral imaging display | |
JPH09113846A (ja) | 立体画像表示装置及びその方法 | |
JP5397980B2 (ja) | 立体映像撮影装置および立体映像撮影方法 | |
KR20160098589A (ko) | 홀로그램 3d 영상의 촬영 및 표출장치 | |
KR101404183B1 (ko) | 홀로그램 생성 장치 및 방법 | |
TWI452452B (zh) | 全像影像的合成系統 | |
EP1241537A1 (en) | Hologram forming method | |
KR101608753B1 (ko) | 초점 이동 영상 촬영을 통한 3차원 컨텐츠 생성 방법 및 장치 | |
JPH1020754A (ja) | 画像データ生成方法 | |
JP2003075946A (ja) | 立体撮像装置 | |
JP2012008298A (ja) | 3次元映像表示装置 | |
JP5099825B2 (ja) | 干渉縞データ生成装置、干渉縞データ生成方法及び干渉縞データ生成プログラム | |
Kinoshita et al. | Computer-generated holograms at an arbitrary viewpoint synthesized from multi-view images | |
JP4820187B2 (ja) | 立体画像撮像表示システム、立体画像撮像装置および立体画像生成装置 | |
Okano | 3D TV with integral imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140708 |