JP2008249773A - 三次元光線取得装置 - Google Patents

Abstract

【課題】省スペースな構成で、所定の照明条件下での光線情報を取得することが可能な三次元光線取得装置を提供する。
【解決手段】被写体からの光を透過する第１光学素子と、前記第１光学素子の光軸上に配置され当該第１光学素子からの光を結像する第２光学素子と、前記第２光学素子により結像された光を前記光線情報として取得する撮像手段とを有する撮像光学系と、一又は複数の光源と、前記光源からの照明光を集光する第３光学素子とを有する照明光学系と、を備え、前記照明光学系は、前記第３光学素子により集光された照明光を、前記撮像光学系の第１光学素子を通じて前記被写体に照射する。
【選択図】 図２０

Description

本発明は、三次元画像再生装置に表示する光線情報を得るための三次元光線取得装置に関する。

従来より、奥行きをもつ物体の三次元の光線情報を取得するため、多数のカメラや移動カメラ等が用いられている。また、光線情報の取得に関し、従来種々の技術が提案されている。例えば、平行光線を選択的に取得し、走査するという技術が提案されている（例えば、特許文献１参照）。また、レンズアレイとリレーレンズを用いて、インテクグラルフォトグラフィー方式の光線情報を取得するのに際し、２重の光学素子とリレーレンズを用いて正立化させ、走査で画角を広げるといった技術が提案されている（例えば、特許文献２参照）。

特開平１１−８８６３号公報 特開２００４−３０７８００公報

しかしながら、上記した特許文献１、２の技術では、被写体に照明光を照射する照明光学系については、何ら考慮されておらず、被写体の撮像を行う撮像光学系とは、独立した構成となっているため、装置が大型化するという問題点がある。また、照明角度や色調等の照明条件を固定して用いているため、一定の照明条件下での撮像しか行うことができないという問題があった。

本発明は、上記に鑑みてなされたものであって、省スペースな構成で、所定の照明条件下での光線情報を取得することが可能な三次元光線取得装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、被写体からの光を透過する第１光学素子と、前記第１光学素子の光軸上に配置され当該第１光学素子からの光を結像する第２光学素子と、前記第２光学素子により結像された光を前記光線情報として取得する撮像手段とを有する撮像光学系と、一又は複数の光源と、当該光源からの照明光を集光する第３光学素子とを有する照明光学系と、を備え、前記照明光学系は、前記第３光学素子により集光された照明光を、前記撮像光学系の第１光学素子を通じて前記被写体に照射することを特徴とする。

本発明によれば、照明光を被写体に照射する照明光学系として、撮像光学系に含まれた第１光学素子を共有する。これにより、撮像光学系と照明光学系とで第１光学素子を共用する場合、一般に両光学系は近接して設けられることになるため、省スペース化を図ることができる。

以下に添付図面を参照して、三次元光線取得装置の最良な実施形態を詳細に説明する。ここで、三次元光線取得装置は、三次元画像再生装置を用いて三次元画像を再生する場合に、その再生に必要な三次元の光線情報を取得するための装置である。まず、本実施形態の三次元光線取得装置を説明する前に、三次元画像再生装置について説明する。

［Ａ］三次元画像再生装置
まず、三次元画像を表示する三次元画像再生装置１００について図１〜図４に基づいて説明する。

（１）三次元画像再生装置の概略
図１は、三次元画像再生装置１００の概略構成を示す図である。液晶ディスプレイ１０１は、ＲＧＢ３原色のサブピクセルが後述のようにマトリクス平面状に配置されたカラー液晶表示画面を有する。この液晶ディスプレイ１０１は駆動装置１０５により電気的に駆動され、表示画面の各列に視差情報が表示される。液晶ディスプレイ１０１の背面側にはバックライト１０３が配置されており、バックライト用電源１０４から供給される駆動電力により、このバックライト１０３から発せられた光は液晶ディスプレイ１０１の表示画面を照らす。

光線制御素子として用いられるピンホールアレイ板１０２は、バックライト１０３とは反対側、つまり液晶ディスプレイ１０１の表示画面と観察者１０８との間の位置に配置されている。このピンホールアレイ板１０２の各ピンホール１０９から射出される光線群により三次元実像１０６が再生され、観察者１０８により認識される。

また、ピンホールアレイ板１０２から三次元実像１０６とは逆方向に光線を辿っていくことにより、三次元虚像１０７を再生することもできる。さらに、ピンホールアレイ板１０２の前後に連続的に三次元像を再生させることも可能である。なお、ピンホール１０９に代えて公知のマイクロレンズアレイ１１２としてもよい。

（２）三次元画像再生装置の構成
三次元画像再生装置１００は、ＲＧＢの混色において色割れのない、自然で高精細な三次元画像を再生することができるように以下の構成を有している。図２は、図１に示した三次元画像再生装置１００と三次元実像１０６との位置関係を上から見た図である。観察者１０８から見てピンホールアレイ板１０２の後ろ側に配置される液晶ディスプレイ１０１は、角度に応じて微妙に見え方の違う視差画像群、すなわち多視点画像を表示する。この多視点画像から発せられた光は、いずれかのピンホール１０９を通って多数の視差画像光線群となり、これらが集光されて三次元実像１０６が再生される。

多視点画像を平面的に表示する液晶ディスプレイ１０１において、その最小の駆動単位はＲ（赤）、Ｇ（緑）、Ｂ（青）の各サブピクセルである（図４参照）。Ｒ、Ｇ、Ｂの３つのサブピクセルによって色を再現することができる。各サブピクセルは、各々からピンホール１０９の中心を通る直線が、表示空間上の三次元画像と交わる点（表示点）に輝度及び色の情報を表示する。なお、同一のピンホール１０９を通る同一サブピクセルからの直線が、三次元画像と交わる点は一般に複数存在するが、観察者側に最も近い点を表示点とする。例えば、図２の例では、Ｐ２よりも観察者１０８により近い点Ｐ１を表示点とする。

（３）三次元画像再生装置の他の態様
図３は、図１のピンホールアレイ板１０２に代えてスリットアレイ板１１０を配置した場合を示す図である。ここで、スリットアレイ板１１０は、垂直方向（又は水平方向）にかけて形成された複数の孔部（スリット１１１）により構成されている。なお、図４は、スリットアレイ板１１０を正面から見た概略図を示している。

光線制御素子としてスリットアレイ板１１０を用いる場合、垂直方向の屈折率は微少であるため垂直方向の視差は放棄される。スリットアレイ板１１０はピンホールアレイ板１０２よりも製作が容易であり、ピンホールアレイ板１０２と同様に色分離のない自然で高精細な立体像を再生できる。なお、スリットアレイ板１１０に代えて、水平方向又は垂直方向に曲率を有した複数のシリンドリカルレンズから構成されるレンチキュラーシート１１３を用いることとしてもよい。

［Ｂ］三次元光線取得装置の理論
上述した三次元画像再生装置１００では、光線情報に準じた配置の画素を、光線情報をピンホールアレイ板１０２の背面に表示することで、光線情報の再生を行う。このような表示を行うためには、三次元画像再生装置１００の構成、具体的には光線制御素子等の光学特性に応じた光線情報を取得する必要がある。

そこで、三次元光線取得装置２００では、後述する図７、８に示したような構成を採用することにより、三次元画像再生装置１００の構成に応じた光線情報を取得する。ここで、レンズＬ１が、三次元画像再生装置１００での光線制御素子に相当し、被写体からの光線角度をレンズＬ２上の所定の位置に変換する。また、結像レンズＬ３は視差なし方向の画像を透視画像として結像し、レンズＬ２上の視差あり方向の光線情報を取得に供するものである。なお、「光線情報」は、反射光、透過光、自発光の光を含む概念であるものとする。

［Ｃ］三次元光線取得装置
次に、三次元光線取得装置２００の実施形態について図面に基づいて説明する。

以下、図５〜図８を参照して、三次元光線取得装置２００について説明する。
（１）三次元光線取得装置２００の構成
三次元光線取得装置２００では撮像及び照明に係る光学系と、その光学系を可動させ走査する駆動系と、駆動毎に画像データを取得（撮像）する撮像部で構成される。図５は、三次元光線取得装置２００の平面図を示しており、図６は、三次元光線取得装置２００の側面図を示している。なお、図５、６では、筐体２０１内の撮像に係る光学系（以下、撮像光学系という）と撮像部Ｒのみを示している。

図５、図６に示したように、撮像光学系として、レンズＬ１、レンズＬ２、結像レンズＬ３、ミラーＭ１、ミラーＭ２、ミラーＭ３等を備える。ミラーＭ１はレンズ越しの光軸を９０度曲げる作用を持つ。また、ミラーＭ２、Ｍ３はミラーＭ１からの光を受け、結像レンズＬ３に折り返す効果を持つ。また、光線情報を取得する撮像部Ｒは、結像レンズＬ３の後段に配置される。ここで、撮像部Ｒとして、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像手段を用いるものとする。

（２）直交座標系の定義
光線情報を表す直交座標系として、平面図（図５）の水平方向（図６において紙面に平行な面）を水平方向（ｘ軸とｙ軸からなる面）とし、平面図の垂直方向（図６において紙面に垂直な方向）を垂直方向（ｚ軸方向）と呼ぶ。このｘ、ｙ、ｚ座標系によれば、レンズＬ１、レンズＬ２、ＣＣＤやＣＭＯＳといった二次元画像を撮像できる撮像部Ｒはｙ軸方向に延設されている。そして、撮像部Ｒの走査方向は、ｘ軸方向となる。

（３）三次元光線取得装置２００の動作
レンズＬ１、レンズＬ２、ミラーＭ１は一体的にｘ軸方向に可動する。ミラーＭ２とミラーＭ３は一体的に設置され、レンズＬ１、レンズＬ２、ミラーＭ１の移動速度の半分の移動速度でｘ軸方向に可動する。このようにすることによって、走査による移動があってもレンズＬ１からの光路長は変化しない。このミラーＭ１、ミラーＭ２、ミラーＭ３のミラーの形状はレンズ越しの画像取得範囲となる。

（４）三次元光線取得装置２００の原理
図７、図８は、三次元光線取得装置２００のミラーＭ１〜Ｍ３等による光線の折り返しを省略し、光学系の光線を直線的に示した図である。なお、図７は三次元光線取得装置２００の側面図を示しており、図７は三次元光線取得装置２００の平面図を示している。

図７、８において、距離ａは、レンズＬ１とレンズＬ２との間の距離を示しており、距離ｂは、レンズＬ２と結像レンズＬ３との間の距離を、距離ｃは、結像レンズＬ３と撮像部Ｒとの間の距離を示している。

ここで、レンズＬ１の焦点距離ｆ１が、ｆ１＝ａであり、レンズＬ２の焦点距離ｆ２が、−１／ｆ２＝１／ａ−１／ｂであるものとする。また、結像レンズＬ３については、水平方向の焦点距離ｆ３ｈと、垂直方向の焦点距離ｆ３ｖとが異なるものとすると、水平方向の焦点距離ｆ３ｈは、下記（１）式の関係式に基づいて決定される。さらに、垂直方向の焦点距離ｆ３ｖは、下記（２）式の関係式に基づいて決定される。なお、レンズＬ１〜Ｌ３を挟んで像側（図中右方向）を正（＋）、被写体となる物体側（図中左方向）を負（−）としている。

水平方向： １／（ａ＋ｂ）−１／ｃ＝−１／ｆ３ｈ （１）
垂直方向： １／ｂ−１／ｃ＝−１／ｆ３ｖ （２）

つまり、レンズＬ１は水平方向では被写体からの平行光をレンズ幅で集め、レンズＬ２上に集光するその光は、当該レンズＬ２を介して結像レンズＬ３により撮像部Ｒ上に結像される。垂直方向ではレンズＬ１レンズ面（走査面表面）の像（ある程度の被写体深度を有する）が、撮像部Ｒ上に結像される。

上記した光学系とすることで、レンズＬ１面での平行光の角度分布を撮像部Ｒの画素数だけ被写体の視差を取得できる。このように、レンズＬ２をレンズＬ１と結像レンズＬ３との間に配置するとで、広い角度範囲を撮像部Ｒ上に入れ込むことができる。垂直方向では、視差なく被写体の像を結像できる。被写体の水平方向の像は走査することで得ることができる。この走査して撮像部Ｒで撮像した画像は、図示しないメモリに記憶される。

なお、レンズＬ１を、スリット（又はピンホール）に代えることとしてもよい。この場合、三次元画像再生装置１００の、スリットアレイ板１１０（又はピンホールアレイ板１０２）の光学特性に応じたサイズとすることが好ましい。また、レンズＬ２により、レンズＬ１と結像レンズＬ３とが共役像関係にある場合、結像レンズＬ３をスリットとすることで、上記同様の効果を得ることができる。また、結像レンズＬ３にテレセントリック光学系を採用することで、結像レンズＬ３の焦点位置にスリットを配置し、このスリットとレンズＬ１との関係を、レンズＬ２により共役像関係とすることで、上記同様の効果を得ることができる。

次に、図９〜図１２を参照して、照明光と被写体からの光との関係について説明する。

図９は、被写体を含めた撮像光学系の側面図になっている。なお、ミラーＭ１〜Ｍ３等により光線の折り返しは省略している（以下、同様）。被写体からは照明からの光を様々な方向に散乱反射している。この光線を取得し再生すれば実空間に近い立体表示をすることができる。被写体の様々な方向からの光線がレンズＬ１に入射する。図中では例として丸数字１から丸数字５の光線を示す。レンズＬ１によって当該レンズＬ１位置での丸数字１から丸数字５の光線角度がレンズＬ２上の異なる位置に集光される。これがレンズＬ２と結像レンズＬ３によって撮像部Ｒに結像される。このとき丸数字１から丸数字５の並びが反転する。レンズＬ１で反転し、結像レンズＬ３で反転するため、２回反転する。このように、レンズＬ１の位置を変えて撮像を行うことで広い範囲の光線情報を取得することができる。

なお、三次元画像再生装置１００に表示させる際には、レンズＬ１に対応するレンズやスリットといった光線制御素子にそれぞれの位置に対応した光線情報を与えればよい。図１０に示すように光線制御素子（レンズアレイやピンホールアレイ、レンチキュラーシート、スリットアレイ等）を通すことで、異なる場所の画素が光線角度に対応して出力される。即ち、それぞれの位置で入力された光線情報を表示すれば、光線の集合として三次元の被写体像（三次元画像）が再生される。例えば、図９で取得した丸数字１から丸数字５を図のように配置すれば、全く同じ三次元画像が再生される。

垂直方向（又は、水平方向）の視差を放棄する場合、本実施例で示したように水平方向（又は、垂直方向）に曲率を有したシリンドリカルレンズを、レンズＬ２として用いる。このようにすれば、垂直方向にはレンズＬ２は作用せず、垂直方向では図１１のように通常の画像取得と同じように画像を取得することができる。

垂直方向に視差を割り振らない光線制御素子（レンチキュラーシートやスリットアレイ）を用いて立体画像を再生する場合、図１２に示したように、観察者は、撮像部Ｒの撮像位置に対応する位置から観察することで、垂直方向には通常の画像と同様に撮像位置からの透視画像が観察できるが、このとき、両眼の視差等から奥行き感を知覚することができる。

ところで、上述した三次元光線取得装置２００において、筐体２０１内の狭い範囲から被写体に対し、画一的に照明を行うと、観察位置などによって照明方向が変わってしまうため観察位置を変えると影も一緒に動いてしまうという問題が発生する。そのため、本実施形態の三次元光線取得装置２００では、以下に説明する照明に係る光学系（以下、照明光学系という）を筐体２０１内に備えることで上記問題を解決する。

［Ｄ］照明光学系
（１）照明光学系の構成
上述したように、三次元光線取得装置２００では、被写体からの光線取得のために、レンズＬ２を通るさまざまな方向の光を、結像レンズＬ３で集光することで撮像部Ｒに映しこみ、当該撮像部Ｒでその画像を撮像することで光線情報を取得している。ここで、被写体への照明を考えた場合、被写体から取得した光線を逆にたどるように照明を行うことで、被写体に対し様々な方向から照明できることができる。

図１３は、三次元光線取得装置２００の照明光学系を示した図である。図１３に示したように、照明光学系として、投影レンズＬ４と、光源Ｓ１とを備え、さらに、撮像光学系のレンズＬ２及びレンズＬ１（図示せず）を照明光学系として共用している。なお、本実施形態では、レンズＬ１を用いるものとするが、レンズＬ１を用いずレンズＬ２のみを照明光学系として共用する態様としてもよい。

ここで、投影レンズＬ４は、光源Ｓ１から照射される光を集光点Ｐ１に集光させる光学素子である。ここで、光源Ｓ１からの光を、レンズＬ２の１点に集光するよう投影レンズＬ４で照明すると、レンズＬ２の光学特性により光が曲がり、図示しないレンズＬ１を通じて被写体に照明される。ここで、レンズＬ２により光が曲げられる角度をθｌ１とし、レンズＬ２の焦点距離をｆ１２、投影レンズＬ４の集光点Ｐ１とレンズＬ２の中心との間の距離をｌｄ、投影レンズＬ４とレンズＬ２との間の距離をｌａとすると、下記（３）式の関係式が導出できる。ただし、（３）式中における位置Ｐ２とレンズＬ２との間の距離ｌｂは、下記（４）式で定められる値である。

θｌ１＝ｔａｎ（ｌｄ／ｌｂ） （３）
１／ｌｂ＝１／ｌａ−１／ｆ１２ （４）

また、光の広がりは投影レンズＬ４の実像幅と光源幅とによって定まる。具体的には、ｌａ＞＞ｌｂのとき、投影レンズＬ４の実像倍率は非常に小さい値になるので（倍率はｌｂ／ｌａ）、光源Ｓ１が小さければ、一方向からの鋭い光線で照明することができる。

図１４に、光源Ｓ１の配置位置が異なった場合の態様を示す。図１３と同様の構成において、光源Ｓ１の配置位置のみが異なる場合、集光点Ｐ２の位置は、集光点Ｐ１とは異なる位置となる。即ち、被写体への照明光の角度が変化することになる。このように、光源Ｓ１の位置を変更することで、被写体を任意の角度から照明することが可能となる。

次に、図１５を参照して、投影レンズＬ４の集光点Ｐ２を、レンズＬ２の焦点面とした場合の態様を説明する。図１５に示すように、投影レンズＬ４は、光源Ｓ１からの光を集光点Ｐ３に集光させる。ここで、集光点Ｐ３とレンズＬ２との間の距離が、当該レンズＬ２の焦点距離ｆ１２となるとき、被写体に照射される照明光は平行光となる。なお、被写体に照射される光線の太さは、レンズＬ２の焦点距離ｆ１２や投影レンズＬ４の有効径等から決まり、レンズＬ２と投影レンズＬ４との間の距離ｌａに対し、焦点距離ｆ１２が十分に小さい場合、平行光の光線の幅は非常に狭くなる。即ち、距離ｌａに対し、焦点距離ｆ１２を十分に小さくすることで、鋭い光線で被写体を照明することが可能となる。

また、光源Ｓ１を、複数の点光源を図中ｙ軸方向に配列した点光源アレイとすることで、点灯させる点光源により、任意の角度から鋭い光線で被写体を照明することができる。即ち、この照明機構を三次元光線取得装置２００の筐体２０１内に内蔵することで、被写体を様々な方向から照明したときの光線情報を取得することができる。なお、筐体２０１内に組み込む場合、後述するハーフミラーＭ４等（図２０等参照）を用いることで、上記照明機構を筐体２０１内に組み込み、光線情報の取得に供するレンズＬ２及びレンズＬ１を照明光学系において共用する。

［Ｅ］任意照明について
（１）想定照明での撮像
図１６に、想定照明での撮像を説明する図を示す。ここで、想定照明とは、外光等により被写体に対し所定の角度で照明された場合等、所定の条件下での照明の状態を意味する。例えば、図１６に示したように、想定光源ＬＳ１からの光が図示しない被写体に対し、θｌ１の角度で照明される状態を再現するには、撮像の基準となる基準位置Ｐから想定光源ＬＳ１方向への垂線と、基準位置Ｐと想定光源ＬＳ１とを結ぶ直線と、のなす角がθｌ１となる位置から、光源Ｓ１により照明すればよい。また、撮像位置を変更することで、撮像の基準位置Ｐから想定光源ＬＳ１方向への垂線と、基準位置Ｐと想定光源ＬＳ１とを結ぶ直線と、のなす角を変えることができ、これにより想定した照明の状態を再現することができる。

図１７は、撮像位置と角度変化との関係を示した図である。図１７に示すように、撮像の基準位置Ｐから想定光源ＬＳ１方向への垂線と、基準位置Ｐと想定光源ＬＳ１とを結ぶ直線と、のなす角度を、その撮像位置に応じてθｌ１、θｌ２、θｌ３、θｌ４といった異なる角度で照明することにより、想定光源ＬＳ１の照明状態を再現することができる。

なお、本実施形態では、一つの想定光源を想定した場合について説明したが、これに限らず、複数の想定光源や環境光（周りからの間接照明）についても、同様の方法で照明を再現することができる。具体的には、複数の想定光源を再現する場合、光源ごとに光線を計算し、その計算された照明を複数の光線として照明を行いながら照明を行えばよい。環境光も同様に連続的もしくは離散的な環境の照明条件を予め計算し、スキャン位置での照明状態（照明角度、照度、色調等）を考慮し、照明を行えばよい。ここで、照明条件とは、照明に関する種々の条件を意味し、例えば、照明位置（角度）や、色調、照度等の諸条件を含む概念である。

（２）ポスト処理による任意照明
上記の態様では、予め想定した角度や方向等の所定の照明条件下で被写体に照明を行うものとしたが、最初に全ての照明条件で照明を行っておくことで、任意の照明条件下での光線を、後のポスト処理で再現することができる。具体的には、一つの位置において、照明可能な全ての照明条件で撮像した後、任意の照明条件の画像だけを用いて画像を合成することで、任意の照明条件下での光線情報を取得することができる。

例えば、図１７のような想定光源の光線情報を合成するためには、それぞれの位置に対してθｌ１、θｌ２、θｌ３、θｌ４といった角度で撮像された光線情報を合成すればよい。このように様々な照明条件のデータを取得しておけば、時々刻々変化する照明条件の映像や、ディスプレイを設置した場所での照明条件に対応させることができる。これにより、現実感の高い新しい映像表現が可能になる。

（３）取得する光線の方向次元と照明の方向次元
三次元光線取得装置２００は、水平方向及び垂直方向の視差を取得可能な二次元方向タイプと、水平方向（もしくは垂直方向）のみの視差を取得可能な一次元方向タイプの二つのタイプが存在する。二次元タイプの三次元光線取得装置２００では、凸又は凹レンズをアレイ状に配置したマイクロレンズアレイをレンズＬ２として用いる。また、一次元タイプの三次元光線取得装置２００では、シリンドリカルレンズをレンズＬ２として用いる。なお、二次元タイプの三次元光線取得装置２００では、凸又は凹レンズをｘ方向とｙ方向とに順次移動して画像を取得する方法も考えられる。

ここで、立体表示に対応させるためには、最低限水平方向の視差が必要となるため、最低でも水平方向（もしくは垂直方向）のみの立体表示を行うことができる。しかしながら、照明方向については、ポスト処理にて水平方向及び垂直方向にも変化をつけることが可能であるためて二次元方向の自由度が必要である。撮像と照明にレンズＬ２を共通に使用するとき、一次元方向の視差しか撮像できない場合（レンズＬ２として、シリンドリカルレンズを用いた場合）には、垂直方向は照明位置（照明角度）を変えることで、照明方向を変化させる。

図１８に、二次元タイプの三次元光線取得装置２００における、照明（画像）と撮像画像（光線情報）の例を示す。なお、ここでは、光源Ｓ１として後述するプロジェクターＳ１０を用い、当該プロジェクターＳ１０から投影される照明画像を照明光としている。

図１８において、レンズＬ２は水平方向及び垂直方向にパワーをもった凸レンズ等であり、（ａ）に示すとおり、レンズＬ２のレンズ面の全ての範囲について、撮像と照明ができるようになっている。ここで、光源から（ｂ）に示した照明画像がレンズＬ２上に結像するように投影されたとする。なお、（ｂ）の照明画像は、黒色等の遮光性の色彩で塗りつぶされた画像領域Ａ１（暗領域）と、光点となる画像領域Ａ２（明領域）とを有している。この画像領域Ａ２からの光が、（ｃ）に示したように、レンズＬ２上にＬＡ２として結像され、当該レンズＬ２を通じて被写体へと照明される。そして、照明された光は被写体により反射され、（ｄ）に示したように、レンズＬ２、結像レンズＬ３の光学的作用により光線情報として撮像部Ｒに撮像される。なお、この場合、光点となる画像領域Ａ２の位置を調整することで、ｘ方向、ｙ方向それぞれ照明方向を制御することができる。

図１９に、一次元タイプの三次元光線取得装置２００における、照明（画像）と撮像画像（光線情報）の例を示す。一次元の光線方向の視差がない場合、上述したとおりレンズＬ２として、シリンドリカルレンズを用いる。この場合、レンズＬ２により光線の水平方向の角度は変化するが、垂直方向には角度の変化は生じない。なお、（ａ）に示すとおり、レンズＬ２のレンズ面の全ての範囲について、撮像と照明ができるようになっている。また、上記同様光源Ｓ１として後述するプロジェクターＳ１０を用い、当該プロジェクターＳ１０から投影される照明画像を照明光としている。

一次元タイプの三次元光線取得装置２００では、シリンドリカルレンズの線（ライン）状のレンズ面に照明光を照射するため、（ｂ）で示したように垂直なライン状の光を照射可能な照明画像を投影する。ここで（ｂ）で示した照明画像は、黒色等の遮光性の色彩で塗りつぶされた画像領域Ａ３と、照明光となる垂直なライン状の画像領域Ａ４とを有している。この画像領域Ａ４からの光が、（ｃ）に示したように、レンズＬ２上にＬＡ４として結像され、当該レンズＬ２を通じて被写体へと照明される。そして、照明された光は被写体により反射され、（ｄ）に示したように、レンズＬ２、結像レンズＬ３の光学的作用により図中水平方向に拡大された光線情報として撮像部Ｒに撮像される。

［Ｆ］照明方法について
（１）プロジェクター方式
図１３で用いた光源Ｓ１を、照明光として照明画像を投影可能なプロジェクターＳ１０に置き換えたのがプロジェクター方式である。以下、プロジェクター方式の三次元光線取得装置２００について説明する。

図２０は、プロジェクター方式の三次元光線取得装置２００の構成を示した図である。図２０に示すとおり、プロジェクターＳ１０は、反射板Ｓ１１、プロジェクター光源Ｓ１２、コンデンサレンズＳ１３、画像表示素子Ｓ１４等を有する。ここで、画像表示素子Ｓ１４は、画像を表示可能なＬＣＤ（液晶ディスプレイ）パネルやＤＭＤ（デジタルミラーデバイス）等の光透過性の表示素子である。プロジェクター光源Ｓ１２から照射される光（反射板Ｓ１１で反射された光も含む）は、コンデンサレンズＳ１３及び画像表示素子Ｓ１４を通じて照射されることで、画像表示素子Ｓ１４に表示された画像が照明画像として投影される。

また、プロジェクターＳ１０の光路と、レンズＬ２と結像レンズＬ３との間の光路とが交差する位置には、所定の透過率（反射率）を有したハーフミラーＭ４が設けられている。ハーフミラーＭ４は、プロジェクターＳ１０からの照明光をレンズＬ２に反射するとともに、当該レンズＬ２から入射される被写体からの光を、結像レンズＬ３に透過するようになっている。なお、実際には図５、図６に示したようにミラーＭ１〜Ｍ３を用いて撮像を行うため、プロジェクターＳ１０は、レンズＬ２部分に付属して設置される。

ここで、ハーフミラーＭ４を用いない場合、プロジェクターＳ１０は、図２１−１、図２１−２に示したように、撮像部Ｒに付属して設置する態様となる。ここで、図２２−１は、三次元光線取得装置２００におけるプロジェクターＳ１０の上面図を示しており、図２２−２は、側面図を示している。なお、コンデンサレンズＳ１３については図示を省略している。

この態様では、図２１−１、図２１−２に示したように、垂直方向の光線角度をつけるため、複数のプロジェクターＳ１０を、撮像部Ｒ周辺の視差なし方向、即ちｙ軸方向（図中、上下方向）に配置している。使用するプロジェクターＳ１０としては、視差なし方向での照明角度を調整できるものが好ましい。なお、画像表示素子Ｓ１４及び投影レンズＬ４は、レンズＬ２と平行に設置することが好ましく、各プロジェクター光源Ｓ１２の光軸を、撮像光学系の光軸上の一点に合わせることが好ましい。

（２）平行光射出光源方式（ＬＥＤ方式）
図２２−１、図２２−２、図２２−３は、光源Ｓ１として平行光に近い指向性を持つＬＥＤ光源Ｓ１５を用いた場合の、三次元光線取得装置２００の構成を示した図である。なお、図２２−１は、三次元光線取得装置２００における照明光学系の側面図を示しており、図２２−２は、上面図を、図２２−３は、正面図を示している。

一次元タイプの場合、レンズＬ１として用いるレンチキュラーレンズ（シリンドリカルレンズ）を１ライン単位で照明することが必要となる。この場合、上述したプロジェクターによる光源Ｓ１を複数用い、各プロジェクターにより夫々１ライン毎に照明するといった構成が考えられるが、コストが嵩むという問題がある。そのため、この態様では、プロジェクターＳ１０に比べて安価なＬＥＤ光源Ｓ１５を複数用いることで、１ライン単位での照明を実現させる。

具体的には、図２２−１、図２２−２、図２２−３に示したように、照明パターン分のＬＥＤ光源Ｓ１５を並べ、投影レンズＬ４としての二次元レンズアレイＬ４１（凹面又は凸面シリンドリカルレンズ等）により、レンズＬ２の１ライン上にＬＥＤ光源からの照明光を広げることで、プロジェクター方式と同様の照明を行うことができる。

このとき、二次元レンズアレイＬ４１の各シリンドリカルレンズの集光点は、レンズＬ２の焦点距離付近とすることが好ましい。また、撮像部Ｒにて、画像を平行光して取り込むようにすれば、照明光と光線情報との位置合わせを容易に行うことが可能である。また、逆にＬＥＤ光源Ｓ１５の指向性方向を偏倚させることにより、レンズＬ２への照射距離や照射角度を等しくすることもできる。例えば、図２３に示したように、レンズＬ２の曲面に応じてＬＥＤ光源を円弧状に配置することで、レンズＬ２面への照射距離や角度を等しくすることができる。

（３）ミラー方式
また、光源Ｓ１として、レーザービームのような絞った光を出力可能なレーザ光源Ｓ２を用いる態様としてもよい。この場合、高輝度な照明を行うことが可能となるため、撮像時間を短縮することができ、より早い画像の取り込みが可能となる。また、レーザ光源Ｓ２を用いた場合、照明光の照射位置を別途設けたミラーＭ５により制御することで、より高速に光線方向を制御することが可能となる。

図２４は、ミラーＭ５による照明光走査を説明するための図である。ここでミラーＭ５には図示しない回動支点が設けられており、この回動支点を中心として図示しない駆動手段によりミラーＭ５の反射面がｘ軸方向（図中左右方向）及びｙ軸方向（図中上下方向）に回動可能に構成されている。レーザ光源Ｓ２からの光は、コリメートレンズＬ５を通じて、ミラーＭ５の反射面で反射されレンズＬ２上に到達し、また、当該ミラーＭ５の回動によりレンズＬ２上（被写体上）を走査することが可能となっている。

なお、レーザ光源Ｓ２とした場合、ミラーＭ５としては、ポリゴンミラーやガルバノミラー、ピエゾミラー等を用いることが可能である。また、「鏡」とは異なるが、ＡＯＤ（音響光学偏向器）等の光を偏向させることが可能な機器をミラーＭ５として、用いることとしてもよい。このとき、ミラーＭ５における光の反射位置からレンズＬ２までの距離が、結像レンズＬ３からレンズＬ２までの距離と等しい場合、照明の基準位置と取得する光線情報とを一致させることができる。

なお、図２４ではミラーＭ５により、ｘ軸方向及びｙ軸方向の走査を行う態様としたが、これに限らず、他のミラーを別途設け、これら複数のミラーによりｘ軸方向及びｙ軸方向の走査を行うこととしてもよい。

１次元タイプの三次元光線取得装置２００の場合には、図２５に示したように、コリメートレンズＬ５とミラーＭ５との間に、レーザ光源Ｓ２からのレーザ光の光束をｙ軸方向に広げるシリンドリカルレンズＬ６を配置し、ミラーＭ５の反射面をｙ軸方向のみに制御すればよい。

また、複数の光源を用いる場合には、図２６に示したように、複数のレーザ光源Ｓ２の夫々に対応する複数のミラーＭ５を配置し、各レーザ光の光軸がレンズＬ２の中央で交わるように配置することが好ましい。このように配置することで、水平方向及び垂直方向の光線角度の制御を、ミラーＭ５の走査によって行うことができる。なお、この場合、被写体への照射位置に応じて、各レーザ光源Ｓ２の光量を変更する態様としてもよい。

［Ｇ］多色照明
（１）多色照明によるフィルターレスカラー化
三次元光線取得装置２００の撮像部Ｒにおいて、取得する光線情報をカラー画像化するには、ＲＧＢの各色の照明光を所定時間毎に順次照射する時分割照明を行うことで実現することができる。この場合、光源Ｓ１として、ＲＧＢ夫々の色彩の光を個別的に照射可能な光源を備え、この光源Ｓ１の照明タイミングと、撮像部Ｒによる撮像タイミングとを同期させることでカラー画像の光線情報を取得することができる。この時、撮像速度が十分速ければ、高解像度の光線情報を取得することができる。

また、白色光を照射する一の光源Ｓ１により光線情報のカラー画像化を行う場合には、光源Ｓ１の光を、回転するＲＧＢのカラーホイールを介して、レンズＬ２に照射することで実現させることができる。また、白色光には全ての色のスペクトルが含まれるため、白色光をプリズム等によって分光させ、分光した各色の光をレンズＬ２に照射する態様としてもよい。なお、この場合、ＲＧＢの３原色以外の色を用いることとしてもよい。

（２）多色照明による分光反射率推定と任意スペクトル照明の画像推定
物体（被写体）は光の波長の夫々に対し固有の反射率を持っており（分光反射率）、照明光が異なれば、色彩や質感が異なる光線情報として取得されることになる。そのため、あらゆる照明光下で実物と同じ色を再現するためには、画素ごとの物体固有の分光反射率データが必要になる。

そこで、本三次元光線取得装置２００での光線情報の取得時に、互いに異なる波長の照明を被写体に照射し、各波長での分光反射率を角度毎に取得を行うものとする。後に所定の条件下での照明光を再現する際には、先に取得しておいた各波長での分光反射率に基づいて、再現したいスペクトルの照明光を角度毎に照射することで、実物と同じ色と奥行き感を得ることができる。また、照明光から照射される光から、時分割で複数波長を取得することにより、より正確な分光反射率を取得することができる。

［Ｈ］被写体が平面状の物体の場合（高次元テクスチャー）
光線情報を入力する場合、立体的な形状を取得するだけでなく、１平面の光学異方性などの照明次元を変化させながら取得することもできる。１平面の模様（テクスチャー）をスキャンさせながら、それぞれの方向からの照明光を当て、当てられた面の光線情報を取得する。また、テクスチャーマッピング等の公知の画像合成技術を用いて、取得した光線情報を様々な光線状態に対応させた状態で立体物に合成させることもできる。

［Ｉ］二次元アレイによる走査なし撮像
以下、レンズＬ２として、二次元レンズアレイＬ２１を用いた態様を説明する。ここで、二次元レンズアレイＬ２１とは、図２７−１、図２７−２に示したような、複数のレンズＬ２２をアレイ状に配置した光学素子を意味する。なお、上述した三次元画像再生装置１００にてマイクロレンズアレイ１１２を用いる場合には、二次元レンズアレイＬ２１の光学特性に応じたものを用いることが好ましい。

（Ｉ−１）実施例１
図２８を参照して、二次元レンズアレイＬ２１を用いた三次元光線取得装置２００を説明する。レンズＬ２として二次元レンズアレイＬ２１を用いて撮像を行うと、二次元レンズアレイＬ２１の各レンズＬ２２を通じて得られる光線情報は、互いに異なる視点から撮像して得られた光線情報に相当するため、被写体の走査を行うことなく光線情報を取得することができる。

この場合、照明光の指向性をつける照明画像として、図２９−１に示すような照明画像を、上述したプロジェクターＳ１０によって、二次元レンズアレイＬ２１の各レンズに投影する。これにより、図２９−２に示したように、二次元レンズアレイＬ２１の夫々のレンズＬ２２の同位置に照明光を照射することができるため、全てのレンズＬ２２において同じ照明条件とすることができる。

ここで、図２９−１に示した照明画像は、黒色等の遮光性の色彩で塗りつぶされた画像領域Ａ５（暗領域）と、各レンズＬ２２での光点となる画像領域Ａ６（明領域）とを有している。この画像領域Ａ６からの光が、図２９−２に示したように、二次元レンズアレイＬ２１の各レンズＬ２２上にＬＡ６として結像され、各レンズＬ２２を通じて被写体へと照明される。なお、透視投影となっているため、二次元レンズアレイＬ２１の位置によって、光線角度にずれ（オフセット）が生じる。

（Ｉ−２）実施例２
図３０を参照して、二次元レンズアレイＬ２１を用いた三次元光線取得装置２００の他の態様を説明する。本実施態様では、実施例１で説明した三次元光線取得装置２００の透視投影に対するオフセットを無くすため、二次元レンズアレイＬ２１と同等のレンズサイズで、且つ、二次元レンズアレイＬ２１と照明系の投影レンズＬ４（撮像系の結像レンズＬ３）の距離と等しい焦点距離を持つレンズを配置する。このようにすることによって、二次元レンズアレイＬ２１に対し正面から光が照射され、レンズ位置の違いによる光線角度のオフセットを抑制することができる。

（Ｉ−３）実施例３
図３１を参照して、二次元レンズアレイＬ２１を用いた三次元光線取得装置２００の他の形態を説明する。本実施態様では、図３０で説明した三次元光線取得装置２００の構成から、ハーフミラーＭ４を取り除き、照明光学系の投影レンズＬ４として二次元レンズアレイＬ４２及びレンズＬ４３を配置したものとなっている。

ここで、二次元レンズアレイＬ４２は、二次元レンズアレイＬ２１のレンズＬ２２と同数で且つ同じ配列構造を有した複数のレンズ（図示せず）を有している。この構成では、プロジェクターＳ１０から照射される照明画像が、二次元レンズアレイＬ４１の各レンズにより、二次元レンズアレイＬ２１の各レンズに対して照射されるようになっている。

そのため、図２９−１で示したような、二次元レンズアレイＬ２１の夫々のレンズＬ２２に対応させた投影画像パターンを用いるのではなく、図３２−１に示したように、所定の光線角度に対応させた一つの照明画像を用いることで、図３２−２に示したように、二次元レンズアレイＬ２１の各レンズＬ２２について照明光を照射することができる。ここで、図３２−１に示した照明画像は、黒色等の遮光性の色彩で塗りつぶされた画像領域Ａ７（暗領域）と、各レンズＬ２２での光点となる画像領域Ａ８（明領域）とを有している。この画像領域Ａ８からの光が、二次元レンズアレイＬ４２及びレンズＬ４３の光学的作用により、図３２−２に示したように、二次元レンズアレイＬ２１の各レンズＬ２２上にＬＡ８として結像され、各レンズＬ２２を通じて被写体へと照明される。

以下、図３３〜図３６を参照して、実施例３の照明光学系について説明する。図３３は、レンズＬ２３の光学的特性を説明するための図である。図３３に示したように、レンズＬ２３は、レンズＬ４３及び二次元レンズアレイＬ４２を通じて照射される照明画像の光が、二次元レンズアレイＬ２１に平行に入射されるよう調整するものである。即ち、レンズＬ２３は、二次元レンズアレイＬ２１と二次元レンズアレイＬ４２とのアレイ構造の比率を調整するものである。なお、レンズＬ２３の焦点距離ｆｌ３は、図３３に示したように、二次元レンズアレイＬ２１から、当該二次元レンズアレイＬ２１の径と、二次元レンズアレイＬ４２の径との間を結んだ直線の交点までの距離と略同等となる値とすることが好ましい。

図３４は、レンズＬ４３の光学的特性を説明するための図である。図３４に示したように、レンズＬ４３は、二次元レンズアレイＬ４２とプロジェクターＳ１０の画像表示素子Ｓ１４との間に配置される。ここで、レンズＬ４３は、画像表示素子Ｓ１４と二次元レンズアレイＬ４２との間の距離と、二次元レンズアレイＬ４２と二次元レンズアレイＬ２１との間の距離と、の比を調整するためのレンズとなる。

図３５は、二次元レンズアレイＬ４２の光学的特性を説明するための図である。二次元レンズアレイＬ４２を構成する各レンズ（図示せず）は、二次元レンズアレイＬ２１の対応する各レンズＬ２２上に、画像表示素子Ｓ１４上の１点を結像させる。ここで、二次元レンズアレイＬ４１を構成するレンズの数を、二次元レンズアレイＬ２１を構成するレンズＬ２２と同数とすることで、画像表示素子Ｓ１４の像を二次元レンズアレイＬ２１の各レンズに投影することができる。

図３６は、二次元レンズアレイＬ２１の光学的特性を説明するための図である。上述したとおり、二次元レンズアレイＬ２１は、照明画像の投影位置を光線角度に変換し、被写体の照明を行うものである。なお、上記した、二次元レンズアレイＬ２１、レンズＬ２３、二次元レンズアレイＬ４２、レンズＬ４３の配置順序や形状（凸形状もしくは凹形状）等は、使用環境に応じて変更することが可能である。

以上のように、本実施形態の三次元光線取得装置２００によれば、照明光を被写体に照射する照明光学系として、撮像光学系に含まれた第１光学素子を共有したため、省スペースな構成で、且つ、所定の照明条件下での光線情報を取得することができる。

以上、発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加などが可能である。

三次元画像再生装置の構成の一例を示した図である。 三次元画像再生装置を説明するための図である。 三次元画像再生装置の構成の一例を示した図である。 スリットアレイ板を正面から見た概略図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 照明光と被写体からの光との関係を説明するための図である。 照明光と被写体からの光との関係を説明するための図である。 照明光と被写体からの光との関係を説明するための図である。 撮像位置と観察位置との関係を説明するための図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 想定照明での撮像を説明するための図である。 想定照明での撮像を説明するための図である。 二次元タイプの三次元光線取得装置における、照明画像と撮像画像との関係を示した図である。 一次元タイプの三次元光線取得装置における、照明画像と撮像画像との関係を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 二次元タイプの三次元光線取得装置における、三次元光線取得装置の撮像光学系を示した上面図である。 二次元タイプの三次元光線取得装置における、三次元光線取得装置の撮像光学系を示した正面図である。 一次元タイプの三次元光線取得装置における、撮像光学系を示した側面図である。 一次元タイプの三次元光線取得装置における、三次元光線取得装置の撮像光学系を示した上面図である。 一次元タイプの三次元光線取得装置における、三次元光線取得装置の撮像光学系を示した正面図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 二次元レンズアレイの一例を示した図である。 二次元レンズアレイの一例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 照明画像の一例を示した図である。 二次元レンズアレイでの結像例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 照明画像の一例を示した図である。 二次元レンズアレイでの結像例を示した図である。 三次元光線取得装置の撮像光学系の一例を示した図である。 レンズＬ４３の光学的特性を説明するための図である。 二次元レンズアレイＬ４２の光学的特性を説明するための図である。 二次元レンズアレイＬ２１の光学的特性を説明するための図である。

符号の説明

１００ 三次元画像再生装置
１０１ 液晶ディスプレイ
１０２ ピンホールアレイ板
１０３ バックライト
１０４ バックライト用電源
１０５ 駆動装置
１０６ 三次元実像
１０７ 三次元虚像
１０８ 観察者
１０９ ピンホール
１１０ スリットアレイ板
１１１ スリット
１１２ マイクロレンズアレイ
１１３ レンチキュラーシート
２００ 三次元光線取得装置
２０１ 筐体
Ｌ１ レンズ
Ｌ２ レンズ
Ｌ２１ 二次元レンズアレイ
Ｌ２２ レンズ
Ｌ２３ レンズ
Ｌ３ 結像レンズ
Ｌ４ 投影レンズ
Ｌ４１ 二次元レンズアレイ
Ｌ４２ 二次元レンズアレイ
Ｌ４３ レンズ
Ｌ５ コリメートレンズ
Ｌ６ シリンドリカルレンズ
Ｍ１ ミラー
Ｍ２ ミラー
Ｍ３ ミラー
Ｍ４ ハーフミラー
Ｍ５ ミラー
Ｒ 撮像部
Ｓ１ 光源
Ｓ１０ プロジェクター
Ｓ１１ 反射板
Ｓ１２ プロジェクター光源
Ｓ１３ コンデンサレンズ
Ｓ１４ 画像表示素子
Ｓ１５ ＬＥＤ光源
Ｓ２ レーザ光源

Claims (12)

1. 被写体からの光を透過する第１光学素子と、前記第１光学素子の光軸上に配置され当該第１光学素子からの光を結像する第２光学素子と、前記第２光学素子により結像された光を前記光線情報として取得する撮像手段とを有する撮像光学系と、
   一又は複数の光源と、前記光源からの照明光を集光する第３光学素子とを有する照明光学系と、
   を備え、
   前記照明光学系は、前記第３光学素子により集光された照明光を、前記撮像光学系の第１光学素子を通じて前記被写体に照射することを特徴とする三次元光線取得装置。
2. 前記照明光学系は、前記第３光学素子からの照明光を、前記第1光学素子に反射するとともに、当該第１光学素子から前記第２光学素子への光を透過するハーフミラーを更に備え、
   前記ハーフミラーは、前記光源の光路と、前記第１光学素子及び第２光学素子間の光路とが交差する位置に設けられていることを特徴とする請求項１に記載の三次元光線取得装置。
3. 前記第３光学素子の集光点が、前記第１光学素子上に位置することを特徴とする請求項１又は２に記載の三次元光線取得装置。
4. 前記第３光学素子の集光点が、前記第１光学素子の集光点と一致することを特徴とする請求項１又は２に記載の三次元光線取得装置。
5. 前記光源は、照明画像を照明光として投影可能な画像投影手段であることを特徴とする請求項１に記載の三次元光線取得装置。
6. 前記照明画像は、照明光部分となる明領域と、遮光部分となる暗領域とを含むことを特徴とする請求項５に記載の三次元光線取得装置。
7. 前記第１光学素子は、水平方向又は垂直方向に曲率を有したシリンドリカルレンズであることを特徴とする請求項１に記載の三次元光線取得装置。
8. 前記第１光学素子は、複数のレンズがアレイ状に配置された第１レンズアレイであることを特徴とする請求項１に記載の三次元光線取得装置。
9. 前記第３光学素子は、複数のレンズがアレイ状に配置された第２レンズアレイであり、
   第１レンズアレイと、前記第２レンズアレイとの光学的特性が所定の関係を有することを特徴とする請求項８に記載の三次元光線取得装置。
10. 前記第１レンズアレイのレンズ数及び各レンズの配置位置と、前記第２レンズアレイのレンズ数及び配置位置とが同等であることを特徴とする請求項９に記載の三次元光線取得装置。
11. 前記第２レンズアレイの各レンズからの照明光が、前記第１レンズアレイの対応するレンズに入射されることを特徴とする請求項９又は１０に記載の三次元光線取得装置。
12. 前記照明光の照明条件は、少なくとも照明角度、照度、色調の何れかを含むことを特徴とする請求項１に記載の三次元光線取得装置。