JP2009300268A - ３次元情報検出装置 - Google Patents

Abstract

【課題】１台のカメラで同時に撮像した被写体の２次元画像群を基にして被写体の３次元情報を検出することを図る。
【解決手段】空間的又は時間的に強度変調された強度変調光を発生する距離検出用光源部１０と、被写体で強度変調光が反射された反射光を透過する複数のレンズ１５が多眼的に配置されたレンズアレイ１４と、複数のレンズ１５の各々を透過した透過光を２次元撮像素子の結像面で各々結像させて、複数のレンズ１５の各々に対応する被写体画像群を撮像し、該被写体画像群に基づいて被写体の３次元情報を検出する３次元カメラ１６と、を備える。
【選択図】図１

Description

本発明は、被写体の３次元情報を検出する３次元情報検出装置に関する。

近年、臨場感ある映像メディアとしての３次元映像の応用が、医療やセキュリティ、ゲーム、ロボットビジョンなど、様々な産業分野で期待されている。３次元映像の生成には被写体の３次元情報が必要となる。従来の３次元情報検出技術として、例えば特許文献１に記載のものが知られている。特許文献１に記載の従来技術では、時間的又は空間的に強度変調された強度変調光などを被写体に照射し、その反射光の時間や位相遅れから、被写体の距離や形状を能動的に検出している。又、その従来技術１を応用した技術が、例えば特許文献２、非特許文献１に記載されている。特許文献２、非特許文献１には、通常のカラー画像と共に距離画像を撮影できるいわゆる３次元カメラが開示されている。
特許第３８４０３４１号公報 特開２００４−４５２６６号公報 M. Kawakita, K. Iizuka, H. Nakamura, I. Mizuno, T. Kurita, T. Aida, Y. Yamanouchi, H. Mitsumine, T. Fukaya, H. Kikuchi, and F. Sato, "High-definition real-time depth-mapping TV camera: HDTV Axi-Vision Camera," Optics Express, Vol.12, no.12, 2781-2794 (2004)

しかし、上述した従来技術では、１台のカメラで被写体を撮像した２次元画像を基にして被写体の３次元情報を検出しているために、該一カメラの視点からは陰になって見えない部分の３次元情報を検出することができない。

このため、複数台のカメラを用いて多視点から被写体を撮像した２次元画像群を基にして被写体の３次元情報を検出することが考えられる。しかしながら、複数台のカメラで撮影された多視点画像群から３次元情報を検出する場合、ステレオマッチング法やシルエット法など、三角測量を基本原理とする手法が用いられるが、該手法では一般的に長時間の画像処理が必要であるとともに、白い壁面などテクスチャのない被写体では奥行き検出の誤差が生じやすい。又、カメラの台数が少ないと撮影されない部分が生まれて距離検出の出来ないオクルージョン部分が発生してしまうが、オクルージョン部分を低減するためにカメラの台数を増やすとコストが増大するとともに、取り扱う情報量が膨大となり、画像処理にかかる時間が増え、実時間伝送が困難となる。

本発明は、このような事情を考慮してなされたもので、その目的は、１台のカメラで同時に撮像した被写体の２次元画像群を基にして被写体の３次元情報を検出することのできる３次元情報検出装置を提供することにある。

上記の課題を解決するために、本発明に係る３次元情報検出装置は、所定の３次元座標系における被写体の３次元情報を検出する３次元情報検出装置において、空間的又は時間的に強度変調された強度変調光を発生する光源と、被写体で前記強度変調光が反射された反射光を透過する複数のレンズが多眼的に配置されたレンズアレイと、前記複数のレンズの各々を透過した透過光を２次元撮像素子の結像面で各々結像させて、前記複数のレンズの各々に対応する被写体画像群を撮像するカメラと、前記強度変調光を用いて前記カメラで撮像された前記被写体画像群に基づいて、被写体の３次元情報を検出する計測部と、を備えたことを特徴とする。

本発明に係る３次元情報検出装置においては、前記光源は時間的に強度変調された強度変調光を発生し、前記計測部は光飛行時間計測法により被写体の３次元情報を検出することを特徴とする。

本発明に係る３次元情報検出装置においては、前記光源から前記被写体で反射されて前記２次元撮像素子の結像面上の結像点に至るまでの光路長を、前記強度変調光の飛行時間又は位相に基づいて検出する光路長検出手段と、前記光路長と前記結像点の座標に基づいて被写体の３次元情報を算出する３次元情報算出手段と、を備えたことを特徴とする。

本発明に係る３次元情報検出装置においては、被写体への前記強度変調光の照明光軸と前記カメラの撮影光軸が同一軸となる照明光学配置であることを特徴とする。

本発明に係る３次元情報検出装置においては、前記光源が前記レンズアレイを構成するレンズ間の間隙に配置されていることを特徴とする。

本発明に係る３次元情報検出装置においては、前記光源が前記レンズアレイと前記カメラの間に配置されてあり、前記レンズアレイの表面には前記強度変調光の反射を防止する表面加工が施されていることを特徴とする。
本発明に係る３次元情報検出装置においては、前記光源が前記カメラのカメラレンズ周辺にアレイ状に配置されていることを特徴とする。

本発明に係る３次元情報検出装置においては、前記レンズアレイを奥行き方向に複数積層したことを特徴とする。
本発明に係る３次元情報検出装置においては、前記レンズアレイを構成するレンズは、直径方向に屈折率が分布した屈折分布レンズであることを特徴とする。
本発明に係る３次元情報検出装置においては、前記レンズアレイを構成するレンズはプリズムであることを特徴とする。

本発明に係る３次元情報検出装置においては、前記レンズアレイを構成する複数のレンズのうち中心部分のレンズは、他のレンズよりも有効径が大きいことを特徴とする。
本発明に係る３次元情報検出装置においては、前記レンズアレイを構成する複数のレンズにおいて、中心部分のレンズの開口数よりも、その周辺のレンズの開口数の方が大きいことを特徴とする。
本発明に係る３次元情報検出装置においては、前記レンズアレイを構成する複数のレンズにおいて中心部分のレンズとその周辺のレンズで撮影している画角が同じであることを特徴とする。なお、レンズアレイを構成する複数のレンズにおいて中心部分のレンズとその周辺のレンズで撮影している画角は同じであるが、これは実質的に同じ画角であってもよく、その効果は変わらない。

本発明に係る３次元情報検出装置においては、被写体の像を前記レンズアレイの前面の近辺に結像するリレー結像光学系を設けたことを特徴とする。
本発明に係る３次元情報検出装置においては、前記リレー結像光学系は、両面テレセントリック・アフォーカル結像光学系であることを特徴とする。
本発明に係る３次元情報検出装置においては、前記リレー結像光学系は反射ミラーで構成されていることを特徴とする。

本発明に係る３次元情報検出装置においては、被写体を撮影するための比較的大きな開口のレンズを有する結像光学系と、前記結像光学系から入射される光を、カラー要素画像を撮影するための可視光と距離要素画像を撮影するための光とに分割する光分割結像系と、カラー要素画像撮影用の前記２次元撮像素子と距離要素画像撮影用の前記２次元撮像素子と、を設け、前記レンズアレイを各前記２次元撮像素子に対応して設けたことを特徴とする。
本発明に係る３次元情報検出装置においては、前記光分割結像系は通常画像の撮像用に可視光をもう一系統分割し、通常画像の撮像用にさらに前記２次元撮像素子を設けたことを特徴とする。

本発明によれば、レンズアレイによって得られる異なる視点から見た被写体の像が２次元撮像素子の結像面で各々結像されて撮像される。これにより、レンズアレイの複数のレンズの位置に各々対応した異なる視点から見た被写体画像群が得られ、該被写体画像群に基づいた被写体の３次元情報の検出が行われる。

本発明によれば、１台のカメラで同時に撮像した被写体の２次元画像群を基にして被写体の３次元情報を検出することができる。これにより、被写体の３次元情報を、実時間で、又、簡単なカメラ及び光学構成で検出することが可能になる。

以下、図面を参照し、本発明の各実施形態について説明する。なお、各図において対応する部分には同一の符号を付している。

［第１実施形態］
図１は、本発明の第１実施形態に係る３次元映像システムの全体構成を示す図である。図２は、図１に示す３次元カメラ１６の構成を示すブロック図である。図３は、図１に示すレンズアレイ１４の構成例を示す正面図である。
図１において、距離検出用光源部１０は光源Ｓを有し、時間的又は空間的に強度変調した強度変調光１１を発生する。光源Ｓの照射方向は、強度変調光１１が被写体１２に照射されるように調節しておく。

レンズアレイ１４は、被写体１２で強度変調光１１が反射された反射光１３を透過する複数のレンズ１５が多眼的に配置されたものである。図３に、レンズアレイ１４の構成例が示されている。図３の例では、９個のレンズ１５が多眼的に配置されている。レンズアレイ１４の配置は、反射光１３が複数のレンズ１５に入射されるように調節しておく。

なお、レンズアレイ１４を構成するレンズ１５の形状は、凸レンズ又は凹レンズを使用することができる。又、レンズ１５は屈折型レンズであってもよく、あるいは回折型レンズであってもよい。

又、レンズ１５として円状のレンズを使用すれば、水平および垂直方向の視差が得られる。又、水平方向の視差が多く必要な場合は、レンズアレイ１４において横方向のレンズ１５の個数を増やす、又は、楕円状やシリンドリカル状のレンズを使用する。又、レンズアレイ１４を構成する個々のレンズ１５間の間隔は、密着していてもよく、あるいは間隙があってもよい。

３次元カメラ１６は、図２に示されるように、カメラ部３０と計測部４０を有する。カメラ部３０は、カメラレンズ３１と２次元撮像素子３２を有する。カメラレンズ３１は、レンズアレイ１４の複数のレンズ１５の各々を透過した透過光を２次元撮像素子３２の結像面上に集光する。２次元撮像素子３２は、その集光により、レンズアレイ１４の複数のレンズ１５の各々を透過した透過光が結像面で各々結像された像を撮像する。これにより、レンズアレイ１４の複数のレンズ１５の各々に対応する被写体画像群が取得される。図１の例では、被写体画像群は、９個のレンズ１５の各々に対応する９個の被写体画像から構成される。この被写体画像群は計測部４０に送られる。なお、３次元カメラ１６の配置は、レンズアレイ１４の透過光がカメラレンズ３１に入射されるように調節しておく。

計測部４０は、強度変調光１１を用いてカメラ部３０で撮像された被写体画像群に基づいて、被写体の３次元情報を検出する。その検出する３次元情報としては、所定の３次元座標系における、例えば、基準点から被写体までの距離、被写体の座標などである。基準点としては、例えば、２次元撮像素子３２の結像面上に定めることが挙げられる。基準点から被写体までの距離や被写体の座標が分かれば、被写体の３次元形状を把握することができるので、被写体の３次元画像を作成することが可能となる。被写体の距離情報を使用すれば、多くの多視点画像を使用するよりも、効率的に３次元情報量を確保でき、信号処理や伝送に有利であるという効果が得られる。なお、被写体の３次元情報を検出する方法については、説明の便宜上、後述する第２実施形態で詳細に説明する。

計測部４０は、基準点から被写体までの距離を画像の濃淡で表した画像（距離要素画像）１８を生成する。距離要素画像１８は、図１に示されるように、レンズアレイ１４の複数のレンズ１５の各々に対応する被写体画像群から構成されており、基準点から被写体までの距離を画像の濃淡で表す。図１の例では、距離要素画像１８は９個のレンズ１５の各々に対応する９個の被写体画像から構成される。各被写体画像において、基準点から被写体までの距離が画像の濃淡で表されている。距離要素画像１８は、３次元カメラ１６から３次元画像処理装置１９に送られる。

又、カメラ部３０は、強度変調光１１を用いた被写体撮像方法と同様に、可視光を用いて被写体画像群を撮像する。可視光を用いてカメラ部３０で撮像された被写体画像群は、カラー画像であり、カラー要素画像１７として３次元画像処理装置１９に送られる。カラー要素画像１７は、図１に示されるように、レンズアレイ１４の複数のレンズ１５の各々に対応する被写体画像群から構成されている。図１の例では、カラー要素画像１７は９個のレンズ１５の各々に対応する９個の被写体画像から構成される。

３次元画像処理装置１９は、カラー要素画像１７及び距離要素画像１８を用いて３次元画像処理を行う。３次元画像処理装置１９は、例えば、被写体の３次元形状を算出し、被写体の３次元モデルを求めることができる。又は、各種の３次元表示方法に応じて、視差画像やインテグラル方式の要素画像群、ホログラム表示用のホログラムデータなど、データ出力先の３次元画像提示装置２０の仕様に合わせたデータに変換することができる。３次元画像提示装置２０は、３次元画像処理装置１９から受け取った３次元画像データを再生し、３次元画像を表示する。

カラー要素画像１７及び距離要素画像１８は、レンズアレイ１４の複数のレンズ１５の位置に各々対応した異なる視点から見た被写体画像群から構成されている。

次に、図４を参照して、本実施形態により、１台のカメラで効率よく被写体の３次元情報を検出することができることを説明する。図４は、被写体の３次元情報を検出可能な領域（３次元情報検出可能領域）５０の例を示す説明図である。被写体１２は、平坦な壁とその壁の前（３次元カメラ側）にある球状の物体である。図４は、それらを上から見た平面図である。

図４（ａ）は、従来の３次元カメラ１０００を１台のみ使用した場合の３次元情報検出可能領域５０を示している。従来の３次元カメラ１０００は、１視点からの距離画像及びカラー画像を取得することができる。１台の３次元カメラ１０００では、一つのカメラレンズで撮影している画角のカラー情報と奥行き距離情報のみが得られるが、図４（ａ）の被写体表面の太線で示した程度の３次元情報検出可能領域５０にとどまり、その他の被写体表面の破線部分の３次元情報を検出することはできない。

図４（ｂ）は、従来の３次元カメラ１０００を３台使用した場合の３次元情報検出可能領域５０を示している。３台の３次元カメラ１０００ａ，１０００ｂ，１０００ｃによれば、図４（ｂ）に示されるように、１台の３次元カメラ１０００の場合よりも３次元情報検出可能領域５０は広がり、球状被写体の側面部や、球状被写体の背後の壁の部分も検出できようになる。しかしながら、３台の３次元カメラ１０００が必要である。又、多数のカメラを使用する場合、カメラレンズやカメラ回路の煩雑なキャリブレーションが必要となり、作業負担が大きい。

図４（ｃ）は、本実施形態の場合である。本実施形態によれば、レンズアレイ１４の複数のレンズ１５の位置に各々対応した異なる視点から見た被写体画像群を、１台の３次元カメラ１６で撮影することができる。図４（ｃ）の例では、３個のレンズ１５を使用しており、図４（ｂ）の場合と同等の３次元情報検出可能領域５０が得られている。具体的に説明すれば、レンズ１５ａが図４（ｂ）の３次元カメラ１０００ａと同じ視野を有し、レンズ１５ｂが図４（ｂ）の３次元カメラ１０００ｂと同じ視野を有し、レンズ１５ｃが図４（ｂ）の３次元カメラ１０００ｃと同じ視野を有している。さらに、１台の３次元カメラ１６のみでよいことから、システム規模が小さくてすみ、コストが低減される。又、カメラレンズやカメラ回路の煩雑なキャリブレーションは不要となり、作業負荷も軽減される。又、一般的にカメラレンズの歪みが絶対的な３次元形状の算出に大きな影響を及ぼすが、図４（ｃ）の場合には、カメラレンズは一つであるので、このカメラレンズの歪みデータのみに基づいて逆補正演算すればよい。

上述したように本実施形態によれば、１台の３次元カメラ１６（カメラレンズ３１）で同時に撮像した被写体の２次元画像群（被写体画像群）を基にして被写体の３次元情報を検出することができる。

なお、３次元カメラ１６のいくつかの実施例（１），（２），（３）を以下に列挙する。
（１）時間的に強度変調された強度変調光を使い、２次元同時に距離画像を求めることが可能な光飛行時間計測法を利用したもの。この種類の３次元カメラとしては、例えば特許文献１，２に開示されている。この３次元カメラの距離画像検出部分は、高速なシャッター機能を有する電子管と固体撮像素子を組み合わせたものや、直接ＣＭＯＳやＣＣＤなどの固体撮像素子で高速な受光電子の振り分けにより距離画像を検出方法ものなどが利用可能である。強度変調光源には、数十ＭＨｚ以上の周波数で強度変調できるものが使用可能である。特にレーザーや発光ダイオードなどの高速変調可能な単一光源が使用可能である。又、それらの光源が複数個配置されたアレイ光源も使用することができる。強度変調光源の光の波長は、可視光領域をカラー要素画像撮影に使用するため、この可視波長領域以外を使用することが有効である。特に近赤外領域では、可視光用のレンズなど市販の光学系が使用できるとともに、高速変調可能な光源の種類も豊富であり、近赤外に感度の高い撮像素子も多く有効である。
（２）光ビームで被写体上を２次元走査して被写体形状を求めるもの。
（３）スリット状の光を走査させて被写体の形状を取得する光切断方法を用いたもの。
（４）パターン光を複数投影して形状を求めるパターン光投影方法やモアレ法などを用いたもの。

［第２実施形態］
図５は、本発明の第２実施形態に係る３次元映像システムの概略構成図であり、第１実施形態と同様の機能を有する３次元画像処理装置１９及び３次元画像提示装置２０を省略している。
図５に示されるように第２実施形態では、距離検出用光源部１０から被写体１２に至るまでの強度変調光１１の光路上に、コリメートレンズ６０とハーフミラー６１を設けて、被写体１２への強度変調光１１の照明光軸が撮影光軸と同一になるようにする。これにより、距離検出用照明の影を減らすことができる。

コリメートレンズ６０は、距離検出用光源部１０からの出力光を平行光にする。ハーフミラー６１は、撮影光軸と照明光軸を一致させる。これにより、被写体１２において強度変調光１１で照明されない影の部分を減らすことができるので、距離検出ができない部分であるオクルージョン部分を低減することができる。

次に、図６を参照して、図５の３次元映像システムにおける３次元情報の検出方法を説明する。本実施例では光飛行時間計測法を用いる。
距離検出用光源部１０の光源Ｓから出射された強度変調光１１は、コリメートレンズ６０により平行光にされた後、ハーフミラー６１により撮影光軸と同一の照明光軸となって被写体１２に照射される。
まず、３次元座標系（ｘ軸，ｙ軸，ｚ軸）を定める。ここでは、３次元座標の原点（０，０，０）は、レンズアレイ１４の中心とする。なお、説明を簡単にするため、光源Ｓからハーフミラー６１までの距離は、ハーフミラー６１からレンズアレイ１４の中心（つまり原点）までの距離に等しいとする。すると、光源Ｓから被写体１２上の１点Ｏ（ｘ，ｙ，ｚ）までの距離“ＳＯ”は（１）式で表される。

また、被写体１２がレンズアレイ１４のｉ番目のレンズ１５で結像される場合を考える。すると、被写体１２上の１点Ｏ（ｘ，ｙ，ｚ）からｉ番目のレンズ１５の中心Ｃ_ｉ（ｘ_ｉ，ｙ_ｉ，０）までの距離“ＯＣ_ｉ”は（２）式で表される。

また、被写体１２上の１点Ｏ（ｘ，ｙ，ｚ）は、ｉ番目のレンズ１５によりレンズアレイ１４の結像面上の像点Ｏ’（ｘ’，ｙ’，ｚ’）で結像される。すると、ｉ番目のレンズ１５の中心Ｃ_ｉ（ｘ_ｉ，ｙ_ｉ，０）から、該像点Ｏ’（ｘ’，ｙ’，ｚ’）までの距離“Ｃ_ｉＯ’”は（３）式で表される。

ここで、ｚがレンズ１５の焦点距離よりも十分に大きいとする。すると、（４），（５），（６）式のように近似することができる。但し、ｆはレンズ１５の焦点距離である。

また、ｉ番目のレンズ１５による像点Ｏ’（ｘ’，ｙ’，ｚ’）は、カメラレンズ３１により２次元撮像素子３２の結像面上の像点Ｏ’’（ｘ’’，ｙ’’，ｚ’’）に結像される。すると、（７），（８），（９）式となる。

但し、ｇ_１はカメラレンズ３１の主点からレンズアレイ１４の結像面までの距離、ｇ_２はカメラレンズ３１の主点から２次元撮像素子３２の結像面までの距離、“Ｏ’Ｏ’’”は像点Ｏ’から像点Ｏ’’までの距離である。

光飛行時間計測法によれば、光源Ｓから２次元撮像素子３２の結像面までの光路「Ｓ→Ｏ→Ｃ_ｉ→Ｏ’→Ｏ’’」の光路長Ｌは、光の飛行時間又は位相に基づいて検出できる。その光路長Ｌは、（１）〜（９）式から（１０）式で表される。

ここで、簡単のため、（１１），（１２）式とする。

すると、（１０）式は（１３）式で表される。

これにより、被写体１２までの距離ｚは（１４）式で表される。

以上より、２次元撮像素子３２の結像面上で得られる被写体画像の座標Ｏ’’（ｘ’’，ｙ’’，ｚ’’）と、光飛行時間計測法による距離検出で得られた光路長Ｌとから、被写体１２のｚ座標が得られ、さらに（４），（５）式から被写体１２のｘ，ｙ座標が得られる。

［第３実施形態］
第３実施形態は、距離検出用光源部１０の変形例である。
図７は距離検出用光源部１０の第１の変形例である。図７において、距離検出用光源部１０の光源Ｓはレンズアレイ１４のレンズ１５間の間隙に配置されている。光源Ｓの数は１つでも複数でもよい。又、レンズアレイ１４の中心部に配置してもよく、あるいは、レンズアレイ１４の全面にわたって均等に配置してもよい。これにより、被写体１２全体に、光強度の均一性良く、強度変調光１１を照射することができる。

図８は距離検出用光源部１０の第２の変形例である。図８において、距離検出用光源部１０の光源Ｓは、レンズアレイ１４とカメラレンズ３１の間に配置されている。レンズアレイ１４の表面には、強度変調光１１の反射を防止する表面加工を施しておく。図８に示されるように、光源Ｓをカメラレンズ３１の周辺にアレイ状に配置することにより、被写体１２に対する照射範囲が広がり被写体１２において影となる部分を低減することができる。又、レンズアレイ１４の背面から強度変調光１１を照射した場合、レンズアレイ１４により光源Ｓの像が被写体１２とレンズアレイ１４の間にできるので、そこから光を被写体１２に照射することになり、照明の影による距離検出のオクルージョン部分を低減することができる。

［第４実施形態］
第４実施形態は、レンズアレイ１４の変形例である。
図９はレンズアレイ１４の第１の変形例である積層レンズアレイ７０を示している。図９に示すように、積層レンズアレイ７０は、レンズアレイ１４を奥行き方向に複数積層した構成である。このように積層型積層レンズアレイ７０を使用することで、要素画像の収差を低減することができる。なお、形成される要素画像群７１は、正立像であってもよく、あるいは倒立像であってもよい。但し、撮影した映像からインテグラルフォトグラフィによる立体映像表示用として要素画像群を生成する場合には、正立像で撮影しておくことにより、再生時に被写体の凹凸が逆になる逆視の問題を回避することができる。

図１０はレンズアレイ１４の第２の変形例である屈折率分布レンズアレイ７２を示している。屈折率分布レンズアレイ７２を構成するレンズ１５には、直径方向に屈折率が分布した屈折分布レンズを使用する。屈折率分布レンズアレイ７２によれば、屈折分布レンズの長さを制御することで、図９のようにレンズアレイ１４を多数積層しなくても、正立像の要素画像群７１を得ることができる。

図１１はレンズアレイ１４の第３の変形例である。レンズアレイ１４を構成するレンズ１５は、全てが均一である必要はない。
図１１の例では、レンズアレイ１４の中心部分のレンズ１５ａは、他のレンズ１５ｂよりも有効径が大きい。この図１１のレンズアレイ１４を使用した場合、撮影されるカラー要素画像１７及び距離要素画像１８は、レンズ１５ａに対応する中心部の画像が、レンズ１５ｂに対応する周辺部の画像よりも大きくなる。すなわち、３次元カメラ１６に正対する被写体１２の画像は、有効径が大きいレンズ１５ａで撮影されるためより多くの画素から構成され、高精細となる。そして、その周辺の画像は、撮影光軸からはずれた斜めの位置から撮影した画像に相当する。被写体の３次元形状の算出の際には、視差情報が重要であるので、周辺の画像の画素数は少なくても多くの視点から撮影されることが重要である。図１１のレンズアレイ１４によれば、限られた撮像素子の画素数で、効率よく３次元情報を取得することができる。

又、レンズアレイ１４を構成するレンズ１５の焦点距離及び開口数（ＮＡ；Numerical Aperture）についても、全てが均一である必要はない。図１２の例では、レンズアレイ１４の中心部分のレンズ１５ａの開口数よりも、その周辺のレンズ１５ｂの開口数の方が大きくなっている。これにより、周辺のレンズ１５ｂではより広画角の被写体映像が得られるので、限られた撮像素子の画素数で効率的に３次元情報を取得することが可能になる。

又、レンズアレイ１４の中心部分のレンズ１５ａとその周辺のレンズ１５ｂで撮影している画角をほぼ同じにすることにより、３次元情報を要素画像群から算出することが容易となる。図１２において、レンズアレイ１４の中心部分のレンズ１５ａの焦点距離をｆ_１、直径をＤ_１とし、周辺のレンズ１５ｂの焦点距離をｆ_２、直径をＤ_２とする。すると、レンズアレイ１４から距離Ｌのところにある被写体１２をレンズ１５ａで結像した場合の倍率αは、（１５）式で表される。

このとき、レンズ１５ａと大きさの異なるレンズ１５ｂで被写体１２を結像する場合、レンズ１５ｂの大きさに対する結像する被写体１２の大きさをレンズ１５ａのときと同じにするには、レンズ１５ｂによる被写体１２の結像倍率βが（１６）式となるように、焦点距離ｆ_２を設定すればよい。

従って（１７）式が得られる。

これにより、レンズ１５ｂの焦点距離ｆ_２は（１８）式で表される。この関係のレンズ１５ａ，１５ｂを使用すれば、レンズ１５ａ，１５ｂでそれぞれ撮影している画角をほぼ同じにすることができる。

［第５実施形態］
第５実施形態では、図１３に示されるように、被写体１２とレンズアレイ１４の間にリレー結像光学系８０を設ける。リレー結像光学系８０は、被写体１２の像をレンズアレイ１４の前面の近辺に結像する。これにより、被写体１２の位置を光学的にレンズアレイ１４の面に近づけることができ、レンズアレイ１４の個々のレンズ１５により撮像される個々の要素画像の画角が大きくなるので、個々の要素画像の撮像に要求される解像度特性を低減することができる。また、通常の撮影では、インテグラルフォトグラフィにより立体像表示の際などにおいて表示ディスプレイの奥に像を再生するのみであるが、図１３に示されるようにレンズアレイ１４の前面に被写体１２を一旦結像させることで、画面より飛び出した立体像を表示することができる。

なお、リレー結像光学系８０は、単一のレンズ８１で構成されてもよく、あるいは複数のレンズ８１を組みあわせて構成されてもよい。

また、リレー結像光学系８０においては、像の歪なくレンズアレイ１４の前面の近辺に被写体１２を結像することが重要である。そのためには、テレセントリックなアフォーカル結像光学系が有効である。図１４に、テレセントリックなアフォーカル結像系を利用したリレー結像光学系の一例（両面テレセントリック・アフォーカル結像光学系８０ａ）を示す。光学系を両面テレセントリックなアフォーカル結像光学系とすることにより、被写体１２の結像画像の歪みを少なくすることができる。最も簡単な構成としては、図１４に示されるように、両面テレセントリック・アフォーカル結像光学系８０ａにおいて、焦点距離ｆ_１のレンズ８１ａと焦点距離ｆ_２のレンズ８１ｂを、「ｆ_１＋ｆ_２」の距離に配置したものが挙げられる。被写体１２からレンズ８１ａまでの距離Ｌ_１をレンズ８１ａの焦点距離ｆ_１とほぼ等しくすれば、レンズ８１ｂから結像点までの距離Ｌ_２はほぼ焦点距離ｆ_２と等しくなり、結像される３次元像の倍率は「ｆ_２÷ｆ_１」倍となる。このときの結像の開口数（ＮＡ）は、レンズ８１ａとレンズ８１ｂの中間に設けた絞り８２で制御することができる。絞り８２の直径をｗ、光の入射角の角度幅（全角）をθとすると、（１９）式の関係が成り立つ。

レンズアレイ１４のレンズ１５が焦点距離ｇ、直径Ｐである場合、該レンズ１５の開口数（ＮＡ）は、（２０）式で表される。

このとき、レンズアレイ１４と両面テレセントリック・アフォーカル結像光学系８０ａの開口数（ＮＡ）をそろえるためには、（２１）式を満たすように、両面テレセントリック・アフォーカル結像光学系８０ａにおいて絞り８２とレンズ８１ａ，８１ｂの焦点距離ｆ_１，ｆ_２を調整すればよい。

リレー結像光学系８０で３次元情報を取得するためには、レンズアレイ１４と同等の比較的大きな開口数がリレー結像光学系８０に必要となる。リレー結像光学系８０によれば、テレセントリックな光学系を使用するために、被写体１２の奥行き位置に関係なく倍率が一定にできるので、３次元形状を検出するのに有利である。

図１５はリレー結像光学系８０の変形例である。図１５の例では、２個の反射ミラー８３ａ，８３ｂを組み合わせて用いている。大きな被写体１２の撮影には、有効径が大きくて開口数が大きいレンズ、つまり焦点距離が短いレンズが必要となるため、図１４に例示したような屈折型レンズでは、サイズが大きくなるとともに重量も大きくなる。そこで、軽量な反射ミラーを使用することにより、軽量化とともに、屈折型レンズを使用した場合に生じる色収差などをなくすことができる。図１５において、図１４の屈折型レンズの場合と同様に、反射光ミラー８３ａの焦点距離と反射光ミラー８３ｂの焦点距離の和の距離に反射ミラー８３ａ，８３ｂを配置し、反射ミラー８３ａ，８３ｂの中間に絞り８２を設け、絞り８２の直径ｗの大きさによって結像の開口数を調整することができる。

又、図１６に示されるように、レンズアレイ１４として、プリズムを用いたプリズムアレイ９０を使用することができる。プリズムアレイ９０において、中心部分のプリズム９１ａを透過する被写体１２からの光に対して、周辺のプリズム９１ｂを透過する被写体１２からの光に角度を付けることにより、２次元撮像素子３２の結像面上には異なる視点からの被写体画像群が結像し、それを撮像することができる。なお、プリズムアレイ９０は、リレー結像光学系８０がない場合にも利用可能である。

［第６実施形態］
第６実施形態では、図１７に示されるように、結像光学系１００と光分割結像系１０１を設ける。結像光学系１００は、被写体１２と光分割結像系１０１の間に設けられる。結像光学系１００は、被写体１２を撮影するための比較的大きな開口のレンズを有する。光分割結像系１０１は、結像光学系１００と３次元カメラ１６の間に設けられる。光分割結像系１０１は、結像光学系１００から入射される光を、カラー要素画像１７を撮影するための可視光と距離要素画像１８を撮影するための光とに分割する。光分割結像系１０１は、２個のハーフミラー１０２ａ，１０２ｂの組合せで構成される。ハーフミラー１０２ａ，１０２ｂは可視光を透過し、それ以外の光を反射する。

３次元カメラ１６には、レンズアレイ１４を有するカラー画像撮像素子３２ａと、レンズアレイ１４を有する距離画像撮像素子３２ｂを設ける。各レンズアレイ１４は、光分割結像系１０１からの光が結像する位置に設けられる。ハーフミラー１０２ａを透過した可視光は、レンズアレイ１４によりカラー画像撮像素子３２ａの結像面上で結像し、カラー要素画像１７が撮像される。ハーフミラー１０２ａを反射してさらにハーフミラー１０２ｂを反射した光は、もう一方のレンズアレイ１４により距離画像撮像素子３２ｂの結像面上で結像し、距離要素画像１８が撮像される。

結像光学系１００にはズーム機能を持たせることができるので、汎用性に優れたカメラワークが可能となる。なお、結像光学系１００のズーム・焦点距離の可変により、結像画像の歪み特性が変化するが、例えば結像光学系１００のレンズのズーム・フォーカス値をカメラレンズ３１に取り付けたエンコーダからの出力データで随時検出し、予め測定してあるズーム、フォーカス、像高の３つのパラメータに依存する歪み量のテーブルをもとに幾何学歪を補正することで、正確な３次元情報を得ることができる。

なお、結像光学系１００の結像側の開口数は、図１４の両面テレセントリック・アフォーカル結像光学系８０ａの開口数と同様に、レンズアレイ１４の開口数と等しくするか若しくはそれ以上に設定することが、３次元形状の取得には有効である。

図１８は図１７の変形例である。図１８では、光分割結像系１０１ａにおいて、ハーフミラー１０２ｃ，１０２ｄを追加し、通常画像の撮像用に可視光をもう一系統分割している。ハーフミラー１０２ｃ，１０２ｄは、可視光を透過するとともに反射する。ハーフミラー１０２ｄは、ハーフミラー１０２ｃで反射された光を反射し、カラー要素画像１７の撮像用の光にしている。３次元カメラ１６には、通常画像の撮像用にカラー画像撮像素子３２ａ−２が追加される。カラー画像撮像素子３２ａ−２は、ハーフミラー１０２ｃを透過した光が結像された像を撮像し、通常のカラー画像１１０を出力する。これにより、レンズアレイを介さずに通常のカラー画像１１０を撮像することができるので、多視点からの距離情報を含む画像を取得するとともに、通常の映像には高精細な情報を持たせることができる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明は、３次元映像技術の開発や３次元形状計測装置などの幅広い産業分野に利用することができる。

本発明の第１実施形態に係る３次元映像システムの全体構成を示す図である。 図１に示す３次元カメラ１６の構成を示すブロック図である。 図１に示すレンズアレイ１４の構成例を示す正面図である。 被写体の３次元情報を検出可能な領域（３次元情報検出可能領域）５０の例を示す説明図である。 本発明の第２実施形態に係る３次元映像システムの概略構成図である。 本発明の一実施形態に係る３次元情報検出方法の説明図である。 距離検出用光源部１０の第１の変形例である。 距離検出用光源部１０の第２の変形例である。 レンズアレイ１４の第１の変形例である。 レンズアレイ１４の第２の変形例である。 レンズアレイ１４の第３の変形例である。 レンズアレイ１４の第４の変形例である。 本発明の第５実施形態に係る３次元映像システムの概略構成図である。 リレー結像光学系８０の一実施例である。 リレー結像光学系８０の変形例である。 レンズアレイ１４の第５の変形例である。 本発明の第６実施形態に係る３次元映像システムの概略構成図である。 図１７に示す３次元映像システムの変形例である。

符号の説明

１０ 距離検出用光源部
１１ 強度変調光
１２ 被写体
１３ 反射光
１４ レンズアレイ
１５，８１ａ，８１ｂ レンズ
１６ ３次元カメラ
１７ カラー要素画像
１８ 距離要素画像
１９ ３次元画像処理装置
２０ ３次元画像提示装置
３０ カメラ部
３１ カメラレンズ
３２ ２次元撮像素子
３２ａ カラー画像撮像素子
３２ｂ 距離画像撮像素子
４０ 計測部
６０ コリメートレンズ
６１，１０２ａ〜ｄ ハーフミラー
７０ 積層レンズアレイ
７２ 屈折率分布レンズアレイ
８０ リレー結像光学系
８０ａ 両面テレセントリック・アフォーカル結像光学系
８２ 絞り
８３ａ，８３ｂ 反射ミラー
９０ プリズムアレイ
９１ａ，９１ｂ プリズム
１００ 結像光学系
１０１，１０１ａ 光分割結像系
１１０ カラー画像
Ｓ 光源

Claims (8)

1. 所定の３次元座標系における被写体の３次元情報を検出する３次元情報検出装置において、
   空間的又は時間的に強度変調された強度変調光を発生する光源と、
   被写体で前記強度変調光が反射された反射光を透過する複数のレンズが多眼的に配置されたレンズアレイと、
   前記複数のレンズの各々を透過した透過光を２次元撮像素子の結像面で各々結像させて、前記複数のレンズの各々に対応する被写体画像群を撮像するカメラと、
   前記強度変調光を用いて前記カメラで撮像された前記被写体画像群に基づいて、被写体の３次元情報を検出する計測部と、
   を備えたことを特徴とする３次元情報検出装置。
2. 前記光源から前記被写体で反射されて前記２次元撮像素子の結像面上の結像点に至るまでの光路長を、前記強度変調光の飛行時間又は位相に基づいて検出する光路長検出手段と、
   前記光路長と前記結像点の座標に基づいて被写体の３次元情報を算出する３次元情報算出手段と、
   を備えたことを特徴とする請求項１に記載の３次元情報検出装置。
3. 被写体への前記強度変調光の照明光軸と前記カメラの撮影光軸が同一軸となる照明光学配置であることを特徴とする請求項１又は請求項２に記載の３次元情報検出装置。
4. 前記レンズアレイを奥行き方向に複数積層したこと、
   又は、前記レンズアレイを構成するレンズは、直径方向に屈折率が分布した屈折分布レンズであること、
   又は、前記レンズアレイを構成するレンズはプリズムであること、
   を特徴とする請求項１から３のいずれか１項に記載の３次元情報検出装置。
5. 前記レンズアレイを構成する複数のレンズのうち中心部分のレンズは、他のレンズよりも有効径が大きいこと、
   又は、前記レンズアレイを構成する複数のレンズにおいて、中心部分のレンズの開口数よりも、その周辺のレンズの開口数の方が大きいこと、
   又は、前記レンズアレイを構成する複数のレンズにおいて中心部分のレンズとその周辺のレンズで撮影している画角が同じであること、
   を特徴とする請求項１から３のいずれか１項に記載の３次元情報検出装置。
6. 被写体の像を前記レンズアレイの前面の近辺に結像するリレー結像光学系を設けたことを特徴とする請求項１から５のいずれか１項に記載の３次元情報検出装置。
7. 被写体を撮影するための比較的大きな開口のレンズを有する結像光学系と、
   前記結像光学系から入射される光を、カラー要素画像を撮影するための可視光と距離要素画像を撮影するための光とに分割する光分割結像系と、
   カラー要素画像撮影用の前記２次元撮像素子と距離要素画像撮影用の前記２次元撮像素子と、を設け、
   前記レンズアレイを各前記２次元撮像素子に対応して設けたことを特徴とする請求項１から５のいずれか１項に記載の３次元情報検出装置。
8. 前記光分割結像系は通常画像の撮像用に可視光をもう一系統分割し、
   通常画像の撮像用にさらに前記２次元撮像素子を設けたことを特徴とする請求項７に記載の３次元情報検出装置。

Images