JP2011033759A - 三次元画像撮像装置、三次元画像撮像方法、三次元画像情報取得システム、三次元画像情報取得方法 - Google Patents

三次元画像撮像装置、三次元画像撮像方法、三次元画像情報取得システム、三次元画像情報取得方法 Download PDF

Info

Publication number
JP2011033759A
JP2011033759A JP2009178859A JP2009178859A JP2011033759A JP 2011033759 A JP2011033759 A JP 2011033759A JP 2009178859 A JP2009178859 A JP 2009178859A JP 2009178859 A JP2009178859 A JP 2009178859A JP 2011033759 A JP2011033759 A JP 2011033759A
Authority
JP
Japan
Prior art keywords
light
unit
modulation
coherent
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009178859A
Other languages
English (en)
Inventor
Haruhiko Koizumi
晴彦 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009178859A priority Critical patent/JP2011033759A/ja
Publication of JP2011033759A publication Critical patent/JP2011033759A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Holo Graphy (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】カラー撮像素子を使用せずに簡易な構成で色彩ホログラムを電子的に取得する。
【解決手段】位相共役鏡104と反射鏡122,124でICH−CH光変換部を構成する。参照波光源154より発せられたRGBコヒーレント光W3_CH をビームスプリッタ136で二分し一方のRGBコヒーレント光W32_CHを、物体光であるインコヒーレント光W2_ICHと同軸上で同じ方向より位相共役鏡104に入射する。物体波光源152より発せられたRGB別に異なる周波数で変調されたRGBコヒーレント光W5_CH を位相共役鏡104に入射して、RGB別に変調されたコヒーレントな位相共役物体光W7を生成する。RGBコヒーレント光W31_CHを参照光として位相共役物体光W7と偏光方向を揃え、同軸になるようにして、モノクロ用の走査型の撮像部5に入射させ、参照光と物体光の間で干渉させて撮像面上に干渉縞を形成する。
【選択図】図4

Description

本発明は、三次元画像撮像装置、三次元画像撮像方法、三次元画像情報取得システム、三次元画像情報取得方法に関する。より詳細には、物体からの光を干渉光学手段に入射し、干渉光学手段から導出される干渉光を固体撮像装置で撮像することで、三次元画像信号としてのホログラム情報信号を取得する仕組みに関する。
レーザ光を用いてホログラムを作成し、三次元画像を記録・再生する方法として、写真フィルム技術を利用する仕組みが知られている。
一方、この考え方を電子的に実現する仕組み(電子ホログラムシステムと称する)や、さらにカラー化する仕組みが、たとえば、特許文献1〜3に提案されている。
米国特許第3,856,986号明細書 米国特許第3,597,525号明細書 特許第1952148号公報
電子ホログラムシステムの実現には、たとえば、物体にインコヒーレント光を照射した元で得られる物体からの光を干渉光とし、その干渉光を撮像面で受光することで、その撮像面上に干渉縞を形成した状態とする。撮像部からは、その干渉縞に対応する撮像出力信号が出力されるので、電子的にホログラム情報信号を取得できる。
しかしながら、特許文献1〜3の仕組みでは、次のような問題がある。先ず特許文献1〜3では、インコヒーレントホログラムであるので三次元再生像の解像度に難点がある。つまり、インコヒーレント光であるため、光学的な干渉長も短く、再生画質が鮮明でないので、鮮明なホログラムの形成や再生像の解像度についても改善すべき点がある。
特許文献2,3の仕組みでは、インコヒーレントな自然光を偏光フィルタやシャープカットやダイクロイックミラーを使用して偏光した単色性に富んだ光りを作り出さねばならず、全体的に光量が落ち、ダイナミックレンジに問題がある。特許文献3では、単板式の場合、撮像面に色分離フィルタが配設されたカラー撮像用のものが必要になる。
本発明は、鮮明な色彩ホログラムを電子的に取得する仕組みを提供することを目的とする。また本発明は、カラー撮像用の撮像部を使用せずとも、簡易な構成で、色彩ホログラムを電子的に取得する仕組みを提供することを目的とする。
本発明に係る第1の態様は、光源よりコヒーレントな白色光を発し、入射光学系では、コヒーレントな白色光を分岐部で二分する。そして、一方の分割光を 物体からの色彩三次元情報を有するインコヒーレントな物体光と同軸上で同じ方向よりインコヒーレント光−コヒーレント光変換部に入射させることでコヒーレントな物体光を生成する。
また、分岐部で二分された他方の分割光を参照光とし、この参照光とコヒーレントな物体光の少なくとも一方について、色彩ホログラムを形成する複数の色彩波長成分を相互に異なる周波数の変調信号で変調する。
さらに、撮像光学系では、参照光とコヒーレントな物体光を、偏光方向を揃え、同軸になるようにして、走査型の撮像部に入射させ、参照光とコヒーレントな物体光の間で干渉させて撮像部の撮像面上に干渉縞を形成させ、撮像部で干渉縞を撮像する。
つまり、本発明に係る第1の態様では、光源より発せられるコヒーレントな白色光を利用してインコヒーレントな物体光をコヒーレントな物体光に変換してから、色彩ホログラムを形成・撮像する。コヒーレントホログラムによる色彩三次元画像情報を電子的に取得する仕組みが実現される。このとき、色彩ホログラムを形成する複数の色彩波長成分を相互に異なる周波数の変調信号で変調する。
本発明に係る第2の態様は、物体光および参照光の少なくとも一方について、色彩ホログラムを形成する複数の色彩波長成分を相互に異なる周波数の変調信号で変調する。さらに、撮像光学系では、参照光と物体光を、偏光方向を揃え、同軸になるようにして、色分離フィルタが形成されていないモノクロ用の走査型の撮像部に入射させ、参照光と物体光の間で干渉させて撮像部の撮像面上に干渉縞を形成させる。撮像部で干渉縞を撮像することで、色彩波長成分ごとの干渉縞のそれぞれに対応する色彩ホログラム情報信号を取得する。
つまり、本発明に係る第2の態様では、物体光および/または参照光について、色彩ホログラムを形成する複数の色彩波長成分を相互に異なる周波数の変調信号で変調し、モノクロ用の走査型の撮像部を使用して色彩ホログラムを形成・撮像する。
なお、本発明に係る第1の態様と第2の態様を組み合わせるとさらに好ましい。
本発明に係る第1の態様によれば、コヒーレントな物体光に基づき、鮮明な色彩ホログラムを電子的に取得できる。
本発明に係る第2の態様によれば、カラー撮像用の撮像部を使用せずとも、簡易な構成で、色彩ホログラムを電子的に取得できる。
また、第1・第2の何れの態様も、光変調の仕組みを適用するので、周波数処理によりバックグラウンドノイズが低減されたホログラム情報を取得できる。
人間の立体感の生理作用を説明する図である。 4波混合による位相共役光の発生の仕組みを説明する図である。 光学機能材料と電気光学係数と応答時間の関係を示す図である。 ICH−CH光変換の基本を説明する模式図である。 第1実施形態の三次元画像撮像装置の概略構成図である。 本実施形態の三次元画像撮像装置で使用する主要な構成要素の光学特性を概念的に示す図である。 第2実施形態(第1例)の三次元画像撮像装置の概略構成図である。 第2実施形態(第2例)の三次元画像撮像装置の概略構成図である。 第3実施形態(第1例)の三次元画像撮像装置を説明する図である。 第3実施形態(第2例)の三次元画像撮像装置を説明する図である。 音響光学効果による変調と偏光を説明する図である。 第4実施形態の三次元画像撮像装置を説明する図である。 音響光学効果によるICH−CH変換と変調と位相共役光生成を説明する図である。 第5実施形態の三次元画像撮像装置を説明する図である。 第1実施形態の三次元画像情報取得システムを説明する図である。 第2実施形態の三次元画像情報取得システムを説明する図である。 第3実施形態の三次元画像情報取得システムを説明する図である。 第4実施形態の三次元画像情報取得システムを説明する図である。 第1実施形態の電気信号処理系統を説明する図である。 RGBの1組分について単位画素から変調画素信号処理部までの画素信号伝送を示した図である。 三次元画像信号処理で取り扱う信号波形の概要図である。 第1実施形態の電気信号処理系統におけるクロストーク対策を説明する図である。 第2実施形態の電気信号処理系統を説明する図である。 第2実施形態の電気信号処理系統におけるスイッチ切替えを説明する図である。 第2実施形態の電気信号処理系統における第1動作例を説明するタイミングチャートである。 第2実施形態の電気信号処理系統における第2動作例を説明するタイミングチャートである。 第3実施形態の電気信号処理系統を説明する図である。 第3実施形態の電気信号処理系統におけるスイッチ切替えを説明する図である。 第3実施形態の電気信号処理系統における動作例を説明するタイミングチャートである。
以下、図面を参照して本発明の実施形態について詳細に説明する。各機能要素について実施形態別に区別する際には、A,B,C,…などのように大文字の英語の参照子を付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。また、各機能要素を色彩波長(具体的にはR,G,B)で区別する場合は色彩波長の参照子R,G,Bを付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。図面においても同様である。
なお、説明は以下の順序で行なう。
1.比較例の個別事情
2.本実施形態に関わる基礎技術
3.三次元画像撮像装置:第1実施形態(ICH−CH光変換と位相共役光生成を1つの素子で行なう)
4.三次元画像撮像装置:第2実施形態(ICH−CH光変換素子と位相共役光生成素子を各別にする、ICH−CH光変換素子で光変調を行なう)
5.三次元画像撮像装置:第3実施形態(光変調素子とICH−CH光変換素子と位相共役光生成素子を各別にする)
6.三次元画像撮像装置:第4実施形態(1つの素子で、ICH−CH光変換と位相共役光生成と光変調を行なう)
7.三次元画像撮像装置:第5実施形態(物体光と参照光の双方を変調)
8.三次元画像情報取得システム:第1実施形態(CCD)
9.三次元画像情報取得システム:第2実施形態(XYアドレス型)
10.三次元画像情報取得システム:第3実施形態(XYアドレス型+共振処理)
11.三次元画像情報取得システム:第4実施形態(XYアドレス型+確率共振)
12.電気信号処理:第1実施形態(XYアドレス型+全画素)
13.電気信号処理:第2実施形態(XYアドレス型+カラム別の画素信号の色別切替+カラム別の参照信号の色別切替)
14.電気信号処理:第3実施形態(XYアドレス型+カラム別の画素信号の色別切替+全列共通の参照信号の色別切替)
<比較例の個別事情>
最初に、特許文献1〜3の仕組みについて、それぞれの個別の問題点の詳細について検討する。
特許文献1では、レーザ光を2つの経路に分岐し、一方の光波を物体に照射し、両方または一方をある光変調周波数の変調信号で変調し、両者を同軸上で干渉させ、光学情報を撮像部で光電変換して撮像信号を取得し電気信号処理を行なう。因みに、この方式で得られるのはインコヒーレントホログラムである。
得られる画像信号(物体の像情報を伴う電気信号)は光変調周波数に等しい周波数を中心にある帯域幅をもって分布する。これに対して、ノイズ光は周波数依存性を持たず、周波数軸上に一様に分布するようになる。これによって、周波数依存性を持たないノイズ光を電気的に除去することが可能となり、物体像情報を持つ変調信号のみを抽出するシステムが実現できる。光変調とそれに対応した電気信号での波長分離によりホログラム情報信号に含まれるバックグラウンドノイズを低減する仕組みに特徴がある。
しかしながら、特許文献1の仕組みでは、次のような問題がある。インコヒーレントホログラムであるので、三次元再生像の解像度に難点がある。カラー化技術については触れられていない。レーザ光を被写体に直接照射しなければならず、撮影対象が事実上非生物に限られ、人間を含む高等生物の撮像には適しない。撮像時には暗室が必要となる。照光か物体光のどちらか一方を変調させる場合は良いが、両方を変調させた場合の詳しい記載がなく、両者を同じ周波数で変調した場合には、何の効果も生じない(数式を当たってみればすぐ分かる)。
特許文献2では、インコヒーレント光の照射を受けた物体からの光を干渉光にするに当たって循環型干渉光学系を使用し、また、走査型の固体撮像装置を使用している。この方式でも、特許文献1と同様に、得られるのはインコヒーレントホログラムであるし、ホログラム情報信号に含まれるバックグラウンドノイズを低減する仕組みも特許文献1と同様のものである。
たとえば、循環型干渉光学系における三角形状の循環光路内に、光学活性体と光変調器を配し、物体からの光を偏光子を通じて循環型干渉光学系に入射し、循環型干渉光学系における循環光路をビームスプリッタで互いに逆方向に循環する2つの分割光に分岐する。これによって、時計回りの光波と反時計周りの光波を生成する。その内の光学活性体を経て偏光面が回転された後に光変調器を通過する一方の光波に関して、干渉計内光路の1つ脚の中に偏光子(たとえば水晶)と光変調素子を配置し、ある周波数を有する変調信号に基づいて光変調素子を変調する、つまり、循環光路内で光変調を行なう。そして、像倍率の異なる干渉計からの出力光を撮像面上に、同軸かつ偏光方向を揃えて干渉させ、撮像面上に干渉縞(ホログラム)を形成する。
循環型干渉光学系から導出される干渉光は、実質的に干渉縞を形成するものとなる成分が時間および変調信号の周波数に依存するものとして、また、干渉縞の形成に寄与しない成分が時間及びおよび変調信号の周波数に依存しないものとして含まれる。干渉光により形成された干渉縞に基づいて得られるホログラム情報信号は、変調信号の周波数を中心とした所定の周波数帯域に依存し、それに、周波数に依存しないバックグラウンドノイズが混入したものとなる。
つまり、循環型干渉光学系から導出される干渉光に関して得られる画像信号は、変調信号の周波数を中心としたある周波数帯域に存在するホログラム情報信号と、周波数に依存しないバックグウランドノイズを含む。このため、画像信号を、変調信号の周波数を中心とした周波数帯域を通過帯域とする波長分離部(典型的には帯域通過フィルタ)に供給することで、インコヒーレントホログラム中に存在するバックグラウンドノイズが低減されたホログラム情報信号が得られる。
この方式は、三角干渉計が2つの光波(物体光と参照光)の干渉に際して、他の干渉計に比べて生成される2つの光波の光路長が自動的に等しくなる点が優れており、光学的なアライメントが楽になる。また撮像に際し、暗室は必要なく、太陽光など自然環境化にも適用できるため、実用化に一歩近づいたシステムと言える。
しかしながら、特許文献2の仕組みでは、次のような問題がある。特許文献1と同様に、インコヒーレントホログラムであるので三次元再生像の解像度に難点があるし、カラー化技術については触れられていない。たとえば、この特許文献2が提案された時点では、カラー化した際の効率的な光変調技術は確立されていなかった。また撮像信号を電気的に取得する仕組みは、電子ビーム、誘電体、フィルムなどを利用するもので、今日の技術としては適切でないと言える。
このように、特許文献1,2の仕組みは、インコヒーレント光の照射を受けた物体からの光に基づくホログラム情報信号を形成するもので、単色ホログラム情報信号が得られるに過ぎず、3原色成分を含む色彩ホログラム情報信号を形成することはできない。
これに対して、特許文献3では、特許文献2の仕組みをベースとして、インコヒーレント光の照射を受けた物体からの光に基づいて色彩ホログラム情報信号を得るように発展させた仕組みが提案されている。基本的には、インコヒーレント光の照射を受けた物体からの光を循環型干渉光学系に入射し、循環型干渉光学系から導出される光を走査型の撮像部で撮像する構成を採っている。
因みに、撮像部に関しては、走査型のものを使用するが、色彩波長別に各別のものを備える構成のいわゆる3板式と、撮像面に色分離フィルタが配設されたカラー撮像用の単板式が提案されている。
このとき、カラー化用に、R(赤),G(緑),B(青)の光学信号を異なる周波数で変調することで、走査型の撮像部から、色彩ホログラム情報信号を、それに混入したバックグラウンドノイズを低減することができる状態で得るようにしている。
しかしながら、特許文献3(特許文献2も)の仕組みでは、次のような問題がある。特許文献1と同様に、インコヒーレントホログラムであるので三次元再生像の解像度に難点がある。つまり、インコヒーレント光であるため、光学的な干渉長も短く、再生画質が鮮明でないので、鮮明なホログラムの形成や再生像の解像度についても改善すべき点がある。インコヒーレントな自然光を偏光フィルタやシャープカットやダイクロイックミラーを使用して偏光した単色性に富んだ光りを作り出さねばならず、全体的に光量が落ち、ダイナミックレンジに問題がある。特許文献3では、単板式の場合、撮像面に色分離フィルタが配設されたカラー撮像用のものが必要になる。
つまり、物体光や参照光を色彩波長別に変調し、走査型の撮像部で撮像することで色彩三次元画像情報を取得する仕組みがあるが、3板式では装置構成が大掛かりになるし光学系配置に正確さが要求され、単板式ではカラー撮像用のものが必要になる。加えて、インコヒーレントホログラムであるので、色彩三次元再生像のダイナミックレンジや解像度に難点がある。
<本実施形態に関わる基礎技術>
本実施形態では、時間的な光変調法により電子的にホログラム像を撮像する仕組みを採る。この際、自然光照射下にある色彩三次元被写体の像情報を、撮像装置内で、レーザ光を用いて、インコヒーレント光をコヒーレント光に変換する(ICH−CH光変換と称す)。インコヒーレント光とは、物体光(物体波)のように干渉性の殆どない光を意味し、コヒーレント光とは、レーザ光のように可干渉性の高い光を意味する。
ICH−CH光変換により、インコヒーレント物体光をコヒーレント光に変換し、物体光の位相共役光を発生させ、これに基づく光学的、電気的信号処理を施す。ICH−CH光変換には、たとえば、位相共役鏡を使用するのが好ましい。白色光を構成する主な色彩波長成分としては、典型的には、カラーの基本色であるB(青)、G(緑)、R(赤)が適用される。
つまり、自然光による色彩三次元画像情報をICH−CH光変換部(たとえば位相共役鏡)に入射させ、別光源による各波長成分のコヒーレント光の一部を分派部(たとえばビームスプリツタなど)により分波する。そして、色彩三次元画像情報と各波長成分のコヒーレント光の一部をICH−CH光変換部内に同軸上で入射させることで、色彩三次元画像情報のICH−CH光変換を行なう。
また、ICH−CH光変換した物体光(物体波)とレーザ光による参照光(参照波)を、光学的な倍率を変えて同軸で干渉させ、固体撮像装置上に偏光方向を揃えて入射させることで、レーザ光による色彩ホログラム像を固体撮像装置上に形成させる。この色彩ホログラム像を固体撮像装置で撮像することで、三次元画像信号を取得する。
つまり、ICH−CH光変換されたコヒーレント光の位相共役光を生成して物体光とし、固体撮像装置上に結像させる。各波長成分のレーザ光の分波した残りのレーザ光を参照光とし、位相共役物体光と同軸になるように入射させて干渉させ、固体撮像装置上にコヒーレント光ホログラムを形成させる。
また、色彩ホログラム像を形成させる際に、白色光を構成する主な色彩波長成分を放出するレーザ光源使用し、物体光や参照光の何れか一方または双方を、色彩波長成分ごとに異なる変調周波数で変調し、固体撮像装置上に色彩ホログラム像を形成させる。変調は、AM,FM,PMの何れでもよい。
各波長成分(R,G,B光)を異なる周波数で変調させるが、物体光と参照光の双方を変調する場合は、双方の変調周波数を異ならせて変調させ、固体撮像装置上に色彩ホログラムを形成させる。
物体光の色彩波長成分(R,G,B光)を取得するために、R,G,Bの3色を発振する白色半導体レーザを使用する。物体光を変調する場合には、R,G,B光を異なる変調周波数で変調する。参照光を変調する場合には、色彩波長成分(R,G,B光)ごとに異なる変調周波数で変調する。
固体撮像装置により得られた撮像信号に対しては、変調により伴われた光学的なノイズ成分を電気的信号処理により除去し、意図的に色彩波長成分別に変調された光信号を波長成分ごとに特徴付けられた電気信号に変換する。
これらの利点として、固体撮像装置で取得される色彩信号は、既に色彩別に特徴付けられるため、固体撮像装置上には、ベイヤー配列などのマトリクス状のカラーフィルタ(色分解フィルタ)が不要となる。ただし、色彩別に特徴付けられている信号を処理するため、周波数処理が必要となる。ここで「周波数処理」とは、波長成分(R,G,B光)ごとに異なる変調周波数の成分を持つ混合された撮像信号から、それぞれの変調周波数に応じた成分を分離することを意味する。
それぞれの変調周波数に応じた成分を分離した後には、一般的なカラー撮像信号処理と同様の仕組みが適用できる。ただし、元々の撮像信号は変調周波数で変調された成分を含むので、この点を考慮した回路構成にすることが望まれる。
以上を踏まえて、最初に、電子的なホログラム記録の本実施形態において適用される理論について幾つか説明する。
[立体感の生理作用]
図1は、人間の立体感の生理作用を説明する図である。この図は、人間の目が三次元対象物をどのようにして立体とて捕らえているかを概念的に示している。
人間の目は神経が頭の中で交差しており、左目が情報は右脳で処理され、右目情報は左脳で情報処理される。両者の情報は脳梁を通じて互いに情報のやり取りを行なっている。左単眼視野(AL)と右単眼視野(AR)から両眼視野(B)が形成され、それに基づくパターン認識(D)があり、その結果、立体感(E)として認識されるという認識過程がある。
その他に、視差の効果は両眼に比べると劣るが、単眼でも立体として認識でき、左単眼視野(AL)→パターン認識(CL)→立体感(E)という経路と、右単眼視野(AR)→パターン認識(CR)→立体感(E)という経路があるとするのが一般的である。これは、実際に、自分の目で片方の目を覆って、他方の目だけで対象物を見るようにすると、前後の距離感は両眼視の場合より多少なくなるが、それでもかなりの立体感があることから分かる。
[時間的光変調法によるホログラムの形成とその撮像]
変調の対象となるのは、物体光・参照光の何れの場合もある。因みに、双方を変調する場合は、それぞれの変調周波数を少し(僅かに)異ならせる。
たとえば、撮像部5に使用される固体撮像装置上の光の強度をI、物体光の複素振幅をB、参照光の複素振幅をSとする。
ここで、参照光のみを変調させる場合に、その参照光の変調周波数をωo とすると、固体撮像装置上の光の強度Iは式(1)で表される。
Figure 2011033759
また、物体光と参照光の双方を変調させる場合に、物体光の変調周波数をωi 、参照光の変調周波数をωk とすると、固体撮像装置上の光の強度Iは式(2)で表される。
Figure 2011033759
また、色彩三次元画像信号の取得の場合には、物体光をカラーの基本色であるB(青)、G(緑)、R(赤)で区別してそれぞれBr,Bg、Brとする。ここで、各色の物体光Br,Bg、Brを各別の変調角周波数ω1 ,ω2 ,ω3 の参照光で変調する場合には、固体撮像装置上の光の強度Iは式(3)で表される。
Figure 2011033759
レーザ光の強度がそれほど強くなく、異なる波長間の光の干渉が無視できるとすると、式(3)は、式(4)のように簡略化できる。
Figure 2011033759
さらに、式(4)を書き換えると、式(5)が得られる。
Figure 2011033759
式(5)の右辺において、第1項の「N」は時間的変調に無関係なノイズ項であり、第2項以降は時間的変調項であり、それぞれ、各色の物体光Br,Bg、Brに対応する参照光の変調角周波数ω1 ,ω2 ,ω3 に関するものである。これらの色別の時間的変調項は、実数部と虚数部があり、実数部はcos関数、虚数部はsin関数で、それぞれ表すことができる。
したがって、互いに直交する2つの直線偏光波の重合せとみなすことができ、電気的カラー信号処理による色彩三次元像の即時記録や再生が可能であることが分かる。
[縮退4波混合による位相共役光の発生]
図2〜図2Aは、位相共役鏡の機能を説明する図である。ここで、図2は、4波混合による位相共役光の発生の仕組みを説明する図である。図2Aは、光学機能材料と電気光学係数と応答時間の関係を示す図である。
位相共役光を発生させる方法には、たとえば、「誘導ブリルアン散乱による方法」、「4波混合による方法」、「ホログラムを用いる方法」が知られている。
一般に、光屈折性材料の内でメモリ効果を持つものをフォトクロミック材料と言うが、これに対し、メモリ作用を持たず単に光応答のみを示す材料がある。この材料の方形の素子に同じ波長の2つのレーザビームを異なる角度で入射させると、光照射領域で2つの光波の干渉が生じ、媒質内に透過率や屈折率の変化を引き起こす。これらの変化は、光の干渉縞の縞模様に対応した透過率または屈折率の変調した領域が媒質内に作り出され、この現象はいわゆるダイナミックホログラフィとして知られている。
一方、位相共役鏡としてチタン酸バリウム(BaTiO3 )結晶を使用し、結晶中にλ=635nmのレーザビームを入射させ、簡単な光学機器構成を用い、4波混合法により位相共役光を発生させるのが「4波混合による方法」である。
図2を参照して、この4波混合による位相共役光の発生の仕組みを説明する。ほぼ直方体状の光応答性媒体が位相共役鏡20として中心に配置され、一方の端面23aに第1の参照レーザ光L2a を発する光源(図示せず)とハーフミラー21aが配置され、それとは反対側の端面23b側に反射鏡21bが設置され、それらと直交する一方の端面23c側には反射鏡21が配置される。端面23aの側が第1の参照レーザ光L2a の入射側で、端面23bの側が第1の参照レーザ光L2a の出射側かつ反射鏡21bで反射された第2の参照レーザ光L2b の入射側である。端面23cの側が反射鏡21が配置される側で、端面23dの側が位相共役光の出射される側である。
ここで、波長λの第1の参照レーザ光L2a をハーフミラー21aを通して位相共役鏡20(光応答性媒体)の端面23a側に入射させ、対向する端面23b側の反射鏡21bにより第1の参照レーザ光L2a の反射光である第2の参照レーザ光L2b を形成させる。なお、第1の参照レーザ光L2a を第1の励起光とも称し、第2の参照レーザ光L2b を第2の励起光とも称する。
すなわち、ハーフミラー21aと反射鏡21b、ハーフミラー21aと位相共役鏡20の端面23a、位相共役鏡20の端面23bと反射鏡21bは、それぞれ光学的なキャビティを形成する。これによって、それぞれのキャビティの間で繰り返し反射が生じ、第1の参照レーザ光L2a (入射光)と第2の参照レーザ光L2b (反射光)は励起光となり、位相共役鏡20を励起状態にする。
ここで、位相共役鏡20の端面23c側には、反射鏡21が端面23cに対して適当な角度θで配置する。
第1の参照レーザ光L2a と第2の参照レーザ光L2b の照射によって、位相共役鏡20がエネルギを充分吸収すると、端面23cより漏れ出た漏れ光L2c_1 が反射鏡21によって反射され、位相共役鏡20との間で繰り返し反射が生じ、レージングを惹き起こす。その結果、端面23cは位相共役鏡となり、漏れ光L2c_1 とこれと位相共役な光が発生し、位相共役鏡20の端面23cに対向する端面23dより、位相共役光L2c*が放出するようになる。
位相共役光生成過程はおおよそ以下のメカニズムによる。第1の参照レーザ光L2a と端面23cからの漏れ光L2c_1 の反射鏡21による反射光L2c_2 が干渉し、位相共役鏡20の中に干渉縞22が形成される。第2の参照レーザ光L2b が干渉縞22によって反射して反射光L2c_2 がやってきた光路を遡る。この反射光L2c_2 がやってきた光路を遡る光は反射光L2c_2 と方角が同じで向きが違うため、反射光L2c_2 に対し共役位相の関係にある。すなわち、反射光L2c_2 がやってきた光路を遡る光は位相共役光L2c*となる。したがって、光応答性媒体20は位相共役鏡として作用する。
ここでは、第1の参照レーザ光L2a と反射光L2c_2 の干渉しか図示していないが、干渉の対象性から第2の参照レーザ光L2b と反射光L2c_2 の干渉による干渉縞も形成されている。この場合は、第1の参照レーザ光L2a が干渉縞22によって反射し、位相共役光となる。方向はやはり反射光L2c_2 のやってきた光路を遡る。
次に、反射鏡21の一方の端点(位相共役鏡20の端面23a側の端点)を支点として反時計方向に角度θだけ回転させると、反射鏡21の反射面21aは反射面21bの位置に移動する。位相共役鏡20は位相共役鏡であるために、“いかなる光でも発生源に正確に戻る作用”が働き、レージングが維持され、変位前の位相共役光L2c*が角度θ方向に変位し、トラッキング光L2d*となって端面23dの側に放出される。トラッキング光L2d*も同様に位相共役光である。
位相共役鏡20内で行なわれる光生成過程は“増幅率=1”であり、出射する位相共役光L2c*およびトラッキング光L2d*の光強度は第1の参照レーザ光L2a のそれに等しい。
また、位相共役光L2c*およびトラッキング光L2d*の光強度は、位相共役鏡20に入射する励起光のエネルギが閾値以上であれば、入射励起ビームの光強度に依存し、入射励起ビームの光強度が増せば位相共役光の光強度も増大する。位相共役鏡20に入射する励起光を、以下「入射励起ビーム」とも称すし、本例では第1の参照レーザ光L2a に該当する。
反射鏡21を前述のような方法により、支点を中心に一定速度で振動させた場合、トラッキング光L2d*は反射鏡21の振動に追従するが、どの程度まで回転振動速度に追従できるかについては、用いる位相共役鏡20の材料の光応答速度によって決まる。
[ダイナミックホログラフィと光応答性材料]
前記のように、複数のレーザ光の干渉によって位相共役鏡20中に干渉縞が形成される理由は、光照射によって媒質中に屈折率変調領域が生じるためであり、ダイナミックな光応答過程として知られている。
ダイナミックな光応答を示す材料としては、以下のようなものが挙げられる。たとえば、赤外領域に感度のある材料としては、InP:Fe、GaAs:Cr結晶、GaAs/GaAlAsなどがある。
可視領域に感度のある材料としては、無機系であれば、LiNbO3 :Fe、KTN(K(TaNb)O3 )、BSO(Bi12SiO20)、BGO(Bi12GeO20)、SBN((SrBa)Nb2 O6 )、BaTiO3 、KNbO3 などがある。鉄またはロジウムなどの遷移金属を添加したLi20/(Ta205 +Li20)のモル分率が0.495〜0.50であるストイキオメトリ組成タンタル酸リチウム単結晶は、紫外光から可視光域でフォトリフラクティブ効果がある。サマリウムやイッテルビウムなどの遷移元素や希土類元素を微量に含有するとともにセリウムを不純物として含むニオブ酸ストロンチウムバリウム単結晶、SrxBa1-xNb206 で、xの範囲が0.25≦x≦0.75である光学材料も、ホログラム記録媒体、位相共役鏡、および光増幅器を構成した場合、応答速度が速く、安定性に優れたデバイスが実現できる。
また、高分子系材料(有機系)では、ポリジアセチレン、Poly−4−BCMUpolydiacetylene がある。これらは、はモノマーの単結晶に紫外線、X線、γ線を照射あるいは熱などを加えて重合し、ポリマーの単結晶にする。モノマーLB膜を重合してポリマーのLB膜にするなどの製法もある。また、キサンテン系のエリトロシンB色素含有ポリビニールアルコール(PVA)膜、アゾ色素を含有するポリビニールアルコール(PVA)樹脂なども、偏光方向が互いに直行する二つの位相共役光を発生する性質があり好適である。
一般的な無機質光学機能材料では、以下の4つのプロセスにより、干渉縞の光のパターンに応じた屈折率の変調パターンが媒体内に形成される。
(a)光照射が強い(干渉縞の明るい)部分では、材料内のトラップからキャリアが光励起している。
(b)励起キャリア(電子)は材料の伝導帯へ遷移し、光照射のない(干渉縞の暗い)部分へ移動し、そこで再びトラップされる。
(c)その結果、空間的に非一様な電荷分布が強い静電空間電場が作り出される。
(d)線形な電気光学効果によって、同じ媒体中に屈折率変化が生じ、その大きさは局所的な電界強度に比例する。
このような材料は、以下の典型的な3つの性質により特徴付けられる。
(1)媒質の屈折率変化が始まる光エネルギの閾値
(2)回折効率
(3)応答時間
以下、順を追って説明する。
(1)媒質の屈折率変化が始まる光エネルギの閾値
前述の(a)〜(d)までの過程を持つ材料で、もし入射光のエネルギがトラップからキャリアを光励起するほど大きくないなら、または光励起しても非一様な空間電荷場を形成するほどキャリアの数が十分でないなら、媒質に屈折率の変化は起こらない。したがって、屈折率変化を引き起こすためには、入射光エネルギに閾値が存在ことになる。今、閾値エネルギをEthとすると、「E>Eth」で媒質の屈折率変化が始まる。
(2)回折効率
光学機能材料の元の屈折率no 、有効電気光学係数reff 、電場Eとすると、電気光学効果により引き起こされる屈折率変化Δnは式(6)で表される。
Figure 2011033759
ここで、ダイナミックホログラフィックな要素を考えた場合、結晶厚(より正確には光波の結晶中の相互作用長)をlとすると、光波の回折効率ηは、吸収が小さい場合は式(7)で表される。したがって、屈折率変化Δn、すなわち、有効電気光学係数reff が大きいほど回折効率ηは大きい。
Figure 2011033759
図2Aに、光学機能材料とその電気光学係数reff と応答時間の関係を例示する。ここで、図2A(1)は比較的大きな電気光学係数を持つ光学機能材料の場合であり、図2A(2)は比較的小さな電気光学係数を持つ光学機能材料の場合である。図2A(3)は、種々な材料の応答時間が実際にどのような値になるかを示す。図2A(1)に示すように、BaTiO3 、KNbO3 、(SrBa)Nb2 O6 のような材料(強誘電性光学機能材料である)は比較的大きな効電気光学係数reff の値を持つ。これに対して、図2A(2)に示すように、BGO(Bi12GeO20)やBSO(Bi12SiO20)、InP、GaAsなどは比較的小さな効電気光学係数reff の値を持つ。
図2A(2)に示す材料は図2A(1)に示したような強誘電性光学機能材料に比べ、非線形光学効果が小さい反面、前述の(a)〜(d)までの過程が比較的早く進行する。
(3)応答時間
(3−1)光相互作用領域の応答時間
ダイナミックホログラフィを主な対象とした場合、光相互作用領域(干渉縞)の動作感度、すなわち、応答時間が重要な因子になる。ここで、比誘電定数ε、電気伝導度σとすれば、応答時間τと光学機能材料(電気光学材料)の誘電緩和時間τcとの間には式(8)のような関係がある。
Figure 2011033759
ここで、光伝導が支配的な場合、電子の電荷e、吸収係数α、移動度μ、空のトラップへの再結合時間τR 、平均光照射強度Io とすると、式(8−2)の誘電緩和時間τcは式(9)のように表わすことができる。因みに、電子の電荷e、吸収係数α、移動度μ、再結合時間τR が材料に依存する因子である。
Figure 2011033759
したがって、材料の比誘電定数εが小さく、材料の吸収係数αが比較的大きく、キャリアの移動度μが大きく、空のトラップへの再結合時間τR が長く、光照射強度Io が高いほど、応答時間τcは早い。
たとえば、図2A(3)から明らかなように、有機高分子材料であるPoly−4−BCMUpolydiacetylene は、π電子による強い非線形光学効果があり、その応答時間は極めて早く500〜700fs(フェムト秒)にも及ぶ。
[ICH−CH光変換]
図3は、ICH−CH光変換の基本を説明する模式図である。ここで、図3(1)は、ICH−CH光変換の全体の概念図であり、図3(2)は特にICH−CH光変換に注目して、その過程を模式的に示した図である。
入射光にインコヒーレントにレーザによるコヒーレント光を重畳させ、位相共役鏡内で4波混合を行なうと、前述のように共役位相波を発生させることができるが、同時にICH−CH光変換も行なわれる。この点について、図3に示す模式図を参照して説明する。
図3(1)に示すように、位相共役鏡30の端面33d側に反射鏡31a、また端面33b側に反射鏡31b、端面33c側に半透明鏡31cを配置し、端面33c側よりレーザによる波長λのコヒーレント光L3d_CHを半透明鏡31cを通して位相共役鏡30に入射させる。同時に、端面33a側より、三次元物体情報を持つインコヒーレント光L3a_ICH と、これに重畳するように、レーザによる波長λのコヒーレント光L3b_CHを入射させる。この場合、インコヒーレント光L3a_ICH はレンズなどの光学系を通過した自然光であり、位相が揃っておらず、かつ多くの波長からなっている光波である。
前述の4波混合の原理により、媒質内で干渉縞32が発生し、コヒーレントな位相共役光L3f_CHが発生する。その際、位相共役鏡30の内部ではICH−CH光変換も同時に進行し、コヒーレントな位相共役光L3f_CHは三次元物体情報を備えた位相共役光となる。端面33c側から入射させるコヒーレント光L3d_CHは、位相共役鏡30の励起光としての役割の他に、コヒーレント変換された物体情報を持つ位相共役光L3f_CHを呼び出すための探査光または読出し光としての役割も果たしている。
図3(2)は、どのようにしてICH−CH光変換が行なわれるか、その過程を強調して説明している。ここでは、位相共役鏡40内に生じた屈折率変調領域(干渉縞)の増強による波長選択作用(フーリエ変換)が示されている。
インコヒーレント光L4a_ICH はコヒーレント光のように時間的な波動周期に連続性がなく、ウエーブトレインまたはウエーブパケットの集合体のような形をしている。しかし、インコヒーレント光波をフーリエ展開すると、色々な波長の連続波の和として表すことができるという原理がある。よって、位相共役鏡40のエネルギ状態が高まっているときに位相共役鏡40にコヒーレント光L4b_CHが同時に入射すると、コヒーレント光L4b_CHとこの光の波長に相当するインコヒーレント光L4a_ICH の波長成分が干渉する。その結果として、媒質である位相共役鏡40内に僅かな屈折率変調を引き起こす。
図3(2)に示すように、位相共役鏡40の端面43a側からインコヒーレント光L4a_ICH とコヒーレント光L4b_CHを同時に入射させる。( i)に示すように、始めは未だ屈折率変調の効果は明瞭でなく、コヒーレント変換は生じない。この段階では、未だ入射するインコヒーレント光L4a_ICH は位相共役鏡40の端面43b(端面43aと反対)側にコヒーレント光L4b_CHとともに出射する。
少し時間が経過した次の段階では、( i)による波長選択性が少し促進し、(ii)に示すように干渉縞が次第に明瞭になってくる。位相共役鏡40の端面43b側にはインコヒーレント光L4a_ICH のコヒーレント変換されたコヒーレント光L4b_CH' が出射するようになるが、未だ完全な変換光ではない。また、インコヒーレント光L4a_ICH の透過成分(透過インコヒーレント光L4a_ICH')も出射するがその光量は僅かである。
( iii)は(ii)の過程が更に促進した状態を示す。生じた干渉縞42は回折格子のような作用をもたらし、インコヒーレント光L4a_ICH の内の特定の波長(コヒーレント光L4b_CHと同じ波長)の光が増幅され、それ以外の波長の光はフィルタされ、波長λのコヒーレント光L4c_CHのみ出射するようになる。すなわち、ICH−CH光変換が行なわれたことになる。
[光変調]
本実施形態では、物体光や参照光に対して変調を加える際に、レーザ光源から発せられた無変調のレーザ光に対して光変調を加える方法とレーザ光源に対して変調を加える方法の何れかまたは双方の仕組みを採ることがある。以下、各種の光変調について、簡単に説明する。
無変調のレーザ光に対する変調方法は、たとえば、電気光学効果を利用する方法、磁気光学効果を利用する方法、音響光学効果を利用する方法などに大別できる。
電気光学効果を利用する方法はさらに、印加電圧(電界)を加えることにより材料の屈折率が変化する現象に着目して、カー(Kerr)効果を利用する方法とポッケルス(Pockels )効果を利用する方法に分けられる。媒質の屈折率変化が印加電圧の2乗に比例する効果をカー効果と称し、たとえば、KTNなどが媒質材料として使用される。一方、媒質の屈折率変化が印加電圧に比例する効果をポッケルス効果と称し、たとえば、KDP、ADP、CuCl、LiNbO3 、LiTaO3 、KLiNb、ZnSなどが媒質材料として使用される。なお、光の進行方向に沿って電界を印加する場合と垂直に印加する場合とがある。
磁気光学効果を利用する方法は、偏光方向が印加磁場により回転する効果を利用するもので、たとえば、YIGなどが媒質材料として使用される。
音響光学効果を利用する方法は、超音波と光の相互作用を利用するもので、たとえば、重フリントガラス、石英、などが媒質材料として使用される。
レーザ光源に対して変調を加える方法は、半導体のPN接合を利用する方法であり、光源と変調装置が同じか別かで2分される。光源と変調装置が同じ場合は直接型(または自発光型)と称し、半導体レーザや半導体ダイオードに適用される。たとえば、GaAs,GaAlAs,ZnSe,InAlAs,AlGaInAsP,ZnMgSSe,ZnCdSe/ZnSe(MQW)、などが半導体材料として使用される。一方、光源と変調装置が別の場合は間接型と称し、たとえばGaPなどが半導体材料として使用される。
<三次元画像撮像装置:第1実施形態>
図4〜図4Aは、第1実施形態の三次元画像撮像装置を説明する図である。ここで、図4は、第1実施形態の三次元画像撮像装置2Aの概略構成図である。図4Aは、本実施形態の三次元画像撮像装置2で使用する主要構成要素の光学特性を概念的に示す図である。
第1実施形態は、レーザ光源側で光変調を行なう点と、ICH−CH光変換と位相共役光生成を1つの素子で行なう点に特徴がある。
[構成]
第1実施形態の三次元画像撮像装置2Aは、物体光を変調させて、参照光を変調させない態様である。
三次元画像撮像装置2Aは、干渉光学部3A、変調信号源部4A、撮像部5を具備する。撮像部5の後段には三次元画像信号処理部6が設けられる。
撮像部5としては、たとえば、CCD(Charge Coupled Device )やCMOS(Complementary Metal-oxide Semiconductor )を具備する走査型のものを使用する。「走査型のもの」とは、撮像部5の撮像面を電子的に走査することで各走査位置の情報(画素情報)を取得するものを意味する。ここで、本実施形態に使用する撮像部5は、色彩ホログラムを撮像するものではあるが、色分離フィルタが配設されたカラー撮像用のものである必要はなく、モノクロ用のものである点に特徴がある。
三次元画像信号処理部6は、撮像部5で取得される撮像信号S5を信号処理して色彩波長別のホログラム情報信号を取得する。
干渉光学部3Aは先ず、ICH−CH光変換素子および位相共役光生成素子として機能する位相共役鏡104が物体光側の光学系の中心に配置されている。位相共役鏡104の端面105a側には、自然光照明下の物体BJからの光(物体光)を取り込む入射光学系110として、赤外線カットフィルタなどの光学フィルタ112とレンズ116と半透明鏡118(ハーフミラー)が、物体BJ側からこの順に配置されている。端面105aとは反対側の端面105b側には反射鏡122が配置され、端面105aおよび端面105bに対して直交する側の端面105dには反射鏡124が配置されている。位相共役鏡104と反射鏡122,124で、インコヒーレント光−コヒーレント光変換部が構成される。
位相共役鏡104の端面105dとは反対側の端面105c側に撮像部5が配置され、端面105dと撮像部5の間の撮像光学系130として、半透明鏡132、偏光角調整用偏光子134、ビームスプリッタ136が、端面105c側からこの順に配置されている。また、ビームスプリッタ136を通過した成分を半透明鏡118側に反射させるような位置に反射鏡126が配置されている。ビームスプリッタ136はレーザ光を2つの分割光に分岐する分岐部の一例である。
さらに、シャープカットフィルタ138が、偏光角調整用偏光子134の位置(つまり撮像光学系)に配置されている。なお、このシャープカットフィルタ138は、偏光角調整用偏光子134の位置ではなく、入射光学系110側(たとえば図中に点線で示す光学フィルタ112とレンズ116の間)に配置してもよい。
第1実施形態の変調部4Aは、光源部150と光変調部160を備える。第1実施形態では、光源部150としては物体光用の光源と参照光用の光源を各別に備える。それぞれを、物体光光源152、参照光光源154と記す。物体光光源152および参照光光源154としては、白色(RGB)半導体レーザ素子(以下、三波長半導体レーザとも称する)を使用する。白色半導体レーザ素子の放射光の波長(赤色、緑色、青色)をそれぞれ、λ1 , λ2 , λ3 とする。
物体光光源152と半透明鏡132の間には、ビームエキスパンダ172と偏光子174が物体光光源152側からこの順に配置されている。参照光光源154とビームスプリッタ136との間には、ビームエキスパンダ176と偏光子178が参照光光源154側からこの順に配置されている。ビームエキスパンダ172とビームエキスパンダ176の光学倍率は異なるもの(ビームエキスパンダ172の方が高倍率)とする。
光変調部160は、物体光を変調させるべく、物体光光源152に対して波長(R,G,B)ごとに異なる周波数で変調処理を行なう変調信号源部162を波長(R,G,B)別に有する。物体波光源152と変調信号源部162で、RGB変調半導体レーザ部を構成している。これとの対比で、参照波光源154を、RGB変調半導体レーザ部とも称する。
これにより、物体光光源152からは、RGBごとに異なる周波数で変調した波長別の変調レーザ光が重畳して発せられると見なし得る。つまり、物体光光源152から発せられる変調レーザ光は、変調信号源部162Rからの角変調周波数ω1 の変調信号と変調信号源部162Gからの角変調周波数ω2 の変調信号と変調信号源部162Bからの角変調周波数ω3 の変調信号に応じて変調されたものとなる。物体光光源152から発せられる変調レーザ光を、変調されたRGBコヒーレント光W5_CH と記す。
一方、参照光光源154は変調しないので、RGB三色の発振波長を持つ1個の無変調RGB三波長半導体レーザとする。参照光光源154から発せられるレーザ光を、無変調のRGBコヒーレント光W3_CH と記す。
図4Aに、光源部150(物体光光源152、参照光光源154)に使用される三波長半導体レーザとICH−CH光変換素子とシャープカットフィルタ138の光学特性が概念的に示めされている。曲線a(鎖線)はICH−CH光変換素子(たとえば位相共役鏡104や後述のICH−CH光変換素子102)の光電導感度特性を表しており、RGBの波長域全体に亘ってほぼ一様な感度を持っている。曲線b(破線)はシャープカットフィルタ138の光学特性であり、RGBの特定な波長を中心にややブロードな透過特性を持っている。これらに対して、曲線c(実線)は三波長半導体レーザ(物体光光源152、参照光光源154)の光学特性であり、RGBの特定な波長に鋭いピークを持つような急峻な光放射特性を持つ。
[作用]
第1実施形態の三次元画像撮像装置2Aにおけるカラーホログラム信号の取得は次のように行なわれる。物体光を光変調させ、参照光を変調させないものであり、概要を説明すると以下の通りの特徴を備えている。
・ICH−CH光変換と位相共役光の発生は同一素子(位相共役鏡104)で行なう。
・コヒーレント光の変調操作は物体光光源152に対して行なう。
・半導体レーザ光源として物体光光源152と参照光光源154の2個を配置する。これらは何れも、RGB三色の発振波長が等しく、参照光光源154は無変調とし、物体光光源152はRGBで異なる周波数ω1 ,ω2 ,ω3 で変調する三波長三変調レーザとする。
・物体光であるインコヒーレント光と参照光光源154から発せられる無変調コヒーレント光を位相共役鏡104に端面105a側から同軸で入射させてICH−CH光変換させるとともに、物体光光源152から発せられたR,G,B別の変調コヒーレント光による4波混合を行なうことで、コヒーレント変換された物体光の位相共役光を発生させる。位相共役光は物体情報を伴い、周波数ω1 ,ω2 ,ω3 で変調されたコヒーレント光となっている。これを、変調位相共役光(コヒーレント変換された変調物体光)と称する。
・無変調RGB三波長半導体レーザである参照光光源154の参照光をビームスプリッタ136で分岐させ、変調位相共役光と偏光方向を揃え、両者の光学倍率を変え、同軸で撮像面(受光面)上で干渉させてRGBカラーホログラム像を撮像面上に形成させる。
このような仕組みにより位相共役物体光W7を発生させているため、元の三次元像情報を極めて正確に有したホログラム像が撮像部5により撮像することが可能となる。レンズ系の収差などで歪んだ像情報は、元通りの収差なしの像情報として復元される。以下、第1実施形態の三次元画像撮像装置2Aによるホログラム撮像の様子を具体的に説明する。
自然光で照射された物体BJがあり、その像情報を持つインコヒーレント光W1_ICHが三次元画像撮像装置2A内に配置された入射光学系110に入射する。インコヒーレント光W1_ICHは、光学フィルタ112、レンズ116を通過して、インコヒーレント光W2_ICHとなり、半透明鏡118を透過し、端面105a側から位相共役鏡104内に入射する。
無変調白色半導体レーザである参照光光源154から放出された無変調のRGBコヒーレント光W3_CH は、ビームエキスパンダ176でビーム径が広げられ偏光子178を経て偏光方向が定められ、ビームスプリッタ136により2つの分割光に分岐される。一方がビームスプリッタ136で反射して撮像部5へと向かう無変調のRGBコヒーレント光W31_CHとなり、他方がビームスプリッタ136を透過し反射鏡126および半透明鏡118を経て位相共役鏡Q1へと向かう無変調のRGBコヒーレント光W32_CHとなる。
RGB波長成分を異なる周波数ω1 ,ω2 ,ω3 で変調し物体光光源152より放出された変調されたRGBコヒーレント光W5_CH は、ビームエキスパンダ172と偏光子174により光偏光方向が定められる。そして、この変調されたRGBコヒーレント光W5_CH は、半透明鏡132で反射され、端面105d側から位相共役鏡104内に入射する。
位相共役鏡104内には、インコヒーレント光W2_ICH(物体光)、無変調のRGBコヒーレント光W32_CH、変調されたRGBコヒーレント光W5_CH が入射している。ここで、端面105b側に配置された反射鏡122および端面105c側に配置された反射鏡124により、位相共役鏡104から出射した光を再び位相共役鏡104内に戻し、位相共役鏡104内の光エネルギ状態を励起する。その結果、前述の4波混合の原理により、位相共役物体光W7が発生し、端面105d側から出射される。
位相共役鏡104内に入射した物体光情報を持つインコヒーレント光W2_ICHは、前述した理由により、ICH−CH光変換され、端面105bや端面105cから出力される光波はコヒーレント変換光となっている。以下、端面105bから出力される光波をコヒーレント変換物体光W4_CH と記し、端面105cから出力される光波をコヒーレント変換物体光W6_CH と記す。
端面105d側から位相共役鏡104内に入射する変調されたRGBコヒーレント光W5_CH は探査光または読出し光の役割を果たす。そのため、物体光情報を持つコヒーレント変換物体光W6_CH は無変調であるが、端面105d側から読み出された位相共役物体光W7は変調された物体情報を持つコヒーレント光となっている。以下、周波数ω1 ,ω2 ,ω3 で変調された位相共役物体光W7(コヒーレント変換された変調物体光)を、変調された位相共役物体光W7b と記す。
位相共役鏡104から出射された変調された位相共役物体光W7b は、半透明鏡132、シャープカットフィルタ138、偏光角調整用偏光子134を透過し、撮像部5の撮像面を照射する。参照光光源154から発せられた無変調のRGBコヒーレント光W3_CH がビームスプリッタ136で反射分岐され無変調のRGBコヒーレント光W31_CHとなって、同様に、撮像部5の撮像面を照射する。このため、変調された位相共役物体光W7b と無変調のRGBコヒーレント光W31_CHが同軸で偏光方向を揃えて異なる光学倍率で重畳して撮像面上に結像し、RGBの各干渉縞FR1 よりなるカラーホログラムCH1 を形成する。
物体光(変調された位相共役物体光W7b )と参照光(無変調のRGBコヒーレント光W31_CH)を纏めてホログラム形成光CHと称する。通常のホログラム作成過程との対比では、位相共役物体光W7b は物体光に相当し、無変調のRGBコヒーレント光W31_CHは参照光に相当する。正しく干渉させるには、図に示すように両方の光波の偏光方向が同じでなければならない。
位相共役鏡104に入射させるインコヒーレント光の波長成分を整えるために、図中のAの箇所に光学フィルタ112を挿入しているが、このことは必須ではない。前述のように、シャープカットフィルタ138を、Aの箇所やBの箇所に挿入してもよい。
また、撮像部5の撮像面上で干渉させる2つの光波の偏光方向を揃える目的で、Bの位置に偏光角調整用偏光子134を配置しているが、このことは必須ではない。偏光角調整用偏光子134を備えずとも両方の光波の偏光方向が同じであれば、偏光角調整用偏光子134を配置しなくてもよい。
第1実施形態では、物体像情報を持つインコヒーレント光W1_ICHが、位相共役鏡104により、コヒーレント変換されてコヒーレント変換物体光W4_CH として出力される。加えて、このコヒーレント変換物体光W4_CH とコヒーレント光W5_CH が位相共役鏡104の異なる端面105からそれぞれ入射することで、物体像情報を持つ位相共役物体光W7(変調された位相共役物体光W7b )が出力される。
このとき、RGB別の変調角周波数の変調信号に基づいて変調される状態におかれたRGBコヒーレント光W5_CH を位相共役鏡104に入射することで、位相共役物体光W7b はRGB別の角変調周波数ω1 ,ω2 ,ω3 の各変調信号に応じて変調されたものとなる。
RGB別に変調された位相共役物体光W7b は、無変調の参照光(RGBコヒーレント光W31_CH)と、同軸で、異なる像倍率で、撮像部5の撮像面に入射し結像する。位相共役物体光W7b とRGBコヒーレント光W31_CHが撮像面上で干渉し合うことになるので、撮像部5の撮像面上には、赤色干渉縞、緑色干渉縞、青色干渉縞が重畳した状態で形成される。撮像部5は、その撮像面上で重畳した状態の赤色干渉縞、緑色干渉縞、青色干渉縞を走査して撮像信号S5を取得する。
撮像部5からは撮像面を電子的に走査することで撮像信号S5が得られ、三次元画像信号処理部6に供給される。三次元画像信号処理部6は、撮像信号S5に対して種々の信号処理をすることで、撮像部5の撮像面上にホログラム形成光CHによって形成された赤色干渉縞、緑色干渉縞、青赤色干渉縞に基づく画像信号を取得する。この画像信号は、赤色干渉縞に対応する青色ホログラム情報信号、緑色干渉縞に対応する緑色ホログラム情報信号、青色干渉縞に対応する赤色ホログラム情報信号を含む。
ここで、位相共役物体光W7b は、RGB別の角変調周波数ω1 ,ω2 ,ω3 の変調信号に応じて変調されているので、撮像面上の赤色干渉縞、緑色干渉縞、青色干渉縞を形成する成分が時間およびRGB別の角変調周波数ω1 ,ω2 ,ω3 に依存するものとなる。また、赤色干渉縞、緑色干渉縞、青色干渉縞の形成に寄与しない成分が、時間および周波数に依存しないものとして含まれる。このため、画像信号に含まれるRGB別のホログラム情報信号は、RGB別の変調信号の角変調周波数ω1 ,ω2 ,ω3 (変調周波数f1,f2,f3)を中心とした所定の周波数帯域に存在し、それに、周波数に依存しないバックグラウンドノイズが混入したものとなる。
RGB別のホログラム情報信号は、後段の波長分離部(図示せず)にて波長分離される。波長分離部には、たとえば、RGB別の変調信号の角変調周波数ω1 ,ω2 ,ω3 (変調周波数f1,f2,f3)と対応する周波数を中心とした所定の周波数帯域を通過周波数帯域とするRGB別のバンドパスフィルタが設けられる。これによって、波長分離部からは、バックグラウンドノイズが低減されたRGB別のホログラム情報信号が得られる。
このように、第1実施形態の三次元画像撮像装置2Aでは、次のような利点がある。先ず、干渉光学部3A内に、物体波光源152および参照波光源154をなすレーザ光源を配置する。光源部150には半導体レーザを使用しているため、その他の光学素子も含めて小型化が実現できる。
物体光の位相共役光を発生させるために、物体光としてのインコヒーレント光W2_ICHをコヒーレント光(位相共役物体光W7b )に変換(ICH−CH変換)させるICH−CH変換素子として位相共役鏡104を用いている。そして、位相共役物体光W7b と参照光としてのRGBコヒーレント光W31_CHの倍率を変え、偏光方向を揃えて撮像部5の撮像面上で同軸で干渉させるようにしている。撮像面上にカラーホログラムを形成させ、撮像部5で光学信号を電気信号に変える仕組みを採っている。
物体光の位相共役光と参照光を干渉させるため、レンズなどの収差が除去されたホログラムが形成され、再生画像が鮮明になる利点がある。
物体光(位相共役物体光W7b )と参照光(無変調のRGBコヒーレント光W31_CH)の各光路長を長くとることができるので、その差も大きくとることができ、装置の光学設計の自由度が増す。装置内の光学素子のレイアウトの自由度が増す。干渉させる2つのコヒーレント光の光路長が異なる場合でも、撮像面上に三次元像情報を有する鮮明なホログラムが形成できる利点がある。
また、前述のように、位相共役鏡104にてICH−CH変換と位相共役光生成を行なうので、後述の第2実施形態と比べて、ICH−CH変換と位相共役光生成に要する構成部分が簡易である。
また、第1実施形態は、物体光を光変調し、参照光は無変調とする構成である。加えて、それぞれに専用のレーザ光源を使用する構成を採っている。具体的には、物体光側にはRGB変調半導体レーザ部(物体波光源152+変調信号源部162)を使用し、参照波側にはRGB無変調半導体レーザ部(参照波光源154)を必要とする。しかしながら、一方の光源(RGB変調半導体レーザ部)が光変調素子も兼ねるため、装置内の機能素子の数が減る。
後述する電気信号処理とも関係するが、物体光や参照光でRGB光を光変調し、RGBで変調周波数を変えることで、ホログラム形成時のノイズ光成分を電気的に除去できる。
装置(カメラ)内でのホログラム形成は、超小型暗室でのホログラム作成行為と類似であり、外来光によるノイズの影響が少ないという利点もある。
第1実施形態で示した構成例は物体光用と参照光用の光源が各別のレーザ光源であるので、一見すると、レーザ光源に対して変調を加える方法により、物体光は変調させず参照光を光変調させる態様に変形することができそうに思われる。しかしながら、参照光光源154からのレーザ光の分岐をビームスプリッタ136で行なう構成であるので、レーザ光源に対して変調を加える方法の適用では、物体光は変調させず参照光を光変調させる態様に変形することはできない。
<三次元画像撮像装置:第2実施形態>
図5〜図5Aは、第2実施形態の三次元画像撮像装置を説明する図である。図5はその第1例を示し、図5Aはその第2例を示す。
第2実施形態は、レーザ光源側で光変調を行なうのではない点と、ICH−CH光変換素子と位相共役光生成素子を各別にする点と、ICH−CH光変換素子で光変調を行なう点に特徴がある。
[構成:第1例]
図5に示す第2実施形態(第1例)の三次元画像撮像装置2B_1は、第1実施形態と同様に、物体光を変調させて、参照光を変調させない態様である。第1実施形態の三次元画像撮像装置2と同様の機能要素には同一の参照符号を用いる。
第2実施形態(第1例)の三次元画像撮像装置2B_1は、干渉光学部3B_1、変調信号源部4B_1、および撮像部5を具備する。
干渉光学部3B_1は先ず、RGB波長別のICH−CH光変換素子102(画像変換素子)と位相共役鏡104が物体光側の光学系の中心に配置されている。第2実施形態(第1例)は、位相共役鏡104を位相共役光生成素子のみとして利用する。
ICH−CH光変換素子と位相共役光生成素子を各別にするので、ICH−CH光変換素子102としては、色々な材料の適用が可能である。
RGB波長別のICH−CH光変換素子102のそれぞれに対しては、その両端に変調信号を供給する変調信号源部162が各別に接続されている。
自然光照明下の物体BJからの光(物体光)を取り込む入射光学系110として、光学フィルタ112とレンズ116と半透明鏡118が、物体BJ側からICH−CH光変換素子102に向けて、この順に配置されている。
半透明鏡118とB色成分用のICH−CH光変換素子102Bとの間には、ダイクロイックミラー120Bが配置され、ICH−CH光変換素子102Bと位相共役鏡104Bとの間には半透明鏡128Bが配置されている。ダイクロイックミラー120Bは、B色成分は透過させ、G色成分とR色成分を反射させる。半透明鏡128Bは、ICH−CH光変換素子102B側からのB色成分は透過させるが位相共役鏡104B側からのB色成分は反射させる。
G色成分用のICH−CH光変換素子102Gの半透明鏡118(ダイクロイックミラー120B)側にはダイクロイックミラー120Gが配置されている。さらに、ICH−CH光変換素子102Gと位相共役鏡104Gとの間における半透明鏡128B側からの物体光の光路上には半透明鏡128Gが配置されている。ダイクロイックミラー120Gは、R色成分は透過させ、G色成分を反射させる。半透明鏡128Gは、ICH−CH光変換素子102G側からのG色成分や半透明鏡128B側からのB色成分は透過させるが位相共役鏡104G側からのG色成分は反射させる。
R色成分用のICH−CH光変換素子102Rの半透明鏡118(ダイクロイックミラー120G)側にはダイクロイックミラー120Rが配置されれている。ダイクロイックミラー120Rは反射鏡でもよい。さらに、ICH−CH光変換素子102Rと位相共役鏡104Rとの間における半透明鏡128G側からの物体光の光路を妨げない位置には半透明鏡128Rが配置されている。ダイクロイックミラー120Rは、R色成分を反射させる。半透明鏡128Rは、ICH−CH光変換素子102R側からのR色成分は透過させるが位相共役鏡104R側からのR色成分は反射させる。
光源部150には、1個のレーザ光源156を用いる。このレーザ光源156としては、RGB三色の発振波長を持つ1個の無変調RGB三波長半導体レーザを使用する。
参照光を撮像部5に導光する光学系は、レーザ光源156から発せられた無変調のRGBコヒーレント光W3_CH の偏光面を揃える偏光子178と偏光子178を通過した無変調のRGBコヒーレント光W3_CH を分岐するビームスプリッタ136が配置されている。ビームスプリッタ136を通過した無変調のRGBコヒーレント光W32_CHに対してビームエキスパンダ172、ビームスプリッタ136で反射された無変調のRGBコヒーレント光W31_CHに対してビームエキスパンダ176が配置されている。さらに、ビームエキスパンダ176を通過した無変調のRGBコヒーレント光W31_CHを反射させる反射鏡126、反射鏡126で反射された無変調のRGBコヒーレント光W31_CHを撮像部5側に反射させる半透明鏡132が配置されている。
物体光を撮像部5側に導光する光学系は、半透明鏡128GからのBG色成分の光路上に反射鏡127BG、半透明鏡128RからのR色成分の光路上にダイクロイックミラー129、ダイクロイックミラー129側からの光路上に偏光子174が配置されている。反射鏡127BGは、半透明鏡128GからのBG色成分(位相共役物体光W7)をダイクロイックミラー129側に反射する。ダイクロイックミラー129は、反射鏡127側からのBG色成分は偏光子174側に透過させ、半透明鏡128RからのR色成分(位相共役物体光W7)は偏光子174側に反射させる。偏光子174は、RGB色成分の偏光面を揃える。偏光子174を通過した位相共役物体光W7(RGB色成分)は半透明鏡132を通過し撮像部5を照射する。
第2実施形態(第1例)の変調信号源部4B_1の光変調部160は、物体光を変調させるべく、波長別のICH−CH光変換素子102に対して波長(R,G,B)ごとに異なる周波数で変調処理を行なう変調信号源部162を波長(R,G,B)別に有する。これにより、ICH−CH光変換素子102からは、R,G,Bで異なる周波数で変調した波長別の変調物体光が出力される。
[作用:第1例]
第2実施形態(第1例)の三次元画像撮像装置2B_1におけるカラーホログラム信号の取得は次のように行なわれる。物体光を光変調させ、参照光を変調させないものであり、概要を説明すると以下の通りの特徴を備えている。
・ICH−CH光変換と光変調は同一素子(ICH−CH光変換素子102)で行ない、位相共役光生成は別素子(位相共役鏡104)で行なう。
・ICH−CH光変換素子102および位相共役鏡104は、RGBの波長ごとに感度特性の異なる素子をそれぞれ使用する。
・レーザ光源156としては、前述のように、RGB三色の発振波長を持つ1個の無変調RGB三波長半導体レーザを用いる。
・RGB波長別のICH−CH光変換を行なう3個のICH−CH光変換素子102を使用し、変調信号源部162によりそれぞれ波長ごとに異なる周波数ω1 ,ω2 ,ω3 で変調操作を行なう。
・物体光であるインコヒーレント光W2_ICHとレーザ光源156から発せられ半透明鏡118で反射した無変調のRGBコヒーレント光W32_CHをそれぞれダイクロイックミラー120でRGB波長成分にそれぞれ分離し、両者を同軸で重畳させる。さらに、RGBのICH−CH光変換素子102にそれぞれ入射させ、ICH−CH光変換させるとともに、変換された波長成分別のコヒーレント変換物体光を変調角周波数ω1 ,ω2 ,ω3 で変調する。ICH−CH光変換素子102より出射した各変調されたコヒーレント変換物体光W4b_CH(W4R_CH,W4G_CH,W4B_CH)を、波長成分別に異なる感度特性を持つ位相共役鏡104B,104G,104Bにそれぞれ入射させて位相共役光を発生させる。位相共役物体光W7は物体情報を伴い、B色成分は周波数ω1で変調され、G色成分は周波数ω2で変調され、R色成分は周波数ω3で変調されたコヒーレント光となっている。以下、周波数ω1 ,ω2 ,ω3 で変調された各位相共役物体光W7(コヒーレント変換された変調物体光)を、第2実施形態(第1例)では変調された位相共役物体光W7b と記す。
・無変調RGB三波長半導体レーザであるレーザ光源156の光波をビームスプリッタ136で分岐させ、撮像部5の撮像面上で変調された位相共役物体光W7b と偏光方向を揃え、両者の光学倍率を変え、同軸で撮像面上で干渉させてRGBカラーホログラム像を撮像面上に形成させる。
このような仕組みにより、コヒーレントな変調された位相共役物体光W7b (つまり位相共役物体光W7)を発生させているため、第1実施形態と同様に、元の三次元像情報を極めて正確に有したホログラム像が撮像部5により撮像できる。第1実施形態と同様に、レンズ系の収差などで歪んだ像情報は、元通りの収差なしの像情報として復元される。以下、第2実施形態(第1例)の三次元画像撮像装置2B_1によるホログラム撮像の様子を具体的に説明する。
自然光で照射された物体BJがあり、その像情報を持つインコヒーレント光W1_ICHが三次元画像撮像装置2B_1内に配置された入射光学系110に入射する。インコヒーレント光W1_ICHは、光学フィルタ112、レンズ116を通過して、インコヒーレント光W2_ICHとなり、半透明鏡118を透過し、ダイクロイックミラー120Bに向かう。
無変調白色半導体レーザであるレーザ光源156から放出された無変調のRGBコヒーレント光W3_CH は偏光子178を経て偏光方向が定められ、ビームスプリッタ136により分岐される。その一部が、ビームスプリッタ136で反射して撮像部5へと向かう無変調のRGBコヒーレント光W31_CHとなり、残りの一部が、ビームスプリッタ136を透過し、ビームエキスパンダ172を経て半透明鏡118へと向かう無変調のRGBコヒーレント光W32_CHとなる。無変調のRGBコヒーレント光W32_CHは半透明鏡118で反射され、ダイクロイックミラー120Bに向かう。
ダイクロイックミラー120Bは、B色成分のみを透過し、G色成分とR色成分は反射する。したがって、物体情報を伴ったインコヒーレント光W2_ICHのB色成分と無変調のRGBコヒーレント光W32_CHのB色成分がダイクロイックミラー120Bを透過して、ICH−CH光変換素子102B内に重畳して入射する。ICH−CH光変換素子102Bでは、前記の原理に基づいてB色成分についてのみICH−CH光変換が行なわれ、物体情報を伴ったB色成分のコヒーレント変換物体光W4_CH が形成される。
ICH−CH光変換素子102Bには、変調信号源部162Bにより周波数ω1の変調電界が印加されている。したがって、ICH−CH光変換素子102Bで変換されたコヒーレント変換物体光W4_CH は周波数ω1で変調された変調されたコヒーレント変換物体光W4B_CHになっている。この変調されたコヒーレント変換物体光W4B_CHは、半透明鏡128Bを透過して、B光領域に感度を持つ位相共役鏡104B内に入射し、変調されたコヒーレント変換物体光W4B_CHに共役な位相共役光W6B_CHが発生し、戻り光となり半透明鏡128Bに向かう。
戻り光となった位相共役光W6B_CHは半透明鏡128Bで反射され、半透明鏡128Gを透過し、変調された位相共役物体光W7b のB色成分として反射鏡127BGに向かう。この変調された位相共役物体光W7b のB色成分は、反射鏡127BGで反射して、ダイクロイックミラー129と偏光子174を透過してその偏光方向が定められ、半透明鏡132を透過して、撮像部5の撮像面を照射する。
物体情報を伴ったインコヒーレント光W2_ICHのG色成分およびR色成分と無変調のRGBコヒーレント光W32_CHのG色成分およびR色成分がダイクロイックミラー120Bで反射され、ダイクロイックミラー120Gに向かう。
ダイクロイックミラー120Gは、R色成分のみを透過し、G色成分は反射する。したがって、物体情報を伴ったインコヒーレント光W2_ICHのG色成分と無変調のRGBコヒーレント光W32_CHのG色成分がダイクロイックミラー120Gで反射されて、ICH−CH光変換素子102G内に重畳して入射する。ICH−CH光変換素子102Gでは、前記の原理に基づいてG色成分についてのみICH−CH光変換が行なわれ、物体情報を伴ったG色成分のコヒーレント変換物体光W4_CH が形成される。
ICH−CH光変換素子102Gには、変調信号源部162Gにより周波数ω2の変調電界が印加されている。したがって、ICH−CH光変換素子102Gで変換されたコヒーレント変換物体光W4_CH は周波数ω2で変調された変調されたコヒーレント変換物体光W4G_CHになっている。この変調されたコヒーレント変換物体光W4G_CHは、半透明鏡128Gを透過して、G光領域に感度を持つ位相共役鏡104G内に入射し、変調されたコヒーレント変換物体光W4G_CHに共役な位相共役光W6G_CHが発生し、戻り光となり半透明鏡128Gに向かう。
戻り光となった位相共役光W6G_CHは半透明鏡128Gで反射され、変調された位相共役物体光W7b のG色成分として反射鏡127BGに向かう。変調された位相共役物体光W7b のG色成分は、反射鏡127BGで反射して、ダイクロイックミラー129と偏光子174を透過してその偏光方向が定められ、半透明鏡132を透過して、撮像部5の撮像面を照射する。
物体情報を伴ったインコヒーレント光W2_ICHのR色成分と無変調のRGBコヒーレント光W32_CHのR色成分がダイクロイックミラー120Gを透過してダイクロイックミラー120Rに向かう。ダイクロイックミラー120RはR色成分を反射する。したがって、物体情報を伴ったインコヒーレント光W2_ICHのR色成分と無変調のRGBコヒーレント光W32_CHのR色成分がダイクロイックミラー120Rで反射されて、ICH−CH光変換素子102R内に重畳して入射する。ICH−CH光変換素子102Rでは、前記の原理に基づいてR色成分についてのみICH−CH光変換が行なわれ、物体情報を伴ったR色成分のコヒーレント変換物体光W4_CH が形成される。
ICH−CH光変換素子102Rには、変調信号源部162Rにより周波数ω3の変調電界が印加されている。したがって、ICH−CH光変換素子102Rで変換されたコヒーレント変換物体光W4_CH は周波数ω3で変調された変調されたコヒーレント変換物体光W4R_CHになっている。この変調されたコヒーレント変換物体光W4R_CHは、半透明鏡128Rを透過して、R光領域に感度を持つ位相共役鏡104R内に入射し、変調されたコヒーレント変換物体光W4R_CHに共役な位相共役光W6R_CHが発生し、戻り光となり半透明鏡128Rに向かう。
戻り光となった位相共役光W6R_CHは半透明鏡128Rで反射され、変調された位相共役物体光W7b のR色成分としてダイクロイックミラー129に向かう。この変調された位相共役物体光W7b のR色成分は、ダイクロイックミラー129で反射して、偏光子174を透過してその偏光方向が定められ、半透明鏡132を透過して、撮像部5の撮像面を照射する。
レーザ光源156から発せられた無変調のRGBコヒーレント光W3_CH がビームスプリッタ136で反射分岐され無変調のRGBコヒーレント光W31_CHとなる。この無変調のRGBコヒーレント光W31_CHは、ビームエキスパンダ176を通過してビーム径が広げられ、反射鏡126で反射され、さらに半透明鏡132で反射されて、同様に、撮像部5の撮像面を照射する。
ω1 ,ω2 ,ω3 で変調されRGBの物体情報を持つ変調された位相共役物体光W7b と無変調のRGBコヒーレント光W31_CHが同軸で偏光方向を揃えて異なる光学倍率で重畳して撮像面上に結像しRGBの各干渉縞FR2 よりなるカラーホログラムCH2 を形成する。以下、カラーホログラムCH2 の撮像が撮像部5でなされるなど、第1実施形態と同様の処理がなされる。
物体光(変調された位相共役物体光W7b )と参照光(RGBコヒーレント光W31_CH)を纏めてホログラム形成光CHと称する。通常のホログラム作成過程との対比では、変調された位相共役物体光W7b は物体光に相当し、無変調のRGBコヒーレント光W31_CHは参照光に相当する。
第2実施形態(第1例)の三次元画像撮像装置2B_1は、物体光(変調された位相共役物体光W7b )と参照光(無変調のRGBコヒーレント光W31_CH)の各光路長を長くとることができ、その差も大きくとることができ、装置の光学設計の自由度が増す。この点は第1実施形態と同様である。
ICH−CH変換および変調を行なう部材と位相共役光生成を行なう部材が異なるので、第1実施形態と比べて、ICH−CH変換および変調と位相共役光生成に要する構成部分が複雑であるが、光源部150にはレーザ光源156が1つでよい利点がある。
[構成:第2例]
第2実施形態(第1例)で示した構成例は、物体光用と参照光用の光源が共通のレーザ光源156であり、分岐をビームスプリッタ136で行なう。このため、レーザ光源に対して変調を加える方法の適用では、物体光は変調させず参照光を光変調させる態様への変形はできない。物体光は変調させず参照光を光変調させる場合、ビームスプリッタ136で分岐したRGBコヒーレント光W31_CHに対して、ダイクロイックミラー120でRGB別にし、ICH−CH光変換素子102と同様の構造の光変調素子106を使う構成にすることが考えられる。光変調素子106に対して変調信号源部162で変調するのは、第2実施形態(第1例)で説明したことと同様である。以下、このような構成について、第1例と対比して説明する。第2実施形態(第1例)の三次元画像撮像装置2B_1と同様の機能要素には同一の参照符号を用いる。
図5Aに示す第2実施形態(第2例)の三次元画像撮像装置2B_2は、干渉光学部3B_2、変調信号源部4B_2、および撮像部5を具備する。
干渉光学部3B_2は先ず、物体光側の光学系では、RGB波長別のICH−CH光変換素子102を取り外している。なお、R光成分に関してのダイクロイックミラー120Rは、反射鏡127Rに変更している。第2実施形態(第2例)は、位相共役鏡104を、ICH−CH変換素子と位相共役光生成素子として利用する。
参照光側の光学系に関しては、ビームエキスパンダ176と反射鏡126の間に、ICH−CH光変換素子102と同様の構造のRGB別の光変調素子106が配置され、その入出力側にダイクロイックミラー120や反射鏡127が配置されている。各光変調素子106R,106G,106Bに対しては、RGB別の変調信号源部162R,162G,162Bが接続され、RGBの各色彩波長に対応するように、それぞれ異なる周波数ωi ,ωj ,ωk の変調信号が供給される。
たとえば、B色成分用の光変調素子106Bに対して、入力側にはダイクロイックミラー120B_1が配置され、出力側にはダイクロイックミラー120B_2が配置されている。G色成分用の光変調素子106Gに対して、入力側にはダイクロイックミラー120G_1が配置され、出力側にはダイクロイックミラー120G_2が配置されている。R色成分用の光変調素子106Rに対して、入力側にはダイクロイックミラー120R_1が配置され、出力側には反射鏡127R_2が配置されている。ダイクロイックミラー120R_1は反射鏡127R_1に変更してもよい。
ダイクロイックミラー120B_1は、ビームエキスパンダ176側からのRGBコヒーレント光W31_CHの内のB色成分を光変調素子106B側に透過させ、G色成分とR色成分をダイクロイックミラー120G_1側に反射させる。ダイクロイックミラー120B_2は、光変調素子106B側からのB色成分を反射鏡126側に透過させるがダイクロイックミラー120G_2側からのGR色成分は反射鏡126側に反射させる。
ダイクロイックミラー120G_1は、ダイクロイックミラー120R_1側からのRG色成分(G色成分とR色成分)の内のR色成分はダイクロイックミラー120R_1側に透過させ、G色成分を光変調素子106G側に反射させる。ダイクロイックミラー120G_2は、光変調素子106G側からのG色成分をダイクロイックミラー120R_2側に反射させるが反射鏡127R_2側からのR色成分はダイクロイックミラー120B_2側に透過させる。
ダイクロイックミラー120R_1は、ダイクロイックミラー120G_1側からのR色成分を光変調素子106R側に反射させる。反射鏡127R_2は、光変調素子106R側からのR色成分をダイクロイックミラー120G_2側に反射させる。
[作用:第2例]
第2実施形態(第2例)の三次元画像撮像装置2B_2におけるカラーホログラム信号の取得は次のように行なわれる。参照光を光変調させ、物体光を変調させないものであり、第1例と異なる点について概要を説明すると以下の通りの特徴を備えている。
・物体光についてのICH−CH光変換と位相共役光生成は同一素子(位相共役鏡104)で行なう。
・位相共役鏡104および光変調素子106は、RGBの波長ごとに感度特性の異なる素子をそれぞれ使用する。
・物体光であるインコヒーレント光W2_ICHとレーザ光源156から発せられ半透明鏡118で反射した無変調のRGBコヒーレント光W32_CHをそれぞれダイクロイックミラー120B,120GでRGB波長成分にそれぞれ分離し、両者を同軸で重畳させる。さらに、波長成分別に異なる感度特性を持つ位相共役鏡104B,104G,104Bにそれぞれ入射させてICH−CH変換を行なうとともに位相共役光を発生させる。位相共役物体光W7は物体情報を伴う無変調のコヒーレント光となっている。
・RGB波長別の光変調素子106を使用し、参照光について、変調信号源部162によりそれぞれ波長ごとに異なる周波数ωi ,ωj ,ωk で変調操作を行なう。
・無変調RGB三波長半導体レーザであるレーザ光源156の光波をビームスプリッタ136で分岐させてから、光変調素子106で変調を加える。そして、撮像部5の撮像面上で位相共役物体光W7とRGB別に変調された参照光(RGBコヒーレント光W31_CH)の偏光方向を揃え、両者の光学倍率を変え、同軸で撮像面上で干渉させてRGBカラーホログラム像を撮像面上に形成させる。
このような仕組みにより、コヒーレントな位相共役物体光W7を発生させているため、第2実施形態(第1例)と同様に、元の三次元像情報を極めて正確に有したホログラム像が撮像部5により撮像できる。第2実施形態(第1例)と同様に、レンズ系の収差などで歪んだ像情報は、元通りの収差なしの像情報として復元される。
全体的な作用に関しては、物体光は変調されず、参照光が光変調素子106で変調される点が異なるだけであるので、詳細な説明は割愛する。
<三次元画像撮像装置:第3実施形態>
図6〜図6Aは、第3実施形態の三次元画像撮像装置を説明する図である。図6はその第1例を示し、図6Aはその第2例を示す。
第3実施形態は、レーザ光源側で光変調を行なうのではない点と、光変調素子とICH−CH光変換素子と位相共役光生成素子を各別にする点に特徴がある。特に、光変調素子として、音響光学効果(超音波)を利用する点に特徴がある。
[構成:第1例]
図6に示す第3実施形態(第1例)の三次元画像撮像装置2C_1は、物体光は変調させず、参照光を光変調させる態様である。第1・第2実施形態の三次元画像撮像装置2と同様の機能要素には同一の参照符号を用いる。
第3実施形態(第1例)の三次元画像撮像装置2C_1は、干渉光学部3C、変調信号源部4C、および撮像部5を具備する。
第3実施形態(第1例)の干渉光学部3Cは先ず、RGBの各波長成分に対して1つのICH−CH光変換素子102と位相共役鏡104が光学系の中心に配置されている。ICH−CH光変換素子102に対しては、その両端に電圧を供給する印加電圧源103が接続されている。印加電圧源103は、ICH−CH光変換素子102にてICH−CH光変換を行なう際に必要となる電圧信号を生成して供給するICH−CH光変換素子102に供給する。
自然光照明下の物体BJからの光(物体光)を取り込む入射光学系110として光学フィルタ112とレンズ116と半透明鏡118が、物体BJ側からICH−CH光変換素子102に向けて、この順に配置されている。
ICH−CH光変換素子102と位相共役鏡104との間には半透明鏡128が配置されている。半透明鏡128は、ICH−CH光変換素子102側からのRGBの各波長成分は透過させるが位相共役鏡104側からのRGBの各波長成分は反射させる。
光源部150には、1個のレーザ光源156を用いる。このレーザ光源156としては、RGB三色の発振波長を持つ1個の無変調RGB三波長半導体レーザを使用する。
参照光を撮像部5に導光する光学系は先ず、偏光子178と超音波光変調素子140を備える。超音波光変調素子140は、超音波媒体USと圧電体TDと超音波吸収体ABを具備する。
偏光子178は、レーザ光源156から発せられた無変調のRGBコヒーレント光W3_CH の偏光面を揃えて超音波光変調素子140の超音波媒体USの側面からある角度を持って入射させる。
超音波光変調素子140は、音響光学型の光変調偏光器(超音波を利用した光変調素子)であるとともに、ブラッグ(Bragg )回折効果により1次回折光と変調も回折もされない0次光に分岐することでビームスプリッタに似通った機能をなす。回折効果による1次回折光を変調されたRGBコヒーレント光W31_CHとして使用し、変調も回折もされない0次光を無変調のRGBコヒーレント光W32_CHとして使用する。
超音波光変調素子140から出射された無変調のRGBコヒーレント光W32_CH(0次光)に対してビームエキスパンダ172、変調されたRGBコヒーレント光W31_CH(1次回折光)に対してビームエキスパンダ176が配置されている。さらに、ビームエキスパンダ176を通過した変調されたRGBコヒーレント光W31_CHを反射させる反射鏡126と、反射鏡126で反射された変調されたRGBコヒーレント光W31_CHを撮像部5側に通過させる半透明鏡132が配置されている。半透明鏡132は、位相共役物体光W7を撮像部5側へ反射させる機能も持つ。
物体光を撮像部5側に導光する光学系は、半透明鏡128と半透明鏡132の間に、シャープカットフィルタ138と偏光角調整用偏光子134が、半透明鏡128側からこの順に配置されている。シャープカットフィルタ138と偏光角調整用偏光子134を通過した位相共役物体光W7は半透明鏡132で反射されて撮像部5を照射する。
第3実施形態の変調信号源部4Cの光変調部160は、参照光を変調させるべく、超音波光変調素子140の圧電体TDに対して波長(R,G,B)ごとに異なる周波数ωi ,ωj ,ωk で変調処理を行なう変調信号源部162を波長(R,G,B)別に有する。これにより、超音波光変調素子140からは、1次回折光として、R,G,Bで異なる周波数で変調した波長別の変調参照光が出力される。
[作用:第1例]
第3実施形態(第1例)の三次元画像撮像装置2C_1におけるカラーホログラム信号の取得は次のように行なわれる。参照光を光変調させ、物体光を変調させないものであり、概要を説明すると以下の通りの特徴を備えている。
・ICH−CH光変換、光変調、および位相共役光生成はそれぞれ別素子で行なう。すなわち、ICH−CH光変換はICH−CH光変換素子102で、光変調は超音波光変調素子140で、位相共役光生成は位相共役鏡104で行なう。
・ICH−CH光変換素子102、光変調素子および分岐素子として機能する超音波光変調素子140、位相共役鏡104は、RGBの全波長領域に光感度特性を持ち、RGB光に対してそれぞれ1個の素子で処理することを特徴としている。
・レーザ光源156としては、前述のように、RGB三色の発振波長を持つ1個の無変調RGB三波長半導体レーザを用いる。
・ICH−CH光変換素子102には、RGB波長領域に光感度特性を持つ材料が使用され、1つの素子で全波長成分のICH−CH光変換を行なう。
・光変調には超音波を利用した超音波光変調素子140が用いられ、異なる周波数の変調電界を同時に印加して、RGBに対しそれぞれ異なる周波数ωi ,ωj ,ωk で変調するような光信号を1つの素子で得るようにする。
・無変調RGB三波長半導体レーザであるレーザ光源156からの放出光を超音波光変調素子140に入射させ、RGB別に光変調させた1次回折光(変調されたRGBコヒーレント光W31_CH)を同軸で出射させて参照光とする。同時に超音波光変調素子140より無変調で出射する0次光(無変調のRGBコヒーレント光W32_CH)と、物体光である像情報を持つインコヒーレント光W2_ICHを同軸で重畳させてICH−CH光変換素子102に入射させ、ICH−CH光変換を行なう。コヒーレント変換された光を位相共役鏡に入射させて位相共役光を発生させる。ICH−CH光変換素子102より出射したコヒーレント変換物体光W4_CH を位相共役鏡104に入射させて位相共役物体光W7を発生させる。
・無変調RGB三波長半導体レーザであるレーザ光源156の光波を超音波光変調素子140で波長別に異なる周波数で変調するとともに分岐させる。そして、撮像部5の撮像面上で位相共役物体光W7と偏光方向を揃え、両者の光学倍率を変え、同軸で撮像面上で干渉させてRGBカラーホログラム像を撮像面上に形成させる。
以下、第3実施形態(第1例)の三次元画像撮像装置2C_1によるホログラム撮像の様子を具体的に説明する。
自然光で照射された物体BJがあり、その像情報を持つインコヒーレント光W1_ICHが三次元画像撮像装置2C_1内に配置された入射光学系110に入射する。インコヒーレント光W1_ICHは、光学フィルタ112、レンズ116を通過して、インコヒーレント光W2_ICHとなり、半透明鏡118を透過し、RGBの波長領域に光感度があるICH−CH光変換素子102に向かう。
無変調白色半導体レーザであるレーザ光源156から放出された無変調のRGBコヒーレント光W3_CH は偏光子178を経て偏光方向が定められ、RGBに対しそれぞれ異なる周波数ωi ,ωj ,ωk で変調する超音波光変調素子140内に入射される。超音波光変調素子140では、ブラッグ回折条件を満たすと、周波数ωi ,ωj ,ωk で変調されたRGBコヒーレント光が同軸で特定な方向に回折された1次回折光が、変調されたRGBコヒーレント光W31_CHとして放出される。
また、超音波光変調素子140内に入射した無変調のRGBコヒーレント光W3_CH がブラッグ回折される際には、1次回折光の他に、光変調されず回折もされない0次光が存在する。この0次光はそのまま超音波光変調素子140をそのまま透過して、RGBの無変調な無変調のRGBコヒーレント光W32_CHとして放出される。
この無変調のRGBコヒーレント光W32_CHは、ビームエキスパンダ172を透過してそのビーム径が広げられ、半透明鏡118で反射してその向きを変え、ICH−CH光変換素子102内に、インコヒーレント光W2_ICHと重畳して入射される。ICH−CH光変換素子102では、前記の原理に基づいてRGBの各波長成分についてICH−CH光変換が行なわれ、物体情報を伴った無変調なRGBの各波長成分についてのコヒーレント変換物体光W4_CH が形成される。
コヒーレント変換物体光W4_CH は、半透明鏡128を透過して、RGBの全波長領域に光感度特性を持つ位相共役鏡104内に入射し、コヒーレント変換物体光W4_CH に共役な位相共役物体光W7が発生し、戻り光となり半透明鏡128に向かう。
戻り光となった位相共役物体光W7は半透明鏡128で反射され、シャープカットフィルタ138を透過し、偏光角調整用偏光子134を透過してその偏光方向が調整され、半透明鏡132で反射して、撮像部5の撮像面を照射する。
レーザ光源156から発せられた無変調のRGBコヒーレント光W3_CH が超音波光変調素子140に入射して、変調されたRGBコヒーレント光W31_CHとして放出される。この変調されたRGBコヒーレント光W31_CHは、ビームエキスパンダ176を通過してビーム径が広げられ、反射鏡126により反射されて向きを変え、半透明鏡132を通過して撮像部5の撮像面を照射する。
RGBの物体情報を持つ無変調の位相共役物体光W7とωi ,ωj ,ωk で変調されたRGBコヒーレント光W31_CHが同軸で偏光方向を揃えて異なる光学倍率で重畳して撮像面上に結像し、RGBの各干渉縞FR3 よりなるカラーホログラムCH3 を形成する。以下、カラーホログラムCH3 の撮像が撮像部5でなされるなど、第1・第2実施形態と同様の処理がなされる。
物体光(無変調な位相共役物体光W7)と参照光(変調されたRGBコヒーレント光W31_CH)を纏めてホログラム形成光CHと称する。通常のホログラム作成過程との対比では、無変調な位相共役物体光W7は物体光に相当し、超音波光変調素子140により1次回折光として放出される変調されたRGBコヒーレント光W31_CHは参照光に相当する。
第3実施形態(第1例)の三次元画像撮像装置2C_1は、第1実施形態と同様、物体光(位相共役物体光W7)と参照光(変調されたRGBコヒーレント光W31_CH)の各光路長を長くとることができ、その差も大きくとることができ、装置の光学設計の自由度が増す。
ICH−CH変換と変調と位相共役光生成を行なう各部材が異なるので、第1実施形態と比べて、ICH−CH変換と変調と位相共役光生成に要する構成部分が複雑であるが、光源部150にはレーザ光源156が1つでよい利点がある。
また、ICH−CH変換と変調と位相共役光生成を行なう各部材は、RGBの波長領域に光感度特性を持ち、RGB光に対してそれぞれ1個の素子で処理するので、第2実施形態と比べて、それら各部材が1/3で済む利点がある。
[構成:第2例]
第3実施形態(第1例)で示した構成例は、超音波光変調素子140からの0次光を使うことで物体光は変調させず、超音波光変調素子140からの1次回折光を使うことで参照光を光変調させる態様であるが、これを逆にした態様に変形してもよい。図6Aは、そのような構造のものである。
図6Aに示す第3実施形態(第2例)の三次元画像撮像装置2C_2は、干渉光学部3B_2、変調信号源部4B_2、および撮像部5を具備する。超音波光変調素子140ではRGBごとに異なる周波数ω1 ,ω2 ,ω3 で変調し、超音波光変調素子140からの0次光を使うことで参照光は変調させず、超音波光変調素子140からの1次回折光を使うことで物体光を光変調させる態様である。
[作用:第2例]
第3実施形態(第1例)の三次元画像撮像装置2C_1におけるカラーホログラム信号の取得は次のように行なわれる。参照光を光変調させ、物体光を変調させないものであり、第1例と異なる点について概要を説明すると以下の通りの特徴を備えている。
・無変調RGB三波長半導体レーザであるレーザ光源156からの放出光を超音波光変調素子140に入射させ、RGB別に光変調させた1次回折光(変調されたRGBコヒーレント光W31_CH)を同軸で出射させてRGBコヒーレント光W32_CHとする。そして、RGBコヒーレント光W32_CHを物体光である像情報を持つインコヒーレント光W2_ICHと同軸で重畳させてICH−CH光変換素子102に入射させ、ICH−CH光変換を行なう。コヒーレント変換された光を位相共役鏡に入射させて位相共役光を発生させる。ICH−CH光変換素子102より出射したコヒーレント変換物体光W4_CH を位相共役鏡104に入射させて位相共役物体光W7を発生させる。
・このとき、超音波光変調素子140で分岐され無変調で出射する0次光を参照光(RGBコヒーレント光W31_CH)とする。そして、撮像部5の撮像面上で位相共役物体光W7と偏光方向を揃え、両者の光学倍率を変え、同軸で撮像面上で干渉させてRGBカラーホログラム像を撮像面上に形成させる。
このような仕組みにより、コヒーレントな変調された位相共役物体光W7b を発生させているため、第3実施形態(第1例)と同様に、元の三次元像情報を極めて正確に有したホログラム像が撮像部5により撮像できる。第3実施形態(第1例)と同様に、レンズ系の収差などで歪んだ像情報は、元通りの収差なしの像情報として復元される。
全体的な作用に関しては、超音波光変調素子140から出力される光変調させた1次回折光を変調されたRGBコヒーレント光W31_CHとし、無変調で出射する0次光を参照光(RGBコヒーレント光W31_CH)とする点が異なるだけであるので詳細な説明は割愛する。
[音響光学効果による変調と偏光について]
図7は、音響光学効果による変調と偏光を説明する図である。ここでは、特に、超音波光変調素子140によるRGB光変調と回折を定性的に示す。
前述のように、超音波光変調素子140は、超音波を利用した光変調素子であるとともに、ブラッグ回折効果により1次回折光と変調も回折もされない0次光に分岐することでビームスプリッタに似通った機能をなす。
たとえば、図7に示すような超音波媒体US、圧電体TD(トランスデューサ)、超音波吸収体ABからなる超音波光変調素子140を用いて、音響光学効果によって光の変調操作と偏光を行なうことができる。超音波光変調素子140は、たとえば、超音波媒体USの材質として重フリントガラス、TeO2 、PbMoO4 などが使用され、圧電体TDにはLiNbO3 などが使用される。
超音波媒体USに対して圧電体TDにより体積変化や屈折率変化を引き起こさせることができ、その効果を利用することで、光変調効果が得られる。
ここで図のように、超音波媒体USの側面から波長λの光を回折角(ブラッグ角)で入射させ、圧電体TDに周波数fの電気信号を印加すると、超音波媒体US内に超音波の波長Ωの屈折率の粗密波ができる。次の3つの場合が起こる。
1つ目は、超音波の波長Ωが比較的長く、光と超音波の相互作用長W(トランスデューサの幅)が短い(W<Ω2/2πλ)場合である。この場合、ラマン・ナース(Ramann−Nath)回折が起き、多数の回折光が式(10)で示されるφ方向に回折される。変調光として用いる場合には、式(10)における「±1次」の回折光の内のどちらか一方を使用すればよい。
Figure 2011033759
2つ目は、超音波の波長Ωが比較的短く、光と超音波の相互作用長W(トランスデューサの幅)が長い(W≫Ω2/2πλ)場合である。この場合、ブラッグ回折が起き、特定の角度φで入射した光のみ回折される。この場合、0次光は何の回折も変調も受けず、超音波媒体USの反対側の側面より出射するが、1次光は変調され、φ方向に回折される。φをブラッグ角と称する。変調周波数f、変調角周波数ω、超音波媒体US内の音響波の速度v、とすると、ブラッグ角φの正弦は式(11)で表される。
Figure 2011033759
3つ目は、RGB光(それぞれの波長はλR ,λG ,λB )をそれぞれ異なる周波数で変調し、同じブラッグ角φの回折光が得られるようにする場合である。この場合、3つの変調角周波数ωR ,ωG ,ωB (それぞれ変調周波数fR ,fG ,fB )に対して、式(12)で表される9個の条件式が得られる。「φ1」に関わる成分は波長λR のR光が入射角φ1などで入射したときの回折効果、「φ2」に関わる成分は波長λG のG光が入射角φ2などで入射したときの回折効果、「φ3」に関わる成分は波長λB のR光が入射角φ3などで入射したときの回折効果を示す。「φi」に関わる成分とは、参照子「’」,「”」が付されているものも該当する意味である。
Figure 2011033759
これらの9個の条件式により、R光を変調角周波数ωR で変調し、G光を変調角周波数ωG で変調し、B光を変調角周波数ωB で変調し得るようなφ1,φ2’,φ3”が存在する。さらに、周波数を最適に選定した場合には、φ1=φ2’=φ3”、つまり、fR ・λR =fG ・λG =fB ・λB 、ωR ・λR =ωG ・λG =ωB ・λB なる条件が存在し、このとき出力変調回折光はRGBで同軸となる。
<三次元画像撮像装置:第4実施形態>
図8は、第4実施形態の三次元画像撮像装置を説明する図である。
第4実施形態は、レーザ光源側で光変調を行なうのではない点と、1つの素子で、ICH−CH光変換と位相共役光生成と光変調を行なう点に特徴がある。
[構成]
第4実施形態の三次元画像撮像装置2Dは、物体光を変調させて、参照光を変調させない態様である。第1〜第3実施形態の三次元画像撮像装置2と同様の機能要素には同一の参照符号を用いる。
第4実施形態の三次元画像撮像装置2Dは、干渉光学部3D、変調信号源部4D、および撮像部5を具備する。
第4実施形態の干渉光学部3Dは先ず、RGBの各波長成分に対して1つの超音波光変調素子140でICH−CH光変換と位相共役光生成と光変調を行なうもので、超音波光変調素子140が光学系の主要素子として配置されている。詳細は後述するが、超音波光変調素子140に音響波を与えて強制的にブリルアン(Brillouin )散乱を起こさせる。
第4実施形態の変調信号源部4Dの光変調部160が、物体光を変調させるべく、超音波光変調素子140の圧電体TDに対して波長(R,G,B)ごとに異なる周波数ω1 ,ω2 ,ω3 で変調処理を行なう変調信号源部162を波長(R,G,B)別に有する。
詳細は後述するが、超音波光変調素子140の超音波吸収体ABからは、ICH−CH光変換と変調がなされた位相共役光が放出される。位相共役光は物体情報を伴い、B色成分は周波数ω1 で変調され、G色成分は周波数ω2 で変調され、R色成分は周波数ω3 で変調されたコヒーレント光となっている。以下、周波数ω1 ,ω2 ,ω3 で変調された位相共役光(コヒーレント変換された変調物体光)を、変調された位相共役物体光W7b と記す。
自然光照明下の物体BJからの光(物体光)を取り込む入射光学系110として光学フィルタ112とレンズ116と半透明鏡118が、物体BJ側から超音波光変調素子140に向けて、この順に配置されている。
第4実施形態では、超音波光変調素子140は、半透明鏡118からの光が、超音波媒体USの側面からではなく、超音波吸収体AB側から入射するように配置される。
光源部150には、1個のレーザ光源156を用いる。このレーザ光源156としては、RGB三色の発振波長を持つ1個の無変調RGB三波長半導体レーザを使用する。
参照光を撮像部5に導光する光学系はレーザ光源156から発せられた無変調のRGBコヒーレント光W3_CH の偏光面を揃える偏光子178と偏光子178を通過した無変調のRGBコヒーレント光W3_CH を分岐するビームスプリッタ136が配置されている。ビームスプリッタ136を通過した無変調のRGBコヒーレント光W32_CHに対してビームエキスパンダ172、ビームスプリッタ136で反射された無変調のRGBコヒーレント光W31_CHに対してビームエキスパンダ176が配置されている。さらに、ビームエキスパンダ176を通過した無変調のRGBコヒーレント光W31_CHを反射させる反射鏡126、反射鏡126で反射された無変調のRGBコヒーレント光W31_CHを撮像部5側に反射させる半透明鏡132が配置されている。
物体光を撮像部5側に導光する光学系は、半透明鏡128からのBGR色成分(位相共役物体光W7)を反射する半透明鏡131と、その偏光面を揃える偏光子174が配置されている。偏光子174を通過した位相共役物体光W7は半透明鏡132を通過し撮像部5を照射する。
[作用]
第4実施形態の三次元画像撮像装置2Dにおけるカラーホログラム信号の取得は次のように行なわれる。物体光を光変調させ、参照光を変調させないものであり、概要を説明すると以下の通りの特徴を備えている。
・ICH−CH光変換、光変調、および位相共役光生成は、RGBの全波長領域に光感度特性を持つ1個の超音波光変調素子140で行なう。
・レーザ光源156としては、前述のように、RGB三色の発振波長を持つ1個の無変調RGB三波長半導体レーザを用いる。
・超音波光変調素子140に物体光であるインコヒーレント光W2_ICHとRGBコヒーレント光W32_CHを重畳させて入射させ、変調信号源部162によりRGBごとに異なる周波数の変調電界を同時に印加する。これにより、RGBに対しそれぞれ異なる周波数ω1 ,ω2 ,ω3 で変調させるとともに、ICH−CH光変換も行ない、さらに位相共役物体光W7も発生させる。
・無変調RGB三波長半導体レーザであるレーザ光源156からの放出光RGBコヒーレント光W3_CH をビームスプリッタ136で分岐して参照光(RGBコヒーレント光W31_CH)として撮像部5の撮像面を照射する。
ビームスプリッタ136より分岐したRGBコヒーレント光W32_CHを、物体情報を持つインコヒーレント光W2_ICHと同軸で超音波光変調素子140の超音波吸収体AB側から入射させ、ICH−CH変換、変調、および位相共役光生成を行なう。超音波光変調素子140から放出された変調された位相共役物体光W7b を、RGBコヒーレント光W31_CHと偏光方向を揃え、両者の光学倍率を変え、同軸で撮像面上で干渉させてRGBカラーホログラム像を撮像面上に形成させる。
以下、第4実施形態の三次元画像撮像装置2Dによるホログラム撮像の様子を具体的に説明する。
自然光で照射された物体BJがあり、その像情報を持つインコヒーレント光W1_ICHが三次元画像撮像装置2D内に配置された入射光学系110に入射する。インコヒーレント光W1_ICHは、光学フィルタ112、レンズ116を通過して、インコヒーレント光W2_ICHとなり、半透明鏡118を透過し、超音波吸収体AB側からRGBの全波長領域に光感度がある超音波光変調素子140に入射する。
無変調白色半導体レーザであるレーザ光源156から放出された無変調のRGBコヒーレント光W3_CH は偏光子178を経て偏光方向が定められ、ビームスプリッタ136により分岐される。その一部が、ビームスプリッタ136で反射して撮像部5へと向かう無変調のRGBコヒーレント光W31_CHとなる。残りの一部が、ビームスプリッタ136を透過し、ビームエキスパンダ172と半透明鏡131を経て半透明鏡118へと向かう無変調のRGBコヒーレント光W32_CHとなる。無変調のRGBコヒーレント光W32_CHは半透明鏡118で反射され、インコヒーレント光W2_ICHと同軸で重畳して、超音波吸収体AB側からRGBの全波長領域に光感度がある超音波光変調素子140に入射する。
ここで、超音波光変調素子140にRGBコヒーレント光W32_CHの各波長λR,λG,λBが全反射するような条件の変調角周波数ω1 ,ω2 ,ω3 を同時に印加する。このことは、図7に示される入射角φ=90度に相当し、ブラッグ反射の特別な場合であり、ブリルアン散乱の一種と見ることもできる。
なお、通常のブリルアン散乱の場合は、超音波を別に与えなることなく、媒質(超音波媒体US)内で媒質とレーザ光が相互作用し、その結果、媒質内に媒質の粗密波が誘導され、屈折率変調領域が形成され、入射レーザ光の分布帰還光が発生し、位相共役光となる。これに対して、第4実施形態では、変調信号源部162により超音波媒体USに強制的に超音波を与えて、位相共役光を発生させる点が異なる。
超音波光変調素子140内にインコヒーレント光W2_ICHとRGBコヒーレント光W32_CHが重畳して入射された結果、ICH−CH光変換が行なわれ、インコヒーレント光W2_ICHは像情報を伴ったコヒーレント変換物体光W4_CH に変換される。超音波光変調素子140にはRGBの各光がブラッグ反射φ=90度を満たすような変調角周波数ω1 ,ω2 ,ω3 が同時に印加されているので、RGBの各光は変調角周波数ω1 ,ω2 ,ω3 でそれぞれ別個に変調されることになる。すなわち、R色成分は変調角周波数ω1 で変調され、G色成分は変調角周波数ω2 で変調され、B色成分は変調角周波数ω3 で変調される。
さらに、超音波光変調素子140内で超音波(媒質の粗密波)とコヒーレント変換物体光W4_CH が相互作用し、超音波媒体US内に生じた屈折率変調領域によってコヒーレント変換物体光W4_CH は分布帰還するようになり、位相共役物体光W7が発生する。この発生した位相共役物体光W7は前述の各変調角周波数ω1 ,ω2 ,ω3 で変調されたコヒーレント光(変調された位相共役物体光W7b )であり、戻り光となり、超音波吸収体ABから放出される。この変調された位相共役物体光W7b は、半透明鏡118と半透明鏡131で反射してその向きを変え、偏光子174、半透明鏡132を通過して、撮像部5の撮像面を照射する。
レーザ光源156から発せられた無変調のRGBコヒーレント光W3_CH がビームスプリッタ136で分岐され、ビームエキスパンダ176を通過して、反射鏡126と半透明鏡131で反射してその向きを変え、撮像部5の撮像面を照射する。
RGBの物体情報を持つω1 ,ω2 ,ω3 で変調された変調された位相共役物体光W7b と無変調のRGBコヒーレント光W31_CHが同軸で偏光方向を揃えて異なる光学倍率で重畳して撮像面上に結像し、RGBの各干渉縞FR4 よりなるカラーホログラムCH4 を形成する。以下、カラーホログラムCH4 の撮像が撮像部5でなされるなど、第1〜第3実施形態と同様の処理がなされる。
物体光(変調された位相共役物体光W7b )と参照光(無変調なRGBコヒーレント光W31_CH)を纏めてホログラム形成光CHと称する。通常のホログラム作成過程との対比では、変調された変調された位相共役物体光W7b は物体光に相当し、レーザ光源156より放出されビームスプリッタ136で分岐された無変調のRGBコヒーレント光W31_CHは参照光に相当する。
第4実施形態の三次元画像撮像装置2Dは、第1実施形態と同様に、物体光(位相共役物体光W7)と参照光(変調されたRGBコヒーレント光W31_CH)の各光路長を長くとることができ、その差も大きくとることができ、装置の光学設計の自由度が増す。
第4実施形態は、超音波光変調素子140が、ICH−CH変換と光変調と位相共役光生成の3つの機能を兼ねる構成であるので、機能素子数が最も少ない構成と言える。すなわち、ICH−CH変換と光変調と位相共役光生成を1つの超音波光変調素子140で行なうので、他の実施形態と比べて、ICH−CH変換と光変調と位相共役光生成に要する構成部分が簡単になる。また光源部150にはレーザ光源156が1つでよい利点がある。
第4実施形態で示した構成例は、物体光用と参照光用の光源が共通のレーザ光源156であり、分岐をビームスプリッタ136で行なう。このため、レーザ光源に対して変調を加える方法の適用では、物体光は変調させず参照光を光変調させる態様への変形はできない。また、超音波光変調素子140に対して変調信号源部162でRGB別の周波数で変調をかけることでICHIC光変換と変調を同時に行なうので、1つの超音波光変調素子140を利用して、物体光は変調させず参照光を光変調させると変形もできない。
[音響光学効果によるICH−CH変換と変調と位相共役光生成]
図9は、音響光学効果によるICH−CH変換と変調と位相共役光生成を説明する図である。ここでは、特に、光学音響波媒体である超音波光変調素子140にレーザ光を入射させた場合、どのような過程を経て、ICH−CH変換とRGB光変調と位相共役光生成がなされるかを定性的に示す。
先ず、理解を容易にするため、変調信号源部162による変調がない場合、つまり光学音響波媒体である超音波媒体USのみの場合で説明する。この過程は通常、誘導ブリルアン散乱と呼ばれる。インコヒーレントにレーザによるコヒーレント光を重畳させて超音波媒体USに入射角φ=90度で入射させると、共役位相波を発生させることができるが、同時にICH−CH光変換も行なわれる。この点について、図9に示す模式図を参照して説明する。
図9に示すように、光学音響波媒体50(超音波媒体US)にインコヒーレント光L5a_ICH とコヒーレント光L5b_CHを重畳させて入射させる。具体的には、端面53a側より、三次元物体情報を持つインコヒーレント光L5a_ICH と、これに重畳するように、レーザによる波長λのコヒーレント光L5b_CHを入射させる。この場合、インコヒーレント光L5a_ICH はレンズなどの光学系を通過した自然光であり、位相が揃っておらず、かつ多くの波長からなっている光波である。
( i)に示すように、媒質である光学音響波媒体50がレーザ光のエネルギを吸収し、局所的な媒質の粗密領域52が形成される。粗密領域52はコヒーレント光L5b_CHの波長λに応じた弱い屈折変調領域が形成され、その結果、入射光であるコヒーレント光L5b_CHの一部が反射され、弱い戻り光(図示せず)を形成する。しかし、始めは未だ屈折率変調の効果は明瞭でなく、完全にICH−CH光変換は進行しない。この段階では未だ、入射するインコヒーレント光L5a_ICH は光学音響波媒体50の端面53b(端面53aと反対)側にコヒーレント光L5b_CHとともに出射する。
( i)の過程がさらに促進すると、(ii)に示すように、光学音響波媒体50の粗密領域52が媒質全体に広がり、屈折率変調領域51が形成され、戻り光L53 がさらに強められる。このとき同時に、図3(2)に示すような効果によりICH−CH光変換過程も進行し、インコヒーレント光L5a_ICH の一部はコヒーレント光に変換され、インコヒーレント光L5a_ICH'と像情報を一部伴ったコヒーレント光L5b_CH' が出力するようになる。
(ii)の過程がさらに促進すると、( iii)に示すように、屈折率変調領域51がさらに明瞭になり、インコヒーレント光L5a_ICH はついには完全にコヒーレント光に変換され、物体情報を伴ったコヒーレント光L5c_CHが出力するようになる。すなわち、ICH−CH光変換が行なわれたことになる。
屈折率変調領域51(干渉縞)により反射された戻り光L53 は、位相共役光L5c*を形成し、入射方向に戻るようになる。発生した位相共役光L5c*はコヒーレント光L5c_CHと位相共役な関係にあり、位相共役光L5c*もまた物体の像情報を有している。
以上の説明では、光学音響波媒体50に外部から、強制的に電界や超音波を与えないでも、媒質自身が引き起こす現象である。しかしながら、図8に示した第4実施形態の三次元画像撮像装置2Dの超音波光変調素子140のように、外部から超音波や電界を印加して媒質内の光学音響波効果を高め、ICH−CH光変換や位相共役光発生を促進させてもよい。電界を印加する際に、変調信号源部162でRGB別の各変調角周波数ω1 ,ω2 ,ω3 で変調することで、位相共役光L5c*は変調されたものとなる。すなわち、色波長別の変調が行なわれたことになる。
<三次元画像撮像装置:第5実施形態>
図10は、第5実施形態の三次元画像撮像装置を説明する図である。
第5実施形態の三次元画像撮像装置2Eは、物体光を変調させ、かつ、参照光も変調させる点に特徴がある。
[構成]
第1〜第4実施形態の三次元画像撮像装置2と同様の機能要素には同一の参照符号を用いる。
第5実施形態の三次元画像撮像装置2Eは、参照光を変調する第3実施形態の三次元画像撮像装置2C_1をベースに、物体光をRGB別に変調する第2実施形態の三次元画像撮像装置2B_1の一部を採り入れた構成である。すなわち、第3実施形態の三次元画像撮像装置2C_1におけるICH−CH光変換素子102と位相共役鏡104の部分に、第2実施形態の三次元画像撮像装置2B_1の構成を採り入れている。
したがって、半透明鏡118とB色成分用のICH−CH光変換素子102Bとの間には、ダイクロイックミラー120Bが配置され、ICH−CH光変換素子102Bと位相共役鏡104Bとの間には半透明鏡128Bが配置される。G色成分用のICH−CH光変換素子102Gの半透明鏡118(ダイクロイックミラー120B)側にはダイクロイックミラー120Gが配置され、ICH−CH光変換素子102Gと位相共役鏡104Gとの間には半透明鏡128Gが配置される。
R色成分用のICH−CH光変換素子102Rの半透明鏡118(ダイクロイックミラー120G)側にはダイクロイックミラー120Rが配置され、ICH−CH光変換素子102Rと位相共役鏡104Rとの間には半透明鏡128Rが配置される。物体光をRGB別に変調する構成を採るのでシャープカットフィルタ138は不要になる。位相共役物体光W7b を撮像部5側へ導光するために反射鏡127で半透明鏡132側に反射させることで、第3実施形態(第1例)と同様にして、位相共役物体光W7b が撮像部5側に向かう。その他の点は、第3実施形態と同じである。
なお、変調信号源部4Eの内、参照光側の機能要素には参照子aを追加し、物体光側の構成機能には参照子bを追加して区別する。参照光側の変調角周波数ωi ,ωj ,ωk はRGB別に異なり、物体光側の変調角周波数ω1 ,ω2 ,ω3 もRGB別に異なり、さらに、参照光側と物体光側でも相互に異なるものとする。
[作用]
第5実施形態の三次元画像撮像装置2Eにおけるカラーホログラム信号の取得は次のように行なわれる。レーザ光源156からのRGBコヒーレント光W3_CH を分岐しまた参照光を光変調させる点に関しては第3実施形態と同様であり、物体光を光変調させる点に関しては第2実施形態と同様である。
したがって、ω1 ,ω2 ,ω3 で変調されRGBの物体情報を持つ変調された位相共役物体光W7b とωi ,ωj ,ωk で変調されたRGBコヒーレント光W31_CHが同軸で偏光方向を揃えて異なる光学倍率で重畳して撮像面上に結像する。その結果、RGBの各干渉縞FR5 よりなるカラーホログラムCH5 が形成される。
第5実施形態では、参照光側と物体光側の各変調角周波数をそれぞれ異ならせている。これにより、参照光側と物体光側の双方を変調する場合においても、光変調とそれに対応した電気信号での波長分離によりホログラム情報信号に含まれるバックグラウンドノイズを確実に低減する仕組みを実現できる。
ここでは、物体光と参照光の双方を変調させる仕組みとして、第2・第3実施形態の組合せの構成例を示したが、物体光と参照光の双方を変調させる仕組みはこれに限らない。たとえば、前述の第2・第3実施形態のそれぞれにおける第1・第2構成例を組み合わせるなど、適宜変更が可能である。
<三次元画像情報取得システム:第1実施形態>
図11は、第1実施形態の三次元画像情報取得システムを説明する図である。第1実施形態の三次元画像情報取得システム1Aは、固体撮像装置としてCCD固体撮像装置を使用した場合の構成例である。
[構成]
第1実施形態の三次元画像情報取得システム1Aは、三次元画像撮像装置2、三次元画像信号処理部6A、および周辺回路部9Aを備える。
三次元画像撮像装置2としては、前述の第1〜第5実施形態の何れを使用してもよい。この点は、後述の他の実施形態でも同様である。
第1実施形態の周辺回路部9Aは、走査部70、制御信号生成部74、撮像制御部78を有する。撮像部5と走査部70でCCD固体撮像装置82が構成される。走査部70は、垂直走査部72および水平走査部73を具備する。垂直走査部72は、CCD固体撮像装置の垂直電荷転送を制御し、水平走査部73はCCD固体撮像装置の水平電荷転送を制御する。
三次元画像撮像装置2の干渉光学部3については、便宜的に、光学レンズ系62と光学信号処理部64に分けて示している。
三次元画像撮像装置2との関係では、光変調部160から変調信号源部162を外して制御信号生成部74に収容しており、光電変換を行なう撮像部5はCCD固体撮像装置の撮像部に対応する。制御信号生成部74は、変調信号源部162の他に、信号処理パルス発生部75とプログラマブルパルス発生部76(PG)を有する。
信号処理パルス発生部75は、RGB波長成分別のサンプルホールドパルスSH、CDSパルスPCDS、AD変換クロックCKADを、変調信号源部162が生成するRGB波長成分別の変調信号の変調角周波数ωと一定の関係を持って生成する。図では、その状態を「(fR',fG',fB')」で示している。ここで「一定の関係」とは、サンプルホールドパルスSH、CDSパルスPCDS、AD変換クロックCKADと、変調信号の間における、角周波数(周波数)、位相、同期の関係を意味している。
プログラマブルパルス発生部76は、走査部70や三次元画像信号処理部6や撮像制御部78が使用する各種の制御パルスを生成する。
第1実施形態の三次元画像信号処理部6Aは、CCD固体撮像装置82(撮像部5)から出力される撮像信号(つまり三次元画像撮像装置2で取得された三次元画像信号)を処理する。このため、三次元画像信号処理部6Aは、アンチエイリアス処理部322、サンプルホールド部330(S&H)、CDS・AGC部340、AD変換部350、クランプ部370、カメラ信号処理部380を有する。
アンチエイリアス処理部322は、AD変換部350でAD変換する際に、サンプリング定理に基づく折返し効果(エイリアス効果)を除去するためのもので、たとえばローパスフィルタ(LPF)が使用される。
サンプルホールド部330は、信号処理パルス発生部75からのRGB別のサンプルホールドパルスSH_R,SP_G,SP_Bに基づき入力されたアナログ信号のピーク値を保持する。
CDS・AGC部340は、信号処理パルス発生部75からのRGB別のCDSパルスPCDS_R,PCDS_G,PCDS_Bに基づき、画素信号に含まれるアナログノイズをCDS(Correlated Double Sampling:相関二重サンプリング)処理により除去する。また、CDS・AGC部340は、CDS処理後の画素信号を、AD変換部350の変換レンジに整合するように増幅する。なお、CDSパルスPCDSやCDS処理については多くの公知文献(公開公報や特許公報を含む)が存在するので、ここではその詳細説明を割愛する。
AD変換部350は、CDS・AGC部340から出力されたアナログの画素信号をデジタルデータに変換する。AD変換されたRGBの各波長成分のホログラム画像信号をホログラムデータD_350と称する。変換クロックは、RGBの各変調周波数と対応した周波数にする。「変調周波数と対応した周波数」とは、同一周波数の場合だけでなく、その整数倍も含む意味である。
クランプ部370は、AD変換部350から出力されたRGBの各波長成分のホログラムデータD_350に対して、クランプ処理を行なう。
カメラ信号処理部380は、クランプ部370から出力されたRGBの各波長成分のホログラムデータD_360に対して、予め決められた信号処理を行なうことで、RGBの各波長成分のホログラムデータD_380を生成する。
カメラ信号処理部380で生成されたRGBの各波長成分のホログラムデータD_380は、物体BJの色彩立体像の形成に使用される。たとえば、ホログラムデータD_380は図示しない記録再生装置(たとえば、VTRやDVDなどの光装置など)に供給されて、ホログラムデータの記録媒体への記録が行なわれる。このようにして記録媒体に記録された各波長成分のホログラムデータD_380は、記録再生装置によって再生され、再生されたホログラムデータD_380' に基づいて、物体BJの色彩立体像の形成に使用される。
[作用]
光学レンズ系62を透過した物体情報を伴ったインコヒーレント光W1_ICHが、光源部150および光変調部160の作用を受けて、光学信号処理部64でコヒーレント変換され、三次元画像撮像装置2について前述した光学信号処理が施される。三次元画像撮像装置2で生成されたコヒーレントなホログラム形成光CH(物体光と参照光)は、CCD固体撮像装置82に入射して撮像部5の撮像面上に、RGBの各干渉縞よりなるカラーホログラムを形成する。撮像部5では、そのカラーホログラムを電子的に撮像することで、各画素では光電変換がなされカラーホログラムを表わす電気信号(撮像信号S5)に変換し、三次元画像信号処理部6Aに供給する。
ここで、ホログラム形成光CHには、色彩立体像を表わすR,G,Bの各波長成分が含まれており、撮像部5により撮像されるカラーホログラムは、RGBの各干渉縞が重畳されたものである。したがって、撮像部5で取得される撮像信号S5は、変調R画素信号と変調G画素信号と変調B画素信号が重畳しているものである。以下では、変調R画素信号と変調G画素信号と変調B画素信号を纏めて変調RGB画素信号とも称する。
三次元画像信号処理部6Aでは、撮像信号S5が画素ごとに順次読み出され、アンチエイリアス処理部322、サンプルホールド部330、CDS・AGC部340を経て対応する信号処理が施され、AD変換部350に供給される。
AD変換部350は、CDS・AGC部340から出力されるアナログの撮像信号S340を、AD変換クロックCKADに従ってデジタルのホログラムデータD_350に変換する。変換されたホログラムデータD_350は、クランプ部370およびカメラ信号処理部380を経てそれぞれ対応するデータ処理が施され、外部(たとえば記録再生装置)に出力される。
三次元画像信号処理部6Aでは、撮像信号S5について、ホログラム形成光CHに含まれている色彩立体像を表わすR,G,Bの各波長成分にそれぞれ対応するように、R,G,Bの成分に分けてアナログ信号処理やデジタルデータ処理を行なう。そのために、RGB別のサンプルホールドパルスSH、CDSパルスPCDS、AD変換クロックCKADが信号処理パルス発生部75から発生される。
光変調部160には、RGBコヒーレント光(物体光および/または参照光)を異なる変調角周波数ωR ,ωG ,ωB (変調周波数fR ,fG ,fB )でそれぞれ変調するような変調信号が変調信号源部162から印加されている。また、AD変換部350には、好ましくは、同じ変調角周波数ωR ,ωG ,ωB のAD変換クロックCKADが、コヒーレント光の変調信号と同期するように印加される。このような同期法は、変調信号に対する検波と復調を同時に行なっているとみなすことができる。
さらに、撮像信号S5に含まれるアナログノイズがCDS・AGC部340にて除去される。CDS・AGC部340から出力される撮像信号S340は、RGBコヒーレント光の変調周波数に等しい周波数のAD変換クロックCKADでAD変換部350によりデジタルデータであるホログラムデータD_350に変換される。RGBコヒーレント光の変調周波数に等しい周波数のAD変換クロックCKADでAD変換部350によりデジタルデータであるホログラムデータD_350に変換されることになる。撮像信号S5における、ホログラム形成光CHに含まれている色彩立体像を表わすR,G,Bの各波長成分と対応する各色光信号(R光信号、G光信号、B光信号)が、それぞれ正確にデジタルデータに変換される。
周波数fR ,fG ,fB のAD変換クロックCKADでAD変換する際に、サンプリング定理から、折返し効果を除去することが必要になる。そのため、アンチエイリアス処理部322(LPF)により、入力される各色光信号の帯域をAD変換クロックCKADの周波数(fR ,fG ,fB )の1/2になるように予め制限しておく。
サンプルホールド部330では、サンプルホールドパルスSHに基づき、入力されたアナログ信号のピーク値をサンプリングして、AD変換処理に必要な短時間保持する。ピーク値を正確に保持するために、信号処理パルス発生部75は、サンプルホールドパルスSH_R,SP_G,SP_Bに関して、好ましくは、その周波数、位相、同期の有無などを管理する。最適な状態は、同一周波数で、位相同期をとり、かつ、パルスのアクティブ期間が入力されたアナログ信号のピーク点と一致する状態である。
このように、第1実施形態では、CCD固体撮像装置82の撮像部5に使用される信号電荷生成部(フォトダイオード部)はRGB光変調信号が重畳された形(白色光)で受光し、これを光電変換する。また、アンチエイリアス処理部322にてAD変換クロックCKADの1/2に帯域制限する。そのため、RGB情報を変調周波数の形で重畳させて一緒に転送することができ、同じ転送速度なら従来のモザイク型RGB画素よりも多くの情報量を転送することができ、高解像度になる。各画素が周波数変調されたRGB情報を受光するため、1つの画素でRGB3情報が得られるため、高解像度になるからである。転送あるいは伝送後の信号はサンプリング定理より復元可能である。
因みに、本実施形態は、表面準位の影響を受け難い埋込み型MOSキャパシタ方式が適している。
ここで、三次元画像撮像装置2側に適用されるRGB用の変調角周波数ωR ,ωG ,ωB (変調周波数fR ,fG ,fB )の各変調信号は、固体撮像装置(CCD固体撮像装置82)のフレーム周波数の整数倍または水平駆動周波数の整数倍にするのがよい。
CCD固体撮像装置82で受光した画素信号は電気的に変調しており、時間的RGBで(=変調周波数で)コーディングされている。RGB像信号はRGBの各変調周波数を中心にある帯域幅の中に分布するが、ノイズ光は周波数空間に一様に分布する。
このため、ノイズ光は電気信号処理で除去できる。RGBに対しては既に時間的にコーディングされているため、改めて空間的な周期性でコーディングされたモザイク光学フィルタを使用する必要がない。
さらに、三次元画像撮像装置2側の変調周波数と電気信号処理系統のフレーム周波数や水平駆動周波数の間に比例関係を持たせることで、AD変換などの信号処理が適切になされる。
また、AD変換時にRGB別の3つのAD変換クロックCKAD(基本CLK周波数)を用い、これらの周波数と三次元画像撮像装置2側のRGB変調周波数を同じにする。同じにしない場合は、RGB別の3つのAD変換クロックCKADを光変調周波数の整数倍にする。
好ましくは、RGB別の3つのAD変換クロックCKADと光変調周波数をそれぞれ同期させる。たとえるならば、高速度ストロボ撮影時の行為と類似であり、タイミングがずれていると静止状態の映像が撮れないが、同期させると静止状態の映像が撮れる。
これらによって、当該信号のみを正しくAD変換し、遅延によるノイズも発生しないようにすることができる。画素信号の伝送遅延や歪みによるノイズ信号が発生しない。それほど精度が要求されない場合、高速AD変換が実現できる。アナログ、デジタル両変調方式が適用できる。システム化した際の電気信号処理が楽になる。
<三次元画像情報取得システム:第2実施形態>
図12は、第2実施形態の三次元画像情報取得システムを説明する図である。第2実施形態の三次元画像情報取得システム1Bは、固体撮像装置としてCMOSセンサなどのXYアドレス型の固体撮像装置を使用した場合の構成例である。第1実施形態の三次元画像情報取得システム1Aと同様の機能要素には同一の参照符号を用いる。以下、第1実施形態との相違点を中心に説明する。
[構成]
第2実施形態の三次元画像情報取得システム1Bは、三次元画像撮像装置2、三次元画像信号処理部6B、および周辺回路部9Bを備える。
第2実施形態の周辺回路部9Bは、第1実施形態との相違点として、走査部70は第1実施形態と同様に垂直走査部72と水平走査部73を有するが、それぞれの機能が異なる。これは、一行分の画素信号を一斉に垂直方向に読み出す、いわゆるカラム読出方式(列並列出力方式)を適用するためである。垂直走査部72は、撮像部5と近接して配置され、撮像部5における画素信号の垂直方向への読出走査を制御する。水平走査部73は、AD変換されたホログラムデータD_350を水平転送する機能部としてAD変換部350の後段に配置される。
第2実施形態の三次元画像信号処理部6Bは、第1実施形態との相違点として、CDS・AGC部340を取り外し、水平走査部73とクランプ部370の間にアンプ・ノイズ除去部360を有する。アンプ・ノイズ除去部360には、プログラマブルパルス発生部76から制御パルスP_360 が供給される。
アンプ・ノイズ除去部360は、制御パルスP_360 に基づきノイズ除去処理を行なう。
因みに、典型的には、撮像部5から水平走査部73までの部分と周辺回路部9Bの部分で、XYアドレス型固体撮像装置84が構成される。また、構成によっては、アンプ・ノイズ除去部360からカメラ信号処理部380までの部分もXYアドレス型固体撮像装置84に搭載することもある。図では、後者の場合で示している。
[作用]
撮像信号S5が三次元画像信号処理部6Bに供給されるまでは第1実施形態と同様である。三次元画像信号処理部6Bでは、撮像信号S5が一行ごとに順次読み出され、アンチエイリアス処理部322、サンプルホールド部330を経て対応する信号処理が施され、AD変換部350に供給されデジタルデータに変換される。すなわち、アンチエイリアス処理部322でAD変換時の変換周波数(fR ,fG ,fB )の1/2に帯域制限され、サンプルホールド部330でアナログ信号のピーク値が保持され、A/AD変換部350でRGBの各色光信号がデジタルのホログラムデータD_350に変換される。ここまでの処理は一行分の全画素信号について並行して実施される点がカラム処理に特有の事項である。
一行分のホログラムデータD_350は、水平走査部73による水平転送処理により順次後段へと転送され、アンプ・ノイズ除去部360、クランプ部370、カメラ信号処理部380を経て対応するデータ処理が施され、外部に出力される。第1実施形態と同様に、カメラ信号処理部380から出力される各波長成分のホログラムデータD_380は、物体BJの色彩立体像の形成に使用される。
三次元画像信号処理部6Bでは、第1実施形態と同様に、撮像信号S5について、R,G,Bの成分に分けてアナログ信号処理やデジタルデータ処理を行なう。そのために、RGB別のサンプルホールドパルスSH、AD変換クロックCKADが信号処理パルス発生部75から発生される。
光変調部160には、RGBコヒーレント光(物体光および/または参照光)を異なる変調角周波数ωR ,ωG ,ωB (変調周波数fR ,fG ,fB )でそれぞれ変調するような変調信号が変調信号源部162から印加されている。AD変換部350には、第1実施形態と同様に、好ましくは、同じ変調角周波数ωR ,ωG ,ωB のAD変換クロックCKADが、コヒーレント光の変調信号と同期するように印加される。第2実施形態でも、RGBコヒーレント光の変調周波数に等しい周波数のAD変換クロックCKADでAD変換部350によりデジタルデータであるホログラムデータD_350に変換されることになる。
なお、三次元画像撮像装置2側に適用されるRGB用の変調角周波数ωR ,ωG ,ωB (変調周波数fR ,fG ,fB )の各変調信号は、固体撮像装置(XYアドレス型固体撮像装置84)のフレーム周波数の整数倍または水平駆動周波数の整数倍にするのがよいし、同期させるのがよい。第1実施形態と同様の理由による。
このように、第2実施形態では、XYアドレス型固体撮像装置84の撮像部5に使用される信号電荷生成部(フォトダイオード部)はRGB光変調信号が重畳された形(白色光)で受光し、これを光電変換する。また、アンチエイリアス処理部322にてAD変換クロックCKADの1/2に帯域制限する。これらは、第1実施形態と同様である。各画素が周波数変調されたRGB情報を受光するため、1つの画素よりRGB3情報が得られるため、高解像度になる。
なお、XYアドレス型固体撮像装置84を使用する場合、アドレス設定をランダムにして画素信号を読み出すだけでなく、行単位で画素信号を読み出す方式(カラム読出し方式)も適用でき、今日では一般的となっている。これにAD変換を組み合わせたカラムAD方式も採用することができる。この場合、さらに特有の効果が得られる。カラムAD方式を適用する場合については後述する。
<三次元画像情報取得システム:第3実施形態>
図13は、第3実施形態の三次元画像情報取得システムを説明する図である。第3実施形態の三次元画像情報取得システム1Cは、第2実施形態と同様に、固体撮像装置としてCMOSセンサなどのXYアドレス型の固体撮像装置を使用した場合の構成例である。第2実施形態の三次元画像情報取得システム1Bと同様の機能要素には同一の参照符号を用いる。以下、第2実施形態との相違点を中心に説明する。
[構成]
第3実施形態の三次元画像情報取得システム1Cは、三次元画像撮像装置2、三次元画像信号処理部6C、および周辺回路部9Cを備える。
第3実施形態の三次元画像信号処理部6Cは、第2実施形態との相違点として、撮像部5の後段に共振処理部310を備え、サンプルホールド部330とAD変換部350の間にCDS・PKC部342を備え、アンプ・ノイズ除去部360を取り外している。
第3実施形態の周辺回路部9Cは、第2実施形態との相違点として、変調信号源部162は共振制御信号OSC を共振処理部310に供給し、また、信号処理パルス発生部75はCDSパルスPCDSをCDS・PKC部342に供給する。
共振処理部310は、共振制御信号OSC に基づき、撮像信号S5を共振させる。基本的な考え方は、撮像信号S5における共振制御信号OSC の周波数と同じ成分を共振現象により増幅させるものである。RGBの各波長成分と対応する色変調角周波数ωR ,ωG ,ωB で変調されたホログラム形成光CHに基づく撮像信号S5を処理するので、RGB用の各共振制御信号OSC_R ,OSC_G ,OSC_B はそれぞれ変調周波数fR ,fG ,fB と同一であることが好ましい。図では、その状態を「(fR ,fG ,fB )」で示している。
CDS・PKC部342は、CDSパルスPCDSに基づき画素信号に含まれるアナログノイズをCDS処理により除去するとともに、ピークコントロールを行なう。
[作用]
撮像信号S5が三次元画像信号処理部6Cに供給されるまでは第1・第2実施形態と同様である。三次元画像撮像装置2側での変調周波数fR ,fG ,fB と等しい周波数の共振制御信号OSC_R ,OSC_G ,OSC_B が供給されている共振処理部310により、撮像部5から出力された撮像信号S5を共振させる。これによって、撮像信号S5における変調周波数fR ,fG ,fB (=共振制御信号OSC_R ,OSC_G ,OSC_B )と同じ成分が強調(増幅)される。その後は、アンチエイリアス処理部322、サンプルホールド部330、CDS・PKC部342を経て対応する信号処理が施され、AD変換部350に供給される。
AD変換部350では、第1・第2実施形態と同様に、三次元画像撮像装置2側の変調角周波数ωR ,ωG ,ωB (変調周波数fR ,fG ,fB )と同一周波数のAD変換クロックCKADが、コヒーレント光の変調信号と同期するように印加される。第3実施形態でも、RGBコヒーレント光の変調周波数に等しい周波数のAD変換クロックCKADでAD変換部350によりデジタルデータであるホログラムデータD_350に変換されることになる。
第2実施形態との相違点として、共振処理部310の使用により撮像信号S5における変調周波数fR ,fG ,fB と同じ成分が強調されるため、S/Nが向上する特徴がある。共振処理部310の使用による強調効果により信号が増幅されるので増幅回路が省略できる可能性もある。その他は、第2実施形態と同様である。
<三次元画像情報取得システム:第4実施形態>
図14は、第4実施形態の三次元画像情報取得システムを説明する図である。第4実施形態の三次元画像情報取得システム1Dは、第2・第3実施形態と同様に、固体撮像装置としてCMOSセンサなどのXYアドレス型の固体撮像装置を使用した場合の構成例である。第2・第3実施形態の三次元画像情報取得システム1B,1Cと同様の機能要素には同一の参照符号を用いる。以下、第3実施形態との相違点を中心に説明する。
[構成]
第4実施形態の三次元画像情報取得システム1Dは、三次元画像撮像装置2、三次元画像信号処理部6D、および周辺回路部9Dを備える。
第4実施形態の三次元画像信号処理部6Dは、第3実施形態との相違点として、共振処理部310に供給するノイズ信号NSを発生するノイズ発生部312を備えている。ノイズ発生部312は、三次元画像撮像装置2側の変調周波数(fR ,fG ,fB )の帯域を含む白色ノイズ信号NSを発生し共振処理部310に供給する。共振処理部310とノイズ発生部312により「確率共振現象」を利用する確率共振処理部314が構成される。
「確率共振現象」を利用する仕組みは、ノイズに埋もれた連続性のある微弱信号を検出するもので、多くの公知文献(公開公報や特許公報を含む)が存在するので、ここではその詳細説明を割愛する。
第3実施形態とは異なり、共振処理部310には三次元画像撮像装置2側での変調周波数fR ,fG ,fB と等しい周波数の共振制御信号OSC_R ,OSC_G ,OSC_B が供給されるのではなく、ノイズ発生部312からの白色ノイズ信号NSが供給される。
[作用]
撮像信号S5が三次元画像信号処理部6Dに供給されるまでは第1〜第3実施形態と同様である。
光変調周波数(fR ,fG ,fB )の帯域を含む白色ノイズ信号NSをノイズ発生部312により発生させ、撮像部5からの撮像信号S5とノイズ発生部312からの白色ノイズ信号NSを共振処理部310に入力し、撮像信号S5を確立共振(Stochastic Resonance)させる。これによって、第3実施形態とはメカニズムが異なるものの、撮像信号S5における変調周波数fR ,fG ,fB と同じ成分が強調される。その後は、アンチエイリアス処理部322、サンプルホールド部330、CDS・PKC部342を経て対応する信号処理が施され、AD変換部350に供給される。
AD変換部350では、第1〜第3実施形態と同様に、三次元画像撮像装置2側の変調角周波数ωR ,ωG ,ωB (変調周波数fR ,fG ,fB )と同一周波数のAD変換クロックCKADが、コヒーレント光の変調信号と同期するように印加される。第4実施形態でも、RGBコヒーレント光の変調周波数に等しい周波数のAD変換クロックCKADでAD変換部350によりデジタルデータであるホログラムデータD_350に変換されることになる。
ここで、確率共振処理部314は、確率共振により、撮像信号S5中の三次元画像撮像装置2側での変調周波数fR ,fG ,fB と等しい成分の周期性を強調させる。このような撮像信号S5の空間周期性検出方法では、撮像信号S5の空間周期性を強調しているので、微弱な空間周期性も検出できる特徴がある。ノイズに埋もれた変調信号も検出できるようになる。すなわち、第3実施形態との相違点として、確率共振処理部314の使用により撮像信号S5における変調周波数fR ,fG ,fB と同じ成分が確率共振現象により強調(増幅)されるため、S/Nが向上する特徴がある。その他は、第3実施形態と同様である。
<電気信号処理:第1実施形態>
図15は、XYアドレス型固体撮像装置84を適用する第2〜第4実施形態の三次元画像情報取得システム1B,1C,1Dをベースとする第1実施形態の電気信号処理系統を説明する図である。
XYアドレス型固体撮像装置84では、たとえば、画素トランジスタが2次元行列状に多数配列されて画素部が構成され、ライン(行)ごとあるいは画素ごとに入射光に対応する信号電荷の蓄積が開始され、その蓄積された信号電荷に基づく電流または電圧の信号がアドレス指定によって各画素から順に読み出される。ここで、MOS(CMOSを含む)型においては、アドレス制御の一例として、一行分を同時にアクセスして行単位で画素信号を画素部から読み出すカラム読出方式が多く用いられている。画素部から読み出されたアナログの画素信号は、必要に応じて、アナログ−デジタル変換装置(AD変換装置/ADC:Analog Digital Converter)にてデジタルデータに変換する。このため、種々のAD変換の仕組みが提案されている。
AD変換方式としては、回路規模や処理速度(高速化)や分解能などの観点から様々な方式が考えられているが、一例として、参照信号比較型のAD変換方式がある。なお、参照信号比較型は、スロープ積分型あるいはランプ信号比較型などとも称される。参照信号比較型のAD変換方式では、デジタルデータに変換するための電圧比較用に、漸次値の変化するいわゆるランプ状の参照信号(ランプ波:ある決められた振幅・傾きを持つもの:階段波でもよい)を使用する。そして、アナログの単位信号と参照信号を比較するとともに、比較処理結果に基づくカウント動作有効期間にカウント処理を行なうことで得られるカウント値に基づいて単位信号のデジタルデータを取得する。参照信号比較型のAD変換方式と前述のカラム読出方式を組み合わせた方式(カラムAD方式と称する)にすることで、画素からのアナログ出力を列並列に低帯域でAD変換ができ、高画質と高速を両立するイメージセンサに適しているといえる。
ここで示す電気信号処理系統に着目した構成図においても、参照信号比較型のAD変換方式を適用する場合で示す。この場合、第2〜第4実施形態の三次元画像情報取得システム1B,1C,1DにおけるAD変換クロックCKADについては、三次元画像撮像装置2側の光変調周波数と同一周波数にすることや同期させることは基本的には要件とならない。概ね、一水平走査期間がAD変換期間になり、その間のAD変換レンジやビット分解能を勘案して、AD変換クロックCKADの周波数や参照信号の振幅や傾きを設定すればよい。
なお、以下においては、XYアドレス型固体撮像装置84の一例である、CMOS型の固体撮像装置85をデバイスとして使用した場合を例に説明する。特に断りのない限り、CMOS型の固体撮像装置85は、全ての単位画素がnMOS(nチャネル型のMOSトランジスタ)よりなり、信号電荷は負電荷(電子)であるものとして説明する。ただしこれは一例であって、対象となるデバイスはMOS型の固体撮像装置に限らないし、単位画素がpMOS(pチャネル型のMOSトランジスタ)で構成されていてもよいし、信号電荷は正電荷(正孔・ホール)であってもよい。
[固体撮像装置の構成]
固体撮像装置85は、複数個の単位画素86が2次元マトリクス状に配列された画素アレイ部87(撮像部5に対応)を有する。
図では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、カラーホログラム(RGBの各干渉縞)を撮像し得るに十分な数(v行×h列)の単位画素86が配置される。単位画素86は検知部の一例である受光素子(電荷生成部)としてのフォトダイオードの他にたとえば、電荷転送用やリセット用や増幅用などの3個あるいは4個のトランジスタを有する画素内アンプを有する。画素内アンプとしては、たとえばフローティングデフュージョンアンプ構成のものが使用される。
単位画素86には、行選択のための行制御線88と画素信号読出し用の垂直信号線89が接続されている。図示しないが、垂直信号線89に対しては、画素信号読出用の動作電流(読出電流)を供給する読出電流源部が設けられる。単位画素86からは、列ごとに垂直信号線89を介して画素信号電圧Vx(撮像信号S5に対応)が出力される。
ここで、ホログラム形成光CHには、色彩立体像を表わすR,G,Bの各波長成分が含まれており、撮像部5により撮像されるカラーホログラムは、RGBの各干渉縞が合成されたものである。したがって、撮像部5で取得される撮像信号S5は、変調R画素信号と変調G画素信号と変調B画素信号が重畳しているものである。以下では、変調R画素信号と変調G画素信号と変調B画素信号を纏めて変調RGB画素信号とも称する。
固体撮像装置85はさらに、アンチエイリアス処理部422(LPF)、サンプルホールド部430(S&H)、CDS処理機能やデジタル変換機能をなすAD変換部450が列並列に設けられているカラム処理部90(列信号処理部)を有する。AD変換部450は、比較部452とカウンタ部454を主要の機能部として有する。アンチエイリアス処理部422はアンチエイリアス処理部322に対応し、サンプルホールド部430はサンプルホールド部330に対応する。
固体撮像装置85はさらに、駆動制御部91、カラム処理部90にAD変換用の参照信号SLP を供給する参照信号生成部97、出力部98を備えている。
駆動制御部91は、垂直走査部92(行走査回路)、水平走査部93(列走査回路)、通信・タイミング制御部94、クロック変換部95を備えている。垂直走査部92は垂直走査部72に対応し、水平走査部93は水平走査部73に対応する。
垂直走査部92は、画素アレイ部87の行を選択し、その行に必要なパルスを供給するもので、行アドレスや行走査を制御する垂直アドレス設定部92aや垂直駆動部92bなどを有する。水平走査部93は、画素アレイ部87の信号を順次読み出すための制御回路機能の実現のため、列アドレスや列走査を制御する水平アドレス設定部93aや水平駆動部93bなどを有し、データ転送動作時に読み出すべきデータのカラム位置を指示する。垂直走査部92や水平走査部93は、通信・タイミング制御部94から与えられる制御信号に応答して行・列の選択動作(走査)を開始する。
単位画素86は、行選択のための行制御線88を介して垂直走査部92と、また垂直信号線89を介してカラム処理部90の垂直列ごとに設けられているアンチエイリアス処理部422と、それぞれ接続されている。ここで、行制御線88は垂直走査部92から単位画素86に入る配線全般を示す。
通信・タイミング制御部94は、制御信号生成部74に対応し、入力される基本クロックCLK0に同期したクロックをデバイス内の各部(走査部92,93やカラム処理部90)に供給するタイミングジェネレータの機能ブロックを備える。基本クロックCLK0は、三次元画像撮像装置2側の光変調周波数fR ,fG ,fB に対応する3種が使用される。通信・タイミング制御部94はまた、外部から供給される基本クロックCLK0を受け取り、外部から供給される動作モードなどを指令するデータを受け取り、さらに固体撮像装置85の情報を含むデータを外部に出力する通信インタフェースの機能ブロックを備える。
クロック変換部95は、基本クロックCLK0に基づき、基本クロックCLK0よりも高速周波数のパルスを生成する逓倍回路を内蔵しており、AD変換用のカウントクロックCKcnt1や参照信号生成用のカウントクロックCKdac1などの内部クロックを生成する。なお、本実施形態では、カウントクロックCKcnt1はR,G,B色成分に対して共通のものを使用し、カウントクロックCKdac1にはR,G,B色成分に対して各別のものを使用する。
出力部98は、図示しないが、データ転送用の信号線(転送配線)である水平信号線96上の信号(デジタルデータではあるが小振幅)を検出するセンスアンプと、固体撮像装置85と外部とのインタフェース機能をなすインタフェース部を有する。インタフェース部の出力は、アンプ・ノイズ除去部360やクランプ部370に接続される。
水平信号線96は、AD変換部450のビット幅分もしくはその2倍幅分(たとえば相補出力とするとき)の信号線を有し、それぞれの出力線に対応したセンスアンプを有する出力部98に接続される。水平信号線96の水平転送チャネルは1つに限らず、複数チャネルにし複数カラムずつグループ化してデータ転送を行なう場合もある。
水平走査部93や垂直走査部92などの駆動制御部91の各要素は、画素アレイ部87とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成されたいわゆる1チップもの(同一の半導体基板上に設けられているもの)として、本実施形態の固体撮像装置85が構成される。
[カラムAD変換と参照信号生成]
AD変換部450におけるAD変換方式としては、回路規模や処理速度(高速化)や分解能などの観点から様々な方式が考えられているが、ここでは、参照信号比較型と称されるAD変換方式を採用する。この手法は、簡単な構成でAD変換器が実現できるため、並列に設けても回路規模が大きくならないという特徴を有している。参照信号比較型のAD変換に当たっては、変換開始(比較処理の開始)から変換終了(比較処理の終了)までの時間に基づいてカウント動作有効期間Tenを決定し(ここではその期間を示すカウントイネーブル信号ENとする)、その期間のクロック数に基づき処理対象信号をデジタルデータに変換する。
参照信号比較型AD変換方式を採用する場合に、考え方としては、参照信号生成部97も列並列で(画素列ごとに)設けることも考えられる。たとえば、各画素列に比較器と参照信号発生器を設け、自列の比較器の比較結果を基に、逐次、参照信号の値を対応する列の参照信号発生器で変化させていく構成を採る場合である。しかしながらこれでは回路規模や消費電力が増える。そこで、本実施形態では、参照信号生成部97を全列共通に使用する構成を採り、参照信号生成部97から発生される参照信号SLP を各画素列のAD変換部450が共通に使用する構成にする。
このため、参照信号生成部97は、DA変換部470(DAC;Digital Analog Converter)を有し、通信・タイミング制御部94からの制御データで示される初期値からカウントクロックCKdac1に同期して、制御データで示される傾き(変化率)の参照信号SLP を生成する。カウントクロックCKdac1はカウンタ部454用のカウントクロックCKcnt1と同一にしてもよい。参照信号SLP は、全体的にある傾きを持って線形に変化する波形を持つものであればよく、その変化が滑らかなスロープ状を呈するものであってもよいし、階段状に順次変化するものであってもよい。
参照信号比較型のAD変換に当たっては、比較部452による参照信号SLP と画素信号電圧Vxとの比較結果に基づいてカウント動作有効期間Ten(その期間を示す信号をカウントイネーブル信号ENと称する)を決定し、カウントイネーブル信号ENがアクティブな期間のカウントクロックCKcnt1のクロック数に基づきアナログの処理対象信号をデジタルデータに変換する。
カウント動作有効期間Tenとしては、たとえば、カウント開始を参照信号SLP の変化開始時点としカウント終了を参照信号SLP と処理対象信号電圧とが一致する時点(事実上は交差する時点:以下同様)とする第1処理例(前半カウント方式)を採り得る。
あるいは、カウント開始を参照信号SLP と処理対象信号電圧とが一致する時点としカウント終了をその回の所望のカウント数に到達する時点(典型的には最大AD変換期間が到達した時点)とする第2処理例(後半カウント方式)を採ることもできる。後半カウント方式の考え方は、フルレンジのデジタルデータをDm、画素信号電圧VxのデジタルデータをDxとしたとき、後半カウントで得られるデータはDm−Dx(つまりDxに対しては補数)になることを利用するものである。
何れの処理例においても、原理的には、コンパレータ(電圧比較器)に参照信号SLP を供給し、垂直信号線89を介して入力されたアナログの画素信号を参照信号SLP と比較するとともに、カウント動作有効期間Tenに入るとクロック信号でのカウント(計数)を開始することによって、指定されているカウント動作有効期間Tenにおけるクロック数をカウントすることでAD変換を行なう。
このような参照信号比較型のAD変換を行なうため、本実施形態のAD変換部450は、比較部452とカウンタ部454を備える。図示しないが、好ましくは、前半カウント方式と後半カウント方式の何れにも対応できるように、比較部452とカウンタ部454の間にカウント動作期間制御部を設けるとよい。カウンタ部454は、参照信号SLP の傾き方向に合わせてカウントモードで動作し得るように、アップカウントモードとダウンカウントモードを切替可能なものにするのがよい。
また、図示しないが、パイプライン動作に対応し得るように、カウンタ部454の後段(水平信号線96側)に、水平転送用のラッチ(メモリ)を内蔵したデータ記憶部を備えるようにするとよい。「パイプライン動作」とは、AD変換部450によるAD変換処理と水平走査部93による水平転送処理を並行して行なう動作を意味する。
通信・タイミング制御部94から各AD変換部450のカウンタ部454には、カウンタ部454がカウント処理をダウンカウントモードで動作するのかアップカウントモードで動作するのかや、カウント処理における初期値Dini の設定やリセット処理など、その他の制御情報を指示する制御信号が入力される。
ここで、本実施形態の固体撮像装置85で取り扱うホログラム形成光CHや撮像信号S5は、三次元画像撮像装置2側のRGBの各光変調周波数に対応したもので、画素アレイ部87における隣接画素へのクロストークが問題となり得る。たとえば、撮像信号S5は、三次元画像撮像装置2側のRGBの各光変調周波数のものが重畳しているため、光変調周波数の高周波信号が垂直信号線89に流れ、隣接画素へのクロストークが問題となり得る。この対策としては、たとえば、単位画素86(特にフォトダイオードなどの電荷生成部)を電磁シールド構造(基板横方向)にし、また、垂直信号線89は、電気的に遮蔽された遮蔽信号線を使用することが好ましい。以下では、遮蔽信号線の形態の垂直信号線89を特に遮蔽型垂直信号線89Sと記す。
また、撮像信号S5(変調RGB画素信号)からRGBの各成分を分離(抽出)するため、カラム処理部90は、遮蔽型垂直信号線89Sごとに、アンチエイリアス処理部422からカウンタ部454までが、RGBのそれぞれに対応するように設けられる。
つまり、本構成では、いわゆるCMOSカラムAD方式を採用しているが、三次元画像撮像装置2側のRGB別の光変調周波数に対応するように、RGB別の3つのサンプリング周波数(CLK)を使用する。垂直方向最終画素部以降での各垂直信号線89をRGB信号個別処理のために3系統に分岐させる。そして、3つのRGB系について、それぞれカラムAD方式を適用する。超高解像度化が実現できるし、カラムADの技術がそのまま使える利点がある。以下具体的に説明する。
カラム処理部90において、赤色変調信号を処理する系統部分を赤色変調画素信号処理部90R,緑色変調信号を処理する系統部分を緑色変調画素信号処理部90G,青色変調信号を処理する系統部分を青色変調画素信号処理部90Bと記す。このような構成により、一本の遮蔽型垂直信号線89Sは、赤色変調信号を処理する赤色変調画素信号処理部90R,緑色変調信号を処理する緑色変調画素信号処理部90G,青色変調信号を処理する青色変調画素信号処理部90Bと接続される。赤色変調画素信号処理部90R,緑色変調画素信号処理部90G,青色変調画素信号処理部90Bを纏めて、変調画素信号処理部90R,90G,90Bと記す。
先ず、遮蔽型垂直信号線89Sに対してRGBそれぞれに対応するアンチエイリアス処理部422が接続され、各アンチエイリアス処理部422の後段にRGBそれぞれに対応するサンプルホールド部430、比較部452、カウンタ部454が接続される。
さらに、RGBのそれぞれに対応するように、参照信号生成部97は、参照信号SLP を各別に生成する。すなわち、参照信号生成部97は、通信・タイミング制御部94から供給されるRGBのそれぞれに対応する各カウントクロックCKdac1に基づき、パルス周期やそれらの逓倍より定まる3つの参照信号SLP(R),参照信号SLP(G),参照信号SLP(B)を生成する。以下では、参照信号SLP(R),参照信号SLP(G),参照信号SLP(B)を纏めて参照信号SLP(R,G,B)と記す。
RGBそれぞれの比較部452の入力端子(たとえば反転入力端−)には、それぞれ対応する垂直列のRGBそれぞれに対応するサンプルホールド部430の出力が接続される。そのRGBそれぞれの比較部452の入力端子(たとえば非反転入力端+)は、他の垂直列のRGBそれぞれに対応する(つまり同色用の)比較部452の入力端子(非反転入力端+)と共通に、参照信号生成部97で生成されるRGBそれぞれに対応する参照信号SLP(R,G,B)が入力される。
カウンタ部454のクロック端子CKには、RGBの区別なく、他のカウンタ部454のクロック端子CKと共通に、通信・タイミング制御部94からカウントクロックCKcnt1が入力されている。データ記憶部を設けない場合、カウンタ部454の出力が水平信号線96に接続され、カウンタ部454には水平走査部93から制御線を介して水平転送制御パルスが入力される。カウンタ部454は、カウント結果を保持するラッチ機能を有しており、制御線を介しての水平転送制御パルスによる指示があるまでは、カウンタ出力値を保持し、水平転送制御パルスがアクティブとなったときに保持データを水平信号線96へ出力する。
[作用]
単位画素86で取得された画素信号が遮蔽型垂直信号線89Sに出力され、カラム処理部90においてRGBの3系統に分岐され、対応する変調画素信号処理部90R,90G,90Bに供給される。色変調画素信号処理部90R,90G,90Bでは先ず、アンチエイリアス処理部422によりそれぞれRGB波長別に帯域制限され、RGB色成分がそれぞれ選択される。
次に、色変調画素信号処理部90R,90G,90Bに配置されたそれぞれのサンプルホールド部430でRGB信号の入力値がAD変換に要する時間だけ短時間保持された後に、そのサンプルホールド信号S430が対応する比較部452の入力端(−)に供給される。参照信号生成部97からの参照信号SLP(R),参照信号SLP(G),参照信号SLP(B)が対応する比較部452の入力端(+)に供給される。
比較部452は、参照信号生成部97で生成される参照信号SLP(R,G,B)と、選択行の単位画素86から遮蔽型垂直信号線89S(H1,H2,…,Hh)を経由し得られるアナログの画素信号電圧Vxに基づくサンプルホールド部430の出力値を比較する。比較部452は、サンプルホールド部430の出力値(画素信号と対応するサンプルホールド信号S430)と参照信号SLP(R,G,B)が一致したとき、比較出力Coを反転させる。
この比較出力Coの情報がカウントイネーブル信号ENに対応し、カウンタ部454に通知され、カウンタ部454のカウント動作期間を制御する。カウンタ部454は、カウントイネーブル信号ENで規定されるカウント動作有効期間TenをカウントクロックCKcnt1でカウントし、カウント結果を保持する。これによって、RGB画素信号がデジタルデータに変換される。
このような駆動方法は、1つの画素よりRGBの3つの信号が採取できるため、従来のカラーフィルタを用いた方式よりも画素情報が3倍多く採取でき、しかも高画素化した場合でも画素サイズに対する制約が緩やかになるという利点がある。
[画素信号伝送]
図16〜図16Aは、第1実施形態の電気信号処理系統における画素信号伝送を説明する図である。図16は、RGBの1組分について単位画素86から変調画素信号処理部90R,90G,90Bまでの画素信号伝送を示した図である。図16Aは、三次元画像信号処理で取り扱う信号波形の概要図である。
図16に、RGBの光変調画像信号を単位画素86で受光した撮像信号S5(変調RGB画素信号)がどのような状態で伝送されるかが模式的に示されている。それぞれ光のRGB波長成分に応じてωR ,ωG ,ωB (fR ,fG ,fB )で変調された光変調画像信号が単位画素86Bkに入射すると、光電変換により発生する電気信号が3つの異なる周波数成分を同時に持つことになる。
周波数重畳の原理から、これら3つの周波数成分を持つ画素信号がフローティングディフュージョンFDを介して遮蔽型垂直信号線89Sに送出される。画素信号は、遮蔽型垂直信号線89Sを介してカラム処理部90の変調画素信号処理部90R,90G,90Bに供給される。変調画素信号処理部90R,90G,90Bでは、RGB別のアンチエイリアス処理部422によりそれぞれローパスフィルタ処理が施され、重畳された変調RGB信号が各波長領域に帯域制限され、R信号、G信号、B信号として選択される。
R信号、G信号、B信号は、RGB別のサンプルホールド部430により、入力された信号がAD変換に必要な短い一定時間保持される。
アンチエイリアス処理部422Rとサンプルホールド部430RでR信号処理部が形成され、アンチエイリアス処理部422Gとサンプルホールド部430GでG信号処理部が形成され、アンチエイリアス処理部422Bとサンプルホールド部430BでB信号処理部が形成される。
サンプルホールド部430は、カラムADが適用されるAD変換部450(比較部452、カウンタ部454)に接続される。
ここで、本実施形態では、カラム処理部90でのAD変換処理時に、参照信号信号比較型のカラムAD変換処理を適用する。この際、光変調側のRGB別の変調周波数と対応するRGB別のカウントクロックCKdac1に基づいて参照信号SLP を生成する。典型例としては、光変調側のRGB別の変調周波数とRGB別のカウントクロックCKdac1の周波数を同じにする。同じにしない場合は、AD変換時のRGB別のカウントクロックCKdac1の周波数を光変調側の変調周波数の整数倍にする。また、好ましくはRGB別にその両者を同期させる。こうすることで、RGBの当該信号のみを正しくAD変換し、遅延によるノイズも発生しないようにすることができる。なお、これらのことは、サンプルホールド部430に供給するサンプルホールドパルスSHについても同様である。サンプルホールドパルスSHおよびカウントクロックCKdac1の何れも、3個の基本クロックで同期処理するのである。
これによって、カラムAD処理の場合、RGBの各参照信号SLP はそれぞれ相当する基本CLKでサンプリングされているため、対象とする周波数以外の周波数が必然的に除去される。たとえば、B色対応の参照信号SLP_RはB色に相当するカウントクロックCKdac1_Rでサンプリングされているため、RやGの変調周波数成分が入ってきてもB信号以外はAD変換されない。画素信号の伝送遅延や歪みによるノイズ信号が発生しない。それほど精度が要求されない場合、高速AD変換が実現できる。アナログ、デジタル両変調方式が適用できる。システム化した際の電気信号処理が楽になる。
[クロストーク対策]
図16Bは、第1実施形態の電気信号処理系統におけるクロストーク対策を説明する図である。ここでは、遮蔽型垂直信号線89Sについて説明する。
周波数の比較的高い電気信号を処理する場合、遮蔽型信号線を使用するとノイズ面で有利である。平面基板上の遮蔽型信号線形成については、いろいろな構造が考えられる。基本的には、信号線を外部の電磁波から遮蔽する、または、信号線自身が放射する電磁界が他の信号線に影響を及ぼさないように、信号線は絶縁膜を介して別の金属導体で覆う。
たとえば、図16B(1)に示す第1例は、断面視した状態の信号線の外周を絶縁体で取り囲み、さらにその外周を遮蔽材で取り囲むことで、外部の電磁波から遮蔽する構造である。
図16B(2)に示す第2例は、信号線を断面視した状態で、信号線よりも幅広の遮蔽材(遮蔽線)と信号線を、絶縁体を挟んで対向配置した構造である。
図16B(3)に示す第3例は、信号線を断面視した状態で、絶縁体上に信号線を配置し、その両側に一定の距離を隔てて(つまり電気的に接触しないように近接して)遮蔽材(遮蔽線)を配置した構造である。
図16B(4)に示す第4例は、信号線を断面視した状態で、絶縁体上に信号線を配置し、その片側に一定の距離を隔てて(つまり電気的に接触しないように近接して)遮蔽材(遮蔽線)を配置した構造である。第3例における片方の遮蔽材(遮蔽線)を取り外したものと言える。
遮蔽効果には違いがあるものの、何れの構造でも遮蔽効果が確認される。この中では、第1例が最も遮蔽効果が高いが、平面基板上に形成するには製造工程がやや複雑になる。第4例のように信号線に隣接して片側のみ遮蔽線を設置する構造でも、ある程度の遮蔽効果がもたらされる。
ここでは代表的な4種類の構造を示したが、その他の構造も種々ある。それらについては説明を省略する。
このような構成では、個々の画素はRGB変調光信号を同時に受光するため、RGB3つの周波数成分を重畳させて同時にカラム処理部90に側に伝送できる利点がある。また、単位画素86および垂直信号線89を電磁遮蔽構造の遮蔽型垂直信号線89Sにしているため、高周波電磁気成分が外部に漏れず、また外部からの影響も受け難い。
<電気信号処理:第2実施形態>
図17は、XYアドレス型固体撮像装置84を適用する第2〜第4実施形態の三次元画像情報取得システム1B,1C,1Dをベースとする第2実施形態の電気信号処理系統を説明する図である。
[固体撮像装置の構成]
第2実施形態は、サンプルホールド部430とAD変換部450の間に、比較部452に供給するサンプルホールド信号S430や参照信号SLP を切り替える信号切替部440Bを備え、AD変換部450はRGBで1つ(共通に)備える点が第1実施形態と異なる。
カラム処理部90は、遮蔽型垂直信号線89Sごとに、アンチエイリアス処理部422からサンプルホールド部430までが、RGBのそれぞれに対応するように設けられる。アンチエイリアス処理部422Rとサンプルホールド部430Rで赤色変調画素信号処理部90Rが構成される。アンチエイリアス処理部422Gとサンプルホールド部430Gで緑色変調画素信号処理部90Gが構成される。アンチエイリアス処理部422Bとサンプルホールド部430Bで青色変調画素信号処理部90Bが構成される。
信号切替部440Bは、RGB別のサンプルホールド信号S430を1系統に変換する3入力−1出力型の切替スイッチ442と、RGB別の参照信号SLP(R,G,B)を1系統に変換する3入力−1出力型の切替スイッチ444をそれぞれRGBで1つ(共通に)備える。各列の切替スイッチ442で第1切替スイッチ部が構成され、各列の切替スイッチ444で第2切替スイッチ部が構成される。後述の第3実施形態とは違い、切替スイッチ442と切替スイッチ444は、遮蔽型垂直信号線89Sごとに設けられている点に特徴がある。
切替スイッチ442は、3つの入力端がそれぞれ対応するRGB別のサンプルホールド部430の出力と接続され、出力端がRGBごとに共通の比較部452の入力端(−)に接続される。
切替スイッチ444は、RGB別の参照信号SLP(R,G,B)がそれぞれ対応する3つの入力端に供給され、出力端がRGBごとに共通の比較部452の入力端(+)に接続される。後述の第3実施形態とは異なり、参照信号生成部97からのRGB別の参照信号SLP(R,G,B)が各列に伝達されるように、RGB別の参照信号線456が行方向に敷設されている。
時分割駆動をさせるために、垂直列ごと切替スイッチ442と切替スイッチ444を配置し、それらを連動させて切り替えるようにする。連動させて切り替える際には、様々な組合せ方があり、その組合せ方によって、最終的に得られる画像情報の形態も異なる。この点については後述する。
第1実施形態の場合、一本の遮蔽型垂直信号線89Sを3系統の変調画素信号処理部90R,90G,90Bに分岐し、変調画素信号処理部90R,90G,90BのそれぞれにAD変換部450を配置している。一水平走査期間中に、一行に配列された個々の画素についてRGB画素情報のデジタルデータを「並行して取得する構成」である。RGB画素情報のデジタルデータを「並行して取得する構成」とするために、カラム処理部90に、RGB別にそれぞれAD変換部450(比較部452とカウンタ部454)を配置する必要がある。そのため、遮蔽型垂直信号線89SがN本ある場合には、比較部452とカウンタ部454の数は、それぞれ3N個となり、回路規模が大きくなる。
これに対して、第2実施形態では、信号切替部440Bを設けて、一水平走査期間内で、RGBの各サンプルホールド信号S430と参照信号SLP を時分割駆動により三分割してAD変換部450に供給する。一水平走査期間中に、一行に配列された個々の画素についてRGB画素情報のデジタルデータを「時分割で取得する構成」である。列方向でサンプルホールド部430と比較部452の間に信号切替部440(切替スイッチ442、切替スイッチ444)を配置し、参照信号SLP をフレームごとに順次切り替えるようにする(詳細は後述する)。
RGB画素情報のデジタルデータを「時分割で取得する構成」をとるため、信号切替部440Bによる信号系統の切替えを必要とするが、比較部452とカウンタ部454の数はそれぞれ遮蔽型垂直信号線89Sの数と同じN個でよく第1実施形態の1/3になる。信号切替部440Bの分を加味しても、回路規模は第2実施形態の方が小さくて済む。また、間引き駆動ができるし、時間順次駆動により超高解像度化が実現できる利点もある。
[時分割駆動:第2実施形態]
図18〜図18Bは、第2実施形態の電気信号処理系統における時分割駆動を説明する図である。ここで、図18は、信号切替部440Bのスイッチ切替えを説明する図である。図18Aは、信号切替部440Bのスイッチ切替えの組合せ方の第1例に基づく第1動作例を説明するタイミングチャートである。図18Bは、信号切替部440Bのスイッチ切替えの組合せ方の第2例に基づく第2動作例を説明するタイミングチャートである。
図18には、ハイフレームレート時分割駆動の場合の1フレーム分のカラム処理部90の出力として取り得る3つの状態が示されており、それぞれ選択された一行について切替スイッチ442と切替スイッチ444の関係が描かれている。
図18(1)は、最初の第1フレームなど(3n-2)フレームについての第1行目のスイッチの状態を示している。どのような列信号処理がなされるかを順を追って説明する。
第1列目の遮蔽型垂直信号線89S_1(図示せず)が切替スイッチ442_1により赤色変調画素信号R側に接続され、その出力が比較部452_1の入力端(−)に入力される。同時に、切替スイッチ444_1が参照信号SLP(R)を選択し、その出力が比較部452_1の入力端(+)に入力される。
同じ行の第2列目の遮蔽型垂直信号線89S_2(図示せず)が切替スイッチ442_2により緑色変調画素信号G側に接続され、その出力が比較部452_2の入力端(−)に入力される。同時に、切替スイッチ444_2が参照信号SLP(G)を選択し、その出力が比較部452_2の入力端(+)に入力される。
同様に、同じ行の第3列目の遮蔽型垂直信号線89S_3(図示せず)が切替スイッチ442_3により青色変調画素信号B側に接続され、その出力が比較部452_3の入力端(−)に入力される。同時に、切替スイッチ444_3が参照信号SLP(B)を選択し、その出力が比較部452_3の入力端(+)に入力される。
以下同様に、順次、3列ごとに最終のN列までの同じようなスイッチ切替えが繰り返される。すなわち、遮蔽型垂直信号線89S_(3n-2) が切替スイッチ442_(3n-2) により赤色変調画素信号R側に接続されるときは切替スイッチ444_(3n-2) が参照信号SLP(R)を選択する。遮蔽型垂直信号線89S_(3n-1) が切替スイッチ442_(3n-1) により緑色変調画素信号G側に接続されるときは切替スイッチ444_(3n-1) が参照信号SLP(G)を選択する。遮蔽型垂直信号線89S_(3n) が切替スイッチ442_(3n) により青色変調画素信号B側に接続されるときは切替スイッチ444_(3n) が参照信号SLP(B)を選択する。
図18(2)は、次の第2フレームなど(3n-1)フレームについての第1行目のスイッチの状態を示している。どのような列信号処理がなされるかを順を追って説明する。
第1列目の遮蔽型垂直信号線89S_1(図示せず)が切替スイッチ442_1により緑色変調画素信号G側に接続され、その出力が比較部452_1の入力端(−)に入力される。同時に、切替スイッチ444_1が参照信号SLP(G)を選択し、その出力が比較部452_1の入力端(+)に入力される。
同じ行の第2列目の遮蔽型垂直信号線89S_2(図示せず)が切替スイッチ442_2により青色変調画素信号B側に接続され、その出力が比較部452_2の入力端(−)に入力される。同時に、切替スイッチ444_2が参照信号SLP(B)を選択し、その出力が比較部452_2の入力端(+)に入力される。
同様に、同じ行の第3列目の遮蔽型垂直信号線89S_3(図示せず)が切替スイッチ442_3により赤色変調画素信号R側に接続され、その出力が比較部452_3の入力端(−)に入力される。同時に、切替スイッチ444_3が参照信号SLP(R)を選択し、その出力が比較部452_3の入力端(+)に入力される。
以下同様に、順次、3列ごとに最終のN列までの同じようなスイッチ切替えが繰り返される。すなわち、遮蔽型垂直信号線89S_(3n-2) が切替スイッチ442_(3n-2) により緑色変調画素信号G側に接続されるときは切替スイッチ444_(3n-2) が参照信号SLP(G)を選択する。遮蔽型垂直信号線89S_(3n-1) が切替スイッチ442_(3n-1) により青色変調画素信号B側に接続されるときは切替スイッチ444_(3n-1) が参照信号SLP(B)を選択する。遮蔽型垂直信号線89S_(3n) が切替スイッチ442_(3n) により赤色変調画素信号R側に接続されるときは切替スイッチ444_(3n) が参照信号SLP(R)を選択する。
図18(3)は、さらに次の第3フレームなど(3n)フレームについての第1行目のスイッチの状態を示している。どのような列信号処理がなされるかを順を追って説明する。
第1列目の遮蔽型垂直信号線89S_1(図示せず)が切替スイッチ442_1により青色変調画素信号B側に接続され、その出力が比較部452_1の入力端(−)に入力される。同時に、切替スイッチ444_1が参照信号SLP(B)を選択し、その出力が比較部452_1の入力端(+)に入力される。
同じ行の第2列目の遮蔽型垂直信号線89S_2(図示せず)が切替スイッチ442_2により赤色変調画素信号R側に接続され、その出力が比較部452_2の入力端(−)に入力される。同時に、切替スイッチ444_2が参照信号SLP(R)を選択し、その出力が比較部452_2の入力端(+)に入力される。
同様に、同じ行の第3列目の遮蔽型垂直信号線89S_3(図示せず)が切替スイッチ442_3により緑色変調画素信号G側に接続され、その出力が比較部452_3の入力端(−)に入力される。同時に、切替スイッチ444_3が参照信号SLP(G)を選択し、その出力が比較部452_3の入力端(+)に入力される。
以下同様に、順次、3列ごとに最終のN列までの同じようなスイッチ切替えが繰り返される。すなわち、遮蔽型垂直信号線89S_(3n-2) が切替スイッチ442_(3n-2) により青色変調画素信号B側に接続されるときは切替スイッチ444_(3n-2) が参照信号SLP(B)を選択する。遮蔽型垂直信号線89S_(3n-1) が切替スイッチ442_(3n-1) により赤色変調画素信号R側に接続されるときは切替スイッチ444_(3n-1) が参照信号SLP(R)を選択する。遮蔽型垂直信号線89S_(3n) が切替スイッチ442_(3n) により緑色変調画素信号G側に接続されるときは切替スイッチ444_(3n) が参照信号SLP(G)を選択する。
切替スイッチ442と切替スイッチ444を使用して、1つの遮蔽型垂直信号線89Sに対して、RGB3つに分岐した列方向のカラム処理部90R,90G,90Bの内の1つのみが選択される。選択された画素信号と該当する参照信号SLP をともに比較部452に入力するようにする。次のフレーム以降で、残りの2つを同様な方法で時間にずらして順次比較部452に入力させる。カラム処理部90側を時分割駆動する考え方である。
図18A〜図18Bには、図18に示したスイッチ切替えについて、さらに次行以降まで展開した状態のタイミングチャートが示されている。なお図では、切替スイッチ442を「メモリ」と記し、切替スイッチ444を「切換えSW」と記す。
垂直走査にしたがって、第1フレームは(a)のように第1行目から第M行目まで順次行選択が行なわれると仮定し(図が冗長になるのを避けるために、行選択の時間経過を縦方向で表している)、行列情報を(行,列)と表示する。何れも、切替スイッチ442と切替スイッチ444の状態が表されており、黒(■)は選択状態、白(□)は非選択状態をそれぞれ示している。図18A〜図18Bのような信号選択では1つのフレームの中に必ずRGB信号が入るようになっている。
[第1動作例]
図18Aに示す第1動作例は、3つのフレームを1つの単位とし、各フレームを「(a)…R・G・Bの繰返し」、「(b)…G・B・Rの繰返し」、「(c)…B・R・Gの繰返し」の順で時分割駆動する。ここで、同一フレーム内では、行が切り替っても、切替スイッチ442および切替スイッチ444による切替えの組合せを同じに維持する点が第2動作例と異なる。
つまり、(3n-2)フレームは、第1行目から最終の第M行目まで、全て各列がR,G,B,R,G,B,…,R,G,Bの順で列信号処理される。(3n-1)フレームは、第1行目から最終の第M行目まで、全て各列がG,B,R,G,B,R,…,G,B,Rの順で列信号処理される。(3n)フレームは、第1行目から最終の第M行目まで、全て各列がB,R,G,B,R,G,…,B,R,Gの順で列信号処理される。以下具体的に説明する。
(3n-2)フレームは(a)のように、(1,1)の選択状態は、切替スイッチ442がR、切替スイッチ444もRで、(1,2)は切替スイッチ442がG、切替スイッチ444もGで、(1,3)は切替スイッチ442がB、切替スイッチ444もBとなる。以下同様に、最終の(1,N)までR,G,B,R,G,B,…の順で、切替スイッチ442,444の選択が実行される。
(2,1)の選択状態は、切替スイッチ442がR、切替スイッチ444もRで、(2,2)は切替スイッチ442がG、切替スイッチ444もGで、(2,3)は切替スイッチ442がB、切替スイッチ444もBとなる。以下同様に、最終の(2,N)までR,G,B,R,G,B,…の順で切替スイッチ442,444の選択が実行される。
(3,1)の選択状態は、切替スイッチ442がR、切替スイッチ444もRで、(3,2)は切替スイッチ442がG、切替スイッチ444もGで、(3,3)は切替スイッチ442がB、切替スイッチ444もBとなる。以下同様に、最終の(3,N)までR,G,B,R,G,B,…の順で切替スイッチ442,444の選択が実行される。
以下、同様な選択がなされ、(a)の最終M行では(M,1)の選択状態は切替スイッチ442がR、切替スイッチ444もRで、(M,2)は切替スイッチ442がG、切替スイッチ444もGで、(M,3)は切替スイッチ442がB、切替スイッチ444もBとなる。以下同様に、最終の(M,N)までR,G,B,R,G,B,…の順で切替スイッチ442,444の選択が実行される。
(3n-1)フレームは(b)のように、(1,1)の選択状態は切替スイッチ442がG、切替スイッチ444もGで、(1,2)は切替スイッチ442がB、切替スイッチ444もBで、(1,3)は切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(1,N)までG,B,R,G,B,R,…の順で切替スイッチ442,444の選択が実行される。
(2,1)の選択状態は切替スイッチ442がG、切替スイッチ444もGで、(2,2)は切替スイッチ442がB、切替スイッチ444もBで、(2,3)は切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(2,N)までG,B,R,G,B,R,…の順で切替スイッチ442,444の選択が実行される。
(3,1)の選択状態は切替スイッチ442がG、切替スイッチ444もGで、(3,2)は切替スイッチ442がB、切替スイッチ444もBで、(3,3)は切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(3,N)までG,B,R,G,B,R,…の順で切替スイッチ442,444の選択が実行される。
以下、同様な選択がなされ、(b)の最終M行では(M,1)の選択状態は切替スイッチ442がG、切替スイッチ444もGで、(M,2)は切替スイッチ442がB、切替スイッチ444もBで、(M,3)は切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(M,N)までG,B,R,G,B,R,…の順で切替スイッチ442,444の選択が実行される。
(3n)フレームは(c)のように、(1,1)の選択状態は切替スイッチ442がB、切替スイッチ444もBで、(1,2)は切替スイッチ442がR、切替スイッチ444もRで、(1,3)は切替スイッチ442がG、切替スイッチ444もGとなる。以下同様に、最終の(1,N)までB,R,G,B,R,G,…の順で切替スイッチ442,444の選択が実行される。
(2,1)の選択状態は切替スイッチ442がB、切替スイッチ444もBで、(2,2)は切替スイッチ442がR、切替スイッチ444もRで、(2,3)は切替スイッチ442がG、切替スイッチ444もGとなる。以下同様に、最終の(2,N)までB,R,G,B,R,G,…の順で切替スイッチ442,444の選択が実行される。
(3,1)の選択状態は切替スイッチ442がB、切替スイッチ444もBで、(3,2)は切替スイッチ442がR、切替スイッチ444もRで、(3,3)は切替スイッチ442がG、切替スイッチ444もGとなる。以下同様に、最終の(3,N)までB,R,G,B,R,G,…の順で切替スイッチ442,444の選択が実行される。
以下、同様な選択がなされ、(c)の最終M行では(M,1)の選択状態は切替スイッチ442がB、切替スイッチ444もBで、(M,2)は切替スイッチ442がR、切替スイッチ444もRで、(M,3)は切替スイッチ442がG、切替スイッチ444もGとなる。以下同様に、最終の(M,N)までB,R,G,B,R,G,…の順で切替スイッチ442,444の選択が実行される。
以上のように、第1動作例のハイフレームレート時分割駆動の場合は、第1フレーム、第2フレーム、第3フレームの順で、この信号処理の繰返しが撮像装置の特性に合わせて実行されることになる。
このような方式を採ることで、画素単位でRGBが切り替るためハイフレームレート静止画撮影に適する。時分割駆動・ハイフレームレート撮像による高精細画像の作成が可能になる。1フレームで処理する情報量を低減できるようになる。図15に示した全画素モードに比べ、比較部452とカウンタ部454の数が減る利点がある。
[第2動作例]
図18Bに示す第2動作例も、3つのフレームを1つの単位とし、各フレームを「(a)…R・G・Bの繰返し」、「(b)…G・B・Rの繰返し」、「(c)…B・R・Gの繰返し」の順で時分割駆動する。ここで、各フレームとも、行が切り替るごとに、切替スイッチ442,444による切替えの組合せを順番にシフトさせる点が第1動作例とは異なる。つまり、(3n-2)フレームは、第1行目から最終の第M行目まで、順番に、図18の(1),(2),(3),(1),(2),(3),…,(1),(2),(3)の順で列信号処理される。(3n-1)フレームは、第1行目から最終の第M行目まで、順番に、図18の(2),(3),(1),(2),(3),(1)…,(2),(3),(1)の順で列信号処理される。(3n)フレームは、第1行目から最終の第M行目まで、順番に、図18の(3),(1),(2),(3),(1),(2),…,(3),(1),(2)の順で列信号処理される。以下具体的に説明する。
(3n-2)フレームは(a)のように、(1,1)の選択状態は、切替スイッチ442がR、切替スイッチ444もRで、(1,2)は切替スイッチ442がG、切替スイッチ444もGで、(1,3)は切替スイッチ442がB、切替スイッチ444もBとなる。以下同様に、最終の(1,N)までR,G,B,R,G,B,…の順で、切替スイッチ442,444の選択が実行される。
(2,1)の選択状態は切替スイッチ442がG、切替スイッチ444もGで、(2,2)は切替スイッチ442がB、切替スイッチ444もBで、(2,3)は切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(2,N)までG,B,R,G,B,R,…の順で切替スイッチ442,444の選択が実行される。
(3,1)の選択状態は切替スイッチ442がB、切替スイッチ444もBで、(3,2)は切替スイッチ442がR、切替スイッチ444もRで、(3,3)は切替スイッチ442がG、切替スイッチ444もGとなる。以下同様に、最終の(3,N)までB,R,G,B,R,G,…の順で切替スイッチ442,444の選択が実行される。
以下、同様な選択がなされ、(a)の最終M行では(M,1)の選択状態は切替スイッチ442がB、切替スイッチ444もBで、(M,2)は切替スイッチ442がR、切替スイッチ444もRで、(M,3)は切替スイッチ442がG、切替スイッチ444もGとなる。以下同様に、最終の(M,N)までB,R,G,B,R,G,…の順で切替スイッチ442,444の選択が実行される。
(3n-1)フレームは(b)のように、(1,1)の選択状態は切替スイッチ442がG、切替スイッチ444もGで、(1,2)は切替スイッチ442がB、切替スイッチ444もBで、(1,3)は切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(1,N)までG,B,R,G,B,R,…の順で切替スイッチ442,444の選択が実行される。
(2,1)の選択状態は切替スイッチ442がB、切替スイッチ444もBで、(2,2)は切替スイッチ442がR、切替スイッチ444もRで、(2,3)は切替スイッチ442がG、切替スイッチ444もGとなる。以下同様に、最終の(2,N)までB,R,G,B,R,G,…の順で切替スイッチ442,444の選択が実行される。
(3,1)の選択状態は切替スイッチ442がR、切替スイッチ444もRで、(3,2)は切替スイッチ442がG、切替スイッチ444もGで、(3,3)は切替スイッチ442がB、切替スイッチ444もBとなる。以下同様に、最終の(3,N)までR,G,B,R,G,B,…の順で切替スイッチ442,444の選択が実行される。
以下、同様な選択がなされ、(b)の最終M行では(M,1)の選択状態は切替スイッチ442がR、切替スイッチ444もRで、(M,2)は切替スイッチ442がG、切替スイッチ444もGで、(M,3)は切替スイッチ442がB、切替スイッチ444もBとなる。以下同様に、最終の(M,N)までR,G,B,R,G,B,…の順で切替スイッチ442,444の選択が実行される。
(3n)フレームは(c)のように、(1,1)の選択状態は切替スイッチ442がB、切替スイッチ444もBで、(1,2)は切替スイッチ442がR、切替スイッチ444もRで、(1,3)は切替スイッチ442がG、切替スイッチ444もGとなる。以下同様に、最終の(1,N)までB,R,G,B,R,G,…の順で切替スイッチ442,444の選択が実行される。
(2,1)の選択状態は切替スイッチ442がR、切替スイッチ444もRで、(2,2)は切替スイッチ442がG、切替スイッチ444もGで、(2,3)は切替スイッチ442がB、切替スイッチ444もBとなる。以下同様に、最終の(2,N)までR,G,B,R,G,B,…の順で切替スイッチ442,444の選択が実行される。
(3,1)の選択状態は切替スイッチ442がG、切替スイッチ444もGで、(3,2)は切替スイッチ442がB、切替スイッチ444もBで、(3,3)は切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(3,N)までG,B,R,G,B,R,…の順で切替スイッチ442,444の選択が実行される。
以下、同様な選択がなされ、(c)の最終M行では(M,1)の選択状態は切替スイッチ442がG、切替スイッチ444もGで、(M,2)は切替スイッチ442がB、切替スイッチ444もBで、(M,3)は切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(M,N)までG,B,R,G,B,R,…の順で切替スイッチ442,444の選択が実行される。
以上のように、第2動作例のハイフレームレート時分割駆動の場合は、第1フレーム、第2フレーム、第3フレームの順で、この信号処理の繰返しが撮像装置の特性に合わせて実行される。基本的には第1動作例と同様に、ハイフレームレート静止画撮影に適し、時分割駆動・ハイフレームレート撮像による高精細画像の作成が可能になる。
<電気信号処理:第3実施形態>
図19は、XYアドレス型固体撮像装置84を適用する第2〜第4実施形態の三次元画像情報取得システム1B,1C,1Dをベースとする第3実施形態の電気信号処理系統を説明する図である。
[固体撮像装置の構成]
第3実施形態は、サンプルホールド部430とAD変換部450の間に、比較部452に供給するサンプルホールド信号S430や参照信号SLP を切り替える信号切替部440Cを備え、AD変換部450はRGBで1つ(共通に)備える点が第1実施形態と異なる。
信号切替部440Cは、RGB別のサンプルホールド信号S430を1系統に変換する3入力−1出力型の切替スイッチ442と、RGB別の参照信号SLP(R,G,B)を1系統に変換する3入力−1出力型の切替スイッチ444をそれぞれRGBで1つ(共通に)備える。前述の第2実施形態とは異なり、遮蔽型垂直信号線89Sごとに切替スイッチ442が設けられているが、全列共通に1つの切替スイッチ444が設けられている点に特徴がある。
切替スイッチ442は、3つの入力端がそれぞれ対応するRGB別のサンプルホールド部430の出力と接続され、出力端がRGBごとに共通の比較部452の入力端(−)に接続される。
切替スイッチ444は、RGB別の参照信号SLP(R,G,B)がそれぞれ対応する3つの入力端に供給され、出力端が全列の比較部452の入力端(+)に共通に接続される。第2実施形態とは異なり、参照信号生成部97からのRGB別の参照信号SLP(R,G,B)が先ず切替スイッチ444で選択して1系統としてから各列に伝達されるように、一本の参照信号線457が行方向に敷設されている。
第3実施形態は、信号切替部440Cを設けて、一水平走査期間内でRGBの各サンプルホールド信号S430を時分割駆動で三分割してAD変換部450に供給し、一垂直走査期間内でRGBの参照信号SLP を時分割駆動で三分割してAD変換部450に供給する。
サンプルホールド信号S430については水平走査期間中での時分割、参照信号SLP については垂直走査期間中での時分割により、一行に配列された個々の画素についてRGB画素情報のデジタルデータを「時分割で取得する構成」である。
RGB画素情報のデジタルデータを「時分割で取得する構成」をとるために、信号切替部440Cによる信号系統の切替えを必要とするが、比較部452とカウンタ部454の数はそれぞれ、遮蔽型垂直信号線89Sの数と同じN個でよい。第2実施形態と比べた場合、切替スイッチ444が全列に共通の1つであるから、回路規模は第3実施形態の方が小さくて済む。
[時分割駆動:第3実施形態]
図20〜図20Aは、第3実施形態の電気信号処理系統における時分割駆動を説明する図である。ここで、図20は、信号切替部440Cにおけるスイッチ切替えを説明する図である。図20Aは、信号切替部440Cのスイッチ切替えに基づく動作例を説明するタイミングチャートである。
第3実施形態の動作例は、第2実施形態の第1・第2動作例と同様に、3つのフレームを1つの単位とする。違いは、切替スイッチ444が全列に共通であることから、(3n-2)フレームの各行は常に全画素がR、(3n-1)フレームの各行は全画素がG、(3n)フレームの各行は全画素がBとなるように時分割駆動する点である。
図20には、時分割駆動の場合の各フレーム分のカラム処理部90の出力として取り得る3つの状態が示されており、それぞれ選択された一行について切替スイッチ442と切替スイッチ444の関係が描かれている。切替スイッチ444は、RGB別の参照信号SLP(R,G,B)を、時間的に(具体的には行単位で)順次切り替えて、参照信号線457に選択した参照信号SLP が出力されるようになっている。
図20(1)は、参照信号SLP(R)が選択される行のスイッチの状態を示している。どのような列信号処理がなされるかを順を追って説明する。
第1列目の遮蔽型垂直信号線89S_1(図示せず)が切替スイッチ442_1により赤色変調画素信号R側に接続され、その出力が比較部452_1の入力端(−)に入力される。同時に、切替スイッチ444が参照信号SLP(R)を選択し、その出力が比較部452_1の入力端(+)に入力される。
同じ行の第2列目の遮蔽型垂直信号線89S_2(図示せず)が切替スイッチ442_2により赤色変調画素信号R側に接続され、その出力が比較部452_2の入力端(−)に入力される。切替スイッチ444は参照信号SLP(R)を選択しているので参照信号線457には参照信号SLP(R)が出力され、その信号が比較部452_2の入力端(+)に入力される。
同様に、同じ行の第3列目の遮蔽型垂直信号線89S_2(図示せず)が切替スイッチ442_2により赤色変調画素信号R側に接続され、その出力が比較部452_3の入力端(−)に入力される。切替スイッチ444は参照信号SLP(R)を選択しているので参照信号線457には参照信号SLP(R)が出力され、その信号が比較部452_3の入力端(+)に入力される。
以下同様に、最終のN列までの同じようなスイッチ切替えが繰り返される。すなわち、切替スイッチ444が参照信号SLP(R)を選択するときは、全列の遮蔽型垂直信号線89Sが切替スイッチ442により赤色変調画素信号R側に接続される。
図20(2)は、参照信号SLP(G)が選択される行のスイッチの状態を示している。どのような列信号処理がなされるかを順を追って説明する。
第1列目の遮蔽型垂直信号線89S_1(図示せず)が切替スイッチ442_1により緑色変調画素信号G側に接続され、その出力が比較部452_1の入力端(−)に入力される。同時に、切替スイッチ444が参照信号SLP(G)を選択し、その出力が比較部452_1の入力端(+)に入力される。
同じ行の第2列目の遮蔽型垂直信号線89S_2(図示せず)が切替スイッチ442_2により緑色変調画素信号G側に接続され、その出力が比較部452_2の入力端(−)に入力される。切替スイッチ444は参照信号SLP(G)を選択しているので参照信号線457には参照信号SLP(G)が出力され、その信号が比較部452_2の入力端(+)に入力される。
同じ行の第3列目の遮蔽型垂直信号線89S_2(図示せず)が切替スイッチ442_2により緑色変調画素信号G側に接続され、その出力が比較部452_3の入力端(−)に入力される。切替スイッチ444は参照信号SLP(G)を選択しているので参照信号線457には参照信号SLP(G)が出力され、その信号が比較部452_3の入力端(+)に入力される。
以下同様に、最終のN列までの同じようなスイッチ切替えが繰り返される。すなわち、切替スイッチ444が参照信号SLP(G)を選択するときは、全列の遮蔽型垂直信号線89Sが切替スイッチ442により緑色変調画素信号G側に接続される。
図20(3)は、参照信号SLP(B)が選択される行のスイッチの状態を示している。どのような列信号処理がなされるかを順を追って説明する。
第1列目の遮蔽型垂直信号線89S_1(図示せず)が切替スイッチ442_1により青色変調画素信号B側に接続され、その出力が比較部452_1の入力端(−)に入力される。同時に、切替スイッチ444が参照信号SLP(B)を選択し、その出力が比較部452_1の入力端(+)に入力される。
同じ行の第2列目の遮蔽型垂直信号線89S_2(図示せず)が切替スイッチ442_2により青色変調画素信号B側に接続され、その出力が比較部452_2の入力端(−)に入力される。切替スイッチ444は参照信号SLP(B)を選択しているので参照信号線457には参照信号SLP(B)が出力され、その信号が比較部452_2の入力端(+)に入力される。
同じ行の第3列目の遮蔽型垂直信号線89S_2(図示せず)が切替スイッチ442_2により青色変調画素信号B側に接続され、その出力が比較部452_3の入力端(−)に入力される。切替スイッチ444は参照信号SLP(B)を選択しているので参照信号線457には参照信号SLP(B)が出力され、その信号が比較部452_3の入力端(+)に入力される。
以下同様に、最終のN列までの同じようなスイッチ切替えが繰り返される。すなわち、切替スイッチ444が参照信号SLP(B)を選択するときは、全列の遮蔽型垂直信号線89Sが切替スイッチ442により青色変調画素信号B側に接続される。
切替スイッチ442と切替スイッチ444を使用して、1つの遮蔽型垂直信号線89Sに対して、RGB3つに分岐した列方向のカラム処理部90R,90G,90Bの内の1つのみが選択される。選択された画素信号と該当する参照信号SLP をともに比較部452に入力するようにする。次のフレーム以降で、残りの2つを同様な方法で時間にずらして順次比較部452に入力させる。第1・第2実施形態と同様に、カラム処理部90側を時分割駆動する考え方である。ただし、第1・第2実施形態との相違点として、切替スイッチ444による参照信号SLP の切替えは行単位でしか対応できない点に考慮する必要がある。たとえば、信号選択では1つのフレームが全画素R変調信号、全画素G変調信号、全画素B変調信号の何れかとなるようにする。
[動作例]
図20Aに示す動作例は、第2実施形態の第1・第2動作例と同様に3つのフレームを1つの単位とするが、各フレームを「(a)…1行全部R」、「(b)…1行全部G」、「(c)…1行全部B」の順で時分割駆動する点が異なる。何れのフレームも、同一行では、全列で同一色のものを選択するように列信号処理される。なお図では、切替スイッチ442を「メモリ」と記し、切替スイッチ444を「切換えSW」と記す。
特に、この例では、切替スイッチ444は、第1フレームの期間中は(a)のように常にR、第2フレームは(b)のように常にG、第3フレームは(c)のように常にBに、それぞれ固定する点に特徴がある。第2実施形態の信号切替部440Bでも、このような動作例にすることが可能であるが、第3実施形態に場合、1つの切替スイッチ444でそれが実現できる利点がある。換言すると、第3実施形態の信号切替部440Cでは、第2実施形態の動作例は実現できない。以下具体的に説明する。
(3n-2)フレームは(a)のように、(1,1)の選択状態は切替スイッチ442がR、切替スイッチ444もRで、(1,2)も切替スイッチ442がR、切替スイッチ444もRで、(1,3)も切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(1,N)まで切替スイッチ442,444の選択が全てRで実行される。
(2,1)の選択状態も切替スイッチ442がR、切替スイッチ444もRで、(2,2)も切替スイッチ442がR、切替スイッチ444もRで、(2,3)も切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(2,N)まで切替スイッチ442,444の選択が全てRで実行される。
(3,1)の選択状態も切替スイッチ442がR、切替スイッチ444もRで、(3,2)も切替スイッチ442がR、切替スイッチ444もRで、(3,3)も切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(3,N)まで切替スイッチ442,444の選択が全てRで実行される。
以下、同様な選択がなされ、(a)の最終M行も(M,1)の選択状態は切替スイッチ442がR、切替スイッチ444もRで、(M,2)も切替スイッチ442がR、切替スイッチ444もRで、(M,3)も切替スイッチ442がR、切替スイッチ444もRとなる。以下同様に、最終の(M,N)まで切替スイッチ442,444の選択が全てRで実行される。
(3n-1)フレームは(b)のように、(1,1)〜(M,N)まで切替スイッチ442,444の選択が全てGで実行される。また、(3n)フレームは(c)のように、(1,1)〜(M,N)まで切替スイッチ442,444の選択が全てBで実行される。
以上のように、第3実施形態の動作例のハイフレームレート時分割駆動の場合は、第1フレーム、第2フレーム、第3フレームの順で、この信号処理の繰返しが撮像装置の特性に合わせて実行されることになる。
このような方式を採ることで、1フレームで処理する情報量を低減でき、フレーム単位でRGBが切り替るためハイフレームレート動画撮影に適している。図15に示した全画素モードに比べ、比較部452とカウンタ部454の数が減る利点があるし、切替スイッチ444は全列に共通でよく、各比較部452に対しての参照信号線457も1本でよく、第1・第2実施形態よりも構成が簡易になる。
なお、この第3実施形態の動作例で示したのは、フレーム単位でRGBを切り替える例であるが、行単位という制約があるものの、考え方としては、他の切替えの組合せも適用できる。たとえば、行ごとに、一行全部R→一行全部G→一行全部B→一行全部R→…→一行全部Bという組合せが可能である。このとき、 (3n-2)フレームの(3n-2)行は一行全部Rとして以下順に切り替え、(3n-1)フレームの(3n-2)行は一行全部Gとして以下順に切り替え、(3n)フレームの(3n-2)行は一行全部Bとして以下順に切り替える。
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は前記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、前記の実施形態は、クレーム(請求項)に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
インコヒーレントな物体光をコヒーレントな光と同軸で同方向からインコヒーレント光−コヒーレント光変換部に入射させてコヒーレントな物体光を生成することで高解像度の色彩ホログラムを撮像する仕組みでは、撮像部がモノクロ用であることは必須ではない。特許文献3のように、カラー用の走査型の撮像部で撮像してもよいし、コヒーレントな物体光と参照光をRGBの各成分に分離してRGB別の撮像部に入射させてもよい。
撮像部がモノクロ用である仕組みでは、インコヒーレントな物体光をコヒーレントな光と同軸で同方向からインコヒーレント光−コヒーレント光変換部に入射させてコヒーレントな物体光を生成することは必須ではない。特許文献3のようにインコヒーレントな物体光と参照光で色彩ホログラムを撮像する際に、特許文献3とは異なり撮像部をモノクロ用として、信号処理でRGB成分ごとの分離を行なう本実施形態の仕組みを適用してよい。
1…三次元画像情報取得システム、102…ICH−CH光変換素子、104…位相共役鏡、106…光変調素子、110…入射光学系、130…撮像光学系、136…ビームスプリッタ、140…超音波光変調素子、150…光源部、152…物体波光源、154…参照波光源、156…レーザ光源、160…光変調部、162…変調信号源部、2…三次元画像撮像装置、3…干渉光学部、310…共振処理部、312…ノイズ発生部、314…確率共振処理部、322…アンチエイリアス処理部、330…サンプルホールド部、340…CDS・AGC部、342…CDS・PKC部、350…AD変換部、360…アンプ・ノイズ除去部、370…クランプ部、380…カメラ信号処理部、4…変調信号源部、422…アンチエイリアス処理部、430…サンプルホールド部、440…信号切替部、442…切替スイッチ、444…切替スイッチ、450…AD変換部、452…比較部、454…カウンタ部、456…参照信号線、457…参照信号線、470…DA変換部、5…撮像部、6…三次元画像信号処理部、62…光学レンズ系、64…光学信号処理部、70…走査部、72…垂直走査部、73…水平走査部、74…制御信号生成部、75…信号処理パルス発生部、76…プログラマブルパルス発生部、78…撮像制御部、82…CCD固体撮像装置、84…XYアドレス型固体撮像装置、85…固体撮像装置、86…単位画素、87…画素アレイ部、88…行制御線、89…垂直信号線、89S…遮蔽型垂直信号線、9…周辺回路部、90…カラム処理部、91…駆動制御部、92…垂直走査部、93…水平走査部、94…通信・タイミング制御部、95…クロック変換部、96…水平信号線、97…参照信号生成部、98…出力部、BJ…物体

Claims (20)

  1. コヒーレントな白色光を発する光源と、
    前記光源からの前記コヒーレントな白色光を二分する分岐部と、
    コヒーレントな物体光を生成するインコヒーレント光−コヒーレント光変換部と、
    物体からの色彩三次元情報を有するインコヒーレントな物体光と前記分岐部で分岐された一方の分割光を同軸上で同じ方向より前記インコヒーレント光−コヒーレント光変換部に入射させる入射光学系と、
    前記分岐部で二分して得られる他方の分割光を参照光とし、前記コヒーレントな物体光および参照光の少なくとも一方について、色彩ホログラムを形成する複数の色彩波長成分を相互に異なる周波数の変調信号で変調する光変調部と、
    走査型の撮像部と、
    少なくとも一方が前記光変調部により変調されている前記参照光と前記コヒーレントな物体光を、偏光方向を揃え、同軸になるようにして、前記撮像部に入射させることで、前記参照光と前記コヒーレントな物体光の間で干渉させて前記撮像部の撮像面上に干渉縞を形成させる撮像光学系と、
    を備えた三次元画像撮像装置。
  2. 前記撮像部は、色分離フィルタが形成されていないモノクロ用のものである
    請求項1に記載の三次元画像撮像装置。
  3. 前記光源部は、前記物体光用の白色レーザ光源と前記参照光用の白色レーザ光源を各別に有し、
    前記分岐部は、前記参照光用の白色レーザ光源からの前記コヒーレントな白色光を二分し、
    前記光変調部は、前記物体光用の白色レーザ光源に対して前記色彩波長成分ごとの変調信号を供給し、
    前記インコヒーレント光−コヒーレント光変換部は、位相共役物体光を生成する位相共役鏡とその端面側に設けられている反射鏡を有し、前記物体光用の白色レーザ光源から発せられる変調された白色レーザ光も取り込むことで、縮退4波混合の作用により、前記インコヒーレントな物体光と対応する前記色彩波長成分ごとに変調されたコヒーレントな位相共役物体光を生成し、
    前記撮像光学系は、前記インコヒーレント光−コヒーレント光変換部で生成された前記色彩波長成分ごとに変調されているコヒーレントな前記位相共役物体光を、前記参照光と、偏光方向を揃え、同軸になるようにして、前記撮像部に入射させる
    請求項1または2に記載の三次元画像撮像装置。
  4. 位相共役物体光を生成する位相共役鏡を前記色彩波長成分ごとに備え、
    前記光源部は、前記物体光用と前記参照光用に共通の白色レーザ光源を有し、
    前記インコヒーレント光−コヒーレント光変換部は、ICH−CH光変換素子を前記色彩波長成分ごとに有し、
    前記入射光学系は、前記分岐部で分岐された一方の分割光を前記色彩波長成分ごとに分離して前記インコヒーレントな物体光と同軸上で同じ方向より対応する前記ICH−CH光変換素子に入射させ、
    前記光変調部は、それぞれの前記ICH−CH光変換素子に対して、対応する色彩波長成分用の変調信号を供給し、
    それぞれの前記位相共役鏡は、前記ICH−CH光変換素子から出力される前記色彩波長成分用の変調周波数で変調されたコヒーレントな物体光を取り込んで、コヒーレントな位相共役物体光を生成するものであり、
    前記撮像光学系は、前記位相共役鏡で生成された前記色彩波長成分ごとに変調されているコヒーレントな前記位相共役物体光を、前記参照光と、偏光方向を揃え、同軸になるようにして、前記撮像部に入射させる
    請求項1または2に記載の三次元画像撮像装置。
  5. 前記光源部は、前記物体光用と前記参照光用に共通の白色レーザ光源を有し、
    前記インコヒーレント光−コヒーレント光変換部は、位相共役物体光を生成する位相共役鏡を前記色彩波長成分ごとに有し、それぞれの前記位相共役鏡は、対応する前記色彩波長成分の前記インコヒーレントな物体光を取り込んで、コヒーレントな位相共役物体光を生成するものであり、
    前記入射光学系は、前記分岐部で分岐された一方の分割光と前記インコヒーレントな物体光を前記色彩波長成分ごとに分離して同軸上で同じ方向より対応する前記位相共役鏡に入射させ、
    前記光変調部は、光変調素子を前記色彩波長成分ごとに有し、前記分岐部で分岐された他方の分割光を前記色彩波長成分ごとに分離して対応する前記光変調素子に入射させるととともに、それぞれの前記光変調素子に対して対応する色彩波長成分用の変調信号を供給することで前記色彩波長成分ごとに変調された参照光を生成し、
    前記撮像光学系は、前記位相共役鏡で生成された前記色彩波長成分ごとの無変調のコヒーレントな前記位相共役物体光を、前記色彩波長成分ごとに変調されている参照光と、偏光方向を揃え、同軸になるようにして、前記撮像部に入射させる
    請求項1または2に記載の三次元画像撮像装置。
  6. 前記光源部は、前記物体光用と前記参照光用に共通の白色レーザ光源を有し、
    前記インコヒーレント光−コヒーレント光変換部は、前記インコヒーレントな物体光を取り込んでコヒーレントな物体光を生成するICH−CH光変換素子と、前記ICH−CH光変換素子で生成された前記コヒーレントな物体光を取り込んでコヒーレントな位相共役物体光を生成する位相共役鏡を有し、
    前記光変調部は、前記複数の色彩波長成分の全域に感度を有し前記分岐部も兼ねる音響光学素子を有し、前記光源部から発せられた白色レーザ光を前記音響光学素子に取り込むとともに、それぞれの色彩波長成分用の変調信号を供給することで、他方の分割光として出力される1次回折光を前記色彩波長成分ごとに変調されている参照光とし、
    前記入射光学系は、前記音響光学素子から一方の分割光として出力される0次光と前記インコヒーレントな物体光を同軸上で同じ方向より前記ICH−CH光変換素子に入射させ、
    前記撮像光学系は、前記位相共役鏡で生成された無変調のコヒーレントな前記位相共役物体光を、前記色彩波長成分ごとに変調されている参照光と、偏光方向を揃え、同軸になるようにして、前記撮像部に入射させる
    請求項1または2に記載の三次元画像撮像装置。
  7. 前記光源部は、前記物体光用と前記参照光用に共通の白色レーザ光源を有し、
    前記インコヒーレント光−コヒーレント光変換部は、前記インコヒーレントな物体光を取り込んでコヒーレントな物体光を生成するICH−CH光変換素子と、前記ICH−CH光変換素子で生成された前記コヒーレントな物体光を取り込んでコヒーレントな位相共役物体光を生成する位相共役鏡を有し、
    前記光変調部は、前記複数の色彩波長成分の全域に感度を有し前記分岐部も兼ねる音響光学素子を有し、前記光源部から発せられた白色レーザ光を前記音響光学素子に取り込むとともに、それぞれの色彩波長成分用の変調信号を供給することで、他方の分割光として出力される0次光を無変調の参照光とし、
    前記入射光学系は、前記音響光学素子から一方の分割光として出力される前記色彩波長成分ごとに変調されている1次回折光と前記インコヒーレントな物体光を同軸上で同じ方向より前記ICH−CH光変換素子に入射させ、
    前記撮像光学系は、前記位相共役鏡で生成された前記色彩波長成分ごとに変調されているコヒーレントな前記位相共役物体光を、無変調な前記参照光と、偏光方向を揃え、同軸になるようにして、前記撮像部に入射させる
    請求項1または2に記載の三次元画像撮像装置。
  8. 前記光源部は、前記物体光用と前記参照光用に共通の白色レーザ光源を有し、
    前記インコヒーレント光−コヒーレント光変換部は、前記複数の色彩波長成分の全域に感度を有する音響光学素子を有し、前記インコヒーレントな物体光を取り込んでコヒーレントな位相共役物体光を生成するものであり、
    前記入射光学系は、前記分岐部で分岐された一方の分割光と前記インコヒーレントな物体光を同軸上で同じ方向より前記音響光学素子に入射させ、
    前記光変調部は、前記音響光学素子に対して、対応する色彩波長成分用の変調信号を供給することで、前記色彩波長成分ごとに変調されているコヒーレントな前記位相共役物体光を前記音響光学素子から出力させ、
    前記撮像光学系は、前記音響光学素子から出力された前記色彩波長成分ごとに変調されているコヒーレントな前記位相共役物体光を、前記参照光と、偏光方向を揃え、同軸になるようにして、前記撮像部に入射させる
    請求項1または2に記載の三次元画像撮像装置。
  9. 前記光変調部は、前記物体光と前記参照光との間においてもそれぞれの前記色彩波長成分の変調の周波数を相互に異なるものとしつつ、前記色彩波長成分ごとに変調されているコヒーレントな位相共役物体光を生成するとともに、前記色彩波長成分ごとに変調されているコヒーレントな前記参照光を生成し、
    前記撮像光学系は、前記色彩波長成分ごとに変調されているコヒーレントな前記位相共役物体光を、前記色彩波長成分ごとに変調されている前記参照光と、偏光方向を揃え、同軸になるようにして、前記撮像部に入射させる
    請求項1または2に記載の三次元画像撮像装置。
  10. 物体からの色彩三次元情報を有するインコヒーレントな物体光とコヒーレントな白色光を発する光源からの前記コヒーレントな白色光を二分して得られる一方の分割光を同軸上で同じ方向よりインコヒーレント光−コヒーレント光変換部に入射させることでコヒーレントな物体光を生成し、
    前記光源からのコヒーレントな白色光を二分して得られる他方の分割光を参照光とし、
    前記コヒーレントな物体光および参照光の少なくとも一方について、色彩ホログラムを形成する複数の色彩波長成分を相互に異なる周波数の変調信号で変調し、
    その後、前記参照光と前記コヒーレントな物体光を、偏光方向を揃え、同軸になるようにして、走査型の撮像部に入射させることで、前記参照光と前記コヒーレントな物体光の間で干渉させて前記撮像部の撮像面上に干渉縞を形成させ、
    前記干渉縞を前記撮像部で撮像する
    三次元画像撮像方法。
  11. 物体光および参照光の少なくとも一方について、色彩ホログラムを形成する複数の色彩波長成分を相互に異なる周波数の変調信号で変調する光変調部と、
    色分離フィルタが形成されていないモノクロ用の走査型の撮像部と、
    少なくとも一方が前記光変調部により変調されている前記参照光と前記物体光を、偏光方向を揃え、同軸になるようにして、前記撮像部に入射させることで、前記参照光と前記物体光の間で干渉させて前記撮像部の撮像面上に干渉縞を形成させる撮像光学系と、
    前記干渉縞を前記撮像部で撮像することで得られる撮像信号に基づき、前記色彩波長成分ごとの干渉縞のそれぞれに対応する色彩ホログラム情報信号を取得する三次元画像信号処理部と、
    を備えた三次元画像情報取得システム。
  12. コヒーレントな白色光を発する光源と、
    前記光源からの前記コヒーレントな白色光を二分する分岐部と、
    コヒーレントな物体光を生成するインコヒーレント光−コヒーレント光変換部と、
    物体からの色彩三次元情報を有するインコヒーレントな物体光と前記分岐部で分岐された一方の分割光を同軸上で同じ方向より前記インコヒーレント光−コヒーレント光変換部に入射させる入射光学系と、
    を備え、
    前記光変調部は、前記分岐部で二分して得られる他方の分割光を参照光とし、前記コヒーレントな物体光および参照光の少なくとも一方について、色彩ホログラムを形成する複数の色彩波長成分を相互に異なる周波数の変調信号で変調し、
    前記撮像光学系は、少なくとも一方が前記光変調部により変調されている前記参照光と前記コヒーレントな物体光を、偏光方向を揃え、同軸になるようにして、前記撮像部に入射させることで、前記参照光と前記コヒーレントな物体光の間で干渉させて前記撮像部の撮像面上に干渉縞を形成させる
    請求項11に記載の三次元画像情報取得システム。
  13. 前記光変調部は、それぞれの前記変調の周波数を前記撮像部のフレーム周波数または水平駆動周波数の整数倍に設定する
    請求項11または12に記載の三次元画像情報取得システム。
  14. 前記三次元画像信号処理部は、複数の前記色彩波長成分で変調されそれらが重畳されている状態で前記撮像部により取得された変調画素信号に基づき信号処理を行なう色彩変調画素信号処理部を前記複数の色彩波長成分の別に有する
    請求項11〜13の内の何れか一項に記載の三次元画像情報取得システム。
  15. 前記複数の色彩波長成分ごとの色彩変調画素信号処理部は、対応する前記色彩波長成分の変調周波数と同一周波数のAD変換クロックに基づいて前記変調画素信号をデジタルデータに変換するAD変換部を有する
    請求項14に記載の三次元画像情報取得システム。
  16. それぞれの前記色彩変調画素信号処理部は、対応する前記色彩波長成分の変調周波数の整数倍の周波数のAD変換クロックに基づいて前記変調画素信号をデジタルデータに変換するAD変換部を有する
    請求項14に記載の三次元画像情報取得システム。
  17. それぞれの前記色彩変調画素信号処理部は、対応する前記色彩波長成分の変調信号と同期した前記AD変換クロックを使用する
    請求項15または16に記載の三次元画像情報取得システム。
  18. 前記複数の色彩波長成分ごとの色彩変調画素信号処理部は、前記色彩波長成分の変調周波数と対応する周波数のサンプリングパルスに基づいて前記変調画素信号をサンプルするサンプルホールド部を有し、
    前記AD変換部は、前記サンプルホールド部でサンプルされた後の信号をデジタルデータに変換する
    請求項15〜17の内の何れか一項に記載の三次元画像情報取得システム。
  19. 前記撮像部から画素信号を列並列に読み出すカラム読出しを行なうように制御する駆動制御部を有し、
    前記AD変換部は、参照信号比較型のカラムAD変換処理を行なうものであり、
    前記三次元画像信号処理部は、前記撮像部と前記三次元画像信号処理部を接続する信号線上の画素信号を前記色彩波長成分の各系統に分ける第1切替スイッチ部と、前記色彩波長成分ごとの参照信号を切り替える第2切替スイッチ部を有する
    請求項15〜18の内の何れか一項に記載の三次元画像情報取得システム。
  20. 物体光および参照光の少なくとも一方について、色彩ホログラムを形成する複数の色彩波長成分を相互に異なる周波数の変調信号で変調し、
    その後、前記参照光と前記物体光を、偏光方向を揃え、同軸になるようにして、色分離フィルタが形成されていないモノクロ用の走査型の撮像部に入射させることで、前記参照光と前記物体光の間で干渉させて前記撮像部の撮像面上に干渉縞を形成させ、
    前記干渉縞を前記撮像部で撮像することで、前記色彩波長成分ごとの干渉縞のそれぞれに対応する色彩ホログラム情報信号を取得する
    三次元画像情報取得方法。
JP2009178859A 2009-07-31 2009-07-31 三次元画像撮像装置、三次元画像撮像方法、三次元画像情報取得システム、三次元画像情報取得方法 Pending JP2011033759A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009178859A JP2011033759A (ja) 2009-07-31 2009-07-31 三次元画像撮像装置、三次元画像撮像方法、三次元画像情報取得システム、三次元画像情報取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009178859A JP2011033759A (ja) 2009-07-31 2009-07-31 三次元画像撮像装置、三次元画像撮像方法、三次元画像情報取得システム、三次元画像情報取得方法

Publications (1)

Publication Number Publication Date
JP2011033759A true JP2011033759A (ja) 2011-02-17

Family

ID=43762912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009178859A Pending JP2011033759A (ja) 2009-07-31 2009-07-31 三次元画像撮像装置、三次元画像撮像方法、三次元画像情報取得システム、三次元画像情報取得方法

Country Status (1)

Country Link
JP (1) JP2011033759A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090476A (zh) * 2014-06-30 2014-10-08 中国科学院上海光学精密机械研究所 用于全息显示的三维场景信息的获取方法
CN106338334A (zh) * 2016-09-26 2017-01-18 中北大学 一种双声光调制相位共轭外差探测装置
CN107015466A (zh) * 2017-04-19 2017-08-04 电子科技大学 基于tr‑music算法的光学扫描全息单点定位方法
CN107991246A (zh) * 2017-11-24 2018-05-04 南京图思灵智能科技有限责任公司 双图像采集模块组织样品扫描仪和数字成像复现系统
CN112951196A (zh) * 2014-09-05 2021-06-11 华盛顿大学 使用聚焦超声波产生超声强度阱以限制或移动物体的方法
CN113724371A (zh) * 2021-08-13 2021-11-30 深圳技术大学 同轴照明光场的三维成像方法、系统、电子装置及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104090476A (zh) * 2014-06-30 2014-10-08 中国科学院上海光学精密机械研究所 用于全息显示的三维场景信息的获取方法
CN112951196A (zh) * 2014-09-05 2021-06-11 华盛顿大学 使用聚焦超声波产生超声强度阱以限制或移动物体的方法
CN106338334A (zh) * 2016-09-26 2017-01-18 中北大学 一种双声光调制相位共轭外差探测装置
CN106338334B (zh) * 2016-09-26 2019-01-15 中北大学 一种双声光调制相位共轭外差探测装置
CN107015466A (zh) * 2017-04-19 2017-08-04 电子科技大学 基于tr‑music算法的光学扫描全息单点定位方法
CN107015466B (zh) * 2017-04-19 2019-07-19 电子科技大学 基于tr-music算法的光学扫描全息单点定位方法
CN107991246A (zh) * 2017-11-24 2018-05-04 南京图思灵智能科技有限责任公司 双图像采集模块组织样品扫描仪和数字成像复现系统
CN113724371A (zh) * 2021-08-13 2021-11-30 深圳技术大学 同轴照明光场的三维成像方法、系统、电子装置及存储介质
CN113724371B (zh) * 2021-08-13 2023-06-13 深圳技术大学 同轴照明光场的三维成像方法、系统、电子装置及存储介质

Similar Documents

Publication Publication Date Title
JP2011034023A (ja) 三次元画像再生表示装置、三次元画像再生表示方法、三次元画像情報取得再生システム、三次元画像情報取得再生方法
JP2011033759A (ja) 三次元画像撮像装置、三次元画像撮像方法、三次元画像情報取得システム、三次元画像情報取得方法
US6862121B2 (en) Method and apparatus for holographic recording of fast phenomena
US20110193956A1 (en) Apparatus and a method for performing a difference measurement of an object image
US8368767B2 (en) Solid-state image pickup device, optical apparatus, signal processing apparatus, and signal processing system
KR970006558B1 (ko) 광화상 직접 전송 방법 및 장치
KR20180063835A (ko) 변형 광학 뉴럴 네트워크를 이용하는 홀로그램 영상 재생 장치
JP2017076038A (ja) デジタルホログラフィ装置およびデジタルホログラフィ方法
Zeng et al. Review and prospect of single-shot ultrafast optical imaging by active detection
US20150085069A1 (en) Holographic image generation and reconstruction
KR102358353B1 (ko) 위상광학 이미지 획득 장치 및 방법
WO2015065345A1 (en) Holographic image generation and reconstruction
KR101659360B1 (ko) 홀로그래픽 이미징 장치 및 방법
JP2011033859A (ja) 三次元画像撮像装置、三次元画像撮像方法
JP2004279713A (ja) ホログラム記録再生装置
US20200301174A1 (en) Imaging system and imaging method
US3531589A (en) Holographic method of selectively transmitting changes in a scene
US7952776B2 (en) Hologram reading apparatus, hologram reading method, hologram recording apparatus and hologram recording method
TW200823895A (en) Method and system for parallel optical decoding of digital phase image to intensity image
Shrekenhamer et al. Metamaterial-based imaging for potential security applications
JP2021184002A (ja) インコヒーレントディジタルホログラム用撮像素子、撮像装置およびその撮像素子の製造方法
JP2009058654A (ja) ホログラム再生装置、ホログラム再生方法、ホログラム記録装置、及びホログラム記録方法
JPS63168618A (ja) 撮像装置
Chen et al. Design and demonstration of ultrafast holographic microscopic system based on time stretching
RU2080641C1 (ru) Телевизионный проектор