JP2019062571A - 撮像モジュール及び撮像装置 - Google Patents
撮像モジュール及び撮像装置 Download PDFInfo
- Publication number
- JP2019062571A JP2019062571A JP2018240973A JP2018240973A JP2019062571A JP 2019062571 A JP2019062571 A JP 2019062571A JP 2018240973 A JP2018240973 A JP 2018240973A JP 2018240973 A JP2018240973 A JP 2018240973A JP 2019062571 A JP2019062571 A JP 2019062571A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- spatial light
- spatial
- light modulation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Blocking Light For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
撮像装置1はまた、視野を確認するためのファインダー6と、ミラー4からファインダー6へと光を偏向させる偏向素子5と、露光時間を決定するシャッター8と、これらの部材を制御するための制御部9とを有している。
撮像モジュール2以外の上述の構成は一般的な一眼レフカメラと同等であるが、ファインダー6とミラー4とを外し、変わりに液晶モニタを備えた所謂ミラーレス一眼レフの構成であっても良い。
撮像モジュール2は、入射した光速に空間的な変調を付与して出射する空間光変調素子21と、空間的な変調を付与された光束を画像情報として取得する撮像素子22と、空間光変調素子21と撮像素子22とを一体化して固定する固定部23とを有している。
撮像モジュール2はまた、空間光変調素子21と撮像素子22とを電気的に接続する配線25と、制御部9からの信号を処理するためのロジック回路13とを有している。
固定部23は、空間光変調素子21と撮像素子22とを一定の間隔で、かつ平行に固定する。ここで固定部23は、ネジなどの固定部材を用いるものであっても、あるいは接着剤等を用いても、あるいは空間光変調素子21と撮像素子22とを一体成型するものであっても良い。
本実施形態においては、ギャップ規定部材24は、開口を設けたSi基板であり、ギャップ規定部材24が固定部23としての機能を有している。ギャップ規定部材24は、空間光変調素子21と撮像素子22との少なくとも一方に接触し、上記開口とSi基板の厚みによって、空間光変調素子21と撮像素子22との間に数mm以下、望ましくは1mm以下の空隙構造、言い換えるとギャップ構造を形成している。
ギャップ規定部材24は、ここでは開口を設けたSi基板としたが、ガラス材料のような透明部材や、ビーズを分散させたガラスフリット材料のような接合部材を用いても良い。
ギャップ規定部材24に透明な部材を用いた場合には、光束の通過を妨げることがないので、ギャップ構造は空隙構造でなくてもよく、空間光変調素子21と撮像素子22との間の距離であるギャップ距離を透明部材の厚みで制御する。
配線25は、ワイヤーボンディングを用いて形成されている。配線25は、空間光変調素子21と、撮像素子22との少なくとも一方を貫いて電気的に接続する貫通配線26であっても良い。この貫通配線26については、後に詳しく説明する。
ロジック回路13は、制御部9からの電気信号に従って動作する、空間光変調パターン生成補助手段あるいは制御補助手段として機能する。
結像光学系3は、撮像装置1に入射した光束を撮像素子22上に画像を形成するように配設されている。言い換えると、撮像モジュール2よりも光軸方向上流側に、撮像素子22上に焦点が位置するように配置される。
結像光学系3を通過した光束は、非撮影時にはミラー4に反射して、偏向素子5を経てファインダー6へと導かれる。撮影時には、ミラー4は結像光学系3からの光束を通過させるよう動作する。このように、ミラー4は光路選択手段たる可動ミラーとして動作する。
素子駆動部たる制御部9は、複数の周期の異なる正弦波形を重ね合わせた空間透過率分布を用いて空間光変調素子21の透過率分布を制御する。
以下、この透過率分布を制御可能な最小単位をセルと呼ぶ。
空間光変調素子21は、素子駆動部たる制御部9からの電気信号、言い換えると周期的な変調信号に従って、素子上それぞれのセルにおける透過率を変化させることで符号化開口パターンを形成する。
すなわち、空間光変調素子21は、素子上の各セルの透過率を周期的に変化させることで、空間光変調素子21を通過する光束に対して空間的な変調を付与する。
このとき、素子駆動部たる制御部9は、空間光変調パターン生成手段として機能する。
つまり、正弦波形の周期の数だけ、空間周波数の軸上に被写体の空間周波数スペクトル分布が複製される。ここで、正弦波形の周波数の大きさに依存して角度成分の周波数情報が混ざりこむことにより画角分離が可能となる(例えば非特許文献1)。
ここで画像特性解析手段、空間光変調パターン生成手段、画質判定手段、復号処理手段12は、本実施形態においてはいずれも制御部9の機能である。
まず、制御部9は、空間的な変調なし、もしくは一定の空間的な変調を行った場合についての初期画像を取得する(ステップS1)。
この初期画像の空間周波数帯域を、画像特性解析手段としての制御部9によって解析する。制御部9は、初期画像の空間周波数帯域を解析することで、空間光変調素子21に印加するのに必要な正弦波の周波数を決定する(ステップS2)。
ついで、空間光変調パターン算出手段あるいは空間光変調パターン生成手段たる制御部9は、かかる処理で得られた正弦波形の周波数に基づいた空間光変調パターンを算出して生成する(ステップS3)。このとき制御部9は符号化開口パターン算出手段あるいは符号化開口パターン生成手段としての機能を有する。ステップS3で得られた空間光変調パターンに基づいて、素子駆動部たる制御部9は空間光変調素子21の透過率を変化させ、再度画像情報を取得する(ステップS4)。
さらに、画質判定手段としての制御部9は、取得された画像情報の画質が十分良好であるかどうか、言い換えると得られた画像情報の空間周波数が、エイリアシングを生じない条件に収まるか否かを判定する(ステップS5)。不十分と判定された場合には、ステップS2に戻って空間周波数の解析に戻って同様の処理を繰り返す、すなわちフィードバック機構によってエイリアシングを生じない条件に画質を最適化する。画質の最適化が終了した時点で、所望の空間情報、この場合には画角分離した画像情報を取得する(ステップS6)。
つまり、画像情報と、当該画像情報が検出された撮像素子22の位置から、撮像素子22に検出された光束の角度情報、言い換えると光束の方向成分の情報が得られる。
こうした空間情報の取得方法を、距離情報の取得を例に図4を用いて説明する。
ただし、複数の画角分離画像から視差情報を算出する手法についてその詳細な説明は適宜省略する。
次に、画像特性解析手段たる距離分解能判定手段としての制御部9は、かかる画角分離された画像情報を解析し、画像内の特定のターゲットたる被写体の局所位置について、距離情報を算出する(ステップS24)。ステップS24で算出された距離情報を用いて、距離分解能判定手段としての制御部9は、得られた画像に所望の分解能が得られているか否かを判定する(ステップS25)。
得られた画像の分解能が不十分である場合には、空間光変調パターン生成手段としての制御部9は、空間光変調パターンを構成する正弦波の周期を再度算出する(ステップS26)。
制御部9は、ステップS26で算出された空間光変調パターンを基に画角分離分解能を変化させることで、再度空間光変調パターンの生成を行って新たな画像を取得する(ステップS27)。
このようなフィードバックループを形成する距離分解能最適化機構によって距離分解能が最適化され、最終的にターゲットとする被写体に適した距離画像を取得する(ステップS28)。
このような問題点は、ギャップ距離が比較的大きい場合には問題とされていなかった。
そこで本発明では、空間光変調素子21と撮像素子22とを一体化して固定する固定部と、空間光変調素子21と撮像素子22との間に配置されて一定の間隔のギャップ構造を形成するギャップ規定部材24とを有している。
このような構成により、空間光変調素子21と撮像素子22とが一体化され、モジュール化されるから、ギャップ距離を短く、撮像素子22と空間光変調素子21との位置を高精度に合わせて、角度分解能が高い高精度な画像情報が得られる。
ウェット毛細管型の空間光変調素子21は、液体を収容可能な微細空孔構造体と、電気的な信号により微細空孔構造体内部の当該液体の量を調整して光の透過率を制御する透過率制御手段とを有する。
このような構成にすることで、入射する光束の照射領域全てが透明材料によって構成されるから、空間光変調素子21の下層に位置する撮像素子22上の受光素子が全て利用可能となり、画像あるいは空間情報を含んだ画像情報がより高い解像度で取得される。
ウェット毛細管型の空間光変調素子21を用いるとすれば、空間光変調素子21と撮像素子22とギャップ規定部材24とが何れも半導体プロセスで製造可能になるから、接着剤等を用いずに撮像モジュール2を一体形成することが容易になる。このような構成により、画素サイズ程度の精度での位置合わせが可能であるから、接着剤等を用いて空間光変調素子21と撮像素子22とを一体化する場合よりも、より高精度かつ高解像度の画像情報を得られる。
空間光変調素子21と撮像素子22とを一定の間隔を維持しながら一体化して固定し、配線25によって電気的な配線を行うから、撮像モジュール2は、実装形態による制約を受けずに空間情報を含んだ画像情報を更に高解像度および/または高精度に取得する。
かかる構成により、撮像装置1は、空間光変調素子21に画像から取得される画像特性情報を利用した最適な符号化開口パターンを形成して、被写体の特性や撮像シーンに依存した画像劣化要因を排除された高画質の画像情報を取得する。
かかる構成により、撮像装置1は被写体の特性または撮像シーンに応じた最適な符号化開口パターンを形成するから、より高精度な画像ないし空間情報を含んだ画像情報を取得する。
図5に示す撮像モジュール2は、既に説明した図2の撮像モジュール2の構成と比較して、固定部23の構成が異なっている。
固定部23は、空間光変調素子側の面から入射した光束を撮像素子側の面へ誘導するための導光路素子27と、導光路素子27を支持するための支持構造体29と、空間光変調素子21と導光路素子27との間に配置されるギャップ規定部材24とを有している。
導光路素子27は、撮像素子22と空間光変調素子21との間に、空間光変調素子21との間に一定の間隔を持つよう固定して配置され、空間光変調素子21側の面の開口面積と撮像素子22側の面の開口面積とが異なるテイパー形状である。
導光路素子27は、光ファイバーを束ねて作成するファイバープレートを加熱・延伸した後、切断・研磨されたファイバーテイパープレートであり、空間光変調素子21側の面の解像度と撮像素子22側の面の解像度とが異なる。
導光路素子27は、開口面積が狭い面を撮像面たる撮像素子22に接触して固定され、空間光変調素子21に対して数mm以下、望ましくは1mm以下のギャップ構造を形成するギャップ規定部材24を介して空間光変調素子21と一体化して固定されている。
導光路素子27は、このような構成により、撮像面を擬似的に導光路素子27の空間光変調素子21側の面に拡大して、解像度を変える。
従って、空間光変調素子21の画素ピッチが、撮像素子22の画素ピッチより大きく、解像度が異なるような場合であっても、拡大された撮像面によって、空間光変調素子21を擬似的に高解像度化して、より空間分解能の高い画像を得られる。
空間光変調素子21は、電気的な配線25により制御部9と接続されている。
本実施形態においては、導光路素子27は、空間光変調素子21と導光路素子27との間に配置されるギャップ規定部材24によって空間光変調素子21と接続されている。
撮像素子22と導光路素子27とは接触して配置されているが、接触面に境界面での光反射を抑えるためのマッチングオイルを塗布することで、光束の利用効率が向上してより良好な画質での撮像が可能となる。
この場合には、導光路素子27は、撮像面を擬似的に導光路素子27の空間光変調素子21側の面に縮小して、撮像素子22を擬似的に高解像度化するため、特に撮像素子22の解像度が粗い場合には、より高解像度の画像を得る。
図1に示した撮像装置1との差異について説明する。第1の変形例における撮像モジュール2を有する構成においては、擬似的な撮像面が導光路素子27の入射面、すなわち導光路素子27の空間光変調素子21側の面に位置しており、実際の撮像面よりも画素ピッチが拡大されている。
したがって、結像光学系3は、その結像面たる画像形成領域であるイメージサークルを、擬似的な撮像面よりも大きく設定する必要がある。この結像光学系3にかかる制約を満たせば、その他の撮像装置1の構成は図1に示すものと同様であり、様々なカメラ、レンズ交換型のカメラに利用してもよい。
ウェハ接合技術としては、ガラスフリット接合や金属による共晶接合などを用いても良い。
さらにこの構成例において、空間光変調素子21はSi熱酸化によるガラス化を用いて作成してもよい。このような構成とすることで、撮像モジュール2をシリコンプロセスのみで製作し、量産コストを低減しながらも、精度が向上する。
従って、空間光変調素子21と撮像素子22との間の電気的な接続は、例えばシリコン貫通ビア(TSV、Through-Silicon via)等の貫通配線26とすることが望ましい。
貫通配線26により、配線実装時の破損等の可能性を低減するとともに、空間光変調素子21や撮像素子22と、これらを制御する基板と、配線との干渉を防止ないしは低減し、実装形態による制約を受けずに空間情報を含んだ画像情報を得られる。
空間光変調素子21と撮像素子22とを一体化することに併せて、貫通配線26によって最短経路で電気的な接続を行うことにより、周期的に空間光変調素子21の透過率を変化させる際のノイズを低減ないしは抑止して、より高精度な画像情報を得られる。
このような構成によれば、透明部材に接合した状態で空間光変調素子21を加工することで、空間光変調素子21の厚みを薄くして、撮像モジュール2の小型化が図れる。
なお、図8に示すようにギャップ規定部材24と撮像素子22の間に、ガラスフリット材料で構成された接合部材241を配設するとしても良い。
このような構成により、撮像装置1が小型化可能になる。
2 撮像モジュール
3 結像光学系
4 ミラー
6 ファインダー
7 絞り
8 シャッター
9 制御部(素子駆動部)(画像特性解析手段)
12 復号処理手段
13 ロジック回路
21 空間光変調素子
22 撮像素子
23 固定部
24 ギャップ規定部材
25 配線
26 貫通配線
27 導光路素子
28 光検出器アレイ
29 支持構造体
30 結像用レンズ群
241 接合部材
Claims (9)
- 入射した光束に空間的な変調を付与して出射する空間光変調素子と、
前記空間光変調素子によって空間的な変調を付与された光束を画像情報として取得する撮像素子と、
前記空間光変調素子と前記撮像素子とを一体化して固定する固定部とを有し、
前記固定部は、前記空間光変調素子と前記撮像素子との間に配置されて一定の間隔のギャップ構造を形成するギャップ規定部材を有する撮像モジュール。 - 請求項1に記載の撮像モジュールにおいて、
前記固定部は、一方の面から入射した光束を他方の面へ誘導するための導光路素子を有し、
前記導光路素子は、前記撮像素子と前記空間光変調素子との間に、前記空間光変調素子との間に一定の間隔を持つよう固定して配置され、前記一方の面の開口面積と前記他方の面の開口面積とが異なることを特徴とする撮像モジュール。 - 請求項1又は2に記載の撮像モジュールにおいて、
前記空間光変調素子と、前記撮像素子との少なくとも一方を貫いて電気的に接続する貫通配線を有することを特徴とする撮像モジュール。 - 請求項1乃至3の何れか1つに記載の撮像モジュールにおいて、
前記空間光変調素子は、液体を収容可能な微細空孔構造体と、電気的な信号により前記微細空孔構造体内部の前記液体の量を調整して光の透過率を制御する透過率制御手段とを有することを特徴とする撮像モジュール。 - 請求項1乃至3の何れか1つに記載の撮像モジュールにおいて、
前記空間光変調素子は、透過型の液晶デバイスであることを特徴とする撮像モジュール。 - 請求項1乃至5の何れか1つに記載の撮像モジュールと、前記撮像素子上に画像を形成する結像光学系とを有する撮像装置。
- 請求項6に記載の撮像装置において、
前記変調を周期的に変化させるために前記空間光変調素子を駆動する素子駆動部と、
前記画像情報から、前記変調を取り除いて画像を再構成する復号処理手段と、を有することを特徴とする撮像装置。 - 請求項7に記載の撮像装置において、
前記素子駆動部は、複数の周期の異なる正弦波形を重ね合わせた空間透過率分布を用いて前記変調を付与することを特徴とする撮像装置。 - 請求項7又は8に記載の撮像装置において、
前記素子駆動部は、前記画像情報を解析する画像特性解析手段による解析結果に基づいて前記変調を周期的に変化させることを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018240973A JP6737325B2 (ja) | 2018-12-25 | 2018-12-25 | 撮像モジュール及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018240973A JP6737325B2 (ja) | 2018-12-25 | 2018-12-25 | 撮像モジュール及び撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014003637A Division JP2015133594A (ja) | 2014-01-10 | 2014-01-10 | 撮像モジュール及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019062571A true JP2019062571A (ja) | 2019-04-18 |
JP6737325B2 JP6737325B2 (ja) | 2020-08-05 |
Family
ID=66178689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018240973A Active JP6737325B2 (ja) | 2018-12-25 | 2018-12-25 | 撮像モジュール及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6737325B2 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0461379A (ja) * | 1990-06-29 | 1992-02-27 | Kuraray Co Ltd | 撮像素子の製造方法 |
JPH0730793A (ja) * | 1993-07-13 | 1995-01-31 | Hitachi Ltd | 画像撮影装置 |
JPH08294059A (ja) * | 1995-04-21 | 1996-11-05 | Canon Inc | 撮像装置 |
JP2003512113A (ja) * | 1999-10-18 | 2003-04-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 吸収率が調整可能なフィルタ素子を有するフィルタを具えたx線装置 |
JP2004184447A (ja) * | 2002-11-29 | 2004-07-02 | Olympus Corp | 光アドレス型空間光変調器及びそれを用いた顕微鏡装置 |
JP2006243667A (ja) * | 2005-03-07 | 2006-09-14 | Ricoh Co Ltd | 光学素子及び光学素子を用いた装置 |
JP2008542863A (ja) * | 2005-05-23 | 2008-11-27 | キネテイツク・リミテツド | 符号化開口画像システム |
JP2010025927A (ja) * | 2008-07-18 | 2010-02-04 | Mitsubishi Electric Research Laboratories Inc | 物体の3d形状を求める装置および方法 |
JP2012039261A (ja) * | 2010-08-04 | 2012-02-23 | Panasonic Corp | 固体撮像装置、撮像装置 |
-
2018
- 2018-12-25 JP JP2018240973A patent/JP6737325B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0461379A (ja) * | 1990-06-29 | 1992-02-27 | Kuraray Co Ltd | 撮像素子の製造方法 |
JPH0730793A (ja) * | 1993-07-13 | 1995-01-31 | Hitachi Ltd | 画像撮影装置 |
JPH08294059A (ja) * | 1995-04-21 | 1996-11-05 | Canon Inc | 撮像装置 |
JP2003512113A (ja) * | 1999-10-18 | 2003-04-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 吸収率が調整可能なフィルタ素子を有するフィルタを具えたx線装置 |
JP2004184447A (ja) * | 2002-11-29 | 2004-07-02 | Olympus Corp | 光アドレス型空間光変調器及びそれを用いた顕微鏡装置 |
JP2006243667A (ja) * | 2005-03-07 | 2006-09-14 | Ricoh Co Ltd | 光学素子及び光学素子を用いた装置 |
JP2008542863A (ja) * | 2005-05-23 | 2008-11-27 | キネテイツク・リミテツド | 符号化開口画像システム |
JP2010025927A (ja) * | 2008-07-18 | 2010-02-04 | Mitsubishi Electric Research Laboratories Inc | 物体の3d形状を求める装置および方法 |
JP2012039261A (ja) * | 2010-08-04 | 2012-02-23 | Panasonic Corp | 固体撮像装置、撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6737325B2 (ja) | 2020-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3092788B1 (en) | Imaging device | |
US9973680B2 (en) | Auto-focus in low-profile folded optics multi-camera system | |
JP5842146B2 (ja) | 固体撮像装置、撮像装置、及び分光素子 | |
KR101334219B1 (ko) | 3차원 적층구조의 이미지센서 | |
JP6580578B2 (ja) | カメラ装置 | |
US20150109518A1 (en) | Detection apparatus, image pickup apparatus, image pickup system, and control method of the detection apparatus | |
JP5028048B2 (ja) | 撮像装置 | |
JP6729960B2 (ja) | カメラモジュール調整装置及びカメラモジュール調整方法 | |
JP4532968B2 (ja) | 焦点検出装置 | |
JP6737325B2 (ja) | 撮像モジュール及び撮像装置 | |
JP5220375B2 (ja) | 撮像装置及びそれを有する撮像機器 | |
WO2019176209A1 (ja) | 固体撮像装置 | |
JP6082212B2 (ja) | 撮像素子及びそれを用いた測距装置 | |
JP6572559B2 (ja) | 光変調素子、撮像装置及び画像投影装置 | |
JP2016177195A (ja) | マイクロレンズ基板及び撮像装置 | |
US9912854B2 (en) | Imaging module and imaging apparatus | |
JP2016046564A (ja) | 撮像装置 | |
JP6757123B2 (ja) | 光機能膜の製造方法、空間光変調素子の製造方法、光機能膜及び空間光変調素子 | |
WO2019180813A1 (ja) | 受光装置および送受光装置 | |
JP2006186512A (ja) | 撮像装置 | |
US20160006964A1 (en) | Image capturing module for increasing assembly flatness and method of assembling the same | |
JP2012255992A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200629 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6737325 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |