JP2011130289A - 撮像装置および撮像方法 - Google Patents
撮像装置および撮像方法 Download PDFInfo
- Publication number
- JP2011130289A JP2011130289A JP2009288230A JP2009288230A JP2011130289A JP 2011130289 A JP2011130289 A JP 2011130289A JP 2009288230 A JP2009288230 A JP 2009288230A JP 2009288230 A JP2009288230 A JP 2009288230A JP 2011130289 A JP2011130289 A JP 2011130289A
- Authority
- JP
- Japan
- Prior art keywords
- information
- imaging
- optical system
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 242
- 230000003287 optical effect Effects 0.000 claims abstract description 218
- 238000012545 processing Methods 0.000 claims abstract description 108
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 26
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 36
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000012634 optical imaging Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 5
- 238000003705 background correction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Cameras In General (AREA)
Abstract
【解決手段】光電変換機能を有する複数の画素が配列された撮像素子20と、被写体からの光を撮像素子の各画素に導光する複数の光学系窓32C,32U,323B,32R,32Lを含む導光部30と、撮像素子の撮像情報を基に信号処理を行う信号処理部40と、を有し、信号処理部40は、撮像素子の撮像情報を基に被写体の距離情報を求め、距離情報を基に被写体の距離に応じた画像を生成する。
【選択図】図1
Description
このピンホールカメラの場合には、感光体の一点に到来する光は、ピンホールを通過してきたわずかな光でしかない。
したがって、光量が少なく、特に暗いところでの撮像を考えると実用的ではない。
そして、撮像レンズで取り込んだ被写体からの光を、撮像デバイスで電気信号に変換しやすいように光学系において光学的な処理を施す。その後、撮像デバイス102の光電変換側に導き、撮像デバイスによって光電変換して得られる電気信号に対して、後段の信号処理回路で所定の信号処理を施す(たとえば、非特許文献1参照)。
そのため、携帯電話などに組み込むに当たって、撮像装置の小型化、軽量化、低コスト化が強く求められているのが現状である。
すなわち、小型、軽量、低コストの撮像装置を組み込むことで、携帯電話などの小型携帯機器の小型化、軽量化、低コスト化に大きく寄与できることになる。
また、撮像レンズのシェーディングによって周辺光量が落ちる。さらに、広ダイナミックレンジの被写体を撮像すると、撮像デバイスの画素間の信号電荷量に大きな差異が生じ、この差異により撮像デバイスのダイナミックレンジを大きく設計する必要がある。
すなわち、多重光学系による結像において、同じ画像を平行移動したものを加算した画像を前提としたものは、その動作が確認されている。
この多重光学系撮像装置は、有限の距離にある被写体と無限遠点にある被写体が混在する被写体に関しては、所望の画像を再現する具体的な手法については明記されていない。
したがって、有限の距離にある被写体と多重光学系撮像装置との距離に関する情報に関しては何の処理も行わず、距離情報を算出することも考慮されていない。
アクティブ型撮像装置では、カメラ側から近赤外光などの光を被写体に照射してその反射光からの情報を検出してカメラと被写体との距離を算出する。
パッシブ型撮像装置では、被写体からの光の情報だけを基にカメラと被写体との距離を算出する。
すなわち、パッシブ型には、複数のカメラを用いるもの、複眼式撮像装置を用いるもの、マイクロレンズアレイを用いるもの、レンズそのものに特殊な加工を施すものなどが撮像装置の構造として提案されている。
これらの撮像装置の構造を活かした手法を構築することにより、撮像装置と被写体までの距離を算出することが可能であるものと推察される。
しかしながら、これら全てのパッシブ型撮像装置は、その撮像装置に使用している撮像素子の一つの画素には、一つの光学系からの入射光しか入射されないという状態となっている。
また、カメラ側から照射する光が被写体に届き、被写体からの反射光がカメラ側に届く情報を受光できるまでの距離しか距離情報を算出することができない。
また、複数のカメラの特性の差異が画質および距離の精度に悪影響を与え、カメラに求められるばらつきの範囲が厳しくなる。あるいは、ばらつきを補正するための信号処理が複雑になる。それらの結果コストが高くなる。
また、距離情報の精度を上げるには、主レンズの口径を大きく取る必要があり、主レンズが大きく重くなるとともに主レンズのコストが高くなる。主レンズを軽く小さく、コストを抑えようとすると、距離情報の精度が劣化する。
主レンズを軽く小さく、コストを抑えようとすると、距離情報の精度が劣化する。
なお、説明は以下の順序で行う。
1.多重光学系撮像装置の基本構成
2.信号処理の概要
3.信号処理の具体例
図1は、本発明の実施形態に係る多重光学系撮像装置の基本構成を示す概略構成図である。
図2は、本発明の実施形態に係る多重光学系撮像装置のシミュレーションモデルを示す簡略断面を示す図である。
ここで、多重光学系撮像装置10とは、複数の光学系と撮像素子と信号処理系を含む撮像装置であって、撮像素子の一つの画素への入射光が複数の光学系からの入射光により形成される撮像装置をいう。
本多重光学系撮像装置10は、無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合において、撮像情報から画像としての被写体情報と被写体までの距離情報の両方を算出する機能を有する。
この装置本体50の開口部には、たとえば矩形状のパッケージ51が配置されている。このパッケージ51は、装置本体50の開口部側の主面が開口しており、この開口部に遮光板52が配置されることによって暗箱が形成されている。
撮像素子20としては、CCD(Charge Coupled Device)イメージャに代表される電荷転送型撮像素子や、MOS(Metal Oxide Semiconductor)イメージャに代表されるXYアドレス型撮像素子などが適用される。
すなわち、撮像素子20は、複数の画素21が行列状に配列され、導光部30の光学系窓32を通して入射した光をその光量に応じた電気信号に画素単位で光電変換する。
撮像素子20は、素子の中央部に複数の画素21が配列されている有効画素領域(実際に撮像情報として用いられる画素部)22を有する。
撮像素子20は、たとえばタイミングジェネレータおよびをアナログ/デジタルコンバータ(ADC)を含むアナログフロントエンド部を有する。
タイミングジェネレータでは、撮像素子20の駆動タイミングを生成しており、ADCは、画素から読み出されるアナログ信号をデジタル信号に変換し、信号処理部40に出力する。
アパーチャーシート31に、複数(図1の例では5)の光学系窓32C,32U,32B,32R,32Lが形成されている。
光学系窓32Cはアパーチャーシート31の略中央部に形成されている。
光学系窓32Uは、中央の光学系窓32Cに対して図中の直交座標系におけるX方向プラス側の上部領域に所定間隔をおいて形成されている。
光学系窓32Bは、中央の光学系窓32Cに対して図中の直交座標系におけるX方向マイナスの下部領域に所定間隔をおいて形成されている。
光学系窓32Rは、中央の光学系窓32Cに対して図中の直交座標系におけるY方向プラス側の右部領域に所定間隔をおいて形成されている。
光学系窓32Lは、中央の光学系窓32Cに対して図中の直交座標系におけるY方向マイナス側の左領域に所定間隔をおいて形成されている。
基本的に、光学系窓は複数あって、撮像素子20の一つの画素21への入射光が複数の光学系窓からの入射光により形成され構成であればよい。したがって、光学系窓の数は本実施形態のように5個に限られるものではない。
光学系窓32C,32U,32B,32R,32Lは、その形状は、たとえばピンホールとして形成される場合、微小な径の穴形状にとなっている。
本実施形態の光学系窓32C,32U,32B,32R,32Lは、微小な径の穴形状であるが、被写体OBJ側面(前面)から撮像素子20との対向面(背面)に向かって径が徐々に大きくなるように形成されている。
また、中央に光学系窓32Cは、その径が周囲の光学系窓32U,32B,32R,32Lの径より大きく設定されており、より多くの光量が得られるように形成されている。
被写体OBJからの光は、複数の光学系窓32C,32U,32B,32R,32Lの各々を通過することで、ピンホール効果によって撮像素子20の撮像面上に被写体の情報として光学系窓の数だけ結像される。
これにより、撮像面全体では、結像された被写体の像の数、すなわち光学系窓32の数に応じた光量が得られる。
なお、同発明者による特許文献1にて開示されているように、光学系窓の構成は目的に応じて選択することができ、本実施形態に限られるものではない。
複数の光学系窓32が形成される遮光板52上の光学系窓成領域の広さについては、撮像素子20の有効画素部22の周縁部の画素にも中央部の画素と同程度の光のエネルギーを入射させるためには、撮像素子20の有効画素部22の広さよりも広い方がよい。
たとえば、光学系窓成領域の広さは、有効画素部22に対して面積比で9倍程度の広さにするのが好ましい。
たとえば、有効画素部22が3mm(水平)×3mm(垂直)の撮像素子で、L=3mmの場合、画角を90度にすると、遮光板52上の穴形成領域を有効画素部22に対して9倍の面積に設定する。これにより、有効画素部22の全ての画素に入射する光のエネルギーをほぼ均一にすることができる。
このため、光学系窓32の数を適当に設定することによって必要な光量を得ることができる。
ただし、撮像面上には、被写体情報の各々が光学系窓32のピッチに応じたずれ量だけ相互にずれて結像されることになる。
この撮像面上に結像された各被写体情報間のずれは、信号処理部40での信号処理によって補正される。この信号処理の詳細については後述する。
撮像素子20の後段には、信号処理部40が接続されている。
この信号処理部40は、撮像素子20から出力される電気信号に対して、複数の光学系窓32C,32U,32B,32R,32L各々を通して撮像素子20の受光面に導かれた各被写体の情報を基に所望の信号処理を行う。
信号処理部40は、被写体OBJの距離情報を算出する機能を有し、この距離情報を基に、被写体OBJとの距離に応じて非合焦画像と合焦画像とを作成する機能を有する。
本多重光学系撮像装置10は、無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合において、撮像情報IFIMGから画像としての被写体情報IFOBJと被写体までの距離情報zの両方を算出する機能を有する。
なお、以下の説明では、光学系窓を単に光学系と呼ぶこととする。
一つ目は行列を求める手法により分類する方法である。この方法は2種類ある。
二つ目は多重光学系による撮像情報の数による分類する方法である。この方法は3種類ある。
この場合、たとえば画素、および、画素領域に関して多重光学系の各光学系の位置に基づく相関性から行列の要素を選定していく方法が採用可能である。
あるいは、あらかじめ、距離に応じた行列を複数用意しておき、それらを用いた算出画像とリファレンス(Reference)画像との相関性から、行列の要素を選定していく方法を採用可能である。
[多重光学系による撮像情報の数による分類]
この場合、たとえば多重光学系撮像装置10によるひとつの撮像情報だけから求める方法を採用可能である。
あるいは、多重光学系による撮像情報に加え、多重光学系を構成している中央の光学系による撮像情報も取得して求める方法を採用可能である。
あるいは、多重光学系による撮像情報に加え、多重光学系を構成している複数の光学系による独立した撮像情報を取得して求める方法を採用可能である。
この場合、中央の光学系による撮像情報をリファレンス情報として採用する。
または、多重光学系による複数の撮像情報をリファレンス情報として採用する。
相関距離処理部43は、相関が最大となる点を2次元情報と被写体までの距離のそれぞれにおいて求める機能を有する。
演算処理部44は、得られた個々の光学系の画像を加算し、多重光学系を用いて得られる画像を算出する機能を有する。
ここで得られた画像情報は、相関距離処理部43において、最初から撮像によって得られている画像との相関がとられ、この相関がたとえば100%近くになるまで、規定回数だけ、一連の演算処理等が行われる。
多重光学系撮像装置10は、被写体OBJとの距離との相関のあるデータを算出する機能を有する。
多重光学系撮像装置10において、被写体OBJとの距離に応じて左右の視差との相関のあるデータを算出する機能を有する。
多重光学系撮像装置10において、被写体OBJとの距離に応じたデータを基に左右の視差との相関のある画像を作成する機能を有する。
多重光学系撮像装置10において、被写体OBJとの距離に応じたデータを基に左右のみならず上下を含めた視点間差との相関のある画像を作成する機能を有する。
より具体的な複数の処理については、後で図面に関連付けて詳述する。
a.光学系から被写体OBJまでの距離に応じた逆関数(逆行列(視差補正行列))を用意しておく。
b.距離に応じた画像を算出する。たとえば主画像に逆関数をかけて距離に応じた画像を得る。
c.リファレンスデータとの差分を取る。リファレンスデータとしては、上述したように、中央の光学系のみ画像を取得しておく、または多重光学系により撮像情報をリファレンス情報として取得する。
d.差分量の相関性により距離値と各画素情報とを関連付ける。
e.距離に応じた画像処理を行い、所望の画像を算出する。
a.被写体OBJの距離(z)に応じた複数の2次元(xy)のロウデータ(Raw data)情報を多重光学系の位置情報・シェーディング(Shading)情報を用いて演算することにより得られた複数の情報と、リファンレス情報との差異検出を行う。
b.被写体OBJとの距離zにおいて、視差を補正する行列を用いて計算した画像データとリファレンスデータとの差分を取り、その相関性を確認する。
c.画素ごとの相関、領域ごとの相関も確認する。局所空間相関、全体相関などの情報を計算する。
演算結果の情報とリファンレスデータの差分を取ると、極小になる部分と差異が残っている部分がある。
d.差異が極小、即ち、相関が最大となる点を2次元(xy)情報と被写体までの距離(z)の それぞれにおいて求める。
e.xyzの3次元空間において相関が最大となる点を繋いでいくと合焦画像が得られる。
f.極小になった部分は、視差が無い画像である。その時に使用した行列の距離情報により、距離が判明する。
g.上記の極小の程度に関しては、多重光学系の数の空間分布の相関性の程度で判断する。
h.画素単位、領域ごとに距離情報を関連付ける。
i.ディフォーカス(Defocus)は画素加算を行い、視差情報に基づいた位置変換を行うなど所望の画像合成を行う。
次式は、多重光学系撮像装置10におけるアルゴリズムを相対的に示している。
以上、本実施形態に係る多重光学系撮像装置10の信号処理部40における信号処理の概要ついて説明した。
以下では、多重光学系撮像装置10の動作を、信号処理部40における有限距離被写体情報算出処理を中心に、複数の具体的例を示して説明する。
図4は、本実施形態に係る多重光学系撮像装置の第1の有限距離被写体情報算出処理を説明するためのフローチャートを示す第1図である。
図5は、本実施形態に係る多重光学系撮像装置の第1の有限距離被写体情報算出処理を説明するためのフローチャートを示す第2図である。
信号処理部40は、多重光学系撮像装置10の各光学系32C,32U,32B,32R,32Lの位置に基づいてシェーディング補正を行い(ST3)、補正された撮像情報の画素間の相関をとる(ST4〜ST15)。
この場合、1画素ずつずらしながらi画素までの画素相関をとり、それらの相関値を保存しておき、相関の最大値を検出して、画素ごとの距離を決定する。
なお、iは、例えば、視差から導き出される画素のずれ量を表す数値である。この例では整数値を取っている。必要に応じて各光学系の位置の差分に相当する数値や水平画素数、垂直画素数などを取る。
そして、相関の低い画素領域は多重光学系との位置との領域相関をとる(ST16〜ST27)
この場合、水平、垂直方向の領域における相関値を算出し、1画素ずつずらしながらi画素までの画素相関をとり、それらの相関値を保存しておき、相関の最大値を検出して、画素ごとの距離を決定する。このとき、領域相関の大きさで中央光学系による領域の位置を選定する。
次に、画素相関の程度により距離に応じた行列の要素を選定する(ST28)。
相関の低い画素領域は多重光学系の位置との領域相関をとる。
中央光学系32Cではない周辺光学系32U,32B,32R,32Lによる領域は、その周辺の行列の要素に設定する。
相関の低い画素領域に画素相関が高くなる方向の有限距離に対応する要素を設定する。
そして、行列を作成し(ST28)、逆行列を求める(ST29)。
撮像画像と逆行列から画像情報を作成する(ST30)。
作成した画像情報を基に、多重光学系の位置、および、シェーディング特性などを使用し、まず、多重光学系における個々の光学系による画像を作成する。
得られた個々の光学系32C,32U,32B,32R,32Lの画像を加算し、多重光学系を用いて得られる画像を算出する(ST31)。
ここで得られた画像情報と、最初から撮像によって得られている画像との相関を取る(ST32)。
ここで、相関が所定の閾値α%以上であれば(ST33)、処理を完了する。
繰り返し回数が規定以上であれば(ST34)、処理を終了する。
繰り返し回数が規定以上でない場合には、水平、垂直方向の領域を拡大して相関値を算出し(ST35)、ステップST17の処理に戻り繰り返す。
図6は、本実施形態に係る多重光学系撮像装置の第2の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。
中央の光学系32Cによる撮像情報をも取得し計算するので、第1例と比較すると計算時間が速い。
導光部30の中央の各光学系32Cを通して撮像素子20で撮像し(ST43)、そのロウデータを信号処理部40に供給する。信号処理部40は、入力されたロウデータは保存部に保存する(ST44)。
多重光学系の各光学系32C,32U,32B,32R,32Lの光学情報とステップST43で取得した中央の光学系32Cによる撮像情報を基に、画像処理を被写体との距離情報をパラメータとして算出する。
信号処理部40は、各光学系32(C〜L)の位置と各光学系のシェーディング特性に関して、ステップST41で取得した複数の光学系による撮像情報と等価な画像情報を、被写体との距離情報をパラメータにして算出する(ST45〜ST47)。
この場合、中央の光学系32Cによる撮像情報を基に、無限遠前提情報を算出する。そして、中央の光学系32Cによる撮像情報を基に、i画素ずつずらして、(i+1)画素までの画像情報を算出する。
被写体OBJとの距離情報をパラメータにして、上記得られた画像情報とステップST41で取得した撮像情報との相関を取る(ST48〜ST50)。
差が一番小さい位置、すなわち相関の最も大きいところを各画素の被写体情報における被写体までの距離とする(ST51,ST52)。
各光学系の位置、各光学系のシェーディング特性、各画素の距離情報の3種類の情報と取得した中央の光学系による撮像情報を基に、ステップST41で取得した複数の光学系による撮像情報と等価な画像情報を算出する。
以下では、第1例と同様の処理が行われる(図5参照)。
ここで得られた画像情報と上記ステップST41で取得した撮像情報との相関を取る。
あらゆる画素で相関が充分大きいことを確認し、距離情報に基づいた係数(行列)が求められたものと判断する。
そして、逆行列を求める。
撮像画像と逆行列から画像情報を作成する。
計算した画像情報を基に、多重光学系の位置、および、シェーディング特性などを使用し、まず、多重光学系における個々の光学系による画像を作成する。
得られた個々の光学系の画像を加算し、多重光学系を用いて得られる画像を算出する。
ここで得られた画像情報と、最初から撮像によって得られている画像との相関を取る。
相関が100%近くであれば、処理が完了する。
繰り返し回数が規定以上であれば、処理を終了する。
繰り返し回数が規定以上でない場合には、ステップST51、ST52の処理の戻り以降の処理を繰り返す。
図7は、本実施形態に係る多重光学系撮像装置の第3の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。
複数の光学系32(C〜L)による撮像情報をも取得して計算するので、第1例、第2例と比較すると計算時間が速い。
導光部30の中央の各光学系32Cを通して撮像素子20で撮像し(ST53)、そのロウデータを信号処理部40に供給する。信号処理部40は、入力されたロウデータは保存部に保存する(ST54)。
信号処理部40は、中央の各光学系32Cによる撮像情報に対してシェーディング補正を行い(ST55)、その画像情報を保存する(ST56)。
導光部30の各光学系32C,32U,32B,32R,32Lを通して撮像素子20で撮像し(ST57)、そのロウデータを信号処理部40に供給する。信号処理部40は、入力されたロウデータは保存部に保存する(ST58)。
信号処理部40は、複数の光学系それぞれの撮像情報を基に、それぞれシェーディング補正した画像情報を計算する(ST59)。
ステップST57で取得したそれぞれの光学系の画像情報を基に、被写体との距離情報をパラメータにして、それぞれの光学系32C,32U,32B,32R,32Lの画像情報を算出する(ST60〜ST62)。
この場合、ステップST59の撮像情報を基に、無限遠前提情報を算出する。そして、中央の光学系32Cによる撮像情報を基に、i画素ずつずらして、(i+1)画素までの画像情報を算出する。
被写体OBJとの距離情報をパラメータにして、上記得られた画像情報とステップST55で取得した中央の光学系32Cの画像情報との相関を取る(ST63〜ST65)。
差が一番小さい位置、すなわち相関の最も大きいところを各画素の被写体情報における被写体までの距離とする(ST66,ST67)。
以下では、第1例および第2例と同様の処理が行われる(図5参照)。
各画素に応じた距離情報に基づき、行列が求まる。
そして、逆行列を求める。
撮像画像と逆行列から画像情報を作成する。
計算した画像情報を基に、多重光学系の位置、および、シェーディング特性などを使用し、まず、多重光学系における個々の光学系による画像を作成する。
得られた個々の光学系の画像を加算し、多重光学系を用いて得られる画像を算出する。
ここで得られた画像情報と、最初から撮像によって得られている画像との相関を取る。
相関が100%近くであれば、処理が完了する。
繰り返し回数が規定以上であれば、処理を終了する。
繰り返し回数が規定以上でない場合には、ステップST66、ST67の処理の戻り以降の処理を繰り返す。
図8は、本実施形態に係る多重光学系撮像装置の第4の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。
すなわち、基本的処理の一例として示した、以下の基本処理を含んで行う。
a.光学系から被写体OBJまでの距離に応じた逆関数(逆行列(視差補正行列))を用意しておく。
b.距離に応じた画像を算出する。たとえば主画像に逆関数をかけて距離に応じた画像を得る。
c.リファレンスデータとの差分を取る。リファレンスデータとしては、上述したように、中央の光学系のみ画像を取得しておく、または多重光学系により撮像情報をリファレンス情報として取得する。
d.差分量の相関性により距離値と各画素情報とを関連付ける。
e.距離に応じた画像処理を行い、所望の画像を算出する。
第4例では、リファレンスデータとして、多重光学系により撮像情報(ロウデータ)をリファレンス情報として取得する。
第4例は、考え方は単純であり理解し易いが、全ての画素、全ての距離の計算をするので計算時間がかかる。
距離に応じた画像を算出する。主画像に逆関数をかけて距離に応じた画像を得る(ST73〜ST75)、それらの演算結果を保存する(ST76〜ST78)。
この場合、ステップST72の撮像情報を基に、無限遠点近似被写体用逆関数に演算を行い保存する(ST73,ST76)。
ステップST72の撮像情報を基に、有限距離(i)被写体用逆関数に演算を行い保存する(ST74,ST77)。
ステップST72の撮像情報を基に、有限距離(i+1)被写体用逆関数に演算を行い保存する(ST75,ST78)。
そして、各演算結果を基に、多重光学系関数による演算を行う(ST79〜ST81)。
多重光学系により撮像情報(ロウデータ)をリファレンス情報としてステップST79〜ST81の演算結果との差をとる(ST82〜ST84)。
その差が一番小さい位置、すなわち相関の最も大きいところを各画素の被写体情報における被写体までの距離とする(ST85,ST86)。
以下では、第1例、第2例、および第3例と同様の処理が行われる。
図9は、本実施形態に係る多重光学系撮像装置の第5の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。
第4例との違いは、リファレンスデータとしては、中央の光学系32Cのみ画像を取得し、ステップST79〜ST81の処理が省略されていることにある。
第5例は、考え方が単純であり理解し易く、リファレンスデータとして、中央の光学系32Cの画像を取得するので、第4例よりも計算時間が短い。
そして、中央の光学系32Cの撮像情報(ロウデータ)をリファレンス情報としてステップST79〜ST81の演算結果との差をとる(ST82〜ST84)。
その差が一番小さい位置、すなわち相関の最も大きいところを各画素の被写体情報における被写体までの距離とする(ST85,ST86)。
以下では、第1例、第2例、および第3例と同様の処理が行われる。
図11は、5つのピンホールである光学系32C,32U,32B,32R,32Lを通した撮像素子20による出力ロウデータの各撮像画像を示している。
図12は、5つのピンホールである光学系32C,32U,32B,32R,32Lを通した撮像素子20による出力ロウデータの信号処理後の画像を示している。
以下に示す画像は、被写体OBJとアパーチャーシート31との距離を無限遠点近似(5.4cm以上)したものである。また、アパーチャーシート31と撮像面との距離を200μm、アパーチャーシート31における光学系窓間の距離を270μm、画素ピッチ10μmとした場合である。
図14は、撮像装置10と被写体の両方に向かって正立した位置関係で右側光学系32Rによる被写体画像を示している。
図15は、撮像装置10と被写体の両方に向かって正立した位置関係で左側光学系32Lによる被写体画像を示している。
図16は、撮像装置10と被写体の両方に向かって正立した位置関係で上側光学系32Uによる被写体画像を示している。
図17は、撮像装置10と被写体の両方に向かって正立した位置関係で下側光学系32Bによる被写体画像を示している。
すなわち、多重光学系を使用して撮像装置と被写体との距離情報を算出する本実施形態に係る撮像装置は、パッシブ型であるため、アクティブ型に必要な撮像装置側から被写体に向けて照射する近赤外光などの照射装置が不要である。
その結果、撮像装置全体の小型化、低コスト化が実現できる。
被写体からの光が撮像装置に入射し、受光できれば距離情報を算出できるので、近距離から無限遠までの距離を算出することができる。
まず、複数のカメラを使用して距離情報を算出する装置および方式で問題となる装置がおおがかりになり、高コスト化に関しては、本実施形態では一つの多重光学系撮像装置で距離情報を算出できるので、装置全体が小型になり、低コストになる。
また、一つの多重光学系撮像装置で良いので、ばらつきは小さくなり、撮像装置に必要なばらつき仕様は緩くなる。ばらつきを補正するための信号処理も相対的に複雑ではなく、それらの結果、低コストとなる。
したがって、多重光学系撮像装置を使用した距離情報算出装置は、高解像度を実現することができる。
したがって、多重光学系撮像装置を使用した距離情報算出装置は、高解像度が実現でき、距離情報の精度は、多重光学系の距離を大きく取ることにより高くできるので、大口径の主レンズを使用する必要がなく、主レンズの小型化と低コスト化を図ることができる。
したがって、大口径の主レンズを使用する必要がなく、レンズの小型化と低コスト化を図ることができる。
Claims (20)
- 光電変換機能を有する複数の画素が配列された撮像素子と、
被写体からの光を上記撮像素子の各画素に導光する複数の光学系窓を含む導光部と、
上記撮像素子の撮像情報を基に信号処理を行う信号処理部と、を有し、
上記信号処理部は、
上記撮像素子の撮像情報を基に被写体の距離情報を求め、当該距離情報を基に被写体の距離に応じた画像を生成する
撮像装置。 - 上記信号処理部は、
上記距離情報を基に、合焦画像および非合焦画像の少なくともいずれかを生成する
請求項1記載の撮像装置。 - 上記信号処理部は、
無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合に、上記撮像情報から被写体の画像情報と被写体までの距離情報を取得する
請求項1または2記載の撮像装置。 - 上記信号処理部は、
画素および画素領域に関して、上記複数の光学系窓の各光学系窓の形成位置に基づく相関性から行列の要素を選定して距離情報を決定する
請求項3記載の撮像装置。 - 上記信号処理部は、
上記複数の光学系窓による一つの撮像情報を画像情報の作成に適用する
請求項4記載の撮像装置。 - 上記複数の光学系窓は、ひとつが中央に位置するように配置され、
上記信号処理部は、
上記複数の光学系窓による複数の撮像情報に加えて、上記中央に位置する光学系窓の撮像情報をも取得して画像情報の作成に適用する、あるいは上記中央に位置する光学系窓の撮像情報に加えて、上記複数の光学系窓による複数の撮像情報をも取得して画像情報の作成に適用する
請求項4記載の撮像装置。 - 上記信号処理部は、
あらかじめ距離に応じた行列が複数用意され、当該行列と撮像情報から画像情報を作成し、当該画像情報とリファレンス画像との相関性から行列の要素を選定して距離情報を決定する
請求項3記載の撮像装置。 - 上記リファレンス画像データは、上記複数の光学系窓によるロウデータである
請求項7記載の撮像装置。 - 上記リファレンス画像データは、上記複数の光学系窓のうちの一つの光学系窓によるロウデータである
請求項7記載の撮像装置。 - 上記信号処理部は、
上記選定した行列に関する関数と撮像情報から画像情報を作成し、当該画像情報を基に、少なくとも各光学系窓の位置情報を適用して各光学系窓の画像を作成し、各光学系窓の画像を加算して画像を作成する
請求項3から9のいずれか一に記載の撮像装置。 - 上記信号処理部は、
上記加算して得られた画像情報と当初に取得した画像情報との相関をとり、当該相関値が規定値以上になるまで処理を所定回数繰り返す
請求項10記載の撮像装置。 - 被写体からの光を、光電変換機能を有する複数の画素が配列された撮像素子の各画素に複数の光学系窓を通して導光する導光ステップと
上記撮像素子の撮像情報を基に信号処理を行う信号処理ステップと、を有し、
上記信号処理ステップは、
上記撮像素子の撮像情報を基に被写体の距離情報を求め、当該距離情報を基に被写体の距離に応じた画像を生成する
撮像方法。 - 上記信号処理ステップは、
上記距離情報を基に、合焦画像および非合焦画像の少なくともいずれかを生成する
請求項12記載の撮像方法。 - 上記信号処理ステップは、
無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合に、上記撮像情報から被写体の画像情報と被写体までの距離情報を取得する
請求項12または13記載の撮像方法。 - 上記信号処理ステップは、
画素および画素領域に関して、上記複数の光学系窓の各光学系窓の形成位置に基づく相関性から行列の要素を選定して距離情報を決定する
請求項14記載の撮像方法。 - 上記信号処理部は、
上記複数の光学系窓による一つの撮像情報を画像情報の作成に適用する
請求項15記載の撮像方法。 - 上記複数の光学系窓は、ひとつが中央に位置するように配置され、
上記信号処理ステップは、
上記複数の光学系窓による複数の撮像情報に加えて、上記中央に位置する光学系窓の撮像情報をも取得して画像情報の作成に適用する、あるいは、上記中央に位置する光学系窓の撮像情報に加えて、上記複数の光学系窓による複数の撮像情報をも取得して画像情報の作成に適用する
請求項15記載の撮像方法。 - 上記信号処理ステップは、
あらかじめ距離に応じた行列が複数用意され、当該行列と撮像情報から画像情報を作成し、当該画像情報とリファレンス画像との相関性から行列の要素を選定して距離情報を決定する
請求項14記載の撮像方法。 - 上記リファレンス画像データは、上記複数の光学系窓によるロウデータ、あるいは上記複数の光学系窓のうちの一つの光学系窓によるロウデータである
請求項18記載の撮像方法。 - 上記信号処理ステップは、
上記選定した行列に関する関数と撮像情報から画像情報を作成し、当該画像情報を基に、少なくとも各光学系窓の位置情報を適用して各光学系窓の画像を作成し、各光学系窓の画像を加算して画像を作成する
請求項14から19のいずれか一に記載の撮像方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009288230A JP5446834B2 (ja) | 2009-12-18 | 2009-12-18 | 撮像装置および撮像方法 |
US12/926,182 US8817121B2 (en) | 2009-12-18 | 2010-10-29 | Image apparatus and imaging method |
TW099138739A TW201143383A (en) | 2009-12-18 | 2010-11-10 | Imaging apparatus and imaging method |
KR1020100116720A KR20110070780A (ko) | 2009-12-18 | 2010-11-23 | 촬상 장치 및 촬상 방법 |
EP10194561A EP2357604A1 (en) | 2009-12-18 | 2010-12-10 | Imaging apparatus and imaging method |
CN2010105874456A CN102104715A (zh) | 2009-12-18 | 2010-12-13 | 成像装置和成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009288230A JP5446834B2 (ja) | 2009-12-18 | 2009-12-18 | 撮像装置および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011130289A true JP2011130289A (ja) | 2011-06-30 |
JP5446834B2 JP5446834B2 (ja) | 2014-03-19 |
Family
ID=43661906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009288230A Expired - Fee Related JP5446834B2 (ja) | 2009-12-18 | 2009-12-18 | 撮像装置および撮像方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8817121B2 (ja) |
EP (1) | EP2357604A1 (ja) |
JP (1) | JP5446834B2 (ja) |
KR (1) | KR20110070780A (ja) |
CN (1) | CN102104715A (ja) |
TW (1) | TW201143383A (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201245768A (en) | 2011-03-29 | 2012-11-16 | Sony Corp | Image pickup apparatus, image pickup device, image processing method, aperture control method, and program |
US8803071B2 (en) | 2011-10-31 | 2014-08-12 | Nokia Corporation | Housing for an optical sensor with micro-windows and a light valve to prevent reflected light from escaping |
US9098941B2 (en) | 2012-01-23 | 2015-08-04 | Ayasdi, Inc. | Systems and methods for graphical layout |
US8830254B2 (en) | 2012-01-24 | 2014-09-09 | Ayasdi, Inc. | Systems and methods for graph rendering |
KR20130129645A (ko) * | 2012-05-21 | 2013-11-29 | 엘지전자 주식회사 | 다중 핀홀 카메라 및 그 동작 방법 |
CN104051488B (zh) * | 2013-03-14 | 2019-06-14 | 马克西姆综合产品公司 | 光学传感器 |
US9635351B2 (en) * | 2013-11-20 | 2017-04-25 | Infineon Technologies Ag | Integrated reference pixel |
US9258485B2 (en) * | 2014-03-24 | 2016-02-09 | Omnivision Technologies, Inc. | Image sensor cropping images in response to cropping coordinate feedback |
CN106791355B (zh) * | 2016-11-09 | 2019-07-02 | 清华大学 | 基于图像频域拼接的单像素成像方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05142465A (ja) * | 1991-11-15 | 1993-06-11 | Canon Inc | 焦点検出装置 |
JP2006087088A (ja) * | 2004-08-20 | 2006-03-30 | Sony Corp | 撮像装置および撮像方法 |
WO2008133957A1 (en) * | 2007-04-23 | 2008-11-06 | California Institute Of Technology | Single-lens, single-sensor 3-d imaging device with a central aperture for obtaining camera position |
JP2009165115A (ja) * | 2007-12-12 | 2009-07-23 | Sony Corp | 撮像装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7502178B2 (en) * | 2003-08-29 | 2009-03-10 | International Technology Center | Multiple wavelength and multiple field of view imaging devices and methods |
US7639293B2 (en) * | 2004-08-20 | 2009-12-29 | Sony Corporation | Imaging apparatus and imaging method |
US7767949B2 (en) * | 2005-01-18 | 2010-08-03 | Rearden, Llc | Apparatus and method for capturing still images and video using coded aperture techniques |
JP4143101B2 (ja) * | 2006-08-10 | 2008-09-03 | アドバンスド・マスク・インスペクション・テクノロジー株式会社 | 試料検査装置、画像位置合わせ方法、位置ずれ量推定方法及びプログラム |
CN101154379B (zh) * | 2006-09-27 | 2011-11-23 | 夏普株式会社 | 定位语音中的关键词的方法和设备以及语音识别系统 |
US7792423B2 (en) * | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
JP2009288230A (ja) | 2008-05-27 | 2009-12-10 | Takashi Kanayama | 揺れ振動測定方法 |
-
2009
- 2009-12-18 JP JP2009288230A patent/JP5446834B2/ja not_active Expired - Fee Related
-
2010
- 2010-10-29 US US12/926,182 patent/US8817121B2/en active Active
- 2010-11-10 TW TW099138739A patent/TW201143383A/zh unknown
- 2010-11-23 KR KR1020100116720A patent/KR20110070780A/ko not_active Application Discontinuation
- 2010-12-10 EP EP10194561A patent/EP2357604A1/en not_active Withdrawn
- 2010-12-13 CN CN2010105874456A patent/CN102104715A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05142465A (ja) * | 1991-11-15 | 1993-06-11 | Canon Inc | 焦点検出装置 |
JP2006087088A (ja) * | 2004-08-20 | 2006-03-30 | Sony Corp | 撮像装置および撮像方法 |
WO2008133957A1 (en) * | 2007-04-23 | 2008-11-06 | California Institute Of Technology | Single-lens, single-sensor 3-d imaging device with a central aperture for obtaining camera position |
JP2009165115A (ja) * | 2007-12-12 | 2009-07-23 | Sony Corp | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102104715A (zh) | 2011-06-22 |
EP2357604A1 (en) | 2011-08-17 |
KR20110070780A (ko) | 2011-06-24 |
US20110149100A1 (en) | 2011-06-23 |
JP5446834B2 (ja) | 2014-03-19 |
TW201143383A (en) | 2011-12-01 |
US8817121B2 (en) | 2014-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5446834B2 (ja) | 撮像装置および撮像方法 | |
JP5264131B2 (ja) | 撮像装置 | |
JP5854984B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
KR101725045B1 (ko) | 화상처리장치 및 그 제어방법 | |
CN101809994B (zh) | 摄像设备及其控制方法 | |
US9535193B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2013201752A5 (ja) | ||
JP6541275B2 (ja) | 電子回路用ギャップを伴う新規イメージングセンサを持つスキャンイメージングシステム | |
KR20140097465A (ko) | 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 구비한 촬상장치 | |
JP2014157425A (ja) | 撮像装置及びその制御方法 | |
KR20100002051A (ko) | 촬상 장치 및 촬상 방법 | |
JP2015169722A (ja) | 撮像装置 | |
JP2016208075A (ja) | 画像出力装置およびその制御方法、撮像装置、プログラム | |
RU2567438C1 (ru) | Устройство формирования изображений и способ управления им | |
JP2003283907A (ja) | 撮像装置 | |
JP6190119B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6362070B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP2013118472A (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
KR20210065939A (ko) | 합초도 검출 장치, 심도 맵 생성 장치, 및, 전자 기기 | |
JP2012147087A (ja) | 画像生成装置及び方法 | |
JP2017215500A (ja) | 画像処理装置、撮像装置、画像処理システム、画像処理装置の制御方法及びプログラム | |
JP2016096556A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2017139576A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP2021135725A (ja) | 画像処理装置及びその制御方法並びにプログラム | |
JP2013118514A (ja) | 撮像装置及び撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131216 |
|
LAPS | Cancellation because of no payment of annual fees |