JP2012065021A - Solid state imaging device - Google Patents
Solid state imaging device Download PDFInfo
- Publication number
- JP2012065021A JP2012065021A JP2010205638A JP2010205638A JP2012065021A JP 2012065021 A JP2012065021 A JP 2012065021A JP 2010205638 A JP2010205638 A JP 2010205638A JP 2010205638 A JP2010205638 A JP 2010205638A JP 2012065021 A JP2012065021 A JP 2012065021A
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- visible light
- optical system
- image
- state imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 132
- 239000007787 solid Substances 0.000 title abstract 5
- 230000003287 optical effect Effects 0.000 claims abstract description 52
- 239000000758 substrate Substances 0.000 claims abstract description 30
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 15
- 230000005540 biological transmission Effects 0.000 abstract description 11
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 239000004065 semiconductor Substances 0.000 description 8
- 238000000926 separation method Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 230000031700 light absorption Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 239000011347 resin Substances 0.000 description 4
- 229920005989 resin Polymers 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- WUKWITHWXAAZEY-UHFFFAOYSA-L calcium difluoride Chemical compound [F-].[F-].[Ca+2] WUKWITHWXAAZEY-UHFFFAOYSA-L 0.000 description 1
- 229910001634 calcium fluoride Inorganic materials 0.000 description 1
- 239000002612 dispersion medium Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
Abstract
Description
本発明の実施形態は、可視画像及び距離情報を同時取得する固体撮像装置に関する。 Embodiments described herein relate generally to a solid-state imaging device that simultaneously acquires a visible image and distance information.
2次元アレイ情報として奥行き方向距離を得ることができる撮像技術は、参照光を使用する技術、複数カメラを使用したステレオ測距技術など様々な方法が検討されている。特に近年は、民生用途での新たな入力デバイスとして比較的廉価な製品のニーズが高まっている。 As an imaging technique capable of obtaining a depth direction distance as two-dimensional array information, various methods such as a technique using a reference light and a stereo distance measuring technique using a plurality of cameras are being studied. In particular, in recent years, there has been an increasing need for relatively inexpensive products as new input devices for consumer use.
距離画像を間接的に取得する手法として、マイクロレンズを用いた撮像装置が知られている。この装置は、結像光学系と、撮像素子と、結像光学系と撮像素子の間に複数のマイクロレンズを有するマイクロレンズアレイが配置されている。結像光学系により、同一被写体点からレンズ開口絞り内部領域を通ってマイクロレンズアレイの面近傍に結像する光線群が、マイクロレンズによって、撮像素子の画素領域に再分配される。入射光線の分配は、マイクロレンズへの入射角の違いによってなされ、マイクロレンズへの入射角の違いは距離情報を反映する。よって、分配された光線群を各画素で取得した画素信号を画像処理することで、任意の距離に合焦した画像を再構成することができる。 As a method for indirectly acquiring a distance image, an imaging device using a microlens is known. In this apparatus, an imaging optical system, an imaging element, and a microlens array having a plurality of microlenses are arranged between the imaging optical system and the imaging element. By the imaging optical system, a light beam group that forms an image near the surface of the microlens array from the same subject point through the lens aperture stop inner region is redistributed to the pixel region of the image sensor by the microlens. The distribution of the incident light is made by the difference in the incident angle to the microlens, and the difference in the incident angle to the microlens reflects the distance information. Therefore, an image focused on an arbitrary distance can be reconstructed by performing image processing on a pixel signal obtained by using each pixel for the distributed ray group.
また、結像レンズ開口幅内の任意視点画像も再構成できるため、複数視点から三角測量の原理で、距離画像情報を算出することが可能である。一般的に、任意の複数視点から距離画像情報を算出する場合、距離分解能は結像系の焦点距離と視点間の離間距離に比例して向上する。 In addition, since an arbitrary viewpoint image within the aperture width of the imaging lens can be reconstructed, it is possible to calculate distance image information from a plurality of viewpoints based on the principle of triangulation. In general, when distance image information is calculated from a plurality of arbitrary viewpoints, the distance resolution is improved in proportion to the focal length of the imaging system and the separation distance between the viewpoints.
このような撮像装置では、縦方向(焦点距離方向)、横方向(レンズ開口方向)ともに光学系サイズと距離分解能がトレードオフとなる課題があり、カメラの小型化の阻害要因となっている。 In such an imaging apparatus, there is a problem that the optical system size and the distance resolution are traded off in both the vertical direction (focal length direction) and the horizontal direction (lens opening direction), which is an obstacle to miniaturization of the camera.
本発明が解決しようとする課題は、距離分解能を向上させることができるとともに薄型化が可能な固体撮像装置を提供することである。 The problem to be solved by the present invention is to provide a solid-state imaging device that can improve distance resolution and can be thinned.
本実施形態の固体撮像装置は、第1の面に設けられて外周部に開口を有する円板形状の平面反射板と、この第1の面に対向する第2の面にそれぞれが半径方向に沿って傾斜しかつ径が異なるように形成された複数の円環状領域に設けられた複数の反射板と、を備えている。また、この開口を介して入射した被写体からの光を、この複数の反射板とこの平面反射板との間で反射して中央部に向かって伝播させ、この中央部で結像させる結像光学系を有している。さらに、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えている。また、この結像光学系からの光を受光し画像データに変換する撮像素子と、この結像光学系とこの撮像素子との間に設けられた可視光透過基板と、この可視光透過基板のこの撮像素子側の面上に設けられこの複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイと、この撮像素子で取得された画像データを処理する画像処理部と、を含むこの結像光学系のこの第2の面の中央部に設けられた撮像素子モジュールを備えている。 In the solid-state imaging device according to the present embodiment, a disk-shaped flat reflector having an opening on the outer periphery provided on the first surface and a second surface facing the first surface are each in the radial direction. And a plurality of reflectors provided in a plurality of annular regions formed so as to be inclined and have different diameters. In addition, imaging optics that reflects light from the subject incident through the aperture, reflects the light between the plurality of reflecting plates and the flat reflecting plate, propagates toward the center, and forms an image at the center. Has a system. Furthermore, an imaging region having a plurality of pixel blocks each including a plurality of pixels is provided. An imaging element that receives light from the imaging optical system and converts it into image data, a visible light transmitting substrate provided between the imaging optical system and the imaging element, and the visible light transmitting substrate A microlens array having a plurality of microlenses provided on the surface on the imaging element side and corresponding to the plurality of pixel blocks; an image processing unit for processing image data acquired by the imaging element; An imaging element module provided at the center of the second surface of the imaging optical system.
本実施形態の固体撮像装置は、第1の面に設けられて外周部に開口を有する円板形状の平面反射板と、前記第1の面に対向する第2の面にそれぞれが半径方向に沿って傾斜しかつ径が異なるように形成された複数の円環状領域に設けられた複数の反射板と、を備え、前記開口を介して入射した被写体からの光を、前記複数の反射板と前記平面反射板との間で反射して中央部に向かって伝播させ、前記中央部で結像させる結像光学系と、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備え、前記結像光学系からの光を受光し画像データに変換する撮像素子と、前記結像光学系と前記撮像素子との間に設けられた可視光透過基板と、前記可視光透過基板の前記撮像素子側の面上に設けられ前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイと、前記撮像素子で取得された画像データを処理する画像処理部と、を含む前記結像光学系の前記第2の面の中央部に設けられた撮像素子モジュールと、を備えている。 In the solid-state imaging device according to the present embodiment, a disk-shaped flat reflector having an opening on the outer peripheral portion provided on the first surface and a second surface facing the first surface are each in the radial direction. A plurality of reflectors provided in a plurality of annular regions formed so as to be inclined and have different diameters, and light from a subject incident through the opening is provided with the plurality of reflectors. An imaging optical system that reflects between the flat reflector and propagates toward the central portion and forms an image at the central portion, and an imaging region having a plurality of pixel blocks each including a plurality of pixels, An imaging device that receives light from the imaging optical system and converts it into image data, a visible light transmission substrate provided between the imaging optical system and the imaging device, and the imaging of the visible light transmission substrate Corresponding to the plurality of pixel blocks provided on the element side surface Provided at the center of the second surface of the imaging optical system, including a microlens array having a plurality of microlenses arranged, and an image processing unit that processes image data acquired by the imaging device. And an image sensor module.
以下、図面を参照して本発明の実施の形態を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
(第1実施形態)
第1実施形態による固体撮像装置を図1に示し、この固体撮像装置に含まれる撮像素子モジュールを図2に示す。
(First embodiment)
A solid-state imaging device according to the first embodiment is shown in FIG. 1, and an imaging element module included in the solid-state imaging device is shown in FIG.
第1実施形態の固体撮像装置1は、被写体を結像面に結像する第1の結像光学系10と、撮像素子モジュール20とを備えている。
The solid-
第1の結像光学系10は、折り返し反射型光学構造に基づく反射型結像レンズによって構成されている。被写体から放射されて左右から入射した光100L、100Rを、レンズと空気間における光の屈折によってではなく、傾きを調整した反射板によって反射させ可視光透過部材中を伝播させることで、同一点からの放射光線100L、100Rを一点に集める光学系である。この第1の結像光学系10は、円板状の可視光透過部材12と、この可視光透過部材12の、被写体からの光が入射する第1の面に設けられた平面反射板14と、可視光透過部材12の、上記第1の面に対向する第2の面に設けられた複数(図では3個)の反射板16a、16b、16cとを備えている。
The first imaging
平面反射板12は、可視光透過部材12の第1の面の外周部領域13以外の領域を覆うように設けられており、第1の面の外周部領域13は、光線100L、100Rが入射する円環形状の開口部となっている。複数の反射板16a、16b、16cのそれぞれは、可視光透過部材12の第2の面に、径が異なる円環状領域に設けられるとともに、可視光透過部材12の半径方向に沿って傾斜するように設けられている。すなわち、可視光透過部材12の第2の面には、可視光透過部材12の半径方向に沿って傾斜するとともに径が異なる円環状領域の溝が形成され、これらの溝に、反射板16a、16b、16cを埋め込むことによって形成した構成となっている。なお、これらの溝は、旋盤加工ないしはエッチング工程などによって、設計された傾きに、同じ円周上は同一の高さを持つよう加工される。また、可視光透過部材12の第2の面の中央部に、撮像素子モジュール20が埋め込まれた構成となっている。なお、可視光透過部材12の第2の面は、反射板16a、16b、16cが設けられている領域と撮像素子モジュール20が設けられている領域とを除く領域には、可視光吸収部材17によって覆われている。このような構成とすることにより、第1の面に設けられた開口部13から入射した光100L、100Rは、反射板16a、16b、16cと、平面反射板12によって反射されて可視光透過部材12中を伝播し、撮像素子モジュール20に入射される。
The
撮像素子モジュール20は、半導体基板22上にフォトダイオードを有する複数の画素24が形成されるとともに、これらの画素24を駆動してこれらの画素24からの信号を読み出す駆動/読み出し回路(図示せず)が形成された撮像素子21を有している。画素24の上部には、pおよびqを自然数とするとき例えばp×q個の画素単位ごとに、もしくは画素ブロック24Aごとにカラーフィルタ26が形成される。カラーフィルタ26は、例えば赤、緑、青のベイヤー配列としても良い。このカラーフィルタ26の上部には、1画素ごとに画素集光用のマイクロレンズ28が形成されていてもよい。
In the
p×q個の画素からなる画素ブロック24Aは、p×qが大きいほど光線の視点数が増し、角度分解能が向上するが、その分、撮像素子21がa×b個の画素を有しているとすると、全体のマイクロレンズの個数は(a×b)/(p×q)個となるため、再構成された2次元画像の画素数(=(a×b)/(p×q))が小さくなり、2次元画像分解能が減少する。よって、角度分解能により影響を受ける距離精度、2次元画像の分解能は各々アプリケーションによって適切に設計されれば良い。
In the
また、カラーフィルタ26の上方に、複数のマイクロレンズ32aを有するマイクロレンズアレイ32が形成された、可視光を透過する可視光透過基板34が設けられている。可視光透過基板34の、マイクロレンズアレイ32が形成された側の面と反対側の面に透過層36が形成され、この透過層36の周囲に可視光反射層38が形成されている。撮像素子モジュール20に入射する光は透過層36、可視光透過板34、マイクロレンズアレイ32、マイクロレンズ28、カラーフィルタ26を通って、画素に入射される。なお、マイクロレンズアレイ32はガラス基板などの透明基板をエッチング加工したもの、または透明基板上に透明樹脂をモールド形成しレンズ形状を加工したもの、または透明基板上に透明感光性樹脂を塗布し、フォトリソグラフィーとその後の熱処理によってレンズ加工したものなどを用いることができる。なお、可視光反射層38には、例えば、可視光反射率の高いアルミニウム、銀などの金属材料からなる鏡面反射膜を用いることができる。
Further, a visible
なお、可視光透過基板34は、画素24が形成された撮像領域の周囲に設けられた樹脂材料のスペーサ9によって半導体基板22と接合される。なお、半導体基板22と可視光透過基板34とを接合する際の位置合わせは、合わせマーク等を基準にして行う。可視光透過基板34は、例えば不要な赤外光をカットする材料であっても良いし、赤外光をカットする膜が形成されていても良い。
The visible
また、半導体基板22には、画素24の読出し用電極パッド42が設けられ、この電極パッド42の下部には半導体基板22を貫通する貫通電極44が形成されている。そして半導体基板22は、貫通電極44およびバンプ46を介してチップ50と電気的に接続される。このチップ50には、撮像素子21を駆動するとともに、読み出された画像データを処理する画像処理回路が形成されている。
The
なお、半導体基板22、可視光透過基板34、およびチップ50の周囲には、不要な光を遮断するための光遮蔽カバー60が取り付けられる。そして、光遮蔽カバー60にチップ50と外部とを電気的に接続するモジュール電極62が設けられる。
A light shielding cover 60 for blocking unnecessary light is attached around the
本実施形態においては、マイクロレンズアレイ32は、第1の結像光学系10の焦点距離に配置される。また、マイクロレンズ32aと撮像素子21との間の距離は、マイクロレンズ32aの焦点距離分だけ離間される。
In the present embodiment, the
このように構成された本実施形態においては、第1の結像光学系10の外周から入射する、被写体からの入射光が、マイクロレンズ32aによって対応する画素ブロック24A内の画素に視差を有する光線群として分離して入射し、該当する画素ブロック24A内の画素信号を、画像処理回路において画像処理することで距離画像情報および可視画像を取得する。
In the present embodiment configured as described above, the light incident from the outer periphery of the first imaging
次に、第1の結像光学系10について説明する。まず、結像光学系10である、折り返し光学レンズについて説明する。折り返し光学レンズ10は、円形の高い可視光透過率を有する可視光透過部材12の第1の面に平面反射板14、第2の面に形成された複数の反射板16a、16b、16cと、を有する。図3に示すように、光は平面反射14が形成されていない外周部(開口)13から入射する。第1の面に設けられた平面反射板14と第2の面に設けられた複数の反射板16a、16b、16cとの間を繰り返し反射することで、一般的なガラス等で形成される屈折型結像レンズ群の光線軌跡を再現する。例えば、図4に示すように、凸レンズ74と凹レンズ75との2群の屈折型レンズを備え、光軸71上に位置する被写体点72から光線73が放射され、凸レンズ74を通って凹レンズ75に入射された後、結像点76で結像する光学系70を考える。この光学系70の場合、図5(a)に示すように、凸レンズ74に光線が入射する前に開口77を通過させる。
Next, the first imaging
凸レンズによる屈折は、図5(b)に示すように、平面反射板14の内側に向かって平面反射板14との厚みが厚くなるよう傾斜した反射板16によって再現できる。
As shown in FIG. 5B, refraction by the convex lens can be reproduced by the reflecting plate 16 inclined so that the thickness with the flat reflecting
また、凹レンズによる屈折は、図5(c)に示すように、平面反射板14の内側に向かって平面反射板14との厚みが薄くなるよう傾斜した反射板16によって再現できる。
Further, the refraction by the concave lens can be reproduced by the reflecting plate 16 inclined so that the thickness with the flat reflecting
また、光線の直線進行は、平行平板14、16の反射によって再現できる。円環状の開口部の外側から入射する光線の入射角(θ1)と、内側から入射する光線の入射角(θ3)においては、図5(e)に示すように、θ1>θ3のように異なるが、図5(d)に示すように、平行平板の反射ではこれらの角度も保持される。
Further, the linear progression of the light beam can be reproduced by the reflection of the
このように、平面反射板14と複数の反射板16a、16b、16cとによって、屈折型結像レンズ群の光線軌跡を再現することができる。その結果、図1に示す第1の結像光学系10のように、焦点距離に比較し、薄型の反射型光学系が構成できる
この際、結像は反射によってなされるため、屈折型で問題となるような屈折率の色分散が少ない。レンズ母材と空気の屈折率が異なる場合、レンズ母材への入射時、及びモジュールへの射出時に色分散が存在するが、複数レンズ群での屈折を利用した光学系よりは色収差が発生する機会は少ない。よって、色収差が抑えられることができる。ここでは、可視光透過部材12の片面(第1の面)のみに傾斜反射板16a、16b、16cが形成されているが、両面に反射板を設けるように構成してもよい。また、図では傾斜反射板は平板であるが、レンズ母材への入射時の色収差などを効果的に補正するため、曲率をもった傾斜としても良い。
In this way, the light ray trajectory of the refractive imaging lens group can be reproduced by the
折り返しレンズの母材となる可視光透過部材12としては、ガラス、合成石英、フッ化カルシウム等、光学プラスチック等を用いることができる。しかし、可視光透過部材12によって充填された構造ではなく、空洞が設けられており、第1、2の反射板で空洞間を反射しながら伝播する構造としても構わない。反射板14、16a、16b、16cには、可視光反射率の高い銀、アルミニウム、ステンレスなどの金属材料からなる反射膜を用いることができる。
As the visible
次に、第1の結像光学系10と、マイクロレンズアレイ32、および撮像素子の光学関係について説明する。
Next, the optical relationship between the first imaging
同一の被写体からの光は反射型結像レンズの円環型開口部13である外周から入射し、マイクロレンズアレイ32の各マイクロレンズ32aによって対応する画素ブロック24A内の画素24に視差を有する光線群として入射する。入射光線の画素24への分配は、マイクロレンズ32aへの入射角の違いによってなされ、マイクロレンズ32aへの入射角の違いは距離情報を反映する。画素ブロック24A内に形成される光強度分布は、図6に示すように、円環型の開口と相似形となる。
Light from the same subject enters from the outer periphery, which is the
次に、視差画像から距離を推定する方法について説明する。 Next, a method for estimating the distance from the parallax image will be described.
ここで、ある画素ブロック24A内の画素信号を画像処理することで距離画像情報および可視画像を取得する方法を説明する。
Here, a method of obtaining distance image information and a visible image by performing image processing on a pixel signal in a
分配された光線群によって画素ブロック24A内に形成された光強度分布を各画素で取得する。例えば、図7に示すように、円環型の開口82の両側から入射する被写体80の光線は、第1の視点、第2の視点のそれぞれからの光線86a、86bであり、結像光学系84への入射角度が距離によって異なる、いわゆる視差をもった光線である。図7に示すように、第1の視点、第2の視点の光線86a、86bは、結像光学系84によって同一点に集光されるが、集光後、マイクロレンズアレイ32のマイクロレンズ32aによって対応する画素ブロック24A内に再分配され、第1の視点の像88a、第2の視点の像88bとなり、それぞれ第1の視点、第2の視点からの光線を分離することができる。
The light intensity distribution formed in the
この各々の視点の像の光線強度画素信号を、マイクロレンズ毎(画素ブロック毎)に抽出し、つなぎ合わせた上で画像処理することで、任意の距離に合焦した画像を再構成することができる。また、結像レンズの開口幅内の任意の視点画像も再構成できるため、複数の視点から三角測量の原理で、距離画像情報を算出することが可能である。一般的に、任意の複数の視点から距離画像情報を算出する場合、距離分解能は結像系の焦点距離と視点間の離間距離に比例して向上する。 The light intensity pixel signal of each viewpoint image is extracted for each microlens (each pixel block), and after being connected, image processing is performed to reconstruct an image focused at an arbitrary distance. it can. In addition, since any viewpoint image within the aperture width of the imaging lens can be reconstructed, it is possible to calculate distance image information from a plurality of viewpoints by the principle of triangulation. In general, when distance image information is calculated from a plurality of arbitrary viewpoints, the distance resolution is improved in proportion to the focal length of the imaging system and the separation distance between the viewpoints.
次に、視差画像から距離を推定する際の精度について説明する。 Next, the accuracy when estimating the distance from the parallax image will be described.
一般的に、任意の複数の視点から距離画像情報を算出する場合、距離分解能は結像系の焦点距離と視点間の離間距離に比例して向上する。 In general, when distance image information is calculated from a plurality of arbitrary viewpoints, the distance resolution is improved in proportion to the focal length of the imaging system and the separation distance between the viewpoints.
2つのカメラ(右視点カメラ(r)、左視点カメラ(L))間で、ステレオマッチングにおいて距離Zは(1)式によって求められる。
また、距離分解能ΔZは(2)式によって決まる。
次に、視差画像から距離を推定する際の画像処理方法について説明する。 Next, an image processing method for estimating a distance from a parallax image will be described.
複数の視差画像から対応点を見つけ、視差量を算出する画像マッチング処理としては、例えば、2つの画像の類似度や相違度を調べる周知のテンプレートマッチング法を用いることができる(文献:ディジタル画像処理、ディジタル画像処理編集委員会監修、 CG−ARTS協会発行)。また、更に精密にずれ位置を求める際には、画素単位ごとに得られた類似度や相似度を連続なフィッティング関数等で補間し、フィッティング関数の鞍点を与えるサブピクセル位置を求めることで、更に高精度にずれ量を求めることができる。これらの方法は周知である(文献:ディジタル画像処理、ディジタル画像処理編集委員会監修、 CG−ARTS協会発行)。 As image matching processing for finding corresponding points from a plurality of parallax images and calculating the amount of parallax, for example, a well-known template matching method for examining the degree of similarity or difference between two images can be used (reference: digital image processing). , Supervised by the Digital Image Processing Editorial Board, published by the CG-ARTS Association). Further, when calculating the displacement position more precisely, by interpolating the similarity and similarity obtained for each pixel unit with a continuous fitting function or the like, by obtaining a subpixel position that gives the saddle point of the fitting function, The amount of deviation can be obtained with high accuracy. These methods are well known (literature: digital image processing, supervised by the Digital Image Processing Editing Committee, published by the CG-ARTS Association).
以上説明したように、本実施形態によれば、距離分解能を向上させることができるとともに薄型化が可能となる。 As described above, according to this embodiment, the distance resolution can be improved and the thickness can be reduced.
また、本実施形態によれば、円環型の入射開口より得られるマイクロレンズ下部の画素ブロック内の像は、同じく円環型であり、開口距離の離れた複数視点を処理することで、多視差画像の分離性能が向上する。 Further, according to the present embodiment, the image in the pixel block below the microlens obtained from the annular entrance aperture is also an annular shape, and a plurality of viewpoints separated by the aperture distance can be processed to obtain multiple images. Separation performance of parallax images is improved.
(第2実施形態)
第2実施形態による固体撮像装置を図8に示し、この固体撮像装置に含まれる撮像素子モジュールを図9に示す。
(Second Embodiment)
FIG. 8 shows a solid-state imaging device according to the second embodiment, and FIG. 9 shows an imaging element module included in the solid-state imaging device.
この第2実施形態の固体撮像装置1Aは、図1に示す固体撮像装置1において、撮像素子モジュール20を図9に示す撮像素子モジュール20Aに置き換えた構成となっている。撮像素子モジュール20Aは、図2に示す撮像素子モジュール20において、可視光反射層38を迷光吸収層37に置き換えた構成となっている。
The solid-
このように、構成された第2実施形態の固体撮像装置1Aにおいては、被写体から撮像装置1Aへ入射する入射光は、結像の過程では平面反射板14と反射板16a、16b、16cのみで反射され、撮像素子モジュール20Aに入射する。この場合、所望の光線以外の迷光反射を防止するため、撮像素子モジュール20Aへの入射窓(透過層36が形成された領域)以外の部分に入射した迷光は、迷光吸収層37によって吸収される。
As described above, in the solid-
迷光吸収層37とは、無反射、ないしは低反射黒色処理をした層を意味し、黒色顔料等を透過材料の母材を同程度の屈折率を持つ分散媒に分散させた塗料等で形成する。なお、第1実施形態で説明した可視光吸収部材17迷光吸収層37と同じ材料で形成することができる。
The stray
この第2実施形態も第1実施形態と同様に、距離分解能を向上させることができるとともに薄型化が可能となる。 As in the first embodiment, the second embodiment can improve the distance resolution and can be thinned.
また、本実施形態によれば、円環型の入射開口より得られるマイクロレンズ下部の画素ブロック内の像は、同じく円環型であり、開口距離の離れた複数視点を処理することで、多視差画像の分離性能が向上する。 Further, according to the present embodiment, the image in the pixel block below the microlens obtained from the annular entrance aperture is also an annular shape, and a plurality of viewpoints separated by the aperture distance can be processed to obtain multiple images. Separation performance of parallax images is improved.
(第3実施形態)
第3実施形態による固体撮像装置について図10を参照して説明する。図10は、第3実施形態による固体撮像装置1Bの斜視図である。この第3実施形態の固体撮像装置1Bは、図1または図3に示す固体撮像装置とは開口のみが異なっている。この第3実施形態においては、可視光透過部材12の第1の面に設けられる開口13aは、第1実施形態と異なり、円環状でかつ1個ではなく、円形状で複数個設けられた構成となっている。これらの複数の開口13aは、円周方向に設けられている。そして、これらの開口13aから、それぞれの視点方向からの被写体光が入射する。
(Third embodiment)
A solid-state imaging device according to the third embodiment will be described with reference to FIG. FIG. 10 is a perspective view of a solid-state imaging device 1B according to the third embodiment. The solid-state imaging device 1B according to the third embodiment is different from the solid-state imaging device shown in FIG. 1 or 3 only in the opening. In the third embodiment, unlike the first embodiment, the
同一の被写体からの光は反射型結像レンズの外周にある複数の開口13aから入射し、マイクロレンズによって対応する画素ブロック内の画素に視差を有する光線群として、画素ブロック内の各領域へ分離して入射する。入射光線の画素への分配は、マイクロレンズへの入射角の違いによってなされ、マイクロレンズへの入射角の違いは距離情報を反映する。画素ブロック内に形成される光強度分布は、図11に示すように、第1の結像レンズの開口と相似形となり、開口数と同数の光スポットが形成される。例えば、図10に示すように、第1の結像レンズの開口が円周上に8つ形成されていると、1つのマイクロレンズ32aの下部の光スポットは、図11に示すように8つの光スポットが円周状に配置された形となる。
Light from the same subject enters through a plurality of
この第3実施形態も第1実施形態と同様に、距離分解能を向上させることができるとともに薄型化が可能となる。 Similar to the first embodiment, the third embodiment can improve the distance resolution and can be thinned.
(第4実施形態)
第4実施形態による固体撮像装置を図12に示す。この第4実施形態の固体撮像装置1Cは、図1に示す第1実施形態において、撮像素子モジュール20を可視光透過部材12中に埋め込まないで、第1の結像光学系10の第2の面に接合された構成となっている。
(Fourth embodiment)
A solid-state imaging device according to the fourth embodiment is shown in FIG. The solid-
これにより、可視光透過部材12に撮像素子モジュール20を埋め込むための凹部の加工を施す必要がなく、折り返し光学レンズの加工が容易となる。
Thereby, it is not necessary to process the concave portion for embedding the
この第4実施形態も第1実施形態と同様に、距離分解能を向上させることができるとともに薄型化が可能となる。 As in the first embodiment, the fourth embodiment can improve the distance resolution and can be thinned.
また、本実施形態によれば、円環型の入射開口より得られるマイクロレンズ下部の画素ブロック内の像は、同じく円環型であり、開口距離の離れた複数視点を処理することで、多視差画像の分離性能が向上する。 Further, according to the present embodiment, the image in the pixel block below the microlens obtained from the annular entrance aperture is also an annular shape, and a plurality of viewpoints separated by the aperture distance can be processed to obtain multiple images. Separation performance of parallax images is improved.
以上説明したように、各実施形態によれば、結像光学系に反射型光学系を用いることで、距離分解能を向上させるため焦点距離の長い光学系を採用した場合でも光学系の薄型化を可能にする。また反射型光学系はレンズ口径が大きくなる傾向にあるが、レンズ口径長の増加は距離分解能向上に寄与するため、カメラの薄型化、および高精度化を同時に可能とする。また、反射型光学系の特徴として、色収差の少ない像が得られることから、視差画像の画像処理における対応点の探索精度が向上し、距離分解能の精度向上に寄与する。 As described above, according to each embodiment, by using a reflective optical system for the imaging optical system, the optical system can be thinned even when an optical system having a long focal length is used to improve the distance resolution. enable. In addition, although the reflection type optical system tends to have a large lens aperture, an increase in the lens aperture length contributes to an improvement in distance resolution, so that the camera can be made thin and highly accurate at the same time. In addition, as a characteristic of the reflection type optical system, an image with little chromatic aberration is obtained, so that the search accuracy of corresponding points in the image processing of parallax images is improved, and the accuracy of distance resolution is improved.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the invention described in the claims and equivalents thereof as well as included in the scope and gist of the invention.
1 固体撮像装置
1A 固体撮像装置
1B 固体撮像装置
1C 固体撮像装置
10 第1の結像光学系
12 可視光透過部材
13 開口
14 平面反射板
16a、16b、16c 反射板
17 可視光吸収部材
20 撮像素子モジュール
21 撮像素子
22 半導体基板
24 画素
24A 画素ブロック
26 カラーフィルタ
28 マイクロレンズ
32 マイクロレンズアレイ
32a マイクロレンズ
34 可視光透過基板
36 透過層
37 迷光吸収層
38 反射層
39 スペーサ樹脂
42 電極パッド
44 貫通電極
46 バンプ
50 チップ
60 光遮蔽カバー
62 モジュール電極
DESCRIPTION OF
Claims (8)
それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備え、前記結像光学系からの光を受光し画像データに変換する撮像素子と、前記結像光学系と前記撮像素子との間に設けられた可視光透過基板と、前記可視光透過基板の前記撮像素子側の面上に設けられ前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイと、前記撮像素子で取得された画像データを処理する画像処理部と、を含む前記結像光学系の前記第2の面の中央部に設けられた撮像素子モジュールと、
を備えていることを特徴とする固体撮像装置。 A disc-shaped flat reflector provided on the first surface and having an opening in the outer peripheral portion and a second surface facing the first surface are inclined along the radial direction and have different diameters. A plurality of reflectors provided in a plurality of annular regions formed on the substrate, and reflects light from a subject incident through the opening between the plurality of reflectors and the planar reflector. An imaging optical system that propagates toward the central portion and forms an image at the central portion;
An imaging device having an imaging region having a plurality of pixel blocks each including a plurality of pixels, receiving light from the imaging optical system and converting it into image data, and between the imaging optical system and the imaging device A visible light transmitting substrate provided on the imaging element, a microlens array having a plurality of microlenses provided on a surface on the imaging element side of the visible light transmitting substrate and corresponding to the plurality of pixel blocks, and An image processing module for processing image data acquired by the image sensor, and an image sensor module provided at a central portion of the second surface of the imaging optical system,
A solid-state imaging device comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010205638A JP5127899B2 (en) | 2010-09-14 | 2010-09-14 | Solid-state imaging device |
US13/039,504 US8502905B2 (en) | 2010-09-14 | 2011-03-03 | Solid-state imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010205638A JP5127899B2 (en) | 2010-09-14 | 2010-09-14 | Solid-state imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012065021A true JP2012065021A (en) | 2012-03-29 |
JP5127899B2 JP5127899B2 (en) | 2013-01-23 |
Family
ID=45806355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010205638A Expired - Fee Related JP5127899B2 (en) | 2010-09-14 | 2010-09-14 | Solid-state imaging device |
Country Status (2)
Country | Link |
---|---|
US (1) | US8502905B2 (en) |
JP (1) | JP5127899B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9207365B2 (en) | 2013-09-18 | 2015-12-08 | Kabushiki Kaisha Toshiba | Imaging lens and solid state imaging device |
US9257470B2 (en) | 2013-09-18 | 2016-02-09 | Kabushiki Kaisha Toshiba | Imaging lens and solid state imaging device |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5421207B2 (en) | 2010-08-25 | 2014-02-19 | 株式会社東芝 | Solid-state imaging device |
JP5254291B2 (en) | 2010-09-07 | 2013-08-07 | 株式会社東芝 | Solid-state imaging device |
JP5214754B2 (en) | 2011-02-25 | 2013-06-19 | 株式会社東芝 | Solid-state imaging device and portable information terminal |
JP5767929B2 (en) | 2011-09-27 | 2015-08-26 | 株式会社東芝 | Solid-state imaging device and portable information terminal device |
JP5591851B2 (en) | 2012-03-15 | 2014-09-17 | 株式会社東芝 | Solid-state imaging device and portable information terminal |
JP6189061B2 (en) | 2013-03-19 | 2017-08-30 | 株式会社東芝 | Solid-state imaging device |
US9077880B2 (en) * | 2013-09-17 | 2015-07-07 | Lite-On Technology Corporation | Image capturing module and image sensing unit thereof |
US9411136B2 (en) * | 2013-10-29 | 2016-08-09 | Lite-On Electronics (Guangzhou) Limited | Image capturing module and optical auxiliary unit thereof |
US9319608B2 (en) * | 2014-07-07 | 2016-04-19 | Lite-On Technology Corporation | Image capturing module for increasing assembly flatness and method of assembling the same |
KR102646437B1 (en) | 2016-11-25 | 2024-03-11 | 삼성전자주식회사 | Captureing apparatus and metohd based on multi lens |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004179736A (en) * | 2002-11-25 | 2004-06-24 | Kyocera Corp | Camera module and mounting apparatus of the camera module |
JP2009165115A (en) * | 2007-12-12 | 2009-07-23 | Sony Corp | Imaging device |
JP2010002233A (en) * | 2008-06-18 | 2010-01-07 | Ricoh Co Ltd | Compound eye image input device and distance measurement device using the same |
JP2010067624A (en) * | 2008-09-08 | 2010-03-25 | Sony Corp | Image sensor and imaging device |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4023189A (en) * | 1974-03-29 | 1977-05-10 | Varian Associates | Wide angle fundus illumination and photography apparatus |
EP1067427A3 (en) * | 1999-07-05 | 2001-03-14 | Konica Corporation | Strobe device for image capturing apparatus, camera and lens-fitted film unit, and reflector of strobe light |
JP2007515842A (en) | 2003-05-13 | 2007-06-14 | エクシード イメージング リミテッド | Optical method and system for improving resolution |
US7522341B2 (en) | 2005-07-12 | 2009-04-21 | Micron Technology, Inc. | Sharing of microlenses among pixels in image sensors |
DE102006031177A1 (en) | 2006-07-06 | 2008-01-10 | Carl Zeiss Microimaging Gmbh | Method and device for producing an image of a thin layer of an object |
JP4521561B2 (en) | 2006-12-19 | 2010-08-11 | レーザーテック株式会社 | Focus control method and phase shift amount measuring apparatus |
JP4967873B2 (en) | 2007-07-13 | 2012-07-04 | ソニー株式会社 | Imaging device |
JP4905326B2 (en) | 2007-11-12 | 2012-03-28 | ソニー株式会社 | Imaging device |
WO2010077625A1 (en) | 2008-12-08 | 2010-07-08 | Refocus Imaging, Inc. | Light field data acquisition devices, and methods of using and manufacturing same |
JP5515396B2 (en) | 2009-05-08 | 2014-06-11 | ソニー株式会社 | Imaging device |
JP5421207B2 (en) | 2010-08-25 | 2014-02-19 | 株式会社東芝 | Solid-state imaging device |
JP5254291B2 (en) | 2010-09-07 | 2013-08-07 | 株式会社東芝 | Solid-state imaging device |
-
2010
- 2010-09-14 JP JP2010205638A patent/JP5127899B2/en not_active Expired - Fee Related
-
2011
- 2011-03-03 US US13/039,504 patent/US8502905B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004179736A (en) * | 2002-11-25 | 2004-06-24 | Kyocera Corp | Camera module and mounting apparatus of the camera module |
JP2009165115A (en) * | 2007-12-12 | 2009-07-23 | Sony Corp | Imaging device |
JP2010002233A (en) * | 2008-06-18 | 2010-01-07 | Ricoh Co Ltd | Compound eye image input device and distance measurement device using the same |
JP2010067624A (en) * | 2008-09-08 | 2010-03-25 | Sony Corp | Image sensor and imaging device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9207365B2 (en) | 2013-09-18 | 2015-12-08 | Kabushiki Kaisha Toshiba | Imaging lens and solid state imaging device |
US9257470B2 (en) | 2013-09-18 | 2016-02-09 | Kabushiki Kaisha Toshiba | Imaging lens and solid state imaging device |
Also Published As
Publication number | Publication date |
---|---|
US8502905B2 (en) | 2013-08-06 |
US20120062771A1 (en) | 2012-03-15 |
JP5127899B2 (en) | 2013-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5127899B2 (en) | Solid-state imaging device | |
JP5421207B2 (en) | Solid-state imaging device | |
JP5375010B2 (en) | Imaging device | |
KR20190013888A (en) | Image pixel, image acquiring device, fingerprint acquiring device and display device | |
JP5507585B2 (en) | Method for manufacturing multiple micro optoelectronic devices and microoptoelectronic devices | |
JP2009524263A (en) | Image detection system and method of manufacturing the same | |
JP2011176715A (en) | Back-illuminated image sensor and imaging apparatus | |
US20160241840A1 (en) | Light-field camera | |
KR20150068778A (en) | Catadioptric light-field lens and image pickup apparatus including the same | |
US20140284746A1 (en) | Solid state imaging device and portable information terminal | |
JP2012058379A (en) | Solid-state image pickup device | |
JP2023168388A (en) | Lens array, imaging module, and imaging apparatus | |
US20150346582A1 (en) | Omnidirectional imaging device | |
KR102614907B1 (en) | Image sensor and method to produce image sensor | |
JP4532968B2 (en) | Focus detection device | |
TWI588980B (en) | Image sensor and image capture device | |
JP2013200367A (en) | Fresnel lens and optical detector | |
US10916575B2 (en) | Image sensor and method of manufacturing image sensor | |
JP6686349B2 (en) | Imaging module, imaging device | |
KR20170015108A (en) | Image sensor | |
JP7314659B2 (en) | Range finder and camera | |
JP2007010951A (en) | Focus detecting device and imaging apparatus | |
JP6589464B2 (en) | Imaging module, imaging device | |
JP5537687B2 (en) | Solid-state imaging device | |
JP2019133017A (en) | Lens sheet unit, imaging module, imaging device and method for producing lens sheet unit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121002 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121030 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151109 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |