JP2013157606A - Solid state imaging device - Google Patents
Solid state imaging device Download PDFInfo
- Publication number
- JP2013157606A JP2013157606A JP2013023676A JP2013023676A JP2013157606A JP 2013157606 A JP2013157606 A JP 2013157606A JP 2013023676 A JP2013023676 A JP 2013023676A JP 2013023676 A JP2013023676 A JP 2013023676A JP 2013157606 A JP2013157606 A JP 2013157606A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- color
- imaging
- imaging device
- solid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 133
- 239000007787 solid Substances 0.000 title abstract 2
- 230000003287 optical effect Effects 0.000 claims abstract description 37
- 230000002093 peripheral effect Effects 0.000 claims abstract description 10
- 239000000758 substrate Substances 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 22
- 239000004065 semiconductor Substances 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 9
- 238000002156 mixing Methods 0.000 abstract description 17
- 230000006866 deterioration Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 22
- 239000011347 resin Substances 0.000 description 11
- 229920005989 resin Polymers 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000002265 prevention Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000000206 photolithography Methods 0.000 description 5
- 239000000049 pigment Substances 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 125000006850 spacer group Chemical group 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 229920002120 photoresistant polymer Polymers 0.000 description 1
- 238000001020 plasma etching Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Landscapes
- Optical Filters (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明の実施形態は、可視画像及び距離情報を同時取得する固体撮像装置に関する。 Embodiments described herein relate generally to a solid-state imaging device that simultaneously acquires a visible image and distance information.
2次元アレイ情報として奥行き方向距離を得ることができる撮像技術は、参照光を使用する技術、複数カメラを使用したステレオ測距技術など様々な方法が検討されている。特に近年は、民生用途での新たな入力デバイスとして比較的廉価な製品のニーズが高まっている。 As an imaging technique capable of obtaining a depth direction distance as two-dimensional array information, various methods such as a technique using a reference light and a stereo distance measuring technique using a plurality of cameras are being studied. In particular, in recent years, there has been an increasing need for relatively inexpensive products as new input devices for consumer use.
そこで多眼で多数視差を得ることができ、かつ解像度低下を抑えるための構成として、結像レンズを持つ複眼構成の撮像装置が提案されている(例えば、非特許文献1参照)。この撮像装置は、例えば結像系レンズを有し、結像系レンズと撮像素子の中間に、再結像系光学系として複数光学系が配置される。例えば複数光学系としては、平面上に多数の微小レンズが形成されたマイクロレンズアレイなどが用いられる。各マイクロレンズの下部には複数の画素がその像を取得するため対応する位置に設けられている。結像レンズにおいて結像された像は、再結像マイクロレンズによって再度撮像素子へ結像し、その再結像した個眼像は、それぞれマイクロレンズの配置位置によって存在する視差の分、視点ずれした画像となる。多数のマイクロレンズから得られた視差画像群を画像処理することで、三角測量の原理にて被写体の距離推定が可能であり、またつなぎ合わせの画像処理を行うことによって、2次元画像として再構成することも可能である。被写体の距離推定のための画像処理の例としては、画像同士を比較し、被写体の同一点を撮像した部分を画像マッチング法などによって求める、汎用のステレオ画像処理を用いることができる。 Therefore, an imaging apparatus having a compound eye configuration that has an imaging lens has been proposed as a configuration that can obtain multiple parallaxes with multiple eyes and suppress a reduction in resolution (for example, see Non-Patent Document 1). This imaging apparatus has an imaging system lens, for example, and a plurality of optical systems are arranged as a re-imaging system optical system between the imaging system lens and the imaging device. For example, as a plurality of optical systems, a microlens array in which a large number of microlenses are formed on a plane is used. Below each microlens, a plurality of pixels are provided at corresponding positions to acquire the image. The image formed in the imaging lens is re-imaged on the image sensor by the re-imaging microlens, and the re-imaged single-eye image is shifted in viewpoint by the amount of parallax that exists depending on the position of the microlens The resulting image. By subjecting a group of parallax images obtained from a large number of microlenses to image processing, it is possible to estimate the distance of the subject based on the principle of triangulation, and to reconstruct it as a two-dimensional image by performing splicing image processing. It is also possible to do. As an example of image processing for estimating the distance of a subject, general-purpose stereo image processing that compares images and obtains a portion where the same point of the subject is imaged by an image matching method or the like can be used.
しかし、隣接するマイクロレンズ間の光混色が、視差画像群のマッチング精度を低下させるという問題がある。 However, there is a problem that light color mixing between adjacent microlenses reduces the matching accuracy of the parallax image group.
本発明の実施形態は、隣接するマイクロレンズ間の光混色を防止し、視差画像群のマッチング精度の低下を抑制することのできる固体撮像装置を提供する。 Embodiments of the present invention provide a solid-state imaging device that can prevent light color mixing between adjacent microlenses and suppress a decrease in matching accuracy of a parallax image group.
本実施形態の固体撮像装置は、半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体を結像面に結像する第1の光学系と、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像された像を、個々のマイクロレンズに対応する画素ブロックに再結像する第2の光学系と、前記第2の光学系側に前記複数のマイクロレンズに対応して設けられ、複数の第1の色フィルタを有する第1のフィルタと、前記撮像素子側に設けられ、前記第1のフィルタの前記複数の第1の色フィルタに対応する複数の第2の色フィルタを有する第2のフィルタと、同じ色の画素ブロック間で画像マッチング処理を行うことにより、前記被写体までの距離を求める処理部と、を備え、前記第1および第2のフィルタは、前記撮像領域の周辺部へいくほど、前記撮像領域の周辺方向へ前記第1および第2の色フィルタがずれるように構成されたことを特徴とする。 The solid-state imaging device according to the present embodiment includes an imaging element that includes an imaging region that is formed on a semiconductor substrate and includes a plurality of pixel blocks each including a plurality of pixels, and a first optical that images a subject on an imaging plane. A microlens array having a system and a plurality of microlenses provided corresponding to the plurality of pixel blocks, and the image formed on the imaging plane is re-converted into pixel blocks corresponding to the individual microlenses. A second optical system that forms an image; a first filter that is provided on the second optical system side corresponding to the plurality of microlenses, and that has a plurality of first color filters; A second filter having a plurality of second color filters corresponding to the plurality of first color filters of the first filter and performing an image matching process between pixel blocks of the same color A processing unit that obtains a distance to the subject, and the first and second color filters move toward the periphery of the imaging region in the peripheral direction of the imaging region. It is characterized by being configured to shift.
以下、図面を参照して実施形態を説明する。 Hereinafter, embodiments will be described with reference to the drawings.
本実施形態の固体撮像装置は、半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体を結像面に結像する第1の光学系と、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像された像を、個々のマイクロレンズに対応する画素ブロックに再結像する第2の光学系と、前記第2の光学系側に前記複数のマイクロレンズに対応して設けられ、複数の第1の色フィルタを有する第1のフィルタと、前記撮像素子側に設けられ、前記第1のフィルタの前記複数の第1の色フィルタに対応する複数の第2の色フィルタを有する第2のフィルタと、同じ色の画素ブロック間で画像マッチング処理を行うことにより、前記被写体までの距離を求める処理部と、を備えている。そして、前記第1および第2のフィルタは、前記撮像領域の周辺部へいくほど、前記撮像領域の周辺方向へ前記第1および第2の色フィルタがずれるように構成されている。 The solid-state imaging device according to the present embodiment includes an imaging element that includes an imaging region that is formed on a semiconductor substrate and includes a plurality of pixel blocks each including a plurality of pixels, and a first optical that images a subject on an imaging plane. A microlens array having a system and a plurality of microlenses provided corresponding to the plurality of pixel blocks, and the image formed on the imaging plane is re-converted into pixel blocks corresponding to the individual microlenses. A second optical system that forms an image; a first filter that is provided on the second optical system side corresponding to the plurality of microlenses, and that has a plurality of first color filters; A second filter having a plurality of second color filters corresponding to the plurality of first color filters of the first filter and performing an image matching process between pixel blocks of the same color And a, a processing unit for determining the distance to the object. The first and second filters are configured such that the first and second color filters are shifted in the peripheral direction of the imaging region as they go to the peripheral part of the imaging region.
(第1実施形態)
第1実施形態による固体撮像装置を図1に示す。
(First embodiment)
A solid-state imaging device according to the first embodiment is shown in FIG.
本実施形態の固体撮像装置においては、半導体基板2上にフォトダイオードを有する複数の画素4が形成されるとともに、これらの画素4を駆動してこれらの画素4からの信号を読み出す駆動/読み出し回路(図示せず)が形成された撮像素子を有している。画素4の上部には、pおよびqを自然数とするとき例えばp×q個の画素ブロックごとにカラーフィルタ6が形成される。このカラーフィルタ6の上部には、1画素ごとに画素集光用のマイクロレンズ8が形成されていてもよい。
In the solid-state imaging device according to the present embodiment, a plurality of
カラーフィルタ6の上方に、結像マイクロレンズアレイ10およびカラーフィルタ12が形成された、可視光を透過する可視光透過基板14が設けられている。この可視光透過基板14は、画素4が形成された撮像領域の周囲に設けられた樹脂材料のスペーサ9によって半導体基板2と接合される。なお、半導体基板2と可視光透過基板14とを接合する際の位置合わせは、合わせマーク等を基準にして行う。可視光透過基板14は、例えば不要な赤外光をカットする材料であっても良いし、赤外光をカットする膜が形成されていても良い。可視光透過基板14を半導体基板に接合する時に、カラーフィルタ6、12はその色の組み合わせが同一となるように接合する。また、カラーフィルタ6の色の間隔はカラーフィルタ12の色の間隔よりも狭くなるように構成する。
Above the
また、半導体基板2には、画素4の読出し用電極パッド22が設けられ、この電極パッド22の下部には半導体基板2を貫通する貫通電極24が形成されている。そして半導体基板2は、貫通電極24およびバンプ26を介してチップ30と電気的に接続される。このチップ30には、撮像装置を駆動し読み出された信号を処理する駆動処理回路が形成されている。
The
また、可視光透過基板14の上方には結像レンズ40が設けられ、この結像レンズ40はレンズ鏡筒42に取り付けられ、このレンズ鏡筒42はレンズホルダ44に取り付けられる。レンズホルダ44は可視光透過基板14のカラーフィルタ12が設けられていない周囲の領域上に接合される。このレンズ40の取り付け時に、押し付け圧と出力像の関係からレンズ40の焦点距離の調整をしても良い。なお、半導体基板2、可視光透過基板14、およびチップ30の周囲には、不要な光を遮断するための光遮蔽カバー50が取り付けられる。そして、光遮蔽カバー50にチップ30と外部とを電気的に接続するモジュール電極52が設けられる。
Further, an
(カラーフィルタによる混色防止)
このように構成された本実施形態の固体撮像装置におけるカラーフィルタによる混色防止機能について図2乃至図5を参照して説明する。
(Color mixing prevention by color filter)
The color mixing prevention function by the color filter in the solid-state imaging device of the present embodiment configured as described above will be described with reference to FIGS.
カラーフィルタ6、12と、画素領域の対応を図2に示す。各画素ブロック5R、5Bにマイクロレンズ10、カラーフィルタ6、12を配置し、カラーフィルタ12はマイクロレンズ10の側に配置、カラーフィルタ6は光電変換を行う画素ブロック側5R、5B側に配置する。結像レンズ40を透過した光線は、結像面60で結像した後、カラーフィルタ12に入射する。マイクロレンズ10側、画素ブロック5R、5B側でそれぞれ各色をフィルタリングし、隣接する画素の異なる色の混色成分をカラーフィルタ6、12で吸収し排除する。画素ブロック5Rは、赤色を検出する画素ブロックを示し、画素ブロック5Bは緑色を検出する画素ブロックを示す。すなわち、赤色を表す光線62Rは結像レンズ40を透過して結像面60で結像した後、カラーフィルタ12の赤色透過フィルタおよびカラーフィルタ6の赤色透過フィルタを透過し、画素ブロック5Rに取り込まれる。同様に、緑色を表す光線62Gは結像レンズ40を透過して結像面60で結像した後、カラーフィルタ12の緑色透過フィルタおよびカラーフィルタ6の緑色透過フィルタを透過し、画素ブロック5Bに取り込まれる。
The correspondence between the
画素ブロック毎の色配列は、図3に示すように例えば原色ベイヤー配列を用いても良い。隣接画素同士は異なるカラーフィルタとする方が、より混色防止に効果がある。 As the color arrangement for each pixel block, for example, a primary color Bayer arrangement may be used as shown in FIG. It is more effective to prevent color mixing when different color filters are used for adjacent pixels.
カラーフィルタ6、12がベイヤー配列の場合の、混色防止効果を図4、図5を参照して説明する。カラーフィルタ6、12を透過する際に、同色である組み合わせのみ、光線がカラーフィルタ12およびカラーフィルタ12を透過し、画素ブロック5へ結像する。例えば、結像レンズ40に入射角θRで入射した赤色の主光線62Rmが、カラーフィルタ12の赤色透過フィルタを透過した後、マイクロレンズ10を介してカラーフィルタ6の赤色透過フィルタを透過する。また、この主光線62Rmの周辺の赤色の光線62Rcも同様に、カラーフィルタ12の赤色透過フィルタを透過した後、マイクロレンズ10を介してカラーフィルタ6の赤色透過フィルタを透過する。
The effect of preventing color mixture when the
また、図5に示すように、結像レンズ40に入射角θGで入射した緑色の主光線62Gmが、カラーフィルタ12の緑色透過フィルタを透過した後、マイクロレンズ10を介してカラーフィルタ6の緑色透過フィルタを透過する。しかし、図5に示すように、カラーフィルタ12の緑色透過フィルタを透過し、カラーフィルタ6の赤色透過フィルタを通るような緑色光、例えば乱反射緑光線62Grがある場合、これは混色成分となる。しかし、この緑光線62Grはカラーフィルタ6の赤色透過フィルタにおいて減衰する。このため、画素ブロック5内にあるフォトダイオード4へ光信号として入射することを防止することが可能となり、混色を防止することができる。
In addition, as shown in FIG. 5, after the green principal ray 62Gm incident on the
(カラーフィルタのずらし量)
次に、本実施形態による固体撮像装置における、カラーフィルタ6、12のずらし量について説明する。
(Color filter shift amount)
Next, the shift amounts of the
カラーフィルタ6、12は撮像領域の周辺部によって周辺方向へとずらされて配置されるが、その対応関係について図6、図7(a)、7(b)に示す。図6はカラーフィルタ6、12を示す斜視図であり、図7(a)は図6に示す、カラーフィルタ6の対角方向の面で切断した断面図であり、図7(b)は図7(a)に示す破線部の拡大図である。
The
図7(a)に示すように、カラーフィルタ6における赤色透過フィルタ6Rと、カラーフィルタ12における赤色透過フィルタ12Rが対応関係にあり、入射角度θで結像レンズ40に入射する、被写体の主光線62が結像面60で結像した後、赤色透過フィルタ12Rおおよび赤色透過フィルタ6Rを透過するものとする。結像面60における被写体の像高Yは、結像レンズ40の焦点距離をfとすると、被写体が無限遠にあるときは、
tanθ=Y/f
で表される。そこで、赤色透過フィルタ6Rおよび赤色透過フィルタ12Rの中心は、ずれ量αだけずれることになる。このずれ量αは、Dをカラーフィルタ6とカラーフィルタ12との間の距離(マイクロレンズ10が存在する場合には、カラーフィルタ6とマイクロレンズ10との間の距離)とすると、以下の式にて表される。
α=D×tanθ=D×Y/f
ここで、撮像領域の最外部では主光線62の入射角度θは最大となるが、そのときの主光線62の入射角度θmaxを考える。例えば、主光線入射角度θを、携帯やコンパクトカメラで標準的な半画角30度とし、D=1mmとすると、撮像領域四隅でのずらし量αは0.577mmとなる。
As shown in FIG. 7A, the red light transmission filter 6R in the
tan θ = Y / f
It is represented by Therefore, the centers of the red transmission filter 6R and the red transmission filter 12R are shifted by the shift amount α. This shift amount α is expressed by the following equation, where D is the distance between the
α = D × tan θ = D × Y / f
Here, the incident angle θ of the
最外部以外でのずらし量は、それぞれの位置での主光線62の入射角θによって決まる。撮像領域中心部では、主光線62の入射角度θは0度であるため、ずらし量αはゼロで良く、外縁部へ向かうほどθは大きくなるので、ずらし量αは大きくすることが好ましい。
The shift amount except for the outermost part is determined by the incident angle θ of the
(光学像より距離情報を取得する方法)
次に、本実施形態による固体撮像装置における、光学像から距離情報を取得する方法について図8を参照して説明する。単純化のため、今回は光軸近似の範囲の式のみ記述する。
(Method to obtain distance information from optical image)
Next, a method for acquiring distance information from an optical image in the solid-state imaging device according to the present embodiment will be described with reference to FIG. For simplification, this time, only the formula of the optical axis approximation range is described.
光学結像系(結像レンズ)40により、被写体からの主光線及びその同族光線は、結像光学系の焦点距離と被写体距離から決まる結像面60において、式(1)の関係を満たすように結像する。
結像面60における像は、その下部に配置されたマイクロレンズ(以下、MLとも記す)10によって再度、画素4が設けられた撮像素子面に結像する。ML10の結像は下式で表される。
E=B+C (5)
ここで、比較する個眼間を2個選択した場合の、個眼間距離LMLと片側の像ずれ量Δ/2は式(6)で表される。
E = B + C (5)
Here, the distance between the single eyes L ML and the image shift amount Δ / 2 on one side when the two single eyes to be compared are selected are expressed by Expression (6).
これより、被写体の移動(Aの変化)に対する各パラメータの変化量を示す。A0等、右下に添え字0がついたパラメータは、該当パラメータの初期値とする。各パラメータの、初期値からの変化を式で示す。 Thus, the amount of change of each parameter with respect to the movement of the subject (change of A) is shown. Parameters with subscript 0 at the lower right, such as A 0 , are the initial values of the corresponding parameters. The change from the initial value of each parameter is shown by an equation.
式(1)〜式(5)よりDの変化量をM(結像レンズ倍率)で表すと次の式(7)に示す関係となる。
また、式(1)、(2)、(6)、(7)より被写体の距離Aと像のずれ量Δは次の式(8)に示す関係となる。
ずれ量Δと倍率Mは、次の式(9)に示す関係となる。
被写体Aが遠方に位置する、すなわちA→∞のとき、M→0となり、ずれ量Δは次の式(10)に示す値に収束する。
上の精度を示す式(11)はM(=B/A)を含むため、精度は距離依存性を持つ。 Since Expression (11) indicating the above accuracy includes M (= B / A), the accuracy has distance dependency.
次に、上記の関係に基づき、実際の光学パラメータを仮定し被写体Aの移動によってどの程度のずれ量Δが発生するかを示す。仮定する光学パラメータを以下と仮定する。
結像レンズ焦点距離f:7mm、もしくは42mm
ML焦点距離g:682μm
ML配置ピッチ:300μm
撮像素子画素ピッチ:4.3μm
初期位置A0を0.3mにした場合の精度を示す。
ここで、A0は、あるピント位置状態にて合焦する範囲で最も近い被写体距離(被写界深度の近い方の限界)を意味する。
Next, based on the above relationship, it is assumed how much deviation Δ is generated by the movement of the subject A assuming actual optical parameters. Assume the following optical parameters:
Imaging lens focal length f: 7 mm or 42 mm
ML focal length g: 682 μm
ML arrangement pitch: 300 μm
Image sensor pixel pitch: 4.3 μm
The initial position A 0 indicates the precision in the case of a 0.3 m.
Here, A 0 means the closest subject distance (the limit of the closer depth of field) in the range where the focus is achieved in a certain focus position state.
結像レンズの焦点距離f=7mm、または42mm、かつ初期合焦位置A0=0.3mにおける、ずれ量に関するC0配置距離(結像面60とML主面10aとの距離)の依存性を図9に示す。式(10)に示すずれ量Δより、fが小さいほど視差収束距離Δは大きくなる。この収束するずれ量Δ/2が画素ブロック間隔より大きくなると、ML間でクロストークするレンジオーバー領域となるため、収束距離とMLの関係は設計指針の1つである。
Dependence of the C 0 arrangement distance (distance between the
図10に、被写体と本実施形態の固体撮像装置によって取得される光学像の関係を示す。結象光学系(結象レンズ)40により、結像面60には、被写体100の反転像が形成される。それぞれのマイクロレンズ10は、近接した距離から結像面60の像を見ている状態となり、少しずつオーバーラップした視差画像群が各画素ブロック5R、5G上に形成される。このときの再結像した像は、再度反転するため、正立像となる。結象光学系40によって形成された結像面60の像は、マイクロレンズ10によって縮小して撮像される。この縮小倍率が、光学的な解像度劣化の度合いを決める。
FIG. 10 shows a relationship between a subject and an optical image acquired by the solid-state imaging device of the present embodiment. A reverse image of the subject 100 is formed on the
次に、カラーフィルタ6、12の膜厚と混色防止効果について図11、図12を参照して説明する。図11は、カラーフィルタ6、12での混色防止効果を示すグラフである。カラーフィルタ6、12の合計膜厚を1μmとし、カラーフィルタ12を厚さ0.5μm、カラーフィルタ6の膜厚を0.5μmに分けて配置した場合を考える。ここで、図11において青色(B)、緑色(G)、赤色(R)を考え、次の(1)〜(5)に場合に分けて説明する。(1)Gフィルタ→Gフィルタを通るG光、(2)Gフィルタ→Gフィルタを通るB光、(3)Gフィルタ→Gフィルタを通るR光、(4)Gフィルタ→Rフィルタを通るG光、(5)Rフィルタ→Gフィルタを通るG光とする。ここでは、(4)、(5)の場合が隣接画素ブロック間の混色成分である。
Next, the film thickness and color mixing prevention effect of the
カラーフィルタ特性として、信号成分となる、Gフィルタを合計1μm透過したG光が、透過後の強度はおよそ80%まで低下し、また、混色成分であるGフィルタを通る、R、B成分がGフィルタで吸収されたとき、1μm透過後は8%程度まで減少することを仮定する。上記仮定の場合、隣接画素からの混色の場合、すなわち(4)、(5)の場合について計算すると、透過後における混色成分は20%まで低下する。 As the color filter characteristics, the G light that has been transmitted through the G filter as a signal component for a total of 1 μm decreases in intensity after transmission to approximately 80%, and passes through the G filter that is a mixed color component. It is assumed that after being absorbed by the filter, it decreases to about 8% after 1 μm transmission. In the case of the above assumption, when calculation is performed for the color mixture from adjacent pixels, that is, cases (4) and (5), the color mixture component after transmission is reduced to 20%.
また、カラーフィルタ6、12で膜厚を増加させた場合の混色防止効果を示すグラフを図12に示す。カラーフィルタ6、12の合計膜厚を1.5μmとし、それぞれの厚さを0.75μm、0.75μmとして配置した場合、1μmの厚さを通過時のクロストーク成分まで抑えるには、合計膜厚を1.5倍にすれば良いことが分かる。このときの明るさ低下は8%で抑えられる。
FIG. 12 shows a graph showing the effect of preventing color mixing when the film thickness is increased by the
(製造方法)
次に、本実施形態の固体撮像装置の製造方法を図13(a)乃至14(c)を参照して説明する。
(Production method)
Next, a method for manufacturing the solid-state imaging device of the present embodiment will be described with reference to FIGS. 13 (a) to 14 (c).
まず、図13(a)に示すように、半導体基板2上にフォトダイオードからなる画素4、駆動及び読出し回路(図示せず)を形成し、画素4の上部には、例えばp×q個の画素ブロックごとにカラーフィルタパターン6を形成する。カラーフィルタ6の不必要な部分には透明な平坦化用樹脂または遮光膜7等が形成される。カラーフィルタ6の上部には、1画素ごとに画素集光用のマイクロレンズ8を形成してもよい。また、半導体基板の上面を開口し、この開口の底面に電極パッド22を設ける。
First, as shown in FIG. 13A, a
続いて、画素4が形成された撮像領域の周囲にスペーサ用の樹脂9を塗布し、画素4が形成された撮像領域の上方に、フォトリソグラフィーにて開口を形成する(図13(b)、13(c))。
Subsequently, a
次に、半導体基板2の上方に、マイクロレンズアレイ10、カラーフィルタ12が形成された可視光透過基板14を、合わせマーク等を用いて半導体基板2と接合する(図13(d))。この可視光透過基板14は、例えば不要な赤外光をカットする材料であっても良いし、赤外光をカットする膜が形成されていても良い。この接合時に、カラーフィルタ6、12はその色の組み合わせが同一となるように接合する。
Next, the visible
次に、画素の読出し用電極パッド22の下部には貫通電極24を形成する(図13(e))。続いて、半導体基板2をバンプ26を介して駆動、処理回路が形成されたチップ30と接合する(図14(a))。画素4の上方に、レンズホルダ44、レンズ鏡筒42に取り付けられた結像レンズ40を接合により半導体基板2に取り付ける(図14(b))。この取付時、押し付け圧と出力像の関係から結象レンズ40の焦点距離を調整しても良い。次いで、単位モジュールごとに切り離し、周囲に、不要な光を遮断するための光遮蔽カバー50を取り付け、固体撮像装置を完成する(図14(c))。
Next, a penetrating
次に、カラーフィルタおよびマイクロレンズの製造方法を図15(a)乃至15(e)を参照して説明する。 Next, a method for manufacturing a color filter and a microlens will be described with reference to FIGS. 15 (a) to 15 (e).
マイクロレンズアレイの作成は、汎用的に用いられている半導体製造技術であるフォトリソグラフィーやエッチング技術を用いる。可視光透過基板14上にカラーフィルタ12およびマイクロレンズ10を形成する場合を例にとって説明するが、半導体基板2上にカラーフィルタ6およびマイクロレンズ8を形成する場合も同様にして行うことができる。
The microlens array is created using photolithography and etching techniques, which are semiconductor manufacturing techniques used for general purposes. Although the case where the
初めに可視光透過基板14を用意し、この可視光透過基板14にカラーフィルタ12をフォトリソグラフィーによって形成する(図15(a)、15(b))。カラーフィルタ12の配列が青、緑、赤のベイヤー配列の場合は、各色の顔料ないしは染料樹脂を塗布し、フォトリソグラフィーによりパターニングするという工程を繰り返して作成する。
First, a visible
次に、カラーフィルタ12上に、感光性の再結像マイクロレンズ用樹脂を塗布し(図15(c))、フォトリソグラフィー技術を用いて画素ブロックとカラーフィルタ6の配列周期と同周期の樹脂パターンを形成する(図15(d))。
Next, a photosensitive resin for re-imaging microlens is applied on the color filter 12 (FIG. 15C), and the resin having the same period as the arrangement period of the pixel block and the
次に、基板を熱処理することより樹脂を熱変形させ、レンズ形状のパターンを作成し、マイクロレンズ10を形成する(図15(e))。
Next, the resin is thermally deformed by heat-treating the substrate, a lens-shaped pattern is created, and the
上記では、感光性透明樹脂にてマイクロレンズアレイを作成しているが、例えばガラス基板上に同様に樹脂のマイクロレンズパターンを作成した後、反応性イオンエッチング等でガラス基板とフォトレジストを均等に異方性エッチングすることで、樹脂形状をガラス基板に転写しても良い。この場合、マイクロレンズを先に形成するため、カラーフィルタはマイクロレンズ上に形成するか、もしくは基板の裏面側に形成する。 In the above, the microlens array is made of a photosensitive transparent resin. For example, after a resin microlens pattern is similarly formed on a glass substrate, the glass substrate and the photoresist are evenly distributed by reactive ion etching or the like. The resin shape may be transferred to the glass substrate by anisotropic etching. In this case, since the microlens is formed first, the color filter is formed on the microlens or on the back side of the substrate.
(画像の再構成)
次に、本実施形態による固体撮像装置による取得画像から通常のピクセル画像、及び距離情報を得るための画像処理について説明する。画素ブロック毎に得た単色(赤、青、または緑)の像は、それぞれマイクロレンズの位置に応じた視差を持っている。視差は、ベイヤー配列1単位に2個ある緑画素ブロック間で画像マッチング処理を行うことで、縦、横方向の視差情報を得ることができる。ベイヤー配列において、残りの青、赤は2つの対角に位置する緑の画素と直交しているため、2つの緑の画像から得られた視差成分より、残りの赤、青の視差量も計算できる。これら視差量は、距離の情報を含むため、画像マッチング処理によって得た視差量より被写体距離の推定が可能である。また、視差量より青、緑の画家画像を再構成することによって、通常のカメラで得られるような2次元画像を再構成することが可能である。
(Image reconstruction)
Next, image processing for obtaining a normal pixel image and distance information from an acquired image by the solid-state imaging device according to the present embodiment will be described. Monochromatic (red, blue, or green) images obtained for each pixel block each have a parallax corresponding to the position of the microlens. For the parallax, vertical and horizontal parallax information can be obtained by performing an image matching process between two green pixel blocks in one Bayer array unit. In the Bayer array, the remaining blue and red are orthogonal to the two diagonal green pixels, so the remaining red and blue parallax amounts are calculated from the parallax components obtained from the two green images. it can. Since these parallax amounts include distance information, the subject distance can be estimated from the parallax amounts obtained by the image matching processing. Further, by reconstructing blue and green painter images based on the amount of parallax, it is possible to reconstruct a two-dimensional image as obtained with a normal camera.
画像マッチング処理としては、例えば、2つの画像の類似度や相違度を調べる周知のテンプレートマッチング法を用いることができる。また、更に精密にずれ位置を求める際には、画素単位ごとに得られた類似度や相似度を連続なフィッティング関数等で補間し、フィッティング関数の最大や最小を与えるサブピクセル位置を求めることで、更に高精度にずれ量を求めることができる。 As the image matching process, for example, a well-known template matching method for examining the degree of similarity or difference between two images can be used. Further, when calculating the displacement position more precisely, the degree of similarity or similarity obtained for each pixel unit is interpolated with a continuous fitting function or the like to obtain the subpixel position that gives the maximum or minimum of the fitting function. In addition, the displacement amount can be obtained with higher accuracy.
以上説明したように、本実施形態においては、マイクロレンズ10側、画素ブロック側で各色をフィルタリングし、隣接の異なる色の混色成分をカラーフィルタ6、12で吸収し排除する。その際、結像面60からマイクロレンズアレイ10に入射する光線の、マイクロレンズ10にとっての主光線の角度によって、カラーフィルタ6、12を撮像領域周辺部へ向かうほど撮像領域周辺方向へずらしていくことで、効果的に混色を防ぎ、各マイクロレンズ10による有効撮像領域を増加させる。
As described above, in the present embodiment, each color is filtered on the
本実施形態によれば、隣接するマイクロレンズ間の光混色を防止し、視差画像群のマッチング精度の低下を抑制することができる。 According to the present embodiment, it is possible to prevent light color mixing between adjacent microlenses and suppress a decrease in matching accuracy of a parallax image group.
また、カラーフィルタ6、12を撮像領域周辺部へ向かうほど撮像領域周辺へずらしていくことで、周辺部での入射角の大きな光線のケラレ量を最小限にすることができる。ずらし量の調整は、結像レンズ40の結像角の特性によって適宜設計可能で、カラーフィルタ6、カラーフィルタ12のマスク設計に反映すればよく、設計に柔軟性がある。
Further, by shifting the
また、隣接個眼への混色入射を防止するシャッター部品や、凹凸構造を有する隔壁などの追加部品を必要としないため、コスト低減を図ることができ、さらに、部品合せ誤差等による組立て時の歩留まり低下を防止することができる。 In addition, no additional parts such as shutter parts that prevent color mixture from entering the adjacent individual eyes or barrier ribs with a concavo-convex structure are required, so that cost can be reduced and the yield during assembly due to part alignment errors, etc. A decrease can be prevented.
また、カラーフィルタ12、マイクロレンズ10は透明ウエハ14上に通常用いる半導体工程を用いてウエハ上に作成することが可能なため、ウエハスケールで固体撮像素子を組立てすることが可能となる。
In addition, since the
また、1画素が結像レンズ40の光学限界まで微細化された場合には、特に赤色などの長波長はシリコンフォトダイオードでは吸収係数が低いため、隣接画素への光混色が問題である。しかし、本実施形態のように1画素ごとではなく画素ブロック毎にカラーフィルタを配置することで、画素ブロック内では隣接画素は同色のカラー成分を光電変換するため、フォトダイオード間のクロストークを防止することができる。
In addition, when one pixel is miniaturized to the optical limit of the
また、カラーフィルタには顔料分散レジストが用いられることが多いが、画素微細化により顔料の粒径と画素サイズが同程度になり、顔料粒の塗布時のムラによる各画素上部のカラーフィルタの分光特性ムラが発生する問題がある。しかし、本実施形態のように画素ブロック毎にカラーフィルタを配置することで、色情報に関しては隣接画素部での平均化処理が可能のため、1画素ずつ画素フィルタを配置するよりもムラによる分光特性低下を防止することができる。 In addition, pigment dispersion resists are often used for color filters, but the pixel size and pixel size of pigments are about the same due to pixel miniaturization, and the spectral characteristics of the color filter above each pixel due to unevenness in the application of pigment particles. There is a problem that characteristic unevenness occurs. However, by arranging a color filter for each pixel block as in this embodiment, the color information can be averaged at adjacent pixel portions, and therefore, spectral dispersion due to unevenness is achieved rather than arranging a pixel filter for each pixel. The characteristic deterioration can be prevented.
また、結像レンズは色収差を最低限にするため、複数枚レンズ、非球面レンズなど設計が複雑化するが、画素ブロック毎にカラーフィルタ、マイクロレンズを設けることで、マイクロレンズの結像特性(焦点距離)を色ごとに変化させることが可能となるため、レンズ側の色収差要求が緩和しレンズの低コスト化を図ることができる。 In addition, the imaging lens has a complicated design such as a plurality of lenses and an aspherical lens in order to minimize chromatic aberration. However, by providing a color filter and a microlens for each pixel block, the imaging characteristics of the microlens ( (Focal length) can be changed for each color, so that the chromatic aberration requirement on the lens side can be relaxed and the cost of the lens can be reduced.
また、固体撮像装置の寸法を撮像素子チップと同程度まで小型化できる。貫通電極を用いて外部への取り出しを行うため、ボンディングワイヤが不要となる。このため、マイクロレンズアレイ10およびカラーフィルタ12が形成された透明基板14にて感光領域を封止した以降は、付着ダストは透明基板14の表面に付着したゴミが問題となる。しかし、本実施形態においては、透明基板14の表面と感光領域は、透明基板14の厚さ、接着剤の厚さで決まる距離がありレンズにて結像する光路の途中にあるので、感光領域上には焦点がずれた状態で結像され、従来の固体撮像素子の感光領域上に乗ったダストと比べ、黒キズへの影響度を大幅に軽減することができる。
Further, the size of the solid-state imaging device can be reduced to the same level as the imaging element chip. Since the through electrode is used for extraction to the outside, no bonding wire is required. For this reason, after the photosensitive region is sealed with the
(第2実施形態)
次に、第2実施形態による固体撮像装置を図16に示す。この第2実施形態の固体撮像装置は、図1に示す第1実施形態の固体撮像装置のマイクロレンズ10およびカラーフィルタ12を、分光性能を有するマイクロレンズ10Aに置き換えた構成となっている。このマイクロレンズ10Aは、カラーフィルタを兼ねており、顔料分散レジストで作成することができる。
(Second Embodiment)
Next, a solid-state imaging device according to the second embodiment is shown in FIG. The solid-state imaging device of the second embodiment has a configuration in which the
この第2実施形態も第1実施形態と同様の効果を奏することができる。 This 2nd Embodiment can also have the same effect as a 1st embodiment.
(第3実施形態)
次に、第3実施形態による固体撮像装置を図17に示す。この第3実施形態の固体撮像装置は、図1に示す第1実施形態の固体撮像装置のマクロレンズ10をマイクロレンズ10Bに置き換えた構成となっている。このマイクロレンズ10Bは、カラーフィルタ12の結像光学系(結像レンズ)40側に形成され、凸部が結像光学系(結像レンズ)40の方に向いた構成となっている。
(Third embodiment)
Next, a solid-state imaging device according to the third embodiment is shown in FIG. The solid-state imaging device of the third embodiment has a configuration in which the
この第3実施形態も第1実施形態と同様の効果を奏することができる。 This third embodiment can also achieve the same effects as the first embodiment.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the invention described in the claims and equivalents thereof as well as included in the scope and gist of the invention.
2 半導体基板
4 画素
5R 画素ブロック
5B 画素ブロック
6 カラーフィルタ
8 マイクロレンズ
9 スペーサ樹脂
10 マイクロレンズ
12 カラーフィルタ
14 可視光透過基板
22 電極パッド
24 貫通電極
26 バンプ
30 チップ
50 光遮蔽カバー
52 モジュール電極
Claims (8)
被写体を結像面に結像する第1の光学系と、
前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像された像を、個々のマイクロレンズに対応する画素ブロックに再結像する第2の光学系と、
前記第2の光学系側に前記複数のマイクロレンズに対応して設けられ、複数の第1の色フィルタを有する第1のフィルタと、
前記撮像素子側に設けられ、前記第1のフィルタの前記複数の第1の色フィルタに対応する複数の第2の色フィルタを有する第2のフィルタと、
同じ色の画素ブロック間で画像マッチング処理を行うことにより、前記被写体までの距離を求める処理部と、
を備え、
前記第1および第2のフィルタは、前記撮像領域の周辺部へいくほど、前記撮像領域の周辺方向へ前記第1および第2の色フィルタがずれるように構成されたことを特徴とする固体撮像装置。 An imaging device including an imaging region formed on a semiconductor substrate and having a plurality of pixel blocks each including a plurality of pixels;
A first optical system for imaging a subject on an imaging plane;
Including a microlens array having a plurality of microlenses provided corresponding to the plurality of pixel blocks, and re-images an image formed on the imaging plane onto a pixel block corresponding to each microlens A second optical system;
A first filter provided on the second optical system side corresponding to the plurality of microlenses and having a plurality of first color filters;
A second filter provided on the image sensor side and having a plurality of second color filters corresponding to the plurality of first color filters of the first filter;
A processing unit for obtaining a distance to the subject by performing an image matching process between pixel blocks of the same color;
With
The first and second filters are configured so that the first and second color filters are shifted in the peripheral direction of the imaging region as they go to the peripheral part of the imaging region. apparatus.
α=D×tanθ
で表されることを特徴とする請求項1または2記載の固体撮像装置。 The shift amount α of the color filter is defined as follows. The incident angle of a light beam incident on the corresponding microlens from the imaging plane is θ, and the distance between the first and second filters is D.
α = D × tan θ
The solid-state imaging device according to claim 1, wherein the solid-state imaging device is expressed by:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013023676A JP5537687B2 (en) | 2013-02-08 | 2013-02-08 | Solid-state imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013023676A JP5537687B2 (en) | 2013-02-08 | 2013-02-08 | Solid-state imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010188564A Division JP5421207B2 (en) | 2010-08-25 | 2010-08-25 | Solid-state imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013157606A true JP2013157606A (en) | 2013-08-15 |
JP5537687B2 JP5537687B2 (en) | 2014-07-02 |
Family
ID=49052469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013023676A Expired - Fee Related JP5537687B2 (en) | 2013-02-08 | 2013-02-08 | Solid-state imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5537687B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020070985A1 (en) * | 2018-10-02 | 2020-04-09 | ソニーセミコンダクタソリューションズ株式会社 | Temperature detection element and imaging device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1042097A (en) * | 1996-07-25 | 1998-02-13 | Fuji Xerox Co Ltd | Color linear image sensor and image reader |
JP2001160973A (en) * | 1999-12-02 | 2001-06-12 | Nikon Corp | Solid-state image pickup device and electronic camera |
JP2002135796A (en) * | 2000-10-25 | 2002-05-10 | Canon Inc | Imaging apparatus |
JP2005109445A (en) * | 2003-09-08 | 2005-04-21 | Sanyo Electric Co Ltd | Solid state imaging device |
JP2005303409A (en) * | 2004-04-07 | 2005-10-27 | Canon Inc | Solid state imaging device |
JP2006033493A (en) * | 2004-07-16 | 2006-02-02 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
JP2009224982A (en) * | 2008-03-14 | 2009-10-01 | Sony Corp | Image processing apparatus, image processing program, and display apparatus |
-
2013
- 2013-02-08 JP JP2013023676A patent/JP5537687B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1042097A (en) * | 1996-07-25 | 1998-02-13 | Fuji Xerox Co Ltd | Color linear image sensor and image reader |
JP2001160973A (en) * | 1999-12-02 | 2001-06-12 | Nikon Corp | Solid-state image pickup device and electronic camera |
JP2002135796A (en) * | 2000-10-25 | 2002-05-10 | Canon Inc | Imaging apparatus |
JP2005109445A (en) * | 2003-09-08 | 2005-04-21 | Sanyo Electric Co Ltd | Solid state imaging device |
JP2005303409A (en) * | 2004-04-07 | 2005-10-27 | Canon Inc | Solid state imaging device |
JP2006033493A (en) * | 2004-07-16 | 2006-02-02 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
JP2009224982A (en) * | 2008-03-14 | 2009-10-01 | Sony Corp | Image processing apparatus, image processing program, and display apparatus |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020070985A1 (en) * | 2018-10-02 | 2020-04-09 | ソニーセミコンダクタソリューションズ株式会社 | Temperature detection element and imaging device |
JP2020056674A (en) * | 2018-10-02 | 2020-04-09 | ソニーセミコンダクタソリューションズ株式会社 | Temperature detection element and imaging device |
JP7237506B2 (en) | 2018-10-02 | 2023-03-13 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device |
US12061121B2 (en) | 2018-10-02 | 2024-08-13 | Sony Semiconductor Solutions Corporation | Temperature detecting element and imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5537687B2 (en) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5421207B2 (en) | Solid-state imaging device | |
US11979672B2 (en) | Backside illumination image sensor and image-capturing device | |
US11711629B2 (en) | Solid-state image pickup device and electronic apparatus | |
KR102390672B1 (en) | Backside illumination image sensor, manufacturing method thereof and image-capturing device | |
US10686004B2 (en) | Image capturing element and image capturing device image sensor and image-capturing device | |
JP2015230355A (en) | Imaging device and image pickup element | |
WO2013031537A1 (en) | Solid-state imaging device and digital camera | |
WO2015122300A1 (en) | Imaging element, manufacturing device, and electronic device | |
JP2015128131A (en) | Solid state image sensor and electronic apparatus | |
JP5834398B2 (en) | Imaging device and imaging apparatus | |
WO2016052249A1 (en) | Solid-state imaging element, production method, and electronic device | |
JP2013157442A (en) | Image pickup element and focal point detection device | |
JP2014164174A (en) | Solid-state image pickup device, portable information terminal and solid-state imaging system | |
JP2006245101A (en) | Imaging apparatus having color filter | |
WO2012066846A1 (en) | Solid-state image sensor and imaging device | |
JP5532766B2 (en) | Imaging device and imaging apparatus | |
JP2023067935A (en) | Imaging device | |
US9077977B2 (en) | Image sensor and imaging apparatus with sensitivity versus incident angle ranges for 2D and 3D imaging | |
JP5476731B2 (en) | Image sensor | |
CN110957336B (en) | Phase detection pixel with diffraction lens | |
JP5537687B2 (en) | Solid-state imaging device | |
WO2018061940A1 (en) | Imaging element and focus adjustment device | |
JP2015159231A (en) | Solid-state image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140425 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5537687 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |