JP2014057231A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2014057231A
JP2014057231A JP2012201111A JP2012201111A JP2014057231A JP 2014057231 A JP2014057231 A JP 2014057231A JP 2012201111 A JP2012201111 A JP 2012201111A JP 2012201111 A JP2012201111 A JP 2012201111A JP 2014057231 A JP2014057231 A JP 2014057231A
Authority
JP
Japan
Prior art keywords
light
light receiving
receiving element
element array
optical filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012201111A
Other languages
Japanese (ja)
Inventor
Masayuki Fujishima
正幸 藤島
Daisei Minegishi
大生 峯岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2012201111A priority Critical patent/JP2014057231A/en
Publication of JP2014057231A publication Critical patent/JP2014057231A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus whose manufacturing work is easy and which can obtain image information on a plurality of optical components with one imaging operation.SOLUTION: An optical filter 2 including four types of polarization filter regions 201A to 201D which selectively transmit four polarization components in light condensed by an imaging lens is arranged between the imaging lens 1 and a light reception element array 3, and image information on the four optical components is outputted based on an image signal outputted from the light reception element array in a polarization camera. The polarization camera includes a microlens array 5 where microlenses 501 for condensing light transmitted through the optical filter onto the light reception element array are two-dimensionally arranged. Each microlens is constituted so that light which the microlens condenses is received by different light reception elements in accordance with an incident direction of light which is made incident on the microlens.

Description

本発明は、特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域の中から選択される少なくとも2種類の領域を有する光学フィルタを用いて複数の光学成分についての画像情報を出力する撮像装置に関するものである。   The present invention relates to an optical filter having at least two types of regions selected from one or more selected filter regions that selectively transmit a specific optical component and a non-selected filter region that transmits incident light as they are. The present invention relates to an image pickup apparatus that outputs image information about a plurality of optical components.

この種の撮像装置としては、所定の撮像領域を撮像して得た画像信号から、所望の偏光成分のみを抽出した画像情報や、所望の波長帯域のみを抽出した画像情報などを生成するものが知られている。このような撮像装置は、例えば、偏光フィルタや分光フィルタ等の光学フィルタにより、撮像領域からの光から所望の偏光成分や波長成分等(所望の光学成分)だけを、多数の受光素子を2次元配置された受光素子アレイへ受光させる。これにより、各受光素子で受光した受光量に応じて、所望の光学成分を抽出した撮像領域の画像情報を得ることができる。   As this type of imaging apparatus, there is an apparatus that generates image information obtained by extracting only a desired polarization component or image information obtained by extracting only a desired wavelength band from an image signal obtained by imaging a predetermined imaging area. Are known. Such an imaging apparatus, for example, two-dimensionally receives a large number of light receiving elements from an optical filter such as a polarizing filter or a spectral filter by using only a desired polarization component or wavelength component (desired optical component) from the light from the imaging region. Light is received by the arranged light receiving element array. Thereby, the image information of the imaging area which extracted the desired optical component according to the light reception amount received by each light receiving element can be obtained.

特許文献1には、光学フィルタとして、それぞれ透過軸が異なる2つ以上の偏光子の領域に分割された偏光子アレイを用いた偏光イメージング装置が開示されている。この偏光イメージング装置は、偏光子アレイの各領域を透過した光を独立に受光する受光素子アレイを備えている。この偏光イメージング装置によれば、1回の撮像動作で、互いに異なる2以上の偏光成分それぞれを抽出した画像情報を得ることができる。   Patent Document 1 discloses a polarization imaging apparatus using a polarizer array divided into two or more polarizer regions each having a different transmission axis as an optical filter. This polarization imaging apparatus includes a light receiving element array that independently receives light transmitted through each region of the polarizer array. According to this polarization imaging apparatus, it is possible to obtain image information obtained by extracting two or more different polarization components from each other in one imaging operation.

このような互いに異なる複数の光学成分から生成される光学成分抽出画像は、例えば、撮像領域内の物体を識別する物体識別処理に好適に利用される。このような光学成分抽出画像を利用すれば、単なる輝度情報のみからなる画像情報(モノクロ画像情報)で物体識別処理を行う場合よりも、高い精度での物体識別が可能となる。このような撮像装置は、近年、例えば、車載カメラとして用いられ、自車の進行方向前方領域(撮像領域)を撮像して得られる撮像画像に基づく物体検出処理を行って先行車両や対向車両などの物体を検出し、自車の運転者(ドライバー)の運転負荷を軽減させる運転者支援システムへ利用されている。また、例えば、ロボット制御などに用いられる物体識別装置のための撮像装置など、その他の分野でも幅広く利用されることが期待されている。   Such an optical component extraction image generated from a plurality of different optical components is preferably used for, for example, an object identification process for identifying an object in an imaging region. By using such an optical component extraction image, it is possible to identify an object with higher accuracy than when performing object identification processing with image information (monochrome image information) consisting only of luminance information. In recent years, such an imaging device is used as, for example, an in-vehicle camera, and performs an object detection process based on a captured image obtained by imaging a forward area (imaging area) in the traveling direction of the host vehicle, and the preceding vehicle, an oncoming vehicle, and the like. It is used in a driver assistance system that detects the object of the vehicle and reduces the driving load on the driver of the own vehicle. In addition, it is expected to be widely used in other fields such as an imaging device for an object identification device used for robot control.

上記特許文献1に記載の偏光イメージング装置によれば、1回の撮像動作で、互いに異なる2以上の偏光成分それぞれを抽出した画像情報を得ることができるが、以下のような問題点がある。すなわち、この偏光イメージング装置では、各偏光子領域(選択フィルタ領域)を撮像画素と一対一で対応するように周期的に配列した偏光子アレイ(光学フィルタ)を用いる必要がある。このような偏光子アレイを製造する場合、個々の偏光子領域をサブピクセルレベルで互いに隣り合うように形成するという高精度な製造作業が要求される。また、このような偏光子アレイ(光学フィルタ)を用いて複数の偏光成分についての画像情報を適切に得るためには、その偏光子アレイの各偏光子領域と受光素子アレイ上の1個又は数個の受光素子からなる撮像画素とを一対一でアライメントする必要がある。そのため、偏光子アレイと受光素子アレイとのアライメントには、サブピクセルレベルの精度が要求される。したがって、上記特許文献1に記載の偏光イメージング装置は、このような高精度の要求によって製造が困難であるという問題点がある。   According to the polarization imaging apparatus described in Patent Document 1, image information obtained by extracting two or more different polarization components from each other can be obtained by one imaging operation. However, there are the following problems. That is, in this polarization imaging apparatus, it is necessary to use a polarizer array (optical filter) in which each polarizer region (selection filter region) is periodically arranged so as to correspond one-to-one with an imaging pixel. When manufacturing such a polarizer array, a highly accurate manufacturing operation is required in which individual polarizer regions are formed adjacent to each other at the sub-pixel level. In addition, in order to appropriately obtain image information about a plurality of polarization components using such a polarizer array (optical filter), one or a number on each polarizer region and the light receiving element array of the polarizer array. It is necessary to perform one-to-one alignment with an imaging pixel formed of a single light receiving element. Therefore, the alignment between the polarizer array and the light receiving element array requires subpixel level accuracy. Therefore, the polarization imaging apparatus described in Patent Document 1 has a problem that it is difficult to manufacture due to such a high precision requirement.

この問題点は、撮像画素と一対一で対応するように選択フィルタ領域が周期的に配列された光学フィルタを通じて撮像領域を撮像し、複数の光学成分についての画像情報を出力する撮像装置であれば、同様に生じ得る。また、撮像画素と一対一で対応するように選択フィルタ領域と非選択フィルタ領域とが周期的に配列された光学フィルタを用いる撮像装置でも、同様に生じ得る。   The problem is that the imaging device captures an imaging region through an optical filter in which selection filter regions are periodically arranged so as to have a one-to-one correspondence with an imaging pixel, and outputs image information about a plurality of optical components. Can occur as well. This can also occur in an image pickup apparatus that uses an optical filter in which a selection filter region and a non-selection filter region are periodically arranged so as to have a one-to-one correspondence with an image pickup pixel.

本発明は、以上の問題点に鑑みなされたものであり、その目的とするところは、製造作業が容易で、1回の撮像動作で複数の光学成分についての画像情報を得ることができる撮像装置を提供することである。   The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an imaging apparatus that is easy to manufacture and that can obtain image information about a plurality of optical components in a single imaging operation. Is to provide.

本発明は、撮像領域からの光を集光させる集光手段と、上記集光手段により集光される光を受光する受光素子が2次元配置された受光素子アレイと、上記集光手段と上記受光素子アレイとの間に配置され、該集光手段により集光された光のうちの特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び該集光手段により集光された光をそのまま透過させる非選択フィルタ領域の中から選択される少なくとも2種類の領域を有する光学フィルタとを有し、上記受光素子アレイから出力される画像信号に基づいて、複数の光学成分についての画像情報を出力する撮像装置において、上記光学フィルタを透過した光を上記受光素子アレイ上へ集光させる微小集光部材が2次元配置された微小集光部材アレイを有し、各微小集光部材は、その微小集光部材へ入射する光の入射方向に応じてその微小集光部材が集光した光が互いに異なる受光素子に受光されるように構成されていることを特徴とする。   The present invention includes a light collecting means for collecting light from an imaging region, a light receiving element array in which light receiving elements for receiving light collected by the light collecting means are two-dimensionally arranged, the light collecting means, One or two or more types of selective filter regions that are arranged between the light receiving element array and selectively transmit specific optical components of the light collected by the light collecting means and the light collecting means. An optical filter having at least two types of regions selected from non-selection filter regions that transmit light as it is, and a plurality of optical components based on image signals output from the light receiving element array An image pickup apparatus that outputs image information about a micro-light-condensing member array in which a micro-light-condensing member that condenses light transmitted through the optical filter onto the light-receiving element array is two-dimensionally arranged. The condensing member is configured such that light collected by the minute condensing member is received by different light receiving elements according to the incident direction of the light incident on the minute condensing member. .

本発明においては、上記少なくとも2種類の領域を有する光学フィルタを用いることで、複数の光学成分についての画像情報を、1度の撮像動作で得ることができる。ここでいう光学成分は、光学フィルタをそのまま透過させる光も含むものである。したがって、本撮像装置によれば、例えば、互いに偏光方向が異なる複数の偏光成分についての画像情報、特定の偏光成分についての画像情報と非偏光の画像情報、互いに波長帯が異なる複数の分光成分についての画像情報、特定の波長帯の分光成分についての画像情報と非分光の画像情報などを、1度の撮像動作で得ることができる。   In the present invention, image information about a plurality of optical components can be obtained by one imaging operation by using the optical filter having the at least two types of regions. The optical component here includes light that passes through the optical filter as it is. Therefore, according to the imaging apparatus, for example, image information about a plurality of polarization components having different polarization directions, image information about a specific polarization component and non-polarization image information, and a plurality of spectral components having different wavelength bands. Image information, image information about spectral components in a specific wavelength band, non-spectral image information, and the like can be obtained by a single imaging operation.

また、本発明は、上述の微小集光部材アレイを備えることにより、撮像画素と一対一で対応するように選択フィルタ領域又は非選択フィルタ領域が周期的に配列された光学フィルタを用いなくとも、複数の光学成分について同等の画像情報を得ることができる。これは、微小集光部材アレイの各微小集光部材へ入射する光の入射方向に応じて、各微小集光部材が集光した光を受光する受光素子アレイ上の受光領域が変化するというプレノプティックカメラ方式の撮像装置の特徴を利用したものである。すなわち、本発明において、微小集光部材アレイ上の各微小集光部材に対応付けられた受光素子のうちのどの受光素子で受光したかという情報は、その微小集光部材に対してどの方向から入射した光なのかを特定する情報を示すものとなる。したがって、本発明によれば、微小集光部材アレイに対する入射方向ごとに、異なる画像情報を得ることができる。その結果、微小集光部材アレイに対する特定の入射方向の先に特定の光学成分を透過させる選択フィルタ領域又は非選択フィルタ領域を配置し、微小集光部材アレイに対する別の入射方向の先に別の光学成分を透過させる選択フィルタ領域又は非選択フィルタ領域を配置した光学フィルタを用いれば、微小集光部材アレイ上の各微小集光部材に対応付けられた受光素子のうちのどの受光素子で受光したかという情報によって、光学フィルタ上のどの領域を通過した光なのかを特定することができる。よって、その情報を用いることで、受光素子アレイから出力される画像信号から、複数の光学成分についての画像情報を得ることができる。   In addition, the present invention includes the above-described minute light collecting member array, so that an optical filter in which selection filter regions or non-selection filter regions are periodically arranged so as to correspond one-to-one with an imaging pixel can be used. Equivalent image information can be obtained for a plurality of optical components. This is because the light receiving area on the light receiving element array for receiving the light collected by each micro light collecting member changes according to the incident direction of the light incident on each micro light collecting member of the micro light collecting member array. It utilizes the characteristics of a noptic camera type imaging device. That is, in the present invention, the information on which light receiving element among the light receiving elements associated with each micro light condensing member on the micro light condensing member array is received from which direction with respect to the micro light condensing member. It indicates information for identifying whether the light is incident. Therefore, according to the present invention, different image information can be obtained for each incident direction with respect to the minute light collecting member array. As a result, a selective filter region or a non-selection filter region that transmits a specific optical component is arranged ahead of a specific incident direction with respect to the micro-light-collecting member array, and another tip is placed ahead of another incident direction with respect to the micro-light-collecting member array. If an optical filter having a selection filter region or a non-selection filter region that transmits an optical component is used, the light receiving element received by any one of the light receiving elements associated with each micro light condensing member on the micro light condensing member array This information can identify which region on the optical filter has passed through the light. Therefore, by using the information, image information for a plurality of optical components can be obtained from the image signal output from the light receiving element array.

よって、本発明によれば、光学フィルタに設けられる選択フィルタ領域又は非選択フィルタ領域は、個々の撮像画素に対して一対一に対応するように設ける必要がなくなる。これにより、光学フィルタを製造するにあたり、個々の選択フィルタ領域又は非選択フィルタ領域をサブピクセルレベルで互いに隣り合うように形成するというような高精度な製造作業が要求されることはない。光学フィルタと受光素子アレイとのアライメントに際して、サブピクセルレベルの精度が要求されることもない。   Therefore, according to the present invention, there is no need to provide the selection filter region or the non-selection filter region provided in the optical filter so as to correspond one-to-one with each imaging pixel. As a result, when manufacturing an optical filter, there is no need for a highly accurate manufacturing operation in which individual selected filter regions or non-selected filter regions are formed adjacent to each other at the subpixel level. Sub-pixel level accuracy is not required for alignment between the optical filter and the light receiving element array.

以上、本発明によれば、1回の撮像動作で複数の光学成分についての画像情報を得ることができる撮像装置の製造作業が容易となるという優れた効果が得られる。   As described above, according to the present invention, it is possible to obtain an excellent effect of facilitating the manufacturing operation of an imaging device that can obtain image information about a plurality of optical components in one imaging operation.

実施形態における偏光カメラの概略構成を示す説明図である。It is explanatory drawing which shows schematic structure of the polarization camera in embodiment. 同偏光カメラの概略構成を、撮像レンズ側から見たときの斜視図である。It is a perspective view when the schematic structure of the polarization camera is viewed from the imaging lens side. 同偏光カメラの概略構成を、センサ基板の基板面に対して垂直に切断したときの断面図である。It is sectional drawing when the schematic structure of the polarization camera is cut perpendicularly to the substrate surface of the sensor substrate. 同偏光カメラにおけるマイクロレンズアレイに入射する光の方向と画像センサ上のフォトダイオード(撮像画素)との関係を示す説明図である。It is explanatory drawing which shows the relationship between the direction of the light which injects into the microlens array in the polarization camera, and the photodiode (imaging pixel) on an image sensor. 変形例1における偏光カメラの概略構成を、センサ基板の基板面に対して垂直に切断したときの断面図である。It is sectional drawing when the schematic structure of the polarization camera in the modification 1 is cut | disconnected perpendicularly | vertically with respect to the substrate surface of a sensor board | substrate. 変形例2における偏光カメラの概略構成を、センサ基板の基板面に対して垂直に切断したときの断面図である。It is sectional drawing when the schematic structure of the polarization camera in the modification 2 is cut | disconnected perpendicularly | vertically with respect to the substrate surface of a sensor board | substrate. プレノプティックカメラ方式の従来の撮像装置における光学系の構成を示した説明図である。It is explanatory drawing which showed the structure of the optical system in the conventional imaging device of a plenoptic camera system. (a)は、同撮像装置において、物体面P1上の点光源から出た光がマイクロレンズアレイを介して受光素子アレイに受光される様子を示す説明図である。(b)は、物体面P2上の点光源から出た光がマイクロレンズアレイを介して受光素子アレイに受光される様子を示す説明図である。(A) is explanatory drawing which shows a mode that the light emitted from the point light source on the object surface P1 is light-received by the light receiving element array through a micro lens array in the imaging device. (B) is explanatory drawing which shows a mode that the light emitted from the point light source on the object surface P2 is received by the light receiving element array through a micro lens array.

以下、本発明に係る撮像装置を、互いに異なる4つの偏光成分についての画像情報を出力する偏光カメラに適用した一実施形態について説明する。
図1は、本実施形態における偏光カメラの概略構成を示す説明図である。
この偏光カメラは、主に、集光手段としての撮像レンズ1と、光学フィルタ2と、受光素子が2次元配置された受光素子アレイを有する画像センサ3が搭載されたセンサ基板4と、センサ基板4から出力されるアナログ電気信号(画像センサ3上の各受光素子が受光した受光量)をデジタル電気信号(画素信号)に変換するA/D変換部6と、A/D変換部6から出力されるデジタル電気信号に対して画像処理を行って各偏光成分についての画像データ(画像情報)を生成して出力する信号処理部7とから構成されている。
Hereinafter, an embodiment in which the imaging apparatus according to the present invention is applied to a polarization camera that outputs image information of four different polarization components will be described.
FIG. 1 is an explanatory diagram showing a schematic configuration of a polarization camera in the present embodiment.
This polarized camera mainly includes an imaging lens 1 as a condensing means, an optical filter 2, a sensor substrate 4 on which an image sensor 3 having a light receiving element array in which light receiving elements are arranged two-dimensionally, and a sensor substrate. A / D converter 6 that converts an analog electrical signal (the amount of received light received by each light receiving element on image sensor 3) into a digital electrical signal (pixel signal), and an output from A / D converter 6 The signal processing unit 7 performs image processing on the digital electric signal to be generated and generates and outputs image data (image information) for each polarization component.

図2は、本実施形態における偏光カメラの概略構成を、撮像レンズ1側から見たときの斜視図である。
図3は、本実施形態における偏光カメラの概略構成を、センサ基板4の基板面に対して垂直に切断したときの断面図である。
光学フィルタ2は、図2に示すように、撮像レンズ1を透過した光が通過する領域が4分割されている。分割した4つの領域には、それぞれ、互いに異なる方向の偏光成分(偏光軸が異なる偏光成分)を透過させる4種類の偏光フィルタ領域(選択フィルタ領域)201A,201B,201C,201Dが対応付けられている。本実施形態の光学フィルタ2は、撮像レンズ1側の面に表面保護層としてのカバーガラス202を備えている。画像センサ3は、CCD(Charge Coupled Device)やCMOS(Complementary Metal
Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード301を用いている。フォトダイオード301は、2次元的にアレイ配置されている。
FIG. 2 is a perspective view of the schematic configuration of the polarization camera according to the present embodiment as viewed from the imaging lens 1 side.
FIG. 3 is a cross-sectional view of the schematic configuration of the polarization camera in the present embodiment cut perpendicularly to the substrate surface of the sensor substrate 4.
As shown in FIG. 2, the optical filter 2 is divided into four areas through which light transmitted through the imaging lens 1 passes. The four divided areas are associated with four types of polarization filter areas (selection filter areas) 201A, 201B, 201C, and 201D that transmit polarization components in different directions (polarization components having different polarization axes), respectively. Yes. The optical filter 2 of the present embodiment includes a cover glass 202 as a surface protective layer on the surface on the imaging lens 1 side. The image sensor 3 is a CCD (Charge Coupled Device) or CMOS (Complementary Metal).
Oxide Semiconductor) and the like, and a photodiode 301 is used as a light receiving element thereof. The photodiodes 301 are two-dimensionally arranged in an array.

本実施形態において、光学フィルタ2と画像センサ3との間には、光学フィルタ2を透過した光を画像センサ3上へ集光させる微小集光部材としてのマイクロレンズ501が2次元配置された微小集光部材アレイとしてのマイクロレンズアレイ5が配置されている。マイクロレンズアレイ5は、マイクロレンズ501が2次元配置されたものであり、1個のマイクロレンズ501に対して画像センサ3上の複数個のフォトダイオード301が対向するように、画像センサ3上に設けられている。本実施形態では、光学フィルタ2が4種類の偏光フィルタ領域を備えているので、1個のマイクロレンズ501に対して少なくとも4つのフォトダイオード301が対向するように構成されている。   In the present embodiment, a microlens 501 that is a two-dimensionally arranged microlens 501 as a micro-condensing member that condenses light transmitted through the optical filter 2 onto the image sensor 3 is disposed between the optical filter 2 and the image sensor 3. A microlens array 5 is arranged as a condensing member array. The microlens array 5 is a microlens 501 arranged in a two-dimensional manner. On the image sensor 3, a plurality of photodiodes 301 on the image sensor 3 are opposed to one microlens 501. Is provided. In the present embodiment, since the optical filter 2 includes four types of polarizing filter regions, at least four photodiodes 301 are configured to face one microlens 501.

本実施形態では説明の簡略化のために、1個のマイクロレンズ501に対して2×2のフォトダイオード301が対応配置されている例について説明する。したがって、本実施形態では、画像センサ3上の1個のフォトダイオード301が1個の撮像画素に対応するものとなる。一方、本偏光カメラにより撮像される4つの偏光成分についての画像データ上の1個の画素(画像画素)は、1個のマイクロレンズ501に対応するものとなり、画像データの解像度は、画像センサ3上の撮像画素の解像度の1/4となる。   In the present embodiment, for simplification of description, an example in which 2 × 2 photodiodes 301 are arranged corresponding to one microlens 501 will be described. Therefore, in the present embodiment, one photodiode 301 on the image sensor 3 corresponds to one imaging pixel. On the other hand, one pixel (image pixel) on the image data for the four polarization components imaged by this polarization camera corresponds to one microlens 501, and the resolution of the image data is the image sensor 3. It becomes 1/4 of the resolution of the upper imaging pixel.

また、本実施形態においては、光学フィルタ2の表面に形成されるカバーガラス202と画像センサ3とがスペーサ302を介して所定距離だけ離間させて連結されている。このスペーサ302によって、光学フィルタ2とマイクロレンズアレイ5及び画像センサ3との距離が所定の距離に規定されている。   In the present embodiment, the cover glass 202 formed on the surface of the optical filter 2 and the image sensor 3 are connected to each other with a predetermined distance therebetween via the spacer 302. The spacer 302 defines the distance between the optical filter 2 and the microlens array 5 and the image sensor 3 to a predetermined distance.

また、本実施形態のセンサ基板4は、画像センサ3の出力信号を外部の回路基板へ出力するためのインターポーザ基板として機能している。画像センサ3とセンサ基板4との間はボンディングワイヤー401によって電気的に接続されている。本実施形態では、このボンディングワイヤー401を外部から機械的及び電気的に保護するための封止樹脂402によって覆っている。センサ基板4の画像センサ3が実装された面とは反対側の面(裏面)には、外部回路基板を電気的に接続するためのはんだボール403が具備されている。   In addition, the sensor substrate 4 of the present embodiment functions as an interposer substrate for outputting the output signal of the image sensor 3 to an external circuit substrate. The image sensor 3 and the sensor substrate 4 are electrically connected by a bonding wire 401. In this embodiment, the bonding wire 401 is covered with a sealing resin 402 for mechanically and electrically protecting from the outside. A solder ball 403 for electrically connecting an external circuit board is provided on the surface (back surface) opposite to the surface on which the image sensor 3 is mounted of the sensor substrate 4.

本実施形態では、撮像レンズ1よりも後段側の部品をパッケージ化しているが、本偏光カメラを構成する撮像レンズ1、光学フィルタ2、センサ基板4等の組み付け方法に制限はなく、カメラ筐体に個々に組みつけても良いし、一部又は全部をパッケージ化しても良い。   In the present embodiment, components on the rear side of the imaging lens 1 are packaged. However, there is no limitation on the method of assembling the imaging lens 1, the optical filter 2, the sensor substrate 4 and the like constituting the polarization camera, and the camera housing May be individually assembled, or part or all of them may be packaged.

スペーサ302の材料は、エポキシ樹脂などの樹脂材料でも、シリコン基板を貫通エッチングするなどして作製した無機材料のスペーサであってもよい。また、本実施形態では、センサ基板4と外部回路基板とをボールグリッドアレイにて接続する例であるが、この方法に制限されたものではなく、リードグリッドアレイ等を利用した接続方法を採用してもよい。 また、本実施形態では、光学フィルタ2のフィルタ層部分201A,201B,201C,201Dが単層構成の例であるが、複数層構成としてもよく、所望のフィルタ機能が発現できれば、光の波長以下の構造を利用した光学素子を用いた層でも、屈折率や多層膜を利用した光学素子を用いた層でもよい。   The material of the spacer 302 may be a resin material such as an epoxy resin, or may be an inorganic material spacer produced by etching through a silicon substrate. In this embodiment, the sensor board 4 and the external circuit board are connected by a ball grid array. However, the present invention is not limited to this method, and a connection method using a lead grid array or the like is adopted. May be. Further, in the present embodiment, the filter layer portions 201A, 201B, 201C, and 201D of the optical filter 2 are examples of a single layer configuration, but may have a multi-layer configuration, and if a desired filter function can be expressed, the wavelength of light is less than A layer using an optical element using the above structure or a layer using an optical element using a refractive index or a multilayer film may be used.

次に、本偏光カメラを用いて4つの偏光成分についての画像データを得るメカニズムについて説明する。
図4は、マイクロレンズアレイ5に入射する光の方向と画像センサ3上のフォトダイオード301(撮像画素)との関係を示す説明図である。
本実施形態の偏光カメラにおいては、マイクロレンズアレイ5上の各マイクロレンズ501に対応付けられた4つのフォトダイオード301のうちのどのフォトダイオード301で受光したかという情報は、そのマイクロレンズ501に対してどの方向から入射した光なのかを特定する情報を示すものとなる。
Next, a mechanism for obtaining image data for four polarization components using the present polarization camera will be described.
FIG. 4 is an explanatory diagram showing the relationship between the direction of light incident on the microlens array 5 and the photodiode 301 (imaging pixel) on the image sensor 3.
In the polarization camera of the present embodiment, information on which photodiode 301 of the four photodiodes 301 associated with each microlens 501 on the microlens array 5 received light is to the microlens 501. This indicates information for identifying the direction from which the light is incident.

例えば、図4に示すように、マイクロレンズアレイ5の1個のマイクロレンズ501aに対して図中左上から斜めに入射した光La(図中実線)と図中左下から斜めに入射した光Lb(図中破線)とを比較する。この場合、マイクロレンズ501aに対する入射角の違いにより、入射光Laは、そのマイクロレンズ501aに対応配置されたフォトダイオード301のうち図中下側のフォトダイオード301aに受光され、入射光Lbは、図中上側のフォトダイオード301aに受光される。このように、マイクロレンズ501aに対応付けられた4つのフォトダイオード301a〜301dのうちのどのフォトダイオードで受光したかという情報は、そのマイクロレンズ501aに対してどの方向から入射した光なのかを特定する情報を示すものである。   For example, as shown in FIG. 4, light La (obtained from the upper left in the figure) obliquely incident on one microlens 501a of the microlens array 5 and light Lb (obtained obliquely from the lower left in the figure). (Broken line in the figure). In this case, due to the difference in incident angle with respect to the microlens 501a, the incident light La is received by the lower photodiode 301a of the photodiodes 301 corresponding to the microlens 501a, and the incident light Lb is shown in FIG. The light is received by the middle upper photodiode 301a. As described above, the information on which of the four photodiodes 301a to 301d associated with the microlens 501a has received the light specifies from which direction the light is incident on the microlens 501a. Information to be displayed.

そして、本実施形態では、マイクロレンズ501aに対応付けられた4つのフォトダイオード301a〜301dにそれぞれ受光される光の入射方向の先には、それぞれ、光学フィルタ2の各偏光フィルタ領域201A〜201Dが配置されている。したがって、本実施形態においては、マイクロレンズ501aに対応付けられた4つのフォトダイオード301a〜301dのうちのどのフォトダイオードで受光したかという情報は、光学フィルタ2のどの偏光フィルタ領域201A〜201Dを通過した光なのかを特定する情報を示すものである。よって、本実施形態によれば、画像センサ3から出力される画像信号から、光学フィルタ2の4種類の偏光フィルタ領域201A〜201Dによってそれぞれ選択された偏光成分についての4種類の画像情報を得ることができる。   In the present embodiment, the polarizing filter regions 201A to 201D of the optical filter 2 are respectively provided at the tip of the incident direction of the light received by the four photodiodes 301a to 301d associated with the microlens 501a. Has been placed. Therefore, in the present embodiment, information about which photodiode among the four photodiodes 301a to 301d associated with the microlens 501a has received light passes through which polarization filter region 201A to 201D of the optical filter 2. It shows the information that identifies whether the light is light. Therefore, according to the present embodiment, four types of image information about the polarization components respectively selected by the four types of polarization filter regions 201A to 201D of the optical filter 2 are obtained from the image signal output from the image sensor 3. Can do.

〔変形例1〕
次に、本実施形態における偏光カメラの一変形例(以下、本変形例を「変形例1」という。)について説明する。
図5は、本変形例1における偏光カメラの概略構成を、センサ基板4の基板面に対して垂直に切断したときの断面図である。
本変形例1の偏光カメラにおいては、光学フィルタ2の各偏光フィルタ領域201A,201B,201C,201Dを形成するフィルタ層部分が、カバーガラス202における画像センサ3と対向する面とは反対側の面(図中上面)に設けられている。このような構成により、上記実施形態の構成と比較してパッケージの厚さを薄くすることが可能となり、小スペース化、低コスト化を図ることができる。
[Modification 1]
Next, a modification of the polarization camera in the present embodiment (hereinafter, this modification is referred to as “modification 1”) will be described.
FIG. 5 is a cross-sectional view of the schematic configuration of the polarization camera according to the first modification when cut perpendicularly to the substrate surface of the sensor substrate 4.
In the polarization camera of the first modification, the surface of the filter layer that forms the polarization filter regions 201A, 201B, 201C, and 201D of the optical filter 2 is the surface opposite to the surface facing the image sensor 3 in the cover glass 202. (Upper surface in the figure). With such a configuration, it is possible to reduce the thickness of the package as compared with the configuration of the above embodiment, and it is possible to reduce the space and cost.

〔変形例2〕
次に、本実施形態における偏光カメラの他の変形例(以下、本変形例を「変形例2」という。)について説明する。
図6は、本変形例2における偏光カメラの概略構成を、センサ基板4の基板面に対して垂直に切断したときの断面図である。
本変形例2の偏光カメラにおいては、センサ基板4に貫通電極404を設けて、そのセンサ基板4の一方の面(図中上側の基板面)に実装された画像センサ3から出力される画像信号の出力端子をセンサ基板4の他方の面(図中下側の基板面)に設けている。センサ基板4の他方の面(図中下側の基板面)には、画像センサ3と貫通電極404とを絶縁するための絶縁層405と、外部回路基板を電気的に接続するためのはんだボール406とが設けられている。このような構成により、インターポーザ基板を設けることなく、画像センサ3の基板面から直接出力を外部に伝達することが可能となり、部品点数の削減、小型化を図ることができる。
[Modification 2]
Next, another modified example of the polarization camera in the present embodiment (hereinafter, this modified example is referred to as “modified example 2”) will be described.
FIG. 6 is a cross-sectional view of the schematic configuration of the polarization camera in the second modification when cut perpendicularly to the substrate surface of the sensor substrate 4.
In the polarization camera of the second modified example, an image signal output from the image sensor 3 that is provided on one surface (the upper substrate surface in the drawing) of the sensor substrate 4 with the through electrode 404 provided on the sensor substrate 4. Are provided on the other surface (lower substrate surface in the figure) of the sensor substrate 4. On the other surface of the sensor substrate 4 (lower substrate surface in the figure), an insulating layer 405 for insulating the image sensor 3 and the through electrode 404 and a solder ball for electrically connecting the external circuit substrate 406 is provided. With such a configuration, the output can be directly transmitted to the outside from the substrate surface of the image sensor 3 without providing an interposer substrate, and the number of components can be reduced and the size can be reduced.

以上の説明では、複数の偏光成分についての画像情報を得る場合について説明したが、ある偏光成分についての画像情報と非偏光の画像情報を得る場合、複数の波長成分についての画像情報を得る場合、ある波長成分についての画像情報と非分光の画像情報を得る場合、ある偏光成分についての画像情報とある波長成分についての画像情報を得る場合などについても、同様である。   In the above description, the case where image information about a plurality of polarization components is obtained has been described. However, when obtaining image information about a certain polarization component and non-polarization image information, when obtaining image information about a plurality of wavelength components, The same applies to obtaining image information about a certain wavelength component and non-spectral image information, obtaining image information about a certain polarization component, and image information about a certain wavelength component.

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
撮像領域からの光を集光させる撮像レンズ1等の集光手段と、上記集光手段により集光される光を受光するフォトダイオード301等の受光素子が2次元配置された画像センサ3等の受光素子アレイと、上記集光手段と上記受光素子アレイとの間に配置され、該集光手段により集光された光のうちの複数の光学成分(4つの偏光成分)をそれぞれ選択的に透過させる4種類の偏光フィルタ領域201A〜201D等の選択フィルタ領域を有する光学フィルタ2とを有し、上記受光素子アレイから出力される画像信号に基づいて、複数の光学成分についての画像情報を出力する偏光カメラ等の撮像装置において、上記光学フィルタを透過した光を上記受光素子アレイ上へ集光させるマイクロレンズ501等の微小集光部材が2次元配置されたマイクロレンズアレイ5等の微小集光部材アレイを有し、各微小集光部材は、その微小集光部材へ入射する光の入射方向に応じてその微小集光部材が集光した光が互いに異なる受光素子に受光されるように構成されていることを特徴とする。
これによれば、各微小集光部材に対応付けられた所定数(光学フィルタの領域の種類数以上)の受光素子のうちのどの受光素子で受光したかという情報は、光学フィルタのどの領域を通過した光なのかを特定する情報を示すものとなる。よって、受光素子アレイから出力される画像信号から、光学フィルタの各領域を透過した複数の光学成分についての画像情報を得ることができる。しかも、上述の微小集光部材アレイを備えることにより、撮像画素と一対一で対応するように選択フィルタ領域又は非選択フィルタ領域が周期的に配列された光学フィルタを用いなくとも、複数の光学成分について同等の画像情報を得ることができ、撮像装置の製造作業が容易となる。
What has been described above is merely an example, and the present invention has a specific effect for each of the following modes.
(Aspect A)
An image sensor 3 or the like in which a light collecting unit such as an imaging lens 1 that collects light from the imaging region and a light receiving element such as a photodiode 301 that receives light collected by the light collecting unit are two-dimensionally arranged. A light receiving element array, disposed between the light condensing means and the light receiving element array, selectively transmits each of a plurality of optical components (four polarization components) of the light condensed by the light converging means. An optical filter 2 having a selection filter region such as four types of polarizing filter regions 201A to 201D to be output, and output image information about a plurality of optical components based on an image signal output from the light receiving element array. In an imaging apparatus such as a polarization camera, a micro-condensing member such as a microlens 501 that condenses light transmitted through the optical filter onto the light receiving element array is two-dimensionally arranged. The micro condensing member array such as the black lens array 5 has an array of micro condensing members, and the light condensing by the micro condensing member is different depending on the incident direction of the light incident on the micro condensing member. The light receiving element is configured to receive light.
According to this, information indicating which light receiving element among the predetermined number of light receiving elements (more than the number of types of areas of the optical filter) associated with each minute light collecting member is which region of the optical filter. It indicates information that identifies whether the light has passed through. Therefore, image information about a plurality of optical components transmitted through each area of the optical filter can be obtained from the image signal output from the light receiving element array. In addition, by providing the above-described micro light condensing member array, a plurality of optical components can be obtained without using an optical filter in which selection filter regions or non-selection filter regions are periodically arranged so as to correspond one-to-one with imaging pixels. The equivalent image information can be obtained for the imaging device, and the manufacturing operation of the imaging device is facilitated.

(態様B)
上記態様Aにおいて、上記光学フィルタが有する上記少なくとも2種類の領域は、それぞれ単一の領域を形成するように構成されていることを特徴とする。
これによれば、光学フィルタ上に形成される領域区画の数は領域の種類数と同等となり、一種類の領域について2以上の区画を形成する場合よりも、1つの区画面積を広くとることができる。よって、光学フィルタの製造にあたり高精度な作業が要求されることがなくなる。
(Aspect B)
In the aspect A, the at least two types of regions included in the optical filter are each configured to form a single region.
According to this, the number of region partitions formed on the optical filter is equal to the number of types of regions, and one partition area can be made wider than when two or more partitions are formed for one type of region. it can. Therefore, high-precision work is not required for manufacturing the optical filter.

(態様C)
上記態様A又はBにおいて、上記光学フィルタが有する上記少なくとも2種類の領域の中には、互いに異なる方向の偏光成分を透過させる2種類以上の偏光フィルタ領域が含まれていることを特徴とする。
これによれば、複数の偏光成分についての画像情報を得ることができる。
(Aspect C)
In the aspect A or B, the at least two types of regions of the optical filter include two or more types of polarizing filter regions that transmit polarized components in different directions.
According to this, image information about a plurality of polarization components can be obtained.

(態様D)
上記態様A〜Cのいずれかの態様において、上記光学フィルタが有する上記少なくとも2種類の領域の中には、互いに異なる波長成分を透過させる2種類以上の分光フィルタ領域が含まれていることを特徴とする。
これによれば、複数の波長成分についての画像情報を得ることができる。
(Aspect D)
In any of the above aspects A to C, the at least two types of regions of the optical filter include two or more types of spectral filter regions that transmit different wavelength components. And
According to this, image information about a plurality of wavelength components can be obtained.

(態様E)
上記態様A〜Dのいずれかの態様において、上記光学フィルタは、上記少なくとも2種類の領域をそれぞれ構成する部材を積層した構造となっていることを特徴とする。
これにより、単層構造よりも高いフィルタ特性を得ることが容易となる。
(Aspect E)
In any one of the above aspects A to D, the optical filter has a structure in which members constituting the at least two types of regions are laminated.
This makes it easier to obtain higher filter characteristics than the single layer structure.

(態様F)
上記態様A〜Eのいずれかの態様において、上記光学フィルタの表面に形成されるカバーガラス202等の表面保護層と上記受光素子アレイとがスペーサ302を介して所定距離だけ離間させて連結されていることを特徴とする。
これにより、光学フィルタと受光素子アレイ及び微小集光部材アレイとの距離を、適切な撮像動作が可能な所定距離に安定して維持することができる。
(Aspect F)
In any one of the above aspects A to E, a surface protective layer such as a cover glass 202 formed on the surface of the optical filter and the light receiving element array are connected to each other with a predetermined distance apart via a spacer 302. It is characterized by being.
Thereby, the distance of an optical filter, a light receiving element array, and a micro condensing member array can be stably maintained at a predetermined distance that allows an appropriate imaging operation.

(態様G)
上記態様A〜Fのいずれかの態様において、上記受光素子アレイから出力される画像信号を外部の回路基板へ出力するためのセンサ基板4等のインターポーザ基板と、上記受光素子アレイと上記インターポーザ基板とを電気的に接続するボンディングワイヤー401と、上記ボンディングワイヤーを機械的及び電気的に保護する封止樹脂402等の封止部材とを有することを特徴とする。
これによれば、簡易な構成で、受光素子アレイからの画像信号を外部の回路基板へ出力することができる。
(Aspect G)
In any of the above aspects A to F, an interposer substrate such as a sensor substrate 4 for outputting an image signal output from the light receiving element array to an external circuit board, the light receiving element array, the interposer substrate, And a sealing member such as a sealing resin 402 that mechanically and electrically protects the bonding wire.
According to this, an image signal from the light receiving element array can be output to an external circuit board with a simple configuration.

(態様H)
上記態様A〜Gのいずれかの態様において、上記受光素子アレイを一方の基板面上に実装した基板に貫通電極404を設けることにより、該受光素子アレイから出力される画像信号の出力端子を該基板の他方の基板面に設けたことを特徴とする。
これによれば、インターポーザ基板を設けることなく、画像センサ3の基板面から直接出力を外部に伝達することが可能となり、部品点数の削減、小型化を図ることができる。
(Aspect H)
In any of the above aspects A to G, by providing a through electrode 404 on a substrate on which the light receiving element array is mounted on one substrate surface, an output terminal for an image signal output from the light receiving element array is provided. It is provided on the other substrate surface of the substrate.
According to this, it becomes possible to transmit the output directly from the substrate surface of the image sensor 3 without providing an interposer substrate, and the number of parts can be reduced and the size can be reduced.

以上のように、本実施形態の偏光カメラは、画像センサ3の前段にマイクロレンズアレイ5を配置したものであるが、このような配置構成は、例えば、特許文献2に記載の撮像装置でも採用されている。この特許文献2に記載の撮像装置は、互いに異なる複数の焦点面画像を画像処理により生成可能なプレノプティックカメラ方式の撮像装置(ライトフィールドカメラ)である。この撮像装置は、撮像領域からの物体光を集光するレンズと、このレンズにより集光された物体光をそれぞれ受ける複数のマイクロレンズが形成されたマイクロレンズアレイと、このマイクロレンズアレイの焦点距離の位置に配置された受光素子アレイとを備えている。   As described above, the polarization camera according to the present embodiment has the microlens array 5 arranged in front of the image sensor 3. Such an arrangement configuration is also adopted in, for example, the imaging device described in Patent Document 2. Has been. The imaging apparatus described in Patent Document 2 is a plenoptic camera type imaging apparatus (light field camera) capable of generating a plurality of mutually different focal plane images by image processing. The imaging apparatus includes a lens that collects object light from an imaging region, a microlens array in which a plurality of microlenses that receive the object light collected by the lens, and a focal length of the microlens array. And a light-receiving element array disposed at the position.

ここで、プレノプティックカメラ方式の撮像装置の撮像原理について、図面を参照して説明する。
図7は、プレノプティックカメラ方式の撮像装置における光学系の構成を示した説明図である。
この撮像装置には、撮像レンズ(集光手段)11と、マイクロレンズアレイ(微小集光部材アレイ)15と、受光素子アレイ13とが備わっている。マイクロレンズアレイ15は、二次元平面上にマイクロオーダーのピッチでマイクロレンズ15a,15b,15c,・・・(微小集光部材)が規則的に配置されたもので、撮像レンズ11による結像位置の近傍に配置される。図7の例は、撮像領域内の物体面P1がマイクロレンズアレイ15上で結像する例である。このとき、物体面P1上の点光源から出た光は、撮像レンズ11を通過した後、マイクロレンズアレイ15上における1つのマイクロレンズ15aに集光する。マイクロレンズ15aに集光した光は、その後、マイクロレンズアレイ15の直後に配置されている受光素子アレイ上の1又は2以上の受光素子からなる対応受光領域に受光される。
Here, the imaging principle of the plenoptic camera type imaging apparatus will be described with reference to the drawings.
FIG. 7 is an explanatory diagram showing a configuration of an optical system in a plenoptic camera type imaging apparatus.
This imaging device includes an imaging lens (light collecting means) 11, a micro lens array (micro light collecting member array) 15, and a light receiving element array 13. The microlens array 15 includes microlenses 15 a, 15 b, 15 c,... (Micro condensing members) regularly arranged on a two-dimensional plane with a micro-order pitch. It is arranged in the vicinity of The example of FIG. 7 is an example in which the object plane P <b> 1 in the imaging region forms an image on the microlens array 15. At this time, the light emitted from the point light source on the object plane P <b> 1 passes through the imaging lens 11, and then converges on one microlens 15 a on the microlens array 15. The light condensed on the microlens 15 a is then received by a corresponding light receiving region composed of one or more light receiving elements on the light receiving element array arranged immediately after the microlens array 15.

図8(a)は、物体面P1上の点光源から出た光がマイクロレンズアレイ15を介して受光素子アレイ13に受光される様子を示す説明図である。
図8(b)は、物体面P1よりも撮像レンズ11に近い物体面P2(図7参照)上の点光源から出た光がマイクロレンズアレイ15を介して受光素子アレイ13に受光される様子を示す説明図である。
物体面P1上の点光源からの光は、図8(a)に示すように、マイクロレンズアレイ15上の1つのマイクロレンズ15aに対応した受光素子アレイ13上の領域13aで受光される。このように、物体面P1上の各点光源からの光が受光される領域は、それぞれマイクロレンズアレイ15上の各マイクロレンズ15a,15b,15c,・・・に対応して決まっている。
FIG. 8A is an explanatory diagram showing a state in which light emitted from the point light source on the object plane P1 is received by the light receiving element array 13 through the microlens array 15. FIG.
FIG. 8B shows a state where light emitted from a point light source on the object plane P2 (see FIG. 7) closer to the imaging lens 11 than the object plane P1 is received by the light receiving element array 13 via the microlens array 15. It is explanatory drawing which shows.
The light from the point light source on the object plane P1 is received by a region 13a on the light receiving element array 13 corresponding to one microlens 15a on the microlens array 15, as shown in FIG. As described above, the region where the light from each point light source on the object plane P1 is received is determined corresponding to each microlens 15a, 15b, 15c,... On the microlens array 15.

一方、物体面P2上にある点光源からの光は、図8(b)に示すように、マイクロレンズアレイ15上の1つのマイクロレンズだけに集光されるわけではなく、図7中破線で示すように、マイクロレンズアレイ15上の複数のマイクロレンズ15a〜15eに入射する。その後、マイクロレンズ15a〜15eに入射した光は、個々に収束または発散して、受光素子アレイ13上の複数の領域に分かれて受光される。したがって、物体面P2上の点光源からの光は、物体面P1上の各点光源からの光が受光される対応受光領域と同じ領域で受光されることはない。そして、マイクロレンズアレイ15の共役面である物体面P1から近いか遠いかで、受光素子アレイ13上における受光領域分布に違いが出る。このような違いを利用して、プレノプティックカメラ方式の撮像装置では、互いに異なる複数の焦点面画像を画像処理により生成可能である。   On the other hand, the light from the point light source on the object plane P2 is not focused on only one microlens on the microlens array 15 as shown in FIG. As shown, the light enters a plurality of microlenses 15 a to 15 e on the microlens array 15. Thereafter, the light incident on the microlenses 15 a to 15 e converges or diverges individually, and is received by being divided into a plurality of regions on the light receiving element array 13. Therefore, the light from the point light source on the object plane P2 is not received in the same area as the corresponding light receiving area where the light from each point light source on the object plane P1 is received. The light receiving area distribution on the light receiving element array 13 differs depending on whether it is near or far from the object plane P1, which is a conjugate plane of the microlens array 15. By using such a difference, a plenoptic camera type imaging apparatus can generate a plurality of different focal plane images by image processing.

このようなプレノプティックカメラ方式の撮像装置も、受光素子アレイの前段にマイクロレンズアレイを配置し、各マイクロレンズに対応付けられた受光素子のうちのどの受光素子で受光したかという情報を利用して、各マイクロレンズに対してどの方向から入射した光なのかを特定する技術を利用する点で、本実施形態の偏光カメラと共通している。しかしながら、プレノプティックカメラ方式の撮像装置は、受光素子アレイからの画像信号から画像処理によって複数の焦点面画像を得るものである。そのため、そのような複数の焦点面画像が得られるように、撮像レンズ、マイクロレンズアレイ、受光素子アレイの構成や配置関係が決められているとともに、そのような複数の焦点面画像が得られるような特有の画像処理を行う。   Such a plenoptic camera type imaging device also has a microlens array arranged in front of the light receiving element array, and information on which light receiving element among the light receiving elements associated with each microlens receives light. This is common to the polarization camera of the present embodiment in that it uses a technique for identifying from which direction the light is incident on each microlens. However, the plenoptic camera type imaging apparatus obtains a plurality of focal plane images by image processing from image signals from the light receiving element array. Therefore, the configuration and arrangement relationship of the imaging lens, the microlens array, and the light receiving element array are determined so that such a plurality of focal plane images can be obtained, and such a plurality of focal plane images can be obtained. Special image processing.

これに対し、本実施形態の偏光カメラは、領域分割された光学フィルタの各領域を通過した光(その領域を通過する際に選択された光学成分)ごとの画像を得るものである。そのため、そのような複数の光学成分についての画像が得られるように、撮像レンズ、光学フィルタ、マイクロレンズアレイ、受光素子アレイの構成や配置関係が決められているとともに、そのような複数の光学成分についての画像が得られるような特有の画像処理を行う。プレノプティックカメラ方式の撮像装置は、このような領域分割された光学フィルタを備えていないことから、本実施形態の偏光カメラを示唆するものではない。   On the other hand, the polarization camera of the present embodiment obtains an image for each light (optical component selected when passing through the area) that has passed through each area of the optical filter divided into areas. Therefore, the configuration and arrangement relationship of the imaging lens, the optical filter, the microlens array, and the light receiving element array are determined so that an image of such a plurality of optical components can be obtained, and such a plurality of optical components Specific image processing is performed so as to obtain an image of. Since the plenoptic camera type imaging apparatus does not include such an optical filter divided into regions, it does not suggest the polarization camera of this embodiment.

1 撮像レンズ
2 光学フィルタ
3 画像センサ
4 センサ基板
5 マイクロレンズアレイ
6 A/D変換部
7 信号処理部
201A,201B,201C,201D 偏光フィルタ領域
202 カバーガラス
301 フォトダイオード
302 スペーサ
401 ボンディングワイヤー
402 封止樹脂
403,406 ボールはんだ
404 貫通電極
405 絶縁層
501 マイクロレンズ
DESCRIPTION OF SYMBOLS 1 Imaging lens 2 Optical filter 3 Image sensor 4 Sensor board 5 Micro lens array 6 A / D conversion part 7 Signal processing part 201A, 201B, 201C, 201D Polarization filter area | region 202 Cover glass 301 Photodiode 302 Spacer 401 Bonding wire 402 Sealing Resin 403, 406 Ball solder 404 Through electrode 405 Insulating layer 501 Microlens

特開2007−86720号公報JP 2007-86720 A 特開2009−244662号公報JP 2009-244661 A

Claims (8)

撮像領域からの光を集光させる集光手段と、
上記集光手段により集光される光を受光する受光素子が2次元配置された受光素子アレイと、
上記集光手段と上記受光素子アレイとの間に配置され、該集光手段により集光された光のうちの特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び該集光手段により集光された光をそのまま透過させる非選択フィルタ領域の中から選択される少なくとも2種類の領域を有する光学フィルタとを有し、
上記受光素子アレイから出力される画像信号に基づいて、複数の光学成分についての画像情報を出力する撮像装置において、
上記光学フィルタを透過した光を上記受光素子アレイ上へ集光させる微小集光部材が2次元配置された微小集光部材アレイを有し、
各微小集光部材は、その微小集光部材へ入射する光の入射方向に応じてその微小集光部材が集光した光が互いに異なる受光素子に受光されるように構成されていることを特徴とする撮像装置。
Condensing means for condensing light from the imaging region;
A light receiving element array in which light receiving elements that receive light collected by the light collecting means are two-dimensionally arranged;
One or two or more types of selective filter regions that are arranged between the light condensing means and the light receiving element array and selectively transmit a specific optical component of the light condensed by the light condensing means; An optical filter having at least two types of areas selected from non-selective filter areas that transmit light collected by the light collecting means as it is;
In an imaging device that outputs image information about a plurality of optical components based on an image signal output from the light receiving element array,
A micro condensing member array in which a micro condensing member that condenses light transmitted through the optical filter onto the light receiving element array is two-dimensionally arranged;
Each minute condensing member is configured such that light collected by the minute condensing member is received by different light receiving elements according to the incident direction of the light incident on the minute condensing member. An imaging device.
請求項1の撮像装置において、
上記光学フィルタが有する上記少なくとも2種類の領域は、それぞれ単一の領域を形成するように構成されていることを特徴とする撮像装置。
The imaging device according to claim 1.
The image pickup apparatus, wherein each of the at least two types of regions of the optical filter is configured to form a single region.
請求項1又は2の撮像装置において、
上記光学フィルタが有する上記少なくとも2種類の領域の中には、互いに異なる方向の偏光成分を透過させる2種類以上の偏光フィルタ領域が含まれていることを特徴とする撮像装置。
The imaging device according to claim 1 or 2,
2. The imaging apparatus according to claim 1, wherein the at least two types of regions of the optical filter include two or more types of polarizing filter regions that transmit polarized components in different directions.
請求項1乃至3のいずれか1項に記載の撮像装置において、
上記光学フィルタが有する上記少なくとも2種類の領域の中には、互いに異なる波長成分を透過させる2種類以上の分光フィルタ領域が含まれていることを特徴とする撮像装置。
The imaging device according to any one of claims 1 to 3,
2. The imaging apparatus according to claim 1, wherein the at least two types of regions of the optical filter include two or more types of spectral filter regions that transmit different wavelength components.
請求項1乃至4のいずれか1項に記載の撮像装置において、
上記光学フィルタは、上記少なくとも2種類の領域をそれぞれ構成する部材を積層した構造となっていることを特徴とする撮像装置。
The imaging device according to any one of claims 1 to 4,
The optical filter has a structure in which members constituting the at least two types of regions are laminated.
請求項1乃至5のいずれか1項に記載の撮像装置において、
上記光学フィルタの表面に形成される表面保護層と上記受光素子アレイとがスペーサを介して所定距離だけ離間させて連結されていることを特徴とする撮像装置。
The imaging device according to any one of claims 1 to 5,
An imaging apparatus, wherein a surface protective layer formed on a surface of the optical filter and the light receiving element array are connected to each other with a predetermined distance therebetween via a spacer.
請求項1乃至6のいずれか1項に記載の撮像装置において、
上記受光素子アレイから出力される画像信号を外部の回路基板へ出力するためのインターポーザ基板と、
上記受光素子アレイと上記インターポーザ基板とを電気的に接続するボンディングワイヤーと、
上記ボンディングワイヤーを機械的及び電気的に保護する封止部材とを有することを特徴とする撮像装置。
The imaging apparatus according to any one of claims 1 to 6,
An interposer substrate for outputting an image signal output from the light receiving element array to an external circuit substrate;
A bonding wire for electrically connecting the light receiving element array and the interposer substrate;
An imaging device comprising: a sealing member that mechanically and electrically protects the bonding wire.
請求項1乃至7のいずれか1項に記載の撮像装置において、
上記受光素子アレイを一方の基板面上に実装した基板に貫通電極を設けることにより、該受光素子アレイから出力される画像信号の出力端子を該基板の他方の基板面に設けたことを特徴とする撮像装置。
The imaging device according to any one of claims 1 to 7,
An output terminal for an image signal output from the light receiving element array is provided on the other substrate surface of the substrate by providing a through electrode on the substrate on which the light receiving element array is mounted on one substrate surface. An imaging device.
JP2012201111A 2012-09-13 2012-09-13 Imaging apparatus Pending JP2014057231A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012201111A JP2014057231A (en) 2012-09-13 2012-09-13 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012201111A JP2014057231A (en) 2012-09-13 2012-09-13 Imaging apparatus

Publications (1)

Publication Number Publication Date
JP2014057231A true JP2014057231A (en) 2014-03-27

Family

ID=50614178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012201111A Pending JP2014057231A (en) 2012-09-13 2012-09-13 Imaging apparatus

Country Status (1)

Country Link
JP (1) JP2014057231A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016010063A (en) * 2014-06-25 2016-01-18 キヤノン株式会社 Imaging apparatus
WO2017056865A1 (en) * 2015-09-29 2017-04-06 大日本印刷株式会社 Lens sheet, lens sheet unit, imaging module, imaging device
JP2018098343A (en) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 Imaging device, metal thin film filter, and electronic equipment
JP2019016998A (en) * 2017-07-10 2019-01-31 海華科技股▲分▼有限公司 Portable electronic device, image-capturing module, and image-sensing unit
US10438365B2 (en) 2016-09-12 2019-10-08 Sony Interactive Entertainment Inc. Imaging device, subject information acquisition method, and computer program
US10515999B2 (en) 2015-08-12 2019-12-24 Sony Interactive Entertainment Inc. Imaging element, image sensor, imaging apparatus, and information processing apparatus
CN111830053A (en) * 2019-04-18 2020-10-27 克朗斯股份公司 Transmitted light inspection apparatus and transmitted light inspection method for inspecting containers
US11770940B2 (en) 2015-07-01 2023-09-26 Sony Interactive Entertainment Inc. Imaging element, image sensor, and information processing apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016010063A (en) * 2014-06-25 2016-01-18 キヤノン株式会社 Imaging apparatus
US11770940B2 (en) 2015-07-01 2023-09-26 Sony Interactive Entertainment Inc. Imaging element, image sensor, and information processing apparatus
US10515999B2 (en) 2015-08-12 2019-12-24 Sony Interactive Entertainment Inc. Imaging element, image sensor, imaging apparatus, and information processing apparatus
WO2017056865A1 (en) * 2015-09-29 2017-04-06 大日本印刷株式会社 Lens sheet, lens sheet unit, imaging module, imaging device
US11333802B2 (en) 2015-09-29 2022-05-17 Dai Nippon Printing Co., Ltd. Lens sheet, lens sheet unit, imaging module, imaging device
US10438365B2 (en) 2016-09-12 2019-10-08 Sony Interactive Entertainment Inc. Imaging device, subject information acquisition method, and computer program
JP2018098343A (en) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 Imaging device, metal thin film filter, and electronic equipment
JP2019016998A (en) * 2017-07-10 2019-01-31 海華科技股▲分▼有限公司 Portable electronic device, image-capturing module, and image-sensing unit
US10388685B2 (en) 2017-07-10 2019-08-20 Azurewave Technologies, Inc. Portable electronic device and image-capturing module thereof, and image-sensing assembly thereof
CN111830053A (en) * 2019-04-18 2020-10-27 克朗斯股份公司 Transmitted light inspection apparatus and transmitted light inspection method for inspecting containers
CN111830053B (en) * 2019-04-18 2024-03-15 克朗斯股份公司 Transmitted light inspection apparatus and transmitted light inspection method for inspecting containers

Similar Documents

Publication Publication Date Title
JP2014057231A (en) Imaging apparatus
JP5421364B2 (en) 3D imaging device
JP5915537B2 (en) IMAGING ELEMENT AND IMAGING DEVICE
US9300885B2 (en) Imaging device, portable information terminal, and imaging system
US20150324992A1 (en) Imaging device and portable information terminal
JP2015128131A (en) Solid state image sensor and electronic apparatus
EP3439038A1 (en) Image capturing element and image capturing device
JP2013187475A (en) Solid state imaging device and camera system
CN105338263B (en) Image sensor and image pickup apparatus including the same
CN105684436B (en) Image pickup element and image pickup apparatus
JP2014187160A (en) Solid-state imaging device and portable information terminal
JP2014003116A (en) Image pickup device
WO2010100896A1 (en) Image pickup device and solid-state image pickup element of the type illuminated from both faces
WO2021022425A1 (en) Fingerprint detection apparatus and electronic device
JP5971078B2 (en) Solid-state imaging device and imaging apparatus
JP2006165601A (en) Imaging apparatus and imaging element
JP2014003433A (en) Imaging apparatus
JP6089440B2 (en) Imaging device and imaging apparatus
JP5248971B2 (en) Imaging unit manufacturing method and imaging unit
JP2005252411A (en) Solid-state imaging device and electronic information apparatus
JP6323493B2 (en) Imaging device and imaging apparatus
WO2016143194A1 (en) Image capture device
JP2012151421A (en) Image sensing device
JP2018137457A (en) Imaging element and imaging apparatus
JP2016219500A (en) Imaging device package and imaging apparatus