JP2014057231A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2014057231A JP2014057231A JP2012201111A JP2012201111A JP2014057231A JP 2014057231 A JP2014057231 A JP 2014057231A JP 2012201111 A JP2012201111 A JP 2012201111A JP 2012201111 A JP2012201111 A JP 2012201111A JP 2014057231 A JP2014057231 A JP 2014057231A
- Authority
- JP
- Japan
- Prior art keywords
- light
- light receiving
- receiving element
- element array
- optical filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域の中から選択される少なくとも2種類の領域を有する光学フィルタを用いて複数の光学成分についての画像情報を出力する撮像装置に関するものである。 The present invention relates to an optical filter having at least two types of regions selected from one or more selected filter regions that selectively transmit a specific optical component and a non-selected filter region that transmits incident light as they are. The present invention relates to an image pickup apparatus that outputs image information about a plurality of optical components.
この種の撮像装置としては、所定の撮像領域を撮像して得た画像信号から、所望の偏光成分のみを抽出した画像情報や、所望の波長帯域のみを抽出した画像情報などを生成するものが知られている。このような撮像装置は、例えば、偏光フィルタや分光フィルタ等の光学フィルタにより、撮像領域からの光から所望の偏光成分や波長成分等(所望の光学成分)だけを、多数の受光素子を2次元配置された受光素子アレイへ受光させる。これにより、各受光素子で受光した受光量に応じて、所望の光学成分を抽出した撮像領域の画像情報を得ることができる。 As this type of imaging apparatus, there is an apparatus that generates image information obtained by extracting only a desired polarization component or image information obtained by extracting only a desired wavelength band from an image signal obtained by imaging a predetermined imaging area. Are known. Such an imaging apparatus, for example, two-dimensionally receives a large number of light receiving elements from an optical filter such as a polarizing filter or a spectral filter by using only a desired polarization component or wavelength component (desired optical component) from the light from the imaging region. Light is received by the arranged light receiving element array. Thereby, the image information of the imaging area which extracted the desired optical component according to the light reception amount received by each light receiving element can be obtained.
特許文献1には、光学フィルタとして、それぞれ透過軸が異なる2つ以上の偏光子の領域に分割された偏光子アレイを用いた偏光イメージング装置が開示されている。この偏光イメージング装置は、偏光子アレイの各領域を透過した光を独立に受光する受光素子アレイを備えている。この偏光イメージング装置によれば、1回の撮像動作で、互いに異なる2以上の偏光成分それぞれを抽出した画像情報を得ることができる。
このような互いに異なる複数の光学成分から生成される光学成分抽出画像は、例えば、撮像領域内の物体を識別する物体識別処理に好適に利用される。このような光学成分抽出画像を利用すれば、単なる輝度情報のみからなる画像情報(モノクロ画像情報)で物体識別処理を行う場合よりも、高い精度での物体識別が可能となる。このような撮像装置は、近年、例えば、車載カメラとして用いられ、自車の進行方向前方領域(撮像領域)を撮像して得られる撮像画像に基づく物体検出処理を行って先行車両や対向車両などの物体を検出し、自車の運転者(ドライバー)の運転負荷を軽減させる運転者支援システムへ利用されている。また、例えば、ロボット制御などに用いられる物体識別装置のための撮像装置など、その他の分野でも幅広く利用されることが期待されている。 Such an optical component extraction image generated from a plurality of different optical components is preferably used for, for example, an object identification process for identifying an object in an imaging region. By using such an optical component extraction image, it is possible to identify an object with higher accuracy than when performing object identification processing with image information (monochrome image information) consisting only of luminance information. In recent years, such an imaging device is used as, for example, an in-vehicle camera, and performs an object detection process based on a captured image obtained by imaging a forward area (imaging area) in the traveling direction of the host vehicle, and the preceding vehicle, an oncoming vehicle, and the like. It is used in a driver assistance system that detects the object of the vehicle and reduces the driving load on the driver of the own vehicle. In addition, it is expected to be widely used in other fields such as an imaging device for an object identification device used for robot control.
上記特許文献1に記載の偏光イメージング装置によれば、1回の撮像動作で、互いに異なる2以上の偏光成分それぞれを抽出した画像情報を得ることができるが、以下のような問題点がある。すなわち、この偏光イメージング装置では、各偏光子領域(選択フィルタ領域)を撮像画素と一対一で対応するように周期的に配列した偏光子アレイ(光学フィルタ)を用いる必要がある。このような偏光子アレイを製造する場合、個々の偏光子領域をサブピクセルレベルで互いに隣り合うように形成するという高精度な製造作業が要求される。また、このような偏光子アレイ(光学フィルタ)を用いて複数の偏光成分についての画像情報を適切に得るためには、その偏光子アレイの各偏光子領域と受光素子アレイ上の1個又は数個の受光素子からなる撮像画素とを一対一でアライメントする必要がある。そのため、偏光子アレイと受光素子アレイとのアライメントには、サブピクセルレベルの精度が要求される。したがって、上記特許文献1に記載の偏光イメージング装置は、このような高精度の要求によって製造が困難であるという問題点がある。
According to the polarization imaging apparatus described in
この問題点は、撮像画素と一対一で対応するように選択フィルタ領域が周期的に配列された光学フィルタを通じて撮像領域を撮像し、複数の光学成分についての画像情報を出力する撮像装置であれば、同様に生じ得る。また、撮像画素と一対一で対応するように選択フィルタ領域と非選択フィルタ領域とが周期的に配列された光学フィルタを用いる撮像装置でも、同様に生じ得る。 The problem is that the imaging device captures an imaging region through an optical filter in which selection filter regions are periodically arranged so as to have a one-to-one correspondence with an imaging pixel, and outputs image information about a plurality of optical components. Can occur as well. This can also occur in an image pickup apparatus that uses an optical filter in which a selection filter region and a non-selection filter region are periodically arranged so as to have a one-to-one correspondence with an image pickup pixel.
本発明は、以上の問題点に鑑みなされたものであり、その目的とするところは、製造作業が容易で、1回の撮像動作で複数の光学成分についての画像情報を得ることができる撮像装置を提供することである。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an imaging apparatus that is easy to manufacture and that can obtain image information about a plurality of optical components in a single imaging operation. Is to provide.
本発明は、撮像領域からの光を集光させる集光手段と、上記集光手段により集光される光を受光する受光素子が2次元配置された受光素子アレイと、上記集光手段と上記受光素子アレイとの間に配置され、該集光手段により集光された光のうちの特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び該集光手段により集光された光をそのまま透過させる非選択フィルタ領域の中から選択される少なくとも2種類の領域を有する光学フィルタとを有し、上記受光素子アレイから出力される画像信号に基づいて、複数の光学成分についての画像情報を出力する撮像装置において、上記光学フィルタを透過した光を上記受光素子アレイ上へ集光させる微小集光部材が2次元配置された微小集光部材アレイを有し、各微小集光部材は、その微小集光部材へ入射する光の入射方向に応じてその微小集光部材が集光した光が互いに異なる受光素子に受光されるように構成されていることを特徴とする。 The present invention includes a light collecting means for collecting light from an imaging region, a light receiving element array in which light receiving elements for receiving light collected by the light collecting means are two-dimensionally arranged, the light collecting means, One or two or more types of selective filter regions that are arranged between the light receiving element array and selectively transmit specific optical components of the light collected by the light collecting means and the light collecting means. An optical filter having at least two types of regions selected from non-selection filter regions that transmit light as it is, and a plurality of optical components based on image signals output from the light receiving element array An image pickup apparatus that outputs image information about a micro-light-condensing member array in which a micro-light-condensing member that condenses light transmitted through the optical filter onto the light-receiving element array is two-dimensionally arranged. The condensing member is configured such that light collected by the minute condensing member is received by different light receiving elements according to the incident direction of the light incident on the minute condensing member. .
本発明においては、上記少なくとも2種類の領域を有する光学フィルタを用いることで、複数の光学成分についての画像情報を、1度の撮像動作で得ることができる。ここでいう光学成分は、光学フィルタをそのまま透過させる光も含むものである。したがって、本撮像装置によれば、例えば、互いに偏光方向が異なる複数の偏光成分についての画像情報、特定の偏光成分についての画像情報と非偏光の画像情報、互いに波長帯が異なる複数の分光成分についての画像情報、特定の波長帯の分光成分についての画像情報と非分光の画像情報などを、1度の撮像動作で得ることができる。 In the present invention, image information about a plurality of optical components can be obtained by one imaging operation by using the optical filter having the at least two types of regions. The optical component here includes light that passes through the optical filter as it is. Therefore, according to the imaging apparatus, for example, image information about a plurality of polarization components having different polarization directions, image information about a specific polarization component and non-polarization image information, and a plurality of spectral components having different wavelength bands. Image information, image information about spectral components in a specific wavelength band, non-spectral image information, and the like can be obtained by a single imaging operation.
また、本発明は、上述の微小集光部材アレイを備えることにより、撮像画素と一対一で対応するように選択フィルタ領域又は非選択フィルタ領域が周期的に配列された光学フィルタを用いなくとも、複数の光学成分について同等の画像情報を得ることができる。これは、微小集光部材アレイの各微小集光部材へ入射する光の入射方向に応じて、各微小集光部材が集光した光を受光する受光素子アレイ上の受光領域が変化するというプレノプティックカメラ方式の撮像装置の特徴を利用したものである。すなわち、本発明において、微小集光部材アレイ上の各微小集光部材に対応付けられた受光素子のうちのどの受光素子で受光したかという情報は、その微小集光部材に対してどの方向から入射した光なのかを特定する情報を示すものとなる。したがって、本発明によれば、微小集光部材アレイに対する入射方向ごとに、異なる画像情報を得ることができる。その結果、微小集光部材アレイに対する特定の入射方向の先に特定の光学成分を透過させる選択フィルタ領域又は非選択フィルタ領域を配置し、微小集光部材アレイに対する別の入射方向の先に別の光学成分を透過させる選択フィルタ領域又は非選択フィルタ領域を配置した光学フィルタを用いれば、微小集光部材アレイ上の各微小集光部材に対応付けられた受光素子のうちのどの受光素子で受光したかという情報によって、光学フィルタ上のどの領域を通過した光なのかを特定することができる。よって、その情報を用いることで、受光素子アレイから出力される画像信号から、複数の光学成分についての画像情報を得ることができる。 In addition, the present invention includes the above-described minute light collecting member array, so that an optical filter in which selection filter regions or non-selection filter regions are periodically arranged so as to correspond one-to-one with an imaging pixel can be used. Equivalent image information can be obtained for a plurality of optical components. This is because the light receiving area on the light receiving element array for receiving the light collected by each micro light collecting member changes according to the incident direction of the light incident on each micro light collecting member of the micro light collecting member array. It utilizes the characteristics of a noptic camera type imaging device. That is, in the present invention, the information on which light receiving element among the light receiving elements associated with each micro light condensing member on the micro light condensing member array is received from which direction with respect to the micro light condensing member. It indicates information for identifying whether the light is incident. Therefore, according to the present invention, different image information can be obtained for each incident direction with respect to the minute light collecting member array. As a result, a selective filter region or a non-selection filter region that transmits a specific optical component is arranged ahead of a specific incident direction with respect to the micro-light-collecting member array, and another tip is placed ahead of another incident direction with respect to the micro-light-collecting member array. If an optical filter having a selection filter region or a non-selection filter region that transmits an optical component is used, the light receiving element received by any one of the light receiving elements associated with each micro light condensing member on the micro light condensing member array This information can identify which region on the optical filter has passed through the light. Therefore, by using the information, image information for a plurality of optical components can be obtained from the image signal output from the light receiving element array.
よって、本発明によれば、光学フィルタに設けられる選択フィルタ領域又は非選択フィルタ領域は、個々の撮像画素に対して一対一に対応するように設ける必要がなくなる。これにより、光学フィルタを製造するにあたり、個々の選択フィルタ領域又は非選択フィルタ領域をサブピクセルレベルで互いに隣り合うように形成するというような高精度な製造作業が要求されることはない。光学フィルタと受光素子アレイとのアライメントに際して、サブピクセルレベルの精度が要求されることもない。 Therefore, according to the present invention, there is no need to provide the selection filter region or the non-selection filter region provided in the optical filter so as to correspond one-to-one with each imaging pixel. As a result, when manufacturing an optical filter, there is no need for a highly accurate manufacturing operation in which individual selected filter regions or non-selected filter regions are formed adjacent to each other at the subpixel level. Sub-pixel level accuracy is not required for alignment between the optical filter and the light receiving element array.
以上、本発明によれば、1回の撮像動作で複数の光学成分についての画像情報を得ることができる撮像装置の製造作業が容易となるという優れた効果が得られる。 As described above, according to the present invention, it is possible to obtain an excellent effect of facilitating the manufacturing operation of an imaging device that can obtain image information about a plurality of optical components in one imaging operation.
以下、本発明に係る撮像装置を、互いに異なる4つの偏光成分についての画像情報を出力する偏光カメラに適用した一実施形態について説明する。
図1は、本実施形態における偏光カメラの概略構成を示す説明図である。
この偏光カメラは、主に、集光手段としての撮像レンズ1と、光学フィルタ2と、受光素子が2次元配置された受光素子アレイを有する画像センサ3が搭載されたセンサ基板4と、センサ基板4から出力されるアナログ電気信号(画像センサ3上の各受光素子が受光した受光量)をデジタル電気信号(画素信号)に変換するA/D変換部6と、A/D変換部6から出力されるデジタル電気信号に対して画像処理を行って各偏光成分についての画像データ(画像情報)を生成して出力する信号処理部7とから構成されている。
Hereinafter, an embodiment in which the imaging apparatus according to the present invention is applied to a polarization camera that outputs image information of four different polarization components will be described.
FIG. 1 is an explanatory diagram showing a schematic configuration of a polarization camera in the present embodiment.
This polarized camera mainly includes an
図2は、本実施形態における偏光カメラの概略構成を、撮像レンズ1側から見たときの斜視図である。
図3は、本実施形態における偏光カメラの概略構成を、センサ基板4の基板面に対して垂直に切断したときの断面図である。
光学フィルタ2は、図2に示すように、撮像レンズ1を透過した光が通過する領域が4分割されている。分割した4つの領域には、それぞれ、互いに異なる方向の偏光成分(偏光軸が異なる偏光成分)を透過させる4種類の偏光フィルタ領域(選択フィルタ領域)201A,201B,201C,201Dが対応付けられている。本実施形態の光学フィルタ2は、撮像レンズ1側の面に表面保護層としてのカバーガラス202を備えている。画像センサ3は、CCD(Charge Coupled Device)やCMOS(Complementary Metal
Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード301を用いている。フォトダイオード301は、2次元的にアレイ配置されている。
FIG. 2 is a perspective view of the schematic configuration of the polarization camera according to the present embodiment as viewed from the
FIG. 3 is a cross-sectional view of the schematic configuration of the polarization camera in the present embodiment cut perpendicularly to the substrate surface of the
As shown in FIG. 2, the
Oxide Semiconductor) and the like, and a
本実施形態において、光学フィルタ2と画像センサ3との間には、光学フィルタ2を透過した光を画像センサ3上へ集光させる微小集光部材としてのマイクロレンズ501が2次元配置された微小集光部材アレイとしてのマイクロレンズアレイ5が配置されている。マイクロレンズアレイ5は、マイクロレンズ501が2次元配置されたものであり、1個のマイクロレンズ501に対して画像センサ3上の複数個のフォトダイオード301が対向するように、画像センサ3上に設けられている。本実施形態では、光学フィルタ2が4種類の偏光フィルタ領域を備えているので、1個のマイクロレンズ501に対して少なくとも4つのフォトダイオード301が対向するように構成されている。
In the present embodiment, a
本実施形態では説明の簡略化のために、1個のマイクロレンズ501に対して2×2のフォトダイオード301が対応配置されている例について説明する。したがって、本実施形態では、画像センサ3上の1個のフォトダイオード301が1個の撮像画素に対応するものとなる。一方、本偏光カメラにより撮像される4つの偏光成分についての画像データ上の1個の画素(画像画素)は、1個のマイクロレンズ501に対応するものとなり、画像データの解像度は、画像センサ3上の撮像画素の解像度の1/4となる。
In the present embodiment, for simplification of description, an example in which 2 × 2
また、本実施形態においては、光学フィルタ2の表面に形成されるカバーガラス202と画像センサ3とがスペーサ302を介して所定距離だけ離間させて連結されている。このスペーサ302によって、光学フィルタ2とマイクロレンズアレイ5及び画像センサ3との距離が所定の距離に規定されている。
In the present embodiment, the
また、本実施形態のセンサ基板4は、画像センサ3の出力信号を外部の回路基板へ出力するためのインターポーザ基板として機能している。画像センサ3とセンサ基板4との間はボンディングワイヤー401によって電気的に接続されている。本実施形態では、このボンディングワイヤー401を外部から機械的及び電気的に保護するための封止樹脂402によって覆っている。センサ基板4の画像センサ3が実装された面とは反対側の面(裏面)には、外部回路基板を電気的に接続するためのはんだボール403が具備されている。
In addition, the
本実施形態では、撮像レンズ1よりも後段側の部品をパッケージ化しているが、本偏光カメラを構成する撮像レンズ1、光学フィルタ2、センサ基板4等の組み付け方法に制限はなく、カメラ筐体に個々に組みつけても良いし、一部又は全部をパッケージ化しても良い。
In the present embodiment, components on the rear side of the
スペーサ302の材料は、エポキシ樹脂などの樹脂材料でも、シリコン基板を貫通エッチングするなどして作製した無機材料のスペーサであってもよい。また、本実施形態では、センサ基板4と外部回路基板とをボールグリッドアレイにて接続する例であるが、この方法に制限されたものではなく、リードグリッドアレイ等を利用した接続方法を採用してもよい。 また、本実施形態では、光学フィルタ2のフィルタ層部分201A,201B,201C,201Dが単層構成の例であるが、複数層構成としてもよく、所望のフィルタ機能が発現できれば、光の波長以下の構造を利用した光学素子を用いた層でも、屈折率や多層膜を利用した光学素子を用いた層でもよい。
The material of the
次に、本偏光カメラを用いて4つの偏光成分についての画像データを得るメカニズムについて説明する。
図4は、マイクロレンズアレイ5に入射する光の方向と画像センサ3上のフォトダイオード301(撮像画素)との関係を示す説明図である。
本実施形態の偏光カメラにおいては、マイクロレンズアレイ5上の各マイクロレンズ501に対応付けられた4つのフォトダイオード301のうちのどのフォトダイオード301で受光したかという情報は、そのマイクロレンズ501に対してどの方向から入射した光なのかを特定する情報を示すものとなる。
Next, a mechanism for obtaining image data for four polarization components using the present polarization camera will be described.
FIG. 4 is an explanatory diagram showing the relationship between the direction of light incident on the
In the polarization camera of the present embodiment, information on which photodiode 301 of the four
例えば、図4に示すように、マイクロレンズアレイ5の1個のマイクロレンズ501aに対して図中左上から斜めに入射した光La(図中実線)と図中左下から斜めに入射した光Lb(図中破線)とを比較する。この場合、マイクロレンズ501aに対する入射角の違いにより、入射光Laは、そのマイクロレンズ501aに対応配置されたフォトダイオード301のうち図中下側のフォトダイオード301aに受光され、入射光Lbは、図中上側のフォトダイオード301aに受光される。このように、マイクロレンズ501aに対応付けられた4つのフォトダイオード301a〜301dのうちのどのフォトダイオードで受光したかという情報は、そのマイクロレンズ501aに対してどの方向から入射した光なのかを特定する情報を示すものである。
For example, as shown in FIG. 4, light La (obtained from the upper left in the figure) obliquely incident on one microlens 501a of the
そして、本実施形態では、マイクロレンズ501aに対応付けられた4つのフォトダイオード301a〜301dにそれぞれ受光される光の入射方向の先には、それぞれ、光学フィルタ2の各偏光フィルタ領域201A〜201Dが配置されている。したがって、本実施形態においては、マイクロレンズ501aに対応付けられた4つのフォトダイオード301a〜301dのうちのどのフォトダイオードで受光したかという情報は、光学フィルタ2のどの偏光フィルタ領域201A〜201Dを通過した光なのかを特定する情報を示すものである。よって、本実施形態によれば、画像センサ3から出力される画像信号から、光学フィルタ2の4種類の偏光フィルタ領域201A〜201Dによってそれぞれ選択された偏光成分についての4種類の画像情報を得ることができる。
In the present embodiment, the
〔変形例1〕
次に、本実施形態における偏光カメラの一変形例(以下、本変形例を「変形例1」という。)について説明する。
図5は、本変形例1における偏光カメラの概略構成を、センサ基板4の基板面に対して垂直に切断したときの断面図である。
本変形例1の偏光カメラにおいては、光学フィルタ2の各偏光フィルタ領域201A,201B,201C,201Dを形成するフィルタ層部分が、カバーガラス202における画像センサ3と対向する面とは反対側の面(図中上面)に設けられている。このような構成により、上記実施形態の構成と比較してパッケージの厚さを薄くすることが可能となり、小スペース化、低コスト化を図ることができる。
[Modification 1]
Next, a modification of the polarization camera in the present embodiment (hereinafter, this modification is referred to as “
FIG. 5 is a cross-sectional view of the schematic configuration of the polarization camera according to the first modification when cut perpendicularly to the substrate surface of the
In the polarization camera of the first modification, the surface of the filter layer that forms the
〔変形例2〕
次に、本実施形態における偏光カメラの他の変形例(以下、本変形例を「変形例2」という。)について説明する。
図6は、本変形例2における偏光カメラの概略構成を、センサ基板4の基板面に対して垂直に切断したときの断面図である。
本変形例2の偏光カメラにおいては、センサ基板4に貫通電極404を設けて、そのセンサ基板4の一方の面(図中上側の基板面)に実装された画像センサ3から出力される画像信号の出力端子をセンサ基板4の他方の面(図中下側の基板面)に設けている。センサ基板4の他方の面(図中下側の基板面)には、画像センサ3と貫通電極404とを絶縁するための絶縁層405と、外部回路基板を電気的に接続するためのはんだボール406とが設けられている。このような構成により、インターポーザ基板を設けることなく、画像センサ3の基板面から直接出力を外部に伝達することが可能となり、部品点数の削減、小型化を図ることができる。
[Modification 2]
Next, another modified example of the polarization camera in the present embodiment (hereinafter, this modified example is referred to as “modified example 2”) will be described.
FIG. 6 is a cross-sectional view of the schematic configuration of the polarization camera in the second modification when cut perpendicularly to the substrate surface of the
In the polarization camera of the second modified example, an image signal output from the
以上の説明では、複数の偏光成分についての画像情報を得る場合について説明したが、ある偏光成分についての画像情報と非偏光の画像情報を得る場合、複数の波長成分についての画像情報を得る場合、ある波長成分についての画像情報と非分光の画像情報を得る場合、ある偏光成分についての画像情報とある波長成分についての画像情報を得る場合などについても、同様である。 In the above description, the case where image information about a plurality of polarization components is obtained has been described. However, when obtaining image information about a certain polarization component and non-polarization image information, when obtaining image information about a plurality of wavelength components, The same applies to obtaining image information about a certain wavelength component and non-spectral image information, obtaining image information about a certain polarization component, and image information about a certain wavelength component.
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
撮像領域からの光を集光させる撮像レンズ1等の集光手段と、上記集光手段により集光される光を受光するフォトダイオード301等の受光素子が2次元配置された画像センサ3等の受光素子アレイと、上記集光手段と上記受光素子アレイとの間に配置され、該集光手段により集光された光のうちの複数の光学成分(4つの偏光成分)をそれぞれ選択的に透過させる4種類の偏光フィルタ領域201A〜201D等の選択フィルタ領域を有する光学フィルタ2とを有し、上記受光素子アレイから出力される画像信号に基づいて、複数の光学成分についての画像情報を出力する偏光カメラ等の撮像装置において、上記光学フィルタを透過した光を上記受光素子アレイ上へ集光させるマイクロレンズ501等の微小集光部材が2次元配置されたマイクロレンズアレイ5等の微小集光部材アレイを有し、各微小集光部材は、その微小集光部材へ入射する光の入射方向に応じてその微小集光部材が集光した光が互いに異なる受光素子に受光されるように構成されていることを特徴とする。
これによれば、各微小集光部材に対応付けられた所定数(光学フィルタの領域の種類数以上)の受光素子のうちのどの受光素子で受光したかという情報は、光学フィルタのどの領域を通過した光なのかを特定する情報を示すものとなる。よって、受光素子アレイから出力される画像信号から、光学フィルタの各領域を透過した複数の光学成分についての画像情報を得ることができる。しかも、上述の微小集光部材アレイを備えることにより、撮像画素と一対一で対応するように選択フィルタ領域又は非選択フィルタ領域が周期的に配列された光学フィルタを用いなくとも、複数の光学成分について同等の画像情報を得ることができ、撮像装置の製造作業が容易となる。
What has been described above is merely an example, and the present invention has a specific effect for each of the following modes.
(Aspect A)
An
According to this, information indicating which light receiving element among the predetermined number of light receiving elements (more than the number of types of areas of the optical filter) associated with each minute light collecting member is which region of the optical filter. It indicates information that identifies whether the light has passed through. Therefore, image information about a plurality of optical components transmitted through each area of the optical filter can be obtained from the image signal output from the light receiving element array. In addition, by providing the above-described micro light condensing member array, a plurality of optical components can be obtained without using an optical filter in which selection filter regions or non-selection filter regions are periodically arranged so as to correspond one-to-one with imaging pixels. The equivalent image information can be obtained for the imaging device, and the manufacturing operation of the imaging device is facilitated.
(態様B)
上記態様Aにおいて、上記光学フィルタが有する上記少なくとも2種類の領域は、それぞれ単一の領域を形成するように構成されていることを特徴とする。
これによれば、光学フィルタ上に形成される領域区画の数は領域の種類数と同等となり、一種類の領域について2以上の区画を形成する場合よりも、1つの区画面積を広くとることができる。よって、光学フィルタの製造にあたり高精度な作業が要求されることがなくなる。
(Aspect B)
In the aspect A, the at least two types of regions included in the optical filter are each configured to form a single region.
According to this, the number of region partitions formed on the optical filter is equal to the number of types of regions, and one partition area can be made wider than when two or more partitions are formed for one type of region. it can. Therefore, high-precision work is not required for manufacturing the optical filter.
(態様C)
上記態様A又はBにおいて、上記光学フィルタが有する上記少なくとも2種類の領域の中には、互いに異なる方向の偏光成分を透過させる2種類以上の偏光フィルタ領域が含まれていることを特徴とする。
これによれば、複数の偏光成分についての画像情報を得ることができる。
(Aspect C)
In the aspect A or B, the at least two types of regions of the optical filter include two or more types of polarizing filter regions that transmit polarized components in different directions.
According to this, image information about a plurality of polarization components can be obtained.
(態様D)
上記態様A〜Cのいずれかの態様において、上記光学フィルタが有する上記少なくとも2種類の領域の中には、互いに異なる波長成分を透過させる2種類以上の分光フィルタ領域が含まれていることを特徴とする。
これによれば、複数の波長成分についての画像情報を得ることができる。
(Aspect D)
In any of the above aspects A to C, the at least two types of regions of the optical filter include two or more types of spectral filter regions that transmit different wavelength components. And
According to this, image information about a plurality of wavelength components can be obtained.
(態様E)
上記態様A〜Dのいずれかの態様において、上記光学フィルタは、上記少なくとも2種類の領域をそれぞれ構成する部材を積層した構造となっていることを特徴とする。
これにより、単層構造よりも高いフィルタ特性を得ることが容易となる。
(Aspect E)
In any one of the above aspects A to D, the optical filter has a structure in which members constituting the at least two types of regions are laminated.
This makes it easier to obtain higher filter characteristics than the single layer structure.
(態様F)
上記態様A〜Eのいずれかの態様において、上記光学フィルタの表面に形成されるカバーガラス202等の表面保護層と上記受光素子アレイとがスペーサ302を介して所定距離だけ離間させて連結されていることを特徴とする。
これにより、光学フィルタと受光素子アレイ及び微小集光部材アレイとの距離を、適切な撮像動作が可能な所定距離に安定して維持することができる。
(Aspect F)
In any one of the above aspects A to E, a surface protective layer such as a
Thereby, the distance of an optical filter, a light receiving element array, and a micro condensing member array can be stably maintained at a predetermined distance that allows an appropriate imaging operation.
(態様G)
上記態様A〜Fのいずれかの態様において、上記受光素子アレイから出力される画像信号を外部の回路基板へ出力するためのセンサ基板4等のインターポーザ基板と、上記受光素子アレイと上記インターポーザ基板とを電気的に接続するボンディングワイヤー401と、上記ボンディングワイヤーを機械的及び電気的に保護する封止樹脂402等の封止部材とを有することを特徴とする。
これによれば、簡易な構成で、受光素子アレイからの画像信号を外部の回路基板へ出力することができる。
(Aspect G)
In any of the above aspects A to F, an interposer substrate such as a
According to this, an image signal from the light receiving element array can be output to an external circuit board with a simple configuration.
(態様H)
上記態様A〜Gのいずれかの態様において、上記受光素子アレイを一方の基板面上に実装した基板に貫通電極404を設けることにより、該受光素子アレイから出力される画像信号の出力端子を該基板の他方の基板面に設けたことを特徴とする。
これによれば、インターポーザ基板を設けることなく、画像センサ3の基板面から直接出力を外部に伝達することが可能となり、部品点数の削減、小型化を図ることができる。
(Aspect H)
In any of the above aspects A to G, by providing a through
According to this, it becomes possible to transmit the output directly from the substrate surface of the
以上のように、本実施形態の偏光カメラは、画像センサ3の前段にマイクロレンズアレイ5を配置したものであるが、このような配置構成は、例えば、特許文献2に記載の撮像装置でも採用されている。この特許文献2に記載の撮像装置は、互いに異なる複数の焦点面画像を画像処理により生成可能なプレノプティックカメラ方式の撮像装置(ライトフィールドカメラ)である。この撮像装置は、撮像領域からの物体光を集光するレンズと、このレンズにより集光された物体光をそれぞれ受ける複数のマイクロレンズが形成されたマイクロレンズアレイと、このマイクロレンズアレイの焦点距離の位置に配置された受光素子アレイとを備えている。
As described above, the polarization camera according to the present embodiment has the
ここで、プレノプティックカメラ方式の撮像装置の撮像原理について、図面を参照して説明する。
図7は、プレノプティックカメラ方式の撮像装置における光学系の構成を示した説明図である。
この撮像装置には、撮像レンズ(集光手段)11と、マイクロレンズアレイ(微小集光部材アレイ)15と、受光素子アレイ13とが備わっている。マイクロレンズアレイ15は、二次元平面上にマイクロオーダーのピッチでマイクロレンズ15a,15b,15c,・・・(微小集光部材)が規則的に配置されたもので、撮像レンズ11による結像位置の近傍に配置される。図7の例は、撮像領域内の物体面P1がマイクロレンズアレイ15上で結像する例である。このとき、物体面P1上の点光源から出た光は、撮像レンズ11を通過した後、マイクロレンズアレイ15上における1つのマイクロレンズ15aに集光する。マイクロレンズ15aに集光した光は、その後、マイクロレンズアレイ15の直後に配置されている受光素子アレイ上の1又は2以上の受光素子からなる対応受光領域に受光される。
Here, the imaging principle of the plenoptic camera type imaging apparatus will be described with reference to the drawings.
FIG. 7 is an explanatory diagram showing a configuration of an optical system in a plenoptic camera type imaging apparatus.
This imaging device includes an imaging lens (light collecting means) 11, a micro lens array (micro light collecting member array) 15, and a light
図8(a)は、物体面P1上の点光源から出た光がマイクロレンズアレイ15を介して受光素子アレイ13に受光される様子を示す説明図である。
図8(b)は、物体面P1よりも撮像レンズ11に近い物体面P2(図7参照)上の点光源から出た光がマイクロレンズアレイ15を介して受光素子アレイ13に受光される様子を示す説明図である。
物体面P1上の点光源からの光は、図8(a)に示すように、マイクロレンズアレイ15上の1つのマイクロレンズ15aに対応した受光素子アレイ13上の領域13aで受光される。このように、物体面P1上の各点光源からの光が受光される領域は、それぞれマイクロレンズアレイ15上の各マイクロレンズ15a,15b,15c,・・・に対応して決まっている。
FIG. 8A is an explanatory diagram showing a state in which light emitted from the point light source on the object plane P1 is received by the light receiving
FIG. 8B shows a state where light emitted from a point light source on the object plane P2 (see FIG. 7) closer to the
The light from the point light source on the object plane P1 is received by a
一方、物体面P2上にある点光源からの光は、図8(b)に示すように、マイクロレンズアレイ15上の1つのマイクロレンズだけに集光されるわけではなく、図7中破線で示すように、マイクロレンズアレイ15上の複数のマイクロレンズ15a〜15eに入射する。その後、マイクロレンズ15a〜15eに入射した光は、個々に収束または発散して、受光素子アレイ13上の複数の領域に分かれて受光される。したがって、物体面P2上の点光源からの光は、物体面P1上の各点光源からの光が受光される対応受光領域と同じ領域で受光されることはない。そして、マイクロレンズアレイ15の共役面である物体面P1から近いか遠いかで、受光素子アレイ13上における受光領域分布に違いが出る。このような違いを利用して、プレノプティックカメラ方式の撮像装置では、互いに異なる複数の焦点面画像を画像処理により生成可能である。
On the other hand, the light from the point light source on the object plane P2 is not focused on only one microlens on the
このようなプレノプティックカメラ方式の撮像装置も、受光素子アレイの前段にマイクロレンズアレイを配置し、各マイクロレンズに対応付けられた受光素子のうちのどの受光素子で受光したかという情報を利用して、各マイクロレンズに対してどの方向から入射した光なのかを特定する技術を利用する点で、本実施形態の偏光カメラと共通している。しかしながら、プレノプティックカメラ方式の撮像装置は、受光素子アレイからの画像信号から画像処理によって複数の焦点面画像を得るものである。そのため、そのような複数の焦点面画像が得られるように、撮像レンズ、マイクロレンズアレイ、受光素子アレイの構成や配置関係が決められているとともに、そのような複数の焦点面画像が得られるような特有の画像処理を行う。 Such a plenoptic camera type imaging device also has a microlens array arranged in front of the light receiving element array, and information on which light receiving element among the light receiving elements associated with each microlens receives light. This is common to the polarization camera of the present embodiment in that it uses a technique for identifying from which direction the light is incident on each microlens. However, the plenoptic camera type imaging apparatus obtains a plurality of focal plane images by image processing from image signals from the light receiving element array. Therefore, the configuration and arrangement relationship of the imaging lens, the microlens array, and the light receiving element array are determined so that such a plurality of focal plane images can be obtained, and such a plurality of focal plane images can be obtained. Special image processing.
これに対し、本実施形態の偏光カメラは、領域分割された光学フィルタの各領域を通過した光(その領域を通過する際に選択された光学成分)ごとの画像を得るものである。そのため、そのような複数の光学成分についての画像が得られるように、撮像レンズ、光学フィルタ、マイクロレンズアレイ、受光素子アレイの構成や配置関係が決められているとともに、そのような複数の光学成分についての画像が得られるような特有の画像処理を行う。プレノプティックカメラ方式の撮像装置は、このような領域分割された光学フィルタを備えていないことから、本実施形態の偏光カメラを示唆するものではない。 On the other hand, the polarization camera of the present embodiment obtains an image for each light (optical component selected when passing through the area) that has passed through each area of the optical filter divided into areas. Therefore, the configuration and arrangement relationship of the imaging lens, the optical filter, the microlens array, and the light receiving element array are determined so that an image of such a plurality of optical components can be obtained, and such a plurality of optical components Specific image processing is performed so as to obtain an image of. Since the plenoptic camera type imaging apparatus does not include such an optical filter divided into regions, it does not suggest the polarization camera of this embodiment.
1 撮像レンズ
2 光学フィルタ
3 画像センサ
4 センサ基板
5 マイクロレンズアレイ
6 A/D変換部
7 信号処理部
201A,201B,201C,201D 偏光フィルタ領域
202 カバーガラス
301 フォトダイオード
302 スペーサ
401 ボンディングワイヤー
402 封止樹脂
403,406 ボールはんだ
404 貫通電極
405 絶縁層
501 マイクロレンズ
DESCRIPTION OF
Claims (8)
上記集光手段により集光される光を受光する受光素子が2次元配置された受光素子アレイと、
上記集光手段と上記受光素子アレイとの間に配置され、該集光手段により集光された光のうちの特定の光学成分を選択的に透過させる1種類又は2種類以上の選択フィルタ領域及び該集光手段により集光された光をそのまま透過させる非選択フィルタ領域の中から選択される少なくとも2種類の領域を有する光学フィルタとを有し、
上記受光素子アレイから出力される画像信号に基づいて、複数の光学成分についての画像情報を出力する撮像装置において、
上記光学フィルタを透過した光を上記受光素子アレイ上へ集光させる微小集光部材が2次元配置された微小集光部材アレイを有し、
各微小集光部材は、その微小集光部材へ入射する光の入射方向に応じてその微小集光部材が集光した光が互いに異なる受光素子に受光されるように構成されていることを特徴とする撮像装置。 Condensing means for condensing light from the imaging region;
A light receiving element array in which light receiving elements that receive light collected by the light collecting means are two-dimensionally arranged;
One or two or more types of selective filter regions that are arranged between the light condensing means and the light receiving element array and selectively transmit a specific optical component of the light condensed by the light condensing means; An optical filter having at least two types of areas selected from non-selective filter areas that transmit light collected by the light collecting means as it is;
In an imaging device that outputs image information about a plurality of optical components based on an image signal output from the light receiving element array,
A micro condensing member array in which a micro condensing member that condenses light transmitted through the optical filter onto the light receiving element array is two-dimensionally arranged;
Each minute condensing member is configured such that light collected by the minute condensing member is received by different light receiving elements according to the incident direction of the light incident on the minute condensing member. An imaging device.
上記光学フィルタが有する上記少なくとも2種類の領域は、それぞれ単一の領域を形成するように構成されていることを特徴とする撮像装置。 The imaging device according to claim 1.
The image pickup apparatus, wherein each of the at least two types of regions of the optical filter is configured to form a single region.
上記光学フィルタが有する上記少なくとも2種類の領域の中には、互いに異なる方向の偏光成分を透過させる2種類以上の偏光フィルタ領域が含まれていることを特徴とする撮像装置。 The imaging device according to claim 1 or 2,
2. The imaging apparatus according to claim 1, wherein the at least two types of regions of the optical filter include two or more types of polarizing filter regions that transmit polarized components in different directions.
上記光学フィルタが有する上記少なくとも2種類の領域の中には、互いに異なる波長成分を透過させる2種類以上の分光フィルタ領域が含まれていることを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 3,
2. The imaging apparatus according to claim 1, wherein the at least two types of regions of the optical filter include two or more types of spectral filter regions that transmit different wavelength components.
上記光学フィルタは、上記少なくとも2種類の領域をそれぞれ構成する部材を積層した構造となっていることを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 4,
The optical filter has a structure in which members constituting the at least two types of regions are laminated.
上記光学フィルタの表面に形成される表面保護層と上記受光素子アレイとがスペーサを介して所定距離だけ離間させて連結されていることを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 5,
An imaging apparatus, wherein a surface protective layer formed on a surface of the optical filter and the light receiving element array are connected to each other with a predetermined distance therebetween via a spacer.
上記受光素子アレイから出力される画像信号を外部の回路基板へ出力するためのインターポーザ基板と、
上記受光素子アレイと上記インターポーザ基板とを電気的に接続するボンディングワイヤーと、
上記ボンディングワイヤーを機械的及び電気的に保護する封止部材とを有することを特徴とする撮像装置。 The imaging apparatus according to any one of claims 1 to 6,
An interposer substrate for outputting an image signal output from the light receiving element array to an external circuit substrate;
A bonding wire for electrically connecting the light receiving element array and the interposer substrate;
An imaging device comprising: a sealing member that mechanically and electrically protects the bonding wire.
上記受光素子アレイを一方の基板面上に実装した基板に貫通電極を設けることにより、該受光素子アレイから出力される画像信号の出力端子を該基板の他方の基板面に設けたことを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 7,
An output terminal for an image signal output from the light receiving element array is provided on the other substrate surface of the substrate by providing a through electrode on the substrate on which the light receiving element array is mounted on one substrate surface. An imaging device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012201111A JP2014057231A (en) | 2012-09-13 | 2012-09-13 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012201111A JP2014057231A (en) | 2012-09-13 | 2012-09-13 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014057231A true JP2014057231A (en) | 2014-03-27 |
Family
ID=50614178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012201111A Pending JP2014057231A (en) | 2012-09-13 | 2012-09-13 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014057231A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016010063A (en) * | 2014-06-25 | 2016-01-18 | キヤノン株式会社 | Imaging apparatus |
WO2017056865A1 (en) * | 2015-09-29 | 2017-04-06 | 大日本印刷株式会社 | Lens sheet, lens sheet unit, imaging module, imaging device |
JP2018098343A (en) * | 2016-12-13 | 2018-06-21 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device, metal thin film filter, and electronic equipment |
JP2019016998A (en) * | 2017-07-10 | 2019-01-31 | 海華科技股▲分▼有限公司 | Portable electronic device, image-capturing module, and image-sensing unit |
US10438365B2 (en) | 2016-09-12 | 2019-10-08 | Sony Interactive Entertainment Inc. | Imaging device, subject information acquisition method, and computer program |
US10515999B2 (en) | 2015-08-12 | 2019-12-24 | Sony Interactive Entertainment Inc. | Imaging element, image sensor, imaging apparatus, and information processing apparatus |
CN111830053A (en) * | 2019-04-18 | 2020-10-27 | 克朗斯股份公司 | Transmitted light inspection apparatus and transmitted light inspection method for inspecting containers |
US11770940B2 (en) | 2015-07-01 | 2023-09-26 | Sony Interactive Entertainment Inc. | Imaging element, image sensor, and information processing apparatus |
-
2012
- 2012-09-13 JP JP2012201111A patent/JP2014057231A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016010063A (en) * | 2014-06-25 | 2016-01-18 | キヤノン株式会社 | Imaging apparatus |
US11770940B2 (en) | 2015-07-01 | 2023-09-26 | Sony Interactive Entertainment Inc. | Imaging element, image sensor, and information processing apparatus |
US10515999B2 (en) | 2015-08-12 | 2019-12-24 | Sony Interactive Entertainment Inc. | Imaging element, image sensor, imaging apparatus, and information processing apparatus |
WO2017056865A1 (en) * | 2015-09-29 | 2017-04-06 | 大日本印刷株式会社 | Lens sheet, lens sheet unit, imaging module, imaging device |
US11333802B2 (en) | 2015-09-29 | 2022-05-17 | Dai Nippon Printing Co., Ltd. | Lens sheet, lens sheet unit, imaging module, imaging device |
US10438365B2 (en) | 2016-09-12 | 2019-10-08 | Sony Interactive Entertainment Inc. | Imaging device, subject information acquisition method, and computer program |
JP2018098343A (en) * | 2016-12-13 | 2018-06-21 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device, metal thin film filter, and electronic equipment |
JP2019016998A (en) * | 2017-07-10 | 2019-01-31 | 海華科技股▲分▼有限公司 | Portable electronic device, image-capturing module, and image-sensing unit |
US10388685B2 (en) | 2017-07-10 | 2019-08-20 | Azurewave Technologies, Inc. | Portable electronic device and image-capturing module thereof, and image-sensing assembly thereof |
CN111830053A (en) * | 2019-04-18 | 2020-10-27 | 克朗斯股份公司 | Transmitted light inspection apparatus and transmitted light inspection method for inspecting containers |
CN111830053B (en) * | 2019-04-18 | 2024-03-15 | 克朗斯股份公司 | Transmitted light inspection apparatus and transmitted light inspection method for inspecting containers |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014057231A (en) | Imaging apparatus | |
JP5421364B2 (en) | 3D imaging device | |
JP5915537B2 (en) | IMAGING ELEMENT AND IMAGING DEVICE | |
US9300885B2 (en) | Imaging device, portable information terminal, and imaging system | |
US20150324992A1 (en) | Imaging device and portable information terminal | |
JP2015128131A (en) | Solid state image sensor and electronic apparatus | |
EP3439038A1 (en) | Image capturing element and image capturing device | |
JP2013187475A (en) | Solid state imaging device and camera system | |
CN105338263B (en) | Image sensor and image pickup apparatus including the same | |
CN105684436B (en) | Image pickup element and image pickup apparatus | |
JP2014187160A (en) | Solid-state imaging device and portable information terminal | |
JP2014003116A (en) | Image pickup device | |
WO2010100896A1 (en) | Image pickup device and solid-state image pickup element of the type illuminated from both faces | |
WO2021022425A1 (en) | Fingerprint detection apparatus and electronic device | |
JP5971078B2 (en) | Solid-state imaging device and imaging apparatus | |
JP2006165601A (en) | Imaging apparatus and imaging element | |
JP2014003433A (en) | Imaging apparatus | |
JP6089440B2 (en) | Imaging device and imaging apparatus | |
JP5248971B2 (en) | Imaging unit manufacturing method and imaging unit | |
JP2005252411A (en) | Solid-state imaging device and electronic information apparatus | |
JP6323493B2 (en) | Imaging device and imaging apparatus | |
WO2016143194A1 (en) | Image capture device | |
JP2012151421A (en) | Image sensing device | |
JP2018137457A (en) | Imaging element and imaging apparatus | |
JP2016219500A (en) | Imaging device package and imaging apparatus |