JP2019029851A - カメラモジュールおよび撮像装置 - Google Patents
カメラモジュールおよび撮像装置 Download PDFInfo
- Publication number
- JP2019029851A JP2019029851A JP2017148001A JP2017148001A JP2019029851A JP 2019029851 A JP2019029851 A JP 2019029851A JP 2017148001 A JP2017148001 A JP 2017148001A JP 2017148001 A JP2017148001 A JP 2017148001A JP 2019029851 A JP2019029851 A JP 2019029851A
- Authority
- JP
- Japan
- Prior art keywords
- sensing
- region
- imaging
- optical system
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 283
- 230000003287 optical effect Effects 0.000 claims abstract description 242
- 230000003595 spectral effect Effects 0.000 claims abstract description 128
- 238000009792 diffusion process Methods 0.000 claims description 41
- 238000005516 engineering process Methods 0.000 abstract description 19
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- ORFPWVRKFLOQHK-UHFFFAOYSA-N amicarbazone Chemical compound CC(C)C1=NN(C(=O)NC(C)(C)C)C(=O)N1N ORFPWVRKFLOQHK-UHFFFAOYSA-N 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Spectrometry And Color Measurement (AREA)
- Optical Filters (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】より適切な分光情報を得ることができるようにする。【解決手段】カメラモジュールは、画像を撮像するための画素が設けられたイメージング領域、および少なくともイメージング領域の画素とは異なる分光情報を取得可能な画素が設けられたセンシング領域を有する画素アレイ部と、外部からの光をイメージング領域へと導くイメージング光学系と、外部からの光をセンシング領域へと導くセンシング光学系とを備える。本技術は撮像装置に適用することができる。【選択図】図1
Description
本技術は、カメラモジュールおよび撮像装置に関し、特に、より適切な分光情報を得ることができるようにしたカメラモジュールおよび撮像装置に関する。
従来、R(赤)、G(緑)、およびB(青)の各色のカラーフィルタが設けられた画素を受光面の中央部分に配置し、受光面の周辺部分に少なくともR、G、Bの各色とは異なる他の色のカラーフィルタが設けられた画素を配置したカメラモジュールが提案されている(例えば、特許文献1参照)。
このようなカメラモジュールでは、画角中心部分ではR、G、およびBの各色の画素によりRGB情報、つまり目的とする被写体のカラーの画像情報が取得される。また、画角の周辺部分、つまり画角の端近傍の部分では、R、G、Bの各色とは異なる他の色の画素等により光源の分光情報が取得される。したがって、単一の固体撮像素子を用いて目的とする画像情報だけでなく分光情報も得ることができる。
しかしながら、上述した技術では、適切な分光情報を得ることができない場合があった。
例えば上述のカメラモジュールでは、1つの光学系が用いられて被写体からの光が画像情報を取得するための画素や、分光情報を取得するための画素へと導かれる。
そのため、カメラモジュールの画角中心部分にある被写体の情報が画像情報として得られ、画角の周辺部分にある被写体の情報が分光情報として得られることになる。したがって、分光検出に関する興味物体が画角中心部分にあるときには、分光情報として適切な情報を得ることができない。
本技術は、このような状況に鑑みてなされたものであり、より適切な分光情報を得ることができるようにするものである。
本技術の第1の側面のカメラモジュールは、画像を撮像するための画素が設けられたイメージング領域、および少なくとも前記イメージング領域の画素とは異なる分光情報を取得可能な画素が設けられたセンシング領域を有する画素アレイ部と、外部からの光を前記イメージング領域へと導くイメージング光学系と、外部からの光を前記センシング領域へと導くセンシング光学系とを備える。
本技術の第1の側面においては、画像を撮像するための画素が設けられたイメージング領域、および少なくとも前記イメージング領域の画素とは異なる分光情報を取得可能な画素が設けられたセンシング領域を有する画素アレイ部と、外部からの光を前記イメージング領域へと導くイメージング光学系と、外部からの光を前記センシング領域へと導くセンシング光学系とがカメラモジュールに設けられる。
本技術の第2の側面の撮像装置は、第1の側面のカメラモジュールと同様の撮像装置である。
本技術の第1の側面および第2の側面によれば、より適切な分光情報を得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈本技術の概要について〉
本技術は、撮像部の受光面に目的とする画像情報を得るための画素と、分光情報を得るための画素とを配置するとともに、画像情報を得るための光学系と、その光学系とは異なる分光情報を得るための光学系とを設けることで、適切な分光情報を得ることができるようにするものである。
本技術は、撮像部の受光面に目的とする画像情報を得るための画素と、分光情報を得るための画素とを配置するとともに、画像情報を得るための光学系と、その光学系とは異なる分光情報を得るための光学系とを設けることで、適切な分光情報を得ることができるようにするものである。
例えば、本技術はイメージセンサと光学系を有するカメラモジュールや、そのようなカメラモジュールを備えるデジタルスチルカメラ、デジタルビデオカメラ、携帯電話機などの各種の電子機器に適用することが可能である。
また、画像情報とともに取得する情報は分光情報に限らず、画像情報の被写体に関する情報であれば、どのような情報であってもよい。
すなわち、画像情報の被写体に関する情報は、例えば被写体までの距離情報、被写体の視差情報や形状情報、被写体の熱に関する情報、HDR(High Dinamic Range)に関する情報などであってもよい。
以下では、本技術を、画像情報と分光情報を取得可能なカメラモジュールに適用した場合を例として説明を続ける。
まず、本技術の概要について説明する。
本技術を適用したカメラモジュールは、例えば図1に示すように構成される。図1は、カメラモジュール11の光学系の光軸方向と垂直な方向から見たときの、カメラモジュール11の断面を示している。
カメラモジュール11は、撮像部21、イメージング光学系22、センシング光学系23−1、およびセンシング光学系23−2を有している。
撮像部21は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子からなり、撮像部21の受光面には、外部の被写体から入射した光を受光して光電変換する画素が複数配置されている。
ここでは、撮像部21の受光面の中心部分の領域であるイメージング領域R11には、被写体の画像情報、つまり被写体の画像を撮像するための画素が設けられている。特に、この例では撮像部21の受光面における、その受光面と略垂直に配置された遮光板24−1および遮光板24−2により囲まれた領域がイメージング領域R11となっている。
なお、以下、イメージング領域R11に設けられた画素をイメージング画素とも称し、それらのイメージング画素で得られた画素信号からなる画像の画像信号、つまり被写体の画像を撮像画像とも称することとする。
これに対して、撮像部21の受光面の端近傍の領域、つまり受光面の周辺領域であるセンシング領域R12-1およびセンシング領域R12-2には、被写体の分光情報を得るための画素が設けられている。
特に、この例では撮像部21の受光面における、その受光面と略垂直に配置された遮光板24−1および遮光板24−3により囲まれた領域がセンシング領域R12-1となっている。また、撮像部21の受光面における、その受光面と略垂直に配置された遮光板24−2および遮光板24−4により囲まれた領域がセンシング領域R12-2となっている。
なお、以下、遮光板24−1乃至遮光板24−4を特に区別する必要のない場合、単に遮光板24とも称し、以下、センシング領域R12-1およびセンシング領域R12-2を特に区別する必要のない場合、単にセンシング領域R12とも称することとする。
さらに、以下、センシング領域R12に設けられた画素をセンシング画素とも称し、それらのセンシング画素で得られた画素信号からなる画像をセンシング画像とも称することとする。
センシング領域R12に設けられた画素のなかには、少なくともイメージング領域R11に設けられた画素で得られる分光情報とは異なる分光情報が得られる画素が含まれている。
例えば撮像画像がRGBのカラー画像であるとする。この場合、イメージング領域R11には、R(赤)の色のカラーフィルタが設けられた画素(以下、R画素とも称する)、G(緑)の色のカラーフィルタが設けられた画素(以下、G画素とも称する)、およびB(青)の色のカラーフィルタが設けられた画素(以下、B画素とも称する)がイメージング画素として配置されている。例えばイメージング領域R11では、R画素、G画素、およびB画素がベイヤー配列で配置されている。
このようなイメージング領域R11に設けられた画素からは、R、G、およびBの各色成分についての分光情報が得られることになる。
これに対して、センシング領域R12には、少なくともR、G、およびBの各色とは異なる他の色のカラーフィルタが設けられた画素がセンシング画素として配置されている。
例えばR、G、およびBの各色とは異なる他の色は、W(ホワイト)、C(シアン)、M(マゼンダ)、Y(イエロー)などとされる。
以下では、特にWのカラーフィルタが設けられた画素をW画素とも称し、Cのカラーフィルタが設けられた画素をC画素とも称し、Mのカラーフィルタが設けられた画素をM画素とも称し、Yのカラーフィルタが設けられた画素をY画素とも称する。
その他、例えばセンシング領域R12には、IR(赤外)のカラーフィルタが設けられた画素(以下、IR画素とも称する)や、E(エメラルド)のカラーフィルタが設けられた画素(以下、E画素とも称する)などがセンシング画素として設けられても勿論よい。
センシング領域R12では、複数の異なる色の画素が所定パターンで配列されている。例えば、複数の異なる色の画素、つまり複数の異なるカラーフィルタが設けられた画素が互いに隣接するように並べられた所定の配列パターンを配列単位と称することとする。
配列単位には、センシング領域R12内にある全色成分の画素が含まれており、配列単位は、複数の色成分の画素の組み合わせからなる繰り返しパターンの最小単位、つまり周期的に繰り返し配置される画素の配列パターンの最小単位となる画素配列の領域である。例えばセンシング領域R12にC画素、M画素、およびY画素が設けられているものとすると、配列単位には、それらのC画素、M画素、およびY画素の各色成分の画素が少なくとも1つは含まれている。
センシング領域R12の画素配列は、このような配列単位が縦方向および横方向に、つまり行列状に繰り返し配置された(周期的に配置された)画素配列となっている。
換言すれば、センシング領域R12の画素配列は、複数の各色成分の画素が周期的に繰り返し配置された画素配列となっている。
W画素やC画素、M画素、Y画素、IR画素、E画素は、R画素、G画素、およびB画素の各色成分とは異なる色成分(波長成分)のカラーフィルタが設けられている画素である。したがって、W画素やC画素、M画素、Y画素、IR画素、E画素からは、R画素、G画素、およびB画素の各色(波長)とは異なる色の情報、つまり異なる分光情報を取得可能である。
以下では、イメージング領域R11にはR画素、G画素、およびB画素が設けられており、センシング領域R12には少なくともW画素、C画素、M画素、Y画素、IR画素、およびE画素のうちの何れかの画素が設けられているものとして説明を続ける。なお、センシング領域R12にR画素やG画素、B画素が設けられていても勿論よい。また、イメージング領域R11内の画素に設けられるカラーフィルタや、センシング領域R12内の画素に設けられるカラーフィルタは、どのようにして形成されてもよい。すなわち、イメージング領域R11やセンシング領域R12の各画素のカラーフィルタは、例えば一般的な吸収型有機材料や誘電体多層膜などでもよいし、プラズモン共鳴体により構成されたものであってもよい。画素のカラーフィルタをプラズモン共鳴体により構成する技術については、例えば特開2012−59865号公報等に記載されている。
センシング領域R12に配置されたセンシング画素で外部からの光を受光して光電変換することで得られた画素信号、つまりセンシング画像から得られる分光情報は、各色成分(波長成分)の光の受光量を示す情報である。すなわち、カメラモジュール11の画角内にある光源からの光のスペクトル情報である。
このような分光情報は、例えば撮像画像に対するホワイトバランス調整等の各種の画像処理や、撮像画像内の被写体の活性状況の検出等のセンシング処理などに利用される。
イメージング光学系22は、1または複数の光学レンズからなるイメージングレンズであり、外部から入射した光を撮像部21のイメージング領域R11へと導く。すなわち、イメージング光学系22は、外部から入射した光を集光してイメージング領域R11上に結像させる。
センシング光学系23−1は、例えば拡散板(ディフューザ)やシリンドリカルレンズなどからなり、外部から入射した光を撮像部21のセンシング領域R12-1へと導く。同様に、センシング光学系23−2は、例えば拡散板やシリンドリカルレンズなどからなり、外部から入射した光を撮像部21のセンシング領域R12-2へと導く。
なお、以下、センシング光学系23−1およびセンシング光学系23−2を特に区別する必要のない場合、単にセンシング光学系23とも称することとする。
以上のような構成とされたカメラモジュール11では、撮像画像とセンシング画像を得るために、それぞれ異なる光学系が用いられている。
例えば撮像画像とセンシング画像を得るために、1つのイメージングレンズが用いられるとする。つまり、イメージング領域R11にもセンシング領域R12にも、1つのイメージングレンズにより集光された光が入射するものとする。
この場合、撮像画像はイメージングレンズの画角の中心部分にある被写体の画像、つまりイメージングレンズの視野の中心部分にある被写体の画像となる。また、センシング画像はイメージングレンズの画角の周辺部分(端近傍部分)にある被写体の画像となる。
したがって、この例では撮像画像上の被写体に関する分光情報は得られないことになる。換言すれば、分光検出に関する興味物体、つまり分光情報を取得したい被写体がイメージングレンズの画角中心にあるときには、その被写体を対象とした分光情報を得ることができない。すなわち、適切な分光情報を得ることができない。
一方、図1に示すカメラモジュール11では、撮像画像を得るための光学系としてイメージング光学系22が設けられており、そのイメージング光学系22とは別に、分光情報を得るための光学系としてセンシング光学系23が設けられている。
そのため、カメラモジュール11では、分光検出の興味物体に応じたセンシング光学系23を配置することで、その興味物体の分光情報、つまり適切な分光情報を得ることができる。例えば、適切にセンシング光学系23を配置すれば、イメージング光学系22の画角、つまり撮像画像の画角と同一の画角の分光情報、または撮像画像の画角の中心部分に相当する画角の分光情報を得ることができる。
この場合、少なくとも撮像画像の中心部分にある被写体について分光情報を得ることができる。すなわち、撮像部21という単一のセンサにより、適切な分光情報を取得することができる。
しかも、この場合、1つの撮像部21に対してイメージング光学系22とセンシング光学系23を設けるだけでよいため、カメラモジュール11の部品数を少なくすることができ、低コスト化および小型化を実現することができる。
例えば撮像画像の画角と同等の画角の分光情報を得るために、撮像部の複数画素からなる領域ごとに、モジュールとしてレンズとカラーフィルタを配置し、多波長画像を得るようにすることも考えられる。しかし、そのような場合、撮像部とは別にレンズアレイやカラーフィルタアレイを設けなければならないので部品数が多くなり、カメラモジュールを小型化することが困難であり、コストも増加してしまう。
これに対して、カメラモジュール11では、撮像部とは別にカラーフィルタアレイを設ける必要はなく、カラーフィルタごとにレンズを設ける必要もないため、部品数が少なくて済み、カメラモジュール11の小型化と低コスト化を実現することができる。
なお、センシング光学系23は、必ずしも光学レンズ等の光学素子(光学部材)を有している必要はなく、センシング領域R12に外部からの光を導くことができるものであれば、どのようなものであってもよい。
すなわち、例えばセンシング光学系23は、遮光板24等により形成される円柱構造や多角柱構造のピンホールからなるピンホールアレイや、そのようなピンホールアレイと拡散板、レンズアレイ、レンズアレイと拡散板などとされてもよい。
〈第1の実施の形態〉
〈カメラモジュールの構成例〉
それでは、以下、本技術を適用した、さらに具体的な実施の形態について説明する。
〈カメラモジュールの構成例〉
それでは、以下、本技術を適用した、さらに具体的な実施の形態について説明する。
図2は、本技術を適用したカメラモジュールの構成例を示す図である。なお、図2において図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図2は、カメラモジュール11をイメージング光学系22の光軸方向から見た図となっている。以下では、イメージング光学系22の光軸方向をZ方向とも称し、図中、左右方向をX方向とも称し、図中、上下方向をY方向とも称することとする。これらのX方向、Y方向、およびZ方向は、互いに直交する方向である。
カメラモジュール11では、撮像部21の受光面の中心部分の領域がイメージング領域R11となっている。また、撮像部21の受光面の図中、左端部分の領域がセンシング領域R12-1となっており、同様に撮像部21の受光面の図中、右端部分の領域がセンシング領域R12-2となっている。
さらに、イメージング領域R11の図中、手前側にはイメージング光学系22が配置されている。特に、ここではZ方向から見たときに、つまりXY平面において、イメージング領域R11の面積よりもイメージング光学系22の断面の領域の面積が小さくなるようになされている。より詳細には、Z方向から見たときに、イメージング光学系22がイメージング領域R11内に含まれるようになされている。
センシング領域R12-1の図中、手前側にはセンシング光学系23−1が配置されており、センシング領域R12-2の図中、手前側にはセンシング光学系23−2が配置されている。
カメラモジュール11では、Z方向から見たときに、イメージング光学系22の断面の領域がイメージング領域R11よりも小さくなるようにすることで、イメージング光学系22に隣接してセンシング領域R12の直上にセンシング光学系23を配置することができる。これにより、イメージング光学系22の画角とセンシング光学系23の画角とにずれが生じてしまうことを防止し、イメージング光学系22の画角と略同じ画角の分光情報を得ることができるようになる。
〈撮像部の構成例〉
また、撮像部21は、例えば図3に示すように構成される。
また、撮像部21は、例えば図3に示すように構成される。
図3に示す撮像部21は、画素アレイ51、行走査回路52、PLL(Phase Locked Loop)53、DAC(Digital Analog Converter)54、カラムADC(Analog Digital Converter)回路55、列走査回路56、およびセンスアンプ57を有している。
画素アレイ51は、2次元に配列された複数の画素61を有している。画素61は、行走査回路52に接続される水平信号線Hと、カラムADC回路55に接続される垂直信号線Vとが交差する点にそれぞれ配置されており、光電変換を行うフォトダイオードと、蓄積された信号を読み出すための数種類のトランジスタで構成される。
すなわち、画素61は、図3の右側に拡大して示されているように、フォトダイオード71、転送トランジスタ72、フローティングディフュージョン73、増幅トランジスタ74、選択トランジスタ75、およびリセットトランジスタ76を有している。
フォトダイオード71は、外部から入射した光を受光して光電変換する光電変換素子であり、光電変換により得られた電荷を蓄積する。フォトダイオード71に蓄積された電荷は、転送トランジスタ72を介してフローティングディフュージョン73に転送される。
フローティングディフュージョン73は、増幅トランジスタ74のゲートに接続されている。画素61が信号の読み出しの対象となると、行走査回路52は水平信号線Hを介して選択トランジスタ75を制御し、選択トランジスタ75をオンさせる。
このようにして選択トランジスタ75がオンされると、画素61が選択状態となる。選択された画素61の信号は、増幅トランジスタ74をソースフォロワ(Source Follower)駆動することで、フォトダイオード71に蓄積された電荷の蓄積電荷量に対応する画素信号として、垂直信号線Vに読み出される。すなわち、フォトダイオード71から転送され、フローティングディフュージョン73に蓄積された電荷に応じた電圧信号が画素信号として、選択トランジスタ75から垂直信号線Vに出力される。
また、行走査回路52によりリセットトランジスタ76がオンされると、フローティングディフュージョン73に蓄積された電荷が排出され、フローティングディフュージョン73がリセットされる。
行走査回路52は、画素アレイ51の画素61を駆動(転送や、選択、リセットなど)するための駆動信号を、行ごとに順次、出力する。PLL53は、外部から供給されるクロック信号に基づいて、撮像部21内部の各ブロックの駆動に必要な所定の周波数のクロック信号を生成して出力する。
DAC54は、所定の電圧値から一定の傾きで電圧が降下した後に所定の電圧値に戻る形状(略鋸形状)のランプ信号を生成して出力する。
カラムADC回路55は、比較器81およびカウンタ82を、画素アレイ51の画素61の列に対応する個数だけ有しており、画素61から出力される画素信号からCDS(Correlated Double Sampling:相関2重サンプリング)動作により信号レベルを抽出して、デジタルの画素信号を出力する。
すなわち、比較器81が、DAC54から供給されるランプ信号と、画素61から出力される画素信号(輝度値)とを比較し、その結果得られる比較結果信号をカウンタ82に供給する。そして、カウンタ82が比較器81から出力される比較結果信号に応じて、所定の周波数のカウンタクロック信号をカウントすることで、画素信号をA/D変換する。
列走査回路56は、カラムADC回路55のカウンタ82に、順次、所定のタイミングで、画素信号を出力させる信号を供給する。センスアンプ57は、カラムADC回路55から供給される画素信号を増幅し、撮像部21の外部に出力する。
撮像部21では、画素アレイ51の領域部分が受光面となっており、その受光面上に上述したイメージング領域R11とセンシング領域R12とが設けられている。
したがって、画素アレイ51を構成する画素61のうち、イメージング領域R11に設けられた画素61がイメージング画素として機能する。また、画素アレイ51を構成する画素61のうち、センシング領域R12に設けられた画素61がセンシング画素として機能する。また、画素61の開口部分には、RやG、B、C、M、Yなどの各色成分のカラーフィルタが形成されている。
〈センシング光学系の構成例〉
続いて、図4を参照して、センシング光学系23のより具体的な構成例について説明する。なお、図4において図2における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
続いて、図4を参照して、センシング光学系23のより具体的な構成例について説明する。なお、図4において図2における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図4では、矢印Q11に示す部分は、図2における場合と同様に、カメラモジュール11をZ方向から見た図を示している。
また、図4において矢印Q12に示す部分は、カメラモジュール11のセンシング領域R12-2の部分を拡大した図であり、矢印Q13に示す部分は、カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の一部分を拡大した図である。
矢印Q12に示す部分は、センシング領域R12-2をZ方向から見たときの図を示しており、各四角形は図3に示した画素61に対応するセンシング画素を表している。
特に、ここではセンシング画素を表す四角形に施されたハッチ(模様)は、そのセンシング画素に設けられたカラーフィルタの色を表している。つまり、同じハッチが施されたセンシング画素は、同じカラーフィルタが設けられた、同じ色成分の画素であり、互いに異なるハッチが施された画素は、互いに異なるカラーフィルタが設けられた、互いに異なる色成分の画素である。
この例では、センシング領域R12には、4種類の色成分のセンシング画素が形成されており、互いに隣接する4つのセンシング画素(2画素×2画素)により、上述した配列単位が形成されている。
配列単位を構成する2画素×2画素の矩形の領域には、互いに異なる色成分の4つのセンシング画素が設けられており、また配列単位にはセンシング領域R12に設けられた全ての色成分のセンシング画素が含まれている。すなわち、ここでは配列単位には4種類の色成分のセンシング画素が含まれている。
また、センシング領域R12では、配列単位となる2画素×2画素の各領域がセンシング領域R12直上に形成された遮光板121によって囲まれている。この遮光板121は、図1に示した遮光板24に対応する。
なお、以下、センシング領域R12における遮光板121により囲まれる矩形の各領域を遮光領域とも称することとする。例えば図4では、2画素×2画素の領域R41が1つの遮光領域となっている。
また、ここでは1つの配列単位の領域が1つの遮光領域とされる例について説明したが、遮光領域はセンシング領域R12上に設けられた全ての色成分のセンシング画素が含まれている領域、すなわち少なくとも1つの配列単位の領域を含む領域であればよい。したがって、例えば4画素×4画素の領域、つまり互いに隣接する4つの配列単位からなる領域が1つの遮光領域とされてもよい。
カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の部分をX方向から見ると、矢印Q13に示すように、各遮光領域に外部からの光が入射することが分かる。
この例では、各配列単位の領域が遮光板121によって囲まれて遮光領域とされており、4つの遮光領域のそれぞれに対して、遮光板121によりピンホール122−1乃至ピンホール122−4のそれぞれが形成されている。
なお、以下、ピンホール122−1乃至ピンホール122−4を特に区別する必要のない場合、単にピンホール122とも称することとする。
図4では、撮像部21の受光面に対して垂直な方向(Z方向)に長い遮光板121が設けられており、遮光板121により形成されたZ方向に長い四角柱形状の空間部分が1つのピンホール122となっている。
ここでは、各ピンホール122は四角柱形状となっているが、ピンホール122は円柱形状や多角柱形状など、どのような形状であってもよい。
また、1つのピンホール122に注目すると、そのピンホール122に隣接する遮光領域のX方向の長さやY方向の長さに対して、ピンホール122を形成する遮光板121のZ方向の長さがより長くなっている。換言すれば、ピンホール122は、X方向やY方向の長さよりもZ方向の長さがより長い、つまりZ方向の深さが深いアスペクト付きピンホールとなっている。
さらに、各ピンホール122の径、すなわちX方向やY方向の直径(長さ)は、遮光領域、つまり配列単位の領域のX方向の長さやY方向の長さよりも長くなるようになされている。換言すれば、ピンホール122の開口部分の面積は、遮光領域、すなわち配列単位の面積よりも大きくなるようになされている。これにより、1つのピンホール122により、外部からの光を少なくとも配列単位を構成するセンシング画素からなる領域へと導くことができる。
この実施の形態では、受光面におけるセンシング領域R12部分の直上に配置された(設けられた)、X方向およびY方向に並ぶ複数のピンホール122からなるピンホールアレイがセンシング光学系23とされている。なお、ここでは複数のピンホール122が設けられているが、センシング領域R12部分の直上に1つのピンホール122のみが設けられて、そのピンホール122がセンシング光学系23とされてもよい。
カメラモジュール11では、このようなセンシング光学系23を構成する各ピンホール122によって、外部の被写体から入射してくる光がセンシング領域R12の遮光領域内のセンシング画素へと導かれることになる。矢印Q13に示す部分では、図中、左側に被写体があり、被写体からの光が図中、左側からピンホール122を通り、センシング画素へと入射する。
特に、ここではセンシング領域R12がイメージング領域R11に隣接して設けられており、かつピンホール122のZ方向の深さが遮光領域の幅(X方向やY方向の長さ)に対して十分に深くなっている。
そのため、外部から入射した光のうち、図中、矢印により示されるように、イメージング光学系22の光軸方向、つまり撮像部21の受光面と略垂直な方向から入射してくる光のみがピンホール122によりセンシング領域R12の遮光領域へと導かれることになる。換言すれば、ある程度以上の角度(入射角)でピンホール122へと入射してくる光は、遮光板121等により遮光され、遮光領域へは入射しない。
したがって、各遮光領域のセンシング画素では、撮像部21の略真正面にある被写体から入射した光のみ、つまりイメージング光学系22(撮像画像)の画角の略中心部分にある被写体から入射した光のみが光電変換されることになる。
その結果、センシング画像には、撮像部21の略真正面にある被写体の情報、つまり撮像画像の略中心部分にある被写体の情報が含まれることになる。
カメラモジュール11における撮像部21の後段のブロックでは、遮光領域内の各センシング画素から読み出された画素信号、つまりセンシング画像に基づいて分光情報が生成される。
具体的には、例えば1つの遮光領域には互いに色成分の異なる4つのセンシング画素が設けられているので、1つの遮光領域について4つの各色成分の入射光の強度(入射光量)を示す分光情報が得られる。そして、全ての遮光領域で得られた分光情報の色成分ごとの平均値や加重平均値、和、重み付き加算値などが求められ、最終的な1つの分光情報とされる。
この例では、センシング光学系23には結像レンズ等の結像光学系は設けられていないので、カメラモジュール11では、撮像画像の中心部分における領域ごとに分光情報を得ることはできない。つまり、領域ごとの2次元の分光情報を得ることができない。そのため、カメラモジュール11で得られる分光情報は、撮像画像の画角の中心部分の領域全体における各色成分の情報、すなわち0次元の分光情報となる。
なお、センシング領域R12の画素配列は、配列単位が周期的(規則的)に繰り返し並べられた画素配列となっている。つまり、遮光領域におけるセンシング画素のカラー配列は、全ての遮光領域で同じとなっている。このように遮光領域内のセンシング画素のカラー配列を全遮光領域で同じとなるようにすることで、各遮光領域の分光情報から最終的な1つの分光情報を得るための信号処理など、センシング画素の後段における信号処理が煩雑になることを防止することができる。つまり、例えばセンシング領域R12全体において各色成分のセンシング画素がランダムに配列される場合と比べて、後段における信号処理を簡単に行うことができる。
以上のように、センシング光学系23をイメージング光学系22とは異なる光学系とし、さらにピンホールアレイによりセンシング光学系23を構成することで、撮像画像の画角の中心部分の領域の分光情報を得ることができる。すなわち、撮像画像の中心部分の被写体は、分光検出に関する興味物体である可能性が高いので、より適切な分光情報を得ることができる。
しかも、カメラモジュール11では、センシング光学系23としてのピンホールアレイがアスペクト付きのピンホール122により構成されているので、カラーフィルタの入射角依存性の影響を受けることなく、正確な分光情報を得ることができる。
センシング画素に設けられたカラーフィルタは入射角依存性を有しており、カラーフィルタの分光特性は、そのカラーフィルタに対する光の入射角度によって変化する。つまり、センシング画素(カラーフィルタ)への光の入射角度によって、センシング画素で受光される光の受光強度の波長分布が変化する。
通常のカメラモジュールでは、受光面の周辺領域、つまり端近傍の領域がセンシング領域とされ、イメージング領域と共通のイメージング光学系によりセンシング領域へと光が導かれるので、センシング画素には、ある程度の入射角度で光が入射することになる。そのため、センシング画素の位置によって上述のカラーフィルタの入射角依存性により分光が変化し、正確な分光情報を検出することができない。
これに対して、カメラモジュール11では、イメージング光学系22とは別にセンシング光学系23が設けられ、アスペクト付きのピンホール122によりセンシング光学系23が構成されている。したがって、各センシング画素には受光面と略垂直な方向から光が入射することになるので、カラーフィルタの入射角依存性の影響を受けることなく正確な分光情報を検出することができる。しかも、センシング画素の位置によらず、全センシング画素で光の入射角度は略同じであるので、つまり同一の光学条件で光が入射するので、センシング画素の位置によって分光情報のばらつきが生じることもない。
さらに、カメラモジュール11では、センシング光学系23としてピンホールアレイを設けるだけでよく、部品数も少なくて済むので、カメラモジュール11の低コスト化および小型化も実現することができる。
なお、センシング領域R12-1およびセンシング光学系23−1の構成も、センシング領域R12-2およびセンシング光学系23−2の構成と同様の構成となっている。
また、図4の例では、遮光板121によりピンホール122を形成する例について説明したが、その他、ミラーやメタル(金属)等の部材や、反射板などよりピンホール122を形成するようにしてもよい。すなわち、遮光板121に代えてミラーやメタル、反射板などの反射部材で遮光領域を囲むことによりピンホール122を形成してもよい。
そのような場合、ピンホール122に入射してくる光のうち、多少の角度を有する光も反射部材で反射されてセンシング画素へと導かれ、センシング画素で受光されるようになる。その結果、遮光板121によりピンホール122を形成する場合よりもより広い領域を対象とした分光情報を得ることができる。
さらに、アスペクト付きピンホールであるピンホール122のアスペクト比、つまりピンホール122のX方向やY方向の長さと、ピンホール122のZ方向の長さ(深さ)との比を調整することで、所望の広さの領域を対象として分光情報を検出することができる。
例えば適切なアスペクト比のピンホール122を設けることで、イメージング光学系22の画角と略同じ画角で分光情報を検出することも可能である。
具体的には、例えばイメージング領域R11のX方向の長さおよびY方向の長さが、それぞれX(例えば、Xmm)およびY(例えば、Ymm)であり、イメージング光学系22の焦点距離がf(例えば、fmm)であるとする。
また、ピンホール122のX方向の長さおよびY方向の長さが、それぞれX’(例えば、X’mm)およびY’(例えば、Y’mm)であり、ピンホール122のZ方向の長さ(深さ)がZ’(例えば、Z’mm)であるとする。
ここで、ピンホール122のZ方向の長さは、遮光板121のZ方向の長さである。Z方向は、イメージング領域R11やセンシング領域R12と垂直な方向であり、ピンホール122の深さ方向(長手方向)、つまりセンシング光学系23の光軸方向であるともいうことができる。また、ここではピンホール122は四角柱形状であり、そのピンホール122の開口部分は矩形の形状であるとする。
さらに、ピンホール122のZ方向(深さ)に対するX方向のアスペクト比をX’/Z’とし、ピンホール122のZ方向に対するY方向のアスペクト比をY’/Z’とする。
このとき、概ねX’/Z’=X/fおよびY’/Z’=Y/fが満たされるようにピンホール122を形成すれば、イメージング光学系22の画角と、ピンホール122(センシング光学系23)の画角、つまり分光情報の画角とが略同じとなる。
例えばY方向に注目し、イメージング光学系22のY方向の画角の半分の角度をθyとすると、tan(θy)=Y/2fが成立する。したがって、tan(θy)=Y’/2Z’が成立するようにピンホール122のZ方向の長さZ’(深さ)と、ピンホール122のY方向の長さY’とを定めれば、結果としてピンホール122のY方向の画角の半分の角度もθyとなる。
以上のように、ピンホール122の深さ方向の長さZ’と、ピンホール122の深さ方向に垂直なX方向またはY方向の長さであるX’またはY’との比が、イメージング光学系22の焦点距離fと、イメージング領域R11のX方向またはY方向の長さであるXまたはYとの比と略等しくなるようにピンホール122を形成すれば、イメージング光学系22の画角と略同じ画角の分光情報を得ることができる。
〈第2の実施の形態〉
〈センシング光学系の構成例〉
また、より広い領域を対象とした分光情報を得ることができるように、ピンホールアレイと拡散板を組み合わせてセンシング光学系23としてもよい。
〈センシング光学系の構成例〉
また、より広い領域を対象とした分光情報を得ることができるように、ピンホールアレイと拡散板を組み合わせてセンシング光学系23としてもよい。
そのような場合、センシング光学系23は、例えば図5に示すように構成される。なお、図5において図4における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図5では、矢印Q21に示す部分は、カメラモジュール11をZ方向から見た図を示しており、矢印Q22に示す部分はセンシング領域R12-2の部分を拡大した図を示している。これらの矢印Q21に示す部分および矢印Q22に示す部分は、図4の矢印Q11に示す部分および矢印Q12に示す部分と同様であるので、その説明は省略する。
また、矢印Q23に示す部分は、カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の一部分をX方向から見た図を示している。
この例では、遮光板121によりピンホール122が形成されている点は、図4における場合と同じであるが、ピンホール122からなるピンホールアレイにおける、撮像部21側とは反対側、つまり被写体側に拡散板151が設けられている点で図4における場合と異なっている。
図5に示す例では、ピンホール122からなるピンホールアレイと、そのピンホールアレイの被写体側に配置された拡散板151とからセンシング光学系23が構成されている。
この場合、被写体からの光は、まず拡散板151に入射し、拡散板151により拡散される。そして、被写体から入射し、拡散板151により拡散された光が各ピンホール122を通って遮光領域内のセンシング画素へと入射することになる。
したがって、図4に示した例と比較すると、拡散板151に入射してくる光のうち、ある程度の角度を有する光でも拡散板151で拡散されてセンシング画素で受光されるようになるので、より広い領域を対象とした分光情報を得ることができる。特に、拡散板151における拡散度合いによっては、イメージング光学系22と同等の画角の分光情報を得ることも可能である。
このようにピンホール122からなるピンホールアレイと、拡散板151とからセンシング光学系23を構成する場合においても、カラーフィルタの入射角依存性の影響を受けることなく、適切な分光情報を得ることができる。特に、この実施の形態で得られる分光情報は、図4に示した例と同様に0次元の分光情報となる。
なお、センシング領域R12-1およびセンシング光学系23−1の構成も、センシング領域R12-2およびセンシング光学系23−2の構成と同様の構成となっている。また、1つのピンホール122と拡散板151とによりセンシング光学系23が構成されてもよい。
〈第3の実施の形態〉
〈センシング光学系の構成例〉
さらに、センシング画素に設けられたカラーフィルタの入射角依存性を利用して、実質的にセンシング画素のカラーフィルタの種類を増加させ、分光情報の波長分解能を向上させるようにしてもよい。
〈センシング光学系の構成例〉
さらに、センシング画素に設けられたカラーフィルタの入射角依存性を利用して、実質的にセンシング画素のカラーフィルタの種類を増加させ、分光情報の波長分解能を向上させるようにしてもよい。
そのような場合、センシング光学系23は、例えば図6に示すように構成される。なお、図6において図4における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図6では、矢印Q31に示す部分は、カメラモジュール11をZ方向から見た図を示している。この矢印Q31に示す部分は図4の矢印Q11に示す部分と同様であるので、その説明は省略する。
また、図6において矢印Q32に示す部分は、カメラモジュール11のセンシング領域R12-2の部分を拡大した図であり、矢印Q33に示す部分は、カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の部分を拡大した図である。
矢印Q32に示す部分は、センシング領域R12-2をZ方向から見たときの図を示しており、各四角形は図3に示した画素61に対応するセンシング画素を表している。
センシング画素を表す四角形に施されたハッチは、そのセンシング画素に設けられたカラーフィルタの色を表しており、ここではセンシング領域R12には7種類の色成分のセンシング画素が設けられている。
また、ここではセンシング領域R12-2全体が、そのセンシング領域R12-2直上に形成された遮光板181によって囲まれており、センシング領域R12-2全体が1つの遮光領域となっている。この遮光板181は、図1に示した遮光板24に対応する。
カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の部分をX方向から見ると、矢印Q33に示すように、外部の被写体からの光は、拡散板182およびシリンドリカルレンズ183を介してセンシング画素へと入射する。
この例では、センシング領域R12-2の全体が遮光板181によって囲まれて1つの遮光領域とされており、その遮光領域に対して拡散板182、および光学レンズ(結像レンズ)であるシリンドリカルレンズ183が設けられている。そして、これらの拡散板182およびシリンドリカルレンズ183により、センシング光学系23−2が構成されている。
図6では、撮像部21の被写体側にセンシング領域R12-2と略同じ大きさの断面を有するシリンドリカルレンズ183が配置され、そのシリンドリカルレンズ183の被写体側、つまりセンシング領域R12-2側とは反対側に、さらに拡散板182が配置されている。
この場合、被写体からの光は拡散板182に入射し、拡散板182によって拡散された後、シリンドリカルレンズ183に入射する。そして、拡散板182からシリンドリカルレンズ183に入射した光は、シリンドリカルレンズ183により集光されて遮光領域の各センシング画素へと導かれる。
シリンドリカルレンズ183および拡散板182を介して被写体からセンシング画素に入射した光は、センシング画素において光電変換され、その結果得られた電荷の量に応じた画素信号が各センシング画素から読み出されて分光情報が生成される。
この例では拡散板182があるため、カメラモジュール11で得られる分光情報は、撮像画像の画角の中心部分とその周辺領域からなる領域全体における各色成分の情報となる。すなわち、この実施の形態で得られる分光情報は、図5に示した例と同様の0次の分光情報となる。
この場合においても、第1の実施の形態や第2の実施の形態と同様に、撮像画像の画角の中心部分やその周辺の領域を対象とした適切な分光情報を得ることができる。
但し、拡散板182で拡散された光は、シリンドリカルレンズ183により集光されて遮光領域(センシング領域R12)の各領域で結像するため、同じ被写体からの光であってもセンシング画素の位置によって、それらのセンシング画素への光の入射角度が異なる。
すなわち、シリンドリカルレンズ183は、遮光領域上の互いに異なる位置にあるセンシング画素に対して、それぞれ異なる入射角度で拡散板182からの光を入射させる。
具体的には、例えばセンシング領域R12中央の矢印W11に示す位置にあるセンシング画素では、拡散板182の中心位置付近からの光は、矢印AR11に示すように受光面に対して略垂直な方向から入射してくる。つまり、光の入射角度が略0度である。
これに対して、例えばセンシング領域R12の端近傍の矢印W12に示す位置にあるセンシング画素では、拡散板182の中心位置付近からの光は、矢印AR12に示すように受光面に対して斜めの方向から入射してくる。
このように拡散板182における同じ位置から射出された光でも、センシング画素のある遮光領域(センシング領域R12)上の位置によって、それらのセンシング画素へと入射するときの光の入射角が異なる。
したがって、同じ色成分のセンシング画素でも、それらのセンシング画素のある位置によって分光特性が変化するため、異なる位置に配置された同じ色成分のセンシング画素が、実質的には異なる色成分のセンシング画素として機能することになる。
具体的には、例えば矢印W11に示す位置と、矢印W12に示す位置とに所定の色成分のセンシング画素があるとする。この場合、それらの2つのセンシング画素の画素信号から、互いに異なる色成分の分光情報が得られるようになる。
これにより、実質的にセンシング領域R12内のセンシング画素の色成分(カラーフィルタ)の種類を増加させ、分光情報の波長分解能を向上させることができる。すなわち、分光情報の波長チャネル数を増加させることができる。
なお、どのセンシング画素からどの色成分の情報が得られるかは、センシング画素に設けられたカラーフィルタと、そのセンシング画素のセンシング領域R12上の配置位置とから予め把握することが可能である。
また、センシング領域R12-1およびセンシング光学系23−1の構成も、センシング領域R12-2およびセンシング光学系23−2の構成と同様の構成となっている。
さらに、図6に示した例ではセンシング領域R12-2全体が1つの遮光領域とされ、その遮光領域に対して拡散板182とシリンドリカルレンズ183が設けられる例について説明した。その他、例えばセンシング領域R12-1やセンシング領域R12-2に複数の遮光領域が設けられ、それらの複数の遮光領域ごとに拡散板182とシリンドリカルレンズ183を設けるようにしてもよい。すなわち、センシング光学系23が1または複数の拡散板182と、1または複数のシリンドリカルレンズ183とから構成されるようにしてもよい。また、シリンドリカルレンズ183とは異なる他の光学レンズと拡散板182とからセンシング光学系23が構成されてもよい。また、この実施の形態では、各画素のカラーフィルタ、特にセンシング画素のカラーフィルタは、誘電体多層膜やプラズモン共鳴体などの入射角ごとの分光依存性の違いが顕著なカラーフィルタであることが望ましい。
〈第4の実施の形態〉
〈センシング光学系の構成例〉
また、センシング領域R12を複数の遮光領域に分割し、それらの遮光領域ごとにセンシング光学系23として結像レンズを設けることで、イメージング光学系22(撮像画像)の画角と略同じ画角の2次元の分光情報を得ることができる。
〈センシング光学系の構成例〉
また、センシング領域R12を複数の遮光領域に分割し、それらの遮光領域ごとにセンシング光学系23として結像レンズを設けることで、イメージング光学系22(撮像画像)の画角と略同じ画角の2次元の分光情報を得ることができる。
そのような場合、センシング光学系23は、例えば図7に示すように構成される。なお、図7において図4における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図7では、矢印Q41に示す部分は、カメラモジュール11をZ方向から見た図を示している。この矢印Q41に示す部分は図4の矢印Q11に示す部分と同様であるので、その説明は省略する。
また、図7において矢印Q42に示す部分は、カメラモジュール11のセンシング領域R12-2の部分を拡大した図であり、矢印Q43に示す部分は、カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の部分を拡大した図である。
矢印Q42に示す部分は、センシング領域R12-2をZ方向から見たときの図を示しており、各四角形は図3に示した画素61に対応するセンシング画素を表している。
センシング画素を表す四角形に施されたハッチは、そのセンシング画素に設けられたカラーフィルタの色を表しており、ここではセンシング領域R12には7種類の色成分のセンシング画素が設けられている。
また、ここではセンシング領域R12-2が、そのセンシング領域R12-2直上に形成された遮光板211によって3つの遮光領域に分割されている。この遮光板211は、図1に示した遮光板24に対応する。
カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の部分をX方向から見ると、矢印Q43に示すように、外部の被写体からの光は、結像レンズ212−1乃至結像レンズ212−3のそれぞれを介して、3つの遮光領域のそれぞれに入射する。
この例では、センシング領域R12-2上の3つの領域のそれぞれが遮光板211によって囲まれて遮光領域とされており、それらの遮光領域に対して結像レンズ212−1乃至結像レンズ212−3が設けられている。そして、これらの結像レンズ212−1乃至結像レンズ212−3からなるレンズアレイによりセンシング光学系23−2が構成されている。
図7では、図中、最も上側の遮光領域に対して、その遮光領域の被写体側に結像レンズ212−1が配置され、センシング領域R12-2の中央の遮光領域の被写体側に結像レンズ212−2が配置され、図中、最も下側の遮光領域の被写体側に結像レンズ212−3が配置されている。なお、以下、結像レンズ212−1乃至結像レンズ212−3を特に区別する必要のない場合、単に結像レンズ212とも称することとする。
この場合、被写体からの光は結像レンズ212により集光され、その結像レンズ212の直下に配置された遮光領域の各センシング画素へと導かれる。すなわち、被写体からの光が結像レンズ212によって遮光領域上で結像される。
結像レンズ212を介して被写体からセンシング画素に入射した光は、センシング画素において光電変換され、その結果得られた電荷の量に応じた画素信号が各センシング画素から読み出されて分光情報が生成される。
この例では結像レンズ212によりセンシング光学系23が構成されるので、各遮光領域では結像レンズ212により被写体の像が結像されることになる。また、各結像レンズ212の画角は、イメージング光学系22(撮像画像)の画角と略同じ画角となっている。
そのため、遮光領域の各センシング画素から読み出される画素信号からなる画像は、撮像画像と略同じ画像、より詳細には撮像画像と色成分のみが異なる画像となる。したがって、カメラモジュール11で得られる分光情報は、撮像画像の画角の中心部分とその周辺領域からなる領域全体(撮像画像の画角全体)を対象とした、領域ごとの各色成分の情報(分光)を示す2次元の分光情報となる。
すなわち、カメラモジュール11では各遮光領域について、結像レンズ212の画角(観察視野)内の領域ごとに、それらの領域における各色成分の入射光の強度(入射光量)を示す分光情報が得られる。そして、全ての遮光領域で得られた分光情報の各領域について色成分ごとの平均値や加重平均値、和、重み付き加算値などが求められ、最終的な1つの分光情報とされる。この場合、撮像画像の画角全体を対象とした2次元の分光情報を得ることができる。
なお、センシング領域R12-1およびセンシング光学系23−1の構成も、図7に示したセンシング領域R12-2およびセンシング光学系23−2の構成と同様の構成となっている。
また、ここではセンシング領域R12は図中、縦方向に長い形状となっているので、センシング領域R12が複数の遮光領域に分割され、それらの遮光領域ごとに被写体の像を結像可能な結像レンズ212が配置された構成となっている。しかし、センシング領域R12全体が1つの遮光領域とされ、被写体の像を結像可能な1つの結像レンズがセンシング光学系23として配置されてもよい。
〈第5の実施の形態〉
〈センシング光学系の構成例〉
また、センシング領域R12を複数の遮光領域に分割し、それらの遮光領域ごとにセンシング光学系23として結像レンズを設けるときに、遮光領域(結像レンズ)ごとに異なる画角(観察視野)で分光情報の検出を行うようにしてもよい。
〈センシング光学系の構成例〉
また、センシング領域R12を複数の遮光領域に分割し、それらの遮光領域ごとにセンシング光学系23として結像レンズを設けるときに、遮光領域(結像レンズ)ごとに異なる画角(観察視野)で分光情報の検出を行うようにしてもよい。
そのような場合、センシング光学系23は、例えば図8に示すように構成される。なお、図8において図4における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図8では、矢印Q51に示す部分は、カメラモジュール11をZ方向から見た図を示している。この矢印Q51に示す部分は図4の矢印Q11に示す部分と同様であるので、その説明は省略する。
また、図8において矢印Q52に示す部分は、カメラモジュール11のセンシング領域R12-2の部分を拡大した図であり、矢印Q53に示す部分は、カメラモジュール11のセンシング領域R12-1の部分を拡大した図である。また、矢印Q54に示す部分は、カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の部分を拡大した図である。
矢印Q52に示す部分は、センシング領域R12-2をZ方向から見たときの図を示しており、各四角形は図3に示した画素61に対応するセンシング画素を表している。
センシング画素を表す四角形に施されたハッチは、そのセンシング画素に設けられたカラーフィルタの色を表しており、ここではセンシング領域R12には7種類の色成分のセンシング画素が設けられている。
また、ここではセンシング領域R12-2が、そのセンシング領域R12-2直上に形成された遮光板241によって3つの遮光領域に分割されている。この遮光板241は、図1に示した遮光板24に対応する。
さらに、矢印Q52に示す部分において、各遮光領域を囲む点線は、イメージング光学系22、すなわち撮像画像の画角を表している。このイメージング光学系22の画角に対して、各遮光領域の画角(観察視野)は、イメージング光学系22の画角の領域の図中、左半分の領域となっている。
これに対して、矢印Q53に示すようにセンシング領域R12-1も遮光板により3つの遮光領域に分割されており、それらの各遮光領域の画角は、それらの遮光領域を囲む点線により表されるイメージング光学系22の画角の領域の図中、右半分の領域となっている。
このようにカメラモジュール11では、センシング領域R12ごとに、すなわちセンシング領域R12の遮光領域ごとに異なる画角(観察視野)で分光情報を得ることができるようになされている。換言すれば、センシング光学系23のそれぞれは、それらのセンシング光学系23直下にあるセンシング領域R12のそれぞれに対して、互いに異なる画角で外部の被写体からの光を導くことができるようになされている。
しかも、各遮光領域の画角をイメージング光学系22の画角の一部の領域とし、イメージング光学系22の画角内の各領域が、必ずセンシング領域R12の少なくとも1つの遮光領域の画角内に含まれるようにすることで、イメージング光学系22の画角と同じ画角の2次元の分光情報を得ることができる。
図8の例では、センシング領域R12-1では、イメージング光学系22の画角の領域の右半分の領域を対象とした分光情報が得られ、センシング領域R12-2では、イメージング光学系22の画角の領域の左半分の領域を対象とした分光情報が得られる。
そして、センシング領域R12-1で得られる分光情報と、センシング領域R12-2で得られる分光情報とから、イメージング光学系22の画角全体を対象とした2次元の分光情報が得られることになる。
ここで、各遮光領域の画角をイメージング光学系22の画角内のどの領域に対応するものとするかは、センシング光学系23を適切に選択することで定めることができる。
すなわち、例えばセンシング光学系23を構成する結像レンズとして、適切な焦点距離やレンズ径等のレンズを選択することで、所望の画角(観察視野)の分光情報を得ることができるようになる。
矢印Q52に示したように、センシング領域R12-2でイメージング光学系22の画角の領域の左半分の領域を対象とした分光情報を得ようとする場合、例えば矢印Q54に示すようにセンシング光学系23−2を適切な焦点距離等の結像レンズにより構成すればよい。
矢印Q54に示す部分は、カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の部分をX方向から見た図を示している。
この例では、外部の被写体からの光は、結像レンズ242−1乃至結像レンズ242−3のそれぞれを介して、センシング領域R12-2の3つの遮光領域のそれぞれに入射する。
すなわち、センシング領域R12-2上の3つの領域のそれぞれが遮光板241によって囲まれて遮光領域とされており、それらの遮光領域に対して被写体側に結像レンズ242−1乃至結像レンズ242−3が設けられている。
そして、センシング領域R12-2上に被写体の像を結像可能なこれらの結像レンズ242−1乃至結像レンズ242−3からなるレンズアレイによりセンシング光学系23−2が構成されている。
図8では、図中、最も上側の遮光領域に対して、その遮光領域の被写体側に結像レンズ242−1が配置され、センシング領域R12-2の中央の遮光領域の被写体側に結像レンズ242−2が配置され、図中、最も下側の遮光領域の被写体側に結像レンズ242−3が配置されている。なお、以下、結像レンズ242−1乃至結像レンズ242−3を特に区別する必要のない場合、単に結像レンズ242とも称することとする。
この場合、被写体からの光は結像レンズ242により集光され、その結像レンズ242の直下に配置された遮光領域の各センシング画素へと導かれる。すなわち、被写体からの光が結像レンズ242によって遮光領域上で結像される。
結像レンズ242を介して被写体からセンシング画素に入射した光は、センシング画素において光電変換され、その結果得られた電荷の量に応じた画素信号が各センシング画素から読み出されて分光情報が生成される。
この例では結像レンズ242によりセンシング光学系23が構成されるので、各遮光領域では結像レンズ242により被写体の像が結像されることになる。また、各結像レンズ242の画角は、イメージング光学系22(撮像画像)の画角の左半分の領域と略同じとなっている。
そのため、各遮光領域のセンシング画素から読み出される画素信号からなる画像は、撮像画像の左半分の画像、より詳細には撮像画像の左半分の画像と色成分のみが異なる画像となる。したがって、センシング領域R12-2で得られる分光情報は、撮像画像の画角の左半分の領域を対象とした、領域ごとの各色成分の情報(分光)を示す2次元の分光情報となる。
センシング領域R12-1およびセンシング光学系23−1の構成も、センシング光学系23−1の画角(観察視野)が異なるだけで、図8に示したセンシング領域R12-2およびセンシング光学系23−2の構成と同様の構成となっている。
センシング領域R12-1の各遮光領域のセンシング画素から読み出される画素信号からなる画像は、撮像画像の右半分の画像、より詳細には撮像画像の右半分の画像と色成分のみが異なる画像となる。したがって、センシング領域R12-1で得られる分光情報は、撮像画像の画角の右半分の領域を対象とした、領域ごとの各色成分の情報(分光)を示す2次元の分光情報となる。
したがって、これらのセンシング領域R12ごとの分光情報から、最終的に撮像画像の画角の中心部分とその周辺領域からなる領域全体(撮像画像の画角全体)を対象とした、領域ごとの各色成分の情報(分光)を示す2次元の分光情報を得ることができる。
図8に示した構成のカメラモジュール11では、基本的には図7に示した構成のカメラモジュール11における場合と同様の分光情報を得ることができる。
しかし、図7に示した例では、各遮光領域(結像レンズ212)の画角がイメージング光学系22の画角と略同じであったのに対して、図8に示した例では、各遮光領域(結像レンズ242)の画角がイメージング光学系22の画角内の一部の領域となっている。
そのため、図8に示した例では、イメージング光学系22の画角内の所定の領域に注目したときに、その所定の領域の分光情報を得るために用いられるセンシング画素の数が図7に示した例よりも多くなり、分光情報の空間分解能を向上させることができる。
また、ここではセンシング領域R12は図中、縦方向に長い形状となっているので、1つのセンシング領域R12が複数の遮光領域に分割され、それらの遮光領域ごとに結像レンズ242が配置された構成となっている。しかし、1つのセンシング領域R12全体が1つの遮光領域とされ、1つの結像レンズがセンシング光学系23として配置されてもよい。
また、ここでは各遮光領域へと光を導く光学部材が、センシング領域R12上に被写体の像を結像可能な結像レンズ242である例について説明したが、必ずしも結像レンズである必要はなく、他の光学レンズ等であってもよい。但し、複数のセンシング光学系23のうちの少なくとも2以上のセンシング光学系23は、外部からの光を互いに異なる画角でセンシング領域R12(遮光領域)へと導くことができる必要がある。
〈第6の実施の形態〉
〈センシング光学系の構成例〉
ところで、上述したカラーフィルタの入射角依存性における場合と同様に、入射してくる赤外光を遮断(カット)するIR(Infrared)カットフィルタ(赤外遮光フィルタ)の有無によっても画素の分光特性が変化することが知られている。
〈センシング光学系の構成例〉
ところで、上述したカラーフィルタの入射角依存性における場合と同様に、入射してくる赤外光を遮断(カット)するIR(Infrared)カットフィルタ(赤外遮光フィルタ)の有無によっても画素の分光特性が変化することが知られている。
そこで、IRカットフィルタが設けられたセンシング画素と、IRカットフィルタが設けられていないセンシング画素とを配置することで、実質的にセンシング画素のカラーフィルタの種類を増加させ、分光情報の波長分解能を向上させるようにしてもよい。
そのような場合、センシング光学系23は、例えば図9に示すように構成される。なお、図9において図7における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図9では、矢印Q61に示す部分は、カメラモジュール11をZ方向から見た図を示している。この矢印Q61に示す部分は図7の矢印Q41に示す部分と同様であるので、その説明は省略する。
また、図9において矢印Q62に示す部分は、カメラモジュール11のイメージング領域R11とセンシング領域R12の部分を拡大した図であり、矢印Q63に示す部分は、カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の部分を拡大した図である。
矢印Q62に示す部分は、イメージング領域R11とセンシング領域R12をZ方向から見たときの図を示しており、各四角形は図3に示した画素61に対応するセンシング画素を表している。
センシング画素を表す四角形に施されたハッチは、そのセンシング画素に設けられたカラーフィルタの色を表しており、ここではセンシング領域R12には7種類の色成分のセンシング画素が設けられている。
また、イメージング領域R11にも図3に示した画素61に対応するイメージング画素が設けられているが、ここでは各イメージング画素を表す四角形の図示は省略されている。
一般的に、イメージング画素では、不要な赤外光を受光してしまわないようにIRカットフィルタが設けられている。このようなIRカットフィルタは、例えばイメージング画素に設けられたカラーフィルタの直上または直下に形成される。
一方、センシング領域R12に形成されたセンシング画素では、IRカットフィルタが設けられていてもよいし、IRカットフィルタが設けられていなくてもよいが、この例では実質的にカラーフィルタの種類を増加させるため、一部のセンシング画素にIRカットフィルタが設けられた構成とされている。
具体的には、図9の例では、イメージング領域R11とセンシング領域R12-2とからなる領域R61内の画素に対してIRカットフィルタが設けられている。
すなわち、センシング領域R12-1内のセンシング画素には、カラーフィルタのみが設けられ、IRカットフィルタは設けられていない。これに対して、センシング領域R12-2内のセンシング画素には、カラーフィルタとIRカットフィルタの両方が設けられている。
なお、ここでは、例えばセンシング領域R12-1におけるセンシング画素のカラーフィルタの配置と、センシング領域R12-2におけるセンシング画素のカラーフィルタの配置とは同じとなっている。つまり、センシング領域R12-1内の所定位置にあるセンシング画素に設けられたカラーフィルタと、その所定位置に対応するセンシング領域R12-2内の位置にあるセンシング画素に設けられたカラーフィルタとは同じものとなっている。
図9に示す例では、センシング領域R12-2内のセンシング画素に新たにIRカットフィルタを設ける必要がある。しかし、もともとイメージング画素があるイメージング領域R11にのみIRカットフィルタを形成していたのを、そのイメージング領域R11よりも少し広い領域R61にIRカットフィルタを形成するようにすればよいので、低コストでの実現が可能である。
また、ここではセンシング領域R12-1が、そのセンシング領域R12-1直上に形成された遮光板271によって3つの遮光領域に分割されている。同様に、センシング領域R12-2が、そのセンシング領域R12-2直上に形成された遮光板211によって3つの遮光領域に分割されている。これらの遮光板271および遮光板211は、図1に示した遮光板24に対応する。
さらに、カメラモジュール11のセンシング領域R12-2およびセンシング光学系23−2の部分をX方向から見ると、矢印Q63に示すように、外部の被写体からの光は、結像レンズ212を介して遮光領域に入射する。
この例では、センシング領域R12-2上の3つの領域のそれぞれが遮光板211によって囲まれて遮光領域とされており、それらの遮光領域に対して結像レンズ212−1乃至結像レンズ212−3が設けられている。そして、これらの結像レンズ212−1乃至結像レンズ212−3からなるレンズアレイによりセンシング光学系23−2が構成されている。
図9に示すセンシング光学系23−2は、図7に示したセンシング光学系23−2と同じ構成とされている。このことから、図9の例においてもセンシング領域R12-2では、撮像画像の画角の中心部分とその周辺領域からなる領域全体を対象とした、領域ごとの各色成分の情報(分光)を示す2次元の分光情報が得られることになる。
また、センシング領域R12-1およびセンシング光学系23−1の構成も、図9に示したセンシング領域R12-2およびセンシング光学系23−2の構成と同様の構成となっている。
そのため、センシング領域R12-1においても、センシング領域R12-2で得られる分光情報と同様の分光情報が得られることになる。
但し、上述したようにセンシング領域R12-1内のセンシング画素にはIRカットフィルタが設けられていないが、センシング領域R12-2内のセンシング画素にはIRカットフィルタが設けられている。
そのため、同じカラーフィルタが設けられたセンシング画素でも、センシング領域R12-1内のセンシング画素と、センシング領域R12-2内のセンシング画素とでは分光特性が異なる。したがって、センシング領域R12-1内のセンシング画素の画素信号と、そのセンシング画素と同じカラーフィルタが設けられたセンシング領域R12-2内のセンシング画素の画素信号とからは、互いに異なる色成分の分光情報が得られる。
このことから、センシング領域R12-1では、センシング領域R12-2で得られる分光情報と同様であるが、色成分の異なる分光情報が得られることになる。その結果、センシング領域R12-1で得られた分光情報と、センシング領域R12-2で得られた分光情報とから、より多くの色成分の情報を含む、2次元の最終的な1つの分光情報を得ることができる。
このように、センシング領域R12内の一部のセンシング画素にIRカットフィルタを設けることで、実質的にセンシング領域R12内のセンシング画素の色成分(カラーフィルタ)の種類を増加させ、分光情報の波長分解能を向上させることができる。すなわち、分光情報の波長チャネル数を増加させることができる。
なお、どのセンシング画素からどの色成分の情報が得られるかは、センシング画素に設けられたカラーフィルタと、IRカットフィルタの有無とから予め把握することが可能である。
また、図9では、図7に示した構成において一部のセンシング画素にIRカットフィルタを設ける場合を例として説明したが、その他、図4や図5、図6、図8に示した例にも適用することが可能である。
すなわち、カメラモジュール11が例えば図4や図5、図6、図8に示した構成とされる場合において、センシング領域R12-1とセンシング領域R12-2の何れか一方のセンシング領域R12内のセンシング画素にIRカットフィルタを設け、他方のセンシング領域R12内のセンシング画素にIRカットフィルタを設けないようにしてもよい。このようにすることでも、実質的にカラーフィルタの種類を増加させ、波長分解能を向上させることができる。
〈変形例1〉
〈カメラモジュールの構成例〉
ところで、以上においては、図2に示したように撮像部21では、イメージング領域R11の左右にセンシング領域R12が設けられる例について説明した。
〈カメラモジュールの構成例〉
ところで、以上においては、図2に示したように撮像部21では、イメージング領域R11の左右にセンシング領域R12が設けられる例について説明した。
しかし、画素アレイ51の領域内にイメージング領域R11とセンシング領域R12が設けられるようにすれば、センシング領域R12はどのような位置に設けられてもよいし、センシング領域R12がいくつ設けられてもよい。
したがって、例えば図10に示すように、イメージング領域R11の上下左右の各端部分の領域に隣接してセンシング領域R12が設けられるようにしてもよい。なお、図10において図2における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図10は、カメラモジュール11をイメージング光学系22の光軸方向(Z方向)から見た図となっている。
この例では、撮像部21の受光面、つまり画素アレイ51の中心部分(中央部分)の領域がイメージング領域R11とされており、そのイメージング領域R11の図中、左側に隣接する領域がセンシング領域R12-1とされている。
また、イメージング領域R11の図中、右側に隣接する領域がセンシング領域R12-2とされており、イメージング領域R11の図中、上側に隣接する領域がセンシング領域R12-3とされており、イメージング領域R11の図中、下側に隣接する領域がセンシング領域R12-4とされている。
換言すれば、センシング領域R12-1乃至センシング領域R12-4は、撮像部21の受光面における、左端、右端、上端、および下端のそれぞれの領域に設けられている。
なお、センシング領域R12-3およびセンシング領域R12-4は、センシング領域R12-1やセンシング領域R12-2と同様に、複数のセンシング画素が形成された領域である。
さらに、センシング領域R12-1乃至センシング領域R12-4のそれぞれの図中、手前側、つまり被写体側には、センシング光学系23−1乃至センシング光学系23−4のそれぞれが設けられている。
ここで、センシング光学系23−3は、被写体からの光をセンシング領域R12-3へと導く光学系であり、センシング光学系23−4は、被写体からの光をセンシング領域R12-4へと導く光学系である。これらのセンシング光学系23−3やセンシング光学系23−4は、センシング光学系23−1やセンシング光学系23−2と同様の構成とされる。
なお、ここではイメージング領域R11に対して、センシング領域R12-1乃至センシング領域R12-4が設けられる例について説明した。しかし、これに限らず、センシング領域R12-1乃至センシング領域R12-4のうちの少なくとも何れか1つが設けられていればよい。
例えばイメージング領域R11に対して、センシング領域R12-1とセンシング領域R12-2のみが設けられていてもよいし、センシング領域R12-3とセンシング領域R12-4のみが設けられていてもよい。
また、イメージング領域R11に対して、センシング領域R12-1のみが設けられていてもよいし、センシング領域R12-2のみが設けられていてもよいし、センシング領域R12-3のみが設けられていてもよいし、センシング領域R12-4のみが設けられていてもよい。
〈変形例2〉
〈カメラモジュールの構成例〉
さらに画素アレイ51の受光面の四隅の各領域のうちの何れか1つの領域がセンシング領域として用いられるようにしてもよい。
〈カメラモジュールの構成例〉
さらに画素アレイ51の受光面の四隅の各領域のうちの何れか1つの領域がセンシング領域として用いられるようにしてもよい。
そのような場合、カメラモジュール11は、例えば図11に示すように構成される。なお、図11において図2における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図11は、カメラモジュール11をイメージング光学系22の光軸方向(Z方向)から見た図となっている。
この例では、撮像部21の受光面、つまり画素アレイ51の中心部分(中央部分)にある領域R31-1または領域R31-2の何れかの領域がイメージング領域として用いられる。すなわち、領域R31-1や領域R31-2は、図1に示したイメージング領域R11に対応し、これらの領域R31-1や領域R31-2には上述したイメージング画素が形成されている。
具体的には、例えばカメラモジュール11において、16:9の画角で撮像画像の撮像が行われるときには領域R31-1がイメージング領域とされ、4:3の画角で撮像画像の撮像が行われるときには領域R31-2がイメージング領域とされる。なお、以下、領域R31-1および領域R31-2を特に区別する必要のない場合、単に領域R31とも称することとする。
カメラモジュール11では、16:9の画角と4:3の画角とを切り替えることができるようになされていることがある。
この場合、どちらの画角で撮像を行うときでも撮像部21の受光面における四隅の各領域、すなわち、受光面の図中、左上の隅の領域R32-1、受光面の図中、右上の隅の領域R32-2、受光面の図中、右下の隅の領域R32-3、および受光面の図中、左下の隅の領域R32-4の各領域はイメージング領域としては用いられない。
そこで、カメラモジュール11では、これらの領域R32-1乃至領域R32-4のうちの少なくとも何れか1つの領域がセンシング領域として用いられる。領域R32-1乃至領域R32-4は、図1に示したセンシング領域R12に対応し、これらの領域R32-1乃至領域R32-4には、上述したセンシング画素が形成される。
このように受光面の四隅の領域をセンシング領域とすることで、撮像部21の受光面を有効に活用することができる。なお、以下、領域R32-1乃至領域R32-4を特に区別する必要のない場合、単に領域R32とも称することとする。
さらに、図11に示す例では、イメージング領域として用いられる領域R31-1および領域R31-2の図中、手前側、つまり被写体側にはイメージング光学系22が設けられている。このイメージング光学系22によって、外部の被写体からの光は、イメージング領域としての領域R31-1や領域R31-2に導かれる。
また、センシング領域として用いられる領域R32-1の図中、手前側、つまり被写体側にはセンシング光学系301−1が設けられており、センシング領域として用いられる領域R32-2の図中、手前側にはセンシング光学系301−2が設けられている。
同様に、センシング領域として用いられる領域R32-3の図中、手前側にはセンシング光学系301−3が設けられており、センシング領域として用いられる領域R32-4の図中、手前側にはセンシング光学系301−4が設けられている。
これらのセンシング光学系301−1乃至センシング光学系301−4のぞれぞれは、図1に示したセンシング光学系23に対応し、外部の被写体からの光を領域R32-1乃至領域R32-4のそれぞれに導く。なお、以下、センシング光学系301−1乃至センシング光学系301−4を特に区別する必要のない場合、単にセンシング光学系301とも称することとする。各センシング光学系301は、上述したセンシング光学系23と同様の構成とされる。
このように、図11に示す例では4つの領域R32や、4つの領域R32のうちの何れか1つなど、受光面の隅にある領域がセンシング領域とされる。この場合においても適切な分光情報を得ることができる。
〈電子機器への適用例〉
さらに、上述したカメラモジュール11は、例えばデジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
さらに、上述したカメラモジュール11は、例えばデジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
図12は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
図12に示される撮像装置501は、光学系511、シャッタ装置512、固体撮像素子513、制御回路514、信号処理回路515、モニタ516、およびメモリ517を有しており、静止画像および動画像を撮像可能である。
光学系511は、1枚または複数枚のレンズを有して構成され、被写体からの光(入射光)を固体撮像素子513に導き、固体撮像素子513の受光面に結像させる。
シャッタ装置512は、光学系511および固体撮像素子513の間に配置され、制御回路514の制御に従って、固体撮像素子513への光照射期間および遮光期間を制御する。
固体撮像素子513は、光学系511およびシャッタ装置512を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子513に蓄積された信号電荷は、制御回路514から供給される駆動信号(タイミング信号)に従って転送される。
制御回路514は、固体撮像素子513の転送動作、および、シャッタ装置512のシャッタ動作を制御する駆動信号を出力して、固体撮像素子513およびシャッタ装置512を駆動する。
信号処理回路515は、固体撮像素子513から出力された信号電荷に対して各種の信号処理を施す。信号処理回路515が信号処理を施すことにより得られた画像(画像データ)は、モニタ516に供給されて表示されたり、メモリ517に供給されて記録されたりする。
このように構成されている撮像装置501においても本技術を適用することが可能である。すなわち、例えば光学系511がイメージング光学系22およびセンシング光学系23に対応し、固体撮像素子513が撮像部21に対応する。換言すれば、光学系511乃至固体撮像素子513がカメラモジュール11に対応する。さらに、固体撮像素子513のセンシング画素から出力された画素信号に基づいて、信号処理回路515により分光情報が生成される。
<カメラモジュールの使用例>
図13は、上述のカメラモジュール11を使用する使用例を示す図である。
図13は、上述のカメラモジュール11を使用する使用例を示す図である。
上述したカメラモジュール11は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
さらに、本技術は、以下の構成とすることも可能である。
(1)
画像を撮像するための画素が設けられたイメージング領域、および少なくとも前記イメージング領域の画素とは異なる分光情報を取得可能な画素が設けられたセンシング領域を有する画素アレイ部と、
外部からの光を前記イメージング領域へと導くイメージング光学系と、
外部からの光を前記センシング領域へと導くセンシング光学系と
を備えるカメラモジュール。
(2)
前記センシング領域における画素配列が、複数の異なるカラーフィルタのそれぞれが設けられた画素のそれぞれを含む配列単位が繰り返し配置された画素配列となっている
(1)に記載のカメラモジュール。
(3)
前記イメージング光学系の光軸方向から見た、前記イメージング光学系の断面の面積が前記イメージング領域の面積よりも小さい
(1)または(2)に記載のカメラモジュール。
(4)
前記画素アレイ部の中央に前記イメージング領域が設けられ、
前記画素アレイ部の上端、下端、左端、および右端のうちの少なくとも何れかの領域に前記センシング領域が設けられている
(1)乃至(3)の何れか一項に記載のカメラモジュール。
(5)
前記画素アレイ部の中央に前記イメージング領域が設けられ、
前記画素アレイ部の四隅の各領域のうちの少なくとも何れかの領域に前記センシング領域が設けられている
(1)乃至(3)の何れか一項に記載のカメラモジュール。
(6)
前記センシング光学系は、前記センシング領域の直上に設けられたピンホールまたはピンホールアレイにより構成される
(1)乃至(5)の何れか一項に記載のカメラモジュール。
(7)
前記センシング領域における画素配列が、複数の異なるカラーフィルタのそれぞれが設けられた画素のそれぞれを含む配列単位が繰り返し配置された画素配列となっており、
前記ピンホールの開口部分の面積、または前記ピンホールアレイを構成するピンホールの開口部分の面積が、前記配列単位の面積よりも大きい
(6)に記載のカメラモジュール。
(8)
前記ピンホール、または前記ピンホールアレイを構成するピンホールにおける、深さ方向の長さと、前記深さ方向と垂直な方向の長さとの比が、前記イメージング光学系の焦点距離と、前記イメージング領域の前記深さ方向と垂直な方向の長さとの比と略同じである
(6)または(7)に記載のカメラモジュール。
(9)
前記センシング光学系は、前記ピンホールまたは前記ピンホールアレイ、および前記ピンホールまたは前記ピンホールアレイに対して前記センシング領域側とは反対側に配置された拡散板により構成される
(6)乃至(8)の何れか一項に記載のカメラモジュール。
(10)
前記センシング光学系は、1または複数の光学レンズ、および前記光学レンズに対して前記センシング領域側とは反対側に配置された1または複数の拡散板により構成される
(1)乃至(5)の何れか一項に記載のカメラモジュール。
(11)
前記光学レンズはシリンドリカルレンズである
(10)に記載のカメラモジュール。
(12)
前記センシング光学系は、1または複数の結像学レンズにより構成される
(1)乃至(5)の何れか一項に記載のカメラモジュール。
(13)
複数の前記センシング領域のそれぞれに対して、互いに異なる画角で外部からの光を導く複数の前記センシング光学系のそれぞれを有する
(1)乃至(5)の何れか一項に記載のカメラモジュール。
(14)
前記画素アレイ部には、赤外遮光フィルタが設けられた画素からなる前記センシング領域と、前記赤外遮光フィルタが設けられていない画素からなる前記センシング領域とが設けられている
(1)乃至(13)の何れか一項に記載のカメラモジュール。
(15)
画像を撮像するための画素が設けられたイメージング領域、および少なくとも前記イメージング領域の画素とは異なる分光情報を取得可能な画素が設けられたセンシング領域を有する画素アレイ部と、
外部からの光を前記イメージング領域へと導くイメージング光学系と、
外部からの光を前記センシング領域へと導くセンシング光学系と
を備える撮像装置。
画像を撮像するための画素が設けられたイメージング領域、および少なくとも前記イメージング領域の画素とは異なる分光情報を取得可能な画素が設けられたセンシング領域を有する画素アレイ部と、
外部からの光を前記イメージング領域へと導くイメージング光学系と、
外部からの光を前記センシング領域へと導くセンシング光学系と
を備えるカメラモジュール。
(2)
前記センシング領域における画素配列が、複数の異なるカラーフィルタのそれぞれが設けられた画素のそれぞれを含む配列単位が繰り返し配置された画素配列となっている
(1)に記載のカメラモジュール。
(3)
前記イメージング光学系の光軸方向から見た、前記イメージング光学系の断面の面積が前記イメージング領域の面積よりも小さい
(1)または(2)に記載のカメラモジュール。
(4)
前記画素アレイ部の中央に前記イメージング領域が設けられ、
前記画素アレイ部の上端、下端、左端、および右端のうちの少なくとも何れかの領域に前記センシング領域が設けられている
(1)乃至(3)の何れか一項に記載のカメラモジュール。
(5)
前記画素アレイ部の中央に前記イメージング領域が設けられ、
前記画素アレイ部の四隅の各領域のうちの少なくとも何れかの領域に前記センシング領域が設けられている
(1)乃至(3)の何れか一項に記載のカメラモジュール。
(6)
前記センシング光学系は、前記センシング領域の直上に設けられたピンホールまたはピンホールアレイにより構成される
(1)乃至(5)の何れか一項に記載のカメラモジュール。
(7)
前記センシング領域における画素配列が、複数の異なるカラーフィルタのそれぞれが設けられた画素のそれぞれを含む配列単位が繰り返し配置された画素配列となっており、
前記ピンホールの開口部分の面積、または前記ピンホールアレイを構成するピンホールの開口部分の面積が、前記配列単位の面積よりも大きい
(6)に記載のカメラモジュール。
(8)
前記ピンホール、または前記ピンホールアレイを構成するピンホールにおける、深さ方向の長さと、前記深さ方向と垂直な方向の長さとの比が、前記イメージング光学系の焦点距離と、前記イメージング領域の前記深さ方向と垂直な方向の長さとの比と略同じである
(6)または(7)に記載のカメラモジュール。
(9)
前記センシング光学系は、前記ピンホールまたは前記ピンホールアレイ、および前記ピンホールまたは前記ピンホールアレイに対して前記センシング領域側とは反対側に配置された拡散板により構成される
(6)乃至(8)の何れか一項に記載のカメラモジュール。
(10)
前記センシング光学系は、1または複数の光学レンズ、および前記光学レンズに対して前記センシング領域側とは反対側に配置された1または複数の拡散板により構成される
(1)乃至(5)の何れか一項に記載のカメラモジュール。
(11)
前記光学レンズはシリンドリカルレンズである
(10)に記載のカメラモジュール。
(12)
前記センシング光学系は、1または複数の結像学レンズにより構成される
(1)乃至(5)の何れか一項に記載のカメラモジュール。
(13)
複数の前記センシング領域のそれぞれに対して、互いに異なる画角で外部からの光を導く複数の前記センシング光学系のそれぞれを有する
(1)乃至(5)の何れか一項に記載のカメラモジュール。
(14)
前記画素アレイ部には、赤外遮光フィルタが設けられた画素からなる前記センシング領域と、前記赤外遮光フィルタが設けられていない画素からなる前記センシング領域とが設けられている
(1)乃至(13)の何れか一項に記載のカメラモジュール。
(15)
画像を撮像するための画素が設けられたイメージング領域、および少なくとも前記イメージング領域の画素とは異なる分光情報を取得可能な画素が設けられたセンシング領域を有する画素アレイ部と、
外部からの光を前記イメージング領域へと導くイメージング光学系と、
外部からの光を前記センシング領域へと導くセンシング光学系と
を備える撮像装置。
11 カメラモジュール, 21 撮像部, 22 イメージング光学系, 23−1,23−2,23 センシング光学系, 121 遮光板, 122−1乃至122−4,122 ピンホール, 151 拡散板, 181 遮光板, 182 拡散板, 183 シリンドリカルレンズ, 211 遮光板, 212−1乃至212−3,212 結像レンズ, 241 遮光板, 242−1乃至242−3,242 結像レンズ
Claims (15)
- 画像を撮像するための画素が設けられたイメージング領域、および少なくとも前記イメージング領域の画素とは異なる分光情報を取得可能な画素が設けられたセンシング領域を有する画素アレイ部と、
外部からの光を前記イメージング領域へと導くイメージング光学系と、
外部からの光を前記センシング領域へと導くセンシング光学系と
を備えるカメラモジュール。 - 前記センシング領域における画素配列が、複数の異なるカラーフィルタのそれぞれが設けられた画素のそれぞれを含む配列単位が繰り返し配置された画素配列となっている
請求項1に記載のカメラモジュール。 - 前記イメージング光学系の光軸方向から見た、前記イメージング光学系の断面の面積が前記イメージング領域の面積よりも小さい
請求項1に記載のカメラモジュール。 - 前記画素アレイ部の中央に前記イメージング領域が設けられ、
前記画素アレイ部の上端、下端、左端、および右端のうちの少なくとも何れかの領域に前記センシング領域が設けられている
請求項1に記載のカメラモジュール。 - 前記画素アレイ部の中央に前記イメージング領域が設けられ、
前記画素アレイ部の四隅の各領域のうちの少なくとも何れかの領域に前記センシング領域が設けられている
請求項1に記載のカメラモジュール。 - 前記センシング光学系は、前記センシング領域の直上に設けられたピンホールまたはピンホールアレイにより構成される
請求項1に記載のカメラモジュール。 - 前記センシング領域における画素配列が、複数の異なるカラーフィルタのそれぞれが設けられた画素のそれぞれを含む配列単位が繰り返し配置された画素配列となっており、
前記ピンホールの開口部分の面積、または前記ピンホールアレイを構成するピンホールの開口部分の面積が、前記配列単位の面積よりも大きい
請求項6に記載のカメラモジュール。 - 前記ピンホール、または前記ピンホールアレイを構成するピンホールにおける、深さ方向の長さと、前記深さ方向と垂直な方向の長さとの比が、前記イメージング光学系の焦点距離と、前記イメージング領域の前記深さ方向と垂直な方向の長さとの比と略同じである
請求項6に記載のカメラモジュール。 - 前記センシング光学系は、前記ピンホールまたは前記ピンホールアレイ、および前記ピンホールまたは前記ピンホールアレイに対して前記センシング領域側とは反対側に配置された拡散板により構成される
請求項6に記載のカメラモジュール。 - 前記センシング光学系は、1または複数の光学レンズ、および前記光学レンズに対して前記センシング領域側とは反対側に配置された1または複数の拡散板により構成される
請求項1に記載のカメラモジュール。 - 前記光学レンズはシリンドリカルレンズである
請求項10に記載のカメラモジュール。 - 前記センシング光学系は、1または複数の結像学レンズにより構成される
請求項1に記載のカメラモジュール。 - 複数の前記センシング領域のそれぞれに対して、互いに異なる画角で外部からの光を導く複数の前記センシング光学系のそれぞれを有する
請求項1に記載のカメラモジュール。 - 前記画素アレイ部には、赤外遮光フィルタが設けられた画素からなる前記センシング領域と、前記赤外遮光フィルタが設けられていない画素からなる前記センシング領域とが設けられている
請求項1に記載のカメラモジュール。 - 画像を撮像するための画素が設けられたイメージング領域、および少なくとも前記イメージング領域の画素とは異なる分光情報を取得可能な画素が設けられたセンシング領域を有する画素アレイ部と、
外部からの光を前記イメージング領域へと導くイメージング光学系と、
外部からの光を前記センシング領域へと導くセンシング光学系と
を備える撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017148001A JP2019029851A (ja) | 2017-07-31 | 2017-07-31 | カメラモジュールおよび撮像装置 |
PCT/JP2018/026658 WO2019026600A1 (ja) | 2017-07-31 | 2018-07-17 | カメラモジュールおよび撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017148001A JP2019029851A (ja) | 2017-07-31 | 2017-07-31 | カメラモジュールおよび撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019029851A true JP2019029851A (ja) | 2019-02-21 |
Family
ID=65232676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017148001A Pending JP2019029851A (ja) | 2017-07-31 | 2017-07-31 | カメラモジュールおよび撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2019029851A (ja) |
WO (1) | WO2019026600A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022107235A1 (ja) * | 2020-11-18 | 2022-05-27 | 株式会社ソシオネクスト | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112766017A (zh) * | 2019-10-21 | 2021-05-07 | 广州印芯半导体技术有限公司 | 光学识别模块 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001128071A (ja) * | 1999-10-22 | 2001-05-11 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP4010360B2 (ja) * | 2003-04-17 | 2007-11-21 | 長崎県 | 分光画像撮影装置 |
JP2005150592A (ja) * | 2003-11-19 | 2005-06-09 | Nippon Telegr & Teleph Corp <Ntt> | Ccd撮像素子 |
US20150332433A1 (en) * | 2012-12-14 | 2015-11-19 | Konica Minolta, Inc. | Imaging device |
TW201628179A (zh) * | 2015-01-21 | 2016-08-01 | Jsr 股份有限公司 | 固體攝像裝置及紅外線吸收性組成物 |
-
2017
- 2017-07-31 JP JP2017148001A patent/JP2019029851A/ja active Pending
-
2018
- 2018-07-17 WO PCT/JP2018/026658 patent/WO2019026600A1/ja active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022107235A1 (ja) * | 2020-11-18 | 2022-05-27 | 株式会社ソシオネクスト | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
WO2019026600A1 (ja) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7180658B2 (ja) | 固体撮像素子、および電子機器 | |
US11363186B2 (en) | Image pickup device and electronic apparatus with an image plane phase difference detection pixel | |
JP4483951B2 (ja) | 撮像装置 | |
US9658367B2 (en) | Image acquisition apparatus | |
US10805560B2 (en) | Solid-state imaging device and electronic apparatus | |
WO2017065019A1 (ja) | 固体撮像素子、および電子装置 | |
CN109076178B (zh) | 固态图像拾取元件和电子设备 | |
JP2019029851A (ja) | カメラモジュールおよび撮像装置 | |
WO2017130725A1 (ja) | 焦点検出装置、撮像装置 | |
WO2017111171A1 (ja) | 撮像素子および撮像装置 | |
US9794468B2 (en) | Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions | |
WO2016194577A1 (ja) | 撮像素子、撮像方法、プログラム、並びに電子機器 |