JP2019103004A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents
撮像装置、撮像装置の制御方法およびプログラム Download PDFInfo
- Publication number
- JP2019103004A JP2019103004A JP2017232848A JP2017232848A JP2019103004A JP 2019103004 A JP2019103004 A JP 2019103004A JP 2017232848 A JP2017232848 A JP 2017232848A JP 2017232848 A JP2017232848 A JP 2017232848A JP 2019103004 A JP2019103004 A JP 2019103004A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- wavelength band
- sensitivity
- imaging device
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims description 39
- 230000035945 sensitivity Effects 0.000 claims abstract description 135
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims description 68
- 238000002834 transmittance Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 8
- 239000011358 absorbing material Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 239000007787 solid Substances 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 description 16
- 239000000758 substrate Substances 0.000 description 16
- 239000011295 pitch Substances 0.000 description 14
- 238000012546 transfer Methods 0.000 description 11
- 230000001276 controlling effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 239000000975 dye Substances 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005468 ion implantation Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004038 photonic crystal Substances 0.000 description 1
- IEQIEDJGQAUEQZ-UHFFFAOYSA-N phthalocyanine Chemical compound N1C(N=C2C3=CC=CC=C3C(N=C3C4=CC=CC=C4C(=N4)N3)=N2)=C(C=CC=C2)C2=C1N=C1C2=CC=CC=C2C4=N1 IEQIEDJGQAUEQZ-UHFFFAOYSA-N 0.000 description 1
- 239000001007 phthalocyanine dye Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
- H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14636—Interconnect structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14649—Infrared imagers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Blocking Light For Cameras (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
図1は、本実施形態における撮像装置100の内部構成例を示す図である。
図1(a)および図1(b)において、撮像装置100は、結像光学系101、フィルタ切り替え部102、固体撮像素子103、および制御部104を備えている。固体撮像素子103は結像光学系101の光軸上に配置され、結像光学系101は固体撮像素子103上に被写体像を結像する。制御部104は、さらにCPU105、転送回路106、演算部107、および素子駆動回路108を備えている。
図2(a)〜図2(c)は、固体撮像素子103の構成を説明するための図である。図2(a)に示すように、固体撮像素子103は、赤色の光による画素信号を検出するための画素111R、緑色の光による画素信号を検出するための画素111G、青色の光による画素信号を検出するための画素111Bを有している。図2(a)に示す例では、画素数が6×6の場合を示したが、画素数が異なっていても良い。また、図2(a)に示す例では、画素111R、111G、111Bを所謂ベイヤー配列の方式で配列した例を示したが、ベイヤー配列ではなくても良い。以下、赤色の画素111R、緑色の画素111G、青色の画素111Bで別々の構成を有する要素に関してはR、G、Bの符号を付して区別する。一方、赤色の画素111R、緑色の画素111G、青色の画素111Bで同一の構成を有する要素に関してはR、G、Bの符号を省略する。
画素111Rには、可視光の波長帯域において、赤色の光を選択的に透過させるカラーフィルタ113Rが設けられている。同様に、画素111Gには緑色の光を選択的に透過させるカラーフィルタ113Gが設けられ、画素111Bには青色の光を選択的に透過させるカラーフィルタ113Bが設けられている。
図3(a)に示すように、赤色の画素111Rは波長が600nm以上の赤色の光、緑色の画素111Gは波長が500nm以上600nm以下の緑色の光、青色の画素111Bは波長が500nm以下の青色の光に対する感度が、各々高くなっている。このように、各々の画素111R、111G、111Bに対して、可視光の波長帯域において透過スペクトルの異なるカラーフィルタ113を設けることで、第二の撮影モードにおいて被写体の色情報を取得することができる。
更に、本実施形態では、近赤外光の波長帯域においても透過率が異なるようなカラーフィルタ113R、113G、113Bを使用している。具体的には、近赤外光の波長帯域において、カラーフィルタ113の透過率はR>G>Bの大小関係を満たすようになっている。前述したように、画素の感度はカラーフィルタの透過率と光電変換部の光電子収集率との積に比例するため、図3(b)に示すように、近赤外光の波長帯域において、感度118はR>G>Bの大小関係を満たすようになっている。即ち、本実施形態の構成とすることで、第一の撮影モードにおいて、異なる感度の複数種類の画素信号を取得することができる。異なる感度の複数種類の画素信号を取得することで、第一の撮影モードで取得される撮影画像のダイナミックレンジを拡大することができる。具体的なダイナミックレンジの拡大方法は後述する。
各々のカラーフィルタの近赤外光の波長帯域における透過率を制御する手法としては、以下に示す手法から一つを選択するか、複数の手法を組み合わせればよい。この時、可視光の波長帯域における透過率に与える影響を小さくしつつ、近赤外光の波長帯域における透過率のみを制御する方が好ましい。可視光の波長帯域におけるカラーフィルタの透過率を変えてしまうと、第二の撮影モードで撮影画像を取得する際の、被写体の色再現性が低下してしまうためである。
一つ目の手法は、各々のカラーフィルタに対して、近赤外光の波長帯域に吸収特性を有する吸収材料を含有させ、その濃度をカラーフィルタ毎に変える手法である。具体的には、カラーフィルタ113B中の吸収材料の濃度をカラーフィルタ113Gよりも高くし、カラーフィルタ113G中の吸収材料の濃度をカラーフィルタ113Rの濃度よりも高くすればよい。吸収材料としては、近赤外光の波長帯域に吸収特性を有するとともに、可視光の波長帯域における透過率の高い、ジイモニウムやフタロシアニン系の色素などを使用すればよい。図2に示す固体撮像素子103は、一つ目の手法を採用した場合の構成を示している。
二つ目の手法は、図4(a)に示すように、カラーフィルタを2層構成とする方法である。具体的には、可視光の波長帯域において特定の色の光のみを透過させるカラーフィルタ113と、近赤外光を吸収または反射させるようなフィルタ層117とを各々の画素に設ける方法である。フィルタ層117の構成を画素毎に変えることで、近赤外光の波長帯域における透過率を制御することができる。
三つ目の手法は、可視光カットフィルタ109の特性で制御する方法である。図4(b)に示すように、感度118の大小関係が近赤外光の波長帯域内で変化している場合を考える。この時、可視光カットフィルタ109が透過する光の波長帯域を制御することで、感度の積分値の大小関係を制御することができる。例えば、可視光カットフィルタ109が透過する光の波長帯域が図4(b)の透過範囲Aである場合、感度118の積分値はR、G、Bで差は小さい。一方で、可視光カットフィルタ109が透過する光の波長帯域が図4(b)の透過範囲Bである場合、感度118の積分値はR、G、Bで差が大きくなる。このように、可視光カットフィルタ109が透過する波長帯域を制御することでも、画素111R、111G、111Bの感度118を制御することができる。
ここで、異なる感度の複数種類の画素信号を利用して、撮影画像のダイナミックレンジを拡大するための方法を、図5を用いて説明する。図5は、第一の撮影モードにおける、被写体の輝度と画素111R、111G、111Bで取得する画素信号120R、120G、120Bとの大きさを説明するための図である。同一の輝度の被写体を撮影した場合、近赤外光の波長帯域における感度の差異により、画素信号の強度の大小関係は、R>G>Bとなる。従って、演算部107は、被写体の輝度によって使用する画素信号を切り替えることで、撮影画像のダイナミックレンジを拡大することができる。
また、撮影画像のダイナミックレンジを拡大するための方法として、3種類以上の画素信号を使用してもよい。具体的には、演算部107は、画素信号120Rの強度が所定の閾値121未満の場合に画素信号120Rを使用し、画素信号120Rの強度が所定の閾値121以上であって画素信号120Gの強度が所定の閾値121未満の場合に画素信号120Gを使用する。そして、画素信号120Gの強度が所定の閾値121以上の場合に画素信号120Bを使用する、というように3種類の画素信号を使用しても良い。用いる画素信号の種類が多いほど、閾値前後で用いる画素信号を切り替える際のSN比の低下が抑制されるため、好ましい。一般に、切り替え対象の画素信号の強度比が100倍を超えるとSN比の低下が大きくなってくる。そのため、画素信号120Rと画素信号120Bとの信号強度比が100倍を超える場合には、画素信号120Gを中間感度の信号として使用するのが好ましい。
なお、画素信号120Gを中間感度の信号として使用する場合、画素信号120Rと画素信号120Gとの感度の比と、画素信号120Gと画素信号120Bとの感度の比とをなるべく等しくする方が好ましい。これにより、画素信号を切り替える際のSN比の低下が抑制される。具体的には、感度118R、118G、118Bの間で以下の関係が成立していることが好ましい。
0.1≦118R×118B÷118G2≦10 ・・・式(1)
即ち、感度118Rと感度118Bとの積の、感度118Gの2乗に対する比が、0.1以上10以下であることが好ましい。
即ち、本実施形態に係る撮像装置では、可視光の波長帯域において被写体の色情報を取得するためのカラーフィルタの透過率を、近赤外の波長帯域においても互いに異ならせている。このような構成とすることで、近赤外光のみによる撮影画像を取得する撮影モードにおいて、異なる感度の複数種類の画素信号を取得することが可能となる。そして、被写体の輝度によって用いる画素信号を切り替えることで、近赤外光のみの撮影画像のダイナミックレンジを拡大することを可能としている。なお、画角やフレームによって使用する画素信号を切り替えても良い。
図3(b)に示す例では、近赤外光の波長帯域における感度118の大小関係を、R>G>Bの順序としたが、大小関係が異なっていても良い。但し、可視光の波長帯域における透過波長と近赤外光の波長とが近い場合、可視光の波長帯域における透過率を低下させずに近赤外光の波長帯域における透過率を低下させることは難しい。従って、図3のように、可視光の波長帯域における透過波長が近赤外光の波長に近いほど、感度118が高くなっている構成とする方が好ましい。
図2では、固体撮像素子103に、赤色、緑色、青色の三種類のカラーフィルタを有する、三種類の画素を設けた場合を示したが、画素の種類は二種類以上であれば良い。
前述したように、異なる感度の画素信号の種類が多いほど、閾値前後で用いる画素信号を切り替える際のSN比の低下が抑制される。従って、可視光の波長帯域において同一の透過率特性を有するカラーフィルタの、近赤外光の波長帯域における透過率を変えても良い。
以下、本発明の第2の実施形態について説明する。本実施形態の撮像装置は、第一の撮影モードで取得する撮影画像の画像処理方法に特徴を有している。本実施形態では、固体撮像素子の画素配列が図2に示すようなベイヤー配列であり、近赤外光の波長帯域における感度が図3に示すようなR>G>Bの大小関係である場合に特に有効である。
(Rの最終的な画素信号)
=(Rの暫定的な画素値)×C×(Gの規格化信号) ・・・式(2)
(Bの最終的な画素信号)
=(Bの暫定的な画素値)×C×(Gの規格化信号) ・・・式(3)
以下、本発明の第3の実施形態について説明する。本実施形態に係る撮像装置は、画素111R、111G、111Bの近赤外の波長帯域における感度に特徴を有する。なお、本実施形態に示す構成は、固体撮像素子の画素配列が図2に示すようなベイヤー配列である場合に特に有効である。
以下、本発明の第4の実施形態について説明する。本実施形態の固体撮像素子103は、光電変換部115の構成を画素111R、111G、111B間で変えることによって、光電変換部115の光電子収集率を制御している。前述したように、画素の感度は、各々の画素のカラーフィルタの透過率と、光電変換部での光電子収集率との積によって決定される。そのため、光電変換部の構成を画素間に変えることで、近赤外光の波長帯域における画素の感度を制御することができる。
光電変換部115が厚いほど基板114の深い位置で光電変換された光電子も収集することができるため、光電変換部の光電子収集率が高くなる。従って、図11の構成とすることにより、近赤外光の波長帯域において感度118はR>G>Bの大小関係を満たすことができる。なお、光電変換部115の厚さを制御するためには、光電変換部115を形成する際のイオンの打ち込み条件、具体的には加速電圧を制御すればよい。
前述したように、感度118R、感度118G、感度118B間の大小関係は、必ずしもR>G>Bの大小関係を満たさなくても良い。但し、光電変換部115の厚さがR>G>Bの大小関係を満たしている場合、第二の撮影モードで取得する可視光のみによる撮影画像の画質も向上させることができるため、好ましい。以下、その理由を説明する。
以下、本発明の第5の実施形態について説明する。本実施形態の固体撮像素子103は、第一の撮影モードにおける画素信号の読み出し方法に特徴を有している。本実施形態の信号読み出し方法は、固体撮像素子の画素配列が図2に示すようなベイヤー配列であり、近赤外光の波長帯域における感度118が図3に示すようなR>G>Bの大小関係である場合に特に有効である。
本実施形態の撮像装置100では、第一の撮影モードにおいて、制御部104は、固体撮像素子から画素信号を読み出す際に、共用された画素内メモリを用いて加算読み出しを行う。加算読み出しを行うことで、光電変換部の電荷リセットと読み出し動作とを一回省略することができるため、高速に撮影画像を取得することが可能となり、好ましい。
ここで、固体撮像素子の画素信号に発生するノイズについて説明する。支配的なノイズは、CDSによって除去可能な固定パターンノイズを除くと、光ショットノイズNsおよび読み出しノイズNrである。光ショットノイズNsは光電変換時に発生し、その大きさは信号の大きさに依存し、画素信号中の信号成分をSとした場合に信号量の平方根である(Ns=S1/2)。一方、読み出しノイズNrは、ソースフォロアから信号を読み出す際に発生し、信号の大きさに依存せず一定値を取る。光ショットノイズおよび読み出しノイズはそれぞれ独立事象であるため、ノイズの合算値は二乗和の平方根となる。つまり、第一の画素信号のSN比は、以下の式(4)で表される。
SN1=S1/(S1+Nr 2)1/2 ・・・式(4)
SN2=S2/(S2+Nr 2)1/2 ・・・式(5)
SN3=(S2−S1)/(S2−S1+2Nr 2)1/2 ・・・式(6)
なお、可視光用の撮影画像を取得するための第二の撮影モードにおいては、加算読み出しを使用せずに、各々の画素信号を独立に読み出した方が好ましい。可視光用の撮影画像を取得する場合には、各々の画素中の光電変換部に入射する光量が被写体の色によって異なり、被写体によらずに電荷量の小さい信号を先に読み出すことが困難であるためである。
また、隣接しない画素間で読み出し回路を共用しても良いが、隣接する画素間で読み出し回路を共用した方が、配線レイアウトが単純化されるため、好ましい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
104 制御部
107 演算部
109 可視光カットフィルタ
Claims (23)
- 第一の画素と第二の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第二の画素よりも高い固体撮像素子と、
前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタと、
前記固体撮像素子で取得した画素信号から画像を生成する演算手段とを有し、
前記演算手段は、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とする撮像装置。 - 前記演算手段は、前記第一の画素で取得した画素信号の強度が所定の閾値未満である場合に前記第一の画素で取得した画素信号を用い、前記第一の画素で取得した画素信号の強度が前記所定の閾値以上である場合に前記第二の画素で取得した画素信号を用いることを特徴とする請求項1に記載の撮像装置。
- 前記近赤外光の波長帯域における前記第一の画素の感度が前記第二の画素の感度の10倍以上であることを特徴とする請求項1または2に記載の撮像装置。
- 前記第一の画素が第一のカラーフィルタを有し、前記第二の画素が第二のカラーフィルタを有しており、前記近赤外光の波長帯域における前記第一のカラーフィルタの透過率は、前記近赤外光の波長帯域における前記第二のカラーフィルタの透過率よりも高いことを特徴とする請求項1〜3の何れか1項に記載の撮像装置。
- 前記第一のカラーフィルタおよび前記第二のカラーフィルタは、それぞれ前記近赤外光の波長帯域の光を吸収する吸収材料を含有しており、前記第一のカラーフィルタの中の前記吸収材料の濃度が、前記第二のカラーフィルタの中の前記吸収材料の濃度よりも低いことを特徴とする請求項4に記載の撮像装置。
- 前記第一のカラーフィルタおよび前記第二のカラーフィルタは、それぞれ前記近赤外光の波長帯域の光を吸収または反射させるフィルタ層を有しており、前記近赤外光の波長帯域における、前記第一のカラーフィルタが有するフィルタ層の透過率の方が、前記第二のカラーフィルタが有するフィルタ層の透過率よりも高いことを特徴とする請求項4または5に記載の撮像装置。
- 前記第一の波長帯域と前記近赤外光の波長帯域との波長の差が、前記第二の波長帯域と前記近赤外光の波長帯域との波長の差よりも小さいことを特徴とする請求項4〜6の何れか1項に記載の撮像装置。
- 前記第一の画素が第一の光電変換部を有し、前記第二の画素が第二の光電変換部を有し、前記近赤外光の波長帯域における前記第一の光電変換部の光電子収集率の方が、前記近赤外光の波長帯域における前記第二の光電変換部の光電子収集率よりも高いことを特徴とする請求項1〜3の何れか1項に記載の撮像装置。
- 前記第一の光電変換部の方が、前記第二の光電変換部よりも厚いことを特徴とする請求項8に記載の撮像装置。
- 前記第一の波長帯域の方が、前記第二の波長帯域よりも波長が長いことを特徴とする請求項8または9に記載の撮像装置。
- 第一の画素と第二の画素と第三の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素および前記第三の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素および前記第三の画素よりも高く、前記第一の波長帯域と前記第二の波長帯域との間にある第三の波長帯域において前記第三の画素の感度が前記第一の画素および前記第二の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第三の画素よりも高く、かつ前記第三の画素の感度が前記第二の画素よりも高い固体撮像素子と、
前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタと、
前記固体撮像素子で取得した画素信号から画像を生成する演算手段とを有し、
前記演算手段は、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とする撮像装置。 - 前記演算手段は、前記第一の画素で取得した画素信号の強度が所定の閾値未満である場合に前記第一の画素で取得した画素信号を用い、前記第一の画素で取得した画素信号の強度が前記所定の閾値以上であり、かつ前記第三の画素で取得した画素信号の強度が前記所定の閾値未満である場合に前記第三の画素で取得した画素信号を用い、前記第三の画素で取得した画素信号の強度が前記所定の閾値以上である場合に前記第二の画素で取得した画素信号を用いることを特徴とする請求項11に記載の撮像装置。
- 前記近赤外光の波長帯域における前記第一の画素の感度と前記第二の画素の感度との積の、前記第三の画素の感度の2乗に対する比が、0.1以上10以下であることを特徴とする請求項12に記載の撮像装置。
- 前記第三の画素は、前記近赤外光の波長帯域において感度が異なる複数種類の画素から構成されていることを特徴とする請求項11〜13の何れか1項に記載の撮像装置。
- 前記第一の画素が赤色の画素、前記第二の画素が青色の画素、前記第三の画素が緑色の画素であり、前記固体撮像素子はベイヤー配列であることを特徴とする請求項11〜14の何れか1項に記載の撮像装置。
- 前記演算手段は、前記第一の画素で取得した画素信号に対して、前記第三の画素で取得した画素信号を用いてデモザイク処理を行うとともに、前記第二の画素で取得した画素信号に対して、前記第三の画素で取得した画素信号を用いてデモザイク処理を行い、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて前記デモザイク処理された画素信号から用いる画素信号を切り替えて画像を生成することを特徴とする請求項15に記載の撮像装置。
- 近赤外光の波長帯域における前記第一の画素の前記第二の画素に対する感度の比が1/21/2倍以上21/2倍以下であることを特徴とする請求項11に記載の撮像装置。
- 前記第一の画素または前記第二の画素で取得された電荷と前記第三の画素で取得された電荷とを共用するメモリと、
前記第一の画素または前記第二の画素と前記第三の画素とのうち、感度の低い方の画素を前記メモリに蓄積し、該蓄積された電荷による画素信号を前記メモリから読み出すように制御し、その後、前記第一の画素または前記第二の画素と前記第三の画素とのうち、感度の高い方の画素を前記メモリに蓄積し、前記第一の画素または前記第二の画素で取得された電荷と前記第三の画素で取得された電荷との和による画素信号を前記メモリから読み出し、該読み出した画素信号から前記感度の低い方の画素に蓄積された電荷による画素信号を減じた画素信号を生成するように制御する制御手段とを有することを特徴とする請求項15に記載の撮像装置。 - 前記固体撮像素子よりも光の入射側に装着するフィルタを、前記第一のカットフィルタ、または近赤外光をカットする第二のカットフィルタに切り替える切り替え手段をさらに有し、
前記切り替え手段により前記第二のカットフィルタが装着されている場合に、前記制御手段は、前記第一の画素または前記第二の画素で取得された電荷と前記第三の画素で取得された電荷とを前記メモリに共用しないように制御することを特徴とする請求項18に記載の撮像装置。 - 第一の画素と第二の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第二の画素よりも高い固体撮像素子と、前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタとを有する撮像装置の制御方法であって、
前記固体撮像素子で取得した画素信号から画像を生成する演算工程を有し、
前記演算工程においては、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とする撮像装置の制御方法。 - 第一の画素と第二の画素と第三の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素および前記第三の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素および前記第三の画素よりも高く、前記第一の波長帯域と前記第二の波長帯域との間にある第三の波長帯域において前記第三の画素の感度が前記第一の画素および前記第二の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第三の画素よりも高く、かつ前記第三の画素の感度が前記第二の画素よりも高い固体撮像素子と、前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタとを有する撮像装置の制御方法であって、
前記固体撮像素子で取得した画素信号から画像を生成する演算工程を有し、
前記演算工程においては、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とする撮像装置の制御方法。 - 第一の画素と第二の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第二の画素よりも高い固体撮像素子と、前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタとを有する撮像装置を制御するためのプログラムであって、
前記固体撮像素子で取得した画素信号から画像を生成する演算工程をコンピュータに実行させ、
前記演算工程においては、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とするプログラム。 - 第一の画素と第二の画素と第三の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素および前記第三の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素および前記第三の画素よりも高く、前記第一の波長帯域と前記第二の波長帯域との間にある第三の波長帯域において前記第三の画素の感度が前記第一の画素および前記第二の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第三の画素よりも高く、かつ前記第三の画素の感度が前記第二の画素よりも高い固体撮像素子と、前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタとを有する撮像装置を制御するためのプログラムであって、
前記固体撮像素子で取得した画素信号から画像を生成する演算工程をコンピュータに実行させ、
前記演算工程においては、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017232848A JP7005317B2 (ja) | 2017-12-04 | 2017-12-04 | 撮像装置、撮像装置の制御方法およびプログラム |
US16/195,440 US10834339B2 (en) | 2017-12-04 | 2018-11-19 | Imaging apparatus, control method for imaging apparatus, and recording medium |
CN201811473758.1A CN109922283B (zh) | 2017-12-04 | 2018-12-04 | 摄像设备及摄像设备的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017232848A JP7005317B2 (ja) | 2017-12-04 | 2017-12-04 | 撮像装置、撮像装置の制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019103004A true JP2019103004A (ja) | 2019-06-24 |
JP7005317B2 JP7005317B2 (ja) | 2022-01-21 |
Family
ID=66659612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017232848A Active JP7005317B2 (ja) | 2017-12-04 | 2017-12-04 | 撮像装置、撮像装置の制御方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10834339B2 (ja) |
JP (1) | JP7005317B2 (ja) |
CN (1) | CN109922283B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021106964A1 (ja) * | 2019-11-29 | 2021-06-03 | 株式会社サタケ | 光学式選別機 |
WO2022180480A1 (ja) * | 2021-02-25 | 2022-09-01 | 株式会社半導体エネルギー研究所 | 半導体装置、及び電子機器 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110611779B (zh) * | 2019-09-27 | 2021-11-26 | 华南师范大学 | 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法 |
KR20220156242A (ko) * | 2021-05-18 | 2022-11-25 | 에스케이하이닉스 주식회사 | 이미지 처리 장치 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10164602A (ja) * | 1996-11-26 | 1998-06-19 | Minolta Co Ltd | 画素補間装置及びその画素補間方法 |
JP2001195688A (ja) * | 2000-01-17 | 2001-07-19 | Mitsubishi Electric Corp | 撮像装置 |
JP2007088873A (ja) * | 2005-09-22 | 2007-04-05 | Sony Corp | 信号処理方法、信号処理回路およびこれを用いたカメラシステム |
JP2007135200A (ja) * | 2005-10-14 | 2007-05-31 | Sony Corp | 撮像方法および撮像装置並びに駆動装置 |
JP2013228692A (ja) * | 2012-03-29 | 2013-11-07 | Canon Inc | 撮像装置及びカメラシステム |
JP2014168112A (ja) * | 2013-02-28 | 2014-09-11 | Toshiba Corp | 固体撮像装置 |
JP2015192852A (ja) * | 2014-03-25 | 2015-11-05 | キヤノン株式会社 | 撮像装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059798A (ja) | 1998-08-10 | 2000-02-25 | Sony Corp | 近赤外光/可視光共用撮像装置 |
WO2007086155A1 (ja) * | 2006-01-24 | 2007-08-02 | Matsushita Electric Industrial Co., Ltd. | 固体撮像装置、信号処理方法及びカメラ |
JP5353200B2 (ja) * | 2008-11-20 | 2013-11-27 | ソニー株式会社 | 固体撮像装置および撮像装置 |
KR20110140010A (ko) * | 2010-06-24 | 2011-12-30 | 삼성전자주식회사 | 근적외광 신호를 이용한 이미지 센서 |
JP6011778B2 (ja) * | 2012-05-22 | 2016-10-19 | 株式会社富士通ゼネラル | 暗視撮像装置および赤外線照射装置および暗視撮像システム |
WO2016111010A1 (ja) * | 2015-01-09 | 2016-07-14 | オリンパス株式会社 | 固体撮像装置 |
-
2017
- 2017-12-04 JP JP2017232848A patent/JP7005317B2/ja active Active
-
2018
- 2018-11-19 US US16/195,440 patent/US10834339B2/en active Active
- 2018-12-04 CN CN201811473758.1A patent/CN109922283B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10164602A (ja) * | 1996-11-26 | 1998-06-19 | Minolta Co Ltd | 画素補間装置及びその画素補間方法 |
JP2001195688A (ja) * | 2000-01-17 | 2001-07-19 | Mitsubishi Electric Corp | 撮像装置 |
JP2007088873A (ja) * | 2005-09-22 | 2007-04-05 | Sony Corp | 信号処理方法、信号処理回路およびこれを用いたカメラシステム |
JP2007135200A (ja) * | 2005-10-14 | 2007-05-31 | Sony Corp | 撮像方法および撮像装置並びに駆動装置 |
JP2013228692A (ja) * | 2012-03-29 | 2013-11-07 | Canon Inc | 撮像装置及びカメラシステム |
JP2014168112A (ja) * | 2013-02-28 | 2014-09-11 | Toshiba Corp | 固体撮像装置 |
JP2015192852A (ja) * | 2014-03-25 | 2015-11-05 | キヤノン株式会社 | 撮像装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021106964A1 (ja) * | 2019-11-29 | 2021-06-03 | 株式会社サタケ | 光学式選別機 |
JP2021085846A (ja) * | 2019-11-29 | 2021-06-03 | 株式会社サタケ | 光学式選別機 |
JP7354802B2 (ja) | 2019-11-29 | 2023-10-03 | 株式会社サタケ | 光学式選別機 |
WO2022180480A1 (ja) * | 2021-02-25 | 2022-09-01 | 株式会社半導体エネルギー研究所 | 半導体装置、及び電子機器 |
US12069876B2 (en) | 2021-02-25 | 2024-08-20 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
Also Published As
Publication number | Publication date |
---|---|
US10834339B2 (en) | 2020-11-10 |
US20190174075A1 (en) | 2019-06-06 |
JP7005317B2 (ja) | 2022-01-21 |
CN109922283B (zh) | 2022-03-25 |
CN109922283A (zh) | 2019-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5442571B2 (ja) | 固体撮像装置及び撮像装置 | |
JP5713816B2 (ja) | 固体撮像装置及びカメラモジュール | |
JP4984634B2 (ja) | 物理情報取得方法および物理情報取得装置 | |
JP5187433B2 (ja) | 物理情報取得方法および物理情報取得装置 | |
JP5686726B2 (ja) | 画像センサの同心露光シーケンス | |
JP4882297B2 (ja) | 物理情報取得装置、半導体装置の製造方法 | |
TWI499045B (zh) | 固態影像擷取器件及影像擷取裝置 | |
JP7005317B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP5503458B2 (ja) | 固体撮像素子および撮像装置 | |
JP4867448B2 (ja) | 物理情報取得方法および物理情報取得装置 | |
JP2011166477A (ja) | 固体撮像素子及び画像入力装置 | |
JP2008306070A (ja) | 固体撮像素子及び信号演算方法 | |
JP2015232599A (ja) | 光学フィルタ、固体撮像装置、および電子機器 | |
JP2008078258A (ja) | 固体撮像装置 | |
CN103907189A (zh) | 固体摄像元件、摄像装置和信号处理方法 | |
TWI469635B (zh) | 固態成像器件及電子裝置 | |
JP2001210812A (ja) | 固体撮像装置及びそれを備えた固体撮像システム | |
Yokogawa | Nanophotonics contributions to state-of-the-art CMOS Image Sensors | |
JP4950541B2 (ja) | 固体撮像素子 | |
US20140285691A1 (en) | Solid state imaging device | |
JP2007066962A (ja) | カラー固体撮像装置及びデジタルカメラ | |
WO2012008070A1 (ja) | 撮像装置及び信号処理方法 | |
US20150035101A1 (en) | Solid-state imaging device and method for manufacturing the solid-state imaging device | |
JP2014086742A (ja) | 固体撮像素子、撮像装置、および信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220105 |