JP2019103004A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents
撮像装置、撮像装置の制御方法およびプログラム Download PDFInfo
- Publication number
- JP2019103004A JP2019103004A JP2017232848A JP2017232848A JP2019103004A JP 2019103004 A JP2019103004 A JP 2019103004A JP 2017232848 A JP2017232848 A JP 2017232848A JP 2017232848 A JP2017232848 A JP 2017232848A JP 2019103004 A JP2019103004 A JP 2019103004A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- wavelength band
- sensitivity
- imaging device
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims description 39
- 230000035945 sensitivity Effects 0.000 claims abstract description 135
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims description 68
- 238000002834 transmittance Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 8
- 239000011358 absorbing material Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 239000007787 solid Substances 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 description 16
- 239000000758 substrate Substances 0.000 description 16
- 239000011295 pitch Substances 0.000 description 14
- 238000012546 transfer Methods 0.000 description 11
- 230000001276 controlling effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 239000000975 dye Substances 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005468 ion implantation Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004038 photonic crystal Substances 0.000 description 1
- IEQIEDJGQAUEQZ-UHFFFAOYSA-N phthalocyanine Chemical compound N1C(N=C2C3=CC=CC=C3C(N=C3C4=CC=CC=C4C(=N4)N3)=N2)=C(C=CC=C2)C2=C1N=C1C2=CC=CC=C2C4=N1 IEQIEDJGQAUEQZ-UHFFFAOYSA-N 0.000 description 1
- 239000001007 phthalocyanine dye Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
- H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14636—Interconnect structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14649—Infrared imagers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Blocking Light For Cameras (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
【課題】近赤外光のみによる撮影画像の画質をより向上できるようにする。【解決手段】第一の画素と第二の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第二の画素よりも高い固体撮像素子と、前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタと、前記固体撮像素子で取得した画素信号から画像を生成する演算手段とを有し、前記演算手段は、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成する。【選択図】図３
Description
本発明は、特に、可視光と近赤外光に感度を有する固体撮像素子を使用した撮像装置、撮像装置の制御方法およびプログラムに関する。
近年、可視光だけではなく、近赤外光にも感度を有する固体撮像素子を使用することで、近赤外光による撮影画像を取得可能な撮像装置が提案されている。一般に、可視光よりも波長の長い近赤外光の方が大気中の煙や霧による散乱が小さいため、近赤外光のみにより撮影する方が、可視光のみにより撮影するよりも遠くの被写体を鮮明に撮影することができる。
特許文献１に記載の技術では、可視光と近赤外光との両方に感度を有する固体撮像素子を使用し、近赤外光のみによる撮影画像を取得するために、固体撮像素子よりも光の入射側に可視光のみを吸収するような可視光カットフィルタを設けている。
特許文献１に記載の技術を使用すれば、近赤外光のみによる撮影画像を取得することができる。しかしながら、近赤外光のみによる撮影画像の画質向上に対する要求はますます高まっており、さらに画質を向上させる技術が求められている。
本発明は前述の問題点に鑑み、近赤外光のみによる撮影画像の画質をより向上できるようにすることを目的としている。
本発明に係る撮像装置は、第一の画素と第二の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第二の画素よりも高い固体撮像素子と、前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタと、前記固体撮像素子で取得した画素信号から画像を生成する演算手段とを有し、前記演算手段は、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とする。
本発明によれば、近赤外光のみによる撮影画像の画質をより向上させることができる。
（第１の実施形態）
図１は、本実施形態における撮像装置１００の内部構成例を示す図である。
図１（ａ）および図１（ｂ）において、撮像装置１００は、結像光学系１０１、フィルタ切り替え部１０２、固体撮像素子１０３、および制御部１０４を備えている。固体撮像素子１０３は結像光学系１０１の光軸上に配置され、結像光学系１０１は固体撮像素子１０３上に被写体像を結像する。制御部１０４は、さらにＣＰＵ１０５、転送回路１０６、演算部１０７、および素子駆動回路１０８を備えている。
図１は、本実施形態における撮像装置１００の内部構成例を示す図である。
図１（ａ）および図１（ｂ）において、撮像装置１００は、結像光学系１０１、フィルタ切り替え部１０２、固体撮像素子１０３、および制御部１０４を備えている。固体撮像素子１０３は結像光学系１０１の光軸上に配置され、結像光学系１０１は固体撮像素子１０３上に被写体像を結像する。制御部１０４は、さらにＣＰＵ１０５、転送回路１０６、演算部１０７、および素子駆動回路１０８を備えている。
ＣＰＵ１０５は、転送回路１０６、演算部１０７、および素子駆動回路１０８を制御する回路である。素子駆動回路１０８は、ＣＰＵ１０５からの信号を受けて、固体撮像素子１０３を駆動する回路である。転送回路１０６は、固体撮像素子１０３から読み出された信号を記憶したり、演算部１０７へ転送したりする。演算部１０７は、転送回路１０６を介して取得した信号の画像処理を行う。
撮像装置１００は、可視光カットフィルタ１０９と近赤外光カットフィルタ１１０とを有しており、フィルタ切り替え部１０２によって使用するフィルタを切り替え可能な構成となっている。具体的には、撮像装置１００は、第一の撮影モードでは図１（ａ）に示す構成により近赤外光のみによる撮影画像を取得し、第二の撮影モードでは図１（ｂ）に示す構成により可視光のみによる撮影画像を取得する。撮像装置１００は、第一の撮影モードでは、フィルタ切り替え部１０２によって可視光カットフィルタ１０９を装着し、第二の撮影モードでは、フィルタ切り替え部１０２によって近赤外光カットフィルタ１１０を装着する。
＜固体撮像素子＞
図２（ａ）〜図２（ｃ）は、固体撮像素子１０３の構成を説明するための図である。図２（ａ）に示すように、固体撮像素子１０３は、赤色の光による画素信号を検出するための画素１１１Ｒ、緑色の光による画素信号を検出するための画素１１１Ｇ、青色の光による画素信号を検出するための画素１１１Ｂを有している。図２（ａ）に示す例では、画素数が６×６の場合を示したが、画素数が異なっていても良い。また、図２（ａ）に示す例では、画素１１１Ｒ、１１１Ｇ、１１１Ｂを所謂ベイヤー配列の方式で配列した例を示したが、ベイヤー配列ではなくても良い。以下、赤色の画素１１１Ｒ、緑色の画素１１１Ｇ、青色の画素１１１Ｂで別々の構成を有する要素に関してはＲ、Ｇ、Ｂの符号を付して区別する。一方、赤色の画素１１１Ｒ、緑色の画素１１１Ｇ、青色の画素１１１Ｂで同一の構成を有する要素に関してはＲ、Ｇ、Ｂの符号を省略する。
図２（ａ）〜図２（ｃ）は、固体撮像素子１０３の構成を説明するための図である。図２（ａ）に示すように、固体撮像素子１０３は、赤色の光による画素信号を検出するための画素１１１Ｒ、緑色の光による画素信号を検出するための画素１１１Ｇ、青色の光による画素信号を検出するための画素１１１Ｂを有している。図２（ａ）に示す例では、画素数が６×６の場合を示したが、画素数が異なっていても良い。また、図２（ａ）に示す例では、画素１１１Ｒ、１１１Ｇ、１１１Ｂを所謂ベイヤー配列の方式で配列した例を示したが、ベイヤー配列ではなくても良い。以下、赤色の画素１１１Ｒ、緑色の画素１１１Ｇ、青色の画素１１１Ｂで別々の構成を有する要素に関してはＲ、Ｇ、Ｂの符号を付して区別する。一方、赤色の画素１１１Ｒ、緑色の画素１１１Ｇ、青色の画素１１１Ｂで同一の構成を有する要素に関してはＲ、Ｇ、Ｂの符号を省略する。
図２（ｂ）は、図２（ａ）の一点鎖線で囲った二つの画素１１１Ｒ、１１１Ｇの要部断面図であり、図２（ｃ）は、図２（ａ）の二点鎖線で囲った二つの画素１１１Ｇ、１１１Ｂの要部断面図である。各々の画素１１１は、光の入射側より、マイクロレンズ１１２、カラーフィルタ１１３、基板１１４を有している。マイクロレンズ１１２は、可視光および近赤外光で透明である、ＳｉＯ2やＳｉＮなどの無機材料、または樹脂などの有機材料で形成されている。基板１１４は、可視光の少なくとも一部、および、近赤外光の少なくとも一部に吸収を有するＳｉなどの無機半導体、ＩｎＧａＺｎＯなどの酸化物半導体、有機半導体などで形成されている。ここで、吸収を有するとは、所望の波長帯域において、消衰係数が１×１０-3以上であることを意味する。
ここで、可視光とは波長が３８０ｎｍ以上かつ７５０ｎｍ未満の光を意味し、近赤外光とは波長が７５０ｎｍ以上２５００ｎｍ以下の光を意味する。基板１１４の材料としてシリコンを使用した場合、シリコンの吸収端は１１００ｎｍであるため、可視光の波長帯域全体の光、および、波長が７５０ｎｍ以上かつ１１００ｎｍ以下の近赤外光に吸収を有する。
各々の画素１１１中の基板１１４内には、イオン打ち込みなどによって不純物がドーピングされた光電変換部１１５が形成されている。各々の画素に入射した光は基板１１４内で光電変換され、光電変換部１１５内に収集される。ここで、基板１１４に到達した光が基板１１４内で光電変換されて、光電変換部１１５に電荷として収集される効率のことを光電子収集率と定義する。光電変換部１１５に収集された電荷は、ＡｌやＣｕなどの金属で形成された配線１１６によって読み出され、転送回路１０６に転送される。なお、図２に示す例では、配線１１６を基板１１４よりも光の入射側に設けた例を示したが、配線１１６が基板１１４に対して光の入射側とは反対側に設けられていても良い。
＜カラーフィルタの可視光帯域における特性＞
画素１１１Ｒには、可視光の波長帯域において、赤色の光を選択的に透過させるカラーフィルタ１１３Ｒが設けられている。同様に、画素１１１Ｇには緑色の光を選択的に透過させるカラーフィルタ１１３Ｇが設けられ、画素１１１Ｂには青色の光を選択的に透過させるカラーフィルタ１１３Ｂが設けられている。
画素１１１Ｒには、可視光の波長帯域において、赤色の光を選択的に透過させるカラーフィルタ１１３Ｒが設けられている。同様に、画素１１１Ｇには緑色の光を選択的に透過させるカラーフィルタ１１３Ｇが設けられ、画素１１１Ｂには青色の光を選択的に透過させるカラーフィルタ１１３Ｂが設けられている。
図３に、各々の画素の感度１１８を示す。図３の横軸は波長（単位はｎｍ）を表し、縦軸は感度を表す。感度１１８は、カラーフィルタ１１３の透過率と、光電変換部１１５の光電子収集率との積に比例する。
図３（ａ）に示すように、赤色の画素１１１Ｒは波長が６００ｎｍ以上の赤色の光、緑色の画素１１１Ｇは波長が５００ｎｍ以上６００ｎｍ以下の緑色の光、青色の画素１１１Ｂは波長が５００ｎｍ以下の青色の光に対する感度が、各々高くなっている。このように、各々の画素１１１Ｒ、１１１Ｇ、１１１Ｂに対して、可視光の波長帯域において透過スペクトルの異なるカラーフィルタ１１３を設けることで、第二の撮影モードにおいて被写体の色情報を取得することができる。
図３（ａ）に示すように、赤色の画素１１１Ｒは波長が６００ｎｍ以上の赤色の光、緑色の画素１１１Ｇは波長が５００ｎｍ以上６００ｎｍ以下の緑色の光、青色の画素１１１Ｂは波長が５００ｎｍ以下の青色の光に対する感度が、各々高くなっている。このように、各々の画素１１１Ｒ、１１１Ｇ、１１１Ｂに対して、可視光の波長帯域において透過スペクトルの異なるカラーフィルタ１１３を設けることで、第二の撮影モードにおいて被写体の色情報を取得することができる。
＜カラーフィルタの近赤外光帯域における特性＞
更に、本実施形態では、近赤外光の波長帯域においても透過率が異なるようなカラーフィルタ１１３Ｒ、１１３Ｇ、１１３Ｂを使用している。具体的には、近赤外光の波長帯域において、カラーフィルタ１１３の透過率はＲ＞Ｇ＞Ｂの大小関係を満たすようになっている。前述したように、画素の感度はカラーフィルタの透過率と光電変換部の光電子収集率との積に比例するため、図３（ｂ）に示すように、近赤外光の波長帯域において、感度１１８はＲ＞Ｇ＞Ｂの大小関係を満たすようになっている。即ち、本実施形態の構成とすることで、第一の撮影モードにおいて、異なる感度の複数種類の画素信号を取得することができる。異なる感度の複数種類の画素信号を取得することで、第一の撮影モードで取得される撮影画像のダイナミックレンジを拡大することができる。具体的なダイナミックレンジの拡大方法は後述する。
更に、本実施形態では、近赤外光の波長帯域においても透過率が異なるようなカラーフィルタ１１３Ｒ、１１３Ｇ、１１３Ｂを使用している。具体的には、近赤外光の波長帯域において、カラーフィルタ１１３の透過率はＲ＞Ｇ＞Ｂの大小関係を満たすようになっている。前述したように、画素の感度はカラーフィルタの透過率と光電変換部の光電子収集率との積に比例するため、図３（ｂ）に示すように、近赤外光の波長帯域において、感度１１８はＲ＞Ｇ＞Ｂの大小関係を満たすようになっている。即ち、本実施形態の構成とすることで、第一の撮影モードにおいて、異なる感度の複数種類の画素信号を取得することができる。異なる感度の複数種類の画素信号を取得することで、第一の撮影モードで取得される撮影画像のダイナミックレンジを拡大することができる。具体的なダイナミックレンジの拡大方法は後述する。
なお、近赤外光の波長帯域のすべての波長において感度１１８がＲ＞Ｇ＞Ｂの大小関係が成立していなくてもよく、近赤外光の波長帯域内における感度１１８の積分値に対して、Ｒ＞Ｇ＞Ｂの大小関係が成立していればよい。ここで、感度１１８の積分範囲は、可視光カットフィルタ１０９を透過する波長帯域とする。
＜カラーフィルタの近赤外光帯域における特性制御方法＞
各々のカラーフィルタの近赤外光の波長帯域における透過率を制御する手法としては、以下に示す手法から一つを選択するか、複数の手法を組み合わせればよい。この時、可視光の波長帯域における透過率に与える影響を小さくしつつ、近赤外光の波長帯域における透過率のみを制御する方が好ましい。可視光の波長帯域におけるカラーフィルタの透過率を変えてしまうと、第二の撮影モードで撮影画像を取得する際の、被写体の色再現性が低下してしまうためである。
各々のカラーフィルタの近赤外光の波長帯域における透過率を制御する手法としては、以下に示す手法から一つを選択するか、複数の手法を組み合わせればよい。この時、可視光の波長帯域における透過率に与える影響を小さくしつつ、近赤外光の波長帯域における透過率のみを制御する方が好ましい。可視光の波長帯域におけるカラーフィルタの透過率を変えてしまうと、第二の撮影モードで撮影画像を取得する際の、被写体の色再現性が低下してしまうためである。
＜色素含有＞
一つ目の手法は、各々のカラーフィルタに対して、近赤外光の波長帯域に吸収特性を有する吸収材料を含有させ、その濃度をカラーフィルタ毎に変える手法である。具体的には、カラーフィルタ１１３Ｂ中の吸収材料の濃度をカラーフィルタ１１３Ｇよりも高くし、カラーフィルタ１１３Ｇ中の吸収材料の濃度をカラーフィルタ１１３Ｒの濃度よりも高くすればよい。吸収材料としては、近赤外光の波長帯域に吸収特性を有するとともに、可視光の波長帯域における透過率の高い、ジイモニウムやフタロシアニン系の色素などを使用すればよい。図２に示す固体撮像素子１０３は、一つ目の手法を採用した場合の構成を示している。
一つ目の手法は、各々のカラーフィルタに対して、近赤外光の波長帯域に吸収特性を有する吸収材料を含有させ、その濃度をカラーフィルタ毎に変える手法である。具体的には、カラーフィルタ１１３Ｂ中の吸収材料の濃度をカラーフィルタ１１３Ｇよりも高くし、カラーフィルタ１１３Ｇ中の吸収材料の濃度をカラーフィルタ１１３Ｒの濃度よりも高くすればよい。吸収材料としては、近赤外光の波長帯域に吸収特性を有するとともに、可視光の波長帯域における透過率の高い、ジイモニウムやフタロシアニン系の色素などを使用すればよい。図２に示す固体撮像素子１０３は、一つ目の手法を採用した場合の構成を示している。
＜２層構成＞
二つ目の手法は、図４（ａ）に示すように、カラーフィルタを２層構成とする方法である。具体的には、可視光の波長帯域において特定の色の光のみを透過させるカラーフィルタ１１３と、近赤外光を吸収または反射させるようなフィルタ層１１７とを各々の画素に設ける方法である。フィルタ層１１７の構成を画素毎に変えることで、近赤外光の波長帯域における透過率を制御することができる。
二つ目の手法は、図４（ａ）に示すように、カラーフィルタを２層構成とする方法である。具体的には、可視光の波長帯域において特定の色の光のみを透過させるカラーフィルタ１１３と、近赤外光を吸収または反射させるようなフィルタ層１１７とを各々の画素に設ける方法である。フィルタ層１１７の構成を画素毎に変えることで、近赤外光の波長帯域における透過率を制御することができる。
フィルタ層１１７は、前述したジイモニウムやフタロシアニン系の色素で形成すればよい。近赤外光の波長帯域における透過率は、フィルタ層１１７中の色素の濃度で制御しても良いし、フィルタ層１１７の厚みで制御しても良い。色素の濃度で制御する場合には、フィルタ層１１７Ｂ中の色素の濃度をフィルタ層１１７Ｇよりも高くし、フィルタ層１１７Ｇ中の色素の濃度をフィルタ層１１７Ｒよりも高くすればよい。また、フィルタの厚みで制御する場合には、フィルタ層１１７Ｂの厚みをフィルタ層１１７Ｇよりも大きくし、フィルタ層１１７Ｇの厚みをフィルタ層１１７Ｒよりも大きくすればよい。ここで、濃度や厚みはゼロの場合を含む。即ち、フィルタ層１１７Ｒは設けないようにしても良い。
また、フィルタ層１１７を構成する材料の特性によって透過率を制御するのではなく、フィルタ層１１７中に設けた構造によって透過率を制御しても良い。具体的には、多層膜やフォトニック結晶などの周期構造を使用してもよいし、微粒子やスプリットリング共振器などの金属微細構造を使用しても良い。周期構造の周期や金属微細構造の大きさを制御することで、可視光の波長帯域における透過率を高く保ったまま、近赤外光の波長帯域における透過率を制御することができる。
＜可視光カットフィルタで制御＞
三つ目の手法は、可視光カットフィルタ１０９の特性で制御する方法である。図４（ｂ）に示すように、感度１１８の大小関係が近赤外光の波長帯域内で変化している場合を考える。この時、可視光カットフィルタ１０９が透過する光の波長帯域を制御することで、感度の積分値の大小関係を制御することができる。例えば、可視光カットフィルタ１０９が透過する光の波長帯域が図４（ｂ）の透過範囲Ａである場合、感度１１８の積分値はＲ、Ｇ、Ｂで差は小さい。一方で、可視光カットフィルタ１０９が透過する光の波長帯域が図４（ｂ）の透過範囲Ｂである場合、感度１１８の積分値はＲ、Ｇ、Ｂで差が大きくなる。このように、可視光カットフィルタ１０９が透過する波長帯域を制御することでも、画素１１１Ｒ、１１１Ｇ、１１１Ｂの感度１１８を制御することができる。
三つ目の手法は、可視光カットフィルタ１０９の特性で制御する方法である。図４（ｂ）に示すように、感度１１８の大小関係が近赤外光の波長帯域内で変化している場合を考える。この時、可視光カットフィルタ１０９が透過する光の波長帯域を制御することで、感度の積分値の大小関係を制御することができる。例えば、可視光カットフィルタ１０９が透過する光の波長帯域が図４（ｂ）の透過範囲Ａである場合、感度１１８の積分値はＲ、Ｇ、Ｂで差は小さい。一方で、可視光カットフィルタ１０９が透過する光の波長帯域が図４（ｂ）の透過範囲Ｂである場合、感度１１８の積分値はＲ、Ｇ、Ｂで差が大きくなる。このように、可視光カットフィルタ１０９が透過する波長帯域を制御することでも、画素１１１Ｒ、１１１Ｇ、１１１Ｂの感度１１８を制御することができる。
＜ダイナミックレンジの拡大方法＞
ここで、異なる感度の複数種類の画素信号を利用して、撮影画像のダイナミックレンジを拡大するための方法を、図５を用いて説明する。図５は、第一の撮影モードにおける、被写体の輝度と画素１１１Ｒ、１１１Ｇ、１１１Ｂで取得する画素信号１２０Ｒ、１２０Ｇ、１２０Ｂとの大きさを説明するための図である。同一の輝度の被写体を撮影した場合、近赤外光の波長帯域における感度の差異により、画素信号の強度の大小関係は、Ｒ＞Ｇ＞Ｂとなる。従って、演算部１０７は、被写体の輝度によって使用する画素信号を切り替えることで、撮影画像のダイナミックレンジを拡大することができる。
ここで、異なる感度の複数種類の画素信号を利用して、撮影画像のダイナミックレンジを拡大するための方法を、図５を用いて説明する。図５は、第一の撮影モードにおける、被写体の輝度と画素１１１Ｒ、１１１Ｇ、１１１Ｂで取得する画素信号１２０Ｒ、１２０Ｇ、１２０Ｂとの大きさを説明するための図である。同一の輝度の被写体を撮影した場合、近赤外光の波長帯域における感度の差異により、画素信号の強度の大小関係は、Ｒ＞Ｇ＞Ｂとなる。従って、演算部１０７は、被写体の輝度によって使用する画素信号を切り替えることで、撮影画像のダイナミックレンジを拡大することができる。
具体的には、以下のようにすればよい。演算部１０７は、画素信号１２０Ｒの強度が所定の閾値１２１未満の場合には画素信号１２０Ｒを使用し、画素信号１２０Ｒの強度が所定の閾値１２１以上の場合には画素信号１２０Ｂを使用する。ここで、所定の閾値１２１は、画素信号１２０が飽和したときの信号強度よりも小さい値である。
このように、被写体の輝度によって使用する画素信号を切り替えた場合の、撮影画像のダイナミックレンジは図５における範囲１２２内である。一方、画素信号１２０Ｒのみ、画素信号１２０Ｇのみ、画素信号１２０Ｂのみを使用した場合のダイナミックレンジは、それぞれ範囲１２３Ｒ、１２３Ｇ、１２３Ｂ内である。このように、被写体の輝度によって使用する画素信号を切り替えることで、撮影画像のダイナミックレンジを拡大している。
＜３種類以上の画素信号を使用＞
また、撮影画像のダイナミックレンジを拡大するための方法として、３種類以上の画素信号を使用してもよい。具体的には、演算部１０７は、画素信号１２０Ｒの強度が所定の閾値１２１未満の場合に画素信号１２０Ｒを使用し、画素信号１２０Ｒの強度が所定の閾値１２１以上であって画素信号１２０Ｇの強度が所定の閾値１２１未満の場合に画素信号１２０Ｇを使用する。そして、画素信号１２０Ｇの強度が所定の閾値１２１以上の場合に画素信号１２０Ｂを使用する、というように３種類の画素信号を使用しても良い。用いる画素信号の種類が多いほど、閾値前後で用いる画素信号を切り替える際のＳＮ比の低下が抑制されるため、好ましい。一般に、切り替え対象の画素信号の強度比が１００倍を超えるとＳＮ比の低下が大きくなってくる。そのため、画素信号１２０Ｒと画素信号１２０Ｂとの信号強度比が１００倍を超える場合には、画素信号１２０Ｇを中間感度の信号として使用するのが好ましい。
また、撮影画像のダイナミックレンジを拡大するための方法として、３種類以上の画素信号を使用してもよい。具体的には、演算部１０７は、画素信号１２０Ｒの強度が所定の閾値１２１未満の場合に画素信号１２０Ｒを使用し、画素信号１２０Ｒの強度が所定の閾値１２１以上であって画素信号１２０Ｇの強度が所定の閾値１２１未満の場合に画素信号１２０Ｇを使用する。そして、画素信号１２０Ｇの強度が所定の閾値１２１以上の場合に画素信号１２０Ｂを使用する、というように３種類の画素信号を使用しても良い。用いる画素信号の種類が多いほど、閾値前後で用いる画素信号を切り替える際のＳＮ比の低下が抑制されるため、好ましい。一般に、切り替え対象の画素信号の強度比が１００倍を超えるとＳＮ比の低下が大きくなってくる。そのため、画素信号１２０Ｒと画素信号１２０Ｂとの信号強度比が１００倍を超える場合には、画素信号１２０Ｇを中間感度の信号として使用するのが好ましい。
＜中間感度＞
なお、画素信号１２０Ｇを中間感度の信号として使用する場合、画素信号１２０Ｒと画素信号１２０Ｇとの感度の比と、画素信号１２０Ｇと画素信号１２０Ｂとの感度の比とをなるべく等しくする方が好ましい。これにより、画素信号を切り替える際のＳＮ比の低下が抑制される。具体的には、感度１１８Ｒ、１１８Ｇ、１１８Ｂの間で以下の関係が成立していることが好ましい。
０．１≦１１８Ｒ×１１８Ｂ÷１１８Ｇ2≦１０ ・・・式（１）
即ち、感度１１８Ｒと感度１１８Ｂとの積の、感度１１８Ｇの２乗に対する比が、０．１以上１０以下であることが好ましい。
なお、画素信号１２０Ｇを中間感度の信号として使用する場合、画素信号１２０Ｒと画素信号１２０Ｇとの感度の比と、画素信号１２０Ｇと画素信号１２０Ｂとの感度の比とをなるべく等しくする方が好ましい。これにより、画素信号を切り替える際のＳＮ比の低下が抑制される。具体的には、感度１１８Ｒ、１１８Ｇ、１１８Ｂの間で以下の関係が成立していることが好ましい。
０．１≦１１８Ｒ×１１８Ｂ÷１１８Ｇ2≦１０ ・・・式（１）
即ち、感度１１８Ｒと感度１１８Ｂとの積の、感度１１８Ｇの２乗に対する比が、０．１以上１０以下であることが好ましい。
＜まとめ＞
即ち、本実施形態に係る撮像装置では、可視光の波長帯域において被写体の色情報を取得するためのカラーフィルタの透過率を、近赤外の波長帯域においても互いに異ならせている。このような構成とすることで、近赤外光のみによる撮影画像を取得する撮影モードにおいて、異なる感度の複数種類の画素信号を取得することが可能となる。そして、被写体の輝度によって用いる画素信号を切り替えることで、近赤外光のみの撮影画像のダイナミックレンジを拡大することを可能としている。なお、画角やフレームによって使用する画素信号を切り替えても良い。
即ち、本実施形態に係る撮像装置では、可視光の波長帯域において被写体の色情報を取得するためのカラーフィルタの透過率を、近赤外の波長帯域においても互いに異ならせている。このような構成とすることで、近赤外光のみによる撮影画像を取得する撮影モードにおいて、異なる感度の複数種類の画素信号を取得することが可能となる。そして、被写体の輝度によって用いる画素信号を切り替えることで、近赤外光のみの撮影画像のダイナミックレンジを拡大することを可能としている。なお、画角やフレームによって使用する画素信号を切り替えても良い。
更に、第一の撮影モードと第二の撮影モードとで取得する撮影画像の波長が異なっているため、第一の撮影モードに最適なカラーフィルタの透過率と、第二の撮影モードに最適なカラーフィルタの透過率とを両立させることができる。即ち、本実施形態に係る撮像装置では、可視光のみによる撮影画像の品質を低下させることなく、近赤外光のみの撮影画像の品質を向上させることが可能となっている。
＜近赤外光に波長が近いほど透過率が高い＞
図３（ｂ）に示す例では、近赤外光の波長帯域における感度１１８の大小関係を、Ｒ＞Ｇ＞Ｂの順序としたが、大小関係が異なっていても良い。但し、可視光の波長帯域における透過波長と近赤外光の波長とが近い場合、可視光の波長帯域における透過率を低下させずに近赤外光の波長帯域における透過率を低下させることは難しい。従って、図３のように、可視光の波長帯域における透過波長が近赤外光の波長に近いほど、感度１１８が高くなっている構成とする方が好ましい。
図３（ｂ）に示す例では、近赤外光の波長帯域における感度１１８の大小関係を、Ｒ＞Ｇ＞Ｂの順序としたが、大小関係が異なっていても良い。但し、可視光の波長帯域における透過波長と近赤外光の波長とが近い場合、可視光の波長帯域における透過率を低下させずに近赤外光の波長帯域における透過率を低下させることは難しい。従って、図３のように、可視光の波長帯域における透過波長が近赤外光の波長に近いほど、感度１１８が高くなっている構成とする方が好ましい。
＜ＧｒとＧｂの近赤外における透過率を変える＞
図２では、固体撮像素子１０３に、赤色、緑色、青色の三種類のカラーフィルタを有する、三種類の画素を設けた場合を示したが、画素の種類は二種類以上であれば良い。
前述したように、異なる感度の画素信号の種類が多いほど、閾値前後で用いる画素信号を切り替える際のＳＮ比の低下が抑制される。従って、可視光の波長帯域において同一の透過率特性を有するカラーフィルタの、近赤外光の波長帯域における透過率を変えても良い。
図２では、固体撮像素子１０３に、赤色、緑色、青色の三種類のカラーフィルタを有する、三種類の画素を設けた場合を示したが、画素の種類は二種類以上であれば良い。
前述したように、異なる感度の画素信号の種類が多いほど、閾値前後で用いる画素信号を切り替える際のＳＮ比の低下が抑制される。従って、可視光の波長帯域において同一の透過率特性を有するカラーフィルタの、近赤外光の波長帯域における透過率を変えても良い。
図６は、赤色の画素１１１Ｒに対してＸ方向に隣接する緑色の画素１１１Ｇｒと、青色の画素１１１Ｂに対してＸ方向に隣接する緑色の画素１１１Ｇｂとで近赤外光の波長帯域における透過率を変えた例を説明するための図である。図６（ａ）は、この例での画素配置を示し、図６（ｂ）及び図６（ｃ）は、それぞれ可視光の波長帯域における感度、近赤外光の波長帯域における感度を示している。このような構成とすることで、第二の撮影モードではベイヤー配列の並びの画素信号で被写体の色情報を取得しつつ、第一の撮影モードでは画素信号切り替え時のＳＮ比の低下を抑制することができるため、好ましい。なお、図６（ｃ）では、近赤外光の波長帯域における緑色の画素１１１Ｇｒの感度の方が緑色の画素１１１Ｇｂの感度よりも高い場合を示したが、緑色の画素１１１Ｇｒ、１１１Ｇｂの感度の大小関係が逆転していても良い。
図７は、最も単純な構成として、カラーフィルタの種類が二種類の場合を説明するための図である。図７（ａ）及び図７（ｂ）は、この例での固体撮像素子の構成を示し、図７（ｃ）及び図７（ｄ）は、それぞれ可視光の波長帯域および近赤外光の波長帯域における画素の感度を示す。
図７に示す例の場合には、本実施形態に係る撮像装置１００の構成は以下のようになる。固体撮像素子１０３は、第一の画素１１１Ｈと第二の画素１１１Ｌとの二種類の画素を有する。そして、第一の画素１１１Ｈおよび第二の画素１１１Ｌは、それぞれカラーフィルタ１１３Ｌ、１１３Ｈを備え、各々の画素に入射した光はそれぞれ光電変換部１１５Ｌ、１１５Ｈに収集される。
また、図７（ｃ）及び図７（ｄ）に示すように、第一の波長帯域１２４Ｈにおける第一の画素１１１Ｈの感度１１８Ｈが、第二の波長帯域１２４Ｌにおける第一の画素１１１Ｈの感度１１８Ｈよりも高い。また、第二の波長帯域１２４Ｌにおける第二の画素１１１Ｌの感度１１８Ｌが、第一の波長帯域１２４Ｈにおける第二の画素１１１Ｌの感度１１８Ｌよりも高い。そして、第三の波長帯域１２５における第一の画素１１１Ｈの感度１１８Ｈが第二の画素１１１Ｌの感度１１８Ｌよりも高い。
第一の撮影モードでは、固体撮像素子よりも光の入射側に、第一の波長帯域および第二の波長帯域の光を吸収する第三のカラーフィルタ（可視光カットフィルタ１０９）が装着される。そして、第一の撮影モードにおいて、第一の画素１１１Ｈで取得した画素信号の強度がある閾値未満の場合には、第一の画素１１１Ｈで取得した画素信号を使用する。また、第一の画素１１１Ｈで取得した画素信号の強度がある閾値以上の場合には、第二の画素１１１Ｌで取得した画素信号を使用する。そして、これらを合成することで、近赤外光のみによる撮影画像のダイナミックレンジを拡大することができる。
また、近赤外光の波長帯域における、第一の画素１１１Ｈの感度の、第二の画素１１１Ｌの感度に対する比が大きいほど、近赤外光のみによる撮影画像のダイナミックレンジをより拡大することができる。具体的には、感度の比が２倍以上であれば好ましく、１０倍以上であれば更に好ましい。
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態の撮像装置は、第一の撮影モードで取得する撮影画像の画像処理方法に特徴を有している。本実施形態では、固体撮像素子の画素配列が図２に示すようなベイヤー配列であり、近赤外光の波長帯域における感度が図３に示すようなＲ＞Ｇ＞Ｂの大小関係である場合に特に有効である。
以下、本発明の第２の実施形態について説明する。本実施形態の撮像装置は、第一の撮影モードで取得する撮影画像の画像処理方法に特徴を有している。本実施形態では、固体撮像素子の画素配列が図２に示すようなベイヤー配列であり、近赤外光の波長帯域における感度が図３に示すようなＲ＞Ｇ＞Ｂの大小関係である場合に特に有効である。
図８は、第一の撮影モードで取得される画素信号１２０Ｒ、１２０Ｇ、１２０Ｂのサンプリング位置を示した図である。図８（ａ）には、画素１１１Ｒで取得される高感度な画素信号１２０Ｒを示し、図８（ｂ）には、画素１１１Ｇで取得される中間感度の画素信号１２０Ｇを示し、図８（ｃ）には、画素１１１Ｂで取得される低感度な画素信号１２０Ｂを示す。図８に示すように、ベイヤー配列を反映して、中間感度の画素信号１２０Ｇのサンプリングピッチが、高感度な画素信号１２０Ｒおよび低感度な画素信号１２０Ｂのサンプリングピッチよりも細かくなっている。
図９は、本実施形態における画像処理方法を説明するための図である。まず、サンプリングピッチの粗い高感度な画素信号１２０Ｒによる画像１３０Ｒから、補間処理によってサンプリングピッチの細かい画像１３１Ｒを生成する。この時、画像１３０Ｒよりもサンプリングピッチの細かい画像１３０Ｇをガイド画像としてデモザイク処理を行う。同様に、サンプリングピッチの粗い画像１３０Ｂを元画像、サンプリングピッチの細かい画像１３０Ｇをガイド画像として、デモザイク処理によってサンプリングピッチの細かい画像１３１Ｂを生成する。
その後、サンプリングピッチの細かい画像１３１Ｒの各々の位置の画素信号の強度がある閾値未満である場合には画像１３１Ｒの画素信号１２０Ｒを使用し、ある閾値以上である場合には画像１３１Ｂの画素信号１２０Ｂを使用する。そして、ダイナミックレンジが拡大された画像を生成する。本実施形態では、サンプリングピッチが細かい画像１３１Ｒ、１３１Ｂを生成してから使用する画素信号を選択するため、ダイナミックレンジを拡大しつつ、高解像度な画像を取得することができる。
具体的には、以下のような処理を行う。まず、画像１３０Ｒ（１３０Ｂ）の欠けた位置の暫定的な画素値を、画素信号１２０Ｒ（１２０Ｂ）のみを用いて、バイリニア法やバイキュービック法などの一般的な手法を用いて補間によって求める。次に、画像１３０Ｒ（１３０Ｂ）が欠けた位置の画素信号１２０Ｇを、周囲（例えば１５×１５画素）の画素信号の平均値で除算し、規格化信号を求める。続いて、暫定的な画素値を、前述の周囲の画素信号の平均値および規格化信号を用いて補正し、画像１３０Ｒ（１３０Ｂ）の欠けた位置の最終的な画素信号を、以下の式によって求める。
（Ｒの最終的な画素信号）
＝（Ｒの暫定的な画素値）×Ｃ×（Ｇの規格化信号） ・・・式（２）
（Ｂの最終的な画素信号）
＝（Ｂの暫定的な画素値）×Ｃ×（Ｇの規格化信号） ・・・式（３）
（Ｒの最終的な画素信号）
＝（Ｒの暫定的な画素値）×Ｃ×（Ｇの規格化信号） ・・・式（２）
（Ｂの最終的な画素信号）
＝（Ｂの暫定的な画素値）×Ｃ×（Ｇの規格化信号） ・・・式（３）
ここで、Ｃは０以上１未満の補正係数であり、画素信号１２０Ｒ、１２０Ｇ、１２０Ｂの値によって適切な値に設定すればよい。例えば、規格化信号の周囲の画素信号の平均値からの乖離が大きい時には補正係数Ｃを小さくして、補正効果を小さくしてもよい。
このように本実施形態では、サンプリングピッチの粗い画像１３０Ｒ（１３０Ｂ）からサンプリングピッチの細かい画像１３１Ｒ（１３１Ｂ）を生成する際に、サンプリングピッチの細かい画像１３０Ｇの情報を使用している。そのため、画像１３０Ｒ（１３０Ｂ）のみを用いて補間処理を行った場合よりも、デモザイク処理の精度が向上する。その結果、精度の高いデモザイク画像（画像１３１Ｒ、１３１Ｂ）を取得することができ、第一の撮影モードにおいて取得される画像のダイナミックレンジを拡大するだけではなく、解像度を向上させることができる。
以上の説明では、規格化信号を、周囲の画素信号の平均値で除算して求める例を示したが、周囲の画素信号の中央値で除算して求めても良いし、周囲の画素信号の強度分布を関数でフィッティングして求めても良い。
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態に係る撮像装置は、画素１１１Ｒ、１１１Ｇ、１１１Ｂの近赤外の波長帯域における感度に特徴を有する。なお、本実施形態に示す構成は、固体撮像素子の画素配列が図２に示すようなベイヤー配列である場合に特に有効である。
以下、本発明の第３の実施形態について説明する。本実施形態に係る撮像装置は、画素１１１Ｒ、１１１Ｇ、１１１Ｂの近赤外の波長帯域における感度に特徴を有する。なお、本実施形態に示す構成は、固体撮像素子の画素配列が図２に示すようなベイヤー配列である場合に特に有効である。
本実施形態の固体撮像素子１０３では、近赤外光の波長帯域における感度が、画素１１１Ｒと画素１１１Ｂとでほぼ等しい。ここで、ほぼ等しいとは、画素１１１Ｒと画素１１１Ｂとでの感度差が目立たない程度に異なっている場合を含むものとする。具体的には、画素１１１Ｒの感度の画素１１１Ｂの感度に対する比が１／２1/2倍以上２1/2倍以下であればよい。なお、前述したように、近赤外光の波長帯域のすべての波長において感度が等しい必要はなく、可視光カットフィルタ１０９を透過する波長帯域における感度の積分値が等しければよい。
このような構成とすることで、第一の撮影モードで取得される、互いに異なる感度の画像のサンプリングピッチが細かくなる（図１０）。その結果、容易な画像処理によってダイナミックレンジを拡大しつつ、解像度の高い画像を生成することができる。具体的には、画素信号１２０Ｒと画素信号１２０Ｂとからなる画像、画素信号１２０Ｇからなる画像を、各々別々にバイリニア法やバイキュービック法などによって補間処理を行えば、解像度の高い画像を得ることができる。また、第２の実施形態のように中間感度の画像をガイド画像として使用すると、デモザイク後の画像に偽信号が載りにくく、画質が向上するが、本実施形態の構成とした方が、デモザイクの処理が容易になる。
近赤外光の波長帯域における画素１１１Ｒ（１１１Ｂ）の感度は、画素１１１Ｇの感度より高くても良いし、低くても良い。但し、前述したように、可視光の波長帯域における透過波長と近赤外光の波長とが近い場合、可視光の波長帯域における透過率を低下させずに近赤外光の波長帯域における透過率を低下させるのが難しい。従って、画素１１１Ｒおよび画素１１１Ｂの感度が、画素１１１Ｇの感度よりも高くなっているほうが好ましい。また、画素の感度を制御するには、前述したように、各々のカラーフィルタ１１３中に含有される色素の濃度を変えたり、フィルタを２層構成としたり、可視光カットフィルタ１０９の透過波長帯域を制御したりすればよい。
（第４の実施形態）
以下、本発明の第４の実施形態について説明する。本実施形態の固体撮像素子１０３は、光電変換部１１５の構成を画素１１１Ｒ、１１１Ｇ、１１１Ｂ間で変えることによって、光電変換部１１５の光電子収集率を制御している。前述したように、画素の感度は、各々の画素のカラーフィルタの透過率と、光電変換部での光電子収集率との積によって決定される。そのため、光電変換部の構成を画素間に変えることで、近赤外光の波長帯域における画素の感度を制御することができる。
以下、本発明の第４の実施形態について説明する。本実施形態の固体撮像素子１０３は、光電変換部１１５の構成を画素１１１Ｒ、１１１Ｇ、１１１Ｂ間で変えることによって、光電変換部１１５の光電子収集率を制御している。前述したように、画素の感度は、各々の画素のカラーフィルタの透過率と、光電変換部での光電子収集率との積によって決定される。そのため、光電変換部の構成を画素間に変えることで、近赤外光の波長帯域における画素の感度を制御することができる。
図１１に、本実施形態の固体撮像素子１０３中の画素１１１Ｒ、１１１Ｇ、１１１Ｂの構成例を示す。図１１に示すように、画素１１１Ｒ中の光電変換部１１５Ｒ、画素１１１Ｇ中の光電変換部１１５Ｇ、画素１１１Ｂ中の光電変換部１１５Ｂについて、光電変換部１１５の厚さが、Ｒ＞Ｇ＞Ｂの大小関係を満たしている。
＜光電変換部の厚さ＞
光電変換部１１５が厚いほど基板１１４の深い位置で光電変換された光電子も収集することができるため、光電変換部の光電子収集率が高くなる。従って、図１１の構成とすることにより、近赤外光の波長帯域において感度１１８はＲ＞Ｇ＞Ｂの大小関係を満たすことができる。なお、光電変換部１１５の厚さを制御するためには、光電変換部１１５を形成する際のイオンの打ち込み条件、具体的には加速電圧を制御すればよい。
光電変換部１１５が厚いほど基板１１４の深い位置で光電変換された光電子も収集することができるため、光電変換部の光電子収集率が高くなる。従って、図１１の構成とすることにより、近赤外光の波長帯域において感度１１８はＲ＞Ｇ＞Ｂの大小関係を満たすことができる。なお、光電変換部１１５の厚さを制御するためには、光電変換部１１５を形成する際のイオンの打ち込み条件、具体的には加速電圧を制御すればよい。
＜波長の大小関係＞
前述したように、感度１１８Ｒ、感度１１８Ｇ、感度１１８Ｂ間の大小関係は、必ずしもＲ＞Ｇ＞Ｂの大小関係を満たさなくても良い。但し、光電変換部１１５の厚さがＲ＞Ｇ＞Ｂの大小関係を満たしている場合、第二の撮影モードで取得する可視光のみによる撮影画像の画質も向上させることができるため、好ましい。以下、その理由を説明する。
前述したように、感度１１８Ｒ、感度１１８Ｇ、感度１１８Ｂ間の大小関係は、必ずしもＲ＞Ｇ＞Ｂの大小関係を満たさなくても良い。但し、光電変換部１１５の厚さがＲ＞Ｇ＞Ｂの大小関係を満たしている場合、第二の撮影モードで取得する可視光のみによる撮影画像の画質も向上させることができるため、好ましい。以下、その理由を説明する。
一般に、固体撮像素子の基板を形成するシリコンなどの半導体材料は、波長が短いほど光の吸収係数が大きい。そのため、波長が相対的に短い青色の光は、その殆どが基板の浅い位置で光電変換されるが、波長が相対的に長い赤色の光の一部は、基板の深い位置まで侵入してから光電変換される。従って、青色の画素１１１Ｂにおいては、基板の浅い位置で光電変換された電荷のみを光電変換部１１５Ｂに収集すればよいため、光電変換部１１５Ｂは薄くても良い。一方、赤色の画素１１１Ｒにおいては、基板の深い位置で光電変換される電荷も効率よく収集するために、光電変換部１１５Ｒは厚い方が好ましい。赤色の画素１１１Ｒに入射後、基板の深い位置で光電変換されて光電変換部１１５Ｒに収集されなかった電荷は、隣接画素に拡散してクロストークの原因となるためである。即ち、光電変換部１１５の厚さをＲ＞Ｇ＞Ｂの大小関係とすることで、第二の撮影モードで取得する可視光のみの画像の色再現性を向上させることができる。
更に、この時、カラーフィルタ１１３Ｒ、１１３Ｇ、１１３Ｂの近赤外光の波長帯域における透過率も、Ｒ＞Ｇ＞Ｂの大小関係となっていた方が更に好ましい。以下、その理由を説明する。
カラーフィルタの透過率が高いほど、画素内の光電変換部に入射する光量が多い。光電変換部に入射する光量が多い場合、光電変換部の光電子収集率が低いと、光電変換部に収集されなかった電荷が隣接画素に拡散してしまう。特に、隣接する画素の光電変換部に入射する光量の方が少ない場合、クロストークの影響が強くなってしまう。従って、光電変換部に入射する光量が少ない画素に隣接し、かつ光電変換部に入射する光量が多い画素においては、光電変換部の光電子収集率を高くした方が好ましい。一方、光電変換部に入射する光量が少ない場合は、光電変換部の光電子収集率が低くても、隣接画素に拡散する電荷量が少ない。特に、隣接する画素の光電変換部に入射する光量の方が多い場合、クロストークの影響が弱くなる。従って、光電変換部に入射する光量が多い画素に隣接し、かつ光電変換部に入射する光量が少ない画素においては、光電変換部の光電子収集率は低くても良い。
以上のように本実施形態によれば、光電変換部に入射する光量が多いほど、光電変換部の光電子収集率が多くなっているような構成とするのが好ましい。即ち、カラーフィルタ１１３の近赤外光の波長帯域における透過率がＲ＞Ｇ＞Ｂの大小関係となっており、かつ、光電変換部１１５の厚さがＲ＞Ｇ＞Ｂの大小関係となっているのが最も好ましい。
（第５の実施形態）
以下、本発明の第５の実施形態について説明する。本実施形態の固体撮像素子１０３は、第一の撮影モードにおける画素信号の読み出し方法に特徴を有している。本実施形態の信号読み出し方法は、固体撮像素子の画素配列が図２に示すようなベイヤー配列であり、近赤外光の波長帯域における感度１１８が図３に示すようなＲ＞Ｇ＞Ｂの大小関係である場合に特に有効である。
以下、本発明の第５の実施形態について説明する。本実施形態の固体撮像素子１０３は、第一の撮影モードにおける画素信号の読み出し方法に特徴を有している。本実施形態の信号読み出し方法は、固体撮像素子の画素配列が図２に示すようなベイヤー配列であり、近赤外光の波長帯域における感度１１８が図３に示すようなＲ＞Ｇ＞Ｂの大小関係である場合に特に有効である。
図１２に、本実施形態の固体撮像素子１０３の部分的な回路図を示す。図１２（ａ）は、赤色の画素１１１Ｒと緑色の画素１１１Ｇｂとが隣接している部分の回路図を示し、図１２（ｂ）は、緑色の画素１１１Ｇｒと青色の画素１１１Ｂとが隣接している部分の回路図を示している。図１２に示す固体撮像素子は、Ｙ方向に隣接する２つの画素間で読み出し回路を共用する構成となっている。即ち、赤色の画素１１１Ｒに蓄積された電荷、および緑色の画素１１１Ｇｂに蓄積された電荷は、共に画素内メモリ１４３へ転送可能な構成となっている。同様に、緑色の画素１１１Ｇｒに蓄積された電荷、および青色の画素１１１Ｂに蓄積された電荷は、共に画素内メモリ１４４に転送可能となっている。画素内メモリ１４３、１４４に転送された電荷はそれぞれソースフォロア１４５、１４６によって電圧信号に変換されて周辺回路に読み出される。このように、複数の画素で読み出し回路を共用することにより、１画素あたりに必要なトランジスタの数を減らすことができる。その結果、光電変換部の開口率を高くすることができ、感度が向上するため、好ましい。
＜加算読み出し＞
本実施形態の撮像装置１００では、第一の撮影モードにおいて、制御部１０４は、固体撮像素子から画素信号を読み出す際に、共用された画素内メモリを用いて加算読み出しを行う。加算読み出しを行うことで、光電変換部の電荷リセットと読み出し動作とを一回省略することができるため、高速に撮影画像を取得することが可能となり、好ましい。
本実施形態の撮像装置１００では、第一の撮影モードにおいて、制御部１０４は、固体撮像素子から画素信号を読み出す際に、共用された画素内メモリを用いて加算読み出しを行う。加算読み出しを行うことで、光電変換部の電荷リセットと読み出し動作とを一回省略することができるため、高速に撮影画像を取得することが可能となり、好ましい。
具体的には、以下のような読み出しを行う。まず、制御部１０４は、転送トランジスタ１４１Ｇｂ（１４１Ｂ）をＯＮにして、相対的に感度の低い画素中の光電変換部１１５Ｇｂ（１１５Ｂ）に蓄積された電荷を画素内メモリ１４３（１４４）に転送する。そして、制御部１０４は、ソースフォロア１４５（１４６）によって、光電変換部１１５Ｇｂ（１１５Ｂ）に蓄積された電荷による第一の画素信号を読み出す。
次に制御部１０４は、画素内メモリ１４３（１４４）に電荷を保持したまま転送トランジスタ１４１Ｒ（１４１Ｇｒ）をＯＮにして、相対的に感度の高い画素中の光電変換部１１５Ｒ（１１５Ｇｒ）に蓄積された電荷を画素内メモリ１４３（１４４）に転送する。そして、制御部１０４は、ソースフォロア１４５（１４６）によって、光電変換部１１５Ｇｂ（１１５Ｂ）に蓄積された電荷と、光電変換部１１５Ｒ（１１５Ｇｒ）に蓄積された電荷との和による第二の画素信号を読み出す。最後に、制御部１０４は、第二の画素信号から第一の画素信号を減じ、相対的に感度の高い画素中の光電変換部１１５Ｒ（１１５Ｇｒ）に蓄積された電荷による信号に相当する、第三の画素信号を求める。
なお、この時、画素内メモリ１４３、１４４のリセット時に発生するｋＴＣノイズを除去するために、相関二重サンプリングなどの公知のノイズ除去動作を行っても良い。より詳細には、光電変換部１１５に蓄積された電荷を転送する前に、ソースフォロア１４５、１４６からリセットレベル信号を出力して記憶し、その後の動作で読み出した画素信号からリセットレベルを減じて、各々の画素信号としても良い。
＜加算読み出しの効果＞
ここで、固体撮像素子の画素信号に発生するノイズについて説明する。支配的なノイズは、ＣＤＳによって除去可能な固定パターンノイズを除くと、光ショットノイズＮsおよび読み出しノイズＮrである。光ショットノイズＮsは光電変換時に発生し、その大きさは信号の大きさに依存し、画素信号中の信号成分をＳとした場合に信号量の平方根である（Ｎs＝Ｓ1/2）。一方、読み出しノイズＮrは、ソースフォロアから信号を読み出す際に発生し、信号の大きさに依存せず一定値を取る。光ショットノイズおよび読み出しノイズはそれぞれ独立事象であるため、ノイズの合算値は二乗和の平方根となる。つまり、第一の画素信号のＳＮ比は、以下の式（４）で表される。
ＳＮ1＝Ｓ1／（Ｓ1＋Ｎr 2）1/2 ・・・式（４）
ここで、固体撮像素子の画素信号に発生するノイズについて説明する。支配的なノイズは、ＣＤＳによって除去可能な固定パターンノイズを除くと、光ショットノイズＮsおよび読み出しノイズＮrである。光ショットノイズＮsは光電変換時に発生し、その大きさは信号の大きさに依存し、画素信号中の信号成分をＳとした場合に信号量の平方根である（Ｎs＝Ｓ1/2）。一方、読み出しノイズＮrは、ソースフォロアから信号を読み出す際に発生し、信号の大きさに依存せず一定値を取る。光ショットノイズおよび読み出しノイズはそれぞれ独立事象であるため、ノイズの合算値は二乗和の平方根となる。つまり、第一の画素信号のＳＮ比は、以下の式（４）で表される。
ＳＮ1＝Ｓ1／（Ｓ1＋Ｎr 2）1/2 ・・・式（４）
同様に、第二の画素信号のＳＮ比は、以下の式（５）で表される。
ＳＮ2＝Ｓ2／（Ｓ2＋Ｎr 2）1/2 ・・・式（５）
ＳＮ2＝Ｓ2／（Ｓ2＋Ｎr 2）1/2 ・・・式（５）
第三の画素信号は、第二の画素信号から第一の画素信号を減ずることにより求められる。第三の画素信号中の信号成分は、第二の画素信号中の信号成分と第一の画素信号中の信号成分との差分になる。読み出しノイズは、第一の画素信号を出力する時と第二の画素信号を出力する時とでそれぞれ独立して発生するため、二乗和の平方根となる。一方、第二の画素信号中の光ショットノイズ成分は、第一の画素信号中の光ショットノイズ成分に、後から画素内メモリに転送した信号電荷の光ショットノイズ成分が付加されたものである。よって、第三の画素信号中の光ショットノイズ成分は、第二の画素信号中の信号成分と第一の画素信号中の信号成分との差分の平方根となる。以上から、第三の画素信号のＳＮ比は、以下の式（６）で表される。
ＳＮ3＝（Ｓ2−Ｓ1）／（Ｓ2−Ｓ1＋２Ｎr 2）1/2 ・・・式（６）
ＳＮ3＝（Ｓ2−Ｓ1）／（Ｓ2−Ｓ1＋２Ｎr 2）1/2 ・・・式（６）
式（４）と式（６）とを比較すると、先に電荷を画素内メモリに転送した光電変換部の方が、後から転送した光電変換部より、ＳＮ比を良くして画素信号の出力が可能なことがわかる。電荷量が十分多い場合には、読み出しノイズに対して、光ショットノイズの方が支配的である（Ｓ＞＞Ｎr 2）ため、第一の画素信号と第三の画素信号とでのＳＮ比の差は小さい。しかし、電荷量が小さい場合には、読み出しノイズの影響が相対的に大きくなり（Ｓ＜Ｎr 2）、信号品質の劣化が激しい。信号品質が低下すると、後から読み出した画素信号を用いた際の撮影画像の品質が低下してしまう。
本実施形態では、相対的に感度の低い画素中の光電変換部１１５Ｇｂ（１１５Ｂ）に蓄積された電荷による画素信号を、相対的に感度の高い画素中の光電変換部１１５Ｒ（１１５Ｇｒ）に蓄積された電荷による画素信号よりも先に読み出している。そのため、加算読み出しによる信号品質の劣化を抑制しつつ、高速な撮影画像の取得を可能としている。
＜可視光用の撮影画像取得モードにおける読み出し＞
なお、可視光用の撮影画像を取得するための第二の撮影モードにおいては、加算読み出しを使用せずに、各々の画素信号を独立に読み出した方が好ましい。可視光用の撮影画像を取得する場合には、各々の画素中の光電変換部に入射する光量が被写体の色によって異なり、被写体によらずに電荷量の小さい信号を先に読み出すことが困難であるためである。
なお、可視光用の撮影画像を取得するための第二の撮影モードにおいては、加算読み出しを使用せずに、各々の画素信号を独立に読み出した方が好ましい。可視光用の撮影画像を取得する場合には、各々の画素中の光電変換部に入射する光量が被写体の色によって異なり、被写体によらずに電荷量の小さい信号を先に読み出すことが困難であるためである。
更に、第二の撮影モードにおいて加算読み出しを行った場合、以下の理由で、撮影画像の色再現性が低下してしまうことがあり得る。画素内メモリ１４３（１４４）を共用している光電変換部１１５Ｒ（１１５Ｇｒ）と光電変換部１１５Ｇｂ（１１５Ｂ）とで異なる色の画素信号を取得する。そのため、トランジスタの製造ばらつきなどによって少しでも電荷転送の不良が発生すると、異なる色の画素信号が混合されてしまう。
以上のように、第一の撮影モードでは、相対的に感度の低い画素の画素信号を先に読み出し、第二の撮影モードでは、各々の画素信号を別々に読み出す構成とするのが、最も好ましい。各々の画素信号を別々に読み出す場合には、光電変換部の電荷を画素内メモリに転送してソースフォロアで読み出したのちに、画素内メモリを一旦リセットする。その後、別の画素の光電変換部の電荷を画素内メモリに転送して読み出せば良い。
なお、図１２に示す例では、Ｙ方向に隣接する２つの画素間で読み出し回路を共用する構成としたが、Ｘ方向に隣接する２つの画素間で読み出し回路を共用しても良いし、ＸＹ方向に隣接する４つの画素間で読み出し回路を共用しても良い。Ｘ方向に隣接する２つの画素間で読み出し回路を共用した場合、第一の撮影モードにおいて、緑色の画素１１１Ｇｒおよび青色の画素１１１Ｂの画素信号を先に転送する。そして、赤色の画素１１１Ｒ及び緑色の画素１１１Ｇｂの画素信号を後から転送して加算読み出しを行えばよい。ＸＹ方向に隣接する４つの画素間で読み出し回路を共用した場合、第一の撮影モードにおいて、青色の画素１１１Ｂの画素信号を最初に転送し、緑色の画素１１１Ｇｒ、１１１Ｇｂの画素信号を次に転送する。そして、赤色の画素１１１Ｒの信号を最後に転送して加算読み出しを行えばよい。
＜隣接画素で共用＞
また、隣接しない画素間で読み出し回路を共用しても良いが、隣接する画素間で読み出し回路を共用した方が、配線レイアウトが単純化されるため、好ましい。
また、隣接しない画素間で読み出し回路を共用しても良いが、隣接する画素間で読み出し回路を共用した方が、配線レイアウトが単純化されるため、好ましい。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０３ 固体撮像素子
１０４ 制御部
１０７ 演算部
１０９ 可視光カットフィルタ
１０４ 制御部
１０７ 演算部
１０９ 可視光カットフィルタ
Claims (23)
- 第一の画素と第二の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第二の画素よりも高い固体撮像素子と、
前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタと、
前記固体撮像素子で取得した画素信号から画像を生成する演算手段とを有し、
前記演算手段は、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とする撮像装置。 - 前記演算手段は、前記第一の画素で取得した画素信号の強度が所定の閾値未満である場合に前記第一の画素で取得した画素信号を用い、前記第一の画素で取得した画素信号の強度が前記所定の閾値以上である場合に前記第二の画素で取得した画素信号を用いることを特徴とする請求項１に記載の撮像装置。
- 前記近赤外光の波長帯域における前記第一の画素の感度が前記第二の画素の感度の１０倍以上であることを特徴とする請求項１または２に記載の撮像装置。
- 前記第一の画素が第一のカラーフィルタを有し、前記第二の画素が第二のカラーフィルタを有しており、前記近赤外光の波長帯域における前記第一のカラーフィルタの透過率は、前記近赤外光の波長帯域における前記第二のカラーフィルタの透過率よりも高いことを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
- 前記第一のカラーフィルタおよび前記第二のカラーフィルタは、それぞれ前記近赤外光の波長帯域の光を吸収する吸収材料を含有しており、前記第一のカラーフィルタの中の前記吸収材料の濃度が、前記第二のカラーフィルタの中の前記吸収材料の濃度よりも低いことを特徴とする請求項４に記載の撮像装置。
- 前記第一のカラーフィルタおよび前記第二のカラーフィルタは、それぞれ前記近赤外光の波長帯域の光を吸収または反射させるフィルタ層を有しており、前記近赤外光の波長帯域における、前記第一のカラーフィルタが有するフィルタ層の透過率の方が、前記第二のカラーフィルタが有するフィルタ層の透過率よりも高いことを特徴とする請求項４または５に記載の撮像装置。
- 前記第一の波長帯域と前記近赤外光の波長帯域との波長の差が、前記第二の波長帯域と前記近赤外光の波長帯域との波長の差よりも小さいことを特徴とする請求項４〜６の何れか１項に記載の撮像装置。
- 前記第一の画素が第一の光電変換部を有し、前記第二の画素が第二の光電変換部を有し、前記近赤外光の波長帯域における前記第一の光電変換部の光電子収集率の方が、前記近赤外光の波長帯域における前記第二の光電変換部の光電子収集率よりも高いことを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
- 前記第一の光電変換部の方が、前記第二の光電変換部よりも厚いことを特徴とする請求項８に記載の撮像装置。
- 前記第一の波長帯域の方が、前記第二の波長帯域よりも波長が長いことを特徴とする請求項８または９に記載の撮像装置。
- 第一の画素と第二の画素と第三の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素および前記第三の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素および前記第三の画素よりも高く、前記第一の波長帯域と前記第二の波長帯域との間にある第三の波長帯域において前記第三の画素の感度が前記第一の画素および前記第二の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第三の画素よりも高く、かつ前記第三の画素の感度が前記第二の画素よりも高い固体撮像素子と、
前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタと、
前記固体撮像素子で取得した画素信号から画像を生成する演算手段とを有し、
前記演算手段は、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とする撮像装置。 - 前記演算手段は、前記第一の画素で取得した画素信号の強度が所定の閾値未満である場合に前記第一の画素で取得した画素信号を用い、前記第一の画素で取得した画素信号の強度が前記所定の閾値以上であり、かつ前記第三の画素で取得した画素信号の強度が前記所定の閾値未満である場合に前記第三の画素で取得した画素信号を用い、前記第三の画素で取得した画素信号の強度が前記所定の閾値以上である場合に前記第二の画素で取得した画素信号を用いることを特徴とする請求項１１に記載の撮像装置。
- 前記近赤外光の波長帯域における前記第一の画素の感度と前記第二の画素の感度との積の、前記第三の画素の感度の２乗に対する比が、０．１以上１０以下であることを特徴とする請求項１２に記載の撮像装置。
- 前記第三の画素は、前記近赤外光の波長帯域において感度が異なる複数種類の画素から構成されていることを特徴とする請求項１１〜１３の何れか１項に記載の撮像装置。
- 前記第一の画素が赤色の画素、前記第二の画素が青色の画素、前記第三の画素が緑色の画素であり、前記固体撮像素子はベイヤー配列であることを特徴とする請求項１１〜１４の何れか１項に記載の撮像装置。
- 前記演算手段は、前記第一の画素で取得した画素信号に対して、前記第三の画素で取得した画素信号を用いてデモザイク処理を行うとともに、前記第二の画素で取得した画素信号に対して、前記第三の画素で取得した画素信号を用いてデモザイク処理を行い、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて前記デモザイク処理された画素信号から用いる画素信号を切り替えて画像を生成することを特徴とする請求項１５に記載の撮像装置。
- 近赤外光の波長帯域における前記第一の画素の前記第二の画素に対する感度の比が１／２1/2倍以上２1/2倍以下であることを特徴とする請求項１１に記載の撮像装置。
- 前記第一の画素または前記第二の画素で取得された電荷と前記第三の画素で取得された電荷とを共用するメモリと、
前記第一の画素または前記第二の画素と前記第三の画素とのうち、感度の低い方の画素を前記メモリに蓄積し、該蓄積された電荷による画素信号を前記メモリから読み出すように制御し、その後、前記第一の画素または前記第二の画素と前記第三の画素とのうち、感度の高い方の画素を前記メモリに蓄積し、前記第一の画素または前記第二の画素で取得された電荷と前記第三の画素で取得された電荷との和による画素信号を前記メモリから読み出し、該読み出した画素信号から前記感度の低い方の画素に蓄積された電荷による画素信号を減じた画素信号を生成するように制御する制御手段とを有することを特徴とする請求項１５に記載の撮像装置。 - 前記固体撮像素子よりも光の入射側に装着するフィルタを、前記第一のカットフィルタ、または近赤外光をカットする第二のカットフィルタに切り替える切り替え手段をさらに有し、
前記切り替え手段により前記第二のカットフィルタが装着されている場合に、前記制御手段は、前記第一の画素または前記第二の画素で取得された電荷と前記第三の画素で取得された電荷とを前記メモリに共用しないように制御することを特徴とする請求項１８に記載の撮像装置。 - 第一の画素と第二の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第二の画素よりも高い固体撮像素子と、前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタとを有する撮像装置の制御方法であって、
前記固体撮像素子で取得した画素信号から画像を生成する演算工程を有し、
前記演算工程においては、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とする撮像装置の制御方法。 - 第一の画素と第二の画素と第三の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素および前記第三の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素および前記第三の画素よりも高く、前記第一の波長帯域と前記第二の波長帯域との間にある第三の波長帯域において前記第三の画素の感度が前記第一の画素および前記第二の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第三の画素よりも高く、かつ前記第三の画素の感度が前記第二の画素よりも高い固体撮像素子と、前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタとを有する撮像装置の制御方法であって、
前記固体撮像素子で取得した画素信号から画像を生成する演算工程を有し、
前記演算工程においては、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とする撮像装置の制御方法。 - 第一の画素と第二の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第二の画素よりも高い固体撮像素子と、前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタとを有する撮像装置を制御するためのプログラムであって、
前記固体撮像素子で取得した画素信号から画像を生成する演算工程をコンピュータに実行させ、
前記演算工程においては、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とするプログラム。 - 第一の画素と第二の画素と第三の画素とを備え、可視光の第一の波長帯域において前記第一の画素の感度が前記第二の画素および前記第三の画素よりも高く、可視光の第二の波長帯域において前記第二の画素の感度が前記第一の画素および前記第三の画素よりも高く、前記第一の波長帯域と前記第二の波長帯域との間にある第三の波長帯域において前記第三の画素の感度が前記第一の画素および前記第二の画素よりも高く、さらに近赤外光の波長帯域において前記第一の画素の感度が前記第三の画素よりも高く、かつ前記第三の画素の感度が前記第二の画素よりも高い固体撮像素子と、前記固体撮像素子よりも光の入射側で可視光をカットする第一のカットフィルタとを有する撮像装置を制御するためのプログラムであって、
前記固体撮像素子で取得した画素信号から画像を生成する演算工程をコンピュータに実行させ、
前記演算工程においては、前記近赤外光の波長帯域における感度の差異を利用し、被写体の明るさに応じて用いる画素信号を切り替えて画像を生成することを特徴とするプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017232848A JP7005317B2 (ja) | 2017-12-04 | 2017-12-04 | 撮像装置、撮像装置の制御方法およびプログラム |
| US16/195,440 US10834339B2 (en) | 2017-12-04 | 2018-11-19 | Imaging apparatus, control method for imaging apparatus, and recording medium |
| CN201811473758.1A CN109922283B (zh) | 2017-12-04 | 2018-12-04 | 摄像设备及摄像设备的控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017232848A JP7005317B2 (ja) | 2017-12-04 | 2017-12-04 | 撮像装置、撮像装置の制御方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019103004A true JP2019103004A (ja) | 2019-06-24 |
| JP7005317B2 JP7005317B2 (ja) | 2022-01-21 |
Family
ID=66659612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017232848A Active JP7005317B2 (ja) | 2017-12-04 | 2017-12-04 | 撮像装置、撮像装置の制御方法およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10834339B2 (ja) |
| JP (1) | JP7005317B2 (ja) |
| CN (1) | CN109922283B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021106964A1 (ja) * | 2019-11-29 | 2021-06-03 | 株式会社サタケ | 光学式選別機 |
| WO2022180480A1 (ja) * | 2021-02-25 | 2022-09-01 | 株式会社半導体エネルギー研究所 | 半導体装置、及び電子機器 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110611779B (zh) * | 2019-09-27 | 2021-11-26 | 华南师范大学 | 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法 |
| KR20220156242A (ko) * | 2021-05-18 | 2022-11-25 | 에스케이하이닉스 주식회사 | 이미지 처리 장치 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10164602A (ja) * | 1996-11-26 | 1998-06-19 | Minolta Co Ltd | 画素補間装置及びその画素補間方法 |
| JP2001195688A (ja) * | 2000-01-17 | 2001-07-19 | Mitsubishi Electric Corp | 撮像装置 |
| JP2007088873A (ja) * | 2005-09-22 | 2007-04-05 | Sony Corp | 信号処理方法、信号処理回路およびこれを用いたカメラシステム |
| JP2007135200A (ja) * | 2005-10-14 | 2007-05-31 | Sony Corp | 撮像方法および撮像装置並びに駆動装置 |
| JP2013228692A (ja) * | 2012-03-29 | 2013-11-07 | Canon Inc | 撮像装置及びカメラシステム |
| JP2014168112A (ja) * | 2013-02-28 | 2014-09-11 | Toshiba Corp | 固体撮像装置 |
| JP2015192852A (ja) * | 2014-03-25 | 2015-11-05 | キヤノン株式会社 | 撮像装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000059798A (ja) | 1998-08-10 | 2000-02-25 | Sony Corp | 近赤外光／可視光共用撮像装置 |
| US8134191B2 (en) * | 2006-01-24 | 2012-03-13 | Panasonic Corporation | Solid-state imaging device, signal processing method, and camera |
| JP5353200B2 (ja) * | 2008-11-20 | 2013-11-27 | ソニー株式会社 | 固体撮像装置および撮像装置 |
| KR20110140010A (ko) * | 2010-06-24 | 2011-12-30 | 삼성전자주식회사 | 근적외광 신호를 이용한 이미지 센서 |
| JP6011778B2 (ja) * | 2012-05-22 | 2016-10-19 | 株式会社富士通ゼネラル | 暗視撮像装置および赤外線照射装置および暗視撮像システム |
| WO2016111010A1 (ja) * | 2015-01-09 | 2016-07-14 | オリンパス株式会社 | 固体撮像装置 |
-
2017
- 2017-12-04 JP JP2017232848A patent/JP7005317B2/ja active Active
-
2018
- 2018-11-19 US US16/195,440 patent/US10834339B2/en active Active
- 2018-12-04 CN CN201811473758.1A patent/CN109922283B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10164602A (ja) * | 1996-11-26 | 1998-06-19 | Minolta Co Ltd | 画素補間装置及びその画素補間方法 |
| JP2001195688A (ja) * | 2000-01-17 | 2001-07-19 | Mitsubishi Electric Corp | 撮像装置 |
| JP2007088873A (ja) * | 2005-09-22 | 2007-04-05 | Sony Corp | 信号処理方法、信号処理回路およびこれを用いたカメラシステム |
| JP2007135200A (ja) * | 2005-10-14 | 2007-05-31 | Sony Corp | 撮像方法および撮像装置並びに駆動装置 |
| JP2013228692A (ja) * | 2012-03-29 | 2013-11-07 | Canon Inc | 撮像装置及びカメラシステム |
| JP2014168112A (ja) * | 2013-02-28 | 2014-09-11 | Toshiba Corp | 固体撮像装置 |
| JP2015192852A (ja) * | 2014-03-25 | 2015-11-05 | キヤノン株式会社 | 撮像装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021106964A1 (ja) * | 2019-11-29 | 2021-06-03 | 株式会社サタケ | 光学式選別機 |
| JP7354802B2 (ja) | 2019-11-29 | 2023-10-03 | 株式会社サタケ | 光学式選別機 |
| WO2022180480A1 (ja) * | 2021-02-25 | 2022-09-01 | 株式会社半導体エネルギー研究所 | 半導体装置、及び電子機器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109922283B (zh) | 2022-03-25 |
| US20190174075A1 (en) | 2019-06-06 |
| JP7005317B2 (ja) | 2022-01-21 |
| CN109922283A (zh) | 2019-06-21 |
| US10834339B2 (en) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5442571B2 (ja) | 固体撮像装置及び撮像装置 | |
| JP5713816B2 (ja) | 固体撮像装置及びカメラモジュール | |
| JP4984634B2 (ja) | 物理情報取得方法および物理情報取得装置 | |
| JP5187433B2 (ja) | 物理情報取得方法および物理情報取得装置 | |
| JP5686726B2 (ja) | 画像センサの同心露光シーケンス | |
| JP4882297B2 (ja) | 物理情報取得装置、半導体装置の製造方法 | |
| JP7005317B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
| TWI499045B (zh) | 固態影像擷取器件及影像擷取裝置 | |
| JP5503458B2 (ja) | 固体撮像素子および撮像装置 | |
| JP4867448B2 (ja) | 物理情報取得方法および物理情報取得装置 | |
| JP2011166477A (ja) | 固体撮像素子及び画像入力装置 | |
| JP2008306070A (ja) | 固体撮像素子及び信号演算方法 | |
| JP2015232599A (ja) | 光学フィルタ、固体撮像装置、および電子機器 | |
| TWI469635B (zh) | 固態成像器件及電子裝置 | |
| CN103907189A (zh) | 固体摄像元件、摄像装置和信号处理方法 | |
| JP2001210812A (ja) | 固体撮像装置及びそれを備えた固体撮像システム | |
| Yokogawa | Nanophotonics contributions to state-of-the-art CMOS Image Sensors | |
| JP4950541B2 (ja) | 固体撮像素子 | |
| US20140285691A1 (en) | Solid state imaging device | |
| JP2007066962A (ja) | カラー固体撮像装置及びデジタルカメラ | |
| JP2012023620A (ja) | 撮像装置及び信号処理方法 | |
| US20150035101A1 (en) | Solid-state imaging device and method for manufacturing the solid-state imaging device | |
| JP2006156898A (ja) | 固体撮像素子及び固体撮像装置 | |
| JP2014086742A (ja) | 固体撮像素子、撮像装置、および信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220105 |