JP2008005383A - 撮像装置及びイメージセンサ - Google Patents

撮像装置及びイメージセンサ Download PDF

Info

Publication number
JP2008005383A
JP2008005383A JP2006174975A JP2006174975A JP2008005383A JP 2008005383 A JP2008005383 A JP 2008005383A JP 2006174975 A JP2006174975 A JP 2006174975A JP 2006174975 A JP2006174975 A JP 2006174975A JP 2008005383 A JP2008005383 A JP 2008005383A
Authority
JP
Japan
Prior art keywords
filter
color
filters
separation filter
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006174975A
Other languages
English (en)
Inventor
Shinichi Takada
伸一 高田
Kazuyuki Iguma
一行 猪熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2006174975A priority Critical patent/JP2008005383A/ja
Priority to CNA2007101114283A priority patent/CN101098414A/zh
Priority to US11/812,869 priority patent/US7903157B2/en
Publication of JP2008005383A publication Critical patent/JP2008005383A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【課題】自動車に搭載できる信頼性を確保し、且つ白色光下や低演色性の道路照明下での色識別性能を高める撮像装置を提供する。
【解決手段】本発明の撮像装置は、複数の単位画素がチップ上に配列されたイメージセンサ101と、イメージセンサ101から出力される色成分を色信号に変換する画像処理LSI702とを有し、白色光下では、多層膜フィルタ109をなす各分離フィルタ群における人の眼の分光特性に類似した各フィルタを透過した色成分のみを選択して出力する一方、低演色性の照明下では、各分離フィルタ群をなすフィルタのうち任意に選択したフィルタを透過した色成分を混合して出力するように構成されている。
【選択図】図8

Description

本発明は、高い信頼性が要求され、白色光下や低演色性照明下で使用されることが多い車載カメラ等で良好な画像を提供することを目的に使用される撮像装置及びイメージセンサに関するものである。
従来より、自動車の走行安全性を高めるために、車両にビデオカメラ等の撮像手段を搭載して車両周辺の映像を監視するシステムが多数提案されている。
具体的には、ドアミラーやサイドミラー等に内蔵したカメラの出力を車内の運転席付近に設けられた映像表示装置で表示し、対向車や隣車線の状況、左右方向の死角映像等を運転者が容易に確認できる視認補助系システムや、取り込んだ映像信号を処理して周辺の自動車の動きを検出し、その距離や速度に応じて運転者に警告を与えたり、道路領域が存在する所定の位置を探索して標識を認識する認識系システムがある。
このような車載カメラは、気象条件に左右されないことが要求される。例えば、特許文献1には、気象条件に左右されない撮像装置とするために、車両のドアミラーのミラー部をハーフミラーとし、内部に光学フィルタ付のビデオレンズとCCD等の撮像装置を配置し、車室内に配置したカメラ信号処理回路により処理した映像信号を映像表示装置に出力するようにしたものが開示されている。
また、前記特許文献1には、(1)カメラを車室内に配置すると、美観上や居住性の劣化を招いたり、運転者の視野を狭めたりする、(2)エンジンルーム内では周囲の環境が非常に悪く、故障の原因となる、(3)車両の周辺、例えばドア側面やエンジンルームの上に配置すると、安全上、デザイン上、空力抵抗といった性能上などの悪影響があるという、カメラの搭載位置に関する課題が解決される、と記載されている。
特開平5−294183号公報
このような従来の技術では、車両の性能を劣化させることのないカメラの搭載位置を提供しているが、車載カメラの性能が限定されるという別の課題がある。すなわち、(1)ハーフミラーを介して外界の映像を撮影するので感度が低下する、(2)カメラの搭載位置がドアミラー内なので、カメラの方向あるいは視野角を工夫しても撮影できる視野が限定される、(3)将来的にはデザイン上の観点からドアミラーをなくすことも検討されており、これに対応できない等である。
さらに、ドアミラーの内部は、車両の外側部又はエンジンルーム内に比べれば良好な使用環境にあると言えるが、真夏の炎天下に駐車された車両内の気温は、車室内又はドアミラーの内部を含めて非常に高くなることは周知の事実である。また、エンジンルーム内は、走行時には車室内に比べてはるかに高温になるし、車両の外側部に搭載したカメラは直射日光に晒されるという使用環境上の問題がある。
また、視認補助系の車載カメラシステムでは、夜間やトンネル内などの悪条件下における視認性を肉眼以上に高めるという目的がある。道路照明やトンネル内照明は経済性等の理由から高圧ナトリウムランプ等を使用することが多いが、高圧ナトリウムランプは演色性が低いため、白色光下を想定した処理では色の識別が困難になるという問題点がある。
図16は、従来の撮像装置の構造を示す断面図である。図16に示すように、撮像装置1501は、N型層1502の上にP型層1503が積層されたシリコン半導体基板を備え、さらにその上には、層間絶縁膜1504が形成されている。
前記P型層1503には、N型不純物のイオン注入により複数のフォトダイオード1505(光電変換素子)が形成されている。このフォトダイオード1505は、入射光1506を光電変換するものであり、複数のフォトダイオード1505間は、素子分離領域1507により分離されている。
さらに、前記素子分離領域1507の上には、光の入射を抑制する遮光膜1508が形成され、該遮光膜1508の上にカラーフィルタ1509が形成されている。さらに、カラーフィルタ1509の上部には、入射光1506を効率よく集光するための集光レンズ1510が形成されている。このカラーフィルタ1509の持つ波長選択性によって、入射光1506がR(赤)、G(緑)、B(青)の各波長帯に分離されて色分離が可能となる。
しかしながら、従来のカラーフィルタ1509は、有機材料よりなる顔料によって構成されており、長時間高温状態におかれた場合、あるいは強い入射光が長時間当たった場合、顔料に化学変化が生じて波長選択特性が変化する。このため、顔料フィルタを用いた従来の撮像装置では、高温又は高照射による退色(色分離特性の劣化)という課題があった。この課題が、車両に搭載する撮像装置に対してより顕著な問題となることは、上述した通りである。また、道路照明やトンネル内照明に多用されている照明の演色性が低いという問題がある。
図17は、高圧ナトリウムランプの分光特性と人の眼の分光特性を示す図である。図17において、1601は高圧ナトリウムランプの分光特性、1602は人の眼の青色(B)成分の分光特性、1603は人の眼の緑色(G)成分の分光特性、1604は人の眼の赤色(R)成分の分光特性を示している。
図18は、高圧ナトリウムランプ照明下における人の眼の分光特性を示す図である。図18において、1701がR成分の分光特性、1702がG成分の分光特性を示す。高圧ナトリウムランプは分光が長波長側に偏っているため、その照明下では人の眼はほとんど赤色成分の感度しかなく、全ての色が赤系統の色としてしか認識できない。また、従来のカメラにおいても、人の眼の分光特性に近いR、G、Bの3原色を用いて撮像を行うため、同様に全ての色が赤系統と色としてしか識別できないことになる。このように、白色光下だけを想定した撮像処理を行うと不都合が生じる。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、車両の外側部、車室内、エンジンルーム内など、どのような場所にカメラを搭載しても、周囲温度あるいは直射日光の影響で劣化することがなく、加えて、一般の道路照明下で肉眼より視認性の高い撮像装置を手軽に提供することにある。
すなわち、本発明の撮像装置は、複数の単位画素がチップ上に配列されたイメージセンサと、該イメージセンサから出力される色成分を色信号に変換する画像処理部とを有し、
前記イメージセンサは、単位画素毎に入射光を光電変換する光電変換素子と、前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離し且つ無機材料で構成された多層膜フィルタとを備え、
前記画像処理部は、前記多層膜フィルタで分離した色成分を混合する混合手段を備えたことを特徴とするものである。
また、本発明のイメージセンサは、複数の単位画素がチップ上に配列されており、
単位画素毎に入射光を光電変換する光電変換素子と、
前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離し且つ無機材料で構成された多層膜フィルタと、
前記多層膜フィルタで分離した色成分を混合する混合手段とを備えたことを特徴とするものである。
以上のように、本発明に係る撮像装置は、無機材料よりなるフィルタを用いることで、顔料の化学変化による退色という現象がなくなり、高温、高光量照射下での使用が可能なことから、車載用途として車両の外側部、車室内、エンジンルーム内など、どのような場所にでも搭載できる。
また、フィルタ構造として、同一の層構造を有する上部反射器及び下部反射器に挟まれたスペーサ層の厚みの違いで、透過する波長帯域を変化させるものであることから、撮像装置を製造する半導体ウエハプロセスにおいてプロセスステップ数を削減でき、安価に量産できるという利点がある。
さらに、多数の異なる分光特性を持つフィルタを同一チップ上に形成するのが容易であることから、人の眼の分光特性に近いフィルタに加えて、人の眼が持つ3原色の分光帯域幅より狭い一部の波長帯域のみを選択的に透過させるフィルタを可視波長域にわたって多数形成して、白色光下では人の眼の分光特性に近いフィルタを使用して色情報を取得し、低演色性照明下では、人の眼の3原色の分光帯域幅より狭い波長帯域のフィルタで取得した色情報を選択的に混合して、結果的に透過させるフィルタの特性を可変させて得る色情報と、混合させずにそのままのフィルタの特性で得る色情報を組み合わせるようにして、多数且つ選択的に色情報を得るようにして、白色光下や低演色性照明下等、光源の変化に関係なく、色の判別性能を向上させることができる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。
図1は、本発明の実施形態に係る撮像装置のイメージセンサの構造を示す断面図である。図1に示すように、イメージセンサ101は、N型層102にP型層103が積層されたシリコン半導体基板を備え、さらにその上に層間絶縁膜104が形成されている。
前記P型層103には、N型不純物のイオン注入により複数のフォトダイオード(光電変換素子)105が形成されており、入射光106を光電変換するようになっている。そして、各フォトダイオード105間は素子分離領域107により分離されている。
さらに、前記素子分離領域107の上方には、光の入射を抑制する遮光膜108が形成されている。そして、この遮光膜108上には、誘電体からなり、波長選択機能を実現する多層膜フィルタ109が形成されている。さらに、この多層膜フィルタ109の上方には、入射光106を効率良く集光するための集光レンズ110が形成されている。
図2は、本実施形態に係る撮像装置を自動車車両に取り付けた状態を示す図である。図2に示すように、自動車201には、デザイン上の観点からフェンダーミラーやドアミラーが取り付けられておらず、代わりにサイドカメラ202が車両側部に設置されている。このサイドカメラ202からの映像信号は、コンソール内に設置された映像制御装置203に入力され、映像制御装置203からの出力信号が車内の運転席付近に設けられた映像表示装置204に表示される。
また、前記映像制御装置203には、車両前部に設置されたフロントカメラ205や車両後部に設置されたリアカメラ206からの出力信号がさらに入力されており、前記映像表示装置204に対して、サイドカメラ202、フロントカメラ205、及びリアカメラ206からの映像信号を切替えて、あるいは同時に表示することができるようになっている。
なお、車室内及びエンジンルーム内は、車両外部に比べて衝突等の事故の際にカメラが保護されやすいという特徴があるので、図示しない車室内カメラ又はエンジンルーム内カメラを車外監視用途に用いてもよい。これは特に、交通事故時の映像を衝突の前後で記録する車載ブラックボックスとして用いると効果的である。
また、図2には示していないが、サイドカメラ202、フロントカメラ205、リアカメラ206の中には、図1に示した撮像装置が組み込まれているものとする。
以下、本実施形態に係る多層膜フィルタの透過率特性について、従来の多層膜フィルタの透過率特性と比較しながら説明する。
図3(a)は、従来の高反射ミラーに用いる多層膜反射鏡である多層膜フィルタの層構造を示す図であり、図3(b)は、従来の多層膜フィルタの透過率特性を示す図である。
図3(a)に示すように、多層膜フィルタの層構造は、屈折率の異なる材料である、窒化シリコン301(SiN)と、酸化シリコン302,303(SiO)とを単純に積層させた構成となっている。
また、図3(b)において、縦軸は入射に対して多層膜を透過した後の光透過率、横軸は多層膜に入射させる光の波長を示している。なお、計算にはフレネル係数を用いたマトリクス法を用いており、ペア数は10、設定中心波長は550nmで、垂直入射光のみを計算している。
ここで、多層膜を構成する各誘電体の光学膜厚nd(n:材料の屈折率、d:材料の膜厚)については、設定中心波長λに対して4分の1波長(λ/4)となるように設定してあり、その結果、設定中心波長を中心とする反射帯域特性となる。また、反射帯域幅は用いる材料の屈折率差で決定され、屈折率差が大きいほど帯域幅が大きくなる。
しかしながら、このような層構造では、広い反射阻止帯域は得られるものの、R、G、Bの色分離機能のために波長を選択的に透過させることは難しいと言える。
図4(a)は、本実施形態の高反射ミラーに用いる色分離フィルタである多層膜フィルタの層構造を示す図であり、図4(b)は、本実施形態の多層膜フィルタの透過率特性を示す図である。
図4(a)に示すように、本発明の実施形態に係る多層膜フィルタは、スペーサ層304を中心にして、λ/4多層膜構造(λ:設定中心波長)の上部反射器305及び下部反射器306が対称となるように配置した構成となっている。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層304の膜厚を変化させることによって、その透過ピーク波長を変化させることが可能となる。
図5は、本実施形態の多層膜フィルタの製造プロセスを示す図である。まず、図5(a)に示すように、Siウエハ401上に酸化シリコン(SiO)及び酸化チタン(TiO)からなるλ/4多層膜構造(λ:設定中心波長)の下部反射器402〜405、及びTiOからなるスペーサ層406を高周波スパッタ装置によって形成する。その後、特定波長のみを選択的に透過させるために、スペーサ層406の厚みを所望の膜厚に形成するエッチングプロセスを実施する。
具体的には、図5(b)に示すように、下部反射器402〜406を形成したウエハ面上にレジスト塗布を行い、露光前ベーク(プリベーク)の後、ステッパなどの露光装置によって露光を行い、レジスト現像、及び最終ベーク(ポストベーク)によって、レジストパターン407を形成する。その後、CF4系のエッチングガスを用いて、最終的に、図5(b)における層構造の中央部が赤色(R)の波長帯に相当する層膜になるまでスペーサ層406のエッチングを行う。
次に、図5(c)に示すように、図5(b)と同様のプロセスにより、緑色(G)の領域に相当する領域にレジストパターンを形成し、ドライエッチングを実施することによって、図5(c)における右側部が緑色に相当する層厚になるまでスペーサ層406のエッチングを行う。
さらに、図5(d)に示すように、図5(a)と同様に酸化シリコンSiO、及び酸化チタンTiOからなるλ/4多層膜構造の上部反射器408〜411を高周波スパッタ装置によって形成する。
なお、誘電体からなる多層膜構造のトータル膜厚は、R、G、Bに対して、それぞれ、622nm、542nm、562nmとした。
図6は、本実施形態の多層膜フィルタの透過率の計算結果を示す図である。縦軸は入射に対して多層膜を透過した後の光透過率、横軸は多層膜に入射させる光の波長を示している。なお、計算には誘電体多層膜フィルタにおいて広く知られている特性マトリクス法を用いた。
また、誘電体材料としては、高屈折率材料として酸化チタンTiO(屈折率2.5)501を用い、低屈折率材料として酸化シリコンSiO(屈折率1.45)502を用いた。さらに、スペーサ層503の光学膜厚(膜厚)をそれぞれ、200nm(80nm)、0nm(0nm)、50nm(20nm)としている。
図6に示すように、スペーサ層503の有無、又は膜厚の変化によって透過ピーク波長特性を変化させることが可能であり、撮像装置において必要となる、R、G、Bの波長分離化が実現できることが分かる。
なお、本実施形態では、高屈折率材料として酸化チタンTiOを用いているが、これ以外の材料として窒化シリコン(SiN)、酸化タンタル(Ta)、あるいは酸化ジルコニウム(ZrO)などを用いてもよい。また、低屈折率材料として酸化シリコンSiOを用いたが、高屈折率材料として用いる誘電体と比較して屈折率が低ければ、酸化シリコンSiO以外の材料を用いても構わない。
このように、本発明のような誘電体多層膜構造によれば、フィルタを通常の半導体プロセスで作製可能となり、従来の顔料フィルタのように撮像装置の受光部や配線部などを形成した後に、通常の半導体プロセスとは異なる工程、いわゆるオンチッププロセスでフィルタを形成する必要がなく、プロセスの安定化、及び生産性向上に伴う低コスト化を実現する上で有利な効果が得られる。
さらに、本発明の誘電体多層膜フィルタは、無機材料のみを用いて構成可能であり、高温、高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内、車室内など、どのような場所にでも搭載することができる。
図7は、本実施形態のイメージセンサ上における多層膜フィルタの配列例とその分光特性を示す図である。図7に示すように、多層膜フィルタ109は、601〜616という分光特性の異なる16種類のフィルタを4×4の配列パターンで配列することにより構成されている。なお、この4×4のフィルタ配列は、イメージセンサ101上に形成されている配列の一部を示すものであり、このフィルタ配列パターンがイメージセンサ101上に複数形成されていることは言うまでもない。
次に、各フィルタの分光の帯域幅について説明する。フィルタ604は人の眼の赤色成分の分光特性に類似した分光特性を有し、フィルタ607,610は人の眼の緑色成分の分光特性に類似した分光特性を有し、フィルタ613は人の眼の青色成分の分光特性に類似した分光特性を有している。また、フィルタ604,607,610,613を除く残りのフィルタは、人の眼の帯域幅の80nm〜100nmに比べて狭く設定された分光特性を有している。
前記多層膜フィルタ109は、さらに、Rフィルタ配列群620(赤色分離フィルタ群)、G1フィルタ配列群621(緑色分離フィルタ群)、G2フィルタ配列群622(緑色分離フィルタ群)、Bフィルタ配列群623(青色分離フィルタ群)の4つの群に分けられている。
具体的に、Rフィルタ配列群620は、フィルタ601〜604で構成され、各フィルタの分光特性が赤色の波長領域に集中している。
G1フィルタ配列群621は、フィルタ605〜608で構成され、各フィルタの分光特性が緑色の波長領域に集中している。
G2フィルタ配列群622は、フィルタ609〜612で構成され、各フィルタの分光特性が緑色の波長領域に集中している。
Bフィルタ配列群623は、フィルタ613〜616で構成され、各フィルタの分光特性が青色の波長領域に集中している。
なお、本実施形態では、G2フィルタ配列群622をなすフィルタ609〜612の分光特性が、G1フィルタ配列群621をなすフィルタ605〜608の分光特性と同じになるように設定している。このようにすれば、各フィルタ配列群を1つのフィルタと仮定した場合、RGBのベイヤー配列と同等の配列にすることができる。
図8は、本実施形態に係る撮像装置の全体構成を示す図である。図8において、101はイメージセンサであり、109は無機材料を積層してなる多層膜フィルタである。
701は、イメージセンサ101の出力信号をアナログ処理するAFE(Analog Front End)及びデジタル信号に変換するADC(AD Converter)である。
702は、デジタル信号に変換されたイメージセンサ101の出力信号を処理して所望の画像データを生成する画像処理LSIである。以下、画像処理LSI702の回路構成について説明する。
703は、イメージセンサ101の各フィルタで分離された色情報のうち、所定の色情報のみを選択するか、又は選択した色情報を混合するフィルタ選択部(混合手段)である。
704は、フィルタ選択部703で選択又は混合された色情報を、後述する色推定部705又は入力選択部706に対して選択的に出力する出力選択部である。
705は、イメージセンサ101の出力信号から色を推定する色推定部であり、具体的には、色推定部705が有するパターンテーブルを使用することで、高圧ナトリウムランプ等の低演色性の照明下の限られた色情報から白色光下における色を推定する。
706は、出力選択部704及び色推定部705からそれぞれ入力される色情報を選択的に出力する入力選択部である。
707は、入力選択部706から入力された色情報から所望の色信号を生成する色生成部であり、3原色(R、G、B)の色信号が出力される。なお、本実施形態では、出力色信号として3原色(R、G、B)としているが、色差信号等の他の色信号形式であっても構わない。
708は、色生成部707から入力された色信号に基づいて画像処理を行う画像処理部である。
以下、本実施形態に係る撮像装置の処理動作について説明する。まず、白色光下における処理について説明する。白色光下では、イメージセンサ101により取得した色情報は、フィルタ選択部703によりフィルタ604,607,610,613を透過した色情報のみが選択され、出力選択部704に入力される。出力選択部704は、入力された色情報の出力先として入力選択部706を選択し、色情報を入力選択部706に入力する。入力選択部706は、出力選択部704からの色情報を色生成部707へ出力する。
ここで、上述したように、フィルタ604は人の眼の赤色成分の分光特性と類似した分光特性を有し、フィルタ607,610は人の眼の緑色成分の分光特性と類似した分光特性を有し、フィルタ613は人の眼の青色成分の分光特性と類似した分光特性を有している。そして、白色光下では、フィルタ選択部703はそれらの色情報のみを選択し、そのまま画像処理部708で画像が生成される。
また、イメージセンサ101上のフィルタ配列において、フィルタ604,607,610,613の位置関係は、現在デジタルカメラ等で主流となっているベイヤー配列と同等としている。これにより、画像処理部708には特別な技術や計算は必要なく、従来より使用している画像処理部をそのまま流用できるというメリットがある。
図9は、理想的な人の眼の赤色成分の分光特性と、誘電体多層膜フィルタでの赤色成分の分光特性との関係を示す図である。図9において、801は理想的な人の眼の赤色成分の分光特性であり、フィルタ604の分光特性は理想的な分光特性に対して長波長側に移動する傾向がある。
これは、色分離フィルタが無機材料で構成され、光透過特性をスペーサ層の膜厚調整によって実現する場合、理想的な分光特性にするのは難しく、特にフィルタ604のような赤色のフィルタに関して透過スペクトルにおける極大値での波長が長波長側に偏るためであると考えられる。そこで、長波長側への偏りを補正し、より理想的な分光特性を得るためにフィルタ選択部703において混合動作を行った。
図10は、理想的な人の眼の赤色成分の分光特性と、誘電体多層膜フィルタでの赤色成分の補正後の分光特性との関係を示す図である。図10において、601はフィルタ601の分光特性、604はフィルタ604の人の眼の赤色成分の分光特性と類似した分光特性、801は理想的な人の眼の赤色成分の分光特性である。901はフィルタ601とフィルタ604を混合することで得られる分光特性である。
図10に示すように、混合した分光特性は、フィルタ604の分光特性より理想的な人の眼の赤色成分の分光特性に近いことが分かる。
なお、本実施形態では、赤色のみを補正した場合について説明したが、青色や赤色も同様に補正することも可能であることは言うまでもない。
次に、白色光下以外の場所、本実施形態では、道路照明やトンネル内照明に多用されている高圧ナトリウムランプ照明下での処理について説明する。
高圧ナトリウムランプ照明下において、イメージセンサ101により取得した色情報は、フィルタ選択部703によりフィルタ615,616,605,608,601,602,603を透過した色情報が選択又は混合され、出力選択部704に入力される。出力選択部704は、入力された色情報の出力先として色推定部705を選択し、色情報を色推定部705に入力する。色推定部705は、パターンテーブルを使用することで、高圧ナトリウムランプ照明下の限られた色情報から白色光下における色を推定し、その色推定情報を色生成部707へ出力する。
ここで、高圧ナトリウムランプは、分光が長波長側に偏っているため、その照明下では人の眼はほとんど赤色成分の感度しかなく、全ての色が赤系統の色としてしか認識できない。このため、フィルタ604,607,610,613のような人の眼の分光特性に近いR,G,Bの3原色を用いると、全ての色が赤系統の色としてしか識別できないことになる。そこで、フィルタ選択部703においてフィルタの選択や色情報の混合をすることによりフィルタの特性を変え、さらに複数の色情報を得るようにしている。
すなわち、高圧ナトリウムランプ照明下では、フィルタ選択部703においてフィルタ604,607,610,613を使用せず、それ以外の人の眼の帯域幅の80nm〜100nmに比べて狭く設定したフィルタを選択して色情報を混合する。
本実施形態では、7種類の分光特性フィルタを選択して、分光特性フィルタで透過された色情報のうち、色情報を混合するものとそうでないものとを組み合わせ、結果的に4種類の分光特性フィルタを形成するようにした。
図11は、高圧ナトリウムランプ下において、フィルタ選択部703で色情報を選択又は混合することで形成された4種類のフィルタの分光特性と、高圧ナトリウムランプの分光特性との関係を示す図である。
本実施形態では、フィルタ615,616,605,608,601,602,603を使用し、そのうちフィルタ615,616,605で透過した色情報を混合することで混合フィルタ1002を形成し、フィルタ602,603で透過した色情報を混合することで混合フィルタ1003を形成した。ここで、1001は高圧ナトリウムランプの分光特性である。
図11に示すように、分光が偏っている長波長側には、帯域幅の狭いフィルタや混合しても帯域幅の狭いフィルタを割り当てて色情報を細分化し、比較的分光比が低い短波長側には、多数混合して帯域幅の広いフィルタを割り当てることで、効率的に色情報を取得するようにしている。
図12は、本実施形態に係る撮像装置の高圧ナトリウムランプ照明下における分光特性を示す図である。図12に示すように、本発明の撮像装置では、高圧ナトリウムランプ照明下においても、1101〜1104という複数の色情報を得ることができ、色の識別が可能であることが分かる。
ここで、取得した色情報を人間に対して表示する場合は、人の眼で判別できる従来のR、G、Bに変換して表示する必要がある。この場合、被写体の色を白色照明下での色として再現するのが最も好ましい。しかしながら、青色〜緑色成分の情報が得られないため、赤色成分の情報から推定しなければならない。ここで、従来のフィルタでは赤色成分の情報が1つしかなかったため推定が極めて困難であったが、本発明では複数の情報があるため、その情報から被写体の分光パターンを推定し、白色光下における色をある程度推定することが可能である。
図13は、本実施形態に係る撮像装置の高圧ナトリウムランプ下で得られる被写体の色情報を示す図である。図13において、1201は被写体Aの白色光下での分光特性、1202は被写体Bの白色光下での分光特性である。
ここで、被写体A,Bを高圧ナトリウムランプ照明下において本発明の撮像装置で撮影すると、被写体Aに関しては1201a,1201b,1201c,1201dの色情報を得ることができる。また、被写体Bに関しては1202a,1202b,1202c,1202dの色情報を得ることができる。
このように、本発明では、被写体A、Bの分光パターンの一部の情報を得ることができる。すなわち、従来のカメラでは赤色の1つの情報しか得られないため分光のパターン情報は得られなかったが、本発明によれば、この得られた分光パターンの情報から白色光下での分光特性を推定することができる。
図14は、本実施形態の撮像装置における白色光下での色情報の推定結果を示す図である。図14において、1202a、1202b、1202cは高圧ナトリウムランプ照明下での前記被写体Bの色情報である。
ここで、人の可視波長帯域(400nm〜700nm)より狭い帯域の色情報及び混合によって形成されたフィルタの帯域による色情報に基づいて、白色光下における被写体Bの分光802を推定し、人の眼で判別できる従来のR、G、B(可視波長帯域全域にわたる色信号)に変換することで、B成分である1301、G成分である1302、R成分である1303をそれぞれ取得する。
ここで、具体的な色情報の推定方法として、1202a,1202b,1202cの組から直接1301,1302,1303を出力する変換テーブルを予め用意しておくことが考えられる。このテーブルの作成方法として、実際の被写体の特性を収集し、そこから統計的に得る方法がある。以下、このテーブル作成方法について説明する。
図15は、本実施形態に係る撮像装置におけるパターンテーブル作成方法を示す図である。図15に示すように、この撮像装置では、被写体の色情報を2種類の方法で取得している。すなわち、第1の方法は、1401a及び1401bで示すように、白色光下で人の眼の分光特性に準じる分光のカメラで撮影する方法であり、第2の方法は、1402a及び1402bで示すように、高圧ナトリウムランプ照明下での本発明の撮像装置で撮影する方法である。
このような2つの撮像方法による色情報のパターンデータ1403a,1403b,・・・を数多くの被写体について収集して、入力(人の可視波長帯域(400nm〜700nm)より狭い帯域の色情報及び混合によって形成されたフィルタの帯域による色情報)と出力(可視波長帯域全域にわたる色信号)とを関係付けるパターンテーブル1404を作成する。
なお、本実施形態では、高圧ナトリウムランプ下における色情報からの色推定を行う場合について説明したが、他の分光特性を持つ低演色性光源に対しても同様の手法が使えるのはもちろんである。
また、本実施形態では、フィルタを混合するものと、そうでないものとの組み合わせにより効率的に色情報を取得するようにして、4種類のフィルタを使用しているが、より詳細な分光パターン情報を得るためにより多種類のフィルタを使用したり、混合せずに狭い帯域幅のフィルタのみで構成するようにしても構わない。なお、この場合には、色情報を細分化すれば、さらに白色光下の色の予測の精度は向上するが、パターンテーブルの情報もその分だけ膨大になるということは考慮する必要がある。
また、本実施形態では、画像処理LSI702側において混合動作を行うようにしたが、この形態に限定するものではなく、イメージセンサ101側で混合動作を行うようにしても構わない。この場合には、イメージセンサ101側に別途混合手段を設ける必要がある。
以上説明したように、本発明に係る撮像装置は、信頼性が極めて高く、且つ白色光下や低演色性照明下での色の識別能力を肉眼より高くすることができるという実用性の高い効果が得られることから、きわめて有用で産業上の利用可能性は高い。特に、自動車に搭載しておき、車両周辺の映像を監視して人が視認するための撮像装置として利用可能である。
本発明の実施形態に係る撮像装置のイメージセンサの構造を示す断面図である。 本実施形態に係る撮像装置を自動車車両に取り付けた状態を示す図である。 (a)従来の多層膜フィルタの層構造を示す図である。(b)従来の多層膜フィルタの透過率特性を示す図である。 (a)本実施形態の多層膜フィルタの層構造を示す図である。(b)本実施形態の多層膜フィルタの透過率特性を示す図である。 本実施形態の多層膜フィルタの製造プロセスを示す図である。 本実施形態の多層膜フィルタの透過率の計算結果を示す図である。 本実施形態のイメージセンサ上における多層膜フィルタの配列例とその分光特性を示す図である。 本実施形態に係る撮像装置の全体構成を示す図である。 理想的な人の眼の赤色成分の分光特性と、誘電体多層膜フィルタでの赤色成分の分光特性との関係を示す図である。 理想的な人の眼の赤色成分の分光特性と、誘電体多層膜フィルタでの赤色成分の補正後の分光特性との関係を示す図である。 高圧ナトリウムランプ照明下において、色情報を選択又は混合した分光特性と、高圧ナトリウムランプの分光特性との関係を示す図である。 本実施形態に係る撮像装置の高圧ナトリウムランプ照明下における分光特性を示す図である。 本実施形態に係る撮像装置の高圧ナトリウムランプ下で得られる被写体の色情報を示す図である。 本実施形態に係る撮像装置における白色光下での色情報の推定結果を示す図である。 本実施形態に係る撮像装置におけるパターンテーブル作成方法を示す図である。 従来の撮像装置の構造を示す断面図である。 高圧ナトリウムランプの分光特性と人の眼の分光特性とを示す図である。 高圧ナトリウムランプ照明下における人の眼の分光特性を示す図である。
符号の説明
101 イメージセンサ
105 フォトダイオード(光電変換素子)
106 入射光
109 多層膜フィルタ
110 集光レンズ
201 自動車
604 赤色フィルタ
607 緑色フィルタ
610 緑色フィルタ
613 青色フィルタ
620 Rフィルタ配列群(赤色分離フィルタ群)
621 G1フィルタ配列群(緑色分離フィルタ群)
622 G2フィルタ配列群(緑色分離フィルタ群)
623 Bフィルタ配列群(青色分離フィルタ群)
702 画像処理LSI
703 フィルタ選択部(混合手段)
704 出力選択部
705 色推定部
706 入力選択部
707 色生成部
708 画像処理部

Claims (14)

  1. 複数の単位画素がチップ上に配列されたイメージセンサと、該イメージセンサから出力される色成分を色信号に変換する画像処理部とを有する撮像装置であって、
    前記イメージセンサは、単位画素毎に入射光を光電変換する光電変換素子と、前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離し且つ無機材料で構成された多層膜フィルタとを備え、
    前記画像処理部は、前記多層膜フィルタで分離した色成分を混合する混合手段を備えたことを特徴とする撮像装置。
  2. 請求項1において、
    前記多層膜フィルタは、赤色の波長領域を透過するフィルタが集合配置された複数の赤色分離フィルタ群と、緑色の波長領域を透過するフィルタが集合配置された複数の緑色分離フィルタ群と、青色の波長領域を透過するフィルタが集合配置された複数の青色分離フィルタ群とに区画されていることを特徴とする撮像装置。
  3. 請求項2において、
    前記赤色分離フィルタ群は、人の眼の赤色成分の分光特性に類似した赤色フィルタを有し、
    前記緑色分離フィルタ群は、人の眼の緑色成分の分光特性に類似した緑色フィルタを有し、
    前記青色分離フィルタ群は、人の眼の青色成分の分光特性に類似した青色フィルタを有していることを特徴とする撮像装置。
  4. 請求項3において、
    前記混合手段は、白色光下では、前記各分離フィルタ群における人の眼の分光特性に類似した各フィルタを透過した色成分のみを選択して出力する一方、低演色性の照明下では、該各分離フィルタ群をなす複数のフィルタのうち任意に選択したフィルタを透過した色成分を混合して出力するように構成されていることを特徴とする撮像装置。
  5. 請求項4において、
    前記混合手段は、白色光下において、前記各分離フィルタ群をなす複数のフィルタのうち任意に選択したフィルタを透過した色成分を混合して出力するように構成されていることを特徴とする撮像装置。
  6. 請求項4において、
    前記混合手段は、低演色性の照明下において、前記各分離フィルタ群をなす複数のフィルタのうち任意に選択した複数のフィルタをそれぞれ透過した色成分の一部をそのまま出力する一方、残りの色成分を混合して出力するように構成されていることを特徴とする撮像装置。
  7. 請求項6において、
    前記混合手段から出力される色成分は少なくとも4種類あり、前記画像処理部においてこれらの色成分を処理することで色信号が生成されることを特徴とする撮像装置。
  8. 請求項1において、
    前記画像処理部は、半導体チップ(LSI)で構成されていることを特徴とする撮像装置。
  9. 複数の単位画素がチップ上に配列されたイメージセンサであって、
    単位画素毎に入射光を光電変換する光電変換素子と、
    前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離し且つ無機材料で構成された多層膜フィルタと、
    前記多層膜フィルタで分離した色成分を混合する混合手段とを備えたことを特徴とするイメージセンサ。
  10. 請求項9において、
    前記多層膜フィルタは、赤色の波長領域を透過するフィルタが集合配置された複数の赤色分離フィルタ群と、緑色の波長領域を透過するフィルタが集合配置された複数の緑色分離フィルタ群と、青色の波長領域を透過するフィルタが集合配置された複数の青色分離フィルタ群とに区画されていることを特徴とするイメージセンサ。
  11. 請求項10において、
    前記赤色分離フィルタ群は、人の眼の赤色成分の分光特性に類似した赤色フィルタを有し、
    前記緑色分離フィルタ群は、人の眼の緑色成分の分光特性に類似した緑色フィルタを有し、
    前記青色分離フィルタ群は、人の眼の青色成分の分光特性に類似した青色フィルタを有していることを特徴とするイメージセンサ。
  12. 請求項11において、
    前記混合手段は、白色光下では、前記各分離フィルタ群における人の眼の分光特性に類似した各フィルタを透過した色成分のみを選択して出力する一方、低演色性の照明下では、該各分離フィルタ群をなす複数のフィルタのうち任意に選択したフィルタを透過した色成分を混合して出力するように構成されていることを特徴とするイメージセンサ。
  13. 請求項12において、
    前記混合手段は、白色光下においても、前記各分離フィルタ群をなす複数のフィルタのうち任意に選択したフィルタを透過した色成分を混合して出力するように構成されていることを特徴とするイメージセンサ。
  14. 請求項12において、
    前記混合手段は、低演色性の照明下において、前記各分離フィルタ群をなす複数のフィルタのうち任意に選択した複数のフィルタを透過した色成分の一部をそのまま出力する一方、残りの色成分を混合して出力するように構成されていることを特徴とするイメージセンサ。
JP2006174975A 2006-06-26 2006-06-26 撮像装置及びイメージセンサ Pending JP2008005383A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006174975A JP2008005383A (ja) 2006-06-26 2006-06-26 撮像装置及びイメージセンサ
CNA2007101114283A CN101098414A (zh) 2006-06-26 2007-06-20 成像系统以及图像传感器
US11/812,869 US7903157B2 (en) 2006-06-26 2007-06-22 Imaging system and image sensor with filter selectively transmitting combination of plural narrow wavelength bands of incident light in low color rendering illumination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006174975A JP2008005383A (ja) 2006-06-26 2006-06-26 撮像装置及びイメージセンサ

Publications (1)

Publication Number Publication Date
JP2008005383A true JP2008005383A (ja) 2008-01-10

Family

ID=38873179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006174975A Pending JP2008005383A (ja) 2006-06-26 2006-06-26 撮像装置及びイメージセンサ

Country Status (3)

Country Link
US (1) US7903157B2 (ja)
JP (1) JP2008005383A (ja)
CN (1) CN101098414A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064196A (ja) * 2012-09-21 2014-04-10 Olympus Corp 撮像装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007025092A1 (de) * 2007-05-30 2008-12-04 Osram Opto Semiconductors Gmbh Lumineszenzdiodenchip
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
US8400537B2 (en) * 2008-11-13 2013-03-19 Omnivision Technologies, Inc. Image sensors having gratings for color separation
JP5546166B2 (ja) * 2009-06-19 2014-07-09 キヤノン株式会社 撮像装置、信号処理方法、及びプログラム
JP5044673B2 (ja) * 2010-03-25 2012-10-10 株式会社東芝 固体撮像装置および画像記録装置
JP2012253727A (ja) * 2011-06-07 2012-12-20 Toshiba Corp 固体撮像装置及びカメラモジュール
US8432466B2 (en) * 2011-09-29 2013-04-30 International Business Machines Corporation Multiple image high dynamic range imaging from a single sensor array
CN103022049B (zh) * 2012-12-12 2015-12-02 京东方科技集团股份有限公司 阵列基板及其制作方法、显示装置
US10486600B1 (en) * 2015-09-28 2019-11-26 Apple Inc. Systems for improving side-mirror functionality of a vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152260A (ja) * 1998-11-09 2000-05-30 Nikon Corp 撮像素子の駆動方法および撮像装置
JP2000180621A (ja) * 1998-12-14 2000-06-30 Sony Corp オンチップカラーフィルタ及びこれを用いた固体撮像素子
WO2005069376A1 (ja) * 2004-01-15 2005-07-28 Matsushita Electric Industrial Co.,Ltd. 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ
JP2005286649A (ja) * 2004-03-29 2005-10-13 Sharp Corp 色フィルタアレイおよびそれを用いた撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05294183A (ja) 1992-04-17 1993-11-09 Canon Inc 車載監視カメラ装置
US6631316B2 (en) * 2001-03-05 2003-10-07 Gentex Corporation Image processing system to control vehicle headlamps or other vehicle equipment
JP3950715B2 (ja) * 2002-03-05 2007-08-01 富士フイルム株式会社 固体撮像素子およびこれを用いた撮像装置
US20080259191A1 (en) 2004-09-17 2008-10-23 Kunihiro Imamura Image Input Apparatus that Resolves Color Difference

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152260A (ja) * 1998-11-09 2000-05-30 Nikon Corp 撮像素子の駆動方法および撮像装置
JP2000180621A (ja) * 1998-12-14 2000-06-30 Sony Corp オンチップカラーフィルタ及びこれを用いた固体撮像素子
WO2005069376A1 (ja) * 2004-01-15 2005-07-28 Matsushita Electric Industrial Co.,Ltd. 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ
JP2005286649A (ja) * 2004-03-29 2005-10-13 Sharp Corp 色フィルタアレイおよびそれを用いた撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064196A (ja) * 2012-09-21 2014-04-10 Olympus Corp 撮像装置

Also Published As

Publication number Publication date
CN101098414A (zh) 2008-01-02
US7903157B2 (en) 2011-03-08
US20070296840A1 (en) 2007-12-27

Similar Documents

Publication Publication Date Title
US7952624B2 (en) Image pickup device having a color filter for dividing incident light into multiple color components and image processing system using the same
US7852388B2 (en) Imaging device
JP2008005383A (ja) 撮像装置及びイメージセンサ
US7560684B2 (en) On-vehicle imaging device
US20080158359A1 (en) Solid-state imaging device, camera, vehicle and surveillance device
US20180295305A1 (en) Solid-state image sensor
KR102661039B1 (ko) 촬상 소자 및 촬상 장치
CN110959194B (zh) 固态摄像器件及电子设备
JP4974897B2 (ja) 車載撮像装置
JP4728211B2 (ja) 固体撮像装置、カメラ、車両及び監視装置
WO2010100896A1 (ja) 撮像装置および両面照射型固体撮像素子
JP2008244246A (ja) 固体撮像装置、カメラ、車両及び監視装置
CN116802812A (zh) 摄像装置
WO2019087527A1 (ja) 固体撮像装置及び電子機器
WO2022196169A1 (ja) 撮像装置
WO2023243252A1 (ja) 光検出装置
JP7437957B2 (ja) 受光素子、固体撮像装置及び電子機器
WO2023167027A1 (ja) 光検出装置及び電子機器
KR20240054968A (ko) 촬상 장치 및 전자 기기

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120214