JP2007103401A - 撮像装置及び画像処理装置 - Google Patents

撮像装置及び画像処理装置 Download PDF

Info

Publication number
JP2007103401A
JP2007103401A JP2005287281A JP2005287281A JP2007103401A JP 2007103401 A JP2007103401 A JP 2007103401A JP 2005287281 A JP2005287281 A JP 2005287281A JP 2005287281 A JP2005287281 A JP 2005287281A JP 2007103401 A JP2007103401 A JP 2007103401A
Authority
JP
Japan
Prior art keywords
color
image processing
filter
image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005287281A
Other languages
English (en)
Inventor
Kazuyuki Iguma
一行 猪熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005287281A priority Critical patent/JP2007103401A/ja
Priority to CNA2006101270126A priority patent/CN1941855A/zh
Priority to US11/527,681 priority patent/US7952624B2/en
Publication of JP2007103401A publication Critical patent/JP2007103401A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • H01L27/14647Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 自動車に搭載できる信頼性を確保し、且つ低演色性の道路照明下での色識別性能を高める撮像装置を提供する。
【解決手段】 無機誘電体材料からなる多層膜フィルタ109のスペーサ層の膜厚を変化させることによって、多数の異なる分光特性を持つ色フィルタをイメージセンサ101上に形成する。
【選択図】 図1

Description

本発明は、高い信頼性が要求され、且つ低演色性照明下で使用されることが多い車載カメラ等において良好な画像を提供するための撮像装置及び画像処理装置に関するものである。
従来より、自動車の走行安全性を高めるために、車両にビデオカメラ等の撮像手段を搭載して車両周辺の映像を監視するシステムが多数提案されている。
具体的には、ドアミラーやサイドミラー等に内蔵したカメラの出力を車内の運転席付近に設けられた映像表示装置で表示し、対向車や隣車線の状況、左右方向の死角映像等を運転者が容易に確認できる視認補助系システムや、取り込んだ映像信号を処理して周辺の自動車の動きを検出し、その距離や速度に応じて運転者に警告を与えたり、道路領域が存在する所定の位置を探索して標識を認識する認識系システムがある。
このような車載カメラは、気象条件に左右されないことが要求される。例えば、特許文献1には、気象条件に左右されない撮像装置とするために、車両のドアミラーのミラー部をハーフミラーとし、内部に光学フィルタ付のビデオレンズとCCD等の撮像装置を配置し、車室内に配置したカメラ信号処理回路により処理した映像信号を映像表示装置に出力するようにしたものが開示されている。
また、前記特許文献1には、(1)カメラを車室内に配置すると、美観上や居住性の劣化を招いたり、運転者の視野を狭めたりする、(2)エンジンルーム内では周囲の環境が非常に悪く、故障の原因となる、(3)車両の周辺、例えばドア側面やエンジンルームの上に配置すると、安全上、デザイン上、空力抵抗といった性能上などの悪影響があるという、カメラの搭載位置に関する課題が解決される、と記載されている。
特開平5−294183号公報
このような従来の技術では、車両の性能を劣化させることのないカメラの搭載位置を提供しているが、車載カメラの性能が限定されるという別の課題がある。すなわち、(1)ハーフミラーを介して外界の映像を撮影するので感度が低下する、(2)カメラの搭載位置がドアミラー内なので、カメラの方向あるいは視野角を工夫しても撮影できる視野が限定される、(3)将来的にはデザイン上の観点からドアミラーをなくすことも検討されておりこれに対応できない等がある。
さらに、ドアミラーの内部は、車両の外側部又はエンジンルーム内に比べれば良好な使用環境にあると言えるが、真夏の炎天下に駐車された車両内の気温は、車室内又はドアミラーの内部を含めて非常に高くなることは周知の事実である。また、エンジンルーム内は、走行時には車室内に比べてはるかに高温になるし、車両の外側部に搭載したカメラは直射日光に晒されるという使用環境上の問題がある。
また、視認補助系の車載カメラシステムでは、夜間やトンネル内などの悪条件下における視認性を肉眼以上に高めるという目的がある。道路照明やトンネル内照明は経済性等の理由から高圧ナトリウムランプ等を使用することが多いが、高圧ナトリウムランプは演色性が低いため、色の識別が肉眼では困難になるという問題点がある。
図14は、従来の撮像装置の構造を示す断面図である。図14に示すように、撮像装置1301は、N型層1302の上にP型層1303が積層されたシリコン半導体基板を備え、さらにその上には、層間絶縁膜1304が形成されている。
前記P型層1303には、N型不純物のイオン注入により複数のフォトダイオード1305(光電変換素子)が形成されている。このフォトダイオード1305は、入射光1306を光電変換するものであり、複数のフォトダイオード1305間は、素子分離領域1307により分離されている。
さらに、前記素子分離領域1307の上には、光の入射を抑制する遮光膜1308が形成され、該遮光膜1308の上にカラーフィルタ1309が形成されている。さらに、カラーフィルタ1309の上部には、入射光1306を効率よく集光するための集光レンズ1310が形成されている。このカラーフィルタ1309の持つ波長選択性によって、入射光1306がR(赤)、G(緑)、B(青)の各波長帯に分離されて色分離が可能となる。
しかしながら、従来のカラーフィルタ1309は、有機材料よりなる顔料によって構成されており、長時間高温状態におかれた場合、あるいは強い入射光が長時間当たった場合、顔料に化学変化が生じて波長選択特性が変化する。このため、顔料フィルタを用いた従来の撮像装置では、高温又は高照射による退色(色分離特性の劣化)という課題があった。この課題が、車両に搭載する撮像装置に対してより顕著な問題となることは、上述した通りである。また、道路照明やトンネル内照明に多用されている照明の演色性が低いという問題がある。
図15は、高圧ナトリウムランプの分光特性と人の眼の分光特性を示す図である。図15において、1401は高圧ナトリウムランプの分光特性、1402は人の眼の青色(B)成分の分光特性、1403は人の眼の緑色(G)成分の分光特性、1404は人の眼の赤色(R)成分の分光特性を示している。
図16は、高圧ナトリウムランプ照明下における人の眼の分光特性を示す図である。図16において、1501がR成分の分光特性、1502がG成分の分光特性を示す。高圧ナトリウムランプは分光が長波長側に偏っているため、その照明下では人の眼はほとんど赤色成分の感度しかなく、全ての色が赤系統の色としてしか認識できない。また、従来のカメラにおいても、人の眼の分光特性に近いR、G、Bの3原色を用いて撮像を行うため、同様に全ての色が赤系統と色としてしか識別できないことになる。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、車両の外側部、車室内、エンジンルーム内など、どのような場所にカメラを搭載しても、周囲温度あるいは直射日光の影響で劣化することがなく、加えて、一般の道路照明下で肉眼より視認性の高い撮像装置を提供することにある。
すなわち、本発明では、複数の単位画素がチップ上に配列されたイメージセンサを有する撮像装置であって、
前記イメージセンサは、単位画素毎に入射光を光電変換する光電変換素子と、該光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離するフィルタとを備え、
前記フィルタは、無機材料で形成された多層膜フィルタであり、前記選択的に透過させる帯域の半値幅が100nmより狭くなるように構成されていることを特徴とする。
以上のように、本発明に係る撮像装置は、無機材料よりなるフィルタを用いることで、顔料の化学変化による退色という現象がなくなり、高温、高光量照射下での使用が可能なことから、車載用途として車両の外側部、車室内、エンジンルーム内など、どのような場所にでも搭載できる。
また、フィルタ構造として、同一の層構造を有する上部反射器及び下部反射器に挟まれたスペーサ層の厚みの違いで、透過する波長帯域を変化させるものであることから、撮像装置を製造する半導体ウエハプロセスにおいてプロセスステップ数を削減でき、安価に量産できるという利点がある。
さらに、多数の特性を持つフィルタを同一チップ上に形成するのが容易であることから、人の眼が持つ3原色の分光帯域幅より狭い一部の波長帯域のみを選択的に透過させるフィルタを可視波長域にわたって多数形成して人の可視波長帯域を網羅することで、低演色性照明下における色の判別性能を人の眼より向上させて、人の眼よりも細かい色情報を得ることができる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。
図1は、本発明の実施形態に係る撮像装置のイメージセンサの構造を示す断面図である。図1に示すように、イメージセンサ101は、N型層102にP型層103が積層されたシリコン半導体基板を備え、さらにその上に層間絶縁膜104が形成されている。
前記P型層103には、N型不純物のイオン注入により複数のフォトダイオード(光電変換素子)105が形成されており、入射光106を光電変換するようになっている。そして、各フォトダイオード105間は素子分離領域107により分離されている。
さらに、前記素子分離領域107の上方には、光の入射を抑制する遮光膜108が形成されている。そして、この遮光膜108上には、誘電体からなり、波長選択機能を実現する多層膜フィルタ109が形成されている。さらに、この多層膜フィルタ109の上方には、入射光106を効率良く集光するための集光レンズ110が形成されている。
図2は、本実施形態に係る撮像装置を自動車車両に取付けた状態を示す図である。図2に示すように、自動車201には、デザイン上の観点からフェンダーミラーやドアミラーが取り付けられておらず、代わりにサイドカメラ202が車両側部に設置されている。このサイドカメラ202からの映像信号は、コンソール内に設置された映像制御装置203に入力され、映像制御装置203からの出力信号が車内の運転席付近に設けられた映像表示装置204に表示される。
また、前記映像制御装置203には、車両前部に設置されたフロントカメラ205や車両後部に設置されたリアカメラ206からの出力信号がさらに入力されており、前記映像表示装置204に対して、サイドカメラ202、フロントカメラ205、及びリアカメラ206からの映像信号を切替えて、あるいは同時に表示することができるようになっている。
なお、車室内及びエンジンルーム内は、車両外部に比べて衝突等の事故の際にカメラが保護されやすいという特徴があるので、図示しない車室内カメラ又はエンジンルーム内カメラを車外監視用途に用いてもよい。これは特に、交通事故時の映像を衝突の前後で記録する車載ブラックボックスとして用いると効果的である。
また、図2には示していないが、サイドカメラ202、フロントカメラ205、リアカメラ206の中には、図1に示した撮像装置が組み込まれているものとする。
以下、本実施形態に係る多層膜フィルタの透過率特性について、従来の多層膜フィルタの透過率特性と比較しながら説明する。
図3(a)は、従来の高反射ミラーに用いる多層膜反射鏡である多層膜フィルタの層構造を示す図であり、図3(b)は、従来の多層膜フィルタの透過率特性を示す図である。
図3(a)に示すように、多層膜フィルタの層構造は、屈折率の異なる材料である、窒化シリコン301(SiN)と、酸化シリコン302,303(SiO2)とを単純に積層させた構成となっている。
また、図3(b)において、縦軸は入射に対して多層膜を通過した後の光透過率、横軸は多層膜に入射させる光の波長を示している。なお、計算にはフレネル係数を用いたマトリクス法を用いており、ペア数は10、設定中心波長は550nmで、垂直入射光のみを計算している。
ここで、多層膜を構成する各誘電体の光学膜厚nd(n:材料の屈折率、d:材料の膜厚)については、設定中心波長λに対して4分の1波長(λ/4)となるように設定してあり、その結果、設定中心波長を中心とする反射帯域特性となる。また、反射帯域幅は用いる材料の屈折率差で決定され、屈折率差が大きいほど帯域幅が大きくなる。
しかしながら、このような層構造では、広い反射阻止帯域は得られるものの、R、G、Bの色分離機能のために波長を選択的に透過させることは難しいと言える。
図4(a)は、本実施形態の高反射ミラーに用いる色分離フィルタである多層膜フィルタの層構造を示す図であり、図4(b)は、本実施形態の多層膜フィルタの透過率特性を示す図である。
図4(a)に示すように、本発明の実施形態に係る多層膜フィルタは、スペーサ層304を中心にして、λ/4多層膜構造(λ:設定中心波長)の上部反射器305及び下部反射器306が対称となるように配置した構成となっている。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層304の膜厚を変化させることによって、その透過ピーク波長を変化させることが可能となる。
図5は、本実施形態の多層膜フィルタの製造プロセスを示す図である。まず、図5(a)に示すように、Siウエハ401上に酸化シリコン(SiO2)及び酸化チタン(TiO2)からなるλ/4多層膜構造(λ:設定中心波長)の下部反射器402〜405、及びTiO2からなるスペーサ層406を高周波スパッタ装置によって形成する。その後、特定波長のみを選択的に透過させるために、スペーサ層406の厚みを所望の膜厚に形成するエッチングプロセスを実施する。
具体的には、図5(b)に示すように、下部反射器402〜406を形成したウエハ面上にレジスト塗布を行い、露光前ベーク(プリベーク)の後、ステッパなどの露光装置によって露光を行い、レジスト現像、及び最終ベーク(ポストベーク)によって、レジストパターン407を形成する。その後、CF4系のエッチングガスを用いて、最終的に、図5(b)における層構造の中央部が赤色(R)の波長帯に相当する層膜になるまでスペーサ層406のエッチングを行う。
次に、図5(c)に示すように、図5(b)と同様のプロセスにより、緑色(G)の領域に相当する領域にレジストパターンを形成し、ドライエッチングを実施することによって、図5(c)における右側部が緑色に相当する層厚になるまでスペーサ層406のエッチングを行う。
さらに、図5(d)に示すように、図5(a)と同様に酸化シリコンSiO2、及び酸化チタンTiO2からなるλ/4多層膜構造の上部反射器408〜411を高周波スパッタ装置によって形成する。
なお、誘電体からなる多層膜構造のトータル膜厚は、R、G、Bに対して、それぞれ、622nm、542nm、562nmとした。
図6は、本実施形態の多層膜フィルタの透過率の計算結果を示す図である。縦軸は入射に対して多層膜を通過した後の光透過率、横軸は多層膜に入射させる光の波長を示している。なお、計算には誘電体多層膜フィルタにおいて広く知られている特性マトリクス法を用いた。
また、誘電体材料としては、高屈折率材料として酸化チタンTiO2(屈折率2.5)501を用い、低屈折率材料として酸化シリコンSiO2(屈折率1.45)502を用いた。さらに、スペーサ層503の光学膜厚(膜厚)をそれぞれ、200nm(80nm)、0nm(0nm)、50nm(20nm)としている。
図6に示すように、スペーサ層503の有無、又は膜厚の変化によって透過ピーク波長特性を変化させることが可能であり、撮像装置において必要となる、R、G、Bの波長分離化が実現できることが分かる。
なお、本実施形態では、高屈折率材料として酸化チタンTiO2を用いているが、これ以外の材料として窒化シリコン(SiN)、酸化タンタル(Ta25)、あるいは酸化ジルコニウム(ZrO2)などを用いてもよい。また、低屈折率材料として酸化シリコンSiO2を用いたが、高屈折率材料として用いる誘電体と比較して屈折率が低ければ、酸化シリコンSiO2以外の材料を用いても構わない。
このように、本発明のような誘電体多層膜構造によれば、フィルタを通常の半導体プロセスで作製可能となり、従来の顔料フィルタのように撮像装置の受光部や配線部などを形成した後に、通常の半導体プロセスとは異なる工程、いわゆるオンチッププロセスでフィルタを形成する必要がなく、プロセスの安定化、及び生産性向上に伴う低コスト化を実現する上で有利な効果が得られる。
さらに、本発明の誘電体多層膜フィルタは、無機材料のみを用いて構成可能であり、高温、高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内、車室内など、どのような場所にでも搭載することができる。
図7は、本実施形態の撮像装置におけるイメージセンサ上に形成された多層膜フィルタの分光特性を示す図である。図7において、イメージセンサ上には、601〜606に示される6種類の分光特性のフィルタが形成されている。ここで、601〜606のフィルタの分光の帯域幅(半値幅)は約40nmであり、人の眼の帯域幅である80nm〜100nmに比べて狭くなるように設定されている。
一方、607は代表的な道路照明である高圧ナトリウムランプの分光特性であり、肉眼や従来のカメラではほとんど赤色成分のみの情報であるため、色の識別が困難であった。
図8は、本発明の実施形態に係る撮像装置の高圧ナトリウムランプ照明下における分光特性を示す図である。図8に示すように、本発明の撮像装置では、高圧ナトリウムランプ照明下においても、701〜703という複数の色情報を得ることができ、色の識別が可能であることが分かる。
ここで、取得した色情報を人間に対して表示する場合は、人の眼で判別できる従来のR、G、Bに変換して表示する必要がある。この場合、被写体の色を白色照明下での色として再現するのが最も好ましい。しかしながら、青色〜緑色成分の情報が得られないため、赤色成分の情報から推定しなければならない。ここで、従来のフィルタでは赤色成分の情報が1つしかなかったため推定が極めて困難であったが、本発明では複数の情報があるため、その情報から被写体の分光パターンを推定し、白色光下における色をある程度推定することが可能である。
図9は、本実施形態に係る撮像装置の高圧ナトリウムランプ下で得られる被写体の色情報を示す図である。図9において、801は被写体Aの白色光下での分光特性、802は被写体Bの白色光下での分光特性である。
ここで、前記被写体A、Bを高圧ナトリウムランプ照明下において本発明の撮像装置で撮影すると、被写体Aに関しては801a、801bという色情報を得ることができる。また、被写体Bに関しては802a、802b、802cの色情報を得ることができる。
このように、本発明では、被写体A、Bの分光パターンの一部の情報を得ることができる。すなわち、従来のカメラでは赤色の1つの情報しか得られないため分光のパターン情報は得られなかったが、本発明によれば、この得られた分光パターンの情報から白色光下での分光特性を推定することができる。
図10は、本実施形態の撮像装置における白色光下での色情報の推定結果を示す図である。図10において、802a、802b、802cは高圧ナトリウムランプ照明下での前記被写体Bの色情報である。
ここで、人の可視波長帯域(400nm〜700nm)より狭い帯域の色情報に基づいて、白色光下における被写体Bの分光802を推定し、人の眼で判別できる従来のR、G、B(可視波長帯域全域に渡る色信号)に変換することで、B成分である901、G成分である902、R成分である903をそれぞれ取得する。
ここで、具体的な色情報の推定方法として、802a、802b、802cの組から直接901、902、903を出力する変換テーブルを予め用意しておくことが考えられる。このテーブルの作成方法として、実際の被写体の特性を収集し、そこから統計的に得る方法がある。以下、このテーブル作成方法について説明する。
図11は、本実施形態に係る撮像装置におけるパターンテーブル作成方法を示す図である。図11に示すように、この撮像装置では、被写体の色情報を2種類の方法で取得している。すなわち、第1の方法は、1001a及び1001bで示すように、白色光下で人の眼の分光特性に準じる分光のカメラで撮影する方法であり、第2の方法は、1002a及び1002bで示すように、高圧ナトリウムランプ照明下での本発明の撮像装置で撮影する方法である。
このような2つの撮像方法による色情報のパターンデータ1003a,1003b,・・・を数多くの被写体について収集して、入力(人の可視波長帯域(400nm〜700nm)より狭い帯域の色情報)と出力(可視波長帯域全域に渡る色信号)とを関係付けるパターンテーブル1004を作成する。
図12は、本発明の実施形態に係る画像処理装置の全体構成を示す図である。図12において、101はイメージセンサであり、109は無機材料を積層してなる多層膜フィルタであり、1101はイメージセンサ101の出力信号をアナログ処理するAFE(Analog Front End)及びデジタル信号に変換するADC(AD Converter)である。
1102は、デジタル信号となったイメージセンサ101の出力信号を処理して所望の画像データを生成する画像処理LSIである。
1103はイメージセンサ101の出力信号から色を推定する色推定部であり、具体的には、色推定部1103が有するパターンテーブル1004を使用することで、高圧ナトリウムランプ等の低演色性の照明下の限られた色情報から白色光下における色を推定する。
1104は、推定された色情報から所望の色信号を生成する色生成部であり、3原色(R、G、B)の色信号が出力される。なお、本実施形態では、出力色信号として3原色(R、G、B)としているが、色差信号等の他の色信号形式であっても構わない。
また、本実施形態では、高圧ナトリウムランプ下における色情報からの推定としているが、例えば、他の分光特性を持つ低演色性光源に対しても同様の手法が使えることは言うまでもない。また、今回は6種類のフィルタを使用しているが、より詳細な分光パターン情報を得るためにより多種類のフィルタを使用するようにしても構わない。
図13は、本実施形態のイメージセンサ上における多層膜フィルタの配列例を示す図である。ここで、人の視感度は緑色(G)成分が最も高く、緑色の情報が最も多く解像感に寄与することが知られている。また、人の眼は水平・垂直の解像度に敏感であり、斜めの解像度に対しては比較的鈍感であることが知られている。以上の事情を考慮して、緑色成分を交互配置するのが解像感を高めるのに効果的であると考えられる。
従って、図13に示すような601〜606という分光特性が6種類のフィルタを配列する際には、まず、緑色に近いフィルタ603、604を交互配置するのが好ましい。
ただし、フィルタの種類は6種類であるため、その配列は3×2のパターンとなり、水平方向に1画素抜けてしまい、その部分の緑色成分が疎になる。従って、その部分にその次に緑色に近いフィルタ602、605を配置するようにしている。
そして、最後に残った位置にフィルタ601、606を配置する。なお、このようなフィルタ配列は、解像度を重視した基本的な考え方の一例であり、他の配列であっても構わない。
以上説明したように、本発明は、低演色性照明下での色の識別能力を肉眼より高くすることができるという実用性の高い効果が得られることから、きわめて有用で産業上の利用可能性は高い。特に、自動車に搭載しておき、車両周辺の映像を監視して人が視認するための撮像装置として利用可能である。
本発明の実施形態に係る撮像装置のイメージセンサの構造を示す断面図である。 本実施形態に係る撮像装置を自動車車両に取付けた状態を示す図である。 (a)従来の多層膜フィルタの層構造を示す図である。(b)従来の多層膜フィルタの透過率特性を示す図である。 (a)本実施形態の多層膜フィルタの層構造を示す図である。(b)本実施形態の多層膜フィルタの透過率特性を示す図である。 本実施形態の多層膜フィルタの製造プロセスを示す図である。 本実施形態の多層膜フィルタの透過率の計算結果を示す図である。 本実施形態の撮像装置におけるイメージセンサ上に形成された多層膜フィルタの分光特性を示す図である。 本実施形態に係る撮像装置の高圧ナトリウムランプ照明下における分光特性を示す図である。 本実施形態に係る撮像装置の高圧ナトリウムランプ下で得られる被写体の色情報を示す図である。 本実施形態の撮像装置における白色光下での色情報の推定結果を示す図である。 本実施形態に係る撮像装置におけるパターンテーブル作成方法を示す図である。 本発明の実施形態に係る画像処理装置の全体構成を示す図である。 本実施形態のイメージセンサ上における多層膜フィルタの配列例を示す図である。 従来の撮像装置の構造を示す断面図である。 高圧ナトリウムランプの分光特性と人の眼の分光特性とを示す図である。 高圧ナトリウムランプ照明下における人の眼の分光特性を示す図である。
符号の説明
101 イメージセンサ
105 フォトダイオード
106 入射光
109 多層膜フィルタ
110 集光レンズ
201 自動車
304 スペーサ層
305 上部反射器
306 下部反射器
1004 パターンテーブル
1101 アナログ信号処理部
1102 画像処理LSI
1103 色推定部
1104 色生成部

Claims (8)

  1. 複数の単位画素がチップ上に配列されたイメージセンサを有する撮像装置であって、
    前記イメージセンサは、単位画素毎に入射光を光電変換する光電変換素子と、該光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離するフィルタとを備え、
    前記フィルタは、無機材料で形成された多層膜フィルタであり、前記選択的に透過させる帯域の半値幅が100nmより狭くなるように構成されていることを特徴とする撮像装置。
  2. 請求項1に記載された撮像装置において、
    前記フィルタは、人の可視波長域(400nm〜700nm)をカバーすべく、それぞれ特性の異なる少なくとも4種類のフィルタ部材で構成されていることを特徴とする撮像装置。
  3. 請求項2に記載された撮像装置において、
    前記イメージセンサ上には、最も緑色に近い色を選択的に透過する緑色フィルタが交互配置され、該交互配置の結果、該緑色フィルタが疎となる部分には、次に緑色に近い色を選択的に透過するフィルタが配置されていることを特徴とする撮像装置。
  4. 複数の単位画素がチップ上に配列され、且つ入射光を少なくとも4種類の色成分に分離するフィルタを有するイメージセンサと、
    前記イメージセンサで分離した少なくとも4種類の色成分に対応した信号をそれぞれデジタル信号に変換する変換部と、
    前記変換部から出力された出力信号を処理して色信号を生成する画像処理部とを備えたことを特徴とする画像処理装置。
  5. 請求項4に記載された画像処理装置において、
    前記画像処理部は、人の可視波長帯域(400nm〜700nm)より狭い帯域の色の情報に基づいて、可視波長帯域全域にわたる色信号を生成するように構成されていることを特徴とする画像処理装置。
  6. 請求項5に記載された画像処理装置において、
    前記画像処理部は、人の可視波長帯域(400nm〜700nm)より狭い帯域における複数の色の情報に基づいて被写体の白色照明下の色を推定し、その推定結果に基づいた色信号を生成するように構成されていることを特徴とする画像処理装置。
  7. 請求項6に記載された画像処理装置において、
    前記画像処理部は、低演色性の照明下における被写体の色情報と白色光下における前記被写体の色情報との関係を表すパターンテーブルを備え、
    前記パターンテーブルに基づいて、低演色性の照明下における被写体から白色光下での前記被写体の色情報を推定するように構成されていることを特徴とする画像処理装置。
  8. 請求項4乃至7のうち何れか1項に記載された画像処理装置において、
    前記画像処理部は、半導体チップ(LSI)で構成されていることを特徴とする画像処理装置。
JP2005287281A 2005-09-30 2005-09-30 撮像装置及び画像処理装置 Pending JP2007103401A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005287281A JP2007103401A (ja) 2005-09-30 2005-09-30 撮像装置及び画像処理装置
CNA2006101270126A CN1941855A (zh) 2005-09-30 2006-09-19 摄像器和图像处理系统
US11/527,681 US7952624B2 (en) 2005-09-30 2006-09-27 Image pickup device having a color filter for dividing incident light into multiple color components and image processing system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005287281A JP2007103401A (ja) 2005-09-30 2005-09-30 撮像装置及び画像処理装置

Publications (1)

Publication Number Publication Date
JP2007103401A true JP2007103401A (ja) 2007-04-19

Family

ID=37901509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005287281A Pending JP2007103401A (ja) 2005-09-30 2005-09-30 撮像装置及び画像処理装置

Country Status (3)

Country Link
US (1) US7952624B2 (ja)
JP (1) JP2007103401A (ja)
CN (1) CN1941855A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306070A (ja) * 2007-06-08 2008-12-18 Panasonic Corp 固体撮像素子及び信号演算方法
JP2009088261A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 裏面照射型固体撮像素子及びその製造方法
JP2011223382A (ja) * 2010-04-12 2011-11-04 Olympus Corp 撮像装置
JP2011254311A (ja) * 2010-06-02 2011-12-15 Aisin Seiki Co Ltd 車両周辺画像処理装置
JP5943393B2 (ja) * 2011-05-11 2016-07-05 国立大学法人東京工業大学 撮像装置
KR20180113783A (ko) * 2017-04-07 2018-10-17 삼성전자주식회사 광대역 컬러 필터를 포함하는 이미지 센서
WO2022059550A1 (ja) * 2020-09-17 2022-03-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその製造方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8400537B2 (en) * 2008-11-13 2013-03-19 Omnivision Technologies, Inc. Image sensors having gratings for color separation
US20100163759A1 (en) * 2008-12-31 2010-07-01 Stmicroelectronics S.R.L. Radiation sensor with photodiodes being integrated on a semiconductor substrate and corresponding integration process
US8330840B2 (en) * 2009-08-06 2012-12-11 Aptina Imaging Corporation Image sensor with multilayer interference filters
TWI521965B (zh) * 2012-05-14 2016-02-11 Sony Corp Camera and camera methods, electronic machines and programs
CN106470299B (zh) * 2015-08-18 2022-12-23 杭州海康机器人股份有限公司 镜头、摄像机、包裹检测系统和图像处理方法
EP3182079B1 (en) * 2015-12-14 2023-08-23 ams AG Optical sensing device and method for manufacturing an optical sensing device
US9998695B2 (en) 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
US10170509B2 (en) * 2016-02-12 2019-01-01 Viavi Solutions Inc. Optical filter array
JP6975897B2 (ja) * 2016-12-27 2021-12-01 パナソニックIpマネジメント株式会社 画像生成装置及び撮像装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153692A (ja) * 1988-12-06 1990-06-13 Olympus Optical Co Ltd 色温度調整装置
JPH0818985A (ja) * 1993-10-01 1996-01-19 Mitsubishi Electric Corp 撮像装置
JPH11113005A (ja) * 1997-09-30 1999-04-23 Sony Corp 撮像装置
JPH11113006A (ja) * 1997-09-30 1999-04-23 Olympus Optical Co Ltd 電子的撮像装置
JP2003284084A (ja) * 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
WO2005069376A1 (ja) * 2004-01-15 2005-07-28 Matsushita Electric Industrial Co.,Ltd. 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2872759B2 (ja) * 1989-06-08 1999-03-24 富士写真フイルム株式会社 固体撮像システム
JPH05294183A (ja) 1992-04-17 1993-11-09 Canon Inc 車載監視カメラ装置
US5523811A (en) * 1992-04-17 1996-06-04 Canon Kabushiki Kaisha Camera device for moving body
US6714243B1 (en) * 1999-03-22 2004-03-30 Biomorphic Vlsi, Inc. Color filter pattern
WO2000077566A1 (en) * 1999-06-14 2000-12-21 Augusto Carlos J R P Display or imager device with integrated wavelength filter
EP2319390B1 (en) * 2000-07-21 2016-04-20 Olympus Corporation Endoscope apparatus
US7154545B2 (en) * 2001-04-30 2006-12-26 Hewlett-Packard Development Company, L.P. Image scanner photosensor assembly with improved spectral accuracy and increased bit-depth
JP3950715B2 (ja) * 2002-03-05 2007-08-01 富士フイルム株式会社 固体撮像素子およびこれを用いた撮像装置
KR100459902B1 (ko) * 2002-07-04 2004-12-03 삼성전자주식회사 압축 영상의 색온도 변환 방법 및 그 시스템
CN1234234C (zh) * 2002-09-30 2005-12-28 松下电器产业株式会社 固体摄像器件及使用该固体摄像器件的设备
US7742088B2 (en) * 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera
US7633537B2 (en) * 2002-12-18 2009-12-15 Nikon Corporation Color image sensor, color filter array and color imaging device
JP3861808B2 (ja) * 2002-12-25 2006-12-27 ソニー株式会社 撮像装置
JP3970185B2 (ja) * 2003-01-14 2007-09-05 富士フイルム株式会社 固体撮像素子及びデジタルカメラ
JP3967690B2 (ja) * 2003-03-25 2007-08-29 富士フイルム株式会社 撮像装置
US20070058055A1 (en) * 2003-08-01 2007-03-15 Takumi Yamaguchi Solid-state imaging device, manufacturing method for solid-state imaging device, and camera using the same
WO2005046248A1 (ja) * 2003-11-11 2005-05-19 Olympus Corporation マルチスペクトル画像撮影装置
CN100449764C (zh) * 2003-11-18 2009-01-07 松下电器产业株式会社 光电探测器
US20050151860A1 (en) * 2004-01-08 2005-07-14 Silverstein D. A. Image sensing device and method
CN2727760Y (zh) 2004-07-24 2005-09-21 鸿富锦精密工业(深圳)有限公司 彩色滤光片
JP2007317750A (ja) * 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153692A (ja) * 1988-12-06 1990-06-13 Olympus Optical Co Ltd 色温度調整装置
JPH0818985A (ja) * 1993-10-01 1996-01-19 Mitsubishi Electric Corp 撮像装置
JPH11113005A (ja) * 1997-09-30 1999-04-23 Sony Corp 撮像装置
JPH11113006A (ja) * 1997-09-30 1999-04-23 Olympus Optical Co Ltd 電子的撮像装置
JP2003284084A (ja) * 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
WO2005069376A1 (ja) * 2004-01-15 2005-07-28 Matsushita Electric Industrial Co.,Ltd. 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306070A (ja) * 2007-06-08 2008-12-18 Panasonic Corp 固体撮像素子及び信号演算方法
JP2009088261A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 裏面照射型固体撮像素子及びその製造方法
JP4696104B2 (ja) * 2007-09-28 2011-06-08 富士フイルム株式会社 裏面照射型固体撮像素子及びその製造方法
JP2011223382A (ja) * 2010-04-12 2011-11-04 Olympus Corp 撮像装置
US9188841B2 (en) 2010-04-12 2015-11-17 Olympus Corporation Imaging device
JP2011254311A (ja) * 2010-06-02 2011-12-15 Aisin Seiki Co Ltd 車両周辺画像処理装置
JP5943393B2 (ja) * 2011-05-11 2016-07-05 国立大学法人東京工業大学 撮像装置
KR20180113783A (ko) * 2017-04-07 2018-10-17 삼성전자주식회사 광대역 컬러 필터를 포함하는 이미지 센서
KR102395992B1 (ko) * 2017-04-07 2022-05-10 삼성전자주식회사 광대역 컬러 필터를 포함하는 이미지 센서
WO2022059550A1 (ja) * 2020-09-17 2022-03-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその製造方法

Also Published As

Publication number Publication date
US7952624B2 (en) 2011-05-31
US20070076105A1 (en) 2007-04-05
CN1941855A (zh) 2007-04-04

Similar Documents

Publication Publication Date Title
JP2007103401A (ja) 撮像装置及び画像処理装置
US7852388B2 (en) Imaging device
US7903157B2 (en) Imaging system and image sensor with filter selectively transmitting combination of plural narrow wavelength bands of incident light in low color rendering illumination
CN109906512B (zh) 摄像元件和电子设备
US7560684B2 (en) On-vehicle imaging device
CN111869199A (zh) 摄像装置和图像处理系统
CN101438411A (zh) 用于制造分离彩色滤光片的侧壁间隔物及对应图像传感器的方法
JP2008164367A (ja) 固体撮像装置、カメラ、車両及び監視装置
JP4876812B2 (ja) 車載用カラーセンサおよびその製造方法
KR102661039B1 (ko) 촬상 소자 및 촬상 장치
JP5853719B2 (ja) 画像処理システム及びそれを備えた車両
JP4728211B2 (ja) 固体撮像装置、カメラ、車両及び監視装置
JP4974897B2 (ja) 車載撮像装置
WO2019026393A1 (ja) 固体撮像装置及び電子機器
JP2008244246A (ja) 固体撮像装置、カメラ、車両及び監視装置
JP2013095315A (ja) 撮像装置内蔵ルームミラー装置及びそれを備えた車両
JP7261168B2 (ja) 固体撮像装置及び電子機器
WO2019159561A1 (ja) 固体撮像素子、電子装置、および、固体撮像素子の製造方法
WO2023243252A1 (ja) 光検出装置
WO2022019111A1 (ja) 光検出装置
WO2023167027A1 (ja) 光検出装置及び電子機器
WO2024018904A1 (ja) 固体撮像装置
WO2022196169A1 (ja) 撮像装置
US20240186352A1 (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111115