JP2008153997A - 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法 - Google Patents

固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法 Download PDF

Info

Publication number
JP2008153997A
JP2008153997A JP2006340411A JP2006340411A JP2008153997A JP 2008153997 A JP2008153997 A JP 2008153997A JP 2006340411 A JP2006340411 A JP 2006340411A JP 2006340411 A JP2006340411 A JP 2006340411A JP 2008153997 A JP2008153997 A JP 2008153997A
Authority
JP
Japan
Prior art keywords
imaging
unit
imaging unit
solid
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006340411A
Other languages
English (en)
Inventor
Katsumi Takeda
勝見 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2006340411A priority Critical patent/JP2008153997A/ja
Priority to EP07116550A priority patent/EP1937001A1/en
Priority to EP08171558A priority patent/EP2037691A2/en
Priority to US11/876,959 priority patent/US20080143829A1/en
Priority to CNA2007101694880A priority patent/CN101207720A/zh
Publication of JP2008153997A publication Critical patent/JP2008153997A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】距離情報を高精度かつ効率よく算出することができる映像信号を出力する固体撮像装置を提供する。
【解決手段】本発明に係る固体撮像装置は、行列状に配置された複数の光電変換素子111を備え、入射光に応じた映像信号を出力する撮像領域110及び撮像領域120と、撮像領域110へ光を入射する第1光入射部150と、第1光入射部150と離間して設けられ、撮像領域120へ光を入射する第2光入射部151と、行方向に並ぶ光電変換素子111から得られる信号の転送を制御するための第1制御信号と、列方向に並ぶ光電変換素子111から得られる信号の転送を制御するための第2制御信号と、露光時間を制御するための第3制御信号とを、撮像領域110及び撮像領域120に共通に出力する制御部130とを備える。
【選択図】図1

Description

本発明は、固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法に関し、特に、独立した光入射経路を有する2つの撮像領域を備える固体撮像装置に関する。
立体映像の撮像、又は、距離情報を伴った映像情報を得るために、2つの撮像領域を備えるカメラが用いられている。距離情報を伴う映像情報を出力するカメラは、車載用カメラとして用いることで、前方の障害の大きさ及び距離の検知し、ドライバに警告を発することができる。さらに、障害物の検知にともない、自動的にエンジン、ブレーキ及びステアリング等を制御することで、障害物への衝突を回避することができる。さらに、車内に設けたカメラにより、乗員の大きさ(大人又は子供等)、及び乗員の頭部の位置等を検知し、エアバックのOpenスピード及び圧力等を制御することができる。
また、距離情報を伴う映像情報を出力するカメラは、監視カメラ及びTV電話等のカメラとして用いた場合には、所定の距離内の被写体のみを撮像及び表示することで、映像情報のデータ量の削減及び視認性の向上を実現することができる。
従来の立体映像の撮像を行うカメラとしては、2台のカメラを備えるステレオカメラが知られている。
図24は、従来の立体映像を撮像する固体撮像装置であるステレオカメラの構成を示す図である。
図24に示す固体撮像装置1000は、カメラ1001及び1002を備える。カメラ1001及び1002は所定の距離を隔てて設置される。カメラ1001及び1002が撮像した映像信号より、立体映像が生成される。
図24に示す従来の固体撮像装置1000は、2台のカメラ1001及び1002を用いるため、カメラ1001及び1002における製造ばらつき等の影響により、十分なエピポーラ性を保てない(2台のカメラが撮像した映像信号に位置的なズレが生じる)という問題と、2台のカメラ1001及び1002の撮像特性が同一ではないという問題と、2台のカメラから出力される信号の出力タイミングに時間的遅延が生じるという問題とにより、距離情報を算出するために多大な調整工数及び信号処理工程を必要とする。
上記問題に対して、1チップのLSI(Large Scale Integration)として、2つの撮像領域を備えるステレオカメラが知られている(例えば、特許文献1参照。)。
特許文献1記載のステレオカメラは、被写体を撮像する2つの撮像領域を1チップ化することにより、2つの撮像領域の製造ばらつきの影響を低減することができる。
特開平9−74572号公報
しかしながら、ステレオカメラ等の立体映像の撮像、又は、距離情報を伴った映像情報を出力するカメラにおいては、エピポーラ性、2つのカメラの撮像特性の同一性、及び信号出力タイミングの同期性等を向上させることで、距離情報を高精度かつ効率よく算出できることが望まれる。
そこで、本発明は、距離情報を高精度かつ効率よく算出することができる映像信号を出力する固体撮像装置を提供することを目的とする。
上記目的を達成するために、本発明に係る固体撮像装置は、行列状に配置された複数の光電変換素子を備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、前記第1撮像部へ光を入射する第1光入射部と、前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部と、行方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第1制御信号と、列方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第2制御信号と、露光時間を制御するための第3制御信号とを、前記第1撮像部及び前記第2撮像部に共通に出力する駆動手段とを備える。
この構成によれば、第1撮像部及び第2撮像部に供給する第1制御信号及び第2制御信号を共通とすることで、第1撮像部及び第2撮像部における信号電荷の読出し処理(信号電荷の転送処理)を同期して行うことができるので、距離情報を算出するための信号処理を効率よく実行できる。また、第3制御信号を共通とすることで第1撮像部及び第2撮像部の電荷蓄積時間(露光時間)を同一にすることができる。これにより、第1撮像部及び第2撮像部が出力する映像信号の信号レベルのばらつきを低減することができる。以上より、第1撮像部及び第2撮像部が出力する映像信号から、撮像した被写体への距離を高精度かつ効率よく算出することができる。
また、前記第1撮像部及び前記第2撮像部は、さらに、列方向に並ぶ複数の前記光電変換素子に蓄積された信号電荷を読み出し、列方向に転送する複数の垂直転送手段と、前記複数の垂直転送手段が転送した信号電荷を行方向に転送する水平転送手段と、前記水平転送手段が転送した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記映像信号として出力する出力手段とを備え、前記第1制御信号は、前記水平転送手段の転送を駆動する水平転送パルスであり、前記第2制御信号は、前記複数の垂直転送手段の転送を駆動する垂直転送パルスであり、前記第3制御信号は、前記光電変換素子に蓄積された信号電荷を排出させる信号電荷排出パルスであってもよい。
この構成によれば、第1撮像部及び第2撮像部に供給する垂直転送パルス及び水平転送パルスを共通とすることで、第1撮像部及び第2撮像部における信号電荷の読出し処理(信号電荷の転送処理)を同期して行うことができるので、距離情報を算出するための信号処理を効率よく実行できる。また、信号電荷排出パルスを共通とすることで第1撮像部及び第2撮像部の電荷蓄積時間を同一にすることができる。これにより、第1撮像部及び第2撮像部が出力する映像信号の信号レベルのばらつきを低減することができる。以上より、第1撮像部及び第2撮像部が出力する映像信号から、撮像した被写体への距離を高精度かつ効率よく算出することができる。
また、前記第1撮像部及び前記第2撮像部は、さらに、前記行列状に配置された複数の光電変換素子の行を順次選択する行選択手段と、前記行列状に配置された複数の光電変換素子の列を順次選択する列選択手段と、前記行選択手段に行を選択され、かつ前記列選択手段に列を選択された光電変換素子に蓄積された信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記映像信号として出力する出力手段とを備え、前記第1制御信号は、前記行選択手段の行の選択を開始させる垂直同期信号であり、前記第2制御信号は、前記列選択手段の列の選択を開始させる水平同期信号であり、前記第3制御信号は、前記第1制御信号の駆動タイミングを制御する電荷蓄積制御信号であってもよい。
この構成によれば、第1撮像部及び第2撮像部に供給する垂直同期信号及び水平同期信号を共通とすることで、第1撮像部及び第2撮像部における信号電荷の読出し処理(信号電荷の転送処理)を同期して行うことができるので、距離情報を算出するための信号処理を効率よく実行できる。また、電荷蓄積制御信号を共通とすることで第1撮像部及び第2撮像部の電荷蓄積時間を同一にすることができる。これにより、第1撮像部及び第2撮像部が出力する映像信号の信号レベルのばらつきを低減することができる。以上より、第1撮像部及び第2撮像部が出力する映像信号から、撮像した被写体への距離を高精度かつ効率よく算出することができる。
また、本発明に係る固体撮像装置は、行列状に配置された複数の光電変換素子と列方向に並ぶ複数の前記光電変換素子に蓄積された信号電荷を読み出し、列方向に転送する複数の垂直転送手段と、前記複数の垂直転送手段が転送した信号電荷を行方向に転送する水平転送手段と、前記水平転送手段が転送した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記映像信号として出力する出力手段とを備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、前記第1撮像部へ光を入射する第1光入射部と、前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部と、前記水平転送手段の転送を駆動する水平転送パルスと、前記光電変換素子に蓄積された信号電荷を排出させる信号電荷排出パルスとを前記第1撮像部及び前記第2撮像部に共通に出力し、前記複数の垂直転送手段の転送を駆動する第1垂直転送パルスを前記第1撮像部及び第2撮像部に個別に出力する駆動手段を備えてもよい。
この構成によれば、第1撮像部及び第2撮像部に異なる垂直転送パルスを供給することができる。これにより、第1撮像部及び第2撮像部が出力する映像信号の垂直方向にズレが生じている場合には、ズレを補正する異なる垂直転送パルスを供給することで、第1撮像部及び第2撮像部が出力する映像信号の垂直方向にズレを補正することができる。これにより、第1撮像部及び第2撮像部が出力する映像信号のエピポーラ性を向上させることができる。第1撮像部及び第2撮像部が出力する映像信号のエピポーラ性が向上することにより、第1撮像部及び第2撮像部が出力する映像信号から、撮像した被写体への距離を高精度かつ効率よく算出することができる。
また、前記第1撮像部と、前記第2撮像部とは、水平方向に配置され、前記固体撮像装置は、さらに、前記第1撮像部が出力する映像信号の画像に対する、前記第2撮像部が出力する映像信号の画像の垂直方向の画素のズレを示す値であるズレ値を保持するズレ値保持手段を備え、前記駆動手段は、前記第1撮像領域及び前記第2撮像領域に、前記光電変換素子に蓄積された信号電荷を前記垂直転送手段に読み出す読み出しパルスを印加し、その後、前記第1撮像部及び前記第2撮像部のうち、同一の被写体に対する映像信号の出力タイミングが遅い方に、前記ズレ値に応じた回数の垂直転送パルスを印加し、その後、前記第1撮像領域及び前記第2撮像領域に同一の垂直転送パルスを印加してもよい。
この構成によれば、ズレ値保持手段が保持するズレ値に応じて、駆動手段は、第1撮像部及び第2撮像部が出力する映像信号の垂直方向にズレを補正する異なる垂直転送パルスを供給する。これにより、第1撮像部及び第2撮像部が出力する映像信号の垂直方向にズレを補正することができる。よって、エピポーラ性が保たれた第1撮像部及び第2撮像部の映像信号を同期させて出力することができる。
また、前記第1撮像部と、前記第2撮像部とは、水平方向に配置され、前記固体撮像装置は、さらに、前記第1撮像部が出力する映像信号の画像に対する、前記第2撮像部が出力する映像信号の画像の垂直方向の画素のズレを示す値であるズレ値を保持するズレ値保持手段と、前記ズレ値保持手段が保持する前記ズレ値に応じた行から、前記行選択手段の行選択を開始させる行制御信号を生成する行制御手段とを備えてもよい。
この構成によれば、行選択手段は、ズレ値保持手段が保持するズレ値に応じた行から行選択を開始する。これにより、第1撮像部及び第2撮像部が出力する映像信号の垂直方向にズレを補正することができる。よって、第1撮像部及び第2撮像部が出力する映像信号のエピポーラ性を向上させることができる。
また、前記固体撮像装置は、さらに、前記第1撮像部及び前記第2撮像部が出力する映像信号から、前記ズレ値を算出するズレ値算出手段を備え、前記ズレ値保持手段は、前記ズレ値算出手段が算出した前記ズレ値を保持してもよい。
この構成によれば、製品出荷後の、任意のタイミング(電源投入時、所定の時間毎、又は外部操作に応じたタイミング等)で、ズレ値を算出し、算出したズレ値に応じた補正を行うことができる。これにより、設置環境等による動作条件の変化、及び経時変化等により特性(ズレ値)が変化した場合にも、最適な補正を行うことができる。
また、本発明に係る固体撮像装置は、行列状に配置された複数の光電変換素子を備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、前記第1撮像部へ光を入射する第1光入射部と、前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部と、行方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第1制御信号と、列方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第2制御信号とを、前記第1撮像部及び前記第2撮像部に共通に出力し、露光時間を制御するための第3制御信号を前記第1撮像部及び第2撮像部に個別に出力する駆動手段とを備えてもよい。
この構成によれば、第1撮像部及び第2撮像部における電荷蓄積時間が異なる。これにより、第1撮像部及び第2撮像部の出力する映像信号のダイナミックレンジが異なる。例えば、第1撮像部及び第2撮像部の出力する映像信号を合成することで、ダイナミックレンジの広い映像信号を生成することができる。
また、前記第1光入射部は、第1の周波数帯域の光を前記第1撮像部に集光する第1集光手段と、前記第1撮像部上に形成され、前記第1の周波数帯域に含まれる第3の周波数帯域の光を透過する第1のフィルタとを備え、前記第2光入射部は、前記第1の周波数帯域と異なる第2の周波数帯域の光を前記第2撮像部に集光する第2集光手段と、前記第2撮像部上に形成され、前記第2の周波数帯域に含まれる第4の周波数帯域の光を透過する第2のフィルタとを備えてもよい。
この構成によれば、第1集光手段により集光された第1の周波数帯域の光は、第2のフィルタにより遮断されるので、第2撮像部には照射されない。よって、第2撮像部に対する第1の周波数帯域の光の干渉を低減することができる。また、第2集光手段により集光された第2の周波数帯域の光は、第1のフィルタにより遮断されるので、第1撮像部には照射されない。よって、第1撮像部に対する第2の周波数帯域の光の干渉を低減することができる。また、第1のフィルタ及び第2のフィルタを備えることで、遮光板等を設けなくともよいので、構造を簡略化することができる。さらに、1チップの半導体集積回路に第1撮像部及び第2撮像部を形成した場合でも、容易に不要な周波数帯域の光を遮光することができる。
また、前記固体撮像装置は、さらに、複数の光電変換素子を備える第3撮像部と、前記第3撮像部へ光を入射する第3光入射部とを備え、前記第3光入射部は、前記第1の周波数帯域及び前記第2の周波数帯域を含む第5の周波数帯域の光を前記第3撮像部に集光する第3集光手段と、前記第3撮像部上に形成される第3のフィルタを備え、前記第3のフィルタは、前記第3撮像部が備える前記複数の光電変換素子に含まれる複数の第1の光電変換素子上に形成され、前記第3の周波数帯域の光を透過する第4のフィルタと、前記第3撮像部が備える前記複数の光電変換素子に含まれる複数の第2の光電変換素子上に形成され、前記第4の周波数帯域の光を透過する第5のフィルタとを含んでもよい。
この構成によれば、第3撮像部は、第3の周波数帯域の光を光電変換した信号と、第4の周波数帯域の光を光電変換した信号とを出力する。ここで、第1のフィルタ及び第2のフィルタを設け、第1撮像部と第2撮像部とに異なる周波数帯域の光を入射した場合、第1撮像部と第2撮像部とが出力する映像信号の信号レベルに差が生じる。第3の撮像領域が出力する第1の周波数帯域の光を光電変換した信号と、第2の周波数帯域の光を光電変換した信号との比を用いて、第1撮像部及び第2撮像部が出力する映像信号を補正することで、周波数帯域の差による信号レベルの差を低減することができる。
また、前記固体撮像装置は、さらに、前記複数の第1の光電変換素子が光電変換した信号の平均値である第1平均値と、前記複数の第2の光電変換素子が光電変換した信号の平均値である第2平均値とを算出する平均値算出手段と、前記平均値算出手段が算出した前記第1平均値及び第2平均値の比に基づき、前記第1撮像部及び前記第2撮像部が出力する映像信号を補正する補正手段とを備えてもよい。
この構成によれば、補正手段は、平均値算出手段が算出した第1平均値と第2平均値との比を用いて、第1撮像部及び第2撮像部が出力する映像信号を補正する。これにより、第1撮像部及び第2撮像部に入射する光の周波数帯域の差による、第1撮像部及び第2撮像部が出力する映像信号の信号レベルの差を低減することができる。
また、前記第1のフィルタ、前記第2のフィルタ、前記第3のフィルタ及び前記第4のフィルタのうち1以上は、異なる誘電体で構成される複数の層を積層した第1誘電体層及び第2誘電体層と、前記第1誘電体層と前記第2誘電体層との間に形成される絶縁体で構成される絶縁体層とを備え、前記絶縁体層の光学膜厚は、前記第1誘電体層及び前記第2誘電体層の光学膜厚と異なってもよい。
この構成によれば、第1のフィルタ、第2のフィルタ、第3のフィルタ及び第4のフィルタのうち1以上に、耐光性及び耐熱性に優れた多層膜干渉フィルタが用いられる。これにより、無機材料のみを用いてフィルタを構成することができる。フィルタを無機材料のみで構成することで、高温及び高照射下で使用しても退色現象を生じない。よって、車載用途として車両の外部、エンジンルーム内又は車室内等の場所にも搭載することができる。
また、前記固体撮像装置は、さらに、前記第1周波数帯域及び前記第2周波数帯域を含む周波数帯域の光を被写体に照射する光源を備えてもよい。
この構成によれば、光源が被写体に照射した光の反射光を第1撮像部及び第2撮像部で受光することができる。これにより、夜間及び暗所での撮像を行うことができる。
また、前記第1周波数帯域及び前記第2周波数帯域は、近赤外領域に含まれてもよい。
この構成によれば、近赤外領域の光を用いて、被写体の撮像を行うことができる。これにより、車載カメラ等として本発明の固体撮像装置を用いた場合に、視認性の向上と、対向車両及び歩行者に対する眩惑の防止とを実現することができる。
また、前記固体撮像装置は、さらに、被写体までの距離を、前記第1撮像部及び第2撮像部が出力する前記映像信号から算出する距離算出手段を備えてもよい。
この構成によれば、固体撮像装置は、第1撮像部及び第2撮像部で撮像した映像信号と、映像信号の被写体までの距離の情報とを外部に出力することができる。
また、前記第1撮像部及び前記第2撮像部は、複数の外部入力端子を備える1つのパッケージで形成され、前記第1撮像部及び前記第2撮像部の第1制御信号、第2制御信号、及び第3制御信号が入力される入力パッドのうち少なくとも1つは共通の前記外部入力端子と接続されてもよい。
この構成によれば、外部入力端子の数を減少させることができる。
また、前記第1撮像部及び前記第2撮像部は、異なる半導体基板に形成され、同一の基板上に配置されてもよい。
この構成によれば、第1撮像部及び第2撮像部は、異なるチップで形成される。よって、第1撮像部と第2撮像部とが配置される距離を容易に広くすることができる。これにより、第1撮像部及び第2撮像部が出力する映像信号に基づく被写体までの距離の算出の精度を向上させることができる。
また、前記第1撮像部及び前記第2撮像部は、同一の半導体基板に形成されてもよい。
この構成によれば、第1撮像部及び第2撮像部は、1チップの半導体集積回路に形成されるので、第1撮像部と第2撮像部との特性のばらつきを低減することができる。これにより、第1撮像部及び第2撮像部が出力する映像信号におけるエピポーラ性を向上させることができる。さらに、第1撮像部及び第2撮像部の配置のズレ等によるエピポーラ性の低減を防止することができる。
また、本発明に係るカメラは、行列状に配置された複数の光電変換素子を備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、前記第1撮像部へ光を入射する第1光入射部と、前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部と、行方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第1制御信号と、列方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第2制御信号と、露光時間を制御するための第3制御信号とを、前記第1撮像部及び前記第2撮像部に共通に出力する駆動手段とを備える。
この構成によれば、第1撮像部及び第2撮像部に供給する第1制御信号及び第2制御信号を共通とすることで、第1撮像部及び第2撮像部における信号電荷の読出し処理(信号電荷の転送処理)を同期して行うことができるので、距離情報を算出するための信号処理を効率よく実行できる。また、第3制御信号を共通とすることで第1撮像部及び第2撮像部の電荷蓄積時間(露光時間)を同一にすることができる。これにより、第1撮像部及び第2撮像部が出力する映像信号の信号レベルのばらつきを低減することができる。以上より、第1撮像部及び第2撮像部が出力する映像信号から、撮像した被写体への距離を高精度かつ効率よく算出することができる。
また、本発明に係る車両は、行列状に配置された複数の光電変換素子を備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、前記第1撮像部へ光を入射する第1光入射部と、前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部と、行方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第1制御信号と、列方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第2制御信号と、露光時間を制御するための第3制御信号とを、前記第1撮像部及び前記第2撮像部に共通に出力する駆動手段と有するカメラを備える。
この構成によれば、第1撮像部及び第2撮像部に供給する第1制御信号及び第2制御信号を共通とすることで、第1撮像部及び第2撮像部における信号電荷の読出し処理(信号電荷の転送処理)を同期して行うことができるので、距離情報を算出するための信号処理を効率よく実行できる。また、第3制御信号を共通とすることで第1撮像部及び第2撮像部の電荷蓄積時間(露光時間)を同一にすることができる。これにより、第1撮像部及び第2撮像部が出力する映像信号の信号レベルのばらつきを低減することができる。以上より、第1撮像部及び第2撮像部が出力する映像信号から、撮像した被写体への距離を高精度かつ効率よく算出することができる。
また、本発明に係る監視装置は、行列状に配置された複数の光電変換素子を備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、前記第1撮像部へ光を入射する第1光入射部と、前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部と、行方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第1制御信号と、列方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第2制御信号と、露光時間を制御するための第3制御信号とを、前記第1撮像部及び前記第2撮像部に共通に出力する駆動手段と有するカメラを備える。
この構成によれば、第1撮像部及び第2撮像部に供給する第1制御信号及び第2制御信号を共通とすることで、第1撮像部及び第2撮像部における信号電荷の読出し処理(信号電荷の転送処理)を同期して行うことができるので、距離情報を算出するための信号処理を効率よく実行できる。また、第3制御信号を共通とすることで第1撮像部及び第2撮像部の電荷蓄積時間(露光時間)を同一にすることができる。これにより、第1撮像部及び第2撮像部が出力する映像信号の信号レベルのばらつきを低減することができる。以上より、第1撮像部及び第2撮像部が出力する映像信号から、撮像した被写体への距離を高精度かつ効率よく算出することができる。
また、本発明に係る固体撮像装置の駆動方法は、行列状に配置された複数の光電変換素子を備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、前記第1撮像部へ光を入射する第1光入射部と、前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部とを備える固体撮像装置の駆動方法であって、行方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第1制御信号と、列方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第2制御信号と、露光時間を制御するための第3制御信号とを、前記第1撮像部及び前記第2撮像部に共通に供給する。
この構成によれば、第1撮像部及び第2撮像部に供給する第1制御信号及び第2制御信号を共通とすることで、第1撮像部及び第2撮像部における信号電荷の読出し処理(信号電荷の転送処理)を同期して行うことができるので、距離情報を算出するための信号処理を効率よく実行できる。また、第3制御信号を共通とすることで第1撮像部及び第2撮像部の電荷蓄積時間(露光時間)を同一にすることができる。これにより、第1撮像部及び第2撮像部が出力する映像信号の信号レベルのばらつきを低減することができる。以上より、第1撮像部及び第2撮像部が出力する映像信号から、撮像した被写体への距離を高精度かつ効率よく算出することができる。
本発明は、距離情報を容易、かつ高精度に算出することができる映像信号を出力する固体撮像装置を提供することができる。
以下、本発明に係る固体撮像装置の実施の形態について、図面を参照しながら詳細に説明する。
(実施の形態1)
本発明の実施の形態1に係る固体撮像装置は、2つの撮像領域に同一の制御信号を供給する。これにより、2つの撮像領域が撮像した映像信号から距離情報を高精度かつ効率よく算出することができる。
まず、本実施の形態に係る固体撮像装置の構成を説明する。
図1は、本発明の実施の形態1に係る固体撮像装置の構成を示す図である。
図1に示す固体撮像装置100は、撮像の被写体170の映像情報及び距離情報を出力する。固体撮像装置100は、例えば、車両に搭載された近赤外領域の光(以下、「近赤外光」と記す。)を用いた暗視機能を有するカメラである。固体撮像装置100は、撮像領域110及び120と、制御部130と、信号処理部140と、レンズ150及び151と、光源160とを備える。
光源160は、近赤外光(波長700nm〜1100nm)を被写体170に照射する。光源160は、例えば、LED(発光ダイオード)又は半導体レーザで構成される。
レンズ150は、被写体170からの反射光を撮像領域110に集光する。レンズ151は、レンズ150と離間して設けられ、被写体170からの反射光を撮像領域120に集光する。
撮像領域110及び120は、CCDイメージセンサであり、入射光に応じた映像信号を出力する。撮像領域110及び120は、それぞれ被写体170からの反射光を電気信号に変換し、変換した電気信号を映像信号として出力する。
図2は、撮像領域110及び120の構成を示す図である。図2に示す撮像領域110は、複数の光電変換素子111と、複数の垂直転送部112と、水平転送部113と、電荷検出部114と、A/D変換部115とを備える。
複数の光電変換素子111は、半導体基板上に行列状に配置される。複数の光電変換素子111は、受光量に応じた信号電荷を蓄積する。
各垂直転送部112は、列方向に並ぶ複数の光電変換素子111に蓄積された信号電荷を読み出し、読出した信号電荷を垂直方向(列方向)に転送する。
水平転送部113は、複数の垂直転送部112が転送した信号電荷を水平方向(行方向)に転送する。
電荷検出部114は、水平転送部113が転送した信号電荷を、電圧又は電流に変換する。A/D変換部115は、電荷検出部114により変換された電圧又は電流値をデジタルの映像信号に変換し、変換した映像信号を出力する。
なお、撮像領域120の構成は、撮像領域110の構成と同様である。また、撮像領域110と、撮像領域120とは、行列状に配置された複数の光電変換素子111の行方向(水平方向)に配置される。また、例えば、撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114は同一の半導体基板に形成された1チップの半導体集積回路である。
制御部130は、複数の垂直転送部112の垂直転送を駆動する垂直転送パルスと、水平転送部113の水平転送を駆動する水平転送パルスと、複数の光電変換素子111に蓄積された信号電荷を半導体基板に排出させる信号電荷基板排出パルスとを生成する。信号電荷基板排出パルスは、複数の光電変換素子111の電荷蓄積時間(露光時間)を制御するための信号である。制御部130は、撮像領域110及び120に共通の垂直転送パルス、水平転送パルス及び信号電荷基板排出パルスを供給する。
信号処理部140は、被写体までの距離情報を、撮像領域110及び120が出力する映像信号から算出し、映像信号及び距離情報を外部に出力する。
図3は、撮像領域110及び120と、レンズ150及び160との断面構造を模式的に示す図である。図3に示すように、固体撮像装置100は、さらに、フィルタ152、153、154及び155を備える。フィルタ152、153、154及び155は、例えば、多層膜干渉フィルタである。
被写体170からの反射光は、フィルタ152、レンズ150及びフィルタ154からなる光入射経路により、撮像領域110に入射される。また、被写体170からの反射光は、フィルタ153、レンズ151及びフィルタ155からなる光入射経路により、撮像領域120に入射される。フィルタ152は、レンズ150の上部に形成され、第1の周波数帯域の光のみを透過する。すなわち、フィルタ152及びレンズ150により、第1の周波数帯域の光は撮像領域110に集光される。フィルタ153は、レンズ151の上部に形成され、第2の周波数帯域の光のみを透過する。すなわち、フィルタ153及びレンズ151により、第2の周波数帯域の光は撮像領域120に集光される。フィルタ154は、撮像領域110上に形成され、第1の周波数帯域の光のみを透過する。フィルタ155は、撮像領域120上に形成され、第2の周波数帯域の光のみを透過する。ここで、第1の周波数帯域及び第2の周波数帯域は、近赤外領域(波長700nm〜1100nm)内の、互いに重複しない異なる周波数帯域である。例えば、第1の周波数帯域は、波長750nm〜850nmの周波数帯域であり、第2の周波数帯域は、波長950nm〜1050nmの周波数帯域である。
図4は、フィルタ152の断面構造を模式的に示す図である。なお、フィルタ153〜155の断面構造も図4と同様である。
図4(a)に示すフィルタ152は、上部反射層161と、スペーサ層162と、下部反射層163とを備える。スペーサ層162は下部反射層163上に積層され、上部反射層161は、スペーサ層162上に積層される。
上部反射層161及び下部反射層163は、3層の高屈折率材料で構成される層164と、3層の低屈折率材料で構成される層165とを、交互に積層した構造である。高屈折率材料で構成される層164は、例えば、酸化チタンTiO2(屈折率2.5)で構成される。低屈折率材料で構成される層165は、例えば、酸化シリコンSiO2(屈折率1.45)で構成される。スペーサ層162は、高屈折率材料で構成され、例えば、酸化チタンTiO2(屈折率2.5)で構成される。また、フィルタ152は、スペーサ層162を中心にして、光学膜厚λ/4(λ:設定中心波長)の多層膜構造の上部反射層161及び下部反射層163が対称となるように配置される。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層162の膜厚を変化させることによって、その透過ピーク波長を変化させることができる。
図5は、図4(a)に示すフィルタ152の光の波長に対する光の透過率の計算結果を示す図である。なお、透過率の計算には誘電体多層膜干渉フィルタにおいて広く知られている特性マトリクス法を用いた。図5に示すように、例えば、TiO2層164を90nmとし、SiO2層165を155nmとすることで、実線174で示す特性の設定中心波長900nmの多層膜干渉フィルタを構成することができる。また、TiO2層164を99nmとし、SiO2層165を171nmとすることで、破線175で示す設定中心波長1000nmの多層膜干渉フィルタを構成することができる。ここで、スペーサ層162は、光学膜厚をλ/2としている。また、図5に示すように、図4(a)に示すフィルタ152は、短波長帯(波長800nm以下)の光を透過する特性を有するが、短波長カット光学フィルタ(例えば朝日分光(株)LIO840等:図5の二点鎖線176)を併用することで、波長900nm又は1000nmの光のみを透過することができる。
なお、フィルタ152の構成は、図4(b)に示すように、所定の膜厚及び層数のTiO2層とSiO2層とを積層した、上部反射層166と、スペーサ層167と、下部反射層168とを構成してもよい。
図6は、図4(b)に示すフィルタ152の光の波長に対する光の透過率の計算結果を示す図である。図6に示すように、上部反射層166と、スペーサ層167と、下部反射層168との膜厚及び層数を最適化することにより、実線177で示す特性の設定中心波長800nmの多層膜干渉フィルタ及び破線178で示す設定中心波長1000nmの多層膜干渉フィルタを構成することができる。
なお、高屈折率材料で構成される層164は、酸化チタンTiO2で構成されるとしたが、窒化シリコン(SiN)、酸化タンタル(Ta25)、又は酸化ジルコニウム(ZrO2)等で構成してもよい。また、低屈折率材料で構成される層165は、酸化シリコンSiO2で構成されるとしたが用いたが、高屈折率材料として用いる誘電体と比較して屈折率が低ければ、酸化シリコンSiO2以外の材料を用いてもよい。
また、上述した設定中心波長、スペーサ層の膜厚、ペア数は1例であり、所望の分光特性に合わせて設定すればよい。
このように、誘電体多層膜干渉フィルタを用いることで、フィルタを通常の半導体プロセスで作製可能となり、従来の顔料フィルタのように固体撮像装置の受光部や配線部などを形成した後に、通常の半導体プロセスとは異なる工程、いわゆるオンチッププロセスでフィルタを形成する必要がない。よって、プロセスの安定化、及び生産性向上に伴う低コスト化を実現することができる。
さらに、誘電体多層膜干渉フィルタを用いることにより、無機材料のみを用いてフィルタを構成することができる。これにより、高温及び高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内又は車室内等の場所にも搭載することができる。
次に、本実施の形態に係る固体撮像装置100の動作を説明する。
光源160から照射された近赤外光は、被写体170で反射される。被写体170で反射した反射光は、フィルタ152により第1の周波数帯域の光のみが透過し、レンズ150で集光され、フィルタ154を介して撮像領域110に照射される。また、被写体170で反射した反射光は、フィルタ153により第2の周波数帯域の光のみが透過し、レンズ151で集光され、フィルタ155を介して撮像領域120に照射される。ここで、撮像領域110及び120上にフィルタ154及び155を備えることにより、フィルタ152を介してレンズ150で集光された光は、フィルタ155で遮断されるので撮像領域120には入射せず撮像領域110のみに入射する。また、フィルタ153を介してレンズ151で集光された光は、フィルタ154で遮断されるので撮像領域110には入射せず、撮像領域120のみに入射する。すなわち、本発明の実施の形態1に係る固体撮像装置100は、撮像領域110及び120に入射する光の干渉を防止することができる。また、フィルタ152〜154を備えることで、遮光板等を設けなくともよいので、構造を簡略化することができる。さらに、1チップの半導体集積回路に撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114を形成した場合でも、容易に不要な周波数帯域の光を遮光することができる。
撮像領域110及び120の複数の光電変換素子111は、入射光量に応じた信号電荷を蓄積する。制御部130は、撮像領域110及び120の垂直転送部112による光電変換素子111に蓄積された信号電荷の垂直転送を制御する垂直転送パルスを生成する。また、制御部130は、撮像領域110及び120の水平転送部113による垂直転送部112により垂直転送された信号電荷の水平転送を制御する水平転送パルスを生成する。制御部130は、共通の垂直転送パルス及び水平転送パルスを撮像領域110及び120に供給する。さらに、制御部130は、半導体基板の電圧を制御することで、光電変換素子111に蓄積された信号電荷を半導体基板に排出させる共通の信号電荷基板排出パルスを撮像領域110及び120に出力する。このように、本発明の実施の形態1に係る固体撮像装置100は、撮像領域110及び120に共通の垂直転送パルス、水平転送パルス及び信号電荷基板排出パルスを供給する。これにより、撮像領域110及び120における信号電荷の読出し処理(信号電荷の転送処理)を同期して行うことができる。よって、撮像領域110及び120が出力する映像信号の時間的なばらつきを低減し、撮像領域110及び120の撮像特性の同一性と、信号出力タイミングの高い同期性とを実現することができる。また、信号電荷基板排出パルスを共通とすることで撮像領域110及び120の電荷蓄積時間を同一にすることができる。これにより、撮像領域110及び120が出力する映像信号の信号レベルのばらつきを低減することができる。
撮像領域110及び120の電荷検出部114は、水平転送部113により水平転送された信号電荷を電圧又は電流に変換する。撮像領域110及び120のA/D変換部115は、電荷検出部114により変換された電圧又は電流値をデジタルの映像信号に変換し、変換した映像信号を出力する。
図7は、撮像領域110及び120が出力する映像信号の画像の一例を示す図である。図7において、画像171a及び171bは、撮像領域110で撮像された左画像であり、画像172a及び172bは、撮像領域120で撮像された右画像である。例えば、被写体170を撮像した場合、撮像領域110及び120は、図7(a)に示す画像171a及び172aを出力する。
信号処理部140は、被写体170の距離情報を、撮像領域110及び120が出力する映像信号から算出する。
図8は、図7(a)に示す画像に対する信号処理部140の処理を説明するための図である。信号処理部140は、左画像171aと、右画像172aから被写体170の視差dを算出する。視差dは、左画像171aと、右画像172aにおける被写体170の水平方向のズレ(差分)である。例えば、信号処理部140は、左画像171aと、右画像172aの各行のデータを比較し、一致するか否かを判定する。次に、右画像172aの各行のデータを右側にシフトさせ、シフトさせたデータが左画像171aと一致するか否かを判定する。右画像172aの各行のデータを右側にシフトする動作及び左画像171aと一致を判定する処理を繰り返す。信号処理部140は、各行の左画像171aと右画像172aがもっとも類似したときの右画像172aのシフト数を視差dとして算出する。なお、視差dを算出する処理は、各行のデータ毎に行ってもよいし、複数の行単位のデータ毎に行ってもよい。具体的には、信号処理部140は右画像のm行(m:1以上の整数)の画素を行方向に所定の画素分(通常1画素)ずらす処理を所定の回数繰り返す。そして、所定の回数の処理毎に、ずらしたm行の右画像と、左画像のm行とに含まれる各画素の信号レベルの差分の絶対値を算出する。信号処理部140は、所定の回数の処理毎に、算出した差分の絶対値、n列(n:1以上の整数)毎の和を算出する。信号処理部140は、所定の回数の前記処理毎に、算出した和が、それまで保持していた和より小さい場合に、算出した和と、ずらし処理が実行された回数とを新たに保持する。そして所定の回数のずらし処理が終了した後に、保持されたずらし処理の実行回数を、視差として外部に出力する。例えば、ずらし処理によるずらし量(通常1画素)をn画素とし、ずらし処理が実行された回数をN回とし、画素ピッチをPxとした場合には、視差ZはZ=n×N×Pxで算出される。信号処理部140は、左画像171aと、右画像172aと、算出した視差dの情報とを外部に出力する。なお、信号処理部140は、左画像171a又は右画像172aに視差dの情報を付与して出力してもよい。さらに、左画像171a及び右画像172aを合成して出力してもよい。さらに、信号処理部140は、視差dと、撮像領域110と撮像領域120との距離とから固体撮像装置100から被写体170への距離を算出し出力してもよい。なお、視差の算出方法は、例えば、特開2003−143459号公報に記載されている。
ここで、図7(b)に示すように、左画像171bと、右画像172bとが垂直方向にズレが生じている(エピポーラ性が悪い)場合、一致を比較する各行において、ズレにより画像が一致しないため、信号処理部140の視差dの算出処理における精度が低下する。本発明の実施の形態1に係る固体撮像装置100では、上述したように、撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114を1チップのLSIとして形成することで、右画像と左画像との垂直方向のズレを低減することができる。これにより、視差dの算出精度を向上させることができる。
また、本発明の実施の形態1に係る固体撮像装置100は、撮像領域110及び120に共通の信号電荷基板排出パルスを供給する。これにより、撮像領域110と撮像領域120との電荷蓄積時間が等しくなり、右画像と左画像との輝度の差を低減することができる。信号処理部140による視差dの算出処理(画像の一致の判定処理)においては、画像の輝度等により一致が判定される。よって、本発明の実施の形態1に係る固体撮像装置100は、撮像領域110及び120に共通の信号電荷基板排出パルスを供給することで、視差dの算出精度を向上させることができる。
また、本発明の実施の形態1に係る固体撮像装置100は、撮像領域110及び120に共通の垂直転送パルス及び水平転送パルスを供給することで、撮像領域110及び120の動作を同期させることができる。これにより、右画像及び左画像が同期して出力される。よって、撮像領域110及び120が出力する右画像及び左画像の時間的なばらつきを低減し、撮像領域110及び120の撮像特性の同一性と、信号出力タイミングの高い同期性とを実現することができる。これにより、視差dの算出精度を向上させることができる。また、撮像領域110及び120が出力する右画像及び左画像を用いる信号処理部140の処理を右画像及び左画像が共に出力されるのを待つことなく行うことで、信号処理部140の処理を高速かつ効率よく行うことができる。
また、撮像領域110及び120を複数の外部入出力端子を備える1パッケージで構成する場合には、垂直転送パルス、水平転送パルス及び信号電荷基板排出パルスを共通とすることで、パッケージの端子数を削減することができる。図9は、1パッケージで構成した撮像領域110及び120の構成を模式的に示す図である。図9に示すように、垂直転送パルス、水平転送パルス及び信号電荷基板排出パルスが入力される入力パッドのうち少なくとも1つを共通の外部入力端子と接続することで、例えば、外部入力端子180を削減することができる。なお、図9において1つの外部入力端子のみを削減しているが、共通に供給する信号に対応する複数の外部入力端子を削減してもよい。
また、撮像領域110及び120として、民生用途のイメージセンサチップを容易に転用することができる。これにより、コストを低減することができる。この場合、特に垂直転送パルス、水平転送パルス及び信号電荷基板排出パルスの入力される入力パッドのうち少なくとも1つを共通の外部入力端子と接続することでパッケージの端子数を削減することができる。
以上、本発明の実施の形態に係る固体撮像装置100について説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上記説明では、撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114は、1チップのLSIであるとしたが、異なる半導体基板に形成し、同一の基板(例えば、プリント基板又はダイパッド等)上に配置してもよい。すなわち、撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114は、異なるチップで構成されてもよい。撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114を異なるチップで構成することで、撮像領域110と撮像領域120との複数の光電変換素子111を配置する距離を容易に離すことができる。撮像領域110と撮像領域120との複数の光電変換素子111を配置する距離が離れることで、固体撮像装置100から被写体170への距離の算出における精度を向上させることができる。一方、上述したように撮像領域110と撮像領域120との複数の光電変換素子111を1チップで構成した場合には、撮像領域110と撮像領域120との複数の光電変換素子111の距離を離すためには、チップ面積を増加させる必要があり、コスト増加につながる。ただし、撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114を異なるチップで構成した場合には、1チップで構成した場合に比べ、特性のばらつき及び基板上に配置した際の水平方向及び垂直方向のズレが増加するという欠点がある。なお、撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114を異なるチップで構成する場合には、同一の製造プロセスで形成された撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114、好ましくは同一のウェハーに形成された撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114を用いることで、撮像領域110と撮像領域120との複数の光電変換素子111、複数の垂直転送部112、水平転送部113及び電荷検出部114の特性のばらつきを低減することができる。
また、上記説明において、フィルタ152はレンズ150の上部に形成され、フィルタ153は、レンズ151の上部に形成されるとしたが、フィルタ152はレンズ150の下部に形成され、フィルタ153は、レンズ151の下部に形成されてもよい。
また、上記説明では、第1の周波数帯域と、第2の周波数帯域とは、互いに重複しない異なる周波数帯域であるとしたが、第1の周波数帯域の一部と、第2の周波数帯域の一部とが重複してもよい。例えば、フィルタ152が透過する周波数帯域の透過率が50%以下の領域が、フィルタ153が透過する周波数帯域の一部に含まれてもよい。
また、上記説明において、フィルタ154は、第1の周波数帯域の光のみを透過するとしたが、第1の周波数帯域に含まれる周波数帯域のみを透過してもよい。すなわち、フィルタ152は、第1の周波数帯域(例えば、波長750nm〜850nm)の光のみを透過し、フィルタ154は、第1の周波数帯域に含まれる周波数帯域(例えば、波長770nm〜830nm)の光のみを透過してもよい。さらに、フィルタ154は、透過率が低い周波数帯域として、第1の周波数帯域に含まれない周波数帯域を透過してもよい。例えば、フィルタ154は、透過率30%以下であれば、第1の周波数帯域(例えば、波長750nm〜850nm)に含まれない帯域を含む広帯域な周波数特性(例えば、波長700nm〜900nm)を有してもよい。
同様に、フィルタ155は、第2の周波数帯域に含まれる周波数帯域のみを透過してもよい。さらに、フィルタ155は、透過率が低い周波数帯域として、第2の周波数帯域に含まれない周波数帯域を透過してもよい。
(実施の形態2)
本発明の実施の形態2に係る固体撮像装置は、2つの撮像領域が撮像した画像の垂直方向のズレを補正する機能を有する。これにより、2つの撮像領域が撮像した画像に垂直方向のズレがある場合でも、高いエピポーラ性を実現することができる。
まず、本発明の実施の形態2に係る固体撮像装置の構成を説明する。
図10は、本発明の実施の形態2に係る固体撮像装置の構成を示す図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図10に示す固体撮像装置200は、図1に示す固体撮像装置100に対して、制御部230の構成と、調整値算出部210及び調整値保持部220を備える点とが異なる。
調整値算出部210は、撮像領域110及び120が出力する映像信号から、撮像領域110及び120が出力する映像信号の垂直方向のズレを算出する。具体的には、調整値算出部210は、撮像領域110が出力する映像信号の画像に対する、撮像領域120が出力する映像信号の画像の垂直方向の画素のズレを示す値である調整値221を算出する。例えば、図7(b)に示す左画像171b及び右画像172bの例では、調整値算出部210は、左画像171bと右画像172bとの垂直方向のズレ173を算出する。例えば、調整値算出部210は、左画像171bと、右画像172bとの画像データからそれぞれが一致する特異点を抽出し、画素データのYアドレスの差分を調整値221として出力する。例えば、調整値算出部210は、左画像171bと、右画像172bのデータを比較し、一致するか否かを判定する。次に、調整値算出部210は、右画像172bのデータを下側にシフトさせ、シフトさせたデータが左画像171bと一致するか否かを判定する。調整値算出部210は、右画像172bのデータを下側に所定の回数シフトする動作毎に、左画像171bと一致を判定する処理を行う。次に、調整値算出部210は、下側へシフトする前の右画像172bのデータを上側にシフトさせ、シフトさせたデータが左画像171bと一致するか否かを判定する。調整値算出部210は、右画像172bのデータを上側に所定の回数シフトする動作毎に、左画像171bと一致を判定する処理を行う。所定の回数の一致判定処理の後、調整値算出部210は、最も画像が一致したシフト回数を調整値221として出力する。なお、調整値算出部210による左画像171b及び右画像172bの一致判定処理は、左画像171b及び右画像172bの所定の列毎に行ってもよい。
調整値算出部210は、例えば、固体撮像装置200の電源投入時に上述した調整値221の算出処理を行う。なお、調整値算出部210は、所定の時間毎、又は外部からの操作に応じて、上述した調整値221の算出処理を行ってもよい。
調整値保持部220は、調整値算出部210が算出した調整値221を保持する。
制御部230は、撮像領域110及び120に共通の水平転送パルス及び信号電荷基板排出パルスを供給する。また、制御部230は、個別の垂直転送パルス231及び232を出力する。
図11は、図7(b)に示すように左画像171b及び右画像172bが垂直方向にずれている場合の、制御部230が出力する垂直転送パルス231及び232の一例を示す図である。図7(b)において、撮像領域110が出力する左画像171bが、撮像領域120が出力する右画像172bより上側に10画素分ずれているとする。
図11に示すように、光電変換素子111に蓄積された信号電荷を垂直転送部112に読み出す読み出しパルス240が印加された後、垂直転送パルス241のタイミングで、順次垂直転送部112により信号電荷の垂直転送が行われる。
図11に示すように、制御部230は、撮像領域110に読み出しパルス240を印加した後、期間T1において、調整値保持部220が保持する調整値221に対応する数(例えば、10段)の転送速度の速い垂直転送パルス241を印加する。これにより、撮像領域110の垂直転送部112は、撮像領域110の10行分の信号電荷を高速に転送する。すなわち、撮像領域110で撮像される左画像と、撮像領域120で撮像される右画像のズレに相当する行数分の信号電荷が高速に転送される。また、図11に示すように、制御部230は、撮像領域110に高速に垂直転送パルス241を印加する期間T1において、撮像領域120に垂直転送パルス241を印加しない。制御部230は、期間T1において、撮像領域110に高速の垂直転送パルス241を印加した後、期間T2において撮像領域110及び120に同期した同一の垂直転送パルス241を通常の転送速度(通常の周期)で印加する。すなわち、制御部230は、撮像領域110及び120に、読み出しパルス240を印加し、その後、撮像領域110及び撮像領域120のうち、同一の被写体に対する映像信号の出力タイミングが遅い方に、調整値221に応じた回数の垂直転送パルス241を印加し、その後、撮像領域110及び120に、同一の垂直転送パルス241を印加する。
以上のように、図11に示す垂直転送パルス231及び232を印加することで、撮像領域110及び120は、垂直方向のズレを補正した映像信号を出力することができる。よって、本発明の実施の形態2に係る固体撮像装置200は、例えば、レンズ等の配置のズレにより撮像領域110及び120が出力する映像信号にズレがある場合でも、映像信号のズレを補正し、エピポーラ性の高い映像信号を出力することができる。これにより、精度の高い視差の情報を算出することができる。
また、期間T1において、ズレ補正分の行に対しては、高速な転送速度で垂直転送を行う。これにより、短時間で必要な行の読み出しを開始することができる。
また、撮像領域110及び120が出力する映像信号にズレがない場合には、制御部230は、上述した実施の形態1に係る固体撮像装置100と同様の動作を行うので、上述した実施の形態1に係る固体撮像装置100と同様の効果を得ることができる。
なお、上記説明において、制御部230は、個別の垂直転送パルス231及び232を出力するとしたが、制御部230は、調整値保持部220が保持する調整値221に応じて、撮像領域110及び120に共通の垂直転送パルスを出力する状態と、個別の垂直転送パルス231及び232を出力する状態とを切り替えてもよい。具体的には、制御部230は、調整値保持部220が保持する調整値221がゼロの場合には、撮像領域110及び120に共通の垂直転送パルスを供給し、調整値保持部220が保持する調整値221がゼロ以外の場合には、撮像領域110及び120に個別の垂直転送パルス231及び232を供給してもよい。さらに、制御部230は、調整値221が所定の値未満の場合に、撮像領域110及び120に共通の垂直転送パルスを供給し、調整値221が所定の値以上の場合に、撮像領域110及び120に個別の垂直転送パルス231及び232を供給してもよい。
また、上記説明において、調整値算出部210が、調整値221を算出するとしたが、調整値221は、外部から入力されてもよい。例えば、出荷時等に、外部の装置が、固体撮像装置200から出力された映像信号から調整値221を算出し、算出した調整値221を固体撮像装置200に入力し、調整値保持部220に保持してもよい。なお、外部から調整値221を入力する場合には、固体撮像装置200は、調整値算出部210を備えなくともよい。
(実施の形態3)
本発明の実施の形態3に係る固体撮像装置は、2つの撮像領域における電荷蓄積時間を変更する。これにより、2つの撮像領域が出力する映像信号を合成することで、ダイナミックレンジの広い映像信号を得ることができる。
まず、本発明の実施の形態3に係る固体撮像装置の構成を説明する。
図12は、本発明の実施の形態3に係る固体撮像装置の構成を示す図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図12に示す固体撮像装置300は、図1に示す実施の形態1に係る固体撮像装置100に対して制御部330の構成と、画像合成部340を備える点とが異なる。
制御部330は、撮像領域110及び120に共通の垂直転送パルス、及び水平転送パルスを供給する。また、制御部330は、個別の信号電荷基板排出パルス331及び332を出力する。
画像合成部340は、撮像領域110及び120が出力する映像信号を合成し、合成した映像信号を外部に出力する。
なお、撮像領域110と撮像領域120との光電変換素子111、垂直転送部112及び水平転送部113を1チップで形成する場合には、撮像領域110と撮像領域120との光電変換素子111、垂直転送部112及び水平転送部113が形成される半導体基板の領域は、互いに絶縁されているとする。
次に、本発明の実施の形態3に係る固体撮像装置300の動作を説明する。
例えば、制御部330は、撮像領域110の電荷蓄積時間が撮像領域120の電荷蓄積時間より長くなるように、撮像領域110に信号電荷基板排出パルス331を供給し、撮像領域120に信号電荷基板排出パルス332を供給する。具体的には、制御部330は、光電変換素子111に蓄積される信号電荷を読み出す読み出しパルスが印加される前の、信号電荷基板排出パルス331のパルスのハイ区間が終了するタイミング(ネゲートとなるタイミング)を、信号電荷基板排出パルス332パルスのハイ区間が終了するタイミングより早くする。電荷蓄積時間が長い撮像領域110は、輝度の低い像を高感度で撮像することができる。すなわち、暗い場所での良好な撮像を行うことができる。また、電荷蓄積時間が長い撮像領域110は、輝度が高い像に対しては白とびが発生してしまう。一方、電荷蓄積時間が短い撮像領域120は、輝度の高い像を高感度で撮像することができる。すなわち、明るい場所での良好な撮像を行うことができる。また、電荷蓄積時間が短い撮像領域120は、輝度が低い像に対しては黒つぶれが発生してしまう。
画像合成部340は、撮像領域110及び撮像領域120が出力する映像信号を合成し、合成した映像信号を出力する。すなわち、画像合成部340は、高感度で撮像できる帯域が異なる映像信号の、高感度な帯域をそれぞれ抽出し合成することで、ダイナミックレンジの広い映像信号を生成することができる。
以上より、本発明の実施の形態3に係る固体撮像装置300は、撮像領域110及び120に異なる信号電荷基板排出パルスを供給することで、ダイナミックレンジの広い映像信号を出力することができる。
なお、制御部330は、撮像領域110及び120に共通の信号電荷基板排出パルスを出力する状態と、個別の信号電荷基板排出パルス331及び332を出力する状態とを有してもよい。例えば、制御部330は、外部からの操作(コマンド等の入力)に応じて、撮像領域110及び120に共通の信号電荷基板排出パルスを供給する状態と、個別の信号電荷基板排出パルス331及び332を供給する状態を切り替えてもよい。
また、上記説明において、固体撮像装置300は、画像合成部340を備えるとしたが、画像合成部340を備えず、撮像領域110及び撮像領域120が出力する2つの映像信号を外部に出力し、外部の装置が、出力された2つ映像信号を合成し、ダイナミックレンジの広い映像信号を生成してもよい。
また、上記説明において制御部330は、撮像領域110及び120に共通の垂直転送パルスを供給するとしたが、実施の形態2で示した垂直方向のズレを補正する機能を実現するべく、撮像領域110及び120に個別の垂直転送パルスを供給してもよい。これにより、垂直方向にズレがある場合の画像合成部340の処理の負荷を低減することができる。
(実施の形態4)
上述した実施の形態1に係る固体撮像装置100は、異なる波長の光を透過するフィルタ152〜155を用いることにより、撮像領域110及び120に入射する光を制御している。しかしながら、2つの撮像領域110及び120に入射する光は、それぞれ波長が異なるため、出力される映像信号の画像に差が生じる。
本発明の実施の形態4に係る固体撮像装置は、2つの撮像領域に加え、さらに、補正を行うための撮像領域を備える。これにより、撮像した映像信号の補正を行い、2つの撮像領域が出力する画像の差を低減することができる。
まず、本発明の実施の形態4に係る固体撮像装置の構成を説明する。
図13は、本発明の実施の形態4に係る固体撮像装置の構成を示す図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図13に示す固体撮像装置400は、図1に示す実施の形態1に係る固体撮像装置100に対して、さらに、撮像領域410と、平均値算出部420と、画像補正部430と、レンズ440とを備える。
レンズ440は、被写体170からの反射光を撮像領域410に集光する。
撮像領域410は、CCDイメージセンサであり、入射光に応じた信号を出力する。撮像領域410、被写体からの反射光を電気信号に変換し、変換した電気信号を出力する。例えば、撮像領域410は、図2に示す構成である。また、撮像領域410の光電変換素子111、垂直転送部112及び水平転送部113は、撮像領域110及び120の光電変換素子111、垂直転送部112及び水平転送部113と同一の半導体基板に1チップのLSIとして形成される。
図14は、撮像領域110、120及び410の断面構造を模式的に示す図である。なお、撮像領域110、120、レンズ150、151及びフィルタ152〜155の構成は図3に示す実施の形態1の構成と同様であり、詳細な説明は省略する。図14に示すように、固体撮像装置400は、さらに、フィルタ441及び442を備える。また、撮像領域410は、撮像領域110と撮像領域120との間に形成される。
フィルタ441及び442は、多層膜干渉フィルタであり、例えば、上述した実施の形態1と同様に図4に示す構造である。被写体170からの反射光は、フィルタ441、レンズ440及びフィルタ442からなる光入射経路により、撮像領域410に入射される。フィルタ441は、レンズ440の上部に形成される。フィルタ441は、フィルタ152及び154が透過する第1の周波数帯域(例えば、波長750nm〜850nm)と、フィルタ153及び155が透過する第2の周波数帯域(例えば、波長950nm〜1050nm)とを含む第3の周波数帯域(例えば、750nm〜1050nm)の光を透過する。すなわち、フィルタ441及びレンズ440により、第3の周波数帯域の光は撮像領域410に集光される。フィルタ442は、撮像領域410上に形成される。
図15は、フィルタ442を上面から見た構成を模式的に示す図である。図15に示すようにフィルタ442は、第1の周波数帯域の光を透過するフィルタ443と、第2の周波数帯域の光を透過するフィルタ444とを含む。フィルタ443及び444は、例えば、格子状に配置される。なお、フィルタ443及び444の配置は、格子状に限定されるものではなく、例えば、行方向又は列方向にストライプ状であってもよいし、領域を2分するように配置してもよい(例えば、図15における右半分にフィルタ443を配置し、左半分にフィルタ444を配置してもよい。)。また、各フィルタ443及び444は、撮像領域410の複数の光電変換素子111にそれぞれ対応し、複数の光電変換素子111上にそれぞれ形成されている。
平均値算出部420は、撮像領域410が出力する各画素の信号の平均値を算出する。具体的には、平均値算出部420は、フィルタ443に対応する光電変換素子111が光電変換した信号の平均値y1と、フィルタ444に対応する光電変換素子111が光電変換した信号の平均値y2とを算出する。
画像補正部430は、平均値算出部420が算出した平均値y1及びy2に基づき、撮像領域110及び120が出力する映像信号の各画素の信号を補正する。具体的には、画像補正部430は、撮像領域110が出力する映像信号の各画素の信号Y1に対して、下記(式1)で示される演算を行い補正後の各画素の信号Y11を算出する。
Y11=Y1×(y2/y1) ・・・(式1)
または、画像補正部430は、撮像領域120が出力する映像信号の各画素の信号Y2に対して、下記(式2)で示される演算を行い補正後の各画素の信号Y22を算出してもよい。
Y22=Y2×(y1/y2) ・・・(式2)
次に、固体撮像装置400の動作を説明する。
光源160から照射された近赤外光は、被写体170で反射される。被写体170で反射した反射光は、フィルタ152により第1の周波数帯域の光のみが透過し、レンズ150で集光され、フィルタ154を介して撮像領域110に照射される。また、被写体170で反射した反射光は、フィルタ153により第2の周波数帯域の光のみが透過し、レンズ151で集光され、フィルタ155を介して撮像領域120に照射される。また、被写体170で反射した反射光は、フィルタ441により第1の周波数帯域及び第2の周波数帯域を含む第3の周波数帯域の光のみが透過し、レンズ440で集光され、フィルタ442を介して撮像領域410に照射される。
撮像領域110は、第1の周波数帯域の光を光電変換し、映像信号Y1を出力する。撮像領域120は、第2の周波数帯域の光を光電変換し、映像信号Y2を出力する。撮像領域410のフィルタ443の下部に形成された光電変換素子111は、第1の周波数帯域の光を光電変換し、信号を出力する。撮像領域410のフィルタ444の下部に形成された光電変換素子111は、第2の周波数帯域の光を光電変換し、信号を出力する。
平均値算出部420は、撮像領域410が出力するフィルタ443に対応する光電変換素子111の信号の平均値y1と、フィルタ444に対応する光電変換素子111の信号の平均値y2とを算出する。
画像補正部430は、上記(式1)により、平均値算出部420が算出した平均値y1及びy2とから、撮像領域110が出力する映像信号Y1に補正を行い、補正後の映像信号Y11を出力する。なお、画像補正部430は、上記(式1)による補正を行わず、上記(式2)により、平均値算出部420が算出した平均値y1及びy2とから、撮像領域120が出力する映像信号Y2に補正を行い、補正後の映像信号Y22を出力してもよい。
信号処理部140は、補正後の映像信号Y11を左画像とし、撮像領域120が出力する映像信号Y2を右画像として、左画像と右画像との視差dを算出する。なお、信号処理部140は、撮像領域110が出力する映像信号Y1を左画像とし、補正後の映像信号Y22を右画像として、左画像と右画像との視差dを算出もよい。また、信号処理部140における視差dの算出は、実施の形態1と同様であり、説明は省略する。信号処理部140は、左画像と、右画像と、算出した視差dの情報とを外部に出力する。
以上より、本発明の実施の形態4に係る固体撮像装置400は、撮像領域410で光電変換した、第1の周波数帯域の光に対応する信号の平均値y1と、第2の周波数帯域の光に対応する信号の平均値y2とを用いて、撮像領域110及び120で撮像された映像信号に補正を行う。これにより、撮像領域110及び120に入射される光の周波数帯域の差により生じる、撮像領域110及び120が出力する映像信号の差を低減することができる。
なお、上記説明において、撮像領域410は、撮像領域110と撮像領域120との間に形成されるとしたが、撮像領域410を形成する位置はこれに限定されるものではない。例えば、図14における撮像領域110の左側、又は、図14における撮像領域120の右側に形成してもよい。また、図14における撮像領域110及び120の奥側又は手前側に形成してもよい。
また、上記説明において、撮像領域110と、撮像領域120と、撮像領域410との光電変換素子111、複数の垂直転送部112及び水平転送部113は、1チップのLSIとして形成されるとしたが、撮像領域410の光電変換素子111、垂直転送部112及び水平転送部113は、撮像領域110及び120の光電変換素子111、垂直転送部112及び水平転送部113と別のチップに形成されてもよい。図16は、撮像領域410と、撮像領域110及び120と別チップで構成した場合の撮像領域110、120及び410の断面構造を模式的に示す図である。図16に示すように、例えば、撮像領域410と、撮像領域110及び120と別チップで形成し、遮光板450を介して、1パッケージ化してもよい。また、撮像領域410と、撮像領域110及び120とを別パッケージで構成してもよい。
また、上記説明において、固体撮像装置400は、レンズ440の上部に第1の周波数帯域及び第2の周波数帯域を含む第3の周波数帯域の光を透過するフィルタ441を備えるとしたが、フィルタ441はレンズ440の下部に形成されてもよい。さらに、フィルタ441を備えなくともよい。
また、上記説明において、画像補正部430は、上記(式1)又は(式2)に示す演算を行うとしたが、上記(式1)又は(式2)に示す演算に加え、所定の定数倍及び所定の値の加算のうち少なくとも一方を行ってもよい。
また、上記説明において、平均値算出部420は、撮像領域410が出力するフィルタ443に対応する光電変換素子111の信号の平均値y1と、フィルタ444に対応する光電変換素子111の信号の平均値y2とを算出するとしたが、平均値算出部420は、撮像領域410が出力するフィルタ443に対応する光電変換素子111の信号のうち、最大及び最小の信号を除いた信号の平均値y11と、フィルタ444に対応する光電変換素子111の信号のうち、最大及び最小の信号を除いた信号の平均値y22とを算出してもよい。さらに、画像補正部430は、上記(式1)又は(式2)の平均値y1及びy2の代わりに最大及び最小の信号を除いた信号の平均値y11及びy22を用いて演算を行ってもよい。これにより、白キズ,黒キズなどの画素欠陥による精度の低下を低減することができる。
また、上記説明において、撮像領域410の構成は、撮像領域110及び120と同様であるとしたが、撮像領域410の構成は撮像領域110及び120と異なってもよい。例えば、撮像領域410が備える光電変換素子111の数は、撮像領域110及び120が備える光電変換素子111の数と異なってもよい。また、撮像領域410が備える光電変換素子111は、2次元状(行列状)に配置されず、1次元状に配置されてもよい。
(実施の形態5)
上述した実施の形態1では、CCDイメージセンサで構成される2つの撮像領域に同一の制御信号を供給する固体撮像装置100について説明したが、本発明の実施の形態5では、CMOSイメージセンサで構成される2つの撮像領域に同一の制御信号を供給する固体撮像装置について説明する。
まず、本発明の実施の形態5に係る固体撮像装置の構成を説明する。
図17は、本発明の実施の形態5に係る固体撮像装置の構成を示す図である。なお、図1と同様の要素には、同一の符号を付しており詳細な説明は省略する。
図17に示す固体撮像装置500は、被写体170の映像情報及び距離情報を出力する。固体撮像装置500は、例えば、車両に搭載された近赤外光を用いた暗視機能を有するカメラである。固体撮像装置500は、撮像領域510及び520と、制御部530と、信号処理部140と、レンズ150及び151と、光源160とを備える。
レンズ150は、被写体170からの反射光を撮像領域510に集光する。レンズ151は、被写体170からの反射光を撮像領域520に集光する。
撮像領域510及び520は、CMOSイメージセンサであり、入射光に応じた映像信号を出力する。撮像領域510及び520は、それぞれ被写体170からの反射光を電気信号に変換し、変換した電気信号を映像信号として出力する。撮像領域510及び520は、例えば、同一の半導体基板に形成された1チップの半導体集積回路である。
図18は、撮像領域510及び520の構成を示す図である。図18に示す撮像領域510は、複数の光電変換素子511と、垂直走査部512と、水平走査部513と、A/D変換部514とを備える。
複数の光電変換素子511は、半導体基板上に行列状に配置される。複数の光電変換素子511は、受光量に応じた信号電荷を蓄積する。
垂直走査部512は、複数の光電変換素子511のうち各行に対応する光電変換素子511を順次選択する。
水平走査部513は、複数の光電変換素子511のうち各列に対応する光電変換素子511を順次選択する。
垂直走査部512により行を選択され、かつ水平走査部513に列を選択された光電変換素子511に蓄積された信号電荷は、電圧又は電流に変換され、A/D変換部514に入力される。A/D変換部514は、入力された電圧又は電流をアナログ信号からデジタル信号に変換し、変換したデジタル信号を映像信号として出力する。
なお、撮像領域520の構成は、撮像領域510の構成と同様である。また、撮像領域510と、撮像領域520とは、行列状に配置された複数の光電変換素子511の行方向(水平方向)に配置される。
制御部530は、垂直走査部512の行の選択を開始させる垂直同期信号と、水平走査部513の列の選択を開始させる水平同期信号と、垂直走査部512の駆動タイミングを制御する電荷蓄積制御信号とを生成する。電荷蓄積制御信号は、複数の光電変換素子511の電荷蓄積時間(露光時間)を制御するための信号である。制御部530は、撮像領域510及び520に共通の垂直同期信号、水平同期信号及び電荷蓄積制御信号を供給する。
信号処理部140は、撮像領域510及び520が出力する映像信号から被写体の距離情報を算出し、映像信号及び距離情報を外部に出力する。
なお、撮像領域510及び520と、レンズ150及び160との断面構造は図3と同様であり、詳細な説明は省略する。
次に、本実施の形態に係る固体撮像装置500の動作を説明する。
光源160から照射された近赤外光は、被写体170で反射される。被写体170で反射した反射光は、フィルタ152により第1の周波数帯域の光のみが透過し、レンズ150で集光され、フィルタ154を介して撮像領域510に照射される。また、被写体170で反射した反射光は、フィルタ153により第2の周波数帯域の光のみが透過し、レンズ151で集光され、フィルタ155を介して撮像領域520に照射される。ここで、撮像領域110及び120上にフィルタ154及び155を備えることにより、フィルタ152を介してレンズ150で集光された光は、フィルタ155で遮断されるので撮像領域520には入射せず撮像領域510のみに入射する。また、フィルタ153を介してレンズ151で集光された光は、フィルタ154で遮断されるので撮像領域510には入射せず、撮像領域520のみに入射する。すなわち、本発明の実施の形態5に係る固体撮像装置500は、撮像領域510及び520に入射する光の干渉を防止することができる。
撮像領域510及び520の複数の光電変換素子511は、入射光量に応じた信号電荷を蓄積する。制御部530は、撮像領域510及び520の垂直走査部512の行の選択を開始させる垂直同期信号と、水平走査部513の列の選択を開始させる水平同期信号と、垂直走査部512の駆動タイミングを制御する電荷蓄積制御信号とを生成する。垂直走査部512は、制御部530からの垂直同期信号により、行列状に配置された光電変換素子511の行を順次選択する。水平走査部513は、制御部530からの水平同期信号により、行列状に配置された光電変換素子511の列を順次選択する。撮像領域510及び520のA/D変換部514は、垂直走査部512により行を選択され、かつ水平走査部513に列を選択された光電変換素子511に蓄積された信号電荷を順次デジタル信号に変換し、デジタル化した映像信号を出力する。
このように、固体撮像装置500は、撮像領域510及び520に共通の垂直同期信号及び水平同期信号を供給する。これにより、撮像領域510及び520における信号電荷の読出し処理(信号電荷の転送処理)を同期して行うことができる。よって、撮像領域510及び520が出力する映像信号の時間的なばらつきを低減し、撮像領域510及び520の撮像特性の同一性と、信号出力タイミングの高い同期性とを実現することができる。また、電荷蓄積制御信号を共通とすることで撮像領域510及び520の電荷蓄積時間を同一にすることができる。これにより、撮像領域510及び520が出力する映像信号の信号レベルが同一となり、視差の算出を高精度かつ効率よく行うことができる。
なお、信号処理部140における処理は、実施の形態1と同様であり、説明は省略する。
以上より、本発明の実施の形態5に係る固体撮像装置500は、撮像領域510及び520を1チップのLSIとして形成することで、右画像(撮像領域520が出力する映像信号)と左画像(撮像領域510が出力する映像信号)との垂直方向のズレを低減することができる。これにより、視差dの算出精度を向上させることができる。
また、本発明の実施の形態5に係る固体撮像装置500は、撮像領域510及び520に共通の電荷蓄積制御信号を供給する。これにより、撮像領域510と撮像領域520との電荷蓄積時間が等しくなり、右画像と左画像との輝度の差を低減することができる。信号処理部140による視差dの算出処理(画像の一致の判定処理)においては、画像の輝度等により一致が判定される。よって、本発明の実施の形態5に係る固体撮像装置500は、撮像領域510及び520に共通の電荷蓄積制御信号を供給することで、視差dの算出精度を向上させることができる。
また、本発明の実施の形態5に係る固体撮像装置500は、撮像領域510及び520に共通の垂直同期信号及び水平同期信号を供給することで、撮像領域510及び520の動作を同期させることができる。これにより、右画像及び左画像が同期して出力される。よって、撮像領域510及び520が出力する右画像及び左画像の時間的なばらつきを低減し、撮像領域510及び520の撮像特性の同一性と、信号出力タイミングの高い同期性とを実現することができる。これにより、視差dの算出精度を向上させることができる。また、撮像領域510及び520が出力する右画像及び左画像を用いる信号処理部140の処理を右画像及び左画像が共に出力されるのを待つことなく行うことで、信号処理部140の処理を高速かつ効率よく行うことができる。
また、上述した実施の形態1と同様に、撮像領域510及び520を1パッケージで構成する場合には、垂直同期信号、水平同期信号及び電荷蓄積制御信号を共通とすることで、パッケージの外部入力端子の数を削減することができる。
なお、上記説明において、撮像領域510及び520は、1チップのLSIであるとしたが、異なる半導体基板に形成し、同一の基板(例えば、プリント基板又はダイパッド等)上に配置してもよい。すなわち、撮像領域510及び520は、異なるチップで構成されてもよい。撮像領域510及び520を異なるチップで構成することで、撮像領域510及び520を配置する距離を容易に離すことができる。撮像領域510及び520を配置する距離が離れることで、固体撮像装置500から被写体170への距離の算出における精度を向上させることができる。一方、上述したように撮像領域510及び520を1チップで構成した場合には、撮像領域510及び520の距離を離すためには、チップ面積を増加させる必要があり、コスト増加につながる。ただし、撮像領域510及び520を異なるチップで構成した場合には、1チップで構成した場合に比べ、特性のばらつき及び基板上に配置した際の水平方向及び垂直方向のズレが増加するという欠点がある。なお、撮像領域510及び520を異なるチップで構成する場合には、同一の製造プロセスで形成された撮像領域510及び520、好ましくは同一のウェハーに形成された撮像領域510及び520を用いることで、撮像領域510及び520の特性のばらつきを低減することができる。
また、撮像領域510及び520の構成は、図18に限定されるものではない。図19は、固体撮像装置500における撮像領域510及び520の変形例の構成を示す図である。例えば、図19に示すように、撮像領域510及び520は、行列状に配置された光電変換素子511の各列の信号電荷をデジタル信号に変換するA/D変換部515と、A/D変換部515により変換されたデジタル信号を映像信号として外部に出力する出力部516とを備えてもよい。各列の信号電荷をデジタル信号に変換するA/D変換部515を備えることにより、高速にA/D変換を行うことができる。
(実施の形態6)
上述した実施の形態2では、CCDイメージセンサで構成される2つの撮像領域が撮像した画像の垂直方向のズレを補正する機能を有する固体撮像装置200について説明したが、本発明の実施の形態6では、CMOSイメージセンサで構成される2つの撮像領域が撮像した画像の垂直方向のズレを補正する機能を有する固体撮像装置について説明する。
図20は、本発明の実施の形態6に係る固体撮像装置の構成を示す図である。なお、図10又は図17と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図20に示す固体撮像装置600は、図17に示す固体撮像装置500に対して、制御部630の構成と、調整値算出部210及び調整値保持部220を備える点とが異なる。また、調整値算出部210及び調整値保持部220は、図10に示す調整値算出部210及び調整値保持部220と同様である。
調整値算出部210は、撮像領域510及び520が出力する映像信号から、撮像領域510及び520が出力する映像信号の垂直方向のズレを算出する。
調整値保持部220は、調整値算出部210が算出した調整値221を保持する。
制御部630は、撮像領域510及び520に共通の垂直同期信号、水平同期信号及び電荷蓄積制御信号を供給する。また、制御部630は、調整値保持部220が保持する調整値221に応じた行から、撮像領域510の垂直走査部512の行選択を開始させる行制御信号631と、撮像領域520の垂直走査部512の行選択を開始させる行制御信号632とを生成する。
図21は、図7(b)に示すように左画像171b及び右画像172bが垂直方向にずれている場合の、撮像領域510及び520の垂直走査部512による光電変換素子511に蓄積された信号電荷を排出するタイミングと、行選択のタイミングとを示す図である。なお、図7(b)において、撮像領域510が出力する左画像171bが、撮像領域520が出力する右画像172bより上側に10画素分ずれているとする。
図21に示すように、撮像領域510及び520の垂直走査部512は、制御部530から供給される共通の電荷蓄積制御信号により、各行の光電変換素子511が保持する信号電荷が排出されてから当該行が選択されるまでの時間である電荷蓄積時間T3が同一となるように複数の光電変換素子511を制御する。また、撮像領域510及び520の垂直走査部512は、制御部530から供給される共通の垂直同期信号により、同一の周期T4で、各行を選択する。
図7(b)に示すように、左画像171bが、撮像領域520が出力する右画像172bより上側に10画素分ずれている場合、制御部630は、撮像領域510の垂直走査部512に、補正を行わない場合に最初に選択される行であるy行(例えば、行列状に配置された光電変換素子511の一番上の行)から行選択を開始させる行制御信号631を供給し、撮像領域520の垂直走査部512に、y+10行(例えば、行列状に配置された光電変換素子511の上から11番目の行)から行選択を開始させる行制御信号632を供給する。これにより、撮像領域510の垂直走査部512は、y行から選択を開始し、周期T4毎に1インクリメントした行を選択する。撮像領域520の垂直走査部512は、y+10行から選択を開始し、周期T4毎に1インクリメントした行を選択する。
以上のように、本発明の実施の形態6に係る固体撮像装置600は、撮像領域510及び520のうち一方の撮像領域において、撮像領域510で撮像される左画像と、撮像領域520で撮像される右画像のズレに相当する行数分のインクリメントした行から行選択を開始する。これにより、撮像領域510及び520は、垂直方向のズレを補正した映像信号を出力することができる。よって、本発明の実施の形態6に係る固体撮像装置600は、例えば、レンズ等の配置のズレにより撮像領域510及び520が出力する映像信号にズレが生じた場合でも、映像信号のズレを補正し、エピポーラ性の高い映像信号を出力することができる。これにより、精度の高い視差の情報を算出することができる。
(実施の形態7)
上述した実施の形態3では、CCDイメージセンサで構成される2つの撮像領域における電荷蓄積時間を変更する固体撮像装置300について説明したが、本発明の実施の形態7では、CMOSイメージセンサで構成される2つの撮像領域における電荷蓄積時間を変更する固体撮像装置について説明する。
まず、本発明の実施の形態7に係る固体撮像装置の構成を説明する。
図22は、本発明の実施の形態7に係る固体撮像装置の構成を示す図である。なお、図12又は図17と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図22に示す固体撮像装置700は、図17に示す実施の形態5に係る固体撮像装置500に対して制御部730の構成と、画像合成部340を備える点とが異なる。なお、画像合成部340は、図12に示す画像合成部340と同様である。
制御部730は、撮像領域510及び520に共通の垂直同期信号及び水平同期信号を供給する。また、制御部730は、撮像領域510及び520に個別の電荷蓄積制御信号731及び732を出力する。
画像合成部340は、撮像領域510及び520が出力する映像信号を合成し、合成した映像信号を外部に出力する。
次に、本発明の実施の形態7に係る固体撮像装置700の動作を説明する。
例えば、制御部730は、撮像領域510の電荷蓄積時間が撮像領域520の電荷蓄積時間より長くなるように、撮像領域510に電荷蓄積制御信号731を供給し、撮像領域520に電荷蓄積制御信号732を供給する。
図23は、撮像領域510及び520の垂直走査部512による光電変換素子511に蓄積された信号電荷を排出するタイミングと、行選択のタイミングとを示す図である。図23に示すように、電荷蓄積制御信号731により、例えば、撮像領域510において、行選択の6周期に相当する電荷蓄積時間T5が設定される。また、電荷蓄積制御信号732により、例えば、撮像領域520において、行選択の3周期に相当する電荷蓄積時間T6が設定される。電荷蓄積時間が長い撮像領域510は、輝度の低い像を高感度で撮像することができる。すなわち、暗い場所での良好な撮像を行うことができる。また、電荷蓄積時間が長い撮像領域510は、輝度が高い像に対しては白とびが発生してしまう。一方、電荷蓄積時間が短い撮像領域520は、輝度の高い像を高感度で撮像することができる。すなわち、明るい場所での良好な撮像を行うことができる。また、電荷蓄積時間が短い撮像領域520は、輝度が低い像に対しては黒つぶれが発生してしまう。
画像合成部340は、撮像領域510及び撮像領域520が出力する映像信号を合成し、合成した映像信号を出力する。すなわち、画像合成部340は、高感度で撮像できる帯域が異なる映像信号の、高感度な帯域をそれぞれ抽出し合成することで、ダイナミックレンジの広い映像信号を生成することができる。
以上より、本発明の実施の形態7に係る固体撮像装置700は、撮像領域510及び520に異なる電荷蓄積制御信号を供給することで、ダイナミックレンジの広い映像信号を出力することができる。
なお、撮像領域510及び520に共通の電荷蓄積制御信号を出力する状態と、個別の電荷蓄積制御信号731及び732を出力する状態とを有してもよい。例えば、制御部730は、外部からの操作(コマンド等の入力)に応じて、撮像領域510及び520に共通の電荷蓄積制御信号を供給する状態と、個別の電荷蓄積制御信号731及び732を供給する状態とを切り替えてもよい。
また、上記説明において、固体撮像装置700は、画像合成部340を備えるとしたが、画像合成部340を備えず、撮像領域510及び撮像領域520が出力する2つの映像信号を外部に出力し、外部の装置が、出力された2つ映像信号を合成し、ダイナミックレンジの広い映像信号を生成してもよい。
また、上記実施の形態6及び7で説明したCMOSイメージセンサの電子シャッタ方式は、各画素(上記実施の形態の説明では行)毎に、光電変換素子に蓄積された信号電荷を不要電荷として排出し、所望の電荷蓄積時間後に映像信号として読み出す方式である。一方、グローバルシャッタ方式と呼ばれる全画素同時性を実現する電子シャッタ方式を備えるCMOSイメージセンサも知られている。グローバルシャッタ方式のCMOSイメージセンサは、各光電変換素子に対応した信号蓄積部を備え、全画素共通の電荷排出パルスによって光電変換素子に蓄積された信号電荷を一斉に読み出し又は排出する。グローバルシャッタ方式のCMOSイメージセンサは、全画素共通の信号電荷読み出しパルスによって各画素に対応した信号蓄積部に信号電荷を蓄積し、垂直走査部と水平走査部によって順次信号出力する。全画素共通の電荷排出パルスは、CCDイメージセンサにおける信号電荷基板排出パルス331及び332に相当し、全画素共通の信号電荷読み出しパルスは、CCDイメージセンサにおける読み出しパルス240に相当するパルスである。グローバルシャッタ方式のCMOSイメージセンサにおける上記実施の形態6に示した撮像領域510及び撮像領域520の電荷蓄積時間を同じにするにはCCDイメージセンサと同じく撮像領域510及び撮像領域520に共通の電荷排出パルスと信号電荷読み出しパルスとを供給すればよい。また、上記実施の形態7に示した撮像領域510及び撮像領域520について異なる電荷蓄積時間を実現するには、撮像領域510及び撮像領域520に個別の電荷排出パルスを供給すればよい。すなわち、特に図示しないが本発明の目的とする効果は、グローバルシャッタ方式のCMOSイメージセンサにも適用することができる。
また、上述した実施の形態4に係る固体撮像装置400の撮像領域110及び120の代わりに、CMOSイメージセンサで構成される撮像領域510及び520を用いてもよい。これにより、実施の形態4に係る固体撮像装置400と同様の効果を得ることができる。
また、上記実施の形態1〜7における説明では、本発明を車両に搭載された近赤外光を用いた暗視機能を有するカメラに適用した実施例について説明したが、車両に搭載された近赤外光を用いた暗視機能を有するカメラ以外にも、撮像被写体までの距離情報を出力するカメラとして適用することができる。例えば、本発明に係る固体撮像装置は、監視装置に用いられるカメラ及びTV電話のカメラ等に適用することができる。
また、上記実施の形態1〜7における説明では、固体撮像装置は、近赤外光を照射する光源160を備えるとしたが、光源160は、近赤外光以外の光を照射してもよい。例えば、光源160は、可視光を照射してもよい。この場合、上述した第1の周波数帯域及び第2の周波数帯域は、可視光内の、互いに重複しない異なる周波数帯域であればよい。さらに、暗視機能を必要としない場合には、固体撮像装置は、光源160を備えなくともよい。
本発明は、固体撮像装置に適用でき、特に、車載用のカメラ、監視カメラ及びTV電話のカメラ等に適用できる。
本発明の実施の形態1に係る固体撮像装置の構成を示す図である。 本発明の実施の形態1に係る固体撮像装置の撮像領域の構成を示す図である。 本発明の実施の形態1に係る固体撮像装置の撮像領域の断面構造を模式的に示す図である。 本発明の実施の形態1に係る固体撮像装置のフィルタの断面構造を模して気的に示す図である。 本発明の実施の形態1に係る固体撮像装置のフィルタの光の波長に対する光の透過率を示す図である。 本発明の実施の形態1に係る固体撮像装置のフィルタの光の波長に対する光の透過率を示す図である。 本発明の実施の形態1に係る固体撮像装置の撮像領域が出力する映像信号の一例を示す図である。 本発明の実施の形態1に係る固体撮像装置の信号処理部の処理を説明するための図である。 1パッケージで構成した撮像領域の構成を模式的に示す図である。 本発明の実施の形態2に係る固体撮像装置の構成を示す図である。 本発明の実施の形態2に係る固体撮像装置の制御部が出力する垂直転送パルスの一例を示す図である。 本発明の実施の形態3に係る固体撮像装置の構成を示す図である。 本発明の実施の形態4に係る固体撮像装置の構成を示す図である。 本発明の実施の形態4に係る固体撮像装置の撮像領域の断面構造を模式的に示す図である。 本発明の実施の形態4に係る固体撮像装置のフィルタ442の構成を示す図である。 本発明の実施の形態4に係る固体撮像装置の変形例における撮像領域の断面構造を模式的に示す図である。 本発明の実施の形態5に係る固体撮像装置の構成を示す図である。 本発明の実施の形態5に係る固体撮像装置の撮像領域の構成を示す図である。 本発明の実施の形態5に係る固体撮像装置の撮像領域の変形例の構成を示す図である。 本発明の実施の形態6に係る固体撮像装置の構成を示す図である。 本発明の実施の形態6に係る固体撮像装置の信号電荷を排出するタイミングと、行選択のタイミングとを示す図である。 本発明の実施の形態7に係る固体撮像装置の構成を示す図である。 本発明の実施の形態7に係る固体撮像装置の信号電荷を排出するタイミングと、行選択のタイミングとを示す図である。 従来の固体撮像装置の構成を示す図である。
符号の説明
100、200、300、400、500、600、700、1000 固体撮像装置
110、120、410、510、520 撮像領域
111、511 光電変換素子
112 垂直転送部
113 水平転送部
114 電荷検出部
115、514、515 A/D変換部
130、230、330、530、630、730 制御部
140 信号処理部
150、151、440 レンズ
152、153、154、155、441、442、443、444 フィルタ
160 光源
161、166 上部反射層
162、167 スペーサ層
163、168 下部反射層
164 TiO2
165 SiO2
171a、171b 左画像
172a、172b 右画像
170 被写体
180 外部入力端子
210 調整値算出部
220 調整値保持部
221 調整値
231、232、241 垂直転送パルス
240 読み出しパルス
331、332 信号電荷基板排出パルス
340 画像合成部
420 平均値算出部
430 画像補正部
450 遮光板
512 垂直走査部
513 水平走査部
516 出力部
631、632 行制御信号
731、732 電荷蓄積制御信号
1001、1002 カメラ

Claims (22)

  1. 行列状に配置された複数の光電変換素子を備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、
    前記第1撮像部へ光を入射する第1光入射部と、
    前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部と、
    行方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第1制御信号と、列方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第2制御信号と、露光時間を制御するための第3制御信号とを、前記第1撮像部及び前記第2撮像部に共通に出力する駆動手段とを備える
    ことを特徴とする固体撮像装置。
  2. 前記第1撮像部及び前記第2撮像部は、さらに、
    列方向に並ぶ複数の前記光電変換素子に蓄積された信号電荷を読み出し、列方向に転送する複数の垂直転送手段と、
    前記複数の垂直転送手段が転送した信号電荷を行方向に転送する水平転送手段と、
    前記水平転送手段が転送した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記映像信号として出力する出力手段とを備え、
    前記第1制御信号は、前記水平転送手段の転送を駆動する水平転送パルスであり、
    前記第2制御信号は、前記複数の垂直転送手段の転送を駆動する垂直転送パルスであり、
    前記第3制御信号は、前記光電変換素子に蓄積された信号電荷を排出させる信号電荷排出パルスである
    ことを特徴とする請求項1記載の固体撮像装置。
  3. 前記第1撮像部及び前記第2撮像部は、さらに、
    前記行列状に配置された複数の光電変換素子の行を順次選択する行選択手段と、
    前記行列状に配置された複数の光電変換素子の列を順次選択する列選択手段と、
    前記行選択手段に行を選択され、かつ前記列選択手段に列を選択された光電変換素子に蓄積された信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記映像信号として出力する出力手段とを備え、
    前記第1制御信号は、前記行選択手段の行の選択を開始させる垂直同期信号であり、
    前記第2制御信号は、前記列選択手段の列の選択を開始させる水平同期信号であり、
    前記第3制御信号は、前記第1制御信号の駆動タイミングを制御する電荷蓄積制御信号である
    ことを特徴とする請求項1記載の固体撮像装置。
  4. 行列状に配置された複数の光電変換素子と
    列方向に並ぶ複数の前記光電変換素子に蓄積された信号電荷を読み出し、列方向に転送する複数の垂直転送手段と、
    前記複数の垂直転送手段が転送した信号電荷を行方向に転送する水平転送手段と、
    前記水平転送手段が転送した信号電荷を電圧又は電流に変換し、変換した電圧又は電流を前記映像信号として出力する出力手段とを備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、
    前記第1撮像部へ光を入射する第1光入射部と、
    前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部と、
    前記水平転送手段の転送を駆動する水平転送パルスと、前記光電変換素子に蓄積された信号電荷を排出させる信号電荷排出パルスとを前記第1撮像部及び前記第2撮像部に共通に出力し、前記複数の垂直転送手段の転送を駆動する第1垂直転送パルスを前記第1撮像部及び第2撮像部に個別に出力する駆動手段を備える
    ことを特徴とする固体撮像装置。
  5. 前記第1撮像部と、前記第2撮像部とは、水平方向に配置され、
    前記固体撮像装置は、さらに、
    前記第1撮像部が出力する映像信号の画像に対する、前記第2撮像部が出力する映像信号の画像の垂直方向の画素のズレを示す値であるズレ値を保持するズレ値保持手段を備え、
    前記駆動手段は、前記第1撮像領域及び前記第2撮像領域に、前記光電変換素子に蓄積された信号電荷を前記垂直転送手段に読み出す読み出しパルスを印加し、その後、前記第1撮像部及び前記第2撮像部のうち、同一の被写体に対する映像信号の出力タイミングが遅い方に、前記ズレ値に応じた回数の垂直転送パルスを印加し、その後、前記第1撮像領域及び前記第2撮像領域に同一の垂直転送パルスを印加する
    ことを特徴とする請求項4記載の固体撮像装置。
  6. 前記第1撮像部と、前記第2撮像部とは、水平方向に配置され、
    前記固体撮像装置は、さらに、
    前記第1撮像部が出力する映像信号の画像に対する、前記第2撮像部が出力する映像信号の画像の垂直方向の画素のズレを示す値であるズレ値を保持するズレ値保持手段と、
    前記ズレ値保持手段が保持する前記ズレ値に応じた行から、前記行選択手段の行選択を開始させる行制御信号を生成する行制御手段とを備える
    ことを特徴とする請求項3記載の固体撮像装置。
  7. 前記固体撮像装置は、さらに、
    前記第1撮像部及び前記第2撮像部が出力する映像信号から、前記ズレ値を算出するズレ値算出手段を備え、
    前記ズレ値保持手段は、前記ズレ値算出手段が算出した前記ズレ値を保持する
    ことを特徴とする請求項5又は6記載の固体撮像装置。
  8. 行列状に配置された複数の光電変換素子を備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、
    前記第1撮像部へ光を入射する第1光入射部と、
    前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部と、
    行方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第1制御信号と、列方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第2制御信号とを、前記第1撮像部及び前記第2撮像部に共通に出力し、露光時間を制御するための第3制御信号を前記第1撮像部及び第2撮像部に個別に出力する駆動手段を備える
    ことを特徴とする固体撮像装置。
  9. 前記第1光入射部は、
    第1の周波数帯域の光を前記第1撮像部に集光する第1集光手段と、
    前記第1撮像部上に形成され、前記第1の周波数帯域に含まれる第3の周波数帯域の光を透過する第1のフィルタとを備え、
    前記第2光入射部は、
    前記第1の周波数帯域と異なる第2の周波数帯域の光を前記第2撮像部に集光する第2集光手段と、
    前記第2撮像部上に形成され、前記第2の周波数帯域に含まれる第4の周波数帯域の光を透過する第2のフィルタとを備える
    ことを特徴とする請求項1〜8のいずれか1項に記載の固体撮像装置。
  10. 前記固体撮像装置は、さらに、
    複数の光電変換素子を備える第3撮像部と、
    前記第3撮像部へ光を入射する第3光入射部とを備え、
    前記第3光入射部は、
    前記第1の周波数帯域及び前記第2の周波数帯域を含む第5の周波数帯域の光を前記第3撮像部に集光する第3集光手段と、
    前記第3撮像部上に形成される第3のフィルタを備え、
    前記第3のフィルタは、
    前記第3撮像部が備える前記複数の光電変換素子に含まれる複数の第1の光電変換素子上に形成され、前記第3の周波数帯域の光を透過する第4のフィルタと、
    前記第3撮像部が備える前記複数の光電変換素子に含まれる複数の第2の光電変換素子上に形成され、前記第4の周波数帯域の光を透過する第5のフィルタとを含む
    ことを特徴とする請求項9記載の固体撮像装置。
  11. 前記固体撮像装置は、さらに、
    前記複数の第1の光電変換素子が光電変換した信号の平均値である第1平均値と、前記複数の第2の光電変換素子が光電変換した信号の平均値である第2平均値とを算出する平均値算出手段と、
    前記平均値算出手段が算出した前記第1平均値及び第2平均値の比に基づき、前記第1撮像部及び前記第2撮像部が出力する映像信号を補正する補正手段とを備える
    ことを特徴とする請求項10記載の固体撮像装置。
  12. 前記第1のフィルタ、前記第2のフィルタ、前記第4のフィルタ及び前記第5のフィルタのうち1以上は、
    異なる誘電体で構成される複数の層を積層した第1誘電体層及び第2誘電体層と、
    前記第1誘電体層と前記第2誘電体層との間に形成される絶縁体で構成される絶縁体層とを備え、
    前記絶縁体層の光学膜厚は、前記第1誘電体層及び前記第2誘電体層の光学膜厚と異なる
    ことを特徴とする請求項10記載の固体撮像装置。
  13. 前記固体撮像装置は、さらに、
    前記第1周波数帯域及び前記第2周波数帯域を含む周波数帯域の光を被写体に照射する光源を備える
    ことを特徴とする請求項9〜12のいずれか1項に記載の固体撮像装置。
  14. 前記第1周波数帯域及び前記第2周波数帯域は、近赤外領域に含まれる
    ことを特徴とする請求項9〜13のいずれか1項に記載の固体撮像装置。
  15. 前記固体撮像装置は、さらに、
    被写体までの距離を、前記第1撮像部及び第2撮像部が出力する前記映像信号から算出する距離算出手段を備える
    ことを特徴とする請求項1〜14のいずれか1項に記載の固体撮像装置。
  16. 前記第1撮像部及び前記第2撮像部は、複数の外部入力端子を備える1つのパッケージで形成され、
    前記第1撮像部及び前記第2撮像部の第1制御信号、第2制御信号、及び第3制御信号が入力される入力パッドのうち少なくとも1つは共通の前記外部入力端子と接続される
    ことを特徴とする請求項1〜15のいずれか1項に記載の固体撮像装置。
  17. 前記第1撮像部及び前記第2撮像部は、異なる半導体基板に形成され、同一の基板上に配置される
    ことを特徴とする請求項1〜16のいずれか1項に記載の固体撮像装置。
  18. 前記第1撮像部及び前記第2撮像部は、同一の半導体基板に形成される
    ことを特徴とする請求項1〜15のいずれか1項に記載の固体撮像装置。
  19. 請求項1〜18のいずれか1項に記載の固体撮像装置を備える
    ことを特徴とするカメラ。
  20. 請求項19記載のカメラを備える
    ことを特徴とする車両。
  21. 請求項19記載のカメラを備える
    ことを特徴とする監視装置。
  22. 行列状に配置された複数の光電変換素子を備え、入射光に応じた映像信号を出力する第1撮像部及び第2撮像部と、
    前記第1撮像部へ光を入射する第1光入射部と、
    前記第1光入射部と離間して設けられ、前記第2撮像部へ光を入射する第2光入射部とを備える固体撮像装置の駆動方法であって、
    行方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第1制御信号と、列方向に並ぶ前記光電変換素子から得られる信号の転送を制御するための第2制御信号と、露光時間を制御するための第3制御信号とを、前記第1撮像部及び前記第2撮像部に共通に供給する
    ことを特徴とする固体撮像装置の駆動方法。
JP2006340411A 2006-12-18 2006-12-18 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法 Pending JP2008153997A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006340411A JP2008153997A (ja) 2006-12-18 2006-12-18 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法
EP07116550A EP1937001A1 (en) 2006-12-18 2007-09-17 Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid state imaging device
EP08171558A EP2037691A2 (en) 2006-12-18 2007-09-17 Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid state imaging device
US11/876,959 US20080143829A1 (en) 2006-12-18 2007-10-23 Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid state imaging device
CNA2007101694880A CN101207720A (zh) 2006-12-18 2007-11-16 固体摄像器件及其驱动方法、摄像机、车辆、监视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006340411A JP2008153997A (ja) 2006-12-18 2006-12-18 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法

Publications (1)

Publication Number Publication Date
JP2008153997A true JP2008153997A (ja) 2008-07-03

Family

ID=39052707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006340411A Pending JP2008153997A (ja) 2006-12-18 2006-12-18 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法

Country Status (4)

Country Link
US (1) US20080143829A1 (ja)
EP (2) EP2037691A2 (ja)
JP (1) JP2008153997A (ja)
CN (1) CN101207720A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011078244A1 (ja) * 2009-12-24 2011-06-30 シャープ株式会社 多眼撮像装置および多眼撮像方法
WO2011151867A1 (ja) * 2010-05-31 2011-12-08 パナソニック株式会社 撮像装置、撮像方法およびプログラム
JP2017103752A (ja) * 2015-11-25 2017-06-08 キヤノン株式会社 イメージセンサおよび撮像装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5074106B2 (ja) * 2007-06-08 2012-11-14 パナソニック株式会社 固体撮像素子及びカメラ
JP2009021379A (ja) 2007-07-11 2009-01-29 Panasonic Corp 固体撮像装置およびそれを備えたカメラ、固体撮像装置の製造方法
JP2009177749A (ja) * 2008-01-28 2009-08-06 Panasonic Corp 固体撮像装置
JP2009284015A (ja) * 2008-05-19 2009-12-03 Panasonic Corp 固体撮像装置および固体撮像装置の駆動方法
CN101598844B (zh) * 2008-06-05 2011-11-30 鸿富锦精密工业(深圳)有限公司 相机模组
DE102008035150A1 (de) * 2008-07-28 2010-02-04 Hella Kgaa Hueck & Co. Stereokamerasystem
DE102008047413A1 (de) * 2008-09-16 2010-04-15 Hella Kgaa Hueck & Co. Vorrichtung und Verfahren zur Detektion von Objekten
WO2011159401A1 (en) * 2010-05-03 2011-12-22 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
JP5283667B2 (ja) * 2010-07-07 2013-09-04 パナソニック株式会社 画像処理装置、画像処理方法およびプログラム
US20120056988A1 (en) * 2010-09-07 2012-03-08 David Stanhill 3-d camera
JP2012204859A (ja) * 2011-03-23 2012-10-22 Toshiba Corp 画像処理装置及びカメラモジュール
US9143749B2 (en) * 2011-10-11 2015-09-22 Sony Corporation Light sensitive, low height, and high dynamic range camera
US9609190B2 (en) * 2012-10-31 2017-03-28 Invisage Technologies, Inc. Devices, methods, and systems for expanded-field-of-view image and video capture
CN104092980A (zh) * 2014-06-30 2014-10-08 华南理工大学 一种低成本主动式近红外夜视系统及其工作方法
TWI549500B (zh) * 2014-09-12 2016-09-11 聚晶半導體股份有限公司 影像擷取方法及使用此方法之影像擷取裝置
KR20170035237A (ko) * 2015-09-22 2017-03-30 엘지전자 주식회사 이동 단말기 및 그 제어방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63238842A (ja) * 1987-03-25 1988-10-04 オリンパス光学工業株式会社 複眼式電子内視鏡
JPH0974572A (ja) * 1995-09-06 1997-03-18 Matsushita Electric Ind Co Ltd ステレオカメラ装置
JPH11252585A (ja) * 1998-03-05 1999-09-17 Nippon Hoso Kyokai <Nhk> 視差量推定装置
JP2000350101A (ja) * 1999-03-31 2000-12-15 Toshiba Corp 固体撮像装置及び画像情報取得装置
JP2001078213A (ja) * 1999-06-30 2001-03-23 Canon Inc 撮像装置
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2003052058A (ja) * 2001-08-06 2003-02-21 Nippon Hoso Kyokai <Nhk> 立体画像撮像装置
JP2005045777A (ja) * 2003-07-08 2005-02-17 Pentax Corp 電子双眼鏡
JP2005223605A (ja) * 2004-02-05 2005-08-18 Sumitomo Electric Ind Ltd 画像処理方法、画像処理システムおよび画像処理装置
WO2006100903A1 (ja) * 2005-03-23 2006-09-28 Matsushita Electric Industrial Co., Ltd. 車載撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US5428386A (en) * 1992-08-24 1995-06-27 Envision Medical Corporation Remote 3D video camera system
JPH06296252A (ja) * 1993-04-08 1994-10-21 Hitachi Ltd ビデオカメラ装置
JPH09246514A (ja) * 1996-03-12 1997-09-19 Sharp Corp 増幅型固体撮像装置
US6049171A (en) * 1998-09-18 2000-04-11 Gentex Corporation Continuously variable headlamp control
JP3830689B2 (ja) * 1999-05-25 2006-10-04 三菱電機株式会社 ステレオカメラ
US6952228B2 (en) * 2000-10-13 2005-10-04 Canon Kabushiki Kaisha Image pickup apparatus
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
JP2003018458A (ja) * 2001-04-23 2003-01-17 Hitachi Ltd Cmos型固体撮像素子を用いた撮像システム
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP3530845B2 (ja) * 2002-02-07 2004-05-24 キヤノン株式会社 撮像装置、カメラ及び情報処理装置
US7209161B2 (en) * 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
JP3963449B2 (ja) * 2002-10-31 2007-08-22 キヤノン株式会社 撮像装置
JP2004266709A (ja) * 2003-03-04 2004-09-24 Victor Co Of Japan Ltd 撮像装置
JP4276879B2 (ja) * 2003-04-28 2009-06-10 オリンパス株式会社 撮像素子
JP2006340411A (ja) 2005-05-31 2006-12-14 Kawamura Electric Inc 分電盤
WO2007094092A1 (ja) * 2006-02-15 2007-08-23 Matsushita Electric Industrial Co., Ltd. 固体撮像装置及びカメラ

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63238842A (ja) * 1987-03-25 1988-10-04 オリンパス光学工業株式会社 複眼式電子内視鏡
JPH0974572A (ja) * 1995-09-06 1997-03-18 Matsushita Electric Ind Co Ltd ステレオカメラ装置
JPH11252585A (ja) * 1998-03-05 1999-09-17 Nippon Hoso Kyokai <Nhk> 視差量推定装置
JP2000350101A (ja) * 1999-03-31 2000-12-15 Toshiba Corp 固体撮像装置及び画像情報取得装置
JP2001078213A (ja) * 1999-06-30 2001-03-23 Canon Inc 撮像装置
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2003052058A (ja) * 2001-08-06 2003-02-21 Nippon Hoso Kyokai <Nhk> 立体画像撮像装置
JP2005045777A (ja) * 2003-07-08 2005-02-17 Pentax Corp 電子双眼鏡
JP2005223605A (ja) * 2004-02-05 2005-08-18 Sumitomo Electric Ind Ltd 画像処理方法、画像処理システムおよび画像処理装置
WO2006100903A1 (ja) * 2005-03-23 2006-09-28 Matsushita Electric Industrial Co., Ltd. 車載撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011078244A1 (ja) * 2009-12-24 2011-06-30 シャープ株式会社 多眼撮像装置および多眼撮像方法
JP2011151798A (ja) * 2009-12-24 2011-08-04 Sharp Corp 多眼撮像装置および多眼撮像方法
US8885067B2 (en) 2009-12-24 2014-11-11 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
WO2011151867A1 (ja) * 2010-05-31 2011-12-08 パナソニック株式会社 撮像装置、撮像方法およびプログラム
JP2011254170A (ja) * 2010-05-31 2011-12-15 Panasonic Corp 撮像装置および撮像方法
JP2017103752A (ja) * 2015-11-25 2017-06-08 キヤノン株式会社 イメージセンサおよび撮像装置

Also Published As

Publication number Publication date
US20080143829A1 (en) 2008-06-19
CN101207720A (zh) 2008-06-25
EP1937001A1 (en) 2008-06-25
EP2037691A2 (en) 2009-03-18

Similar Documents

Publication Publication Date Title
JP2008153997A (ja) 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法
JP2008164367A (ja) 固体撮像装置、カメラ、車両及び監視装置
US9781288B2 (en) Photoelectric conversion element, image reading device, and image forming apparatus
JP5979500B2 (ja) 立体撮像装置
JP6885344B2 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
TWI398948B (zh) 熔成式多陣列彩色影像感測器、成像系統及擷取一影像的方法
IL276581A (en) Dual imaging system that includes auto-ficus and methods for operating it
JP6440844B2 (ja) 固体撮像装置
CN107197178B (zh) 摄像元件及摄像装置
WO2017169479A1 (ja) 撮像素子、及び、撮像装置
US20130155271A1 (en) Image capture apparatus
JP4728211B2 (ja) 固体撮像装置、カメラ、車両及び監視装置
US20210021779A1 (en) Image sensing device, camera, and transportation equipment
JP2008177903A (ja) 撮像装置
JP2021180435A (ja) 撮像装置および撮像システム
WO2010100896A1 (ja) 撮像装置および両面照射型固体撮像素子
CN109076178B (zh) 固态图像拾取元件和电子设备
WO2018062558A1 (ja) 撮像素子、焦点検出装置、及び、電子カメラ
JP2008176114A (ja) 焦点検出装置および撮像装置
JPWO2016031922A1 (ja) マルチスペクトルカメラ
WO2018062559A1 (ja) 撮像素子、焦点検出装置、及び、電子カメラ
WO2023021774A1 (ja) 撮像装置及び撮像装置を備える電子機器
JP2022065489A (ja) 撮像装置及び撮像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120306