JP2018107747A - 撮像装置、故障検知方法、撮像システム、及び移動体 - Google Patents
撮像装置、故障検知方法、撮像システム、及び移動体 Download PDFInfo
- Publication number
- JP2018107747A JP2018107747A JP2016255019A JP2016255019A JP2018107747A JP 2018107747 A JP2018107747 A JP 2018107747A JP 2016255019 A JP2016255019 A JP 2016255019A JP 2016255019 A JP2016255019 A JP 2016255019A JP 2018107747 A JP2018107747 A JP 2018107747A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- failure
- imaging
- control line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】開放故障を含む多種類の故障モードを、撮像を行いながら検知することが可能な撮像装置、故障検知方法、撮像システム、及び移動体を提供する。【解決手段】所定の固定電圧を供給する電圧供給部と、光電変換部に生じた信号電荷に基づく第1信号を出力する第1画素と、固定電圧に基づく故障検知用の第2信号を出力する第2画素と、第1画素及び第2画素を、画素制御線を介して駆動する駆動回路と、を備え、第2画素は、駆動回路に対し、画素制御線を共有する第1画素を挟んだ反対側に配置されている。【選択図】図1
Description
本発明は、故障検知用の画素を備えた撮像装置、その故障検知方法、撮像システム、及び移動体に関する。
近年、微細化技術の進歩により、小型で高精細な撮像装置が開発されている。このような小型で高精細な撮像装置は、従来の一般的なデジタルカメラ等向けの用途だけではなく、映像を利用することで大きな効果が得られる分野、特に自動車への車載用途が進んでいる。しかし車載用途は使用環境が厳しく、機能安全対応として、故障検知機能を備えた撮像システムが求められている。それに伴い、デジタルカメラ等の撮像装置にも故障検知用の仕組みを組み込むことが必要とされている。
例えば特許文献1には、故障検知機能を備えた撮像装置として、画素に故障検知用の信号を生成する手段を、光電変換部と共に設けた構成が開示されている。このような構成によれば、画素から出力される故障検知用の信号のレベルを予想される値と比較することで、比較結果が予想範囲から外れている場合に、撮像装置が故障していると判定することができる。
特許文献1に記載の撮像装置では、撮像信号を出力する光電変換部と、故障検知用信号を生成する手段とが同一画素内に存在するため、撮像動作を行いながら故障を検知することが難しかった。そこで本発明は、撮像を行いながら故障を検知することが可能な撮像装置、故障検知方法、撮像システム、及び移動体を提供することを目的とする。また、検知が難しい断線等の開放故障を含む多種類の故障モードを検知可能な構成を実現することを目的とする。
本発明に係る撮像装置は、所定の固定電圧を供給する電圧供給部と、光電変換部に生じた信号電荷に基づく第1信号を出力する第1画素と、固定電圧に基づく故障検知用の第2信号を出力する第2画素と、第1画素及び第2画素を、画素制御線を介して駆動する駆動回路と、を備え、第2画素は、駆動回路に対し、画素制御線を共有する第1画素を挟んだ反対側に配置されていることを特徴とする。
本発明によれば、開放故障を含む多種類の故障モードを、撮像を行いながら検知することが可能な撮像装置、故障検知方法、撮像システム、及び移動体を提供することができる。
以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。
[第1実施形態]
はじめに、本実施形態による撮像装置100の構造について、図1及び図2を用いて説明する。図1は、第1実施形態による撮像装置100の概略構成を示すブロック図である。本実施形態による撮像装置100は、図1に示すように、第1領域10、第2領域11、垂直走査回路102、列回路103、水平走査回路104、出力回路115、制御部107、電圧供給部12、駆動回路13を含む。
はじめに、本実施形態による撮像装置100の構造について、図1及び図2を用いて説明する。図1は、第1実施形態による撮像装置100の概略構成を示すブロック図である。本実施形態による撮像装置100は、図1に示すように、第1領域10、第2領域11、垂直走査回路102、列回路103、水平走査回路104、出力回路115、制御部107、電圧供給部12、駆動回路13を含む。
第1領域10は、画像取得用の画素が配された画像取得用の画素領域である。第1領域10には、画素105と画素106とが、複数の行及び複数の列に渡って配されている。画素105は、撮像信号を出力するための光電変換部を備えた画素であり、図1には白抜きのブロックで示している。画素106は、黒レベルの基準となる基準信号を出力するための、遮光された光電変換部を備えた画素であり、図1には斜線を付したブロックで示している。画素106は、典型的には第1領域10の周縁部に配される。なお、画素106は、必ずしも設ける必要はない。
第2領域11は、故障検知用の画素が配された故障検知用の画素領域である。第2領域11には、画素110が、複数の行に渡って配されている。画素110は、故障検知用信号を出力するための画素であり、図1には「V0」と記載されたブロックで示している。画素110は、電圧供給線113を介して供給される固定電圧V0に基づいて故障検知用信号を生成する。
第1領域10と第2領域11とは行方向(図1において横方向)に隣接して配されており、第1領域10と第2領域11とは列が異なっている。第1領域10及び第2領域11の各行には、行方向に延在する画素制御線109が配されている。それぞれの行の画素制御線109は、対応する行に属する画素105,106,110に共通の信号線をなしている。画素制御線109は、駆動回路13を介して垂直走査回路102に接続されている。
第1領域10及び第2領域11の各列には、列方向(図1において縦方向)に延在する垂直出力線108が配されている。第1領域10のそれぞれの列の垂直出力線108は、対応する列に属する画素105,106に共通の信号線をなしている。第2領域11のそれぞれの列の垂直出力線108は、対応する列に属する画素110に共通の信号線をなしている。垂直出力線108は、列回路103に接続されている。
垂直走査回路102は、画素105,106,110を制御するための所定の制御信号を、駆動回路13を介して画素制御線109へ供給する。垂直走査回路102には、シフトレジスタやアドレスデコーダなどの論理回路が用い得る。図1には各行の画素制御線109を1本の信号線で示しているが、実際には複数の制御信号線を含む。垂直走査回路102により選択された行の画素105,106,110は、それぞれが対応する垂直出力線108に同時に信号を出力するように動作する。
駆動回路13は、垂直走査回路102により制御され、各行の画素105,106,110の読み出し動作を、画素制御線109を介して駆動する。列回路103は、垂直出力線108に出力された画素信号を増幅し、リセット時の信号と光電変換時の信号とに基づく相関二重サンプリング処理を行う。列回路103は、故障検知用の画素110から出力された画素信号に対しても、リセット時の信号と固定電圧入力時の信号とに基づく相関二重サンプリング処理を、画像取得用の画素105,106と同様に行う。
水平走査回路104は、列回路103において処理された画素信号を列毎に順次、出力回路115に転送するための制御信号を、列回路103に供給する。出力回路115は、バッファアンプ、差動増幅器などから構成され、列回路103から転送される画素信号を撮像装置100の外部の信号処理部(図示せず)に出力する。なお、列回路103や出力回路115にAD変換部を設け、デジタルの撮像信号を外部に出力するようにしてもよい。
電圧供給部12は、所定電圧、例えば固定電圧V0を供給する電源回路である。電圧供給線113は、第2領域11に配された画素110に対して、電圧供給部12からの固定電圧V0を供給するための配線である。電圧供給線113は、第2領域11内の同一列の画素110で共通化することにより省回路化を図ることが可能である。
同一行に属する故障検知用の画素110と画像取得用の画素105,106とは、画素制御線109を共有している。従って、故障検知用の画素110から出力される信号を期待値と照合することにより、画素制御線109の故障を検知することが可能となる。また、垂直走査回路102が正常に動作しているのか、故障して想定と異なる行を走査しているのか、を検知することも可能となる。
図2は、第1実施形態による撮像装置100における第1領域10及び第2領域11を構成する画素105,106,110の構成例を示す回路図である。図2には、第1領域10の第1行に配された画素105と、第m行に配された画素106と、第2領域11の第1行及び第m行に配された画素110とを抜き出して記載している。なお、画素105の回路構成と画素106の回路構成とは同じである。
第1領域10に配された画素105,106の各々は、光電変換部PD、転送トランジスタTr1、リセットトランジスタTr2、増幅トランジスタTr3、選択トランジスタTr4を含む。光電変換部PDは、例えばフォトダイオードである。光電変換部PDのフォトダイオードは、アノードが基準電圧端子GNDに接続され、カソードが転送トランジスタTr1のソースに接続されている。転送トランジスタTr1のドレインは、リセットトランジスタTr2のソース及び増幅トランジスタTr3のゲートに接続されている。
転送トランジスタTr1のドレイン、リセットトランジスタTr2のソース及び増幅トランジスタTr3のゲートの接続ノードは、第1のFD(フローティングディフュージョン)を構成する。リセットトランジスタTr2のドレイン及び増幅トランジスタTr3のドレインは、電源電圧VDD端子に接続されている。増幅トランジスタTr3のソースは、選択トランジスタTr4のドレインに接続されている。選択トランジスタTr4のソースは、垂直出力線108に接続されている。
第2領域11に配された画素110は、固定電圧供給トランジスタTr5、リセットトランジスタTr2、増幅トランジスタTr3、選択トランジスタTr4を含む。固定電圧供給トランジスタTr5のソースは、電圧供給線113に接続されている。固定電圧供給トランジスタTr5のドレインは、リセットトランジスタTr2のソース及び増幅トランジスタTr3のゲートに接続されている。
固定電圧供給トランジスタTr5のドレイン、リセットトランジスタTr2のソース及び増幅トランジスタTr3のゲートの接続ノードは、第2のFD(フローティングディフュージョン)を構成する。リセットトランジスタTr2のドレイン及び増幅トランジスタTr3のドレインは、電源電圧VDD端子に接続されている。増幅トランジスタTr3のソースは、選択トランジスタTr4のドレインに接続されている。選択トランジスタTr4のソースは、垂直出力線108に接続されている。
図2の画素構成の場合、各行に配された画素制御線109は、信号線TX,RES,SELを含む。信号線TXは、対応する行に属する画素105,106の転送トランジスタTr1のゲート、及び画素110の固定電圧供給トランジスタTr5のゲートにそれぞれ接続されている。信号線RESは、対応する行に属する画素105,106,110のリセットトランジスタTr2のゲートにそれぞれ接続されている。信号線SELは、対応する行に属する画素105,106,110の選択トランジスタTr4のゲートにそれぞれ接続されている。なお、図2には、信号線の参照符号に行番号を付記している(例えば、SEL(1),RES(m))。
信号線TXには、転送トランジスタTr1、及び固定電圧供給トランジスタTr5を制御するための駆動パルスである制御信号PTXが、垂直走査回路102から出力される。信号線RESには、リセットトランジスタTr2を制御するための駆動パルスである制御信号PRESが、垂直走査回路102から出力される。信号線SELには、選択トランジスタTr4を制御するための駆動パルスである制御信号PSELが、垂直走査回路102から出力される。各トランジスタがN型トランジスタで構成される場合、垂直走査回路102からハイレベル”H”の制御信号が供給されると対応するトランジスタがオンとなり、ローレベル”L”の制御信号が供給されると対応するトランジスタがオフとなる。
電圧供給線113は固定電圧V0に接続されている。固定電圧V0は、故障検知用の画素110から出力される信号のレベルがダーク(遮光状態の出力)レベルと飽和レベルの中間程度となるように調整されることが望ましいが、この限りではない。また後述するように、故障が発生しているエリアを特定するために、複数の電圧値を供給可能な構成としてもよい。
光電変換部PDは、入射光をその光量に応じた量の電荷に変換(光電変換)するとともに、生じた電荷を蓄積する。画素105,106の転送トランジスタTr1は、オンされることにより光電変換部PDの電荷を第1のFDに転送する。第1のFDは、その容量による電荷電圧変換によって、光電変換部PDから転送された電荷の量に応じた電圧となる。画素110の固定電圧供給トランジスタTr5は、オンされることにより電圧供給線113から供給された電圧を第2のFDに印加する。
増幅トランジスタTr3は、ドレインに電源電圧VDDが供給され、ソースに選択トランジスタTr4を介して不図示の電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部(ソースフォロワ回路)を構成する。これにより増幅トランジスタTr3は、第1のFD又は第2のFDの電圧に基づく撮像信号を、選択トランジスタTr4を介して垂直出力線108に出力する。リセットトランジスタTr2は、オンされることにより第1のFD又は第2のFDを電源電圧VDDに応じた電圧にリセットする。
同一行の画素105,106,110に対しては、共通の制御信号PTX,PRES,PSELが垂直走査回路102から供給される。例えば、第m行の画素105,106,110の転送トランジスタTr1及び固定電圧供給トランジスタTr5、リセットトランジスタTr2、選択トランジスタTr4には、制御信号PTX(m)、PRES(m)、PSEL(m)が、それぞれ供給される。
このように、本実施形態の撮像装置100は、光電変換部に生じた信号電荷に基づく信号(第1信号)を出力する第1画素と、故障検知用の信号(第2信号)を出力する第2画素とを独立に有しており、撮像動作を行いながら故障を検知することができる。
更に、本実施形態の撮像装置100は、図1に示すように、故障検知用の画素110を、駆動回路13に対し、画素制御線109を共有する複数の画素105を挟んだ反対側に配置している。このような構成により、検知が難しい断線等の開放故障を含む多種類の故障モードを検知することができる。その理由について図3及び図4を参照しながら説明する。
図3は、関連する撮像装置における画素配置を、故障発生時の画素出力例と共に示す比較図である。図3(a)は、故障検知用の画素110が駆動回路13の近くに配置された画素配置であって、本実施形態とは異なる画素配置を比較例として示している。図3(b)は、図3(a)に示す画素配置において故障が発生した場合の、代表的な画素出力を概略的に示している。図3(a)及び図3(b)では、説明を簡潔かつ明確にするために、8個の画素105a〜105h、遮光された1つの画素106、及び故障検知用の1つの画素110が、1本の画素制御線109を共有する場合を想定する。
図3(b)に示す「N1」〜「N3」は、故障が発生していない通常(Normal)状態において撮影を行ったときの、各画素の出力を比較例として示している。「N1」は、遮光なし(撮像領域を絞らない状態)、「N2」は、一部遮光(撮像領域を絞った状態)、「N3」は、全遮光(全て遮光の状態)のそれぞれの状態において撮影を行ったときの出力値を示している。「OB」はOptical Blackを表し、撮影モードに関わらずダーク(遮光状態の出力)レベルとなる。「I1」〜「I8」は、故障が発生していない状態における撮像(Imaging)信号の出力値を表している。「D1」〜「D8」は、遮光状態における撮像信号の出力値を表している。また、「V0」は、故障検知用の画素110から出力される信号であり、前述のように、ダークレベルと飽和レベルの中間程度となるように調整されることが望ましい。
「O1」〜「O3」は、画素制御線109が画素105dと画素105eの間において、断線等の開放故障(Open−circuit Failure)したときの、各画素の出力値を示している。「O1」は、遮光なし(撮像領域を絞らない状態)、「O2」は、一部遮光(撮像領域を絞った状態)、「O3」は、全遮光(全て遮光の状態)のそれぞれの状態において撮影を行ったときの出力値を示している。画素制御線109に断線等が発生した開放故障の場合は、画素の出力が読み出されないため、画素106、105e〜105hの出力値「Do」は、ダークレベルに近い値となると想定される。
「S1」〜「S3」は、画素制御線109が画素105dと画素105eの間において、他の電源線と短絡故障(Short−circuit Failure)したときの、各画素の出力値を示している。「S1」は、遮光なし(撮像領域を絞らない状態)、「S2」は、一部遮光(撮像領域を絞った状態)、「S3」は、全遮光(全て遮光の状態)のそれぞれの状態において撮影を行ったときの出力値を示している。短絡故障の場合は短絡先の電源線等の電圧が画素制御線109に入力されるため、開放故障とは異なり、画素105e〜105h、106の出力値「Is」は、ダークレベルではなく撮像信号の出力に近い値となると想定される。
このように、短絡故障「S1」〜「S3」が発生した場合は、故障検知用の画素110の出力が「V0」でなく「Is」となると共に、その他の画素105a〜105h、106の出力も「Is」となるので、この行に何らかの故障が起きていることが分かる。しかし、開放故障「O1」〜「O3」が発生した場合は、故障検知用の画素110の出力は「V0」のままである。また、その他の画素105a〜105h、106の出力「O1」及び「O2」は、正常時の「N2」と区別が付かず、出力「O3」は、正常時の「N3」と区別が付かない。すなわち、図3(a)に示すような、故障検知用の画素110が駆動回路13の近くに配置された画素配置では、検知できる故障の種類に制限が生じてしまう。
図4は、第1実施形態による撮像装置100における画素配置を、故障発生時の画素出力例と共に示す図である。本実施形態では、図4(a)に示すように、故障検知用の画素110を、駆動回路13に対し、画素制御線109を共有する複数の画素105を挟んだ反対側に配置している。
図4(a)に示す本実施形態の画素配置では、開放故障「O1」〜「O3」が発生した場合でも、図4(b)に示すように、故障検知用の画素110の出力は「V0」でなく「Do」となり、この行に何らかの故障が起きていることが分かる。また、短絡故障「S1」〜「S3」が発生した場合も、故障検知用の画素110の出力は「V0」でなく「Is」となり、この行に何らかの故障が起きていることが分かる。すなわち、検知が難しい開放故障を含む多種類の故障モードを、撮像を行いながら検知することができる。
以上のように、本実施形態の撮像装置は、光電変換部に生じた信号電荷に基づく信号(第1信号)を出力する第1画素と、故障検知用の信号(第2信号)を出力する第2画素を備えている。そして、第2画素を、駆動回路に対し、画素制御線を共有する第1画素を挟んだ反対側に配置している。このような構成により、開放故障を含む多種類の故障モードを、撮像を行いながら検知することが可能な撮像装置、故障検知方法、撮像システム、及び移動体を提供することができる。なお、第2信号を所定の期待値と比較して故障を検知する不図示の故障検知部は、撮像装置の内部に設けてもよいし、撮像装置の外部に設けてもよい。
[第2実施形態]
次に、本発明の第2実施形態に係る撮像装置100bについて図5を参照しながら説明する。先の第1実施形態では、短絡故障及び開放故障を含む多種類の故障モードを、撮像を行いながら検知し得る構成について説明した。これに対し、本実施形態では、故障が発生しているエリアを特定することが可能な構成について説明する。
次に、本発明の第2実施形態に係る撮像装置100bについて図5を参照しながら説明する。先の第1実施形態では、短絡故障及び開放故障を含む多種類の故障モードを、撮像を行いながら検知し得る構成について説明した。これに対し、本実施形態では、故障が発生しているエリアを特定することが可能な構成について説明する。
図5は、第2実施形態による撮像装置100bの概略構成を示すブロック図である。本実施形態の撮像装置100bは、画素制御線109を共有する故障検知用の画素の数が2つに増えている。また、本実施形態の電圧供給部12bは、異なる2種類の固定電圧V0、V1を、電圧供給線113,114を介して供給可能な構成を有している。これにより、故障検知用の画素110には固定電圧V0が供給され、故障検知用の画素111には固定電圧V1が供給される。その他については、第1実施形態と概ね同じであるため説明は省略する。
本実施形態においても、画素制御線109を共有する2つの故障検知用の画素が、駆動回路13と反対側に配置されるため、開放故障を含む多種類の故障モードを検知することができる。また、本実施形態では、画素制御線109を共有する2つの故障検知用の画素に、固定電圧V0、V1を組み合わせた22=4通りの固定電圧の組み合わせ(V1、V1)、(V1、V0)、(V0、V1)、(V0、V0)のうちのいずれかが供給される。これにより、画素制御線109を共有する2つの故障検知用の画素に供給される固定電圧の組み合わせを、エリアごとに異ならせる。
例えば、図5に示す画素制御線109を共有する2つの故障検知用の画素には、上から順に、固定電圧の組み合わせ(V1、V1)、(V1、V0)、(V0、V1)、(V0、V0)が供給されている。故障検知用の画素110、111は、電圧供給部12bから供給される固定電圧V0、V1に基づいた信号をそれぞれ出力するので、画素制御線109を共有する2つの故障検知用の画素の組が出力する信号のパターンは、エリアごとに異なる。よって、画素制御線109を共有する2つの故障検知用の画素が出力する信号のパターンを、所定の期待値と比較することで、故障が発生しているエリアを特定することが可能となる。なお、図5では1つの行を1つのエリアに対応させたが、固定電圧の組み合わせを複数行ごとに異ならせて、複数の行を1つのエリアに対応させてもよい。
以上のように、本実施形態の撮像装置では、画素制御線を共有する2つの故障検知用の画素(第2画素)に対し、2つの固定電圧の組み合わせを、所定のエリアごとに異ならせて供給する。また、第2画素は、固定電圧に基づく信号(第2信号)を出力する。このような構成により、画素制御線を共有する2つの第2画素が出力する第2信号のパターンを所定の期待値と比較して、故障が発生しているエリアを特定することができる。
[第3実施形態]
次に、本発明の第3実施形態に係る撮像装置100cについて図6を参照しながら説明する。本実施形態では、故障が発生しているエリアをより詳細に特定することが可能な構成について説明する。
次に、本発明の第3実施形態に係る撮像装置100cについて図6を参照しながら説明する。本実施形態では、故障が発生しているエリアをより詳細に特定することが可能な構成について説明する。
図6は、第3実施形態による撮像装置100cの概略構成を示すブロック図である。本実施形態の撮像装置100cは、画素制御線109を共有する故障検知用の画素の数が更に4つに増えている。他方、電圧供給部12cが供給可能な固定電圧の数は2種類のままとしている。このような構成により、本実施形態の4つの故障検知用の画素には、固定電圧V0、V1を組み合わせた24=16通りの固定電圧の組み合わせ(V0、V0、V0、V0)、…、(V1、V1、V1、V1)のうちのいずれかが供給される。その他については、第2実施形態と概ね同じであるため説明は省略する。
本実施形態では、画素制御線109を共有する複数の故障検知用の画素に供給する固定電圧の組み合わせを、エリアごとに16通りに異ならせることで、故障が発生している個所を、分割した16のエリアから特定することができる。更に、画素制御線109を共有する複数の故障検知用の画素の数をN個に増やすことで、2Nのエリアから故障を特定することも可能である。また更に、電圧供給部12cが供給可能な固定電圧の数をM種類に増やすことで、MNのエリアから故障を特定することも可能である。例えば画像を縦方向にMN分割して(合計で256行の画像であれば1〜16、17〜32、・・・240〜256等)、どのエリアで故障が起きているかをより詳細に特定することができる。
更には、故障が発生しているエリアに応じて故障に対する対処方法を異ならせることもできる。但し、画素制御線109を共有する故障検知用の画素の数Nや、電圧供給部12cが供給可能な固定電圧の数Mを増やすことは回路の複雑化に繋がるため、用途に応じて適切な数が選択されることが望ましい。
以上のように、本実施形態の撮像装置では、画素制御線を共有する複数の故障検知用の画素(第2画素)に対し、複数の固定電圧の組み合わせを、所定のエリアごとに異ならせて供給する。また、第2画素は、固定電圧に基づく信号(第2信号)を出力する。このような構成により、画素制御線を共有する複数の第2画素が出力する第2信号のパターンを所定の期待値と比較して、故障が発生しているエリアをより詳細に特定することができる。
[第4実施形態]
次に、本発明の第4実施形態による撮像システム及び移動体について、図7及び図8を用いて説明する。図7は、第4実施形態による撮像システム及び移動体の構成例を示す概略図である。図8は、第4実施形態による撮像システムの動作を示すフロー図である。
次に、本発明の第4実施形態による撮像システム及び移動体について、図7及び図8を用いて説明する。図7は、第4実施形態による撮像システム及び移動体の構成例を示す概略図である。図8は、第4実施形態による撮像システムの動作を示すフロー図である。
本実施形態では、車載カメラに関する撮像システムの一例を示す。図7(a)は、車両システムとこれに搭載される撮像システムの一例を示したものである。撮像システム701は、撮像装置702、画像前処理部715、集積回路703、光学系714を含む。光学系714は、撮像装置702に被写体の光学像を結像する。撮像装置702は、光学系714により結像された被写体の光学像を電気信号に変換する。撮像装置702は、上記第1乃至第3実施形態のいずれかの撮像装置である。画像前処理部715は、撮像装置702から出力された信号に対して所定の信号処理を行う。画像前処理部715の機能は、撮像装置702内に組み込まれていてもよい。撮像システム701には、光学系714、撮像装置702及び画像前処理部715が、少なくとも2組設けられており、各組の画像前処理部715からの出力が集積回路703に入力されるようになっている。
集積回路703は、撮像システム用途向けの集積回路であり、メモリ705を含む画像処理部704、光学測距部706、視差演算部707、物体認知部708、異常検知部709を含む。画像処理部704は、画像前処理部715の出力信号に対して、現像処理や欠陥補正等の画像処理を行う。メモリ705は、撮像画像の一次記憶、撮像画素の欠陥位置を格納する。光学測距部706は、被写体の合焦や、測距を行う。視差演算部707は、複数の撮像装置702により取得された複数の画像データから視差(視差画像の位相差)の算出を行う。物体認知部708は、車、道、標識、人等の被写体の認知を行う。異常検知部709は、撮像装置702の異常を検知すると、主制御部713に異常を発報する。
集積回路703は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
主制御部713は、撮像システム701、車両センサ710、制御ユニット720等の動作を統括・制御する。なお、主制御部713を持たず、撮像システム701、車両センサ710、制御ユニット720が個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う(例えばCAN規格)方法も取りうる。
集積回路703は、主制御部713からの制御信号を受け或いは自身の制御部によって、撮像装置702へ制御信号や設定値を送信する機能を有する。例えば、集積回路703は、撮像装置702内の電圧スイッチをパルス駆動させるための設定や、フレーム毎に電圧スイッチを切り替える設定等を送信する。
撮像システム701は、車両センサ710に接続されており、車速、ヨーレート、舵角などの自車両走行状態及び自車外環境や他車・障害物の状態を検知することができる。車両センサ710は、視差画像から対象物までの距離情報を取得する距離情報取得手段でもある。また、撮像システム701は、操舵、巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部711に接続されている。特に、衝突判定機能に関しては、撮像システム701や車両センサ710の検知結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。
また、撮像システム701は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置712にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部713は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置712は、音等の警報を鳴らす、カーナビゲーションシステムやメーターパネルなどの表示部に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム701で撮影する。図7(b)に、車両前方を撮像システム701で撮像する場合の撮像システム701の配置例を示す。
2つの撮像装置702は、車両700の前方に配置される。具体的には、車両700の進退方位又は外形(例えば車幅)に対する中心線を対称軸に見立て、その対称軸に対して2つの撮像装置702が線対称に配置されると、車両700と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、撮像装置702は、運転者が運転席から車両700の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置712は、運転者の視野に入りやすい配置が好ましい。
次に、撮像システム701における撮像装置702の故障検知動作について、図8を用いて説明する。撮像装置702の故障検知動作は、図8に示すステップS810〜S880に従って実施される。
ステップS810は、撮像装置702のスタートアップ時の設定を行うステップである。すなわち、撮像システム701の外部(例えば主制御部713)又は撮像システム701の内部から、撮像装置702の動作のための設定を送信し、撮像装置702の撮像動作及び故障検知動作を開始する。
次いで、ステップS820において、走査行に属する第1領域10の画素105,106からの信号を取得する。また、ステップS830において、走査行に属する第2領域11の画素110からの出力値を取得する。なお、ステップS820とステップS830とは逆でもよい。
次いで、ステップS840において、画素110への固定電圧V0の接続設定に基づく画素110の出力期待値と、実際の画素110からの出力値との該非判定を行う。
ステップS840における該非判定の結果、出力期待値と実際の出力値とが一致している場合は、ステップS850に移行し、第1領域10における撮像動作が正常に行われていると判定し、ステップS860へと移行する。ステップS860では、走査行の画素信号をメモリ705に送信して一次保存する。その後、ステップS820に戻り、故障検知動作を継続する。
一方、ステップS840における該非判定の結果、出力期待値と実際の出力値とが一致していない場合は、ステップS870に移行し、第1領域10における撮像動作に異常があると判定し、主制御部713、警報装置712に警報を発報する。警報装置712は、表示部に異常が検知されたことを表示させる。その後、ステップS880において撮像装置702を停止し、撮像システム701の動作を終了する。
なお、本実施形態では、各走査行毎にフローチャートをループさせる例を例示したが、複数の走査行毎にフローチャートをループさせてもよいし、1フレーム毎に故障検知動作を行ってもよい。
また、本実施形態では、他の車両と衝突しない制御を説明したが、他の車両に追従して運転する制御や、車線からはみ出さないように運転する制御などにも適用可能である。更に、撮像システム701は、自動車等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
また、上記実施形態では、画素105,106,110のトランジスタをN型トランジスタにより構成する場合を想定して説明を行ったが、画素105,106,110のトランジスタをP型トランジスタにより構成するようにしてもよい。この場合、上記説明における各駆動信号の信号レベルは逆になる。
また、画素105,106,110の回路構成は、図2に示したものに限定されるものではなく、適宜変更が可能である。例えば、画素105,106,110は、1画素に2つの光電変換部を有するデュアルピクセル構造であってもよい。
また、第4実施形態に示した撮像システムは、本発明の撮像装置を適用しうる撮像システム例を示したものであり、本発明の撮像装置を適用可能な撮像システムは図7及び図8に示した構成に限定されるものではない。例えば、上記第1乃至第3実施形態で述べた撮像装置は、デジタルスチルカメラ、デジタルカムコーダー、監視カメラなどにも適用することができる。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
10 :第1領域(画像取得用の画素領域)
11 :第2領域(故障検知用の画素領域)
12 :電圧供給部
13 :駆動回路
100 :撮像装置
102 :垂直走査回路
103 :列回路
104 :水平走査回路
105 :光電変換部を備えた画素(第1画素)
106 :遮光された光電変換部を備えた画素(第3画素)
107 :制御部
108 :垂直出力線
109 :画素制御線
110、111 :故障検知用の画素(第2画素)
113、114 :電圧供給線
115 :出力回路
11 :第2領域(故障検知用の画素領域)
12 :電圧供給部
13 :駆動回路
100 :撮像装置
102 :垂直走査回路
103 :列回路
104 :水平走査回路
105 :光電変換部を備えた画素(第1画素)
106 :遮光された光電変換部を備えた画素(第3画素)
107 :制御部
108 :垂直出力線
109 :画素制御線
110、111 :故障検知用の画素(第2画素)
113、114 :電圧供給線
115 :出力回路
Claims (13)
- 所定の固定電圧を供給する電圧供給部と、
光電変換部に生じた信号電荷に基づく第1信号を出力する第1画素と、
前記固定電圧に基づく故障検知用の第2信号を出力する第2画素と、
前記第1画素及び前記第2画素を、画素制御線を介して駆動する駆動回路と、
を備え、
前記第2画素は、前記駆動回路に対し、前記画素制御線を共有する前記第1画素を挟んだ反対側に配置されている
ことを特徴とする撮像装置。 - 前記第2信号を所定の期待値と比較して故障を検知する故障検知部を更に備える
ことを特徴とする請求項1に記載の撮像装置。 - 前記故障検知部は、開放故障を含む故障を検知する
ことを特徴とする請求項2に記載の撮像装置。 - 前記第1画素は、第1のFD、及び、前記光電変換部と前記第1のFDとに接続された転送トランジスタを有し、
前記第2画素は、第2のFD、及び、前記電圧供給部と前記第2のFDとに接続された固定電圧供給トランジスタを有し、
前記画素制御線は、前記転送トランジスタのゲート及び前記固定電圧供給トランジスタのゲートに共通に接続されている
ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。 - 前記画素制御線を共有する複数の前記第2画素を備え、
複数の前記第2画素は、前記駆動回路に対し、前記画素制御線を共有する前記第1画素を挟んだ反対側に配置されている
ことを特徴とする請求項1から4のいずれか1項に記載の撮像装置。 - 前記電圧供給部は、前記画素制御線を共有する複数の前記第2画素に対し、複数の前記固定電圧の組み合わせを、所定のエリアごとに異ならせて供給する
ことを特徴とする請求項5に記載の撮像装置。 - 遮光された前記光電変換部に生じた信号電荷に基づく第3信号を出力する第3画素を更に備え、
前記第2画素は、前記駆動回路に対し、前記画素制御線を共有する前記第1画素及び前記第3画素を挟んだ反対側に配置されている
ことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。 - 請求項1に記載の撮像装置の故障検知方法であって、
前記第2信号を所定の期待値と比較して故障を検知するステップを有する
ことを特徴とする故障検知方法。 - 前記画素制御線を共有する複数の前記第2画素に対し、複数の前記固定電圧の組み合わせを、所定のエリアごとに異ならせて供給するステップと、
前記画素制御線を共有する複数の前記第2画素が出力する前記第2信号のパターンを所定の期待値と比較して、故障が発生しているエリアを特定するステップと、
を有することを特徴とする請求項8に記載の故障検知方法。 - 請求項1に記載の撮像装置と、
前記第1画素から出力される前記第1信号を処理する信号処理部と、
を備えることを特徴とする撮像システム。 - 前記第2信号を所定の期待値と比較して故障を検知する異常検知部を更に備える
ことを特徴とする請求項10に記載の撮像システム。 - 移動体であって、
請求項1に記載の撮像装置と、
前記撮像装置の前記第1画素から出力される前記第1信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。 - 前記撮像装置の前記第2画素から出力される前記第2信号を所定の期待値と比較して故障を検知する異常検知部を更に備える
ことを特徴とする請求項12に記載の移動体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016255019A JP2018107747A (ja) | 2016-12-28 | 2016-12-28 | 撮像装置、故障検知方法、撮像システム、及び移動体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016255019A JP2018107747A (ja) | 2016-12-28 | 2016-12-28 | 撮像装置、故障検知方法、撮像システム、及び移動体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018107747A true JP2018107747A (ja) | 2018-07-05 |
Family
ID=62788205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016255019A Pending JP2018107747A (ja) | 2016-12-28 | 2016-12-28 | 撮像装置、故障検知方法、撮像システム、及び移動体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018107747A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020112528A (ja) * | 2019-01-17 | 2020-07-27 | 株式会社デンソー | 光測距装置およびその制御方法 |
JP2020123824A (ja) * | 2019-01-30 | 2020-08-13 | キヤノン株式会社 | 光電変換装置及びその駆動方法 |
-
2016
- 2016-12-28 JP JP2016255019A patent/JP2018107747A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020112528A (ja) * | 2019-01-17 | 2020-07-27 | 株式会社デンソー | 光測距装置およびその制御方法 |
JP7180398B2 (ja) | 2019-01-17 | 2022-11-30 | 株式会社デンソー | 光測距装置およびその制御方法 |
JP2020123824A (ja) * | 2019-01-30 | 2020-08-13 | キヤノン株式会社 | 光電変換装置及びその駆動方法 |
JP7299711B2 (ja) | 2019-01-30 | 2023-06-28 | キヤノン株式会社 | 光電変換装置及びその駆動方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11159759B2 (en) | Solid-state imaging device, method of driving solid-state imaging device, and imaging system that can detect a failure while performing capturing | |
US20180197907A1 (en) | Solid-state imaging device and imaging system | |
US11810930B2 (en) | Imaging device, imaging system, and moving body | |
US20220201233A1 (en) | Photoelectric conversion device and imaging system | |
JP7066342B2 (ja) | 撮像装置、撮像システム、移動体 | |
US20210258529A1 (en) | Photoelectric conversion device, imaging system, moving body, and stackable semiconductor device | |
US10504954B2 (en) | Imaging device, imaging system, and moving body | |
JP2018107747A (ja) | 撮像装置、故障検知方法、撮像システム、及び移動体 | |
JP2019087939A (ja) | 光電変換装置、電子機器、輸送機器および光電変換装置の駆動方法 | |
JP2019140532A (ja) | 光電変換装置、撮像システム、および、移動体 | |
US10469762B2 (en) | Image pickup device, image pickup system, and movable body | |
JP2018137646A (ja) | 撮像装置、撮像システム、および、移動体 | |
JP6812397B2 (ja) | 固体撮像装置及びその駆動方法、並びに撮像システム | |
US11509849B2 (en) | Imaging device, imaging system, and moving body | |
US11509886B2 (en) | Photoelectric conversion device and photoelectric conversion system | |
US11140348B2 (en) | AD conversion device, imaging device, imaging system, and mobile apparatus | |
JP2019012751A (ja) | 撮像装置、撮像システム、移動体、撮像装置の製造方法 | |
US11778347B2 (en) | Photoelectric conversion device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |