JP2007178314A - 固体撮像素子を用いた三次元画像取得方法 - Google Patents

固体撮像素子を用いた三次元画像取得方法 Download PDF

Info

Publication number
JP2007178314A
JP2007178314A JP2005378270A JP2005378270A JP2007178314A JP 2007178314 A JP2007178314 A JP 2007178314A JP 2005378270 A JP2005378270 A JP 2005378270A JP 2005378270 A JP2005378270 A JP 2005378270A JP 2007178314 A JP2007178314 A JP 2007178314A
Authority
JP
Japan
Prior art keywords
solid
dimensional image
imaging device
subject
acquisition method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005378270A
Other languages
English (en)
Inventor
Michinori Ichikawa
道教 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RIKEN Institute of Physical and Chemical Research
Original Assignee
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RIKEN Institute of Physical and Chemical Research filed Critical RIKEN Institute of Physical and Chemical Research
Priority to JP2005378270A priority Critical patent/JP2007178314A/ja
Publication of JP2007178314A publication Critical patent/JP2007178314A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】従来より知られた固体撮像素子を用いてコスト高を招来することなく、十分に実用になる三次元画像を取得する。
【解決手段】画素が所定の方向と上記所定の方向とは直交する方向とに沿って2次元マトリクス状に配置された固体撮像素子により、被写体に照射された光の上記被写体からの反射光を受光して上記被写体の三次元画像を取得する固体撮像素子を用いた三次元画像取得方法において、被写体に対して第1の所定時間間隔でパルス状に光を照射し、上記被写体からの反射光を所定の方向に沿った画素群毎に、上記所定の方向とは直交する方向に沿って第2の所定時間間隔を開けて順次に受光してストライプ状の三次元画像を取得する。
【選択図】 図4

Description

本発明は、固体撮像素子を用いた三次元画像取得方法に関し、さらに詳細には、CMOS撮像素子に代表されるX−Yアドレス方式の固体撮像素子に用いて好適な固体撮像素子を用いた三次元画像取得方法に関する。
従来より、光の飛程時間によって距離を計測する手法として種々のものが提案されており、例えば、特開2003−51988号公報に開示されたものがある。
この特開2003−51988号公報に開示された手法は、各画素に検波機能を持たせることで、時間遅れを正確に検出することができるようにしたものである。
ところで、上記した特開2003−51988号公報に開示された手法によれば、特殊な製造プロセスによる撮像素子と複雑な駆動回路が必要であるため、その製造のためにはコスト高を招来する恐れがあるという問題点があった。
特開2003−51988号公報
本発明は、上記したような従来の技術の有する問題点に鑑みてなされたものであり、その目的とするところは、従来より知られた固体撮像素子を用いてコスト高を招来することなく、十分に実用になる三次元画像を取得することを可能にした固体撮像素子を用いた三次元画像取得方法を提供しようとするものである。
上記目的を達成するために、本発明は、既存の技術で製造できる固体撮像素子、例えば、CMOS撮像素子に代表されるX−Yアドレス方式の固体撮像素子を用いて三次元画像を取得するものである。
即ち、本発明は、現状の製造技術で製造可能な固体撮像素子、例えば、CMOS撮像素子に代表されるX−Yアドレス方式の固体撮像素子を用いて、実用上十分な品質を備えた三次元画像を取得する手法を提案するものである。
こうした本発明は、パルス発光するLEDなどの光源を用いて被写体を照明し、光源の発光から被写体よりの反射光の受光までの時間遅延を測定するものであり、CMOS撮像素子などの固体撮像素子の電荷掃き出しと読み出しとの時間差を短く設定した順次シャッター(以下、「ローリングシャッター」と適宜に称する。)によって、画素を短い時間で垂直スキャンするようにしたものである。
なお、観測すべき距離にもよるが、例えば、読み出し時間は1ライン当り100nsec程度とする。
本発明によれば、読み出しのタイミングとパルス発光からの反射光の受光までの時間関係によって、撮像される画像はストライプ状に表示された三次元画像となり、このストライプ状の三次元画像を画像処理することで、画像に含まれる対象物までの距離を計測することができる。

以下、上記した本発明の原理について、より詳細に説明することとするが、まず、本発明において用いる固体撮像素子について説明する。
本発明においては、固体撮像素子として、画素が水平方向に沿ったラインと垂直方向に沿ったカラムとに沿って2次元マトリクス状に配置された、例えば、CMOS型や閾値制御型の構造を備えた半導体撮像素子を用いることができる。以下の説明においては、本発明の理解を容易にするために、最も一般的な3トランジスタ型CMOS−APS撮像素子を例にして説明を行うが、本発明は実装の素子構造を限定するものではない。
ここで、図1(a)には、最も一般的な順次シャッター機能を実装したCMOS撮像素子の構成説明図が示されており、また、図1(b)には、図1(a)に示すCMOS撮像素子の1画素の等価回路の回路図が示されている。
即ち、CMOS撮像素子10を構成する各画素の構造は、図1(b)に示すように、フォトダイオードPDを備え、掃き出し用トランジスタ(リセットトランジスタ)Q1と、増幅用トランジスタQ2と、選択用トランジスタQ3との3つトランジスタによって、掃き出し用トランジスタQ1による掃き出し動作、増幅用トランジスタQ2による増幅動作および選択用トランジスタQ3による選択動作が実現される。
つまり、図1において左側に位置する掃き捨て用シフトレジスタ12で各画素のQ1のゲートを駆動させ、各画素を充電し、各画素の光電荷により生じた電圧変化をQ2で増幅する。そして、図1において右側の選択用シフトレジスタ14によって各画素の選択用トランジスタQ3のゲートが駆動され、図1において横一列(ライン)に位置する画素の信号がライン毎にカラム出力されるようになされている。なお、このようなCMOS撮像素子の構造自体は、極めて一般的なものである。
こうした本発明の実施に用いられるCMOS撮像素子は、一般的なCMOS撮像素子に比べて選択に要する時間を高速化、例えば、100nsec程度とすることが好ましいが、この100nsec程度という数値は、現状技術で十分に実現できる範囲である。
なお、固体撮像素子を効率よく動作させるためには、高速なカラム出力を一時的に保持する複数ラインの蓄積部や複数の水平方向走査部などを設けることが好ましいものであるが、これらについては、本明細書における「発明を実施するための最良の形態」の項において詳細に説明する。

ここで、上記したCMOS撮像素子10の掃き捨て用シフトレジスタ12と選択用シフトレジスタ14とに、駆動パルスとしてそれぞれ図2の波形に示されたようなスタートパルスSTとクロックパルスCKとを与えると、有効な露光時間は掃き捨て用シフトレジスタ10と選択用シフトレジスタ12との動作の時間差となる。これを順次シャッター(ローリングシャッター)動作と称するが、各ラインにおける有効な露光時間は1クロックずつ遅れることになる(なお、図2の下図には、各ラインにおいて有効な露光時間が1クロックずつ遅れる様子が示されている。)。
こうしたこのローリングシャッター動作も一般的なことであるので、その詳細な説明は省略する。なお、仮にクロックパルスCKの周波数が10MHzであるならば、各ライン間の時間遅れは100nsecとなる。

本発明による固体撮像素子を用いた三次元画像取得方法は、上記したCMOS撮像素子10のような固体撮像素子を用いるものであり、以下、固体撮像素子としてCMOS撮像素子10を用いるものとして説明する。
本発明による固体撮像素子を用いた三次元画像取得方法においては、図3に示すように、まず、パルス状に発光するパルス発光源として、例えば、発光ダイオード100を用いて、被写体200へパルス状に光(照明光)を照射し、発光ダイオード100に隣接するとともに被写体200からの反射光を受光可能な位置に配置された順次シャッター動作をするCMOS撮像素子10により、被写体200からの反射光を受光して被写体200を撮像する。符号300は、反射光を集光するための光学系である。
なお、この際に、発光ダイオード100から被写体200へ照射される照明光のパルス幅は短く、また、強度は高いことが好ましい。具体的には、発光ダイオード100からパルス状に照射される照明光のパルスの幅は、例えば、50〜100nsec程度の極めて短時間であることが好ましく、そのパルス状の照明光(パルス光)の強度は、例えば、数W程度の強力な光であることが好ましい。
なお、この「課題を解決するための手段」における本発明の原理についての説明においては、説明を簡略化して本発明の理解を容易にするために、外乱光の存在については無視することにする。しかしながら、発光ダイオード100におけるパルス発光のタイミングを乱数化し、その乱数化されたパルス発光に合わせて復調することにより、外乱光が存在してもそれを無視することできるように測定精度を向上させることができる。
そして、本発明による固体撮像素子を用いた三次元画像取得方法においては、CMOS撮像素子10における選択用シフトレジスタ14による選択走査に同期させて、発光ダイオード100をパルス発光させる。
ここで、図4に示すように、被写体200からの反射光は光速の遅れ(光速は100nsecで約30m進むが、発光ダイオード100から出射された光は、照射光として被写体200に照射されるとともに被写体200により反射されて反射光としてCMOS撮像素子10へ戻る往復の行程をたどるため、100nsecでは約15m進むことになる。)によって、あるラインが露光される時間に撮像面に飛来する。
そして、被写体200の立体形状に応じて、被写体200と発光ダイオード100およびCMOS撮像素子10との間の距離が変化し、当該距離に比例して発光ダイオード100から出射された光がCMOS撮像素子10へ戻って来るまでの光飛程時間が変化することになるため、当該距離に応じてCMOS撮像素子10における露光と受光とのタイミングが変化し、ライン方向に沿って延長するストライプが撮像されることになる。
CMOS撮像素子10においては、ライン1からライン5へ向けて順次に露光が行われるものであるので、被写体200と発光ダイオード100およびCMOS撮像素子10との間の距離が近くなればなるほどより上のラインに沿ってストライプが撮像され、一方、被写体200と発光ダイオード100およびCMOS撮像素子10との間の距離が遠くなればなるほどより下のラインに沿ってストライプが撮像されることになる。
仮に、各ラインの走査時間が100nsecであるとすれば、ライン当り15mに対応するパターンが撮像されることになる。なお、当然のことながら、隣り合うラインの信号の比率計算によってさらに分解能を向上させることが可能である。

上記において説明したように、現状のCMOS撮像素子の順次シャッターという特性を利用することにより、原理的に距離計測を行うことができるものである。
こうした原理をより画素数の多い固体撮像素子に適応する場合について、図5を参照しながら説明する。
ここで、図5には、ライン方向と直交する方向である垂直方向に21画素ある固体撮像素子の例が示されている。掃き捨て用シフトレジスタと選択用シフトレジスタとの関係は、図1〜4を参照しながら説明したように、光電子の蓄積時間が短くなるように設定する。
全ラインを走査するのに必要な時間は、垂直方向の画素数に応じて増加するが、1つのラインの選択時間を大きく変えることなく製造することは容易である。
上記したの説明においては、発光パルスは1回の走査で1回であったが、図5に示すように1回の走査で多数回発光させるようにしてもよい。発光パルスから受光までの時間が経つにつれて被写体が遠距離に位置することを意味し、光の強度は減弱するので、その程度の時間を置いて次のパルスを発光させるようにすればよい。
こうした複数回のパルス発光によって、固体撮像素子には複数のストライプが露光されることになるが、被写体が近距離にある場合には当該被写体からの反射は強力かつ早いタイミングとなるので、上方に移動したストライプとなり、被写体が遠距離にある場合には当該被写体からの反射は弱く下方に移動したストライプとなる。
図6には、中央に平面状の凸部を備えた被写体の撮像イメージ図であり、上記したパルス発光に由来するストライプが撮像されることになる。また、図7には、中央に球面状の凸部を備えた被写体の撮像イメージ図であり、上記したパルス発光に由来するストライプが撮像されることになる。
従って、本発明によれば、固体撮像素子の高解像度の映像とストライプによる距離情報とが同時に得られることになり、これによりストライプ状の三次元画像を得ることができる。

さらに、図8に示したように、全画面を走査する試行を繰り返すとき、つまり、試行1〜4のように複数回の回試行を行って連続撮影するとき、各試行でパルス発光のタイミングを遅らせるようにすると、ストライプの相対的な位置を下方にシフトすることができる。
このように複数試行のストライプを重ね描きすると、図9に示すような撮像イメージ図が得られる。この図9は、複数試行を重ねることにより精度を高めた中央に球面状の凸部を備えた被写体の撮像イメージ図であり、上記したパルス発光に由来するストライプが撮像されることになり、図8に示す各ストライプ間を補完して精度を高めることが可能となる。

なお、順次シャッターの走査時間は一般に可変にすることが回路的に可能であり、近くにある被写体を観測するときには、速いクロックと短い発光とすべきである。即ち、被写体の距離が近いので、光源からの反射光の強度はイメージングに十分であるからである。
一方、遠方にある被写体が遠方を観察するときは、遅れ時間が長いのであるから、遅い走査クロックと比較的長い発光とすることで露光時間を増やし、良好な画像を得るようにすることが好ましい。
従って、上記したような速い走査と遅い走査とを交互に繰り返すことにより、距離計測範囲を広げることが可能となる。
また、本発明は、基本的に既存のCMOS撮像素子技術を利用するものであるので、オンチップに各種処理回路を実装することが可能となり、画像からの認識機構などをワンチップで実現し得るようになる。

このような本発明のうち請求項1に記載の発明は、画素が所定の方向と上記所定の方向とは直交する方向とに沿って2次元マトリクス状に配置された固体撮像素子により、被写体に照射された光の上記被写体からの反射光を受光して上記被写体の三次元画像を取得する固体撮像素子を用いた三次元画像取得方法において、被写体に対して第1の所定時間間隔でパルス状に光を照射し、上記被写体からの反射光を所定の方向に沿った画素群毎に、上記所定の方向とは直交する方向に沿って第2の所定時間間隔を開けて順次に受光してストライプ状の三次元画像を取得するようにしたものである。
また、本発明のうち請求項2に記載の発明は、画素が所定の方向と上記所定の方向とは直交する方向とに沿って2次元マトリクス状に配置された固体撮像素子により、被写体に照射された光の上記被写体からの反射光を受光して上記被写体の三次元画像を取得する固体撮像素子を用いた三次元画像取得方法において、 被写体に対して乱数化された時間間隔でパルス状に光を照射し、上記被写体からの反射光を所定の方向に沿った画素群毎に、上記所定の方向とは直交する方向に沿って上記乱数化された時間間隔に応じた時間間隔を開けて順次に受光してストライプ状の三次元画像を取得するようにしたものである。
また、本発明のうち請求項3に記載の発明は、本発明のうち請求項1または2のいずれか1項に記載の発明において、上記2次元マトリクス状に配置された画素群を上記所定の方向に沿って複数のブロックに分割し、上記ブロック単位で並行してストライプ状の三次元画像を取得するようにしたものである。
また、本発明のうち請求項4に記載の発明は、本発明のうち請求項1、2または3のいずれか1項に記載の発明において、上記固体撮像素子は、X−Yアドレス方式の固体撮像素子であるようにしたものである。
また、本発明のうち請求項5に記載の発明は、本発明のうち請求項1、2または3のいずれか1項に記載の発明において、上記固体撮像素子は、CMOS型または閾値制御型の半導体撮像素子であるようにしたものである。
本発明によれば、従来より知られた固体撮像素子を用いてコスト高を招来することなく、十分に実用になる三次元画像を取得することができるようになるという優れた効果が奏される。
以下、添付の図面を参照しながら、本発明による固体撮像素子を用いた三次元画像取得方法の実施の形態の一例を詳細に説明するものとする。

まず、図10には本発明による固体撮像素子を用いた三次元画像取得方法を実施する際に用いて好適なCMOS撮像素子の構成説明図が示されている。
このCMOS撮像素子20は、図1を参照しながら説明したCMOS撮像素子10と同様に3トランンジスタ型の高速ローリングシャッターで動作するCMOS撮像素子である受光アレイ22と、高速に書き込み、読み出しが可能なアナログメモリである蓄積アレイ24とを有して構成されている。
このCMOS撮像素子20は、パルス光源におけるパルス発光に同期して、受光アレイ22の各カラム出力を高速に読み出して、蓄積アレイ24側へ転送するように動作する。受光アレイ22で撮像した全体の画像は、蓄積アレイ24を比較的低速で垂直、水平にスキャンして読み出して映像信号を得るようになされている。
ここで、図11には、図10に示すCMOS撮像素子20の1画素の等価回路が示されている。
この図11に示すように、受光アレイ22は、フォトダイオード(PD)を備え、掃き出し用トランジスタ(リセットトランジスタ)Q1と、増幅用トランジスタQ2と、選択用トランジスタQ3との3つトランジスタによって、掃き出し用トランジスタQ1による掃き出し動作、増幅用トランジスタQ2による増幅動作および選択用トランジスタQ3による選択動作が実現されるものであり、図1に示すCMOS撮像素子10と同様に動作する。
そして、各カラムで選択ゲート信号PSELがアサー卜され選択された信号は、カラム読み出し線S−BUSに出力され、バッファ一回路BUSを介して、書き込み信号線W−BUSにリレーされる。
選択用トランジスタQ3の選択動作と同時に蓄積アレイ24の書き込み選択用トランジスタQ4をONにすると、容量Cに選択した信号が書き込まれることになる。この容量Cの電圧は、次に、プレチャージ信号PCHGのアサートでトランジスタQ5をONとし、初期化電圧VCHGに初期化されるまで短時間保持される。
こうして保持された容量Cの電圧を増幅用トランジスタQ6で受け、読み出し選択用トランジスタQ7によって、読み出し信号線R−BUSに読み出す。
CMOS撮像素子20においては、図1に示すCMOS撮像素子10と比較すると蓄積アレイ24が追加されており、この蓄積アレイ24を追加することにより、発光パルスに同期した高速垂直スキャンと映像信号に同期した全画面スキャンとを分離して、映像を読み出すことが可能となる。
また、受光アレイ22におけるリセットと選択用トランジスタQ3の駆動パルスとを変更すれば、通常の露光映像にすることも可能である。
さらに、図10の最下部に破線で示した補助回路(補助サンプルホールド回路および補助水平選択回路)を設けることにより、蓄積アレイ24の読み出し中に、受光アレイ22を任意にアクセスすることが可能となる。
従って、こうしたCMOS撮像素子20を用いて、「課題を解決するための手段」において説明した本発明の原理による手法を用いれば、ストライプ状の三次元画像を取得することができる。

次に、図12には本発明による固体撮像素子を用いた三次元画像取得方法を実施する際に用いて好適なCMOS撮像素子の他の構成説明図が示されている。
このCMOS撮像素子30は、6トランンジスタ型、メモリ付、スナップショットシャッター方式として知られるCMOS撮像素子と同様な構造を備えている。
なお、通常のスナップショットシャッター方式においては、全画素を同時にリセット、蓄積するが、本発明による固体撮像素子を用いた三次元画像取得方法を実施するには、水平ライン方向にリセット線RS、メモリ転送ゲート線TRを分離して配線し、短い露光時間のスキャンを実現する駆動回路を設置するようにしている。その他は、6トランジスタ型CMOS撮像素子の構造と同一である。
ここで、図13には、図12に示すCMOS撮像素子30の1画素の等価回路が示されている。
この図13に示す1画素の等価回路は、CMOS撮像素子20で分離していた蓄積アレイ24を各画素に分配して配置したような構造を備えている。従って、このCMOS撮像素子30は、その回路構成が簡単になるという特長がある一方で、蓄積部が面積を占有するため、実効的な受光面積(フォトダイオードPD)の占有面積が小さくなっていしまうものである。
図14には、CMOS撮像素子30に示すタイミングチャートは、CMOS撮像素子30の発光パルスに対応した各ゲート信号と容量Cに発生する電圧とを模擬したものである。図14において、上から発光パルス、リセット信号RS、転送ゲートTR、充電ゲートPCHGおよび容量Cの電圧を示し、リセット信号RSはLOWレベルがリセット、HIGHレベルが蓄積として作図されている。
ここで、リセット信号RSと転送ゲートTRと発光パルスの時間関係は、CMOS撮像素子10と同様に、各ラインで遅らせることになる。
また、1回の発光と転送ゲートTRとでは、容量Cの放電が不十分な場合には、図14において破線で示すようにそれを2回行うことにより、不十分さを補うようにすればよい。
さらに、積極的に転送ゲートTRのパルスの幅を細くすることにより、複数回のパルス発光による画像を平均加算でき、信号雑音比を向上させることができる。
従って、こうしたCMOS撮像素子30を用いて、「課題を解決するための手段」において説明した本発明の原理による手法を用いれば、ストライプ状の三次元画像を取得することができる。

さらに、図15には本発明による固体撮像素子を用いた三次元画像取得方法を実施する際に用いて好適なCMOS撮像素子の他の構成説明図が示されている。
このCMOS撮像素子40のように、画素アレイを水平方向に分割して、ブロック1〜4の複数のブロックに分割することで、1回のパルス発光で複数のライン、即ち、ブロック1〜4におけるそれぞれの1ラインが同時に露光することができることになり、4ラインを同時に露光することができる。
つまり、CMOS撮像素子40においては、El−E4の4つのタイミングで転送ゲートTRとリセット信号RSとを与えるものであり、各ブロックを構成する複数ラインのなかの1ライン同士が同時に露光されるように構成されている。図中、TR/RSは一本の線に描かれているが、実際は2本の線がある。
従って、こうしたCMOS撮像素子40を用いて、「課題を解決するための手段」において説明した本発明の原理による手法を用いれば、より高速にストライプ状の三次元画像を取得することができる。

なお、上記した実施の形態は、以下の(1)〜(4)に示すように変形することができるものである。
(1)上記した実施の形態においては、固体撮像素子としてCMOS撮像素子を用いた場合について説明したが、これに限られるものではないことは勿論であり、閾値制御型の固体撮像素子を用いるようにしてもよい。
(2)上記した実施の形態においては、本発明の理解を容易にするために、固体撮像素子の画素数について具体的な数値を示したが、これらの数値は例示に過ぎないものであって、任意の画素数の固体撮像素子を用いることができる。
(3)上記した実施の形態においては、本発明の理解を容易にするために、図15に示す実施の形態に関連して固体撮像素子の画素をブロック分けする際に具体的なブロック数を示したが、これらのブロック数は例示に過ぎないものであって、任意の画素数の固体撮像素子を任意のブロック数にブロック分けすることができる。
(4)上記した実施の形態ならびに上記した(1)〜(3)に示す変形例は、適宜に組み合わせるようにしてもよい。
本発明は、車輌やロボットが移動する際における障害物や処理対象物の検出などに利用することができる。
図1(a)は最も一般的な順次シャッター機能を実装したCMOS撮像素子の構成説明図であり、図1(b)は図1(a)に示すCMOS撮像素子の1画素の等価回路の回路図である。 図2は、図1に示すCMOS撮像素子の動作を示すタイミングチャートである。 図3は、本発明による固体撮像素子を用いた三次元画像取得方法の原理を説明するための説明図である。 図4は、本発明による固体撮像素子を用いた三次元画像取得方法の原理を説明するためのタイミングチャートである。 図5は、本発明による固体撮像素子を用いた三次元画像取得方法の原理を説明するためのタイミングチャートである。 図6は、本発明による固体撮像素子を用いた三次元画像取得方法による撮像イメージ図であって、中央に平面状の凸部を備えた被写体の撮像イメージ図である。 図7は、本発明による固体撮像素子を用いた三次元画像取得方法による撮像イメージ図であって、中央に球面状の凸部を備えた被写体の撮像イメージ図である。 図8は、本発明による固体撮像素子を用いた三次元画像取得方法の原理を説明するためのタイミングチャートである。 図9は、本発明による固体撮像素子を用いた三次元画像取得方法による撮像イメージ図であって、複数試行を重ねることにより精度を高めた中央に球面状の凸部を備えた被写体の撮像イメージ図である。 図10は、本発明による固体撮像素子を用いた三次元画像取得方法を実施する際に用いて好適なCMOS撮像素子の構成説明図である。 図11は、図10に示すCMOS撮像素子の1画素の等価回路の回路図である。 図12は、本発明による固体撮像素子を用いた三次元画像取得方法を実施する際に用いて好適なCMOS撮像素子の他の構成説明図である。 図13は、図12に示すCMOS撮像素子の1画素の等価回路の回路図である。 図14は、図12に示すCMOS撮像素子の動作を示すタイミングチャートである。 図15は、本発明による固体撮像素子を用いた三次元画像取得方法を実施する際に用いて好適なCMOS撮像素子の他の構成説明図である。
符号の説明
10、20、30、40 CMOS撮像素子
12 掃き捨て用シフトレジスタ
14 選択用シフトレジスタ
22 受光アレイ
24 蓄積アレイ
100 発光ダイオード
200 被写体
300 光学系

Claims (5)

  1. 画素が所定の方向と前記所定の方向とは直交する方向とに沿って2次元マトリクス状に配置された固体撮像素子により、被写体に照射された光の前記被写体からの反射光を受光して前記被写体の三次元画像を取得する固体撮像素子を用いた三次元画像取得方法において、
    被写体に対して第1の所定時間間隔でパルス状に光を照射し、前記被写体からの反射光を所定の方向に沿った画素群毎に、前記所定の方向とは直交する方向に沿って第2の所定時間間隔を開けて順次に受光してストライプ状の三次元画像を取得する
    ことを特徴とする固体撮像素子を用いた三次元画像取得方法。
  2. 画素が所定の方向と前記所定の方向とは直交する方向とに沿って2次元マトリクス状に配置された固体撮像素子により、被写体に照射された光の前記被写体からの反射光を受光して前記被写体の三次元画像を取得する固体撮像素子を用いた三次元画像取得方法において、
    被写体に対して乱数化された時間間隔でパルス状に光を照射し、前記被写体からの反射光を所定の方向に沿った画素群毎に、前記所定の方向とは直交する方向に沿って前記乱数化された時間間隔に応じた時間間隔を開けて順次に受光してストライプ状の三次元画像を取得する
    ことを特徴とする固体撮像素子を用いた三次元画像取得方法。
  3. 請求項1または2のいずれか1項に記載の固体撮像素子を用いた三次元画像取得方法において、
    前記2次元マトリクス状に配置された画素群を前記所定の方向に沿って複数のブロックに分割し、前記ブロック単位で並行してストライプ状の三次元画像を取得する
    ことを特徴とする固体撮像素子を用いた三次元画像取得方法。
  4. 請求項1、2または3のいずれか1項に記載の固体撮像素子を用いた三次元画像取得方法において、
    前記固体撮像素子は、X−Yアドレス方式の固体撮像素子である
    ことを特徴とする固体撮像素子を用いた三次元画像取得方法。
  5. 請求項1、2または3のいずれか1項に記載の固体撮像素子を用いた三次元画像取得方法において、
    前記固体撮像素子は、CMOS型または閾値制御型の半導体撮像素子である
    ことを特徴とする固体撮像素子を用いた三次元画像取得方法。
JP2005378270A 2005-12-28 2005-12-28 固体撮像素子を用いた三次元画像取得方法 Pending JP2007178314A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005378270A JP2007178314A (ja) 2005-12-28 2005-12-28 固体撮像素子を用いた三次元画像取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005378270A JP2007178314A (ja) 2005-12-28 2005-12-28 固体撮像素子を用いた三次元画像取得方法

Publications (1)

Publication Number Publication Date
JP2007178314A true JP2007178314A (ja) 2007-07-12

Family

ID=38303644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005378270A Pending JP2007178314A (ja) 2005-12-28 2005-12-28 固体撮像素子を用いた三次元画像取得方法

Country Status (1)

Country Link
JP (1) JP2007178314A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089205A (ja) * 2007-10-02 2009-04-23 Olympus Corp 固体撮像装置
WO2010016047A1 (en) 2008-08-03 2010-02-11 Microsoft International Holdings B.V. Rolling camera system
JP2010213140A (ja) * 2009-03-12 2010-09-24 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および電子機器
WO2011020921A1 (en) * 2009-08-21 2011-02-24 Iee International Electronics & Engineering S.A. Time-of-flight sensor
JP2019103066A (ja) * 2017-12-06 2019-06-24 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像素子
US10356380B2 (en) 2015-10-29 2019-07-16 Samsung Electronics Co., Ltd. Apparatus and method for acquiring depth information
WO2020039531A1 (ja) * 2018-08-23 2020-02-27 国立大学法人東北大学 光センサ及びその信号読み出し方法並びに光エリアセンサ及びその信号読み出し方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089205A (ja) * 2007-10-02 2009-04-23 Olympus Corp 固体撮像装置
CN102113309B (zh) * 2008-08-03 2013-11-06 微软国际控股私有有限公司 卷帘相机系统
WO2010016047A1 (en) 2008-08-03 2010-02-11 Microsoft International Holdings B.V. Rolling camera system
US8593507B2 (en) 2008-08-03 2013-11-26 Microsoft International Holdings B.V. Rolling camera system
CN102113309A (zh) * 2008-08-03 2011-06-29 微软国际控股私有有限公司 卷帘相机系统
JP2011530097A (ja) * 2008-08-03 2011-12-15 マイクロソフト インターナショナル ホールディングス ビイ.ヴイ. ローリングカメラシステム
US8816266B2 (en) 2009-03-12 2014-08-26 Sony Corporation Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
JP2010213140A (ja) * 2009-03-12 2010-09-24 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および電子機器
WO2011020921A1 (en) * 2009-08-21 2011-02-24 Iee International Electronics & Engineering S.A. Time-of-flight sensor
US10356380B2 (en) 2015-10-29 2019-07-16 Samsung Electronics Co., Ltd. Apparatus and method for acquiring depth information
JP2019103066A (ja) * 2017-12-06 2019-06-24 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像素子
JP7064322B2 (ja) 2017-12-06 2022-05-10 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像素子
WO2020039531A1 (ja) * 2018-08-23 2020-02-27 国立大学法人東北大学 光センサ及びその信号読み出し方法並びに光エリアセンサ及びその信号読み出し方法
CN112602194A (zh) * 2018-08-23 2021-04-02 国立大学法人东北大学 光传感器及其信号读出方法、以及区域式光传感器及其信号读出方法
JPWO2020039531A1 (ja) * 2018-08-23 2021-08-26 国立大学法人東北大学 光センサ及びその信号読み出し方法並びに光エリアセンサ及びその信号読み出し方法
JP7333562B2 (ja) 2018-08-23 2023-08-25 国立大学法人東北大学 光センサ及びその信号読み出し方法並びに光エリアセンサ及びその信号読み出し方法

Similar Documents

Publication Publication Date Title
CN111727381B (zh) 用于多维感测对象的多脉冲激光雷达系统
US11726185B2 (en) Image sensor for determining a three-dimensional image and method for determining a three-dimensional image
KR101975081B1 (ko) 펄스 조명을 사용한 동영상들의 고속 획득을 위한 방법 및 장치
JP2007178314A (ja) 固体撮像素子を用いた三次元画像取得方法
EP2803184B1 (en) Method of operating a time-of-flight pixel
US8686367B2 (en) Circuit configuration and method for time of flight sensor
US8964077B2 (en) Solid-state imaging device, method for driving the same, and imaging device
JP2021507584A (ja) コンピュータビジョンアプリケーションのためのグロバールシャッタピクセル回路および方法
JPWO2017098725A1 (ja) 固体撮像装置、距離測定装置および距離測定方法
WO2017022219A1 (ja) 固体撮像装置の駆動方法
EP3334152A1 (en) Solid-state imaging device
US9838611B2 (en) Image capturing apparatus for obtaining normal image and range image and control method thereof
US11366225B2 (en) Active-pixel sensor array
JP2017173158A (ja) 距離計測装置
JP2021507261A (ja) Lidar受信ユニットのローカル及びリモート検出を改善する方法
US20220003876A1 (en) Distance image obtaining method and distance detection device
JP6320154B2 (ja) 撮像装置及び撮像装置の駆動方法
JP2023076773A (ja) 物体認識システム及び電子機器
JP2006112978A (ja) 三次元計測センサ
CN115453556A (zh) 用于机器人应用的传感系统中的多线传感器
WO2022016448A1 (en) Indirect tof sensor, stacked sensor chip, and method for measuring distance to object using the same
JP2000261728A (ja) 固体撮像装置
JP4802320B2 (ja) 共焦点顕微鏡装置
JP2022111663A (ja) 測距センサ、測距モジュール
JP2015192341A (ja) 撮像システム