JP2022133012A - 距離画像取得装置および距離画像取得方法 - Google Patents

距離画像取得装置および距離画像取得方法 Download PDF

Info

Publication number
JP2022133012A
JP2022133012A JP2021031803A JP2021031803A JP2022133012A JP 2022133012 A JP2022133012 A JP 2022133012A JP 2021031803 A JP2021031803 A JP 2021031803A JP 2021031803 A JP2021031803 A JP 2021031803A JP 2022133012 A JP2022133012 A JP 2022133012A
Authority
JP
Japan
Prior art keywords
pixels
charge
control pattern
light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021031803A
Other languages
English (en)
Inventor
圭祐 内田
Keisuke Uchida
宗則 宅見
Munenori Takumi
尚宜 高本
Hisanobu Takamoto
尚明 加藤
Naoaki Kato
勝大 中本
Katsuhiro Nakamoto
光人 間瀬
Mitsuto Mase
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2021031803A priority Critical patent/JP2022133012A/ja
Priority to US18/272,611 priority patent/US20240305907A1/en
Priority to DE112022001323.0T priority patent/DE112022001323T5/de
Priority to CN202280018234.1A priority patent/CN116981962A/zh
Priority to PCT/JP2022/000951 priority patent/WO2022185732A1/ja
Publication of JP2022133012A publication Critical patent/JP2022133012A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705Pixels for depth measurement, e.g. RGBZ
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779Circuitry for scanning or addressing the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】圧縮センシング技術により空間的分解能が高い距離画像の取得を容易に行うことができる装置を提供する。【解決手段】距離画像取得装置1は、光源2、照射光学系3、結像光学系4、撮像素子5および処理部6を備える。撮像素子5は、光源2から出力され対象物で反射されて結像光学系4を経た光パルスを受光面上に受光する。撮像素子5の受光面上の複数の画素それぞれは、受光に応じて電荷を発生するフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部とを有する。処理部6は、撮像素子5の複数の画素それぞれへ共通の制御パターンを与える。制御パターンは、複数の画素それぞれにおいてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する。処理部6は、複数の画素それぞれのフォトダイオードで発生して電荷蓄積部に蓄積された電荷の量に基づいて、対象物の距離画像を求める。【選択図】図1

Description

本発明は、飛行時間法により対象物の距離画像を取得する装置および方法に関するものである。
飛行時間(Time-Of-Flight、TOF)法を利用した距離画像取得装置は、対象物へ照射されて該対象物で反射された光パルスを受光して該対象物の像を撮像素子の受光面に結像し、光源から出力された光パルスが該対象物で反射されて撮像素子まで戻って来るまでの時間を受光面上の複数の画素それぞれについて求めることで、該対象物の距離画像を取得することができる。
特許文献1に開示された発明の距離画像取得装置は、TOF法により対象物の距離画像を取得する際に、圧縮センシング技術を利用する。この装置では、各々フォトダイオードを含む複数の画素が撮像素子の受光面上に2次元配列されており、これらの複数の画素が複数の群に区分され、群によって異なる制御パターンが画素に与えられる。各画素では、与えられた制御パターンにより指示された期間にフォトダイオードで発生した電荷が電荷蓄積部に蓄積される。そして、各画素に与えられた制御パターンと、各画素において電荷蓄積部に蓄積された電荷の量とに基づいて、圧縮センシング技術による解析が行われて、対象物の距離画像が得られる。
特許文献1に開示された発明では、撮像素子の受光面上の複数の画素が複数の群に区分され、群によって異なる制御パターンが画素に与えられることから、圧縮センシング技術による解析を行う上で必要なデータが短時間に得られる。したがって、この発明では、時間的分解能が高い距離画像が得られる。
特許第6666620号公報 特開2011-133464号公報
測距エリアイメージセンサS11963-01CRのカタログ、浜松ホトニクス株式会社、2020年8月
特許文献1に開示された発明では、時間的分解能が高い距離画像が得られるものの、次のような問題点を有している。特許文献1に開示された発明では、撮像素子の受光面上の複数の画素が複数の群に区分されることから、各群に含まれる画素の個数が少なくなり、空間的分解能が低下する。撮像素子の受光面上の各群に含まれる画素の配置関係によっては、群毎に結像の為のレンズを設ける必要があることからコスト増になり、群間で異なる視差を補正する必要があることから処理が複雑になる。また、群によって異なる制御パターンを画素に与えることから、制御パターンを群の個数だけ用意する必要があり、その為の構成が複雑になる。
本発明は、上記問題点を解消する為になされたものであり、圧縮センシング技術により空間的分解能が高い距離画像の取得を容易に行うことができる装置および方法を提供することを目的とする。
本発明の距離画像取得装置は、飛行時間法により対象物の距離画像を取得する装置であって、(1)対象物へ光パルスを照射する光源と、(2) 光源から対象物へ照射されて対象物で反射された光パルスを入力して結像する結像光学系と、(3) 結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、(4) 光源の光パルス出力タイミングから第1論理値と第2論理値とが時間的に交互に登場する制御パターンを複数の画素へ共通に与えるとともに、複数の画素それぞれのフォトダイオードで発生した電荷に基づいて対象物の距離画像を求める処理部と、を備える。本発明の距離画像取得装置において、複数の画素それぞれは、制御パターンが第1論理値である期間にフォトダイオードで発生した電荷を蓄積する第1電荷蓄積部を有し、処理部は、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第1電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求める。
本発明の距離画像取得装置の一態様として、複数の画素それぞれは、制御パターンが第2論理値である期間にフォトダイオードで発生した電荷を蓄積する第2電荷蓄積部を有し、処理部は、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第1電荷蓄積部により蓄積された電荷の量および第2電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めるのが好適である。
本発明の距離画像取得装置の一態様として、処理部は、第1論理値および第2論理値それぞれの期間の長さが単位時間の整数倍である制御パターンを複数の画素へ共通に与えるのが好適である。処理部は、光源の光パルス出力タイミングからの一定期間における単位時間より一定期間経過後における単位時間が長い制御パターンを複数の画素へ共通に与えるのが好適である。光源は、単位時間より長いパルス幅を有する光パルスを対象物へ照射するのが好適である。また、処理部は、複数の画素それぞれについて圧縮センシング技術により対象物までの距離を求める際に、背景光の強度に基づく補正を行うのが好適である。
本発明の距離画像取得方法は、飛行時間法により対象物の距離画像を取得する方法であって、(1)対象物へ光パルスを照射する光源と、(2) 光源から対象物へ照射されて対象物で反射された光パルスを入力して結像する結像光学系と、(3) 結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、を用いる。本発明の距離画像取得方法は、光源の光パルス出力タイミングから第1論理値と第2論理値とが時間的に交互に登場する制御パターンを複数の画素へ共通に与え、複数の画素それぞれにおいて、制御パターンが第1論理値である期間にフォトダイオードで発生した電荷を第1電荷蓄積部に蓄積させ、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第1電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めて、対象物の距離画像を求める。
本発明の距離画像取得方法の一態様として、複数の画素それぞれにおいて、制御パターンが第2論理値である期間にフォトダイオードで発生した電荷を第2電荷蓄積部に蓄積させ、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第1電荷蓄積部により蓄積された電荷の量および第2電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めて、対象物の距離画像を求めるのが好適である。
本発明の距離画像取得方法の一態様として、第1論理値および第2論理値それぞれの期間の長さが単位時間の整数倍である制御パターンを複数の画素へ共通に与えるのが好適である。光源の光パルス出力タイミングからの一定期間における単位時間より一定期間経過後における単位時間が長い制御パターンを複数の画素へ共通に与えるのが好適である。光源から、単位時間より長いパルス幅を有する光パルスを対象物へ照射するのが好適である。また、複数の画素それぞれについて圧縮センシング技術により対象物までの距離を求める際に、背景光の強度に基づく補正を行うのが好適である。
本発明によれば、圧縮センシング技術により空間的分解能が高い距離画像の取得を容易に行うことができる。
図1は、距離画像取得装置1の構成を示す図である。 図2は、撮像素子5の構成を示す図である。 図3は、撮像素子5の各画素の構成を模式的に示す図である。図3(a)は、画素の回路構成を示す。図3(b)は、スイッチSW1がオフ状態であって、スイッチSW2がオン状態であるときに、フォトダイオードPDで発生した電荷が第2電荷蓄積部C2へ転送されていく様子を模式的に示す。 図4は、比較例の制御パターンを示す図である。 図5は、本実施形態における制御パターンの例を示す図である。 図6は、本実施形態における制御パターンの他の例を示す図である。 図7は、本実施形態における制御パターンの他の例を示す図である。 図8は、本実施形態における制御パターンの他の例を示す図である。 図9は、本実施形態における制御パターンの他の例を示す図である。 図10は、本実施形態における制御パターンの他の例を示す図である。 図11は、シミュレーション結果を示すグラフである。 図12は、シミュレーション結果を示すグラフである。
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
図1は、距離画像取得装置1の構成を示す図である。距離画像取得装置1は、TOF法により対象物の距離画像を取得するものであって、光源2、照射光学系3、結像光学系4、撮像素子5および処理部6を備える。
光源2は、対象物へ照射すべき光パルスを出力する。光源2は、一定のパルス幅の光パルスを、一定の繰り返し周波数で出力する。光源2は、光パルスを出力することができるものであれば任意であり、例えばレーザ光源や発光ダイオード等である。
照射光学系3は、光源2から出力された光を対象物へ照射する光学系である。光源2から出力される光が発散光である場合に、照射光学系3は、その光を対象物へ効率よく照射する。
結像光学系4は、光源2から照射光学系3を経て対象物へ照射されて該対象物で反射された光パルスを入力して、その入力した光パルスにより対象物の像を撮像素子5の受光面上に結像する。
撮像素子5は、対象物で反射されて結像光学系4を経た光パルスを受光面上に受光する。撮像素子5の受光面上には複数の画素が配列されている。複数の画素それぞれは、受光に応じて電荷を発生するフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部とを有する。
処理部6は、撮像素子5の複数の画素それぞれへ制御パターンを与える。制御パターンは、複数の画素それぞれにおいてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示するものである。処理部6は、複数の画素それぞれのフォトダイオードで発生して電荷蓄積部に蓄積された電荷の量に基づいて、対象物の距離画像を求める。
処理部6はコンピュータであってよい。処理部6は、制御パターンや距離画像などを記憶する記憶部(例えば、ハードディスクドライブ、RAM、ROM等)、制御パターンや距離画像などを表示する表示部(例えば液晶ディスプレイ等)、測定開始の指示や測定条件の入力などを受け付ける入力部(例えばキーボード、マウス等)、装置全体の動作を制御する制御部(例えばCPU,FPGA等)を備える。
図2は、撮像素子5の構成を示す図である。撮像素子5は、画素アレイ部10、行制御部21,列制御部31および列読出部32を備える。
画素アレイ部10は、M行N列に2次元配列されたMN個の画素P1,1~PM,Nを含む。MN個の画素P1,1~PM,Nは共通の構成を有する。画素Pm,nは第m行第n列に位置する。画素Pm,nは、受光に応じて電荷を発生するフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する1または複数の電荷蓄積部とを含む。ここで、M,Nは2以上の整数である。mは1以上M以下の各整数である。nは1以上N以下の各整数である。
行制御部21は、第m行のN個の画素Pm,1~Pm,Nと第m行制御線23により接続されている。行制御部21は、この第m行制御線23を介して第m行制御信号を第m行のN個の画素Pm,1~Pm,Nへ与える。行制御部21は、第1~第Mの行制御信号により、電荷蓄積部に蓄積されていた電荷を出力すべき行を指定する。
列読出部32は、第n列のM個の画素P1,n~PM,nと第n列出力線34により接続されている。列読出部32は、この第n列出力線34を介して、第n列のM個の画素P1,n~PM,nのうちの何れかの画素の電荷蓄積部に蓄積されていた電荷を入力する。列読出部32は、入力した電荷量に応じた電圧値を出力するチャージアンプと、このチャージアンプから出力された電圧値に応じたデジタル値を出力するAD変換器とを含んでいてもよい。
列制御部31は、第n列出力線34を介して列読出部32に入力された電荷の量に応じた信号を、順次に列読出部32から出力させる。
この撮像素子5では、行制御部21から出力される第1~第Mの行制御線23~23により第1行~第M行が順次に選択されて、その選択された行のN個の画素Pm,1~Pm,Nそれぞれにおいて電荷蓄積部に蓄積されていた電荷が第1~第Nの列出力線34~34へ出力されて列読出部32に入力される。そして、列制御部31により、第1~第Nの列出力線34~34を介して列読出部32に入力された電荷の量に応じた信号が、順次に列読出部32から出力される。
また、撮像素子5では、MN個の画素P1,1~PM,Nに対し制御パターンが与えられる。制御パターンを与えるのは、行制御部21であってもよいし、他の回路であってもよい。
図3は、撮像素子5の各画素の構成を模式的に示す図である。この図では、各画素は2つの電荷蓄積部を有するとしている。各画素は、受光に応じて電荷を発生するフォトダイオードPDと、電荷を蓄積する第1電荷蓄積部C1および第2電荷蓄積部C2と、フォトダイオードPDで発生した電荷を第1電荷蓄積部C1へ転送するためのスイッチSW1と、フォトダイオードPDで発生した電荷を第2電荷蓄積部C2へ転送するためのスイッチSW2と、第1電荷蓄積部C1に蓄積されていた電荷を列出力線へ出力するためのスイッチSW3と、第2電荷蓄積部C2に蓄積されていた電荷を列出力線へ出力するためのスイッチSW4とを含む。
図3(a)は、画素の回路構成を示す。図3(b)は、スイッチSW1,SW3,SW4がオフ状態であって、スイッチSW2がオン状態であるときに、フォトダイオードPDで発生した電荷がスイッチSW2を経て第2電荷蓄積部C2へ転送されていく様子を模式的に示す。第2電荷蓄積部C2への電荷転送が終了すると、スイッチSW2がオフ状態、スイッチSW4がオン状態となり、第2電荷蓄積部C2に蓄積されていた電荷は、スイッチSW4を経て列出力線へ出力され、列読出部32に入力される。
電荷蓄積部の個数は、1つであってもよいし、2以上であってもよい。複数の電荷蓄積部のうち何れかを電荷廃棄部として用いてもよいし、別に電荷廃棄部が設けられてもよい。電荷廃棄部は、制御パターンにより電荷蓄積が指示されなかった期間にフォトダイオードで発生した電荷を蓄積するものであって、この電荷を列出力線へ出力する必要はない。また、各画素は、電荷蓄積部および電荷廃棄部それぞれにおける電荷蓄積を初期化するためのスイッチを含む。
図2および図3を用いて説明した撮像素子は、特許文献2に記載されており、また、非特許文献1に記載されているとおり製品として販売されている。本実施形態の距離画像取得装置1および距離画像取得方法は、以上のような光源、光学系および撮像素子を用いた上で、制御パターンに特徴の一つを有しており、圧縮センシング技術により対象物の距離画像を取得するものである。
図4は、比較例の制御パターンを示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTX(1)~VTX(8)が示されている。照射光パルスの波形および反射光パルスの波形は、実際にはノイズや歪みを有するが、この図(および以降の図)では模式的に矩形で示されている。
光源の光パルス出力タイミングに対し、撮像素子の各画素への反射光パルス到達タイミングは、対象物中の該画素に対応する位置までの距離に依存する時間差がある。この時間差を検出すれば、対象物中の該画素に対応する位置までの距離を求めることができる。この時間差を検出するために、位相シフト法が用いられる。
位相シフト法では、複数(図では8つ)の制御パターンVTX(1)~VTX(8)が用意される。光源の光パルス出力タイミングを基準の時刻0とし、照射光パルスのパルス幅をTとすると、制御パターンVTX(k)は、時刻(k-1)Tから時刻kTまでの期間に論理値Hとなり、その他の期間に論理値Lとなる。kは1以上8以下の各整数である。制御パターンVTX(k)が与えられた画素では、論理値Hである時刻(k-1)Tから時刻kTまでの期間にフォトダイオードで発生した電荷が選択的に電荷蓄積部に蓄積され、その後、電荷蓄積部に蓄積されていた電荷が該画素から出力される。
制御パターンVTX(1)~VTX(8)それぞれが画素に与えられたときに該画素の電荷蓄積部に蓄積される電荷の量に基づいて、照射光パルス出力タイミングに対する反射光パルス到達タイミングの時間差を求めることができる。図に示される例では、制御パターンVTX(4)および制御パターンVTX(5)それぞれが画素に与えられたときに該画素の電荷蓄積部に電荷が蓄積されるので、照射光パルス出力タイミングに対する反射光パルス到達タイミングの時間差は3T~5Tの範囲にあることが分かる。
また、制御パターンVTX(4)および制御パターンVTX(5)それぞれが画素に与えられたときに該画素の電荷蓄積部に蓄積された電荷の量の比に基づいて、照射光パルス出力タイミングに対する反射光パルス到達タイミングの時間差は、より詳細に検出される。この時間差に基づいて、対象物中の該画素に対応する位置までの距離を求めることができる。
図5は、本実施形態における制御パターンの例を示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTXが示されている。
制御パターンVTXは、光源2の光パルス出力タイミングから第1論理値と第2論理値とが時間的に交互に登場するパターンであり、撮像素子5の複数の画素に対し共通に与えられる。第1論理値および第2論理値のうち一方は論理値Hであり、他方は論理値Lである。
比較例(図4)では、各制御パターンにおいてフォトダイオードから電荷蓄積部への電荷転送の期間を表す論理値Hの期間は1つのみであり、その論理値Hの期間が時間Tずつ順にシフトした複数の制御パターンが用いられる。これに対して、本実施形態では、各制御パターンにおいてフォトダイオードから電荷蓄積部への電荷転送の期間を表す論理値Hの期間は1つであってもよいし複数であってもよく、その論理値Hの期間が互いに異なる複数の制御パターンが用いられる。本実施形態で用いられる複数の制御パターンは、ランダムに設定されたものであってもよいし、アダマール行列等に基づいて設定されたものであってもよい。
図に示されるように、光源の光パルス出力タイミングの後の限られた期間内に反射光パルスが現れ、他の時間帯には反射光が存在しないので、時刻の関数としての反射光強度はスパース性を有する。したがって、圧縮センシング技術を利用して、照射光パルス出力タイミングから反射光パルス到達タイミングまでの時間を求めることができ、対象物までの距離を求めることができる。また、比較例で必要な制御パターンの個数と比べて、本実施形態で必要な制御パターンの個数は少なくすることができる。
本実施形態の距離画像取得装置1では、処理部6は、撮像素子5の複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求める。各制御パターンは、論理値Hおよび論理値Lそれぞれの期間の長さが単位時間の整数倍であるのが好適である。単位時間は、各制御パターンにおける論理値Hおよび論理値Lそれぞれの期間の最小単位である。ここで、単位時間は、照射光パルスのパルス幅Tと同じであってもよい。
以下では、用いた制御パターンの個数をMとし、画素に蓄積された電荷の量に応じて列読出部32から出力された信号値のベクトルをyとし、M個の制御パターンを表す行列をΦとし、復元したい反射光強度(画素に到達した反射光の強度)の時間変化のベクトルをxとする。このとき、これらの間に次の(1)式の関係が成り立つ。(2)式は、(1)式中の列ベクトルyの各要素y、行列Φの各要素φm,nおよび列ベクトルxの各要素xを用いて表したものである。yは、M個の制御パターンのうち第mの制御パターンを用いた測定で得られた信号値である。xは、照射光パルス出力タイミング後において区分したN個の期間のうち第n期間の反射光強度である。φm,nは、第mの制御パターンにおける第n期間に電荷蓄積を指示する論理値である。mは1以上M以下の整数である。nは1以上N以下の整数である。
Figure 2022133012000002
Figure 2022133012000003

M=Nであって、行列Φの逆行列が存在すれば、反射光強度の時間変化xは一意的に求められる。これに対し、M<Nである場合、上記の式は劣決定系となり、反射光強度の時間変化xは数学的に解くことができない。しかし、M<Nの場合であっても、反射光強度の時間変化xがスパースであれば(または、フーリエ変換などの線形変換によりスパースとなれば)、圧縮センシング技術により、反射光強度の時間変化xを復元することができる。具体的には、次の式で表される最適化問題を解くことにより、反射光強度の時間変化xを復元することができる。λは、誤差の許容値を表すパラメータである。
Figure 2022133012000004

本実施形態によれば、比較例の場合と比べて少ない個数の制御パターンを用いて圧縮センシング技術により距離画像を取得することができる。本実施形態では、撮像素子の複数の画素に対して共通の制御パターンが与えられるので、特許文献1に開示された発明と比較すると、空間的分解能が高い距離画像の取得が可能であり、光学系の構成が簡易となってコストの低減が可能であり、視差補正の為の処理が不要であり、また、制御パターンを用意するための構成も簡易なものとすることが可能である。
撮像素子の各画素へは反射光パルスだけでなく背景光も入射する。この背景光の影響を低減する為には、背景光のみが撮像素子に入射する期間(反射光パルス測定の前もしくは後において光源から光パルスを出力させない期間、または、反射光パルス測定時であっても反射光パルスが撮像素子に入射しない期間)に電荷蓄積部または電荷廃棄部に蓄積された電荷の量に基づいて、ハードウェアまたはソフトウェアにより、反射光パルス測定時に得られた信号値を補正すればよい。また、背景光強度を考慮した行列Φを作成することでも、反射光パルス離測定時に得られた信号値を補正することができる。
図6は、本実施形態における制御パターンの他の例を示す図である。この図でも、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTXが示されている。
図5に示された例と比較すると、この図6に示された例では、照射光パルス出力タイミングから反射光パルス到達タイミングまでの時間が、図5中の制御パターンVTXの長さを超えている。このような場合、図4に示された比較例の場合には、時間的分解能を低下させない為には、制御パターンの個数を増やす必要がある。これに対して、本実施形態では、各制御パターンを長くすればよいので、制御パターンの個数を増やすことなく、或いは、制御パターンの個数の増加を抑制して、時間的分解能が高い距離画像の取得が可能である。
図7は、本実施形態における制御パターンの他の例を示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、ならびに、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTX1および制御パターンVTX2が示されている。制御パターンVTX2は制御パターンVTX1を論理反転したものである。
図3に示されるように各画素が複数の電荷蓄積部を有する場合、そのうちの第1電荷蓄積部は、制御パターンVTX1が論理値Hである期間にフォトダイオードで発生した電荷を蓄積し、第2電荷蓄積部は、制御パターンVTX2が論理値Hである期間(制御パターンVTX1が論理値Lである期間)にフォトダイオードで発生した電荷を蓄積することができる。そして、処理部は、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第1電荷蓄積部により蓄積された電荷の量および第2電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めることができる。
この例では、制御パターンVTX2が制御パターンVTX1を論理反転したものであり、制御パターンVTX1および制御パターンVTX2の双方を用いた反射光パルス測定を実質的に同時に行うことができる。したがって、用意すべき制御パターンの個数を1/2にすることができ、全体の測定に要する時間を1/2にすることができる。なお、第1電荷蓄積部および第2電荷蓄積部それぞれへの電荷蓄積について感度が相違していても、その感度の相違は補正可能である。
図8は、本実施形態における制御パターンの他の例を示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTXが示されている。
この例では、制御パターンは、論理値Hおよび論理値Lそれぞれの期間の長さが単位時間の整数倍であるとされた上で、光源の光パルス出力タイミングからの一定期間における単位時間より一定期間経過後における単位時間が長いものとされている。光源の光パルス出力タイミングからの一定期間(例えば100nsの期間)における単位時間は照射光パルスのパルス幅T(例えば10ns)と同じとし、一定期間経過後における単位時間は2Tとしてもよい。単位時間の変化は多段階であってもよい。
一般に、対象物までの距離が長いほど、撮像素子に入射する反射光パルスの強度は小さくなる傾向にあり、また、距離測定の時間的分解能は低くても許容される。この例では、距離が短い場合には、単位時間を短くすることで、距離測定の時間的分解能を高くすることができる。一方で、距離が長い場合には、単位時間を長くすることで、単位時間の期間における反射光パルスの受光量を多くすることができる。また、測定回数を増やすことなく、距離測定の範囲の拡大を図ることができる。
図9は、本実施形態における制御パターンの他の例を示す図である。この図でも、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTXが示されている。
この例では、光源の光パルス出力タイミングの後に、複数の反射光パルスが撮像素子へ到達する場合が示されている。このように1つの照射光パルスに対して複数の反射光パルスが撮像素子へ到達する場合の例としては、対象物が、ガラスのような半透明物体と、この半透明物体の背後にある物体と、を含むものである場合が挙げられる。この場合、半透明物体で反射した光パルスと、半透明物体を透過して背後の物体で反射した光パルスとが、撮像素子に到達し得る。
このような場合であっても、反射光強度の時間変化xがスパースであれば(または、フーリエ変換などの線形変換によりスパースとなれば)、少ない制御パターンを用いた圧縮センシング技術により、反射光強度の時間変化xを復元することができる。
図10は、本実施形態における制御パターンの他の例を示す図である。この図でも、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTXが示されている。
この例では、光源から出力される光パルスは、制御パターンVTXにおける単位時間より長いパルス幅を有する。出力光パルスのパルス幅は、制御パターンVTXにおける単位時間の整数倍であってもよい。このような場合でも、反射光強度の時間変化xはスパースであり、或いは、反射光強度の時間変化xの時間微分はスパースであるので、圧縮センシング技術を適用することができ、空間的分解能が高い距離画像を取得することができる。また、各制御パターンを用いた測定の際に電荷蓄積部に蓄積される電荷の量が増えるので、SN比がよい距離画像を取得することができる。
次に、図11および図12を用いてシミュレーション結果について説明する。図11に示されるシミュレーション結果のグラフは、図4に示された制御パターンを用いた比較例、および、図5に示された制御パターンを用いた実施例それぞれの結果を示す。このグラフにおいて、横軸は、光源の光パルス出力タイミングを基準の時刻0としたときの時刻を表し、縦軸は、制御パターンにおける単位時間毎の反射光パルスの強度を表す。照射光パルスおよび反射光パルスそれぞれのパルス幅を1nsとし、撮像素子に反射光パルスが到達する期間が時刻4.8ns~5.8nsであるとした。各制御パターンにおける論理値Hおよび論理値Lそれぞれの期間の最小単位である単位時間を光パルスのパルス幅と同じ1nsとした。比較例では、論理値Hの期間が1nsずつ順にシフトした20個の制御パターンが用いられた。実施例では、ランダムに設定された8個の制御パターンが用いられた。この図に示されるように、圧縮センシング技術を適用した実施例では、用いた制御パターンの個数(8個)が比較例の制御パターンの個数(20個)より少ないにも拘わらず、求められた距離は比較例と同じであった。
図12に示されるシミュレーション結果のグラフは、図4に示された制御パターンを用いた比較例、および、図8に示された制御パターンを用いた実施例それぞれの結果を示す。このグラフにおいても、横軸は、光源の光パルス出力タイミングを基準の時刻0としたときの時刻を表し、縦軸は、制御パターンにおける単位時間毎の反射光パルスの強度を表す。照射光パルスおよび反射光パルスそれぞれのパルス幅を1nsとし、撮像素子に反射光パルスが到達する期間が時刻25.8ns~26.8nsであるとした。比較例では、各制御パターンにおける単位時間を光パルスのパルス幅と同じ1nsとし、論理値Hの期間が1nsずつ順にシフトした30個の制御パターンが用いられた。実施例では、各制御パターンにおける単位時間を、時刻0から時刻10nsまでの期間では1nsとし、時刻10nsから時刻30nsの期間では2nsとして、ランダムに設定された8個の制御パターンが用いられた。この図に示されるように、圧縮センシング技術を適用した実施例では、用いた制御パターンの個数(8個)が比較例の制御パターンの個数(30個)より大幅に少ないにも拘わらず、求められた距離は比較例と略同じであった。
以上のとおり、本実施形態では、撮像素子の受光面上の全画素に対して共通の制御パターンを与えて、TOF法および圧縮センシング技術により距離画像を取得する。したがって、少ない個数の制御パターンを用いて時間的分解能が高い距離画像を取得することができる。また、本実施形態では、光学系の構成が簡易となってコストの低減が可能であり、視差補正の為の処理が不要であり、また、制御パターンを用意するための構成も簡易なものとすることが可能である。
1…距離画像取得装置、2…光源、3…照射光学系、4…結像光学系、5…撮像素子、6…処理部、10…画素アレイ部、21…行制御部、23…行制御線、31…列制御部、32…列読出部、34…列出力線、P1,1~PM,N…画素。

Claims (12)

  1. 飛行時間法により対象物の距離画像を取得する装置であって、
    前記対象物へ光パルスを照射する光源と、
    前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを入力して結像する結像光学系と、
    前記結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、
    前記光源の光パルス出力タイミングから第1論理値と第2論理値とが時間的に交互に登場する制御パターンを前記複数の画素へ共通に与えるとともに、前記複数の画素それぞれのフォトダイオードで発生した電荷に基づいて前記対象物の距離画像を求める処理部と、
    を備え、
    前記複数の画素それぞれは、前記制御パターンが前記第1論理値である期間に前記フォトダイオードで発生した電荷を蓄積する第1電荷蓄積部を有し、
    前記処理部は、前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第1電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求める、
    距離画像取得装置。
  2. 前記複数の画素それぞれは、前記制御パターンが前記第2論理値である期間に前記フォトダイオードで発生した電荷を蓄積する第2電荷蓄積部を有し、
    前記処理部は、前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第1電荷蓄積部により蓄積された電荷の量および前記第2電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求める、
    請求項1に記載の距離画像取得装置。
  3. 前記処理部は、第1論理値および第2論理値それぞれの期間の長さが単位時間の整数倍である前記制御パターンを前記複数の画素へ共通に与える、
    請求項1または2に記載の距離画像取得装置。
  4. 前記処理部は、前記光源の光パルス出力タイミングからの一定期間における前記単位時間より前記一定期間経過後における前記単位時間が長い前記制御パターンを前記複数の画素へ共通に与える、
    請求項3に記載の距離画像取得装置。
  5. 前記光源は、前記単位時間より長いパルス幅を有する光パルスを前記対象物へ照射する、
    請求項3または4に記載の距離画像取得装置。
  6. 前記処理部は、前記複数の画素それぞれについて圧縮センシング技術により前記対象物までの距離を求める際に、背景光の強度に基づく補正を行う、
    請求項1~5の何れか1項に記載の距離画像取得装置。
  7. 飛行時間法により対象物の距離画像を取得する方法であって、
    前記対象物へ光パルスを照射する光源と、
    前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを入力して結像する結像光学系と、
    前記結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、
    を用い、
    前記光源の光パルス出力タイミングから第1論理値と第2論理値とが時間的に交互に登場する制御パターンを前記複数の画素へ共通に与え、
    前記複数の画素それぞれにおいて、前記制御パターンが前記第1論理値である期間に前記フォトダイオードで発生した電荷を第1電荷蓄積部に蓄積させ、
    前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第1電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求めて、前記対象物の距離画像を求める、
    距離画像取得方法。
  8. 前記複数の画素それぞれにおいて、前記制御パターンが前記第2論理値である期間に前記フォトダイオードで発生した電荷を第2電荷蓄積部に蓄積させ、
    前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第1電荷蓄積部により蓄積された電荷の量および前記第2電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求めて、前記対象物の距離画像を求める、
    請求項7に記載の距離画像取得方法。
  9. 第1論理値および第2論理値それぞれの期間の長さが単位時間の整数倍である前記制御パターンを前記複数の画素へ共通に与える、
    請求項7または8に記載の距離画像取得方法。
  10. 前記光源の光パルス出力タイミングからの一定期間における前記単位時間より前記一定期間経過後における前記単位時間が長い前記制御パターンを前記複数の画素へ共通に与える、
    請求項9に記載の距離画像取得方法。
  11. 前記光源から、前記単位時間より長いパルス幅を有する光パルスを前記対象物へ照射する、
    請求項9または10に記載の距離画像取得方法。
  12. 前記複数の画素それぞれについて圧縮センシング技術により前記対象物までの距離を求める際に、背景光の強度に基づく補正を行う、
    請求項7~11の何れか1項に記載の距離画像取得方法。
JP2021031803A 2021-03-01 2021-03-01 距離画像取得装置および距離画像取得方法 Pending JP2022133012A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021031803A JP2022133012A (ja) 2021-03-01 2021-03-01 距離画像取得装置および距離画像取得方法
US18/272,611 US20240305907A1 (en) 2021-03-01 2022-01-13 Distance image acquisition device and distance image acquisition method
DE112022001323.0T DE112022001323T5 (de) 2021-03-01 2022-01-13 Entfernungsbilderfassungsvorrichtung und Entfernungsbilderfassungsverfahren
CN202280018234.1A CN116981962A (zh) 2021-03-01 2022-01-13 距离图像获取装置及距离图像获取方法
PCT/JP2022/000951 WO2022185732A1 (ja) 2021-03-01 2022-01-13 距離画像取得装置および距離画像取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021031803A JP2022133012A (ja) 2021-03-01 2021-03-01 距離画像取得装置および距離画像取得方法

Publications (1)

Publication Number Publication Date
JP2022133012A true JP2022133012A (ja) 2022-09-13

Family

ID=83153972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021031803A Pending JP2022133012A (ja) 2021-03-01 2021-03-01 距離画像取得装置および距離画像取得方法

Country Status (5)

Country Link
US (1) US20240305907A1 (ja)
JP (1) JP2022133012A (ja)
CN (1) CN116981962A (ja)
DE (1) DE112022001323T5 (ja)
WO (1) WO2022185732A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6280002B2 (ja) * 2014-08-22 2018-02-14 浜松ホトニクス株式会社 測距方法及び測距装置
WO2016133053A1 (ja) * 2015-02-20 2016-08-25 国立大学法人静岡大学 距離画像計測装置
CN108072878B (zh) * 2017-11-22 2021-10-19 北京理工大学 一种时域超分辨压缩感知全波形激光雷达测距方法及装置
US10885674B1 (en) * 2018-08-21 2021-01-05 Perceive Corporation Training network for compressive sensing based image processing
US11835659B2 (en) * 2019-02-15 2023-12-05 Sony Semiconductor Solutions Corporation Time-of-flight apparatus and method

Also Published As

Publication number Publication date
DE112022001323T5 (de) 2024-01-25
WO2022185732A1 (ja) 2022-09-09
CN116981962A (zh) 2023-10-31
US20240305907A1 (en) 2024-09-12

Similar Documents

Publication Publication Date Title
JP6981997B2 (ja) 距離測定装置
US11163043B2 (en) Distance measuring device and distance image synthesizing method
US11378690B2 (en) Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device
CN107533128B (zh) 距离测定装置
US20140239186A1 (en) Radiation imaging apparatus, radiation inspection apparatus, method for correcting signal, and computer-readable storage medium
EP2728324A1 (en) Multi-spectral imaging method for ultraweak photon emission and system thereof
US9923012B2 (en) Image pickup apparatus and radiation image pickup system
JP5597055B2 (ja) 制御装置及び制御方法
JP2017143436A (ja) 放射線撮像装置、その駆動方法及び撮像システム
JP6539990B2 (ja) 光飛行型測距装置
EP3103256A1 (en) Image capturing apparatus and method of controlling the same
EP3910375A1 (en) A continuous wave time of flight system
US11835659B2 (en) Time-of-flight apparatus and method
JP7508822B2 (ja) 距離計測装置及び距離計測方法
WO2022185732A1 (ja) 距離画像取得装置および距離画像取得方法
EP3827278B1 (en) Device and method for detecting time-resolved optical data
JP2003227754A (ja) 赤外画像装置における多素子検出器からのデータ取得方法
US10746886B2 (en) Radiation imaging apparatus, method of driving the same, and radiation imaging system
EP4435469A1 (en) A continuous wave time of flight system
US20240319373A1 (en) Continuous wave time of flight system
WO2022185731A1 (ja) 形状測定装置
JP2019534645A (ja) 赤外線センサシステムにおけるフレームレートを改善するための方法および装置
EP4235219A1 (en) Depth scanning image sensor
US20240319372A1 (en) Continuous wave time of flight system
WO2024004645A1 (ja) 測距装置、測距システム、および測距方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230919