JP2022133012A - 距離画像取得装置および距離画像取得方法 - Google Patents
距離画像取得装置および距離画像取得方法 Download PDFInfo
- Publication number
- JP2022133012A JP2022133012A JP2021031803A JP2021031803A JP2022133012A JP 2022133012 A JP2022133012 A JP 2022133012A JP 2021031803 A JP2021031803 A JP 2021031803A JP 2021031803 A JP2021031803 A JP 2021031803A JP 2022133012 A JP2022133012 A JP 2022133012A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- charge
- control pattern
- light
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000009825 accumulation Methods 0.000 claims abstract description 50
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 238000002366 time-of-flight method Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000000052 comparative effect Effects 0.000 description 14
- 238000005259 measurement Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 238000009532 heart rate measurement Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/779—Circuitry for scanning or addressing the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】圧縮センシング技術により空間的分解能が高い距離画像の取得を容易に行うことができる装置を提供する。【解決手段】距離画像取得装置1は、光源2、照射光学系3、結像光学系4、撮像素子5および処理部6を備える。撮像素子5は、光源2から出力され対象物で反射されて結像光学系4を経た光パルスを受光面上に受光する。撮像素子5の受光面上の複数の画素それぞれは、受光に応じて電荷を発生するフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部とを有する。処理部6は、撮像素子5の複数の画素それぞれへ共通の制御パターンを与える。制御パターンは、複数の画素それぞれにおいてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する。処理部6は、複数の画素それぞれのフォトダイオードで発生して電荷蓄積部に蓄積された電荷の量に基づいて、対象物の距離画像を求める。【選択図】図1
Description
本発明は、飛行時間法により対象物の距離画像を取得する装置および方法に関するものである。
飛行時間(Time-Of-Flight、TOF)法を利用した距離画像取得装置は、対象物へ照射されて該対象物で反射された光パルスを受光して該対象物の像を撮像素子の受光面に結像し、光源から出力された光パルスが該対象物で反射されて撮像素子まで戻って来るまでの時間を受光面上の複数の画素それぞれについて求めることで、該対象物の距離画像を取得することができる。
特許文献1に開示された発明の距離画像取得装置は、TOF法により対象物の距離画像を取得する際に、圧縮センシング技術を利用する。この装置では、各々フォトダイオードを含む複数の画素が撮像素子の受光面上に2次元配列されており、これらの複数の画素が複数の群に区分され、群によって異なる制御パターンが画素に与えられる。各画素では、与えられた制御パターンにより指示された期間にフォトダイオードで発生した電荷が電荷蓄積部に蓄積される。そして、各画素に与えられた制御パターンと、各画素において電荷蓄積部に蓄積された電荷の量とに基づいて、圧縮センシング技術による解析が行われて、対象物の距離画像が得られる。
特許文献1に開示された発明では、撮像素子の受光面上の複数の画素が複数の群に区分され、群によって異なる制御パターンが画素に与えられることから、圧縮センシング技術による解析を行う上で必要なデータが短時間に得られる。したがって、この発明では、時間的分解能が高い距離画像が得られる。
測距エリアイメージセンサS11963-01CRのカタログ、浜松ホトニクス株式会社、2020年8月
特許文献1に開示された発明では、時間的分解能が高い距離画像が得られるものの、次のような問題点を有している。特許文献1に開示された発明では、撮像素子の受光面上の複数の画素が複数の群に区分されることから、各群に含まれる画素の個数が少なくなり、空間的分解能が低下する。撮像素子の受光面上の各群に含まれる画素の配置関係によっては、群毎に結像の為のレンズを設ける必要があることからコスト増になり、群間で異なる視差を補正する必要があることから処理が複雑になる。また、群によって異なる制御パターンを画素に与えることから、制御パターンを群の個数だけ用意する必要があり、その為の構成が複雑になる。
本発明は、上記問題点を解消する為になされたものであり、圧縮センシング技術により空間的分解能が高い距離画像の取得を容易に行うことができる装置および方法を提供することを目的とする。
本発明の距離画像取得装置は、飛行時間法により対象物の距離画像を取得する装置であって、(1)対象物へ光パルスを照射する光源と、(2) 光源から対象物へ照射されて対象物で反射された光パルスを入力して結像する結像光学系と、(3) 結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、(4) 光源の光パルス出力タイミングから第1論理値と第2論理値とが時間的に交互に登場する制御パターンを複数の画素へ共通に与えるとともに、複数の画素それぞれのフォトダイオードで発生した電荷に基づいて対象物の距離画像を求める処理部と、を備える。本発明の距離画像取得装置において、複数の画素それぞれは、制御パターンが第1論理値である期間にフォトダイオードで発生した電荷を蓄積する第1電荷蓄積部を有し、処理部は、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第1電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求める。
本発明の距離画像取得装置の一態様として、複数の画素それぞれは、制御パターンが第2論理値である期間にフォトダイオードで発生した電荷を蓄積する第2電荷蓄積部を有し、処理部は、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第1電荷蓄積部により蓄積された電荷の量および第2電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めるのが好適である。
本発明の距離画像取得装置の一態様として、処理部は、第1論理値および第2論理値それぞれの期間の長さが単位時間の整数倍である制御パターンを複数の画素へ共通に与えるのが好適である。処理部は、光源の光パルス出力タイミングからの一定期間における単位時間より一定期間経過後における単位時間が長い制御パターンを複数の画素へ共通に与えるのが好適である。光源は、単位時間より長いパルス幅を有する光パルスを対象物へ照射するのが好適である。また、処理部は、複数の画素それぞれについて圧縮センシング技術により対象物までの距離を求める際に、背景光の強度に基づく補正を行うのが好適である。
本発明の距離画像取得方法は、飛行時間法により対象物の距離画像を取得する方法であって、(1)対象物へ光パルスを照射する光源と、(2) 光源から対象物へ照射されて対象物で反射された光パルスを入力して結像する結像光学系と、(3) 結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、を用いる。本発明の距離画像取得方法は、光源の光パルス出力タイミングから第1論理値と第2論理値とが時間的に交互に登場する制御パターンを複数の画素へ共通に与え、複数の画素それぞれにおいて、制御パターンが第1論理値である期間にフォトダイオードで発生した電荷を第1電荷蓄積部に蓄積させ、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第1電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めて、対象物の距離画像を求める。
本発明の距離画像取得方法の一態様として、複数の画素それぞれにおいて、制御パターンが第2論理値である期間にフォトダイオードで発生した電荷を第2電荷蓄積部に蓄積させ、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第1電荷蓄積部により蓄積された電荷の量および第2電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めて、対象物の距離画像を求めるのが好適である。
本発明の距離画像取得方法の一態様として、第1論理値および第2論理値それぞれの期間の長さが単位時間の整数倍である制御パターンを複数の画素へ共通に与えるのが好適である。光源の光パルス出力タイミングからの一定期間における単位時間より一定期間経過後における単位時間が長い制御パターンを複数の画素へ共通に与えるのが好適である。光源から、単位時間より長いパルス幅を有する光パルスを対象物へ照射するのが好適である。また、複数の画素それぞれについて圧縮センシング技術により対象物までの距離を求める際に、背景光の強度に基づく補正を行うのが好適である。
本発明によれば、圧縮センシング技術により空間的分解能が高い距離画像の取得を容易に行うことができる。
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
図1は、距離画像取得装置1の構成を示す図である。距離画像取得装置1は、TOF法により対象物の距離画像を取得するものであって、光源2、照射光学系3、結像光学系4、撮像素子5および処理部6を備える。
光源2は、対象物へ照射すべき光パルスを出力する。光源2は、一定のパルス幅の光パルスを、一定の繰り返し周波数で出力する。光源2は、光パルスを出力することができるものであれば任意であり、例えばレーザ光源や発光ダイオード等である。
照射光学系3は、光源2から出力された光を対象物へ照射する光学系である。光源2から出力される光が発散光である場合に、照射光学系3は、その光を対象物へ効率よく照射する。
結像光学系4は、光源2から照射光学系3を経て対象物へ照射されて該対象物で反射された光パルスを入力して、その入力した光パルスにより対象物の像を撮像素子5の受光面上に結像する。
撮像素子5は、対象物で反射されて結像光学系4を経た光パルスを受光面上に受光する。撮像素子5の受光面上には複数の画素が配列されている。複数の画素それぞれは、受光に応じて電荷を発生するフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する電荷蓄積部とを有する。
処理部6は、撮像素子5の複数の画素それぞれへ制御パターンを与える。制御パターンは、複数の画素それぞれにおいてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示するものである。処理部6は、複数の画素それぞれのフォトダイオードで発生して電荷蓄積部に蓄積された電荷の量に基づいて、対象物の距離画像を求める。
処理部6はコンピュータであってよい。処理部6は、制御パターンや距離画像などを記憶する記憶部(例えば、ハードディスクドライブ、RAM、ROM等)、制御パターンや距離画像などを表示する表示部(例えば液晶ディスプレイ等)、測定開始の指示や測定条件の入力などを受け付ける入力部(例えばキーボード、マウス等)、装置全体の動作を制御する制御部(例えばCPU,FPGA等)を備える。
図2は、撮像素子5の構成を示す図である。撮像素子5は、画素アレイ部10、行制御部21,列制御部31および列読出部32を備える。
画素アレイ部10は、M行N列に2次元配列されたMN個の画素P1,1~PM,Nを含む。MN個の画素P1,1~PM,Nは共通の構成を有する。画素Pm,nは第m行第n列に位置する。画素Pm,nは、受光に応じて電荷を発生するフォトダイオードと、このフォトダイオードで発生した電荷を蓄積する1または複数の電荷蓄積部とを含む。ここで、M,Nは2以上の整数である。mは1以上M以下の各整数である。nは1以上N以下の各整数である。
行制御部21は、第m行のN個の画素Pm,1~Pm,Nと第m行制御線23mにより接続されている。行制御部21は、この第m行制御線23mを介して第m行制御信号を第m行のN個の画素Pm,1~Pm,Nへ与える。行制御部21は、第1~第Mの行制御信号により、電荷蓄積部に蓄積されていた電荷を出力すべき行を指定する。
列読出部32は、第n列のM個の画素P1,n~PM,nと第n列出力線34nにより接続されている。列読出部32は、この第n列出力線34nを介して、第n列のM個の画素P1,n~PM,nのうちの何れかの画素の電荷蓄積部に蓄積されていた電荷を入力する。列読出部32は、入力した電荷量に応じた電圧値を出力するチャージアンプと、このチャージアンプから出力された電圧値に応じたデジタル値を出力するAD変換器とを含んでいてもよい。
列制御部31は、第n列出力線34nを介して列読出部32に入力された電荷の量に応じた信号を、順次に列読出部32から出力させる。
この撮像素子5では、行制御部21から出力される第1~第Mの行制御線231~23Mにより第1行~第M行が順次に選択されて、その選択された行のN個の画素Pm,1~Pm,Nそれぞれにおいて電荷蓄積部に蓄積されていた電荷が第1~第Nの列出力線341~34Nへ出力されて列読出部32に入力される。そして、列制御部31により、第1~第Nの列出力線341~34Nを介して列読出部32に入力された電荷の量に応じた信号が、順次に列読出部32から出力される。
また、撮像素子5では、MN個の画素P1,1~PM,Nに対し制御パターンが与えられる。制御パターンを与えるのは、行制御部21であってもよいし、他の回路であってもよい。
図3は、撮像素子5の各画素の構成を模式的に示す図である。この図では、各画素は2つの電荷蓄積部を有するとしている。各画素は、受光に応じて電荷を発生するフォトダイオードPDと、電荷を蓄積する第1電荷蓄積部C1および第2電荷蓄積部C2と、フォトダイオードPDで発生した電荷を第1電荷蓄積部C1へ転送するためのスイッチSW1と、フォトダイオードPDで発生した電荷を第2電荷蓄積部C2へ転送するためのスイッチSW2と、第1電荷蓄積部C1に蓄積されていた電荷を列出力線へ出力するためのスイッチSW3と、第2電荷蓄積部C2に蓄積されていた電荷を列出力線へ出力するためのスイッチSW4とを含む。
図3(a)は、画素の回路構成を示す。図3(b)は、スイッチSW1,SW3,SW4がオフ状態であって、スイッチSW2がオン状態であるときに、フォトダイオードPDで発生した電荷がスイッチSW2を経て第2電荷蓄積部C2へ転送されていく様子を模式的に示す。第2電荷蓄積部C2への電荷転送が終了すると、スイッチSW2がオフ状態、スイッチSW4がオン状態となり、第2電荷蓄積部C2に蓄積されていた電荷は、スイッチSW4を経て列出力線へ出力され、列読出部32に入力される。
電荷蓄積部の個数は、1つであってもよいし、2以上であってもよい。複数の電荷蓄積部のうち何れかを電荷廃棄部として用いてもよいし、別に電荷廃棄部が設けられてもよい。電荷廃棄部は、制御パターンにより電荷蓄積が指示されなかった期間にフォトダイオードで発生した電荷を蓄積するものであって、この電荷を列出力線へ出力する必要はない。また、各画素は、電荷蓄積部および電荷廃棄部それぞれにおける電荷蓄積を初期化するためのスイッチを含む。
図2および図3を用いて説明した撮像素子は、特許文献2に記載されており、また、非特許文献1に記載されているとおり製品として販売されている。本実施形態の距離画像取得装置1および距離画像取得方法は、以上のような光源、光学系および撮像素子を用いた上で、制御パターンに特徴の一つを有しており、圧縮センシング技術により対象物の距離画像を取得するものである。
図4は、比較例の制御パターンを示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTX(1)~VTX(8)が示されている。照射光パルスの波形および反射光パルスの波形は、実際にはノイズや歪みを有するが、この図(および以降の図)では模式的に矩形で示されている。
光源の光パルス出力タイミングに対し、撮像素子の各画素への反射光パルス到達タイミングは、対象物中の該画素に対応する位置までの距離に依存する時間差がある。この時間差を検出すれば、対象物中の該画素に対応する位置までの距離を求めることができる。この時間差を検出するために、位相シフト法が用いられる。
位相シフト法では、複数(図では8つ)の制御パターンVTX(1)~VTX(8)が用意される。光源の光パルス出力タイミングを基準の時刻0とし、照射光パルスのパルス幅をTとすると、制御パターンVTX(k)は、時刻(k-1)Tから時刻kTまでの期間に論理値Hとなり、その他の期間に論理値Lとなる。kは1以上8以下の各整数である。制御パターンVTX(k)が与えられた画素では、論理値Hである時刻(k-1)Tから時刻kTまでの期間にフォトダイオードで発生した電荷が選択的に電荷蓄積部に蓄積され、その後、電荷蓄積部に蓄積されていた電荷が該画素から出力される。
制御パターンVTX(1)~VTX(8)それぞれが画素に与えられたときに該画素の電荷蓄積部に蓄積される電荷の量に基づいて、照射光パルス出力タイミングに対する反射光パルス到達タイミングの時間差を求めることができる。図に示される例では、制御パターンVTX(4)および制御パターンVTX(5)それぞれが画素に与えられたときに該画素の電荷蓄積部に電荷が蓄積されるので、照射光パルス出力タイミングに対する反射光パルス到達タイミングの時間差は3T~5Tの範囲にあることが分かる。
また、制御パターンVTX(4)および制御パターンVTX(5)それぞれが画素に与えられたときに該画素の電荷蓄積部に蓄積された電荷の量の比に基づいて、照射光パルス出力タイミングに対する反射光パルス到達タイミングの時間差は、より詳細に検出される。この時間差に基づいて、対象物中の該画素に対応する位置までの距離を求めることができる。
図5は、本実施形態における制御パターンの例を示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTXが示されている。
制御パターンVTXは、光源2の光パルス出力タイミングから第1論理値と第2論理値とが時間的に交互に登場するパターンであり、撮像素子5の複数の画素に対し共通に与えられる。第1論理値および第2論理値のうち一方は論理値Hであり、他方は論理値Lである。
比較例(図4)では、各制御パターンにおいてフォトダイオードから電荷蓄積部への電荷転送の期間を表す論理値Hの期間は1つのみであり、その論理値Hの期間が時間Tずつ順にシフトした複数の制御パターンが用いられる。これに対して、本実施形態では、各制御パターンにおいてフォトダイオードから電荷蓄積部への電荷転送の期間を表す論理値Hの期間は1つであってもよいし複数であってもよく、その論理値Hの期間が互いに異なる複数の制御パターンが用いられる。本実施形態で用いられる複数の制御パターンは、ランダムに設定されたものであってもよいし、アダマール行列等に基づいて設定されたものであってもよい。
図に示されるように、光源の光パルス出力タイミングの後の限られた期間内に反射光パルスが現れ、他の時間帯には反射光が存在しないので、時刻の関数としての反射光強度はスパース性を有する。したがって、圧縮センシング技術を利用して、照射光パルス出力タイミングから反射光パルス到達タイミングまでの時間を求めることができ、対象物までの距離を求めることができる。また、比較例で必要な制御パターンの個数と比べて、本実施形態で必要な制御パターンの個数は少なくすることができる。
本実施形態の距離画像取得装置1では、処理部6は、撮像素子5の複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求める。各制御パターンは、論理値Hおよび論理値Lそれぞれの期間の長さが単位時間の整数倍であるのが好適である。単位時間は、各制御パターンにおける論理値Hおよび論理値Lそれぞれの期間の最小単位である。ここで、単位時間は、照射光パルスのパルス幅Tと同じであってもよい。
以下では、用いた制御パターンの個数をMとし、画素に蓄積された電荷の量に応じて列読出部32から出力された信号値のベクトルをyとし、M個の制御パターンを表す行列をΦとし、復元したい反射光強度(画素に到達した反射光の強度)の時間変化のベクトルをxとする。このとき、これらの間に次の(1)式の関係が成り立つ。(2)式は、(1)式中の列ベクトルyの各要素ym、行列Φの各要素φm,nおよび列ベクトルxの各要素xnを用いて表したものである。ymは、M個の制御パターンのうち第mの制御パターンを用いた測定で得られた信号値である。xnは、照射光パルス出力タイミング後において区分したN個の期間のうち第n期間の反射光強度である。φm,nは、第mの制御パターンにおける第n期間に電荷蓄積を指示する論理値である。mは1以上M以下の整数である。nは1以上N以下の整数である。
M=Nであって、行列Φの逆行列が存在すれば、反射光強度の時間変化xは一意的に求められる。これに対し、M<Nである場合、上記の式は劣決定系となり、反射光強度の時間変化xは数学的に解くことができない。しかし、M<Nの場合であっても、反射光強度の時間変化xがスパースであれば(または、フーリエ変換などの線形変換によりスパースとなれば)、圧縮センシング技術により、反射光強度の時間変化xを復元することができる。具体的には、次の式で表される最適化問題を解くことにより、反射光強度の時間変化xを復元することができる。λは、誤差の許容値を表すパラメータである。
本実施形態によれば、比較例の場合と比べて少ない個数の制御パターンを用いて圧縮センシング技術により距離画像を取得することができる。本実施形態では、撮像素子の複数の画素に対して共通の制御パターンが与えられるので、特許文献1に開示された発明と比較すると、空間的分解能が高い距離画像の取得が可能であり、光学系の構成が簡易となってコストの低減が可能であり、視差補正の為の処理が不要であり、また、制御パターンを用意するための構成も簡易なものとすることが可能である。
撮像素子の各画素へは反射光パルスだけでなく背景光も入射する。この背景光の影響を低減する為には、背景光のみが撮像素子に入射する期間(反射光パルス測定の前もしくは後において光源から光パルスを出力させない期間、または、反射光パルス測定時であっても反射光パルスが撮像素子に入射しない期間)に電荷蓄積部または電荷廃棄部に蓄積された電荷の量に基づいて、ハードウェアまたはソフトウェアにより、反射光パルス測定時に得られた信号値を補正すればよい。また、背景光強度を考慮した行列Φを作成することでも、反射光パルス離測定時に得られた信号値を補正することができる。
図6は、本実施形態における制御パターンの他の例を示す図である。この図でも、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTXが示されている。
図5に示された例と比較すると、この図6に示された例では、照射光パルス出力タイミングから反射光パルス到達タイミングまでの時間が、図5中の制御パターンVTXの長さを超えている。このような場合、図4に示された比較例の場合には、時間的分解能を低下させない為には、制御パターンの個数を増やす必要がある。これに対して、本実施形態では、各制御パターンを長くすればよいので、制御パターンの個数を増やすことなく、或いは、制御パターンの個数の増加を抑制して、時間的分解能が高い距離画像の取得が可能である。
図7は、本実施形態における制御パターンの他の例を示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、ならびに、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTX1および制御パターンVTX2が示されている。制御パターンVTX2は制御パターンVTX1を論理反転したものである。
図3に示されるように各画素が複数の電荷蓄積部を有する場合、そのうちの第1電荷蓄積部は、制御パターンVTX1が論理値Hである期間にフォトダイオードで発生した電荷を蓄積し、第2電荷蓄積部は、制御パターンVTX2が論理値Hである期間(制御パターンVTX1が論理値Lである期間)にフォトダイオードで発生した電荷を蓄積することができる。そして、処理部は、複数の画素それぞれについて、複数の制御パターンそれぞれとした場合に第1電荷蓄積部により蓄積された電荷の量および第2電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により対象物までの距離を求めることができる。
この例では、制御パターンVTX2が制御パターンVTX1を論理反転したものであり、制御パターンVTX1および制御パターンVTX2の双方を用いた反射光パルス測定を実質的に同時に行うことができる。したがって、用意すべき制御パターンの個数を1/2にすることができ、全体の測定に要する時間を1/2にすることができる。なお、第1電荷蓄積部および第2電荷蓄積部それぞれへの電荷蓄積について感度が相違していても、その感度の相違は補正可能である。
図8は、本実施形態における制御パターンの他の例を示す図である。この図では、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTXが示されている。
この例では、制御パターンは、論理値Hおよび論理値Lそれぞれの期間の長さが単位時間の整数倍であるとされた上で、光源の光パルス出力タイミングからの一定期間における単位時間より一定期間経過後における単位時間が長いものとされている。光源の光パルス出力タイミングからの一定期間(例えば100nsの期間)における単位時間は照射光パルスのパルス幅T(例えば10ns)と同じとし、一定期間経過後における単位時間は2Tとしてもよい。単位時間の変化は多段階であってもよい。
一般に、対象物までの距離が長いほど、撮像素子に入射する反射光パルスの強度は小さくなる傾向にあり、また、距離測定の時間的分解能は低くても許容される。この例では、距離が短い場合には、単位時間を短くすることで、距離測定の時間的分解能を高くすることができる。一方で、距離が長い場合には、単位時間を長くすることで、単位時間の期間における反射光パルスの受光量を多くすることができる。また、測定回数を増やすことなく、距離測定の範囲の拡大を図ることができる。
図9は、本実施形態における制御パターンの他の例を示す図である。この図でも、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTXが示されている。
この例では、光源の光パルス出力タイミングの後に、複数の反射光パルスが撮像素子へ到達する場合が示されている。このように1つの照射光パルスに対して複数の反射光パルスが撮像素子へ到達する場合の例としては、対象物が、ガラスのような半透明物体と、この半透明物体の背後にある物体と、を含むものである場合が挙げられる。この場合、半透明物体で反射した光パルスと、半透明物体を透過して背後の物体で反射した光パルスとが、撮像素子に到達し得る。
このような場合であっても、反射光強度の時間変化xがスパースであれば(または、フーリエ変換などの線形変換によりスパースとなれば)、少ない制御パターンを用いた圧縮センシング技術により、反射光強度の時間変化xを復元することができる。
図10は、本実施形態における制御パターンの他の例を示す図である。この図でも、上から順に、光源から出力される照射光パルスの波形、撮像素子に到達する反射光パルスの波形、および、各画素においてフォトダイオードで発生した電荷を電荷蓄積部に蓄積する期間を指示する制御パターンVTXが示されている。
この例では、光源から出力される光パルスは、制御パターンVTXにおける単位時間より長いパルス幅を有する。出力光パルスのパルス幅は、制御パターンVTXにおける単位時間の整数倍であってもよい。このような場合でも、反射光強度の時間変化xはスパースであり、或いは、反射光強度の時間変化xの時間微分はスパースであるので、圧縮センシング技術を適用することができ、空間的分解能が高い距離画像を取得することができる。また、各制御パターンを用いた測定の際に電荷蓄積部に蓄積される電荷の量が増えるので、SN比がよい距離画像を取得することができる。
次に、図11および図12を用いてシミュレーション結果について説明する。図11に示されるシミュレーション結果のグラフは、図4に示された制御パターンを用いた比較例、および、図5に示された制御パターンを用いた実施例それぞれの結果を示す。このグラフにおいて、横軸は、光源の光パルス出力タイミングを基準の時刻0としたときの時刻を表し、縦軸は、制御パターンにおける単位時間毎の反射光パルスの強度を表す。照射光パルスおよび反射光パルスそれぞれのパルス幅を1nsとし、撮像素子に反射光パルスが到達する期間が時刻4.8ns~5.8nsであるとした。各制御パターンにおける論理値Hおよび論理値Lそれぞれの期間の最小単位である単位時間を光パルスのパルス幅と同じ1nsとした。比較例では、論理値Hの期間が1nsずつ順にシフトした20個の制御パターンが用いられた。実施例では、ランダムに設定された8個の制御パターンが用いられた。この図に示されるように、圧縮センシング技術を適用した実施例では、用いた制御パターンの個数(8個)が比較例の制御パターンの個数(20個)より少ないにも拘わらず、求められた距離は比較例と同じであった。
図12に示されるシミュレーション結果のグラフは、図4に示された制御パターンを用いた比較例、および、図8に示された制御パターンを用いた実施例それぞれの結果を示す。このグラフにおいても、横軸は、光源の光パルス出力タイミングを基準の時刻0としたときの時刻を表し、縦軸は、制御パターンにおける単位時間毎の反射光パルスの強度を表す。照射光パルスおよび反射光パルスそれぞれのパルス幅を1nsとし、撮像素子に反射光パルスが到達する期間が時刻25.8ns~26.8nsであるとした。比較例では、各制御パターンにおける単位時間を光パルスのパルス幅と同じ1nsとし、論理値Hの期間が1nsずつ順にシフトした30個の制御パターンが用いられた。実施例では、各制御パターンにおける単位時間を、時刻0から時刻10nsまでの期間では1nsとし、時刻10nsから時刻30nsの期間では2nsとして、ランダムに設定された8個の制御パターンが用いられた。この図に示されるように、圧縮センシング技術を適用した実施例では、用いた制御パターンの個数(8個)が比較例の制御パターンの個数(30個)より大幅に少ないにも拘わらず、求められた距離は比較例と略同じであった。
以上のとおり、本実施形態では、撮像素子の受光面上の全画素に対して共通の制御パターンを与えて、TOF法および圧縮センシング技術により距離画像を取得する。したがって、少ない個数の制御パターンを用いて時間的分解能が高い距離画像を取得することができる。また、本実施形態では、光学系の構成が簡易となってコストの低減が可能であり、視差補正の為の処理が不要であり、また、制御パターンを用意するための構成も簡易なものとすることが可能である。
1…距離画像取得装置、2…光源、3…照射光学系、4…結像光学系、5…撮像素子、6…処理部、10…画素アレイ部、21…行制御部、23…行制御線、31…列制御部、32…列読出部、34…列出力線、P1,1~PM,N…画素。
Claims (12)
- 飛行時間法により対象物の距離画像を取得する装置であって、
前記対象物へ光パルスを照射する光源と、
前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを入力して結像する結像光学系と、
前記結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、
前記光源の光パルス出力タイミングから第1論理値と第2論理値とが時間的に交互に登場する制御パターンを前記複数の画素へ共通に与えるとともに、前記複数の画素それぞれのフォトダイオードで発生した電荷に基づいて前記対象物の距離画像を求める処理部と、
を備え、
前記複数の画素それぞれは、前記制御パターンが前記第1論理値である期間に前記フォトダイオードで発生した電荷を蓄積する第1電荷蓄積部を有し、
前記処理部は、前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第1電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求める、
距離画像取得装置。 - 前記複数の画素それぞれは、前記制御パターンが前記第2論理値である期間に前記フォトダイオードで発生した電荷を蓄積する第2電荷蓄積部を有し、
前記処理部は、前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第1電荷蓄積部により蓄積された電荷の量および前記第2電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求める、
請求項1に記載の距離画像取得装置。 - 前記処理部は、第1論理値および第2論理値それぞれの期間の長さが単位時間の整数倍である前記制御パターンを前記複数の画素へ共通に与える、
請求項1または2に記載の距離画像取得装置。 - 前記処理部は、前記光源の光パルス出力タイミングからの一定期間における前記単位時間より前記一定期間経過後における前記単位時間が長い前記制御パターンを前記複数の画素へ共通に与える、
請求項3に記載の距離画像取得装置。 - 前記光源は、前記単位時間より長いパルス幅を有する光パルスを前記対象物へ照射する、
請求項3または4に記載の距離画像取得装置。 - 前記処理部は、前記複数の画素それぞれについて圧縮センシング技術により前記対象物までの距離を求める際に、背景光の強度に基づく補正を行う、
請求項1~5の何れか1項に記載の距離画像取得装置。 - 飛行時間法により対象物の距離画像を取得する方法であって、
前記対象物へ光パルスを照射する光源と、
前記光源から前記対象物へ照射されて前記対象物で反射された光パルスを入力して結像する結像光学系と、
前記結像光学系を経た光パルスを受光する受光面上に配列され各々フォトダイオードを含む複数の画素を有する撮像素子と、
を用い、
前記光源の光パルス出力タイミングから第1論理値と第2論理値とが時間的に交互に登場する制御パターンを前記複数の画素へ共通に与え、
前記複数の画素それぞれにおいて、前記制御パターンが前記第1論理値である期間に前記フォトダイオードで発生した電荷を第1電荷蓄積部に蓄積させ、
前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第1電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求めて、前記対象物の距離画像を求める、
距離画像取得方法。 - 前記複数の画素それぞれにおいて、前記制御パターンが前記第2論理値である期間に前記フォトダイオードで発生した電荷を第2電荷蓄積部に蓄積させ、
前記複数の画素それぞれについて、複数の前記制御パターンそれぞれとした場合に前記第1電荷蓄積部により蓄積された電荷の量および前記第2電荷蓄積部により蓄積された電荷の量に基づいて圧縮センシング技術により前記対象物までの距離を求めて、前記対象物の距離画像を求める、
請求項7に記載の距離画像取得方法。 - 第1論理値および第2論理値それぞれの期間の長さが単位時間の整数倍である前記制御パターンを前記複数の画素へ共通に与える、
請求項7または8に記載の距離画像取得方法。 - 前記光源の光パルス出力タイミングからの一定期間における前記単位時間より前記一定期間経過後における前記単位時間が長い前記制御パターンを前記複数の画素へ共通に与える、
請求項9に記載の距離画像取得方法。 - 前記光源から、前記単位時間より長いパルス幅を有する光パルスを前記対象物へ照射する、
請求項9または10に記載の距離画像取得方法。 - 前記複数の画素それぞれについて圧縮センシング技術により前記対象物までの距離を求める際に、背景光の強度に基づく補正を行う、
請求項7~11の何れか1項に記載の距離画像取得方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021031803A JP2022133012A (ja) | 2021-03-01 | 2021-03-01 | 距離画像取得装置および距離画像取得方法 |
US18/272,611 US20240305907A1 (en) | 2021-03-01 | 2022-01-13 | Distance image acquisition device and distance image acquisition method |
DE112022001323.0T DE112022001323T5 (de) | 2021-03-01 | 2022-01-13 | Entfernungsbilderfassungsvorrichtung und Entfernungsbilderfassungsverfahren |
CN202280018234.1A CN116981962A (zh) | 2021-03-01 | 2022-01-13 | 距离图像获取装置及距离图像获取方法 |
PCT/JP2022/000951 WO2022185732A1 (ja) | 2021-03-01 | 2022-01-13 | 距離画像取得装置および距離画像取得方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021031803A JP2022133012A (ja) | 2021-03-01 | 2021-03-01 | 距離画像取得装置および距離画像取得方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022133012A true JP2022133012A (ja) | 2022-09-13 |
Family
ID=83153972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021031803A Pending JP2022133012A (ja) | 2021-03-01 | 2021-03-01 | 距離画像取得装置および距離画像取得方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240305907A1 (ja) |
JP (1) | JP2022133012A (ja) |
CN (1) | CN116981962A (ja) |
DE (1) | DE112022001323T5 (ja) |
WO (1) | WO2022185732A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6280002B2 (ja) * | 2014-08-22 | 2018-02-14 | 浜松ホトニクス株式会社 | 測距方法及び測距装置 |
WO2016133053A1 (ja) * | 2015-02-20 | 2016-08-25 | 国立大学法人静岡大学 | 距離画像計測装置 |
CN108072878B (zh) * | 2017-11-22 | 2021-10-19 | 北京理工大学 | 一种时域超分辨压缩感知全波形激光雷达测距方法及装置 |
US10885674B1 (en) * | 2018-08-21 | 2021-01-05 | Perceive Corporation | Training network for compressive sensing based image processing |
US11835659B2 (en) * | 2019-02-15 | 2023-12-05 | Sony Semiconductor Solutions Corporation | Time-of-flight apparatus and method |
-
2021
- 2021-03-01 JP JP2021031803A patent/JP2022133012A/ja active Pending
-
2022
- 2022-01-13 CN CN202280018234.1A patent/CN116981962A/zh active Pending
- 2022-01-13 US US18/272,611 patent/US20240305907A1/en active Pending
- 2022-01-13 DE DE112022001323.0T patent/DE112022001323T5/de active Pending
- 2022-01-13 WO PCT/JP2022/000951 patent/WO2022185732A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
DE112022001323T5 (de) | 2024-01-25 |
WO2022185732A1 (ja) | 2022-09-09 |
CN116981962A (zh) | 2023-10-31 |
US20240305907A1 (en) | 2024-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6981997B2 (ja) | 距離測定装置 | |
US11163043B2 (en) | Distance measuring device and distance image synthesizing method | |
US11378690B2 (en) | Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device | |
CN107533128B (zh) | 距离测定装置 | |
US20140239186A1 (en) | Radiation imaging apparatus, radiation inspection apparatus, method for correcting signal, and computer-readable storage medium | |
EP2728324A1 (en) | Multi-spectral imaging method for ultraweak photon emission and system thereof | |
US9923012B2 (en) | Image pickup apparatus and radiation image pickup system | |
JP5597055B2 (ja) | 制御装置及び制御方法 | |
JP2017143436A (ja) | 放射線撮像装置、その駆動方法及び撮像システム | |
JP6539990B2 (ja) | 光飛行型測距装置 | |
EP3103256A1 (en) | Image capturing apparatus and method of controlling the same | |
EP3910375A1 (en) | A continuous wave time of flight system | |
US11835659B2 (en) | Time-of-flight apparatus and method | |
JP7508822B2 (ja) | 距離計測装置及び距離計測方法 | |
WO2022185732A1 (ja) | 距離画像取得装置および距離画像取得方法 | |
EP3827278B1 (en) | Device and method for detecting time-resolved optical data | |
JP2003227754A (ja) | 赤外画像装置における多素子検出器からのデータ取得方法 | |
US10746886B2 (en) | Radiation imaging apparatus, method of driving the same, and radiation imaging system | |
EP4435469A1 (en) | A continuous wave time of flight system | |
US20240319373A1 (en) | Continuous wave time of flight system | |
WO2022185731A1 (ja) | 形状測定装置 | |
JP2019534645A (ja) | 赤外線センサシステムにおけるフレームレートを改善するための方法および装置 | |
EP4235219A1 (en) | Depth scanning image sensor | |
US20240319372A1 (en) | Continuous wave time of flight system | |
WO2024004645A1 (ja) | 測距装置、測距システム、および測距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230919 |