JP2019211231A - 距離画像生成カメラ及び距離画像生成方法 - Google Patents
距離画像生成カメラ及び距離画像生成方法 Download PDFInfo
- Publication number
- JP2019211231A JP2019211231A JP2018104783A JP2018104783A JP2019211231A JP 2019211231 A JP2019211231 A JP 2019211231A JP 2018104783 A JP2018104783 A JP 2018104783A JP 2018104783 A JP2018104783 A JP 2018104783A JP 2019211231 A JP2019211231 A JP 2019211231A
- Authority
- JP
- Japan
- Prior art keywords
- distance image
- light
- pixel
- image generation
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 87
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 abstract description 38
- 230000007423 decrease Effects 0.000 abstract description 19
- 230000009467 reduction Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
なお、TOF型距離画像生成カメラ1においては、距離画像を生成するのが主目的であるから、輝度画像生成部16を備えていない構成としてもよい。
図2は、TOF型距離画像生成カメラの動作フローチャートを示す図である。また図3は、TOF型距離画像生成カメラの動作タイミングチャートを示す図である。ここでは両者を参照して説明する。
S220では、発光処理部11での発光動作が所定の発光時間を経過したか否かを判定する。Yesの場合はS230へ進み、Noの場合はS220を繰り返す。
S230(T230)では、発光処理部11は発光を終了する。
S250(T250)では、受光処理部12は受光を終了し、遅延時間生成と受光量生成を終了する。ここに遅延時間は、照射光を発光してから反射光を受光するまでの時間であり、受光量は、受光時間内に受けた反射光の光量である。後述するように、遅延時間は2つの受光期間の受光量から算出する。また、第1の距離画像生成部13は、遅延時間に基づいて第1の距離画像を生成し、輝度画像生成部16は、受光量に基づいて輝度画像を生成する。
S270(T270)では、通信部17は、生成した第1及び第2の距離画像と輝度画像の通信を行う。
距離D=遅延時間Td×光速×(1/2)・・・(1)
すなわち、遅延時間Tdを測定することで、距離Dを算出できることになる。
全受光量S=第1の受光量S1+第2の受光量S2・・・(2)
遅延時間Td=発光時間Ti×第2の受光量S2/全受光量S・・・(3)
距離D=遅延時間Td×光速×(1/2)
=Ti×S2/(S1+S2)×光速×(1/2)・・・(4)
すなわち、第1の受光量S1と第2の受光量S2とを測定することで、距離Dを算出するものである。この間接式測定方法によれば、遅延時間を高精度に測定する必要がないので実用的であるが、受光量の測定精度が要求されることになる。
11…発光処理部、
12…受光処理部、
121…受光部、
122…遅延時間生成部、
123…受光量生成部、
13…第1の距離画像生成部、
14…第2の距離画像生成部、
141…画素群選択部、
142…フィルタ処理部、
15…制御部、
16…輝度画像生成部、
17…通信部。
Claims (6)
- 光の飛行時間により物体までの距離を測定し距離画像を生成する距離画像生成カメラにおいて、
撮影空間へ照射光を発光する発光処理部と、
前記撮影空間からの反射光を所定数の画素で受光し、前記照射光の発光タイミングから前記反射光の受光タイミングまでの遅延時間を画素毎に生成するとともに、所定期間における前記反射光の受光量を生成する受光処理部と、
前記受光処理部で生成した画素毎の遅延時間から物体までの距離を算出して第1の距離画像を生成する第1の距離画像生成部と、
前記第1の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第2の距離画像を生成する第2の距離画像生成部と、を備え、
前記第2の距離画像生成部には、前記フィルタ処理に利用する画素群を選択する画素群選択部を有し、
該画素群選択部は、前記受光処理部で生成された遅延時間と受光量、及び前記第1の距離画像生成部で生成された第1の距離画像のうち、少なくとも1つの生成値が該生成値に含まれるノイズ成分値以上であるような画素群を選択することを特徴とする距離画像生成カメラ。 - 光の飛行時間により物体までの距離を測定し距離画像を生成する距離画像生成カメラにおいて、
撮影空間へ照射光を発光する発光処理部と、
前記撮影空間からの反射光を所定数の画素で受光し、前記照射光の発光タイミングから前記反射光の受光タイミングまでの遅延時間を画素毎に生成するとともに、所定期間における前記反射光の受光量を生成する受光処理部と、
前記受光処理部で生成した画素毎の遅延時間から物体までの距離を算出して第1の距離画像を生成する第1の距離画像生成部と、
前記第1の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第2の距離画像を生成する第2の距離画像生成部と、を備え、
前記第2の距離画像生成部には、前記フィルタ処理に利用する画素群を選択する画素群選択部を有し、
前記画素群選択部は、前記受光処理部で生成された遅延時間と受光量、及び前記第1の距離画像生成部で生成された第1の距離画像のうち、少なくとも1つの生成値の度数分布を参照し、度数が高い順に所定数の階級に属する画素群を選択することを特徴とする距離画像生成カメラ。 - 請求項1または2に記載の距離画像生成カメラにおいて、
前記受光処理部での画素毎の受光量から輝度画像を生成する輝度画像生成部を備え、
前記画素群選択部は、画素群を選択するときに参照する前記生成値の1つとして、前記輝度画像生成部での輝度画像を含めることを特徴とする距離画像生成カメラ。 - 光の飛行時間により物体までの距離を測定し距離画像を生成する距離画像生成方法において、
撮影空間へ照射光を発光する発光処理ステップと、
前記撮影空間からの反射光を所定数の画素で受光し、前記照射光の発光タイミングから前記反射光の受光タイミングまでの遅延時間を画素毎に生成するとともに、所定期間における前記反射光の受光量を生成する受光処理ステップと、
前記受光処理ステップで生成した画素毎の遅延時間から物体までの距離を算出して第1の距離画像を生成する第1の距離画像生成ステップと、
前記第1の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第2の距離画像を生成する第2の距離画像生成ステップと、を備え、
前記第2の距離画像生成ステップには、前記フィルタ処理に利用する画素群を選択する画素群選択ステップを有し、
該画素群選択ステップでは、前記受光処理ステップで生成された遅延時間と受光量、及び前記第1の距離画像生成ステップで生成された第1の距離画像のうち、少なくとも1つの生成値が該生成値に含まれるノイズ成分値以上であるような画素群を選択することを特徴とする距離画像生成方法。 - 光の飛行時間により物体までの距離を測定し距離画像を生成する距離画像生成方法において、
撮影空間へ照射光を発光する発光処理ステップと、
前記撮影空間からの反射光を所定数の画素で受光し、前記照射光の発光タイミングから前記反射光の受光タイミングまでの遅延時間を画素毎に生成するとともに、所定期間における前記反射光の受光量を生成する受光処理ステップと、
前記受光処理ステップで生成した画素毎の遅延時間から物体までの距離を算出して第1の距離画像を生成する第1の距離画像生成ステップと、
前記第1の距離画像の各画素について、自身の画素を含む近傍の画素群を用いてフィルタ処理を行い第2の距離画像を生成する第2の距離画像生成ステップと、を備え、
前記第2の距離画像生成ステップには、前記フィルタ処理に利用する画素群を選択する画素群選択ステップを有し、
測定対象である前記物体が段差を含む形状である場合、前記画素群選択ステップでは、前記受光処理ステップで生成された遅延時間と受光量、及び前記第1の距離画像生成ステップで生成された第1の距離画像のうち、少なくとも1つの生成値の度数分布を参照し、度数が高い順に所定数の階級に属する画素群を選択することを特徴とする距離画像生成方法。 - 請求項4または5に記載の距離画像生成方法において、
前記受光処理ステップでの画素毎の受光量から輝度画像を生成する輝度画像生成ステップを備え、
前記画素群選択ステップでは、画素群を選択するときに参照する前記生成値の1つとして、前記輝度画像生成ステップでの輝度画像を含めることを特徴とする距離画像生成方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018104783A JP2019211231A (ja) | 2018-05-31 | 2018-05-31 | 距離画像生成カメラ及び距離画像生成方法 |
US16/410,211 US11585936B2 (en) | 2018-05-31 | 2019-05-13 | Range imaging camera and range imaging method |
CN201910397219.2A CN110554397A (zh) | 2018-05-31 | 2019-05-14 | 距离图像生成摄像机和距离图像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018104783A JP2019211231A (ja) | 2018-05-31 | 2018-05-31 | 距離画像生成カメラ及び距離画像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019211231A true JP2019211231A (ja) | 2019-12-12 |
Family
ID=68694672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018104783A Pending JP2019211231A (ja) | 2018-05-31 | 2018-05-31 | 距離画像生成カメラ及び距離画像生成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11585936B2 (ja) |
JP (1) | JP2019211231A (ja) |
CN (1) | CN110554397A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021148608A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社リコー | 撮像装置、測距装置及び撮像プログラム |
US20230081137A1 (en) * | 2021-08-24 | 2023-03-16 | Microsoft Technology Licensing, Llc | Spatial metrics for denoising depth image data |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011078264A1 (ja) * | 2009-12-25 | 2011-06-30 | 本田技研工業株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び移動体 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5966678A (en) * | 1998-05-18 | 1999-10-12 | The United States Of America As Represented By The Secretary Of The Navy | Method for filtering laser range data |
US8139142B2 (en) * | 2006-06-01 | 2012-03-20 | Microsoft Corporation | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques |
JP5802917B2 (ja) * | 2011-04-06 | 2015-11-04 | オプテックス株式会社 | 距離画像カメラおよびこれを用いた距離測定方法 |
US9819879B2 (en) * | 2011-07-12 | 2017-11-14 | Samsung Electronics Co., Ltd. | Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity |
US9584790B2 (en) * | 2013-06-03 | 2017-02-28 | Microsoft Technology Licensing, Llc | Edge preserving depth filtering |
CN105899966B (zh) * | 2014-01-14 | 2019-05-07 | 松下知识产权经营株式会社 | 距离图像生成装置以及距离图像生成方法 |
EP2966475B1 (en) | 2014-07-09 | 2016-05-25 | Softkinetic Sensors N.V. | A method for binning time-of-flight data |
CN107710015B (zh) * | 2015-07-03 | 2021-08-24 | 新唐科技日本株式会社 | 距离测量装置以及距离图像合成方法 |
JP6773724B2 (ja) * | 2018-06-13 | 2020-10-21 | ファナック株式会社 | 精度情報を出力する測距装置 |
-
2018
- 2018-05-31 JP JP2018104783A patent/JP2019211231A/ja active Pending
-
2019
- 2019-05-13 US US16/410,211 patent/US11585936B2/en active Active
- 2019-05-14 CN CN201910397219.2A patent/CN110554397A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011078264A1 (ja) * | 2009-12-25 | 2011-06-30 | 本田技研工業株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び移動体 |
US20120263353A1 (en) * | 2009-12-25 | 2012-10-18 | Honda Motor Co., Ltd. | Image processing apparatus, image processing method, computer program, and movable body |
Also Published As
Publication number | Publication date |
---|---|
CN110554397A (zh) | 2019-12-10 |
US20190369218A1 (en) | 2019-12-05 |
US11585936B2 (en) | 2023-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7191921B2 (ja) | Tofカメラシステムおよび該システムにより距離を測定するための方法 | |
US10281565B2 (en) | Distance measuring device and solid-state image sensor used therein | |
US20150204662A1 (en) | Three-dimensional-shape measurement apparatus, three-dimensional-shape measurement method, and non-transitory computer-readable storage medium | |
JP6676866B2 (ja) | 測距撮像装置及び固体撮像素子 | |
US20180335298A1 (en) | Three-dimensional shape measuring apparatus and control method thereof | |
JPWO2017130996A1 (ja) | 距離測定装置 | |
US20170278260A1 (en) | Image processing apparatus, image processing method, and non-transitory recording medium storing program | |
JP2020003446A (ja) | 光測距装置 | |
US20190383906A1 (en) | Distance-measuring apparatus that outputs precision information | |
US9628774B2 (en) | Image processing method and apparatus | |
JP2009192499A (ja) | 距離画像生成装置 | |
JP7209198B2 (ja) | 距離測定装置および画像生成方法 | |
JP2017181488A (ja) | 距離画像生成装置、距離画像生成方法及びプログラム | |
CN112739980A (zh) | 多阶段有源光深度系统 | |
US20150377964A1 (en) | Programmable test pattern for a pixel array | |
JP2019211231A (ja) | 距離画像生成カメラ及び距離画像生成方法 | |
CN111971577A (zh) | 用于控制激光雷达测量系统的传感器元件的方法 | |
US20210141090A1 (en) | Distance measurement device and reliability determination method | |
JP6911825B2 (ja) | 光測距装置 | |
JP2012225807A (ja) | 距離画像カメラおよび距離画像合成方法 | |
WO2021149360A1 (ja) | 距離測定装置、距離測定方法、プログラム | |
CN110400340B (zh) | 深度图处理方法和装置 | |
JP2020160044A (ja) | 測距装置および測距方法 | |
US11914039B2 (en) | Range finding device and range finding method | |
US20200301017A1 (en) | Range finding device, range finding method and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220707 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221018 |