JP2016114522A - 距離画像生成装置、距離画像生成方法およびプログラム - Google Patents
距離画像生成装置、距離画像生成方法およびプログラム Download PDFInfo
- Publication number
- JP2016114522A JP2016114522A JP2014254367A JP2014254367A JP2016114522A JP 2016114522 A JP2016114522 A JP 2016114522A JP 2014254367 A JP2014254367 A JP 2014254367A JP 2014254367 A JP2014254367 A JP 2014254367A JP 2016114522 A JP2016114522 A JP 2016114522A
- Authority
- JP
- Japan
- Prior art keywords
- charge
- value
- unit
- distance image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 71
- 238000009825 accumulation Methods 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000013459 approach Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 abstract description 12
- 238000012545 processing Methods 0.000 description 21
- 238000002366 time-of-flight method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
以下、本発明の第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
まず、本実施形態の距離画像生成装置の構成を説明する。図1は、本実施形態の距離画像生成装置の機能ブロック図である。
ここで、光飛行時間型(TOF方式)の距離画像生成装置100における距離画像生成の原理を説明する。図3は、距離画像生成の原理を説明するための図である。
次に、本実施形態の距離画像生成部170を説明する。なお、本実施形態では、対象部113は、静止しているものとする。
繰返距離誤差の発生を、図4および図5を用いて説明する。図4は、電荷振分方式のTOF方式の距離画像生成装置100において、フレーム毎に測定距離にばらつきが発生する様子を説明するための図である。
補正部171は、所定数のフレームの、各電荷蓄積部151、152、153、154に蓄積された電荷量C1、C2、C3、C4(本実施形態では、差分電荷量C1−C3、C2−C4)の、最大値と最小値とから計算される中間値を用いて、各電荷量(差分電荷量C1−C3、C2−C4)を補正する。
Cmid=(Cmax+Cmin)/2 ・・・(3)
Cband=Cmax−Cmin ・・・(4)
C’=C−(C−Cmid)×(Cband/A) ・・・(5)
ここで、Cは、差分電荷量C1−C3または差分電荷量C2−C4、Aは、周囲の環境などに応じて、その時々に、画素毎に設定される定数、C’は、補正後の差分電荷量C1−C3または差分電荷量C2−C4である。
A=|Cmax|+|Cmin| ・・・(7)
本実施形態の距離値算出部173は、差分電荷量C1−C3および差分電荷量C2−C4の代わりに、補正後の差分電荷量(C1−C3)’および差分電荷量(C2−C4)’を上記式(2)に代入し、各画素の距離値を算出する。
データベース172は、補正部171が補正に用いる、直近の、予め定めたフレーム数Fの、各差分電荷量C1−C3および差分電荷量C2−C4を蓄積する。
次に、本実施形態の距離画像生成処理の流れを説明する。図7は、本実施形態の、1フレーム分の距離画像を生成する距離画像生成処理の処理フローである。なお、ここでは、全画素数をP(Pは1以上の整数)、処理対象画素をp(1≦p≦Pを満たす整数)とする。
次に、本発明の第二の実施形態を説明する。第一の実施形態では、対象物113が静止していることを前提としている。本実施形態では、対象物113が移動する場合も考慮する。
本実施形態の強度画像生成部174は、各電荷蓄積部151、152、153、154から、それぞれ電荷量C1、C2、C3、C4を読み出し、以下の式(8)により、各画素の強度値Pを算出し、それを画素値とする強度画像を生成する。
式(8)からわかるように、強度値Pは、対象物113からの反射光(入射光112)の強さに依存する。このため、対象物113が近づいたり遠ざかったりし、距離値に変動がある場合、あるいは、撮像範囲に他の物体が入ってくる場合、反射光(入射光112)も増減し、強度値Pは変化する。
本実施形態では、データベース172は、図10に示すように、補正部171が補正に用いる、直近の、予め定めたフレーム数Fの、各差分電荷量C1−C3および差分電荷量C2−C4に加え、直近の1フレーム(フレーム1)の、強度値Pが蓄積される。この強度値Pは、新たなフレームの強度値が算出される毎に、更新される。
本実施形態の距離画像生成処理の流れを説明する。図11は、本実施形態の1フレーム分の距離画像を生成する距離画像生成処理の処理フローである。なお、本実施形態においても、全画素数をP(Pは1以上の整数)、処理対象画素をp(1≦p≦Pを満たす整数)とする。
Claims (7)
- 対象空間に変調した変調光を照射する光源を備える光源部と、
前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する、画素毎に設けられた光電変換素子と、
前記光電変換素子毎に複数設けられた電荷蓄積部と、
前記変調光の変調に同期して、前記光電変換素子により変換された電荷を、前記複数の電荷蓄積部に振り分ける電荷振分部と、
各前記電荷蓄積部に蓄積された電荷量を用い、画素値が距離値である距離画像を生成する距離画像生成部と、を備え、
前記距離画像生成部は、
各前記電荷蓄積部に蓄積された前記電荷量を補正する補正部と、
前記補正部による補正後の電荷量を用いて前記距離値を算出する距離値算出部と、を備え、
前記補正部は、所定数のフレームの、各前記電荷蓄積部に蓄積された電荷量の最大値と最小値とに基づいて計算される中間値を用いて、各前記電荷量を補正すること
を特徴とする距離画像生成装置。 - 請求項1記載の距離画像生成装置であって、
前記電荷蓄積部に蓄積された、補正前の前記電荷量を用いて画素値が強度値である強度画像を生成する強度画像生成部と、
前記強度画像を用い、画素毎に前記対象物の変動の有無を判別する変動判別部と、をさらに備え、
前記補正部は、前記変動判別部が変動無しと判別した画素について、前記各電荷量を補正し、
前記距離値算出部は、前記変動判別部が変動有と判別した画素については、前記補正前の電荷量を用いて前記距離値を算出すること
を特徴とする距離画像生成装置。 - 請求項1または2記載の距離画像生成装置であって、
前記補正部は、各前記電荷量が、前記中間値に近づくように当該電荷量を補正すること
を特徴とする距離画像生成装置。 - 請求項1から3いずれか1項記載の距離画像生成装置であって、
前記補正部は、前記最大値と最小値との差が大きい画素ほど、各前記電荷量の補正量を大きくすること
を特徴とする距離画像生成装置。 - 請求項1から4いずれか1項記載の距離画像生成装置であって、
前記電荷蓄積部は、前記光電変換素子毎に4つ設けられ、
前記電荷振分部は、4つの前記電荷蓄積部に予め定めた順に前記電荷を振り分け、
前記補正部は、1番目および3番目に電荷を振り分ける電荷蓄積部に蓄積される電荷量の差、および、2番目および4番目に電荷を振り分ける電荷蓄積部に蓄積される電荷量の差を、それぞれ補正すること
を特徴とする距離画像生成装置。 - 対象空間に変調した変調光を照射する光源を備える光源部と、
前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する、画素毎に設けられた光電変換素子と、
前記光電変換素子毎に複数設けられた電荷蓄積部と、
前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える距離画像生成装置における距離画像生成方法であって、
所定のフレーム間の、各前記電荷蓄積部に蓄積された電荷量の最大値と最小値とに基づいて中間値を計算し、
前記中間値を用いて、当該電荷蓄積部の電荷量を補正し、
補正後の電荷量を用いて、画素値が距離値である距離画像を生成すること
を特徴とする距離画像生成方法。 - 対象空間に変調した変調光を照射する光源を備える光源部と、
前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する、画素毎に設けられた光電変換素子と、
前記光電変換素子毎に複数設けられた電荷蓄積部と、
前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える距離画像生成装置のコンピュータに、
所定のフレーム間の、各前記電荷蓄積部に蓄積された電荷量の最大値と最小値とに基づいて中間値を計算する手順、
前記中間値を用いて、当該電荷蓄積部の電荷量を補正する手順、
補正後の電荷量を用いて、画素値が距離値である距離画像を生成する手順を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014254367A JP6498429B2 (ja) | 2014-12-16 | 2014-12-16 | 距離画像生成装置、距離画像生成方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014254367A JP6498429B2 (ja) | 2014-12-16 | 2014-12-16 | 距離画像生成装置、距離画像生成方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016114522A true JP2016114522A (ja) | 2016-06-23 |
JP6498429B2 JP6498429B2 (ja) | 2019-04-10 |
Family
ID=56141551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014254367A Active JP6498429B2 (ja) | 2014-12-16 | 2014-12-16 | 距離画像生成装置、距離画像生成方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6498429B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018066609A (ja) * | 2016-10-18 | 2018-04-26 | 株式会社リコー | 測距装置、監視カメラ、3次元計測装置、移動体、ロボット及び測距方法 |
WO2019021439A1 (ja) * | 2017-07-27 | 2019-01-31 | マクセル株式会社 | 撮像素子、撮像装置、および距離画像の取得方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002277239A (ja) * | 2001-03-19 | 2002-09-25 | Matsushita Electric Works Ltd | 距離測定装置 |
WO2004090994A1 (en) * | 2003-04-07 | 2004-10-21 | Matsushita Electric Works Ltd. | Light receiving device with controllable sensitivity and spatial information detecting apparatus using the same |
JP3906859B2 (ja) * | 2004-09-17 | 2007-04-18 | 松下電工株式会社 | 距離画像センサ |
JP2007271373A (ja) * | 2006-03-30 | 2007-10-18 | Toyota Central Res & Dev Lab Inc | 物体検出装置 |
JP2008164496A (ja) * | 2006-12-28 | 2008-07-17 | Toyota Central R&D Labs Inc | 計測装置 |
US20110037969A1 (en) * | 2009-08-14 | 2011-02-17 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Concept for optical distance measurement |
JP2011122913A (ja) * | 2009-12-10 | 2011-06-23 | Stanley Electric Co Ltd | 距離画像生成装置および距離画像生成方法 |
-
2014
- 2014-12-16 JP JP2014254367A patent/JP6498429B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002277239A (ja) * | 2001-03-19 | 2002-09-25 | Matsushita Electric Works Ltd | 距離測定装置 |
WO2004090994A1 (en) * | 2003-04-07 | 2004-10-21 | Matsushita Electric Works Ltd. | Light receiving device with controllable sensitivity and spatial information detecting apparatus using the same |
JP3906859B2 (ja) * | 2004-09-17 | 2007-04-18 | 松下電工株式会社 | 距離画像センサ |
JP2007271373A (ja) * | 2006-03-30 | 2007-10-18 | Toyota Central Res & Dev Lab Inc | 物体検出装置 |
JP2008164496A (ja) * | 2006-12-28 | 2008-07-17 | Toyota Central R&D Labs Inc | 計測装置 |
US20110037969A1 (en) * | 2009-08-14 | 2011-02-17 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Concept for optical distance measurement |
JP2011122913A (ja) * | 2009-12-10 | 2011-06-23 | Stanley Electric Co Ltd | 距離画像生成装置および距離画像生成方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018066609A (ja) * | 2016-10-18 | 2018-04-26 | 株式会社リコー | 測距装置、監視カメラ、3次元計測装置、移動体、ロボット及び測距方法 |
WO2019021439A1 (ja) * | 2017-07-27 | 2019-01-31 | マクセル株式会社 | 撮像素子、撮像装置、および距離画像の取得方法 |
JPWO2019021439A1 (ja) * | 2017-07-27 | 2020-04-09 | マクセル株式会社 | 撮像素子、撮像装置、および距離画像の取得方法 |
US11506766B2 (en) | 2017-07-27 | 2022-11-22 | Maxell, Ltd. | Image-capturing device, image-capturing apparatus and method of acquiring distance image |
US12044805B2 (en) | 2017-07-27 | 2024-07-23 | Maxell, Ltd. | Image-capturing device, image-capturing apparatus and method of acquiring distance image |
Also Published As
Publication number | Publication date |
---|---|
JP6498429B2 (ja) | 2019-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11694350B2 (en) | Time-of-flight depth measurement using modulation frequency adjustment | |
EP3293698B1 (en) | Time-of-flight measuring apparatus and image processing method for reducing blur of depth image therein | |
US9832362B2 (en) | Image-capturing apparatus | |
JP5743390B2 (ja) | 測距装置、及び測距方法 | |
JP5190663B2 (ja) | 距離画像生成装置 | |
JP2012168049A (ja) | 距離画像生成装置および距離画像生成方法 | |
CN109903324B (zh) | 一种深度图像获取方法及装置 | |
JP2013050310A (ja) | 距離画像生成装置 | |
JP7289621B2 (ja) | 制御装置、撮像装置、制御方法、および、プログラム | |
JP2016156934A (ja) | 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム | |
US9467616B2 (en) | Distance measurement apparatus and distance measurement method | |
JP6427998B2 (ja) | 光飛行型測距装置 | |
JP2012253713A (ja) | 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム | |
US20200106951A1 (en) | Display control apparatus, display control method, and image capturing apparatus | |
JP6498429B2 (ja) | 距離画像生成装置、距離画像生成方法およびプログラム | |
JP2015175752A (ja) | 距離画像生成装置、物体検出装置および物体検出方法 | |
JP2010008507A (ja) | カメラ | |
JP5452200B2 (ja) | 距離画像生成装置および距離画像生成方法 | |
US9030414B2 (en) | Method of dynamically adjusting image frame rate and device using same | |
CN112019773A (zh) | 图像传感器、深度数据测量头、测量装置和方法 | |
JP6485116B2 (ja) | 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム | |
JP6298236B2 (ja) | 距離画像生成装置および距離画像生成方法 | |
US9571750B2 (en) | Image capturing apparatus, method for controlling the same, and storage medium | |
JP2016217907A (ja) | 距離画像生成装置 | |
JP5190721B2 (ja) | 距離画像生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6498429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |