JP2019100969A - 距離計測装置、距離計測方法および距離計測プログラム - Google Patents
距離計測装置、距離計測方法および距離計測プログラム Download PDFInfo
- Publication number
- JP2019100969A JP2019100969A JP2017235049A JP2017235049A JP2019100969A JP 2019100969 A JP2019100969 A JP 2019100969A JP 2017235049 A JP2017235049 A JP 2017235049A JP 2017235049 A JP2017235049 A JP 2017235049A JP 2019100969 A JP2019100969 A JP 2019100969A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- pixel
- polarization
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
さらに、1つの案では、上記の距離計測装置と同様の処理をコンピュータに実行させる距離計測プログラムが提供される。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る距離計測装置の構成例および処理例を示す図である。図1に示す距離計測装置1は、TOFセンサ2による計測結果と、複数のカメラによる撮像画像とを用いて、TOFセンサ2と、距離の計測対象とする図示しない対象物との間の距離を、対象物が写った画像の画素ごとに計測する装置である。TOFセンサ2は、被写体に対して測距用の光線を発光し、光線の発光からその反射光を受光するまでの往復時間に基づいて、被写体の距離(デプス)を計測する。
ここで、上記のように、距離画像11においては、距離の計測時刻が画素の位置によって異なる。このため、移動する対象物を測距対象とした場合、距離画像11に写る対象物の像の形状が歪むことがある。このような像の形状の歪みが生じると、測距精度が悪化する。
図2は、第2の実施の形態に係る形状計測システムの構成例を示す図である。図2に示す形状計測システムは、形状計測装置100とセンサユニット200とを含む。
まず、形状計測装置100は、例えば、図3に示すようなコンピュータとして実現される。図3に示す形状計測装置100は、プロセッサ101、RAM(Random Access Memory)102、HDD(Hard Disk Drive)103、グラフィック処理装置104、入力インタフェース105、読み取り装置106、ネットワークインタフェース107および通信インタフェース108を有する。
通信インタフェース108は、センサユニット200との間でデータの送受信を行う。
一方、センサユニット200のTOFセンサ210は、赤外線発光部211と赤外線受光部212を有する。赤外線発光部211は、被写体に対して赤外線レーザを発光する。赤外線受光部212は、赤外線発光部211から発光された赤外線レーザの反射光を受光する。TOFセンサ210は、赤外線発光部211から発光された赤外線レーザの反射光が被写体から戻ってくるまでの往復時間を計測し、計測された往復時間に光速を乗算することによって、被写体のデプスを算出する。TOFセンサ210は、画像上の画素ごとにデプスをプロットした第1デプス画像を、形状計測装置100に出力する。
ここで、法線画像115から推定されるデプスは、スケールが未知の値となる。詳細形状算出部126は、信頼度を用いて変換された第1デプス画像と、第2デプス画像116との間の二乗誤差を最小化する処理を行うことで、第2デプス画像116のスケールを推定する。詳細形状算出部126は、推定されたスケールが適用された第2デプス画像を、像の形状の歪みが補正されたデプス画像として出力する。
<第1デプス画像とカメラ画像の取得>
第1デプス取得部121は、TOFセンサ210から第1デプス画像111を取得して、記憶部110に格納する。また、カメラ画像取得部122は、カメラ部220のカメラ221,222,223によってそれぞれ撮影されたカメラ画像112a,112b,112cを取得して、記憶部110に格納する。
次に、信頼度算出部123による信頼度の算出処理について説明する。
図7は、信頼度の算出について説明するための図である。信頼度算出部123は、第1デプス画像111の取得時刻と、カメラ画像112a〜112cの撮影時刻とに基づいて、第1デプス画像111上の画素ごとに信頼度を算出する。
次に、偏光画像算出部124による偏光画像114の算出処理について説明する。
図8は、偏光画像算出処理の概要を示す図である。偏光画像算出部124は、カメラ画像112a〜112cのそれぞれに対して、視点を第1デプス画像111の視点に合わせるための視点変換処理を施す。この視点変換処理のために、次のような事前準備が行われる。
ym=amcos(Θ+bm)+cm ・・・(1)
偏光画像算出部124は、得られたコサインカーブにおける最大値と最小値を求め、「(最大値/最小値)/(最大値+最小値)」という式によって、m番目の画素の偏光度を算出する。これにより、偏光度は0以上1以下の値として算出される。
次に、法線算出部125による法線の情報の算出処理について説明する。
法線算出部125は、偏光画像114に基づいて、偏光画像114上の画素ごとに法線の情報を算出する。法線の情報として、天頂角θと方位角φが算出される。
法線算出部125は、偏光画像114の算出処理において近似されたコサインカーブにおいて、輝度値が最大となる角度θmaxを求める。この角度θmaxは、直線偏光の受光量が最大となる偏光方向を示す。また、この角度θmaxは、式(1)のbmとして求められる。
次に、詳細形状算出部126の処理について説明する。
図10は、詳細形状算出部の処理手順の概要を示す図である。
詳細形状算出部126は、次のような手順で、法線画像115の各画素の第2デプスを推定することで、第2デプス画像116を生成する。法線画像115の座標(x,y)における法線n’=(n’x,n’y,n’z)は、天頂角θと方位角φを用いて次の式(4−1)〜(4−3)で表される。
n’x=cosφsinθ ・・・(4−1)
n’y=sinφcosθ ・・・(4−2)
n’z=cosθ ・・・(4−3)
また、法線画像115の座標(x,y)における第2デプスの勾配を(p’,q’,−1)とすると、法線n’=(n’x,n’y,n’z)は次の式(5−1)〜(5−3)で表される。
次に、形状計測装置100の処理手順について、フローチャートを用いて説明する。
図11、図12は、形状計測装置の処理手順の例を示すフローチャートである。
[ステップS22]詳細形状算出部126は、法線画像115に基づき、法線画像115の各画素の第2デプスを推定する。具体的には、詳細形状算出部126は、前述の式(5−1)〜(5−3)の法線n’にn’zを乗算し、その乗算結果と前述の式(4−1)〜(4−3)とに基づいて、第2デプスの勾配を示すパラメータであるp’,q’を算出する。そして、詳細形状算出部126は、前述の式(6)を用いて第2デプスDpを算出する。詳細形状算出部126は、推定された第2デプスDpを画素ごとにプロットした第2デプス画像116を生成して、記憶部110に格納する。
1a 記憶部
1b 演算部
2 TOFセンサ
3a〜3c カメラ
4a〜4c 画像
11,14,15 距離画像
12 偏光画像
13 信頼度
16 距離の出力値
Claims (8)
- TOF(Time Of Flight)センサから取得された第1の距離画像と、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像とを記憶する記憶部と、
前記第1の距離画像の画素ごとに、距離の計測時刻と前記複数の画像の撮影時刻との差に応じた信頼度を算出し、前記第1の距離画像の画素ごとの距離に前記信頼度を重み付けすることで算出される第2の距離画像と、前記偏光画像に基づいて画素ごとに距離を推定することで算出された第3の距離画像とを用いて、前記TOFセンサから被写体までの距離の出力値を画素ごとに算出する演算部と、
を有する距離計測装置。 - 前記信頼度の算出では、前記計測時刻と前記撮影時刻との差が小さいほど、前記信頼度として高い値を設定する、
請求項1記載の距離計測装置。 - 前記出力値の算出では、前記第2の距離画像と前記第3の距離画像との間の誤差を最小化する処理を行うことで、前記第3の距離画像の各画素の距離についてのスケールを推定し、推定された前記スケールを用いて前記第3の距離画像を変換することで、前記出力値を算出する、
請求項1または2記載の距離計測装置。 - 前記出力値の算出では、
前記第2の距離画像の各画素の距離と、前記第3の距離画像の各画素の距離に対して前記スケールを推定するための変数を乗算した値との間の誤差が最小となるような前記変数を算出し、
前記第3の距離画像の各画素の距離に対して前記変数を乗算した値を、前記出力値として算出する、
請求項3記載の距離計測装置。 - 前記演算部は、さらに、
前記偏光画像に基づいて、画素ごとに法線の情報を対応付けた法線画像を算出し、
前記法線画像に基づいて前記第3の距離画像を算出する、
請求項1乃至4のいずれか1項に記載の距離計測装置。 - 前記TOFセンサは、測距用の光線を所定の第1の方向に延びる照射パターンとして発光し、前記照射パターンを前記第1の方向に直交する第2の方向に順次移動させながら前記光線の反射光を受光することで、前記第1の距離画像を生成する、
請求項1乃至5のいずれか1項に記載の距離計測装置。 - コンピュータが、
TOFセンサから第1の距離画像を取得するとともに、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像を取得し、
前記第1の距離画像の画素ごとに、距離の計測時刻と前記複数の画像の撮影時刻との差に応じた信頼度を算出し、
前記第1の距離画像の画素ごとの距離に前記信頼度を重み付けすることで算出される第2の距離画像と、前記偏光画像に基づいて画素ごとに距離を推定することで算出された第3の距離画像とを用いて、前記TOFセンサから被写体までの距離の出力値を画素ごとに算出する、
距離計測方法。 - コンピュータに、
TOFセンサから第1の距離画像を取得するとともに、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像を取得し、
前記第1の距離画像の画素ごとに、距離の計測時刻と前記複数の画像の撮影時刻との差に応じた信頼度を算出し、
前記第1の距離画像の画素ごとの距離に前記信頼度を重み付けすることで算出される第2の距離画像と、前記偏光画像に基づいて画素ごとに距離を推定することで算出された第3の距離画像とを用いて、前記TOFセンサから被写体までの距離の出力値を画素ごとに算出する、
処理を実行させる距離計測プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017235049A JP6892603B2 (ja) | 2017-12-07 | 2017-12-07 | 距離計測装置、距離計測方法および距離計測プログラム |
US16/211,650 US11428522B2 (en) | 2017-12-07 | 2018-12-06 | Distance measuring device, distance measuring method, and non-transitory computer-readable storage medium for storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017235049A JP6892603B2 (ja) | 2017-12-07 | 2017-12-07 | 距離計測装置、距離計測方法および距離計測プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019100969A true JP2019100969A (ja) | 2019-06-24 |
JP6892603B2 JP6892603B2 (ja) | 2021-06-23 |
Family
ID=66734687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017235049A Active JP6892603B2 (ja) | 2017-12-07 | 2017-12-07 | 距離計測装置、距離計測方法および距離計測プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11428522B2 (ja) |
JP (1) | JP6892603B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021146969A1 (zh) * | 2020-01-21 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 距离测量方法、可移动平台、设备和存储介质 |
CN115077402B (zh) * | 2022-06-22 | 2024-07-12 | 广州市城市规划勘测设计研究院 | 一种管线埋深及管径的测量装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007333441A (ja) * | 2006-06-13 | 2007-12-27 | Yaskawa Electric Corp | 移動体およびその環境認識センサ |
JP2010256138A (ja) * | 2009-04-23 | 2010-11-11 | Canon Inc | 撮像装置及びその制御方法 |
WO2016136086A1 (ja) * | 2015-02-27 | 2016-09-01 | ソニー株式会社 | 撮像装置と画像処理装置と画像処理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102113021B (zh) | 2008-12-25 | 2013-11-27 | 松下电器产业株式会社 | 图像处理装置和模拟立体图像生成装置 |
US8619122B2 (en) | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
US11313678B2 (en) * | 2011-06-30 | 2022-04-26 | The Regents Of The University Of Colorado | Remote measurement of shallow depths in semi-transparent media |
JP2013044597A (ja) | 2011-08-23 | 2013-03-04 | Canon Inc | 画像処理装置および方法、プログラム |
US20140363073A1 (en) | 2013-06-11 | 2014-12-11 | Microsoft Corporation | High-performance plane detection with depth camera data |
US9438891B2 (en) | 2014-03-13 | 2016-09-06 | Seiko Epson Corporation | Holocam systems and methods |
US10260866B2 (en) | 2015-03-06 | 2019-04-16 | Massachusetts Institute Of Technology | Methods and apparatus for enhancing depth maps with polarization cues |
WO2017199531A1 (ja) * | 2016-05-16 | 2017-11-23 | ソニー株式会社 | 撮像装置及び内視鏡 |
WO2018061508A1 (ja) * | 2016-09-28 | 2018-04-05 | ソニー株式会社 | 撮像素子、画像処理装置、および画像処理方法、並びにプログラム |
US11427218B2 (en) * | 2017-08-04 | 2022-08-30 | Sony Corporation | Control apparatus, control method, program, and moving body |
US10574973B2 (en) * | 2017-09-06 | 2020-02-25 | Facebook Technologies, Llc | Non-mechanical beam steering for depth sensing |
-
2017
- 2017-12-07 JP JP2017235049A patent/JP6892603B2/ja active Active
-
2018
- 2018-12-06 US US16/211,650 patent/US11428522B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007333441A (ja) * | 2006-06-13 | 2007-12-27 | Yaskawa Electric Corp | 移動体およびその環境認識センサ |
JP2010256138A (ja) * | 2009-04-23 | 2010-11-11 | Canon Inc | 撮像装置及びその制御方法 |
WO2016136086A1 (ja) * | 2015-02-27 | 2016-09-01 | ソニー株式会社 | 撮像装置と画像処理装置と画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US11428522B2 (en) | 2022-08-30 |
JP6892603B2 (ja) | 2021-06-23 |
US20190178633A1 (en) | 2019-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dorrington et al. | Separating true range measurements from multi-path and scattering interference in commercial range cameras | |
US11763518B2 (en) | Method and system for generating a three-dimensional image of an object | |
CN109477710B (zh) | 基于点的结构化光系统的反射率图估计 | |
Teichman et al. | Unsupervised Intrinsic Calibration of Depth Sensors via SLAM. | |
US8339582B2 (en) | Apparatus and method to correct image | |
US10430956B2 (en) | Time-of-flight (TOF) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection | |
CN107729893B (zh) | 一种合模机的视觉定位方法、系统和存储介质 | |
JP5633058B1 (ja) | 3次元計測装置及び3次元計測方法 | |
JP2012058076A (ja) | 3次元計測装置及び3次元計測方法 | |
CN111047650B (zh) | 一种用于飞行时间相机的参数标定方法 | |
KR20190104367A (ko) | 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램 | |
JP2016100698A (ja) | 校正装置、校正方法、プログラム | |
Lichti et al. | Structural deflection measurement with a range camera | |
KR20140143724A (ko) | 높은 스루풋 및 저비용 높이 삼각측량 시스템 및 방법 | |
JPWO2016135856A1 (ja) | 3次元形状計測システムおよびその計測方法 | |
JP6892603B2 (ja) | 距離計測装置、距離計測方法および距離計測プログラム | |
US11353565B2 (en) | Time-of-flight imaging apparatus and method | |
CN113029037B (zh) | 物体的轮廓测量方法、装置、计算机设备和可读存储介质 | |
US8818124B1 (en) | Methods, apparatus, and systems for super resolution of LIDAR data sets | |
JP2009236696A (ja) | 被写体の3次元画像計測方法、計測システム、並びに計測プログラム | |
US20200182971A1 (en) | Time of Flight Sensor Module, Method, Apparatus and Computer Program for Determining Distance Information based on Time of Flight Sensor Data | |
JP2014203162A (ja) | 傾斜角推定装置、mtf測定装置、傾斜角推定プログラム及びmtf測定プログラム | |
Weinmann et al. | Semi-automatic image-based co-registration of range imaging data with different characteristics | |
JP6250035B2 (ja) | 奥行きセンサベース反射物体の形状取得方法及び装置 | |
JP7071633B2 (ja) | 距離計測装置、距離計測方法および距離計測プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200911 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200918 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6892603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |