JP2020186944A - Position attitude estimating device and position attitude estimating method - Google Patents
Position attitude estimating device and position attitude estimating method Download PDFInfo
- Publication number
- JP2020186944A JP2020186944A JP2019089947A JP2019089947A JP2020186944A JP 2020186944 A JP2020186944 A JP 2020186944A JP 2019089947 A JP2019089947 A JP 2019089947A JP 2019089947 A JP2019089947 A JP 2019089947A JP 2020186944 A JP2020186944 A JP 2020186944A
- Authority
- JP
- Japan
- Prior art keywords
- posture
- image
- coordinate system
- coordinates
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、位置姿勢推定装置及び位置姿勢推定方法に関する。 The present invention relates to a position / orientation estimation device and a position / orientation estimation method.
従来、移動体(例えば車両又は航空機)を用いて測量対象物(例えば地面又は構造物)の三次元形状を測定する測量装置が開発されている。 Conventionally, a surveying device for measuring a three-dimensional shape of a surveying object (for example, the ground or a structure) using a moving body (for example, a vehicle or an aircraft) has been developed.
すなわち、測量対象物に沿うように移動体が移動しているとき、測量対象物撮像用の撮像機(例えばデジタルカメラ)により測量対象物が複数回撮像される。また、このとき、位置測定用の測定器(例えばトータルステーション)により移動体の位置が複数回測定される。また、このとき、姿勢検出用のセンサ(例えばジャイロセンサ)により移動体の姿勢が複数回検出される。当該撮像された画像、当該測定された位置、及び当該検出された姿勢に基づき、測量対象物の三次元形状が測定される。測量対象物撮像用の撮像機及び姿勢検出用のセンサは、移動体に設けられている(例えば、特許文献1参照。)。 That is, when the moving object is moving along the surveying object, the surveying object is imaged a plurality of times by an imager (for example, a digital camera) for capturing the surveying object. At this time, the position of the moving body is measured a plurality of times by a measuring device for position measurement (for example, a total station). At this time, the posture of the moving body is detected a plurality of times by a posture detection sensor (for example, a gyro sensor). The three-dimensional shape of the surveyed object is measured based on the captured image, the measured position, and the detected posture. An imager for capturing an image of a surveyed object and a sensor for detecting a posture are provided on a moving body (see, for example, Patent Document 1).
または、測量対象物に沿うように移動体が移動しているとき、距離測定用の測定器(例えばレーザスキャナ)により移動体と測量対象物間の距離が複数回測定される。また、このとき、位置測定用の測定器により移動体の位置が複数回測定される。また、このとき、姿勢検出用のセンサにより移動体の姿勢が複数回検出される。当該測定された距離、当該測定された位置、及び当該検出された姿勢に基づき、測量対象物の三次元形状が測定される。距離測定用の測定器及び姿勢検出用のセンサは、移動体に設けられている(例えば、特許文献2参照。)。 Alternatively, when the moving object is moving along the surveying object, the distance between the moving object and the surveying object is measured a plurality of times by a measuring instrument for distance measurement (for example, a laser scanner). At this time, the position of the moving body is measured a plurality of times by the measuring device for position measurement. At this time, the posture of the moving body is detected a plurality of times by the posture detection sensor. The three-dimensional shape of the object to be surveyed is measured based on the measured distance, the measured position, and the detected posture. A measuring instrument for distance measurement and a sensor for posture detection are provided on a moving body (see, for example, Patent Document 2).
高精度な測量を実現する観点から、移動体の姿勢を高精度に検出することが要求される。ここで、高精度なセンサを用いることにより、移動体の姿勢を高精度に検出することが考えられる。しかしながら、通常、高精度なセンサは高価である。 From the viewpoint of realizing highly accurate surveying, it is required to detect the posture of the moving body with high accuracy. Here, it is conceivable to detect the posture of the moving body with high accuracy by using a high-precision sensor. However, high precision sensors are usually expensive.
これに対して、特許文献2には、距離測定用の測定器(距離計測部20)と異なる撮像機(画像取得部30)により撮像された画像を用いて、姿勢検出用のセンサ(慣性計測部40)による検出値を補正する技術が開示されている。これは、移動体の姿勢検出の精度向上を図るものである。しかしながら、かかる画像を用いた検出値の補正による精度向上には限界がある。
On the other hand, in
本発明は、上記のような課題を解決するためになされたものであり、高精度な姿勢検出用のセンサを用いることなく、移動体の位置及び姿勢を高精度に推定することができる位置姿勢推定装置を提供することを目的とする。 The present invention has been made to solve the above problems, and can estimate the position and posture of a moving body with high accuracy without using a sensor for high-precision posture detection. It is an object of the present invention to provide an estimation device.
本発明の位置姿勢推定装置は、位置測定用の測定器による測定対象となる反射材と、撮像機と、を備える移動体用の位置姿勢推定装置であって、測定器により測定された位置を示す位置情報を取得する位置情報取得部と、撮像機により撮像された画像を示す画像情報を取得する画像情報取得部と、位置情報及び画像情報を用いて反射材の姿勢を算出することにより、反射材の姿勢を示す姿勢情報を生成する姿勢情報生成部と、位置情報及び姿勢情報を用いて移動体の位置及び移動体の姿勢を算出する位置姿勢算出部と、を備えるものである。 The position / posture estimation device of the present invention is a position / posture estimation device for a moving body including a reflective material to be measured by a measuring device for position measurement and an imager, and measures the position measured by the measuring device. By calculating the posture of the reflective material by using the position information acquisition unit for acquiring the indicated position information, the image information acquisition unit for acquiring the image information indicating the image captured by the imager, and the position information and the image information. It includes a posture information generation unit that generates posture information indicating the posture of the reflective material, and a position / orientation calculation unit that calculates the position of the moving body and the posture of the moving body using the position information and the posture information.
本発明によれば、上記のように構成したので、高精度な姿勢検出用のセンサを用いることなく、移動体の位置及び姿勢を高精度に推定することができる。 According to the present invention, since it is configured as described above, the position and posture of the moving body can be estimated with high accuracy without using a sensor for high-precision posture detection.
実施の形態1.
図1は、実施の形態1に係る位置姿勢推定装置を含む測量装置の要部を示す斜視図である。図2は、実施の形態1に係る位置姿勢推定装置を含む測量装置の要部を示すブロック図である。図3は、実施の形態1に係る位置姿勢推定装置を含む測量装置における計算機の要部を示すブロック図である。図1〜図3を参照して、実施の形態1に係る位置姿勢推定装置を含む測量装置について説明する。
FIG. 1 is a perspective view showing a main part of a surveying device including a position / orientation estimation device according to the first embodiment. FIG. 2 is a block diagram showing a main part of a surveying device including the position / orientation estimation device according to the first embodiment. FIG. 3 is a block diagram showing a main part of a computer in a surveying device including a position / orientation estimation device according to the first embodiment. A surveying device including the position / orientation estimation device according to the first embodiment will be described with reference to FIGS. 1 to 3.
測量装置200は、測量用の移動体を有している。移動体は、例えば、台車1により構成されている。
The
台車1に位置測定用の反射材が設けられている。反射材は、例えば、全周型のプリズム2により構成されている。また、測量装置200は、位置測定用の測定器を有している。測定器は、例えば、自動追尾型のトータルステーション3により構成されている。すなわち、トータルステーション3は、プリズム2に位置測定用の光を照射する。プリズム2は、当該照射された光を反射する。トータルステーション3は、当該反射された光を受信する。これにより、プリズム2の位置が測定される。トータルステーション3は、プリズム2を追尾する機能を有している。
A reflective material for position measurement is provided on the
台車1に撮像機が設けられている。撮像機は、例えば、ステレオカメラ4により構成されている。すなわち、ステレオカメラ4は、右眼カメラ5及び左眼カメラ6を有している。右眼カメラ5による視野は、左眼カメラ6による視野と重複している。右眼カメラ5及び左眼カメラ6の各々は、デジタルカメラにより構成されている。ステレオカメラ4は、任意の所定の領域(以下「撮像対象領域」という。)を撮像するものである。撮像対象領域は、例えば、測量装置200による測量対象物を含む領域である。測量対象物は、例えば、地面である。以下、測量対象物を含む領域が撮像対象領域に設定されており、かつ、測量対象物が地面である場合の例を中心に説明する。
An imager is provided on the
台車1が走行しているとき、トータルステーション3がプリズム2の位置を複数回測定する。記憶装置7は、当該測定された位置を示す情報(以下「位置情報」という。)を記憶するものである。また、このとき、トータルステーション3による測定タイミングと同期された撮像タイミングにて、右眼カメラ5及び左眼カメラ6の各々が撮像対象領域を複数回撮像する。記憶装置7は、当該撮像された画像を示す情報(以下「画像情報」という。)を記憶するものである。記憶装置7は、例えば、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成されている。
When the
以下、トータルステーション3による測定タイミング及びステレオカメラ4による撮像タイミングを総称して単に「タイミング」ということがある。また、右眼カメラ5により撮像された画像を「右眼画像」という。また、左眼カメラ6により撮像された画像を「左眼画像」という。また、右眼画像及び左眼画像を総称して「ステレオ画像」又は「デジタル画像」ということがある。
Hereinafter, the measurement timing by the
位置情報取得部11は、記憶装置7に記憶されている位置情報を取得するものである。画像情報取得部12は、記憶装置7に記憶されている画像情報を取得するものである。
The position
姿勢情報生成部13は、位置情報取得部11により取得された位置情報及び画像情報取得部12により取得された画像情報を用いて、各タイミングにおけるプリズム2の姿勢を算出するものである。姿勢情報生成部13は、当該算出された姿勢を示す情報(以下「姿勢情報」という。)を生成するものである。
The posture
ここで、姿勢情報生成部13は、デジタル画像における接合点(以下「タイポイント」という。)の位置に基づき、プリズム2の姿勢を算出するようになっている。
Here, the posture
個々のタイポイントは、例えば、撮像対象領域における地点に対応するものである。この場合、個々の地点の位置は、測量装置200において未知であっても良い。または、例えば、個々のタイポイントは、撮像対象領域に設けられたマーカに対応するものである。この場合、個々のマーカの位置は、測量装置200において既知であっても良く、又は測量装置200において未知であっても良い。
Each tie point corresponds to, for example, a point in the imaging target area. In this case, the positions of the individual points may be unknown in the
以下、個々のタイポイントが地点に対応するものである場合において、かかる地点の位置が未知であるとき、かかる地点を「未知の地点」ということがある。また、個々のタイポイントがマーカに対応するものである場合において、かかるマーカの位置が既知であるとき、かかるマーカを「既知のマーカ」ということがある。また、個々のタイポイントがマーカに対応するものである場合において、かかるマーカの位置が未知であるとき、かかるマーカを「未知のマーカ」ということがある。 Hereinafter, when each tie point corresponds to a point and the position of the point is unknown, the point may be referred to as an "unknown point". Further, when each tie point corresponds to a marker and the position of the marker is known, the marker may be referred to as a "known marker". Further, when each tie point corresponds to a marker and the position of the marker is unknown, the marker may be referred to as an "unknown marker".
位置姿勢算出部14は、位置情報取得部11により取得された位置情報及び姿勢情報生成部13により生成された姿勢情報を用いて、各タイミングにおける台車1の位置及び台車1の姿勢を算出するものである。
The position /
三次元形状算出部15は、画像情報取得部12により取得された画像情報を用いて、位置姿勢算出部14により算出された位置及び姿勢に基づき、測量対象物の三次元形状を算出するものである。具体的には、例えば、三次元形状算出部15は、いわゆる「多視点ステレオ」により測量対象物の三次元形状を算出する。多視点ステレオには、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
The three-dimensional
位置情報取得部11、画像情報取得部12、姿勢情報生成部13、位置姿勢算出部14及び三次元形状算出部15により、計算機8の要部が構成されている。また、位置情報取得部11、画像情報取得部12、姿勢情報生成部13及び位置姿勢算出部14により、位置姿勢推定装置100の要部が構成されている。
The main part of the
このようにして、測量装置200の要部が構成されている。
In this way, the main part of the
次に、図4を参照して、計算機8の要部のハードウェア構成について説明する。
Next, the hardware configuration of the main part of the
図4Aに示す如く、計算機8は、プロセッサ21及びメモリ22を有している。メモリ22には、位置情報取得部11、画像情報取得部12、姿勢情報生成部13、位置姿勢算出部14及び三次元形状算出部15の機能を実現するためのプログラムが記憶されている。当該記憶されているプログラムをプロセッサ21が読み出して実行することにより、位置情報取得部11、画像情報取得部12、姿勢情報生成部13、位置姿勢算出部14及び三次元形状算出部15の機能が実現される。
As shown in FIG. 4A, the
または、図4Bに示す如く、計算機8は、処理回路23を有している。この場合、位置情報取得部11、画像情報取得部12、姿勢情報生成部13、位置姿勢算出部14及び三次元形状算出部15の機能が専用の処理回路23により実現される。
Alternatively, as shown in FIG. 4B, the
または、計算機8は、プロセッサ21、メモリ22及び処理回路23を有している(不図示)。この場合、位置情報取得部11、画像情報取得部12、姿勢情報生成部13、位置姿勢算出部14及び三次元形状算出部15の機能のうちの一部の機能がプロセッサ21及びメモリ22により実現されて、残余の機能が専用の処理回路23により実現される。
Alternatively, the
プロセッサ21は、1個又は複数個のプロセッサにより構成されている。個々のプロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)を用いたものである。
The
メモリ22は、1個又は複数個の不揮発性メモリにより構成されている。または、メモリ22は、1個又は複数個の不揮発性メモリ及び1個又は複数個の揮発性メモリにより構成されている。個々の揮発性メモリは、例えば、RAM(Random Access Memory)を用いたものである。個々の不揮発性メモリは、例えば、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、SSD又はHDDを用いたものである。
The
処理回路23は、1個又は複数個のデジタル回路により構成されている。または、処理回路23は、1個又は複数個のデジタル回路及び1個又は複数個のアナログ回路により構成されている。すなわち、処理回路23は、1個又は複数個の処理回路により構成されている。個々の処理回路は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field−Programmable Gate Array)、SoC(System−on−a−Chip)又はシステムLSI(Large−Scale Integration)を用いたものである。
The
次に、位置姿勢推定装置100において使用される座標系について説明する。また、これらの座標系における位置座標について説明する。
Next, the coordinate system used in the position /
世界座標系は、互いに直交するX軸、Y軸及びZ軸を有する右手系の三次元座標系である。世界座標系におけるXY平面は、地面に対して平行又は略平行である。世界座標系におけるZ軸の正方向は、天頂方向を示している。 The world coordinate system is a right-handed three-dimensional coordinate system having X-axis, Y-axis, and Z-axis orthogonal to each other. The XY plane in the world coordinate system is parallel or substantially parallel to the ground. The positive direction of the Z axis in the world coordinate system indicates the zenith direction.
プリズム座標系は、互いに直交するX軸、Y軸及びZ軸を有する右手系の三次元座標系である。プリズム座標系は、プリズム2を基準とする座標系である。プリズム座標系におけるXY平面は、台車1が地面に載置されたとき、地面に対して平行又は略平行となる。プリズム座標系におけるX軸の正方向は、台車1が地面に載置されたとき、台車1の正面方向を示すものとなる。プリズム座標系におけるZ軸の正方向は、台車1が地面に載置されたとき、天頂方向を示すものとなる。
The prism coordinate system is a right-handed three-dimensional coordinate system having an X-axis, a Y-axis, and a Z-axis orthogonal to each other. The prism coordinate system is a coordinate system based on the
右眼カメラ座標系は、互いに直交するX軸、Y軸及びZ軸を有する右手系の三次元座標系である。右眼カメラ座標系の原点は、右眼カメラ5の投影中心に対応している。右眼カメラ座標系におけるXY平面は、右眼カメラ5の投影面に対して平行である。右眼カメラ座標系におけるX軸の正方向は、右眼カメラ5の投影面における上方向に対応している。右眼カメラ座標系におけるY軸の正方向は、右眼カメラ5の投影面における左方向に対応している。
The right-eye camera coordinate system is a three-dimensional coordinate system of a right-handed system having X-axis, Y-axis, and Z-axis orthogonal to each other. The origin of the right-eye camera coordinate system corresponds to the projection center of the right-
左眼カメラ座標系は、互いに直交するX軸、Y軸及びZ軸を有する右手系の三次元座標系である。左眼カメラ座標系の原点は、左眼カメラ6の投影中心に対応している。左眼カメラ座標系におけるXY平面は、左眼カメラ6の投影面に対して平行である。左眼カメラ座標系におけるX軸の正方向は、左眼カメラ6の投影面における上方向に対応している。左眼カメラ座標系におけるY軸の正方向は、左眼カメラ6の投影面における左方向に対応している。
The left-eye camera coordinate system is a right-handed three-dimensional coordinate system having X-axis, Y-axis, and Z-axis orthogonal to each other. The origin of the left-eye camera coordinate system corresponds to the projection center of the left-
台車座標系は、互いに直交するX軸、Y軸及びZ軸を有する任意の三次元座標系である。台車座標系は、台車1を基準とする座標系である。台車座標系は、測量装置200の用途等に応じて設定されるものである。具体的には、例えば、台車座標系は、右眼カメラ座標系と一致する座標系に設定される。または、例えば、台車座標系は、左眼カメラ座標系と一致する座標系に設定される。
The trolley coordinate system is an arbitrary three-dimensional coordinate system having an X-axis, a Y-axis, and a Z-axis orthogonal to each other. The dolly coordinate system is a coordinate system based on the
ここで、プリズム座標系の原点は、プリズム2の位置に対応している。したがって、世界座標系におけるプリズム座標系の原点の位置を示す座標は、世界座標系におけるプリズム2の位置を示すものである。また、台車座標系の原点は、台車1の位置に対応している。したがって、世界座標系における台車座標系の原点の位置を示す座標は、世界座標系における台車1の位置を示すものである。
Here, the origin of the prism coordinate system corresponds to the position of the
以下、世界座標系、プリズム座標系、右眼カメラ座標系、左眼カメラ座標系又は台車座標系における位置座標を「三次元座標」という。特に、世界座標系における個々のタイポイントの三次元座標を「タイポイント位置」ということがある。また、右眼カメラ5の投影面に沿う二次元座標系、又は左眼カメラ6の投影面に沿う二次元座標系における位置座標を「投影座標」という。
Hereinafter, the position coordinates in the world coordinate system, the prism coordinate system, the right eye camera coordinate system, the left eye camera coordinate system, or the trolley coordinate system are referred to as "three-dimensional coordinates". In particular, the three-dimensional coordinates of individual tie points in the world coordinate system are sometimes called "tie point positions". Further, the position coordinates in the two-dimensional coordinate system along the projection plane of the right-
デジタル画像座標系は、互いに直交するU軸及びV軸を有する画像座標系である。デジタル画像座標系における原点は、個々のデジタル画像における左上の隅に対応している。デジタル画像座標系におけるU軸の正方向は、個々のデジタル画像における右方向に対応している。デジタル画像座標系におけるV軸の正方向は、個々のデジタル画像における下方向に対応している。 The digital image coordinate system is an image coordinate system having a U-axis and a V-axis that are orthogonal to each other. The origin in the digital image coordinate system corresponds to the upper left corner of each digital image. The positive direction of the U-axis in the digital image coordinate system corresponds to the right direction in each digital image. The positive direction of the V-axis in the digital image coordinate system corresponds to the downward direction in each digital image.
正規化画像座標系は、互いに直交するU軸及びV軸を有する画像座標系である。正規化画像座標系における原点は、個々のデジタル画像における中心に対応している。正規化画像座標系におけるU軸の正方向は、個々のデジタル画像における上方向に対応している。正規化画像座標系におけるV軸の正方向は、個々のデジタル画像における左方向に対応している。 The normalized image coordinate system is an image coordinate system having a U-axis and a V-axis that are orthogonal to each other. The origin in the normalized image coordinate system corresponds to the center in each digital image. The positive direction of the U-axis in the normalized image coordinate system corresponds to the upward direction in each digital image. The positive direction of the V-axis in the normalized image coordinate system corresponds to the left direction in each digital image.
以下、デジタル画像座標系又は正規化画像座標系における位置座標を「画像座標」という。特に、デジタル画像座標系又は正規化画像座標系における個々のタイポイントの画像座標を「タイポイント座標」ということがある。 Hereinafter, the position coordinates in the digital image coordinate system or the normalized image coordinate system will be referred to as "image coordinates". In particular, the image coordinates of individual tie points in the digital image coordinate system or the normalized image coordinate system may be referred to as "tie point coordinates".
次に、図5のフローチャートを参照して、計算機8の動作について説明する。
Next, the operation of the
なお、ステップST1の処理が実行されるよりも先に、トータルステーション3がプリズム2の位置を複数回測定して、記憶装置7に位置情報が記憶されているものとする。また、ステレオカメラ4が撮像対象領域を複数回撮像して、記憶装置7に画像情報が記憶されているものとする。
It is assumed that the
まず、ステップST1にて、位置情報取得部11は、記憶装置7に記憶されている位置情報を取得する。当該取得された位置情報は、各タイミングにおける世界座標系におけるプリズム2の三次元座標(xp,yp,zp)を示している。
First, in step ST1, the position
次いで、ステップST2にて、画像情報取得部12は、記憶装置7に記憶されている画像情報を取得する。当該取得された画像情報は、各タイミングにて撮像された右眼画像及び左眼画像を示している。
Next, in step ST2, the image
次いで、ステップST3にて、姿勢情報生成部13は、位置情報取得部11により取得された位置情報及び画像情報取得部12により取得された画像情報を用いて、各タイミングにおけるプリズム2の姿勢を算出する。より具体的には、姿勢情報生成部13は、各タイミングにおけるプリズム2の姿勢角度(ωp,φp,κp)の値を算出する。これにより、当該算出された姿勢角度(ωp,φp,κp)の値を示す姿勢情報が生成される。
Next, in step ST3, the posture
ここで、姿勢角度(ωp,φp,κp)は、世界座標系の座標軸に対するプリズム座標系の座標軸の回転角に対応している。すなわち、姿勢角度(ωp,φp,κp)は、オイラー角を示している。より具体的には、ωpがロール角を示しており、φpがピッチ角を示しており、κpがヨー角を示している。 Here, the attitude angles (ω p , φ p , κ p ) correspond to the rotation angles of the coordinate axes of the prism coordinate system with respect to the coordinate axes of the world coordinate system. That is, the attitude angles (ω p , φ p , κ p ) indicate Euler angles. More specifically, ω p indicates the roll angle, φ p indicates the pitch angle, and κ p indicates the yaw angle.
次いで、ステップST4にて、位置姿勢算出部14は、位置情報取得部11により取得された位置情報及び姿勢情報生成部13により生成された姿勢情報を用いて、各タイミングにおける台車1の位置及び台車1の姿勢を算出する。より具体的には、位置姿勢算出部14は、各タイミングにおける世界座標系における台車1の三次元座標(xt,yt,zt)の値を算出する。また、位置姿勢算出部14は、各タイミングにおける台車1の姿勢角度(ωt,φt,κt)の値を算出する。
Next, in step ST4, the position /
ここで、姿勢角度(ωt,φt,κt)は、世界座標系の座標軸に対する台車座標系の座標軸の回転角に対応している。すなわち、姿勢角度(ωt,φt,κt)は、オイラー角を示している。より具体的には、ωtがロール角を示しており、φtがピッチ角を示しており、κtがヨー角を示している。 Here, the attitude angles (ω t , φ t , κ t ) correspond to the rotation angles of the coordinate axes of the trolley coordinate system with respect to the coordinate axes of the world coordinate system. That is, the attitude angles (ω t , φ t , κ t ) indicate Euler angles. More specifically, ω t indicates the roll angle, φ t indicates the pitch angle, and κ t indicates the yaw angle.
次いで、ステップST5にて、三次元形状算出部15は、画像情報取得部12により取得された画像情報を用いて、位置姿勢算出部14により算出された位置及び姿勢に基づき、測量対象物の三次元形状を算出する。具体的には、例えば、三次元形状算出部15は、多視点ステレオにより測量対象物の三次元形状を算出する。
Next, in step ST5, the three-dimensional
次に、図6のフローチャートを参照して、姿勢情報生成部13の詳細な動作について説明する。すなわち、ステップST3の詳細な処理内容について説明する。
Next, the detailed operation of the posture
まず、ステップST11にて、姿勢情報生成部13は、各タイミングにて撮像された右眼画像及び左眼画像の各々における、デジタル画像座標系における個々のタイポイントの画像座標(u,v)の値を算出する。ステップST11の処理には、画像情報取得部12により取得された画像情報が用いられる。
First, in step ST11, the posture
次いで、ステップST12にて、姿勢情報生成部13は、世界座標系における個々のタイポイントの三次元座標(xT,yT,zT)の初期値を算出する。ステップST12の処理には、位置情報取得部11により取得された位置情報が用いられる。
Next, in step ST12, the attitude
次いで、ステップST13にて、姿勢情報生成部13は、各タイミングにおけるプリズム2の姿勢角度(ωp,φp,κp)の初期値を算出する。ステップST13の処理には、位置情報取得部11により取得された位置情報が用いられる。
Next, in step ST13, the posture
次いで、ステップST14にて、姿勢情報生成部13は、ステップST12における初期値に比して最適化された三次元座標(xT,yT,zT)の値を算出する処理(以下「第1最適化処理」という。)を実行する。
Then, at step ST14, the posture
次いで、ステップST15にて、姿勢情報生成部13は、ステップST14にて算出された三次元座標(xT,yT,zT)に比して更に最適化された三次元座標(xT,yT,zT)の値を算出するとともに、ステップST13における初期値に比して最適化された姿勢角度(ωp,φp,κp)の値を算出する処理(以下「第2最適化処理」という。)を実行する。これにより、第2最適化処理による最適化後の姿勢角度(ωp,φp,κp)の値を示す姿勢情報が生成される。
Then, at step ST15, the posture
次に、図7を参照して、ステップST1における、位置情報取得部11により取得される位置情報の具体例について説明する。また、図8を参照して、ステップST2における、画像情報取得部12により取得される画像情報の具体例について説明する。
Next, a specific example of the position information acquired by the position
上記のとおり、台車1が走行しているとき、トータルステーション3がプリズム2の位置を複数回測定するとともに、ステレオカメラ4が撮像対象領域を複数回撮像する。このとき、台車1の進行方向は、台車1の正面方向に対して同一又は略同一の方向に設定される。
As described above, when the
図7は、プリズム2の位置が4回測定された場合における位置情報の例を示している。図8は、撮像対象領域が4回撮像された場合における画像情報の例を示している。図中、t0〜t3は、トータルステーション3による測定タイミングに対応する時刻、すなわちステレオカメラ4による撮像タイミングに対応する時刻を示している。
FIG. 7 shows an example of position information when the position of the
図7に示す位置情報は、各時刻t0〜t3における世界座標系におけるプリズム2の三次元座標(xp,yp,zp)を示している。また、図8に示す画像情報は、各時刻t0〜t3にて撮像された右眼画像及び左眼画像を示している。
The position information shown in FIG. 7 shows the three-dimensional coordinates (x p , y p , z p ) of the
次に、図9を参照して、ステップST11における、姿勢情報生成部13による個々のタイポイントの画像座標(u,v)の値の算出方法の具体例について説明する。
Next, with reference to FIG. 9, a specific example of the method of calculating the image coordinate (u, v) values of the individual tie points by the posture
上記のとおり、個々のタイポイントは、例えば、未知の地点、既知のマーカ又は未知のマーカに対応するものである。 As mentioned above, the individual tie points correspond to, for example, unknown points, known markers or unknown markers.
個々のタイポイントが未知の地点に対応するものである場合、例えば、姿勢情報生成部13は、個々のデジタル画像に対する画像処理を実行する。これにより、姿勢情報生成部13は、複数枚のデジタル画像に共通して含まれる特徴点を抽出する。姿勢情報生成部13は、当該抽出された特徴点をタイポイントに用いる。すなわち、姿勢情報生成部13は、当該抽出された特徴点の画像座標(u,v)の値を算出する。
When each tie point corresponds to an unknown point, for example, the posture
かかる特徴点の抽出には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。具体的には、例えば、以下の参考文献1に記載された技術を用いることができる。
Various known techniques can be used to extract such feature points. Detailed description of these techniques will be omitted. Specifically, for example, the technique described in
[参考文献1]
David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, 2004, 60(2), pp. 91-110.
[Reference 1]
David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, 2004, 60 (2), pp. 91-110.
個々のタイポイントが既知のマーカ又は未知のマーカに対応するものである場合、例えば、姿勢情報生成部13は、個々のデジタル画像に対して、いわゆる「テンプレートマッチング」の画像処理を実行する。これにより、姿勢情報生成部13は、個々のデジタル画像に含まれるマーカを検出する。姿勢情報生成部13は、当該検出されたマーカの画像座標(u,v)の値を算出する。
When each tie point corresponds to a known marker or an unknown marker, for example, the posture
または、例えば、個々のタイポイントが既知のマーカ又は未知のマーカである場合、測量装置200のユーザは、個々のデジタル画像におけるマーカの位置を目視により確認して、当該確認された位置を計算機8に入力する。姿勢情報生成部13は、当該入力された位置に対応する画像座標(u,v)の値を算出する。
Alternatively, for example, when each tie point is a known marker or an unknown marker, the user of the
図9は、個々のタイポイントが未知のマーカに対応するものである場合における、個々のタイポイントの画像座標(u,v)の値の例を示している。図9に示す値は、図8に示す画像情報を用いて算出されたものである。 FIG. 9 shows an example of the image coordinate (u, v) values of the individual tie points when the individual tie points correspond to unknown markers. The values shown in FIG. 9 are calculated using the image information shown in FIG.
次に、図10を参照して、ステップST12における、姿勢情報生成部13による個々のタイポイントの三次元座標(xT,yT,zT)の初期値の算出方法の具体例について説明する。
Next, with reference to FIG. 10, a specific example of a method of calculating the initial values of the three-dimensional coordinates (x T , y T , z T ) of the individual tie points by the posture
姿勢情報生成部13は、位置情報取得部11により取得された位置情報に含まれる全てのX座標(xp)の平均値を算出する。姿勢情報生成部13は、当該算出された平均値を各タイポイントのX座標(xT)の初期値に用いる。
The posture
また、姿勢情報生成部13は、位置情報取得部11により取得された位置情報に含まれる全てのY座標(yp)の平均値を算出する。姿勢情報生成部13は、当該算出された平均値を各タイポイントのY座標(yT)の初期値に用いる。
Further, the posture
また、姿勢情報生成部13は、位置情報取得部11により取得された位置情報に含まれるZ座標(zp)の値を用いて、地面における任意の地点のZ座標の値を算出する。姿勢情報生成部13は、当該算出されたZ座標の値を各タイポイントのZ座標(zT)の初期値に用いる。
Further, the posture
なお、地面における任意の地点のZ座標の値を算出するために、全周型のプリズム2と異なる他のプリズム(不図示)が台車1に設けられているものであっても良い。姿勢情報生成部13は、トータルステーション3により測定された当該他のプリズムの位置に基づき、地面における任意の地点のZ座標の値を算出するものであっても良い。また、当該他のプリズムは、台車1に設けられているのに代えて、測量装置200のユーザの手により保持されているものであっても良い。
In addition, in order to calculate the value of the Z coordinate at an arbitrary point on the ground, another prism (not shown) different from the all-around
このようにして、世界座標系における個々のタイポイントの三次元座標(xT,yT,zT)の初期値が算出される。図10は、上記他のプリズムを用いた場合における、個々のタイポイントの三次元座標(xT,yT,zT)の初期値の例を示している。図10に示す初期値は、図7に示す位置情報を用いて算出されたものである。 In this way, the initial values of the three-dimensional coordinates (x T , y T , z T ) of the individual tie points in the world coordinate system are calculated. FIG. 10 shows an example of the initial values of the three-dimensional coordinates (x T , y T , z T ) of the individual tie points when the other prisms are used. The initial value shown in FIG. 10 is calculated using the position information shown in FIG. 7.
次に、図11を参照して、ステップST13における、姿勢情報生成部13によるプリズム2の姿勢角度(ωp,φp,κp)の初期値の算出方法の具体例について説明する。
Next, with reference to FIG. 11, a specific example of a method of calculating the initial value of the posture angle (ω p , φ p , κ p ) of the
時刻tにおけるプリズム2の三次元座標が(x,y,z)であるものとする。時刻tに対応する測定タイミングに対する次回の測定タイミングに対応する時刻がt’であるものとする。時刻t’におけるプリズム2の三次元座標が(x’,y’,z’)であるものとする。
It is assumed that the three-dimensional coordinates of the
上記のとおり、プリズム座標系におけるX軸の正方向は、台車1が地面に載置されたとき、台車1の正面方向を示すものとなる。また、台車1の進行方向は、台車1の正面方向と同一又は略同一の方向に設定される。したがって、プリズム2の姿勢角度(ωp,φp,κp)は、X座標(1,0,0)を台車1の移動ベクトル(x−x’,y−y’,z−z’)と一致させる回転角により近似される。
As described above, the positive direction of the X-axis in the prism coordinate system indicates the front direction of the
ここで、台車1は、世界座標系におけるXY平面に沿うように移動する。このため、ロール角(ωp)及びピッチ角(φp)の各々は、0に近似される。また、ヨー角(κp)は、XY平面におけるベクトル(1,0)をベクトル(x−x’,y−y’)と一致させる回転角により近似される。したがって、ヨー角(κp)について、以下の式(1)が成立する。
Here, the
ヨー角(κp)は、上記式(1)により算出される。すなわち、ヨー角(κp)は、逆三角関数により算出される。 The yaw angle (κ p ) is calculated by the above equation (1). That is, the yaw angle (κ p ) is calculated by the inverse trigonometric function.
なお、時刻tに対応する測定タイミングに対する前回の測定タイミングに対応する時刻がt”であるものとする。時刻tよりも後の時刻におけるプリズム2の位置が未測定である場合、時刻tにおける姿勢角度(ωp,φp,κp)の初期値に、時刻t”における姿勢角度(ωp,φp,κp)の初期値が用いられる。時刻t”における姿勢角度(ωp,φp,κp)の初期値は、時刻tにおけるプリズム2の三次元座標と、時刻t”におけるプリズム2の三次元座標とを用いて算出される。
It is assumed that the time corresponding to the previous measurement timing with respect to the measurement timing corresponding to the time t is "t". If the position of the
図11は、各時刻t0〜t3におけるプリズム2の姿勢角度(ωp,φp,κp)の初期値の例を示している。図11に示す初期値は、図7に示す位置情報を用いて算出されたものである。
FIG. 11 shows an example of the initial values of the posture angles (ω p , φ p , κ p ) of the
次に、図12〜図18を参照して、ステップST14における、姿勢情報生成部13による第1最適化処理の具体例について説明する。
Next, a specific example of the first optimization process by the posture
まず、姿勢情報生成部13は、以下のようにして、右眼カメラ5における個々のタイポイントの投影座標(0ur,0vr)を算出する。また、姿勢情報生成部13は、左眼カメラ6における個々のタイポイントの投影座標(0ul,0vl)を算出する。これらの投影座標(0ur,0vr),(0ul,0vl)は、正規化画像座標系における位置座標である。
First, the posture
世界座標系におけるプリズム座標系の原点の三次元座標が(xp,yp,zp)であるものとする。また、世界座標系の座標軸に対するプリズム座標系の座標軸の回転角が(ωp,φp,κp)であるものとする。この場合、任意の点Xについて、世界座標系における三次元座標Xwとプリズム座標系における三次元座標Xpとの変換式は、以下の式(2)により表される。 It is assumed that the three-dimensional coordinates of the origin of the prism coordinate system in the world coordinate system are (x p , y p , z p ). Further, it is assumed that the rotation angle of the coordinate axes of the prism coordinate system with respect to the coordinate axes of the world coordinate system is (ω p , φ p , κ p ). In this case, for any point X, the conversion formula between the three-dimensional coordinates X w in the world coordinate system and the three-dimensional coordinates X p in the prism coordinate system is expressed by the following formula (2).
ただし、以下の式(3)及び式(4)が成立している。 However, the following equations (3) and (4) are established.
また、世界座標系における右眼カメラ座標系の原点の三次元座標が(xr,yr,zr)であるものとする。また、世界座標系の座標軸に対する右眼カメラ座標系の座標軸の回転角が(ωr,φr,κr)であるものとする。この場合、任意の点Xについて、世界座標系における三次元座標Xpと右眼カメラ座標系における三次元座標Xrとの変換式は、以下の式(5)により表される。 Further, it is assumed that the three-dimensional coordinates of the origin of the right-eye camera coordinate system in the world coordinate system are ( xr , yr , zr ). Further, it is assumed that the rotation angle of the coordinate axes of the right-eye camera coordinate system with respect to the coordinate axes of the world coordinate system is (ω r , φ r , κ r ). In this case, for any point X, the conversion formula between the three-dimensional coordinates X p in the world coordinate system and the three-dimensional coordinates X r in the right-eye camera coordinate system is expressed by the following formula (5).
ただし、以下の式(6)及び式(7)が成立している。 However, the following equations (6) and (7) are established.
上記式(2)及び上記式(5)に基づき、任意の点Xについて、世界座標系における三次元座標Xwと右眼カメラ座標系における三次元座標Xrとの変換式は、以下の式(8)により表される。 Based on the above equations (2) and (5), the conversion equation between the three-dimensional coordinates X w in the world coordinate system and the three-dimensional coordinates X r in the right-eye camera coordinate system for an arbitrary point X is the following equation. It is represented by (8).
ただし、以下の式(9)及び式(10)が成立している。 However, the following equations (9) and (10) are established.
上記式(8)に基づき、Xwに対応する三次元座標を有するタイポイントについて、右眼カメラ5における投影座標(0ur,0vr)が算出される。すなわち、右眼カメラ5の焦点距離がfrであり、右眼カメラ5における撮像素子の幅がCrであり、右眼画像の横幅がWrであるものとする。このとき、三次元座標Xwを投影座標(0ur,0vr)に変換する変換式は、以下の式(11)により表される。
Based on the above equation (8), the tie point having a three-dimensional coordinates corresponding to the X w, the projection coordinates in the right-eye camera 5 (0 u r, 0 v r) is calculated. That is, the focal length of the right-
ただし、以下の式(12)が成立している。 However, the following equation (12) holds.
上記式(11)を用いて三次元座標Xwが投影座標(0ur,0vr)に変換されることにより、右眼カメラ5における投影座標(0ur,0vr)が算出される。これと同様にして、左眼カメラ6における投影座標(0ul,0vl)が算出される。
By three-dimensional coordinates X w by using equation (11) is converted into the projection coordinates (0 u r, 0 v r ), the projection coordinates in the right-eye camera 5 (0 u r, 0 v r) is calculated Will be done. In the same manner as this, the projected coordinates ( 0 u l , 0 v l ) in the
すなわち、世界座標系における左眼カメラ座標系の原点の三次元座標が(xl,yl,zl)であるものとする。また、世界座標系の座標軸に対する左眼カメラ座標系の座標軸の回転角が(ωl,φl,κl)であるものとする。また、左眼カメラ6の焦点距離がflであり、左眼カメラ6における撮像素子の幅がClであり、左眼画像の横幅がWlであるものとする。これらの値に基づき、三次元座標Xwを投影座標(0ul,0vl)に変換する変換式を用いて、左眼カメラ6における投影座標(0ul,0vl)が算出される。
That is, it is assumed that the three-dimensional coordinates of the origin of the left-eye camera coordinate system in the world coordinate system are (x l , y l , z l ). Further, it is assumed that the rotation angles of the coordinate axes of the left-eye camera coordinate system with respect to the coordinate axes of the world coordinate system are (ω l , φ l , κ l ). Further, the focal length of the
次いで、姿勢情報生成部13は、以下のようにして、ステップST11にて算出された画像座標(u,v)における歪みを補正する。
Next, the posture
右眼画像において、デジタル画像座標系におけるタイポイントの画像座標が(1ur,1vr)であるものとする。右眼カメラ5の主点位置を示す位置座標がXpr及びYprであり、右眼カメラ5における歪み係数がk1r、k2r、k3r、p1r、p2r、b1r及びb2rであり、右眼カメラ5における撮像素子の幅がCrであり、右眼画像の横幅がWrであり、右眼画像の縦幅がHrであるものとする。このとき、デジタル画像座標系における歪みを有するタイポイント座標(1ur,1vr)を、正規化画像座標系における歪み補正後のタイポイント座標(2ur,2vr)に変換する変換式は、以下の式(13)により表される。
In the right-eye image, the image coordinates of the tie points in the digital image coordinate system is assumed to be (1 u r, 1 v r ). The position coordinates indicating the principal point position of the right-
ただし、以下の式(14)〜式(19)が成立している。 However, the following equations (14) to (19) are established.
上記式(13)を用いて、デジタル画像座標系における歪みを有するタイポイント座標(1ur,1vr)が、正規化画像座標系における歪み補正後のタイポイント座標(2ur,2vr)に変換される。これと同様にして、デジタル画像座標系における歪みを有するタイポイント座標(1ul,1vl)が、正規化画像座標系における歪み補正後のタイポイント座標(2ul,2vl)に変換される。 Using the above equation (13), tie point coordinates (1 u r, 1 v r ) having a distortion in a digital image coordinate system, tie point coordinates after distortion correction in the normalized image coordinate system (2 u r, 2 It is converted to v r ). In the same way, tie points coordinates (1 u l, 1 v l ) having a distortion in a digital image coordinate system, tie point coordinates after distortion correction in the normalized image coordinate system (2 u l, 2 v l ) Is converted to.
すなわち、左眼画像において、デジタル画像座標系におけるタイポイントの画像座標が(1ul,1vl)であるものとする。左眼カメラ6の主点位置を示す位置座標がXpl及びYplであり、左眼カメラ6における歪み係数がk1l、k2l、k3l、p1l、p2l、b1l及びb2lであり、左眼カメラ6における撮像素子の幅がClであり、右眼画像の横幅がWlであり、右眼画像の縦幅がHlであるものとする。このとき、上記式(13)と同様の変換式を用いて、デジタル画像座標系における歪みを有するタイポイント座標(1ul,1vl)が、正規化画像座標系における歪み補正後のタイポイント座標(2ul,2vl)に変換される。
That is, in the left-eye image, the image coordinates of the tie points in the digital image coordinate system is assumed to be (1 u l, 1 v l ). The position coordinates indicating the principal point position of the left-
次いで、姿勢情報生成部13は、以下のようにして、上記算出された投影座標(0ur,0vr)と、上記算出された画像座標(2ur,2vr)との差分値を最小化する。また、姿勢情報生成部13は、上記算出された投影座標(0ul,0vl)と、上記算出された画像座標(2ul,2vl)との差分値を最小化する。これにより、タイポイントの三次元座標が最適化される。
Then, the posture
ステップST2にて取得された画像情報に、m枚の右眼画像及びm枚の左眼画像が含まれているものとする。m枚の右眼画像のうちのk番目の右眼画像に含まれているタイポイントの個数がpk個であり、m枚の左眼画像のうちのk番目の左眼画像に含まれているタイポイントの個数がqk個であるものとする。また、ステップST11にてn個のタイポイントT1,T2,……,Tnが検出されており、n個のタイポイントT1,T2,……,Tnの三次元座標がそれぞれ(xT1,yT1,zT1),(xT2,yT2,zT2),……,(xTn,yTn,zTn)であるものとする。 It is assumed that the image information acquired in step ST2 includes m right-eye images and m left-eye images. The number of tie points included in the kth right eye image of the m right eye images is pk, and is included in the kth left eye image of the m left eye images. It is assumed that the number of tie points is q k . Further, in step ST11, n tie points T 1 , T 2 , ..., T n are detected, and the three-dimensional coordinates of n tie points T 1 , T 2 , ..., T n are respectively. It is assumed that (x T1 , y T1 , z T1 ), (x T2 , y T2 , z T2 ), ..., (X Tn , y Tn , z Tn ).
上記式(11)及び上記式(13)に基づき、以下の式(20)に示す関数が定義される。当該関数における引数は、タイポイントの三次元座標である。当該関数における返り値は、タイポイントの投影座標とタイポイントの画像座標との差分値である。 Based on the above equation (11) and the above equation (13), the function shown in the following equation (20) is defined. The argument in the function is the three-dimensional coordinates of the tie point. The return value in the function is the difference value between the projected coordinates of the tie point and the image coordinates of the tie point.
上記式(20)において、0ur,a,b及び0vr,a,bは、a番目の右眼画像におけるb番目のタイポイントについて上記式(11)を用いて算出された投影座標の値を示している。また、0ul,a,b及び0vl,a,bは、a番目の左眼画像におけるb番目のタイポイントについて上記式(11)と同様の式を用いて算出された投影座標の値を示している。また、2ur,a,b及び2vr,a,bは、a番目の右眼画像におけるb番目のタイポイントについて上記式(13)を用いて算出された歪み補正後の画像座標の値を示している。また、2ul,a,b及び2vl,a,bは、a番目の左眼画像におけるb番目のタイポイントについて上記式(13)と同様の式を用いて算出された歪み補正後の画像座標の値を示している。 In the above formula (20), 0 ur , a, b and 0 vr , a, b are projection coordinates calculated by using the above formula (11) for the b-th tie point in the a-th right eye image. Indicates the value of. Further, 0 ul , a, b and 0 vr , a, b are the projected coordinates calculated by using the same equation as the above equation (11) for the b-th tie point in the a-th left eye image. Shows the value. Further, 2 ur , a, b and 2 vr , a, b are the image coordinates after distortion correction calculated by using the above equation (13) for the b-th tie point in the a-th right eye image. Shows the value. Further, 2 l, a, b and 2 v l, a, b are the b-th tie points in the a-th left eye image after distortion correction calculated by using the same formula as the above formula (13). The value of the image coordinates of is shown.
ここで、図12は、右眼カメラ5及び右眼画像に関するパラメータの値の具体例を示している。図13は、左眼カメラ6及び左眼画像に関するパラメータの値の具体例を示している。これらのパラメータは、上記式(11)及び上記式(13)に基づく上記式(20)の計算に用いられるものである。
Here, FIG. 12 shows a specific example of the values of the parameters relating to the
上記式(11)及び上記(13)に基づく上記式(20)の計算において、タイポイントの三次元座標を除くパラメータは、いずれも定数とすることができる(図12及び図13参照)。また、一部のタイポイントが既知のマーカに対応するものである場合、当該一部のタイポイントの三次元座標も定数とすることができる。これにより、残余のタイポイントの三次元座標の算出精度の向上を図ることができる。ただし、上記のとおり、全てのタイポイントが未知の地点又は未知のマーカに対応するものであっても良い。 In the calculation of the above formula (20) based on the above formula (11) and the above formula (13), the parameters other than the three-dimensional coordinates of the tie points can be constants (see FIGS. 12 and 13). Further, when some tie points correspond to known markers, the three-dimensional coordinates of the some tie points can also be constants. As a result, it is possible to improve the calculation accuracy of the three-dimensional coordinates of the remaining tie points. However, as described above, all tie points may correspond to unknown points or unknown markers.
姿勢情報生成部13は、上記式(20)に示す関数において、返り値に対応するベクトルの大きさを最小にする最適化計算を実行する。これにより、姿勢情報生成部13は、投影座標と画像座標との差分値が最小となるタイポイント位置を求める。以下、かかる最適化計算について説明する。
The posture
まず、タイポイント位置の初期値0xTが以下の式(21)により表されるものとする。図14は、図10に示す初期値(すなわちステップST12にて算出された初期値)を整形することにより得られた0xTの値を示している。 First, it is assumed that the initial value 0 x T of the tie point position is expressed by the following equation (21). FIG. 14 shows a value of 0 x T obtained by shaping the initial value shown in FIG. 10 (that is, the initial value calculated in step ST12).
姿勢情報生成部13は、タイポイント位置の初期値0xTを用いて、以下の式(22)により、投影座標と画像座標との差分値0yTを算出する。式(22)の計算には、上記式(20)に示す関数が用いられる。図15は、図14に示す値を用いた場合における差分値0yTの算出結果を示している。
The posture
ここで、タイポイント位置の初期値0xTに補正量1xTを加えることにより、上記式(20)に示す関数における返り値を最小化することを考える。補正量1xTの算出は、以下の式(23)により算出される勾配行列を用いて、以下の式(24)の右辺における残差ベクトルVを最小化する問題として定式化される。図16は、図14に示す値を用いた場合における勾配行列の算出結果を示している。 Here, it is considered that the return value in the function shown in the above equation (20) is minimized by adding the correction amount 1 x T to the initial value 0 x T of the tie point position. The calculation of the correction amount 1 x T is formulated as a problem of minimizing the residual vector V on the right side of the following equation (24) by using the gradient matrix calculated by the following equation (23). FIG. 16 shows the calculation result of the gradient matrix when the values shown in FIG. 14 are used.
上記式(24)の右辺における残差ベクトルVを最小化する補正量1xTは、以下の式(25)に基づき、最小二乗法により算出される。図17は、図15に示す差分値0yTの算出結果及び図16に示す勾配行列の算出結果に基づく補正量1xTの算出結果を示している。 The correction amount 1 x T that minimizes the residual vector V on the right side of the above equation (24) is calculated by the least squares method based on the following equation (25). FIG. 17 shows the calculation result of the difference value 0 y T shown in FIG. 15 and the calculation result of the correction amount 1 x T based on the calculation result of the gradient matrix shown in FIG.
ただし、以下の式(26)が成立している。 However, the following equation (26) holds.
このようにして、以下の式(27)を満たす補正量1xTが算出される。 In this way, the correction amount 1 x T satisfying the following equation (27) is calculated.
得られたタイポイント位置に対して最小二乗法を繰り返し適用することにより、次段落の(28)に示す如く、投影座標と画像座標との差分値が最小となるタイポイント位置が得られる。ここで、N1は繰り返し回数を示している。 By repeatedly applying the least squares method to the obtained tie point position, as shown in (28) of the next paragraph, the tie point position where the difference value between the projected coordinates and the image coordinates is the minimum can be obtained. Here, N 1 indicates the number of repetitions.
図18は、最小二乗法の計算を3回繰り返すことにより得られたタイポイント位置の値を示している。すなわち、図18は、第1最適化処理による最適化後の三次元座標(xT,yT,zT)の値の具体例を示している。 FIG. 18 shows the value of the tie point position obtained by repeating the calculation of the least squares method three times. That is, FIG. 18 shows a specific example of the values of the three-dimensional coordinates (x T , y T , z T ) after the optimization by the first optimization process.
次に、図19〜図23を参照して、ステップST15における、姿勢情報生成部13による第2最適化処理の具体例について説明する。
Next, a specific example of the second optimization process by the posture
まず、姿勢情報生成部13は、第1最適化処理における算出方法と同様の算出方法により、右眼カメラ5における個々のタイポイントの投影座標(0ur,0vr)を算出する。また、姿勢情報生成部13は、左眼カメラ6における個々のタイポイントの投影座標(0ul,0vl)を算出する。
First, the posture
次いで、姿勢情報生成部13は、第1最適化処理における補正方法と同様の補正方法により、ステップST11にて算出された画像座標(u,v)における歪みを補正する。
Next, the posture
次いで、姿勢情報生成部13は、以下のようにして、上記算出された投影座標(0ur,0vr)と、上記算出された画像座標(2ur,2vr)との差分値を最小化する。また、姿勢情報生成部13は、上記算出された投影座標(0ul,0vl)と、上記算出された画像座標(2ul,2vl)との差分値を最小化する。これにより、タイポイントの三次元座標が最適化されるとともに、プリズム2の姿勢角度が最適化される。
Then, the posture
上記式(11)及び上記式(13)に基づき、以下の式(29)に示す関数が定義される。当該関数における引数は、プリズム2の姿勢角度及びタイポイントの三次元座標である。当該関数における返り値は、タイポイントの投影座標とタイポイントの画像座標との差分値である。
Based on the above equation (11) and the above equation (13), the function shown in the following equation (29) is defined. The arguments in the function are the attitude angle of the
上記式(29)において、上記式(20)に示す符号と同様の符号は、上記(20)におけるパラメータと同様のパラメータを示している。また、(ωpk,φpk,κpk)は、k番目の右眼画像の撮像タイミングに対応する測定タイミングにおけるプリズム2の姿勢角度を示している。
In the above formula (29), the same reference numerals as those shown in the above formula (20) indicate the same parameters as those in the above formula (20). Further, (ω pk , φ pk , κ pk ) indicates the posture angle of the
上記式(11)及び上記(13)に基づく上記式(29)の計算において、プリズム2の姿勢角度及びタイポイントの三次元座標を除くパラメータは、いずれも定数とすることができる(図12及び図13参照)。また、一部のタイポイントが既知のマーカに対応するものである場合、当該一部のタイポイントの三次元座標も定数とすることができる。これにより、プリズム2の姿勢角度の算出精度の向上を図ることができる。ただし、上記のとおり、全てのタイポイントが未知の地点又は未知のマーカに対応するものであっても良い。
In the calculation of the above equation (29) based on the above equation (11) and the above equation (13), the parameters other than the posture angle of the
姿勢情報生成部13は、上記式(29)に示す関数において、返り値に対応するベクトルの大きさを最小にする最適化計算を実行する。これにより、姿勢情報生成部13は、投影座標と画像座標との差分値が最小となるタイポイント位置を求める。以下、かかる最適化計算について説明する。
The posture
まず、プリズム2の姿勢角度及びタイポイント位置の初期値0xpTが以下の式(30)により表されるものとする。図19は、図18に示す値(すなわちステップST14にて算出された値)及び図11に示す初期値(すなわちステップST13にて算出された初期値)を整形することにより得られた0xpTの値を示している。
First, it is assumed that the initial value 0 x pT of the posture angle and the tie point position of the
姿勢情報生成部13は、プリズム2の姿勢角度及びタイポイント位置の初期値0xTを用いて、以下の式(31)により、投影座標と画像座標との差分値0ypTを算出する。式(31)の計算には、上記式(29)に示す関数が用いられる。図20は、図19に示す値を用いた場合における差分値0ypTの算出結果を示している。
The attitude
ここで、プリズム2の姿勢角度及びタイポイント位置の初期値0xpTに補正量1xpTを加えることにより、上記式(29)に示す関数における返り値を最小化することを考える。補正量1xpTの算出は、以下の式(32)により算出される勾配行列を用いて、以下の式(33)の右辺における残差ベクトルVを最小化する問題として定式化される。図21は、図19に示す値を用いた場合における勾配行列の算出結果を示している。
Here, it is considered that the return value in the function shown in the above equation (29) is minimized by adding the correction amount 1 x pT to the initial value 0 x pT of the posture angle and the tie point position of the
上記式(32)における残差ベクトルVを最小化する補正量1xpTは、以下の式(34)に基づき、最小二乗法により算出される。図22は、図20に示す差分値0ypTの算出結果及び図21に示す勾配行列の算出結果に基づく補正量1xpTの算出結果を示している。 The correction amount 1 x pT that minimizes the residual vector V in the above equation (32) is calculated by the least squares method based on the following equation (34). FIG. 22 shows the calculation result of the difference value 0 y pT shown in FIG. 20 and the calculation result of the correction amount 1 x pT based on the calculation result of the gradient matrix shown in FIG. 21.
ただし、以下の式(35)が成立している。 However, the following equation (35) holds.
このようにして、以下の式(36)を満たす補正量1xpTが算出される。 In this way, the correction amount 1 x pT that satisfies the following equation (36) is calculated.
得られたプリズム2の姿勢角度及びタイポイント位置に対して最小二乗法を繰り返し適用することにより、次段落の(37)に示す如く、投影座標と画像座標との差分値が最小となるプリズム2の姿勢角度及びタイポイント位置が得られる。ここで、N2は繰り返し回数を示している。
By repeatedly applying the least squares method to the attitude angle and tie point position of the obtained
図23は、最小二乗法の計算を6回繰り返すことにより得られたプリズム2の姿勢角度の値及びタイポイント位置の値を示している。すなわち、図23は、第2最適化処理による最適化後の三次元座標(xT,yT,zT)の値の具体例、及び第2最適化処理による最適化後の姿勢角度(ωp,φp,κp)の値の具体例を示している。
FIG. 23 shows the value of the attitude angle and the value of the tie point position of the
次に、図24及び図25を参照して、ステップST4における、位置姿勢算出部14による台車1の三次元座標(xt,yt,zt)の値の算出方法の具体例について説明する。また、台車1の姿勢角度(ωt,φt,κt)の値の算出方法の具体例について説明する。
Next, with reference to FIGS. 24 and 25, a specific example of a method of calculating the three-dimensional coordinates (x t , y t , z t ) of the
台車座標系が右眼カメラ座標系と一致する座標系に設定される場合、台車1の三次元座標(xt,yt,zt)及び台車1の姿勢角度(ωt,φt,κt)は、上記式(8)に基づき、以下の式(38)により表される。 When the dolly coordinate system is set to the coordinate system that matches the right-eye camera coordinate system, the three-dimensional coordinates of the dolly 1 (x t , y t , z t ) and the attitude angle of the dolly 1 (ω t , φ t , κ) t ) is expressed by the following formula (38) based on the above formula (8).
ただし、以下の式(39)及び式(40)が成立している。 However, the following equations (39) and (40) are established.
この場合、位置姿勢算出部14は、上記式(38)を用いて、台車1の三次元座標(xt,yt,zt)の値を算出するとともに、台車1の姿勢角度(ωt,φt,κt)の値を算出する。図24は、この場合における、台車1の三次元座標(xt,yt,zt)の値の具体例、及び台車1の姿勢角度(ωt,φt,κt)の値の具体例を示している。なお、図24に示す値は、図7に示す位置情報、図12に示すパラメータ、及び図13に示すパラメータに基づくものである。
In this case, the position /
他方、台車座標系が左眼カメラ座標系と一致する座標系に設定される場合、位置姿勢算出部14は、上記式(38)と同様の式を用いて、台車1の姿勢角度(ωt,φt,κt)の値を算出するとともに、台車1の姿勢角度(ωt,φt,κt)の値を算出する。図25は、この場合における、台車1の三次元座標(xt,yt,zt)の値の具体例、及び台車1の姿勢角度(ωt,φt,κt)の値の具体例を示している。なお、図25に示す値は、図7に示す位置情報、図12に示すパラメータ、及び図13に示すパラメータに基づくものである。
On the other hand, when the trolley coordinate system is set to a coordinate system that matches the left-eye camera coordinate system, the position /
このように、ステップST1〜ST3の処理が実行されることにより、プリズム2の姿勢を高精度に算出することができる。すなわち、画像情報に加えて位置情報を用いることにより、プリズム2の姿勢を高精度に算出することができる。この結果、ステップST4の処理が実行されることにより、台車1の姿勢を高精度に推定することができる。また、台車1の位置を高精度に推定することができる。したがって、ステップST5の処理が実行されることにより、測量対象物の三次元形状を高精度に測定することができる。
By executing the processes of steps ST1 to ST3 in this way, the posture of the
また、姿勢検出用のセンサを不要とすることができる。この結果、測量装置200を安価に実現することができる。
Moreover, the sensor for posture detection can be eliminated. As a result, the
次に、測量装置200の変形例について説明する。
Next, a modified example of the
測量用の移動体は、台車1に限定されるものではない。例えば、移動体は、車両、航空機、船舶又は背負子であっても良い。
The moving body for surveying is not limited to the
位置測定用の反射材は、全周型のプリズム2に限定されるものではない。例えば、トータルステーション3に対する移動体の相対方向の変動量が小さい場合、反射材は、通常のプリズムを用いたものであっても良い。
The reflective material for position measurement is not limited to the all-around
位置測定用の測定器は、自動追尾型のトータルステーション3に限定されるものではない。例えば、各タイミングにて移動体が静止するものである場合、測定器は、自動追尾機能を有しない通常のトータルステーションを用いたものであっても良い。
The measuring instrument for position measurement is not limited to the automatic tracking type
撮像機は、2個のデジタルカメラを用いたステレオカメラ4に限定されるものではない。撮像機は、1個以上のデジタルカメラを用いたものであれば良い。ただし、デジタルカメラの個数を増やすことにより、台車1の位置及び姿勢の推定精度を更に向上することができる。他方、デジタルカメラの個数を減らすことにより、測量装置200を更に安価に実現することができる。
The imager is not limited to the
撮像対象領域は、測量対象物を含む領域に限定されるものではない。また、測量対象物は、地面に限定されるものではない。例えば、測量対象物は、橋梁の表面又はトンネルの内面であっても良い。すなわち、測量対象物は、水平面を含むものであっても良く、鉛直面を含むものであっても良く、傾斜面を含むものであっても良い。また、測量対象物は、平面状であっても良く、曲面状であっても良く、凹凸面状であっても良い。 The imaging target region is not limited to the region including the survey object. Moreover, the object to be surveyed is not limited to the ground. For example, the survey object may be the surface of a bridge or the inner surface of a tunnel. That is, the survey object may include a horizontal plane, a vertical plane, or an inclined surface. Further, the survey object may be flat, curved, or uneven.
なお、測量対象物を含む領域と異なる領域が撮像対象領域に設定されている場合、移動体に距離測定用の測定器(例えばレーザスキャナ)が設けられているものであっても良い。三次元形状算出部15は、当該測定器により測定された距離、位置姿勢算出部14により算出された位置、及び位置姿勢算出部14により算出された姿勢に基づき、測量対象物の三次元形状を算出するものであっても良い。
When a region different from the region including the survey object is set as the imaging target region, the moving body may be provided with a measuring instrument for distance measurement (for example, a laser scanner). The three-dimensional
姿勢情報生成部13は、第1最適化処理を実行することなく、第2最適化処理を実行するものであっても良い。すなわち、姿勢情報生成部13は、ステップST13に次いで、ステップST15の処理を実行するものであっても良い。この場合における第2最適化処理は、ステップST12における初期値に比して最適化された三次元座標(xT,yT,zT)の値を算出するとともに、ステップST13における初期値に比して最適化された姿勢角度(ωp,φp,κp)の値を算出する処理であっても良い。
The posture
ただし、第1最適化処理が実行されることにより、ステップST12における初期値の真値に対する差分値が大きいときであっても、プリズム2の姿勢を正確に算出することができる。このため、第1最適化処理を実行するのがより好適である。
However, by executing the first optimization process, the posture of the
以上のように、実施の形態1に係る位置姿勢推定装置100は、位置測定用の測定器による測定対象となる反射材と、撮像機と、を備える移動体用の位置姿勢推定装置100であって、測定器により測定された位置を示す位置情報を取得する位置情報取得部11と、撮像機により撮像された画像を示す画像情報を取得する画像情報取得部12と、位置情報及び画像情報を用いて反射材の姿勢を算出することにより、反射材の姿勢を示す姿勢情報を生成する姿勢情報生成部13と、位置情報及び姿勢情報を用いて移動体の位置及び移動体の姿勢を算出する位置姿勢算出部14と、を備える。これにより、高精度な姿勢検出用のセンサを用いることなく、移動体の位置及び姿勢を高精度に推定することができる。
As described above, the position /
また、実施の形態1に係る位置姿勢推定方法は、位置測定用の測定器による測定対象となる反射材と、撮像機と、を備える移動体用の位置姿勢推定方法であって、位置情報取得部11が、測定器により測定された位置を示す位置情報を取得するステップST1と、画像情報取得部12が、撮像機により撮像された画像を示す画像情報を取得するステップST2と、姿勢情報生成部13が、位置情報及び画像情報を用いて反射材の姿勢を算出することにより、反射材の姿勢を示す姿勢情報を生成するステップST3と、位置姿勢算出部14が、位置情報及び姿勢情報を用いて移動体の位置及び移動体の姿勢を算出するステップST4と、を備える。これにより、高精度な姿勢検出用のセンサを用いることなく、移動体の位置及び姿勢を高精度に推定することができる。
Further, the position / posture estimation method according to the first embodiment is a position / posture estimation method for a moving body including a reflective material to be measured by a measuring device for position measurement and an imager, and obtains position information. Step ST1 in which the
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, it is possible to modify any component of the embodiment or omit any component of the embodiment.
1 台車(移動体)、2 プリズム(反射材)、3 トータルステーション(測定器)、4 ステレオカメラ(撮像機)、5 右眼カメラ、6 左眼カメラ、7 記憶装置、8 計算機、11 位置情報取得部、12 画像情報取得部、13 姿勢情報生成部、14 位置姿勢算出部、15 三次元形状算出部、21 プロセッサ、22 メモリ、23 処理回路、100 位置姿勢推定装置、200 測量装置。 1 trolley (moving object), 2 prism (reflecting material), 3 total station (measuring instrument), 4 stereo camera (imaging machine), 5 right eye camera, 6 left eye camera, 7 storage device, 8 processor, 11 position information acquisition Unit, 12 Image information acquisition unit, 13 Attitude information generation unit, 14 Position / orientation calculation unit, 15 Three-dimensional shape calculation unit, 21 Processor, 22 Memory, 23 Processing circuit, 100 Position / orientation estimation device, 200 Surveying device.
Claims (5)
前記測定器により測定された位置を示す位置情報を取得する位置情報取得部と、
前記撮像機により撮像された画像を示す画像情報を取得する画像情報取得部と、
前記位置情報及び前記画像情報を用いて前記反射材の姿勢を算出することにより、前記反射材の姿勢を示す姿勢情報を生成する姿勢情報生成部と、
前記位置情報及び前記姿勢情報を用いて前記移動体の位置及び前記移動体の姿勢を算出する位置姿勢算出部と、
を備えることを特徴とする位置姿勢推定装置。 A position / orientation estimation device for a moving body including a reflective material to be measured by a measuring device for position measurement and an imager.
A position information acquisition unit that acquires position information indicating the position measured by the measuring instrument, and
An image information acquisition unit that acquires image information indicating an image captured by the imager, and an image information acquisition unit.
A posture information generation unit that generates posture information indicating the posture of the reflector by calculating the posture of the reflector using the position information and the image information.
A position / posture calculation unit that calculates the position of the moving body and the posture of the moving body using the position information and the posture information.
A position / orientation estimation device, which comprises.
前記複数個のカメラによる視野が互いに重複している
ことを特徴とする請求項1記載の位置姿勢推定装置。 The imager is composed of a plurality of cameras.
The position / orientation estimation device according to claim 1, wherein the fields of view of the plurality of cameras overlap each other.
前記マーカの位置が既知である
ことを特徴とする請求項1記載の位置姿勢推定装置。 The posture information generation unit calculates the posture of the reflector based on the position of the marker included in the image.
The position / orientation estimation device according to claim 1, wherein the position of the marker is known.
位置情報取得部が、前記測定器により測定された位置を示す位置情報を取得するステップと、
画像情報取得部が、前記撮像機により撮像された画像を示す画像情報を取得するステップと、
姿勢情報生成部が、前記位置情報及び前記画像情報を用いて前記反射材の姿勢を算出することにより、前記反射材の姿勢を示す姿勢情報を生成するステップと、
位置姿勢算出部が、前記位置情報及び前記姿勢情報を用いて前記移動体の位置及び前記移動体の姿勢を算出するステップと、
を備えることを特徴とする位置姿勢推定方法。 A position / orientation estimation method for a moving body including a reflector to be measured by a measuring instrument for position measurement and an imager.
A step in which the position information acquisition unit acquires position information indicating a position measured by the measuring instrument, and
A step in which the image information acquisition unit acquires image information indicating an image captured by the imager, and
A step in which the posture information generation unit calculates the posture of the reflective material using the position information and the image information to generate posture information indicating the posture of the reflective material.
A step in which the position / orientation calculation unit calculates the position of the moving body and the posture of the moving body using the position information and the posture information.
A position / orientation estimation method characterized by comprising.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019089947A JP2020186944A (en) | 2019-05-10 | 2019-05-10 | Position attitude estimating device and position attitude estimating method |
PCT/JP2020/005938 WO2020230390A1 (en) | 2019-05-10 | 2020-02-17 | Position and attitude estimating device and position and attitude estimating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019089947A JP2020186944A (en) | 2019-05-10 | 2019-05-10 | Position attitude estimating device and position attitude estimating method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020186944A true JP2020186944A (en) | 2020-11-19 |
Family
ID=73221579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019089947A Pending JP2020186944A (en) | 2019-05-10 | 2019-05-10 | Position attitude estimating device and position attitude estimating method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020186944A (en) |
WO (1) | WO2020230390A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022087978A (en) * | 2020-12-02 | 2022-06-14 | 三菱電機株式会社 | Position attitude calculation device, position attitude calculation method and surveying device |
CN114494388B (en) * | 2022-01-27 | 2023-04-04 | 中国铁建重工集团股份有限公司 | Three-dimensional image reconstruction method, device, equipment and medium in large-view-field environment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002010297A (en) * | 2000-06-26 | 2002-01-11 | Topcon Corp | Stereoscopic image photographing system |
US20140032021A1 (en) * | 2011-04-14 | 2014-01-30 | Hexagon Technology Center Gmbh | System and method for controlling an unmanned air vehicle |
JP2016045150A (en) * | 2014-08-26 | 2016-04-04 | 株式会社トプコン | Point group position data processing device, point group position data processing system, point group position data processing method, and program |
JP2019045425A (en) * | 2017-09-06 | 2019-03-22 | 株式会社トプコン | Surveying data processing device, surveying data processing method and surveying data processing-purpose program |
-
2019
- 2019-05-10 JP JP2019089947A patent/JP2020186944A/en active Pending
-
2020
- 2020-02-17 WO PCT/JP2020/005938 patent/WO2020230390A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002010297A (en) * | 2000-06-26 | 2002-01-11 | Topcon Corp | Stereoscopic image photographing system |
US20140032021A1 (en) * | 2011-04-14 | 2014-01-30 | Hexagon Technology Center Gmbh | System and method for controlling an unmanned air vehicle |
JP2016045150A (en) * | 2014-08-26 | 2016-04-04 | 株式会社トプコン | Point group position data processing device, point group position data processing system, point group position data processing method, and program |
JP2019045425A (en) * | 2017-09-06 | 2019-03-22 | 株式会社トプコン | Surveying data processing device, surveying data processing method and surveying data processing-purpose program |
Also Published As
Publication number | Publication date |
---|---|
WO2020230390A1 (en) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10823552B2 (en) | Method for the three dimensional measurement of moving objects during a known movement | |
KR102085228B1 (en) | Imaging processing method and apparatus for calibrating depth of depth sensor | |
JP6442193B2 (en) | Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method and program | |
JP4814669B2 (en) | 3D coordinate acquisition device | |
JP6503906B2 (en) | Image processing apparatus, image processing method and image processing program | |
US20130108116A1 (en) | Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium | |
KR101614338B1 (en) | Camera calibration method, computer-readable storage medium storing camera calibration program and camera calibration device | |
CN110044374B (en) | Image feature-based monocular vision mileage measurement method and odometer | |
KR20160003776A (en) | Posture estimation method and robot | |
JP6413595B2 (en) | Image processing apparatus, system, image processing method, and program | |
WO2020230390A1 (en) | Position and attitude estimating device and position and attitude estimating method | |
KR101592405B1 (en) | Method for obtaining three-dimensional image, apparatus and computer-readable recording medium using the same | |
JP2021106025A5 (en) | ||
US20130021449A1 (en) | Three-dimensional measuring method | |
JP5858773B2 (en) | Three-dimensional measurement method, three-dimensional measurement program, and robot apparatus | |
JP6135972B2 (en) | Orientation method, orientation program, and orientation device | |
JP2010066595A (en) | Environment map generating device and environment map generating method | |
JP6536529B2 (en) | Calibration apparatus for in-vehicle camera and calibration method for in-vehicle camera | |
JP5656018B2 (en) | Sphere detection method | |
JP2010145219A (en) | Movement estimation device and program | |
JP2021038939A (en) | Calibration device | |
WO2022118513A1 (en) | Position/orientation calculation device, position/orientation calculation method, and surveying device | |
JP2024501731A (en) | Speed measurement method and speed measurement device using multiple cameras | |
KR102196286B1 (en) | Three-dimensional shape measuring system and measuring time setting method | |
US20200116482A1 (en) | Data thinning device, surveying device, surveying system, and data thinning method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220309 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230425 |