JP2017026552A - Three-dimensional measurement device, three-dimensional measurement method and program - Google Patents

Three-dimensional measurement device, three-dimensional measurement method and program Download PDF

Info

Publication number
JP2017026552A
JP2017026552A JP2015148009A JP2015148009A JP2017026552A JP 2017026552 A JP2017026552 A JP 2017026552A JP 2015148009 A JP2015148009 A JP 2015148009A JP 2015148009 A JP2015148009 A JP 2015148009A JP 2017026552 A JP2017026552 A JP 2017026552A
Authority
JP
Japan
Prior art keywords
image acquisition
images
interval
length
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015148009A
Other languages
Japanese (ja)
Other versions
JP6529372B2 (en
Inventor
勇鶴 李
Yonghe Li
勇鶴 李
林 朱
Hayashi Shu
林 朱
佐藤 俊明
Toshiaki Sato
俊明 佐藤
菊生 橘
Kikuo Tachibana
菊生 橘
雅彦 津口
Masahiko Tsuguchi
雅彦 津口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2015148009A priority Critical patent/JP6529372B2/en
Publication of JP2017026552A publication Critical patent/JP2017026552A/en
Application granted granted Critical
Publication of JP6529372B2 publication Critical patent/JP6529372B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

PROBLEM TO BE SOLVED: To suppress occlusion in stereo photographic surveying using a camera which moves to an object, and achieves efficiency of photographing, and reduction of calculation cost, with well balance.SOLUTION: Image acquisition means 20 sets image acquisition zones and dormant zones alternately, along a path of a camera 8, and acquires plural images which are sequentially photographed in the image acquisition zones. Coordinate calculation means 22 performs stereo photographic surveying using the images which were photographed in the same image acquisition zone, for calculating a three-dimensional coordinate. A length of the dormant zone, in which image acquisition is suspended between a preceding image acquisition zone and a subsequent image acquisition zone, is set so that an overlapped photographing area in the images in the preceding image acquisition zone and an overlapped photographing area in the images in the subsequent image acquisition zone are connected with each other, and a length of the image acquisition zone is shorter than the length of the dormant zone.SELECTED DRAWING: Figure 1

Description

本発明は、対象物に対し運動するカメラにより異なる撮影位置から撮影された画像を用いてステレオ写真測量を行い前記対象物の3次元座標を計測する装置、方法及びプログラムに関する。   The present invention relates to an apparatus, a method, and a program for performing stereo photogrammetry using images photographed from different photographing positions by a camera that moves with respect to an object and measuring the three-dimensional coordinates of the object.

物体上の点の3次元座標を求める技術としてステレオ写真測量が知られている。ステレオ写真測量は、異なる位置(視点)に配置したカメラから撮影した2つの画像に共通に写っている対応点を三角測量の原理に基づいて3次元座標を算出する。例えば、ステレオ写真測量技術を用いて、衛星、航空機等に搭載したカメラにより撮影した空中写真から地物の形状を求めることが行われている。   Stereo photogrammetry is known as a technique for obtaining the three-dimensional coordinates of a point on an object. In stereo photogrammetry, three-dimensional coordinates are calculated based on the principle of triangulation for corresponding points appearing in common in two images taken from cameras arranged at different positions (viewpoints). For example, a stereo photogrammetry technique is used to obtain the shape of a feature from an aerial photograph taken by a camera mounted on a satellite, an aircraft, or the like.

ここで、測定対象物の形状や障害物に起因して、画像にはそれを撮影する視点から見て影となる部分が生じ得、当該部分の座標はステレオ写真測量で取得できない。この現象をオクルージョンという。オクルージョンは、2つの画像を撮影するカメラの位置の間隔(基線長)を短くし、2つの画像間の視差を小さくすることで軽減できる。また、短基線とすることで、画像間での対象物の幾何形状や輝度状況などの変化が小さくなり、これにより対応点のマッチングが容易となる。   Here, due to the shape of an object to be measured or an obstacle, an image may have a shadowed portion when viewed from the viewpoint of photographing it, and the coordinates of the portion cannot be acquired by stereo photogrammetry. This phenomenon is called occlusion. Occlusion can be reduced by shortening the distance (baseline length) between the positions of the cameras that take two images and reducing the parallax between the two images. In addition, by using the short base line, changes in the geometric shape of the object and the luminance state between images are reduced, and matching of corresponding points is facilitated.

特許第5311016号公報Japanese Patent No. 5311016

短基線のステレオ写真測量では、カメラを搭載するプラットフォームが基線長を移動するのに要する時間が短くなる。近年ではマルチコプター型の無人航空機(Unmanned Aerial Vehicle:UAV)を用いて航空測量を行うことができる。例えば、UAVを秒速5メートルで飛行させながら、基線長0.5メートルのステレオ写真測量を連続して行う場合、写真撮影は10コマ/秒での高速連写を要する。一方、写真測量には高解像度の写真を必要とする。高解像度の画像ほどデータサイズが大きくなるため、通常のデジタルスチルカメラでは高速連写を持続することが難しい。つまり、短基線のステレオ写真測量のための画像取得を連続して行うことが難しい。ここで、プラットフォームの速度を下げると、撮影作業の効率が低下する。また、基線長ごとの撮影で得られる画像の枚数は基線長が短くなるほど多くなることから、短基線のステレオ写真測量を連続して行うことは処理負荷が大きく処理時間が長くなる。   In short baseline stereo photogrammetry, the time required for the platform with the camera to move the baseline length is reduced. In recent years, it is possible to perform aerial survey using a multicopter type unmanned aerial vehicle (UAV). For example, when stereo photogrammetry with a base line length of 0.5 meters is continuously performed while flying a UAV at a speed of 5 meters per second, photography requires high-speed continuous shooting at 10 frames / second. On the other hand, photogrammetry requires high-resolution photos. Since the data size of a high-resolution image increases, it is difficult to maintain high-speed continuous shooting with a normal digital still camera. That is, it is difficult to continuously acquire images for stereo photogrammetry of a short baseline. Here, if the speed of the platform is lowered, the efficiency of the photographing work is lowered. In addition, since the number of images obtained by photographing for each baseline length increases as the baseline length decreases, continuously performing stereo photogrammetry of the short baseline increases the processing load and the processing time.

本発明は上記問題点を解決するためになされたものであり、オクル―ジョンを抑えつつ、ステレオ写真測量の撮影の効率化、更に計算コストの低減をバランスよく行うことができる3次元計測装置、3次元計測方法、及びプログラムを提供することを目的とする。   The present invention has been made to solve the above-described problems, and a three-dimensional measurement apparatus capable of achieving a balanced balance between stereo photogrammetry shooting efficiency and calculation cost reduction while suppressing occlusion, It is an object to provide a three-dimensional measurement method and program.

(1)本発明に係る3次元計測装置は、対象物に対し運動するカメラにより異なる撮影位置から撮影された画像を用いてステレオ写真測量を行い前記対象物の対応点の3次元座標を計測する装置であって、前記カメラの経路に沿って休止区間と交互に画像取得区間を設定し、前記画像取得区間にて順次撮影される複数の前記画像を取得する画像取得手段と、同じ前記画像取得区間にて撮影された前記画像同士を用いた前記ステレオ写真測量により前記3次元座標を算出する座標算出手段と、を有し、先行画像取得区間と後続画像取得区間との間にて前記画像の取得を休止する前記休止区間の長さは、前記先行画像取得区間における前記画像同士の重複撮影領域と前記後続画像取得区間における前記画像同士の重複撮影領域とが互いにつながるように設定され、かつ前記画像取得区間の長さは前記休止区間より短く設定される。   (1) A three-dimensional measuring apparatus according to the present invention performs stereo photogrammetry using images taken from different photographing positions by a camera that moves with respect to an object, and measures the three-dimensional coordinates of corresponding points of the object. The image acquisition unit is the same as the image acquisition unit that sets an image acquisition interval alternately with a pause interval along the path of the camera and acquires a plurality of the images that are sequentially captured in the image acquisition interval. Coordinate calculation means for calculating the three-dimensional coordinates by the stereo photogrammetry using the images taken in the section, and the image between the preceding image acquisition section and the subsequent image acquisition section The length of the pause interval during which acquisition is paused is such that the overlapping shooting region between the images in the preceding image acquisition interval and the overlapping shooting region between the images in the subsequent image acquisition interval are connected to each other. Is urchin set, and the length of the image acquisition interval is set shorter than the idle period.

(2)上記(1)の3次元計測装置において、前記画像取得手段は、前記画像取得区間にて3つ以上の撮影位置での前記画像を取得し、マルチベースラインステレオ写真測量を行う構成とする。この結果、3次元点群の高さ精度やロバスト性を向上させることができる。   (2) In the three-dimensional measurement apparatus according to (1), the image acquisition unit acquires the images at three or more photographing positions in the image acquisition section, and performs multi-baseline stereo photogrammetry. To do. As a result, the height accuracy and robustness of the three-dimensional point group can be improved.

(3)上記(1),(2)の3次元計測装置は、さらに、前記先行画像取得区間における前記画像と前記後続画像取得区間における前記画像とを用いた前記ステレオ写真測量を行い、これにより得られた前記3次元座標を基準として前記座標算出手段により算出された前記3次元座標の前記ステレオ写真測量における奥行き方向の位置を補正する座標補正手段を有し得る。   (3) The three-dimensional measuring apparatus according to (1) and (2) further performs the stereo photogrammetry using the image in the preceding image acquisition section and the image in the subsequent image acquisition section. Coordinate correcting means for correcting the position in the depth direction in the stereo photogrammetry of the three-dimensional coordinates calculated by the coordinate calculating means on the basis of the obtained three-dimensional coordinates may be provided.

(4)本発明に係る3次元計測方法は、対象物に対し運動するカメラにより異なる撮影位置から撮影された画像を用いてステレオ写真測量を行い前記対象物の対応点の3次元座標を計測する方法であって、前記カメラの経路に沿って休止区間と交互に画像取得区間を設定し、前記画像取得区間にて順次撮影される複数の前記画像を取得する画像取得ステップと、前記各画像取得区間内の前記画像同士を用いた前記ステレオ写真測量により前記3次元座標を算出する座標算出ステップと、を有し、先行画像取得区間と後続画像取得区間との間にて前記画像の取得を休止する前記休止区間の長さは、前記先行画像取得区間における前記画像同士の重複撮影領域と前記後続画像取得区間における前記画像同士の重複撮影領域とが互いにつながるように設定され、かつ前記画像取得区間の長さは前記休止区間より短く設定される。   (4) In the three-dimensional measurement method according to the present invention, stereo photogrammetry is performed using images photographed from different photographing positions by a camera moving with respect to the object, and the three-dimensional coordinates of corresponding points of the object are measured. An image acquisition step of setting an image acquisition interval alternately with a pause interval along the path of the camera, and acquiring a plurality of the images sequentially photographed in the image acquisition interval; and each image acquisition A coordinate calculation step of calculating the three-dimensional coordinates by the stereo photogrammetry using the images in the section, and pauses the acquisition of the image between the preceding image acquisition section and the subsequent image acquisition section. The length of the pause section is such that the overlapping shooting area of the images in the preceding image acquisition section and the overlapping shooting area of the images in the subsequent image acquisition section are connected to each other. It is set, and the length of the image acquisition interval is set shorter than the idle period.

(5)本発明に係るプログラムは、対象物に対し運動するカメラにより異なる撮影位置から撮影された画像を用いてステレオ写真測量を行い前記対象物の対応点の3次元座標を計測する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、前記カメラの経路に沿って休止区間と交互に画像取得区間を設定し、前記画像取得区間にて順次撮影される複数の前記画像を取得する画像取得手段、及び、前記各画像取得区間内の前記画像同士を用いた前記ステレオ写真測量により前記3次元座標を算出する座標算出手段、として機能させ、先行画像取得区間と後続画像取得区間との間にて前記画像の取得を休止する前記休止区間の長さは、前記先行画像取得区間における前記画像同士の重複撮影領域と前記後続画像取得区間における前記画像同士の重複撮影領域とが互いにつながるように設定され、かつ前記画像取得区間の長さは前記休止区間より短く設定される。   (5) The program according to the present invention is a computer that performs a stereo photogrammetry using images photographed from different photographing positions by a camera that moves with respect to an object and measures the three-dimensional coordinates of corresponding points of the object. A program for causing the computer to set an image acquisition interval alternately with a pause interval along the path of the camera, and to acquire a plurality of the images sequentially captured in the image acquisition interval And functioning as an image acquisition means and a coordinate calculation means for calculating the three-dimensional coordinates by the stereo photogrammetry using the images in the image acquisition sections, and the preceding image acquisition section and the subsequent image acquisition section The length of the pause interval in which the acquisition of the image is paused in between is the overlapping shooting area of the images in the preceding image acquisition interval and the subsequent image acquisition zone. Wherein the image and the overlapped imaging region between the set so as to be connected to each other, and the length of the image acquisition interval is set shorter than the idle period in.

本発明によれば、ステレオ写真測量においてオクル―ジョンを抑えつつ撮影の効率化、更に計算コストの低減をバランスよく行うことが可能となる。   According to the present invention, in stereo photogrammetry, it is possible to improve the efficiency of shooting while reducing occlusion and further reduce the calculation cost in a well-balanced manner.

本発明の実施形態に係る3次元計測装置の概略の構成を示すブロック図である。It is a block diagram which shows the schematic structure of the three-dimensional measuring apparatus which concerns on embodiment of this invention. ステレオ写真測量の原理を説明する模式図である。It is a schematic diagram explaining the principle of a stereo photogrammetry. 本発明の実施形態における撮影ポイントと撮影範囲とを示す模式図である。It is a schematic diagram which shows the imaging | photography point and imaging | photography range in embodiment of this invention. 本発明の実施形態における3次元計測方法の概略のフロー図である。It is a general | schematic flowchart of the three-dimensional measuring method in embodiment of this invention. 3次元点群の高さ誤差の補正処理を説明する模式図である。It is a schematic diagram explaining the correction process of the height error of a three-dimensional point group. 本発明の実施形態における撮影ポイントの他の例を示す模式図である。It is a schematic diagram which shows the other example of the imaging | photography point in embodiment of this invention.

以下、本発明の実施の形態(以下実施形態という)である3次元計測装置2について、図面に基づいて説明する。   Hereinafter, a three-dimensional measurement apparatus 2 according to an embodiment of the present invention (hereinafter referred to as an embodiment) will be described with reference to the drawings.

図1は3次元計測装置2の概略の構成を示すブロック図であり、3次元計測装置2は演算処理装置4及び記憶装置6を含んで構成される。本実施形態では3次元計測装置2はマルチコプター型UAVに搭載され、カメラ8、GNSS/IMU(Global Navigation Satellite System:グローバル衛星測位システム、Inertial Measurement Unit:慣性計測装置)10を備える。なお、UAVの飛行用モーターやその制御機構は図1にて図示を省略しているが、それらは基本的に従来技術により構成される。ちなみにUAVは無線で遠隔操縦される構成であってもよいし、記憶装置6に予め格納された飛行プログラムに従って自動飛行する構成であってもよい。また、3次元計測装置2はUAV以外に航空機やMMS(Mobile Mapping System)等の移動体に搭載してもよい。   FIG. 1 is a block diagram showing a schematic configuration of the three-dimensional measuring apparatus 2, and the three-dimensional measuring apparatus 2 includes an arithmetic processing device 4 and a storage device 6. In the present embodiment, the three-dimensional measurement apparatus 2 is mounted on a multicopter type UAV and includes a camera 8 and a GNSS / IMU (Global Navigation Satellite System: Inertial Measurement Unit) 10. Although the UAV flight motor and its control mechanism are not shown in FIG. 1, they are basically constituted by conventional techniques. Incidentally, the UAV may be configured to be remotely controlled by radio, or may be configured to automatically fly according to a flight program stored in the storage device 6 in advance. In addition to the UAV, the three-dimensional measuring apparatus 2 may be mounted on a mobile body such as an aircraft or an MMS (Mobile Mapping System).

演算処理装置4は例えば、コンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。当該コンピュータのCPU(Central Processing Unit)が演算処理装置4を構成し、後述する画像取得手段20、座標算出手段22及び座標補正手段24として機能する。   The arithmetic processing unit 4 is constructed using, for example, a computer and a program executed on the computer. A CPU (Central Processing Unit) of the computer constitutes the arithmetic processing unit 4 and functions as an image acquisition unit 20, a coordinate calculation unit 22, and a coordinate correction unit 24 described later.

記憶装置6は半導体メモリやハードディスクなどで構成される。記憶装置6は演算処理装置4を画像取得手段20、座標算出手段22及び座標補正手段24として機能させるためのプログラム及びその他のプログラムや、本システムの処理に必要な各種データを記憶する。例えば、記憶装置6はカメラ8により撮影された画像や3次元計測装置2による計測結果である3次元点群の座標などを記憶する。   The storage device 6 is composed of a semiconductor memory, a hard disk, or the like. The storage device 6 stores a program for causing the arithmetic processing unit 4 to function as the image acquisition unit 20, the coordinate calculation unit 22, and the coordinate correction unit 24, other programs, and various data necessary for the processing of this system. For example, the storage device 6 stores an image photographed by the camera 8, a coordinate of a three-dimensional point group that is a measurement result by the three-dimensional measurement device 2, and the like.

カメラ8はデジタル画像を撮影する。本実施形態では計測対象は地物であり、カメラ8は飛行中のUAVから地物を撮影可能なように撮影方向を下向きしてUAVに搭載される。例えば、カメラ8の光軸15の向きは、UAVの姿勢が水平である状態にて鉛直方向となるように設定されている。カメラ8の視野角θは計測対象範囲の地物の高低差等に応じて選択され得る。例えば、一般の空中写真測量ではθが90°程度の広角カメラが用いられ、平地等の高低差の少ない地域を計測する場合にはθは120°程度とすることができ、一方、山岳地域、森林地域、高層構造物が存在する地域を計測する場合にはθは60°程度とされ得る。カメラ8は撮影した画像データを演算処理装置4へ出力する。例えば、演算処理装置4はカメラ8から入力される画像データを記憶装置6に保存する。   The camera 8 takes a digital image. In this embodiment, the measurement target is a feature, and the camera 8 is mounted on the UAV with the shooting direction facing downward so that the feature can be shot from the UAV in flight. For example, the direction of the optical axis 15 of the camera 8 is set to be a vertical direction when the UAV is in a horizontal state. The viewing angle θ of the camera 8 can be selected according to the height difference of the features in the measurement target range. For example, in general aerial photogrammetry, a wide-angle camera with θ of about 90 ° is used, and θ can be set to about 120 ° when measuring an area with a small difference in elevation, such as a flat ground. When measuring a forest area or an area where a high-rise structure exists, θ can be about 60 °. The camera 8 outputs the captured image data to the arithmetic processing device 4. For example, the arithmetic processing device 4 stores the image data input from the camera 8 in the storage device 6.

GNSS/IMU10は、衛星から信号を受信すると共に、IMUによりUAVの加速度・角速度を計測し、それらに基づいて、UAVの位置・姿勢を表すGNSS/IMUデータを生成し、演算処理装置4へ出力する。例えば、演算処理装置4は画像データを取得した時刻のGNSS/IMUデータを、当該画像データと対応付けて記憶装置6に保存する。   The GNSS / IMU 10 receives a signal from a satellite, measures the acceleration / angular velocity of the UAV by the IMU, generates GNSS / IMU data representing the position / attitude of the UAV based on them, and outputs it to the arithmetic processing unit 4 To do. For example, the arithmetic processing device 4 stores the GNSS / IMU data at the time when the image data is acquired in the storage device 6 in association with the image data.

画像取得手段20は、カメラ8に撮影タイミングを指示し、当該タイミングでの画像データを取得する。後述するように、画像取得手段20は、カメラ8の経路(又はUAVの飛行経路)に沿って、画像取得区間と休止区間とを交互に設定する。画像取得区間では、画像取得手段20は比較的短い撮影位置の間隔Bでカメラ8に撮影を指示し、複数枚の画像を取得する。一方、休止区間は撮影を行わない区間であり、先行画像取得区間における最後の撮影位置から後続画像取得区間における最初の撮影位置までの区間と定義することができる。休止区間は画像取得区間より長く設定される一方、先行画像取得区間における画像同士の重複撮影領域と後続画像取得区間における画像同士の重複撮影領域とが互いにつながるように設定される。 The image acquisition means 20 instructs the camera 8 to take a shooting timing and acquires image data at that timing. As will be described later, the image acquisition means 20 alternately sets the image acquisition section and the pause section along the path of the camera 8 (or the flight path of the UAV). In the image acquisition section, the image acquisition means 20 instructs the camera 8 to perform shooting with a relatively short shooting position interval BS , and acquires a plurality of images. On the other hand, the pause section is a section in which shooting is not performed, and can be defined as a section from the last shooting position in the preceding image acquisition section to the first shooting position in the subsequent image acquisition section. The pause section is set longer than the image acquisition section, while the overlapping shooting area between images in the preceding image acquisition section and the overlapping shooting area between images in the subsequent image acquisition section are connected to each other.

座標算出手段22は、同じ画像取得区間にて撮影された画像同士を用いたステレオ写真測量により、対象物の3次元座標を算出し、対象物の形状に応じて分布する3次元点群を求める。また、座標算出手段22はステレオマッチングに先立って、SfM(Structure from Motion)手法を用いてカメラの正確な位置・姿勢を求める。その際、GNSS/IMUデータを初期値として使用することができる。   The coordinate calculation means 22 calculates the three-dimensional coordinates of the object by stereo photogrammetry using images taken in the same image acquisition section, and obtains a three-dimensional point group distributed according to the shape of the object. . Further, prior to stereo matching, the coordinate calculation means 22 uses the SfM (Structure from Motion) technique to determine the correct position and orientation of the camera. At that time, GNSS / IMU data can be used as an initial value.

座標補正手段24は、座標算出手段22と同様、対象物の3次元座標をステレオ写真測量により算出するが、座標算出手段22が同じ画像取得区間内の画像同士でステレオマッチングを行うのに対し、座標補正手段24は異なる画像取得区間の画像同士でステレオマッチングを行う。すなわち、座標補正手段24は先行画像取得区間の画像と後続画像取得区間の画像とを用いて3次元座標を算出する。座標補正手段24は算出した3次元座標を基準として、座標算出手段22により算出された3次元点群の座標を補正する。具体的には、座標補正手段24はステレオ写真測量における奥行き方向に関する3次元点群の位置、つまり本実施形態においては高さを補正する。   The coordinate correction unit 24 calculates the three-dimensional coordinates of the object by stereo photogrammetry as in the coordinate calculation unit 22, but the coordinate calculation unit 22 performs stereo matching between images in the same image acquisition section. The coordinate correction unit 24 performs stereo matching between images in different image acquisition sections. That is, the coordinate correction unit 24 calculates three-dimensional coordinates using the image of the preceding image acquisition section and the image of the subsequent image acquisition section. The coordinate correction unit 24 corrects the coordinates of the three-dimensional point group calculated by the coordinate calculation unit 22 based on the calculated three-dimensional coordinates. Specifically, the coordinate correction unit 24 corrects the position of the three-dimensional point group in the depth direction in stereo photogrammetry, that is, the height in this embodiment.

図2はステレオ写真測量の原理を説明する模式図である。3次元空間の座標を直交座標系XYZで表し、Z軸を高さ方向、XY平面を水平面とし、UAVの飛行方向、つまり基線に沿った方向をY軸とする。図2はXZ面内での位置関係を示しており、縦方向がZ軸に対応し、横方向がX軸に対応する。   FIG. 2 is a schematic diagram for explaining the principle of stereo photogrammetry. The coordinates of the three-dimensional space are represented by an orthogonal coordinate system XYZ, the Z axis is the height direction, the XY plane is the horizontal plane, and the UAV flight direction, that is, the direction along the base line is the Y axis. FIG. 2 shows the positional relationship in the XZ plane, with the vertical direction corresponding to the Z axis and the horizontal direction corresponding to the X axis.

図2において点O,Oはそれぞれ視点位置(カメラの位置)である。ここでは説明を簡単にするため、UAVは水平な姿勢を保ち、かつ水平に飛行する場合を説明する。この場合、点O,Oは同じ高さにあり、また、カメラ8の光軸は視点O,Oのいずれにおいても鉛直下方を向く。I,Iは視点O,Oに対応するカメラ8の投影面を表し、各投影面は視点から焦点距離fの位置にある。座標算出手段22は、投影面I,Iに撮影された画像同士をステレオマッチング処理し、対応点Mの投影面I,Iにおける像P,Pを求める。P,Pの画像上での2次元座標をそれぞれ(ζ,η),(ζ,η)とする。ここで、ζ,η座標それぞれの座標軸はX軸,Y軸と同じ向きとすると、ζ−ζが点Mに関する視点O,O間でのX軸方向の視差となる。この視差を用いて、点Mの基線OからのZ方向の距離である撮影距離Hは例えば次式で算出される。なお、Bは基線Oの長さ(基線長)である。ちなみにY軸方向の視差は原理的には0となるため、η−ηも0となる。
H=f・B/(ζ−ζ) ………(1)
In FIG. 2, points O 1 and O 2 are viewpoint positions (camera positions), respectively. Here, in order to simplify the description, the case where the UAV maintains a horizontal posture and flies horizontally will be described. In this case, the points O 1 and O 2 are at the same height, and the optical axis of the camera 8 faces vertically downward in both the viewpoints O 1 and O 2 . I 1 and I 2 represent the projection planes of the camera 8 corresponding to the viewpoints O 1 and O 2 , and each projection plane is at a focal distance f from the viewpoint. Coordinate calculation unit 22, an image together taken on the projection surface I 1, I 2 and stereo matching process, obtaining an image P 1, P 2 in the projection plane I 1, I 2 of the corresponding points M. The two-dimensional coordinates on the images P 1 and P 2 are (ζ 1 , η 1 ) and (ζ 2 , η 2 ), respectively. Here, assuming that the coordinate axes of the ζ and η coordinates are the same as the X and Y axes, ζ 1 −ζ 2 is a parallax in the X axis direction between the viewpoints O 1 and O 2 with respect to the point M. Using this parallax, a shooting distance H that is a distance in the Z direction from the base line O 1 O 2 of the point M is calculated by the following equation, for example. B is the length of the base line O 1 O 2 (base line length). Incidentally, since the parallax in the Y-axis direction is zero in principle, η 12 is also zero.
H = f · B / (ζ 1 −ζ 2 ) (1)

ここで、視点OをXYZ座標系の原点とすると、点MのZ座標zは、
=−H
となる。さらに、ζ,η座標の原点を投影面と光軸との交点と定義すると、x,yは次式で表される。
=ζ・B/(ζ−ζ) ………(2)
=η・B/(ζ−ζ) ………(3)
Here, if the viewpoint O 1 is the origin of the XYZ coordinate system, the Z coordinate z m of the point M is
z m = −H
It becomes. Furthermore, zeta, by defining the intersection between the origin of the η coordinate projection plane and the optical axis, x m, y m is represented by the following formula.
x m = ζ 1 · B / (ζ 1 −ζ 2 ) (2)
y m = η 1 · B / (ζ 1 −ζ 2 ) (3)

ちなみに上述したように図2に示す位置関係は単純な例であり、実際には点O,Oに高低差が存在したり、光軸が鉛直方向からずれたりし得る。そのような場合でも、座標算出手段22は、SfMによるカメラの位置・姿勢データから各視点でのカメラ8と対応点Mとの位置関係を把握し、エピポーラ幾何を利用して点Mの3次元座標を算出することができる。 Incidentally, as described above, the positional relationship shown in FIG. 2 is a simple example. Actually, there is a difference in height between the points O 1 and O 2 , and the optical axis may be deviated from the vertical direction. Even in such a case, the coordinate calculation means 22 grasps the positional relationship between the camera 8 and the corresponding point M at each viewpoint from the camera position / posture data by SfM, and uses the epipolar geometry to make a three-dimensional view of the point M. Coordinates can be calculated.

図3は本発明の実施形態における撮影ポイントと撮影範囲とを示す模式図である。図3はXZ面内での位置関係を示しており、縦方向がZ軸(高さ)に対応し、横方向がX軸(水平方向の位置)に対応する。O(i=1,2,3,…)は撮影ポイントである。S(i=1,2,3,…)はOでのカメラ8の撮影範囲である。 FIG. 3 is a schematic diagram showing a shooting point and a shooting range in the embodiment of the present invention. FIG. 3 shows the positional relationship in the XZ plane, with the vertical direction corresponding to the Z axis (height) and the horizontal direction corresponding to the X axis (horizontal position). O i (i = 1, 2, 3,...) Is a shooting point. S i (i = 1, 2, 3,...) Is a shooting range of the camera 8 at O i .

ここで、撮影ポイントの間隔は均一ではなく、UAVの飛行経路、つまりカメラの経路30に沿って、比較的近距離で2つの撮影ポイントが並ぶ区間(画像取得区間R)と、それらに挟まれ撮影ポイントが存在しない比較的長い区間(休止区間R)とが設けられる。画像取得区間Rの2つの撮影ポイントの間隔をB、休止区間Rの長さをBと表すと、B,Bは、(B+B)/H、又はB/Hが長基線ステレオ写真測量における基線比(B/H)に相当する値(例えば、B/H=0.1〜1)となり、B/Hが短基線ステレオ写真測量における基線比(B/H)に相当する値(例えば、B/H<0.1)となるように設定される。 Here, the interval between the shooting points is not uniform, and a section (image acquisition section R S ) where two shooting points are arranged at a relatively short distance along the flight path of the UAV, that is, the camera path 30, is sandwiched between them. A relatively long section (pause section R P ) where there is no shooting point is provided. Image acquisition sections R 2 two intervals B S of the imaging point S, when the lengths of the pause interval R P and B P, B S, B P is, (B S + B P) / H, or B P / H becomes a value (eg, B / H = 0.1-1) corresponding to the baseline ratio (B / H) in the long baseline stereophotogrammetry, and B S / H is the baseline ratio (B / H) in the short baseline stereophotogrammetry. H) is set to a value corresponding to (for example, B / H <0.1).

画像取得区間Rにて隣り合う2つの撮影ポイント(例えば点O,O、又は点O,O)にてカメラ8は共通視野を有し、例えば、座標算出手段22は、Oから撮影した画像とOから撮影した画像との重複撮影領域32aにて地物の3次元点群をステレオ写真測量により算出できる。同様に、撮影ポイントO,Oの重複撮影領域32bにて地物の3次元点群が得られる。 Camera 8 at the two imaging points adjacent in the image acquisition sections R S (eg, point O 1, O 2 or point O 3, O 4,) have a common field of view, for example, coordinate calculation unit 22, O the 3D point group of the feature can be calculated by the stereo photogrammetric at overlapping imaging areas 32a and captured images from the image and O 2 taken from 1. Similarly, a three-dimensional point group of the feature is obtained in the overlapping photographing region 32b of the photographing points O 3 and O 4 .

休止区間Rの長さBは、先行する画像取得区間における画像同士の重複撮影領域32aと後続する画像取得区間における画像同士の重複撮影領域32bとが互いにつながるように設定される。例えば、図3に示す例では重複撮影領域32a,32bが互いに重複領域34を有するようにBが設定される。これにより、地表を隙間無く計測することができる。 The length B P of the pause interval R P is overlapped imaging region 32a between images in the preceding image acquisition section and the overlapped imaging region 32b between images in the subsequent image acquisition section is set to be connected to each other. For example, in the example shown in FIG. 3, BP is set so that the overlapping shooting areas 32 a and 32 b have the overlapping area 34. Thereby, the ground surface can be measured without a gap.

また、画像取得区間の長さは休止区間より短く設定される。具体的には本実施形態ではB<Bである。 Further, the length of the image acquisition section is set shorter than the pause section. Specifically, in the present embodiment, B S < BP .

図4は3次元計測装置2による3次元計測方法の概略のフロー図である。画像取得手段20は例えば、GNSSデータに基づいてカメラ8が撮影ポイントに来たことを検知してカメラ8に撮影を指示する。これにより、画像取得区間にて間隔Bで撮影した複数枚の画像が得られる(ステップS10)。 FIG. 4 is a schematic flowchart of a three-dimensional measurement method performed by the three-dimensional measurement apparatus 2. For example, the image acquisition unit 20 detects that the camera 8 has reached the shooting point based on the GNSS data, and instructs the camera 8 to perform shooting. As a result, a plurality of images taken at intervals B S in the image acquisition section are obtained (step S10).

座標算出手段22は、同じ画像取得区間にて撮影された画像同士について対応点マッチング処理を行う(ステップS20)。なお、マッチング処理に先立って座標算出手段22はSfM手法を用いて当該画像を撮影した時のカメラ8の位置・姿勢を求める。座標算出手段22は画像における対応点の2次元座標とカメラ8の位置・姿勢とからエピポーラ幾何を利用して対応点の3次元座標を算出する(ステップS30)。   The coordinate calculation unit 22 performs corresponding point matching processing on images captured in the same image acquisition section (step S20). Prior to the matching process, the coordinate calculation means 22 obtains the position / orientation of the camera 8 when the image is captured using the SfM method. The coordinate calculation means 22 calculates the three-dimensional coordinates of the corresponding points using epipolar geometry from the two-dimensional coordinates of the corresponding points in the image and the position / orientation of the camera 8 (step S30).

ここで、基線長が短くなるほど、ステレオ計測により算出される3次元点群の高さ精度は、マッチングした画像における対応点の視差の誤差の影響を受けやすくなる。この点、ステップS20にて高精度の画像マッチング手法を用いることで、ステレオ計測における視差の推定誤差を低減できる。例えば、高精度のマッチング手法として位相限定相関法を用いることができる。視差の誤差低減によりステップS30にて3次元座標の高さの精度を向上できる。   Here, as the baseline length becomes shorter, the height accuracy of the three-dimensional point group calculated by stereo measurement becomes more susceptible to the parallax error of the corresponding points in the matched image. In this regard, by using a high-accuracy image matching method in step S20, parallax estimation errors in stereo measurement can be reduced. For example, the phase only correlation method can be used as a highly accurate matching method. By reducing the parallax error, the accuracy of the height of the three-dimensional coordinates can be improved in step S30.

ステップS30にて短い基線長Bのステレオ写真測量で算出された3次元座標は記憶装置6に格納される。 Three-dimensional coordinates calculated by the stereo photogrammetric short base length B S step S30 is stored in the storage device 6.

座標補正手段24は、長い基線長のステレオ写真測量で算出した対応点の3次元座標を用いてステップS30にて算出した3次元座標の高さを補正する(ステップS40)。座標補正手段24は記憶装置6に記憶されている画像から、例えば、休止区間を挟んで隣り合う2つの画像取得区間にて撮影された画像を読み出し、それら異なる画像取得区間の画像同士をステレオマッチング処理して対応点の3次元座標を算出する。例えば、当該処理では図3の重複領域34の対応点の座標が得られる。   The coordinate correction unit 24 corrects the height of the three-dimensional coordinates calculated in step S30 using the three-dimensional coordinates of the corresponding points calculated by the stereo photogrammetry with a long baseline length (step S40). The coordinate correction unit 24 reads, for example, images captured in two image acquisition sections adjacent to each other with the pause section interposed therebetween from the images stored in the storage device 6, and stereo-matches the images in these different image acquisition sections. Processing is performed to calculate the three-dimensional coordinates of the corresponding points. For example, in this process, the coordinates of the corresponding points in the overlapping area 34 in FIG. 3 are obtained.

座標補正手段24は、同じ対応点についてステップS30で算出された高さと、ステップS40にて算出された高さとの差に応じて、ステップS30で算出された3次元座標の高さを補正する(ステップS50)。   The coordinate correction unit 24 corrects the height of the three-dimensional coordinates calculated in step S30 according to the difference between the height calculated in step S30 and the height calculated in step S40 for the same corresponding point ( Step S50).

図5は座標補正手段24による3次元点群の高さ誤差の補正処理を説明する模式図である。図5はXZ面内での位置関係を示しており、縦方向がZ軸(高さ)に対応し、横方向がX軸(水平方向の位置)に対応する。O2i−1,O2i,O2i+1(iは自然数である。)は撮影ポイントであり、O2i−1,O2iは同じ画像取得区間にて間隔Bで隣り合う撮影ポイントであり、O2i+1はO2i−1,O2iの隣の画像取得区間の撮影ポイントである。また、E2i−1,E2i,E2i+1はそれぞれ撮影ポイントO2i−1,O2i,O2i+1から、対象物40上の対応点Mへの視線である。 FIG. 5 is a schematic diagram for explaining the correction process of the height error of the three-dimensional point group by the coordinate correction means 24. FIG. FIG. 5 shows the positional relationship in the XZ plane, with the vertical direction corresponding to the Z axis (height) and the horizontal direction corresponding to the X axis (horizontal position). O 2i−1 , O 2i , and O 2i + 1 (i is a natural number) are shooting points, and O 2i−1 and O 2i are shooting points adjacent to each other at the interval B S in the same image acquisition section. 2i + 1 is a shooting point of an image acquisition section next to O 2i-1 and O 2i . E 2i−1 , E 2i , and E 2i + 1 are line-of-sight lines from the shooting points O 2i−1 , O 2i , and O 2i + 1 to the corresponding point M on the object 40, respectively.

ここでは、撮影ポイントO2iでのカメラ8の位置姿勢に推定誤差が存在する場合を例として説明する。当該誤差に伴い、撮影ポイントO2iでの視線E2iは正しい視線E'2iからずれている。そのため、撮影ポイントO2i−1,O2iに関する基線長Bでのステレオ写真測量で算出される対応点Mの推定位置は点Mにずれている。図5にて点線42は当該点Mのように比較的短い基線長Bでのステレオ写真測量で得られた3次元点群からなる対象物40の形状を表している。ちなみに、短基線のステレオ写真測量での視線の誤差は高さの誤差を大きくし得ることから、図5では短基線ステレオ写真測量による計測結果42を対象物の形状40を高さ方向にずらした線で表現している。 Here, a case where an estimation error exists in the position and orientation of the camera 8 at the shooting point O 2i will be described as an example. Due to the error, the line of sight E 2i in photographic point O 2i is offset from the correct line of sight E '2i. Therefore, the estimated position of the corresponding point M calculated by the stereo photogrammetry at the baseline length B S regarding the shooting points O 2i-1 and O 2i is shifted to the point M S. In FIG. 5, a dotted line 42 represents the shape of the object 40 composed of a three-dimensional point group obtained by stereophotogrammetry with a relatively short baseline length B S like the point M S. Incidentally, since the error of the line of sight in the stereo photogrammetry of the short baseline can increase the error of the height, the measurement result 42 by the short baseline stereo photogrammetry is shifted in the height direction in FIG. Expressed with lines.

座標補正手段24は、例えば撮影ポイントO2i+1とO2iとに関するステレオ写真測量を行い、対応点Mの推定位置として点ML1を算出する。撮影ポイントO2i+1とO2iとのステレオ写真測量は、撮影ポイントO2i−1,O2iに関するステレオ写真測量より基線長が長いため、撮影ポイントO2iの誤差(又は視線E2iが有する誤差)の影響を受けにくく、点ML1は点Mより高さ方向の誤差が小さいことが期待できる。そこで、例えば、点Mと点ML1との高さの差に応じて、短基線ステレオ写真測量による計測結果42を補正する。例えば、計測結果42である3次元点群の高さを点Mに対する点ML1の高さだけずらし、補正した計測結果44を得る。 The coordinate correction unit 24 performs, for example, stereo photogrammetry regarding the shooting points O 2i + 1 and O 2i and calculates the point M L1 as the estimated position of the corresponding point M. Stereo photogrammetry and photographic point O 2i + 1 and O 2i, since the longer base line length from the stereo photogrammetric about photographing points O 2i-1, O 2i, errors of shot point O 2i (or error with the line of sight E 2i) It is difficult to be affected, and the point M L1 can be expected to have a smaller error in the height direction than the point M S. Therefore, for example, according to the difference in height between the point M S and the point M L1, corrects the measurement result 42 by the short baseline stereo photogrammetry. For example, the height of the three-dimensional point group that is the measurement result 42 is shifted by the height of the point M L1 with respect to the point M S , and the corrected measurement result 44 is obtained.

実際には、いずれの撮影ポイントに誤差が存在するかを知ることは容易ではないことが多い。その場合、例えば、異なる画像取得区間に属する撮影ポイントの複数の組についてステレオ写真測量を行い、それらの結果の平均値などに基づいて補正することができる。具体的には図5の例において、対応点Mの推定位置として上述のML1に加え、撮影ポイントO2i+1とO2i−1とに関するステレオ写真測量により点ML2を算出する。そして、点M,ML1の高さの差と点M,ML2の高さの差との平均値で計測結果42を補正する。 Actually, it is often not easy to know which photographing point has an error. In that case, for example, stereo photogrammetry can be performed for a plurality of sets of shooting points belonging to different image acquisition sections, and correction can be made based on the average value of the results. Specifically, in the example of FIG. 5, in addition to the above-mentioned ML1 as an estimated position of the corresponding point M, the point ML2 is calculated by stereo photogrammetry regarding the shooting points O2i + 1 and O2i-1 . Then, the measurement result 42 is corrected with the average value of the difference in height between the points M S and M L1 and the difference in height between the points M S and M L2 .

図6は本発明の実施形態における撮影ポイントOの他の例を示す模式図である。上述の説明では画像取得区間に設定する撮影ポイントの数nは2つとしてきたが、撮影ポイント数nは図6に示すように3つ以上とすることができ、画像取得区間内で撮影された複数枚の画像を用いてマルチベースラインステレオ写真測量を行うことができる。ここで、nの値はカメラ8の連写の性能、演算処理装置4でのマルチベースラインステレオ写真測量の処理負荷や作成する3次元点群の必要精度などを総合的に考慮して決める。なお、撮影ポイントの間隔をBとすると画像取得区間Rの長さは(n−1)Bとなる。 FIG. 6 is a schematic diagram showing another example of the shooting point O in the embodiment of the present invention. In the above description, the number n of shooting points set in the image acquisition section has been two, but the number n of shooting points can be three or more as shown in FIG. Multi-baseline stereo photogrammetry can be performed using a plurality of images. Here, the value of n is determined by comprehensively considering the continuous shooting performance of the camera 8, the processing load of multi-baseline stereo photogrammetry in the arithmetic processing unit 4, the required accuracy of the three-dimensional point group to be created, and the like. If the interval between the shooting points is B S , the length of the image acquisition section R S is (n−1) B S.

3次元計測装置2は短い基線長でのステレオ写真測量を画像取得区間のみで行い、画像取得区間同士の間には画像取得区間より長い休止区間が設けられる。基線長を短くすることにより、オクルージョンの軽減が図られ、またステレオマッチングが容易になる。これにより、3次元点群を高密度に抽出することが可能となる。一方、常時、短基線のステレオ写真測量を行うのではなく、休止期間を設けることにより、処理負荷の軽減、処理時間の短縮が図られ、3次元点群の抽出をより容易に行うことが可能となる。例えば、画像撮影と並行して3次元点群の生成が可能となる。   The three-dimensional measuring apparatus 2 performs stereo photogrammetry with a short baseline length only in the image acquisition interval, and a pause interval longer than the image acquisition interval is provided between the image acquisition intervals. By shortening the base line length, occlusion is reduced and stereo matching is facilitated. This makes it possible to extract a three-dimensional point group with high density. On the other hand, instead of always performing stereo photogrammetry of short baselines, it is possible to reduce the processing load and shorten the processing time by providing a pause period, making it easier to extract a 3D point cloud It becomes. For example, a three-dimensional point group can be generated in parallel with image shooting.

2 3次元計測装置、4 演算処理装置、6 記憶装置、8 カメラ、10 GNSS/IMU、20 画像取得手段、22 座標算出手段、24 座標補正手段。   2 3D measuring device, 4 arithmetic processing device, 6 storage device, 8 camera, 10 GNSS / IMU, 20 image acquisition means, 22 coordinate calculation means, 24 coordinate correction means.

Claims (5)

対象物に対し運動するカメラにより異なる撮影位置から撮影された画像を用いてステレオ写真測量を行い前記対象物の対応点の3次元座標を計測する3次元計測装置であって、
前記カメラの経路に沿って休止区間と交互に画像取得区間を設定し、前記画像取得区間にて順次撮影される複数の前記画像を取得する画像取得手段と、
同じ前記画像取得区間にて撮影された前記画像同士を用いた前記ステレオ写真測量により前記3次元座標を算出する座標算出手段と、を有し、
先行画像取得区間と後続画像取得区間との間にて前記画像の取得を休止する前記休止区間の長さは、前記先行画像取得区間における前記画像同士の重複撮影領域と前記後続画像取得区間における前記画像同士の重複撮影領域とが互いにつながるように設定され、かつ前記画像取得区間の長さは前記休止区間より短く設定されること、
を特徴とする3次元計測装置。
A three-dimensional measuring apparatus that performs stereo photogrammetry using images taken from different photographing positions by a camera that moves with respect to an object and measures the three-dimensional coordinates of corresponding points of the object,
An image acquisition unit that sets an image acquisition interval alternately with a pause interval along the path of the camera, and acquires a plurality of the images that are sequentially captured in the image acquisition interval;
Coordinate calculation means for calculating the three-dimensional coordinates by the stereo photogrammetry using the images taken in the same image acquisition section,
The length of the pause interval in which the image acquisition is paused between the preceding image acquisition interval and the subsequent image acquisition interval is the overlapping shooting region between the images in the preceding image acquisition interval and the length in the subsequent image acquisition interval. It is set so that the overlapping shooting areas between images are connected to each other, and the length of the image acquisition section is set shorter than the pause section,
A three-dimensional measuring device characterized by
請求項1に記載の3次元計測装置において、
前記画像取得手段は、前記画像取得区間にて3つ以上の撮影位置での前記画像を取得し、
マルチベースラインステレオ写真測量を行う構成とすること、
を特徴とする3次元計測装置。
The three-dimensional measurement apparatus according to claim 1,
The image acquisition means acquires the images at three or more shooting positions in the image acquisition section,
Be configured to perform multi-baseline stereo photogrammetry,
A three-dimensional measuring device characterized by
請求項1又は請求項2に記載の3次元計測装置において、
前記先行画像取得区間における前記画像と前記後続画像取得区間における前記画像とを用いた前記ステレオ写真測量を行い、これにより得られた前記3次元座標を基準として前記座標算出手段により算出された前記3次元座標の前記ステレオ写真測量における奥行き方向の位置を補正する座標補正手段を有すること、
を特徴とする3次元計測装置。
In the three-dimensional measurement apparatus according to claim 1 or 2,
The stereo photogrammetry using the image in the preceding image acquisition section and the image in the subsequent image acquisition section is performed, and the 3D calculated by the coordinate calculation means based on the three-dimensional coordinates obtained thereby. Coordinate correction means for correcting the position in the depth direction in the stereo photogrammetry of dimensional coordinates;
A three-dimensional measuring device characterized by
対象物に対し運動するカメラにより異なる撮影位置から撮影された画像を用いてステレオ写真測量を行い前記対象物の対応点の3次元座標を計測する3次元計測方法であって、
前記カメラの経路に沿って休止区間と交互に画像取得区間を設定し、前記画像取得区間にて順次撮影される複数の前記画像を取得する画像取得ステップと、
前記各画像取得区間内の前記画像同士を用いた前記ステレオ写真測量により前記3次元座標を算出する座標算出ステップと、を有し、
先行画像取得区間と後続画像取得区間との間にて前記画像の取得を休止する前記休止区間の長さは、前記先行画像取得区間における前記画像同士の重複撮影領域と前記後続画像取得区間における前記画像同士の重複撮影領域とが互いにつながるように設定され、かつ前記画像取得区間の長さは前記休止区間より短く設定されること、
を特徴とする3次元計測方法。
A three-dimensional measurement method of performing stereo photogrammetry using images taken from different photographing positions by a camera that moves with respect to an object and measuring the three-dimensional coordinates of corresponding points of the object,
An image acquisition step of setting an image acquisition interval alternately with a pause interval along the path of the camera, and acquiring a plurality of the images sequentially captured in the image acquisition interval;
A coordinate calculation step of calculating the three-dimensional coordinates by the stereo photogrammetry using the images in the image acquisition sections,
The length of the pause interval in which the image acquisition is paused between the preceding image acquisition interval and the subsequent image acquisition interval is the overlapping shooting region between the images in the preceding image acquisition interval and the length in the subsequent image acquisition interval. It is set so that the overlapping shooting areas between images are connected to each other, and the length of the image acquisition section is set shorter than the pause section,
A three-dimensional measurement method characterized by
対象物に対し運動するカメラにより異なる撮影位置から撮影された画像を用いてステレオ写真測量を行い前記対象物の対応点の3次元座標を計測する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、
前記カメラの経路に沿って休止区間と交互に画像取得区間を設定し、前記画像取得区間にて順次撮影される複数の前記画像を取得する画像取得手段、及び、
前記各画像取得区間内の前記画像同士を用いた前記ステレオ写真測量により前記3次元座標を算出する座標算出手段、として機能させ、
先行画像取得区間と後続画像取得区間との間にて前記画像の取得を休止する前記休止区間の長さは、前記先行画像取得区間における前記画像同士の重複撮影領域と前記後続画像取得区間における前記画像同士の重複撮影領域とが互いにつながるように設定され、かつ前記画像取得区間の長さは前記休止区間より短く設定されること、
を特徴とするプログラム。
A program for performing a stereo photogrammetry using images photographed from different photographing positions by a camera moving with respect to an object, and causing a computer to perform a process of measuring the three-dimensional coordinates of corresponding points of the object, The computer
An image acquisition unit that sets an image acquisition interval alternately with a pause interval along the path of the camera, and acquires a plurality of the images that are sequentially captured in the image acquisition interval; and
Function as coordinate calculation means for calculating the three-dimensional coordinates by the stereo photogrammetry using the images in the image acquisition sections,
The length of the pause interval in which the image acquisition is paused between the preceding image acquisition interval and the subsequent image acquisition interval is the overlapping shooting region between the images in the preceding image acquisition interval and the length in the subsequent image acquisition interval. It is set so that the overlapping shooting areas between images are connected to each other, and the length of the image acquisition section is set shorter than the pause section,
A program characterized by
JP2015148009A 2015-07-27 2015-07-27 Three-dimensional measurement device, three-dimensional measurement method, and program Active JP6529372B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015148009A JP6529372B2 (en) 2015-07-27 2015-07-27 Three-dimensional measurement device, three-dimensional measurement method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015148009A JP6529372B2 (en) 2015-07-27 2015-07-27 Three-dimensional measurement device, three-dimensional measurement method, and program

Publications (2)

Publication Number Publication Date
JP2017026552A true JP2017026552A (en) 2017-02-02
JP6529372B2 JP6529372B2 (en) 2019-06-12

Family

ID=57946425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015148009A Active JP6529372B2 (en) 2015-07-27 2015-07-27 Three-dimensional measurement device, three-dimensional measurement method, and program

Country Status (1)

Country Link
JP (1) JP6529372B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108332721A (en) * 2018-03-01 2018-07-27 北京中测智绘科技有限公司 The parallel sky three of aviation image and recursion fusion method
JP2019020131A (en) * 2017-07-11 2019-02-07 Jfeスチール株式会社 Raw material mountain measurement method and raw material mountain measurement system
WO2019049515A1 (en) * 2017-09-08 2019-03-14 株式会社小松製作所 Work machine measurement system, work machine, and work machine measurement method
JP2019039851A (en) * 2017-08-28 2019-03-14 株式会社トプコン Photogrammetry system and photogrammetry method
CN114677429A (en) * 2022-05-27 2022-06-28 深圳广成创新技术有限公司 Positioning method and device of manipulator, computer equipment and storage medium
US20220215585A1 (en) * 2019-05-31 2022-07-07 Kazusa Dna Research Institute Three-dimensional measurement device, three-dimensional measurement method, and three-dimensional measurement program
CN114777744A (en) * 2022-04-25 2022-07-22 中国科学院古脊椎动物与古人类研究所 Geological measurement method and device in ancient biology field and electronic equipment
CN117470199A (en) * 2023-12-27 2024-01-30 天津云圣智能科技有限责任公司 Swing photography control method and device, storage medium and electronic equipment

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05322567A (en) * 1992-05-23 1993-12-07 Topcon Corp Camera for photo survey
JP2001141454A (en) * 1999-11-17 2001-05-25 Asia Air Survey Co Ltd Method for checking aerial photogrammetry by using triplet technique
JP2003085541A (en) * 2001-09-06 2003-03-20 Starlabo Corp Imaging device installed in airplane
JP2005156514A (en) * 2003-11-27 2005-06-16 Kokusai Kogyo Co Ltd Constitution method of aerial photographic image data set
JP2007322170A (en) * 2006-05-30 2007-12-13 Pasuko:Kk Method of aerial photographic survey
US20120300070A1 (en) * 2011-05-23 2012-11-29 Kabushiki Kaisha Topcon Aerial Photograph Image Pickup Method And Aerial Photograph Image Pickup Apparatus
JP2013108927A (en) * 2011-11-24 2013-06-06 Topcon Corp Aerial photograph imaging method and aerial photograph imaging device
JP2014006148A (en) * 2012-06-25 2014-01-16 Topcon Corp Aerial photographing method and aerial photographing system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05322567A (en) * 1992-05-23 1993-12-07 Topcon Corp Camera for photo survey
JP2001141454A (en) * 1999-11-17 2001-05-25 Asia Air Survey Co Ltd Method for checking aerial photogrammetry by using triplet technique
JP2003085541A (en) * 2001-09-06 2003-03-20 Starlabo Corp Imaging device installed in airplane
JP2005156514A (en) * 2003-11-27 2005-06-16 Kokusai Kogyo Co Ltd Constitution method of aerial photographic image data set
JP2007322170A (en) * 2006-05-30 2007-12-13 Pasuko:Kk Method of aerial photographic survey
US20120300070A1 (en) * 2011-05-23 2012-11-29 Kabushiki Kaisha Topcon Aerial Photograph Image Pickup Method And Aerial Photograph Image Pickup Apparatus
JP2013108927A (en) * 2011-11-24 2013-06-06 Topcon Corp Aerial photograph imaging method and aerial photograph imaging device
JP2014006148A (en) * 2012-06-25 2014-01-16 Topcon Corp Aerial photographing method and aerial photographing system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019020131A (en) * 2017-07-11 2019-02-07 Jfeスチール株式会社 Raw material mountain measurement method and raw material mountain measurement system
JP2019039851A (en) * 2017-08-28 2019-03-14 株式会社トプコン Photogrammetry system and photogrammetry method
JP7152137B2 (en) 2017-08-28 2022-10-12 株式会社トプコン Photogrammetry system and photogrammetry method
WO2019049515A1 (en) * 2017-09-08 2019-03-14 株式会社小松製作所 Work machine measurement system, work machine, and work machine measurement method
JP2019049460A (en) * 2017-09-08 2019-03-28 株式会社小松製作所 Work machine measurement system, work machine, and work machine measurement method
CN108332721A (en) * 2018-03-01 2018-07-27 北京中测智绘科技有限公司 The parallel sky three of aviation image and recursion fusion method
US20220215585A1 (en) * 2019-05-31 2022-07-07 Kazusa Dna Research Institute Three-dimensional measurement device, three-dimensional measurement method, and three-dimensional measurement program
US11941852B2 (en) * 2019-05-31 2024-03-26 Kazusa Dna Research Institute Three-dimensional measurement device, three-dimensional measurement method, and three-dimensional measurement program
CN114777744A (en) * 2022-04-25 2022-07-22 中国科学院古脊椎动物与古人类研究所 Geological measurement method and device in ancient biology field and electronic equipment
CN114777744B (en) * 2022-04-25 2024-03-08 中国科学院古脊椎动物与古人类研究所 Geological measurement method and device in ancient organism field and electronic equipment
CN114677429A (en) * 2022-05-27 2022-06-28 深圳广成创新技术有限公司 Positioning method and device of manipulator, computer equipment and storage medium
CN117470199A (en) * 2023-12-27 2024-01-30 天津云圣智能科技有限责任公司 Swing photography control method and device, storage medium and electronic equipment
CN117470199B (en) * 2023-12-27 2024-03-15 天津云圣智能科技有限责任公司 Swing photography control method and device, storage medium and electronic equipment

Also Published As

Publication number Publication date
JP6529372B2 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
JP6529372B2 (en) Three-dimensional measurement device, three-dimensional measurement method, and program
JP7037302B2 (en) Survey data processing device, survey data processing method and survey data processing program
JP5992184B2 (en) Image data processing apparatus, image data processing method, and image data processing program
KR102085228B1 (en) Imaging processing method and apparatus for calibrating depth of depth sensor
JP5832341B2 (en) Movie processing apparatus, movie processing method, and movie processing program
JP5027747B2 (en) POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM
JP5027746B2 (en) POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM
KR101192825B1 (en) Apparatus and method for lidar georeferencing based on integration of gps, ins and image at
JP5748561B2 (en) Aerial photography imaging method and aerial photography imaging apparatus
JP6433200B2 (en) Arithmetic apparatus, arithmetic method, and program
KR20200064542A (en) Apparatus for measuring ground control point using unmanned aerial vehicle and method thereof
JP6291519B2 (en) Method of assigning actual dimensions to 3D point cloud data and position measurement of pipes etc. using it
JP5762131B2 (en) CALIBRATION DEVICE, CALIBRATION DEVICE CALIBRATION METHOD, AND CALIBRATION PROGRAM
KR101252680B1 (en) Drawing system of an aerial photograph
JP7152137B2 (en) Photogrammetry system and photogrammetry method
KR102129206B1 (en) 3 Dimensional Coordinates Calculating Apparatus and 3 Dimensional Coordinates Calculating Method Using Photo Images
US20220049956A1 (en) Method for water level measurement and method for obtaining 3d water surface spatial information using unmanned aerial vehicle and virtual water control points
KR20120065067A (en) Device and method for 3-dimension world modeling using multi-sensor fusion
KR101183866B1 (en) Apparatus and method for real-time position and attitude determination based on integration of gps, ins and image at
WO2020181409A1 (en) Capture device parameter calibration method, apparatus, and storage medium
JP6001914B2 (en) Target position specifying device, target position specifying system, and target position specifying method
JP2018146524A (en) Survey system
KR101764222B1 (en) System and method for high precise positioning
JP5991821B2 (en) Photogrammetry equipment
JP2013015429A (en) Movement reference point photogrammetry apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190514

R150 Certificate of patent or registration of utility model

Ref document number: 6529372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250