JP2021056069A - Measured data processing device, measured data processing method, and program for measured data processing - Google Patents

Measured data processing device, measured data processing method, and program for measured data processing Download PDF

Info

Publication number
JP2021056069A
JP2021056069A JP2019178590A JP2019178590A JP2021056069A JP 2021056069 A JP2021056069 A JP 2021056069A JP 2019178590 A JP2019178590 A JP 2019178590A JP 2019178590 A JP2019178590 A JP 2019178590A JP 2021056069 A JP2021056069 A JP 2021056069A
Authority
JP
Japan
Prior art keywords
point cloud
image
laser scan
camera
scan point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019178590A
Other languages
Japanese (ja)
Other versions
JP7374690B2 (en
Inventor
陽 佐々木
Akira Sasaki
陽 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2019178590A priority Critical patent/JP7374690B2/en
Publication of JP2021056069A publication Critical patent/JP2021056069A/en
Application granted granted Critical
Publication of JP7374690B2 publication Critical patent/JP7374690B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

To suppress the data amount of measured data obtained by a camera-fitted laser scanner.SOLUTION: Provided is a measured data processing device 200 for processing the measured data obtained by a camera-fitted laser scan device in which a laser scanner having a known relation of external orientation elements is combined with a camera, said processing device comprising: a data acquisition unit 201 for acquiring the laser scan point cloud acquired by the camera-fitted laser scanner and the image data of an image photographed by the camera; a correspondence relation specification unit 203 for specifying the correspondence relation of the laser scan point cloud with the image; a designation acceptance unit 104 for accepting designation of a portion of the image; and a laser scan point cloud extraction unit 205 for extracting, from among the laser scan point clouds, a laser scan point could that corresponds to an object for which the designation is accepted.SELECTED DRAWING: Figure 2

Description

本発明は、カメラ付きレーザースキャナが得た計測データを処理する技術に関する。 The present invention relates to a technique for processing measurement data obtained by a laser scanner with a camera.

レーザースキャナとカメラを複合化したカメラ付きレーザースキャナがある（例えば、特許文献１を参照）。 There is a laser scanner with a camera in which a laser scanner and a camera are combined (see, for example, Patent Document 1).

特開２０１９−１２８１９６号公報Japanese Unexamined Patent Publication No. 2019-128196

レーザースキャンデータの利用方法の一つとして、レーザースキャンによって得た点群データ（レーザースキャン点群）に基づき、計測対象物の三次元モデルを得る技術が挙げられる。点群データは、データ量が多く、大きなデータ記憶容量が必要で、あまた処理を行うに際してハードウェア（例えばＰＣ等）への負担が大きいという問題がある。 One of the methods of using the laser scan data is a technique of obtaining a three-dimensional model of the object to be measured based on the point cloud data (laser scan point cloud) obtained by the laser scan. The point cloud data has a problem that the amount of data is large, a large data storage capacity is required, and the load on the hardware (for example, a PC or the like) is large when performing the processing.

このような背景において、本発明は、カメラ付きレーザースキャナが得た計測データのデータ量を抑える技術を得ることを目的とする。 Against this background, an object of the present invention is to obtain a technique for suppressing the amount of measurement data obtained by a laser scanner with a camera.

本発明は、外部標定要素の関係が既知のレーザースキャナとカメラを複合化したカメラ付きレーザースキャン装置が得た計測データを処理する計測データ処理装置であって、前記カメラ付きレーザースキャナが取得したレーザースキャン点群および前記カメラが撮影した画像の画像データを取得するデータ取得部と、前記レーザースキャン点群と前記画像との対応関係を特定する対応関係特定部と、前記画像の一部の指定を受け付ける指定受付部と、前記レーザースキャン点群の中から、前記指定を受け付けた対象物に対応するレーザースキャン点群を抽出するレーザースキャン点群抽出部とを備える計測データ処理装置である。この発明は、方法の発明およびプログラムの発明として捉えることもできる。 The present invention is a measurement data processing device that processes measurement data obtained by a camera-equipped laser scanning device that combines a laser scanner and a camera whose relationship with an external orientation element is known, and is a laser acquired by the camera-equipped laser scanner. A data acquisition unit that acquires image data of a scan point group and an image taken by the camera, a correspondence relationship identification unit that specifies a correspondence relationship between the laser scan point cloud and the image, and a part of the image are designated. It is a measurement data processing apparatus including a designated reception unit for receiving and a laser scan point group extraction unit for extracting a laser scan point group corresponding to an object for which the designation has been received from the laser scan point group. This invention can also be regarded as an invention of a method and an invention of a program.

本発明において、前記画像から特定の対象物を抽出する対象物抽出部を備え、前記画像の一部の指定では、前記抽出された特定の対象物の指定が行なわれる態様は好ましい。本発明において、前記対象物の形状が予め取得されており、前記予め取得されている前記対象物の形状に基づき、前記抽出したレーザースキャン点群に基づく３Ｄモデルを作成する３Ｄモデル作成部を備える態様は好ましい。 In the present invention, it is preferable that an object extraction unit for extracting a specific object from the image is provided, and in the designation of a part of the image, the extracted specific object is designated. The present invention includes a 3D model creation unit in which the shape of the object is acquired in advance and a 3D model based on the extracted laser scan point cloud is created based on the previously acquired shape of the object. The embodiment is preferred.

本発明において、前記対応関係の特定では、前記カメラが撮影した画像中に前記レーザースキャン点群を構成する点を投影した合成画像の作成と、前記合成画像に基づく、前記対応関係の特定が行なわれる態様は好ましい。 In the present invention, in the identification of the correspondence relationship, a composite image in which the points constituting the laser scan point cloud are projected on the image captured by the camera is created, and the correspondence relationship is specified based on the composite image. Is preferable.

本発明によれば、カメラ付きレーザースキャナが得た計測データのデータ量を抑える技術が得られる。 According to the present invention, it is possible to obtain a technique for suppressing the amount of measurement data obtained by a laser scanner with a camera.

実施形態におけるカメラ付きレーザースキャナの外観図である。It is an external view of the laser scanner with a camera in embodiment. 実施形態におけるレーザースキャンデータ処理装置のブロック図である。It is a block diagram of the laser scan data processing apparatus in embodiment. カメラ付きレーザースキャナのカメラが撮影した画像を示す図面代用写真である。It is a drawing substitute photograph which shows the image taken by the camera of the laser scanner with a camera. カメラ付きレーザースキャナのカメラが撮影した画像を示す図面代用写真である。It is a drawing substitute photograph which shows the image taken by the camera of the laser scanner with a camera. カメラが撮影した画像中にレーザースキャン点群を構成する点を投影した合成画像の一例を示す図面代用写真である。It is a drawing substitute photograph which shows an example of the composite image which projected the point which constitutes a laser scan point cloud in the image taken by a camera. 処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the processing procedure.

１．第１の実施形態
（ハードウェアの構成）
図１には、カメラ付きレーザースキャナ１００が示されている。カメラ付きレーザースキャナ１００は、水平回転部１０１、支持部１０２、三脚上部の基台部１０３、基台部１０３を下方から支持する三脚１０７を有している。 1. 1. First Embodiment (Hardware Configuration)
FIG. 1 shows a laser scanner 100 with a camera. The laser scanner 100 with a camera has a horizontal rotating portion 101, a support portion 102, a base portion 103 on the upper part of the tripod, and a tripod 107 that supports the base portion 103 from below.

水平回転部１０１は、支持部１０２に対して水平回転する。水平回転部１０１には、鉛直回転部１０４が配置されている。鉛直回転部１０４は、水平回転部１０１に対して鉛直回転する。鉛直回転部１０４には、レーザースキャン用の測距用パルス光を出力し、また検出する光学系１０５が配置されている。 The horizontal rotating portion 101 rotates horizontally with respect to the supporting portion 102. A vertical rotating portion 104 is arranged in the horizontal rotating portion 101. The vertical rotating portion 104 rotates vertically with respect to the horizontal rotating portion 101. An optical system 105 for outputting and detecting a range-finding pulsed light for laser scanning is arranged in the vertical rotating unit 104.

水平回転部１０１を水平回転させ、且つ、鉛直回転部１０４を鉛直回転させた状態で数ｋＨｚ〜数十ｋＨｚの繰り返し周波数で、光学系１０５から測距光を繰り返し外に向かって照射し、その反射光が光学系１０５で検出されることで、レーザースキャンが行われる。 With the horizontal rotating unit 101 rotated horizontally and the vertical rotating unit 104 rotated vertically, the optical system 105 repeatedly irradiates the distance measuring light outward from the optical system 105 at a repeating frequency of several kHz to several tens of kHz. Laser scanning is performed when the reflected light is detected by the optical system 105.

上記のレーザースキャンが行われることで、レーザースキャンの視点となる光学系１０５の光学原点を原点するレーザースキャンデータが得られる。レーザースキャンデータは、上記の光学原点からの距離と方向のデータをスキャン点（スキャン光の反射点）それぞれにおいて取得したものとなる。そして、各スキャン点の位置を適当な座標系上で記述したデータがレーザースキャン点群（レーザースキャンによって得られた３Ｄ点群データ）となる。 By performing the above laser scan, laser scan data originating from the optical origin of the optical system 105, which is the viewpoint of the laser scan, can be obtained. The laser scan data is obtained by acquiring the above-mentioned distance and direction data from the optical origin at each scan point (reflection point of scan light). Then, the data in which the position of each scan point is described on an appropriate coordinate system becomes a laser scan point cloud (3D point cloud data obtained by the laser scan).

ここで、カメラ付きレーザースキャナの絶対座標系における外部標定要素（上記光学原点の位置と光学系１０５の初期の状態における姿勢）が既知であれば、絶対座標系におけるレーザースキャン点群が得られる。絶対座標系というのは、ＧＮＳＳや地図情報を記述する際に利用される座標系である。 Here, if the external orientation element (the position of the optical origin and the attitude of the optical system 105 in the initial state) in the absolute coordinate system of the laser scanner with a camera is known, a laser scan point cloud in the absolute coordinate system can be obtained. The absolute coordinate system is a coordinate system used when describing GNSS and map information.

カメラ１０６の外部標定要素とレーザースキャナを構成する光学系１０５の外部標定要素の関係は既知とされている。よって、カメラ１０６の撮影画像とレーザースキャン範囲との対応関係を確定することができる。 The relationship between the external orientation element of the camera 106 and the external orientation element of the optical system 105 constituting the laser scanner is known. Therefore, the correspondence between the captured image of the camera 106 and the laser scan range can be determined.

この例では、カメラ付きレーザースキャナ１００から、レーザースキャンデータとカメラ１０６が撮影した画像の画像データが出力される。このレーザースキャンデータと画像データは、後述するレーザースキャンデータ処理装置に送られる。 In this example, the laser scan data with a camera 100 outputs the laser scan data and the image data of the image taken by the camera 106. The laser scan data and the image data are sent to a laser scan data processing device described later.

（レーザースキャンデータ処理装置）
図２には、レーザースキャンデータ処理装置２００のブロック図が示されている。計測データ処理装置２００は、図１のカメラ付きレーザースキャナ１００から出力されるレーザースキャンデータと撮影画像の画像データを処理する。レーザースキャンデータ処理装置２００は、市販のＰＣ（パーソナルコンピュータ）を利用して構成されている。 (Laser scan data processing device)
FIG. 2 shows a block diagram of the laser scan data processing device 200. The measurement data processing device 200 processes the laser scan data output from the laser scanner 100 with a camera of FIG. 1 and the image data of the captured image. The laser scan data processing device 200 is configured by using a commercially available PC (personal computer).

レーザースキャンデータ処理装置２００は、コンピュータとして機能する。レーザースキャンデータ処理装置２００が備える各機能部の機能は、使用するＰＣに図２に示す各機能部を実現するためのアプリケーションソフトウェアをインストールし、当該アプリケーションソフトウェアを構成するプログラムが当該ＰＣのＣＰＵによって実行されることで実現される。各機能部の一部または全部を各種のプロセッサや電子回路で構成してもよい。また、外部のＰＣ（パーソナルコンピュータ）やサーバの演算部を利用して、上記機能部の少なくとも一部を実現してもよい。 The laser scan data processing device 200 functions as a computer. The function of each functional unit included in the laser scan data processing device 200 is that the application software for realizing each functional unit shown in FIG. 2 is installed on the PC to be used, and the program constituting the application software is performed by the CPU of the PC. It is realized by being executed. A part or all of each functional unit may be composed of various processors or electronic circuits. Further, at least a part of the above functional units may be realized by using an external PC (personal computer) or a calculation unit of a server.

レーザースキャンデータ処理装置２００は、データ取得部２０１、対象物抽出部２０２、対応関係特定部２０３、指定受付部２０４、レーザースキャン点群抽出部２０５、３Ｄモデル作成部２０６を備えている。その他、レーザースキャンデータ処理装置２００は、通常のＰＣが備えるＣＰＵ、記憶装置（半導体メモリやハードディスク装置等）、通信装置、画像表示装置、ユーザーインターフェース装置を有する。 The laser scan data processing device 200 includes a data acquisition unit 201, an object extraction unit 202, a correspondence identification unit 203, a designated reception unit 204, a laser scan point cloud extraction unit 205, and a 3D model creation unit 206. In addition, the laser scan data processing device 200 includes a CPU, a storage device (semiconductor memory, hard disk device, etc.), a communication device, an image display device, and a user interface device included in a normal PC.

データ取得部２０１は、カメラ付きレーザースキャナ１００が取得したレーザースキャン点群およびカメラ１０６が撮影した画像の画像データを取得する。レーザースキャナ１００のレーザースキャン機能を担う光学系１０５とカメラ１０６の外部標定要素の関係（位置と姿勢の関係）は、既知である。よって、レーザースキャンのデータと撮影データの取得後に、レーザースキャンの範囲とカメラ１０６による撮影の範囲との対応関係を特定することができる。なお、レーザースキャンとカメラ１０６による撮影は同期して行ってもよいし、別のタイミングで行ってもよい。 The data acquisition unit 201 acquires image data of the laser scan point cloud acquired by the camera-equipped laser scanner 100 and the image captured by the camera 106. The relationship (relationship between position and orientation) between the optical system 105 responsible for the laser scanning function of the laser scanner 100 and the external orientation element of the camera 106 is known. Therefore, after acquiring the laser scan data and the shooting data, it is possible to specify the correspondence between the laser scanning range and the shooting range by the camera 106. The laser scan and the shooting by the camera 106 may be performed in synchronization with each other, or may be performed at different timings.

対象物抽出部２０２は、カメラ１０６が撮影した画像の中から特定の対象物を抽出する。特定の対象物は、予め決められている。例えば、パイプ、蛍光灯、配線、発電機、ポンプといった予め外観が判明している対象物がライブラリーとして登録されており、その外観に合致する画像が抽出される。これは、画像認証技術等で実用化されている画像認識技術を利用して実現されている。図３，４は、画像およびそこから抽出された対象物が写った図面代用写真である。 The object extraction unit 202 extracts a specific object from the image captured by the camera 106. The specific object is predetermined. For example, objects whose appearances are known in advance, such as pipes, fluorescent lamps, wirings, generators, and pumps, are registered as a library, and images matching the appearances are extracted. This is realized by using the image recognition technology that has been put into practical use in the image authentication technology and the like. FIGS. 3 and 4 are drawing-substituting photographs showing an image and an object extracted from the image.

対応関係特定部２０３は、カメラ付きレーザースキャナ１００のレーザースキャン機能によって得たレーザースキャン点群とカメラ１０６が撮影した画像との対応関係を特定する。ここでは、レーザースキャン点群と撮影画像を合成した合成画像（点群と画像の合成画像）を用いて上記対応関係の特定が行なわれる。 The correspondence relationship specifying unit 203 specifies the correspondence relationship between the laser scan point cloud obtained by the laser scanning function of the laser scanner 100 with a camera and the image captured by the camera 106. Here, the correspondence is specified by using a composite image (composite image of the point cloud and the image) in which the laser scan point cloud and the captured image are combined.

以下、上記の合成画像について説明する。レーザースキャン機能を担う光学系１０５とカメラ１０６の外部標定要素は既知である。よって、レーザースキャンの範囲と対応する撮影画像の画角（撮影範囲）との関係を知ることができる。 Hereinafter, the above composite image will be described. The external orientation elements of the optical system 105 and the camera 106 that are responsible for the laser scanning function are known. Therefore, it is possible to know the relationship between the range of the laser scan and the angle of view (shooting range) of the corresponding captured image.

上記の関係を利用すると、カメラ１０６が撮影した画像中に光学系１０５が得たレーザースキャン点群の点を投影し、表示させた合成画像を得ることができる。図５は、この合成画像の一例である。図５に例示するように、上記の合成画像では、レーザースキャン点群を構成するスキャン点が画像中に点として表示される。 By utilizing the above relationship, it is possible to obtain a composite image in which the points of the laser scan point cloud obtained by the optical system 105 are projected onto the image captured by the camera 106 and displayed. FIG. 5 is an example of this composite image. As illustrated in FIG. 5, in the above composite image, the scan points constituting the laser scan point cloud are displayed as points in the image.

この合成画像において、スキャン点と画像とは重複し、対応している。よって、画像中の特定の部位をユーザが指定した場合、その部位に対応するスキャン点を特定することができる。よって、上記ユーザにより指定された画像中の部位から得られたレーザースキャン点群を抽出することができる。 In this composite image, the scan points and the image overlap and correspond to each other. Therefore, when the user specifies a specific part in the image, the scan point corresponding to the part can be specified. Therefore, it is possible to extract the laser scan point cloud obtained from the part in the image specified by the user.

例えば、図３や図４に例示するように、撮影画像中から対象物抽出部２０２により対象物（例えば、蛍光灯やパイプ等）が抽出されているとする。この場合、ユーザが希望する対象物を指定すると、指定された対象物が画像上で特定される。この指定は、例えば、レーザースキャンデータ処理装置２００を構成するＰＣのＧＵＩを利用して行われる。 For example, as illustrated in FIGS. 3 and 4, it is assumed that an object (for example, a fluorescent lamp, a pipe, etc.) is extracted from the captured image by the object extraction unit 202. In this case, when the user specifies the desired object, the specified object is specified on the image. This designation is made using, for example, the GUI of the PC constituting the laser scan data processing device 200.

指定受付部２０４は、カメラ１０６が撮影した画像中の一部の指定を受け付ける。例えば、図３の画像を、レーザースキャンデータ処理装置２００を構成するＰＣの表示画面上に表示する。この状態において、ユーザは、当該ＰＣが備えるＧＵＩの機能を用いて、図３の画像上の蛍光灯の部分を指定する。すると、この指定に係る指示が指定受付部２０４で受け付けられる。 The designated reception unit 204 receives a part of the designation in the image captured by the camera 106. For example, the image of FIG. 3 is displayed on the display screen of the PC constituting the laser scan data processing device 200. In this state, the user specifies a portion of the fluorescent lamp on the image of FIG. 3 by using the GUI function provided in the PC. Then, the instruction relating to this designation is accepted by the designated reception unit 204.

レーザースキャン点群抽出部２０５は、カメラ付きレーザースキャナ１００が取得したレーザースキャン点群の中から、前記指定を受け付けた対象物に対応するレーザースキャン点群を抽出する。例えば、図３における蛍光灯が画像認識で認識され、その画像が画面中で指定されたとする。この場合、指定された蛍光体に対応するレーザースキャン点群が対応関係特定部２０３での処理で作成された合成画像（点群と画像の合成画像）から得られる。この合成画像では、レーザースキャン点群と画像が重畳されているので、指定された画像の領域に分布するレーザースキャン点群を抽出することで、カメラ付きレーザースキャナ１００が取得したレーザースキャン点群の中から、前記指定を受け付けた対象物に対応するレーザースキャン点群を抽出することができる。 The laser scan point cloud extraction unit 205 extracts the laser scan point cloud corresponding to the object that has received the designation from the laser scan point cloud acquired by the laser scanner 100 with a camera. For example, suppose that the fluorescent lamp in FIG. 3 is recognized by image recognition and the image is designated on the screen. In this case, the laser scan point cloud corresponding to the designated phosphor is obtained from the composite image (composite image of the point cloud and the image) created by the processing in the correspondence identification unit 203. In this composite image, the laser scan point cloud and the image are superimposed, so by extracting the laser scan point cloud distributed in the specified image area, the laser scan point cloud acquired by the laser scanner 100 with a camera can be obtained. A laser scan point cloud corresponding to the object that has received the designation can be extracted from the inside.

３Ｄモデル作成部２０６は、レーザースキャン点群抽出部２０５が抽出したレーザースキャン点群に基づき、３Ｄモデルを作成する。レーザースキャン点群抽出部２０５で抽出されるレーザースキャン点群は、対象物抽出部２０２で画像から抽出された対象物に係る点群である。ここで、抽出される対象物は、蛍光灯やパイプ等のように、どのような対象物であるのかが予め判っている。 The 3D model creation unit 206 creates a 3D model based on the laser scan point cloud extracted by the laser scan point cloud extraction unit 205. The laser scan point cloud group The laser scan point cloud extracted by the extraction unit 205 is a point cloud related to the object extracted from the image by the object extraction unit 202. Here, it is known in advance what kind of object the extracted object is, such as a fluorescent lamp or a pipe.

よって、例えばパイプが対象物である場合、レーザースキャン点群抽出部２０５が抽出したレーザースキャン点群は、パイプに係る点群であることが前提となる、そこで、当該レーザースキャン点群の三次元モデル化にあたり、パイプの形状にフィッティングさせる条件が採用できる。これにより、処理に要する演算量を軽減でき、また不要なノイズの発生や誤演算の発生を抑制できる。 Therefore, for example, when a pipe is an object, it is premised that the laser scan point cloud extracted by the laser scan point cloud extraction unit 205 is a point cloud related to the pipe. For modeling, conditions for fitting to the shape of the pipe can be adopted. As a result, the amount of calculation required for processing can be reduced, and the occurrence of unnecessary noise and erroneous calculation can be suppressed.

また、画像からＪＩＳ規格等の規格や業界標準規格等を読み取り、その読み取った規格に基づき、３Ｄモデルを適用し、レーザースキャン点群から３Ｄモデルを取得する手法も可能である。例えば、画像からパイプが抽出され、そのパイプの印字やマーク表示から、当該パイプの規格が読み取れたとする。ここで、パイプの規格に関するデータを予め取得しておき、画像から読み取った規格から、対応するパイプの規格（形状や寸法）を取得する。そして、この既知の規格に対応する３Ｄモデルをレーザースキャン点群に当てはめる。こうすることで、より精度の高い３Ｄモデルをレーザースキャンデータから得ることができる。 It is also possible to read a standard such as a JIS standard or an industry standard from an image, apply a 3D model based on the read standard, and acquire a 3D model from a laser scan point cloud. For example, suppose that a pipe is extracted from an image, and the standard of the pipe can be read from the print or mark display of the pipe. Here, the data related to the pipe standard is acquired in advance, and the corresponding pipe standard (shape and dimensions) is acquired from the standard read from the image. Then, a 3D model corresponding to this known standard is applied to the laser scan point cloud. By doing so, a more accurate 3D model can be obtained from the laser scan data.

（処理の一例）
図６は、レーザースキャンデータ処理装置２００で行なわれる処理の一例を示すフローチャートである。図６の処理を実行するプログラムは、レーザースキャンデータ処理装置２００が備える記憶部や適当な記憶媒体に記憶され、そこから読み出され、レーザースキャンデータ処理装置２００を構成するＰＣのＣＰＵによって実行される。このプログラムをサーバに記憶し、インターネット経由でそこからダウンロードする形態も可能である。 (Example of processing)
FIG. 6 is a flowchart showing an example of processing performed by the laser scan data processing device 200. The program that executes the process of FIG. 6 is stored in a storage unit or an appropriate storage medium included in the laser scan data processing device 200, read from the storage unit, and executed by the CPU of the PC constituting the laser scan data processing device 200. To. It is also possible to store this program in a server and download it from there via the Internet.

図６の処理に先立ち、カメラ付きレーザースキャナ１００を用いて、レーザースキャンと該レーザースキャンの範囲に対するカメラ１０６を用いた撮影行う。処理が開始されると、まずカメラ付きレーザースキャナ１００が計測したレーザースキャンデータと、カメラ付きレーザースキャナ１００が撮影した画像の画像データとが取得される（ステップＳ２０１）。ここで、取得されるレーザースキャンデータと画像データにおいて、スキャンの方向、スキャンのタイミング、撮影の方向の関係が関連付けされている。ステップＳ２０１の処理は、データ取得部２０１で行なわれる。 Prior to the process of FIG. 6, a laser scanner 100 with a camera is used to perform a laser scan and an image taken with the camera 106 for the range of the laser scan. When the process is started, first, the laser scan data measured by the laser scanner 100 with a camera and the image data of the image taken by the laser scanner 100 with a camera are acquired (step S201). Here, in the acquired laser scan data and the image data, the relationship between the scan direction, the scan timing, and the shooting direction is associated. The process of step S201 is performed by the data acquisition unit 201.

次に、ステップＳ２０１で取得した画像データの中から予め登録しておいた対象物の画像を抽出する（ステップＳ２０２）。この処理は、対象物抽出部２０２で行なわれる。この処理では、例えば、図３の蛍光灯や図４のパイプといった対象物が画像認識技術を利用して抽出される。 Next, the image of the object registered in advance is extracted from the image data acquired in step S201 (step S202). This process is performed by the object extraction unit 202. In this process, for example, an object such as the fluorescent lamp of FIG. 3 or the pipe of FIG. 4 is extracted by using an image recognition technique.

次に、ステップＳ２０１で取得したレーザースキャン点群と画像との対応関係の特定を行う（ステップＳ２０３）。この処理は、対応関係特定部２０３で行なわれる。 Next, the correspondence between the laser scan point cloud acquired in step S201 and the image is specified (step S203). This process is performed by the correspondence relationship specifying unit 203.

次に、ステップＳ２０２で抽出された対象物に対するユーザの指定を受け付ける（ステップＳ２０４）。この処理は、指定受付部２０４で行なわれる。この処理では、レーザースキャンデータ処理装置２００として利用されるＰＣの画面上に、ステップＳ２０２で抽出された対象物が把握（視認）できるように表示された画像を表示させ、ＧＵＩを用いたユーザによる対象物の指定を受け付ける。例えば、マウスを用いた左クリックによって、ユーザによる対象物の指定が行なわれる。 Next, the user's designation for the object extracted in step S202 is accepted (step S204). This process is performed by the designated reception unit 204. In this process, an image displayed so that the object extracted in step S202 can be grasped (visualized) is displayed on the screen of the PC used as the laser scan data processing device 200, and the user using the GUI displays the image. Accepts the designation of the object. For example, a user can specify an object by left-clicking with a mouse.

次に、ステップＳ２０１で受け付けたレーザースキャン点群の中から、ステップＳ２０４で受け付けた対象物に対応するものを抽出する（ステップＳ２０５）。この処理は、レーザースキャン点群抽出部２０５で行なわれる。この処理では、例えば、図４のパイプが対処物として指定された場合に、このパイプの部分に対応するレーザースキャン点群の抽出が行なわれる。 Next, from the laser scan point group received in step S201, those corresponding to the object received in step S204 are extracted (step S205). This process is performed by the laser scan point cloud extraction unit 205. In this process, for example, when the pipe of FIG. 4 is designated as a countermeasure, the laser scan point cloud corresponding to the portion of the pipe is extracted.

次に、ステップＳ２０５で抽出された特定の対象物に係るレーザースキャン点群に基づく３Ｄモデルの作成を行う（ステップＳ２０６）。この処理では、この時点で既知である対象物の形状の特徴（例えば、パイプであれば円筒形状）に基づき、三次元モデルの作成を行う。この処理は、３Ｄモデル作成部２０６で行なわれる。 Next, a 3D model based on the laser scan point cloud related to the specific object extracted in step S205 is created (step S206). In this process, a three-dimensional model is created based on the shape characteristics of the object known at this time (for example, a cylindrical shape in the case of a pipe). This process is performed by the 3D model creation unit 206.

ステップＳ２０６の処理を行わず、ステップＳ２０５で得た特定の対象物に係る点群データを外部に出力、あるいは適当な記憶領域に記憶する処理も可能である。 It is also possible to output the point cloud data related to the specific object obtained in step S205 to the outside or store it in an appropriate storage area without performing the process of step S206.

（優位性）
不要なレーザースキャン点群の利用が制限されるので、カメラ付きレーザースキャナが得た計測データのデータ量を抑えることができる。また、画像認識で得た対象物の形状の特徴を利用して、レーザースキャン点群の三次元モデル化を行うことで、三次元モデル化に要する演算を削減できる。 (Superiority)
Since the use of unnecessary laser scan point clouds is restricted, the amount of measurement data obtained by the laser scanner with a camera can be suppressed. In addition, by utilizing the characteristics of the shape of the object obtained by image recognition to perform three-dimensional modeling of the laser scan point cloud, the calculation required for three-dimensional modeling can be reduced.

１００…カメラ付きレーザースキャナ
１０１…水平回転部
１０２…支持部
１０３…基台部
１０４…鉛直回転部
１０５…光学系
１０６…カメラ 100 ... Laser scanner with camera 101 ... Horizontal rotating part 102 ... Support part 103 ... Base part 104 ... Vertical rotating part 105 ... Optical system 106 ... Camera

Claims (6)

外部標定要素の関係が既知のレーザースキャナとカメラを複合化したカメラ付きレーザースキャン装置が得た計測データを処理する計測データ処理装置であって、
前記カメラ付きレーザースキャナが取得したレーザースキャン点群および前記カメラが撮影した画像の画像データを取得するデータ取得部と、
前記レーザースキャン点群と前記画像との対応関係を特定する対応関係特定部と、
前記画像の一部の指定を受け付ける指定受付部と、
前記レーザースキャン点群の中から、前記指定を受け付けた対象物に対応するレーザースキャン点群を抽出するレーザースキャン点群抽出部と
を備える計測データ処理装置。 It is a measurement data processing device that processes measurement data obtained by a laser scanning device with a camera that combines a laser scanner and a camera whose relationship with external orientation elements is known.
A data acquisition unit that acquires image data of a laser scan point cloud acquired by the camera-equipped laser scanner and an image taken by the camera, and a data acquisition unit.
A correspondence relationship specifying unit that specifies the correspondence relationship between the laser scan point cloud and the image, and
A designated reception section that accepts the designation of a part of the image, and
A measurement data processing device including a laser scan point cloud extraction unit that extracts a laser scan point cloud corresponding to an object that has received the designation from the laser scan point cloud. 前記画像から特定の対象物を抽出する対象物抽出部を備え、
前記画像の一部の指定では、前記抽出された特定の対象物の指定が行なわれる請求項１に記載の計測データ処理装置。 It is provided with an object extraction unit that extracts a specific object from the image.
The measurement data processing apparatus according to claim 1, wherein a part of the image is designated, and the extracted specific object is designated. 前記対象物の形状が予め取得されており、
前記予め取得されている前記対象物の形状に基づき、前記抽出したレーザースキャン点群に基づく３Ｄモデルを作成する３Ｄモデル作成部と
を備える請求項２に記載の計測データ処理装置。 The shape of the object has been acquired in advance,
The measurement data processing apparatus according to claim 2, further comprising a 3D model creation unit that creates a 3D model based on the extracted laser scan point cloud based on the previously acquired shape of the object. 前記対応関係の特定では、
前記カメラが撮影した画像中に前記レーザースキャン点群を構成する点を投影した合成画像の作成と、
前記合成画像に基づく、前記対応関係の特定が行なわれる請求項１〜３のいずれか一項に記載の計測データ処理装置。 In the identification of the correspondence,
Creating a composite image by projecting the points that make up the laser scan point cloud into the image taken by the camera,
The measurement data processing apparatus according to any one of claims 1 to 3, wherein the correspondence relationship is specified based on the composite image. 外部標定要素の関係が既知のレーザースキャナとカメラを複合化したカメラ付きレーザースキャン装置が得た計測データを処理する計測データ処理方法であって、
前記カメラ付きレーザースキャナが取得したレーザースキャン点群および前記カメラが撮影した画像の画像データを取得するデータ取得ステップと、
前記レーザースキャン点群と前記画像との対応関係を特定する対応関係特定ステップと、
前記画像の一部の指定を受け付ける指定受付ステップと、
前記レーザースキャン点群の中から、前記指定を受け付けた対象物に対応するレーザースキャン点群を抽出するレーザースキャン点群抽出ステップと
を備える計測データ処理方法。 It is a measurement data processing method that processes measurement data obtained by a laser scanning device with a camera that combines a laser scanner and a camera whose relationship with external orientation elements is known.
A data acquisition step of acquiring image data of a laser scan point cloud acquired by the camera-equipped laser scanner and an image taken by the camera, and a data acquisition step.
A correspondence relationship specifying step for specifying the correspondence relationship between the laser scan point cloud and the image, and
A designated reception step that accepts the designation of a part of the image, and
A measurement data processing method including a laser scan point cloud extraction step for extracting a laser scan point cloud corresponding to an object that has received the designation from the laser scan point cloud. 外部標定要素の関係が既知のレーザースキャナとカメラを複合化したカメラ付きレーザースキャン装置が得た計測データを処理するコンピュータに読み取らせて実行させるプログラムであって、
コンピュータに
前記カメラ付きレーザースキャナが取得したレーザースキャン点群および前記カメラが撮影した画像の画像データを取得するデータ取得ステップと、
前記レーザースキャン点群と前記画像との対応関係を特定する対応関係特定ステップと、
前記画像の一部の指定を受け付ける指定受付ステップと、
前記レーザースキャン点群の中から、前記指定を受け付けた対象物に対応するレーザースキャン点群を抽出するレーザースキャン点群抽出ステップと
を実行させる計測データ処理用プログラム。 A program that causes a computer to read and execute measurement data obtained by a laser scanning device with a camera that combines a laser scanner and a camera whose relationship with external orientation elements is known.
A data acquisition step of acquiring image data of a laser scan point cloud acquired by the camera-equipped laser scanner and an image taken by the camera on a computer, and a data acquisition step.
A correspondence relationship specifying step for specifying the correspondence relationship between the laser scan point cloud and the image, and
A designated reception step that accepts the designation of a part of the image, and
A measurement data processing program that executes a laser scan point cloud extraction step that extracts a laser scan point cloud corresponding to an object that has received the designation from the laser scan point cloud.
JP2019178590A 2019-09-30 2019-09-30 Measurement data processing device, measurement data processing method, and measurement data processing program Active JP7374690B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019178590A JP7374690B2 (en) 2019-09-30 2019-09-30 Measurement data processing device, measurement data processing method, and measurement data processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019178590A JP7374690B2 (en) 2019-09-30 2019-09-30 Measurement data processing device, measurement data processing method, and measurement data processing program

Publications (2)

Publication Number Publication Date
JP2021056069A true JP2021056069A (en) 2021-04-08
JP7374690B2 JP7374690B2 (en) 2023-11-07

Family

ID=75270478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019178590A Active JP7374690B2 (en) 2019-09-30 2019-09-30 Measurement data processing device, measurement data processing method, and measurement data processing program

Country Status (1)

Country Link
JP (1) JP7374690B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4227640A1 (en) 2022-02-14 2023-08-16 Topcon Corporation Laser scanning apparatus, laser scanning method, and laser scanning program
CN117537735A (en) * 2023-10-20 2024-02-09 中国中建设计研究院有限公司 Measurement method and device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003194530A (en) * 2001-12-28 2003-07-09 Mitsubishi Heavy Ind Ltd Method and apparatus for measuring already existing pipeline
JP2006098256A (en) * 2004-09-30 2006-04-13 Ricoh Co Ltd Three-dimensional surface model preparing system, image processing system, program, and information recording medium
JP2018138883A (en) * 2017-02-24 2018-09-06 新菱冷熱工業株式会社 Measuring machine arrangement position determination device, measuring machine arrangement position determination method, and program
JP2018165726A (en) * 2014-11-19 2018-10-25 首都高技術株式会社 Point group data utilization system
JP2019100995A (en) * 2017-12-08 2019-06-24 株式会社トプコン Measurement image display control unit, measurement image display control method, and program for measurement image display control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003194530A (en) * 2001-12-28 2003-07-09 Mitsubishi Heavy Ind Ltd Method and apparatus for measuring already existing pipeline
JP2006098256A (en) * 2004-09-30 2006-04-13 Ricoh Co Ltd Three-dimensional surface model preparing system, image processing system, program, and information recording medium
JP2018165726A (en) * 2014-11-19 2018-10-25 首都高技術株式会社 Point group data utilization system
JP2018138883A (en) * 2017-02-24 2018-09-06 新菱冷熱工業株式会社 Measuring machine arrangement position determination device, measuring machine arrangement position determination method, and program
JP2019100995A (en) * 2017-12-08 2019-06-24 株式会社トプコン Measurement image display control unit, measurement image display control method, and program for measurement image display control

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4227640A1 (en) 2022-02-14 2023-08-16 Topcon Corporation Laser scanning apparatus, laser scanning method, and laser scanning program
CN117537735A (en) * 2023-10-20 2024-02-09 中国中建设计研究院有限公司 Measurement method and device
CN117537735B (en) * 2023-10-20 2024-04-30 中国中建设计研究院有限公司 Measurement method and device

Also Published As

Publication number Publication date
JP7374690B2 (en) 2023-11-07

Similar Documents

Publication Publication Date Title
US11393173B2 (en) Mobile augmented reality system
US9799139B2 (en) Accurate image alignment to a 3D model
EP2339292A1 (en) Three-dimensional measurement apparatus and method thereof
US20130107038A1 (en) Terminal location specifying system, mobile terminal and terminal location specifying method
WO2012083135A1 (en) Systems and methods for processing images with edge detection and snap-to feature
CN110619807B (en) Method and device for generating global thermodynamic diagram
FR3021442A1 (en) METHOD OF PROCESSING LOCAL INFORMATION
JP7374690B2 (en) Measurement data processing device, measurement data processing method, and measurement data processing program
Gupta et al. Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones
WO2022025283A1 (en) Measurement processing device, method, and program
CN109034214B (en) Method and apparatus for generating a mark
CN114726978A (en) Information processing apparatus, information processing method, and program
KR101792701B1 (en) Apparatus and method for inspecting drawing
KR102076635B1 (en) Apparatus and method for generating panorama image for scattered fixed cameras
RU2583756C2 (en) Method of signature-based positioning of urban area images in visible and ir bands
JP4896762B2 (en) Image processing apparatus and image processing program
KR101863647B1 (en) Hypothetical line mapping and verification for 3D maps
WO2017057426A1 (en) Projection device, content determination device, projection method, and program
US11978161B2 (en) 3D modelling method and system
JP2021056151A (en) Controller for camera-fitted laser point cloud acquiring device, control method for camera-fitted laser point cloud acquiring device, and program for control of camera-fitted laser point cloud acquiring device
Lichtenauer et al. A semi-automatic procedure for texturing of laser scanning point clouds with google streetview images
JP2022093774A (en) Position estimation apparatus, position estimation method, and position estimation program
WO2023247015A1 (en) Determining a scale factor
KR20230101575A (en) Method and apparatus for PROVIDING VISUAL GUIDE FOR ACQUIRING 3D DATA
KR20230016315A (en) A method and apparatus for automatically generating deep learning training data for building area detection using aerial images and digital maps

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R150 Certificate of patent or registration of utility model

Ref document number: 7374690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150