JP2021056151A - Controller for camera-fitted laser point cloud acquiring device, control method for camera-fitted laser point cloud acquiring device, and program for control of camera-fitted laser point cloud acquiring device - Google Patents

Controller for camera-fitted laser point cloud acquiring device, control method for camera-fitted laser point cloud acquiring device, and program for control of camera-fitted laser point cloud acquiring device Download PDF

Info

Publication number
JP2021056151A
JP2021056151A JP2019181231A JP2019181231A JP2021056151A JP 2021056151 A JP2021056151 A JP 2021056151A JP 2019181231 A JP2019181231 A JP 2019181231A JP 2019181231 A JP2019181231 A JP 2019181231A JP 2021056151 A JP2021056151 A JP 2021056151A
Authority
JP
Japan
Prior art keywords
camera
point cloud
laser point
laser
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019181231A
Other languages
Japanese (ja)
Other versions
JP7304785B2 (en
Inventor
陽 佐々木
Akira Sasaki
陽 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2019181231A priority Critical patent/JP7304785B2/en
Publication of JP2021056151A publication Critical patent/JP2021056151A/en
Application granted granted Critical
Publication of JP7304785B2 publication Critical patent/JP7304785B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

To suppress the data amount of measured data obtained by a camera-fitted laser scanner.SOLUTION: Provided is a laser scanner controller 200 for controlling a camera-fitted laser scanner 100 in which a laser scanner having a known relation of external orientation elements is combined with a camera, said controller comprising: an image data acquisition unit 201 for acquiring the image data of an image photographed by a camera 106 of the camera-fitted laser scanner 100; a designation acceptance unit 203 for accepting designation of a portion of the image; and a laser scan range setting unit 204 for setting a laser scan range which is limited to the designation-accepted range.SELECTED DRAWING: Figure 2

Description

本発明は、カメラ付きレーザースキャナの制御に関する。 The present invention relates to the control of a laser scanner with a camera.

レーザースキャナとカメラを複合化したカメラ付きレーザースキャナがある（例えば、特許文献１を参照）。 There is a laser scanner with a camera in which a laser scanner and a camera are combined (see, for example, Patent Document 1).

特開２０１９−１２８１９６号公報Japanese Unexamined Patent Publication No. 2019-128196

レーザースキャンデータの利用方法の一つとして、レーザースキャンによって得た点群データ（レーザースキャン点群）に基づき、計測対象物の三次元モデルを得る技術が挙げられる。点群データは、データ量が多く、大きなデータ記憶容量が必要で、また処理を行うに際してハードウェア（例えばＰＣ等）への負担が大きいという問題がある。 One of the methods of using the laser scan data is a technique of obtaining a three-dimensional model of the object to be measured based on the point cloud data (laser scan point cloud) obtained by the laser scan. The point cloud data has a problem that the amount of data is large, a large data storage capacity is required, and the load on the hardware (for example, a PC or the like) is large when processing the point cloud data.

このような背景において、本発明は、カメラ付きレーザー点群取得装置が得た計測データのデータ量を抑える技術を得ることを目的とする。 Against this background, an object of the present invention is to obtain a technique for suppressing the amount of measurement data obtained by a laser point cloud acquisition device with a camera.

本発明は、外部標定要素の関係が既知のレーザー点群取得装置とカメラを複合化したカメラ付きレーザー点群取得装置の制御を行う装置であって、前記カメラ付きレーザー点群取得装置の前記カメラが撮影した画像の画像データを取得する画像データ取得部と、前記画像の一部の指定を受け付ける指定受付部と、前記レーザー点群取得装置によるレーザー点群の取得範囲を、前記指定を受け付けた範囲に限定する設定を行うレーザー点群取得範囲設定部とを備えるカメラ付きレーザー点群取得装置である。 The present invention is a device that controls a laser point cloud acquisition device with a camera that combines a laser point cloud acquisition device and a camera whose relationship with an external orientation element is known, and the camera of the laser point cloud acquisition device with a camera. Received the designation of the image data acquisition unit that acquires the image data of the image taken by the camera, the designated reception unit that accepts the designation of a part of the image, and the acquisition range of the laser point cloud by the laser point cloud acquisition device. It is a laser point cloud acquisition device with a camera provided with a laser point cloud acquisition range setting unit that sets a limit to the range.

本発明において、前記画像から特定の対象物を抽出する対象物抽出部を備え、前記画像の一部の指定では、前記抽出された特定の対象物の指定が行なわれる態様は好ましい。本発明において、前記抽出された特定の対象物に対応したレーザースキャン密度が選択される態様は好ましい。 In the present invention, it is preferable that an object extraction unit for extracting a specific object from the image is provided, and in the designation of a part of the image, the extracted specific object is designated. In the present invention, it is preferable that the laser scan density corresponding to the extracted specific object is selected.

本発明は、方法の発明およびプログラムの発生として把握することも可能である。 The present invention can also be grasped as the invention of a method and the generation of a program.

本発明によれば、カメラ付きレーザー点群取得装置が得た計測データのデータ量を抑える技術が得られる。 According to the present invention, it is possible to obtain a technique for suppressing the amount of measurement data obtained by the laser point cloud acquisition device with a camera.

実施形態におけるカメラ付きレーザースキャナの外観図である。It is an external view of the laser scanner with a camera in embodiment. 実施形態におけるレーザースキャナ制御装置およびカメラ付きレーザースキャナのブロック図である。It is a block diagram of the laser scanner control device and the laser scanner with a camera in embodiment. カメラ付きレーザースキャナのカメラが撮影した画像を示す図面代用写真である。It is a drawing substitute photograph which shows the image taken by the camera of the laser scanner with a camera. カメラ付きレーザースキャナのカメラが撮影した画像を示す図面代用写真である。It is a drawing substitute photograph which shows the image taken by the camera of the laser scanner with a camera. 処理の手順の一例を示すフローチャートである。It is a flowchart which shows an example of the processing procedure.

１．第１の実施形態
（カメラ付きレーザースキャナの構造）
図１には、カメラ付きレーザー点群取得装置の一例であるカメラ付きレーザースキャナ１００が示されている。カメラ付きレーザースキャナ１００は、水平回転部１０１、支持部１０２、三脚上部の基台部１０３、基台部１０３を下方から支持する三脚１０７を有している。 1. 1. First Embodiment (Structure of Laser Scanner with Camera)
FIG. 1 shows a laser scanner 100 with a camera, which is an example of a laser point cloud acquisition device with a camera. The laser scanner 100 with a camera has a horizontal rotating portion 101, a support portion 102, a base portion 103 on the upper part of the tripod, and a tripod 107 that supports the base portion 103 from below.

水平回転部１０１は、支持部１０２に対して水平回転する。水平回転部１０１には、鉛直回転部１０４が配置されている。鉛直回転部１０４は、水平回転部１０１に対して鉛直回転する。鉛直回転部１０４には、レーザースキャン用の測距用パルス光を出力し、また検出する光学系１０５が配置されている。 The horizontal rotating portion 101 rotates horizontally with respect to the supporting portion 102. A vertical rotating portion 104 is arranged in the horizontal rotating portion 101. The vertical rotating portion 104 rotates vertically with respect to the horizontal rotating portion 101. An optical system 105 for outputting and detecting a range-finding pulsed light for laser scanning is arranged in the vertical rotating unit 104.

水平回転部１０１を水平回転させ、且つ、鉛直回転部１０４を鉛直回転させた状態で数ｋＨｚ〜数十ｋＨｚの繰り返し周波数で、光学系１０５から測距光を繰り返し外に向かって照射し、その反射光が光学系１０５で検出されることで、レーザースキャンが行われる。 With the horizontal rotating unit 101 rotated horizontally and the vertical rotating unit 104 rotated vertically, the optical system 105 repeatedly irradiates the distance measuring light outward from the optical system 105 at a repeating frequency of several kHz to several tens of kHz. Laser scanning is performed when the reflected light is detected by the optical system 105.

上記のレーザースキャンが行われることで、レーザースキャンの視点となる光学系１０５の光学原点（光学中心）を原点するレーザースキャンデータが得られる。レーザースキャンデータは、上記の光学原点からの距離と方向のデータをスキャン点（スキャン光の反射点）それぞれにおいて取得したものとなる。そして、各スキャン点の位置を適当な座標系上で記述したデータがレーザースキャン点群（レーザースキャンによって得られた３Ｄ点群データ）となる。 By performing the above laser scan, laser scan data originating from the optical origin (optical center) of the optical system 105, which is the viewpoint of the laser scan, can be obtained. The laser scan data is obtained by acquiring the above-mentioned distance and direction data from the optical origin at each scan point (reflection point of scan light). Then, the data in which the position of each scan point is described on an appropriate coordinate system becomes a laser scan point cloud (3D point cloud data obtained by the laser scan).

ここで、カメラ付きレーザースキャナの絶対座標系における外部標定要素（上記光学原点の位置と光学系１０５の姿勢）が既知であれば、絶対座標系におけるレーザースキャン点群が得られる。絶対座標系というのは、ＧＮＳＳや地図情報を記述する際に利用される座標系である。 Here, if the external orientation element (the position of the optical origin and the orientation of the optical system 105) in the absolute coordinate system of the laser scanner with a camera is known, a laser scan point cloud in the absolute coordinate system can be obtained. The absolute coordinate system is a coordinate system used when describing GNSS and map information.

カメラ１０６の外部標定要素とレーザースキャナを構成する光学系１０５の外部標定要素の関係は既知とされている。よって、カメラ１０６の撮影画像とレーザースキャン範囲との対応関係を確定することができる。 The relationship between the external orientation element of the camera 106 and the external orientation element of the optical system 105 constituting the laser scanner is known. Therefore, the correspondence between the captured image of the camera 106 and the laser scan range can be determined.

この例では、カメラ付きレーザースキャナ１００から、レーザースキャンデータとカメラ１０６が撮影した画像の画像データが出力される。レーザースキャナとカメラ１０６による撮影は、同時に行なうこともできるし、個別に行うこともできる。 In this example, the laser scan data with a camera 100 outputs the laser scan data and the image data of the image taken by the camera 106. The laser scanner and the camera 106 can be photographed at the same time or individually.

（カメラ付きレーザースキャナのブロック図）
図２には、カメラ付きレーザースキャナ１００のブロック図が示されている。図２には、カメラ１０６、測距部１１１、水平回転角検出部１１２、鉛直回転角検出部１１３、水平回転制御部１１４、鉛直回転制御部１１５、レーザースキャンデータ出力部１１６を備えている。 (Block diagram of laser scanner with camera)
FIG. 2 shows a block diagram of the laser scanner 100 with a camera. FIG. 2 includes a camera 106, a distance measuring unit 111, a horizontal rotation angle detection unit 112, a vertical rotation angle detection unit 113, a horizontal rotation control unit 114, a vertical rotation control unit 115, and a laser scan data output unit 116.

カメラ１０６が撮影した画像のデータ（画像データ）は、後述するレーザースキャナ制御装置２００に送られる。この際、当該画像の方向（画像中心の方向、カメラ１０６の光軸の方向）、画角（撮影範囲）に関する情報もレーザースキャナ制御装置２００に送られる。 The image data (image data) captured by the camera 106 is sent to the laser scanner control device 200, which will be described later. At this time, information regarding the direction of the image (direction of the center of the image, direction of the optical axis of the camera 106) and the angle of view (shooting range) is also sent to the laser scanner control device 200.

測距部１１１は、光学系１０５から出射される測距光（スキャン光）に基づく対象物までの距離の算出を行う。距離を算出する方法は、通常のレーザー測距装置と同じである。距離を算出する方法としては、（１）測距光の伝搬時間から計算する方法、（２）測距光の検出タイミングとカメラ付きレーザースキャナ１００の内部に設けられた基準光路を伝搬した基準光の検出タイミングの差（位相差）から計算する方法が挙げられる。 The distance measuring unit 111 calculates the distance to the object based on the distance measuring light (scan light) emitted from the optical system 105. The method of calculating the distance is the same as that of a normal laser ranging device. The distance can be calculated by (1) the method of calculating from the propagation time of the distance measuring light, (2) the detection timing of the distance measuring light and the reference light propagating in the reference optical path provided inside the laser scanner 100 with a camera. A method of calculating from the difference in detection timing (phase difference) of

水平回転角検出部１１２は、水平回転部１０１の水平回転角を検出する。鉛直回転角検出部１１３は、鉛直回転部１０４の鉛直回転角を検出する。角度の検出は、ロータリーエンコーダによって行われる。 The horizontal rotation angle detection unit 112 detects the horizontal rotation angle of the horizontal rotation unit 101. The vertical rotation angle detection unit 113 detects the vertical rotation angle of the vertical rotation unit 104. Angle detection is performed by a rotary encoder.

水平回転制御部１１４は、水平回転部１０１の水平回転を制御する。実際の構造は、水平回転部１０１を水平回転させる駆動機構、この駆動機構に駆動力を与えるモータ、このモータの制御回路を備えている。そして、この制御回路への制御信号が水平回転制御部１１４から出力される。 The horizontal rotation control unit 114 controls the horizontal rotation of the horizontal rotation unit 101. The actual structure includes a drive mechanism for horizontally rotating the horizontal rotating portion 101, a motor for applying a driving force to the drive mechanism, and a control circuit for the motor. Then, the control signal to this control circuit is output from the horizontal rotation control unit 114.

鉛直回転制御部１１５は、鉛直回転部１０４の鉛直回転を制御する。実際の構造は、鉛直回転部１０４を鉛直回転させる駆動機構、この駆動機構に駆動力を与えるモータ、このモータの制御回路を備えている。そして、この制御回路への制御信号が鉛直回転制御部１１５から出力される。 The vertical rotation control unit 115 controls the vertical rotation of the vertical rotation unit 104. The actual structure includes a drive mechanism for vertically rotating the vertical rotating portion 104, a motor for applying a driving force to the drive mechanism, and a control circuit for the motor. Then, the control signal to this control circuit is output from the vertical rotation control unit 115.

レーザースキャンデータ作成部１１７は、レーザースキャンデータを作成する。レーザースキャンデータは、各スキャン点に関する光学系１０５の光学原点（光学中心）からの距離と、光学原点からの方向のデータである。各スキャン点までの距離は、測距部１１１で算出される。各スキャン点の方向は、水平回転角検出部１１２が検出した水平回転部１０１の水平回転角と、鉛直回転角検出部１１８が検出した鉛直回転部１０４の鉛直回転角に基づき算出される。 The laser scan data creation unit 117 creates the laser scan data. The laser scan data is data on the distance from the optical origin (optical center) of the optical system 105 with respect to each scan point and the direction from the optical origin. The distance to each scan point is calculated by the distance measuring unit 111. The direction of each scan point is calculated based on the horizontal rotation angle of the horizontal rotation unit 101 detected by the horizontal rotation angle detection unit 112 and the vertical rotation angle of the vertical rotation unit 104 detected by the vertical rotation angle detection unit 118.

レーザースキャンによって直接得られるレーザースキャンデータは、各スキャン点の光学原点（レーザースキャンの視点）からの距離と方向であり、これは各スキャン点が極座標系上で記述された形態となる。この極座標系を３次元直線直交座標系に座標変換したものをレーザースキャンデータ作成部１１７で作成してもよい。 The laser scan data directly obtained by the laser scan is the distance and direction of each scan point from the optical origin (laser scan viewpoint), which is the form in which each scan point is described on the polar coordinate system. The laser scan data creation unit 117 may create a coordinate-converted polar coordinate system into a three-dimensional linear Cartesian coordinate system.

（レーザースキャナ制御装置）
図２には、レーザースキャナ制御装置２００のブロック図が示されている。レーザースキャナ制御装置２００は、図１のカメラ付きレーザースキャナ１００のカメラ１０６が撮影した画像に基づき、カメラ付きレーザースキャナ１００のレーザースキャンの範囲の制御を行う。レーザースキャナ制御装置２００は、市販のＰＣ（パーソナルコンピュータ）を利用して構成されている。 (Laser scanner control device)
FIG. 2 shows a block diagram of the laser scanner control device 200. The laser scanner control device 200 controls the range of the laser scan of the camera-equipped laser scanner 100 based on the image taken by the camera 106 of the camera-equipped laser scanner 100 of FIG. The laser scanner control device 200 is configured by using a commercially available PC (personal computer).

レーザースキャナ制御装置２００は、コンピュータとして機能する。レーザースキャナ制御装置２００が備える各機能部の機能は、使用するＰＣに図２に示す各機能部を実現するためのアプリケーションソフトウェアをインストールし、当該アプリケーションソフトウェアを構成するプログラムが当該ＰＣのＣＰＵによって実行されることで実現される。各機能部の一部または全部を各種のプロセッサや電子回路で構成してもよい。また、外部のＰＣ（パーソナルコンピュータ）やサーバの演算部を利用して、上記機能部の少なくとも一部を実現してもよい。 The laser scanner control device 200 functions as a computer. The functions of each functional unit included in the laser scanner control device 200 are such that application software for realizing each functional unit shown in FIG. 2 is installed on a PC to be used, and a program constituting the application software is executed by the CPU of the PC. It is realized by being done. A part or all of each functional unit may be composed of various processors or electronic circuits. Further, at least a part of the above functional units may be realized by using an external PC (personal computer) or a calculation unit of a server.

レーザースキャナ制御装置２００は、画像データ取得部２０１、対象物抽出部２０２、指定受付部２０３、レーザースキャン範囲設定部２０４、制御信号出力部２０５を備えている。その他、レーザースキャナ制御装置２００は、通常のＰＣが備えるＣＰＵ、記憶装置（半導体メモリやハードディスク装置等）、通信装置、画像表示装置、ユーザーインターフェース装置を有する。 The laser scanner control device 200 includes an image data acquisition unit 201, an object extraction unit 202, a designated reception unit 203, a laser scan range setting unit 204, and a control signal output unit 205. In addition, the laser scanner control device 200 includes a CPU, a storage device (semiconductor memory, hard disk device, etc.), a communication device, an image display device, and a user interface device included in a normal PC.

画像データ取得部２０１は、カメラ付きレーザースキャナ１００のカメラ１０６が撮影した画像の画像データを取得する。この画像データは、撮影時におけるカメラ１０６の向きに関するデータと関連付けされており、このカメラの向きに係るデータも画像データ取得部１０２で取得される。 The image data acquisition unit 201 acquires image data of an image taken by the camera 106 of the camera-equipped laser scanner 100. This image data is associated with data relating to the orientation of the camera 106 at the time of shooting, and data relating to the orientation of the camera is also acquired by the image data acquisition unit 102.

対象物抽出部２０２は、カメラ１０６が撮影した画像の中から特定の対象物を抽出する。特定の対象物は、予め決められている。例えば、パイプ、蛍光灯、配線、発電機、ポンプといった予め外観が判明している対象物がライブラリーとして登録されており、その外観に合致する画像が抽出される。これは、セキュリティー分野等で実用化されている画像認証技術や画像認識技術を利用して実現されている。図３，４は、画像およびそこから抽出された対象物が写った図面代用写真である。 The object extraction unit 202 extracts a specific object from the image captured by the camera 106. The specific object is predetermined. For example, objects whose appearances are known in advance, such as pipes, fluorescent lamps, wirings, generators, and pumps, are registered as a library, and images matching the appearances are extracted. This is realized by using image authentication technology and image recognition technology that have been put into practical use in the security field and the like. FIGS. 3 and 4 are drawing-substituting photographs showing an image and an object extracted from the image.

指定受付部２０３は、カメラ１０６が撮影した画像中の一部の指定を受け付ける。例えば、図３の画像を、レーザースキャナ制御装置２００を構成するＰＣの表示画面上に表示する。この状態において、ユーザは、当該ＰＣが備えるＧＵＩの機能を用いて、図３の画像上の特定の部分（例えば、蛍光灯の部分）を指定する。すると、この指定に係る指示が指定受付部２０３で受け付けられる。 The designated reception unit 203 receives a part of the designation in the image captured by the camera 106. For example, the image of FIG. 3 is displayed on the display screen of the PC constituting the laser scanner control device 200. In this state, the user specifies a specific part (for example, a part of a fluorescent lamp) on the image of FIG. 3 by using the GUI function provided in the PC. Then, the instruction relating to this designation is received by the designated reception unit 203.

レーザースキャン範囲設定部２０４は、指定受付部２０３が受け付けた対象物を含む限定された領域をレーザースキャン範囲として設定する処理を行う。 The laser scan range setting unit 204 performs a process of setting a limited area including an object received by the designated reception unit 203 as a laser scan range.

ここでは、以下のような処理が行なわれる。まず、カメラ１０６の光学原点を起点とする指定された対象物の方向と、この対象物の範囲を取得する。カメラ１０６の光学原点（投影原点）に対する対象物の方向は、当該対象物が写った画像を解析することで得られる。ここで、この画像の撮影時におけるカメラ１０６の光軸、つまり当該画像の中心の方向は、撮影時のカメラ１０６の向きから判る。また、当該対象物の画像内の２次元位置から、当該対象物の上記画像の中心の方向と当該対象物の方向との相対関係が判る。このことから、当該対象物のカメラ１０６の光学原点を起点する当該対象物の方向が判る。 Here, the following processing is performed. First, the direction of the designated object starting from the optical origin of the camera 106 and the range of this object are acquired. The direction of the object with respect to the optical origin (projection origin) of the camera 106 can be obtained by analyzing the image in which the object is captured. Here, the optical axis of the camera 106 at the time of shooting this image, that is, the direction of the center of the image can be known from the direction of the camera 106 at the time of shooting. Further, from the two-dimensional position in the image of the object, the relative relationship between the direction of the center of the image of the object and the direction of the object can be known. From this, the direction of the object starting from the optical origin of the camera 106 of the object can be known.

他方で、カメラ１０６と光学系１０５の外部標定要素の関係は既知だから、上記の解析から、当該対象物の光学系１０５の光学原点から見た方向とその範囲が判る。この結果を利用して、当該対象物の存在する範囲をレーザースキャン範囲として設定する。この処理がレーザースキャン範囲設定部２０４で行なわれる。 On the other hand, since the relationship between the camera 106 and the external orientation element of the optical system 105 is known, the direction and range of the object as seen from the optical origin of the optical system 105 can be known from the above analysis. Using this result, the range where the object exists is set as the laser scan range. This process is performed by the laser scan range setting unit 204.

例えば、図４のパイプの部分が対象物として指定されたとする。この場合、カメラ付きレーザースキャナ（光学系１０５の光学原点）から見たパイプの方向およびその範囲がレーザースキャン範囲として設定される。この処理がレーザースキャン範囲設定部２０４で行なわれる。 For example, suppose that the pipe portion of FIG. 4 is designated as an object. In this case, the direction of the pipe and its range as seen from the laser scanner with a camera (optical origin of the optical system 105) are set as the laser scan range. This process is performed by the laser scan range setting unit 204.

制御信号出力部２０５は、レーザースキャン範囲設定部２０４で設定されたレーザースキャンの範囲に係る制御信号を生成し、それをカメラ付きレーザースキャナ１００に送る。例えば、レーザースキャンの範囲を水平角と鉛直角で規定した制御信号を生成し、それをカメラ付きレーザースキャナ１００に送る。 The control signal output unit 205 generates a control signal related to the laser scan range set by the laser scan range setting unit 204, and sends it to the laser scanner 100 with a camera. For example, a control signal in which the range of the laser scan is defined by the horizontal angle and the vertical angle is generated, and the control signal is sent to the laser scanner 100 with a camera.

この制御信号により、カメラ付きレーザースキャナ１００による指示された特定の範囲に対するレーザースキャンが行われる。 With this control signal, a laser scan for a specific range indicated by the laser scanner 100 with a camera is performed.

（処理の一例）
図５は、レーザースキャナ制御装置２００で行なわれる処理の一例を示すフローチャートである。図５の処理を実行するプログラムは、レーザースキャナ制御装置２００が備える記憶部や適当な記憶媒体に記憶され、そこから読み出され、レーザースキャナ制御装置２００を構成するＰＣのＣＰＵによって実行される。このプログラムをサーバに記憶し、インターネット経由でそこからダウンロードする形態も可能である。 (Example of processing)
FIG. 5 is a flowchart showing an example of processing performed by the laser scanner control device 200. The program for executing the process of FIG. 5 is stored in a storage unit included in the laser scanner control device 200 or an appropriate storage medium, read from the storage unit, and executed by the CPU of the PC constituting the laser scanner control device 200. It is also possible to store this program in a server and download it from there via the Internet.

図５の処理に先立ち、カメラ付きレーザースキャナ１００のカメラ１０６を用いて、カメラ付きレーザースキャナ１００の周囲の撮影を行う。ここでは、上方の含めた全周（半球面）の撮影を行う。撮影は、全周に対して行われる。この際、全周を複数に分割し、この分割した範囲毎に撮影が行われる。これは、通常のパノラマ画像の作成手法と同じである。そして、この複数の画像を用いてパノラマ画像が作成される。 Prior to the process of FIG. 5, the camera 106 of the camera-equipped laser scanner 100 is used to take a picture of the surroundings of the camera-equipped laser scanner 100. Here, the entire circumference (hemispherical surface) including the upper part is photographed. Shooting is done all around. At this time, the entire circumference is divided into a plurality of parts, and shooting is performed for each of the divided ranges. This is the same as a normal panoramic image creation method. Then, a panoramic image is created using the plurality of images.

また、各画像に係るカメラ１０６の光軸の方向（撮影方向）のデータも対応する画像データに関連して取得される。 In addition, data on the direction of the optical axis (shooting direction) of the camera 106 related to each image is also acquired in relation to the corresponding image data.

処理が開始されると、まずカメラ１０６が撮影した画像データ（パノラマ画像のデータ）が画像データ取得部２０１で取得される（ステップＳ２０１）。ここで、取得される画像データは、その画像の対象となる領域の方向（カメラ付きレーザースキャナ２００から見た方向）と関連付けされており、そのデータも同時に取得される。 When the process is started, first, the image data (panoramic image data) taken by the camera 106 is acquired by the image data acquisition unit 201 (step S201). Here, the acquired image data is associated with the direction of the target region of the image (the direction viewed from the camera-equipped laser scanner 200), and the data is also acquired at the same time.

次に、ステップＳ２０１で取得した画像データの中から予め登録しておいた対象物の画像を抽出する（ステップＳ２０２）。この処理は、対象物抽出部２０２で行なわれる。この処理では、例えば、図３の蛍光灯や図４のパイプといった対象物が画像認識技術を利用して抽出される。 Next, the image of the object registered in advance is extracted from the image data acquired in step S201 (step S202). This process is performed by the object extraction unit 202. In this process, for example, an object such as the fluorescent lamp of FIG. 3 or the pipe of FIG. 4 is extracted by using an image recognition technique.

次に、ステップＳ２０２で抽出された対象物に対するユーザの指定を受け付ける（ステップＳ２０３）。この処理は、指定受付部２０３で行なわれる。この処理では、レーザースキャナ制御装置２００として利用されるＰＣの画面上に、ステップＳ２０２で抽出された対象物が把握（視認）できるように表示された画像を表示させ、ＧＵＩを用いたユーザによる対象物の指定を受け付ける。例えば、マウスを用いた左クリックによって、ユーザによる対象物の指定が行なわれる。 Next, the user's designation for the object extracted in step S202 is accepted (step S203). This process is performed by the designated reception unit 203. In this process, an image displayed so that the object extracted in step S202 can be grasped (visualized) is displayed on the screen of the PC used as the laser scanner control device 200, and the object by the user using the GUI is displayed. Accepts the designation of things. For example, a user can specify an object by left-clicking with a mouse.

次に、ステップＳ２０３で受け付けた対象物が含まれるレーザースキャン範囲の設定が行なわれる（ステップＳ２０４）。この処理は、レーザースキャン範囲設定部２０４で行なわれる。この処理では、指定された対象物の領域より僅かに広い領域がレーザースキャン領域として設定される。ここで、対象物がレーザースキャン範囲から漏れないように留意する必要がある。他方で、余裕を取りすぎると、無駄なレーザースキャンを行う部分が増大する。故に、例えば、レーザースキャン領域として、指定された対象物の領域よりも５〜２０％広い領域を設定する。 Next, the laser scan range including the object received in step S203 is set (step S204). This process is performed by the laser scan range setting unit 204. In this process, a region slightly wider than the region of the designated object is set as the laser scan region. Here, care must be taken to ensure that the object does not leak out of the laser scan range. On the other hand, if too much margin is taken, the part where unnecessary laser scanning is performed increases. Therefore, for example, a region 5 to 20% wider than the region of the designated object is set as the laser scan region.

ステップＳ２０４におけるレーザースキャンの範囲の設定を行ったら、この設定の内容を反映した制御信号がカメラ付きレーザースキャナ１００に出力される（ステップＳ２０５）。この処理は、制御信号出力部２０５で行なわれる。 After setting the laser scan range in step S204, a control signal reflecting the content of this setting is output to the laser scanner 100 with a camera (step S205). This processing is performed by the control signal output unit 205.

（優位性）
画像を利用してレーザースキャンが必要な対象物が選択され、この対象物に限定したレーザースキャンの範囲が設定される。このため、無駄なレーザースキャンが行われる問題が抑制され、レーザースキャンデータのデータ量が抑制される。 (Superiority)
An object that requires laser scanning is selected using the image, and the range of laser scanning limited to this object is set. Therefore, the problem of unnecessary laser scanning is suppressed, and the amount of laser scan data is suppressed.

また、レーザースキャンの範囲を限定できるので、特定の対象に集中して高密度の点群データの取得を行うことができる。 Further, since the range of the laser scan can be limited, it is possible to concentrate on a specific target and acquire high-density point cloud data.

２．第２の実施形態
第１の実施形態において、画像から抽出した対象物（パイプやポンプ等）に対応させてスキャン密度（取得する点群の密度）を指定する、あるいは選択可能にする形態も可能である。 2. Second Embodiment In the first embodiment, it is also possible to specify or make selectable the scan density (density of the point cloud to be acquired) corresponding to the object (pipe, pump, etc.) extracted from the image. Is.

例えば、画像中から対象物を指定した場合に、マウスの右クリックで点群密度（解像度）のメニューが表示される。このメニューとしては、１点／ｃｍ２、２点／ｃｍ２、４点／ｃｍ２・・といったものが挙げられる。 For example, when an object is specified from the image, a menu of point cloud density (resolution) is displayed by right-clicking the mouse. This menu includes 1 point / cm 2 , 2 points / cm 2 , 4 points / cm 2 , and so on.

また、対象物に対応させて、予め取得するスキャン密度（点群密度）を決めておき、それを設定する形態も可能である。またこの設定を推奨取得密度としてユーザに提示する形態も可能である。例えば、対象部がパイプであればｎ点／ｃｍ２、対象物が照明機器であればｍ点／ｃｍ２といった具体に、予め定めた適切なスキャン密度が選択された対象物に応じて設定される。このスキャン密度の設定は、レーザースキャン範囲設定部２０４で行なわれる。 It is also possible to determine the scan density (point cloud density) to be acquired in advance according to the object and set it. It is also possible to present this setting to the user as the recommended acquisition density. For example, if the target part is a pipe, n points / cm 2 and if the target part is a lighting device, m points / cm 2 , a specific predetermined appropriate scan density is set according to the selected object. To. This scan density is set by the laser scan range setting unit 204.

対象物によって、例えば、配管のパイプであれば、Ｎ点／ｃｍ２、照明機器であればＭ点／ｃｍ２といった具合に適切な点群密度が判っている場合がある。このような場合に、上記の態様は有効である。 By the object, for example, if the pipe of the piping, there is a case where N points / cm 2, suitable point cloud density and so on M points / cm 2 if the illumination devices are known. In such a case, the above aspect is effective.

３．第３の実施形態
第１の実施形態において、対象の形状に対応させてスキャン密度に違いを持たせる態様も可能である。例えば、測定対象のポンプの中でも平面部分は点密度を粗くし、湾曲部など変化がある部分は密にスキャンする。こうすることで、点群の取得に係る作業の効率化を追求しつつ、対象物の形状を忠実に再現できる点群データを得ることができる。また、画像認識技術により、測定対象物の平坦部、変曲部を認識し、それに応じてもスキャン密度を変える態様も可能である。 3. 3. Third Embodiment In the first embodiment, it is also possible to make the scan density different according to the shape of the target. For example, among the pumps to be measured, the flat portion has a coarse point density, and the curved portion and other parts with a change are densely scanned. By doing so, it is possible to obtain point cloud data that can faithfully reproduce the shape of the object while pursuing the efficiency of the work related to the acquisition of the point cloud. Further, it is also possible to recognize the flat portion and the inflection portion of the object to be measured by the image recognition technology and change the scan density accordingly.

４．第４の実施形態
カメラ付きレーザー点群取得装置として、カメラとレーザースキャナを複合化したものを例示したが、カメラ付きレーザー点群取得装置として、一般にLiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)と称されるレーザー光を用いた点群データ取得装置を利用することができる。例えば、カメラ付きレーザー点群取得装置として、カメラとフラッシュライダーを複合化したものを利用することもできる。 4. Fourth Embodiment As a laser point cloud acquisition device with a camera, a composite of a camera and a laser scanner has been illustrated, but as a laser point cloud acquisition device with a camera, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) is generally used. ), A point cloud data acquisition device using a laser beam can be used. For example, as a laser point cloud acquisition device with a camera, a combination of a camera and a flash rider can be used.

LiDARについては、例えば、東芝レビューVol. 73 No6(2018年11月)や自動運転ラボ(2018年10月12日)(https://jidounten-lab.com/y_6506)に記載されている。 LiDAR is described, for example, in Toshiba Review Vol. 73 No6 (November 2018) and Autonomous Driving Lab (October 12, 2018) (https://jidounten-lab.com/y_6506).

例えば、カメラ付きレーザー点群取得装置として、カメラとフラッシュライダーを複合化したものを利用する場合を説明する。フラッシュライダーでは、アレイ状（マトリクス状）に発光素子と受光素子が配置され、レーザー測距光をスキャンするのではなく、アレイ状（例えば、ｍ×ｎ）のレーザー測距光を同時に照射し、その反射光を受光することで、アレイ状の点群データを得る。 For example, a case where a combined camera and flash rider is used as a laser point cloud acquisition device with a camera will be described. In the flash rider, light emitting elements and light receiving elements are arranged in an array (matrix), and instead of scanning the laser ranging light, an array (for example, m × n) laser ranging light is simultaneously irradiated. By receiving the reflected light, array-shaped point group data is obtained.

この場合、フラッシュライダーの指向方向を調整することで、対象物に対する部分的なレーザー点群データの取得が行われる。あるいは、アレイの一部の発光および／または受光を行うことで、対象物に対する限定的なレーザー測距を行い、部分的なレーザー点群の取得が行われる。 In this case, by adjusting the directivity direction of the flash rider, partial laser point cloud data for the object is acquired. Alternatively, by emitting and / or receiving a part of the array, a limited laser distance measurement is performed on the object, and a partial laser point cloud is acquired.

１００…カメラ付きレーザースキャナ
１０１…水平回転部
１０２…支持部
１０３…基台部
１０４…鉛直回転部
１０５…光学系
１０６…カメラ
100 ... Laser scanner with camera 101 ... Horizontal rotating part 102 ... Support part 103 ... Base part 104 ... Vertical rotating part 105 ... Optical system 106 ... Camera

Claims (5)

外部標定要素の関係が既知のレーザー点群取得装置とカメラを複合化したカメラ付きレーザー点群取得装置の制御を行う装置であって、
前記カメラ付きレーザー点群取得装置の前記カメラが撮影した画像の画像データを取得する画像データ取得部と、
前記画像の一部の指定を受け付ける指定受付部と、
前記レーザー点群取得装置によるレーザー点群の取得範囲を、前記指定を受け付けた範囲に限定する設定を行うレーザー点群取得範囲設定部と
を備えるカメラ付きレーザー点群取得装置。 It is a device that controls a laser point cloud acquisition device with a camera that combines a laser point cloud acquisition device and a camera whose relationship with external orientation elements is known.
An image data acquisition unit that acquires image data of an image taken by the camera of the camera-equipped laser point cloud acquisition device, and an image data acquisition unit.
A designated reception section that accepts the designation of a part of the image, and
A laser point cloud acquisition device with a camera including a laser point cloud acquisition range setting unit that sets the acquisition range of the laser point cloud by the laser point cloud acquisition device to the range in which the designation is accepted. 前記画像から特定の対象物を抽出する対象物抽出部を備え、
前記画像の一部の指定では、前記抽出された特定の対象物の指定が行なわれる請求項１に記載のカメラ付きレーザー点群取得装置。 It is provided with an object extraction unit that extracts a specific object from the image.
The camera-equipped laser point cloud acquisition device according to claim 1, wherein in the designation of a part of the image, the extracted specific object is designated. 前記抽出された特定の対象物に対応したレーザースキャン密度が選択される請求項２に記載のカメラ付きレーザー点群取得装置。 The camera-equipped laser point cloud acquisition device according to claim 2, wherein the laser scan density corresponding to the extracted specific object is selected. 外部標定要素の関係が既知のレーザー点群取得装置とカメラを複合化したカメラ付きレーザー点群取得装置の制御を行う方法であって、
前記カメラ付きレーザー点群取得装置の前記カメラが撮影した画像の画像データを取得する画像データ取得ステップと、
前記画像の一部の指定を受け付ける指定受付ステップと、
前記レーザー点群取得装置によるレーザー点群の取得範囲を、前記指定を受け付けた範囲に限定する設定を行うレーザー点群取得範囲設定ステップと
を備えるカメラ付きレーザー点群取得装置の制御方法。 It is a method of controlling a laser point cloud acquisition device with a camera that combines a laser point cloud acquisition device and a camera whose relationship with external orientation elements is known.
An image data acquisition step of acquiring image data of an image taken by the camera of the camera-equipped laser point cloud acquisition device, and an image data acquisition step.
A designated reception step that accepts the designation of a part of the image, and
A control method for a laser point cloud acquisition device with a camera, which comprises a laser point cloud acquisition range setting step for setting the acquisition range of the laser point cloud by the laser point cloud acquisition device to the range in which the designation is accepted. 外部標定要素の関係が既知のレーザー点群取得装置とカメラを複合化したカメラ付きレーザー点群取得装置の制御を行うプログラムであって、
前記カメラ付きレーザー点群取得装置の前記カメラが撮影した画像の画像データを取得する画像データ取得ステップと、
前記画像の一部の指定を受け付ける指定受付ステップと、
前記レーザー点群取得装置によるレーザー点群の取得範囲を、前記指定を受け付けた範囲に限定する設定を行うレーザー点群取得範囲設定ステップと
を実行させるカメラ付きレーザー点群取得装置の制御用プログラム。
It is a program that controls a laser point cloud acquisition device with a camera that combines a laser point cloud acquisition device and a camera whose relationship with external orientation elements is known.
An image data acquisition step of acquiring image data of an image taken by the camera of the camera-equipped laser point cloud acquisition device, and an image data acquisition step.
A designated reception step that accepts the designation of a part of the image, and
A control program for a laser point cloud acquisition device with a camera that executes a laser point cloud acquisition range setting step for setting the acquisition range of the laser point cloud by the laser point cloud acquisition device to the range in which the designation is accepted.
JP2019181231A 2019-10-01 2019-10-01 Control device for laser point cloud acquisition device with camera, control method for laser point cloud acquisition device with camera, and program for controlling laser point cloud acquisition device with camera Active JP7304785B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019181231A JP7304785B2 (en) 2019-10-01 2019-10-01 Control device for laser point cloud acquisition device with camera, control method for laser point cloud acquisition device with camera, and program for controlling laser point cloud acquisition device with camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019181231A JP7304785B2 (en) 2019-10-01 2019-10-01 Control device for laser point cloud acquisition device with camera, control method for laser point cloud acquisition device with camera, and program for controlling laser point cloud acquisition device with camera

Publications (2)

Publication Number Publication Date
JP2021056151A true JP2021056151A (en) 2021-04-08
JP7304785B2 JP7304785B2 (en) 2023-07-07

Family

ID=75270534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019181231A Active JP7304785B2 (en) 2019-10-01 2019-10-01 Control device for laser point cloud acquisition device with camera, control method for laser point cloud acquisition device with camera, and program for controlling laser point cloud acquisition device with camera

Country Status (1)

Country Link
JP (1) JP7304785B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080074640A1 (en) * 2006-09-22 2008-03-27 Walsh Gregory C Lidar system
JP2008082782A (en) * 2006-09-26 2008-04-10 Topcon Corp Laser scanner
JP2018066571A (en) * 2016-10-17 2018-04-26 株式会社トプコン Laser scanner

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080074640A1 (en) * 2006-09-22 2008-03-27 Walsh Gregory C Lidar system
JP2008082782A (en) * 2006-09-26 2008-04-10 Topcon Corp Laser scanner
JP2018066571A (en) * 2016-10-17 2018-04-26 株式会社トプコン Laser scanner

Also Published As

Publication number Publication date
JP7304785B2 (en) 2023-07-07

Similar Documents

Publication Publication Date Title
US10309770B2 (en) Three-dimensional sensor system and three-dimensional data acquisition method
JP6236118B2 (en) 3D data processing apparatus, 3D data processing system, 3D data processing method and program
JP5620200B2 (en) Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program
JP5593177B2 (en) Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program
JP5580164B2 (en) Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program
US6473166B1 (en) Automatic surveying equipment and three-dimensions measuring method
WO2012020696A1 (en) Device for processing point group position data, system for processing point group position data, method for processing point group position data and program for processing point group position data
US20130335535A1 (en) Digital 3d camera using periodic illumination
JP7300948B2 (en) Survey data processing device, survey data processing method, program for survey data processing
JP2004163292A (en) Survey system and electronic storage medium
JP2009036589A (en) Target for calibration and device, method and program for supporting calibration
EP3795945A1 (en) Surveying data processing device, surveying data processing method, and surveying data processing program
JP2005283440A (en) Vibration measuring device and measuring method thereof
JP2017090447A (en) Three-dimensional contour information detecting system, and detecting method
JP7374690B2 (en) Measurement data processing device, measurement data processing method, and measurement data processing program
CN113596276B (en) Scanning method and system for portable electronic equipment, electronic equipment and storage medium
Biasion et al. A new approach to the Terrestrial Laser Scanner workflow: The RTC360 solution
JP7304785B2 (en) Control device for laser point cloud acquisition device with camera, control method for laser point cloud acquisition device with camera, and program for controlling laser point cloud acquisition device with camera
CN112749610A (en) Depth image, reference structured light image generation method and device and electronic equipment
JP7324097B2 (en) Three-dimensional surveying device, three-dimensional surveying method and three-dimensional surveying program
JP7488737B2 (en) Control system, method and program for directing surveying instrument toward target
JP7336927B2 (en) Three-dimensional surveying device, three-dimensional surveying method and three-dimensional surveying program
JP6108383B2 (en) Piping position measuring system and piping position measuring method
JP2005043083A (en) System and method for reducing photographing error, program, and recording medium
KR102611481B1 (en) Method and apparatus for calculating actual distance between coordinates in iamge

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230627

R150 Certificate of patent or registration of utility model

Ref document number: 7304785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150