JP7004374B1 - Movement route generation method and program of moving object, management server, management system - Google Patents

Movement route generation method and program of moving object, management server, management system Download PDF

Info

Publication number
JP7004374B1
JP7004374B1 JP2021556502A JP2021556502A JP7004374B1 JP 7004374 B1 JP7004374 B1 JP 7004374B1 JP 2021556502 A JP2021556502 A JP 2021556502A JP 2021556502 A JP2021556502 A JP 2021556502A JP 7004374 B1 JP7004374 B1 JP 7004374B1
Authority
JP
Japan
Prior art keywords
data
dimensional
movement route
moving body
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021556502A
Other languages
Japanese (ja)
Other versions
JPWO2022264413A1 (en
Inventor
庸弘 山本
兼太郎 深見
雅弘 小川
琢也 泉
健之 河野
和敬 姉崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensyn Robotics Inc
Original Assignee
Sensyn Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensyn Robotics Inc filed Critical Sensyn Robotics Inc
Priority to JP2021207795A priority Critical patent/JP2023000992A/en
Application granted granted Critical
Publication of JP7004374B1 publication Critical patent/JP7004374B1/en
Publication of JPWO2022264413A1 publication Critical patent/JPWO2022264413A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】本発明は、移動体の移動経路を生成する作業において、ユーザが構造物内の環境を視認しやすく、構造物内でも自律移動の移動体の移動経路を設定可能な移動経路生成方法及び管理サーバ等を提供すること。【解決手段】本発明は、移動体が移動するための構造物内の移動経路を生成する移動経路生成方法であって、三次元基準データ生成部により、前記構造物内の構成物の配置を示す三次元モデルデータ及び前記構造物内をセンサによりセンシングした結果を示す三次元センシングデータに基づき、前記構造物内の三次元基準データを生成するステップと、移動経路生成部により、前記三次元基準データに基づき、前記移動体のための移動経路を生成するステップと、を含む。【選択図】図7PROBLEM TO BE SOLVED: To easily visually recognize an environment in a structure in a work of generating a moving path of a moving body, and to set a moving path of an autonomous moving moving body even in the structure. And to provide a management server, etc. The present invention is a movement path generation method for generating a movement path in a structure for a moving body to move, and a three-dimensional reference data generation unit is used to arrange the components in the structure. Based on the three-dimensional model data shown and the three-dimensional sensing data showing the result of sensing the inside of the structure by the sensor, the step of generating the three-dimensional reference data in the structure and the movement path generation unit make the three-dimensional reference. Includes a step of generating a movement path for the moving body based on the data. [Selection diagram] FIG. 7

Description

本発明は、移動体の移動経路生成方法及びプログラム、管理サーバ、管理システムに関する。 The present invention relates to a method and a program for generating a movement route of a moving body, a management server, and a management system.

近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aerial Vehicle)などの飛行体(以下、「飛行体」と総称する)や無人地上車両(UGV:Unmanned Ground Vehicle)などの走行体などの自律制御可能な移動体が産業に利用され始めている。こうした中で、特許文献1には、飛行体が予め設定された複数のウェイポイントにおいて撮影対象を順次撮影するシステムが開示されている。 In recent years, autonomous control of vehicles such as drones (Drone) and unmanned aerial vehicles (UAV: Unmanned Aerial Vehicle) (hereinafter collectively referred to as "aircraft") and unmanned ground vehicles (UGV: Unmanned Ground Vehicle). Possible mobiles are beginning to be used in industry. Under these circumstances, Patent Document 1 discloses a system in which a flying object sequentially photographs an imaged object at a plurality of waypoints set in advance.

特開2014-089160号公報Japanese Unexamined Patent Publication No. 2014-089160

しかしながら、上記特許文献1の開示技術は、屋外においてGNSS(global navigation satellite system)を自己位置推定に使用し、緯度経度情報に基づいて移動体の移動経路を作成するものであり、屋内での移動体の移動経路においては同様の手法を用いることができない。 However, the disclosed technique of Patent Document 1 uses GNSS (global navigation satellite system) outdoors for self-position estimation, and creates a movement path of a moving body based on latitude / longitude information, and moves indoors. Similar techniques cannot be used in the body's movement path.

また、屋内(例えば建物等の構造物内)での移動体の移動経路を生成する場合には、例えばVisual SLAM(Simultaneous Localization and Mapping)等の技術を用いて、手動で移動制御される移動体に搭載されたセンサのセンサ情報に基づき、屋内の3次元情報を予め取得し、これに基づいてユーザが移動経路の設定作業を行う方法が考えられるが、SLAMデータはユーザが視認をして作業するには構造物の全体構造がわかりにくく、構造物内において実際移動させたい経路や撮影したい対象物等の識別が難しく、運用に足る精緻な経路設定が難しい。 Further, when generating a movement path of a moving body indoors (for example, in a structure such as a building), the moving body is manually controlled by using a technique such as Visual SLAM (Simultaneous Localization and Mapping). It is conceivable that the user acquires the indoor three-dimensional information in advance based on the sensor information of the sensor mounted on the device and the user sets the movement route based on the information. However, the SLAM data is visually recognized by the user. In order to do so, it is difficult to understand the overall structure of the structure, it is difficult to identify the route to be actually moved or the object to be photographed in the structure, and it is difficult to set a precise route sufficient for operation.

本発明はこのような背景を鑑みてなされたものであり、移動体の移動経路を生成する作業において、ユーザが構造物内の環境を視認しやすく、構造物内でも自律移動の移動体の移動経路を設定可能な移動経路生成方法及び管理サーバ等を提供することを目的とする。 The present invention has been made in view of such a background, and in the work of generating a movement path of a moving body, it is easy for the user to visually recognize the environment in the structure, and the movement of the moving body of autonomous movement even in the structure is easy. It is an object of the present invention to provide a movement route generation method and a management server that can set a route.

上記課題を解決するための本発明の主たる発明は、移動体が移動するための構造物内の移動経路を生成する移動経路生成方法であって、三次元基準データ生成部により、前記構造物内の構成物の配置を示す三次元モデルデータ及び前記構造物内をセンサによりセンシングした結果を示す三次元センシングデータに基づき、前記構造物内の三次元基準データを生成するステップと、移動経路生成部により、前記三次元基準データに基づき、前記移動体のための移動経路を生成するステップと、を含む、移動経路生成方法である。 The main invention of the present invention for solving the above-mentioned problems is a movement path generation method for generating a movement path in a structure for a moving body to move, and the three-dimensional reference data generation unit is used in the structure. Based on the three-dimensional model data showing the arrangement of the structure and the three-dimensional sensing data showing the result of sensing the inside of the structure by the sensor, the step of generating the three-dimensional reference data in the structure and the movement route generator. This is a movement route generation method including a step of generating a movement route for the moving body based on the three-dimensional reference data.

本発明によれば、特に、移動体の移動経路を生成する作業において、ユーザが構造物内の環境を視認しやすく、構造物内でも自律移動の移動体の移動経路を設定可能な移動経路生成方法及び管理サーバ等を提供することができる。 According to the present invention, in particular, in the work of generating a moving path of a moving body, the user can easily visually recognize the environment in the structure, and the moving path of the moving body of autonomous movement can be set even in the structure. A method, a management server, etc. can be provided.

本発明の実施の形態にかかる管理システムの構成を示す図である。It is a figure which shows the structure of the management system which concerns on embodiment of this invention. 図1の管理サーバのハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware configuration of the management server of FIG. 図1のユーザ端末のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware composition of the user terminal of FIG. 図1の飛行体のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware composition of the flying object of FIG. 図1の管理サーバの機能を示すブロック図である。It is a block diagram which shows the function of the management server of FIG. 本発明の実施の形態にかかる移動経路生成方法のフローチャートである。It is a flowchart of the movement path generation method which concerns on embodiment of this invention. 本発明の実施の形態にかかる表示画面の一例である。It is an example of the display screen which concerns on embodiment of this invention.

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による移動経路生成方法及び管理サーバ等は、以下のような構成を備える。
[項目1]
移動体が移動するための構造物内の移動経路を生成する移動経路生成方法であって、
三次元基準データ生成部により、前記構造物を立体的に可視化した三次元モデルデータ及び前記構造物内をセンサによりセンシングした結果を示す三次元センシングデータに基づき、前記構造物内の三次元基準データを生成するステップと、
移動経路生成部により、前記三次元基準データに基づき、前記移動体のための移動経路を生成するステップと、
を含む、
ことを特徴とする移動経路生成方法。
[項目2]
前記三次元基準データを生成するステップは、前記三次元モデルデータと前記三次元センシングデータとの縮尺を合わせて合成するステップを含む、
ことを特徴とする項目1に記載の移動経路生成方法。
[項目3]
前記三次元モデルデータと、前記三次元センシングデータは、座標系が異なり、
前記三次元センシングデータは、移動体の各種センサの座標系である、
ことを特徴とする項目1または2に記載の移動経路生成方法。
[項目4]
前記三次元モデルデータは、前記構造物のBIMデータに基づく三次元データである、
ことを特徴とする項目1乃至3に記載の移動経路生成方法。
[項目5]
前記三次元センシングデータは、LiDARにより取得された三次元データである、
ことを特徴とする項目1乃至4に記載の移動経路生成方法。
[項目6]
前記三次元センシングデータは、ビジョンセンサまたはイメージセンサにより取得された三次元データである、
ことを特徴とする項目1乃至4に記載の移動経路生成方法。
[項目7]
移動体が移動するための構造物内の移動経路を生成する移動経路生成方法をコンピュータが実行するためのプログラムであって、
前記移動経路生成方法は、
三次元基準データ生成部により、前記構造物を立体的に可視化した三次元モデルデータ及び前記構造物内をセンサによりセンシングした結果を示す三次元センシングデータに基づき、前記構造物内の三次元基準データを生成するステップと、
移動経路生成部により、前記三次元基準データに基づき、前記移動体のための移動経路を生成するステップと、
を含む、
ことを特徴とするプログラム。
[項目8]
移動体が移動するための構造物内の移動経路を生成する管理サーバであって、
前記構造物を立体的に可視化した三次元モデルデータ及び前記構造物内をセンサによりセンシングした結果を示す三次元センシングデータに基づき、前記構造物内の三次元基準データを生成する三次元基準データ生成部と、
前記三次元基準データに基づき、前記移動体のための移動経路を生成する移動経路生成部と、
を備える、
ことを特徴とする管理サーバ。
[項目9]
移動体が移動するための構造物内の移動経路を生成する管理システムであって、
前記構造物を立体的に可視化した三次元モデルデータ及び前記構造物内をセンサによりセンシングした結果を示す三次元センシングデータに基づき、前記構造物内の三次元基準データを生成する三次元基準データ生成部と、
前記三次元基準データに基づき、前記移動体のための移動経路を生成する移動経路生成部と、
を備える、
ことを特徴とする管理システム。
The contents of the embodiments of the present invention will be described in a list. The movement route generation method, the management server, and the like according to the embodiment of the present invention have the following configurations.
[Item 1]
It is a movement route generation method that generates a movement route in a structure for a moving body to move.
Three-dimensional reference data in the structure based on the three-dimensional model data in which the structure is three-dimensionally visualized by the three-dimensional reference data generation unit and the three-dimensional sensing data showing the result of sensing the inside of the structure by a sensor. And the steps to generate
A step of generating a movement path for the moving body based on the three-dimensional reference data by the movement path generation unit, and
including,
A method of generating a movement route, which is characterized in that.
[Item 2]
The step of generating the three-dimensional reference data includes a step of synthesizing the three-dimensional model data and the three-dimensional sensing data at the same scale.
The method for generating a movement route according to item 1, wherein the movement route is generated.
[Item 3]
The coordinate system of the three-dimensional model data and the three-dimensional sensing data are different.
The three-dimensional sensing data is a coordinate system of various sensors of a moving body.
The method for generating a movement route according to item 1 or 2, wherein the movement route is generated.
[Item 4]
The three-dimensional model data is three-dimensional data based on the BIM data of the structure.
The method for generating a movement route according to items 1 to 3, wherein the movement route is generated.
[Item 5]
The three-dimensional sensing data is three-dimensional data acquired by LiDAR.
The method for generating a movement route according to items 1 to 4, wherein the movement route is generated.
[Item 6]
The three-dimensional sensing data is three-dimensional data acquired by a vision sensor or an image sensor.
The method for generating a movement route according to items 1 to 4, wherein the movement route is generated.
[Item 7]
It is a program for a computer to execute a movement route generation method for generating a movement route in a structure for a moving body to move.
The movement route generation method is
Three-dimensional reference data in the structure based on the three-dimensional model data in which the structure is three-dimensionally visualized by the three-dimensional reference data generation unit and the three-dimensional sensing data showing the result of sensing the inside of the structure by a sensor. And the steps to generate
A step of generating a movement path for the moving body based on the three-dimensional reference data by the movement path generation unit, and
including,
A program characterized by that.
[Item 8]
It is a management server that generates a movement route in a structure for a moving body to move.
Three-dimensional reference data generation that generates three-dimensional reference data in the structure based on three-dimensional model data that visualizes the structure three-dimensionally and three-dimensional sensing data that shows the result of sensing the inside of the structure with a sensor. Department and
A movement route generation unit that generates a movement route for the moving body based on the three-dimensional reference data,
To prepare
A management server that features that.
[Item 9]
A management system that creates a movement path within a structure for a moving body to move.
Three-dimensional reference data generation that generates three-dimensional reference data in the structure based on three-dimensional model data that visualizes the structure three-dimensionally and three-dimensional sensing data that shows the result of sensing the inside of the structure with a sensor. Department and
A movement route generation unit that generates a movement route for the moving body based on the three-dimensional reference data,
To prepare
A management system characterized by that.

<実施の形態の詳細>
以下、本発明の実施の形態による移動体の移動経路生成方法及び管理サーバ等についての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
<Details of the embodiment>
Hereinafter, embodiments of a moving route generation method for a moving body, a management server, and the like according to the embodiment of the present invention will be described. In the accompanying drawings, the same or similar elements are designated by the same or similar reference numerals and names, and duplicate description of the same or similar elements may be omitted in the description of each embodiment. In addition, the features shown in each embodiment can be applied to other embodiments as long as they do not contradict each other.

<構成>
図1に示されるように、本実施の形態における管理システムは、管理サーバ1と、一以上のユーザ端末2と、一以上の移動体4(例えば、飛行体や走行体など)と、一以上の移動体格納装置5とを有している。管理サーバ1と、ユーザ端末2と、移動体4と、移動体格納装置5は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、移動体格納装置5を有さずに、ユーザにより持ち運びされる構成などでもよい。
<Structure>
As shown in FIG. 1, the management system in the present embodiment includes a management server 1, one or more user terminals 2, one or more mobile bodies 4 (for example, a flying body, a traveling body, etc.), and one or more. It has a moving body storage device 5 of the above. The management server 1, the user terminal 2, the mobile body 4, and the mobile body storage device 5 are connected to each other so as to be able to communicate with each other via a network. Note that the configuration shown is an example, and the configuration is not limited to this, and may be, for example, a configuration that is carried by the user without having the mobile body storage device 5.

<管理サーバ1>
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
<Management server 1>
FIG. 2 is a diagram showing a hardware configuration of the management server 1. The configuration shown in the figure is an example, and may have other configurations.

図示されるように、管理サーバ1は、ユーザ端末2と、移動体4、移動体格納装置5と接続され本システムの一部を構成する。管理サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。 As shown in the figure, the management server 1 is connected to the user terminal 2, the mobile body 4, and the mobile body storage device 5, and constitutes a part of the system. The management server 1 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.

管理サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。 The management server 1 includes at least a processor 10, a memory 11, a storage 12, a transmission / reception unit 13, an input / output unit 14, and the like, and these are electrically connected to each other through a bus 15.

プロセッサ10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。 The processor 10 is an arithmetic unit that controls the operation of the entire management server 1, controls the transmission and reception of data between each element, and performs information processing necessary for application execution and authentication processing. For example, the processor 10 is a CPU (Central Processing Unit) and / or a GPU (Graphics Processing Unit), and executes each information processing by executing a program or the like for the system stored in the storage 12 and expanded in the memory 11. ..

メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。 The memory 11 includes a main storage configured by a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary storage configured by a non-volatile storage device such as a flash memory or an HDD (Hard Disk Drive). .. The memory 11 is used as a work area or the like of the processor 10, and also stores a BIOS (Basic Input / Output System) executed when the management server 1 is started, various setting information, and the like.

ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。 The storage 12 stores various programs such as application programs. A database storing data used for each process may be built in the storage 12.

送受信部13は、管理サーバ1をネットワークに接続する。なお、送受信部13は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インターフェースを備えていてもよい。 The transmission / reception unit 13 connects the management server 1 to the network. The transmission / reception unit 13 may be provided with a short-range communication interface of Bluetooth (registered trademark) and BLE (Bluetooth Low Energy).

入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。 The input / output unit 14 is an information input device such as a keyboard and a mouse, and an output device such as a display.

バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。 The bus 15 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.

<ユーザ端末2>
図3に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
<User terminal 2>
The user terminal 2 shown in FIG. 3 also includes a processor 20, a memory 21, a storage 22, a transmission / reception unit 23, an input / output unit 24, and the like, which are electrically connected to each other through a bus 25. Since the functions of each element can be configured in the same manner as the management server 1 described above, detailed description of each element will be omitted.

<移動体4>
移動体4は、ドローンや無人航空機などの飛行体や無人地上車両などの走行体などを含む既知の移動体であって、特に自律制御可能な移動体である。移動体4の具体的な例として、飛行体4を例示して以下で説明する。図4は、飛行体4のハードウェア構成を示すブロック図である。フライトコントローラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。
<Mobile 4>
The moving body 4 is a known moving body including a flying body such as a drone or an unmanned aerial vehicle, a traveling body such as an unmanned ground vehicle, and the like, and is particularly an autonomously controllable moving body. As a specific example of the moving body 4, the flying body 4 will be illustrated below. FIG. 4 is a block diagram showing a hardware configuration of the flying object 4. The flight controller 41 can have one or more processors such as a programmable processor (eg, central processing unit (CPU)).

また、フライトコントローラ41は、メモリ411を有しており、当該メモリにアクセス可能である。メモリ411は、1つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および/またはプログラム命令を記憶している。また、フライトコントローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)等のセンサ類412を含みうる。 Further, the flight controller 41 has a memory 411 and can access the memory. Memory 411 stores logic, code, and / or program instructions that the flight controller can execute to perform one or more steps. Further, the flight controller 41 may include sensors 412 such as an inertial sensor (accelerometer, gyro sensor), GPS sensor, proximity sensor (for example, rider) and the like.

メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得したデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ/センサ42または内蔵メモリからネットワークNWを介して、少なくとも管理サーバ1やユーザ端末2、移動体格納装置5のいずれかに1つに記録されてもよい。カメラ42は飛行体4にジンバル43を介して設置される。 Memory 411 may include, for example, a separable medium such as an SD card or random access memory (RAM) or an external storage device. The data acquired from the cameras / sensors 42 may be directly transmitted and stored in the memory 411. For example, still image / moving image data taken by a camera or the like may be recorded in the built-in memory or an external memory, but the present invention is not limited to this, and at least the management server 1 or the management server 1 may be recorded from the camera / sensor 42 or the built-in memory via the network NW. It may be recorded in one of the user terminal 2 and the mobile storage device 5. The camera 42 is installed on the flying object 4 via the gimbal 43.

フライトコントローラ41は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θ、θ及びθ)を有する飛行体の空間的配置、速度、および/または加速度を調整するために、ESC44(Electric Speed Controller)を経由して飛行体の推進機構(モータ45等)を制御する。バッテリー48から給電されるモータ45によりプロペラ46が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの1つ以上を制御することができる。The flight controller 41 includes a control module (not shown) configured to control the state of the flying object. For example, the control module may adjust the spatial placement, velocity, and / or acceleration of an air vehicle with 6 degrees of freedom (translation x, y and z, and rotational motion θ x , θ y and θ z ). , ESC44 (Electric Speed Controller) to control the propulsion mechanism (motor 45, etc.) of the flying object. The propeller 46 is rotated by the motor 45 supplied from the battery 48 to generate lift of the flying object. The control module can control one or more of the states of the mounting unit and the sensors.

フライトコントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)49、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部47と通信可能である。送受信機49は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。 The flight controller 41 is configured to transmit and / or receive data from one or more external devices (eg, a transceiver (propo) 49, a terminal, a display device, or another remote control). It is possible to communicate with the unit 47. The transceiver 49 can use any suitable communication means such as wired communication or wireless communication.

例えば、送受信部47は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。 For example, the transmission / reception unit 47 uses one or more of a local area network (LAN), wide area network (WAN), infrared ray, wireless, WiFi, point-to-point (P2P) network, telecommunications network, cloud communication, and the like. can do.

送受信部47は、センサ類42で取得したデータ、フライトコントローラ41が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。 The transmission / reception unit 47 transmits and / or receives one or more of data acquired by the sensors 42, a processing result generated by the flight controller 41, predetermined control data, a user command from a terminal or a remote controller, and the like. be able to.

本実施の形態によるセンサ類42は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、LiDAR(Light Detection And Ranging)等)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。 The sensors 42 according to the present embodiment include an inertial sensor (acceleration sensor, gyro sensor), a GPS sensor, a proximity sensor (for example, LiDAR (Light Detection And Ringing), etc.), or a vision / image sensor (for example, a camera). obtain.

<管理サーバの機能>
図5は、管理サーバ1に実装される機能を例示したブロック図である。本発明の実施の形態においては、構造物(例えばビルなどの建物)内の構成物(例えば、壁、柱、階段、設備など)の配置を示す三次元モデルデータと、構造物内を事前にセンサによりセンシングした結果を示す三次元センシングデータに基づき、構造物内の三次元基準データ(例えば、両者の三次元合成データなど)を生成し、当該三次元基準データに基づき移動体の移動経路を生成するために各種機能部を有している。
<Management server function>
FIG. 5 is a block diagram illustrating the functions implemented in the management server 1. In the embodiment of the present invention, three-dimensional model data showing the arrangement of components (for example, walls, pillars, stairs, equipment, etc.) in the structure (for example, a building such as a building) and the inside of the structure in advance. Based on the three-dimensional sensing data showing the result of sensing by the sensor, three-dimensional reference data in the structure (for example, three-dimensional composite data of both) is generated, and the movement path of the moving body is determined based on the three-dimensional reference data. It has various functional parts to generate.

本実施の形態においては、管理サーバ1は、通信部110、三次元基準データ生成部120、移動経路生成部130、移動実行部140、取得情報出力部150、記憶部160を備えている。また、記憶部160は、三次元データ記憶部161、移動経路情報記憶部162、移動情報記憶部163の各種データベースを含む。 In the present embodiment, the management server 1 includes a communication unit 110, a three-dimensional reference data generation unit 120, a movement route generation unit 130, a movement execution unit 140, an acquisition information output unit 150, and a storage unit 160. Further, the storage unit 160 includes various databases of the three-dimensional data storage unit 161, the movement route information storage unit 162, and the movement information storage unit 163.

通信部110は、ユーザ端末2や、移動体4、移動体格納装置5と通信を行う。通信部110は、ユーザ端末2からの各種要求やデータ等を受け付ける受付部としても機能する。 The communication unit 110 communicates with the user terminal 2, the mobile body 4, and the mobile body storage device 5. The communication unit 110 also functions as a reception unit that receives various requests, data, and the like from the user terminal 2.

三次元基準データ生成部120は、構造物内の構成物の配置を示す三次元モデルデータと、構造物内を事前にセンサによりセンシングした結果を示す三次元センシングデータに基づき、構造物内の三次元基準データを生成する。三次元モデルデータ、三次元センシングデータ、三次元基準データは、それぞれ三次元座標系で表現されるデータであって、三次元データ記憶部161に記憶されて管理される。 The three-dimensional reference data generation unit 120 is based on the three-dimensional model data showing the arrangement of the components in the structure and the three-dimensional sensing data showing the result of sensing the inside of the structure by the sensor in advance, and the tertiary in the structure. Generate original reference data. The three-dimensional model data, the three-dimensional sensing data, and the three-dimensional reference data are data represented in the three-dimensional coordinate system, respectively, and are stored and managed in the three-dimensional data storage unit 161.

三次元モデルデータは、CAD(Computer―Aided Design)設計ソフトウェアで作成されたデータを基にして作成された、構造物内の構成物の配置を示す三次元モデルデータ(より好ましくは寸法情報を有する三次元モデルデータ)であればどのようなデータであってもよく、例えば、BIM(Building Information Modeling)データ、CADデータ、BIMデータ等から再構築された三次元モデルデータなどであってもよいし、二次元の設計図データに基づき所定の高さを有する構成物を生成することで得られた三次元モデルデータであってもよく、再構築等の三次元モデルデータの生成は、三次元基準データ生成部120等により実行されてもよいし、管理サーバ1の外部で実行されて内部へ取得されてもよい。 The three-dimensional model data has three-dimensional model data (more preferably, dimensional information) indicating the arrangement of the components in the structure, which is created based on the data created by the CAD (Computer-Aided Design) design software. Any data may be used as long as it is (three-dimensional model data), and may be, for example, three-dimensional model data reconstructed from BIM (Billing Information Modeling) data, CAD data, BIM data, or the like. , The 3D model data may be obtained by generating a structure having a predetermined height based on the 2D design drawing data, and the generation of the 3D model data such as reconstruction is based on the 3D reference. It may be executed by the data generation unit 120 or the like, or it may be executed outside the management server 1 and acquired internally.

三次元センシングデータは、構造物内を事前に既知のセンサによりセンシングを開始した位置を原点としてセンシングした結果を示す三次元センシングデータであればよく、例えば、センサがLiDAR等のレーザ光を利用したセンサであれば、構造物内の構成物の三次元点群データであり得るし、カメラ等のビジョンセンサ/イメージセンサであれば、構造物内の構成物の三次元画像データであり得る。事前のセンシングは、センサを搭載した移動体4をプロポ等によりユーザが手動で操作して構造物内を移動することで実行してもよいし、移動体4に代えて、ユーザがセンサを所持して構造物内を移動することで実行してもよい。 The three-dimensional sensing data may be any three-dimensional sensing data indicating the result of sensing the inside of the structure with the position where sensing is started by a known sensor as the origin. For example, the sensor uses a laser beam such as LiDAR. If it is a sensor, it may be three-dimensional point group data of a component in the structure, and if it is a vision sensor / image sensor such as a camera, it may be three-dimensional image data of the component in the structure. Pre-sensing may be performed by the user manually operating the moving body 4 equipped with the sensor by a radio or the like to move in the structure, or instead of the moving body 4, the user possesses the sensor. It may be executed by moving in the structure.

三次元基準データは、例えば、上記三次元モデルデータに対して、上記三次元センシングデータの少なくとも一部(全部を含む)を合成した三次元データであり得る。合成は、例えば、ユーザ端末2上でユーザ操作に基づき両者の位置合わせを行い、決定された位置で両者の三次元データを一体的な三次元データ(三次元基準データ)として合成してもよいし、既知の三次元データ同士の位置合わせ技術(例えば、三次元モデルデータを点群化し、ICP(Iterative closest point)による位置合わせなど)を用いて自動的に両者の位置合わせを行い、その位置で両者の三次元データを一体的な三次元データ(三次元基準データ)として合成してもよい。この時、三次元モデルデータと三次元センシングデータの縮尺が異なる場合には、位置合わせに伴って縮尺を調整してもよく、自動的な位置合わせにおいては三次元モデルデータの寸法情報と三次元センシングデータの実測情報とを比較して縮尺も合わせるようにしてもよい。 The three-dimensional reference data may be, for example, three-dimensional data obtained by synthesizing at least a part (including all) of the three-dimensional sensing data with the three-dimensional model data. In the composition, for example, the two may be aligned on the user terminal 2 based on the user operation, and the three-dimensional data of the two may be combined as an integrated three-dimensional data (three-dimensional reference data) at the determined position. Then, using a known 3D data alignment technique (for example, 3D model data is point clouded and aligned by ICP (Iterative close point)), the two are automatically aligned and their positions are aligned. The two three-dimensional data may be combined as an integrated three-dimensional data (three-dimensional reference data). At this time, if the scales of the 3D model data and the 3D sensing data are different, the scale may be adjusted according to the alignment, and in the automatic alignment, the dimensional information of the 3D model data and the 3D The scale may be adjusted by comparing with the measured information of the sensing data.

このように、互いに異なる三次元座標系により表現される三次元モデルデータと三次元センシングデータとを合成することにより、両者の三次元座標系(及び縮尺)を一致させることができ、特に三次元モデルデータが移動体4との相対的な位置を示す三次元センシングデータと一致されることにより、例えばユーザ端末2上に表示される三次元基準データをベースにウェイポイントを設定した場合においても、移動体4の座標系に基づく移動経路生成などの位置指定が可能となる。この時、三次元基準データは三次元センシングデータの座標系(移動体4での計測データの座標系)を基準としてもよいが、三次元モデルデータが寸法情報を備える場合には、三次元モデルデータの座標系を基準とすることで、例えば10m真っすぐ飛んで右に曲がる、といったような現実の縮尺を用いて移動経路生成が可能となります。 In this way, by synthesizing the 3D model data and the 3D sensing data expressed by different 3D coordinate systems, it is possible to match the 3D coordinate systems (and scale) of both, especially 3D. Even when the waypoint is set based on the 3D reference data displayed on the user terminal 2, for example, by matching the model data with the 3D sensing data indicating the relative position with the moving body 4. It is possible to specify a position such as a movement route generation based on the coordinate system of the moving body 4. At this time, the 3D reference data may be based on the coordinate system of the 3D sensing data (the coordinate system of the measurement data in the moving body 4), but if the 3D model data includes dimensional information, the 3D model By using the coordinate system of the data as a reference, it is possible to generate a movement route using an actual scale such as flying straight 10 m and turning right.

移動経路生成部130は、例えばユーザ端末2上に表示される三次元基準データに対してユーザの選択操作により一以上のウェイポイントを設定し、当該ウェイポイントに基づいて既知の方法により移動経路情報を生成し、移動経路情報記憶部162に記憶され、管理するようにしてもよいし、三次元基準データを解析し、例えば構造物内の全ての構成物の情報を取得可能な移動経路を算出し、これを移動経路情報として移動経路情報記憶部162に記憶され、管理するようにしてもよい。 The movement route generation unit 130 sets one or more way points for the three-dimensional reference data displayed on the user terminal 2, for example, by a user's selection operation, and the movement route information is based on the way points by a known method. May be stored in the movement route information storage unit 162 and managed, or the three-dimensional reference data may be analyzed to calculate, for example, a movement route capable of acquiring information on all the components in the structure. However, this may be stored and managed in the movement route information storage unit 162 as movement route information.

なお、移動経路は、例えば、移動体格納装置5の位置を移動開始位置及び移動終了位置として、各ウェイポイントを通過する移動経路を生成するようにしてもよいし、逆に移動体格納装置5を有さずに、ユーザにより機体を持ち運びされた位置を移動開始位置としたり、移動終了位置においてユーザが機体を回収したりする構成などでもよいし、管理サーバ1により管理された移動体格納装置5の情報(例えば、位置情報や格納状態情報、格納機情報など)を基に、移動開始位置または移動終了位置として選択された移動体格納装置5の位置も含めた移動経路として生成される構成でもよい。 As the movement route, for example, the position of the moving body storage device 5 may be set as the movement start position and the movement end position, and a movement path passing through each waypoint may be generated, or conversely, the moving body storage device 5 may be generated. The position where the aircraft is carried by the user may be set as the movement start position, the user may collect the aircraft at the movement end position, or the like, or the mobile storage device managed by the management server 1 may be used. A configuration generated as a movement route including the position of the mobile body storage device 5 selected as the movement start position or the movement end position based on the information of 5 (for example, position information, storage state information, storage device information, etc.). But it may be.

移動実行部140は、移動経路情報記憶部162及び移動情報記憶部163を参照して、点検、警備、建築進捗管理等を目的とする移動体4の移動を実行する。 The movement execution unit 140 refers to the movement route information storage unit 162 and the movement information storage unit 163, and executes the movement of the moving body 4 for the purpose of inspection, security, building progress management, and the like.

移動情報記憶部163は、移動経路生成部130により移動経路を生成する際や、移動実行部140により当該移動経路上において自律制御された移動体4の移動が実行される際などに用いられるパラメータ情報や移動経路上で取得した移動時取得情報等を格納している。具体的なパラメータの例としては、例えば、移動速度、飛行高度(移動体4が飛行体である場合)、撮像画像のオーバーラップ率、移動時取得情報(例えば、画像情報や映像情報等)などを含む。 The movement information storage unit 163 is a parameter used when a movement route is generated by the movement route generation unit 130, or when the movement of the mobile body 4 autonomously controlled on the movement execution route is executed by the movement execution unit 140. It stores information and information acquired at the time of movement acquired on the movement route. Examples of specific parameters include, for example, moving speed, flight altitude (when moving body 4 is a flying body), overlap rate of captured images, information acquired during movement (for example, image information, video information, etc.), and the like. including.

取得情報出力部150は、移動情報記憶部163に記憶される移動時取得情報に基づいてユーザ端末2に送信するための出力情報を生成する。本実施の形態においては、例えば、移動経路上にて移動体4により取得された取得情報(静止画像、動画像、音声その他の情報)であったり、当該取得情報の位置情報に対応付けられた位置に対応する取得情報を閲覧するためのリンクとなる記号などの印が付された三次元データ(例えば、三次元モデルデータや三次元基準データなど)を閲覧可能に出力してもよい。当該リンクをユーザ端末2上で選択することで、対応する取得情報が表示されるようにしてもよい。この時、三次元データとして、BIMデータに関連する三次元データを用いた場合、BIMデータに関連付けて三次元データを構成する構成物ごとの情報を持つことが可能なので、構成物単位で紐づけ(例えばリンク生成)が可能となる。 The acquisition information output unit 150 generates output information for transmission to the user terminal 2 based on the movement acquisition information stored in the movement information storage unit 163. In the present embodiment, for example, it is acquired information (still image, moving image, voice, or other information) acquired by the moving body 4 on the moving path, or is associated with the position information of the acquired information. Three-dimensional data (for example, three-dimensional model data, three-dimensional reference data, etc.) marked with a symbol or the like as a link for viewing the acquired information corresponding to the position may be output so as to be viewable. By selecting the link on the user terminal 2, the corresponding acquisition information may be displayed. At this time, when the 3D data related to the BIM data is used as the 3D data, it is possible to have the information for each component that constitutes the 3D data in association with the BIM data. (For example, link generation) becomes possible.

<移動経路生成方法の一例>
図6-7を参照して、本実施形態にかかる移動経路生成方法について、本実施の形態における管理システムの動作も含めて説明する。図6には、本実施形態にかかる移動経路生成方法のフローチャートが例示されている。このフローチャートでは、例示的にユーザ端末2上でアプリケーションを起動する構成を示しているが、これに限らず、例えば管理サーバ1や移動体格納装置5がアプリケーションを起動可能なプロセッサと入出力装置を有し、各種設定等が可能な構成であってもよい。なお、図7は、本発明の実施の形態にかかる移動経路生成方法に関連する表示画面の一例である。
<Example of movement route generation method>
The movement route generation method according to the present embodiment will be described with reference to FIGS. 6-7, including the operation of the management system in the present embodiment. FIG. 6 illustrates a flowchart of the movement route generation method according to the present embodiment. In this flowchart, the configuration for starting an application on the user terminal 2 is shown as an example, but the present invention is not limited to this, and for example, the management server 1 and the mobile storage device 5 include a processor and an input / output device capable of starting the application. It may have a configuration capable of various settings and the like. Note that FIG. 7 is an example of a display screen related to the movement route generation method according to the embodiment of the present invention.

まず、ユーザは、ユーザ端末2において、例えば移動経路生成機能を含むアプリケーションを起動する(SQ101)。このアプリケーションは、例えばユーザ端末2に記憶されていてもよいし、ネットワークを介して接続される管理サーバ1または他のサーバ(不図示)から提供されるソフトウェア(いわゆるSaaS)であってもよい。必要に応じてログイン画面が表示され、例えばログインIDやパスワードを要求する構成にしてもよい。 First, the user starts an application including, for example, a movement route generation function on the user terminal 2 (SQ101). This application may be stored in, for example, a user terminal 2, or may be software (so-called SaaS) provided by a management server 1 or another server (not shown) connected via a network. If necessary, a login screen may be displayed, and for example, a login ID or password may be requested.

次に、ユーザは、新規の移動計画を作成する(SQ102)。例えば、「プラン名」や「エリア名」、「住所」などを設定して、ユーザ端末2上に、対象となる構造物内の三次元基準データを取得して表示し、新規の移動計画の作成を開始する。三次元基準データは、すでに予め生成されて三次元データ記憶部161に記憶されていてもよいし、このタイミングで三次元モデルデータ及び三次元センシングデータを読み込み、三次元基準データを生成して表示するようにしてもよい。 Next, the user creates a new movement plan (SQ102). For example, by setting a "plan name", "area name", "address", etc., the three-dimensional reference data in the target structure is acquired and displayed on the user terminal 2, and a new movement plan is created. Start creating. The 3D reference data may already be generated in advance and stored in the 3D data storage unit 161. At this timing, the 3D model data and the 3D sensing data are read, and the 3D reference data is generated and displayed. You may try to do it.

次に、ユーザは、移動体4の移動のための移動経路を生成する(SQ103)。例えば、図7に例示されるように、ユーザ端末2上に表示される三次元基準データ(例示ではBIMデータから生成された三次元モデルデータ内にSLAMデータが合成(重畳)された三次元データ)に対してユーザの選択操作により一以上のウェイポイントを設定し、当該ウェイポイントに基づいて既知の方法(例示では8つのウェイポイント間をそれぞれ直線にて結ぶ)により移動経路情報を生成される。 Next, the user generates a movement route for the movement of the moving body 4 (SQ103). For example, as illustrated in FIG. 7, the three-dimensional reference data displayed on the user terminal 2 (in the example, the three-dimensional data in which the SLAM data is synthesized (superimposed) in the three-dimensional model data generated from the BIM data). ), One or more waypoints are set by the user's selection operation, and movement route information is generated based on the waypoints by a known method (in the example, eight waypoints are connected by a straight line). ..

次に、ユーザは、移動体4に移動の実行開始を指示する(SQ104)。例えば、移動経路情報記憶部162及び移動情報記憶部163を参照して、点検、警備、建築進捗管理等を目的とする移動体4の移動を実行する。この時、移動体4が受信したセンサ情報に基づき、三次元基準データを用いて現在の位置情報を算出し、ユーザ端末2上の三次元基準データに対して現在の位置情報を重畳するなどして表示してもよい。特に、移動体4の現在位置を移動経路上に動的に表示されるようにしてもよい。 Next, the user instructs the mobile body 4 to start executing the movement (SQ104). For example, with reference to the movement route information storage unit 162 and the movement information storage unit 163, the movement of the moving body 4 for the purpose of inspection, security, building progress management, etc. is executed. At this time, based on the sensor information received by the mobile body 4, the current position information is calculated using the three-dimensional reference data, and the current position information is superimposed on the three-dimensional reference data on the user terminal 2. May be displayed. In particular, the current position of the moving body 4 may be dynamically displayed on the moving path.

次に、ユーザは、管理サーバ1に取得情報の出力を指示する(SQ105)。例えば、ユーザ端末2上に表示される三次元基準データに移動体4が実際に移動した経路情報を重畳して表示してもよい。そのほか、移動経路上にて移動体4により取得された取得情報(静止画像、動画像、音声その他の情報)を表示したり、当該取得情報の位置情報に対応付けられた位置(特にウェイポイントの位置情報)に対応する取得情報を閲覧するためのリンクとなる記号などの印が付された三次元データ(例えば、三次元モデルデータや三次元基準データなど)を閲覧可能に出力してもよい。そして、当該リンクをユーザ端末2上で選択することで、対応する取得情報が表示されるようにしてもよい。この時、三次元データとして、BIMデータに関連する三次元データを用いた場合、BIMデータに関連付けて三次元データを構成する構成物ごとの情報を持つことが可能なので、構成物単位で紐づけ(例えばリンク生成)が可能となる。 Next, the user instructs the management server 1 to output the acquired information (SQ105). For example, the route information actually moved by the moving body 4 may be superimposed and displayed on the three-dimensional reference data displayed on the user terminal 2. In addition, the acquired information (still image, moving image, voice, and other information) acquired by the moving body 4 on the moving path can be displayed, and the position associated with the position information of the acquired information (especially the way point). Three-dimensional data (for example, three-dimensional model data, three-dimensional reference data, etc.) marked with a symbol or the like that serves as a link for browsing the acquired information corresponding to (position information) may be output so as to be viewable. .. Then, by selecting the link on the user terminal 2, the corresponding acquisition information may be displayed. At this time, when the 3D data related to the BIM data is used as the 3D data, it is possible to have the information for each component that constitutes the 3D data in association with the BIM data. (For example, link generation) becomes possible.

このように、本発明は、移動体の移動経路を生成する作業において、ユーザが構造物内の環境を視認しやすく、構造物内でも自律移動の移動体の移動経路を設定可能な移動経路生成方法及び管理サーバ等を提供することができる。なお、上記のようにSQ104の移動体4の自律的な移動の実行を伴う構成に代えて、単に最適な移動経路を作成するように構成してもよく、これに基づき他のユーザがプロポ等で手動で移動体4を構造物内で移動させる際のお手本となる移動経路を他のユーザのユーザ端末2上に表示することが可能となる。 As described above, in the work of generating the movement path of the moving body, the present invention makes it easy for the user to visually recognize the environment in the structure, and can set the moving path of the moving body of autonomous movement even in the structure. A method, a management server, etc. can be provided. In addition, instead of the configuration involving the execution of autonomous movement of the moving body 4 of the SQ104 as described above, it may be configured to simply create an optimum moving route, and based on this, another user may make a radio or the like. It is possible to manually display the movement route as a model for moving the moving body 4 in the structure on the user terminal 2 of another user.

また、上述の実施例では移動体4による構造物内の情報取得を具体例としたが、例えば構造物の点検であってもよく、構造物の内壁および/または外壁の所定の事象の有無を点検するために利用される装置、機器等を備えていてもよい。より具体的には、撮像装置(可視光カメラ、赤外線カメラ、金属探知機、超音波測定器等)や、打鍵装置等、探知装置(金属探知機)、集音装置、臭気測定器、ガス検知器、空気汚染測定器、検出装置(宇宙線、放射線、電磁波等を検出するための装置)等の内壁を有する点検対象構造物の状態を知るために必要な装置は全て採用され得る。 Further, in the above-described embodiment, the acquisition of information in the structure by the moving body 4 is taken as a specific example, but for example, the inspection of the structure may be performed, and the presence or absence of a predetermined event on the inner wall and / or the outer wall of the structure may be checked. It may be equipped with equipment, equipment, etc. used for inspection. More specifically, image pickup devices (visible light cameras, infrared cameras, metal detectors, ultrasonic measuring devices, etc.), keying devices, detection devices (metal detectors), sound collectors, odor measuring devices, gas detection All the devices necessary for knowing the state of the structure to be inspected having an inner wall such as a device, an air pollution measuring device, and a detecting device (a device for detecting cosmic rays, radiation, electromagnetic waves, etc.) can be adopted.

また、実施例は例えば構造物内の警備や監視であってもよく、警備や監視のために利用される装置、機器等を備えていてもよい。より具体的には、撮像装置(可視光カメラ、赤外線カメラ、暗視カメラ、金属探知機、超音波測定器等)や、センサ装置(モーションセンサ、赤外線センサ等)等、警備・監視対象構造物の異常や侵入者等を撮像・検知するために必要な装置は全て採用され得る。 Further, the embodiment may be, for example, security or monitoring in a structure, or may be provided with devices, devices, or the like used for security or monitoring. More specifically, structures to be guarded / monitored, such as image pickup devices (visible light cameras, infrared cameras, dark vision cameras, metal detectors, ultrasonic measuring instruments, etc.) and sensor devices (motion sensors, infrared sensors, etc.). All the devices necessary for imaging and detecting abnormalities and intruders can be adopted.

本発明の移動体は、カメラ等を搭載した撮影用の移動体としても好適に使用することができる他、セキュリティ分野、インフラ監視、測量、スポーツ会場・工場・倉庫等の建物や構造物内の点検、災害対応等の様々な産業にも利用することができる。 The moving body of the present invention can be suitably used as a moving body for photography equipped with a camera or the like, and also in the security field, infrastructure monitoring, surveying, sports venues, factories, warehouses, and other buildings and structures. It can also be used in various industries such as inspection and disaster response.

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。 The embodiments described above are merely examples for facilitating the understanding of the present invention, and are not intended to limit the interpretation of the present invention. It goes without saying that the present invention can be modified and improved without departing from the spirit thereof, and the present invention includes its equivalents.

1 管理サーバ
2 ユーザ端末
4 移動体
5 移動体格納装置

1 Management server 2 User terminal 4 Mobile 5 Mobile storage device

Claims (8)

コンピュータが、三次元基準データ生成部、及び、移動経路生成部として動作することにより、移動体が移動するための構造物内の移動経路を生成する移動経路生成方法であって、
前記三次元基準データ生成部により、前記構造物を立体的に可視化した三次元モデルデータ及び前記構造物内をセンサによりセンシングした結果を示す三次元センシングデータに基づき、前記構造物内の三次元基準データを生成するステップと、
前記移動経路生成部により、前記三次元基準データに基づき、前記移動体のための移動経路を生成するステップと、
を含み、
前記三次元モデルデータは、前記構造物のBIMデータに基づく三次元データである、
ことを特徴とする移動経路生成方法。
A movement route generation method in which a computer operates as a three-dimensional reference data generation unit and a movement route generation unit to generate a movement path in a structure for a moving body to move.
Based on the 3D model data that visualizes the structure three-dimensionally by the 3D reference data generation unit and the 3D sensing data that shows the result of sensing the inside of the structure by the sensor, the 3D reference in the structure. The steps to generate the data and
A step of generating a movement path for the moving body based on the three-dimensional reference data by the movement path generation unit, and a step of generating the movement path for the moving body.
Including
The three-dimensional model data is three-dimensional data based on the BIM data of the structure.
A method of generating a movement route, which is characterized in that.
前記三次元基準データを生成するステップは、前記三次元モデルデータと前記三次元センシングデータとの縮尺を合わせて合成するステップを含む、
ことを特徴とする請求項1に記載の移動経路生成方法。
The step of generating the three-dimensional reference data includes a step of synthesizing the three-dimensional model data and the three-dimensional sensing data at the same scale.
The method for generating a movement route according to claim 1.
前記三次元モデルデータと、前記三次元センシングデータは、座標系が異なり、
前記三次元センシングデータは、移動体の各種センサの座標系である、
ことを特徴とする請求項1または2に記載の移動経路生成方法。
The coordinate system of the three-dimensional model data and the three-dimensional sensing data are different.
The three-dimensional sensing data is a coordinate system of various sensors of a moving body.
The method for generating a movement route according to claim 1 or 2, wherein the movement route is generated.
前記三次元センシングデータは、LiDARにより取得された三次元データである、
ことを特徴とする請求項1乃至3に記載の移動経路生成方法。
The three-dimensional sensing data is three-dimensional data acquired by LiDAR.
The movement route generation method according to claim 1 to 3, wherein the movement route is generated.
前記三次元センシングデータは、ビジョンセンサまたはイメージセンサにより取得された三次元データである、
ことを特徴とする請求項1乃至3に記載の移動経路生成方法。
The three-dimensional sensing data is three-dimensional data acquired by a vision sensor or an image sensor.
The movement route generation method according to claim 1 to 3, wherein the movement route is generated.
移動体が移動するための構造物内の移動経路を生成する移動経路生成方法をコンピュータが実行するためのプログラムであって、
前記移動経路生成方法は、
三次元基準データ生成部により、前記構造物を立体的に可視化した三次元モデルデータ及び前記構造物内をセンサによりセンシングした結果を示す三次元センシングデータに基づき、前記構造物内の三次元基準データを生成するステップと、
移動経路生成部により、前記三次元基準データに基づき、前記移動体のための移動経路を生成するステップと、
を含み、
前記三次元モデルデータは、前記構造物のBIMデータに基づく三次元データである、
ことを特徴とするプログラム。
It is a program for a computer to execute a movement route generation method for generating a movement route in a structure for a moving body to move.
The movement route generation method is
Three-dimensional reference data in the structure based on the three-dimensional model data in which the structure is three-dimensionally visualized by the three-dimensional reference data generation unit and the three-dimensional sensing data showing the result of sensing the inside of the structure by a sensor. And the steps to generate
A step of generating a movement path for the moving body based on the three-dimensional reference data by the movement path generation unit, and
Including
The three-dimensional model data is three-dimensional data based on the BIM data of the structure.
A program characterized by that.
移動体が移動するための構造物内の移動経路を生成する管理サーバであって、
前記構造物を立体的に可視化した三次元モデルデータ及び前記構造物内をセンサによりセンシングした結果を示す三次元センシングデータに基づき、前記構造物内の三次元基準データを生成する三次元基準データ生成部と、
前記三次元基準データに基づき、前記移動体のための移動経路を生成する移動経路生成部と、
を備え、
前記三次元モデルデータは、前記構造物のBIMデータに基づく三次元データである、
ことを特徴とする管理サーバ。
It is a management server that generates a movement route in a structure for a moving body to move.
Three-dimensional reference data generation that generates three-dimensional reference data in the structure based on three-dimensional model data that visualizes the structure three-dimensionally and three-dimensional sensing data that shows the result of sensing the inside of the structure with a sensor. Department and
A movement route generation unit that generates a movement route for the moving body based on the three-dimensional reference data,
Equipped with
The three-dimensional model data is three-dimensional data based on the BIM data of the structure.
A management server that features that.
移動体が移動するための構造物内の移動経路を生成する管理システムであって、
前記構造物を立体的に可視化した三次元モデルデータ及び前記構造物内をセンサによりセンシングした結果を示す三次元センシングデータに基づき、前記構造物内の三次元基準データを生成する三次元基準データ生成部と、
前記三次元基準データに基づき、前記移動体のための移動経路を生成する移動経路生成部と、
を備え、
前記三次元モデルデータは、前記構造物のBIMデータに基づく三次元データである、
ことを特徴とする管理システム。
A management system that creates a movement path within a structure for a moving body to move.
Three-dimensional reference data generation that generates three-dimensional reference data in the structure based on three-dimensional model data that visualizes the structure three-dimensionally and three-dimensional sensing data that shows the result of sensing the inside of the structure with a sensor. Department and
A movement route generation unit that generates a movement route for the moving body based on the three-dimensional reference data,
Equipped with
The three-dimensional model data is three-dimensional data based on the BIM data of the structure.
A management system characterized by that.
JP2021556502A 2021-06-18 2021-06-18 Movement route generation method and program of moving object, management server, management system Active JP7004374B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021207795A JP2023000992A (en) 2021-06-18 2021-12-22 Method for generating movement path of mobile body, program, administrative server, and administrative system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/023233 WO2022264413A1 (en) 2021-06-18 2021-06-18 Mobile body movement path generation method and program, management server, and management system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021207795A Division JP2023000992A (en) 2021-06-18 2021-12-22 Method for generating movement path of mobile body, program, administrative server, and administrative system

Publications (2)

Publication Number Publication Date
JP7004374B1 true JP7004374B1 (en) 2022-02-14
JPWO2022264413A1 JPWO2022264413A1 (en) 2022-12-22

Family

ID=80912332

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021556502A Active JP7004374B1 (en) 2021-06-18 2021-06-18 Movement route generation method and program of moving object, management server, management system
JP2021207795A Pending JP2023000992A (en) 2021-06-18 2021-12-22 Method for generating movement path of mobile body, program, administrative server, and administrative system

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021207795A Pending JP2023000992A (en) 2021-06-18 2021-12-22 Method for generating movement path of mobile body, program, administrative server, and administrative system

Country Status (2)

Country Link
JP (2) JP7004374B1 (en)
WO (1) WO2022264413A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228283A1 (en) * 2022-05-24 2023-11-30 株式会社センシンロボティクス Information processing system, movable body, information processing method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132802A1 (en) * 2013-02-27 2014-09-04 インターナショナル・ビジネス・マシーンズ・コーポレーション Method for providing route guide using building information modeling (bim) data, computer for providing route guide, and computer program therefor
JP2017501484A (en) * 2014-09-05 2017-01-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Method for controlling a movable object in an environment, system for controlling a movable object in an environment, method for controlling an unmanned aircraft in an environment, and system for controlling an unmanned aircraft in an environment
JP2017117018A (en) * 2015-12-21 2017-06-29 凸版印刷株式会社 System and method for setting/registering flight route for small unmanned aircraft
US20180328737A1 (en) * 2017-05-15 2018-11-15 Siemens Schweiz Ag Method And Arrangement For Calculating Navigation Paths For Objects In Buildings Or On A Campus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014132802A1 (en) * 2013-02-27 2014-09-04 インターナショナル・ビジネス・マシーンズ・コーポレーション Method for providing route guide using building information modeling (bim) data, computer for providing route guide, and computer program therefor
JP2017501484A (en) * 2014-09-05 2017-01-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Method for controlling a movable object in an environment, system for controlling a movable object in an environment, method for controlling an unmanned aircraft in an environment, and system for controlling an unmanned aircraft in an environment
JP2017117018A (en) * 2015-12-21 2017-06-29 凸版印刷株式会社 System and method for setting/registering flight route for small unmanned aircraft
US20180328737A1 (en) * 2017-05-15 2018-11-15 Siemens Schweiz Ag Method And Arrangement For Calculating Navigation Paths For Objects In Buildings Or On A Campus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228283A1 (en) * 2022-05-24 2023-11-30 株式会社センシンロボティクス Information processing system, movable body, information processing method, and program

Also Published As

Publication number Publication date
JP2023000992A (en) 2023-01-04
JPWO2022264413A1 (en) 2022-12-22
WO2022264413A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
CN109388150B (en) Multi-sensor environment mapping
JP2018535487A (en) System and method for planning and controlling UAV paths
JPWO2018193574A1 (en) Flight path generation method, information processing apparatus, flight path generation system, program, and recording medium
WO2021199449A1 (en) Position calculation method and information processing system
JP7118490B1 (en) Information processing system, information processing method, program, mobile object, management server
JP7004374B1 (en) Movement route generation method and program of moving object, management server, management system
US20210229810A1 (en) Information processing device, flight control method, and flight control system
JP6730763B1 (en) Flight body flight path creation method and management server
JP6991525B1 (en) Waypoint height coordinate setting method and management server, information processing system, program
JP7072311B1 (en) Movement route generation method and program of moving object, management server, management system
JP2020036163A (en) Information processing apparatus, photographing control method, program, and recording medium
JP6818379B1 (en) Flight route creation method and management server for aircraft
JP6684012B1 (en) Information processing apparatus and information processing method
JP6730764B1 (en) Flight route display method and information processing apparatus
JP7441579B1 (en) Information processing system and information processing method
JP7170369B1 (en) Information processing system and mobile body, information processing method, and program
WO2023228283A1 (en) Information processing system, movable body, information processing method, and program
JP7228298B1 (en) Information processing system, information processing method, program, mobile object, management server
WO2022113482A1 (en) Information processing device, method, and program
JP6810498B1 (en) Flight route creation method and management server for aircraft
JP6810497B1 (en) Flight route creation method and management server for aircraft
WO2021049508A1 (en) Dimension display system, and dimension display method
WO2022180975A1 (en) Position determination device, information processing device, position determination method, information processing method, and program
JP6681102B2 (en) Inspection system
JP7370045B2 (en) Dimension display system and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210917

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210917

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211222

R150 Certificate of patent or registration of utility model

Ref document number: 7004374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350