JP2021085739A

JP2021085739A - Space recognition system, space recognition device, space recognition method, and program

Info

Publication number: JP2021085739A
Application number: JP2019214301A
Authority: JP
Inventors: 幸治金野; Koji Konno; 啓太郎平野; Keitaro Hirano; 幸男平原; Yukio Hirahara
Original assignee: CHIYODA SOKKI Corp; Informatix Inc
Current assignee: CHIYODA SOKKI Corp; Informatix Inc
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2021-06-03
Anticipated expiration: 2039-11-27
Also published as: JP6733927B1

Abstract

To provide a space recognition system, a space recognition device, a space recognition method and a program with which it is possible to improve the accuracy and stability of estimating a self-position.SOLUTION: In a space recognition system 1, a space recognition device 100 comprises: a space recognition unit 101 for recognizing the three-dimensional shape of a real space and generating space data; a self-position estimation unit 103 for estimating a self-position in the real space; a self-position correction unit 309 for correcting the self-position on the basis of the positional information of the space recognition device 100 measured by a plurality of total stations; a space data integration unit 105 for generating integrated space data in which the space data and the space data generated by other space recognition devices are integrated; and a self-position sharing unit 107 for transmitting the self-position expressed on the basis of the integrated space data to the other space recognition devices.SELECTED DRAWING: Figure 8

Description

本発明は空間認識システム、空間認識装置、空間認識方法及びプログラムに関し、特に位置推定精度を向上させる技術に関する。 The present invention relates to a space recognition system, a space recognition device, a space recognition method and a program, and particularly to a technique for improving position estimation accuracy.

現実空間に存在する壁や障害物などを認識することにより特有の機能を発現する装置（以下、空間認識装置）が産業界で広く利用されるようになっている。例えば、トンネル、橋梁及びビル等の構造物の施工及び検査業務等においては、カメラやデプスセンサにより現実空間を認識する機能を有するＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）を装着した作業者が、透過型ディスプレイを介して壁や床等に映し出される図面等のオブジェクトを視認しながら、現実空間内を自在に動き回って作業を行っている例がある。（特許文献１参照） Devices that express unique functions by recognizing walls and obstacles that exist in the real space (hereinafter referred to as space recognition devices) are widely used in the industrial world. For example, in the construction and inspection work of structures such as tunnels, bridges and buildings, a worker wearing an HMD (Head Mounted Display) having a function of recognizing a real space with a camera or a depth sensor uses a transmissive display. There is an example of working by freely moving around in a real space while visually recognizing an object such as a drawing projected on a wall or floor. (See Patent Document 1)

このような空間認識装置は、現実空間内における自己の位置を正しく認識することにより、図面をはじめとする様々なオブジェクトを正しい位置に投影するなどの機能を発現することが可能となる。従来の空間認識装置は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）などの衛星測位システム（ＧＮＳＳ：ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）の利用や、現実空間内に置かれたマーカーの位置を基準とすることなどにより、自己の位置を推定していた。 By correctly recognizing one's own position in the real space, such a space recognition device can exhibit functions such as projecting various objects such as drawings at the correct position. The conventional space recognition device uses a satellite positioning system (GNSS: Global Positioning System) such as GPS (Global Positioning System), or uses the position of a marker placed in the real space as a reference to obtain its own space recognition device. The position was estimated.

また、特許文献２には、作業者のヘルメットに固定されたプリズムをトータルステーションが追尾することで作業者の視点位置を特定し、視点位置に応じた仮想映像を作業者のゴーグルに表示するシステムが開示されている。 Further, in Patent Document 2, a system is provided in which a total station tracks a prism fixed to a worker's helmet to identify the worker's viewpoint position and displays a virtual image according to the viewpoint position on the worker's goggles. It is disclosed.

特許第６４３８９９５号Patent No. 6438995 特開２０００−１５５８５５号公報JP-A-2000-155855

しかしながら、衛星測位システム等を利用する方式は、建物やトンネル内のような測位信号が遮断される場所では利用が困難であるという問題がある。また、マーカーを基準とする方式では、空間認識装置がマーカーから離れていくほど、現在位置の推定誤差が大きくなってしまうという問題がある。特許文献２のようにトータルステーションを基準とする方式は、マーカーを基準とする方式よりも誤差を比較的抑えやすいが、空間認識装置がトータルステーションの視界から外れてしまうと位置を認識できなくなるという問題がある。 However, a method using a satellite positioning system or the like has a problem that it is difficult to use it in a place where a positioning signal is blocked, such as in a building or a tunnel. Further, in the method using the marker as a reference, there is a problem that the estimation error of the current position increases as the space recognition device moves away from the marker. The method based on the total station as in Patent Document 2 is relatively easier to suppress the error than the method based on the marker, but there is a problem that the position cannot be recognized when the space recognition device is out of the field of view of the total station. is there.

また、従来の空間認識装置は、自己位置の推定に失敗し、いわゆるロストが発生したときに、例えば現実空間上へのコンテンツ投影といった自己位置が不可欠な処理に容易に支障をきたしてしまうという問題を有していた。 Further, the conventional space recognition device fails to estimate the self-position, and when a so-called lost occurs, the self-position easily interferes with the processing in which the self-position is indispensable, for example, the content projection on the real space. Had.

本発明はこのような問題点を解決するためになされたものであり、自己位置の推定精度や安定性を向上させることが可能な空間認識システム、空間認識装置、空間認識方法及びプログラムを提供することを目的とする。 The present invention has been made to solve such a problem, and provides a space recognition system, a space recognition device, a space recognition method, and a program capable of improving the estimation accuracy and stability of the self-position. The purpose is.

本発明の一形態は、現実空間を認識する空間認識装置であって、前記現実空間の３次元形状を認識して空間データを生成する空間認識部と、前記空間データに基づいて、前記現実空間における自己位置を推定する自己位置推定部と、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正部と、前記空間データと、他の空間認識装置が生成した前記空間データと、を統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記自己位置を、前記他の空間認識装置に送信する自己位置共有部と、を有する空間認識装置である。
本発明の一形態は、第１の空間認識装置と、第２の空間認識装置と、を有し、前記第１の空間認識装置は、現実空間の３次元形状を認識して第１の空間データを生成する第１の空間認識部と、前記第１の空間データに基づいて、前記現実空間における第１の自己位置を推定する第１の自己位置推定部と、前記第１の空間データを前記第２の空間認識装置に送信する第１の空間データ統合部と、前記第１の自己位置を前記第２の空間認識装置に送信する第１の自己位置共有部と、を有し、前記第２の空間認識装置は、前記現実空間の３次元形状を認識して第２の空間データを生成する第２の空間認識部と、前記第２の空間データに基づいて、前記現実空間における第２の自己位置を推定する第２の自己位置推定部と、前記第１の空間データと前記第２の空間データとを統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する第２の空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記第２の自己位置を前記第１の空間認識装置に送信する第２の自己位置共有部と、を有し、前記第１の空間認識装置又は前記第２の空間認識装置は自己位置補正部をさらに有し、前記自己位置補正部は、複数のトータルステーションにより測定された前記第１の空間認識装置又は前記第２の空間認識装置の位置情報に基づいて、前記第１の自己位置推定部又は前記第２の自己位置推定部が推定した前記第１の自己位置又は前記第２の自己位置を補正する空間認識システムである。
本発明の一形態は、複数の空間認識装置と、サーバと、を有し、前記空間認識装置は、現実空間の３次元形状を認識して空間データを生成する空間認識部と、前記空間データに基づいて、前記現実空間における自己位置を推定する自己位置推定部と、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正部と、を有し、前記サーバは、複数の前記空間認識装置が生成した前記空間データを統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記空間認識装置の前記自己位置を、他の空間認識装置に送信する自己位置共有部と、を有する空間認識システムである。
本発明の一形態は、空間認識装置が、現実空間の３次元形状を認識して空間データを生成する空間認識ステップと、前記現実空間における自己位置を推定する自己位置推定ステップと、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正ステップと、前記空間データと、他の空間認識装置が生成した前記空間データとを統合した統合空間データを生成する空間データ統合ステップと、前記統合空間データに基づいて表現された前記自己位置を、前記他の空間認識装置に送信する自己位置共有ステップと、有する空間認識方法である。
本発明の一形態は、上記方法をコンピュータに実行させるためのプログラムである。 One embodiment of the present invention is a space recognition device that recognizes a real space, a space recognition unit that recognizes a three-dimensional shape of the real space and generates space data, and the real space based on the space data. A self-position estimation unit that estimates the self-position in the space, a self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations, the space data, and another space. A spatial data integration unit that integrates the spatial data generated by the recognition device and generates integrated spatial data expressed in the same coordinate system having the same origin, and the estimation based on the integrated spatial data. It is a space recognition device having a self-position sharing unit that transmits the self-position in the real space to the other space recognition device.
One embodiment of the present invention includes a first space recognition device and a second space recognition device, and the first space recognition device recognizes a three-dimensional shape of a real space and is a first space. A first spatial recognition unit that generates data, a first self-position estimation unit that estimates a first self-position in the real space based on the first spatial data, and the first spatial data. It has a first spatial data integration unit that transmits to the second space recognition device, and a first self-position sharing unit that transmits the first self-position to the second space recognition device. The second space recognition device is a second space recognition unit that recognizes the three-dimensional shape of the real space and generates a second space data, and a second space recognition device in the real space based on the second space data. Integrated spatial data expressed in the same coordinate system having the same origin by integrating the second self-position estimation unit that estimates the self-position of 2 and the first spatial data and the second spatial data. And a second self-position sharing unit that transmits the second self-position in the real space estimated based on the integrated space data to the first space recognition device. The first space recognition device or the second space recognition device further has a self-position correction unit, and the self-position correction unit is the first space measured by a plurality of total stations. The first self-position or the second self-position estimated by the first self-position estimation unit or the second self-position estimation unit based on the position information of the recognition device or the second space recognition device. It is a space recognition system that corrects.
One embodiment of the present invention includes a plurality of space recognition devices and a server, and the space recognition device includes a space recognition unit that recognizes a three-dimensional shape of a real space and generates space data, and the space data. A self-position estimation unit that estimates the self-position in the real space based on the above, and a self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations. The server integrates the spatial data generated by the plurality of the spatial recognition devices with the spatial data integration unit that generates the integrated spatial data represented by the same coordinate system having the same origin and the integration. It is a space recognition system having a self-position sharing unit that transmits the self-position of the space recognition device in the real space estimated based on spatial data to another space recognition device.
One embodiment of the present invention includes a space recognition step in which a space recognition device recognizes a three-dimensional shape of a real space and generates spatial data, a self-position estimation step for estimating a self-position in the real space, and a plurality of total stations. Integrated spatial data in which the self-position correction step for correcting the self-position based on the position information of the spatial recognition device measured by the above, the spatial data, and the spatial data generated by another spatial recognition device are integrated. This is a spatial recognition method having a spatial data integration step for generating the above, a self-position sharing step for transmitting the self-position expressed based on the integrated spatial data to the other spatial recognition device, and a spatial recognition method.
One embodiment of the present invention is a program for causing a computer to execute the above method.

本発明により、自己位置の推定精度や安定性を向上させることが可能な空間認識システム、空間認識装置、空間認識方法及びプログラムを提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a space recognition system, a space recognition device, a space recognition method and a program capable of improving the estimation accuracy and stability of self-position.

実施の形態１にかかる空間認識システム１の構成を示すブロック図である。It is a block diagram which shows the structure of the space recognition system 1 which concerns on Embodiment 1. FIG. 実施の形態１にかかる空間認識装置１００の外観の一例を示す図である。It is a figure which shows an example of the appearance of the space recognition apparatus 100 which concerns on Embodiment 1. FIG. 実施の形態１にかかる空間認識装置１００の機能を示すブロック図である。It is a block diagram which shows the function of the space recognition apparatus 100 which concerns on Embodiment 1. FIG. 実施の形態２にかかる空間認識システム１の構成を示すブロック図である。It is a block diagram which shows the structure of the space recognition system 1 which concerns on Embodiment 2. FIG. 実施の形態２にかかる空間認識システム１の機能を示すブロック図である。It is a block diagram which shows the function of the space recognition system 1 which concerns on Embodiment 2. FIG. 実施の形態３にかかる空間認識装置１００の外観の一例を示す図である。It is a figure which shows an example of the appearance of the space recognition apparatus 100 which concerns on Embodiment 3. FIG. 実施の形態３にかかる空間認識システム１の構成を示すブロック図である。It is a block diagram which shows the structure of the space recognition system 1 which concerns on Embodiment 3. 実施の形態３にかかる空間認識システム１の機能を示すブロック図である。It is a block diagram which shows the function of the space recognition system 1 which concerns on Embodiment 3. 自己位置補正部３０９による測定値の補正処理を説明する図である。It is a figure explaining the correction process of the measured value by the self-position correction part 309. 実施の形態４にかかる空間認識システム１の構成を示すブロック図である。It is a block diagram which shows the structure of the space recognition system 1 which concerns on Embodiment 4. FIG. 実施の形態４にかかる空間認識システム１の機能を示すブロック図である。It is a block diagram which shows the function of the space recognition system 1 which concerns on Embodiment 4. FIG.

＜実施の形態１＞
本発明の実施の形態について、図面を用いて説明する。はじめに図１を用いて、本発明の実施の形態１にかかる空間認識システム１の構成について説明する。空間認識システム１は、複数の空間認識装置１００（１００ａ，１００ｂ，・・・）を含む。 <Embodiment 1>
Embodiments of the present invention will be described with reference to the drawings. First, the configuration of the space recognition system 1 according to the first embodiment of the present invention will be described with reference to FIG. The space recognition system 1 includes a plurality of space recognition devices 100 (100a, 100b, ...).

図２は、実施の形態１にかかる空間認識装置１００の外観の一例を示す図である。空間認識装置１００は、典型的にはカメラ、デプスセンサ、ジャイロ、透過型ディスプレイ、処理ユニット及び通信ユニット等を有するＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）であり、例えばＨｏｌｏｌｅｎｓ（登録商標）等が含まれる。 FIG. 2 is a diagram showing an example of the appearance of the space recognition device 100 according to the first embodiment. The space recognition device 100 is typically an HMD (Head Mounted Display) having a camera, a depth sensor, a gyro, a transmissive display, a processing unit, a communication unit, and the like, and includes, for example, Hollens (registered trademark) and the like.

カメラは、現実空間を連続的に撮影して画像データを取得する。空間認識装置１００は、これらの画像データに基づいて、現実空間の３次元形状の認識（マッピング）と、空間認識装置１００の位置及び姿勢の推定（自己位置推定）と、を行う（ＳＬＡＭ：ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）。ＳＬＡＭは公知技術であるので、本稿ではＳＬＡＭの具体的なアルゴリズムについての説明は省略する。なお、空間認識装置１００は、現実空間の深度情報を取得するデプスセンサや、空間認識装置１００の傾きを検出するジャイロから得られる情報を用いて、ＳＬＡＭの精度を上げることも可能である。 The camera continuously captures the real space and acquires image data. Based on these image data, the space recognition device 100 recognizes the three-dimensional shape of the real space (mapping) and estimates the position and orientation of the space recognition device 100 (self-position estimation) (SLAM: Simultaneus). Localization and Mapping). Since SLAM is a known technique, the description of the specific algorithm of SLAM is omitted in this paper. The space recognition device 100 can also improve the accuracy of SLAM by using the information obtained from the depth sensor that acquires the depth information of the real space and the gyro that detects the inclination of the space recognition device 100.

透過型ディスプレイは、ディスプレイの向こう側の現実空間を視認できるほど透過率の高いディスプレイであり、ディスプレイに映し出されるコンテンツを現実空間に重畳させてユーザに視認させることができる。 The transmissive display is a display having a high transmittance so that the real space on the other side of the display can be visually recognized, and the content displayed on the display can be superimposed on the real space so that the user can visually recognize the content.

処理ユニットは、少なくともプロセッサとメモリとを含み、プロセッサがメモリに格納されたプログラムを実行することにより空間認識装置１００特有の機能を実現する。通信ユニットは、外部の情報処理装置（サーバや他の空間認識装置１００等）とのデータの送受信を実行する。 The processing unit includes at least a processor and a memory, and the processor executes a program stored in the memory to realize a function peculiar to the space recognition device 100. The communication unit executes data transmission / reception with an external information processing device (server, other space recognition device 100, etc.).

図３は、実施の形態１にかかる空間認識装置１００の機能を示すブロック図である。空間認識装置１００は、空間認識部１０１、自己位置推定部１０３、空間データ統合部１０５、自己位置共有部１０７を有する。 FIG. 3 is a block diagram showing the function of the space recognition device 100 according to the first embodiment. The space recognition device 100 includes a space recognition unit 101, a self-position estimation unit 103, a space data integration unit 105, and a self-position sharing unit 107.

空間認識部１０１は、カメラ、デプスセンサ、ジャイロ等から得られる情報に基づいて（マッピング）を行う。マッピングの成果として、空間認識部１０１は３次元メッシュデータ又は３次元点群データ（以下、空間データともいう）を生成する。３次元メッシュデータは、現実空間の３次元形状を示す多数の小さな平面（メッシュ）の集合である。典型的には、各メッシュはその法線ベクトルで代表されるので、メッシュデータは法線ベクトルの集合でありうる。３次元点群データは、現実空間の３次元形状を示す多数の点の集合（点群）である。より具体的には、各点の３次元座標の集合である。 The space recognition unit 101 performs (mapping) based on information obtained from a camera, a depth sensor, a gyro, or the like. As a result of mapping, the space recognition unit 101 generates three-dimensional mesh data or three-dimensional point cloud data (hereinafter, also referred to as spatial data). A three-dimensional mesh data is a set of a large number of small planes (mesh) showing a three-dimensional shape in real space. Typically, each mesh is represented by its normal vector, so the mesh data can be a set of normal vectors. The three-dimensional point cloud data is a set (point cloud) of a large number of points showing a three-dimensional shape in real space. More specifically, it is a set of three-dimensional coordinates of each point.

自己位置推定部１０３は、カメラ、デプスセンサ、ジャイロ等から得られる情報に基づいて空間認識装置１００の位置及び姿勢の推定（自己位置推定）を行う。自己位置推定の成果として、自己位置推定部１０３は、典型的にはカメラ位置の座標と、空間認識装置１００の傾きとを算出する。 The self-position estimation unit 103 estimates the position and orientation of the space recognition device 100 (self-position estimation) based on the information obtained from the camera, depth sensor, gyro, and the like. As a result of the self-position estimation, the self-position estimation unit 103 typically calculates the coordinates of the camera position and the inclination of the space recognition device 100.

空間データ統合部１０５は、現実空間内に存在する他の空間認識装置１００と通信を行って、複数の空間認識装置１００の空間データを統合する。一例として、現実空間内に空間認識装置１００ａ及び空間認識装置１００ｂが存在する場合を想定する。親機として振る舞う空間認識装置１００ａは、自己（空間認識装置１００ａ）が認識した空間データＳａを、子機として振る舞う空間認識装置１００ｂに送信する。子機である空間認識装置１００ｂは、空間認識装置１００ａが認識した空間データＳａと、自己（空間認識装置１００ｂ）が認識した空間データＳｂとのパターンマッチングを行い、両者の空間データを統合した統合空間データＳｉを生成する。 The spatial data integration unit 105 communicates with other spatial recognition devices 100 existing in the real space to integrate the spatial data of the plurality of spatial recognition devices 100. As an example, it is assumed that the space recognition device 100a and the space recognition device 100b exist in the real space. The space recognition device 100a acting as a master unit transmits the space data Sa recognized by itself (space recognition device 100a) to the space recognition device 100b acting as a slave unit. The spatial recognition device 100b, which is a slave unit, performs pattern matching between the spatial data Sa recognized by the spatial recognition device 100a and the spatial data Sb recognized by itself (spatial recognition device 100b), and integrates the spatial data of both. Spatial data Si is generated.

空間データ同士のパターンマッチングについて説明する。空間データが３次元メッシュデータである場合、子機（空間認識装置１００ｂ）側の空間データ統合部１０５は、空間認識装置１００ａ及び空間認識装置１００ｂの双方のメッシュのうち、形状、傾き、大きさが一致しているもの（完全に一致するもののほか、差が所定のしきい値以内であるものも含む）を探索する。メッシュの形状、傾き、大きさが一致するとは、換言すれば、法線ベクトルの類似度が高いということである。一致するメッシュペアが発見されたならば、それらのメッシュペアをそれぞれ重ね合わせることによって２つのメッシュを結合させ、１つに統合された３次元メッシュデータを生成する。空間データが３次元点群データである場合も同様に、子機（空間認識装置１００ｂ）側の空間データ統合部１０５が、双方の空間データから類似度の高い点をそれぞれ選び出し、それらの点同士を重ね合わせることによって２つのメッシュを結合させ、１つに統合された３次元メッシュデータを生成する。 Pattern matching between spatial data will be described. When the spatial data is three-dimensional mesh data, the spatial data integration unit 105 on the slave unit (spatial recognition device 100b) side has the shape, inclination, and size of the meshes of both the spatial recognition device 100a and the spatial recognition device 100b. Search for matches (including those that match exactly and those whose difference is within a predetermined threshold). Matching the shape, slope, and size of the mesh means that the normal vectors have a high degree of similarity. If matching mesh pairs are found, the two meshes are combined by superimposing each of those mesh pairs to generate one integrated 3D mesh data. Similarly, when the spatial data is three-dimensional point cloud data, the spatial data integration unit 105 on the slave unit (spatial recognition device 100b) side selects points having high similarity from both spatial data, and those points are mutually selected. By superimposing the two meshes, two meshes are combined to generate one integrated three-dimensional mesh data.

子機である空間認識装置１００ｂの空間データ統合部１０５は、親機である空間認識装置１００ａの空間データ統合部１０５に、生成した統合空間データＳｉを送信する。これにより、空間認識装置１００ａと空間認識装置１００ｂとの間で統合空間データＳｉが共有される。以降、空間認識装置１００ａと空間認識装置１００ｂとは統合空間データＳｉを用いて自己の位置を認識する。すなわち、同じワールド座標を共有し、ワールド座標の原点からの相対座標として自己位置を表現する。 The spatial data integration unit 105 of the spatial recognition device 100b, which is a slave unit, transmits the generated integrated spatial data Si to the spatial data integration unit 105 of the spatial recognition device 100a, which is a master unit. As a result, the integrated spatial data Si is shared between the spatial recognition device 100a and the spatial recognition device 100b. After that, the space recognition device 100a and the space recognition device 100b recognize their own positions using the integrated space data Si. That is, they share the same world coordinates and express their own position as relative coordinates from the origin of the world coordinates.

なお、ここでは子機が１台である例を示したが、本発明はこれに限定されず、子機は複数台であっても良い。この場合、子機それぞれにおいて上述の一連の処理が実行される。 Although an example in which one slave unit is used is shown here, the present invention is not limited to this, and a plurality of slave units may be used. In this case, the above-mentioned series of processes is executed in each slave unit.

自己位置共有部１０７は、現実空間内に存在する他の空間認識装置１００に対し、所定の間隔で自己位置を送信する。例えば、現実空間内に空間認識装置１００ａ及び空間認識装置１００ｂが存在する場合、空間認識装置１００ａは、自己の位置Ｐａを空間認識装置１００ｂに対し送信し、空間認識装置１００ｂは自己位置Ｐａを一定期間保持する。同様に、空間認識装置１００ｂは、自己の位置Ｐｂを空間認識装置１００ａに対し送信し、空間認識装置１００ａは自己位置Ｐｂを一定期間保持する。ここで、自己位置Ｐａ及び自己位置Ｐｂは、空間データ統合部１０５による空間データ統合処理の結果、同一の原点を有する同一の座標系で表現されたものとなっている。そのため、空間認識装置１００ａ及び空間認識装置１００ｂは、互いの存在位置を示す座標を共有することができる。 The self-position sharing unit 107 transmits the self-position to another space recognition device 100 existing in the real space at predetermined intervals. For example, when the space recognition device 100a and the space recognition device 100b exist in the real space, the space recognition device 100a transmits its own position Pa to the space recognition device 100b, and the space recognition device 100b keeps its own position Pa constant. Hold for a period. Similarly, the space recognition device 100b transmits its own position Pb to the space recognition device 100a, and the space recognition device 100a holds the self position Pb for a certain period of time. Here, the self-position Pa and the self-position Pb are represented by the same coordinate system having the same origin as a result of the spatial data integration processing by the spatial data integration unit 105. Therefore, the space recognition device 100a and the space recognition device 100b can share the coordinates indicating the mutual existence positions.

ところで、空間認識装置１００は、ＳＬＡＭ処理が滞ることなどにより自己位置の推定に失敗し、一時的に自己位置を見失うことがある。これをロストという。ロストは空間認識装置１００の位置推定精度を低下させる大きな要因である。そこで、ロストによる位置推定精度低下を抑制すべく、本実施の形態では、ロストが発生した場合に他の空間認識装置１００から自己位置を教えてもらう仕組みを導入する。自己位置共有部１０７はロスト発生を検知すると、現実空間内に存在する他の空間認識装置１００に対しロスト信号を送信する。ロスト信号を受信した当該他の空間認識装置１００の自己位置共有部１０７は、ロストした空間認識装置１００に対し、その存在位置を通知する。 By the way, the space recognition device 100 may fail to estimate its own position due to delay in SLAM processing or the like, and may temporarily lose track of its own position. This is called lost. Lost is a major factor that lowers the position estimation accuracy of the space recognition device 100. Therefore, in order to suppress a decrease in position estimation accuracy due to lost, in the present embodiment, a mechanism is introduced in which another space recognition device 100 informs the self-position when lost occurs. When the self-position sharing unit 107 detects the occurrence of lost, it transmits a lost signal to another space recognition device 100 existing in the real space. The self-position sharing unit 107 of the other space recognition device 100 that has received the lost signal notifies the lost space recognition device 100 of its existence position.

例えば、現実空間内に空間認識装置１００ａ及び空間認識装置１００ｂが存在し、空間認識装置１００ａにおいてロストが発生した場合を想定する。空間認識装置１００ａの自己位置共有部１０７は、空間認識装置１００ｂの自己位置共有部１０７に対しロスト信号を送信する。空間認識装置１００ｂの自己位置共有部１０７は、空間認識装置１００ａから事前に共有されていた自己位置Ｐａのうち最新のものを、空間認識装置１００ａの自己位置共有部１０７に対し送信する。空間認識装置１００ａの自己位置共有部１０７は、受信した自己位置Ｐａを自己位置とみなす。これにより、空間認識装置１００ａは、例えばコンテンツの投影などの処理を、ロストが発生したとしても中断することなく実行し続けることが可能となる。 For example, it is assumed that the space recognition device 100a and the space recognition device 100b exist in the real space, and the space recognition device 100a is lost. The self-position sharing unit 107 of the space recognition device 100a transmits a lost signal to the self-position sharing unit 107 of the space recognition device 100b. The self-position sharing unit 107 of the space recognition device 100b transmits the latest self-position Pa shared in advance from the space recognition device 100a to the self-position sharing unit 107 of the space recognition device 100a. The self-position sharing unit 107 of the space recognition device 100a regards the received self-position Pa as the self-position. As a result, the space recognition device 100a can continue to execute processing such as projection of contents without interruption even if lost occurs.

なお、自己位置Ｐａ及びＰｂには、空間認識装置１００の位置は勿論のこと、姿勢を示す情報も含めることができる。また、ここでは現実空間内に２台の空間認識装置１００が存在する例を示したが、本発明はこれに限定されず、複数であれば何台でも良い。空間認識装置１００の数が多ければ多いほど、空間認識装置１００の位置推定の精度を安定させることができる。 The self-positions Pa and Pb can include not only the position of the space recognition device 100 but also information indicating the posture. Further, although an example in which two space recognition devices 100 exist in the real space is shown here, the present invention is not limited to this, and any number of the space recognition devices 100 may be used. The greater the number of space recognition devices 100, the more stable the accuracy of position estimation of the space recognition device 100 can be.

本実施の形態によれば、現実空間内に存在する複数の空間認識装置１００が空間データを統合したうえで自己位置を推定する。これにより、建物やトンネル内のような測位信号が遮断される場合や、ある空間認識装置１００がマーカーから離れた場所に位置する場合であっても、高い精度で自己位置推定を行うことができる。例えば空間認識装置１００ｂがマーカーから遠く離れており、単独では自己位置推定精度を維持できないような場合であっても、マーカーの近くに位置し高い精度での自己位置推定が可能な空間認識装置１００ａと空間データを統合することによって、空間認識装置１００ａと同等の精度で自己位置推定を行うことができる。 According to the present embodiment, a plurality of space recognition devices 100 existing in the real space integrate the spatial data and then estimate the self-position. As a result, even when the positioning signal is blocked such as in a building or a tunnel, or when a certain space recognition device 100 is located at a place away from the marker, the self-position estimation can be performed with high accuracy. .. For example, even if the space recognition device 100b is far away from the marker and the self-position estimation accuracy cannot be maintained by itself, the space recognition device 100a is located near the marker and can perform self-position estimation with high accuracy. By integrating the spatial data with the spatial recognition device 100a, the self-position estimation can be performed with the same accuracy as the spatial recognition device 100a.

また、本実施の形態では、複数の空間認識装置１００が自己位置を共有し、ロスト発生時には補完しあって自己位置を推定し続ける。これにより、従来よりも安定した自己位置推定を行うことが可能である。 Further, in the present embodiment, the plurality of space recognition devices 100 share their own positions, and when lost occurs, they complement each other and continue to estimate their own positions. This makes it possible to perform more stable self-position estimation than before.

＜実施の形態２＞
実施の形態１では、子機にあたる空間認識装置１００が空間データ統合処理を行った。これに対し実施の形態２では、サーバ２００が空間データ統合及びデータ共有処理を行う。 <Embodiment 2>
In the first embodiment, the space recognition device 100, which is a slave unit, performs the space data integration process. On the other hand, in the second embodiment, the server 200 performs spatial data integration and data sharing processing.

図４は、実施の形態２にかかる空間認識システム１の構成を示すブロック図である。空間認識システム１は、複数の空間認識装置１００（１００ａ，１００ｂ，・・・）と、サーバ２００を含む。サーバ２００は、少なくともプロセッサとメモリとを含み、プロセッサがメモリに格納されたプログラムを実行することにより所定の機能を実現する。 FIG. 4 is a block diagram showing the configuration of the space recognition system 1 according to the second embodiment. The space recognition system 1 includes a plurality of space recognition devices 100 (100a, 100b, ...) And a server 200. The server 200 includes at least a processor and a memory, and the processor realizes a predetermined function by executing a program stored in the memory.

図５は、実施の形態２にかかる空間認識システム１の機能を示すブロック図である。空間認識装置１００は、現実空間の３次元形状の認識（マッピング）を行う空間認識部２０１、位置及び姿勢の推定（自己位置推定）を行う自己位置推定部２０３を有する。サーバ２００は、複数の空間認識装置１００の空間データを統合する空間データ統合部２０５、空間認識装置１００の存在位置を共有してロスト発生時のリカバリを行う自己位置共有部２０７を有する。空間認識部２０１、自己位置推定部２０３、空間データ統合部２０５及び自己位置共有部２０７の動作について、実施の形態１の空間認識部１０１、自己位置推定部１０３、空間データ統合部１０５及び自己位置共有部１０７との共通点については記述を省略しつつ説明する。 FIG. 5 is a block diagram showing the function of the space recognition system 1 according to the second embodiment. The space recognition device 100 has a space recognition unit 201 that recognizes (mapping) the three-dimensional shape of the real space, and a self-position estimation unit 203 that estimates the position and orientation (self-position estimation). The server 200 has a spatial data integration unit 205 that integrates spatial data of a plurality of spatial recognition devices 100, and a self-position sharing unit 207 that shares the existence position of the spatial recognition device 100 and performs recovery when a loss occurs. Regarding the operations of the space recognition unit 201, the self-position estimation unit 203, the space data integration unit 205, and the self-position sharing unit 207, the space recognition unit 101, the self-position estimation unit 103, the space data integration unit 105, and the self-position of the first embodiment The common points with the shared unit 107 will be described while omitting the description.

空間認識部２０１は、生成した空間データを、サーバ２００の空間データ統合部２０５に送信する。サーバ２００の空間データ統合部２０５は、複数の空間認識装置１００から受信した空間データを統合して、統合空間データを生成する。また、統合空間データの原点Ｏｉを決定し（典型的には任意の親機の原点を流用する）、各空間認識装置１００の空間認識部２０１に送信する。空間認識部２０１は、統合空間データの原点Ｏｉを自己の原点位置に設定する。これにより、各空間認識装置１００の座標系が統一される。 The spatial recognition unit 201 transmits the generated spatial data to the spatial data integration unit 205 of the server 200. The spatial data integration unit 205 of the server 200 integrates the spatial data received from the plurality of spatial recognition devices 100 to generate the integrated spatial data. Further, the origin Oi of the integrated spatial data is determined (typically, the origin of an arbitrary master unit is diverted) and transmitted to the space recognition unit 201 of each space recognition device 100. The space recognition unit 201 sets the origin Oi of the integrated spatial data to its own origin position. As a result, the coordinate system of each space recognition device 100 is unified.

自己位置推定部２０３は、自己位置を、所定の間隔でサーバ２００の自己位置共有部２０７に送信する。また、ロストを検知した場合、ロスト信号をサーバ２００の自己位置共有部２０７に送信する。サーバ２００の自己位置共有部２０７は、ロスト信号を受信したなら、その空間認識装置１００から直前に共有された自己位置を、自己位置推定部２０３に対して通知する。自己位置推定部２０３は、通知された自己位置を用いてコンテンツ投影などの処理を続行する。 The self-position estimation unit 203 transmits the self-position to the self-position sharing unit 207 of the server 200 at predetermined intervals. When lost is detected, the lost signal is transmitted to the self-position sharing unit 207 of the server 200. When the self-position sharing unit 207 of the server 200 receives the lost signal, the self-position sharing unit 207 notifies the self-position estimation unit 203 of the self-position shared immediately before by the space recognition device 100. The self-position estimation unit 203 continues processing such as content projection using the notified self-position.

本実施の形態では、比較的処理リソースに恵まれていることが多いサーバ２００が空間データ統合及びデータ共有処理を行い、空間認識装置１００における処理負荷を軽減することで、システム全体のスループットを向上させることができる。 In the present embodiment, the server 200, which is often relatively blessed with processing resources, performs spatial data integration and data sharing processing to reduce the processing load on the spatial recognition device 100, thereby improving the throughput of the entire system. be able to.

＜実施の形態３＞
実施の形態１及び２によれば、複数の空間認識装置１００を連携させることによって、従来であれば一部の空間認識装置１００の自己位置推定精度や安定性が低下しうる状況であっても、それを抑制することができる。しかしながら、全ての空間認識装置１００がマーカーから遠く離れるなどした場合には、誤差が蓄積し、システム全体の自己位置推定精度が低下する恐れがあった。そこで実施の形態３では、トータルステーション３００を導入し、複数の空間認識装置１００のうち１つを追尾して正確な位置を把握することにより、システム全体の自己位置推定精度を維持及び向上させる。 <Embodiment 3>
According to the first and second embodiments, by linking a plurality of space recognition devices 100, even in a situation where the self-position estimation accuracy and stability of some of the space recognition devices 100 can be deteriorated in the past. , It can be suppressed. However, if all the space recognition devices 100 are far away from the markers, errors may accumulate and the self-position estimation accuracy of the entire system may decrease. Therefore, in the third embodiment, the total station 300 is introduced, and one of the plurality of space recognition devices 100 is tracked to grasp the accurate position, thereby maintaining and improving the self-position estimation accuracy of the entire system.

図６は、実施の形態３にかかる空間認識装置１００の外観の一例を示す図である。本実施の形態では、空間認識装置１００は、治具１１１を介してヘルメット１１３に固定されている。また、プリズム１１５が治具１１１に取り付けられている。治具１１１、空間認識装置１００、プリズム１１５の位置関係は固定的である必要がある。 FIG. 6 is a diagram showing an example of the appearance of the space recognition device 100 according to the third embodiment. In the present embodiment, the space recognition device 100 is fixed to the helmet 113 via the jig 111. Further, the prism 115 is attached to the jig 111. The positional relationship between the jig 111, the space recognition device 100, and the prism 115 needs to be fixed.

図７は、実施の形態３にかかる空間認識システム１の構成を示すブロック図である。空間認識システム１は、複数の空間認識装置１００（１００ａ，１００ｂ，・・・）と、トータルステーション３００とを含む。このうち少なくとも１つの空間認識装置１００は、図６に示すようにプリズム１１５を連結している必要がある。以下、プリズム１１５を連結した空間認識装置１００を空間認識装置１００ｐｒとよぶ。 FIG. 7 is a block diagram showing the configuration of the space recognition system 1 according to the third embodiment. The space recognition system 1 includes a plurality of space recognition devices 100 (100a, 100b, ...) And a total station 300. Of these, at least one space recognition device 100 needs to be connected to the prism 115 as shown in FIG. Hereinafter, the space recognition device 100 to which the prism 115 is connected is referred to as a space recognition device 100pr.

図８は、実施の形態３にかかる空間認識システム１の機能を示すブロック図である。空間認識装置１００は、実施の形態１と同様の構成要素として、現実空間の３次元形状の認識（マッピング）を行う空間認識部１０１、ＳＬＡＭにより位置及び姿勢の推定（自己位置推定）を行う自己位置推定部１０３、複数の空間認識装置１００の空間データを統合する空間データ統合部１０５、複数の空間認識装置１００で存在位置を共有してロスト発生時のリカバリを行う自己位置共有部１０７を有する。これらに加え、空間認識装置１００ｐｒについては、トータルステーション３００から得られる位置情報に基づいて自己位置をアップデートする自己位置補正部３０９を有しているものとする。トータルステーション３００は、空間認識装置１００ｐｒに連結されたプリズム１１５の位置を測定する測定部３１１を有する。以下、本実施の形態の特徴的な構成要素である測定部３１１及び自己位置補正部３０９の機能を中心に、実施の形態３の空間認識装置１００特有の動作について説明する。 FIG. 8 is a block diagram showing the function of the space recognition system 1 according to the third embodiment. The space recognition device 100 has the same components as those in the first embodiment, the space recognition unit 101 that recognizes (mapping) the three-dimensional shape of the real space, and the self that estimates the position and orientation (self-position estimation) by SLAM. It has a position estimation unit 103, a spatial data integration unit 105 that integrates spatial data of a plurality of spatial recognition devices 100, and a self-position sharing unit 107 that shares an existence position among a plurality of spatial recognition devices 100 and performs recovery when a loss occurs. .. In addition to these, it is assumed that the space recognition device 100pr has a self-position correction unit 309 that updates the self-position based on the position information obtained from the total station 300. The total station 300 has a measuring unit 311 that measures the position of the prism 115 connected to the space recognition device 100pr. Hereinafter, the operation peculiar to the space recognition device 100 of the third embodiment will be described, focusing on the functions of the measurement unit 311 and the self-position correction unit 309, which are characteristic components of the present embodiment.

はじめに、キャリブレーションとして、空間認識装置１００ｐｒが原点位置にあるときのプリズム１１５の位置を、トータルステーション３００の測定部３１１により測定する。このときの測定値をトータルステーション３００側で（０，０，０）と定義することにより、空間認識装置１００ｐｒとトータルステーション３００との座標系を一致させる。 First, as a calibration, the position of the prism 115 when the space recognition device 100pr is at the origin position is measured by the measuring unit 311 of the total station 300. By defining the measured value at this time as (0, 0, 0) on the total station 300 side, the coordinate systems of the space recognition device 100pr and the total station 300 are matched.

以後、トータルステーション３００の測定部３１１は、プリズム１１５の位置を随時測定する。測定部３１１は、測定値を空間認識装置１００ｐｒの自己位置補正部３０９に送信する。測定値は測定部３１１から直接自己位置補正部３０９に送信されても良く、サーバ等を介して送信されても良い。自己位置補正部３０９は、測定部３１１から測定値を受信したならば、自己位置推定部１０３がＳＬＡＭにより算出した自己位置推定値をこの測定値で単に上書きしてしまっても良い。又は、ＳＬＡＭにより算出された自己位置推定値をこの測定値を利用して補正しても良い。例えば、ＳＬＡＭにより算出された自己位置推定値と、測定部３１１から受信した測定値と、の誤差が所定のしきい値を超えた場合に、当該誤差を打ち消す補正を自己位置推定値に対して施すことができる。 After that, the measuring unit 311 of the total station 300 measures the position of the prism 115 at any time. The measurement unit 311 transmits the measured value to the self-position correction unit 309 of the space recognition device 100pr. The measured value may be directly transmitted from the measuring unit 311 to the self-position correction unit 309, or may be transmitted via a server or the like. When the self-position correction unit 309 receives the measured value from the measurement unit 311, the self-position correction unit 103 may simply overwrite the self-position estimation value calculated by the self-position estimation unit 103 by SLAM with this measurement value. Alternatively, the self-position estimated value calculated by SLAM may be corrected by using this measured value. For example, when the error between the self-position estimated value calculated by SLAM and the measured value received from the measuring unit 311 exceeds a predetermined threshold value, a correction for canceling the error is applied to the self-position estimated value. Can be applied.

なお、これまでに説明した空間認識装置１００はすべてワールド座標で自己位置を認識するものであった。これは空間認識装置１００ｐｒや、実施の形態１及び２において説明した空間認識装置１００でも同様である。いずれの空間認識装置１００も、認識した現実世界内に定義した原点からの相対座標によって自己位置を認識している。 All of the space recognition devices 100 described so far recognize their own positions in world coordinates. This also applies to the space recognition device 100pr and the space recognition device 100 described in the first and second embodiments. Each space recognition device 100 recognizes its own position by the relative coordinates from the origin defined in the recognized real world.

しかしながら、空間認識装置１００の空間認識精度等に起因して、空間認識装置１００が認識するワールド座標自体がずれを含んでいることがある。よって、ワールド座標を用いて自己位置を表現するかぎり、自己位置の推定精度には限界が生じる。上述のように、トータルステーションを使用することにより、空間認識装置１００の移動量を比較的正確に測定することはできる。しかし、空間認識装置１００におけるワールド座標系の原点の認識誤差を小さくすることはできない。 However, the world coordinates themselves recognized by the space recognition device 100 may include deviations due to the space recognition accuracy of the space recognition device 100 and the like. Therefore, as long as the self-position is expressed using the world coordinates, there is a limit to the estimation accuracy of the self-position. As described above, by using the total station, the movement amount of the space recognition device 100 can be measured relatively accurately. However, the recognition error of the origin of the world coordinate system in the space recognition device 100 cannot be reduced.

そこで、実施の形態３の変形例として、空間認識装置１００ｐｒは、ローカル座標を用いて自己位置を推定することができる。トータルステーション３００による追尾が可能な間は、空間認識装置１００ｐｒはＳＬＡＭを使用せず、トータルステーション３００から得られた移動量を用いてローカル座標を更新する。トータルステーション３００がプリズム１１５を捕捉できなくなった時点で、空間認識装置１００ｐｒはＳＬＡＭによる自己位置（ローカル座標）推定に切り替える。ここでローカル座標とは、換言すれば空間認識装置１００ｐｒが現実空間に投影する図面等の座標系における自己位置である。ローカル座標を用いることにより、ワールド座標系原点の認識精度に依存することなく、誤差の少ない空間認識装置１００の移動量に基づいて、高精度に自己位置を推定することができる。 Therefore, as a modification of the third embodiment, the space recognition device 100pr can estimate its own position using local coordinates. While tracking by the total station 300 is possible, the space recognition device 100pr does not use SLAM and updates the local coordinates using the movement amount obtained from the total station 300. When the total station 300 cannot capture the prism 115, the space recognition device 100pr switches to self-position (local coordinate) estimation by SLAM. Here, the local coordinates are, in other words, self-positions in a coordinate system such as a drawing projected by the space recognition device 100pr on the real space. By using the local coordinates, the self-position can be estimated with high accuracy based on the movement amount of the space recognition device 100 with little error without depending on the recognition accuracy of the origin of the world coordinate system.

他の空間認識装置１００と自己位置を共有する際は、ローカル座標系原点とワールド座標系原点との既知のオフセットに基づいて、ローカル座標をワールド座標に変換してから共有すれば良い。 When sharing the self-position with another space recognition device 100, the local coordinates may be converted into world coordinates based on the known offset between the origin of the local coordinate system and the origin of the world coordinate system, and then shared.

なお、自己位置補正部３０９は、空間認識装置１００ｐｒとプリズム１１５とのオフセットを考慮して、測定部３１１から受信した測定値に補正を加えても良い。空間認識装置１００ｐｒとプリズム１１５との相対的な位置関係がキャリブレーション時点と常に同じであれば補正の必要はないが、例えば頭部を傾けると、つまりキャリブレーション時と空間認識装置１００ｐｒの姿勢が異なると、測定部３１１による測定値が実際の空間認識装置１００ｐｒの位置と相違してしまう（図９参照）。自己位置補正部３０９は、ジャイロが検出する空間認識装置１００ｐｒの傾きθを利用することで、この誤差を補正できる。 The self-position correction unit 309 may correct the measured value received from the measurement unit 311 in consideration of the offset between the space recognition device 100pr and the prism 115. If the relative positional relationship between the space recognition device 100pr and the prism 115 is always the same as at the time of calibration, correction is not necessary, but for example, when the head is tilted, that is, the posture of the space recognition device 100pr is different from that at the time of calibration. If they are different, the value measured by the measuring unit 311 will be different from the actual position of the space recognition device 100pr (see FIG. 9). The self-position correction unit 309 can correct this error by using the inclination θ of the space recognition device 100pr detected by the gyro.

さらに、本実施の形態の変形例として、ヘルメット１１３に治具１１１を介して固定されているプリズム１１５に、例えばジンバルのような、座標軸に対するプリズム１１５の傾きを略一定に保つような機構を備える構造体を取り付けても良い。本実施の形態の変形例では、ジンバルを採用することにする。ジンバルとは、ジンバル軸と呼ばれる幾つかの回転軸がベアリングを介して直角に交わるように結合されている回転台であり、外部からのあらゆる回転の影響を受けずに、中心軸を一定の方向に保つことができる。 Further, as a modification of the present embodiment, the prism 115 fixed to the helmet 113 via a jig 111 is provided with a mechanism such as a gimbal that keeps the inclination of the prism 115 with respect to the coordinate axes substantially constant. A structure may be attached. In the modified example of this embodiment, a gimbal will be adopted. A gimbal is a turntable in which several rotating shafts called gimbal shafts are connected so as to intersect at right angles via bearings, and the central axis is oriented in a certain direction without being affected by any external rotation. Can be kept in.

図６のようにヘルメット１１３にプリズム１１５を固定すると、頭部の傾きが大きくなるとプリズム１１５がトータルステーション３００から発せられる光波をうまく反射できず、ロストが発生しやすくなる場合がある。一方、ジンバル等の構造体を備えた場合には、頭部を傾いた場合でもプリズム１１５の座標軸に対する傾きは略一定であるので、トータルステーション３００から発せられる光波を反射できる確率が飛躍的に向上する。 When the prism 115 is fixed to the helmet 113 as shown in FIG. 6, when the inclination of the head becomes large, the prism 115 cannot reflect the light wave emitted from the total station 300 well, and lost may easily occur. On the other hand, when a structure such as a gimbal is provided, the inclination of the prism 115 with respect to the coordinate axes is substantially constant even when the head is tilted, so that the probability of reflecting the light wave emitted from the total station 300 is dramatically improved. ..

本実施の形態によれば、自己位置補正部３０９が、ＳＬＡＭにより算出された自己位置推定値を、トータルステーション３００による測定値により常に（又は所定の条件下で）補正するので、空間認識装置１００ｐｒは常に高い精度で自己位置を認識することができる。そして、この空間認識装置１００ｐｒを空間認識システム１に参加させ、他の空間認識装置１００と空間データを統合させることで、システム全体の自己位置推定精度を向上させることが可能となる。 According to the present embodiment, the self-position correction unit 309 always corrects the self-position estimated value calculated by SLAM by the value measured by the total station 300 (or under predetermined conditions), so that the space recognition device 100pr is The self-position can always be recognized with high accuracy. Then, by participating the space recognition device 100pr in the space recognition system 1 and integrating the space data with the other space recognition device 100, it is possible to improve the self-position estimation accuracy of the entire system.

さらに、空間認識装置１００ｐｒとプリズム１１５とのオフセットを考慮することや、プリズム１１５の座標軸に対する傾斜角を抑制する構造を導入することなどにより、自己位置推定精度をいっそう向上させることが可能となる。 Further, by considering the offset between the space recognition device 100pr and the prism 115 and introducing a structure that suppresses the inclination angle of the prism 115 with respect to the coordinate axes, it is possible to further improve the self-position estimation accuracy.

＜実施の形態４＞
実施の形態３では、トータルステーション３００を導入し、複数の空間認識装置１００のうち１つを追尾して正確な位置を把握することにより、システム全体の自己位置推定精度を維持及び向上させた。しかしながら、トータルステーション３００が光波を空間認識装置１００ｐｒ上のプリズム１１５に向けて発射して測距する際に、障害物や障害となる諸条件によって、プリズム１１５を追尾できなくなり、空間認識装置１００の位置を測定が不能となるケースがある。例えば、構造物の柱、建設現場の重機、金網等の障害物、太陽光の角度等の気象条件によって、トータルステーション３００がプリズム１１５を捕捉できなくなってしまうのである。 <Embodiment 4>
In the third embodiment, the total station 300 is introduced, and one of the plurality of space recognition devices 100 is tracked to grasp the accurate position, thereby maintaining and improving the self-position estimation accuracy of the entire system. However, when the total station 300 emits a light wave toward the prism 115 on the space recognition device 100pr to measure the distance, the prism 115 cannot be tracked due to obstacles or various obstacles, and the position of the space recognition device 100 In some cases, it becomes impossible to measure. For example, the total station 300 cannot capture the prism 115 due to weather conditions such as pillars of a structure, heavy machinery at a construction site, obstacles such as wire mesh, and the angle of sunlight.

そこで、実施の形態４では、トータルステーション３００（３００ａ，３００ｂ，・・・）を複数台導入し、１つのトータルステーション３００ａが空間認識装置１００ｐｒを捕捉できなくなった場合に、別の場所に設置されているもう１つのトータルステーション３００ｂが、空間認識装置１００ｐｒを引き続き追尾して正確な位置を把握することにより、システム全体の自己位置推定精度を維持及び向上させる。 Therefore, in the fourth embodiment, a plurality of total stations 300 (300a, 300b, ...) Are introduced, and when one total station 300a cannot capture the space recognition device 100pr, it is installed in another place. Another total station 300b maintains and improves the self-position estimation accuracy of the entire system by continuously tracking the space recognition device 100pr and grasping the accurate position.

図１０は、実施の形態４にかかる空間認識システム１の構成を示すブロック図である。空間認識システム１は、複数の空間認識装置１００（１００ａ，１００ｂ，・・・）と、サーバ２００と、複数のトータルステーション３００（３００ａ，３００ｂ，・・・）と、を含む。このうち少なくとも１つの空間認識装置１００は、図６に示すようにプリズム１１５を連結している必要がある。サーバ２００は、少なくともプロセッサとメモリとを含み、プロセッサがメモリに格納されたプログラムを実行することにより所定の機能を実現する。サーバ２００は、例えばトータルステーション３００及び空間認識装置１００との通信機能を有するスマートフォン等であって良い。 FIG. 10 is a block diagram showing the configuration of the space recognition system 1 according to the fourth embodiment. The space recognition system 1 includes a plurality of space recognition devices 100 (100a, 100b, ...), A server 200, and a plurality of total stations 300 (300a, 300b, ...). Of these, at least one space recognition device 100 needs to be connected to the prism 115 as shown in FIG. The server 200 includes at least a processor and a memory, and the processor realizes a predetermined function by executing a program stored in the memory. The server 200 may be, for example, a smartphone or the like having a communication function with the total station 300 and the space recognition device 100.

図１１は、実施の形態４にかかる空間認識システム１の機能構成を示すブロック図である。トータルステーション３００ａ及びトータルステーション３００ｂは、空間認識装置１００ｐｒに連結されたプリズム１１５の位置を測定する測定部３１１ａ及び測定部３１１ｂをそれぞれ有する。空間認識装置１００の機能構成は、実施の形態３と略同様である。以下、トータルステーション３００ａ、トータルステーション３００ｂ、及び空間認識装置１００の動作について、実施の形態３との相違点を中心に説明する。なお、実施の形態３と共通する部分については適宜説明を省略する。 FIG. 11 is a block diagram showing a functional configuration of the space recognition system 1 according to the fourth embodiment. The total station 300a and the total station 300b each have a measuring unit 311a and a measuring unit 311b for measuring the position of the prism 115 connected to the space recognition device 100pr. The functional configuration of the space recognition device 100 is substantially the same as that of the third embodiment. Hereinafter, the operations of the total station 300a, the total station 300b, and the space recognition device 100 will be described focusing on the differences from the third embodiment. The parts common to the third embodiment will be omitted as appropriate.

トータルステーション３００ａ及びトータルステーション３００ｂは、空間認識装置１００ｐｒが原点位置にあるときのプリズム１１５の位置を、トータルステーション３００ａ及びトータルステーション３００ｂの測定部３１１ａ及び測定部３１１ｂにより測定し、キャリブレーションを行う。以後、トータルステーション３００ａ及びトータルステーション３００ｂの測定部３１１ａ及び測定部３１１ｂは、プリズム１１５の位置を随時測定し、測定部３１１ａ及び測定部３１１ｂは、測定値を空間認識装置１００ｐｒの自己位置補正部３０９に送信する。
測定値はサーバ２００を介して送信されても良い。この場合、サーバ２００は、まずＢｌｕｅｔｏｏｔｈ（登録商標）などの通信手段を用いて、測定部３１１ａ及び測定部３１１ｂからそれぞれ測定値を受信する。サーバ２００は、受信した測定値を統合し、空間認識装置１００ｐｒの自己位置補正部３０９に送信することができる。測定部３１１ａから受信した測定値が（ｘ１，ｙ１，ｚ１）、測定部３１１ｂから受信した測定値が（ｘ２，ｙ２，ｚ２）であったなら、サーバ２００はこれらを統合した「ａ：ｘ１ｙ１ｚ１／ｂ：ｘ２ｙ２ｚ２」なるデータを作成し、空間認識装置１００ｐｒの自己位置補正部３０９に送信する。
空間認識装置１００ｐｒの自己位置補正部３０９は、受信した測定値に基づいて、実施の形態３と同様の手法で自己位置を補正する。但し、本実施の形態では、実施の形態３とは異なり複数の測定値を受信するので、自己位置補正部３０９は、例えば複数の測定値の平均値や、自機に最も近いトータルステーション３００から受信した測定値などを、自己位置補正用の測定値として採用する。 The total station 300a and the total station 300b measure the position of the prism 115 when the space recognition device 100pr is at the origin position by the measuring unit 311a and the measuring unit 311b of the total station 300a and the total station 300b, and perform calibration. After that, the measuring unit 311a and the measuring unit 311b of the total station 300a and the total station 300b measure the position of the prism 115 at any time, and the measuring unit 311a and the measuring unit 311b transmit the measured value to the self-position correction unit 309 of the space recognition device 100pr. To do.
The measured value may be transmitted via the server 200. In this case, the server 200 first receives the measured values from the measuring unit 311a and the measuring unit 311b by using a communication means such as Bluetooth (registered trademark). The server 200 can integrate the received measured values and transmit them to the self-position correction unit 309 of the space recognition device 100pr. If the measured value received from the measuring unit 311a is (x1, y1, z1) and the measured value received from the measuring unit 311b is (x2, y2, z2), the server 200 integrates these "a: x1y1z1 /". b: x2y2z2 ”is created and transmitted to the self-position correction unit 309 of the space recognition device 100pr.
The self-position correction unit 309 of the space recognition device 100pr corrects the self-position based on the received measured value by the same method as in the third embodiment. However, in the present embodiment, unlike the third embodiment, a plurality of measured values are received, so that the self-position correction unit 309 receives, for example, the average value of the plurality of measured values or the total station 300 closest to the own machine. The measured value, etc., is adopted as the measured value for self-position correction.

例えば、大型重機や建築資材、建設途上の構造物の柱などの障害物が数多く存在する建設現場においては、プリズム１１５がトータルステーション３００ａの死角に入ってしまい、トータルステーション３００ａは空間認識装置１００ｐｒを捕捉できなくなってしまうことがある。また、一般的なトータルステーションの測距範囲は、ミニプリズムや１素子プリズムなどの典型的なプリズムを用いた場合、最大値として２０００ｍから４０００ｍ程度が限界である。例えば、橋梁、道路、トンネル等の大型インフラ構造物の施工や維持管理などにおいて、測距限界を超える距離にあるプリズム１１５を追尾したい場合に、１つのトータルステーション３００ａによる測距では限界がある。このような場合には、空間認識装置１００ｐｒはトータルステーション３００ａから得られた測定値を用いて自己位置を補正することができなくなる。 For example, at a construction site where there are many obstacles such as large heavy machinery, building materials, and pillars of a structure under construction, the prism 115 enters the blind spot of the total station 300a, and the total station 300a can capture the space recognition device 100pr. It may disappear. Further, the range measuring range of a general total station is limited to about 2000 m to 4000 m as a maximum value when a typical prism such as a mini prism or a one-element prism is used. For example, in the construction and maintenance of large infrastructure structures such as bridges, roads, and tunnels, when it is desired to track the prism 115 at a distance exceeding the distance measurement limit, there is a limit to the distance measurement by one total station 300a. In such a case, the space recognition device 100pr cannot correct the self-position using the measured value obtained from the total station 300a.

このような場合、空間認識装置１００ｐｒの自己位置補正部３０９は、２つめのトータルステーション３００ｂの測定部３１１ｂから受信した測定値に基づいて自己位置を補正する。例えば、サーバ２００は、トータルステーション３００ａの測定部３１１ａからの測定値が得られなかった場合、「ａ：−−−／ｂ：ｘ２ｙ２ｚ２」などの、測定部３１１ａの測定値が欠落したデータを空間認識装置１００ｐｒの自己位置補正部３０９に送信する。この場合、空間認識装置１００ｐｒの自己位置補正部３０９は、正常に受信できた測定値、すなわち測定部３１１ｂから受信した測定値に基づいて自己位置を補正する。 In such a case, the self-position correction unit 309 of the space recognition device 100pr corrects the self-position based on the measured value received from the measurement unit 311b of the second total station 300b. For example, when the measured value from the measuring unit 311a of the total station 300a cannot be obtained, the server 200 spatially recognizes the data in which the measured value of the measuring unit 311a is missing, such as "a: --- / b: x2y2z2". It is transmitted to the self-position correction unit 309 of the device 100pr. In this case, the self-position correction unit 309 of the space recognition device 100pr corrects the self-position based on the measured value that can be normally received, that is, the measured value received from the measurement unit 311b.

このように、本実施の形態では複数のトータルステーション３００を導入し、１つのトータルステーション３００ａでは光波が届かない場所でも、別の適切な位置に設置されている２つめのトータルステーション３００ｂによって、プリズム１１５を追尾する。換言すれば、トータルステーション３００ａ及びトータルステーション３００ｂは、光波照射範囲及び測距距離の関係において相補的な場所に設置されており、トータルステーション３００ａが空間認識装置１００ｐｒを捕捉できない場合でも、トータルステーション３００ｂが空間認識装置１００ｐｒを捕捉し続けることができる。あるいは反対に、トータルステーション３００ｂが空間認識装置１００ｐｒを捕捉できない場合でも、トータルステーション３００ａが空間認識装置１００ｐｒを捕捉し続けることができる。 As described above, in the present embodiment, a plurality of total stations 300 are introduced, and the prism 115 is tracked by the second total station 300b installed at another appropriate position even in a place where the light wave does not reach with one total station 300a. To do. In other words, the total station 300a and the total station 300b are installed at complementary locations in terms of the light wave irradiation range and the distance measurement distance, and even if the total station 300a cannot capture the space recognition device 100pr, the total station 300b is a space recognition device. You can continue to capture 100 pr. Or conversely, even if the total station 300b cannot capture the space recognition device 100pr, the total station 300a can continue to capture the space recognition device 100pr.

なお、本実施の形態の変形例として、トータルステーション３００を３つ以上導入しても良い。これにより、より広範囲な空間あるいは障害物が多数存在するような複雑な空間においても、空間認識装置１００が高精度の自己位置推定を実施できる。 As a modification of this embodiment, three or more total stations 300 may be introduced. As a result, the space recognition device 100 can perform highly accurate self-position estimation even in a wider space or a complicated space where many obstacles exist.

本実施の形態によれば、複数のトータルステーション（３００ａ，３００ｂ，・・・）を導入し、各々を相補的に配置することによって、１つのトータルステーションではカバーできないような広範囲及び遠距離においても、空間認識装置１００ｐｒを追尾することができる。これにより、ロストの確率を低減させ、システム全体の自己位置推定精度を維持及び向上させることが可能である。 According to this embodiment, by introducing a plurality of total stations (300a, 300b, ...) And arranging them in a complementary manner, a space can be created even in a wide range and a long distance that cannot be covered by one total station. The recognition device 100pr can be tracked. This makes it possible to reduce the probability of loss and maintain and improve the self-position estimation accuracy of the entire system.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態において示した各種処理手段のソフトウェア又はハードウェアによる実装方法はあくまで一例であり、他の手法で代替されても良い。例えば、実施の形態では同一の筐体内に実装することとした複数の処理手段を、複数の異なるハードウェアとして提供することができる。又は、実施の形態では異なるハードウェアに実装することとした複数の処理手段を、１つのハードウェアに実装することができる。また、任意の処理手段又は処理手段のうち一部の機能をクラウドコンピューティング、エッジコンピューティング、フォグコンピューティング等の技術により実現することとしても良い。 The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. For example, the method of implementing the various processing means shown in the above-described embodiment by software or hardware is merely an example, and may be replaced by another method. For example, in the embodiment, it is possible to provide a plurality of processing means to be mounted in the same housing as a plurality of different hardware. Alternatively, a plurality of processing means that are to be implemented in different hardware in the embodiment can be implemented in one hardware. Further, some functions of any processing means or processing means may be realized by technologies such as cloud computing, edge computing, and fog computing.

また、上述の実施の形態１乃至４に示した手法は、本発明の主旨を損なわない限り、任意に組み合わせて実施しうる。 In addition, the methods shown in the above-described embodiments 1 to 4 can be carried out in any combination as long as the gist of the present invention is not impaired.

また本発明を構成する各処理手段は、ハードウェアにより構成されるものであってもよく、任意の処理をＣＰＵにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。 Further, each processing means constituting the present invention may be configured by hardware, or may be realized by causing a CPU to execute a computer program for arbitrary processing. Computer programs can also be stored and supplied to a computer using various types of temporary or non-transitory computer-readable media. Temporary computer-readable media include electromagnetic signals supplied to the computer, for example by wire or wirelessly.

１空間認識システム
１００（１００ａ，１００ｂ，１００ｐｒ）空間認識装置
１０１空間認識部
１０３自己位置推定部
１０５空間データ統合部
１０７自己位置共有部
１１１治具
１１３ヘルメット
１１５プリズム
２００サーバ
２０１空間認識部
２０３自己位置推定部
２０５空間データ統合部
２０７自己位置共有部
３００（３００ａ，３００ｂ，・・・）トータルステーション
３０９自己位置補正部
３１１測定部 1 Space recognition system 100 (100a, 100b, 100pr) Space recognition device 101 Space recognition unit 103 Self-position estimation unit 105 Spatial data integration unit 107 Self-position sharing unit 111 Jig 113 Helmet 115 Prism 200 Server 201 Space recognition unit 203 Self-position Estimating unit 205 Spatial data integration unit 207 Self-position sharing unit 300 (300a, 300b, ...) Total station 309 Self-position correction unit 311 Measuring unit

本発明の一形態は、現実空間を認識する空間認識装置であって、前記現実空間の３次元形状を認識して空間データを生成する空間認識部と、前記空間データに基づいて、前記現実空間における自己位置を推定する自己位置推定部と、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正部と、前記空間データと、他の空間認識装置が生成した前記空間データと、を統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記自己位置を、前記他の空間認識装置に送信する自己位置共有部と、を有する空間認識装置である。
本発明の一形態は、第１の空間認識装置と、第２の空間認識装置と、を有し、前記第１の空間認識装置は、現実空間の３次元形状を認識して第１の空間データを生成する第１の空間認識部と、前記第１の空間データに基づいて、前記現実空間における第１の自己位置を推定する第１の自己位置推定部と、前記第１の空間データを前記第２の空間認識装置に送信する第１の空間データ統合部と、前記第１の自己位置を前記第２の空間認識装置に送信する第１の自己位置共有部と、を有し、前記第２の空間認識装置は、前記現実空間の３次元形状を認識して第２の空間データを生成する第２の空間認識部と、前記第２の空間データに基づいて、前記現実空間における第２の自己位置を推定する第２の自己位置推定部と、前記第１の空間データと前記第２の空間データとを統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する第２の空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記第２の自己位置を前記第１の空間認識装置に送信する第２の自己位置共有部と、を有し、前記第１の空間認識装置又は前記第２の空間認識装置は自己位置補正部をさらに有し、前記自己位置補正部は、複数のトータルステーションにより測定された前記第１の空間認識装置又は前記第２の空間認識装置の位置情報に基づいて、前記第１の自己位置推定部又は前記第２の自己位置推定部が推定した前記第１の自己位置又は前記第２の自己位置を補正する空間認識システムである。本発明の一形態は、複数の空間認識装置と、サーバと、を有し、前記空間認識装置は、現実空間の３次元形状を認識して空間データを生成する空間認識部と、前記空間データに基づいて、前記現実空間における自己位置を推定する自己位置推定部と、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正部と、を有し、前記サーバは、複数の前記空間認識装置が生成した前記空間データを統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記空間認識装置の前記自己位置を受信する自己位置共有部と、を有する空間認識システムである。
本発明の一形態は、空間認識装置が、現実空間の３次元形状を認識して空間データを生成する空間認識ステップと、前記現実空間における自己位置を推定する自己位置推定ステップと、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正ステップと、前記空間データと、他の空間認識装置が生成した前記空間データとを統合した統合空間データを生成する空間データ統合ステップと、前記統合空間データに基づいて表現された前記自己位置を、前記他の空間認識装置に送信する自己位置共有ステップと、有する空間認識方法である。
本発明の一形態は、上記方法をコンピュータに実行させるためのプログラムである。 One embodiment of the present invention is a space recognition device that recognizes a real space, a space recognition unit that recognizes a three-dimensional shape of the real space and generates space data, and the real space based on the space data. A self-position estimation unit that estimates the self-position in the space, a self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations, the space data, and another space. A spatial data integration unit that integrates the spatial data generated by the recognition device and generates integrated spatial data expressed in the same coordinate system having the same origin, and the estimation based on the integrated spatial data. It is a space recognition device having a self-position sharing unit that transmits the self-position in the real space to the other space recognition device.
One embodiment of the present invention includes a first space recognition device and a second space recognition device, and the first space recognition device recognizes a three-dimensional shape of a real space and is a first space. A first spatial recognition unit that generates data, a first self-position estimation unit that estimates a first self-position in the real space based on the first spatial data, and the first spatial data. It has a first spatial data integration unit that transmits to the second space recognition device, and a first self-position sharing unit that transmits the first self-position to the second space recognition device. The second space recognition device is a second space recognition unit that recognizes the three-dimensional shape of the real space and generates a second space data, and a second space recognition device in the real space based on the second space data. Integrated spatial data expressed in the same coordinate system having the same origin by integrating the second self-position estimation unit that estimates the self-position of 2 and the first spatial data and the second spatial data. And a second self-position sharing unit that transmits the second self-position in the real space estimated based on the integrated space data to the first space recognition device. The first space recognition device or the second space recognition device further has a self-position correction unit, and the self-position correction unit is the first space measured by a plurality of total stations. The first self-position or the second self-position estimated by the first self-position estimation unit or the second self-position estimation unit based on the position information of the recognition device or the second space recognition device. It is a space recognition system that corrects. One embodiment of the present invention includes a plurality of space recognition devices and a server, and the space recognition device includes a space recognition unit that recognizes a three-dimensional shape of a real space and generates space data, and the space data. A self-position estimation unit that estimates the self-position in the real space based on the above, and a self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations. The server integrates the spatial data generated by the plurality of the spatial recognition devices with the spatial data integration unit that generates the integrated spatial data represented by the same coordinate system having the same origin and the integration. It is a space recognition system having a self-position sharing unit that receives the self-position of the space recognition device in the real space estimated based on spatial data.
One embodiment of the present invention includes a space recognition step in which a space recognition device recognizes a three-dimensional shape of a real space and generates spatial data, a self-position estimation step for estimating a self-position in the real space, and a plurality of total stations. Integrated spatial data in which the self-position correction step for correcting the self-position based on the position information of the spatial recognition device measured by the above, the spatial data, and the spatial data generated by another spatial recognition device are integrated. This is a spatial recognition method having a spatial data integration step for generating the above, a self-position sharing step for transmitting the self-position expressed based on the integrated spatial data to the other spatial recognition device, and a spatial recognition method.
One embodiment of the present invention is a program for causing a computer to execute the above method.

Claims

A space recognition device that recognizes the real space
A space recognition unit that recognizes the three-dimensional shape of the real space and generates spatial data,
A self-position estimation unit that estimates a self-position in the real space based on the spatial data,
A self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations, and a self-position correction unit.
A spatial data integration unit that integrates the spatial data and the spatial data generated by another spatial recognition device to generate integrated spatial data expressed in the same coordinate system having the same origin.
A space recognition device having a self-position sharing unit that transmits the self-position in the real space estimated based on the integrated space data to the other space recognition device.

It has a first space recognition device and a second space recognition device.
The first space recognition device is
A first space recognition unit that recognizes the three-dimensional shape of the real space and generates the first space data,
A first self-position estimation unit that estimates a first self-position in the real space based on the first spatial data, and a first self-position estimation unit.
A first spatial data integration unit that transmits the first spatial data to the second spatial recognition device, and
It has a first self-position sharing unit that transmits the first self-position to the second space recognition device, and has.
The second space recognition device is
A second space recognition unit that recognizes the three-dimensional shape of the real space and generates second space data,
A second self-position estimation unit that estimates the second self-position in the real space based on the second spatial data,
A second spatial data integration unit that integrates the first spatial data and the second spatial data to generate integrated spatial data represented by the same coordinate system having the same origin.
It has a second self-position sharing unit that transmits the second self-position in the real space estimated based on the integrated space data to the first space recognition device.
The first space recognition device or the second space recognition device further includes a self-position correction unit.
The self-position correction unit is the first self-position estimation unit or the second self based on the position information of the first space recognition device or the second space recognition device measured by a plurality of total stations. A space recognition system that corrects the first self-position or the second self-position estimated by the position estimation unit.

It has a plurality of space recognition devices and a server,
The space recognition device is
A space recognition unit that recognizes the three-dimensional shape of the real space and generates spatial data,
A self-position estimation unit that estimates a self-position in the real space based on the spatial data,
It has a self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations.
The server
A spatial data integration unit that integrates the spatial data generated by the plurality of spatial recognition devices and generates integrated spatial data represented by the same coordinate system having the same origin.
A space recognition system including a self-position sharing unit that transmits the self-position of the space recognition device in the real space estimated based on the integrated space data to another space recognition device.

The space recognition device
A space recognition step that recognizes the three-dimensional shape of the real space and generates spatial data,
The self-position estimation step for estimating the self-position in the real space and
A self-position correction step for correcting the self-position based on the position information of the space recognition device measured by a plurality of total stations, and a self-position correction step.
A spatial data integration step that generates integrated spatial data that integrates the spatial data and the spatial data generated by another spatial recognition device.
A self-position sharing step of transmitting the self-position expressed based on the integrated spatial data to the other space recognition device, and
Spatial recognition method with.

A program for causing a computer to execute the method according to claim 4.