JP2021085739A - Space recognition system, space recognition device, space recognition method, and program - Google Patents

Space recognition system, space recognition device, space recognition method, and program Download PDF

Info

Publication number
JP2021085739A
JP2021085739A JP2019214301A JP2019214301A JP2021085739A JP 2021085739 A JP2021085739 A JP 2021085739A JP 2019214301 A JP2019214301 A JP 2019214301A JP 2019214301 A JP2019214301 A JP 2019214301A JP 2021085739 A JP2021085739 A JP 2021085739A
Authority
JP
Japan
Prior art keywords
self
space
recognition device
space recognition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019214301A
Other languages
Japanese (ja)
Other versions
JP6733927B1 (en
Inventor
幸治 金野
Koji Konno
幸治 金野
啓太郎 平野
Keitaro Hirano
啓太郎 平野
幸男 平原
Yukio Hirahara
幸男 平原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHIYODA SOKKI Corp
Informatix Inc
Original Assignee
CHIYODA SOKKI Corp
Informatix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHIYODA SOKKI Corp, Informatix Inc filed Critical CHIYODA SOKKI Corp
Priority to JP2019214301A priority Critical patent/JP6733927B1/en
Application granted granted Critical
Publication of JP6733927B1 publication Critical patent/JP6733927B1/en
Publication of JP2021085739A publication Critical patent/JP2021085739A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

To provide a space recognition system, a space recognition device, a space recognition method and a program with which it is possible to improve the accuracy and stability of estimating a self-position.SOLUTION: In a space recognition system 1, a space recognition device 100 comprises: a space recognition unit 101 for recognizing the three-dimensional shape of a real space and generating space data; a self-position estimation unit 103 for estimating a self-position in the real space; a self-position correction unit 309 for correcting the self-position on the basis of the positional information of the space recognition device 100 measured by a plurality of total stations; a space data integration unit 105 for generating integrated space data in which the space data and the space data generated by other space recognition devices are integrated; and a self-position sharing unit 107 for transmitting the self-position expressed on the basis of the integrated space data to the other space recognition devices.SELECTED DRAWING: Figure 8

Description

本発明は空間認識システム、空間認識装置、空間認識方法及びプログラムに関し、特に位置推定精度を向上させる技術に関する。 The present invention relates to a space recognition system, a space recognition device, a space recognition method and a program, and particularly to a technique for improving position estimation accuracy.

現実空間に存在する壁や障害物などを認識することにより特有の機能を発現する装置(以下、空間認識装置)が産業界で広く利用されるようになっている。例えば、トンネル、橋梁及びビル等の構造物の施工及び検査業務等においては、カメラやデプスセンサにより現実空間を認識する機能を有するHMD(Head Mounted Display)を装着した作業者が、透過型ディスプレイを介して壁や床等に映し出される図面等のオブジェクトを視認しながら、現実空間内を自在に動き回って作業を行っている例がある。(特許文献1参照) Devices that express unique functions by recognizing walls and obstacles that exist in the real space (hereinafter referred to as space recognition devices) are widely used in the industrial world. For example, in the construction and inspection work of structures such as tunnels, bridges and buildings, a worker wearing an HMD (Head Mounted Display) having a function of recognizing a real space with a camera or a depth sensor uses a transmissive display. There is an example of working by freely moving around in a real space while visually recognizing an object such as a drawing projected on a wall or floor. (See Patent Document 1)

このような空間認識装置は、現実空間内における自己の位置を正しく認識することにより、図面をはじめとする様々なオブジェクトを正しい位置に投影するなどの機能を発現することが可能となる。従来の空間認識装置は、GPS(Global Positioning System)などの衛星測位システム(GNSS:Global Navigation Satellite System)の利用や、現実空間内に置かれたマーカーの位置を基準とすることなどにより、自己の位置を推定していた。 By correctly recognizing one's own position in the real space, such a space recognition device can exhibit functions such as projecting various objects such as drawings at the correct position. The conventional space recognition device uses a satellite positioning system (GNSS: Global Positioning System) such as GPS (Global Positioning System), or uses the position of a marker placed in the real space as a reference to obtain its own space recognition device. The position was estimated.

また、特許文献2には、作業者のヘルメットに固定されたプリズムをトータルステーションが追尾することで作業者の視点位置を特定し、視点位置に応じた仮想映像を作業者のゴーグルに表示するシステムが開示されている。 Further, in Patent Document 2, a system is provided in which a total station tracks a prism fixed to a worker's helmet to identify the worker's viewpoint position and displays a virtual image according to the viewpoint position on the worker's goggles. It is disclosed.

特許第6438995号Patent No. 6438995 特開2000−155855号公報JP-A-2000-155855

しかしながら、衛星測位システム等を利用する方式は、建物やトンネル内のような測位信号が遮断される場所では利用が困難であるという問題がある。また、マーカーを基準とする方式では、空間認識装置がマーカーから離れていくほど、現在位置の推定誤差が大きくなってしまうという問題がある。特許文献2のようにトータルステーションを基準とする方式は、マーカーを基準とする方式よりも誤差を比較的抑えやすいが、空間認識装置がトータルステーションの視界から外れてしまうと位置を認識できなくなるという問題がある。 However, a method using a satellite positioning system or the like has a problem that it is difficult to use it in a place where a positioning signal is blocked, such as in a building or a tunnel. Further, in the method using the marker as a reference, there is a problem that the estimation error of the current position increases as the space recognition device moves away from the marker. The method based on the total station as in Patent Document 2 is relatively easier to suppress the error than the method based on the marker, but there is a problem that the position cannot be recognized when the space recognition device is out of the field of view of the total station. is there.

また、従来の空間認識装置は、自己位置の推定に失敗し、いわゆるロストが発生したときに、例えば現実空間上へのコンテンツ投影といった自己位置が不可欠な処理に容易に支障をきたしてしまうという問題を有していた。 Further, the conventional space recognition device fails to estimate the self-position, and when a so-called lost occurs, the self-position easily interferes with the processing in which the self-position is indispensable, for example, the content projection on the real space. Had.

本発明はこのような問題点を解決するためになされたものであり、自己位置の推定精度や安定性を向上させることが可能な空間認識システム、空間認識装置、空間認識方法及びプログラムを提供することを目的とする。 The present invention has been made to solve such a problem, and provides a space recognition system, a space recognition device, a space recognition method, and a program capable of improving the estimation accuracy and stability of the self-position. The purpose is.

本発明の一形態は、現実空間を認識する空間認識装置であって、前記現実空間の3次元形状を認識して空間データを生成する空間認識部と、前記空間データに基づいて、前記現実空間における自己位置を推定する自己位置推定部と、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正部と、前記空間データと、他の空間認識装置が生成した前記空間データと、を統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記自己位置を、前記他の空間認識装置に送信する自己位置共有部と、を有する空間認識装置である。
本発明の一形態は、第1の空間認識装置と、第2の空間認識装置と、を有し、前記第1の空間認識装置は、現実空間の3次元形状を認識して第1の空間データを生成する第1の空間認識部と、前記第1の空間データに基づいて、前記現実空間における第1の自己位置を推定する第1の自己位置推定部と、前記第1の空間データを前記第2の空間認識装置に送信する第1の空間データ統合部と、前記第1の自己位置を前記第2の空間認識装置に送信する第1の自己位置共有部と、を有し、前記第2の空間認識装置は、前記現実空間の3次元形状を認識して第2の空間データを生成する第2の空間認識部と、前記第2の空間データに基づいて、前記現実空間における第2の自己位置を推定する第2の自己位置推定部と、前記第1の空間データと前記第2の空間データとを統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する第2の空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記第2の自己位置を前記第1の空間認識装置に送信する第2の自己位置共有部と、を有し、前記第1の空間認識装置又は前記第2の空間認識装置は自己位置補正部をさらに有し、前記自己位置補正部は、複数のトータルステーションにより測定された前記第1の空間認識装置又は前記第2の空間認識装置の位置情報に基づいて、前記第1の自己位置推定部又は前記第2の自己位置推定部が推定した前記第1の自己位置又は前記第2の自己位置を補正する空間認識システムである。
本発明の一形態は、複数の空間認識装置と、サーバと、を有し、前記空間認識装置は、現実空間の3次元形状を認識して空間データを生成する空間認識部と、前記空間データに基づいて、前記現実空間における自己位置を推定する自己位置推定部と、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正部と、を有し、前記サーバは、複数の前記空間認識装置が生成した前記空間データを統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記空間認識装置の前記自己位置を、他の空間認識装置に送信する自己位置共有部と、を有する空間認識システムである。
本発明の一形態は、空間認識装置が、現実空間の3次元形状を認識して空間データを生成する空間認識ステップと、前記現実空間における自己位置を推定する自己位置推定ステップと、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正ステップと、前記空間データと、他の空間認識装置が生成した前記空間データとを統合した統合空間データを生成する空間データ統合ステップと、前記統合空間データに基づいて表現された前記自己位置を、前記他の空間認識装置に送信する自己位置共有ステップと、有する空間認識方法である。
本発明の一形態は、上記方法をコンピュータに実行させるためのプログラムである。
One embodiment of the present invention is a space recognition device that recognizes a real space, a space recognition unit that recognizes a three-dimensional shape of the real space and generates space data, and the real space based on the space data. A self-position estimation unit that estimates the self-position in the space, a self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations, the space data, and another space. A spatial data integration unit that integrates the spatial data generated by the recognition device and generates integrated spatial data expressed in the same coordinate system having the same origin, and the estimation based on the integrated spatial data. It is a space recognition device having a self-position sharing unit that transmits the self-position in the real space to the other space recognition device.
One embodiment of the present invention includes a first space recognition device and a second space recognition device, and the first space recognition device recognizes a three-dimensional shape of a real space and is a first space. A first spatial recognition unit that generates data, a first self-position estimation unit that estimates a first self-position in the real space based on the first spatial data, and the first spatial data. It has a first spatial data integration unit that transmits to the second space recognition device, and a first self-position sharing unit that transmits the first self-position to the second space recognition device. The second space recognition device is a second space recognition unit that recognizes the three-dimensional shape of the real space and generates a second space data, and a second space recognition device in the real space based on the second space data. Integrated spatial data expressed in the same coordinate system having the same origin by integrating the second self-position estimation unit that estimates the self-position of 2 and the first spatial data and the second spatial data. And a second self-position sharing unit that transmits the second self-position in the real space estimated based on the integrated space data to the first space recognition device. The first space recognition device or the second space recognition device further has a self-position correction unit, and the self-position correction unit is the first space measured by a plurality of total stations. The first self-position or the second self-position estimated by the first self-position estimation unit or the second self-position estimation unit based on the position information of the recognition device or the second space recognition device. It is a space recognition system that corrects.
One embodiment of the present invention includes a plurality of space recognition devices and a server, and the space recognition device includes a space recognition unit that recognizes a three-dimensional shape of a real space and generates space data, and the space data. A self-position estimation unit that estimates the self-position in the real space based on the above, and a self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations. The server integrates the spatial data generated by the plurality of the spatial recognition devices with the spatial data integration unit that generates the integrated spatial data represented by the same coordinate system having the same origin and the integration. It is a space recognition system having a self-position sharing unit that transmits the self-position of the space recognition device in the real space estimated based on spatial data to another space recognition device.
One embodiment of the present invention includes a space recognition step in which a space recognition device recognizes a three-dimensional shape of a real space and generates spatial data, a self-position estimation step for estimating a self-position in the real space, and a plurality of total stations. Integrated spatial data in which the self-position correction step for correcting the self-position based on the position information of the spatial recognition device measured by the above, the spatial data, and the spatial data generated by another spatial recognition device are integrated. This is a spatial recognition method having a spatial data integration step for generating the above, a self-position sharing step for transmitting the self-position expressed based on the integrated spatial data to the other spatial recognition device, and a spatial recognition method.
One embodiment of the present invention is a program for causing a computer to execute the above method.

本発明により、自己位置の推定精度や安定性を向上させることが可能な空間認識システム、空間認識装置、空間認識方法及びプログラムを提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a space recognition system, a space recognition device, a space recognition method and a program capable of improving the estimation accuracy and stability of self-position.

実施の形態1にかかる空間認識システム1の構成を示すブロック図である。It is a block diagram which shows the structure of the space recognition system 1 which concerns on Embodiment 1. FIG. 実施の形態1にかかる空間認識装置100の外観の一例を示す図である。It is a figure which shows an example of the appearance of the space recognition apparatus 100 which concerns on Embodiment 1. FIG. 実施の形態1にかかる空間認識装置100の機能を示すブロック図である。It is a block diagram which shows the function of the space recognition apparatus 100 which concerns on Embodiment 1. FIG. 実施の形態2にかかる空間認識システム1の構成を示すブロック図である。It is a block diagram which shows the structure of the space recognition system 1 which concerns on Embodiment 2. FIG. 実施の形態2にかかる空間認識システム1の機能を示すブロック図である。It is a block diagram which shows the function of the space recognition system 1 which concerns on Embodiment 2. FIG. 実施の形態3にかかる空間認識装置100の外観の一例を示す図である。It is a figure which shows an example of the appearance of the space recognition apparatus 100 which concerns on Embodiment 3. FIG. 実施の形態3にかかる空間認識システム1の構成を示すブロック図である。It is a block diagram which shows the structure of the space recognition system 1 which concerns on Embodiment 3. 実施の形態3にかかる空間認識システム1の機能を示すブロック図である。It is a block diagram which shows the function of the space recognition system 1 which concerns on Embodiment 3. 自己位置補正部309による測定値の補正処理を説明する図である。It is a figure explaining the correction process of the measured value by the self-position correction part 309. 実施の形態4にかかる空間認識システム1の構成を示すブロック図である。It is a block diagram which shows the structure of the space recognition system 1 which concerns on Embodiment 4. FIG. 実施の形態4にかかる空間認識システム1の機能を示すブロック図である。It is a block diagram which shows the function of the space recognition system 1 which concerns on Embodiment 4. FIG.

<実施の形態1>
本発明の実施の形態について、図面を用いて説明する。はじめに図1を用いて、本発明の実施の形態1にかかる空間認識システム1の構成について説明する。空間認識システム1は、複数の空間認識装置100(100a,100b,・・・)を含む。
<Embodiment 1>
Embodiments of the present invention will be described with reference to the drawings. First, the configuration of the space recognition system 1 according to the first embodiment of the present invention will be described with reference to FIG. The space recognition system 1 includes a plurality of space recognition devices 100 (100a, 100b, ...).

図2は、実施の形態1にかかる空間認識装置100の外観の一例を示す図である。空間認識装置100は、典型的にはカメラ、デプスセンサ、ジャイロ、透過型ディスプレイ、処理ユニット及び通信ユニット等を有するHMD(Head Mounted Display)であり、例えばHololens(登録商標)等が含まれる。 FIG. 2 is a diagram showing an example of the appearance of the space recognition device 100 according to the first embodiment. The space recognition device 100 is typically an HMD (Head Mounted Display) having a camera, a depth sensor, a gyro, a transmissive display, a processing unit, a communication unit, and the like, and includes, for example, Hollens (registered trademark) and the like.

カメラは、現実空間を連続的に撮影して画像データを取得する。空間認識装置100は、これらの画像データに基づいて、現実空間の3次元形状の認識(マッピング)と、空間認識装置100の位置及び姿勢の推定(自己位置推定)と、を行う(SLAM:Simultaneous Localization and Mapping)。SLAMは公知技術であるので、本稿ではSLAMの具体的なアルゴリズムについての説明は省略する。なお、空間認識装置100は、現実空間の深度情報を取得するデプスセンサや、空間認識装置100の傾きを検出するジャイロから得られる情報を用いて、SLAMの精度を上げることも可能である。 The camera continuously captures the real space and acquires image data. Based on these image data, the space recognition device 100 recognizes the three-dimensional shape of the real space (mapping) and estimates the position and orientation of the space recognition device 100 (self-position estimation) (SLAM: Simultaneus). Localization and Mapping). Since SLAM is a known technique, the description of the specific algorithm of SLAM is omitted in this paper. The space recognition device 100 can also improve the accuracy of SLAM by using the information obtained from the depth sensor that acquires the depth information of the real space and the gyro that detects the inclination of the space recognition device 100.

透過型ディスプレイは、ディスプレイの向こう側の現実空間を視認できるほど透過率の高いディスプレイであり、ディスプレイに映し出されるコンテンツを現実空間に重畳させてユーザに視認させることができる。 The transmissive display is a display having a high transmittance so that the real space on the other side of the display can be visually recognized, and the content displayed on the display can be superimposed on the real space so that the user can visually recognize the content.

処理ユニットは、少なくともプロセッサとメモリとを含み、プロセッサがメモリに格納されたプログラムを実行することにより空間認識装置100特有の機能を実現する。通信ユニットは、外部の情報処理装置(サーバや他の空間認識装置100等)とのデータの送受信を実行する。 The processing unit includes at least a processor and a memory, and the processor executes a program stored in the memory to realize a function peculiar to the space recognition device 100. The communication unit executes data transmission / reception with an external information processing device (server, other space recognition device 100, etc.).

図3は、実施の形態1にかかる空間認識装置100の機能を示すブロック図である。空間認識装置100は、空間認識部101、自己位置推定部103、空間データ統合部105、自己位置共有部107を有する。 FIG. 3 is a block diagram showing the function of the space recognition device 100 according to the first embodiment. The space recognition device 100 includes a space recognition unit 101, a self-position estimation unit 103, a space data integration unit 105, and a self-position sharing unit 107.

空間認識部101は、カメラ、デプスセンサ、ジャイロ等から得られる情報に基づいて(マッピング)を行う。マッピングの成果として、空間認識部101は3次元メッシュデータ又は3次元点群データ(以下、空間データともいう)を生成する。3次元メッシュデータは、現実空間の3次元形状を示す多数の小さな平面(メッシュ)の集合である。典型的には、各メッシュはその法線ベクトルで代表されるので、メッシュデータは法線ベクトルの集合でありうる。3次元点群データは、現実空間の3次元形状を示す多数の点の集合(点群)である。より具体的には、各点の3次元座標の集合である。 The space recognition unit 101 performs (mapping) based on information obtained from a camera, a depth sensor, a gyro, or the like. As a result of mapping, the space recognition unit 101 generates three-dimensional mesh data or three-dimensional point cloud data (hereinafter, also referred to as spatial data). A three-dimensional mesh data is a set of a large number of small planes (mesh) showing a three-dimensional shape in real space. Typically, each mesh is represented by its normal vector, so the mesh data can be a set of normal vectors. The three-dimensional point cloud data is a set (point cloud) of a large number of points showing a three-dimensional shape in real space. More specifically, it is a set of three-dimensional coordinates of each point.

自己位置推定部103は、カメラ、デプスセンサ、ジャイロ等から得られる情報に基づいて空間認識装置100の位置及び姿勢の推定(自己位置推定)を行う。自己位置推定の成果として、自己位置推定部103は、典型的にはカメラ位置の座標と、空間認識装置100の傾きとを算出する。 The self-position estimation unit 103 estimates the position and orientation of the space recognition device 100 (self-position estimation) based on the information obtained from the camera, depth sensor, gyro, and the like. As a result of the self-position estimation, the self-position estimation unit 103 typically calculates the coordinates of the camera position and the inclination of the space recognition device 100.

空間データ統合部105は、現実空間内に存在する他の空間認識装置100と通信を行って、複数の空間認識装置100の空間データを統合する。一例として、現実空間内に空間認識装置100a及び空間認識装置100bが存在する場合を想定する。親機として振る舞う空間認識装置100aは、自己(空間認識装置100a)が認識した空間データSaを、子機として振る舞う空間認識装置100bに送信する。子機である空間認識装置100bは、空間認識装置100aが認識した空間データSaと、自己(空間認識装置100b)が認識した空間データSbとのパターンマッチングを行い、両者の空間データを統合した統合空間データSiを生成する。 The spatial data integration unit 105 communicates with other spatial recognition devices 100 existing in the real space to integrate the spatial data of the plurality of spatial recognition devices 100. As an example, it is assumed that the space recognition device 100a and the space recognition device 100b exist in the real space. The space recognition device 100a acting as a master unit transmits the space data Sa recognized by itself (space recognition device 100a) to the space recognition device 100b acting as a slave unit. The spatial recognition device 100b, which is a slave unit, performs pattern matching between the spatial data Sa recognized by the spatial recognition device 100a and the spatial data Sb recognized by itself (spatial recognition device 100b), and integrates the spatial data of both. Spatial data Si is generated.

空間データ同士のパターンマッチングについて説明する。空間データが3次元メッシュデータである場合、子機(空間認識装置100b)側の空間データ統合部105は、空間認識装置100a及び空間認識装置100bの双方のメッシュのうち、形状、傾き、大きさが一致しているもの(完全に一致するもののほか、差が所定のしきい値以内であるものも含む)を探索する。メッシュの形状、傾き、大きさが一致するとは、換言すれば、法線ベクトルの類似度が高いということである。一致するメッシュペアが発見されたならば、それらのメッシュペアをそれぞれ重ね合わせることによって2つのメッシュを結合させ、1つに統合された3次元メッシュデータを生成する。空間データが3次元点群データである場合も同様に、子機(空間認識装置100b)側の空間データ統合部105が、双方の空間データから類似度の高い点をそれぞれ選び出し、それらの点同士を重ね合わせることによって2つのメッシュを結合させ、1つに統合された3次元メッシュデータを生成する。 Pattern matching between spatial data will be described. When the spatial data is three-dimensional mesh data, the spatial data integration unit 105 on the slave unit (spatial recognition device 100b) side has the shape, inclination, and size of the meshes of both the spatial recognition device 100a and the spatial recognition device 100b. Search for matches (including those that match exactly and those whose difference is within a predetermined threshold). Matching the shape, slope, and size of the mesh means that the normal vectors have a high degree of similarity. If matching mesh pairs are found, the two meshes are combined by superimposing each of those mesh pairs to generate one integrated 3D mesh data. Similarly, when the spatial data is three-dimensional point cloud data, the spatial data integration unit 105 on the slave unit (spatial recognition device 100b) side selects points having high similarity from both spatial data, and those points are mutually selected. By superimposing the two meshes, two meshes are combined to generate one integrated three-dimensional mesh data.

子機である空間認識装置100bの空間データ統合部105は、親機である空間認識装置100aの空間データ統合部105に、生成した統合空間データSiを送信する。これにより、空間認識装置100aと空間認識装置100bとの間で統合空間データSiが共有される。以降、空間認識装置100aと空間認識装置100bとは統合空間データSiを用いて自己の位置を認識する。すなわち、同じワールド座標を共有し、ワールド座標の原点からの相対座標として自己位置を表現する。 The spatial data integration unit 105 of the spatial recognition device 100b, which is a slave unit, transmits the generated integrated spatial data Si to the spatial data integration unit 105 of the spatial recognition device 100a, which is a master unit. As a result, the integrated spatial data Si is shared between the spatial recognition device 100a and the spatial recognition device 100b. After that, the space recognition device 100a and the space recognition device 100b recognize their own positions using the integrated space data Si. That is, they share the same world coordinates and express their own position as relative coordinates from the origin of the world coordinates.

なお、ここでは子機が1台である例を示したが、本発明はこれに限定されず、子機は複数台であっても良い。この場合、子機それぞれにおいて上述の一連の処理が実行される。 Although an example in which one slave unit is used is shown here, the present invention is not limited to this, and a plurality of slave units may be used. In this case, the above-mentioned series of processes is executed in each slave unit.

自己位置共有部107は、現実空間内に存在する他の空間認識装置100に対し、所定の間隔で自己位置を送信する。例えば、現実空間内に空間認識装置100a及び空間認識装置100bが存在する場合、空間認識装置100aは、自己の位置Paを空間認識装置100bに対し送信し、空間認識装置100bは自己位置Paを一定期間保持する。同様に、空間認識装置100bは、自己の位置Pbを空間認識装置100aに対し送信し、空間認識装置100aは自己位置Pbを一定期間保持する。ここで、自己位置Pa及び自己位置Pbは、空間データ統合部105による空間データ統合処理の結果、同一の原点を有する同一の座標系で表現されたものとなっている。そのため、空間認識装置100a及び空間認識装置100bは、互いの存在位置を示す座標を共有することができる。 The self-position sharing unit 107 transmits the self-position to another space recognition device 100 existing in the real space at predetermined intervals. For example, when the space recognition device 100a and the space recognition device 100b exist in the real space, the space recognition device 100a transmits its own position Pa to the space recognition device 100b, and the space recognition device 100b keeps its own position Pa constant. Hold for a period. Similarly, the space recognition device 100b transmits its own position Pb to the space recognition device 100a, and the space recognition device 100a holds the self position Pb for a certain period of time. Here, the self-position Pa and the self-position Pb are represented by the same coordinate system having the same origin as a result of the spatial data integration processing by the spatial data integration unit 105. Therefore, the space recognition device 100a and the space recognition device 100b can share the coordinates indicating the mutual existence positions.

ところで、空間認識装置100は、SLAM処理が滞ることなどにより自己位置の推定に失敗し、一時的に自己位置を見失うことがある。これをロストという。ロストは空間認識装置100の位置推定精度を低下させる大きな要因である。そこで、ロストによる位置推定精度低下を抑制すべく、本実施の形態では、ロストが発生した場合に他の空間認識装置100から自己位置を教えてもらう仕組みを導入する。自己位置共有部107はロスト発生を検知すると、現実空間内に存在する他の空間認識装置100に対しロスト信号を送信する。ロスト信号を受信した当該他の空間認識装置100の自己位置共有部107は、ロストした空間認識装置100に対し、その存在位置を通知する。 By the way, the space recognition device 100 may fail to estimate its own position due to delay in SLAM processing or the like, and may temporarily lose track of its own position. This is called lost. Lost is a major factor that lowers the position estimation accuracy of the space recognition device 100. Therefore, in order to suppress a decrease in position estimation accuracy due to lost, in the present embodiment, a mechanism is introduced in which another space recognition device 100 informs the self-position when lost occurs. When the self-position sharing unit 107 detects the occurrence of lost, it transmits a lost signal to another space recognition device 100 existing in the real space. The self-position sharing unit 107 of the other space recognition device 100 that has received the lost signal notifies the lost space recognition device 100 of its existence position.

例えば、現実空間内に空間認識装置100a及び空間認識装置100bが存在し、空間認識装置100aにおいてロストが発生した場合を想定する。空間認識装置100aの自己位置共有部107は、空間認識装置100bの自己位置共有部107に対しロスト信号を送信する。空間認識装置100bの自己位置共有部107は、空間認識装置100aから事前に共有されていた自己位置Paのうち最新のものを、空間認識装置100aの自己位置共有部107に対し送信する。空間認識装置100aの自己位置共有部107は、受信した自己位置Paを自己位置とみなす。これにより、空間認識装置100aは、例えばコンテンツの投影などの処理を、ロストが発生したとしても中断することなく実行し続けることが可能となる。 For example, it is assumed that the space recognition device 100a and the space recognition device 100b exist in the real space, and the space recognition device 100a is lost. The self-position sharing unit 107 of the space recognition device 100a transmits a lost signal to the self-position sharing unit 107 of the space recognition device 100b. The self-position sharing unit 107 of the space recognition device 100b transmits the latest self-position Pa shared in advance from the space recognition device 100a to the self-position sharing unit 107 of the space recognition device 100a. The self-position sharing unit 107 of the space recognition device 100a regards the received self-position Pa as the self-position. As a result, the space recognition device 100a can continue to execute processing such as projection of contents without interruption even if lost occurs.

なお、自己位置Pa及びPbには、空間認識装置100の位置は勿論のこと、姿勢を示す情報も含めることができる。また、ここでは現実空間内に2台の空間認識装置100が存在する例を示したが、本発明はこれに限定されず、複数であれば何台でも良い。空間認識装置100の数が多ければ多いほど、空間認識装置100の位置推定の精度を安定させることができる。 The self-positions Pa and Pb can include not only the position of the space recognition device 100 but also information indicating the posture. Further, although an example in which two space recognition devices 100 exist in the real space is shown here, the present invention is not limited to this, and any number of the space recognition devices 100 may be used. The greater the number of space recognition devices 100, the more stable the accuracy of position estimation of the space recognition device 100 can be.

本実施の形態によれば、現実空間内に存在する複数の空間認識装置100が空間データを統合したうえで自己位置を推定する。これにより、建物やトンネル内のような測位信号が遮断される場合や、ある空間認識装置100がマーカーから離れた場所に位置する場合であっても、高い精度で自己位置推定を行うことができる。例えば空間認識装置100bがマーカーから遠く離れており、単独では自己位置推定精度を維持できないような場合であっても、マーカーの近くに位置し高い精度での自己位置推定が可能な空間認識装置100aと空間データを統合することによって、空間認識装置100aと同等の精度で自己位置推定を行うことができる。 According to the present embodiment, a plurality of space recognition devices 100 existing in the real space integrate the spatial data and then estimate the self-position. As a result, even when the positioning signal is blocked such as in a building or a tunnel, or when a certain space recognition device 100 is located at a place away from the marker, the self-position estimation can be performed with high accuracy. .. For example, even if the space recognition device 100b is far away from the marker and the self-position estimation accuracy cannot be maintained by itself, the space recognition device 100a is located near the marker and can perform self-position estimation with high accuracy. By integrating the spatial data with the spatial recognition device 100a, the self-position estimation can be performed with the same accuracy as the spatial recognition device 100a.

また、本実施の形態では、複数の空間認識装置100が自己位置を共有し、ロスト発生時には補完しあって自己位置を推定し続ける。これにより、従来よりも安定した自己位置推定を行うことが可能である。 Further, in the present embodiment, the plurality of space recognition devices 100 share their own positions, and when lost occurs, they complement each other and continue to estimate their own positions. This makes it possible to perform more stable self-position estimation than before.

<実施の形態2>
実施の形態1では、子機にあたる空間認識装置100が空間データ統合処理を行った。これに対し実施の形態2では、サーバ200が空間データ統合及びデータ共有処理を行う。
<Embodiment 2>
In the first embodiment, the space recognition device 100, which is a slave unit, performs the space data integration process. On the other hand, in the second embodiment, the server 200 performs spatial data integration and data sharing processing.

図4は、実施の形態2にかかる空間認識システム1の構成を示すブロック図である。空間認識システム1は、複数の空間認識装置100(100a,100b,・・・)と、サーバ200を含む。サーバ200は、少なくともプロセッサとメモリとを含み、プロセッサがメモリに格納されたプログラムを実行することにより所定の機能を実現する。 FIG. 4 is a block diagram showing the configuration of the space recognition system 1 according to the second embodiment. The space recognition system 1 includes a plurality of space recognition devices 100 (100a, 100b, ...) And a server 200. The server 200 includes at least a processor and a memory, and the processor realizes a predetermined function by executing a program stored in the memory.

図5は、実施の形態2にかかる空間認識システム1の機能を示すブロック図である。空間認識装置100は、現実空間の3次元形状の認識(マッピング)を行う空間認識部201、位置及び姿勢の推定(自己位置推定)を行う自己位置推定部203を有する。サーバ200は、複数の空間認識装置100の空間データを統合する空間データ統合部205、空間認識装置100の存在位置を共有してロスト発生時のリカバリを行う自己位置共有部207を有する。空間認識部201、自己位置推定部203、空間データ統合部205及び自己位置共有部207の動作について、実施の形態1の空間認識部101、自己位置推定部103、空間データ統合部105及び自己位置共有部107との共通点については記述を省略しつつ説明する。 FIG. 5 is a block diagram showing the function of the space recognition system 1 according to the second embodiment. The space recognition device 100 has a space recognition unit 201 that recognizes (mapping) the three-dimensional shape of the real space, and a self-position estimation unit 203 that estimates the position and orientation (self-position estimation). The server 200 has a spatial data integration unit 205 that integrates spatial data of a plurality of spatial recognition devices 100, and a self-position sharing unit 207 that shares the existence position of the spatial recognition device 100 and performs recovery when a loss occurs. Regarding the operations of the space recognition unit 201, the self-position estimation unit 203, the space data integration unit 205, and the self-position sharing unit 207, the space recognition unit 101, the self-position estimation unit 103, the space data integration unit 105, and the self-position of the first embodiment The common points with the shared unit 107 will be described while omitting the description.

空間認識部201は、生成した空間データを、サーバ200の空間データ統合部205に送信する。サーバ200の空間データ統合部205は、複数の空間認識装置100から受信した空間データを統合して、統合空間データを生成する。また、統合空間データの原点Oiを決定し(典型的には任意の親機の原点を流用する)、各空間認識装置100の空間認識部201に送信する。空間認識部201は、統合空間データの原点Oiを自己の原点位置に設定する。これにより、各空間認識装置100の座標系が統一される。 The spatial recognition unit 201 transmits the generated spatial data to the spatial data integration unit 205 of the server 200. The spatial data integration unit 205 of the server 200 integrates the spatial data received from the plurality of spatial recognition devices 100 to generate the integrated spatial data. Further, the origin Oi of the integrated spatial data is determined (typically, the origin of an arbitrary master unit is diverted) and transmitted to the space recognition unit 201 of each space recognition device 100. The space recognition unit 201 sets the origin Oi of the integrated spatial data to its own origin position. As a result, the coordinate system of each space recognition device 100 is unified.

自己位置推定部203は、自己位置を、所定の間隔でサーバ200の自己位置共有部207に送信する。また、ロストを検知した場合、ロスト信号をサーバ200の自己位置共有部207に送信する。サーバ200の自己位置共有部207は、ロスト信号を受信したなら、その空間認識装置100から直前に共有された自己位置を、自己位置推定部203に対して通知する。自己位置推定部203は、通知された自己位置を用いてコンテンツ投影などの処理を続行する。 The self-position estimation unit 203 transmits the self-position to the self-position sharing unit 207 of the server 200 at predetermined intervals. When lost is detected, the lost signal is transmitted to the self-position sharing unit 207 of the server 200. When the self-position sharing unit 207 of the server 200 receives the lost signal, the self-position sharing unit 207 notifies the self-position estimation unit 203 of the self-position shared immediately before by the space recognition device 100. The self-position estimation unit 203 continues processing such as content projection using the notified self-position.

本実施の形態では、比較的処理リソースに恵まれていることが多いサーバ200が空間データ統合及びデータ共有処理を行い、空間認識装置100における処理負荷を軽減することで、システム全体のスループットを向上させることができる。 In the present embodiment, the server 200, which is often relatively blessed with processing resources, performs spatial data integration and data sharing processing to reduce the processing load on the spatial recognition device 100, thereby improving the throughput of the entire system. be able to.

<実施の形態3>
実施の形態1及び2によれば、複数の空間認識装置100を連携させることによって、従来であれば一部の空間認識装置100の自己位置推定精度や安定性が低下しうる状況であっても、それを抑制することができる。しかしながら、全ての空間認識装置100がマーカーから遠く離れるなどした場合には、誤差が蓄積し、システム全体の自己位置推定精度が低下する恐れがあった。そこで実施の形態3では、トータルステーション300を導入し、複数の空間認識装置100のうち1つを追尾して正確な位置を把握することにより、システム全体の自己位置推定精度を維持及び向上させる。
<Embodiment 3>
According to the first and second embodiments, by linking a plurality of space recognition devices 100, even in a situation where the self-position estimation accuracy and stability of some of the space recognition devices 100 can be deteriorated in the past. , It can be suppressed. However, if all the space recognition devices 100 are far away from the markers, errors may accumulate and the self-position estimation accuracy of the entire system may decrease. Therefore, in the third embodiment, the total station 300 is introduced, and one of the plurality of space recognition devices 100 is tracked to grasp the accurate position, thereby maintaining and improving the self-position estimation accuracy of the entire system.

図6は、実施の形態3にかかる空間認識装置100の外観の一例を示す図である。本実施の形態では、空間認識装置100は、治具111を介してヘルメット113に固定されている。また、プリズム115が治具111に取り付けられている。治具111、空間認識装置100、プリズム115の位置関係は固定的である必要がある。 FIG. 6 is a diagram showing an example of the appearance of the space recognition device 100 according to the third embodiment. In the present embodiment, the space recognition device 100 is fixed to the helmet 113 via the jig 111. Further, the prism 115 is attached to the jig 111. The positional relationship between the jig 111, the space recognition device 100, and the prism 115 needs to be fixed.

図7は、実施の形態3にかかる空間認識システム1の構成を示すブロック図である。空間認識システム1は、複数の空間認識装置100(100a,100b,・・・)と、トータルステーション300とを含む。このうち少なくとも1つの空間認識装置100は、図6に示すようにプリズム115を連結している必要がある。以下、プリズム115を連結した空間認識装置100を空間認識装置100prとよぶ。 FIG. 7 is a block diagram showing the configuration of the space recognition system 1 according to the third embodiment. The space recognition system 1 includes a plurality of space recognition devices 100 (100a, 100b, ...) And a total station 300. Of these, at least one space recognition device 100 needs to be connected to the prism 115 as shown in FIG. Hereinafter, the space recognition device 100 to which the prism 115 is connected is referred to as a space recognition device 100pr.

図8は、実施の形態3にかかる空間認識システム1の機能を示すブロック図である。空間認識装置100は、実施の形態1と同様の構成要素として、現実空間の3次元形状の認識(マッピング)を行う空間認識部101、SLAMにより位置及び姿勢の推定(自己位置推定)を行う自己位置推定部103、複数の空間認識装置100の空間データを統合する空間データ統合部105、複数の空間認識装置100で存在位置を共有してロスト発生時のリカバリを行う自己位置共有部107を有する。これらに加え、空間認識装置100prについては、トータルステーション300から得られる位置情報に基づいて自己位置をアップデートする自己位置補正部309を有しているものとする。トータルステーション300は、空間認識装置100prに連結されたプリズム115の位置を測定する測定部311を有する。以下、本実施の形態の特徴的な構成要素である測定部311及び自己位置補正部309の機能を中心に、実施の形態3の空間認識装置100特有の動作について説明する。 FIG. 8 is a block diagram showing the function of the space recognition system 1 according to the third embodiment. The space recognition device 100 has the same components as those in the first embodiment, the space recognition unit 101 that recognizes (mapping) the three-dimensional shape of the real space, and the self that estimates the position and orientation (self-position estimation) by SLAM. It has a position estimation unit 103, a spatial data integration unit 105 that integrates spatial data of a plurality of spatial recognition devices 100, and a self-position sharing unit 107 that shares an existence position among a plurality of spatial recognition devices 100 and performs recovery when a loss occurs. .. In addition to these, it is assumed that the space recognition device 100pr has a self-position correction unit 309 that updates the self-position based on the position information obtained from the total station 300. The total station 300 has a measuring unit 311 that measures the position of the prism 115 connected to the space recognition device 100pr. Hereinafter, the operation peculiar to the space recognition device 100 of the third embodiment will be described, focusing on the functions of the measurement unit 311 and the self-position correction unit 309, which are characteristic components of the present embodiment.

はじめに、キャリブレーションとして、空間認識装置100prが原点位置にあるときのプリズム115の位置を、トータルステーション300の測定部311により測定する。このときの測定値をトータルステーション300側で(0,0,0)と定義することにより、空間認識装置100prとトータルステーション300との座標系を一致させる。 First, as a calibration, the position of the prism 115 when the space recognition device 100pr is at the origin position is measured by the measuring unit 311 of the total station 300. By defining the measured value at this time as (0, 0, 0) on the total station 300 side, the coordinate systems of the space recognition device 100pr and the total station 300 are matched.

以後、トータルステーション300の測定部311は、プリズム115の位置を随時測定する。測定部311は、測定値を空間認識装置100prの自己位置補正部309に送信する。測定値は測定部311から直接自己位置補正部309に送信されても良く、サーバ等を介して送信されても良い。自己位置補正部309は、測定部311から測定値を受信したならば、自己位置推定部103がSLAMにより算出した自己位置推定値をこの測定値で単に上書きしてしまっても良い。又は、SLAMにより算出された自己位置推定値をこの測定値を利用して補正しても良い。例えば、SLAMにより算出された自己位置推定値と、測定部311から受信した測定値と、の誤差が所定のしきい値を超えた場合に、当該誤差を打ち消す補正を自己位置推定値に対して施すことができる。 After that, the measuring unit 311 of the total station 300 measures the position of the prism 115 at any time. The measurement unit 311 transmits the measured value to the self-position correction unit 309 of the space recognition device 100pr. The measured value may be directly transmitted from the measuring unit 311 to the self-position correction unit 309, or may be transmitted via a server or the like. When the self-position correction unit 309 receives the measured value from the measurement unit 311, the self-position correction unit 103 may simply overwrite the self-position estimation value calculated by the self-position estimation unit 103 by SLAM with this measurement value. Alternatively, the self-position estimated value calculated by SLAM may be corrected by using this measured value. For example, when the error between the self-position estimated value calculated by SLAM and the measured value received from the measuring unit 311 exceeds a predetermined threshold value, a correction for canceling the error is applied to the self-position estimated value. Can be applied.

なお、これまでに説明した空間認識装置100はすべてワールド座標で自己位置を認識するものであった。これは空間認識装置100prや、実施の形態1及び2において説明した空間認識装置100でも同様である。いずれの空間認識装置100も、認識した現実世界内に定義した原点からの相対座標によって自己位置を認識している。 All of the space recognition devices 100 described so far recognize their own positions in world coordinates. This also applies to the space recognition device 100pr and the space recognition device 100 described in the first and second embodiments. Each space recognition device 100 recognizes its own position by the relative coordinates from the origin defined in the recognized real world.

しかしながら、空間認識装置100の空間認識精度等に起因して、空間認識装置100が認識するワールド座標自体がずれを含んでいることがある。よって、ワールド座標を用いて自己位置を表現するかぎり、自己位置の推定精度には限界が生じる。上述のように、トータルステーションを使用することにより、空間認識装置100の移動量を比較的正確に測定することはできる。しかし、空間認識装置100におけるワールド座標系の原点の認識誤差を小さくすることはできない。 However, the world coordinates themselves recognized by the space recognition device 100 may include deviations due to the space recognition accuracy of the space recognition device 100 and the like. Therefore, as long as the self-position is expressed using the world coordinates, there is a limit to the estimation accuracy of the self-position. As described above, by using the total station, the movement amount of the space recognition device 100 can be measured relatively accurately. However, the recognition error of the origin of the world coordinate system in the space recognition device 100 cannot be reduced.

そこで、実施の形態3の変形例として、空間認識装置100prは、ローカル座標を用いて自己位置を推定することができる。トータルステーション300による追尾が可能な間は、空間認識装置100prはSLAMを使用せず、トータルステーション300から得られた移動量を用いてローカル座標を更新する。トータルステーション300がプリズム115を捕捉できなくなった時点で、空間認識装置100prはSLAMによる自己位置(ローカル座標)推定に切り替える。ここでローカル座標とは、換言すれば空間認識装置100prが現実空間に投影する図面等の座標系における自己位置である。ローカル座標を用いることにより、ワールド座標系原点の認識精度に依存することなく、誤差の少ない空間認識装置100の移動量に基づいて、高精度に自己位置を推定することができる。 Therefore, as a modification of the third embodiment, the space recognition device 100pr can estimate its own position using local coordinates. While tracking by the total station 300 is possible, the space recognition device 100pr does not use SLAM and updates the local coordinates using the movement amount obtained from the total station 300. When the total station 300 cannot capture the prism 115, the space recognition device 100pr switches to self-position (local coordinate) estimation by SLAM. Here, the local coordinates are, in other words, self-positions in a coordinate system such as a drawing projected by the space recognition device 100pr on the real space. By using the local coordinates, the self-position can be estimated with high accuracy based on the movement amount of the space recognition device 100 with little error without depending on the recognition accuracy of the origin of the world coordinate system.

他の空間認識装置100と自己位置を共有する際は、ローカル座標系原点とワールド座標系原点との既知のオフセットに基づいて、ローカル座標をワールド座標に変換してから共有すれば良い。 When sharing the self-position with another space recognition device 100, the local coordinates may be converted into world coordinates based on the known offset between the origin of the local coordinate system and the origin of the world coordinate system, and then shared.

なお、自己位置補正部309は、空間認識装置100prとプリズム115とのオフセットを考慮して、測定部311から受信した測定値に補正を加えても良い。空間認識装置100prとプリズム115との相対的な位置関係がキャリブレーション時点と常に同じであれば補正の必要はないが、例えば頭部を傾けると、つまりキャリブレーション時と空間認識装置100prの姿勢が異なると、測定部311による測定値が実際の空間認識装置100prの位置と相違してしまう(図9参照)。自己位置補正部309は、ジャイロが検出する空間認識装置100prの傾きθを利用することで、この誤差を補正できる。 The self-position correction unit 309 may correct the measured value received from the measurement unit 311 in consideration of the offset between the space recognition device 100pr and the prism 115. If the relative positional relationship between the space recognition device 100pr and the prism 115 is always the same as at the time of calibration, correction is not necessary, but for example, when the head is tilted, that is, the posture of the space recognition device 100pr is different from that at the time of calibration. If they are different, the value measured by the measuring unit 311 will be different from the actual position of the space recognition device 100pr (see FIG. 9). The self-position correction unit 309 can correct this error by using the inclination θ of the space recognition device 100pr detected by the gyro.

さらに、本実施の形態の変形例として、ヘルメット113に治具111を介して固定されているプリズム115に、例えばジンバルのような、座標軸に対するプリズム115の傾きを略一定に保つような機構を備える構造体を取り付けても良い。本実施の形態の変形例では、ジンバルを採用することにする。ジンバルとは、ジンバル軸と呼ばれる幾つかの回転軸がベアリングを介して直角に交わるように結合されている回転台であり、外部からのあらゆる回転の影響を受けずに、中心軸を一定の方向に保つことができる。 Further, as a modification of the present embodiment, the prism 115 fixed to the helmet 113 via a jig 111 is provided with a mechanism such as a gimbal that keeps the inclination of the prism 115 with respect to the coordinate axes substantially constant. A structure may be attached. In the modified example of this embodiment, a gimbal will be adopted. A gimbal is a turntable in which several rotating shafts called gimbal shafts are connected so as to intersect at right angles via bearings, and the central axis is oriented in a certain direction without being affected by any external rotation. Can be kept in.

図6のようにヘルメット113にプリズム115を固定すると、頭部の傾きが大きくなるとプリズム115がトータルステーション300から発せられる光波をうまく反射できず、ロストが発生しやすくなる場合がある。一方、ジンバル等の構造体を備えた場合には、頭部を傾いた場合でもプリズム115の座標軸に対する傾きは略一定であるので、トータルステーション300から発せられる光波を反射できる確率が飛躍的に向上する。 When the prism 115 is fixed to the helmet 113 as shown in FIG. 6, when the inclination of the head becomes large, the prism 115 cannot reflect the light wave emitted from the total station 300 well, and lost may easily occur. On the other hand, when a structure such as a gimbal is provided, the inclination of the prism 115 with respect to the coordinate axes is substantially constant even when the head is tilted, so that the probability of reflecting the light wave emitted from the total station 300 is dramatically improved. ..

本実施の形態によれば、自己位置補正部309が、SLAMにより算出された自己位置推定値を、トータルステーション300による測定値により常に(又は所定の条件下で)補正するので、空間認識装置100prは常に高い精度で自己位置を認識することができる。そして、この空間認識装置100prを空間認識システム1に参加させ、他の空間認識装置100と空間データを統合させることで、システム全体の自己位置推定精度を向上させることが可能となる。 According to the present embodiment, the self-position correction unit 309 always corrects the self-position estimated value calculated by SLAM by the value measured by the total station 300 (or under predetermined conditions), so that the space recognition device 100pr is The self-position can always be recognized with high accuracy. Then, by participating the space recognition device 100pr in the space recognition system 1 and integrating the space data with the other space recognition device 100, it is possible to improve the self-position estimation accuracy of the entire system.

さらに、空間認識装置100prとプリズム115とのオフセットを考慮することや、プリズム115の座標軸に対する傾斜角を抑制する構造を導入することなどにより、自己位置推定精度をいっそう向上させることが可能となる。 Further, by considering the offset between the space recognition device 100pr and the prism 115 and introducing a structure that suppresses the inclination angle of the prism 115 with respect to the coordinate axes, it is possible to further improve the self-position estimation accuracy.

<実施の形態4>
実施の形態3では、トータルステーション300を導入し、複数の空間認識装置100のうち1つを追尾して正確な位置を把握することにより、システム全体の自己位置推定精度を維持及び向上させた。しかしながら、トータルステーション300が光波を空間認識装置100pr上のプリズム115に向けて発射して測距する際に、障害物や障害となる諸条件によって、プリズム115を追尾できなくなり、空間認識装置100の位置を測定が不能となるケースがある。例えば、構造物の柱、建設現場の重機、金網等の障害物、太陽光の角度等の気象条件によって、トータルステーション300がプリズム115を捕捉できなくなってしまうのである。
<Embodiment 4>
In the third embodiment, the total station 300 is introduced, and one of the plurality of space recognition devices 100 is tracked to grasp the accurate position, thereby maintaining and improving the self-position estimation accuracy of the entire system. However, when the total station 300 emits a light wave toward the prism 115 on the space recognition device 100pr to measure the distance, the prism 115 cannot be tracked due to obstacles or various obstacles, and the position of the space recognition device 100 In some cases, it becomes impossible to measure. For example, the total station 300 cannot capture the prism 115 due to weather conditions such as pillars of a structure, heavy machinery at a construction site, obstacles such as wire mesh, and the angle of sunlight.

そこで、実施の形態4では、トータルステーション300(300a,300b,・・・)を複数台導入し、1つのトータルステーション300aが空間認識装置100prを捕捉できなくなった場合に、別の場所に設置されているもう1つのトータルステーション300bが、空間認識装置100prを引き続き追尾して正確な位置を把握することにより、システム全体の自己位置推定精度を維持及び向上させる。 Therefore, in the fourth embodiment, a plurality of total stations 300 (300a, 300b, ...) Are introduced, and when one total station 300a cannot capture the space recognition device 100pr, it is installed in another place. Another total station 300b maintains and improves the self-position estimation accuracy of the entire system by continuously tracking the space recognition device 100pr and grasping the accurate position.

図10は、実施の形態4にかかる空間認識システム1の構成を示すブロック図である。空間認識システム1は、複数の空間認識装置100(100a,100b,・・・)と、サーバ200と、複数のトータルステーション300(300a,300b,・・・)と、を含む。このうち少なくとも1つの空間認識装置100は、図6に示すようにプリズム115を連結している必要がある。サーバ200は、少なくともプロセッサとメモリとを含み、プロセッサがメモリに格納されたプログラムを実行することにより所定の機能を実現する。サーバ200は、例えばトータルステーション300及び空間認識装置100との通信機能を有するスマートフォン等であって良い。 FIG. 10 is a block diagram showing the configuration of the space recognition system 1 according to the fourth embodiment. The space recognition system 1 includes a plurality of space recognition devices 100 (100a, 100b, ...), A server 200, and a plurality of total stations 300 (300a, 300b, ...). Of these, at least one space recognition device 100 needs to be connected to the prism 115 as shown in FIG. The server 200 includes at least a processor and a memory, and the processor realizes a predetermined function by executing a program stored in the memory. The server 200 may be, for example, a smartphone or the like having a communication function with the total station 300 and the space recognition device 100.

図11は、実施の形態4にかかる空間認識システム1の機能構成を示すブロック図である。トータルステーション300a及びトータルステーション300bは、空間認識装置100prに連結されたプリズム115の位置を測定する測定部311a及び測定部311bをそれぞれ有する。空間認識装置100の機能構成は、実施の形態3と略同様である。以下、トータルステーション300a、トータルステーション300b、及び空間認識装置100の動作について、実施の形態3との相違点を中心に説明する。なお、実施の形態3と共通する部分については適宜説明を省略する。 FIG. 11 is a block diagram showing a functional configuration of the space recognition system 1 according to the fourth embodiment. The total station 300a and the total station 300b each have a measuring unit 311a and a measuring unit 311b for measuring the position of the prism 115 connected to the space recognition device 100pr. The functional configuration of the space recognition device 100 is substantially the same as that of the third embodiment. Hereinafter, the operations of the total station 300a, the total station 300b, and the space recognition device 100 will be described focusing on the differences from the third embodiment. The parts common to the third embodiment will be omitted as appropriate.

トータルステーション300a及びトータルステーション300bは、空間認識装置100prが原点位置にあるときのプリズム115の位置を、トータルステーション300a及びトータルステーション300bの測定部311a及び測定部311bにより測定し、キャリブレーションを行う。以後、トータルステーション300a及びトータルステーション300bの測定部311a及び測定部311bは、プリズム115の位置を随時測定し、測定部311a及び測定部311bは、測定値を空間認識装置100prの自己位置補正部309に送信する。
測定値はサーバ200を介して送信されても良い。この場合、サーバ200は、まずBluetooth(登録商標)などの通信手段を用いて、測定部311a及び測定部311bからそれぞれ測定値を受信する。サーバ200は、受信した測定値を統合し、空間認識装置100prの自己位置補正部309に送信することができる。測定部311aから受信した測定値が(x1,y1,z1)、測定部311bから受信した測定値が(x2,y2,z2)であったなら、サーバ200はこれらを統合した「a:x1y1z1/b:x2y2z2」なるデータを作成し、空間認識装置100prの自己位置補正部309に送信する。
空間認識装置100prの自己位置補正部309は、受信した測定値に基づいて、実施の形態3と同様の手法で自己位置を補正する。但し、本実施の形態では、実施の形態3とは異なり複数の測定値を受信するので、自己位置補正部309は、例えば複数の測定値の平均値や、自機に最も近いトータルステーション300から受信した測定値などを、自己位置補正用の測定値として採用する。
The total station 300a and the total station 300b measure the position of the prism 115 when the space recognition device 100pr is at the origin position by the measuring unit 311a and the measuring unit 311b of the total station 300a and the total station 300b, and perform calibration. After that, the measuring unit 311a and the measuring unit 311b of the total station 300a and the total station 300b measure the position of the prism 115 at any time, and the measuring unit 311a and the measuring unit 311b transmit the measured value to the self-position correction unit 309 of the space recognition device 100pr. To do.
The measured value may be transmitted via the server 200. In this case, the server 200 first receives the measured values from the measuring unit 311a and the measuring unit 311b by using a communication means such as Bluetooth (registered trademark). The server 200 can integrate the received measured values and transmit them to the self-position correction unit 309 of the space recognition device 100pr. If the measured value received from the measuring unit 311a is (x1, y1, z1) and the measured value received from the measuring unit 311b is (x2, y2, z2), the server 200 integrates these "a: x1y1z1 /". b: x2y2z2 ”is created and transmitted to the self-position correction unit 309 of the space recognition device 100pr.
The self-position correction unit 309 of the space recognition device 100pr corrects the self-position based on the received measured value by the same method as in the third embodiment. However, in the present embodiment, unlike the third embodiment, a plurality of measured values are received, so that the self-position correction unit 309 receives, for example, the average value of the plurality of measured values or the total station 300 closest to the own machine. The measured value, etc., is adopted as the measured value for self-position correction.

例えば、大型重機や建築資材、建設途上の構造物の柱などの障害物が数多く存在する建設現場においては、プリズム115がトータルステーション300aの死角に入ってしまい、トータルステーション300aは空間認識装置100prを捕捉できなくなってしまうことがある。また、一般的なトータルステーションの測距範囲は、ミニプリズムや1素子プリズムなどの典型的なプリズムを用いた場合、最大値として2000mから4000m程度が限界である。例えば、橋梁、道路、トンネル等の大型インフラ構造物の施工や維持管理などにおいて、測距限界を超える距離にあるプリズム115を追尾したい場合に、1つのトータルステーション300aによる測距では限界がある。このような場合には、空間認識装置100prはトータルステーション300aから得られた測定値を用いて自己位置を補正することができなくなる。 For example, at a construction site where there are many obstacles such as large heavy machinery, building materials, and pillars of a structure under construction, the prism 115 enters the blind spot of the total station 300a, and the total station 300a can capture the space recognition device 100pr. It may disappear. Further, the range measuring range of a general total station is limited to about 2000 m to 4000 m as a maximum value when a typical prism such as a mini prism or a one-element prism is used. For example, in the construction and maintenance of large infrastructure structures such as bridges, roads, and tunnels, when it is desired to track the prism 115 at a distance exceeding the distance measurement limit, there is a limit to the distance measurement by one total station 300a. In such a case, the space recognition device 100pr cannot correct the self-position using the measured value obtained from the total station 300a.

このような場合、空間認識装置100prの自己位置補正部309は、2つめのトータルステーション300bの測定部311bから受信した測定値に基づいて自己位置を補正する。例えば、サーバ200は、トータルステーション300aの測定部311aからの測定値が得られなかった場合、「a:−−−/b:x2y2z2」などの、測定部311aの測定値が欠落したデータを空間認識装置100prの自己位置補正部309に送信する。この場合、空間認識装置100prの自己位置補正部309は、正常に受信できた測定値、すなわち測定部311bから受信した測定値に基づいて自己位置を補正する。 In such a case, the self-position correction unit 309 of the space recognition device 100pr corrects the self-position based on the measured value received from the measurement unit 311b of the second total station 300b. For example, when the measured value from the measuring unit 311a of the total station 300a cannot be obtained, the server 200 spatially recognizes the data in which the measured value of the measuring unit 311a is missing, such as "a: --- / b: x2y2z2". It is transmitted to the self-position correction unit 309 of the device 100pr. In this case, the self-position correction unit 309 of the space recognition device 100pr corrects the self-position based on the measured value that can be normally received, that is, the measured value received from the measurement unit 311b.

このように、本実施の形態では複数のトータルステーション300を導入し、1つのトータルステーション300aでは光波が届かない場所でも、別の適切な位置に設置されている2つめのトータルステーション300bによって、プリズム115を追尾する。換言すれば、トータルステーション300a及びトータルステーション300bは、光波照射範囲及び測距距離の関係において相補的な場所に設置されており、トータルステーション300aが空間認識装置100prを捕捉できない場合でも、トータルステーション300bが空間認識装置100prを捕捉し続けることができる。あるいは反対に、トータルステーション300bが空間認識装置100prを捕捉できない場合でも、トータルステーション300aが空間認識装置100prを捕捉し続けることができる。 As described above, in the present embodiment, a plurality of total stations 300 are introduced, and the prism 115 is tracked by the second total station 300b installed at another appropriate position even in a place where the light wave does not reach with one total station 300a. To do. In other words, the total station 300a and the total station 300b are installed at complementary locations in terms of the light wave irradiation range and the distance measurement distance, and even if the total station 300a cannot capture the space recognition device 100pr, the total station 300b is a space recognition device. You can continue to capture 100 pr. Or conversely, even if the total station 300b cannot capture the space recognition device 100pr, the total station 300a can continue to capture the space recognition device 100pr.

なお、本実施の形態の変形例として、トータルステーション300を3つ以上導入しても良い。これにより、より広範囲な空間あるいは障害物が多数存在するような複雑な空間においても、空間認識装置100が高精度の自己位置推定を実施できる。 As a modification of this embodiment, three or more total stations 300 may be introduced. As a result, the space recognition device 100 can perform highly accurate self-position estimation even in a wider space or a complicated space where many obstacles exist.

本実施の形態によれば、複数のトータルステーション(300a,300b,・・・)を導入し、各々を相補的に配置することによって、1つのトータルステーションではカバーできないような広範囲及び遠距離においても、空間認識装置100prを追尾することができる。これにより、ロストの確率を低減させ、システム全体の自己位置推定精度を維持及び向上させることが可能である。 According to this embodiment, by introducing a plurality of total stations (300a, 300b, ...) And arranging them in a complementary manner, a space can be created even in a wide range and a long distance that cannot be covered by one total station. The recognition device 100pr can be tracked. This makes it possible to reduce the probability of loss and maintain and improve the self-position estimation accuracy of the entire system.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態において示した各種処理手段のソフトウェア又はハードウェアによる実装方法はあくまで一例であり、他の手法で代替されても良い。例えば、実施の形態では同一の筐体内に実装することとした複数の処理手段を、複数の異なるハードウェアとして提供することができる。又は、実施の形態では異なるハードウェアに実装することとした複数の処理手段を、1つのハードウェアに実装することができる。また、任意の処理手段又は処理手段のうち一部の機能をクラウドコンピューティング、エッジコンピューティング、フォグコンピューティング等の技術により実現することとしても良い。 The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. For example, the method of implementing the various processing means shown in the above-described embodiment by software or hardware is merely an example, and may be replaced by another method. For example, in the embodiment, it is possible to provide a plurality of processing means to be mounted in the same housing as a plurality of different hardware. Alternatively, a plurality of processing means that are to be implemented in different hardware in the embodiment can be implemented in one hardware. Further, some functions of any processing means or processing means may be realized by technologies such as cloud computing, edge computing, and fog computing.

また、上述の実施の形態1乃至4に示した手法は、本発明の主旨を損なわない限り、任意に組み合わせて実施しうる。 In addition, the methods shown in the above-described embodiments 1 to 4 can be carried out in any combination as long as the gist of the present invention is not impaired.

また本発明を構成する各処理手段は、ハードウェアにより構成されるものであってもよく、任意の処理をCPUにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。 Further, each processing means constituting the present invention may be configured by hardware, or may be realized by causing a CPU to execute a computer program for arbitrary processing. Computer programs can also be stored and supplied to a computer using various types of temporary or non-transitory computer-readable media. Temporary computer-readable media include electromagnetic signals supplied to the computer, for example by wire or wirelessly.

1 空間認識システム
100(100a,100b,100pr) 空間認識装置
101 空間認識部
103 自己位置推定部
105 空間データ統合部
107 自己位置共有部
111 治具
113 ヘルメット
115 プリズム
200 サーバ
201 空間認識部
203 自己位置推定部
205 空間データ統合部
207 自己位置共有部
300(300a,300b,・・・) トータルステーション
309 自己位置補正部
311 測定部
1 Space recognition system 100 (100a, 100b, 100pr) Space recognition device 101 Space recognition unit 103 Self-position estimation unit 105 Spatial data integration unit 107 Self-position sharing unit 111 Jig 113 Helmet 115 Prism 200 Server 201 Space recognition unit 203 Self-position Estimating unit 205 Spatial data integration unit 207 Self-position sharing unit 300 (300a, 300b, ...) Total station 309 Self-position correction unit 311 Measuring unit

本発明の一形態は、現実空間を認識する空間認識装置であって、前記現実空間の3次元形状を認識して空間データを生成する空間認識部と、前記空間データに基づいて、前記現実空間における自己位置を推定する自己位置推定部と、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正部と、前記空間データと、他の空間認識装置が生成した前記空間データと、を統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記自己位置を、前記他の空間認識装置に送信する自己位置共有部と、を有する空間認識装置である。
本発明の一形態は、第1の空間認識装置と、第2の空間認識装置と、を有し、前記第1の空間認識装置は、現実空間の3次元形状を認識して第1の空間データを生成する第1の空間認識部と、前記第1の空間データに基づいて、前記現実空間における第1の自己位置を推定する第1の自己位置推定部と、前記第1の空間データを前記第2の空間認識装置に送信する第1の空間データ統合部と、前記第1の自己位置を前記第2の空間認識装置に送信する第1の自己位置共有部と、を有し、前記第2の空間認識装置は、前記現実空間の3次元形状を認識して第2の空間データを生成する第2の空間認識部と、前記第2の空間データに基づいて、前記現実空間における第2の自己位置を推定する第2の自己位置推定部と、前記第1の空間データと前記第2の空間データとを統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する第2の空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記第2の自己位置を前記第1の空間認識装置に送信する第2の自己位置共有部と、を有し、前記第1の空間認識装置又は前記第2の空間認識装置は自己位置補正部をさらに有し、前記自己位置補正部は、複数のトータルステーションにより測定された前記第1の空間認識装置又は前記第2の空間認識装置の位置情報に基づいて、前記第1の自己位置推定部又は前記第2の自己位置推定部が推定した前記第1の自己位置又は前記第2の自己位置を補正する空間認識システムである。 本発明の一形態は、複数の空間認識装置と、サーバと、を有し、前記空間認識装置は、現実空間の3次元形状を認識して空間データを生成する空間認識部と、前記空間データに基づいて、前記現実空間における自己位置を推定する自己位置推定部と、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正部と、を有し、前記サーバは、複数の前記空間認識装置が生成した前記空間データを統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する空間データ統合部と、前記統合空間データに基づいて推定された前記現実空間における前記空間認識装置の前記自己位置を受信する自己位置共有部と、を有する空間認識システムである。
本発明の一形態は、空間認識装置が、現実空間の3次元形状を認識して空間データを生成する空間認識ステップと、前記現実空間における自己位置を推定する自己位置推定ステップと、複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正ステップと、前記空間データと、他の空間認識装置が生成した前記空間データとを統合した統合空間データを生成する空間データ統合ステップと、前記統合空間データに基づいて表現された前記自己位置を、前記他の空間認識装置に送信する自己位置共有ステップと、有する空間認識方法である。
本発明の一形態は、上記方法をコンピュータに実行させるためのプログラムである。
One embodiment of the present invention is a space recognition device that recognizes a real space, a space recognition unit that recognizes a three-dimensional shape of the real space and generates space data, and the real space based on the space data. A self-position estimation unit that estimates the self-position in the space, a self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations, the space data, and another space. A spatial data integration unit that integrates the spatial data generated by the recognition device and generates integrated spatial data expressed in the same coordinate system having the same origin, and the estimation based on the integrated spatial data. It is a space recognition device having a self-position sharing unit that transmits the self-position in the real space to the other space recognition device.
One embodiment of the present invention includes a first space recognition device and a second space recognition device, and the first space recognition device recognizes a three-dimensional shape of a real space and is a first space. A first spatial recognition unit that generates data, a first self-position estimation unit that estimates a first self-position in the real space based on the first spatial data, and the first spatial data. It has a first spatial data integration unit that transmits to the second space recognition device, and a first self-position sharing unit that transmits the first self-position to the second space recognition device. The second space recognition device is a second space recognition unit that recognizes the three-dimensional shape of the real space and generates a second space data, and a second space recognition device in the real space based on the second space data. Integrated spatial data expressed in the same coordinate system having the same origin by integrating the second self-position estimation unit that estimates the self-position of 2 and the first spatial data and the second spatial data. And a second self-position sharing unit that transmits the second self-position in the real space estimated based on the integrated space data to the first space recognition device. The first space recognition device or the second space recognition device further has a self-position correction unit, and the self-position correction unit is the first space measured by a plurality of total stations. The first self-position or the second self-position estimated by the first self-position estimation unit or the second self-position estimation unit based on the position information of the recognition device or the second space recognition device. It is a space recognition system that corrects. One embodiment of the present invention includes a plurality of space recognition devices and a server, and the space recognition device includes a space recognition unit that recognizes a three-dimensional shape of a real space and generates space data, and the space data. A self-position estimation unit that estimates the self-position in the real space based on the above, and a self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations. The server integrates the spatial data generated by the plurality of the spatial recognition devices with the spatial data integration unit that generates the integrated spatial data represented by the same coordinate system having the same origin and the integration. It is a space recognition system having a self-position sharing unit that receives the self-position of the space recognition device in the real space estimated based on spatial data.
One embodiment of the present invention includes a space recognition step in which a space recognition device recognizes a three-dimensional shape of a real space and generates spatial data, a self-position estimation step for estimating a self-position in the real space, and a plurality of total stations. Integrated spatial data in which the self-position correction step for correcting the self-position based on the position information of the spatial recognition device measured by the above, the spatial data, and the spatial data generated by another spatial recognition device are integrated. This is a spatial recognition method having a spatial data integration step for generating the above, a self-position sharing step for transmitting the self-position expressed based on the integrated spatial data to the other spatial recognition device, and a spatial recognition method.
One embodiment of the present invention is a program for causing a computer to execute the above method.

Claims (5)

現実空間を認識する空間認識装置であって、
前記現実空間の3次元形状を認識して空間データを生成する空間認識部と、
前記空間データに基づいて、前記現実空間における自己位置を推定する自己位置推定部と、
複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正部と、
前記空間データと、他の空間認識装置が生成した前記空間データと、を統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する空間データ統合部と、
前記統合空間データに基づいて推定された前記現実空間における前記自己位置を、前記他の空間認識装置に送信する自己位置共有部と、を有する
空間認識装置。
A space recognition device that recognizes the real space
A space recognition unit that recognizes the three-dimensional shape of the real space and generates spatial data,
A self-position estimation unit that estimates a self-position in the real space based on the spatial data,
A self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations, and a self-position correction unit.
A spatial data integration unit that integrates the spatial data and the spatial data generated by another spatial recognition device to generate integrated spatial data expressed in the same coordinate system having the same origin.
A space recognition device having a self-position sharing unit that transmits the self-position in the real space estimated based on the integrated space data to the other space recognition device.
第1の空間認識装置と、第2の空間認識装置と、を有し、
前記第1の空間認識装置は、
現実空間の3次元形状を認識して第1の空間データを生成する第1の空間認識部と、
前記第1の空間データに基づいて、前記現実空間における第1の自己位置を推定する第1の自己位置推定部と、
前記第1の空間データを前記第2の空間認識装置に送信する第1の空間データ統合部と、
前記第1の自己位置を前記第2の空間認識装置に送信する第1の自己位置共有部と、を有し、
前記第2の空間認識装置は、
前記現実空間の3次元形状を認識して第2の空間データを生成する第2の空間認識部と、
前記第2の空間データに基づいて、前記現実空間における第2の自己位置を推定する第2の自己位置推定部と、
前記第1の空間データと前記第2の空間データとを統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する第2の空間データ統合部と、
前記統合空間データに基づいて推定された前記現実空間における前記第2の自己位置を前記第1の空間認識装置に送信する第2の自己位置共有部と、を有し、
前記第1の空間認識装置又は前記第2の空間認識装置は自己位置補正部をさらに有し、
前記自己位置補正部は、複数のトータルステーションにより測定された前記第1の空間認識装置又は前記第2の空間認識装置の位置情報に基づいて、前記第1の自己位置推定部又は前記第2の自己位置推定部が推定した前記第1の自己位置又は前記第2の自己位置を補正する
空間認識システム。
It has a first space recognition device and a second space recognition device.
The first space recognition device is
A first space recognition unit that recognizes the three-dimensional shape of the real space and generates the first space data,
A first self-position estimation unit that estimates a first self-position in the real space based on the first spatial data, and a first self-position estimation unit.
A first spatial data integration unit that transmits the first spatial data to the second spatial recognition device, and
It has a first self-position sharing unit that transmits the first self-position to the second space recognition device, and has.
The second space recognition device is
A second space recognition unit that recognizes the three-dimensional shape of the real space and generates second space data,
A second self-position estimation unit that estimates the second self-position in the real space based on the second spatial data,
A second spatial data integration unit that integrates the first spatial data and the second spatial data to generate integrated spatial data represented by the same coordinate system having the same origin.
It has a second self-position sharing unit that transmits the second self-position in the real space estimated based on the integrated space data to the first space recognition device.
The first space recognition device or the second space recognition device further includes a self-position correction unit.
The self-position correction unit is the first self-position estimation unit or the second self based on the position information of the first space recognition device or the second space recognition device measured by a plurality of total stations. A space recognition system that corrects the first self-position or the second self-position estimated by the position estimation unit.
複数の空間認識装置と、サーバと、を有し、
前記空間認識装置は、
現実空間の3次元形状を認識して空間データを生成する空間認識部と、
前記空間データに基づいて、前記現実空間における自己位置を推定する自己位置推定部と、
複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正部と、を有し、
前記サーバは、
複数の前記空間認識装置が生成した前記空間データを統合し、同一の原点を有する同一の座標系で表現された統合空間データを生成する空間データ統合部と、
前記統合空間データに基づいて推定された前記現実空間における前記空間認識装置の前記自己位置を、他の空間認識装置に送信する自己位置共有部と、を有する
空間認識システム。
It has a plurality of space recognition devices and a server,
The space recognition device is
A space recognition unit that recognizes the three-dimensional shape of the real space and generates spatial data,
A self-position estimation unit that estimates a self-position in the real space based on the spatial data,
It has a self-position correction unit that corrects the self-position based on the position information of the space recognition device measured by a plurality of total stations.
The server
A spatial data integration unit that integrates the spatial data generated by the plurality of spatial recognition devices and generates integrated spatial data represented by the same coordinate system having the same origin.
A space recognition system including a self-position sharing unit that transmits the self-position of the space recognition device in the real space estimated based on the integrated space data to another space recognition device.
空間認識装置が、
現実空間の3次元形状を認識して空間データを生成する空間認識ステップと、
前記現実空間における自己位置を推定する自己位置推定ステップと、
複数のトータルステーションにより測定された前記空間認識装置の位置情報に基づいて、前記自己位置を補正する自己位置補正ステップと、
前記空間データと、他の空間認識装置が生成した前記空間データとを統合した統合空間データを生成する空間データ統合ステップと、
前記統合空間データに基づいて表現された前記自己位置を、前記他の空間認識装置に送信する自己位置共有ステップと、
を有する
空間認識方法。
The space recognition device
A space recognition step that recognizes the three-dimensional shape of the real space and generates spatial data,
The self-position estimation step for estimating the self-position in the real space and
A self-position correction step for correcting the self-position based on the position information of the space recognition device measured by a plurality of total stations, and a self-position correction step.
A spatial data integration step that generates integrated spatial data that integrates the spatial data and the spatial data generated by another spatial recognition device.
A self-position sharing step of transmitting the self-position expressed based on the integrated spatial data to the other space recognition device, and
Spatial recognition method with.
請求項4記載の方法をコンピュータに実行させるためのプログラム。 A program for causing a computer to execute the method according to claim 4.
JP2019214301A 2019-11-27 2019-11-27 Space recognition system, space recognition device, space recognition method and program Active JP6733927B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019214301A JP6733927B1 (en) 2019-11-27 2019-11-27 Space recognition system, space recognition device, space recognition method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019214301A JP6733927B1 (en) 2019-11-27 2019-11-27 Space recognition system, space recognition device, space recognition method and program

Publications (2)

Publication Number Publication Date
JP6733927B1 JP6733927B1 (en) 2020-08-05
JP2021085739A true JP2021085739A (en) 2021-06-03

Family

ID=71892263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019214301A Active JP6733927B1 (en) 2019-11-27 2019-11-27 Space recognition system, space recognition device, space recognition method and program

Country Status (1)

Country Link
JP (1) JP6733927B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012278A (en) * 2002-06-06 2004-01-15 Mitsubishi Heavy Ind Ltd Form and position measuring system
JP2014149712A (en) * 2013-02-01 2014-08-21 Sony Corp Information processing device, terminal device, information processing method, and program
WO2018194137A1 (en) * 2017-04-19 2018-10-25 小柳建設株式会社 Information processing device, information processing method, and program
CN110044326A (en) * 2019-04-16 2019-07-23 中铁上海工程局集团有限公司 Mountainous area highway application Trigonometric Leveling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012278A (en) * 2002-06-06 2004-01-15 Mitsubishi Heavy Ind Ltd Form and position measuring system
JP2014149712A (en) * 2013-02-01 2014-08-21 Sony Corp Information processing device, terminal device, information processing method, and program
WO2018194137A1 (en) * 2017-04-19 2018-10-25 小柳建設株式会社 Information processing device, information processing method, and program
CN110044326A (en) * 2019-04-16 2019-07-23 中铁上海工程局集团有限公司 Mountainous area highway application Trigonometric Leveling

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
株式会社インフォマテイクス: "GyroEye Holoの精度が約20倍に向上 HoloLensの実運用を強力に支援!", NEWS RELEASE, JPN6020003948, 28 May 2019 (2019-05-28), ISSN: 0004206882 *

Also Published As

Publication number Publication date
JP6733927B1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
JP7530415B2 (en) Displaying a virtual image of a building information model
US11565427B2 (en) Robot system
CN105607071B (en) A kind of indoor orientation method and device
CN114585875A (en) Metering system
CN110672097B (en) Indoor positioning and tracking method, device and system based on laser radar
CN113033280A (en) System and method for trailer attitude estimation
CN110796703A (en) Pose tracking system, pose tracking method and storage medium
WO2024062781A1 (en) Computing device, computing method, and program
US10388027B2 (en) Detection method, display apparatus, and detection system
US20240112406A1 (en) Bar arrangement inspection result display system
US11620846B2 (en) Data processing method for multi-sensor fusion, positioning apparatus and virtual reality device
CN210952856U (en) Indoor positioning and tracking device and system based on laser radar
JP6733927B1 (en) Space recognition system, space recognition device, space recognition method and program
WO2020235694A1 (en) Spatial recognition system, spatial recognition device, spatial recognition method, and program
US20230168377A1 (en) Survey system and method for controlling the survey system
US11869159B2 (en) High density 3D environment capture with guided mixed reality
KR101502071B1 (en) Camera Data Generator for Landmark-based Vision Navigation System and Computer-readable Media Recording Program for Executing the Same
US11002549B2 (en) Data processing device, data processing method, and data processing program
JP4677613B2 (en) 3D shape measurement system
JP2020042667A (en) Projection system, projection method, and program
JP2021157283A (en) Program, autonomous mobile device management device, management method and management system
JP6670682B2 (en) Position detection method and position detection system
Suppes et al. Robust obstacle detection from stereoscopic image sequences using kalman filtering
US20200363213A1 (en) Localization system, transportation device having the same, and computing device
WO2024204030A1 (en) Heavy equipment information acquisition method, system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191128

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191128

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200702

R150 Certificate of patent or registration of utility model

Ref document number: 6733927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250