JP7207915B2 - Projection system, projection method and program - Google Patents

Projection system, projection method and program Download PDF

Info

Publication number
JP7207915B2
JP7207915B2 JP2018170899A JP2018170899A JP7207915B2 JP 7207915 B2 JP7207915 B2 JP 7207915B2 JP 2018170899 A JP2018170899 A JP 2018170899A JP 2018170899 A JP2018170899 A JP 2018170899A JP 7207915 B2 JP7207915 B2 JP 7207915B2
Authority
JP
Japan
Prior art keywords
projection
information
space
recognition device
construction drawing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018170899A
Other languages
Japanese (ja)
Other versions
JP2020042667A (en
Inventor
幸治 金野
匡人 大見川
達也 橋口
亮 三瓶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyu Construction Co Ltd
Informatix Inc
Original Assignee
Tokyu Construction Co Ltd
Informatix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyu Construction Co Ltd, Informatix Inc filed Critical Tokyu Construction Co Ltd
Publication of JP2020042667A publication Critical patent/JP2020042667A/en
Application granted granted Critical
Publication of JP7207915B2 publication Critical patent/JP7207915B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

特許法第30条第2項適用 ▲1▼平成30年6月19日,日本マイクロソフト株式会社主催セミナにて発表 ▲2▼平成30年6月19日~21日,東京ビッグサイトにて発表 ▲3▼平成30年7月4日,空間情報シンポジウム(東京コンファレンスセンター・品川)にて発表 ▲4▼平成30年8月10日,株式会社インフォマティクスにて発表Application of Article 30, Paragraph 2 of the Patent Act ▲ 1 ▼ Announced at a seminar hosted by Microsoft Japan Co., Ltd. on June 19, 2018 ▲ 2 ▼ Announced at Tokyo Big Sight from June 19 to 21, 2018 ▲ 3 ▼ July 4, 2018, announced at the Spatial Information Symposium (Tokyo Conference Center, Shinagawa) ▲ 4 ▼ August 10, 2018, announced at Informatics Inc.

本発明は投影システム、投影方法及びプログラムに関し、特に投影システムの設置位置及び姿勢にかかわらず、現実空間の所定の位置に情報を投影する技術に関する。 The present invention relates to a projection system, a projection method, and a program, and more particularly to technology for projecting information onto a predetermined position in real space regardless of the installation position and orientation of the projection system.

従来、建設現場では紙の図面と現場の状況とを照らし合わせながら、墨出し、完成チェック及び点検などの工程を実施していた。近年、設計現場では3DCADを用いることが一般化しているが、施工現場においては今でもなお3DCADから出力した紙の図面が多く使用されている。 Conventionally, at construction sites, processes such as marking, completion checks, and inspections have been carried out while comparing paper drawings with the situation of the site. In recent years, the use of 3D CAD has become common at design sites, but paper drawings output from 3D CAD are still often used at construction sites.

紙図面を参照し、縮尺計算を行いながら、実測や確認等の作業を実施することは煩雑であり、非常に多くの工程を要する。また、間違いも生じやすい。そこで近年では、3DCADで作成されたモデルや当該モデルから作成される投影図を、ディスプレイに表示したりプロジェクタで投影したりすることにより、紙図面のデメリットを解消する試みがなされている。 It is cumbersome to perform operations such as actual measurement and confirmation while referring to paper drawings and performing scale calculations, and requires an extremely large number of steps. Also, mistakes are likely to occur. Therefore, in recent years, attempts have been made to eliminate the disadvantages of paper drawings by displaying a model created by 3D CAD or a projection drawing created from the model on a display or projecting it with a projector.

例えば特許文献1には、メガネ型ウェアラブル端末に木材の組立図を表示し、施工現場で参照可能としたシステムが記載されている。非特許文献1には、3次元CADで作成された設計データをレーザープロジェクタにより施工現場の床や壁や天井などに描画するシステムが開示されている。 For example, Patent Literature 1 describes a system in which an assembly drawing of wood is displayed on a glasses-type wearable terminal so that it can be referred to at a construction site. Non-Patent Document 1 discloses a system that draws design data created by three-dimensional CAD on the floor, walls, ceiling, etc. of a construction site by a laser projector.

特開2016-177473号公報JP 2016-177473 A

家入 龍太、“BIMを施工に!原寸図面を現場に映すレーザープロジェクター”、[online]、平成22年9月22日、日経xTECH、[平成30年7月12日検索]、インターネット<URL:http://tech.nikkeibp.co.jp/kn/article/it/column/20100917/543378/>Ryuta Ieiri, "BIM for construction! Laser projector that projects full-scale drawings on site", [online], September 22, 2010, Nikkei xTECH, [searched July 12, 2018], Internet <URL: http://tech.nikkeibp.co.jp/kn/article/it/column/20100917/543378/>

特許文献1記載のシステムは、眼鏡型のウェアラブルデバイスに単に図面を表示するというものである。図面が現実空間にマッピングされるわけではないので、図面中の要素の位置や縮尺等を人が解釈しなければならない。また、作業現場でウェアラブル端末を装着することが必要であるため、安全性の懸念が生じうる。さらに、ウェアラブル端末の装着者のみが画像を見ることが可能であり、複数人が同時に画像を見て作業を行うことができないという課題がある。 The system described in Patent Literature 1 simply displays a drawing on an eyeglass-type wearable device. Since the drawing is not mapped to the real space, the position and scale of the elements in the drawing must be interpreted by humans. Also, the need to wear the wearable terminal at the work site can raise safety concerns. Furthermore, there is a problem that only the person wearing the wearable terminal can see the image, and a plurality of people cannot see the image and work at the same time.

一方、非特許文献1記載のシステムは、施工現場の床や壁や天井などに図面を原寸で描画する。またウェアラブル端末を要せず、複数人で同時に図面を見ることができる。しかしながら、通常このようなシステムにおいては、プロジェクタを特定の位置に固定的に設置した上で、画像投影のキャリブレーションを行う工程が必要である。すなわち設置に手間がかかる。また、壁などの構造物や障害物が入り組んだ見通しの悪い現場では、固定されたプロジェクタから到達可能な投影面がきわめて限定されることがある。よって建設現場では使用しにくいという課題がある。さらに、プロジェクタから遠方の投影面に投影する場合は、投影面の不陸などによる誤差が大きくなるという問題がある。加えて、レーザープロジェクタはベクタ投影方式であるため、投影できる線の量に限界があり、設計図面等には不向きであるという問題がある。 On the other hand, the system described in Non-Patent Document 1 draws a drawing in its original size on the floor, walls, ceiling, etc. of a construction site. In addition, multiple people can view drawings at the same time without the need for wearable terminals. However, such a system usually requires a process of calibrating image projection after the projector is fixedly installed at a specific position. That is, it takes time and effort to install. In addition, at a site with poor visibility where structures such as walls and obstacles are intricate, the projection surface that can be reached from a fixed projector may be extremely limited. Therefore, there is a problem that it is difficult to use at construction sites. Furthermore, when projecting onto a projection surface far from the projector, there is a problem that errors due to unevenness of the projection surface become large. In addition, since the laser projector employs a vector projection method, there is a limit to the amount of lines that can be projected, and there is the problem that it is not suitable for design drawings.

本発明はこのような問題点を解決するためになされたものであり、投影システムの設置位置及び姿勢にかかわらず、現実空間の所定の位置に情報を投影することが可能な投影システム、投影方法及びプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made to solve such problems. and to provide programs.

本発明の一実施の形態にかかる投影システムは、建設図面を構造物表面に実寸投影する投影システムであって、空間認識装置と、投影装置とを含み、前記空間認識装置及び前記投影装置の相対位置及び相対姿勢は固定であり、前記空間認識装置は、ヘッドマウントディスプレイ、前記ヘッドマウントディスプレイの視野周辺の画像を捉えるカメラ又は前記視野周辺の物体までの距離を測定する深度センサ、及び自己の姿勢変化を取得する慣性センサを有し、前記カメラ又は前記深度センサから取得される情報に基づいて、現実空間における前記投影システムの現在位置を示す位置情報を取得する位置取得部と、前記慣性センサから取得される情報に基づいて、前記現実空間における前記投影システムの現在の姿勢を示す姿勢情報を取得する姿勢取得部と、前記位置情報及び前記姿勢情報を送信する送信部と、を有する。
本発明の一実施の形態にかかる投影システムにおいて、前記投影装置は、前記構造物にかかる3次元モデルのモデル情報を記憶するモデル記憶部と、前記位置情報及び前記姿勢情報を受信する位置姿勢情報受信部と、前記空間認識装置と前記投影装置との位置関係情報、モデル空間と前記現実空間とのマッピング情報を取得するとともに、前記構造物表面に投影面を設定する制御部と、前記位置情報及び前記位置関係情報より算出される視点と、前記姿勢情報及び前記位置関係情報より算出される視線と、前記投影面と、に基づいて前記3次元モデルの平行投影画像である前記建設図面を生成し、この際、前記視点、前記視線及び前記投影面と、前記3次元モデルと、の間においては前記マッピング情報に基づく座標変換が行われる投影画像生成部と、前記建設図面を前記投影面に実寸投影する投影部と、を有することを特徴とする。
本発明の一実施の形態にかかる投影システムにおいて、前記投影装置は、前記投影面に対し略垂直に前記図面を投影するよう姿勢制御される。
本発明の一実施の形態にかかる投影システムにおいて、前記投影システムの移動に応じて前記建設図面の投影領域が変化するとき、前記構造物表面における前記建設図面の投影位置及びスケールは維持される。
本発明の一実施の形態にかかる投影システムにおいて、前記投影システムと前記投影面との距離が変化するとき、前記構造物表面における前記建設図面の投影位置及びスケールは維持しつつ、前記建設図面の投影可能範囲が変化する。
本発明の一実施の形態にかかる投影方法は、空間認識装置と、投影装置とを使用して建設図面を構造物表面に実寸投影する投影方法であって、前記空間認識装置及び前記投影装置の相対位置及び相対姿勢は固定であり、前記空間認識装置は、ヘッドマウントディスプレイ、前記ヘッドマウントディスプレイの視野周辺の画像を捉えるカメラ又は前記視野周辺の物体までの距離を測定する深度センサ、及び自己の姿勢変化を取得する慣性センサを有し、前記カメラ又は前記深度センサから取得される情報に基づいて、現実空間における前記空間認識装置及び前記投影装置の現在位置を示す位置情報を取得するステップと、前記慣性センサから取得される情報に基づいて、前記現実空間における前記空間認識装置及び前記投影装置の現在の姿勢を示す姿勢情報を取得するステップと、前記空間認識装置と前記投影装置との位置関係情報を取得するステップと、モデル空間と前記現実空間とのマッピング情報を取得するステップと、前記構造物表面に投影面を設定するステップと、前記位置情報及び前記位置関係情報より算出される視点と、前記姿勢情報及び前記位置関係情報より算出される視線と、前記投影面と、に基づいて3次元モデルの平行投影画像である前記建設図面を生成し、この際、前記視点、前記視線及び前記投影面と、前記3次元モデルと、の間においては前記マッピング情報に基づく座標変換が行われるステップと、前記建設図面を前記投影面に実寸投影するステップと、を有することを特徴とする。
本発明の一実施の形態にかかる投影方法は、前記投影装置の姿勢を、前記投影面に対し略垂直に前記図面を投影するよう制御するステップをさらに有する。
請求項5記載の投影方法。
本発明の一実施の形態にかかる投影方法は、前記空間認識装置及び前記投影装置を移動させることにより、前記建設図面の投影領域を変化させるステップをさらに有し、この際、前記構造物表面における前記建設図面の投影位置及びスケールは維持される。
本発明の一実施の形態にかかる投影方法は、前記空間認識装置及び前記投影装置と、前記投影面と、の距離を変化させるステップをさらに有し、この際、前記構造物表面における前記建設図面の投影位置及びスケールは維持しつつ、前記建設図面の投影可能範囲が変化する。
本発明の一実施の形態にかかるプログラムは、コンピュータに上記投影方法を実行させる。
A projection system according to an embodiment of the present invention is a projection system for projecting a construction drawing onto a structure surface in full size, comprising a space recognition device and a projection device, wherein the space recognition device and the projection device are relative to each other. The position and relative orientation are fixed, and the space recognition device includes a head-mounted display, a camera that captures an image around the visual field of the head-mounted display, or a depth sensor that measures the distance to an object around the visual field, and its own orientation. a position acquisition unit having an inertial sensor that acquires changes, and acquiring position information indicating the current position of the projection system in real space based on information acquired from the camera or the depth sensor; An orientation acquisition unit that acquires orientation information indicating the current orientation of the projection system in the physical space based on the acquired information, and a transmission unit that transmits the position information and the orientation information.
In the projection system according to one embodiment of the present invention, the projection device includes a model storage unit that stores model information of a three-dimensional model of the structure, and position and orientation information that receives the position information and the orientation information. a receiving unit, a control unit that acquires positional relationship information between the space recognition device and the projection device and mapping information between the model space and the real space, and sets a projection plane on the surface of the structure; and a viewpoint calculated from the positional relationship information, a line of sight calculated from the posture information and the positional relationship information, and the projection plane, to generate the construction drawing, which is a parallel projection image of the three-dimensional model. At this time, a projection image generating unit that performs coordinate conversion based on the mapping information between the viewpoint, the line of sight, the projection plane, and the three-dimensional model; and the construction drawing onto the projection plane. and a projection unit that performs full-scale projection.
In the projection system according to one embodiment of the present invention, the projection device is posture-controlled so as to project the drawing substantially perpendicular to the projection plane.
In the projection system according to one embodiment of the present invention, when the projection area of the construction drawing changes according to the movement of the projection system, the projection position and scale of the construction drawing on the surface of the structure are maintained.
In the projection system according to one embodiment of the present invention, when the distance between the projection system and the projection plane changes, the projection position and scale of the construction drawing on the surface of the structure are maintained, while the construction drawing Projectable range changes.
A projection method according to an embodiment of the present invention is a projection method for projecting a construction drawing onto a structure surface in actual size using a space recognition device and a projection device, wherein the space recognition device and the projection device The relative position and relative orientation are fixed, and the space recognition device includes a head-mounted display, a camera that captures an image around the visual field of the head-mounted display, or a depth sensor that measures the distance to an object around the visual field, a step of acquiring position information indicating current positions of the spatial recognition device and the projection device in the real space, based on information acquired from the camera or the depth sensor, the inertial sensor acquiring posture changes; a step of acquiring orientation information indicating current orientations of the space recognition device and the projection device in the physical space based on information acquired from the inertial sensor; and a positional relationship between the space recognition device and the projection device. a step of obtaining information; a step of obtaining mapping information between the model space and the real space; a step of setting a projection plane on the surface of the structure; and a viewpoint calculated from the position information and the positional relationship information. , the line of sight calculated from the posture information and the positional relationship information, and the projection plane, generating the construction drawing, which is a parallel projection image of the three-dimensional model, wherein the viewpoint, the line of sight, and the The method is characterized by comprising the step of performing coordinate conversion between the projection plane and the three-dimensional model based on the mapping information, and the step of projecting the construction drawing onto the projection plane in actual size.
A projection method according to an embodiment of the present invention further comprises controlling the attitude of the projection device so as to project the drawing substantially perpendicularly to the projection plane.
The projection method according to claim 5.
The projection method according to one embodiment of the present invention further includes the step of changing the projection area of the construction drawing by moving the space recognition device and the projection device, and at this time, The projected position and scale of the construction drawing are maintained.
A projection method according to an embodiment of the present invention further includes a step of changing a distance between the space recognition device and the projection device and the projection plane, wherein the construction drawing on the surface of the structure is changed. While maintaining the projection position and scale of the construction drawing, the projectable range of the construction drawing changes.
A program according to an embodiment of the present invention causes a computer to execute the above projection method.

本発明により、投影システムの設置位置及び姿勢にかかわらず、現実空間の所定の位置に情報を投影することが可能な投影システム、投影方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide a projection system, a projection method, and a program capable of projecting information onto a predetermined position in the physical space regardless of the installation position and orientation of the projection system.

投影システム1のハードウェア構成の概略を示すブロック図である。2 is a block diagram showing an outline of the hardware configuration of the projection system 1; FIG. 投影システム1の機能構成の概略を示すブロック図である。2 is a block diagram showing an outline of the functional configuration of the projection system 1; FIG. 投影システム1の動作の態様を示す図である。4A and 4B are diagrams showing modes of operation of the projection system 1; FIG.

まず、図1を用いて投影システム1のハードウェア面について説明する。次に、図2を用いて投影システム1の機能面について説明する。投影システム1の機能は、典型的にはソフトウェアによる情報処理がハードウェアと協働して実行されることにより論理的に実現されるものである。 First, the hardware aspect of the projection system 1 will be described using FIG. Next, functional aspects of the projection system 1 will be described with reference to FIG. The functions of the projection system 1 are typically logically realized by executing information processing by software in cooperation with hardware.

図1は、本発明の実施の形態にかかる投影システム1のハードウェア構成の概略を示すブロック図である。投影システム1は、空間認識装置10、投影装置20を含む。 FIG. 1 is a block diagram showing an outline of the hardware configuration of a projection system 1 according to an embodiment of the invention. A projection system 1 includes a space recognition device 10 and a projection device 20 .

空間認識装置10は、自装置の現実空間内の現在位置と、姿勢と、を認識可能な装置である。本実施の形態では、空間認識装置10は、現実空間と同じスケール及び次元を持った空間認識装置10独自の座標系で計測した座標を、現実空間内の現在位置として検知する機能を備える。本実施の形態では、このようにして検知した位置座標を、現実空間の座標系における位置座標ともいう。また、空間認識装置10は、上述の独自の座標系における自装置の姿勢、すなわち各座標軸に対する角度を検知する機能を備える。 The space recognition device 10 is a device capable of recognizing the current position and orientation of its own device in the physical space. In this embodiment, the space recognition device 10 has a function of detecting, as the current position in the physical space, coordinates measured in a coordinate system unique to the space recognition device 10 having the same scale and dimensions as those of the physical space. In the present embodiment, the position coordinates detected in this manner are also referred to as position coordinates in the coordinate system of the physical space. The space recognition device 10 also has a function of detecting the orientation of the device itself in the unique coordinate system described above, that is, the angle with respect to each coordinate axis.

本実施の形態では、空間認識装置10としてMicrosoft社のHoloLens(登録商標)を使用する例について主に説明する。HoloLensは、種々のセンサ、情報処理装置、HMD(ヘッドマウントディスプレイ)が統合されたウェアラブルデバイスである。但し本実施の形態では、HoloLensをウェアラブルデバイスとしてではなく、センサ情報を取得及び処理して送信するための装置として利用する。HoloLensは、周辺の画像を捉えて動きを検出するための空間認識カメラ、自己位置を高精度に推定するための空間認識カメラ、視野周辺の物体までの距離(深度)を計測する深度センサ、自己の姿勢変化を取得する慣性センサを有し、これらを総合的に使用して周囲の現実空間に存在する面(壁、床、天井、家具など)すなわち周囲の空間形状を認識し、認識した現実空間内での自己の位置及び姿勢を認識することができる。本実施の形態では、認識した自己の位置及び姿勢の情報を適当な形式に変換して送信するプログラムをHoloLens内に配置する。 In this embodiment, an example using Microsoft's HoloLens (registered trademark) as the space recognition device 10 will be mainly described. HoloLens is a wearable device in which various sensors, an information processing device, and an HMD (head mounted display) are integrated. However, in this embodiment, HoloLens is used not as a wearable device but as a device for acquiring, processing, and transmitting sensor information. HoloLens has a spatial recognition camera for capturing images of the surroundings and detecting movement, a spatial recognition camera for estimating the self-position with high accuracy, a depth sensor for measuring the distance (depth) to objects around the visual field, self- It has an inertial sensor that acquires the posture change of the body, and comprehensively uses these to recognize the surface (wall, floor, ceiling, furniture, etc.) that exists in the surrounding real space, that is, the shape of the surrounding space, and the recognized reality It can recognize its own position and posture in space. In this embodiment, a program for converting the recognized self position and orientation information into an appropriate format and transmitting the information is arranged in the HoloLens.

すなわち空間認識装置10は、自装置の現在位置及び姿勢を検出するためのハードウェア及びソフトウェアを有する。換言すれば、空間認識装置10は、自装置の位置に人が立っているものと仮定すると、人の視点(眼の位置)及び視線の向きに相当するパラメータを送信することができる。 That is, the space recognition device 10 has hardware and software for detecting the current position and orientation of its own device. In other words, assuming that a person is standing at the position of the space recognition device 10, the space recognition device 10 can transmit parameters corresponding to the person's viewpoint (eye position) and line of sight direction.

空間認識装置10の他の例として、HoloLensと同様にセンサ類および情報処理機能を備えて自己の位置を能動的に取得する装置(ドローンやロボット等)を用いても良い。あるいは、自己の位置は、外部の装置により計測を行って受動的に取得しても良く、例えばターゲットプリズム、ジャイロセンサ、トータルステーション、情報処理装置を含むユニットを空間認識装置10として用いても良い。トータルステーションは、ターゲットプリズムを追尾して現実空間の座標系における位置座標を測定する。ジャイロセンサは、ターゲットプリズムの姿勢変化を検出する。情報処理装置は、現実空間の座標系と、モデル空間の座標系と、の対応関係を予め保持しており、現実空間におけるターゲットプリズムの位置座標を、モデル空間の位置座標に変換する。あるいは、衛星測位信号の受信装置、ジャイロセンサ、情報処理装置を含むユニットを空間認識装置10として用いても良い。衛星測位信号の受信装置は、複数の衛星から送信される測位信号を受信及び解析することにより、自装置の現実空間の座標系における位置座標を算出する。このような衛星測位システム(GNSS:Global Navigation Satellite System)には、例えばGPS(Global Positioning System)、GLONASS(Global Navigation Satellite System)、Galileo、QZSS(Quasi-Zenith Satellite System)等がある。ジャイロセンサは、受信装置の姿勢変化を検出する。情報処理装置は、現実空間の座標系と、モデル空間の座標系と、の対応関係を予め保持しており、現実空間における受信装置の位置座標を、モデル空間の位置座標に変換する。なお、上記何れの場合も、ジャイロセンサの代わりに又は併用して、HoloLensと同様に周辺カメラ画像を用いた自己位置検出を行っても良い。また、複数のプリズムや、複数の衛星測位信号の受信装置を用いて姿勢検出を行っても良い。 As another example of the space recognition device 10, a device (drones, robots, etc.) that actively acquires its own position by having sensors and information processing functions similar to HoloLens may be used. Alternatively, the self position may be acquired passively by measuring with an external device. The total station tracks the target prism and measures the position coordinates in the coordinate system of the real space. A gyro sensor detects the attitude change of the target prism. The information processing device holds in advance the correspondence between the coordinate system of the real space and the coordinate system of the model space, and converts the positional coordinates of the target prism in the real space into the positional coordinates of the model space. Alternatively, a unit including a satellite positioning signal receiver, a gyro sensor, and an information processing device may be used as the space recognition device 10 . A satellite positioning signal receiving device receives and analyzes positioning signals transmitted from a plurality of satellites, thereby calculating the position coordinates of its own device in the coordinate system of the real space. Such satellite positioning systems (GNSS: Global Navigation Satellite System) include, for example, GPS (Global Positioning System), GLONASS (Global Navigation Satellite System), Galileo, QZSS (Quasi-Zenith Satellite) systems, and the like. A gyro sensor detects a posture change of the receiving device. The information processing device holds in advance the correspondence between the coordinate system of the real space and the coordinate system of the model space, and converts the positional coordinates of the receiving device in the real space into the positional coordinates of the model space. In any of the above cases, instead of or in combination with the gyro sensor, self-position detection using peripheral camera images may be performed similarly to HoloLens. Also, attitude detection may be performed using a plurality of prisms or a plurality of receivers for satellite positioning signals.

投影装置20は、モデルの平行投影画像を現実空間内の所定の投影面に実寸投影する装置である。平行投影画像には、典型的には平面図や立面図が含まれる。投影面への投影とは、典型的には壁、床、天井等の平面に画像を投影する形態が想定されるが、例えばホログラム等の技術により空中の所定位置に画像を投影するような形態も含まれる。投影装置20は、モデルから投影画像を生成する情報処理装置21と、生成された投影画像を投影するプロジェクタ22と、を含む。情報処理装置21は、典型的にはパーソナルコンピュータである。プロジェクタ22は、ラスタ画像を任意の投影面に投影可能な装置であり、例えば液晶プロジェクタ等である。 The projection device 20 is a device that projects a parallel projection image of a model onto a predetermined projection plane in the physical space. Parallel projection images typically include plan and elevation views. Projection onto a projection plane typically involves projecting an image onto a flat surface such as a wall, floor, or ceiling. is also included. The projection device 20 includes an information processing device 21 that generates a projection image from a model, and a projector 22 that projects the generated projection image. The information processing device 21 is typically a personal computer. The projector 22 is a device capable of projecting a raster image onto an arbitrary projection plane, such as a liquid crystal projector.

本実施の形態では、空間認識装置10と投影装置20とは、相対的な位置(空間認識装置10の位置と投影装置20の位置との差)及び姿勢(空間認識装置10の視線方向と投影装置20の投影方向とのなす角度)が固定されているものとする。例えば、空間認識装置10と投影装置20とを同じ筐体又は架台等に固定して格納することで、両装置の相対的な位置及び姿勢(角度)を固定化できる。なお、空間認識装置10と投影装置20との相対的な位置及び姿勢が可変であるような方式については、これらの値の変化を逐次制御部205が取得できるように構成することで実現が可能である。 In the present embodiment, the space recognition device 10 and the projection device 20 have relative positions (difference between the position of the space recognition device 10 and the position of the projection device 20) and orientations (line-of-sight direction of the space recognition device 10 and projection device 20). angle formed with the projection direction of the device 20) is fixed. For example, by fixing and storing the space recognition device 10 and the projection device 20 in the same housing or frame, the relative position and orientation (angle) of both devices can be fixed. A method in which the relative positions and orientations of the space recognition device 10 and the projection device 20 are variable can be realized by configuring the control unit 205 to sequentially acquire changes in these values. is.

また投影システム1は、ホイール、クローラ、多脚、飛翔用プロペラ等の移動手段を備える筐体又は架台等に固定する構成としても良い。これらの移動手段によれば、リモートコントロールによる移動、又は所定のアルゴリズムによる自走(作業者への追従など)により、任意の位置へ投影システム1を移動させることができる。あるいは、投影システム1はレール等の軌道上を移動可能な構成を備えても良い。壁面投影を行う場合は、壁面から一定の距離を保つことが望ましいため、予め壁面から所定の距離を隔てて敷設されたレールによる移動が好適である。 Moreover, the projection system 1 may be configured to be fixed to a housing or a frame that includes moving means such as wheels, crawlers, multi-legs, propellers for flight, or the like. With these moving means, the projection system 1 can be moved to an arbitrary position by movement by remote control or self-running (following the operator, etc.) according to a predetermined algorithm. Alternatively, the projection system 1 may be configured to be movable on a track such as a rail. In the case of wall projection, it is desirable to keep a certain distance from the wall surface, so it is preferable to move using rails laid in advance at a predetermined distance from the wall surface.

また投影システム1は、リモートコントロールにより、又は所定のアルゴリズムにより自動的に、姿勢を変化させるための機構を備えることが好ましい。これにより、投影面を自在に選択して投影画像を投影することが可能となる。加えて、投影方向を保つために、例えばアクティブ、またはパッシブなジンバル機構を備えることにより、投影面に対して略垂直に投影画像を投影することができる。 Also, the projection system 1 preferably has a mechanism for changing the attitude by remote control or automatically by a predetermined algorithm. This makes it possible to freely select a projection plane and project a projection image. In addition, by providing an active or passive gimbal mechanism, for example, to maintain the projection direction, the projection image can be projected substantially perpendicular to the projection plane.

図2は、投影システム1の機能構成を示すブロック図である。投影システム1の空間認識装置10は、位置取得部101、姿勢取得部102、送信部103を有する。投影装置20は、モデル記憶部201、位置姿勢情報受信部202、投影画像生成部203、投影部204、制御部205を有する。 FIG. 2 is a block diagram showing the functional configuration of the projection system 1. As shown in FIG. The space recognition device 10 of the projection system 1 has a position acquisition section 101 , an orientation acquisition section 102 and a transmission section 103 . The projection device 20 has a model storage unit 201 , a position and orientation information reception unit 202 , a projection image generation unit 203 , a projection unit 204 and a control unit 205 .

位置取得部101は、投影システム1の現在位置、より厳密には空間認識装置10の現在位置を取得する。上述のように、例えば深度センサやジャイロセンサ等の出力値を用いることにより、又はトータルステーションや衛星測位信号の受信装置の出力値を用いることにより、現在位置を取得できる。 The position acquisition unit 101 acquires the current position of the projection system 1 , more strictly the current position of the space recognition device 10 . As described above, the current position can be obtained by using the output values of a depth sensor, a gyro sensor, or the like, or by using the output values of a total station or a receiver for satellite positioning signals.

姿勢取得部102は、投影システム1の姿勢、より厳密には空間認識装置10の姿勢を取得する。例えばジャイロセンサの出力値を用いることにより、姿勢を取得できる。 The orientation acquisition unit 102 acquires the orientation of the projection system 1 , more strictly the orientation of the space recognition device 10 . For example, the attitude can be acquired by using the output value of the gyro sensor.

送信部103は、位置取得部101が取得した現在位置を示す位置情報、及び姿勢取得部102が取得した姿勢を示す姿勢情報を、投影装置20の位置姿勢情報受信部202に対して送信する。好ましくは、送信部103は十分に短い一定時間毎に、又は測定値に一定の変化が生じる毎に、位置情報及び姿勢情報を送信する。 The transmission unit 103 transmits the position information indicating the current position acquired by the position acquisition unit 101 and the orientation information representing the orientation acquired by the orientation acquisition unit 102 to the position/orientation information reception unit 202 of the projection device 20 . Preferably, the transmitting unit 103 transmits the position information and the attitude information at sufficiently short fixed time intervals or whenever a fixed change occurs in the measured value.

本実施の形態では、現在位置は、空間認識装置10が持つ現実空間と同スケールかつ同次元の座標系の座標値で出力されるものとする。この空間認識装置10の座標系、すなわち現実空間の座標系は、典型的にはX,Y,Zの3軸の直交座標系である。この場合、姿勢は上記X,Y,Zの各軸まわりの回転角で表現されうる。この条件は本発明を限定する趣旨でなく、説明の便宜のために定めるものにすぎない。例えば送信部103は、本実施の形態によらず、モデル空間の座標系で表現した現在位置及び姿勢を出力しても良い。この場合、例えば送信部103が現実空間の座標系からモデル座標系への変換を担うことになる。 In this embodiment, it is assumed that the current position is output as coordinate values of a coordinate system having the same scale and dimension as the physical space possessed by the space recognition device 10 . The coordinate system of the space recognition device 10, that is, the coordinate system of the real space is typically a three-axis orthogonal coordinate system of X, Y, and Z. As shown in FIG. In this case, the orientation can be represented by rotation angles around the X, Y, and Z axes. This condition is not meant to limit the present invention, but merely defined for convenience of explanation. For example, the transmission unit 103 may output the current position and orientation represented by the coordinate system of the model space, regardless of the present embodiment. In this case, for example, the transmission unit 103 is in charge of conversion from the coordinate system of the real space to the model coordinate system.

モデル記憶部201は、モデルを所定の記憶領域に予め格納する。典型的には、モデルはCAD等で作成された2次元又は3次元データである。例えば、建築物の設計図書であって、意匠、構造、設備、施工に関する各種オブジェクトや画像等を含む3次元データがモデルとして格納される。通常、モデルは独自の座標系(モデル座標系又はモデル空間の座標系という)に基づいて作成されている。モデル座標系によって定義される空間をモデル空間という。 The model storage unit 201 stores models in advance in a predetermined storage area. Typically, the model is two-dimensional or three-dimensional data created by CAD or the like. For example, it is a building design document, and three-dimensional data including various objects and images related to design, structure, equipment, and construction is stored as a model. A model is usually created based on its own coordinate system (referred to as a model coordinate system or a model space coordinate system). A space defined by the model coordinate system is called a model space.

位置姿勢情報受信部202は、空間認識装置10の送信部103が出力した現在位置及び姿勢を随時取得する。 The position/orientation information reception unit 202 acquires the current position and orientation output by the transmission unit 103 of the space recognition device 10 at any time.

制御部205は、空間認識装置10と投影装置20との位置関係情報、モデルと現実空間とのマッピング情報、及び投影面情報を設定する。 The control unit 205 sets positional relationship information between the space recognition device 10 and the projection device 20, mapping information between the model and the real space, and projection plane information.

空間認識装置10と投影装置20との位置関係情報とは、現実空間の座標系における、空間認識装置10の現在位置と、投影装置20の現在位置との差を示す情報であり、典型的にはベクトルとして与えられる。制御部205は、例えば空間認識装置10と投影装置20とを筐体又は架台等に固定した際に、ユーザによる位置関係情報の入力を受け付ける。 The positional relationship information between the space recognition device 10 and the projection device 20 is information indicating the difference between the current position of the space recognition device 10 and the current position of the projection device 20 in the coordinate system of the real space. is given as a vector. The control unit 205 receives input of positional relationship information from the user, for example, when the space recognition device 10 and the projection device 20 are fixed to a housing, a frame, or the like.

モデル空間と現実空間とのマッピング情報とは、モデル空間と現実空間とを対応づけ、座標系を相互変換するための情報であり、典型的には変換行列として与えられる。制御部205は、例えば現実空間とモデル空間の同期を任意に切り替える機能を備え、同期が開始されたときに現実空間とモデル空間のマッピングを行う、すなわち対応関係を固定することができる。同期を行っていない状態では、投影システム1は通常のプロジェクタと同様に動作し、投影システム1の移動と共に投影画像が移動する。この状態で、現実空間にある墨の線(基準線)とモデル内に予め用意した対応する線とが一致するよう、投影システム1の位置や姿勢等を調整する。ここで同期を開始すると、投影システム1は、現実空間とモデル空間とのマッピングを行う。すなわち、空間認識装置10が認識している現実空間の座標系と、モデル空間の座標系と、を相互変換するための変換マトリクスを算出する。 The mapping information between the model space and the real space is information for associating the model space with the real space and interconverting the coordinate systems, and is typically given as a transformation matrix. The control unit 205 has, for example, a function to arbitrarily switch synchronization between the real space and the model space, and can perform mapping between the real space and the model space when synchronization is started, that is, can fix the correspondence relationship. Without synchronization, the projection system 1 operates like a normal projector, and the projection image moves as the projection system 1 moves. In this state, the position, attitude, etc. of the projection system 1 are adjusted so that the black line (reference line) in the real space and the corresponding line prepared in advance in the model match. When synchronization is started here, the projection system 1 performs mapping between the real space and the model space. That is, a conversion matrix is calculated for mutual conversion between the coordinate system of the real space recognized by the space recognition device 10 and the coordinate system of the model space.

投影面情報とは、現実空間における投影画像の投影面を示す情報であり、典型的には空間認識装置10が認識した現実空間内の面(壁、床、天井など)のうち、視点から投影方向に投影線を延ばした際に最初に干渉する面が選択される。又は、壁、床、天井などの投影面までの距離を測定する複数のレーザ測距器を投影システム1に含めることで、投影面を特定することも可能である。すなわち、上述の深度センサに代えて、複数のレーザ測距機により、視線方向の深度(障害物までの距離)を測定する。これにより、投影面までの距離、投影面の向きや形状等を特定できる。 The projection plane information is information indicating the projection plane of the projected image in the real space. The face that interferes first when extending the projection line in the direction is selected. Alternatively, the projection plane can be specified by including a plurality of laser rangefinders in the projection system 1 that measure the distance to the projection plane such as walls, floors, and ceilings. That is, instead of the depth sensor described above, a plurality of laser rangefinders are used to measure the depth in the direction of the line of sight (the distance to the obstacle). This makes it possible to identify the distance to the projection plane, the orientation and shape of the projection plane, and the like.

投影画像生成部203は、モデル記憶部201に記憶されているモデルを、制御部205で設定された空間認識装置10と投影装置20との位置関係情報、モデルと現実空間とのマッピング情報、及び投影面情報に基づいて平行投影した投影画像を生成する。平行投影とは平行な投影線を用いた投影図法であり、3次元の設計データから例えば平面図や立面図等の2次元図面を生成することができる。 The projection image generation unit 203 converts the model stored in the model storage unit 201 into positional relationship information between the space recognition device 10 and the projection device 20 set by the control unit 205, mapping information between the model and the real space, and A parallel-projected projection image is generated based on the projection plane information. Parallel projection is a projection method using parallel projection lines, and can generate two-dimensional drawings such as plan views and elevation views from three-dimensional design data.

平行投影画像は、モデル空間内に視点、視線(投影線)及び投影面を定義することにより生成することが可能である(公知技術であるため詳細は省略する)。投影画像生成部203は、送信部103が出力した空間認識装置10の現在位置、及び制御部205で設定された空間認識装置10と投影装置20との位置関係情報に基づいて、現実空間における視点を算出する。また、投影画像生成部203は、送信部103が出力した空間認識装置10の姿勢、及び制御部205で設定された空間認識装置10と投影装置20との位置関係情報に基づいて、現実空間における投影装置20視線すなわち投影方向を算出する。現実空間における投影面は、制御部205で設定された投影面情報である。投影画像生成部203は、現実空間における視点、視線及び投影面を、モデルと現実空間とのマッピング情報に基づいて、モデル空間における視点、視線及び投影面に変換する。これらの処理の後に公知技術を適用することで、平行投影画像が得られる。この平行投影画像を現実空間に投影することにより、あたかもモデルが現実空間内にあるかのような体験がもたらされる。 A parallel projection image can be generated by defining a viewpoint, a line of sight (projection line), and a projection plane in the model space (details are omitted since this is a known technique). The projection image generation unit 203 generates a viewpoint in the real space based on the current position of the space recognition device 10 output by the transmission unit 103 and the positional relationship information between the space recognition device 10 and the projection device 20 set by the control unit 205. Calculate In addition, the projection image generation unit 203 generates an image in the real space based on the orientation of the space recognition device 10 output by the transmission unit 103 and the positional relationship information between the space recognition device 10 and the projection device 20 set by the control unit 205. The line of sight of the projection device 20, ie the direction of projection, is calculated. The projection plane in the physical space is projection plane information set by the control unit 205 . The projection image generation unit 203 converts the viewpoint, line of sight, and projection plane in the real space into the viewpoint, line of sight, and projection plane in the model space based on the mapping information between the model and the real space. Parallel projection images are obtained by applying known techniques after these processes. By projecting this parallel projection image onto the real space, an experience as if the model were in the real space is provided.

投影画像生成部203は、送信部103から新たな位置情報及び姿勢情報を取得した場合には、その都度投影画像を再生成する。すなわち投影画像生成部203は、空間認識装置10が観測する投影システム1の現在位置又は姿勢が変化した場合に、現在位置又は姿勢の変化に応じて投影画像を更新する。現在位置又は姿勢が変化すると、投影面上に投影画像が表示される領域(投影領域)が当然に変化していくが、本実施の形態では現実空間の座標系とモデル座標系とがマッピングされているため、投影領域内に表示されるオブジェクトと現実空間との位置関係は変化しない。つまり、現実空間では、同じ位置にいつも同じオブジェクトが投影されているように見える。図3を用いて説明する。図3は、投影システム1の現在位置又は姿勢が変化した場合における投影システム1の動作を示す図である。図3下図は、投影画像生成部203が投影しようとしている3次元オブジェクトを示している。図3上図において、破線の矩形は時刻tにおける投影画像の表示領域、すなわち投影領域を示している。破線の線分は、時刻tにおける3次元オブジェクトの平行投影画像である。この後、時刻t+1までの間に、空間認識装置10の現在位置が変化したものとする。実線の矩形は時刻t+1における投影領域を示している。実線の線分は、時刻t+1における3次元オブジェクトの平行投影画像である。ここで、時刻tと時刻t+1とで重複する投影領域においては、投影画像が変化していないことが分かる。このような特徴により、投影画像生成部203は、空間認識装置10の現在位置及び姿勢にかかわらず、現実空間の所定の位置にオブジェクトを投影することができる。例えば、空間認識装置10の現在位置及び姿勢にかかわらず、施工現場の所定の位置に墨出しを行うことが可能である。 The projection image generation unit 203 regenerates the projection image each time new position information and orientation information are acquired from the transmission unit 103 . That is, when the current position or orientation of the projection system 1 observed by the space recognition device 10 changes, the projection image generation unit 203 updates the projection image according to the change in the current position or orientation. When the current position or orientation changes, the region where the projected image is displayed on the projection plane (projection region) naturally changes. Therefore, the positional relationship between the object displayed in the projection area and the real space does not change. In other words, in real space, it seems that the same object is always projected at the same position. Description will be made with reference to FIG. FIG. 3 is a diagram showing the operation of the projection system 1 when the current position or orientation of the projection system 1 is changed. The lower diagram in FIG. 3 shows a three-dimensional object that the projection image generation unit 203 is about to project. In the upper diagram of FIG. 3, the dashed rectangle indicates the display area of the projection image at time t, that is, the projection area. A dashed line segment is a parallel projection image of the three-dimensional object at time t. After that, it is assumed that the current position of the space recognition device 10 has changed until time t+1. A solid-line rectangle indicates the projection area at time t+1. A solid line segment is a parallel projection image of the three-dimensional object at time t+1. Here, it can be seen that the projection image does not change in the projection area overlapping at time t and time t+1. With such features, the projection image generation unit 203 can project an object at a predetermined position in the physical space regardless of the current position and orientation of the space recognition device 10 . For example, regardless of the current position and orientation of the space recognition device 10, it is possible to mark a predetermined position on the construction site.

なお、現実空間内でモデルを投影しながら一定の範囲の作業を行った後、作業が次の基準線付近に到達した時点で、必要に応じて、再度同期停止、調整、同期開始を行うことで、広い範囲に渡って、一定の誤差内での墨出し作業が可能となる。 In addition, after performing a certain range of work while projecting the model in the real space, when the work reaches near the next reference line, stop synchronization, adjust, and start synchronization again as necessary. This makes it possible to perform marking work within a certain margin of error over a wide range.

投影部204は、投影画像生成部203が生成した投影画像を現実空間の投影面(壁、床、天井など)に投影する。投影部204は、投影可能な情報量の観点からは、ラスタ画像としての投影画像を投影可能であることが好ましい。また投影部204は、必要に応じ、投影画像の投影倍率や、投影画像の縦横比率等を適宜調整可能であることが好ましい。情報処理装置21とプロジェクタ22との間で、解像度の縦横比等が異なる場合があるためである。なお、この調整機能は投影画像生成部203に設けても良い。 The projection unit 204 projects the projection image generated by the projection image generation unit 203 onto a projection surface (wall, floor, ceiling, etc.) in the physical space. From the viewpoint of the amount of information that can be projected, the projection unit 204 is preferably capable of projecting a projection image as a raster image. Moreover, it is preferable that the projection unit 204 can appropriately adjust the projection magnification of the projected image, the aspect ratio of the projected image, and the like as necessary. This is because the aspect ratio of the resolution and the like may differ between the information processing device 21 and the projector 22 . Note that this adjustment function may be provided in the projection image generation unit 203 .

本実施の形態によれば、投影システム1は、プロジェクタ等により投影画像を現実空間に投影する。例えば、施工現場に投影された図面情報を、その場にいる全員で同時に見ながら作業を進めることができる。これにより、ウェアラブルデバイスのような作業現場での安全性の懸念、情報の共有や共同作業の困難性といった問題を払拭できる。 According to the present embodiment, the projection system 1 projects a projection image onto the physical space using a projector or the like. For example, it is possible to proceed with the work while simultaneously viewing the drawing information projected on the construction site. This eliminates workplace safety concerns and difficulties in sharing information and collaborating with wearable devices.

本実施の形態によれば、投影システム1は、システムの現在位置及び姿勢を自動的に検出して、現在位置及び姿勢に応じた投影画像を随時生成、投影する。これにより、システムが移動し、姿勢が変化したとしても、現実空間に継続的に投影画像を投影できる。この際、投影領域は変化しうるものの、個々のオブジェクトの現実空間での投影位置は変化しない。したがって、例えば作業現場において投影システム1を自在に動かしながら、任意の投影面(壁、床、天井など)に図面等を投影することができる。構造物や障害物が入り組んだ現場であっても、投影システム1が入り込める空間があれば、例えば短焦点プロジェクタ等を採用することにより、空間内に投影画像を投影することが可能である。また、プロジェクタの高さや投影面からの距離等を適宜変更することで、投影領域を拡大又は縮小し、投影画像に含まれる情報(コンテンツ)の量を調整することも可能である。 According to this embodiment, the projection system 1 automatically detects the current position and orientation of the system, and generates and projects projection images according to the current position and orientation as needed. As a result, even if the system moves and its posture changes, it is possible to continuously project projection images onto the physical space. At this time, although the projection area may change, the projection position of each object in the real space does not change. Therefore, for example, while freely moving the projection system 1 at a work site, a drawing or the like can be projected onto an arbitrary projection plane (wall, floor, ceiling, etc.). Even in a site where structures and obstacles are intricate, if there is a space into which the projection system 1 can enter, a projection image can be projected into the space by employing a short-focus projector or the like. Further, by appropriately changing the height of the projector, the distance from the projection plane, and the like, it is possible to enlarge or reduce the projection area and adjust the amount of information (content) included in the projection image.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。 It should be noted that the present invention is not limited to the above embodiments, and can be modified as appropriate without departing from the scope of the invention.

また本発明を構成する各処理部は、ハードウェアにより構成されるものであってもよく、任意の処理をCPUにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。 Further, each processing unit that constitutes the present invention may be configured by hardware, or may be implemented by causing a CPU to execute a computer program to perform arbitrary processing. Computer programs may also be stored and provided to computers using various types of transitory or non-transitory computer-readable media. Transitory computer-readable media include, for example, electromagnetic signals supplied to a computer by wire or wirelessly.

1 投影システム
10 空間認識装置
20 投影装置
21 情報処理装置
22 プロジェクタ
101 位置取得部
102 姿勢取得部
103 送信部
201 モデル記憶部
202 位置姿勢情報受信部
203 投影画像生成部
204 投影部
205 制御部
1 projection system 10 space recognition device 20 projection device 21 information processing device 22 projector 101 position acquisition unit 102 orientation acquisition unit 103 transmission unit 201 model storage unit 202 position and orientation information reception unit 203 projection image generation unit 204 projection unit 205 control unit

Claims (9)

建設図面を構造物表面に実寸投影する投影システムであって、
空間認識装置と、投影装置とを含み、
前記空間認識装置及び前記投影装置の相対位置及び相対姿勢は固定であり、
前記空間認識装置は、ヘッドマウントディスプレイ、前記ヘッドマウントディスプレイの視野周辺の画像を捉えるカメラ又は前記視野周辺の物体までの距離を測定する深度センサ、及び自己の姿勢変化を取得する慣性センサ有し、
前記カメラ又は前記深度センサから取得される情報に基づいて、現実空間における前記投影システムの現在位置を示す位置情報を取得する位置取得部と、
記慣性センサから取得される情報に基づいて、前記現実空間における前記投影システムの現在の姿勢を示す姿勢情報を取得する姿勢取得部と、
前記位置情報及び前記姿勢情報を送信する送信部と、を有し、
前記投影装置は、
前記構造物にかかる3次元モデルのモデル情報を記憶するモデル記憶部と、
前記位置情報及び前記姿勢情報を受信する位置姿勢情報受信部と、
前記空間認識装置と前記投影装置との位置関係情報、モデル空間と前記現実空間とのマッピング情報を取得するとともに、前記構造物表面に投影面を設定する制御部と、
前記位置情報及び前記位置関係情報より算出される視点と、前記姿勢情報及び前記位置関係情報より算出される視線と、前記投影面と、に基づいて前記3次元モデルの平行投影画像である前記建設図面を生成し、
この際、前記視点、前記視線及び前記投影面と、前記3次元モデルと、の間においては前記マッピング情報に基づく座標変換が行われる投影画像生成部と、
前記建設図面を前記投影面に実寸投影する投影部と、を有することを特徴とする
投影システム。
A projection system for projecting a construction drawing onto a structure surface in actual size,
including a space recognition device and a projection device,
relative positions and orientations of the spatial recognition device and the projection device are fixed;
The space recognition device has a head-mounted display, a camera that captures an image around the visual field of the head-mounted display, or a depth sensor that measures the distance to an object around the visual field , and an inertial sensor that acquires changes in its own posture. ,
a position acquisition unit that acquires position information indicating the current position of the projection system in real space based on information acquired from the camera or the depth sensor ;
an orientation acquisition unit that acquires orientation information indicating a current orientation of the projection system in the physical space based on information acquired from the inertial sensor ;
a transmitting unit that transmits the position information and the posture information;
The projection device
a model storage unit that stores model information of a three-dimensional model of the structure;
a position and orientation information receiving unit that receives the position information and the orientation information;
a control unit that acquires positional relationship information between the space recognition device and the projection device and mapping information between the model space and the real space, and sets a projection plane on the surface of the structure;
The construction that is a parallel projection image of the three-dimensional model based on a viewpoint calculated from the position information and the positional relationship information, a line of sight calculated from the posture information and the positional relationship information, and the projection plane. generate a drawing,
At this time, a projection image generation unit that performs coordinate conversion based on the mapping information between the viewpoint, the line of sight, the projection plane, and the three-dimensional model;
and a projection unit that projects the construction drawing onto the projection plane in full size.
前記投影装置は、前記投影面に対し略垂直に前記図面を投影するよう姿勢制御される
請求項1記載の投影システム。
2. The projection system according to claim 1, wherein the projection device is posture-controlled to project the drawing substantially perpendicular to the projection plane.
前記投影システムの移動に応じて前記建設図面の投影領域が変化するとき、前記構造物表面における前記建設図面の投影位置及びスケールは維持される When the projection area of the construction drawing changes according to the movement of the projection system, the projection position and scale of the construction drawing on the surface of the structure are maintained.
請求項1記載の投影システム。 2. A projection system according to claim 1.
前記投影システムと前記投影面との距離が変化するとき、前記構造物表面における前記建設図面の投影位置及びスケールは維持しつつ、前記建設図面の投影可能範囲が変化する 請求項1記載の投影システム。 2. The projection system according to claim 1, wherein when the distance between the projection system and the projection plane changes, the projectable range of the construction drawing changes while maintaining the projection position and scale of the construction drawing on the surface of the structure. . 空間認識装置と、投影装置とを使用して建設図面を構造物表面に実寸投影する投影方法であって、 A projection method for projecting a construction drawing onto a structure surface in actual size using a space recognition device and a projection device,
前記空間認識装置及び前記投影装置の相対位置及び相対姿勢は固定であり、 relative positions and orientations of the spatial recognition device and the projection device are fixed;
前記空間認識装置は、ヘッドマウントディスプレイ、前記ヘッドマウントディスプレイの視野周辺の画像を捉えるカメラ又は前記視野周辺の物体までの距離を測定する深度センサ、及び自己の姿勢変化を取得する慣性センサを有し、 The space recognition device has a head-mounted display, a camera that captures an image around the visual field of the head-mounted display, or a depth sensor that measures the distance to an object around the visual field, and an inertial sensor that acquires changes in its own posture. ,
前記カメラ又は前記深度センサから取得される情報に基づいて、現実空間における前記空間認識装置及び前記投影装置の現在位置を示す位置情報を取得するステップと、 obtaining position information indicating current positions of the spatial recognition device and the projection device in the real space based on information obtained from the camera or the depth sensor;
前記慣性センサから取得される情報に基づいて、前記現実空間における前記空間認識装置及び前記投影装置の現在の姿勢を示す姿勢情報を取得するステップと、 a step of obtaining orientation information indicating current orientations of the spatial recognition device and the projection device in the physical space based on the information obtained from the inertial sensor;
前記空間認識装置と前記投影装置との位置関係情報を取得するステップと、 obtaining positional relationship information between the spatial recognition device and the projection device;
モデル空間と前記現実空間とのマッピング情報を取得するステップと、 obtaining mapping information between the model space and the real space;
前記構造物表面に投影面を設定するステップと、 setting a projection plane on the structure surface;
前記位置情報及び前記位置関係情報より算出される視点と、前記姿勢情報及び前記位置関係情報より算出される視線と、前記投影面と、に基づいて3次元モデルの平行投影画像である前記建設図面を生成し、 The construction drawing, which is a parallel projection image of a three-dimensional model based on a viewpoint calculated from the position information and the positional relationship information, a line of sight calculated from the posture information and the positional relationship information, and the projection plane. to generate
この際、前記視点、前記視線及び前記投影面と、前記3次元モデルと、の間においては前記マッピング情報に基づく座標変換が行われるステップと、 At this time, a step of performing coordinate transformation based on the mapping information between the viewpoint, the line of sight, the projection plane, and the three-dimensional model;
前記建設図面を前記投影面に実寸投影するステップと、を有することを特徴とする and projecting the construction drawing onto the projection plane at full size.
投影方法。 projection method.
前記投影装置の姿勢を、前記投影面に対し略垂直に前記図面を投影するよう制御するステップをさらに有する further comprising controlling the orientation of the projection device to project the drawing substantially perpendicular to the projection plane;
請求項5記載の投影方法。 The projection method according to claim 5.
前記空間認識装置及び前記投影装置を移動させることにより、前記建設図面の投影領域を変化させるステップをさらに有し、 further comprising changing a projection area of the construction drawing by moving the spatial recognition device and the projection device;
この際、前記構造物表面における前記建設図面の投影位置及びスケールは維持される At this time, the projected position and scale of the construction drawing on the surface of the structure are maintained.
請求項5記載の投影方法。 The projection method according to claim 5.
前記空間認識装置及び前記投影装置と、前記投影面と、の距離を変化させるステップをさらに有し、 further comprising the step of changing the distance between the spatial recognition device and the projection device and the projection plane;
この際、前記構造物表面における前記建設図面の投影位置及びスケールは維持しつつ、前記建設図面の投影可能範囲が変化する At this time, the projectable range of the construction drawing changes while maintaining the projection position and scale of the construction drawing on the surface of the structure.
請求項5記載の投影方法。 The projection method according to claim 5.
コンピュータに請求項5記載の方法を実行させるためのプログラム。 A program for causing a computer to execute the method according to claim 5.
JP2018170899A 2018-09-11 2018-09-12 Projection system, projection method and program Active JP7207915B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018169390 2018-09-11
JP2018169390 2018-09-11

Publications (2)

Publication Number Publication Date
JP2020042667A JP2020042667A (en) 2020-03-19
JP7207915B2 true JP7207915B2 (en) 2023-01-18

Family

ID=69798442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018170899A Active JP7207915B2 (en) 2018-09-11 2018-09-12 Projection system, projection method and program

Country Status (1)

Country Link
JP (1) JP7207915B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348753A (en) * 2020-10-28 2021-02-09 杭州如雷科技有限公司 Projection method and system for immersive content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275327A (en) 2003-09-19 2005-10-06 Fuji Electric Systems Co Ltd Projection display device
JP2013539541A (en) 2010-09-08 2013-10-24 ファロ テクノロジーズ インコーポレーテッド Laser scanner or laser tracking device having a projector
JP2016170495A (en) 2015-03-11 2016-09-23 株式会社Nttファシリティーズ Inspection support device, method for controlling inspection support device, program and inspection support system
JP2017181342A (en) 2016-03-31 2017-10-05 前田建設工業株式会社 Setting-out support device and setting-out support method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11190632A (en) * 1997-12-26 1999-07-13 Shimizu Corp Positioning device using gps
US7583275B2 (en) * 2002-10-15 2009-09-01 University Of Southern California Modeling and video projection for augmented virtual environments
JP2013178213A (en) * 2012-02-29 2013-09-09 Casio Comput Co Ltd Portable lighting device, and guiding method and program
JP2015216490A (en) * 2014-05-09 2015-12-03 ソニー株式会社 Imaging apparatus
JP6307426B2 (en) * 2014-10-14 2018-04-04 株式会社東通 Image projection method and image projection system
US10677924B2 (en) * 2015-06-23 2020-06-09 Mezmeriz, Inc. Portable panoramic laser mapping and/or projection system
JP6643858B2 (en) * 2015-10-15 2020-02-12 株式会社コア Projection system, projection method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275327A (en) 2003-09-19 2005-10-06 Fuji Electric Systems Co Ltd Projection display device
JP2013539541A (en) 2010-09-08 2013-10-24 ファロ テクノロジーズ インコーポレーテッド Laser scanner or laser tracking device having a projector
JP2016170495A (en) 2015-03-11 2016-09-23 株式会社Nttファシリティーズ Inspection support device, method for controlling inspection support device, program and inspection support system
JP2017181342A (en) 2016-03-31 2017-10-05 前田建設工業株式会社 Setting-out support device and setting-out support method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
世界初、HoloLensで自走するPepper ANA × NSSOL空港業務における人とロボットのコラボレーション検証を開始[オンライン],日本,2017年02月24日,<URL:https://www.nssol.nipponsteel.com/future/stories/pepper-004.html>

Also Published As

Publication number Publication date
JP2020042667A (en) 2020-03-19

Similar Documents

Publication Publication Date Title
CN107402000B (en) Method and system for correlating a display device with respect to a measurement instrument
JP6171079B1 (en) Inconsistency detection system, mixed reality system, program, and inconsistency detection method
US10093280B2 (en) Method of controlling a cursor by measurements of the attitude of a pointer and pointer implementing said method
US20150377606A1 (en) Projection system
US7123214B2 (en) Information processing method and apparatus
EP2350562A1 (en) Hand-held positioning interface for spatial query
US11288877B2 (en) Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
US20220284620A1 (en) Information terminal apparatus and position recognition sharing method
JP6630504B2 (en) Work action support navigation system and method, computer program for work action support navigation, storage medium storing program for work action support navigation, self-propelled robot equipped with work action support navigation system, used in work action support navigation system Intelligent helmet
JP2018106661A (en) Inconsistency detection system, mixed reality system, program, and inconsistency detection method
WO2020195875A1 (en) Information processing device, information processing method, and program
JP6295296B2 (en) Complex system and target marker
JP7207915B2 (en) Projection system, projection method and program
US20220291379A1 (en) Surveying device and surveying method using the surveying device
US11926064B2 (en) Remote control manipulator system and remote control assistance system
JP2015162886A (en) obstacle monitoring system and program
TWI814624B (en) Landmark identification and marking system for a panoramic image and method thereof
US20240112406A1 (en) Bar arrangement inspection result display system
JP2019191134A (en) Positioning system and positioning method
JP6733927B1 (en) Space recognition system, space recognition device, space recognition method and program
JP6717476B1 (en) Space recognition system, space recognition device, space recognition method and program
US20230351541A1 (en) Correcting position of a mobile device using a mobile reference
JP2023077070A (en) Method of aligning virtual space with respect to real space
JP2023077071A (en) Marker setting method
US20230160694A1 (en) Survey assistance system and survey assistance method

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20181009

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20181001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190911

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190911

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220104

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220117

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220118

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220204

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220208

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220419

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220621

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220826

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221004

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221115

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221220

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230105

R150 Certificate of patent or registration of utility model

Ref document number: 7207915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150