JP2020042667A - Projection system, projection method, and program - Google Patents
Projection system, projection method, and program Download PDFInfo
- Publication number
- JP2020042667A JP2020042667A JP2018170899A JP2018170899A JP2020042667A JP 2020042667 A JP2020042667 A JP 2020042667A JP 2018170899 A JP2018170899 A JP 2018170899A JP 2018170899 A JP2018170899 A JP 2018170899A JP 2020042667 A JP2020042667 A JP 2020042667A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- information
- space
- unit
- real space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 abstract description 11
- 230000010365 information processing Effects 0.000 description 11
- 238000010276 construction Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は投影システム、投影方法及びプログラムに関し、特に投影システムの設置位置及び姿勢にかかわらず、現実空間の所定の位置に情報を投影する技術に関する。 The present invention relates to a projection system, a projection method, and a program, and more particularly, to a technique for projecting information at a predetermined position in a real space regardless of an installation position and a posture of the projection system.
従来、建設現場では紙の図面と現場の状況とを照らし合わせながら、墨出し、完成チェック及び点検などの工程を実施していた。近年、設計現場では３ＤＣＡＤを用いることが一般化しているが、施工現場においては今でもなお３ＤＣＡＤから出力した紙の図面が多く使用されている。 2. Description of the Related Art Conventionally, at a construction site, processes such as blackout, completion check, and inspection have been performed while comparing a paper drawing with the situation of the site. In recent years, the use of 3D CAD has become common in design sites, but in construction sites, paper drawings output from 3D CAD are still often used.
紙図面を参照し、縮尺計算を行いながら、実測や確認等の作業を実施することは煩雑であり、非常に多くの工程を要する。また、間違いも生じやすい。そこで近年では、３ＤＣＡＤで作成されたモデルや当該モデルから作成される投影図を、ディスプレイに表示したりプロジェクタで投影したりすることにより、紙図面のデメリットを解消する試みがなされている。 Performing operations such as actual measurement and confirmation while performing scale calculation with reference to a paper drawing is complicated and requires many steps. In addition, mistakes are likely to occur. Therefore, in recent years, an attempt has been made to eliminate the disadvantages of the paper drawing by displaying a model created by 3D CAD or a projection created from the model on a display or projecting the projection by a projector.
例えば特許文献１には、メガネ型ウェアラブル端末に木材の組立図を表示し、施工現場で参照可能としたシステムが記載されている。非特許文献１には、３次元ＣＡＤで作成された設計データをレーザープロジェクタにより施工現場の床や壁や天井などに描画するシステムが開示されている。 For example, Patent Literature 1 describes a system in which an assembly drawing of wood is displayed on a glasses-type wearable terminal and can be referred to at a construction site. Non-Patent Document 1 discloses a system that draws design data created by three-dimensional CAD on a floor, wall, ceiling, or the like at a construction site by a laser projector.
特許文献１記載のシステムは、眼鏡型のウェアラブルデバイスに単に図面を表示するというものである。図面が現実空間にマッピングされるわけではないので、図面中の要素の位置や縮尺等を人が解釈しなければならない。また、作業現場でウェアラブル端末を装着することが必要であるため、安全性の懸念が生じうる。さらに、ウェアラブル端末の装着者のみが画像を見ることが可能であり、複数人が同時に画像を見て作業を行うことができないという課題がある。 The system described in Patent Literature 1 simply displays a drawing on a glasses-type wearable device. Since the drawing is not mapped in the real space, the position, scale, etc. of the element in the drawing must be interpreted by a person. In addition, since it is necessary to wear a wearable terminal at the work site, safety concerns may arise. Further, there is a problem that only the wearer of the wearable terminal can view the image, and a plurality of people cannot simultaneously view and work on the image.
一方、非特許文献１記載のシステムは、施工現場の床や壁や天井などに図面を原寸で描画する。またウェアラブル端末を要せず、複数人で同時に図面を見ることができる。しかしながら、通常このようなシステムにおいては、プロジェクタを特定の位置に固定的に設置した上で、画像投影のキャリブレーションを行う工程が必要である。すなわち設置に手間がかかる。また、壁などの構造物や障害物が入り組んだ見通しの悪い現場では、固定されたプロジェクタから到達可能な投影面がきわめて限定されることがある。よって建設現場では使用しにくいという課題がある。さらに、プロジェクタから遠方の投影面に投影する場合は、投影面の不陸などによる誤差が大きくなるという問題がある。加えて、レーザープロジェクタはベクタ投影方式であるため、投影できる線の量に限界があり、設計図面等には不向きであるという問題がある。 On the other hand, the system described in Non-Patent Document 1 draws a drawing at its actual size on a floor, wall, ceiling, or the like at a construction site. Also, a plurality of persons can view the drawing simultaneously without the need for a wearable terminal. However, such a system usually requires a process of calibrating the image projection after the projector is fixedly installed at a specific position. That is, installation takes time. In addition, in a site where structures such as walls and obstacles are complicated and visibility is poor, a projection surface that can be reached from a fixed projector may be extremely limited. Therefore, there is a problem that it is difficult to use on a construction site. Furthermore, when projecting from a projector to a projection plane far away, there is a problem that errors due to irregularities in the projection plane and the like increase. In addition, since the laser projector is of the vector projection type, there is a problem that the amount of lines that can be projected is limited and is not suitable for design drawings and the like.
本発明はこのような問題点を解決するためになされたものであり、投影システムの設置位置及び姿勢にかかわらず、現実空間の所定の位置に情報を投影することが可能な投影システム、投影方法及びプログラムを提供することを目的とする。 The present invention has been made to solve such a problem, and a projection system and a projection method capable of projecting information at a predetermined position in a real space regardless of the installation position and orientation of the projection system. And to provide programs.
本発明の一実施の形態にかかる投影システムは、空間認識装置と、投影装置とを含む投影システムであって、前記空間認識装置は、現実空間における前記投影システムの現在位置を示す位置情報を取得する位置取得部と、前記現実空間における前記投影システムの現在の姿勢を示す姿勢情報を取得する姿勢取得部と、前記位置情報及び前記姿勢情報を送信する送信部と、を有し、前記投影装置は、２次元又は３次元のモデル情報を記憶するモデル記憶部と、前記位置情報及び前記姿勢情報を受信する位置姿勢情報受信部と、前記空間認識装置と前記投影装置との位置関係情報、モデル空間と前記現実空間とのマッピング情報、及び前記現実空間内の投影面情報を設定する制御部と、前記位置情報、前記姿勢情報、前記位置関係情報、前記マッピング情報及び前記投影面情報に応じて、前記モデルの前記投影面への投影画像を生成する投影画像生成部と、前記投影画像を前記投影面に投影する投影部と、を有することを特徴とする。
本発明の一実施の形態にかかる投影システムでは、前記送信部は、前記位置情報及び前記姿勢情報を随時送信し、前記投影画像生成部は、新たに受信された前記位置情報及び前記姿勢情報と、前記位置関係情報、前記マッピング情報及び前記投影面情報と、に応じて前記投影画像を随時更新し、前記投影部は、前記更新された前記投影画像を投影することにより、前記空間認識装置及び前記投影装置の位置及び姿勢の変化にかかわらず、前記投影画像に含まれるコンテンツの前記投影面上における位置が維持されることを特徴とする。
本発明の一実施の形態にかかる投影システムでは、前記位置取得部は、周囲の物体を認識するためのセンサを有し、投影画像生成部は、前記センサによる認識結果に基づいて投影面を特定することを特徴とする。
本発明の一実施の形態にかかる投影方法は、投影装置が、空間認識装置から、前記空間認識装置の位置情報及び姿勢情報を取得する位置姿勢取得ステップと、前記空間認識装置と前記投影装置との位置関係情報、モデル空間と現実空間とのマッピング情報、及び前記現実空間内の投影面情報を設定する制御ステップと、前記位置情報、前記姿勢情報、前記位置関係情報、前記マッピング情報及び前記投影面情報に応じて、モデルの投影画像を生成する投影画像生成ステップと、前記投影画像を現実空間に投影する投影ステップと、を有することを特徴とする。
本発明の一実施の形態にかかるプログラムは、前記投影装置に上記方法を実行させるためのプログラムである。
A projection system according to an embodiment of the present invention is a projection system including a space recognition device and a projection device, wherein the space recognition device acquires position information indicating a current position of the projection system in a real space. A position acquisition unit that acquires the posture information indicating the current posture of the projection system in the real space, and a transmission unit that transmits the position information and the posture information, and the projection device A model storage unit that stores two-dimensional or three-dimensional model information, a position and orientation information receiving unit that receives the position information and the orientation information, positional relationship information between the space recognition device and the projection device, and a model. A control unit for setting mapping information between the space and the real space, and projection plane information in the real space; and a control unit for setting the position information, the posture information, the positional relationship information, and the mapping. A projection image generation unit that generates a projection image of the model on the projection plane according to the projection information and the projection plane information, and a projection unit that projects the projection image on the projection plane. I do.
In the projection system according to one embodiment of the present invention, the transmission unit transmits the position information and the posture information as needed, and the projection image generation unit includes the newly received position information and the posture information, , The positional relationship information, the mapping information and the projection plane information, and updates the projection image as needed, and the projection unit projects the updated projection image, so that the space recognition device and The position of the content included in the projection image on the projection plane is maintained irrespective of changes in the position and orientation of the projection device.
In the projection system according to one embodiment of the present invention, the position acquisition unit has a sensor for recognizing a surrounding object, and the projection image generation unit specifies a projection plane based on a recognition result by the sensor. It is characterized by doing.
A projection method according to one embodiment of the present invention is a projection method, wherein a projection apparatus acquires, from a space recognition apparatus, a position and orientation acquisition step of acquiring position information and orientation information of the space recognition apparatus; and the space recognition apparatus and the projection apparatus. A control step of setting positional relationship information, mapping information between a model space and a real space, and projection plane information in the real space; and the position information, the posture information, the positional relationship information, the mapping information, and the projection. It is characterized by comprising a projection image generating step of generating a projection image of the model in accordance with the surface information, and a projection step of projecting the projection image onto a real space.
A program according to an embodiment of the present invention is a program for causing the projection device to execute the above method.
本発明により、投影システムの設置位置及び姿勢にかかわらず、現実空間の所定の位置に情報を投影することが可能な投影システム、投影方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide a projection system, a projection method, and a program capable of projecting information at a predetermined position in a real space irrespective of an installation position and a posture of the projection system.
まず、図１を用いて投影システム１のハードウェア面について説明する。次に、図２を用いて投影システム１の機能面について説明する。投影システム１の機能は、典型的にはソフトウェアによる情報処理がハードウェアと協働して実行されることにより論理的に実現されるものである。 First, the hardware aspect of the projection system 1 will be described with reference to FIG. Next, functional aspects of the projection system 1 will be described with reference to FIG. The functions of the projection system 1 are typically logically realized by executing information processing by software in cooperation with hardware.
図１は、本発明の実施の形態にかかる投影システム１のハードウェア構成の概略を示すブロック図である。投影システム１は、空間認識装置１０、投影装置２０を含む。 FIG. 1 is a block diagram schematically illustrating a hardware configuration of a projection system 1 according to an embodiment of the present invention. The projection system 1 includes a space recognition device 10 and a projection device 20.
空間認識装置１０は、自装置の現実空間内の現在位置と、姿勢と、を認識可能な装置である。本実施の形態では、空間認識装置１０は、現実空間と同じスケール及び次元を持った空間認識装置１０独自の座標系で計測した座標を、現実空間内の現在位置として検知する機能を備える。本実施の形態では、このようにして検知した位置座標を、現実空間の座標系における位置座標ともいう。また、空間認識装置１０は、上述の独自の座標系における自装置の姿勢、すなわち各座標軸に対する角度を検知する機能を備える。 The space recognition device 10 is a device capable of recognizing a current position and a posture of the own device in a real space. In the present embodiment, the space recognition device 10 has a function of detecting, as a current position in the real space, coordinates measured in a unique coordinate system of the space recognition device 10 having the same scale and dimensions as the real space. In the present embodiment, the position coordinates detected in this manner are also referred to as position coordinates in a physical space coordinate system. Further, the space recognition device 10 has a function of detecting the attitude of the own device in the above-described unique coordinate system, that is, the angle with respect to each coordinate axis.
本実施の形態では、空間認識装置１０としてＭｉｃｒｏｓｏｆｔ社のＨｏｌｏＬｅｎｓ（登録商標）を使用する例について主に説明する。ＨｏｌｏＬｅｎｓは、種々のセンサ、情報処理装置、ＨＭＤ（ヘッドマウントディスプレイ）が統合されたウェアラブルデバイスである。但し本実施の形態では、ＨｏｌｏＬｅｎｓをウェアラブルデバイスとしてではなく、センサ情報を取得及び処理して送信するための装置として利用する。ＨｏｌｏＬｅｎｓは、周辺の画像を捉えて動きを検出するための空間認識カメラ、自己位置を高精度に推定するための空間認識カメラ、視野周辺の物体までの距離（深度）を計測する深度センサ、自己の姿勢変化を取得する慣性センサを有し、これらを総合的に使用して周囲の現実空間に存在する面（壁、床、天井、家具など）すなわち周囲の空間形状を認識し、認識した現実空間内での自己の位置及び姿勢を認識することができる。本実施の形態では、認識した自己の位置及び姿勢の情報を適当な形式に変換して送信するプログラムをＨｏｌｏＬｅｎｓ内に配置する。 In the present embodiment, an example will be mainly described in which HoloLens (registered trademark) of Microsoft Corporation is used as the space recognition device 10. HoloLens is a wearable device in which various sensors, an information processing device, and an HMD (head mounted display) are integrated. However, in the present embodiment, HoloLens is used not as a wearable device but as a device for acquiring, processing, and transmitting sensor information. HoloLens is a spatial recognition camera for capturing the surrounding image and detecting motion, a spatial recognition camera for estimating the self-position with high accuracy, a depth sensor for measuring a distance (depth) to an object around the visual field, It has an inertial sensor that acquires the posture change of the object, and uses these comprehensively to recognize the surface (wall, floor, ceiling, furniture, etc.) existing in the surrounding real space, that is, the shape of the surrounding space, and recognizes the recognized reality. It is possible to recognize its own position and posture in space. In the present embodiment, a program for converting the recognized position and orientation information of the self to an appropriate format and transmitting the information is arranged in the Holo Lens.
すなわち空間認識装置１０は、自装置の現在位置及び姿勢を検出するためのハードウェア及びソフトウェアを有する。換言すれば、空間認識装置１０は、自装置の位置に人が立っているものと仮定すると、人の視点（眼の位置）及び視線の向きに相当するパラメータを送信することができる。 That is, the space recognition device 10 has hardware and software for detecting the current position and posture of the device itself. In other words, assuming that a person stands at the position of the own device, the space recognition device 10 can transmit parameters corresponding to the viewpoint (eye position) and the direction of the line of sight of the person.
空間認識装置１０の他の例として、ＨｏｌｏＬｅｎｓと同様にセンサ類および情報処理機能を備えて自己の位置を能動的に取得する装置（ドローンやロボット等）を用いても良い。あるいは、自己の位置は、外部の装置により計測を行って受動的に取得しても良く、例えばターゲットプリズム、ジャイロセンサ、トータルステーション、情報処理装置を含むユニットを空間認識装置１０として用いても良い。トータルステーションは、ターゲットプリズムを追尾して現実空間の座標系における位置座標を測定する。ジャイロセンサは、ターゲットプリズムの姿勢変化を検出する。情報処理装置は、現実空間の座標系と、モデル空間の座標系と、の対応関係を予め保持しており、現実空間におけるターゲットプリズムの位置座標を、モデル空間の位置座標に変換する。あるいは、衛星測位信号の受信装置、ジャイロセンサ、情報処理装置を含むユニットを空間認識装置１０として用いても良い。衛星測位信号の受信装置は、複数の衛星から送信される測位信号を受信及び解析することにより、自装置の現実空間の座標系における位置座標を算出する。このような衛星測位システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）には、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、Ｇａｌｉｌｅｏ、ＱＺＳＳ（Ｑｕａｓｉ−Ｚｅｎｉｔｈ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）等がある。ジャイロセンサは、受信装置の姿勢変化を検出する。情報処理装置は、現実空間の座標系と、モデル空間の座標系と、の対応関係を予め保持しており、現実空間における受信装置の位置座標を、モデル空間の位置座標に変換する。なお、上記何れの場合も、ジャイロセンサの代わりに又は併用して、ＨｏｌｏＬｅｎｓと同様に周辺カメラ画像を用いた自己位置検出を行っても良い。また、複数のプリズムや、複数の衛星測位信号の受信装置を用いて姿勢検出を行っても良い。 As another example of the space recognition device 10, a device (a drone, a robot, or the like) that has sensors and an information processing function and actively acquires its own position may be used similarly to the HoloLens. Alternatively, the own position may be passively acquired by measuring with an external device. For example, a unit including a target prism, a gyro sensor, a total station, and an information processing device may be used as the space recognition device 10. The total station measures the position coordinates in the coordinate system of the real space by tracking the target prism. The gyro sensor detects a change in the attitude of the target prism. The information processing apparatus holds in advance the correspondence between the coordinate system in the real space and the coordinate system in the model space, and converts the position coordinates of the target prism in the real space into the position coordinates in the model space. Alternatively, a unit including a satellite positioning signal receiving device, a gyro sensor, and an information processing device may be used as the space recognition device 10. The satellite positioning signal receiving device calculates the position coordinates of the own device in the coordinate system of the real space by receiving and analyzing the positioning signals transmitted from a plurality of satellites. Examples of such a satellite positioning system (GNSS: Global Navigation Satellite System) include, for example, GPS (Global Positioning System), GLONASS (Global Navigation Satellite System), Galileo, and QZeZeSySaySite (QZiSeZeSySyZeSySySySyZeSySyQZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyZeSyQZS). The gyro sensor detects a change in attitude of the receiving device. The information processing device has a correspondence relationship between the coordinate system of the real space and the coordinate system of the model space in advance, and converts the position coordinates of the receiving device in the real space into the position coordinates of the model space. In any of the above cases, the self-position detection using the peripheral camera image may be performed instead of or in combination with the gyro sensor in the same manner as in HoloLens. Further, attitude detection may be performed using a plurality of prisms or a plurality of satellite positioning signal receiving devices.
投影装置２０は、モデルの平行投影画像を現実空間内の所定の投影面に実寸投影する装置である。平行投影画像には、典型的には平面図や立面図が含まれる。投影面への投影とは、典型的には壁、床、天井等の平面に画像を投影する形態が想定されるが、例えばホログラム等の技術により空中の所定位置に画像を投影するような形態も含まれる。投影装置２０は、モデルから投影画像を生成する情報処理装置２１と、生成された投影画像を投影するプロジェクタ２２と、を含む。情報処理装置２１は、典型的にはパーソナルコンピュータである。プロジェクタ２２は、ラスタ画像を任意の投影面に投影可能な装置であり、例えば液晶プロジェクタ等である。 The projection device 20 is a device that projects a parallel projection image of a model on a predetermined projection plane in the real space in actual size. The parallel projection image typically includes a plan view and an elevation view. The projection onto the projection plane is typically assumed to be a form in which an image is projected on a plane such as a wall, a floor, or a ceiling. For example, a form in which an image is projected at a predetermined position in the air by a technique such as a hologram. Is also included. The projection device 20 includes an information processing device 21 that generates a projection image from a model, and a projector 22 that projects the generated projection image. The information processing device 21 is typically a personal computer. The projector 22 is a device that can project a raster image onto an arbitrary projection surface, and is, for example, a liquid crystal projector.
本実施の形態では、空間認識装置１０と投影装置２０とは、相対的な位置（空間認識装置１０の位置と投影装置２０の位置との差）及び姿勢（空間認識装置１０の視線方向と投影装置２０の投影方向とのなす角度）が固定されているものとする。例えば、空間認識装置１０と投影装置２０とを同じ筐体又は架台等に固定して格納することで、両装置の相対的な位置及び姿勢（角度）を固定化できる。なお、空間認識装置１０と投影装置２０との相対的な位置及び姿勢が可変であるような方式については、これらの値の変化を逐次制御部２０５が取得できるように構成することで実現が可能である。 In the present embodiment, the relative position (difference between the position of the space recognition device 10 and the position of the projection device 20) and the posture (the line-of-sight direction and the projection of the space recognition device 10) The angle between the projection direction of the device 20 and the projection direction is assumed to be fixed. For example, by fixing and storing the space recognition device 10 and the projection device 20 in the same housing or gantry, the relative position and posture (angle) of both devices can be fixed. It should be noted that a method in which the relative position and orientation of the space recognition device 10 and the projection device 20 are variable can be realized by configuring the control unit 205 to be able to sequentially acquire changes in these values. It is.
また投影システム１は、ホイール、クローラ、多脚、飛翔用プロペラ等の移動手段を備える筐体又は架台等に固定する構成としても良い。これらの移動手段によれば、リモートコントロールによる移動、又は所定のアルゴリズムによる自走（作業者への追従など）により、任意の位置へ投影システム１を移動させることができる。あるいは、投影システム１はレール等の軌道上を移動可能な構成を備えても良い。壁面投影を行う場合は、壁面から一定の距離を保つことが望ましいため、予め壁面から所定の距離を隔てて敷設されたレールによる移動が好適である。 Further, the projection system 1 may be configured to be fixed to a housing or a pedestal provided with a moving unit such as a wheel, a crawler, a multi-leg, and a flying propeller. According to these moving means, the projection system 1 can be moved to an arbitrary position by movement by a remote control or self-propelled by a predetermined algorithm (such as following an operator). Alternatively, the projection system 1 may include a configuration that can move on a track such as a rail. When performing wall projection, it is desirable to keep a certain distance from the wall surface, and therefore, it is preferable to use a rail laid at a predetermined distance from the wall surface in advance.
また投影システム１は、リモートコントロールにより、又は所定のアルゴリズムにより自動的に、姿勢を変化させるための機構を備えることが好ましい。これにより、投影面を自在に選択して投影画像を投影することが可能となる。加えて、投影方向を保つために、例えばアクティブ、またはパッシブなジンバル機構を備えることにより、投影面に対して略垂直に投影画像を投影することができる。 Further, it is preferable that the projection system 1 includes a mechanism for changing a posture by remote control or automatically by a predetermined algorithm. This makes it possible to freely select a projection plane and project a projection image. In addition, in order to maintain the projection direction, for example, by providing an active or passive gimbal mechanism, a projection image can be projected substantially perpendicular to the projection plane.
図２は、投影システム１の機能構成を示すブロック図である。投影システム１の空間認識装置１０は、位置取得部１０１、姿勢取得部１０２、送信部１０３を有する。投影装置２０は、モデル記憶部２０１、位置姿勢情報受信部２０２、投影画像生成部２０３、投影部２０４、制御部２０５を有する。 FIG. 2 is a block diagram illustrating a functional configuration of the projection system 1. The space recognition device 10 of the projection system 1 includes a position acquisition unit 101, a posture acquisition unit 102, and a transmission unit 103. The projection device 20 includes a model storage unit 201, a position and orientation information reception unit 202, a projection image generation unit 203, a projection unit 204, and a control unit 205.
位置取得部１０１は、投影システム１の現在位置、より厳密には空間認識装置１０の現在位置を取得する。上述のように、例えば深度センサやジャイロセンサ等の出力値を用いることにより、又はトータルステーションや衛星測位信号の受信装置の出力値を用いることにより、現在位置を取得できる。 The position acquisition unit 101 acquires the current position of the projection system 1, more precisely, the current position of the space recognition device 10. As described above, the current position can be obtained by using output values of a depth sensor, a gyro sensor, or the like, or by using output values of a total station or a satellite positioning signal receiving device.
姿勢取得部１０２は、投影システム１の姿勢、より厳密には空間認識装置１０の姿勢を取得する。例えばジャイロセンサの出力値を用いることにより、姿勢を取得できる。 The posture acquisition unit 102 acquires the posture of the projection system 1, more precisely, the posture of the space recognition device 10. For example, the attitude can be obtained by using the output value of the gyro sensor.
送信部１０３は、位置取得部１０１が取得した現在位置を示す位置情報、及び姿勢取得部１０２が取得した姿勢を示す姿勢情報を、投影装置２０の位置姿勢情報受信部２０２に対して送信する。好ましくは、送信部１０３は十分に短い一定時間毎に、又は測定値に一定の変化が生じる毎に、位置情報及び姿勢情報を送信する。 The transmission unit 103 transmits the position information indicating the current position acquired by the position acquisition unit 101 and the posture information indicating the posture acquired by the posture acquisition unit 102 to the position / posture information reception unit 202 of the projection device 20. Preferably, the transmission unit 103 transmits the position information and the posture information every fixed time period that is sufficiently short or every time a certain change occurs in the measurement value.
本実施の形態では、現在位置は、空間認識装置１０が持つ現実空間と同スケールかつ同次元の座標系の座標値で出力されるものとする。この空間認識装置１０の座標系、すなわち現実空間の座標系は、典型的にはＸ，Ｙ，Ｚの３軸の直交座標系である。この場合、姿勢は上記Ｘ，Ｙ，Ｚの各軸まわりの回転角で表現されうる。この条件は本発明を限定する趣旨でなく、説明の便宜のために定めるものにすぎない。例えば送信部１０３は、本実施の形態によらず、モデル空間の座標系で表現した現在位置及び姿勢を出力しても良い。この場合、例えば送信部１０３が現実空間の座標系からモデル座標系への変換を担うことになる。 In the present embodiment, it is assumed that the current position is output as a coordinate value of a coordinate system having the same scale and the same dimension as the real space of the space recognition device 10. The coordinate system of the space recognition apparatus 10, that is, the coordinate system of the real space, is typically a three-axis orthogonal coordinate system of X, Y, and Z. In this case, the attitude can be expressed by the rotation angles around the X, Y, and Z axes. These conditions are not intended to limit the present invention, but merely for convenience of explanation. For example, the transmitting unit 103 may output the current position and the posture expressed in the coordinate system of the model space, not according to the present embodiment. In this case, for example, the transmitting unit 103 performs conversion from the coordinate system in the real space to the model coordinate system.
モデル記憶部２０１は、モデルを所定の記憶領域に予め格納する。典型的には、モデルはＣＡＤ等で作成された２次元又は３次元データである。例えば、建築物の設計図書であって、意匠、構造、設備、施工に関する各種オブジェクトや画像等を含む３次元データがモデルとして格納される。通常、モデルは独自の座標系（モデル座標系又はモデル空間の座標系という）に基づいて作成されている。モデル座標系によって定義される空間をモデル空間という。 The model storage unit 201 stores a model in a predetermined storage area in advance. Typically, the model is two-dimensional or three-dimensional data created by CAD or the like. For example, in the case of a design book of a building, three-dimensional data including various objects and images related to design, structure, equipment, and construction is stored as a model. Usually, a model is created based on a unique coordinate system (referred to as a model coordinate system or a coordinate system in a model space). The space defined by the model coordinate system is called the model space.
位置姿勢情報受信部２０２は、空間認識装置１０の送信部１０３が出力した現在位置及び姿勢を随時取得する。 The position and orientation information reception unit 202 acquires the current position and orientation output from the transmission unit 103 of the space recognition device 10 as needed.
制御部２０５は、空間認識装置１０と投影装置２０との位置関係情報、モデルと現実空間とのマッピング情報、及び投影面情報を設定する。 The control unit 205 sets positional relationship information between the space recognition device 10 and the projection device 20, mapping information between the model and the real space, and projection plane information.
空間認識装置１０と投影装置２０との位置関係情報とは、現実空間の座標系における、空間認識装置１０の現在位置と、投影装置２０の現在位置との差を示す情報であり、典型的にはベクトルとして与えられる。制御部２０５は、例えば空間認識装置１０と投影装置２０とを筐体又は架台等に固定した際に、ユーザによる位置関係情報の入力を受け付ける。 The positional relationship information between the space recognition device 10 and the projection device 20 is information indicating a difference between the current position of the space recognition device 10 and the current position of the projection device 20 in a physical space coordinate system, and is typically Is given as a vector. For example, when the space recognition device 10 and the projection device 20 are fixed to a housing or a gantry, the control unit 205 receives an input of positional relationship information by a user.
モデル空間と現実空間とのマッピング情報とは、モデル空間と現実空間とを対応づけ、座標系を相互変換するための情報であり、典型的には変換行列として与えられる。制御部２０５は、例えば現実空間とモデル空間の同期を任意に切り替える機能を備え、同期が開始されたときに現実空間とモデル空間のマッピングを行う、すなわち対応関係を固定することができる。同期を行っていない状態では、投影システム１は通常のプロジェクタと同様に動作し、投影システム１の移動と共に投影画像が移動する。この状態で、現実空間にある墨の線（基準線）とモデル内に予め用意した対応する線とが一致するよう、投影システム１の位置や姿勢等を調整する。ここで同期を開始すると、投影システム１は、現実空間とモデル空間とのマッピングを行う。すなわち、空間認識装置１０が認識している現実空間の座標系と、モデル空間の座標系と、を相互変換するための変換マトリクスを算出する。 The mapping information between the model space and the real space is information for associating the model space with the real space and mutually converting the coordinate system, and is typically given as a conversion matrix. The control unit 205 has, for example, a function of arbitrarily switching the synchronization between the real space and the model space, and can perform mapping between the real space and the model space when synchronization is started, that is, can fix the correspondence. In a state where synchronization is not performed, the projection system 1 operates in the same manner as a normal projector, and the projection image moves with the movement of the projection system 1. In this state, the position, orientation, and the like of the projection system 1 are adjusted so that the black line (reference line) in the real space matches the corresponding line prepared in the model in advance. When synchronization is started here, the projection system 1 performs mapping between the real space and the model space. That is, a conversion matrix for mutually converting between the coordinate system in the real space recognized by the space recognition device 10 and the coordinate system in the model space is calculated.
投影面情報とは、現実空間における投影画像の投影面を示す情報であり、典型的には空間認識装置１０が認識した現実空間内の面（壁、床、天井など）のうち、視点から投影方向に投影線を延ばした際に最初に干渉する面が選択される。又は、壁、床、天井などの投影面までの距離を測定する複数のレーザ測距器を投影システム１に含めることで、投影面を特定することも可能である。すなわち、上述の深度センサに代えて、複数のレーザ測距機により、視線方向の深度（障害物までの距離）を測定する。これにより、投影面までの距離、投影面の向きや形状等を特定できる。 The projection plane information is information indicating a projection plane of a projection image in the real space, and is typically projected from a viewpoint among surfaces (walls, floors, ceilings, etc.) in the real space recognized by the space recognition device 10. The plane that first interferes when extending the projection line in the direction is selected. Alternatively, the projection surface can be specified by including a plurality of laser rangefinders for measuring the distance to the projection surface such as a wall, a floor, and a ceiling in the projection system 1. That is, instead of the depth sensor described above, the depth in the line of sight (the distance to the obstacle) is measured by a plurality of laser distance measuring devices. As a result, the distance to the projection plane, the direction and shape of the projection plane, and the like can be specified.
投影画像生成部２０３は、モデル記憶部２０１に記憶されているモデルを、制御部２０５で設定された空間認識装置１０と投影装置２０との位置関係情報、モデルと現実空間とのマッピング情報、及び投影面情報に基づいて平行投影した投影画像を生成する。平行投影とは平行な投影線を用いた投影図法であり、３次元の設計データから例えば平面図や立面図等の２次元図面を生成することができる。 The projection image generation unit 203 converts the model stored in the model storage unit 201 into positional relationship information between the space recognition device 10 and the projection device 20 set by the control unit 205, mapping information between the model and the real space, and A parallel projection image is generated based on the projection plane information. Parallel projection is a projection method using parallel projection lines, and a two-dimensional drawing such as a plan view or an elevation view can be generated from three-dimensional design data.
平行投影画像は、モデル空間内に視点、視線（投影線）及び投影面を定義することにより生成することが可能である（公知技術であるため詳細は省略する）。投影画像生成部２０３は、送信部１０３が出力した空間認識装置１０の現在位置、及び制御部２０５で設定された空間認識装置１０と投影装置２０との位置関係情報に基づいて、現実空間における視点を算出する。また、投影画像生成部２０３は、送信部１０３が出力した空間認識装置１０の姿勢、及び制御部２０５で設定された空間認識装置１０と投影装置２０との位置関係情報に基づいて、現実空間における投影装置２０視線すなわち投影方向を算出する。現実空間における投影面は、制御部２０５で設定された投影面情報である。投影画像生成部２０３は、現実空間における視点、視線及び投影面を、モデルと現実空間とのマッピング情報に基づいて、モデル空間における視点、視線及び投影面に変換する。これらの処理の後に公知技術を適用することで、平行投影画像が得られる。この平行投影画像を現実空間に投影することにより、あたかもモデルが現実空間内にあるかのような体験がもたらされる。 The parallel projection image can be generated by defining a viewpoint, a line of sight (projection line), and a projection plane in the model space (the details are omitted because it is a known technique). The projection image generation unit 203 generates a viewpoint in the real space based on the current position of the space recognition device 10 output from the transmission unit 103 and the positional relationship information between the space recognition device 10 and the projection device 20 set by the control unit 205. Is calculated. In addition, the projection image generation unit 203 performs a process in the real space based on the posture of the space recognition device 10 output from the transmission unit 103 and the positional relationship information between the space recognition device 10 and the projection device 20 set by the control unit 205. The projection device 20 calculates the line of sight, that is, the projection direction. The projection plane in the real space is projection plane information set by the control unit 205. The projection image generation unit 203 converts the viewpoint, the line of sight, and the projection plane in the real space into the viewpoint, the line of sight, and the projection plane in the model space based on mapping information between the model and the real space. By applying a known technique after these processes, a parallel projection image can be obtained. By projecting this parallel projection image into the real space, an experience is provided as if the model were in the real space.
投影画像生成部２０３は、送信部１０３から新たな位置情報及び姿勢情報を取得した場合には、その都度投影画像を再生成する。すなわち投影画像生成部２０３は、空間認識装置１０が観測する投影システム１の現在位置又は姿勢が変化した場合に、現在位置又は姿勢の変化に応じて投影画像を更新する。現在位置又は姿勢が変化すると、投影面上に投影画像が表示される領域（投影領域）が当然に変化していくが、本実施の形態では現実空間の座標系とモデル座標系とがマッピングされているため、投影領域内に表示されるオブジェクトと現実空間との位置関係は変化しない。つまり、現実空間では、同じ位置にいつも同じオブジェクトが投影されているように見える。図３を用いて説明する。図３は、投影システム１の現在位置又は姿勢が変化した場合における投影システム１の動作を示す図である。図３下図は、投影画像生成部２０３が投影しようとしている３次元オブジェクトを示している。図３上図において、破線の矩形は時刻ｔにおける投影画像の表示領域、すなわち投影領域を示している。破線の線分は、時刻ｔにおける３次元オブジェクトの平行投影画像である。この後、時刻ｔ＋１までの間に、空間認識装置１０の現在位置が変化したものとする。実線の矩形は時刻ｔ＋１における投影領域を示している。実線の線分は、時刻ｔ＋１における３次元オブジェクトの平行投影画像である。ここで、時刻ｔと時刻ｔ＋１とで重複する投影領域においては、投影画像が変化していないことが分かる。このような特徴により、投影画像生成部２０３は、空間認識装置１０の現在位置及び姿勢にかかわらず、現実空間の所定の位置にオブジェクトを投影することができる。例えば、空間認識装置１０の現在位置及び姿勢にかかわらず、施工現場の所定の位置に墨出しを行うことが可能である。 The projection image generation unit 203 regenerates a projection image each time new position information and posture information are acquired from the transmission unit 103. That is, when the current position or orientation of the projection system 1 observed by the space recognition device 10 changes, the projection image generation unit 203 updates the projection image according to the change in the current position or orientation. When the current position or posture changes, the area (projection area) where the projection image is displayed on the projection plane naturally changes. In the present embodiment, however, the coordinate system of the real space and the model coordinate system are mapped. Therefore, the positional relationship between the object displayed in the projection area and the real space does not change. That is, in the real space, it looks as if the same object is always projected at the same position. This will be described with reference to FIG. FIG. 3 is a diagram illustrating an operation of the projection system 1 when the current position or the posture of the projection system 1 changes. The lower part of FIG. 3 shows a three-dimensional object that the projection image generation unit 203 intends to project. In the upper part of FIG. 3, the dashed rectangle indicates the display area of the projection image at time t, that is, the projection area. The broken line segment is the parallel projection image of the three-dimensional object at time t. Thereafter, it is assumed that the current position of the space recognition apparatus 10 has changed before time t + 1. The solid line rectangle indicates the projection area at time t + 1. The solid line segment is the parallel projection image of the three-dimensional object at time t + 1. Here, it can be seen that the projection image has not changed in the projection area overlapping at time t and time t + 1. With such features, the projection image generation unit 203 can project an object at a predetermined position in the real space, regardless of the current position and orientation of the space recognition device 10. For example, regardless of the current position and orientation of the space recognition device 10, it is possible to perform blackout at a predetermined position on the construction site.
なお、現実空間内でモデルを投影しながら一定の範囲の作業を行った後、作業が次の基準線付近に到達した時点で、必要に応じて、再度同期停止、調整、同期開始を行うことで、広い範囲に渡って、一定の誤差内での墨出し作業が可能となる。 After performing a certain range of work while projecting the model in the real space, when the work reaches the vicinity of the next reference line, stop synchronization, adjust, and start synchronization again as necessary In this way, it is possible to perform a blackout operation within a certain error over a wide range.
投影部２０４は、投影画像生成部２０３が生成した投影画像を現実空間の投影面（壁、床、天井など）に投影する。投影部２０４は、投影可能な情報量の観点からは、ラスタ画像としての投影画像を投影可能であることが好ましい。また投影部２０４は、必要に応じ、投影画像の投影倍率や、投影画像の縦横比率等を適宜調整可能であることが好ましい。情報処理装置２１とプロジェクタ２２との間で、解像度の縦横比等が異なる場合があるためである。なお、この調整機能は投影画像生成部２０３に設けても良い。 The projection unit 204 projects the projection image generated by the projection image generation unit 203 on a projection plane (wall, floor, ceiling, etc.) in real space. It is preferable that the projection unit 204 can project a projection image as a raster image from the viewpoint of the amount of information that can be projected. Further, it is preferable that the projection unit 204 can appropriately adjust the projection magnification of the projection image, the aspect ratio of the projection image, and the like as needed. This is because the information processing apparatus 21 and the projector 22 may have different resolution aspect ratios and the like. This adjustment function may be provided in the projection image generation unit 203.
本実施の形態によれば、投影システム１は、プロジェクタ等により投影画像を現実空間に投影する。例えば、施工現場に投影された図面情報を、その場にいる全員で同時に見ながら作業を進めることができる。これにより、ウェアラブルデバイスのような作業現場での安全性の懸念、情報の共有や共同作業の困難性といった問題を払拭できる。 According to the present embodiment, projection system 1 projects a projection image onto a real space by a projector or the like. For example, the work can be performed while simultaneously viewing the drawing information projected on the construction site by all the members at the site. As a result, problems such as safety concerns at a work site such as wearable devices, and difficulty in sharing information and working together can be eliminated.
本実施の形態によれば、投影システム１は、システムの現在位置及び姿勢を自動的に検出して、現在位置及び姿勢に応じた投影画像を随時生成、投影する。これにより、システムが移動し、姿勢が変化したとしても、現実空間に継続的に投影画像を投影できる。この際、投影領域は変化しうるものの、個々のオブジェクトの現実空間での投影位置は変化しない。したがって、例えば作業現場において投影システム１を自在に動かしながら、任意の投影面（壁、床、天井など）に図面等を投影することができる。構造物や障害物が入り組んだ現場であっても、投影システム１が入り込める空間があれば、例えば短焦点プロジェクタ等を採用することにより、空間内に投影画像を投影することが可能である。また、プロジェクタの高さや投影面からの距離等を適宜変更することで、投影領域を拡大又は縮小し、投影画像に含まれる情報（コンテンツ）の量を調整することも可能である。 According to the present embodiment, the projection system 1 automatically detects the current position and orientation of the system, and generates and projects a projection image according to the current position and orientation as needed. Thereby, even if the system moves and the posture changes, the projection image can be continuously projected on the real space. At this time, although the projection area can change, the projection position of each object in the real space does not change. Therefore, for example, a drawing or the like can be projected on an arbitrary projection surface (wall, floor, ceiling, etc.) while freely moving the projection system 1 at a work site. Even at a site where structures and obstacles are intricate, if there is a space into which the projection system 1 can enter, it is possible to project a projection image into the space by employing, for example, a short focus projector or the like. Also, by appropriately changing the height of the projector, the distance from the projection plane, and the like, the projection area can be enlarged or reduced, and the amount of information (content) included in the projection image can be adjusted.
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。 It should be noted that the present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the gist.
また本発明を構成する各処理部は、ハードウェアにより構成されるものであってもよく、任意の処理をＣＰＵにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。 Further, each processing unit configuring the present invention may be configured by hardware, or may be realized by causing a CPU to execute a computer program to execute arbitrary processing. Also, computer programs can be stored and provided to computers using various types of temporary or non-transitory computer readable media. Transitory computer readable media includes, for example, electromagnetic signals provided to a computer by wire or wirelessly.
１ 投影システム
１０ 空間認識装置
２０ 投影装置
２１ 情報処理装置
２２ プロジェクタ
１０１ 位置取得部
１０２ 姿勢取得部
１０３ 送信部
２０１ モデル記憶部
２０２ 位置姿勢情報受信部
２０３ 投影画像生成部
２０４ 投影部
２０５ 制御部
Reference Signs List 1 projection system 10 space recognition device 20 projection device 21 information processing device 22 projector 101 position acquisition unit 102 posture acquisition unit 103 transmission unit 201 model storage unit 202 position / posture information reception unit 203 projection image generation unit 204 projection unit 205 control unit
Claims (5)
前記空間認識装置は、
現実空間における前記投影システムの現在位置を示す位置情報を取得する位置取得部と、
前記現実空間における前記投影システムの現在の姿勢を示す姿勢情報を取得する姿勢取得部と、
前記位置情報及び前記姿勢情報を送信する送信部と、を有し、
前記投影装置は、
２次元又は３次元のモデル情報を記憶するモデル記憶部と、
前記位置情報及び前記姿勢情報を受信する位置姿勢情報受信部と、
前記空間認識装置と前記投影装置との位置関係情報、モデル空間と前記現実空間とのマッピング情報、及び前記現実空間内の投影面情報を設定する制御部と、
前記位置情報、前記姿勢情報、前記位置関係情報、前記マッピング情報及び前記投影面情報に応じて、前記モデルの前記投影面への投影画像を生成する投影画像生成部と、
前記投影画像を前記投影面に投影する投影部と、を有することを特徴とする
投影システム。 A space recognition device, a projection system including a projection device,
The space recognition device,
A position acquisition unit that acquires position information indicating a current position of the projection system in a real space;
A posture acquisition unit that acquires posture information indicating a current posture of the projection system in the physical space,
A transmitting unit that transmits the position information and the posture information,
The projection device,
A model storage unit that stores two-dimensional or three-dimensional model information;
A position and orientation information receiving unit that receives the position information and the orientation information,
A control unit that sets positional relationship information between the space recognition device and the projection device, mapping information between a model space and the real space, and projection plane information in the real space;
A projection image generation unit that generates a projection image of the model on the projection plane according to the position information, the posture information, the positional relationship information, the mapping information, and the projection plane information;
A projection unit for projecting the projection image on the projection surface.
前記投影画像生成部は、新たに受信された前記位置情報及び前記姿勢情報と、前記位置関係情報、前記マッピング情報及び前記投影面情報と、に応じて前記投影画像を随時更新し、
前記投影部は、前記更新された前記投影画像を投影することにより、
前記空間認識装置及び前記投影装置の位置及び姿勢の変化にかかわらず、前記投影画像に含まれるコンテンツの前記投影面上における位置が維持されることを特徴とする
請求項１記載の投影システム。 The transmitting unit transmits the position information and the posture information as needed,
The projection image generation unit, the position information and the posture information newly received, the positional relationship information, the mapping information and the projection plane information, and updates the projection image as needed,
The projection unit projects the updated projection image,
The projection system according to claim 1, wherein the position of the content included in the projection image on the projection plane is maintained regardless of changes in the position and orientation of the space recognition device and the projection device.
投影画像生成部は、前記センサによる認識結果に基づいて投影面を特定することを特徴とする
請求項１記載の投影システム。 The position acquisition unit has a sensor for recognizing a surrounding object,
The projection system according to claim 1, wherein the projection image generation unit specifies a projection plane based on a recognition result by the sensor.
空間認識装置から、前記空間認識装置の位置情報及び姿勢情報を取得する位置姿勢取得ステップと、
前記空間認識装置と前記投影装置との位置関係情報、モデル空間と現実空間とのマッピング情報、及び前記現実空間内の投影面情報を設定する制御ステップと、
前記位置情報、前記姿勢情報、前記位置関係情報、前記マッピング情報及び前記投影面情報に応じて、モデルの投影画像を生成する投影画像生成ステップと、
前記投影画像を現実空間に投影する投影ステップと、を有することを特徴とする
投影方法。 The projection device is
From a space recognition device, a position and orientation acquisition step of acquiring position information and orientation information of the space recognition device,
A control step of setting positional relationship information between the space recognition device and the projection device, mapping information between a model space and a real space, and projection plane information in the real space,
A projection image generating step of generating a projection image of a model according to the position information, the posture information, the positional relationship information, the mapping information, and the projection plane information;
A projecting step of projecting the projected image onto a real space.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018169390 | 2018-09-11 | ||
| JP2018169390 | 2018-09-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020042667A true JP2020042667A (en) | 2020-03-19 |
| JP7207915B2 JP7207915B2 (en) | 2023-01-18 |
Family
ID=69798442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018170899A Active JP7207915B2 (en) | 2018-09-11 | 2018-09-12 | Projection system, projection method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7207915B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348753A (en) * | 2020-10-28 | 2021-02-09 | 杭州如雷科技有限公司 | Projection method and system for immersive content |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11190632A (en) * | 1997-12-26 | 1999-07-13 | Shimizu Corp | Positioning device using gps |
| JP2005275327A (en) * | 2003-09-19 | 2005-10-06 | Fuji Electric Systems Co Ltd | Projection display device |
| JP2006503379A (en) * | 2002-10-15 | 2006-01-26 | ユニバーシティ・オブ・サザン・カリフォルニア | Enhanced virtual environment |
| JP2013178213A (en) * | 2012-02-29 | 2013-09-09 | Casio Comput Co Ltd | Portable lighting device, and guiding method and program |
| JP2013539541A (en) * | 2010-09-08 | 2013-10-24 | ファロ テクノロジーズ インコーポレーテッド | Laser scanner or laser tracking device having a projector |
| JP2015216490A (en) * | 2014-05-09 | 2015-12-03 | ソニー株式会社 | Imaging apparatus |
| JP2016081497A (en) * | 2014-10-14 | 2016-05-16 | 株式会社東通 | Image projection method and image projection system |
| JP2016170495A (en) * | 2015-03-11 | 2016-09-23 | 株式会社Ｎｔｔファシリティーズ | Inspection support device, method for controlling inspection support device, program and inspection support system |
| US20160377722A1 (en) * | 2015-06-23 | 2016-12-29 | Mezmeriz, Inc. | Portable panoramic laser mapping and/or projection system |
| JP2017076256A (en) * | 2015-10-15 | 2017-04-20 | 株式会社コア | Projection system, projection method and program |
| JP2017181342A (en) * | 2016-03-31 | 2017-10-05 | 前田建設工業株式会社 | Setting-out support device and setting-out support method |
-
2018
- 2018-09-12 JP JP2018170899A patent/JP7207915B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11190632A (en) * | 1997-12-26 | 1999-07-13 | Shimizu Corp | Positioning device using gps |
| JP2006503379A (en) * | 2002-10-15 | 2006-01-26 | ユニバーシティ・オブ・サザン・カリフォルニア | Enhanced virtual environment |
| JP2005275327A (en) * | 2003-09-19 | 2005-10-06 | Fuji Electric Systems Co Ltd | Projection display device |
| JP2013539541A (en) * | 2010-09-08 | 2013-10-24 | ファロ テクノロジーズ インコーポレーテッド | Laser scanner or laser tracking device having a projector |
| JP2013178213A (en) * | 2012-02-29 | 2013-09-09 | Casio Comput Co Ltd | Portable lighting device, and guiding method and program |
| JP2015216490A (en) * | 2014-05-09 | 2015-12-03 | ソニー株式会社 | Imaging apparatus |
| JP2016081497A (en) * | 2014-10-14 | 2016-05-16 | 株式会社東通 | Image projection method and image projection system |
| JP6307426B2 (en) * | 2014-10-14 | 2018-04-04 | 株式会社東通 | Image projection method and image projection system |
| JP2016170495A (en) * | 2015-03-11 | 2016-09-23 | 株式会社Ｎｔｔファシリティーズ | Inspection support device, method for controlling inspection support device, program and inspection support system |
| US20160377722A1 (en) * | 2015-06-23 | 2016-12-29 | Mezmeriz, Inc. | Portable panoramic laser mapping and/or projection system |
| JP2017076256A (en) * | 2015-10-15 | 2017-04-20 | 株式会社コア | Projection system, projection method and program |
| JP2017181342A (en) * | 2016-03-31 | 2017-10-05 | 前田建設工業株式会社 | Setting-out support device and setting-out support method |
Non-Patent Citations (3)
| Title |
|---|
| MIYASHITA ET AL.: "PORTABLE LUMIPEN: DYNAMIC SAR IN YOUR HAND", IN: 2018 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)[ONLINE], JPN6020038877, July 2018 (2018-07-01), US, ISSN: 0004547211 * |
| 世界初、HOLOLENSで自走するPEPPER ANA X NSSOL空港業務における人とロボットのコラボレーション検証を開始, JPN6022004674, 24 February 2017 (2017-02-24), JP, ISSN: 0004697923 * |
| 奥 寛雅,奥村 光平,石川 正俊: "高速視線制御ユニットによる動的プロジェクションマッピング", 第１８回 日本バーチャルリアリティ学会大会論文集 ［ＣＤ−ＲＯＭ］ 第１８回日本バーチャルリアリティ, JPN6020038873, 18 September 2013 (2013-09-18), pages 373 - 375, ISSN: 0004547210 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348753A (en) * | 2020-10-28 | 2021-02-09 | 杭州如雷科技有限公司 | Projection method and system for immersive content |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7207915B2 (en) | 2023-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109556580B (en) | Surveying instrument, AR system and method for positioning an AR device relative to a reference frame | |
| CN107402000B (en) | Method and system for correlating a display device with respect to a measurement instrument | |
| US10598479B2 (en) | Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform | |
| US20150377606A1 (en) | Projection system | |
| EP2350562A1 (en) | Hand-held positioning interface for spatial query | |
| US20180356222A1 (en) | Device, system and method for displaying measurement gaps | |
| JP6001914B2 (en) | Target position specifying device, target position specifying system, and target position specifying method | |
| WO2020195875A1 (en) | Information processing device, information processing method, and program | |
| JP7207915B2 (en) | Projection system, projection method and program | |
| US11869159B2 (en) | High density 3D environment capture with guided mixed reality | |
| JP2021162607A (en) | Display system, information processing apparatus, and display control method for display system | |
| US20220291379A1 (en) | Surveying device and surveying method using the surveying device | |
| US20240087166A1 (en) | Aligning multiple coordinate systems for informaton model rendering | |
| JP2015162886A (en) | obstacle monitoring system and program | |
| JP2019066196A (en) | Inclination measuring device and inclination measuring method | |
| Blissing | Tracking techniques for automotive virtual reality | |
| TWI814624B (en) | Landmark identification and marking system for a panoramic image and method thereof | |
| JP7293057B2 (en) | Radiation dose distribution display system and radiation dose distribution display method | |
| JP2023077070A (en) | Method of aligning virtual space with respect to real space | |
| US20240112406A1 (en) | Bar arrangement inspection result display system | |
| JP2023077071A (en) | Marker setting method | |
| US20230351541A1 (en) | Correcting position of a mobile device using a mobile reference | |
| US20240112327A1 (en) | Bar arrangement inspection system and bar arrangement inspection method | |
| JP2022021009A (en) | Site video management system and site video management method | |
| JP2022147856A (en) | Remote surveying system using video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20181009 |
|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20181001 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181024 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190911 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190911 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210906 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220104 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220104 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220117 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220118 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220204 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220208 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220419 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220621 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220826 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221004 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20221115 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20221220 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20221220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7207915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |