JP2020080118A - Information display system, information display method, and information display program - Google Patents
Information display system, information display method, and information display program Download PDFInfo
- Publication number
- JP2020080118A JP2020080118A JP2018213920A JP2018213920A JP2020080118A JP 2020080118 A JP2020080118 A JP 2020080118A JP 2018213920 A JP2018213920 A JP 2018213920A JP 2018213920 A JP2018213920 A JP 2018213920A JP 2020080118 A JP2020080118 A JP 2020080118A
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- hologram
- processing unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、情報表示システム、情報表示方法及び情報表示プログラムに関する。 The present invention relates to an information display system, an information display method, and an information display program.
近年、立体構造物と立体構造物のモデルとを重ねて表示する技術が知られている（例えば、特許文献１参照）。 In recent years, a technique of displaying a three-dimensional structure and a model of the three-dimensional structure in an overlapping manner is known (see, for example, Patent Document 1).
しかしながら、特許文献１においては、立体構造物とモデルとの重ね合わせは、構造物のエッジ線とモデルの稜線との対応付けを使用者が指定しなければならず、現場においてユーザが、現実の構造物に関する情報を容易に把握することが難しいという課題があった。
However, in
本発明は、上記の課題を解決すべくなされたもので、その目的は、現実空間の情報を容易に把握することができる情報表示システム、情報表示方法及び情報表示プログラムを提供することにある。 The present invention has been made to solve the above problems, and an object thereof is to provide an information display system, an information display method, and an information display program capable of easily grasping information in the physical space.
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、ホログラムを表示する表示部と、
構造物に関する特定の対象の位置を仮想空間に対応付けた仮想空間情報と、現実空間の前記構造物の情報を含む現実空間情報とに基づいて、前記特定の前記対象に関する対象情報をホログラムとして、前記現実空間の前記特定の前記対象の前記位置に重ね合わせて前記表示部に表示する表示処理部を備える、情報表示システムである。
The present invention has been made to solve the above problems, and one embodiment of the present invention is a display unit for displaying a hologram,
Virtual space information in which the position of a specific target related to a structure is associated with a virtual space, and based on real space information including information about the structure in the real space, as target information about the specific target, as a hologram, The information display system includes a display processing unit configured to display on the display unit, the display processing unit being superimposed on the position of the specific target in the physical space.
また、本発明の一態様は、上記の情報表示システムにおいて、前記仮想空間情報は、移動体が過去に取得した前記構造物の情報に基づいて生成された前記構造物の３次元モデルを前記仮想空間に対応付けた構造物情報を更に含み、前記表示処理部は、前記現実空間情報と前記構造物情報とに基づいて、前記ホログラムの表示位置を決定する、ことを特徴とする。 Further, according to an aspect of the present invention, in the above information display system, the virtual space information is a virtual three-dimensional model of the structure generated based on information of the structure acquired by a moving body in the past. The display processing unit further includes structure information associated with a space, and the display processing unit determines a display position of the hologram based on the physical space information and the structure information.
また、本発明の一態様は、上記の情報表示システムにおいて、入力部を更に備え、
前記表示処理部は、前記入力部から入力された情報に基づいて、前記表示位置の調整を行う、ことを特徴とする。
Further, according to one embodiment of the present invention, in the above information display system, an input unit is further provided,
The display processing unit adjusts the display position based on the information input from the input unit.
また、本発明の一態様は、上記の情報表示システムにおいて、前記ホログラムは、前記対象情報に応じて表示態様が異なる、ことを特徴とする。 Further, one aspect of the present invention is characterized in that, in the above information display system, the hologram has a different display aspect depending on the target information.
また、本発明の一態様は、上記の情報表示システムにおいて、前記表示処理部は、前記表示部の表示領域に関する情報と前記仮想空間情報に基づいて、前記特定の前記対象が視界外の場合に、前記特定の前記対象の前記位置を示す指示情報を前記表示領域に表示する、ことを特徴とする。 Further, according to one aspect of the present invention, in the above information display system, the display processing unit is based on information about a display area of the display unit and the virtual space information, when the specific target is out of the visual field. And displaying instruction information indicating the position of the specific target in the display area.
また、本発明の一態様は、上記の情報表示システムにおいて、前記表示部の位置情報を取得する取得処理部を更に備え、前記表示処理部は、前記位置情報と前記対象情報とに基づいて求められる、前記表示部から前記特定の前記対象までの距離及び方向に応じて、前記指示情報を異なる表示にする、ことを特徴とする。 Further, according to one aspect of the present invention, in the above information display system, the display processing unit further includes an acquisition processing unit that acquires position information of the display unit, and the display processing unit obtains the position information based on the position information and the target information. It is characterized in that the instruction information is displayed differently according to a distance and a direction from the display unit to the specific target.
また、本発明の一態様は、上記の情報表示システムにおいて、前記表示処理部は、前記対象情報に関連付けて前記距離を表示する、ことを特徴とする。 Further, one aspect of the present invention is characterized in that, in the above information display system, the display processing unit displays the distance in association with the target information.
また、本発明の一態様は、上記の情報表示システムにおいて、前記特定の前記対象の修理に関する修理情報を更に含み、前記表示処理部は、前記距離が所定の距離以内である場合に、前記ホログラムに関連付けて前記修理情報を表示する、ことを特徴とする。 Further, according to an aspect of the present invention, in the above information display system, the hologram further includes repair information regarding repair of the specific target, and the display processing unit, when the distance is within a predetermined distance, the hologram. The repair information is displayed in association with.
また、本発明の一態様は、前記特定の前記対象は、不具合であることを特徴とする。 Moreover, one aspect of the present invention is characterized in that the specific target is a defect.
また、本発明の一態様は、前記不具合は、電磁波の受信状況に関する不具合を含むことを特徴とする。 Further, one aspect of the present invention is characterized in that the malfunction includes a malfunction relating to a reception state of electromagnetic waves.
また、本発明の一態様は、ホログラムを表示する表示部を備える情報表示システムの情報表示方法であって、表示処理部が、構造物に関する特定の対象の位置を仮想空間に対応付けた仮想空間情報と、現実空間の前記構造物の情報を含む現実空間情報とに基づいて、前記特定の前記対象に関する対象情報をホログラムとして、前記現実空間の前記特定の前記対象の前記位置に重ね合わせて前記表示部に表示する表示処理ステップ、を含む、情報表示方法である。 Further, one embodiment of the present invention is an information display method of an information display system including a display unit that displays a hologram, in which the display processing unit associates a specific target position related to the structure with a virtual space. Based on the information and the physical space information including the information of the structure in the physical space, the target information relating to the specific target is a hologram, and is superimposed on the position of the specific target in the physical space. An information display method including a display processing step of displaying on a display unit.
また、本発明の一態様は、表示部を備える情報表示システムのコンピュータに、ホログラムを表示する表示部を備える情報表示システムのコンピュータに、構造物に関する特定の対象の位置を仮想空間に対応付けた仮想空間情報と、現実空間の前記構造物の情報を含む現実空間情報とに基づいて、前記特定の前記対象に関する対象情報をホログラムとして、前記現実空間の前記特定の前記対象の前記位置に重ね合わせて前記表示部に表示する表示処理ステップ、を実行させる、情報表示プログラムである。 Further, according to one embodiment of the present invention, a position of a specific target relating to a structure is associated with a virtual space in a computer of an information display system including a display portion and a computer of an information display system including a display portion which displays a hologram. Based on the virtual space information and the real space information including the information of the structure in the real space, the target information about the specific target is made to be a hologram, and is superimposed on the position of the specific target in the physical space. And an information display program for executing a display processing step of displaying on the display unit.
本発明によれば、現実空間の情報を容易に把握することができる。 According to the present invention, information in the physical space can be easily grasped.
以下、本発明の実施形態による情報表示システム、及び情報表示方法について、図面を参照して説明する。 Hereinafter, an information display system and an information display method according to embodiments of the present invention will be described with reference to the drawings.
［第１の実施形態］
まず、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る情報表示システム１の一例を示す概要図である。
情報表示システム１は、装置間で、例えば、構造物９の不具合（特定の対象の一例）の位置を仮想空間に投影した仮想空間情報や、構造物９の不具合に関する不具合情報（対象情報の一例）などの情報の送受信を行う情報表示システム１である。情報表示システム１は、処理装置２、ＧＰＳ装置３、ホログラム装置６を備える。
ホログラム装置６は、ホログラムを現実空間に重ねて表示可能なＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であり、不具合情報を、ホログラムを用いて表示する。また、ホログラム装置６は、撮影部６２を備え、撮影部６２から不具合情報の更新情報を取得する。ＧＰＳ装置３は、ホログラム装置６を装着するユーザが保持し、ＧＰＳ衛星からホログラム装置６を装着するユーザのＧＰＳ情報を取得し、ホログラム装置６にホログラム表示を開始する際のホログラム装置６の平面上の位置に関する情報を提供する。ホログラム装置６、ＧＰＳ装置３についての詳細は後述する。
構造物９は、情報表示システム１が情報を表示する対象となる構造物であり、例えば、生活インフラ、社会インフラ、公共インフラ、公益インフラなど各種インフラの施設を含む。構造物９は、例えば、電気、ガス、水道、通信などに関する構造物、学校、病院、住宅などの建物、道路、港湾、鉄道などに関する施設などを含む。
なお、本実施形態では、説明の都合上、図示を省略するが、情報表示システム１は、ＧＰＳ装置３と、ホログラム装置６とのそれぞれを複数備えることが可能である。また、複数のホログラム装置６は、同一の仮想空間情報に基づいて、同時にホログラム表示することが可能である。
[First Embodiment]
First, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic diagram showing an example of an
The
The
The
In the present embodiment, although not shown for convenience of description, the
また、処理装置２と、ＧＰＳ装置３と、ホログラム装置６とは、ネットワークＮＷを介して接続されており、ネットワークＮＷを介して互いに通信する。
The
ネットワークＮＷは、例えば、携帯電話網、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）網、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）網、専用通信回線網、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ；公衆交換電話網）などによって構成される情報通信ネットワークであり、または、これらの組み合わせである。 The network NW includes, for example, a mobile phone network, a PHS (Personal Handy-phone System) network, a VPN (Virtual Private Network) network, a dedicated communication line network, a WAN (Wide Area Network) network, and a LAN (Local Area Network) network. It is an information communication network constituted by a Switched Telephone Network (public switched telephone network) or the like, or a combination thereof.
処理装置２は、例えば、サーバ装置である。処理装置２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や記憶装置を備える。処理装置２は、構造物９の３次元モデルと、構造物９の不具合の位置を示す位置情報を含む不具合情報とに基づいて、仮想空間に構造物９の３次元モデルと不具合情報とを投影する仮想空間投影処理を行う。また、処理装置２は、投影した情報である仮想空間情報と、不具合のメタデータと、ホログラム表示関連情報とを、ネットワークＮＷを介して、ホログラム装置６に送信する。また、処理装置２は、ホログラム装置６が新たに取得した不具合のメタデータを、ネットワークＮＷを介して、ホログラム装置６から受信する。また、処理装置２は、ホログラム装置６がホログラム表示を開始する際の、現実空間におけるホログラム装置６の位置の高さや方向に関する初期位置情報を、ネットワークＮＷを介してＧＰＳ装置３やホログラム装置６に送信する。
The
図２は、本実施形態に係る処理装置２の一例を示すブロック図である。
処理装置２は、通信部２１、記憶部２２、及び、処理部２３を備える。
FIG. 2 is a block diagram showing an example of the
The
通信部２１は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部２１は、例えば、ネットワークＮＷを介して、ＧＰＳ装置３及びホログラム装置６に接続し、ＧＰＳ装置３又はホログラム装置６との間で、各種通信を行う。
The
記憶部２２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備え、ファームウェアやアプリケーションプログラムなど、処理装置２が備えるＣＰＵが実行するための各種プログラムやＣＰＵが実行した処理の結果などを記憶する。処理装置２は、例えば、処理装置２の備えるＣＰＵが記憶部２２に記憶されているプログラムを実行することによって機能する。
記憶部２２は、３次元モデル記憶部２２１、表示情報記憶部２２２、ホログラム表示関連情報記憶部２２３、仮想空間情報記憶部２２４、及び初期位置情報記憶部２２５を備える。
The
The
３次元モデル記憶部２２１は、例えば、構造物９の３次元モデルを記憶する。３次元モデル記憶部２２１は、３次元モデルとして、例えば、構造物９を示す点群を記憶する。なお、３次元モデルはこれには限られない。他の方法によって、構造物９の３次元モデルが記憶されてもよい。以下では、説明を簡単にするため、３次元モデル記憶部２２１は、構造物９を点群である３次元点群モデルとして記憶する例について説明する。なお、点群モデルは、視認性向上のため、点群を用いたメッシュ構造などであってもよい。
The 3D
３次元モデル記憶部２２１は、３次元点群モデルの各点に関する情報として、例えば３次元ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）データなどの情報を記憶する。３次元ＧＩＳデータは、各点の緯度、経度、高度の情報を含む。３次元ＧＩＳデータは、例えば、ドローンなどの移動体による過去の撮影によって得られた情報に基づいて生成された情報などである。以下では、説明を簡単にするため、３次元モデル記憶部２２１は、各点が３次元ＧＩＳデータを含む情報を持つ、３次元点群モデルとして、構造物９の３次元モデルを記憶する例について説明する。
なお、３次元モデル記憶部２２１は、構造物９の周囲にあるものについての３次元モデルを含めて記憶してもよい。
The three-dimensional
Note that the three-dimensional
表示情報記憶部２２２は、例えば、構造物９の不具合の位置を示す不具合位置情報を含む不具合情報を記憶する。ここで、不具合とは、例えば、ひび割れ、欠損、タイル剥がれ、浮き、さび、塗装剥がれ、穴、断線、漏電などの構造物９の構造に関するものや、構造物９に存在する設備などから発せされる電磁波の受信強度など、電磁波に関するものを含む。なお、不具合は、ドローンなどの移動体などによって撮影された情報に基づいて、人の目によって判断された情報に基づいたものであってもよいし、ディープラーニングなどの手法によって不具合と判定された情報に基づいたものであってもよい。
不具合位置情報とは、不具合の中心の位置の緯度、経度、高度の３次元情報を示す。また、不具合が電磁波に関する場合、不具合位置情報は、弱い受信強度が測定された複数の地点をつないで生成される空間の３次元情報であってもよい。この場合、弱い受信強度が測定された複数の地点の位置を不具合位置情報として記憶してもよい。
不具合情報とは、不具合位置情報と、不具合のメタデータを含む。不具合のメタデータは、例えば、不具合の種類、重要度などを含む。不具合の重要度とは、不具合の危険度や、作業の観点から決定される重要性の程度を示す指標である。また、不具合がある領域を示す空間で示される場合、不具合のメタデータは、空間を示す点群の一部であること示す情報などを含んでもよい。
また、不具合のメタデータは、不具合の修理に関する修理情報を含む。修理情報は、不具合の修理方法のマニュアル、不具合に関する作業者のメモ、不具合の作業完了時の日時や、修理結果を示す写真などの情報を含む。
表示情報記憶部２２２は、例えば、図３に示すように、不具合情報を記憶する。
The display
The defect position information indicates three-dimensional information such as latitude, longitude, and altitude at the center position of the defect. Further, when the malfunction is an electromagnetic wave, the malfunction position information may be three-dimensional information of a space generated by connecting a plurality of points where weak reception intensity is measured. In this case, the positions of a plurality of points where the weak reception intensity is measured may be stored as the defect position information.
The defect information includes defect position information and defect metadata. The defect metadata includes, for example, the type of defect and the degree of importance. The degree of importance of failure is an index indicating the degree of risk of failure and the degree of importance determined from the viewpoint of work. In the case of being represented by a space indicating a defective area, the metadata of the failure may include information indicating that the metadata is part of a point cloud indicating the space.
In addition, the defect metadata includes repair information regarding repair of the defect. The repair information includes information such as a manual for a method of repairing the defect, a memo of the operator regarding the defect, the date and time when the defect work is completed, and a photograph showing the repair result.
The display
図３は、本実施形態に係る表示情報記憶部２２２のデータ例を示す図である。
図３に示すように、表示情報記憶部２２２は、例えば、「不具合ＩＤ」と「緯度」と「経度」と「高度」と「不具合の種類」と「不具合の重要度」とを対応付けて不具合情報を記憶する。「不具合ＩＤ」は、不具合情報を一意に識別する識別情報を示す。「緯度」、「経度」、及び「高度」は、不具合の位置を示す不具合位置情報であり、それぞれ、不具合の中心の緯度、経度、高度を示す。「不具合の種類」は不具合の種類を識別する識別情報を示す。不具合の種類を識別する識別情報は、例えば、“１”は剥離、“２”はさび、“３”はひび割れなどのように不具合の内容と対応した識別情報である。「不具合の重要度」は不具合の重要度を、段階的に区分けしたものを識別する識別情報を示す。重要度は、例えば、“１”は重要度小、“２”は重要度中、“３”は重要度大などのように、数値が大きくなるほど重要性が高い不具合であることを示す。
図３に示す例では、「不具合ＩＤ」が“ＸＸＸＸ００１”に対応する「緯度」は“３６．１１０２７０９０５１１２２”であり、「経度」は“１３９．６５５３６２０５４３３４０”であり、「高度」は“３２．０６０２５２３５２４５９４”であり、「不具合の種類」は“１”、すなわち剥離であることを示し、「不具合の重要度」は“３”、つまり重要度が大きいことを示す。
FIG. 3 is a diagram showing an example of data in the display
As shown in FIG. 3, the display
In the example illustrated in FIG. 3, the “latitude” corresponding to the “fault ID” of “XXXX001” is “36.121027090512122”, the “longitude” is “139.65536205543340”, and the “altitude” is “32.06025235524594”. It means that "defect type" is "1", that is, peeling, and "defect importance" is "3", that is, high importance.
ホログラム表示関連情報記憶部２２３は、例えば、不具合情報のホログラム表示関連情報を記憶する。ホログラム表示関連情報とは、不具合情報をホログラムとして表示する際の、表示するホログラムの形状、色、大きさなどの表示態様に関する情報である。また、ホログラム表示関連情報は、後述するように不具合の位置がホログラム装置６を装着するユーザの視界外にある場合、当該不具合の位置の表示方法に関する情報なども含む。また、ホログラム表示関連情報は、不具合が構造物の内部、壁の向こう側など直接視認できない場所に位置する場合のホログラムの表示方法に関する情報なども含む。
ホログラム表示関連情報記憶部２２３は、例えば、不具合をホログラムとして表示する際の、不具合毎の表示方法に関する情報を、不具合のメタデータと表示方法とを対応付けて記憶する。不具合毎の表示方法に関する情報については後述する。ホログラム表示関連情報記憶部２２３は、例えば、不具合の種類とホログラムの色とを対応付けて記憶する。また、ホログラム表示関連情報記憶部２２３は、例えば、不具合の重要度とホログラムの形状とを対応させて記憶する。また、ホログラム表示関連情報記憶部２２３は、後述するように、不具合がホログラム装置６のユーザの視界外に存在する際に、視界外の該不具合に関する情報のホログラム表示に関する情報を記憶する。
The hologram display related
The hologram display related
仮想空間情報記憶部２２４は、後述する仮想空間投影処理によって、仮想空間に構造物９の３次元モデルと構造物９の不具合位置情報とを対応付けた（以下、この対応付け処理を「投影」とも称する）情報を含む仮想空間情報を記憶する。
The virtual space
初期位置情報記憶部２２５は、後述するホログラム装置６の起動処理において、ホログラム装置６がホログラム処理を開始する際の、ホログラム装置６の高さ方向の情報と上下左右の方向とに関する初期位置情報を記憶する。
The initial position
処理部２３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含むプロセッサであり、処理装置２の統括的な制御処理を行う。処理部２３は、例えば、３次元モデル記憶部２２１及び表示情報記憶部２２２から、それぞれ３次元モデル及び不具合位置情報を取得し、３次元モデル上に不具合位置をマッピングする処理を行う。また、処理部２３は、例えば、マッピングした情報を仮想空間上に投影する仮想空間投影処理を行い、投影した仮想空間情報を仮想空間情報記憶部２２４に記憶させる。また、処理部２３は、例えば、仮想空間情報、不具合のメタデータ、及び、ホログラム表示関連情報を、通信部２１を介して、ホログラム装置６に送信する仮想空間情報転送処理を行う。また、処理部２３は、例えば、通信部２１を介して、ホログラム装置６から、不具合のメタデータを受信し、表示情報記憶部２２２に記憶させる。また、処理部２３は、例えば、初期位置情報を、通信部２１を介してＧＰＳ装置３に送信する。
処理部２３は、仮想空間投影部２３１と、転送処理部２３２と、表示情報取得部２３３とを備える。
The
The
仮想空間投影部２３１は、３次元モデル上に不具合位置をマッピングし、マッピングした不具合位置と３次元モデルとを仮想空間上に投影する。具体的には、仮想空間投影部２３１は、３次元モデル記憶部２２１から、３次元モデルを読み出す。また、仮想空間投影部２３１は、表示情報記憶部２２２から、不具合位置情報を読み出す。仮想空間投影部２３１は、読みだした３次元モデルの各点の３次元ＧＩＳデータと、不具合位置情報が含む３次元ＧＩＳデータとに基づいて、３次元モデル上に、不具合の位置をマッピングする。仮想空間投影部２３１は、マッピングした３次元モデル（以下、「マップ済３次元モデル」とも称する）に基づいて、マップ済み３次元モデルの全ての点を包含することのできる仮想立方体を作成する。この際、仮想空間投影部２３１は、仮想立方体の中心点と、マップ済み３次元モデルの中心を合わせ、仮想立方体内にマップ済み３次元モデルを展開する展開処理を行う。ここで、展開処理とは、仮想立方体上の座標と、マップ済み３次元モデル上の座標である３次元ＧＩＳデータとを対応付ける処理を示す。仮想空間投影部２３１は、展開処理を行った情報を仮想空間情報として、仮想空間情報記憶部２２４に記憶させる。
The virtual
転送処理部２３２は、仮想空間情報と不具合のメタデータとホログラム表示関連情報と初期位置情報とをホログラム装置６に送信する処理を行う。転送処理部２３２は、仮想空間情報記憶部２２４、表示情報記憶部２２２、ホログラム表示関連情報記憶部２２３、初期位置情報記憶部２２５から、仮想空間情報、不具合のメタデータ、ホログラム表示関連情報、及び初期位置情報を読み出す。また、転送処理部２３２は、例えば、読み出した仮想空間情報と不具合のメタデータとホログラム表示関連情報と初期位置情報とを、通信部２１を介してホログラム装置６に送信する転送処理を行う。
また、転送処理部２３２は、例えば、初期位置情報記憶部２２５から読みだした初期位置情報を、通信部２１を介して、ＧＰＳ装置３に送信する。
The
The
表示情報取得部２３３は、更新された不具合のメタデータを受信する。表示情報取得部２３３は、例えば、不具合に関する作業員のメモ、不具合の作業完了時の日時や、修理結果を示す写真などの情報を、通信部２１を介して、ホログラム装置６から取得する。表示情報取得部２３３は、取得した不具合のメタデータを、表示情報記憶部２２２に記憶させる。
The display
ＧＰＳ装置３は、例えば、パーソナルコンピュータ、タブレット、スマートフォンなどであって、後述するホログラム装置６を装着したユーザが保持する。ＧＰＳ装置３は、通信部、ＧＰＳ情報取得部、及び表示部を少なくとも備える。ＧＰＳ情報取得部は、ＧＰＳ衛星などからＧＰＳ装置３の位置を示すＧＰＳ情報を取得する。通信部は、ＧＰＳ情報取得部が取得したＧＰＳ情報を、ネットワークＮＷを介して、ホログラム装置６に送信する。また、通信部は、ホログラム装置６の起動時の初期位置情報を、ネットワークＮＷを介して、処理装置２から受信する。ＧＰＳ装置３は、受信した初期位置情報を表示部に表示する。なお、ＧＰＳ装置３は、ＧＰＳ情報を、ネットワークＮＷを介して、ホログラム装置６に送信する代わりに、表示部に、例えば、２次元バーコードなどの形式で表示してもよい。ＧＰＳ装置３を保持するユーザは、処理装置２から受信した初期位置情報とＧＰＳ情報とに基づいて、ホログラム装置６のホログラム表示を開始する際のユーザの位置に移動し、初期位置情報に示される方向を向く。
The
ホログラム装置６は、例えば、ホログラムを現実空間に重ねて表示可能なＨＭＤである。ホログラム装置６は、例えば、仮想空間情報、不具合のメタデータ、ホログラム表示関連情報及び、初期位置情報を、ネットワークＮＷを介して、処理装置２から受信し、記憶部６６に記憶させる。また、ホログラム装置６は、起動時のホログラム装置６の位置のＧＰＳに関する情報を、ネットワークＮＷを介して、又は、後述する撮影部６２を介して、ＧＰＳ装置３から取得する。また、ホログラム装置６は、取得した初期位置情報と、仮想空間情報と、後述するセンサ部６４から取得する３次元情報と、ホログラム表示関連情報とに基づいて、不具合情報をホログラムとして表示するホログラム表示処理を定期的に行う。また、ホログラム装置６は、後述する入力部６３から入力される情報であってホログラム装置６を操作する操作情報と、ホログラム表示関連情報とに基づいて、操作情報をホログラムとして表示するホログラム表示処理を定期的に行う。また、ホログラム装置６は、後述する入力部６３から入力された情報に基づいて、不具合のメタデータに関する情報を取得し、取得した情報に基づいた処理を行う。また、ホログラム装置６は、不具合のメタデータの更新情報を、ネットワークＮＷを介して、処理装置２に送信する。
The
図４は、本実施形態に係るホログラム装置６の一例を示すブロック図である。
ホログラム装置６は、通信部６１、撮影部６２、入力部６３、センサ部６４、表示部６５、記憶部６６、及び処理部６７を備える。
FIG. 4 is a block diagram showing an example of the
The
通信部６１は、有線ＬＡＮ通信、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部２１は、例えば、ネットワークＮＷを介して、処理装置２及びＧＰＳ装置３に接続し、処理装置２又はＧＰＳ装置３との間で、各種通信を行う。
The
撮影部６２は、例えば、イメージセンサを有し３次元動画像、動画像及び静止画像を撮影する。イメージセンサは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ等を用いることができる。３次元動画像とは、撮影部の撮影範囲にある構造物、人物などの物体の表面の凹凸などの情報を含む動画像である。撮影部６２は、ホログラム装置６のユーザの視点からの上記各動画像、静止画像に近い各動画像、静止画像を撮影する。撮影部６２は、撮影した撮影情報を、後述する入力・撮影情報処理部６７２に出力する。なお、撮影部６２は、撮影部６２から撮影する各動画像、静止画像を、ホログラム装置６を装着するユーザの視点からの各動画像、静止画像に補正する補正部を備えてもよい。この場合、撮影部６２は、補正した各動画像、静止画像を入力・撮影情報処理部６７２に出力する。撮影部６２は、例えば、ホログラム装置６を装着するユーザが不具合を修理するなどによって、不具合の状態が変化した場合に、その変化後の状態を撮影する。
The
入力部６３は、例えば、カメラやイメージセンサを有し、ホログラム装置６のユーザのジェスチャーや音声などの入力を示す情報を取得する。入力部６３は、例えば、ユーザが入力を始めることを示す特定のジェスチャーや音声の情報を認識する認識部を備える。入力部６３は、例えば、認識部が入力を始めることを示す情報を認識すると、それ以降のジェスチャーや音声を入力情報として取得する。また、入力部６３は、例えば、取得したジェスチャーや音声の情報により指示される操作信号を生成し、入力・撮影情報処理部６７２に出力する。なお、入力部６３は、撮影部６２の機能を有して形成されてもよい。また、入力部６３は、キーボードやコントローラーなどを有し、入力部６３は、これらを用いて入力を示す情報を取得してもよい。キーボードやコントローラーは、現実に存在するものであってもよいし、後述する表示部６５でホログラムとして表示される仮想的なキーボードやコントローラーであってもよい。以下、説明を簡単にするため、以下、ホログラム装置６のユーザは、ジェスチャーによって入力を行う場合について説明するが、これには限られない。例えば、ホログラム装置６のユーザは、音声、キーボード、コントローラー、又はこれらの組み合わせによって入力を行ってもよい。
The
センサ部６４は、例えば、６軸センサを有し、ホログラム装置６の移動、向き、回転に関する情報を検知する。６軸センサは、例えば、３軸の加速度センサと、３軸のジャイロセンサの組み合わせを用いることができる。また、６軸センサは、例えば、３軸の加速度センサと、東西南北を検出する地磁気センサの組み合わせを用いることもできる。センサ部６４は、検知した情報を、３次元情報処理部６７３に出力する。
The
表示部６５は、例えば、ホログラムディスプレイ装置などであり、各種情報をホログラム表示する。また、表示部６５は、ビデオ透過型、又は、光学透過型のどちらでもよい。ホログラム装置６のユーザは、現実空間の様子とホログラムとを、表示部６５を介して、重ね合わせて見ることができる。表示部６５は、ビデオ透過型の場合、撮影部６２の機能を有して形成されてもよい。以下では、説明の簡単のため、表示部６５は光学透過型である場合について説明する。
表示部６５は、例えば、各種情報をホログラム表示する。表示部６５は、例えば、不具合情報をホログラム表示する。また、表示部６５は、例えば、各種操作画面や情報の入力画面などの情報をホログラム表示する。ここで、各種操作画面や情報の入力画面とは、例えば、ホログラム装置６を操作するためのコントローラー、選択肢を示すボタン、文字などを入力するキーボードなどである。
The
The
記憶部６６は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭなどを備え、ファームウェアやアプリケーションプログラムなど、ホログラム装置６が備えるＣＰＵが実行するための各種プログラムやＣＰＵが実行した処理の結果などを記憶する。ホログラム装置６は、例えば、ホログラム装置６の備えるＣＰＵが記憶部６６に記憶されているプログラムを実行することによって機能する。
記憶部６６は、仮想空間情報記憶部６６１、視界情報記憶部６６２、及び、表示情報記憶部６６３を備える。
The
The
仮想空間情報記憶部６６１は、処理装置２から受信した情報であって、マップ済み３次元モデルを仮想空間に投影した仮想空間情報を記憶する。
視界情報記憶部６６２は、ホログラム装置６を装着しているユーザの視界に関する視界情報を記憶する。視界情報は、例えば、視点の位置（「視点位置」とも称する）と方向（「視点方向」とも称する）を示す視点情報、視野の領域を示す視野領域情報を含む。ここで、視点位置とは、後述する表示部６５の表示画面の中心点を示し、視点方向とは、視点位置における表示画面の接平面の法線方向を示す。なお、視界情報は、ホログラム装置６を装着するユーザに応じて調整されるものであってもよい。視野の領域はユーザによって厳密には異なるが、平均的な視野の領域の情報を視野領域情報としてもよいし、予めホログラム装置６の装着時に調整されるものであってもよい。また、視界情報記憶部６６２は、ＧＰＳ装置３から受け入れたＧＰＳ情報を記憶する。
表示情報記憶部６６３は、不具合のメタデータと、ホログラム表示関連情報とを記憶する。
The virtual space
The visual field
The display
処理部６７は、ＣＰＵなどを含むプロセッサであり、ホログラム装置６の統括的な制御処理を行う。処理部６７は、例えば、処理装置２から、通信部６１を介して、仮想空間情報、不具合のメタデータ、ホログラム表示関連情情報、及び初期位置情報などを受信し、記憶部６６に記憶させる。また、処理部６７は、例えば、ＧＰＳ装置３から、通信部６１を介して、又は撮影部６２を介して、ＧＰＳ情報を受信し、記憶部６６に記憶させる。また、処理部６７は、例えば、撮影部６２から撮影情報を取得し、記憶部６６に記憶させる。また、処理部６７は、例えば、入力部６３から入力された入力情報を示す操作信号を受け入れ、後述する入力情報に対応する各種処理を行う。また、処理部６７は、例えば、更新された不具合のメタデータを、通信部６１を介して、処理装置２に送信する送信処理を行う。また、処理部６７は、例えば、センサ部６４から取得した情報に基づいて、ホログラム装置６の視界情報を取得し、記憶部６６に記憶させる。また、処理部６７は、例えば、入力された情報と記憶部６６から読み出した情報とに基づいて、表示部６５にホログラムを表示させるホログラム表示処理を行う。
処理部６７は、取得処理部６７１と、入力・撮影情報処理部６７２と、３次元情報処理部６７３と、表示処理部６７４と、送信処理部６７５とを備える。
The
The
取得処理部６７１は、処理装置２及びＧＰＳ装置３から、通信部２１を介して、各種情報を取得する。取得処理部６７１は、例えば、仮想空間情報、不具合のメタデータ、ホログラム表示関連情報、及び、初期位置情報を、通信部６１を介して受信する。また、取得処理部６７１は、例えば、受信した仮想空間情報を、仮想空間情報記憶部６６１に記憶させる。また、取得処理部６７１は、例えば、受信した不具合のメタデータ、及びホログラム表示関連情報を、表示情報記憶部６６３に記憶させる。また、取得処理部６７１は、例えば、受信した初期位置情報を、視界情報記憶部６６２に記憶させる。また、取得処理部６７１は、例えば、ＧＰＳ情報を、通信部６１を介して受信し、受信したＧＰＳ情報を視界情報記憶部６６２に記憶させる。
The
入力・撮影情報処理部６７２は、撮影部６２及び入力部６３から、撮影した撮影情報及び入力情報を取得する。また、入力・撮影情報処理部６７２は、仮想空間情報、視界情報、及び、不具合のメタデータを仮想空間情報記憶部６６１、視界情報記憶部６６２、表示情報記憶部６６３から取得する。また、入力・撮影情報処理部６７２は、ホログラム装置６の操作に関する情報を記憶部６６から取得する。入力・撮影情報処理部６７２は、取得した情報に基づいて、以下に示す各種処理を行う。
The input/photographing
入力・撮影情報処理部６７２は、例えば、入力部６３からホログラム装置６を操作する入力情報を取得した場合、入力情報に対応する操作を行うか、または入力情報に対応する操作に関連する情報を表示処理部６７４に出力する。また、入力・撮影情報処理部６７２は、例えば、ホログラム表示の調整を行う入力情報を取得した場合、取得した情報を、３次元情報処理部６７３に出力する。
For example, when the input/imaging
また、入力・撮影情報処理部６７２は、例えば、入力部６３から、不具合を修理するためのマニュアルや、作業者のメモの表示の指示、不具合の修理完了時の修理部位の撮影指示など、不具合のメタデータに関する指示を示す情報を入力部６３から取得した場合、まず指示対象となっている不具合（以下、「対象不具合」とも称する）を特定する不具合特定処理を行う。
In addition, the input/imaging
まず、入力・撮影情報処理部６７２は、仮想空間情報記憶部６６１、視界情報記憶部６６２、表示情報記憶部６６３から、それぞれ仮想空間情報、視界情報、不具合のメタデータを取得する。また、入力・撮影情報処理部６７２は、例えば、取得した仮想空間情報と、視界情報とから、ホログラム装置６の視界内にある不具合のうち、最近傍に存在する不具合を判定し、判定した不具合が対象不具合であると決定する。以上で、不具合特定処理を終了する。
First, the input/imaging
続いて、入力・撮影情報処理部６７２は、例えば、対象不具合のメタデータを参照し、入力部６３から入力された指示内容に対応するメタデータであって、表示部６５に表示するメタデータを取得する。また、入力・撮影情報処理部６７２は、対象不具合と表示するメタデータとを示す情報を、表示処理部６７４に出力する。
Then, the input/imaging
また、入力・撮影情報処理部６７２は、例えば、不具合の修理完了時の修理部位の撮影情報を、撮影部６２から取得した場合、上述した不具合特定処理を行い、対象不具合を特定する。入力・撮影情報処理部６７２は、例えば、対象不具合の撮影情報を、対象不具合のメタデータとして、表示情報記憶部６６３に記憶させる。また、入力・撮影情報処理部６７２は、対象不具合の重要度を、修理完了を示す情報に更新する。また、入力・撮影情報処理部６７２は、送信処理部６７５にメタデータが更新されたことを示す情報を出力する。また、入力・撮影情報処理部６７２は、撮影が完了し、メタデータが更新されたことを示す情報を、表示処理部６７４に出力する。
In addition, for example, when the input/imaging
また、入力・撮影情報処理部６７２は、例えば、ＧＰＳ装置３のＧＰＳ情報の撮影情報を、撮影部６２から取得した場合、撮影情報から、ＧＰＳ情報を取得する。入力・撮影情報処理部６７２は、取得したＧＰＳ情報を視界情報記憶部６６２に記憶させる。
In addition, for example, when the input/shooting
３次元情報処理部６７３は、ＧＰＳ情報、初期位置情報及びホログラム装置６の移動、向き、回転に関する情報（以下、「センサ情報」とも称する）を取得し、取得した情報に基づいて、視界情報を取得する。
The three-dimensional
３次元情報処理部６７３は、表示部６５にホログラム表示する情報（以下、「表示情報」とも称する）の表示を行うホログラム表示処理をホログラム装置６が開始する場合、仮想空間情報記憶部６６１から仮想空間情報を取得する。また、３次元情報処理部６７３は、視界情報記憶部６６２から、ＧＰＳ情報と初期位置情報とを取得する。３次元情報処理部６７３は、仮想空間情報における仮想立方体と３次元ＧＩＳデータとを対応付ける情報と、ＧＰＳ情報の緯度、経度情報に基づいて、ホログラム装置６の初期位置のうち、仮想空間上の視点の平面上の位置を決定する。ここで、平面上の位置とは、仮想空間の高さ方向の情報を含まない２次元の情報である。３次元情報処理部６７３は、続いて初期位置情報に基づいて、開始時の高さ方向の情報（高度）と方向の情報を取得し、取得した情報に基づいて、仮想空間上の開始時の視点位置と視点方向とを決定し、決定した情報を視界情報記憶部６６２に記憶させる。
When the
また、３次元情報処理部６７３は、例えば、入力・撮影情報処理部６７２から、ホログラム表示の調整を行う情報を入力された場合、視界情報記憶部６６２から視界情報を読み出す。３次元情報処理部６７３は、入力された視界情報に基づいて、視界情報が示す視点位置及び視点方向を入力情報に従って調整する。３次元情報処理部６７３は、調整した視点情報を視界情報記憶部６６２に記憶させる。
Further, for example, when the information for adjusting the hologram display is input from the input/imaging
上述したホログラム表示処理の開始時以外の場合、３次元情報処理部６７３は、定期的に、センサ情報を取得する。３次元情報処理部６７３は、視界情報記憶部６６２から、視界情報を取得し、取得したセンサ情報と視界情報とに基づいて、視界情報に含まれる視点位置と視点方向とを更新する。３次元情報処理部６７３は、更新した視界情報を視界情報記憶部６６２に記憶させる。
The three-dimensional
表示処理部６７４は、記憶部６６に記憶される各種情報、及び入力・撮影情報処理部６７２から入力される情報に基づいて、表示部６５にホログラムを表示させるホログラム表示処理を行う。表示処理部６７４は、例えば、ホログラム装置６のホログラム表示の開始時において、仮想空間情報記憶部６６１、視界情報記憶部６６２から、仮想空間情報、視点情報を読み出す。また、表示処理部６７４は、例えば、仮想空間情報に含まれる構造物９の情報と視界情報とに基づいて、表示部６５にホログラム表示する構造物９の表示情報を決定する。表示情報は、視界内に含まれる構造物９の３次元モデルである。表示情報に含まれる３次元モデルは、例えば、構造物９を示す点群をつないだメッシュ構造であってもよい。
The
また、表示処理部６７４は、例えば、仮想空間情報記憶部６６１、視界情報記憶部６６２、表示情報記憶部６６３から、仮想空間情報、視点情報、視野領域情報、不具合のメタデータ、及び、ホログラム表示関連情報を取得する。表示処理部６７４は、例えば、視点情報と視野領域情報とに基づいて、仮想空間内における視界の範囲内となる空間の３次元情報（以下、「仮想空間内視界情報」とも称する）を求める。
In addition, the
表示処理部６７４は、例えば、仮想空間内視界情報と仮想空間情報とホログラム表示関連情報とに基づいて、表示部６５にホログラム表示する不具合を決定する。ホログラム表示する不具合は、仮想空間の視野の範囲内に含まれる不具合と、仮想空間の視野の範囲外であるが、仮想空間の視野の近傍に位置する不具合のうち、表示関連情報に含まれる条件を満たす不具合である。表示関連情報に含まれる条件とは、例えば、視点位置からの距離が所定距離以内であって、視点方向からの角度が所定角度以内の領域（以下、この領域を「視界近傍領域」とも称する）に含まれる不具合である。なお、表示する不具合は複数であってもよい。
The
また、表示処理部６７４は、例えば、ホログラム表示する個々の不具合について、不具合のメタデータ及びホログラム表示関連情報を参照し、不具合情報を表示するホログラムの色、形状、大きさなどの表示方法などのホログラム表示関連情報を取得する。また、表示処理部６７４は、例えば、仮想空間上の不具合位置情報と視点位置情報とに基づいて、仮想空間上での視点位置及び視点方向から不具合位置までの距離と方向とを算出し、不具合をホログラム表示する位置を決定する。また、表示処理部６７４は、例えば、求めた距離を仮想空間情報に含まれる、仮想空間と現実空間とを対応付ける対応情報（以下、「位置対応情報」とも称する）に基づいて、現実空間での距離を算出する。位置対応情報は、仮想空間上の座標と、現実空間上の３次元ＧＩＳデータとを対応付ける情報を含む。また、位置対応情報は、仮想空間上の単位長さと、仮想空間上の単位長さに対応する現実空間の長さとを対応付けた情報を含んでもよい。また、表示処理部６７４は、例えば、視界近傍領域にある不具合について、仮想空間上の不具合位置と視点位置とを結ぶ直線と、視界範囲の境界との交点を求める。表示処理部６７４は、交点近傍の直線上であって、視界範囲内にある領域を、視界近傍領域にある不具合を示す情報を表示する領域（表示位置）として決定する。
Further, the
また、表示処理部６７４は、入力・撮影情報処理部６７２から、対象不具合と表示情報である対象不具合のメタデータとが入力された場合、表示情報記憶部６６３から、入力されたメタデータをホログラム表示するためのホログラム表示関連情報を取得する。
また、表示処理部６７４は、ホログラム装置６の操作に関する情報が入力・撮影情報処理部６７２から入力された場合、操作を表示するホログラムに関するホログラム表示関連情報を表示情報記憶部６６３から取得する。
表示処理部６７４は、以上の処理で決定した表示情報と、取得したホログラム表示関連情報とに基づいて、表示情報を表示部６５にホログラム表示させる。
Further, when the input defect and the metadata of the target defect that is the display information are input from the input/imaging
Further, when the information regarding the operation of the
The
送信処理部６７５は、入力・撮影情報処理部６７２から、メタデータの更新を示す情報が入力されると、更新された不具合のメタデータを、通信部６１を介して、処理装置２に送信する。送信処理部６７５は、例えば、表示情報記憶部６６３から、不具合のメタデータを読み出し、更新された不具合のメタデータを取得する。また、送信処理部６７５は、取得したメタデータを、通信部６１を介して、処理装置２に送信する。
When the information indicating the update of the metadata is input from the input/imaging
次に、図面を参照して、本実施形態に係る情報表示システム１の動作について説明する。
Next, the operation of the
まず、図５を参照して、本実施形態に係る仮想空間投影処理の一例について説明する。
図５は、本実施形態に係る仮想空間投影処理の一例を示すフローチャートである。
First, an example of the virtual space projection process according to the present embodiment will be described with reference to FIG.
FIG. 5 is a flowchart showing an example of the virtual space projection process according to this embodiment.
まず、処理装置２の仮想空間投影部２３１は、３次元モデル記憶部２２１及び表示情報記憶部２２２から、３次元モデル及び不具合位置情報を取得する（ステップＳ１０１）。取得すると、仮想空間投影部２３１は処理をステップＳ１０２に進める。
First, the virtual
次に、仮想空間投影部２３１は、３次元モデルに含まれる３次元ＧＩＳデータと、不具合情報に含まれる３次元ＧＩＳデータとに基づいて、不具合位置情報を、３次元モデル上にマッピングし、マップ済３次元モデルを生成する。生成処理が終了すると、仮想空間投影部２３１は、処理をステップＳ１０３に進める。
Next, the virtual
次に、仮想空間投影部２３１は、マップ済み３次元モデルが全て包含可能な仮想立方体を生成する（ステップＳ１０３）。包含可能な仮想立方体とは、例えば、マップ済み３次元モデルを包含する最小の直方体の最大辺の長さよりも所定の長さだけ大きな一辺を持つ立方体である。この仮想立方体は、ホログラム装置６が記憶可能な仮想空間に対応する。従って、例えば、ホログラム装置６が記憶可能な仮想空間が立方体以外の場合には、仮想立方体の形状も異なってもよい。仮想空間投影部２３１は、仮想立方体の生成処理が終了すると、処理をステップＳ１０４に進める。
Next, the virtual
次に、仮想空間投影部２３１は、仮想立方体の中心点と、マップ済み３次元モデルの中心点を求め、２点を重ね合わせて、仮想立方体内にマップ済み３次元モデルを展開する展開処理を行う。マップ済み３次元モデルの中心点は、マップ済み３次元モデルを包含する最小の直方体の中心点である。この際、仮想空間投影部２３１は、現実空間の単位長さと仮想空間の単位長さとの対応関係を示す情報（仮想空間情報の一部）を算出する。仮想空間投影部２３１は、以上の処理で生成された仮想空間情報を仮想空間情報記憶部２２４に記憶させる（ステップＳ１０４）。処理が終了すると、処理部２３は、処理をステップＳ１０５に進める。
Next, the virtual
転送処理部２３２は、仮想空間情報と不具合のメタデータと表示関連情報と初期位置情報とを、通信部２１を介して、ホログラム装置６に送信する転送処理を行う。ホログラム装置６は、受信した各種情報を記憶部６６に記憶する（ステップＳ１０５）。転送処理部２３２は、処理を終了すると、仮想空間投影処理を終了する。なお、上述した仮想空間転送処理は、後述するホログラム装置６のホログラム表示処理の開始時より前の時点で別途行われてもよいし、ホログラム表示処理の開始時に行われるものであってもよい。
The
次に、図６を参照して、本実施形態に係るホログラム装置６のホログラム表示処理の一例について説明する。
図６は、本実施形態に係るホログラム装置６のホログラム表示処理の一例を示すフローチャートである。
Next, an example of the hologram display processing of the
FIG. 6 is a flowchart showing an example of the hologram display process of the
まず、ホログラム装置６を装着したユーザは、ＧＰＳ装置３に表示される初期位置情報に基づいて、ホログラム装置６を所定の初期高さ及び方向においてホログラムの表示処理を開始させる（ステップＳ２０１）。表示処理の開始とは、例えば、ホログラム装置６の起動などである。表示処理を開始すると、ホログラム装置６の処理部は処理をステップＳ２０２に進める。
First, the user wearing the
続いて、ホログラム装置６の処理部６７は、表示処理の開始時に、ＧＰＳ情報を取得する（ステップＳ２０２）。処理部６７は、ＧＰＳ装置３から、ネットワークＮＷを介して、又は、ＧＰＳ装置３に表示されたＧＰＳ情報を撮影部６２で撮影し解析することによって、ホログラム装置６の位置に関する情報を取得する。処理部６７は、ＧＰＳ情報を取得すると、処理をステップＳ２０３に進める。
Subsequently, the
次に、３次元情報処理部６７３は、初期位置情報とＧＰＳ情報とに基づいて、視点位置を決定する（ステップＳ２０３）。なお、ホログラム装置６がＧＰＳ受信部を備える場合には、ＧＰＳ受信部から取得した情報に基づいて、ホログラム装置６の視点位置を決定してもよい。処理部６７は、視点位置を決定すると、処理をステップＳ２０４に進める。
Next, the three-dimensional
次に、表示処理部６７４は、仮想空間情報に含まれる構造物９の情報をホログラムとして表示部６５に表示させる。表示処理部６７４は、仮想空間情報記憶部６６１及び視界情報記憶部６６２から、仮想空間情報及び視界情報をそれぞれ取得する。表示処理部６７４は、視界情報に基づいて仮想空間情報から構造物９を示す点群のうち、視界に入る、すなわち表示部６５に表示可能な点群とその表示位置とを決定する。表示処理部６７４は、表示情報記憶部６６３から構造物９のホログラム表示に関するホログラム表示関連情報を読み出し、ホログラム表示関連情報に含まれる表示方法で、決定した点群を表示部６５にホログラム表示させる。例えば、表示処理部６７４は、点群を線で結んだメッシュ構造とするホログラムを表示部６５に表示させる（ステップＳ２０４）。処理部６７は処理が終了すると、処理をステップＳ２０５に進める。
Next, the
ホログラム装置６を装着したユーザは、表示部６５に表示される構造物９のホログラムと、現実空間での構造物９の情報とを比較し、構造物９と重なって見える位置（以下、「正しい位置」とも称する）にホログラムが表示されているか否かを判定する（ステップＳ２０５）。ホログラム装置６のユーザは、比較した結果、ホログラム表示が正しい位置に表示されていない場合、微調整を行う入力を示すジェスチャーを行う。処理部６７は、入力部６３から微調整を行う入力情報を取得した場合、表示にずれがあると判定し（ステップＳ２０５：ＹＥＳ）、処理をステップＳ２０６に進める。ホログラム装置６のユーザは、比較した結果、ホログラム表示が正しい位置に表示されている場合、微調整を行わない入力を示すジェスチャーを行う。処理部６７は、微調整を行わない入力情報を取得した場合、表示にずれがないと判定し（ステップＳ２０５：ＮＯ）、処理をステップＳ２０７に進める。
The user wearing the
処理部６７は、微調整に関する入力情報に基づいて、微調整を行う（ステップＳ２０６）。まず、入力・撮影情報処理部６７２は、入力された情報に基づいて、微調整を行う操作画面の情報を表示処理部６７４に出力する。表示処理部６７４は、入力された情報とホログラム表示関連情報とに基づいて、表示部６５に微調整を行う操作画面をホログラム表示する。入力・撮影情報処理部６７２は、つづいて微調整（上下、左右、遠近、３軸方向の回転）を示す入力情報である微調整情報を取得し、取得した微調整情報を３次元情報処理部６７３に出力する。３次元情報処理部６７３は、視界情報記憶部６６２から視点情報を読み出し、読み出した視点情報と、微調整情報とに基づいて、視点情報を更新する。３次元情報処理部６７３は、更新した視点情報を視界情報記憶部６６２に記憶させる。処理部６７は、上述した処理が終了すると、処理をステップＳ２０４に戻す。処理部６７は、ユーザから、微調整を行わない入力を示すジェスチャーが行われるまで、ステップＳ２０４からステップＳ２０６までを繰り返す。
The
処理部６７は、表示情報を表示部６５に表示させるホログラム表示処理を定期的に繰り返すホログラム表示更新処理を行う（ステップＳ２０７）。ホログラム表示更新処理については後述する。処理部６７は、ホログラム表示を中止するジェスチャーの入力など、ホログラム表示の中止を示す情報である入力情報を取得すると、ホログラム表示処理を終了する。
The
次に、図７を参照して、本実施形態に係るホログラム表示更新処理の一例について説明する。
図７は、本実施形態に係るホログラム表示更新処理の一例を示すフローチャートである。
Next, an example of the hologram display update process according to this embodiment will be described with reference to FIG. 7.
FIG. 7 is a flowchart showing an example of the hologram display update processing according to this embodiment.
まず、３次元情報処理部６７３は、センサ部６４から、センサ情報を取得する（ステップＳ３０１）。取得すると、３次元情報処理部６７３は、処理をステップＳ３０２に進める。
First, the three-dimensional
続いて、３次元情報処理部６７３は、取得したセンサ情報に基づいて、視点情報を更新する処理を行う（ステップＳ３０２）。まず、３次元情報処理部６７３は、仮想空間情報記憶部６６１から、位置対応情報を取得する。３次元情報処理部６７３は、取得したセンサ情報と対応情報とに基づいて、仮想空間における視点情報の移動量に関する情報を求める。次に、３次元情報処理部６７３は、視界情報記憶部６６２から、視点情報を取得する。３次元情報処理部６７３は、取得した視点情報と、視点情報の移動量に関する情報に基づいて、視点情報を更新する。３次元情報処理部６７３は、更新した視点情報を視界情報記憶部６６２に記憶させる。なお、３次元情報処理部６７３は、以上の視点情報の更新処理を仮想空間上で行ったが、現実空間上の情報として処理してもよい。例えば、３次元情報処理部６７３は、視点情報と対応情報に基づいて、現実空間における視点位置を算出した後、センサ情報に基づいて、現実空間における視点情報を更新し、更新した視点情報と対応情報とに基づいて、仮想空間における更新された視点情報を取得してもよい。処理部６７は、上述した処理が終了すると、処理をステップＳ３０３に進める。
Subsequently, the three-dimensional
続いて、表示処理部６７４は、ホログラム表示を行う不具合情報を決定する（ステップＳ３０３）。まず、表示処理部６７４は、視界情報記憶部６６２から視界情報を取得する。また、表示処理部６７４は、仮想空間情報記憶部６６１から、仮想空間情報の不具合位置情報を取得する。表示処理部６７４は、視界情報と不具合位置情報とに基づいて、視界内に含まれる不具合を求める。また、表示処理部６７４は、表示情報記憶部６６３から、ホログラム表示関連情報を取得し、視界情報、不具合位置情報、及びホログラム表示関連情報に基づいて、視界近傍領域に存在する不具合を求める。表示処理部６７４は、表示部６５にホログラム表示させる不具合を決定すると、処理をステップＳ３０４に進める。
以降、不具合情報毎に、表示するホログラムを決定する処理（ステップＳ３０４からステップＳ３１０まで）を繰り返す。以下、処理対象である不具合を「ホログラム処理対象不具合」とも称する。
Subsequently, the
Thereafter, the process of determining the hologram to be displayed (from step S304 to step S310) is repeated for each piece of defect information. Hereinafter, the defect to be processed is also referred to as “hologram processing target defect”.
表示処理部６７４は、ホログラム処理対象不具合の視点位置及び視点方向からの距離と方向を算出する（ステップＳ３０４）。表示処理部６７４は、視界情報記憶部６６２から、視点情報を取得する。また、表示処理部６７４は、仮想空間情報記憶部６６１から、ホログラム処理対象不具合の不具合位置情報と、位置対応情報を取得する。表示処理部６７４は、取得した情報に基づいて、現実空間における不具合と視点との間の距離を算出する。また、表示処理部６７４は、視点情報と不具合位置情報とに基づいて、ホログラム処理対象不具合の視点方向からの方向である角度情報を取得する。表示処理部６７４は、ホログラム処理対象不具合の視点位置からの距離と視点方向からの方向を算出すると、処理をステップＳ３０５に進める。
The
表示処理部６７４は、ホログラム表示関連情報と、ホログラム処理対象不具合の視点位置からの距離及び視点方向からの方向に基づいて、表示するホログラムを決定する（ステップＳ３０５）。表示処理部６７４は、表示情報記憶部６６３から、ホログラム表示関連情報を取得する。表示処理部６７４は、ホログラム処理対象不具合の視点位置からの距離及び方向に基づいて、表示情報に対応するホログラムを決定する。表示処理部６７４は、表示するホログラムを決定すると、処理をステップＳ３０６に進める。
The
表示処理部６７４は、入力・撮影情報処理部６７２から、ホログラム処理対象不具合に関する何らかの表示に関する情報が入力されているか否かを判定する（ステップＳ３０６）。入力・撮影情報処理部６７２から上述した情報が入力されている場合、表示処理部６７４は、ホログラム処理対象不具合に関する入力情報があると判定し（ステップＳ３０６：ＹＥＳ）、処理をステップＳ３０７に進める。表示処理部６７４は、入力・撮影情報処理部６７２から、上述した情報が入力されていない場合、入力情報がないと判定し（ステップＳ３０６：ＮＯ）、他の不具合について表示するホログラムを決定する処理に移行する。
The
表示処理部６７４は、入力・撮影情報処理部６７２から入力された入力情報を取得し（ステップＳ３０７）、処理をステップＳ３０８に進める。
The
表示処理部６７４は、入力・撮影情報処理部６７２から入力された入力情報が、撮影を指示する情報であるか否かを判定する（ステップＳ３０８）。表示処理部６７４は、撮影を指示する情報が入力された場合、撮影指示であると判定し（ステップＳ３０８：ＹＥＳ）、撮影を指示する情報を入力・撮影情報処理部６７２に出力し、処理をステップＳ３０９に進める。表示処理部６７４は、マニュアルの表示や、作業員のメモの表示を指示する情報が入力された場合、撮影指示ではないと判定し（ステップＳ３０８：ＮＯ）、処理をステップＳ３１０に進める。
The
入力・撮影情報処理部６７２は、撮影指示が入力された場合、撮影部６２から、撮影情報を取得し、撮影情報の処理を行う（ステップＳ３０９）。入力・撮影情報処理部６７２は、不具合特定処理を行い、対象不具合の撮影情報を、対象不具合のメタデータとして、表示情報記憶部６６３に記憶させる。また、対象不具合の重要度を、修理完了を示す情報に更新する。入力・撮影情報処理部６７２は、撮影処理の終了と、メタデータの更新を示す情報を表示処理部６７４に出力する。表示処理部６７４は、入力・撮影情報処理部６７２から上述した情報が入力されると、処理をステップＳ３１０に進める。
When the shooting instruction is input, the input/shooting
表示処理部６７４は、入力情報に基づいて、表示するホログラムを決定する（ステップＳ３１０）。表示処理部６７４は、表示情報記憶部６６３から、表示するメタデータとその表示方法に関するホログラム表示関連情報を取得する。表示処理部６７４は、表示情報記憶部６６３から取得した情報に基づいて、表示部６５に表示するホログラムを、ステップＳ３０５で決定したホログラムから置き換える。表示処理部６７４は、処理を終了すると、他の不具合についての処理を繰り返す。表示する全ての不具合についての処理が終了すると、処理をステップＳ３１１に進める。
The
表示処理部６７４は、入力・撮影情報処理部６７２から不具合以外に関する何らかの情報が入力されているか否かを判定する（ステップＳ３１１）。不具合以外に関する何らかの情報とは、例えば、ホログラム装置６の操作に関する情報などである。表示処理部６７４は、上述した情報が入力されている場合、その他の入力情報があると判定し（ステップＳ３１１：ＹＥＳ）、処理をステップＳ３１２に進める。表示処理部６７４は、上述した情報が入力されていない場合、その他の入力情報がないと判定し（ステップＳ３１１：ＮＯ）、処理をステップＳ３１４に進める。
The
表示処理部６７４は、入力・撮影情報処理部６７２から、不具合に以外に関する何らかの情報が入力されている場合、入力された情報を取得し（ステップＳ３１２）、処理をステップＳ３１３に進める。
When some information related to other than a defect is input from the input/imaging
表示処理部６７４は、記憶部６６から入力された情報に対応する表示情報を決定し、表示情報を表示するホログラムを決定する（ステップＳ３１３）。表示処理部６７４は、表示情報記憶部６６３から、表示情報に関するホログラム表示関連情報を読み出し、表示情報とホログラム表示関連情報とに基づいて、表示するホログラムを決定し、処理をステップＳ３１４に進める。
The
表示処理部６７４は、以上の処理で決定したホログラムを、表示部６５に表示させ、定期的な表示処理を終了する（ステップＳ３１５）。
The
次に、ステップＳ３１５で表示処理部６７４が表示部６５に表示情報をホログラム表示させる場合の、表示部６５の表示画面のいくつかの例について、図を参照して説明する。
Next, some examples of the display screen of the
まず、図８を参照して、本実施形態に係るホログラム装置６の表示画面の一例について説明する。
図８は、本実施形態に係るホログラム装置６の表示画面の一例を示す図である。図８（Ａ）は、視界内に不具合が１つあり、視界近傍領域に不具合が２つある場合の表示画面の一例を示す図である。図８（Ｂ）は、図８（Ａ）における視界内の不具合にホログラム装置６を装着したユーザが近づいた場合の、表示画面の一例を示す図である。図８（Ｃ）は、図８（Ａ）における視界内の不具合にホログラム装置６を装着したユーザが更に近づいた場合の、表示画面の一例を示す図である。
First, an example of the display screen of the
FIG. 8 is a diagram showing an example of a display screen of the
図８（Ａ）は、視界内に不具合が１つあり、視界近傍領域に不具合が２つある場合の表示画面Ｄ１００のホログラム表示例を示す。図８（Ａ）において、点線で示される情報は説明のために示すもので、表示画面Ｄ１００には表示されない情報である。表示画面Ｄ１００は、中心点Ｚ１０１、視界内不具合を示すホログラム表示Ｐ１０２、視界近傍領域の不具合Ｐ１０４及びＰ１０６、視界近傍領域の不具合Ｐ１０４に関するホログラム表示Ａ１０５、及び、視界近傍領域の不具合Ｐ１０６に関するホログラム表示Ａ１０７を含んで構成される。また、表示画面Ｄ１００には表示されない、視界近傍領域外の不具合Ｐ１０３についてもここで説明する。 FIG. 8A shows a hologram display example of the display screen D100 when there is one defect in the field of view and two defects in the near field of view. In FIG. 8A, the information indicated by the dotted line is shown for the sake of explanation, and is information that is not displayed on the display screen D100. The display screen D100 includes a center point Z101, a hologram display P102 indicating a defect in the field of view, defects P104 and P106 in the near-field of view region, a hologram display A105 related to the defect P104 in the near-field of view region, and a hologram display A107 related to the defect P106 in the near-field-of-view region. It is configured to include. In addition, a defect P103 that is not displayed on the display screen D100 and is located outside the field of view is also described here.
中心点Ｚ１０１は、表示画面Ｄ１００の中心点であり、視点位置を示す。視界近傍領域の不具合は、中心点Ｚ１０１からの距離及び方向に基づいて、表示画面Ｄ１００の画面端近傍に不具合の情報をホログラム表示される。図８（Ａ）では、ホログラム表示Ａ１０５、Ａ１０７が画面端近傍に表示されるホログラムである。視界近傍領域のホログラム表示の詳細については後述する。 The center point Z101 is the center point of the display screen D100 and indicates the viewpoint position. Regarding the defect in the near-view field, the defect information is hologram-displayed near the screen edge of the display screen D100 based on the distance and the direction from the center point Z101. In FIG. 8A, hologram displays A105 and A107 are holograms displayed near the edge of the screen. Details of the hologram display in the near field of view will be described later.
視界内不具合のホログラム表示Ｐ１０２は、視界内に不具合がある場合のホログラム表示である。ホログラム表示Ｐ１０２は、中心点Ｚ１０１からの距離と方向との情報に基づいて、表示画面Ｄ１００内に、不具合の中心点を中心とする赤色の球状のホログラムとして表示されている。ホログラムの色及び形状は、表示情報記憶部６６３に記憶されたホログラム表示関連情報に基づいて決定される。本実施形態の例では、赤色のホログラムは、不具合の重要度が高いことを示す。また、球状のホログラムは、不具合が剥離であることを示す。
表示情報記憶部６６３は、中心点Ｚ１０１からの距離に基づいて、不具合のメタデータのホログラム表示方法を異なるものにする。本実施形態の例では、距離が１０ｍ以上の場合は、所定の大きさのホログラムと、中心点Ｚ１０１からの不具合までの距離の情報をホログラムとして、不具合の位置、種類、重要度を示すホログラムの近傍に表示する。ホログラム表示Ｐ１０２の例では、赤色かつ球状のホログラムの近傍に、実空間での距離の情報である“１２ｍ”という不具合の表示情報をホログラム表示する。なお、ホログラム表示Ｐ１０２の例では、距離情報が球体の上部にホログラム表示されているが、表示位置についてはこれに限られない。また、ホログラム表示も、例えば“１０ｍ以上遠方”などのように厳密な距離を示すものでなくてもよい。また、表示するホログラムの透明度、大きさなどが視点位置からの距離に応じて異なるものであってもよい。
The holographic display P102 of a defect in the visual field is a hologram display when there is a defect in the visual field. The hologram display P102 is displayed as a red spherical hologram centered on the defective center point on the display screen D100 based on the information on the distance and direction from the center point Z101. The color and shape of the hologram are determined based on the hologram display related information stored in the display
The display
視界近傍領域外の不具合Ｐ１０３は、中心点Ｚ１０１からの距離が所定の距離以上、もしくは、視点方向からの角度が所定の角度以上であるために、視界近傍領域外となっており、不具合の情報が表示画面Ｄ１００に表示されない。ホログラム装置６を装着したユーザが、表示画面Ｄ１００を不具合Ｐ１０３の方向に向くなどの動作をすることによって、不具合Ｐ１０３が視界近傍領域に含まれた場合には、中心点Ｚ１０１からの距離、方向に基づいて、表示画面Ｄ１００の画面端近傍に不具合Ｐ１０３の情報がホログラム表示される。
視界近傍領域の不具合Ｐ１０４は、中心点Ｚ１０１からの距離が所定の距離未満、かつ視点方向からの角度が所定の角度内であるが、視界外の視界近傍領域に存在する不具合である。この場合、表示画面Ｄ１００には、中心点Ｚ１０１から不具合Ｐ１０４への仮想的な直線（図８（Ａ）では点線で表示されている）と視界の境界領域に不具合の位置・方向を示すホログラム表示Ａ１０５が表示される。
The defect P103 outside the visual field is outside the visual field because the distance from the center point Z101 is a predetermined distance or more, or the angle from the viewpoint direction is a predetermined angle or more. Is not displayed on the display screen D100. When the user wearing the
The defect P104 in the near-view field is a defect that the distance from the center point Z101 is less than the predetermined distance and the angle from the viewpoint direction is within the predetermined angle, but exists in the near-field region outside the view field. In this case, on the display screen D100, a imaginary straight line from the center point Z101 to the defect P104 (indicated by a dotted line in FIG. 8A) and a hologram display indicating the position/direction of the defect in the boundary area of the field of view. A105 is displayed.
なお、ホログラム表示Ａ１０５の表示態様は、図示したものに限られない。例えば、ホログラム表示Ａ１０５の形状は、矢印であるがこれには限られない。また、ホログラム表示Ａ１０５の色は、例えば、不具合の重要度に応じて異なるものであってもよい。ここでは、ホログラム表示Ａ１０５のホログラムの色は不具合が視界内にある場合に表示されるホログラムと同様の色である。すなわち、不具合Ｐ１０４が重要度の高い不具合である場合、ホログラム表示Ａ１０５は赤色で表示される。また、図８（Ａ）の例では、ホログラム表示Ａ１０５の大きさは、不具合Ｐ１０４までの距離と方向によって定められる。表示情報記憶部６６３は、視界近傍領域を表示する矢印の大きさを、不具合までの距離に応じて数段階に分類し、また、視点方向から不具合までの角度に応じて数段階に分類する。表示処理部６７４は、上述した情報を表示情報記憶部６６３から読み取り、矢印の大きさを、距離に応じた大きさと、方向に応じた大きさの積算によって決定する。図８（Ａ）の例では、矢印は、例えば、距離が１５ｍで０％になるよう、距離に比例した大きさとする。また、角度は９０度で０％になるように、角度に比例した大きさとし、両者の積算によって、最終的に表示するホログラム（矢印）の大きさを決定する。ホログラム表示Ａ１０５の矢印は、不具合Ｐ１０４までの距離は近いものの、角度が９０度に近いため、小さい矢印となる。
The display mode of hologram display A105 is not limited to that shown in the figure. For example, the shape of hologram display A105 is an arrow, but the shape is not limited to this. Further, the color of the hologram display A105 may be different depending on the importance of the defect, for example. Here, the color of the hologram of hologram display A105 is the same as the color of the hologram displayed when the defect is within the field of view. That is, when the defect P104 is a defect of high importance, the hologram display A105 is displayed in red. Further, in the example of FIG. 8A, the size of the hologram display A105 is determined by the distance and the direction to the defect P104. The display
視界近傍領域の別の不具合Ｐ１０６は、不具合の重要度が中程度であるため、ホログラム表示Ａ１０７はホログラム表示Ａ１０５とは違う色で表示される。また、不具合Ｐ１０６は、不具合Ｐ１０４に比べると、距離が近く、また角度も小さいため、ホログラム表示Ａ１０７の矢印は、ホログラム表示Ａ１０５よりも大きい。 Another defect P106 in the near-field-of-sight area has a medium degree of importance, so that the hologram display A107 is displayed in a color different from that of the hologram display A105. Further, the defect P106 has a shorter distance and a smaller angle than the defect P104, and therefore the arrow of the hologram display A107 is larger than that of the hologram display A105.
図８（Ｂ）は、図８（Ａ）における視界内の不具合（ホログラム表示Ｐ１０２に対応する不具合）にホログラム装置６を装着したユーザが近づいた場合の、表示画面Ｄ１１０の一例を示す図である。
表示画面Ｄ１１０は、不具合位置、重要度、種類を示すホログラム表示Ｐ１１１と、不具合のメタデータのホログラム表示Ｄ１１２とを含んで構成される。
FIG. 8B is a diagram showing an example of the display screen D110 when the user wearing the
The display screen D110 is configured to include a hologram display P111 indicating a defect position, an importance, and a type, and a hologram display D112 of metadata of the defect.
ホログラム表示Ｐ１１１は、ホログラム表示Ｐ１０２と同じ不具合を示すが、不具合までの距離が近いため、ホログラム表示Ｐ１０２のホログラムよりも大きなホログラムとして表示される。 The hologram display P111 shows the same defect as the hologram display P102, but since the distance to the defect is short, it is displayed as a hologram larger than the hologram of the hologram display P102.
ホログラム表示Ｄ１１２は、不具合のメタデータを示すホログラムである。本実施形態の例では、表示情報記憶部６６３は、中心点Ｚ１０１からの距離が３ｍ以上１０ｍ未満の場合は不具合のメタデータを含む吹き出し状のホログラムを、不具合の位置、種類、重要度を示すホログラムの近傍に表示する。図８（Ｂ）の例では、メタデータとして、不具合を識別する識別情報（“ＩＤ：ＸＸＸＸ００１”）と、不具合が登録された日時情報（“２０１８／６／１１”）と、不具合の種類と重要度（“タイル剥離：レベル３”）とがホログラム表示される。
The hologram display D112 is a hologram showing the metadata of the defect. In the example of the present embodiment, the display
図８（Ｃ）は、図８（Ａ）における視界内の不具合（ホログラム表示Ｐ１０２に対応する不具合）にホログラム装置６を装着したユーザが３ｍ以内に近づいた場合の、表示画面Ｄ１２０の一例を示す図である。
表示画面Ｄ１２０は、不具合位置、重要度、種類を示すホログラム表示Ｐ１２１と、不具合のメタデータの表示情報Ｄ１２２と、ホログラム表示された不具合の修理に関するボタンＢＴ１２３、ＢＴ１２４、ＢＴ１２５を含んで構成される。
FIG. 8C shows an example of the display screen D120 when the user wearing the
The display screen D120 includes a hologram display P121 indicating a defect position, importance, and type, display information D122 of metadata of the defect, and buttons BT123, BT124, and BT125 relating to repair of the defect displayed on the hologram.
ホログラム表示Ｐ１２１は、ホログラム表示Ｐ１０２、ホログラム表示Ｐ１１１と同じ不具合を示すが、不具合までの距離が近いため、ホログラム表示Ｐ１１１のホログラムよりも大きなホログラムとして表示される。 The hologram display P121 shows the same defect as the hologram display P102 and the hologram display P111, but since the distance to the defect is short, it is displayed as a hologram larger than the hologram of the hologram display P111.
ホログラム表示Ｄ１２２は、不具合のメタデータを示す情報であり、ホログラム表示Ｄ１１２と同様の情報を示している。ホログラム表示Ｄ１２２は、不具合までの距離が近いため、ホログラム表示Ｄ１１２のホログラムより大きなホログラムとして表示される。 The hologram display D122 is information indicating failure metadata, and is the same information as the hologram display D112. The hologram display D122 is displayed as a larger hologram than the hologram of the hologram display D112 because the distance to the defect is short.
ボタンＢＴ１２３は、不具合の修理のマニュアルの表示を指示するボタンをホログラム表示したものである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１２３の押下が入力される場合、表示処理部６７４は、不具合のマニュアルをホログラムで表示させる。表示詳細については後述する。
The button BT123 is a hologram display of a button for instructing to display a manual for repairing a defect. When the pressing of the button BT123 is input by the gesture of the user of the
ボタンＢＴ１２４は、不具合についての作業員のメモの表示を指示するボタンをホログラム表示したものである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１２４の押下が入力される場合、表示処理部６７４は、不具合についての作業員のメモをホログラムで表示させる。表示詳細については後述する。
The button BT124 is a hologram display of a button for instructing to display a memo of a worker regarding a defect. When the pressing of the button BT124 is input by the gesture of the user of the
ボタンＢＴ１２５は、不具合の作業が完了したことを指示するボタンをホログラム表示したものである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１２５の押下が入力される場合、表示処理部６７４は、不具合の作業完了時の写真撮影に関する情報をホログラムで表示させる。表示詳細については後述する。
The button BT125 is a hologram display of a button for instructing the completion of the defective work. When the pressing of the button BT125 is input by the gesture of the user of the
なお、上述したメタデータの表示方法は、上述した方法に限られない。例えば、上述した方法では、１０ｍや３ｍを、表示方法の変更を行う閾値としていたが、この閾値は他の値であってもよい。メタデータの表示位置や表示方法、表示するメタデータの内容についても、上述した方法と別の形状、表現、内容で示されるものであってもよい。 Note that the above-described metadata display method is not limited to the above-described method. For example, in the method described above, 10 m or 3 m is used as the threshold value for changing the display method, but this threshold value may be another value. The display position and display method of the metadata and the content of the displayed metadata may also be indicated by a shape, expression, and content different from the above-described method.
次に、図９を参照し、本実施形態に係るホログラム装置６のマニュアル表示画面の一例について説明する。
Next, an example of the manual display screen of the
表示処理部６７４は、図８（Ｃ）の状態において、ボタンＢＴ１２３の押下を示すジェスチャーを示す入力情報が入力・撮影情報処理部６７２から行われた場合、図９の表示画面Ｄ１３０を表示させる。
表示画面Ｄ１３０は、マニュアル表示Ｄ１３１と、表示停止ボタンＢＴ１３２とを含んで構成される。
In the state of FIG. 8C, the
The display screen D130 includes a manual display D131 and a display stop button BT132.
マニュアル表示Ｄ１３１は、表示情報記憶部６６３に記憶されたマニュアルであって、対象不具合のメタデータに含まれるマニュアルをホログラム表示したものである。例えば。図９の例では、タイル剥離の修理に関するマニュアルを図解したものが表示されている。なお、表示するマニュアルは、図解したものに限られない。例えば、マニュアルを文章で表示したものや動画であってもよい。
表示停止ボタンＢＴ１３２は、マニュアル表示Ｄ１３１に表示されているマニュアルのホログラム表示を停止し、図８（Ｃ）と同様のホログラム表示を行うことを指示するためのボタンである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１３２の押下が入力される場合、表示処理部６７４は、マニュアル表示を中止し、図８（Ｃ）と同様のホログラムをホログラム表示させる。
The manual display D131 is a manual stored in the display
The display stop button BT132 is a button for instructing to stop the hologram display of the manual displayed on the manual display D131 and perform the hologram display similar to that in FIG. 8C. When the pressing of the button BT132 is input by the gesture of the user of the
次に、図１０を参照し、本実施形態に係るホログラム装置６のメモ表示画面の一例について説明する。
Next, an example of the memo display screen of the
表示処理部６７４は、図８（Ｃ）の状態において、ボタンＢＴ１２４の押下を示すジェスチャーを示す入力情報が入力・撮影情報処理部６７２から行われた場合、図１０の表示画面Ｄ１４０を表示させる。
表示画面Ｄ１４０は、メモ表示Ｄ１４１と、表示停止ボタンＢＴ１４２とを含んで構成される。
In the state of FIG. 8C, the
The display screen D140 includes a memo display D141 and a display stop button BT142.
メモ表示Ｄ１４１は、表示情報記憶部６６３に記憶された不具合に対する作業員のメモであって、対象不具合のメタデータに含まれるメモをホログラム表示したものである。例えば、図１０の例では、“周囲も点検が必要。タイル浮きが激しい。錆が浮いている。”というメモが表示されている。
表示停止ボタンＢＴ１４２は、メモ表示部Ｄ１４１に表示されている作業員のメモのホログラム表示を停止し、図８（Ｃ）と同様のホログラム表示を行うことを指示するためのボタンである。ホログラム装置６のユーザのジェスチャーによって、ボタンＢＴ１４２の押下が入力される場合、表示処理部６７４は、メモ表示を中止し、図８（Ｃ）と同様のホログラムを表示させる。
The memo display D141 is a memo of the worker for the defect stored in the display
The display stop button BT142 is a button for instructing to stop the hologram display of the memo of the worker displayed in the memo display unit D141 and perform the hologram display similar to that in FIG. 8C. When the pressing of the button BT142 is input by the gesture of the user of the
次に、図１１を参照し、本実施形態に係るホログラム装置６の作業完了時の表示画面の一例について説明する。
図１１（Ａ）は、作業完了時に撮影を行うためのメッセージを表示する場合の表示画面の一例を示す。図１１（Ｂ）は、撮影を実際に行った場合の撮影情報を表示する場合の表示画面の一例を示す。図１１（Ｃ）は、不具合のメタデータが更新された場合の表示画面の一例を示す。
Next, with reference to FIG. 11, an example of a display screen when the work of the
FIG. 11A shows an example of a display screen in the case of displaying a message for taking a picture when the work is completed. FIG. 11(B) shows an example of a display screen for displaying shooting information when shooting is actually performed. FIG. 11C shows an example of the display screen when the defect metadata is updated.
表示処理部６７４は、図８（Ｃ）の状態において、ボタンＢＴ１２５の押下を示すジェスチャーを示す入力情報が入力・撮影情報処理部６７２から行われた場合、図１１（Ａ）の表示画面Ｄ２００を表示させる。
表示画面Ｄ２００は、メッセージ表示Ｄ２０１と、撮影ボタンＢＴ２０２とを含んで構成される。
In the state of FIG. 8C, the
The display screen D200 includes a message display D201 and a shooting button BT202.
メッセージ表示Ｄ２０１は、作業結果の撮影の操作方法を示すメッセージのホログラム表示である。図１１（Ａ）の例では、“作業結果を撮影します（「Ｐｈｏｔｏ」で撮影）”と、撮影ボタンＢＴ２０２の押下をジェスチャーで行うことで、撮影が行われることを示す情報がホログラム表示されている。
撮影ボタンＢＴ２０２は、撮影部６２で撮影を行い、撮影された情報をホログラム表示することを指示するボタンである。ホログラム装置６を装着したユーザのジェスチャーによって、撮影ボタンＢＴ２０２の押下が入力される場合、入力・撮影情報処理部６７２は、撮影部６２から撮影された情報を取得し、表示処理部６７４に出力する。表示処理部６７４は、入力された情報に基づいて、例えば、図１１（Ｂ）のような表示情報を表示画面に表示させる。
The message display D201 is a hologram display of a message indicating the operation method for photographing the work result. In the example of FIG. 11(A), "Shoot the work result (shoot with "Photo")" is displayed, and by pressing the shooting button BT202 with a gesture, information indicating that the shooting will be performed is displayed as a hologram. ing.
The photographing button BT202 is a button for instructing to perform photographing by the photographing
図１１（Ｂ）は、図１１（Ａ）において撮影ボタンＢＴ２０２の押下が入力された後、撮影部６２が撮影した情報を表示する場合の表示画面Ｄ２１０の一例を示す図である。
表示画面Ｄ２１０は、撮影情報表示Ｄ２１１と、再撮影を指示する再撮影ボタンＢＴ２１２と、撮影完了を指示する完了ボタンＢＴ２１３とを含んで構成される。
FIG. 11B is a diagram showing an example of the display screen D210 when the information captured by the
The display screen D210 includes a shooting information display D211, a re-shooting button BT212 for instructing re-shooting, and a completion button BT213 for instructing the completion of shooting.
撮影情報表示Ｄ２１１は、撮影部６２で撮影された情報をホログラム表示する。
再撮影ボタンＢＴ２１２は、撮影部６２で撮影され、撮影情報表示Ｄ２１１にホログラム表示される撮影情報を破棄し、再び撮影部６２で撮影を行い、撮影された情報をホログラム表示させることを指示するボタンをホログラム表示したものである。ホログラム装置６を装着したユーザのジェスチャーによって、再撮影ボタンＢＴ２１２の押下が入力される場合、入力・撮影情報処理部６７２は、先に撮影部６２から撮影された情報を破棄し、再度撮影部６２から撮影された情報を取得し、表示処理部６７４に出力する。表示処理部６７４は、入力された情報に基づいて、再び、図１１（Ｂ）のような表示情報を表示画面に表示させる。
完了ボタンＢＴ２１３は、撮影された情報を、対象不具合のメタデータとして保存し、不具合の重要度を更新し、作業完了のホログラムの表示を指示するボタンをホログラム表示したものである。ホログラム装置６を装着したユーザのジェスチャーによって、完了ボタンＢＴ２１３の押下が入力される場合、入力・撮影情報処理部６７２は、撮影部６２から撮影された情報を対象不具合のメタデータとして、表示情報記憶部６６３に記憶させる。また、入力・撮影情報処理部６７２は、不具合のメタデータのうち、重要度の項目を、作業完了を示す情報に更新し、表示情報記憶部６６３に記憶させる。入力・撮影情報処理部６７２は、表示情報記憶部６６３に上述した情報を記憶させると、更新完了の情報を表示処理部６７４に出力する。表示処理部６７４は、更新完了の情報に基づいて、作業完了のホログラムを表示部６５に表示させる。
The photographing information display D211 displays the information photographed by the photographing
The re-imaging button BT212 is a button for instructing that the imaging information captured by the
The completion button BT213 is a hologram display of a button for storing the photographed information as metadata of the target defect, updating the importance of the defect, and instructing the display of a hologram of work completion. When the pressing of the completion button BT213 is input by the gesture of the user wearing the
図１１（Ｃ）は、図１２（Ｂ）において、完了ボタンＢＴ２１３が押下された場合の、表示画面Ｄ２２０の一例を示す図である。
表示画面Ｄ２２０は、不具合位置、重要度、種類を示すホログラム表示Ｐ２２１、不具合のメタデータのホログラム表示Ｄ２２２、及び完了状態を示すホログラム表示Ｄ２２３を含んで構成される。
FIG. 11C is a diagram showing an example of the display screen D220 when the completion button BT213 is pressed in FIG. 12B.
The display screen D220 is configured to include a hologram display P221 indicating a defect position, an importance, and a type, a hologram display D222 of metadata of a defect, and a hologram display D223 indicating a completion state.
ホログラム表示Ｐ２２１は、図８（Ｃ）のホログラム表示Ｐ１２１と同じ不具合を表示する。ホログラム表示Ｐ２２１は、修理が完了したため、ホログラム表示Ｐ１２１と異なる色のホログラムとして表示されている。ここでは、ホログラム表示Ｐ２２１は、修理完了を示す青色のホログラムが表示されている。 The hologram display P221 displays the same defect as the hologram display P121 of FIG. Since the repair is completed, the hologram display P221 is displayed as a hologram having a different color from the hologram display P121. Here, in the hologram display P221, a blue hologram indicating the completion of repair is displayed.
ホログラム表示Ｄ２２２は、不具合のメタデータを表示するホログラムである。ホログラム表示Ｄ２２２に表示される情報は、図８（Ｃ）の表示情報Ｄ２２１と基本的に同じ情報であるが、図１１（Ｃ）の場合には、修理が完了しているので、不具合の種類と重要度については“タイル剥離：修理完了”と、修理が完了したことを示す情報が表示される。 The hologram display D222 is a hologram that displays the metadata of the defect. The information displayed on the hologram display D222 is basically the same information as the display information D221 of FIG. 8C, but in the case of FIG. 11C, since the repair has been completed, the type of failure As for the importance, "Tile peeling: repair completed" and information indicating that the repair is completed are displayed.
ホログラム表示Ｄ２２３は、不具合の完了状態を表示するホログラムである。図１１（Ｃ）の場合には、ホログラム表示Ｄ２２３には、“完了済み”と修理が完了したことを示す文字情報と、完了時の撮影情報であって、対象不具合のメタデータである撮影情報とがホログラム表示される。
なお、表示画面Ｄ２２０は、対象不具合が視点位置から３ｍ以内の場合の例であり、例えば、それより離れている場合には、図８（Ａ）、図８（Ｂ）に準じた表示画面を表示する。即ち、例えば、１０ｍ以上距離が離れている場合には、図８（Ａ）で示されるホログラム表示Ｐ１０２のホログラムが青色で示されるようであってもよい。
また、作業完了時の撮影に関する表示画面は上述したものに限られない。写真撮影を行わなくてもよいし、撮影を行った場合でも、ホログラム表示Ｄ２２３にホログラムとして表示しなくてもよい。
The hologram display D223 is a hologram that displays a defective completion state. In the case of FIG. 11(C), the hologram display D223 has the text information “completed” indicating that the repair has been completed, the shooting information at the time of completion, and the shooting information that is metadata of the target defect. And are displayed as holograms.
The display screen D220 is an example in the case where the target defect is within 3 m from the viewpoint position. For example, when the target defect is farther than that, a display screen according to FIGS. 8A and 8B is displayed. indicate. That is, for example, when the distance is 10 m or more, the hologram of the hologram display P102 shown in FIG. 8A may be shown in blue.
Further, the display screen regarding the shooting when the work is completed is not limited to the above. It is not necessary to take a picture, or even if the picture is taken, it is not necessary to display it as a hologram on the hologram display D223.
以上説明したように、本実施形態による情報表示システム１は、ホログラムを表示する表示部６５と、構造物９に関する特定の対象の位置を仮想空間に対応付けた仮想空間情報と、現実空間の前記構造物の情報を含む現実空間情報とに基づいて、特定の対象に関する対象情報をホログラムとして、現実空間の特定の対象の位置に重ね合わせて表示部６５に表示する表示処理部６７４を備える、情報表示システムである。
As described above, the
これにより、本実施形態による情報表示システム１は、例えば、構造物の特定の対象の位置や特定の対象の状況などの対象情報を、構造物９に重ね合わせて表示することができる。そのため、本実施形態による情報表示システム１を利用するユーザは、例えば、構造物が存在する場所でホログラム装置６を装着するだけで、必要な情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Thereby, the
また、本実施形態では、上記の情報表示システム１において、仮想空間情報は、移動体が過去に取得した構造物９の情報に基づいて生成された構造物９の３次元モデルを仮想空間に対応付けた構造物情報を更に含み、表示処理部６７４は、現実空間情報と構造物情報とに基づいて、ホログラムの表示位置を決定する、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、複雑な処理を行うことなく、ホログラム装置６を装着するだけで、対象情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, in the present embodiment, in the
As a result, the
また、本実施形態では、上記の情報表示システム１において、入力部６３を更に備え、表示処理部６７４は、入力部６３から入力された情報に基づいて、表示位置の調整を行う、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、表示される情報が現実空間の情報と一致していない場合でも、調整し一致して見える位置に表示させることができ、現実空間の情報を容易に把握することができる。
Further, in the present embodiment, the
As a result, the
また、本実施形態では、上記の情報表示システム１において、ホログラムは、対象情報に応じて表示態様が異なる、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、特定の対象の近くにいる際に、特定の対象の詳細に関する情報を他の場所を見て確認しなくても、特定の対象に関する詳細情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, the present embodiment is characterized in that, in the above
Thereby, the
また、本実施形態では、上記の情報表示システム１において、表示処理部６７４は、表示部６５の表示領域に関する情報と仮想空間情報に基づいて、表示領域に前記ホログラムが表示できない場合に、特定の対象が視界外の場合に、特定の対象の位置を示す指示情報を表示領域に表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、視界外に存在する特定の対象についても、その情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, in the present embodiment, in the
As a result, the
また、本実施形態では、上記の情報表示システム１において、表示部６５の位置情報を取得する取得処理部６７１を更に備え、表示処理部６７４は、位置情報と対象情報とに基づいて求められる、表示部６５から特定の対象までの距離及び方向に応じて、指示情報を異なる表示にする、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、視界外など、距離感をつかみにくい状況においても、正確に特定の対象が存在する場所を把握することができ、現実空間の情報を容易に把握することができる。
In the present embodiment, the
As a result, the
また、本実施形態では、上記の情報表示システム１において、表示処理部６７４は、対象情報に関連付けて距離を表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、視界内であっても、距離感をつかみにくい状況において、正確に特定の対象が存在する場所を把握することができ、現実空間の情報を容易に把握することができる。
Further, in the present embodiment, in the above
As a result, the
また、本実施形態では、上記の情報表示システム１において、特定の対象の修理に関する修理情報を更に含み、表示処理部６７４は、距離が所定の距離以内である場合に、対象情報に関連付けて修理情報を表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、ユーザが特定の対象の修理を行う際に、修理方法などの情報を、特定の対象を見ながら把握することができ、現実空間の情報を容易に把握することができる。
Further, in the present embodiment, the
As a result, the
また、本実施形態では、上記の情報表示システム１において、特定の対象は不具合である、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、インフラを支えるための構造物９の不具合について、該不具合を見ながら不具合の詳細情報を把握することができ、現実空間の情報を容易に把握することができる。
Further, the present embodiment is characterized in that, in the above
As a result, the
また、本実施形態では、上記の情報表示システム１において、不具合は、電磁波の受信状況に関する不具合を含む、ことを特徴とする。
これにより、本実施形態による情報表示システム１は、例えば、インフラを支えるため様々な用途で用いられるが、通常目視することができない電磁波について、構造物９の近傍の空間における受信状況の不具合についても、現実空間を見ながら把握することができ、現実空間の情報を容易に把握することができる。
Further, the present embodiment is characterized in that in the
As a result, the
［第２の実施形態］
次に、図面を参照しながら本発明の第２の実施形態について説明する。
本実施形態では、ドローンの操縦者がホログラム装置を装着し、予め定められた飛行予定に従って、ドローンを操縦する場合の変形例について説明する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to the drawings.
In the present embodiment, a modified example in which the drone operator wears the hologram device and steers the drone in accordance with a predetermined flight schedule will be described.
図１２は、本実施形態に係る情報表示システム１ａの一例を示す概要図である。情報表示システム１ａは、装置間で、例えば、構造物９の周辺でのドローン４の飛行予定の情報である飛行予定情報や実際の飛行情報である実飛行情報など情報の送受信を行う情報表示システム１ａである。
情報表示システム１ａは、処理装置２ａ、ＧＰＳ装置３、ドローン４（移動体の一例）、ドローン情報取得装置５、及び、ホログラム装置６ａを備える。なお、この図において、上述した図１と同一の構成には、同一の符号を付与して、ここでの説明を省略する。
ホログラム装置６ａは、ドローン４の飛行予定情報やドローン情報取得装置５が取得するドローン４の実飛行情報などを処理装置２ａから取得し、該情報をホログラムとして表示する。各装置の詳細については後述する。なお、本実施形態では、説明の都合上、図示を省略するが、情報表示システム１ａは、ＧＰＳ装置３と、ホログラム装置６ａとのそれぞれを複数備えることが可能である。
FIG. 12 is a schematic diagram showing an example of the information display system 1a according to the present embodiment. The information display system 1a is an information display system that transmits and receives information between devices such as flight schedule information that is flight schedule information of the
The information display system 1a includes a
The
また、処理装置２ａと、ＧＰＳ装置３と、ドローン４と、ドローン情報取得装置５と、ホログラム装置６ａとは、ネットワークＮＷを介して接続されており、ネットワークＮＷを介して互いに通信する。
Further, the
処理装置２ａは、例えば、サーバ装置である。処理装置２ａは、例えば、ＣＰＵや記憶装置を備える。処理装置２ａは、３次元モデルと、ドローン４の飛行予定情報と、ドローン４の実飛行情報とに基づいて、仮想空間に３次元モデルと飛行予定情報と実飛行情報とを投影する仮想空間投影処理を行う。また、処理装置２ａは、投影した情報である仮想空間情報と、飛行予定情報及び実飛行情報のメタデータと、ホログラム表示関連情報と、初期位置情報とを、ネットワークＮＷを介して、ホログラム装置６ａに送信する。また、処理装置２ａは、ドローン情報取得装置５が取得したドローン４の実飛行情報のメタデータを、ネットワークＮＷを介して、ドローン情報取得装置５から受信する。また、処理装置２ａは、ホログラム装置６ａにおける表示処理を開始する際の現実空間におけるホログラム装置６ａの初期位置情報を、ネットワークＮＷを介してＧＰＳ装置３に送信する。処理装置２ａの基本的な機能は、処理装置２と同様である。
The
図１３は、本実施形態に係る処理装置２ａの一例を示すブロック図である。
処理装置２ａは、通信部２１、記憶部２２ａ、及び、処理部２３ａを備える。
FIG. 13 is a block diagram showing an example of the
The
通信部２１ａは、有線ＬＡＮ通信、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部２１ａの基本的な機能は、通信部２１と同様である。通信部２１ａは、例えば、ネットワークＮＷを介して、ＧＰＳ装置３、ドローン情報取得装置５及びホログラム装置６ａに接続し、ＧＰＳ装置３、ドローン情報取得装置５又はホログラム装置６ａとの間で、各種通信を行う。
The
記憶部２２ａは、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭなどを備え、ファームウェアやアプリケーションプログラムなど、処理装置２ａが備えるＣＰＵが実行するための各種プログラムやＣＰＵが実行した処理の結果などを記憶する。記憶部２２ａの基本的な機能は記憶部２２と同様である。
記憶部２２ａは、３次元モデル記憶部２２１、表示情報記憶部２２２ａ、ホログラム表示関連情報記憶部２２３ａ、仮想空間情報記憶部２２４ａ、及び初期位置情報記憶部２２５を備える。
The
The
表示情報記憶部２２２ａは、例えば、構造物９の周辺を飛行するドローン４の飛行予定の位置に関する飛行予定情報や、ドローン４の実際の飛行の位置に関する実飛行情報などを記憶する。
飛行予定情報は、ドローン４が飛行の開始（離陸）から終了（着陸）までに通過（経由）する特定の位置（以下、「飛行経由ポイント」とも称する）を識別する識別情報と、緯度、経度、高度の３次元情報と、経由順を示す情報（経由順情報の一例）と、飛行経由ポイントを説明する情報を含む。ドローン４は、飛行予定において、飛行経由ポイントを経由順に線分で結んだ折れ線を飛行予定経路として、飛行経由ポイントを経由しながら飛行を行うことが予定される。なお、飛行経由ポイントを直線的に移動する経路上に構造物９が存在し、直線状に移動することが不可能な場合、飛行予定情報は、構造物９を回避するような飛行経路を示す飛行経路情報を含んでもよい。
また、飛行予定情報は、ドローン４が飛行経由ポイントで撮影を行う場合、撮影に関する情報（撮影予定情報の一例）も含む。また、飛行予定情報は、ドローン４が飛行経由ポイントを通過したか否かを示す通過情報も含む。また、以降、飛行経由ポイントの経由順を示す情報、飛行経由ポイントを説明する情報、撮影に関する情報、及び、通過情報などを「飛行予定情報のメタデータ」とも称する。
表示情報記憶部２２２ａは、例えば、図３に示すように、飛行予定情報を記憶する。
The display
The flight schedule information includes identification information for identifying a specific position (hereinafter, also referred to as “flight transit point”) through which the
In addition, the flight schedule information also includes information regarding shooting (an example of shooting schedule information) when the
The display
図１４は、本実施形態に係る表示情報記憶部２２２ａの飛行予定情報のデータ例を示す図である。
図１４に示すように、表示情報記憶部２２２ａは、例えば、「ポイントＩＤ」と「ポイント名」と「緯度」と「経度」と「高度」と「通過」を対応付けて飛行予定情報を記憶する。「ポイントＩＤ」は、飛行経由ポイントを一意に識別する識別情報であり、またドローン４の飛行時の経由順を示す情報である。なお、経由順を示す情報は、ポイントＩＤとは異なる情報として記憶してもよい。「ポイント名」は各飛行経由ポイントを説明する情報を示す。例えば、ポイント名は撮影を行う飛行経由ポイントであることを示す情報を含む。「緯度」、「経度」、及び「高度」は、飛行経由ポイントの３次元情報を示し、それぞれ飛行経由ポイントの緯度、経度、高度を示す。「通過」は飛行経由ポイントを実際にドローン４が通過したか否かを示す情報である。
図１４に示す例では、「ポイントＩＤ」が“１”に対応する「ポイント名」は“離陸地点”であり、「緯度」は“３６．５５７００００００００００”であり、「経度」は“１４０．１５３６９９９９９９９９０”であり、「高度」は“２９．６００００００００００００”であり、「通過」は“〇”で、ドローン４が通過したことを示す。
FIG. 14 is a diagram showing a data example of flight schedule information in the display
As illustrated in FIG. 14, the display
In the example illustrated in FIG. 14, the “point name” corresponding to the “point ID” of “1” is “takeoff point”, the “latitude” is “36.5570000000000000”, and the “longitude” is “140.153699999999990”. “Altitude” is “29.6000000000000” and “Pass” is “◯”, indicating that the
実飛行情報は、ドローン４が実際に飛行を行う場合にドローン情報取得装置５がドローン４から定期的に取得するドローン４の位置に関する各種情報を含む。実飛行情報は、例えば、ドローン４の飛行位置の情報を取得した取得時刻と、取得した飛行位置の緯度、経度、高度の３次元情報（移動体位置情報の一例）を含む。また、実飛行情報は、ドローン４のテレメトリ情報を含む。テレメトリ情報とは、ドローン４の初期位置からの高度、距離の情報、及び、ドローン４の速度情報を含む。また、実飛行情報は、ドローン４のバッテリ残量情報、ドローン操作上注意すべき情報であるアラート情報を含む。また、実飛行情報は、ドローン４が撮影を行う場合には、ドローン４の撮影部から撮影された動画像や静止画像などの撮影情報を含む。以下では、説明の簡単のため、ドローン４は、常に撮影部から動画像を撮影しており、所定の飛行経由ポイントでは、静止画像（撮影結果情報の一例）を撮影するものとする。また、以降ドローン４の飛行位置の３次元情報以外の全ての情報を「実飛行情報のメタデータ」とも称する。なお、ドローン４の撮影部が移動中に動画像ではなく、静止画像を撮影してもよいし、所定の飛行経由ポイントで静止画像でなく動画像を撮影してもよい。
The actual flight information includes various information regarding the position of the
ホログラム表示関連情報記憶部２２３ａは、例えば、ホログラムを表示する場合の、表示するホログラムに関する情報であるホログラム表示関連情報を記憶する、ホログラム表示関連情報は、例えば、飛行予定情報及び実飛行情報をホログラム表示する場合の表示するホログラムに関する情報や、ホログラム装置６ａの操作に関する情報をホログラム表示する場合の表示するホログラムに関する情報である。
The hologram display-related information storage unit 223a stores, for example, hologram display-related information that is information related to a hologram to be displayed when displaying a hologram. It is information regarding the hologram to be displayed when displaying, and information regarding the hologram to be displayed when performing hologram display of information regarding the operation of the
仮想空間情報記憶部２２４ａは、後述する仮想空間投影処理によって、仮想空間に投影された構造物９の３次元モデルと飛行経由ポイントの３次元情報と実飛行情報の飛行位置（以降、「ドローン位置」とも称する）の３次元情報とを含む仮想空間情報を記憶する。
The virtual space
処理部２３ａは、ＣＰＵなどを含むプロセッサであり、処理装置２ａの統括的な制御処理を行う。処理部２３ａの基本的な機能は、処理部２３と同様である。処理部２３ａは、例えば、３次元モデル記憶部２２１及び表示情報記憶部２２２ａから、それぞれ３次元モデル、飛行経由ポイントの３次元情報、及び、実飛行情報の飛行位置を取得し、３次元モデル上に飛行経由ポイントやドローン位置をマッピングする処理を行う。また、処理部２３ａは、例えば、マッピングした情報を仮想空間上に投影する仮想空間投影処理を行い、投影した仮想空間情報を仮想空間情報記憶部２２４ａに記憶させる。また、処理部２３ａは、例えば、仮想空間情報、及び、ホログラム表示関連情報を、通信部２１ａを介して、ホログラム装置６ａに送信する仮想空間情報転送処理を行う。また、処理部２３ａは、例えば、通信部２１ａを介して、ドローン情報取得装置５から、ドローン４の実飛行情報を受信する。また、処理部２３ａは、受信した情報を表示情報記憶部２２２ａに記憶させる。また、処理部２３ａは、受信した情報に基づいて各種処理を行い、処理した情報を表示情報記憶部２２２ａに記憶させる。また、処理部２３ａは、例えば、ホログラム装置６ａの初期位置情報を、通信部２１ａを介してＧＰＳ装置３やホログラム装置６ａに送信する。
処理部２３ａは、仮想空間投影部２３１ａと、転送処理部２３２ａと、表示情報取得部２３３ａと、実飛行情報処理部２３４とを備える。
The
The
仮想空間投影部２３１ａは、３次元モデル上に飛行経由ポイントとドローン位置をマッピングし、マッピングした情報を仮想空間上に投影する。なお、マッピングするドローン位置は、後述する実飛行情報処理部２３４によってホログラムに表示することが示されたドローン位置である。仮想空間投影部２３１ａの基本的な機能は仮想空間投影部２３１と同様である。仮想空間投影部２３１ａは、３次元モデル記憶部２２１から、３次元モデルを読み出す。また、仮想空間投影部２３１ａは、表示情報記憶部２２２ａから、飛行経由ポイントとドローン位置とを読み出す。仮想空間投影部２３１ａは、読みだした情報に基づいて、３次元モデル上に、飛行経由ポイント及びドローン位置をマッピングする。仮想空間投影部２３１ａは、マップ済３次元モデルに基づいて、マップ済み３次元モデルの全ての点を包含することのできる仮想立方体を作成し、仮想立方体内にマップ済み３次元モデルを展開する展開処理を行う。仮想空間投影部２３１ａは、展開処理を行った情報を仮想空間情報として、仮想空間情報記憶部２２４ａに記憶させる。なお、仮想空間投影部２３１ａは、後述する実飛行情報処理部２３４によって、実飛行情報が更新されるたびに上述した処理を繰り返す。
The virtual
転送処理部２３２ａは、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び初期位置情報をホログラム装置６ａに送信する処理を行う。転送処理部２３２ａの基本的な機能は転送処理部２３２と同様である。転送処理部２３２ａは、仮想空間情報記憶部２２４ａ、表示情報記憶部２２２ａ、ホログラム表示関連情報記憶部２２３ａ、初期位置情報記憶部２２５から、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び初期位置情報を読み出し、読み出した情報を、通信部２１ａを介してホログラム装置６ａに送信する転送処理を行う。なお、転送処理部２３２ａは、仮想空間情報、飛行予定情報のメタデータ、及び、実飛行情報のメタデータが更新されるたびに、転送処理を行う。
また、転送処理部２３２ａは、例えば、初期位置情報記憶部２２５から読みだした初期位置情報を、通信部２１ａを介して、ＧＰＳ装置３及びホログラム装置６ａに送信する。
The
Further, the
表示情報取得部２３３ａは、ドローン４の実飛行情報を、通信部２１ａを介してドローン情報取得装置５から受信する。表示情報取得部２３３ａは、取得した実飛行情報を、表示情報記憶部２２２ａに記憶させる。
The display
実飛行情報処理部２３４は、表示情報記憶部２２２ａから取得したドローン４の実飛行情報に基づいて、各種処理を行い、処理した情報を表示情報記憶部２２２ａに記憶させる。実飛行情報処理部２３４は、実飛行情報に含まれる取得時刻に基づいて、ドローン位置を示す情報のうち、ホログラム表示を行う情報を求める。表示情報記憶部２２２ａは、ドローン４の時刻と位置とを対応付けた情報を多数記憶するが、その全てについてホログラム表示を行うと現時点の位置を捉えにくくなる。そこで、最近のドローンの位置のみをホログラム表示することで、現時点の位置を捉えやすくなる。そこで、実飛行情報処理部２３４は、例えば、最新の取得時刻から所定の秒数だけ遡った時刻から、最新の取得時刻までに含まれる時刻のドローンの位置のみをホログラム表示する。実飛行情報処理部２３４は、表示情報記憶部２２２ａから過去の実飛行情報を読み出し、所定の時刻範囲に取得されたドローン位置を示す情報について、ホログラム表示することを示す情報を付加し、実飛行情報処理部２３４に記憶させる。
The actual flight
また、実飛行情報処理部２３４は、例えば、取得した撮影情報に静止画像が含まれる場合には、表示情報記憶部２２２ａから飛行予定情報を読み出し、静止画像が取得された時刻のドローン位置の３次元情報と飛行予定情報とに基づいて、対応する飛行経由ポイントを決定する。実飛行情報処理部２３４は、決定した飛行経由ポイントと撮影情報とを対応付けて、実飛行情報のメタデータとして、表示情報記憶部２２２ａに記憶させる。
また、実飛行情報処理部２３４は、取得したドローン位置と、飛行経由ポイントとに基づいて、飛行経由ポイントをドローン４が通過したか否かを判定する。例えば、実飛行情報処理部２３４は、ドローン位置と飛行経由ポイントとの距離を算出し、算出した距離が所定の距離以内である場合、当該飛行経由ポイントを通過したと判定し、当該飛行経由ポイントの通過を示す情報を、飛行予定情報のメタデータとして表示情報記憶部２２２ａに記憶させる。
In addition, for example, when the acquired shooting information includes a still image, the actual flight
In addition, the actual flight
また、実飛行情報処理部２３４は、取得したドローン位置と、飛行予定情報とに基づいて、飛行予定ルートの近傍をドローンが飛行しているか否かを判定する。飛行予定ルートとは、経由順が隣り合う飛行経由ポイント間を直線で結んだ場合の、直線を示す。実飛行情報処理部２３４は、飛行予定ルートとドローン位置との距離を計算し、所定の数値より大きいときは、飛行予定ルートを飛行していないと判定する。この場合、実飛行情報処理部２３４は、飛行予定ルートとドローン位置とに基づいて、どちらにドローンを操作すると飛行予定ルートに近づくかを求め、求めた情報をアラート情報として、表示情報記憶部２２２ａに記憶させる。
Further, the actual flight
ドローン４は、ホログラム装置６を装着するユーザが保持する図示せぬコントローラーによって操作される。ドローン４は、例えば、構造物９の周囲を飛行し、構造物９の動画像や静止画像を撮影する。ドローン４は、撮影部と、センサ部と、ＧＰＳ受信部と、通信部と、処理部とを少なくとも備える。
The
撮影部は、例えば、イメージセンサを有し、動画像及び静止画像を撮影する。イメージセンサは、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等を用いることができる。撮影部は撮影した情報を処理部に出力する。
センサ部は、例えば、６軸センサを有し、ドローン４の移動、向き、回転に関する情報を検知する。６軸センサは、例えば、３軸の加速度センサと、３軸のジャイロセンサの組み合わせを用いることができる。また、６軸センサは、例えば、３軸の加速度センサと、東西南北を検出する地磁気センサの組み合わせを用いることもできる。センサ部は、検知した情報を、処理部に出力する。
ＧＰＳ受信部は、ＧＰＳ衛星などから、ドローン４の位置を示すＧＰＳ情報を受信し、受信したＧＰＳ情報を処理部に出力する。
The image capturing unit has, for example, an image sensor and captures a moving image and a still image. As the image sensor, a CMOS image sensor, a CCD image sensor or the like can be used. The photographing unit outputs the photographed information to the processing unit.
The sensor unit has, for example, a 6-axis sensor, and detects information regarding the movement, direction, and rotation of the
The GPS receiving unit receives GPS information indicating the position of the
通信部は、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部は、例えば、ネットワークＮＷを介して、ドローン情報取得装置５に接続し、ドローン情報取得装置５との間で、各種通信を行う。また、通信部は、ホログラム装置６を装着するユーザが保持するコントローラーとの間で操作に関する情報の送受信を行う。
処理部は、ＣＰＵなどを含むプロセッサであり、ドローン４のホログラム装置６の統括的な制御処理を行う。処理部は、例えば、ドローン４の姿勢制御を行う。また、処理部は、撮影部、センサ部、ＧＰＳ受信部から入力された情報を、通信部を介して、ドローン情報取得装置５に定期的に送信する。
The communication unit connects to the network NW using wireless LAN communication or the like, and performs various types of communication via the network NW. The communication unit is connected to the drone
The processing unit is a processor including a CPU and the like, and performs overall control processing of the
ドローン情報取得装置５は、例えば、パーソナルコンピュータ、携帯電話、タブレット、スマートフォンなどである。ドローン情報取得装置５は、ドローン４から実飛行情報を取得する。ドローン情報取得装置５は、通信部と、時刻取得部と、処理部とを少なくとも備える。
通信部は、有線ＬＡＮ通信、無線ＬＡＮ通信などを利用してネットワークＮＷに接続し、ネットワークＮＷを介して各種通信を行う。通信部は、例えば、ネットワークＮＷを介して、処理装置２ａ及びドローン４に接続し、処理装置２ａ又はドローン４との間で、各種通信を行う。時刻取得部は、ドローン４から各種情報を取得した時刻情報を取得し、処理部に出力する。処理部は、ドローン４から通信部を介して取得した各種情報と、時刻取得部取得した時刻情報とに基づいて実飛行情報を作成し、通信部を介して、処理装置２ａに送信する。
The drone
The communication unit connects to the network NW using wired LAN communication, wireless LAN communication, or the like, and performs various types of communication via the network NW. The communication unit is connected to the
ホログラム装置６ａは、例えば、ホログラムを現実空間に重ねて表示可能なＨＭＤであり、基本的な機能は、ホログラム装置６と同様である。ホログラム装置６ａは、例えば、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び初期位置情報を、ネットワークＮＷを介して、処理装置２から受信し、記憶部６６ａに記憶させる。また、ホログラム装置６ａは、受信した情報と、後述するセンサ部６４から取得する３次元情報とに基づいて、飛行予定情報及び実飛行情報をホログラムとして表示する表示処理を行う。
The
図１５は、本実施形態に係るホログラム装置６ａの一例を示すブロック図である。
ホログラム装置６は、通信部６１、撮影部６２、入力部６３、センサ部６４、表示部６５ａ、記憶部６６ａ、及び処理部６７ａを備える。
FIG. 15 is a block diagram showing an example of the
The
表示部６５ａは、例えば、ホログラムディスプレイ装置などであり、各種情報をホログラムとして表示する。表示部６５ａの基本的な機能は表示部６５と同様である。表示部６５ａは、例えば、飛行予定情報や実飛行情報をホログラム表示する。
The
記憶部６６ａは、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭなどを備える。記憶部６６ａの基本的な機能は記憶部６６と同様である。
記憶部６６ａは、仮想空間情報記憶部６６１、視界情報記憶部６６２、及び、表示情報記憶部６６３ａを備える。
表示情報記憶部６６３ａは、飛行予定情報のメタデータ、実飛行情報のメタデータ、及びホログラム表示関連情報を記憶する。
The
The
The display information storage unit 663a stores metadata of flight schedule information, metadata of actual flight information, and hologram display related information.
処理部６７ａは、ＣＰＵなどを含むプロセッサである。処理部６７ａの基本的な機能は処理部６７と同様である。処理部６７と異なる機能として、処理部６７ａは、例えば、処理装置２ａから、通信部６１を介して、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、及びホログラム表示関連情情報などを受信し、仮想空間情報記憶部６６１、表示情報記憶部６６３ａに記憶させる。また、記憶部６６ａに記憶された各種情報に基づいて、表示部６５ａにホログラムを表示させる。
処理部６７ａは、取得処理部６７１ａと、入力・撮影情報処理部６７２ａと、３次元情報処理部６７３と、表示処理部６７４ａとを備える。
The
The
取得処理部６７１ａは、処理装置２ａ及びＧＰＳ装置３から、通信部２１ａを介して、各種情報を取得する。取得処理部６７１ａの基本的な機能は、取得処理部６７１と同様である。取得処理部６７１と異なる点として、取得処理部６７１ａは、例えば、飛行予定情報のメタデータ、実飛行情報のメタデータを、通信部６１を介して受信し、受信した情報を、表示情報記憶部６６３ａに記憶させる。
The
入力・撮影情報処理部６７２ａは、撮影部６２及び入力部６３から、撮影した撮影情報及び入力情報を取得する。入力・撮影情報処理部６７２ａは、例えば、入力部６３からホログラム装置６ａを操作する入力情報を取得した場合、対応する操作を行うか、または対応する操作に基づいた情報を表示処理部６７４ａに出力する。また、入力・撮影情報処理部６７２ａは、例えば、ホログラム表示の調整を行う入力情報を取得した場合、取得した情報を、３次元情報処理部６７３に出力する。また、入力・撮影情報処理部６７２ａは、例えば、ＧＰＳ装置３のＧＰＳ情報の撮影情報を、撮影部６２から取得した場合、撮影情報から、ＧＰＳ情報を取得する。入力・撮影情報処理部６７２ａは、取得したＧＰＳ情報を視界情報記憶部６６２に記憶させる。
The input/photographing
表示処理部６７４ａは、記憶部６６ａに記憶される各種情報、及び入力・撮影情報処理部６７２ａから入力される情報に基づいて、表示部６５ａにホログラムを表示させるホログラム表示処理を行う。表示処理部６７４ａの基本的な機能は、表示処理部６７４と同様である。
The
表示処理部６７４の機能と異なる点として、表示処理部６７４ａは、例えば、仮想空間内視界情報と仮想空間情報とに基づいて、表示部６５ａにホログラム表示する飛行経由ポイント及びドローン位置を決定する。ホログラム表示する飛行経由ポイントは、仮想空間の視野の範囲内に含まれる飛行予定情報である。また、ホログラム表示するドローン位置は、実飛行情報処理部２３４によって表示することが決定されたドローン位置のうち、仮想空間の視野の範囲内に含まれるドローン位置である。また、表示処理部６７４ａは、飛行予定情報のメタデータのうち、表示する飛行経由ポイントに関する飛行予定情報のメタデータを表示部６５に表示する表示情報として決定する。また、表示処理部６７４ａは、実飛行情報のメタデータのうち、ホログラム表示するドローン位置に関する実飛行情報のメタデータを表示情報として決定する。
As a point different from the function of the
また、表示処理部６７４ａは、例えば、仮想空間情報と視点情報とに基づいて、ホログラム表示する飛行予定情報に含まれる飛行経由ポイント毎に、視点位置からの距離と視点方向からの方向を算出し、ホログラムを表示する表示位置を決定する。
Further, the
また、表示処理部６７４ａは、例えば、視界内の飛行予定ルートを表示情報として決定する。表示処理部６７４ａは、飛行経由ポイントと視点位置とに基づいて、視界内に存在する飛行予定ルートをドローン４の飛行予定ルートのホログラムを表示する位置として決定する。この時、一方の飛行経由ポイントが仮想空間の視野の範囲外である場合、表示処理部６７４ａは、飛行経由ポイントを結ぶ線分（飛行予定ルート）のうち、視野の範囲内に存在する線分をホログラム表示する位置として決定する。
Further, the
また、表示処理部６７４ａは、例えば、仮想空間情報と視点情報とに基づいて表示するドローン位置情報に含まれるドローン位置毎に、視点位置からの距離と方向を算出し、ホログラムを表示する表示位置を決定する。
In addition, the
また、表示処理部６７４ａは、例えば、実飛行情報処理部２３４によって表示することが決定されたドローン位置に基づいて、過去のドローン位置の間を結ぶ線分を、ドローン４の飛行軌跡（移動体移動情報の一例）とし、飛行軌跡を表示情報として決定する。この時、一方のドローン位置が仮想空間の視界外に存在する場合、表示処理部６７４ａは、ドローン位置を結ぶ線分（飛行軌跡）のうち、視界内に存在する線分を、ホログラム表示する飛行軌跡の位置として決定する。
Further, the
また、表示処理部６７４ａは、例えば、表示情報記憶部６６３からドローン４のテレメトリ情報、バッテリ残量情報、アラート情報、動画像情報を読み出し、表示情報として決定する。
また、表示処理部６７４ａは、ホログラム装置６ａの操作に関する情報が入力・撮影情報処理部６７２ａから入力された場合、操作を表示するホログラムに関する情報を記憶部６６ａから読み出し、表示情報を取得する。
Further, the
Further, when the information on the operation of the
また、表示処理部６７４は、表示情報記憶部６６３から、以上の処理で決定した表示情報をホログラム表示するためのホログラム表示情報を読み出し、表示情報と、読み出したホログラム表示情報とに基づいて、表示するホログラムを決定する。
表示処理部６７４ａは、例えば、表示する飛行予定情報の飛行経由ポイントと、ホログラム表示関連情報とを参照し、飛行経由ポイントを表示するホログラムの色、形状、大きさなどの表示方式に関する情報を取得し、上述した表示位置の情報と合わせて表示するホログラムを決定する。
Further, the
The
また、表示処理部６７４ａは、例えば、表示する飛行予定ルートと、ホログラム表示関連情報とに基づいて、飛行予定ルートを表示する線状のホログラムの色、形状、大きさなどの表示方式に関する情報を取得し、上述した表示位置の情報と合わせて、表示するホログラムを決定する。飛行予定ルートを示すホログラムの線の太さは、視点位置から飛行経由ポイントまでの距離に応じて異なるようなものであってもよい。このとき、表示処理部６７４ａは、表示するホログラムを、例えば、無限遠方の線の太さが０（点状）になるように線の太さを変化するようなホログラムとしてもよい。また、飛行予定ルートを示すホログラムの形状は線状でなくともよい。例えば、ホログラムの形状は点線、破線、矢印、又はこれらの組み合わせなどであってもよい。
In addition, the
また、表示処理部６７４ａは、表示する実飛行情報のドローン位置と、ホログラム表示関連情報とを参照し、ドローン位置を表示するホログラムの色、形状、大きさなどの表示方式に関する情報を取得し、上述した表示位置の情報と合わせて、表示するホログラムを決定する。なお、ドローン位置を表示するホログラムは、飛行経由ポイントを示すホログラムと区別がつくホログラムとする。例えば、両者を表すホログラムは、色、形状、大きさなどが異なるようにする。
In addition, the
また、表示処理部６７４ａは、例えば、ホログラム表示関連情報とドローン位置とに基づいて、飛行軌跡を表示するホログラムの色、形状、大きさなどの表示方式に関する情報を取得する。飛行軌跡を示すホログラムの線の太さは、視点位置からドローン位置までの距離に応じて異なるようなものであってもよい。また、線の太さは、例えば、無限遠方の線の太さが０（点状）になるように線の太さが変化するようなものであってもよい。また、実飛行ルートを示すホログラムの形状は線状でなくともよい。例えば、ホログラムの形状は点線、破線、矢印、又はこれらの組み合わせなどであってもよい。表示処理部６７４ａは、取得した表示方式に関する情報と上述した表示位置の情報とに基づいて、表示するホログラムを決定する。
Further, the
また、表示処理部６７４ａは、例えば、ホログラム表示関連情報と、操作に関する表示情報とに基づいて、操作に関する表示情報を表示するホログラムを決定する。
In addition, the
また、表示処理部６７４ａは、例えば、上述した方法で決定したホログラムを表示部６５ａに表示させる。
The
次に、図面を参照して、本実施形態に係る情報表示システム１ａの動作について説明する。
なお、情報表示システム１ａの仮想空間投影処理については、基本的に図５を用いて説明した情報表示システム１の仮想空間投影処理と同様である。情報表示システム１の処理と異なる点は、仮想空間に投影する情報が、３次元モデルと、飛行予定情報と、実飛行情報とである点と、ホログラム装置６ａに送信する情報が、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び、初期位置情報である点が異なる。それ以外の点については、情報表示システム１と同様であるので、ここでは説明を省略する。
また、情報表示システム１ａの表示処理における表示位置の調整までの処理については、図６を用いて説明した情報表示システム１の処理と同様であるので、ここでは説明を省略し、定期的に行われるホログラム表示更新処理（図６のステップＳ２０７）について、以降説明する。
Next, the operation of the information display system 1a according to the present embodiment will be described with reference to the drawings.
The virtual space projection process of the information display system 1a is basically the same as the virtual space projection process of the
Further, the processing up to the adjustment of the display position in the display processing of the information display system 1a is the same as the processing of the
図１６は、本実施形態に係るホログラム表示更新処理の一例を示すフローチャートである。 FIG. 16 is a flowchart showing an example of the hologram display update processing according to this embodiment.
まず、３次元情報処理部６７３は、センサ部６４から、センサ情報を取得する（ステップＳ４０１）。取得すると、３次元情報処理部６７３は、処理をステップＳ４０２に進める。
First, the three-dimensional
続いて、３次元情報処理部６７３は、取得したセンサ情報に基づいて、視点位置を更新する処理を行う（ステップＳ４０２）。視点位置を更新する処理は、図７のステップＳ３０２と同様であるので説明を省略する。処理部６７ａは、視点位置の更新処理が終了すると、処理をステップＳ４０３に進める。
Subsequently, the three-dimensional
続いて、表示処理部６７４ａは、表示処理を行う飛行予定情報、実飛行情報、操作情報を決定する（ステップＳ４０３）。まず、表示処理部６７４ａは、視界情報記憶部６６２から視界情報を取得する。また、表示処理部６７４ａは、仮想空間情報記憶部６６１及び表示情報記憶部６６３ａから、飛行予定情報、ドローン位置情報を取得する。表示処理部６７４ａは、視界情報と飛行予定情報とに基づいて、視界内に含まれる飛行予定情報を求める。また、表示処理部６７４ａは、視界情報とドローン位置情報とに基づいて、視界内に含まれるドローン位置を求める。また、表示処理部６７４ａは、表示情報記憶部６６３ａから、テレメトリ情報、バッテリ残量情報、アラート情報を読み出す。また、表示処理部６７４ａは、視界情報と最新のドローン位置情報とに基づいて、視点位置からのドローンの方向を算出する。また、表示処理部６７４ａは、表示情報記憶部６６３ａから、ドローン４が撮影した動画像、静止画像を取得する。また、表示処理部６７４ａは、入力・撮影情報処理部６７２ａから、ホログラム装置６ａの操作を行う入力情報が入力された場合、入力された情報に対応する表示情報を記憶部６６ａから読み出す。表示処理部６７４ａは、表示する情報を決定すると、処理をステップＳ４０４に進める。
Subsequently, the
続いて、表示処理部６７４ａは、表示情報記憶部６６３ａを参照し、表示情報毎に表示するホログラムの表示位置を算出する（ステップＳ４０４）。表示処理部６７４ａは、飛行予定情報や、ドローン位置情報、飛行軌跡、飛行経由ポイントで撮影された静止画像について、ホログラムを表示する位置を算出し、処理をステップＳ４０５に進める。なお、テレメトリ情報、バッテリ残量情報、アラート情報、飛行経由ポイント以外での撮影情報については、表示位置が固定されているので、この処理を行わず、表示処理部６７４ａは処理をステップＳ４０５に進める。
Subsequently, the
続いて、表示処理部６７４ａは、表示情報記憶部６６３ａからホログラム表示関連情報を読み出し、読み出した情報と表示情報とに基づいて、表示部６５に表示するホログラムを決定する（ステップＳ４０５）。
Subsequently, the
表示処理部６７４ａは、以上の処理で決定したホログラムを、表示部６５ａに表示させ、ホログラム表示更新処理を終了する（ステップＳ４０６）。
The
次に、ステップＳ４０６で、表示処理部６７４ａが表示部６５ａに表示させるホログラムの例を、表示部６５ａの表示画面の図を参照して説明する。
Next, an example of the hologram displayed on the
まず、図１７を参照して、本実施形態に係るホログラム装置６ａの表示画面の一例について説明する。
図１７は、本実施形態に係るホログラム装置６ａの表示画面の一例を示す図である。図１７は、ドローン４が離陸する前の時点における、表示部６５ａの表示画面Ｄ３００の一例を示す図である。
表示画面Ｄ３００は、飛行経由ポイントに関するホログラム表示Ｄ３０１、飛行予定ルートに関するホログラム表示Ｌ３０２、バッテリ残量に関するホログラム表示Ｄ３０３、アラート情報に関するホログラム表示Ｄ３０４、テレメトリ情報に関するホログラム表示Ｄ３０５、動画情報に関するホログラム表示Ｄ３０６、及び、方向情報に関するホログラム表示Ｄ３０７を含んで構成される。
First, an example of the display screen of the
FIG. 17 is a diagram showing an example of a display screen of the
The display screen D300 includes a hologram display D301 regarding a flight-through point, a hologram display L302 regarding a planned flight route, a hologram display D303 regarding a battery remaining amount, a hologram display D304 regarding alert information, a hologram display D305 regarding telemetry information, and a hologram display D306 regarding moving image information. And a hologram display D307 regarding the direction information.
ホログラム表示Ｄ３０１は、飛行経由ポイントに関するホログラム表示である。ホログラム表示Ｄ３０１は、飛行経由ポイントを示すホログラムの近傍に表示するホログラムであって、飛行経由ポイントの名称、経由順を示す情報などのホログラムを含む。図１７の例では、ホログラム表示Ｄ３０１は、飛行経由ポイントを示す球体のホログラムと、その近傍に“１：離陸地点”と経由順と、飛行経由ポイントの名称を示す吹き出し状のホログラムを表示する。 The hologram display D301 is a hologram display regarding a flight-through point. The hologram display D301 is a hologram to be displayed in the vicinity of the hologram indicating the flight transit point, and includes a hologram such as the name of the flight transit point and information indicating the transit order. In the example of FIG. 17, the hologram display D301 displays a hologram of a sphere indicating a flight passing point, a “1: take-off point” in the vicinity thereof, a passing order, and a balloon-shaped hologram indicating the name of the flight passing point.
ホログラム表示Ｌ３０２は、飛行予定ルートに関するホログラム表示である。図１７の例では、飛行予定ルートのホログラムの線の太さは、飛行経由ポイントの距離に応じて異なるように表示される。この場合、ホログラム表示Ｌ３０２に表示されるホログラムは、“１：離陸地点”の名称が示される飛行経由ポイントよりも、“２：経由点α”の名称が示される飛行経由ポイントの方が視点位置から遠くにあることを示す。 The hologram display L302 is a hologram display related to the flight schedule route. In the example of FIG. 17, the line thickness of the hologram of the scheduled flight route is displayed differently according to the distance of the flight-through point. In this case, in the hologram displayed on the hologram display L302, the point of flight via which the name of “2: via point α” is indicated is the viewpoint position rather than the point of via flight via which the name of “1: takeoff point” is indicated. Indicates that you are far from.
ホログラム表示Ｄ３０３は、ドローン４のバッテリ残量をホログラム表示する。図１７の例では、バッテリ残量が９９％であることを示す情報がホログラム表示される。また、ホログラム表示Ｄ３０３は、ホログラム装置６ａを装着したユーザがドローンの位置の視認を妨害しないように、表示画面Ｄ３００の端に表示される。図１７の例では、ホログラム表示Ｄ３０３は表示画面Ｄ３００の画面左上部に位置する。
The hologram display D303 hologram-displays the battery remaining amount of the
ホログラム表示Ｄ３０４は、ドローン４のアラート情報をホログラム表示する。図１７の例では、ドローン４のＧＰＳ情報取得部が、ＧＰＳ衛星の不足のためにＧＰＳ情報を十全に取得できていないことを示す情報を、ホログラム表示Ｄ３０４は“ＧＰＳ衛星が不足”という文字情報としてホログラム表示する。また、ホログラム表示Ｄ３０４は、ホログラム装置６ａを装着したユーザがドローンの位置の視認を妨害しないように、表示画面Ｄ３００の端に表示される。図１７の例では、ホログラム表示Ｄ３０４は表示画面Ｄ３００の画面上部に位置する。
The hologram display D304 hologram-displays the alert information of the
ホログラム表示Ｄ３０５は、ドローン４のテレメトリ情報を表示する。図１７の例では、ドローンの初期位置（離陸地点）からの水平方向と垂直方向との移動距離と、ドローンの現在の水平方向と垂直方向との速度とを表示している。また、ホログラム表示Ｄ３０５は、ホログラム装置６ａを装着したユーザがドローンの位置の視認を妨害しないように、表示画面Ｄ３００の端に表示される。図１７の例では、ホログラム表示Ｄ３０５は表示画面Ｄ３００の画面下部に位置する。
The hologram display D305 displays the telemetry information of the
ホログラム表示Ｄ３０６は、ドローン４が撮影している動画情報を表示する。また、ホログラム表示Ｄ３０６は、ホログラム装置６ａを装着したユーザがドローンの位置の視認を妨害しないように、表示画面Ｄ３００の端に表示される。図１７の例では、ホログラム表示Ｄ３０６は表示画面Ｄ３００の画面右部に位置する。
The hologram display D306 displays moving image information that the
ホログラム表示Ｄ３０７は、視点位置から見た場合のドローン４が存在する方向に関する情報を表示する。図１７の例では、ドローンは離陸地点にいるので、その方向を示す情報が表示されている。また、ホログラム表示Ｄ３０７は、ホログラム装置６ａを装着したユーザがドローンの位置の視認を妨害しないように、表示画面Ｄ３００の端に表示される。図１７の例では、ホログラム表示Ｄ３０７は表示画面Ｄ３００の画面右下部に位置する。
The hologram display D307 displays information regarding the direction in which the
次に、図１８を参照して、本実施形態に係るホログラム装置６ａの表示画面の別の一例について説明する。
図１８は、本実施形態に係るホログラム装置６ａの表示画面の別の一例を示す図である。図１８は、ドローン４が飛行中の時点における、表示部６５ａの表示画面Ｄ４００の一例を示す図である。ここでは、図１７における表示画面Ｄ３００と同様のホログラム表示については説明を省略し、異なる点について、以下説明する。
Next, with reference to FIG. 18, another example of the display screen of the
FIG. 18 is a diagram showing another example of the display screen of the
表示画面Ｄ４００は、ドローン位置に関するホログラム表示Ｄ４０１、通過済経由ポイントに関するホログラム表示Ｄ４０２、及び、経由ポイントでの撮影情報に関するホログラム表示Ｄ４０３を含んで構成される。 The display screen D400 is configured to include a hologram display D401 regarding the drone position, a hologram display D402 regarding the passing point, and a hologram display D403 regarding shooting information at the passing point.
ホログラム表示Ｄ４０１は、直近のドローンの位置を示す情報を表示する。ホログラム表示Ｄ４０１は、複数のドローン位置を表示するホログラムと、その間の飛行軌跡を示すホログラムとを含む。図１８の例では、表示部６５ａは、最新のドローン位置と、それ以前の３つの時間におけるドローン位置の情報をホログラム表示する。また、表示部６５ａは、飛行軌跡を複数の矢印によってホログラム表示する。また、図１８の例では、表示部６５ａは、ドローン位置、及び飛行軌跡について、飛行予定情報のホログラム表示と異なる色で表示する。
The hologram display D401 displays information indicating the position of the nearest drone. The hologram display D401 includes a hologram that displays a plurality of drone positions and a hologram that shows a flight trajectory between them. In the example of FIG. 18, the
ホログラム表示Ｄ４０２は、ドローン４が近傍を通過した飛行経由ポイントを表示する。図１８の例では、ホログラム表示Ｄ４０２は、図１７における飛行経由ポイントに関するホログラム表示Ｄ３０１で表示される表示情報と同様の情報を表示するホログラムを含むが、ホログラム表示Ｄ３０１とは表示するホログラムの色が異なる。
The hologram display D402 displays a flight-through point at which the
ホログラム表示Ｄ４０３は、飛行経由ポイントが撮影ポイントである場合に、ドローン４が撮影した情報を、飛行経由ポイントの近傍に表示する。図１８の例では、ホログラム表示Ｄ４０３は、ホログラム表示Ｄ４０２と同様の表示に加えて、ドローン４が撮影した情報である写真を経由ポイント近傍にホログラム表示する。
The hologram display D403 displays information captured by the
なお、図１７、図１８の例で説明したホログラムの表示位置、表示方法については、上述した位置、方法に限られない。例えば、テレメトリ情報、バッテリ残量情報、アラート情報、動画情報、ドローン４の方向を示す情報などの各種情報を表示する位置は、他の位置や他の表示方法であってもよい。また、通常時には表示せず、ホログラム装置６ａを装着したユーザのジェスチャーによって表示する情報を受け入れた場合にのみ表示するようであってもよい。また、バッテリ残量情報は、表示する必要がある場合にのみ表示するようであってもよい。表示する必要がある場合とは、例えば、バッテリ残量が所定の閾値以下である場合などである。
The display position and display method of the hologram described in the examples of FIGS. 17 and 18 are not limited to the position and method described above. For example, the position for displaying various information such as telemetry information, battery remaining amount information, alert information, moving image information, and information indicating the direction of the
以上説明したように、本実施形態による情報表示システム１ａは、表示部６５ａと、移動体の実際の飛行の位置に関する実飛行情報を取得する取得処理部６７１ａと、移動体の飛行予定の位置に関する飛行予定情報、及び実飛行情報を仮想空間に対応付けた仮想空間情報と、現実空間の構造物９の情報を含む現実空間情報とに基づいて、飛行予定情報及び実飛行情報を、現実空間の移動体の飛行予定の位置及び現実空間の実際の飛行の位置にそれぞれ重ね合わせて、ホログラムとして表示部６５ａに表示する表示処理部６７４ａ、を備える。
As described above, the information display system 1a according to the present embodiment relates to the
これにより、本実施形態による情報表示システム１ａは、例えば、移動体の操縦者が、その操縦に関する情報を、移動体を視認しながら把握することができ、現実空間の情報を容易に把握することができる。 Thereby, in the information display system 1a according to the present embodiment, for example, the operator of the moving body can grasp the information regarding the operation while visually recognizing the moving body, and easily grasp the information in the real space. You can
また、本実施形態による情報表示システム１ａは、仮想空間情報は、移動体が過去に取得した構造物９の情報に基づいて生成された構造物９の３次元モデルを仮想空間に対応付けた構造物情報を更に含み、表示処理部６７４ａは、現実空間情報と構造物情報とに基づいて、ホログラムの表示位置を決定することを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、複雑な処理を行うことなく、ホログラム装置６を装着するだけで、移動体の飛行に関する情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
In the information display system 1a according to the present embodiment, the virtual space information is a structure in which the three-dimensional model of the
As a result, the user of the information display system 1a according to the present embodiment can intuitively grasp the information regarding the flight of the moving body by simply mounting the
また、本実施形態による情報表示システム１ａは、入力部６３を更に備え、表示処理部６７４ａは、入力部６３から入力された情報に基づいて、表示位置の調整を行うことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、表示される情報が現実空間の情報と一致していない場合でも、調整し一致して見える位置に表示させることができ、現実空間の情報を容易に把握することができる。
The information display system 1a according to the present embodiment further includes an
As a result, the user of the information display system 1a according to the present embodiment can adjust and display the information at a position where they match each other even when the displayed information does not match the information in the real space. The information of can be easily grasped.
また、本実施形態による情報表示システム１ａは、飛行予定情報は、移動体が経由する位置である飛行経由ポイントに関する飛行経由情報を含み、表示処理部は、飛行経由ポイントをホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体をどの位置を経由させて飛行させればよいかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, in the information display system 1a according to the present embodiment, the flight schedule information includes via-flight information regarding a via-flight point which is a position through which the mobile body passes, and the display processing unit displays the via-flight point as a hologram. Is characterized by.
As a result, the user of the information display system 1a according to the present embodiment can, for example, sensuously grasp through which position the mobile body should fly, by looking at the mobile body, and in the real space. The information of can be easily grasped.
また、本実施形態による情報表示システム１ａは、飛行経由情報は、飛行経由ポイントの経由順に関する経由順情報を含み、表示処理部６７４ａは、飛行経由ポイントに関連付けて経由順情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体が通過しなければならない地点を、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, in the information display system 1a according to the present embodiment, the flight route information includes route sequence information regarding the route sequence of the flight route points, and the
As a result, the user of the information display system 1a according to the present embodiment can, for example, sensuously grasp the point where the mobile body has to pass while looking at the mobile body, and easily grasp the information in the real space. can do.
また、本実施形態による情報表示システム１ａは、表示処理部６７４ａは、飛行経由情報及び実飛行情報に基づいて、移動体が飛行経由ポイントの近傍を通過したか否かを判定する判定処理を行い、表示処理部６７４ａは、判定処理の結果、移動体が飛行経由ポイントの近傍を通過した場合、当該飛行経由ポイントを、移動体が飛行経由ポイントの近傍を通過していない場合と異なるホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体の飛行予定において経由すべき飛行経由ポイントのうち、どのポイントをすでに飛行したのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, in the information display system 1a according to the present embodiment, the
As a result, the user of the information display system 1a according to the present embodiment, for example, sensuously grasps which point has already flown among the flight-through points to be passed in the flight schedule of the mobile body while observing the mobile body. It is possible to easily grasp the information in the physical space.
また、本実施形態による情報表示システム１ａは、飛行予定情報は、移動体の飛行予定経路に関する飛行予定経路情報を含み、表示処理部６７４ａは、飛行予定経路情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体の飛行経由ポイントがどのような理由で飛行経由するべきなのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, the information display system 1a according to the present embodiment is characterized in that the flight schedule information includes scheduled flight route information regarding a scheduled flight route of the mobile body, and the
This allows the user of the information display system 1a according to the present embodiment to intuitively understand, for example, why the flight-through point of the mobile body should fly via the flight while looking at the mobile body. , Information in the real space can be easily grasped.
また、本実施形態による情報表示システム１ａは、移動体の一定時間毎の位置に関する移動体位置情報を含み、表示処理部６７４ａは、移動体位置情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体が現時点の近傍で視界のどのあたりを飛行しているのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, the information display system 1a according to the present embodiment includes moving body position information regarding the position of the moving body at regular time intervals, and the
As a result, the user of the information display system 1a according to the present embodiment can sensuously grasp, for example, where in the field of view the mobile body is flying in the vicinity of the present time while looking at the mobile body. Information in the physical space can be easily grasped.
また、本実施形態による情報表示システム１ａは、表示処理部６７４ａは、前記移動体位置情報に基づく移動体の一定時間毎の移動に関する移動体移動情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体が現時点の近傍でどのように飛行しているのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, the information display system 1a according to the present embodiment is characterized in that the
As a result, the user of the information display system 1a according to the present embodiment can intuitively understand, for example, how the mobile body is flying in the vicinity of the present time while looking at the mobile body, and the real space The information of can be easily grasped.
また、本実施形態による情報表示システム１ａは、移動体移動情報を破線状のホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体がホログラムによって見えづらくならないようにすることができ、現実空間の情報を容易に把握することができる。
Further, the information display system 1a according to the present embodiment is characterized in that the moving body movement information is displayed as a broken line hologram.
Thereby, the user of the information display system 1a according to the present embodiment can prevent the moving body from being hard to see due to the hologram, for example, and can easily grasp the information in the physical space.
また、本実施形態による情報表示システム１ａは、移動体の移動の方向を示す情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体がどの方向に移動しているかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, the information display system 1a according to the present embodiment is characterized in that information indicating the moving direction of the moving body is displayed as a hologram.
As a result, the user of the information display system 1a according to the present embodiment can, for example, sense in which direction the moving body is moving while looking at the moving body, and easily obtain information in the real space. You can figure it out.
また、本実施形態による情報表示システム１ａは、飛行予定情報は、撮影を行う移動体の撮影の予定に関する撮影予定情報を含み、実飛行情報は、移動体の撮影の結果に関する撮影結果情報を含む、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体がどのような撮影を行ったかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, in the information display system 1a according to the present embodiment, the flight schedule information includes shooting schedule information regarding a shooting schedule of the moving body to be shot, and the actual flight information includes shooting result information regarding a shooting result of the moving body. , Is characterized.
As a result, the user of the information display system 1a according to the present embodiment can, for example, intuitively understand what kind of image the mobile body has taken while looking at the mobile body, and easily obtain information in the physical space. You can figure it out.
また、本実施形態による情報表示システム１ａは、飛行予定情報は、移動体の過去の実飛行情報に基づいて決定される、ことを特徴とする。
これにより、本実施形態による情報表示システム１ａのユーザは、例えば、移動体を用いて、過去の飛行における撮影と同じように撮影を行う場合に、どのように移動体を操縦したらいいかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
Further, the information display system 1a according to the present embodiment is characterized in that the flight schedule information is determined based on the past actual flight information of the mobile body.
Thus, the user of the information display system 1a according to the present embodiment, for example, how to control the moving body when performing the same shooting as in the past flight using the moving body, It is possible to intuitively grasp the information while looking at the moving body, and it is possible to easily grasp the information in the real space.
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上述した第１の実施形態において、対象不具合を決定する場合に、ホログラム装置６の視界内にある不具合のうち、最近傍に存在する不具合を対象不具合として決定する例を説明したが、対象不具合を、ジェスチャーが行われた位置の最近傍に存在する不具合として決定してもよい。この場合、入力・撮影情報処理部６７２は、撮影部６２から取得した３次元動画像に基づいて、ジェスチャーが行われた場所について、視点位置からの距離及び方向の情報を取得する。入力・撮影情報処理部６７２は、取得したジェスチャーの位置に関する情報と、仮想空間情報とに基づいて、ジェスチャーが行われた位置の最近傍の不具合を対象不具合として決定する。
It should be noted that the present invention is not limited to each of the above-described embodiments, and can be modified within a range not departing from the spirit of the present invention.
For example, in the above-described first embodiment, an example has been described in which, when determining the target defect, the defect existing in the nearest vicinity among the defects within the field of view of the
また、上述した第１の実施形態において、不具合のメタデータとして、修理前の撮影情報を含んでもよい。この場合、不具合の修理完了時の修理部位の撮影情報を、撮影部６２から取得した場合に行う不具合特定処理を、修理前の撮影情報と、修理後の撮影情報とを用いて行ってもよい。この場合、入力・撮影情報処理部６７２は、修理前の不具合の撮影情報をメタデータに含む不具合の情報を表示情報記憶部６６３から取得し修理前の撮影情報と、修理後の撮影情報とを画像解析の手法を用いて比較し、修理後の撮影情報と最も似ていると判定された修理前の撮影情報をメタデータとして含む不具合を、対象不具合として決定する。
Further, in the above-described first embodiment, the photographing information before repair may be included as the defect metadata. In this case, the defect identification processing performed when the imaging information of the repaired part at the time of completion of the repair of the defect is acquired from the
また、上述した実施形態において、ホログラム表示処理の開始時に、ホログラム装置６（６ａ）のユーザは、所定の初期位置及び方向において開始する例を説明したが、これには限られない。例えば、起動時に撮影部６２から構造物９の３次元動画像を取得し、取得した情報と、仮想空間情報記憶部６６１に含まれる構造物９の３次元モデルとを比較し、比較した情報に基づいて、ホログラム装置６（６ａ）を装着したユーザの３次元情報や向いている方向に関する情報を取得し、視点位置を決定してもよい。この場合、入力・撮影情報処理部６７２は、撮影部６２から取得した３次元動画像に基づいて、構造物９の特徴点を抽出する処理を行う。構造物９は、抽出した特徴点の情報と３次元モデルとに基づいて、視点位置、視点方向を決定する。また、ホログラム装置６（６ａ）のユーザが所定の初期位置において開始し、ホログラム装置６（６ａ）の方向については、撮影部６２から取得した上記情報に基づいて決定してもよい。
また、上述した実施形態において、微調整を行う処理を、入力部６３から入力されたユーザの微調整を行う情報に基づいて行う例を説明したが、上述した構造物９の３次元動画像の情報を用いる方法によって、微調整を行ってもよい。
Further, in the above-described embodiment, the example in which the user of the hologram device 6 (6a) starts at the predetermined initial position and direction at the start of the hologram display process has been described, but the present invention is not limited to this. For example, a three-dimensional moving image of the
Further, in the above-described embodiment, the example in which the process of performing the fine adjustment is performed based on the information of the fine adjustment of the user input from the
また、上述した第１の実施形態において、視界の範囲内にある不具合については、視点位置から実際にその位置が視認できるか否かを考慮せず同様のホログラム表示を行う例について説明したが、これには限られない。例えば、視点位置から見た場合に、構造物９の向こう側や、構造物９の内部などに位置し、直接的には視認できないような位置に存在する不具合については、その不具合をホログラム表示する場合に、視認できる位置にある不具合の表示方法とは異なる表示方法を用いて表示するようにしてもよい。この場合、ホログラム表示関連情報記憶部２２３や、表示情報記憶部６６３は予め視認できない不具合についてのホログラム表示に関する情報を記憶する。表示処理部６７４は、仮想空間情報記憶部６６１と視界情報記憶部６６２から、構造物９の３次元モデルと不具合位置と視点位置とを読み出す。表示処理部６７４は読み出した情報に基づいて、表示する不具合のうち、視点位置から視認できる不具合と視認できない不具合とを判別する。表示処理部６７４は、判別した情報と、表示情報記憶部６６３に記憶された情報とに基づいて、視認できる不具合と視認できない不具合について、表示するホログラムを異なるものとする。例えば、視認できない不具合を示すホログラムは視認できる不具合を示すホログラムに比べ、ホログラムの透明度、色、形状などを異なるものにする。
Further, in the above-described first embodiment, regarding the defect within the range of the field of view, an example of performing the same hologram display without considering whether or not the position can be visually recognized from the viewpoint position has been described. It is not limited to this. For example, when viewed from the viewpoint position, for a defect located on the other side of the
また、例えば構造物９の壁など、ある面上に存在する不具合については、その面のどちら側に存在する不具合であるかをホログラム装置６のユーザが視認しやすいように、表示するホログラムを変更してもよい。上述した第１の実施形態においては、不具合について、球状のホログラムを表示する例を説明したが、これを構造物９の面を含む平面で切断し、構造物９の不具合が視認できる側に半球体のホログラムを表示させるようにしてもよい。この場合、表示処理部６７４は仮想空間情報記憶部６６１から、構造物９の３次元モデルを取得し、取得した情報に基づいて、表示するホログラムを決定する。
Further, regarding a defect existing on a certain surface such as the wall of the
なお、上述した視認できない不具合や面上の不具合について、それ以外の不具合と異なる表示にするのは、構造物９の近傍にホログラム装置６を装着したユーザがいる場合に限ってもよい。例えば、構造物９から所定の距離以上離れている場合には、上述した処理を行わなくてもよい。
Note that the above-described invisible defects and surface defects may be displayed differently from the other defects only when there is a user wearing the
また、上述した第２の実施形態において、ドローン４の位置を取得毎に３次元モデル、飛行経由ポイント、及びドローン位置を仮想空間に投影する仮想空間投影処理を行う例を説明したが、これには限られない。例えば、処理装置２ａの２３１ａは、ドローン位置については、対応する仮想空間における位置の情報のみを算出する処理を行い、ホログラム装置６ａに送信してもよい。この場合、仮想空間情報記憶部２２４及び仮想空間情報記憶部６６１は、３次元モデルと飛行経由ポイントとを仮想空間に投影した仮想空間情報を記憶する。ホログラム装置６ａの表示処理部６７４は、仮想空間情報記憶部６６１に記憶された仮想空間情報と、仮想空間内のドローン位置についての情報とに基づいて、ドローン位置のホログラム表示位置を決定する。
In addition, in the above-described second embodiment, an example of performing the virtual space projection process of projecting the three-dimensional model, the flight via point, and the drone position in the virtual space every time the position of the
また、上述した第２の実施形態において、ドローン４の実飛行情報のメタデータに関する情報を表示部６５ａに表示する例を説明したが、例えばホログラム装置６ａを装着するユーザであって、ドローン４を操作しないユーザがいる場合には、当該ユーザが装着するホログラム装置６ａについては、実飛行情報のメタデータをホログラム表示しないようであってもよいし、実飛行情報のメタデータの一部のみをホログラム表示するようであってもよい。
Further, in the above-described second embodiment, the example in which the information regarding the metadata of the actual flight information of the
また、上述した第２の実施形態において、ドローン４が撮影する飛行経由ポイントについて説明したが、ドローン４が撮影を行った場合に、撮影情報を表示部６５ａに表示し、撮影情報を記憶させるか、再度撮影をやり直すか指示するようであってもよい。この場合、ホログラム装置６ａは、表示処理部６７４ａは、第１の実施形態におけるステップＳ３０６からステップＳ３１０までの処理と同様の処理を行う。また、ホログラム装置６ａは、送信処理部６７５ａを備え、記憶させる撮影情報とその撮影情報を撮影した撮影ポイントとを通信部６１を介して、処理装置２ａに送信する。また、処理装置２ａは、受信した情報を表示情報記憶部２２２ａに記憶させる。
In addition, in the above-described second embodiment, the flight via point captured by the
また、上記処理を、ドローン４を操作しない他のユーザに装着されたホログラム装置６ａの表示処理部６７４ａで行ってもよい。この場合、処理装置２ａは、記憶させる撮影情報とその撮影情報を撮影した撮影ポイントとを、撮影情報の判定に関する処理を行ったホログラム装置６ａ以外のホログラム装置６ａに、通信部２１ａを介して送信する。この場合、ドローン４を操作するユーザの表示部６５ａには、処理装置２ａから受信した表示情報記憶部６６３ａに記憶された撮影情報がホログラム表示される。
Further, the above processing may be performed by the
また、ドローン４の操作を行うユーザがドローン４を把握しやすいように、表示部６５ａの表示画面中心部に、ドローン４に照準を合わせるためのレティクルや、ドローン４を捉えるターゲット枠をホログラム表示してもよい。
Further, in order to make it easy for the user who operates the
また、上述した第２の実施形態において、飛行予定情報は、ドローン４の飛行経由ポイントを複数含む情報である例を説明したが、この飛行予定情報は、例えば、以前ドローン４が構造物９の周辺を飛行した場合の実飛行情報に基づく情報であってもよい。例えば、構造物９の修理を行うために、修理を行う前に、ドローン４を用いて構造物９の状況を把握した場合、当該把握のためのドローン４の飛行に基づいて、飛行予定情報を決定する。また、修理が完了した後の飛行の場合、修理を行う場合のドローン４の飛行軌跡において、修理が行われた箇所に近い場所を、飛行予定情報の撮影ポイントとして設定してもよい。また、ドローン４を使用せずに構造物９の撮影を行った場合の撮影を行った場所の情報に基づいて、撮影ポイントを決定してもよい。また、飛行予定ルートが別途定められている場合に、修理が行われた位置から最も近い３次元モデルの点群の位置から最も近い飛行予定ルート上の位置を、撮影ポイントとして設定してもよい。
In addition, in the above-described second embodiment, the example in which the flight schedule information is information including a plurality of flight via points of the
また、上述した実施形態において、処理装置２（２ａ）が行う仮想空間投影処理は、ホログラム装置６（６ａ）が行ってもよい。また、上述した第２の実施形態において、ドローン情報取得装置５が取得する各種情報を処理装置２ａが処理する例を説明したが、処理装置２ａの外部に別のドローン情報処理装置を設け、実飛行情報に関する処理を行うようにしてもよい。この場合、ホログラム装置６ａは、飛行予定情報を処理装置２ａから受信し、また、実飛行情報をドローン情報処理装置から受信する。表示処理部６７４ａは受信した情報に基づいて、表示部６５ａに表示するホログラムを決定し、表示部６５ａに表示させる。
Further, in the above-described embodiment, the virtual space projection process performed by the processing device 2 (2a) may be performed by the hologram device 6 (6a). Further, in the above-described second embodiment, the example in which the
また、上述した各実施形態における処理装置２（２ａ）やホログラム装置６（６ａ）の一部、例えば、処理部２３（２３ａ）、処理部６７（６７ａ）などをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、処理装置２（２ａ）やホログラム装置６（６ａ）に内蔵されたコンピュータシステムであって、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。 Further, a part of the processing device 2 (2a) or the hologram device 6 (6a) in each of the above-described embodiments, for example, the processing unit 23 (23a) or the processing unit 67 (67a) may be realized by a computer. Good. In that case, the program for realizing this function may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read by a computer system and executed. The “computer system” mentioned here is a computer system built in the processing device 2 (2a) or the hologram device 6 (6a), and includes an OS (Operating System) and hardware such as peripheral devices. .
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。 Further, the “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, "computer-readable recording medium" means a program that dynamically holds a program for a short time, such as a communication line when transmitting the program through a network such as the Internet or a communication line such as a telephone line. In such a case, a volatile memory inside the computer system that serves as a server or a client, which holds a program for a certain time, may be included. Further, the program may be for realizing a part of the functions described above, or may be a program for realizing the functions described above in combination with a program already recorded in the computer system.
また、上述した実施形態における処理部２３（２３ａ）、処理部６７（６７ａ）の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。処理部２３（２３ａ）、処理部６７（６７ａ）の各機能部は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。 Moreover, you may implement|achieve a part or all of the process part 23 (23a) and the process part 67 (67a) in embodiment mentioned above as integrated circuits, such as LSI(Large Scale Integration). Each functional unit of the processing unit 23 (23a) and the processing unit 67 (67a) may be individually implemented as a processor, or a part or all of the functional units may be integrated and implemented as a processor. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where an integrated circuit technology that replaces the LSI appears due to the progress of semiconductor technology, an integrated circuit according to the technology may be used.
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 Although one embodiment of the present invention has been described in detail above with reference to the drawings, the specific configuration is not limited to the above, and various design changes and the like without departing from the gist of the present invention. It is possible to
１、１ａ・・・情報表示システム、
２、２ａ・・・処理装置
３・・・ＧＰＳ装置
４・・・ドローン
５・・・ドローン情報取得装置
６、６ａ・・・ホログラム装置
９・・・構造物
２１、２１ａ、６１・・・通信部
２２、２２ａ、６６、６６ａ・・・記憶部
２３、２３ａ、６７、６７ａ・・・処理部
６２・・・撮影部
６３・・・入力部
６４・・・センサ部
６５、６５ａ・・・表示部
２２１・・・３次元モデル記憶部
２２２、２２２ａ・・・表示情報記憶部
２２３、２２３ａ・・・ホログラム表示関連情報記憶部
２２４、２２４ａ、６６１・・・仮想空間情報記憶部
２２５・・・初期位置情報記憶部
２３１、２３１ａ・・・仮想空間投影部
２３２、２３２ａ・・・転送処理部
２３３、２３３ａ・・・表示情報取得部
２３４・・・実飛行情報処理部
６６２・・・視界情報記憶部
６６３、６６３ａ・・・表示情報記憶部
６７１、６７１ａ・・・取得処理部
６７２、６７２ａ・・・入力・撮影情報処理部
６７３・・・３次元情報処理部
６７４、６７４ａ・・・表示処理部
６７５・・・送信処理部
1, 1a... Information display system,
2, 2a...
Claims (12)
構造物に関する特定の対象の位置を仮想空間に対応付けた仮想空間情報と、現実空間の前記構造物の情報を含む現実空間情報とに基づいて、前記特定の前記対象に関する対象情報をホログラムとして、前記現実空間の前記特定の前記対象の前記位置に重ね合わせて前記表示部に表示する表示処理部、
を備える、情報表示システム。 A display unit for displaying a hologram,
Virtual space information in which the position of a specific target related to a structure is associated with a virtual space, and based on real space information including information about the structure in the real space, as target information about the specific target, as a hologram, A display processing unit that displays the display unit by superimposing it on the position of the specific object in the physical space;
An information display system including.
前記表示処理部は、前記現実空間情報と前記構造物情報とに基づいて、前記ホログラムの表示位置を決定する、
請求項１に記載の情報表示システム。 The virtual space information further includes structure information in which a three-dimensional model of the structure generated based on information of the structure acquired by the moving body in the past is associated with the virtual space.
The display processing unit determines a display position of the hologram based on the physical space information and the structure information,
The information display system according to claim 1.
前記表示処理部は、前記入力部から入力された情報に基づいて、前記表示位置の調整を行う、
請求項２に記載の情報表示システム。 Further equipped with an input section,
The display processing unit adjusts the display position based on the information input from the input unit,
The information display system according to claim 2.
請求項１から請求項３のいずれか一項に記載の情報表示システム。 The hologram has a different display mode according to the target information,
The information display system according to any one of claims 1 to 3.
請求項１から請求項４のいずれか一項に記載の情報表示システム。 The display processing unit, based on the information about the display area of the display unit and the virtual space information, when the specific target is out of the field of view, the instruction information indicating the position of the specific target Display in the display area,
The information display system according to any one of claims 1 to 4.
前記表示処理部は、前記位置情報と前記対象情報とに基づいて求められる、前記表示部から前記特定の前記対象までの距離及び方向に応じて、前記指示情報を異なる表示にする、
請求項５に記載の情報表示システム。 Further comprising an acquisition processing unit for acquiring the position information of the display unit,
The display processing unit displays the instruction information differently depending on a distance and a direction from the display unit to the specific target, which is obtained based on the position information and the target information.
The information display system according to claim 5.
請求項６に記載の情報表示システム。 The display processing unit displays the distance in association with the target information,
The information display system according to claim 6.
前記表示処理部は、前記距離が所定の距離以内である場合に、前記対象情報に関連付けて前記修理情報を表示する、
請求項６または請求項７に記載の情報表示システム。 The target information further includes repair information regarding repair of the particular target,
The display processing unit displays the repair information in association with the target information when the distance is within a predetermined distance,
The information display system according to claim 6 or 7.
請求項１から請求項８までのいずれか一項に記載の情報表示システム。 The particular subject is defective,
The information display system according to any one of claims 1 to 8.
請求項９に記載の情報表示システム。 The above-mentioned defect includes a defect related to the reception status of electromagnetic waves,
The information display system according to claim 9.
表示処理部が、構造物に関する特定の対象の位置を仮想空間に対応付けた仮想空間情報と、現実空間の前記構造物の情報を含む現実空間情報とに基づいて、前記特定の前記対象に関する対象情報をホログラムとして、前記現実空間の前記特定の前記対象の前記位置に重ね合わせて前記表示部に表示する表示処理ステップ、
を含む、情報表示方法。 An information display method for an information display system including a display unit for displaying a hologram,
A display processing unit, based on virtual space information in which the position of a specific target related to a structure is associated with a virtual space, and physical space information including information about the structure in the physical space, a target related to the specific target. A display processing step of displaying information on the display unit as a hologram by superimposing the information on the position of the specific object in the physical space,
Information display method including.
構造物に関する特定の対象の位置を仮想空間に対応付けた仮想空間情報と、現実空間の前記構造物の情報を含む現実空間情報とに基づいて、前記特定の前記対象に関する対象情報をホログラムとして、前記現実空間の前記特定の前記対象の前記位置に重ね合わせて前記表示部に表示する表示処理ステップ、
を実行させる、情報表示プログラム。 A computer of an information display system having a display unit for displaying a hologram,
Virtual space information in which the position of a specific target related to a structure is associated with a virtual space, and based on real space information including information about the structure in the real space, as target information regarding the specific target, as a hologram, A display processing step of displaying on the display unit by superimposing it on the position of the specific object in the physical space,
An information display program that executes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018213920A JP7195118B2 (en) | 2018-11-14 | 2018-11-14 | Information display system, information display method and information display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018213920A JP7195118B2 (en) | 2018-11-14 | 2018-11-14 | Information display system, information display method and information display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020080118A true JP2020080118A (en) | 2020-05-28 |
| JP7195118B2 JP7195118B2 (en) | 2022-12-23 |
Family
ID=70802494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018213920A Active JP7195118B2 (en) | 2018-11-14 | 2018-11-14 | Information display system, information display method and information display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7195118B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7480072B2 (en) | 2021-01-20 | 2024-05-09 | 株式会社東芝 | Information processing device, information processing program |
| JP7480627B2 (en) | 2020-08-03 | 2024-05-10 | オムロン株式会社 | COMMUNICATION SUPPORT DEVICE, COMMUNICATION SUPPORT METHOD, AND PROGRAM |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013518275A (en) * | 2010-01-29 | 2013-05-20 | インテル・コーポレーション | Method for providing information on object not included in field of view of terminal device, terminal device, and computer-readable recording medium |
| JP2015011368A (en) * | 2013-06-26 | 2015-01-19 | 国立大学法人佐賀大学 | Display control device |
| JP2015082314A (en) * | 2013-10-24 | 2015-04-27 | 富士通株式会社 | Display control method, display control program and information processing device |
| JP2017079019A (en) * | 2015-10-21 | 2017-04-27 | 株式会社シナノキ環境美装 | System for construction field |
| JP2018137524A (en) * | 2017-02-20 | 2018-08-30 | 株式会社Ｊｖｃケンウッド | Management device, management method, and program |
-
2018
- 2018-11-14 JP JP2018213920A patent/JP7195118B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013518275A (en) * | 2010-01-29 | 2013-05-20 | インテル・コーポレーション | Method for providing information on object not included in field of view of terminal device, terminal device, and computer-readable recording medium |
| JP2015011368A (en) * | 2013-06-26 | 2015-01-19 | 国立大学法人佐賀大学 | Display control device |
| JP2015082314A (en) * | 2013-10-24 | 2015-04-27 | 富士通株式会社 | Display control method, display control program and information processing device |
| JP2017079019A (en) * | 2015-10-21 | 2017-04-27 | 株式会社シナノキ環境美装 | System for construction field |
| JP2018137524A (en) * | 2017-02-20 | 2018-08-30 | 株式会社Ｊｖｃケンウッド | Management device, management method, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7480627B2 (en) | 2020-08-03 | 2024-05-10 | オムロン株式会社 | COMMUNICATION SUPPORT DEVICE, COMMUNICATION SUPPORT METHOD, AND PROGRAM |
| JP7480072B2 (en) | 2021-01-20 | 2024-05-09 | 株式会社東芝 | Information processing device, information processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7195118B2 (en) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6387782B2 (en) | Control device, control method, and computer program | |
| JP5947634B2 (en) | Aerial photography imaging method and aerial photography imaging system | |
| US10924691B2 (en) | Control device of movable type imaging device and control method of movable type imaging device | |
| US10022626B2 (en) | Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method, for performing augmented reality | |
| CN109190219A (en) | A kind of engineering project Visual Time Project Controlling System based on three-dimensional live | |
| WO2018176376A1 (en) | Environmental information collection method, ground station and aircraft | |
| CN104079802B (en) | Aviation or the shadow removal method and apparatus of satellite photo | |
| CN110969905A (en) | Remote teaching interaction and teaching aid interaction system for mixed reality and interaction method thereof | |
| CN109997091B (en) | Method for managing 3D flight path and related system | |
| US20150254511A1 (en) | Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method | |
| JP7195118B2 (en) | Information display system, information display method and information display program | |
| JPH10267671A (en) | Landscape labeling device and system | |
| CN112154391A (en) | Method for determining surrounding route, aerial photographing method, terminal, unmanned aerial vehicle and system | |
| WO2021210046A1 (en) | Information processing device, control method, and storage medium | |
| CN113984019A (en) | Measurement system, measurement method, and measurement program | |
| JP7195117B2 (en) | Information display system, information display method and information display program | |
| CN111868656B (en) | Operation control system, operation control method, device, equipment and medium | |
| CN112106112A (en) | Point cloud fusion method, device and system and storage medium | |
| JP2020144776A (en) | Work support system, work support device, and work support method | |
| JP2004220516A (en) | Texture image acquisition method of three-dimensional geographic shape model | |
| JPH1166347A (en) | Information originating type scene labeling device and system | |
| CN212012916U (en) | Augmented reality's display device | |
| WO2021115192A1 (en) | Image processing device, image processing method, program and recording medium | |
| JPH1157206A (en) | Shooting game system using view label | |
| JP3053169B2 (en) | Communication device and system using landscape label |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220726 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7195118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |