JP2021135878A

JP2021135878A - Augmented reality display system

Info

Publication number: JP2021135878A
Application number: JP2020033105A
Authority: JP
Inventors: 慎介山▲崎▼; Shinsuke Yamazaki; 哲史長尾; Tetsushi Nagao; 和孝鳥本; Kazutaka Torimoto; 昌和松久; Masakazu Matsuhisa; 正倫伊奈; Masamichi Ina; 貴士熊谷; Takashi Kumagai; 有生梅田; Yu Umeda
Original assignee: Mitsubishi Heavy Industries Ltd; Suncorporation
Current assignee: Mitsubishi Heavy Industries Ltd; Suncorporation
Priority date: 2020-02-28
Filing date: 2020-02-28
Publication date: 2021-09-13

Abstract

To provide a user-friendly augmented reality display system that can urge an operator to perform an intuitive operation.SOLUTION: An augmented reality display system displays a content superimposed on a real space to virtually augment the real space, and comprises: a virtual display that is attached with a first identification mark; an imaging unit that picks up an image of the real space; a display unit that displays the content superimposed on the real space; and a control unit that executes display control related to the display of the content on the display unit. When an image of the first identification mark is picked up by the imaging unit and the control unit recognizes the first identification mark, the control unit displays the content in a display area of the display unit corresponding to a position in the real space on the virtual display.SELECTED DRAWING: Figure 1

Description

本開示は、拡張現実表示システムに関するものである。 The present disclosure relates to an augmented reality display system.

従来、３次元物体のモデルデータであるＡＲコンテンツを、撮像装置の一例であるカメラにより撮像された撮像画像に重ねて表示させるＡＲ技術が知られている（例えば、特許文献１参照）。 Conventionally, there is known an AR technique for superimposing an AR content, which is model data of a three-dimensional object, on an image captured by a camera, which is an example of an imaging device (see, for example, Patent Document 1).

特開２０１４−２１５６４６号公報Japanese Unexamined Patent Publication No. 2014-215646

ところで、ＡＲ技術を作業現場において用いることが考えられている。特許文献１のＡＲ技術を用いる場合、表示部上に、ＡＲコンテンツとしての作業マニュアルを表示することが考えられる。しかしながら、表示部上に作業マニュアルを表示する場合、作業者は、作業マニュアルの表示に関する操作に慣れていないことから、操作を習熟するまでに時間を要し、作業効率の向上化を図ることが難しいものとなっている。 By the way, it is considered to use AR technology in the work site. When the AR technique of Patent Document 1 is used, it is conceivable to display a work manual as AR content on the display unit. However, when displaying the work manual on the display unit, since the worker is not accustomed to the operation related to the display of the work manual, it takes time to master the operation, and the work efficiency may be improved. It has become difficult.

そこで、本開示は、作業者に対して、直感的な操作を促すことができるユーザフレンドリーな拡張現実表示システムを提供することを課題とする。 Therefore, it is an object of the present disclosure to provide a user-friendly augmented reality display system that can encourage workers to operate intuitively.

本開示の拡張現実表示システムは、現実空間にコンテンツを重ねて表示することで、前記現実空間を仮想的に拡張する拡張現実表示システムにおいて、第１の識別マークが付されたバーチャルディスプレイと、前記現実空間を撮像する撮像部と、前記現実空間に重ねて前記コンテンツを表示する表示部と、前記表示部への前記コンテンツの表示に関する表示制御を実行する制御部と、を備え、前記制御部は、前記撮像部により前記第１の識別マークが撮像されて、前記第１の識別マークを認識すると、前記バーチャルディスプレイの前記現実空間における位置に対応する前記表示部の表示領域に、前記コンテンツを表示する。 The augmented reality display system of the present disclosure is an augmented reality display system that virtually expands the real space by superimposing contents on the real space, and includes a virtual display having a first identification mark and the above. The control unit includes an imaging unit that captures an image of the real space, a display unit that displays the content superimposed on the real space, and a control unit that executes display control related to the display of the content on the display unit. When the first identification mark is imaged by the imaging unit and the first identification mark is recognized, the content is displayed in the display area of the display unit corresponding to the position of the virtual display in the real space. do.

本開示によれば、作業者に対して、直感的な操作を促すことができるユーザフレンドリーなものとすることができる。 According to the present disclosure, it is possible to make it user-friendly, which can encourage workers to operate intuitively.

図１は、本実施形態に係る拡張現実表示システムを模式的に示す概略構成図である。FIG. 1 is a schematic configuration diagram schematically showing an augmented reality display system according to the present embodiment. 図２は、本実施形態に係る拡張現実表示システムを機能的に示す概略構成図である。FIG. 2 is a schematic configuration diagram functionally showing the augmented reality display system according to the present embodiment. 図３は、ＡＲデバイスの表示部に関する一例の説明図である。FIG. 3 is an explanatory diagram of an example relating to the display unit of the AR device. 図４は、バーチャルディスプレイを用いたＡＲデバイスの表示部に関する一例の説明図である。FIG. 4 is an explanatory diagram of an example of a display unit of an AR device using a virtual display. 図５は、本実施形態に係る拡張現実表示システムの表示制御に関する一例のフローチャートである。FIG. 5 is a flowchart of an example relating to the display control of the augmented reality display system according to the present embodiment. 図６は、本実施形態に係る拡張現実表示システムの表示制御に関する一例のフローチャートである。FIG. 6 is a flowchart of an example relating to the display control of the augmented reality display system according to the present embodiment. 図７は、本実施形態に係る拡張現実表示システムの表示制御に関する一例のフローチャートである。FIG. 7 is a flowchart of an example relating to the display control of the augmented reality display system according to the present embodiment. 図８は、本実施形態に係る拡張現実表示システムの表示制御に関する一例のフローチャートである。FIG. 8 is a flowchart of an example relating to the display control of the augmented reality display system according to the present embodiment. 図９は、本実施形態に係る拡張現実表示システムの作業報告書の生成に関する一例のフローチャートである。FIG. 9 is a flowchart of an example relating to the generation of a work report of the augmented reality display system according to the present embodiment.

以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。 Hereinafter, embodiments according to the present disclosure will be described in detail with reference to the drawings. The present invention is not limited to this embodiment. In addition, the components in the following embodiments include those that can be easily replaced by those skilled in the art, or those that are substantially the same. Further, the components described below can be appropriately combined, and when there are a plurality of embodiments, each embodiment can be combined.

［本実施形態］
本実施形態に係る拡張現実表示システム１は、現実空間となる作業空間Ｅ１において、作業者が作業対象物１６に対して各種作業を実施するときに用いられるシステムである。この拡張現実表示システム１は、作業者に対して各種情報を提供したり、作業内容を記録したりすることで、作業者を支援するシステムとなっている。拡張現実表示システム１は、作業空間Ｅ１に対して、コンテンツを重ねて表示するＡＲ（Augmented Reality：拡張現実）技術を用いている。 [The present embodiment]
The augmented reality display system 1 according to the present embodiment is a system used when an operator performs various tasks on a work object 16 in a work space E1 which is a real space. This augmented reality display system 1 is a system that supports workers by providing various information to workers and recording work contents. The augmented reality display system 1 uses AR (Augmented Reality) technology for displaying contents superimposed on the work space E1.

（拡張現実表示システム）
図１は、実施形態に係る拡張現実表示システムを模式的に示す概略構成図である。図２は、本実施形態に係る拡張現実表示システムを機能的に示す概略構成図である。図１及び図２に示すように、拡張現実表示システム１は、バーチャルディスプレイ１０と、ＡＲデバイス１１と、サーバ１２とを備えており、ＡＲデバイス１１とサーバ１２とは、双方向に通信可能なネットワーク１５を介して接続されている。なお、本実施形態の拡張現実表示システム１は、サーバ１２を含むシステム構成としたが、サーバ１２の機能をＡＲデバイス１１に統合して、サーバ１２を省いたシステム構成としてもよい。 (Augmented reality display system)
FIG. 1 is a schematic configuration diagram schematically showing an augmented reality display system according to an embodiment. FIG. 2 is a schematic configuration diagram functionally showing the augmented reality display system according to the present embodiment. As shown in FIGS. 1 and 2, the augmented reality display system 1 includes a virtual display 10, an AR device 11, and a server 12, and the AR device 11 and the server 12 can communicate with each other in both directions. It is connected via the network 15. Although the augmented reality display system 1 of the present embodiment has a system configuration including the server 12, the function of the server 12 may be integrated into the AR device 11 and the system configuration may be such that the server 12 is omitted.

バーチャルディスプレイ１０は、シート状の本体部１８と、本体部１８に付された第１の識別マークＭ１とを有している。本体部１８は、例えば、紙等を用いた方形状のシートであり、ラミネート加工されたものとなっている。第１の識別マークＭ１は、本体部１８の縁に沿って、四方枠状に形成されており、例えば、印刷によってマーキングされたものとなっている。このため、バーチャルディスプレイ１０の中央が物で遮られる場合であっても、第１の識別マークＭ１の認識を行うことが可能となる。第１の識別マークＭ１には、バーチャルディスプレイ１０を特定するためのディスプレイＩＤ情報が含まれている。また、詳細は後述するが、第１の識別マークＭ１は、認識される形状に基づいて本体部１８の傾きを導出するためのマークとなっている。なお、本実施形態では、シート状のバーチャルディスプレイ１０について説明したが、バーチャルディスプレイ１０は、従来の現実のマニュアルのように、複数のシートを見開き可能に束ねた冊子状になっていてもよい。これによれば、１シートのバーチャルディスプレイ１０が散在せずに、まとめて管理することができる。また、冊子状のバーチャルディスプレイ１０は、従来の現実のマニュアルと異なり、改訂した場合に改訂したページのコンテンツを差し替えることができる。さらに、複数人でコンテンツを見る場合には、ホワイトボードのような大型のボード形状となるバーチャルディスプレイ１０としてもよい。 The virtual display 10 has a sheet-shaped main body portion 18 and a first identification mark M1 attached to the main body portion 18. The main body 18 is, for example, a square sheet made of paper or the like, and is laminated. The first identification mark M1 is formed in a square frame shape along the edge of the main body portion 18, and is marked by printing, for example. Therefore, even when the center of the virtual display 10 is obstructed by an object, the first identification mark M1 can be recognized. The first identification mark M1 includes display ID information for identifying the virtual display 10. Further, as will be described in detail later, the first identification mark M1 is a mark for deriving the inclination of the main body portion 18 based on the recognized shape. Although the sheet-shaped virtual display 10 has been described in the present embodiment, the virtual display 10 may be in the form of a booklet in which a plurality of sheets are bundled so as to be spreadable, as in a conventional actual manual. According to this, the virtual displays 10 of one sheet can be managed collectively without being scattered. Further, unlike the conventional actual manual, the booklet-shaped virtual display 10 can replace the content of the revised page when it is revised. Further, when the content is viewed by a plurality of people, the virtual display 10 having a large board shape such as a whiteboard may be used.

ＡＲデバイス１１は、例えば、ＡＲグラスであり、透明な表示レンズ上に、コンテンツを表示するデバイスであってもよいし、人の網膜に画像を投影するデバイスであってもよく、特に限定されない。また、表示レンズは透明であることから、ＡＲデバイス１１は、表示レンズを介して作業空間Ｅ１を視認することが可能なデバイスとなっている。このＡＲデバイス１１は、作業者に装着され、作業者は、ＡＲデバイス１１を介して、作業空間Ｅ１を視認する。 The AR device 11 is, for example, an AR glass, may be a device that displays content on a transparent display lens, or may be a device that projects an image onto the human retina, and is not particularly limited. Further, since the display lens is transparent, the AR device 11 is a device capable of visually recognizing the work space E1 through the display lens. The AR device 11 is attached to the worker, and the worker visually recognizes the work space E1 via the AR device 11.

ＡＲデバイス１１は、表示部２１と、撮像部２２と、赤外線センサ２３と、ＩＤ認識部（識別情報取得部）２４と、制御部２５と、記憶部２６とを有している。 The AR device 11 includes a display unit 21, an imaging unit 22, an infrared sensor 23, an ID recognition unit (identification information acquisition unit) 24, a control unit 25, and a storage unit 26.

表示部２１は、例えば、表示レンズと、表示レンズに画像を投影するプロジェクタとを含んでいる。表示部２１は、表示レンズ上にプロジェクタから画像を投影することで、作業者に対して画像を表示している。画像としては、例えば、作業者に対して提供される作業マニュアルまたは三次元モデル等のコンテンツＣ（図４参照）である。なお、表示部２１は、作業者に対して画像を表示可能なものであればよく、作業者の目に直接画像を投影するプロジェクタを用いることで、表示レンズを省いた構成であってもよい。 The display unit 21 includes, for example, a display lens and a projector that projects an image onto the display lens. The display unit 21 displays the image to the operator by projecting the image on the display lens from the projector. The image is, for example, content C (see FIG. 4) such as a work manual or a three-dimensional model provided to the operator. The display unit 21 may be configured so as to be capable of displaying an image to the operator, and the display lens may be omitted by using a projector that directly projects the image to the operator's eyes. ..

撮像部２２は、例えば、カメラであり、作業者の視野を含む範囲を撮像する。撮像部２２は、制御部２５に接続されており、制御部２５へ向けて撮像した画像の画像データを出力する。 The imaging unit 22 is, for example, a camera, and images a range including the field of view of the operator. The image capturing unit 22 is connected to the control unit 25 and outputs image data of an image captured toward the control unit 25.

赤外線センサ２３は、作業者の操作を検知するものである。なお、赤外線センサ２３に特に限定されず、作業者の操作を検知するものであれば、いずれのデバイスを適用してもよい。作業者は、表示部２１に表示されたコンテンツＣに対する操作を現実空間において行う。操作としては、例えば、スワイプ等のジェスチャである。赤外線センサ２３は、制御部２５に接続されており、制御部２５へ向けて、検知した操作に関する操作データを出力する。なお、赤外線センサ２３は、作業者の視野（撮像部２２の視野）において、バーチャルディスプレイ１０と重なる位置で作業者が操作した場合に、操作が有効であるとして検知するようにしてもよい。 The infrared sensor 23 detects the operation of the operator. The infrared sensor 23 is not particularly limited, and any device may be applied as long as it detects the operation of the operator. The operator performs an operation on the content C displayed on the display unit 21 in the real space. The operation is, for example, a gesture such as a swipe. The infrared sensor 23 is connected to the control unit 25 and outputs operation data related to the detected operation to the control unit 25. The infrared sensor 23 may detect that the operation is effective when the operator operates the image in the field of view of the operator (the field of view of the imaging unit 22) at a position overlapping the virtual display 10.

ＩＤ認識部２４は、作業者に与えられたＩＤ情報（識別情報）Ｄ１を認識するものである。作業者には、作業者を識別するための固有のＩＤ情報Ｄ１が与えられている。ＩＤ情報Ｄ１は、例えば、ＩＤ情報Ｄ１が記録されたタグであってもよいし、作業者が記憶している記号であってもよく、特に限定されない。ＩＤ認識部２４は、作業者から入力されるＩＤ情報Ｄ１を取得する。ＩＤ認識部２４は、制御部２５に接続されており、制御部２５へ向けて、取得したＩＤ情報Ｄ１を出力する。 The ID recognition unit 24 recognizes the ID information (identification information) D1 given to the worker. The worker is given unique ID information D1 for identifying the worker. The ID information D1 may be, for example, a tag in which the ID information D1 is recorded, or a symbol stored by the operator, and is not particularly limited. The ID recognition unit 24 acquires the ID information D1 input from the worker. The ID recognition unit 24 is connected to the control unit 25 and outputs the acquired ID information D1 to the control unit 25.

記憶部２６は、制御部２５の処理結果を一時的に記憶する作業領域として利用される。記憶部２６は、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含む。また、記憶部２６は、各種プログラム及び各種データを記憶している。例えば、記憶部２６は、各種プログラムとして、表示部２１の表示制御に関するプログラムが記憶されている。また、記憶部２６は、各種データとして、サーバ１２から提供されるコンテンツＣを記憶している。 The storage unit 26 is used as a work area for temporarily storing the processing result of the control unit 25. The storage unit 26 includes an arbitrary storage device such as a semiconductor storage device and a magnetic storage device. In addition, the storage unit 26 stores various programs and various data. For example, the storage unit 26 stores programs related to display control of the display unit 21 as various programs. Further, the storage unit 26 stores the content C provided by the server 12 as various data.

制御部２５は、例えば、ＣＰＵ（Central Processing Unit）等の集積回路を含んでいる。具体的に、制御部２５は、記憶部２６に記憶されているプログラムに含まれる命令を実行することによって各種機能を実現する。制御部２５は、例えば、表示制御に関するプログラムを実行することにより、表示部２１にコンテンツＣを表示する。 The control unit 25 includes, for example, an integrated circuit such as a CPU (Central Processing Unit). Specifically, the control unit 25 realizes various functions by executing the instructions included in the program stored in the storage unit 26. The control unit 25 displays the content C on the display unit 21, for example, by executing a program related to display control.

サーバ１２は、ネットワーク１５を介してＡＲデバイス１１にコンテンツＣを提供したり、ＡＲデバイス１１で取得した各種データを取得したりする。サーバ１２は、処理部３１と、コンテンツ記憶部３２と、作業報告書記憶部３３とを有している。 The server 12 provides the content C to the AR device 11 via the network 15 and acquires various data acquired by the AR device 11. The server 12 has a processing unit 31, a content storage unit 32, and a work report storage unit 33.

コンテンツ記憶部３２は、コンテンツＣを記憶している。コンテンツＣは、ＩＤ情報Ｄ１と対応付けられて記憶されており、作業者には、予め設定されたコンテンツＣが提供される。コンテンツＣとしては、例えば、作業者に対して作業工程及び作業手順に関する情報である作業マニュアル等である。 The content storage unit 32 stores the content C. The content C is stored in association with the ID information D1, and the worker is provided with the preset content C. The content C is, for example, a work manual or the like which is information on a work process and a work procedure for a worker.

作業報告書記憶部３３は、ＡＲデバイス１１により生成された作業報告書、またはＡＲデバイス１１から取得した情報に基づいてサーバ１２により生成された作業報告書を記憶している。作業報告書は、作業者の作業工程に関する作業内容を時系列に沿って取得したものである。作業報告書には、例えば、作業対象物１６に関する情報、作業結果、作業日時等が記録される。 The work report storage unit 33 stores the work report generated by the AR device 11 or the work report generated by the server 12 based on the information acquired from the AR device 11. The work report is obtained by acquiring the work contents related to the work process of the worker in chronological order. In the work report, for example, information about the work object 16, work results, work date and time, and the like are recorded.

上記の拡張現実表示システム１が用いられる作業空間Ｅ１には、図１及び図２に示すように、作業対象物１６に対して、第２の識別マークＭ２が付されている。第２の識別マークＭ２には、作業対象物１６に関する情報が含まれている。作業対象物１６に関する情報としては、例えば、作業対象物１６を特定するための情報を含む。また、詳細は後述するが、第２の識別マークＭ２は、作業対象物１６の作業空間Ｅ１における位置及び範囲を特定するための情報を含んでもよい。ＡＲデバイス１１は、第２の識別マークＭ２を識別することで、作業対象物１６の作業空間Ｅ１における位置及び範囲を取得する。 As shown in FIGS. 1 and 2, a second identification mark M2 is attached to the work object 16 in the work space E1 in which the augmented reality display system 1 is used. The second identification mark M2 contains information about the work object 16. The information regarding the work object 16 includes, for example, information for identifying the work object 16. Further, as will be described in detail later, the second identification mark M2 may include information for specifying the position and range of the work object 16 in the work space E1. By identifying the second identification mark M2, the AR device 11 acquires the position and range of the work object 16 in the work space E1.

このように、拡張現実表示システム１は、バーチャルディスプレイ１０に付された第１の識別マークＭ１を識別することで、第１の識別マークＭ１に基づく表示制御を行ったり、作業対象物１６に付された第２の識別マークＭ２を識別することで、第２の識別マークＭ２に基づく表示制御を行ったりする。 In this way, the augmented reality display system 1 identifies the first identification mark M1 attached to the virtual display 10 to perform display control based on the first identification mark M1 or attaches to the work object 16. By identifying the second identification mark M2, display control based on the second identification mark M2 is performed.

次に、図３を参照して、拡張現実表示システム１において、ＡＲデバイス１１の表示部２１における表示制御の一例について説明する。図３は、ＡＲデバイスの表示部に関する一例の説明図である。 Next, an example of display control in the display unit 21 of the AR device 11 in the augmented reality display system 1 will be described with reference to FIG. FIG. 3 is an explanatory diagram of an example relating to the display unit of the AR device.

拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、撮像部２２により作業空間Ｅ１の作業対象物１６に付された第２の識別マークＭ２を撮像すると、画像認識によって第２の識別マークＭ２を識別する。制御部２５は、第２の識別マークＭ２を識別すると、第２の識別マークＭ２に含まれる情報に基づいて、作業空間Ｅ１における作業対象物１６の位置及び範囲を取得する。 In the augmented reality display system 1, when the control unit 25 of the AR device 11 images the second identification mark M2 attached to the work object 16 of the work space E1 by the image pickup unit 22, the second identification mark M2 is recognized by image recognition. Identify M2. When the control unit 25 identifies the second identification mark M2, the control unit 25 acquires the position and range of the work object 16 in the work space E1 based on the information contained in the second identification mark M2.

制御部２５は、作業空間Ｅ１における作業対象物１６の位置及び範囲を取得すると、作業空間Ｅ１内における作業対象物１６の位置及び範囲に基づいて、表示部２１上における作業空間Ｅ１の位置を取得し、表示部２１上の表示領域Ｅ２と、表示部２１上の作業空間Ｅ１とが重なっているか否かを判定する。制御部２５は、表示領域Ｅ２と作業空間Ｅ１とが重なっていると判定すると、作業空間Ｅ１と重なった表示領域Ｅ２を、作業空間Ｅ１を視認可能な可視領域Ｅ２ａとして設定する（ステップＳ１）。可視領域Ｅ２ａは、作業対象物１６への作業を行うために、コンテンツＣの表示を抑制し、視認性を確保する領域となっている。 When the control unit 25 acquires the position and range of the work object 16 in the work space E1, the control unit 25 acquires the position of the work space E1 on the display unit 21 based on the position and range of the work object 16 in the work space E1. Then, it is determined whether or not the display area E2 on the display unit 21 and the work space E1 on the display unit 21 overlap. When the control unit 25 determines that the display area E2 and the work space E1 overlap, the control unit 25 sets the display area E2 that overlaps the work space E1 as the visible visible area E2a in which the work space E1 is visible (step S1). The visible region E2a is an region for suppressing the display of the content C and ensuring visibility in order to perform work on the work object 16.

また、制御部２５は、可視領域Ｅ２ａの外側の表示領域Ｅ２に、各種情報を表示している。作業者は、可視領域Ｅ２ａの外側の表示領域Ｅ２を視認する場合、作業空間Ｅ１に対する表示部２１の位置を変化させる。例えば、作業者は、作業空間Ｅ１に対してＡＲデバイス１１を図３の左側に移動させると、可視領域Ｅ２ａの左側の表示領域Ｅ２が広がる（ステップＳ２）。制御部２５は、可視領域Ｅ２ａの左側の表示領域Ｅ２に、コンテンツＣとして作業対象物１６に関する提供情報Ｄ２を表示する。提供情報Ｄ２としては、例えば、作業工程の手順等に関する情報である。 Further, the control unit 25 displays various information in the display area E2 outside the visible area E2a. When the operator visually recognizes the display area E2 outside the visible area E2a, the operator changes the position of the display unit 21 with respect to the work space E1. For example, when the operator moves the AR device 11 to the left side of FIG. 3 with respect to the work space E1, the display area E2 on the left side of the visible area E2a expands (step S2). The control unit 25 displays the provided information D2 regarding the work object 16 as the content C in the display area E2 on the left side of the visible area E2a. The provided information D2 is, for example, information related to a procedure of a work process or the like.

また、例えば、作業者は、作業空間Ｅ１に対してＡＲデバイス１１を図３の右側に移動させると、可視領域Ｅ２ａの右側の表示領域Ｅ２が広がる（ステップＳ３）。制御部２５は、可視領域Ｅ２ａの右側の表示領域Ｅ２に、コンテンツＣとして、作業対象物１６の作業工程をチェックするためのチェック情報Ｄ３を表示する。チェック情報Ｄ３としては、例えば、作業工程が完了した場合に、作業工程が終了したことを入力するための情報である。 Further, for example, when the operator moves the AR device 11 to the right side of FIG. 3 with respect to the work space E1, the display area E2 on the right side of the visible area E2a expands (step S3). The control unit 25 displays the check information D3 for checking the work process of the work object 16 as the content C in the display area E2 on the right side of the visible area E2a. The check information D3 is, for example, information for inputting that the work process has been completed when the work process is completed.

次に、図４を参照して、拡張現実表示システム１において、ＡＲデバイス１１の表示部２１における表示制御の一例について説明する。図４は、バーチャルディスプレイを用いたＡＲデバイスの表示部に関する一例の説明図である。 Next, an example of display control in the display unit 21 of the AR device 11 in the augmented reality display system 1 will be described with reference to FIG. FIG. 4 is an explanatory diagram of an example of a display unit of an AR device using a virtual display.

拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、撮像部２２によりバーチャルディスプレイ１０に付された第１の識別マークＭ１を撮像すると、画像認識によって第１の識別マークＭ１を識別する。制御部２５は、第１の識別マークＭ１を識別すると、第１の識別マークＭ１に含まれる情報に基づいて、バーチャルディスプレイ１０を特定する。ＡＲデバイス１１の制御部２５は、バーチャルディスプレイ１０を特定すると、第１の識別マークＭ１の枠内に、コンテンツＣを表示する。コンテンツＣとしては、例えば、作業マニュアルまたは三次元モデル等である。また、ＡＲデバイス１１の制御部２５は、識別した第１の識別マークＭ１の形状に基づいて、バーチャルディスプレイ１０の本体部１８の傾きを算出し、本体部１８の傾きに応じてコンテンツＣを傾けて、バーチャルディスプレイ１０の第１の識別マークＭ１の枠内に収まるように、表示部２１に表示する。 In the augmented reality display system 1, when the control unit 25 of the AR device 11 images the first identification mark M1 attached to the virtual display 10 by the image pickup unit 22, the control unit 25 identifies the first identification mark M1 by image recognition. When the control unit 25 identifies the first identification mark M1, the control unit 25 identifies the virtual display 10 based on the information contained in the first identification mark M1. When the control unit 25 of the AR device 11 identifies the virtual display 10, the content C is displayed in the frame of the first identification mark M1. The content C is, for example, a work manual or a three-dimensional model. Further, the control unit 25 of the AR device 11 calculates the inclination of the main body 18 of the virtual display 10 based on the shape of the identified first identification mark M1, and tilts the content C according to the inclination of the main body 18. Then, it is displayed on the display unit 21 so as to fit within the frame of the first identification mark M1 of the virtual display 10.

なお、制御部２５は、表示部２１の可視領域Ｅ２ａ内に対応する作業空間Ｅ１おいて、第１の識別マークＭ１を認識した場合、表示部２１の可視領域Ｅ２ａ内に、コンテンツＣを表示する。 When the control unit 25 recognizes the first identification mark M1 in the work space E1 corresponding to the visible area E2a of the display unit 21, the content C is displayed in the visible area E2a of the display unit 21. ..

次に、図５から図８を参照して、拡張現実表示システム１の表示に関する一例の表示制御について説明する。図５から図８は、本実施形態に係る拡張現実表示システムの表示制御に関する一例のフローチャートである。 Next, an example of display control related to the display of the augmented reality display system 1 will be described with reference to FIGS. 5 to 8. 5 to 8 are flowcharts of an example relating to the display control of the augmented reality display system according to the present embodiment.

図５は、作業者に対応するコンテンツＣを、拡張現実表示システム１の表示部２１に表示するフローチャートである。先ず、拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、ＩＤ認識部２４により作業者のＩＤ情報Ｄ１を認識して取得する（ステップＳ１１）。制御部２５は、取得したＩＤ情報Ｄ１に基づき、ネットワーク１５を介してサーバ１２のコンテンツ記憶部３２から、ＩＤ情報Ｄ１に関連付けられたコンテンツＣを取得する（ステップＳ１２）。そして、制御部２５は、取得したコンテンツＣを表示部２１に表示する（ステップＳ１３）。 FIG. 5 is a flowchart for displaying the content C corresponding to the operator on the display unit 21 of the augmented reality display system 1. First, in the augmented reality display system 1, the control unit 25 of the AR device 11 recognizes and acquires the ID information D1 of the worker by the ID recognition unit 24 (step S11). Based on the acquired ID information D1, the control unit 25 acquires the content C associated with the ID information D1 from the content storage unit 32 of the server 12 via the network 15 (step S12). Then, the control unit 25 displays the acquired content C on the display unit 21 (step S13).

図６は、作業者のジェスチャに応じて、コンテンツＣの表示を切り替えるフローチャートである。先ず、拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、表示部２１にコンテンツＣを表示した状態において、赤外線センサ２３により作業者のジェスチャ（操作）を検出する（ステップＳ２１）。すると、制御部２５は、検出した作業者のジェスチャに応じて、コンテンツＣの表示を切り替える（ステップＳ２２）。例えば、コンテンツＣとして、複数頁からなる作業マニュアルである場合、作業者は、スワイプ操作を行うことにより、制御部２５は、作業マニュアルの頁送りに関する表示を行う。なお、制御部２５は、検出されたジェスチャが、作業者の視野においてバーチャルディスプレイ１０の表示範囲での動作か否かを判断して、コンテンツ操作に反映することとしてもよい。 FIG. 6 is a flowchart for switching the display of the content C according to the gesture of the operator. First, in the augmented reality display system 1, the control unit 25 of the AR device 11 detects the gesture (operation) of the operator by the infrared sensor 23 in the state where the content C is displayed on the display unit 21 (step S21). Then, the control unit 25 switches the display of the content C according to the gesture of the detected worker (step S22). For example, when the content C is a work manual composed of a plurality of pages, the operator swipes the operation, and the control unit 25 displays the page feed of the work manual. The control unit 25 may determine whether or not the detected gesture operates within the display range of the virtual display 10 in the field of view of the operator and reflect it in the content operation.

図７は、図４に示すバーチャルディスプレイを用いたＡＲデバイス１１の表示部２１における表示制御のフローチャートである。先ず、拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、バーチャルディスプレイ１０に付された第１の識別マークＭ１を識別する（ステップＳ３１）。制御部２５は、第１の識別マークＭ１を識別すると、識別した第１の識別マークＭ１の形状に基づいて、バーチャルディスプレイ１０の本体部１８の傾きを算出して取得する（ステップＳ３２）。この後、制御部２５は、本体部１８の傾きに応じた表示形態となるように、第１の識別マークＭ１に対応するコンテンツＣを表示する（ステップＳ３３）。なお、傾きに応じた表示形態としては、コンテンツＣを傾けて表示する形態であったり、コンテンツＣを回転させて表示する形態であったりする。 FIG. 7 is a flowchart of display control in the display unit 21 of the AR device 11 using the virtual display shown in FIG. First, in the augmented reality display system 1, the control unit 25 of the AR device 11 identifies the first identification mark M1 attached to the virtual display 10 (step S31). When the control unit 25 identifies the first identification mark M1, the control unit 25 calculates and acquires the inclination of the main body unit 18 of the virtual display 10 based on the shape of the identified first identification mark M1 (step S32). After that, the control unit 25 displays the content C corresponding to the first identification mark M1 so that the display form corresponds to the inclination of the main body unit 18 (step S33). The display form according to the tilt may be a form in which the content C is tilted and displayed, or a form in which the content C is rotated and displayed.

図８は、図３に示すＡＲデバイス１１の表示部２１における表示制御のフローチャートである。先ず、拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、作業空間Ｅ１の作業対象物１６に付された第２の識別マークＭ２を識別する（ステップＳ４１）。制御部２５は、第２の識別マークＭ２を識別すると、第２の識別マークＭ２に含まれる作業対象物１６の位置及び範囲の情報に基づいて、表示部２１上における作業空間Ｅ１の位置を取得し、表示部２１上の表示領域Ｅ２と、表示部２１上の作業空間Ｅ１とが重なっているか否かを判定する（ステップＳ４２）。制御部２５は、表示領域Ｅ２と作業空間Ｅ１とが重なっていると判定する（ステップＳ４２：Ｙｅｓ）と、作業空間Ｅ１と重なっている表示部２１の表示領域Ｅ２を可視領域Ｅ２ａとして設定する（ステップＳ４３）。一方で、制御部２５は、表示領域Ｅ２と作業空間Ｅ１とが重なっていないと判定する（ステップＳ４２：Ｎｏ）と、後述するステップＳ４６に進む。 FIG. 8 is a flowchart of display control in the display unit 21 of the AR device 11 shown in FIG. First, in the augmented reality display system 1, the control unit 25 of the AR device 11 identifies the second identification mark M2 attached to the work object 16 of the work space E1 (step S41). When the control unit 25 identifies the second identification mark M2, the control unit 25 acquires the position of the work space E1 on the display unit 21 based on the information on the position and range of the work object 16 included in the second identification mark M2. Then, it is determined whether or not the display area E2 on the display unit 21 and the work space E1 on the display unit 21 overlap each other (step S42). When the control unit 25 determines that the display area E2 and the work space E1 overlap (step S42: Yes), the control unit 25 sets the display area E2 of the display unit 21 that overlaps the work space E1 as the visible area E2a (step S42: Yes). Step S43). On the other hand, when the control unit 25 determines that the display area E2 and the work space E1 do not overlap (step S42: No), the control unit 25 proceeds to step S46, which will be described later.

制御部２５は、ステップＳ４３の実行後、可視領域Ｅ２ａ以外の表示領域Ｅ２に、提供情報Ｄ２またはチェック情報Ｄ３を表示可能であるか否かを判定する（ステップＳ４４）。具体的に、ステップＳ４４では、可視領域Ｅ２ａ以外の表示領域Ｅ２が、提供情報Ｄ２またはチェック情報Ｄ３を表示可能な領域の広さとなっているか否かにより判定している。制御部２５は、提供情報Ｄ２またはチェック情報Ｄ３を表示可能であると判定する（ステップＳ４４：Ｙｅｓ）と、提供情報Ｄ２またはチェック情報Ｄ３を表示する（ステップＳ４５）。一方で、制御部２５は、提供情報Ｄ２またはチェック情報Ｄ３を表示可能でないと判定する（ステップＳ４４：Ｎｏ）と、後述するステップＳ４６に進む。 After executing step S43, the control unit 25 determines whether or not the provided information D2 or the check information D3 can be displayed in the display area E2 other than the visible area E2a (step S44). Specifically, in step S44, it is determined whether or not the display area E2 other than the visible area E2a is the size of the area in which the provided information D2 or the check information D3 can be displayed. When the control unit 25 determines that the provided information D2 or the check information D3 can be displayed (step S44: Yes), the control unit 25 displays the provided information D2 or the check information D3 (step S45). On the other hand, when the control unit 25 determines that the provided information D2 or the check information D3 cannot be displayed (step S44: No), the control unit 25 proceeds to step S46, which will be described later.

制御部２５は、ステップＳ４５の実行後、バーチャルディスプレイ１０に付された第１の識別マークＭ１を識別する（ステップＳ４６）と、ステップＳ４３において可視領域Ｅ２ａを設定したか否かを判定する（ステップＳ４７）。制御部２５は、可視領域Ｅ２ａを設定していると判定する（ステップＳ４７：Ｙｅｓ）と、第１の識別マークＭ１に対応するコンテンツＣを、可視領域Ｅ２ａを含む表示領域Ｅ２に表示する（ステップＳ４８）。つまり、制御部２５は、可視領域Ｅ２ａを設定している場合であっても、コンテンツＣを優先して表示する。一方で、制御部２５は、可視領域Ｅ２ａを設定していないと判定する（ステップＳ４７：Ｎｏ）と、第１の識別マークＭ１に対応するコンテンツＣを、表示領域Ｅ２に表示する（ステップＳ４９）。制御部２５は、ステップＳ４８及びステップＳ４９の実行後、図８に示す制御を終了する。 After executing step S45, the control unit 25 identifies the first identification mark M1 attached to the virtual display 10 (step S46), and determines whether or not the visible region E2a is set in step S43 (step S46). S47). When the control unit 25 determines that the visible region E2a is set (step S47: Yes), the control unit 25 displays the content C corresponding to the first identification mark M1 in the display region E2 including the visible region E2a (step S47: Yes). S48). That is, the control unit 25 preferentially displays the content C even when the visible region E2a is set. On the other hand, when the control unit 25 determines that the visible region E2a is not set (step S47: No), the content C corresponding to the first identification mark M1 is displayed in the display region E2 (step S49). .. After executing steps S48 and S49, the control unit 25 ends the control shown in FIG.

次に、図９を参照して、拡張現実表示システム１による作業報告書の生成に関する処理について説明する。図９は、本実施形態に係る拡張現実表示システムの作業報告書の生成に関する一例のフローチャートである。先ず、拡張現実表示システム１において、ＡＲデバイス１１の制御部２５は、コンテンツＣに基づく作業工程が実行されたか否かを判定する（ステップＳ５１）。ステップＳ５１において、制御部２５は、例えば、図３に示すチェック情報Ｄ３に基づいて、作業工程が完了したか否かを判定してもよい。 Next, with reference to FIG. 9, the process related to the generation of the work report by the augmented reality display system 1 will be described. FIG. 9 is a flowchart of an example relating to the generation of a work report of the augmented reality display system according to the present embodiment. First, in the augmented reality display system 1, the control unit 25 of the AR device 11 determines whether or not the work process based on the content C has been executed (step S51). In step S51, the control unit 25 may determine, for example, whether or not the work process is completed based on the check information D3 shown in FIG.

制御部２５は、作業工程が完了したと判定する（ステップＳ５２：Ｙｅｓ）と、完了した作業工程に関する作業内容を時系列に沿って取得して、作業報告書を自動で生成する（ステップＳ５３）。そして、制御部２５は、生成した作業報告書を、ネットワーク１５を介してサーバ１２の作業報告書記憶部３３に記憶する（ステップＳ５４）。ステップＳ５４の実行後、制御部２５は、作業報告書の生成に関する処理を終了する。 When the control unit 25 determines that the work process has been completed (step S52: Yes), the control unit 25 acquires the work contents related to the completed work process in chronological order and automatically generates a work report (step S53). .. Then, the control unit 25 stores the generated work report in the work report storage unit 33 of the server 12 via the network 15 (step S54). After the execution of step S54, the control unit 25 ends the process related to the generation of the work report.

一方で、制御部２５は、作業工程が完了していないと判定する（ステップＳ５２：Ｎｏ）と、作業途中の作業内容を記憶部２６に記憶し、再び、ステップＳ５１に進んで、作業工程が完了したか否かを判定する。 On the other hand, when the control unit 25 determines that the work process has not been completed (step S52: No), the control unit 25 stores the work content during the work in the storage unit 26, and proceeds to step S51 again to complete the work process. Determine if it is complete.

なお、本実施形態では、作業報告書の生成を、ＡＲデバイス１１の制御部２５において実行したが、サーバ１２の処理部３１において作業報告書の生成を実行してもよく、特に限定されない。 In the present embodiment, the work report is generated by the control unit 25 of the AR device 11, but the work report may be generated by the processing unit 31 of the server 12, and is not particularly limited.

以上のように、本実施形態に記載の拡張現実表示システム１は、例えば、以下のように把握される。 As described above, the augmented reality display system 1 described in the present embodiment is grasped as follows, for example.

第１の態様に係る拡張現実表示システム１は、現実空間にコンテンツを重ねて表示することで、前記現実空間を仮想的に拡張する拡張現実表示システム１において、第１の識別マークＭ１が付されたバーチャルディスプレイ１０と、前記現実空間を撮像する撮像部２２と、前記現実空間に重ねて前記コンテンツＣを表示する表示部２１と、前記表示部２１への前記コンテンツＣの表示に関する表示制御を実行する制御部２５と、を備え、前記制御部２５は、前記撮像部２２により前記第１の識別マークＭ１が撮像されて、前記第１の識別マークＭ１を認識すると、前記バーチャルディスプレイ１０の前記現実空間における位置に対応する前記表示部２１の表示領域に、前記コンテンツＣを表示する。 In the augmented reality display system 1 according to the first aspect, the first identification mark M1 is attached to the augmented reality display system 1 that virtually expands the real space by superimposing and displaying the contents in the real space. The virtual display 10, the imaging unit 22 that captures the real space, the display unit 21 that superimposes the content C on the real space, and the display control regarding the display of the content C on the display unit 21 are executed. When the first identification mark M1 is imaged by the imaging unit 22 and the first identification mark M1 is recognized, the control unit 25 includes the reality of the virtual display 10. The content C is displayed in the display area of the display unit 21 corresponding to the position in the space.

この構成によれば、バーチャルディスプレイ１０の第１の識別マークＭ１が認識されることで、ＡＲデバイス１１の表示部２１にコンテンツＣを表示することができる。このため、例えば、コンテンツＣとして作業マニュアルを表示する場合、バーチャルディスプレイ１０を仮想の作業マニュアルとして機能させることができ、現実の作業マニュアルと同等の使用方法で、使用することができる。このため、作業者に対して、直感的な操作を促すことができるユーザフレンドリーな拡張現実表示システム１とすることができる。具体的に説明すると、ＡＲ技術に慣れていない作業者は、何もない空間に対してジェスチャを行ってコンテンツＣを表示する操作を習得することに時間を要することから、作業効率が低下する。一方で、本開示において、作業者は、バーチャルディスプレイ１０を手で扱うことができ、バーチャルディスプレイ上でジェスチャを行うことで、コンテンツＣを表示させることができるため、より直感的な操作を行うことができる。また、現実空間とコンテンツＣとの重畳表示は、コンテンツＣの表示時間、表示条件、表示部２１上の位置を、バーチャルディスプレイ１０を用いることで特定することが可能となる。 According to this configuration, the content C can be displayed on the display unit 21 of the AR device 11 by recognizing the first identification mark M1 of the virtual display 10. Therefore, for example, when the work manual is displayed as the content C, the virtual display 10 can be made to function as a virtual work manual, and can be used in the same usage as the actual work manual. Therefore, it is possible to provide a user-friendly augmented reality display system 1 that can encourage workers to operate intuitively. Specifically, since it takes time for a worker who is not accustomed to the AR technique to learn the operation of performing a gesture in an empty space and displaying the content C, the work efficiency is lowered. On the other hand, in the present disclosure, the operator can handle the virtual display 10 by hand and can display the content C by performing a gesture on the virtual display, so that a more intuitive operation can be performed. Can be done. Further, in the superimposed display of the real space and the content C, the display time of the content C, the display conditions, and the position on the display unit 21 can be specified by using the virtual display 10.

第２の態様として、前記コンテンツＣは、３次元モデルを含み、前記制御部２５は、前記第１の識別マークＭ１の形状に基づいて、前記バーチャルディスプレイ１０の傾きを算出し、算出した前記バーチャルディスプレイ１０の傾きに応じて、前記コンテンツＣを傾けて表示する。 As a second aspect, the content C includes a three-dimensional model, and the control unit 25 calculates the inclination of the virtual display 10 based on the shape of the first identification mark M1, and the calculated virtual. The content C is tilted and displayed according to the tilt of the display 10.

この構成によれば、第１の識別マークＭ１を、傾きを算出するためのマークとして機能させることができる。このため、第１の識別マークＭ１により、コンテンツＣの三次元的な表示を行うことができる。例えば、バーチャルディスプレイ１０上に並行してコンテンツＣとしての部品の３Ｄモデルを表示した場合、バーチャルディスプレイ１０の傾きを変えれば、部品の３Ｄモデルも傾きが変わるため、操作者が任意の角度から見ることができ、天地の方向も分かり易いものとなる。 According to this configuration, the first identification mark M1 can function as a mark for calculating the inclination. Therefore, the content C can be displayed three-dimensionally by the first identification mark M1. For example, when a 3D model of a part as content C is displayed in parallel on the virtual display 10, if the inclination of the virtual display 10 is changed, the inclination of the 3D model of the part also changes, so that the operator views it from an arbitrary angle. It is possible to understand the direction of the top and bottom.

第３の態様として、前記現実空間は、作業者により作業が行われる作業空間Ｅ１を含み、前記作業空間Ｅ１には、第２の識別マークＭ２が付されており、前記制御部２５は、前記撮像部２２により前記第２の識別マークＭ２が撮像されて、前記第２の識別マークＭ２を認識すると、前記作業空間Ｅ１の位置に応じた前記表示部２１の表示領域を、前記作業空間Ｅ１を視認可能な可視領域Ｅ２ａとして設定する。 As a third aspect, the real space includes a work space E1 in which work is performed by an operator, the work space E1 is attached with a second identification mark M2, and the control unit 25 is described. When the second identification mark M2 is imaged by the imaging unit 22 and the second identification mark M2 is recognized, the display area of the display unit 21 according to the position of the work space E1 is displayed on the work space E1. It is set as a visible visible area E2a.

この構成によれば、現実空間とコンテンツＣとの重畳表示は、作業を却って妨げる場合もあるが、可視領域Ｅ２ａを設定することで、作業空間Ｅ１の視界を確保することができるため、作業空間Ｅ１の位置に応じた表示部２１の表示領域にコンテンツＣが表示されることを抑制することができる。 According to this configuration, the superimposed display of the real space and the content C may hinder the work, but by setting the visible area E2a, the visibility of the work space E1 can be secured, so that the work space can be secured. It is possible to suppress the display of the content C in the display area of the display unit 21 according to the position of E1.

第４の態様として、前記制御部２５は、前記可視領域Ｅ２ａに応じた前記作業空間Ｅ１の位置において、前記第１の識別マークＭ１を認識すると、前記バーチャルディスプレイ１０の位置に対応する前記表示部２１の前記可視領域Ｅ２ａに、前記コンテンツＣを表示する。 As a fourth aspect, when the control unit 25 recognizes the first identification mark M1 at the position of the work space E1 corresponding to the visible region E2a, the display unit 25 corresponds to the position of the virtual display 10. The content C is displayed in the visible region E2a of 21.

この構成によれば、バーチャルディスプレイ１０が用いられた場合は、可視領域Ｅ２ａであっても、バーチャルディスプレイ１０の表示を優先的に行うことができる。 According to this configuration, when the virtual display 10 is used, the display of the virtual display 10 can be preferentially performed even in the visible region E2a.

第５の態様として、前記バーチャルディスプレイ１０は、シート状の本体部１８と、前記本体部１８の縁に沿って枠状に形成される前記第１の識別マークＭ１と、を有する。 As a fifth aspect, the virtual display 10 has a sheet-shaped main body portion 18 and the first identification mark M1 formed in a frame shape along the edge of the main body portion 18.

この構成によれば、第１の識別マークＭ１を枠状に形成することで、第１の識別マークＭ１の枠内にコンテンツＣを表示することができる。ここで、コンテンツＣは不透明ではない場合があり、この場合、背景の現実空間が透けてしまうことから、コンテンツＣと第１の識別マークＭ１とが重なり合うと、視認性が低下してしまう。このため、第１の識別マークＭ１の枠内にコンテンツＣを表示することで、第１の識別マークＭ１とコンテンツＣとが重なり合うことを抑制することができるため、コンテンツＣの視認性を高めることができる。 According to this configuration, by forming the first identification mark M1 in a frame shape, the content C can be displayed in the frame of the first identification mark M1. Here, the content C may not be opaque, and in this case, since the real space of the background is transparent, if the content C and the first identification mark M1 overlap, the visibility is lowered. Therefore, by displaying the content C in the frame of the first identification mark M1, it is possible to suppress the overlap between the first identification mark M1 and the content C, thereby improving the visibility of the content C. Can be done.

第６の態様として、作業者に付された識別情報を取得する識別情報取得部（ＩＤ認識部２４）と、前記識別情報（ＩＤ情報Ｄ１）と前記コンテンツＣとを関連付けて記憶するコンテンツ記憶部３２と、をさらに備え、前記制御部２５は、前記識別情報取得部２４により取得した前記識別情報Ｄ１に基づいて、前記コンテンツ記憶部３２から前記コンテンツＣを取得し、取得した前記コンテンツＣを前記表示部に表示する。 As a sixth aspect, an identification information acquisition unit (ID recognition unit 24) that acquires the identification information attached to the worker, and a content storage unit that stores the identification information (ID information D1) and the content C in association with each other. 32, and the control unit 25 acquires the content C from the content storage unit 32 based on the identification information D1 acquired by the identification information acquisition unit 24, and obtains the acquired content C. Display on the display.

この構成によれば、作業者に対応付けられたコンテンツＣのみを表示部２１に表示することができるため、作業者に対して必要なコンテンツＣを提供することができる。 According to this configuration, only the content C associated with the worker can be displayed on the display unit 21, so that the necessary content C can be provided to the worker.

第７の態様として、前記コンテンツは、作業者の作業工程に関するコンテンツであり、前記制御部は、前記コンテンツに基づく前記作業者の前記作業工程が実行されたか否かを判定し、前記作業工程が実行されたと判定した場合、前記作業工程が完了したと判定する。 As a seventh aspect, the content is content related to the work process of the worker, and the control unit determines whether or not the work process of the worker based on the content has been executed, and the work process is performed. When it is determined that the work process has been executed, it is determined that the work process has been completed.

この構成によれば、作業者による作業工程の実行を確認することができる。 According to this configuration, it is possible to confirm the execution of the work process by the operator.

第８の態様として、前記作業者の前記作業工程に関する作業報告書を記憶する作業報告書記憶部３３を、さらに備え、前記制御部は、前記作業者の前記作業工程に関する作業内容を時系列に沿って取得して前記作業報告書を生成し、生成した前記作業報告書を前記作業報告書記憶部３３に記憶する。 As an eighth aspect, a work report storage unit 33 for storing a work report related to the work process of the worker is further provided, and the control unit sequentially records the work contents of the worker related to the work process. The work report is generated, and the generated work report is stored in the work report storage unit 33.

この構成によれば、作業者による作業内容に基づく作業報告書を自動で生成することができるため、作業報告書を作成する作業を低減することができる。 According to this configuration, a work report based on the work contents by the worker can be automatically generated, so that the work of creating the work report can be reduced.

１拡張現実表示システム
１０バーチャルディスプレイ
１１ＡＲデバイス
１２サーバ
１５ネットワーク
１６作業対象物
１８本体部
２１表示部
２２撮像部
２３赤外線センサ
２４ＩＤ認識部
２５制御部
２６記憶部
３１処理部
３２コンテンツ記憶部
３３作業報告書記憶部
Ｅ１作業空間
Ｅ２表示領域
Ｅ２ａ可視領域
Ｍ１第１の識別マーク
Ｍ２第２の識別マーク
Ｄ１ＩＤ情報
Ｄ２提供情報
Ｄ３チェック情報
Ｃコンテンツ 1 Augmented reality display system 10 Virtual display 11 AR device 12 Server 15 Network 16 Work object 18 Main unit 21 Display unit 22 Imaging unit 23 Infrared sensor 24 ID recognition unit 25 Control unit 26 Storage unit 31 Processing unit 32 Content storage unit 33 Work Report storage unit E1 Workspace E2 Display area E2a Visible area M1 First identification mark M2 Second identification mark D1 ID information D2 Provided information D3 Check information C Content

Claims

In an augmented reality display system that virtually expands the real space by superimposing content on the real space and displaying it.
A virtual display with the first identification mark and
An imaging unit that images the real space,
A display unit that displays the content overlaid on the real space,
A control unit that executes display control related to display of the content on the display unit is provided.
The control unit
When the first identification mark is imaged by the imaging unit and the first identification mark is recognized, the content is displayed in the display area of the display unit corresponding to the position of the virtual display in the real space. Augmented reality display system.

The content includes a three-dimensional model.
The first aspect of claim 1, wherein the control unit calculates the inclination of the virtual display based on the shape of the first identification mark, and inclines and displays the content according to the calculated inclination of the virtual display. Augmented reality display system.

The real space includes a work space in which work is performed by an operator.
A second identification mark is attached to the work space.
The control unit
When the second identification mark is imaged by the imaging unit and the second identification mark is recognized, the display area of the display unit according to the position of the work space is displayed as a visible area in which the work space can be visually recognized. The augmented reality display system according to claim 1 or 2, which is set as.

The control unit
The third aspect of claim 3, wherein when the first identification mark is recognized at the position of the work space corresponding to the visible area, the content is displayed in the visible area of the display unit corresponding to the position of the virtual display. Augmented reality display system.

The virtual display is
Sheet-shaped body and
The augmented reality display system according to any one of claims 1 to 4, further comprising the first identification mark formed in a frame shape along the edge of the main body.

The identification information acquisition unit that acquires the identification information attached to the worker,
A content storage unit that stores the identification information in association with the content is further provided.
The control unit
The item according to any one of claims 1 to 5, wherein the content is acquired from the content storage unit based on the identification information acquired by the identification information acquisition unit, and the acquired content is displayed on the display unit. Augmented reality display system.

The content is content related to the work process of the worker, and is
The control unit
Any one of claims 1 to 6 that determines whether or not the work process of the worker based on the content has been executed, and if it is determined that the work process has been executed, it is determined that the work process has been completed. Augmented reality display system described in section.

A work report storage unit for storing a work report related to the work process of the worker is further provided.
The control unit
The extension according to claim 7, wherein the work contents related to the work process of the worker are acquired in chronological order, the work report is generated, and the generated work report is stored in the work report storage unit. Reality display system.