JP2021176025A - Terminal device, server device, work support system, support information providing method and program - Google Patents

Terminal device, server device, work support system, support information providing method and program Download PDF

Info

Publication number
JP2021176025A
JP2021176025A JP2020080969A JP2020080969A JP2021176025A JP 2021176025 A JP2021176025 A JP 2021176025A JP 2020080969 A JP2020080969 A JP 2020080969A JP 2020080969 A JP2020080969 A JP 2020080969A JP 2021176025 A JP2021176025 A JP 2021176025A
Authority
JP
Japan
Prior art keywords
image
measuring instrument
work
machine
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2020080969A
Other languages
Japanese (ja)
Inventor
良輔 橋爪
Ryosuke Hashizume
直人 池田
Naoto Ikeda
邦宏 森下
Kunihiro Morishita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2020080969A priority Critical patent/JP2021176025A/en
Publication of JP2021176025A publication Critical patent/JP2021176025A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide a system for assisting a work for attaching a measuring instrument to a machine.SOLUTION: A terminal comprises: a photographing unit; a position acquisition unit which detects position information; and a display unit which displays a superposed image displayed by superposing a measuring instrument image created on the basis of an image photographed by the photographing unit, the position information detected by the position acquisition unit, a design model of an inspection object machine included in the image, and instrumentation position information showing a position and a posture of a measuring instrument to be attached to the machine on an attachment position of the measuring instrument in the machine included in the image.SELECTED DRAWING: Figure 1

Description

本開示は、端末装置、サーバ装置、作業支援システム、支援情報提供方法及びプログラムに関する。 The present disclosure relates to a terminal device, a server device, a work support system, a support information providing method, and a program.

機械の検査を行う場合、機械の様々な部位に計測器を取り付け、計測器が計測する値に基づいて要求を満たすかどうかの検査を行うことがある。計測器の取り付け位置を誤ると検査の意味が損なわれる。また、機械の部位に応じて取り付ける計測器が異なる場合、取り付ける計測器を誤ると、検査の意味が損なわれる。検査対象が大型機械の場合、取り付ける計測器の数は数千以上となることがあり、計測器の取り付け作業に多大な時間や労力を要する。
機械の検査に関して、特許文献１には、携帯端末の表示部に表示した機械の設計モデルに対して、不具合部位を描画することにより、不具合部位の情報を精度よく記録するシステムが記載されている。 When inspecting a machine, measuring instruments may be attached to various parts of the machine to inspect whether or not the requirements are met based on the values measured by the measuring instruments. If the mounting position of the measuring instrument is incorrect, the meaning of the inspection will be impaired. In addition, if the measuring instrument to be attached differs depending on the part of the machine, the meaning of the inspection will be impaired if the measuring instrument to be attached is incorrect. When the inspection target is a large machine, the number of measuring instruments to be installed may be several thousand or more, and it takes a lot of time and labor to install the measuring instruments.
Regarding machine inspection, Patent Document 1 describes a system that accurately records information on defective parts by drawing defective parts on a machine design model displayed on a display unit of a mobile terminal. ..

特開２０１７−１９９２６３号公報JP-A-2017-199263

検査対象の機械に計測器を取り付ける作業を効率化することが求められている。 There is a need to streamline the work of attaching measuring instruments to the machine to be inspected.

本開示は、上記課題を解決することができる端末装置、サーバ装置、作業支援システム、支援情報提供方法及びプログラムを提供する。 The present disclosure provides a terminal device, a server device, a work support system, a support information providing method, and a program capable of solving the above problems.

本開示の端末装置は、撮影部と、自装置の位置情報を検出する位置取得部と、前記撮影部が撮影した画像と、前記位置取得部が検出した位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて作成された、前記計測器を示す計測器画像を、前記画像に含まれる前記機械における前記計測器の取り付け位置に重畳して表示した重畳画像を表示する表示部と、を備える。 The terminal device of the present disclosure includes an imaging unit, a position acquisition unit that detects the position information of its own device, an image captured by the imaging unit, position information detected by the position acquisition unit, and an inspection included in the image. The machine including the measuring instrument image showing the measuring instrument created based on the design model of the target machine, the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine, and the measuring instrument image showing the measuring instrument. A display unit for displaying a superposed image displayed superimposing on the mounting position of the measuring instrument in the above.

また、本開示のサーバ装置は、端末装置が撮影した画像と、前記端末装置の位置情報と、作業者のアカウント情報を取得するデータ取得部と、機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、を記憶する記憶部と、前記画像と、前記位置情報と、前記アカウント情報に紐づく前記計測器と、前記設計モデルと、前記計装位置情報と、に基づいて、前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像を作成する画像作成部と、を備える。 Further, the server device of the present disclosure includes an image taken by the terminal device, a data acquisition unit for acquiring the position information of the terminal device, the account information of the worker, a design model of the machine, and a measuring instrument attached to the machine. A storage unit that stores instrumentation position information indicating the position and orientation of the device, the image, the position information, the measuring instrument associated with the account information, the design model, and the instrumentation position information. Based on the above, an image creating unit for creating a superimposed image in which a measuring instrument image indicating the measuring instrument is superimposed and displayed on the mounting position of the measuring instrument in the machine of the image is provided.

また、本開示の作業支援システムは、上記の端末装置と上記のサーバ装置とを備える。 Further, the work support system of the present disclosure includes the above-mentioned terminal device and the above-mentioned server device.

また、本開示の支援情報提供方法は、撮影部が作業対象の機械を撮影するステップと、前記撮影部の位置情報を検出するステップと、前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、前記重畳画像を表示するステップと、を有する。 Further, the support information providing method of the present disclosure includes a step in which the photographing unit photographs a machine to be worked, a step of detecting the position information of the photographing unit, an image photographed by the photographing unit, and the detected position. Based on the information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine, the mounting position of the measuring instrument in the machine in the image. It has a step of creating a superposed image obtained by superimposing and displaying a measuring instrument image indicating the measuring instrument, and a step of displaying the superposed image.

また、本開示のプログラムは、コンピュータに、撮影部が作業対象の機械を撮影するステップと、前記撮影部の位置情報を検出するステップと、前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、前記重畳画像を表示するステップと、を実行させる。 Further, in the program of the present disclosure, a step of photographing a machine to be worked by the photographing unit, a step of detecting the position information of the photographing unit, an image photographed by the photographing unit, and the detected position are described in the computer. Based on the information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine, the mounting position of the measuring instrument in the machine in the image. To execute a step of creating a superposed image obtained by superimposing and displaying a measuring instrument image indicating the measuring instrument, and a step of displaying the superposed image.

上述の端末装置、サーバ装置、作業支援システム、支援情報提供方法及びプログラムによれば、検査対象の機械に計測器を取り付ける作業を効率化することができる。 According to the terminal device, the server device, the work support system, the support information providing method and the program described above, the work of attaching the measuring instrument to the machine to be inspected can be streamlined.

実施形態に係る作業支援システムの一例を示す図である。It is a figure which shows an example of the work support system which concerns on embodiment. 第一実施形態に係るログイン画面の一例を示す図である。It is a figure which shows an example of the login screen which concerns on 1st Embodiment. 第一実施形態に係る作業支援画面の一例を示す第１図である。FIG. 1 is a diagram showing an example of a work support screen according to the first embodiment. 第一実施形態に係る作業支援画面の一例を示す第２図である。FIG. 2 is a diagram showing an example of a work support screen according to the first embodiment. 第一実施形態に係る作業支援画面の一例を示す第３図である。FIG. 3 is a diagram showing an example of a work support screen according to the first embodiment. 第一実施形態に係る作業進捗管理テーブルの一例を示す図である。It is a figure which shows an example of the work progress management table which concerns on 1st Embodiment. 第一実施形態に係る作業進捗グラフの一例を示す図である。It is a figure which shows an example of the work progress graph which concerns on 1st Embodiment. 第一実施形態に係るレポート（成績書）の一例を示す図である。It is a figure which shows an example of the report (report) which concerns on 1st Embodiment. 第一実施形態に係る作業支援システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation of the work support system which concerns on 1st Embodiment. 第二実施形態に係る作業支援システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation of the work support system which concerns on 2nd Embodiment. 第三実施形態に係る問合せ処理の一例を説明する図である。It is a figure explaining an example of inquiry processing which concerns on 3rd Embodiment. 第三実施形態に係る問合せ処理の一例を説明する図である。It is a figure explaining an example of inquiry processing which concerns on 3rd Embodiment. 第三実施形態に係る作業支援システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation of the work support system which concerns on 3rd Embodiment. 第四実施形態に係る作業支援システムの一例を示す図である。It is a figure which shows an example of the work support system which concerns on 4th Embodiment. 第四実施形態に係る作業支援システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation of the work support system which concerns on 4th Embodiment. 各実施形態に係る作業支援システムのハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of the work support system which concerns on each embodiment.

以下、各実施形態に係る作業支援システムについて、図１〜図１３を参照しながら詳しく説明する。 Hereinafter, the work support system according to each embodiment will be described in detail with reference to FIGS. 1 to 13.

＜第一実施形態＞
（構成）
図１は、実施形態に係る作業支援システムの一例を示す図である。
作業支援システム１は、検査対象の機械３０に１又は複数の計測器５０（例えば、計測器５０ａ，５０ｂ等）を取り付ける作業を支援するシステムである。計測器５０の取り付け位置や姿勢（向き）は定められていて、作業者は、定められたとおりに計測器５０を取り付ける。取り付け作業は、罫書、貼り付けなど複数の工程を含む。また、それぞれの工程では、複数の作業員が役割に応じた作業を行う。例えば、作業員Ａは、その工程の作業（罫書、貼り付け等）を行い、別の作業員Ｂは作業員Ａが行った作業に対する点検を行う。作業支援システム１は、端末装置１０と、サーバ装置２０と、支援端末装置４０と、計測器５０と、を含む。端末装置１０と、サーバ装置２０と、支援端末装置４０と、計測器５０はネットワークを介して通信可能に接続されている。 <First Embodiment>
(composition)
FIG. 1 is a diagram showing an example of a work support system according to an embodiment.
The work support system 1 is a system that supports the work of attaching one or more measuring instruments 50 (for example, measuring instruments 50a, 50b, etc.) to the machine 30 to be inspected. The mounting position and posture (orientation) of the measuring instrument 50 are defined, and the operator mounts the measuring instrument 50 as defined. The installation work includes a plurality of steps such as marking and pasting. Further, in each process, a plurality of workers perform work according to their roles. For example, the worker A performs the work (rules, pasting, etc.) of the process, and another worker B inspects the work performed by the worker A. The work support system 1 includes a terminal device 10, a server device 20, a support terminal device 40, and a measuring instrument 50. The terminal device 10, the server device 20, the support terminal device 40, and the measuring instrument 50 are communicably connected via a network.

端末装置１０は、計測器５０を機械３０に取り付ける作業員が使用する端末装置である。端末装置１０は、例えば、グラス型のウェアラブル端末、スマートフォン、タブレット等の携帯端末、あるいはＰＣ（personal computer）であってもよい。一例として、端末装置１０がグラス型のウェアラブル端末であるとして以下の説明を行う。端末装置１０は、撮影部１１と、表示部１２と、操作部１３と、位置取得部１４と、制御部１５と、記憶部１６と、を備える。撮影部１１は、カメラである。撮影部１１は、検査対象の機械３０を撮影し、撮影した画像（撮影画像と呼ぶ。）を記憶部１６に記憶させる。表示部１２は、液晶ディスプレイ、有機ＥＬディスプレイ等を用いた表示装置である。表示部１２は、制御部１５が出力した映像信号に応じて画像を表示する。操作部１３は、ボタン、タッチパネル等を含み、作業員の操作に対応する操作信号を制御部１５へ出力する。位置取得部１４は、例えば、ＧＰＳ受信機、加速度センサ等を含み、端末装置１０の位置情報を測位する。制御部１５は、以下に説明する各種処理を実行する。例えば、制御部１５は、機械３０の画像上に計測器５０の取り付け位置が表示された重畳画像を表示部１２に出力する。記憶部１６は、撮影部１１が撮影した撮影画像などを記憶する。
作業支援システム１は、複数の端末装置１０を備えていてもよい。 The terminal device 10 is a terminal device used by a worker who attaches the measuring instrument 50 to the machine 30. The terminal device 10 may be, for example, a glass-type wearable terminal, a mobile terminal such as a smartphone or a tablet, or a PC (personal computer). As an example, the following description will be given assuming that the terminal device 10 is a glass-type wearable terminal. The terminal device 10 includes a photographing unit 11, a display unit 12, an operation unit 13, a position acquisition unit 14, a control unit 15, and a storage unit 16. The photographing unit 11 is a camera. The photographing unit 11 photographs the machine 30 to be inspected, and stores the photographed image (referred to as a photographed image) in the storage unit 16. The display unit 12 is a display device using a liquid crystal display, an organic EL display, or the like. The display unit 12 displays an image according to the video signal output by the control unit 15. The operation unit 13 includes buttons, a touch panel, and the like, and outputs an operation signal corresponding to the operation of the worker to the control unit 15. The position acquisition unit 14 includes, for example, a GPS receiver, an acceleration sensor, and the like, and positions the position information of the terminal device 10. The control unit 15 executes various processes described below. For example, the control unit 15 outputs a superimposed image in which the mounting position of the measuring instrument 50 is displayed on the image of the machine 30 to the display unit 12. The storage unit 16 stores a photographed image or the like photographed by the photographing unit 11.
The work support system 1 may include a plurality of terminal devices 10.

サーバ装置２０は、計測器５０の取り付け位置、姿勢、取り付けるべき計測器５０の識別情報などを指示する指示情報を端末装置１０へ送信する。指示情報には、上記の重畳画像が含まれる。また、サーバ装置２０は、計測器５０の取り付け作業の作業実績情報（例えば、作業が終了した時に撮影する作業記録画像やその撮影時刻）を端末装置１０から受信し、作業の進捗を管理する。サーバ装置２０は、記憶部２１と、処理部２２と、データ取得部２３と、を備える。記憶部２１は、設計モデル２１１、計装位置情報２１２、計測器情報２１３等の情報を記憶している。設計モデル２１１は、機械３０の形状を示す３次元モデルである。また、設計モデル２１１には、３次元モデルに加え、設計図面等の２次元モデル（２次元図面）が含まれていてもよい。２次元図面は、寸法や位置に関して３次元モデルよりも詳細で高精度な情報を有している。２次元図面は、例えば、後述する重畳画像において計測器画像を精度良く取り付け位置に重畳して表示させるために、３次元モデルを補正する目的で用いられてもよい。計装位置情報２１２は、計測器５０ごとに機械３０への取り付け位置、姿勢を定めた情報である。計測器情報２１３は、計測器５０ごとの仕様を示す情報である。記憶部２１は、この他にも、作業員のアカウント情報、工程および役割、工程および役割ごとに行うべき作業を定めた作業指示情報（例えば、１日当たりに行うべき作業を定めたもの）、計測器画像、後述する作業進捗管理テーブルや計測器５０の取り付け位置や姿勢の詳細を図示した寸法指示図などの情報を記憶する。処理部２２は、画像作成部２２１と、進捗記録部２２２と、データ加工部２２３と、を備える。画像作成部２２１は、計測器５０を模した計測器画像を、機械３０の取り付け位置に重畳させた重畳画像を生成する。進捗記録部２２２は、端末装置１０から受信した作業実績情報を、作業進捗管理テーブルに記録する。データ加工部２２３は、作業進捗管理テーブルに記録された作業実績情報を読み出して加工し、作業の進捗状況を示すグラフや作業単位ごとのレポートを表示した画像を作成する。なお、作業単位とは、一人の作業員が行うべき作業の単位である。例えば、上記の作業指示情報は、作業単位ごとに用意されている。データ取得部２３は、端末装置１０から撮影画像や作業実績情報を取得する。また、データ取得部２３は、計測器５０から計測器５０の動作信号を取得する。 The server device 20 transmits instruction information instructing the mounting position and posture of the measuring instrument 50, identification information of the measuring instrument 50 to be mounted, and the like to the terminal device 10. The instruction information includes the above-mentioned superimposed image. Further, the server device 20 receives work record information (for example, a work record image to be taken when the work is completed and a shooting time thereof) of the installation work of the measuring instrument 50 from the terminal device 10 and manages the progress of the work. The server device 20 includes a storage unit 21, a processing unit 22, and a data acquisition unit 23. The storage unit 21 stores information such as the design model 211, the instrumentation position information 212, and the measuring instrument information 213. The design model 211 is a three-dimensional model showing the shape of the machine 30. Further, the design model 211 may include a two-dimensional model (two-dimensional drawing) such as a design drawing in addition to the three-dimensional model. The two-dimensional drawing has more detailed and highly accurate information regarding the dimensions and the position than the three-dimensional model. The two-dimensional drawing may be used for the purpose of correcting the three-dimensional model in order to accurately superimpose and display the measuring instrument image on the mounting position in the superimposed image described later, for example. The instrumentation position information 212 is information that determines the mounting position and posture of each measuring instrument 50 on the machine 30. The measuring instrument information 213 is information indicating specifications for each measuring instrument 50. In addition to this, the storage unit 21 defines the account information of the worker, the process and role, the work instruction information that defines the work to be performed for each process and role (for example, the work that defines the work to be performed per day), and the measurement. Information such as an instrument image, a work progress management table to be described later, and a dimensional instruction diagram showing details of the mounting position and posture of the measuring instrument 50 is stored. The processing unit 22 includes an image creation unit 221, a progress recording unit 222, and a data processing unit 223. The image creation unit 221 generates a superposed image in which a measuring instrument image imitating the measuring instrument 50 is superimposed on the mounting position of the machine 30. The progress recording unit 222 records the work record information received from the terminal device 10 in the work progress management table. The data processing unit 223 reads and processes the work record information recorded in the work progress management table, and creates an image displaying a graph showing the progress status of the work and a report for each work unit. The work unit is a unit of work to be performed by one worker. For example, the above work instruction information is prepared for each work unit. The data acquisition unit 23 acquires captured images and work record information from the terminal device 10. Further, the data acquisition unit 23 acquires the operation signal of the measuring instrument 50 from the measuring instrument 50.

支援端末装置４０は、端末装置１０から撮影画像を受信し、撮影画像に問合せに対する回答を記入して端末装置１０へ送信する。支援端末装置４０は、表示部４１と、操作部４２と、画像送受信部４３と、画像加工部４４と、を備える。表示部４１は、液晶ディスプレイ等を用いた表示装置である。操作部４２は、キーボードやマウス等を含み、作業員を支援する作業支援要員の操作に対応する操作信号を画像加工部４４へ出力する。画像送受信部４３は、端末装置１０から撮影画像を受信し、加工後の撮影画像を端末装置１０へ送信する。画像加工部４４は、操作部４２から取得した操作信号に基づき、撮影画像を加工する。端末装置１０と支援端末装置４０は、例えば、テレビ電話のように画像の送受信を行いながら通話が可能なように接続されている。作業員は、端末装置１０を操作して撮影画像を支援端末装置４０へ送信するとともに、電話を用いて問い合わせを行う。作業支援要員は、問い合わせに対して電話で回答するとともに、支援端末装置４０を操作して撮影画像に回答内容を記入し、回答内容を記入後の撮影画像を端末装置１０へ送信する。画像加工部４４は、端末装置１０が送信した撮影画像に対し、作業支援要員による回答内容を記入する加工を行う。 The support terminal device 40 receives the captured image from the terminal device 10, fills in the captured image with an answer to the inquiry, and transmits the captured image to the terminal device 10. The support terminal device 40 includes a display unit 41, an operation unit 42, an image transmission / reception unit 43, and an image processing unit 44. The display unit 41 is a display device using a liquid crystal display or the like. The operation unit 42 outputs an operation signal corresponding to the operation of the work support personnel who support the worker, including the keyboard and the mouse, to the image processing unit 44. The image transmission / reception unit 43 receives the captured image from the terminal device 10 and transmits the processed captured image to the terminal device 10. The image processing unit 44 processes the captured image based on the operation signal acquired from the operation unit 42. The terminal device 10 and the support terminal device 40 are connected so that a call can be made while transmitting and receiving images like a videophone, for example. The worker operates the terminal device 10 to transmit the captured image to the support terminal device 40, and makes an inquiry using a telephone. The work support personnel responds to the inquiry by telephone, operates the support terminal device 40 to enter the answer contents in the photographed image, and transmits the photographed image after the answer contents are entered to the terminal device 10. The image processing unit 44 processes the captured image transmitted by the terminal device 10 to enter the content of the response by the work support personnel.

計測器５０は、例えば、ひずみゲージ、温度を計測する熱電対、加速度センサなどである。計測器５０は、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、５Ｇなどの通信規格に基づく無線の通信手段、又は各種の有線による通信手段を備えており、これらの通信手段によって他装置との通信を行う。
機械３０は、例えば、航空機、船舶、電車、車両、プラント設備等である。 The measuring instrument 50 is, for example, a strain gauge, a thermocouple for measuring temperature, an acceleration sensor, or the like. The measuring instrument 50 includes wireless communication means based on communication standards such as Wifi (registered trademark), Bluetooth (registered trademark), Zigbee (registered trademark), and 5G, or various wired communication means, and these communications are provided. Communicate with other devices by means.
The machine 30 is, for example, an aircraft, a ship, a train, a vehicle, a plant facility, or the like.

図２は、第一実施形態に係るログイン画面の一例を示す図である。
重畳画像１００は、端末装置１０を装着した作業員が、機械３０へ向いているときに所定の操作を行うと表示部１２に表示される画像である。重畳画像１００には、撮影部１１が撮影した機械３０の撮影画像とログイン画面１１０が表示されている。作業員は、操作部１３を操作して、自身のアカウント、パスワード、工程、役割、作業指示情報を入力する。作業員は、例えば、工程には“罫書”又は“貼り付け”を入力し、役割には“作業実行”又は“点検”を入力する。作業指示情報には、自分が担当する作業に対応する作業指示情報の識別情報を入力する。アカウント、パスワード、工程、役割、作業指示情報をまとめてログイン情報と呼ぶ。
重畳画像１００の機械３０は、実物の機械３０を撮影した撮影画像であり、ログイン画面１１０は機械３０の画像に重畳して表示されている。重畳画像１００は、サーバ装置２０の画像作成部２２１が、撮影部１１が撮影した画像を取得してログイン画面１１０を重畳させて作成した画像である。 FIG. 2 is a diagram showing an example of a login screen according to the first embodiment.
The superimposed image 100 is an image displayed on the display unit 12 when a worker wearing the terminal device 10 performs a predetermined operation while facing the machine 30. The superimposed image 100 displays a photographed image of the machine 30 photographed by the photographing unit 11 and a login screen 110. The worker operates the operation unit 13 to input his / her own account, password, process, role, and work instruction information. For example, the worker inputs "ruled text" or "paste" in the process, and inputs "work execution" or "inspection" in the role. In the work instruction information, input the identification information of the work instruction information corresponding to the work in charge of oneself. Accounts, passwords, processes, roles, and work instruction information are collectively called login information.
The machine 30 of the superimposed image 100 is a photographed image of the actual machine 30, and the login screen 110 is displayed superimposed on the image of the machine 30. The superimposed image 100 is an image created by the image creation unit 221 of the server device 20 by acquiring the image captured by the photographing unit 11 and superimposing the login screen 110.

図３は、第一実施形態に係る作業支援画面の一例を示す第１図である。
重畳画像１００Ａは、ログイン後の作業員が、自分が担当する作業の作業位置にて撮影部１１を使って機械３０を撮影した画像である。重畳画像１００Ａには、計測器５０を模した計測器画像１０１ａ〜１０１ｆが、それぞれの取り付け位置に表示されている。また、図示するように、重畳画像１００Ａでは、計測器画像１０１ａ〜１０１ｆによって計測器５０の取り付け姿勢が表示されている。重畳画像１００Ａの背景に写る機械３０は、実物の機械３０の撮影画像であり、計測器画像１０１ａ〜１０１ｆは機械３０に重畳して表示されている。重畳画像１００Ａは、画像作成部２２１が、撮影部１１が撮影した撮影画像を取得して計測器画像１０１ａ〜１０１ｆを重畳させて作成したものである。計測器画像１０１ａ〜１０１ｆを重畳して表示する位置や姿勢については、計装位置情報２１２で定義されている。画像作成部２２１は、ログインした作業員が担当する作業および位置取得部１４が検出した現在の端末装置１０の位置情報に紐づけられた計測器画像１０１ａ〜１０１ｆの取り付け位置、姿勢の情報を計装位置情報２１２から読み出す。画像作成部２２１は、記憶部２１から設計モデル２１１を読み出して、機械３０の３Ｄモデル上の取り付け位置に対応する箇所に、計測器画像１０１ａ〜１０１ｆをマッピングする。画像作成部２２１は、公知のＡＲ（Augmented Reality）技術を用いて、撮影画像と、計測器画像１０１ａ〜１０１ｆがマッピングされた３Ｄモデルと、を重ね合わせて、実物の機械３０の撮影画像に計測器画像１０１ａ〜１０１ｆを重畳させた重畳画像を作成する。画像作成部２２１は、位置取得部１４が検出した端末装置１０の位置情報から機械３０を見た場合に作業対象の計測器５０が取り付けられるべき位置に計測器画像１０１ａ等が表示されるように計測器画像１０１ａを重ね合わせる。 FIG. 3 is a diagram showing an example of a work support screen according to the first embodiment.
The superimposed image 100A is an image taken by a worker after logging in of the machine 30 using the photographing unit 11 at the working position of the work he / she is in charge of. In the superimposed image 100A, measuring instrument images 101a to 101f imitating the measuring instrument 50 are displayed at the respective mounting positions. Further, as shown in the figure, in the superimposed image 100A, the mounting posture of the measuring instrument 50 is displayed by the measuring instrument images 101a to 101f. The machine 30 reflected in the background of the superimposed image 100A is a photographed image of the actual machine 30, and the measuring instrument images 101a to 101f are displayed superimposed on the machine 30. The superimposed image 100A is created by the image creating unit 221 by acquiring the photographed image photographed by the photographing unit 11 and superimposing the measuring instrument images 101a to 101f. The position and orientation in which the measuring instrument images 101a to 101f are superimposed and displayed are defined in the instrumentation position information 212. The image creation unit 221 measures the mounting position and posture information of the measuring instrument images 101a to 101f linked to the work in charge of the logged-in worker and the position information of the current terminal device 10 detected by the position acquisition unit 14. Read from the device position information 212. The image creation unit 221 reads the design model 211 from the storage unit 21 and maps the measuring instrument images 101a to 101f to the locations corresponding to the mounting positions on the 3D model of the machine 30. Using a known AR (Augmented Reality) technology, the image creation unit 221 superimposes the captured image and the 3D model to which the measuring instrument images 101a to 101f are mapped, and measures the captured image on the actual machine 30. A superposed image in which the instrument images 101a to 101f are superposed is created. The image creation unit 221 displays the measuring instrument image 101a or the like at a position where the measuring instrument 50 to be worked should be attached when the machine 30 is viewed from the position information of the terminal device 10 detected by the position acquisition unit 14. The measuring instrument image 101a is superimposed.

作業員が、操作部１３を用いて、ＩＤ入力欄１２０に計測器５０の識別情報を入力すると、制御部１５は、入力された識別情報とＩＤ入力欄１２０に識別情報が入力されたことをサーバ装置２０へ送信する。サーバ装置２０では、画像作成部２２１が、その識別情報に対応する計測器５０の計測器画像１０１ｆを他の計測器画像１０１ａ等とは異なる色で表示した重畳画像を作成し、端末装置１０へ送信する。制御部１５は、この重畳画像を表示部１２へ表示する。 When the worker inputs the identification information of the measuring instrument 50 into the ID input field 120 using the operation unit 13, the control unit 15 indicates that the input identification information and the identification information have been input to the ID input field 120. It is transmitted to the server device 20. In the server device 20, the image creation unit 221 creates a superposed image in which the measuring instrument image 101f of the measuring instrument 50 corresponding to the identification information is displayed in a color different from that of the other measuring instrument images 101a and the like, and is sent to the terminal device 10. Send. The control unit 15 displays the superimposed image on the display unit 12.

また、例えば、作業員が、操作部１３を用いて、計測器画像１０１ａを選択すると、制御部１５は、選択された計測器画像１０１ａに対応する計測器５０の識別情報と、計測器画像１０１ａが選択されたことをサーバ装置２０へ送信する。サーバ装置２０では、画像作成部２２１が、元の重畳画像１１０Ａに、選択された計測器５０の取り付け作業を容易にする作業支援情報を更に重畳させた重畳画像を作成し、端末装置１０へ送信する。端末装置１０では、制御部１５が、重畳画像を取得して表示部１２に表示する。作業支援情報を表示した重畳画像を図４に示す。 Further, for example, when the worker selects the measuring instrument image 101a using the operation unit 13, the control unit 15 receives the identification information of the measuring instrument 50 corresponding to the selected measuring instrument image 101a and the measuring instrument image 101a. Is selected to be transmitted to the server device 20. In the server device 20, the image creation unit 221 creates a superposed image in which the work support information for facilitating the attachment work of the selected measuring instrument 50 is further superposed on the original superposed image 110A, and transmits the superposed image to the terminal device 10. do. In the terminal device 10, the control unit 15 acquires the superimposed image and displays it on the display unit 12. FIG. 4 shows a superimposed image displaying the work support information.

図４は、第一実施形態に係る作業支援画面の一例を示す第２図である。
図示するように重畳画像１００Ａ´では、選択された計測器画像１０１ａに関連付けて作業支援情報１３０が表示される。作業支援情報１３０は、識別情報表示欄１３１と、作業状況表示欄１３２と、寸法指示図表示欄１３３とを含む。画像作成部２２１は、端末装置１０から送信された識別情報を識別情報表示欄１３１に表示する。画像作成部２２１は、記憶部２１が記憶する作業進捗管理テーブルを参照して、計測器画像１０１ａに対応する計測器５０に関する作業の進捗状況を取得し、作業状況表示欄１３２に表示する。図４の例の場合、工程１の役割１に関する作業は終了しており、次に行うべき作業は、工程１の役割２に関する作業である。画像作成部２２１は、計測器画像１０１ａの寸法指示図を記憶部２１から読み出して、寸法指示図表示欄１３３に表示する。寸法指示図には、計測器画像１０１ａに対応する計測器５０の取り付け位置、姿勢を規定する寸法が含まれている。例えば、寸法指示図には、計測器５０の取り付け位置に関して、計測器５０を取り付ける位置の近くに存在する目印となる物からの距離や、計測器５０の姿勢に関して所定の基準線に対する角度などを示す情報が記載されている。また、画像作成部２２１は、計測器画像１０１ａに対応する計測器５０の仕様の情報を計測器情報２１３から読み出して、寸法指示図表示欄１３３の所定の領域１３４に表示してもよい。 FIG. 4 is a second diagram showing an example of a work support screen according to the first embodiment.
As shown in the figure, in the superimposed image 100A', the work support information 130 is displayed in association with the selected measuring instrument image 101a. The work support information 130 includes an identification information display field 131, a work status display field 132, and a dimension instruction drawing display field 133. The image creation unit 221 displays the identification information transmitted from the terminal device 10 in the identification information display field 131. The image creation unit 221 acquires the progress status of the work related to the measuring instrument 50 corresponding to the measuring instrument image 101a by referring to the work progress management table stored in the storage unit 21, and displays it in the work status display column 132. In the case of the example of FIG. 4, the work related to the role 1 of the step 1 has been completed, and the work to be performed next is the work related to the role 2 of the step 1. The image creation unit 221 reads the dimension instruction diagram of the measuring instrument image 101a from the storage unit 21 and displays it in the dimension instruction diagram display field 133. The dimension instruction drawing includes dimensions that define the mounting position and posture of the measuring instrument 50 corresponding to the measuring instrument image 101a. For example, in the dimensional instruction drawing, regarding the mounting position of the measuring instrument 50, the distance from a marker object existing near the mounting position of the measuring instrument 50, the angle of the posture of the measuring instrument 50 with respect to a predetermined reference line, and the like are shown. The information to be shown is described. Further, the image creation unit 221 may read out the specification information of the measuring instrument 50 corresponding to the measuring instrument image 101a from the measuring instrument information 213 and display it in the predetermined area 134 of the dimension instruction drawing display field 133.

作業員は、図３に例示する重畳画像１００Ａを参照することにより、計測器５０を取り付ける位置や姿勢を視覚的に把握することができる。作業員は、図４に例示する重畳画像１００Ａ´を参照することにより、計測器５０を取り付ける位置や姿勢の詳細を把握することができる。また、作業員は、自分が担当する計測器５０に関する作業の進捗状況を把握することができる。 By referring to the superimposed image 100A illustrated in FIG. 3, the worker can visually grasp the position and posture in which the measuring instrument 50 is attached. The worker can grasp the details of the position and posture in which the measuring instrument 50 is attached by referring to the superimposed image 100A'exemplified in FIG. In addition, the worker can grasp the progress of the work related to the measuring instrument 50 that he / she is in charge of.

図５は、第一実施形態に係る作業支援画面の一例を示す第３図である。
重畳画像１００Ｂは、ログイン後の作業員が、所定の操作を行うと表示部１２に表示される画像である。重畳画像１００Ｂでは、一定の距離をとった位置から機械３０を撮影した撮影画像に、計測器５０の取り付け位置に付箋を模した付箋画像１０２ａ〜１０２ｈが機械３０の画像に重畳して表示されている。付箋画像１０２ａ〜１０２ｈは、計測器５０の取り付け位置に表示される。付箋画像１０２ａ〜１０２ｈは、機械３０に取り付ける全ての計測器５０の数だけ表示されてもよいし、ログインした作業員が担当する数だけ表示されてもよい。画像作成部２２１は、設計モデル２１１上の計測器５０の取り付け位置に、その位置に取り付ける計測器５０の識別情報と関連付けて付箋画像をマッピングし、ＡＲ技術により、マッピング後の設計モデル２１１と撮影画像とを重ね合わせて重畳画像１００Ｂを作成する。作業員が、操作部１３を用いて付箋画像１０２ｇを選択すると、制御部１５は、選択された付箋画像１０２ｇに関連付けられた計測器５０の識別情報と付箋画像が選択されたことをサーバ装置２０へ送信する。サーバ装置２０では、画像作成部２２１が、その識別番号に対応する付箋画像を拡大して表示し、その付箋画像内に作業進捗管理テーブルに基づく作業の進捗状況を表示する。図５の例であれば、付箋画像１０２ｇに係る計測器５０は、工程１の作業１（役割１の作業）が７月１８日に完了し、工程１の作業２（役割２の作業）が７月２４日に完了している。また、画像作成部２２１は、例えば、工程１の作業１が完了していないものを青、工程１の作業１のみ完了しているものを赤、工程１の作業１と作業２が完了しているものを黄色といったように、計測器５０ごとに作業の進捗に応じた色を付して付箋画像１０２ａ〜１０２ｇを生成してもよい。 FIG. 5 is a third diagram showing an example of a work support screen according to the first embodiment.
The superimposed image 100B is an image displayed on the display unit 12 when a worker after login performs a predetermined operation. In the superimposed image 100B, a sticky note image 102a to 102h that imitates a sticky note is displayed superimposed on the image of the machine 30 at the mounting position of the measuring instrument 50 on the photographed image of the machine 30 taken from a position at a certain distance. There is. The sticky note images 102a to 102h are displayed at the mounting position of the measuring instrument 50. The sticky note images 102a to 102h may be displayed as many as the number of all measuring instruments 50 attached to the machine 30, or may be displayed as many as the number in charge of the logged-in worker. The image creation unit 221 maps the sticky note image to the mounting position of the measuring instrument 50 on the design model 211 in association with the identification information of the measuring instrument 50 mounted at that position, and photographs the design model 211 after mapping by AR technology. The superimposed image 100B is created by superimposing the images. When the worker selects the sticky note image 102g using the operation unit 13, the control unit 15 indicates that the identification information of the measuring instrument 50 and the sticky note image associated with the selected sticky note image 102g are selected by the server device 20. Send to. In the server device 20, the image creation unit 221 enlarges and displays the sticky note image corresponding to the identification number, and displays the progress status of the work based on the work progress management table in the sticky note image. In the example of FIG. 5, in the measuring instrument 50 related to the sticky note image 102g, the work 1 (work of role 1) of step 1 is completed on July 18, and the work 2 of step 1 (work of role 2) is completed. It was completed on July 24th. Further, the image creation unit 221 is, for example, blue for the one in which the work 1 of the process 1 is not completed, red for the one in which only the work 1 of the process 1 is completed, and the work 1 and the work 2 of the process 1 are completed. The sticky note image 102a to 102g may be generated by coloring each measuring instrument 50 according to the progress of the work, such as yellow.

作業員は、図５に例示する重畳画像１００Ｂを参照することにより、計測器５０を取り付ける位置と作業の進捗状況を視覚的に把握することができる。 By referring to the superimposed image 100B illustrated in FIG. 5, the worker can visually grasp the position where the measuring instrument 50 is attached and the progress of the work.

図６は、第一実施形態に係る作業進捗管理テーブルの一例を示す図である。
作業進捗管理テーブルは、例えば、「ＩＤ」、「メーカ」、「型番」、「校正係数」、「寸法指示図」、「工程１」、「工程２」、「動作確認」の各項目を有している。
「ＩＤ」項目には計測器５０の識別情報が格納されている。図示するように作業管理テーブルは、計測器５０ごとに計測器の仕様の情報、寸法指示図、作業進捗のデータを登録する。「メーカ」項目には計測器５０のメーカの名称、「型番」項目には計測器５０の型番、「校正係数」項目には計測器５０の校正係数が格納される。「メーカ」〜「校正係数」項目は計測器５０の仕様の情報である。「寸法指示図」項目には、図４の寸法指示図表示欄１３３に例示した寸法指示図面を含む電子データが格納される。「工程１」項目はさらに、役割１の作業（作業１）の進捗を記録する項目である「日時」、「担当者」、「写真」と、役割２の作業（作業２）の進捗を記録する項目である「日時」、「担当者」、「写真」を有している。「工程２」についても同様である。例えば、識別情報が“ＡＢＣ”の計測器５０について「工程１」の「作業１」が完了すると、担当の作業員（Ａさん）は、操作部１３を操作して撮影部１１による機械３０（機械３０における作業１を行った箇所）の撮影を行う。制御部１５は、ログイン時に入力されたＩＤ、工程、役割の各情報と、作業終了後に撮影した撮影画像（作業記録画像）およびその撮影時刻をサーバ装置２０へ送信する。サーバ装置２０では、進捗記録部２２２がこれらの情報を取得し、作業進捗管理テーブルに記録する。例えば、工程が工程１、役割が役割１であれば、進捗記録部２２２は、作業進捗管理テーブルの「工程１」、「作業１」の「日時」項目に撮影時刻を記録し、「担当者」項目にＩＤに紐づく担当者名を記録し、「写真」項目に取得した撮影画像を記録する。「日時」、「担当者」、「写真」の各項目にデータが記録されると、その作業は完了したことになる。また、「動作確認」項目には、取り付けが完了した計測器５０の動作確認を行った結果が格納される。「動作確認」項目への計測値の記録については第二実施形態で説明する。なお、図６に例示する作業進捗管理テーブルは一例である。例えば、仕様の情報には、他の項目が含まれていてもよいし、工程は１工程であっても３工程以上であってもよい。 FIG. 6 is a diagram showing an example of a work progress management table according to the first embodiment.
The work progress management table has, for example, "ID", "manufacturer", "model number", "calibration coefficient", "dimensional instruction drawing", "process 1", "process 2", and "operation check". doing.
The identification information of the measuring instrument 50 is stored in the "ID" item. As shown in the figure, the work management table registers information on the specifications of the measuring instrument, dimensional instruction drawings, and work progress data for each measuring instrument 50. The "maker" item stores the name of the manufacturer of the measuring instrument 50, the "model number" item stores the model number of the measuring instrument 50, and the "calibration coefficient" item stores the calibration coefficient of the measuring instrument 50. The items "Manufacturer" to "Calibration coefficient" are information on the specifications of the measuring instrument 50. In the "dimension instruction drawing" item, electronic data including the dimension instruction drawing illustrated in the dimension instruction drawing display field 133 of FIG. 4 is stored. The "process 1" item further records the progress of the work (work 2) of the role 2 with "date and time", "person in charge", and "photograph" which are items for recording the progress of the work (work 1) of the role 1. It has the items "date and time", "person in charge", and "photograph". The same applies to "step 2". For example, when the "work 1" of the "process 1" is completed for the measuring instrument 50 whose identification information is "ABC", the worker (Mr. A) in charge operates the operation unit 13 and the machine 30 (Mr. A) by the photographing unit 11 (Mr. A). The part where the work 1 of the machine 30 was performed) is photographed. The control unit 15 transmits each information of the ID, the process, and the role input at the time of login, the photographed image (work record image) photographed after the work is completed, and the photographed time to the server device 20. In the server device 20, the progress recording unit 222 acquires this information and records it in the work progress management table. For example, if the process is process 1 and the role is role 1, the progress recording unit 222 records the shooting time in the "date and time" items of "process 1" and "work 1" of the work progress management table, and "person in charge". Record the name of the person in charge associated with the ID in the "Photo" item, and record the acquired captured image in the "Photo" item. When the data is recorded in each item of "date and time", "person in charge", and "photograph", the work is completed. Further, in the "operation check" item, the result of checking the operation of the measuring instrument 50 for which the attachment is completed is stored. The recording of the measured value in the "operation check" item will be described in the second embodiment. The work progress management table illustrated in FIG. 6 is an example. For example, the specification information may include other items, and the steps may be one step or three or more steps.

サーバ装置２０のデータ加工部２２３は、作業進捗管理テーブルに基づいて、作業進捗グラフやレポートの自動作成を行う。
図７にデータ加工部２２３が作成した作業進捗グラフの一例を示す。
図７のグラフは、所定数の計測器５０を機械３０に取り付ける場合の作業進捗の推移を示している。工程１の作業１〜２、工程２の作業３〜４が完了すると、取り付け作業が完了する。図７のグラフでは、７月第１週は未着手が１００％である。これは、作業進捗管理テーブルに登録された全ての計測器５０のＩＤについて「工程１」、「工程２」項目に作業実績情報が記録されていない状態である。７月第２週になると、作業１が３０％完了しており、残り７０％は未着手である。これは、作業進捗管理テーブルに登録されたＩＤのうち３０％について「工程１」項目の「作業１」の「日時」、「担当者」、「写真」に作業実績情報が記録されている状態である。また、８月第１週の場合、全ＩＤのうち２５％が作業４まで完了しており、２５％が作業３まで完了しており、３０％が作業２まで完了しており、２０％が作業１まで完了している。これは、作業進捗管理テーブルに登録された全てのＩＤについて「工程１」項目の「作業１」の「日時」、「担当者」、「写真」に作業実績情報が記録されており、全ＩＤのうち８０％が「工程１」項目の「作業２」の「日時」、「担当者」、「写真」に作業実績情報が記録されており、５０％が「工程２」項目の「作業３」の「日時」、「担当者」、「写真」に作業実績情報が記録されており、２５％が「工程２」項目の「作業４」の「日時」、「担当者」、「写真」に作業実績情報が記録されている状態である。例えば、作業管理者が、作業進捗を把握するためにサーバ装置２０に対して所定の操作を行うと、データ加工部２２３は、作業進捗管理テーブルに基づいて、その時々の進捗状況を示すグラフを表示した画像を作成する。 The data processing unit 223 of the server device 20 automatically creates a work progress graph and a report based on the work progress management table.
FIG. 7 shows an example of a work progress graph created by the data processing unit 223.
The graph of FIG. 7 shows the transition of work progress when a predetermined number of measuring instruments 50 are attached to the machine 30. When the work 1 to 2 of the step 1 and the work 3 to 4 of the step 2 are completed, the installation work is completed. In the graph of FIG. 7, 100% have not started in the first week of July. This is a state in which work record information is not recorded in the "process 1" and "process 2" items for the IDs of all the measuring instruments 50 registered in the work progress management table. In the second week of July, work 1 is 30% complete and the remaining 70% is unstarted. This is a state in which work record information is recorded in the "date and time", "person in charge", and "photograph" of "work 1" in the "process 1" item for 30% of the IDs registered in the work progress management table. Is. In the case of the first week of August, 25% of all IDs have completed work 4, 25% have completed work 3, 30% have completed work 2, and 20% have completed work 2. Work 1 has been completed. For all IDs registered in the work progress management table, work record information is recorded in the "date and time", "person in charge", and "photograph" of "work 1" in the "process 1" item, and all IDs. Of these, 80% have work record information recorded in the "date and time", "person in charge", and "photograph" of "work 2" in the "process 1" item, and 50% have "work 3" in the "process 2" item. Work record information is recorded in "date and time", "person in charge", and "photograph" of "process 2", and 25% of them are "date and time", "person in charge", and "photograph" of "work 4" in the "process 2" item. The work record information is recorded in. For example, when the work manager performs a predetermined operation on the server device 20 in order to grasp the work progress, the data processing unit 223 displays a graph showing the progress status at each time based on the work progress management table. Create the displayed image.

図８にデータ加工部２２３が作成したレポート（成績書）の一例を示す。
計測器５０の取り付け作業が完了すると、データ加工部２２３は、計測器５０ごとに、その計測器５０の取り付け作業に対するレポートを作成する。図８に例示するレポート２００は、寸法指示図２０１と、作業記録画像２０２と、計測器諸元２０３と、作業記録２０４と、機械３０の外観および作業対象領域を示す図２０５とを含む。データ加工部２２３は、作業進捗管理テーブルの「寸法指示図」項目に格納された寸法指示図面を含む電子データに基づいて、寸法指示図２０１を作成する。データ加工部２２３は、作業進捗管理テーブルの「工程２」項目の「作業４」の「写真」項目に記録された画像に基づいて、作業記録画像２０２を作成する。データ加工部２２３は、作業進捗管理テーブルの「メーカ」、「型番」、「校正係数」の項目に格納されている情報に基づいて、計測器諸元２０３を作成する。データ加工部２２３は、作業進捗管理テーブルの「工程１」〜「工程２」項目に記録された「日時」や「担当者」の情報に基づいて、作業記録２０４を作成する。また、データ加工部２２３は、例えば、設計モデル２１１に基づいて機械３０の外観を表示した図２０５を作成し、計装位置情報２１２に基づいて、図２０５上に作業対象領域２０６を表示する。例えば、作業管理者が、サーバ装置２０に対して所定の操作を行うと、データ加工部２２３は、作業進捗管理テーブルから作業が完了した計測器５０のデータ（この例では、「工程２」項目の「作業４」に作業実績情報が記録されている計測器５０のデータ）を抽出し、抽出したデータに基づいて、その時々の進捗状況を示すグラフを表示した画像を作成する。 FIG. 8 shows an example of a report (report) created by the data processing unit 223.
When the installation work of the measuring instrument 50 is completed, the data processing unit 223 creates a report for the installation work of the measuring instrument 50 for each measuring instrument 50. The report 200 illustrated in FIG. 8 includes a dimensional instruction diagram 201, a work record image 202, measuring instrument specifications 203, a work record 204, and FIG. 205 showing the appearance and work target area of the machine 30. The data processing unit 223 creates the dimension instruction drawing 201 based on the electronic data including the dimension instruction drawing stored in the "dimension instruction drawing" item of the work progress management table. The data processing unit 223 creates a work record image 202 based on the image recorded in the "photograph" item of "work 4" of the "process 2" item of the work progress management table. The data processing unit 223 creates the measuring instrument specifications 203 based on the information stored in the items of "manufacturer", "model number", and "calibration coefficient" of the work progress management table. The data processing unit 223 creates the work record 204 based on the information of the "date and time" and the "person in charge" recorded in the "process 1" to "process 2" items of the work progress management table. Further, the data processing unit 223 creates, for example, FIG. 205 showing the appearance of the machine 30 based on the design model 211, and displays the work target area 206 on FIG. 205 based on the instrumentation position information 212. For example, when the work manager performs a predetermined operation on the server device 20, the data processing unit 223 displays the data of the measuring instrument 50 in which the work is completed from the work progress management table (in this example, the “process 2” item). The data of the measuring instrument 50 in which the work record information is recorded in "Work 4") is extracted, and an image displaying a graph showing the progress at each time is created based on the extracted data.

次に図９を用いて、作業支援システム１の動作について説明する。
図９は、第一実施形態に係る作業支援システムの動作の一例を示すフローチャートである。
まず、作業員の操作部１３への操作に基づいて、表示部１２は、ログイン画面１１０を表示する（ステップＳ１）。制御部１５は、ログイン画面１１０に入力されたログイン情報をサーバ装置２０へ送信する（ステップＳ２）。作業員は、作業位置へ移動して、操作部１３を操作して機械３０の作業対象領域を撮影する。撮影部１１は、機械３０の作業対象領域を撮影する（ステップＳ３）。また、位置取得部１４は、端末装置１０の位置情報を検出する。制御部１５は、撮影画像と端末装置１０の位置情報とをサーバ装置２０へ送信する（ステップＳ４）。次に、作業員は、重畳画像の表示を指示する操作を操作部１３に対して行う。制御部１５は、重畳画像の表示を指示する情報をサーバ装置２０へ送信する。サーバ装置２０では、重畳画像の表示指示に基づいて、画像作成部２２１が、撮影画像と、端末装置１０の位置情報と、設計モデル２１１と、計装位置情報２１２と、作業員のログイン情報と、に基づいて、ＡＲ技術により、撮影画像に計測器画像を重畳させた重畳画像を作成する（ステップＳ５）。処理部２２は、重畳画像を端末装置１０へ送信する（ステップＳ６）。端末装置１０では、制御部１５が重畳画像を取得し、表示部１２へ重畳画像を表示する（ステップＳ７）。作業員は、図３、図４に例示する重畳画像１００Ａ等を参照しながら、自分が担当する作業を行って、作業が完了すると作業対象領域を撮影する。撮影部１１は、作業後の機械３０における作業対象領域を撮影する（ステップＳ８）。制御部１５は、撮影画像をサーバ装置２０へ送信する（ステップＳ９）。サーバ装置２０では、進捗記録部２２２が、作業後の撮影画像（作業記録画像）、撮影日時、担当者を作業進捗管理テーブルの対応する項目に記録する（ステップＳ１０）。 Next, the operation of the work support system 1 will be described with reference to FIG.
FIG. 9 is a flowchart showing an example of the operation of the work support system according to the first embodiment.
First, the display unit 12 displays the login screen 110 based on the operation of the worker to the operation unit 13 (step S1). The control unit 15 transmits the login information input to the login screen 110 to the server device 20 (step S2). The worker moves to the work position and operates the operation unit 13 to photograph the work target area of the machine 30. The photographing unit 11 photographs the work target area of the machine 30 (step S3). Further, the position acquisition unit 14 detects the position information of the terminal device 10. The control unit 15 transmits the captured image and the position information of the terminal device 10 to the server device 20 (step S4). Next, the worker performs an operation for instructing the display of the superimposed image to the operation unit 13. The control unit 15 transmits information instructing the display of the superimposed image to the server device 20. In the server device 20, based on the display instruction of the superimposed image, the image creation unit 221 receives the captured image, the position information of the terminal device 10, the design model 211, the instrumentation position information 212, and the login information of the worker. Based on the above, a superposed image in which the measuring instrument image is superposed on the captured image is created by the AR technique (step S5). The processing unit 22 transmits the superimposed image to the terminal device 10 (step S6). In the terminal device 10, the control unit 15 acquires the superimposed image and displays the superimposed image on the display unit 12 (step S7). The worker performs the work he / she is in charge of while referring to the superimposed image 100A and the like illustrated in FIGS. 3 and 4, and when the work is completed, the worker takes a picture of the work target area. The photographing unit 11 photographs the work target area in the machine 30 after the work (step S8). The control unit 15 transmits the captured image to the server device 20 (step S9). In the server device 20, the progress recording unit 222 records the captured image (work record image) after the work, the shooting date and time, and the person in charge in the corresponding items of the work progress management table (step S10).

上記説明したように、本実施形態によれば、機械３０の撮影画像に、計測器５０を取り付けるべき位置に計測器画像１０１ａ等を重畳した重畳画像を作業員へ提供する。図３、図４に例示するように重畳画像には、計測器５０を取り付け位置、姿勢、取り付けるべき計測器５０の識別情報を表示する。従って、作業員は、取り付け位置や取り付ける計測器を誤ることなく正確に計測器５０を機械３０に取り付けることができる。また、作業支援システム１によれば、作業員は、自らが作業する対象を、端末装置１０を用いて撮影するだけで重畳画像を参照することができ、計測器５０の取り付け作業を効率化することができる。 As described above, according to the present embodiment, the worker is provided with a superposed image in which the measuring instrument image 101a or the like is superimposed on the photographed image of the machine 30 at the position where the measuring instrument 50 should be attached. As illustrated in FIGS. 3 and 4, the superimposed image displays the mounting position, posture, and identification information of the measuring instrument 50 to be mounted. Therefore, the worker can accurately mount the measuring instrument 50 on the machine 30 without making a mistake in the mounting position or the measuring instrument to be mounted. Further, according to the work support system 1, the worker can refer to the superimposed image only by taking a picture of the object to be worked on by using the terminal device 10, and the installation work of the measuring instrument 50 is made more efficient. be able to.

また、作業員が作業記録画像を撮影することにより、サーバ装置２０に作業の実績が記録されるので、作業進捗を管理することができる。例えば、計測器５０が数千以上ある場合、作業員が紙に作業実績を記入することにより作業の進捗を管理することは容易ではない。作業支援システム１によれば、計測器５０の数が多い場合でも、誤りなく作業実績を記録し、作業の進捗を管理することができる。また、例えば、作業員Ａが計測器５０ａについて作業１を行い、作業員Ｂが計測器５０ａについて作業２を行うような場合、作業員Ｂは、作業員Ａの作業１の完了を把握することができるので（図４の作業状況表示欄１３２）、作業員Ａによる作業１の完了後速やかに作業２を行うことができる。 Further, when the worker takes a work record image, the work result is recorded in the server device 20, so that the work progress can be managed. For example, when there are several thousand or more measuring instruments 50, it is not easy for a worker to manage the progress of work by writing a work record on paper. According to the work support system 1, even when the number of measuring instruments 50 is large, the work results can be recorded without error and the progress of the work can be managed. Further, for example, when the worker A performs the work 1 on the measuring instrument 50a and the worker B performs the work 2 on the measuring instrument 50a, the worker B grasps the completion of the work 1 of the worker A. (Work status display column 132 in FIG. 4), so that the work 2 can be performed immediately after the work 1 is completed by the worker A.

＜第二実施形態＞
次に作業支援システム１の第二実施形態における動作について図１０を用いて説明する。第二実施形態では、作業結果だけではなく、計測器５０の動作確認を行った結果を収集し、取り付けた計測器５０が正しく動作するかどうかを確認できるようにする。
図１０は、第二実施形態に係る作業支援システムの動作の一例を示すフローチャートである。
例えば、作業員が、計測器５０を操作して動作確認用の計測等を実行させる。計測器５０は、計測などの確認用の動作を行ってその結果（計測値など）をサーバ装置２０へ送信する。サーバ装置２０では、進捗記録部２２２が、計測器５０から受信した計測値などを作業進捗管理テーブルの「動作確認」項目に記録する（ステップＳ２１）。サーバ装置２０は、各計測器５０の動作結果を通知してもよい。例えば、データ加工部２２３は、図８に例示するレポートに計測器５０の計測値を表示してもよい。なお、計測器５０は、動作結果を端末装置１０へ送信してもよい。これにより、作業員や作業管理者は、計測器５０による機械３０の検査を行う前に、取り付けられた計測器５０が正常に動作するかどうかを確認することができる。また、計測器５０の動作確認の手間を省力化し、動作確認結果の情報を容易に管理することができる。 <Second embodiment>
Next, the operation of the work support system 1 in the second embodiment will be described with reference to FIG. In the second embodiment, not only the work result but also the result of checking the operation of the measuring instrument 50 is collected so that it can be confirmed whether or not the attached measuring instrument 50 operates correctly.
FIG. 10 is a flowchart showing an example of the operation of the work support system according to the second embodiment.
For example, a worker operates the measuring instrument 50 to perform measurement for operation check or the like. The measuring instrument 50 performs a confirmation operation such as measurement, and transmits the result (measured value or the like) to the server device 20. In the server device 20, the progress recording unit 222 records the measured values and the like received from the measuring instrument 50 in the “operation check” item of the work progress management table (step S21). The server device 20 may notify the operation result of each measuring instrument 50. For example, the data processing unit 223 may display the measured value of the measuring instrument 50 in the report illustrated in FIG. The measuring instrument 50 may transmit the operation result to the terminal device 10. As a result, the worker or the work manager can confirm whether or not the attached measuring instrument 50 operates normally before inspecting the machine 30 by the measuring instrument 50. Further, it is possible to save labor for checking the operation of the measuring instrument 50 and easily manage the information of the operation check result.

＜第三実施形態＞
次に作業支援システム１の第三実施形態における動作について図１１Ａ〜図１２を用いて説明する。作業員は、作業中に疑問点や不明点が生じることがある。第三実施形態の作業支援システム１では、支援端末装置４０が、作業員の疑問点に対して、作業を案内する案内情報を端末装置１０へ提供する。図１１Ａ，Ｂは、第三実施形態に係る問合せ処理の一例を説明する図である。図１１Ａの左図に示す画像１００Ｃは、撮影部１１が撮影した撮影画像である。撮影画像１００Ｃには、扉１４０が写っているが、例えば、図面寸法図には、扉１４０が表示されていない。この点について疑問を持った作業員は、所定の操作を行って、撮影画像１００Ｃを支援端末装置４０へ送信する。撮影画像１００Ｃを送信すると、作業員は、作業支援要員へ電話をかけて扉１４０について問い合わせる。支援端末装置４０では、画像送受信部４３が撮影画像１００Ｃを受信して表示部４１に表示する。作業支援要員は、表示された撮影画像１００Ｃに対して、キーボードやマウス等（操作部４２）を操作して、扉を開けるよう指示する文字や記号、図などを記入する。記入後の撮影画像１００Ｃを図１１Ａの右図に示す。この図に示すように、例えば、作業支援要員は、「開く」という文字と扉１４０を開く方向を矢印で追加する。画像送受信部４３は、扉１４０を開くように指示する情報が記入された撮影画像１００Ｃを端末装置１０へ送信する。端末装置１０は、加工後の撮影画像１００Ｃを表示部１２へ表示する。作業員は、この画像を見て、扉１４０を開くことができる。 <Third Embodiment>
Next, the operation of the work support system 1 in the third embodiment will be described with reference to FIGS. 11A to 12. Workers may have questions or uncertainties during their work. In the work support system 1 of the third embodiment, the support terminal device 40 provides the terminal device 10 with guidance information for guiding the work in response to a question of the worker. 11A and 11B are diagrams for explaining an example of inquiry processing according to the third embodiment. The image 100C shown on the left side of FIG. 11A is a photographed image taken by the photographing unit 11. The door 140 is shown in the captured image 100C, but the door 140 is not displayed in the dimensional drawing of the drawing, for example. A worker who has doubts about this point performs a predetermined operation and transmits the captured image 100C to the support terminal device 40. When the captured image 100C is transmitted, the worker calls the work support staff to inquire about the door 140. In the support terminal device 40, the image transmission / reception unit 43 receives the captured image 100C and displays it on the display unit 41. The work support personnel operate the keyboard, mouse, or the like (operation unit 42) on the displayed captured image 100C to enter characters, symbols, figures, etc. instructing the door to be opened. The photographed image 100C after the entry is shown in the right figure of FIG. 11A. As shown in this figure, for example, a work support personnel adds the word "open" and the direction in which the door 140 is opened with an arrow. The image transmission / reception unit 43 transmits the captured image 100C in which the information instructing the door 140 to be opened is entered to the terminal device 10. The terminal device 10 displays the processed captured image 100C on the display unit 12. The worker can open the door 140 by looking at this image.

図１１Ｂの左図に示す撮影画像１００Ｄには、計測器５０Ｄが写っているが、例えば、この位置へ計測器５０を取り付けるのは自分自身の作業である。この点について疑問を持った作業員は、所定の操作を行って、撮影画像１００Ｄを支援端末装置４０へ送信する。撮影画像１００Ｄを送信すると、作業員は、作業支援要員へ電話をかけて自分が取り付けるべき計測器５０が既に取り付けられていることについて問い合わせる。支援端末装置４０では、画像送受信部４３が撮影画像１００Ｄを受信して表示部４１に表示する。作業支援要員は、撮影画像１００Ｄに対して操作部４２を操作して、計測器５０Ｄの取り付け位置を所定の距離だけ移動するように指示情報を記入する。記入後の撮影画像１００Ｄを図１１Ｂの右図に示す。画像送受信部４３は、移動指示が記入された撮影画像１００Ｄを端末装置１０へ送信する。端末装置１０は、加工後の撮影画像１００Ｄを表示部１２へ表示する。作業員は、この画像を見て、計測器５０Ｄを移動し、移動後の空いたスペースに対して自分が担当する作業を行うことができる。 The photographed image 100D shown on the left side of FIG. 11B shows the measuring instrument 50D. For example, it is one's own work to attach the measuring instrument 50 to this position. A worker who has doubts about this point performs a predetermined operation and transmits the captured image 100D to the support terminal device 40. When the captured image 100D is transmitted, the worker calls the work support staff and inquires that the measuring instrument 50 to be installed is already installed. In the support terminal device 40, the image transmission / reception unit 43 receives the captured image 100D and displays it on the display unit 41. The work support personnel operates the operation unit 42 with respect to the captured image 100D, and writes instruction information so as to move the mounting position of the measuring instrument 50D by a predetermined distance. The photographed image 100D after the entry is shown in the right figure of FIG. 11B. The image transmission / reception unit 43 transmits the captured image 100D in which the movement instruction is written to the terminal device 10. The terminal device 10 displays the processed captured image 100D on the display unit 12. The worker can see this image, move the measuring instrument 50D, and perform the work he / she is in charge of in the vacant space after the movement.

図１２は、第三実施形態に係る作業支援システムの動作の一例を示すフローチャートで
まず、作業員の操作により、端末装置１０は、撮影画像を支援端末装置４０へ送信する（ステップＳ３０）。支援端末装置４０では、画像送受信部４３が撮影画像を受信して表示部４１に表示する（ステップＳ３１）。作業支援要員は、撮影画像に問い合わせに対する回答を記入する。画像加工部４４は、撮影画像に対し、案内情報（記入された回答内容）を追加する加工を行う（ステップＳ３２）。画像送受信部４３は、回答内容記入後の撮影画像を端末装置１０へ送信する。 FIG. 12 is a flowchart showing an example of the operation of the work support system according to the third embodiment. First, the terminal device 10 transmits the captured image to the support terminal device 40 by the operation of the worker (step S30). In the support terminal device 40, the image transmission / reception unit 43 receives the captured image and displays it on the display unit 41 (step S31). The work support staff fills in the answer to the inquiry on the photographed image. The image processing unit 44 performs processing for adding guidance information (filled-in answer contents) to the captured image (step S32). The image transmission / reception unit 43 transmits the captured image after the answer content is entered to the terminal device 10.

第三実施形態によれば、作業員の周囲に相談できる相手が存在しない場合に、端末装置１０が撮影画像を支援端末装置４０へ送信し、作業支援要員に不明点を相談することができる。また、支援端末装置４０を用いることにより、撮影画像に相談内容を記入することができる。 According to the third embodiment, when there is no other person to consult with around the worker, the terminal device 10 can transmit the captured image to the support terminal device 40 and consult the work support staff about any unclear points. Further, by using the support terminal device 40, the consultation content can be entered in the photographed image.

＜第四実施形態＞
なお、上記の説明では、重畳画像をサーバ装置２０側で作成することとしたが、端末装置１０が、サーバ装置２０から３次元モデル、作業者のログイン情報に紐づく計測器の計装位置情報を取得し、重畳画像を作成するように構成してもよい。この場合の構成例を図１３に示し、動作例を図１４に示す。
図１３は、第四実施形態に係る作業支援システムの一例を示す図である。図１を用いて説明した構成については説明を省略する。図１３に示すように、作業支援システム１Ａにおいて、端末装置１０は、端末装置１０は、撮影部１１と、表示部１２と、操作部１３と、位置取得部１４と、制御部１５Ａと、記憶部１６と、を備える。制御部１５Ａは、画像作成部１５１を備えている。
画像作成部１５１は、計測器５０を模した計測器画像を、機械３０の取り付け位置に重畳させた重畳画像を生成する。より具体的には、画像作成部１５１は、ログインした作業員が担当する作業および位置取得部１４が検出した現在の端末装置１０の位置情報に紐づけられた計測器画像１０１ａ等、計測器画像１０１ａ等の取り付け位置および姿勢の情報（計装位置情報）、設計モデル２１１（３次元モデルや補助的に用いる２次元図面）をサーバ装置２０から取得する。画像作成部１５１は、機械３０の３Ｄモデル上の取り付け位置に対応する箇所に、計測器画像１０１ａ等をマッピングする。画像作成部１５１は、公知のＡＲ技術を用いて、撮影画像と、計測器画像１０１ａ等がマッピングされた３Ｄモデルと、を重ね合わせて、実物の機械３０の撮影画像に計測器画像１０１ａ等を重畳させた重畳画像を作成する。また、画像作成部１５１は、画像作成部２２１と同様に、例えば、図２〜図５に例示する頂上画像を作成し、表示部１２へ出力する。
サーバ装置２０は、記憶部２１と、処理部２２Ａと、データ取得部２３と、を備える。
処理部２２Ａは、進捗記録部２２２と、データ加工部２２３と、を備える。
処理部２２Ａが、画像作成部２２１を備えないことを除いては図１で説明したものと同様である。 <Fourth Embodiment>
In the above description, the superimposed image is created on the server device 20 side, but the terminal device 10 is a three-dimensional model from the server device 20, and the instrumentation position information of the measuring instrument linked to the operator's login information. May be configured to create a superposed image. A configuration example in this case is shown in FIG. 13, and an operation example is shown in FIG.
FIG. 13 is a diagram showing an example of the work support system according to the fourth embodiment. The description of the configuration described with reference to FIG. 1 will be omitted. As shown in FIG. 13, in the work support system 1A, the terminal device 10 stores the photographing unit 11, the display unit 12, the operation unit 13, the position acquisition unit 14, the control unit 15A, and the terminal device 10. A unit 16 is provided. The control unit 15A includes an image creation unit 151.
The image creation unit 151 generates a superposed image in which a measuring instrument image imitating the measuring instrument 50 is superimposed on the mounting position of the machine 30. More specifically, the image creation unit 151 is a measuring instrument image such as a measuring instrument image 101a associated with the work in charge of the logged-in worker and the current position information of the terminal device 10 detected by the position acquisition unit 14. Information on the mounting position and posture of 101a and the like (instrumented position information) and design model 211 (three-dimensional model and auxiliary two-dimensional drawing) are acquired from the server device 20. The image creation unit 151 maps the measuring instrument image 101a or the like to a location corresponding to the mounting position on the 3D model of the machine 30. The image creation unit 151 superimposes the captured image and the 3D model to which the measuring instrument image 101a or the like is mapped by using a known AR technique, and superimposes the measuring instrument image 101a or the like on the captured image of the actual machine 30. Create a superimposed image. Further, the image creation unit 151 creates, for example, the top image illustrated in FIGS. 2 to 5 and outputs the top image to the display unit 12 in the same manner as the image creation unit 221.
The server device 20 includes a storage unit 21, a processing unit 22A, and a data acquisition unit 23.
The processing unit 22A includes a progress recording unit 222 and a data processing unit 223.
The processing unit 22A is the same as that described with reference to FIG. 1 except that the processing unit 22A does not include the image creating unit 221.

次に図１４を用いて端末装置１０が重畳画像を作成する場合の動作について説明する。
図１４は、第四実施形態に係る作業支援システムの動作の一例を示すフローチャートである。
まず、作業員の操作部１３への操作に基づいて、表示部１２は、ログイン画面１１０を表示する（ステップＳ１）。制御部１５は、ログイン画面１１０に入力されたログイン情報をサーバ装置２０へ送信する（ステップＳ２）。作業員は、作業位置へ移動して、操作部１３を操作して機械３０の作業対象領域を撮影する。撮影部１１は、機械３０の作業対象領域を撮影する（ステップＳ３）。また、位置取得部１４は、端末装置１０の位置情報を検出する。制御部１５は、端末装置１０の位置情報をサーバ装置２０へ送信する（ステップＳ４１）。これに対し、サーバ装置２０では処理部２２が、ログイン情報と、端末装置１０の位置情報と、に基づいて、記憶部２１から作業対象の機械３０の設計モデル２１１と、計装位置情報２１２と、計測器画像とを読み出して、これらの情報を端末装置１０へ送信する（ステップＳ５１）。端末装置１０では、制御部１５がこれらの情報を取得する。次に、作業員は、重畳画像の表示を指示する操作を操作部１３に対して行う。制御部１５Ａの画像作成部１５１は、重畳画像の表示指示に基づいて、撮影画像と、端末装置１０の位置情報と、設計モデル２１１と、計装位置情報２１２と、に基づいて、ＡＲ技術により、撮影画像に計測器画像を重畳させた重畳画像を作成する（ステップＳ６１）。制御部１５Ａは、表示部１２へ重畳画像を表示する（ステップＳ７）。撮影部１１は、作業後の機械３０における作業対象領域を撮影する（ステップＳ８）。制御部１５は、撮影画像をサーバ装置２０へ送信する（ステップＳ９）。サーバ装置２０では、進捗記録部２２２が、作業後の撮影画像（作業記録画像）、撮影日時、担当者を作業進捗管理テーブルの対応する項目に記録する（ステップＳ１０）。 Next, the operation when the terminal device 10 creates the superimposed image will be described with reference to FIG.
FIG. 14 is a flowchart showing an example of the operation of the work support system according to the fourth embodiment.
First, the display unit 12 displays the login screen 110 based on the operation of the worker to the operation unit 13 (step S1). The control unit 15 transmits the login information input to the login screen 110 to the server device 20 (step S2). The worker moves to the work position and operates the operation unit 13 to photograph the work target area of the machine 30. The photographing unit 11 photographs the work target area of the machine 30 (step S3). Further, the position acquisition unit 14 detects the position information of the terminal device 10. The control unit 15 transmits the position information of the terminal device 10 to the server device 20 (step S41). On the other hand, in the server device 20, the processing unit 22 receives the design model 211 of the machine 30 to be worked from the storage unit 21 and the instrumentation position information 212 based on the login information and the position information of the terminal device 10. , The measuring instrument image is read out, and these information are transmitted to the terminal device 10 (step S51). In the terminal device 10, the control unit 15 acquires such information. Next, the worker performs an operation for instructing the display of the superimposed image to the operation unit 13. The image creation unit 151 of the control unit 15A uses AR technology based on the captured image, the position information of the terminal device 10, the design model 211, and the instrumentation position information 212, based on the display instruction of the superimposed image. , A superposed image is created by superimposing the measuring instrument image on the captured image (step S61). The control unit 15A displays the superimposed image on the display unit 12 (step S7). The photographing unit 11 photographs the work target area in the machine 30 after the work (step S8). The control unit 15 transmits the captured image to the server device 20 (step S9). In the server device 20, the progress recording unit 222 records the captured image (work record image) after the work, the shooting date and time, and the person in charge in the corresponding items of the work progress management table (step S10).

図１５は、各実施形態に係る作業支援システムのハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の端末装置１０、サーバ装置２０、支援端末装置４０は、コンピュータ９００に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。 FIG. 15 is a diagram showing an example of the hardware configuration of the work support system according to each embodiment.
The computer 900 includes a CPU 901, a main storage device 902, an auxiliary storage device 903, an input / output interface 904, and a communication interface 905.
The terminal device 10, the server device 20, and the support terminal device 40 described above are mounted on the computer 900. Each of the above-mentioned functions is stored in the auxiliary storage device 903 in the form of a program. The CPU 901 reads the program from the auxiliary storage device 903, expands it to the main storage device 902, and executes the above processing according to the program. Further, the CPU 901 secures a storage area in the main storage device 902 according to the program. Further, the CPU 901 secures a storage area for storing the data being processed in the auxiliary storage device 903 according to the program.

なお、端末装置１０、サーバ装置２０、支援端末装置４０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。 A program for realizing all or a part of the functions of the terminal device 10, the server device 20, and the support terminal device 40 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is recorded in the computer system. The processing by each functional unit may be performed by reading and executing the processing. The term "computer system" as used herein includes hardware such as an OS and peripheral devices. Further, the "computer system" includes a homepage providing environment (or a display environment) if a WWW system is used. Further, the "computer-readable recording medium" refers to a portable medium such as a CD, DVD, or USB, or a storage device such as a hard disk built in a computer system. When this program is distributed to the computer 900 via a communication line, the distributed computer 900 may expand the program to the main storage device 902 and execute the above processing. Further, the above-mentioned program may be for realizing a part of the above-mentioned functions, and may further realize the above-mentioned functions in combination with a program already recorded in the computer system. ..

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As described above, some embodiments according to the present disclosure have been described, but all these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and variations thereof are included in the scope of the invention described in the claims and the equivalent scope thereof, as are included in the scope and gist of the invention.

＜付記＞
各実施形態に記載の端末装置１０、サーバ装置２０、作業支援システム１、支援情報提供方法は、例えば以下のように把握される。 <Additional notes>
The terminal device 10, the server device 20, the work support system 1, and the support information providing method described in each embodiment are grasped as follows, for example.

（１）第１の態様に係る端末装置１０は、撮影部１１と、自装置の位置情報を検出する位置取得部１４と、前記撮影部１１が撮影した画像と、前記位置取得部１４が検出した位置情報と、前記画像に含まれる検査対象の機械３０の設計モデル２１１と、前記機械３０に取り付ける計測器５０の位置および姿勢を示す計装位置情報２１２と、に基づいて作成された、前記計測器を示す計測器画像１０１を、前記画像に含まれる前記機械３０における前記計測器の取り付け位置に重畳して表示した重畳画像を表示する表示部１２と、を備える。 (1) In the terminal device 10 according to the first aspect, the photographing unit 11, the position acquisition unit 14 that detects the position information of the own device, the image captured by the photographing unit 11, and the position acquisition unit 14 detect the image. The above-mentioned position information created based on the above-mentioned position information, the design model 211 of the machine 30 to be inspected included in the image, and the instrumentation position information 212 indicating the position and orientation of the measuring instrument 50 attached to the machine 30. A display unit 12 for displaying a superposed image of a measuring instrument image 101 showing a measuring instrument superimposed on the mounting position of the measuring instrument in the machine 30 included in the image is provided.

（２）第２の態様に係る端末装置１０は、（１）の端末装置１０であって、制御部１５をさらに備え、前記撮影部１１は前記計測器５０を取り付けた後の前記機械３０を撮影した作業記録画像を撮影し、前記制御部１５は前記作業記録画像をサーバ装置２０へ送信する。 (2) The terminal device 10 according to the second aspect is the terminal device 10 of (1), further including a control unit 15, and the photographing unit 11 attaches the measuring instrument 50 to the machine 30. The captured work record image is captured, and the control unit 15 transmits the work record image to the server device 20.

（３）第３の態様に係る端末装置１０は、（１）〜（２）の端末装置１０であって、前記表示部１２は、さらに前記計測器５０の取り付け位置および姿勢に関する寸法を図示した寸法指示図（寸法指示図表示欄１３３）を前記重畳画像内の所定の位置に表示する。 (3) The terminal device 10 according to the third aspect is the terminal device 10 of (1) to (2), and the display unit 12 further illustrates the dimensions related to the mounting position and posture of the measuring instrument 50. The dimensional instruction drawing (dimension instruction drawing display column 133) is displayed at a predetermined position in the superimposed image.

（４）第４の態様に係る端末装置１０は、（１）〜（３）の端末装置１０であって、前記表示部１２は、前記計測器５０の取り付け作業の進捗状況を示す情報を前記重畳画像内の所定の位置に表示する。 (4) The terminal device 10 according to the fourth aspect is the terminal device 10 of (1) to (3), and the display unit 12 provides information indicating the progress of the attachment work of the measuring instrument 50. It is displayed at a predetermined position in the superimposed image.

（５）第５の態様に係る端末装置１０は、（１）〜（４）の端末装置１０であって、前記画像と、前記位置情報と、作業者のアカウント情報に紐づく前記計測器５０（ログイン情報に含まれるアカウント、工程、役割、作業指示情報に紐づく計測器）と、前記設計モデルと、前記計装位置情報と、に基づいて、前記重畳画像を作成する画像作成部、をさらに備える。 (5) The terminal device 10 according to the fifth aspect is the terminal device 10 of (1) to (4), and the measuring instrument 50 associated with the image, the position information, and the account information of the worker. An image creation unit that creates the superimposed image based on (a measuring instrument associated with an account, a process, a role, and work instruction information included in the login information), the design model, and the instrumentation position information. Further prepare.

（６）第６の態様に係るサーバ装置２０は、端末装置１０が撮影した機械３０の画像と、前記端末装置１０の位置情報と、作業者のアカウント情報を取得するデータ取得部２３と、前記機械３０の設計モデル２１１と、前記機械３０に取り付ける計測器の位置および姿勢を示す計装位置情報２１２と、を記憶する記憶部２１と、前記画像と、前記位置情報と、前記アカウント情報に紐づく前記計測器５０と、前記設計モデル２１１と、前記計装位置情報２１２と、に基づいて、前記画像の前記機械３０における前記計測器５０の取り付け位置に前記計測器５０を示す計測器画像を重畳して表示した重畳画像を作成する画像作成部２２１と、を備える。 (6) The server device 20 according to the sixth aspect includes an image of the machine 30 taken by the terminal device 10, a data acquisition unit 23 for acquiring the position information of the terminal device 10, and the account information of the worker, and the above. A storage unit 21 that stores the design model 211 of the machine 30, instrument position information 212 indicating the position and orientation of the measuring instrument attached to the machine 30, the image, the position information, and the account information. Based on the measuring instrument 50, the design model 211, and the instrumentation position information 212, a measuring instrument image showing the measuring instrument 50 at the mounting position of the measuring instrument 50 in the machine 30 of the image is displayed. It includes an image creation unit 221 that creates a superimposed image that is superimposed and displayed.

（７）第７の態様に係るサーバ装置２０は、前記端末装置１０の位置情報と、作業者のアカウント情報を取得するデータ取得部２３と、前記端末装置１０が撮影する機械の設計モデル２１１と、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報２１２と、を記憶する記憶部２１と、を備える。 (7) The server device 20 according to the seventh aspect includes a data acquisition unit 23 for acquiring the position information of the terminal device 10 and the account information of the worker, and a machine design model 211 photographed by the terminal device 10. A storage unit 21 for storing instrumentation position information 212 indicating the position and orientation of the measuring instrument attached to the machine, and a storage unit 21 for storing the instrument position information 212.

（８）第８の態様に係るサーバ装置２０は、（６）〜（７）のサーバ装置２０であって、作業の進捗状況を記録する進捗記録部２２２、をさらに備え、前記データ取得部２３が、前記端末装置１０から、前記計測器５０を取り付けた後の前記機械３０を撮影した作業記録画像を取得すると、前記進捗記録部２２２は、前記作業記録画像と、前記作業記録画像が撮影された時刻とを、前記計測器５０に対応付けて前記記憶部２１（作業進捗管理テーブル）に記録する。 (8) The server device 20 according to the eighth aspect is the server device 20 of (6) to (7), further including a progress recording unit 222 for recording the progress of work, and the data acquisition unit 23. However, when the work record image of the machine 30 after the measuring instrument 50 is attached is acquired from the terminal device 10, the progress recording unit 222 captures the work record image and the work record image. The time is recorded in the storage unit 21 (work progress management table) in association with the measuring instrument 50.

（９）第９の態様に係る作業支援システム１は、（１）〜（５）の端末装置１０と、（６）〜（７）のサーバ装置２０と、を備える。 (9) The work support system 1 according to the ninth aspect includes the terminal devices 10 of (1) to (5) and the server devices 20 of (6) to (7).

（１０）第１０の態様に係る作業支援システム１は、（９）の作業支援システム１であって、通信手段を備える計測器５０、をさらに備え、前記サーバ装置２０では前記データ取得部２３が、前記計測器５０から計測値を取得する。 (10) The work support system 1 according to the tenth aspect is the work support system 1 of (9), further including a measuring instrument 50 including communication means, and in the server device 20, the data acquisition unit 23 , The measured value is acquired from the measuring instrument 50.

（１１）第１１の態様に係る作業支援システム１は、（９）〜（１０）の作業支援システム１であって、前記撮影部１１が撮影した画像を取得し、前記画像に作業を案内する案内情報を追加する画像加工部４４、を備える支援端末装置４０、をさらに備える。 (11) The work support system 1 according to the eleventh aspect is the work support system 1 of (9) to (10), acquires an image taken by the photographing unit 11, and guides the work to the image. A support terminal device 40, which includes an image processing unit 44 for adding guidance information, is further provided.

（１２）第１２の態様に係る支援情報提供方法は、撮影部が作業対象の機械を撮影するステップと、前記撮影部の位置情報を検出するステップと、前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、前記重畳画像を表示するステップと、を有する。 (12) The support information providing method according to the twelfth aspect is a step in which the photographing unit photographs a machine to be worked, a step of detecting the position information of the photographing unit, an image captured by the photographing unit, and detection. The measurement of the image in the machine based on the position information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine. It has a step of creating a superposed image in which a measuring instrument image indicating the measuring instrument is superposed on a mounting position of the instrument and displayed, and a step of displaying the superposed image.

（１３）第１３の態様に係るプログラムは、コンピュータに、撮影部が作業対象の機械を撮影するステップと、前記撮影部の位置情報を検出するステップと、前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、前記重畳画像を表示するステップと、を実行させる。 (13) In the program according to the thirteenth aspect, the computer detects a step of photographing a machine to be worked by the photographing unit, a step of detecting the position information of the photographing unit, and an image captured by the photographing unit. The measurement of the image in the machine based on the position information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine. A step of creating a superposed image obtained by superimposing and displaying a measuring instrument image indicating the measuring instrument on a mounting position of the instrument and a step of displaying the superposed image are executed.

１・・・作業支援システム、１０・・・端末装置、１１・・・撮影部、１２・・・表示部、１３・・・操作部、１４・・・位置取得部、１５・・・制御部、１６・・・記憶部、２０・・・サーバ装置、２１・・・記憶部、２１１・・・設計モデル、２１２・・・計装位置情報、２１３・・・計測器情報、２２・・・処理部、２２１・・・画像作成部、２２２・・・進捗記録部、２２３・・・データ加工部、２３・・・データ取得部、３０・・・機械、４０・・・支援端末装置、４１・・・表示部、４２・・・操作部、４３・・・画像送受信部、４４・・・画像加工部、５０，５０ａ，５０ｂ・・・計測器、９００・・・コンピュータ、９０１・・・ＣＰＵ、９０２・・・主記憶装置、９０３・・・補助記憶装置、９０４・・・入出力インタフェース、９０５・・・通信インタフェース 1 ... Work support system, 10 ... Terminal device, 11 ... Shooting unit, 12 ... Display unit, 13 ... Operation unit, 14 ... Position acquisition unit, 15 ... Control unit , 16 ... Storage unit, 20 ... Server device, 21 ... Storage unit, 211 ... Design model, 212 ... Instrument position information, 213 ... Measuring instrument information, 22 ... Processing unit, 221 ... Image creation unit, 222 ... Progress recording unit, 223 ... Data processing unit, 23 ... Data acquisition unit, 30 ... Machine, 40 ... Support terminal device, 41 ... Display unit, 42 ... Operation unit, 43 ... Image transmission / reception unit, 44 ... Image processing unit, 50, 50a, 50b ... Measuring instrument, 900 ... Computer, 901 ... CPU, 902 ... main storage device, 903 ... auxiliary storage device, 904 ... input / output interface, 905 ... communication interface

Claims (13)

撮影部と、
自装置の位置情報を検出する位置取得部と、
前記撮影部が撮影した画像と、前記位置取得部が検出した位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて作成された、前記計測器を示す計測器画像を前記画像に含まれる前記機械における前記計測器の取り付け位置に重畳して表示した重畳画像、を表示する表示部と、
を備える端末装置。 With the shooting department
A position acquisition unit that detects the position information of the own device,
The image taken by the photographing unit, the position information detected by the position acquisition unit, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine. A display unit that displays a superposed image created based on the above and superimposing a measuring instrument image showing the measuring instrument on the mounting position of the measuring instrument in the machine included in the image.
A terminal device comprising. 制御部をさらに備え、
前記撮影部は前記計測器を取り付けた後の前記機械を撮影した作業記録画像を撮影し、
前記制御部は前記作業記録画像をサーバ装置へ送信する、
請求項１に記載の端末装置。 With more control
The photographing unit photographs a work record image of the machine after the measuring instrument is attached.
The control unit transmits the work record image to the server device.
The terminal device according to claim 1. 前記表示部は、さらに前記計測器の取り付け位置および姿勢に関する寸法を図示した寸法指示図を前記重畳画像内の所定の位置に表示する、
請求項１または請求項２に記載の端末装置。 The display unit further displays a dimensional instruction diagram showing dimensions related to the mounting position and posture of the measuring instrument at a predetermined position in the superimposed image.
The terminal device according to claim 1 or 2. 前記表示部は、前記計測器の取り付け作業の進捗状況を示す情報を前記重畳画像内の所定の位置に表示する、
請求項１から請求項３の何れか１項に記載の端末装置。 The display unit displays information indicating the progress of the mounting work of the measuring instrument at a predetermined position in the superimposed image.
The terminal device according to any one of claims 1 to 3. 前記画像と、前記位置情報と、作業者のアカウント情報に紐づく前記計測器と、前記設計モデルと、前記計装位置情報と、に基づいて、前記重畳画像を作成する画像作成部、
をさらに備える請求項１から請求項４の何れか１項に記載の端末装置。 An image creation unit that creates the superimposed image based on the image, the position information, the measuring instrument associated with the account information of the worker, the design model, and the instrumentation position information.
The terminal device according to any one of claims 1 to 4, further comprising. 端末装置が撮影した機械の画像と、前記端末装置の位置情報と、作業者のアカウント情報を取得するデータ取得部と、
前記機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、を記憶する記憶部と、
前記画像と、前記位置情報と、前記アカウント情報に紐づく前記計測器と、前記設計モデルと、前記計装位置情報と、に基づいて、前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像を作成する画像作成部と、
を備えるサーバ装置。 An image of the machine taken by the terminal device, a data acquisition unit that acquires the position information of the terminal device, and the account information of the worker,
A storage unit that stores the design model of the machine and instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine.
Based on the image, the position information, the measuring instrument associated with the account information, the design model, and the instrumentation position information, the mounting position of the measuring instrument in the machine of the image is described. An image creation unit that creates a superimposed image by superimposing and displaying a measuring instrument image showing a measuring instrument,
A server device that comprises. 端末装置の位置情報と、作業者のアカウント情報を取得するデータ取得部と、
前記端末装置が撮影する機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、を記憶する記憶部と、
を備えるサーバ装置。 A data acquisition unit that acquires the location information of the terminal device and the account information of the worker,
A storage unit that stores a machine design model photographed by the terminal device and instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine.
A server device that comprises. 作業の進捗状況を記録する進捗記録部、をさらに備え、
前記データ取得部が、前記端末装置から、前記計測器を取り付けた後の前記機械を撮影した作業記録画像を取得すると、
前記進捗記録部は、前記作業記録画像と、前記作業記録画像が撮影された時刻とを、前記計測器に対応付けて前記記憶部に記録する、
請求項６または請求項７に記載のサーバ装置。 It also has a progress recording unit that records the progress of work.
When the data acquisition unit acquires a work record image of the machine after the measuring instrument is attached from the terminal device,
The progress recording unit records the work record image and the time when the work record image was taken in the storage unit in association with the measuring instrument.
The server device according to claim 6 or 7. 請求項１から請求項４の何れか１項に記載の端末装置と、
請求項６または請求項６を引用する請求項８に記載のサーバ装置、
又は、
請求項５に記載の端末装置と、
請求項７または請求項７を引用する請求項８に記載のサーバ装置、
を備える作業支援システム。 The terminal device according to any one of claims 1 to 4,
The server device according to claim 6, which is claimed in claim 6 or claim 6.
Or
The terminal device according to claim 5 and
The server device according to claim 7, wherein claim 7 or claim 7 is cited.
Work support system equipped with. 通信手段を備える計測器、をさらに備え、
前記サーバ装置では前記データ取得部が、前記計測器から計測値を取得する、
請求項９に記載の作業支援システム。 Further equipped with measuring instruments equipped with communication means,
In the server device, the data acquisition unit acquires a measured value from the measuring instrument.
The work support system according to claim 9. 前記撮影部が撮影した画像を取得し、前記画像に作業を案内する案内情報を追加する画像加工部、を備える支援端末装置、
をさらに備える請求項９または請求項１０に記載の作業支援システム。 A support terminal device including an image processing unit that acquires an image taken by the photographing unit and adds guidance information for guiding work to the image.
The work support system according to claim 9 or 10. 撮影部が作業対象の機械を撮影するステップと、
前記撮影部の位置情報を検出するステップと、
前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、
前記重畳画像を表示するステップと、
を有する支援情報提供方法。 The steps that the shooting department shoots the machine to be worked on,
The step of detecting the position information of the photographing unit and
The image captured by the photographing unit, the detected position information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine. Based on the step of creating a superimposed image obtained by superimposing and displaying a measuring instrument image indicating the measuring instrument on the mounting position of the measuring instrument in the machine of the image.
The step of displaying the superimposed image and
How to provide support information. コンピュータに、
撮影部が作業対象の機械を撮影するステップと、
前記撮影部の位置情報を検出するステップと、
前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、
前記重畳画像を表示するステップと、
を実行させるプログラム。 On the computer
The steps that the shooting department shoots the machine to be worked on,
The step of detecting the position information of the photographing unit and
The image captured by the photographing unit, the detected position information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine. Based on the step of creating a superimposed image obtained by superimposing and displaying a measuring instrument image indicating the measuring instrument on the mounting position of the measuring instrument in the machine of the image.
The step of displaying the superimposed image and
A program that executes.
JP2020080969A 2020-05-01 2020-05-01 Terminal device, server device, work support system, support information providing method and program Withdrawn JP2021176025A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020080969A JP2021176025A (en) 2020-05-01 2020-05-01 Terminal device, server device, work support system, support information providing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020080969A JP2021176025A (en) 2020-05-01 2020-05-01 Terminal device, server device, work support system, support information providing method and program

Publications (1)

Publication Number Publication Date
JP2021176025A true JP2021176025A (en) 2021-11-04

Family

ID=78300389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020080969A Withdrawn JP2021176025A (en) 2020-05-01 2020-05-01 Terminal device, server device, work support system, support information providing method and program

Country Status (1)

Country Link
JP (1) JP2021176025A (en)

Similar Documents

Publication Publication Date Title
US9342743B2 (en) Method for supporting an operator in measuring a part of an object
US20160124501A1 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
CN105378810B (en) Remote sharing of measurement data
JP4137078B2 (en) Mixed reality information generating apparatus and method
JP7337654B2 (en) Maintenance activity support system and maintenance activity support method
US20150062123A1 (en) Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
CN112767555A (en) Marker-to-model location pairing and registration for augmented reality applications
US20130010068A1 (en) Augmented reality system
TW201818293A (en) Comprehensive perceptual positioning technology application system based on three-dimensional information model including a building information model and a facility and equipment database
JP6350938B2 (en) Torque tightening management system and torque tightening management method
JP2011248748A (en) Mobile terminal for checking, checking system, checking method for mobile terminal, and checking program for mobile terminal
JP7079125B2 (en) Aerial photography management system and program
US11395102B2 (en) Field cooperation system and management device
JP2016103218A (en) Inspection history management system, inspection history management method
US20230024701A1 (en) Thermal imaging asset inspection systems and methods
KR101335706B1 (en) Apparatus and method for inspecting facilities
JP2023082923A (en) Work support system, work object identifying device, and method
JP5152281B2 (en) Image processing apparatus, method, and program
JP2005310044A (en) Apparatus, method and program for data processing
JP2021176025A (en) Terminal device, server device, work support system, support information providing method and program
CN108307145A (en) Information display system and image forming apparatus
US20220198193A1 (en) Information display device, information display method and program
CN113920221A (en) Information processing apparatus, information processing method, and computer readable medium
JP7036559B2 (en) Pile position inspection device and pile position inspection method
JP2016021725A (en) Camera for damage diagnosis of civil engineering structure

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230130

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230602