JP2021176025A - Terminal device, server device, work support system, support information providing method and program - Google Patents
Terminal device, server device, work support system, support information providing method and program Download PDFInfo
- Publication number
- JP2021176025A JP2021176025A JP2020080969A JP2020080969A JP2021176025A JP 2021176025 A JP2021176025 A JP 2021176025A JP 2020080969 A JP2020080969 A JP 2020080969A JP 2020080969 A JP2020080969 A JP 2020080969A JP 2021176025 A JP2021176025 A JP 2021176025A
- Authority
- JP
- Japan
- Prior art keywords
- image
- measuring instrument
- work
- machine
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本開示は、端末装置、サーバ装置、作業支援システム、支援情報提供方法及びプログラムに関する。 The present disclosure relates to a terminal device, a server device, a work support system, a support information providing method, and a program.
機械の検査を行う場合、機械の様々な部位に計測器を取り付け、計測器が計測する値に基づいて要求を満たすかどうかの検査を行うことがある。計測器の取り付け位置を誤ると検査の意味が損なわれる。また、機械の部位に応じて取り付ける計測器が異なる場合、取り付ける計測器を誤ると、検査の意味が損なわれる。検査対象が大型機械の場合、取り付ける計測器の数は数千以上となることがあり、計測器の取り付け作業に多大な時間や労力を要する。
機械の検査に関して、特許文献1には、携帯端末の表示部に表示した機械の設計モデルに対して、不具合部位を描画することにより、不具合部位の情報を精度よく記録するシステムが記載されている。
When inspecting a machine, measuring instruments may be attached to various parts of the machine to inspect whether or not the requirements are met based on the values measured by the measuring instruments. If the mounting position of the measuring instrument is incorrect, the meaning of the inspection will be impaired. In addition, if the measuring instrument to be attached differs depending on the part of the machine, the meaning of the inspection will be impaired if the measuring instrument to be attached is incorrect. When the inspection target is a large machine, the number of measuring instruments to be installed may be several thousand or more, and it takes a lot of time and labor to install the measuring instruments.
Regarding machine inspection,
検査対象の機械に計測器を取り付ける作業を効率化することが求められている。 There is a need to streamline the work of attaching measuring instruments to the machine to be inspected.
本開示は、上記課題を解決することができる端末装置、サーバ装置、作業支援システム、支援情報提供方法及びプログラムを提供する。 The present disclosure provides a terminal device, a server device, a work support system, a support information providing method, and a program capable of solving the above problems.
本開示の端末装置は、撮影部と、自装置の位置情報を検出する位置取得部と、前記撮影部が撮影した画像と、前記位置取得部が検出した位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて作成された、前記計測器を示す計測器画像を、前記画像に含まれる前記機械における前記計測器の取り付け位置に重畳して表示した重畳画像を表示する表示部と、を備える。 The terminal device of the present disclosure includes an imaging unit, a position acquisition unit that detects the position information of its own device, an image captured by the imaging unit, position information detected by the position acquisition unit, and an inspection included in the image. The machine including the measuring instrument image showing the measuring instrument created based on the design model of the target machine, the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine, and the measuring instrument image showing the measuring instrument. A display unit for displaying a superposed image displayed superimposing on the mounting position of the measuring instrument in the above.
また、本開示のサーバ装置は、端末装置が撮影した画像と、前記端末装置の位置情報と、作業者のアカウント情報を取得するデータ取得部と、機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、を記憶する記憶部と、前記画像と、前記位置情報と、前記アカウント情報に紐づく前記計測器と、前記設計モデルと、前記計装位置情報と、に基づいて、前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像を作成する画像作成部と、を備える。 Further, the server device of the present disclosure includes an image taken by the terminal device, a data acquisition unit for acquiring the position information of the terminal device, the account information of the worker, a design model of the machine, and a measuring instrument attached to the machine. A storage unit that stores instrumentation position information indicating the position and orientation of the device, the image, the position information, the measuring instrument associated with the account information, the design model, and the instrumentation position information. Based on the above, an image creating unit for creating a superimposed image in which a measuring instrument image indicating the measuring instrument is superimposed and displayed on the mounting position of the measuring instrument in the machine of the image is provided.
また、本開示の作業支援システムは、上記の端末装置と上記のサーバ装置とを備える。 Further, the work support system of the present disclosure includes the above-mentioned terminal device and the above-mentioned server device.
また、本開示の支援情報提供方法は、撮影部が作業対象の機械を撮影するステップと、前記撮影部の位置情報を検出するステップと、前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、前記重畳画像を表示するステップと、を有する。 Further, the support information providing method of the present disclosure includes a step in which the photographing unit photographs a machine to be worked, a step of detecting the position information of the photographing unit, an image photographed by the photographing unit, and the detected position. Based on the information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine, the mounting position of the measuring instrument in the machine in the image. It has a step of creating a superposed image obtained by superimposing and displaying a measuring instrument image indicating the measuring instrument, and a step of displaying the superposed image.
また、本開示のプログラムは、コンピュータに、撮影部が作業対象の機械を撮影するステップと、前記撮影部の位置情報を検出するステップと、前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、前記重畳画像を表示するステップと、を実行させる。 Further, in the program of the present disclosure, a step of photographing a machine to be worked by the photographing unit, a step of detecting the position information of the photographing unit, an image photographed by the photographing unit, and the detected position are described in the computer. Based on the information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine, the mounting position of the measuring instrument in the machine in the image. To execute a step of creating a superposed image obtained by superimposing and displaying a measuring instrument image indicating the measuring instrument, and a step of displaying the superposed image.
上述の端末装置、サーバ装置、作業支援システム、支援情報提供方法及びプログラムによれば、検査対象の機械に計測器を取り付ける作業を効率化することができる。 According to the terminal device, the server device, the work support system, the support information providing method and the program described above, the work of attaching the measuring instrument to the machine to be inspected can be streamlined.
以下、各実施形態に係る作業支援システムについて、図1〜図13を参照しながら詳しく説明する。 Hereinafter, the work support system according to each embodiment will be described in detail with reference to FIGS. 1 to 13.
<第一実施形態>
(構成)
図1は、実施形態に係る作業支援システムの一例を示す図である。
作業支援システム1は、検査対象の機械30に1又は複数の計測器50(例えば、計測器50a,50b等)を取り付ける作業を支援するシステムである。計測器50の取り付け位置や姿勢(向き)は定められていて、作業者は、定められたとおりに計測器50を取り付ける。取り付け作業は、罫書、貼り付けなど複数の工程を含む。また、それぞれの工程では、複数の作業員が役割に応じた作業を行う。例えば、作業員Aは、その工程の作業(罫書、貼り付け等)を行い、別の作業員Bは作業員Aが行った作業に対する点検を行う。作業支援システム1は、端末装置10と、サーバ装置20と、支援端末装置40と、計測器50と、を含む。端末装置10と、サーバ装置20と、支援端末装置40と、計測器50はネットワークを介して通信可能に接続されている。
<First Embodiment>
(composition)
FIG. 1 is a diagram showing an example of a work support system according to an embodiment.
The
端末装置10は、計測器50を機械30に取り付ける作業員が使用する端末装置である。端末装置10は、例えば、グラス型のウェアラブル端末、スマートフォン、タブレット等の携帯端末、あるいはPC(personal computer)であってもよい。一例として、端末装置10がグラス型のウェアラブル端末であるとして以下の説明を行う。端末装置10は、撮影部11と、表示部12と、操作部13と、位置取得部14と、制御部15と、記憶部16と、を備える。撮影部11は、カメラである。撮影部11は、検査対象の機械30を撮影し、撮影した画像(撮影画像と呼ぶ。)を記憶部16に記憶させる。表示部12は、液晶ディスプレイ、有機ELディスプレイ等を用いた表示装置である。表示部12は、制御部15が出力した映像信号に応じて画像を表示する。操作部13は、ボタン、タッチパネル等を含み、作業員の操作に対応する操作信号を制御部15へ出力する。位置取得部14は、例えば、GPS受信機、加速度センサ等を含み、端末装置10の位置情報を測位する。制御部15は、以下に説明する各種処理を実行する。例えば、制御部15は、機械30の画像上に計測器50の取り付け位置が表示された重畳画像を表示部12に出力する。記憶部16は、撮影部11が撮影した撮影画像などを記憶する。
作業支援システム1は、複数の端末装置10を備えていてもよい。
The
The
サーバ装置20は、計測器50の取り付け位置、姿勢、取り付けるべき計測器50の識別情報などを指示する指示情報を端末装置10へ送信する。指示情報には、上記の重畳画像が含まれる。また、サーバ装置20は、計測器50の取り付け作業の作業実績情報(例えば、作業が終了した時に撮影する作業記録画像やその撮影時刻)を端末装置10から受信し、作業の進捗を管理する。サーバ装置20は、記憶部21と、処理部22と、データ取得部23と、を備える。記憶部21は、設計モデル211、計装位置情報212、計測器情報213等の情報を記憶している。設計モデル211は、機械30の形状を示す3次元モデルである。また、設計モデル211には、3次元モデルに加え、設計図面等の2次元モデル(2次元図面)が含まれていてもよい。2次元図面は、寸法や位置に関して3次元モデルよりも詳細で高精度な情報を有している。2次元図面は、例えば、後述する重畳画像において計測器画像を精度良く取り付け位置に重畳して表示させるために、3次元モデルを補正する目的で用いられてもよい。計装位置情報212は、計測器50ごとに機械30への取り付け位置、姿勢を定めた情報である。計測器情報213は、計測器50ごとの仕様を示す情報である。記憶部21は、この他にも、作業員のアカウント情報、工程および役割、工程および役割ごとに行うべき作業を定めた作業指示情報(例えば、1日当たりに行うべき作業を定めたもの)、計測器画像、後述する作業進捗管理テーブルや計測器50の取り付け位置や姿勢の詳細を図示した寸法指示図などの情報を記憶する。処理部22は、画像作成部221と、進捗記録部222と、データ加工部223と、を備える。画像作成部221は、計測器50を模した計測器画像を、機械30の取り付け位置に重畳させた重畳画像を生成する。進捗記録部222は、端末装置10から受信した作業実績情報を、作業進捗管理テーブルに記録する。データ加工部223は、作業進捗管理テーブルに記録された作業実績情報を読み出して加工し、作業の進捗状況を示すグラフや作業単位ごとのレポートを表示した画像を作成する。なお、作業単位とは、一人の作業員が行うべき作業の単位である。例えば、上記の作業指示情報は、作業単位ごとに用意されている。データ取得部23は、端末装置10から撮影画像や作業実績情報を取得する。また、データ取得部23は、計測器50から計測器50の動作信号を取得する。
The
支援端末装置40は、端末装置10から撮影画像を受信し、撮影画像に問合せに対する回答を記入して端末装置10へ送信する。支援端末装置40は、表示部41と、操作部42と、画像送受信部43と、画像加工部44と、を備える。表示部41は、液晶ディスプレイ等を用いた表示装置である。操作部42は、キーボードやマウス等を含み、作業員を支援する作業支援要員の操作に対応する操作信号を画像加工部44へ出力する。画像送受信部43は、端末装置10から撮影画像を受信し、加工後の撮影画像を端末装置10へ送信する。画像加工部44は、操作部42から取得した操作信号に基づき、撮影画像を加工する。端末装置10と支援端末装置40は、例えば、テレビ電話のように画像の送受信を行いながら通話が可能なように接続されている。作業員は、端末装置10を操作して撮影画像を支援端末装置40へ送信するとともに、電話を用いて問い合わせを行う。作業支援要員は、問い合わせに対して電話で回答するとともに、支援端末装置40を操作して撮影画像に回答内容を記入し、回答内容を記入後の撮影画像を端末装置10へ送信する。画像加工部44は、端末装置10が送信した撮影画像に対し、作業支援要員による回答内容を記入する加工を行う。
The
計測器50は、例えば、ひずみゲージ、温度を計測する熱電対、加速度センサなどである。計測器50は、Wifi(登録商標)、Bluetooth(登録商標)、Zigbee(登録商標)、5Gなどの通信規格に基づく無線の通信手段、又は各種の有線による通信手段を備えており、これらの通信手段によって他装置との通信を行う。
機械30は、例えば、航空機、船舶、電車、車両、プラント設備等である。
The measuring
The
図2は、第一実施形態に係るログイン画面の一例を示す図である。
重畳画像100は、端末装置10を装着した作業員が、機械30へ向いているときに所定の操作を行うと表示部12に表示される画像である。重畳画像100には、撮影部11が撮影した機械30の撮影画像とログイン画面110が表示されている。作業員は、操作部13を操作して、自身のアカウント、パスワード、工程、役割、作業指示情報を入力する。作業員は、例えば、工程には“罫書”又は“貼り付け”を入力し、役割には“作業実行”又は“点検”を入力する。作業指示情報には、自分が担当する作業に対応する作業指示情報の識別情報を入力する。アカウント、パスワード、工程、役割、作業指示情報をまとめてログイン情報と呼ぶ。
重畳画像100の機械30は、実物の機械30を撮影した撮影画像であり、ログイン画面110は機械30の画像に重畳して表示されている。重畳画像100は、サーバ装置20の画像作成部221が、撮影部11が撮影した画像を取得してログイン画面110を重畳させて作成した画像である。
FIG. 2 is a diagram showing an example of a login screen according to the first embodiment.
The
The
図3は、第一実施形態に係る作業支援画面の一例を示す第1図である。
重畳画像100Aは、ログイン後の作業員が、自分が担当する作業の作業位置にて撮影部11を使って機械30を撮影した画像である。重畳画像100Aには、計測器50を模した計測器画像101a〜101fが、それぞれの取り付け位置に表示されている。また、図示するように、重畳画像100Aでは、計測器画像101a〜101fによって計測器50の取り付け姿勢が表示されている。重畳画像100Aの背景に写る機械30は、実物の機械30の撮影画像であり、計測器画像101a〜101fは機械30に重畳して表示されている。重畳画像100Aは、画像作成部221が、撮影部11が撮影した撮影画像を取得して計測器画像101a〜101fを重畳させて作成したものである。計測器画像101a〜101fを重畳して表示する位置や姿勢については、計装位置情報212で定義されている。画像作成部221は、ログインした作業員が担当する作業および位置取得部14が検出した現在の端末装置10の位置情報に紐づけられた計測器画像101a〜101fの取り付け位置、姿勢の情報を計装位置情報212から読み出す。画像作成部221は、記憶部21から設計モデル211を読み出して、機械30の3Dモデル上の取り付け位置に対応する箇所に、計測器画像101a〜101fをマッピングする。画像作成部221は、公知のAR(Augmented Reality)技術を用いて、撮影画像と、計測器画像101a〜101fがマッピングされた3Dモデルと、を重ね合わせて、実物の機械30の撮影画像に計測器画像101a〜101fを重畳させた重畳画像を作成する。画像作成部221は、位置取得部14が検出した端末装置10の位置情報から機械30を見た場合に作業対象の計測器50が取り付けられるべき位置に計測器画像101a等が表示されるように計測器画像101aを重ね合わせる。
FIG. 3 is a diagram showing an example of a work support screen according to the first embodiment.
The
作業員が、操作部13を用いて、ID入力欄120に計測器50の識別情報を入力すると、制御部15は、入力された識別情報とID入力欄120に識別情報が入力されたことをサーバ装置20へ送信する。サーバ装置20では、画像作成部221が、その識別情報に対応する計測器50の計測器画像101fを他の計測器画像101a等とは異なる色で表示した重畳画像を作成し、端末装置10へ送信する。制御部15は、この重畳画像を表示部12へ表示する。
When the worker inputs the identification information of the measuring
また、例えば、作業員が、操作部13を用いて、計測器画像101aを選択すると、制御部15は、選択された計測器画像101aに対応する計測器50の識別情報と、計測器画像101aが選択されたことをサーバ装置20へ送信する。サーバ装置20では、画像作成部221が、元の重畳画像110Aに、選択された計測器50の取り付け作業を容易にする作業支援情報を更に重畳させた重畳画像を作成し、端末装置10へ送信する。端末装置10では、制御部15が、重畳画像を取得して表示部12に表示する。作業支援情報を表示した重畳画像を図4に示す。
Further, for example, when the worker selects the measuring
図4は、第一実施形態に係る作業支援画面の一例を示す第2図である。
図示するように重畳画像100A´では、選択された計測器画像101aに関連付けて作業支援情報130が表示される。作業支援情報130は、識別情報表示欄131と、作業状況表示欄132と、寸法指示図表示欄133とを含む。画像作成部221は、端末装置10から送信された識別情報を識別情報表示欄131に表示する。画像作成部221は、記憶部21が記憶する作業進捗管理テーブルを参照して、計測器画像101aに対応する計測器50に関する作業の進捗状況を取得し、作業状況表示欄132に表示する。図4の例の場合、工程1の役割1に関する作業は終了しており、次に行うべき作業は、工程1の役割2に関する作業である。画像作成部221は、計測器画像101aの寸法指示図を記憶部21から読み出して、寸法指示図表示欄133に表示する。寸法指示図には、計測器画像101aに対応する計測器50の取り付け位置、姿勢を規定する寸法が含まれている。例えば、寸法指示図には、計測器50の取り付け位置に関して、計測器50を取り付ける位置の近くに存在する目印となる物からの距離や、計測器50の姿勢に関して所定の基準線に対する角度などを示す情報が記載されている。また、画像作成部221は、計測器画像101aに対応する計測器50の仕様の情報を計測器情報213から読み出して、寸法指示図表示欄133の所定の領域134に表示してもよい。
FIG. 4 is a second diagram showing an example of a work support screen according to the first embodiment.
As shown in the figure, in the
作業員は、図3に例示する重畳画像100Aを参照することにより、計測器50を取り付ける位置や姿勢を視覚的に把握することができる。作業員は、図4に例示する重畳画像100A´を参照することにより、計測器50を取り付ける位置や姿勢の詳細を把握することができる。また、作業員は、自分が担当する計測器50に関する作業の進捗状況を把握することができる。
By referring to the
図5は、第一実施形態に係る作業支援画面の一例を示す第3図である。
重畳画像100Bは、ログイン後の作業員が、所定の操作を行うと表示部12に表示される画像である。重畳画像100Bでは、一定の距離をとった位置から機械30を撮影した撮影画像に、計測器50の取り付け位置に付箋を模した付箋画像102a〜102hが機械30の画像に重畳して表示されている。付箋画像102a〜102hは、計測器50の取り付け位置に表示される。付箋画像102a〜102hは、機械30に取り付ける全ての計測器50の数だけ表示されてもよいし、ログインした作業員が担当する数だけ表示されてもよい。画像作成部221は、設計モデル211上の計測器50の取り付け位置に、その位置に取り付ける計測器50の識別情報と関連付けて付箋画像をマッピングし、AR技術により、マッピング後の設計モデル211と撮影画像とを重ね合わせて重畳画像100Bを作成する。作業員が、操作部13を用いて付箋画像102gを選択すると、制御部15は、選択された付箋画像102gに関連付けられた計測器50の識別情報と付箋画像が選択されたことをサーバ装置20へ送信する。サーバ装置20では、画像作成部221が、その識別番号に対応する付箋画像を拡大して表示し、その付箋画像内に作業進捗管理テーブルに基づく作業の進捗状況を表示する。図5の例であれば、付箋画像102gに係る計測器50は、工程1の作業1(役割1の作業)が7月18日に完了し、工程1の作業2(役割2の作業)が7月24日に完了している。また、画像作成部221は、例えば、工程1の作業1が完了していないものを青、工程1の作業1のみ完了しているものを赤、工程1の作業1と作業2が完了しているものを黄色といったように、計測器50ごとに作業の進捗に応じた色を付して付箋画像102a〜102gを生成してもよい。
FIG. 5 is a third diagram showing an example of a work support screen according to the first embodiment.
The
作業員は、図5に例示する重畳画像100Bを参照することにより、計測器50を取り付ける位置と作業の進捗状況を視覚的に把握することができる。
By referring to the
図6は、第一実施形態に係る作業進捗管理テーブルの一例を示す図である。
作業進捗管理テーブルは、例えば、「ID」、「メーカ」、「型番」、「校正係数」、「寸法指示図」、「工程1」、「工程2」、「動作確認」の各項目を有している。
「ID」項目には計測器50の識別情報が格納されている。図示するように作業管理テーブルは、計測器50ごとに計測器の仕様の情報、寸法指示図、作業進捗のデータを登録する。「メーカ」項目には計測器50のメーカの名称、「型番」項目には計測器50の型番、「校正係数」項目には計測器50の校正係数が格納される。「メーカ」〜「校正係数」項目は計測器50の仕様の情報である。「寸法指示図」項目には、図4の寸法指示図表示欄133に例示した寸法指示図面を含む電子データが格納される。「工程1」項目はさらに、役割1の作業(作業1)の進捗を記録する項目である「日時」、「担当者」、「写真」と、役割2の作業(作業2)の進捗を記録する項目である「日時」、「担当者」、「写真」を有している。「工程2」についても同様である。例えば、識別情報が“ABC”の計測器50について「工程1」の「作業1」が完了すると、担当の作業員(Aさん)は、操作部13を操作して撮影部11による機械30(機械30における作業1を行った箇所)の撮影を行う。制御部15は、ログイン時に入力されたID、工程、役割の各情報と、作業終了後に撮影した撮影画像(作業記録画像)およびその撮影時刻をサーバ装置20へ送信する。サーバ装置20では、進捗記録部222がこれらの情報を取得し、作業進捗管理テーブルに記録する。例えば、工程が工程1、役割が役割1であれば、進捗記録部222は、作業進捗管理テーブルの「工程1」、「作業1」の「日時」項目に撮影時刻を記録し、「担当者」項目にIDに紐づく担当者名を記録し、「写真」項目に取得した撮影画像を記録する。「日時」、「担当者」、「写真」の各項目にデータが記録されると、その作業は完了したことになる。また、「動作確認」項目には、取り付けが完了した計測器50の動作確認を行った結果が格納される。「動作確認」項目への計測値の記録については第二実施形態で説明する。なお、図6に例示する作業進捗管理テーブルは一例である。例えば、仕様の情報には、他の項目が含まれていてもよいし、工程は1工程であっても3工程以上であってもよい。
FIG. 6 is a diagram showing an example of a work progress management table according to the first embodiment.
The work progress management table has, for example, "ID", "manufacturer", "model number", "calibration coefficient", "dimensional instruction drawing", "
The identification information of the measuring
サーバ装置20のデータ加工部223は、作業進捗管理テーブルに基づいて、作業進捗グラフやレポートの自動作成を行う。
図7にデータ加工部223が作成した作業進捗グラフの一例を示す。
図7のグラフは、所定数の計測器50を機械30に取り付ける場合の作業進捗の推移を示している。工程1の作業1〜2、工程2の作業3〜4が完了すると、取り付け作業が完了する。図7のグラフでは、7月第1週は未着手が100%である。これは、作業進捗管理テーブルに登録された全ての計測器50のIDについて「工程1」、「工程2」項目に作業実績情報が記録されていない状態である。7月第2週になると、作業1が30%完了しており、残り70%は未着手である。これは、作業進捗管理テーブルに登録されたIDのうち30%について「工程1」項目の「作業1」の「日時」、「担当者」、「写真」に作業実績情報が記録されている状態である。また、8月第1週の場合、全IDのうち25%が作業4まで完了しており、25%が作業3まで完了しており、30%が作業2まで完了しており、20%が作業1まで完了している。これは、作業進捗管理テーブルに登録された全てのIDについて「工程1」項目の「作業1」の「日時」、「担当者」、「写真」に作業実績情報が記録されており、全IDのうち80%が「工程1」項目の「作業2」の「日時」、「担当者」、「写真」に作業実績情報が記録されており、50%が「工程2」項目の「作業3」の「日時」、「担当者」、「写真」に作業実績情報が記録されており、25%が「工程2」項目の「作業4」の「日時」、「担当者」、「写真」に作業実績情報が記録されている状態である。例えば、作業管理者が、作業進捗を把握するためにサーバ装置20に対して所定の操作を行うと、データ加工部223は、作業進捗管理テーブルに基づいて、その時々の進捗状況を示すグラフを表示した画像を作成する。
The
FIG. 7 shows an example of a work progress graph created by the
The graph of FIG. 7 shows the transition of work progress when a predetermined number of measuring
図8にデータ加工部223が作成したレポート(成績書)の一例を示す。
計測器50の取り付け作業が完了すると、データ加工部223は、計測器50ごとに、その計測器50の取り付け作業に対するレポートを作成する。図8に例示するレポート200は、寸法指示図201と、作業記録画像202と、計測器諸元203と、作業記録204と、機械30の外観および作業対象領域を示す図205とを含む。データ加工部223は、作業進捗管理テーブルの「寸法指示図」項目に格納された寸法指示図面を含む電子データに基づいて、寸法指示図201を作成する。データ加工部223は、作業進捗管理テーブルの「工程2」項目の「作業4」の「写真」項目に記録された画像に基づいて、作業記録画像202を作成する。データ加工部223は、作業進捗管理テーブルの「メーカ」、「型番」、「校正係数」の項目に格納されている情報に基づいて、計測器諸元203を作成する。データ加工部223は、作業進捗管理テーブルの「工程1」〜「工程2」項目に記録された「日時」や「担当者」の情報に基づいて、作業記録204を作成する。また、データ加工部223は、例えば、設計モデル211に基づいて機械30の外観を表示した図205を作成し、計装位置情報212に基づいて、図205上に作業対象領域206を表示する。例えば、作業管理者が、サーバ装置20に対して所定の操作を行うと、データ加工部223は、作業進捗管理テーブルから作業が完了した計測器50のデータ(この例では、「工程2」項目の「作業4」に作業実績情報が記録されている計測器50のデータ)を抽出し、抽出したデータに基づいて、その時々の進捗状況を示すグラフを表示した画像を作成する。
FIG. 8 shows an example of a report (report) created by the
When the installation work of the measuring
次に図9を用いて、作業支援システム1の動作について説明する。
図9は、第一実施形態に係る作業支援システムの動作の一例を示すフローチャートである。
まず、作業員の操作部13への操作に基づいて、表示部12は、ログイン画面110を表示する(ステップS1)。制御部15は、ログイン画面110に入力されたログイン情報をサーバ装置20へ送信する(ステップS2)。作業員は、作業位置へ移動して、操作部13を操作して機械30の作業対象領域を撮影する。撮影部11は、機械30の作業対象領域を撮影する(ステップS3)。また、位置取得部14は、端末装置10の位置情報を検出する。制御部15は、撮影画像と端末装置10の位置情報とをサーバ装置20へ送信する(ステップS4)。次に、作業員は、重畳画像の表示を指示する操作を操作部13に対して行う。制御部15は、重畳画像の表示を指示する情報をサーバ装置20へ送信する。サーバ装置20では、重畳画像の表示指示に基づいて、画像作成部221が、撮影画像と、端末装置10の位置情報と、設計モデル211と、計装位置情報212と、作業員のログイン情報と、に基づいて、AR技術により、撮影画像に計測器画像を重畳させた重畳画像を作成する(ステップS5)。処理部22は、重畳画像を端末装置10へ送信する(ステップS6)。端末装置10では、制御部15が重畳画像を取得し、表示部12へ重畳画像を表示する(ステップS7)。作業員は、図3、図4に例示する重畳画像100A等を参照しながら、自分が担当する作業を行って、作業が完了すると作業対象領域を撮影する。撮影部11は、作業後の機械30における作業対象領域を撮影する(ステップS8)。制御部15は、撮影画像をサーバ装置20へ送信する(ステップS9)。サーバ装置20では、進捗記録部222が、作業後の撮影画像(作業記録画像)、撮影日時、担当者を作業進捗管理テーブルの対応する項目に記録する(ステップS10)。
Next, the operation of the
FIG. 9 is a flowchart showing an example of the operation of the work support system according to the first embodiment.
First, the
上記説明したように、本実施形態によれば、機械30の撮影画像に、計測器50を取り付けるべき位置に計測器画像101a等を重畳した重畳画像を作業員へ提供する。図3、図4に例示するように重畳画像には、計測器50を取り付け位置、姿勢、取り付けるべき計測器50の識別情報を表示する。従って、作業員は、取り付け位置や取り付ける計測器を誤ることなく正確に計測器50を機械30に取り付けることができる。また、作業支援システム1によれば、作業員は、自らが作業する対象を、端末装置10を用いて撮影するだけで重畳画像を参照することができ、計測器50の取り付け作業を効率化することができる。
As described above, according to the present embodiment, the worker is provided with a superposed image in which the measuring
また、作業員が作業記録画像を撮影することにより、サーバ装置20に作業の実績が記録されるので、作業進捗を管理することができる。例えば、計測器50が数千以上ある場合、作業員が紙に作業実績を記入することにより作業の進捗を管理することは容易ではない。作業支援システム1によれば、計測器50の数が多い場合でも、誤りなく作業実績を記録し、作業の進捗を管理することができる。また、例えば、作業員Aが計測器50aについて作業1を行い、作業員Bが計測器50aについて作業2を行うような場合、作業員Bは、作業員Aの作業1の完了を把握することができるので(図4の作業状況表示欄132)、作業員Aによる作業1の完了後速やかに作業2を行うことができる。
Further, when the worker takes a work record image, the work result is recorded in the
<第二実施形態>
次に作業支援システム1の第二実施形態における動作について図10を用いて説明する。第二実施形態では、作業結果だけではなく、計測器50の動作確認を行った結果を収集し、取り付けた計測器50が正しく動作するかどうかを確認できるようにする。
図10は、第二実施形態に係る作業支援システムの動作の一例を示すフローチャートである。
例えば、作業員が、計測器50を操作して動作確認用の計測等を実行させる。計測器50は、計測などの確認用の動作を行ってその結果(計測値など)をサーバ装置20へ送信する。サーバ装置20では、進捗記録部222が、計測器50から受信した計測値などを作業進捗管理テーブルの「動作確認」項目に記録する(ステップS21)。サーバ装置20は、各計測器50の動作結果を通知してもよい。例えば、データ加工部223は、図8に例示するレポートに計測器50の計測値を表示してもよい。なお、計測器50は、動作結果を端末装置10へ送信してもよい。これにより、作業員や作業管理者は、計測器50による機械30の検査を行う前に、取り付けられた計測器50が正常に動作するかどうかを確認することができる。また、計測器50の動作確認の手間を省力化し、動作確認結果の情報を容易に管理することができる。
<Second embodiment>
Next, the operation of the
FIG. 10 is a flowchart showing an example of the operation of the work support system according to the second embodiment.
For example, a worker operates the measuring
<第三実施形態>
次に作業支援システム1の第三実施形態における動作について図11A〜図12を用いて説明する。作業員は、作業中に疑問点や不明点が生じることがある。第三実施形態の作業支援システム1では、支援端末装置40が、作業員の疑問点に対して、作業を案内する案内情報を端末装置10へ提供する。図11A,Bは、第三実施形態に係る問合せ処理の一例を説明する図である。図11Aの左図に示す画像100Cは、撮影部11が撮影した撮影画像である。撮影画像100Cには、扉140が写っているが、例えば、図面寸法図には、扉140が表示されていない。この点について疑問を持った作業員は、所定の操作を行って、撮影画像100Cを支援端末装置40へ送信する。撮影画像100Cを送信すると、作業員は、作業支援要員へ電話をかけて扉140について問い合わせる。支援端末装置40では、画像送受信部43が撮影画像100Cを受信して表示部41に表示する。作業支援要員は、表示された撮影画像100Cに対して、キーボードやマウス等(操作部42)を操作して、扉を開けるよう指示する文字や記号、図などを記入する。記入後の撮影画像100Cを図11Aの右図に示す。この図に示すように、例えば、作業支援要員は、「開く」という文字と扉140を開く方向を矢印で追加する。画像送受信部43は、扉140を開くように指示する情報が記入された撮影画像100Cを端末装置10へ送信する。端末装置10は、加工後の撮影画像100Cを表示部12へ表示する。作業員は、この画像を見て、扉140を開くことができる。
<Third Embodiment>
Next, the operation of the
図11Bの左図に示す撮影画像100Dには、計測器50Dが写っているが、例えば、この位置へ計測器50を取り付けるのは自分自身の作業である。この点について疑問を持った作業員は、所定の操作を行って、撮影画像100Dを支援端末装置40へ送信する。撮影画像100Dを送信すると、作業員は、作業支援要員へ電話をかけて自分が取り付けるべき計測器50が既に取り付けられていることについて問い合わせる。支援端末装置40では、画像送受信部43が撮影画像100Dを受信して表示部41に表示する。作業支援要員は、撮影画像100Dに対して操作部42を操作して、計測器50Dの取り付け位置を所定の距離だけ移動するように指示情報を記入する。記入後の撮影画像100Dを図11Bの右図に示す。画像送受信部43は、移動指示が記入された撮影画像100Dを端末装置10へ送信する。端末装置10は、加工後の撮影画像100Dを表示部12へ表示する。作業員は、この画像を見て、計測器50Dを移動し、移動後の空いたスペースに対して自分が担当する作業を行うことができる。
The photographed
図12は、第三実施形態に係る作業支援システムの動作の一例を示すフローチャートで
まず、作業員の操作により、端末装置10は、撮影画像を支援端末装置40へ送信する(ステップS30)。支援端末装置40では、画像送受信部43が撮影画像を受信して表示部41に表示する(ステップS31)。作業支援要員は、撮影画像に問い合わせに対する回答を記入する。画像加工部44は、撮影画像に対し、案内情報(記入された回答内容)を追加する加工を行う(ステップS32)。画像送受信部43は、回答内容記入後の撮影画像を端末装置10へ送信する。
FIG. 12 is a flowchart showing an example of the operation of the work support system according to the third embodiment. First, the
第三実施形態によれば、作業員の周囲に相談できる相手が存在しない場合に、端末装置10が撮影画像を支援端末装置40へ送信し、作業支援要員に不明点を相談することができる。また、支援端末装置40を用いることにより、撮影画像に相談内容を記入することができる。
According to the third embodiment, when there is no other person to consult with around the worker, the
<第四実施形態>
なお、上記の説明では、重畳画像をサーバ装置20側で作成することとしたが、端末装置10が、サーバ装置20から3次元モデル、作業者のログイン情報に紐づく計測器の計装位置情報を取得し、重畳画像を作成するように構成してもよい。この場合の構成例を図13に示し、動作例を図14に示す。
図13は、第四実施形態に係る作業支援システムの一例を示す図である。図1を用いて説明した構成については説明を省略する。図13に示すように、作業支援システム1Aにおいて、端末装置10は、端末装置10は、撮影部11と、表示部12と、操作部13と、位置取得部14と、制御部15Aと、記憶部16と、を備える。制御部15Aは、画像作成部151を備えている。
画像作成部151は、計測器50を模した計測器画像を、機械30の取り付け位置に重畳させた重畳画像を生成する。より具体的には、画像作成部151は、ログインした作業員が担当する作業および位置取得部14が検出した現在の端末装置10の位置情報に紐づけられた計測器画像101a等、計測器画像101a等の取り付け位置および姿勢の情報(計装位置情報)、設計モデル211(3次元モデルや補助的に用いる2次元図面)をサーバ装置20から取得する。画像作成部151は、機械30の3Dモデル上の取り付け位置に対応する箇所に、計測器画像101a等をマッピングする。画像作成部151は、公知のAR技術を用いて、撮影画像と、計測器画像101a等がマッピングされた3Dモデルと、を重ね合わせて、実物の機械30の撮影画像に計測器画像101a等を重畳させた重畳画像を作成する。また、画像作成部151は、画像作成部221と同様に、例えば、図2〜図5に例示する頂上画像を作成し、表示部12へ出力する。
サーバ装置20は、記憶部21と、処理部22Aと、データ取得部23と、を備える。
処理部22Aは、進捗記録部222と、データ加工部223と、を備える。
処理部22Aが、画像作成部221を備えないことを除いては図1で説明したものと同様である。
<Fourth Embodiment>
In the above description, the superimposed image is created on the
FIG. 13 is a diagram showing an example of the work support system according to the fourth embodiment. The description of the configuration described with reference to FIG. 1 will be omitted. As shown in FIG. 13, in the work support system 1A, the
The
The
The
The
次に図14を用いて端末装置10が重畳画像を作成する場合の動作について説明する。
図14は、第四実施形態に係る作業支援システムの動作の一例を示すフローチャートである。
まず、作業員の操作部13への操作に基づいて、表示部12は、ログイン画面110を表示する(ステップS1)。制御部15は、ログイン画面110に入力されたログイン情報をサーバ装置20へ送信する(ステップS2)。作業員は、作業位置へ移動して、操作部13を操作して機械30の作業対象領域を撮影する。撮影部11は、機械30の作業対象領域を撮影する(ステップS3)。また、位置取得部14は、端末装置10の位置情報を検出する。制御部15は、端末装置10の位置情報をサーバ装置20へ送信する(ステップS41)。これに対し、サーバ装置20では処理部22が、ログイン情報と、端末装置10の位置情報と、に基づいて、記憶部21から作業対象の機械30の設計モデル211と、計装位置情報212と、計測器画像とを読み出して、これらの情報を端末装置10へ送信する(ステップS51)。端末装置10では、制御部15がこれらの情報を取得する。次に、作業員は、重畳画像の表示を指示する操作を操作部13に対して行う。制御部15Aの画像作成部151は、重畳画像の表示指示に基づいて、撮影画像と、端末装置10の位置情報と、設計モデル211と、計装位置情報212と、に基づいて、AR技術により、撮影画像に計測器画像を重畳させた重畳画像を作成する(ステップS61)。制御部15Aは、表示部12へ重畳画像を表示する(ステップS7)。撮影部11は、作業後の機械30における作業対象領域を撮影する(ステップS8)。制御部15は、撮影画像をサーバ装置20へ送信する(ステップS9)。サーバ装置20では、進捗記録部222が、作業後の撮影画像(作業記録画像)、撮影日時、担当者を作業進捗管理テーブルの対応する項目に記録する(ステップS10)。
Next, the operation when the
FIG. 14 is a flowchart showing an example of the operation of the work support system according to the fourth embodiment.
First, the
図15は、各実施形態に係る作業支援システムのハードウェア構成の一例を示す図である。
コンピュータ900は、CPU901、主記憶装置902、補助記憶装置903、入出力インタフェース904、通信インタフェース905を備える。
上述の端末装置10、サーバ装置20、支援端末装置40は、コンピュータ900に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置903に記憶されている。CPU901は、プログラムを補助記憶装置903から読み出して主記憶装置902に展開し、当該プログラムに従って上記処理を実行する。また、CPU901は、プログラムに従って、記憶領域を主記憶装置902に確保する。また、CPU901は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置903に確保する。
FIG. 15 is a diagram showing an example of the hardware configuration of the work support system according to each embodiment.
The
The
なお、端末装置10、サーバ装置20、支援端末装置40の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、CD、DVD、USB等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ900に配信される場合、配信を受けたコンピュータ900が当該プログラムを主記憶装置902に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
A program for realizing all or a part of the functions of the
以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As described above, some embodiments according to the present disclosure have been described, but all these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and variations thereof are included in the scope of the invention described in the claims and the equivalent scope thereof, as are included in the scope and gist of the invention.
<付記>
各実施形態に記載の端末装置10、サーバ装置20、作業支援システム1、支援情報提供方法は、例えば以下のように把握される。
<Additional notes>
The
(1)第1の態様に係る端末装置10は、撮影部11と、自装置の位置情報を検出する位置取得部14と、前記撮影部11が撮影した画像と、前記位置取得部14が検出した位置情報と、前記画像に含まれる検査対象の機械30の設計モデル211と、前記機械30に取り付ける計測器50の位置および姿勢を示す計装位置情報212と、に基づいて作成された、前記計測器を示す計測器画像101を、前記画像に含まれる前記機械30における前記計測器の取り付け位置に重畳して表示した重畳画像を表示する表示部12と、を備える。
(1) In the
(2)第2の態様に係る端末装置10は、(1)の端末装置10であって、制御部15をさらに備え、前記撮影部11は前記計測器50を取り付けた後の前記機械30を撮影した作業記録画像を撮影し、前記制御部15は前記作業記録画像をサーバ装置20へ送信する。
(2) The
(3)第3の態様に係る端末装置10は、(1)〜(2)の端末装置10であって、前記表示部12は、さらに前記計測器50の取り付け位置および姿勢に関する寸法を図示した寸法指示図(寸法指示図表示欄133)を前記重畳画像内の所定の位置に表示する。
(3) The
(4)第4の態様に係る端末装置10は、(1)〜(3)の端末装置10であって、前記表示部12は、前記計測器50の取り付け作業の進捗状況を示す情報を前記重畳画像内の所定の位置に表示する。
(4) The
(5)第5の態様に係る端末装置10は、(1)〜(4)の端末装置10であって、前記画像と、前記位置情報と、作業者のアカウント情報に紐づく前記計測器50(ログイン情報に含まれるアカウント、工程、役割、作業指示情報に紐づく計測器)と、前記設計モデルと、前記計装位置情報と、に基づいて、前記重畳画像を作成する画像作成部、をさらに備える。
(5) The
(6)第6の態様に係るサーバ装置20は、端末装置10が撮影した機械30の画像と、前記端末装置10の位置情報と、作業者のアカウント情報を取得するデータ取得部23と、前記機械30の設計モデル211と、前記機械30に取り付ける計測器の位置および姿勢を示す計装位置情報212と、を記憶する記憶部21と、前記画像と、前記位置情報と、前記アカウント情報に紐づく前記計測器50と、前記設計モデル211と、前記計装位置情報212と、に基づいて、前記画像の前記機械30における前記計測器50の取り付け位置に前記計測器50を示す計測器画像を重畳して表示した重畳画像を作成する画像作成部221と、を備える。
(6) The
(7)第7の態様に係るサーバ装置20は、前記端末装置10の位置情報と、作業者のアカウント情報を取得するデータ取得部23と、前記端末装置10が撮影する機械の設計モデル211と、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報212と、を記憶する記憶部21と、を備える。
(7) The
(8)第8の態様に係るサーバ装置20は、(6)〜(7)のサーバ装置20であって、作業の進捗状況を記録する進捗記録部222、をさらに備え、前記データ取得部23が、前記端末装置10から、前記計測器50を取り付けた後の前記機械30を撮影した作業記録画像を取得すると、前記進捗記録部222は、前記作業記録画像と、前記作業記録画像が撮影された時刻とを、前記計測器50に対応付けて前記記憶部21(作業進捗管理テーブル)に記録する。
(8) The
(9)第9の態様に係る作業支援システム1は、(1)〜(5)の端末装置10と、(6)〜(7)のサーバ装置20と、を備える。
(9) The
(10)第10の態様に係る作業支援システム1は、(9)の作業支援システム1であって、通信手段を備える計測器50、をさらに備え、前記サーバ装置20では前記データ取得部23が、前記計測器50から計測値を取得する。
(10) The
(11)第11の態様に係る作業支援システム1は、(9)〜(10)の作業支援システム1であって、前記撮影部11が撮影した画像を取得し、前記画像に作業を案内する案内情報を追加する画像加工部44、を備える支援端末装置40、をさらに備える。
(11) The
(12)第12の態様に係る支援情報提供方法は、撮影部が作業対象の機械を撮影するステップと、前記撮影部の位置情報を検出するステップと、前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、前記重畳画像を表示するステップと、を有する。 (12) The support information providing method according to the twelfth aspect is a step in which the photographing unit photographs a machine to be worked, a step of detecting the position information of the photographing unit, an image captured by the photographing unit, and detection. The measurement of the image in the machine based on the position information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine. It has a step of creating a superposed image in which a measuring instrument image indicating the measuring instrument is superposed on a mounting position of the instrument and displayed, and a step of displaying the superposed image.
(13)第13の態様に係るプログラムは、コンピュータに、撮影部が作業対象の機械を撮影するステップと、前記撮影部の位置情報を検出するステップと、前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、前記重畳画像を表示するステップと、を実行させる。 (13) In the program according to the thirteenth aspect, the computer detects a step of photographing a machine to be worked by the photographing unit, a step of detecting the position information of the photographing unit, and an image captured by the photographing unit. The measurement of the image in the machine based on the position information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine. A step of creating a superposed image obtained by superimposing and displaying a measuring instrument image indicating the measuring instrument on a mounting position of the instrument and a step of displaying the superposed image are executed.
1・・・作業支援システム、10・・・端末装置、11・・・撮影部、12・・・表示部、13・・・操作部、14・・・位置取得部、15・・・制御部、16・・・記憶部、20・・・サーバ装置、21・・・記憶部、211・・・設計モデル、212・・・計装位置情報、213・・・計測器情報、22・・・処理部、221・・・画像作成部、222・・・進捗記録部、223・・・データ加工部、23・・・データ取得部、30・・・機械、40・・・支援端末装置、41・・・表示部、42・・・操作部、43・・・画像送受信部、44・・・画像加工部、50,50a,50b・・・計測器、900・・・コンピュータ、901・・・CPU、902・・・主記憶装置、903・・・補助記憶装置、904・・・入出力インタフェース、905・・・通信インタフェース 1 ... Work support system, 10 ... Terminal device, 11 ... Shooting unit, 12 ... Display unit, 13 ... Operation unit, 14 ... Position acquisition unit, 15 ... Control unit , 16 ... Storage unit, 20 ... Server device, 21 ... Storage unit, 211 ... Design model, 212 ... Instrument position information, 213 ... Measuring instrument information, 22 ... Processing unit, 221 ... Image creation unit, 222 ... Progress recording unit, 223 ... Data processing unit, 23 ... Data acquisition unit, 30 ... Machine, 40 ... Support terminal device, 41 ... Display unit, 42 ... Operation unit, 43 ... Image transmission / reception unit, 44 ... Image processing unit, 50, 50a, 50b ... Measuring instrument, 900 ... Computer, 901 ... CPU, 902 ... main storage device, 903 ... auxiliary storage device, 904 ... input / output interface, 905 ... communication interface
Claims (13)
自装置の位置情報を検出する位置取得部と、
前記撮影部が撮影した画像と、前記位置取得部が検出した位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて作成された、前記計測器を示す計測器画像を前記画像に含まれる前記機械における前記計測器の取り付け位置に重畳して表示した重畳画像、を表示する表示部と、
を備える端末装置。 With the shooting department
A position acquisition unit that detects the position information of the own device,
The image taken by the photographing unit, the position information detected by the position acquisition unit, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine. A display unit that displays a superposed image created based on the above and superimposing a measuring instrument image showing the measuring instrument on the mounting position of the measuring instrument in the machine included in the image.
A terminal device comprising.
前記撮影部は前記計測器を取り付けた後の前記機械を撮影した作業記録画像を撮影し、
前記制御部は前記作業記録画像をサーバ装置へ送信する、
請求項1に記載の端末装置。 With more control
The photographing unit photographs a work record image of the machine after the measuring instrument is attached.
The control unit transmits the work record image to the server device.
The terminal device according to claim 1.
請求項1または請求項2に記載の端末装置。 The display unit further displays a dimensional instruction diagram showing dimensions related to the mounting position and posture of the measuring instrument at a predetermined position in the superimposed image.
The terminal device according to claim 1 or 2.
請求項1から請求項3の何れか1項に記載の端末装置。 The display unit displays information indicating the progress of the mounting work of the measuring instrument at a predetermined position in the superimposed image.
The terminal device according to any one of claims 1 to 3.
をさらに備える請求項1から請求項4の何れか1項に記載の端末装置。 An image creation unit that creates the superimposed image based on the image, the position information, the measuring instrument associated with the account information of the worker, the design model, and the instrumentation position information.
The terminal device according to any one of claims 1 to 4, further comprising.
前記機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、を記憶する記憶部と、
前記画像と、前記位置情報と、前記アカウント情報に紐づく前記計測器と、前記設計モデルと、前記計装位置情報と、に基づいて、前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像を作成する画像作成部と、
を備えるサーバ装置。 An image of the machine taken by the terminal device, a data acquisition unit that acquires the position information of the terminal device, and the account information of the worker,
A storage unit that stores the design model of the machine and instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine.
Based on the image, the position information, the measuring instrument associated with the account information, the design model, and the instrumentation position information, the mounting position of the measuring instrument in the machine of the image is described. An image creation unit that creates a superimposed image by superimposing and displaying a measuring instrument image showing a measuring instrument,
A server device that comprises.
前記端末装置が撮影する機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、を記憶する記憶部と、
を備えるサーバ装置。 A data acquisition unit that acquires the location information of the terminal device and the account information of the worker,
A storage unit that stores a machine design model photographed by the terminal device and instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine.
A server device that comprises.
前記データ取得部が、前記端末装置から、前記計測器を取り付けた後の前記機械を撮影した作業記録画像を取得すると、
前記進捗記録部は、前記作業記録画像と、前記作業記録画像が撮影された時刻とを、前記計測器に対応付けて前記記憶部に記録する、
請求項6または請求項7に記載のサーバ装置。 It also has a progress recording unit that records the progress of work.
When the data acquisition unit acquires a work record image of the machine after the measuring instrument is attached from the terminal device,
The progress recording unit records the work record image and the time when the work record image was taken in the storage unit in association with the measuring instrument.
The server device according to claim 6 or 7.
請求項6または請求項6を引用する請求項8に記載のサーバ装置、
又は、
請求項5に記載の端末装置と、
請求項7または請求項7を引用する請求項8に記載のサーバ装置、
を備える作業支援システム。 The terminal device according to any one of claims 1 to 4,
The server device according to claim 6, which is claimed in claim 6 or claim 6.
Or
The terminal device according to claim 5 and
The server device according to claim 7, wherein claim 7 or claim 7 is cited.
Work support system equipped with.
前記サーバ装置では前記データ取得部が、前記計測器から計測値を取得する、
請求項9に記載の作業支援システム。 Further equipped with measuring instruments equipped with communication means,
In the server device, the data acquisition unit acquires a measured value from the measuring instrument.
The work support system according to claim 9.
をさらに備える請求項9または請求項10に記載の作業支援システム。 A support terminal device including an image processing unit that acquires an image taken by the photographing unit and adds guidance information for guiding work to the image.
The work support system according to claim 9 or 10.
前記撮影部の位置情報を検出するステップと、
前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、
前記重畳画像を表示するステップと、
を有する支援情報提供方法。 The steps that the shooting department shoots the machine to be worked on,
The step of detecting the position information of the photographing unit and
The image captured by the photographing unit, the detected position information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine. Based on the step of creating a superimposed image obtained by superimposing and displaying a measuring instrument image indicating the measuring instrument on the mounting position of the measuring instrument in the machine of the image.
The step of displaying the superimposed image and
How to provide support information.
撮影部が作業対象の機械を撮影するステップと、
前記撮影部の位置情報を検出するステップと、
前記撮影部が撮影した画像と、検出された前記位置情報と、前記画像に含まれる検査対象の機械の設計モデルと、前記機械に取り付ける計測器の位置および姿勢を示す計装位置情報と、に基づいて前記画像の前記機械における前記計測器の取り付け位置に前記計測器を示す計測器画像を重畳して表示した重畳画像、を作成するステップと、
前記重畳画像を表示するステップと、
を実行させるプログラム。 On the computer
The steps that the shooting department shoots the machine to be worked on,
The step of detecting the position information of the photographing unit and
The image captured by the photographing unit, the detected position information, the design model of the machine to be inspected included in the image, and the instrumentation position information indicating the position and orientation of the measuring instrument attached to the machine. Based on the step of creating a superimposed image obtained by superimposing and displaying a measuring instrument image indicating the measuring instrument on the mounting position of the measuring instrument in the machine of the image.
The step of displaying the superimposed image and
A program that executes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080969A JP2021176025A (en) | 2020-05-01 | 2020-05-01 | Terminal device, server device, work support system, support information providing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080969A JP2021176025A (en) | 2020-05-01 | 2020-05-01 | Terminal device, server device, work support system, support information providing method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021176025A true JP2021176025A (en) | 2021-11-04 |
Family
ID=78300389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020080969A Withdrawn JP2021176025A (en) | 2020-05-01 | 2020-05-01 | Terminal device, server device, work support system, support information providing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021176025A (en) |
-
2020
- 2020-05-01 JP JP2020080969A patent/JP2021176025A/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9342743B2 (en) | Method for supporting an operator in measuring a part of an object | |
US20160124501A1 (en) | Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods | |
CN105378810B (en) | Remote sharing of measurement data | |
JP4137078B2 (en) | Mixed reality information generating apparatus and method | |
JP7337654B2 (en) | Maintenance activity support system and maintenance activity support method | |
US20150062123A1 (en) | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model | |
CN112767555A (en) | Marker-to-model location pairing and registration for augmented reality applications | |
US20130010068A1 (en) | Augmented reality system | |
TW201818293A (en) | Comprehensive perceptual positioning technology application system based on three-dimensional information model including a building information model and a facility and equipment database | |
JP6350938B2 (en) | Torque tightening management system and torque tightening management method | |
JP2011248748A (en) | Mobile terminal for checking, checking system, checking method for mobile terminal, and checking program for mobile terminal | |
JP7079125B2 (en) | Aerial photography management system and program | |
US11395102B2 (en) | Field cooperation system and management device | |
JP2016103218A (en) | Inspection history management system, inspection history management method | |
US20230024701A1 (en) | Thermal imaging asset inspection systems and methods | |
KR101335706B1 (en) | Apparatus and method for inspecting facilities | |
JP2023082923A (en) | Work support system, work object identifying device, and method | |
JP5152281B2 (en) | Image processing apparatus, method, and program | |
JP2005310044A (en) | Apparatus, method and program for data processing | |
JP2021176025A (en) | Terminal device, server device, work support system, support information providing method and program | |
CN108307145A (en) | Information display system and image forming apparatus | |
US20220198193A1 (en) | Information display device, information display method and program | |
CN113920221A (en) | Information processing apparatus, information processing method, and computer readable medium | |
JP7036559B2 (en) | Pile position inspection device and pile position inspection method | |
JP2016021725A (en) | Camera for damage diagnosis of civil engineering structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230130 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20230602 |