JP2018112983A - メンテナンスナビゲーション携帯端末 - Google Patents

メンテナンスナビゲーション携帯端末 Download PDF

Info

Publication number
JP2018112983A
JP2018112983A JP2017004438A JP2017004438A JP2018112983A JP 2018112983 A JP2018112983 A JP 2018112983A JP 2017004438 A JP2017004438 A JP 2017004438A JP 2017004438 A JP2017004438 A JP 2017004438A JP 2018112983 A JP2018112983 A JP 2018112983A
Authority
JP
Japan
Prior art keywords
target
image
housing
photographing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017004438A
Other languages
English (en)
Other versions
JP6743716B2 (ja
Inventor
崇志 久積
Takashi Kusatsumi
崇志 久積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Mitsubishi Electric Industrial Systems Corp
Original Assignee
Toshiba Mitsubishi Electric Industrial Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Mitsubishi Electric Industrial Systems Corp filed Critical Toshiba Mitsubishi Electric Industrial Systems Corp
Priority to JP2017004438A priority Critical patent/JP6743716B2/ja
Publication of JP2018112983A publication Critical patent/JP2018112983A/ja
Application granted granted Critical
Publication of JP6743716B2 publication Critical patent/JP6743716B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)

Abstract

【課題】有線、無線の通信を使用せずに、保全員を故障発生した電子制御装置まで迅速に誘導できるメンテナンスナビゲーション携帯端末を提供することを目的とする。
【解決手段】携帯端末(15)は、画像データ記憶部(24)、画像認識部(25)、情報表示部(26)を備える。画像データ記憶部(24)は、建屋内に配置された筐体群を撮影した静止画像と、該静止画像および目標筐体を特定する番号を関連付けたデータと、を予め記憶する。画像認識部(25)は、撮影中の動画像の所定フレームと、目標筐体を特定する番号に関連付いた静止画像とを照合する。情報表示部(26)は、所定フレームと目標筐体を特定する番号に関連付いた静止画像とが一致する場合に、表示装置に目標筐体が表示された位置に、目標筐体を強調する情報を表示させる。
【選択図】図1

Description

この発明は、メンテナンスナビゲーション携帯端末に関する。
プラントの製造ラインにおいては、プログラマブルロジックコントローラ(Programmable Logic Controller、以下、PLCという)やインバータ駆動装置といった電子制御装置が多数使用される。
電子制御装置はネットワークで接続された監視装置によりその状態が監視され、故障発生時には同一ネットワークに接続されたヒューマンマシンインターフェース(Human Machine Interface、以下HMIという)のディスプレイにその状態が表示される。例えば、特開2015−032152号公報には、プラントの状態を監視する監視装置と、ネットワークを介してその状態を表示する端末装置が開示されている。
監視装置は、さまざまな監視手段、データ管理手段等を持っており、電子制御装置における故障発生時に、保全員はHMIに表示された情報を参照することで、交換、復旧作業等の適切な対応を実施する事ができる。
特開2015−032152号公報
HMIに表示された情報を参照することで、保全員は交換、復旧作業に関する様々な情報を得ることができるのだが、監視対象となる電子制御装置は多数あるので、故障発生した電子制御装置の設置場所を特定するのは困難である。通常、電子制御装置は鉄製の筐体の中に収納される。多数ある電子制御装置は複数の筐体に分割されて収納されるので、保全員には故障発生した電子制御装置がどの筐体の中に収納されているかという情報が必要となる。また、この筐体は複数の建屋に分散配置されるので、保全員には対象の筐体がどの建屋に配置されているかという情報も必要となる。
HMIには、故障発生した電子制御装置を特定する番号の他に、電子制御装置が収納されている筐体を特定する番号、および、筐体が配置されている建屋の名称も表示される。しかし、工場内はセキュリティ、および、セイフティの観点から無線通信を実施することができないのでHMIをネットワークに接続した状態で携行することはできず、建屋の中の筐体の配置図もない。そのため、建屋の中で対象の電子制御装置を特定して、交換、復旧作業を開始するまでに長時間を要してしまう。
本発明は、上述のような課題を解決するためになされたもので、有線、無線の通信を使用せずに、保全員を故障発生した電子制御装置まで迅速に誘導できるメンテナンスナビゲーション携帯端末を提供することを目的とする。
上記の目的を達成するため、本発明に係るメンテナンスナビゲーション携帯端末は以下のように構成される。
メンテナンスナビゲーション携帯端末は、撮影装置と表示装置と制御装置とを備える。
撮影装置は、被写体を撮影するカメラである。撮影装置は、被写体を静止画像や動画像として撮影可能である。被写体は、主として監視対象の電子制御装置が格納された筐体が配列された建屋内や、HMIのディスプレイ(監視画面)である。
表示装置は、撮影装置で撮影中の動画像、撮影装置で撮影された静止画像、その他の情報を表示可能なディスプレイ(例えば、液晶パネル)である。
制御装置は、対象情報取得部と、画像データ記憶部と、画像認識部と、情報表示部とを備える。
対象情報取得部は、監視対象の電子制御装置が収納された目標筐体を特定する番号を取得する。目標筐体を特定する番号は、筐体の番号のほか、筐体に格納された電子制御装置の番号であってもよい。一例として、対象情報取得部は、保全員により手動で入力された筐体番号を取得する。
本発明の一態様によれば、対象情報取得部は、さらに対象情報読取部を備える。対象情報読取部は、監視対象の電子制御装置の状態を表示した監視画面を撮影装置で撮影した画像から番号を読み取る。読み取られた番号は、目標筐体を特定する番号として対象情報取得部に取得される。
画像データ記憶部は、建屋内に配置された筐体群を撮影した静止画像を予め記憶する。加えて、画像データ記憶部は、静止画像および番号を関連付けたデータを予め記憶する。データには、静止画像に含まれる各筐体について、それぞれ筐体番号が関連付けられている。
画像認識部は、撮影装置で撮影中の動画像の所定フレームと、目標筐体を特定する番号に関連付いた静止画像とを照合する。これにより、所定フレームと番号に関連付いた静止画像とが一致するか否かが判定される。ここで、一致とは、完全一致に限らず、部分一致、一部の特徴点が一致する場合を含む意味である。
本発明の一態様によれば、画像認識部は、さらにマーカーレスAR(Augmented Reality:拡張現実)部を備える。マーカーレスAR部は、上述した所定フレームと、番号に関連付いた静止画像とが一致する場合に、目標筐体の画像をトラッキング対象物として選別して取り出し、リアルタイム処理にて認識し追従する。
情報表示部は、所定フレームと番号に関連付いた静止画像とが一致する場合に、表示装置に目標筐体が表示された位置に、目標筐体を強調する情報を表示させる。目標筐体を強調する情報は、例えば、目標筐体を着色した画像やアイコンや文字等である。また、マーカーレスAR部により目標筐体の表示位置がトラッキングされている場合は、表示装置に表示された動画像中の目標筐体の移動に合せて、目標筐体を強調する情報を重ね合せて表示させる。
本発明に係るメンテナンスナビゲーション携帯端末によれば、有線、無線の通信を使用せずに、保全員を故障が発生した電子制御装置まで迅速に誘導できる。そのため、保全員は電子制御装置の交換、復旧作業を迅速に開始することができる。
本発明の実施の形態1に係る設備監視システムの機能ブロック図である。 電子制御装置を収納した筐体の建屋内配置図の一例である。 建屋内に配置された筐体群を撮影した静止画像の一例である。 表示用マーキングを付した静止画像の一例である。 本発明の実施の形態1におけるメンテナンスナビゲーション携帯端末が実行する処理ルーチンのフローチャートである。 本発明の実施の形態2に係る設備監視システムの機能ブロック図である。 本発明の実施の形態2におけるメンテナンスナビゲーション携帯端末が実行する処理ルーチンのフローチャートである。 本発明の実施の形態3に係る設備監視システムの機能ブロック図である。 本発明の実施の形態3におけるメンテナンスナビゲーション携帯端末が実行する処理ルーチンのフローチャートである。 メンテナンスナビゲーション携帯端末が有する処理回路のハードウェア構成例を示すブロック図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。尚、各図において共通する要素には、同一の符号を付して重複する説明を省略する。
実施の形態1.
<システム構成>
図1は、本発明の実施の形態1に係る設備監視システムの機能ブロック図である。設備監視システム10は、電子制御装置11、監視装置12、HMI13、ネットワーク14、メンテナンスナビゲーション携帯端末(以下、携帯端末15)を備える。
電子制御装置11は、保全員による監視対象およびメンテナンス対象であり、プラントの製造ラインに配置されたアクチュエータを制御する装置である。電子制御装置11は、例えば、プログラマブルロジックコントローラ(PLC)やインバータ駆動装置である。図1には、1つの電子制御装置11が描かれているが、設備監視システム10は、多数の電子制御装置11を備える。
図2は、電子制御装置11を収納した筐体の建屋内配置図の一例である。多数の電子制御装置11は、複数の筐体に分割して収納され、建屋内に分散配置される。図2に示す例では、複数の筐体は横並びで建屋内に配置されている。図2の符号1〜8は筐体番号である。
図1に戻り説明を続ける。電子制御装置11は、ネットワーク14を介して、状態を監視する監視装置12と、状態を表示するHMI13と接続している。電子制御装置11の状態は、監視装置12で監視され、離れた場所にあるHMI13のディスプレイ(監視画面)に表示される。HMI13のディスプレイには、電子制御装置11の番号、筐体の番号、建屋の名称等と共に電子制御装置11の状態が表示される。電子制御装置11の状態には、正常状態や、障害や異常を含む故障状態がある。
携帯端末15は、例えばタブレットPCであり主として保全員に操作される。携帯端末15は、撮影装置20と表示装置21と制御装置22とを備える。
撮影装置20は、被写体を撮影するカメラである。撮影装置20は、被写体を静止画像や動画像として撮影可能である。撮影装置20は、主として電子制御装置11が格納された筐体が配列された建屋内を撮影するために用いられる。撮影装置20で撮影された画像は、制御装置22を介して表示装置21へ送信される。
表示装置21は、撮影装置20で撮影中の動画像や、制御装置22から送信される各種情報を表示可能なディスプレイ(例えば、液晶パネル)である。
制御装置22は、撮影装置20や表示装置21を含む携帯端末15の各種機能を制御する装置である。図1には、制御装置22が有する機能の一部として、対象情報取得部23と、画像データ記憶部24と、画像認識部25と、情報表示部26、ユーザインタフェース部27が描かれている。
対象情報取得部23は、監視対象の電子制御装置11が収納された目標筐体を特定する番号を取得し、画像認識部25へ送信する。目標筐体は、故障が発生した電子制御装置11が収納された筐体である。目標筐体を特定する番号は、筐体の番号のほか、筐体に格納された電子制御装置11の番号であってもよい。目標筐体を特定する番号は、HMI13のディスプレイに表示される。本実施形態において、目標筐体を特定する番号は、保全員により入力装置106(図10)を用いて手動で入力される。
画像データ記憶部24は、建屋内に配置された筐体群を撮影した静止画像を予め記憶する。加えて、画像データ記憶部24は、この筐体配置状況に関する静止画像および番号(筐体番号)を関連付けたデータを予め記憶する。データには、静止画像に含まれる各筐体について、それぞれ筐体番号が関連付けられている。画像データ記憶部24に記憶されるデータは、ユーザインタフェース部27により予め作成され、画像認識部25や情報表示部26において用いられる。
図3は、建屋内に配置された筐体群を撮影した静止画像の一例であり、画像認識部25における照合に用いられる。この静止画像は、撮影装置20により撮影され、画像データ記憶部24に予め記憶される。また、この静止画像に関する情報として、静止画像、静止画像中の筐体の番号、静止画像中の筐体の位置を紐付けるデータが、画像データ記憶部24に予め記憶される。例えば、図3に示す静止画像に対して筐体番号1〜8を関連付けたデータが記憶される。
また、画像データ記憶部24には、静止画像中の筐体毎に表示用マーキングを付した静止画像も記憶されている。図4は、表示用マーキングを付した静止画像の一例であり、情報表示部26において用いられる。図4に示す例では、筐体番号3について表示用マーキングが付されている。加えて、画像データ記憶部24には、この表示用マーキングを付した静止画像と筐体番号とを関連付けたデータが記憶されている。
図1に戻り説明を続ける。画像認識部25は、撮影装置20で撮影中の動画像の所定フレームと、目標筐体を特定する番号に関連付いた静止画像とを照合する。具体的には、画像認識部25は、対象情報取得部23から受信した筐体番号をキーとして、画像データ記憶部24から筐体番号に関連付いた静止画像およびデータを取得する。その後、画像認識部25は、撮影装置20で撮影中の動画像の所定フレームと、筐体番号に関連付いた静止画像とを照合する。これにより、所定フレームと筐体番号に関連付いた静止画像とが一致するか否かが判定される。ここで、一致とは、完全一致に限らず、部分一致、一部の特徴点が一致する場合を含む意味である。
所定フレームと筐体番号に関連付いた静止画像とが一致する場合、画像認識部25は、
目標筐体を強調する情報を情報表示部26へ送信する。目標筐体を強調する情報は、目標筐体を着色した画像やアイコンや文字等であり、例えば、図4に示すように目標筐体に表示用マーキングが付された静止画像である。
情報表示部26は、表示装置21に目標筐体が表示された位置に、目標筐体を強調する情報を表示させる。例えば、図4に示すように、目標筐体に表示用マーキングが付された静止画像を表示装置21に表示させる。
<フローチャート>
図5は、上述の動作を実現するために、実施の形態1における携帯端末15が実行する処理ルーチンのフローチャートである。
図5に示すルーチンでは、まずステップS100において、保全員は、HMI13のディスプレイに表示された筐体番号を携帯端末15に入力する。この筐体番号は、故障が発生した電子制御装置11が収納された筐体の番号であり、対象情報取得部23は、入力された筐体番号を取得する。続いて、保全員は、携帯端末15の撮影装置20を用いて、筐体群が配置された建屋内の動画像撮影を開始する。
次にステップS110において、画像認識部25は、筐体番号をキーとして、画像データ記憶部24から筐体番号に関連付いた静止画像およびデータを取得する。
次にステップS120において、画像認識部25は、撮影装置20で撮影中の動画像から所定フレームを抽出する。
次にステップS130において、画像認識部25は、ステップS120で抽出した所定フレームと、ステップS110で取得した静止画像とを照合する。
次にステップS140において、画像認識部25は、ステップS120で抽出した所定フレームと、ステップS110で取得した静止画像とが一致するか否かを判定する。一致する場合は、ステップS150の処理に進む。一致しない場合は、ステップS120の処理に戻って新たなフレームを抽出し、ステップS130以降の処理を継続する。
ステップS150において、画像認識部25は、筐体番号をキーとして、表示用マーキングが付された静止画像を取得する。
次にステップS160において、情報表示部26は、表示装置21に表示用マーキングが付された静止画像を表示させる。その後本ルーチンの処理は終了される。
<効果>
以上説明したように、本実施形態に係るメンテナンスナビゲーション携帯端末は、電子制御装置11、監視装置12、および、HMI13の接続されたネットワーク14に接続しない。この携帯端末によれば、有線、無線の通信を使用せずに、撮影した画像に情報を付与した直感的な形で表示して、保全員を、故障が発生した電子制御装置まで迅速に誘導できる。そのため、保全員は電子制御装置の交換、復旧作業を迅速に開始することができる。
<ハードウェア構成例>
携帯端末15のハードウェア構成について図10を参照して説明する。なお、実施の形態2および3も同様である。
図10は、携帯端末15が有する処理回路のハードウェア構成例を示すブロック図である。図1に示す携帯端末15の各部は、当該端末が有する機能の一部を示し、各機能は処理回路により実現される。例えば、処理回路は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、入出力インターフェース104、システムバス105、入力装置106、表示装置107、ストレージ108および撮影装置109を備えたコンピュータである。
CPU101は、ROM102やRAM103に格納されたプログラムやデータなどを用いて各種の演算処理を実行する処理装置である。ROM102は、コンピュータに各機能を実現させるための基本プログラムや環境ファイルなどを記憶する読み取り専用の記憶装置である。RAM103は、CPU101が実行するプログラムおよび各プログラムの実行に必要なデータを記憶する主記憶装置であり、高速な読み出しと書き込みが可能である。入出力インターフェース104は、各種のハードウェアとシステムバス105との接続を仲介する装置である。システムバス105は、CPU101、ROM102、RAM103および入出力インターフェース104で共有される情報伝達路である。
また、入出力インターフェース104には、入力装置106、表示装置107、ストレージ108および撮影装置109などのハードウェアが接続されている。入力装置106は、ユーザ(保全員)による入力を処理する装置であり、例えば操作ボタンやタッチパネルなどである。上述した対象情報取得部23やユーザインタフェース部27の処理は、入力装置106からの入力を受けて実行される。表示装置107は、上述した表示装置21を含み、例えば液晶パネルである。ストレージ108は、プログラムやデータを蓄積する大容量の補助記憶装置であり、例えばハードディスク装置や不揮発性の半導体メモリなどである。撮影装置109は、上述した撮影装置20を含み、例えばカメラである。
実施の形態2.
<システム構成>
次に、図6、図7を参照して本発明の実施の形態2について説明する。本実施形態のシステムは、図6に示す構成において、後述する図7のルーチンを実行させることで実現することができる。
上述した実施の形態1では、保全員が、HMI13のディスプレイ(監視画面)に表示された目標筐体を特定する番号を、携帯端末15に手動で入力していた。しかしながら、入力作業を軽減して、入力手間や入力ミスを減らすことが望ましい。
図6は、本発明の実施の形態2に係る設備監視システムの機能ブロック図である。図6に示す設備監視システムは、対象情報取得部23が、さらに対象情報読取部28を備える点を除き図1に示す構成と同様である。以下、図6において、図1に示す構成と同一の構成については、同一の符号を付してその説明を省略または簡略する。
実施の形態2では、撮影装置20は、電子制御装置11が格納された筐体が配列された建屋内を撮影することに加えて、HMI13のディスプレイ(監視画面)を撮影することにも用いられる。
対象情報読取部28は、監視対象の電子制御装置11の状態を表示した監視画面(HMI13のディスプレイ)を撮影装置20で撮影した静止画像または動画像から目標筐体を特定する番号を直接読み取る。読み取られた目標筐体を特定する番号は、対象情報取得部23に取得される。
<フローチャート>
図7は、上述の機能を実現するために、実施の形態2における携帯端末15が実行する処理ルーチンのフローチャートである。このルーチンは、ステップS100の処理がステップS200に置き換えられている点を除き、図5に示すルーチンと同様である。以下、図7において、図5に示すステップと同一のステップについては、同一の符号を付してその説明を省略または簡略する。
図7に示すルーチンでは、まずステップS200において、保全員は、携帯端末15の撮影装置20を用いてHMI13のディスプレイ(監視画面)に表示された故障情報を撮影する。対象情報読取部28は、撮影された画像から、故障が発生した電子制御装置11が収納された筐体の番号を読み取る。読み取られた筐体番号は、対象情報取得部23に取得される。続いて、保全員は、携帯端末15の撮影装置20を用いて、筐体群が配置された建屋内の撮影を開始する。以下、筐体番号をキーとして、図5のステップS110以降の処理が実行される。
<効果>
以上説明したように、本実施形態に係るメンテナンスナビゲーション携帯端末によれば、保全員の手動による番号入力作業が不要である。そのため、入力手間や入力ミスを軽減できる。
実施の形態3.
<システム構成>
次に、図8、図9を参照して本発明の実施の形態3について説明する。本実施形態のシステムは、図8に示す構成において、後述する図9のルーチンを実行させることで実現することができる。
上述した実施の形態1および2では、表示装置21に表示するのは目標筐体に表示用マーキングが付された静止画像であったが、より保全員の視認性を向上させることが望ましい。
図8は、本発明の実施の形態3に係る設備監視システムの機能ブロック図である。図8に示す設備監視システムは、画像認識部25が、さらにマーカーレスAR部29を備える点を除き図6に示す構成と同様である。以下、図8において、図1および図6に示す構成と同一の構成については、同一の符号を付してその説明を省略または簡略する。
マーカーレスAR(Augmented Reality:拡張現実)部29は、撮影装置20で撮影中の動画像の所定フレームと筐体番号に関連付いた静止画像とが一致する場合に、目標筐体の画像をトラッキング対象物として選別して取り出し、リアルタイム処理にて認識し追従する。実施の形態1で述べたように画像認識部25は、目標筐体を強調する情報を情報表示部26へ送信する。マーカーレスAR部29により目標筐体がトラッキングされる実施の形態3では、目標筐体を強調する情報として、目標筐体を着色する画像やアイコンや文字等に加えて、動画像中の目標筐体の表示位置も送信される。
情報表示部26は、表示装置21に表示された動画像中の目標筐体の移動に合せて、目標筐体を強調する情報を重ね合せて表示させる。そのため、トラッキング対象物である動画像中の目標筐体の移動に、目標筐体を強調する情報が追従して表示される。
<フローチャート>
図9は、上述の機能を実現するために、携帯端末15が実行する処理ルーチンのフローチャートである。このルーチンは、ステップS150の処理がステップS350に、ステップS160の処理がステップS360に置き換えられている点を除き、図7に示すルーチンと同様である。以下、図9において、図5および図7に示すステップと同一のステップについては、同一の符号を付してその説明を省略または簡略する。
ステップS350において、マーカーレスAR部29は、動画像中の目標筐体をトラッキング対象物としてリアルタイム処理にて認識し追従する。画像認識部25は、目標筐体を強調する情報として、目標筐体を着色する画像やアイコンや文字等に加えて動画像中の目標筐体の表示位置も、情報表示部26へ送信する。
ステップS360において、表示装置21に表示された動画像中の目標筐体の移動に合せて、目標筐体の表示位置に、目標筐体を強調する画像、アイコン、文字等の情報をリアルタイムに付与して表示させる。
<効果>
以上説明したように、本実施形態に係るメンテナンスナビゲーション携帯端末によれば、マーカーレスARの画像認識技術を適用して、撮影中の動画像にリアルタイムに情報を付与して表示することを可能とし、保全員の視認性を向上させることができる。
<変形例>
ところで、上述した実施の形態3のシステムにおいては、実施の形態2のシステム構成にマーカーレスAR部29をさらに設けることとしているが、実施の形態3のシステム構成はこれに限定されるものではない。実施の形態1のシステム構成にマーカーレスAR部29を設ける構成としても良い。
1〜8 筐体番号
10 設備監視システム
11 電子制御装置
12 監視装置
13 HMI
14 ネットワーク
15 携帯端末(メンテナンスナビゲーション携帯端末)
20 撮影装置
21 表示装置
22 制御装置
23 対象情報取得部
24 画像データ記憶部
25 画像認識部
26 情報表示部
27 ユーザインタフェース部
28 対象情報読取部
29 マーカーレスAR(Augmented Reality)部
101 CPU(Central Processing Unit)
102 ROM(Read Only Memory)
103 RAM(Random Access Memory)
104 入出力インターフェース
105 システムバス
106 入力装置
107 表示装置
108 ストレージ
109 撮影装置

Claims (3)

  1. 被写体を撮影する撮影装置と、
    前記撮影装置で撮影中の動画像を表示可能な表示装置と、
    監視対象の電子制御装置が収納された目標筐体を特定する番号を取得する対象情報取得部と、
    建屋内に配置された筐体群を撮影した静止画像と、該静止画像および前記番号を関連付けたデータと、を予め記憶する画像データ記憶部と、
    前記撮影装置で撮影中の動画像の所定フレームと、前記番号に関連付いた静止画像とを照合する画像認識部と、
    前記所定フレームと前記番号に関連付いた静止画像とが一致する場合に、前記表示装置に前記目標筐体が表示された位置に、前記目標筐体を強調する情報を表示させる情報表示部と、
    を備えることを特徴とするメンテナンスナビゲーション携帯端末。
  2. 前記対象情報取得部は、前記監視対象の電子制御装置の状態を表示した監視画面を前記撮影装置で撮影した画像から前記番号を読み取る対象情報読取部を備えること、
    を特徴とする請求項1記載のメンテナンスナビゲーション携帯端末。
  3. 前記画像認識部は、前記所定フレームと前記番号に関連付いた静止画像とが一致する場合に、前記目標筐体の画像をトラッキング対象物として選別して取り出し、リアルタイム処理にて認識し追従するマーカーレスAR部を備えること、
    前記情報表示部は、前記表示装置に表示された動画像中の前記目標筐体の移動に合せて、前記目標筐体を強調する情報を重ね合せて表示させること、
    を特徴とする請求項1又は2記載のメンテナンスナビゲーション携帯端末。
JP2017004438A 2017-01-13 2017-01-13 メンテナンスナビゲーション携帯端末 Active JP6743716B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017004438A JP6743716B2 (ja) 2017-01-13 2017-01-13 メンテナンスナビゲーション携帯端末

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017004438A JP6743716B2 (ja) 2017-01-13 2017-01-13 メンテナンスナビゲーション携帯端末

Publications (2)

Publication Number Publication Date
JP2018112983A true JP2018112983A (ja) 2018-07-19
JP6743716B2 JP6743716B2 (ja) 2020-08-19

Family

ID=62912302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017004438A Active JP6743716B2 (ja) 2017-01-13 2017-01-13 メンテナンスナビゲーション携帯端末

Country Status (1)

Country Link
JP (1) JP6743716B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155403A (ja) * 2011-01-24 2012-08-16 Yokogawa Electric Corp フィールド機器監視システム
JP2013117812A (ja) * 2011-12-02 2013-06-13 Toshiba Corp プラント監視情報表示システム、およびプラント監視情報表示装置、プラント監視情報表示方法
JP2014042250A (ja) * 2013-09-13 2014-03-06 Casio Comput Co Ltd 撮像装置、撮影方法及びプログラム
JP2017004156A (ja) * 2015-06-08 2017-01-05 株式会社東芝 中央監視端末、現場操作端末、及びプラント監視制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155403A (ja) * 2011-01-24 2012-08-16 Yokogawa Electric Corp フィールド機器監視システム
JP2013117812A (ja) * 2011-12-02 2013-06-13 Toshiba Corp プラント監視情報表示システム、およびプラント監視情報表示装置、プラント監視情報表示方法
JP2014042250A (ja) * 2013-09-13 2014-03-06 Casio Comput Co Ltd 撮像装置、撮影方法及びプログラム
JP2017004156A (ja) * 2015-06-08 2017-01-05 株式会社東芝 中央監視端末、現場操作端末、及びプラント監視制御システム

Also Published As

Publication number Publication date
JP6743716B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
EP2966617B1 (en) System comprising image data generating device and portable terminal device
JP5961905B2 (ja) 点検システム及び点検方法
US10771350B2 (en) Method and apparatus for changeable configuration of objects using a mixed reality approach with augmented reality
US20180027218A1 (en) Work assistance device, work assistance system, work assistance method, and recording medium storing work assistance program
JP2015204615A (ja) 機器と移動デバイスとの間でインタラクトする方法及びシステム
US20190333633A1 (en) Medical device information providing system, medical device information providing method, and program
JP2015061339A (ja) 結線作業支援システム
KR20150083480A (ko) 3차원 입체 영상을 활용한, 설비 통합 관리 시스템
CN111049687A (zh) 设备检修视频操作指导文件处理方法、装置、ar终端
CN110061755B (zh) 作业辅助方法和系统、可穿戴设备及工程车辆
JP5891191B2 (ja) 稼動実績取得システム及び稼動実績取得方法
JP2012093933A (ja) パトロール支援装置、コンピュータプログラム、パトロール支援システム、およびパトロール支援方法
JP6743716B2 (ja) メンテナンスナビゲーション携帯端末
JP6226859B2 (ja) 作業監視システム
US11816802B2 (en) Method for configuring and displaying, in augmented or mixed or extended reality, the information relating to equipment installed in a real site, and associated computer program product and electronic device
WO2018179223A1 (ja) 遠隔作業支援システム、遠隔作業支援方法およびプログラム
CN111736539B (zh) 一种监控数据显示方法、装置、系统、服务器及存储介质
JP6818795B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN113961161A (zh) 数据展示方法、系统、移动终端、存储介质及程序产品
CN104995573B (zh) 用于监视并控制工业过程的方法和装置
KR102367965B1 (ko) 인지인자를 이용한 증강현실 기반 원격 가이던스 시스템 및 그 방법
US20240135525A1 (en) Method and system of providing assistance during an operation performed on an equipment
JP2017004156A (ja) 中央監視端末、現場操作端末、及びプラント監視制御システム
JP2016099757A (ja) 監視制御システム
WO2024018974A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200713

R150 Certificate of patent or registration of utility model

Ref document number: 6743716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250