JP2016009402A - 画像データ作成装置および携帯端末装置 - Google Patents

Abstract

【課題】携帯端末装置においてＡＲ技術を利用したＨＭＩを高級言語によるプログラミング技術を持たないユーザが自由に作成できるようにする。【解決手段】ＰＣ１は、背景画像の背景画像データに、装置７を撮影した装置画像データを装置７を特定するために参照する参照画像データとして設定するとともに、装置画像の上に配置される動的部品画像の動的部品画像データを装置画像データに設定する画像データ設定部１６と、携帯端末装置２がアクセスするデータを記憶するメモリ４１，５１の記憶領域を指定するアドレスを、前記アドレスを代替するアドレス代替情報を伴って部品画像データに対応付けるとともに、前記アドレス代替情報を前記アドレスの代わりに表示するためのアドレス表示データを作成するアドレス設定部１７とを備える。【選択図】図１

Description

本発明は、装置に対するインターフェースのために携帯端末装置に表示されるインターフェース画像を作成するために利用される画像データを作成する画像データ作成装置、およびその画像データを利用してインターフェース画像を作成する携帯端末装置に関する。

工場などにおいては、装置の円滑な稼働を維持するために、装置の状況を監視している。例えば、監視対象となる装置がＰＬＣ（プログラマブルロジックコントローラ）に接続されていれば、ＰＬＣのメモリに書き込まれる装置のエラーや不具合をプログラマブル表示器などの表示装置に表示させることで装置の状況を確認することができる。

また、このような装置の監視において、拡張現実（ＡＲ：Augmented Reality）の技術を用いる応用も進められている。例えば、特許文献１には、ＡＲマーカが貼り付けられたセンサノードを情報処理端末で撮像した結果として得られた撮像情報に基づいて報知情報を作成し、当該報知情報を撮像情報に合成して表示することが記載されている。この技術を用いれば、装置を撮像するだけで、装置の状況を報知情報として得ることができる。

特開２０１２−１５６７３７号公報（２０１２年８月１６日公開）

プログラマブル表示器などで装置の監視や操作をする場合、そのための専用の画像が必要であり、そのような画像は、専用の画像作成ソフトウェアを用いてユーザによって作成される。しかしながら、上記の画像は、予め画像作成者によって装置の運用を考慮して作成されるため、現場の作業員が保守の目的などで使用する場合、不要な情報が含まれていたりして必ずしも使い勝手がよいとは言えない。

また、近年の携帯端末装置（タブレット端末など）の普及に鑑みて、このような携帯端末装置を、装置の監視だけでなく装置の操作にも利用する要望も高まっている。しかしながら、携帯端末装置でプログラマブル表示器と同様な機能を実現するには、プログラマブル表示器で表示される画像と同様な画像を携帯端末装置に適した形態で提供されることになる。この場合、画像の内容としては、プログラマブル表示器で表示される画像と何ら変わりはないないため、やはり、現場の作業員にとって必ずしも使い勝手がよいとは言えない。

一方、特許文献１に記載されたシステムでは、携帯型の情報処理端末を用いているため、装置を直接撮像した結果に基づいて装置の状況を取得することができる。しかしながら、このシステムでは、報知情報については、予め内容と表示形態とが定められていると考えられるため、ユーザが必要とする情報を適宜選択して、当該情報を好みの位置に表示させるといったことができない。このため、故障個所の特定などのためには、実際の機器との情報の関連について記憶に頼ったり、リファレンスを見たりする必要がある。

さらに、ＡＲ技術を利用したアプリケーション開発には、高級言語によるプログラミング技術に加えて、装置と携帯端末装置との間で相互に交換する技術が必要になるため、アプリケーション開発の担当者には複雑多岐にわたる技術が要求される。

本発明は上記の問題点を解決するためになされたものであり、その目的は、携帯端末装置においてＡＲ技術を利用したＨＭＩ（Human Machine Interface）を高級言語によるプログラミング技術を持たないユーザが自由に作成できるようにすることにある。

上記の課題を解決するために、本発明に係る画像データ作成装置は、背景画像の背景画像データに、装置を撮影した装置画像の装置画像データを、前記装置を特定するために参照する参照画像の参照画像データとして設定するとともに、前記装置画像の上に配置される動的部品画像の動的部品画像データを当該動的部品画像の配置位置を特定して前記参照画像データに設定する画像設定手段と、携帯端末装置がアクセスする制御データを記憶するメモリの記憶領域を指定するアドレスを、前記アドレスを代替するアドレス代替情報を伴って前記動的部品画像データに対応付けるとともに、前記アドレス代替情報を前記アドレスの代わりに表示するためのアドレス表示データを作成するアドレス設定手段とを備えていることを特徴としている。

上記の構成では、画像設定手段により設定された装置画像（参照画像）が、携帯端末装置により撮像される実画像の装置であることを、ＡＲ技術を利用して特定するための画像として利用される。また、画像設定手段により、参照画像データの特定の位置に動的部品画像データが設定されるとともに、アドレス設定手段により、当該動的部品画像データが参照および書き込みを行う制御データが記憶された記憶領域のアドレスおよびアドレス代替情報が設定されるとともに、アドレス表示データが作成される。このように、装置画像データ（参照画像データ）と、動的部品画像データと、アドレス（アドレス代替情報）とを組み合わせることにより、アドレスが対応付けられた動的部品画像を装置画像上に表示する監視・操作可能なインターフェース画像を作成するためのツールとして利用することができる。

また、本発明に係る携帯端末装置に以下の特徴を持たせることによって、携帯端末装置において、表示データを作成することができる。

本発明に係る携帯端末装置は、画像データ作成装置によって設定された、前記参照画像データ、前記動的部品画像データおよび前記アドレスを用いて、前記制御データにアクセスするための表示データを作成する携帯端末装置であって、前記装置を撮像する撮像部と、前記撮像部によって撮像された前記装置の実画像が前記参照画像と一致すると認識すると、前記アドレス表示データに基づいて前記アドレス代替情報を表示するための表示処理を行なうアドレス代替情報表示処理手段と、前記アドレス代替情報表示処理手段の表示処理によって表示されたアドレス代替情報を指定することにより、当該アドレス代替情報に対応する前記アドレスが選択されたときに、前記動的部品画像の一覧を表示するための表示処理を行う部品画像一覧表示処理手段と、前記一覧から選択された前記動的部品画像の前記動的部品画像データに対応付けられた前記アドレスを指定して前記制御データが取得できると、当該動的部品画像データを前記表示データに設定する部品画像設定手段とを備えていることを特徴としている。

アドレス表示データは、あらかじめ、画像データ作成装置によって、装置画像上の特定の位置に表示すべきアドレス代替情報を表示されるために作成される。アドレス表示データは、アドレスの代わりにアドレス代替情報を表示するためのデータである。アドレス代替情報は、例えば、複数あるいは単一の制御データを操作者が理解しやすいように付け加えた後述のコメントなどの情報である。

また、携帯端末装置は、アドレス代替情報表示処理手段、部品画像一覧表示処理手段および部品画像設定手段を備えている。これらの各手段や、アドレス表示データは、必要に応じて、携帯端末装置に動的にインストールされればよいため、同一のネットワークに接続された、ＰＣ、サーバ、プログラマブル表示器などに保存でき、送受信機能を持たせたこれらの機器のいずれかに記憶されておればよい。当然、上記各手段やアドレス表示データは、携帯端末装置にあらかじめ転送されて保持されていてもよい。

携帯端末装置は、上記各手段を備えることにより、表示データ作成モードで動作する。

表示データ作成モードにおいては、携帯端末装置で装置画像を撮像した際に、アドレス代替情報表示処理手段により、携帯端末装置の撮像部によって撮像された装置の実画像が装置画像（参照画像）と一致すると認識されると、装置の実画像上の特定の位置に、アドレスを選択するために、アドレス表示データに基づいて、アドレス代替情報が表示される。表示されたアドレス代替情報から一つが指定されることにより、対応するアドレスが選択されると、部品画像一覧表示処理手段により、当該アドレスに対応した動的部品画像の一覧が表示される。表示された動的部品画像の一覧から一つの動的部品画像が選択されると、部品画像設定手段により、選択された動的部品画像に対応するアドレスを指定して制御データが取得できると、当該動的部品画像が表示データに設定される。これにより、動的部品画像が動的表示を行うための制御データにアクセスするための表示データを携帯端末装置において完成させることができる。

このように、あらかじめアドレス表示データに基づいてアドレス代替情報のみを表示し、アドレス代替情報に基づいて動的部品画像をユーザが選択することを可能にする表示データ作成機能を携帯端末装置に持たせることにより、表示データが作成される。それゆえ、携帯端末装置のユーザは、画像データ作成装置で行われたような、装置画像データ、動的部品画像データおよびアドレスの設定を意図せず、簡易に表示データを作成することができる。

一方、本発明に係る他の携帯端末装置に以下の特徴を持たせることによって、携帯端末装置において、監視・操作機能を備えることができる。

本発明に係る他の携帯端末装置は、前記携帯端末装置によって作成された前記表示データを用いて前記制御データにアクセスする携帯端末装置であって、前記装置を撮像する撮像部と、前記撮像部によって撮像された前記装置の実画像が前記参照画像と一致すると認識すると、前記表示データに設定されている前記動的部品画像データに基づいて前記実画像上に前記動的部品画像を表示するための表示処理を行う部品画像表示処理手段と、前記部品画像表示処理手段の表示処理によって表示された前記動的部品画像に対応する前記制御データに、前記動的部品画像データに対応付けられた前記アドレスを指定してアクセスするデータアクセス手段とを備えていることを特徴としている。

携帯端末装置は、上記各手段を備えることにより、監視・操作モードで動作する。

監視・操作モードにおいては、部品画像表示処理手段により、装置の実画像が装置画像（参照画像）と一致すると認識されると、作成された表示データ（アドレスと動的部品画像データとの対応付け）に基づいて、動的部品画像が実画像上に表示される。また、データアクセス手段により、表示された動的部品画像に対応する前記制御データに対して、動的部品画像データに対応付けられたアドレスを指定してアクセスが行われる。このように、表示データを用いて操作者のためのインターフェース画像を表示させることができる。

なお、表示データ作成モードで使用する携帯端末装置と、監視・操作モードで使用する携帯端末装置とは、同じであってもよいし、異なっていてもよい。

本発明は、上記のように構成されることにより、携帯端末装置においてＡＲ技術を利用したＨＭＩを高級言語によるプログラミング技術を持たないユーザが自由に作成することができるという効果を奏する。

本発明の一実施形態１に係る表示データ作成システムおよび制御システムの構成を示すブロック図である。 上記表示データ作成システムにおけるパーソナルコンピュータで基礎画像データを作成する一工程であって、装置画像を配置する工程を示す図である。 上記基礎画像データを作成する一工程であって、配置された上記装置画像にオブジェクト名を設定する工程を示す図である。 上記基礎画像データを作成する一工程であって、上記装置画像上にマーカを配置する工程を示す図である。 上記基礎画像データを作成する一工程であって、上記装置画像上に部品画像を配置する工程を示す図である。 上記表示データ作成システムおよび上記制御システムの利用形態を示す図である。

〔実施形態〕
本発明の一実施形態を図１〜図６に基づいて説明すれば、以下の通りである。

図１は、本実施形態に係る表示データ作成システム１０Ａおよび制御システム１０Ｂの構成を示すブロック図である。

図１に示すように、表示データ作成システム１０Ａは、携帯端末装置２に提供する基礎画像データ（後述）を作成するパーソナルコンピュータ（図中「ＰＣ」にて示す）１と、基礎画像データに基づいてＡＲ表示データ（後述）を作成するとともにＡＲ表示を行う携帯端末装置２と、基礎画像データおよびＡＲ表示データを保存するサーバ３とを備えている。一方、制御システム１０Ｂは、制御装置としてのＰＬＣ４と、ＰＬＣ４の操作・表示端末としてのプログラマブル表示器５と、ＰＬＣ４およびプログラマブル表示器５と携帯端末装置２とを無線接続するワイヤレスネットワーク６と、ＰＬＣ４の制御対象となる装置７とを備えている。また、制御システム１０Ｂは、サーバ３と、サーバ３から提供されるＡＲ表示データを用いて装置７とのインターフェースを実現する携帯端末装置２とを備えている。プログラマブル表示器５は、ＰＣ１およびＰＬＣ４と通信可能に接続されている。

まず、表示データ作成システム１０Ａを構成するＰＣ１と、表示データ作成システム１０Ａおよび制御システム１０Ｂを構成する携帯端末装置２およびサーバ３とについて説明する。後述するように、携帯端末装置２およびサーバ３は、ＡＲ表示データの作成時に利用されることから、表示データ作成システム１０Ａに含まれる一方、ＡＲ表示データを用いてアドレスを指定して行う制御データへのアクセスにも利用されることから、制御システム１０Ｂにも含まれる。

パーソナルコンピュータ（以降、単に「ＰＣ」と称する）１は、ＣＰＵ、メモリ、記憶装置（ＨＤＤやＳＳＤなど）、通信インターフェースなどを備えるとともに、ＯＳ（Operating System）が実装されている汎用のコンピュータである。また、ＰＣ１（画像データ作成装置）は、基礎画像データを作成する画像データ作成部１１と、当該基礎画像データを記憶する記憶部１２と、記憶部１２に記憶された基礎画像データをサーバ３に送信する送信部１３と、表示用のモニタ１４と、入力操作を行う入力装置１５とを有している。

画像データ作成部１１は、携帯端末装置２でＡＲ表示データ（表示データ）を作成するための基礎となる基礎画像データを作成する。画像データ作成部１１は、基礎画像データを作成するために、装置７を撮影した画像（装置画像）のデータ（装置画像データ）と動的部品画像データ（後述）とを背景画像データ（後述）に設定する画像データ設定部１６と、設定された動的部品画像データに対応させるアドレスを設定するアドレス設定部１７とを含んでいる。

画像データ設定部１６（画像設定手段）は、予め登録されている装置画像データから選択された少なくとも１つを、ベース（背景）となる背景画像のデータ（背景画像データ）に装置画像データを設定する。また、画像データ設定部１６は、装置画像上に配置される部品の画像（動的部品画像）のデータ（動的部品画像データ）を少なくとも１つ装置画像データに設定する。動的部品画像は、特定の機能を有する部品（スイッチ、ランプ、メーターなど）を表し、動的に表示状態が変化する。

アドレス設定部１７（アドレス設定手段）は、装置画像データに設定された部品画像データのそれぞれに、ＰＬＣ４のメモリ４１（後述）またはプログラマブル表示器５におけるメモリ５１（後述）のアドレスおよびアドレス代替情報を設定する。また、アドレス設定部１７は、アドレスおよびアドレス代替情報を部品画像データに設定するとともに、アドレスと対応付けられたアドレス代替情報をリストで携帯端末装置２表示させるためのアドレス表示データを作成する。アドレス代替情報は、ユーザがアドレスを認識（理解）しやすいようにアドレスの代わりにユーザに提示される情報であり、アドレスに付与される。アドレス代替情報としては、アドレスで指定される記憶領域に記憶された制御データについてのコメント、当該制御データによって制御足される制御対象（タンク温度など）の名称のようにユーザの認識しやすい形態の情報が用意される。

アドレス設定部１７は、１つのアドレスについて複数の動的部品画像データを設定することを可能にしている。これにより、後述するように、携帯端末装置２におけるＡＲ表示データの作成時に、選択された１つのアドレスに対して、複数の動的部品画像データから１つを選ぶことができる。

続いて、携帯端末装置２について説明する。

携帯端末装置２は、タブレット端末のように、無線通信機能、撮像機能、表示機能および入力機能を基本機能として備えた端末機器である。携帯端末装置２は、これらの基本機能を実現するために、サーバ３およびワイヤレスネットワーク６との間で無線通信する送受信部２１と、被写体を撮像する撮像部２２と、画像を表示する表示パネル２３と、表示パネル２３上でタッチ入力を受け付けるタッチパネル２４とを備えている。

また、携帯端末装置２は、装置７を撮像しているときに装置７のＰＬＣ４およびプログラマブル表示器５に記憶されているデータにアクセスする動作をＡＲ（Augmented Reality）表示を用いて行うとともに、そのＡＲ表示を行うためのＡＲ表示データを上述の基礎画像データを用いて作成する。携帯端末装置２は、このＡＲ表示およびＡＲ表示データの作成を行うために、ＡＲ処理部２５と、記憶部２６とを備えている。

ＡＲ処理部２５は、ＡＲ表示データを作成するＡＲ表示データ作成部２７と、ＡＲ表示データに基づいてＡＲ表示を行うＡＲ制御部２８とを有している。

ＡＲ表示データ作成部２７は、サーバ３に保存されている基礎画像データと、撮像部２２が装置を撮像した結果として得られた撮像データとに基づいて、ＡＲ表示データを作成する。

具体的には、ＡＲ表示データ作成部２７（アドレス代替情報表示処理手段）は、装置７が撮像されていることを上記の撮像データに基づいて認識すると、撮像されている装置７の画像（実画像）上にアドレス代替情報をリストで表示する表示処理を、基礎画像データに含まれているアドレス表示データに基づいて行って、実画像およびアドレス代替情報のリストを表示パネル２３に表示させる。ＡＲ表示データ作成部２７（部品画像一覧表示処理手段）は、リストからユーザに選択されたアドレス代替情報に応じた動的部品画像の一覧を表示するように表示パネル２３に指示する。また、ＡＲ表示データ作成部２７（部品画像設定手段）は、一覧から選択された動的部品画像を実画像上の設定された位置に表示するとともに、当該動的部品画像に対応するアドレスのメモリを有する機器と通信して、当該アドレスの制御データにアクセスできた動的部品画像の動的部品画像データを設定したＡＲ表示データを作成する。

ＡＲ制御部２８（部品画像表示処理手段）は、装置７が撮像されていることを上記の撮像データに基づいて認識すると、作成されたＡＲ表示データに設定されている動的部品画像データに基づいて、表示パネル２３に表示されている装置７の実画像上の設定された位置に、設定された動的部品画像を表示する。また、ＡＲ制御部２８（データアクセス手段）は、表示した動的部品画像に対するタッチがタッチパネル２４によって検知されると、ＰＬＣ４またはプログラマブル表示器５と通信し、当該動的部品画像に対応するアドレスを指定することにより、当該アドレスで特定される、メモリ４１またはメモリ５１などの記憶領域に記憶された制御データにアクセスする。

記憶部２６は、ＡＲ表示データ作成部２７によって作成されたＡＲ表示データを一時保存するために設けられている。また、記憶部２６は、ＡＲ制御部２８による処理が実行されるときに、サーバ３から読み込んだＡＲ表示データを記憶するために設けられている。

続いて、サーバ３について説明する。

サーバ３は、ＰＣ１によって作成された基礎画像データと、携帯端末装置２によって作成されたＡＲ表示データとを保存するサーバコンピュータである。サーバ３は、ＰＣ１および携帯端末装置２と通信する送受信部３１と、基礎画像データおよびＡＲ表示データを記憶する記憶部３２とを有している。送受信部３１は、携帯端末装置２と無線通信するために、無線通信機能（例えば無線ＬＡＮ通信機能）を備えていてもよいし、無線通信機器（例えば無線ＬＡＮルータ）と接続されていてもよい。あるいは、送受信部３１は、ワイヤレスネットワーク６と通信接続可能に構成されていてもよい。

続いて、ＰＬＣ４およびプログラマブル表示器５について説明する。

ＰＬＣ４は、制御対象となる装置７の動作を規定するロジックプログラムにしたがって装置７を制御する制御機器である。また、ＰＬＣ４は、装置７に設けられた各種の機器（モータなどの出力機器およびセンサなどの入力機器）の制御データを記憶するメモリ４１を有している。

プログラマブル表示器５は、ＰＬＣ４の操作・表示用の端末として設けられる専用のコンピュータであり、ＨＭＩ（Human Machine Interface）機器として好適に使用される。また、プログラマブル表示器５は、プログラマブル表示器５への操作で発生した制御データ、ＰＬＣ４やプログラマブル表示器５に接続されている他の機器から取得した制御データなどを記憶するために設けられたメモリ５１を有している。

プログラマブル表示器５は、無線通信機能を有する送受信部５２を備えており、ワイヤレスネットワーク６を介して携帯端末装置２と通信することが可能である。ＰＬＣ４は、送受信部４２を有することにより、プログラマブル表示器５と相互に通信することで、プログラマブル表示器５を中継して携帯端末装置２と制御データの交換が可能である。また、制御システム１０Ｂは、ワイヤレスネットワーク６に接続できる送受信部８２を有するＰＬＣ８を備えていてもよい。このようなＰＬＣ８は、携帯端末装置２と直接通信するよう構成されている。あるいは、ＰＬＣ４およびプログラマブル表示器５は、無線通信機能を備える代わりに、無線通信機器（例えば無線ＬＡＮルータ）と接続されていてもよい。

ワイヤレスネットワーク６は、無線ＬＡＮなどの無線通信のネットワークである。このワイヤレスネットワーク６は、アクセスポイント（図中「ＡＰ」にて示す）６１，６２を含んでいる。アクセスポイント６１は、携帯端末装置２の通信エリアに配置されており、アクセスポイント６２は、ＰＬＣ４およびプログラマブル表示器５の通信エリアに配置されている。

ここで、上記のように構成される表示データ作成システム１０ＡにおけるＰＣ１による基礎画像データの作成の動作、表示データ作成システム１０Ａにおける携帯端末装置２によるＡＲ表示データの作成の動作、および制御システム１０Ｂの動作について説明する。

図２〜図５は、ＰＣ１による基礎画像データの作成の各工程を示す図である。図６は、表示データ作成システム１０Ａおよび制御システム１０Ｂの利用形態を示す図である。

まず、ＰＣ１による基礎画像データの作成の動作から説明する。

画像データ作成部１１における画像データ設定部１６は、図２に示すように、画像作成ウインドウ１００をモニタ１４にＧＵＩ（Graphical User Interface）として表示する。画像作成ウインドウ１００は、上述の背景画像を表示する単一色の背景画像表示領域１０１と、予め登録されている装置画像および動的部品画像のアイコンを表示するライブラリ領域１０２とを有している。

図２に示すように、ユーザが、入力装置１５を用いて、ライブラリ領域１０２から装置７の一部（監視対象箇所）の装置画像ＯＢＪを示すアイコンをドラッグして背景画像表示領域１０１における所望の位置でドロップする。画像データ設定部１６は、この操作を受けて、背景画像表示領域１０１上にオブジェクトとして装置画像ＯＢＪを表示する。

この状態から、図３に示すように、画像データ設定部１６は、オブジェクト情報入力ウインドウ１０３を装置画像ＯＢＪ上に表示する。このオブジェクト情報入力ウインドウ１０３には、所定の接頭辞を有する、装置画像ＯＢＪに固有のオブジェクト名がユーザによって入力される。接頭辞は、オブジェクトの種類を特定するものであり、装置画像ＯＢＪのようにＡＲ表示に利用されるオブジェクトについては、例えば「ＡＲ」が用いられる。画像データ設定部１６は、オブジェクト情報入力ウインドウ１０３に入力されたオブジェクト名を装置画像ＯＢＪに設定する。

また、図示はしないが、装置７の全体を表す装置画像ＯＢＪを用いてもＡＲ表示をさせる監視対象を装置７の一部とする場合、その一部を示す箇所を特定する必要がある。このため、画像データ設定部１６は、ライブラリ領域１０２から背景画像表示領域１０１へドラッグアンドドロップする操作により、矩形状の動的部品画像が該当箇所に配置されると、その箇所をＡＲ表示させる部分として設定する。

必要に応じて、図４に示すように、ライブラリ領域１０２から背景画像表示領域１０１へアイコンをドラッグアンドドロップする操作により、マーカの画像であるマーカ画像１０４がユーザの所望の箇所に配置される。画像データ設定部１６は、この操作を受けて、マーカ画像１０４をマーカとして認識される部分として設定する。また、画像データ設定部１６は、マーカ画像１０４に対してオブジェクト情報入力ウインドウ１０３を装置画像ＯＢＪ上に表示し、オブジェクト情報入力ウインドウ１０３にユーザによって入力されたマーカＩＤをマーカ画像１０４に設定する。

次に、図５に示すように、ライブラリ領域１０２から背景画像表示領域１０１へアイコンをドラッグアンドドロップする操作により、動的部品画像１０５がユーザの所望の箇所に配置される。画像データ設定部１６は、この操作を受けて、動的部品画像の動的部品画像データを当該動的部品画像の配置位置とともに装置画像ＯＢＪに設定する。また、画像データ設定部１６は、動的部品画像１０５に対して属性入力ウインドウ１０６を装置画像ＯＢＪ上に表示し、属性入力ウインドウ１０６にユーザによって入力された動的部品画像１０５に関する各種の属性を動的部品画像１０５に設定する。

そして、図示はしないが、アドレス設定部１７は、動的部品画像１０５（動的部品画像データ）に対してアドレスを設定するためのアドレス設定ウインドウを装置画像ＯＢＪ上に表示し、アドレス設定ウインドウにユーザによって入力されたアドレスを動的部品画像データに設定する。具体的には、アドレス設定部１７は、ユーザによって動的部品画像データについて入力されたアドレスと当該アドレスに対応するアドレス代替情報とを動的部品画像データに設定する。アドレスを動的部品画像データに設定するのみでは、携帯端末装置２においてアドレスを選択する際に、ユーザが、アクセスするデータの種別を認識しにくい。そこで、アドレス代替情報も動的部品画像データに設定することにより、携帯端末装置２においてアドレスを選択する際に、データの種別を認識しやすいようなアドレス代替情報を付与することができる。また、図６に示すように、アドレス設定部１７は、上記のように部品画像データにアドレスおよびアドレス代替情報を設定することにより、アドレス表示データを作成し、当該アドレス表示データに基づいて、装置画像ＯＢＪ上にリスト１０７によりアドレス代替情報を表示する。

上記のようにして、装置画像データおよび動的部品画像データが設定されるとともに、動的部品画像データにアドレスが設定されると、画像データ作成部１１は、これらの設定を含む背景画像を基礎画像データとして記憶部１２に保存する。また、画像データ作成部１１は、ユーザの指示を受けて、基礎画像データを記憶部１２から読み出して、送信部１３にサーバ３へ送信させる。サーバ３は、ＰＣ１から送信された基礎画像データを送受信部３１で受信して、記憶部３２に保存する。

引き続き、携帯端末装置２によるＡＲ表示データの作成（ＡＲ表示データ作成モード）の動作について説明する。

まず、ＡＲ表示データ作成モードにおいて、携帯端末装置２は、作業者の指示を受けて、基礎画像データをサーバ３から記憶部２６にダウンロードする。この状態で、図６に示すように、作業者が携帯端末装置２（撮像部２２のカメラ）を装置７のターゲット箇所７ａに向けると、携帯端末装置２の撮像部２２に撮像されているターゲット箇所７ａの実画像が表示パネル２３に表示される。ＡＲ表示データ作成部２７は、記憶部２６における基礎画像データに含まれる装置画像データ（参照画像データ）を参照して、現在表示されている実画像が、装置画像データにより示される装置画像（参照画像）と一致しているか否かを判定する。この判定において、ＡＲ表示データ作成部２７は、基礎画像データに含まれている位置合わせのデータを参照して、基礎画像データで表される装置画像のサイズや位置を補正して、実画像と補正した装置画像との類似性を確認する。これにより、両画像の間にサイズや位置のずれが生じていても、上記の補正により、装置画像のサイズや位置を実画像のサイズや位置に近づけることができるので、上記の判定を容易にすることができる。

ＡＲ表示データ作成部２７は、両画像が一致していると判定（認識）すると、図６に示すように、そのときの実画像を静止画像の表示画像２００として表示するとともに、表示画像２００上の特定の位置にリスト２０１を表示するように表示パネル２３を制御する。ＡＲ表示データ作成部２７は、このリスト２０１を、基礎画像データに含まれるアドレス表示データに基づいて、上述のリスト１０７と同一の形式でアドレス代替情報を選択項目として表示パネル２３に表示させる。

作業者がリスト２０１上の所望の名称をタッチすると、ＡＲ表示データ作成部２７は、基礎画像データを参照して、当該名称に対応付けられた動的部品画像データを基礎画像データから取得して、動的部品画像データに基づいて動的部品画像を表示パネル２３に一覧表示させる（図示せず）。作業者が、その一覧から所望の動的部品画像を選択すると、ＡＲ表示データ作成部２７は、選択された動的部品画像２０２，２０３を、表示画像２００上の基礎画像データに設定された位置に表示すると、リスト２０１の表示を停止する。

ＡＲ表示データ作成部２７は、当該動的部品画像に対応するアドレスで記憶領域が指定されるメモリ４１を有するＰＬＣ４（メモリ８１を有するＰＬＣ８であってもよい）または同様のメモリ５１を有するプログラマブル表示器５とワイヤレスネットワーク６を介して通信する。また、ＡＲ表示データ作成部２７は、当該アドレスの制御データにアクセスできれば、当該動的部品画像を有効な動的部品画像として、その動的部品画像データを表示位置とともに表示画像２００の画像データに設定する。表示画像２００は、携帯端末装置２が装置７のターゲット箇所７ａを撮像したときに表示パネル２３に表示される実画像（ターゲット箇所７ａに部品２０２，２０３が拡張表示される画像）を示すものである。そこで、ＡＲ表示データ作成部２７は、上記の表示画像２００の画像データを、ＡＲ表示データとして記憶部２６に一旦保存し、保存した当該ＡＲ表示データを必要に応じて記憶部２６から読み出して、送受信部２１にサーバ３へ送信させてアップロードする。これにより、ＡＲ表示データは、サーバ３に保存され、他者が利用できる環境におかれる。

最後に、携帯端末装置２による装置７の監視・操作（監視・操作モード）の動作を含む制御システム１０Ｂの動作について説明する。

まず、携帯端末装置２は、作業者の指示を受けて、ＡＲ表示データをサーバ３から記憶部２６にダウンロードする。この状態で、図６に示すように、作業者が携帯端末装置２（撮像部２２のレンズ）を装置７のターゲット箇所７ａに向けると、携帯端末装置２の撮像部２２に撮像されているターゲット箇所７ａの実画像が表示パネル２３に表示される。ＡＲ制御部２８は、記憶部２６における基礎画像データを参照して、実画像が、ＡＲ表示データで表される表示画像２００と一致していると判断（認識）すると、そのときのターゲット箇所７ａの画像を静止画像の表示画像３００として表示する。また、ＡＲ制御部２８は、表示画像３００上に、表示画像２００で表示された位置と同じ位置に動的部品画像２０２，２０３を表示する。

動的部品画像２０２は、ランプであり、ターゲット箇所７ａにおいて動的部品画像２０２が配置される機器の動作状態を表示することができる。例えば、動的部品画像２０２は、通常の動作状態では緑色で点灯し、異常状態（アラーム状態）では赤色で点灯する。ＡＲ制御部２８は、装置７に接続されるＰＬＣ４のメモリ４１において、動的部品画像２０２に対応するアドレスで指定される記憶領域の制御データ（ビットデータ）を取得して、当該制御データに基づいて動的部品画像２０２の表示状態を切り替える。

一方、動的部品画像２０３は、速度計であり、ターゲット箇所７ａにおいて動的部品画像２０３が配置される機器の速度（回転速度など）を表示することができる。ＡＲ制御部２８は、装置７に接続されるＰＬＣ４のメモリ４１において、動的部品画像２０３に対応するアドレスで指定される記憶領域の制御データ（数値データ）を取得して、当該制御データに基づいて動的部品画像２０３の表示状態（メータ表示）を変更する。

このように、ＡＲ制御部２８によれば、プログラマブル表示器５やＰＬＣ８で管理されている制御データを取得して、動的部品画像２０２，２０３の表示状態に反映させることにより、装置７の状態を監視することができる。

図示はしないが、オン・オフスイッチが動的部品画像として表示画像３００に表示される場合、ＡＲ制御部２８は、装置７に接続されるＰＬＣ４のメモリ４１において、当該動的部品画像に対応するアドレスで指定される記憶領域の制御データ（ビットデータ）を、動的部品画像に対する操作に応じて書き替えるとともに、当該制御データに基づいて動的部品画像の表示状態（オン状態表示またはオフ状態表示）を変更する。このように、ＡＲ制御部２８によれば、動的部品画像を用いた制御データを変更することで、制御データの変更を伴う装置７の操作も可能となる。

また、図示はしないが、数値設定器が動的部品画像として表示画像３００に表示される場合、ＡＲ制御部２８は、装置７に接続されるＰＬＣ４のメモリ４１において、当該動的部品画像に対応するアドレスで指定される記憶領域の制御データ（数値データ）を、動的部品画像に設定された制御データに書き替える。このように、ＡＲ制御部２８によれば、動的部品画像を用いた制御データを変更することで、制御データの変更を伴う装置７の操作も可能となる。

また、ＡＲ制御部２８は、上述のマーカ画像１０４（図４参照）に対応するマーカ画像が表示画像３００上に表示されている場合、当該マーカ画像を認識すると、当該マーカ画像の位置に所定の付加情報を表示する。付加情報は、携帯端末装置２の記憶部２６に記憶されていてもよいし、サーバ３などの、携帯端末装置２とワイヤレスネットワーク６を介して無線通信可能な機器に記憶されていてもよい。

以上のように、本実施形態に係る表示データ作成システム１０Ａにおいて、ＰＣ１が画像データ作成部１１を備え、携帯端末装置２がＡＲ表示データ作成モードを実行するＡＲ表示データ作成部２７を備えている。これにより、ＰＣ１において、ＡＲ制御部２８が検知できる装置画像、および動的部品画像とアドレスとの対応付けを基礎画像データとして作成しておくことで、ＡＲ表示データ作成モードにおいて、携帯端末装置２では、この基礎画像データを参照して、ＡＲ表示に用いるＡＲ表示データが作成される。したがって、作業者は、携帯端末装置２において、予め用意された動的部品画像から所望の動的部品画像を選択するだけで、アドレスの制御データにアクセスできるＡＲ表示データを作成することができる。

また、本実施形態に係る制御システム１０Ｂにおいて、携帯端末装置２がＡＲ監視・操作モードを実行するＡＲ制御部２８を備えている。これにより、ＡＲ監視・操作モードにおいて、作業者は、作成されたＡＲ表示データを用いて、ＰＬＣ４やプログラマブル表示器５と通信することで、携帯端末装置２からメモリ４１やメモリ５１におけるアドレスで指定される記憶領域のデータにアクセスすることができる。一方、作業者にとっては、装置７を見ながら携帯端末装置２を操作していることから、データが装置７から携帯端末装置２に直接送信されるように見えるので、より直感的な操作が可能となる。

上記の基礎画像データおよびＡＲ表示データは、サーバ３に保存されている。これにより、基礎画像データの作成者と、ＡＲ表示データの作成者と、ＡＲ表示データの利用者とがそれぞれ異なる場合でも、サーバ３において基礎画像データおよびＡＲ表示データを共通の資産として利用することができる。

ＡＲ監視・操作モードにおいては、携帯端末装置２が装置７（例えばターゲット箇所７ａ）の実画像を参照するので、装置７に携帯端末装置２を向けるだけで、装置７において故障が発生している箇所などを特定することができる。故障個所をその箇所の名称で表示するよりも、故障個所を強調表示するなどすれば、よりわかりやすくできる。

例えば、あるアドレスの記憶領域のビットデータがオンすると、当該アドレスと対応付けられた特定の箇所に、赤く薄いスクリーンを表示したり、縁取りを表示したりする。このために、これらの表示形態を動的部品画像として用意しておく。また、配線の切断も、配線の動的部品画像を用意しておくことにより、切断箇所を赤く表示するなどして容易にその位置を確認することができる。これに対し、従来、配線には番号や名称が付与されており、当該配線が切断すると、番号や名称を表示して切断を報知していたが、番号や名称から配線の位置を探し出さなければならなかった。

このように、携帯端末装置２が実際の装置７の画像を参照してアドレスの制御データにアクセスすることから、制御システム１０Ｂは、トラブル発生時にオンデマンドで利用することに適している。

ＡＲの応用は、現状では、画像情報を解析するエンジンを使いこなせ、撮像した画像に重ねるデータを構成することができ、ＡＲ表示のための条件情報を作成することができるハイレベルのエンジニアでないと対応できない。これに対し、本実施形態の表示データ作成システム１０Ａおよび制御システム１０Ｂでは、あらかじめＰＣ１において作成されたアドレス表示データを用いることにより、高級言語によるプログラミング技術を持たないユーザによってＡＲ表示データを作成することができ、このＡＲ表示データを用いて表示する画像に基づいて、監視・操作を行うことができる。これにより、携帯端末装置２がデータを記憶しているＰＬＣ４やプログラマブル表示器５と通信するので、その制御データと動的部品画像とをアドレスで関連付けることにより、撮像した画像上に拡張情報として動的部品画像を表示することができる。

〔ソフトウェアによる実現例〕
ＰＣ１の画像データ作成部１１および携帯端末装置２のＡＲ処理部２５は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。

後者の場合、ＰＣ１および携帯端末装置２は、各機能を実現するプログラムの命令を実行するＣＰＵ、当該プログラムおよび各種データがＣＰＵで読み取り可能に記録されたＲＯＭまたは記憶装置（記録媒体）、上記プログラムを展開するＲＡＭなどを備えている。そして、ＣＰＵが上記プログラムを上記記録媒体から読み取って実行する。上記記録媒体としては、「一時的でない有形の媒体」を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークなど）を介してＰＣ１および携帯端末装置２に供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

特に、ＡＲ処理部２５を実現するプログラムは、タブレット端末のような携帯端末装置２に実装されるため、アプリケーションプログラムを提供する一般的なサイトなどから入手できるようにしてもよい。また、アドレス表示データを含む基礎画像データ、ＡＲ処理部２５を実現するプログラムなどは、必要に応じて、携帯端末装置２に動的にインストールされればよいため、同一のワイヤレスネットワーク６に接続された、ＰＣ１、サーバ３、プログラマブル表示器５などの送受信機能を有する機器のいずれかに記憶されておればよい。あるいは、アドレス表示データを含む基礎画像データ、ＡＲ処理部２５を実現するプログラムなどは、携帯端末装置２にあらかじめ転送してインストールされていてもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、携帯端末装置を用いた監視用の画像の作成および当該画像を用いた装置の監視を行う用途に好適に利用することができる。

１ ＰＣ（画像データ作成装置）
２ 携帯端末装置
７ 装置
１０Ａ 表示データ作成システム
１０Ｂ 制御システム
１１ 画像データ作成部
１６ 画像データ設定部（画像設定手段）
１７ アドレス設定部（アドレス設定手段）
２２ 撮像部
２７ ＡＲ表示データ作成部（表示処理手段，部品画像一覧表示処理手段，部品画像設定手段）
２８ ＡＲ制御部（部品画像表示処理手段，データアクセス手段）
４１ メモリ
５１ メモリ

Claims (3)

1. 背景画像の背景画像データに、装置を撮影した装置画像の装置画像データを、前記装置を特定するために参照する参照画像の参照画像データとして設定するとともに、前記装置画像の上に配置される動的部品画像の動的部品画像データを当該動的部品画像の配置位置を特定して前記参照画像データに設定する画像設定手段と、
   携帯端末装置がアクセスする制御データを記憶するメモリの記憶領域を指定するアドレスを、前記アドレスを代替するアドレス代替情報を伴って前記動的部品画像データに対応付けるとともに、前記アドレス代替情報を前記アドレスの代わりに表示するためのアドレス表示データを作成するアドレス設定手段とを備えていることを特徴とする画像データ作成装置。
2. 請求項１に記載の画像データ作成装置によって設定された、前記参照画像データ、前記動的部品画像データおよび前記アドレスを用いて、前記制御データにアクセスするための表示データを作成する携帯端末装置であって、
   前記装置を撮像する撮像部と、
   前記撮像部によって撮像された前記装置の実画像が前記参照画像と一致すると認識すると、前記アドレス表示データに基づいて前記アドレス代替情報を表示するための表示処理を行なうアドレス代替情報表示処理手段と、
   前記アドレス代替情報表示処理手段の表示処理によって表示されたアドレス代替情報を指定することにより、当該アドレス代替情報に対応する前記アドレスが選択されたときに、当該アドレスに対応した前記動的部品画像の一覧を表示するための表示処理を行う部品画像一覧表示処理手段と、
   前記一覧から選択された前記動的部品画像の前記動的部品画像データに対応付けられた前記アドレスを指定して前記制御データが取得できると、当該動的部品画像データを前記表示データに設定する部品画像設定手段とを備えていることを特徴とする携帯端末装置。
3. 請求項２に記載の携帯端末装置によって作成された前記表示データを用いて前記制御データにアクセスする携帯端末装置であって、
   前記装置を撮像する撮像部と、
   前記撮像部によって撮像された前記装置の実画像が前記参照画像と一致すると認識すると、前記表示データに設定されている前記動的部品画像データに基づいて前記実画像上に前記動的部品画像を表示するための表示処理を行う部品画像表示処理手段と、
   前記部品画像表示処理手段の表示処理によって表示された前記動的部品画像に対応する前記制御データに、前記動的部品画像データに対応付けられた前記アドレスを指定してアクセスするデータアクセス手段とを備えていることを特徴とする携帯端末装置。