JP2020201840A - 表示プログラム、表示方法および情報処理装置 - Google Patents

Abstract

【課題】ユーザの機器に関する情報提示を行うこと。【解決手段】本発明の情報処理装置２００は、機器の状態を判定可能な機器の箇所を示す第１画像を端末装置の画面に表示する。情報処理装置２００は、機器の箇所を撮影範囲に含む撮影装置によって撮影された第２画像を取得する。情報処理装置２００は、第２画像に含まれる箇所の特徴に対応付けられる少なくとも一つの第３画像を判定し、判定した第３画像を端末装置の画面に表示する。【選択図】図１

Description

本発明は、表示プログラム等に関する。

従来、サポートデスクのエージェントは、製品に発生した不具合等に関するユーザからの問合せに対して電話対応を行っている。ユーザからの問合せは増加傾向にあり、エージェントが電話対応にかける時間を確保することや、エージェントの負担を軽減することを目的として、チャットボットによるサービスも開始されている。

特開２０１０−２１８３５９号公報 特開２０１５−９７０６９号公報

しかしながら、チャットボットによる対応では、ユーザからの問合せに対してユーザレベルに沿っての対応ができずに適切な回答できないことが多く、このような場合には、エージェントがユーザからの問合せを引き継いで対応を行っている。

すなわち、従来技術では、ユーザの機器に関するサポート情報等の情報提示を、人手を介することなく行うことができていない。

１つの側面では、本発明は、ユーザの機器に関する情報提示を行うことができる表示プログラム、表示方法および情報処理装置を提供することを目的とする。

第１の案では、コンピュータは、次の処理を実行する。コンピュータは、機器の状態を判定可能な機器の箇所を示す第１画像を端末装置の画面に表示し、機器の箇所を撮影範囲に含む撮影装置によって撮影された第２画像を取得する。コンピュータは、第２画像に含まれる箇所の特徴に対応付けられる少なくとも一つの第３画像を判定し、判定した第３画像を端末装置の画面に表示する。

ユーザの機器に関する情報提示を行うことができる。

図１は、本実施例に係るシステムの構成を示す機能ブロック図である。 図２は、携帯端末の表示画面に表示される画像の一例を説明するための図である。 図３は、本実施例に係る携帯端末の構成を示す機能ブロック図である。 図４は、ユーザ特徴情報のデータ構造の一例を示す図である。 図５は、前処理部が生成する画面情報の一例を示す図である。 図６は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図７は、種別特定テーブルのデータ構造の一例を示す図である。 図８は、確認箇所画像テーブルのデータ構造の一例を示す図である。 図９は、確認箇所画面の一例を示す図である。 図１０は、機器識別テーブルのデータ構造の一例を示す図である。 図１１は、第１画像ＤＢのデータ構造の一例を示す図である。 図１２は、各識別情報に対応する各第１画像の一例を示す図である。 図１３は、第３画像ＤＢのデータ構造の一例を示す図である。 図１４は、第３画像の一例を示す図である。 図１５は、習熟度ＤＢのデータ構造の一例を示す図である。 図１６は、応答画像の一例を示す図である。 図１７は、不具合の特徴の一例を示す図（１）である。 図１８は、不具合の特徴の一例を示す図（２）である。 図１９は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。 図２０は、表示制御処理の処理手順を示すフローチャートである。 図２１は、本実施例に係る習熟度判定部の処理を示すフローチャートである。 図２２は、情報処理装置のその他の処理を説明するための図である。 図２３は、本実施例に係る携帯端末と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図２４は、本実施例に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願の開示する表示プログラム、表示方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係るシステムの構成を示す機能ブロック図である。図１に示すように、このシステムは、携帯端末１００と、情報処理装置２００とを有する。携帯端末１００は、ネットワーク５０を介して、情報処理装置２００と接続される。たとえば、携帯端末１００は、無線通信によって、ネットワーク５０に接続するものとする。

携帯端末１００は、タッチパネル等の表示部１５、カメラ１０ａ，１０ｂを備えるスマートフォンやタブレット端末に対応する装置である。携帯端末１００は、端末装置の一例である。カメラ１０ａは、携帯端末１００の前面に配置され、カメラ１０ｂは、携帯端末１００の背面に配置される。携帯端末１００は、カメラ１０ａを用いて画像を撮影してもよいし、カメラ１０ｂを用いて画像を撮影してもよい。以下の説明では、カメラ１０ａ，１０ｂをまとめて、カメラ１０と表記する。

たとえば、ユーザ５は、対象機器１の不具合を確認すると、携帯端末１００を操作して、情報処理装置２００にアクセスする。情報処理装置２００は、携帯端末１００からのアクセスを受け付けると、対象機器１の状態を確認可能な箇所を示す第１画像を携帯端末１００の表示部１５に表示させる。

ユーザ５は、表示部１５に表示された第１画像を参照し、携帯端末１００のカメラ１０によって、対象機器１の該当箇所の第２画像を撮影する。情報処理装置２００は、携帯端末１００から送信される第２画像の特徴を基にしたサポート情報を示す第３画像を携帯端末１００の表示部１５に表示させる。ユーザ５は、表示部１５に表示される第３画像を参照して、対象機器１の不具合を解消する。これによって、サポート側で、人手を介さずに、対象機器１の不具合を解消するための情報を提示することができる。

図２は、携帯端末の表示部に表示される画像の一例を説明するための図である。たとえば、携帯端末１００の表示部１５に表示される画面情報２０は、ステップＳ１０，１１，１２の順に変化する。画面情報２０には、領域２１ａ，２１ｂ，２１ｃが含まれる。領域２１ａは、第１画面の情報または、第３画面の情報を表示する領域である。領域２１ｂは、カメラ１０の撮影範囲の画像を表示する領域である。領域２１ｃは、ユーザ５が操作する携帯端末１００と情報処理装置２００とのチャットのやり取りの文字列を表示する領域である。

ステップＳ１０について説明する。情報処理装置２００が、第１画像の情報を携帯端末１００に送信すると、携帯端末１００は、第１画面の情報を領域２１ａに表示させる。

ステップＳ１１について説明する。ユーザ５は、領域２１ａの第１画像を参照し、対象機器１の該当箇所を判断する。ユーザ５は、携帯端末１００を操作して、対象機器１の該当箇所がカメラ１０の撮像範囲に収まるように調整し、カメラ１０の撮影ボタン（図示略）を押下することで、第２画像を撮影する。携帯端末１００は、カメラ１０が撮影した第２画像の情報を、領域２１ｂに表示させる。また、携帯端末１００は、第２画像の情報を、情報処理装置２００に送信する。

ステップＳ１２について説明する。情報処理装置２００は、第２画像の特徴を基にしたサポート情報を示す第３画像を特定し、第３画像の情報を携帯端末１００に送信する。携帯端末１００は、第３画像の情報を受信すると、第３画面の情報を、領域２１ａに表示させる。ユーザ５は、領域２１ａに表示された第３画像を参照して、対象機器１の不具合の解消を試みる。図２に示す例では、第３画像において、対象機器１に相当する装置背面のコンソールポートにパソコンを接続して、設定画面を起動する旨の説明が記載されている。

次に、本実施例に係る携帯端末１００の構成の一例について説明する。図３は、本実施例に係る携帯端末の構成を示す機能ブロック図である。図３に示すように、この携帯端末１００は、カメラ１０ａ，１０ｂと、表示部１５と、マイク１１０と、通信部１２０と、記憶部１３０と、制御部１４０とを有する。

カメラ１０ａ，１０ｂは、撮影範囲の画像を撮影するカメラである。たとえば、カメラ１０ａは、携帯端末１００の前面に配置され、カメラ１０ｂは、携帯端末１００の背面に配置される。携帯端末１００は、カメラ１０ａまたはカメラ１０ｂを用いて、画像を撮影する。撮影に使用するカメラは、ユーザ５が選択してもよいし、携帯端末１００が自動で選択してもよい。

表示部１５は、制御部１４０から出力される画面情報を表示する表示装置である。表示部１５は、タッチパネル等に対応する。また、表示部１５は、ユーザ５からの情報入力を受け付ける機能を有し、ユーザ５は、表示部（タッチパネル）１５を操作して、各種の情報を、携帯端末１００に入力する。

マイク１１０は、ユーザ５の音声を集音するマイクである。マイク１１０は、集音した音声情報を、携帯端末１００に出力する。

通信部１２０は、無線通信によって、ネットワーク５０に接続し、情報処理装置２００との間でデータ通信を実行する処理部である。通信部１２０は、通信装置に対応する。後述する制御部１４０は、通信部１２０を介して、情報処理装置２００とデータをやり取りする。

記憶部１３０は、画像バッファ１３１と、ユーザ特徴情報１３２とを有する。記憶部１３０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。

画像バッファ１３１は、カメラ１０により撮影される各画像の情報、情報処理装置２００から送信される各画像の情報を保持するバッファである。

ユーザ特徴情報１３２は、ユーザ５がパソコンやスマートフォンの操作や知識に関して、初心者であるか、熟練者であるのかを判定するために用いられる情報である。図４は、ユーザ特徴情報のデータ構造の一例を示す図である。図４に示すように、ユーザ特徴情報１３２は、入力ワード情報、視線情報、技術レベル情報を含む。

入力ワード情報は、ユーザ５が携帯端末１００を操作して、文字を入力する際の特徴を示す情報であり、たとえば、入力ワード情報として、文字の入力スピード、バックスペースの使用頻度などが含まれる。

視線情報は、ユーザ５が携帯端末１００を操作する際の、ユーザの視線の特徴を示す情報である。たとえば、表示部１５上の所定時間毎の視線位置が、視線情報に対応する。

技術レベル情報は、ユーザが携帯端末１００を操作して、文字を入力する際の文字の技術レベルを示す情報である。たとえば、初心者ワードの使用回数、熟練者ワードの使用回数を含む。初心者ワードおよび熟練者ワードは、予め定義されているものとする。

図３の説明に戻る。制御部１４０は、前処理部１４１、表示制御部１４２、収集部１４３を有する。制御部１４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

前処理部１４１は、情報処理装置２００と連携して、不具合の発生した対象機器１の種別を特定するための情報を取得する処理部である。以下において、前処理部１４１の処理の一例について説明する。

前処理部１４１は、表示部（タッチパネル）１５を介して、処理開始の要求を受け付けると、カメラ１０を起動して、不具合の発生した対象機器１の撮影要求を、表示部１５に表示させる。ユーザ５は、表示部１５に表示された撮影要求を確認すると、携帯端末１００を操作して、カメラ１０によって、対象機器１の画像を撮影する。処理開始において、カメラ１０に撮影された画像の情報を「初期画像情報」と表記する。

前処理部１４１は、初期画像情報を、画像バッファ１３１に格納する。また、前処理部１４１は、画像バッファ１３１に格納された初期画像情報を、情報処理装置２００に送信する。情報処理装置２００は、初期画像情報の対象機器１の形状の特徴等から、対象機器１の種別を特定する。種別とは、パソコン、プリンタ、サーバー等の大まかな種別に対応する。情報処理装置２００は、特定した種別から、対象機器１の型番や号機などの固有の識別情報を特定するための文字またはＱＲ（Quick Response）コード（登録商標）が配置される装置（対象機器１）の箇所を示す「確認箇所画像」の情報を、前処理部１４１に送信する。

続いて、前処理部１４１は、情報処理装置２００から確認箇所画像の情報を受信し、画像バッファ１３１に格納する。前処理部１４１は、確認箇所画像の情報を基にして、画面情報を生成し、表示部１５に表示させる。

図５は、前処理部が生成する画面情報の一例を示す図である。図５に示すように、前処理部１４１により生成される画面情報２５には、領域２６ａ，２６ｂ，２６ｃが含まれる。領域２６ａは、確認箇所画像の情報を表示する領域である。領域２６ｂは、カメラ１０の撮影範囲の画像を表示する領域である。領域２６ｃは、ユーザ５が操作する携帯端末１００と情報処理装置２００とのチャットのやり取りの文字列を表示する領域である。

ユーザ５は、領域２６ａの確認箇所画像の情報を参照し、対象機器１の型番や号機等を識別可能な該当箇所を判断する。携帯端末１００を操作して、対象機器１の該当箇所がカメラ１０の撮像範囲に収まるように調整し、カメラ１０の撮影ボタン（図示略）を押下することで、「応答画像」を撮影する。たとえば、応答画像には、対象機器１の識別情報を特定するための文字列またはＱＲコードが含まれる。応答画像は、第４画像の一例である。

前処理部１４１は、応答画像の情報を、画像バッファ１３１に格納する。また、前処理部１４１は、画像バッファ１３１に格納された応答画像の情報を、情報処理装置２００に送信する。情報処理装置２００は、応答画像を基にして、対象機器１の識別情報を特定する。後述するように、情報処理装置２００は、対象機器１の識別情報に対応する第１画像を選択し、選択した第１画像の情報を、携帯端末１００に送信する。「第１画像」は、対象機器１の状態を確認可能な箇所を示す画像である。

表示制御部１４２は、図２で説明した画面情報２０を生成し、生成した画面情報２０を、表示部１５に出力して表示させる処理部である。表示制御部１４２は、情報処理装置２００から第１画像の情報を受信すると、第１画像の情報を、画像バッファ１３１に格納する。表示制御部１４２は、図２のステップＳ１０で説明したように、第１画像の情報を、画面情報２０の領域２１ａに表示させる。また、表示制御部１４２は、情報処理装置２００から、領域２１ｃに表示させる文字列の情報を受信した場合には、受信した文字列の情報を、領域２１ｃに表示させる。以下の説明では、領域２１ｃに表示させる文字列の情報を、「チャット情報」と表記する。

ユーザ５は、領域２１ａの第１画像を参照し、対象機器１の該当箇所を判断する。ユーザ５は、携帯端末１００を操作して、対象機器１の該当箇所がカメラ１０の撮像範囲に収まるように調整し、カメラ１０の撮影ボタン（図示略）を押下することで、第２画像を撮影する。表示制御部１４２は、第２画像の情報をカメラ１０から取得し、画像バッファ１３１に格納する。表示制御部１４２は、図２のステップＳ１１で説明したように、第２画像の情報を、領域２１ｂに表示させる。また、表示制御部１４２は、第２画像の情報を、情報処理装置２００に送信する。

なお、ユーザ５は、カメラ１０の撮影ボタンを押下して、所定時間の映像情報を撮影してもよい。表示制御部１４２は、映像情報をカメラ１０から取得し、画像バッファ１３１に格納する。表示制御部１４２は、第２画像の情報の代わりに、映像情報を、情報処理装置２００に送信する。

情報処理装置２００は、第２画像（あるいは、映像情報）の特徴を基にしたサポート情報を示す第３画像を特定し、第３画像の情報を表示制御部１４２に送信する。表示制御部１４２は、情報処理装置２００から第３画像の情報を受信すると、第３画像の情報を、画像バッファ１３１に格納する。表示制御部１４２は、図２のステップＳ１２で説明したように、第３画像の情報を、領域２１ａに表示させる。ユーザ５は、領域２１ａに表示された第３画像を参照して、対象機器１の不具合の解消を試みる。図２に示す例では、第３画像において、対象機器１に相当する装置背面のコンソールポートにパソコンを接続して、設定画面を起動する旨の説明が記載されている。

収集部１４３は、表示部１５を操作するユーザ５に関する、入力ワード情報、視線情報、技術レベル情報を収集する処理部である。収集部１４３は、収集した入力ワード情報、視線情報、技術レベル情報を、ユーザ特徴情報１３２に格納する。また、収集部１４３は、ユーザ５のユーザＩＤを受け付けた場合には、ユーザＩＤを、情報処理装置２００に送信する。

たとえば、収集部１４３は、ユーザ５による表示部１５の操作を監視し、所定時間における文字の入力スピード、バックスペースの使用頻度を特定する。収集部１４３は、特定した、文字の入力スピード、バックスペースの使用頻度の情報を、入力ワード情報として、ユーザ特徴情報１３２に格納する。

収集部１４３は、カメラ１０ａを用いて、周知の視線検出技術により、表示部１５上のユーザ５の視線位置を所定時間毎に検出し、検出した所定時間毎の視線位置を、視線情報として、ユーザ特徴情報１３２に格納する。

収集部１４３は、ユーザ５が表示部１５を操作することによって入力される文字を監視し、初心者ワードの使用回数、熟練者ワードの使用回数をカウントする。収集部１４３は、カウントした初心者ワードの使用回数、熟練者ワードの使用回数を、技術レベル情報として、ユーザ特徴情報１３２に格納する。

収集部１４３は、ユーザ５を識別するユーザＩＤと、ユーザ特徴情報１３２とを、情報処理装置２００に送信し、ユーザ５が初心者であるか、熟練者であるかの判定を要求する。収集部１４３は、判定結果を情報処理装置２００から受信し、ユーザ５が、初心者であるか、熟練者であるかの判定結果を、前処理部１４１、表示制御部１４２に出力する。

ここで、上述した前処理部１４１は、ユーザ５が初心者である場合には、マイク１１０を起動し、音声認識によって、ユーザ５からの入力を受け付ける。前処理部１４１は、マイク１１０から入力された音声を文字列に変換し、変換した文字列を、図５で説明した領域２６ｃに表示させる。前処理部１４１は、ユーザ５が熟練者である場合には、表示部１５の操作によって、ユーザからの入力を受け付ける。前処理部１４１は、表示部１１５から入力された文字列を、図５で説明した領域２６ｃに表示させる。

表示制御部１４２は、ユーザ５が初心者である場合には、マイク１１０を起動し、音声認識によって、ユーザ５からの入力を受け付ける。表示制御部１４２は、マイク１１０から入力された音声を文字列に変換し、変換した文字列を、図２で説明した領域２１ｃに表示させる。表示制御部１４２は、ユーザ５が熟練者である場合には、表示部１５の操作によって、ユーザからの入力を受け付ける。表示制御部１４２は、表示部１１５から入力された文字列を、図２で説明した領域２１ｃに表示させる。

次に、本実施例に係る情報処理装置２００の構成の一例について説明する。図６は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図６に示すように、この情報処理装置２００は、通信部２１０と、入力部２２０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。

通信部２１０は、ネットワーク５０を介して、携帯端末１００との間でデータ通信を実行する処理部である。通信部２１０は、通信装置に対応する。後述する制御部２５０は、通信部２１０を介して、携帯端末１００とデータをやり取りする。

入力部２２０は、情報処理装置２００に対して、各種の情報を入力するための入力装置である。入力部２２０は、キーボードやマウス、タッチパネルに対応する。

表示部２３０は、制御部２５０から出力される情報を表示するための表示装置である。表示部２３０は、液晶ディスプレイや、タッチパネル等に対応する。

記憶部２４０は、種別特定テーブル２４１と、確認箇所画像テーブル２４２と、機器識別テーブル２４３と、第１画像ＤＢ２４４と、第３画像ＤＢ２４５と、保守作業員日程情報２４６と、習熟度ＤＢ２４７とを有する。記憶部２４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

種別特定テーブル２４１は、対象機器の種別を判定するための情報を保持する。図７は、種別特定テーブルのデータ構造の一例を示す図である。図７に示すように、この種別特定テーブル２４１は、種別と、形状情報とを対応付ける。種別は、対象機器の種別を示すものである。形状情報は、対象機器の種別に応じた機器全体の形状を示す情報である。

確認箇所画像テーブル２４２は、対象機器の種別に対応する確認箇所画像を保持するテーブルである。図８は、確認箇所画像テーブルのデータ構造の一例を示す図である。図８に示すように、この確認箇所画像テーブル２４２は、種別と、確認箇所画面とを対応付ける。種別は、対象機器の種別を示すものである。確認箇所画面は、対象機器の識別情報を特定するための文字またはＱＲコードが配置される装置の箇所を示す画像である。

図９は、確認箇所画面の一例を示す図である。たとえば、図９に示す確認箇所画面は、種別「ネットワーク機器」に対応する確認箇所画面である。図９に示すように、ネットワーク機器を識別するための文字やＱＲコードは、ネットワーク機器３０の上面に配置されることが示されている。

機器識別テーブル２４３は、対象機器に配置された文字またはＱＲコードの情報と、対象機器の識別情報とを対応付けるテーブルである。図１０は、機器識別テーブルのデータ構造の一例を示す図である。図１０に示すように、この機器識別テーブル２４３は、ＱＲコード情報（ビット列）と、文字と、識別情報とを対応付ける。後述するように、応答画像の情報から読み取られるＱＲコードの情報または、文字によって、対象機器の識別情報が特定される。識別情報は、対象機器を一意に識別する情報であり、型番や号機であってもよい。

第１画像ＤＢは、第１画像に関する情報を保持するデータベースである。図１１は、第１画像ＤＢのデータ構造の一例を示す図である。図１１に示すように、この第１画像ＤＢは、識別情報と、第１画像とを対応付ける。識別情報は、対象機器を識別する情報である。第１画像は、識別情報によって識別される対象機器の状態を識別可能な箇所を示す画像である。

図１２は、各識別情報に対応する各第１画像の一例を示す図である。第１画像４０は、種別がパソコンに属するある識別情報（たとえば、ＰＣ０００１）に対応する第１画像である。第１画像４１は、種別がプリンタに属するある識別情報（たとえば、ＰＲ０００１）に対応する第１画像である。第１画像４２は、種別がサーバーに属するある識別情報（たとえば、Ｓ００００１）に対応する第１画像である。第１画像４３は、種別がネットワーク機器に属するある識別情報（たとえば、Ｎ０００１）に対応する第１画像である。

第３画像ＤＢ２４５は、第３画像に関する情報を保持するデータベースである。図１３は、第３画像ＤＢのデータ構造の一例を示す図である。図１３に示すように、この第３画像ＤＢ２４５は、識別情報と、不具合の特徴と、対応フラグと、第３画像とを対応付ける。識別情報は、対象機器を識別する情報である。不具合の特徴は、第２画像に含まれる不具合の特徴を示すものである。たとえば、不具合の特徴には、所定のランプの点灯の有無、ランプの色、点滅の有無、所定のエラーメッセージ等が含まれる。

対応フラグは、ユーザによって不具合に対応することが可能であるか否かを示すフラグである。ユーザによって不具合に対応することができる場合には、フラグが「１」となる。ユーザによって不具合に対応することができない場合には、フラグが「０」となる。第３画像は、該当する不具合に対応するための画像（サポート情報）である。

図１４は、第３画像の一例を示す図である。図１４に示す第３画像は、あるネットワーク機器の不具合に対処方法を示す第３画像である。図１４に示す第３画像では、対処方法として、対象機器１に相当する装置背面のコンソールポートにパソコンを接続して、設定画面を起動する旨の説明が示されている。

保守作業員日程情報２４６は、保守作業員のスケジュール情報を保持するテーブルである。

習熟度ＤＢ２４７は、ユーザの習熟度の情報を保持するテーブルである。図１５は、習熟度ＤＢ２４７のデータ構造の一例を示す図である。図１５は、習熟度ＤＢのデータ構造の一例を示す図である。図１５に示すように、この習熟度ＤＢ２４７は、ユーザＩＤと、初心者フラグとを対応付ける。ユーザＩＤは、ユーザを一意に識別する情報である。初心者フラグは、ユーザＩＤにより識別されるユーザが初心者であるか否かを示す情報である。ユーザＩＤにより識別されるユーザが初心者である場合には、初心者フラグが「１」となる。ユーザＩＤにより識別されるユーザが初心者である場合には、初心者フラグが「０」となる。

図６の説明に戻る。制御部２５０は、特定部２５１と、表示制御部２５２と、習熟度判定部２５３とを有する。制御部２５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部２５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。

特定部２５１は、携帯端末１００の前処理部１４１と連携して、不具合の発生した対象機器１の種別および識別情報を特定する処理部である。特定部２５１が、対象機器１の種別を特定する処理について説明する。特定部２５１は、前処理部１４１から初期画像情報を受信した場合、初期画像情報に対してハフ変換等を実行し、エッジ画像を生成する。特定部２５１は、エッジ画像を基にして、対象機器１の形状を抽出する。特定部２５１は、対象機器１の形状と、種別特定テーブル２４１の形状情報とを比較して、対象機器１の形状と最も類似する形状情報の種別を特定する。

なお、特定部２５１は、上記処理を所定回数実行しても、種別を特定できない場合には、識別情報を確認するための手順を記した確認手順の情報を、携帯端末１００に送信する。ユーザ５は、携帯端末１００の表示部１５に表示される確認手順の情報を参照して、対象機器１の識別情報を確認し、携帯端末１００に識別情報を入力する。特定部２５１は、携帯端末１００から、対象機器１の識別情報を受信する。特定部２５１は、かかる処理により、対象機器１の識別情報を受信した場合には、以下に説明する識別情報を特定する処理をスキップする。

特定部２５１は、特定した種別が、対象機器１の識別情報を判定するための文字列やＱＲコードの配置箇所を撮影することが困難である場合にも、識別情報を確認するための手順を記した確認手順の情報を、携帯端末１００に送信して、識別情報を取得してもよい。対象機器１の識別情報を判定するための文字列やＱＲコードの配置箇所を撮影することが困難な種別は、予め設定されているものとする。

続いて、特定部２５１が、対象機器１の識別情報を特定する処理について説明する。特定部２５１は、上記処理により特定した対象機器１の種別と、確認箇所画像テーブル２４２とを比較して、種別に対応する確認箇所画像の情報を取得する。特定部２５１は、確認箇所情報の情報を携帯端末１００の前処理部１４１に送信すると、ユーザ５の操作により、応答画像が撮影される。

特定部２５１は、携帯端末１００の前処理部１４１から、応答画像の情報を受信する。特定部２５１は、応答画像に対してパターンマッチング等の画像解析を行い、応答画像に含まれる文字列または、ＱＲコードを検出する。図１６は、応答画像の一例を示す図である。たとえば、応答情報６０には、対象機器１を識別するための文字列６０ａと、ＱＲコード６０ｂとが含まれる。また、応答画像６１には、対象機器１を識別する文字列６１ａが含まれる。

特定部２５１は、応答情報６０のように、文字列６０ａと、ＱＲコード６０ｂとが含まれる場合には、文字列６０ａまたはＱＲコード６０ｂのうち、いずれか一方を検出する。特定部２５１は、ＱＲコードを検出した場合には、ＱＲコードをビット列に変換する。特定部２５１は、応答情報から検出した文字列またはＱＲコードの情報と、機器識別テーブル２４３とを比較して、対象機器１の識別情報を特定する。特定部２５１は、対象機器１の識別情報を、表示制御部２５２に出力する。

特定部２５１は、応答情報に文字列またはＱＲコードが含まれない場合には、再度、携帯端末１００に確認箇所画像の情報を送信して、応答情報を取得し、上記処理を実行することで、対象機器１の識別情報を特定する。

表示制御部２５２は、第１画像の情報を携帯端末１００に送信して表示させる処理、携帯端末１００から受信する第２画像の特徴に応じた第３画像を特定する処理、第３画像の情報を携帯端末１００に送信して表示させる処理を実行する。表示制御部２５２は、「第１表示制御部」および「第２表示制御部」に対応する。

表示制御部２５２が、第１画像の情報を携帯端末１００に送信して表示させる処理について説明する。表示制御部２５２は、特定部２５１から対象機器１の識別情報を取得し、取得した識別情報と、第１画像ＤＢ２４４とを比較して、識別情報に対応する第１画像の情報を取得する。表示制御部２５２は、第１画像の情報を携帯端末１００の表示制御部１４２に送信して表示させる。たとえば、図２のステップＳ１０の画面情報２０の領域２１ａに、第１画像が表示される。

表示制御部２５２が、携帯端末１００から受信する第２画像の特徴に応じた第３画像を特定する処理について説明する。表示制御部２５２は、第２画像の情報に対して、パターンマッチング等を実行することで、第２画像に含まれるランプの領域、または、エラーコー等を表示するディスプレイの領域を検出する。表示制御部２５２は、第２画像に含まれるランプの領域について、ランプが点灯しているか消灯しているかの情報およびランプの色を、不具合の特徴として検出する。また、表示制御部２５２は、ディスプレイに表示されているエラーコードの情報を、不具合の特徴として検出する。

表示制御部２５２は、携帯端末１００から、第２画像の情報の代わりに、映像情報を受信した場合には、映像情報に対して、パターンマッチング等を実行することで、映像情報に含まれる各画像情報のランプの領域を特定する。表示制御部２５２は、映像情報の各画像情報に含まれるランプの領域の点灯の有無を特定し、ランプの領域が点灯しているのか、消灯しているのか、点滅しているのかの情報、ランプの色を、不具合の特徴として検出する。

図１７は、不具合の特徴の一例を示す図（１）である。図１７に示す例では、ランプ１０−１〜１０−１０が存在する。ランプ１０−１〜１０−１０のうち、ランプ１０−１，１０−６，１０−７が点灯し、ランプ１０−３が点滅している。かかるランプの点灯、消灯、点滅が、不具合の特徴となる。

図１８は、不具合の特徴の一例を示す図（２）である。図１８に示す例では、ディスプレイ１１−１において、エラーコード「error0011」が表示されており、係るエラーコードが、不具合の特徴となる。

表示制御部２５２は、第２画像（または映像情報）から不具合の特徴を検出すると、特定部２５１によって特定された識別情報および不具合の特徴の組と、第３画像ＤＢ２４５とを比較する。表示制御部２５２は、第３画像ＤＢ２４５において、識別情報および不具合の特徴の組に対応する対応フラグが「１」となっている場合には、識別情報および不具合の特徴の組に対応する第３画像を取得する。

表示制御部２５２は、第３画像ＤＢ２４５において、識別情報および不具合の特徴の組に対応する対応フラグが「０」となっている場合、または、識別情報および不具合の特徴の組に対応する第３画像が存在しない場合には、保守作業員の日程を通知する処理を行う。表示制御部２５２は、保守作業員日程情報２４６を参照し、現在日時以降における保守作業員のスケジュールの情報を、携帯端末１００に送信して表示させる。

表示制御部２５２が、第３画像の情報を携帯端末１００に送信して表示させる処理について説明する。表示制御部２５２は、第３画像の情報を携帯端末１００の表示制御部１４２に送信して表示させる。たとえば、図２のステップＳ１１の画面情報２０の領域２１ａに、第３画像が表示される。

図６の説明に戻る。習熟度判定部２５３は、携帯端末１００の収集部１４３からユーザ特徴情報１３２を取得し、ユーザ５が初心者であるか、熟練者であるかを判定する処理部である。習熟度判定部２５３は、ユーザ５が初心者であるか、熟練者であるかの判定結果を、携帯端末１００に送信する。

図４で説明したように、ユーザ特徴情報１３２には、入力ワード情報、視線情報、技術レベル情報が含まれる。習熟度判定部２５３は、入力ワード情報、視線情報、技術レベル情報に対して下記の処理をそれぞれ行い、Ｎの値を算出する。習熟度判定部２５３は、Ｎの値が閾値以上である場合に、ユーザ５は、熟練者であると判定する。一方、習熟度判定部２５３は、Ｎの値が閾値未満である場合に、ユーザ５は、初心者であると判定する。Ｎの初期値を０とする。

習熟度判定部２５３は、入力ワード情報を参照し、所定時間における文字の入力スピードが所定の入力スピード以上である場合、または、バックススペースの使用頻度が所定の使用頻度未満である場合に、Ｎに１を加算する。

習熟度判定部２５３は、視線情報を参照し、視線位置の分散を算出する。習熟度判定部２５３は、視線位置の分散が所定の分散以上である場合に、Ｎに１を加算する。

習熟度判定部２５３は、技術レベル情報を参照し、初心者ワードの使用回数よりも、熟練者ワードの使用回数が多い場合に、Ｎに１を加算する。

たとえば、習熟度判定部２５３は、ユーザ５が初心者であると判定した場合には、ユーザ５が初心者である旨の情報を、携帯端末１００に通知する。これによって、携帯端末１００は、マイク１１０を起動した音声入力により、ユーザ５からの入力を受け付ける。

習熟度判定部２５３は、ユーザ５が熟練者であると判定した場合には、ユーザ５が熟練者である旨の情報を、携帯端末１００に通知する。これによって、携帯端末１００は、タッチパネルを用いた入力操作により、ユーザ５からの入力を受け付ける。

次に、本実施例に係る情報処理装置２００の処理手順の一例について説明する。図１９は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１９に示すように、情報処理装置２００の特定部２５１は、携帯端末１００から初期画像情報を受信し、対象機器の種別を判定する（ステップＳ１０１）。特定部２５１は、識別情報の特定が困難な場合には（ステップＳ１０２，Ｙｅｓ）、ステップＳ１０３に移行する。特定部２５１は、識別情報の特定が困難ではない場合には（ステップＳ１０２，Ｎｏ）ステップＳ１０５に移行する。

特定部２５１は、確認手順の情報を携帯端末１００に送信して表示させる（ステップＳ１０３）。特定部２５１は、携帯端末１００から識別情報を受信し（ステップＳ１０４）、ステップＳ１１１に移行する。

特定部２５１は、確認箇所画面の情報を携帯端末１００に送信して表示させる（ステップＳ１０５）。特定部２５１は、携帯端末１００から応答画面の情報を受信する（ステップＳ１０６）。

特定部２５１は、応答画像に文字列またはＱＲコードが含まれる場合には（ステップＳ１０７，Ｙｅｓ）、ステップＳ１０８に移行する。特定部２５１は、応答画像に文字列またはＱＲコードが含まれない場合には（ステップＳ１０７，Ｎｏ）、ステップＳ１０５に移行する。

特定部２５１は、応答画面の情報にＱＲコードが含まれない場合には（ステップＳ１０８，Ｎｏ）、文字列を基にして、識別情報を特定し（ステップＳ１０９）、ステップＳ１１１に移行する。

一方、特定部２５１は、応答画面の情報にＱＲコードが含まれている場合には（ステップＳ１０８，Ｙｅｓ）、ＱＲコードを基にして識別情報を特定する（ステップＳ１１０）。特定部２５１は、表示制御処理を実行する（ステップＳ１１１）。

次に、図１９のステップＳ１１１に示した表示制御処理の処理手順の一例について説明する。図２０は、表示制御処理の処理手順を示すフローチャートである。図２０に示すように、情報処理装置２００の表示制御部２５２は、第１画像ＤＢ２４４を基にして、識別情報に対応する第１画像の情報を選択する（ステップＳ２０１）。

表示制御部２５２は、第１画像の情報を携帯端末１００に送信して表示させる（ステップＳ２０２）。表示制御部２５２は、携帯端末１００から第２画面の情報を受信する（ステップＳ２０３）。

表示制御部２５２は、識別情報および第２画像の特徴と、第３画像ＤＢ２４５とを基にして、対応フラグが「１」であるか否かを判定する（ステップＳ２０４）。表示制御部２５２は、対応フラグが「１」でない場合には（ステップＳ２０５，Ｎｏ）、携帯端末１００に保守作業員の日程を通知する（ステップＳ２０６）。

一方、表示制御部２５２は、対応フラグが「１」である場合には（ステップＳ２０５，Ｙｅｓ）、識別情報および第２画像の特徴に対応付けられる第３画像の情報を選択する（ステップＳ２０７）。表示制御部２５２は、第３画像の情報を携帯端末１００に送信して表示させる（ステップＳ２０８）。

次に、情報処理装置２００の習熟度判定部２５３の処理手順の一例について説明する。図２１は、本実施例に係る習熟度判定部の処理を示すフローチャートである。図２１に示すように、情報処理装置２００の習熟度判定部２５３は、携帯端末１００からユーザＩＤを取得する（ステップＳ３０１）。習熟度判定部２５３は、習熟度ＤＢ２４７を参照し、ユーザＩＤに対応するレコードが、習熟度ＤＢ２４７に存在するか否かを判定するか否かを判定する（ステップＳ３０２）。

習熟度判定部２５３は、ユーザＩＤに対応するレコードが習熟度ＤＢ２４７に存在する場合には（ステップＳ３０２，Ｙｅｓ）、ユーザＩＤに対応する初心者フラグが「１」であるか否かを判定する（ステップＳ３０３）。

習熟度判定部２５３は、ユーザＩＤに対応する初心者フラグが「１」である場合には（ステップＳ３０３，Ｙｅｓ）、ステップＳ３１３に移行する。一方、習熟度判定部２５３は、ユーザＩＤに対応する初心者フラグが「１」でない場合には（ステップＳ３０３，Ｎｏ）、ステップＳ３１２に移行する。

習熟度判定部２５３は、Ｎに初期値０を設定する（ステップＳ３０４）。習熟度判定部２５３は、入力ワード情報の評価結果が熟練者である場合には（ステップＳ３０５，Ｙｅｓ）、Ｎに１を加算し（ステップＳ３０６）、ステップＳ３０７に移行する。一方、習熟度判定部２５３は、入力ワード情報の評価結果が熟練者でない場合には（ステップＳ３０５，Ｎｏ）、ステップＳ３０７に移行する。

習熟度判定部２５３は、視線情報の評価結果が熟練者である場合には（ステップＳ３０７，Ｙｅｓ）、Ｎに１を加算し（ステップＳ３０８）、ステップＳ３０９に移行する。一方、習熟度判定部２５３は、視線情報の評価結果が熟練者でない場合には（ステップＳ３０７，Ｎｏ）、ステップＳ３０９に移行する。

習熟度判定部２５３は、技術レベル情報の評価結果が熟練者である場合には（ステップＳ３０９，Ｙｅｓ）、Ｎに１を加算し（ステップＳ３１０）、ステップＳ３１１に移行する。一方、習熟度判定部２５３は、技術レベル情報の評価結果が熟練者でない場合には（ステップＳ３０９，Ｎｏ）、ステップＳ３１１に移行する。

習熟度判定部２５３は、Ｎが閾値以上である場合には（ステップＳ３１１，Ｙｅｓ）、ユーザが熟練者である旨の情報を携帯端末１００に送信し（ステップＳ３１２）、ステップＳ３１４に移行する。

一方、習熟度判定部２５３は、Ｎが閾値以上でない場合には（ステップＳ３１１，Ｎｏ）、ユーザが初心者である旨の情報を携帯端末１００に送信し（ステップＳ３１３）、習熟度ＤＢ２４７を更新する（ステップＳ３１４）。

次に、本実施例に係る情報処理装置２００の効果について説明する。情報処理装置２００は、対象機器１の状態を確認可能な箇所を示す第１画像を携帯端末１００に表示させ、該当する第２画像の情報をユーザに撮影させる。情報処理装置２００は、第２画像の特徴に対応する第３画像であって、不具合のサポート情報を示す第３画像を、携帯端末１００に表示させる。これによって、サポート側で、人手を介さずに、対象機器１の不具合を解消するための情報を提示することができる。

情報処理装置２００は、携帯端末１００から確認箇所画像の送信に対応する、応答画像の情報を取得し、応答画像に含まれる文字列またはＱＲコードを基にして、対象機器１の識別情報を特定し、識別情報に対応する第１画像を選択する。これによって、サポート対象の複数の対象機器から、対象機器１の状態を確認可能な箇所を示す第１画像を携帯端末１００に通知することができる。

情報処理装置２００は、ユーザ特徴情報１３２を基にして、ユーザの習熟度を判定し、ユーザが初心者である場合には、ユーザによる携帯端末１００の入力を音声入力に切り替える。これによって、入力操作の苦手な初心者であっても、容易に、携帯端末１００に対する入力を行うことができる。

ところで、上述した情報処理装置２００の処理は一例であり、情報処理装置２００は、上述した処理以外の処理を更に実行してもよい。以下において、情報処理装置２００のその他の処理について説明する。

情報処理装置２００は、識別情報を特定した後に、複数の選択情報を送信し、複数の選択情報のうち、いずれかの選択情報を選択させてもよい。情報処理装置２００は、識別情報と、選択された選択情報との組に対応する、第１画像の情報を、携帯端末１００に送信して表示させ、第２画像の情報を撮影させる。識別情報に対して、複数の選択情報は、想定される不具合の候補を示す情報である。識別情報に対する複数の選択情報は、予め、記憶部２４０に設定されているものとする。

図２２は、情報処理装置のその他の処理を説明するための図である。携帯端末１００の表示制御部１４２は、情報処理装置２００から、複数の選択情報を受信すると、画面情報２５を生成して表示する。画面情報２５には、領域２５ａ，２５ｂ，２５ｃが含まれる。領域２５ａは、第１画面の情報または、第３画面の情報を表示する領域である。領域２５ｂは、カメラ１０の撮影範囲の画像を表示する領域である。領域２５ｃは、ユーザ５が操作する携帯端末１００と情報処理装置２００とのチャットのやり取りの文字列を表示する領域である。

図２２に示す例では、携帯端末１００は、領域２５ｃにおいて、複数の選択情報２５ｄを表示する。たとえば、選択情報２５ｄには、「起動できない」、「動作不安定」、「ネットワーク接続できない」、「３つにあてはまるものがない」が含まれる。携帯端末１００は、いずれかの選択情報がユーザ５によって選択されると、選択された選択情報を、情報処理装置２００に送信する。図２２では、選択情報「ネットワーク接続できない」が選択された場合を示す。

情報処理装置２００の表示制御部２５２は、識別情報と、選択情報と、第１画像とを対応付けたＤＢ（図示略）を参照して、対象機器１の識別情報および選択情報の組に対応する第１画像の情報を選択し、第１画像の携帯端末１００に送信して表示させる。かかる処理を実行することによって、ユーザ５の想定する不具合に対応する、対象機器１の不具合箇所の撮影を促す第１画像の情報を、携帯端末１００に送信して表示させることができる。

なお、情報処理装置２００の表示制御部２５２は、各選択情報に対応する複数の第１画像を、携帯端末１００に送信して、複数の第１画像の情報を、領域２５ａに表示させてもよい。

なお、本実施例では一例として、携帯端末１００を用いて説明したが、これに限定されるものではなく、携帯端末１００の代わりに、カメラ機能を有する機器に接続されたノートＰＣ、パソコン等を用いてもよい。

次に、本実施例に示した携帯端末１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２３は、本実施例に係る携帯端末と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図２３に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付けると共に、各種画像を表示するタッチパネル３０２と、マイク３０３とを有する。また、コンピュータ３００は、画像を撮影するカメラ３０４と、有線または無線ネットワークを介して、情報処理装置２００との間でデータの授受を行う通信装置３０５とを有する。コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置３０７は、前処理プログラム３０７ａ、表示制御プログラム３０７ｂ、収集プログラム３０７ｃを有する。ＣＰＵ３０１は、前処理プログラム３０７ａ、表示制御プログラム３０７ｂ、収集プログラム３０７ｃを読み出してＲＡＭ３０６に展開する。

前処理プログラム３０７ａは、前処理プロセス３０６ａとして機能する。表示制御プログラム３０７ｂは、表示制御プロセス３０６ｂとして機能する。収集プログラム３０７ｃは、収集プロセス３０６ｃとして機能する。

前処理プロセス３０６ａの処理は、前処理部１４１の処理に対応する。表示制御プロセス３０６ｂの処理は、表示制御部１４２の処理に対応する。収集プロセス３０６ｃの処理は、収集部１４３の処理に対応する。

なお、各プログラム３０７ａ〜３０７ｃついては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ〜３０７ｃを読み出して実行するようにしてもよい。

次に、本実施例に示した情報処理装置２００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２４は、本実施例に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図２４に示すように、コンピュータ５００は、各種演算処理を実行するＣＰＵ５０１と、ユーザからのデータの入力を受け付ける入力装置５０２と、ディスプレイ５０３とを有する。また、コンピュータ５００は、記憶媒体からプログラム等を読み取る読み取り装置５０４と、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行うインタフェース装置５０５とを有する。コンピュータ５００は、各種情報を一時記憶するＲＡＭ５０６と、ハードディスク装置５０７とを有する。そして、各装置５０１〜５０７は、バス５０８に接続される。

ハードディスク装置５０７は、特定プログラム５０７ａ、表示制御プログラム５０７ｂ、習熟度判定プログラム５０７ｃを有する。ＣＰＵ５０１は、特定プログラム５０７ａ、表示制御プログラム５０７ｂ、習熟度判定プログラム５０７ｃを読み出してＲＡＭ５０６に展開する。

特定プログラム５０７ａは、特定プロセス５０６ａとして機能する。表示制御プログラム５０７ｂは、表示制御プロセス５０６ｂとして機能する。習熟度判定プログラム５０７ｃは、習熟度判定プロセス５０６ｃとして機能する。

特定プロセス５０６ａの処理は、特定部２５１の処理に対応する。表示制御プロセス５０６ｂの処理は、表示制御部２５２の処理に対応する。習熟度判定プロセス５０６ｃの処理は、習熟度判定部２５３の処理に対応する。

なお、各プログラム５０７ａ〜５０７ｃついては、必ずしも最初からハードディスク装置５０７に記憶させておかなくてもよい。例えば、コンピュータ５００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ５００が各プログラム５０７ａ〜５０７ｃを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）機器の状態を判定可能な前記機器の箇所を示す第１画像を端末装置の画面に表示し、
前記機器の箇所を撮影範囲に含む撮影装置によって撮影された第２画像を取得し、
前記第２画像に含まれる前記箇所の特徴に対応付けられる少なくとも一つの第３画像を判定し、判定した前記第３画像を前記端末装置の画面に表示する
処理をコンピュータに実行させることを特徴とする表示プログラム。

（付記２）前記機器に関する事象を選択するための複数の選択情報を表示する処理を更に実行し、前記第１画像を前記端末装置の画面に表示する処理は、前記複数の選択情報のうち、選択された選択情報に対応する前記第１画像を、前記端末装置の画面に表示することを特徴とする付記１に記載の表示プログラム。

（付記３）前記機器を撮影した第４画像を取得する処理を更に実行し、前記第１画像を前記端末装置の画面に表示する処理は、前記第４画像に含まれる前記機器を識別する情報に対応する前記第１画像を前記端末装置の画面に表示することを特徴とする付記１または２に記載の表示プログラム。

（付記４）前記機器を操作するユーザの操作履歴の情報を基にして前記ユーザの習熟度を判定し、前記習熟度を基にして、前記機器の入力を音声入力に切り替える処理を更に実行することを特徴とする付記１、２または３に記載の表示プログラム。

（付記５）機器の状態を判定可能な前記機器の箇所を示す第１画像を端末装置の画面に表示し、
前記機器の箇所を撮影範囲に含む撮影装置によって撮影された第２画像を取得し、
前記第２画像に含まれる前記箇所の特徴に対応付けられる少なくとも一つの第３画像を判定し、判定した前記第３画像を前記端末装置の画面に表示する
処理をコンピュータが実行することを特徴とする表示方法。

（付記６）前記機器に関する事象を選択するための複数の選択情報を表示する処理を更に実行し、前記第１画像を前記端末装置の画面に表示する処理は、前記複数の選択情報のうち、選択された選択情報に対応する前記第１画像を、前記端末装置の画面に表示することを特徴とする付記５に記載の表示方法。

（付記７）前記機器を撮影した第４画像を取得する処理を更に実行し、前記第１画像を前記端末装置の画面に表示する処理は、前記第４画像に含まれる前記機器を識別する情報に対応する前記第１画像を前記端末装置の画面に表示することを特徴とする付記５または６に記載の表示方法。

（付記８）前記機器を操作するユーザの操作履歴の情報を基にして前記ユーザの習熟度を判定し、前記習熟度を基にして、前記機器の入力を音声入力に切り替える処理を更に実行することを特徴とする付記５、６または７に記載の表示方法。

（付記９）機器の状態を判定可能な前記機器の箇所を示す第１画像を端末装置の画面に表示する第１表示制御部と、
前記機器の箇所を撮影範囲に含む撮影装置によって撮影された第２画像を取得し、前記第２画像に含まれる前記箇所の特徴に対応付けられる少なくとも一つの第３画像を判定し、判定した前記第３画像を前記端末装置の画面に表示する第２表示制御部と
を有することを特徴とする情報処理装置。

（付記１０）前記第１表示制御部は、機器に関する事象を選択するための複数の選択情報を表示する処理を更に実行し、前記複数の選択情報のうち、選択された選択情報に対応する前記第１画像を、前記端末装置の画面に表示することを特徴とする付記９に記載の情報処理装置。

（付記１１）前記第１表示制御部は、前記機器を撮影した第４画像を取得する処理を更に実行し、前記第４画像に含まれる前記機器を識別する情報に対応する前記第１画像を前記端末装置の画面に表示することを特徴とする付記９または１０に記載の情報処理装置。

（付記１２）前記機器を操作するユーザの操作履歴の情報を基にして前記ユーザの習熟度を判定し、前記習熟度を基にして、前記機器の入力を音声入力に切り替える習熟度判定部を更に有することを特徴とする付記９、１０または１１に記載の情報処理装置。

１０ａ，１０ｂ カメラ
１５ 表示部
１００ 携帯端末
１１０ マイク
１２０ 通信部
１３０ 記憶部
１３１ 画像バッファ
１３２ ユーザ特徴情報
１４０，２５０ 制御部
１４１ 前処理部
１４２，２５２ 表示制御部
１４３ 収集部
２００ 情報処理装置
２１０ 通信部
２２０ 入力部
２３０ 表示部
２４０ 記憶部
２４１ 種別特定テーブル
２４２ 確認箇所画像テーブル
２４３ 機器識別テーブル
２４４ 第１画像ＤＢ
２４５ 第３画像ＤＢ
２４６ 保守作業員日程情報
２４７ 習熟度ＤＢ
２５１ 特定部
２５３ 習熟度判定部

Claims (6)

1. 機器の状態を判定可能な前記機器の箇所を示す第１画像を端末装置の画面に表示し、
   前記機器の箇所を撮影範囲に含む撮影装置によって撮影された第２画像を取得し、
   前記第２画像に含まれる前記箇所の特徴に対応付けられる少なくとも一つの第３画像を判定し、判定した前記第３画像を前記端末装置の画面に表示する
   処理をコンピュータに実行させることを特徴とする表示プログラム。
2. 前記機器に関する事象を選択するための複数の選択情報を表示する処理を更に実行し、前記第１画像を前記端末装置の画面に表示する処理は、前記複数の選択情報のうち、選択された選択情報に対応する前記第１画像を、前記端末装置の画面に表示することを特徴とする請求項１に記載の表示プログラム。
3. 前記機器を撮影した第４画像を取得する処理を更に実行し、前記第１画像を前記端末装置の画面に表示する処理は、前記第４画像に含まれる前記機器を識別する情報に対応する前記第１画像を前記端末装置の画面に表示することを特徴とする請求項１または２に記載の表示プログラム。
4. 前記機器を操作するユーザの操作履歴の情報を基にして前記ユーザの習熟度を判定し、前記習熟度を基にして、前記機器の入力を音声入力に切り替える処理を更に実行することを特徴とする請求項１、２または３に記載の表示プログラム。
5. 機器の状態を判定可能な前記機器の箇所を示す第１画像を端末装置の画面に表示し、
   前記機器の箇所を撮影範囲に含む撮影装置によって撮影された第２画像を取得し、
   前記第２画像に含まれる前記箇所の特徴に対応付けられる少なくとも一つの第３画像を判定し、判定した前記第３画像を前記端末装置の画面に表示する
   処理をコンピュータが実行することを特徴とする表示方法。
6. 機器の状態を判定可能な前記機器の箇所を示す第１画像を端末装置の画面に表示する第１表示制御部と、
   前記機器の箇所を撮影範囲に含む撮影装置によって撮影された第２画像を取得し、前記第２画像に含まれる前記箇所の特徴に対応付けられる少なくとも一つの第３画像を判定し、判定した前記第３画像を前記端末装置の画面に表示する第２表示制御部と
   を有することを特徴とする情報処理装置。

Images