JP2019125268A - 情報処理方法、情報処理装置、及びプログラム - Google Patents

Abstract

【課題】機器で発生した問題に対する適切な対処方法を提示する。【解決手段】機器で発生した問題に対する対処方法を提示するコンピュータが実行する情報処理方法であって、端末から送信された第１の画像に基づいて、該第１の画像の撮影対象である前記機器のステータスを決定する決定手順と、決定したステータスに応じて、前記問題に対する対処方法を特定する特定手順と、特定した対処方法を示すメッセージを前記端末に表示させる第１の表示手順と、第２の画像を要求することを示すメッセージを前記端末に表示させる第２の表示手順と、前記第２の画像に基づいて、前記機器のステータスを更新する更新手順とを有し、前記特定手順は、更新後のステータスに応じて、前記問題に対する対処方法を特定する、ことを特徴とする。【選択図】図４

Description

本発明は、情報処理方法、情報処理装置、及びプログラムに関する。

近年、スマートフォン等の携帯情報端末に対応したインスタント・メッセージング・サービスを利用するユーザが増えている。インスタント・メッセージング・サービス等では、種々のソフトウェア・ロボット・サービスが提供されている場合がある。このような、ソフトウェア・ロボット・サービスでは、例えば、所定の情報を提示するソフトウェア・ロボット（以降、「ボット」とも表す。）を友だちとして追加し、この友だち（ボット）とチャットすることで、ユーザは、所定の情報の提示を受けることができる。

また、ボットがユーザに検索ワードの入力をリクエストし、このリクエストに応じてユーザが検索ワードを返答すると、返答された検索ワードをクエリとして検索し、検索結果をユーザに提示する技術が知られている（例えば、特許文献１参照）。

しかしながら、上記の従来技術では、ボットがリクエストする検索ワードの入力に対して、ユーザは、検索ワードを手入力する必要がある。このため、例えば、ＭＦＰ（Multifunction Peripheral）等の機器の故障等に対する対処方法を提示するボットがリクエストする検索ワードの入力に対して、ユーザが誤った情報を入力してしまうと、適切な対処方法が提示されない場合があった。

本発明の実施の形態は、上記の点に鑑みてなされたもので、機器で発生した問題に対する適切な対処方法を提示することを目的とする。

上記の目的を達成するため、本発明の実施の形態は、端末とネットワークを介して接続され、機器で発生した問題に対する対処方法を提示するコンピュータが実行する情報処理方法であって、前記端末から送信された第１の画像に基づいて、該第１の画像の撮影対象である前記機器のステータスを決定する決定手順と、前記決定手順が決定したステータスに応じて、前記問題に対する対処方法を特定する特定手順と、前記特定手順が特定した対処方法を示すメッセージを前記端末に表示させる第１の表示手順と、前記機器の所定の箇所又は所定の状態の前記機器を撮影した第２の画像を要求することを示すメッセージを前記端末に表示させる第２の表示手順と、前記第２の画像に基づいて、前記機器のステータスを更新する更新手順と、前記更新手順で前記機器のステータスが更新された場合、更新後のステータスに応じて、前記問題に対する対処方法を特定し、特定した該対処方法を示すメッセージを前記端末に表示させる第３の表示手順と、を有することを特徴とする。

機器で発生した問題に対する適切な対処方法を提示することができる。

本実施形態に係る対話出力システムの全体構成の一例を示す図である。 本実施形態に係る対話出力サーバのハードウェア構成の一例を示す図である。 本実施形態に係る端末装置のハードウェア構成の一例を示す図である。 本実施形態に係る対話出力システムの機能構成の一例を示す図である。 初期ステータス特定テーブルの一例を示す図である。 提示メッセージ特定テーブルの一例を示す図である。 本実施形態に係る対話出力サーバが実行する対話処理の一例を示すフローチャートである。 対話画面の一例を示す図（その１）である。 対話画面の一例を示す図（その２）である。 対話画面の一例を示す図（その３）である。 対話画面の一例を示す図（その４）である。 ステータスの遷移の一例を説明する図である。

以下、本発明の実施の形態（本実施形態）について、図面を参照しながら詳細に説明する。以降では、ボット・サービスを提供する対話出力サーバ１０が含まれる対話出力システム１について説明する。

＜全体構成＞
まず、本実施形態に係る対話出力システム１には、ボット・サービスを提供する対話出力サーバ１０と、ボット・サービスを利用するユーザの端末装置２０と、インスタント・メッセージング・サービスを提供するメッセージ送受信サーバ３０とが含まれる。また、対話出力サーバ１０と、端末装置２０と、メッセージ送受信サーバ３０とは、例えばインターネットや電話回線網、移動体通信網等が含まれるネットワークＮを介して通信可能に接続されている。

対話出力サーバ１０は、インスタント・メッセージング・サービスを用いたボット・サービスを提供する情報処理装置（コンピュータ）又は情報処理システム（コンピュータシステム）である。本実施形態に係る対話出力サーバ１０は、例えばＭＦＰや電子黒板システム（ＩＷＢ：Interactive Whiteboard）、プロジェクタ等の各種の機器４０で発生した故障等の問題に対する対処方法又は解決方法を提示するボット・サービスを提供する。なお、以降では、一例として、「解決方法」という用語を用いて説明するが、「解決方法」ではなく、解決できるか否かが不明であるが行っておくべきと考えられる「対処方法」であっても良い。

対話出力サーバ１０には、サーバプログラム１００がインストールされている。対話出力サーバ１０は、サーバプログラム１００により、機器４０で発生した故障等に対する解決方法を提示するボット・サービスを提供することができる。このボット・サービスでは、例えば、故障等が発生した機器４０を撮影した画像を受信することで、この機器４０のステータスを特定し、特定したステータスに応じた解決方法を提示する。このように、本実施形態に係る対話出力サーバ１０が提供するボット・サービスでは、機器４０を撮影した画像から当該機器４０のステータスを特定し、特定したステータスに応じた解決方法を提示する。なお、ステータスとは、機器４０を撮影した画像（撮影対象が機器４０の少なくとも一部である画像）により特定される状態のことである。

端末装置２０は、ボット・サービスを利用するユーザが操作するスマートフォンやタブレット端末、ＰＣ（パーソナルコンピュータ）等である。端末装置２０には、インスタント・メッセージング・サービスを利用するためのメッセージアプリケーション２００がインストールされている。端末装置２０のユーザは、メッセージアプリケーション２００を用いてインスタント・メッセージング・サービスを利用することで、他のユーザ又はボットとの間で、メッセージや画像等の送受信を行うことができる。なお、端末装置２０のユーザは、メッセージアプリケーション２００を用いて、他のユーザ又はボットとの間で、例えば、音声、動画、ドキュメントデータ等の電子ファイル等の送受信を行うことができても良い。

端末装置２０のユーザは、メッセージアプリケーション２００を用いて、例えば、ボットを友だちとして追加することで、ボットとの間でメッセージや画像等の送受信を行うことができるようになり、対話出力サーバ１０が提供するボット・サービスを利用することができる。

端末装置２０のユーザは、例えば、機器４０で故障等が発生した場合に、メッセージアプリケーション２００を用いて、当該機器４０を撮影した画像をボットに送信することで、この機器４０で発生した故障等に対する解決方法の提示を受けることができる。

なお、メッセージアプリケーション２００としては、例えば、ＬＩＮＥ（商標又は登録商標）、Ｓｌａｃｋ（商標又は登録商標）、Ｓｋｙｐｅ（商標又は登録商標）、ＣｈａｔＷｏｒｋ（商標又は登録商標）、Ｆａｃｅｂｏｏｋ Ｍｅｓｓｅｎｇｅｒ（商標又は登録商標）、ＷｈａｔｓＡｐｐ（商標又は登録商標）、カカオトーク（商標又は登録商標）等が挙げられる。

メッセージ送受信サーバ３０は、インスタント・メッセージング・サービスを提供する情報処理装置（コンピュータ）又は情報処理システム（コンピュータシステム）である。対話出力サーバ１０と端末装置２０との間におけるインスタント・メッセージング・サービスを利用したメッセージ等の送受信は、メッセージ送受信サーバ３０を介して行われる。すなわち、端末装置２０のユーザと、ボット・サービスのボットとの間におけるメッセージや画像等の送受信は、メッセージ送受信サーバ３０を介して行われる。

なお、図１では、対話出力サーバ１０とメッセージ送受信サーバ３０とが異なる装置又はシステムである場合を示しているが、対話出力サーバ１０とメッセージ送受信サーバ３０とが同一の装置又はシステムであっても良い。すなわち、インスタント・メッセージング・サービスを提供するサービス提供事業者と、ボット・サービスを提供するサービス提供事業者とが同一の事業者（又は同一と見做せる事業者）であっても良い。

また、機器４０は、ＭＦＰや電子黒板システム、プロジェクタ等に限られない。機器４０としては、例えば、コピー機、スキャナ、ファクシミリ、テレビ会議端末、デジタルサイネージ装置、ＰＣ（パーソナルコンピュータ）、家電製品、ゲーム機器、デジタルカメラ等の各種電子機器であっても良い。

＜ハードウェア構成＞
次に、本実施形態に係る対話出力システム１に含まれる対話出力サーバ１０及び端末装置２０のハードウェア構成について説明する。

≪対話出力サーバ１０≫
まず、本実施形態に係る本実施形態に係る対話出力サーバ１０のハードウェア構成について、図２を参照しながら説明する。図２は、本実施形態に係る対話出力サーバ１０のハードウェア構成の一例を示す図である。

図２に示すように、本実施形態に係る対話出力サーバ１０は、入力装置１１と、表示装置１２と、外部Ｉ／Ｆ１３と、ＲＡＭ（Random Access Memory）１４とを有する。また、本実施形態に係る対話出力サーバ１０は、ＲＯＭ（Read Only Memory）１５と、ＣＰＵ（Central Processing Unit）１６と、通信Ｉ／Ｆ１７と、補助記憶装置１８とを有する。これらの各ハードウェアは、それぞれがバスＢ１で接続されている。

入力装置１１は、キーボードやマウス、タッチパネル等を含み、ユーザが各種操作を入力するのに用いられる。表示装置１２は、ディスプレイ等を含み、対話出力サーバ１０による処理結果を表示する。なお、対話出力サーバ１０は、入力装置１１及び表示装置１２の少なくとも一方を有していなくても良い。

外部Ｉ／Ｆ１３は、外部装置とのインタフェースである。外部装置には、記録媒体１３ａ等がある。対話出力サーバ１０は、外部Ｉ／Ｆ１３を介して、記録媒体１３ａの読み取りや書き込みを行うことができる。記録媒体１３ａには、例えば、フレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリ等がある。

ＲＡＭ１４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ１５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ１５には、対話出力サーバ１０の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ（Operating System）設定、及びネットワーク設定等のプログラムやデータが格納されている。

ＣＰＵ１６は、ＲＯＭ１５や補助記憶装置１８等の記憶装置からプログラムやデータをＲＡＭ１４上に読み出し、処理を実行することで、対話出力サーバ１０全体の制御や機能を実現する演算装置である。

通信Ｉ／Ｆ１７は、対話出力サーバ１０をネットワークＮに接続するインタフェースである。対話出力サーバ１０は、通信Ｉ／Ｆ１７を介して、他の装置等との間でデータ通信を行うことができる。

補助記憶装置１８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置１８に格納されるプログラムやデータには、対話出力サーバ１０全体を制御する基本ソフトウェアであるＯＳ、ＯＳ上において各種機能を提供するソフトウェア、サーバプログラム１００等がある。補助記憶装置１８は、格納しているプログラムやデータを所定のファイルシステムやＤＢ（データベース）等により管理している。

本実施形態に係る対話出力サーバ１０は、図２に示すハードウェア構成を有することにより、後述するような各種処理を実現することができる。

≪端末装置２０≫
次に、本実施形態に係る本実施形態に係る端末装置２０のハードウェア構成について、図３を参照しながら説明する。図３は、本実施形態に係る端末装置２０のハードウェア構成の一例を示す図である。

図３に示すように、本実施形態に係る端末装置２０は、入力装置２１と、表示装置２２と、外部Ｉ／Ｆ２３と、ＲＡＭ２４と、ＲＯＭ２５と、ＣＰＵ２６と、通信Ｉ／Ｆ２７と、補助記憶装置２８と、カメラ装置２９とを有する。これらの各ハードウェアは、それぞれがバスＢ２で接続されている。

入力装置２１は、例えばタッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置２２は、例えばディスプレイ等であり、端末装置２０による処理結果を表示する。なお、入力装置２１がタッチパネルである場合、入力装置２１及び表示装置２２は一体で構成される。

外部Ｉ／Ｆ２３は、外部装置とのインタフェースである。外部装置には、記録媒体２３ａ等がある。端末装置２０は、外部Ｉ／Ｆ２３を介して、記録媒体２３ａの読み取りや書き込みを行うことができる。記録媒体２３ａには、例えば、ＳＤメモリカード、ＵＳＢメモリ等がある。

ＲＡＭ２４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ２５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ２５には、端末装置２０の起動時に実行されるＢＩＯＳ、ＯＳ設定、及びネットワーク設定等のプログラムやデータが格納されている。

ＣＰＵ２６は、ＲＯＭ２５や補助記憶装置２８等の記憶装置からプログラムやデータをＲＡＭ２４上に読み出し、処理を実行することで、端末装置２０全体の制御や機能を実現する演算装置である。

通信Ｉ／Ｆ２７は、端末装置２０をネットワークＮに接続するインタフェースである。端末装置２０は、通信Ｉ／Ｆ２７を介して、他の装置等との間でデータ通信を行うことができる。

補助記憶装置２８は、プログラムやデータを格納している不揮発性の半導体メモリである。補助記憶装置２８に格納されるプログラムやデータには、端末装置２０全体を制御する基本ソフトウェアであるＯＳ、ＯＳ上において各種機能を提供するソフトウェア、メッセージアプリケーション２００等がある。カメラ装置２９は、撮影対象を撮影することで画像データを生成する撮影装置である。

本実施形態に係る端末装置２０は、図３に示すハードウェア構成を有することにより、後述するような各種処理を実現することができる。

＜機能構成＞
次に、本実施形態に係る対話出力システム１の機能構成について、図４を参照しながら説明する。図４は、本実施形態に係る対話出力システム１の機能構成の一例を示す図である。

図４に示すように、本実施形態に係る対話出力サーバ１０は、メッセージ受信部１０１と、メッセージ送信部１０２と、ＯＣＲ処理部１０３と、メッセージ解析部１０４と、画像解析部１０５と、ステータス更新部１０６と、提示特定部１０７とを有する。これら各機能部は、サーバプログラム１００がＣＰＵ１６に実行させる処理により実現される。

また、本実施形態に係る対話出力サーバ１０は、マッチング対象画像記憶部１０８を有する。マッチング対象画像記憶部１０８は、例えば補助記憶装置１８を用いて実現可能である。なお、マッチング対象画像記憶部１０８は、例えば、対話出力サーバ１０とネットワークＮを介して接続される記憶装置等を用いて実現されていても良い。

メッセージ受信部１０１は、メッセージ送受信サーバ３０を介して、端末装置２０のメッセージアプリケーション２００から送信されたメッセージや画像等を受信する。

メッセージ送信部１０２は、メッセージ送受信サーバ３０を介して、端末装置２０のメッセージアプリケーション２００に対してメッセージを送信する。

ＯＣＲ処理部１０３は、機器４０のステータスが未だ特定されていない場合に、メッセージ受信部１０１が画像を受信すると、当該画像をＯＣＲ（Optical Character Recognition）処理して、文字情報を抽出する。そして、ＯＣＲ処理部１０３は、初期ステータス特定テーブル３００を参照して、抽出した文字情報から当該機器４０のステータス（初期ステータス）を特定する。なお、初期ステータス特定テーブル３００とは、機器４０の初期ステータスを特定するためのテーブルである。初期ステータス特定テーブル３００の詳細については後述する。

メッセージ解析部１０４は、機器４０のステータスが未だ特定されていない場合に、メッセージ受信部１０１がメッセージを受信すると、当該メッセージを解析して、機器４０で発生した故障等を表す文字情報を抽出する。そして、メッセージ解析部１０４は、初期ステータス特定テーブル３００を参照して、抽出した文字情報から当該機器４０のステータス（初期ステータス）を特定する。

画像解析部１０５は、機器４０のステータスが特定されている場合に、メッセージ受信部１０１が画像を受信すると、当該画像と、マッチング対象画像記憶部１０８に記憶されている画像（以降、この画像を「マッチング対象画像」と表す。）とを用いて、当該機器４０の次のステータスを特定する。

ここで、マッチング対象画像記憶部１０８には、機器４０を予め撮影したマッチング対象画像と、当該機器４０のステータスとが関連付けて記憶されている。例えば、或る故障が発生したときにおける機器４０の或る箇所（又は或る状態における当該機器４０）を撮影したマッチング対象画像と、当該機器４０のステータス（当該故障が発生したことを示すステータス）とが関連付けて記憶されている。同様に、例えば、或る別の故障が発生したときの機器４０の或る別の箇所（又は或る別の状態における当該機器４０）を撮影したマッチング対象画像と、当該機器４０のステータス（当該別の故障が発生したことを示すステータス）とが関連付けられて記憶されている。より具体的には、例えば、紙詰まりが発生した機器４０の側面のカバーが空いている状態を撮影したマッチング対象画像と、当該機器４０のステータス（例えば、紙詰まりが発生したことを示すステータス）とが関連付けられて記憶されている。また、例えば、トナー切れが発生した機器４０のフロントカバーを外した状態を撮影したマッチング対象画像と、当該機器４０のステータス（例えば、トナー切れが発生したことを示すステータス）とが関連付けられて記憶されている。

このように、マッチング対象画像記憶部１０８には、複数のマッチング対象画像（例えば、数千枚〜数万枚等のマッチング対象画像）と、これら複数のマッチング対象画像に写っている機器４０のステータスとがそれぞれ関連付けて記憶されている。

そこで、画像解析部１０５は、例えば、当該画像と、マッチング対象画像記憶部１０８に記憶されているマッチング対象画像とのパターンマッチングを行って、類似度を算出する。そして、画像解析部１０５は、最も類似度が高いマッチング対象画像（すなわち、当該画像と最も類似するマッチング対象画像）に関連付けられているステータスを、当該機器４０の次のステータスとして特定する。

ステータス更新部１０６は、ＯＣＲ処理部１０３又はメッセージ解析部１０４によりステータス（初期ステータス）が特定された場合、当該初期ステータスを、機器４０のステータスに決定する。

また、ステータス更新部１０６は、画像解析部１０５により次のステータスが特定された場合、当該次のステータスで、機器４０のステータスを更新する。

提示特定部１０７は、提示メッセージ特定テーブル４００を参照して、機器４０のステータスからユーザに提示するメッセージ（提示メッセージ）を特定する。なお、提示メッセージ特定テーブル４００とは、機器４０のステータスから提示メッセージを特定するためのテーブルである。提示メッセージ特定テーブル４００の詳細については後述する。

ここで、初期ステータス特定テーブル３００の詳細について、図５を参照しながら説明する。図５は、初期ステータス特定テーブル３００の一例を示す図である。なお、初期ステータス特定テーブル３００は、例えば補助記憶装置１８等に格納されている。

図５に示すように、初期ステータス特定テーブル３００には、データ項目として、「キーワード」と、「初期ステータス」とが含まれる。

図５に示す例では、キーワード「紙」及び「詰まり」と、初期ステータス「Ｓ１−１（紙詰まり発生）」とが関連付けられている。これは、ＯＣＲ処理部１０３又はメッセージ解析部１０４により抽出された文字情報に「紙」と「詰まり」とが含まれる場合、機器４０の初期ステータスは「Ｓ１−１（紙詰まり発生）」と特定されることを示している。

同様に、図５に示す例では、キーワード「トナー」及び「切れ」と、初期ステータス「Ｓ２−１（トナー切れ発生）」とが関連付けられている。これは、ＯＣＲ処理部１０３又はメッセージ解析部１０４により抽出された文字情報に「トナー」と「切れ」とが含まれる場合、機器４０の初期ステータスは「Ｓ２−１（トナー切れ発生）」と特定されることを示している。

同様に、図５に示す例では、キーワード「紙」及び「無し」と、初期ステータス「Ｓ３−１（用紙無し発生）」とが関連付けられている。これは、ＯＣＲ処理部１０３又はメッセージ解析部１０４により抽出された文字情報に「紙」と「無し」とが含まれる場合、機器４０の初期ステータスは「Ｓ３−１（用紙無し発生）」と特定されることを示している。

このように、初期ステータス特定テーブル３００では、ＯＣＲ処理部１０３又はメッセージ解析部１０４により抽出された文字情報から初期ステータスを特定するための情報が格納されている。

また、提示メッセージ特定テーブル４００の詳細について、図６を参照しながら説明する。図６は、提示メッセージ特定テーブル４００の一例を示す図である。なお、提示メッセージ特定テーブル４００は、例えば補助記憶装置１８等に格納されている。

図６に示すように、提示メッセージ特定テーブル４００には、データ項目として、「ステータス」と、「遷移時の提示メッセージ」と、「未解決時の提示メッセージ」とが含まれる。「遷移時の提示メッセージ」とは、当該ステータスにおける機器４０の故障等の解決方法が表示されるメッセージである、一方で、「未解決時の提示メッセージ」とは、当該ステータスにおいて、機器４０の故障等が当該解決方法で解決できなかった場合に、次に遷移させるステータスを特定するために必要な画像をユーザに要求するメッセージである。

図６に示す例では、ステータス「Ｓ１−１（紙詰まり発生）」には、遷移時の提示メッセージ「紙が詰まっているようです。横のカバーを開けて紙を取ってみて下さい。」が関連付けられている。これは、機器４０のステータスが「Ｓ１−１（紙詰まり発生）」に遷移した場合、「紙が詰まっているようです。横のカバーを開けて紙を取ってみて下さい。」との解決方法を示すメッセージがユーザに提示されることを示している。

また、図６に示す例では、ステータス「Ｓ１−１（紙詰まり発生）」には、未解決時の提示メッセージ「ＭＦＰの横のカバーを開けている状態の写真を撮って送って下さい。」が関連付けられている。これは、遷移時の提示メッセージ「紙が詰まっているようです。横のカバーを開けて紙を取ってみて下さい。」によってユーザが故障等を解決できなかった場合、「ＭＦＰの横のカバーを開けている状態の写真を撮って送って下さい。」との次の画像をユーザに要求するメッセージがユーザに提示されることを示している。

同様に、図６に示す例では、ステータス「Ｓ１−２（紙詰まり中）」には、遷移時の提示メッセージ「○○スイッチを押しながら、紙を取ってみて下さい。」が関連付けられている。これは、機器４０のステータスが「Ｓ１−２（紙詰まり中）」に遷移した場合、「○○スイッチを押しながら、紙を取ってみて下さい。」との解決方法を示すメッセージがユーザに提示されることを示している。

同様に、図６に示す例では、ステータス「Ｓ１−２（紙詰まり中）」には、未解決時の提示メッセージ「ＭＦＰの横のカバーを開けている状態の写真を撮って送ってください。」が関連付けられている。これは、遷移時の提示メッセージ「○○スイッチを押しながら、紙を取ってみて下さい。」によってユーザが故障等を解決できなかった場合、「ＭＦＰの横のカバーを開けている状態の写真を撮って送ってください。」との次の画像をユーザに要求するメッセージがユーザに提示されることを示している。

このように、提示メッセージ特定テーブル４００では、或るステータスにおける機器４０の故障等に対する解決方法を示すメッセージと、当該遷移時の提示メッセージによってユーザが故障等を解決できなかった場合に次の画像をユーザに要求するメッセージとが含まれる情報が格納されている。

＜処理の詳細＞
次に、本実施形態に係る対話出力システム１に含まれる対話出力サーバ１０が、端末装置２０のユーザに対して、機器４０で発生した故障等に対する解決方法を提示する対話処理について、図７を参照しながら説明する。図７は、本実施形態に係る対話出力サーバ１０が実行する対話処理の一例を示すフローチャートである。以降では、端末装置２０のユーザは、メッセージアプリケーション２００を用いて、ボット・サービスの利用を開始したものとする。なお、ボット・サービスの利用を開始するためには、端末装置２０のユーザは、例えば、メッセージアプリケーション２００を用いて、ボットを友だちとして追加（又は、ボットをコンタクトリストに追加等）する必要がある。

また、対話出力サーバ１０と端末装置２０との間の各種データの送受信（メッセージの送受信や画像の送受信等）は、メッセージ送受信サーバ３０を介して行われるが、以降では、「メッセージ送受信サーバ３０を介して」との記載を省略する。

まず、メッセージ送信部１０２は、カテゴリを選択させるメッセージを端末装置２０に送信する（ステップＳ１０１）。カテゴリを選択させるメッセージは、例えば、故障等が発生した機器４０の種別の選択をユーザに促すためのメッセージである。これにより、メッセージアプリケーション２００により表示される対話画面Ｇ１００（図８参照）上には、カテゴリ選択メッセージ１１００が表示される。カテゴリ選択メッセージ１１００には、故障等が発生した機器４０の種類を選択するための選択肢（「ＭＦＰ故障」、「プロジェクタ故障」及び「ＩＷＢ故障」）が表示されている。

ユーザが端末装置２０のメッセージアプリケーション２００を用いて、例えば「ＭＦＰ故障」と入力して、送信操作を行った場合、メッセージアプリケーション２００は、「ＭＦＰ故障」とのメッセージ（カテゴリ選択を示すメッセージ）を対話出力サーバ１０に送信する。これより、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ１００上には、カテゴリ選択を示すメッセージ１２００が表示される。

対話出力サーバ１０のメッセージ受信部１０１は、カテゴリ選択を示すメッセージを受信する（ステップＳ１０２）。

対話出力サーバ１０のメッセージ送信部１０２は、カテゴリ選択を示すメッセージをメッセージ受信部１０１が受信すると、初期メッセージを送信する（ステップＳ１０３）。初期メッセージは、例えば、初期ステータスを特定するための情報の送信又は入力をユーザに促すためのメッセージである。

初期メッセージを端末装置２０が受信すると、メッセージアプリケーション２００により表示される対話画面Ｇ１００上には、初期メッセージ１３００が表示される。初期メッセージ１３００には、「ＭＦＰの操作パネル画面を撮った写真を送るか、エラー内容を入力して下さい。」との内容が表示されている。

ユーザは、端末装置２０のメッセージアプリケーション２００を用いて、ＭＦＰ（機器４０）の操作パネル画面を撮った写真（画像）を送るか又はエラー内容を入力することができる。

ユーザが端末装置２０のメッセージアプリケーション２００を用いて、ＭＦＰ（機器４０）の操作パネル画面を撮った写真（画像）を送った場合、メッセージアプリケーション２００は、当該画像を対話出力サーバ１０に送信する。これにより、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ１００上には、対話出力サーバ１０に送信した画像１４００が表示される。

なお、例えば、端末装置２０が備えるカメラ装置２９を用いて機器４０を撮影することにより生成された画像が対話出力サーバ１０に送信されても良いし、他のカメラ装置を用いて機器４０を撮影することにより生成された画像が対話出力サーバ１０に送信されても良い。

一方で、ユーザが端末装置２０のメッセージアプリケーション２００を用いて、エラー内容の入力及び送信操作を行った場合、メッセージアプリケーション２００は、当該エラー内容を示すメッセージ（エラー内容メッセージ）を対話出力サーバ１０に送信する。この場合、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ１００上には、当該エラー内容メッセージが表示される。

対話出力サーバ１０のメッセージ受信部１０１は、画像又はエラー内容メッセージのいずれを受信したかを判定する（ステップＳ１０４）。

メッセージ受信部１０１が画像を受信した場合、対話出力サーバ１０のＯＣＲ処理部１０３は、当該画像をＯＣＲ処理して、文字情報を抽出する。そして、ＯＣＲ処理部１０３は、初期ステータス特定テーブル３００を参照して、抽出した文字情報から当該機器４０のステータス（初期ステータス）を特定する（ステップＳ１０５）。

例えば、図８に示す対話画面Ｇ１００の画像１４００をメッセージ受信部１０１が受信した場合、ＯＣＲ処理部１０３のＯＣＲ処理により、「用紙」、「詰まり」等の文字情報が抽出される。そして、ＯＣＲ処理部１０３は、初期ステータス特定テーブル３００を参照して、キーワード「紙」及び「詰まり」が当該文字情報に含まれていると判定する。これにより、ＯＣＲ処理部１０３は、キーワード「紙」及び「詰まり」に関連付けられている初期ステータス「Ｓ１−１（紙詰まり発生）」を特定する。

一方で、メッセージ受信部１０１がエラー内容メッセージを受信した場合、対話出力サーバ１０のメッセージ解析部１０４は、当該エラー内容メッセージを解析して、機器４０で発生した故障等を表す文字情報を抽出する。そして、メッセージ解析部１０４は、初期ステータス特定テーブル３００を参照して、抽出したエラー情報から当該機器４０のステータス（初期ステータス）を特定する（ステップＳ１０６）。機器４０で発生した故障等を表す文字情報としては、例えば、「紙」、「用紙」、「詰まり」、「切れ」、「トナー」、「電源」、「起動しない」、「異音」等が挙げられる。例えば、エラー内容メッセージが「紙詰まりが起こっている。」であった場合、メッセージ解析部１０４は、「紙」、「詰まり」を当該文字情報として抽出する。なお、機器４０で発生した故障等を表す文字情報として、例えば、エラーコード等が抽出されても良い。

なお、対話出力サーバ１０のメッセージ受信部１０１が受信した画像又はエラー内容メッセージによっては、ＯＣＲ処理部１０３又はメッセージ解析部１０４が初期ステータスを特定できない場合が有り得る。これは、例えば、当該画像から文字情報を抽出できない場合（例えば、不鮮明である場合や文字が含まれていない場合等）や、機器４０で発生した故障等を表す文字情報がエラー内容メッセージに含まれていない場合等が挙げられる。この場合、対話出力サーバ１０のメッセージ送信部１０２は、再度、初期ステータスを特定するための情報の送信又は入力をユーザに促すためのメッセージを送信しても良い。また、例えば、ＯＣＲ処理部１０３又はメッセージ解析部１０４が初期ステータスを所定の回数特定できなかった場合、メッセージ送信部１０２は、機器４０で発生した故障等の種別（例えば、「紙詰まり」、「トナー切れ」、「用紙無し」等）をユーザに選択させるための一覧が表示されるメッセージを送信しても良い。

次に、対話出力サーバ１０のステータス更新部１０６は、ＯＣＲ処理部１０３により特定された初期ステータス又はメッセージ解析部１０４により特定された初期ステータスを、機器４０のステータスに決定する（ステップＳ１０７）。

次に、対話出力サーバ１０の提示特定部１０７は、提示メッセージ特定テーブル４００を参照して、機器４０のステータスからユーザに提示するメッセージ（遷移時の提示メッセージ）を特定する（ステップＳ１０８）。

例えば、上記のステップＳ１０５で決定されたステータスが「Ｓ１−１（紙詰まり発生）」である場合、提示特定部１０７は、提示メッセージ特定テーブル４００を参照して、遷移時の提示メッセージ「紙が詰まっているようです。横のカバーを開けて紙を取ってみて下さい。」を特定する。

次に、対話出力サーバ１０のメッセージ送信部１０２は、上記のステップＳ１０６で特定した提示メッセージと、故障等が解決したか否かをユーザに尋ねるメッセージとを端末装置２０に送信する（ステップＳ１０９）。これにより、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ２００（図９参照）上には、メッセージ１５００とメッセージ１６００とが表示される。メッセージ１５００は、上記のステップＳ１０６で特定した提示メッセージ（ステータス「Ｓ１−１（紙詰まり発生）」への遷移時の提示メッセージ）である。メッセージ１６００は、故障等が解決したか否かをユーザに尋ねるメッセージである。

なお、メッセージ送信部１０２は、メッセージ１５００とメッセージ１６００とを同時に送信する必要はない。例えば、メッセージ１５００を送信した後、数秒乃至数分後にメッセージ１６００を送信しても良い。

ユーザは、メッセージアプリケーション２００により表示される対話画面Ｇ２００上のメッセージ１５００（遷移時の提示メッセージ）を参照して、機器４０で発生した故障等の解決を図ることができる。

当該メッセージ１５００を参照しても機器４０で発生した故障等を解決することができなかった場合、ユーザは、メッセージアプリケーション２００を用いて、故障等が解決できなかったことを示すメッセージの入力及び送信操作を行う。この入力及び送信操作が行われた場合、メッセージアプリケーション２００は、故障等が解決できなかったことを示すメッセージを対話出力サーバ１０に送信する。これにより、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ２００上には、故障等が解決できなかったことを示すメッセージ１７００が表示される。

一方で、当該メッセージ１５００を参照して機器４０で発生した故障等を解決することができた場合、ユーザは、メッセージアプリケーション２００を用いて、故障等が解決できたことを示すメッセージの入力及び送信操作を行う。この入力及び送信操作が行われた場合、メッセージアプリケーション２００は、故障等が解決できたことを示すメッセージを対話出力サーバ１０に送信する。これにより、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ２００上には、故障等が解決できたことを示すメッセージ（例えば、「はい」と表示されたメッセージ）が表示される。

なお、故障等が解決できたことを示すメッセージ及び故障等が解決できなかったことを示すメッセージ以外のメッセージが対話出力サーバ１０に送信される場合も有り得る。この場合、対話出力サーバ１０のメッセージ送信部１０２は、「問題か解決したか否かをもう一度送信して下さい。」等の再入力（再送信）を促すメッセージを送信するようにすれば良い。

対話出力サーバ１０のメッセージ受信部１０１は、故障等が解決したことを示すメッセージを受信したか否かを判定する（ステップＳ１１０）。

故障等が解決したことを示すメッセージを受信した場合、対話出力サーバ１０は、後述するステップＳ１１９の処理を実行する。

一方で、故障等が解決できなかったことを示すメッセージを受信した場合、対話出力サーバ１０の提示特定部１０７は、提示メッセージ特定テーブル４００を参照して、機器４０のステータスからユーザに提示するメッセージ（未解決時の提示メッセージ）を特定する（ステップＳ１１１）。

例えば、機器４０の現在のステータスが「Ｓ１−１（紙詰まり発生）」である場合、提示特定部１０７は、提示メッセージ特定テーブル４００を参照して、未解決時の提示メッセージ「ＭＦＰの横のカバーを開けている状態の写真を撮って送って下さい。」を特定する。

次に、対話出力サーバ１０のメッセージ送信部１０２は、上記のステップＳ１１１で特定した提示メッセージを端末装置２０に送信する（ステップＳ１１２）。これにより、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ２００（図９参照）上には、メッセージ１８００が表示される。メッセージ１８００は、上記のステップＳ１１１で特定した提示メッセージ（ステータス「Ｓ１−１（紙詰まり発生）」における未解決時の提示メッセージ）である。

ユーザは、メッセージアプリケーション２００により表示される対話画面Ｇ２００上のメッセージ１８００（未解決時の提示メッセージ）により、撮影すべき機器４０の箇所又は状態の提示を受けることができる。ユーザは、メッセージ１８００で提示されている箇所又は状態（すなわち、図９に示す例では、ＭＦＰの横のカバーを開けている状態）で機器４０を撮影する。そして、ユーザは、メッセージアプリケーション２００を用いて、撮影した画像を送信する。これにより、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ２００上には、対話出力サーバ１０に送信した画像１９００が表示される。

対話出力サーバ１０のメッセージ受信部１０１は、端末装置２０から画像を受信する（ステップＳ１１３）。

次に、対話出力サーバ１０の画像解析部１０５は、メッセージ受信部１０１が受信した画像と、マッチング対象画像記憶部１０８に記憶されているマッチング対象画像とを用いて、当該機器４０の次のステータスを特定する（ステップＳ１１４）。すなわち、画像解析部１０５は、当該画像と、マッチング対象画像記憶部１０８に記憶されているマッチング対象画像とのパターンマッチングを行い、最も類似するマッチング対象画像に関連付けられているステータスを、当該機器４０の次のステータスとして特定する。

なお、画像解析部１０５は、最も類似するマッチング対象画像に関連付けられているステータスを次のステータスとして特定する場合に限られない。画像解析部１０５は、例えば、類似度が所定の閾値以上であるマッチング対象画像にそれぞれ関連付けられているステータスのうち、最も出現頻度が高いステータスを次のステータスとして特定しても良い。

以降では、上記のステップＳ１１４でステータス「Ｓ１−２（紙詰まり中）」が特定された場合について説明する。

次に、ステータス更新部１０６は、画像解析部１０５により特定された次のステータスで、機器４０のステータスを更新する（ステップＳ１１５）。これにより、機器４０のステータスが次のステータス（すなわち、「Ｓ１−２（紙詰まり中）」）に更新される。

次に、対話出力サーバ１０の提示特定部１０７は、提示メッセージ特定テーブル４００を参照して、機器４０のステータスからユーザに提示するメッセージ（未解決時の提示メッセージ）を特定する（ステップＳ１１６）。

例えば、機器４０の現在のステータスが「Ｓ１−２（紙詰まり中）」である場合、提示特定部１０７は、提示メッセージ特定テーブル４００を参照して、遷移時の提示メッセージ「○○スイッチを押しながら、紙を取ってみて下さい。」を特定する。

次に、対話出力サーバ１０のメッセージ送信部１０２は、上記のステップＳ１１６で特定した提示メッセージと、故障等が解決したか否かをユーザに尋ねるメッセージとを端末装置２０に送信する（ステップＳ１１７）。これにより、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ３００（図１０参照）上には、メッセージ２０００とメッセージ２１００とが表示される。メッセージ２０００は、上記のステップＳ１１６で特定した提示メッセージ（ステータス「Ｓ１−２（紙詰まり中）」における遷移時の提示メッセージ）である。メッセージ２１００は、故障等が解決したか否かをユーザに尋ねるメッセージである。

なお、メッセージ送信部１０２は、メッセージ２０００とメッセージ２１００とを同時に送信する必要はない。例えば、メッセージ２０００を送信した後、数秒乃至数分後にメッセージ２１００を送信しても良い。

ユーザは、メッセージアプリケーション２００により表示される対話画面Ｇ２００上のメッセージ２０００（遷移時の提示メッセージ）を参照して、機器４０で発生した故障等の解決を図ることができる。

当該メッセージ１５００を参照しても機器４０で発生した故障等を解決することができなかった場合、ユーザは、メッセージアプリケーション２００を用いて、故障等が解決できなかったことを示すメッセージの入力及び送信操作を行う。この入力及び送信操作が行われた場合、メッセージアプリケーション２００は、故障等が解決できなかったことを示すメッセージを対話出力サーバ１０に送信する。これにより、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ３００上には、故障等が解決できなかったことを示すメッセージ２１００が表示される。

一方で、当該メッセージ１５００を参照して機器４０で発生した故障等を解決することができた場合、ユーザは、メッセージアプリケーション２００を用いて、故障等が解決できたことを示すメッセージの入力及び送信操作を行う。この入力及び送信操作が行われた場合、メッセージアプリケーション２００は、故障等が解決できたことを示すメッセージを対話出力サーバ１０に送信する。これにより、端末装置２０のメッセージアプリケーション２００により表示される対話画面Ｇ２００上には、故障等が解決できたことを示すメッセージ（例えば、「はい」と表示されたメッセージ）が表示される。

対話出力サーバ１０のメッセージ受信部１０１は、故障等が解決したことを示すメッセージを受信したか否かを判定する（ステップＳ１１８）。

故障等が解決できなかったことを示すメッセージを受信した場合、対話出力サーバ１０は、上記のステップＳ１１１に戻る。これにより、故障等が解決できるまで、上記のステップＳ１１１〜Ｓ１１８の処理が繰り返し実行される。例えば、図１０に示す対話画面Ｇ３００では、「ＭＦＰの横を撮った写真を送って下さい。」とのメッセージ（未解決時の提示メッセージ）２３００と、ユーザが撮ったＭＦＰ（機器４０）の画像２４００とが表示されている。

また、画像２４００に続いて、例えば、図１１に示す対話画面Ｇ４００では、「カバーが未だ閉じていない状態です。△△スイッチを押しながら、カバーを閉じて下さい。」とのメッセージ（遷移時の提示メッセージ）２５００が表示されている。これは、画像２４００で特定されたステータスが、カバーを閉じていないことを示すステータスであった場合に、当該ステータスに応じたメッセージである。このように、或る問題（例えば、紙詰まり）は解決したが、別の問題（例えば、カバーが閉じられていない）が発生した場合には、この別の問題に対する解決策が提示される。

一方で、故障等が解決したことを示すメッセージを受信した場合、対話出力サーバ１０は、対話出力サーバ１０のメッセージ送信部１０２は、終了メッセージを端末装置２０に送信する（ステップＳ１１９）。これにより、メッセージアプリケーション２００により表示される対話画面Ｇ４００（図１１参照）上には、終了メッセージを示すメッセージ２６００が表示される。

最後に、対話出力サーバ１０のステータス更新部１０６は、機器４０で発生した故障等が解決したことを示すステータス（例えば、「Ｓ１−９（解決済）」）に、当該機器４０のステータスを更新する（ステップＳ１２０）。これにより、例えば、機器４０のステータスが「Ｓ１−９（解決済）」に更新される。

例えば、図８に示す対話画面Ｇ１００〜図１１に示す対話画面Ｇ４００における機器４０のステータス遷移は、図１２に示すようになる。図１２に示すように、図８に示す対話画面Ｇ１００〜図１１に示す対話画面Ｇ４００では、機器４０のステータスは、「Ｓ１−１（紙詰まり発生）」、「Ｓ１−２（紙詰まり中）」、「Ｓ１−３（カバーが閉じられていない）」、「Ｓ１−９（解決済）」の順に遷移する。

＜まとめ＞
以上のように、本実施形態に係る対話出力サーバ１０は、端末装置２０から送信された画像から機器４０のステータスを特定し、特定したステータスに応じて、当該機器４０で発生した解決方法を提示することができる。しかも、本実施形態に係る対話出力サーバ１０は、或るステータスにおける解決方法で故障等が解決できなかった場合、機器４０の予め決められた箇所又は状態の画像の撮影をユーザに要求する。そして、本実施形態に係る対話出力サーバ１０は、ユーザから受け取った当該画像から機器４０の次のステータスを特定し、特定したステータスに応じて、再度、当該機器４０で発生した解決方法を提示する。このように、本実施形態に係る対話出力サーバ１０は、ユーザから受け取った画像から機器４０のステータスを遷移させた上で、当該ステータスに応じた解決策を当該ユーザに提示する。

これにより、ユーザは、例えば、当該機器４０で発生した解決方法の提示を受けるための情報（例えば、機器４０の機種名やシリアル番号、エラーコード等）を入力することなく、当該解決方法の提示を受けることができる。このため、本実施形態に係る対話出力サーバ１０によれば、ユーザの誤入力等による誤った解決方法の提示を防止し、機器４０の画像から特定されるステータスに応じた適切な解決方法を提示することができる。

なお、本実施形態に係る対話出力サーバ１０は、機器４０で発生した故障に対する解決方法を提示する場合に限られない。本実施形態に係る対話出力サーバ１０は、例えば、ユーザと対話をしながら、当該ユーザにより送信された画像から特定されるステータスに応じた所定の情報を提示する種々のボット・サービスに適用することができる。

また、本実施形態では、一例として、ユーザとボットとの対話におけるメッセージが文字である場合について説明したが、これに限られない。ユーザとボットとの対話におけるメッセージは、全部又は一部が音声等であっても良い。また、例えば、機器４０を撮影する箇所又は状態を示す未解決時の提示メッセージは、動画等であっても良い。更に、本実施形態に係る対話出力サーバ１０は、例えば、動画から機器４０の次のステータスを特定しても良い。

なお、ステータス更新部１０６は、特許請求の範囲の決定手段及び更新手段の一例である。提示特定部１０７は、特許請求の範囲の特定手段の一例である。メッセージ送信部１０２は、特許請求の範囲の第１の表示手段及び第２の表示手段の一例である。

本発明は、具体的に開示された上記の実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１ 対話出力システム
１０ 対話出力サーバ
２０ 端末装置
３０ メッセージ送受信サーバ
１００ サーバプログラム
１０１ メッセージ受信部
１０２ メッセージ送信部
１０３ ＯＣＲ処理部
１０４ メッセージ解析部
１０５ 画像解析部
１０６ ステータス更新部
１０７ 提示特定部
１０８ マッチング対象画像記憶部
２００ メッセージアプリケーション
３００ 初期ステータス特定テーブル
４００ 提示メッセージ特定テーブル

特許第５６５０１４５号公報

Claims (6)

1. 端末とネットワークを介して接続され、機器で発生した問題に対する対処方法を提示するコンピュータが実行する情報処理方法であって、
   前記端末から送信された第１の画像に基づいて、該第１の画像の撮影対象である前記機器のステータスを決定する決定手順と、
   前記決定手順が決定したステータスに応じて、前記問題に対する対処方法を特定する特定手順と、
   前記特定手順が特定した対処方法を示すメッセージを前記端末に表示させる第１の表示手順と、
   前記機器の所定の箇所又は所定の状態の前記機器を撮影した第２の画像を要求することを示すメッセージを前記端末に表示させる第２の表示手順と、
   前記第２の画像に基づいて、前記機器のステータスを更新する更新手順と、
   前記更新手順で前記機器のステータスが更新された場合、更新後のステータスに応じて、前記問題に対する対処方法を特定し、特定した該対処方法を示すメッセージを前記端末に表示させる第３の表示手順と、
   を有することを特徴とする情報処理方法。
2. 機器の所定の箇所又は所定の状態の機器を予め撮影した複数の第３の画像と、所定のステータスとがそれぞれ関連付けられて記憶されている記憶部を参照して、前記第２の画像と、前記複数の第３の画像それぞれとのパターンマッチングを行って、前記第２の画像と、前記複数の第３の画像それぞれとの類似度を算出する画像解析手順とを有し、
   前記更新手順とは、
   前記画像解析手順が算出した類似度が最も高い第３の画像に関連付けられているステータスで、前記機器のステータスを更新する、ことを特徴とする請求項１に記載の情報処理方法。
3. 前記第１の画像をＯＣＲ処理して、文字情報を抽出するＯＣＲ処理手順を有し、
   前記決定手順は、
   キーワードと、所定のステータスとが関連付けられている第１のテーブルを参照して、前記ＯＣＲ処理手順が抽出した文字情報に含まれるキーワードと関連付けられているステータスを、前記機器のステータスと決定する、ことを特徴とする請求項１又は２に記載の情報処理方法。
4. 前記特定手順は、
   機器のステータスと、該機器で発生した問題に対する対処方法とが関連付けられている第２のテーブルを参照して、前記決定手順が決定したステータス又は前記更新手順による更新後のステータスと関連付けられている対処方法を特定する、請求項１乃至３の何れか一項に記載の情報処理方法。
5. 端末とネットワークを介して接続され、機器で発生した問題に対する対処方法を提示する情報処理装置であって、
   前記端末から送信された第１の画像に基づいて、該第１の画像の撮影対象である前記機器のステータスを決定する決定手段と、
   前記決定手段が決定したステータスに応じて、前記問題に対する対処方法を特定する特定手段と、
   前記特定手段が特定した対処方法を示すメッセージを前記端末に表示させる第１の表示手段と、
   前記機器の所定の箇所又は所定の状態の前記機器を撮影した第２の画像を要求することを示すメッセージを前記端末に表示させる第２の表示手段と、
   前記第２の画像に基づいて、前記機器のステータスを更新する更新手段と、
   を備え
   前記特定手段は、
   前記更新手段で前記機器のステータスが更新された場合、更新後のステータスに応じて、前記問題に対する対処方法を特定する、ことを特徴とする情報処理装置。
6. 端末とネットワークを介して接続され、機器で発生した問題に対する対処方法を提示するコンピュータに、
   前記端末から送信された第１の画像に基づいて、該第１の画像の撮影対象である前記機器のステータスを決定する決定手順と、
   前記決定手順が決定したステータスに応じて、前記問題に対する対処方法を特定する特定手順と、
   前記特定手順が特定した対処方法を示すメッセージを前記端末に表示させる第１の表示手順と、
   前記機器の所定の箇所又は所定の状態の前記機器を撮影した第２の画像を要求することを示すメッセージを前記端末に表示させる第２の表示手順と、
   前記第２の画像に基づいて、前記機器のステータスを更新する更新手順と、
   前記更新手順で前記機器のステータスが更新された場合、更新後のステータスに応じて、前記問題に対する対処方法を特定し、特定した該対処方法を示すメッセージを前記端末に表示させる第３の表示手順と、
   を実行させることを特徴とするプログラム。