JP2019012971A - システム及び情報処理方法 - Google Patents

Abstract

【課題】オペレータの支援を容易に把握可能とすることを目的とする。【解決手段】画像形成装置は、携帯端末で撮影された画像形成装置の画像を携帯端末より受信し、画像形成装置の画像をオペレータ端末に送信し、オペレータ端末から支援情報を受信し、携帯端末に支援情報を送信する。携帯端末は、画像形成装置を撮影し、撮影した画像形成装置の画像を画像形成装置に送信し、画像形成装置より支援情報を受信し、支援情報に含まれる座標情報に基づき支援情報に含まれる案内画像と撮影した画像形成装置の画像とを重畳表示する。【選択図】図５

Description

本発明は、システム及び情報処理方法に関する。

製品のトラブル対応が複雑になるにつれ、ユーザがメーカーのコールセンターに質問し、回答を得るということが頻繁に行われている。更に、トラブル対応を迅速に行うため、画像形成装置とコールセンターとの間での遠隔保守システムが考えられている（特許文献１）。遠隔保守システムとは、画像形成装置のトラブル発生時にコールセンター側の要員が現地を訪問せずとも、遠隔からでもトラブル解決を容易とするものである。移動にかかる時間がなくなるため、トラブル解決までの時間を短縮することが可能となる。

特開２００７−８００３５号公報

例えば、画像形成装置内で用紙詰まり（ジャム）が発生した場合、そのジャム処理のやり方が判らず、ユーザがコールセンターにサポートを求めるケースが考えられる。コールセンターのオペレータは画像処理装置の状況を遠隔から確認し、更に、ユーザから音声による状況の説明を受けてジャム発生箇所を特定する。そして、そのジャムを解除する手順を説明するマニュアルの画像をコールセンターから画像形成装置に送信し、画像形成装置のＵＩ画面に表示させることによってジャム処理のサポートを行うことができる。
しかしながら、ユーザは送られてきたマニュアル画像と、実際の装置を照らし合わせながらメンテナンス処理をしなくてはならず、わかり易いとは言えない場合もあった。

本発明は、画像形成装置と、携帯端末と、オペレータ端末と、を含むシステムであって、前記画像形成装置は、前記携帯端末で撮影された前記画像形成装置の画像を前記携帯端末より受信し、前記画像形成装置の画像を前記オペレータ端末に送信し、前記オペレータ端末から支援情報を受信し、前記携帯端末に前記支援情報を送信し、前記携帯端末は、前記画像形成装置を撮影し、前記撮影した前記画像形成装置の画像を前記画像形成装置に送信し、前記画像形成装置より前記支援情報を受信し、前記支援情報に含まれる座標情報に基づき前記支援情報に含まれる案内画像と前記撮影した前記画像形成装置の画像とを重畳表示するシステム。

本発明によれば、オペレータの支援を容易に把握可能とすることができる。

遠隔保守システムのシステム構成の一例を示す図である。 遠隔保守システムの各装置のハードウェア構成の一例を示す図である。 画像形成装置のソフトウェア構成の一例を示す図である。 画像形成装置の情報処理の一例を示すフローチャートである。 実施形態１の遠隔保守システムにおける処理のシーケンスを示す図である。 画像データ及び支援情報の一例を示す図である。 重畳表示の一例を示す図である。 実施形態２の遠隔保守システムにおける処理のシーケンスを示す図である。 特定部位の画像及び重畳表示の一例を示す図である。 実施形態３の遠隔保守システムにおける処理のシーケンスを示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、遠隔保守システムのシステム構成の一例を示す図である。遠隔保守システムは、画像形成装置１０１、中継サーバ１０２、オペレータ端末１０３、ＵＲＬ管理サーバ１０５、認証サーバ１０９が、インターネット１０４を介して互いに通信可能に接続されている。画像形成装置１０１は、音声や動画通信、遠隔操作等の遠隔保守機能を持つ。オペレータ端末１０３は、遠隔保守時、画像形成装置１０１の通信相手として動作する。中継サーバ１０２は、ＨＴＴＰサーバとしての通信機能を備える。中継サーバ１０２は、画像形成装置１０１とオペレータ端末１０３との間の中継を行う。画像形成装置１０１、オペレータ端末１０３は、ＨＴＴＰクライアントとしての通信機能を備えている。ＨＴＴＰによるデータ通信においては、ＨＴＴＰクライアント同士はＨＴＴＰサーバから提供されるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）にＰＯＳＴ／ＧＥＴを行うことでデータ通信を実施する。これにより、ＨＴＴＰクライアント同士がプライベートアドレスエリアやファイアウォールに遮られていてもデータ通信を行うことができる。画像形成装置１０１とオペレータ端末１０３とは、音声デバイスを有する。これにより、ユーザ１０６とオペレータ１０７とは、遠隔保守時に音声通話ができる。携帯端末１０８は、スマートフォンやタブレット等のスマートデバイスであり、動画及び静止画を撮影するためのカメラが内蔵されている。認証サーバ１０９は、認証機能を提供するサーバである。画像形成装置１０１とオペレータ端末１０３とが、中継サーバ１０２に接続する際には、予め認証サーバ１０９と認証を行い、認証トークン情報を取得しておかなければならない。ＵＲＬ管理サーバ１０５は、中継サーバのＵＲＬを管理するサーバである。画像形成装置１０１とオペレータ端末１０３とが、中継サーバ１０２に接続する際には、予め、ＵＲＬ管理サーバ１０５から、中継サーバのＵＲＬを取得する。但し、ＵＲＬ管理サーバ１０５を使用せずに、ユーザ１０６、オペレータ１０７が中継サーバのＵＲＬを予め、画像形成装置１０１とオペレータ端末１０３とに設定しておく構成であってもよい。画像形成装置１０１とオペレータ端末１０３とは、それぞれ中継サーバ１０２に接続を行うが、中継サーバ１０２側は、双方を通信相手として識別しなければならない。本実施形態では、通信相手の識別方法として、接続番号を用いた方法を採用する。画像形成装置１０１が中継サーバ１０２に接続した際に、中継サーバ１０２は、接続番号を発行する。オペレータ端末１０３が、中継サーバ１０２に接続する際には、この接続番号を指定する。中継サーバ１０２は、接続番号が一致したもの同士を、通信相手として識別する。画像形成装置１０１を接続番号の発行元としたが、オペレータ端末１０３が発行元で、画像形成装置１０１がその接続番号を指定する構成であってもよい。この接続番号は、ユーザ１０６とオペレータ１０７との間では、別途電話や電子メールで伝えあうことを想定している。本実施形態では、中継サーバ１０２を介して、ＨＴＴＰを用いて画像形成装置１０１とオペレータ端末１０３とが通信するとした。しかし、中継サーバ１０２との通信に使用するプロトコルはＨＴＴＰ以外でもよく、また中継サーバ１０２を介さずに直接通信する構成であってもよい。

図２は、リモート支援システムの画像形成装置１０１、中継サーバ１０２、オペレータ端末１０３、携帯端末１０８のハードウェア構成の一例を示す図である。画像形成装置１０１において、ＣＰＵ２０２は、ＲＯＭ２０３又はハードディスク（ＨＤＤ）２０５に記憶されたプログラムに基づいてシステムバス２０６に接続される各種のデバイスとのアクセスを総括的に制御する。ＲＯＭ２０３は、ＣＰＵ２０２が実行可能なプログラム等を記憶している。ＲＡＭ２０４は、主としてＣＰＵ２０２の主メモリ、ワークエリア等として機能し、増設ポートに接続されるオプションＲＡＭによりメモリ容量を拡張することができるように構成されている。ハードディスク（ＨＤＤ）２０５は、ブートプログラム、各種のアプリケーションのプログラム、フォントデータ、ユーザファイル、編集ファイル等を記憶する。本実施形態ではＨＤＤ２０５を用いたが、ＨＤＤ２０５の他にＳＤカードや、フラッシュメモリ等を外部記憶装置として利用してもよい。スキャナＩ／Ｆ２０１は、スキャナ２１７からの画像入力を制御する。プリンタＩ／Ｆ２０７は、プリンタ２１６への画像出力を制御する。パネル操作Ｉ／Ｆ２０８は、オペレーションパネル２１２の表示制御及び、オペレーションパネル２１２で設定される各種設定情報の入力を制御する。画像入力Ｉ／Ｆ２０９は、カメラ等の画像入力装置２１３からの画像入力を制御する。音声入出力Ｉ／Ｆ２１０は、ヘッドセット等の音声入出力装置２１４との音声入出力を制御する。有線ＬＡＮＩ／Ｆ２１１は、ネットワークケーブルが接続され、外部装置と通信（有線通信）を実行する。無線ＬＡＮＩ／Ｆ２１５は、携帯端末１０８やＰＣ等の外部装置と無線通信を実行する。ＣＰＵ２０２がＲＯＭ２０３又はＨＤＤ２０５に記憶されているプログラムに基づき処理を実行することによって後述する図３のソフトウェア構成及び後述する図４のフローチャートの処理が実現される。また、ＣＰＵ２０２がＲＯＭ２０３又はＨＤＤ２０５に記憶されているプログラムに基づき処理を実行することによって後述する図５、図８、図１０のシーケンス図における画像形成装置１０１の処理が実現される。

オペレータ端末１０３において、ＣＰＵ２２１は、ＲＯＭ２２２又はハードディスク（ＨＤＤ）２２４に記憶された制御プログラムに基づいてシステムバス２２５に接続される各種のデバイスとのアクセスを総括的に制御する。ＲＯＭ２２２は、ＣＰＵ２２１が実行可能な制御プログラム等を記憶している。ＲＡＭ２２３は、主としてＣＰＵ２２１の主メモリ、ワークエリア等として機能し、増設ポートに接続されるオプションＲＡＭによりメモリ容量を拡張することができるように構成されている。ハードディスク（ＨＤＤ）２２４は、ブートプログラム、各種のアプリケーションのプログラム、フォントデータ、ユーザファイル、編集ファイル等を記憶する。本実施形態ではＨＤＤ２２４を用いたが、ＨＤＤ２２４の他にＳＤカードや、フラッシュメモリ等を外部記憶装置として利用してもよい。ネットワークＩ／Ｆ２２６は、ネットワークケーブルを経由して外部ネットワークとデータ通信を行う。キーボードＩ／Ｆ２２７は、キーボード２３１やポインティングデバイスからのキー入力を制御する。ディプレイＩ／Ｆ２２８は、ディスプレイ２３２の表示を制御する。画像入力Ｉ／Ｆ２２９は、カメラ等の画像入力装置２３３からの画像入力を制御する。音声入出力Ｉ／Ｆ２３０は、ヘッドセット等の音声入出力装置２３４との音声入出力を制御する。ＣＰＵ２２１がＲＯＭ２２２又はＨＤＤ２２４に記憶されているプログラムに基づき処理を実行することによってオペレータ端末１０３の機能及び後述する図５、図８、図１０のシーケンス図におけるオペレータ端末１０３の処理が実現される。

中継サーバ１０２において、ＣＰＵ２４１は、ＲＯＭ２４２又はハードディスク（ＨＤＤ）２４４に記憶された制御プログラムに基づいてシステムバス２４５に接続される各種のデバイスとのアクセスを総括的に制御する。ＲＯＭ２４２は、ＣＰＵ２４１が実行可能な制御プログラム等を記憶している。ＲＡＭ２４３は、主としてＣＰＵ２４１の主メモリ、ワークエリア等として機能し、増設ポートに接続されるオプションＲＡＭによりメモリ容量を拡張することができるように構成されている。ハードディスク（ＨＤＤ）２４４は、ブートプログラム、各種のアプリケーションのプログラム、フォントデータ、ユーザファイル、編集ファイル等を記憶する。本実施形態ではＨＤＤ２４４を用いたが、ＨＤＤ２４４の他にＳＤカードや、フラッシュメモリ等を外部記憶装置として利用してもよい。ネットワークＩ／Ｆ２４６は、ネットワークケーブルを経由して外部ネットワークとデータ通信を行う。ＣＰＵ２４１がＲＯＭ２４２又はＨＤＤ２４４に記憶されているプログラムに基づき処理を実行することによって中継サーバ１０２の機能及び後述する図５、図８、図１０のシーケンス図における中継サーバ１０２の処理が実現される。

携帯端末１０８において、ＣＰＵ２５１は、ＲＯＭ２５２又はフラッシュメモリ２５４に記憶された制御プログラムに基づいてシステムバス２５５に接続される各種のデバイスとのアクセスを総括的に制御する。ＲＯＭ２５２は、ＣＰＵ２５１が実行可能な制御プログラム等を記憶している。ＲＡＭ２５３は、主としてＣＰＵ２５１の主メモリ、ワークエリア等として機能する。フラッシュメモリ２５４は、ブートプログラム、各種のアプリケーションのプログラム、フォントデータ、ユーザファイル、編集ファイル等を記憶する。本実施形態ではフラッシュメモリ２５４を用いたが、フラッシュメモリ２５４の他にＳＤカード等を外部記憶装置として利用してもよい。無線ネットワークＩ／Ｆ２５６は、画像形成装置１０１と無線通信を実行する。タッチパネルＩ／Ｆ２５７は、タッチパネル２６１からの入力を制御する。ディプレイＩ／Ｆ２５８は、ディスプレイ２６２の表示を制御する。画像入力Ｉ／Ｆ２５９は、カメラ２６３からの画像入力を制御する。音声入出力Ｉ／Ｆ２６０は、ヘッドセット等の音声入出力装置２６４との音声入出力を制御する。ＣＰＵ２５１がＲＯＭ２５２又はフラッシュメモリ２５４に記憶されているプログラムに基づき処理を実行することによって携帯端末１０８の機能及び後述する図５、図８、図１０のシーケンス図における携帯端末１０８の処理が実現される。

図３は、画像形成装置１０１のソフトウェア構成の一例を示す図である。操作制御部３００は、オペレーションパネル２１２を制御する。操作制御部３００は、パネル操作Ｉ／Ｆ２０８を介してオペレーションパネル２１２に操作メニューを表示してユーザからの指示入力を待ち受ける。また、操作制御部３００は、オペレーションパネル２１２で受け付けた指示内容を他の機能部に通知したり、その指示結果をオペレーションパネル２１２に表示したりする。記憶部３０１は、他の機能部からの指示により、指定されたデータをＲＡＭ２０４又はＨＤＤ２０５に記憶させ、又はＲＡＭ２０４若しくはＨＤＤ２０５が記憶しているデータを読み出す。遠隔保守制御部３０２は、遠隔保守機能の制御を行う。遠隔保守制御部３０２は、有線通信制御部３０３を介して、中継サーバ１０２とＨＴＴＰ通信を行う。遠隔保守制御部３０２は、このＨＴＴＰ通信によって、音声データ、動画データ、遠隔操作データを送受信する。そして、遠隔保守制御部３０２は、音声データを、音声入出力制御部３０７を介して音声入出力装置２１４と入出力する。音声入出力制御部３０７の詳細は後述する。遠隔保守制御部３０２は、オペレータ端末１０３側や、ユーザ側の携帯端末１０８で撮影した動画や静止画像を、中継サーバ１０２経由で送受信する。遠隔保守制御部３０２は、受信した動画や静止画をオペレーションパネル２１２へ表示するように操作制御部３００に依頼する。操作制御部３００は、パネル操作Ｉ／Ｆ２０８を経由して、オペレーションパネル２１２に、動画や静止画像を表示する。そして、遠隔保守制御部３０２は、遠隔操作データを基に、操作制御部３００と通信を行い、遠隔操作を実施する。遠隔操作データの一例としては、ＶＮＣ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ）プロトコル上で通信するデータが挙げられる。遠隔保守制御部３０２は、ＶＮＣプロトコルに従って、操作制御部３００に対して操作コマンドを送信する。操作制御部３００は、送られてきた操作コマンドに従って、パネル操作Ｉ／Ｆ２０８を経由して、オペレーションパネル２１２を操作する。これらの遠隔保守制御部３０２の処理により、中継サーバ１０２の先につながっているオペレータ端末１０３は、画像形成装置１０１を遠隔保守することができる。更に、遠隔保守制御部３０２は、無線通信制御部３０４を介して無線通信で、画像データ（静止画データ及び動画データ）を携帯端末１０８と入出力することもできる。これによりユーザ１０６は携帯端末１０８を使用して撮影した画像形成装置１０１の画像をオペレータ１０７に見せたり、オペレータ１０７から送られてきた画像を携帯端末１０８で見せたりすることができる。無線通信は、更に第１の無線通信モードと第２の無線通信モードとが存在する。第１の無線通信モードでは、画像形成装置１０１が携帯端末１０８等の外部装置と無線通信する際に、画像形成装置１０１及び携帯端末１０８とは異なるアクセスポイントを介して無線通信を行う。第１の無線通信制御部３０５が、この第１の無線通信モードを制御する。第２の無線通信モードでは、画像形成装置１０１が携帯端末１０８等の外部装置と無線通信する際、Ｗｉ−Ｆｉ（登録商標） Ｄｉｒｅｃｔを用いて直接、無線通信を行う。第２の無線通信モードでは、画像形成装置１０１が、例えば携帯端末１０８と通信する際、何れか一方がアクセスポイントとして、片方がクライアントとして動作する。これにより、画像形成装置１０１と携帯端末１０８とが無線接続し、直接、通信を行う。第２の無線通信制御部３０６が、この第２の無線通信モードを制御する。音声入出力制御部３０７は、音声デバイスと音声データを入出力するデバイスドライバを提供するものである。デバイスドライバの例としては、ＡＬＳＡ（Ａｄｖａｎｃｅｄ Ｌｉｎｕｘ（登録商標） Ｓｏｕｎｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）や、ＯＳＳ（Ｏｐｅｎ Ｓｏｕｎｄ Ｓｙｓｔｅｍ）等が挙げられる。音声入出力制御部３０７の一部として、アナログ音声制御部３０８とＵＳＢ音声制御部３０９とが存在する。これら制御部により、音声データを、音声入出力Ｉ／Ｆ２１０に入出力する。

図４は、画像形成装置１０１の情報処理の一例を示すフローチャートである。Ｓ４０１において、遠隔保守制御部３０２は、オペレーションパネル２１２からユーザによる遠隔保守開始指示があるか否かを判定する。遠隔保守制御部３０２は、指示なしと判定した場合（Ｓ４０１においてＮｏ）、Ｓ４０１の処理を繰り返し、遠隔保守開始指示を待ち、指示ありと判定した場合（Ｓ４０１においてＹｅｓ）、Ｓ４０２に進む。Ｓ４０２において、遠隔保守制御部３０２は、ＨＤＤ２０５から、中継サーバ１０２のＵＲＬを読み出し、中継サーバ１０２にＨＴＴＰ接続する。Ｓ４０３において、遠隔保守制御部３０２は、中継サーバ１０２を介してオペレータ端末１０３とのセッションを確立する。Ｓ４０４において、遠隔保守制御部３０２は、オペレータ端末１０３との間で、遠隔操作指示や各種支援情報の送受信処理を行い、遠隔保守を開始する。Ｓ４０５において、遠隔保守制御部３０２は、現在動作している無線通信モードが、第１の無線通信モードか、第２の無線通信モードかを確認する。Ｓ４０６において、遠隔保守制御部３０２は、Ｓ４０５で確認した無線通信モードに対応する制御部（第１の無線通信制御部３０５又は第２の無線通信制御部３０６）に携帯端末１０８からの接続待ち処理の開始を依頼する。携帯端末１０８との通信に使用するプロトコルは、例としてはＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｃｏｌ）やＨＴＴＰがあるが、その他のプロトコルでもよい。Ｓ４０７において、遠隔保守制御部３０２は、接続待ちしているアドレス情報を、オペレーションパネル２１２に表示する。このアドレス情報は、ＵＲＬの形式や、その他の形式でもよい。また、遠隔保守制御部３０２は、テキストとして表示しても、バーコードやＱＲコード（登録商標）として表示してもよい。Ｓ４０８において、遠隔保守制御部３０２は、携帯端末１０８からの接続を受けたか否かを判定する。遠隔保守制御部３０２は、接続を受けた場合（Ｓ４０８においてＹｅｓ）、Ｓ４０９に進み、接続を受けていない場合（Ｓ４０８においてＮｏ）、Ｓ４０８の処理を繰り返す。Ｓ４０９において、遠隔保守制御部３０２は、接続を受けたときの無線通信モードが第１の無線通信モードか第２の無線通信モードかを判定する。

このときの、携帯端末１０８側の操作の流れに関して説明する。ユーザ１０６は、携帯端末１０８のＷｉ−Ｆｉ設定画面を開き、Ｗｉ−Ｆｉアクセスポイントの検索を行う。検索されたＷｉ−Ｆｉアクセスポイントが、ユーザ環境のネットワーク上で公開されているＷｉ−Ｆｉアクセスポイントの場合、画像形成装置１０１とは第１の無線通信モードで接続することになる。検索されたＷｉ−Ｆｉアクセスポイントが、画像形成装置１０１のＷｉ−Ｆｉアクセスポイントの場合、第２の無線通信モードで接続することになる。ユーザ１０６は、携帯端末１０８上で、検索されたＷｉ−Ｆｉアクセスポイントを選択して、接続のためのパスワードを入力する。Ｗｉ−Ｆｉアクセスポイントは、パスワードの検証を行い、正しければ携帯端末１０８とのＷｉ−Ｆｉ接続を確立する。そして、ユーザ１０６は、携帯端末１０８から、Ｓ４０７でオペレーションパネル２１２上に表示されているアドレスに対して、接続操作をする。例としてＳＩＰを用いた接続を説明する。ユーザ１０６は、Ｓ４０７でオペレーションパネル２１２上に表示されているＳＩＰのＵＲＬ情報を、携帯端末１０８のアドレス帳に登録する操作を行う。ユーザ１０６は、携帯端末１０８で、ＳＩＰアプリケーションを起動して、登録したＳＩＰのＵＲＬを選択して、呼び出し操作を実施する。画像形成装置１０１側は、Ｓ４０８で本接続を検知する。Ｓ４０８で接続を検知すると遠隔保守制御部３０２は、Ｓ４０９に進む。Ｓ４０９において、遠隔保守制御部３０２は、現在の無線通信モードが第１の無線通信モードであるか否かの判定を行う。遠隔保守制御部３０２は、第１の無線通信モードであると判定した場合（Ｓ４０９においてＹｅｓ）、Ｓ４１０に進み、第２の無線通信モードであると判定した場合（Ｓ４０９においてＮｏ）、Ｓ４１２に進む。第２の無線通信モードは、携帯端末１０８と画像形成装置１０１とが直接接続する方式である。したがって、Ｓ４０９で、遠隔保守制御部３０２は、受けた接続は携帯端末１０８だと特定できるため、ユーザの許可判断に係る後述するＳ４１０、Ｓ４１１の処理は不要となる。Ｓ４１０において、遠隔保守制御部３０２は、接続許可の入力を促す画面をオペレーションパネル２１２に表示する。第１の無線通信モードは、別に存在するアクセスポイントに複数の外部装置が接続可能である。したがって、Ｓ４０８で受けた接続は、意図しない外部装置からである可能性がある。そのため、第１の無線通信モードの場合は、Ｓ４１０において、遠隔保守制御部３０２は、接続を許可するか否かを判定するための画面をオペレーションパネル２１２に表示し、ユーザ１０６に判断してもらう。Ｓ４１１において、遠隔保守制御部３０２は、パネル操作Ｉ／Ｆ２０８を介して、許可が指示されたか否かを判定する。遠隔保守制御部３０２は、許可が指示されたと判定した場合（Ｓ４１１においてＹｅｓ）、Ｓ４１２に進み、許可が指示されなかったと判定した場合（Ｓ４１１においてＮｏ）、Ｓ４０８の処理に戻る。Ｓ４１２において、遠隔保守制御部３０２は、各種データを、無線通信上で、携帯端末１０８と送受信する処理を開始する。遠隔保守制御部３０２が携帯端末１０８と画像データを送受信する際に使うプロトコルの一例としては、ＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）が挙げられる。但し、ＲＴＰに限定されるものではなく、他のプロトコルを用いて画像データを送受信してもよい。Ｓ４１３において、遠隔保守制御部３０２は、携帯端末１０８からの切断を受けたか否かを判定する。遠隔保守制御部３０２は、携帯端末１０８からの切断を受けたと判定した場合（Ｓ４１３においてＹｅｓ）、Ｓ４１４に進み、携帯端末１０８からの切断を受けていないと判定した場合（Ｓ４１３においてＮｏ）、Ｓ４１３の処理を繰り返す。Ｓ４１４において、遠隔保守制御部３０２は、無線通信上での携帯端末１０８とのデータ送受信を停止して、接続を切断する。

図５は、画像形成装置１０１でジャムが発生し、その解除をコールセンターからサポートする場合の実施形態１のシーケンスを示す図である。図４のＳ４０１からＳ４１２までの処理によって、画像形成装置１０１と携帯端末１０８は無線接続され、画像形成装置１０１とオペレータ端末１０３とは中継サーバ１０２を介して接続されている。Ｓ５０１において、携帯端末１０８は、タッチパネル２６１等を介したユーザ１０６の撮影操作に基づき、携帯端末１０８のカメラ２６３を用いて画像形成装置１０１の撮影を開始する。具体的な撮影部位や方法はコールセンターのオペレータ１０７から音声通信等によってユーザ１０６に指示するものとする。例えば、オペレータ１０７はジャムを解除するため画像形成装置１０１の特定のドアを開けた状態で撮影することをユーザ１０６に指示する。画像形成装置１０１の外面各所や各ドアを開けた内部各所には、マーカが設けられている。マーカはそれぞれ異なる色、模様、記号などが付与されたものであり、その部位を特定することが可能である。携帯端末１０８で撮影された画像データは、このマーカも含まれた画像となる。Ｓ５０２において、携帯端末１０８は、撮影した画像を、携帯端末１０８のディスプレイ２６２にリアルタイムに表示すると共に、画像形成装置１０１に送信する。Ｓ５０３及びＳ５０４において、画像形成装置１０１は、携帯端末１０８から受信した画像データを、中継サーバ１０２を介して、オペレータ端末１０３に送信する。オペレータ端末１０３は、受信した画像データをディスプレイ２３２に表示する。コールセンターのオペレータ１０７はディスプレイ２３２に表示された画像データを見ることによって、紙が詰まっている箇所を確認する。その後、オペレータ１０７はジャム解除をサポートするための支援情報の生成をオペレータ端末１０３に指示する。Ｓ５０５において、オペレータ端末１０３は、キーボード２３１、ディスプレイ２３２等を介したオペレータ１０７の指示に基づき、支援情報を生成する。支援情報は案内画像と案内画像を表示する位置を示す座標情報とを含む。案内画像はユーザ１０６に対して、開くべき扉や操作するべきレバーの位置や操作する方向を示したり、ジャムの原因となる紙が挟まっている箇所を示したりする画像である。サポート対象のデバイス、ジャム位置の情報、過去のメンテナンス情報がデータベース化されていて、オペレータ端末１０３のＨＤＤ２２４等に記憶されている。オペレータ１０７は、オペレータ端末１０３を用いて、ＨＤＤ２２４等に記憶されているデータベースから適切な情報を支援情報として読み出す。又は、オペレータ端末１０３は、オペレータ１０７によるキーボード２３１、ディスプレイ２３２等を介した操作に基づき、オペレータ１０７の過去の経験に基づく支援情報を生成するようにしてもよい。図６（Ａ）はＳ５０１で撮影され、オペレータ端末１０３に表示される画像データの例を示す図である。図６（Ｂ）は支援情報の例を示す図である。図６（Ｂ）では、詰まっている紙を取り除く方向を示す矢印画像６０１と操作を説明するメッセージ６０２とを案内画像としている。図６（Ａ）で、６０３、６０４、６０５、６０６はマーカであり、画像形成装置１０１の各所に付けられているものである。デバイス毎にマーカの取りつけられている位置は決まっているため、複数のマーカが映っている位置の関係から、撮影されている部位や撮影角度が特定可能である。オペレータ端末１０３は、マーカが映っている位置から案内画像を表示するべき座標情報を計算する。そして、Ｓ５０６及びＳ５０７において、オペレータ端末１０３は、計算した座標情報と案内画像とを支援情報として、中継サーバ１０２を介して画像形成装置１０１に送信する。Ｓ５０８において、画像形成装置１０１は、受信した支援情報を携帯端末１０８に送信する。Ｓ５０９において、携帯端末１０８は、拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術を用いて、受信した支援情報に含まれる座標情報に基づいて支援情報に含まれる案内画像と撮影した画像とを重畳してディスプレイ２６２に表示する。

図７は、携帯端末１０８のディスプレイ２６２に表示される画像の例を示す図である。携帯端末１０８のカメラ２６３で撮影した画像（図６（Ａ））に、オペレータ端末１０３から送信された案内画像（図６（Ｂ））が重なって表示されている。
以上説明したように、本実施形態によれば、携帯端末１０８で撮影した画像形成装置１０１の画像に、コールセンターから送信された案内画像が重ね合わせて表示される。したがって、ユーザ１０６はオペレータ１０７から指示された作業を直感的に把握することができる。

＜実施形態２＞
実施形態１では、オペレータ端末１０３から支援画像を送信する例を示した。実施形態２では、オペレータ端末１０３からは画像形成装置１０１の特定部位を示す識別情報を送信し、画像形成装置１０１で識別情報に対応する特定部位の色を特定の色にした部位画像を携帯端末１０８に送信する。

図８は、画像形成装置１０１でジャムが発生し、その解除をコールセンターからサポートする場合の実施形態２のシーケンスを示す図である。実施形態１と同様に、Ｓ４０１からＳ４１２までの処理によって画像形成装置１０１と携帯端末１０８とは無線接続され、画像形成装置１０１とオペレータ端末１０３とは中継サーバ１０２を介して接続されている。
Ｓ８０１からＳ８０４までの処理は、図５のＳ５０１からＳ５０４までの処理と同様であるため説明を省略する。コールセンターのオペレータ１０７は、Ｓ８０４で受信され、オペレータ端末１０３のディスプレイ２３２に表示された画像データを見ることによって、紙が詰まっている箇所を確認する。その後、オペレータ１０７はジャム解除するために操作が必要な箇所（例えばレバーＡ）を特定し、その識別情報等をオペレータ端末１０３に入力する。Ｓ８０５において、オペレータ端末１０３は、キーボード２３１、ディスプレイ２３２等を介したオペレータ１０７の入力に基づき、特定部位を示す識別情報を生成する。識別情報は画像形成装置１０１の各部位を一意に特定する情報であり、画像形成装置１０１のメンテナンスに用いる全てのドア、レバー、つまみ、ローラ等に付与されている。Ｓ８０６及びＳ８０７において、オペレータ端末１０３は、識別情報を、中継サーバ１０２を経由して画像形成装置１０１に送信する。Ｓ８０８において、画像形成装置１０１は、受信した識別情報に相当する部位を部位情報テーブルから読み出す。部位情報テーブルは画像形成装置１０１のＨＤＤ２０５に予め記憶されているものであり、画像形成装置１０１の各部位の識別子と、その部位のデバイス内での座標情報（ｘ座標、ｙ座標、ｚ座標）、及び、その部位の形状データが保持されているものである。部位情報を読み出したあと、Ｓ８０９において、画像形成装置１０１は、特定の部位の色を特定の色（例えば赤）にした画像を生成する。ここで、画像形成装置１０１は、携帯端末１０８で撮影された画像形成装置１０１の画像中に映っているマーカの相互の位置関係から、携帯端末１０８の撮影位置及び撮影方向を特定することができる。そして、画像形成装置１０１は、部位情報テーブルの情報を用いて画像中の特定部位の位置及び形状を解析し、特定部位の色を、特定の色にした画像を生成する。画像形成装置１０１は、特定の色にするのではなく、例えば色や輝度を定期的に変動させて点滅表示させてもよいし、矢印等で特定部位を指し示す画像にしてもよい。Ｓ８１０において、画像形成装置１０１は、生成した画像と座標情報とを携帯端末１０８に送信する。Ｓ８１１において、携帯端末１０８は、拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術を用いて、受信した座標情報に基づき受信した部位画像と撮影した画像とを重畳してディスプレイ２６２に表示する。

図９（Ａ）は、画像形成装置１０１で生成した部位画像の例を示す図である。図９（Ｂ）は、携帯端末１０８で重畳表示された例を示す図である。９０１は特定部位であり、この場合にはレバーＡが赤く色づけされた画像となる。携帯端末１０８で撮影された画像形成装置１０１の画像にレバーＡが赤く色づけされて重ね合わせて表示されるため、ユーザ１０６はオペレータ１０７が指示する操作箇所をすぐに特定することができる。
以上説明したように、本実施形態によれば、コールセンターのオペレータ１０７がメンテナンスのために操作するよう指示する特定部位が目立つように、携帯端末１０８で撮影した画像形成装置１０１の画像に重ね合わせて表示される。そのため、ユーザ１０６は作業するべき部位を直感的に把握することができる。

＜実施形態３＞
ユーザ１０６が画像形成装置１０１を撮影する際、画像形成装置１０１周辺にある画像形成装置１０１以外のものも一緒に映ってしまい、それをそのままコールセンターに送ってしまうのはセキュリティ上好ましくない場合がある。実施形態３は、この問題に対応したものであり、実施形態１又は実施形態２の構成に加えて、画像形成装置１０１からオペレータ端末１０３に画像を送信する際に、画像形成装置１０１以外の領域の画像を送らないようにしたものである。

図１０は、画像形成装置１０１でジャムが発生し、その解除をコールセンターからサポートする場合の実施形態３のシーケンスを示す図である。実施形態１と同様に、Ｓ４０１からＳ４１２までの処理によって画像形成装置１０１と携帯端末１０８とは無線接続され、画像形成装置１０１とオペレータ端末１０３とは中継サーバ１０２を介して接続されている。
Ｓ５０１からＳ５０９までの各ステップの処理は実施形態１で説明したものと同じであるため、説明を省略する。Ｓ１００１において、画像形成装置１０１は、携帯端末１０８から送信された画像の中から、画像形成装置１０１以外の領域をマスクする処理を行う。より具体的には、画像形成装置１０１は、画像形成装置１０１の特徴データから画像形成装置１０１の領域を特定する。特徴データは画像形成装置１０１の各部の位置、形状、サイズ、色、等の情報であり、画像形成装置１０１のＨＤＤ２０５に予め記憶されている。画像形成装置１０１は、携帯端末１０８で撮影された画像形成装置１０１の画像中に映っているマーカの相互の位置関係から、携帯端末１０８の撮影位置及び撮影方向を特定する。そして、画像形成装置１０１は、特徴データの情報を用いて、携帯端末１０８から受信した画像を画像形成装置１０１の領域と、それ以外の領域と、に分離する。そして、画像形成装置１０１は、画像形成装置１０１以外の領域をマスクした画像を生成し、中継サーバ１０２を経由してオペレータ端末１０３に送信する。
図１０では、実施形態１に記載したシーケンスを基に本実施形態の説明をしたが、実施形態２に記載したシーケンスに対して、Ｓ１００１の処理を追加してもよい。

以上説明したように、本実施形態によれば、携帯端末１０８で撮影した画像中に含まれる画像形成装置１０１以外の部分の画像はオペレータ端末１０３に送信されない。したがって、画像形成装置１０１の周りに機密情報があったとしても、その情報がコールセンターのオペレータ１０７に見られてしまうことがない。ユーザ１０６は、コールセンターに画像形成装置１０１のメンテナンスのサポートを依頼する際に、機密情報漏えいの心配をすることなく、画像形成装置１０１の画像をコールセンターに送信してサポートを受けることができる。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
上述した画像形成装置１０１のソフトウェア構成の一部又は全てはハードウェア構成として画像形成装置１０１に実装してもよい。
また、画像形成装置１０１のハードウェア構成として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等は１つである必要はない。複数のＣＰＵがプログラムに基づき、複数のＲＯＭ、ＲＡＭ、ＨＤＤに記憶されたデータ等を用いながら処理を実行することで画像形成装置１０１の機能等を実現するようにしてもよい。
また、ＣＰＵの替わりにＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が用いられてもよい。
また、各実施形態において、携帯端末１０８で撮影した画像は動画であっても静止画であってもよい。また、画像形成装置１０１と携帯端末１０８との間の通信は、Ｗｉ−Ｆｉを使用する形態の他に、Ｂｌｕｅｔｏｏｔｈ（登録商標）のようにペアリング操作を伴う近接無線通信であってもよい。また、画像形成装置１０１は、携帯端末１０８から受信した画像をすぐに中継サーバ１０２に送信せず、画像形成装置１０１内のＨＤＤ２０５等に一旦保持してもよい。そしてオペレータ端末１０３側から画像形成装置１０１に保持されている画像データを取得してオペレータ端末１０３のディスプレイ２６２に表示するようにしてもよい。

以上、上述した各実施形態の処理によれば、オペレータの支援を容易に把握可能とすることができる。

１０１ 画像形成装置
１０８ 携帯端末
２０２ ＣＰＵ

Claims (6)

1. 画像形成装置と、携帯端末と、オペレータ端末と、を含むシステムであって、
   前記画像形成装置は、
   前記携帯端末で撮影された前記画像形成装置の画像を前記携帯端末より受信し、前記画像形成装置の画像を前記オペレータ端末に送信し、前記オペレータ端末から支援情報を受信し、前記携帯端末に前記支援情報を送信し、
   前記携帯端末は、
   前記画像形成装置を撮影し、前記撮影した前記画像形成装置の画像を前記画像形成装置に送信し、前記画像形成装置より前記支援情報を受信し、前記支援情報に含まれる座標情報に基づき前記支援情報に含まれる案内画像と前記撮影した前記画像形成装置の画像とを重畳表示するシステム。
2. 画像形成装置と、携帯端末と、オペレータ端末と、を含むシステムであって、
   前記画像形成装置は、
   前記携帯端末で撮影された前記画像形成装置の画像を前記携帯端末より受信し、前記画像形成装置の画像を前記オペレータ端末に送信し、前記オペレータ端末から前記画像形成装置の部位を示す識別情報を受信し、前記識別情報に基づき前記部位の座標情報を取得すると共に前記部位の画像を生成し、前記携帯端末に前記座標情報と前記部位の画像とを送信し、
   前記携帯端末は、
   前記画像形成装置を撮影し、前記撮影した前記画像形成装置の画像を前記画像形成装置に送信し、前記画像形成装置より前記座標情報と前記部位の画像とを受信し、前記座標情報に基づき前記部位の画像と前記撮影した前記画像形成装置の画像とを重畳表示するシステム。
3. 前記画像形成装置は、特定の色の前記部位の画像を生成し、前記携帯端末に前記座標情報と前記特定の色の部位の画像とを送信し、
   前記携帯端末は、前記座標情報に基づき前記特定の色の部位の画像と前記撮影した前記画像形成装置の画像とを重畳表示する請求項２記載のシステム。
4. 前記画像形成装置は、前記携帯端末で撮影された前記画像形成装置の画像のうち、前記画像形成装置以外の部分をマスクし、マスクした画像を前記オペレータ端末に送信する請求項１乃至３何れか１項記載のシステム。
5. 画像形成装置と、携帯端末と、オペレータ端末と、を含むシステムにおける情報処理方法であって、
   前記携帯端末が、前記画像形成装置を撮影する工程と、
   前記携帯端末が、前記撮影した前記画像形成装置の画像を前記画像形成装置に送信する工程と、
   前記画像形成装置が、前記携帯端末で撮影された前記画像形成装置の画像を前記携帯端末より受信する工程と、
   前記画像形成装置が、前記画像形成装置の画像を前記オペレータ端末に送信する工程と、
   前記画像形成装置が、前記オペレータ端末から支援情報を受信する工程と、
   前記画像形成装置が、前記携帯端末に前記支援情報を送信する工程と、
   前記携帯端末が、前記画像形成装置より前記支援情報を受信する工程と、
   前記携帯端末が、前記支援情報に含まれる座標情報に基づき前記支援情報に含まれる案内画像と前記撮影した前記画像形成装置の画像とを重畳表示する工程と、
   を含む情報処理方法。
6. 画像形成装置と、携帯端末と、オペレータ端末と、を含むシステムにおける情報処理方法であって、
   前記携帯端末が、前記画像形成装置を撮影する工程と、
   前記携帯端末が、前記撮影した前記画像形成装置の画像を前記画像形成装置に送信する工程と、
   前記画像形成装置が、前記携帯端末で撮影された前記画像形成装置の画像を前記携帯端末より受信する工程と、
   前記画像形成装置が、前記画像形成装置の画像を前記オペレータ端末に送信する工程と、
   前記画像形成装置が、前記オペレータ端末から前記画像形成装置の部位を示す識別情報を受信する工程と、
   前記画像形成装置が、前記識別情報に基づき前記部位の座標情報を取得すると共に前記部位の画像を生成する工程と、
   前記画像形成装置が、前記携帯端末に前記座標情報と前記部位の画像とを送信する工程と、
   前記携帯端末が、前記画像形成装置より前記座標情報と前記部位の画像とを受信する工程と、
   前記携帯端末が、前記座標情報に基づき前記部位の画像と前記撮影した前記画像形成装置の画像とを重畳表示する工程と、
   を含む情報処理方法。

Images