JP2019036088A - 情報処理装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】ネットワークを通じた操作側の装置による被操作側の装置の直接的で効率的な遠隔操作を実現する。【解決手段】支援端末１１２が画像形成装置１０３等の被操作側の装置を遠隔操作する場合に、携帯端末１０２は、被操作側の装置と支援端末１１２との通信を仲介する。携帯端末１０２は、被操作側の装置と支援端末１１２との間でトンネリング通信が確立したことに応じて、接続先のアプリケーションサーバと通信する。そして携帯端末１０２は、トンネリング通信を介して、被操作側の装置のアプリケーションサーバと支援端末１１２との間でのデータ転送を仲介する。【選択図】図４

Description

本発明は、ネットワークを通じて装置を遠隔操作する技術に関する。

近年の画像形成装置等の製品は、多機能、高機能化し機能が複合して動くようになるにつれ、使い方がわからない場合や、所望の動作をしないといったトラブルが発生した時に、ユーザが自己解決できない場合が発生している。この場合にユーザは、コールセンターと呼ばれる問い合わせ窓口に連絡して、回答を得たり解決したりしている。このような際に、トラブル対応を迅速に行うため、ユーザの携帯端末とコールセンターとの間での遠隔支援システムが考えられている（特許文献１）。この遠隔支援システムでは、コールセンター側の遠隔支援者が、ユーザ側にある携帯端末のカメラ映像を通じて、ユーザが支援を受けようとしている現場の製品の状況をリアルタイムに確認することができる。これにより、製品の状況を視覚的に把握しながら遠隔支援を行うことが可能となっている。

特開２０１４−４２２２６号公報

しかしながら、特許文献１の技術では、遠隔支援者は、現場の製品の状況を携帯端末のカメラ映像でしか確認できない。遠隔支援者は、使用者に電話等を用いて指示を行い、現象を確認し、設定変更やジョブ実行をするといった、時間や手間のかかる方法でトラブル解決を行っていた。従って、操作側の装置による被操作側の装置の遠隔操作が間接的であり効率的でないという問題があった。

本発明は、ネットワークを通じた操作側の装置による被操作側の装置の直接的で効率的な遠隔操作を実現することを目的とする。

上記目的を達成するために本発明は、アプリケーションサーバを有する第２の装置を第１の装置がネットワークを通じて遠隔操作する際の前記第１の装置と前記第２の装置との間の通信を仲介する情報処理装置の制御方法であって、前記第１の装置との間でトンネリング通信によりデータを送受信する通信ステップと、前記通信ステップによるトンネリング通信が確立したことに応じて前記アプリケーションサーバと通信し、トンネリング通信により前記第１の装置から受信したデータを前記アプリケーションサーバに転送すると共に、前記アプリケーションサーバから受信したデータをトンネリング通信により前記第１の装置へ転送する仲介処理を実施する仲介ステップと、を有することを特徴とする。

本発明によれば、ネットワークを通じた操作側の装置による被操作側の装置の直接的で効率的な遠隔操作を実現することができる。

情報処理装置を含む遠隔支援システムの全体構成を示す図である。 携帯端末、画像形成装置、ユーザＰＣ及び支援端末の各ハードウェア構成を示すブロック図である。 携帯端末、画像形成装置、ユーザＰＣ及び支援端末の各ソフトウェア構成を示すブロック図である。 一連の処理シーケンスを示す図である。 仲介処理のフローチャートである。 アドレスとポートを含むテーブルの例を示す図である。 携帯端末と画像形成装置との装着状態における、各ソフトウェア構成を示すブロック図である。 携帯端末と画像形成装置との装着状態における、一連の処理シーケンスを示す図である。 仲介処理のフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る情報処理装置を含む遠隔支援システムの全体構成を示す図である。この遠隔支援システムにおいては、ネットワークであるインターネットを通じて遠隔操作（遠隔支援）する側の装置と遠隔操作される側の装置がある。コールセンター環境、ユーザ環境の各装置、及び、各種中継サーバが、インターネットに接続される。

遠隔支援者１１１は、支援端末１１２を使用して遠隔支援をする者である。支援端末１１２は、この遠隔支援システムを使用して遠隔操作をする側の装置である。コールセンター環境は複数あってもよい。本実施の形態では、遠隔支援者１１１及び支援端末１１２が属するコールセンター環境に着目する。ユーザ１０１は、この遠隔支援システムを使用して遠隔支援を受ける側の者である。ユーザ環境は複数あってもよい。ユーザ１０１が属するユーザ環境には、画像形成装置１０３及びユーザＰＣ１０４が含まれる。画像形成装置１０３及びユーザＰＣ１０４は、この遠隔支援システムを使用して遠隔操作される側の装置である。

携帯端末１０２は遠隔支援機能を持つ。支援端末１１２は、遠隔支援時に、携帯端末１０２の通信相手として動作する。中継サーバ１２１は、ＨＴＴＰサーバとしての通信機能を備える。中継サーバ１２１は、携帯端末１０２と支援端末１１２との間の中継を行う。携帯端末１０２は、スマートフォンやタブレット等のスマートデバイスであり、カメラや音声通話用のスピーカ、マイクを内蔵している。携帯端末１０２、支援端末１１２は、ＨＴＴＰクライアントとしての通信機能を備えている。ＨＴＴＰクライアント同士は、ＨＴＴＰサーバに対してＰＯＳＴ／ＧＥＴを行うことで、ＨＴＴＰクライアント同士のデータ送受信が可能となる。例えば、データを携帯端末１０２から支援端末１１２に送りたい場合、携帯端末１０２は中継サーバ１２１にそのデータをＰＯＳＴする。そして、支援端末１１２が中継サーバ１２１からそのデータをＧＥＴする。この様にすることで、携帯端末１０２と支援端末１１２がそれぞれ、プライベートアドレスエリアやＦＷ（ファイアウォール）に遮られていても、ＨＴＴＰを使用することにより、互いにデータを送りあうことができる。以下、この通信方式を「ＨＴＴＰトンネリング」と呼ぶ。

なお、トンネリング方式として、ＨＴＴＰによる中継サーバを介した方法を採用するが、その他の通信プロトコルを採用してもよく、また中継サーバを介さない方法を採用してもよい。本実施の形態では、トンネリング方式によって送り合うデータのことを「ペイロードデータ」と呼ぶ。ペイロードデータとしては、映像データ、音声データ、遠隔操作用データが挙げられる。ＨＴＴＰトンネリングを通して、携帯端末１０２のカメラで撮影した映像データを支援端末１１２側で表示することも可能である。この様にすれば、遠隔支援者１１１は、ユーザ環境に設置されている製品の映像を、コールセンター環境からでも確認可能となる。例えば、ユーザ１０１から遠隔支援者１１１に、画像形成装置１０３の紙詰まり解除方法に関する電話による問い合わせがあったとする。この場合、遠隔支援者１１１は、ユーザ１０１に携帯端末１０２のカメラにより紙詰まり箇所を撮影してもらうように誘導する。これにより、遠隔支援者１１１は紙詰まり箇所を特定でき、適切な解除方法をユーザ１０１に伝えることが可能となる。また、ユーザＰＣ１０４、画像形成装置１０３に、遠隔操作用のサーバアプリケーションがインストールされていれば、ＨＴＴＰトンネリングを通して、それらの装置を支援端末１１２から操作可能である。遠隔操作用のサーバアプリケーションとしては、ＶＮＣ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ）やＲＤＰ（Ｒｅｍｏｔｅ Ｄｅｓｋｔｏｐ Ｐｒｏｔｏｃｏｌ）技術を使ったものがある。また、画像形成装置１０３がＷｅｂ用ＵＩを持っている場合、ＨＴＴＰトンネリングを通して支援端末１１２のＷｅｂブラウザからＷｅｂ操作することも可能である。

認証サーバ１２２は、認証機能を提供するサーバである。携帯端末１０２と支援端末１１２とは、中継サーバ１２１に接続する際には、予め認証サーバ１２２に対して認証を行い、認証トークン情報を取得しておかなければならない。ＵＲＬ管理サーバ１２３は、中継サーバ１２１のＵＲＬを管理するサーバである。携帯端末１０２と支援端末１１２とは、中継サーバ１２１に接続する際には、予めＵＲＬ管理サーバ１２３から中継サーバ１２１のＵＲＬを取得する。なお、ＵＲＬ管理サーバ１２３を使用せずに、中継サーバ１２１のＵＲＬを予め、携帯端末１０２、支援端末１１２に設定しておくシステム構成としてもよい。携帯端末１０２と支援端末１１２とは、それぞれ中継サーバ１２１を接続するが、中継サーバ１２１側は双方を通信相手として識別しなければならない。本実施の形態では、通信相手の識別方法として、接続番号を用いた方法を採用する。携帯端末１０２が中継サーバ１２１に接続した際に、中継サーバ１２１は接続番号を発行する。支援端末１１２は、中継サーバ１２１に接続する際にはこの接続番号を指定する。中継サーバ１２１は、接続番号が一致したもの同士を通信相手として識別する。なお、携帯端末１０２を接続番号の発行元としたが、支援端末１１２が発行元で、携帯端末１０２がその接続番号を指定する構成としてもよい。ユーザ１０１と遠隔支援者１１１との間では、上記接続番号を、電話や電子メールで別途伝えあうことを想定している。

図２は、携帯端末１０２、画像形成装置１０３、ユーザＰＣ１０４及び支援端末１１２の各ハードウェア構成を示すブロック図である。携帯端末１０２、画像形成装置１０３、ユーザＰＣ１０４及び支援端末１１２は、それぞれインターネットに接続される。携帯端末１０２において、ＣＰＵ２０１は、ＲＯＭ２０２またはメモリ２０４に記憶された制御プログラムに基づいて、動作を制御するための様々な処理を実行する。ＲＯＭ２０２は、ＣＰＵ２０１が実行可能な制御プログラム等を記憶している。ＲＡＭ２０３は、主としてＣＰＵ２０１の主メモリ、ワークエリア等として機能する。メモリ２０４は、制御プログラムや電子文書等の様々なデータを記憶する。通信部２０５は、有線ＬＡＮや無線ＬＡＮ等を介して他の装置と通信する。操作パネル２０６は、各種画面を表示する制御や、タッチ操作等の入力制御を行う。スピーカ２０７とマイク２０８は、ユーザが他の携帯端末や固定電話と電話をする際に使用される。カメラ２０９は、ユーザの指示に応じて撮像する。携帯端末１０２は、装着部２１０を介して、画像形成装置１０３と着脱可能に接続される。装着部２１０は、有線ＬＡＮ、無線ＬＡＮまたはＵＳＢ等により、携帯端末１０２と画像形成装置１０３との間の通信を実現する。

画像形成装置１０３において、ＣＰＵ２２１は、ＲＯＭ２２２またはメモリ２２４、ＨＤＤ２２９に記憶された制御プログラムに基づいて、動作を制御するための様々な処理を実行する。ＲＯＭ２２２は、ＣＰＵ２２１が実行可能な制御プログラム等を記憶している。ＲＡＭ２２３は、主としてＣＰＵ２２１の主メモリ、ワークエリア等として機能する。メモリ２２４は、制御プログラムや電子文書等の様々なデータを記憶する。画像形成装置１０３は、装着部２２５を介して、携帯端末１０２と着脱可能に接続される。装着部２２５は、有線ＬＡＮ、無線ＬＡＮまたはＵＳＢ等により、携帯端末１０２と画像形成装置１０３との間の通信を実現する。操作パネル２２６は、各種画面を表示する制御や、タッチ操作等の入力制御を行う。プリンタ２２７は、プリンタへの画像出力を制御する。スキャナ２２８は、スキャナからの画像入力を制御する。ＨＤＤ２２９は、制御プログラムや電子文書等の様々なデータを記憶する。通信部２３０は、有線ＬＡＮや無線ＬＡＮ等を介して他の装置と通信する。

ところで、装着部２１０及び装着部２２５により、携帯端末１０２が画像形成装置１０３に装着状態となると、携帯端末１０２が、画像形成装置１０３の操作部として機能できるように構成されている。この動作については第２の実施の形態で説明する。従って、第１の実施の形態では、装着部２１０及び装着部２２５は必須でない。

ユーザＰＣ１０４において、通信部２４１は、有線ＬＡＮや無線ＬＡＮ等を介して他の装置と通信する。ＣＰＵ２４２は、ＲＯＭ２４３またはメモリ２４５、ＨＤＤ２４８に記憶された制御プログラムに基づいて、動作を制御するための様々な処理を実行する。ＲＯＭ２４３は、ＣＰＵ２４２が実行可能な制御プログラム等を記憶している。ＲＡＭ２４４は、主としてＣＰＵ２４２の主メモリ、ワークエリア等として機能する。メモリ２４５は、制御プログラムや電子文書等の様々なデータを記憶する。ディスプレイ２４６は、各種画面を表示する制御する。キーボード２４７は、各種入力を制御する。ＨＤＤ２４８は、制御プログラムや電子文書等の様々なデータを記憶する。

支援端末１１２において、通信部２６１は、有線ＬＡＮや無線ＬＡＮ等を介して他の装置と通信する。ＣＰＵ２６２は、ＲＯＭ２６３またはメモリ２６５、ＨＤＤ２６８に記憶された制御プログラムに基づいて、動作を制御するための様々な処理を実行する。ＲＯＭ２６３は、ＣＰＵ２６２が実行可能な制御プログラム等を記憶している。ＲＡＭ２６４は、主としてＣＰＵ２６２の主メモリ、ワークエリア等として機能する。メモリ２６５は、制御プログラムや電子文書等の様々なデータを記憶する。ディスプレイ２６６は、各種画面を表示する制御する。キーボード２６７は、各種入力を制御する。ＨＤＤ２６８は、制御プログラムや電子文書等の様々なデータを記憶する。なお、メモリ２０４、２２４、２４５、２６５は、フラッシュメモリ等の不揮発メモリである。

図３は、携帯端末１０２、画像形成装置１０３、ユーザＰＣ１０４及び支援端末１１２の各ソフトウェア構成を示すブロック図である。これらのソフトウェア構成において、携帯端末１０２の各機能部は、ＣＰＵ２０１がＲＯＭ２０２またはメモリ２０４からＲＡＭ２０３に展開した制御プログラム（モジュール）を実行することによって実現される。画像形成装置１０３の各機能部は、ＣＰＵ２２１が、ＲＯＭ２２２、メモリ２２４またはＨＤＤ２２９からＲＡＭ２２３に展開した制御プログラム（モジュール）を実行することによって実現される。ユーザＰＣ１０４の各機能部は、ＣＰＵ２４２が、ＲＯＭ２４３、メモリ２４５またはＨＤＤ２４８からＲＡＭ２４４に展開した制御プログラム（モジュール）を実行することによって実現される。支援端末１１２の各機能部は、ＣＰＵ２６２が、ＲＯＭ２６３、メモリ２６５またはＨＤＤ２６８からＲＡＭ２６４に展開した制御プログラム（モジュール）を実行することによって実現される。

図２も参照しつつ各機能部を説明する。携帯端末１０２の操作部３０１は、表示部である操作パネル２０６を制御する。トンネリング部３０２（通信手段）、トンネリング部３６１は、それぞれ操作部３０１、操作部３６３からの開始指示に伴い、ＨＴＴＰトンネリング処理を開始する。トンネリング部３６１は、遠隔クライアント３６４やＷｅｂブラウザ３６２から受け取ったペイロードデータを、ＨＴＴＰトンネリングを使用してトンネリング部３０２に渡す。また、トンネリング部３６１はトンネリング部３０２から受信したペイロードデータを、遠隔クライアント３６４やＷｅｂブラウザ３６２に渡す。接続部３０３（仲介手段）は、トンネリング部３０２と各アプリケーションサーバとの間の仲介処理を実施する。すなわち、接続部３０３は、トンネリング通信により支援端末１１２から受信したデータを接続先のアプリケーションサーバに転送すると共に、上記アプリケーションサーバから受信したデータをトンネリング通信により支援端末１１２へ転送する。接続先となり得るアプリケーションサーバには、遠隔サーバ３０４、遠隔サーバ３２３、Ｗｅｂサーバ３２５、遠隔サーバ３４１がある。従って、接続部３０３は、トンネリング部３０２からペイロードデータを受け取ると、それを接続先のアプリケーションサーバに転送する。さらに接続部３０３は、接続先のアプリケーションサーバからペイロードデータを受け取ると、それをトンネリング部３０２に渡す。これら一連の処理シーケンスは図４で後述する。

遠隔サーバ３０４は、操作部３０１を遠隔制御するためのアプリケーションサーバである。遠隔サーバ３２３は、操作部３２２を遠隔制御するためのアプリケーションサーバである。遠隔サーバ３４１は、操作部３４２を遠隔制御するためのアプリケーションサーバである。これらの遠隔サーバの例としては、ＶＮＣや、ＲＤＰ技術を使用したものが挙げられる。Ｗｅｂサーバ３２５は、Ｗｅｂブラウザ等のクライアントからのリクエストを受けて、ＷｅｂＵＩ部３２４を呼び出すためのサーバである。制御部３２１は、操作部３２２やＷｅｂＵＩ部３２４が受け付けた操作に基づき、画像形成装置１０３の全体を制御する。

なお、本遠隔支援システムでは、遠隔クライアント３６４やＷｅｂブラウザ３６２を支援端末１１２上で動かすことができる。仮に、遠隔クライアントやＷｅｂブラウザを携帯端末１０２上で動かし、携帯端末１０２を遠隔操作することによって、これらを間接的に操作するという方法も考えられる。しかし、遠隔操作している操作部上でさらに遠隔操作用のアプリケーションを動かすことにより操作応答性が低下する。これに対し、本遠隔支援システムでは、支援端末１１２上で遠隔クライアント３６４やＷｅｂブラウザ３６２を起動し、これらを直接操作することができるため、上記の間接的な方法に比べ、操作応答性の点で優れている。

図４は、本遠隔支援システムにおける各装置での一連の処理シーケンスを示す図である。携帯端末１０２で実行される各ステップは、ＣＰＵ２０１がＲＯＭ２０２またはメモリ２０４からＲＡＭ２０３に展開した制御プログラム（モジュール）を実行することによって実現される。画像形成装置１０３で実行される各ステップは、ＣＰＵ２２１が、ＲＯＭ２２２、メモリ２２４またはＨＤＤ２２９からＲＡＭ２２３に展開した制御プログラム（モジュール）を実行することによって実現される。ユーザＰＣ１０４で実行される各ステップは、ＣＰＵ２４２が、ＲＯＭ２４３、メモリ２４５またはＨＤＤ２４８からＲＡＭ２４４に展開した制御プログラム（モジュール）を実行することによって実現される。支援端末１１２で実行される各ステップは、ＣＰＵ２６２が、ＲＯＭ２６３、メモリ２６５またはＨＤＤ２６８からＲＡＭ２６４に展開した制御プログラム（モジュール）を実行することによって実現される。

ステップＳ４０１で、携帯端末１０２の操作部３０１は、ユーザ１０１から指示を受けると、トンネリング部３０２に、ＨＴＴＰトンネリングの開始を指示する。ステップＳ４０２で、トンネリング部３０２は中継サーバ１２１にＨＴＴＰトンネリング接続を行う。一方、ステップＳ４０３で、支援端末１１２の操作部３６３は、遠隔支援者１１１から指示を受けると、トンネリング部３６１に、ＨＴＴＰトンネリングの開始を指示する。ステップＳ４０４で、トンネリング部３６１は中継サーバ１２１にＨＴＴＰトンネリング接続を行う。ステップＳ４０２、Ｓ４０４により、携帯端末１０２と支援端末１１２との間では、ＨＴＴＰトンネリングが形成される。トンネリング通信が確立した以降のステップＳ４０７、Ｓ４１３、Ｓ４２０、Ｓ４２８での通信は、ＨＴＴＰトンネリングによる通信となる。

ステップＳ４０５〜Ｓ４１０は、遠隔支援者１１１が携帯端末１０２の操作部３０１を遠隔操作する処理の流れを示す。トラブル解決のために携帯端末１０２の操作部３０１の遠隔操作が必要な場合はこの処理が実行される。ステップＳ４０５で、支援端末１１２の操作部３６３は、遠隔支援者１１１から指示を受けると、遠隔クライアント３６４に遠隔操作の開始を指示する。ステップＳ４０６で、遠隔クライアント３６４は、遠隔操作用データをペイロードデータとしてトンネリング部３６１に渡す。ステップＳ４０７で、トンネリング部３６１は、遠隔操作用データをペイロードデータとしてＨＴＴＰトンネリングを通じて携帯端末１０２のトンネリング部３０２に渡す。ステップＳ４０８で、トンネリング部３０２は、受信した遠隔操作用データを接続部３０３に渡す。ステップＳ４０９で、接続部３０３は、遠隔サーバ３０４と接続し、遠隔操作用データを遠隔サーバ３０４に渡す。ステップＳ４１０で、遠隔サーバ３０４は、渡された遠隔操作用データに基づいて操作部３０１を操作する。一方、遠隔操作した結果を示す操作部３０１の画面データは、ステップＳ４０５〜Ｓ４１０とは逆の経路で支援端末１１２の操作部３６３に渡される。

ステップＳ４１１〜Ｓ４１７は、遠隔支援者１１１が画像形成装置１０３の操作部３２２を遠隔操作する処理の流れを示す。トラブル解決のために画像形成装置１０３の操作部３２２の遠隔操作が必要な場合はこの処理が実行される。ステップＳ４１１〜Ｓ４１４はステップＳ４０５〜Ｓ４０８と同様であるので説明を割愛する。ステップＳ４１５で、接続部３０３は、画像形成装置１０３の遠隔サーバ３２３と接続し、遠隔操作用データを遠隔サーバ３２３に渡す。ステップＳ４１６で、遠隔サーバ３２３は、渡された遠隔操作用データに基づいて操作部３２２を遠隔操作する。ステップＳ４１７で、操作部３２２は制御部３２１を制御する。遠隔操作した結果を示す操作部３２２の画面データは、ステップＳ４１１〜Ｓ４１６とは逆の経路で支援端末１１２の操作部３６３に渡される。

ステップＳ４１８〜Ｓ４２４は、遠隔支援者１１１が画像形成装置１０３のＷｅｂＵＩ部３２４を遠隔操作する処理の流れを示す。トラブル解決のために画像形成装置１０３のＷｅｂＵＩ部３２４の遠隔操作が必要な場合はこの処理が実行される。ステップＳ４１８で、操作部３６３は、遠隔支援者１１１から指示を受けると、Ｗｅｂブラウザ３６２に遠隔操作の開始を指示する。ステップＳ４１９で、Ｗｅｂブラウザ３６２は、遠隔操作用データをペイロードデータとしてトンネリング部３６１に渡す。ステップＳ４２０、Ｓ４２１はステップＳ４０７、Ｓ４０８と同様であるので説明を割愛する。ステップＳ４２２で、接続部３０３は、画像形成装置１０３のＷｅｂサーバ３２５と接続し、遠隔操作用データをＷｅｂサーバ３２５に渡す。ステップＳ４２３で、Ｗｅｂサーバ３２５は、渡された遠隔操作用データに基づいてＷｅｂＵＩ部３２４を操作する。ステップＳ４２４で、ＷｅｂＵＩ部３２４は制御部３２１を制御する。遠隔操作した結果を示すＷｅｂＵＩ部３２４のＷｅｂ画面のデータは、ステップＳ４１８〜Ｓ４２３とは逆の経路で支援端末１１２の操作部３６３に渡される。

ステップＳ４２６〜Ｓ４３１は、遠隔支援者１１１がユーザＰＣ１０４の操作部３４２を遠隔操作する処理の流れを示す。トラブル解決のためにユーザＰＣ１０４の操作部３４２の遠隔操作が必要な場合はこの処理が実行される。ステップＳ４２６〜Ｓ４２９はステップＳ４０５〜Ｓ４０８と同様であるので説明を割愛する。ステップＳ４３０で、接続部３０３は、ユーザＰＣ１０４の遠隔サーバ３４１と接続し、遠隔操作用データを遠隔サーバ３４１に渡す。ステップＳ４３１で、遠隔サーバ３４１は、渡された遠隔操作用データに基づき操作部３４２を操作する。遠隔操作した結果を示す操作部３４２の画面データは、ステップＳ４２６〜Ｓ４３１とは逆の経路で支援端末１１２の操作部３６３に渡される。

なお、ステップＳ４０９、Ｓ４１５、Ｓ４２２、Ｓ４３０では、それぞれ接続部３０３が、どのアプリケーションサーバ（遠隔サーバ３０４、遠隔サーバ３２３、Ｗｅｂサーバ３２５、遠隔サーバ３４１）と接続するかを判断している。その判断方法は図５で後述する。

このように、携帯端末１０２は、ＨＴＴＰプロキシ機能を備える情報処理装置である。携帯端末１０２は、操作側である支援端末１１２がアプリケーションサーバを有する被操作側の装置（画像形成装置１０３やユーザＰＣ１０４）を遠隔操作する際に両装置間の通信を仲介する。図５、図６で、支援端末１１２による遠隔操作の際の携帯端末１０２における仲介処理を説明する。

図５は、仲介処理のフローチャートである。図６は、アプリケーションサーバのアドレスとポートを含むテーブルの例を示す図である。図５のフローチャートの処理は、携帯端末１０２におけるＣＰＵ２０１がＲＯＭ２０２またはメモリ２０４からＲＡＭ２０３に展開した制御プログラムを実行することによって実現される。従って、この処理のハードウェア上の実行主体はＣＰＵ２０１であるが、図３に示したソフトウェアにおける機能部を実行主体として説明する。携帯端末１０２で実行される制御プログラムはＲＯＭ２０２等に予め記憶されている必要はなく、事後的に取得されインストールされてもよい。

まず、ステップＳ５０１で、操作部３０１は、操作パネル２０６から遠隔支援開始の指示を受け、遠隔支援者１１１との接続を開始する（図４のＳ４０１に対応）。ステップＳ５０２で、トンネリング部３０２は、支援端末１１２とのＨＴＴＰトンネリング処理を開始する（図４のＳ４０２に対応）。ステップＳ５０３で、接続部３０３は、ＨＴＴＰトンネリングを介して受信されたペイロードデータを解析し、アプリケーションサーバに対する接続指示を受信したか否かを判別する。そして、アプリケーションサーバに対する接続指示を受信していない場合は、操作部３０１は処理をステップＳ５０９に進める。一方、アプリケーションサーバに対する接続指示を受信した場合は、接続部３０３は、処理をステップＳ５０４に進める。ここで、トンネリング部３６１は、ペイロードデータを送信する際（図４のＳ４０７、Ｓ４１３、Ｓ４２０、Ｓ４２８）、アプリケーションサーバの種別を示す情報をペイロードデータに含めることができる。ステップＳ５０４では、接続部３０３は、図６に示すテーブル６００、すなわちアプリケーションサーバのアドレスとポートの情報を読み込む。

テーブル６００は、メモリ２０４に保存されている。テーブル６００は、接続部３０３が各アプリケーションサーバの状態を収集して自動作成したものでもよく、またユーザ１０１が予め設定したものでもよい。テーブル６００には、アプリケーションサーバの種別が含まれる。種別のうち、"ｖｎｃ"は、ＶＮＣ技術を使用したアプリケーションサーバへの接続指示を示す。"ｗｅｂｕｉ"はＷｅｂＵＩのＷｅｂサーバへの接続指示を示す。"ｒｄｐ"は、ＲＤＰ技術を使用したアプリケーションサーバへの接続指示を示す。

ステップＳ５０５で、操作部３０１は、接続先となるアプリケーションサーバの候補を、ステップＳ５０３で受信したペイロードデータ（接続指示）とテーブル６００に登録されたアプリケーションサーバの種別とに基づいて操作パネル２０６に表示させる。例えば操作部３０１は、ステップＳ５０３で受信したペイロードデータに含まれている種別がテーブル６００に登録されている場合は、その種別に該当するアプリケーションサーバを候補として表示させる。ステップＳ５０６では、操作部３０１は、接続先となるアプリケーションサーバを決定する。例えば、ペイロードデータに含まれている種別により１つのアプリケーションサーバが一義的に定まる場合は、その種別に該当するアプリケーションサーバが１つ表示されるので、操作部３０１は、それを接続先として決定する。この場合は処理が簡略化される。また、ペイロードデータに含まれている種別に該当するアプリケーションサーバが複数ある場合は、操作部３０１は、複数表示された候補の中から１つをユーザ１０１に選択させ、選択されたものを接続先として決定する。候補が表示されるので、ユーザ１０１は、接続先とすべきアプリケーションサーバを判断しやすい。支援端末１１２は、ペイロードデータに種別の情報を含めることで、接続先の候補を指定できる。

なお、ペイロードデータに含まれている種別に該当するアプリケーションサーバが登録されていない場合や、ペイロードデータに種別が含まれていなかった場合は、接続先となるアプリケーションサーバの候補は操作パネル２０６に表示されない。その場合は、操作部３０１は、ユーザ１０１に、接続すべきアプリケーションサーバを示す情報として、アドレスとポート番号を新規に入力させる。操作部３０１は、新規に入力されたアドレスとポート番号に対応するアプリケーションサーバを、接続先として決定する。ユーザ１０１は、自身のユーザ環境から所望の接続先を指定できる。なお、ここで新規に入力されたアドレスとポートは、テーブル６００に反映（追加登録）され、次回以降の候補リストに加わる。このようにして、接続部３０３は、接続先のアプリケーションサーバ（遠隔サーバ３０４、遠隔サーバ３２３、Ｗｅｂサーバ３２５または遠隔サーバ３４１）を決定する。

ステップＳ５０７で、接続部３０３は、接続先として決定したアプリケーションサーバのアドレスとポートに対して接続処理を行う。ステップＳ５０８で、接続部３０３は、接続したアプリケーションサーバとトンネリング部３０２との間でのペイロードデータの転送を開始する。これにより、携帯端末１０２の仲介による、支援端末１１２からのアプリケーションサーバの遠隔操作が可能となる。その後、処理はステップＳ５０９に進む。

ステップＳ５０９で、接続部３０３は、ＨＴＴＰトンネリングを介して受信するペイロードデータを解析し、アプリケーションサーバとの接続中止指示を受信したか否かを判別する。そして、接続部３０３は、接続中止指示を受信しない場合は処理をステップＳ５０３に戻す。一方、接続中止指示を受信した場合は、ステップＳ５１０で、接続部３０３は、接続中のアプリケーションサーバとトンネリング部３０２との間のペイロードデータの転送を中止する。次にステップＳ５１１で、接続部３０３は、接続中のアプリケーションサーバとの接続を切断する。ステップＳ５１２で、操作部３０１は、操作パネル２０６から入力される遠隔支援停止指示が検知された否かによって、遠隔支援者１１１との接続を終了するか否かを判別する。そして接続部３０３は、遠隔支援停止指示が検知されない場合は、処理をステップＳ５０３に戻す。一方、遠隔支援停止指示が検知され遠隔支援者１１１との接続を終了すると判別した場合は、ステップＳ５１３で、トンネリング部３０２は、トンネリング部３６１との間のＨＴＴＰトンネリングを切断し、図５に示す処理を終了する。

このようにして、遠隔支援者１１１は、携帯端末１０２と支援端末１１２との間のＨＴＴＰトンネリングを介して、画像形成装置１０３、ユーザＰＣ１０４あるいは携帯端末１０２の各操作部３０１のほか、ＷｅｂＵＩ部３２４を直接的に操作可能となる。

本実施の形態によれば、支援端末１１２が画像形成装置１０３等の被操作側の装置を遠隔操作する場合に、携帯端末１０２は、被操作側の装置と支援端末１１２との通信を仲介する。すなわち、携帯端末１０２は、被操作側の装置と支援端末１１２との間でトンネリング通信が確立したことに応じて、接続先のアプリケーションサーバと通信する。そして携帯端末１０２は、トンネリング通信を介して、被操作側の装置のアプリケーションサーバと支援端末１１２との間でのデータ転送を仲介する。これにより、ネットワークを通じた操作側の装置（支援端末１１２）による被操作側の装置の直接的で効率的な遠隔操作を実現することができる。遠隔支援者１１１は、製品のトラブルが発生した場合、その製品の操作部やＷｅｂＵＩを直接的な感覚で遠隔操作できるので、従来のカメラ映像だけの遠隔支援に比べてより効果的な遠隔支援が可能となる。

（第２の実施の形態）
第１の実施の形態では、装着部２１０と装着部２２５とが接続されていない動作、すなわち携帯端末１０２と画像形成装置１０３との非装着状態における動作を説明した。第２の実施の形態では、装着部２１０と装着部２２５とが接続され、携帯端末１０２と画像形成装置１０３との装着状態における動作を説明する。携帯端末１０２と画像形成装置１０３とが装着されている状態とは、装着部２１０と装着部２２５とが、インターネットとな別の、有線ＬＡＮ、無線ＬＡＮまたはＵＳＢ等により接続され、携帯端末１０２と画像形成装置１０３とが通信できる状態である。携帯端末１０２と画像形成装置１０３とが装着状態となると、携帯端末１０２が、画像形成装置１０３の操作部として機能し、支援端末１１２は、遠隔操作によって、携帯端末１０２の操作部３０１を画像形成装置１０３の操作部として利用できる。このような動作モードを、装着時モードと称する。

図７は、携帯端末１０２と画像形成装置１０３との装着状態における、携帯端末１０２、画像形成装置１０３の各ソフトウェア構成を示すブロック図である。なお、ユーザＰＣ１０４及び支援端末１１２の各ソフトウェア構成は図３に示すのと同じであるので、それらの図示及び説明を省略する。

携帯端末１０２における装着制御部７０２は、装着部２１０を制御して、画像形成装置１０３との着脱制御を実施する。画像形成装置１０３における装着制御部７０１は、装着部２２５を制御して、携帯端末１０２との着脱制御を実施する。携帯端末１０２と画像形成装置１０３とが装着状態にある場合（装着時モード時）は、携帯端末１０２の操作部３０１が画像形成装置１０３の操作部として動作する。携帯端末１０２と画像形成装置１０３とが装着状態にない場合は、携帯端末１０２の操作部３０１と画像形成装置１０３の操作部３２２とは、それぞれが属する装置の操作部として動作する。

図８は、携帯端末１０２と画像形成装置１０３との装着状態における、本遠隔支援システムにおける各装置での一連の処理シーケンスを示す図である。ステップＳ８０１〜Ｓ８０４については、図４のステップＳ４０１〜Ｓ４０４と同様であるので説明を割愛する。ステップＳ８０５〜Ｓ８１３は、遠隔支援者１１１が画像形成装置１０３の操作部を遠隔操作する処理の流れを示す。トラブル解決に画像形成装置１０３の操作部の遠隔操作が必要な場合はこの処理が実行される。ステップＳ８０５〜Ｓ８０８については、図４のステップＳ４０５〜Ｓ４０８と同様であるので説明を割愛する。ステップＳ８０９で、接続部３０３は、携帯端末１０２の遠隔サーバ３０４と接続し、遠隔操作用データを遠隔サーバ３０４に渡す。携帯端末１０２の操作部３０１が画像形成装置１０３の操作部として動いているため、遠隔操作に関しても携帯端末１０２の遠隔サーバ３０４が接続部３０３の接続相手となる。ステップＳ８１０で、遠隔サーバ３０４は、渡された遠隔操作用データに基づいて操作部３０１を遠隔操作する。ステップＳ８１１〜Ｓ８１３で、操作部３０１は、支援端末１１２での操作結果に基づく制御命令を、装着制御部７０２と装着制御部７０１とを経由して制御部３２１に渡す。遠隔操作した結果を示す画面データは、ステップＳ８０５〜Ｓ８１３とは逆の経路で支援端末１１２の操作部３６３に渡される。

図９は、仲介処理のフローチャートである。図９のフローチャートの処理は、携帯端末１０２におけるＣＰＵ２０１がＲＯＭ２０２またはメモリ２０４からＲＡＭ２０３に展開した制御プログラムを実行することによって実現される。

まず、ステップＳ９０１〜Ｓ９０４は、図５のステップＳ５０１〜Ｓ５０４と同様であるため説明を割愛する。ステップＳ９０５で、接続部３０３は、携帯端末１０２と画像形成装置１０３との着脱状態を検知する。具体的には、ＣＰＵ２０１は、画像形成装置１０３の装着部２２５に対して装着部２１０が通信可能に接続されているか否かを検知し、両者が接続されていれば、携帯端末１０２と画像形成装置１０３とが装着状態であると判断する。そして携帯端末１０２と画像形成装置１０３とが装着状態であれば、動作モードは、装着時モードとなる。すなわち装着時モードは、携帯端末１０２が、自身のアプリケーションサーバである遠隔サーバ３０４を介して、画像形成装置１０３を操作する操作部として機能するモードである。一方、ＣＰＵ２０１は、装着部２２５と装着部２１０とが通信可能に接続されていない場合は、携帯端末１０２と画像形成装置１０３とが非装着状態であると判断する。この場合は、動作モードは通常モードとなる。

ステップＳ９０５で、携帯端末１０２と画像形成装置１０３の両装置が非装着状態（通常モード）である場合、ステップＳ９０６で、操作部３０１は、図５のステップＳ５０５と同様の候補を操作パネル２０６に表示させる。従ってこの候補には遠隔サーバ３０４や遠隔サーバ３２３も含まれる。一方、ステップＳ９０５で、両装置が装着状態（装着時モード）である場合、ステップＳ９０６で、操作部３０１は、接続先となるアプリケーションサーバの候補として、携帯端末１０２の遠隔サーバ３０４を操作パネル２０６に表示させる。操作部３２２が画像形成装置１０３の操作部として動作していない場合、遠隔サーバ３２３に接続することは遠隔支援の意味をなさないからである。

次に、ステップＳ９０７では、図５のステップＳ５０６と同様に、操作部３０１は、接続先となるアプリケーションサーバを決定する。ステップＳ９０８〜Ｓ９１４は、Ｓ５０７〜Ｓ５１３と同様であるため説明を割愛する。

本実施の形態によれば、ネットワークを通じた操作側の装置による被操作側の装置の直接的で効率的な遠隔操作を実現することに関し、第１の実施の形態と同様の効果を奏する。また、携帯端末１０２の操作部３０１が画像形成装置１０３の操作部として動作する場合でも、遠隔操作を適切に実施することができる。

なお、上記各実施の形態において、操作側の装置（第１の装置）として支援端末１１２を例示し、被操作側の装置（第２の装置）として画像形成装置１０３やユーザＰＣ１０４を例示したが、これらの装置に限定されない。なお、第２の装置を第１の装置がネットワークを通じて遠隔操作する際に両装置の通信を仲介する情報処理装置として、スマートデバイスである携帯端末１０２を例示したが、これに限定されず、また、据置型の装置であってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１０２ 携帯端末
１０３ 画像形成装置
１０４ ユーザＰＣ
１１２ 支援端末
３０２ トンネリング部
３０３ 接続部

Claims (11)

1. アプリケーションサーバを有する第２の装置を第１の装置がネットワークを通じて遠隔操作する際の前記第１の装置と前記第２の装置との間の通信を仲介する情報処理装置の制御方法であって、
   前記第１の装置との間でトンネリング通信によりデータを送受信する通信ステップと、
   前記通信ステップによるトンネリング通信が確立したことに応じて前記アプリケーションサーバと通信し、トンネリング通信により前記第１の装置から受信したデータを前記アプリケーションサーバに転送すると共に、前記アプリケーションサーバから受信したデータをトンネリング通信により前記第１の装置へ転送する仲介処理を実施する仲介ステップと、を有することを特徴とする情報処理装置の制御方法。
2. アプリケーションサーバを有する前記第２の装置は複数あり、
   前記通信ステップにより前記第１の装置からデータを受信したことに応じて、いずれかの前記第２の装置のアプリケーションサーバを、接続先のアプリケーションサーバとして決定する決定ステップを有し、
   前記仲介ステップは、前記決定ステップにより決定されたアプリケーションサーバと前記第１の装置との間の前記仲介処理を実施することを特徴とする請求項１に記載の情報処理装置の制御方法。
3. 前記情報処理装置は、アプリケーションサーバを有し、
   前記通信ステップにより前記第１の装置からデータを受信したことに応じて、前記情報処理装置または前記第２の装置のアプリケーションサーバを、接続先のアプリケーションサーバとして決定する決定ステップを有し、
   前記仲介ステップは、前記仲介処理においては、前記通信ステップによるトンネリング通信が確立したことに応じて、前記決定ステップにより決定されたアプリケーションサーバと通信し、トンネリング通信により前記第１の装置から受信したデータを前記決定されたアプリケーションサーバに転送すると共に、前記決定されたアプリケーションサーバから受信したデータをトンネリング通信により前記第１の装置へ転送することを特徴とする請求項１に記載の情報処理装置の制御方法。
4. 前記決定ステップは、前記第１の装置から受信されたデータに含まれる、アプリケーションサーバの種別を示す情報に基づいて、前記接続先のアプリケーションサーバを決定することを特徴とする請求項２または３に記載の情報処理装置の制御方法。
5. 前記決定ステップは、前記通信ステップにより前記第１の装置からデータを受信したことに応じて、アプリケーションサーバの候補を表示部に表示させ、表示された候補のうちユーザによって選択されたものを、前記接続先のアプリケーションサーバとして決定することを特徴とする請求項２または３に記載の情報処理装置の制御方法。
6. 前記情報処理装置は、アプリケーションサーバを有し、
   前記情報処理装置は、自身の前記アプリケーションサーバを介して、前記第２の装置を操作する操作部として機能するモードを有し、
   前記仲介ステップは、前記モードにおける前記仲介処理においては、前記通信ステップによるトンネリング通信が確立したことに応じて自身の前記アプリケーションサーバと通信し、トンネリング通信により前記第１の装置から受信したデータを自身の前記アプリケーションサーバに転送すると共に、自身の前記アプリケーションサーバから受信したデータをトンネリング通信により前記第１の装置へ転送することを特徴とする請求項１〜５のいずれか１項に記載の情報処理装置の制御方法。
7. 前記情報処理装置は、携帯端末装置であることを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置の制御方法。
8. 請求項１〜７のいずれか１項に記載の情報処理装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
9. アプリケーションサーバを有する第２の装置を第１の装置がネットワークを通じて遠隔操作する際の前記第１の装置と前記第２の装置との間の通信を仲介する情報処理装置であって、
   前記第１の装置との間でトンネリング通信によりデータを送受信する通信手段と、
   前記通信手段によるトンネリング通信が確立したことに応じて前記アプリケーションサーバと通信し、トンネリング通信により前記第１の装置から受信したデータを前記アプリケーションサーバに転送すると共に、前記アプリケーションサーバから受信したデータをトンネリング通信により前記第１の装置へ転送する仲介処理を実施する仲介手段と、を有することを特徴とする情報処理装置。
10. 第１の装置と、アプリケーションサーバを有する第２の装置を前記第１の装置がネットワークを通じて遠隔操作する際の前記第１の装置と前記第２の装置との間の通信を仲介する情報処理装置と、を有する遠隔支援システムであって、
    前記第１の装置は、前記情報処理装置との間でトンネリング通信によりデータを送受信する第１の通信手段を有し、
    前記情報処理装置は、
    前記第１の装置との間でトンネリング通信によりデータを送受信する第２の通信手段と、
    前記第２の通信手段によるトンネリング通信が確立したことに応じて前記アプリケーションサーバと通信し、トンネリング通信により前記第１の装置から受信したデータを前記アプリケーションサーバに転送すると共に、前記アプリケーションサーバから受信したデータをトンネリング通信により前記第１の装置へ転送する仲介処理を実施する仲介手段と、を有することを特徴とする遠隔支援システム。
11. 第１の装置と、アプリケーションサーバを有する第２の装置を前記第１の装置がネットワークを通じて遠隔操作する際の前記第１の装置と前記第２の装置との間の通信を仲介する情報処理装置と、を有する遠隔支援システムの制御方法であって、
    前記第１の装置が、前記情報処理装置との間でトンネリング通信によりデータを送受信し、
    前記情報処理装置が、前記第１の装置との間でトンネリング通信によりデータを送受信し、
    前記情報処理装置が、前記情報処理装置と前記第１の装置との間でトンネリング通信が確立したことに応じて前記アプリケーションサーバと通信し、トンネリング通信により前記第１の装置から受信したデータを前記アプリケーションサーバに転送すると共に、前記アプリケーションサーバから受信したデータをトンネリング通信により前記第１の装置へ転送する仲介処理を実施することを特徴とする遠隔支援システムの制御方法。
    
    
    

Images