JP2022073283A

JP2022073283A - 情報処理装置、情報処理の制御方法、並びにコンピュータプログラム

Info

Publication number: JP2022073283A
Application number: JP2020183170A
Authority: JP
Inventors: 太樹角; Taiki Sumi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-10-30
Filing date: 2020-10-30
Publication date: 2022-05-17
Also published as: US20220141347A1; EP3993378A1; CN114442975A; US11652944B2

Abstract

【課題】装置とのＶＮＣ通信を切断し忘れてた状態でアプリをバックグラウンドに遷移させてしまうと、他のユーザーは当該装置とＶＮＣ通信で接続を行うことができないという課題がある。【解決手段】アプリがバックグラウンドに遷移したら、ＶＮＣ接続の優先状態を解除し、他の装置がＶＮＣ接続できるようにする。【選択図】図６Ｂ

Description

操作パネルの遠隔操作方法に関する。

画像処理装置の操作画面を遠隔で操作するため、ＲＦＢ（ＲｅｍｏｔｅＦｒａｍｅＢｕｆｆｅｒ）プロトコルを用いたＶＮＣ（ＶｉｒｔｕａｌＮｅｔｗｏｒｋＣｏｍｐｕｔｉｎｇ）を用いることで、画像処理装置の操作画面をＰＣや携帯端末などから操作できるようにする方法が開示されている。具体的にはＶＮＣサーバー機能を有する画像処理装置が、ＶＮＣクライアント機能を有する端末に対して、操作画面の画面情報を送信する。端末は、受信した画面情報に基づき、画像処理装置の操作パネルに表示されている操作画面と同じ画面を表示する。ユーザーは端末に表示された画面上で操作を行なうことで、画像処理装置の操作パネルを操作せずとも、画像処理装置の提供する操作画面でログインを行なったり、画像処理装置に処理を実行させることができる。

特許文献１には、ＶＮＣを用いて画像処理装置を遠隔から操作する場合、画像処理装置の本体操作部が操作を一定時間受け付けないと、画像処理装置が節電モードに移行するという方法が開示されている。

特開２００７－１５９０５７号公報

遠隔操作機能を提供する装置は、操作者を一人に限定するために遠隔操作できる装置を１台に限定していることが多い。ＶＮＣ等を用いて端末から画像処理装置を遠隔操作する場合、あるユーザーが画像処理装置にＶＮＣ接続を行うと、他のユーザーは当該画像処理装置に対してＶＮＣ接続することができない。例えば、あるユーザーが端末から画像処理装置にＶＮＣ接続を行い、端末を操作することで画像処理装置にログイン、印刷処理を行う。そして、ユーザーはＶＮＣ接続を切断することを忘れて、処理が終了したため端末上でＶＮＣクライアントとして動作するアプリケーションをバックグラウンドに移行させると、ＶＮＣ接続は継続しているため、他のユーザーが画像処理装置とＶＮＣ接続できなくなる。そこで本発明は、ユーザーが装置の遠隔操作機能の利用を終了したにもかかわらず、当該遠隔操作機能を停止していなかった場合でも、別のユーザーが当該装置を遠隔操作できる方法を提供することである。

画像処理装置と通信を行う情報処理装置のコンピュータに制御方法を実行させるためのプログラムであって、前記制御方法は、前記画像処理装置の有する表示部に表示する画面に対応する画面であって、前記画像処理装置で表示制御された画面を表示する表示工程と、
前記プログラムが前記情報処理装置上でユーザーの操作対象として動作しなくなった状態で所定の条件を満たすと、前記表示制御を停止する指示を前記画像処理装置に送信する送信工程と、を有することを特徴とするプログラム。

ユーザーが装置の遠隔操作機能の利用を終了したにもかかわらず、当該遠隔操作機能を停止していなかった場合でも、別のユーザーが当該装置を遠隔操作できる。

システムの構成を示す図である。携帯端末１００のハードウェア構成を示す図である。携帯端末１００のソフトウェア構成を示す図である。ＭＦＰ１１０のハードウェア構成を示す図である。ＭＦＰ１１０のソフトウェア構成を示す図である。本実施形の携帯端末上で動作するアプリケーションの処理を示すフローチャートである。本実施形の遠隔操作処理を示すフローチャートである。本実施形の遠隔操作処理を示すフローチャートである。本実施形の携帯端末１００の操作パネルで表示されるＵＩを示す図である。本実施形のＭＦＰ１１０の操作パネルで表示されるＵＩを示す図である。

以下、本発明を実施するための最良の形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

（実施例１）
＜本実施例におけるシステム構成＞
まず、図１を用いて、本実施例に係るシステム構成を説明する。ここでは情報処理装置の一例として携帯端末１００とＭＦＰ１１０を例に説明を行うが、情報処理システムに含まれる装置はこれに限らない。携帯端末１００とＭＦＰ１１０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）に接続されており、互いに情報をやり取りすることが可能である。携帯端末１００はアクセスポイント１２０を介してＬＡＮに接続している。

携帯端末１００はＭＦＰ１１０を遠隔操作するためのＶＮＣ（ＶｅｒｔｕａｌＮｅｔｗｏｒｋＣｏｍｐｕｔｉｎｇ）クライアント機能を持っている。具体的には、携帯端末１００はＲＦＢ（ＲｅｍｏｔｅＦｒａｍｅＢｕｆｆｅｒ）プロトコルに対応したＶＮＣクライアントソフトを有する。携帯端末１００は、ＭＦＰ１１０に対してＶＮＣ接続を行い、ＭＦＰ１１０の操作パネルに表示された画面を携帯端末１００上に表示する。ＭＦＰ１１０はＶＮＣサーバー機能を有していて、携帯端末１００からＶＮＣ接続されると、画面情報をＶＮＣクライアントである携帯端末１００に送信する。携帯端末１００は送信された画面情報に基づいて画面を描画する。描画された画面上で受け付けた操作、ＭＦＰ１１０上で受け付けた操作に応じて携帯端末１００、ＭＦＰ１１０の表示部に表示される画面が変更されるように画面の連携が行われる。

次に図２を用いて、携帯端末１００のハードウェア構成を説明する。なお、本実施形態の携帯端末１００はスマートフォンやタブレットＰＣ等の装置を想定しているが、ＭＦＰ１１０と通信可能な情報処理装置であれば他の装置であってもよい。

ＣＰＵ２０１はＲＯＭ２０２が記憶している制御プログラムを読み出して、携帯端末１００の動作を制御するための様々な処理を実行する。ＲＯＭ２０２は、制御プログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ストレージ２０４は、例えばｅＭＭＣ、ＳＳＤ、ＨＤＤ等で写真や電子文書等の様々なデータを記憶する。また、後述するＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）３５０やＭＦＰアプリケーション３００もストレージ２０４に記憶されている。ＲＴＣ（ＲｅａｌＴｉｍｅＣｌｏｃｋ）２０５は、時間を計時する。

なお、携帯端末１００の場合、１つのＣＰＵ２０１が後述するフローチャートに示す各処理を実行するものとするが、他の態様であっても構わない。例えば、複数のＣＰＵが協働して後述するフローチャートに示す各処理を実行するようにすることもできる。

操作パネル２０６は、ユーザーのタッチ操作を検出可能なタッチパネル機能を備え、ＯＳ３５０やＭＦＰアプリケーション３００が提供する各種画面を表示する。ユーザーは操作パネル２０６にタッチ操作を入力することで、携帯端末１００に所望の操作指示を入力することができる。

スピーカー２０７とマイク２０８は、ユーザーが例えば他の携帯端末や固定電話と電話をする際に使用される。カメラ２０９はユーザーの撮像指示に応じて撮像を行う。カメラ２０９によって撮像された写真は、ストレージ２０４の所定の領域に記憶される。無線通信部２１１は、無線通信ＬＡＮ等の無線通信を実行する。

次に図３を用いて、携帯端末１００のソフトウェア構成を説明する。図３は、ＣＰＵ２０１がＲＯＭ２０２やストレージ２０４に記憶されている制御プログラムを読み出すことで実現されるソフトウェアの機能ブロック図である。

ＯＳ３５０は、携帯端末１００全体の動作を制御するためのソフトウェアである。携帯端末１００には、後述するＭＦＰアプリケーション３００を含め、様々なアプリケーションをインストールすることができる。ＯＳ３５０はこれらのアプリケーションとの間で情報をやり取りし、アプリケーションから受けた指示に従って、操作パネル２０６に表示する画面を変更行う。また、ＯＳ３５０は、各種ハードウェアを制御するためのデバイスドライバ群を備えており、ＯＳ上で動作するアプリケーションに対して各種ハードウェアを利用する為のＡＰＩを提供する。デバイスドライバ群として本実施例では、例えば無線ＬＡＮ制御部３５１が相当する。無線ＬＡＮ制御部３５１は無線通信部２１１を制御するためのデバイスドライバである。

ＭＦＰアプリケーション３００は、携帯端末１００にインストールされたアプリケーションである。ＭＦＰアプリケーションからＭＦＰ１１０に対して印刷指示やスキャン指示を行うことができる。さらに上述したようにＶＮＣクライアントとして動作し、ＭＦＰ１１０の操作画面を表示し、ＭＦＰ１１０を遠隔操作する機能も有する。携帯端末１００には、ＭＦＰアプリケーション３００の他に様々なアプリケーションがインストールされていてもよいが、ここでは説明を省略する。

ＭＦＰアプリケーション３００の構成についてさらに詳しく説明する。画面制御部３０１は、ＯＳ３５０を介して操作パネル２０６に表示する画面を制御する。画面制御部３０１によって、ＭＦＰアプリケーションの画面が操作パネル２０６に表示される。また、画面制御部３０１は、操作パネル２０６を介してユーザーが入力した操作指示を受け付ける。通信部３０２は、ＯＳ３５０を介して、無線通信部２１１による無線通信を制御し、ＭＦＰ１１０等の外部装置と情報の送受信などを行う。

デバイス検索制御部３１１は、携帯端末１００が接続する外部装置を探索する探索用データを生成し、無線通信部２１１によってＬＡＮ１０上の装置に送信される。そして該当探索に応答する外部装置からのレスポンスを受信する。探索用データは、ＬＡＮ１０上のすべての外部装置に対してブロードキャストする場合もあるし、１台の外部装置に対して、アドレスを指定して送信する場合もある。

印刷ジョブ生成部３０５は、印刷ジョブを生成する。印刷ジョブ生成部３０５によって生成された印刷ジョブは、無線通信部２１１によってＭＦＰ１１０に送信され、ＭＦＰ１１０は受信した印刷ジョブに応じて印刷を実行する。

スキャンジョブ制御部３０７は、無線通信部２１１を介してＭＦＰ１１０にスキャン指示を送信し、ＭＦＰ１１０は当該指示に基づいてスキャンを実行し、スキャンして生成したデータ（スキャンデータ）を携帯端末１００に送信する。携帯端末１００は受信したスキャンデータを表示する。スキャンデータを保存する場合は、記憶部３０６に記憶される。記憶されたスキャンデータは、ドキュメント管理部３０８によって管理される。

遠隔操作部３１３は、ＶＮＣ接続しているＭＦＰ１１０から取得した画面情報を基に画面表示し、表示した画面上での操作を受け付ける。つまりＶＮＣクライアントとして動作する。具体的にはＶＮＣサーバーから受信した画面情報を基に画面を表示し、表示した画面上で受け付けた操作の位置や操作の種類等を含む操作情報をＭＦＰ１１０に送信する。ＭＦＰ１１０は受信した操作情報を基に、ＭＦＰ１１０に表示する画面、携帯端末１００が表示している画面を変更する。アプリ記憶部３０６は、ＭＦＰアプリケーション３００で生成した様々な情報を一時的に記憶する。計時部３０４は、時間を計時する。

図４は、ＭＦＰ１１０のハードウェア構成の一例を示したものである。ＭＦＰ１１０は、ＲＯＭ３０３０あるいは、例えばハードディスクなどの大規模記憶装置３１１０に記憶されたプログラムを実行するＣＰＵ３０２０を備え、ＣＰＵ３０２０はシステムバス３０１０に接続される各デバイスを総括的に制御する。

３０４０はＲＡＭで、ＣＰＵ３０２０の主メモリ、ワークエリア等として機能する。３０６０は外部入力コントローラー（ＰＡＮＥＬＣ）で、複合機に備えられた各種ハードキー３１２０あるいはタッチパネル（ＰＡＮＥＬ）３０７０から等からの指示入力を制御する。３０８０はディスプレイコントローラー（ＤＩＳＰＣ）で、例えば液晶ディスプレイなどで構成される表示モジュール（ＤＩＳＰＬＡＹ）３０９０の表示を制御する。３１１０はディスクコントローラー（ＤＫＣ）で、大規模記憶装置（ＨＤ）３１１０を制御する。

図９の９００を用いてＭＦＰ１１０の操作部に関する説明を行う。ＤＩＳＰＬＡＹ３０９０に画面が表示され、ＤＩＳＰＬＡＹ３０９０の隣にハードキー３１２０が配置される。ＤＩＳＰＬＡＹ３０９０上のタッチパネル３０７０、ハードキー３１２０の両方でユーザー操作を受付可能である。ハードキー３１２０であるログアウトキー９０１は、ユーザーがＭＦＰ１１０にログインしている状態で押下すると、ＭＦＰ１１０に対してログアウト処理の指示を行うためのボタンである。

３０５０はネットワークインタフェースカード（ＮＩＣ）で、ネットワーク１０を介して、外部装置（例えば携帯端末１００）あるいはファイルサーバ等と双方向にデータをやりとりする。３４００は無線通信モジュールであり、アクセスポイントと接続することや、またはアクセスポイントモードで動作することで、ＭＦＰ１１０をアクセスポイントとして動作させ、携帯端末１００と直接無線通信接続することができる。３２００はプリンターであり、電子写真方式で実現される紙への印字部である。印字方式は、特に電子写真方式でなくてもよい。３３００はスキャナーであり、紙に印字された画像を読み込むための画像読み取り部である。多くの場合、画像読み取り部３３００にはオプションとしてＡＤＦ（オートドキュメントフィーダ）（不図示）が装着されており、複数枚の原稿を自動的に読み込むことができる。なお、大規模記憶装置３１１０は、場合によっては画像の一時記憶場所としても使われることがある。

図５はＭＦＰ１１０のソフトウェア構成を示すブロック図である。本ソフトウェアは、例えばＲＯＭ３０３０に格納され、ＣＰＵ３０２０によって実行される。

ＵＩ処理部５１０は、外部入力コントローラー３０６０からの入力、または後述する操作情報受信部５２２から受け取った操作情報を解析し、画面変更が必要である場合には、画面データを生成して、ＤＩＳＰＬＡＹ３０９０に表示する。

ＤＩＳＰＬＡＹ３０９０には、図９に示すように種々の画面が表示される。例えばＩＤカードログイン画面９２０、キーボードログイン画面９１０や、ほかにもログイン中に表示されるメニュー画面９３０、エラー発生時に表示されるエラー画面（不図示）、カウンタ情報などを表示するカウンタ画面（不図示）などが表示される。ＭＦＰ１１０がスリープ中にはＤＩＳＰＬＡＹ３０９０は非表示状態となる。

ＩＤカードログイン画面９２０は、ユーザー情報が紐付いたＩＤカードでＭＦＰ１１０にログインするための画面であり、当該画面を表示中にＭＦＰ１１０のＩＤカードリーダーにＩＤカードをかざすことで、ユーザー情報が読み込まれログイン処理が行われる。キーボードログイン画面切り替えボタン９２１を押下すると、キーボードログイン画面９１０に表示が切り替わる。

キーボードログイン画面９１０は、ユーザー情報をキーボードで入力することでＭＦＰ１１０にログインするための画面である。ハードキー３１２０または、ソフトキーボード（不図示）を使用して、ユーザー名入力欄９１１、パスワード入力欄９１２を入力し、ログインボタン９１３を押下することでログイン処理を行う。ＩＤカードログイン切り替えボタン９１４を押下すると、ＩＤカードログイン画面９２０に表示が切り替わる。

メニュー画面９３０は、キーボードログイン画面９１０やＩＤカードログイン画面９２０を介してＭＦＰ１１０にログインした後に表示されるメニュー画面である。ユーザーが用途に応じて、コピーボタン９３１、スキャンボタン９３２、またはプリントボタン９３３を押下することでＭＦＰ１１０の各種機能を利用できる。ユーザーがログアウトボタン９３４を押下すると、ログアウト処理が行われる。

遠隔操作処理部５２０は、接続処理部５２３、操作情報受信部５２２、画面送信部５２１の各モジュールを含む。遠隔操作処理部５２０は、ＲＦＢプロトコルによる通信をおこなうＶＮＣサーバーモジュールであり、ＶＮＣクライアントとして動作する携帯端末１００とネットワークを介して通信するソフトウェアモジュールである。接続処理部５２３は、ＭＦＰ１１０やＶＮＣクライアントである携帯端末１００からの接続要求を受け付けた場合に接続処理を行い、接続の切断要求を受け付けた場合に切断処理を行う。

操作情報受信部５２２は、携帯端末１００、ＭＦＰ１１０から画面の操作情報を受信し、ＵＩ処理部５１０に通知する。画面送信部５２１は、ＵＩ処理部５１０が生成した画面データをＲＡＭ３０４０から読み取って、ＶＮＣクライアントである携帯端末１００に送信するなどして画面の表示制御を行う表示制御部である。

ログイン処理部５３０は、ＭＦＰ１１０のログイン処理を行うモジュールであり、ＵＩ処理部から受け付けたユーザー情報等に基づいて、ユーザー認証を行い、ユーザー認証に成功するとログインを行う。また、ＵＩ処理部５１０等からログアウトの指示を受け付けた場合は、ログアウト処理を行う。ネットワーク制御部５００はネットワークＩ／Ｆ３０５０を制御するためのモジュールである。その他に図示していないが、プリンター３２００を制御するプリンタモジュール、スキャナー３３００を制御するスキャナモジュールも存在する。

図８は、携帯端末１００の操作パネル２０６に表示する画面の一例である。携帯端末１００を起動すると、ホーム画面８１０が表示される。ＭＦＰアプリケーションアイコン８１１はＭＦＰアプリケーション３００を起動するためのアイコンであり、ＭＦＰアプリケーションアイコン８１１が操作されると、ＭＦＰアプリケーション３００が起動する。

ＭＦＰアプリケーション３００が起動されると、アプリホーム画面（デバイス未選択）８２０が表示される。選択デバイスアイコン８２１は、現在ＭＦＰアプリケーション３００が通信しているＭＦＰ、ジョブの送信対象としているＭＦＰ（以降、対象ＭＦＰ）の情報が表示される。対象ＭＦＰが設定されていない場合は、「ＮｏＰｒｉｎｔｅｒ」と表示されている。デバイス検索ボタン８２３は、対象ＭＦＰを検索するボタンである。リモートオペレーションボタン８２２は、対象ＭＦＰとＶＮＣ接続し対象ＭＦＰを遠隔操作するためのボタンである。アプリホーム画面８２０には、これら以外にも対象ＭＦＰに印刷ジョブを送信するためのプリントボタン８２４や、スキャン指示するためのボタンが表示されていても良い。

デバイス検索ボタン８２３が押下されると、ネットワーク内に存在するＭＦＰの検索が実行され、検索結果としてデバイス検索画面８３０が表示される。デバイス検索画面８３０には、検索に応答したＭＦＰの一覧が表示される。例えば検索結果の１つである検索結果８３１を選択することで、対象ＭＦＰが選択される。

対象ＭＦＰが選択されると、アプリホーム画面（デバイス選択済）８４０が表示される。選択デバイスアイコン８２１には、デバイス検索画面８３０で選択されたＭＦＰに関する情報が表示されている。対象ＭＦＰが選択された状態で、ユーザーがリモートオペレーションボタン８２２をタップすると、対象ＭＦＰの遠隔操作機能が開始される。ここで、対象ＭＦＰはＭＦＰ１１０であるとして以下の説明を行う。

遠隔操作機能が開始されると、デバイス接続中画面８５０が表示される。ハードキー表示ボタン８５１は、押下されると、ＭＦＰ１１０のハードキー３１２０を操作するためのＵＩを表示する。詳細は後述する。

ＶＮＣ接続が完了し、遠隔操作機能が確立すると、ＭＦＰ１１０のＤＩＳＰＬＡＹ３０９０に表示されている画面が操作パネル２０６に表示される。ここでは、キーボードログイン画面９１０と同一の画面、キーボードログイン画面８６０が表示される。ハードキー表示ボタン８５１が操作パネル２０６に表示されること以外に、画面内容はＭＦＰ１１０のキーボードログイン画面９１０と同一であるため説明は省略する。またＭＦＰ１１０がＩＤカードログイン画面９２０を表示していた場合は、ＩＤカードログイン画面８６５が表示される。

キーボードログイン画面８６０でログイン指示が行われると、メニュー画面９３０と同一のメニュー画面（ハードキー非表示）画面８７０が表示される（同様にＤＩＳＰＬＡＹ３０９０にもメニュー画面９３０が表示される）。

ハードキー表示ボタン８５１がタップされると、メニュー表示画面（ハードキー表示）８７５が表示される。つまりＭＦＰ１１０のハードキー３１２０の各キーの処理を割り当てたソフトウェアキーボードが表示される。ハードキーＵＩ８７７は、ＭＦＰ１１０のハードキー３１２０を操作するためのＵＩであり、ハードキーＵＩ８７７に表示されているボタンをタップすると、押下したキー情報がＭＦＰ１１０に送信され、押下したキーに基づいてＭＦＰ１１０は処理を行う。ＭＦＰ１１０のログアウトキー９０１に対応するログアウトキー８７９が押下されると、ＭＦＰ１１０からログアウトする。またハードキーＵＩ８７７上にある終了ボタン８７８がタップされると、遠隔操作機能を終了、つまりＶＮＣ接続を終了する。ＶＮＣ接続を終了すると操作パネル２０６にはアプリホーム画面（デバイス選択済）８４０が表示される。また、ＶＮＣ接続が終了された時は、ＤＩＳＰＬＡＹ３０９０にはＶＮＣ接続を終了する前に表示していた画面が表示され続ける。

ＶＮＣ接続を終了する操作を行わずに、遠隔操作が終わったユーザーがＶＮＣクライアントとして動作するＭＦＰアプリケーション３００をフォアグラウンドでない状態（例えばバックグラウンド）にしていると問題が有る。ＭＦＰのようにログイン構成を有する装置は操作者を一人に限定するためにＶＮＣ接続できる外部装置を一台に限定していることが多い。遠隔操作が終わったにも関わらず、ＶＮＣ接続を切断する操作をユーザーが失念していると、他のユーザーがＭＦＰとＶＮＣ接続を行うことができなくなる。例えば、ユーザーが遠隔操作機能を開始し、携帯端末１００上からＭＦＰ１１０に印刷やスキャンといった処理を指示した後、終了ボタン８７８を押下することを失念し、終了ボタン８７８を押下せずに、他のアプリケーションを使用（ＭＦＰアプリケーション３００はバックグラウンドに遷移する）する。そうすると携帯端末１００とＭＦＰ１１０のＶＮＣ接続は継続しているため他のユーザーがＭＦＰ１１０とＶＮＣ接続できなくなる。この問題を解消するため、ＶＮＣクライアントであるＭＦＰアプリケーション３００が携帯端末１００上でフォアグラウンド状態でなくなったら、他の装置からＭＦＰ１１０にＶＮＣ接続できるように制御する。例えば、ＭＦＰアプリケーション３００が携帯端末１００上でフォアグラウンドでなくなった状態から所定時間経過すると、ＶＮＣ接続を切断したり、ＶＮＣ接続の「優先状態」（詳細は後述する）を解除したりする。本実施形態でアプリケーションがフォアグラウンドである状態とは、アプリケーションがアクティブな状態であり、例えば情報処理装置上でアプリケーションが操作対象となっている状態である。情報処理装置上でアプリケーションが表示されており、アプリケーションがタップ等のユーザー操作を受け付けて、それに応じた処理を行う状態である。アプリケーションがフォアグラウンド状態であれば、情報処理装置のＯＳが優先的に当該アプリケーションの処理を行う。アプリケーションがバックグラウンドである状態とは、アプリケーションが動作しているがアクティブでない状態であり、ユーザーの操作対象でない状態である。

図６Ａは、携帯端末１００が、ＭＦＰ１１０とＶＮＣ接続し、遠隔操作を行なった後にＶＮＣ通信を切断するまでの処理を示すフローチャートである。図６Ａのフローチャートに示す各ステップは、ＣＰＵ２０１がＲＯＭ２０２等のメモリに格納された制御プログラムをＲＡＭ２０３に展開して実行することによって処理される。

ステップＳ６０１では、ホーム画面８１０で、アイコン８１１がタップされたことを検知すると、ＭＦＰアプリケーション３００が起動する。ステップＳ６０２では、アプリホーム画面８２０（デバイス未選択）でデバイス検索ボタン８２３がタップされたことを画面制御部３０１が検知してＭＦＰ検索を実行する。ステップＳ６０３では、デバイス検索画面８３０でＭＦＰが選択されたかどうかを判別し、選択された場合は、アプリホーム画面（デバイス選択済）８４０に画面を遷移させ、ステップＳ６０４にすすむ。そうでない場合はＳ６０３に戻る。

ステップＳ６０４では、アプリホーム画面（選択済）８４０で、リモートオペレーションボタン８２２が選択されたかどうかを判別し、選択された場合は、ステップＳ６０５に進み、そうでない場合はステップＳ６０４に戻る。

ステップＳ６０５では、遠隔操作部３１３がＳ６０４で選択されたＭＦＰに対し、ＲＦＢプロトコルによる接続要求を行う。そしてＳ６０６で遠隔操作処理を行う。

Ｓ６０６の処理の詳細を図６Ｂを用いて行う。まずステップＳ６０７では、ＲＦＢプロトコルによる接続要求が受け付けられたかどうかを判別し、受け付けられた場合は、ステップＳ６０９に進み、受け付けられなかった場合はステップＳ６０８に進む。接続の受け付けの可否については、接続要求のレスポンスデータによって判断される。ステップＳ６０８では、接続拒否エラー画面８８０を画面制御部３０１が表示し、処理を終了する。

ステップＳ６０９では、ＲＦＢプロトコルにおける初期化処理を行う。初期化処理では、遠隔操作部３１３はＶＮＣクライアント情報の送信と、ＶＮＣサーバー情報の受信を行う。

ステップＳ６１０では、ＭＦＰ１１０、つまりＶＮＣサーバーから送信された画面情報基に遠隔操作部３１３は操作パネル２０６に画面を表示する。例えば、ＤＩＳＰＬＡＹ３０９０に表示されている画面がキーボードログイン画面９１０であれば、キーボードログイン画面８６０が操作パネル２０６に表示される。また、ＭＦＰ１１０から画面情報が送信されるたびに逐次、Ｓ６１０で画面を表示するようにする。

Ｓ６１１で遠隔操作部３１３は、携帯端末１００が優先状態であるか否か判断する。優先状態であれば、Ｓ６１２に進み、そうでなければＳ６１７に進む。ここで「優先状態」とは、携帯端末１００がＭＦＰ１１０とＶＮＣ接続している間は、他の装置がＭＦＰ１１０とＶＮＣ接続できないように排除する状態である。例えばＶＮＣ接続には、先に接続した装置との接続を優先し、後から他の装置が接続を要求しても接続できないように制御する先優先形式と、後からＶＮＣ接続した装置との接続を優先し、後から接続要求してきた装置があれば、先に接続していた装置との接続を切断し、後から接続要求した装置と接続を行う後優先形式がある。先優先形式の場合は、ＶＮＣ接続できた時点で、後からの接続を排除できるため、接続成功した時点で「優先状態」になるものとする。一方、後優先の場合は、ＶＮＣ接続に成功したとしても、後から他の装置からＶＮＣ接続要求があると接続が切断されてしまう。そこで後優先の場合は、例えばＶＮＣ接続してから所定時間経過したら「優先状態」に移行し、「優先状態」中は後から他の装置がＶＮＣ接続したことで接続が切断されても、自動でＶＮＣ再接続を行い、ＶＮＣの接続を取り戻すように制御する。つまり、この制御を行うことで、見かけ上は後からＶＮＣ接続した装置は接続を行うことができない。後優先形式の場合は、この状態を「優先状態」とする。ここではＶＮＣ接続して所定時間経過したら「優先状態」となる例を示したが、これに限らずＶＮＣ接続してＭＦＰ１１０にログインしたら「優先状態」に移行するようにしても良い。

Ｓ６１２で遠隔操作部３１３は、ＭＦＰアプリケーション３００が携帯端末１００上でバックグラウンドに遷移されているか否か判断する。バックグラウンドであればＳ６１３に進み、そうでなければ、つまりフォアグラウンドであればＳ６１７に進む。ＭＦＰアプリケーション３００がバックグラウンドに遷移すると、バックグラウンドに遷移したことがＯＳ３５０からＭＦＰアプリケーション３００に通知され、ＭＦＰアプリケーション３００は自身がバックグラウンドに遷移したことを検知する。

Ｓ６１３で遠隔操作部３１３はＶＮＣ接続の形式が先優先形式であるか後優先形式であるか判断する。どちらの形式であるかはＭＦＰ１１０に問い合わせるようにしても良い。先優先の場合はＳ６１４に後優先の場合はＳ６１５に進む。

Ｓ６１４で遠隔操作部３１３は優先状態を解除し、Ｓ６２０でＶＮＣ接続の切断処理を行う。先優先形式の場合はＶＮＣ接続が成功したことで「優先状態」となるため、「優先状態」の解除はＶＮＣ接続の切断と同意である。ここではＭＦＰアプリケーション３００がバックグラウンド状態になった場合、即Ｓ６１４、Ｓ６２０の処理が進むようにしたが、所定時間経過してからＳ６１４、Ｓ６２０の処理が進むようにしても良い。つまりＭＦＰアプリケーション３００がバックグラウンド状態になったら即、ＶＮＣ接続を切断するようにしても良いし、バックグラウンド状態になってから所定時間経過してから切断するようにしても良い。

Ｓ６１５では、遠隔操作部３１３は優先状態を解除する。ここで、優先状態を解除するとは、後から他の装置がＭＦＰ１１０とＶＮＣ接続しても、再接続して接続を取り戻すことをしない状態にすることである。つまり他の装置がＭＦＰ１１０とＶＮＣ接続したら再接続を行って接続を取り戻す「優先状態」から、他の装置がＭＦＰ１１０とＶＮＣ接続しても再接続を行わず接続を取り戻さない状態に遷移する。よって他の装置がＭＦＰ１１０とＶＮＣ接続できる状態になる。そしてＳ６１６に進む。

Ｓ６１６で遠隔操作部３１３は、ＭＦＰアプリケーション３００が一定時間内にフォアグラウンドに復帰したか否か判断する。復帰した場合はＳ６１７に進み、そうでない場合Ｓ６２０に進み、ＶＮＣ接続の切断処理を行う。切断処理とは例えば、終了ボタン８７８に対応する操作情報をＭＦＰ１１０に送信し、ＭＦＰ１１０に対してＶＮＣ切断要求することである。

Ｓ６１７で遠隔操作部３１３は、携帯端末１００上で入力操作が有るか否か判断する。入力操作があった場合Ｓ６１８に進み、そうでない場合Ｓ６１１に進む。Ｓ６１８で遠隔操作部３１３は、携帯端末１００上で受け付けた操作の操作情報をＭＦＰ１１０に送信する。

Ｓ６１９で遠隔操作部３１３は、ＶＮＣ接続の切断指示を受け付けたか否か判断する。受け付けた場合はＳ６２０に進み、そうでない場合Ｓ６１１に進む。ＶＮＣ接続の切断指示とは例えば、終了ボタン８７８が押下されることである。

以上のフローチャートにより、携帯端末１００がＭＦＰ１１０とＶＮＣ接続を行い、ユーザーが処理を終了したことに応じて、ＶＮＣクライアントとして動作するアプリケ―ションを携帯端末１００上でバックグラウンドにした場合、ユーザーがＶＮＣ接続の切断を指示することを失念しても、他の装置はＭＦＰ１１０とＶＮＣ接続を行うことができる。また、アプリケ―ションをバックグラウンドにしてから所定時間経過してからという条件を満たすとＶＮＣ接続を停止するため、例えばＶＮＣ接続中に電話等の他のアプリケーションを利用したような場合も、所定時間内であればＶＮＣ接続を継続でき、ＭＦＰの操作も継続できる。

以上のフローチャートでは、アプリケ―ションをバックグラウンド状態にした場合の例を説明した。これに限らずアプリケ―ションがユーザーによって閉じられた場合もＶＮＣ接続を停止するようにしてもよい。この場合は所定時間経過してから停止するのではなく、アプリケ―ションが閉じられた時に、携帯端末はＶＮＣ切断要求をＭＦＰに送信し、即接続を切断するようにする。

次に図７を用いてＶＮＣで携帯端末１００と画面連携する際のＭＦＰ１１０の処理に関して説明を行う。図７のフローチャートに示す各ステップは、ＣＰＵ３０２０がＲＯＭ３０３０等のメモリに格納された制御プログラムをＲＡＭ３０４０に展開して実行することによって処理される。

ステップＳ７０１では、ＶＮＣクライアントである携帯端末１００からＶＮＣ接続要求があるかどうかを接続判断部５２３が判別し、接続要求があった場合はステップＳ７０２に進む。接続要求がない場合は、ステップＳ７０１に戻る。ステップＳ７０２では、接続判断部５２３がネゴシエーション処理を行いＶＮＣクライアントと接続を行う。ステップＳ７０３では、接続判断部５２３が初期化処理を行い、クライアント情報の受信とサーバー情報の送信を行う。

ステップＳ７０４では、画面送信部５２１はＤＩＳＰＬＡＹ３０９０に表示されている画面をＶＮＣクライアントである携帯端末１００に送信する。

ステップＳ７０５では、操作情報受信部５２２が、ユーザーから操作を受け付けたか否か判断する。受け付けた場合は、ステップＳ７０６に進み、そうでない場合は、ステップＳ７０５に戻る。例えば、携帯端末１００から操作情報を受信したり、ＭＦＰのＰＡＮＥＬ３０７０、ハードキー３１２０等でユーザー操作を検知した場合、ユーザーから操作を受け付けたと判断する。

Ｓ７０６においてＳ７０５で受け付けた操作がＶＮＣ接続の切断操作であるか否か判断する。切断操作であればＳ７０７に進みＶＮＣ接続を切断し、そうでない場合Ｓ７０８に進む。

Ｓ７０８ではＳ７０５で受け付けた操作に応じた処理を行う。たとえばＤＩＳＰＬＡＹ３０９０に表示されているメニュー画面を次のページに遷移させる処理や、ユーザーをＭＦＰ１１０にログインさせる処理、ログアウトさせる処理などである。次にＳ７０９において操作情報受信部５２２はＳ７０８で行った処理に応じてＤＩＳＰＬＡＹ３０９０に表示される画面が変更されたか否か判断する。変更された場合はＳ７０４に進み、そうでない場合Ｓ７０５に進む。

以上の処理により、ＭＦＰに表示された画面を携帯端末にも表示することができる。ＭＦＰ又は、携帯端末で受け付けた操作に基づいて、ＭＦＰと携帯端末に表示する画面を変更できる。以上のフローチャートではＭＦＰ又は、携帯端末で受け付けた操作に基づいて携帯端末に表示する画面を変更される説明を行ったが、ＭＦＰや携帯端末で操作を受け付けずに、ＭＦＰが表示する画面が変更された場合も、同様にＭＦＰは携帯端末に変更した画面情報を送信し、携帯端末は変更された画面を表示するようにする。また以上のフローチャートの処理により携帯端末からのＶＮＣ切断要求に応じてＶＮＣ接続を切断できる。ＶＮＣ接続を切断する際に、ＭＦＰ１１０にユーザーがログインしている状態であれば自動でログアウト処理を行うようにしても良い。他にもＶＮＣ接続を切断する際に、ＭＦＰに自動でオートクリア処理を行うようにさせても良い。オートクリア処理とは表示されている画面を初期画面に設定されている画面に戻す処理である。

以上の実施例により、あるユーザーがＶＮＣ接続の切断処理を行っていないにもかかわらず、ＶＮＣクライアントとして動作するアプリケ―ジョンをバックグラウンド状態にしていても、他のユーザーがＶＮＣ接続することができるようになる。以上の実施例では、携帯端末が自身の「優先状態」を考慮してＶＮＣ接続の要否を判断し、ＶＮＣ接続の切断要求を送信していた。これに限らず、携帯端末の「優先状態」を考慮しＶＮＣ接続の要否判断はＭＦＰ側で判断し、ＶＮＣ接続の切断を行うようにしても良い。この場合、ＭＦＰは携帯端末からアプリケ―ションをバックグラウンドにしたことを示す情報等を取得して、切断の要否を判断する。

（その他の実施例）
以上の実施例では、ＶＮＣ接続でＭＦＰが表示している画面と同一の画面を携帯端末に表示する例を示したが、これに限らない。例えばＭＦＰの画面と同じ画面を表示するのではなく、ＭＦＰの画面を拡張した画面を携帯端末で表示するような場合でも以上の実施形態は適用可能である。

さらに、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのコンピュータプログラム、及び該コンピュータプログラムを記憶した記憶媒体は本発明を構成することになる。

１００携帯端末
１１０ＭＦＰ
２０１ＣＰＵ
２０２ＲＯＭ
２０３ＲＡＭ
２０４ＨＤＤ
２０５ＲＴＣ
２０６操作パネル
２１１無線通信部
３００ＭＦＰアプリケーション

Claims

画像処理装置と通信を行う情報処理装置のコンピュータに制御方法を実行させるためのプログラムであって、
前記制御方法は、
前記画像処理装置の有する表示部に表示する画面に対応する画面であって、前記画像処理装置で表示制御された画面を表示する表示工程と、
前記プログラムが前記情報処理装置上でユーザーの操作対象として動作しなくなった状態で所定の条件を満たすと、前記表示制御を停止する指示を前記画像処理装置に送信する送信工程と、
を有することを特徴とするプログラム。
前記プログラムが前記情報処理装置上でユーザーの操作対象として動作しなくなった状態とは、前記プログラムが前記情報処理装置上でフォアグラウンドで動作しなくなった状態である
ことを特徴とする請求項１に記載のプログラム。
前記プログラムが前記情報処理装置上でユーザーの操作対象として動作しなくなった状態とは、前記プログラムがバックグラウンドで動作する状態である
ことを特徴とする請求項１又は２に記載のプログラム。
前記プログラムが前記情報処理装置上でユーザーの操作対象として動作しなくなった状態とは、前記プログラムの動作が停止した状態である
ことを特徴とする請求項１から３のいずれか一項に記載のプログラム。
前記所定の条件とは、所定時間経過することである
ことを特徴とする請求項１から４のいずれか一項に記載のプログラム。
前記表示制御を停止する指示とは、前記表示制御を行うための通信の切断である
ことを特徴とする請求項１から５のいずれか一項に記載のプログラム。
前記プログラムは前記画像処理装置に対して印刷指示又はスキャン指示を行うためのプログラムである
ことを特徴とする請求項１から６のいずれか一項に記載のプログラム。
前記表示制御は前記画像処理装置の有する表示部に表示する画面と同一の画面を、前記情報処理装置が有する表示部に表示する制御である
ことを特徴とする請求項１から７のいずれか一項に記載のプログラム。
前記情報処理装置と前記画像処理装置はＶＮＣ（ＶｉｒｔｕａｌＮｅｔｗｏｒｋＣｏｍｐｕｔｉｎｇ）接続を行い、前記表示制御はＶＮＣを用いた制御である
ことを特徴とする請求項１から８のいずれか一項に記載のプログラム。
情報処理装置と画像処理装置とを含む情報処理システムであって、
前記画像処理装置の有する表示部に表示する画面に対応する画面を前記情報処理装置が有する表示部に表示するように表示制御する表示制御部と、
前記表示制御部が表示制御する画面を表示するアプリケーションであって、前記情報処理装置上で動作するアプリケーションが、前記情報処理装置上でユーザーの操作対象として動作しなくなった状態で所定の条件を満たすと、前記表示制御部による表示制御を停止する停止手段と、
を有することを特徴とする情報処理システム。
前記アプリケーションが前記情報処理装置上でユーザーの操作対象として動作しない状態で所定の条件を満たすと、前記情報処理装置から前記画像処理装置に前記表示制御部による表示制御を停止するための指示が送信される
ことを特徴とする請求項１０に記載の情報処理システム。
前記アプリケーションが前記情報処理装置上でユーザーの操作対象として動作しない状態で所定の条件を満たすと、前記情報処理装置から前記画像処理装置に当該状態を示す情報が送信され、前記画像処理装置は当該送信された情報に基づいて前記表示制御部による表示制御を停止する
ことを特徴とする請求項１０に記載の情報処理システム。
画像処理装置と通信を行う情報処理装置であって、
前記画像処理装置の有する表示部に表示する画面に対応する画面であって、前記画像処理装置で表示制御された画面を表示する表示手段と、
前記表示制御された画面を表示するアプリケーションが前記情報処理装置上でユーザーの操作対象として動作しなくなった状態で所定の条件を満たすと、前記表示制御を停止する指示を前記画像処理装置に送信する送信手段と、
を有することを特徴とする情報処理装置。
画像処理装置と通信を行う情報処理装置が実行する制御方法であって、
前記画像処理装置の有する表示部に表示する画面に対応する画面であって、前記画像処理装置で表示制御された画面を表示する表示工程と、
前記プログラムが前記情報処理装置上でユーザーの操作対象として動作しなくなった状態で所定の条件を満たすと、前記表示制御を停止する指示を前記画像処理装置に送信する送信工程と、
を有することを特徴とする制御方法。