JP2022138660A

JP2022138660A - 情報処理装置、情報処理の制御方法、並びにコンピュータプログラム

Info

Publication number: JP2022138660A
Application number: JP2021038672A
Authority: JP
Inventors: 宏章小林; Hiroaki Kobayashi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-03-10
Filing date: 2021-03-10
Publication date: 2022-09-26
Also published as: EP4057126A1; CN115129168A; US11687168B2; US20220291757A1; KR20220127159A

Abstract

【課題】画像形成装置の操作画面を携帯端末で遠隔から操作し、文字列を入力する場合、携帯端末のソフトキーボードと画像処理装置のソフトキーボードの両方が表示されるとユーザーにとって操作しにくいという課題がある。【解決手段】画像処理装置は入力フィールドが選択された時に、遠隔操作中かどうかを判断し、その状態に応じて画像処理装置のソフトキーボードを表示するか否かを切り替える。【選択図】図７

Description

操作パネルのリモートクライアントへの表示方法に関する。

情報処理装置の操作画面を遠隔から操作するため、ＲＦＢプロトコルを用いたＶＮＣ（ＶｉｒｔｕａｌＮｅｔｗｏｒｋＣｏｍｐｕｔｉｎｇ）により、情報処理装置の操作画面を携帯端末などから操作できるようにする方法が開示されている。具体的にはＶＮＣサーバー機能を有する情報処理装置が、ＶＮＣクライアント機能を有する端末に対して、情報処理装置の操作パネルに表示されている画面の画面情報を送信する。端末は、受信した画面情報に基づき、情報処理装置の操作パネルに表示されている操作画面と同じ画面（遠隔操作画面）を端末の操作パネルに表示する。そして、端末の操作パネルの該画面上での操作に基づいて、端末は操作情報を情報処理装置に送信し、情報処理装置を遠隔操作する。

例えば携帯端末で情報処理装置の画面を遠隔操作する際、文字入力を行うために特許文献１のような方法が開示されている。特許文献１では、携帯端末が情報処理装置の画面を遠隔操作する場合、文字入力を行う指示を受け付けると携帯端末のソフトウェアキーボード（以降ソフトキーボード）を遠隔操作画面上に表示する方法が開示されている。この方法により携帯端末のソフトキーボードを用いて情報処理装置に対して文字入力を行うことができる。

特開２０１４－１３７６７１号公報

しかし、従来の方法のように情報処理装置の画面を遠隔操作する携帯端末上で携帯端末のソフトキーボードを表示する場合、ユーザビリティが低下する恐れがある。

文字入力を行う指示を受け付けると自身のソフトキーボードを表示する情報処理装置を携帯端末で遠隔操作する場合を考える。遠隔操作画面上で文字入力指示を受け付けると情報処理装置は自身のソフトキーボードを表示し、携帯端末も自身のソフトキーボードを表示するため遠隔操作画面上にはソフトキーボードが２つ表示されるようになる。これでは、視認性が悪く、ソフトキーボードが表示されることによって他の設定項目等が隠れてしまう可能性もあり操作性が低下する。特許文献１では、このような場合を考慮していない。また携帯端末のソフトキーボードは携帯端末で文字入力を行うために設計されたものであるため、装置を遠隔操作中であっても携帯端末上で文字入力をする場合は、携帯端末のソフトキーボードを使用して文字入力を行うことができるとユーザにとって良い。

以上を鑑みて本発明は、文字入力を行う指示を受け付けると自装置のソフトキーボードを表示する情報処理装置の画面を遠隔操作する端末が、端末自身のソフトキーボードを用いて文字入力を行う際のユーザの操作性を低下させないことを目的とする。

第一の表示部を有する情報処理装置であって、前記第一の表示部に表示された画面上で文字入力項目の選択操作を受け付けると前記第一の表示部に第一のソフトウェアキーボードを表示する情報処理装置であって、前記第一の表示部に表示する画面が更新するたびに、前記第一の表示部に当該更新された画面を表示し、当該更新された画面に対応する画面情報を端末に送信する送信手段を有し、前記送信手段で送信した画面情報を基に前記端末上の第二の表示部で表示された画面上で文字入力項目の選択操作を受け付け、当該選択操作情報を前記端末から受信し前記第一の表示部に表示する画面を更新する場合、前記情報処理装置は、前記端末の第二のソフトウェアキーボードを表示する指示を前記端末に送信し、前記第一の表示部に前記第一のソフトウェアキーボードが表示されないように制御することを特徴とする情報処理装置。

本発明によれば、文字入力を行う指示を受け付けると自装置のソフトキーボードを表示する情報処理装置の画面を遠隔操作する端末が端末自身のソフトキーボードを用いて文字入力を行う際のユーザの操作性を低下させない。

通信システムの構成を示す図である。携帯端末１００のハードウェア構成を示す図である。携帯端末１００のソフトウェア構成を示す図である。画像処理装置１１０のハードウェア構成を示す図である。画像処理装置１１０のソフトウェア構成を示す図である。本実施形の携帯端末１００の処理を示すフローチャートである。本実施形の画像処理装置の処理を示すフローチャートである。本実施形の携帯端末１００の操作パネルで表示されるＵＩを示す図である。本実施形の画像処理装置１１０の操作パネルで表示されるＵＩを示す図である。本実施形の携帯端末１００の操作パネルで表示されるＵＩを示す図である。本実施形の画像処理装置１１０の操作パネルで表示されるＵＩを示す図である。本実施系の携帯端末１００の処理を示すフローチャートである。本実施形の携帯端末１００の操作パネルで表示されるＵＩを示す図である。

以下、本発明を実施するための最良の形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

（実施例１）
＜本実施例におけるシステム構成＞
まず、図１を用いて、本実施例に係るシステム構成を説明する。ここでは情報処理装置の一例として携帯端末１００とＭＦＰ（ｍｕｌｔｉｆｕｎｃｔｉｏｎｐｅｒｉｐｈｅｒａｌ）１１０を例に説明を行うが、情報処理システムに含まれる装置はこれに限らない。携帯端末１００とＭＦＰ１１０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）に接続されており、互いに情報をやり取りすることが可能である。携帯端末１００はアクセスポイント１２０を介してＬＡＮに接続している。

携帯端末１００はＭＦＰ１１０を遠隔操作するためのＶＮＣ（ＶｅｒｔｕａｌＮｅｔｗｏｒｋＣｏｍｐｕｔｉｎｇ）クライアント機能を持っている。具体的には、携帯端末１００はＲＦＢ（ＲｅｍｏｔｅＦｒａｍｅＢｕｆｆｅｒ）プロトコルに対応したＶＮＣクライアントソフトを有する。携帯端末１００は、ＭＦＰ１１０に対してＶＮＣ接続を行い、ＭＦＰ１１０の操作パネルに表示された画面を携帯端末１００上に表示する。ＭＦＰ１１０はＶＮＣサーバー機能を有していて、携帯端末１００からＶＮＣ接続されると、画面情報をＶＮＣクライアントである携帯端末１００に送信する。携帯端末１００は送信された画面情報に基づいて画面を描画する。描画された画面上で受け付けた操作、ＭＦＰ１１０上で受け付けた操作に応じて携帯端末１００、ＭＦＰ１１０の表示部に表示される画面が変更されるように画面の連携が行われる。

次に図２を用いて、携帯端末１００のハードウェア構成を説明する。なお、本実施形態の携帯端末１００はスマートフォンやタブレットＰＣ等の装置を想定しているが、ＭＦＰ１１０と通信可能な情報処理装置であれば他の装置であってもよい。

ＣＰＵ２０１はＲＯＭ２０２が記憶している制御プログラムを読み出して、携帯端末１００の動作を制御するための様々な処理を実行する。ＲＯＭ２０２は、制御プログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ストレージ２０４は、例えばｅＭＭＣ、ＳＳＤ、ＨＤＤ等で写真や電子文書等の様々なデータを記憶する。また、後述するＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）３５０やＭＦＰアプリケーション３００もストレージ２０４に記憶されている。ＲＴＣ（ＲｅａｌＴｉｍｅＣｌｏｃｋ）２０５は、時間を計時する。

なお、携帯端末１００の場合、１つのＣＰＵ２０１が後述するフローチャートに示す各処理を実行するものとするが、他の態様であっても構わない。例えば、複数のＣＰＵが協働して後述するフローチャートに示す各処理を実行するようにすることもできる。

操作パネル２０６は、ユーザーのタッチ操作を検出可能なタッチパネル機能を備え、ＯＳ３５０やＭＦＰアプリケーション３００が提供する各種画面を表示する。ユーザーは操作パネル２０６にタッチ操作を入力することで、携帯端末１００に所望の操作指示を入力することができる。

スピーカー２０７とマイク２０８は、ユーザーが例えば他の携帯端末や固定電話と電話をする際に使用される。カメラ２０９はユーザーの撮像指示に応じて撮像を行う。カメラ２０９によって撮像された写真は、ストレージ２０４の所定の領域に記憶される。無線通信部２１１は、無線通信ＬＡＮ等の無線通信を実行する。

次に図３を用いて、携帯端末１００のソフトウェア構成を説明する。図３は、ＣＰＵ２０１がＲＯＭ２０２やストレージ２０４に記憶されている制御プログラムを読み出すことで実現されるソフトウェアの機能ブロック図である。

ＯＳ３５０は、携帯端末１００全体の動作を制御するためのソフトウェアである。携帯端末１００には、後述するＭＦＰアプリケーション３００を含め、様々なアプリケーションをインストールすることができる。ＯＳ３５０はこれらのアプリケーションとの間で情報をやり取りし、アプリケーションから受けた指示に従って、操作パネル２０６に表示する画面を変更行う。また、ＯＳ３５０は、各種ハードウェアを制御するためのデバイスドライバ群を備えており、ＯＳ上で動作するアプリケーションに対して各種ハードウェアを利用する為のＡＰＩを提供する。デバイスドライバ群として本実施例では、例えば無線ＬＡＮ制御部３５１が相当する。無線ＬＡＮ制御部３５１は無線通信部２１１を制御するためのデバイスドライバである。

ＭＦＰアプリケーション３００は、携帯端末１００にインストールされたアプリケーションである。ＭＦＰアプリケーションからＭＦＰ１１０に対して印刷指示やスキャン指示を行うことができる。さらに上述したようにＶＮＣクライアントとして動作し、ＭＦＰ１１０の操作画面を表示し、ＭＦＰ１１０を遠隔操作する機能も有する。携帯端末１００には、ＭＦＰアプリケーション３００の他に様々なアプリケーションがインストールされていてもよいが、ここでは説明を省略する。

ＭＦＰアプリケーション３００の構成についてさらに詳しく説明する。画面制御部３０１は、ＯＳ３５０を介して操作パネル２０６に表示する画面を制御する。画面制御部３０１によって、ＭＦＰアプリケーションの画面が操作パネル２０６に表示される。また、画面制御部３０１は、操作パネル２０６を介してユーザーが入力した操作指示を受け付ける。通信部３０２は、ＯＳ３５０を介して、無線通信部２１１による無線通信を制御し、ＭＦＰ１１０等の外部装置と情報の送受信などを行う。

デバイス検索制御部３１１は、携帯端末１００が接続する外部装置を探索する探索用データを生成し、無線通信部２１１によってＬＡＮ１０上の装置に送信される。そして該当探索に応答する外部装置からのレスポンスを受信する。探索用データは、ＬＡＮ１０上のすべての外部装置に対してブロードキャストする場合もあるし、１台の外部装置に対して、アドレスを指定して送信する場合もある。

印刷ジョブ生成部３０５は、印刷ジョブを生成する。印刷ジョブ生成部３０５によって生成された印刷ジョブは、無線通信部２１１によってＭＦＰ１１０に送信され、ＭＦＰ１１０は受信した印刷ジョブに応じて印刷を実行する。

スキャンジョブ制御部３０７は、無線通信部２１１を介してＭＦＰ１１０にスキャン指示を送信し、ＭＦＰ１１０は当該指示に基づいてスキャンを実行し、スキャンして生成したデータ（スキャンデータ）を携帯端末１００に送信する。携帯端末１００は受信したスキャンデータを表示する。スキャンデータを保存する場合は、記憶部３０６に記憶される。記憶されたスキャンデータは、ドキュメント管理部３０８によって管理される。

遠隔操作部３１３は、ＶＮＣ接続しているＭＦＰ１１０から取得した画面情報を基に画面表示し、表示した画面上での操作を受け付ける。つまりＶＮＣクライアントとして動作する。具体的にはＶＮＣサーバーから受信した画面情報を基に画面を表示し、表示した画面上で受け付けた操作の位置や操作の種類等を含む操作情報をＭＦＰ１１０に送信する。ＭＦＰ１１０は受信した操作情報を基に、ＭＦＰ１１０に表示する画面、携帯端末１００が表示している画面を変更する。アプリ記憶部３０６は、ＭＦＰアプリケーション３００で生成した様々な情報を一時的に記憶する。計時部３０４は、時間を計時する。

図４は、ＭＦＰ１１０のハードウェア構成の一例を示したものである。ＭＦＰ１１０は、ＲＯＭ３０３０あるいは、例えばハードディスクなどの大規模記憶装置３１１０に記憶されたプログラムを実行するＣＰＵ３０２０を備え、ＣＰＵ３０２０はシステムバス３０１０に接続される各デバイスを総括的に制御する。

３０４０はＲＡＭで、ＣＰＵ３０２０の主メモリ、ワークエリア等として機能する。３０６０は外部入力コントローラー（ＰＡＮＥＬＣ）で、複合機に備えられた各種ハードキー３１２０あるいはタッチパネル（ＰＡＮＥＬ）３０７０から等からの指示入力を制御する。３０８０はディスプレイコントローラー（ＤＩＳＰＣ）で、例えば液晶ディスプレイなどで構成される表示モジュール（ＤＩＳＰＬＡＹ）３０９０の表示を制御する。３１１０はディスクコントローラー（ＤＫＣ）で、大規模記憶装置（ＨＤ）３１１０を制御する。

図９の９００を用いてＭＦＰ１１０の操作部に関する説明を行う。ＤＩＳＰＬＡＹ３０９０に画面が表示され、ＤＩＳＰＬＡＹ３０９０の隣にハードキー３１２０が配置される。ＤＩＳＰＬＡＹ３０９０上のタッチパネル３０７０、ハードキー３１２０の両方でユーザー操作を受付可能である。ハードキー３１２０であるログアウトキー９０１は、ユーザーがＭＦＰ１１０にログインしている状態で押下すると、ＭＦＰ１１０に対してログアウト処理の指示を行うためのボタンである。

３０５０はネットワークインタフェースカード（ＮＩＣ）で、ネットワーク１０を介して、外部装置（例えば携帯端末１００）あるいはファイルサーバ等と双方向にデータをやりとりする。３４００は無線通信モジュールであり、アクセスポイントと接続することや、またはアクセスポイントモードで動作することで、ＭＦＰ１１０をアクセスポイントとして動作させ、携帯端末１００と直接無線通信接続することができる。３２００はプリンターであり、電子写真方式で実現される紙への印字部である。印字方式は、特に電子写真方式でなくてもよい。３３００はスキャナーであり、紙に印字された画像を読み込むための画像読み取り部である。多くの場合、画像読み取り部３３００にはオプションとしてＡＤＦ（オートドキュメントフィーダ）（不図示）が装着されており、複数枚の原稿を自動的に読み込むことができる。なお、大規模記憶装置３１１０は、場合によっては画像の一時記憶場所としても使われることがある。

図５はＭＦＰ１１０のソフトウェア構成を示すブロック図である。本ソフトウェアは、例えばＲＯＭ３０３０に格納され、ＣＰＵ３０２０によって実行される。

ＵＩ処理部５１０は、外部入力コントローラー３０６０からの入力、または後述する操作情報受信部５２２から受け取った操作情報を解析し、画面変更が必要である場合には、画面データを生成して、ＤＩＳＰＬＡＹ３０９０に表示する。

ＤＩＳＰＬＡＹ３０９０には、図９に示すように種々の画面が表示される。例えばキーボードログイン画面９１０や、ほかにもログイン中に表示されるメニュー画面９３０、エラー発生時に表示されるエラー画面（不図示）、カウンタ情報などを表示するカウンタ画面（不図示）などが表示される。ＭＦＰ１１０がスリープ中にはＤＩＳＰＬＡＹ３０９０は非表示状態となる。

キーボードログイン画面９１０は、ユーザー情報をキーボードで入力することでＭＦＰ１１０にログインするための画面である。ハードキー３１２０または、ソフトキーボード（後述）を使用して、ユーザー名入力欄９１１、パスワード入力欄９１２を入力し、ログインボタン９１３を押下することでログイン処理を行う。各ユーザにはロールが割り当てられており、ログインしたユーザによって利用できる機能の権限が異なる。ＭＦＰ１１０はプリント機能を少なくとも含む複数の機能を有する複合機であるため、ログインしたユーザによって利用できる機能が異なる構成をとることも可能である。ＩＤカードログイン切り替えボタン９１４を押下すると、ＩＤカードログイン画面（不図示）に表示が切り替わる。

メニュー画面９３０は、キーボードログイン画面９１０やＩＤカードログイン画面を介してＭＦＰ１１０にログインした後に表示されるメニュー画面である。ユーザーが用途に応じて、コピーボタン９３１、スキャンボタン９３２、またはプリントボタン９３３を押下することでＭＦＰ１１０の各種機能を利用できる。ユーザーがログアウトボタン９３４を押下すると、ログアウト処理が行われる。

遠隔操作処理部５２０は、接続処理部５２３、操作情報受信部５２２、画面送信部５２１の各モジュールを含む。遠隔操作処理部５２０は、ＲＦＢプロトコルによる通信をおこなうＶＮＣサーバーモジュールであり、ＶＮＣクライアントとして動作する携帯端末１００とネットワークを介して通信するソフトウェアモジュールである。接続処理部５２３は、ＭＦＰ１１０やＶＮＣクライアントである携帯端末１００からの接続要求を受け付けた場合に接続処理を行い、接続の切断要求を受け付けた場合に切断処理を行う。

操作情報受信部５２２は、携帯端末１００、ＭＦＰ１１０から画面の操作情報を受信し、ＵＩ処理部５１０に通知する。画面送信部５２１は、ＵＩ処理部５１０が生成した画面データをＲＡＭ３０４０から読み取って、ＶＮＣクライアントである携帯端末１００に送信するなどして画面の表示制御を行う表示制御部である。

ログイン処理部５３０は、ＭＦＰ１１０のログイン処理を行うモジュールであり、ＵＩ処理部から受け付けたユーザー情報等に基づいて、ユーザー認証を行い、ユーザー認証に成功するとログインを行う。また、ＵＩ処理部５１０等からログアウトの指示を受け付けた場合は、ログアウト処理を行う。ネットワーク制御部５００はネットワークＩ／Ｆ３０５０を制御するためのモジュールである。その他に図示していないが、プリンター３２００を制御するプリンタモジュール、スキャナー３３００を制御するスキャナモジュールも存在する。

図８は、携帯端末１００の操作パネル２０６に表示する画面の一例である。携帯端末１００を起動すると、ホーム画面８１０が表示される。ＭＦＰアプリケーションアイコン８１１はＭＦＰアプリケーション３００を起動するためのアイコンであり、ＭＦＰアプリケーションアイコン８１１が操作されると、ＭＦＰアプリケーション３００が起動する。

ＭＦＰアプリケーション３００が起動されると、アプリホーム画面（デバイス未選択）８２０が表示される。選択デバイスアイコン８２１は、現在ＭＦＰアプリケーション３００が通信しているＭＦＰ、ジョブの送信対象としているＭＦＰ（以降、対象ＭＦＰ）の情報が表示される。対象ＭＦＰが設定されていない場合は、「ＮｏＰｒｉｎｔｅｒ」と表示されている。デバイス検索ボタン８２３は、対象ＭＦＰを検索するボタンである。リモートオペレーションボタン８２２は、対象ＭＦＰとＶＮＣ接続し対象ＭＦＰを遠隔操作するためのボタンである。アプリホーム画面８２０には、これら以外にも対象ＭＦＰに印刷ジョブを送信するためのプリントボタン８２４や、スキャン指示するためのボタンが表示されていても良い。

デバイス検索ボタン８２３が押下されると、ネットワーク内に存在するＭＦＰの検索が実行され、検索結果としてデバイス検索画面８３０が表示される。デバイス検索画面８３０には、検索に応答したＭＦＰの一覧が表示される。例えば検索結果の１つである検索結果８３１を選択することで、対象ＭＦＰが選択される。

対象ＭＦＰが選択されると、アプリホーム画面（デバイス選択済）８４０が表示される。選択デバイスアイコン８２１には、デバイス検索画面８３０で選択されたＭＦＰに関する情報が表示されている。対象ＭＦＰが選択された状態で、ユーザーがリモートオペレーションボタン８２２をタップすると、対象ＭＦＰの遠隔操作機能が開始される。ここで、対象ＭＦＰはＭＦＰ１１０であるとして以下の説明を行う。

遠隔操作機能が開始されると、デバイス接続中画面８５０が表示される。ＶＮＣ接続が完了し、遠隔操作機能が確立すると、ＭＦＰ１１０のＤＩＳＰＬＡＹ３０９０に表示されている画面が操作パネル２０６に表示される。ここでは、キーボードログイン画面９１０と同一の画面、キーボードログイン画面８６０が表示される。画面内容はＭＦＰ１１０のキーボードログイン画面９１０と同一であるため説明は省略する。またＭＦＰ１１０がＩＤカードログイン画面を表示していた場合は、ＩＤカードログイン画面が表示される。

キーボードログイン画面８６０でログイン指示が行われると、メニュー画面９３０と同一のメニュー画面（ハードキー非表示）画面８７０が表示される（同様にＤＩＳＰＬＡＹ３０９０にもメニュー画面９３０が表示される）。

ハードキー表示ボタン８５１がタップされると、メニュー表示画面（ハードキー表示）８７５が表示される。つまりＭＦＰ１１０のハードキー３１２０の各キーの処理を割り当てたソフトウェアキーボードが表示される。ハードキーＵＩ８７７は、ＭＦＰ１１０のハードキー３１２０を操作するためのＵＩであり、ハードキーＵＩ８７７に表示されているボタンをタップすると、押下したキー情報がＭＦＰ１１０に送信され、押下したキーに基づいてＭＦＰ１１０は処理を行う。ＭＦＰ１１０のログアウトキー９０１に対応するログアウトキー８７９が押下されると、ＭＦＰ１１０からログアウトする。またハードキーＵＩ８７７上にある終了ボタン８７８がタップされると、遠隔操作機能を終了、つまりＶＮＣ接続を終了する。ＶＮＣ接続を終了すると操作パネル２０６にはアプリホーム画面（デバイス選択済）８４０が表示される。

本実施例の概要を図１０、１１を用いて行う。ＭＦＰ１１０でキーボードログイン画面９１０を表示している場合、ＤＩＳＰＬＡＹ３０９０上で文字入力フィールド（例えばユーザー名入力欄９１１）をタッチするとＤＩＳＰＬＡＹ３０９０上にＭＦＰ１１０のソフトキーボードが表示される。つまりテキスト入力画面１１１０が表示される。

ここで携帯端末１００の操作パネル２０６にＭＦＰ１１０のＤＩＳＰＬＡＹ３０９０に表示されている画面と同じ画面を表示し、ＭＦＰ１１０を携帯端末１００から遠隔操作する場合を考える。例えば携帯端末１００上でログイン画面８６０を表示している際（この時ＭＦＰ１１０はキーボードログイン画面９１０を表示している）、操作パネル２０６上でユーザー名入力欄９１１をタッチすると、操作情報がＭＦＰ１１０に送信されＭＦＰ１１０は当該操作情報に応じた処理を行う。ここではＭＦＰ１１０は携帯端末１００に対して、携帯端末１００のソフトキーボードを表示するように指示を出すとともに、ＤＩＳＰＬＡＹ３０９０にＭＦＰ１１０のソフトキーボードは表示しないようにする。そして、ＭＦＰ１１０のソフトキーボードが表示された画面の画面情報が携帯端末１００に送信されないように制御を行う。その結果、携帯端末１００は携帯端末１００のソフトキーボード１００２とＤＩＳＰＬＡＹ３０９０に表示されている画面と同じ画面１００１とが含まれるログイン初期画面１０００を表示し、ＭＦＰ１１０はログイン画面９１０を表示したままとなる。この時、ＭＦＰ１１０がユーザー名入力欄９１１をタッチされたことで、ＤＩＳＰＬＡＹ３０９０にＭＦＰ１１０のソフトキーボードを表示してしまうと携帯端末１００の操作パネル２０６にはＭＦＰ１１０のソフトキーボードと携帯端末１００のソフトキーボードの２つのソフトキーボードが表示されてしまう。これでは、視認性や操作性が低下してしまう。例えばＤＩＳＰＬＡＹ３０９０に表示する画面がキーボードログイン画面９１０からソフトキーボードを表示つまりテキスト入力画面１１１０表示に切り替えると、キーボードログイン画面９１０で表示されていたパスワード入力欄９１２がテキスト入力画面１１１０では非表示となってしまう。視認性、操作性を低下させないためにＭＦＰ１１０は遠隔操作中であれば、文字入力フィールド（例えばユーザー名入力欄９１１）が選択されたとしてもＭＦＰ１１０のソフトキーボードを表示せず、ＭＦＰ１１０のソフトキーボードを表示した画面を送信しないようにする。ここで、携帯端末１００のソフトキーボード１００２は携帯端末１００上で動作する複数のアプリケーションで共通して利用されるソフトキーボードであっても良いし、携帯端末１００のオペレーティングシステムが有するソフトキーボードや各アプリ固有のソフトキーボードであっても良い。

図６は、携帯端末１００が、ＭＦＰ１１０とＶＮＣ接続し、遠隔操作を行なった後にＶＮＣ通信を切断するまでの処理を示すフローチャートである。図６のフローチャートに示す各ステップは、ＣＰＵ２０１がＲＯＭ２０２等のメモリに格納された制御プログラムをＲＡＭ２０３に展開して実行することによって処理される。

ステップＳ６０１では、ホーム画面８１０で、アイコン８１１がタップされたことを検知すると、ＭＦＰアプリケーション３００が起動する。ステップＳ６０２では、アプリホーム画面８２０（デバイス未選択）でデバイス検索ボタン８２３がタップされたことを画面制御部３０１が検知してＭＦＰ検索を実行する。ステップＳ６０３では、デバイス検索画面８３０でＭＦＰが選択されたかどうかを判別し、選択された場合は、アプリホーム画面（デバイス選択済）８４０に画面を遷移させ、ステップＳ６０４にすすむ。そうでない場合はＳ６０３に戻る。

ステップＳ６０４では、アプリホーム画面（選択済）８４０で、リモートオペレーションボタン８２２が選択されたかどうかを判別し、選択された場合は、ステップＳ６０５に進み、そうでない場合はステップＳ６０４に戻る。

ステップＳ６０５では、Ｓ６０４で選択されたＭＦＰに対し、ＲＦＢプロトコルによる接続要求を行う。そして、ステップＳ６０６では、接続要求が受け付けられたかどうかを判別し、受け付けられた場合は、ステップＳ６０７に進み、受け付けられなかった場合はステップＳ６１９に進む。接続の受け付けの可否については、接続要求のレスポンスデータによって判断される。ステップＳ６１９では、接続拒否エラー画面８８０を画面制御部が表示し、処理を終了する。

ステップＳ６０７では、ＲＦＢプロトコルにおける初期化処理を行う。初期化処理では、遠隔操作部３１３はＶＮＣクライアント情報の送信と、ＶＮＣサーバー情報の受信を行う。クライアント情報は端末種別が含まれている。端末種別については、ＯＳ３５０から取得しＲＡＭ２０４に保持している。端末種別には、ＯＳ名、ＯＳバージョン、端末名などが含まれる。ステップＳ６０８では、遠隔操作部３１３はＶＮＣサーバーつまり、ＭＦＰ１１０から送信されたデータを受信する。

ステップＳ６０９では、遠隔操作部３１３はＳ６０８で受信したデータが画面データかどうかを判断する。画面データであった場合はステップＳ６１０に進み、受信したデータが携帯端末１００のソフトキーボードを表示することを指示する情報であった場合はステップＳ６１１に進む。

ステップＳ６１０では、画面制御部３０１がステップＳ６０９で受信した画面データを基に操作パネル２０６に画面を描画する。例えば、ディスプレイ３０９０に表示されている画面がログイン画面９１０であれば、ログイン画面８６０が操作パネル２０６に表示される。そしてＳ６１２に進む。

ステップＳ６１１では、画面制御部３０１が携帯端末１００が有するソフトキーボードの表示を行う。例えば、ディスプレイ３０９０に表示されている画面がログイン画面８６０であれる状態で、ユーザー名入力欄９１１をタッチするとログイン初期画面１０００が操作パネル２０６に表示される。そしてＳ６１２に進む。

ステップＳ６１２では、画面制御部３０１は操作パネル２０６からユーザの入力操作を受け付けたかどうかを判別し、受け付けた場合は、ステップＳ６１３に進み、そうでない場合はＳ６１２の処理を繰り返す。

ステップＳ６１３では、画面制御部３０１はＳ６１１で表示したソフトキーボードに入力操作があったかどうかを判断する。ソフトキーボードに入力操作があった場合にはステップＳ６１４に進み、そうでない場合にはステップＳ６１５に進む。

ステップＳ６１４では、画面制御部３０１はソフトキーボードで入力のあった文字に対応する文字入力情報（ＡＳＣＩＩ情報）を画像処理装置１１０に送信し、１文字送信するたびに、ステップＳ６０８に進む。例えば、ソフトキーボードの”ｕ”が押されれば”１１７”を、”ＢａｃｋＳｐａｃｅ”が押されれば”８”を画像処理装置１１０に送信することとなる。ログイン初期画面１０００にて、ソフトキーボードで”ｕ”、”ｓ”、”ｅ”、”ｒ”、”１”を押下すると、入力中ログイン画面１０２０が操作パネル２０６に表示される。ここでは一文字入力するたびにＭＦＰ１１０に文字入力情報を送信する例を示したが、これに限らず、文字列を入力して「確定キー」が選択された際に、入力されている文字入力情報をまとめて送信するようにしても良い。つまり１文字入力されるたびに文字情報を送信するのではなく、「確定キー」が押下された際に、複数の文字情報を送信するようにする。

ステップＳ６１５では、遠隔操作部３１３は接続終了ボタン８７８を押下されたかどうか判別する。接続終了ボタン８７８を押下された場合は、ステップＳ６１８に進み、そうでない場合は、Ｓ６１６に進む。

ステップＳ６１６では、Ｓ６１１でソフトキーボードを表示していた場合、ソフトキーボードを非表示にする。入力中ログイン画面１０２０にて、ソフトキーボードと終了ボタン以外の領域にユーザーがタッチ操作を行うと、ログイン画面（入力済）１０３０が操作パネル２０６に表示される。

ステップＳ６１７では、遠隔操作部３１３はタッチ位置情報を画像処理装置１１０に送信する。そしてＳ６０８に進む。

ステップＳ６１８では、遠隔操作部３１３はＶＮＣの切断処理を行い、処理を終了する。

以上のフローチャートの処理により、携帯端末１００はＭＦＰ１１０から送信される画面情報を基に画面表示を行い、ＭＦＰ１１０を遠隔操作できる。またＭＦＰ１１０の遠隔操作において文字入力を行う場合は、携帯端末１００のソフトキーボードを表示するので、ユーザは携帯端末１００で使い慣れたソフトキーボードを用いてＭＦＰ１１０に対する文字入力を行うことができる。またＳ６１６，Ｓ６１７で携帯端末１００が携帯端末１００ソフトキーボードを表示している場合に操作を受け付けた場合はソフトキーボードを非表示としてからタッチ位置情報をＭＦＰ１１０に送信するようにしていた。しかし、携帯端末１００がソフトキーボードを表示している場合に操作を受け付けた場合はソフトキーボードを非表示とするだけでタッチ位置情報をＭＦＰ１１０に送信しないようにしても良い。

次に図７を用いてＶＮＣで携帯端末１００と画面連携する際のＭＦＰ１１０の処理に関して説明を行う。図７のフローチャートに示す各ステップは、ＣＰＵ３０２０がＲＯＭ３０３０等のメモリに格納された制御プログラムをＲＡＭ３０４０に展開して実行することによって処理される。

ステップＳ７０１では、ＶＮＣクライアントである携帯端末１００からＶＮＣ接続要求があるかどうかを接続判断部５２３が判別し、接続要求があった場合はステップＳ７０２に進む。接続要求がない場合は、ステップＳ７０１に戻る。ステップＳ７０２では、接続判断部５２３がネゴシエーション処理を行いＶＮＣクライアントと接続を行う。ステップＳ７０３では、接続判断部５２３が初期化処理を行い、クライアント情報の受信とサーバー情報の送信を行う。

ステップＳ７０４では、画面送信部５２１はＤＩＳＰＬＡＹ３０９０に表示されている画面に対応する画面情報をＶＮＣクライアントである携帯端末１００に送信する。Ｓ７０４の処理はユーザ操作等でＤＩＳＰＬＡＹ３０９０に表示されている画面が更新されるたびに実行されるものとする。

ステップＳ７０５では、携帯端末１００から情報を受信したかどうかを判別し、受信した場合は、ステップＳ７０６に進み、そうでない場合は、ステップＳ７０４に戻る。

ステップＳ７０６では、操作情報受信部５２２はステップＳ７０５で携帯端末１００から受信した情報が文字入力情報かどうかを判断する。文字入力情報報だった場合はステップＳ７１４へ進み、そうでない場合はステップＳ７０７へ進む。

ステップＳ７０７では、操作情報受信部５２２はＳ７０５で受信したタッチ位置情報が文字入力フィールド（例えばユーザー名入力欄９１１）へのタッチ操作であったかどうかを判断する。文字入力フィールドへのタッチ操作と判断した場合はステップＳ７０８に進み、そうでない場合はＳ７１２へ進む。

ステップＳ７０８では、操作情報受信部５２２は携帯端末１００からの文字入力を受け付ける文字列入力モードとして動作するようＲＡＭ２０３に情報を保存する。

ステップＳ７０９では、ＭＦＰ１１０はＶＮＣクライアントである携帯端末１００に対して携帯端末１００自身のソフトキーボードを表示し使用するように指示する通知を送信する。

ステップＳ７１０でＵＩ処理部５１０はＤＩＳＰＬＡＹ３０９０にソフトキーボードを表示しないように制御し、画面送信部５２１はソフトキーボードを表示した画面の画面情報を携帯端末１００に送信しない。つまり、ＶＮＣ接続している端末を介してユーザー名入力欄９１１をタッチされたとしてもＭＦＰ１１０はＤＩＳＰＬＡＹ３０９０に自身のソフトウェアキーボードを表示せず、ソフトキーボードを表示した画面を送信しない。ここでは、ＭＦＰ１１０はＤＩＳＰＬＡＹ３０９０に自身のソフトウェアキーボードを表示せず、ソフトキーボードを表示した画面を送信しない例を示したが、ＤＩＳＰＬＡＹ３０９０には自身のソフトウェアキーボードを表示して、ソフトキーボードを表示した画面の画面情報は携帯端末１００に送信しないような構成であっても良い。

ソフトキーボードを表示した画面の画面情報は携帯端末１００に送信しないような構成とは例えば、ＤＩＳＰＬＡＹ３０９０に表示された画面がソフトキーボードを表示する画面に更新されたとしても、Ｓ７０４で更新された画面の画面情報を携帯端末１００に送信しない構成や、選択操作された文字入力項目にカーソルがあたった状態のソフトキーボードを表示していない画面の画面情報をＳ７０４で携帯端末１００に送信する構成等が考えられる。

ここではＭＦＰ１１０が遠隔操作されているためＭＦＰ１１０は自装置のソフトキーボードを表示しないようにしているが、ＭＦＰ１１０が遠隔操作されていない時にユーザー名入力欄９１１がタッチされた場合は、ＭＦＰ１１０は自身のソフトウェアキーボードをＤＩＳＰＬＡＹ３０９０に表示する。そして、テキスト入力画面１１１０にて、”ｕｓｅｒ１”と入力があるとＤＩＳＰＬＡＹ３０９０には、入力中テキスト入力画面１１２０のように表示される。また、その後ＯＫボタン１１２１が押下されると、ソフトキーボードは非表示となりＤＩＳＰＬＡＹ３０９０には、入力済みログイン画面１１３０のように表示される。

ステップＳ７１２では、操作情報受信部５２２はＳ７０５で受信したタッチ位置情報、操作情報等を元に、処理を実行する。ここで処理とは、例えばＤＩＳＰＬＡＹ３０９０に表示している画面を遷移する処理などである。

ステップＳ７１３では、操作情報受信部５２２は文字列入力モードが有効になっておる場合は文字列入力モードを無効にし、その情報をＲＡＭ２０３に保存する。なお、Ｓ７０７／／Ｓ７１２／Ｓ７１３は、クライアントからデータを受信した際のみではなく、タッチパネル（ＰＡＮＥＬ）３０７０からユーザーの入力を受けた場合も実行される共通処理である。

ステップＳ７１４では、操作情報受信部５２２は入力文字列モードとして動作しているかどうか判断する。動作している場合は、ステップＳ７１５に進み、そうでない場合はステップＳ７１６へ進む。

ステップＳ７１５では、ＵＩ処理部５１０はＳ７０５で受信した文字入力情報を元にテキストフィールドに文字列を入力する。例えば、文字入力情報が”１１７”の場合は、”ｕ”をテキストフィールドに表示する。そしてＳ７０４の画面転送処理で”ｕ”をテキストフィールドに表示された画面が携帯端末１１０に表示されるようになる。つまり携帯端末１１０上で入力された文字がリアルタイムでＤＩＳＰＬＡＹ３０９０に反映され、当該反映した画面を携帯端末１１０は表示する。この時、ＭＦＰ１１０のＤＩＳＰＬＡＹ３０９０にはソフトキーボードが表示されていないが、携帯端末１１０上で入力された文字はＩＳＰＬＡＹ３０９０に表示されるようになる。ここでは、Ｓ７０５で受信した文字入力情報を元にテキストフィールドに文字列を入力する例を示したが、文字入力情報を受信したとしてもテキストフィールドに文字列を反映させないようにしても良いし、ユーザが識別不可能な表示形態（例えば＊マーク）で反映するようにしても良い。ＭＦＰ１１０を遠隔操作しているにも関わらず、ＭＦＰ１１０のＤＩＳＰＬＡＹ３０９０に文字列が表示されてしまうとセキュリティ的に問題があるためである。

ステップＳ７１６では、操作情報受信部５２２はＶＮＣの切断要求があるかどうかを判別し、切断要求がある場合はステップＳ７１７にすすみ、そうでない場合はステップＳ７０４に戻る。

ステップＳ７１７では、接続処理部５２３はＶＮＣの切断処理を行い、ＶＮＣ接続を終了する。

以上のフローチャートではＭＦＰ又は、携帯端末上で受け付けた操作に基づいて携帯端末に表示する画面を変更される説明を行ったが、ＭＦＰや携帯端末で操作を受け付けずに、ＭＦＰが表示する画面が変更された場合も、同様にＭＦＰは携帯端末に変更した画面情報を送信し、携帯端末は変更された画面を表示するようにする。以上のフローチャートの処理により、ＭＦＰは文字入力項目が選択操作された際に、遠隔操作されている場合は、ＭＦＰのソフトウェアキーボードを表示せず、ＭＦＰのソフトウェアキーボードを表示した画面の画面情報を携帯端末に送信しないように制御できる。つまりＭＦＰは文字入力項目が選択操作を受け付け、当該選択操作情報を受信した場合、ＭＦＰのソフトウェアキーボードを表示しない。ＶＮＣクライアントである端末で端末自身のソフトウェアキーボードを使用して文字入力を行う場合に、ＭＦＰのソフトウェアキーボードを非表示とするので、遠隔操作している画面の視認性が良くなる。仮にＶＮＣ接続中に端末自身のソフトウェアキーボードを表示しているにも関わらず、ＭＦＰのソフトウェアキーボードを表示するようにしてしまうと、他の入力項目が隠れてしまったりする。特にテキスト入力画面１１１０のように文字入力項目を選択すると、ソフトウェアキーボード専用の画面に遷移するような形態であると、遷移を戻す手間なども発生してしまう。

以上の例では、ＶＮＣ接続中は画像形成装置のソフトウェアキーボードを非表示とする例を示したが、ＶＮＣクライアント装置によっては自身のソフトウェアキーボードを表示できない場合もある。よって、ＶＮＣクライアント装置が自身のソフトウェアキーボードを表示できる場合のみ画像形成装置は自身のソフトキーボードを非表示とするようにしても良い。例えば、ＶＮＣクライアントが自身のソフトキーボードを表示できないエラーが発生している場合、当該エラー情報がＶＮＣクライアント端末から画像形成装置に通知される。またＶＮＣクライアント装置が自身のソフトウェアキーボードを表示できるか否かはＶＮＣクライアント装置から受信するクライアント情報等から判断しても良い。

（実施例２）
実施例１では、画像処理装置から携帯端末に対してソフトキーボード表示指示を送信し、携帯端末で携帯端末のソフトキーボードを表示し、文字入力を行う方法を説明した。しかし、携帯端末における文字入力方法はソフトキーボードだけではなく、音声入力が可能なものもある。

そこで、本実施例では携帯端末の音声入力機能を用いてＶＮＣ接続しているＭＦＰに対して文字入力を行う例を示す。基本構成は実施例１と同じであるため差分のみ示す。

図１３は、本実施例における携帯端末１００が、画像処理装置１１０とＲＦＢプロトコルでＶＮＣ接続し、画面表示や音声入力受付をし、ＶＮＣ接続を終了するまでの処理を示すフローチャートである。図１３のフローチャートに示す各ステップは、ＣＰＵ２０１がＲＯＭ２０２等のメモリに格納された制御プログラムをＲＡＭ２０３に展開して実行することによって処理される。また、図６と同じ処理である箇所の説明は、省略する。

ステップＳ１２０１では遠隔操作部３１３は、音声入力の待ち受けを行う。例えば、ディスプレイ３０９０に表示されている画面がログイン画面９１０であれば、ログイン初期画面１３００を操作パネル２０６に表示される。ここで、音声入力とは、マイク（２０８）に入力のあったユーザーの声を文字列に変換する機能である。

ステップＳ１２０２では、遠隔操作部３１３は音声入力があったかどうかを判断する。音声入力があった場合にはステップＳ１２０３に進み、そうでない場合にはステップＳ６１５に進む。

ステップＳ１２０３では、遠隔操作部３１３は音声入力のあった文字に対応するＡＳＣＩＩ情報を画像処理装置１１０に送信する。例えば、”ｕ”が入力されれば”１１７”送信することとなる。ログイン初期画面１３００にて、ソフトキーボードで”ｕ”、”ｓ”、”ｅ”、”ｒ”、”１”を入力すると、入力中ログイン画面１３２０が操作パネル２０６に表示される。

ステップＳ１２０４では、音声入力受付を解除する。入力中ログイン画面１３２０にて、終了ボタン以外の領域にユーザーがタッチ操作を行うと、ログイン画面（入力済）１０３０が操作パネル２０６に表示される。

以上のフローチャートの処理により、携帯端末の音声入力機能を用いて、ＶＮＣ接続している装置に対して文字入力を行うことができる。

（その他の実施例）
以上の実施例では、ＶＮＣ接続でＭＦＰが表示している画面と同一の画面を携帯端末に表示する例を示したが、これに限らない。例えばＭＦＰの画面と同じ画面を表示するのではなく、ＭＦＰの画面を拡張した画面を携帯端末で表示するような場合でも以上の実施形態は適用可能である。

さらに、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのコンピュータプログラム、及び該コンピュータプログラムを記憶した記憶媒体は本発明を構成することになる。

Claims

第一の表示部を有する情報処理装置であって、前記第一の表示部に表示された画面上で文字入力項目の選択操作を受け付けると前記第一の表示部に第一のソフトウェアキーボードを表示する情報処理装置であって、
前記第一の表示部に表示する画面が更新するたびに、前記第一の表示部に当該更新された画面を表示し、当該更新された画面に対応する画面情報を端末に送信する送信手段を有し、
前記送信手段で送信した画面情報を基に前記端末上の第二の表示部で表示された画面上で文字入力項目の選択操作を受け付け、当該選択操作情報を前記端末から受信し前記第一の表示部に表示する画面を更新する場合、前記情報処理装置は、前記端末の第二のソフトウェアキーボードを表示する指示を前記端末に送信し、前記第一の表示部に前記第一のソフトウェアキーボードが表示されないように制御する
ことを特徴とする情報処理装置。
前記送信手段で送信した画面情報を基に前記端末上の第二の表示部で表示された画面上で受け付けた操作に対応する操作情報を受信した前記情報処理装置は、当該操作情報に対応する処理を行い、前記第一の表示部に表示する画面を更新し、前記送信手段は更新した画面に対応する画面情報を前記端末に送信する
ことを特徴とする請求項１に記載の情報処理装置。
前記第二のソフトウェアキーボードは前記端末上で動作する複数のアプリケーションで利用されるソフトウェアキーボードである
ことを特徴とする請求項１又は２に記載の情報処理装置。
前記送信手段で送信した画面情報を基に前記端末上の第二の表示部で表示された画面上で文字入力項目の選択操作を受け付け、当該選択操作情報を前記端末から受信した際、前記端末が前記端末のソフトウェアキーボードを表示できる場合は、前記送信手段は前記第一のソフトウェアキーボードを表示していない画面に対応する画面情報が前記端末に送信し、前記端末が前記端末のソフトウェアキーボードを表示できない場合は、前記送信手段は前記第一のソフトウェアキーボードを表示した画面に対応する画面情報を前記端末に送信する
ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
前記端末が前記端末のソフトウェアキーボードを表示できない場合とは、前記端末においてソフトウェアキーボードを表示できないエラーが発生した場合である
ことを特徴とする請求項４に記載の情報処理装置。
前記送信手段で送信した画面情報を基に前記端末上の第二の表示部で表示された画面は、前記第一の表示部に表示されている画面と同じ画面である
ことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
前記文字入力項目は前記情報処理装置にログインするためのユーザー情報を入力する項目である
ことを特徴とする請求項１から６のいずれか一項に記載の情報処理装置。
前記端末で前記第二のソフトウェアキーボードを介して文字の入力を受け付けるたびに、前記情報処理装置は当該入力された文字情報を受信し、当該文字が入力された画面を前記第一の表示部に表示する
ことを特徴とする請求項１から７のいずれか一項に記載の情報処理装置。
前記文字が入力された画面とは、ユーザーが識別不可能な状態で前記文字が文字入力フィールドに入力された画面である
ことを特徴とする請求項８に記載の情報処理装置。
前記端末で前記第二のソフトウェアキーボードを介して文字の入力を受け付け、前記情報処理装置は当該入力された文字情報を前記端末から受信した場合、当該文字が入力された画面を前記第一の表示部に表示しないように制御する
ことを特徴とする請求項１から７のいずれか一項に記載の情報処理装置。
前記情報処理装置はプリント機能を含む複数の機能を有するＭＦＰ（ｍｕｌｔｉｆｕｎｃｔｉｏｎｐｅｒｉｐｈｅｒａｌ）である
ことを特徴とする請求項１から１０のいずれか一項に記載の情報処理装置。
前記情報処理装置はＶＮＣ（ＶｅｒｔｕａｌＮｅｔｗｏｒｋＣｏｍｐｕｔｉｎｇ）サーバーとして動作し、前記端末はＶＮＣクライアントとして動作する
ことを特徴とする請求項１から１１のいずれか一項に記載の情報処理装置。
前記送信手段で送信した画面情報を基に前記端末上の第二の表示部で表示された画面上で文字入力項目の選択操作を受け付け、当該選択操作情報を前記情報処理装置が前記端末から受信した場合、前記情報処理装置は、前記端末の第二のソフトウェアキーボードを表示する指示を前記端末に送信し、前記第一の表示部に前記第一のソフトウェアキーボードが表示されないように制御し、前記送信手段によって前記第一のソフトウェアキーボードを表示した画面に対応する画面情報は前記端末に送信されない
ことを特徴とする請求項１から１２のいずれか一項に記載の情報処理装置。
請求項１に記載の情報処理装置と前記端末を含むシステムであって、
前記情報処理装置が前記端末の第二のソフトウェアキーボードを表示する指示を前記端末に送信し、前記第一の表示部に前記第一のソフトウェアキーボードが表示されないように制御する場合、前記端末は第二の表示部に前記送信手段で送信した画面情報を基に表示された第一のソフトウェアキーボードが表示されない画面と前記第二のソフトキーボードが表示された画面を表示することを特徴とするシステム。
前記端末の第二の表示部に前記第二のソフトウェアキーボードが表示されている場合、前記端末は前記第二の表示部に前記送信手段で送信した画面情報を基に表示された画面のうち前記第二のソフトウェアキーボードでない領域に対する操作を受け付けたとしても、当該操作情報は前記情報処理装置に送信しない
ことを特徴とする請求項１４に記載のシステム。
第一の表示部を有する情報処理装置であって、前記第一の表示部に表示された画面上で文字入力項目の選択操作を受け付けると前記第一の表示部に第一のソフトウェアキーボードを表示する情報処理装置が実行する制御方法であって、
前記第一の表示部に表示する画面が更新するたびに、前記第一の表示部に当該更新された画面を表示し、当該更新された画面に対応する画面情報を端末に送信する送信工程を有し
前記送信工程で送信した画面情報を基に前記端末上の第二の表示部で表示された画面上で文字入力項目の選択操作を受け付け、当該選択操作情報を前記端末から受信し前記第一の表示部に表示する画面を更新する場合、前記情報処理装置は、前記端末の第二のソフトウェアキーボードを表示する指示を前記端末に送信し、前記第一の表示部に前記第一のソフトウェアキーボードが表示されないように制御する
ことを特徴とする制御方法。
請求項１から１３のいずれか１項に記載の各手段としてコンピュータを機能させるためのプログラム。