以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
図1は、本発明の実施の形態の1つにおける画像形成システムの全体概要を示す図である。図1を参照して、画像形成システム1は、画像処理装置として機能するMFP100,100A,100Bと、無線局5と、MFP100,100A,100Bのいずれかを遠隔操作可能な遠隔操作装置として機能する携帯情報装置200,200A,200Bと、を含む。MFP(Multi Function Peripheral)100,100A,100B、および無線局5は、ネットワーク3に接続される。携帯情報装置200,200A,200Bは、無線局5を通して、ネットワーク3に接続される。
ネットワーク3は、ローカルエリアネットワーク(LAN)であり、接続形態は有線または無線を問わない。また、ネットワーク3は、LANに限らず、ワイドエリアネットワーク(WAN)、公衆交換電話網(PSTN)、インターネット等であってもよい。
携帯情報装置200,200A,200Bは、スマートフォン、PDA(Personal Digital Assistants)など、ユーザーが携帯して使用するコンピューターである。携帯情報装置200,200A,200Bのハードウェア構成および機能は同じなので、ここでは特に言及しない限り携帯情報装置200を例に説明する。ここでは、携帯情報装置200を、スマートフォンとしており、無線LAN機能と、通話機能とを備えている。このため、携帯情報装置200は、携帯電話用基地局と無線で通信することにより携帯電話網に接続し、通話が可能である。
本実施の形態における画像形成システム1において、携帯情報装置200,200A,200Bそれぞれは、MFP100,100A,100Bを遠隔操作する。この場合、携帯情報装置200,200A,200Bそれぞれは、MFP100,100A,100Bを遠隔操作する遠隔操作装置として機能し、MFP100,100A,100Bそれぞれは、携帯情報装置200,200A,200Bいずれかによって遠隔操作される遠隔制御装置として機能する。携帯情報装置200,200A,200Bには、MFP100,100A,100Bを遠隔操作するための遠隔操作プログラムがインストールされる。遠隔操作プログラムは、MFP100,100A,100Bに共通し、MFP100,100A,100Bのいずれにも対応可能なアプリケーションプログラムである。一方、MFP100には、携帯情報装置200により遠隔操作され、処理を実行する遠隔制御プログラムがインストールされている。ここでは、携帯情報装置200がMFP100を遠隔操作する場合を例に説明する。
本実施の形態における画像形成システム1において、MFP100,100A,100Bの構成および実行可能な機能がそれぞれ異なるが基本構成は同じである。ここでは、MFP100を例に、MFP100の基本構成を説明する。
図2は、MFPの基本構成の概要を示すブロック図である。図2を参照して、MFP100は、メイン回路110と、原稿を読み取るための原稿読取部130と、原稿を原稿読取部130に搬送するための自動原稿搬送装置120と、原稿読取部130が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部140と、画像形成部140に用紙を供給するための給紙部150と、画像が形成された用紙を処理する後処理部155と、ユーザーインターフェースとしての操作パネル160とを含む。
後処理部155は、画像形成部140により画像が形成された1以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。
メイン回路110は、CPU111と、通信インターフェース(I/F)部112と、ROM113と、RAM114と、大容量記憶装置としてのハードディスクドライブ(HDD)115と、ファクシミリ部116と、CD−ROM(Compact Disk ROM)118が装着される外部記憶装置117と、を含む。CPU111は、自動原稿搬送装置120、原稿読取部130、画像形成部140、給紙部150、後処理部155および操作パネル160と接続され、MFP100の全体を制御する。
ROM113は、CPU111が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。RAM114は、CPU111がプログラムを実行する際の作業領域として用いられる。さらに、RAM114は,設定値記憶領域を含む。設定値記憶領域は、機能を実行するための設定値を記憶する領域である。また、RAM114は、原稿読取部130から連続的に送られてくる読取データ(画像データ)を一時的に記憶する。
通信I/F部112は、MFP100をネットワーク3に接続するためのインターフェースである。CPU111は、通信I/F部112を介して、他のMFP100A,2100B、または携帯情報装置200,200A,200Bとの間で通信し、データを送受信する。また、通信I/F部112は、ネットワーク3を介してインターネットに接続されたコンピューターと通信が可能である。
ファクシミリ部116は、公衆交換電話網(PSTN)に接続され、PSTNにファクシミリデータを送信する、またはPSTNからファクシミリデータを受信する。ファクシミリ部116は、受信したファクシミリデータを、HDD115に記憶する、または画像形成部140に出力する。画像形成部140は、ファクシミリ部116により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部116は、HDD115に記憶されたデータをファクシミリデータに変換して、PSTNに接続されたファクシミリ装置に送信する。
外部記憶装置117は、CD−ROM118が装着される。CPU111は、外部記憶装置117を介してCD−ROM118にアクセス可能である。CPU111は、外部記憶装置117に装着されたCD−ROM118に記録されたプログラムをRAM114にロードして実行する。なお、CPU111が実行するプログラムを記憶する媒体としては、CD−ROM118に限られず、光ディスク(MO(Magnetic Optical disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、ICカード、光カード、マスクROM、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)などの半導体メモリであってもよい。
また、CPU111が実行するプログラムは、CD−ROM118に記録されたプログラムに限られず、HDD115に記憶されたプログラムをRAM114にロードして実行するようにしてもよい。この場合、ネットワーク3に接続された他のコンピューターが、MFP100のHDD115に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、MFP100が、ネットワーク3に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをHDD115に記憶するようにしてもよい。ここでいうプログラムは、CPU111が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
操作パネル160は、MFP100の上面に設けられる。操作パネル160は、表示部161と操作部163とを含む。表示部161は、例えば、液晶表示装置(LCD)であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。
操作部163は、タッチパネル165と、ハードキー部167とを含む。タッチパネル165は、静電容量方式である。なお、タッチパネル165は、静電容量方式に限らず、例えば、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式等の他の方式を用いることができる。
タッチパネル165は、検出面中でユーザーにより指示される位置を検出する。タッチパネル165の検出面は、表示部161の上面または下面に表示部161に重畳して設けられる。ここでは、タッチパネル165の検出面のサイズと、表示部161の表示面のサイズとを同じにしている。このため、表示面の座標系と検出面の座標系は同じである。タッチパネル165は、ユーザーが、表示部161の表示面を指示する位置を検出面で検出し、検出した位置の座標をCPU111に出力する。表示面の座標系と検出面の座標系は同じなので、タッチパネル165が出力する座標を、表示面の座標に置き換えることができる。以下、ユーザーが表示部161の表示面を指示することによりタッチパネル165が検出面で検出して出力する座標を、表示部161の表示面の座標ともいう。
タッチパネル165は、マルチタッチ対応のタッチパネルである。このため、タッチパネル165は、ユーザーが、表示部161の表示面を一度に複数個所を複数の指で指示する場合、検出面で表示部161の表示面中でユーザーにより指示された複数の位置を検出し、検出した複数の位置をそれぞれ示す複数の座標を、CPU111に出力する。
ハードキー部167は、複数のハードキーを含む。ハードキーは、例えば接点スイッチである。タッチパネル165は、表示部161の表示面中でユーザーにより指示された位置を検出する。ユーザーがMFP100を操作する場合は直立した姿勢となる場合が多いので、表示部161の表示面、タッチパネル165の操作面およびハードキー部167は、上方を向いて配置される。ユーザーが表示部161の表示面を容易に視認することができ、ユーザーが指で操作部163を容易に指示することができるようにするためである。
図3は、携帯情報装置の構成の概要を示すブロック図である。図3を参照して、本実施の形態における携帯情報装置200は、携帯情報装置200の全体を制御するためのCPU201と、カメラ202と、データを不揮発的に記憶するフラッシュメモリ203と、通話部205と接続された無線通信部204と、情報を表示する表示部206と、ユーザーの操作を受け付ける操作部207と、無線LANI/F208と、加速度センサー210と、外部記憶装置211と、を含む。
表示部206は、液晶表示装置(LCD)、有機ELD等の表示装置であり、画像を表示する。操作部207は、メインキー207Aと、タッチパネル207Bとを備える。タッチパネル207Bは、静電容量方式である。なお、タッチパネル207Bは、静電容量方式に限らず、例えば、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式等の他の方式を用いることができる。
タッチパネル207Bは、検出面中でユーザーにより指示される位置を検出する。タッチパネル165の検出面は、表示部206の上面または下面に表示部206に重畳して設けられる。ここでは、タッチパネル207Bの検出面のサイズと、表示部206の表示面のサイズとを同じにしている。このため、表示面の座標系と検出面の座標系は同じである。タッチパネル207Bは、ユーザーが、表示部206の表示面を指示する位置を検出面で検出し、検出した位置の座標をCPU201に出力する。表示面の座標系と検出面の座標系は同じなので、タッチパネル207Bが出力する座標を、表示面の座標に置き換えることができる。以下、ユーザーが表示部206の表示面を指示することによりタッチパネル207Bが検出面で検出して出力する座標を、表示部206の表示面の座標ともいう。
タッチパネル207Bは、マルチタッチ対応のタッチパネルである。このため、タッチパネル165は、ユーザーが、表示部206の表示面を一度に複数個所を複数の指で指示する場合、検出面で表示部206の表示面中でユーザーにより指示された複数の位置を検出し、検出した複数の位置をそれぞれ示す複数の座標を、CPU201に出力する。
カメラ202は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをCPU201に出力する。光電変換素子は、CMOS(Complementary Metal Oxide Semiconductor)センサー、CCD(Charge Coupled Device)センサー等である。
無線通信部204は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部204は、携帯情報装置200を電話通信網に接続し、通話部205を用いた通話を可能とする。無線通信部204は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部205に出力する。また、無線通信部204は、通話部205から入力される音声を符号化し、携帯電話用基地局に送信する。通話部205は、マイクおよびスピーカーを備え、無線通信部204から入力される音声をスピーカーから出力し、マイクから入力される音声を無線通信部204に出力する。さらに、無線通信部204は、CPU201により制御され、携帯情報装置200を電子メールサーバーに接続し、電子メールを送受信する。
無線LANI/F208は、無線局5と通信し、携帯情報装置200をネットワーク3に接続するためのインターフェースである。携帯情報装置200に、MFP100,100A,100BそれぞれのIP(Internet Protocol)アドレスを登録しておくことにより、携帯情報装置200は、MFP100,100A,100Bと通信することができ、データの送受信が可能となる。なお、本実施の形態においては、携帯情報装置200が無線LANI/F208を用いて、MFP100,100A,100Bと通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、携帯情報装置200、MFP100,100A,100Bが、例えばBluetooth(登録商標)等の近距離無線装置を搭載する場合には、携帯情報装置200が、MFP100,100A,100Bのいずれかと、1対1で通信するようにしてもよい。
フラッシュメモリ203は、CPU201が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。CPU201は、フラッシュメモリ203に記録されたプログラムを、CPU201が備えるRAMにロードして実行する。
加速度センサー210は、互いに直交するX軸、Y軸およびZ軸の3方向の加速度を測定する3軸加速度センサーである。加速度センサー210は、検出した加速度をCPU201に出力する。
外部記憶装置211は、携帯情報装置200に着脱自在であり、遠隔操作プログラムを記憶したCD−ROM211Aが装着可能である。CPU201は、外部記憶装置211を介してCD−ROM211Aにアクセス可能である。CPU201は、外部記憶装置211に装着されたCD−ROM211Aに記録された遠隔操作プログラムを、CPU201が備えるRAMにロードして実行することが可能である。
なお、CPU201が実行するプログラムとして、フラッシュメモリ203またはCD−ROM211Aに記録されたプログラムについて説明したが、ネットワーク3に接続された他のコンピューターが、フラッシュメモリ203に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、携帯情報装置200が、ネットワーク3に接続された他のコンピューターからダウンロードしたプログラムでもよい。ここでいうプログラムは、CPU201が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
なお、CPU201が実行するプログラムを記憶する媒体としては、CD−ROM211Aに限られず、光ディスク(MO/MD/DVD)、ICカード、光カード、マスクROM、EPROM、EEPROMなどの半導体メモリであってもよい。
図4は、本実施の形態におけるMFPが備えるCPUの機能の一例を示すブロック図である。図4に示す機能は、MFP100が備えるCPU111が、ROM113、HDD115、CD−ROM118に記憶された制御プログラムを実行することにより、CPU111に形成される機能である。図4を参照して、MFPが備えるCPU111は、遠隔制御部51と、操作決定部53と、処理実行部55と、速さ決定部57と、表示制御部61と、位置検出部63と、削減部65と、を含む。
遠隔制御部51は、通信I/F部112を制御して、MFP100を遠隔操作する遠隔操作装置と通信する。遠隔制御部51は、遠隔操作装置からの要求に応じて、遠隔操作装置との間で通信経路を確立する。携帯情報装置200,200A、200Bは、MFP100を遠隔操作する遠隔操作装置となり得る。ここでは、携帯情報装置200がMFP100の遠隔操作装置として機能する場合を例に説明する。遠隔制御部51は、通信I/F部112が、携帯情報装置200から接続要求を受信すると、携帯情報装置200との間の通信経路を確立する。
遠隔制御部51は、遠隔操作指令受信部81と、送信制御部83と、を含む。送信制御部83は、携帯情報装置200との間で確立された通信経路を介して、操作画面を携帯情報装置200に送信する。操作画面を受信する携帯情報装置200の機能の詳細は後述するが、遠隔操作指令をMFP100に送信する。遠隔操作指令受信部81は、携帯情報装置200との間で確立された通信経路を介して、携帯情報装置200から遠隔操作指令を受信することに応じて、受信される遠隔操作指令を操作決定部53に出力する。遠隔操作指令は、操作画面中の位置を示す1以上の座標を含む。
操作決定部53は、ユーザーの操作を受け付けるための操作画面の表示を、表示制御部61に指示し、ユーザーが操作画面に従って操作部163に入力する操作を決定する。具体的には、操作決定部53は、操作画面を識別するための操作画面識別情報を表示制御部61に出力する。操作決定部53は、初期段階において、予め定められた操作画面の画面識別情報を表示制御部61に出力する。初期段階は、例えば、MFP100に電源が投入された時、または、電力消費の少ないスリープ状態から復帰した時、等である。
表示制御部61は、操作決定部53から画面識別情報が入力されることに応じて、操作決定部53から入力される画面識別情報で特定される操作画面をHDD115から読出し、操作画面を表示部161に表示する。操作画面は、予め定められた画面の画像である。操作画面は、可変表示領域を含む場合がある。可変表示領域は、リスト画像またはプレビュー画像を表示するための領域であって、操作画面によりサイズが定められた領域である。リスト画像は、数が固定されていない1以上のデータを配列した画像である。例えば、リスト画像は、送信先のアドレスを含むアドレス帳のデータを配列した画像、ジョブの履歴を配列した画像を含む。リスト画像のサイズは、可変表示領域のサイズよりも大きくなる場合がある。表示制御部61は、操作画面がリスト画像を表示する可変表示領域を含む場合には、リスト画像のサイズが可変表示領域のサイズより大きい場合には、リスト画像をスクロール可能な状態で可変表示領域に配置した操作画面を表示する。具体的には、表示制御部61は、リスト画像の一部である表示部分を可変表示領域に配置した操作画面を表示する。リスト画像中の表示部分は、リスト画像中でサイズを変更可能な領域であり、また、平行移動可能な領域である。プレビュー画像は、プリントデータがプリントされた状態を再現した画像である。可変表示領域において、プレビュー画像を拡大または縮小して表示される場合がある。表示制御部61は、操作画面がプレビュー画像を表示するための可変表示領域を含む場合、プレビュー画像のサイズが可変表示領域のサイズより大きい場合には、プレビュー画像の一部の表示部分を可変表示領域に含む操作画面を表示する。プレビュー画像中の表示部分は、プレビュー画像中でサイズを変更可能な領域であり、また、平行移動可能な領域である。表示制御部61は、操作画面を表示部161に表示させる場合、表示された操作画面を削減部65および操作決定部53に出力する。
位置検出部63は、タッチパネル165を制御し、タッチパネル165から入力される座標を操作決定部53に出力する。位置検出部63は、タッチパネル165から一度に複数の座標が入力される場合、操作決定部53に複数の座標を出力する。
操作決定部53は、表示制御部61に画面識別情報を出力した後に、表示制御部61から操作画面が入力される。操作決定部53は、表示制御部61から操作画面が入力された後、位置検出部63から1以上の座標が入力されることに応じて、操作画面と、位置検出部63から入力される1以上の座標に基づいて、ユーザーによる操作を決定する。また、操作決定部53は、表示制御部61から操作画面が入力された後、遠隔操作指令受信部81から遠隔操作指令が入力されることに応じて、操作画面と、遠隔操作指令に含まれる1以上の座標に基づいて、ユーザーによる操作を決定する。遠隔操作指令が受信される場合の操作決定部53の動作は、位置検出部63から1以上の座標が入力される場合の動作と同じである。以下の説明では、操作決定部53の動作を、位置検出部63から1以上の座標が入力される場合の動作を例に説明する。
ユーザーによる操作は、ユーザーが表示部161の表示面の任意の位置を指示する指示開始操作、ユーザーが表示部161の表示面を指示しながら、換言すれば、表示部161の表示面に触れながら指示する位置を移動させる移動操作、ユーザーが表示部161の表示面の指示を終了する終了操作、を含む。操作決定部53は、位置検出部63から1以上の座標が入力されると、1以上の座標ごとにユーザーによる操作が、指示開始操作、移動操作、終了操作のいずれであるかを判断する。上述したように、位置検出部63は、タッチパネル165から1以上の座標が出力されるごとに、1以上の座標を出力するので、1以上の座標ごとに、時間の経過とともに連続して入力される座標の連続性に基づいて、ユーザーによる操作が、指示開始操作、移動操作、終了操作のいずれであるかを判断する。
操作決定部53は、位置検出部63から座標が入力されていない状態が所定時間経過した後に入力される座標に対して、ユーザーによる操作が指示開始操作と判断し、座標と、指示開始操作を識別するための状態識別情報「Press」とを含むタッチイベントを決定する。操作決定部53は、状態識別情報「Press」のタッチイベントを決定した後、位置検出部63から連続して複数の座標が入力される場合、複数の座標それぞれに対して、ユーザーによる操作が移動操作と判断する。操作決定部53は、位置検出部63から連続して入力される1以上の座標それぞれに対して、その座標と移動操作を識別するための状態識別情報「Move」とを含むタッチイベントを決定する。操作決定部53は、状態識別情報「Move」のタッチイベントを決定した後、位置検出部63から座標が入力されなくなる場合、最後に入力された座標に対して、ユーザーによる操作が終了操作と判断し、最後に入力された座標と、終了操作を識別するための状態識別情報「Release」とを含むタッチイベントを決定する。
より具体的には、操作決定部53は、位置検出部63から第1の時に入力される座標と、第1の時よりも所定時間後の第2の時に入力される座標とに基づいて、タッチイベントの状態を決定する。操作決定部53は、第1の時に入力される座標に対して、第1の時よりも所定時間前に、第1の時に入力される座標で特定される位置から所定の距離の範囲内の位置を示す座標が入力されていない場合には、第1の時に入力される座標に対するタッチイベントの状態を「Press」に決定する。操作決定部53は、第1の時に入力される座標で特定される位置が、第2の時に入力される座標で特定される位置から所定の距離の範囲内に存在しない場合には、第2の時に入力される座標に対するタッチイベントの状態を「Press」に決定する。
また、操作決定部53は、第1の時に入力される座標で特定される位置が、第2の時に入力される座標で特定される位置から所定の距離の範囲内に存在する場合には、第2の時に入力される位置情報に対するタッチイベントの状態を「Move」に決定する。さらに、操作決定部53は、第1の時に入力される座標で特定される位置から所定の距離の範囲内の座標が、第2の時に入力されない場合には、第2の時において第1の時に入力されていた座標に対するタッチイベントの状態を「Release」に決定する。
操作決定部53は、複数のタッチイベントに基づいてジェスチャーイベントを決定する。操作決定部53は、速さ決定部57を含む。速さ決定部57は、ジェスチャーイベントの速さを決定する。
操作決定部53は、1つのタッチイベントを連続して決定する場合、例えば、操作決定部53は、状態識別情報が「Press」のタッチイベントを決定した後に状態識別情報が「Release」のタッチイベントを決定すると、状態識別情報が「Press」のタッチイベントの座標と、状態識別情報が「Release」のタッチイベントの座標とが同じ場合には、タップ操作のジェスチャーイベントを決定する。タップ操作を決定する場合、操作決定部53は、状態識別情報が「Press」のタッチイベントの座標を、タップ操作に対応する位置に決定する。速さ決定部57は、タップ操作のジェスチャーイベントが決定される場合、ジェスチャーイベントの速さを決定しない。
操作決定部53は、タップ操作を決定する場合、タップ操作を決定する際にタップ操作に対して決定される座標に基づいて、操作画面中でユーザーにより指示された位置を特定する。具体的には、操作決定部53は、操作画面中でタッチパネル165から入力された座標によって特定される位置を、ユーザーにより指示された位置に特定する。操作決定部53は、操作画面中でユーザーにより指示された位置を特定し、操作画面中で特定された位置に対応する操作を決定する。例えば、操作画面が、設定値を設定する操作が割り当てられた設定ボタンを含む場合に、操作画面中でユーザーにより指示された位置がその設定ボタンの範囲内ならば、設定値を設定する操作を特定し、設定値を設定する指令を処理実行部55に出力する。操作画面が、処理の実行を指示する操作が割り当てられた実行指示ボタンを含む場合に、操作画面中でユーザーにより指示された位置がその実行指示ボタンの範囲内ならば、実行指示操作を特定し、ボタンで特定される種類の処理を実行する指令を処理実行部55に出力する。また、操作決定部53は、操作画面が、別の操作画面に表示を切り換える操作が割り当てられた遷移ボタンを含む場合に、操作画面中でユーザーにより指示された位置がその遷移ボタンの範囲内ならば、画面を遷移する操作を特定し、遷移ボタンに関連付けられた画面識別情報を表示制御部61に出力する。
処理実行部55は、通信I/F部112、ファクシミリ部116、HDD115、外部記憶装置117、自動原稿搬送装置120、原稿読取部130、画像形成部140および給紙部150を制御し、処理を実行する。処理実行部55は、操作決定部53から設定値を設定する指令が入力されることに応じて、設定値を設定する処理を実行する。また、処理実行部55は、操作決定部53は、処理を実行する指令が入力されることに応じて、その指令で特定される種類の処理を実行する。処理実行部55が実行する処理の一例は、スキャン処理、コピー処理、プリント処理およびファクシミリ送受信処理等である。スキャン処理は、原稿読取部130で読み取った原稿の画像を、HDD115、外部記憶装置117および通信I/F部112の少なくとも1つに出力する処理である。コピー処理は、原稿読取部130で読み取った原稿の画像を、画像形成部140に給紙部150から供給される用紙に画像形成させる処理である。プリント処理は、通信I/F部112を介してネットワークに接続されたコンピューターから受信されるプリントデータの画像、HDD115または外部記憶装置117に記憶されたデータの画像を、画像形成部140に給紙部150から供給される用紙に画像形成させる処理である。ファクシミリ送信処理は、ファクシミリデータの画像をファクシミリ部116に送信させる処理である。ファクシミリ受信処理は、外部から受信されるファクシミリデータの画像を、画像形成部140、HDD115、外部記憶装置117および通信I/F部112の少なくとも1つに出力する処理である。
操作決定部53は、状態識別情報が「Press」のタッチイベントを決定した後に状態識別情報が「Move」のタッチイベントを決定する場合、状態識別情報が「Move」のタッチイベント決定されるごとに、状態識別情報が「Press」のタッチイベントの座標と、状態識別情報が「Move」のタッチイベントの座標とが異なる場合は、フリック操作またはスワイプ操作のジェスチャーイベントを決定する。速さ決定部57は、状態識別情報が「Press」のタッチイベントを決定した後に状態識別情報が「Move」のタッチイベントを決定すると、状態識別情報が「Move」のタッチイベントを決定するごとに、状態識別情報が「Press」のタッチイベントの座標と、状態識別情報が「Move」のタッチイベントの座標とから2点間の距離を算出し、状態識別情報が「Press」のタッチイベントが検出されてから状態識別情報が「Move」のタッチイベントが検出されるまでの時間と、算出された距離とから操作の速さを算出する。速さ決定部57は、算出された操作の速さを削減部65に出力する。操作決定部53は、速さ決定部57により算出された操作の速さが所定のしきい値TV以上ならばスワイプ操作のジェスチャーイベントを決定し、操作の速さが所定のしきい値TVより小さければフリック操作のジェスチャーイベントを決定する。
操作決定部53は、フリック操作およびスワイプ操作のジェスチャーイベントを決定するごとに、状態識別情報が「Press」のタッチイベントの座標で特定される位置から状態識別情報が「Move」のタッチイベントの座標で特定される位置に向かう方向を算出し、表示部161の表示面を基準に上下左右の4方向のうち算出された方向に最も近い方向を指示方向として決定する。また、操作決定部53は、フリック操作およびスワイプ操作のジェスチャーイベントを決定するごとに、状態識別情報が「Press」のタッチイベントの座標と、状態識別情報が「Move」のタッチイベントの座標とから算出される2点間の距離を、操作量として決定する。
操作決定部53は、一度に2以上のタッチイベントを決定する場合、2以上のタッチイベントに基づいてユーザーによるマルチタッチ操作を決定する。具体的には、操作決定部53は、第1のタッチイベントと第2のタッチイベントの2つを一度に決定する場合、第1のタッチイベントに対して連続して決定される複数のタッチイベントの第1の組と、第2のタッチイベントに対して連続して決定される複数のタッチイベントの第2の組と、に基づいてマルチタッチ操作を決定する。第1の組に含まれる複数のタッチイベントは、座標が同じか、または座標が連続している。連続とは、2つの座標が所定の距離の範囲内の位置を示すことをいう。第2の組に含まれる複数のタッチイベントは、座標が同じか、または座標が連続している。このため、操作決定部53は、一度に入決定される複数のタッチイベントが、第1の組と第2の組のいずれに属するかを、それらに含まれる座標で判断する。
操作決定部53は、一度に2つのタッチイベントを決定する場合、最初に決定される2つのタッチイベントそれぞれの状態識別情報が「Press」である。この場合に、2つのタッチイベントそれぞれに含まれる座標に基づいて、2点間の距離L1を算出する。そして、操作決定部53は、その後に一度に決定される、状態識別情報が「Move」の2つのタッチイベントが決定されるごとに、状態識別情報が「Move」の2つのタッチイベントの座標に基づいて、2点間の距離L2を算出する。
速さ決定部57は、状態識別情報が「Move」の2つのタッチイベントが決定されるごとに、距離L1と距離L2との差と、距離L1を算出してから距離L2を算出するまでの時間とから操作の速さを算出する。速さ決定部57は、算出された操作の速さを削減部65に出力する。操作決定部53は、距離L2が距離L1より大きければピンチアウト操作のジェスチャーイベントを決定し、距離L2が距離L1より小さければピンチイン操作のジェスチャーイベントを決定する。操作決定部53は、ピンチアウト操作またはピンチイン操作を検出する場合、距離L2を距離L1で除算することによって倍率を決定する。
操作決定部53は、ピンチアウト操作のジェスチャーイベントを決定するごとに、表示制御部61に拡大指示を出力し、ピンチイン操作のジェスチャーイベントを決定するごとに、表示制御部61に縮小指示を出力し、スワイプ操作またはフリック操作を決定するごとに、表示制御部61にスクロール指示を出力する。拡大指示は、ピンチアウト操作の操作量に基づく拡大率を含む。縮小指示は、ピンチイン操作の操作量に基づく縮小率を含む。ピンチアウト操作およびピンチイン操作それぞれの操作量は、2つの座標間の距離の変化量に比例する値である。スクロール指示は、スワイプ操作またはフリック操作の操作量に基づく移動量と、操作の方向と、を含む。
表示制御部61は、操作決定部53から拡大指示が入力されるごとに、表示部161に表示されている操作画面中の可変表示領域に表示されている画像を拡大指示に含まれる拡大率で拡大した画像を可変表示領域に含む操作画面を表示部161に表示させる。具体的には、可変表示領域に表示されている表示部分を含むプレビュー画像またはリスト画像を処理対象とし、表示部分を拡大率に基づき定まるサイズに縮小し、プレビュー画像またはリスト画像中で縮小後の表示部分の画像を可変表示領域に納まるサイズに拡大した操作画面を、表示部161に表示するとともに、操作画面の画像を削減部65に出力する。
表示制御部61は、操作決定部53から縮小指示が入力されるごとに、操作画面中の可変表示領域に表示されている画像を縮小指示に含まれる縮小率に基づき定まるサイズに縮小した画像を可変表示領域に含む操作画面を表示部161に表示させる。具体的には、可変表示領域に表示されている表示部分を含むプレビュー画像またはリスト画像を処理対象とし、表示部分を縮小率に基づき定まるサイズに拡大し、プレビュー画像またはリスト画像中で拡大後の表示部分の画像を可変表示領域に納まるサイズに縮小した操作画面を、表示部161に表示するとともに、操作画面を動作生成部59に出力する。
表示制御部61は、操作決定部53からスクロール指示が入力される場合、可変表示領域に表示されている表示部分を含むプレビュー画像またはリスト画像を処理対象とし、表示部分をプレビュー画像またはリスト画像中でスクロール指示に含まれる移動量だけスクロール指示に含まれる方向に平行移動させ、プレビュー画像またはリスト画像中で平行移動後の表示部分の画像を可変表示領域に配置した操作画面を、表示部161に表示するとともに、操作画面を削減部65に出力する。
削減部65は、操作決定部53によってタップ操作が決定される場合、表示制御部61から操作画面が入力される。削減部65は、操作決定部53によってタップ操作が決定される場合、表示制御部61から入力される操作画面を、送信制御部83に出力する。
削減部65は、操作決定部53によってピンチイン操作、ピンチアウト操作、スワイプ操作またはフリック操作のジェスチャーイベントが決定されるごとに、表示制御部61から操作画面が入力される。ジェスチャーイベントは、ユーザーによりピンチイン操作、ピンチアウト操作、スワイプ操作またはフリック操作が入力されている間、所定の時間間隔で決定される。このため、操作決定部53によってピンチイン操作、ピンチアウト操作、スワイプ操作またはフリック操作のジェスチャーイベントが決定される場合、削減部65は、表示制御部61から所定時間間隔で複数の操作画面が入力される。
削減部65は、解像度変換部71と、特徴部分サイズ決定部73と、削減パラメータ決定部75と、優先度決定部77と、サイズ変更部79と、を含む。特徴部分サイズ決定部73は、操作画面に含まれる可変表示領域の画像中から特徴部分を抽出し、抽出された特徴部分のサイズを決定する。可変表示領域の画像が文字を含む場合、文字を特徴部分として抽出し、抽出された文字のサイズを特徴部分のサイズとして決定する。可変表示領域の画像が写真や図形を含む場合、画像中のエッジを特徴部分として抽出し、複数のエッジ間の距離を特徴部分のサイズとして決定する。複数のエッジ間の距離の最小値を決定するようにすればよい。また、特徴部分サイズ決定部73は、グラデーションが表された部分を特徴部分とし、グラデーションが表された部分内で所定の距離における画素値の差の最大値を特徴部分のサイズとすればよい。特徴部分サイズ決定部73は、決定された特徴部分のサイズをサイズ変更部79に出力する。
サイズ変更部79は、特徴部分サイズ決定部73から入力される特徴部分のサイズを、遠隔操作装置である携帯情報装置200の表示部206の表示面のサイズに基づいて、変更する。例えば、表示部161の表示面のサイズと、携帯情報装置200の表示部206の表示面のサイズとの割合を算出し、算出された割合を用いて特徴部分のサイズを変更する。例えば、携帯情報装置200の表示部206の表示面のサイズを、表示部161の表示面のサイズで除算した値を、特徴部分のサイズに乗算すればよい。携帯情報装置200の表示部206の表示面のサイズは、遠隔制御部51が遠隔操作装置である携帯情報装置200との間の通信経路を確立した時点で、携帯情報装置200から取得するようにすればよい。サイズ変更部79は、変更後の特徴部分のサイズを優先度決定部77に出力する。
優先度決定部77は、速さ決定部57から操作の速さが入力され、サイズ変更部79から特徴部分のサイズが入力される。優先度決定部77は、操作の速さに基づいて、フレームレートと解像度とのいずれを優先するかを決定する。優先度決定部77は、操作の速さが特徴部分のサイズに対して予め定められたしきい値より大きい場合、フレームレートを優先し、特徴部分のサイズに対して予め定められたしきい値以下の場合、解像度を優先する。操作の速さと特徴部分のサイズとの組に対して予め定められるしきい値は、特徴部分のサイズごとに定められ、移動された場合にユーザーにより読取可能となる上限の速さとして定められる。例えば、特徴部分を文字の画像とする場合、文字のサイズを異ならせた複数の画像を、それぞれ移動させる実験によって、読み取り可能となる上限の速さを求めようにすればよい。優先度決定部77は、決定した結果と、操作の速さと、特徴部分のサイズとを、削減パラメータ決定部75に出力する。
削減パラメータ決定部75は、優先度決定部77により決定された結果が解像度を優先することを示す場合、操作の速さと特徴部分のサイズとに基づいて縮小率を決定する。操作の速さと、特徴部分のサイズとの組に対して、縮小率を定めた解像度テーブルを予め準備しておき、その解像度テーブルを参照して、縮小率を決定する。削減パラメータ決定部75は、決定された縮小率で操作画面を縮小した後の操作画面のデータ量と、MFP100と遠隔操作装置である携帯情報装置との間で予め定められた送信可能なデータ量と、に基づいて、フレームレートを決定する。解像度テーブルは、特徴部分のサイズごとに、操作の速さ別の縮小率を定める。解像度テーブルにおいて、縮小率に対応する文字のサイズと操作の速さは、操作画面がその特徴部分のサイズの特徴部分を含む場合に、操作画面をその縮小率で縮小した操作画面を操作の速さで動かした状態でユーザーが特徴部分を認識することのできる最小の操作の速さを示す。解像度テーブルにおいて、縮小率「100」に対して定まる特徴部分のサイズと操作の速さの組は、特徴部分のサイズに対して予め定められた操作の速さのしきい値を示す。
削減パラメータ決定部75は、優先度決定部77により決定された結果がフレームレートを優先することを示す場合、操作の速さに基づいてフレームレートを決定する。操作の速さに対して、フレームレートを予め定めておき、操作の速さに対して予め定めたフレームレートに決定する。削減パラメータ決定部75は、決定されたフレームレートと、MFP100と遠隔操作装置である携帯情報装置との間で予め定められた送信可能なデータ量と、に基づいて、1フレーム値のデータ量を決定し、決定されたデータ量と操作画面のデータ量とから縮小率を決定する。
削減パラメータ決定部75は、決定された縮小率を解像度変換部71に出力するとともに、決定されたフレームレートを送信制御部83に出力する。
解像度変換部71は、表示制御部61から操作画面が入力され、削減パラメータ決定部75から縮小率が入力される。解像度変換部71は、表示制御部61から操作画面が入力されるごとに、その操作画面を、削減パラメータ決定部75から入力される縮小率で縮小し、縮小した後の操作画面を送信制御部83に出力する。
送信制御部83は、削減パラメータ決定部75からフレームレートが入力される場合、解像度変換部71から入力される縮小後の操作画面を間引いて、フレームレートで定まるタイミングで遠隔操作装置である携帯情報装置200に送信する。
携帯情報装置200においては、解像度がフレームレートよりも優先される場合、フレームレートが、操作の速さで滑らかに再生できるフレームレートより小さな値に決定されるので、操作画面の動きが滑らかではないが、特徴部分を認識可能な状態で操作画面を表示することができる。また、フレームレートが解像度よりも優先される場合、特徴部分を認識できない解像度にまで縮小された操作画面が表示されるが、操作画面の動きが操作の速さに対応するので、応答性がよい。
図5は、本実施の形態における携帯情報装置が備えるCPUの機能の概要の一例を示すブロック図である。図5に示す機能は、携帯情報装置200が備えるCPU201が、フラッシュメモリ203、またはCD−ROM211Aに記憶された遠隔操作プログラムを実行することにより、CPU201に形成される機能である。図5を参照して、CPU201は、通信制御部251と、表示制御部253と、位置検出制御部255と、を含む。
通信制御部251は、遠隔操作の対象となる遠隔制御装置との間で通信経路を確立する。具体的には、通信制御部251は、ユーザーが操作部207を操作して、MFP100,100A,100Bのいずれかを遠隔操作の対象となる遠隔制御装置として指示すれば、無線LANI/F208を制御して、遠隔制御装置に接続要求を送信し、遠隔制御装置との間の通信経路を確立する。ここでは、ユーザーがMFP100を遠隔制御装置に指示した場合を例に説明する。この場合、通信制御部251は、MFP100との間で通信経路を確立する。
通信制御部251は、操作画面受信部261と、位置通知部263と、を含む。操作画面受信部261は、無線LANI/F208を制御して、MFP100が送信する画像を受信する。操作画面受信部261は、MFP100から受信された画像を表示制御部253に出力する。MFP100が送信する画像は、操作画面の画像である。
表示制御部253は、表示部206を制御し、操作画面受信部261から入力される画像を表示部206に表示させる。表示制御部253は、受信される操作画面の画像の解像度が低い場合には、操作画面のサイズが表示部206の表示面のサイズに合わせて、操作画面を拡大して表示する。
位置検出制御部255は、タッチパネル207Bを制御して、タッチパネル207Bから入力される座標を位置通知部263に出力する。位置検出制御部255は、タッチパネル207Bから一度に複数の座標が入力される場合、位置通知部263に複数の座標を出力する。タッチパネル207Bから入力される座標は、表示部206に表示された画像中の位置を示す。
位置通知部263は、位置検出制御部255から1以上の座標が入力されることに応じて、1以上の座標を含む遠隔操作指令を、無線LANI/F208を制御して、MFP100に送信する。
図6は、本実施の形態における遠隔制御処理の流れの一例を示すフローチャートである。遠隔制御処理は、MFP100が備えるCPU111が、ROM113、HDD115、CD−ROM118に記憶された遠隔制御プログラムを実行することにより、CPU111により実行される処理である。図6を参照して、CPU111は、接続要求を受信したか否かを判断する(ステップS01)。通信I/F部112が携帯情報装置200,200A,200Bのいずれかから接続要求を受信したか否かを判断する。接続要求を受信するまで待機状態となり(ステップS01でNO)、接接続要求を受信したならば(ステップS01でYES)、処理をステップS02に進める。ここでは、携帯情報装置200から接続要求を受信する場合を例に説明する。
ステップS02においては、接続要求を送信してきた装置、ここでは携帯情報装置200との間で通信経路を確立する。次のステップS03においては、デフォルトの操作画面を決定する。デフォルトの操作画面は、予め定められた操作画面である。
ステップS04においては、操作画面を表示部161に表示し、処理をステップS05に進める。ステップS05においては、通信I/F部112を制御して、ステップS02において確立された通信経路を介して、操作画面を携帯情報装置200に送信し、処理をステップS06に進める。
ステップS06においては、ユーザーの操作を検出したか否かを判断する。タッチパネル165が1以上の座標を出力する場合に、ユーザーの操作を検出する。ユーザーの操作を検出したならば処理をステップS08に進めるが、そうでなければ処理をステップS07に進める。ステップS07においては、通信I/F部112が、ステップS02において確立された通信経路を介して携帯情報装置200から遠隔操作指令を受信したか否かを判断する。携帯情報装置200から遠隔操作指令を受信したならば処理をステップS08に進めるが、そうでなければ処理をステップS06に戻す。
ステップS08においては、ユーザーによる操作を決定する。処理がステップS06から進む場合には、タッチパネル165が出力する1以上の座標に基づいて操作を決定し、処理がステップS07から進む場合には、携帯情報装置200から受信された遠隔操作指令に含まれる1以上の座標に基づいて操作を決定する。
次のステップS09においては、決定された操作が可変表示領域を変更する可変表示領域変更操作か否かを判断する。可変表示領域変更操作は、ピンチイン操作、ピンチアウト操作、フリック操作およびスワイプ操作である。決定された操作が可変表示領域変更操作ならば、処理をステップS10に進めるが、そうでなければ処理をステップS23に進める。ステップS23においては、決定された操作が別の画面に遷移する操作か否かを判断する。決定された操作が別の操作画面に遷移する操作ならば、処理をステップS24に進めるが、そうでなければ処理をステップS25に進める。ステップS24においては、別の操作画面を決定し、処理をステップS06に戻す。
ステップS25においては、決定された操作が処理の終了を指示する操作か否かを判断する。処理の終了を指示する操作ならば処理をステップS26に進めるが、そうでなければ処理をステップS27に進める。ステップS26においては、ステップS02において携帯情報装置200との間で確立された通信経路を切断し、処理を終了する。
ステップS27においては、決定された操作が処理の実行を指示する実行指示操作か否かを判断する。実行指示操作ならば処理をステップS28に進めるが、そうでなければ処理をステップS06に戻す。ステップS28においては、実行指示操作で特定される種類の処理を実行し、処理をステップS04に戻す。
ステップS10においては、操作画面を生成する。可変表示領域を変更する可変表示領域変更操作に従って、操作画面中の可変表示領域に表示する画像を生成し、可変表示領域に生成された画像を配置した操作画面を生成する。そして、操作の速さを決定する。可変表示領域を変更する操作は、所定の時間以上継続し、ユーザーが指示する位置が変動する操作なので、位置の変動量と、その変動に要する時間とに基づいて操作の速さを決定する。次のステップS12においては、特徴部分のサイズを決定する。可変表示領域に配置される画像が、文字を含むならば、文字のサイズを特徴部分のサイズに決定し、写真または図形等を含むならば、エッジ間の最大距離または、グラデーションの程度を特徴部分のサイズに決定する。
そして、優先順位を決定する。解像度とフレームレートとの優先順位を決定する。操作の速さが、特徴部分のサイズに対して予め定められたしきい値より大きい場合は、フレームレートを解像度よりも優先順位を高く決定し、それ以外の場合には解像度をフレームレートよりも優先順位を高く決定する。
次のステップS14においては、解像度の優先順位がフレームレートの優先順位よりも高いか否かを判断する。解像度の優先順位がフレームレートの優先順位よりも高いならば処理をステップS15に進めるが、そうでなければ処理をステップS17に進める。
ステップS15においては、縮小率を決定し、処理をステップS16に進める。ステップS12において決定された特徴部分のサイズに対して、ステップS11において決定された操作の速さに対応して予め定められた縮小率を決定し、処理をステップS16に進める。ステップS16においては、フレームレートを決定し、処理をステップS19に進める。予め定められた単位時間で送信可能なデータ量と、ステップS15において決定された縮小率で操作画面を縮小した後の操作画面のデータ量と、からフレームレートを決定する。
ステップS17においては、ステップS11において決定された操作の速さに対応して予め定められたフレームレートに決定し、処理をステップS18に進める。ステップS18においては、縮小率を決定し、処理をステップS19に進める。予め定められた単位時間で送信可能なデータ量と、ステップS17において決定されたフレームレートと操作画面のデータ量とから縮小率を決定する。
ステップS19においては、ステップS16またはステップS17のいずれかにより決定されたフレームレートに基づいて、送信タイミングか否かを判断する。送信タイミングならば処理をステップS20に進めるが、そうでなければ処理をステップS22に進める。処理がステップS22に進む場合、操作画面が携帯情報装置200に送信されないので、操作画面が間引かれる。
ステップS20においては、ステップS10において生成された操作画面を、ステップS15またはステップS18のいずれかで決定された縮小率で縮小し、処理をステップS21に進める。ステップS21においては、ステップS20において縮小された後の操作画面を、ステップS02において確立された通信経路を介して、携帯情報装置に送信し、処理をステップS22に進める。
ステップS22においては、可変表示領域変更操作が終了したか否かを判断する。可変表示領域変更操作が終了したならば処理をステップS06に戻すが、そうでなければ処理をステップS10に戻す。ステップS10においては、処理がステップS22から進む場合、新たな可変表示領域変更操作に従って、新たな操作画面を生成する。
図7は、解像度テーブルの一例を示す図である。図7を参照して、解像度テーブルは、文字の大きさごとに、操作の速さ別の縮小率を定める。縮小率の欄に対応する文字のサイズと操作の速さは、操作画面がその文字のサイズの文字を含む場合には、操作画面をその縮小率で縮小した操作画面を操作の速さで動かした場合にユーザーが文字を読み取ることのできる最小の操作の速さを示す。例えば、文字のサイズが「4pt」および縮小率「100」に対して、サイズが「4pt」の文字を含む操作画面を縮小することなく操作画面を動かした場合にユーザーが文字を読み取ることのできる最小の操作の速さは「5mm/s」であることを示す。同様に、文字のサイズが「12pt」および縮小率「100」に対して、サイズが「12pt」の文字を含む操作画面を縮小することなく操作画面を動かした場合にユーザーが文字を読み取ることのできる最小の操作の速さは「45mm/s」であることを示す。
また、文字のサイズが「12pt」および縮小率「80」に対して、サイズが「12pt」の文字を含む操作画面を80%のサイズまで縮小した操作画面を動かした場合にユーザーが文字を読み取ることのできる最小の操作の速さは「25mm/s」であることを示す。
解像度テーブルにおいて、縮小率「100」の欄に対応する操作の速さは、文字のサイズに対して予め定められたしきい値を示す。例えば、文字のサイズ「4pt」に対してしきい値「5mm/s」を定め、文字のサイズ「5pt」に対してしきい値「10mm/s」を定め、文字のサイズ「6pt」に対してしきい値「15mm/s」を定め、文字のサイズ「12pt」に対してしきい値「45mm/s」を定める。
具体例を説明するために、操作画面の画像のデータ量を1Mbyteとし、1秒間に送信可能なデータ量を10Mbyteとする場合を例に説明する。この例の場合、操作画面を縮小することなく送信する場合には、フレームレートを10(fps)にして、1秒間に10の操作画面を送信することができる。また、操作画面の動きがスムーズになるフレームレートの最大値を、操作の速さ5(mm/s)に対して10fps、操作の速さ10(mm/s)に対して15fps、操作の速さ15(mm/s)に対して20fps、操作の速さ20(mm/s)に対して25fps、操作の速さ25(mm/s)に対して30fps、操作の速さ30(mm/s)に対して35fps、操作の速さ35(mm/s)に対して40fps、操作の速さ40(mm/s)に対して45fps、操作の速さ45(mm/s)に対して50fps、操作の速さ50(mm/s)に対して55fpsとして説明する。
例えば、文字のサイズが「8pt」の場合、操作の速さが、しきい値「25mm/s」以下の場合には、解像度がフレームレートよりも優先される。具体的には、操作の速さが「25mm/s」の場合には縮小率「100%」が決定される。縮小率「100%」の場合は、1フレームのサイズが1Mとなり、1秒間に送信可能なデータ量10Mbyteからフレームレートが10(fps)に決定される。操作の速さが「25mm/s」の場合に、動きが滑らかに認識されるフレームレートは30(fps)に対して、フレームレートが1/3の10(fps)に決定されるので、動きが滑らかではないが、文字を認識可能な状態で操作画面を表示することができる。また、操作の速さが「15mm/s」の場合には縮小率「90%」が決定される。縮小率「90%」の場合は、1フレームのサイズが0・9Mとなり、1秒間に送信可能なデータ量10Mbyteからフレームレートが11(fps)に決定される。操作の速さが「15mm/s」の場合に、動きが滑らかに認識されるフレームレートは20(fps)に対して、フレームレートが約半分の11(fps)に決定されるので、動きが滑らかではないが、文字を認識可能な状態で操作画面を表示することができる。
例えば、文字のサイズが「8pt」の場合、操作の速さがしきい値「25mm/s」より大きい場合には、フレームレートが解像度よりも優先される。例えば、操作の速さが「30mm/s」に対して操作画面の動きがスムーズになるフレームレートを35(fps)としている。この場合には、1フレームのサイズの最大値は、1秒間に送信可能なデータ量(10Mbyte)をフレームレートで除算した値10/35(Mbyte/フレーム)となる。このため、算出された最大値10/35(Mbyte)を操作画面の画像のデータ量である1Mbyteで除算することにより、縮小率「29%」が決定される。この場合、文字を認識不可能な状態で操作画面が表示されるが、操作画面の動きが操作の速さに対応するので、応答性がよい。
以上説明したように本実施の形態における画像形成システム1において、MFP100は、画像処理装置として機能し、携帯情報装置200により遠隔操作され、携帯情報装置200から受信される遠隔操作指令に基づいて、ユーザーによる操作を決定し、遠隔操作指令に基づいて、ユーザーによる操作の速さを決定し、決定された操作に基づいて、コンテンツ中の表示部分を変更することによって表示用画像を生成し、決定された操作の速さに基づいて、フレームレートと解像度とのいずれを優先するかを決定し、フレームレートと解像度とのいずれか一方を優先して、フレームレートと解像度とを決定し、生成された表示用画像を決定された解像度で変更した表示用画像を、決定されたフレームレートで定まるタイミングで携帯情報装置200に送信する。このため、携帯情報装置200を操作するユーザーの操作の速さに基づいて、フレームレートと解像度とのいずれを優先するかを決定するので、携帯情報装置200を操作するユーザーによる遠隔操作に対応した表示態様で携帯情報装置200に画像を表示させることができる。
また、決定された操作の速さを、コンテンツの特徴部分のサイズに対して予め定められたしきい値と比較することによって、フレームレートと解像度とのいずれを優先するかを決定するので、特徴部分の見易さを基準にしてフレームレートと解像度とのいずれを優先するかを決定することができる。
また、MFP100は、解像度を優先する場合には解像度を決定した後にフレームレートを決定し、フレームレートを優先する場合にはフレームレートを決定した後に解像度を決定する。このため、解像度を優先する場合に画像を見やすくすることができ、フレームレートを優先する場合に操作に対して画像の動きを合わせることができる。
また、コンテンツが文字を含む場合には、特徴部分のサイズは文字のサイズとするので、文字を見やすくするか否かを基準にして、フレームレートと解像度とのいずれを優先するかを決定することができる。
また、コンテンツが画像を含む場合には、特徴部分のサイズはエッジ画素間の距離とするので、画像を見やすくするか否かを基準にして、フレームレートと解像度とのいずれを優先するかを決定することができる。
また、携帯情報装置200が備える表示部206の表示面のサイズに基づいて、コンテンツの特徴部分のサイズを変更するので、携帯情報装置200が備える表示部206の表示面のサイズがMFP100の表示部161の表示面のサイズと異なる場合であっても、携帯情報装置200を操作するユーザーによる操作に対応した表示態様で携帯情報装置200に画像を表示させることができる。
なお、上述した実施の形態においては、画面形成システム1について説明したが、図6に示した遠隔制御処理を、MFP100に実行させる遠隔制御方法、その遠隔制御方法を、MFP100を制御するCPU111に実行させる遠隔制御プログラムとして発明を捉えることができるのは言うまでもない。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。