JP2023018906A - 情報処理装置とその制御方法及びプログラム - Google Patents

情報処理装置とその制御方法及びプログラム Download PDF

Info

Publication number
JP2023018906A
JP2023018906A JP2021123272A JP2021123272A JP2023018906A JP 2023018906 A JP2023018906 A JP 2023018906A JP 2021123272 A JP2021123272 A JP 2021123272A JP 2021123272 A JP2021123272 A JP 2021123272A JP 2023018906 A JP2023018906 A JP 2023018906A
Authority
JP
Japan
Prior art keywords
information
screen
information processing
terminal
operation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021123272A
Other languages
English (en)
Inventor
智也 佐藤
Tomoya Sato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021123272A priority Critical patent/JP2023018906A/ja
Priority to US17/875,017 priority patent/US11856159B2/en
Publication of JP2023018906A publication Critical patent/JP2023018906A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00384—Key input means, e.g. buttons or keypads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H04N1/00973—Input arrangements for operating instructions or parameters, e.g. updating internal software from a remote device, e.g. receiving via the internet instructions input to a computer terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1208—Improving or facilitating administration, e.g. print management resulting in improved quality of the output result, e.g. print layout, colours, workflows, print preview
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1256—User feedback, e.g. print preview, test print, proofing, pre-flight checks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Facsimiles In General (AREA)
  • Computer And Data Communications (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Digital Computer Display Output (AREA)

Abstract

【課題】 タッチやマウスでの操作に対応していない装置をタッチやマウスでの操作に対応する端末から遠隔操作する場合、直感的な操作を行なうことができなかった。【解決手段】 端末で受け付けた画面に対する操作を装置のハードキー操作に変換して処理する。【選択図】 図１２

Description

本発明は、装置を遠隔操作する場合の制御に関する。
装置を遠隔操作するリモートオペレーションという機能がある。これはＶＮＣ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ）というソフトウェア等を使用して実現される。ＶＮＣサーバー側の装置でＶＮＣサーバーソフトウェアを起動しておき、ＶＮＣクライアントはＶＮＣクライアントソフトウェアを起動してＶＮＣサーバーに接続し、遠隔操作を行う。ＶＮＣサーバーとＶＮＣクライアント間の通信は、ＲＦＢ （Ｒｅｍｏｔｅ ＦｒａｍｅＢｕｆｆｅｒ）プロトコル（ＲＦＣ６１４３）を使用する。例えばＶＮＣサーバー機能を有する装置が、ＶＮＣクライアント機能を有する端末に対して、操作画面の画面情報を送信する。端末は、受信した画面情報に基づき、装置の操作パネルに表示されている操作画面と同じ画面を表示する。ユーザーは端末に表示された画面上で操作を行なうことで、装置の操作パネルを操作せずとも、装置に処理を実行させることができる。
特許文献１では、タッチ操作に対応したＶＮＣサーバー装置を遠隔操作する場合、当該装置で検出できないようなタッチ操作（例えばピンチイン操作）をＶＮＣクライアント上で受け付けた場合、当該操作を無効にする方法が開示されている。
このようにＧＵＩ（グラフィカルユーザーインターフェース）を備えているＶＮＣサーバー装置では、画面に表示したボタン等のＵＩ部品を、マウスやタッチパネル等を用いて、操作することにより直感的な操作が可能となっている。こうした装置をタッチ操作に対応したＶＮＣクライアントから遠隔操作する場合、ＶＮＣクライアントに表示された画面上でボタンをタッチ操作することで直感的にボタン等の項目を選択することができる。
特開２０１４－６６６８号公報
しかしながら、装置によっては、上述したようなマウスやタッチパネル等による操作に対応していないものもある。そうした装置では、例えば、装置に備えられたハードキー（例えば上下方向キー）で、画面に表示されたボタンなどの項目に対するフォーカスを移動させて、所望の項目を選択状態にし、装置に備えられたハードキー（決定キー）を押下することで項目を選択する操作ができるようになっている。こうした装置を例えばタッチ操作に対応するＶＮＣクライアント装置から遠隔操作を行なうことを考える。ユーザーは表示された画面の項目をタッチすることで操作を試みるが、ＶＮＣサーバー装置がタッチ操作に対応していないため受け付けた操作を解釈することができない。
本発明では、ハードキーで画面を操作する装置を端末から遠隔操作する場合であっても、直感的に操作可能な方法を提供することを目的とする。
端末と通信可能であり、ハードキーを有する情報処理装置であって、前記情報処理装置が有する表示部に表示される画面に対応する画面の情報を前記端末に送信する送信手段と、前記送信手段で送信された画面の情報に基づいて前記端末で表示された画面に対して受け付けたユーザー操作に対応する操作情報であり、座標情報を含む操作情報を前記端末から受信する受信手段と、前記受信手段で受信した操作情報に含まれる座標情報に基づいて、当該操作情報を前記ハードキーによる操作情報に変換する変換手段と、前記変換手段で変換された操作情報に基づいて処理を実行する実行手段と、を有することを特徴とする情報処理装置。
本発明によれば、ハードキーで画面を操作する装置を端末から遠隔操作する場合であっても、直感的に操作することができる。
システム構成の一例を示す図 画像形成装置１０２のハードウェア構成図 画像形成装置１０２のソフトウェア構成図 モバイル端末１０３のハードウェア構成図 モバイル端末１０３のソフトウェア構成図 表示・操作部２０７の一例を示す図 画面生成部３０８により生成される、操作画面の例を示す図 画面生成部３０８により生成される、操作画面の例を示す図 画面生成部３０８により生成される、操作画面の例を示す図 モバイル端末１０３の操作パネル４０６に表示される画面の例を示す図 ＶＮＣクライアントとの接続処理を説明するフローチャート ＶＮＣサーバーでの操作情報変換処理を説明するフローチャート 操作情報変換テーブルと画面情報を示す図 操作情報変換テーブルと画面情報を示す図 操作情報変換テーブルと画面情報を示す図 ＶＮＣクライアントでの操作情報変換処理を説明するフローチャート
以下、本発明を実施するための最良の形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。また以下の実施例では情報処理装置の一例として画像形成装置を用いて説明を行うが、これに限らない。
（実施例１）
図１は、本実施の一形態に係る情報処理システム構成の一例を示す図である。ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１０５には、ＶＮＣ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ）サーバー機能を有する画像形成装置１０２、ＶＮＣクライアント機能を有する情報処理装置であるパーソナルコンピューター（ＰＣ）１０１、アクセスポイント１０４が接続される。また、ＶＮＣクライアント機能を有する情報処理装置であるモバイル端末１０３がアクセスポイント１０４を介してＬＡＮ１０５に接続される。画像形成装置１０２及びモバイル端末１０３が無線ダイレクト通信機能を備えている場合は、ＬＡＮ１０５を介さず直接通信可能である。本実施例においては、ＶＮＣサーバー機能を有する画像形成装置１０２にＶＮＣクライアント機能を有するモバイル端末１０３がＶＮＣ接続する例を説明する。しかし、接続するＶＮＣクライアントは、ＶＮＣクライアント機能を有していれば他の装置（例えばＰＣ１０１や図示しないその他の画像形成装置等）であっても構わない。
以下ではＶＮＣサーバーとして動作する画像形成装置１０２をサーバーと呼び、このサーバーにＶＮＣ接続するＰＣ１０１やモバイル端末１０３等の情報処理装置をクライアントと呼ぶ。
ＶＮＣサーバー機能を有する画像形成装置１０２は自装置の表示部に表示された画面に対応する画面情報をクライアントに送信する。画面情報を取得したクライアントは画像形成装置１０２に表示された画面に対応する画面を表示する。クライアントで表示された画面上で操作を行なうと当該操作情報が画像形成装置１０２に送信され、画像形成装置１０２は当該操作に応じて処理を行う。つまりクライアントは画像形成装置１０２にＶＮＣ接続を行うことで、画像形成装置１０２を遠隔操作（リモートオペレーション）することができる。
最初に、画像形成装置１０２はＶＮＣサーバーソフトウェアを起動する。そしてクライアントからの接続要求を待機する。次に、モバイル端末１０３はＶＮＣクライアントソフトウェアを起動する。そしてユーザー操作等で所望のサーバーに接続する。サーバーとクライアント間の通信は、ＲＦＢ（Ｒｅｍｏｔｅ ＦｒａｍｅＢｕｆｆｅｒ）プロトコルに従って行われる。ＲＦＢプロトコルは、最初にハンドシェーク処理を行う。そしてハンドシェーク処理が完了した後に、画面情報や操作情報の送受信を行う。
図２は、画像形成装置１０２のハードウェア構成図である。画像形成装置１０２内のコントローラユニット２０１において、ＣＰＵ２０２はシステム全体を制御する演算装置である。ＣＰＵ２０２はシステムバス２１２に接続される各デバイスを総括的に制御する。
ＲＯＭ２０４は、不揮発性のメモリであり、画像データやその他のデータ、ＣＰＵ２０２が動作するための各種プログラムなどが格納されている。
ＲＡＭ２０３は、揮発性のメモリであり、ＣＰＵ２０２の主メモリ、ワークエリア等の一時記憶領域として用いられる。また、ＲＡＭ２０３はオペレーティングシステムやシステムソフトウェア、アプリケーションソフトウェアなどのプログラムやデータも配置される。
ＣＰＵ２０２は、ＲＯＭ２０４等に格納されるプログラムをＲＡＭ２０３に展開し、実行することで画像形成装置１０２の各部を制御する。なお、ＣＰＵ２０２が動作するためのプログラムは、ＲＯＭ２０４に格納されるものに限らず、ハードディスクドライブ（ＨＤＤ）２０５等に予め記憶されたものを用いてもよい。
ハードディスクドライブ（ＨＤＤ）２０５は、オペレーティングシステムやシステムソフトウェア、アプリケーションソフトウェア、画像データ、設定データなどを格納する。しかしこれは、データを格納することができるのであれば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＳＤメモリーカード、またはｅＭＭＣ（ｅｍｂｅｄｄｅｄ ＭｕｌｔｉＭｅｄｉａＣａｒｄ）など、その他の記憶装置を用いても構わない。
表示・操作部Ｉ／Ｆ２０６は、表示・操作部２０７とのインターフェース部であり、表示・操作部２０７に表示する情報を表示・操作部２０７に対して出力する。また、表示・操作部２０７からユーザーが入力した情報を受け付ける。表示・操作部２０７は、ユーザー操作を受け付けるためのハードキーを備える。
図６は、本発明の実施例である画像形成装置１０２にある表示・操作部２０７の概観図である。
表示部６０１は、機器の状態や各入出力の結果など各種情報を表示するディスプレイである。上方向キー６０２、右方向キー６０３、下方向キー６０４、左方向キー６０５、ＯＫキー６０６等は、画像形成装置１０２を操作するためのハードキーである。上下左右方向キー（６０２から６０５）には主に、選択肢を選択する画面においてフォーカス（選択状態にある項目）を移動させる機能や、前の画面や次の画面へ表示画面を遷移させる機能などが割り当てられている。ＯＫキー６０６には主に、上下左右方向キー（６０２から６０５）の操作によってフォーカスされた選択項目を確定するための機能が割り当てられている。このように画像形成装置１０２は表示部６０１に表示される画面が操作部であるハードキーを用いて操作される。つまり画像形成装置１０２は表示部６０１に表示される画面のタッチ操作は検知できず、ポインティングデバイスによる操作に対応していない。換言すると画像形成装置１０２は座標情報に基づいてユーザ操作を判定可能でない。
通知ＬＥＤ６０７は、機器の状態の通知などを行うためのＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。点灯、点滅などの動作による通知と、色による通知がある。
ネットワークＩ／Ｆ２０８は、ネットワーク（ＬＡＮ）１０５に接続し、同一ＬＡＮ上に接続されたＰＣ１０１、図示しない他の画像形成装置等と通信を行ったり、アクセスポイント１０４を介してモバイル端末１０３と情報の入出力を行う。
デバイスＩ／Ｆ２０９は、画像入出力デバイスであるスキャナ２１０、プリンタ２１１とコントローラユニット２０１を接続し、画像データの入力や出力を行う。つまり画像データを用紙にプリントしたり、原稿のスキャン等を行う。
図３は、画像形成装置１０２のソフトウェア構成図である。システムソフトウェア３０１はＲＡＭ２０３、ＲＯＭ２０４、ＨＤＤ２０５のいずれかの記憶手段に記憶され、ＣＰＵ２０２により実行される。
ジョブコントロール処理部３０２は、アプリケーション３１０を含む各ソフトウェアモジュールを制御し、コピー、プリント、スキャン、などの画像形成装置１０２が実行するジョブの制御を行う。
スキャン処理部３０３は、ジョブコントロール処理部３０２の指示に基づいて、デバイスＩ／Ｆ２０９を経由してスキャナ２１０を制御して、スキャナ２１０の原稿台に設置されている原稿を読み込む処理を行う。
プリント処理部３０４は、ジョブコントロール処理部３０２の指示に基づいて、デバイスＩ／Ｆ２０９を経由してプリンタ２１１を制御して、指定された画像の印刷処理を行う。
操作入力解析部３０５は、表示・操作部Ｉ／Ｆ２０６を介して表示・操作部２０７から供給される情報を解析し、ユーザー操作に応じたイベントをイベント処理部３０７に通知する。操作入力解析部３０５において解析される情報とは、ユーザーがハードキーを押下したことを示す操作情報である。
イベント解析部３０６は、操作入力以外に画像形成装置１０２で発生する各種事象をジョブコントロール処理部３０２などから受け取って解析し、その事象に応じたイベントをイベント処理部３０７に通知する。イベント解析部３０６の解析する各種事象とは、ジョブが終了したことや印刷用紙が不足していること等、ユーザーによる操作によって発生する事象以外の事象である。
イベント処理部３０７は、操作入力解析部３０５、イベント解析部３０６、または操作情報受信部３２２、アプリケーション３１０などからイベントを受け取る。イベント処理部３０７はイベントに応じてジョブコントロール処理部３０２、画面生成部３０８、またはアプリケーション３１０にイベントを通知し、画像形成装置１０２の各部を制御する。
画面生成部３０８は、表示・操作部２０７や外部装置の表示部に表示する画面のデータをＲＡＭ２０３上に生成する処理を行う。
画面表示部３０９は、画面生成部３０８が生成した画面のデータをＲＡＭ２０３から読み取って、表示・操作部Ｉ／Ｆ２０６を介して表示・操作部２０７のディスプレイに表示する表示制御を行う。
アプリケーション３１０は、画像形成装置１０２上で動作するアプリケーション群であり、イベント処理部３０７を介したユーザーからの指示を受け取り、それに従ってジョブを制御するためのイベントをイベント処理部３０７へ通知する等の所定の処理を行う。例えば、画像形成装置１０２が有するアプリケーションとしては以下のものが挙げられる。
・スキャナ２０１により原稿上の画像を読み取って生成された画像データをプリンタ２１１にて印刷するコピー機能
・ＰＣ１０１やモバイル端末１０３等の外部装置から投入されたプリントジョブに基づいて画像データをプリンタ２１１にて印刷するプリント機能
・スキャナ２０１により原稿上の画像を読み取って生成された画像データをネットワークＩ／Ｆ２０８を介して外部へ送信するスキャンして送信機能
なお、画像形成装置１０２が有するアプリケーションは上記に限らず、ユーザーの指示により後からアプリケーションを追加することも可能である。
ＶＮＣサーバー３２０は、クライアントとＬＡＮ１０５を介して通信するためのソフトウェアモジュールである。例えば、モバイル端末１０３上で動作するＶＮＣクライアント５２０と通信し遠隔操作を受け付けるための処理を行う。
接続処理部３２１は、例えばＶＮＣクライアント５２０の接続処理部５２１からの接続要求を受け付け、接続制御を行う。
操作情報受信部３２２は、例えばＶＮＣクライアント５２０の操作情報送信部５２２から操作情報を受信し、後述する操作情報変換処理を行って、ユーザー操作に応じたイベントをイベント処理部３０７に通知する。
画面送信部３２３は、画面生成部３０８が生成した画面データをＲＡＭ２０３から読み取って、ＶＮＣクライアント５２０の画面受信部５２３に送信する処理を行う。
図４は、モバイル端末１０３のハードウェア構成図である。モバイル端末１０３内において、ＣＰＵ４０１はシステム全体を制御する演算装置である。ＣＰＵ４０１はシステムバス４１１に接続される各デバイスを総括的に制御する。
ＲＯＭ４０２は、不揮発性のメモリであり、画像データやその他のデータ、ＣＰＵ４０１が動作するための各種プログラムなどが格納されている。ＲＡＭ４０３は、揮発性のメモリであり、ＣＰＵ４０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。また、ＲＡＭ４０３はオペレーティングシステムやシステムソフトウェア、アプリケーションソフトウェアなどのプログラムやデータも配置される。
ＣＰＵ４０１は、ＲＯＭ４０２等に格納されるプログラムをＲＡＭ４０３に展開し、実行することでモバイル端末１０３の各部を制御する。なお、ＣＰＵ４０１が動作するためのプログラムは、ＲＯＭ４０２に格納されるものに限らず、ストレージ４０４等に予め記憶されたものを用いてもよい。ストレージ４０４は、オペレーティングシステム（ＯＳ）やシステムソフトウェア、アプリケーションソフトウェア、写真や電子文書、設定データなどを格納する。しかしこれは、データを格納することができるのであれば、ＳＳＤ、ＳＤメモリーカード、またはｅＭＭＣなど、その他の記憶装置を用いても構わない。
ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）４０５は、時間を計時する。
操作パネル４０６は、ユーザーのタッチ操作を検出可能なタッチパネル機能を備え、ＯＳ５３０やＭＦＰアプリケーション５０２が提供する各種画面を表示する。ユーザーは操作パネル４０６にタッチ操作を入力することで、モバイル端末１０３に所望の操作指示を入力することができる。
スピーカー４０７とマイク４０８は、たとえばユーザーが他のモバイル端末や固定電話と電話をする際に使用される。
カメラ４０９は、ユーザーの撮像指示に応じて撮像を行う。カメラ４０９によって撮像された写真は、ストレージ４０４の所定の領域に記憶される。
無線通信部４１０は、無線通信ＬＡＮ等の無線通信を実行する。
図５は、モバイル端末１０３のソフトウェア構成図である。システムソフトウェア５０１はＲＡＭ４０３、ＲＯＭ４０２、ストレージ４０４のいずれかの記憶手段に記憶され、ＣＰＵ４０１により実行される。
ＯＳ５３０は、モバイル端末１０３全体の動作を制御するためのソフトウェアである。モバイル端末１０３には、後述するＭＦＰアプリケーション５０２を含め、様々なアプリケーションをインストールすることができる。ＯＳ５３０はこれらのアプリケーションとの間で情報をやり取りし、アプリケーションから受けた指示に従って、操作パネル４０６に表示する画面を変更する。また、ＯＳ５３０は、各種ハードウェアを制御するためのデバイスドライバ群を備えており、ＯＳ５３０上で動作するアプリケーションに対して各種ハードウェアを利用する為のＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を提供する。デバイスドライバ群として本実施例では無線ＬＡＮ制御部５３１が存在する。
無線ＬＡＮ制御部５３１は無線通信部４１０を制御するためのデバイスドライバである。
ＭＦＰアプリケーション５０２は、モバイル端末１０３にインストールされたアプリケーションである。ＭＦＰアプリケーション５０２を用いて画像形成装置１０２等の画像形成装置に対して印刷やスキャンの指示や、画像形成装置の操作画面の遠隔操作などを行うことができる。モバイル端末１０３には、このＭＦＰアプリケーション５０２の他に様々なアプリケーションがインストールされているが、説明は省略する。
ＭＦＰアプリケーション５０２のソフトウェア構成についてさらに詳しく説明する。画面制御部５０３は、ＯＳ５３０を介して操作パネル４０６に表示する画面を制御する。画面制御部５０３によって、ＭＦＰアプリケーション５０２の画面が操作パネル４０６に表示される。また、画面制御部５０３は、操作パネル４０６を介してユーザーが入力した操作指示を判別する。また、画面制御部５０３は、画面受信部５２３がアプリ記憶部５０６に記録した画像データを読み出し、ＯＳ５３０を介して操作パネル４０６に表示する。
通信部５０４は、ＯＳ５３０を介して、無線通信部４１０による無線通信を制御してコマンドの送受信などを行う。
計時部５０５は、時間を計時する。
アプリ記憶部５０６は、ＭＦＰアプリケーション５０２の実行のための様々な情報を一時的にＲＡＭ４０３に記憶する。
デバイス検索制御部５０７は、接続する画像形成装置１０２を検索する検索用データを生成し、無線通信部４１０によってＬＡＮ１０５上のデバイスに送信され、該当する画像形成装置１０２からのレスポンスを受信する。検索用データは、ＬＡＮ１０５上のすべてのデバイスにブロードキャストする場合もあるし、１台のアドレスを指定して送信する場合もある。
印刷ジョブ生成部５０８は、印刷ジョブを生成する。印刷ジョブ生成部５０８によって生成された印刷ジョブは、無線通信部４１０によって画像形成装置１０２に送信され、そして画像形成装置１０２で印刷が実行される。
スキャンジョブ制御部５０９は、スキャン機能を実現する制御部であり、無線通信部４１０によって画像形成装置１０２にスキャン指示を行い、画像形成装置１０２から受信したスキャンデータを表示する。スキャンデータを保存する場合は、アプリ記憶部５０６に記憶される。
ＶＮＣクライアント５２０は、画像形成装置上で動作するＶＮＣサーバー３２０とＬＡＮ１０５等を介した通信を行うことで画像形成装置を遠隔操作するためのソフトウェアモジュールである。
接続処理部５２１は、ユーザーからの要求を受け付けてＶＮＣサーバー３２０の接続処理部３２１に対して接続要求を送信し、接続処理を行う。
操作情報送信部５２２は、操作パネル４０６を介してユーザーが入力した操作指示を画面制御部５０３から受信し、ＶＮＣサーバー３２０の操作情報受信部３２２に送信する。
画面受信部５２３は、ＶＮＣサーバー３２０の画面送信部３２３から画面データを受信し、アプリ記憶部５０６に記録する。
なお、ＶＮＣサーバー３２０とＶＮＣクライアント５２０の間の通信は、ＣＰＵ２０２およびＣＰＵ４０１が、それぞれネットワークＩ／Ｆ２０８および無線通信部４１０を制御することで実現する。
上記のような各ソフトウェアモジュールの処理によって、画像形成装置１０２の表示・操作部２０７のディスプレイに表示される画面と同じ画面がモバイル端末１０３の操作パネル４０６にも表示される。そして、ユーザーがモバイル端末１０３の操作パネル４０６を用いて操作を行うことで、遠隔で画像形成装置１０２に各種処理を実行させることができる。上述したように画像形成装置１０２は、ディスプレイに表示された画面をハードキーで操作するのに対して、モバイル端末１０３はディスプレイに表示された画面を当該画面への指示体のタッチで操作を行なう。つまりモバイル端末１０３は、ポインティングデバイスによる操作に対応する装置である。換言するとモバイル端末１０３は座標情報に基づいて操作を判定することが可能である。以下の説明ではポインティングデバイスによる操作に対応する装置として、画面へのタッチ操作が可能なモバイル端末を例にするがこれに限らない。例えば、マウス等でカーソルを移動させるパーソナルコンピューター等であっても良い。
図７から図９は、画像形成装置１０２の表示・操作部２０７の表示部６０１に表示される操作画面の例を示す図である。操作画面は複数の画面があり、画面毎に項目に対応する領域等の配置が決まっている。ここでは予め定められた複数の画面種類（画面フォーマット）のうちのいずれかの画面が表示される。図７は、画面フォーマットＩＤ＝１の画面の例である。画面フォーマットＩＤ＝１は複数項目のリストから一つの項目を選択させる画面に用いられる画面である。図７の画面の例では、「環境設定（７０１）」「調整／メンテナンス（７０２）」「印字調整サンプルプリント（７０３）」「管理設定（７０４）」から一つを選択させ、いずれかが選択されると、選択された項目に対応する画面に遷移する。図７（ａ）は、この画面が呼び出された時に表示する画面である。「環境設定（７０１）」の行が選択状態になっている。ここで、ユーザーが「印字調整サンプルプリント（７０３）」の項目を選択したいとする。その場合、まずユーザーは表示・操作部２０７の下方向キー６０４を押下する。下方向キー６０４が押下されると、図７（ｂ）の画面のように、「調整／メンテナンス（７０２）」の行が選択状態となる。さらにユーザーがもう一度下方向キー６０４押下すると、図７（ｃ）の画面のように、「印字調整サンプルプリント（７０３）」の項目が選択状態となる。この状態でユーザーが表示・操作部２０７のＯＫキー６０６を押下すると、図８に示す「印字調整サンプルプリント」の画面に遷移する。
図８は、画面フォーマットＩＤ＝２の画面の例である。画面フォーマットＩＤ＝２は二つのボタンのうちの一つをユーザーに選択させる場合に用いられる画面である。図８（ａ）は、この画面が呼び出された時に表示する画面であり「いいえ」のボタン（８０１）が選択状態になっている。ここで、ユーザーがＯＫキー６０６を押下すると、印字調整サンプルのプリントは実行しないで、図７の画面に戻る。ユーザーがサンプルプリントを実行したい場合、操作パネルの左方向キー６０５を押下する。左方向キー６０５が押下されると、図８（ｂ）の画面のように、「はい」ボタン（８０２）が選択状態となる。この状態で、ユーザーがＯＫキー６０６を押下すると、印字調整サンプルのプリントを実行し、図９に示す画面に遷移する。
図９は、画面フォーマットＩＤ＝３の画面の例である。画面フォーマットＩＤ＝３はボタンを一つ表示して、ユーザーにボタンを選択させる場合に用いられる画面である。図９（ａ）は、この画面が呼び出された時に表示する画面であり「ＯＫ」ボタン（９０１）が選択状態になっている。ここで、ユーザーがＯＫキー６０６を押下すると、図７の画面に戻る。
このように、ユーザーは上下左右方向キー（６０２～６０５）でフォーカス（選択状態の項目）を移動させて、所望の項目が選択されている状態で「ＯＫキー（６０６）」を押下するという操作によって、画像形成装置１０２の操作を行う。
なお、画面種類は図７から図９に示した３種類に限らず、その他複数の画面種類があって良い。画面生成部３０８は対応する画面種類に応じた画面を生成する。画面生成部３０８は、現在表示中の画面の画面種類や画面の状態等を保持している。
図１０は、図７（ａ）に示す画面を画像形成装置１０２が表示している時に、画像形成装置１０２に接続されたＶＮＣクライアント５２０に表示される画面の例を示した図である。ＶＮＣクライアント５２０には、図７（ａ）つまり表示部６０１に表示される画面と同じ画面１００１が表示される。さらに、ＶＮＣクライアント５２０は、画像形成装置１０２に接続する際に画像形成装置１０２から画像形成装置１０２が有するハードキーの情報を受信し、受信したハードキーの情報を基に画像形成装置１０２のハードキーを模したソフトキーパネル１００２を表示する。ソフトキーパネル１００２には、表示・操作部２０７が持つ各ハードキーと同じ役割を持つボタンが表示される。なお、本実施形態におけるソフトキーパネル１０２は画像形成装置１０２のハードキーを模したものとするが、これに限らない。ソフトキーパネル１０２が画像形成装置１０２のハードキーの配列とは異なるキー配列であっても良い。
ユーザーがソフトキーパネル１００２内のボタンを押下すると、ＶＮＣクライアント５２０は、対応する操作情報（ハードキー操作情報）を画像形成装置１０２に送る。具体的には押下されたキーに対応するキーコードをＲＦＢプロトコルのＫｅｙＥｖｎｅｔとしてＶＮＣサーバー３２０に通知する。ＶＮＣサーバー３２０はハードキー操作情報を受け取ると、表示・操作部２０７内の対応するハードキーが押下されたのと同じイベントを生成して処理を行う。従って、ユーザーは画像形成装置１０２の表示・操作部２０７内のハードキー（例えば６０２から６０６）を操作するのと同様、ＶＮＣクライアント５２０に表示されたソフトキーパネル１００２内の上下左右方向ボタン（１００３～１００７）でフォーカスを移動させて、所望の項目が選択されている状態で「ＯＫボタン（１００７）」を押下するという操作によって、画像形成装置１０２の操作を行うことができる。
また、ＶＮＣクライアントであるモバイル端末１０３は画面をタッチすることでも操作可能であるので、ＶＮＣクライアントに表示される画面１００１を直接タッチすることでも画像形成装置１０２の操作を行うことが可能なように構成する。例えば、図１０の画面が表示されている状態でユーザーが「印字調整サンプルプリント」の項目を選択したい場合、ＶＮＣクライアントに表示されている画面１００１上で「印字調整サンプルプリント」の項目が表示されている領域（１００８）を直接タッチする。ユーザーがＶＮＣクライアント５２０の画面でタッチ操作を行うと、操作情報をＶＮＣサーバー５２０に通知する。ここで操作情報とは具体的にはタッチされた位置の画面１００１内での座標を、ＲＦＢプロトコルのＰｏｉｎｔｅｒＥｖｅｎｔとしてＶＮＣサーバー５２０に通知する。ＶＮＣサーバー５２０はタッチ操作情報を受信すると、後述するハードキー操作変換処理を実行する。その結果、図８に示す画面が、画像形成装置１０２の表示・操作部２０７に表示され、ＶＮＣクライアント５２０にも表示される。つまりタッチ操作に対応していない装置を、タッチ操作に対応した他の装置からタッチ操作で遠隔操作を行なうことができる。以上に説明したように、ＶＮＣクライアントにおいて、ソフトパネルキー１０２に対する操作と画面１００１を直接タッチする操作のいずれの操作でも画像形成装置１０２の遠隔操作が可能である。
図１１は、本実施例における画像形成処理１０２のＶＮＣサーバー３２０の処理を説明するフローチャートである。本フローは、ＣＰＵ２０２がＲＯＭ２０４又はＨＤＤ２０５に記憶された各制御モジュールを実現するためのプログラムをＲＡＭ２０３に読み出し、実行することにより実現される。
ユーザーによって画像形成処理１０２の電源が入れられると、画像形成処理装置１０２内のシステムによりＶＮＣサーバーが起動される。ＶＮＣサーバーの起動処理において、接続処理部３２１はＶＮＣ接続用のポートをオープンし、クライアントからの接続を待機する（Ｓ１１０１）。
ユーザーがモバイル端末１０３を操作することでＶＮＣによるリモートオペレーション機能を開始し、モバイル端末１０３が画像形成処理１０２とのＶＮＣ接続を要求すると、接続処理部３２１がクライアントからの接続要求を受信する（Ｓ１１０２）。ＶＮＣ接続が成功したか否かを判定し（Ｓ１１０３）、成功した場合はＳ１１０４へ進み、失敗した場合はＳ１１０１に戻り処理を繰り返す。ＶＮＣ接続が成功すると、画面表示部３０８が生成した操作画面を、画面表示部３０９が表示・操作部２０７のディスプレイに表示すると同時に、画面送信部３２３が当該操作画面の情報をモバイル端末１０３へ送信する（Ｓ１１０４）。この処理によって画像形成装置１０２に表示された画面と同じ画面をモバイル端末１０３上に表示することができる。
図１２は、本実施例における画像形成処理１０２のＶＮＣサーバー３２０における、操作情報受信処理を説明するフローチャートである。本フローは、ＣＰＵ２０２がＲＯＭ２０４又はＨＤＤ２０５に記憶された各制御モジュールを実現するためのプログラムをＲＡＭ２０３に読み出し、実行することにより実現される。
図１１で説明した処理によってＶＮＣサーバー３２０がＶＮＣクライアントと接続すると、ＣＰＵ２０２は、ＶＮＣクライアントからの操作情報の受信を待機する（Ｓ１２０１）。
ユーザーがモバイル端末１０３の操作パネル４０６をタッチ操作するとＶＮＣクライアント５２０はＶＮＣサーバー３２０に、タッチ操作に対応する操作情報を通知する。画像形成装置１０２が有するハードキーに対応するソフトキーパネル１００２へのタッチ操作情報（以降、ハードキー操作情報と称す）、もしくはソフトキーパネル１００２以外の領域、例えば１００８へのタッチ操作情報（以降、項目タッチ操作情報と称す）のいずれかが操作情報として通知される。ＶＮＣサーバー３２０はこの操作情報を受信する（Ｓ１２０２）。操作情報を受信すると、ＣＰＵ２０２は、通知された操作情報が項目タッチ操作情報であるか否かを判断する（Ｓ１２０３）。具体的には、通知がＲＦＢプロトコルにおけるＰｏｉｎｔｅｒＥｖｅｎｔであるかを判断する。通知されたのが項目タッチ操作情報ではない（すなわち、通知されたのはハードキー操作情報である）と判断すると、ＣＰＵ２０２は、ステップＳ１２０８に処理を進める。一方、通知されたのが項目タッチ操作情報であると判断すると、ＣＰＵ２０２は、ステップＳ１２０４に処理を進める。
ステップＳ１２０４においてＣＰＵ２０２は、表示中の画面種類情報（フォーマットＩＤ）を取得する。具体的には、画面生成部３０８に問い合わせて、画面生成部３０８が保持している画面種類情報を取得する。次にＣＰＵ２０２は、ステップＳ１２０５において、取得した画面種類、画面状態に対応する操作変換テーブルを読み出す。操作変換テーブルは、画面種類や画面状態ごとに、ユーザーからの操作を受け付けるボタン等の領域（項目領域）の座標と、項目領域に対応する代替ハードキー操作を対応づけたテーブルであり、画像形成装置のＨＤＤ２０５またはＲＯＭ２０４に予め保持されている。図１３から図１５は、操作変換テーブルを模式的に表した図である。
図１３（ａ）はフォーマットＩＤ＝１の画面の操作変換テーブルの例である。１３０１から１３０４の各行が、それぞれ項目領域を示していて、領域の座標、及び、その領域がタッチされた時に当該タッチを再現するためのハードキーに対する操作情報（代替ハードキー操作の情報）が格納されている。例えば、領域１（１３０１）はｘ座標が０から１３２の範囲、ｙ座標が１３から２４の範囲の領域であり、代替ハードキー操作はＯＫキー押下であることを示している。また、領域３（１３０３）はｘ座標が０から１３２の範囲、ｙ座標が３７から４８の範囲の領域であり、代替ハードキー操作は、下方向キー押下、下方向キー押下、ＯＫキー押下と続けて行うことを示している。ここでは方向キーの後にＯＫキーの押下を行う例を示したが、ＯＫキーの押下イベントは発生しないようにしても良い。つまり所望する項目をタッチして、フォーカス移動させた日、もう一度当該項目をタッチすることでＯＫキーの押下イベントが発生するようにしても良い。
図１３（ｂ）は、図１３（ａ）に示した各項目領域を図的に示したものである。領域１（１３０１）は１３１０、領域２（１３０２）は１３１１、領域３（１３０３）は１３１２、領域４（１３０４）は１３１３、にそれぞれ対応している。例えば、フォーマットＩＤ＝１の画面として図７に示す画面を表示している場合、「環境設定７０１」が表示されている領域が領域１、「調整／メンテナンス７０２」が表示されている領域が領域２、「印字調整サンプルプリント７０３」が表示されている領域が領域３、「管理設定７０４」が表示されている領域が領域４に対応する。
図１３（ａ）操作変換テーブルは、領域１（１３１０）がフォーカスされている時の操作変換テーブルである。フォーカスされている領域が変わると代替ハードキー操作もそれに応じて変更されるため、フォーカスされている領域ごとに異なる操作変換テーブルを設けても良い。図１３（ｃ）は領域２（１３１１）がフォーカスされている時の操作変換テーブルを示す。図１３（ｃ）では図１３（ａ）と比べ各領域の代替ハードキー操作が変更されている。このようにフォーカスされている領域ごとに異なる操作変換テーブル予めを設けておいても良いし、図１３（ａ）操作変換テーブルを基にして、フォーカスが変更されるたびに代替ハードキーを導出して操作変換テーブルを新たに生成するようにしても良い。
図１４、図１５は、それぞれフォーマットＩＤ＝２、フォーマットＩＤ＝３の画面の操作変換テーブルの例である。図１４においては、領域１（１４０１）は１４１０、領域２（１４０２）は１４１１にそれぞれ対応している。図１５においては、領域１（１５０１）は１５１０に対応している。図１４（ａ）は領域２がフォーカスされている状態での操作変換テーブルで、図１５（ｂ）は領域１がフォーカスされている状態での操作変換テーブルである。
ステップＳ１２０６においてＣＰＵ２０２は、通知された項目タッチ操作情報に含まれるタッチ座標が、読み出した操作変換テーブルの項目領域に含まれるか否かを判断する。例えばフォーマットＩＤ＝１の画面において、通知されたタッチ操作の座標が、ｙ＝１０の座標であった場合は、領域１から領域４のいずれの領域の座標にも当てはまらないため、項目領域に含まれないと判断する。項目領域に含まれないと判断すると、ＣＰＵ２０２は処理をステップＳ１２０１に戻して、次の操作情報の受信を待つ。つまり、項目領域に含まれない個所をタッチしても処理は行われない。
タッチ座標が項目領域に含まれると判断すると、ＣＰＵ２０２は対応するハードキー操作情報に変換する（Ｓ１２０７）。具体的には、操作変換テーブルから該当する項目領域の代替ハードキー操作の情報を読み出して、対応するハードキーイベントを生成して、イベント処理部３０７に通知する。
ステップＳ１２０８においてＣＰＵ２０２はハードキーへの変換処理を行う。具体的には、イベント処理部３０７が、通知されたハードキーイベントをアプリケーション３１０に通知して、アプリケーション３１０が通知されたイベントに応じた処理を実行する。処理を実行した結果、画面を更新する場合、画面生成部３０８が画面を生成し画面表示部３０９に通知する。画面表示部３０９は表示・操作部Ｉ／Ｆを介して操作部６０１に画面を表示する。さらに、画面生成部３０８は、画面送信部３２３を介して、ＶＮＣクライアント５２０に生成した画面を送信する。
その後、ＣＰＵ２０２は処理をステップＳ１２０１に戻して、次の操作情報の受信を待つ。
以上のフローチャートの処理により、モバイル端末１０３のＶＮＣクライアント５２０の画面に表示された操作画面に対して、タッチ操作による直感的な操作を行なうことが可能となる。例えば、図１０に示す画面がＶＮＣクライアントに表示されている状態で、「印字調整サンプルプリント」が表示されている領域の座標（例えばｘ＝１０、ｙ＝４０）をタッチすると、タッチ操作情報がＶＮＣクライアント５２０から画像形成装置１０２に通知される。通知されたタッチ操作情報の座標は、フォーマットＩＤ＝１の画面において領域３に含まれる座標であるため、下方向キー押下、下方向キー押下、ＯＫキー押下というハードキー操作に変換されて処理が実行される。従って、図７に示したように「印字調整サンプルプリント７０３」が選択状態で、ＯＫキー６０６が押下されることとなるので、図８に示す「印字調整サンプルプリント」の画面に遷移することができる。
（実施例２）
実施例１では、モバイル端末から受信した操作情報に含まれる座標情報に基づいて画像形成装置がハードキー操作情報に変換して処理を実行していた。本実施例では、モバイル端末で受け付けた操作をモバイル端末においてハードキー操作情報に変換して画像形成装置に変換した情報を送信する例を示す。なお本実施例の基本構成は実施例１と同じであるため差分のみ示す。
本実施例において、モバイル端末１０３は、図１３～図１５に示すような操作変換テーブルを記憶しているものとする。この操作変換テーブルは、モバイル端末１０３が画像形成装置１０２とＶＮＣ接続処理を行うときに画像形成装置１０２から取得するようにしても良いし、ＭＦＰアプリケーション５０２が予め画像形成装置１０２の情報と対応付けて記憶しているようにしても良い。
図１６はモバイル端末１０３における操作情報の送信処理を示すフローチャートである。本フローは、ＣＰＵ４０１がＲＯＭ４０２又はストレージ４０４に記憶された各制御モジュールを実現するためのプログラムをＲＡＭ４０３に読み出し、実行することにより実現される。
画面受信部５２３が画像形成装置１０２から画面の情報を受信し、画面制御部５０３が画面を表示する（Ｓ１６００）。このとき画像形成装置１０２から当該画面に対応する操作変換テーブルを画像形成装置１０２から取得するようにしても良い。そして表示した画面上でユーザーからタッチ操作を受け付ける（Ｓ１６０１）と当該タッチ操作がソフトキーパネル１００２以外の領域に対するタッチ操作であるか否かを判断する（Ｓ１６０２）。ソフトキーパネル１００２へのタッチ操作であった場合は、ハードキー操作情報を画像形成装置１０２に送信する（Ｓ１６０７）。ソフトキーパネル１００２以外の領域に対するタッチ操作である場合は、表示中の画面種類の情報を取得し（Ｓ１６０３）、取得した画面種類、画面状態に対応する操作変換テーブルを読み出す（Ｓ１６０４）。
タッチ座標が項目領域に含まれるか否かを判断し（Ｓ１６０５）、タッチ座標が項目領域でなければＳ１６０１に戻る。タッチ座標が項目領域であれば、読みだした操作変換テーブルに基づいてタッチ操作を代替ハードキー操作の情報に変換し（Ｓ１６０６）、変換した情報を画像形成装置１０２に送信する（Ｓ１６０７）。
また以上のフローチャートでは、画像形成装置１０２から画面情報が送信されるたびにＳ１６００の処理を実行するものとする。Ｓ１６０７で送信された操作情報を受信した画像形成装置１０２は操作情報に対応した処理を実行する。画像形成装置１０２とのＶＮＣ接続が終了したら画像形成装置１０２から取得した操作変換テーブルを削除するようにしても良いし、画像形成装置１０２の情報と対応付けて記憶し、次回も再利用するようにしても良い。
以上の処理により、モバイル端末上で操作情報を変換してから画像形成装置に送信するため、画像形成装置で複雑な変換処理行うことなく画像形成装置を遠隔操作することができる。
（その他の実施例）
以上の実施例では、ＶＮＣクライアント５２０に、画像形成装置１０２が持つハードキーに対応したボタンを備えるソフトキーパネル１００２を表示し、ソフトキーパネル１００２による操作と、ＶＮＣクライアント５２０に表示される画面１００１を直接タッチする操作のどちらも可能とする例を示したが、これに限らない。例えば、ソフトキーパネル１００２は表示しないで、画面１００１を直接タッチする操作だけを受け付けるようにしても良い。また、ソフトキーパネル１００２による操作と、画面１００１を直接タッチする操作のそれぞれについて、有効にするか否かをユーザーが選択できるようにしても良い。
また、以上の実施例では、画面１００１に対する１回のタッチ操作をハードキー操作に変換する例を示したが、ドラッグ操作、フリック操作やピンチイン操作などをハードキー操作に変換するようにしても良い。例えば、画面１００１の所定の項目領域に対して上方向にフリック操作を行なうと、所定回数の下方向キーの押下操作に変換するようにしても良い。
また、以上の実施例ではＶＮＣ接続で画像形成装置が表示している画面と同一の画面をモバイル端末に表示する例を示したが、これに限らない。例えば画像形成装置の画面と同じ画面を表示するのではなく、画像形成装置の画面を拡張した画面をモバイル端末で表示するような場合でも以上の実施例は適用可能である。
さらに、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのコンピュータプログラム、及び該コンピュータプログラムを記憶した記憶媒体は本発明を構成することになる。
１０２ 画像形成装置
１０３ モバイル端末
２０７ 表示・操作部
３０５ 操作入力解析部
３０８ 画面生成部
３０９ 画面表示部
３２０ ＶＮＣサーバー
５２０ ＶＮＣクライアント

Claims (19)

  1. 端末と通信可能であり、ハードキーを有する情報処理装置であって、
    前記情報処理装置が有する表示部に表示される画面に対応する画面の情報を前記端末に送信する送信手段と、
    前記送信手段で送信された画面の情報に基づいて前記端末で表示された画面に対して受け付けたユーザー操作に対応する操作情報であり、座標情報を含む操作情報を前記端末から受信する受信手段と、
    前記受信手段で受信した操作情報に含まれる座標情報に基づいて、当該操作情報を前記ハードキーによる操作情報に変換する変換手段と、
    前記変換手段で変換された操作情報に基づいて処理を実行する実行手段と、を有することを特徴とする情報処理装置。
  2. 前記端末は座標情報に基づいてユーザー操作を判定可能な装置であり、前記情報処理装置は座標情報に基づいてユーザー操作を判定可能でない装置であることを特徴とする請求項１に記載の情報処理装置。
  3. 前記端末はタッチ操作に対応した装置であり、前記情報処理装置はタッチ操作に対応していない装置であることを特徴とする請求項１または２に記載の情報処理装置。
  4. 前記端末はポインティングデバイスによる操作に対応した装置であり、前記情報処理装置はポインティングデバイスによる操作に対応していない装置であることを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
  5. 前記情報処理装置は、
    画面毎に座標情報とハードキーに対する操作情報とを対応付けて記憶する記憶手段をさらに有し、
    前記変換手段は、前記記憶手段で記憶した情報に基づいて変換を行うことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
  6. 前記送信手段で送信された画面の情報に基づいて前記端末で表示された画面に含まれる項目がタッチされると、前記変換手段は当該項目に選択状態を移動させるハードキー操作と、確定するためのハードキー操作とに対応する操作情報に変換することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
  7. 前記情報処理装置はＶＮＣ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ）サーバーとして機能する装置であることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
  8. 前記ハードキーは画面に含まれる項目の選択状態を移動させるキーであることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
  9. 前記情報処理装置はプリント機能、スキャン機能、の少なくともいずれかを有する画像形成装置であることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
  10. 前記ハードキーには方向キーが含まれ、前記変換手段は前記受信手段で受信した操作情報に含まれる座標情報に基づいて、当該操作情報を当該方向キーによる操作情報に変換することを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
  11. 前記変換手段は、前記受信手段で受信した操作情報に含まれる座標情報に基づいて、当該操作情報を前記受信手段で受信した操作情報に含まれる座標情報に基づいて、当該操作情報を当該ユーザー操作で選択された項目を選択するための前記ハードキーによる操作情報に変換することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
  12. 画面に表示された項目の選択状態を移動させるためのキーを含むハードキーを有する情報処理装置と端末からなる情報処理システムであって、
    前記情報処理装置が有する表示部に表示された画面に対応する画面の情報を前記端末に送信する送信手段と、
    前記送信手段で送信された画面の情報に基づいて前記端末で表示された画面に対するユーザー操作を受け付ける受信手段と、
    前記受信手段で受け付けたユーザー操作に対応する座標情報に基づいて、当該操作情報を当該ユーザー操作で選択された項目を選択するための前記ハードキーによる操作情報に変換する変換手段と、
    前記変換手段で変換した操作情報に基づいて処理を実行する実行手段と、を有する
    ことを特徴とする情報処理システム。
  13. 前記端末は座標情報に基づいてユーザー操作を判定可能な装置であり、前記情報処理装置は座標情報に基づいてユーザー操作を判定可能でない装置であることを特徴とする請求項１２に記載の情報処理システム。
  14. 前記端末はタッチ操作に対応した装置であり、前記情報処理装置はタッチ操作に対応していない装置であることを特徴とする請求項１２または１３に記載の情報処理システム。
  15. 前記端末はポインティングデバイスによる操作に対応した装置であり、前記情報処理装置はポインティングデバイスによる操作に対応していない装置であることを特徴とする請求項１２から１４のいずれか１項に記載の情報処理システム。
  16. 画面毎に座標情報とハードキーに対する操作情報とを対応付けて記憶する記憶手段をさらに有し、
    前記変換手段は、前記記憶手段で記憶した情報に基づいて変換を行うことを特徴とする請求項１２から１５のいずれか１項に記載の情報処理システム。
  17. 前記送信手段で送信された画面の情報に基づいて前記端末で表示された画面に含まれる項目がタッチされると、前記変換手段は当該項目に選択状態を移動させるハードキーと、確定するためのハードキーとに対応する操作情報に変換することを特徴とする請求項１２から１６のいずれか１項に記載の情報処理システム。
  18. 端末と通信可能であり、ハードキーを有する情報処理装置が実行する制御方法であって、
    前記情報処理装置が有する表示部に表示される画面に対応する画面の情報を前記端末に送信する送信工程と、
    前記送信工程で送信された画面の情報に基づいて前記端末で表示された画面に対して受け付けたユーザー操作に対応する操作情報であり、座標情報を含む操作情報を前記端末から受信する受信工程と、
    前記受信工程で受信した操作情報に含まれる座標情報に基づいて、当該操作情報を前記ハードキーによる操作情報に変換する変換工程と、
    前記変換工程で変換された操作情報に基づいて処理を実行する実行工程と、を有することを特徴とする制御方法。
  19. 請求項１から１１のいずれか１項に記載の各手段としてコンピュータを機能させるためのプログラム。
JP2021123272A 2021-07-28 2021-07-28 情報処理装置とその制御方法及びプログラム Pending JP2023018906A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021123272A JP2023018906A (ja) 2021-07-28 2021-07-28 情報処理装置とその制御方法及びプログラム
US17/875,017 US11856159B2 (en) 2021-07-28 2022-07-27 Information processing apparatus that converts coordinate based operation information received via a remote screen of another apparatus into non-coordinate based operation information usable at the information processing apparatus, control method thereof, and storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021123272A JP2023018906A (ja) 2021-07-28 2021-07-28 情報処理装置とその制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023018906A true JP2023018906A (ja) 2023-02-09

Family

ID=85037530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021123272A Pending JP2023018906A (ja) 2021-07-28 2021-07-28 情報処理装置とその制御方法及びプログラム

Country Status (2)

Country Link
US (1) US11856159B2 (ja)
JP (1) JP2023018906A (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3296090B2 (ja) * 1994-05-20 2002-06-24 富士ゼロックス株式会社 画像形成装置
JP4670500B2 (ja) * 2005-06-22 2011-04-13 ソニー株式会社 プログラム、情報処理方法、情報処理装置
JP5812758B2 (ja) * 2011-08-22 2015-11-17 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラム
JP5910880B2 (ja) 2012-06-22 2016-04-27 コニカミノルタ株式会社 操作表示システム、プログラム、携帯端末、操作表示装置、携帯端末プログラム
JP5682604B2 (ja) * 2012-09-20 2015-03-11 コニカミノルタ株式会社 画像形成装置、画像形成装置の制御方法、および画像形成装置の制御プログラム
JP5696721B2 (ja) * 2012-12-25 2015-04-08 コニカミノルタ株式会社 表示処理装置、画像形成装置、リモート画面の表示処理システム及び表示処理方法
JP7442297B2 (ja) * 2019-11-15 2024-03-04 シャープ株式会社 携帯端末、制御プログラムおよび制御方法
JP2022074772A (ja) * 2020-11-05 2022-05-18 キヤノン株式会社 情報処理装置、情報処理の制御方法、並びにコンピュータプログラム

Also Published As

Publication number Publication date
US20230035777A1 (en) 2023-02-02
US11856159B2 (en) 2023-12-26

Similar Documents

Publication Publication Date Title
CN103856667A (zh) 便携终端装置、图像处理联合系统及画面数据的显示方法
JP6098588B2 (ja) 印刷システム、携帯端末装置及び印刷制御プログラム
JP2012236327A (ja) 印刷装置、印刷装置の制御方法、及びプログラム
JP2014222869A (ja) 画像処理連携システム、携帯端末装置、画像処理連携方法及び画像処理連携プログラム
JP6822149B2 (ja) 遠隔サポートシステム、画像処理装置及び遠隔サポート用の制御プログラム
KR20110024156A (ko) 호스트 디바이스, 워크폼 실행 디바이스, 워크폼 생성방법 및 워크폼 실행 방법
US10356258B2 (en) Image processing system performing screen data selection, image processing device, terminal device and non-transitory readable recording medium
JP2021180491A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
US10511728B2 (en) Image processing device, non-transitory computer-readable recording medium containing instructions therefor, and information processing system
JP6786272B2 (ja) 画像処理装置、及びその制御方法ならびにコンピュータプログラム
KR100750123B1 (ko) 호스트 상에서 단축키를 이용한 화상형성장치의 드라이버 호출장치 및 방법
US10063730B2 (en) Image forming system, image forming apparatus, remote control apparatus, and recording medium
JP2013255027A (ja) 機器制御システム、制御プログラム及び制御方法
JP2017103814A (ja) 画像処理装置、画面データの生成方法及び生成プログラム
JP6417894B2 (ja) 文字入力システム、文字入力方法、携帯端末装置及び文字入力プログラム
US10785376B2 (en) Image processing apparatus for sending user interface data
JP2017201501A (ja) 情報処理装置及びプログラム
JP2023018906A (ja) 情報処理装置とその制御方法及びプログラム
US11350011B2 (en) Device, process execution system, process execution method, and non-transitory recording medium
JP2018206306A (ja) 情報処理装置および情報処理方法
JP2017201515A (ja) 情報処理装置及びプログラム
JP7070728B2 (ja) 起動元プログラム、及び端末装置
US11831837B2 (en) Information processing system, information processing apparatus, and control method for virtual network computing connection method for a remotely operated apparatus
JP2023028745A (ja) 情報処理システム、情報処理装置とその制御方法及びプログラム
JP6399062B2 (ja) 可搬型情報端末、制御システム、制御プログラム及び制御方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213