JP2006059083A

JP2006059083A - Image processor, remote operation method and remote operation program

Info

Publication number: JP2006059083A
Application number: JP2004239563A
Authority: JP
Inventors: Mitsuhisa Kaneya; 光久金矢; Hiroshi Hosaka; 弘史保坂; Yoshiyuki Namitsuka; 義幸波塚; Keiichiro Kato; 圭一郎加藤; Hiroshi Soga; 浩史曽我; Yuji Takahashi; 祐二高橋; Fumio Kawamura; 文夫川村; Atsushi Doi; 淳土居; Tetsuya Kawaguchi; 哲也川口; Masayoshi Miyamoto; 真義宮本
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2004-08-19
Filing date: 2004-08-19
Publication date: 2006-03-02
Anticipated expiration: 2024-08-19
Also published as: JP4468766B2

Abstract

PROBLEM TO BE SOLVED: To provide an image processor capable of remotely operating a computer terminal while confirming the content of a screen of the computer terminal connected through a predetermined network, and to provide a remote operation method and a remote operation program. SOLUTION: This image processor 100 which can be connected to the computer terminal 200 through a network 300 is provided with: a display means 102 for displaying the screen; an input means 103 for performing the designation of coordinates on a display means 102 and an operation to the coordinates, an interface means to be connected to the network 300; and a control means for displaying the content of the screen of the computer terminal 200 at the display means 102, and for transmitting the operation performed to the coordinates on the display means 102 by the input means 103 to the computer terminal 200 and remotely operating the computer terminal 200. COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像処理装置、遠隔操作方法および遠隔操作プログラムに係り、特に所定のネットワークを介して接続されたコンピュータ端末を遠隔操作する画像処理装置、遠隔操作方法および遠隔操作プログラムに関する。 The present invention relates to an image processing device, a remote operation method, and a remote operation program, and more particularly to an image processing device, a remote operation method, and a remote operation program for remotely operating a computer terminal connected via a predetermined network.

近年、プリンタ，スキャナ，複合機（ＭＦＰ）等の画像処理装置は、ＬＡＮ（ローカルエリアネットワーク）等のネットワークに接続され、ネットワーク上のコンピュータ端末から利用できるように共有されることが多くなった。 In recent years, image processing apparatuses such as printers, scanners, and multifunction peripherals (MFPs) are often connected to a network such as a LAN (local area network) and shared so that they can be used from computer terminals on the network.

例えばコンピュータ端末の使用者は、離れた場所にある画像処理装置にネットワークを経由して印刷（プリント）や画像読み取り（スキャン）を行わせることができる。特許文献１及び２には、離れた場所にある画像処理装置にネットワークを経由してプリントやスキャンを行わせる内容が記載されている。
特開２００３−９９２２９号公報特開２００３−２７４１００号公報 For example, a user of a computer terminal can cause an image processing apparatus at a remote location to perform printing (printing) or image reading (scanning) via a network. Patent Documents 1 and 2 describe contents that cause an image processing apparatus in a remote location to perform printing and scanning via a network.
JP 2003-99229 A JP 2003-274100 A

プリントを行う場合、使用者はコンピュータ端末を操作して、離れた場所にある画像処理装置にプリントを行わせたあと、印刷結果を画像処理装置まで取りに行く。この為、印刷結果が気に入らなかった場合や部数が足りなかった場合、使用者はコンピュータ端末まで戻り、再びコンピュータ端末を操作して、画像処理装置にプリントを行わせなければならないという問題があった。また、使用者はコンピュータ端末から離れた場所にある画像処理装置にプリントを行わせるため、印刷結果を他人に見られたり盗まれたりするという問題があった。 When printing, the user operates the computer terminal to cause the image processing apparatus at a remote location to print, and then goes to the image processing apparatus for the print result. For this reason, if the user does not like the print result or if the number of copies is insufficient, the user must return to the computer terminal and operate the computer terminal again to cause the image processing apparatus to print. . In addition, since the user causes the image processing apparatus located at a location away from the computer terminal to perform printing, there is a problem that the print result can be seen or stolen by others.

一方、スキャンを行う場合、使用者は画像処理装置に原稿をセットし、コンピュータ端末に戻ってコンピュータ端末を操作し、離れた場所にある画像処理装置にスキャンを行わせたあと、原稿を画像処理装置まで取りに行く。この為、原稿の位置ズレの修正などを行う場合、コンピュータ端末と画像処理装置との間を往復しなければならないという問題があった。また、使用者は原稿を画像処理装置にセットしたあと、コンピュータ端末に戻らなければならないため、原稿を他人に見られたり盗まれたりするという問題があった。 On the other hand, when scanning, the user sets an original on the image processing apparatus, returns to the computer terminal, operates the computer terminal, causes the image processing apparatus in a remote location to perform scanning, and then performs image processing on the original. Go to the equipment. For this reason, there has been a problem in that when the positional deviation of the document is corrected, the computer terminal and the image processing apparatus must be reciprocated. Further, since the user has to set the document on the image processing apparatus and then return to the computer terminal, there is a problem that the document is seen or stolen by another person.

本発明は、上記の点に鑑みなされたもので、所定のネットワークを介して接続されたコンピュータ端末の画面の内容を確認しつつ、そのコンピュータ端末を遠隔操作できる画像処理装置、遠隔操作方法および遠隔操作プログラムを提供することを目的とする。 The present invention has been made in view of the above points. An image processing apparatus, a remote operation method, and a remote operation that can remotely operate a computer terminal while confirming the contents of the screen of the computer terminal connected via a predetermined network. An object is to provide an operation program.

上記課題を解決する為、本発明は所定のネットワークを介してコンピュータ端末に接続可能な画像処理装置であって、画面を表示する表示手段と、前記表示手段上の座標の指定およびその座標に対する操作を行う入力手段と、前記ネットワークに接続するインターフェイス手段と、前記コンピュータ端末の画面の内容を前記表示手段に表示すると共に、前記入力手段により前記表示手段上の座標に対して行われた操作を前記コンピュータ端末に送信し、前記コンピュータ端末を遠隔操作する制御手段とを有することを特徴とする。 In order to solve the above problems, the present invention is an image processing apparatus that can be connected to a computer terminal via a predetermined network, and includes display means for displaying a screen, designation of coordinates on the display means, and operations on the coordinates. Display means for displaying the contents of the screen of the computer terminal on the display means, and operations performed on the coordinates on the display means by the input means Control means for transmitting to a computer terminal and remotely operating the computer terminal.

また、本発明は所定のネットワークを介して接続されたコンピュータ端末を遠隔操作する画像処理装置の遠隔操作方法であって、前記コンピュータ端末の画面の内容を前記画像処理装置の表示手段に表示するステップと、前記表示手段上の座標の指定およびその座標に対する操作を前記コンピュータ端末に送信して、前記コンピュータ端末を遠隔操作するステップとを有することを特徴とする。 The present invention is also a remote operation method of an image processing apparatus for remotely operating a computer terminal connected via a predetermined network, the step of displaying the contents of the screen of the computer terminal on the display means of the image processing apparatus. And a step of transmitting a designation of coordinates on the display means and an operation for the coordinates to the computer terminal and remotely operating the computer terminal.

さらに、本発明は、所定のネットワークを介してコンピュータ端末に接続可能な画像処理装置を、画面を表示する表示手段と、前記表示手段上の座標の指定およびその座標に対する操作を行う入力手段と、前記ネットワークに接続するインターフェイス手段と、前記コンピュータ端末の画面の内容を前記表示手段に表示すると共に、前記入力手段により前記表示手段上の座標に対して行われた操作を前記コンピュータ端末に送信し、前記コンピュータ端末を遠隔操作する制御手段として機能させるための遠隔操作プログラムであることを特徴とする。 Furthermore, the present invention provides an image processing apparatus connectable to a computer terminal via a predetermined network, a display means for displaying a screen, an input means for specifying coordinates on the display means and performing operations on the coordinates, The interface means for connecting to the network, and displaying the contents of the screen of the computer terminal on the display means, and the operation performed on the coordinates on the display means by the input means to the computer terminal, A remote operation program for causing the computer terminal to function as control means for remotely operating the computer terminal.

本発明では、コンピュータ端末の画面の内容を画像処理装置の表示手段に表示し、画像処理装置の入力手段により表示手段上の座標に対して行われた操作をコンピュータ端末に送信することにより、コンピュータ端末を遠隔操作できる。このため、使用者は画像処理装置からコンピュータ端末に戻ることなくコンピュータ端末を操作できるので、画像処理装置とコンピュータ端末との間を往復する回数が減り、プリントやスキャン等を行うときに印刷結果や原稿を他人に見られたり盗まれたりすることが無くなる。 In the present invention, the contents of the screen of the computer terminal are displayed on the display means of the image processing apparatus, and the operation performed on the coordinates on the display means by the input means of the image processing apparatus is transmitted to the computer terminal. You can remotely control the terminal. Therefore, since the user can operate the computer terminal without returning from the image processing apparatus to the computer terminal, the number of times of reciprocation between the image processing apparatus and the computer terminal is reduced. The manuscript will not be seen or stolen by others.

本発明によれば、所定のネットワークを介して接続されたコンピュータ端末の画面の内容を確認しつつ、そのコンピュータ端末を遠隔操作できる画像処理装置、遠隔操作方法および遠隔操作プログラムを提供可能である。 According to the present invention, it is possible to provide an image processing apparatus, a remote operation method, and a remote operation program capable of remotely operating a computer terminal while confirming the contents of the screen of the computer terminal connected via a predetermined network.

次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。 Next, the best mode for carrying out the present invention will be described based on the following embodiments with reference to the drawings.

図１は、本発明の画像処理装置を含むシステムの一例の構成図である。図１のシステムは、画像処理装置１００及びコンピュータ端末２００が、ＬＡＮ等のネットワーク３００を介して接続されている。ネットワーク３００は、イーサネット（登録商標），トークンリング，無線ＬＡＮ，ＩＥＥＥ１３９４ネットワーク等の一般的なＬＡＮを利用することができる。 FIG. 1 is a configuration diagram of an example of a system including an image processing apparatus of the present invention. In the system of FIG. 1, an image processing apparatus 100 and a computer terminal 200 are connected via a network 300 such as a LAN. The network 300 can use a general LAN such as an Ethernet (registered trademark), a token ring, a wireless LAN, and an IEEE 1394 network.

画像処理装置１００は、例えばプリンタ，スキャナ，複合機（ＭＦＰ）等である。画像処理装置１００は、操作パネル１０１を備えている。操作パネル１０１は、ビットマップの表示が可能な表示手段１０２と、表示手段１０２に重ねられており、表示手段１０２上の座標の指定およびその座標に対する操作が可能な入力手段１０３と、各種キー１０４とで構成されている。 The image processing apparatus 100 is, for example, a printer, a scanner, a multifunction peripheral (MFP), or the like. The image processing apparatus 100 includes an operation panel 101. The operation panel 101 is superimposed on the display unit 102 capable of displaying a bitmap, the input unit 103 capable of designating coordinates on the display unit 102 and performing operations on the coordinates, and various keys 104. It consists of and.

表示手段１０２は、カラー液晶ディスプレイ等である。表示手段１０２は、カラーでなくても良いが、階調表示により色の違いを表示できる必要がある。また、表示手段１０２はサイズ（画素数）が大きい方が良いが、サイズが小さくてもスクロールと組み合わせることにより操作が可能である。例えば、ＶＧＡ（６４０×４８０）程度の画素数でも操作は可能である。 The display means 102 is a color liquid crystal display or the like. The display unit 102 does not have to be in color, but needs to be able to display the color difference by gradation display. The display means 102 is preferably large in size (number of pixels), but can be operated by combining with scrolling even if the size is small. For example, the operation is possible even with the number of pixels of about VGA (640 × 480).

入力手段１０３は、表示手段１０２に重ねられた透明なタッチパネル等である。表示手段１０２上の座標の指定およびその座標に対する操作には、マウス，トラックボール等を利用することもできる。また、キーボードを利用する場合、テンキーと組み合わせれば操作性が向上する。キーボードが利用できない場合には、表示手段１０２上に表示させることが可能なソフトキーボードを利用できる。 The input unit 103 is a transparent touch panel or the like superimposed on the display unit 102. A mouse, a trackball, or the like can be used for designating coordinates on the display means 102 and for operations on the coordinates. When using a keyboard, the operability is improved by combining with a numeric keypad. When the keyboard cannot be used, a soft keyboard that can be displayed on the display unit 102 can be used.

また、画像処理装置１００はネットワーク３００に接続するインターフェイス手段を備えている。画像処理装置１００は、コンピュータ端末２００の画面の内容を受信して表示手段１０２に表示する。また、画像処理装置１００は入力手段１０３又は各種キー１０４からの操作をコンピュータ端末２００に送信する。コンピュータ端末２００は、画像処理装置１００から受信した入力手段１０３又は各種キー１０４からの操作を、ローカルに繋がれたキーボードやマウスからの入力と同様に解釈する。即ち、画像処理装置１００はコンピュータ端末２００を遠隔操作することができる。 In addition, the image processing apparatus 100 includes interface means for connecting to the network 300. The image processing apparatus 100 receives the contents of the screen of the computer terminal 200 and displays them on the display means 102. Further, the image processing apparatus 100 transmits an operation from the input unit 103 or various keys 104 to the computer terminal 200. The computer terminal 200 interprets an operation from the input unit 103 or various keys 104 received from the image processing apparatus 100 in the same manner as an input from a locally connected keyboard or mouse. That is, the image processing apparatus 100 can remotely operate the computer terminal 200.

コンピュータ端末２００の画面の内容をネットワーク３００経由で受信して表示手段１０２に表示する方式、入力手段１０３又は各種キー１０４からの操作をネットワーク３００経由でコンピュータ端末２００に送信する方式には、ＵＮＩＸ（登録商標）系ＯＳで利用されているＸ−Ｗｉｎｄｏｗプロトコルやウインドウズ（登録商標）環境で利用されているリモートデスクトッププロトコル（ＲＤＰ）等がある。プロトコル自体は、標準化されたものでも独自のものでも構わない。また、トランスポートプロトコルもＴＣＰ／ＩＰの他、標準化されたものでも独自のものでも構わない。 The method of receiving the contents of the screen of the computer terminal 200 via the network 300 and displaying it on the display means 102 and the method of transmitting the operation from the input means 103 or various keys 104 to the computer terminal 200 via the network 300 include UNIX ( There are an X-Window protocol used in a registered OS and a remote desktop protocol (RDP) used in a Windows (registered trademark) environment. The protocol itself may be standardized or proprietary. In addition to TCP / IP, the transport protocol may be standardized or unique.

図２は、本発明によるシステムの動作を表した説明図である。ステップＳ２１では、画像処理装置１００が、コンピュータ端末２００の画面の内容を受信して表示手段１０２に表示する。使用者は、画像処理装置１００の表示手段１０２に表示されたコンピュータ端末２００の画面の内容を見て、入力手段１０３又は各種キー１０４からコンピュータ端末２００の画面を操作する。 FIG. 2 is an explanatory diagram showing the operation of the system according to the present invention. In step S 21, the image processing apparatus 100 receives the contents of the screen of the computer terminal 200 and displays them on the display unit 102. The user looks at the contents of the screen of the computer terminal 200 displayed on the display means 102 of the image processing apparatus 100 and operates the screen of the computer terminal 200 from the input means 103 or various keys 104.

ステップＳ２２では、画像処理装置１００が、入力手段１０３又は各種キー１０４からの操作をコンピュータ端末２００に送信する。コンピュータ端末２００は、画像処理装置１００から受信した入力手段１０３又は各種キー１０４からの操作を、ローカルに繋がれたキーボードやマウスからの入力と同様に解釈する。ステップＳ２３では、コンピュータ端末２００が、画像処理装置１００から受信した入力手段１０３又は各種キー１０４からの操作の内容に応じて処理を行い、その処理結果を画像処理装置１００に送信する。 In step S 22, the image processing apparatus 100 transmits an operation from the input unit 103 or various keys 104 to the computer terminal 200. The computer terminal 200 interprets an operation from the input unit 103 or various keys 104 received from the image processing apparatus 100 in the same manner as an input from a locally connected keyboard or mouse. In step S 23, the computer terminal 200 performs processing according to the content of the operation from the input unit 103 or various keys 104 received from the image processing apparatus 100, and transmits the processing result to the image processing apparatus 100.

ここで、使用者が画像処理装置１００を操作して、コンピュータ端末２００から画像処理装置１００に印刷要求を行う例を説明する。例えば使用者は、入力手段１０３又は各種キー１０４からコンピュータ端末２００の画面に設けられている印刷実行ボタンを押すことができる。 Here, an example in which the user operates the image processing apparatus 100 to make a print request from the computer terminal 200 to the image processing apparatus 100 will be described. For example, the user can press a print execution button provided on the screen of the computer terminal 200 from the input unit 103 or various keys 104.

コンピュータ端末２００の画面に設けられている印刷実行ボタンが入力手段１０３等により押された場合、画像処理装置１００は印刷実行ボタンの座標の指定およびその座標に対する操作をコンピュータ端末２００に送信する。コンピュータ端末２００は、画像処理装置１００から受信した印刷実行ボタンの座標の指定およびその座標に対する操作に基づいて、印刷実行ボタンが押されたときの処理を行う。そして、コンピュータ端末２００は印刷データを画像処理装置１００に送信する。画像処理装置１００は、コンピュータ端末２００から受信した印刷データをプリントする。 When a print execution button provided on the screen of the computer terminal 200 is pressed by the input unit 103 or the like, the image processing apparatus 100 transmits to the computer terminal 200 designation of coordinates of the print execution button and an operation for the coordinates. The computer terminal 200 performs processing when the print execution button is pressed based on the designation of the coordinates of the print execution button received from the image processing apparatus 100 and the operation on the coordinates. Then, the computer terminal 200 transmits print data to the image processing apparatus 100. The image processing apparatus 100 prints print data received from the computer terminal 200.

図２のシステムでは、例えばプリントしたい文書ファイルをコンピュータ端末２００のワードプロセッサで開き、使用者が操作している画像処理装置１００に対してプリントを行うことにより、印刷結果を他人に見られたり盗まれたりする心配がない。 In the system of FIG. 2, for example, a document file to be printed is opened by a word processor of the computer terminal 200, and printing is performed on the image processing apparatus 100 operated by the user, so that the print result can be seen or stolen by others. There is no worry about it.

図３は、認証装置を備えたシステムの動作を表した説明図である。図３の画像処理装置１００は、認証手段１１０を備えている。認証手段１１０は、認証情報を取得し、その認証情報でコンピュータ端末２００にログオンする。 FIG. 3 is an explanatory diagram showing the operation of the system including the authentication device. The image processing apparatus 100 in FIG. 3 includes an authentication unit 110. The authentication unit 110 acquires authentication information and logs on to the computer terminal 200 with the authentication information.

認証手段１１０は、操作パネル１０１の各種キー１０４に含まれるテンキー１０５から使用者が入力する使用者ＩＤやパスワード等の認証情報を取得する。また、認証手段１１０は表示手段１０２上に表示されたソフトキーボード１０６から使用者が入力する使用者ＩＤやパスワード等の認証情報を取得することもできる。 The authentication unit 110 acquires authentication information such as a user ID and a password input by the user from the numeric keypad 105 included in the various keys 104 of the operation panel 101. The authentication unit 110 can also acquire authentication information such as a user ID and a password input by the user from the soft keyboard 106 displayed on the display unit 102.

さらに、認証手段１１０は、指紋認証，磁気カード，ＩＣカード，携帯電話，携帯型情報端末（ＰＤＡ）等を利用して認証情報を取得することもできる。例えば認証手段１１０は赤外線ポートもしくは無線（Ｂｌｕｅｔｏｏｔｈ）ポートを備え、携帯電話，携帯型情報端末などから送信された認証情報を取得できる。また、認証手段１１０は、オプションポートに接続された指紋認証装置を備え、使用者から読み取った指紋を用いて認証情報を取得できる。さらに、認証手段１１０は、オプションポートに接続されたカードリーダを備え、磁気カードやＩＣカードから認証情報を取得できる。 Further, the authentication unit 110 can acquire authentication information using fingerprint authentication, a magnetic card, an IC card, a mobile phone, a portable information terminal (PDA), or the like. For example, the authentication unit 110 includes an infrared port or a wireless port, and can acquire authentication information transmitted from a mobile phone, a portable information terminal, or the like. The authentication unit 110 includes a fingerprint authentication device connected to the option port, and can acquire authentication information using a fingerprint read from the user. Further, the authentication unit 110 includes a card reader connected to the option port, and can acquire authentication information from a magnetic card or an IC card.

ステップＳ３１では、画像処理装置１００の認証手段１１０が、取得した認証情報を使用者のログオンしたい所望のコンピュータ端末２００に送信する。この場合、使用者と所望のコンピュータ端末２００との対応関係は、予め登録しておいてもよいし、ログオンの度に指示するようにしてもよい。 In step S31, the authentication unit 110 of the image processing apparatus 100 transmits the acquired authentication information to a desired computer terminal 200 that the user wants to log on to. In this case, the correspondence relationship between the user and the desired computer terminal 200 may be registered in advance or may be instructed every time the user logs on.

ログオンの度に指示するのであれば、所望のコンピュータ端末２００の情報（例えばホスト名やＩＰアドレス）を磁気カード，ＩＣカード，携帯電話，携帯型情報端末に記録しておき、認証情報と共に取得するようにすれば入力の手間が省ける。コンピュータ端末２００は、画像処理装置１００から取得した認証情報で認証処理を行い、その認証情報が正しければログオンを許可する。ステップＳ３２では、コンピュータ端末２００が、画像処理装置１００との間にセッションを確立する。 If an instruction is given every time the user logs on, information on the desired computer terminal 200 (for example, host name or IP address) is recorded on a magnetic card, IC card, mobile phone, or portable information terminal, and acquired together with authentication information. This saves you from typing. The computer terminal 200 performs authentication processing using the authentication information acquired from the image processing apparatus 100, and permits log-on if the authentication information is correct. In step S 32, the computer terminal 200 establishes a session with the image processing apparatus 100.

コンピュータ端末２００とのセッションが確立すると、画像処理装置１００は図２のように、コンピュータ端末２００の画面の内容を受信して表示手段１０２に表示する。図３のシステムでは、使用者の認証を行うことができる。 When the session with the computer terminal 200 is established, the image processing apparatus 100 receives the contents of the screen of the computer terminal 200 and displays them on the display means 102 as shown in FIG. In the system shown in FIG. 3, the user can be authenticated.

また、表示手段１０２には、コンピュータ端末２００の画面の内容の一部を選択的に表示してもよい。図４は、コンピュータ端末の画面の内容の一部を選択的に表示する動作を表した説明図である。ステップＳ４１では、画像処理装置１００が、コンピュータ端末２００の画面の内容を受信する。このとき、コンピュータ端末２００の画面には、ウインドウ２０１，２０２が含まれている。画像処理装置１００は、コンピュータ端末２００の画面の内容を受信すると、コンピュータ端末２００の画面の内容の一部を選択的に、表示手段１０２に表示する。 Further, a part of the content of the screen of the computer terminal 200 may be selectively displayed on the display unit 102. FIG. 4 is an explanatory diagram showing an operation of selectively displaying part of the contents of the screen of the computer terminal. In step S41, the image processing apparatus 100 receives the contents of the screen of the computer terminal 200. At this time, the screen of the computer terminal 200 includes windows 201 and 202. When receiving the contents of the screen of the computer terminal 200, the image processing apparatus 100 selectively displays a part of the contents of the screen of the computer terminal 200 on the display unit 102.

選択的に表示とは、例えばコンピュータ端末２００側でアクティブになっているアプリケーションやフォーカスされているウインドウ、ＯＫボタンやキャンセルボタン等、使用者が次に操作すると考えられる画面要素の周辺などを判断して表示することである。画面の拡大・縮小及びスクロールなどは、使用者が入力手段１０３を操作することにより、簡単に行うことができるものとする。 Selective display refers to, for example, determining the periphery of a screen element that the user is expected to operate next, such as an active application on the computer terminal 200 side, a focused window, an OK button, or a cancel button. Is to display. The enlargement / reduction and scrolling of the screen can be easily performed by the user operating the input unit 103.

使用者は、画像処理装置１００の表示手段１０２に表示されたコンピュータ端末２００の画面の内容の一部を見て、入力手段１０３又は各種キー１０４からコンピュータ端末２００の画面を操作する。 The user looks at part of the contents of the screen of the computer terminal 200 displayed on the display means 102 of the image processing apparatus 100 and operates the screen of the computer terminal 200 from the input means 103 or various keys 104.

ステップＳ４２では、画像処理装置１００が、入力手段１０３又は各種キー１０４からの操作をコンピュータ端末２００に送信する。なお、表示手段１０２にはコンピュータ端末２００の画面の内容の一部が選択的に表示されているため、表示手段１０２上の座標の指定およびその座標に対する操作を、コンピュータ端末２００の画面上の座標の指定およびその座標に対する操作に変換する必要がある。 In step S 42, the image processing apparatus 100 transmits an operation from the input unit 103 or various keys 104 to the computer terminal 200. Since a part of the contents of the screen of the computer terminal 200 is selectively displayed on the display means 102, the designation of the coordinates on the display means 102 and the operation on the coordinates can be performed using the coordinates on the screen of the computer terminal 200. It is necessary to convert it to the operation for the specification and its coordinates.

コンピュータ端末２００の画面上の座標の指定およびその座標に対する操作に変換したあと、画像処理装置１００は座標の指定およびその座標に対する操作をコンピュータ端末２００に送信する。図４のシステムでは、画像処理装置１００の表示手段１０２に、コンピュータ端末２００の画面の内容の一部を選択的に表示できる。 After converting the designation of coordinates on the screen of the computer terminal 200 and the operation for the coordinates, the image processing apparatus 100 transmits the designation of the coordinates and the operation for the coordinates to the computer terminal 200. In the system of FIG. 4, a part of the screen content of the computer terminal 200 can be selectively displayed on the display unit 102 of the image processing apparatus 100.

また、表示手段１０２には、コンピュータ端末２００の画面の内容と、コンピュータ端末２００に格納されているファイルの一覧表などの付加的な情報とを合わせて表示してもよい。図５は、コンピュータ端末の画面の内容およびコンピュータ端末に格納されている付加的な情報を合わせて表示する動作を表した説明図である。 The display unit 102 may display the contents of the screen of the computer terminal 200 together with additional information such as a list of files stored in the computer terminal 200. FIG. 5 is an explanatory diagram showing an operation of displaying the contents of the screen of the computer terminal together with additional information stored in the computer terminal.

ステップＳ５１では、画像処理装置１００が、コンピュータ端末２００の画面２０３の内容を受信する。また、ステップＳ５２では画像処理装置１００が、コンピュータ端末２００に格納されている付加的な情報２０４を受信する。付加的な情報２０４とは、例えばコンピュータ端末２００の特定のフォルダ内のファイル情報である。画像処理装置１００は、受信したコンピュータ端末２００の画面２０３の内容およびコンピュータ端末２００に格納されている付加的な情報２０４を表示手段１０２に表示する。 In step S 51, the image processing apparatus 100 receives the contents of the screen 203 of the computer terminal 200. In step S 52, the image processing apparatus 100 receives additional information 204 stored in the computer terminal 200. The additional information 204 is file information in a specific folder of the computer terminal 200, for example. The image processing apparatus 100 displays the received contents of the screen 203 of the computer terminal 200 and additional information 204 stored in the computer terminal 200 on the display unit 102.

図６は、コンピュータ端末の画面の内容およびコンピュータ端末に格納されている付加的な情報を合わせて表示した画面のイメージ図である。画面領域１０７は、コンピュータ端末２００の画面２０３の内容が表示される。また、画面領域１０８はコンピュータ端末２００に格納されている付加的な情報２０４が表示される。なお、画面領域１０７及び１０８の右側にはスクロールバーが設けられている。 FIG. 6 is an image diagram of a screen displayed by combining the contents of the screen of the computer terminal and additional information stored in the computer terminal. The screen area 107 displays the contents of the screen 203 of the computer terminal 200. The screen area 108 displays additional information 204 stored in the computer terminal 200. A scroll bar is provided on the right side of the screen areas 107 and 108.

コンピュータ端末２００の画面２０３の内容およびコンピュータ端末２００に格納されている付加的な情報２０４は画面領域１０７及び１０８のように横分割または縦分割して両方とも表示するようにしてもよいし、表示切り替えにより順番に表示するようにしてもよい。 The contents of the screen 203 of the computer terminal 200 and the additional information 204 stored in the computer terminal 200 may be displayed by dividing them horizontally or vertically as shown in the screen areas 107 and 108. You may make it display in order by switching.

使用者は、画像処理装置１００の表示手段１０２に表示されたコンピュータ端末２００の画面２０３の内容およびコンピュータ端末２００に格納されている付加的な情報２０４を参照しながら、画像処理装置１００の表示手段１０２に表示されたコンピュータ端末２００の画面２０３を入力手段１０３又は各種キー１０４から効率的に操作できる。 The user refers to the display means of the image processing apparatus 100 while referring to the contents of the screen 203 of the computer terminal 200 displayed on the display means 102 of the image processing apparatus 100 and the additional information 204 stored in the computer terminal 200. The screen 203 of the computer terminal 200 displayed on 102 can be efficiently operated from the input means 103 or various keys 104.

ステップＳ５３では、画像処理装置１００が、入力手段１０３又は各種キー１０４からの操作をコンピュータ端末２００に送信する。なお、表示手段１０２にはコンピュータ端末２００の画面２０３の内容およびコンピュータ端末２００に格納されている付加的な情報２０４が合わせて表示されているため、表示手段１０２上の座標の指定およびその座標に対する操作を、コンピュータ端末２００の画面上の座標の指定およびその座標に対する操作に変換する必要がある。 In step S 53, the image processing apparatus 100 transmits an operation from the input unit 103 or various keys 104 to the computer terminal 200. Since the display means 102 displays the contents of the screen 203 of the computer terminal 200 and the additional information 204 stored in the computer terminal 200, the coordinates on the display means 102 are designated and the coordinates are displayed. It is necessary to convert the operation into designation of coordinates on the screen of the computer terminal 200 and operations for the coordinates.

コンピュータ端末２００の画面上の座標の指定およびその座標に対する操作に変換したあと、画像処理装置１００は座標の指定およびその座標に対する操作をコンピュータ端末２００に送信する。図５のシステムでは、画像処理装置１００の表示手段１０２に、コンピュータ端末２００の画面２０３の内容とコンピュータ端末２００に格納されている付加的な情報２０４とを合わせて表示できる。 After converting the designation of coordinates on the screen of the computer terminal 200 and the operation for the coordinates, the image processing apparatus 100 transmits the designation of the coordinates and the operation for the coordinates to the computer terminal 200. In the system of FIG. 5, the content of the screen 203 of the computer terminal 200 and the additional information 204 stored in the computer terminal 200 can be displayed together on the display means 102 of the image processing apparatus 100.

また、表示手段１０２には、コンピュータ端末２００の画面の内容を使用者が操作し易いように再構築して表示してもよい。図７は、コンピュータ端末の画面の内容を表した一例のイメージ図である。図７に表したコンピュータ端末２００の画面は、３つのウインドウ２０５〜２０７が重なりあって表示されている。 Further, the contents of the screen of the computer terminal 200 may be reconstructed and displayed on the display means 102 so as to be easily operated by the user. FIG. 7 is an image diagram showing an example of the contents of the screen of the computer terminal. The screen of the computer terminal 200 shown in FIG. 7 is displayed with three windows 205 to 207 overlapped.

画像処理装置１００は、図７のように複数のウインドウ２０５〜２０７が重なったコンピュータ端末２００の画面の内容を受信すると、複数のウインドウ２０５〜２０７が重ならないように複数のウインドウ２０５〜２０７を図８のように縮小・再配置する。図８はコンピュータ端末の画面の内容を再構築して表示した画面のイメージ図である。 When the image processing apparatus 100 receives the contents of the screen of the computer terminal 200 on which the plurality of windows 205 to 207 overlap as shown in FIG. 7, the image processing apparatus 100 displays the plurality of windows 205 to 207 so that the plurality of windows 205 to 207 do not overlap. Reduce and rearrange as shown in FIG. FIG. 8 is an image diagram of a screen displayed by reconstructing the contents of the screen of the computer terminal.

図８の画面では、図７の複数のウインドウ２０５〜２０７を縮小・再配置したウインドウ１１５〜１１７が表示されている。したがって、使用者はウインドウが重ならないように再構築されたコンピュータ端末２００の画面の内容を見ながら、ウインドウ操作を容易に行うことができる。 In the screen of FIG. 8, windows 115 to 117 in which the plurality of windows 205 to 207 of FIG. 7 are reduced and rearranged are displayed. Therefore, the user can easily perform the window operation while viewing the contents of the screen of the computer terminal 200 reconstructed so that the windows do not overlap.

また、表示手段１０２には、ネットワーク３００を介して接続されている複数のコンピュータ端末の画面の内容を同時に表示してもよい。図９は、複数のコンピュータ端末の画面の内容を同時に表示する動作を表した説明図である。使用者は、遠隔操作したい複数のコンピュータ端末２００ａ，２００ｂに対し、画像処理装置１００からログオンを行うことで複数のコンピュータ端末２００ａ，２００ｂ毎にセッションを確立する。 The display unit 102 may simultaneously display the contents of the screens of a plurality of computer terminals connected via the network 300. FIG. 9 is an explanatory diagram showing the operation of simultaneously displaying the contents of the screens of a plurality of computer terminals. The user establishes a session for each of the plurality of computer terminals 200a and 200b by logging on from the image processing apparatus 100 to the plurality of computer terminals 200a and 200b to be remotely operated.

ステップＳ９１では、画像処理装置１００が、コンピュータ端末２００ａの画面の内容を受信する。また、ステップＳ９２では、画像処理装置１００が、コンピュータ端末２００ｂの画面の内容を受信する。画像処理装置１００は、受信した複数のコンピュータ端末２００ａ，２００ｂの画面の内容を同時に表示手段１０２に表示する。 In step S91, the image processing apparatus 100 receives the contents of the screen of the computer terminal 200a. In step S92, the image processing apparatus 100 receives the contents of the screen of the computer terminal 200b. The image processing apparatus 100 displays the received screen contents of the plurality of computer terminals 200a and 200b on the display unit 102 at the same time.

図１０は、複数のコンピュータ端末の画面の内容を同時に表示した画面のイメージ図である。画面領域１２１は、コンピュータ端末２００ａの画面の内容が表示される。画面領域１２２は、コンピュータ端末２００ｂの画面の内容が表示される。画面領域１２１及び１２２の右側にはスクロールバーが設けられている。なお、画面領域１２１，１２２の境界、表示方式（縦分割，横分割）、表示倍率（拡大・縮小）は簡単に変更可能とする。 FIG. 10 is an image diagram of a screen that simultaneously displays the contents of the screens of a plurality of computer terminals. The screen area 121 displays the contents of the screen of the computer terminal 200a. The screen area 122 displays the contents of the screen of the computer terminal 200b. A scroll bar is provided on the right side of the screen areas 121 and 122. The boundary between the screen areas 121 and 122, the display method (vertical division, horizontal division), and the display magnification (enlargement / reduction) can be easily changed.

また、表示手段１０２には、コンピュータ端末２００の画面の内容と、画像処理装置１００のドキュメントボックスに格納されているファイルの一覧表などの付加的な情報とを合わせて表示してもよい。また、画像処理装置１００はドキュメントボックスに格納されている付加的な情報をコンピュータ端末２００に処理させてもよい。 The display unit 102 may display the contents of the screen of the computer terminal 200 together with additional information such as a list of files stored in the document box of the image processing apparatus 100. Further, the image processing apparatus 100 may cause the computer terminal 200 to process additional information stored in the document box.

図１１は、コンピュータ端末の画面の内容および画像処理装置に格納されている付加的な情報を合わせて表示する動作を表した説明図である。図１１のシステムでは、画像処理装置１００のドキュメントボックスに格納されているファイルの一覧表１３１およびコンピュータ端末２００の画面２１１の内容を合わせて表示手段１０２に表示し、ファイルの一覧表１３１から使用者にファイルを指定させることにより、使用者に指定されたファイルをコンピュータ端末２００に処理させる。 FIG. 11 is an explanatory diagram showing an operation of displaying the contents of the screen of the computer terminal together with additional information stored in the image processing apparatus. In the system of FIG. 11, the contents of the file list 131 stored in the document box of the image processing apparatus 100 and the contents of the screen 211 of the computer terminal 200 are displayed together on the display unit 102. By causing the computer terminal 200 to process the file specified by the user.

通常、ドキュメントボックスに格納されているファイルは、以下のような手順で処理されている。まず、コンピュータ端末２００はドキュメントボックス用アプリケーションを起動する。次に、コンピュータ端末２００はドキュメントボックス用アプリケーションを利用して画像処理装置１００のドキュメントボックスを検索し、使用者が所望したファイルのファイル名を取得する。次に、コンピュータ端末２００はドキュメントボックス用アプリケーションを利用して画像処理装置１００のドキュメントボックスからファイル名に基づくファイルを受信する。コンピュータ端末２００は、ドキュメントボックス用アプリケーションを利用し、受信したファイルを処理したあと、再度、ドキュメントボックスに処理済みのファイルを送信している。 Normally, files stored in a document box are processed in the following procedure. First, the computer terminal 200 activates a document box application. Next, the computer terminal 200 searches the document box of the image processing apparatus 100 using the document box application, and acquires the file name of the file desired by the user. Next, the computer terminal 200 receives a file based on the file name from the document box of the image processing apparatus 100 using a document box application. The computer terminal 200 uses the document box application to process the received file, and then transmits the processed file to the document box again.

ここで、画像処理装置１００からコンピュータ端末２００を遠隔操作して、ドキュメントボックスに格納されているファイルをコンピュータ端末２００で処理する例について説明する。 Here, an example in which the computer terminal 200 is remotely operated from the image processing apparatus 100 to process a file stored in the document box with the computer terminal 200 will be described.

まず、画像処理装置１００は入力手段１０３又は各種キー１０４からの使用者による操作に基づき、画像処理装置１００のドキュメントボックスに格納されているファイルを検索し、使用者が所望したファイルのファイル名を取得する。 First, the image processing apparatus 100 searches for a file stored in the document box of the image processing apparatus 100 based on an operation by the user from the input unit 103 or various keys 104, and sets the file name of the file desired by the user. get.

ステップＳ１１１では、画像処理装置１００が、入力手段１０３又は各種キー１０４からの操作に基づき、コンピュータ端末２００を遠隔操作して、ドキュメントボックス用アプリケーションを起動させる。例えば、画像処理装置１００はドキュメントボックス用アプリケーションを起動するためのキーシーケンスを生成してコンピュータ端末２００に送信することによりドキュメントボックス用アプリケーションを起動できる。キーシーケンスとは、コマンドラインからのコマンド入力に相当する。 In step S111, the image processing apparatus 100 activates the document box application by remotely operating the computer terminal 200 based on an operation from the input unit 103 or various keys 104. For example, the image processing apparatus 100 can start the document box application by generating a key sequence for starting the document box application and transmitting it to the computer terminal 200. The key sequence corresponds to command input from the command line.

ステップＳ１１２では、画像処理装置１００が、入力手段１０３又は各種キー１０４からの操作に基づき、コンピュータ端末２００を遠隔操作して、ドキュメントボックス用アプリケーションにドキュメントボックスからのファイルの受信と、そのファイルの処理とを行わせる。例えば、画像処理装置１００はドキュメントボックス用アプリケーションにドキュメントボックスからファイルを受信させるためのキーシーケンスと受信したファイルを処理するためのキーシーケンスとを作成してコンピュータ端末２００に送信することにより、ドキュメントボックス用アプリケーションにドキュメントボックスからのファイルの受信と、そのファイルの処理とを行わせることができる。 In step S112, the image processing apparatus 100 remotely operates the computer terminal 200 based on an operation from the input unit 103 or various keys 104, receives a file from the document box to the document box application, and processes the file. And do. For example, the image processing apparatus 100 creates a key sequence for causing the document box application to receive a file from the document box and a key sequence for processing the received file, and transmits the generated key sequence to the computer terminal 200, thereby The application can receive the file from the document box and process the file.

ステップＳ１１３では、画像処理装置１００が、入力手段１０３又は各種キー１０４からの操作に基づき、コンピュータ端末２００を遠隔操作して、ドキュメントボックス用アプリケーションに処理済みのファイルをドキュメントボックスに送信させる処理を行わせる。例えば、画像処理装置１００はドキュメントボックス用アプリケーションに処理済みのファイルをドキュメントボックスに送信させるためのキーシーケンスを作成してコンピュータ端末２００に送信することにより、ドキュメントボックス用アプリケーションに処理済みのファイルをドキュメントボックスに送信させることができる。 In step S113, the image processing apparatus 100 performs a process of remotely operating the computer terminal 200 based on an operation from the input unit 103 or the various keys 104 to transmit a processed file to the document box by the document box application. Make it. For example, the image processing apparatus 100 creates a key sequence for causing the document box application to transmit a processed file to the document box and transmits the key sequence to the computer terminal 200, thereby processing the processed file in the document box application. Can be sent to the box.

なお、画像処理装置１００側でドキュメントボックスのファイルを選択した際に生成されるキーシーケンスを予め使用者が登録しておくことにより、処理をカスタマイズすることができ、自動処理に柔軟性を持たせることが可能となる。 It should be noted that the user can customize the process by registering a key sequence generated when a file in the document box is selected on the image processing apparatus 100 side, so that the automatic process has flexibility. It becomes possible.

図１２は、画像処理装置の一例の構成図である。なお、図１２の画像処理装置１００は本願発明の説明に必要な構成を中心に示しており、他の構成を省略している。画像処理装置１００は、表示部ドライバ１５１，タッチパネルドライバ１５２，操作部ドライバ１５３，機器制御部１５４，プロトコルスタック１５６，ネットワークインターフェイス１５７，オプションドライバ１５８，オプションドライバ１５９，表示部１６０，タッチパネル１６１，キー操作部１６２を有する。 FIG. 12 is a configuration diagram of an example of an image processing apparatus. Note that the image processing apparatus 100 in FIG. 12 mainly shows the configuration necessary for the description of the present invention, and other configurations are omitted. The image processing apparatus 100 includes a display unit driver 151, a touch panel driver 152, an operation unit driver 153, a device control unit 154, a protocol stack 156, a network interface 157, an option driver 158, an option driver 159, a display unit 160, a touch panel 161, and key operations. Part 162.

なお、画像処理装置１００はオプションドライバ１５８，１５９を介してポインティングデバイスオプション１６３，認証用オプション１６４が夫々接続されている。機器制御部１５４は、リモートデスクトップ制御部１５５を有する。なお、リモートデスクトップ制御部１５５の詳細は後述する。 The image processing apparatus 100 is connected to a pointing device option 163 and an authentication option 164 via option drivers 158 and 159, respectively. The device control unit 154 includes a remote desktop control unit 155. Details of the remote desktop control unit 155 will be described later.

タッチパネルドライバ１５２は、使用者により行われたタッチパネル１６１に対する操作を機器制御部１５４内のリモートデスクトップ制御部１５５に通知する。操作部ドライバ１５３は、使用者により行われたキー操作部１６２に対する操作をリモートデスクトップ制御部１５５に通知する。また、オプションドライバ１５９はカードリーダや指紋認証装置などの認証用オプション１６４から受信した認証情報を、リモートデスクトップ制御部１５５に通知する。リモートデスクトップ制御部１５５は、プロトコルスタック１５６及びネットワークインターフェイス１５７を介してコンピュータ端末２００にログオンを行うことでコンピュータ端末２００とのセッションを確立する。 The touch panel driver 152 notifies the operation on the touch panel 161 performed by the user to the remote desktop control unit 155 in the device control unit 154. The operation unit driver 153 notifies the remote desktop control unit 155 of an operation on the key operation unit 162 performed by the user. The option driver 159 notifies the remote desktop control unit 155 of the authentication information received from the authentication option 164 such as a card reader or a fingerprint authentication device. The remote desktop control unit 155 establishes a session with the computer terminal 200 by logging on to the computer terminal 200 via the protocol stack 156 and the network interface 157.

使用者は、キー操作部１６２のキーボード，タッチパネル１６１を使って操作可能な表示部１６０に表示されるソフトキーボード，カードリーダや指紋認証装置などの認証用オプション１６４を単一又は複数組み合わせて使って認証を受けることにより、自分の机の上のＰＣなど、使用者が使用可能なコンピュータ端末２００にログオンできる。 The user uses a single or a combination of authentication options 164 such as a keyboard of the key operation unit 162, a soft keyboard displayed on the display unit 160 operable by using the touch panel 161, a card reader and a fingerprint authentication device. By receiving the authentication, it is possible to log on to the computer terminal 200 that can be used by the user, such as a PC on his / her desk.

ログオンしたコンピュータ端末２００と画像処理装置１００内のリモートデスクトップ制御部１５５とは、Ｘ−ＷｉｎｄｏｗプロトコルやＲＤＰ等を用いてリモートデスクトップ操作を可能とするべくセッションを確立する。なお、これらプロトコルに関わる処理はプロトコルスタック１５６が行う。 The computer terminal 200 that has logged on and the remote desktop control unit 155 in the image processing apparatus 100 establish a session to enable remote desktop operation using the X-Window protocol, RDP, or the like. Note that the protocol stack 156 performs processing related to these protocols.

セッションが確立すると、ネットワークインターフェイス１５７はコンピュータ端末２００の画面の内容（画面情報）を受信する。ネットワークインターフェイス１５７は、受信したコンピュータ端末２００の画面情報をプロトコルスタック１５６に送信する。プロトコルスタック１５６にて処理された画面情報は、画像処理装置１００の内部形式に変換されたあと、リモートデスクトップ制御部１５５に送信される。 When the session is established, the network interface 157 receives the contents (screen information) of the screen of the computer terminal 200. The network interface 157 transmits the received screen information of the computer terminal 200 to the protocol stack 156. The screen information processed by the protocol stack 156 is transmitted to the remote desktop control unit 155 after being converted into the internal format of the image processing apparatus 100.

リモートデスクトップ制御部１５５では、プロトコルスタック１５６から受信した画面情報を、そのまま、画面の内容の一部を選択的に、画面の内容と付加的な情報とを合わせて、画面の内容を再構築して、又は複数の画面の内容を合わせて表示部ドライバ１５１に送信する。表示部ドライバ１５１はリモートデスクトップ制御部１５５から受信した画面情報に従って画面を構築し、表示部１６０に表示する。 In the remote desktop control unit 155, the screen information received from the protocol stack 156 is directly reconstructed by combining a part of the screen content with the screen content and additional information as it is. Or the contents of a plurality of screens are combined and transmitted to the display unit driver 151. The display unit driver 151 constructs a screen according to the screen information received from the remote desktop control unit 155 and displays it on the display unit 160.

例えばプロトコルスタック１５６から受信した画面情報を、そのまま送信すると、表示部ドライバ１５１は図１のようにコンピュータ端末２００の画面の内容をそのまま表示する。また、画面の内容の一部を選択的に送信すると、表示部ドライバ１５１は図４のようにコンピュータ端末２００の画面の内容の一部を選択的に表示する。また、画面の内容と付加的な情報とを合わせて送信すると、表示部ドライバ１５１は図５又は図１１のようにコンピュータ端末２００の画面の内容と、コンピュータ端末２００又は画像処理装置１００に格納されている付加的な情報とを合わせて表示する。 For example, when the screen information received from the protocol stack 156 is transmitted as it is, the display unit driver 151 displays the content of the screen of the computer terminal 200 as it is as shown in FIG. When a part of the contents of the screen is selectively transmitted, the display unit driver 151 selectively displays a part of the contents of the screen of the computer terminal 200 as shown in FIG. When the contents of the screen and the additional information are transmitted together, the display driver 151 is stored in the contents of the screen of the computer terminal 200 and the computer terminal 200 or the image processing apparatus 100 as shown in FIG. Together with additional information.

また、画面の内容を再構築して送信すると、表示部ドライバ１５１は図８のようにコンピュータ端末の画面の内容を使用者が操作し易いように再構築して表示する。さらに、複数のコンピュータ端末の画面の内容を合わせて送信すると、表示部ドライバ１５１は図９のように複数のコンピュータ端末の画面の内容を合わせて表示する。 When the contents of the screen are reconstructed and transmitted, the display unit driver 151 reconstructs and displays the contents of the screen of the computer terminal so that the user can easily operate as shown in FIG. Further, when the contents of the screens of the plurality of computer terminals are transmitted together, the display unit driver 151 displays the contents of the screens of the plurality of computer terminals together as shown in FIG.

タッチパネルドライバ１５２は、使用者により表示部１６０に対して行われるタッチパネル１６１への操作を、タッチパネル１６１上での座標およびその座標に対する操作（例えば叩く、なぞる、抑える等の種別）の情報として受信する。タッチパネルドライバ１５２は受信した情報をリモートデスクトップ制御部１５５に送信する。 The touch panel driver 152 receives an operation on the touch panel 161 performed by the user on the display unit 160 as information on coordinates on the touch panel 161 and operations on the coordinates (for example, a type such as tapping, tracing, and restraining). . The touch panel driver 152 transmits the received information to the remote desktop control unit 155.

リモートデスクトップ制御部１５５では、画面の構成情報（拡大している，偏倍している，ウインドウを再構築している等）に基づき、表示部１６０上の座標の指定およびその座標に対する操作を、コンピュータ端末２００の画面上の座標の指定およびその座標に対する操作に変換する必要がある。 The remote desktop control unit 155 designates coordinates on the display unit 160 and performs operations on the coordinates based on screen configuration information (enlarged, scaled, window reconstructed, etc.). It is necessary to convert to designation of coordinates on the screen of the computer terminal 200 and operation for the coordinates.

また、リモートデスクトップ制御部１５５はタッチパネル１６１上での操作を、標準的なマウスによる操作に変換する。標準的なマウスによる操作に変換するとは、マウスを使って操作した際に生成される情報に写像することである。 Further, the remote desktop control unit 155 converts an operation on the touch panel 161 into a standard mouse operation. Converting to standard mouse operation means mapping to information generated when operating with the mouse.

例えば、タッチパネル１６１に触れる操作は、マウスポインタを触れられた場所に移動する操作に変換される。タッチパネル１６１にタップ（タッチパネル１６１に触れて、直ぐに離す）する操作は、マウスの左ボタンをクリックする操作に変換される。タッチパネル１６１に２度タップする操作は、マウスの左ボタンをダブルクリックする操作に変換される。また、タッチパネル１６１に触れ、そのままドラッグ（指でタッチパネル１６１をなぞる）する操作は、マウスの左ボタンをクリックしたままでドラッグする操作に変換される。 For example, an operation of touching the touch panel 161 is converted into an operation of moving the mouse pointer to a touched location. The operation of tapping on touch panel 161 (touching touch panel 161 and releasing it immediately) is converted to an operation of clicking the left button of the mouse. The operation of tapping twice on the touch panel 161 is converted into an operation of double-clicking the left button of the mouse. In addition, an operation of touching the touch panel 161 and dragging as it is (tracing the touch panel 161 with a finger) is converted into an operation of dragging while clicking the left button of the mouse.

この変換は、標準的な変換方法に固定、設定により変更可能（ただし、画像処理装置１００毎に一通りに固定）、ログオンする使用者毎に設定できるものとし、使用者によって自動的に切り替わるなど、複数の方式を選択可能である。 This conversion is fixed to a standard conversion method, can be changed by setting (however, fixed for each image processing apparatus 100), can be set for each logged-on user, and is automatically switched by the user. A plurality of methods can be selected.

標準的な形式に変換された操作情報は、プロトコルスタック１５６に送信され、使用しているプロトコル（Ｘ−ＷｉｎｄｏｗプロトコルやＲＤＰ等）の作法に従い処理され、ネットワークインターフェイス１５７を介してネットワーク３００に送出される。この操作情報は、ログオン中のコンピュータ端末２００によって受信されたあと、コンピュータ端末２００にローカルに繋がれたマウス等のポインティングデバイスからの入力と等価に処理される。 The operation information converted into a standard format is sent to the protocol stack 156, processed according to the protocol used (X-Window protocol, RDP, etc.), and sent to the network 300 via the network interface 157. The This operation information is received by the logged-on computer terminal 200 and then processed equivalently to an input from a pointing device such as a mouse locally connected to the computer terminal 200.

コンピュータ端末２００の画面の内容が表示部１６０に表示されている間、操作部ドライバ１５３は使用者によりキー操作部１６２に対して行われる操作の情報を、リモートデスクトップ制御部１５５に送信する。操作の情報は、標準的なキーボード、マウスによる操作に変換する。標準的なキーボード，マウスによる操作に変換するとは、キーボードやマウスを使って操作した際に生成される情報に写像することである。 While the contents of the screen of the computer terminal 200 are displayed on the display unit 160, the operation unit driver 153 transmits information on operations performed on the key operation unit 162 by the user to the remote desktop control unit 155. Operation information is converted into standard keyboard and mouse operations. Converting to standard keyboard / mouse operation means mapping to information generated when the keyboard / mouse is used.

例えば、スタートキーが押される操作は、キーボードのＥｎｔｅｒキーが押される操作に変換される。クリア／ストップキーが押される操作は、キーボードのＥＳＣキーが押される操作に変換される。また、メニューキーが押される操作は、マウスの右ボタンをクリックする操作に変換される。 For example, an operation in which the start key is pressed is converted into an operation in which the Enter key on the keyboard is pressed. An operation in which the clear / stop key is pressed is converted into an operation in which the ESC key of the keyboard is pressed. Further, the operation of pressing the menu key is converted into an operation of clicking the right button of the mouse.

標準的な形式に変換された操作情報は、プロトコルスタック１５６に送信され、使用しているプロトコルの作法に従い処理され、ネットワークインターフェイス１５７を介してネットワーク３００に送出される。この操作情報は、ログオン中のコンピュータ端末２００によって受信されたあと、コンピュータ端末２００にローカルに繋がれたキーボード等からの入力と等価に処理される。 The operation information converted into the standard format is transmitted to the protocol stack 156, processed according to the protocol used, and sent to the network 300 via the network interface 157. This operation information is received by the logged-on computer terminal 200 and then processed equivalently to an input from a keyboard or the like locally connected to the computer terminal 200.

マウスやトラックボールなどのポインティングデバイスオプション１６３がオプションドライバ１５８に接続されている場合、ポインティングデバイスオプション１６３からの操作情報がオプションドライバ１５８を経由してリモートデスクトップ制御部１５５に送信される。操作情報は、プロトコルスタック１５６に送信され、使用しているプロトコルの作法に従い処理され、ネットワークインターフェイス１５７を介してネットワーク３００に送出される。 When a pointing device option 163 such as a mouse or a trackball is connected to the option driver 158, operation information from the pointing device option 163 is transmitted to the remote desktop control unit 155 via the option driver 158. The operation information is transmitted to the protocol stack 156, processed according to the protocol used, and sent to the network 300 through the network interface 157.

なお、タッチパネル１６１上での操作の標準的なマウスによる操作への変換、キー操作部１６２に対して行われる操作の標準的なキーボード、マウスによる操作への変換は、画像処理装置１００毎に設定可能である。画像処理装置１００は、上記した変換の為に必要なテーブルを不揮発性メモリやハードディスク装置に保存しており、そのテーブルの編集も可能とする。また、画像処理装置１００は、上記した変換の為に必要なテーブルを使用者毎に設定可能とすることで、例えば認証により使用者が特定されたときに、その使用者が設定したテーブルを自動的に適用することもできる。 Note that the conversion of operations on the touch panel 161 into operations using a standard mouse and the operations performed on the key operation unit 162 into operations using a standard keyboard and mouse are set for each image processing apparatus 100. Is possible. The image processing apparatus 100 stores a table necessary for the above-described conversion in a nonvolatile memory or a hard disk device, and enables editing of the table. In addition, the image processing apparatus 100 can automatically set the table set by the user when the user is specified by authentication, for example, by enabling the user to set the table necessary for the above-described conversion. Can also be applied.

以下、リモートデスクトップ制御部１５５について説明する。図１３は、リモートデスクトップ制御部の一実施例の構成図である。図１４及び図１５は、リモートデスクトップ制御部の一例のフローチャートである。 Hereinafter, the remote desktop control unit 155 will be described. FIG. 13 is a configuration diagram of an embodiment of the remote desktop control unit. 14 and 15 are flowcharts of an example of the remote desktop control unit.

リモートデスクトップ制御部１５５は、表示部マネージャ１８１，リモートＰＣ情報解析部１８２，出力情報生成部１８３および入力マネージャ１８４を有する。図１３の表示部マネージャ１８１，リモートＰＣ情報解析部１８２，出力情報生成部１８３および入力マネージャ１８４について、図１４及び図１５のフローチャートに基づき説明する。 The remote desktop control unit 155 includes a display unit manager 181, a remote PC information analysis unit 182, an output information generation unit 183, and an input manager 184. The display unit manager 181, remote PC information analysis unit 182, output information generation unit 183, and input manager 184 in FIG. 13 will be described with reference to the flowcharts in FIGS.

ステップＳ１４１では、リモートＰＣ情報解析部１８２が、プロトコルスタック１５６からデータパケットを受信する。ステップＳ１４２では、リモートＰＣ情報解析部１８２が、コンピュータ端末２００の画面情報やファイルの一覧表などの付加的な情報を画像処理装置１００の内部形式に変換したあと、表示マネージャ１８１に送信する。 In step S 141, the remote PC information analysis unit 182 receives a data packet from the protocol stack 156. In step S 142, the remote PC information analysis unit 182 converts additional information such as screen information of the computer terminal 200 and a file list into the internal format of the image processing apparatus 100, and then transmits the information to the display manager 181.

ステップＳ１４３に進み、表示部マネージャ１８１は表示モード情報に基づき、現在の表示モードを判定する。選択表示モード又は再構築モードであれば、表示部マネージャ１８１はステップＳ１４４に進み、受信した画面情報から、現在設定されている表示モードに従って画面情報を変換したあと、ステップＳ１４５に進む。例えば選択表示モード（現在フォーカスのあるウインドウのみ、もしくはそのウインドウを拡大して表示する）や再構築モード（ウインドウが重ならないように表示する）に従い、各ウインドウの拡大・縮小、表示・非表示のフィルタリング、再配置などを行う。 In step S143, the display manager 181 determines the current display mode based on the display mode information. If it is the selection display mode or the reconstruction mode, the display manager 181 proceeds to step S144, converts the screen information from the received screen information according to the currently set display mode, and then proceeds to step S145. For example, each window can be enlarged / reduced, displayed / hidden according to the selection display mode (only the window with the current focus or the window is enlarged and displayed) and the reconstruction mode (displayed so that the windows do not overlap). Perform filtering, rearrangement, etc.

通常表示モードであれば、表示部マネージャ１８１はステップＳ１４５に進む。ステップＳ１４５では、表示部マネージャ１８１が、ウインドウレイアウト情報を生成する。ステップＳ１４６に進み、表示部マネージャ１８１は付加的な情報の表示を行うか否かを判定する。付加的な情報の表示を行うと判定すれば、表示部マネージャ１８１はステップＳ１４７に進み、付加的な情報を合成し、ウインドウレイアウトを再調整したあと、ステップＳ１４８に進む。付加的な情報の表示を行わないと判定すれば、表示部マネージャ１８１はステップＳ１４８に進む。 If it is the normal display mode, the display unit manager 181 proceeds to step S145. In step S145, the display manager 181 generates window layout information. In step S146, the display manager 181 determines whether to display additional information. If it is determined that additional information is to be displayed, the display manager 181 proceeds to step S147, synthesizes the additional information, readjusts the window layout, and then proceeds to step S148. If it is determined that no additional information is to be displayed, the display manager 181 proceeds to step S148.

ステップＳ１４８では、表示部マネージャ１８１が、現在設定されている表示モードに従って画面情報を生成する。ステップＳ１４９に進み、表示部マネージャ１８１は生成した画面情報を表示部ドライバ１５１に送信する。表示部ドライバ１５１は、受信した画面情報に従って画面を構築し、表示部１６０に表示できる。 In step S148, the display manager 181 generates screen information according to the currently set display mode. In step S149, the display unit manager 181 transmits the generated screen information to the display unit driver 151. The display unit driver 151 can construct a screen according to the received screen information and display it on the display unit 160.

ステップＳ１５１では、入力マネージャ１８４が、タッチパネルドライバ１５２，操作部ドライバ１５３又はオプションドライバ１５８からタッチパネル１６１，キー操作部１６２又はポインティングデバイスオプション１６３の操作情報を受信する。 In step S 151, the input manager 184 receives operation information on the touch panel 161, key operation unit 162, or pointing device option 163 from the touch panel driver 152, operation unit driver 153, or option driver 158.

ステップＳ１５２に進み、入力マネージャ１８４は受信した操作情報が画像処理装置１００内で消費する自機に対する操作か否かを判定する。自機に対する操作であれば、入力マネージャ１８４はステップＳ１５３に進み、機器制御部１５４経由で操作情報を各モジュールへ送信する。一方、自機に対する操作でなく、コンピュータ端末２００の画面に対してなされた操作であれば、入力マネージャ１８４は操作情報を出力情報生成部１８３に送信する。 In step S152, the input manager 184 determines whether or not the received operation information is an operation on the own device consumed in the image processing apparatus 100. If the operation is for the own device, the input manager 184 proceeds to step S153 and transmits operation information to each module via the device control unit 154. On the other hand, if the operation is performed on the screen of the computer terminal 200 instead of the operation on the own device, the input manager 184 transmits the operation information to the output information generation unit 183.

ステップＳ１５４では、出力情報生成部１８３が、予め定められた変換ルールに基づいて、入力マネージャ１８４から受信した操作情報を標準的なマウスやキーボードによる論理情報に変換する。ステップＳ１５５では、出力情報生成部１８３が、論理情報からパケットデータを生成する。ステップＳ１５６に進み、出力情報生成部１８３は生成したパケットデータをプロトコルスタック１５６に送信する。 In step S154, the output information generation unit 183 converts the operation information received from the input manager 184 into logical information using a standard mouse or keyboard based on a predetermined conversion rule. In step S155, the output information generation unit 183 generates packet data from the logical information. In step S156, the output information generation unit 183 transmits the generated packet data to the protocol stack 156.

以上、本発明の画像処理装置１００は使用者の使用しているコンピュータ端末２００の場所と画像処理装置１００の場所とが離れている際に、特に効果を発揮する。使用者が画像処理装置１００の操作パネル１０１からコンピュータ端末２００を遠隔操作することにより、コンピュータ端末２００から自分が現在操作している画像処理装置１００に対して印刷要求を行い、印刷結果を得ることができる。 As described above, the image processing apparatus 100 of the present invention is particularly effective when the location of the computer terminal 200 used by the user is far from the location of the image processing apparatus 100. When a user remotely operates the computer terminal 200 from the operation panel 101 of the image processing apparatus 100, the computer terminal 200 issues a print request to the image processing apparatus 100 that is currently operated, and obtains a print result. Can do.

例えば印刷結果が気に入らない場合、使用者はコンピュータ端末２００の場所に戻ることなく、画像処理装置１００の操作パネル１０１からコンピュータ端末２００を遠隔操作して修正を行い、再度、コンピュータ端末２００から自分が現在操作している画像処理装置１００に対して印刷要求を行うことができる。印刷部数が足りないと気づいたときも同様に、再度、コンピュータ端末２００から自分が現在操作している画像処理装置１００に対して印刷要求を行うことができる。 For example, if the user does not like the print result, the user does not return to the location of the computer terminal 200, corrects it by remotely operating the computer terminal 200 from the operation panel 101 of the image processing apparatus 100, and again he / she himself from the computer terminal 200 A print request can be made to the image processing apparatus 100 that is currently operated. Similarly, when it is noticed that the number of print copies is insufficient, a print request can be made again from the computer terminal 200 to the image processing apparatus 100 that is currently operated.

また、コンピュータ端末２００から自分が現在操作している画像処理装置１００に対して印刷要求を行うことができるため、他人に印刷結果を見られたり、盗まれたりすることなく、確実に印刷結果を得ることができる。 Further, since the computer terminal 200 can make a print request to the image processing apparatus 100 that is currently operated, the print result can be surely displayed without being viewed or stolen by others. Obtainable.

また、使用者が画像処理装置１００の操作パネル１０１からコンピュータ端末２００を遠隔操作することにより、ＴＷＡＩＮ等によるプル型のスキャン方式であっても、原稿のセットとスキャンの開始とを画像処理装置１００が設置されている場所で行うことが可能である。さらに、コンピュータ端末２００に取り込まれた画像を画像処理装置１００が設置された場所で確認できる。従って、画像処理装置１００が設置されている場所で、原稿の位置ズレの修正なども行いつつスキャンを繰り返すことができる。使用者は、画像処理装置１００が設置されている場所から離れる必要がなく、他人に原稿を見られたり、盗まれたりする心配がない。 In addition, when the user remotely operates the computer terminal 200 from the operation panel 101 of the image processing apparatus 100, the image processing apparatus 100 can set a document and start scanning even in a pull-type scanning method using TWAIN or the like. It is possible to carry out at the place where is installed. Further, the image captured by the computer terminal 200 can be confirmed at the place where the image processing apparatus 100 is installed. Therefore, scanning can be repeated at the place where the image processing apparatus 100 is installed while correcting the positional deviation of the document. The user does not need to move away from the place where the image processing apparatus 100 is installed, and there is no fear of others being seen or stolen by others.

なお、本実施例では、画像処理装置１００からコンピュータ端末２００を遠隔操作する例を説明したが、画像処理装置１００から他の画像処理装置を遠隔操作するようにしてもよい。また、本発明の画像処理装置１００は、プログラムの制御により表示手段，入力手段，インターフェイス手段および制御手段として機能させることもできる。 In this embodiment, the example in which the computer terminal 200 is remotely operated from the image processing apparatus 100 has been described. However, another image processing apparatus may be remotely operated from the image processing apparatus 100. The image processing apparatus 100 of the present invention can also function as a display unit, an input unit, an interface unit, and a control unit under program control.

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。 The present invention is not limited to the specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.

本発明の画像処理装置を含むシステムの一例の構成図である。It is a block diagram of an example of the system containing the image processing apparatus of this invention. 本発明によるシステムの動作を表した説明図である。It is explanatory drawing showing operation | movement of the system by this invention. 認証装置を備えたシステムの動作を表した説明図である。It is explanatory drawing showing operation | movement of the system provided with the authentication apparatus. コンピュータ端末の画面の内容の一部を選択的に表示する動作を表した説明図である。It is explanatory drawing showing the operation | movement which selectively displays a part of content of the screen of a computer terminal. コンピュータ端末の画面の内容およびコンピュータ端末に格納されている付加的な情報を合わせて表示する動作を表した説明図である。It is explanatory drawing showing the operation | movement which displays together the content of the screen of a computer terminal, and the additional information stored in the computer terminal. コンピュータ端末の画面の内容およびコンピュータ端末に格納されている付加的な情報を合わせて表示した画面のイメージ図である。It is an image figure of the screen which displayed together the content of the screen of a computer terminal, and the additional information stored in the computer terminal. コンピュータ端末の画面の内容を表した一例のイメージ図である。It is an image figure of an example showing the content of the screen of a computer terminal. コンピュータ端末の画面の内容を再構築して表示した画面のイメージ図である。It is an image figure of the screen which reconstructed and displayed the contents of the screen of a computer terminal. 複数のコンピュータ端末の画面の内容を同時に表示する動作を表した説明図である。It is explanatory drawing showing the operation | movement which displays the content of the screen of a some computer terminal simultaneously. 複数のコンピュータ端末の画面の内容を同時に表示した画面のイメージ図である。It is an image figure of the screen which displayed the content of the screen of a some computer terminal simultaneously. コンピュータ端末の画面の内容および画像処理装置に格納されている付加的な情報を合わせて表示する動作を表した説明図である。It is explanatory drawing showing the operation | movement which displays together the content of the screen of a computer terminal, and the additional information stored in the image processing apparatus. 画像処理装置の一例の構成図である。It is a block diagram of an example of an image processing apparatus. リモートデスクトップ制御部の一実施例の構成図である。It is a block diagram of one Example of a remote desktop control part. リモートデスクトップ制御部の一例のフローチャート（１／２）である。It is a flowchart (1/2) of an example of a remote desktop control part. リモートデスクトップ制御部の一例のフローチャート（２／２）である。It is a flowchart (2/2) of an example of a remote desktop control part.

Explanation of symbols

１００画像処理装置
１０１操作パネル
１０２表示手段
１０３入力手段
１０４各種キー
１０５テンキー
１０６ソフトキーボード
１５１表示部ドライバ
１５２タッチパネルドライバ
１５３操作部ドライバ
１５４機器制御部
１５５リモートデスクトップ制御部
１５６プロトコルスタック
１５７ネットワークインターフェイス
１５８，１５９オプションドライバ
１６０表示部
１６１タッチパネル
１６２キー操作部
１６３ポインティングデバイスオプション
１６４認証用オプション
１８１表示部マネージャ
１８２リモートＰＣ情報解析部
１８３出力情報生成部
１８４入力マネージャ
２００，２００ａ，２００ｂコンピュータ端末
３００ネットワーク DESCRIPTION OF SYMBOLS 100 Image processing apparatus 101 Operation panel 102 Display means 103 Input means 104 Various keys 105 Ten keys 106 Soft keyboard 151 Display part driver 152 Touch panel driver 153 Operation part driver 154 Device control part 155 Remote desktop control part 156 Protocol stack 157 Network interface 158,159 Option driver 160 Display unit 161 Touch panel 162 Key operation unit 163 Pointing device option 164 Authentication option 181 Display unit manager 182 Remote PC information analysis unit 183 Output information generation unit 184 Input manager 200, 200a, 200b Computer terminal 300 Network

Claims

An image processing apparatus connectable to a computer terminal via a predetermined network,
Display means for displaying a screen;
Input means for designating coordinates on the display means and performing operations on the coordinates;
Interface means for connecting to the network;
Control means for displaying the contents of the screen of the computer terminal on the display means, transmitting the operation performed on the coordinates on the display means by the input means to the computer terminal, and remotely operating the computer terminal An image processing apparatus.

The image processing apparatus according to claim 1, further comprising authentication means for acquiring authentication information for identifying a user of the computer terminal and logging on to the computer terminal with the authentication information.

The image processing apparatus according to claim 1, wherein the control unit selects a part of the screen content of the computer terminal and displays the selected part on the display unit.

The image processing apparatus according to claim 1, wherein the control unit displays the content of the screen of the computer terminal and additional information stored in the computer terminal together on the display unit.

The image processing apparatus according to claim 1, wherein the control unit displays the content of the screen of the computer terminal and additional information stored in the image processing apparatus together on the display unit. .

The control means transmits an operation performed on the coordinates on the display means by the input means and additional information stored in the image processing apparatus to the computer terminal, and adds the additional information to the computer terminal. 6. The image processing apparatus according to claim 5, wherein the image information is processed.

The image processing apparatus according to claim 1, wherein the control unit reconstructs the contents of the screen of the computer terminal and displays the contents on the display unit.

The image processing apparatus according to claim 1, wherein the control unit simultaneously displays the contents of the screens of a plurality of computer terminals connected via the network on the display unit.

The input means is a transparent touch panel superimposed on the display means,
The image processing apparatus according to claim 1, wherein the control unit converts an operation applied to the touch panel into an operation from a mouse and transmits the operation to the computer terminal.

The input means is a key incorporated on the operation panel,
The image processing apparatus according to claim 1, wherein the control unit converts information on the pressed key into an operation from a keyboard and a mouse and transmits the operation to the computer terminal.

The control means can set a table for converting an operation applied to the touch panel into an operation from a mouse or a table for converting information on the pressed key into an operation from a keyboard and a mouse. The image processing apparatus according to claim 9, wherein the image processing apparatus is provided.

The image processing apparatus according to claim 11, wherein the control unit can set the table for each of the user or the image processing apparatus.

The control means, when a file is selected from the additional information in accordance with an operation performed on the coordinates on the display means by the input means, a program for processing the file is transmitted to the computer terminal The image processing apparatus according to claim 6, wherein the image processing apparatus is activated and transmitted to the computer terminal and processed by the program, and then the processed file is received and stored.

3. The image processing apparatus according to claim 1, wherein the control unit causes the computer terminal to perform a processing request to the image processing apparatus by remotely operating the computer terminal.

The image processing apparatus according to claim 1, wherein the interface unit uses a communication protocol that enables remote operation of the computer terminal.

3. The authentication means acquires the authentication information from one or more of the input means, fingerprint authentication device, magnetic card, contactless IC card, mobile phone, and portable information terminal. Image processing apparatus.

The image processing apparatus according to claim 4, wherein the additional information is a list of stored files.

The image processing apparatus according to claim 1, wherein the control unit is reconstructed so that the contents of the screen of the computer terminal do not overlap and displayed on the display unit.

A remote operation method of an image processing apparatus for remotely operating a computer terminal connected via a predetermined network,
Displaying the contents of the screen of the computer terminal on the display means of the image processing device;
A remote operation method comprising: designating coordinates on the display means and transmitting an operation on the coordinates to the computer terminal to remotely operate the computer terminal.

An image processing apparatus that can be connected to a computer terminal via a predetermined network,
Display means for displaying a screen;
Input means for designating coordinates on the display means and performing operations on the coordinates;
Interface means for connecting to the network;
Control means for displaying the contents of the screen of the computer terminal on the display means, transmitting the operation performed on the coordinates on the display means by the input means to the computer terminal, and remotely operating the computer terminal Remote operation program to function as.