JP2016177577A - Image processing system, portable terminal device and program - Google Patents

Image processing system, portable terminal device and program Download PDF

Info

Publication number
JP2016177577A
JP2016177577A JP2015057651A JP2015057651A JP2016177577A JP 2016177577 A JP2016177577 A JP 2016177577A JP 2015057651 A JP2015057651 A JP 2015057651A JP 2015057651 A JP2015057651 A JP 2015057651A JP 2016177577 A JP2016177577 A JP 2016177577A
Authority
JP
Japan
Prior art keywords
image processing
command
terminal device
processing apparatus
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015057651A
Other languages
Japanese (ja)
Inventor
洋明 一貫坂
Hiroaki Ichinukizaka
洋明 一貫坂
佐々木 信
Makoto Sasaki
信 佐々木
惇季 青木
Atsuki Aoki
惇季 青木
拓也 盛
Takuya Mori
拓也 盛
格 小平
Itaru Kodaira
格 小平
幸紀 石井
Yukinori Ishii
幸紀 石井
智弘 黒柳
Toshihiro Kuroyanagi
智弘 黒柳
史宜 橘高
Fumiyoshi Kikko
史宜 橘高
政樹 田坂
Masaki Tasaka
政樹 田坂
前村 浩一郎
Koichiro Maemura
浩一郎 前村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015057651A priority Critical patent/JP2016177577A/en
Publication of JP2016177577A publication Critical patent/JP2016177577A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable the operation of an image processor by using a portable terminal device even without performing an operation to an operation part of the portable terminal device.SOLUTION: In a portable terminal device 10, an in-plane position detection part 127 and a distance detection part 128 detect a change in relative positional relation between the portable terminal device 10 and an operation panel of an image processor 20 on the basis of an image obtained when an imaging part 126 images the operation panel of the image processor 20, and a command generation part 129 generates a first command on the basis of the change in the positional relation, and transmits the first command to the image processor 20. In the image processor 20, an image processing part 230 and a command generation part 226 operate according to the first command received from the portable terminal device 10.SELECTED DRAWING: Figure 4

Description

この発明は、画像処理システム、携帯端末装置及びプログラムに関する。   The present invention relates to an image processing system, a portable terminal device, and a program.

従来から、ユーザ携帯可能な携帯端末装置を用いて、MFP(デジタル複合機)等の画像処理装置を操作できるようにする技術が知られている。また、携帯端末装置を電子機器に近づけた場合に、対象の電子機器の情報をユーザに通知する技術も知られている。
例えば、特許文献1には、携帯端末の位置及び向きを測定すると共に、これを通信機器の位置情報と比較し、その比較に基づき携帯端末による撮像範囲に通信機器があると判断した場合に、撮像した画像に通信機器の情報を重ね書きして表示することが記載されている。
2. Description of the Related Art Conventionally, there has been known a technique that enables an image processing apparatus such as an MFP (digital multifunction peripheral) to be operated using a portable terminal device that can be carried by a user. There is also known a technique for notifying a user of information on a target electronic device when the portable terminal device is brought close to the electronic device.
For example, Patent Document 1 measures the position and orientation of a mobile terminal, compares this with position information of a communication device, and when it is determined that there is a communication device in the imaging range of the mobile terminal based on the comparison, It describes that information of a communication device is overwritten and displayed on a captured image.

しかしながら、従来の技術において、携帯端末装置を用いて画像処理装置を操作しようとする場合、ユーザは、携帯端末装置に表示された画面を見つつタッチパネルやボタンを操作する、という動作を要求されていた。このため、医療現場など、衛生上の理由からみだりに物に触れることができない環境では、携帯端末装置を用いた画像処理装置の操作が行えないか、または、携帯端末装置を持つ手でタッチパネルやボタンを操作するなどの操作性が悪い状況で使用せざるを得なかった。
特許文献1に記載の技術も、単に撮像した画像中の通信機器の情報を表示できるのみであり、通信機器に対して何らかの操作を行う場合の操作性を改善できるものではない。
However, in the prior art, when trying to operate an image processing apparatus using a mobile terminal device, the user is required to perform an operation of operating a touch panel or a button while viewing a screen displayed on the mobile terminal device. It was. For this reason, in environments where it is difficult to touch objects for reasons of hygiene, such as in medical settings, it is impossible to operate the image processing device using the mobile terminal device, or touch screens and buttons with the hand holding the mobile terminal device. It must be used in situations where the operability is poor, such as operating the.
The technology described in Patent Document 1 can also simply display information about a communication device in a captured image, and cannot improve the operability when performing some operation on the communication device.

この発明は、このような事情を鑑みてなされたものであり、携帯端末装置の操作部に対する操作を行わなくても、携帯端末装置を用いて画像処理装置を操作できるようにすることを目的とする。   The present invention has been made in view of such circumstances, and an object thereof is to enable an image processing apparatus to be operated using a mobile terminal device without performing an operation on an operation unit of the mobile terminal device. To do.

この発明は、上記の目的を達成するため、携帯端末装置と第1画像処理装置とを備える画像処理システムにおいて、上記携帯端末装置に、撮像手段と、上記撮像手段が上記第1画像処理装置の操作パネルを撮像して得た画像に基づき、その携帯端末装置と上記第1画像処理装置の操作パネルとの相対的な位置関係の変化を検出する検出手段と、上記検出手段が検出した位置関係の変化に基づき生成した第1コマンドを上記第1画像処理装置に送信する第1送信手段とを設け、上記第1画像処理装置に、上記操作パネルと、上記携帯端末装置から受信した上記第1コマンドに従いその第1画像処理装置の動作を制御する制御手段とを設けたものである。   In order to achieve the above object, the present invention provides an image processing system including a portable terminal device and a first image processing device, wherein the portable terminal device includes an imaging unit, and the imaging unit includes the first image processing device. Based on an image obtained by imaging the operation panel, detection means for detecting a change in relative positional relationship between the portable terminal device and the operation panel of the first image processing apparatus, and a positional relationship detected by the detection means A first transmission unit configured to transmit a first command generated based on the change to the first image processing apparatus, and the first image processing apparatus receives the first command received from the operation panel and the portable terminal device. And control means for controlling the operation of the first image processing apparatus in accordance with the command.

上記構成によれば、携帯端末装置の操作部に対する操作を行わなくても、携帯端末装置を用いて画像処理装置を操作することができる。   According to the above configuration, the image processing apparatus can be operated using the portable terminal device without performing an operation on the operation unit of the portable terminal device.

この発明の第1実施形態である情報処理システムの構成を示す図である。It is a figure which shows the structure of the information processing system which is 1st Embodiment of this invention. 図1に示した携帯端末装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the portable terminal device shown in FIG. 図1に示した画像処理装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the image processing apparatus shown in FIG. 図1に示した各装置の機能構成を示す図である。It is a figure which shows the function structure of each apparatus shown in FIG. 画像処理装置の操作パネル上に設けるマーカーの例を示す図である。It is a figure which shows the example of the marker provided on the operation panel of an image processing apparatus. 図4に示した各部の機能による携帯端末装置と画像処理装置の動作例を示す図である。FIG. 5 is a diagram illustrating an operation example of a mobile terminal device and an image processing device by functions of each unit illustrated in FIG. 図6に示したジョブ実行確認処理を示す図である。It is a figure which shows the job execution confirmation process shown in FIG. 図7の処理で用いる条件の例を示す図である。It is a figure which shows the example of the conditions used by the process of FIG. 図6及び図7に示した処理による画面の表示例を示す図である。It is a figure which shows the example of a display of the screen by the process shown in FIG.6 and FIG.7. その別の例を示す図である。It is a figure which shows the other example. そのさらに別の例を示す図である。It is a figure which shows another example. そのさらに別の例を示す図である。It is a figure which shows another example. 携帯端末装置の移動方向について説明するための図である。It is a figure for demonstrating the moving direction of a portable terminal device. 図6及び図7に示した処理による画面のさらに別の表示例を示す図である。It is a figure which shows another example of a display of the screen by the process shown in FIG.6 and FIG.7. そのさらに別の例を示す図である。It is a figure which shows another example. そのさらに別の例を示す図である。It is a figure which shows another example. 第2実施形態における各装置の機能構成を示す、図4と対応する図である。It is a figure corresponding to FIG. 4 which shows the function structure of each apparatus in 2nd Embodiment. 第2実施形態における各装置の動作を示す、図6と対応する図である。It is a figure corresponding to FIG. 6 which shows operation | movement of each apparatus in 2nd Embodiment. 図18の続きの動作を示す図である。It is a figure which shows the operation | movement following FIG. 図19の処理で用いる変化パターンの例を示す図である。It is a figure which shows the example of the change pattern used by the process of FIG. 図18及び図19に示した動作による、携帯端末装置の操作と各画像処理装置の動作との関係の例を示す図である。It is a figure which shows the example of the relationship between operation of a portable terminal device and operation | movement of each image processing apparatus by the operation | movement shown in FIG.18 and FIG.19. 第2実施形態の変形例における、図21と対応する関係を示す図である。It is a figure which shows the relationship corresponding to FIG. 21 in the modification of 2nd Embodiment.

以下、この発明の実施形態について、図面を参照しつつ説明する。
〔第1実施形態:図1乃至図16〕
図1に、この発明の第1実施形態である画像処理システムの構成を示す。
図1に示す画像処理システム1は、携帯端末装置10と、画像処理装置20とを、無線ネットワークNにより相互に通信可能に接続して構成したものである。また、少なくとも画像処理装置20から携帯端末装置10へは、無線ネットワークNによる通信ができない場合でも使用可能な伝達手段Tにより、容量の少ない情報を伝達可能である。
Embodiments of the present invention will be described below with reference to the drawings.
[First Embodiment: FIGS. 1 to 16]
FIG. 1 shows the configuration of an image processing system according to the first embodiment of the present invention.
An image processing system 1 shown in FIG. 1 is configured by connecting a mobile terminal device 10 and an image processing device 20 so that they can communicate with each other via a wireless network N. Further, at least from the image processing device 20 to the portable terminal device 10, it is possible to transmit information with a small capacity by the usable transmission means T even when communication by the wireless network N is not possible.

このうち携帯端末装置10は、ユーザが操作する端末装置であり、画像処理装置20との間で必要な通信を行い、画像処理装置20に対する操作を受け付けるための画面を表示する。また、画像処理装置20の操作パネルとの相対的な位置関係の変化に基づきコマンドを生成して画像処理装置20に送信することにより、ユーザが携帯端末装置10を持って動かすだけで画像処理装置20を操作できる機能を備えるものである。その機能がこの実施形態において特徴的な点の一つであり、この点については後に詳述する。
この携帯端末装置10は、例えばスマートフォンやタブレット型コンピュータをはじめ、任意の形態の持ち運び可能なコンピュータとして構成することができる。
Among these, the mobile terminal device 10 is a terminal device operated by a user, performs necessary communication with the image processing device 20, and displays a screen for accepting an operation on the image processing device 20. Further, by generating a command based on a change in relative positional relationship with the operation panel of the image processing device 20 and transmitting the command to the image processing device 20, the user can simply move the portable terminal device 10 and move the image processing device. 20 can be operated. This function is one of the characteristic points in this embodiment, which will be described in detail later.
The portable terminal device 10 can be configured as a portable computer of any form, such as a smartphone or a tablet computer.

画像処理装置20は、第1画像処理装置であり、例えば、コピー、プリント、スキャン、ファクシミリ通信、文書蓄積等の機能を備えたMFP(デジタル複合機)として構成することができる。そして、画像処理装置20自身が記憶して蓄積した文書あるいは外部の記憶手段に蓄積した文書に関し、用紙への画像形成、外部への送信等の処理を行うことができる。
また、上記のように携帯端末装置10から送信されるコマンドに従った動作を行う機能も備える。この動作には、文書に対する処理や、携帯端末装置10に対する表示画面の変更指示が含まれる。
The image processing apparatus 20 is a first image processing apparatus, and can be configured as, for example, an MFP (digital multifunction peripheral) having functions such as copying, printing, scanning, facsimile communication, and document storage. Then, with respect to the document stored and stored in the image processing apparatus 20 itself or the document stored in the external storage unit, it is possible to perform processing such as image formation on a sheet and transmission to the outside.
Further, it also has a function of performing an operation according to a command transmitted from the mobile terminal device 10 as described above. This operation includes processing for a document and a display screen change instruction for the mobile terminal device 10.

なお、携帯端末装置10と画像処理装置20との対応関係は固定的なものでなくてよい。例えば、ユーザが携帯端末装置10を画像処理装置20に近づけたことに応じて携帯端末装置10が伝達手段Tにより画像処理装置20からアドレス情報を取得し、そのアドレス情報を用いて無線ネットワークNを用いて画像処理装置20にアクセスした場合に、携帯端末装置10と画像処理装置20との対応関係を相互に認識する、といった構成も考えられる。   The correspondence relationship between the mobile terminal device 10 and the image processing device 20 may not be fixed. For example, in response to the user bringing the mobile terminal device 10 closer to the image processing device 20, the mobile terminal device 10 acquires address information from the image processing device 20 by the transmission means T, and uses the address information to establish the wireless network N. When the image processing apparatus 20 is accessed by using it, a configuration in which the correspondence relationship between the mobile terminal apparatus 10 and the image processing apparatus 20 is mutually recognized is also conceivable.

伝達手段Tとしては、NFC(Near Field Communication)による通信や、伝達したい情報をコード化したコード記号をディスプレイに表示して相手に読み取らせる、といったものが考えられる。また、無線ネットワークNについては、無線通信が可能な任意の規格のものを用いることができる。ピアツーピア通信を行うものであってもよい。   As the transmission means T, communication by NFC (Near Field Communication), or a code symbol obtained by encoding information to be transmitted is displayed on a display and read by the other party. As the wireless network N, an arbitrary standard capable of wireless communication can be used. Peer-to-peer communication may be performed.

次に、図2に、携帯端末装置10のハードウェア構成を示す。
図2に示すように、携帯端末装置10は、CPU101、ROM102、RAM103、HDD(ハードディスクドライブ)104、通信I/F(インタフェース)105、NFCI/F106、操作部107、表示部108、カメラ109を備え、これらをシステムバス110により接続した構成としている。
Next, FIG. 2 shows a hardware configuration of the mobile terminal device 10.
As illustrated in FIG. 2, the mobile terminal device 10 includes a CPU 101, a ROM 102, a RAM 103, an HDD (hard disk drive) 104, a communication I / F (interface) 105, an NFC I / F 106, an operation unit 107, a display unit 108, and a camera 109. These are connected by a system bus 110.

そして、CPU101が、RAM103をワークエリアとしてROM102あるいはHDD104に記憶されたプログラムを実行することにより、携帯端末装置10全体を制御し、図4を用いて後述するものをはじめとする種々の機能を実現する。
ROM102及びHDD104は、不揮発性記憶媒体(記憶手段)であり、CPU101が実行する各種プログラムや後述する各種データを格納している。
Then, the CPU 101 executes the program stored in the ROM 102 or the HDD 104 using the RAM 103 as a work area, thereby controlling the entire portable terminal device 10 and realizing various functions including those described later with reference to FIG. To do.
The ROM 102 and the HDD 104 are non-volatile storage media (storage means) and store various programs executed by the CPU 101 and various data described later.

通信I/F105は、無線ネットワークNを介して画像処理装置20等の外部装置と通信するためのインタフェースである。使用する通信経路の規格に応じた物を設ければよい。
NFCI/F106は、NFCにより、画像処理装置20等の、NFCを備える外部装置と通信するためのインタフェースである。NFCに代えて、他の規格で通信を行うためのインタフェースを用いてもよいが、アドレス等、相手を特定する情報を持たない場合であっても通信を行うことができるI/Fを用いるものとする。
The communication I / F 105 is an interface for communicating with an external apparatus such as the image processing apparatus 20 via the wireless network N. What is necessary is just to provide the thing according to the specification of the communication path to be used.
The NFC I / F 106 is an interface for communicating with an external apparatus including NFC, such as the image processing apparatus 20, by NFC. In place of NFC, an interface for performing communication according to another standard may be used, but an interface that can perform communication even when there is no information for identifying the other party such as an address is used. And

操作部107は、ユーザからの操作を受け付けるための操作手段であり、タッチパネルやボタン等により構成することができる。
表示部108は、携帯端末装置10の動作状態や設定内容、画像処理装置20を操作するためのGUI(グラフィカルユーザインタフェース)、および各種メッセージ等を表示するための表示手段であり、液晶ディスプレイ等により構成することができる。
カメラ109は、撮像範囲の画像を撮像して画像データを取得する撮像手段である。
The operation unit 107 is an operation means for accepting an operation from a user, and can be configured with a touch panel, buttons, and the like.
The display unit 108 is a display unit for displaying an operation state and setting contents of the mobile terminal device 10, a GUI (graphical user interface) for operating the image processing device 20, various messages, and the like. Can be configured.
The camera 109 is an imaging unit that captures an image in the imaging range and acquires image data.

次に、図3に、画像処理装置20のハードウェア構成を示す。
図3に示すように、画像処理装置20は、CPU201、ROM202、RAM203、HDD(ハードディスクドライブ)204、通信I/F(インタフェース)205、NFCI/F206、操作部207、表示部208、エンジンI/F209、人感センサ211を備え、これらをシステムバス212により接続した構成としている。また、エンジンI/F209に接続してエンジン部210を設けている。
Next, FIG. 3 shows a hardware configuration of the image processing apparatus 20.
As shown in FIG. 3, the image processing apparatus 20 includes a CPU 201, a ROM 202, a RAM 203, an HDD (hard disk drive) 204, a communication I / F (interface) 205, an NFC I / F 206, an operation unit 207, a display unit 208, an engine I / F. F209 and a human sensor 211 are provided and are connected via a system bus 212. Further, an engine unit 210 is provided in connection with the engine I / F 209.

これらのうち、図2に示したものと同名の構成要素は、個々の性能や形状等は全く同じでなくてよいが、図2に示したものと同趣旨の機能を備える。なお、画像処理装置20においては、操作部207及び表示部208は、後述した操作パネル240上にその大部分を設けている。従って、ユーザが画像処理装置20を直接操作する場合、この操作パネル240に対して操作を行う。   Among these, components having the same names as those shown in FIG. 2 may not have the same individual performance and shape, but have the same functions as those shown in FIG. In the image processing apparatus 20, most of the operation unit 207 and the display unit 208 are provided on an operation panel 240 described later. Therefore, when the user directly operates the image processing apparatus 20, the operation panel 240 is operated.

また、エンジンI/F209は、エンジン部210をシステムバス212に接続してCPU201から制御可能とするためのインタフェースである。エンジン部210は、画像形成、画像読取等の機能を実現するための、画像形成手段、画像読取手段等のハードウェアである。
人感センサ211は、画像処理装置20の近傍における人の動きを検知するための検知手段である。
The engine I / F 209 is an interface for connecting the engine unit 210 to the system bus 212 so that the CPU 201 can control it. The engine unit 210 is hardware such as an image forming unit and an image reading unit for realizing functions such as image formation and image reading.
The human sensor 211 is a detection means for detecting a human movement in the vicinity of the image processing apparatus 20.

次に、図4に、上述した携帯端末装置10及び画像処理装置20が備える機能の構成を示す。図4には、上述した、ユーザが携帯端末装置10を持って動かすだけで画像処理装置20を操作できる機能を実現するための機能を中心に示している。
図4に示すように、携帯端末装置10は、操作対象特定部121、コマンド送信部122、画面データ受信部123、表示制御部124、表示部125、撮像部126、面内位置検出部127、距離検出部128、コマンド生成部129、およびコマンド受信部130を備える。
Next, FIG. 4 shows a configuration of functions included in the mobile terminal device 10 and the image processing device 20 described above. FIG. 4 mainly illustrates the function for realizing the above-described function that allows the user to operate the image processing apparatus 20 simply by holding and moving the mobile terminal apparatus 10.
As illustrated in FIG. 4, the mobile terminal device 10 includes an operation target identification unit 121, a command transmission unit 122, a screen data reception unit 123, a display control unit 124, a display unit 125, an imaging unit 126, an in-plane position detection unit 127, A distance detector 128, a command generator 129, and a command receiver 130 are provided.

これらのうち操作対象特定部121は、NFCI/F106が受信した画像処理装置20のアドレス情報に基づき、そのアドレス情報を持つ画像処理装置20を、携帯端末装置10を用いた操作の対象(コマンドの送信先)として特定する機能を備える。   Among these, the operation target specifying unit 121 selects the image processing apparatus 20 having the address information based on the address information of the image processing apparatus 20 received by the NFC I / F 106 as an operation target (command command) using the mobile terminal apparatus 10. It has a function to identify as a destination).

コマンド送信部122は、操作対象特定部121に特定された送信先に対して、携帯端末装置10の状態を伝達したり、動作の実行を指示したりするための種々のコマンドを送信する機能を備える。このコマンドには、例えば、送信先が新たに特定された場合に初期画面として文書一覧画面のデータを送信するように要求するコマンドや、携帯端末装置10と画像処理装置20の操作パネル240との位置関係を通知するコマンド(第1コマンド)等が考えられる。   The command transmission unit 122 has a function of transmitting various commands for transmitting the state of the mobile terminal device 10 or instructing the execution of the operation to the transmission destination specified by the operation target specifying unit 121. Prepare. This command includes, for example, a command for requesting transmission of document list screen data as an initial screen when a transmission destination is newly specified, or between the portable terminal device 10 and the operation panel 240 of the image processing device 20. A command (first command) for notifying the positional relationship is conceivable.

画面データ受信部123は、コマンド送信部122が送信したコマンドに応じて画像処理装置20から画面のデータが送信された場合に、これを受信して取得する機能を備える。
表示制御部124は、画面データ受信部123が取得した画面データに基づき表示部125に画面を表示させるよう、表示部125を制御する機能を備える。また、コマンド受信部130が、画面の表示を変更するよう指示するコマンド(第2コマンド)を受信した場合に、そのコマンドに従って表示部125における画面の表示を更新する更新手段の機能も備える。
表示部125は、図2に示した表示部108による画面の表示機能を示すものである。
撮像部126は、図2に示したカメラ109による撮像機能を示すものである。
The screen data receiving unit 123 has a function of receiving and acquiring screen data when it is transmitted from the image processing apparatus 20 in response to the command transmitted by the command transmitting unit 122.
The display control unit 124 has a function of controlling the display unit 125 so that the display unit 125 displays a screen based on the screen data acquired by the screen data receiving unit 123. In addition, when the command receiving unit 130 receives a command (second command) instructing to change the screen display, the command receiving unit 130 also has a function of an updating unit that updates the screen display on the display unit 125 according to the command.
The display unit 125 indicates a screen display function by the display unit 108 shown in FIG.
The imaging unit 126 shows an imaging function by the camera 109 shown in FIG.

面内位置検出部127は、撮像部126が撮像した画像に基づき、携帯端末装置10と、画像処理装置20の操作パネル240との相対的な位置関係のうち、操作パネルの操作面(ディスプレイや操作子が配置される平面で、実際の操作パネルの形状が平面でない場合には、何らかの平面を仮想的に設定する)と平行な方向の位置関係を検出する機能を備える。また、その位置関係の変化及び変化量を検出する機能も備える。   The in-plane position detection unit 127 is based on the image captured by the imaging unit 126 and, among the relative positional relationships between the mobile terminal device 10 and the operation panel 240 of the image processing device 20, the operation surface of the operation panel (display or If the actual operation panel is not a plane on the plane on which the operation element is arranged, a function of detecting a positional relationship in a direction parallel to a certain plane is set. It also has a function of detecting changes in the positional relationship and the amount of change.

距離検出部128は、撮像部126が撮像した画像に基づき、携帯端末装置10と、画像処理装置20の操作パネル240との相対的な位置関係のうち、操作パネルの操作面と垂直な方向の位置関係、すなわち携帯端末装置10と操作パネル240との間の距離を検出する機能を備える。また、その距離関係の変化及び変化量を検出する機能も備える。
これらの面内位置検出部127及び距離検出部128は、検出手段に該当する。
The distance detection unit 128 is based on the image captured by the image capturing unit 126 and is in a direction perpendicular to the operation surface of the operation panel in the relative positional relationship between the mobile terminal device 10 and the operation panel 240 of the image processing device 20. A function of detecting a positional relationship, that is, a distance between the mobile terminal device 10 and the operation panel 240 is provided. It also has a function of detecting changes in the distance relationship and the amount of change.
The in-plane position detection unit 127 and the distance detection unit 128 correspond to detection means.

また、この検出を容易にするため、操作パネル240上に、位置の基準となるマーカーを設けるとよい。図5に、このマーカーの例を示す。
このマーカーは、図5に符号301〜310で示すように、操作パネル240上の広範囲に設けるとよい。また、マーカー301〜306のように、表示部208を構成するディスプレイ208aに表示させて設けても、マーカー307〜310のように、筐体上に塗料により形成して設けてもよい。操作パネル240の位置を識別できるよう、位置に応じて異なる色や形状のマーカーを設けるとよい。マーカーを、コード記号等、意味を持つ記号により構成してもよい。
In order to facilitate this detection, a marker serving as a reference for the position may be provided on the operation panel 240. FIG. 5 shows an example of this marker.
This marker may be provided over a wide range on the operation panel 240 as indicated by reference numerals 301 to 310 in FIG. Further, it may be provided by being displayed on the display 208a that constitutes the display unit 208 like the markers 301 to 306, or may be provided by being formed on the housing with a paint like the markers 307 to 310. In order to identify the position of the operation panel 240, markers of different colors and shapes may be provided depending on the position. The marker may be constituted by a symbol having a meaning such as a code symbol.

図4の説明に戻ると、コマンド生成部129は、面内位置検出部127及び距離検出部128の検出結果に基づき、携帯端末装置10と操作パネル240との相対的な位置関係が変化したことを検出した場合に、その変化に基づき画像処理装置20へ送信すべきコマンドを生成する機能を備える。例えば、変化後の携帯端末装置10と操作パネル240との位置関係を通知する第1コマンドを生成することが考えられる。この第1コマンドは、変化があったこと自体を通知する機能も備える。また、コマンド生成部129が、検出した変化と対応する具体的な動作(文書の印刷、送信など)を画像処理装置20に指示するためのコマンドを生成することも考えられる。   Returning to the description of FIG. 4, the command generation unit 129 has changed the relative positional relationship between the mobile terminal device 10 and the operation panel 240 based on the detection results of the in-plane position detection unit 127 and the distance detection unit 128. A function to generate a command to be transmitted to the image processing device 20 based on the change. For example, it is conceivable to generate a first command for notifying the positional relationship between the mobile terminal device 10 and the operation panel 240 after the change. The first command also has a function of notifying that there has been a change. It is also conceivable that the command generation unit 129 generates a command for instructing the image processing apparatus 20 to perform a specific operation (document printing, transmission, etc.) corresponding to the detected change.

いずれにせよ、コマンド生成部129が生成したコマンドは、コマンド送信部122が、送信先として特定されている画像処理装置20へ送信する。以上のコマンド生成部129とコマンド送信部122が、第1送信手段に該当する。
コマンド受信部130は、画像処理装置20から送信されるコマンドを受信して、このコマンドに従った処理を実行すべきモジュールに渡す機能を備える。
In any case, the command transmission unit 122 transmits the command generated by the command generation unit 129 to the image processing apparatus 20 specified as the transmission destination. The command generation unit 129 and the command transmission unit 122 described above correspond to the first transmission unit.
The command receiving unit 130 has a function of receiving a command transmitted from the image processing apparatus 20 and passing it to a module that should execute processing according to the command.

次に、画像処理装置20は、同期開始制御部221、アドレス送信部222、画面データ送信部223、コマンド受信部224、距離判定部225、コマンド生成部226、コマンド送信部227、注目文書特定部228、閾値設定部229、画像処理部230を備える。   Next, the image processing apparatus 20 includes a synchronization start control unit 221, an address transmission unit 222, a screen data transmission unit 223, a command reception unit 224, a distance determination unit 225, a command generation unit 226, a command transmission unit 227, and a target document identification unit. 228, a threshold setting unit 229, and an image processing unit 230.

これらのうち同期開始制御部221は、NFCI/F206が携帯端末装置10を検出した場合に、携帯端末装置10との間で無線ネットワークNを介した通信経路を確立し、携帯端末装置10からの操作を受け付ける状態に画像処理装置20を移行させる機能を備える。なお、上記の操作を受け付けることには、画像処理装置20から、携帯端末装置10における操作受付のための画面の表示を制御することも含む。   Among these, the synchronization start control unit 221 establishes a communication path via the wireless network N with the mobile terminal device 10 when the NFC I / F 206 detects the mobile terminal device 10. A function of shifting the image processing apparatus 20 to a state of accepting an operation is provided. Receiving the above operation includes controlling display of a screen for accepting the operation in the mobile terminal device 10 from the image processing device 20.

具体的には、同期開始制御部221は、アドレス送信部222に、NFCI/F206を介して、携帯端末装置10へ画像処理装置20の無線ネットワークN上でのアドレスを送信させる。また、携帯端末装置10からの文書一覧画面のデータの送信を指示されたことに応じて、画面データ送信部223に、画像処理装置20が処理可能な文書のリストを表示する文書一覧画面のデータを携帯端末装置10へ送信させる。
アドレス送信部222は、上記のアドレスの送信を行う機能を備える。
Specifically, the synchronization start control unit 221 causes the address transmission unit 222 to transmit the address of the image processing apparatus 20 on the wireless network N to the mobile terminal apparatus 10 via the NFC I / F 206. Further, in response to an instruction to transmit data of the document list screen from the mobile terminal device 10, data of the document list screen that displays a list of documents that can be processed by the image processing device 20 on the screen data transmission unit 223. Is transmitted to the mobile terminal device 10.
The address transmitting unit 222 has a function of transmitting the above address.

画面データ送信部223は、上記の文書一覧画面のデータの生成及び送信を行う機能を備える。この生成に際しては、予め指定された記憶手段に蓄積された文書の一覧を取得する。また、後述する表示変更指示に応じて携帯端末装置10における画面の表示をすぐに切り替えられるよう、表示開始時の画面に表示されない部分のデータも含めて生成し、携帯端末装置10に送信するとよい。   The screen data transmission unit 223 has a function of generating and transmitting data of the document list screen. At the time of generation, a list of documents stored in a storage means designated in advance is acquired. Moreover, it is good to generate | occur | produce including the data of the part which is not displayed on the screen at the time of a display start, and to transmit to the portable terminal device 10 so that the display of the screen in the portable terminal device 10 can be switched immediately according to the display change instruction mentioned later. .

コマンド受信部224は、携帯端末装置10から送信されるコマンドを受信し、このコマンドに従った処理を実行すべきモジュールに渡す機能を備える。例えば、文書一覧画面のデータの送信指示であれば、同期開始制御部221に渡し、第1コマンドであれば、距離判定部225及びコマンド生成部226に渡す。   The command receiving unit 224 has a function of receiving a command transmitted from the mobile terminal device 10 and passing it to a module that should execute processing according to the command. For example, if it is an instruction to transmit data on the document list screen, it is passed to the synchronization start control unit 221, and if it is the first command, it is passed to the distance determination unit 225 and the command generation unit 226.

距離判定部225は、第1コマンドにより携帯端末装置10から通知される位置関係の情報に基づき、携帯端末装置10と操作パネル240との間の距離が所定の条件を満たしたか否か判定する機能を備える。また、所定の条件を満たした場合に、その時点で、携帯端末装置10側の画面で注目文書となっている文書について、その文書の画像を用紙上に形成する画像形成を実行する指示を、画像処理部230に供給する機能を備える。このばあい、距離判定部225と画像処理部230は制御手段及び画像処理手段として機能する。   The distance determination unit 225 has a function of determining whether the distance between the mobile terminal device 10 and the operation panel 240 satisfies a predetermined condition based on the positional relationship information notified from the mobile terminal device 10 by the first command. Is provided. In addition, when a predetermined condition is satisfied, an instruction to execute image formation for forming an image of the document on a sheet of a document that is a document of interest on the screen of the mobile terminal device 10 at that time point, A function of supplying to the image processing unit 230 is provided. In this case, the distance determination unit 225 and the image processing unit 230 function as a control unit and an image processing unit.

ここで、上記の所定の条件は、閾値設定部229から供給されるものであり、例えば、操作パネル240から所定距離以上離れた、あるいは、操作パネル240から第1所定距離以上離れた後で第2所定距離以内に近づいた、等が考えられる。また、距離判定部225は、所定条件を満たすか否かの判断に必要であれば、第1コマンドにより通知された位置関係の情報の履歴を時系列的に記憶する履歴記憶手段としての動作も行う。   Here, the predetermined condition is supplied from the threshold value setting unit 229. For example, the predetermined condition is the distance from the operation panel 240 by a predetermined distance or after the first predetermined distance from the operation panel 240. 2 Approached within a predetermined distance. The distance determination unit 225 also operates as a history storage unit that stores a history of positional information notified by the first command in time series, if necessary for determining whether or not a predetermined condition is satisfied. Do.

コマンド生成部226は、第1コマンドにより携帯端末装置10から通知される位置関係の変化の情報に従い、携帯端末装置10における画面の表示を更新させるためのコマンド(第2コマンド)を生成する機能を備える。
より具体的には、コマンド生成部226は、例えば、第1コマンドに示される、操作パネル240の操作面と平行な方向への位置関係の変化量(移動量)に応じた量だけ、携帯端末装置10の文書一覧画面で注目状態とする文書(以下「注目文書」という)を変更するコマンドを生成する。
The command generation unit 226 has a function of generating a command (second command) for updating the screen display in the mobile terminal device 10 according to the positional change information notified from the mobile terminal device 10 by the first command. Prepare.
More specifically, the command generation unit 226, for example, the portable terminal by an amount corresponding to the amount of change (movement amount) of the positional relationship in the direction parallel to the operation surface of the operation panel 240 indicated by the first command. On the document list screen of the apparatus 10, a command for changing a document to be focused (hereinafter referred to as “target document”) is generated.

詳しくは後述するが、文書一覧画面400には図9に示すように処理対象とする文書の候補が並べて表示され、うち1つ(図9ではカーソル402の位置のもの)が、注目文書となっている。注目文書を変更するコマンドは、例えば、図9の状態から、図10や図11に示すように、他の文書を注目状態とするように指示するものである。そして、例えば、現在の注目文書よりも、画面上でどちらへ何マス移動した位置の文書を次に注目文書とするかを指定する。   As will be described in detail later, document candidates to be processed are displayed side by side on the document list screen 400 as shown in FIG. 9, and one of them (the one at the position of the cursor 402 in FIG. 9) is the document of interest. ing. The command for changing the document of interest is, for example, an instruction to place another document in the state of interest as shown in FIGS. 10 and 11 from the state of FIG. Then, for example, it is specified which document is moved to which position on the screen from which the current document of interest is located next as the document of interest.

また、コマンド生成部226は、第1コマンドに示される、操作パネルの操作面と垂直な方向への位置関係の変化量に応じた量だけ、携帯端末装置10の文書一覧画面上での文書の表示サイズを変更するコマンドを生成する。このコマンドは、例えば図9の状態から、注目状態の文書のプレビュー画像をより大きなサイズで表示する図12や図14の状態に移行することを指示するものである。逆方向への移行ももちろんあり得るし、1画面内に表示する文書数を変更することにより表示サイズを変更することも考えられる。   In addition, the command generation unit 226 outputs the document on the document list screen of the mobile terminal device 10 by an amount corresponding to the change amount of the positional relationship in the direction perpendicular to the operation surface of the operation panel indicated by the first command. Generate a command to change the display size. This command instructs, for example, to shift from the state shown in FIG. 9 to the state shown in FIG. 12 or 14 in which the preview image of the document in the attention state is displayed in a larger size. Of course, there may be a shift in the reverse direction, and the display size may be changed by changing the number of documents displayed in one screen.

いずれにせよ、コマンド生成部226は、生成した第2コマンドをコマンド送信部227に渡して携帯端末装置10へ送信させる。
また、コマンド生成部226は、注目状態とする文書の変更を、注目文書特定部228にも伝える。
In any case, the command generation unit 226 passes the generated second command to the command transmission unit 227 for transmission to the mobile terminal device 10.
Further, the command generation unit 226 also notifies the target document identification unit 228 of the change of the document to be focused.

コマンド送信部227は、コマンド生成部226が生成したコマンドを、携帯端末装置10へ送信する第2送信手段の機能を備える。この送信は、受信した第1コマンドに対するレスポンスとして行うとよい。
注目文書特定部228は、コマンド生成部226から提供される情報に基づき、携帯端末装置10の文書一覧画面において現在注目状態となっている文書を特定し、その情報を画像処理部230に提供する機能を備える。
The command transmission unit 227 has a function of a second transmission unit that transmits the command generated by the command generation unit 226 to the mobile terminal device 10. This transmission may be performed as a response to the received first command.
Based on the information provided from the command generation unit 226, the attention document identification unit 228 identifies the document that is currently in the attention state on the document list screen of the mobile terminal device 10 and provides the information to the image processing unit 230. It has a function.

閾値設定部229は、距離判定部225における判定に用いる条件及び閾値を供給する機能を備える。この条件や閾値は、ユーザが任意に編集可能である。この編集により、携帯端末装置10を用いた操作の操作感を変えることができる。操作感とは、例えば、どの程度携帯端末装置10を操作パネル240から離すと印刷が開始されるか、等である。なお、条件や閾値の編集は、管理者権限を有するユーザのみに許可するようにしてもよい。
画像処理部230は、距離判定部225からの指示に基づき、注目文書特定部228が特定する注目状態の文書に対し、画像形成や送信等の画像処理を実行する機能を備える。
The threshold setting unit 229 has a function of supplying a condition and a threshold used for determination in the distance determination unit 225. These conditions and thresholds can be arbitrarily edited by the user. By this editing, it is possible to change the operational feeling of the operation using the mobile terminal device 10. The operational feeling is, for example, how much the mobile terminal device 10 is released from the operation panel 240 to start printing. It should be noted that editing of conditions and thresholds may be permitted only to users having administrator authority.
The image processing unit 230 has a function of executing image processing such as image formation and transmission on a document in a state of interest specified by the target document specification unit 228 based on an instruction from the distance determination unit 225.

次に、図6に、以上説明した各部の機能による、携帯端末装置10及び画像処理装置20の動作例を示す。図6に示す動作は、携帯端末装置10を用いた画像処理装置20の操作を開始する動作と、その後の操作に関する動作である。
画像処理システム1において、ユーザは、携帯端末装置10を用いて画像処理装置20を操作したい場合、まず携帯端末装置10を画像処理装置20のNFCI/F206にタッチする(S101)。このとき、携帯端末装置10におけるNFC通信機能は予めオンにしておくものとする。また、画像処理装置20は、人感センサ211により前に人が立ったことを検出すると、省電力モードであっても少なくともNFCI/F206を起動して通信に備える。
Next, FIG. 6 shows an operation example of the mobile terminal device 10 and the image processing device 20 by the function of each unit described above. The operation shown in FIG. 6 is an operation related to the operation for starting the operation of the image processing apparatus 20 using the mobile terminal device 10 and the subsequent operation.
In the image processing system 1, when the user wants to operate the image processing apparatus 20 using the portable terminal device 10, first, the user touches the NFC I / F 206 of the image processing apparatus 20 with the portable terminal device 10 (S 101). At this time, the NFC communication function in the mobile terminal device 10 is turned on in advance. In addition, when the human sensor 211 detects that a person has stood before, the image processing apparatus 20 activates at least the NFC I / F 206 to prepare for communication even in the power saving mode.

ステップS101でのタッチがされると、携帯端末装置10のNFCI/F106と画像処理装置20のNFCI/F206とが通信可能距離内に近づくため、これらI/Fが相互に相手を認識してNFCの通信経路を確立する(S102)。そして、画像処理装置20はその通信経路により携帯端末装置10へ自身のアドレスを送信する(S103)。画像処理装置10は、このアドレスを、以降のコマンドの送信先として設定する。この動作は、同期開始制御部221及びアドレス送信部222の機能と対応するものである。   When the touch in step S101 is performed, the NFC I / F 106 of the mobile terminal device 10 and the NFC I / F 206 of the image processing device 20 approach within the communicable distance, so that these I / Fs recognize each other and recognize NFC. Is established (S102). Then, the image processing device 20 transmits its own address to the mobile terminal device 10 through the communication path (S103). The image processing apparatus 10 sets this address as a transmission destination of subsequent commands. This operation corresponds to the functions of the synchronization start control unit 221 and the address transmission unit 222.

次に、携帯端末装置10は、画像処理装置20に対し、文書一覧画面のデータの送信を指示する(S104)。この動作は、コマンド送信部122の機能と対応するものである。
ステップS104の指示を受けた画像処理装置20は、蓄積されている文書のリストに基づき、文書一覧画面のデータを生成して(S105)、携帯端末装置10へ送信する(S106)。この動作は、画面データ送信部223の機能と対応するものである。
Next, the mobile terminal device 10 instructs the image processing device 20 to transmit data of the document list screen (S104). This operation corresponds to the function of the command transmission unit 122.
Upon receiving the instruction in step S104, the image processing apparatus 20 generates data of a document list screen based on the accumulated document list (S105) and transmits the data to the mobile terminal device 10 (S106). This operation corresponds to the function of the screen data transmission unit 223.

画面のデータを受信した携帯端末装置10は、表示部108に、携帯端末装置10を操作パネル240に近づける旨の指示を表示する(S107)と共に、カメラ109を起動し、撮像を開始する(S108)。そして、撮像で得られた画像を解析し(S109)、操作パネル240と携帯端末装置10との間の位置関係の変化を検出するまで待機する(S110)。   The mobile terminal device 10 that has received the screen data displays an instruction to bring the mobile terminal device 10 closer to the operation panel 240 on the display unit 108 (S107), activates the camera 109, and starts imaging (S108). ). Then, the image obtained by the imaging is analyzed (S109), and the process waits until a change in the positional relationship between the operation panel 240 and the mobile terminal device 10 is detected (S110).

なお、撮像した画像中に操作パネル240が含まれない場合や、現在の位置関係のデータが得られない場合、位置関係の変化はないものとして取り扱う。また、あまり細かい操作に応じて表示を更新してしまうと、却って所望の操作がしづらかったり表示がみづらくなったりするため、前回ステップS110でYesになってから一定量以上の変化を検出した場合に、ステップS110の判断がYesになるようにするとよい。また、ステップS107の後まだ一度もステップS110でYesになっていない場合には、操作パネル240との位置関係を検出でき、かつその位置関係が安定した(所定時間概ね同じ位置で保持された)場合にステップS110の判断がYesになるようにするとよい。   Note that when the operation panel 240 is not included in the captured image, or when the current positional relationship data cannot be obtained, it is handled that there is no change in the positional relationship. In addition, if the display is updated in response to a very fine operation, the desired operation is difficult or the display is difficult to see. Therefore, a change of a certain amount or more has been detected since Yes in the previous step S110. In this case, the determination in step S110 may be Yes. In addition, after step S107, if it is not yet Yes in step S110, the positional relationship with the operation panel 240 can be detected and the positional relationship is stable (maintained at approximately the same position for a predetermined time). In this case, the determination in step S110 may be Yes.

ステップS110でYesになると、携帯端末装置10は、検出した変化量及び変化後の携帯端末装置10と操作パネル240との位置関係の情報を含む第1コマンドを生成し(S111)、ステップS103で取得したアドレス(画像処理装置20)へ送信する(S112)。
以上のステップS109乃至ステップS111の動作が面内位置検出部127、距離検出部128及びコマンド生成部129の機能と対応する。ステップS112の動作がコマンド送信部122の機能と対応する。
If YES in step S110, the mobile terminal device 10 generates a first command including the detected change amount and information on the positional relationship between the mobile terminal device 10 after the change and the operation panel 240 (S111), and in step S103. It transmits to the acquired address (image processing apparatus 20) (S112).
The operations in steps S109 to S111 described above correspond to the functions of the in-plane position detection unit 127, the distance detection unit 128, and the command generation unit 129. The operation in step S112 corresponds to the function of the command transmission unit 122.

一方、第1コマンドを受信した画像処理装置20は、第1コマンドに含まれる位置関係の変化量に応じた量だけ、文書一覧画面上の注目文書又は文書の表示サイズの変更を指示する第2コマンドを生成し(S113)、携帯端末装置10へ送信する(S114)。
なお、ステップS106で画面データを送信した後初めて第1コマンドを受信した場合には、携帯端末装置10に文書一覧画面の表示を開始させるべく、第1コマンドに含まれる位置関係に従って、最初の注目文書及び表示サイズを設定し、それらの情報を含む第2コマンドを生成する。この第2コマンドも、携帯端末装置10を、文書一覧画面を表示していない状態から表示している状態へ変更するためのコマンドであると考えることができる。
On the other hand, the image processing apparatus 20 that has received the first command instructs the change of the display size of the document of interest or the document on the document list screen by an amount corresponding to the amount of change in the positional relationship included in the first command. A command is generated (S113) and transmitted to the mobile terminal device 10 (S114).
When the first command is received for the first time after the screen data is transmitted in step S106, the first attention is paid according to the positional relationship included in the first command in order to cause the mobile terminal device 10 to start displaying the document list screen. A document and a display size are set, and a second command including the information is generated. This second command can also be considered as a command for changing the portable terminal device 10 from the state where the document list screen is not displayed to the state where it is displayed.

ステップS113の動作は距離判定部225及びコマンド生成部226の機能と、ステップS114の動作はコマンド送信部227の機能とそれぞれ対応する。
第2コマンドを受信した携帯端末装置10は、第2コマンドに従って文書一覧画面の表示を更新(又は開始)し(S115)、ステップS109に戻る。この動作は表示制御部124及び表示部125の機能と対応する。
The operation in step S113 corresponds to the functions of the distance determination unit 225 and the command generation unit 226, and the operation in step S114 corresponds to the function of the command transmission unit 227, respectively.
The mobile terminal device 10 that has received the second command updates (or starts) the display of the document list screen according to the second command (S115), and returns to step S109. This operation corresponds to the functions of the display control unit 124 and the display unit 125.

以上により、ユーザは、携帯端末装置10の位置を、操作パネル240に対して相対的に移動させることにより、文書一覧画面における注目文書を変更して印刷対象の文書を選択したり、その文書の画像を種々のサイズで参照したりすることができる。この場合において、ユーザは、単に携帯端末装置10を移動させるだけでよく、タッチパネルやボタン等の操作子への操作は必要ない。   As described above, the user moves the position of the mobile terminal device 10 relative to the operation panel 240 to change the document of interest on the document list screen and select a document to be printed. Images can be referenced in various sizes. In this case, the user only needs to move the mobile terminal device 10 and does not need to operate the operation elements such as the touch panel and the buttons.

また、画像処理装置20は、ステップS114の後、ステップS113で生成した第2コマンドに従った更新後の文書一覧画面における注目文書を特定する(S116)と共に、図7に示すジョブ実行確認処理を実行する(S117)。ステップS116の動作は注目文書特定部228の機能と対応し、ステップS117の動作は距離判定部225及び画像処理部230の機能と対応する。   Further, after step S114, the image processing apparatus 20 specifies a document of interest on the updated document list screen according to the second command generated in step S113 (S116), and performs the job execution confirmation process shown in FIG. Execute (S117). The operation in step S116 corresponds to the function of the target document specifying unit 228, and the operation in step S117 corresponds to the functions of the distance determination unit 225 and the image processing unit 230.

図7に、ジョブ実行確認処理のフローチャートを示す。
図7の処理において、画像処理装置20はまず、受信した第1コマンドに含まれる位置関係の情報を、履歴として過去の情報に追加して記憶する(S121)。その後、その位置関係の変化の履歴が所定の条件を満たしたか否か判断する(S122)。この条件は、閾値設定部229により供給されるものであり、例えば図8に示すものである。
FIG. 7 shows a flowchart of the job execution confirmation process.
In the process of FIG. 7, the image processing apparatus 20 first stores the positional relationship information included in the received first command in addition to the past information as a history (S121). Thereafter, it is determined whether or not the change history of the positional relationship satisfies a predetermined condition (S122). This condition is supplied by the threshold setting unit 229 and is shown in FIG. 8, for example.

図8の例では、「操作パネルから距離X1以上離れた」と「操作パネルから距離X1以上離れた後で距離X2以内に近づいた」の2つの条件と、変数X1及びX2の値が設定されている。また、各条件にはIDが付され、どちらの条件を適用するかも設定され、図8の例では、「適用」の欄に丸印のある、ID=1の条件が、X1=40cmの状態で適用することが示されている。図8のデータは、ユーザが任意に変更可能である。
いずれにせよ、ステップS122で所定の条件を満たした場合、ステップS116で特定された文書を用紙に印刷し(S123)、処理を終了する。ステップS122で条件を満たしていない場合には、印刷はせずに処理を終了する。
In the example of FIG. 8, two conditions of “distant from the operation panel by a distance X1” and “approached within a distance X2 after being away from the operation panel by at least a distance X1” and the values of variables X1 and X2 are set. ing. Each condition is given an ID, and it is set which condition is applied. In the example of FIG. 8, the condition of ID = 1 with a circle in the “apply” column is the state where X1 = 40 cm. It is shown to apply in. The data in FIG. 8 can be arbitrarily changed by the user.
In any case, when the predetermined condition is satisfied in step S122, the document specified in step S116 is printed on paper (S123), and the process is terminated. If the condition is not satisfied in step S122, the process ends without printing.

以上により、ユーザは、携帯端末装置10を、操作パネル240に対して所定の条件を満たすように動かすことにより、注目文書の印刷を、画像処理装置20に対して指示することができる。この場合も、ユーザは、単に携帯端末装置10を移動させるだけでよく、タッチパネルやボタン等の操作子への操作は必要ない。   As described above, the user can instruct the image processing device 20 to print the document of interest by moving the mobile terminal device 10 so as to satisfy the predetermined condition with respect to the operation panel 240. Also in this case, the user only needs to move the mobile terminal device 10 and does not need to operate the operation elements such as the touch panel and the buttons.

次に、図6及び図7に示した動作による、携帯端末装置10の操作と画面表示との関係につき、図9乃至図16の具体例を用いて説明する。なお、図9乃至図12と図14乃至図16において、携帯端末装置10との相対的な位置関係に注目するため、操作パネル240については存在する範囲をハッチングにより示すのみとしている。
図9に示すのは、ステップS106で携帯端末装置10に文書一覧画面のデータを取得させた後、携帯端末装置10を操作パネル240の中央付近で操作パネル240から少し離れた位置に移動させた状態の、文書一覧画面400の表示例を示すものである。
Next, the relationship between the operation of the mobile terminal device 10 and the screen display by the operations shown in FIGS. 6 and 7 will be described using the specific examples of FIGS. 9 to 16. In FIGS. 9 to 12 and FIGS. 14 to 16, in order to pay attention to the relative positional relationship with the mobile terminal device 10, the existing range of the operation panel 240 is only indicated by hatching.
FIG. 9 shows that after the portable terminal device 10 acquires the data of the document list screen in step S106, the portable terminal device 10 is moved to a position slightly away from the operation panel 240 near the center of the operation panel 240. The example of a display of the document list screen 400 of a state is shown.

なお、図9の例において、携帯端末装置10の構成としては、ディスプレイ140とボタン141を示しており、ディスプレイ140に文書一覧画面400が表示される。文書一覧画面400には、3つの文書についてプレビュー表示部401を設けることが可能なサイズで、各文書のプレビュー画像401aを表示している。このプレビュー画像401aは、文書を印刷したり表示したりした場合に表れる画像のうち1ページ分を、所望のサイズで表す画像である。   In the example of FIG. 9, the configuration of the mobile terminal device 10 includes a display 140 and a button 141, and a document list screen 400 is displayed on the display 140. The document list screen 400 displays a preview image 401a of each document in such a size that the preview display unit 401 can be provided for three documents. The preview image 401a is an image representing one page of a desired size in an image that appears when a document is printed or displayed.

また、図9の例では、カーソル402で示される文書Bが注目文書となっている。また、スクロールバー403は、画面内に表示しきれない文書があることを示し、ノブ403aにより、全体のうちどの辺りを現在表示中であるかを示している。
なお、注目文書とする文書や、プレビュー画像401aあるいはプレビュー表示部401の表示サイズは、携帯端末装置10と操作パネル240との、操作面に水平な方向と垂直な方向の位置関係に基づき、画像処理装置20に指定されたものである。
In the example of FIG. 9, the document B indicated by the cursor 402 is the document of interest. A scroll bar 403 indicates that there is a document that cannot be displayed on the screen, and indicates which part of the entire document is currently displayed by the knob 403a.
Note that the document that is the document of interest and the display size of the preview image 401a or the preview display unit 401 are based on the positional relationship between the mobile terminal device 10 and the operation panel 240 in the direction perpendicular to the operation surface. This is specified for the processing device 20.

図10は、図9の状態から、携帯端末装置10を、図で左側に移動させた状態を示すものである。
この移動により、携帯端末装置10と操作パネル240との、操作面に平行な方向の位置関係が変化したことになる。そこで、携帯端末装置10はその旨を示す第1コマンドを画像処理装置20に送信し、それに応じて画像処理装置20から送信される第2コマンドに従って、画面の表示を更新する。
FIG. 10 shows a state in which the mobile terminal device 10 is moved to the left in the figure from the state of FIG.
By this movement, the positional relationship between the mobile terminal device 10 and the operation panel 240 in the direction parallel to the operation surface is changed. Therefore, the mobile terminal device 10 transmits a first command indicating that to the image processing device 20, and updates the display of the screen according to the second command transmitted from the image processing device 20 accordingly.

ここでは、操作面に平行な方向の位置関係の変化に対応して、注目文書を、変化方向に沿って移動前よりも図で1つ左側の文書に変更する旨の指示がなされたものとする。この場合、文書一覧画面400では、カーソル402が、新たな注目文書の位置に移動される。   Here, in response to a change in the positional relationship in a direction parallel to the operation surface, an instruction is given to change the document of interest to a document on the left side of the figure along the change direction before moving. To do. In this case, on the document list screen 400, the cursor 402 is moved to the position of a new document of interest.

図11は、図9の状態から、携帯端末装置10を、図で右側に移動させた状態を示すものである。
この移動により、携帯端末装置10と操作パネル240との、操作面に平行な方向の位置関係が変化したことになる。そこで、携帯端末装置10は、図10の場合と同様に画像処理装置20からの第2コマンドに従い画面の表示を更新する。
FIG. 11 shows a state where the mobile terminal device 10 is moved to the right side in the figure from the state of FIG.
By this movement, the positional relationship between the mobile terminal device 10 and the operation panel 240 in the direction parallel to the operation surface is changed. Therefore, the mobile terminal apparatus 10 updates the display of the screen according to the second command from the image processing apparatus 20 as in the case of FIG.

ここでは、操作面に平行な方向の位置関係の変化に対応して、画像処理装置20から、注目文書を、移動前よりも図で2つ右側の文書に変更する旨の指示がなされたものとする(図10の例より移動量が大きいため)。この場合、移動前の文書一覧画面400には表示されていない文書を注目文書とすることになる。そこで、携帯端末装置10は、プレビュー表示部401の表示を自動でスクロールさせ、注目文書とする文書Dが画面に表れるようにした上で、カーソル402を、新たな注目文書の位置に移動させる。
これらの操作により、ユーザは、ディスプレイ140上のタッチパネルやボタン141を操作することなく、任意の文書を注目文書とすることができる。
Here, in response to the change in the positional relationship in the direction parallel to the operation surface, the image processing apparatus 20 has instructed to change the document of interest to a document on the right two in the figure from before the movement. (Because the movement amount is larger than in the example of FIG. 10). In this case, a document that is not displayed on the document list screen 400 before movement is set as the document of interest. Therefore, the mobile terminal device 10 automatically scrolls the display of the preview display unit 401 so that the document D as the document of interest appears on the screen, and then moves the cursor 402 to the position of the new document of interest.
With these operations, the user can set an arbitrary document as a document of interest without operating the touch panel and the button 141 on the display 140.

図12は、図9の状態から、携帯端末装置10を、操作パネル240から離す方向(図13の矢印X方向)に移動させた状態を示すものである。
この移動により、携帯端末装置10と操作パネル240との、操作面に垂直な方向の位置関係が変化したことになる。そこで、携帯端末装置10は、図10の場合と同様に画像処理装置20からの第2コマンドに従い画面の表示を更新する。
FIG. 12 shows a state in which the mobile terminal device 10 has been moved from the state of FIG. 9 in the direction away from the operation panel 240 (in the direction of arrow X in FIG. 13).
By this movement, the positional relationship between the mobile terminal device 10 and the operation panel 240 in the direction perpendicular to the operation surface is changed. Therefore, the mobile terminal apparatus 10 updates the display of the screen according to the second command from the image processing apparatus 20 as in the case of FIG.

ここでは、操作面に垂直な方向の位置関係の変化に対応して、画像処理装置20から、プレビュー画像401aの表示サイズを、画面内にプレビュー表示部410を1つのみ設けられる程度のサイズに変更する旨の指示がなされたものとする。この場合、携帯端末装置10は、指示に従って文書一覧画面400内に1つの文書のみについてプレビュー表示部410を設け、その中に拡大したプレビュー画像411aを表示する。   Here, in response to the change in the positional relationship in the direction perpendicular to the operation surface, the display size of the preview image 401a from the image processing apparatus 20 is set to a size that allows only one preview display unit 410 to be provided in the screen. It shall be instructed to change. In this case, the mobile terminal device 10 provides the preview display unit 410 for only one document in the document list screen 400 according to the instruction, and displays the enlarged preview image 411a therein.

図14は、図12の状態からさらに、携帯端末装置10を、操作パネル240から離す方向(図13の矢印X方向)に移動させた状態を示すものである。
この移動により、携帯端末装置10と操作パネル240との、操作面に垂直な方向の位置関係が再度変化したことになる。そこで、携帯端末装置10は、図10の場合と同様に画像処理装置20からの第2コマンドに従い画面の表示を更新する。
FIG. 14 shows a state in which the mobile terminal device 10 is further moved in the direction away from the operation panel 240 (the arrow X direction in FIG. 13) from the state of FIG.
By this movement, the positional relationship between the portable terminal device 10 and the operation panel 240 in the direction perpendicular to the operation surface is changed again. Therefore, the mobile terminal apparatus 10 updates the display of the screen according to the second command from the image processing apparatus 20 as in the case of FIG.

ここでは、操作面に垂直な方向の位置関係の変化に対応して、画像処理装置20から、プレビュー画像401aの表示サイズを、ディスプレイ140の表示領域内に収まらない程度まで拡大したサイズに変更する旨の指示がなされたものとする。この場合、携帯端末装置10は、指示に従って、プレビュー画像をスクロールさせるためのスクロールバー413及び414を設け、これらを用いてスクロール可能なように、図12の状態よりもさらに拡大したプレビュー画像421aを表示する。   Here, in response to the change in the positional relationship in the direction perpendicular to the operation surface, the display size of the preview image 401 a is changed from the image processing device 20 to a size that does not fit in the display area of the display 140. An instruction to that effect has been given. In this case, the mobile terminal device 10 is provided with scroll bars 413 and 414 for scrolling the preview image according to the instruction, and the preview image 421a further enlarged than the state of FIG. indicate.

図15は、図14の状態から、携帯端末装置10を、操作パネル240との間の距離を変えずに図で右上側に移動させた状態を示すものである。
この移動により、携帯端末装置10と操作パネル240との、操作面に平行な方向の位置関係が変化したことになる。そこで、携帯端末装置10は、図10の場合と同様に画像処理装置20からの第2コマンドに従い画面の表示を更新する。
FIG. 15 shows a state in which the mobile terminal device 10 is moved from the state of FIG. 14 to the upper right side in the figure without changing the distance to the operation panel 240.
By this movement, the positional relationship between the mobile terminal device 10 and the operation panel 240 in the direction parallel to the operation surface is changed. Therefore, the mobile terminal apparatus 10 updates the display of the screen according to the second command from the image processing apparatus 20 as in the case of FIG.

ここで、操作面に平行な方向の位置関係の変化があった場合、これを必ずしも注目文書の変更操作と捉えず、画面のスクロール操作であると捉えることもできる。図9乃至図11の画面におけるスクロール操作は注目文書の変更操作として捉えられるが、図14の画面におけるスクロール操作は、プレビュー画像421aの表示領域の変更操作として捉えることができる。   Here, if there is a change in the positional relationship in the direction parallel to the operation surface, this may not necessarily be regarded as a change operation of the document of interest, but may be regarded as a screen scroll operation. The scroll operation on the screens of FIGS. 9 to 11 can be understood as a change operation of the document of interest, but the scroll operation on the screen of FIG. 14 can be regarded as a change operation of the display area of the preview image 421a.

そこで、図15の例では、操作面に平行な方向の位置関係の変化に対応して、画像処理装置20から、プレビュー画像421aの表示領域を矢印で示す変化方向に沿って、右上方向に移動させる旨の指示がなされたものとする。この場合、携帯端末装置10は、指示に従ってプレビュー画面421aの表示をスクロールさせる。   Therefore, in the example of FIG. 15, in response to the change in the positional relationship in the direction parallel to the operation surface, the display area of the preview image 421a is moved in the upper right direction along the change direction indicated by the arrow from the image processing device 20. It is assumed that an instruction to do so is given. In this case, the mobile terminal device 10 scrolls the display of the preview screen 421a according to the instruction.

なお、図14の状態から携帯端末装置10を操作パネル240に近づけた場合は、画像処理装置20から、位置関係の変化に応じてプレビュー画像を縮小する指示がなされ、図12の画面を経て図10の画面に戻すことができる。
これらの操作により、ユーザは、タッチパネルやボタンを操作することなく、注目文書のプレビュー画像を、任意のサイズで参照することができる。
When the mobile terminal device 10 is brought closer to the operation panel 240 from the state of FIG. 14, the image processing device 20 gives an instruction to reduce the preview image in accordance with the change in the positional relationship, and the image is displayed via the screen of FIG. 10 screens can be restored.
Through these operations, the user can refer to the preview image of the document of interest at an arbitrary size without operating the touch panel or buttons.

図16は、図14の状態から、携帯端末装置10を、操作パネル240から離す方向にさらに移動させた状態を示すものである。この移動により、携帯端末装置10と操作パネル240との間の距離が、図8の条件を満たしたものとする。
この場合、画像処理装置20は、注目文書の印刷を開始し、それに伴って他の動作の実行ができない間、携帯端末装置10に図16に示すようなポップアップ画面430を表示させて、操作ができないようにする。
FIG. 16 shows a state in which the mobile terminal device 10 is further moved away from the operation panel 240 from the state of FIG. It is assumed that the distance between the mobile terminal device 10 and the operation panel 240 satisfies the condition of FIG. 8 by this movement.
In this case, the image processing apparatus 20 starts printing the document of interest, and displays a pop-up screen 430 as shown in FIG. I can't do it.

このように、ユーザは、タッチパネルやボタンを操作することなく、注目文書の印刷指示を画像処理装置20に対して行うことができる。
以上のように、ここまで説明してきた画像処理システム1によれば、ユーザは、携帯端末装置10の操作部に対する操作を行わなくても、携帯端末装置10を用いて画像処理装置20に対する種々の操作を行うことができる。
In this way, the user can issue a print instruction for the document of interest to the image processing apparatus 20 without operating the touch panel or buttons.
As described above, according to the image processing system 1 described so far, the user can perform various operations on the image processing device 20 using the mobile terminal device 10 without performing an operation on the operation unit of the mobile terminal device 10. The operation can be performed.

〔第2実施形態:図17乃至図22〕
次に、この発明の画像処理システムの第2実施形態について説明する。
この第2実施形態は、主として、文書に対する画像処理を行わせる画像処理装置をユーザが任意に選択できるようにした点が第1実施形態と異なる。これ以外の点では上述した第1実施形態と概ね共通であるので、第1実施形態と異なる事項についてのみ説明する。また、第1実施形態と共通の又は対応する構成については、第1実施形態で用いたものと同じ符号を用いる。
[Second Embodiment: FIGS. 17 to 22]
Next, a second embodiment of the image processing system of the present invention will be described.
The second embodiment is different from the first embodiment mainly in that the user can arbitrarily select an image processing apparatus that performs image processing on a document. Since the other points are generally the same as those of the first embodiment described above, only matters different from the first embodiment will be described. Moreover, about the structure which is common or corresponds to 1st Embodiment, the same code | symbol as what was used in 1st Embodiment is used.

図17は、第2実施形態における携帯端末装置10及び画像処理装置20が備える機能の構成を示す、図4と対応する図である。
図17に示すように、携帯端末装置10は、図4に示した機能に加え、装置特定部131を備える。この装置特定部131は、撮像部126が撮像した画像に含まれる操作パネル上の所定のパターンに基づき、撮像された操作パネルを備える画像処理装置を特定する特定手段の機能を備える。
FIG. 17 is a diagram corresponding to FIG. 4, illustrating a configuration of functions included in the mobile terminal device 10 and the image processing device 20 in the second embodiment.
As illustrated in FIG. 17, the mobile terminal device 10 includes a device specifying unit 131 in addition to the functions illustrated in FIG. 4. The device specifying unit 131 includes a function of a specifying unit that specifies an image processing device including an imaged operation panel based on a predetermined pattern on the operation panel included in an image captured by the image capturing unit 126.

この第2実施形態においては、ユーザは画像処理装置20以外にも、画像処理システム1の外部で無線ネットワークNに接続された画像処理装置を、文書に対する画像処理を行わせる画像処理装置として指定可能である(図21,図22参照)。そして、その指定の候補となる各画像処理装置は、上記所定のパターンとして、例えば無線ネットワークN内における自身のアドレスをコード化したコード記号を操作パネルに表示する。   In the second embodiment, in addition to the image processing apparatus 20, the user can designate an image processing apparatus connected to the wireless network N outside the image processing system 1 as an image processing apparatus that performs image processing on a document. (See FIGS. 21 and 22). Each image processing apparatus that is a candidate for the designation displays, for example, a code symbol obtained by encoding its own address in the wireless network N on the operation panel as the predetermined pattern.

装置特定部131は、撮像された画像中に含まれるこのコード記号をデコードすることにより、撮像された操作パネルを備える画像処理装置を特定することができる。また、デコードできる程度の距離までその画像処理装置に接近したことも把握することができる。画像処理装置20を同様に特定することができるようにしてもよい。
もちろん、特定は他の方法で行ってもよい。特定のマーカーで示される領域にインクで記載された機番を撮像し、画像中の、マーカーで示される領域に対してOCR(Optical Character Recognition)を行う等である。
The device specifying unit 131 can specify an image processing device including a captured operation panel by decoding the code symbol included in the captured image. It is also possible to grasp that the image processing apparatus has been approached to a distance that can be decoded. The image processing device 20 may be specified similarly.
Of course, the identification may be performed by other methods. For example, a machine number written in ink is imaged in an area indicated by a specific marker, and OCR (Optical Character Recognition) is performed on the area indicated by the marker in the image.

また、コマンド生成部129は、装置特定部131の検出結果にも基づいてコマンドの生成を行う。特に、携帯端末装置10と、いずれかの画像処理装置の操作パネルとの距離の変化パターンが予め定めた変化パターンを満たしたことを検出した場合に、その時点で装置特定部131が特定している画像処理装置を示す情報を含む第3コマンドを生成する。この第3コマンドは、画像処理装置20に、装置特定部131が特定している画像処理装置(現在携帯端末装置10の近くにある画像処理装置)に対する画像処理の要求を行わせるためのコマンドである。
この第3コマンドは、第1コマンドの場合と同様、コマンド送信部122が画像処理装置20へ送信する。送信先は、装置特定部131が特定した画像処理装置ではなく、文書一覧画面を提供する画像処理装置20である。また、予め定めた変化パターンは、例えば図20に示すようなものであるが、その内容については後述する。
The command generation unit 129 also generates a command based on the detection result of the device specifying unit 131. In particular, when it is detected that the change pattern of the distance between the mobile terminal device 10 and the operation panel of any of the image processing devices satisfies a predetermined change pattern, the device specifying unit 131 specifies the change pattern at that time. A third command including information indicating the image processing apparatus that is present is generated. This third command is a command for causing the image processing device 20 to make an image processing request to the image processing device specified by the device specifying unit 131 (the image processing device that is currently near the mobile terminal device 10). is there.
The third command is transmitted to the image processing apparatus 20 by the command transmission unit 122 as in the case of the first command. The transmission destination is not the image processing apparatus specified by the apparatus specifying unit 131 but the image processing apparatus 20 that provides a document list screen. Further, the predetermined change pattern is as shown in FIG. 20, for example, and the contents thereof will be described later.

また、画像処理装置20側は、図4に示した機能に加え、処理対象文書決定部231と、処理要求部232とを備える。また、画像処理部230の位置づけが図4の場合と大きく異なる。
これらのうち処理対象文書決定部231は、距離判定部225が、携帯端末装置10が操作パネル240から所定距離(ユーザが任意に設定可能な第1所定距離)以上離れたことを検出した場合に、その時点で注目文書特定部228が特定している注目文書を、処理対象の文書として決定する決定手段の機能を備える。距離判定部225が、第1コマンドにより携帯端末装置10から通知される位置関係の情報に基づき、携帯端末装置10と操作パネル240との間の距離を認識することは、上述の通りである。また、処理対象文書決定部231の決定は、決定から一定時間以内に第3コマンドを検出しなかった場合には削除するとよい。
In addition to the functions shown in FIG. 4, the image processing apparatus 20 side includes a processing target document determination unit 231 and a processing request unit 232. Further, the positioning of the image processing unit 230 is significantly different from the case of FIG.
Among these, the processing target document determining unit 231 detects that the distance determining unit 225 detects that the mobile terminal device 10 is separated from the operation panel 240 by a predetermined distance (a first predetermined distance that can be arbitrarily set by the user) or more. , And a function of a determination unit that determines the target document specified by the target document specifying unit 228 at that time as a document to be processed. As described above, the distance determination unit 225 recognizes the distance between the mobile terminal device 10 and the operation panel 240 based on the positional relationship information notified from the mobile terminal device 10 by the first command. Further, the determination by the processing target document determination unit 231 may be deleted when the third command is not detected within a certain time from the determination.

また、処理要求部232は、処理対象文書決定部231が処理対象の文書を決定している状態でコマンド受信部224が第3コマンドを受信した場合に、その第3コマンドにより示される画像処理装置に対し、処理対象文書のデータを送信し、処理対象文書の画像を用紙に形成することを要求する、要求手段の機能を備える。この要求の対象は、他の画像処理装置である場合もあれば、画像処理装置20自身である場合もある。
後者の場合、要求に従った画像処理は、画像処理部230が実行する。
なお、処理要求部232が上記の要求を行うタイミングや、その要求の内容についてはいくつかバリエーションがあるが、この点については後述する。
In addition, when the command receiving unit 224 receives the third command while the processing target document determining unit 231 has determined the processing target document, the processing request unit 232 displays the image processing apparatus indicated by the third command. On the other hand, it has a function of a requesting unit that transmits data of a processing target document and requests to form an image of the processing target document on a sheet. The target of this request may be another image processing apparatus or the image processing apparatus 20 itself.
In the latter case, the image processing unit 230 executes image processing according to the request.
Note that there are some variations in the timing at which the processing request unit 232 makes the above request and the content of the request, which will be described later.

次に、図18及び図19に、第2実施形態における図6及び図7と対応する動作のシーケンス図を示す。
図18に示す動作のうち、ステップS109までは、図6に示したものと同じである。
しかし、携帯端末装置10は、ステップS109の後、画像の解析結果に基づき、撮像した操作パネルを備える画像処理装置を特定する(SA)。特定不能という結果があってもよい。この動作は、装置特定部131の機能と対応するものである。
Next, FIGS. 18 and 19 show sequence diagrams of operations corresponding to FIGS. 6 and 7 in the second embodiment.
Of the operations shown in FIG. 18, the steps up to step S109 are the same as those shown in FIG.
However, after step S109, the mobile terminal device 10 specifies an image processing device including an imaged operation panel based on the image analysis result (SA). There may be results that cannot be identified. This operation corresponds to the function of the device specifying unit 131.

次に、携帯端末装置10は、特定した装置がステップS103でアドレスを取得した画像処理装置20であるか否か判断する(SB)。ここでYesであれば、図6の場合と同様に、ステップS110乃至S115の処理を行って、ステップS109に戻る。
この場合、画像処理装置20側の動作も、基本的には図6の場合と同じである。しかし、ステップS116の後で、図7の処理に代えて、図19に示す動作を実行する。すなわち、携帯端末装置10と操作パネル240との間の距離が第1所定距離以上であるか否か判断し(S151)、これがYesであれば、現在の注目文書を処理対象文書として決定する(S152)。Noであれば、この決定は行わない。この動作は、処理対象文書決定部231の機能と対応するものである。
Next, the mobile terminal device 10 determines whether or not the identified device is the image processing device 20 that acquired the address in step S103 (SB). If Yes here, similarly to the case of FIG. 6, the processing of steps S110 to S115 is performed, and the processing returns to step S109.
In this case, the operation on the image processing apparatus 20 side is basically the same as in the case of FIG. However, after step S116, the operation shown in FIG. 19 is executed instead of the processing of FIG. That is, it is determined whether or not the distance between the mobile terminal device 10 and the operation panel 240 is equal to or greater than the first predetermined distance (S151). If this is Yes, the current document of interest is determined as the processing target document ( S152). If No, this determination is not made. This operation corresponds to the function of the processing target document determination unit 231.

また、携帯端末装置10は、ステップSBの判断がNoの場合、図19のステップS141に進む。そして、必要に応じて最近のステップS109における解析結果の履歴を参照し、携帯端末装置10と操作パネル240との間の距離の変化パターンが、所定の変化パターンのいずれかを満たしたか否か判断する(S141)。   If the determination in step SB is No, the mobile terminal device 10 proceeds to step S141 in FIG. Then, if necessary, the history of analysis results in recent step S109 is referred to, and it is determined whether or not the change pattern of the distance between the mobile terminal device 10 and the operation panel 240 satisfies any of the predetermined change patterns. (S141).

図20に、ここで用いる所定の変化パターンの例を示す。図20に示す情報は、画像処理装置20において設定され、ユーザが任意に変更可能なものである。図20は、ID=1とID=2の2つの変化パターンを用意した例であり、X1はパターン中の変数の値を示す。
すなわち、ID=1の変化パターンは、「20cm以内に近づけた状態を所定時間以上保持」であり、ID=2の変化パターンは、「20cm以内に近づけてすぐ離す」である。実際には、「所定時間」や「すぐ」も数値で規定される。
FIG. 20 shows an example of a predetermined change pattern used here. The information shown in FIG. 20 is set in the image processing apparatus 20 and can be arbitrarily changed by the user. FIG. 20 shows an example in which two change patterns of ID = 1 and ID = 2 are prepared, and X1 indicates the value of a variable in the pattern.
That is, the change pattern of ID = 1 is “holding the state close to within 20 cm for a predetermined time or longer”, and the change pattern of ID = 2 is “close to within 20 cm and immediately separated”. Actually, “predetermined time” and “immediately” are also defined by numerical values.

また、「画像処理」の項目は、該当の変化パターンが満たされた場合に処理対象文書に対して実行する画像処理の種類を規定する。ID=1については文書を印刷すべきことが規定され、ID=2については文書のデータを蓄積すべきことが規定されている。もちろん、これら以外の処理を規定できるようにしてもよい。
図20に示すデータは、ステップS141の判断の用に供するため、「画像処理」の項目以外は画像処理装置20から携帯端末装置10に提供される。
In addition, the item “image processing” defines the type of image processing to be performed on the processing target document when the corresponding change pattern is satisfied. For ID = 1, it is specified that the document should be printed, and for ID = 2, it is specified that the document data should be stored. Of course, other processes may be defined.
The data shown in FIG. 20 is provided to the portable terminal device 10 from the image processing device 20 except for the item “image processing” in order to be used for the determination in step S141.

図19の説明に戻ると、携帯端末装置10は、ステップS141でYesの場合、図18のステップSAで特定した画像処理装置を示す情報と、距離の変化がどの変化パターンを満たしたかを示す情報を含む第3コマンドを生成して(S142)、画像処理装置20へ送信する(S143)。複数の変化パターンを満たした場合、それらの情報を全て含めることができる。ステップS141乃至S143の動作は、第3送信手段として機能するコマンド生成部129及びコマンド送信部122の機能と対応する。
ステップS143の後、あるいはステップS141でNoの場合は、図18のステップS109に戻る。
Returning to the description of FIG. 19, in the case of Yes in step S <b> 141, the mobile terminal device 10 indicates information indicating the image processing device specified in step SA of FIG. 18 and information indicating which change pattern the change in distance satisfies. Is generated (S142) and transmitted to the image processing apparatus 20 (S143). When a plurality of change patterns are satisfied, all of the information can be included. The operations in steps S141 to S143 correspond to the functions of the command generation unit 129 and the command transmission unit 122 that function as third transmission means.
After step S143 or in the case of No in step S141, the process returns to step S109 in FIG.

一方、第3コマンドを受信した画像処理装置20は、処理対象文書が決定済みであるか否か判断する(S153)。そして、決定済みであれば、第3コマンドに記載された画像処理装置に、処理対象文書のデータを送信し、その文書について、第3コマンドに示される変化パターンと対応する画像処理(図20参照)の実行を要求する(S154)。ステップS153で決定済みでなければ、画像処理の要求は行わない。以上のステップS153及びS154の動作は、処理要求部232の機能と対応するものである。   On the other hand, the image processing apparatus 20 that has received the third command determines whether or not the processing target document has been determined (S153). If determined, the data of the document to be processed is transmitted to the image processing apparatus described in the third command, and image processing corresponding to the change pattern indicated in the third command is performed for the document (see FIG. 20). ) Is requested (S154). If it has not been determined in step S153, no image processing request is made. The operations in steps S153 and S154 described above correspond to the function of the processing request unit 232.

以上により、ユーザは、携帯端末装置10を、画像処理装置20の操作パネル240に対して適宜動かして所望の文書を注目文書とした後、携帯端末装置10を画像処理装置20から離して他の画像処理装置の操作パネルに近づけることにより、近づけた先の画像処理装置に、その所望の文書を印刷や蓄積等させることができる。この場合も、ユーザは、単に携帯端末装置10を移動させるだけでよく、タッチパネルやボタン等の操作子への操作は必要ない。   As described above, after the user appropriately moves the mobile terminal device 10 with respect to the operation panel 240 of the image processing device 20 to set a desired document as a document of interest, the user separates the mobile terminal device 10 from the image processing device 20 and performs other processing. By approaching the operation panel of the image processing apparatus, the desired document can be printed, stored, or the like in the image processing apparatus closer to it. Also in this case, the user only needs to move the mobile terminal device 10 and does not need to operate the operation elements such as the touch panel and the buttons.

次に、図18及び図19に示した動作による、携帯端末装置10の操作と各画像処理装置の動作との関係につき、図21の具体例を用いて説明する。
まず、この第2実施形態においても、携帯端末装置10を画像処理装置20の操作パネルに近づけて適宜に移動させることにより、第1実施形態の場合と同様な操作で注目文書を選択したり、その内容を参照したりすることができる。その後、矢印Xに示すようにユーザが携帯端末装置10を画像処理装置20の操作パネル240から第1所定距離以上離すと、その時点の注目文書が処理対象文書として決定される(S152)。
Next, the relationship between the operation of the mobile terminal device 10 and the operation of each image processing device according to the operations shown in FIGS. 18 and 19 will be described using the specific example of FIG.
First, also in the second embodiment, the portable terminal device 10 is appropriately moved close to the operation panel of the image processing device 20 to select a document of interest by the same operation as in the first embodiment, You can refer to the contents. Thereafter, when the user moves the mobile terminal device 10 away from the operation panel 240 of the image processing device 20 by a first predetermined distance or more as indicated by an arrow X, the target document at that time is determined as the processing target document (S152).

その後、ユーザが矢印Yで示すように携帯端末装置10を他の画像処理装置20aの操作パネル240aに近づけて保持すると、携帯端末装置10は、図20のID=1の変化パターンを満たしたとして、第3コマンドを画像処理装置20へ送信する。そして、画像処理装置20は、第3コマンドに記載された画像処理装置20aに対し、処理対象文書のデータを送信し、印刷を実行するよう要求する。画像処理装置20aがこれに応じて印刷を実行すれば、ユーザは画像処理装置20aから印刷物を入手することができる。   Thereafter, when the user holds the portable terminal device 10 close to the operation panel 240a of another image processing device 20a as indicated by an arrow Y, the portable terminal device 10 satisfies the change pattern of ID = 1 in FIG. The third command is transmitted to the image processing apparatus 20. Then, the image processing apparatus 20 transmits the data of the processing target document to the image processing apparatus 20a described in the third command, and requests to execute printing. If the image processing apparatus 20a executes printing according to this, the user can obtain a printed matter from the image processing apparatus 20a.

また、その後、ユーザが矢印Zで示すように携帯端末装置10をさらに他の画像処理装置20bの操作パネル240bに近づけた後離すと、携帯端末装置10は、図20のID=2の変化パターンを満たしたとして、第3コマンドを画像処理装置20へ送信する。そして、画像処理装置20は、第3コマンドに記載された画像処理装置20bに対し、処理対象文書のデータを送信し、蓄積を実行するよう要求する。画像処理装置20bがこれに応じて蓄積を実行すれば、ユーザは画像処理装置20bへ所望の文書を蓄積させることができる。   Further, when the user thereafter moves the portable terminal device 10 closer to the operation panel 240b of another image processing device 20b as indicated by an arrow Z and then releases it, the portable terminal device 10 changes the change pattern of ID = 2 in FIG. As a result, the third command is transmitted to the image processing apparatus 20. Then, the image processing apparatus 20 transmits the data of the processing target document to the image processing apparatus 20b described in the third command, and requests to execute accumulation. If the image processing apparatus 20b performs accumulation in response to this, the user can accumulate a desired document in the image processing apparatus 20b.

なお、この動作を行うに際し、画像処理装置20以外の画層処理装置は、携帯端末装置10に特定されるための所定のパターンを提示する機能(又は外装へのパターン形成がなされていること)及び画像処理装置20からの要求に従って画像処理を実行する機能を備えていれば、その他の特殊な機能を備えている必要はない。   In performing this operation, the layer processing apparatus other than the image processing apparatus 20 has a function of presenting a predetermined pattern for specifying the mobile terminal apparatus 10 (or that a pattern is formed on the exterior). If the image processing apparatus 20 has a function of executing image processing in accordance with a request from the image processing apparatus 20, it is not necessary to have other special functions.

また、第2実施形態において、画像処理装置20が、処理対象文書が決定されている状態で第3コマンドを受信した後、所定時間以内に再度第3コマンドを受信しなかった場合に、ステップS154の動作の要求を行うようにしてもよい。このようにすると、ユーザが短時間のうちに次々と複数の画像処理装置の操作パネルに携帯端末装置10を近づけた場合、最後に近づけた画像処理装置に対してのみ、処理の要求を行うことになる。   Further, in the second embodiment, when the image processing apparatus 20 receives the third command in a state where the processing target document is determined and does not receive the third command again within a predetermined time, step S154 is performed. The operation request may be made. In this way, when the user brings the mobile terminal device 10 close to the operation panels of a plurality of image processing devices one after another in a short time, the processing request is made only to the image processing device closest to the end. become.

図22に、この構成を採用した場合の図21と対応する動作例を示す。
図22の例では、ユーザが携帯端末装置10を画像処理装置20aの操作パネル240aに近づけてから所定時間以内に画像処理装置20bの操作パネル240bに近づけたとする。この場合、画像処理装置20は画像処理装置20aに対しては印刷の要求は行わず、画像処理装置20bに対して蓄積の要求を行うのみである。
なお、図21と図22のどちらの動作を採用するかを、ユーザが設定できるようにしてもよい。
FIG. 22 shows an operation example corresponding to FIG. 21 when this configuration is adopted.
In the example of FIG. 22, it is assumed that the user brings the mobile terminal device 10 closer to the operation panel 240b of the image processing device 20b within a predetermined time after the user brings the mobile terminal device 10 closer to the operation panel 240a of the image processing device 20a. In this case, the image processing apparatus 20 does not make a print request to the image processing apparatus 20a, but only makes a storage request to the image processing apparatus 20b.
Note that the user may be able to set which operation of FIG. 21 or FIG. 22 is used.

以上で実施形態の説明を終了するが、この発明において、システムを構成する装置の数、装置の具体的な構成、具体的な処理の手順、データの構成、操作の態様、等は、実施形態で説明したものに限るものではない。
例えば、上述した実施形態では、携帯端末装置10を用いた操作の対象が画像処理装置であったが、他の任意の電子装置であっても構わない。また、携帯端末装置10に表示させる画面も、文書一覧画面には限らない。デザインのみならず、機能が異なる画面であってもよい。
This is the end of the description of the embodiment. In the present invention, the number of devices constituting the system, the specific configuration of the device, the specific processing procedure, the data configuration, the operation mode, etc. It is not limited to the one described in.
For example, in the above-described embodiment, the operation target using the mobile terminal device 10 is the image processing device, but may be any other electronic device. Further, the screen displayed on the mobile terminal device 10 is not limited to the document list screen. Not only the design but also a screen with different functions may be used.

また、携帯端末装置10あるいは画像処理装置20の機能を、複数の装置に分散して設け、それらの装置を協働させて携帯端末装置10あるいは画像処理装置20と同様な機能を実現させることもできる。特に、各装置が使用するデータの記憶先を装置内に設ける必要はなく、クラウド環境のファイルサーバ等に設けることも妨げられない。   Also, the functions of the mobile terminal device 10 or the image processing device 20 may be distributed and provided in a plurality of devices, and the same functions as the mobile terminal device 10 or the image processing device 20 may be realized by cooperating these devices. it can. In particular, it is not necessary to provide a storage destination of data used by each device in the device, and it is not impeded to provide a file server or the like in a cloud environment.

また、この発明のプログラムの実施形態は、コンピュータに所要のハードウェアを制御させて上述した実施形態における携帯端末装置10あるいは画像処理装置20の機能を実現させるためのプログラムである。
このようなプログラムは、はじめからコンピュータに備えるROMや他の不揮発性記憶媒体(フラッシュメモリ,EEPROM等)などに格納しておいてもよい。しかし、メモリカード、CD、DVD、ブルーレイディスク等の任意の不揮発性記録媒体に記録して提供することもできる。それらの記録媒体に記録されたプログラムをコンピュータにインストールして実行させることにより、上述した各手順を実行させることができる。
The embodiment of the program of the present invention is a program for causing a computer to control required hardware to realize the functions of the mobile terminal device 10 or the image processing device 20 in the above-described embodiment.
Such a program may be stored in a ROM or other nonvolatile storage medium (flash memory, EEPROM, etc.) provided in the computer from the beginning. However, it can also be provided by being recorded on an arbitrary nonvolatile recording medium such as a memory card, CD, DVD, or Blu-ray disc. Each procedure described above can be executed by installing the program recorded in the recording medium in a computer and executing the program.

さらに、ネットワークに接続され、プログラムを記録した記録媒体を備える外部装置あるいはプログラムを記憶手段に記憶した外部装置からダウンロードし、コンピュータにインストールして実行させることも可能である。
また、以上説明してきた各実施形態及び変形例の構成は、相互に矛盾しない限り任意に組み合わせて実施可能であることは勿論である。
Furthermore, it is also possible to download from an external device that is connected to a network and includes a recording medium that records the program, or an external device that stores the program in a storage unit, and install and execute the program on a computer.
In addition, it is needless to say that the configurations of the embodiments and modifications described above can be arbitrarily combined and implemented as long as they do not contradict each other.

1:画像処理システム、10:携帯端末装置、20,20a,20b:画像処理装置、101,201:CPU、102,202:ROM、103,203:RAM、104,204:HDD、105,205:通信I/F、106,206:NFCI/F、107,207:操作部、108,125,208:表示部、109:カメラ、110,212:システムバス、121:操作対象特定部、122,227:コマンド送信部、123:画面データ受信部、124:表示制御部、126:撮像部、127:面内位置検出部、128:距離検出部、129,226:コマンド生成部、130:コマンド受信部、131:装置特定部、140:ディスプレイ、141:ボタン、209:エンジンI/F,210:エンジン部、211:人感センサ、221:同期開始制御部、222:アドレス送信部、223:画面データ送信部、224:コマンド受信部、225:距離判定部、228:注目文書特定部、229:閾値設定部、230:画像処理部、231:処理対象文書決定部、232:処理要求部、240,240a,240b:操作パネル、301〜310:マーカー
400:文書一覧画面、401:プレビュー表示部、401a,421a:プレビュー画像、402:カーソル、403,413,414:スクロールバー、403a:ノブ、
430:ポップアップ画面
1: image processing system, 10: portable terminal device, 20, 20a, 20b: image processing device, 101, 201: CPU, 102, 202: ROM, 103, 203: RAM, 104, 204: HDD, 105, 205: Communication I / F, 106, 206: NFC I / F, 107, 207: operation unit, 108, 125, 208: display unit, 109: camera, 110, 212: system bus, 121: operation target specifying unit, 122, 227 : Command transmission unit, 123: screen data reception unit, 124: display control unit, 126: imaging unit, 127: in-plane position detection unit, 128: distance detection unit, 129, 226: command generation unit, 130: command reception unit 131: Device identifying unit 140: Display 141: Button 209: Engine I / F 210: Engine unit 211: Human sensor 221: Synchronization start control unit, 222: Address transmission unit, 223: Screen data transmission unit, 224: Command reception unit, 225: Distance determination unit, 228: Document of interest specification unit, 229: Threshold setting unit, 230: Image processing unit 231: Processing target document determination unit 232: Processing request unit 240, 240a, 240b: Operation panel 301-310: Marker 400: Document list screen 401: Preview display unit 401a, 421a: Preview image 402: Cursor, 403, 413, 414: scroll bar, 403a: knob,
430: Pop-up screen

特開2002−218503号公報JP 2002-218503 A

Claims (15)

携帯端末装置と第1画像処理装置とを備える画像処理システムであって、
前記携帯端末装置が、
撮像手段と、
前記撮像手段が前記第1画像処理装置の操作パネルを撮像して得た画像に基づき、当該携帯端末装置と前記第1画像処理装置の操作パネルとの相対的な位置関係の変化を検出する検出手段と、
前記検出手段が検出した位置関係の変化に基づき生成した第1コマンドを前記第1画像処理装置に送信する第1送信手段とを備え、
前記第1画像処理装置が、
前記操作パネルと、
前記携帯端末装置から受信した前記第1コマンドに従い当該第1画像処理装置の動作を制御する制御手段とを備えることを特徴とする画像処理システム。
An image processing system comprising a mobile terminal device and a first image processing device,
The portable terminal device is
Imaging means;
Detection for detecting a change in a relative positional relationship between the portable terminal device and the operation panel of the first image processing device based on an image obtained by the imaging unit imaging the operation panel of the first image processing device. Means,
First transmission means for transmitting a first command generated based on a change in the positional relationship detected by the detection means to the first image processing apparatus;
The first image processing apparatus comprises:
The operation panel;
An image processing system comprising: control means for controlling the operation of the first image processing apparatus according to the first command received from the portable terminal apparatus.
請求項1に記載の画像処理システムであって、
前記第1画像処理装置の制御手段が、
前記携帯端末装置から受信した前記第1コマンドに従い、該携帯端末装置に画面の表示を更新させるための第2コマンドを生成して前記携帯端末装置に送信する第2送信手段を備え、
前記携帯端末装置が、
表示手段と、
前記第1画像処理装置から受信した第2コマンドに従い、前記表示手段における画面の表示を更新する更新手段とを備え、
前記表示手段が表示する文書は、前記第1画像処理装置が処理可能な文書のリストを表示する画面であることを特徴とする画像処理システム。
The image processing system according to claim 1,
The control means of the first image processing apparatus is
In accordance with the first command received from the mobile terminal device, comprising a second transmission means for generating a second command for causing the mobile terminal device to update display of the screen and transmitting it to the mobile terminal device,
The portable terminal device is
Display means;
Updating means for updating the display of the screen in the display means in accordance with the second command received from the first image processing device;
The document displayed by the display means is a screen that displays a list of documents that can be processed by the first image processing apparatus.
請求項2に記載の画像処理システムであって、
前記携帯端末装置の前記第1送信手段は、前記位置関係のうち前記操作パネルの操作面と平行方向の位置関係が変化したことを検出した場合に、その変化量を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記第1画像処理装置の第2送信手段は、受信した前記第1コマンドに示される前記平行方向の位置関係の変化量に応じた量だけ前記画面上で注目状態にする文書を変更することを指示する第2コマンドを生成して前記携帯端末装置に送信することを特徴とする画像処理システム。
The image processing system according to claim 2,
When the first transmission unit of the portable terminal device detects that the positional relationship in the direction parallel to the operation surface of the operation panel has changed among the positional relationships, the first transmission unit generates the first command indicating the amount of change. To the first image processing apparatus,
The second transmission means of the first image processing device changes the document to be noted on the screen by an amount corresponding to the change amount of the positional relationship in the parallel direction indicated by the received first command. An image processing system, wherein a second command to be instructed is generated and transmitted to the portable terminal device.
請求項2に記載の画像処理システムであって、
前記携帯端末装置の前記第1送信手段は、前記位置関係のうち前記操作パネルの操作面と垂直方向の位置関係が変化したことを検出した場合に、その変化量を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記第1画像処理装置の第2送信手段は、受信した前記第1コマンドに示される前記垂直方向の位置関係の変化量に応じた量だけ前記画面上での文書の表示サイズを変更することを指示する第2コマンドを生成して前記携帯端末装置に送信することを特徴とする画像処理システム。
The image processing system according to claim 2,
The first transmission unit of the mobile terminal device generates the first command indicating the amount of change when detecting that the positional relationship in the vertical direction with respect to the operation surface of the operation panel has changed among the positional relationships. To the first image processing apparatus,
The second transmission means of the first image processing apparatus changes the display size of the document on the screen by an amount corresponding to the amount of change in the positional relationship in the vertical direction indicated by the received first command. An image processing system, wherein a second command to be instructed is generated and transmitted to the portable terminal device.
請求項2乃至4のいずれか一項に記載の画像処理システムであって、
前記第1画像処理装置の制御手段が、
前記携帯端末装置から受信した前記第1コマンドに従い画像処理を実行する画像処理手段を備えることを特徴とする画像処理システム。
The image processing system according to any one of claims 2 to 4,
The control means of the first image processing apparatus is
An image processing system comprising image processing means for executing image processing according to the first command received from the portable terminal device.
請求項5に記載の画像処理システムであって、
前記携帯端末装置の前記第1送信手段は、前記位置関係が変化したことを検出した場合に、その変化後の位置関係を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記画像処理装置の前記画像処理手段は、受信した前記第1コマンドに示される位置関係が、前記携帯端末装置が前記操作パネルから所定距離以上離れたことを示すものであった場合に、前記画面上で注目状態になっている文書について、該文書の画像を用紙上に形成する画像処理を行うことを特徴とする画像処理システム。
The image processing system according to claim 5,
When detecting that the positional relationship has changed, the first transmission unit of the mobile terminal device generates the first command indicating the positional relationship after the change and transmits the first command to the first image processing device. ,
The image processing means of the image processing device is configured to display the screen when the positional relationship indicated by the received first command indicates that the mobile terminal device is separated from the operation panel by a predetermined distance or more. An image processing system that performs image processing for forming an image of a document on a sheet of interest on the document.
請求項5に記載の画像処理システムであって、
前記携帯端末装置の前記第1送信手段は、前記位置関係が変化したことを検出した場合に、その変化後の位置関係を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記画像処理装置は、前記第1コマンドに示される位置関係の履歴を記憶する履歴記憶手段を備え
前記画像処理装置の前記画像処理手段は、前記履歴に基づき、前記携帯端末装置が前記操作パネルから第1所定距離以上離れた後で第2所定距離以内に近づいたことを検出した場合に、前記画面上で注目状態になっている文書について、該文書の画像を用紙上に形成する画像処理を行うことを特徴とする画像処理システム。
The image processing system according to claim 5,
When detecting that the positional relationship has changed, the first transmission unit of the mobile terminal device generates the first command indicating the positional relationship after the change and transmits the first command to the first image processing device. ,
The image processing apparatus includes a history storage unit that stores a history of the positional relationship indicated by the first command. The image processing unit of the image processing apparatus is configured so that the portable terminal device is moved from the operation panel based on the history. Image processing for forming an image of a document on a sheet of interest on the screen when it is detected that the image has approached within a second predetermined distance after being separated by a first predetermined distance or more. An image processing system characterized by performing.
請求項2乃至4のいずれか一項に記載の画像処理システムであって、
前記携帯端末装置の前記第1送信手段は、前記位置関係が変化したことを検出した場合に、その変化後の位置関係を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記携帯端末装置はさらに、
前記撮像手段が撮像した画像に含まれる操作パネル上の所定のパターンに基づき、撮像された操作パネルを備える画像処理装置を特定する特定手段と、
前記撮像手段が撮像した画像に基づき、当該携帯端末装置がいずれかの画像処理装置の操作パネルに対し第2所定距離以内に近づいたことを検出した場合に、その時点で前記特定手段が特定している画像処理装置を示す情報を含む第3コマンドを、前記第1画像処理装置へ送信する第3送信手段とを備え、
前記画像処理装置は、
受信した前記第1コマンドに示される位置関係が、前記携帯端末装置が前記操作パネルから第1所定距離以上離れたことを示すものであった場合に、前記画面上で注目状態になっている文書を、処理対象の文書として決定する決定手段と、
前記処理対象の文書が決定された状態で前記第3コマンドを受信した場合に、該第3コマンドに示される画像処理装置に対し、前記処理対象の文書のデータを送信し、該文書の画像を用紙上に形成することを要求する要求手段とを備えることを特徴とする画像処理システム。
The image processing system according to any one of claims 2 to 4,
When detecting that the positional relationship has changed, the first transmission unit of the mobile terminal device generates the first command indicating the positional relationship after the change and transmits the first command to the first image processing device. ,
The portable terminal device further includes
Identifying means for identifying an image processing apparatus including an imaged operation panel based on a predetermined pattern on an operation panel included in an image captured by the image capturing means;
When it is detected that the mobile terminal device has approached the operation panel of any of the image processing devices within the second predetermined distance based on the image captured by the imaging unit, the specifying unit specifies at that time. And a third transmission means for transmitting a third command including information indicating the image processing apparatus to the first image processing apparatus,
The image processing apparatus includes:
A document that is in a state of interest on the screen when the positional relationship indicated by the received first command indicates that the mobile terminal device is separated from the operation panel by a first predetermined distance or more. Determining means for determining as a document to be processed;
When the third command is received in a state where the document to be processed is determined, data of the document to be processed is transmitted to the image processing apparatus indicated by the third command, and the image of the document is An image processing system comprising request means for requesting formation on a sheet.
請求項8に記載の画像処理システムであって、
前記画像処理装置の要求手段は、前記処理対象の文書が決定された状態で前記第3コマンドを受信し、かつ、その後所定時間以内に再度前記第3コマンドを受信しない場合に、最後に受信した第3コマンドに示される画像処理装置に対し、前記処理対象の文書のデータを送信し、該文書の画像を用紙上に形成することを要求することを特徴とする画像処理システム。
The image processing system according to claim 8,
The request unit of the image processing apparatus receives the third command in a state where the document to be processed is determined, and then receives the third command again when the third command is not received again within a predetermined time. An image processing system that transmits data of a document to be processed to an image processing apparatus indicated by a third command, and requests that an image of the document be formed on a sheet.
請求項9に記載の画像処理システムであって、
前記画像処理装置の要求手段が、前記処理対象の文書が決定された状態で前記第3コマンドを受信した場合に、その後所定時間以内に再度前記第3コマンドを受信するか否かの判断を行うか否かを、ユーザが設定可能であることを特徴とする画像処理システム。
The image processing system according to claim 9,
When the request unit of the image processing apparatus receives the third command in a state where the document to be processed is determined, it determines whether or not to receive the third command again within a predetermined time thereafter. An image processing system in which a user can set whether or not.
請求項2乃至4のいずれか一項に記載の画像処理システムであって、
前記携帯端末装置の前記第1送信手段は、前記位置関係が変化したことを検出した場合に、その変化後の位置関係を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記携帯端末装置はさらに、
前記撮像手段が撮像した画像に含まれる操作パネル上の所定のパターンに基づき、撮像された操作パネルを備える画像処理装置を特定する特定手段と、
前記撮像手段が撮像した画像に基づき、当該携帯端末装置と、該画像に含まれる操作パネルとの間の距離の変化パターンが予め用意した複数のパターンのいずれかを満たしたことを検出した場合に、その時点で前記特定手段が特定している画像処理装置を示す情報と、前記距離の変化がどの変化パターンを満たしたかを示す情報とを含む第3コマンドを、前記コマンドの送信先として設定されている前記第1画像処理装置へ送信する第3送信手段とを備え、
前記画像処理装置は、
受信した前記第1コマンドに示される位置関係が、前記携帯端末装置が前記操作パネルから第1所定距離以上離れたことを示すものであった場合に、前記画面上で注目状態になっている文書を、処理対象の文書として決定する決定手段と、
前記処理対象の文書が決定された状態で前記第3コマンドを受信した場合に、該第3コマンドに示される画像処理装置に対し、前記処理対象の文書のデータを送信し、該文書について該第3コマンドに示される変化パターンと対応する画像処理を実行することを要求する要求手段とを備えることを特徴とする画像処理システム。
The image processing system according to any one of claims 2 to 4,
When detecting that the positional relationship has changed, the first transmission unit of the mobile terminal device generates the first command indicating the positional relationship after the change and transmits the first command to the first image processing device. ,
The portable terminal device further includes
Identifying means for identifying an image processing apparatus including an imaged operation panel based on a predetermined pattern on an operation panel included in an image captured by the image capturing means;
When it is detected that a change pattern of the distance between the portable terminal device and the operation panel included in the image satisfies any of a plurality of patterns prepared in advance based on the image captured by the imaging unit The third command including information indicating the image processing device specified by the specifying unit at that time and information indicating which change pattern the change in the distance satisfies is set as a transmission destination of the command. And a third transmitting means for transmitting to the first image processing apparatus,
The image processing apparatus includes:
A document that is in a state of interest on the screen when the positional relationship indicated by the received first command indicates that the mobile terminal device is separated from the operation panel by a first predetermined distance or more. Determining means for determining as a document to be processed;
When the third command is received in a state in which the document to be processed is determined, the data of the document to be processed is transmitted to the image processing apparatus indicated by the third command, and the document 3. An image processing system comprising: request means for requesting execution of image processing corresponding to a change pattern indicated by three commands.
請求項11に記載の画像処理システムであって、
前記第3コマンドに示される変化パターンと、前記要求手段が実行を要求する画像処理の種類との対応関係を、ユーザが設定可能であることを特徴とする画像処理システム。
The image processing system according to claim 11,
An image processing system, wherein a user can set a correspondence relationship between a change pattern indicated by the third command and the type of image processing requested by the requesting unit.
請求項8乃至12のいずれか一項に記載の画像処理システムであって、
前記第1所定距離をユーザが設定可能であることを特徴とする画像処理システム。
The image processing system according to any one of claims 8 to 12,
An image processing system, wherein a user can set the first predetermined distance.
携帯端末装置であって、
撮像手段と、
前記撮像手段が第1画像処理装置の操作パネルを撮像して得た画像に基づき、当該携帯端末装置と前記第1画像処理装置の操作パネルとの相対的な位置関係の変化を検出する検出手段と、
前記検出手段が検出した位置関係の変化に基づき生成した第1コマンドを前記第1画像処理装置に送信する第1送信手段とを備えることを特徴とする携帯端末装置。
A portable terminal device,
Imaging means;
Detection means for detecting a change in a relative positional relationship between the portable terminal device and the operation panel of the first image processing apparatus based on an image obtained by the imaging means imaging the operation panel of the first image processing apparatus. When,
A portable terminal device comprising: a first transmission unit configured to transmit a first command generated based on a change in positional relationship detected by the detection unit to the first image processing device.
コンピュータに、撮像手段を備える携帯端末装置を制御させて、
前記撮像手段が第1画像処理装置の操作パネルを撮像して得た画像に基づき、当該携帯端末装置と前記第1画像処理装置の操作パネルとの相対的な位置関係の変化を検出する検出手段と、
前記検出手段が検出した位置関係の変化に基づき生成した第1コマンドを前記第1画像処理装置に送信する第1送信手段との機能を実現させるためのプログラム。
Let the computer control the mobile terminal device including the imaging means,
Detection means for detecting a change in a relative positional relationship between the portable terminal device and the operation panel of the first image processing apparatus based on an image obtained by the imaging means imaging the operation panel of the first image processing apparatus. When,
A program for realizing a function of a first transmission unit that transmits a first command generated based on a change in positional relationship detected by the detection unit to the first image processing apparatus.
JP2015057651A 2015-03-20 2015-03-20 Image processing system, portable terminal device and program Pending JP2016177577A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015057651A JP2016177577A (en) 2015-03-20 2015-03-20 Image processing system, portable terminal device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015057651A JP2016177577A (en) 2015-03-20 2015-03-20 Image processing system, portable terminal device and program

Publications (1)

Publication Number Publication Date
JP2016177577A true JP2016177577A (en) 2016-10-06

Family

ID=57070059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015057651A Pending JP2016177577A (en) 2015-03-20 2015-03-20 Image processing system, portable terminal device and program

Country Status (1)

Country Link
JP (1) JP2016177577A (en)

Similar Documents

Publication Publication Date Title
US11949822B2 (en) Information processing apparatus that determines whether a format of near field communication tag data is appropriate for searching printer, method of controlling the same, and non-transitory computer-readable medium
JP6197735B2 (en) Service providing system and service providing method
JP6381247B2 (en) System having image processing apparatus and portable terminal
JP6123732B2 (en) Cooperation processing system and cooperation processing method
US11496634B2 (en) Non-transitory computer-readable medium storing output instructions to control portable terminal and portable terminal
CN104038660A (en) System, method, and terminal device for providing service
JP2016139200A (en) Operation terminal, program, and information processing system
JP6233338B2 (en) Information terminal, system, information processing method, and program
KR20180006225A (en) Printing data processing method and apparatus in mobile device
JP2014199659A (en) Data format conversion system, information management system and information system, and data format conversion method, control method of information system, program of the methods, and recording medium recording the program
WO2013042253A1 (en) Image capture device, image capture device control method, and program
JP2019028774A (en) Control apparatus, information processing control system, information processing control method and program
JP6547531B2 (en) Content specification program and mobile terminal
JP6451337B2 (en) Information processing system and communication method
JP2018005295A (en) Program and mobile terminal
JP6601540B2 (en) Cooperation processing system and cooperation processing method
JP6544162B2 (en) Output program and portable terminal
JP2016177577A (en) Image processing system, portable terminal device and program
JP2017084002A (en) Information processing system, terminal device and program
JP6520405B2 (en) Mobile terminal, content designation program, and output program
JP6537406B2 (en) Image processing system
US10477039B2 (en) Non-transitory computer-readable medium storing output instructions to control portable terminal and portable terminal
JP6544163B2 (en) Mobile terminal and program
JP7070728B2 (en) Startup source program and terminal device
JP6743946B2 (en) Mobile terminal and program