JP2016177577A - Image processing system, portable terminal device and program - Google Patents
Image processing system, portable terminal device and program Download PDFInfo
- Publication number
- JP2016177577A JP2016177577A JP2015057651A JP2015057651A JP2016177577A JP 2016177577 A JP2016177577 A JP 2016177577A JP 2015057651 A JP2015057651 A JP 2015057651A JP 2015057651 A JP2015057651 A JP 2015057651A JP 2016177577 A JP2016177577 A JP 2016177577A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- command
- terminal device
- processing apparatus
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
Description
この発明は、画像処理システム、携帯端末装置及びプログラムに関する。 The present invention relates to an image processing system, a portable terminal device, and a program.
従来から、ユーザ携帯可能な携帯端末装置を用いて、MFP(デジタル複合機)等の画像処理装置を操作できるようにする技術が知られている。また、携帯端末装置を電子機器に近づけた場合に、対象の電子機器の情報をユーザに通知する技術も知られている。
例えば、特許文献1には、携帯端末の位置及び向きを測定すると共に、これを通信機器の位置情報と比較し、その比較に基づき携帯端末による撮像範囲に通信機器があると判断した場合に、撮像した画像に通信機器の情報を重ね書きして表示することが記載されている。
2. Description of the Related Art Conventionally, there has been known a technique that enables an image processing apparatus such as an MFP (digital multifunction peripheral) to be operated using a portable terminal device that can be carried by a user. There is also known a technique for notifying a user of information on a target electronic device when the portable terminal device is brought close to the electronic device.
For example,
しかしながら、従来の技術において、携帯端末装置を用いて画像処理装置を操作しようとする場合、ユーザは、携帯端末装置に表示された画面を見つつタッチパネルやボタンを操作する、という動作を要求されていた。このため、医療現場など、衛生上の理由からみだりに物に触れることができない環境では、携帯端末装置を用いた画像処理装置の操作が行えないか、または、携帯端末装置を持つ手でタッチパネルやボタンを操作するなどの操作性が悪い状況で使用せざるを得なかった。
特許文献1に記載の技術も、単に撮像した画像中の通信機器の情報を表示できるのみであり、通信機器に対して何らかの操作を行う場合の操作性を改善できるものではない。
However, in the prior art, when trying to operate an image processing apparatus using a mobile terminal device, the user is required to perform an operation of operating a touch panel or a button while viewing a screen displayed on the mobile terminal device. It was. For this reason, in environments where it is difficult to touch objects for reasons of hygiene, such as in medical settings, it is impossible to operate the image processing device using the mobile terminal device, or touch screens and buttons with the hand holding the mobile terminal device. It must be used in situations where the operability is poor, such as operating the.
The technology described in
この発明は、このような事情を鑑みてなされたものであり、携帯端末装置の操作部に対する操作を行わなくても、携帯端末装置を用いて画像処理装置を操作できるようにすることを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to enable an image processing apparatus to be operated using a mobile terminal device without performing an operation on an operation unit of the mobile terminal device. To do.
この発明は、上記の目的を達成するため、携帯端末装置と第1画像処理装置とを備える画像処理システムにおいて、上記携帯端末装置に、撮像手段と、上記撮像手段が上記第1画像処理装置の操作パネルを撮像して得た画像に基づき、その携帯端末装置と上記第1画像処理装置の操作パネルとの相対的な位置関係の変化を検出する検出手段と、上記検出手段が検出した位置関係の変化に基づき生成した第1コマンドを上記第1画像処理装置に送信する第1送信手段とを設け、上記第1画像処理装置に、上記操作パネルと、上記携帯端末装置から受信した上記第1コマンドに従いその第1画像処理装置の動作を制御する制御手段とを設けたものである。 In order to achieve the above object, the present invention provides an image processing system including a portable terminal device and a first image processing device, wherein the portable terminal device includes an imaging unit, and the imaging unit includes the first image processing device. Based on an image obtained by imaging the operation panel, detection means for detecting a change in relative positional relationship between the portable terminal device and the operation panel of the first image processing apparatus, and a positional relationship detected by the detection means A first transmission unit configured to transmit a first command generated based on the change to the first image processing apparatus, and the first image processing apparatus receives the first command received from the operation panel and the portable terminal device. And control means for controlling the operation of the first image processing apparatus in accordance with the command.
上記構成によれば、携帯端末装置の操作部に対する操作を行わなくても、携帯端末装置を用いて画像処理装置を操作することができる。 According to the above configuration, the image processing apparatus can be operated using the portable terminal device without performing an operation on the operation unit of the portable terminal device.
以下、この発明の実施形態について、図面を参照しつつ説明する。
〔第1実施形態:図1乃至図16〕
図1に、この発明の第1実施形態である画像処理システムの構成を示す。
図1に示す画像処理システム1は、携帯端末装置10と、画像処理装置20とを、無線ネットワークNにより相互に通信可能に接続して構成したものである。また、少なくとも画像処理装置20から携帯端末装置10へは、無線ネットワークNによる通信ができない場合でも使用可能な伝達手段Tにより、容量の少ない情報を伝達可能である。
Embodiments of the present invention will be described below with reference to the drawings.
[First Embodiment: FIGS. 1 to 16]
FIG. 1 shows the configuration of an image processing system according to the first embodiment of the present invention.
An
このうち携帯端末装置10は、ユーザが操作する端末装置であり、画像処理装置20との間で必要な通信を行い、画像処理装置20に対する操作を受け付けるための画面を表示する。また、画像処理装置20の操作パネルとの相対的な位置関係の変化に基づきコマンドを生成して画像処理装置20に送信することにより、ユーザが携帯端末装置10を持って動かすだけで画像処理装置20を操作できる機能を備えるものである。その機能がこの実施形態において特徴的な点の一つであり、この点については後に詳述する。
この携帯端末装置10は、例えばスマートフォンやタブレット型コンピュータをはじめ、任意の形態の持ち運び可能なコンピュータとして構成することができる。
Among these, the
The
画像処理装置20は、第1画像処理装置であり、例えば、コピー、プリント、スキャン、ファクシミリ通信、文書蓄積等の機能を備えたMFP(デジタル複合機)として構成することができる。そして、画像処理装置20自身が記憶して蓄積した文書あるいは外部の記憶手段に蓄積した文書に関し、用紙への画像形成、外部への送信等の処理を行うことができる。
また、上記のように携帯端末装置10から送信されるコマンドに従った動作を行う機能も備える。この動作には、文書に対する処理や、携帯端末装置10に対する表示画面の変更指示が含まれる。
The
Further, it also has a function of performing an operation according to a command transmitted from the
なお、携帯端末装置10と画像処理装置20との対応関係は固定的なものでなくてよい。例えば、ユーザが携帯端末装置10を画像処理装置20に近づけたことに応じて携帯端末装置10が伝達手段Tにより画像処理装置20からアドレス情報を取得し、そのアドレス情報を用いて無線ネットワークNを用いて画像処理装置20にアクセスした場合に、携帯端末装置10と画像処理装置20との対応関係を相互に認識する、といった構成も考えられる。
The correspondence relationship between the
伝達手段Tとしては、NFC(Near Field Communication)による通信や、伝達したい情報をコード化したコード記号をディスプレイに表示して相手に読み取らせる、といったものが考えられる。また、無線ネットワークNについては、無線通信が可能な任意の規格のものを用いることができる。ピアツーピア通信を行うものであってもよい。 As the transmission means T, communication by NFC (Near Field Communication), or a code symbol obtained by encoding information to be transmitted is displayed on a display and read by the other party. As the wireless network N, an arbitrary standard capable of wireless communication can be used. Peer-to-peer communication may be performed.
次に、図2に、携帯端末装置10のハードウェア構成を示す。
図2に示すように、携帯端末装置10は、CPU101、ROM102、RAM103、HDD(ハードディスクドライブ)104、通信I/F(インタフェース)105、NFCI/F106、操作部107、表示部108、カメラ109を備え、これらをシステムバス110により接続した構成としている。
Next, FIG. 2 shows a hardware configuration of the
As illustrated in FIG. 2, the
そして、CPU101が、RAM103をワークエリアとしてROM102あるいはHDD104に記憶されたプログラムを実行することにより、携帯端末装置10全体を制御し、図4を用いて後述するものをはじめとする種々の機能を実現する。
ROM102及びHDD104は、不揮発性記憶媒体(記憶手段)であり、CPU101が実行する各種プログラムや後述する各種データを格納している。
Then, the
The
通信I/F105は、無線ネットワークNを介して画像処理装置20等の外部装置と通信するためのインタフェースである。使用する通信経路の規格に応じた物を設ければよい。
NFCI/F106は、NFCにより、画像処理装置20等の、NFCを備える外部装置と通信するためのインタフェースである。NFCに代えて、他の規格で通信を行うためのインタフェースを用いてもよいが、アドレス等、相手を特定する情報を持たない場合であっても通信を行うことができるI/Fを用いるものとする。
The communication I /
The NFC I / F 106 is an interface for communicating with an external apparatus including NFC, such as the
操作部107は、ユーザからの操作を受け付けるための操作手段であり、タッチパネルやボタン等により構成することができる。
表示部108は、携帯端末装置10の動作状態や設定内容、画像処理装置20を操作するためのGUI(グラフィカルユーザインタフェース)、および各種メッセージ等を表示するための表示手段であり、液晶ディスプレイ等により構成することができる。
カメラ109は、撮像範囲の画像を撮像して画像データを取得する撮像手段である。
The
The
The
次に、図3に、画像処理装置20のハードウェア構成を示す。
図3に示すように、画像処理装置20は、CPU201、ROM202、RAM203、HDD(ハードディスクドライブ)204、通信I/F(インタフェース)205、NFCI/F206、操作部207、表示部208、エンジンI/F209、人感センサ211を備え、これらをシステムバス212により接続した構成としている。また、エンジンI/F209に接続してエンジン部210を設けている。
Next, FIG. 3 shows a hardware configuration of the
As shown in FIG. 3, the
これらのうち、図2に示したものと同名の構成要素は、個々の性能や形状等は全く同じでなくてよいが、図2に示したものと同趣旨の機能を備える。なお、画像処理装置20においては、操作部207及び表示部208は、後述した操作パネル240上にその大部分を設けている。従って、ユーザが画像処理装置20を直接操作する場合、この操作パネル240に対して操作を行う。
Among these, components having the same names as those shown in FIG. 2 may not have the same individual performance and shape, but have the same functions as those shown in FIG. In the
また、エンジンI/F209は、エンジン部210をシステムバス212に接続してCPU201から制御可能とするためのインタフェースである。エンジン部210は、画像形成、画像読取等の機能を実現するための、画像形成手段、画像読取手段等のハードウェアである。
人感センサ211は、画像処理装置20の近傍における人の動きを検知するための検知手段である。
The engine I /
The
次に、図4に、上述した携帯端末装置10及び画像処理装置20が備える機能の構成を示す。図4には、上述した、ユーザが携帯端末装置10を持って動かすだけで画像処理装置20を操作できる機能を実現するための機能を中心に示している。
図4に示すように、携帯端末装置10は、操作対象特定部121、コマンド送信部122、画面データ受信部123、表示制御部124、表示部125、撮像部126、面内位置検出部127、距離検出部128、コマンド生成部129、およびコマンド受信部130を備える。
Next, FIG. 4 shows a configuration of functions included in the mobile
As illustrated in FIG. 4, the mobile
これらのうち操作対象特定部121は、NFCI/F106が受信した画像処理装置20のアドレス情報に基づき、そのアドレス情報を持つ画像処理装置20を、携帯端末装置10を用いた操作の対象(コマンドの送信先)として特定する機能を備える。
Among these, the operation
コマンド送信部122は、操作対象特定部121に特定された送信先に対して、携帯端末装置10の状態を伝達したり、動作の実行を指示したりするための種々のコマンドを送信する機能を備える。このコマンドには、例えば、送信先が新たに特定された場合に初期画面として文書一覧画面のデータを送信するように要求するコマンドや、携帯端末装置10と画像処理装置20の操作パネル240との位置関係を通知するコマンド(第1コマンド)等が考えられる。
The
画面データ受信部123は、コマンド送信部122が送信したコマンドに応じて画像処理装置20から画面のデータが送信された場合に、これを受信して取得する機能を備える。
表示制御部124は、画面データ受信部123が取得した画面データに基づき表示部125に画面を表示させるよう、表示部125を制御する機能を備える。また、コマンド受信部130が、画面の表示を変更するよう指示するコマンド(第2コマンド)を受信した場合に、そのコマンドに従って表示部125における画面の表示を更新する更新手段の機能も備える。
表示部125は、図2に示した表示部108による画面の表示機能を示すものである。
撮像部126は、図2に示したカメラ109による撮像機能を示すものである。
The screen
The
The
The
面内位置検出部127は、撮像部126が撮像した画像に基づき、携帯端末装置10と、画像処理装置20の操作パネル240との相対的な位置関係のうち、操作パネルの操作面(ディスプレイや操作子が配置される平面で、実際の操作パネルの形状が平面でない場合には、何らかの平面を仮想的に設定する)と平行な方向の位置関係を検出する機能を備える。また、その位置関係の変化及び変化量を検出する機能も備える。
The in-plane
距離検出部128は、撮像部126が撮像した画像に基づき、携帯端末装置10と、画像処理装置20の操作パネル240との相対的な位置関係のうち、操作パネルの操作面と垂直な方向の位置関係、すなわち携帯端末装置10と操作パネル240との間の距離を検出する機能を備える。また、その距離関係の変化及び変化量を検出する機能も備える。
これらの面内位置検出部127及び距離検出部128は、検出手段に該当する。
The
The in-plane
また、この検出を容易にするため、操作パネル240上に、位置の基準となるマーカーを設けるとよい。図5に、このマーカーの例を示す。
このマーカーは、図5に符号301〜310で示すように、操作パネル240上の広範囲に設けるとよい。また、マーカー301〜306のように、表示部208を構成するディスプレイ208aに表示させて設けても、マーカー307〜310のように、筐体上に塗料により形成して設けてもよい。操作パネル240の位置を識別できるよう、位置に応じて異なる色や形状のマーカーを設けるとよい。マーカーを、コード記号等、意味を持つ記号により構成してもよい。
In order to facilitate this detection, a marker serving as a reference for the position may be provided on the
This marker may be provided over a wide range on the
図4の説明に戻ると、コマンド生成部129は、面内位置検出部127及び距離検出部128の検出結果に基づき、携帯端末装置10と操作パネル240との相対的な位置関係が変化したことを検出した場合に、その変化に基づき画像処理装置20へ送信すべきコマンドを生成する機能を備える。例えば、変化後の携帯端末装置10と操作パネル240との位置関係を通知する第1コマンドを生成することが考えられる。この第1コマンドは、変化があったこと自体を通知する機能も備える。また、コマンド生成部129が、検出した変化と対応する具体的な動作(文書の印刷、送信など)を画像処理装置20に指示するためのコマンドを生成することも考えられる。
Returning to the description of FIG. 4, the
いずれにせよ、コマンド生成部129が生成したコマンドは、コマンド送信部122が、送信先として特定されている画像処理装置20へ送信する。以上のコマンド生成部129とコマンド送信部122が、第1送信手段に該当する。
コマンド受信部130は、画像処理装置20から送信されるコマンドを受信して、このコマンドに従った処理を実行すべきモジュールに渡す機能を備える。
In any case, the
The
次に、画像処理装置20は、同期開始制御部221、アドレス送信部222、画面データ送信部223、コマンド受信部224、距離判定部225、コマンド生成部226、コマンド送信部227、注目文書特定部228、閾値設定部229、画像処理部230を備える。
Next, the
これらのうち同期開始制御部221は、NFCI/F206が携帯端末装置10を検出した場合に、携帯端末装置10との間で無線ネットワークNを介した通信経路を確立し、携帯端末装置10からの操作を受け付ける状態に画像処理装置20を移行させる機能を備える。なお、上記の操作を受け付けることには、画像処理装置20から、携帯端末装置10における操作受付のための画面の表示を制御することも含む。
Among these, the synchronization
具体的には、同期開始制御部221は、アドレス送信部222に、NFCI/F206を介して、携帯端末装置10へ画像処理装置20の無線ネットワークN上でのアドレスを送信させる。また、携帯端末装置10からの文書一覧画面のデータの送信を指示されたことに応じて、画面データ送信部223に、画像処理装置20が処理可能な文書のリストを表示する文書一覧画面のデータを携帯端末装置10へ送信させる。
アドレス送信部222は、上記のアドレスの送信を行う機能を備える。
Specifically, the synchronization
The
画面データ送信部223は、上記の文書一覧画面のデータの生成及び送信を行う機能を備える。この生成に際しては、予め指定された記憶手段に蓄積された文書の一覧を取得する。また、後述する表示変更指示に応じて携帯端末装置10における画面の表示をすぐに切り替えられるよう、表示開始時の画面に表示されない部分のデータも含めて生成し、携帯端末装置10に送信するとよい。
The screen
コマンド受信部224は、携帯端末装置10から送信されるコマンドを受信し、このコマンドに従った処理を実行すべきモジュールに渡す機能を備える。例えば、文書一覧画面のデータの送信指示であれば、同期開始制御部221に渡し、第1コマンドであれば、距離判定部225及びコマンド生成部226に渡す。
The
距離判定部225は、第1コマンドにより携帯端末装置10から通知される位置関係の情報に基づき、携帯端末装置10と操作パネル240との間の距離が所定の条件を満たしたか否か判定する機能を備える。また、所定の条件を満たした場合に、その時点で、携帯端末装置10側の画面で注目文書となっている文書について、その文書の画像を用紙上に形成する画像形成を実行する指示を、画像処理部230に供給する機能を備える。このばあい、距離判定部225と画像処理部230は制御手段及び画像処理手段として機能する。
The
ここで、上記の所定の条件は、閾値設定部229から供給されるものであり、例えば、操作パネル240から所定距離以上離れた、あるいは、操作パネル240から第1所定距離以上離れた後で第2所定距離以内に近づいた、等が考えられる。また、距離判定部225は、所定条件を満たすか否かの判断に必要であれば、第1コマンドにより通知された位置関係の情報の履歴を時系列的に記憶する履歴記憶手段としての動作も行う。
Here, the predetermined condition is supplied from the threshold
コマンド生成部226は、第1コマンドにより携帯端末装置10から通知される位置関係の変化の情報に従い、携帯端末装置10における画面の表示を更新させるためのコマンド(第2コマンド)を生成する機能を備える。
より具体的には、コマンド生成部226は、例えば、第1コマンドに示される、操作パネル240の操作面と平行な方向への位置関係の変化量(移動量)に応じた量だけ、携帯端末装置10の文書一覧画面で注目状態とする文書(以下「注目文書」という)を変更するコマンドを生成する。
The
More specifically, the
詳しくは後述するが、文書一覧画面400には図9に示すように処理対象とする文書の候補が並べて表示され、うち1つ(図9ではカーソル402の位置のもの)が、注目文書となっている。注目文書を変更するコマンドは、例えば、図9の状態から、図10や図11に示すように、他の文書を注目状態とするように指示するものである。そして、例えば、現在の注目文書よりも、画面上でどちらへ何マス移動した位置の文書を次に注目文書とするかを指定する。
As will be described in detail later, document candidates to be processed are displayed side by side on the
また、コマンド生成部226は、第1コマンドに示される、操作パネルの操作面と垂直な方向への位置関係の変化量に応じた量だけ、携帯端末装置10の文書一覧画面上での文書の表示サイズを変更するコマンドを生成する。このコマンドは、例えば図9の状態から、注目状態の文書のプレビュー画像をより大きなサイズで表示する図12や図14の状態に移行することを指示するものである。逆方向への移行ももちろんあり得るし、1画面内に表示する文書数を変更することにより表示サイズを変更することも考えられる。
In addition, the
いずれにせよ、コマンド生成部226は、生成した第2コマンドをコマンド送信部227に渡して携帯端末装置10へ送信させる。
また、コマンド生成部226は、注目状態とする文書の変更を、注目文書特定部228にも伝える。
In any case, the
Further, the
コマンド送信部227は、コマンド生成部226が生成したコマンドを、携帯端末装置10へ送信する第2送信手段の機能を備える。この送信は、受信した第1コマンドに対するレスポンスとして行うとよい。
注目文書特定部228は、コマンド生成部226から提供される情報に基づき、携帯端末装置10の文書一覧画面において現在注目状態となっている文書を特定し、その情報を画像処理部230に提供する機能を備える。
The
Based on the information provided from the
閾値設定部229は、距離判定部225における判定に用いる条件及び閾値を供給する機能を備える。この条件や閾値は、ユーザが任意に編集可能である。この編集により、携帯端末装置10を用いた操作の操作感を変えることができる。操作感とは、例えば、どの程度携帯端末装置10を操作パネル240から離すと印刷が開始されるか、等である。なお、条件や閾値の編集は、管理者権限を有するユーザのみに許可するようにしてもよい。
画像処理部230は、距離判定部225からの指示に基づき、注目文書特定部228が特定する注目状態の文書に対し、画像形成や送信等の画像処理を実行する機能を備える。
The
The
次に、図6に、以上説明した各部の機能による、携帯端末装置10及び画像処理装置20の動作例を示す。図6に示す動作は、携帯端末装置10を用いた画像処理装置20の操作を開始する動作と、その後の操作に関する動作である。
画像処理システム1において、ユーザは、携帯端末装置10を用いて画像処理装置20を操作したい場合、まず携帯端末装置10を画像処理装置20のNFCI/F206にタッチする(S101)。このとき、携帯端末装置10におけるNFC通信機能は予めオンにしておくものとする。また、画像処理装置20は、人感センサ211により前に人が立ったことを検出すると、省電力モードであっても少なくともNFCI/F206を起動して通信に備える。
Next, FIG. 6 shows an operation example of the mobile
In the
ステップS101でのタッチがされると、携帯端末装置10のNFCI/F106と画像処理装置20のNFCI/F206とが通信可能距離内に近づくため、これらI/Fが相互に相手を認識してNFCの通信経路を確立する(S102)。そして、画像処理装置20はその通信経路により携帯端末装置10へ自身のアドレスを送信する(S103)。画像処理装置10は、このアドレスを、以降のコマンドの送信先として設定する。この動作は、同期開始制御部221及びアドレス送信部222の機能と対応するものである。
When the touch in step S101 is performed, the NFC I /
次に、携帯端末装置10は、画像処理装置20に対し、文書一覧画面のデータの送信を指示する(S104)。この動作は、コマンド送信部122の機能と対応するものである。
ステップS104の指示を受けた画像処理装置20は、蓄積されている文書のリストに基づき、文書一覧画面のデータを生成して(S105)、携帯端末装置10へ送信する(S106)。この動作は、画面データ送信部223の機能と対応するものである。
Next, the mobile
Upon receiving the instruction in step S104, the
画面のデータを受信した携帯端末装置10は、表示部108に、携帯端末装置10を操作パネル240に近づける旨の指示を表示する(S107)と共に、カメラ109を起動し、撮像を開始する(S108)。そして、撮像で得られた画像を解析し(S109)、操作パネル240と携帯端末装置10との間の位置関係の変化を検出するまで待機する(S110)。
The mobile
なお、撮像した画像中に操作パネル240が含まれない場合や、現在の位置関係のデータが得られない場合、位置関係の変化はないものとして取り扱う。また、あまり細かい操作に応じて表示を更新してしまうと、却って所望の操作がしづらかったり表示がみづらくなったりするため、前回ステップS110でYesになってから一定量以上の変化を検出した場合に、ステップS110の判断がYesになるようにするとよい。また、ステップS107の後まだ一度もステップS110でYesになっていない場合には、操作パネル240との位置関係を検出でき、かつその位置関係が安定した(所定時間概ね同じ位置で保持された)場合にステップS110の判断がYesになるようにするとよい。
Note that when the
ステップS110でYesになると、携帯端末装置10は、検出した変化量及び変化後の携帯端末装置10と操作パネル240との位置関係の情報を含む第1コマンドを生成し(S111)、ステップS103で取得したアドレス(画像処理装置20)へ送信する(S112)。
以上のステップS109乃至ステップS111の動作が面内位置検出部127、距離検出部128及びコマンド生成部129の機能と対応する。ステップS112の動作がコマンド送信部122の機能と対応する。
If YES in step S110, the mobile
The operations in steps S109 to S111 described above correspond to the functions of the in-plane
一方、第1コマンドを受信した画像処理装置20は、第1コマンドに含まれる位置関係の変化量に応じた量だけ、文書一覧画面上の注目文書又は文書の表示サイズの変更を指示する第2コマンドを生成し(S113)、携帯端末装置10へ送信する(S114)。
なお、ステップS106で画面データを送信した後初めて第1コマンドを受信した場合には、携帯端末装置10に文書一覧画面の表示を開始させるべく、第1コマンドに含まれる位置関係に従って、最初の注目文書及び表示サイズを設定し、それらの情報を含む第2コマンドを生成する。この第2コマンドも、携帯端末装置10を、文書一覧画面を表示していない状態から表示している状態へ変更するためのコマンドであると考えることができる。
On the other hand, the
When the first command is received for the first time after the screen data is transmitted in step S106, the first attention is paid according to the positional relationship included in the first command in order to cause the mobile
ステップS113の動作は距離判定部225及びコマンド生成部226の機能と、ステップS114の動作はコマンド送信部227の機能とそれぞれ対応する。
第2コマンドを受信した携帯端末装置10は、第2コマンドに従って文書一覧画面の表示を更新(又は開始)し(S115)、ステップS109に戻る。この動作は表示制御部124及び表示部125の機能と対応する。
The operation in step S113 corresponds to the functions of the
The mobile
以上により、ユーザは、携帯端末装置10の位置を、操作パネル240に対して相対的に移動させることにより、文書一覧画面における注目文書を変更して印刷対象の文書を選択したり、その文書の画像を種々のサイズで参照したりすることができる。この場合において、ユーザは、単に携帯端末装置10を移動させるだけでよく、タッチパネルやボタン等の操作子への操作は必要ない。
As described above, the user moves the position of the mobile
また、画像処理装置20は、ステップS114の後、ステップS113で生成した第2コマンドに従った更新後の文書一覧画面における注目文書を特定する(S116)と共に、図7に示すジョブ実行確認処理を実行する(S117)。ステップS116の動作は注目文書特定部228の機能と対応し、ステップS117の動作は距離判定部225及び画像処理部230の機能と対応する。
Further, after step S114, the
図7に、ジョブ実行確認処理のフローチャートを示す。
図7の処理において、画像処理装置20はまず、受信した第1コマンドに含まれる位置関係の情報を、履歴として過去の情報に追加して記憶する(S121)。その後、その位置関係の変化の履歴が所定の条件を満たしたか否か判断する(S122)。この条件は、閾値設定部229により供給されるものであり、例えば図8に示すものである。
FIG. 7 shows a flowchart of the job execution confirmation process.
In the process of FIG. 7, the
図8の例では、「操作パネルから距離X1以上離れた」と「操作パネルから距離X1以上離れた後で距離X2以内に近づいた」の2つの条件と、変数X1及びX2の値が設定されている。また、各条件にはIDが付され、どちらの条件を適用するかも設定され、図8の例では、「適用」の欄に丸印のある、ID=1の条件が、X1=40cmの状態で適用することが示されている。図8のデータは、ユーザが任意に変更可能である。
いずれにせよ、ステップS122で所定の条件を満たした場合、ステップS116で特定された文書を用紙に印刷し(S123)、処理を終了する。ステップS122で条件を満たしていない場合には、印刷はせずに処理を終了する。
In the example of FIG. 8, two conditions of “distant from the operation panel by a distance X1” and “approached within a distance X2 after being away from the operation panel by at least a distance X1” and the values of variables X1 and X2 are set. ing. Each condition is given an ID, and it is set which condition is applied. In the example of FIG. 8, the condition of ID = 1 with a circle in the “apply” column is the state where X1 = 40 cm. It is shown to apply in. The data in FIG. 8 can be arbitrarily changed by the user.
In any case, when the predetermined condition is satisfied in step S122, the document specified in step S116 is printed on paper (S123), and the process is terminated. If the condition is not satisfied in step S122, the process ends without printing.
以上により、ユーザは、携帯端末装置10を、操作パネル240に対して所定の条件を満たすように動かすことにより、注目文書の印刷を、画像処理装置20に対して指示することができる。この場合も、ユーザは、単に携帯端末装置10を移動させるだけでよく、タッチパネルやボタン等の操作子への操作は必要ない。
As described above, the user can instruct the
次に、図6及び図7に示した動作による、携帯端末装置10の操作と画面表示との関係につき、図9乃至図16の具体例を用いて説明する。なお、図9乃至図12と図14乃至図16において、携帯端末装置10との相対的な位置関係に注目するため、操作パネル240については存在する範囲をハッチングにより示すのみとしている。
図9に示すのは、ステップS106で携帯端末装置10に文書一覧画面のデータを取得させた後、携帯端末装置10を操作パネル240の中央付近で操作パネル240から少し離れた位置に移動させた状態の、文書一覧画面400の表示例を示すものである。
Next, the relationship between the operation of the mobile
FIG. 9 shows that after the portable
なお、図9の例において、携帯端末装置10の構成としては、ディスプレイ140とボタン141を示しており、ディスプレイ140に文書一覧画面400が表示される。文書一覧画面400には、3つの文書についてプレビュー表示部401を設けることが可能なサイズで、各文書のプレビュー画像401aを表示している。このプレビュー画像401aは、文書を印刷したり表示したりした場合に表れる画像のうち1ページ分を、所望のサイズで表す画像である。
In the example of FIG. 9, the configuration of the mobile
また、図9の例では、カーソル402で示される文書Bが注目文書となっている。また、スクロールバー403は、画面内に表示しきれない文書があることを示し、ノブ403aにより、全体のうちどの辺りを現在表示中であるかを示している。
なお、注目文書とする文書や、プレビュー画像401aあるいはプレビュー表示部401の表示サイズは、携帯端末装置10と操作パネル240との、操作面に水平な方向と垂直な方向の位置関係に基づき、画像処理装置20に指定されたものである。
In the example of FIG. 9, the document B indicated by the
Note that the document that is the document of interest and the display size of the
図10は、図9の状態から、携帯端末装置10を、図で左側に移動させた状態を示すものである。
この移動により、携帯端末装置10と操作パネル240との、操作面に平行な方向の位置関係が変化したことになる。そこで、携帯端末装置10はその旨を示す第1コマンドを画像処理装置20に送信し、それに応じて画像処理装置20から送信される第2コマンドに従って、画面の表示を更新する。
FIG. 10 shows a state in which the mobile
By this movement, the positional relationship between the mobile
ここでは、操作面に平行な方向の位置関係の変化に対応して、注目文書を、変化方向に沿って移動前よりも図で1つ左側の文書に変更する旨の指示がなされたものとする。この場合、文書一覧画面400では、カーソル402が、新たな注目文書の位置に移動される。
Here, in response to a change in the positional relationship in a direction parallel to the operation surface, an instruction is given to change the document of interest to a document on the left side of the figure along the change direction before moving. To do. In this case, on the
図11は、図9の状態から、携帯端末装置10を、図で右側に移動させた状態を示すものである。
この移動により、携帯端末装置10と操作パネル240との、操作面に平行な方向の位置関係が変化したことになる。そこで、携帯端末装置10は、図10の場合と同様に画像処理装置20からの第2コマンドに従い画面の表示を更新する。
FIG. 11 shows a state where the mobile
By this movement, the positional relationship between the mobile
ここでは、操作面に平行な方向の位置関係の変化に対応して、画像処理装置20から、注目文書を、移動前よりも図で2つ右側の文書に変更する旨の指示がなされたものとする(図10の例より移動量が大きいため)。この場合、移動前の文書一覧画面400には表示されていない文書を注目文書とすることになる。そこで、携帯端末装置10は、プレビュー表示部401の表示を自動でスクロールさせ、注目文書とする文書Dが画面に表れるようにした上で、カーソル402を、新たな注目文書の位置に移動させる。
これらの操作により、ユーザは、ディスプレイ140上のタッチパネルやボタン141を操作することなく、任意の文書を注目文書とすることができる。
Here, in response to the change in the positional relationship in the direction parallel to the operation surface, the
With these operations, the user can set an arbitrary document as a document of interest without operating the touch panel and the
図12は、図9の状態から、携帯端末装置10を、操作パネル240から離す方向(図13の矢印X方向)に移動させた状態を示すものである。
この移動により、携帯端末装置10と操作パネル240との、操作面に垂直な方向の位置関係が変化したことになる。そこで、携帯端末装置10は、図10の場合と同様に画像処理装置20からの第2コマンドに従い画面の表示を更新する。
FIG. 12 shows a state in which the mobile
By this movement, the positional relationship between the mobile
ここでは、操作面に垂直な方向の位置関係の変化に対応して、画像処理装置20から、プレビュー画像401aの表示サイズを、画面内にプレビュー表示部410を1つのみ設けられる程度のサイズに変更する旨の指示がなされたものとする。この場合、携帯端末装置10は、指示に従って文書一覧画面400内に1つの文書のみについてプレビュー表示部410を設け、その中に拡大したプレビュー画像411aを表示する。
Here, in response to the change in the positional relationship in the direction perpendicular to the operation surface, the display size of the
図14は、図12の状態からさらに、携帯端末装置10を、操作パネル240から離す方向(図13の矢印X方向)に移動させた状態を示すものである。
この移動により、携帯端末装置10と操作パネル240との、操作面に垂直な方向の位置関係が再度変化したことになる。そこで、携帯端末装置10は、図10の場合と同様に画像処理装置20からの第2コマンドに従い画面の表示を更新する。
FIG. 14 shows a state in which the mobile
By this movement, the positional relationship between the portable
ここでは、操作面に垂直な方向の位置関係の変化に対応して、画像処理装置20から、プレビュー画像401aの表示サイズを、ディスプレイ140の表示領域内に収まらない程度まで拡大したサイズに変更する旨の指示がなされたものとする。この場合、携帯端末装置10は、指示に従って、プレビュー画像をスクロールさせるためのスクロールバー413及び414を設け、これらを用いてスクロール可能なように、図12の状態よりもさらに拡大したプレビュー画像421aを表示する。
Here, in response to the change in the positional relationship in the direction perpendicular to the operation surface, the display size of the
図15は、図14の状態から、携帯端末装置10を、操作パネル240との間の距離を変えずに図で右上側に移動させた状態を示すものである。
この移動により、携帯端末装置10と操作パネル240との、操作面に平行な方向の位置関係が変化したことになる。そこで、携帯端末装置10は、図10の場合と同様に画像処理装置20からの第2コマンドに従い画面の表示を更新する。
FIG. 15 shows a state in which the mobile
By this movement, the positional relationship between the mobile
ここで、操作面に平行な方向の位置関係の変化があった場合、これを必ずしも注目文書の変更操作と捉えず、画面のスクロール操作であると捉えることもできる。図9乃至図11の画面におけるスクロール操作は注目文書の変更操作として捉えられるが、図14の画面におけるスクロール操作は、プレビュー画像421aの表示領域の変更操作として捉えることができる。
Here, if there is a change in the positional relationship in the direction parallel to the operation surface, this may not necessarily be regarded as a change operation of the document of interest, but may be regarded as a screen scroll operation. The scroll operation on the screens of FIGS. 9 to 11 can be understood as a change operation of the document of interest, but the scroll operation on the screen of FIG. 14 can be regarded as a change operation of the display area of the
そこで、図15の例では、操作面に平行な方向の位置関係の変化に対応して、画像処理装置20から、プレビュー画像421aの表示領域を矢印で示す変化方向に沿って、右上方向に移動させる旨の指示がなされたものとする。この場合、携帯端末装置10は、指示に従ってプレビュー画面421aの表示をスクロールさせる。
Therefore, in the example of FIG. 15, in response to the change in the positional relationship in the direction parallel to the operation surface, the display area of the
なお、図14の状態から携帯端末装置10を操作パネル240に近づけた場合は、画像処理装置20から、位置関係の変化に応じてプレビュー画像を縮小する指示がなされ、図12の画面を経て図10の画面に戻すことができる。
これらの操作により、ユーザは、タッチパネルやボタンを操作することなく、注目文書のプレビュー画像を、任意のサイズで参照することができる。
When the mobile
Through these operations, the user can refer to the preview image of the document of interest at an arbitrary size without operating the touch panel or buttons.
図16は、図14の状態から、携帯端末装置10を、操作パネル240から離す方向にさらに移動させた状態を示すものである。この移動により、携帯端末装置10と操作パネル240との間の距離が、図8の条件を満たしたものとする。
この場合、画像処理装置20は、注目文書の印刷を開始し、それに伴って他の動作の実行ができない間、携帯端末装置10に図16に示すようなポップアップ画面430を表示させて、操作ができないようにする。
FIG. 16 shows a state in which the mobile
In this case, the
このように、ユーザは、タッチパネルやボタンを操作することなく、注目文書の印刷指示を画像処理装置20に対して行うことができる。
以上のように、ここまで説明してきた画像処理システム1によれば、ユーザは、携帯端末装置10の操作部に対する操作を行わなくても、携帯端末装置10を用いて画像処理装置20に対する種々の操作を行うことができる。
In this way, the user can issue a print instruction for the document of interest to the
As described above, according to the
〔第2実施形態:図17乃至図22〕
次に、この発明の画像処理システムの第2実施形態について説明する。
この第2実施形態は、主として、文書に対する画像処理を行わせる画像処理装置をユーザが任意に選択できるようにした点が第1実施形態と異なる。これ以外の点では上述した第1実施形態と概ね共通であるので、第1実施形態と異なる事項についてのみ説明する。また、第1実施形態と共通の又は対応する構成については、第1実施形態で用いたものと同じ符号を用いる。
[Second Embodiment: FIGS. 17 to 22]
Next, a second embodiment of the image processing system of the present invention will be described.
The second embodiment is different from the first embodiment mainly in that the user can arbitrarily select an image processing apparatus that performs image processing on a document. Since the other points are generally the same as those of the first embodiment described above, only matters different from the first embodiment will be described. Moreover, about the structure which is common or corresponds to 1st Embodiment, the same code | symbol as what was used in 1st Embodiment is used.
図17は、第2実施形態における携帯端末装置10及び画像処理装置20が備える機能の構成を示す、図4と対応する図である。
図17に示すように、携帯端末装置10は、図4に示した機能に加え、装置特定部131を備える。この装置特定部131は、撮像部126が撮像した画像に含まれる操作パネル上の所定のパターンに基づき、撮像された操作パネルを備える画像処理装置を特定する特定手段の機能を備える。
FIG. 17 is a diagram corresponding to FIG. 4, illustrating a configuration of functions included in the mobile
As illustrated in FIG. 17, the mobile
この第2実施形態においては、ユーザは画像処理装置20以外にも、画像処理システム1の外部で無線ネットワークNに接続された画像処理装置を、文書に対する画像処理を行わせる画像処理装置として指定可能である(図21,図22参照)。そして、その指定の候補となる各画像処理装置は、上記所定のパターンとして、例えば無線ネットワークN内における自身のアドレスをコード化したコード記号を操作パネルに表示する。
In the second embodiment, in addition to the
装置特定部131は、撮像された画像中に含まれるこのコード記号をデコードすることにより、撮像された操作パネルを備える画像処理装置を特定することができる。また、デコードできる程度の距離までその画像処理装置に接近したことも把握することができる。画像処理装置20を同様に特定することができるようにしてもよい。
もちろん、特定は他の方法で行ってもよい。特定のマーカーで示される領域にインクで記載された機番を撮像し、画像中の、マーカーで示される領域に対してOCR(Optical Character Recognition)を行う等である。
The
Of course, the identification may be performed by other methods. For example, a machine number written in ink is imaged in an area indicated by a specific marker, and OCR (Optical Character Recognition) is performed on the area indicated by the marker in the image.
また、コマンド生成部129は、装置特定部131の検出結果にも基づいてコマンドの生成を行う。特に、携帯端末装置10と、いずれかの画像処理装置の操作パネルとの距離の変化パターンが予め定めた変化パターンを満たしたことを検出した場合に、その時点で装置特定部131が特定している画像処理装置を示す情報を含む第3コマンドを生成する。この第3コマンドは、画像処理装置20に、装置特定部131が特定している画像処理装置(現在携帯端末装置10の近くにある画像処理装置)に対する画像処理の要求を行わせるためのコマンドである。
この第3コマンドは、第1コマンドの場合と同様、コマンド送信部122が画像処理装置20へ送信する。送信先は、装置特定部131が特定した画像処理装置ではなく、文書一覧画面を提供する画像処理装置20である。また、予め定めた変化パターンは、例えば図20に示すようなものであるが、その内容については後述する。
The
The third command is transmitted to the
また、画像処理装置20側は、図4に示した機能に加え、処理対象文書決定部231と、処理要求部232とを備える。また、画像処理部230の位置づけが図4の場合と大きく異なる。
これらのうち処理対象文書決定部231は、距離判定部225が、携帯端末装置10が操作パネル240から所定距離(ユーザが任意に設定可能な第1所定距離)以上離れたことを検出した場合に、その時点で注目文書特定部228が特定している注目文書を、処理対象の文書として決定する決定手段の機能を備える。距離判定部225が、第1コマンドにより携帯端末装置10から通知される位置関係の情報に基づき、携帯端末装置10と操作パネル240との間の距離を認識することは、上述の通りである。また、処理対象文書決定部231の決定は、決定から一定時間以内に第3コマンドを検出しなかった場合には削除するとよい。
In addition to the functions shown in FIG. 4, the
Among these, the processing target
また、処理要求部232は、処理対象文書決定部231が処理対象の文書を決定している状態でコマンド受信部224が第3コマンドを受信した場合に、その第3コマンドにより示される画像処理装置に対し、処理対象文書のデータを送信し、処理対象文書の画像を用紙に形成することを要求する、要求手段の機能を備える。この要求の対象は、他の画像処理装置である場合もあれば、画像処理装置20自身である場合もある。
後者の場合、要求に従った画像処理は、画像処理部230が実行する。
なお、処理要求部232が上記の要求を行うタイミングや、その要求の内容についてはいくつかバリエーションがあるが、この点については後述する。
In addition, when the
In the latter case, the
Note that there are some variations in the timing at which the
次に、図18及び図19に、第2実施形態における図6及び図7と対応する動作のシーケンス図を示す。
図18に示す動作のうち、ステップS109までは、図6に示したものと同じである。
しかし、携帯端末装置10は、ステップS109の後、画像の解析結果に基づき、撮像した操作パネルを備える画像処理装置を特定する(SA)。特定不能という結果があってもよい。この動作は、装置特定部131の機能と対応するものである。
Next, FIGS. 18 and 19 show sequence diagrams of operations corresponding to FIGS. 6 and 7 in the second embodiment.
Of the operations shown in FIG. 18, the steps up to step S109 are the same as those shown in FIG.
However, after step S109, the mobile
次に、携帯端末装置10は、特定した装置がステップS103でアドレスを取得した画像処理装置20であるか否か判断する(SB)。ここでYesであれば、図6の場合と同様に、ステップS110乃至S115の処理を行って、ステップS109に戻る。
この場合、画像処理装置20側の動作も、基本的には図6の場合と同じである。しかし、ステップS116の後で、図7の処理に代えて、図19に示す動作を実行する。すなわち、携帯端末装置10と操作パネル240との間の距離が第1所定距離以上であるか否か判断し(S151)、これがYesであれば、現在の注目文書を処理対象文書として決定する(S152)。Noであれば、この決定は行わない。この動作は、処理対象文書決定部231の機能と対応するものである。
Next, the mobile
In this case, the operation on the
また、携帯端末装置10は、ステップSBの判断がNoの場合、図19のステップS141に進む。そして、必要に応じて最近のステップS109における解析結果の履歴を参照し、携帯端末装置10と操作パネル240との間の距離の変化パターンが、所定の変化パターンのいずれかを満たしたか否か判断する(S141)。
If the determination in step SB is No, the mobile
図20に、ここで用いる所定の変化パターンの例を示す。図20に示す情報は、画像処理装置20において設定され、ユーザが任意に変更可能なものである。図20は、ID=1とID=2の2つの変化パターンを用意した例であり、X1はパターン中の変数の値を示す。
すなわち、ID=1の変化パターンは、「20cm以内に近づけた状態を所定時間以上保持」であり、ID=2の変化パターンは、「20cm以内に近づけてすぐ離す」である。実際には、「所定時間」や「すぐ」も数値で規定される。
FIG. 20 shows an example of a predetermined change pattern used here. The information shown in FIG. 20 is set in the
That is, the change pattern of ID = 1 is “holding the state close to within 20 cm for a predetermined time or longer”, and the change pattern of ID = 2 is “close to within 20 cm and immediately separated”. Actually, “predetermined time” and “immediately” are also defined by numerical values.
また、「画像処理」の項目は、該当の変化パターンが満たされた場合に処理対象文書に対して実行する画像処理の種類を規定する。ID=1については文書を印刷すべきことが規定され、ID=2については文書のデータを蓄積すべきことが規定されている。もちろん、これら以外の処理を規定できるようにしてもよい。
図20に示すデータは、ステップS141の判断の用に供するため、「画像処理」の項目以外は画像処理装置20から携帯端末装置10に提供される。
In addition, the item “image processing” defines the type of image processing to be performed on the processing target document when the corresponding change pattern is satisfied. For ID = 1, it is specified that the document should be printed, and for ID = 2, it is specified that the document data should be stored. Of course, other processes may be defined.
The data shown in FIG. 20 is provided to the portable
図19の説明に戻ると、携帯端末装置10は、ステップS141でYesの場合、図18のステップSAで特定した画像処理装置を示す情報と、距離の変化がどの変化パターンを満たしたかを示す情報を含む第3コマンドを生成して(S142)、画像処理装置20へ送信する(S143)。複数の変化パターンを満たした場合、それらの情報を全て含めることができる。ステップS141乃至S143の動作は、第3送信手段として機能するコマンド生成部129及びコマンド送信部122の機能と対応する。
ステップS143の後、あるいはステップS141でNoの場合は、図18のステップS109に戻る。
Returning to the description of FIG. 19, in the case of Yes in step S <b> 141, the mobile
After step S143 or in the case of No in step S141, the process returns to step S109 in FIG.
一方、第3コマンドを受信した画像処理装置20は、処理対象文書が決定済みであるか否か判断する(S153)。そして、決定済みであれば、第3コマンドに記載された画像処理装置に、処理対象文書のデータを送信し、その文書について、第3コマンドに示される変化パターンと対応する画像処理(図20参照)の実行を要求する(S154)。ステップS153で決定済みでなければ、画像処理の要求は行わない。以上のステップS153及びS154の動作は、処理要求部232の機能と対応するものである。
On the other hand, the
以上により、ユーザは、携帯端末装置10を、画像処理装置20の操作パネル240に対して適宜動かして所望の文書を注目文書とした後、携帯端末装置10を画像処理装置20から離して他の画像処理装置の操作パネルに近づけることにより、近づけた先の画像処理装置に、その所望の文書を印刷や蓄積等させることができる。この場合も、ユーザは、単に携帯端末装置10を移動させるだけでよく、タッチパネルやボタン等の操作子への操作は必要ない。
As described above, after the user appropriately moves the mobile
次に、図18及び図19に示した動作による、携帯端末装置10の操作と各画像処理装置の動作との関係につき、図21の具体例を用いて説明する。
まず、この第2実施形態においても、携帯端末装置10を画像処理装置20の操作パネルに近づけて適宜に移動させることにより、第1実施形態の場合と同様な操作で注目文書を選択したり、その内容を参照したりすることができる。その後、矢印Xに示すようにユーザが携帯端末装置10を画像処理装置20の操作パネル240から第1所定距離以上離すと、その時点の注目文書が処理対象文書として決定される(S152)。
Next, the relationship between the operation of the mobile
First, also in the second embodiment, the portable
その後、ユーザが矢印Yで示すように携帯端末装置10を他の画像処理装置20aの操作パネル240aに近づけて保持すると、携帯端末装置10は、図20のID=1の変化パターンを満たしたとして、第3コマンドを画像処理装置20へ送信する。そして、画像処理装置20は、第3コマンドに記載された画像処理装置20aに対し、処理対象文書のデータを送信し、印刷を実行するよう要求する。画像処理装置20aがこれに応じて印刷を実行すれば、ユーザは画像処理装置20aから印刷物を入手することができる。
Thereafter, when the user holds the portable
また、その後、ユーザが矢印Zで示すように携帯端末装置10をさらに他の画像処理装置20bの操作パネル240bに近づけた後離すと、携帯端末装置10は、図20のID=2の変化パターンを満たしたとして、第3コマンドを画像処理装置20へ送信する。そして、画像処理装置20は、第3コマンドに記載された画像処理装置20bに対し、処理対象文書のデータを送信し、蓄積を実行するよう要求する。画像処理装置20bがこれに応じて蓄積を実行すれば、ユーザは画像処理装置20bへ所望の文書を蓄積させることができる。
Further, when the user thereafter moves the portable
なお、この動作を行うに際し、画像処理装置20以外の画層処理装置は、携帯端末装置10に特定されるための所定のパターンを提示する機能(又は外装へのパターン形成がなされていること)及び画像処理装置20からの要求に従って画像処理を実行する機能を備えていれば、その他の特殊な機能を備えている必要はない。
In performing this operation, the layer processing apparatus other than the
また、第2実施形態において、画像処理装置20が、処理対象文書が決定されている状態で第3コマンドを受信した後、所定時間以内に再度第3コマンドを受信しなかった場合に、ステップS154の動作の要求を行うようにしてもよい。このようにすると、ユーザが短時間のうちに次々と複数の画像処理装置の操作パネルに携帯端末装置10を近づけた場合、最後に近づけた画像処理装置に対してのみ、処理の要求を行うことになる。
Further, in the second embodiment, when the
図22に、この構成を採用した場合の図21と対応する動作例を示す。
図22の例では、ユーザが携帯端末装置10を画像処理装置20aの操作パネル240aに近づけてから所定時間以内に画像処理装置20bの操作パネル240bに近づけたとする。この場合、画像処理装置20は画像処理装置20aに対しては印刷の要求は行わず、画像処理装置20bに対して蓄積の要求を行うのみである。
なお、図21と図22のどちらの動作を採用するかを、ユーザが設定できるようにしてもよい。
FIG. 22 shows an operation example corresponding to FIG. 21 when this configuration is adopted.
In the example of FIG. 22, it is assumed that the user brings the mobile
Note that the user may be able to set which operation of FIG. 21 or FIG. 22 is used.
以上で実施形態の説明を終了するが、この発明において、システムを構成する装置の数、装置の具体的な構成、具体的な処理の手順、データの構成、操作の態様、等は、実施形態で説明したものに限るものではない。
例えば、上述した実施形態では、携帯端末装置10を用いた操作の対象が画像処理装置であったが、他の任意の電子装置であっても構わない。また、携帯端末装置10に表示させる画面も、文書一覧画面には限らない。デザインのみならず、機能が異なる画面であってもよい。
This is the end of the description of the embodiment. In the present invention, the number of devices constituting the system, the specific configuration of the device, the specific processing procedure, the data configuration, the operation mode, etc. It is not limited to the one described in.
For example, in the above-described embodiment, the operation target using the mobile
また、携帯端末装置10あるいは画像処理装置20の機能を、複数の装置に分散して設け、それらの装置を協働させて携帯端末装置10あるいは画像処理装置20と同様な機能を実現させることもできる。特に、各装置が使用するデータの記憶先を装置内に設ける必要はなく、クラウド環境のファイルサーバ等に設けることも妨げられない。
Also, the functions of the mobile
また、この発明のプログラムの実施形態は、コンピュータに所要のハードウェアを制御させて上述した実施形態における携帯端末装置10あるいは画像処理装置20の機能を実現させるためのプログラムである。
このようなプログラムは、はじめからコンピュータに備えるROMや他の不揮発性記憶媒体(フラッシュメモリ,EEPROM等)などに格納しておいてもよい。しかし、メモリカード、CD、DVD、ブルーレイディスク等の任意の不揮発性記録媒体に記録して提供することもできる。それらの記録媒体に記録されたプログラムをコンピュータにインストールして実行させることにより、上述した各手順を実行させることができる。
The embodiment of the program of the present invention is a program for causing a computer to control required hardware to realize the functions of the mobile
Such a program may be stored in a ROM or other nonvolatile storage medium (flash memory, EEPROM, etc.) provided in the computer from the beginning. However, it can also be provided by being recorded on an arbitrary nonvolatile recording medium such as a memory card, CD, DVD, or Blu-ray disc. Each procedure described above can be executed by installing the program recorded in the recording medium in a computer and executing the program.
さらに、ネットワークに接続され、プログラムを記録した記録媒体を備える外部装置あるいはプログラムを記憶手段に記憶した外部装置からダウンロードし、コンピュータにインストールして実行させることも可能である。
また、以上説明してきた各実施形態及び変形例の構成は、相互に矛盾しない限り任意に組み合わせて実施可能であることは勿論である。
Furthermore, it is also possible to download from an external device that is connected to a network and includes a recording medium that records the program, or an external device that stores the program in a storage unit, and install and execute the program on a computer.
In addition, it is needless to say that the configurations of the embodiments and modifications described above can be arbitrarily combined and implemented as long as they do not contradict each other.
1:画像処理システム、10:携帯端末装置、20,20a,20b:画像処理装置、101,201:CPU、102,202:ROM、103,203:RAM、104,204:HDD、105,205:通信I/F、106,206:NFCI/F、107,207:操作部、108,125,208:表示部、109:カメラ、110,212:システムバス、121:操作対象特定部、122,227:コマンド送信部、123:画面データ受信部、124:表示制御部、126:撮像部、127:面内位置検出部、128:距離検出部、129,226:コマンド生成部、130:コマンド受信部、131:装置特定部、140:ディスプレイ、141:ボタン、209:エンジンI/F,210:エンジン部、211:人感センサ、221:同期開始制御部、222:アドレス送信部、223:画面データ送信部、224:コマンド受信部、225:距離判定部、228:注目文書特定部、229:閾値設定部、230:画像処理部、231:処理対象文書決定部、232:処理要求部、240,240a,240b:操作パネル、301〜310:マーカー
400:文書一覧画面、401:プレビュー表示部、401a,421a:プレビュー画像、402:カーソル、403,413,414:スクロールバー、403a:ノブ、
430:ポップアップ画面
1: image processing system, 10: portable terminal device, 20, 20a, 20b: image processing device, 101, 201: CPU, 102, 202: ROM, 103, 203: RAM, 104, 204: HDD, 105, 205: Communication I / F, 106, 206: NFC I / F, 107, 207: operation unit, 108, 125, 208: display unit, 109: camera, 110, 212: system bus, 121: operation target specifying unit, 122, 227 : Command transmission unit, 123: screen data reception unit, 124: display control unit, 126: imaging unit, 127: in-plane position detection unit, 128: distance detection unit, 129, 226: command generation unit, 130: command reception unit 131: Device identifying unit 140: Display 141: Button 209: Engine I / F 210: Engine unit 211: Human sensor 221: Synchronization start control unit, 222: Address transmission unit, 223: Screen data transmission unit, 224: Command reception unit, 225: Distance determination unit, 228: Document of interest specification unit, 229: Threshold setting unit, 230: Image processing unit 231: Processing target document determination unit 232: Processing request unit 240, 240a, 240b: Operation panel 301-310: Marker 400: Document list screen 401: Preview display unit 401a, 421a: Preview image 402: Cursor, 403, 413, 414: scroll bar, 403a: knob,
430: Pop-up screen
Claims (15)
前記携帯端末装置が、
撮像手段と、
前記撮像手段が前記第1画像処理装置の操作パネルを撮像して得た画像に基づき、当該携帯端末装置と前記第1画像処理装置の操作パネルとの相対的な位置関係の変化を検出する検出手段と、
前記検出手段が検出した位置関係の変化に基づき生成した第1コマンドを前記第1画像処理装置に送信する第1送信手段とを備え、
前記第1画像処理装置が、
前記操作パネルと、
前記携帯端末装置から受信した前記第1コマンドに従い当該第1画像処理装置の動作を制御する制御手段とを備えることを特徴とする画像処理システム。 An image processing system comprising a mobile terminal device and a first image processing device,
The portable terminal device is
Imaging means;
Detection for detecting a change in a relative positional relationship between the portable terminal device and the operation panel of the first image processing device based on an image obtained by the imaging unit imaging the operation panel of the first image processing device. Means,
First transmission means for transmitting a first command generated based on a change in the positional relationship detected by the detection means to the first image processing apparatus;
The first image processing apparatus comprises:
The operation panel;
An image processing system comprising: control means for controlling the operation of the first image processing apparatus according to the first command received from the portable terminal apparatus.
前記第1画像処理装置の制御手段が、
前記携帯端末装置から受信した前記第1コマンドに従い、該携帯端末装置に画面の表示を更新させるための第2コマンドを生成して前記携帯端末装置に送信する第2送信手段を備え、
前記携帯端末装置が、
表示手段と、
前記第1画像処理装置から受信した第2コマンドに従い、前記表示手段における画面の表示を更新する更新手段とを備え、
前記表示手段が表示する文書は、前記第1画像処理装置が処理可能な文書のリストを表示する画面であることを特徴とする画像処理システム。 The image processing system according to claim 1,
The control means of the first image processing apparatus is
In accordance with the first command received from the mobile terminal device, comprising a second transmission means for generating a second command for causing the mobile terminal device to update display of the screen and transmitting it to the mobile terminal device,
The portable terminal device is
Display means;
Updating means for updating the display of the screen in the display means in accordance with the second command received from the first image processing device;
The document displayed by the display means is a screen that displays a list of documents that can be processed by the first image processing apparatus.
前記携帯端末装置の前記第1送信手段は、前記位置関係のうち前記操作パネルの操作面と平行方向の位置関係が変化したことを検出した場合に、その変化量を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記第1画像処理装置の第2送信手段は、受信した前記第1コマンドに示される前記平行方向の位置関係の変化量に応じた量だけ前記画面上で注目状態にする文書を変更することを指示する第2コマンドを生成して前記携帯端末装置に送信することを特徴とする画像処理システム。 The image processing system according to claim 2,
When the first transmission unit of the portable terminal device detects that the positional relationship in the direction parallel to the operation surface of the operation panel has changed among the positional relationships, the first transmission unit generates the first command indicating the amount of change. To the first image processing apparatus,
The second transmission means of the first image processing device changes the document to be noted on the screen by an amount corresponding to the change amount of the positional relationship in the parallel direction indicated by the received first command. An image processing system, wherein a second command to be instructed is generated and transmitted to the portable terminal device.
前記携帯端末装置の前記第1送信手段は、前記位置関係のうち前記操作パネルの操作面と垂直方向の位置関係が変化したことを検出した場合に、その変化量を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記第1画像処理装置の第2送信手段は、受信した前記第1コマンドに示される前記垂直方向の位置関係の変化量に応じた量だけ前記画面上での文書の表示サイズを変更することを指示する第2コマンドを生成して前記携帯端末装置に送信することを特徴とする画像処理システム。 The image processing system according to claim 2,
The first transmission unit of the mobile terminal device generates the first command indicating the amount of change when detecting that the positional relationship in the vertical direction with respect to the operation surface of the operation panel has changed among the positional relationships. To the first image processing apparatus,
The second transmission means of the first image processing apparatus changes the display size of the document on the screen by an amount corresponding to the amount of change in the positional relationship in the vertical direction indicated by the received first command. An image processing system, wherein a second command to be instructed is generated and transmitted to the portable terminal device.
前記第1画像処理装置の制御手段が、
前記携帯端末装置から受信した前記第1コマンドに従い画像処理を実行する画像処理手段を備えることを特徴とする画像処理システム。 The image processing system according to any one of claims 2 to 4,
The control means of the first image processing apparatus is
An image processing system comprising image processing means for executing image processing according to the first command received from the portable terminal device.
前記携帯端末装置の前記第1送信手段は、前記位置関係が変化したことを検出した場合に、その変化後の位置関係を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記画像処理装置の前記画像処理手段は、受信した前記第1コマンドに示される位置関係が、前記携帯端末装置が前記操作パネルから所定距離以上離れたことを示すものであった場合に、前記画面上で注目状態になっている文書について、該文書の画像を用紙上に形成する画像処理を行うことを特徴とする画像処理システム。 The image processing system according to claim 5,
When detecting that the positional relationship has changed, the first transmission unit of the mobile terminal device generates the first command indicating the positional relationship after the change and transmits the first command to the first image processing device. ,
The image processing means of the image processing device is configured to display the screen when the positional relationship indicated by the received first command indicates that the mobile terminal device is separated from the operation panel by a predetermined distance or more. An image processing system that performs image processing for forming an image of a document on a sheet of interest on the document.
前記携帯端末装置の前記第1送信手段は、前記位置関係が変化したことを検出した場合に、その変化後の位置関係を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記画像処理装置は、前記第1コマンドに示される位置関係の履歴を記憶する履歴記憶手段を備え
前記画像処理装置の前記画像処理手段は、前記履歴に基づき、前記携帯端末装置が前記操作パネルから第1所定距離以上離れた後で第2所定距離以内に近づいたことを検出した場合に、前記画面上で注目状態になっている文書について、該文書の画像を用紙上に形成する画像処理を行うことを特徴とする画像処理システム。 The image processing system according to claim 5,
When detecting that the positional relationship has changed, the first transmission unit of the mobile terminal device generates the first command indicating the positional relationship after the change and transmits the first command to the first image processing device. ,
The image processing apparatus includes a history storage unit that stores a history of the positional relationship indicated by the first command. The image processing unit of the image processing apparatus is configured so that the portable terminal device is moved from the operation panel based on the history. Image processing for forming an image of a document on a sheet of interest on the screen when it is detected that the image has approached within a second predetermined distance after being separated by a first predetermined distance or more. An image processing system characterized by performing.
前記携帯端末装置の前記第1送信手段は、前記位置関係が変化したことを検出した場合に、その変化後の位置関係を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記携帯端末装置はさらに、
前記撮像手段が撮像した画像に含まれる操作パネル上の所定のパターンに基づき、撮像された操作パネルを備える画像処理装置を特定する特定手段と、
前記撮像手段が撮像した画像に基づき、当該携帯端末装置がいずれかの画像処理装置の操作パネルに対し第2所定距離以内に近づいたことを検出した場合に、その時点で前記特定手段が特定している画像処理装置を示す情報を含む第3コマンドを、前記第1画像処理装置へ送信する第3送信手段とを備え、
前記画像処理装置は、
受信した前記第1コマンドに示される位置関係が、前記携帯端末装置が前記操作パネルから第1所定距離以上離れたことを示すものであった場合に、前記画面上で注目状態になっている文書を、処理対象の文書として決定する決定手段と、
前記処理対象の文書が決定された状態で前記第3コマンドを受信した場合に、該第3コマンドに示される画像処理装置に対し、前記処理対象の文書のデータを送信し、該文書の画像を用紙上に形成することを要求する要求手段とを備えることを特徴とする画像処理システム。 The image processing system according to any one of claims 2 to 4,
When detecting that the positional relationship has changed, the first transmission unit of the mobile terminal device generates the first command indicating the positional relationship after the change and transmits the first command to the first image processing device. ,
The portable terminal device further includes
Identifying means for identifying an image processing apparatus including an imaged operation panel based on a predetermined pattern on an operation panel included in an image captured by the image capturing means;
When it is detected that the mobile terminal device has approached the operation panel of any of the image processing devices within the second predetermined distance based on the image captured by the imaging unit, the specifying unit specifies at that time. And a third transmission means for transmitting a third command including information indicating the image processing apparatus to the first image processing apparatus,
The image processing apparatus includes:
A document that is in a state of interest on the screen when the positional relationship indicated by the received first command indicates that the mobile terminal device is separated from the operation panel by a first predetermined distance or more. Determining means for determining as a document to be processed;
When the third command is received in a state where the document to be processed is determined, data of the document to be processed is transmitted to the image processing apparatus indicated by the third command, and the image of the document is An image processing system comprising request means for requesting formation on a sheet.
前記画像処理装置の要求手段は、前記処理対象の文書が決定された状態で前記第3コマンドを受信し、かつ、その後所定時間以内に再度前記第3コマンドを受信しない場合に、最後に受信した第3コマンドに示される画像処理装置に対し、前記処理対象の文書のデータを送信し、該文書の画像を用紙上に形成することを要求することを特徴とする画像処理システム。 The image processing system according to claim 8,
The request unit of the image processing apparatus receives the third command in a state where the document to be processed is determined, and then receives the third command again when the third command is not received again within a predetermined time. An image processing system that transmits data of a document to be processed to an image processing apparatus indicated by a third command, and requests that an image of the document be formed on a sheet.
前記画像処理装置の要求手段が、前記処理対象の文書が決定された状態で前記第3コマンドを受信した場合に、その後所定時間以内に再度前記第3コマンドを受信するか否かの判断を行うか否かを、ユーザが設定可能であることを特徴とする画像処理システム。 The image processing system according to claim 9,
When the request unit of the image processing apparatus receives the third command in a state where the document to be processed is determined, it determines whether or not to receive the third command again within a predetermined time thereafter. An image processing system in which a user can set whether or not.
前記携帯端末装置の前記第1送信手段は、前記位置関係が変化したことを検出した場合に、その変化後の位置関係を示す前記第1コマンドを生成して前記第1画像処理装置に送信し、
前記携帯端末装置はさらに、
前記撮像手段が撮像した画像に含まれる操作パネル上の所定のパターンに基づき、撮像された操作パネルを備える画像処理装置を特定する特定手段と、
前記撮像手段が撮像した画像に基づき、当該携帯端末装置と、該画像に含まれる操作パネルとの間の距離の変化パターンが予め用意した複数のパターンのいずれかを満たしたことを検出した場合に、その時点で前記特定手段が特定している画像処理装置を示す情報と、前記距離の変化がどの変化パターンを満たしたかを示す情報とを含む第3コマンドを、前記コマンドの送信先として設定されている前記第1画像処理装置へ送信する第3送信手段とを備え、
前記画像処理装置は、
受信した前記第1コマンドに示される位置関係が、前記携帯端末装置が前記操作パネルから第1所定距離以上離れたことを示すものであった場合に、前記画面上で注目状態になっている文書を、処理対象の文書として決定する決定手段と、
前記処理対象の文書が決定された状態で前記第3コマンドを受信した場合に、該第3コマンドに示される画像処理装置に対し、前記処理対象の文書のデータを送信し、該文書について該第3コマンドに示される変化パターンと対応する画像処理を実行することを要求する要求手段とを備えることを特徴とする画像処理システム。 The image processing system according to any one of claims 2 to 4,
When detecting that the positional relationship has changed, the first transmission unit of the mobile terminal device generates the first command indicating the positional relationship after the change and transmits the first command to the first image processing device. ,
The portable terminal device further includes
Identifying means for identifying an image processing apparatus including an imaged operation panel based on a predetermined pattern on an operation panel included in an image captured by the image capturing means;
When it is detected that a change pattern of the distance between the portable terminal device and the operation panel included in the image satisfies any of a plurality of patterns prepared in advance based on the image captured by the imaging unit The third command including information indicating the image processing device specified by the specifying unit at that time and information indicating which change pattern the change in the distance satisfies is set as a transmission destination of the command. And a third transmitting means for transmitting to the first image processing apparatus,
The image processing apparatus includes:
A document that is in a state of interest on the screen when the positional relationship indicated by the received first command indicates that the mobile terminal device is separated from the operation panel by a first predetermined distance or more. Determining means for determining as a document to be processed;
When the third command is received in a state in which the document to be processed is determined, the data of the document to be processed is transmitted to the image processing apparatus indicated by the third command, and the document 3. An image processing system comprising: request means for requesting execution of image processing corresponding to a change pattern indicated by three commands.
前記第3コマンドに示される変化パターンと、前記要求手段が実行を要求する画像処理の種類との対応関係を、ユーザが設定可能であることを特徴とする画像処理システム。 The image processing system according to claim 11,
An image processing system, wherein a user can set a correspondence relationship between a change pattern indicated by the third command and the type of image processing requested by the requesting unit.
前記第1所定距離をユーザが設定可能であることを特徴とする画像処理システム。 The image processing system according to any one of claims 8 to 12,
An image processing system, wherein a user can set the first predetermined distance.
撮像手段と、
前記撮像手段が第1画像処理装置の操作パネルを撮像して得た画像に基づき、当該携帯端末装置と前記第1画像処理装置の操作パネルとの相対的な位置関係の変化を検出する検出手段と、
前記検出手段が検出した位置関係の変化に基づき生成した第1コマンドを前記第1画像処理装置に送信する第1送信手段とを備えることを特徴とする携帯端末装置。 A portable terminal device,
Imaging means;
Detection means for detecting a change in a relative positional relationship between the portable terminal device and the operation panel of the first image processing apparatus based on an image obtained by the imaging means imaging the operation panel of the first image processing apparatus. When,
A portable terminal device comprising: a first transmission unit configured to transmit a first command generated based on a change in positional relationship detected by the detection unit to the first image processing device.
前記撮像手段が第1画像処理装置の操作パネルを撮像して得た画像に基づき、当該携帯端末装置と前記第1画像処理装置の操作パネルとの相対的な位置関係の変化を検出する検出手段と、
前記検出手段が検出した位置関係の変化に基づき生成した第1コマンドを前記第1画像処理装置に送信する第1送信手段との機能を実現させるためのプログラム。 Let the computer control the mobile terminal device including the imaging means,
Detection means for detecting a change in a relative positional relationship between the portable terminal device and the operation panel of the first image processing apparatus based on an image obtained by the imaging means imaging the operation panel of the first image processing apparatus. When,
A program for realizing a function of a first transmission unit that transmits a first command generated based on a change in positional relationship detected by the detection unit to the first image processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015057651A JP2016177577A (en) | 2015-03-20 | 2015-03-20 | Image processing system, portable terminal device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015057651A JP2016177577A (en) | 2015-03-20 | 2015-03-20 | Image processing system, portable terminal device and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016177577A true JP2016177577A (en) | 2016-10-06 |
Family
ID=57070059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015057651A Pending JP2016177577A (en) | 2015-03-20 | 2015-03-20 | Image processing system, portable terminal device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016177577A (en) |
-
2015
- 2015-03-20 JP JP2015057651A patent/JP2016177577A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11949822B2 (en) | Information processing apparatus that determines whether a format of near field communication tag data is appropriate for searching printer, method of controlling the same, and non-transitory computer-readable medium | |
JP6197735B2 (en) | Service providing system and service providing method | |
JP6381247B2 (en) | System having image processing apparatus and portable terminal | |
JP6123732B2 (en) | Cooperation processing system and cooperation processing method | |
US11496634B2 (en) | Non-transitory computer-readable medium storing output instructions to control portable terminal and portable terminal | |
CN104038660A (en) | System, method, and terminal device for providing service | |
JP2016139200A (en) | Operation terminal, program, and information processing system | |
JP6233338B2 (en) | Information terminal, system, information processing method, and program | |
KR20180006225A (en) | Printing data processing method and apparatus in mobile device | |
JP2014199659A (en) | Data format conversion system, information management system and information system, and data format conversion method, control method of information system, program of the methods, and recording medium recording the program | |
WO2013042253A1 (en) | Image capture device, image capture device control method, and program | |
JP2019028774A (en) | Control apparatus, information processing control system, information processing control method and program | |
JP6547531B2 (en) | Content specification program and mobile terminal | |
JP6451337B2 (en) | Information processing system and communication method | |
JP2018005295A (en) | Program and mobile terminal | |
JP6601540B2 (en) | Cooperation processing system and cooperation processing method | |
JP6544162B2 (en) | Output program and portable terminal | |
JP2016177577A (en) | Image processing system, portable terminal device and program | |
JP2017084002A (en) | Information processing system, terminal device and program | |
JP6520405B2 (en) | Mobile terminal, content designation program, and output program | |
JP6537406B2 (en) | Image processing system | |
US10477039B2 (en) | Non-transitory computer-readable medium storing output instructions to control portable terminal and portable terminal | |
JP6544163B2 (en) | Mobile terminal and program | |
JP7070728B2 (en) | Startup source program and terminal device | |
JP6743946B2 (en) | Mobile terminal and program |