JP2014158209A - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
JP2014158209A
JP2014158209A JP2013028906A JP2013028906A JP2014158209A JP 2014158209 A JP2014158209 A JP 2014158209A JP 2013028906 A JP2013028906 A JP 2013028906A JP 2013028906 A JP2013028906 A JP 2013028906A JP 2014158209 A JP2014158209 A JP 2014158209A
Authority
JP
Japan
Prior art keywords
information
image processing
tag
terminal device
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013028906A
Other languages
English (en)
Inventor
Eigo Iwai
英剛 岩井
Kosuke Oshima
功資 大島
Katsuhiko Akita
勝彦 穐田
Toshikazu Kawaguchi
俊和 川口
Yoshiaki Shibuta
義明 澁田
Yuji Okamoto
悠史 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2013028906A priority Critical patent/JP2014158209A/ja
Publication of JP2014158209A publication Critical patent/JP2014158209A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Accessory Devices And Overall Control Thereof (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】汎用技術を用い、操作容易な画像処理システムを提供する。
【解決手段】撮像及び位置、撮像方向取得機能を有する携帯の端末と、サーバーを含む画像処理システムであって、端末はデータの所在情報を記憶し、撮像位置及び方向情報をサーバーへ送信し、サーバーは、画像処理装置の機能情報を装置位置情報に対応付けて記憶し、データの識別情報を外部から取得し、装置位置情報に対応付けて記憶し、撮像位置及び方向情報から、撮像対象が前記装置であると特定できる場合に、装置位置情報に対応する機能情報、識別情報を端末へ送信し、端末は、機能情報を表示する第1ARタグ、識別情報を表示する第2ARタグを撮像画像に合成表示し、両者のARタグを関連付ける操作を受付けると、第2ARタグによって識別されるデータの所在情報の示す格納場所から、当該データを取得し、第1ARタグの機能情報の示す機能による処理を前記装置に指示する。
【選択図】図8

Description

本発明は、プリンター、複写機、それらの複合機等の画像処理装置を操作する技術に関し、特に撮像機能及び位置検出機能を有する携帯端末装置を用いて画像処理装置を操作する技術に関する。
近年、スマートフォンや携帯電話機等の携帯端末装置の急速な普及に伴い、携帯端末装
置を用いて、プリンター、複写機、それらの複合機等の画像処理装置を操作することが可
能な画像処理システムが利用されるようになってきている。
例えば、特許文献1には、撮像機能及び位置検出機能を有する携帯端末と、画像処理装
置とサーバーからなる画像処理システムが開示されている。当該画像処理システムにおい
ては、画像処理装置に関する情報(位置情報、通信情報、機能情報等の情報)が予めサー
バーに記憶され、携帯端末から、上記画像処理装置を撮像して撮像位置情報をサーバーに
送信することにより、サーバー側で撮像されている画像処理装置が検索されて当該画像処
理装置に関する情報が当該携帯端末に送信される。
そして、当該携帯端末は、サーバーから送信された情報(通信情報)に基づいて当該画像処理装置と通信し、当該画像処理装置において原稿がセットされているか否かについての情報を取得し、原稿のセット状態に応じてユーザー操作を受付けるアイコン表示を切換え、アイコンのドラッグ操作を介してユーザーから画像処理装置の操作指示を受付ける。
より具体的には、原稿がセットされていることが検出された場合には、携帯端末は、画
像処理装置の撮像画像とともに原稿の絵柄を示すアイコンと、原稿読取りデータの送信
先となる宛先の一覧を表示し、アイコンを所望の宛先の表示位置に移動させるドラッグ操
作を検出すると、原稿のスキャンジョブと所望の宛先を示す宛先情報を画像処理装置に送
信して、当該画像処理装置に対して原稿を読み取って原稿読み取りデータを所望の宛先へ
送信する画像読取送信処理の実行指示をする。
原稿がセットされていないことが検出された場合には、携帯端末は、画像処理装置によ
る印刷処理の対象となるべき各画像データを示すアイコンを、画像処理装置の撮像画像と
ともに表示し、所望の画像データのアイコンを画像処理装置の画像の表示位置に移動させ
るドラッグ操作を検出すると、所望の画像データを画像処理装置に送信して、当該画像処
理装置に対して当該画像データについての印刷処理の実行指示をする。
これにより、ユーザーは、使い慣れた携帯端末を操作することにより、画像処理装置の
操作を実行することができ、出張先においても最寄りの画像処理装置を手軽に利用するこ
とができる。
特開2012−104035号公報
しかしながら、上記の画像処理システムにおいては、原稿のセット状態により、携帯端末に表示される操作画面が決定されてしまうので、例えば、原稿がセットされた状態のときに、ユーザーが画像処理装置の印刷処理を実行させる操作をしたいような場合には、画像処理装置の所まで行ってセットされている原稿を取り除かなければならず、操作が不便であるという問題が生じる。
又、上記のように撮像画像とともに付加情報(アイコン)を表示させて画像処理装置の操作を受け付ける機能を有する画像処理システムを構築するには、開発コストを削減するため、できるだけ汎用性のある技術(例えば、AR(拡張現実))を用いて画像処理システムを構築することが望ましい。汎用性のない技術を用いた場合には、システムを最初から構築することになるため、汎用性のある技術を用いて、既存のシステムの改良や変更により、システムを構築する場合に比較して、システムの開発に時間や労力を要し、その結果、開発に要する人件費等のコストが増大することになるからである。
又、上記の画像処理システムにおいては、サーバーに画像処理装置の機能情報が画像処理装置の位置情報と対応付けて登録されており、当該機能情報に基づいて、操作画面において、画像読取送信処理を実行させるためのARタグや印刷処理を実行させるためのARタグを表示させることは可能であるが、宛先や印刷処理の対象となるべき各画像データを示すアイコンは、ARタグで表示されていないため、ドラッグ操作において両者を関連付けるための制御が煩雑になるという問題が生じる。
本発明は、上述のような問題に鑑みて為されたものであって、汎用性のある技術を用いて、直感的な操作により容易に画像処理装置を操作することが可能な画像処理システムを提供することを目的とする。
上記目的を達成するため、本発明の一形態に係る画像処理システムは、携帯端末装置と、ARサーバーから構成される画像処理システムであって、前記携帯端末装置は、撮像手段と、撮像した画像を表示する表示手段と、ユーザー操作を受付ける操作受付手段と、自装置の位置情報及び撮像方向を取得する取得手段と、撮像時の自装置の位置情報及び撮像方向を前記ARサーバーへ送信する第1送信手段と、画像処理すべきデータの格納場所を示す所在情報を記憶する第1記憶手段と、を有し、前記ARサーバーは、画像処理装置の機能を示す機能情報を、画像処理装置の位置情報に対応付けて記憶する第2記憶手段と、
前記画像処理すべきデータの識別情報を外部から取得して、前記画像処理装置の位置情報に対応付けて記憶する第3記憶手段と、前記第1送信手段から送信された前記位置情報及び撮像方向と、前記画像処理装置の位置情報とから、前記画像処理装置が撮像されているか否かを特定する特定手段と、前記画像処理装置が撮像されていると特定された場合に、前記画像処理装置の位置情報に対応付けられている前記機能情報と前記識別情報とを前記携帯端末装置へ送信する第2送信手段と、を有し、前記携帯端末装置は、更に、前記第2送信手段から送信された前記機能情報の示す機能を表示する第1ARタグと、前記第2送信手段から送信された前記識別情報を表示する第2ARタグとを生成して、それらのARタグを撮像した画像に合成して表示するARタグ表示手段と、第1ARタグと第2ARタグとを関連付けるユーザー操作を受付けると、当該第2ARタグに係る前記識別情報によって識別されるデータの所在情報の示す格納場所から、当該データを取得して、当該第1ARタグに係る機能情報の示す機能を用いて取得したデータを処理するように前記画像処理装置に指示する処理指示手段と、を有する。
又、本発明の一形態に係る画像処理システムは、 携帯端末装置と、ARサーバーから構成される画像処理システムであって、前記携帯端末装置は、撮像手段と、撮像した画像を表示する表示手段と、ユーザー操作を受付ける操作受付手段と、自装置の位置情報及び撮像方向を取得する取得手段と、撮像時の自装置の位置情報及び撮像方向を前記ARサーバーへ送信する第1送信手段と、画像処理すべきデータの格納場所を示す所在情報を記憶する第1記憶手段と、を有し、前記ARサーバーは、画像処理装置の機能を示す機能情報を、画像処理装置の位置情報に対応付けて記憶する第2記憶手段と、前記画像処理すべきデータの識別情報を外部から取得して、前記画像処理装置の位置情報に対応付けて記憶する第3記憶手段と、前記第1送信手段から送信された前記位置情報及び撮像方向と、前記画像処理装置の位置情報とから、前記画像処理装置が撮像されているか否かを特定する特定手段と、前記画像処理装置が撮像されていると特定された場合に、前記画像処理装置の位置情報に対応付けられている前記機能情報と前記識別情報とに基づいて前記機能情報の示す機能を表示する第1ARタグと、前記識別情報を表示する第2ARタグとを生成して前記携帯端末装置へ送信する第2送信手段と、を有し、前記携帯端末装置は、更に、前記第2送信手段から送信された第1ARタグと第2ARタグとを撮像した画像に合成して表示するARタグ表示手段と、第1ARタグと第2ARタグとを関連付けるユーザー操作を受付けると、当該第2ARタグに係る前記識別情報によって識別されるデータの所在情報の示す格納場所から、当該データを取得して、当該第1ARタグに係る機能情報の示す機能を用いて取得したデータを処理するように前記画像処理装置に指示する処理指示手段と、を有する。
ここで、前記ARサーバーは、前記画像処理装置が撮像されていると特定された場合に、当該画像処理装置の位置情報を前記携帯端末装置に送信する第3送信手段を有し、前記携帯端末装置は、前記第3送信手段から送信された前記位置情報に対応付けて前記識別情報を前記ARサーバーへ送信する第4送信手段を有し、前記第3記憶手段は、前記識別情報を前記第4送信手段から取得することとすることができる。さらに、前記画像処理システムは、前記画像処理装置を有することとすることができる。
又、前記画像処理システムは、更に、前記画像処理装置を有し、前記第2記憶手段はさらに、前記画像処理装置の宛先を示す宛先情報を当該画像処理装置の位置情報に対応付けて記憶し、前記ARサーバーは、前記画像処理装置が撮像されていると特定された場合に、当該画像処理装置の位置情報と、当該位置情報に対応付けられている前記宛先情報とを前記携帯端末装置へ送信する第3送信手段を有し、前記携帯端末装置は、前記第3送信手段から送信された前記画像処理装置の位置情報に対応付けて前記識別情報を、前記宛先情報の示す前記画像処理装置の宛先へ送信する第4送信手段を有し、前記画像処理装置は、前記第4送信手段から送信された前記画像処理装置の位置情報に対応付けて前記識別情報を前記ARサーバーへ送信する第5送信手段を有し、前記第3記憶手段は、前記識別情報を前記画像処理装置の第5送信手段から取得することとすることができる。
又、前記データは、前記携帯端末装置又は前記携帯端末装置から当該データを取得できる他の装置に格納されていることとすることができる。又、前記携帯端末装置は、ログイン情報の入力を受付ける入力受付手段を有し、前記第3記憶手段はさらに、ログイン情報の認証に用いる認証情報を、前記画像処理装置の位置情報に対応付けて記憶し、前記第2送信手段はさらに、前記第3記憶手段において前記画像処理装置の位置情報に対応付けられている認証情報を前記携帯端末装置へ送信し、前記携帯端末装置はさらに、入力されたログイン情報と、前記第2送信手段から送信された認証情報とを照合する照合手段を有し、
前記ARタグ表示手段は、照合できた場合に、第2ARタグを表示し、照合できなかった場合には、第2ARタグの表示を抑止することとすることができる。
又、前記画像処理装置はさらに、画像を所定の投影位置に投影する投影手段を有し、前記第2記憶手段は、さらに、前記投影位置の位置情報を記憶し、前記第3記憶手段は、前記画像処理すべきデータの識別情報を前記投影位置の位置情報に対応づけて記憶し、前記特定手段は、前記第1送信手段から送信された前記位置情報及び撮像方向と、前記投影位置の位置情報とから、前記投影位置の画像が撮像されているか否かを特定し、前記第2送信手段は、前記投影位置の画像が撮像されていると特定された場合に、前記投影位置の位置情報に対応付けられている前記識別情報を前記携帯端末装置へ送信し、前記AR表示手段は、前記第2送信手段から送信された前記識別情報を表示する第2ARタグを、撮像した画像に合成して表示することとすることができる。
上記構成を備えることにより、画像処理装置の機能を示す機能情報と、画像処理すべきデータの識別情報とが、画像処理装置の位置情報に対応付けてサーバーに記憶され、撮像対象の撮像時に携帯端末装置から送信される位置情報及び撮像方向と画像処理装置の位置情報とから、前記画像処理装置が撮像されていると特定された場合に、当該画像処理装置の位置情報に対応する機能情報及び画像処理すべきデータの識別情報に基づいて、機能情報の示す機能を表示する第1ARタグと、識別情報を表示する第2ARタグとが、携帯端末装置が撮像した画像に合成表示される。
そして、携帯端末装置において第1、第2ARタグを関連付けるユーザー操作が受付けられると、第2ARタグに係る識別情報により識別されるデータの所在情報の示す格納場所から、当該データが取得されて、第1ARタグに係る機能情報の示す機能を用いて取得したデータを処理するように画像処理装置に指示されるので、汎用性のあるAR(拡張現実)の技術を用いて、直感的な操作により容易に画像処理装置を操作することができる。
又、本発明の一形態に係る画像処理システムは、携帯端末装置、ARサーバー及び画像処理装置から構成される画像処理システムであって、前記携帯端末装置は、画像処理すべきデータの格納場所を示す所在情報を記憶する第1記憶手段と、自装置の位置情報及び撮像方向を取得する第1取得手段と、前記画像処理すべきデータの識別情報を、自装置の位置情報に対応付けて前記ARサーバーへ送信する第1送信手段と、前記第1取得手段が取得する位置情報に基づいて自装置の位置の移動を監視し、当該位置が移動する毎に移動後の位置情報を前記ARサーバーへ送信する第2送信手段と、を有し、前記画像処理装置は、
撮像手段と、撮像した画像を表示する表示手段と、ユーザー操作を受付ける操作受付手段と、自装置の位置情報及び撮像方向を取得する第2取得手段と、自装置の機能を示す機能情報を記憶している第1記憶手段と、撮像時の自装置の位置情報及び撮像方向を前記ARサーバーへ送信する第3送信手段と、を有し、前記ARサーバーは、前記第1送信手段から送信された前記識別情報を、当該識別情報に対応付けられている前記携帯端末装置の位置情報に対応付けて記憶する第2記憶手段と、前記第2記憶手段に記憶されている前記携帯端末装置の位置情報を、前記第2送信手段から送信された位置情報に更新する更新手段と、前記第3送信手段から送信された前記位置情報及び撮像方向と、前記携帯端末装置の位置情報とから、前記携帯端末装置が撮像されているか否かを特定する特定手段と、前記携帯端末装置が撮像されていると特定された場合に、前記携帯端末装置の位置情報を前記画像処理装置に送信する第4送信手段と、を有し、前記画像処理装置は、前記機能情報を、前記第4送信手段から送信された前記携帯端末装置の位置情報に対応付けて前記ARサーバーへ送信する第5送信手段を有し、前記第2記憶手段はさらに、前記第5送信手段から送信された前記機能情報を、前記携帯端末装置の位置情報と対応付けて記憶し、前記ARサーバーはさらに、前記第2記憶手段において、前記携帯端末装置の位置情報と対応付けられている前記機能情報と、前記識別情報とを前記画像処理装置へ送信する第6送信手段を有し、前記画像処理装置はさらに、前記第6送信手段から送信された前記機能情報の示す機能を表示する第1ARタグと、前記第6送信手段から送信された前記識別情報を表示する第2ARタグとを生成して、それらのARタグを撮像した画像に合成して表示するARタグ表示手段と、第1ARタグと第2ARタグを関連付けるユーザー操作を受付けると、当該第2ARタグに係る前記識別情報によって識別されるデータの所在情報の示す格納場所から、当該データを前記携帯端末装置を通じて取得して当該第1ARタグに係る機能情報の示す機能を実行する処理実行手段と、を有することとしてもよい。
又、本発明の一形態に係る画像処理システムは、携帯端末装置、ARサーバー及び画像処理装置から構成される画像処理システムであって、前記携帯端末装置は、画像処理すべきデータの格納場所を示す所在情報を記憶する第1記憶手段と、自装置の位置情報及び撮像方向を取得する第1取得手段と、前記画像処理すべきデータの識別情報を、自装置の位置情報に対応付けて前記ARサーバーへ送信する第1送信手段と、前記第1取得手段が取得する位置情報に基づいて自装置の位置の移動を監視し、当該位置が移動する毎に移動後の位置情報を前記ARサーバーへ送信する第2送信手段と、を有し、前記画像処理装置は、
撮像手段と、撮像した画像を表示する表示手段と、ユーザー操作を受付ける操作受付手段と、自装置の位置情報及び撮像方向を取得する第2取得手段と、自装置の機能を示す機能情報を記憶している第1記憶手段と、撮像時の自装置の位置情報及び撮像方向を前記ARサーバーへ送信する第3送信手段と、を有し、前記ARサーバーは、前記第1送信手段から送信された前記識別情報を、当該識別情報に対応付けられている前記携帯端末装置の位置情報に対応付けて記憶する第2記憶手段と、前記第2記憶手段に記憶されている前記携帯端末装置の位置情報を、前記第2送信手段から送信された位置情報に更新する更新手段と、前記第3送信手段から送信された前記位置情報及び撮像方向と、前記携帯端末装置の位置情報とから、前記携帯端末装置が撮像されているか否かを特定する特定手段と、前記携帯端末装置が撮像されていると特定された場合に、前記携帯端末装置の位置情報を前記画像処理装置に送信する第4送信手段と、を有し、前記画像処理装置は、前記機能情報を、前記第4送信手段から送信された前記携帯端末装置の位置情報に対応付けて前記ARサーバーへ送信する第5送信手段を有し、前記第2記憶手段はさらに、前記第5送信手段から送信された前記機能情報を、前記携帯端末装置の位置情報と対応付けて記憶し、前記ARサーバーはさらに、前記第2記憶手段において、前記携帯端末装置の位置情報と対応付けられている前記機能情報と前記識別情報とに基づいて前記機能情報の示す機能を表示する第1ARタグと、前記識別情報を表示する第2ARタグとを生成して前記画像処理装置へ送信する第6送信手段を有し、前記画像処理装置はさらに、前記第6送信手段から送信された第1ARタグと第2ARタグとを撮像した画像に合成して表示するARタグ表示手段と、第1ARタグと第2ARタグを関連付けるユーザー操作を受付けると、当該第2ARタグに係る前記識別情報によって識別されるデータの所在情報の示す格納場所から、当該データを前記携帯端末装置を通じて取得して当該第1ARタグに係る機能情報の示す機能を実行する処理実行手段と、を有することとしてもよい。
これにより、画像処理装置の機能を示す機能情報と、画像処理すべきデータの識別情報とが、携帯端末装置の位置情報に対応付けてサーバーに記憶され、撮像対象の撮像時に画像処理装置から送信される位置情報及び撮像方向と携帯端末装置の位置情報とから、前記携帯端末装置が撮像されていると特定される場合に、当該携帯端末装置の位置情報に対応する機能情報及び画像処理すべきデータの識別情報に基づいて、機能情報の示す機能を表示する第1ARタグと、識別情報を表示する第2ARタグとが、画像処理装置が撮像した画像に合成表示される。
そして、画像処理装置において第1、第2ARタグを関連付けるユーザー操作が受付けられると、第2ARタグに係る識別情報により識別されるデータの所在情報の示す格納場所から、当該データが前記携帯端末装置を通じて取得されて、第1ARタグに係る機能情報の示す機能が実行されるので、汎用性のあるAR(拡張現実)の技術を用いて、直感的な操作により容易に画像処理装置を操作することができる。
本実施の形態に係る画像処理システムの構成の概略を示す図である。 画像処理装置1の構成を示す機能ブロック図である。 ARサーバー2の構成を示す機能ブロック図である 機能情報管理テーブルの具体例を示す図である。 データ情報管理テーブルの具体例を示す。 携帯端末装置3の構成を示す機能ブロック図である。 ARタグ表示処理の動作の一部を示すシーケンス図である。 ARタグ表示処理の動作の別の一部を示すシーケンス図である。 操作パネル309の液晶表示部に表示される、合成表示画面の具体例を示す。 図7に示すARタグ表示処理の動作の変形例を示すシーケンス図である。 図7に示すARタグ表示処理の動作の別の変形例の一部を示すシーケンス図である。 図7に示すAR表示処理の動作の別の変形例の別の一部を示すシーケンス図である。 図8に示すARタグ表示処理の動作の変形例を示すシーケンス図である。 操作パネル80の液晶表示部に表示される、合成表示画面の具体例を示す。
(実施の形態)
[1]画像処理システムシステムの構成
図1は、本実施の形態に係る画像処理システムの構成の概略を示す図である。本実施の形態に係る画像処理システムは、画像処理装置1、拡張現実(AR:Augmented Reality)サーバー2、携帯端末装置3等から構成される。ここで、「拡張現実」とは、撮像した画像に、当該画像に関連する付加情報を合成表示させる技術のことをいう。
同図に示す画像処理システムにおいては、画像処理装置及び携帯端末装置の数は、説明を簡単にするため、それぞれ1つとしているが、本実施の形態では、それぞれ複数存在するものとする。又、ARサーバー2は、複数存在していてもよい。
又、本画像処理システムに含まれる複数の画像処理装置の機能は、異なっていてもよい。後述するように、画像処理装置1は、ここでは印刷機能、ボックス機能、FAX機能を備えているが、本画像処理システムに含まれる画像処理装置は、これらの全ての機能を備えていなくてもよいし、上記の機能とは別の機能を備えていてもよい。例えば、本画像処理システムに含まれる画像処理装置は、印刷機能のみ備える画像処理装置であってもよいし、印刷機能とFAX機能のみ、或いは印刷機能とボックス機能のみ備える画像処理装置であってもよい。なお、ボックス機能については後述する。又、携帯端末装置は、本画像処理システムに含まれる画像処理装置の各ユーザーが携帯しているものとする。
図1に示すように、画像処理装置1、ARサーバー2、携帯端末装置3は、LAN(Local Area Network)4で接続され、携帯端末装置3は、図示しない無線ルーターや無線基地局を介してLAN4に無線接続されている。なお、画像処理装置1、ARサーバー2、携帯端末装置3の接続形態は、LANに限定されず、インターネットで接続されていてもよいし、両者を組み合わせて接続されていてもよい。又、他の接続形態を組み合わせて接続されていてもよい。例えば、画像処理装置1と携帯端末装置3は、Bluetooth(登録商標)を用いて無線接続されていてもよい。
図2は、画像処理装置1の構成を示す機能ブロック図である。画像処理装置1は、制御
部10、画像プロセス部30、給紙部40、定着装置50、ハードディスクドライブ(H
DD)60、画像読取部70、操作パネル80、FAX部90等から構成される。
制御部10は、CPU100、通信インターフェース(I/F)部101、ROM102、RAM103、画像データ記憶部104等から構成され、画像処理装置1の全体の動作を制御する。
通信I/F部101は、LANカード、LANボードといったLAN4に接続するためのインターフェースである。ROM102には、画像プロセス部30、給紙部40、定着装置50、HDD60、画像読取部70、操作パネル80、FAX部90を制御するための制御プログラム、「ボックス機能」を実行するためのプログラム等が格納されている。ここで、「ボックス機能」とは、画像処理装置1の各ユーザーが作成した文書等の画像データを、当該ユーザーの携帯端末装置3から取得して、当該ユーザーについて割当てられているHDD60上の記憶領域(「ボックス」と呼ばれる記憶領域)に格納する機能のことをいう。
RAM103は、CPU100のプログラム実行時のワークエリアとして用いられる。画像データ記憶部104は、通信I/F部101や画像読取部70を介して入力された、印刷用の画像データを記憶している。CPU100は、制御プログラムを実行することにより、画像プロセス部30、給紙部40、定着装置50、HDD60、画像読取部70、操作パネル80、FAX部90を制御する。
画像プロセス部30は、制御部10又は画像読取部60から入力された印刷用の画像データに基づき、給紙部40から供給される記録シートとしての用紙に画像を形成することにより印刷処理を実行する。給紙部40は、制御部10からの指示に応じて記録シートとしての用紙を画像プロセス部30に供給する。定着装置50は、制御部10からの指示に応じて記録シートとしての用紙に形成された画像を当該用紙に熱定着させる。
HDD60の記憶領域内には、画像処理装置1のユーザーが作成した文書等の画像データを格納するための「ボックス」が、ユーザー(ここでは、携帯端末装置3のユーザー)毎に割当てられている。又、HDD60には、自装置を識別する装置識別子、各ボックスの格納先と携帯端末装置3の端末識別子(ここでは、ユーザーIDを端末識別子とする。)との対応関係を示す格納先特定テーブルが記憶されている。「ボックス機能」が実行される際に、携帯端末装置3から端末識別子が画像処理装置1に通知され、当該端末識別子に対応するボックスに、携帯端末装置3から送信された画像データが格納される。
又、HDD60には、ARサーバー2や画像処理システムに含まれる携帯端末装置と通信する際に通信相手先に通知されるIPアドレス等の自装置の通信情報が記憶されている。
画像読取部70は、スキャナーなどの画像入力装置から構成され、用紙等の記録シートに記載されている文字や図形などの情報を読取り、画像データを形成する。操作パネル80は、複数の入力キーと液晶表示部を備え、液晶表示部の表面にはタッチパネルが積層されている。タッチパネルからのタッチ入力又は入力キーからのキー入力により、ユーザーからの指示を受取り、制御部10に通知する。FAX部90は、公衆電話回線などを介して所望の相手先との間で画像データの送受信を行う。
図3は、ARサーバー2の構成を示す機能ブロック図である。ARサーバー2は、CPU200、通信I/F部201、ROM202、RAM203、ハードディスクドライブ(HDD)204、操作部205等から構成される。
通信I/F部201は、LANカード、LANボードといったLANに接続するためのインターフェースである。ROM202には、後述する画像処理システムが行うARタグ表示処理の動作においてARサーバー2が行う処理を実行するプログラム等が記憶されている。
RAM203は、CPU200のプログラム実行時のワークエリアとして用いられる。CPU200が、ROM202に記憶されている各プログラムを実行することにより、ARサーバー2としての機能が実現される。
HDD204には、ARタグ表示情報管理テーブル等が記憶されている。ここで、「ARタグ表示情報管理テーブル」とは、機能情報管理テーブルとデータ情報管理テーブルとから構成されるテーブルのことをいう。
「機能情報管理テーブル」とは、画像処理システムに含まれる各画像処理装置について、当該画像処理装置の識別子である装置識別子と、経度及び緯度で示される当該画像処理装置の位置情報と、IPアドレス等で示される当該画像処理装置の通信情報と、当該画像処理装置において利用可能な機能を示す機能情報との対応関係を示す機能管理情報のリストを示すテーブルのことをいう。
機能管理情報は、予め各画像処理装置の管理者等によって機能情報管理テーブルに登録される。当該登録は、画像処理装置又は携帯端末装置に機能管理情報を入力し、機能管理情報が入力された画像処理装置又は携帯端末装置から機能管理情報をARサーバー2へ送信することにより、或いは、ARサーバー2の操作部205を介してARサーバー2に機能管理情報を直接入力することにより行われる。図4は、機能情報管理テーブルの具体例を示す図である。同図の「装置位置情報」は、画像処理装置の位置情報を示す。同図の「機能情報」においては、各画像処理装置についての、各機能(印刷機能、ボックス機能、FAX機能)の有無が示されている。
「データ情報管理テーブル」とは、画像処理システムに含まれる各携帯端末装置について、当該携帯端末装置の端末識別子(ここでは、当該携帯端末装置のユーザーのユーザーID)と自装置から取得可能で、画像処理装置において処理されるべき画像データを識別するデータ識別情報と当該データ識別情報が対応付けられている画像処理装置の位置情報(装置位置情報)との対応関係を示すデータ管理情報のリストを示すテーブルのことをいう。
データ識別情報は、ここでは、画像データのファイル名又はフォルダー名とする。データ識別情報によって識別される画像データのファイル又はフォルダーの格納場所は、自携帯端末装置内の記憶領域に限定されず、当該携帯端末装置がアクセス可能な外部装置(例えば、当該携帯端末装置とインターネット等の広域ネットワークで接続されているサーバー)の記憶領域に格納されていてもよい。
データ管理情報は、後述する画像処理システムが行うARタグ表示処理の動作においてデータ情報管理テーブルに登録される。図5は、データ情報管理テーブルの具体例を示す。同図の「ファイル/フォルダー名」は、データ識別情報を示し、「装置位置情報」は、画像処理装置の位置情報を示す。
図3の説明に戻って、操作部205は、キーボード又はマウス等から構成され、ユーザーからの指示の入力を受付ける。
図6は、携帯端末装置3の構成を示す機能ブロック図である。携帯端末装置3としては、例えば、タブレット型のPC(パーソナルコンピューター)やスマートフォン等を用いることができる。携帯端末装置3は、CPU300、無線通信I/F部301、ROM302、RAM303、ハードディスクドライブ(HDD)304、カメラ部305、無線通信部306、位置情報取得部307、撮影方向取得部308、操作パネル309等から構成される。
無線通信I/F部301は、LANカード、LANボードといったLANに接続するためのインターフェースである。無線通信I/F部301は、無線でLAN4に接続される。ROM302には、パーソナルコンピューターとしての機能を実現するための各種プログラムや後述する画像処理システムが行うARタグ表示処理の動作において携帯端末装置3が行う処理を実行するARプログラム等が記憶されている。RAM303は、CPU300のプログラム実行時のワークエリアとして用いられる。
HDD304には、画像処理システムに含まれる各画像処理装置において処理されるべき画像データのファイル及びフォルダー、及び当該ファイル及びフォルダーの所在情報が記憶されている。ここで、「所在情報」とは、データ識別情報と、当該データ識別情報により識別される画像データのファイル又はフォルダーの格納場所を示す格納場所情報との対応関係を示す情報のことをいう。
ここでは、格納場所情報は、格納場所に格納される画像データのファイル又はフォルダーが、自装置内に格納されている場合には、その格納場所がパス情報(ファイルパス又はフォルダーパス)で示され、当該ファイル又はフォルダーがサーバー等の外部装置に格納されている場合には、その格納場所がURL(Uniform Resource Locator)で示される。
さらに、HDD304には、ARサーバー2と通信するためのIPアドレス等のARサーバー2の通信情報、自装置を識別する端末識別子(ここでは、当該携帯端末装置のユーザーID)、ARサーバー2や画像処理システムに含まれる画像処理装置と通信する際に通信相手先に通知されるIPアドレス等の自装置の通信情報が記憶されている。
カメラ部305は、CCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラ等から構成され、画像処理システムに含まれる画像処理装置等を撮像する。無線通信部306は、図示しない基地局と通信し、電話回線を介した通信を制御する。
位置情報取得部307は、GPS(Global Positioning System)信号を受信して自装置の位置情報を取得する。GPS信号の代わりに、図示しない基地局から送信される位置信号を受信して当該位置情報を取得することとしてもよい。撮像方向取得部308は、電子コンパスやジャイロセンサー等から構成され、カメラ部305による撮像時の撮像方向を特定する撮像方向情報を取得する。
操作パネル309は、複数の入力キーと液晶表示部を備え、液晶表示部の表面にはタッチパネルが積層されている。タッチパネルからのタッチ入力又は入力キーからのキー入力により、ユーザーからの指示を受取る。
[2]ARタグ表示処理
図7及び図8は、画像処理システムが行うARタグ表示処理の動作を示すシーケンス図である。図7に示す処理と図8に示す処理は、画像処理システムによって連続して実行される処理であり、図7に示す処理に続けて図8に示す処理が画像処理システムによって実行される。
携帯端末装置3は、ARプログラムを起動し(ステップS701)、HDD304に記憶されている所在情報のデータ識別情報に基づいて、ARサーバー2に登録すべきデータ識別情報の選択画面を作成して操作パネル309の液晶表示部に表示してデータ識別情報の選択を受け付ける(ステップS702)。
選択画面からユーザーによりデータ識別情報が選択されると、携帯端末装置3は、選択されたデータ識別情報をRAM303に記憶して(ステップS703)、カメラ部305のカメラを起動して撮像(ここでは、ユーザーは、選択したデータ識別情報により識別される画像データの画像処理を行うことを希望する画像処理装置が撮像されるものとする。)を開始し(ステップS704)、位置情報取得部307から撮像時の位置情報(以下、「撮像位置情報」という。)を、撮像方向取得部308から撮像方向情報をそれぞれ取得してARサーバー2のIPアドレスへ送信する(ステップS705)。
ARサーバー2は、携帯端末装置3から送信された撮像位置情報と撮像方向情報に基づいて、HDD204に記憶されているARタグ表示情報管理テーブルの機能情報管理テーブルを参照して撮像位置情報の示す撮像位置から撮像方向情報の示す撮像方向において、所定範囲内に位置する画像処理装置を検索し、検索できた場合に当該画像処理装置が、携帯端末装置3によって撮像されている画像処理装置であると特定して(ステップS706)、機能情報管理テーブルから特定した画像処理装置の位置情報を取得して携帯端末装置3へ送信する(ステップS707)。
ARサーバー2によって特定された画像処理装置の位置情報を受信した携帯端末装置3は、当該位置情報に対応付けて選択されたデータ識別情報と端末識別子を、データ情報管理テーブルに登録すべきデータ管理情報としてARサーバー2へ送信してデータ情報管理テーブルへの登録を依頼する(ステップS708)。
ARサーバー2は、携帯端末装置3から送信されたデータ管理情報をHDD204に記憶されているデータ情報管理テーブルに登録する(ステップS709)。そして、画像処理システムは、図7の処理に続けて図8に示す処理を行う。
次にARサーバー2は、機能情報管理テーブルにおいて、特定した画像処理装置の位置情報に対応する機能情報と通信情報を特定し(ステップS710)、データ情報管理テーブルにおいて特定した画像処理装置の位置情報及び携帯端末装置3から送信された端末識別子に対応するデータ識別情報を特定し(ステップS711)、特定した機能情報、通信情報及びデータ識別情報を携帯端末装置3へ送信する(ステップS712)。
そして、携帯端末装置3は、ARサーバー2から送信された機能情報の示す機能毎に当該機能を表示して当該機能の選択指示を受け付けるためのARタグ(以下、「機能表示ARタグという。」を生成するとともに、ARサーバー2から送信されたデータ識別情報(ここでは、ファイル名又はフォルダ名)を表示して当該データ識別情報によって識別される画像データへのアクセスの指示を受け付けるためのARタグ(以下、「データ表示ARタグ」という。)を生成する(ステップS713)。なお、携帯端末装置3は、各ARタグを生成するための元画像(ここでは、吹き出し画像)を記憶しているものとする。又、データ表示ARタグ用の元画像には、所定の文字列(ここでは、「へアクセス」の文字列)が含まれているものとする。
さらに、携帯端末装置3は、ARサーバー2から送信された画像処理装置の位置情報に基づいて、操作パネル309の液晶表示部に表示される撮像画像における当該画像処理装置の表示位置を算出し、当該表示位置の近傍に生成した各機能表示ARタグ、データ表示ARタグを各ARタグが重ならないように、撮像画像に合成表示させる(ステップS714)。図9は、操作パネル309の液晶表示部に表示される、合成表示画面の具体例を示す。同図の符号1は、撮像された画像処理装置を、符号91は、印刷機能を表示する機能表示ARタグを、符号92は、ボックス機能を表示する機能表示ARタグを、符号93は、データ識別情報(ファイル名)を表示するデータ表示ARタグをそれぞれ示す。
さらに、携帯端末装置3は、操作パネル309において、データ表示ARタグを機能表示ARタグ上に移動させるユーザーのドラッグ操作又は機能表示ARタグをデータ表示ARタグ上に移動させるドラッグ操作(例えば、図9の右向きの点線矢印で示すように、データ表示ARタグ93を機能表示ARタグ91上へ移動させるドラッグ操作又は図9の左向きの矢印で示すように、機能表示ARタグ91をデータ表示ARタグ93上へ移動させるドラッグ操作)を受け付けると(ステップS715)、当該ドラッグ操作の対象となったデータ表示ARタグに係るデータ識別情報によって識別される画像データのファイル又はフォルダーの格納場所に、HDD304に記憶されている、当該画像データについての所在情報を参照してアクセスして、当該画像データのファイル又はフォルダーを取得し、ARサーバー2から送信された通信情報の示す画像処理装置のIPアドレスに送信し、当該画像処理装置に対し、取得した画像データについて、当該ドラッグ操作の対象となった機能表示ARタグに係る機能(図9の具体例では、印刷)の実行を指示する(ステップS716)。
当該画像処理装置は、携帯端末装置3から送信された画像データのファイル又はフォルダーを用いて、携帯端末装置3から指示された機能を実行する(ステップS717)。
これにより、画像処理装置の撮像画像に合成表示されたARタグのドラッグ操作により、選択した画像処理装置の機能の実行に用いる画像データを取得して当該画像データについて選択した機能の実行指示を、画像処理装置に対し行うことができるので、汎用性のあるAR(拡張現実)の技術を用いて、直感的な操作により容易に画像処理装置を操作することができる。
(変形例)
以上、本発明を実施の形態に基づいて説明してきたが、本発明が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
(1)本実施の形態では、図7のARタグ表示処理の動作において、携帯端末装置3がデータ識別情報をARサーバー2に送信して、ARサーバー2のHDD204に記憶されているデータ情報管理テーブルに登録することとしたが、画像処理装置1が携帯端末装置3からデータ識別情報を取得してARサーバー2のデータ情報管理テーブルに登録することとしてもよい。
図10は、上記の場合に画像処理システムが行う、図7に示すARタグ表示処理の動作の変形例を示すフローチャートである。同図において、図7のARタグ表示処理の動作における処理と同一内容の処理については、同一のステップ番号を付与し、以下相違する点について説明する。ステップS701〜ステップS706の処理が行われた後、ARサーバー2は、機能情報管理テーブルから特定した画像処理装置の位置情報と、当該位置情報に対応付けられている通信情報を取得して携帯端末装置3へ送信する(ステップS1001)。
ARサーバー2によって特定された画像処理装置の位置情報と通信情報を受信した携帯端末装置3は、当該通信情報から当該画像処理装置のIPアドレスを取得し(ステップS1002)、受信した画像処理装置の位置情報に対応付けて選択されたデータ識別情報と端末識別子を当該IPアドレス宛に送信して、当該画像処理装置にARサーバー2のデータ情報管理テーブルへの登録を依頼する(ステップS1003)。
登録を依頼された画像処理装置は、携帯端末装置3から送信された画像処理装置の位置情報に対応付けてデータ識別情報、端末識別子をARサーバー2へ送信してデータ情報管理テーブルへの登録を依頼する(ステップS1004)。
ARサーバー2は、受信した画像処理装置の位置情報に対応付けて、受信したデータ識別情報、端末識別子をデータ情報管理テーブルに登録する(ステップS1005)。
(2)本実施の形態では、携帯端末装置側に撮像機能を有することとしたが、画像処理装置側に撮像機能を設け、画像処理装置側から携帯端末装置を撮像し、携帯端末装置の位置情報に対応付けて機能情報及びデータ識別情報を登録することとし、登録した機能情報及びデータ識別情報に基づいて、画像処理装置側の操作パネルの液晶表示部に機能表示ARタグ及びデータ表示ARタグを表示させることとしてもよい。
具体的には、携帯端末装置3のROM302に、後述する画像処理システムが行う、図7に示すARタグ表示処理の動作の変形例において、携帯端末装置3が行う処理を実行する携帯側ARプログラムを記憶させる。そして、画像処理装置1が、携帯端末装置3のカメラ部305、位置情報取得部307、撮像方向取得部308と同様の構成要素を備え、ROM10に、後述する画像処理システムが行う、図7に示すARタグ表示処理の動作の変形例において、画像処理装置1が行う処理を実行する装置側ARプログラムを記憶させ、HDD60に機能情報、ARサーバー2のIPアドレス等のARサーバー2の通信情報を記憶させることとし、以下のARタグ表示処理の動作の変形例を実行することとしてもよい。
図11、図12、図13は、画像処理システムが行う、図7、図8に示すARタグ表示処理の動作の別の変形例を示すフローチャートである。携帯端末装置3は、携帯側ARプログラムを起動し(ステップS1101)、HDD304に記憶されているデータ識別情報に基づいて、ARサーバー2に登録すべきデータ識別情報の選択画面を作成して操作パネル309の液晶表示部に表示してデータ識別情報の選択を受け付ける(ステップS1102)。
選択画面からユーザーによりデータ識別情報が選択されると、携帯端末装置3は、選択されたデータ識別情報をRAM303に記憶し(ステップS1103)、位置情報取得部307から自装置の現在の位置を示す位置情報を取得し(ステップS1104)、当該位置情報とHDD304に記憶されている端末識別子、自装置のIPアドレス等の通信情報、選択されたデータ識別情報をARサーバー2へ送信し、当該位置情報に対応付けて端末識別子、通信情報、データ識別情報を登録することを依頼する(ステップS1105)。
ARサーバー2は、受信した位置情報に対応付けて端末識別子、通信情報、データ識別情報をテーブルに登録する(ステップS1106)。
携帯端末装置3は、位置情報取得部307から取得する位置情報に基づいて自装置の位置が移動したか否かを監視し(ステップS1107)、移動した場合には、HDD304に記憶されている端末識別子と移動後の位置情報をARサーバー2へ送信して、登録した位置情報の更新を依頼する(ステップS1108)。
ARサーバー2は、テーブルにおいて、携帯端末装置3から送信された端末識別子に対応付けられている位置情報を、携帯端末装置3から送信された移動後の位置情報に更新する(ステップS1109)。そして、画像処理システムは、図11の処理に続けて図12に示す処理を行う。
携帯端末装置3のユーザーは、ステップS1106の処理において、携帯端末装置3の位置情報等のARサーバー2への登録が完了した後に、以下に示す処理を実行させるものとする。なお、当該登録が完了したことは、例えば、図11のステップS1106の処理が実行され、当該登録が完了した場合に、ARサーバー2が携帯端末装置3にそのことを通知し、携帯端末装置3が、登録が完了した旨のメッセージを操作パネル309の液晶表示部に表示させることによりユーザーに通知することができる。
画像処理装置1は、装置側ARプログラムを起動し(ステップS1110)、カメラ部のカメラを起動して撮像(ここでは、携帯端末装置3の撮像)を開始し(ステップS1111)、位置情報取得部から撮像時の位置情報を、撮像方向取得部から撮像方向情報をそれぞれ取得してARサーバー2へ送信する(ステップS1112)。
ARサーバー2は、携帯端末装置3の位置情報等が登録されたテーブルを参照して撮像位置情報の示す撮像位置から撮像方向情報の示す撮像方向において、所定範囲内に位置する携帯端末装置(撮像されている携帯端末装置3)を検索し、検索できた場合に、当該携帯端末装置3が、画像処理装置1によって撮像されている携帯端末装置であると特定して(ステップS1113)、当該テーブルから特定した携帯端末装置3の位置情報を取得して当該位置情報を画像処理装置1へ送信する(ステップS1114)。
画像処理装置1は、携帯端末装置3の位置情報を受信すると、HDD60に記憶されている機能情報、自装置の装置識別子を読出し、受信した位置情報とともにARサーバー2のIPアドレスへ送信し、当該位置情報に対応付けて機能情報、自装置の装置識別子を登録することを依頼する(ステップS1115)。
ARサーバー2は、受信した位置情報に対応付けて受信した機能情報、装置識別子をテーブルに登録する(ステップS1116)。そして、画像処理システムは、図12の処理に続けて図13に示す処理を行う。
ARサーバー2は、当該テーブルを参照して受信した位置情報に対応付けられている携帯端末装置の通信情報、データ識別情報及び機能情報を特定し、特定した通信情報、データ識別情報、機能情報を画像処理装置1へ送信する(ステップS1117)。
画像処理装置1は、ARサーバー2から送信された機能情報の示す機能毎に機能表示ARタグを生成するとともに、ARサーバー2から送信されたデータ識別情報を表示するデータ表示ARタグを生成し(ステップS1118)、ステップS1114においてARサーバー2から送信された携帯端末装置の位置情報に基づいて、操作パネル80の液晶表示部に表示される撮像画像における当該携帯端末装置の表示位置を算出し、当該表示位置の近傍に生成した各機能表示ARタグ、データ表示ARタグを各ARタグが重ならないように、撮像画像に合成表示させる(ステップS1119)。
図14は、操作パネル80の液晶表示部に表示される、合成表示画面の具体例を示す。同図の符号3は、撮像された携帯端末装置3を、符号141は、印刷機能を表示する機能表示ARタグを、符号142は、ボックス機能を表示する機能表示ARタグを、符号143は、データ識別情報(ファイル名)を表示するデータ表示ARタグをそれぞれ示す。
さらに、画像処理装置1は、操作パネル80において、データ表示ARタグを機能表示ARタグ上に移動させるユーザーのドラッグ操作又は機能表示ARタグをデータ表示ARタグ上に移動させるドラッグ操作(例えば、図14の左向きの点線矢印で示すように、データ表示ARタグ143を機能表示ARタグ141上へ移動させるドラッグ操作又は図14の右向きの点線矢印で示すように、機能表示ARタグ141をデータ表示ARタグ143上へ移動させるドラッグ操作)を受け付けると(ステップS1120)、当該ドラッグ操作の対象となったデータ表示ARタグに係るデータ識別情報を携帯端末装置3の通信情報の示すIPアドレスに送信して、当該データ識別情報によって識別される画像データの送信を携帯端末装置3に依頼し(ステップS1121)、携帯端末装置3から当該画像データが送信されると(ステップS1122)、当該画像データについて当該ドラッグ操作の対象となった機能表示ARタグに係る機能(図14の具体例では、印刷)を実行する(ステップS1123)。
(3)本実施の形態では、図8のARタグ表示処理の動作において、携帯端末装置3側が機能表示ARタグ及びデータ表示ARタグを生成することとしたが(ステップS713参照)、ARサーバー2側が両者のARタグをそれぞれ生成することとしてもよい。
具体的には、ステップS712の処理において、特定した機能情報及びデータ識別情報に基づいて、機能情報の示す機能毎に当該機能を表示して当該機能の選択指示を受け付けるための機能表示ARタグと、データ識別情報を表示して当該データ識別情報によって識別される画像データへのアクセスの指示を受け付けるためのデータ表示ARタグを生成して、生成した機能表示ARタグと、データ表示ARタグとを携帯端末装置3へ送信し、ステップS714の処理に移行することとしてもよい。
この場合、ARサーバー2は、各ARタグを生成するための元画像(ここでは、吹き出し画像)を記憶しているものとする。又、データ表示ARタグ用の元画像には、所定の文字列(ここでは、「へアクセス」の文字列)が含まれているものとする。
変形例(1)、(2)の場合においても、同様にARサーバー2側が両者のARタグをそれぞれ生成することとしてもよい。変形例(2)では、ステップS712の処理の代わりに図13のステップS1117の処理において、ARサーバー2が、上記の処理と同様の処理を行い、ステップS1119の処理に移行することとしてもよい。
(4)本実施の形態では、ユーザーのログイン情報の入力の有無にかかわらず、データ表示ARタグを表示させることとしたが、セキュリティーを確保するため、ARタグ表示処理において、ユーザーからログイン情報(例えば、ユーザーID、パスワード)の入力を受付けることとし、ログイン認証がされなかった場合には、データ表示ARタグの表示を抑止することとしてもよい。
具体的には、例えば、ログイン情報の認証に用いる認証情報をARサーバー2のHDD204に記憶させておき、図7のARタグ表示処理において、携帯端末装置3のARプログラムを起動したときに、携帯端末装置3においてユーザーからのログイン情報の入力を受け付けることとし、図7のステップS709においてデータ管理情報をデータ情報管理テーブルへ登録する際に、さらに認証情報をデータ管理情報の画像処理装置の位置情報に対応づけて登録する。
そして、図8のステップ712において、特定した通信情報、機能情報、データ識別情報に加え、画像処理装置の位置情報に対応付けられている認証情報をARサーバー2から携帯端末装置3へ送信する。さらに、携帯端末装置3側でステップ713、ステップS714の処理を行う前に、ユーザーから入力を受け付けたログイン情報とARサーバー2から送信された認証情報とを照合して、照合できた場合にステップS713、ステップ714の処理を行い、照合できなかった場合には、ステップS713の処理において、データ表示ARタグの生成を抑止し、ステップS714において、データ表示ARタグが撮像画像に合成表示されるのを抑止することとしてもよい。
(1)の変形例の場合においても、図10のステップS1005の処理において、さらに画像処理装置の位置情報に対応づけて認証情報をデータ情報管理テーブルに登録することとし、その他は、上記の処理と同様の処理を行うことにより、データ表示ARタグが撮像画像に合成表示されるのを抑止することができる。
さらに、(2)の変形例の場合には、上記の場合と同様に、認証情報をARサーバー2のHDD204に記憶させておき、図12のARタグ表示処理の変形例において、画像処理装置1のARプログラムを起動したときに、画像処理装置1においてユーザーからのログイン情報の入力を受け付けることとし、図11のステップS1106の処理において、さらに受信した位置情報に対応付けて認証情報をテーブルに登録する。
そして、図13のステップS1117において、特定した通信情報、データ識別情報、機能情報に加え、携帯端末装置の位置情報に対応つけられている認証情報をARサーバー2から画像処理装置1へ送信する。さらに、画像処理装置1側でステップS1118、ステップS1119の処理を行う前に、ユーザーから入力を受け付けたログイン情報とARサーバー2から送信された認証情報とを照合して、照合できた場合にステップS1118、ステップS1119の処理を行い、照合できなかった場合には、ステップS1118の処理において、データ表示ARタグの生成を抑止し、ステップS1119において、データ表示ARタグが撮像画像に合成表示されるのを抑止することとしてもよい。
これにより、AR(拡張現実)の技術を使用してユーザー認証を行うことができ、ユーザー認証ができなかった場合に、データ表示ARタグの表示を抑制して、データ表示ARタグを介して画像データに不正アクセスされるのを防止することができる。
(5)本実施の形態では、データ識別情報を画像処理装置1の位置情報に対応づけてARサーバー2のデータ情報管理テーブルに登録することとしたが、例えば、画像処理装置が、画像を投影位置に投影するプロジェクター等の投影装置を備えるような場合には、データ識別情報を投影位置に対応づけてARサーバー2に登録しておき、携帯端末装置3のカメラ部で当該投影位置に投影された画像を撮像しているときに、データ表示ARタグを表示させるようにすることとしてもよい。
具体的には、以下のようにすることができる。投影装置を備える画像処理装置の管理者等が当該画像処理装置の投影画像の投影位置(例えば、投影画像が投影されるスクリーンの設置位置や壁の位置)を示す位置情報と当該画像処理装置のIPアドレス等の通信情報とを、当該画像処理装置又は携帯端末装置又はARサーバー2の操作部205を介してARサーバー2に入力してARサーバー2のHDD204に予め当該位置情報と当該通信情報とを対応付けて機能情報管理テーブルに登録する。
そして、携帯端末装置3のカメラ部を介して、画像処理装置の代わり投影位置に投影された画像を撮像することとして、図7に示すステップS701〜ステップS709の処理と同様の処理を行うことにより、投影位置を示す位置情報に対応付けてデータ識別情報、端末識別子をデータ情報管理テーブルへ登録する。
すなわち、ステップS706において、ARサーバー2は、画像処理装置の代わりに撮像されている投影画像の投影位置の位置情報を特定し、ステップS707において、特定した投影位置の位置情報を携帯端末装置3へ送信し、さらに、携帯端末装置3側において、送信された位置情報を用いてステップS708、709と同様の処理を行うことにより、上記のように、データ情報管理テーブルへの登録処理を行うことができる。
上記の登録処理の後、図8のステップS710、ステップS711の処理と同様に、ARサーバー2が、機能管理情報管理テーブルにおいて、特定した投影位置の位置情報に対応する通信情報を特定し、さらに、データ情報管理テーブルにおいて、特定した投影位置の位置情報及び携帯端末装置3から送信された端末識別子に対応するデータ識別情報を特定し、特定した通信情報及びデータ識別情報を携帯端末装置3へ送信する。
そして、携帯端末装置3側において、ARサーバー2から送信されたデータ識別情報を表示するデータ表示ARタグを生成し、ARサーバー2から送信された投影位置の位置情報に基づいて、操作パネル309の液晶表示部に表示される撮像画像における投影画像の表示位置を算出し、当該表示位置の近傍に生成したデータ表示ARタグを撮像画像に合成表示させる。
これにより、例えば、自己のプレゼンテーションの資料に関連する資料の画像データに関するデータ識別情報を投影位置の位置情報と対応付けてARサーバー2に登録しておくことにより、プレゼンテーション資料の画像を投影している時に、必要に応じて携帯端末装置3を用いて投影画像を撮像し、当該データ識別情報を表示するデータ表示ARタグを操作パネル309の液晶表示部に表示させ、当該データ表示ARタグを介して関連する資料の画像データにアクセスして当該画像データを取得することができる。
その結果、投影装置を用いたプレゼンテーション時におけるユーザーの利便性を向上させることができる。例えば、取得した関連資料の画像データを画像処理装置に送信して、投影装置に当該画像を投影させ、プレゼンテーション資料についての補足説明を容易に行うことができる。
(6)本実施の形態では、ARタグ表示制御処理において、データ表示ARタグと機能表示ARタグ間のドラッグ操作を受付けることにより、当該ドラッグ操作の対象となった機能表示ARタグに係る機能の実行の指示を受付けることとしたが、ドラッグ操作以外の、両者のARタグを関連付ける操作、例えば、タッチパネル上に両者のARタグを表示し、両者のARタグをユーザーの指で同時にタッチする操作を受付けることにより、機能表示ARタグに係る機能の実行の指示を受付けることとしてもよい。
或いは、タッチパネル上で両者のARタグをユーザーの指で同時にタッチする操作をした後、タッチした状態でタッチ位置の間隔が短く又は長くなるように両者のタッチ位置を移動する操作を受付けることにより、機能表示ARタグに係る機能の実行の指示を受付けることとしてもよい。上記の操作は、タッチパネルがタッチされた時点における両者のタッチ位置と、タッチパネル上からユーザーの指が離れる直前の両者のタッチ位置を検出し、両時点におけるタッチ位置間の距離を比較することにより、検出することができる。
本発明は、プリンター、複写機、それらの複合機等の画像処理装置を操作する技術に関し、特に撮像機能及び位置検出機能を有する携帯端末装置を用いて画像処理装置を操作する技術として利用できる。
1 画像処理装置
2 ARサーバー
3 携帯端末装置
4 LAN
30 画像プロセス部
40 給紙部
50 定着装置
60、204、304 HDD
70 画像読取部
80、309 操作パネル
90 FAX部
100、200、300 CPU
101、201 通信I/F部
102、202、302 ROM
103、203、303 RAM
104 画像データ記憶部
205 操作部
301 無線通信I/F部
305 カメラ部
306 無線通信部
307 位置情報取得部
308 撮像方向取得部

Claims (11)

  1. 携帯端末装置と、ARサーバーから構成される画像処理システムであって、
    前記携帯端末装置は、
    撮像手段と、
    撮像した画像を表示する表示手段と、
    ユーザー操作を受付ける操作受付手段と、
    自装置の位置情報及び撮像方向を取得する取得手段と、
    撮像時の自装置の位置情報及び撮像方向を前記ARサーバーへ送信する第1送信手段と、
    画像処理すべきデータの格納場所を示す所在情報を記憶する第1記憶手段と、を有し、
    前記ARサーバーは、
    画像処理装置の機能を示す機能情報を、画像処理装置の位置情報に対応付けて記憶する第2記憶手段と、
    前記画像処理すべきデータの識別情報を外部から取得して、前記画像処理装置の位置情報に対応付けて記憶する第3記憶手段と、
    前記第1送信手段から送信された前記位置情報及び撮像方向と、前記画像処理装置の位置情報とから、前記画像処理装置が撮像されているか否かを特定する特定手段と、
    前記画像処理装置が撮像されていると特定された場合に、前記画像処理装置の位置情報に対応付けられている前記機能情報と前記識別情報とを前記携帯端末装置へ送信する第2送信手段と、を有し、
    前記携帯端末装置は、更に、
    前記第2送信手段から送信された前記機能情報の示す機能を表示する第1ARタグと、前記第2送信手段から送信された前記識別情報を表示する第2ARタグとを生成して、それらのARタグを撮像した画像に合成して表示するARタグ表示手段と、
    第1ARタグと第2ARタグとを関連付けるユーザー操作を受付けると、当該第2ARタグに係る前記識別情報によって識別されるデータの所在情報の示す格納場所から、当該データを取得して、当該第1ARタグに係る機能情報の示す機能を用いて取得したデータを処理するように前記画像処理装置に指示する処理指示手段と、
    を有することを特徴とする画像処理システム。
  2. 携帯端末装置と、ARサーバーから構成される画像処理システムであって、
    前記携帯端末装置は、
    撮像手段と、
    撮像した画像を表示する表示手段と、
    ユーザー操作を受付ける操作受付手段と、
    自装置の位置情報及び撮像方向を取得する取得手段と、
    撮像時の自装置の位置情報及び撮像方向を前記ARサーバーへ送信する第1送信手段と、
    画像処理すべきデータの格納場所を示す所在情報を記憶する第1記憶手段と、を有し、
    前記ARサーバーは、
    画像処理装置の機能を示す機能情報を、画像処理装置の位置情報に対応付けて記憶する第2記憶手段と、
    前記画像処理すべきデータの識別情報を外部から取得して、前記画像処理装置の位置情報に対応付けて記憶する第3記憶手段と、
    前記第1送信手段から送信された前記位置情報及び撮像方向と、前記画像処理装置の位置情報とから、前記画像処理装置が撮像されているか否かを特定する特定手段と、
    前記画像処理装置が撮像されていると特定された場合に、前記画像処理装置の位置情報に対応付けられている前記機能情報と前記識別情報とに基づいて前記機能情報の示す機能を表示する第1ARタグと、前記識別情報を表示する第2ARタグとを生成して前記携帯端末装置へ送信する第2送信手段と、を有し、
    前記携帯端末装置は、更に、
    前記第2送信手段から送信された第1ARタグと第2ARタグとを撮像した画像に合成して表示するARタグ表示手段と、
    第1ARタグと第2ARタグとを関連付けるユーザー操作を受付けると、当該第2ARタグに係る前記識別情報によって識別されるデータの所在情報の示す格納場所から、当該データを取得して、当該第1ARタグに係る機能情報の示す機能を用いて取得したデータを処理するように前記画像処理装置に指示する処理指示手段と、
    を有することを特徴とする画像処理システム。
  3. 前記ARサーバーは、前記画像処理装置が撮像されていると特定された場合に、当該画像処理装置の位置情報を前記携帯端末装置に送信する第3送信手段を有し、
    前記携帯端末装置は、前記第3送信手段から送信された前記位置情報に対応付けて前記識別情報を前記ARサーバーへ送信する第4送信手段を有し、
    前記第3記憶手段は、前記識別情報を前記第4送信手段から取得する
    ことを特徴とする請求項1又は2に記載の画像処理システム。
  4. さらに、前記画像処理装置を有する
    ことを特徴とする請求項1〜3の何れかに記載の画像処理システム。
  5. 更に、前記画像処理装置を有し、
    前記第2記憶手段はさらに、前記画像処理装置の宛先を示す宛先情報を当該画像処理装置の位置情報に対応付けて記憶し、
    前記ARサーバーは、前記画像処理装置が撮像されていると特定された場合に、当該画像処理装置の位置情報と、当該位置情報に対応付けられている前記宛先情報とを前記携帯端末装置へ送信する第3送信手段を有し、
    前記携帯端末装置は、前記第3送信手段から送信された前記画像処理装置の位置情報に対応付けて前記識別情報を、前記宛先情報の示す前記画像処理装置の宛先へ送信する第4送信手段を有し、
    前記画像処理装置は、前記第4送信手段から送信された前記画像処理装置の位置情報に対応付けて前記識別情報を前記ARサーバーへ送信する第5送信手段を有し、
    前記第3記憶手段は、前記識別情報を前記画像処理装置の第5送信手段から取得する
    ことを特徴とする請求項1又は2に記載の画像処理システム。
  6. 携帯端末装置、ARサーバー及び画像処理装置から構成される画像処理システムであって、
    前記携帯端末装置は、
    画像処理すべきデータの格納場所を示す所在情報を記憶する第1記憶手段と、
    自装置の位置情報及び撮像方向を取得する第1取得手段と、
    前記画像処理すべきデータの識別情報を、自装置の位置情報に対応付けて前記ARサーバーへ送信する第1送信手段と、
    前記第1取得手段が取得する位置情報に基づいて自装置の位置の移動を監視し、当該位置が移動する毎に移動後の位置情報を前記ARサーバーへ送信する第2送信手段と、
    を有し、
    前記画像処理装置は、
    撮像手段と、
    撮像した画像を表示する表示手段と、
    ユーザー操作を受付ける操作受付手段と、
    自装置の位置情報及び撮像方向を取得する第2取得手段と、
    自装置の機能を示す機能情報を記憶している第1記憶手段と、
    撮像時の自装置の位置情報及び撮像方向を前記ARサーバーへ送信する第3送信手段と、
    を有し、
    前記ARサーバーは、
    前記第1送信手段から送信された前記識別情報を、当該識別情報に対応付けられている前記携帯端末装置の位置情報に対応付けて記憶する第2記憶手段と、
    前記第2記憶手段に記憶されている前記携帯端末装置の位置情報を、前記第2送信手段から送信された位置情報に更新する更新手段と、
    前記第3送信手段から送信された前記位置情報及び撮像方向と、前記携帯端末装置の位置情報とから、前記携帯端末装置が撮像されているか否かを特定する特定手段と、
    前記携帯端末装置が撮像されていると特定された場合に、前記携帯端末装置の位置情報を前記画像処理装置に送信する第4送信手段と、を有し、
    前記画像処理装置は、前記機能情報を、前記第4送信手段から送信された前記携帯端末装置の位置情報に対応付けて前記ARサーバーへ送信する第5送信手段を有し、
    前記第2記憶手段はさらに、前記第5送信手段から送信された前記機能情報を、前記携帯端末装置の位置情報と対応付けて記憶し、
    前記ARサーバーはさらに、前記第2記憶手段において、前記携帯端末装置の位置情報と対応付けられている前記機能情報と、前記識別情報とを前記画像処理装置へ送信する第6送信手段を有し、
    前記画像処理装置はさらに、
    前記第6送信手段から送信された前記機能情報の示す機能を表示する第1ARタグと、前記第6送信手段から送信された前記識別情報を表示する第2ARタグとを生成して、それらのARタグを撮像した画像に合成して表示するARタグ表示手段と、
    第1ARタグと第2ARタグを関連付けるユーザー操作を受付けると、当該第2ARタグに係る前記識別情報によって識別されるデータの所在情報の示す格納場所から、当該データを前記携帯端末装置を通じて取得して当該第1ARタグに係る機能情報の示す機能を実行する処理実行手段と、
    を有することを特徴とする画像処理システム。
  7. 携帯端末装置、ARサーバー及び画像処理装置から構成される画像処理システムであって、
    前記携帯端末装置は、
    画像処理すべきデータの格納場所を示す所在情報を記憶する第1記憶手段と、
    自装置の位置情報及び撮像方向を取得する第1取得手段と、
    前記画像処理すべきデータの識別情報を、自装置の位置情報に対応付けて前記ARサーバーへ送信する第1送信手段と、
    前記第1取得手段が取得する位置情報に基づいて自装置の位置の移動を監視し、当該位置が移動する毎に移動後の位置情報を前記ARサーバーへ送信する第2送信手段と、
    を有し、
    前記画像処理装置は、
    撮像手段と、
    撮像した画像を表示する表示手段と、
    ユーザー操作を受付ける操作受付手段と、
    自装置の位置情報及び撮像方向を取得する第2取得手段と、
    自装置の機能を示す機能情報を記憶している第1記憶手段と、
    撮像時の自装置の位置情報及び撮像方向を前記ARサーバーへ送信する第3送信手段と、
    を有し、
    前記ARサーバーは、
    前記第1送信手段から送信された前記識別情報を、当該識別情報に対応付けられている前記携帯端末装置の位置情報に対応付けて記憶する第2記憶手段と、
    前記第2記憶手段に記憶されている前記携帯端末装置の位置情報を、前記第2送信手段から送信された位置情報に更新する更新手段と、
    前記第3送信手段から送信された前記位置情報及び撮像方向と、前記携帯端末装置の位置情報とから、前記携帯端末装置が撮像されているか否かを特定する特定手段と、
    前記携帯端末装置が撮像されていると特定された場合に、前記携帯端末装置の位置情報を前記画像処理装置に送信する第4送信手段と、を有し、
    前記画像処理装置は、前記機能情報を、前記第4送信手段から送信された前記携帯端末装置の位置情報に対応付けて前記ARサーバーへ送信する第5送信手段を有し、
    前記第2記憶手段はさらに、前記第5送信手段から送信された前記機能情報を、前記携帯端末装置の位置情報と対応付けて記憶し、
    前記ARサーバーはさらに、前記第2記憶手段において、前記携帯端末装置の位置情報と対応付けられている前記機能情報と前記識別情報とに基づいて前記機能情報の示す機能を表示する第1ARタグと、前記識別情報を表示する第2ARタグとを生成して前記画像処理装置へ送信する第6送信手段を有し、
    前記画像処理装置はさらに、
    前記第6送信手段から送信された第1ARタグと第2ARタグとを撮像した画像に合成して表示するARタグ表示手段と、
    第1ARタグと第2ARタグを関連付けるユーザー操作を受付けると、当該第2ARタグに係る前記識別情報によって識別されるデータの所在情報の示す格納場所から、当該データを前記携帯端末装置を通じて取得して当該第1ARタグに係る機能情報の示す機能を実行する処理実行手段と、
    を有することを特徴とする画像処理システム。
  8. 前記データは、前記携帯端末装置又は前記携帯端末装置から当該データを取得できる他の装置に格納されている
    ことを特徴とする請求項1〜7の何れかに記載の画像処理システム。
  9. 前記携帯端末装置は、ログイン情報の入力を受付ける入力受付手段を有し、
    前記第3記憶手段はさらに、ログイン情報の認証に用いる認証情報を、前記画像処理装置の位置情報に対応付けて記憶し、
    前記第2送信手段はさらに、前記第3記憶手段において前記画像処理装置の位置情報に対応付けられている認証情報を前記携帯端末装置へ送信し、
    前記携帯端末装置はさらに、入力されたログイン情報と、前記第2送信手段から送信された認証情報とを照合する照合手段を有し、
    前記ARタグ表示手段は、照合できた場合に、第2ARタグを表示し、照合できなかった場合には、第2ARタグの表示を抑止する
    ことを特徴とする請求項1〜5の何れかに記載の画像処理システム。
  10. 前記画像処理装置は、ログイン情報の入力を受付ける入力受付手段を有し、
    前記第2記憶手段はさらに、ログイン情報の認証に用いる認証情報を、前記携帯端末装置の位置情報に対応付けて記憶し、
    前記第6送信手段はさらに、前記第2記憶手段において、前記携帯端末装置の位置情報に対応づけられている認証情報を前記画像処理装置へ送信し、
    前記画像処理装置はさらに、入力されたログイン情報と、前記第6送信手段から送信された認証情報とを照合する照合手段を有し、
    前記ARタグ表示手段は、照合できた場合に、第2ARタグを表示し、照合できなかった場合には、第2ARタグの表示を抑止する
    ことを特徴とする請求項6又は7に記載の画像処理システム。
  11. 前記画像処理装置はさらに、画像を所定の投影位置に投影する投影手段を有し、
    前記第2記憶手段は、さらに、前記投影位置の位置情報を記憶し、
    前記第3記憶手段は、前記画像処理すべきデータの識別情報を前記投影位置の位置情報に対応づけて記憶し、
    前記特定手段は、前記第1送信手段から送信された前記位置情報及び撮像方向と、前記投影位置の位置情報とから、前記投影位置の画像が撮像されているか否かを特定し、
    前記第2送信手段は、前記投影位置の画像が撮像されていると特定された場合に、前記投影位置の位置情報に対応付けられている前記識別情報を前記携帯端末装置へ送信し、
    前記AR表示手段は、前記第2送信手段から送信された前記識別情報を表示する第2ARタグを、撮像した画像に合成して表示する
    ことを特徴とする請求項1〜5、8、9の何れかに記載の画像処理システム。
JP2013028906A 2013-02-18 2013-02-18 画像処理システム Pending JP2014158209A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013028906A JP2014158209A (ja) 2013-02-18 2013-02-18 画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013028906A JP2014158209A (ja) 2013-02-18 2013-02-18 画像処理システム

Publications (1)

Publication Number Publication Date
JP2014158209A true JP2014158209A (ja) 2014-08-28

Family

ID=51578828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013028906A Pending JP2014158209A (ja) 2013-02-18 2013-02-18 画像処理システム

Country Status (1)

Country Link
JP (1) JP2014158209A (ja)

Similar Documents

Publication Publication Date Title
US9128644B2 (en) Image processing system including an image processing apparatus and a portable terminal
JP5257437B2 (ja) 携帯端末及び処理装置の操作方法
JP6024848B1 (ja) 情報処理装置及びプログラム
JP5212448B2 (ja) 画像処理システム、画像処理装置の制御方法、携帯端末、および制御プログラム
JP6171764B2 (ja) 画像処理システム、携帯端末、サーバー装置およびプログラム
JP5989347B2 (ja) 携帯端末、携帯端末の制御プログラム、及び携帯端末を含む表示システム
JP5846157B2 (ja) プリントシステム、利便性情報生成装置、利便性情報生成方法および利便性情報生成プログラム
JP2012147387A (ja) 画像処理システム、画像処理装置およびその制御方法、情報処理装置およびその制御方法、ならびに、携帯端末の制御プログラム
JP5609575B2 (ja) 画像処理システム
JP6089833B2 (ja) 画像形成装置、携帯端末装置、情報処理装置、画像形成システム及びプログラム
JP2012194649A (ja) 画像処理システム
JP2013115578A (ja) サポートシステム
JP6075502B1 (ja) 情報処理装置及びプログラム
JP6075501B1 (ja) 情報処理装置及びプログラム
JP2013046379A (ja) 画像処理システム、画像処理装置、および表示方法
JP2015014977A (ja) 画像処理システム、画像形成装置、表示装置、表示方法、および制御プログラム
JP6432612B2 (ja) 情報処理装置及びプログラム
JP6332216B2 (ja) 電子機器、プログラム及び情報処理システム
JP5673121B2 (ja) サーバー装置、印刷システム、および、印刷方法
CN107111466B (zh) 通过使用byod服务生成工作表的方法和用于执行该方法的移动设备
JP2017201515A (ja) 情報処理装置及びプログラム
JP2014215780A (ja) 操作入力装置及びプログラム並びに画像形成システム
JP2015014912A (ja) 機器管理端末、機器管理システム、及び機器管理プログラム
JP2015005026A (ja) 機器管理端末、機器管理システム、及び機器管理プログラム
JP2014158209A (ja) 画像処理システム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140613