JP2014215780A - 操作入力装置及びプログラム並びに画像形成システム - Google Patents

Abstract

【課題】撮像した画像形成装置に対して直感的な操作入力を行うことが可能な操作入力装置を提供する。【解決手段】設置場所に設置されている画像形成装置７を撮像する撮像機構１１と、撮像している画像形成装置７を識別情報に基づいて識別する装置識別部２３と、その識別に応じて撮像している画像形成装置７を画像認識する装置認識部２４と、画像認識に基づいて撮像している画像形成装置７に対して選択操作を可能とするオブジェクトを選択可能化情報として付加して表示操作部１３の画面上に表示する表示部２５と、表示操作部１３の画面上での画像形成装置７の選択操作によって画像形成装置７に対する操作入力を受け付ける操作入力部２９とを備えた。【選択図】図２

Description

本発明は、画像形成装置に対する操作入力を行うための操作入力装置及びプログラム並びに画像形成システムに関する。

従来の操作入力装置としては、例えば特許文献１のように、ＡＲ（Augmented Reality）を利用して画像形成装置のステータス情報を表示する携帯端末がある。

この携帯端末では、フロア等に設置されているプリンター、コピー機、それらの複合機等の画像形成装置を撮像し、撮像している画像形成装置と共に印刷可能か否かのステータス情報を画面上に表示する。これにより、画像形成装置のステータスを直感的に把握することが可能となる。

また、携帯端末は、画面上で画像形成装置に対するステータス情報が選択されると、画像形成装置の操作パネルを表示して操作入力を受け付ける構成となっている。これにより、撮像した画像形成装置に対して操作入力も行うことができる。

しかし、特許文献１の技術では、携帯端末の画面上に画像形成装置の操作パネルを表示しているので、携帯端末での操作入力に対する操作性が画像形成装置でのものと同程度となっている。

従って、特許文献１の技術は、携帯端末の画面上での操作入力においてＡＲが生かされておらず、直感的な操作入力までは行うことができなかった。

特開２０１２−２９１６４号公報

本発明が解決しようとする問題点は、撮像している画像形成装置に対して直感的な操作入力を行うことができない点である。

本発明は、撮像している画像形成装置に対して直感的な操作入力を行うため、設置場所に設置されている画像形成装置を撮像する撮像部と、前記撮像している画像形成装置を識別情報に基づいて識別する装置識別部と、前記識別に応じて前記撮像している画像形成装置を画像認識する認識部と、前記画像認識に基づいて前記撮像している画像形成装置に対して選択操作を可能とする選択可能化情報を付加して画面上に表示する表示部と、前記画面上での前記画像形成装置の選択操作によって前記画像形成装置に対する操作入力を受け付ける操作入力部とを備えたことを最も主な特徴とする。

本発明によれば、画面上で撮像している画像形成装置に対する選択操作を行うことで、画像形成装置への直感的な操作入力を行うことが可能となる。

携帯端末を有する画像形成システムを示すブロック図である（実施例１）。 図１の画像形成ステムの機能ブロック図である（実施例１）。 操作入力画面の一例である（実施例１）。 操作入力画面の一例である（実施例１）。 操作入力処理を示すフローチャートである（実施例１）。

撮像している画像形成装置に対して直感的な操作入力を行うという目的を、設置場所に設置されている画像形成装置を撮像し、撮像している画像形成装置を選択操作可能に画面上に表示することで実現した。

以下、本発明の実施例について図面を参照して説明する。

［画像形成システムの構成］
図１は、本発明の実施例１に係る携帯端末を有する画像形成システムを示すブロック図、図２は、図１の画像形成システムの機能ブロック図である。

図１のように、画像形成システム１は、操作入力装置としての携帯端末３と、サーバー５と、画像形成装置７とを備え、これらがネットワーク９を介して通信可能に接続されている。なお、画像形成システム１では、単一の画像形成装置７のみを備えているが、実際は、複数の画像形成装置７を有する場合もある。

本実施例の画像形成システム１は、設置場所に設置されている画像形成装置７を携帯端末３で撮像し、サーバー５からの情報を元に携帯端末３の画面上で撮像した画像形成装置７を選択操作可能に表示する。これにより、携帯端末３は、画像形成装置７に対する選択操作を通じて画像形成指示やその設定の操作入力を受け付け、最終的に画像形成装置７に画像形成指示を行うことが可能となっている。
［携帯端末］
携帯端末３は、例えば携帯情報端末や多機能携帯電話等であり、撮像機構１１と、表示操作部１３と、位置方向検出部１５と、端末制御部１７と、端末記憶部１９とを備えている。

撮像機構１１は、例えばＣＣＤ（Charge Coupled Devices）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等で構成され、設置場所に設置されている画像形成装置７を撮像可能とする。

表示操作部１３は、タッチパネル式の画面からなり、携帯端末３に対する操作入力や操作状況の表示等を行わせる。本実施例の表示操作部１３は、撮像機構１１で撮像している画像形成装置７を選択操作可能に表示する。この詳細については後述する。

位置方向検出部１５は、携帯端末３の位置（座標）及び方向を検出する。携帯端末３の座標は、ＧＰＳ（Global Positioning System）等を利用して検出することができ、方向は、ジャイロセンサー及び加速度センサーを組み合わせた自立測位技術等を利用して検出することができる。

端末制御部１７は、ＣＰＵ（Central Processing Unit）等の演算装置であり、携帯端末３の各部の制御を行う。端末記憶部１９は、各種制御用のプログラムを記憶するＲＯＭ（Read only Memory）、作業領域としてのＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶装置である。

端末記憶部１９内には、本実施例の操作入力プログラムが記憶され、端末制御部１７は、その操作入力プログラムを実行することで、図２の撮像部２１、装置識別部２３、装置認識部２４、表示部２５、アイコン表示部２７、操作入力部２９、画像形成指示部３０として機能する。

撮像部２１は、撮像機能を実現し、撮像機構１１による画像形成装置７の撮像を行う。

装置識別部２３は、装置識別機能を実現し、撮像している画像形成装置７を識別情報に基づいて識別する。本実施例の装置識別部２３は、位置特定部３１と、方向特定部３３と、装置特定部３５とを備える。

位置特定部３１は、位置特定機能を実現し、位置方向検出部１５（図１）から携帯端末３の位置を取得して特定し、方向特定部３３は、方向特定機能を実現し、位置方向検出部１５から携帯端末３の方向を取得して特定する。

装置特定部３５は、装置特定機能を実現し、撮像している画像形成装置７を特定する。具体的には、装置特定部３５は、携帯端末３の特定された位置情報及び方向情報をサーバー５に送信し、携帯端末３の周囲に設置されている画像形成装置７の装置位置方向情報を受信する。装置位置方向情報は、画像形成装置７の設置位置（座標）及び方向を示す情報である。この画像形成装置７の装置位置方向情報を携帯端末３の位置情報及び方向情報と共に識別情報として用い、装置特定部３５が撮像している画像形成装置７を識別し特定する。

装置認識部２４は、認識機能を実現し、装置識別部２３での識別に応じて撮像している画像形成装置７を画像認識する。画像認識は、サーバー５からの画像形成装置７の装置画像情報に基づいて行われる。装置画像情報は、画像形成装置７の形状及びその各部の位置、形状、範囲等を示す情報である。装置認識部２４は、その装置画像情報とのマッチングによって、撮像している画像形成装置７及びその各部の形状や領域を認識し特定する。画像形成装置７の各部としては、例えば、給紙元である給紙段や排紙先である排紙トレー等の異なる機能を有する部分である。

装置画像情報の取得は、画像形成装置７の装置位置方向情報と共に行うことができる。取得される装置画像情報は、画像形成装置７に対して正面や側面等の複数方向の情報をサーバー５に保持しておき、その中から携帯端末３の方向に応じたものとなる。

なお、画像認識では、画像形成装置７にマーカを設けておくことで各部の認識性を向上することが可能である。この場合は、装置画像情報にもマーカーを示す情報を含めておけばよい。

表示部２５は、表示機能を実現し、画像認識に基づいて撮像している画像形成装置７及びその各部を選択可能に表示操作部１３の画面上に表示する。具体的には、装置認識部２４で認識された画像形成装置７及びその各部に、表示部２５が表示操作部１３の画面上で選択操作を可能とするオブジェクト（選択可能化情報）を付加する。

アイコン表示部２７は、アイコン表示機能を実現し、表示操作部１３の画面上に画像形成対象となるデータのアイコンを移動操作可能に表示する。アイコンの表示は、特に限定されるものではないが、例えば携帯端末３上でのメニュー選択等を通じて行わせればよい。

操作入力部２９は、操作入力機能を実現し、表示操作部１３の画面上で撮像されている画像形成装置７の選択操作を行わせて操作入力を受け付ける。受け付けられる操作入力は、画像形成指示や設定等である。

受け付け可能な画像形成設定は、サーバー５からの画像形成装置７の機器情報に基づいて決定される。機器情報は、画像形成装置７の有する機能等の情報であり、操作入力部２９は、その機能の範囲で画像形成装置７及び各部の設定を行わせる。機器情報の取得は、画像形成装置７の装置位置方向情報と共に行うことができる。

本実施例の操作入力部２９は、異なる選択操作によって異なる操作入力を可能とする。例えば、タップ、ドラッグ及びドロップ、フリック等の異なる選択操作に応じ、画像形成指示や設定を行わせることができる。図３及び図４に操作入力画面の一例を示す。

図３（Ａ）〜（Ｃ）では、画像形成設定を行う例であり、図４では、画像形成指示を行う例である。

図３（Ａ）の例では、携帯端末３の表示操作部１３上において、画像形成装置７の給紙元３７及び排紙先３９をタップによる選択操作で指定している。図３（Ｂ）の例では、画像形成の部数を画像形成装置７自体のタップによる選択操作で指定している。図３（Ｃ）の例では、図３（Ｂ）のように指定した部数を画像形成装置７自体の上下フリックによる選択操作で変更している。

図４の例では、画像形成対象となるデータのアイコン４１をドラッグ及びドロップにより画像形成装置７に重ねることで選択操作を行わせ、アイコンに対応するデータの画像形成指示を行っている。

なお、操作入力は、図３及び図４の例に限定されるものではないが、画像形成指示の場合は、図４の例のように行うのが好ましい。

画像形成指示部３０は、画像形成指示機能を実現し、操作入力部２９での操作入力に応じて画像形成指示を実行する。具体的には、操作入力部２９での画像形成設定が行われると、これを端末記憶部１９のＲＡＭ等に保持しておき、画像形成指示が行われると、画像形成設定及び画像形成対象のデータによる画像形成指示を実行する。
［サーバー］
サーバー５は、ＡＲサーバーであり、図１のようにサーバー制御部４５及びサーバー記憶部４７を有する。サーバー制御部４５は、各部の制御を行うＣＰＵ等の演算装置であり、サーバー記憶部４７は、動作制御プログラム等を保持するＲＯＭ、ＲＡＭ、ＨＤＤ等の記憶装置である。

本実施例のサーバー５は、画像形成装置７の装置位置方向情報、装置画像情報、機器情報等をサーバー記憶部４７内に保持し、それらの情報を携帯端末３に送信する。このため、サーバー制御部４５が、サーバー記憶部４７内のプログラムを実行することで、図２のように装置情報管理部４９として機能する。

装置情報管理部４９は、装置情報管理機能を実現し、画像形成装置７の装置位置方向情報、装置画像情報、機器情報等の装置情報を管理する。この装置情報管理部４９は、携帯端末３からの位置情報及び方向情報を受信すると、それに基づいて携帯端末３の周囲に存在する画像形成装置７の装置情報を携帯端末３に送信する。

装置情報の送信時には、装置情報管理部４９が携帯端末３からの位置情報及び方向情報に基づいて携帯端末３の周囲に存在する画像形成装置７を特定し、特定された画像形成装置７の装置位置方向情報を含むリストを作成する。このリストと共に、装置情報管理部４９は、リスト内の画像形成装置７に対する装置画像情報及び機器情報を携帯端末３に送信する。
［画像形成装置］
図１の画像形成装置７は、例えば、プリンター、コピー機、或いはそれらの複合機等からなる。本実施例の画像形成装置７は、携帯端末３からの画像形成指示に基づいて画像形成（印刷）を行うもので、位置方向検出部５１と、画像形成部５３と、装置制御部５５と、装置記憶部５７とを備えている。

位置方向検出部５１は、画像形成装置７の位置（座標）及び方向を検出する。画像形成装置７の位置は、携帯端末３と同様にＧＰＳ等を利用して検出することができ、方向は、地磁気センサー等を利用して検出することができる。

画像形成部５３は、プリントエンジン等であり、入力された画像形成データに基づいて用紙上に画像形成を行う。

装置制御部５５は、各部の制御を行うＣＰＵ等の演算装置であり、装置記憶部５７は、動作制御プログラム等を保持するＲＯＭ、ＲＡＭ、ＨＤＤ等の記憶装置である。本実施例では、装置制御部５５が装置記憶部５７内のプログラムを実行することで、図２のように装置情報送信部５９及び画像形成制御部６１として機能する。

装置情報送信部５９は、装置情報送信機能を実現し、位置方向検出部５１で検出された画像形成装置７の位置情報及び方向情報と共に機器情報をサーバー５に送信する。なお、位置情報及び方向情報は、装置位置方向情報として管理される。

画像形成制御部６１は、携帯端末３から入力された画像形成指示に基づいて出力用の画像形成データを生成する。生成した画像形成データは画像形成部５３に渡されて、用紙上への画像形成が行われることになる。
［操作入力処理］
図５は、操作入力処理を示すフローチャートである。

本実施例の操作入力処理は、携帯端末３において操作入力プログラムを実行することで開始される。

ステップＳ１では、「画像形成装置の撮像」が行われる。すなわち、携帯端末３を保持するユーザーは、携帯端末３の撮像機構１１の撮像範囲内に、設置場所に設置されている画像形成装置７を位置させる。これにより、携帯端末３は、端末制御部１７が撮像部２１として機能し、撮像機構１１による画像形成装置７の撮像を行う。

こうしてステップＳ１が完了して、ステップＳ２へ移行する。

ステップＳ２では、「携帯端末の位置及び方向の特定」が行われる。すなわち、携帯端末３の端末制御部１７は、装置識別部２３の位置特定部３１及び方向特定部３３として機能し、位置方向検出部１５から携帯端末３の位置情報及び方向情報を取得する。それらの情報により、携帯端末３の位置及び方向が特定される。

こうしてステップＳ２が完了して、ステップＳ３へ移行する。

ステップＳ３では、「画像形成装置の特定」が行われる。すなわち、携帯端末３の端末制御部１７は、装置識別部２３の装置特定部３５として機能し、携帯端末３の特定された位置及び方向をサーバー５に送信する。そして、受信した画像形成装置７の装置位置方向情報と携帯端末３の位置情報及び方向情報とから、撮像している画像形成装置７を識別し特定する。

こうしてステップＳ３が完了して、ステップＳ４へ移行する。

ステップＳ４では、「画像形成装置の認識」が行われる。この処理では、携帯端末３の端末制御部１７が装置認識部２４として機能し、撮像している画像形成装置７をステップＳ３での識別に応じて画像認識する。

具体的には、ステップＳ３で識別された画像形成装置７に対し、その形状及び各部の位置、形状、範囲等を示す装置画像情報とのマッチングを行う。マッチングにより撮像している画像形成装置７及びその各部の形状や領域が認識され特定されると、ステップＳ５へ移行する。

ステップＳ５では、「選択可能化情報の付加」が行われる。この処理では、携帯端末３の端末制御部１７が表示部２５として機能し、ステップＳ４での画像認識に基づいて、撮像している画像形成装置７及びその各部に選択操作可能なオブジェクトを付加する。そして、オブジェクトを付加された画像形成装置７及びその各部が表示操作部１３の画面上に表示される。

こうしてステップＳ５が完了して、ステップＳ６へ移行する。

ステップＳ６では、「画像形成設定の受付」が行われる。この処理では、携帯端末３の端末制御部１７が操作入力部２９として機能し、表示操作部１３の画面上で撮像している画像形成装置７の選択操作による画像形成設定を受け付ける。

本実施例では、例えば図３（Ａ）〜（Ｃ）のように、給紙元３７及び排紙先３９をタップによって指定させ、画像形成装置７自体のタップによって画像形成の部数を指定させ、或いは画像形成装置７自体の上下のフリックによって指定した部数を変更させる。

こうして受け付けた画像形成設定は、携帯端末３の端末制御部１７が画像形成指示部３０として機能し、端末記憶部１９のＲＡＭ内等に保持させる。これによりステップＳ６が完了して、ステップＳ７へ移行する。

ステップＳ７では、「画像形成指示の受付」が行われる。この処理では、まず、携帯端末３の端末制御部１７がアイコン表示部２７として機能し、メニュー操作等を通じて図４のような画像形成対象のデータのアイコン４１を表示操作部１３の画面上に移動操作可能に表示させる。

そして、携帯端末３の端末制御部１７は、操作入力部２９として機能し、表示操作部１３の画面上でアイコン４１のドラッグ及びドロップにより画像形成装置７に重ねる選択操作を行わせる。これにより、アイコン４１に対応するデータの画像形成指示を行わせる。

こうしてステップＳ７が完了し、ステップＳ８へ移行する。

ステップＳ８では、「画像形成指示の実行」が行われる。この処理では、携帯端末３の端末制御部１７が画像形成指示部３０として機能し、ステップＳ５で保持させた画像形成設定とアイコンに対応するデータとによる画像形成指示を実行する。実行された画像形成指示は、ネットワーク９を通じて画像形成装置７に送信される。

画像形成装置７では、装置制御部５５が画像形成制御部６１として機能し、受信した画像形成指示に基づいて出力用の画像形成データを生成する。その後、画像形成部５３が画像形成データに応じて用紙上への画像形成を行うことになる。
［実施例１の効果］
本実施例の携帯端末３は、設置場所に設置されている画像形成装置７を撮像する撮像機構１１と、撮像している画像形成装置７を識別情報に基づいて識別する装置識別部２３と、その識別に応じて撮像している画像形成装置７を画像認識する装置認識部２４と、画像認識に基づいて撮像している画像形成装置７に対して選択操作を可能とするオブジェクトを選択可能化情報として付加して表示操作部１３の画面上に表示する表示部２５と、表示操作部１３の画面上での画像形成装置７の選択操作によって画像形成装置７に対する操作入力を受け付ける操作入力部２９とを備えている。

従って、本実施例の携帯端末３は、表示操作部１３の画面上で撮像している画像形成装置７の選択操作を行わせ、画像形成装置７への操作入力を直感的に行うことが可能となる。

また、本実施例の携帯端末３は、表示操作部１３の画面上に画像形成対象となるデータのアイコン４１を移動操作可能に表示するアイコン表示部２７を備え、操作入力部２９が表示操作部１３の画面上でアイコン４１を画像形成装置に重ねて選択操作の入力を行わせ、アイコン４１に対応するデータによる画像形成指示の操作入力を受け付ける。

従って、本実施例の携帯端末３では、直感的な操作で撮像している画像形成装置７に対して画像形成指示を容易且つ確実に行うことができる。

本実施例の携帯端末３は、操作入力部２９が撮像している画像形成装置７に対して異なる選択操作により異なる操作入力を受け付けるので、より細かい操作入力を行うことができる。結果として、直感的な操作により画像形成設定も実現することが可能となる。

本実施例の携帯端末３は、表示部２５が画像形成装置７の機能の異なる複数箇所に対してオブジェクトを付加し、操作入力部２９が複数箇所の選択操作によって異なる機能の組み合わせによる操作入力を受け付ける。

従って、携帯端末３では、より細かい操作入力を行うことができ、より確実に直感的な操作による画像形成設定が実現できる。

装置識別部２３は、携帯端末３の位置を特定する位置特定部３１と、携帯端末３の方向を特定する方向特定部３３と、画像形成装置７の装置位置方向情報（少なくとも位置情報）を取得して携帯端末３の位置情報及び方向情報並びに取得した画像形成装置７の装置位置方向情報から撮像している画像形成装置７を特定する装置特定部３５とを備えた。

従って、本実施例の携帯端末３では、撮像している画像形成装置７を確実に特定することができる。

かかる携帯端末３及び画像形成装置７を有する画像形成システム１では、携帯端末３での画像形成装置７への直感的な操作入力を通じて、容易且つ確実に画像形成装置７への画像形成指示を実行することができる。

１ 画像形成システム
３ 携帯端末（操作入力装置）
７ 画像形成装置
１３ 表示操作部（画面）
２１ 撮像部
２３ 装置識別部
２４ 装置認識部
２５ 表示部
２７ アイコン表示部
２９ 操作入力部
３１ 位置特定部
３３ 方向特定部
３５ 装置特定部
４１ アイコン

Claims (7)

1. 設置場所に設置されている画像形成装置を撮像する撮像部と、
   前記撮像している画像形成装置を識別情報に基づいて識別する装置識別部と、
   前記識別に応じて前記撮像している画像形成装置を画像認識する認識部と、
   前記画像認識に基づいて前記撮像している画像形成装置に対して選択操作を可能とする選択可能化情報を付加して画面上に表示する表示部と、
   前記画面上での前記画像形成装置の選択操作によって前記画像形成装置に対する操作入力を受け付ける操作入力部と、
   を備えたことを特徴とする操作入力装置。
2. 請求項１記載の操作入力装置であって、
   前記画面上に画像形成対象となるデータのアイコンを移動操作可能に表示するアイコン表示部を備え、
   前記操作入力部は、前記画面上で前記アイコンを前記画像形成装置に重ねることによって前記選択操作の入力が行われると、前記データによる画像形成指示の操作入力を受け付ける、
   ことを特徴とする操作入力装置。
3. 請求項１又は２記載の操作入力装置であって、
   前記操作入力部は、異なる選択操作によって異なる操作入力を受け付ける、
   ことを特徴とする操作入力装置。
4. 請求項１〜３の何れか一項に記載の操作入力装置であって、
   前記表示部は、前記画像形成装置の機能の異なる複数箇所に対して選択可能化情報を付加し、
   前記操作入力部は、前記複数箇所の選択操作によって前記異なる機能の組み合わせによる操作入力を受け付ける、
   ことを特徴とする操作入力装置。
5. 請求項１〜４の何れか一項に記載の操作入力装置であって、
   前記装置識別部は、自装置の位置を特定する位置特定部と、自装置の方向を特定する方向特定部と、画像形成装置の位置情報を取得し前記自装置の位置及び方向並びに前記取得した画像形成装置の位置情報から前記撮像している画像形成装置を特定する装置特定部とを備えた、
   ことを特徴とする操作入力装置。
6. 請求項１〜５の何れか一項に記載の操作入力装置及び画像形成装置を備えた画像形成システム。
7. 設置場所に設置されている画像形成装置を撮像する撮像機能と、
   前記撮像している画像形成装置を識別情報に基づいて識別する装置識別機能と、
   前記識別に応じて前記撮像している画像形成装置を画像認識する認識機能と、
   前記画像認識に基づいて前記撮像している画像形成装置に対して選択操作を可能とする選択可能化情報を付加して画面上に表示する表示機能と、
   前記画面上での前記画像形成装置の選択操作によって前記画像形成装置に対する操作入力を受け付ける操作入力機能と、
   をコンピューターに実現させることを特徴とする操作入力プログラム。