JP2013179528A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】ユーザに操作させるための専用の画面を用意することなく、機能に対する動作条件の設定をユーザに行わせる。
【解決手段】表示された機能の設定画面上におけるユーザによるジェスチャを認識するジェスチャ認識部１２と、認識されたジェスチャからユーザにより選択された機能を判定する機能判定部１３と、認識されたジェスチャから、機能判定部１３により判定された機能に対してユーザにより指定された当該機能のパラメータを判別するパラメータ判別部１４と、機能判定部１３により判定された機能とパラメータ判別部１４により判別されたパラメータとの組み合わせにより画像処理を実行するための設定を行うパラメータ設定部１５と、を有する。
【選択図】図１

Description

本発明は、画像処理装置及びプログラムに関する。

コピーや印刷などの画像処理を実行する画像処理装置の高機能化に伴い、ユーザは、所望の画像処理を実行するために、画面表示された操作ボタンの選択などによって機能の選択をはじめ、選択した機能の実行に必要な種々のパラメータの設定操作を行う必要がある。この画像処理を実行するための設定操作の利便性の向上を図るために、例えば、従来では、操作ボタンを表示する代わりにプレビュー画像を表示し、そのプレビュー画像上においてジェスチャ操作をさせることでユーザに機能やパラメータを設定させる技術が提案されている（例えば、特許文献１，２）。

特開２０１１−１３８２３７号公報 特開２００９−１５２８１８号公報

本発明は、ユーザに操作させるための専用の画面を用意することなく、機能に対する動作条件の設定をユーザに行わせることを目的とする。

本発明に係る画像処理装置は、機能の設定画面を表示する表示手段と、前記表示手段に表示された機能の設定画面上におけるユーザによる操作の軌跡を認識する認識手段と、前記認識手段により認識された操作の軌跡の位置に基づいて、ユーザにより選択された機能を判定する判定手段と、前記認識手段により認識された操作の軌跡から、前記判定手段により判定された機能に対してユーザにより指定された当該機能の動作条件を判別する判別手段と、前記判定手段により判定された機能と前記判別手段により判別された動作条件との組み合わせにより画像処理を実行するための設定を行う設定手段と、を有することを特徴とする。

また、前記判定手段は、機能の設定画面上に表示されている機能選択部品のうち、前記認識手段により認識された操作の軌跡の開始点に表示されている機能選択部品に対応付けられた機能を、ユーザにより選択された機能として判定することを特徴とする。

また、前記表示手段は、ユーザにより機能の設定画面上における操作が開始されたとき、その操作の軌跡の開始点に表示されている機能選択部品の表示形態を、その他の機能選択部品の表示形態と異ならせて表示することを特徴とする。

また、前記判定手段は、機能の設定画面上に表示されている機能選択部品のうち、前記認識手段により認識された操作の軌跡が最も多く含まれている機能選択部品に対応付けられた機能を、ユーザにより選択された機能として判定することを特徴とする。

また、前記表示手段は、ユーザにより選択された機能に対応する機能選択部品の表示形態を、その他の機能選択部品の表示形態と異ならせて表示することを特徴とする。

また、前記判別手段は、前記判定手段により判定された機能と前記判別手段により判別された動作条件との組み合わせから、当該機能に対して更に副次的な動作条件の設定が必要であると判断された場合において、前記認識手段により更に認識された操作の軌跡から、副次的な動作条件を判別し、前記設定手段は、更に前記判別手段により判別された副次的な動作条件をも組み合わせて画像処理を実行するための設定を行うことを特徴とする。

また、前記判別手段は、断続的な操作の軌跡により動作条件が設定される場合において、予め決められた操作確定操作に一致する操作の軌跡が検出された場合、操作確定操作に一致する操作の軌跡の直前までの操作の軌跡から、前記判定手段により判定された機能に対してユーザにより設定された当該機能の動作条件を判別することを特徴とする。

また、少なくとも直前の画像処理を実行するための設定の内容を記憶する記憶手段を有し、前記設定手段は、予め決められた取消操作に一致する操作の軌跡が検出された場合、前記記憶手段から直前の画像処理を実行するための設定の内容を読み出し設定することで、画像処理を実行するための設定を直前の設定に戻すことを特徴とする。

また、前記設定手段は、予め決められた初期設定操作に一致する操作の軌跡が検出された場合、前記記憶手段から初期設定の内容を読み出し設定することで、画像処理を実行するための設定を初期の状態にすることを特徴とする。

また、前記判別手段は、ユーザにより設定された当該機能の動作条件として位置を判別することを特徴とする。

本発明に係るプログラムは、コンピュータを、機能の設定画面を表示する表示手段、前記表示手段に表示された機能の設定画面上におけるユーザによる操作の軌跡を認識する認識手段、前記認識手段により認識された操作の軌跡の位置に基づいて、ユーザにより選択された機能を判定する判定手段、前記認識手段により認識された操作の軌跡から、前記判定手段により判定された機能に対してユーザにより指定された当該機能の動作条件を判別する判別手段、前記判定手段により判定された機能と前記判別手段により判別された動作条件との組み合わせにより画像処理を実行するための設定を行う設定手段、として機能させるためのものである。

請求項１記載の発明によれば、ユーザに操作させるための専用の画面を用意することなく、機能に対する動作条件の設定をユーザに行わせることができる。

請求項２記載の発明によれば、操作の軌跡の開始点のある機能選択部品に対応付けられた機能を、ユーザにより設定対象として選択された機能として判定することができる。

請求項３記載の発明によれば、ユーザにより設定対象として選択された機能として認識している機能を、視認可能に提示することができる。

請求項４記載の発明によれば、操作の軌跡が最も多く含まれている機能選択部品に対応付けられた機能をユーザにより設定対象として選択された機能として判定することができる。

請求項５記載の発明によれば、ユーザにより設定対象として選択された機能として認識している機能を、視認可能に提示することができる。

請求項６記載の発明によれば、ユーザにより設定対象として選択された機能と設定された動作条件の組み合わせに対して更に副次的な動作条件の設定が必要な場合にも、画像処理の実行のために副次的な動作条件を設定することができる。

請求項７記載の発明によれば、操作確定操作をユーザにさせることで動作条件の設定を確定することができる。

請求項８記載の発明によれば、取消操作をユーザにさせることでユーザにより設定対象として選択された機能に対して設定した動作条件を元の設定内容に戻すことができる。

請求項９記載の発明によれば、初期設定操作をユーザにさせることでユーザにより設定対象として選択された機能に対する設定を初期の設定内容とすることができる。

請求項１０記載の発明によれば、ユーザにより設定対象として選択された機能に対する動作条件として位置を設定させることができる。

請求項１１記載の発明によれば、ユーザに操作させるための専用の画面を用意することなく、機能に対する動作条件の設定をユーザに行わせることができる。

本発明に係る画像処理装置の一実施の形態を示したブロック構成図である。 実施の形態１における画像処理装置のハードウェア構成図である。 実施の形態１における機能設定パターン記憶部に記憶されている機能設定パターン情報の一例を示した図である。 実施の形態１における操作パネルに表示されている機能の設定画面の一例を示した図である。 実施の形態１における操作パネルに表示されている機能の設定画面の他の例を示した図である。 実施の形態１における操作パネルに表示されている機能の設定画面の表示内容の遷移の一例を示した図である。 実施の形態１における機能の設定処理を示したフローチャートである。 実施の形態２における操作パネルに表示されている機能の設定画面の一例を示した図である。 実施の形態２における機能の設定処理を示したフローチャートである。 実施の形態２において利用する設定内容の確認画面の一例を示した図である。 実施の形態３において操作パネルに表示されている機能の設定画面の一部を示した図である。 実施の形態３における機能の設定処理を示したフローチャートである。 実施の形態４における機能の設定処理を示したフローチャートである。 実施の形態６において操作パネルに表示されている機能の設定画面の一部を示した図である。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

実施の形態１．
図１は、本発明に係る画像処理装置の一実施の形態を示したブロック構成図である。なお、本実施の形態の説明に必要でない構成要素については省略している。図２は、本実施の形態における画像処理装置１０のハードウェア構成図である。画像処理装置１０は、コピー、印刷、スキャナ等の各種画像処理が実行される複合機であり、コンピュータを内蔵した装置である。

図２において、ＣＰＵ２１は、ＲＯＭ２９に格納されたプログラムにしたがってスキャナ２４やプリンタエンジン２６等本装置に搭載された各種機構の動作制御を行う。アドレスデータバス２２は、ＣＰＵ２１の制御対象となる各種機構と接続してデータの通信を行う。操作パネル２３は、ユーザからの指示の受け付け、また情報の表示を行うユーザインタフェース装置である。スキャナ２４は、ユーザがセットした原稿を読み取り、電子データとしてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２５等に蓄積する。ＨＤＤ２５は、スキャナ２４を使用して読み取った電子文書などを格納する。プリンタエンジン２６は、ＣＰＵ２１で実行される制御プログラムからの指示に従い出力用紙上に画像を印字する。ネットワークインタフェース（Ｉ／Ｆ）２７は、ネットワーク３１を接続し、本装置が生成した電子データの送信、本装置宛に送信されてきた電子メールの受信、またブラウザ経由による本装置へのアクセスなどに利用される。ＲＡＭ２８は、プログラム実行時のワークメモリや電子データ送受信時の通信バッファとして利用される。ＲＯＭ２９は、本装置で実行される画像処理やその処理制御、また電子データの暗号、電子データの送受信に関する各種プログラムが格納されている。各種プログラムが実行されることで後述する各構成要素が所定の処理機能を発揮する。外部メディアインタフェース（Ｉ／Ｆ）３０は、ＵＳＢメモリ、フラッシュメモリ等の外部メモリ機器とのインタフェースである。

図１に戻り、本実施の形態における画像処理装置１０は、ユーザインタフェース（ＵＩ）部１１、ジェスチャ認識部１２、機能判定部１３、パラメータ判別部１４、パラメータ設定部１５、画像処理部１６、制御部１７、機能設定パターン記憶部１８及び設定情報記憶部１９を有している。ユーザインタフェース（ＵＩ）部１１は、操作パネル２３と協調動作することで実現されるユーザインタフェース手段であり、操作受付部１１１及び表示処理部１１２を有する。表示処理部１１２は、画像処理の選択や選択された画像処理を実行する上で設定可能な機能の設定画面等を表示する表示手段である。操作受付部１１１は、操作パネル２３に表示された画面上におけるユーザによる操作を受け付ける。ユーザは、指やペンで操作パネル２３の表示画面をなぞることで設定入力等を行うが、このユーザが表示画面をなぞる操作の軌跡を、本実施の形態では「ジェスチャ」とも称することにする。

ジェスチャ認識部１２は、認識手段として設けられ、操作パネル２３に表示された機能の設定画面上におけるユーザによる操作の軌跡、すなわちジェスチャを認識する。機能判定部１３は、判定手段として設けられ、ジェスチャ認識部１２により認識された操作の軌跡の位置に基づいて、ユーザにより選択された機能を判定する。パラメータ判別部１４は、判別手段として設けられ、ジェスチャ認識部１２により認識された操作の軌跡から、機能判定部１３により判定された機能に対してユーザにより設定された当該機能のパラメータを判別する。ここで、「パラメータ」というのは、機能を動作させる上で必要な動作条件であり、値や位置等が設定される。例えば、用紙サイズの設定機能に対しては、用紙のサイズ（Ａ４，Ａ３等）を示す文字列がパラメータとして設定され、また用紙トレイの選択機能であれば、トレイの番号（１，２，３等）の数値がパラメータとして設定される。

パラメータ設定部１５は、設定手段として設けられ、機能判定部１３により判定された機能とパラメータ判別部１４により判別されたパラメータとの組み合わせにより画像処理を実行するための設定を行う。ここで、本実施の形態における「画像処理」というのは、画像処理装置１０において実行される画像処理である。例えば、コピー、印刷、ＦＡＸ等が本実施の形態でいう画像処理に相当する。従って、パラメータ設定部１５は、ユーザによるジェスチャに応じて、例えば、コピーという画像処理を実行する上で、コピー機能として、用紙サイズの選択機能に対して「Ａ４」をパラメータとして設定したり、両面印刷機能に対して「両面」をパラメータとして設定したりする。画像処理部１６は、パラメータ設定部１５により設定された内容で画像処理を実行する。制御部１７は、前述した構成要素１１〜１６と連携動作して画像処理の実行制御を行う。

本実施の形態においては、ユーザによるジェスチャに応じて各機能にパラメータが設定されることになるが、設定情報記憶部１９には、当該機能に設定されたパラメータを記憶する。更に、各機能に初期設定されているパラメータ（デフォルト値）が記憶されている。

図３は、本実施の形態における機能設定パターン記憶部１８に記憶されている機能設定パターン情報の一例を示した図である。機能設定パターン情報には、各機能に設定するパラメータの種類、条件等が設定される。本実施の形態における機能設定パターン情報には、各機能に、最初のジェスチャ、機能位置、後続ジェスチャ及び設定内容という各情報が対応付けして構成されている。機能には、本実施の形態において提供している機能が設定される。最初のジェスチャには、当該機能に対して最初に設定されるべきパラメータ又は設定されるべきパラメータの説明が示されている。例えば、パラメータとして、倍率であれば数値が設定され、カラーモードであればフラグ値（０／１）が設定される。機能位置には、パラメータとして位置の指定が必要な機能について“○”が設定される。例えば、片面／両面機能では、原稿が片面又は両面であるのか、片面印刷又は両面印刷なのか、という複数のパラメータの設定が必要になってくる。従って、原稿の片面／両面（本実施の形態では、「最初のジェスチャ」）の設定だけでは十分でなく、その最初のジェスチャに続けて副次的なパラメータとしてコピー（複写用紙）の片面／両面をも合わせて設定する必要がある。この最初のジェスチャにより設定されるパラメータと共に設定する必要のあるパラメータを設定するためのジェスチャを、本実施の形態では、「後続ジェスチャ」と称し、その後続ジェスチャにより設定されるパラメータを、本実施の形態では、「後続パラメータ」と称したりしている。要求される後続ジェスチャは、まとめ出力機能のように、最初のジェスチャにより設定されたパラメータによって変わる場合がある。設定内容には、各ジェスチャについて解説する説明文が参考情報として記載される。

画像処理装置１０における各構成要素１１〜１７は、画像処理装置１０に含まれるコンピュータと、コンピュータに搭載されたＣＰＵ２１で動作するプログラムとの協調動作により実現される。また、各記憶部１８，１９は、画像処理装置１０に搭載されたＨＤＤ２５又はＲＡＭ２８にて実現される。あるいは、ネットワークＩＦ２７を介してアクセス可能な外部記憶装置を利用して実現してもよい。

また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがプログラムを順次実行することで各種処理が実現される。

次に、本実施の形態における動作について説明する。まず、図４及び図５を用いて、画像処理装置１０を利用するユーザの視点から本実施の形態について説明する。

図４には、コピーという画像処理に対して機能（用紙トレイ設定機能及び機能Ｂ〜Ｄ）が選択可能に操作パネル２３に表示されている例が示されている。なお、各機能に対応する機能表示（領域）は、当該機能を選択するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品（機能選択部品）により形成されている。

図４（ａ）に例示したように、用紙トレイの機能表示領域４１を参照すると、現在のところには用紙トレイとして“トレイ１”が設定されている。ここで、ユーザは、用紙トレイを“トレイ２”に変更したいとする。従来であれば、用紙トレイの機能ボタンを選択し、用紙トレイ選択機能の設定画面を操作パネルに表示させ、その設定画面で“トレイ２”を選択することになると考えられる。本実施の形態では、ユーザは、設定変更したい対象とする機能表示領域内に設定変更したい数値、この例では“２”を書き込めばよい。より明確には、“２”と書き込むための操作の軌跡４２の開始点４３を用紙トレイの機能表示領域４１の中とし、その操作の軌跡で変更する設定値を提示する。この結果、本実施の形態においては、図４（ｂ）に例示した機能表示領域４１の表示例のように、用紙トレイのパラメータが“トレイ２”に設定変更される。

また、図５（ａ）に例示したように、コピーの画像処理が選択されていることを示すと共にコピー部数を示す機能表示領域４４を参照すると、現在のところコピー部数として“１”部が設定されている。ここで、ユーザは、“３”部コピーしたいとする。この場合、ユーザは、操作の軌跡４５の開始点４６を設定変更したい対象とする機能表示領域４４内として“３”を書き込む。この結果、図５（ｂ）に例示した機能表示領域４４の表示例のように、コピー部数は、“３”部に設定変更される。

以上のジェスチャによるパラメータの設定変更について、図６に例示した画面表示例を図７に示したフローチャートを用いて画像処理装置１０の動作の視点から機能の設定処理について説明する。

画像処理装置１０は、表示処理部１１２に、所定の操作に応じて図６（ａ）に例示した機能の設定画面を操作パネル２３に表示させ、ユーザによる操作の開始を待機する（ステップ１０１でＮ）。ここで、ユーザが機能Ａの機能表示領域４７を開始点とする操作を開始したとする。操作は、指先で行うが、ペンなどの用具を用いてもよい。操作受付部１１１が、その操作の開始を検出し（ステップ１０１でＹ）、その操作の開始点がいずれかの機能表示領域の中にあることを認識すると（ステップ１０２でＹ）、表示処理部１１２は、その機能表示領域を強調表示する（ステップ１０３）。なお、操作の開始点がいずれかの機能表示領域の中にも含まれていない場合（ステップ１０２でＮ）、処理は最初に戻る。図６（ｂ）には、機能Ａが対応付けられている機能表示領域４７の中にジェスチャ４８の開始点が含まれていることで、機能表示領域４７が強調表示されている場合の機能設定画面の表示例が示されている。なお、本実施の形態では、選択された機能表示領域４７の表示形態を、線を太くすることで強調表示し、これにより他の機能表示領域の表示形態と異ならせることで選択された機能表示領域４７を容易に視認できるようにした。ただ、表示形態を異ならせる手法としては、これに限定する必要はなく、例えば線種や表示色を異ならせたり、点滅させたりしてもよいし、あるいは、選択された機能表示領域４７以外の表示をシェード表示するなど変更してもよい。

ここで、指先が操作パネル２３から離れることで操作の終了を認識すると（ステップ１０４でＹ）、表示処理部１１２は、機能表示領域４７の強調表示を解除する（ステップ１０５）。

ジェスチャ認識部１２が以上の操作の軌跡、すなわちジェスチャを認識すると、機能判定部１３は、そのジェスチャからユーザによるジェスチャにより設定されるパラメータの設定対象となる機能を判定する（ステップ１０６）。より具体的には、操作パネル２３に表示されている画面画像及びその画面画像に含まれている各機能表示領域の表示位置情報は既知なので、各機能表示領域の表示位置を特定する座標データと、ジェスチャの開始点の座標データとを比較することで、パラメータの設定対象となる機能は特定される。

続いて、パラメータ判別部１４は、ジェスチャ認識部１２により認識されたジェスチャから、機能判定部１３により特定された機能に設定されたパラメータを判別する（ステップ１０７）。図４（ａ）に示した例では“２”と、図５（ａ）に示した例では“３”と、それぞれ判別される。パラメータ判別部１４は、単に文字認識処理によりジェスチャにより指定された文字を判別してもよいが、本実施の形態では、各機能に対して設定しうるパラメータの種類が機能設定パターン記憶部１８に登録されているので、この機能設定パターン記憶部１８に登録されている機能設定パターンを参照して認識精度を向上させるようにしてもよい。あるいは、機能設定パターン記憶部１８に登録されている機能設定パターン、特に最初のジェスチャと、ジェスチャに対し文字認識処理を行うことで判別された文字とを照合することで、ユーザによる操作が選択された機能に対し、有効なジェスチャであったかどうかを判定するようにしてもよい。

以上のようにして、ユーザにより選択された機能及び当該機能に対するパラメータが設定されると、パラメータ設定部１５は、ユーザにより選択された機能に対し、設定されたパラメータを反映させる。これに応じて、制御部１７は、表示処理部１１２に、ユーザにより選択された機能に対応する機能表示領域における表示を、設定されたパラメータを反映させた内容にて更新させる（ステップ１０８）。図４（ｂ）に示した例では機能表示領域４１内の表示を、ジェスチャから判別した“２”に基づき“トレイ２”に、図５（ｂ）に示した例では機能表示領域４４内の表示をジェスチャから判別した“３”に基づき“３”に、それぞれ変更することで設定されたパラメータが反映されたことをユーザに知らせる。そして、図示しない実行ボタンの押下等により画像処理の実行がユーザにより指示されると、画像処理部１６は、各機能に設定されたパラメータに従い画像処理を実行する。

実施の形態２．
上記実施の形態１では、ジェスチャの開始点の位置によってパラメータの設定対象とする機能を特定するようにした。本実施の形態では、ジェスチャの開始点ではなく、機能の設定画面上に表示されている機能表示領域のうち、ジェスチャが最も多く含まれている機能表示領域に対応付けられた機能を、ユーザにより選択された機能として判定することを特徴としている。

以下、本実施の形態における動作について説明するが、まず、図８を用いて、画像処理装置１０を利用するユーザの視点から本実施の形態について説明する。

図８には、実施の形態１で示した図４と同じ機能の設定画面が示されている。そして、図８（ａ）に例示したように、用紙トレイの機能表示領域４１を参照すると、現在のところには“トレイ１”が設定されている。ここで、ユーザは、用紙トレイを“トレイ２”に変更したいとする。本実施の形態では、ユーザは、設定変更したい対象とする機能表示領域内に設定変更したい数値、この例では“２”を書き込めばよい。より明確には、変更したいパラメータ“２”と書き込むための操作の軌跡４２が用紙トレイの機能表示領域４１の中に最も多く含まれるように操作する。この結果、本実施の形態においては、図８（ｂ）に例示した機能表示領域４１の表示例のように、用紙トレイのパラメータが“トレイ２”に設定変更される。

以上のジェスチャによるパラメータの設定変更について、図９に示したフローチャートを用いて画像処理装置１０の動作の視点から機能の設定処理について説明する。

画像処理装置１０は、表示処理部１１２に、所定の操作に応じて図８（ａ）に例示した機能の設定画面を操作パネル２３に表示させ、ユーザにパラメータの設定操作をさせる。操作受付部１１１が操作パネル２３上に行ったユーザによるジェスチャを受け付けると（ステップ２０１）、ジェスチャ認識部１２がそのジェスチャを認識する。続いて、機能判定部１３は、そのジェスチャを参照して、ジェスチャが含まれる機能表示領域のうちジェスチャが最も多く含まれている機能表示領域に対応付けられている機能を、パラメータの設定対象となる機能を判定する（ステップ２０２）。より具体的には、操作パネル２３に表示されている画面画像及びその画面画像に含まれている各機能表示領域の表示位置情報は既知なので、各機能表示領域の表示範囲内に存在するジェスチャの線の長さを求め、その求めた線の長さを比較する。図８（ａ）に示した例だと、ジェスチャは機能表示領域４１及び機能表示領域４２に含まれているが、機能表示領域４１の方により多くのジェスチャが含まれているので、この例では、機能表示領域４１に対応付けられている機能がパラメータの設定対象となる機能と判定される。

続いて、パラメータ判別部１４は、ジェスチャ認識部１２により認識されたジェスチャから、機能判定部１３により特定された機能に設定されたパラメータを判別する（ステップ２０３）。図８（ａ）に示した例だと“２”と判別する。なお、パラメータ判別部１４が行う処理は、実施の形態１と同じでよい。

以上のようにして、ユーザにより選択された機能及び当該機能に対するパラメータが設定されると、パラメータ設定部１５は、ユーザにより選択された機能に対し、設定されたパラメータを反映させる。この更新前の設定内容は、設定情報記憶部１９に書き込まれ、蓄積される。制御部１７は、表示処理部１１２に、設定対象となった機能表示領域４１の表示形態を他の機能表示領域の表示形態と異ならせることでユーザに設定変更されたことを知らせる。本実施の形態では、機能表示領域４１を強調表示させる（ステップ２０４）。このとき、機能表示領域４１の中に表示するパラメータは“トレイ２”とする。続いて、制御部１７は、以上のユーザによる操作を取り消す猶予を与えるためにタイマをセットする（ステップ２０５）。

ここで、ユーザは、強調表示された機能表示領域４１を参照して、所望の機能に対する設定でなかったり、あるいは所望の機能であってもパラメータが所望の設定値でなかったことに気づき所定の取消操作を行うとする。すなわち、タイムアウトが発生する前に（ステップ２０６でＮ）、ユーザにより取消操作が行われると（ステップ２０７でＹ）、パラメータ設定部１５は、設定情報記憶部１９に記憶された直前の設定内容を読み出し、この読み出した設定内容で更新する。このようにして、前述した設定内容を取り消して元の設定内容に戻すことになる。これに応じて、制御部１７は、表示処理部１１２に、機能表示領域４１における強調表示を解除させ、また設定内容を元に戻した状態にて表示させる（ステップ２０８）。

一方、タイムアウトが発生するまで取消操作が行われなかった場合（ステップ２０６でＹ）、制御部１７は、表示処理部１１２に、機能表示領域４１における強調表示を解除させる（ステップ２０９）。また、このタイムアウトにより前述した設定内容が確定される。つまり、用紙トレイの設定画面は図８（ｂ）のように更新される。

なお、前述した処理でユーザによる取消操作としては、例えばステップ２０４における強調表示の後、画面上に表示した取消ボタン（図示せず）を選択する操作や、あるいは予め決められた設定取消用のジェスチャをさせたりする。

ところで、上記説明では、機能表示領域４１にジェスチャの内容を反映させた状態にしてユーザに確認を取るようにしていた。そして、所望の機能が選択されていなかった場合、ユーザは、その設定を取り消さなければならなかった。ただ、図１０に例示したように設定された内容を表示する確認画面５０をポップアップ表示するようにしてもよい。すなわち、設定内容を機能表示領域４１に反映させるのではなく、ユーザによって選択されたと判定された機能がわかるように確認画面５０を表示する。図１０には、選択されたと判定した機能に対応した機能表示領域４１に確認画面５０を重畳表示させている。この確認画面５０には、ジェスチャが表示される領域５１と、このジェスチャによる設定対象となる機能との組み合わせが正しい場合に選択させるＯＫボタン５２と、その組み合わせが正しくないため取り消したい場合に選択させる取消ボタン５３と、が含まれている。従って、ユーザは、確認画面５０を用いた確認指令に応じてＯＫボタン５２又は取消ボタン５３のどちらかを選択する。

また、この確認画面５０は、画面上移動可能に形成されており、仮に、他の機能表示領域に対応付けされている機能のための設定であれば、その正しい機能に対応する機能表示領域までこの確認画面５０を例えばドラッグ＆ドロップ操作により移動させ、その移動操作を確認と認識したり、あるいは移動先でＯＫボタン５２を選択させるようにしてもよい。例えば、ジェスチャ“２”がコピー部数のパラメータとして設定したつもりであれば、ユーザは、機能表示領域４１からコピー部数の設定機能のための機能表示領域へ確認画面５０を移動させることでコピー部数機能に対する設定と変更する。このようにして、図９のステップ２０７のように取消操作をさせないようにしてもよい。

本実施の形態では、前述したポップアップ画面を、当該機能表示領域４１に重畳表示させることで、ユーザにより選択された機能を判別可能にし、また、ユーザにより選択した機能を誤認しているようであれば、正しい機能との対応付けに変更可能なようにしたが、必ずしもポップアップ画面を用いる必要はなく、他の手法を用いて対応付けの変更が可能なように構成してもよい。

実施の形態３．
パラメータによっては、その設定したパラメータに続けて更にパラメータの設定が別途必要になるパラメータが存在する。図１１には、このような場合の例を示している。図１１は、複数ページを１枚の用紙にまとめて出力する機能（以下、「まとめ出力機能」）に対応する機能表示領域の一例を示した図である。図１１（ａ）に示した機能表示領域５３の表示例によると、まとめて出力しないように設定されているところを、４ページを１枚の用紙にまとめて出力するためのジェスチャが行われている。ここで、４ページを１枚の用紙にまとめる場合（以下「４ｕｐ」と記す）、ページを並べる順番としては、左上、右上、左下及び右下という順番（以下、「Ｚ」と記す）、右上、左上、右下及び左下という順番（以下、「逆Ｚ」と記す）、左上、左下、右上及び右下という順番（以下、「逆Ｎ」と記す）、左下、左上、右下及び右上という順番（以下、「Ｎ」と記す）、の４パターンがある。従って、パラメータとして４ｕｐを設定した場合、更にそのページを並べる順番として、Ｚ、逆Ｚ、逆Ｎ又はＮの中からいずれか１つのパラメータを設定する必要がある。

そこで、本実施の形態のように、最初に設定したパラメータによってはパラメータの設定が更に必要な場合は、次のようにして動作する。まず、図１１を用いて画像処理装置１０を利用するユーザの視点から本実施の形態について説明する。

図１１（ａ）に例示したように、まとめ出力機能に対応する機能表示領域５３にジェスチャ５４により“４”を指定する。４ｕｐの場合、前述したようにページの並び順として４パターンがあるので、そのパラメータ（図３について実施の形態１において説明した「後続ジェスチャ」）を設定させるためのガイド表示画面５５を機能表示領域５３に関連付けて表示する。図１１（ｂ）には、関連付けの一例として重畳表示させている。ここで、ユーザは、ガイド表示画面５５を参照して、ページの並び順として、Ｚ、逆Ｚ、逆Ｎ又はＮの中からいずれか１つのパラメータを特定する操作を行う。図１１（ｃ）には、Ｚを設定するジェスチャ５６の例が示されている。この結果、図１１（ｄ）に例示した機能表示領域５３のように、まとめ出力機能には、４ｕｐでＺの並び順で出力される設定がされることになる。

以上のジェスチャによるパラメータの設定変更について、図１２に示したフローチャートを用いて画像処理装置１０の動作の視点から機能の設定処理について説明する。

画像処理装置１０は、表示処理部１１２に、所定の操作に応じて図１１（ａ）に例示した機能表示領域５３を含む機能の設定画面を操作パネル２３に表示させ、ユーザにパラメータの設定操作をさせる。操作受付部１１１が操作パネル２３上に行ったユーザによるジェスチャを受け付けると（ステップ３０１）、ジェスチャ認識部１２がそのジェスチャを認識する。続いて、機能判定部１３は、そのジェスチャを参照して、パラメータの設定対象となる機能を判定し、更に、当該機能に設定するパラメータを判別することで、機能及びパラメータを確定する（ステップ３０２）。このステップ３０２における機能判定及びパラメータの判別は、実施の形態１又は実施の形態２に示した手法にて実施すればよい。従って、詳細な説明は省略する。この処理で、図１１（ａ）に示した例によると、最初のジェスチャによる最初のパラメータ“４”が判別される。

続いて、制御部１７は、後続パラメータが必要かどうかを判断する。これは、機能設定パターン記憶部１８に記憶されている機能設定パターン情報の後続ジェスチャの設定内容を参照する。図３に例示した機能設定パターン情報を参照すると、このまとめ出力機能の場合、３以上の場合は後続パラメータとしてＺ、逆Ｚ、逆Ｎ又はＮのいずれか１つのパラメータが設定される必要があることがわかる。従って、後続パラメータの設定が必要であると判断した場合（ステップ３０３でＹ）、制御部１７は、この後続ジェスチャの設定内容に基づいて、必要により表示処理部１１２に、図１１（ｂ）に示したガイド表示画面５５を機能表示領域５３に関連付けて表示させる。なお、機能設定パターン情報を参照すると、このまとめ出力機能あるいは片面／両面コピー機能の場合は、どのようなジェスチャを行えばよいのかの指標を提示するためにガイド表示画面を生成して出力することがユーザにとって好適であるが、綴じ機能やパンチ機能の場合の後続パラメータは、単に数字なのでガイド表示画面５５を必ずしも出力しなくてもよい。続いて、制御部１７は、以上のユーザによる操作を中止させるための猶予を与えるためにタイマをセットする（ステップ３０４）。

ここで、ユーザが最初のジェスチャとは別の操作、すなわち後続のパラメータを設定するための操作をタイムアウトが発生する前に行わない場合（ステップ３０７でＮ，ステップ３０５でＹ）、またタイムアウトが発生する前でも（ステップ３０５でＮ）、ユーザが操作を中止するための操作を行った場合（ステップ３０６でＹ）、まとめ出力機能に対する設定処理を終了する。操作を中止するための操作としては、画面の表示した操作中止ボタンの選択や、操作の中止を意味するジェスチャを予め決めておき、ユーザがそのジェスチャに合致する操作などとしてよい。一方、タイムアウトが発生する前にユーザにより後続のパラメータを設定する操作が行われた場合（ステップ３０７でＹ）、最初のジェスチャにより設定された最初のパラメータに加えて、後続のジェスチャにより設定された後続のパラメータを対象とする機能に対して更に設定されたパラメータとして保持する（ステップ３０８）。この処理で、図１１（ｃ）に示した例によると、後続ジェスチャによる後続パラメータ“Ｚ”が判別される。

次に、ステップ３０３に戻り、更に後続パラメータが必要かどうかを判断されることになるが、図１１に示した例では、後続パラメータは必要ではない。更なる後続パラメータが必要であれば、前述した処理（ステップ３０４〜３０８）を繰り返し実行する。後続パラメータが必要ではない場合（ステップ３０３でＮ）、パラメータ設定部１５は、ユーザにより選択された機能（この例ではまとめ出力機能）に対し、設定された全てのパラメータ（“４”ｕｐで、かつ並び順が“Ｚ”）を確定する（ステップ３０９）。これに応じて、制御部１７は、表示処理部１１２に、ユーザにより選択された機能に対応する機能表示領域における表示を、設定されたパラメータを反映させた内容にて更新させる（ステップ３１０）。図１１（ｄ）がこのときの表示例である。

以上説明したように、最初に設定されたパラメータによって副次的なパラメータの設定が必要になる場合にも上記のようにして対応すればよい。

実施の形態４．
画像処理が提供する機能によっては受け付けるパラメータの文字数（桁数）がユーザの意思によって決定されるものがある。例えば、１部から９９９部まで部数が設定可能なコピー部数設定機能において、例えば“１”，“０”という入力操作がされたときには、それは１０部を指定するつもりなのか、あるいは更に“０”〜“９”という操作を続けて１００〜１０９部を指定するつもりなのかは、２桁分の操作がされた時点では不明である。このように、ユーザが３桁の数字を示す操作をすれば入力を確定できるが、１桁若しくは２桁分の操作がされたときに入力の確定とみなす何らかの判断基準を設けておくのが都合がよい。

そこで、本実施の形態では、最後の操作から一定時間経過した時点でパラメータの設定のための操作は終了と判断する、すなわちタイムアウトにより操作の終了と判断すると共に、上限に達しないで入力を確定させたい場合には、更に、操作の完了を意味するジェスチャを予め決めておくようにした。

図１３は、本実施の形態におけるパラメータの設定変更を示したフローチャートである。本実施の形態における処理は、基本的には上記実施の形態３（図１２）と同じなので、図１２に示した処理と同じ処理には同じステップ番号を付け、説明を適宜省略する。そうすると、本実施の形態においては、実施の形態３に対して、ステップ４０１を追加した処理内容となる。具体的には、最初のジェスチャからパラメータの設定対象となる機能及び当該機能に設定するパラメータを確定し（ステップ３０２）、その結果、後続パラメータの設定が必要であると判断した場合（ステップ３０３でＹ）、タイマをセットする（ステップ３０４）。そして、タイムアウトをする前にユーザにより何らかの操作がされ、パラメータ判別部１４がそのジェスチャが操作の完了を意味するジェスチャであると判断した場合には（ステップ４０１でＹ）、パラメータ設定部１５は、検出された操作の完了を意味するジェスチャの直前までのジェスチャに基づく全てのパラメータを確定する（ステップ３０９）。これに応じて、制御部１７は、表示処理部１１２に、ユーザにより選択された機能に対応する機能表示領域における表示を、設定されたパラメータを反映させた内容に更新させる（ステップ３１０）。

１部から９９９部まで部数が設定可能なコピー部数設定機能において、ユーザがコピー部数を１０部と設定したい上記例に従うと、ユーザが“１”のジェスチャをした時点では上限の３桁分の入力がされていないので後続のジェスチャが必要と判断する（ステップ３０３でＹ）。そしてタイムアウトの前に後続のパラメータを指定するジェスチャ、すなわち“０” のジェスチャがされると（ステップ３０７でＹ）、この時点でも上限の３桁分の入力がされていないので後続のジェスチャが必要と判断する（ステップ３０３でＹ）。そしてタイムアウトの前に、ユーザにより操作の完了を意味するジェスチャがされると（ステップ４０１でＹ）、コピー部数設定機能に対してコピー部数が１０部というパラメータが設定されたという内容で確定する（ステップ３０９）。

実施の形態５．
上記実施の形態２ではジェスチャにより設定したパラメータを取り消すためのジェスチャを、上記実施の形態３では操作を中止するためのジェスチャを、上記実施の形態４では操作を確定するためのジェスチャを、それぞれ予め設定しておき、ユーザにより各ジェスチャに該当する操作が検出されたときには、設定したパラメータの取り消し、操作の中止あるいは操作の確定が指示されたと認識できるようにした。ただ、これに限らず、この他にも、設定したパラメータを初期設定に戻すためのジェスチャを予め設定してもよい。

図３には、この初期設定に戻すためのジェスチャに相当するジェスチャ“∧”が示されている。パラメータ判別部１４がユーザによりされた操作と機能設定パターン情報に含まれている初期設定に戻すジェスチャとを照合することで、初期設定に戻すジェスチャが検出されると、パラメータ設定部１５は、例えば設定情報記憶部１９にて保存されている当該機能のパラメータの初期値を読み出し、その読み出した初期値を設定することで、画像処理を実行するための設定を初期の状態に戻す。

なお、本実施の形態では、初期設定に戻すためのジェスチャが書き込まれた機能に対してのみ当該機能に対して設定するパラメータを初期の状態に戻すようにしたが、例えば、リセットボタンに相当するような全機能に対するパラメータを初期の状態に戻すジェスチャを別途用意するようにしてもよい。

実施の形態６．
例えば、用紙を綴じたり、パッチで穴を開ける機能などの場合、当該機能が選択されると、用紙を綴じたり、用紙に穴を開ける位置及び数をパラメータとして設定する必要がある。本実施の形態では、このような機能にも対応可能としている。

図１４は、綴じ機能の機能表示領域の一例を示した図である。本実施の形態では、図４などに示した機能の設定画面に表示することを想定しているが、例えば、図４に示した設定画面から綴じ機能が選択されることで操作パネル２３に表示するようにしてもよい。

図１４には、用紙に見立てられた綴じ機能の機能表示領域５７が示されている。機能表示領域５７は、図１４（ａ）に例示したようにステップラにより綴じられる位置として、左右上下と四隅の計８区域に区切られている。つまり、ユーザは、用紙の綴じ位置として８箇所が選択可能である。

この機能表示領域５７に対し、ユーザは、綴じ位置として指定したい位置で操作を行う。図１４（ｂ）には、左“Ｌ”を表す区域５８の中において線を引くという操作によるジェスチャ５９が示されている。そして、図１４（ｃ）には、機能表示領域５７の領域内における操作による“２”というジェスチャ６０が示されている。すなわち、ユーザは、図１４（ｂ）に示したように、最初のジェスチャ５９の位置で綴じ位置として左端を指定し、図１４（ｃ）に示したように、それに後続するジェスチャ６０で綴じる数として２を指定している。本実施の形態における処理は、実施の形態３（図１２）と同じでよいので説明を省略する。

上記各実施の形態においてそれぞれ特徴的な機能へのパラメータの設定手法について説明したが、各実施の形態において説明した特徴事項は、適宜組み合わせて利用できるものは組み合わせて利用してもよい。

１０ 画像処理装置、１１ ユーザインタフェース（ＵＩ）部、１２ ジェスチャ認識部、１３ 機能判定部、１４ パラメータ判別部、１５ パラメータ設定部、１６ 画像処理部、１７ 制御部、１８ 機能設定パターン記憶部、１９ 設定情報記憶部、２１ ＣＰＵ、２２ アドレスデータバス、２３ 操作パネル、２４ スキャナ、２５ ハードディスクドライブ（ＨＤＤ）、２６ プリンタエンジン、２７ ネットワークインタフェース（Ｉ／Ｆ）、２８ ＲＡＭ、２９ ＲＯＭ、３０ 外部メディアインタフェース（Ｉ／Ｆ）、１１１ 操作受付部、１１２ 表示処理部。

Claims (11)

1. 機能の設定画面を表示する表示手段と、
   前記表示手段に表示された機能の設定画面上におけるユーザによる操作の軌跡を認識する認識手段と、
   前記認識手段により認識された操作の軌跡の位置に基づいて、ユーザにより選択された機能を判定する判定手段と、
   前記認識手段により認識された操作の軌跡から、前記判定手段により判定された機能に対してユーザにより指定された当該機能の動作条件を判別する判別手段と、
   前記判定手段により判定された機能と前記判別手段により判別された動作条件との組み合わせにより画像処理を実行するための設定を行う設定手段と、
   を有することを特徴とする画像処理装置。
2. 前記判定手段は、機能の設定画面上に表示されている機能選択部品のうち、前記認識手段により認識された操作の軌跡の開始点に表示されている機能選択部品に対応付けられた機能を、ユーザにより選択された機能として判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示手段は、ユーザにより機能の設定画面上における操作が開始されたとき、その操作の軌跡の開始点に表示されている機能選択部品の表示形態を、その他の機能選択部品の表示形態と異ならせて表示することを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、機能の設定画面上に表示されている機能選択部品のうち、前記認識手段により認識された操作の軌跡が最も多く含まれている機能選択部品に対応付けられた機能を、ユーザにより選択された機能として判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記表示手段は、ユーザにより選択された機能に対応する機能選択部品の表示形態を、その他の機能選択部品の表示形態と異ならせて表示することを特徴とする請求項４に記載の画像処理装置。
6. 前記判別手段は、前記判定手段により判定された機能と前記判別手段により判別された動作条件との組み合わせから、当該機能に対して更に副次的な動作条件の設定が必要であると判断された場合において、前記認識手段により更に認識された操作の軌跡から、副次的な動作条件を判別し、
   前記設定手段は、更に前記判別手段により判別された副次的な動作条件をも組み合わせて画像処理を実行するための設定を行うことを特徴とする請求項１に記載の画像処理装置。
7. 前記判別手段は、断続的な操作の軌跡により動作条件が設定される場合において、予め決められた操作確定操作に一致する操作の軌跡が検出された場合、操作確定操作に一致する操作の軌跡の直前までの操作の軌跡から、前記判定手段により判定された機能に対してユーザにより設定された当該機能の動作条件を判別することを特徴とする請求項１に記載の画像処理装置。
8. 少なくとも直前の画像処理を実行するための設定の内容を記憶する記憶手段を有し、
   前記設定手段は、予め決められた取消操作に一致する操作の軌跡が検出された場合、前記記憶手段から直前の画像処理を実行するための設定の内容を読み出し設定することで、画像処理を実行するための設定を直前の設定に戻すことを特徴とする請求項１に記載の画像処理装置。
9. 前記設定手段は、予め決められた初期設定操作に一致する操作の軌跡が検出された場合、前記記憶手段から初期設定の内容を読み出し設定することで、画像処理を実行するための設定を初期の状態にすることを特徴とする請求項８に記載の画像処理装置。
10. 前記判別手段は、ユーザにより設定された当該機能の動作条件として位置を判別することを特徴とする請求項１に記載の画像処理装置。
11. コンピュータを、
    機能の設定画面を表示する表示手段、
    前記表示手段に表示された機能の設定画面上におけるユーザによる操作の軌跡を認識する認識手段、
    前記認識手段により認識された操作の軌跡の位置に基づいて、ユーザにより選択された機能を判定する判定手段、
    前記認識手段により認識された操作の軌跡から、前記判定手段により判定された機能に対してユーザにより指定された当該機能の動作条件を判別する判別手段、
    前記判定手段により判定された機能と前記判別手段により判別された動作条件との組み合わせにより画像処理を実行するための設定を行う設定手段、
    として機能させるためのプログラム。
    

Images