JP2022186444A - 情報処理装置及び画像形成装置 - Google Patents

Abstract

【課題】複雑な軌跡のジェスチャーを採用しなくても、１つのジェスチャーによって実行可能な処理を増やすことができるようにする。【解決手段】画像形成装置１は、タッチパネルを備える表示部４７３と、タッチパネルに対するタッチ入力に基づき、タッチパネルに対する指示体の動き及び軌跡を示すジェスチャーを検出するジェスチャー検出部１０２と、ジェスチャー検出部１０２が検出したジェスチャーに対して、予め割り当てられている処理を実行する制御部１００と、を備える。【選択図】図２

Description

本発明は、情報処理装置及び画像形成装置に関し、特に、ジェスチャーに基づいて操作者から指示を受け付ける技術に関する。

タッチパネルに対するタッチ入力に基づき、ジェスチャーを検出し、検出したジェスチャーに予め割り当てられている処理を実行する技術が知られている（下記特許文献１乃至３を参照、）。

国際公開第２０１０／１１３３５０号 特開２０１４－１２００５２号公報 特開２０１２－１９８６２６号公報

従来の技術では、ジェスチャーによって実行可能な処理を増やすには、ジェスチャー数を増やす必要がある。そのため、ジェスチャーによる実行可能な機能が増えると、ユーザーが事前に覚えておかなければならないジェスチャーの数が増えてしまう。

上記の特許文献２には、タッチパネルに対するタッチ数に従って、実行する処理内容を変更することにより、同一のジェスチャー操作による実行可能な機能を増やすことが記載されている。タッチパネルに対するタッチ数に従って、実行する処理内容を変更することには、操作性の向上に一定の効果があると思われる。しかしながら、従来の技術で、ジェスチャー数を増やすには、やはり限界があり、ジェスチャーによる実行可能な処理を増やせば、ジェスチャーの軌跡が複雑になり、かえって操作が難しくなるおそれがある。

本発明は、上記の事情に鑑みなされたものであり、複雑な軌跡のジェスチャーを採用しなくても、１つのジェスチャーによって実行可能な処理を増やすことができるようにすることを目的とする。

本発明の一局面に係る情報処理装置は、タッチパネルを備える表示部と、前記タッチパネルに対するタッチ入力に基づき、前記タッチパネルに対する指示体の動き及び軌跡を示すジェスチャーを検出するジェスチャー検出部と、前記ジェスチャー検出部が検出したジェスチャーに対して、予め割り当てられている処理を実行する制御部と、を備える。

また、本発明の一局面に係る画像形成装置は、上記情報処理装置と、記録媒体に画像形成を行う画像形成部と、を備える。

本発明によれば、同一の軌跡を有するジェスチャーであっても、動きが違えば、異なる処理を実行させることが可能になるので、１つのジェスチャーによって実行可能な処理を増やすことができる。このため、複雑な軌跡のジェスチャーを採用したり、多くの種類のジェスチャーを採用することなく、多くの指示を受け付けることが可能になる。

本発明の一実施形態に係る画像形成装置の外観を示す斜視図である。 画像形成装置の主要内部構成を概略的に示す機能ブロック図である。 ジェスチャー記憶部に記憶されている、ジェスチャー及び処理の一例を示す図である。 ユーザーがジェスチャーを行った時の処理を示すフローチャートである。 （Ａ）及び（Ｂ）は、表示部に表示される操作画面の一例を示す図である。 表示部に表示されるダイアログボックスの一例を示す図である。 （Ａ）及び（Ｂ）は、表示部に表示されるダイアログボックスの一例を示す図である。 表示部に表示されるダイアログボックスの一例を示す図である。 （Ａ）及び（Ｂ）は、ダイアログボックスに入力されたジェスチャーの動き及び軌跡の一例を示す図である。 ジェスチャー記憶部に登録されているジェスチャーの一例を示す図である。

以下、本発明の一実施形態に係る情報処理装置及び画像形成装置について図面を参照して説明する。図１は、本発明の一実施形態に係る画像形成装置の外観を示す斜視図である。図２は、当該画像形成装置の主要内部構成を概略的に示す機能ブロック図である。

画像形成装置１は、例えば、コピー機能、プリンター機能、スキャナー機能、及びファクシミリ機能のような複数の機能を兼ね備えた複合機であり、装置本体１１に、制御ユニット１０、原稿給送部６、原稿読取部５、画像形成部１２、定着部１３、給紙部１４、操作部４７、及び記憶装置８を含んで構成されている。画像形成装置１は、本発明に係る情報処理装置の一実施形態である。

原稿給送部６は、原稿読取部５の上面に図略のヒンジ等によって開閉可能に構成され、原稿給送部６は、図略のプラテンガラス上に載置された原稿を読み取る場合に原稿押さえカバーとして機能する。また、原稿給送部６は、ＡＤＦ（Auto Document Feeder）と呼ばれる自動原稿送り装置であり、原稿載置トレイ６１を備え、原稿載置トレイ６１に載置された原稿を原稿読取部５へ１枚ずつ給送する。

画像形成装置１で原稿読取動作が行われる場合について説明する。原稿給送部６により原稿読取部５へ供給された原稿、又は上記プラテンガラス上に載置されている原稿の画像を、原稿読取部５が光学的に読み取り、そして画像データを生成する。原稿読取部５により生成された画像データは、図略の画像メモリー等に保存される。

画像形成装置１で画像形成動作が行われる場合について説明する。原稿読取動作により生成された画像データや、画像メモリー等に記憶されている画像データ、ネットワーク接続されたコンピューターから受信した画像データ等に基づいて、画像形成部１２が、給紙部１４から給紙される記録媒体としての記録紙にトナー像を形成する。

定着部１３は、画像形成部１２によりトナー像が形成された記録紙を加熱及び加圧して、トナー像を記録紙に定着させるものであり、定着処理が施された記録紙は排出トレイ１５１に排出される。給紙部１４は、複数の給紙カセット１４１を備える。

操作部４７は、画像形成装置１が実行可能な各種動作及び処理について、操作者から、画像形成動作実行指示等の指示を受け付ける。操作部４７は、操作者への操作案内等を表示する表示部４７３を備えている。また、操作部４７は、表示部４７３が有するタッチパネルを介して、表示部４７３に表示されている操作画面に対するユーザーによる操作（タッチ操作）に基づく、ユーザーからの指示の入力を受け付ける。

また、操作部４７は、操作部４７に設けられた物理キーに対するユーザーによる操作に基づく、ユーザーからの指示の入力を受け付ける。

表示部４７３は、ＬＣＤ（Liquid Crystal Display）等からなる。表示部４７３は、タッチパネルを備えている。操作者は画面表示されるボタンやキーに触れる操作を行うと、タッチパネルにより、タッチ操作された位置に対応付けられた指示が受け付けられる。

記憶装置８は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の大容量記憶装置であり、各種の制御プログラム等を記憶する。

制御ユニット１０は、プロセッサー、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）等である。制御ユニット１０は、制御部１００と、ジェスチャー記憶部１０１と、ジェスチャー検出部１０２と、備えている。

制御ユニット１０は、記憶装置８に記憶されている制御プログラムに従った上記プロセッサーによる動作により、制御部１００、ジェスチャー記憶部１０１、及びジェスチャー検出部１０２として機能するものである。但し、これら制御部１００等は、制御ユニット１０による制御プログラムに従った動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。

制御部１００は、画像形成装置１の全体的な動作制御を司る。制御部１００は、原稿給送部６、原稿読取部５、画像形成部１２、定着部１３、給紙部１４、操作部４７、及び記憶装置８と接続され、これら各部の駆動制御等を行う。例えば、制御部１００は、画像形成部１２等の動作を制御して、原稿読取部５による読み取りで得られた原稿画像を、記録媒体としての記録紙に形成させる。

ジェスチャー記憶部１０１は、表示部４７３のタッチパネルに対する指示体（例えば、ユーザーの指）の動き及び軌跡を示すジェスチャーと、当該ジェスチャーに割り当てられた処理と、を対応付けて記憶する。図３は、ジェスチャー記憶部１０１に記憶されている、ジェスチャー及び処理の一例を示す図である。図３に示すように、ジェスチャー記憶部１０１には、ジェスチャー毎にそのジェスチャーが検出されたときに実行する処理が予め割り当てられ記憶されている。なお、指示体の動きとは、指示体の動く方向を示す。

例えば、ジェスチャー記憶部１０１には、ジェスチャーとして、「左下から右上へ描かれた斜線」、「時計回りに描かれた丸」、「左上から描かれたＶ字」、「上から下へ描かれた線」、「反時計回りに描かれた、左部が欠けた丸」、及び「右上から描かれたＶ字」が記憶されている。そして、ジェスチャー記憶部１０１には、対応するジェスチャー毎に、「ＩＰアドレスを表示する（Display device IP address）」、「ネットワークを再起動する（Restart device network）」、「印刷画面を表示する（Display print screen）」、「メンテナンスモード：装置を工場出荷時の状態に戻す（Maintenance mode: restore factory setting）」、「電源をオフする（Turn off device）」、及び「送信画面を表示する（Display send screen）」という処理が、関連付けて記憶されている。

ジェスチャー検出部１０２は、表示部４７３のタッチパネルに対するタッチ入力に基づき、タッチパネルに対する指示体の動き及び軌跡を示すジェスチャーを検出する。

具体的には、ジェスチャー検出部１０２は、表示部４７３が出力した接触点の座標位置を示す信号を受信して、その座標位置の推移から指示体の動き及び軌跡を算出し、当該算出した結果に基づいて、指示体の動き及び軌跡が、ジェスチャー記憶部１０１に登録されているジェスチャーに該当するか否かの判定を行うことにより、ジェスチャーを検出する。

制御部１００は、ジェスチャー検出部１０２が検出したジェスチャーに対して、予め割り当てられている処理を実行する。例えば、ジェスチャー検出部１０２が、ジェスチャー記憶部１０１に登録されている「左上から描かれたＶ字」を示すジェスチャーを検出した場合、制御部１００は、当該ジェスチャーに対応付けて、ジェスチャー記憶部１０１に登録されている「印刷画面を表示する」という処理を実行することにより、表示部４７３を印刷画面に切り替える。

このように、画像形成装置１は、ジェスチャーによって処理の実行が行われる「ジェスチャー操作」機能を備えている。制御部１００は、操作部４７に入力されたユーザーからの設定指示に従って、「ジェスチャー操作」機能を有効にしたり、無効にしたりする。

次に、ユーザーがジェスチャーを行った時の処理を図４に示すフローチャートなどを参照して説明する。なお、この処理は、「ジェスチャー操作」機能が有効に制御部１００に設定されている場合に、制御部１００が、表示部４７３が出力した接触点の座標位置を示す信号を、表示部４７３のタッチパネルを介して受信したとき（すなわち、ユーザーが表示部４７３のタッチパネルに触れたとき）に行われる処理である。

ジェスチャー検出部１０２は、表示部４７３のタッチパネルが出力した接触点の座標位置を示す信号を受信すると、ユーザーによるタッチ操作がジェスチャーであるか否かを判定するために、その座標位置の推移量（移動量）が予め定められた閾値以上であるか否かを判断する（Ｓ１）。

ジェスチャー検出部１０２は、上記推移量が上記予め定められた閾値以上であると判断した場合（Ｓ１でＹＥＳ）、ユーザーによるタッチ操作はジェスチャーの可能性があるので、接触点の座標位置の推移から指示体の動き及び軌跡を検出する（Ｓ２）。ジェスチャー検出部１０２は、当該算出した結果に基づいて、指示体の動き及び軌跡が、ジェスチャー記憶部１０１に登録されているジェスチャーに該当するか否かの判定を行う（Ｓ３）。

ジェスチャー検出部１０２は、指示体の動き及び軌跡が、ジェスチャー記憶部１０１に登録されているジェスチャーに該当すると判定した場合（Ｓ３でＹＥＳ）、該当するジェスチャーに対応付けて、ジェスチャー記憶部１０１に登録されている処理を実行する（Ｓ４）。この後、処理は終了する。

一方、ジェスチャー検出部１０２が、指示体の動き及び軌跡が、ジェスチャー記憶部１０１に登録されているジェスチャーに該当しないと判定した場合（Ｓ３でＮＯ）、そのまま処理は終了する。また、ジェスチャー検出部１０２が、上記推移量が上記予め定められた閾値以上でないと判断した場合も（Ｓ１でＮＯ）、ユーザーによるタッチ操作はジェスチャーと認められないので、そのまま処理は終了する。

ジェスチャー記憶部１０１に登録されているジェスチャー及び処理は変更することが可能である。次に、ジェスチャー登録について説明する。

制御部１００は、表示部４７３の表示制御を行い、例えば、図５（Ａ）に示すような、ホーム画面としての操作画面ＳＣ１を表示部４７３に表示させる。表示部４７３に表示されている操作画面ＳＣ１上で「システムメニュー」の操作キーＫ１がユーザーに選択され、操作部４７が操作キーＫ１に対応付けられた指示を受け付けると、制御部１００は、表示部４７３に表示される操作画面を、図５（Ｂ）に示すような、タイトルが「システムメニュー」の操作画面ＳＣ２に切り替える。

操作画面ＳＣ２には、「ジェスチャー」と記された操作キーＫ２が配置されている。当該操作キーＫ２がユーザーに選択され、操作部４７が操作キーＫ２に対応付けられた指示を受け付けると、制御部１００は、図６に示すようなダイアログボックスＤＢ１を、操作画面ＳＣ２上に表示させる。

ダイアログボックスＤＢ１には、上記「ジェスチャー操作」機能の有効又は無効を設定するためのトグルボタンＴＧ１が表示されると共に、ジェスチャー記憶部１０１に登録されているジェスチャーと処理とを示す対応表ＴＬ１が表示されている。操作部４７がユーザーによるトグルボタンＴＧ１に対するオン操作を受け付けると、制御部１００は、当該操作に従って、「ジェスチャー操作」機能を有効にする。操作部４７がユーザーによるトグルボタンＴＧ１に対するオフ操作を受け付けると、制御部１００は、当該操作に従って、「ジェスチャー操作」機能を無効にする。

対応表ＴＬ１に表示されている各ジェスチャーは、選択可能な操作キーとして表示されている。当該操作キーが操作されると、制御部１００は、対応するジェスチャーの軌跡と、更にその動きについても拡大して表示する。

例えば、上から３段目に表示されている「Ｖ」と表示された操作キーが操作されると、制御部１００は、図７（Ａ）に示すような、ダイアログボックスＤＢ１１を表示する。制御部１００は、上から６段目に表示されている「Ｖ」と表示された操作キーが操作されると、制御部１００は、図７（Ｂ）に示すような、ダイアログボックスＤＢ１２を表示する。これにより、ユーザーはジェスチャー記憶部１０１に登録されているジェスチャーの軌跡だけでなく、その動き（指示体の動く方向）も確認することができる。

また、図６に示したダイアログボックスＤＢ１には、「新規登録」と記された操作キーＫ３が表示されている。操作キーＫ３が操作され、操作部４７が操作キーＫ３に対応付けられた指示を受け付けると、制御部１００は、図８に示すような、新規のジェスチャー入力を受け付けるダイアログボックスＤＢ２を、操作画面ＳＣ２上に表示する。ダイアログボックスＤＢ２には、「リセット」と記された操作キーＫ４と、「続行」と記された操作キーＫ５と、が表示されている。

ジェスチャー検出部１０２は、ダイアログボックスＤＢ２が表示されている状態で、表示部４７３から出力される接触点の座標位置を示す信号を受信し、その座標位置の推移から指示体の動き及び軌跡を検出する。制御部１００は、ジェスチャー検出部１０２による当該検出の結果に基づいて、当該軌跡をダイアログボックスＤＢ２に表示させる。ジェスチャー検出部１０２は、ユーザーから入力されたジェスチャーを特定する。

図９（Ａ）及び（Ｂ）は、ダイアログボックスＤＢ２に入力されたジェスチャーの動き及び軌跡の一例を示す図である。図９（Ａ）は、左上から描かれたＷ字を示し、図９（Ｂ）は、右上から描かれたＷ字を示している。

ここで、操作部４７が「リセット」と記された操作キーＫ４の操作に基づいて、操作キーＫ４に対応付けられた指示を受け付けると、ジェスチャー検出部１０２は、ダイアログボックスＤＢ２に入力されたジャスチャーに関する情報を消去する。

一方、操作部４７が「続行」と記された操作キーＫ５の操作に基づいて、操作キーＫ５に対応付けられた指示を受け付けると、制御部１００は、ジェスチャー検出部１０２が特定したジェスチャーを新規ジェスチャーとして、一旦保持し、当該新規ジェスチャーに割り当てる処理についてのユーザー設定を受け付ける。

新規ジェスチャーに処理を割り当てる手法としては、例えば、制御部１００が、幾つかの処理を示すリストを記憶しており、そのリストを表示部４７３に表示させる。そして、表示部４７３が、当該リストに示される処理の中から、ユーザー所望の処理の選択を、タッチパネルを介して受け付け、制御部１００が、当該受け付けられた処理を上記新規ジェスチャーに対応付けてジェスチャー記憶部１０１に記憶させる、という手法が考えられる。

また、別の手法としては、ショートカットキーを設定する場合と同様の手法が考えられる。例えば、ユーザーは、新規ジェスチャーに対して「エコプリント」を割り当てたい場合、操作部４７を介して、図５（Ａ）に示した操作画面ＳＣ１から「コピー画面」に進み、更に詳細設定画面に進んで、当該詳細設定画面で「エコプリント」を選択するという一連の操作を行う。制御部１００は、これら一連の操作を受けて、一時保持しておいた新規ジェスチャーをジェスチャー記憶部１０１に登録すると共に、当該新規ジェスチャーに対応付けて、「エコプリント」をジェスチャー記憶部１０１に記憶させる。

なお、制御部１００は、ユーザーによる操作部４７の操作に基づいて、ジェスチャー記憶部１０１に記憶されているジェスチャーや処理については削除や変更を受け付けるのが好ましいが、デフォルト設定されているものについては、削除や変更を受け付けないようにするのがよい。

上記実施形態によれば、同一の軌跡を有するジェスチャーであっても、動きが違えば、異なる処理を実行させることが可能となるので、１つのジェスチャーによって実行可能な処理を増やすことができる。このため、複雑な軌跡のジェスチャーを採用したり、多くの種類のジェスチャーを採用することなく、多くの指示を受け付けることが可能になる。

また、別の実施形態として、ジェスチャー検出部１０２は、ジェスチャーを検出するジェスチャー期間を開始するジェスチャー検出開始時点における、タッチパネルに対する指示体の接触位置と、当該ジェスチャー期間が終了するジェスチャー検出終了時点における、タッチパネルに対する指示体の接触位置の少なくともいずれか一方を検出し、制御部１００は、ジェスチャー検出部１０２により検出された、ジェスチャー検出開始時点でのタッチパネルに対する指示体の接触位置、及びジェスチャー検出終了時点でのタッチパネルに対する指示体の接触位置の少なくともいずれか一方を、ジェスチャーの要素として使用して、予め割り当てられている処理を実行するようにしてもよい。

例えば、ジェスチャー検出部１０２は、表示部４７３のタッチパネルの領域を、縦方向及び横方向にそれぞれ２分割し、合計４の区域に区画し、ジェスチャー検出開始時点でのタッチパネルに対する指示体の接触位置がどの区域であるかによって、ジェスチャーを区別するようにする。これにより、例えば、ジェスチャーが「時計回りに描かれた丸」であっても、最初に触れる位置が左上の区画である場合と、左下の区画である場合とで、当該各ジェスチャーのそれぞれに異なる処理を対応付けて記憶することが可能になる。

また、ジェスチャー検出部１０２は、複数の軌跡を１つのジェスチャーとして検出することを可能とし、制御部１００は、複数の軌跡から構成されるジェスチャーに対して、予め割り当てられている処理を実行するようにしてもよい。これにより、「Ｘ」や「Ｋ」などを示す軌跡、或いは、開始点が２点以上必要となる文字や、２本線、３本線などを示す軌跡についても、１つのジェスチャーとしてジェスチャー記憶部１０１に登録することが可能となる。

更なる別の実施形態として、ジェスチャー検出部１０２は、検出したジェスチャーが交わらない２本線を含んで構成されている場合、当該２本線の間の距離（例えば、当該２本線の間の最短距離）Ｄを検出し、制御部１００は、当該距離Ｄを、ジェスチャーの要素として用いて、予め割り当てられている処理を実行するようにしてもよい。

例えば、ジェスチャー記憶部１０１に、図１０に示すような、上から下に描かれた２本の線Ｌ１，Ｌ２を含んで構成されたジェスチャーＧ１が登録され、線Ｌ１と線Ｌ２との間が距離Ｄである場合、ジェスチャー検出部１０２は、上から下に描かれた２本線を検出するだけでなく、当該２本線の間の距離が、距離Ｄ±予め定められた許容値の範囲内であることを条件として、ユーザーから行われたジェスチャーを特定する。これにより、ジェスチャー検出部１０２が検出するジェスチャー数を増やすことができる。

本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、本発明に係る情報処理成装置の一実施形態として画像形成装置を用いて説明しているが、これは一例に過ぎない。

また、上記実施形態では、図１乃至図１０を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。

１ 画像形成装置
１２ 画像形成部
１００ 制御部
１０１ ジェスチャー記憶部
１０２ ジェスチャー検出部
４７３ 表示部

Claims (5)

1. タッチパネルを備える表示部と、
   前記タッチパネルに対するタッチ入力に基づき、前記タッチパネルに対する指示体の動き及び軌跡を示すジェスチャーを検出するジェスチャー検出部と、
   前記ジェスチャー検出部が検出したジェスチャーに対して、予め割り当てられている処理を実行する制御部と、を備える情報処理装置。
2. 前記ジェスチャー検出部は、更に、ジェスチャー検出開始時点における前記タッチパネルに対する前記指示体の接触位置と、ジェスチャー検出終了時点における前記タッチパネルに対する前記指示体の接触位置の少なくともいずれか一方を検出し、
   前記制御部は、前記ジェスチャー検出部により検出された前記ジェスチャー検出開始時点での前記タッチパネルに対する前記指示体の接触位置、又は前記ジェスチャー検出終了時点での前記タッチパネルに対する前記指示体の接触位置の少なくともいずれか一方を、前記ジェスチャーの要素として用いて、前記予め割り当てられている処理を実行する請求項１に記載の情報処理装置。
3. 前記ジェスチャー検出部は、複数の前記軌跡を１つのジェスチャーとして検出し、
   前記制御部は、複数の前記軌跡から構成されるジェスチャーに対して、前記予め割り当てられている処理を実行する請求項１又は請求項２に記載の情報処理装置。
4. 前記ジェスチャー検出部は、更に、検出したジェスチャーが交わらない２本線を含んで構成されている場合、当該２本線の間の距離を検出し、
   前記制御部は、前記距離を、前記ジェスチャーの要素として用いて、前記予め割り当てられている処理を実行する請求項３に記載の情報処理装置。
5. 請求項１乃至請求項４のいずれかに記載の情報処理装置と、
   記録媒体に画像形成を行う画像形成部と、を備える画像形成装置。

Images