JP2022087700A - 電子機器および画像形成装置 - Google Patents

Abstract

【課題】空中でのハンドジェスチャーについて触感を得ることができ、ハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減する。【解決手段】画像形成装置１は、ユーザーの空中にかざした手を撮像するカメラ６０と、当該手の特定の指と他の指とが接触する動作を含む複数のハンドジェスチャーと各コマンドとを対応付けて記憶するＨＤＤ９２と、カメラ６０から順次に得られる複数の撮像画像からハンドジェスチャーを認識するハンドジェスチャー認識部１０３と、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得するコマンド取得部１０４と、表示部４７３の表示画面上のカーソル位置に対して、コマンド取得部１０４により取得されたコマンドに対応する操作を行う制御部１００と、を備える。【選択図】図２

Description

本発明は、電子機器および画像形成装置に関し、特に、ユーザーのハンドジェスチャーに従って操作を実行するための技術に関する。

近年では、テレビやパーソナルコンピューター等の電子機器をユーザーのジェスチャーによって操作する方法が提案されている。このような方法によれば、マウス、キーボード又はリモートコントローラといった入力装置を使用せずに、電子機器を遠隔操作することができる。

例えば、下記特許文献１に記載の電子機器では、ユーザーの手を撮像するカメラと、握り拳、平手、サムズアップなどの予め定められた複数の手形状を予め記憶する記憶部と、カメラで撮像された手形状が記憶部に記憶された何れかの手形状と一致するか否かを判定する手形状認識部と、撮像された手形状が記憶部の手形状と一致すると判定され、かつ、撮像された手形状の移動量の絶対値が閾値以上である場合に、当該一致すると判定された手形状に対応するコマンド（例えば、フォーカスの移動、メディアの再生、メディアの一時停止など）を実行するコマンド実行制御部と、を備え、撮像されたユーザーのハンドジェスチャーに応じたコマンドを実行することを可能としている。

特開２０１０－２３７７６６号公報

しかし、上記の電子機器では、ユーザーが空中でハンドジェスチャーを行い、操作パネルなどに触れたりしない。このような、触感が得られないハンドジェスチャーでは、操作について実感が伴わない。このため、上記の電子機器では、当該ハンドジェスチャーによる操作に不安定さを抱えており、操作ミスを起こしやすいという問題がある。

本発明は、上記の事情に鑑みなされたものであり、空中でのハンドジェスチャーについて触感を得ることができ、ハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減することを目的とする。

本発明の一局面に係る電子機器は、表示部と、ユーザーの空中にかざした手を撮像するカメラと、前記カメラの撮像画像から前記ユーザーの空中にかざした手における特定の指を特定すると共に、前記撮像画像中における前記特定の指の位置を特定する指位置特定部と、前記指位置特定部により特定された前記特定の指の位置が対応する前記表示部の表示画面上の対応位置にカーソルを表示させる表示制御部と、前記特定の指と他の指とが接触する動作を少なくとも含む予め定められた複数のハンドジェスチャーと、前記複数のハンドジェスチャー毎に対応付けられた各コマンドとを予め記憶する記憶部と、前記カメラから順次に得られる複数の撮像画像からハンドジェスチャーを認識するハンドジェスチャー認識部と、前記ハンドジェスチャー認識部が認識した前記ハンドジェスチャーに対応付けられたコマンドを前記記憶部から取得するコマンド取得部と、前記表示部の表示画面上のカーソル位置に対して、前記コマンド取得部により取得された前記コマンドに対応する操作を行う制御部と、を備えるものである。

本発明の一局面に係る画像形成装置は、上記電子機器と、記録媒体に画像を形成する画像形成部とを備えるものである。

本発明によれば、空中でのハンドジェスチャーについて触感を得ることができ、ハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減することができる。

本発明の一実施形態に係る画像形成装置の外観を示す斜視図である。 画像形成装置の主要内部構成を示す機能ブロック図である。 ユーザーが空中にかざした手がカメラにより撮像される様子を示す図である。 ハンドジェスチャーとコマンドとが対応付けられたデータテーブルの一例を示す図である。 画像形成装置によるハンドジェスチャー操作処理を示すフローチャートである。 （Ａ）は画像形成装置の表示部に表示される選択確認画面の一例を示す図、（Ｂ）はハンドジェスチャーによる操作の開始前に行われるキャリブレーション時にユーザーがかざした右手が撮像された撮像画像の一例を示す図である。 （Ａ）はユーザーの右手を空中で移動させている様子を示す図、（Ｂ）は（Ａ）の場合の撮像画像を示す図である。 （Ａ）は図７（Ｂ）に示す撮像画像を左右反対に示した場合の図、（Ｂ）は（Ａ）に示す人差し指の移動に伴ってカーソルが移動する場合の表示画面を示す図である。 （Ａ）はクリックハンドジェスチャーを示す図、（Ｂ）はダブルクリックハンドジェスチャーを示す図、（Ｃ）は長押しハンドジェスチャーを示す図である。 （Ａ）はドラッグアンドドロップハンドジェスチャーを示す図、（Ｂ）は（Ａ）の場合にカーソルが移動してドラッグアンドドロップ操作される表示画面を示す図である。 （Ａ）はスワイプハンドジェスチャーを示す図、（Ｂ）は表示部に個別に表示される第１画面用画像及び第２画面用画像がスワイプ方向に並べられた長尺画像における第２画面用画像が表示部に表示されている状態を示す図、（Ｃ）はスワイプハンドジェスチャーによりスワイプされて表示部に表示された第１画面を示す図である。 （Ａ）はピンチアウトハンドジェスチャーを示す図、（Ｂ）はピンチインハンドジェスチャーを示す図、（Ｃ）はローテートハンドジェスチャーを示す図である。

以下、本発明の一実施形態に係る電子機器及び電子機器を搭載した画像形成装置について図面を参照して説明する。図１は、本発明の一実施形態に係る画像形成装置の外観を示す斜視図である。

画像形成装置１は、ファクシミリ通信機能、コピー機能、プリンター機能、およびスキャナー機能等の複数の機能を兼ね備えた複合機である。図１に示すように、画像形成装置１は、装置本体２と、装置本体２の上方に配置された画像読取部５と、画像読取部５と装置本体２との間に設けられた連結部３とから構成される。

画像形成装置１の外郭を構成する筐体７には、画像形成装置１の様々な機能を実現するための複数の構成機器が収容されている。例えば、筐体７には、画像読取部５、画像形成部１２（図２）、定着部、給紙部３０、操作部４７、及びカメラ６０等が収容されている。

画像読取部５は、原稿搬送部６と、原稿搬送部６により搬送されてくる原稿又は不図示のコンタクトガラスに載置された原稿を光学的に読み取るスキャナーとを有するＡＤＦ（Auto Document Feeder）である。画像読取部５は、ファクシミリ送信対象の原稿を１枚ずつ読み取ることで、画像形成対象となる画像データを取得する。

画像形成部１２は、感光体ドラム、帯電装置、露光装置、現像装置、及び転写装置を備え、画像読取部５によって読み取られた画像や、ネットワーク接続されたパーソナルコンピューターから送られてくるプリント対象データを用いて、給紙部３０から供給される記録に画像を形成（印刷）する。画像形成済みの記録紙は上記定着部による定着処理を受けた後、排出トレイ４に排出される。

なお、電子機器は、例えば、画像形成装置１から画像読取部５と原稿搬送部６と画像形成部１２とを除いた構成である。

操作部４７は、例えば、当該画像形成装置１により可能な機能の実行を指示するためのスタートキー、操作画面を操作して入力した設定を確定させる決定キー（エンターキー）、数値入力を行うための数値入力キー等のハードキーを備える。操作部４７は、画像形成装置１が実行可能な各種動作及び処理についてユーザーからの指示を受け付ける。

また、操作部４７は、ユーザーへの操作案内等を表示する表示部４７３を備えている。表示部４７３は、タッチ操作可能な表示装置であり、例えば液晶パネルなどのディスプレイと、このディスプレイの前面側に配置されたタッチパネルとを備えている。ユーザーは、表示部４７３の画面に表示されるボタンやキーに触れて画像形成装置１を操作することができる。

カメラ６０は、例えば、赤外線カメラであり、画像形成装置１の正面にいるユーザーが空中にかざした手を撮像する。なお、カメラ６０は、奥行き情報を取得する深度センサー（又は距離画像センサー）を通常のカメラに内蔵したデプスカメラとしてもよい。このデプスカメラによれば、通常のカメラが撮影する２次元画像に加えて奥行き情報を取得することにより、３次元情報を取得することができる。

さらに、画像形成装置１の正面側の側部には、画像形成装置１の前方における一定範囲内に存在するユーザーを検知するユーザー検知センサー８０が設けられている。ユーザー検知センサー８０は、例えば、光学センサーであり、発光及び受光部を有し、発光部から発光した光の当該ユーザーからの反射光を受光部が受光できた場合に、画像形成装置１の前方の一定範囲内にユーザーが存在することを示す検知信号を後述する制御部１００に出力する。

次に、画像形成装置１の構成を説明する。図２は画像形成装置の主要内部構成を示す機能ブロック図である。

画像形成装置１は、制御ユニット１０を備える。制御ユニット１０は、プロセッサー、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＭＰＵ（Micro Processing Unit）等である。

画像読取部５は、制御ユニット１０による制御の下、光照射部及びＣＣＤセンサー等を有する読取機構を備える。画像読取部５は、光照射部により原稿を照射し、その反射光をＣＣＤセンサーで受光することにより、原稿から画像を読み取る。

画像処理部３１は、画像読取部５で読み取られた画像の画像データを、必要に応じて画像処理を行う。例えば、画像処理部３１は、画像読取部５により読み取られた画像が画像形成部１２により画像形成された後の品質を向上させるために、シェーディング補正等の予め定められた画像処理を行う。

画像メモリー３２は、画像読取部５による読取で得られた原稿画像のデータを一時的に記憶したり、画像形成部１２による画像形成の対象となるデータを一時的に保存したりする領域である。

画像形成部１２は、画像読取部５で読み取られた印刷データ、ネットワーク接続されたコンピューター２００から受信した印刷データ等の画像形成を行う。

ネットワークインターフェース部９１は、ＬＡＮボード等の通信モジュールから構成され、当該ネットワークインターフェース部９１に接続されたＬＡＮ等を介して、ローカルエリア内のコンピューター２００等と種々のデータの送受信を行う。画像形成装置１には複数のコンピューター２００が接続され得る。

ＨＤＤ９２は、画像読取部５によって読み取られた原稿画像、各種のプログラム及びデータ、後述するデータテーブルＴＢ１などを記憶する大容量の記憶装置である。

制御ユニット１０は、ＨＤＤ９２に記憶されている制御プログラムに従った上記プロセッサーによる動作により、制御部１００、指位置特定部１０１、表示制御部１０２、ハンドジェスチャー認識部１０３、及びコマンド取得部１０４として機能するものである。但し、上記の制御部１００等の各構成は、制御ユニット１０による制御プログラムに従った動作によらず、ハードウェア回路により構成することも可能である。

制御部１００は、画像読取部５、原稿搬送部６、画像処理部３１、画像メモリー３２、画像形成部１２、操作部４７、ネットワークインターフェース部９１、ＨＤＤ（ハードディスクドライブ）９２、カメラ６０、及びユーザー検知センサー８０等と接続され、これら各部の駆動制御を行う。

図３は、ユーザーが空中にかざした手がカメラにより撮像される様子を示す図である。カメラ６０は、図３に示すように、画像形成装置１の正面にいるユーザーが空中の予め定められた撮像領域Ｅ１内にかざした手を撮像する。ここでは、撮像領域Ｅ１は、図３に示すように、画像形成装置１の前方方向の任意の位置（例えば、画像形成装置１の正面側側面部と同一位置又はその付近の位置など）であって、一般成人の胸元の高さ位置とされる。カメラ６０が撮像領域Ｅ１を撮像した画像が、後述する図６（Ｂ）に示す撮像画像Ｃ１、後述する図７（Ｂ）に示す撮像画像Ｃ１、Ｃ２である。

指位置特定部１０１は、カメラ６０の撮像画像から、画像形成装置１の正面にいるユーザーが空中にかざした手における特定の指（例えば、人差し指）を特定すると共に、前記撮像画像中における前記特定の指の位置を特定する。

より詳細には、指位置特定部１０１は、カメラ６０の撮像画像を基に、２値化処理や濃淡情報によるパターンマッチング等の画像処理を行って、ユーザーの指の画像を判別する。ここでは、指位置特定部１０１は、撮像画像より抽出されるユーザーの手の画像と、ＨＤＤ９２などに予め記憶している一般成人の手を示す基本画像とのパターンマッチングにより、撮像画像がユーザーの手の画像であるか否か、及び、右手又は左手の何れであるかを判別する。なお、基本画像として、一般成人ではなく、ユーザー自身の手を示す個別基本画像をカメラ６０で事前に撮像しておき、この個別基本画像を用いるようにしてもよい。そして、指位置特定部１０１は、カメラ６０の撮像画像がユーザーの右手又は左手の画像であると判別されると、さらに、当該撮像画像に、予め定められた人指し指の画像が含まれるかをパターンマッチング等の画像処理により判別することで、当該右手又は左手における特定の指、例えば人差し指を認識し、撮像画像における当該特定の指の位置座標を特定する。また、指位置特定部１０１は、特定の指の場合と同様に、当該特定の指以外の他の指（少なくとも、親指、中指など）を認識し、撮像画像における当該他の指の位置座標を特定する。

なお、上記のカメラ６０及び指位置特定部１０１は、既知のジェスチャーセンサーで構成されるとしてもよい。既知のジェスチャーセンサーは、手の形及び動きを赤外線カメラによって撮像し、撮像した画像を画像処理モジュールにて処理し、３次元空間座標における各指の位置座標などを示す処理結果を取り出すことが可能である。この場合には、既知のジェスチャーセンサーの赤外線カメラがカメラ６０に対応し、画像処理モジュールが指位置特定部１０１に対応する。また、赤外線カメラに替えてデプスカメラを採用した場合には、奥行き情報を用いることにより、より正確にハンドジェスチャーを特定することができる。

表示制御部１０２は、指位置特定部１０１により特定された特定の指（例えば、人差し指）の位置が対応する表示部４７３の表示画面上の対応位置にカーソルを表示させる。例えば、表示制御部１０２は、矩形状の撮像画像Ｃ１の座標位置を表示部４７３の矩形状の表示画面に投影するための既知の投影計算式を予め有しており、当該既知の投影計算式を用いて、指位置特定部１０１が特定した撮像画像Ｃ１中の人差し指の座標位置が対応する表示部４７３の表示画面上の対応位置を算出し、この算出した対応位置にカーソルを表示させる。

ＨＤＤ９２は、特定の指（例えば、人差し指）と他の指とが接触する動作を少なくとも含む予め定められた複数のハンドジェスチャーと、前記複数のハンドジェスチャー毎に対応付けられた各コマンドとを予め記憶している。

具体的には、ＨＤＤ９２は、図４に示すように、ハンドジェスチャーとコマンドとが対応付けられたデータテーブルＴＢ１を予め記憶している。図４は、ハンドジェスチャーとコマンドとが対応付けられたデータテーブルの一例を示す図である。データテーブルＴＢ１には、例えば、８種類のハンドジェスチャーと８種類のコマンドとが一対一に対応付けられている。

クリックハンドジェスチャーは、ユーザーの手の指などの移動軌跡が、人差し指と親指とを接触させて離す動作を示す軌跡であるハンドジェスチャーであり、クリック操作を示すコマンドが対応付けられている。また、ダブルクリックハンドジェスチャーは、ユーザーの手の指などの移動軌跡が、人差し指と親指とを接触させて離すことを２回素早く行う動作を示す軌跡であるハンドジェスチャーであり、ダブルクリック操作を示すコマンドが対応付けられている。

長押しハンドジェスチャーは、ユーザーの手の指などの移動軌跡が、人差し指と親指とを接触させた接触状態のままで動かさずに予め定められた時間以上継続された後に人差し指と親指とを離す動作を示す軌跡であるハンドジェスチャーであり、長押し操作を示すコマンドが対応付けられている。

ドラッグアンドドロップハンドジェスチャーは、ユーザーの手の指などの移動軌跡が、人差し指と親指とを接触させた接触状態とし、当該接触状態のままで移動先まで手を動かした後に人差し指と親指とを離す動作を示す軌跡であるハンドジェスチャーであり、ドラッグアンドドロップ操作を示すコマンドが対応付けられている。具体的には、ドラッグアンドドロップハンドジェスチャーは、人差し指と親指とを接触させた接触状態とし、当該接触状態のままで移動先まで手を動かすドラッグ動作を示すドラッグジェスチャーと、当該ドラッグジェスチャーをした後に当該移動先において人差し指と親指とを離すドロップ動作を示すドロップジェスチャーとからなる。

スワイプハンドジェスチャーは、ユーザーの手の指などの移動軌跡が、人差し指と親指とを接触させて一方の指を滑り方向に滑らす動作を示す軌跡であるハンドジェスチャーであり、スワイプ操作を示すコマンドが対応付けられている。

ピンチアウトハンドジェスチャーは、ユーザーの手の指などの移動軌跡が、人差し指と親指と中指とを接触させて人差し指だけを離す動作を示す軌跡であるハンドジェスチャーであり、ピンチアウト操作を示すコマンドが対応付けられている。また、ピンチインハンドジェスチャーは、ユーザーの手の指などの移動軌跡が、親指と中指とを接触させた状態として人差し指を親指又は中指に近づけるか又は接触させる動作を示す軌跡であるハンドジェスチャーであり、ピンチイン操作を示すコマンドが対応付けられている。

ローテートハンドジェスチャーは、ユーザーの手の指などの移動軌跡が、親指と中指とを接触させた状態とし、かつ、人差し指を親指及び中指から離した状態で、手首を右回り又は左回りに回す動作を示す軌跡であり、ローテート操作を示すコマンドが対応付けられている。

ハンドジェスチャー認識部１０３は、カメラ６０から順次に得られる複数の撮像画像から、画像形成装置１の正面にいるユーザーのジェスチャーを認識する。より詳細には、ハンドジェスチャー認識部１０３は、カメラ６０の撮像画像に含まれるユーザーの手を示す画像を判別し、カメラ６０の撮像画像における当該判別した画像の手、特定の指及び他の指の移動軌跡を検出し、当該検出した移動軌跡が、ＨＤＤ９２に記憶された予め定められた複数のジェスチャーを示す各軌跡のいずれに一致するかを判定することで、ユーザーにより行われたジェスチャーを認識する。

コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得する。例えば、コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーがクリックハンドジェスチャーであれば、ＨＤＤ９２のデータテーブルＴＢ１を用いて、クリックハンドジェスチャーに対応するコマンドとして、クリック操作を示すコマンドを取得する。

制御部１００は、表示部４７３の表示画面上のカーソル位置に対して、コマンド取得部１０４により取得されたコマンドに対応する操作を行う。

次に、本発明の一実施形態に係る画像形成装置１によるハンドジェスチャー操作処理を説明する。図５は、画像形成装置によるハンドジェスチャー操作処理を示すフローチャートである。

まず、制御部１００は、画像形成装置１の前方における一定範囲内にユーザーが存在するか否かを検知する（Ｓ１）。例えば、制御部１００は、ユーザー検知センサー８０からの検知信号が有れば（Ｓ１でＹＥＳ）、ユーザーが存在すると判定する。一方、制御部１００は、ユーザー検知センサー８０からの検知信号が無ければ（Ｓ１でＮＯ）、ユーザーが存在しないと判定し、Ｓ１に戻り、ユーザーを検知するまで待機する。

制御部１００は、画像形成装置１の前方にユーザー有りと検知すると（Ｓ１でＹＥＳ）、図６（Ａ）に示すように、ハンドジェスチャーの選択確認画面を表示部４７３に表示させる（Ｓ２）。図６（Ａ）は、画像形成装置の表示部に表示される選択確認画面の一例を示す図である。図６（Ａ）に示す選択確認画面には、例えば「ハンドジェスチャー又は通常のタッチ操作を選択できます。」のメッセージＭ１と、「ハンドジェスチャー：手のひらをかざして」のメッセージＭ２と、「通常のタッチ操作：タッチ操作ボタンをタッチ」のメッセージＭ３とが表示される。メッセージＭ２は、ハンドジェスチャーによる操作の開始前に行われるキャリブレーションを促すメッセージである。

制御部１００は、図６（Ａ）に示す表示部４７３の表示画面に表示されたタッチ操作ボタンＢ１へのユーザーによるタッチ操作の有無を判定する（Ｓ３）。制御部１００は、表示部４７３のタッチパネル機能により、タッチ操作ボタンＢ１のタッチ操作が検出されると（Ｓ３でＹＥＳ）、通常の操作を選択する（Ｓ２１）。つまり、制御部１００は、ユーザーによる操作部４７のハードキーの押下操作及び表示部４７３の表示画面へのタッチ操作を受け付け、ハンドジェスチャーによる操作を受け付けない。そして、制御部１００は、表示部４７３のタッチパネル機能により、通常の操作の終了を示す図示しない終了ボタンのタッチ操作が検出されるか、又は、ユーザーが画像形成装置１から離れてユーザー検知センサー８０にて非検知となると（Ｓ２２でＹＥＳ）、本処理を終了させる。なお、制御部１００は、図示しない終了ボタンのタッチ操作が検出されず、かつ、ユーザーがユーザー検知センサー８０にて検知が維持されているときに、通常の操作があれば（Ｓ２２でＮＯ）、通常の操作を受け付け、Ｓ２２に戻る。

一方、Ｓ３において、制御部１００は、タッチ操作ボタンＢ１のタッチ操作が検出されずに待機時間が経過した場合（Ｓ３でＮＯ）、メッセージＭ２を表示部４７３に表示すると共に、カメラ６０の撮像タイミングを報知するカウントダウン表示を表示部４７３に表示し、上記撮像タイミングにおいてカメラ６０が撮像した撮像画像を取得する（Ｓ４）。ここでは、画像形成装置１の正面にいるユーザーが右手をひらいた状態で空中にかざしており、カメラ６０がそれを撮像したとする。

図６（Ｂ）は、ハンドジェスチャーのキャリブレーション時にユーザーがかざした右手が撮像された撮像画像の一例を示す図である。図６（Ｂ）に示す撮像画像Ｃ１は、カメラ６０にて撮像された画像であり、右手のひらを含む画像である。図６（Ｂ）に示す撮像画像Ｃ１は、右上角が座標（０，０）、左上角が座標（ｘ，０）、右下角が座標（０，ｙ）、左下角が座標（ｘ，ｙ）である。指位置特定部１０１は、撮像画像Ｃ１から、ユーザーの空中にかざした右手の人差し指Ｆ１、親指Ｆ２及び中指Ｆ３などの各指を特定すると共に、撮像画像Ｃ１中における人差し指Ｆ１、親指Ｆ２及び中指Ｆ３などの位置を特定する。

ハンドジェスチャー認識部１０３は、カメラ６０の撮像画像Ｃ１に、手のひらをかざすという開始ジェスチャーが含まれているか否かを判定する（Ｓ５）。ここでは、ハンドジェスチャー認識部１０３は、カメラ６０の撮像画像Ｃ１から、画像形成装置１の正面にいるユーザーの右手の手のひらが開いた状態であると認識し、開始ジェスチャーであると認識する（Ｓ５でＹＥＳ）。表示制御部１０２は、後述する図８（Ｂ）に示すホーム画面を表示部４７３に表示させる。図８（Ｂ）に示すホーム画面は、ソフトキーとして、コピー機能を選択するためのキー６１、送信機能を選択するためのキー６２、ファクシミリ機能を選択するためのキー６３、スキャン機能を選択するためのキー６４、ジョブボックスを選択するためのキー６５、及び、外部メモリーを選択するためのキー６６等を含む。そして、指位置特定部１０１は、ユーザーが空中にかざした右手の人差し指を特定すると共に、撮像画像Ｃ１中における人差し指の座標位置を特定する。表示制御部１０２は、撮像画像Ｃ１中の人差し指の座標位置が対応する表示部４７３の表示画面上の対応位置を算出し、この算出した対応位置にカーソルＣＲを表示させる。

一方、Ｓ５において、ハンドジェスチャー認識部１０３が開始ジェスチャーでないと認識すると（Ｓ５でＮＯ）、制御部１００はＳ３に戻る。

そして、制御部１００は、カメラ６０の撮像画像を取得する（Ｓ６）。そして、指位置特定部１０１は、ユーザーが空中にかざした手の人差し指を特定すると共に、撮像画像中における人差し指の位置を特定する（Ｓ７）。図７（Ａ）は、ユーザーの右手を空中で移動させている様子を示す図である。図７（Ｂ）は、図７（Ａ）の場合の撮像画像を示す図である。図７（Ａ）に示すように、空中にかざした右手Ｈ１の人差し指Ｆ１が撮像領域Ｅ１における位置Ｚ１から位置Ｚ２に移動したとする。図７（Ｂ）に示す撮像画像Ｃ１は、実線で示した右手Ｈ１の人差し指Ｆ１が位置Ｚ１（ｍ１，ｎ１）に位置するときの画像である。図７（Ｂ）に示す撮像画像Ｃ２は、点線で示した右手Ｈ１の人差し指Ｆ１が位置Ｚ２（ｍ２，ｎ２）に位置するときの画像である。指位置特定部１０１は、図７（Ｂ）に示す撮像画像Ｃ１，Ｃ２から、人差し指Ｆ１が撮像画像Ｃ１における位置Ｚ１（ｍ１，ｎ１）から撮像画像Ｃ２における位置Ｚ２（ｍ２，ｎ２）に移動したことを特定する。図８（Ａ）は、図７（Ｂ）に示す撮像画像を左右反対に示した場合の図である。言い換えれば、図８（Ａ）に示す撮像画像Ｃ１，Ｃ２は、ユーザー側から見た場合の画像である。

表示制御部１０２は、指位置特定部１０１により特定された人差し指の位置が対応する表示部４７３の表示画面上の対応位置にカーソルを表示させる（Ｓ８）。図８（Ｂ）は、図８（Ａ）に示す人差し指の移動に伴ってカーソルが移動する場合の表示画面を示す図である。表示制御部１０２は、図８（Ｂ）に示すように、指位置特定部１０１により特定された人差し指の位置Ｚ１が対応する表示部４７３の表示画面（ここではホーム画面）上の対応位置Ｐ１にカーソルＣＲを表示させ、人差し指Ｆ１の移動に伴ってカーソルＣＲを移動させ、指位置特定部１０１により特定された人差し指の位置Ｚ２が対応する表示部４７３の表示画面（ホーム画面）上の対応位置Ｐ２にカーソルＣＲを表示させる。

制御部１００は、人差し指の移動が停止したか否かを判定する（Ｓ９）。例えば、制御部１００は、最新の撮像画像において指位置特定部１０１により特定された人差し指の位置と、直前の１枚又は予め定められた枚数の撮像画像において指位置特定部１０１により特定された人差し指の位置とを比較し、移動量が予め定められた規定値以下であれば、人差し指の移動が停止したと判定する。また、制御部１００は、人差し指の加速度が規定加速度以下であれば、人差し指の移動が停止したと判定してもよい。

制御部１００は、人差し指の移動が停止していないと判定すると（Ｓ９でＮＯ）、Ｓ６に戻る。一方、ハンドジェスチャー認識部１０３は、制御部１００において人差し指の移動が停止したと判定されると（Ｓ９でＹＥＳ）、カメラ６０から順次に得られる複数の撮像画像から、画像形成装置１の正面にいるユーザーのジェスチャーを認識する（Ｓ１０）。ここでは、図８（Ａ）に示すように、人差し指Ｆ１が撮像画像Ｃ２における位置Ｚ２（ｍ２，ｎ２）で停止したとする。図８（Ｂ）で言えば、表示部４７３の表示画面上の対応位置Ｐ２、つまり、キー６６上の位置でカーソルＣＲが停止したとする。なお、制御部１００は、ホーム画面においてカーソルＣＲが停止した対応位置Ｐ２を示す情報を、ＲＡＭ（又はＨＤＤ９２）に記憶する。なお、制御部１００は、撮像画像Ｃ２において人差し指Ｆ１が停止した位置Ｚ２（ｍ２，ｎ２）を示す情報を、ＲＡＭ（又はＨＤＤ９２）に記憶してもよい。

ハンドジェスチャー認識部１０３は、人差し指Ｆ１の移動が停止した後、人差し指Ｆ１（特定の指）と親指Ｆ２（他の指）とが接触する動作が予め定められた時間（例えば、１秒）内にあった場合、ハンドジェスチャーとして認識し（Ｓ１０でＹＥＳ）、Ｓ１１に進む。一方、ハンドジェスチャー認識部１０３は、人差し指Ｆ１の移動が停止した後、人差し指Ｆ１（特定の指）と親指Ｆ２（他の指）とが接触する動作が予め定められた時間（例えば、１秒）を超える場合、ハンドジェスチャーとして認識せず（Ｓ１０でＮＯ）、Ｓ６に戻る。

なお、ハンドジェスチャー認識部１０３は、人差し指Ｆ１の移動が停止した後、人差し指Ｆ１（特定の指）と親指Ｆ２（他の指）が接触するまでの移動速度又は移動加速度が閾値以上である場合、ハンドジェスチャーとして認識するとしてもよい。

ここでは、図９（Ａ）に示すクリックハンドジェスチャーがあったとする。図９（Ａ）に示すクリックハンドジェスチャーは、人差し指と親指とを接触させて離す動作を示すハンドジェスチャーである。

ハンドジェスチャー認識部１０３は、ハンドジェスチャーとして認識した場合（Ｓ１０でＹＥＳ）、カメラ６０の複数の撮像画像から検出された、ユーザーの右手の人差し指Ｆ１（特定の指）と親指Ｆ２（他の指）とを素早く接触させて離す動作を示す移動軌跡が、ＨＤＤ９２に記憶された予め定められた複数のジェスチャーを示す各軌跡のいずれに一致するかを判定する（Ｓ１１）。

ここでは、ハンドジェスチャー認識部１０３は、人差し指Ｆ１と親指Ｆ２とを素早く接触させて離す動作を示す移動軌跡が、ＨＤＤ９２に記憶されたクリックハンドジェスチャーが示す軌跡と一致すると判定する（Ｓ１１でＹＥＳ）。このため、ハンドジェスチャー認識部１０３は、ユーザーにより行われたジェスチャーがクリックハンドジェスチャーであると認識する。

なお、ハンドジェスチャー認識部１０３は、検出された移動軌跡が、ＨＤＤ９２に記憶された予め定められた複数のジェスチャーを示す各軌跡のいずれにも一致しない場合（Ｓ１１でＮＯ）、Ｓ６に戻る。

コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得する（Ｓ１２）。ここで、コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーがクリックハンドジェスチャーであれば、図４に示すデータテーブルＴＢ１を用いて、クリックハンドジェスチャーに対応するコマンドとして、クリック操作を示すコマンドを取得する。

制御部１００は、ＲＡＭ（又はＨＤＤ９２）に記憶した情報、つまり、ホーム画面においてカーソルＣＲが停止した対応位置Ｐ２を示す情報を用いて、カーソルＣＲが停止した対応位置Ｐ２を特定する。すなわち、制御部１００は、ハンドジェスチャーの直前のカーソルＣＲを特定する。そして、制御部１００は、表示部４７３の表示画面上のカーソルＣＲの位置に対して、コマンド取得部１０４により取得されたコマンド（ここでは、クリック操作を示すコマンド）に対応する操作を行う（Ｓ１３）。すなわち、制御部１００は、図８（Ｂ）に示すキー６６をクリック操作する制御を行う。

ところで、Ｓ１０において、図９（Ｂ）に示すダブルクリックハンドジェスチャーがあった場合について説明する。図９（Ｂ）に示すダブルクリックハンドジェスチャーは、人差し指と親指とを接触させて離すことを２回素早く行う動作を示すハンドジェスチャーである。

ハンドジェスチャー認識部１０３は、ハンドジェスチャーとして認識した場合（Ｓ１０でＹＥＳ）、カメラ６０の複数の撮像画像から検出された、ユーザーの右手の人差し指Ｆ１（特定の指）と親指Ｆ２（他の指）とを素早く接触させて離すことを２回行う動作を示す移動軌跡が、ＨＤＤ９２に記憶された予め定められた複数のジェスチャーを示す各軌跡のいずれに一致するかを判定する（Ｓ１１）。

ここでは、ハンドジェスチャー認識部１０３は、人差し指Ｆ１と親指Ｆ２とを素早く接触させて離すことを２回素早く行う動作を示す移動軌跡が、ＨＤＤ９２に記憶されたダブルクリックハンドジェスチャーが示す軌跡と一致すると判定する（Ｓ１１でＹＥＳ）。このため、ハンドジェスチャー認識部１０３は、ユーザーにより行われたジェスチャーがダブルクリックハンドジェスチャーであると認識する。

コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得する（Ｓ１２）。ここで、コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーがダブルクリックハンドジェスチャーであれば、図４に示すデータテーブルＴＢ１を用いて、ダブルクリックハンドジェスチャーに対応するコマンドとして、ダブルクリック操作を示すコマンドを取得する。

制御部１００は、ＲＡＭ（又はＨＤＤ９２）に記憶した情報、つまり、ホーム画面においてカーソルＣＲが停止した対応位置Ｐ２を示す情報を用いて、カーソルＣＲが停止した対応位置Ｐ２を特定する。すなわち、制御部１００は、ハンドジェスチャーの直前のカーソルＣＲを特定する。そして、制御部１００は、表示部４７３の表示画面上のカーソルＣＲの位置に対して、コマンド取得部１０４により取得されたコマンド（ここでは、ダブルクリック操作を示すコマンド）に対応する操作を行う（Ｓ１３）。すなわち、制御部１００は、図８（Ｂ）に示すキー６６をダブルクリック操作する制御を行う。

ところで、Ｓ１０において、図９（Ｃ）に示す長押しハンドジェスチャーがあった場合について説明する。図９（Ｃ）に示す長押しハンドジェスチャーは、人差し指と親指とを接触させた接触状態のままで動かさずに予め定められた時間（例えば、２秒）以上継続された後に人差し指と親指とを離す動作を示すハンドジェスチャーである。

ハンドジェスチャー認識部１０３は、ハンドジェスチャーとして認識した場合（Ｓ１０でＹＥＳ）、カメラ６０の複数の撮像画像から検出された、ユーザーの右手の人差し指Ｆ１（特定の指）と親指Ｆ２（他の指）とを接触させた接触状態のままで動かさずに予め定められた時間（例えば、２秒）以上継続された後に人差し指Ｆ１と親指Ｆ２とを離す動作を示す移動軌跡が、ＨＤＤ９２に記憶された予め定められた複数のジェスチャーを示す各軌跡のいずれに一致するかを判定する（Ｓ１１）。

ここでは、ハンドジェスチャー認識部１０３は、上記の移動軌跡が、ＨＤＤ９２に記憶された長押しハンドジェスチャーが示す軌跡と一致すると判定する（Ｓ１１でＹＥＳ）。このため、ハンドジェスチャー認識部１０３は、ユーザーにより行われたジェスチャーが長押しハンドジェスチャーであると認識する。

コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得する（Ｓ１２）。ここで、コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーが長押しハンドジェスチャーであれば、図４に示すデータテーブルＴＢ１を用いて、長押しハンドジェスチャーに対応するコマンドとして、長押し操作を示すコマンドを取得する。

制御部１００は、ＲＡＭ（又はＨＤＤ９２）に記憶した情報、つまり、ホーム画面においてカーソルＣＲが停止した対応位置Ｐ２を示す情報を用いて、カーソルＣＲが停止した対応位置Ｐ２を特定する。すなわち、制御部１００は、ハンドジェスチャーの直前のカーソルＣＲを特定する。そして、制御部１００は、表示部４７３の表示画面上のカーソルＣＲの位置に対して、コマンド取得部１０４により取得されたコマンド（ここでは、長押し操作を示すコマンド）に対応する操作を行う（Ｓ１３）。すなわち、制御部１００は、図８（Ｂ）に示すキー６６を長押し操作する制御を行う。

ところで、Ｓ１０において、図１０（Ａ）に示すドラッグアンドドロップハンドジェスチャーがあった場合について説明する。図１０（Ａ）は、ドラッグアンドドロップハンドジェスチャーを示す図である。図１０（Ｂ）は、図１０（Ａ）の場合にカーソルが移動してドラッグアンドドロップ操作される表示画面を示す図である。図１０（Ａ）に示すドラッグアンドドロップハンドジェスチャーは、人差し指と親指とを接触させた接触状態とし、当該接触状態のままで移動先まで手を動かした後に人差し指と親指とを離す動作を示すハンドジェスチャーである。

ハンドジェスチャー認識部１０３は、ハンドジェスチャーとして認識した場合（Ｓ１０でＹＥＳ）、カメラ６０の複数の撮像画像から検出された、ユーザーの右手の人差し指Ｆ１（特定の指）と親指Ｆ２（他の指）とを接触させた接触状態とし、当該接触状態のままで移動先まで手を動かす動作を示す移動軌跡が、ＨＤＤ９２に記憶された予め定められた複数のジェスチャーを示す各軌跡のいずれに一致するかを判定する（Ｓ１１）。

ここでは、ハンドジェスチャー認識部１０３は、上記の移動軌跡が、ＨＤＤ９２に記憶されたドラッグアンドドロップハンドジェスチャーのドラッグジェスチャーが示す軌跡と一致すると判定する（Ｓ１１でＹＥＳ）。このため、ハンドジェスチャー認識部１０３は、ユーザーにより行われたジェスチャーがドラッグアンドドロップハンドジェスチャーのドラッグジェスチャーであると認識する。

コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得する（Ｓ１２）。ここでは、コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーがドラッグアンドドロップハンドジェスチャーのドラッグジェスチャーであれば、図４に示すデータテーブルＴＢ１を用いて、ドラッグジェスチャーに対応するコマンドとして、ドラッグ操作を示すドラッグコマンドを取得する。

制御部１００は、ＲＡＭ（又はＨＤＤ９２）に記憶した情報、つまり、ホーム画面においてカーソルＣＲが停止した対応位置Ｐ２を示す情報を用いて、カーソルＣＲが停止した対応位置Ｐ２を特定する。すなわち、制御部１００は、ハンドジェスチャーの直前のカーソルＣＲを特定する。そして、制御部１００は、表示部４７３の表示画面上のカーソルＣＲの位置を、人差し指Ｆ１と親指Ｆ２とを接触させた位置である開始角部ＳＰ１とし、当該接触状態のままで移動させて停止した位置である移動先を、開始角部ＳＰ１を一端とする対角線の他端に位置する終点角部ＳＰ２とし、開始角部ＳＰ１と終点角部ＳＰ２とからなる矩形状範囲Ａ１を選択するドラッグ操作を行う（Ｓ１３）。すなわち、制御部１００は、図１０（Ｂ）に示す矩形状範囲Ａ１を選択するドラッグ操作する制御を行う。

そして、Ｓ１３のあと、制御部１００は、ハンドジェスチャーの終了の有無を判定する（Ｓ１４）。ここでは、ユーザーの右手Ｈ１がサムズアップとされていないので（Ｓ１４でＮＯ）、上記Ｓ６～Ｓ１０の処理を経て、Ｓ１１の処理に進む。

このＳ１１では、ハンドジェスチャー認識部１０３は、終点角部ＳＰ２において、ユーザーの右手の人差し指Ｆ１と親指Ｆ２とを離す動作を示す移動軌跡が、ＨＤＤ９２に記憶されたドラックアンドドロップハンドジェスチャーのドロップジェスチャーが示す軌跡と一致すると判定したとする（Ｓ１１でＹＥＳ）。このため、ハンドジェスチャー認識部１０３は、ユーザーにより行われたジェスチャーがドラッグアンドドロップハンドジェスチャーのドロップジェスチャーであると認識する。

コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得する（Ｓ１２）。ここでは、コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーがドラッグアンドドロップハンドジェスチャーのドロップジェスチャーであれば、図４に示すデータテーブルＴＢ１を用いて、ドラッグアンドドロップジェスチャーに対応するコマンドとして、ドロップ操作を示すドロップコマンドを取得する。

制御部１００は、図１０（Ｂ）に示す矩形状範囲Ａ１を指定するドロップ操作する制御を行う。すなわち、制御部１００は、図１０（Ｂ）に示す開始角部ＳＰ１と終点角部ＳＰ２とからなる矩形状範囲Ａ１を選択するドラッグ操作と、矩形状範囲Ａ１を指定するドロップ操作とからなるドラッグアンドドロップ操作する制御を行う。

ところで、Ｓ１０において、図１１（Ａ）に示すスワイプハンドジェスチャーがあった場合について説明する。図１１（Ａ）は、スワイプハンドジェスチャーを示す図である。図１１（Ａ）に示すスワイプハンドジェスチャーは、人差し指と親指とを接触させて一方の指（ここでは人差し指）を滑り方向Ｄ１に滑らす動作を示すハンドジェスチャーである。

ハンドジェスチャー認識部１０３は、ハンドジェスチャーとして認識した場合（Ｓ１０でＹＥＳ）、カメラ６０の複数の撮像画像から検出された、ユーザーの右手の人差し指Ｆ１（特定の指）と親指Ｆ２（他の指）とを接触させて人差し指Ｆ１を滑り方向Ｄ１に滑らす動作を示す移動軌跡が、ＨＤＤ９２に記憶された予め定められた複数のジェスチャーを示す各軌跡のいずれに一致するかを判定する（Ｓ１１）。

ここでは、ハンドジェスチャー認識部１０３は、上記の移動軌跡が、ＨＤＤ９２に記憶されたスワイプハンドジェスチャーが示す軌跡と一致すると判定する（Ｓ１１でＹＥＳ）。このため、ハンドジェスチャー認識部１０３は、ユーザーにより行われたジェスチャーがスワイプハンドジェスチャーであると認識する。

図１１（Ｂ）は、表示部に個別に表示される第１画面用画像及び第２画面用画像がスワイプ方向に並べられた長尺画像における第２画面用画像が表示部に表示されている状態を示す図である。図１１（Ｂ）に示すように、長尺画像ＬＧは、第１画面用画像ＦＳ及び第２画面用画像ＳＳが縦方向（スワイプ方向）に並べられた長尺状の画像である。表示部４７３には、長尺画像ＬＧのうちの第２画面用画像ＳＳが表示されている。

コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得する（Ｓ１２）。ここで、コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーがスワイプハンドジェスチャーであれば、図４に示すデータテーブルＴＢ１を用いて、スワイプハンドジェスチャーに対応するコマンドとして、スワイプ操作を示すコマンドを取得する。

制御部１００は、ＲＡＭ（又はＨＤＤ９２）に記憶した情報、つまり、ホーム画面においてカーソルＣＲが停止した対応位置Ｐ２を示す情報を用いて、カーソルＣＲが停止した対応位置Ｐ２を特定する。すなわち、制御部１００は、ハンドジェスチャーの直前のカーソルＣＲを特定する。そして、制御部１００は、表示部４７３の表示画面上のカーソルＣＲの位置に対して、コマンド取得部１０４により取得されたコマンド（ここでは、スワイプ操作を示すコマンド）に対応する操作を行う（Ｓ１３）。すなわち、制御部１００は、図１１（Ｃ）に示す表示画面をスワイプ操作する制御を行う。図１１（Ｃ）は、スワイプハンドジェスチャーによりスワイプされて表示部に表示された第１画面を示す図である。表示部４７３の表示画面が、図１１（Ｂ）に示す第２画面用画像ＳＳから滑り方向Ｄ１と同じ方向であるスワイプ方向Ｄ２に移動されて、図１１（Ｃ）に示す第１画面用画像ＦＳが表示される。

ところで、Ｓ１０において、図１２（Ａ）に示すピンチアウトハンドジェスチャーがあった場合について説明する。図１２（Ａ）は、ピンチアウトハンドジェスチャーを示す図である。図１２（Ａ）に示すピンチアウトハンドジェスチャーは、人差し指Ｆ１と親指Ｆ２と中指Ｆ３とを接触させて人差し指Ｆ１だけを離す動作を示すハンドジェスチャーである。

ハンドジェスチャー認識部１０３は、ハンドジェスチャーとして認識した場合（Ｓ１０でＹＥＳ）、カメラ６０の複数の撮像画像から検出された、ユーザーの右手の人差し指Ｆ１と親指Ｆ２と中指Ｆ３とを接触させて人差し指Ｆ１だけを離す動作を示す移動軌跡が、ＨＤＤ９２に記憶された予め定められた複数のジェスチャーを示す各軌跡のいずれに一致するかを判定する（Ｓ１１）。

ここでは、ハンドジェスチャー認識部１０３は、上記の移動軌跡が、ＨＤＤ９２に記憶されたピンチアウトハンドジェスチャーが示す軌跡と一致すると判定する（Ｓ１１でＹＥＳ）。このため、ハンドジェスチャー認識部１０３は、ユーザーにより行われたジェスチャーがピンチアウトハンドジェスチャーであると認識する。

コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得する（Ｓ１２）。ここで、コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーがピンチアウトハンドジェスチャーであれば、図４に示すデータテーブルＴＢ１を用いて、ピンチアウトハンドジェスチャーに対応するコマンドとして、ピンチアウト操作を示すコマンドを取得する。

制御部１００は、ＲＡＭ（又はＨＤＤ９２）に記憶した情報、つまり、ホーム画面においてカーソルＣＲが停止した対応位置Ｐ２を示す情報を用いて、カーソルＣＲが停止した対応位置Ｐ２を特定する。すなわち、制御部１００は、ハンドジェスチャーの直前のカーソルＣＲを特定する。そして、制御部１００は、表示部４７３の表示画面上のカーソルＣＲの位置に対して、コマンド取得部１０４により取得されたコマンド（ここでは、ピンチアウト操作を示すコマンド）に対応する操作を行う（Ｓ１３）。すなわち、制御部１００は、表示部４７３の表示画面のカーソルＣＲを中心に、当該表示画面の中心部分を拡大表示させるピンチアウト操作する制御を行う。

ところで、Ｓ１０において、図１２（Ｂ）に示すピンチインハンドジェスチャーがあった場合について説明する。図１２（Ｂ）は、ピンチインハンドジェスチャーを示す図である。図１２（Ｂ）に示すピンチインハンドジェスチャーは、親指Ｆ２と中指Ｆ３とを接触させた状態で人差し指Ｆ１を親指Ｆ２又は中指Ｆ３に近づけるか又は接触させる動作を示すハンドジェスチャーである。

ハンドジェスチャー認識部１０３は、ハンドジェスチャーとして認識した場合（Ｓ１０でＹＥＳ）、カメラ６０の複数の撮像画像から検出された、ユーザーの右手の親指Ｆ２と中指Ｆ３とを接触させて人差し指Ｆ１を親指Ｆ２又は中指Ｆ３に近づけるか又は接触させる動作を示す移動軌跡が、ＨＤＤ９２に記憶された予め定められた複数のジェスチャーを示す各軌跡のいずれに一致するかを判定する（Ｓ１１）。

ここでは、ハンドジェスチャー認識部１０３は、上記の移動軌跡が、ＨＤＤ９２に記憶されたピンチインハンドジェスチャーが示す軌跡と一致すると判定する（Ｓ１１でＹＥＳ）。このため、ハンドジェスチャー認識部１０３は、ユーザーにより行われたジェスチャーがピンチインハンドジェスチャーであると認識する。

コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得する（Ｓ１２）。ここで、コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーがピンチインハンドジェスチャーであれば、図４に示すデータテーブルＴＢ１を用いて、ピンチインハンドジェスチャーに対応するコマンドとして、ピンチイン操作を示すコマンドを取得する。

制御部１００は、ＲＡＭ（又はＨＤＤ９２）に記憶した情報、つまり、ホーム画面においてカーソルＣＲが停止した対応位置Ｐ２を示す情報を用いて、カーソルＣＲが停止した対応位置Ｐ２を特定する。すなわち、制御部１００は、ハンドジェスチャーの直前のカーソルＣＲを特定する。そして、制御部１００は、表示部４７３の表示画面上のカーソルＣＲの位置に対して、コマンド取得部１０４により取得されたコマンド（ここでは、ピンチイン操作を示すコマンド）に対応する操作を行う（Ｓ１３）。すなわち、制御部１００は、表示部４７３の表示画面のカーソルＣＲを中心に、当該表示画面を縮小表示させるピンチイン操作する制御を行う。

ところで、Ｓ１０において、図１２（Ｃ）に示すローテートハンドジェスチャーがあった場合について説明する。図１２（Ｃ）は、ローテートハンドジェスチャーを示す図である。図１２（Ｃ）に示すローテートハンドジェスチャーは、親指Ｆ２と中指Ｆ３とを接触させた状態とし、かつ、人差し指Ｆ１を親指Ｆ２及び中指Ｆ３から離した状態で、手首を右回り又は左回りに回す動作を示すハンドジェスチャーである。

ハンドジェスチャー認識部１０３は、ハンドジェスチャーとして認識した場合（Ｓ１０でＹＥＳ）、カメラ６０の複数の撮像画像から検出された、ユーザーの右手の親指Ｆ２と中指Ｆ３とを接触させた状態とし、かつ、人差し指Ｆ１を親指Ｆ２及び中指Ｆ３から離した状態で、手首を右回り又は左回りに回す動作を示す移動軌跡が、ＨＤＤ９２に記憶された予め定められた複数のジェスチャーを示す各軌跡のいずれに一致するかを判定する（Ｓ１１）。

ここでは、ハンドジェスチャー認識部１０３は、上記の移動軌跡が、ＨＤＤ９２に記憶されたローテートハンドジェスチャーが示す軌跡と一致すると判定する（Ｓ１１でＹＥＳ）。このため、ハンドジェスチャー認識部１０３は、ユーザーにより行われたジェスチャーがローテートハンドジェスチャーであると認識する。

コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーに対応付けられたコマンドをＨＤＤ９２から取得する（Ｓ１２）。ここで、コマンド取得部１０４は、ハンドジェスチャー認識部１０３が認識したハンドジェスチャーがローテートハンドジェスチャーであれば、図４に示すデータテーブルＴＢ１を用いて、ローテートハンドジェスチャーに対応するコマンドとして、ローテート操作を示すコマンドを取得する。

制御部１００は、ＲＡＭ（又はＨＤＤ９２）に記憶した情報、つまり、ホーム画面においてカーソルＣＲが停止した対応位置Ｐ２を示す情報を用いて、カーソルＣＲが停止した対応位置Ｐ２を特定する。すなわち、制御部１００は、ハンドジェスチャーの直前のカーソルＣＲを特定する。そして、制御部１００は、表示部４７３の表示画面上のカーソルＣＲの位置に対して、コマンド取得部１０４により取得されたコマンド（ここでは、ローテート操作を示すコマンド）に対応する操作を行う（Ｓ１３）。すなわち、制御部１００は、表示部４７３の表示画面のカーソルＣＲを中心として、右手首を右回りとした場合には右回りのローテート操作する制御を行い、右手首を左回りとした場合には左回りのローテート操作する制御を行う。

図５に戻って、Ｓ１３のあと、制御部１００は、ハンドジェスチャーの終了の有無を判定する（Ｓ１４）。例えば、ユーザーの右手Ｈ１がサムズアップとされたとする。制御部１００は、ハンドジェスチャー認識部１０３がカメラ６０の撮像画像から、ユーザーの右手Ｈ１がサムズアップであるハンドジェスチャーを認識するか、又は、ユーザーが画像形成装置１から離れてユーザー検知センサー８０にて非検知となると、ハンドジェスチャーの終了と判定し（Ｓ１４でＹＥＳ）、本処理を終了させる。なお、制御部１００は、サムズアップのハンドジェスチャーが検出されず、かつ、ユーザーがユーザー検知センサー８０にて検知が維持されている場合（Ｓ１４でＮＯ）、Ｓ６に進む。

このように本実施形態に係る画像形成装置１によれば、特定の指（人差し指Ｆ１）と他の指（親指Ｆ２）とが接触する動作を含むハンドジェスチャーを認識することができる。ユーザーが空中にかざした手によるジェスチャーは、特定の指と他の指とが接触する動作を含むものであり、特定の指と他の指とが接触する触感が得られるハンドジェスチャーとすることができる。言い換えれば、特定の指又は他の指をタッチパネル面と見立てて操作するという触感が得られることから、ハンドジェスチャーによる操作について実感を伴わせることができる。このため、ハンドジェスチャーによる操作の不安定さを解消できる。したがって、操作ミスを低減することができる。

また、制御部１００は、コマンド取得部１０４によりクリック操作を示すコマンドが取得されると、表示部４７３の表示画面上のカーソル位置をクリック操作する制御を行う。すなわち、ユーザーによるクリックハンドジェスチャーがあると、表示部４７３の表示画面上のカーソル位置がクリック操作される。このため、人差し指Ｆ１又は親指Ｆ２をタッチパネル面と見立てて操作するという触感が得られることから、クリックハンドジェスチャーによる操作について実感を伴わせることができる。このため、クリックハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減することができる。

また、制御部１００は、コマンド取得部１０４によりダブルクリック操作を示すコマンドが取得されると、表示部４７３の表示画面上のカーソル位置をダブルクリック操作する制御を行う。すなわち、ユーザーによるダブルクリックハンドジェスチャーがあると、表示部４７３の表示画面上のカーソル位置がダブルクリック操作される。このため、人差し指Ｆ１又は親指Ｆ２をタッチパネル面と見立てて操作するという触感が得られることから、ダブルクリックハンドジェスチャーによる操作について実感を伴わせることができる。このため、ダブルクリックハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減することができる。

また、制御部１００は、コマンド取得部１０４により長押し操作を示すコマンドが取得されると、表示部４７３の表示画面上のカーソル位置を長押し操作する制御を行う。すなわち、ユーザーによる長押しハンドジェスチャーがあると、表示部４７３の表示画面上のカーソル位置が長押し操作される。このため、人差し指Ｆ１又は親指Ｆ２をタッチパネル面と見立てて操作するという触感が得られることから、長押しハンドジェスチャーによる操作について実感を伴わせることができる。このため、長押しハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減することができる。

また、制御部１００は、コマンド取得部１０４によりドラッグコマンドが取得されると、表示部４７３の表示画面上のカーソル位置を開始角部ＳＰ１とし、移動先を、前記開始角部ＳＰ１を一端とする対角線の他端に位置する終点角部ＳＰ２とする矩形状範囲Ａ１を選択し、コマンド取得部１０４によりドロップコマンドが取得されると、矩形状範囲Ａ１を指定するドラッグアンドドロップ操作する制御を行う。すなわち、ユーザーによるドラッグアンドドロップハンドジェスチャー（ドラッグジェスチャー及びドロップジェスチャーからなる）があると、表示部４７３の表示画面上のカーソル位置から移動先までの矩形状範囲Ａ１を指定するドラッグアンドドロップ操作が行われる。このため、人差し指Ｆ１又は親指Ｆ２をタッチパネル面と見立てて操作するという触感が得られることから、ドラッグアンドドロップハンドジェスチャーによる操作について実感を伴わせることができる。このため、ドラッグアンドドロップハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減することができる。

また、制御部１００は、コマンド取得部１０４によりスワイプ操作を示すコマンドが取得されると、表示部４７３の表示画面を滑り方向に移動させるスワイプ操作する制御を行う。すなわち、ユーザーによるスワイプハンドジェスチャーがあると、表示部４７３の表示画面を滑り方向に移動させるスワイプ操作が行われる。このため、人差し指Ｆ１又は親指Ｆ２をタッチパネル面と見立てて操作するという触感が得られることから、スワイプハンドジェスチャーによる操作について実感を伴わせることができる。このため、スワイプハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減することができる。

また、制御部１００は、コマンド取得部１０４によりピンチアウト操作を示すコマンドが取得されると、表示部４７３の表示画面上のカーソル位置を中心としてピンチアウト操作する制御を行う。すなわち、ユーザーによるピンチアウトハンドジェスチャーがあると、表示部４７３の表示画面上のカーソル位置を中心としてピンチアウト操作が行われる。このため、人差し指Ｆ１と親指Ｆ２と中指Ｆ３とを接触させて人差し指Ｆ１だけを離すという触感が得られることから、ピンチアウトハンドジェスチャーによる操作について実感を伴わせることができる。このため、ピンチアウトハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減することができる。

また、制御部１００は、コマンド取得部１０４によりピンチイン操作を示すコマンドが取得されると、表示部４７３の表示画面上のカーソル位置を中心としてピンチイン操作する制御を行う。すなわち、ユーザーによるピンチインハンドジェスチャーがあると、表示部４７３の表示画面上のカーソル位置を中心としてピンチイン操作が行われる。このため、親指Ｆ２と中指Ｆ３とをタッチパネル面と見立てて操作するという触感が得られることから、ピンチインハンドジェスチャーによる操作について実感を伴わせることができる。このため、ピンチインハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減することができる。

また、制御部１００は、コマンド取得部１０４によりローテート操作を示すコマンドが取得されると、表示部４７３の表示画面上のカーソル位置を中心として表示画面をローテートさせるローテート操作する制御を行う。すなわち、ユーザーによるローテートハンドジェスチャーがあると、表示部４７３の表示画面上のカーソル位置を中心としてローテート操作が行われる。このため、親指Ｆ２と中指Ｆ３とを接触させるという触感が得られることから、ローテートハンドジェスチャーによる操作について実感を伴わせることができる。このため、ローテートハンドジェスチャーによる操作の不安定さを解消でき、操作ミスを低減することができる。

また、ハンドジェスチャー認識部１０３は、特定の指の移動が停止した後、特定の指（人差し指Ｆ１）と他の指（親指Ｆ２）とが接触する動作が予め定められた時間内にあった場合、又は、特定の指と他の指とが接触するまでの移動速度又は移動加速度が閾値以上である場合、ハンドジェスチャーとして認識する。このため、特定の指と他の指とが接触する触感が得られるハンドジェスチャーを正確に認識することができる。

なお、本発明は上記実施の形態の構成に限られず種々の変形が可能である。例えば、上記実施形態では、電子機器として画像形成装置１を例示しているが、画像形成装置１以外のパーソナルコンピューター、サーバー、携帯情報端末などの電子機器に広く適用が可能である。

また、上記実施形態では、ユーザーの右手でハンドジェスチャーを行っているが、左手であっても構わない。

また、上記実施形態において、図１乃至図１２（Ｃ）を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。

１ 画像形成装置
６０ カメラ
９２ ＨＤＤ（記憶部）
１００ 制御部
１０１ 指位置特定部
１０２ 表示制御部
１０３ ジェスチャー認識部
１０４ コマンド取得部
４７３ 表示部

Claims (11)

1. 表示部と、
   ユーザーの空中にかざした手を撮像するカメラと、
   前記カメラの撮像画像から前記ユーザーの空中にかざした手における特定の指を特定すると共に、前記撮像画像中における前記特定の指の位置を特定する指位置特定部と、
   前記指位置特定部により特定された前記特定の指の位置が対応する前記表示部の表示画面上の対応位置にカーソルを表示させる表示制御部と、
   前記特定の指と他の指とが接触する動作を少なくとも含む予め定められた複数のハンドジェスチャーと、前記複数のハンドジェスチャー毎に対応付けられた各コマンドとを予め記憶する記憶部と、
   前記カメラから順次に得られる複数の撮像画像からハンドジェスチャーを認識するハンドジェスチャー認識部と、
   前記ハンドジェスチャー認識部が認識した前記ハンドジェスチャーに対応付けられたコマンドを前記記憶部から取得するコマンド取得部と、
   前記表示部の表示画面上のカーソル位置に対して、前記コマンド取得部により取得された前記コマンドに対応する操作を行う制御部と、を備える電子機器。
2. 前記特定の指は人差し指であり、前記他の指は親指であり、
   前記記憶部は、前記複数のハンドジェスチャーうちの１つのハンドジェスチャーとして、人差し指と親指とを接触させて離す動作を示すクリックハンドジェスチャーを記憶し、前記クリックハンドジェスチャーに対応付けられた前記コマンドとして、クリック操作を示すコマンドを記憶し、
   前記コマンド取得部は、前記ハンドジェスチャー認識部が認識した前記クリックハンドジェスチャーに対応付けられたコマンドを前記記憶部から取得し、
   前記制御部は、前記コマンド取得部により前記クリック操作を示すコマンドが取得されると、前記表示部の表示画面上のカーソル位置をクリック操作する制御を行う請求項１に記載の電子機器。
3. 前記特定の指は人差し指であり、前記他の指は親指であり、
   前記記憶部は、前記複数のハンドジェスチャーうちの１つのハンドジェスチャーとして、人差し指と親指とを接触させて離すことを２回素早く行う動作を示すダブルクリックハンドジェスチャーを記憶し、前記ダブルクリックハンドジェスチャーに対応付けられた前記コマンドとして、ダブルクリック操作を示すコマンドを記憶し、
   前記コマンド取得部は、前記ハンドジェスチャー認識部が認識した前記ダブルクリックハンドジェスチャーに対応付けられたコマンドを前記記憶部から取得し、
   前記制御部は、前記コマンド取得部により前記ダブルクリック操作を示すコマンドが取得されると、前記表示部の表示画面上のカーソル位置をダブルクリック操作する制御を行う請求項１に記載の電子機器。
4. 前記特定の指は人差し指であり、前記他の指は親指であり、
   前記記憶部は、前記複数のハンドジェスチャーうちの１つのハンドジェスチャーとして、人差し指と親指とを接触させた接触状態のままで動かさずに予め定められた時間以上継続された後に人差し指と親指とを離す動作を示す長押しハンドジェスチャーを記憶し、前記長押しハンドジェスチャーに対応付けられた前記コマンドとして、長押し操作を示すコマンドを記憶し、
   前記コマンド取得部は、前記ハンドジェスチャー認識部が認識した前記長押しハンドジェスチャーに対応付けられたコマンドを前記記憶部から取得し、
   前記制御部は、前記コマンド取得部により前記長押し操作を示すコマンドが取得されると、前記表示部の表示画面上のカーソル位置を長押し操作する制御を行う請求項１に記載の電子機器。
5. 前記特定の指は人差し指であり、前記他の指は親指であり、
   前記記憶部は、前記複数のハンドジェスチャーうちの１つのハンドジェスチャーとして、人差し指と親指とを接触させた接触状態とし、当該接触状態のままで移動先まで手を動かすドラッグ動作を示すドラッグジェスチャー及び当該ドラッグジェスチャーをした後に当該移動先において人差し指と親指とを離すドロップ動作を示すドロップジェスチャーからなるドラッグアンドドロップジェスチャーを記憶し、前記ドラッグアンドドロップハンドジェスチャーに対応付けられた前記コマンドとして、ドラッグ操作を示すドラッグコマンドとドロップ操作を示すドロップコマンドを記憶し、
   前記コマンド取得部は、前記ハンドジェスチャー認識部が認識した前記ドラッグアンドドロップハンドジェスチャーに対応付けられた前記ドラッグコマンド及び前記ドロップコマンドを順次に前記記憶部から取得し、
   前記制御部は、前記コマンド取得部により前記ドラッグコマンドが取得されると、前記表示部の表示画面上のカーソル位置を開始角部とし、前記移動先を、前記開始角部を一端とする対角線の他端に位置する終点角部とする矩形状範囲を選択し、前記コマンド取得部により前記ドロップコマンドが取得されると、前記矩形状範囲を指定するドラッグアンドドロップ操作する制御を行う請求項１に記載の電子機器。
6. 前記特定の指は人差し指であり、前記他の指は親指であり、
   前記記憶部は、前記複数のハンドジェスチャーうちの１つのハンドジェスチャーとして、人差し指と親指とを接触させて一方の指を滑り方向に滑らす動作を示すスワイプハンドジェスチャーを記憶し、前記スワイプハンドジェスチャーに対応付けられた前記コマンドとして、スワイプ操作を示すコマンドを記憶し、
   前記コマンド取得部は、前記ハンドジェスチャー認識部が認識した前記スワイプハンドジェスチャーに対応付けられたコマンドを前記記憶部から取得し、
   前記制御部は、前記コマンド取得部により前記スワイプ操作を示すコマンドが取得されると、前記表示部の表示画面を前記滑り方向に移動させるスワイプ操作する制御を行う請求項１に記載の電子機器。
7. 前記特定の指は人差し指であり、前記他の指は親指及び中指を含み、
   前記記憶部は、前記複数のハンドジェスチャーうちの１つのハンドジェスチャーとして、人差し指と親指と中指とを接触させて人差し指だけを離す動作を示すピンチアウトハンドジェスチャーを記憶し、前記ピンチアウトハンドジェスチャーに対応付けられた前記コマンドとして、ピンチアウト操作を示すコマンドを記憶し、
   前記コマンド取得部は、前記ハンドジェスチャー認識部が認識した前記ピンチアウトハンドジェスチャーに対応付けられたコマンドを前記記憶部から取得し、
   前記制御部は、前記コマンド取得部により前記ピンチアウト操作を示すコマンドが取得されると、前記表示部の表示画面上のカーソル位置を中心としてピンチアウト操作する制御を行う請求項１に記載の電子機器。
8. 前記特定の指は人差し指であり、前記他の指は親指及び中指を含み、
   前記記憶部は、前記複数のハンドジェスチャーうちの１つのハンドジェスチャーとして、親指と中指とを接触させた状態として人差し指を親指又は中指に近づけるか又は接触させる動作を示すピンチインハンドジェスチャーを記憶し、前記ピンチインハンドジェスチャーに対応付けられた前記コマンドとして、ピンチイン操作を示すコマンドを記憶し、
   前記コマンド取得部は、前記ハンドジェスチャー認識部が認識した前記ピンチインハンドジェスチャーに対応付けられたコマンドを前記記憶部から取得し、
   前記制御部は、前記コマンド取得部により前記ピンチイン操作を示すコマンドが取得されると、前記表示部の表示画面上のカーソル位置を中心としてピンチイン操作する制御を行う請求項１に記載の電子機器。
9. 前記特定の指は人差し指であり、前記他の指は親指及び中指を含み、
   前記記憶部は、前記複数のハンドジェスチャーうちの１つのハンドジェスチャーとして、親指と中指とを接触させた状態とし、かつ、人差し指を親指及び中指から離した状態で、手首を右回り又は左回りに回す動作を示すローテートハンドジェスチャーを記憶し、前記ローテートハンドジェスチャーに対応付けられた前記コマンドとして、ローテート操作を示すコマンドを記憶し、
   前記コマンド取得部は、前記ハンドジェスチャー認識部が認識した前記ローテートハンドジェスチャーに対応付けられたコマンドを前記記憶部から取得し、
   前記制御部は、前記コマンド取得部により前記ローテート操作を示すコマンドが取得されると、前記表示部の表示画面上のカーソル位置を中心としてローテート操作する制御を行う請求項１に記載の電子機器。
10. 前記ハンドジェスチャー認識部は、前記特定の指の移動が停止した後、前記特定の指と前記他の指とが接触する動作が予め定められた時間内にあった場合、又は、前記特定の指と他の指とが接触するまでの移動速度又は移動加速度が閾値以上である場合、前記ハンドジェスチャーとして認識する請求項１乃至請求項９の何れか１項に記載の電子機器。
11. 請求項１乃至請求項１０の何れかに記載の電子機器と、
    記録媒体に画像を形成する画像形成部と、を備える画像形成装置。

Images