JP2016162209A - 入力システム、入力装置およびプログラム - Google Patents

Abstract

【課題】閾値を変化させない場合と比較して、操作者の意図に応じた動作の認識を行うことを目的とする。【解決手段】画像を表示する表示パネル２と、表示パネル２の画像を操作するためのジェスチャを行う操作者の指先の位置を検知する検知センサと、表示パネル２から予め定められた距離に閾値を設定し、操作者の指先が表示パネル２に近づいて操作者の指先の位置が閾値以上となった場合に、ジェスチャに基づいて表示パネル２の画像を操作する制御部と、操作者の指先の位置が閾値以上となった場合に、操作者の指先の位置が閾値から離れるまで閾値を操作者の指先の位置に変更する閾値変更部とを備える入力システムである。【選択図】図５

Description

本発明は、入力システム、入力装置およびプログラムに関する。

従来、表示パネル等の表示手段に表示される画像に対して、ジェスチャ（動作）等により非接触で操作を実行する情報入力システムが存在する。
例えば、特許文献１には、ユーザの手指の撮像画像に基づいてユーザの手指の位置を求め、予め設定されるジェスチャ認識領域内にユーザの手指が存在するときのみ、ジェスチャに対応する動作制御指示を出力するジェスチャ入力装置が開示されている。

特開２０１２−１４６２３６号公報

ところで、ジェスチャにより非接触で操作を実行する情報入力システムには、３次元空間上で、表示手段に対する奥行き方向に予め定めた閾値を設定し、ジェスチャを行う操作者の指先等の座標がその閾値を越えた場合に、表示手段に表示される画像を変化させる情報入力システムが存在する。このような情報入力システムでは、通常、操作者は閾値を視認することはできないため、例えば操作者が閾値から指先等を離そうとしてジェスチャを行った場合でも、操作者の指先等が閾値を越えた状態が維持される場合がある。この場合、表示手段に表示される画像に対して操作者が意図した操作がなされないおそれがある。
本発明は、閾値を変化させない場合と比較して、操作者の意図に応じた動作の認識を行うことを目的とする。

請求項１に係る発明は、画像を表示する表示手段と、前記表示手段の画像を操作するための動作を行う操作者の動作部の位置を検知する検知手段と、前記表示手段から予め定められた距離に閾値を設定し、前記動作部が当該表示手段に近づいて当該動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する制御手段と、前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値を当該動作部の位置に変更する閾値変更手段とを備える入力システムである。
請求項２に係る発明は、前記制御手段は、前記閾値変更手段により変更された後の前記閾値から前記動作部の位置が離れた場合に、前記動作に基づく画像の操作を終了することを特徴とする請求項１に記載の入力システムである。
請求項３に係る発明は、前記閾値変更手段は、前記閾値から前記動作部の位置が離れた場合に、当該閾値を予め定めた初期値に戻すことを特徴とする請求項１または２に記載の入力システムである。
請求項４に係る発明は、前記閾値変更手段は、前記動作部が予め定めた速度以上で前記表示手段から離れた場合に、当該動作部の位置が前記閾値から離れたと判断することを特徴とする請求項３に記載の入力システムである。
請求項５に係る発明は、前記閾値変更手段は、前記動作部が前記閾値から予め定めた距離だけ離れた場合に、当該動作部の位置が当該閾値から離れたと判断することを特徴とする請求項３に記載の入力システムである。
請求項６に係る発明は、前記距離は、前記動作部の位置から離れるほど大きく設定されることを特徴とする請求項５に記載の入力システムである。
請求項７に係る発明は、表示手段に表示される画像を操作するための動作を行う操作者の動作部の位置を検知する検知手段と、前記表示手段から予め定められた距離に閾値を設定し、前記動作部が当該表示手段に近づいて当該動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する制御手段と、前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値を当該動作部の位置に変更する閾値変更手段とを備える入力装置である。
請求項８に係る発明は、コンピュータに、表示手段に表示される画像を操作するための動作を行う操作者の動作部の位置を認識する機能と、前記表示手段から予め定められた距離に閾値を設定する機能と、前記動作部が前記表示手段に近づいて前記動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する機能と、前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値に当該動作部の位置を代入する機能とを実現させるプログラムである。

請求項１に係る発明によれば、閾値を変化させない場合と比較して、操作者の意図に応じた動作の認識を行うことが可能になる。
請求項２に係る発明によれば、操作者の意図に応じて画像の操作を終了させることが可能になる。
請求項３に係る発明によれば、閾値を初期値に戻させない場合と比較して、操作者の意図に応じて動作を開始させることが可能になる。
請求項４に係る発明によれば、操作者の意図に応じて画像の操作を終了させることが可能になる。
請求項５に係る発明によれば、操作者の意図に応じて画像の操作を終了させることが可能になる。
請求項６に係る発明によれば、操作者の動作部の動きに対応させて画像の操作を終了させることが可能になる。
請求項７に係る発明によれば、閾値を変化させない場合と比較して、操作者の意図に応じた動作の認識を行うことが可能になる。
請求項８に係る発明によれば、閾値を変化させない場合と比較して、操作者の意図に応じた動作の認識を行うことが可能になる。

本実施の形態が適用される情報入力システムの全体構成を示した図である。 本実施の形態が適用される情報入力システムの機能構成を示した図である。 （ａ）〜（ｂ）は、本実施の形態が適用される情報入力システムにて、入力装置により行われる処理の概略を示した模式図である。 本実施の形態の制御部により行われる閾値を変更する処理の手順を示したフローチャートである。 （ａ）〜（ｂ）は、図４に示した処理が行われる場合のユーザの指先と閾値との関係を示した図である。 指先が閾値から離れたと判定する制御の一例を示した図である。 従来の情報入力システムにて生じる課題について説明するための図である。

以下、添付図面を参照して、本発明における実施の形態について詳細に説明する。
図１は、本実施の形態が適用される情報入力システム１の全体構成を示した図である。図１に示すように、情報入力システム１は、画像を表示する表示手段の一例としての表示パネル２と、ユーザ（操作者）のジェスチャ（動作）による情報入力を受け付ける入力装置３とを備えている。本実施の形態の情報入力システム１では、入力装置３の後述する検知センサ４（後述する図２参照）によりユーザのジェスチャが検知され、検知されたジェスチャに基づいて、表示パネル２に表示される画像が操作される。この例では、ユーザの手指Ｈによるジェスチャが検知され、手指Ｈのジェスチャに基づいて、表示パネル２に表示される画像が操作される。

本実施の形態の情報入力システム１は、例えば情報入力システム１に接続された外部装置（図示せず）の操作等に用いられ、表示パネル２には、外部装置の操作画面等が表示される。このような外部装置としては、例えば画像形成装置、画像読取装置、ＦＡＸ等を備える複合機等が挙げられる。そして、本実施の形態の情報入力システム１では、ユーザのジェスチャにより、表示パネル２に表示される操作画面に対する操作が非接触で行われるようになっている。
このように、本実施の形態の情報入力システム１は、非接触による外部装置の操作が可能であるため、医療現場や飲食店、食品製造工場等のような衛生的な環境が求められる場所において特に好適に用いられる。

表示パネル２は、表示手段の一例であり、後述する制御部５（後述する図２参照）からの情報に基づき、画像を表示する。表示パネル２は、例えば液晶ディスプレイ、プラズマディスプレイ等により構成される。

続いて、本実施の形態の入力装置３の機能について説明する。図２は、本実施の形態が適用される情報入力システム１の機能構成を示した図である。
図２に示すように、本実施の形態の入力装置３は、ユーザによるジェスチャを検知する検知手段の一例としての検知センサ４と、検知センサ４による検知結果に基づいて表示パネル２に表示される画像の制御を行う制御手段の一例としての制御部５とを備えている。

検知センサ４は、例えば、ユーザの体の予め定めた部位やユーザが所持する道具等の動作部の位置を三次元で検知する。検知センサ４は、ユーザの体の部位やユーザが所持する道具等の動作部の位置を検知可能であれば特に限定されないが、例えば赤外線センサ、レーザセンサ等を用いることができる。本実施の形態の検知センサ４は、動作部として、ジェスチャを行うユーザの指先の位置を検知する。
詳細については後述するが、本実施の形態の情報入力システム１では、検知センサ４は、表示パネル２から予め定めた距離以内の範囲を検知範囲Ａ１（後述する図３（ａ）〜（ｂ）参照）とし、この検知範囲Ａ１内にユーザの指先が進入した場合に、ユーザの指先の三次元位置を検知する。そして、検知センサ４は、検知結果に基づきユーザの指先の三次元座標を制御部５に出力する。

制御部５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）により構成されている。ＲＯＭは、ＣＰＵにより実行される制御プログラムを記憶している。ＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出し、ＲＡＭを作業エリアにして制御プログラムを実行する。

本実施の形態において制御手段および閾値変更手段を構成する制御部５は、図２に示すように、検知センサ４に検知されたジェスチャに関する情報を取得するジェスチャ受付部５１と、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報に基づきジェスチャを判定するジェスチャ判定部５２と、を備えている。また、制御部５は、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報およびジェスチャ判定部５２の判定結果に基づきジェスチャが行われる領域を判定する領域判定部５３と、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報および領域判定部５３の判定結果に基づき、後述する閾値Ｚｔを変更する閾値変更手段の一例としての閾値変更部５４と、後述する初期閾値および閾値変更部５４にて変更された後の閾値を記憶する閾値記憶部５５と、を備えている。さらに、制御部５は、ジェスチャ判定部５２の判定結果に基づいて表示パネル２に表示される画像を制御する描画制御部５６を備えている。

図３（ａ）〜（ｂ）は、本実施の形態が適用される情報入力システム１にて、入力装置３により行われる制御の概略を示した模式図である。
本実施の形態の情報入力システム１では、図３（ａ）〜（ｂ）に示すように、表示パネル２の正面（画像が表示される側）であって、表示パネル２からの距離が予め定めた範囲の領域を検知センサ４（図２参照）によるジェスチャの検知範囲Ａ１としている。そして、検知範囲Ａ１にユーザの指先が進入した場合に、検知センサ４により指先の位置が検知され、制御部５は、検知センサ４による検知結果に基づいて表示パネル２に表示される画像を制御する。

本実施の形態では、図３（ａ）〜（ｂ）に示すように、表示パネル２を正面側から見た場合の左から右へ向かう方向をＸ方向、下から上に向かう方向をＹ方向、Ｘ方向およびＹ方向に直交し表示パネル２に近づく方向（表示パネル２の奥行き方向）をＺ方向とする。
そして、本実施の形態の制御部５は、検知範囲Ａ１内にＸＹ平面に沿いｚ座標が閾値Ｚｔである閾値面Ｔを設定し、ユーザの指先の位置と閾値面Ｔとの関係に応じて、表示パネル２に表示される画像を制御している。具体的には、本実施の形態の制御部５は、検知範囲Ａ１内を、閾値面Ｔを境界として、ｚ座標が閾値Ｚｔ以上でありユーザによる指先のジェスチャを有効なものとして認識するジェスチャ有効領域Ｂ１と、ｚ座標が閾値Ｚｔ未満でありユーザによる指先のジェスチャの認識を解除するジェスチャ解除領域Ｂ２と、に分けている。なお、閾値Ｚｔは、制御部５により設定される値であり、閾値Ｚｔ（閾値面Ｔ）は、ユーザによっては視認できないものである。言い換えると、ユーザは、指先がジェスチャ有効領域Ｂ１に存在するか、またはジェスチャ解除領域Ｂ２に存在するかについては、視認できないようになっている。
続いて、図２および図３（ａ）〜（ｂ）を用いて、制御部５の各構成について詳細に説明する。

ジェスチャ受付部５１は、検知センサ４から、ジェスチャに関する情報として、ジェスチャを行うユーザの指先の三次元座標を取得する。具体的には、ジェスチャ受付部５１は、ユーザの指先の三次元座標として、検知範囲Ａ１内でのＸ方向の座標（ｘ座標）、Ｙ方向の座標（ｙ座標）およびＺ方向の座標（ｚ座標）を取得する。

ジェスチャ判定部５２は、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報に基づいて、ユーザによるジェスチャが、予め定めた種類のジェスチャであるか否かの判定を行う。具体的には、ジェスチャ判定部５２は、ユーザによるジェスチャが、例えば、タップ動作、フリック動作、ピンチ動作等の予め定めたジェスチャに該当するか否かの判定を行う。また、ジェスチャ判定部５２は、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報に基づいて、ユーザによる指先の移動速度等を認識する。

領域判定部５３は、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報に基づき、ジェスチャを行うユーザの指先が閾値面Ｔを超えたか否かの判定を行う閾値判定部５３１と、閾値判定部５３１による判定結果に基づいて、ユーザの指先の位置に応じて閾値Ｚｔを変化させる閾値変更モードを設定するモード設定部５３２と、を有する。

閾値判定部５３１は、ジェスチャ受付部５１にて受け付けたユーザの指先のｚ座標と、閾値記憶部５５にて記憶されている閾値Ｚｔとを比較し、ユーザの指先のｚ座標が閾値Ｚｔ以上であるか否かの判定を行う。なお、詳細については後述するが、ユーザの指先がジェスチャ有効領域Ｂ１内に進入する前の状態では、閾値Ｚｔは、予め定められた初期値Ｚａに設定されている（Ｚｔ＝Ｚａ）。
モード設定部５３２は、ユーザの指先が閾値面Ｔを超えジェスチャ有効領域Ｂ１内に進入した場合、すなわち、閾値判定部５３１により指先のｚ座標が閾値Ｚｔ以上であると判定された場合に、閾値変更モードを設定する。また、モード設定部５３２は、ユーザの指先がジェスチャ有効領域Ｂ１からジェスチャ解除領域Ｂ２へ移動した場合、すなわち、ユーザの指先が閾値面Ｔから離れ閾値判定部５３１により指先のｚ座標が閾値Ｚｔ未満であると判定された場合に、閾値変更モードを解除する。

閾値変更部５４は、ジェスチャ受付部５１にて受け付けたジェスチャに関する情報、領域判定部５３による判定結果に基づいて、閾値Ｚｔを変更する。具体的には、閾値変更部５４は、領域判定部５３のモード設定部５３２により閾値変更モードが設定されている場合、ジェスチャ受付部５１にて受け付けたユーザの指先のｚ座標を、閾値Ｚｔとして代入する。これにより、閾値変更モードが設定されている場合には、閾値Ｚｔ（閾値面Ｔ）は、ユーザの指先の位置に追従して変更されるようになる。
また、閾値変更部５４は、モード設定部５３２により閾値変更モードが解除された場合には、閾値Ｚｔを初期値Ｚａに戻す処理を行う。具体的には、閾値変更部５４は、モード設定部５３２により閾値変更モードが解除された場合、閾値Ｚｔを予め定めた割合で徐々に小さくすることで、初期値Ｚａに近づけていく。なお、本実施の形態において、閾値Ｚｔは、初期値Ｚａ未満にはならないようになっている。

閾値記憶部５５は、初期値Ｚａを記憶する。さらに、閾値記憶部５５は、領域判定部５３のモード設定部５３２により閾値変更モードが設定されている場合には、閾値変更部５４により変更された後の閾値Ｚｔを記憶する。

描画制御部５６は、ジェスチャ判定部５２により判定されたジェスチャの種類および領域判定部５３の閾値判定部５３１により判定されたユーザの指先と閾値Ｚｔとの関係等の情報に基づいて、表示パネル２に表示される画像を制御する。すなわち、描画制御部５６は、ユーザのジェスチャが、ジェスチャ判定部５２にて予め定められた種類のジェスチャと判定され、閾値判定部５３１によりジェスチャ有効領域Ｂ１内で行われたと判定された場合に、ジェスチャを有効なものとして表示パネル２に表示される画像に対して予め定めた操作を行う。予め定められた種類のジェスチャとしては、上述したように、タップ動作、フリック動作、ドラッグ動作、ピンチ動作等が挙げられる。

ここで、例えば、タップ動作は、検知範囲Ａ１内において、ユーザの指先が、Ｘ方向およびＹ方向に移動することなく、Ｚ方向（表示パネル２に近づく方向）へ移動した後−Ｚ方向（表示パネル２から離れる方向）に戻される動作である。タップ動作は、ユーザの指先がＺ方向へ移動して閾値面Ｔを超えてジェスチャ解除領域Ｂ２からジェスチャ有効領域Ｂ１へ進入した場合に、表示パネル２に表示される画像を操作するジェスチャとして有効と判断される。また、タップ動作は、ユーザの指先が−Ｚ方向へ移動して閾値面Ｔから離れてジェスチャ有効領域Ｂ１からジェスチャ解除領域Ｂ２へ移動した場合に、ジェスチャが終了したものと判断される。
なお、タップ動作は、例えば表示パネル２に表示される画像を選択する場合等に行われる。

フリック動作またはドラッグ動作は、検知範囲Ａ１内において、ユーザの指先が、Ｚ方向へ移動し、続いてＸ方向および／またはＹ方向に移動した後、−Ｚ方向に戻される動作である。フリック動作またはドラッグ動作は、ユーザの指先が閾値面Ｔを超えてジェスチャ有効領域Ｂ１内でＸ方向および／またはＹ方向に移動した場合に、表示パネル２に表示される画像を操作するジェスチャとして有効と判断される。また、フリック動作またはドラッグ動作は、ユーザの指先がＸ方向および／またはＹ方向に移動した後に、−Ｚ方向へ移動して閾値面Ｔから離れてジェスチャ有効領域Ｂ１からジェスチャ解除領域Ｂ２へ移動した場合に、ジェスチャが終了したものと判断される。
なお、フリック動作は、例えば表示パネル２に表示される画像を異なる画像に切り替える際に行われ、通常、ドラッグ動作と比較して素早く指先を動かす動作である。また、ドラッグ動作は、例えば表示パネル２に表示される画像を、表示パネル２上の他の領域に移動させる際に行われ、通常、フリック動作と比較して指先の移動速度が遅く、また指先の移動距離が長いことが多い。

ピンチ動作は、検知範囲Ａ１内において、ユーザの２本の指等がＺ方向へ移動し、続いて２本の指のＸＹ平面に沿った距離が変更された後、これらの２本の指が−Ｚ方向に戻される動作である。ピンチ動作は、閾値面Ｔを超えてジェスチャ有効領域Ｂ１内でユーザの２本の指の間の距離が変更された場合に、表示パネル２に表示される画像を操作するジェスチャとして有効と判断される。また、ピンチ動作は、ユーザの２本の指の間の距離が変更された後に、これらの指が−Ｚ方向へ移動して閾値面Ｔから離れてジェスチャ有効領域Ｂ１からジェスチャ解除領域Ｂ２へ移動した場合に、ジェスチャが終了したものと判断される。
なお、ピンチ動作は、例えば表示パネル２に表示される画像を縮小・拡大する際に行われる。

このように、本実施の形態の情報入力システム１では、ジェスチャを行うユーザの指先の位置と閾値Ｚｔとの関係により、表示パネル２に表示される画像の操作が行われる。
そして、情報入力システム１においてユーザの意図通りに画像の操作を行うためには、ジェスチャを行うユーザの指先の位置と閾値Ｚｔ（閾値面Ｔ）との関係をユーザの意図通りにする必要がある。より具体的には、ユーザが画像の操作を終了しようとして指先を−ｚ方向に移動させた場合に、ユーザの意図通りにユーザの指先が閾値Ｚｔから離れてジェスチャ解除領域Ｂ２へ移動し、ユーザの意図通りにジェスチャが終了することが望まれる。特に、ユーザが複数のジェスチャを連続して行い画像の操作を連続して行うような場合には、ジェスチャをユーザの意図通りに終了し、次のジェスチャをユーザの意図通りに開始することが望まれる。

ジェスチャを行うユーザの指先等の位置と閾値Ｚｔとの関係に応じて表示パネル２に表示される画像の操作を行う情報入力システム１では、閾値Ｚｔが予め定めた値（例えば初期値Ｚａ）に固定されている場合、ユーザの意図通りにジェスチャを終了することが難しいという課題が存在する。
図７は、従来の情報入力システム１にて生じる課題について説明するための図である。

上述したように、情報入力システム１において閾値Ｚｔ（閾値面Ｔ）は、ユーザによって視認できないため、ユーザは、指先がジェスチャ有効領域Ｂ１およびジェスチャ解除領域Ｂ２のいずれに存在するか視認できないようになっている。
このため、例えば、ユーザが表示パネル２に表示される画像を操作するジェスチャ（この例では、フリック動作）を終了させるために、図７において破線矢印Ｐで示すように指先を−Ｚ方向に移動させて指先をジェスチャ解除領域Ｂ２に移動させようとした場合であっても、指先のｚ座標が閾値Ｚｔを超えたまま維持される場合がある。この場合、ユーザの指先がジェスチャ有効領域Ｂ１に存在するため、ユーザの意図通りにジェスチャを終了することができない。
また、この場合、ユーザが次の異なる操作を連続して行うために指先を再びＺ方向に移動させても、前のジェスチャが終了していないため、次の操作を意図通りに開始することができない。

これに対し、本実施の形態の情報入力システム１では、ユーザの指先の位置に応じて閾値Ｚｔを変更することにより、ユーザがジェスチャを行った場合に、ユーザの意図しない操作が行われることを抑制している。
続いて、本実施の形態の情報入力システム１において、制御部５により行われる閾値Ｚｔを変更する制御について、詳細に説明する。図４は、本実施の形態の制御部５により行われる閾値Ｚｔを変更する処理の手順を示したフローチャートである。

まず、ユーザによりジェスチャが行われユーザの指先が検知範囲Ａ１内に進入すると、検知センサ４によりユーザがジェスチャを行う指先の位置が検知される。そして、ジェスチャ受付部５１により、検知センサ４にて検知されたジェスチャに関する情報が取得される（ステップ１０１）。この例では、ジェスチャに関する情報として、ユーザの指先の三次元座標等が取得される。ステップ１０１にてジェスチャ受付部５１にて取得されるユーザの指先の三次元座標（ｘ座標,ｙ座標,ｚ座標）を、（Ｘｎ,Ｙｎ,Ｚｎ）とする。

続いて、ステップ１０１にてジェスチャ受付部５１により取得された指先の三次元座標に基づいて、領域判定部５３の閾値判定部５３１により、ユーザの指先のｚ座標（Ｚｎ）が、閾値Ｚｔ以上であるか否かの判定が行われる（ステップ１０２）。なお、閾値Ｚｔは、ユーザの指先が検知範囲Ａ１に進入した当初は、予め定めた初期値Ｚａに設定されている。

次いで、閾値判定部５３１により、指先のｚ座標（Ｚｎ）が閾値Ｚｔ以上であると判定された場合（Ｚｎ≧Ｚｔ；ステップ１０２にてＹＥＳ）、モード設定部５３２により、閾値変更モードが設定される（ステップ１０３）。

次いで、閾値変更部５４により、閾値Ｚｔが、初期値Ｚａからステップ１０１にて取得されたユーザの指先のｚ座標（Ｚｎ）に変更される（Ｚｔ＝Ｚｎ）（ステップ１０４）。言い換えると、ユーザの指先のｚ座標（Ｚｎ）が、閾値Ｚｔと等しい状態となる。

続いて、ジェスチャ受付部５１により再び移動後の指先の三次元座標が取得される（ステップ１０５）。ステップ１０５にて取得される移動後の指先の三次元座標（ｘ座標,ｙ座標,ｚ座標）を、（Ｘｎ´,Ｙｎ´,Ｚｎ´）とする。
続いて、ステップ１０５にてジェスチャ受付部５１により取得された移動後の指先の三次元座標に基づいて、領域判定部５３の閾値判定部５３１により、移動後の指先が、ステップ１０４にて変更された閾値Ｚｔ（＝ｚｎ、閾値面Ｔ）から離れたか否かの判定が行われる（ステップ１０６）。なお、指先が閾値Ｚｔ（閾値面Ｔ）から離れたか否かを判定する方法については後述する。

ステップ１０６にて指先が閾値Ｚｔ（閾値面Ｔ）から離れていないと判定された場合（ステップ１０６にてＮＯ）、閾値変更部５４により、閾値Ｚｔが、ステップ１０４にて設定された値Ｚｎからステップ１０５にて取得された移動後の指先のｚ座標（Ｚｎ´）に変更される（Ｚｔ＝Ｚｎ´）（ステップ１０７）。
その後、モード設定部５３２により引き続き閾値変更モードが設定されたまま、ステップ１０５に戻り、処理を継続する。これにより、閾値判定部５３１により指先が閾値Ｚｔから離れたと判定されるまでの間、ユーザのジェスチャによる移動する指先の位置に、閾値Ｚｔが追従して変更されることになる。

一方、ステップ１０６にて指先が閾値Ｚｔ（閾値面Ｔ）から離れていると判定された場合（ステップ１０６にてＹＥＳ）、モード設定部５３２により閾値変更モードが解除される（ステップ１０８）。
続いて、閾値変更部５４により、閾値Ｚｔを初期値Ｚａに戻す処理が実行され（ステップ１０９）、一連の処理が終了する。具体的には、閾値Ｚｔを、予め定めた割合で徐々に小さくすることで、初期値Ｚａに戻す。なお、本実施の形態において、閾値Ｚｔは、初期値Ｚａ未満の値にはならないようになっている。

また、ステップ１０２において、閾値判定部５３１により、指先のｚ座標（Ｚｎ）が閾値Ｚｔ未満であると判定された場合（Ｚｎ＜Ｚｔ；ステップ１０２にてＮＯ）、閾値変更モードが設定されることなく、一連の処理が終了する。

図５（ａ）〜（ｂ）は、図４に示した処理が行われる場合のユーザの指先と閾値Ｚｔ（閾値面Ｔ）との関係を示した図である。
図５（ａ）にてＨ１で示す位置にユーザの指先がＺ方向に移動され、移動後の指先のｚ座標（Ｚ１）が閾値Ｚｔ（初期値Ｚａ）を超えた場合、モード設定部５３２により閾値変更モードが設定され、図５に示すように、閾値Ｚｔが指先のｚ座標（Ｚ１）に変更される。さらにユーザの指先がＨ１からＨ２へＺ方向に移動された場合、閾値Ｚｔが移動後の指先のｚ座標（Ｚ２）に変更される。このように、本実施の形態では、ユーザの指先が初期値Ｚａ以上の範囲でＺ方向に移動した場合、ユーザの指先の移動に追従して閾値Ｚｔが変更される。

また、閾値Ｚｔが移動後の指先のｚ座標（Ｚ２）に変更された後、さらにユーザの指先がＨ２からＨ３へ−Ｚ方向に移動され、閾値判定部５３１により指先が閾値Ｚｔから離れたと判定された場合、図５（ｂ）に示すように、閾値Ｚｔを移動前の指先のｚ座標（Ｚ２）から初期値Ｚａに戻す処理が行われる。すなわち、閾値ＺｔをＺ２から徐々に小さくする処理が行われる。
なお、さらにユーザの指先がＨ３からＨ４へ−Ｚ方向へ移動され、指先のｚ座標が初期値Ｚａよりも小さくなった場合、閾値Ｚｔは、初期値Ｚａへ戻された後、初期値Ｚａよりも小さくはならないようになっている。

続いて、ステップ１０６において閾値判定部５３１によりユーザの指先が閾値Ｚｔ（閾値面Ｔ）から離れたか否かを判定する方法について説明する。
上述したように、閾値変更モードが設定されている場合、ユーザの指先の位置に閾値Ｚｔ（閾値面Ｔ）が追従するようになっている。閾値判定部５３１は、ユーザにより指先が−Ｚ方向に移動された場合に、指先が変更後の閾値Ｚｔ（閾値面Ｔ）から離れたと判定することができる。この場合、ユーザがジェスチャを終了しようとして指先を−Ｚ方向に移動した場合に、すみやかに指先が閾値Ｚｔから離れたと判定されるため、ユーザの意図に沿って表示パネル２に表示される画像の操作を終了することが可能になる。

また、閾値判定部５３１は、ユーザにより予め定めた速度で指先が−Ｚ方向に移動された場合に、指先が閾値Ｚｔ（閾値面Ｔ）から離れたと判定することができる。ここで、通常、ドラッグ動作等のように指先を検知範囲Ａ１内で長期間移動させるようなジェスチャと、フリック動作等のように指先を速く移動させるようなジェスチャとでは、ユーザがジェスチャを終了しようとして指先を−Ｚ方向へ移動させる際の移動速度が異なりやすい。したがって、閾値判定部５３１は、ジェスチャ判定部５２により判定されるジェスチャの種類に応じて、指先が閾値Ｚｔから離れたと判定する指先の速度を異ならせてもよい。この場合、ユーザが行うジェスチャの種類に応じてジェスチャの終了が認識されるため、ユーザの意図に沿った操作が行われやすくなる。

さらに、閾値判定部５３１は、ユーザにより指先が−Ｚ方向に移動された場合に、ユーザの指先の位置が閾値Ｚｔから予め定めた距離だけ離れた場合に、指先が閾値Ｚｔ（閾値面Ｔ）から離れたと判定することができる。
図６は、指先が閾値Ｚｔから離れたと判定する制御の一例を示した図である。図６に示すように、例えばユーザにより指先が−Ｚ方向に移動された場合に、指先が閾値Ｚｔから離れたと判定する距離ΔＺを、検知範囲Ａ１内で異ならせてもよい。具体的には、図６に示すように、移動前の指先の位置（Ｈａ）を基準として、Ｘ方向の両端に向かうほど、距離ΔＺを大きくすることが好ましい。通常、ユーザがジェスチャを行う場合、手首を中心として指先を動かす。このため、例えば指先をＸ方向に動かすジェスチャを行う場合、Ｘ方向に向かうに従い指先が表示パネル２から離れやすい。したがって、指先が閾値Ｚｔから離れたと判定する距離ΔＺをＸ方向の両端に向かうほど大きく設定することで、ユーザの意図によらず指先が閾値Ｚｔから離れたと判定されることが抑制され、ユーザの意図によらない操作がなされることが抑制される。
また、図示は省略するが、指先が閾値Ｚｔから離れたと判定する距離ΔＺを、移動前の指先の位置（Ｈａ）を基準として、Ｙ方向の両端に向かうほど大きく設定してもよい。

以上説明したように、本実施の形態では、ユーザがジェスチャを行いユーザの指先の位置が予め定めた閾値Ｚｔ以上となった場合に、指先が閾値Ｚｔから離れたと判定されるまでの間、閾値Ｚｔに指先のｚ座標を代入している。言い換えると、閾値Ｚｔが、ユーザの指先のｚ座標に追従して変更されるようになっている。
これにより、ユーザがジェスチャを終了しようとして指先等を動かした場合に、ユーザの意図に沿って閾値Ｚｔから離れた位置に移動されやすくなる。すなわち、ユーザがジェスチャを終了しようとして指先等を動かした場合に、ユーザの指先等が閾値Ｚｔ以上の範囲（ジェスチャ有効領域Ｂ１）に残った状態が維持され難くなる。
これにより、ユーザの意図に沿ってジェスチャが終了されやすくなり、ユーザの意図に沿って表示パネル２の画像が操作される。

１…情報入力システム、２…表示パネル、３…入力装置、４…検知センサ、５…制御部、５１…ジェスチャ受付部、５２…ジェスチャ判定部、５３…領域判定部、５４…閾値変更部、５５…閾値記憶部、５６…描画制御部

Claims (8)

1. 画像を表示する表示手段と、
   前記表示手段の画像を操作するための動作を行う操作者の動作部の位置を検知する検知手段と、
   前記表示手段から予め定められた距離に閾値を設定し、前記動作部が当該表示手段に近づいて当該動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する制御手段と、
   前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値を当該動作部の位置に変更する閾値変更手段とを備える入力システム。
2. 前記制御手段は、前記閾値変更手段により変更された後の前記閾値から前記動作部の位置が離れた場合に、前記動作に基づく画像の操作を終了することを特徴とする請求項１に記載の入力システム。
3. 前記閾値変更手段は、前記閾値から前記動作部の位置が離れた場合に、当該閾値を予め定めた初期値に戻すことを特徴とする請求項１または２に記載の入力システム。
4. 前記閾値変更手段は、前記動作部が予め定めた速度以上で前記表示手段から離れた場合に、当該動作部の位置が前記閾値から離れたと判断することを特徴とする請求項３に記載の入力システム。
5. 前記閾値変更手段は、前記動作部が前記閾値から予め定めた距離だけ離れた場合に、当該動作部の位置が当該閾値から離れたと判断することを特徴とする請求項３に記載の入力システム。
6. 前記距離は、前記動作部の位置から離れるほど大きく設定されることを特徴とする請求項５に記載の入力システム。
7. 表示手段に表示される画像を操作するための動作を行う操作者の動作部の位置を検知する検知手段と、
   前記表示手段から予め定められた距離に閾値を設定し、前記動作部が当該表示手段に近づいて当該動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する制御手段と、
   前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値を当該動作部の位置に変更する閾値変更手段とを備える入力装置。
8. コンピュータに、
   表示手段に表示される画像を操作するための動作を行う操作者の動作部の位置を認識する機能と、
   前記表示手段から予め定められた距離に閾値を設定する機能と、
   前記動作部が前記表示手段に近づいて前記動作部の位置が当該閾値以上となった場合に、前記動作に基づいて当該表示手段の画像を操作する機能と、
   前記動作部の位置が前記閾値以上となった場合に、当該動作部の位置が当該閾値から離れるまで当該閾値に当該動作部の位置を代入する機能とを実現させるプログラム。

Images