JP2006048329A - 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム - Google Patents

Abstract

【課題】 低コストで表示手段に対する指示動作を認識することのできる指示動作認識装置、指示動作認識方法及び指示動作認識プログラムを得る。
【解決手段】 ディスプレイ装置２０の表示領域２２に各々個別の指示領域を示す複数の指示ボタン２４Ａ〜２４Ｆを予め定められた列方向に並べた状態で表示すると共に、各々前記複数の指示ボタン２４Ａ〜２４Ｆの１つに対応し、対応する指示ボタンの表示位置に対する方向で、かつ少なくとも当該指示ボタンが含まれる距離の範囲内における物体を検知する複数のセンサ３２Ａ〜３２Ｆを、ディスプレイ装置２０の表示領域２２における一端部近傍に対して前記列方向に沿った方向に配置し、複数のセンサ３２Ａ〜３２Ｆの何れかにより物体が検知されたとき、当該センサに対応する指示ボタン２４がユーザにより指示されたものとして特定する。
【選択図】 図２

Description

本発明は、指示動作認識装置、指示動作認識方法及び指示動作認識プログラムに係り、より詳しくは、人によるＣＲＴディスプレイ装置、液晶ディスプレイ装置等の表示手段の表示領域における所望の位置を指示する指示動作を認識する指示動作認識装置、指示動作認識方法及び指示動作認識プログラムに関する。

従来、医薬品工場、食品工場等では、手の衛生状態を保ったまま医薬品や食品等を製造しているため、製造物を製造している途中でコンピュータ端末装置を操作する場合等には、手袋を外してから当該操作を行い、当該操作の終了後は手をアルコール等によって消毒してから再び手袋をはめる、といった煩雑な作業が必要であった。このようなことのために、衛生管理を徹底しなければならない職場等では、情報化が思うように進まない、という問題があった。

この問題を解決するために適用できる技術として、従来、所定の情報を表示するディスプレイ装置、ディスプレイ装置の近傍に到来した利用者を互いに異なる方向から撮像する撮像手段を備え、利用者がディスプレイ上の任意の位置を指等によって指し示した状況を複数の撮像手段によって撮像し、撮像によって得られた複数の画像に基づいて利用者を認識し、利用者が指示したディスプレイ上の位置を判断し、ディスプレイ上の指示位置にカーソル等を表示すると共に、利用者がクリック動作を行ったことを検出すると、ディスプレイ上の指示位置がクリックされたものと認識して所定の処理を行うハンドポインティング装置が知られている（例えば、特許文献１、特許文献２、特許文献３参照。）。

上記のハンドポインティング装置によれば、利用者がキーボードやマウス等の入力機器に触れることなく、情報処理装置に対して各種の指示を与えたり、各種の情報を入力することが可能となるので、情報処理装置を利用する際に上記のように手袋を外すといった煩雑な作業を行う必要がなくなる。
特開平４−２７１４２３号公報 特開平５−１９９５７号公報 特開平５−３２４１８１号公報

しかしながら、上記の従来のハンドポインティング装置では、比較的高価格な撮像手段を複数必要とすると共に、高度な画像処理技術を用いるため、コストが高い、という問題点があった。

本発明は上記問題点を解決するためになされたものであり、低コストで表示手段に対する指示動作を認識することのできる指示動作認識装置、指示動作認識方法及び指示動作認識プログラムを提供することを目的とする。

上記目的を達成するために、請求項１記載の指示動作認識装置は、表示領域に各々個別の指示領域を示す複数の指示枠が予め定められた列方向に並べられた状態で表示される表示手段と、各々前記複数の指示枠の１つに対応し、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置されると共に、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段と、前記複数の物体検知手段の何れかにより物体が検知されたとき、当該物体検知手段に対応する前記指示枠が指示されたものとして特定する指示特定手段と、を備えている。

請求項１記載の指示動作認識装置では、表示手段の表示領域に各々個別の指示領域を示す複数の指示枠が予め定められた列方向に並べた状態で表示されると共に、各々前記複数の指示枠の１つに対応し、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段が、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置される。なお、上記表示手段には、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマ・ディスプレイ装置、有機ＥＬディスプレイ装置等のディスプレイ装置が含まれる。また、上記物体検知手段には、反射型モーションセンサ（一例として、商品名：反射型ＭＡモーションセンサ、松下電工株式会社製）が含まれる。

ここで、本発明では、前記複数の物体検知手段の何れかにより物体が検知されたとき、指示特定手段により、当該物体検知手段に対応する前記指示枠が指示されたものとして特定される。

すなわち、本発明では、表示手段の表示領域に各々個別の指示領域を示す複数の指示枠を予め定められた列方向に並べた状態で表示すると共に、各々前記複数の指示枠の１つに対応し、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段を、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置しており、これによってユーザが指先によって表示手段の表示領域に表示された複数の指示枠のうちの所望の指示枠を当該表示手段には非接触の状態で指し示す動作を当該指示枠に対応して配置された物体検知手段により検知することができるようにしている。

そして、本発明では、前記複数の物体検知手段の何れかによってユーザの指先が上記物体として検知されたとき、当該物体検知手段に対応する前記指示枠がユーザによって指示されたものとして特定するようにしており、これによって、ユーザによる表示手段に対する指示動作を認識することができるようにしている。

以上のような指示動作の認識は、前述した従来のハンドポインティング装置のように、比較的高価格な撮像手段や高度な画像処理技術は必要ないため、低コストで実現することができる。

このように、請求項１記載の指示動作認識装置によれば、表示手段の表示領域に各々個別の指示領域を示す複数の指示枠を予め定められた列方向に並べた状態で表示すると共に、各々前記複数の指示枠の１つに対応し、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段を、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置し、前記複数の物体検知手段の何れかにより物体が検知されたとき、当該物体検知手段に対応する前記指示枠が指示されたものとして特定しているので、低コストで表示手段に対する指示動作を認識することができる。

なお、本発明は、請求項２に記載の発明のように、前記複数の物体検知手段の互いに隣接するものによる物体の検知のタイミングをずらすように前記複数の物体検知手段を制御する制御手段を更に備えるものとすることができる。これによって、互いに隣接する物体検知手段により同一の物体（ユーザの指先）を検知してしまうことを回避することができ、利便性を向上させることができる。

また、本発明は、請求項３に記載の発明のように、前記複数の物体検知手段を、前記表示手段の表示領域における上端部近傍に対して配置するものとすることができる。これによって、複数の物体検知手段を表示領域における下端部や、左端部、右端部に設ける場合に比較して、物体検知手段に対する塵埃等の付着を抑制することができると共に、表示手段に対して指示を行う際の自由度を向上させることができる。

更に、本発明は、請求項４に記載の発明のように、前記表示手段を、前記指示枠が前記列方向及び当該列方向に直交する行方向の２方向に並べられた状態で表示されるものとし、前記複数の物体検知手段を、前記行方向に表示される指示枠に対応するように前記表示手段の表示面に対して垂直方向に複数組並べて配置すると共に、対応する指示枠の表示位置に対する方向で、かつ当該指示枠が含まれる距離までの範囲内における物体を検知するものとすることができる。これによって、指示可能な指示枠を表示手段における表示領域に２次元配置することができ、利便性を向上させることができる。

特に、請求項４に記載の発明は、請求項５に記載の発明のように、前記複数組の物体検知手段を、前記表示手段の表示面から離れるほど物体の検知方向が当該表示面方向に傾くように配置することにより、各組の物体検知手段による前記表示手段の表示面とは反対側の物体の検知開始位置と当該表示面との間の当該表示面に対する垂直方向の距離が略同一となるようにするものとすることができる。これによって、各物体検知手段によってユーザの指先が検知される位置までの距離を、各物体検知手段間で略同一とすることができ、指示のための操作感を向上させることができる。

また、本発明は、請求項６に記載の発明のように、前記複数の物体検知手段による物体の検知領域と前記表示手段の表示面との間に前記物体の検知領域側から進入した物体を検知する第２の物体検知手段を更に備え、前記指示特定手段は、前記第２の物体検知手段によって物体の進入が検知されたタイミングで、その直前に特定した指示枠が最終的に指示されたものとして特定するものとすることができる。これによって、前記複数の物体検知手段によってユーザの指先を検知した際にユーザによって指示された指示枠を仮に特定し、これに引き続いて前記第２の物体検知手段によってユーザの指先を検知した際にユーザによって指示された指示枠を確定する、といったクリック動作の認識を可能とすることができ、利便性を向上させることができる。

特に、請求項６に記載の発明は、請求項７に記載の発明のように、前記複数の物体検知手段による物体の検知領域と前記第２の物体検知手段による物体の検知領域との間に平面状に可視光を照射する照射手段を更に備えるものとすることができる。これにより、照射手段による可視光が指先に照射された際の当該指先の位置を視覚的に確認させることで、クリック動作に移行される位置をユーザに対して把握させることができるため、更に利便性を向上させることができる。なお、上記第２の物体検知手段には、反射型モーションセンサ（一例として、商品名：反射型ＭＡモーションセンサ、松下電工株式会社製）が含まれる。

更に、本発明は、請求項８に記載の発明のように、前記複数の指示枠を、各々指示された際に実行される予め定められた処理が割り振られたものとし、前記指示特定手段によって指示された指示枠が特定されたとき、当該指示枠に割り振られた処理を実行する指示処理実行手段を更に備えたものとすることができる。これによって、ユーザの指先の指示動作のみによって所望の処理を実行させることができる。

一方、上記目的を達成するために、請求項９記載の指示動作認識方法は、表示手段の表示領域に各々個別の指示領域を示す複数の指示枠を予め定められた列方向に並べた状態で表示すると共に、各々前記複数の指示枠の１つに対応し、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段を、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置し、前記複数の物体検知手段の何れかにより物体が検知されたとき、当該物体検知手段に対応する前記指示枠が指示されたものとして特定するものである。

従って、請求項９記載の指示動作認識方法によれば、請求項１記載の発明と同様に作用するので、請求項１記載の発明と同様に、低コストで表示手段に対する指示動作を認識することができる。

なお、請求項９記載の発明は、請求項１０に記載の発明のように、前記複数の物体検知手段の互いに隣接するものによる物体の検知のタイミングをずらすように前記複数の物体検知手段を制御するものとすることができる。これにより、互いに隣接する物体検知手段により同一の物体（ユーザの指先）を検知してしまうことを回避することができ、利便性を向上させることができる。

また、請求項９又は請求項１０に記載の発明は、請求項１１に記載の発明のように、前記表示手段の表示領域に前記指示枠を前記列方向及び当該列方向に直交する行方向の２方向に並べた状態で表示し、前記複数の物体検知手段を、前記行方向に表示される指示枠に対応するように前記表示手段の表示面に対して垂直方向に複数組並べて配置すると共に、対応する指示枠の表示位置に対する方向で、かつ当該指示枠が含まれる距離までの範囲内における物体を検知するものとすることができる。これにより、指示可能な指示枠を表示手段における表示領域に２次元配置することができ、利便性を向上させることができる。

一方、上記目的を達成するために、請求項１２記載の指示動作認識プログラムは、表示領域に各々個別の指示領域を示す複数の指示枠が予め定められた列方向に並べられた状態で表示される表示手段と、各々前記複数の指示枠の１つに対応し、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置されると共に、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段と、を備えた指示動作認識装置において実行される指示動作認識プログラムであって、前記複数の物体検知手段の何れかにより物体が検知されたとき、当該物体検知手段に対応する前記指示枠が指示されたものとして特定する指示特定ステップをコンピュータに実行させるものである。

従って、請求項１２記載の指示動作認識プログラムによれば、請求項１記載の発明と同様に作用するので、請求項１記載の発明と同様に、低コストで表示手段に対する指示動作を認識することができる。

なお、請求項１２記載の発明は、請求項１３に記載の発明のように、前記複数の物体検知手段の互いに隣接するものによる物体の検知のタイミングをずらすように前記複数の物体検知手段を制御する制御ステップを更にコンピュータに実行させるものとすることができる。これにより、互いに隣接する物体検知手段により同一の物体（ユーザの指先）を検知してしまうことを回避することができ、利便性を向上させることができる。

また、請求項１２又は請求項１３に記載の発明は、請求項１４に記載の発明のように、前記複数の指示枠を、各々指示された際に実行される予め定められた処理が割り振られたものとし、前記指示特定ステップによって指示された指示枠が特定されたとき、当該指示枠に割り振られた処理を実行する指示処理実行ステップを更にコンピュータに実行させるものとすることができる。これにより、ユーザの指先の指示動作のみによって所望の処理を実行させることができる。

本発明によれば、表示手段の表示領域に各々個別の指示領域を示す複数の指示枠を予め定められた列方向に並べた状態で表示すると共に、各々前記複数の指示枠の１つに対応し、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段を、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置し、前記複数の物体検知手段の何れかにより物体が検知されたとき、当該物体検知手段に対応する前記指示枠が指示されたものとして特定しているので、低コストで表示手段に対する指示動作を認識することができる、という効果が得られる。

以下、図面を参照して、本発明を実施するための最良の形態について詳細に説明する。なお、ここでは、本発明をユーザによる指示動作の対象となるディスプレイ装置と、当該ディスプレイ装置に対する画像表示の制御やユーザによる指示動作の認識等を行うパーソナル・コンピュータ（以下、「ＰＣ」という。）とを含んで構成された指示動作認識システムに適用した場合について説明する。

［第１の実施の形態］
まず、図１を参照して、本実施の形態に係る指示動作認識システム１０の構成を説明する。

同図に示すように、本実施の形態に係る指示動作認識システム１０には、各種画像を表示する表示手段としてのディスプレイ装置２０と、ユーザによる指先での指示動作を検知するセンサ部３０と、指示動作認識システム１０全体の作動を司るＰＣ４０と、が備えられている。

ここで、ディスプレイ装置２０は接続ケーブル５０を介してＰＣ４０に電気的に接続されており、ディスプレイ装置２０に対する画像表示の制御はＰＣ４０によって行われる。また、センサ部３０に備えられている複数のセンサ３２もまた接続ケーブル５２を介してＰＣ４０に電気的に接続されており、ＰＣ４０は、センサ部３０によるユーザの指示動作の検知結果に基づいてユーザからの指示を特定したり、特定した指示に応じた処理を実行したりする。

本実施の形態では、センサ部３０における複数のセンサ３２とＰＣ４０との間はセンサ３２と同数の信号線によって接続されており、ＰＣ４０は、作動を制御するための制御信号を各センサ３２に対して個別かつ並行して出力することができると共に、各センサ３２からの物体の検知結果を示す検知信号を並行して入力することができる。但し、これに限定されず、センサ部３０とＰＣ４０との間をＵＳＢ（Universal Serial Bus）等のシリアル・インタフェース規格を適用したシリアル通信により相互通信可能に構成することもできる。

次に、図２を参照して、本実施の形態に係るディスプレイ装置２０における指示ボタン（本発明の「指示枠」に相当。）の表示状態と、センサ部３０の構成を説明する。

図２（Ａ）に示すように、本実施の形態に係るディスプレイ装置２０の表示領域２２には、ユーザにより指先にて非接触で指示される複数（ここでは、６個）の指示ボタン２４Ａ〜２４ＦがＰＣ４０によって表示される。

ここで、指示ボタン２４Ａ〜２４Ｆは、予め定められた列方向（ここでは、同図水平方向）に並べられた状態で表示される。

一方、前述したように、センサ部３０には、複数（ここでは、指示ボタン２４Ａ〜２４Ｆと同数の６個）のセンサ（本発明の「物体検知手段」に相当。）３２Ａ〜３２Ｆが備えられている。

ここで、センサ３２Ａ〜３２Ｆは、図２（Ａ）及び図２（Ｂ）に示すように、各々前記複数の指示ボタン２４Ａ〜２４Ｆの何れか１つに対応し、ディスプレイ装置２０の表示領域２２における一端部近傍（ここでは、上端部近傍）に対して前記列方向（指示ボタン２４Ａ〜２４Ｆの配列方向）に沿った方向に配置されると共に、対応する指示ボタン２４Ａ〜２４Ｆの表示位置に対する方向で、かつ少なくとも当該指示ボタンが含まれる距離の範囲内における物体を検知するものとされている。

なお、本実施の形態に係るセンサ３２Ａ〜３２Ｆは、各々、予め定められた方向に対して予め設定された距離の範囲内に存在する物体を、当該予め定められた方向に対してセンサ側から光（ここでは、近赤外光）３４を照射し、その反射光を検知することによって検知する反射型モーションセンサとされている。そして、各センサ３２Ａ〜３２Ｆは、上記予め定められた方向が対応する指示ボタン２４Ａ〜２４Ｆの表示位置に対する方向となるように配置されると共に、上記予め設定された距離が対応する指示ボタン２４Ａ〜２４Ｆが含まれる距離となるように設定されている。なお、センサ３２Ａ〜３２Ｆは、光を利用した反射型モーションセンサに限らず、例えば、超音波を利用した反射型モーションセンサを適用することもできる。

なお、これ以降、表記を簡略化するために、指示ボタン２４Ａ〜２４Ｆを「指示ボタン２４」と表記したり、センサ３２Ａ〜３２Ｆを「センサ３２」と表記することがある。

次に、図３を参照して、本実施の形態に係るＰＣ４０の電気系の主要構成を説明する。

同図に示すように、ＰＣ４０は、ＰＣ４０全体の動作を司るＣＰＵ（中央処理装置）４１と、ＣＰＵ４１による各種プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）４２と、各種制御プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）４３と、各種情報を記憶するために用いられるハードディスク４４と、ユーザからの各種情報等の入力に使用するキーボード４５及びマウス４６と、本ＰＣ４０による処理結果や各種メニュー画面、メッセージ等を表示するディスプレイ装置４７と、外部に接続された装置との間の各種情報の授受を司る外部インタフェース４８と、が備えられており、これら各部はシステムバスＢＵＳにより相互に接続されている。なお、外部インタフェース４８には、接続ケーブル５０を介してディスプレイ装置２０が電気的に接続されると共に、接続ケーブル５２を介してセンサ部３０の各センサ３２が電気的に接続される。

従って、ＣＰＵ４１は、ＲＡＭ４２、ＲＯＭ４３、及びハードディスク４４に対するアクセス、キーボード４５及びマウス４６を介した各種情報の取得、ディスプレイ装置４７に対する各種情報の表示、及び外部インタフェース４８を介したディスプレイ装置２０への各種情報の表示とセンサ部３０との間の相互通信、を各々行うことができる。

図４には、ＰＣ４０に備えられたハードディスク４４の主な記憶内容が模式的に示されている。同図に示すように、ハードディスク４４には、各種テーブル情報を記憶するためのテーブル領域ＴＢと、各種処理を行うためのプログラムを記憶するためのプログラム領域ＰＧと、が設けられている。

また、テーブル領域ＴＢには、後述する指示動作認識プログラム（図６も参照。）の実行時に用いられる操作機能テーブルＴＢ１が予め記憶されている。

操作機能テーブルＴＢ１は、一例として図５に示すように、ディスプレイ装置２０の表示領域２２を図２垂直方向（行方向）及び水平方向（列方向）の２方向に対して、各々ｎ行及びｍ列に分割し、各分割領域毎に操作名、操作機能、活動区分、及び操作区分の各情報がテーブル形式で記憶されて構成されている。

なお、同図に示す操作機能テーブルＴＢ１における画面位置情報（同図では、「画面位置」と表記。）は、上記分割領域の画面上の位置をＴ（行，列）として行列形式で表したものであり、当該画面位置情報によって示される分割領域は、ユーザにより指先にて非接触で指示される指示ボタン２４が表示され得る領域である。

図２に示すように、本実施の形態に係る指示動作認識システム１０では、ディスプレイ装置２０に表示する指示ボタン２４が１行分のみであるので、図５に示すように、本実施の形態に係る操作機能テーブルＴＢ１では、画面位置情報としてＴ（１，１）からＴ（１，ｍ）までの１行分の情報のみが記憶されている。

一方、操作機能テーブルＴＢ１の操作名情報（同図では、「操作名」と表記。）は、対応する画面位置情報によって示される分割領域に表示された指示ボタン２４がユーザによって指示された際に実行される操作の名称を示す情報である。

また、操作機能情報（同図では、「操作機能」と表記。）は、対応する画面位置情報によって示される分割領域に表示された指示ボタン２４がユーザによって指示された際に実行される操作の内容を示す情報である。

また、活動区分情報（同図では、「活動区分」と表記。）は、対応する画面位置情報によって示される分割領域をユーザによる指示対象として適用するか否かを示す情報である。本実施の形態では、適用する場合は‘１’を、適用しない場合は‘０’を、各々記憶するものとしている。

更に、操作区分情報（同図では、「操作区分」と表記。）は、対応する画面位置情報によって示される分割領域に表示された指示ボタン２４がユーザによって指示された際に実行される操作の種別（ここでは、割り込み処理の実行とアプリケーション・プログラムの実行の２種別）を示す情報である。本実施の形態では、割り込み処理を実行する場合は‘１’を、アプリケーション・プログラムを実行する場合は‘２’を、各々記憶するものとしている。

同図に示す例では、例えば、Ｔ（１，１）に位置する分割領域に表示されている指示ボタン２４には、当該指示ボタン２４がユーザによって指示された際に、その時点で実行されているプログラム（ここでは、アプリケーション・プログラム）を割り込み処理によって強制的に終了させる処理が割り振られていることを表している。また、例えば、Ｔ（１，２）に位置する分割領域に表示されている指示ボタン２４には、当該指示ボタン２４がユーザによって指示された際に、アプリケーション・プログラムＡの実行を開始させる処理が割り振られていることを表している。更に、例えば、Ｔ（１，ｍ）に位置する分割領域はユーザによる指示対象として適用しない（指示ボタン２４を表示しない）ことを表している。

次に、図６を参照して、本実施の形態に係る指示動作認識システム１０の作用を説明する。なお、図６は、ユーザによるキーボード４５、マウス４６の操作により実行指示が入力された際にＣＰＵ４１により実行される指示動作認識プログラムの処理の流れを示すフローチャートであり、当該プログラムはハードディスク４４のプログラム領域ＰＧに予め記憶されている。

まず、同図のステップ１００では、操作機能テーブルＴＢ１をハードディスク４４のテーブル領域ＴＢから読み出し、次のステップ１０２では、読み出した操作機能テーブルＴＢ１に基づいて、対応する活動区分情報として適用することを示す情報（ここでは、‘１’）が記憶されている画面位置情報により示されるディスプレイ装置２０の表示領域２２における分割領域に対して指示ボタン２４を表示する。なお、本ステップ１０２では、指示ボタン２４に対して、対応する操作名情報によって示される操作名を表示するようにしている。

以上の処理によって、ディスプレイ装置２０の表示領域２２には、一例として図２に示すように指示ボタン２４Ａ〜２４Ｆが表示されることになる。なお、同図では、便宜上、各指示ボタン２４Ａ〜２４Ｆに対して「Ａ」、「Ｂ」、・・・、「Ｆ」を表示しているが、実際には、操作機能テーブルＴＢ１に記憶されている操作名が表示される。

このような指示ボタン２４がディスプレイ装置２０によって表示されると、ユーザは、ＰＣ４０に対して実行させたい操作名が表示された指示ボタン２４に指先を接近させることにより、当該指示ボタン２４をディスプレイ装置２０に非接触で指示する。

そこで、次のステップ１０４では、指示位置特定処理プログラム（サブルーチン・プログラム）を実行する。

以下、図７を参照して、本実施の形態に係る指示位置特定処理プログラムについて説明する。

同図のステップ２００では、センサ３２Ａによって物体（ユーザの指先）が検知されたか否かを判定し、肯定判定となった場合はステップ２０２に移行して指示ボタン２４Ａがユーザによって指示されたものとして特定し、その後に本指示位置特定処理プログラムを終了する。

一方、上記ステップ２００において否定判定となった場合はステップ２０４に移行して、センサ３２Ｂによって物体（ユーザの指先）が検知されたか否かを判定し、肯定判定となった場合はステップ２０６に移行して指示ボタン２４Ｂがユーザによって指示されたものとして特定し、その後に本指示位置特定処理プログラムを終了する。

なお、センサ３２Ｃ〜センサ３２Ｆについても上記ステップ２００、ステップ２０４と同様にユーザの指先が検知されたか否かの判定を行い、肯定判定となった場合に上記ステップ２０２、ステップ２０６と同様にユーザの指先を検知したセンサ３２に対応する指示ボタン２４がユーザによって指示されたものとして特定する処理を行った後に本指示位置特定処理プログラムを終了する。そして、指示位置特定処理プログラムを終了すると指示動作認識プログラム（図６参照。）のステップ１０６に戻る。なお、全てのセンサ３２についてユーザの指先が検知されなかった場合（ステップ２０８において否定判定となった場合）には上記ステップ２００に戻ることにより、センサ３２Ａ〜３２Ｆによる指先の検知判定を繰り返すことになる。

指示動作認識プログラムのステップ１０６では、上記ステップ１００において読み出した操作機能テーブルＴＢ１を参照し、上記指示位置特定処理プログラムにおいて特定された指示ボタン２４（以下、「特定指示ボタン」という。）が表示されている分割領域を示す画面位置情報に対応する活動区分情報が、適用することを示す情報（ここでは、‘１’）となっているか否かを判定し、否定判定となった場合は上記ステップ１０４に戻り、肯定判定となった場合はステップ１０８に移行する。

ステップ１０８では、特定指示ボタンが表示されている分割領域を示す画面位置情報に対応する操作区分情報が割り込み処理を実行するもの（ここでは、‘１’）となっているか否かを判定し、肯定判定となった場合はステップ１１０に移行して、特定指示ボタンに対応する操作機能情報によって示される操作を割り込み処理として実行し、その後に本指示動作認識プログラムを終了する。

一方、上記ステップ１０８において否定判定となった場合はステップ１１２に移行し、特定指示ボタンが表示されている分割領域を示す画面位置情報に対応する操作区分情報がアプリケーション・プログラムを実行するもの（ここでは、‘２’）となっているか否かを判定し、肯定判定となった場合はステップ１１４に移行して、特定指示ボタンに対応する操作機能情報によって示されるアプリケーション・プログラムの実行を開始し、その後に本指示動作認識プログラムを終了する。

一方、上記ステップ１１２において否定判定となった場合は、操作区分情報が不適切なものであるものと見なしてステップ１１６に移行し、所定のエラー表示をディスプレイ装置２０に行った後に本指示動作認識プログラムを終了する。

以上詳細に説明したように、本実施の形態では、表示手段（ディスプレイ装置２０）の表示領域に各々個別の指示領域を示す複数の指示枠（指示ボタン２４Ａ〜２４Ｆ）を予め定められた列方向に並べた状態で表示すると共に、各々前記複数の指示枠の１つに対応し、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段（センサ３２Ａ〜３２Ｆ）を、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置し、前記複数の物体検知手段の何れかにより物体が検知されたとき、当該物体検知手段に対応する前記指示枠が指示されたものとして特定しているので、従来のハンドポインティング装置のように、比較的高価格な撮像手段や高度な画像処理技術は必要ないため、低コストで表示手段に対する指示動作を認識することができる。

また、本実施の形態では、前記複数の物体検知手段を、前記表示手段の表示領域における上端部近傍に対して配置しているので、複数の物体検知手段を表示領域における下端部や、左端部、右端部に設ける場合に比較して、物体検知手段に対する塵埃等の付着を抑制することができると共に、表示手段に対して指示を行う際の自由度を向上させることができる。

更に、本実施の形態では、前記複数の指示枠を、各々指示された際に実行される予め定められた処理が割り振られたものとし、指示された指示枠が特定されたとき、当該指示枠に割り振られた処理を実行するようにしているので、ユーザの指先の指示動作のみによって所望の処理を実行させることができる。

［第２の実施の形態］
上記第１の実施の形態では、ユーザによる指示対象となる指示ボタン２４を１行のみ表示する場合の形態例について説明したが、本第２の実施の形態では、指示ボタン２４を複数行表示する場合の形態例について説明する。

本第２の実施の形態に係る指示動作認識システム１０は、上記第１の実施の形態に比較して、ディスプレイ装置２０における指示ボタンの表示状態と、センサ部３０の構成のみが異なっている。

そこで、まず、図８を参照して、本第２の実施の形態に係るディスプレイ装置２０における指示ボタンの表示状態と、センサ部３０の構成を説明する。

図８（Ａ）に示すように、本実施の形態に係るディスプレイ装置２０の表示領域２２には、ユーザにより指先にて非接触で指示される複数（ここでは、１８個）の指示ボタン（本発明の「指示枠」に相当）２４Ａ１、２４Ａ２、２４Ａ３、２４Ｂ１、・・・、２４Ｆ３がＰＣ４０によって表示される。

ここで、指示ボタン２４Ａ１〜２４Ｆ３は、予め定められた列方向（ここでは、同図水平方向）及び当該列方向に直交する行方向（ここでは、同図垂直方向）の２方向に並べられた状態で表示される。

一方、本第２の実施の形態に係るセンサ部３０Ｂには、複数（ここでは、指示ボタン２４Ａ１〜２４Ｆ３と同数の１８個）のセンサ（本発明の「物体検知手段」に相当。）３２Ａ１〜３２Ｆ３が備えられている。

ここで、センサ３２Ａ１〜３２Ｆ３は、図８（Ａ）及び図８（Ｂ）に示すように、各々前記複数の指示ボタン２４Ａ１〜２４Ｆ３の何れか１つに対応（ここでは、符号の末尾２文字が同一の指示ボタンに対応）するものとされている。また、センサ３２Ａ１〜３２Ｆ３は、ディスプレイ装置２０の表示領域２２における一端部近傍（ここでは、上端部近傍）に対して、指示ボタン２４の列方向の表示数と同数のセンサ３２（ここでは、符号の末尾の数字が同一のセンサ３２Ａ１〜３２Ｆ３）群を各々１組として、前記行方向に表示される指示ボタン２４に対応するようにディスプレイ装置２０の表示面に対して垂直方向に複数組（ここでは、指示ボタン２４の行方向の表示数と同数の３組）並べて配置している。そして、各センサ３２Ａ１〜３２Ｆ３は、対応する指示ボタン２４の表示位置に対する方向で、かつ当該指示ボタン２４が含まれる距離までの範囲内における物体を検知するものとされている。

なお、本第２の実施の形態に係るセンサ３２Ａ１〜３２Ｆ３もまた、上記第１の実施の形態に係るセンサと同様に、各々、予め定められた方向に対して予め設定された距離の範囲内に存在する物体を、当該予め定められた方向に対してセンサ側から光（ここでは、近赤外光）３４を照射し、その反射光を検知することによって検知する反射型モーションセンサとされている。そして、各センサ３２Ａ１〜３２Ｆ３は、上記予め定められた方向が対応する指示ボタン２４の表示位置に対する方向となるように配置されると共に、上記予め設定された距離が対応する指示ボタン２４Ａ１〜２４Ｆ３が含まれる距離までとなるように設定されている。なお、センサ３２Ａ１〜３２Ｆ３は、光を利用した反射型モーションセンサに限らず、例えば、超音波を利用した反射型モーションセンサを適用することもできる。

また、本実施の形態に係るセンサ３２Ａ１〜３２Ｆ３は、ディスプレイ装置２０の表示面から離れるほど物体の検知方向が当該表示面方向に傾くように配置することにより、各組のセンサ群によるディスプレイ装置２０の表示面とは反対側の物体の検知開始位置と当該表示面との間の当該表示面に対する垂直方向の距離が略同一となるようにしている。これによって、各センサ３２Ａ１〜３２Ｆ３によってユーザの指先が検知される位置までの距離を、各センサ間で略同一とすることができ、指示のための操作感を向上させることができる。

ところで、本第２の実施の形態に係る指示動作認識システム１０は、センサ３２Ａ１〜３２Ｆ３の互いに隣接するものによる物体の検知のタイミングをずらすようにセンサ３２Ａ１〜３２Ｆ３を制御するものとされている。

このため、本第２の実施の形態に係るＰＣ４０では、ＣＰＵ４１による制御下で、一例として図９に示すように、センサ個別セレクト信号ＫＳ１〜ＫＳ３と、センサ列セレクト信号ＬＳ１〜ＬＳ２とを生成すると共に、これらの信号に基づいて隣接するセンサ間で物体の検知タイミングをずらすものとする駆動信号を生成して各センサ３２Ａ１〜３２Ｆ３に送信するものとされている。

すなわち、同図に示すように、センサ個別セレクト信号ＫＳ１〜ＫＳ３は、各々デューティ比が３０％とされ、互いにアクティブ期間（ここでは、ハイレベルである期間）が重なることなく位相がずれた状態とされた信号として生成される。

これに対し、センサ列セレクト信号ＬＳ１〜ＬＳ２は、各々デューティ比が５０％とされ、位相が１８０度ずれた状態（逆位相とされた状態）とされた信号として生成される。

そして、センサ個別セレクト信号ＫＳ１とセンサ列セレクト信号ＬＳ１を２入力ＡＮＤゲートの各入力端子に個別に入力し、当該２入力ＡＮＤゲートから出力された信号を上記駆動信号として互いに隣接しないセンサであるセンサ３２Ａ１、センサ３２Ｃ１、センサ３２Ｅ１に送信する。

同様に、センサ個別セレクト信号ＫＳ２とセンサ列セレクト信号ＬＳ１を２入力ＡＮＤゲートの各入力端子に個別に入力し、当該２入力ＡＮＤゲートから出力された信号を上記駆動信号として互いに隣接しないセンサであるセンサ３２Ａ２、センサ３２Ｃ２、センサ３２Ｅ２に送信し、センサ個別セレクト信号ＫＳ３とセンサ列セレクト信号ＬＳ１を２入力ＡＮＤゲートの各入力端子に個別に入力し、当該２入力ＡＮＤゲートから出力された信号を上記駆動信号として互いに隣接しないセンサであるセンサ３２Ａ３、センサ３２Ｃ３、センサ３２Ｅ３に送信する。

更に、センサ個別セレクト信号ＫＳ１とセンサ列セレクト信号ＬＳ２を２入力ＡＮＤゲートの各入力端子に個別に入力し、当該２入力ＡＮＤゲートから出力された信号を上記駆動信号として互いに隣接しないセンサであるセンサ３２Ｂ１、センサ３２Ｄ１、センサ３２Ｆ１に送信し、センサ個別セレクト信号ＫＳ２とセンサ列セレクト信号ＬＳ２を２入力ＡＮＤゲートの各入力端子に個別に入力し、当該２入力ＡＮＤゲートから出力された信号を上記駆動信号として互いに隣接しないセンサであるセンサ３２Ｂ２、センサ３２Ｄ２、センサ３２Ｆ２に送信し、センサ個別セレクト信号ＫＳ３とセンサ列セレクト信号ＬＳ２を２入力ＡＮＤゲートの各入力端子に個別に入力し、当該２入力ＡＮＤゲートから出力された信号を上記駆動信号として互いに隣接しないセンサであるセンサ３２Ｂ３、センサ３２Ｄ３、センサ３２Ｆ３に送信する。

このように、本第２の実施の形態に係る指示動作認識システム１０では、互いに隣接するセンサ３２に対して、アクティブ期間（ここでは、ハイレベルである期間）が重なることなく位相がずれた状態の駆動信号を送信しているので、互いに隣接するセンサ３２により同一の物体（ユーザの指先）を検知してしまうことを回避することができ、利便性を向上させることができる。

一方、図１０には、本第２の実施の形態に係る指示動作認識システム１０で適用される操作機能テーブルＴＢ２が模式的に示されている。

同図に示すように、本第２の実施の形態に係る操作機能テーブルＴＢ２は、上記第１の実施の形態に係る操作機能テーブルＴＢ１（図５も参照。）に比較して、ディスプレイ装置２０により指示ボタン２４を複数行分表示可能とするために、行方向に対応する情報（画面位置、操作名、操作機能、活動区分、操作区分の各情報）が追加されている点のみが異なっている。

次に、本第２の実施の形態に係る指示動作認識システム１０の作用を説明する。なお、本第２の実施の形態に係るＰＣ４０では、ユーザからの指示入力に応じて、上記第１の実施の形態に係るものと同様の指示動作認識プログラム（図６参照。）が実行されるが、当該指示動作認識プログラムの実行途中で実行される指示位置特定処理プログラムのみ上記第１の実施の形態に係るものと異なっている。

そこで、以下、図１１を参照して、本第２の実施の形態に係る指示位置特定処理プログラムについて説明する。

同図のステップ３００では、センサ３２Ａ１によって物体（ユーザの指先）が検知されたか否かを判定し、肯定判定となった場合はステップ３０２に移行して指示ボタン２４Ａ１がユーザによって指示されたものとして特定し、その後に本指示位置特定処理プログラムを終了する。

一方、上記ステップ３００において否定判定となった場合はステップ３０４に移行して、センサ３２Ａ２によって物体（ユーザの指先）が検知されたか否かを判定し、肯定判定となった場合はステップ３０６に移行して指示ボタン２４Ａ２がユーザによって指示されたものとして特定し、その後に本指示位置特定処理プログラムを終了する。

一方、上記ステップ３０４において否定判定となった場合はステップ３０８に移行して、センサ３２Ａ３によって物体（ユーザの指先）が検知されたか否かを判定し、肯定判定となった場合はステップ３１０に移行して指示ボタン２４Ａ３がユーザによって指示されたものとして特定し、その後に本指示位置特定処理プログラムを終了する。

一方、上記ステップ３０８において否定判定となった場合はステップ３１２に移行して、センサ３２Ｂ１によって物体（ユーザの指先）が検知されたか否かを判定し、肯定判定となった場合はステップ３１４に移行して指示ボタン２４Ｂ１がユーザによって指示されたものとして特定し、その後に本指示位置特定処理プログラムを終了する。

なお、センサ３２Ｂ２〜センサ３２Ｆ３についても上記ステップ３００、ステップ３０４等と同様にユーザの指先が検知されたか否かの判定を行い、肯定判定となった場合に上記ステップ３０２、ステップ３０６等と同様にユーザの指先を検知したセンサ３２に対応する指示ボタン２４がユーザによって指示されたものとして特定する処理を行った後に本指示位置特定処理プログラムを終了する。そして、指示位置特定処理プログラムを終了すると指示動作認識プログラム（図６参照。）のステップ１０６に戻る。なお、全てのセンサ３２についてユーザの指先が検知されなかった場合（ステップ３１６において否定判定となった場合）には上記ステップ３００に戻ることにより、センサ３２Ａ１〜３２Ｆ３による指先の検知判定を繰り返すことになる。

以上詳細に説明したように、本実施の形態では、上記第１の実施の形態と同様の効果を奏することができることに加え、複数の物体検知手段（センサ３２Ａ１〜３２Ｆ３）の互いに隣接するものによる物体の検知のタイミングをずらすように当該複数の物体検知手段を制御しているので、互いに隣接する物体検知手段により同一の物体（ユーザの指先）を検知してしまうことを回避することができ、利便性を向上させることができる。

また、本実施の形態では、表示手段（ディスプレイ装置２０）を、指示枠（指示ボタン２４）が列方向及び行方向の２方向に並べられた状態で表示されるものとし、前記複数の物体検知手段を、前記行方向に表示される指示枠に対応するように前記表示手段の表示面に対して垂直方向に複数組並べて配置すると共に、対応する指示枠の表示位置に対する方向で、かつ当該指示枠が含まれる距離までの範囲内における物体を検知するものとしているので、指示可能な指示枠を表示手段における表示領域に２次元配置することができ、利便性を更に向上させることができる。

特に、本実施の形態では、前記複数組の物体検知手段を、前記表示手段の表示面から離れるほど物体の検知方向が当該表示面方向に傾くように配置することにより、各組の物体検知手段による前記表示手段の表示面とは反対側の物体の検知開始位置と当該表示面との間の当該表示面に対する垂直方向の距離が略同一となるようにしているので、各物体検知手段によってユーザの指先が検知される位置までの距離を、各物体検知手段間で略同一とすることができ、指示のための操作感を向上させることができる。

なお、上記第２の実施の形態では、センサ部３０Ｂにおけるセンサ３２Ａ１〜３２Ｆ３を、ディスプレイ装置２０の表示面から離れるほど物体の検知方向が当該表示面方向に傾くように配置することにより、各組のセンサ群によるディスプレイ装置２０の表示面とは反対側の物体の検知開始位置と当該表示面との間の当該表示面に対する垂直方向の距離が略同一となるようにした場合について説明したが、本発明はこれに限定されるものではなく、例えば、一例として図１２に示すように、センサ３２Ａ１〜３２Ｆ３を、ディスプレイ装置２０の表示面からの距離にかかわらず、物体の検知方向が当該表示面と平行となるように配置する形態とすることもできる。

この場合、同図に示すように、各センサによるユーザの指先を検知する感度を有する面がディスプレイ装置２０の表示面に対して傾斜された状態となるので、ディスプレイ装置２０がユーザの上方に設置されている際には、各センサによってユーザの指先が検知される位置までの距離を、各センサ間で略同一とすることができ、指示のための操作感を向上させることができる。

また、上記第２の実施の形態では、各指示ボタン２４に対応して設けられたセンサ３２が指先を検知したタイミングでユーザによって指示された指示ボタン２４を特定する場合について説明したが、本発明はこれに限定されるものではなく、例えば、一例として図１３に示すように、センサ３２Ａ１〜３２Ｆ３による物体の検知領域とディスプレイ装置２０の表示面との間に前記物体の検知領域側から進入した物体を検知する第２のセンサ３２Ａ０、３２Ｂ０、・・・、３２Ｆ０を更に備え、当該第２のセンサによって物体（ユーザの指先）の進入が検知されたタイミングで、その直前に特定した指示ボタン２４が最終的に指示されたものとして特定する形態とすることもできる。

図１４には、この形態において、隣接するセンサ間で物体の検知タイミングをずらすものとして生成される各センサの駆動信号の説明に供する概略図（一部タイムチャート）が示されている。

同図に示す各信号は、図９に示したものに比較して、センサ個別セレクト信号として、各々デューティ比が２５％近傍の２５％未満とされ、互いにアクティブ期間（ここでは、ハイレベルである期間）が重なることなく位相がずれた状態とされた４つの信号ＫＳ１〜ＫＳ４が、センサ列セレクト信号ＬＳ１、ＬＳ２と論理積がとられて互いに隣接しないセンサに送信される駆動信号を生成するための信号として生成される点のみが異なるものとなる。なお、同図におけるＡ０、Ｂ０、・・・、Ｆ０が新たに追加した第２のセンサ３２Ａ０〜３２Ｆ０を示している。

以上の構成によって、センサ３２Ａ１〜３２Ｆ３によってユーザの指先を検知した際にユーザによって指示された指示ボタン２４を仮に特定し、これに引き続いて第２のセンサ３２Ａ０〜３２Ｆ０によってユーザの指先を検知した際にユーザによって指示された指示ボタンを確定する、といったクリック動作の認識を可能とすることができ、利便性を向上させることができる。この場合、センサ３２Ａ１〜３２Ｆ３によってユーザの指先を検知した際に、仮に特定した指示ボタン２４の色、輝度、大きさ、形状等の表示状態を変え、クリックの対象候補となっていることをユーザに明示することもできる。これによって、利便性を更に向上させることができる。

更に、この場合、一例として図１５の正面図及び図１６の側面図に示すように、センサ３２Ａ１〜３２Ｆ３による物体の検知領域と第２のセンサ３２Ａ０〜３２Ｆ０による物体の検知領域との間に平面状に可視光３８を照射するラインレーザ３６を更に設ける形態とすることができる。

これにより、ラインレーザ３６による可視光３８が指先に照射された際の当該指先の位置を視覚的に確認させることで、クリック動作に移行される位置をユーザに対して把握させることができるため、更に利便性を向上させることができる。

また、上記各実施の形態では、ユーザによって指示された指示ボタン２４の特定をＰＣ４０によって行う場合について説明したが、本発明はこれに限定されるものではなく、例えば、センサ部３０において特定する形態とすることもできる。この場合、ＰＣ４０における指示ボタンの特定に要する処理の負荷を削減することができる。

その他、上記各実施の形態で説明した指示動作認識システム１０の構成（図１〜図４、図８参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

また、上記各実施の形態で示した各種プログラムの処理の流れ（図６、図７、図１１参照。）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

また、上記各実施の形態で示した各種指示ボタンの表示状態（図２、図８参照。）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

図１７には、指示ボタン２４の表示状態の変形例が示されている。同図に示す指示ボタン２４では、矩形状のものに加えて三角形のものも含まれている。このように、指示ボタン２４の形状は矩形状に限らず、任意の形状が適用可能である。また、各指示ボタン２４には、中央部に白丸２６が表示されている。これによって、ユーザに対して所望のボタンの白丸を指し示すように操作せよ、といったことを指示することによって、センサ３２による物体検知の感度範囲が指示ボタンの方向に対して細長い場合であっても、的確な指示動作を行うことができるようになる。

更に、上記各実施の形態で示した操作機能テーブルの構成（図５、図１０参照。）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

実施の形態に係る指示動作認識システム１０の構成を示す概略外観図である。 第１の実施の形態に係る指示動作認識システム１０のディスプレイ装置２０における指示ボタン２４の表示状態と、センサ部３０の構成を示す概略正面図及び概略側面図である。 実施の形態に係る指示動作認識システム１０のＰＣ４０における電気系の主要構成を示すブロック図である。 実施の形態に係るＰＣ４０に備えられたハードディスク４４の主な記憶内容を示す模式図である。 第１の実施の形態に係る操作機能テーブルＴＢ１の構成を示す模式図である。 実施の形態に係る指示動作認識プログラムの処理の流れを示すフローチャートである。 第１の実施の形態に係る指示位置特定処理プログラムの処理の流れを示すフローチャートである。 第２の実施の形態に係る指示動作認識システム１０のディスプレイ装置２０における指示ボタン２４の表示状態と、センサ部３０の構成を示す概略正面図及び概略側面図である。 第２の実施の形態に係る指示動作認識システム１０において、隣接するセンサ間で物体の検知タイミングをずらすものとして生成される各センサの駆動信号の説明に供する概略図（一部タイムチャート）である。 第２の実施の形態に係る操作機能テーブルＴＢ２の構成を示す模式図である。 第２の実施の形態に係る指示位置特定処理プログラムの処理の流れを示すフローチャートである。 第２の実施の形態に係る指示動作認識システム１０におけるセンサ部３０Ｂの変形例（センサ部３０Ｃ）の構成を示す概略側面図である。 第２の実施の形態に係る指示動作認識システム１０におけるセンサ部３０Ｂの変形例（センサ部３０Ｄ）の構成を示す概略側面図である。 実施の形態に係る指示動作認識システム１０においてセンサ部３０Ｄを適用した場合の、隣接するセンサ間で物体の検知タイミングをずらすものとして生成される各センサの駆動信号の説明に供する概略図（一部タイムチャート）である。 実施の形態に係る指示動作認識システム１０においてセンサ部３０Ｄを適用した場合の変形例の構成を示す概略正面図である。 図１５に示される構成の概略側面図である。 実施の形態に係る指示動作認識システム１０においてディスプレイ装置２０に表示される指示ボタン２４の変形例の表示状態を示す概略正面図である。

符号の説明

１０ 指示動作認識システム
２０ ディスプレイ装置（表示手段）
２４Ａ〜２４Ｆ 指示ボタン（指示枠）
２４Ａ１〜２４Ｆ３ 指示ボタン（指示枠）
３０ センサ部
３２Ａ〜３２Ｆ センサ（物体検知手段）
３２Ａ１〜３２Ｆ３ センサ（物体検知手段）
３２Ａ０、３２Ｂ０、・・・、３２Ｆ０ センサ（第２の物体検知手段）
３６ ラインレーザ（照射手段）
４０ ＰＣ
４１ ＣＰＵ（指示特定手段、制御手段、指示処理実行手段）

Claims (14)

1. 表示領域に各々個別の指示領域を示す複数の指示枠が予め定められた列方向に並べられた状態で表示される表示手段と、
   各々前記複数の指示枠の１つに対応し、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置されると共に、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段と、
   前記複数の物体検知手段の何れかにより物体が検知されたとき、当該物体検知手段に対応する前記指示枠が指示されたものとして特定する指示特定手段と、
   を備えた指示動作認識装置。
2. 前記複数の物体検知手段の互いに隣接するものによる物体の検知のタイミングをずらすように前記複数の物体検知手段を制御する制御手段
   を更に備えたことを特徴とする請求項１記載の指示動作認識装置。
3. 前記複数の物体検知手段を、前記表示手段の表示領域における上端部近傍に対して配置した
   ことを特徴する請求項１又は請求項２記載の指示動作認識装置。
4. 前記表示手段を、前記指示枠が前記列方向及び当該列方向に直交する行方向の２方向に並べられた状態で表示されるものとし、
   前記複数の物体検知手段を、前記行方向に表示される指示枠に対応するように前記表示手段の表示面に対して垂直方向に複数組並べて配置すると共に、対応する指示枠の表示位置に対する方向で、かつ当該指示枠が含まれる距離までの範囲内における物体を検知するものとした
   ことを特徴とする請求項１乃至請求項３の何れか１項記載の指示動作認識装置。
5. 前記複数組の物体検知手段を、前記表示手段の表示面から離れるほど物体の検知方向が当該表示面方向に傾くように配置することにより、各組の物体検知手段による前記表示手段の表示面とは反対側の物体の検知開始位置と当該表示面との間の当該表示面に対する垂直方向の距離が略同一となるようにした
   ことを特徴とする請求項４記載の指示動作認識装置。
6. 前記複数の物体検知手段による物体の検知領域と前記表示手段の表示面との間に前記物体の検知領域側から進入した物体を検知する第２の物体検知手段を更に備え、
   前記指示特定手段は、前記第２の物体検知手段によって物体の進入が検知されたタイミングで、その直前に特定した指示枠が最終的に指示されたものとして特定する
   ことを特徴とする請求項１乃至請求項５の何れか１項記載の指示動作認識装置。
7. 前記複数の物体検知手段による物体の検知領域と前記第２の物体検知手段による物体の検知領域との間に平面状に可視光を照射する照射手段
   を更に備えたことを特徴とする請求項６記載の指示動作認識装置。
8. 前記複数の指示枠を、各々指示された際に実行される予め定められた処理が割り振られたものとし、
   前記指示特定手段によって指示された指示枠が特定されたとき、当該指示枠に割り振られた処理を実行する指示処理実行手段
   を更に備えたことを特徴とする請求項１乃至請求項７の何れか１項記載の指示動作認識装置。
9. 表示手段の表示領域に各々個別の指示領域を示す複数の指示枠を予め定められた列方向に並べた状態で表示すると共に、各々前記複数の指示枠の１つに対応し、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段を、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置し、
   前記複数の物体検知手段の何れかにより物体が検知されたとき、当該物体検知手段に対応する前記指示枠が指示されたものとして特定する
   指示動作認識方法。
10. 前記複数の物体検知手段の互いに隣接するものによる物体の検知のタイミングをずらすように前記複数の物体検知手段を制御する
    ことを特徴とする請求項９記載の指示動作認識方法。
11. 前記表示手段の表示領域に前記指示枠を前記列方向及び当該列方向に直交する行方向の２方向に並べた状態で表示し、
    前記複数の物体検知手段を、前記行方向に表示される指示枠に対応するように前記表示手段の表示面に対して垂直方向に複数組並べて配置すると共に、対応する指示枠の表示位置に対する方向で、かつ当該指示枠が含まれる距離までの範囲内における物体を検知するものとした
    ことを特徴とする請求項９又は請求項１０記載の指示動作認識方法。
12. 表示領域に各々個別の指示領域を示す複数の指示枠が予め定められた列方向に並べられた状態で表示される表示手段と、各々前記複数の指示枠の１つに対応し、前記表示手段の表示領域における一端部近傍に対して前記列方向に沿った方向に配置されると共に、対応する指示枠の表示位置に対する方向で、かつ少なくとも当該指示枠が含まれる距離の範囲内における物体を検知する複数の物体検知手段と、を備えた指示動作認識装置において実行される指示動作認識プログラムであって、
    前記複数の物体検知手段の何れかにより物体が検知されたとき、当該物体検知手段に対応する前記指示枠が指示されたものとして特定する指示特定ステップ
    をコンピュータに実行させる指示動作認識プログラム。
13. 前記複数の物体検知手段の互いに隣接するものによる物体の検知のタイミングをずらすように前記複数の物体検知手段を制御する制御ステップ
    を更にコンピュータに実行させることを特徴とする請求項１２記載の指示動作認識プログラム。
14. 前記複数の指示枠を、各々指示された際に実行される予め定められた処理が割り振られたものとし、
    前記指示特定ステップによって指示された指示枠が特定されたとき、当該指示枠に割り振られた処理を実行する指示処理実行ステップ
    を更にコンピュータに実行させることを特徴とする請求項１２又は請求項１３記載の指示動作認識プログラム。

Images