JP2017027456A - ジェスチャ操作システム、方法およびプログラム - Google Patents

Abstract

【課題】移動体を安全に操縦しながら、移動体に関連する操作をジェスチャ入力によって指示する操作システムを提供する。
【解決手段】撮像されたステアリングホイールおよび操作者の手の撮像データに基づいて操作入力を行うシステムで、ジェスチャ入力の指示を受け付けることのできる指示領域を生成し、その指示領域をステアリングホイールおよび操作者の手との関係に応じて配置する。３つのサブ指示領域を予め割り当てることができる。操作者がスイッチを付勢してジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成する。受付窓が開かれ、ジェスチャ入力の受付が許可されている状態において、撮像データを受付けて、サブ指示領域における、手によるジェスチャ入力を認識する。
【選択図】図６

Description

本発明は、操作者によるジェスチャ入力に応じて、予め定めた操作を操作対象に対して行うためのジェスチャ操作システム、ジェスチャ操作方法およびジェスチャ操作プログラムに関する。

従来、車載機器、たとえば、車載オーディオ機器、ナビゲーション装置などの車に関連する機器を、車の走行中に操作するにあたって、タッチパネル、リモートコントロール装置、ステアリングスイッチ、さらには音声入力装置などが用いられている。タッチパネルを用いる場合およびリモートコントロール装置を用いる場合には、どうしてもスクリーンを注視しなければならず、運転時には危険が伴う。ステアリングスイッチを用いる場合には、多機能に対応する操作が複雑化し、そのためのスイッチ数や配置にも制約があり、しかもスイッチ数を多くすると、スイッチを目視で探さざるを得ない危険もある。音声入力装置の場合にはこれらの問題点は解消されるものの、雑音環境下においては、音声の誤認識が誤操作に繋がりやすく、しかも使用者が考えながら発生して入力するので、運転がおろそかになりやすい欠点もある。

他方、ジェスチャ入力、すなわち、手など人体の一部の動きにより予め定めた入力を行うことが提案されている（特許文献１，２，３，４，５）。

ここで、人体の一部としては、手のほかに、首振りの動き、目の瞬きなどの動き、なども考えられる。以下では手の動きを代表に取り上げて、本発明を説明するが、本発明におけるジェスチャ入力は手による入力に限定されない。

これら従来のジェスチャ入力の場合、ジェスチャ入力を感知するセンサを配置したディスプレイの画面に対して、操作者がジェスチャ入力により、車に関連する機器の操作についての指示を行う。その操作指示をセンサが感知し、当該ジェスチャ入力に応じて、当該機器に対して、操作指示に対応した、予め定めた操作を行う。

特開２０１０−１８４６００号公報 特開２００６−２８５３７０号公報 特開２００９−１０４２９７号公報 特開２００１−２１６０６９号公報 特開２００５−５０１７７号公報

しかし、このような従来の装置では、センサの視野内において人の移動や荷物などの出し入れなどの種々の動きが感知されるので、意図されたジェスチャ入力であるのか否かについて判断しにくく、これがジェスチャ入力の誤認識を惹起する。さらに、ジェスチャ入力のために、手の形状、動きなど操作者が予め学習する事項が多すぎ、指示のためのルールが複雑化する問題点もある。しかも、操作者がステアリングから少なくとも片手を離して操作する必要があることから、その操作に危険を伴う。

以上に鑑み、本発明の目的は、以上に述べた従来のジェスチャ入力の欠点を克服し、操作性、安全性、および操作指示の認識率の高いジェスチャ操作のためのシステム、方法、およびプログラムを提供することにある。

より詳しくは、本発明の目的は、車などの移動体に対する安全な操縦性を保持しつつ、ジェスチャ入力による正確な操作指示を可能にするジェスチャ操作のためのシステム、方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明によるジェスチャ操作システムは、移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定部と、前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成する受付窓生成部と、前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識部と、前記ジェスチャ入力と予め定められた操作対象に対する予め定められた操作についての指示内容との対応を格納したテーブルと、前記テーブルを照合して前記認識されたジェスチャ入力に対応する指示内容を特定する操作指示部と、を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行うようにする。

本発明によるジェスチャ操作方法は、移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、前記操作者の手によるジェスチャ入力の受付の許可を開始して受付窓を生成するためのスイッチと、前記ジェスチャ入力と予め定められた所定の操作対象に対する所定の操作についての指示内容との対応を格納したテーブルとを備えたジェスチャ操作システムにおいて、前記操作者の手によるジェスチャ入力に応じて、予め定めた操作対象に対する予め定めた操作を行うように指示する、ジェスチャによる操作を行うにあたり、前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定ステップと、前記スイッチの動作に応答して、前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成するステップと、前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識ステップと、前記テーブルを照合して前記認識ステップにおいて認識されたジェスチャ入力に対応する指示内容を特定する操作指示ステップと、を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行う。

本発明によるジェスチャ操作プログラムは、移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、前記操作者の手によるジェスチャ入力の受付の許可を開始して受付窓を生成するためのスイッチと、前記ジェスチャ入力と予め定められた所定の操作対象に対する所定の操作についての指示内容との対応を格納したテーブルとを備えたジェスチャ操作システムにおいて用いられ、前記操作者の手によるジェスチャ入力に応じて、予め定めた操作対象に対する予め定めた操作を行うように指示するにあたり、前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定ステップと、前記スイッチの動作に応答して、前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成するステップと、前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識ステップと、前記テーブルを照合して前記認識ステップにおいて認識されたジェスチャ入力に対応する指示内容を特定する操作指示ステップと、を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行う。

ここで、前記認識部により認識されたジェスチャ入力の指示内容が意図された操作の指示であったか否かを判断する認識判断部をさらに備えることができる。

前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢により前記受付窓を開き、および前記スイッチの消勢により前記受付窓を閉じるようにすることができる。

前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが前記付勢に引き続く消勢から予め定めた時間が経過した時に、前記受付窓を閉じることができる。

前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが再び付勢され、およびその付勢に引き続く消勢がなされた時に、前記受付窓を閉じることができる。

前記指示領域を複数のサブ指示領域に分割することができる。

前記サブ指示領域の個数を、前記予め定めた操作対象に対応して定めてもよい。

前記指示領域を、前記操作者の手と前記操舵装置との関係に応じて定めることができる。

前記受付窓が開かれている状態において、前記操作者が前記操舵装置を操作している際に、前記指示領域を、前記操作者の手と前記操舵装置との関係に追随して定めることができる。

前記認識判断部によりジェスチャ入力の指示内容が意図された操作の指示であったか否かが判断されたときに、その判断結果を出力する出力部をさらに備えてもよい。

本発明によれば、車などの移動体のステアリングから手を離すことなく操作の指示を行うことができ、しかもその操作指示は単純なルールに従って行うのみでよいので操作性が向上し、しかも、ジェスチャ入力の受付開始と終了とをスイッチ入力などにより確実に行うことができるので、ジェスチャ入力が誤って認識されることが少なくなる。したがって、本発明によれば、移動体に対する安全な操縦性を保持しつつ、ジェスチャ入力による正確な操作指示を行うことができる。

本発明の実施形態に係るジェスチャ操作システムの構成の一例を示すブロック図である。 図１に示したジェスチャ操作システムを移動体の一例としての自動車に搭載した一例を示す説明図である。 スイッチ操作の一例を示す説明図である。 スイッチ操作の操作パターンに基づいて定められるジェスチャ入力の受付窓の３形態を時間軸上で示す説明図である。 ３分割されたサブ判定領域の一例を示す説明図である。 ジェスチャ操作システムにおけるジェスチャ入力による操作を行うソフトウエアの一例を示すフローチャートである。 ジェスチャ入力と指示された操作との照合テーブルの一例を示す図である。 図１に示したジェスチャ操作システムに図６に示したソフトウエアを組み込んだ全体構成を示すブロック図である。 ジェスチャ操作システムにおける処理のソフトウエアの一例として図４（a）に対応する例を示すフローチャートである。 ジェスチャ操作システムにおける処理のソフトウエアの一例として図４（ｂ）に対応する例を示すフローチャートである。 ジェスチャ操作システムにおける処理のソフトウエアの一例として図４（ｃ）に対応する例を示すフローチャートである。 操作パターン１において、再生中の曲を切替えるために行われるジェスチャ入力の例を説明するための図である。 操作パターン１において、再生中の曲を早送りするために行われるジェスチャ入力の例を説明するための図である。 操作パターン２において、再生中の曲を切替えるために行われるジェスチャ入力の例を説明するための図である。 操作パターン３において、再生中の曲を切替えるために行われるジェスチャ入力の例を説明するための図である。 操作パターン１において、地図を拡大するために行われるジェスチャ入力の例を説明するための図である。 操作パターン１において、地図を縮小するために行われるジェスチャ入力の例を説明するための図である。 指示領域が操作者の手の位置に応じて移動する場合の例を説明するための図である。 種々のジェスチャパターンを説明するための図である。 右手または左手による操作者の操作態様を説明するための図である。 指示領域のサイズが最適化される場合の例を説明するための図である。 指示領域の分割数が変化する場合の例を説明するための図である。 指示領域の分割例を説明するための図である。 スイッチの配置例を説明するための図である。 スイッチの変形例を示す図である。 コラムスイッチがスイッチ３２として用いられた場合のコラムスイッチの操作例を説明するための図である。 種々のセンサの配置例を説明するための図である。 種々の操作対象の適用例１を示すリスト図である。 種々の操作対象の適用例２を示すリスト図である。 種々の操作対象の適用例３を示すリスト図である。 指示領域から３つのサブ指示領域を生成する手順の一例の説明図である。 指示領域から３つのサブ指示領域を生成する手順の一例を示すフローチャートである。

以下、本発明の実施形態であるジェスチャ操作システムの一例について、図１および図２を参照して説明する。このジェスチャ操作システム１は、運転者、すなわち、このジェスチャ操作システム１の操作者のジェスチャ入力に応じて、移動体に関連する特定の機器に対する操作の指示を与える。ここでは、その一例として、自動車に搭載されたカーナビゲーション装置４に対する指示の操作を行う場合について説明する。

[ジェスチャ操作システム１の構成]
図１は、本発明の一実施形態に係るジェスチャ操作システム１の構成例を示すブロック図である。図２は図１のジェスチャ操作システムが搭載された自動車のジェスチャ操作に係わる部分を示す説明図である。

図２において、４はナビゲーション装置、５はステアリングホイール、６はインスツルメンタルパネル（計器盤パネル）、７は運転者が視認可能なように、フロントガラス８に配置されたヘッドアップディスプレイ（HUD）、３１はインスツルメンタルパネル６に配置され、ジェスチャ入力を感知するセンサ、３２はステアリングホイール５に配置され、ジェスチャ入力の受付窓を指示するためのオン・オフスイッチ、３４はナビゲーション装置用およびジェスチャ入力が正しく認識されたか否かを音声で示すためのスピーカ、および４２はカーナビゲーション装置４のディスプレイである。

図１に示すように、ジェスチャ操作システム１は、中央処理装置（ＣＰＵ：Central Processing Unit）１１と、読み取り専用メモリ（ＲＯＭ：Read Only Memory）１２と、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）１３と、ジェスチャ入力を感知するセンサ３１と、ジェスチャ入力の受付窓を指示するオン・オフスイッチ３２と、インスツルメンタルパネル６、HUD７およびカーナビゲーション装置４のディスプレイ４２を含む表示部３３と、ナビゲーション処理部４１と、スピーカ３４とを有する。

なお、ここでは、ジェスチャ入力により操作の指示を行う対象機器として、カーナビゲーション装置の場合を例示しているが、本発明はこの例に限定されず、例えば、音楽、テレビジョン、ラジオ、電話、カメラなどに関連する機器、室内ライト、ヘッドライトなどのランプ類、さらには車両自体のエンジン、ドアロック装置、ワイパー、座席調整機器、空調機器、パワーウインドウ、トランク開閉装置などいかなる車両関連の装置にも適用可能であり、それら機器の操作をジェスチャ入力によって行うことができる。

ナビゲーション処理部４１は単独のナビゲーション装置であってもよいが、CPU11,ROM12およびRAM13に一体的に組み込んでもよい。

ＣＰＵ１１は、各構成要素１１，１２，１３，３１，３２，３３，３４，４１とバス１０００で接続されて、制御信号やデータの転送処理を行うとともに、センサ３１及びスイッチ３２によるジェスチャ入力に応答して、ジェスチャ操作システム１全体の動作を実現するための各種のプログラムの実行、演算処理等を行う。

ＲＯＭ１２には、ジェスチャ操作システム１全体の動作に必要なプログラムおよびデータを格納する。これらプログラムはDVD-ROM、HDD、SDD等の記録媒体に格納されており、ＲＡＭ１３に読み出されてＣＰＵ１１による実行が開始され、本実施形態のジェスチャ制御システム１の処理を行う。なお、このようなROMに変えて、クラウドサービスを用いて必要なプログラムおよびデータを取り込むことももちろん可能である。

ＲＡＭ１３には、後述するジェスチャ入力処理を行うためのソフトウエアに従って作成されたプログラム、および入力されたジェスチャ入力によるデータを一時的に保持する。

センサ３１は、運転者によって行われるジェスチャを検出する撮像装置である。そのセンサ出力をＣＰＵ１１によって処理して、ジェスチャ入力を作成する。後述するように、この実施形態のジェスチャ操作システム１では、ステアリングホイール５を操作する運転者は、手によるジェスチャを行うが、このジェスチャの検出が可能であれば、センサ３１の構成としていかなる携帯のセンサであってもよく、ここに例示した撮像装置に限定されない。センサ３１は、例えば、手を撮像可能なＲＧＢカラーセンサないしは３Ｄ距離画像センサ、または手の動きを検知可能な超音波センサであってもよい。

スイッチ３２は、運転者によって行われるプレス（押下）時に、プレス状態を示す信号をＣＰＵ１１へ伝送するように構成されている。この実施形態のジェスチャ制御システム１では、スイッチ３２のプレス（押下）または／およびリリース（釈放）に応答して、ジェスチャ入力を受け付ける窓（以下、「受付窓」と称す。）を、図３を参照して後述する３態様のいずれかの態様に従って定める。

表示部３３について、図２の配置においては、インスツルメンタルパネル６、HUD７およびカーナビゲーション装置４のディスプレイ４２を個別に配置した例を示したがこの例に限られず、例えば、インスツルメンタルパネル６とディスプレイ４２とを一体的に構成することもできる。

ディスプレイ４２およびスピーカ３４と接続されたナビゲーション処理部４１によって得られた地図データの画像情報を、ディスプレイ４２へ出力する。ナビゲーション処理部４１による慣例のナビゲーション用の音声情報をスピーカ３４から出力させるのに加えて、ＣＰＵ１１による制御の下、ジェスチャ入力が正しく認識されたことの確認を伝えるための音声情報をスピーカ３４から出力させる。

スイッチ３２の操作例について、図３を参照して説明する。図３において、（ａ）はスイッチ３２のリリース（オフ）状態を示し、（ｂ）はスイッチ３２のプレス（オン）状態を示している。スイッチ３２が、図３（ｂ）に示すようにプレス状態の場合に、ＣＰＵ１１は、そのプレス状態を示す信号を、スイッチ３２から受信する。スイッチ３２が、図３（a）に示すようにリリース状態の場合に、ＣＰＵ１１は、そのリリース状態を示す信号を、スイッチ３２から受信する。これら信号の組み合わせに応じて、図４に示す３つの操作パターン１，２および３のうちから予め定めたひとつの操作パターンに従って、受付窓を特定する。これら３操作パターンの詳細を以下に説明する。

図４（ａ）に示す操作パターン１では、スイッチ３２を押し下げた（付勢）瞬時「プレスＰ」からスイッチ３２を釈放した（消勢）瞬時「リリースＲ」までの期間、すなわち、スイッチ３２のオン信号が立ち上がっている時間幅Wを、ジェスチャ入力の受付が可能な受付窓Wとして定める。ＣＰＵ１１は、この受付窓信号を受信することにより、受付可能である旨を判断する。

図４（ｂ）に示す操作パターン２では、スイッチ３２を押し下げた（付勢）瞬時「プレスP」から、それに引き続いてスイッチ３２を釈放した（消勢）瞬時「リリースR」までの時間、オン信号が生起していることをCPU１１が確認する。ＣＰＵ１１はそのオン信号が消滅した時点から予め定めた時間幅Wを、ジェスチャ入力の受付窓Wに設定する。なお、この時間幅Wは、ジェスチャ入力を完了するのに十分な時間よりも多少長い時間に定めておく。

図４（ｃ）に示す操作パターン３では、スイッチ３２を最初に押し下げた（付勢）瞬時「プレスP」から次にスイッチ３２を釈放した（消勢）瞬時「リリースR」までの時間、オン信号が生起している。このオン信号が消滅した時点をCPU１１により確認して受付窓Wを開始する。さらに、引き続き、スイッチ３２を再び（第２回目）押し下げた（付勢）瞬時「プレスP」から次にスイッチ３２を釈放した（消勢）瞬時「リリースR」までの時間、オン信号が再び生起している。このオン信号が消滅した時点をCPU１１により確認して、受付窓Wを終了する。

図５は、ジェスチャ操作システム１において、ジェスチャ入力を指示するための指示領域を３つ設ける例を示す。ここで、（ａ）は操作者側から見た状態を示し、（ｂ）はセンサ３２側から見た状態を示す。

図５（ａ）および（ｂ）に示すように、ジェスチャを認識するために設定された指示領域５０を、例えば３つのサブ指示領域５１，５２，５３に分割する。この指示領域５０は、センサ３１か得られた、操作者の手およびステアリングホイール５などの撮像データに基づいて、CPU１１によって得られた、手の重心や特徴点、ステアリングホイール５の形状等のデータから、ステアリングホイール５における手の周辺に設定し、さらに、CPU１１によってサブ指示領域５１，５２，５３を設定する。

なお、サブ指示領域の個数は３つに限られるものではなく、１つ、２つ、４つ、５つなど適宜に定めことができることはもちろんである。各サブ指示領域の形状も図示の例に限定されるものではない。

図５（ａ）および（ｂ）の例では、操作者が、ステアリングホイール５を握る左手LHでジェスチャを行う。センサ３１により、そのジェスチャを撮像し、得られた撮像データをＣＰＵ１１に伝送する。ＣＰＵ１１は、その撮像データに基づいて、各サブ指示領域５１〜５３におけるジェスチャ入力を認識する。例えば図５（ａ）および図５（ｂ）に示すように、操作者が、サブ指示領域５３内で親指TMを立てた場合、ＣＰＵ１１は、そのジェスチャを、サブ指示領域５３に対するジェスチャ入力として認識する。ＣＰＵ１１は、その認識結果に従って、操作を認識し、その認識された操作の内容を表示部３３および/またはスピーカ３４より出力する。その出力を操作者が受け取り、出力された認識が正しければ、意図したジェスチャ入力として確定する。つまり、その操作指示に従った所望の操作に進む。

以下の説明では、各サブ指示領域５１，５２，５３に、操作者のジェスチャとしての指TMを立てた状態のジェスチャ態様を、「ジェスチャパターン」と称する。種々のジェスチャパターンは、各サブ指示領域５１〜５３でのすべての指のジェスチャ態様（例えば、指の本数など）によって、予め定めておく。

[ジェスチャ操作システム１のソフトウエア構成]
図６は、ジェスチャ操作システム１における処理を行うために、ROM１２に組み込むソフトウエアの一例を示すフローチャートである。

図６において、車の運転中に、スイッチ３２が押し下げられると、すなわち、プレスされると、予め定められた操作パターン（図４）に従って、CPU11は受付窓Wが開いたか否かを判断する（ステップＳ１００）。受付窓Wが開かれたことをＣＰＵ１１が判断すると、次のステップS２００に進む。

ステップS２００およびS３００において、図５に示したように、指示領域５０を生成し、ステアリングホイール５との関係で予め定めた位置に配置し、次いで、サブ指示領域５１〜５３に分割する。

さらに詳しく述べると、ステップＳ２００において、ステアリングホイール５において行われる操作者の左手LHおよびステアリングホイール５をセンサ３１により撮像して、その撮像データをＣＰＵ１１に伝送する。ＣＰＵ１１は、その受信した撮像データに基づいて、撮像された被写体、すなわち、操作者の左手LHおよびステアリングホイール５のサイズと形状を推定し、操作者の左手LHおよびステアリングホイール５の位置およびサイズを算出する。この算出結果に基づいて、図３１（a）に示すように、左手LHの周囲に、点A、B、C、Dによって画成された指示領域５０を生成する。

次に、ステップＳ３００において、指示領域５０から、ひとつ又は複数個のサブ指示領域を生成する。ここで、サブ指示領域の個数は、予め定めた個数に設定することができる。あるいはまた、操作対象に関連して、その個数を変更するようにしてもよい。以下では、指示領域５０を３分割して、３つのサブ指示領域５１〜５３を生成する手順の例を、図３２を参照して説明する。

図３２のステップS３０１に示すように、指示領域５０において、撮像データから左手LHの重心位置、予め定めた特徴量、ステアリングホイール５の重心位置などに基づいて、指示領域５０を２分割するための特徴点、例えば、図３１（ｂ）に示す特徴点Gを抽出する。ステップS３０２において、指示領域５０を２分割する。すなわち、図３１（ｃ）に示すように、線分ABと線分CDに対して、特徴点Gを通過する線分EFによって指示領域５０を２分割する。

次に、ステップS３０３において、指示領域５０を４分割するための特徴点、例えば、図３１（ｄ）に示す特徴点Hを抽出する。この特徴点Hについても、撮像データから左手LHの重心位置、予め定めた特徴量、ステアリングホイール５の重心位置などに基づいて抽出する。ここで、先に特定した特徴点Gを特徴点Hとして用いることもできる。ステップS３０４において、指示領域５０を４分割する。すなわち、図３１（e）に示すように、線分EFに加えて、線分AHと線分BHを用いて、指示領域５０を４分割する。

次のステップS３０５において、図３１（ｆ）に示すように、線分EHを削除して、指示領域５０を、点A、C、F、Hにより画成されたサブ指示領域５３、点B、D、F、Hにより画成されたサブ指示領域５１、および点A、B、Hにより画成されたサブ指示領域５２に３分割する。以上により、ステップS３００を終了し、図６に示した次のステップS４０１に進む。

次に、ＣＰＵ１１は、ステップＳ４０１に進み、受付窓Wが開いている状態において、操作者の手によって行われたジェスチャ入力を認識する。すなわち、このステップＳ４０１において、ステアリングホイール５において行われる操作者の左手LHによるジェスチャおよびステアリングホイール５をセンサ３１により撮像して、その撮像データをＣＰＵ１１に伝送する。ＣＰＵ１１は、その受信した撮像データに基づいて、各サブ指示領域５１〜５３におけるジェスチャパターンを特定することによって、サブ指示領域５１〜５３（図５を参照）内での操作者によるジェスチャ入力を認識する。

ROM１２には、図７において後述するジェスチャ入力ｄ１１とあらかじめ定められた所定の操作対象に対する所定の操作についての指示内容ｄ１２との対応、すなわち、操作指示管理データ１０１１を予め格納した照合テーブル１０（図１を参照）を設けておく。

ステップS４０２において、この照合テーブル１０を照合して、ステップS４０１において認識されたジェスチャ入力に対応する指示内容を出力する。次のステップS４０３において、照合テーブル１０を参照したときに照合が取れたか否かを判定する。照合が取れなかったときには、ステップS４０１に戻り、再度、ジェスチャ入力を認識する。他方、ステップS４０３において、照合がとれたときには、次のステップS４０４に進む。このステップS４０４において、照合されたジェスチャ入力を出力する。なお、このステップS４０４において、照合が取れたことを表示部３３および/またはスピーカ３４に出力することで、操作者が、ジェスチャ入力がなされたことを理解するようにしてもよい。

次のステップS５００では、図４に示した操作パターンのいずれかの態様に応じて、ジェスチャ入力の受付窓Wが閉じられたか否かを判断する。ここで、ジェスチャ入力の受付窓Wが閉じられていると判断されると、それ以降は、ジェスチャ入力の認識を禁止する。

ステップＳ４０３において、ジェスチャ入力が照合されたときには、ステップS５００を経て、次のステップS７００に進み、ここで、操作対象に対して、ジェスチャ入力に応じた所望の操作を行うべく、CPU１１は必要な処理を行う。ここで、例えば、正しく入力された旨を表示部３３（例えば、インスツルメンタルパネル６、HUD７またはディスプレイ４２）および／またはスピーカ３４によって出力してもよいし、あるいはまた、入力された指示に従った操作による結果を表示部３３および／またはスピーカ３４から出力するのみでもよい。

他方、ステップＳ４０３において、ジェスチャ入力が正しく認識されなかったときには、ＣＰＵ１１は、再度、ステップS４０１に戻り、操作者が、所望する操作に対するジェスチャ入力を再度行うのを待機する。なお、ステップS４０３からステップS４０１に戻る際に、ステップS４０５において、エラー情報（例えば、「再度、ジェスチャ入力を促す旨の警告表示」または「入力エラーを警告する警告音」など）を表示部３３および／またはスピーカ３４により出力して、当該エラーを操作者に警告することもできる。すなわち、エラー情報を出力することにより、操作者は再度のジェスチャ入力が要求されていることを認識することができる。

図６において、ステップS２００およびS３００による指示領域の生成と配置、およびサブ指示領域の生成は、ステップS１００の処理を行う前に行ってもよい。あるいはまた、これら一連のジェスチャ入力の処理に先立って、プリセットしておくこともできる。

ステップS４０３により、ジェスチャ入力が正しく照合されたか否かを判断することを省略し、その代わりに、表示部３３又はスピーカ３４からの出力を操作者が見たり、聞いたりし、あるいは何の操作もされなかったことを操作者が把握することによって、指示された操作がなされているのか否かを、判断することもできる。

図７は、ジェスチャ入力とそれにより指示された操作との対応関係の一例を示す説明図である。

図７において、１０１１は、ジェスチャ入力ｄ１１と、指示された操作ｄ１２との対応関係を予め格納した操作指示管理データのテーブルを示す。例えば、ジェスチャ入力ｘ１は、例えば図５（ａ）および図５（ｂ）に示した親指TMのジェスチャ態様であり、「曲の切替え」という指示に応じた操作と予め対応付けられている。操作指示管理データ１０１１はＲＯＭ１２に予め格納しておき、ジェスチャ制御システム１の動作時には、ジェスチャ入力ｄ１１に対応する操作指示ｄ１２が特定される。

ステップS４０２において、ＣＰＵ１１は、図７に示した操作指示管理データ１０１１を参照し、認識されたジェスチャ入力に基づいてジェスチャ入力ｄ１１に対応付けられた操作指示ｄ１２を特定して実施する。すなわち、ＣＰＵ１１は、ステップＳ４０１で認識されたジェスチャ入力と一致するジェスチャパターンｄ１１を見つけ出し、そのジェスチャ入力に応じた操作を指示する。例えば図５において、指示領域５０は３つのサブ指示領域５１〜５３を含むので、ＣＰＵ１１は、各サブ指示領域５１〜５３における認識結果に応じて操作に指示を行う。したがって、例えば、２つのサブ指示領域５１，５２でのジェスチャ入力と操作の指示とが対応付けられている場合には、各サブ指示領域５１，５２でのジェスチャ入力が適切なものと判断され、当該指示された操作が実施されることになる。

[ジェスチャ操作システム１のハードウエアに図６に示したソフトウエアを組み込んだ全体構成]
図８は、図１に示したジェスチャ操作システム１のハードウエアに図６に示したソフトウエアを組み込んだ全体構成の一例を示すブロック図である。

図８において、このジェスチャ制御システム１は、記憶部１００、撮像部３１、指示領域設定部２００、操作開始の指示を行うスイッチ３２、そのスイッチ３２の付勢に応答して受付窓を生成する受付窓生成３００、ジェスチャ入力認識部４００、および操作指示部５００を備える。６００は移動体に関連する特定の機器、すなわち操作対象である。

記億部１００は、図１におけるＲＯＭ１２およびＲＡＭ１３により構成される。記憶部１００は、前述した選択操作管理データ１０１１（図７）、すなわち、ジェスチャ入力とそれに対応した操作の内容を格納したテーブル１０（図１）を有する。

撮像部（センサ）３１は、例えば、図１に示したセンサ３１で構成され、ステアリングホイール（操舵装置）５およびステアリングホイール５を操舵する操作者の手を撮像する。

指示領域設定部２００では、撮像部３１によって撮像されたステアリングホイール５および操作者の手の撮像データに基づいて、ステアリングホイール５に関連して操作者の手による、操作対象６００に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域５０（図５）を生成し、その生成された指示領域５０を操舵装置５および操作者の手との関係に応じて配置し、およびその指示領域を予め定めた少なくともひとつ、例えば、３つのサブ指示領域５１，５２，５３（図５）に割り当てる。

受付窓生成部３００では、操作者がその手によりスイッチ３２を付勢することによって、ジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、図４に示したような、予め定めた操作パターンのいずれかに応じて、その受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成する。

ジェスチャ入力認識部４００では、受付窓生成部３００において受付窓が開かれ、ジェスチャ入力の受付が許可されている状態において、撮像部３１からの撮像データを受付けて、サブ指示領域５１，５２，５３における手によるジェスチャ入力を認識する。

操作指示部５００では、ジェスチャ入力と予め定められた操作対象に対する予め定められた操作についての指示内容との対応を格納したテーブル１０を参照して、認識されたジェスチャ入力に対応する指示内容を特定する。この操作指示部５００からの操作指示出力を操作対象６００に渡すことにより、当該操作対象に対して、受け付けられたジェスチャ入力の指示内容による予め定められた操作を行う。

図９，１０，１１は、図６に示した処理の手順を、図４に示した操作パターン１，２および３に対応して、それぞれ、具体的に示すフローチャートである。ここで、図６と同様のステップには同一のステップ符号を付すことにする。

図９において、ステップS１０１はステップS１００に対応し、スイッチ３２が押し下げされたか否かを判断する。スイッチ３２は、いったん、押し下げされたらば、ステップS４０１〜S４０４の処理の間、ずっと押し下げ状態（オン状態）を保ち、ステップS４０１〜S４０４の処理が終了したならば、押し下げ状態から釈放し、ステップS５００に対応するステップS５０１においてスイッチ３２のオフ状態を判断する。ここで、スイッチ３２がオフであると判断されると、次のステップS７００に進む。

図１０においては、ステップS１０１およびS１０２はステップS１００に対応し、スイッチ３２が押し下げ（オン）され、引き続いて押し下げから釈放（オフ）されたか否かを判断する。このようにスイッチ３２は、釈放されたならば、ステップS４０１〜S４０４の処理の間、押し下げ状態にしておく必要はない。つまり、この操作パターンでは、スイッチ３２が釈放されたならば、受付窓の予め定めた時間幅Wの計時を開始する。ステップS４０１〜S４０４の処理が終了したならば、ステップS５００に対応するステップS５０３において受付窓Wの予め定めた時間幅Wに到達したか否かを判断する。その時間幅Wに到達したならば、次のステップS７００に進む。

図１１においては、ステップS１０１およびS１０２はステップS１００に対応し、スイッチ３２が押し下げされ、引き続いて押し下げから釈放されたか否かを判断する。すなわち、スイッチ３２がオン、オフされたときに、受付窓Wを開始する。このようにスイッチ３２は、釈放（オフ）されたならば、ステップS４０１〜S４０４の処理の間、押し下げ（オン）状態にしておく必要はない。ステップS４０１〜S４０４の処理が終了したならば、ステップS５００に対応するステップS５０１およびS５０２において、スイッチ３２が押し下げされ、引き続いて押し下げから釈放されたか否かを判断する。すなわち、スイッチ３２が再びオン、オフされたときに、受付窓Wを終了し、次のステップS７００に進む。

図１２〜図１７は、図６に示した手順における処理の具体例を示す。

図１２は、図４に示した操作パターン１に応じた曲の切替え操作の例を説明するための図である。図１３は、操作パターン１に応じた曲の早送り操作の例を説明するための図である。図１４は、操作パターン２に応じた曲の切替え操作の例を説明するための図である。図１５は、操作パターン３に応じた曲の切替え操作の例を説明するための図である。図１６は、操作パターン１に応じた地図の拡大操作の例を説明するための図である。図１７は、操作パターン１に応じた地図の縮小操作の例を説明するための図である。

図１２において、操作者が曲Ａを聴きながら運転しているときに（図１２（ａ））、右手でステアリングホイール５のスイッチ３２を押し下げる（図１２（ｂ））。図９の流れに従って、スイッチ３２のプレス動作により、操作パターン１による受付窓WがＣＰＵ１１によって特定され、ジェスチャ入力の受付が可能になった旨がＣＰＵ１１によって判断される。すなわち、ジェスチャ入力の受付窓Wが開く。その後はスイッチ３２を押し下げしたままの状態に保つ。

次に、操作者が左手の例えば親指TMを立てるジェスチャを行い（図１２（ｃ））、その後、スイッチ３２をリリースする（図１２（ｄ））。このスイッチ３２のリリースによって、ジェスチャ入力の受付窓Wは閉じることになる（図４（ａ）参照）。

図１２（ｃ）に示した親指TMのジェスチャによって、センサ３１からの撮像データに基づいて操作者のジェスチャ入力が認識され（図９のステップＳ４０１）、さらに、対応するジェスチャ入力に対応する操作指示がＣＰＵ１１により特定される（図９のステップＳ４０２）。この結果、図１２（ｅ）に示すように、曲Ａがその次曲である曲Ｂに切り替えられる。

図１３は、操作パターン１において曲Ａが早送りされるときの操作態様を例示している。図１３では、図９のステップS７００をステップS４０４とS５０１との間で処理する。図１３（ｃ）に示したジェスチャを行うことで、曲Ａが早送りされることになる（図１３（ｄ））。その後に、スイッチ３２を釈放する。図１３（ａ）〜（ｃ）および（ｅ）は、それぞれ、図１２（ａ）〜（ｄ）に対応する。

図１４は、図１２に示した操作パターン１の代わりに、操作パターン２（図４（ｂ））を用いて、曲Ａから曲Ｂに切り替えるときの操作態様を例示している。すなわち、図１４では、操作者は、スイッチ３２のプレスおよびリリースの操作（図１４（ｂ）および（ｃ））を行ってから、予め定められた受付窓Wの計時が開始され、その受付窓Wの時間（例えば５秒など）内に、指によるジェスチャを行う必要がある（図１４（ｄ））。図１４（ａ）、（ｂ）、（ｄ）および（ｅ）は、それぞれ、図１２（ａ）、（ｂ）、（ｃ）および（e）に対応する。

図１５は、図１２に示した操作パターン１の代わりに、操作パターン３（図４（ｃ））を用いて曲Ａから曲Ｂに切り替えるときの操作態様を例示している。すなわち、図１５でも、操作者は、スイッチ３２のプレスおよびリリースの操作（図１５（ｂ）および（ｃ））を行ってから、指によるジェスチャを行う必要がある（図１５（ｄ））。

なお、図１５の例では、図１５（ｃ）に示したリリース操作の後に、引き続きプレスおよびリリースの操作（図１５（ｅ）および（ｆ））を行うことによって、ジェスチャ入力の受付窓Wが終了する。

図１６は、図１２に示した曲Ａの切替えの代わりに、カーナビゲーション装置４のディスプレイ４２に表示されている地図を拡大する場合の操作態様を例示している。すなわち、図１６では、操作指示として、地図が拡大されることになる（図１６（ｄ））。図１６（ａ）〜（ｃ）および（ｅ）は、それぞれ、図１２（ａ）〜（ｃ）および（ｄ）に対応する。

図１７は、図１６に示した地図の拡大の代わりに、地図を縮小するときの操作態様を例示している。この場合、例えば、操作者は、図１７（ｃ）および（ｄ）に示したサブ指示領域５１において人差し指FFを立てるジェスチャを行う。図１７（ａ）、（ｂ）および（ｅ）は、それぞれ、図１６（ａ）、（ｂ）および（ｅ）に対応する。

以上説明したように、本実施形態のジェスチャ制御システム１によれば、ジェスチャ入力の受付窓W内に、ステアリングホイール５を操作する操作者が、ステアリングホイール５から手を離すことなく、手によるジェスチャ入力を行うことにより操作を指示する。ここで、受付窓Wは、スイッチ３２の押し下げ（プレスP）によって開始されるので、操作者が操作の指示を意識してジェスチャを行うことができる。したがって、ジェスチャ入力による正確な操作の指示を実現することができる。

また、操作者によるジェスチャ入力は、操作者がステアリングホイール５から手を離さないようにして行うことができるので、ジェスチャ入力時においても車両の安全な操縦性を保持することができる。

次に、本実施形態のジェスチャ制御システム１の変形例について説明する。

（変形例１）
以上では、指示領域５０を移動させる態様について言及しなかったが、手の位置に応じて、指示領域５０の位置を移動させるようにしてもよい。

例えば図１８は、操作者が左手をステアリングホイール５に沿って移動させるのに応じて、指示領域５０を移動させる態様を例示している。図１８では、操作者は、左手の親指TMを立てた状態で左手をステアリングホイール５に沿って動かし、それに応じて指示領域５０もステアリングホイール５に沿って移動するように、ＣＰＵ１１によって処理する。これにより、車両走行の安全性が一層確保される。

（変形例２）
上述したジェスチャ入力のパターンは、ジェスチャ入力を互いに認識できるものであればよく、他の種々の代替のパターンによっても実施することができる。図１９は、種々
のジェスチャパターンを例示している。図１９において、（ａ）はサブ指示領域５３内での親指TMによるジェスチャパターン、（ｂ）はサブ指示領域５２内での親指TMによるジェスチャパターン、（ｃ）はサブ指示領域５２内での人差し指FFによるジェスチャパターン、（ｄ）はサブ指示領域５１内での人差し指FFによるジェスチャパターン、（ｅ）はサブ指示領域５１内での親指TMによるジェスチャパターン、（ｆ）はサブ指示領域５１内での４本の指、すなわち、人差し指FF、中指MF、薬指TF、小指LFによるジェスチャとサブ指示領域５３内での親指TMによるジェスチャとの組み合わせからなるジェスチャパターンを示している。種々のジェスチャパターンを組み合わせ用いることによって、操作者によるジェスチャ操作の利便性を向上させることができる。

（変形例３）
上述したスイッチ３２を配置する箇所に応じて、ジェスチャを右手または左手のいずれで行うようにしてもよい。図２０（a）および（ｂ）において、スイッチ３２をステアリングホイール５の右側に配置することにより、右手による操作を行う態様を例示している。図２０（ｃ）および（ｄ）において、スイッチ３２をステアリングホイール５の左側に配置することにより、左手による操作を行う態様を例示している。

（変形例４）
上述した指示領域５０は、手の大きさに応じて、その領域の大きさを変更するようにしてもよい。例えば、図２１（ｂ）は、図２１（ａ）に示した指示領域５０（３つのサブ指示領域５１〜５３を含む。）よりも大きい指示領域５０Ａ（３つのサブ指示領域５１Ａ，５２Ａおよび５３Ａを含む。）を設定した例を示している。この例において、ＣＰＵ１１は、操作者の手の大きさを測定し、その結果に基づいて指示領域５０の大きさを定める。これにより、操作者に合った適切なサイズを持つ指示領域５０を設定してジェスチャ入力を認識することができる。

（変形例５）
上述した指示領域５０の分割数は、操作対象によって操作の指示が多岐に亘る場合もあることを考慮して、増減することもできる。例えば、操作対象としてのカーナビゲーション装置４を別の操作対象（例えば、車内空調システムなど）に切り替えたときに、分割数を変更可能にしてもよい。例えば、図２２は、指示領域の分割数を３から４に変化させる例を示す。図２２（ａ）では、３分割されたサブ指示領域５１〜５３を含む指示領域５０が設定されているが、図２２（ｂ）では、４分割されたサブ指示領域６１〜６４を含む指示領域が設定されている。

（変形例６）
上述した指示領域の分割数は、操作対象に応じて、自在に変更することができ、図示した例のみに限定されないことはもちろんである。図２３は、指示領域の分割例を変更する例を示す図であって、（ａ）は分割数が零、すなわち１つの指示領域５０のみの態様、（ｂ）は２つのサブ指示領域５１と５２の態様、（ｃ）は４つのサブ指示領域６１〜６４の態様を示す。

（変形例７）
上述したスイッチ３２の個数および配置は図２の例にのみ限定されるものではなく、変更することができる。図２４は、スイッチ３２の配置の他の例を示す図であって、図２４（ａ）はスイッチ３２が２つの場合の配置例を示し、図２４（ｂ）は１つのスイッチ３２をステアリングホイール５の左側に配置した例を示す。

（変形例８）
上述したスイッチ３２は、プレスまたはリリースが検出可能であればよく、図２に示した例に限られない。例えば後付けタイプのハードウェアスイッチ、または静電容量式スイッチなどでもよい。図２５は、このようなスイッチ３２Ａをステアリングホイール５に取り付けた例を示す。

（変形例９）
あるいはまた、上述したスイッチ３２に代えて、図２６に示すように、コラムスイッチ５１をスイッチ３２として機能させることもできる。図２６（ａ）では、コラムスイッチ５１を回転して、「オン」状態をスイッチ３２の「プレス」状態とし、「オフ」状態をスイッチ３１の「リリース」状態とする。図２６（ｂ）では、コラムスイッチ５１を矢印５１ａの方向にプッシュしたときの「オン」状態をスイッチ３２の「プレス」状態とし、矢印５１ｂの方向にプルしたときの「オフ」状態をスイッチ３２の「リリース」状態とする。

図２６（ｃ）では、コラムスイッチ５１にタッチしたときの接触状態をスイッチ３２の「プレス」状態とするとともに、コラムスイッチ５１からリリースしたときの非接触状態をスイッチ３２の「リリース」状態とする。図２６（ｄ）では、コラムスイッチ５１をプレスしたときの状態をスイッチ３２の「プレス」状態とし、コラムスイッチ５１からリリースしたときの状態をスイッチ３２の「リリース」状態とする。

（変形例１０）
上述したセンサ３１は、操作者の手およびステアリングホイール５を少なくとも撮像可能であればよいので、車内の適宜な位置に配置することができる。例えば、図２７は、センサ３１の種々の取付け例を示す。図２７では、センサ３１をインスツルメンタルパネル６に配置した態様（図２７（ａ））、コラムカバー９に配置した態様（図２７（ｂ））、ダッシュボード１０に配置した態様（図２７（ｃ））、車の天井５０に配置した態様（図２７（ｄ））、およびマップランプ５１に配置した態様（図２７（ｅ））を示す。

（変形例１１）
以上では、ジェスチャによる操作の指示として、曲の切替えや早送り、地図の縮小・拡大を例にとって説明したが、他の種々の操作対象の操作を指示する場合にも適用することができる。例えば、図２８は、操作対象７１として地図スケールなどが挙げられ、その地図の広域／詳細などの操作の指示のための指示項目７２を対応して示したリスト７０である。
図２９は、操作対象８１としてエンジンなどが挙げられ、そのエンジンのオン／オフなどの操作の指示のための指示項目８２を対応して示したリスト８０である。
図３０は、操作対象９１としてカメラ映像などが挙げられ、そのバックカメラ映像／パノラマ映像の切替えなどの操作の指示のための指示項目９２を対応して示したリスト９０である。

（変形例１２）
以上では、ジェスチャ操作システム１が自動車などの車両に搭載されている場合について説明してきたが、例えば船舶などの移動体にジェスチャ制御システム１を搭載して、移動体の車載装置や操縦に関連する選択操作をジェスチャによって行うようにしてもよく、移動体の種類は車両のみに限定されない。

加えて、上記各変形例は、上記実施形態のジェスチャ制御システム１と組み合わせて実施することができる。

１ ジェスチャ操作システム
４ ナビゲーション装置（操作対象の一例）
５ ステアリングホイール
６ インスツルメンタルパネル（計器盤パネル）
７ ヘッドアップディスプレイ（HUD）
８ フロントガラス
１０ 照合テーブル
１１ ＣＰＵ
１２ ROM
１３ RAM
３１ センサ
３２ スイッチ
３３ 表示部
３４ スピーカ
４１ ナビゲーション処理部
５０ 指示領域
５１〜５３ サブ指示領域
１００ 記億部
２００ 指示領域設定部
３００ 受付窓生成部
４００ ジェスチャ入力認識部
５００ 操作指示部
６００ 操作対象

Claims (30)

1. 移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、
   前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定部と、
   前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成する受付窓生成部と、
   前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識部と、
   前記ジェスチャ入力と予め定められた操作対象に対する予め定められた操作についての指示内容との対応を格納したテーブルと、
   前記テーブルを照合して前記認識されたジェスチャ入力に対応する指示内容を特定する操作指示部と、
   を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行うようにすることを特徴とするジェスチャ操作システム。
2. 前記認識部により認識されたジェスチャ入力の指示内容が意図された操作の指示であったか否かを判断する認識判断部をさらに備えたことを特徴とする請求項１に記載のジェスチャ操作システム。
3. 前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢により前記受付窓を開き、および前記スイッチの消勢により前記受付窓を閉じることを特徴とする請求項１または２に記載のジェスチャ操作システム。
4. 前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが前記付勢に引き続く消勢から予め定めた時間が経過した時に、前記受付窓を閉じることを特徴とする請求項１または２に記載のジェスチャ操作システム。
5. 前記受付窓生成部は操作者が付勢および消勢することのできるスイッチを有し、該スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが再び付勢され、およびその付勢に引き続く消勢がなされた時に、前記受付窓を閉じることを特徴とする請求項１または２に記載のジェスチャ操作システム。
6. 前記指示領域を複数のサブ指示領域に分割したことを特徴とする請求項１ないし５のいずれかに記載のジェスチャ操作システム。
7. 前記サブ指示領域の個数を、前記予め定めた操作対象に対応して定めたことを特徴とする請求項１ないし６のいずれかに記載のジェスチャ操作システム。
8. 前記指示領域を、前記操作者の手と前記操舵装置との関係に応じて定めることを特徴とする請求項１ないし７のいずれかに記載のジェスチャ操作システム。
9. 前記受付窓が開かれている状態において、前記操作者が前記操舵装置を操作している際に、前記指示領域を、前記操作者の手と前記操舵装置との関係に追随して定めることを特徴とする請求項８に記載のジェスチャ操作システム。
10. 前記認識判断部によりジェスチャ入力の指示内容が意図された操作の指示であったか否かが判断されたときに、その判断結果を出力する出力部をさらに備えたことを特徴とする請求項２ないし９のいずれかに記載のジェスチャ操作システム。
11. 移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、
    前記操作者の手によるジェスチャ入力の受付の許可を開始して受付窓を生成するためのスイッチと、
    前記ジェスチャ入力と予め定められた所定の操作対象に対する所定の操作についての指示内容との対応を格納したテーブルとを備えたジェスチャ操作システムにおいて、前記操作者の手によるジェスチャ入力に応じて、予め定めた操作対象に対する予め定めた操作を行うように指示する、ジェスチャによる操作を行うにあたり、
    前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定ステップと、
    前記スイッチの動作に応答して、前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成するステップと、
    前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識ステップと、
    前記テーブルを照合して前記認識ステップにおいて認識されたジェスチャ入力に対応する指示内容を特定する操作指示ステップと、
    を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行うことを特徴とするジェスチャ操作方法。
12. 前記認識ステップにより認識されたジェスチャ入力の指示内容が意図された操作の指示であったか否かを判断する認識判断ステップをさらに備えたことを特徴とする請求項１１に記載のジェスチャ操作方法。
13. 前記受付窓生成ステップにおいて、前記スイッチの付勢により前記受付窓を開き、および前記スイッチの消勢により前記受付窓を閉じることを特徴とする請求項１１または１２に記載のジェスチャ操作方法。
14. 前記受付窓生成ステップにおいて、前記スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが前記付勢に引き続く消勢から予め定めた時間が経過した時に、前記受付窓を閉じることを特徴とする請求項１１または１２に記載のジェスチャ操作方法。
15. 前記受付窓生成ステップにおいて、前記スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが再び付勢され、およびその付勢に引き続く消勢がなされた時に、前記受付窓を閉じることを特徴とする請求項１１または１２に記載のジェスチャ操作方法。
16. 前記指示領域を複数のサブ指示領域に分割したことを特徴とする請求項１１ないし１５のいずれかに記載のジェスチャ操作方法。
17. 前記サブ指示領域の個数を、前記予め定めた操作対象に対応して定めたことを特徴とする請求項１１ないし１６のいずれかに記載のジェスチャ操作方法。
18. 前記指示領域を、前記操作者の手と前記操舵装置との関係に応じて定めることを特徴とする請求項１１ないし１７のいずれかに記載のジェスチャ操作方法。
19. 前記受付窓が開かれている状態において、前記操作者が前記操舵装置を操作している際に、前記指示領域を、前記操作者の手と前記操舵装置との関係に追随して定めることを特徴とする請求項１８に記載のジェスチャ操作方法。
20. 前記認識判断ステップによりジェスチャ入力の指示内容が意図された操作の指示であったか否かが判断されたときに、その判断結果を出力するステップをさらに備えたことを特徴とする請求項１２ないし１９のいずれかに記載のジェスチャ操作方法。
21. 移動体の操舵装置および該操舵装置を操作する操作者の手を撮像する撮像部と、
    前記操作者の手によるジェスチャ入力の受付の許可を開始して受付窓を生成するためのスイッチと、
    前記ジェスチャ入力と予め定められた所定の操作対象に対する所定の操作についての指示内容との対応を格納したテーブルとを備えたジェスチャ操作システムにおいて用いられ、前記操作者の手によるジェスチャ入力に応じて、予め定めた操作対象に対する予め定めた操作を行うように指示するための、ジェスチャ操作プログラムにおいて、
    前記撮像部によって撮像された操舵装置および操作者の手の撮像データに基づいて、前記操舵装置に関連して前記操作者の手による、前記移動体に関連する予め定めた操作対象に対する予め定めた操作についてのジェスチャ入力の指示を受け付けることのできる指示領域を生成し、当該生成された指示領域を前記操舵装置および前記操作者の手との関係に応じて配置し、および前記指示領域を予め定めた少なくともひとつのサブ指示領域に割り当てる指示領域設定ステップと、
    前記スイッチの動作に応答して、前記操作者の手によるジェスチャ入力の受付を許可するための受付窓を開いてジェスチャ入力の受付を許可し、予め定めた操作パターンに応じて、該受付窓を閉じてジェスチャ入力のそれ以降の受付を禁止する受付窓を生成するステップと、
    前記受付窓が開かれ、前記ジェスチャ入力の受付が許可されている状態において、前記撮像部からの撮像データを受付けて、前記サブ指示領域における前記手によるジェスチャ入力を認識する認識ステップと、
    前記テーブルを照合して前記認識ステップにおいて認識されたジェスチャ入力に対応する指示内容を特定する操作指示ステップと、
    を備え、受け付けられたジェスチャ入力の指示内容により、前記予め定められた操作対象に対する予め定められた操作を行うことを特徴とするジェスチャ操作プログラム。
22. 前記認識ステップにより認識されたジェスチャ入力の指示内容が意図された操作の指示であったか否かを判断する認識判断ステップをさらに備えたことを特徴とする請求項２１に記載のジェスチャ操作プログラム。
23. 前記受付窓生成ステップにおいて、前記スイッチの付勢により前記受付窓を開き、および前記スイッチの消勢により前記受付窓を閉じることを特徴とする請求項２１または２２に記載のジェスチャ操作プログラム。
24. 前記受付窓生成ステップにおいて、前記スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが前記付勢に引き続く消勢から予め定めた時間が経過した時に、前記受付窓を閉じることを特徴とする請求項２１または２２に記載のジェスチャ操作プログラム。
25. 前記受付窓生成ステップにおいて、前記スイッチの付勢およびその付勢に引き続く消勢に応答して前記受付窓を開き、および前記スイッチが再び付勢され、およびその付勢に引き続く消勢がなされた時に、前記受付窓を閉じることを特徴とする請求項２１または２２に記載のジェスチャ操作プログラム。
26. 前記指示領域を複数のサブ指示領域に分割したことを特徴とする請求項２１ないし２５のいずれかに記載のジェスチャ操作プログラム。
27. 前記サブ指示領域の個数を、前記予め定めた操作対象に対応して定めたことを特徴とする請求項２１ないし２６のいずれかに記載のジェスチャ操作プログラム。
28. 前記指示領域を、前記操作者の手と前記操舵装置との関係に応じて定めることを特徴とする請求項２１ないし２７のいずれかに記載のジェスチャ操作プログラム。
29. 前記受付窓が開かれている状態において、前記操作者が前記操舵装置を操作している際に、前記指示領域を、前記操作者の手と前記操舵装置との関係に追随して定めることを特徴とする請求項２８に記載のジェスチャ操作プログラム。
30. 前記認識判断ステップによりジェスチャ入力の指示内容が意図された操作の指示であったか否かが判断されたときに、その判断結果を出力するステップをさらに備えたことを特徴とする請求項２２ないし２９のいずれかに記載のジェスチャ操作プログラム。