JP2014175002A - ジェスチャ認識システムの操作性の検証 - Google Patents

Abstract

【課題】ジェスチャ認識システムの操作性の検証を提供する。
【解決手段】ジェスチャ認識システム及び方法は、ジェスチャ認識システムによって認識可能である試験刺激を生成するように構成された試験対象を提供することによって、ジェスチャシステムの操作性を検証する。試験対象からの試験刺激は、試験応答を生成するためにジェスチャ認識システムにおいて受け取られて処理される。プロセッサは、試験応答が試験刺激に対応することを検証する。
【選択図】図１

Description

[0001]本発明は、一般に、ジェスチャ認識システムに関し、より具体的には、ジェスチャ認識システムの操作性を検証するためのシステム及び方法に関する。

[0002]計算装置のユーザインターフェースを実施するために使用される技術は、多様であり、継続的に進歩している。これらの技術は、あらゆる範囲にわたり、ほんの数例を挙げると、専用のハードウェアインターフェース（例えば、キーボード、マウスなど）、タッチスクリーンインターフェース、及びより最近ではジェスチャ認識システムを含む。一般に知られているように、ジェスチャ認識システムは、一般に、人体の一部（例えば、手）などの物体の動きを検出し、そのような動きを特定の刺激（例えば、ジェスチャ）として識別し、その刺激を計算装置への入力として分類するように構成される。

[0003]近年、航空機制御システム（例えば、アビオニクスシステム）は、ますます電子的になり、オンボードコンピュータと統合されてきている。ジェスチャ認識ソフトウェア及びハードウェアの最近の進歩と組み合わせることで、今では、様々なアビオニクスシステム機能を制御するためにジェスチャコマンドを使用することへの関心がある。しかし、これらの最近の進歩にもかかわらず、現在知られているジェスチャ認識システムは、ハードウェア及びソフトウェアの臨界の様々なレベルや、エラーのない操作性の非常に高い可能性を保証するように設計される規制当局によって現在実施される運航乗務員手順（flight crew procedures）を満たすことができない場合がある。ジェスチャ認識システムが正常に動作していることを保証することは、フライトの特定の段階の間に、又はシステムが操作可能であるという以前の保証が非常に望ましい特定の状況でのみ、ジェスチャ認識システムやあるジェスチャ感度（例えば動きの小さな深さ）が使用できる特殊な状況では特に重要である。

[0004]したがって、操作の確実性を提供し、運航乗務員が現在のフライトデッキ手順と一致した方法でインタラクトすることを可能にし、規制当局の操作性の保証要件を満たすことができる、ジェスチャコマンド機能を有するアビオニクスシステムを操作する方法及びシステムを提供することが望ましい。本発明は、少なくともこのようなニーズに対処するものである。

[0005]一実施例では、ジェスチャ認識システムの操作性を検証するための方法は、ジェスチャ認識システムによって認識可能である試験（検査）刺激（test stimulus）を生成するように構成される試験対象を提供することを含む。試験対象からの試験刺激は、試験応答を生成するためにジェスチャ認識システムにおいて受け取られて処理される。プロセッサは、試験応答が試験刺激に対応することを検証する。

[0006]別の実施例では、ジェスチャ認識システムは、ジェスチャ認識装置、試験対象、及びプロセッサを含む。ジェスチャ認識装置は、感度のフィールド（field of sensitivity）を有しており、感度のフィールド内の物体の動きを検出するように構成される。試験対象は、ジェスチャ認識装置の感度のフィールド内に配置され、ジェスチャ認識装置によって検出可能な試験刺激を生成するように構成される。プロセッサは、ジェスチャ認識装置と動作可能に通信し、感度のフィールド内の物体によって生成された物体刺激を検出し、検出された物体刺激に基づいてシステム出力コマンドを選択的に生成するように構成される。プロセッサはさらに、ジェスチャ認識装置によって検出された試験刺激を受けとり、試験刺激に基づいて試験応答を生成し、試験応答が試験刺激に対応することを検証するように構成される。

[0007]さらに、ジェスチャ認識システム及び方法の他の望ましい特徴及び特性は、添付の図面及び前述の背景と併せて考慮して、以下の詳細な説明及び添付の特許請求の範囲から明らかになるであろう。

[0008]本発明は、以下において、同様の番号が同様の要素を示す以下の図面に関連して説明される。

[0009]ジェスチャ認識システムの一実施例の機能ブロック図を示す。

[0010]以下の詳細な説明は、本質的に単なる例示であり、本発明又は本発明の用途及び使用を限定することを意図するものではない。本明細書で使用する場合、「例示的」という語は「例、事例、又は実例として役立つ」ことを意味する。従って、「例示的」であるとして本明細書に記載されるいかなる実施例も、他の実施例よりも好ましく又は有利であると必ずしも解釈されるべきではない。本明細書で説明する実施例の全ては、特許請求の範囲によって定義される本発明の範囲を限定するためではなく、当業者が本発明を行い又は使用することを可能にするために提供される例示的な実施例である。更に、前述の技術分野、背景、概要、又は以下の詳細な説明において提示されるいかなる明示又は暗黙の理論によって束縛される意図はない。

[0011]図１を参照すると、ジェスチャ認識システム１００の実施例の機能ブロック図が示され、ジェスチャ認識装置１０２、プロセッサ１０４、及び試験対象１０６を備えている。ジェスチャ認識装置１０２は、様々に構成し実施することができるが、図示される実施例では、ジェスチャ認識装置１０２は、複数のカメラ１１２ （例えば、１１２−１、１１２−２、１１２−３、．．．、１１２−Ｎ）及び複数の光（例えば、赤外光）源１１４（１１４−１、１１４−２、１１４−３、．．．、１１４−Ｎ）を備える。しかしながら、ジェスチャ認識装置１０２が１つのカメラ１１２と１つの光源１１４のみを有するように、又は１つ又は複数のカメラ１１２を有し光源１１４を有しないように実施されてもよいことが理解されるであろう。後者の場合には、理解され得るように、システム１００は、十分な照明を提供するために周囲光に依存してもよい。さらに、１つ又は複数の光源１１４は様々に構成し実施することができるので、１つ又は複数のカメラ１１２は様々に構成し実施することができる。その特定の実施態様を問わず、イメージキャプチャデバイス１０２は、感度のフィールド１０８（例えば、視野）を有し、視野１０８内の物体１１０のイメージをキャプチャするように構成される。視野内の物体は、人体、人体の一部、人体によって保持されたデバイス、又はイメージキャプチャデバイスによって検出することができる多くの無生物のうちの任意のものであってもよい。

[0012]プロセッサ１０４は、イメージキャプチャデバイス１０２と動作可能に通信し、視野１０８内の物体によって生成された物体刺激を検出するように構成される。本明細書で使用される場合、「物体刺激（object stimuli）」という語は、１つ又は複数の物体の動き（例えば、ジェスチャ）、物体からの反射や投影イメージ、又は光源を指す。プロセッサ１０４はさらに、検出された物体刺激に基づいて、システム出力コマンドを選択的に生成するように構成される。プロセッサ１０４が生成するシステム出力コマンドは、システム１００が実施される最終使用（end-use）環境に応じて変化し得る。例えば、最終使用環境が航空機のアビオニクスシステムである場合、出力コマンドは、航空機及び／又はコックピットのシステム及び又はコンポーネントに関連するコマンドであってもよい。例えば、出力コマンドは、幾つか例を挙げると、着陸装置を上げ下げするため、飛行制御面（flight control surface）を移動するため、燃料を投棄するため、特定のライトをオンオフするため、通信無線機の音量を制御するため、コックピットのディスプレイに表示されているページを切り替えるためのコマンドであってもよい。生成される特定のコマンドは、多種多様であり、当然のことながら物体刺激（例えば、ジェスチャ）に基づいている。

[0013]イメージキャプチャデバイス１０２及びプロセッサ１０４、並びに明細書に記載の一般的な動作機能は、新しいものではなく、両方ともに、現在知られているか将来開発されるかにかかわらず、多くの既知のジェスチャ認識システム構成のうちの任意のものを用いて実施することができる。そのようなものとして、これらのコンポーネント及びそれによって実施される一般的なジェスチャ認識機能の詳細な説明は必要ではなく、これ以上提供されない。しかしながら、既に述べたように、航空機などの特定の最終使用環境のコンテキストにおいて、現在知られているジェスチャ認識システムは、規制当局の操作性保証要件を満たすための機能を実施していない。したがって、この機能を提供するためにシステム１００によって実施されるコンポーネント及び機能についてここで説明する。

[0014]ジェスチャ認識システム１００の操作性保証機能は、試験対象１０６及びプロセッサ１０４によって実施される追加の機能を介して提供される。試験対象１０６はイメージキャプチャデバイス１０２の視野１０８内に配置され、イメージキャプチャデバイス１０２によって検出可能である試験刺激１１５を生成するように構成される。プロセッサ１０４は、追加の機能を実施する際に、さらに、イメージキャプチャデバイス１０２によって検出された試験刺激を受け取り、試験刺激に基づいて試験応答を生成し、試験応答が試験刺激に対応することを検証するように構成される。

[0015]試験対象１０６は様々に構成して実施することができ、試験対象１０６によって生成される試験刺激もまた様々に構成されて実施され得ることが理解されよう。例えば、試験対象１０６は、１つ又は複数の動かない（例えば、固定の）装置を用いて実施することができるか、又は１つもしくは複数の移動する装置を用いて実施されてもよい。さらに、試験対象１０６は、試験刺激を生成する唯一の機能を有する専用の装置又はコンポーネントであってもよいし、試験刺激の生成に加えて他の機能を実施する装置又はコンポーネントであってもよい。移動しない装置又はコンポーネントのいくつかの限定的でない例は、パルス光源、又は光を反射する反射物体もしくは反射面を含む。移動する装置又はコンポーネントのいくつかの限定的でない例は、例えば、回転ホイール、振動振子、並進機構（translating mechanism）、例えば航空機のコックピット内の航空機制御面アクチュエータ（例えば、操縦桿又は操縦桿のハンドル）などのオペレータ制御される装置を含む。理解されるように、回転ホイール、振動振子、及び並進機構などのいくつかの移動する装置又はコンポーネントは、設定された周期で移動することができ、他方、オペレータ制御される装置などの他のものは、非周期的に（例えば、その移動がオペレータによって開始されたときにのみ）移動することができる。

[0016]試験対象１０６の構成及び実施の多様性に加えて、試験刺激に応答してプロセッサ１０４が生成する試験応答もまた変化し得ることが理解されるであろう。例えば、幾つかの実施例では、試験応答は、単に、相対距離、深さ及び様々な他の特性を含む試験対象１０６をシステム１００が認識する内部検証であってもよい。この試験応答は、その後、試験応答が試験刺激に対応することを検証するために、予期されるシステム応答と比較されてもよい。

[0017]試験対象１０６がオペレータ制御される装置として（又はこれを使用して）実施される場合など、他の実施例では、試験応答は、オペレータ制御される装置によって制御される装置又はコンポーネントの検出された応答であってもよい。そのため、例えば、オペレータ制御される装置が航空機の操縦桿である場合、予期されるシステム応答は、操縦桿の移動により指示される航空機の飛行制御面の移動となるであろう。プロセッサ１０４が、例えば、フィードバックセンサを介して、航空機の飛行制御面の指示された移動を検出した場合、応答は試験刺激に対応すると検証される。あるいは、予期されるシステム応答は、操縦桿の動きによって指示されるような航空機の検出された動きとすることができる。さらに、ジェスチャ認識システム１００によって検知されるような制御操縦桿の位置はまた、少なくともフライバイワイヤシステムについて操縦桿の動きを直接的に感知する、位置センサと比較することができる。これは、飛行制御面や航空機の動きに対する結果として生じるコマンドよりもより直接的な比較方法である。理解されるように、オペレータ制御された装置及びオペレータ制御される装置が制御している装置又はコンポーネントに依存して、多くの変更が可能である。

[0018]試験対象１０６がどのように実施され構成されていても、試験応答がどのように生成されても、少なくともいくつかの実施例では、プロセッサ１０４は、さらに、ジェスチャ認識システム１００を非アクティブモードに選択的に切り替えるように構成される。特に、試験応答が試験刺激に対応していないとプロセッサ１０４が判断した場合、ジェスチャ認識システム１００を非アクティブモードに切り替える。非アクティブモードにおいて、ジェスチャ認識システム１００は、検出された物体刺激に基づいてシステム出力コマンドを選択的に生成するためにはもはや使用されない。プロセッサ１０４はまた、いくつかの実施例では、ジェスチャ認識システムが非アクティブモードに切り替えられたときにアラートを生成するように構成されてもよい。アラートは、可聴警報、視覚警報、触覚警報、又はそれらの様々な組み合わせであってもよい。

[0019]プロセッサ１０４はまた、所定の周期で試験応答を自動的に生成するように、又はユーザからのプロンプトに応答してそれを行うように構成することができる。後者の場合、図１においてさらに示すように、プロセッサ１０４は、テスト開始信号１１６を受信するように結合され、その受信の際に試験応答を生成するように構成される。しかしながら、通常、周期的な自動化された試験応答は、ユーザが必要とするときにシステム１００が正常に動作することを比較的高い信頼度で保証するのに十分である。所定の周期は変化し得るが、使用することができる１つの例示的な周期は１分間に１回である。いくつかの例では、ユーザ自身がさらなる信頼性のためにシステム１００を呼び起こすことができる。例えば、航空機のコンテキストにおいて、ユーザは、離陸の直前に、着陸装置がジェスチャコントロールを介して持ち上げられる場合に、システムを呼び起こしてもよい
[0020]上述のジェスチャ認識システム１００は、１つの特定の実施例及び構成の例示に過ぎず、他の様々な構成が実施されてもよいことが理解されるであろう。例えば、ジェスチャ認識システム１００は、上述した光学ベースのシステムに限定されるものではない。むしろ、ジェスチャ認識システム１００は、いくつか例を挙げると、音響ベースのシステムや電界ベースのシステムとして構成し実施することができる。これらの代替の構成及び実施例によって、ジェスチャ認識装置１０２が、いくつか例を挙げると、音響ベースの装置として又は電界ベースの装置として構成されて実施されてもよいことが理解されるであろう。しかしながら、それぞれの場合において、ジェスチャ認識装置１０２は、例えば、各々が感度のフィールド１０８を有する、１つ又は複数のセンサ１１２（例えば、１１２−１、１１２−２、１１２−３、．．．、１１２−Ｎ）を含んでもよい。ジェスチャ認識装置１０２はまた、適切な刺激（例えば、音響、電界など）を生成するように構成された１つ又は複数のエミッタ１１４（１１４−１、１１４−２、１１４−３、．．．１１４−Ｎ）を含んでもよい。１つ又は複数のセンサ１１２は、各々が感度のフィールド１０８内の１つ又は複数の物体の動きを検出するように構成される。また、理解されるように、試験対象１０６及びそれによって生成される試験刺激１１５は、用いられるジェスチャ認識装置１０２のタイプに応じて変化する。例えば、音響ベースのシステムが実施される場合には、（必要な場合）検査対象１０６は音響試験刺激１１５を生成してもよい。同様に、電界ベースのシステムが実施される場合には、（必要な場合）試験対象１０６は電界試験刺激１１５を生成してもよい。

[0021]本明細書に記載されるシステム及び方法は、適切なシステム動作の保証をもたらすことができるジェスチャ認識システム、及び規制当局の操作性保証要件を満たす能力を提供する。プロセッサ１０４は、単一の装置として、又は、１つ又は複数の試験対象１０６を監視して各々が同じ刺激を受けていることを確認するために比較をする２つのデバイスなどの周知の手段を介して、高インテグリティ基準を満たすように構成された装置及び回路の集合として実施されてもよいことに留意すべきである。

[0022]当業者であれば、本明細書に開示された実施例に関連して説明される様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実施できることを理解するであろう。実施例及び実施のいくつかは、機能的及び／又は論理ブロックコンポーネント（又はモジュール）並びに様々な処理ステップに関して上述されている。しかしながら、そのようなブロックコンポーネント（又はモジュール）は、指定された機能を実行するように構成された任意の数のハードウェア、ソフトウェア、及び／又はファームウェアコンポーネントによって実現することができることが理解されるべきである。ハードウェアとソフトウェアのこの互換性を明確に説明するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップがそれらの機能の観点から一般的に上述されている。そのような機能がハードウェア又はソフトウェアとして実施されるかどうかは、特定のアプリケーション及びシステム全体に課された設計の制約に依存する。当業者は、説明した機能を各特定の用途について様々な方法で実施することができるが、そのような実施の決定は本発明の範囲からの逸脱を引き起こすと解釈されるべきではない。例えば、システム又はコンポーネントの実施例は、１つ又は複数のマイクロプロセッサ又は他の制御デバイスの制御下で様々な機能を実行することができる、例えば、メモリ素子、デジタル信号処理素子、論理素子、ルックアップテーブルなどの様々な集積回路コンポーネントを採用することができる。さらに、当業者であれば、本明細書に記載される実施例が例示的な実施例にすぎないことを理解するであろう。

[0023]本明細書に開示された実施例に関連して説明された様々な例示的な論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、別々のゲート又はトランジスタロジック、別々のハードウェアコンポーネント、又は本明細書に記載の機能を実行するように設計されたそれらの任意の組み合わせを用いて実施又は実行することができる。汎用プロセッサはマイクロプロセッサであってもよいが、代わりに、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態マシンであってもよい。プロセッサはまた、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連係した１つ又は複数のマイクロプロセッサ、又は任意の他のそのような構成などの、コンピューティング装置の組み合わせとして実施することができる。

[0024]本明細書に開示された実施例に関連して説明された方法又はアルゴリズムのステップは、ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、又はこの２つの組み合わせで、直接的に具現化することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能なディスク、ＣＤ−ＲＯＭ、又は当技術分野で知られている任意の他の形式の記憶媒体に存在してもよい。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替例として、記憶媒体はプロセッサと統合されてもよい。プロセッサ及び記憶媒体はＡＳＩＣ内に存在してもよい。ＡＳＩＣはユーザ端末内に存在してもよい。代替例として、プロセッサ及び記憶媒体はユーザ端末内に別々のコンポーネントとして存在してもよい。

[0025]この明細書では、第１及び第２などの関係を示す語は、必ずしもエンティティやアクション間のいかなる実際の関係や順序を必要としたり暗示したりすることなく、１つのエンティティ又はアクションを別のエンティティ又はアクションと区別するために単に使用することができる。「第１」、「第２」、「第３」などの数字で表した序数は、複数のうちの異なる１つを示すにすぎず、特許請求の範囲の文言によって具体的に定義されない限り、いかなる順序やシーケンスを意味するものでもない。いずれの請求項における一連の文言も、請求項の文言によって具体的に定義されていない限り、プロセスのステップがこのようなシーケンスに従って時間的又は論理的な順序で実行されなければならないことを意味するものではない。プロセスのステップは、入れ替えが請求項の文言と矛盾せず、論理的に無意味でない限り、本発明の範囲から逸脱することなく、任意の順序で入れ替えてもよい。

[0026]さらに、文脈に応じて、異なる要素間の関係を説明する際に使用される「接続」や「結合される」などの語は、直接的な物理的接続がこれらの要素の間でなされなければならないことを意味するものではない。例えば、２つの要素は、１つ又は複数のさらなる要素を介して、物理的に、電子的に、論理的に、又は他の任意の方法で互いに接続することができる。

[0027]少なくとも１つの例示的な実施例が上記の本発明の詳細な説明で提示されたが、多数の変形が存在することを理解されたい。例示的な実施例は単なる例であり、いかなるようにも本発明の範囲、適用性、又は構成を限定するように意図されるものではないことが理解されるべきである。むしろ、前述の詳細な説明は、本発明の例示的な実施例を実施するための便利なロードマップを当業者に提供する。様々な変更が、添付の特許請求の範囲に記載された発明の範囲から逸脱することなく、例示的な実施例で説明した要素の機能及び構成においてなされ得ることが理解される。

Claims (3)

1. 感度のフィールドを有するジェスチャ認識装置であって、前記感度のフィールド内の物体の動きを検知するように構成される、ジェスチャ認識装置と、
   前記ジェスチャ認識装置の前記感度のフィールド内に配置され、前記ジェスチャ認識装置によって検出可能な試験刺激を生成するように構成される、試験対象と、
   前記ジェスチャ認識装置と動作可能に通信するプロセッサであって、前記感度のフィールド内の物体によって生成される物体刺激を検出し、検出された物体刺激に基づいてシステム出力コマンドを選択的に生成するように構成される、プロセッサと
   を備え、前記プロセッサは、
   前記ジェスチャ認識装置によって検出された前記試験刺激を受け取り、
   前記試験刺激に基づいて試験応答を生成し、
   前記試験応答が前記試験刺激に対応することを検証する
   ようにさらに構成される、ジェスチャ認識システム。
2. 前記プロセッサは、
   前記試験応答が前記試験刺激に対応しない場合に、前記システムを非アクティブモードに切り替え、
   前記ジェスチャ認識システムが非アクティブモードに切り替えられる場合にアラートを生成する
   ようにさらに構成される請求項１に記載のシステム。
3. ジェスチャ認識システムの操作性を検証するための方法であって、
   ジェスチャ認識システムによって認識可能である試験刺激を生成するように構成される試験対象を提供するステップと、
   前記ジェスチャ認識システムにおいて、前記試験対象から試験刺激を受け取るステップと、
   前記ジェスチャ認識システムにおいて、前記試験刺激を処理して試験応答を生成するステップと、
   プロセッサにおいて、前記試験応答が前記試験刺激に対応することを検証するステップと
   を含む方法。

Images