JP2015195020A - ジェスチャ認識装置、システム及びそのプログラム - Google Patents

Abstract

【課題】不特定多数の身体障害者のジェスチャを認識し、インターフェース制御することが可能な、ジェスチャ認識装置を提供する。【解決手段】ジェスチャ認識装置２０は、撮像装置１０から出力された距離画像データを取り込む画像取込部２１０と、距離画像データが取り込まれるごとに利用者の所定部位を検出し、所定部位が存在する領域を距離画像から抽出する部位領域抽出部２２０と、抽出された部位領域から所定部位を検出する部位検出部２３０と、各距離画像データでの検出された所定部位に基づいて、検出された所定部位の座標の変化を検出する部位変化検出部２５０と、検出された所定部位の変化が所定値以上である場合、ジェスチャが行われたと認識するジェスチャ認識部２６０と、ジェスチャが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部２７０と、を有する。【選択図】図１

Description

本発明は、特に身体が不自由な人であっても、その人の可動域においてできるジェスチャを行うことで、パーソナルコンピュータなどのインターフェース操作を行うことを可能とするジェスチャ認識装置、システム及びそのプログラムに関するものである。

従来、身体が不自由な障害者であっても、コンピュータを利用して、インターネットやメールが利用できるよう、様々なインターフェースが開発されてきている。たとえば、指先が動く人用のスイッチや、呼気で使う呼気スイッチ、音声入力ソフトなどである。しかし、障害の程度や可動域は人により様々であり、日によって体調も変化するため、当事者によっては相性の悪いインターフェースを用いることでかえって、状態を悪くすることもあった。このため、個々人の状態に合わせたオーダーメードでインターフェースを開発することが必要となる場合も多く、必ずしも多くの障害者が快適に使えるインターフェースが十分に提供できていないという問題があった。

また、画像データによるジェスチャ認識においては、距離画像データを利用したジェスチャ認識システムによるジェスチャ検出が提案されている。非特許文献１においては、ジェスチャの大きさや動作に個人差があることから、個人差が最小化できるようなジェスチャを検討し、誰もが自然で直観的なジェスチャとすることで、確実にジェスチャ検出による照明制御を行うための技術が開示されている。

三木光範 外３名著、「Kinectを用いたジェスチャ検出による照明の制御」、２０１２年度人工知能学会全国大会（第２６回）、２０１２年６月１２日、p.1-3

しかし、非特許文献１に開示された技術では、システム側が認識しやすいジェスチャであるため、システム側の仕様に従ったジェスチャを行う必要がある。しかし、身体が不自由な障害者は、たとえば、指曲げのジェスチャをする場合に、指をまっすぐにしてから、９０度曲げるという動作ができないことも多く、また手の位置も必ずしも前で行うことができないことがある。さらに、障害者の場合、症状はそれぞれ個人によって異なり、再現性のある動きが可能な部位や、動かし方、動き幅が異なるうえに、人によっては、自分の意図しない再現性のない動き、つまり不随意運動が多い場合もある。従って、システムが要求するような健常者と同じジェスチャはできないため、障害者に適用し、インターフェースとして用いることができないという問題があった。

本発明は、上述した従来技術の課題に鑑みてなされたもので、不特定多数の身体障害者のジェスチャを認識し、インターフェース制御することが可能な、ジェスチャ認識装置を提供することを目的とする。

上記目的に鑑み、本発明は撮像装置が撮像した距離画像データに基づき、利用者のジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御をインターフェース装置に対して行うジェスチャ認識装置であって、撮像装置から出力された距離画像データを取り込む画像取込部と、距離画像データが取り込まれるごとに利用者の所定部位を検出し、所定部位が存在する領域を距離画像から抽出する部位領域抽出部と、抽出された部位領域から所定部位を検出する部位検出部と、各距離画像データでの検出された所定部位に基づいて、検出された所定部位の座標の変化を検出する部位変化検出部と、検出された所定部位の変化が所定値以上である場合、ジェスチャが行われたと認識するジェスチャ認識部と、ジェスチャが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置を提供する。

なお、ジェスチャ認識装置は、さらに、利用者の一又は複数の候補部位から、インターフェース制御に関連付ける部位及び該部位におけるジェスチャを決定するジェスチャ決定部を有し、部位領域抽出部は、一又は複数の候補部位が存在する領域を前記距離画像データから抽出し、部位検出部は、抽出された部位領域から、一又は複数の候補部位を検出し、部位変化検出部は、検出された候補部位の変化量を検出し、ジェスチャ決定部は、部位変化検出部が検出した変化量に基づいて、インターフェース制御に関連付ける部位及び該部位におけるジェスチャと認識する変化量を決定し、ジェスチャ認識部は、ジェスチャ決定部が決定した部位において決定した変化量以上が検出されると、ジェスチャが行われたと認識するように構成してもよい。ジェスチャ決定部を設けることで、各個人の症状に合わせたジェスチャ認識のための変化量を決定することができるため、より精度高くジェスチャ認識を行うことが可能となる。

さらに、部位領域抽出部は、候補領域を抽出し、部位検出部は、抽出した領域を包含する矩形を検出し、部位変化検出部は、矩形内の変化を検出し、ジェスチャ決定部は、部位変化検出部が検出した変化に基づいて、変化のある領域を包含する矩形を決定するとともに、インターフェース制御に関連付ける部位及びジェスチャと認識する変化量を決定し、ジェスチャ認識部は、ジェスチャ決定部が決定した部位において決定した変化量以上が検出されると、ジェスチャが行われたと認識するように構成してもよい。これにより、どの身体部位であるかを判定することなく、ジェスチャ認識を行えるため、身体部位ごとのジェスチャモデルをもつことなく、確実にジェスチャ認識を行うことが可能となる。

さらに、変化を検出するためのしきい値を記憶するパラメータデータベースを有し、ジェスチャ決定部は、ジェスチャとして認識すると決定した変化量をしきい値としてパラメータデータベースに記憶させ、ジェスチャ認識部は、パラメータデータベースに記憶されたしきい値を読み出して、所定部位の変化がしきい値以上である場合、ジェスチャと認識するように構成してもよい。

また、ジェスチャ決定部は、所定のタイミングでの候補部位の変化量に基づいて、ジェスチャと認識するしきい値を決定するようにしてもよい。これにより、利用者が意図していない動きである不随意運動を誤ってジェスチャと認識することを防止できる。

ジェスチャ決定部は、候補部位における、過去にジェスチャとして決定したしきい値と、新たに取得した所定のタイミングでの変化量と、に基づいてジェスチャと認識する新たなしきい値を決定するようにしてもよい。日々、症状が変化する利用者であっても、確実にジェスチャ認識を行うことができる。

また、本発明は、距離画像データに基づき、利用者のジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うためのジェスチャ認識プログラムであって、撮像装置から出力された距離画像データを取り込む画像取込部と、距離画像データが取り込まれるごとに利用者の所定部位が存在する領域を距離画像から抽出する部位領域抽出部と、抽出された部位領域から所定部位を検出する部位検出部と、各距離画像データでの検出された所定部位に基づいて、検出された所定部位の変化量を検出する部位変化検出部と、検出された所定部位の変化が所定値以上である場合、ジェスチャが行われたと認識するジェスチャ認識部と、ジェスチャが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置としてコンピュータを機能させることを特徴とする、ジェスチャ認識プログラムを提供する。

また、本発明は、距離画像データを撮像する撮像装置と、撮像装置が撮像した距離画像データに基づき、利用者のジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御をインターフェース装置に対して行うジェスチャ認識装置と、を有するジェスチャ認識システムであって、撮像装置は、利用者の身体を撮像し、ジェスチャ認識装置は、撮像装置から出力された距離画像データを取り込む画像取込部と、距離画像データが取り込まれるごとに利用者の所定部位が存在する領域を距離画像から抽出する部位領域抽出部と、抽出された部位領域から所定部位を検出する部位検出部と、各距離画像データでの検出された所定部位に基づいて、検出された所定部位の変化量を検出する部位変化検出部と、検出された所定部位の変化が所定値以上である場合、ジェスチャが行われたと認識するジェスチャ認識部と、ジェスチャが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識システムを提供する。

本発明によれば、ジェスチャ動作が行われる部位の存在しうる領域を抽出したうえで、ジェスチャ部位を検出し、動きの変化量に基づいてジェスチャ認識を行うため、ジェスチャ動作について個人差が大きい場合であっても、確実にジェスチャを認識し、インターフェース制御を行うことが可能となる。

また、ジェスチャ決定モードを設け、所定のタイミングで動作を行うように利用者に指示して身体を動かすことで、その利用者にとって、インターフェース制御に利用可能な再現性のあるジェスチャを確実に取得し、そのジェスチャの動きを変化量として記憶して、ジェスチャ認識することで、利用者個々の症状に合わせたジェスチャ認識装置を提供することが可能となる。

さらに、ジェスチャ決定モードにおいて、動いている領域を抽出し、その領域での変化量を決定するようにすることで、動いている部位がどこの身体部位であるかを限定することなく、ジェスチャ認識を行うことができる。これにより身体部位ごとの検出パラメータなどを記憶する必要がなくなり、簡易に利用者個々に合わせたジェスチャ認識装置を提供することが可能となる。

図１は、本発明の第一の実施の形態におけるジェスチャ認識装置を含むジェスチャ認識システム例を示すブロック図である。 図２は、本発明の第一の実施の形態におけるジェスチャ認識装置２０において行われる、利用者のジェスチャ動作認識と認識されたジェスチャに対応するインターフェース制御処理の流れの一例を示すフロー図である。 図３は、記憶部２８０に記憶されているパラメータデータベース２８４及び対応ジェスチャデータベース２８６のデータ記憶内容の一例を示す図面である。 図４は、本発明のジェスチャ認識装置２０において行われる、指の曲げ動作のジェスチャ認識とジェスチャ認識に対応するインターフェース制御処理の流れの一例を示すフロー図である。 図５は、指曲げジェスチャの認識を行う際に撮像した距離画像データの一例を示す図面である。 図６は、本発明のジェスチャ認識装置２０において行われる、腕の振り動作のジェスチャ認識とジェスチャ認識に対応するインターフェース制御処理の流れの一例を示すフロー図である。 図７は、腕振りを認識する場合において、距離画像データからパーティクルフィルタにより腕をトラッキングする処理を行っている画面の一例である。 図８は、本発明のジェスチャ認識装置２０において行われる、頭の動きの動作のジェスチャ認識とジェスチャ認識に対応するインターフェース制御処理の流れの一例を示すフロー図である。 図９は、頭を振るジェスチャを認識する場合において、距離画像データから鼻を抽出し、法線ベクトルを算出する処理を行った画面の一例である。 図１０は、本発明のジェスチャ認識装置２０において行われる、舌出し動作のジェスチャ認識とジェスチャ認識に対応するインターフェース制御処理の流れの一例を示すフロー図である。 図１１は、舌出しジェスチャを認識する場合において、取得される距離画像データの一例である。 図１２は、本発明のジェスチャ認識装置２０において行われる、膝閉じ動作のジェスチャ認識とジェスチャ認識に対応するインターフェース制御処理の流れの一例を示すフロー図である。 図１３は、ひざ閉じのジェスチャを検出するために撮像された距離画像データの一例である。 図１４は、本発明の第二の実施の形態におけるジェスチャ認識装置を含むジェスチャ認識システム例を示すブロック図である。 図１５は、本発明の第二の実施の形態におけるジェスチャ決定モードにおいてジェスチャ認識装置２０において行われる、利用者のジェスチャを決定する処理の流れの一例を示すフロー図である。 図１６は、本発明の第二の実施の形態におけるジェスチャ指示プログラムでの指示画面の一例である。 図１７は、本発明の第三の実施の形態におけるジェスチャ決定モードにおいてジェスチャ認識装置２０において行われる、利用者のジェスチャを決定する処理の流れの一例を示すフロー図である。 図１８は、本発明の第三の実施の形態におけるパラメータデータベース２８４及び対応ジェスチャデータベース２８６のデータ記憶内容を示す一例である。 図１９は、本発明の第三の実施の形態におけるジェスチャ認識装置２０において行われる、利用者のジェスチャ動作認識と認識されたジェスチャに対応するインターフェース制御処理の流れの一例を示すフロー図である。 図２０は、ジェスチャ認識装置のハードウェア構成図の一例である。

以下、本発明における実施の形態を図面を用いて説明する。

（第一の実施の形態）
図１は本発明におけるジェスチャ認識装置を含むジェスチャ認識システム例を示すブロック図である。図１において、ジェスチャ認識装置２０は、撮像装置１０、インターフェース３０と接続されている。撮像装置１０は、例えば２つのカメラを有するいわゆるステレオカメラである。また、３次元距離画像を取得できるカメラであってもよい。たとえば、撮像装置１０は、指を動かす動作など、インターフェース制御に利用する動作を行っている利用者を撮像する。撮像装置１０は、撮影により時系列的に画像データを取得し、ジェスチャ認識装置２０へと送る。インターフェース装置３０は、ジェスチャ認識装置２０によって制御されるインターフェースであって、例えば、ボタン３１０、スイッチ３２０、アラーム３３０などであるが、これに限らず、マウス、キーボード、タッチパネルなどであってもよい。

ジェスチャ認識装置２０は、画像取込部２１０、部位領域抽出部２２０、部位検出部２３０、キャッシュ部２４０、部位変化検出部２５０、ジェスチャ認識部２６０、インターフェース制御部２７０、記憶部２８０を有する。

画像取込部２１０は、たとえば、撮像装置１０からリアルタイムで入力される利用者の動作を撮像した距離画像を取り込む。取り込んだ動画像データは、視差データ又は距離データを有する距離画像データである。なお、ステレオカメラである撮像装置１０から２つの画像データを取り込み、画像取込部２１０で視差を算出してもよい。また、視差データとしているが、撮像装置がステレオカメラではなく、距離計を有するカメラである場合には、画像データ及び距離データを取り込んでもよい。ここでいう「距離画像データ」は、時系列画像である動画像データのうちの各時点の画像データ（一フレーム画像）である。画像取込部２１０は、入力される画像データ及び視差データを部位検出部２２０へと出力する。

部位領域抽出部２２０は、画像取込部２１０によって取り込まれた距離画像データの一フレーム画像データ各々において、利用者の所定部位が存在する領域を抽出する。利用者の所定部位とは、インターフェース制御に対応づけられたジェスチャ認識に必要な体の部位であり、例えば、指、腕、頭、膝、肩などである。部位領域抽出部２２０は、予めその部位が存在し得る三次元空間（x, y, z）がパラメータとして与えられており、その空間内で利用者の所定部位が撮像されていないか探索し、抽出する。

部位検出部２３０は、部位領域抽出部２２０が抽出した距離画像データ内の三次元空間において、抽出すべき部位が撮像されている領域を検出する。部位検出部は、例えば、抽出された部位領域のテクスチャ画像から色や形状に基づいて抽出すべき部位を検出する。抽出された部位領域のデータは、三次元座標データとして出力される。

キャッシュ部２４０は、部位検出部２３０が距離画像データから検出した部位領域のデータ（たとえば、三次元座標データなど）を一時的に記憶するメモリである。一時記憶された部位領域のデータは、部位変化検出部２５０が、所定部位の動きを検出するために、読み出されて用いられる。

部位変化検出部２５０は、各フレーム画像において部位検出部２３０が検出した所定部位領域の変化を検出する。具体的には、フレーム画像間における、部位検出部２３０が検出した部位領域の変化量を算出することで、所定部位の動きを検出する。変化量は、三次元座標の座標値の変化に限らず、色領域の変化なども含まれる。変化の算出は、隣接フレーム画像間に限らず、５フレーム間隔、３０フレーム間隔など、所定のフレーム間隔で行ってよい。部位変化検出部２５０は、変化算出の際に用いる前フレーム画像データの値をキャッシュ部２４０から読み出すことで算出する。

ジェスチャ認識部２６０は、部位変化検出部２５０が検出した所定部位の変化量が所定値以上である場合、所定のジェスチャが行われたと認識する。予め設定されている変化量以上に所定領域の位置が変化したと判定される場合、ジェスチャが行われたと判定する。ジェスチャとは、例えば、指曲げ、腕振り、頭部の向きを変えること、舌出し、膝閉じである。なお、ジェスチャはこれらに限らない。変化量は、定常状態と最大移動時との比較で決定される。つまり、位置変化における３次元的な軌跡の距離の大きさで判定される。また、認識対象が頭部の場合は回転角度、指の場合は、手の甲と指の間の角度、舌の場合は、舌の領域の大きさが変化量となる。ジェスチャ認識部２６０は、ジェスチャがされたと判定すると、判定されたジェスチャ内容をインターフェース制御部２７０へ送出する。

インターフェース制御部２７０は、ジェスチャ認識部２６０が、認識したジェスチャに関連づけられたインターフェース制御を行う。具体的には、記憶部２８０の対応ジェスチャデータベース２８６を読み出し、所定のジェスチャ内容に対応するインターフェース制御を読み出し、インターフェース３０を制御する。例えば、指曲げのジェスチャが認識された場合、インターフェース制御部２７０は、対応ジェスチャデータベース２８６を読み出し、指曲げに対応するインターフェース制御、例えば、スイッチをオンする。

記憶部２８０は、距離画像データベース２８２、パラメータデータベース２８４、対応ジェスチャデータベース２８６を有している。距離画像データベース２８２は、撮像装置１０から、画像取込部２１０が取り込んだ距離画像データを記憶している。距離画像データベースに記憶されている距離画像は、適宜部位領域抽出部２２０によって読み出される。

パラメータデータベース２８４は、所定の部位領域が撮像されている距離画像領域の座標範囲や、所定部位を検出するために用いられる色のしきい値又は座標値や、部位変化を検出してジェスチャとして認識するためのしきい値などを記憶している。パラメータデータベースに記憶しているパラメータは、利用者別に任意に変更、設定できるように構成されていてもよい。

対応ジェスチャデータベース２８６は、ジェスチャの動作に関連付けられたインターフェース制御の内容を対応づけて記憶しているデータベースである。インターフェース制御部２７０は、ジェスチャ認識部２６０が所定のジェスチャがされたことを認識すると、対応ジェスチャデータベース２８６を読み出し、認識されたジェスチャに対応するインターフェース制御を読み出して、インターフェース制御を行う。

図２は、本発明のジェスチャ認識装置２０において行われる、利用者のジェスチャ動作認識と認識されたジェスチャに対応するインターフェース制御処理の流れの一例を示すフロー図である。

部位領域抽出部２２０は、所定部位の領域を検出する（ステップＳ２０１）。部位領域抽出部２２０は、画像取込部２１０が取得した撮像装置１０からの距離画像データから、所定の部位領域を抽出する。所定の部位領域とは、利用者が撮像されている距離画像データのなかで、ジェスチャ認識を行う体の部位、例えば、頭部、手、腕、膝、肩など、身体の部位が存在しうる領域を抽出する。撮像装置１０と利用者との位置関係から、距離画像データ内での所定部位が存在しうる範囲が定まるため、その範囲が三次元座標データ（x, y, z）でパラメータデータベース２８４に記憶されている。部位領域抽出部２２０は、パラメータデータベース２８４に記憶されている三次元座標データをよみだして、距離画像データから、所定部位の領域を抽出する。

次に、部位検出部２３０は、部位領域から所定部位を検出する（ステップＳ２０２）。部位検出部２３０は、たとえば、部位領域抽出部２２０によって抽出された部位領域の距離画像データ内のテクスチャ情報、色情報（例えば色相、彩度、明度）、形状などのパラメータに基づいて、部位領域を検出する。部位領域の抽出にあたって、どのパラメータを用いるかは、検出する部位によって異なる。部位検出部２３０は、パラメータ情報を、パラメータデータベース２８４から対応する身体部位に基づいて読み出して、検出に利用する。

部位変化検出部２５０は、部位の座標変化を検出する（ステップＳ２０３）。部位検出部２３０が、各距離画像データにおいて検出した所定部位に基づいて、距離画像データ間での所定部位の座標の変化を検出する。たとえば、部位変化検出部２５０は、キャッシュ部２４０に一時記憶されている、比較対象となる前フレームの距離画像データにおける部位領域と、現在フレームの距離画像データにおける部位領域の座標変化を算出する。また、部位変化検出部２５０は、変化量やその変化量に達するまでの時間を算出する。障害者の不随意運動による誤認識を避けるため、動きの速度が遅すぎるものや速すぎるものを除外するためである。

次に、ジェスチャ認識部２６０は、部位変化検出部２５０が検出した部位変化の変化量に基づいて、部位の変化が所定値以上かの判定を行う（ステップＳ２０４）。判定を行う場合に、ジェスチャ認識部２６０は、該当する部位に対応する部位変化検出パラメータをパラメータデータベース２８４から読み出し、読み出されたパラメータに基づいて判定を行う。例えば、所定部位が指であって、指曲げのジェスチャである場合は、指と手の角度変化が所定量以上かどうかで、判定を行う。

部位の変化が所定値以上の場合（ｙｅｓ）、ジェスチャ認識部２６０は、ジェスチャ動作がなされたと認識する（ステップＳ２０５）。部位の変化が所定値以上ではない場合（ｎｏ）、部位変化検出部２５０が引き続き部位の座標変化を検出し（ステップＳ２０３）、ジェスチャ認識部２６０は、部位の変化が所定値以上かの判定を行う。ジェスチャ認識部２６０はジェスチャ動作がなされたと認識すると、認識されたジェスチャ動作をインターフェース制御部２７０へ出力する。

インターフェース制御部２７０は、取得したジェスチャ動作に関連付けられたインターフェース制御を行う（ステップＳ２０６）。インターフェース制御部２７０は、対応ジェスチャデータベース２８６を参照し、認識されたジェスチャ動作に対応するインターフェース制御内容に基づいて、インターフェース３０のインターフェース制御を行う。

ここでは、一つの身体部位を検出する方法を説明したが、一つの距離画像データから、複数の身体部位を検出するように構成してもよい。例えば、上半身が撮影されている距離画像データである場合、指曲げジェスチャ、頭部の振りのジェスチャ、舌出しのジェスチャなど複数のジェスチャを検出してもよい。

図３は、記憶部２８０に記憶されているパラメータデータベース２８４及び対応ジェスチャデータベース２８６のデータ記憶内容の一例を示す図面である。

パラメータデータベース２８４には、身体部位ごとに、それぞれ、距離画像データから部位領域を抽出するためのパラメータや、所定部位を検出するためのパラメータ、ジェスチャを認識するための部位変化を検出するためのパラメータが記憶されている。これらのパラメータは、検出する身体部位ごとに異なる。部位領域抽出パラメータとして、ここでは、三次元座標データによって三次元による抽出範囲が指定されているが、これに限らず、画像データにおける二次元座標により指定し、視差のデータ範囲で指定しても同様である。

指の部位検出パラメータとして、ここでは、テクスチャ情報及び色情報が指定されているが、指定されるパラメータは、身体部位によって異なる。身体部位によって異なるパラメータの詳細は、後述する。なお、これらのパラメータは、利用者の身体の可動域に基づいて、任意の値に自由に変更できるよう構成されていてもよい。

対応ジェスチャデータベース２８６には、認識されたジェスチャと対応するインターフェース制御内容とが対応づけて記憶されている。例えば、頭部が右に振られるジェスチャが認識された場合、マウスでクリック動作を行うことが記憶されている。このほか、腕振りに対してアラーム音発生、指曲げに足してスイッチ押下が一例として記憶されているが、これらに限らず、あるジェスチャに対してキーボードのキー押下を対応づけてもよい。インターフェース制御部２７０は、ジェスチャ認識部２６０が出力したジェスチャ内容に基づいて、対応ジェスチャデータベース２８６を参照し、関連づけられて記憶されているインターフェース制御内容に基づいてインターフェース制御を行う。

これより、各身体部位それぞれにおけるジェスチャの認識方法とインターフェース制御の詳細をフローチャートに従って、説明する。

図４は、本発明のジェスチャ認識装置２０において行われる、指の曲げ動作のジェスチャ認識とジェスチャ認識に対応するインターフェース制御処理の流れの一例を示すフロー図である。

まず、部位領域抽出部２２０は、画像取込部２１０が取り込んだ距離画像データから、手が存在する領域の検出、つまり、手の領域となる三次元空間の部位領域を抽出する（ステップＳ４０１）。具体的には、部位領域抽出部２２０は、距離画像データ中で手が存在し得る三次元空間として設定されているパラメータをパラメータデータベース２８２から読み出し、距離画像データからパラメータとして設定されている領域を抽出する。パラメータデータベースには、手が存在し得る三次元空間として、たとえば、三次元座標の最大値及び最小値が記憶されている。

次に、部位検出部２３０は、手が存在する領域の距離画像データから検出対象となる指と手を検出する（ステップＳ４０２）。部位検出部２３０は、部位領域抽出部２２０が出力した部位領域の距離画像データのなかから、テクスチャ情報に基づいて、手とジェスチャ対象となる指を検出する。具体的には、テクスチャ情報に基づき、ジェスチャ対象となる指には、着色された指サックなどで目印を装着しているため、その着色された色領域を持つ3次元オブジェクトを抽出する。手については、指に最も近い領域の3次元オブジェクトをラベリングしていき、最大ラベルを手として認識することでジェスチャ対象の手を抽出する。手を抽出する際に、手に相当する肌色領域を同時に利用することも可能である。指や手については抽出する着色領域や肌色領域については、パラメータデータベース２８４にあらかじめ、色相や明るさの最大値、最小値が記憶されており、部位検出部２３０は、それらの値を読みだすことで、指及び手の部位を検出する。

部位変化検出部２５０は、部位検出部２３０が距離画像データから検出した指と手の部位に基づいて、距離画像データ間における指と手の角度の変化を検出する（ステップＳ４０３）。具体的には、部位変化検出部２５０は、キャッシュ部２４０に記憶されている一又は数フレーム以前の距離画像データにおける指及び手の部位の位置と、現在の距離画像データにおける指及び手の部位の位置から、指の曲げ変化を検出する。指の曲げ変化の検出にあたっては、それぞれの距離画像データにおける指と手首のモーメントを計算し、モーメントから２軸の角度を計算することで行う。そして、指と手の角度の差を計算する。

ジェスチャ認識部２６０は、部位変化検出部２５０が計算した角度に基づき、指と手の角度の変化量が所定値以上かどうかを判定する（ステップＳ４０４）。所定値となる設定しきい値は、パラメータデータベース２８４に記憶されており、ジェスチャ認識部２６０は、そのしきい値を読みだして、参照することで、判定を行う。判定の結果、所定値以上である場合（ｙｅｓ）、指曲げと判定される（ステップＳ４０５）。判定の結果、角度の変化量が所定値以下の場合（ｎｏ）、指曲げのジェスチャはなされていないと判定され、ステップＳ４０３へ戻り、引き続き、部位変化検出部２５０が指と手の角度の変化の検出を行う。ジェスチャ認識部２６０は、指曲げと判定した場合（ステップＳ４０５）、指曲げジェスチャがなされたことを、インターフェース制御部２７０へ出力する。このように、手の領域を検出したうえで、指の部位を検出することで、不随意運動によって手が動いてしまう人であっても、確実に指の動きを検出してジェスチャ認識することができる。

次に、インターフェース制御部２７０は、ジェスチャ認識部２６０の出力に応じて、指曲げに関連付けられたインターフェース制御を行う（ステップＳ４０６）。具体的には、インターフェース制御部２７０は、対応ジェスチャデータベース２８６を参照し、指曲げに対応するインターフェース制御をインターフェース３０に対して行う。このように、手や指がどのような場所にあって、どの角度から曲げたとしても変化量によって指曲げを判定するため、様々な特性を有した人のジェスチャ認識を行うことができる。

図５は、指曲げジェスチャの認識を行う際に撮像した距離画像データの一例を示す図面である。撮像された画像データには、距離データが含まれているため、距離が大きく異なる境界は白く抜けた状態となっている。このような距離画像データから指及び手を検出する。

図６は、本発明のジェスチャ認識装置２０において行われる、腕の振り動作のジェスチャ認識とジェスチャ認識に対応するインターフェース制御処理の流れの一例を示すフロー図である。

まず、部位領域抽出部２２０は、画像取込部２１０が取り込んだ距離画像データから、腕が存在しうる領域の検出、つまり、肘から先の前腕の領域となる三次元空間の部位領域を抽出する（ステップＳ６０１）。具体的には、部位領域抽出部２２０は、距離画像データ中で肘から先の前腕及び手が存在し得る三次元空間として設定されているパラメータをパラメータデータベース２８２から読み出し、距離画像データからパラメータとして設定されている領域を抽出する。パラメータデータベースには、前腕及び手が存在し得る三次元空間として、たとえば、三次元座標の最大値及び最小値が記憶されている。

次に、部位検出部２３０は、腕が存在する領域の距離画像データから検出対象となる腕を検出する（ステップＳ６０２）。部位検出部２３０は、部位領域抽出部２２０が出力した部位領域の距離画像データに、パーティクルフィルタを適用する。

部位変化検出部２５０は、部位検出部２３０が距離画像データから検出した腕の部位に基づいて、距離画像データ間における腕の動きの変化を検出する（ステップＳ６０３）。部位変化検出部２５０は、具体的には、腕の位置の変化の検出にあたっては、パーティクルフィルタを用いて局所的特徴を追跡することで行う。そして、距離画像データのフレーム間差分におけるパーティクルの尤度を決定することで大きく動く腕の振りをトラッキングする。そして、部位変化検出部２５０は、パーティクル群の重心移動距離から腕状態を推定することで、腕の位置変化を検出する。

ジェスチャ認識部２６０は、部位変化検出部２５０が検出した腕の振りが所定値以上かどうかを判定する（ステップＳ６０４）。つまり、所定時間内における腕のパーティクル群の重心移動距離の変化量が所定値以上かを判定する。所定値となる設定しきい値は、パラメータデータベース２８４に記憶されており、ジェスチャ認識部２６０は、そのしきい値を読みだして、参照することで、判定を行う。判定の結果、所定値以上である場合（ｙｅｓ）、腕が振られたと判定される（ステップＳ６０５）。判定の結果、腕の位置の変化量が所定値以下の場合（ｎｏ）、腕振りのジェスチャはなされていないと判定され、ステップＳ６０３へ戻り、引き続き、部位変化検出部２５０が腕の位置の変化の検出を行う。ジェスチャ認識部２６０は、腕が振られたと判定した場合（ステップＳ６０５）、腕振りジェスチャがなされたことを、インターフェース制御部２７０へ出力する。

次に、インターフェース制御部２７０は、ジェスチャ認識部２６０の出力に応じて、腕振りに関連付けられたインターフェース制御を行う（ステップＳ６０６）。具体的には、インターフェース制御部２７０は、対応ジェスチャデータベース２８６を参照し、腕振りに対応するインターフェース制御をインターフェース３０に対して行う。

図７は、腕振りを認識する場合において、距離画像データからパーティクルフィルタにより腕をトラッキングする処理を行っている画面の一例である。中央の画像が距離画像データであり、右上の画像が、距離画像データにパーティクルフィルタを適用した画像、右下の画像が、パーティクル群から検出した重心を指先に示す画像である。このように、距離画像データにパーティクルフィルタを適用することで、腕の局所的特徴をトラッキングし、腕の重心を検出し、重心移動距離を算出することで、腕の振りを検出している。

図８は、本発明のジェスチャ認識装置２０において行われる、頭の動きの動作のジェスチャ認識とジェスチャ認識に対応するインターフェース制御処理の流れの一例を示すフロー図である。

まず、部位領域抽出部２２０は、画像取込部２１０が取り込んだ距離画像データから、頭部が存在しうる領域の検出、つまり、首より上の頭部の領域となる三次元空間の部位領域を抽出する（ステップＳ８０１）。具体的には、部位領域抽出部２２０は、距離画像データ中で頭部が存在し得る三次元空間として設定されているパラメータをパラメータデータベース２８２から読み出し、距離画像データからパラメータとして設定されている領域を抽出する。パラメータデータベースには、頭部が存在し得る三次元空間として、たとえば、三次元座標の最大値及び最小値が記憶されている。

次に、部位検出部２３０は、頭部が存在する領域の距離画像データから検出対象となる頭部を検出したうえで、鼻を検出する（ステップＳ８０２）。部位検出部２３０は、部位領域抽出部２２０が出力した部位領域の距離画像データのなかから、テクスチャ画像に基づいて、ジェスチャ対象となる頭部を検出する。具体的には、テクスチャ画像に基づき、頭部となりうる楕円球の形状を抽出する。次に、抽出範囲をラベリングしていき、顔に最も近いオブジェクトを顔として認識する。抽出する楕円球の形状や顔のオブジェクトについては、パラメータデータベース２８４にあらかじめ、座標値の最大値、最小値が記憶されており、部位検出部２３０は、それらの値を読みだすことで顔を抽出する。次に、抽出された顔画像の距離画像データを、ズーム、回転等を行って、位置を正規化し、顔画像のデータのうち、最もカメラに対して距離が近い点を鼻として抽出する。

続いて、部位検出部２３０は、鼻の部位から顔の法線ベクトルを算出する（ステップＳ８０３）。具体的には、検出した鼻の位置に基づき、鼻を中心とした領域の距離情報に基づいて顔の法線ベクトル（顔の向き）を計算する。

部位変化検出部２５０は、顔の法線の向きの変化を検出する（ステップＳ８０４）。部位変化検出部２５０は、キャッシュ部２４０に記憶されている一又は数フレーム以前の距離画像データにおける顔の法線ベクトルと、現在の距離画像データにおける法線ベクトルの変化量を算出し、顔の向きの変化を検出する。

ジェスチャ認識部２６０は、部位変化検出部２５０が検出した法線ベクトルの向きの変化が所定値以上かどうかを判定する（ステップＳ８０５）。つまり、法線ベクトルの向きの変化量が所定値以上かを判定する。所定時間内における向きの変化量から判定してもよい。例えば、顔を動かしていない状態を初期位置として、右向き、左向きまたは下向きへと意図して首を動かしたときに生じる変化量で判定してもよい。所定値となる設定しきい値は、それぞれの向きに応じた値がパラメータデータベース２８４に記憶されており、ジェスチャ認識部２６０は、そのしきい値を読みだして、参照することで、判定を行う。判定の結果、所定値以上である場合（ｙｅｓ）、頭を動かしたと判定される（ステップＳ８０６）。判定の結果、法線の向きの変化量が所定値以下の場合（ｎｏ）、頭を振るジェスチャはなされていないと判定され、ステップＳ８０３へ戻り、引き続き、部位変化検出部２５０が法線ベクトルの向きの変化の検出を行う。ジェスチャ認識部２６０は、頭を振ったと判定した場合（ステップＳ８０６）、頭を振るジェスチャがなされたことを、インターフェース制御部２７０へ出力する。

次に、インターフェース制御部２７０は、ジェスチャ認識部２６０の出力に応じて、頭の動きに関連付けられたインターフェース制御を行う（ステップＳ８０７）。具体的には、インターフェース制御部２７０は、対応ジェスチャデータベース２８６を参照し、頭の動きに対応するインターフェース制御をインターフェース３０に対して行う。

図９は、頭を振るジェスチャを認識する場合において、距離画像データから鼻を抽出し、法線ベクトルを算出する処理を行った画面の一例である。このように顔画像を正規化して、鼻を検出したあと、法線ベクトルを算出する。

図１０は、本発明のジェスチャ認識装置２０において行われる、舌出し動作のジェスチャ認識とジェスチャ認識に対応するインターフェース制御処理の流れの一例を示すフロー図である。

まず、部位領域抽出部２２０は、画像取込部２１０が取り込んだ距離画像データから、頭部が存在しうる領域の検出、つまり、首より上の頭部の領域となる三次元空間の部位領域を抽出する（ステップＳ１００１）。このステップは、頭部を振るジェスチャ動作の認識におけるステップＳ８０１と同様であるので、詳細は省略する。

次に、部位検出部２３０は、頭部が存在する領域の距離画像データから検出対象となる頭部を検出したうえで、鼻を検出する（ステップＳ１００２）。この処理についても、頭を振る動作の認識におけるステップＳ８０２と同様であるため、説明を省略する。

部位検出部２３０は、距離画像データから検出した鼻の部位に基づき、鼻より下の頭部領域から舌の領域を検出する（ステップＳ１００３）。具体的には、検出した鼻の位置に基づき、鼻より下の頭部領域のＨＳＶ色情報（色相、明度、彩度）を取得し、舌の色として設定した色相のしきい値をパラメータデータベース２８４から読み出して、フィルタリングを行う。フィルタリングによって抽出された領域にラベリング処理を行って、所定サイズ以上のラベルを有する領域を舌として検出する。

部位変化検出部２５０は、舌領域の変化を検出する（ステップＳ１００４）。部位変化検出部２５０は、キャッシュ部２４０に記憶されている一又は数フレーム以前の距離画像データにおける舌領域と、現在の距離画像データにおける舌領域との変化量を算出し、舌領域の変化を検出する。

ジェスチャ認識部２６０は、部位変化検出部２５０が検出した舌領域の変化が所定値以上かどうかを判定する（ステップＳ１００５）。また、舌領域が、所定面積以上になり、一定時間継続しているかどうかで判定してもよい。所定値となる設定しきい値は、パラメータデータベース２８４に記憶されており、ジェスチャ認識部２６０は、そのしきい値を読みだして、参照することで、判定を行う。判定の結果、所定値以上である場合（ｙｅｓ）、舌を出したと判定される（ステップＳ１００６）。判定の結果、舌領域の変化が所定値以下の場合（ｎｏ）、舌を出すジェスチャはなされていないと判定され、ステップＳ１００４へ戻り、引き続き、部位変化検出部２５０が舌領域の変化の検出を行う。ジェスチャ認識部２６０は、舌を出したと判定した場合（ステップＳ１００６）、舌を出すジェスチャがなされたことを、インターフェース制御部２７０へ出力する。このように、舌領域の抽出を頭部領域の検出から行うように構成することで、顔の動きに不随意運動がある人であっても、確実に頭部の動きをトラッキングして舌領域を検出してジェスチャ認識を行うことが可能となる。

次に、インターフェース制御部２７０は、ジェスチャ認識部２６０の出力に応じて、舌を出すジェスチャに関連付けられたインターフェース制御を行う（ステップＳ１００７）。具体的には、インターフェース制御部２７０は、対応ジェスチャデータベース２８６を参照し、舌出しに対応するインターフェース制御をインターフェース３０に対して行う。

図１１は、舌出しジェスチャを認識する場合において、取得される距離画像データの一例である。（ａ）の中央は舌を出した距離画像データであり、右側に画像処理した画像が表示されている。右上が頭部検出した画像データ、右中が頭部検出後正規化した画像データ、右下が舌領域を検出した画像データである。（ｂ）の中央は舌を出していない距離画像データであり、右側に（ａ）と同様に画像処理した画像が表示されている。このように舌の色に該当する色領域を抽出し、色領域の変化に基づいて舌出しのジェスチャ認識を行う。

図１２は、本発明のジェスチャ認識装置２０において行われる、ひざ閉じ動作のジェスチャ認識とジェスチャ認識に対応するインターフェース制御処理の流れの一例を示すフロー図である。

まず、部位領域抽出部２２０は、画像取込部２１０が取り込んだ距離画像データから、両ひざが存在しうる領域の検出を抽出する（ステップＳ１２０１）。具体的には、部位領域抽出部２２０は、距離画像データ中で膝が存在し得る三次元空間として設定されているパラメータをパラメータデータベース２８２から読み出し、距離画像データからパラメータとして設定されている領域を抽出する。パラメータデータベースには、膝が存在し得る三次元空間として、たとえば、三次元座標の最大値及び最小値が記憶されている。

次に、部位検出部２３０は、ひざが存在する領域の距離画像データから検出対象となる両ひざのひざ頭部分を検出する（ステップＳ１２０２）。部位検出部２３０は、部位領域抽出部２２０が出力したひざ領域の距離画像データで、各々ひざの領域の端側から山登り法により、両ひざのひざ頭位置の推定を行うことで、ひざ頭部分を検出する。

部位変化検出部２５０は、部位検出部２３０が距離画像データから検出した両ひざのひざ頭の位置に基づいて、距離画像データ間における両ひざの位置の変化を検出する（ステップＳ１２０３）。具体的には、部位変化検出部２５０は、キャッシュ部２４０に記憶されている一又は数フレーム以前の距離画像データにおけるひざ頭の部位の位置と、現在の距離画像データにおける両ひざの位置から、両ひざの位置変化を検出する。両ひざの位置変化の検出にあたっては、それぞれの距離画像データにおける両ひざの位置座標から変化量を算出する。具体的には、ここでは、ひざ閉じのジェスチャとなるため、両ひざの位置座標が近付くことによる変化量を算出することとなる。

ジェスチャ認識部２６０は、部位変化検出部２５０が計算した両ひざの位置変化に基づき、所定時間、変化量が所定値以上に継続するかどうかを判定する（ステップＳ１２０４）。なお、両ひざの座標値による距離が所定値以上に近づいているかどうかで判定してもよい。所定値となる設定しきい値は、パラメータデータベース２８４に記憶されており、ジェスチャ認識部２６０は、そのしきい値を読みだして、参照することで、判定を行う。判定の結果、所定値以上である場合（ｙｅｓ）、両ひざが閉じられたと判定される（ステップＳ１２０５）。判定の結果、両ひざの位置の変化量が所定値以下の場合（ｎｏ）、ひざ閉じのジェスチャはなされていないと判定され、ステップＳ１２０３へ戻り、引き続き、部位変化検出部２５０が両ひざの位置の変化の検出を行う。ジェスチャ認識部２６０は、ひざ閉じと判定した場合（ステップＳ１２０５）、ひざ閉じジェスチャがなされたことを、インターフェース制御部２７０へ出力する。

次に、インターフェース制御部２７０は、ジェスチャ認識部２６０の出力に応じて、ひざ閉じに関連付けられたインターフェース制御を行う（ステップＳ１２０６）。具体的には、インターフェース制御部２７０は、対応ジェスチャデータベース２８６を参照し、ひざ閉じに対応するインターフェース制御をインターフェース３０に対して行う。なお、ひざ閉じについては、必ずしも両ひざが密着するまで近づく必要はなく、通常の状態よりも、近づいた状態になったところで、ひざ閉じのジェスチャが行われたと認識してもよい。どの位置でひざ閉じと認識するかは、設定するしきい値で任意に設定することができる。また、ここでは、ひざ閉じのジェスチャとしたが、ひざを開くことで、ジェスチャ認識を行ってもよい。

図１３は、ひざ閉じのジェスチャを検出するために撮像された距離画像データの一例である。このように、ひざの認識にあたっては、ひざが中心に映るようなカメラ設定で、撮影される。

（第二の実施の形態）
第一の実施の形態においては、インターフェース制御に用いることができる身体の各部位についてジェスチャを認識するためのパラメータを設定し、どの部位を用いるかを選択することで、再現性のある動きができる部位が身体障害者各々によって異なったとしても、ジェスチャ認識することが可能なジェスチャ認識装置について説明した。第二の実施の形態においては、ジェスチャ認識によりインターフェース制御を行う（ジェスチャ認識モード）前に、ジェスチャ決定モードを設けることで、日々変化する個々の身体障害者の症状に合わせて、的確にジェスチャ認識を行うジェスチャ認識装置について説明する。なお、第一の実施の形態と同様の処理については、説明を省略する。

図１４は、本発明の第二の実施の形態のジェスチャ認識装置を含むジェスチャ認識システム例を示すブロック図である。なお、図１と共通する構成については、同じ番号を付し、説明を省略する。図１５において、ジェスチャ認識装置２００は、撮像装置１０、インターフェース３０と接続されている。ジェスチャ認識装置２００は、画像取込部２１０、部位領域抽出部２２０、部位検出部２３０、キャッシュ部２４０、部位変化検出部２５０、ジェスチャ認識部２６０、インターフェース制御部２７０、記憶部２８０、ジェスチャ決定部２９０を有する。

記憶部２８０は、距離画像データベース２８２、パラメータデータベース２８４、対応ジェスチャデータベース２８６、ジェスチャ指示プログラム２８８を有している。距離画像データベース２８２は、撮像装置１０から、画像取り込み部２１０が取り込んだ距離画像データを記憶している。パラメータデータベース２８４は、所定の部位領域が撮像されている距離画像データにおける座標範囲である部位領域抽出パラメータ、所定部位を検出するために用いられる色のしきい値または座標値である部位検出パラメータ、部位変化を検出してジェスチャとして認識するためのしきい値を記憶している。第二の実施の形態においては、少なくとも部位変化を検出してジェスチャとして認識するためのしきい値である部位検出パラメータは、ジェスチャ決定モードによって決定されたパラメータであり、利用者ごとに異なる値が設定されている。ジェスチャとして認識するための変化量であるしきい値は、ジェスチャ決定部２９０が決定した値であって、ジェスチャ決定モードが実行されるたびに更新される。対応ジェスチャデータベース２８６は、ジェスチャの動作に関連付けられたインターフェース制御の内容を対応付けて記憶しているデータベースである。ジェスチャ決定部２９０の決定に基づいて、利用者ごとに、インターフェース制御に用いる身体部位とインターフェース制御の内容とを対応付けて記憶している。

ジェスチャ指示プログラム２８８は、利用者に所定のタイミングで、動く身体部位を動かすように指示するプログラムであって、ジェスチャ決定部２９０によって読み出される。ジェスチャ指示プログラム２８８は、所定のタイミングで複数回、指示を出して利用者に身体を動かすようにさせる。これにより、利用者の意思による動作であって、かつ再現性のある動作（随意運動）を取得することができ、また、複数回、指示を出して動作をさせることで、より確実にインターフェース制御に利用できるジェスチャを決定することを可能としている。

ジェスチャ決定部２９０は、利用者の一又は複数の候補部位から、インターフェース制御に関連付ける部位及びジェスチャを決定する。利用者によって、動かすことのできる身体部位が異なり、また動かせる度合いや動かし方も異なる。このため、ジェスチャ決定部２８０は、ジェスチャ決定モードにおいて、ジェスチャ指示プログラム２８８を記憶部２８０から読み出して、ジェスチャを所定のタイミングで行うよう、利用者に指示し、インターフェース制御に関連付ける候補となる身体部位が所定のタイミングで動いたかどうかを、部位変化検出部２５０が検出した部位の変化量に基づいて判定する。指示したタイミングにおける変化の場合、利用者が意思をもって動かしたと判断できるため、再現性のある動き、つまりインターフェース制御に利用可能なジェスチャを確実に取得できる。また、複数回、指示を出して身体部位を動かすことで、ジェスチャに利用可能な身体部位を決定し、さらにより確実にジェスチャと認識可能なしきい値を決定することができる。

たとえば、ジェスチャ決定部２９０は、ジェスチャ決定モードにおいて複数回取得することができた所定タイミングにおける変化量から、ジェスチャと認識する変化量を決定する。変化量としてみるパラメータは、各身体部位によって異なる。例えば、指曲げのジェスチャであれば、指と手の角度の変化であり、腕の振りであれば、腕の位置変化である。複数回取得した変化から、最終的にジェスチャとして認識する変化量、しきい値を決定する。この時、取得された複数の値の平均値をしきい値として決定してもよい。例えば、指曲げであれば、ジェスチャ指示プログラムが指示したタイミングで取得した手と指による角度の平均値を算出し、変化量として決定する。また、ジェスチャ決定部２９０は、過去に決定した変化量の値を一又は複数記憶しておき、今回計算した平均値と過去の値との平均を計算し、それを新たなしきい値として決定してもよい。この場合、記憶されている過去の値は、新しい値が記憶されるごとに、もっとも古い値が削除されていく（FIFO）ように構成されていてもよい。

ジェスチャ決定部２９０により決定されたジェスチャに利用可能な身体部位及びジェスチャの動きにかかる変化量は、パラメータデータベース２８４にジェスチャ認識のためのしきい値として、利用者に対応づけて記憶される。また、ジェスチャ決定部２９０において決定されたジェスチャに利用可能な身体部位及び変化量は、ジェスチャとしてインターフェース制御に対応付けて対応ジェスチャデータベース２８６へ記憶される。

ジェスチャ認識部２６０は、ジェスチャ認識モードにおいて、ジェスチャ決定部２９０が決定した所定の身体部位における変化量（部位変化検出パラメータ）を読み出して、部位変化検出部２５０が検出した所定部位の変化量が部位変化検出パラメータのしきい値以上である場合、所定のジェスチャが行われたと認識する。ジェスチャ認識部２６０は、ジェスチャがされたと判定すると、判定されたジェスチャ内容をインターフェース制御部２７０へ送出する。インターフェース制御部２７０は、ジェスチャ認識部２６０が認識したジェスチャに関連づけられたインターフェース制御を行う。

図１５は、本発明の第二の実施の形態におけるジェスチャ決定モードにおいてジェスチャ認識装置２０において行われる、利用者のジェスチャを決定する処理の流れの一例を示すフロー図である。このジェスチャ決定モードは、利用者が初めてジェスチャ認識装置を使用するときに、必ず行われるモードであり、ジェスチャ決定モードで、ジェスチャに用いる身体部位及びジェスチャとして用いる部位変化を決定し、その後のジェスチャ認識モードでのジェスチャ認識の際に、決定した身体部位及び部位変化量が用いられる。なお、ジェスチャ決定モードは、毎日、実施されるようにしてもよい。毎日実施することにより、日々変化する利用者の身体症状に応じて、ジェスチャ認識させる変化量を変化させることができ、より正確でユーザフレンドリーなジェスチャ認識装置を実現することができる。

ジェスチャ決定モードが開始される前に、利用者は、全身または上半身または下半身の正面を撮像装置１０が撮影できるような位置にいるようにする。まず、ジェスチャ決定モードが開始されると、ジェスチャ指示プログラム２８８がジェスチャ決定部２９０によって読み出され、開始する（ステップＳ１６０１）。ジェスチャ指示プログラム２８８は、利用者に対して、所定のタイミングで、身体部位を動かすように合図、指示を行うプログラムである。指示は，音楽に合わせて動作を行うタイミングを意味する○が、左から右に流れ、左側の所定位置に来たときにジェスチャをすることで音が鳴る仕組みになっている．初回以降は，二以上の候補部位に対して、それぞれ異なるタイミングで指示を出したり、同時に指示を出したりすることが可能なプログラムである。

部位領域抽出部２２０は、候補部位の領域を検出する（ステップＳ１６０２）。部位領域抽出部２２０は、画像取り込み部２１０が取得した撮像装置１０からの距離画像データから、ジェスチャに利用可能な身体の候補部位領域を抽出する。候補となり身体部位の領域としては、たとえば、頭、手、腕、膝、足先、指、口などである。撮像装置１０と利用者との位置関係から、距離画像データ内での所定部位が存在しうる範囲が定まるため、パラメータデータベース２８４に記憶されている部位領域抽出パラメータである三次元座標データ(x,y,z)を読み出して、候補部位の領域を検出する。

次に、部位検出部２３０は、部位領域から所定部位を検出する（ステップＳ１６０３）。部位検出部２３０は、たとえば、部位領域抽出部２２０によって抽出された部位領域の距離画像データ内のテクスチャ情報、色情報（例えば、色相、彩度、明度）、形状などの部位検出パラメータに基づいて、部位領域を検出する。部位検出部２３０は、部位検出パラメータを、パラメータデータベース２８４から対応する身体部位に基づいて読み出して、検出に利用する。

部位変化検出部２５０は、部位の座標変化を検出する（ステップＳ１６０４）。部位検出部２３０が、各距離画像データにおいて検出した候補部位に基づいて、距離画像データ間での候補部位の座標の変化を検出する。たとえば、部位変化検出部２５０は、キャッシュ部２４０に一時記憶されている、比較対象となる前フレームの距離画像データにおける候補部位領域と、現在フレームの距離画像データにおける候補部位領域の座標変化を算出する。例えば、候補部位が舌である場合には、舌領域の変化量を算出し、膝である場合には、膝の位置変化量を算出する。

次に、ジェスチャ決定部２９０は、部位変化検出部２５０が部位変化を検出すると、所定のタイミングにおける座標の変化かの判定を行う（ステップＳ１６０５）。所定のタイミングとは、ジェスチャ指示プログラムが利用者に身体部位を動かすように指示したタイミングである。身体障害者の場合、自分の意思とは無関係に身体が動いてしまうことがある。しかし、所定のタイミングでの座標の変化であれば、利用者が意図をもって動かしたことによる座標変化であることが明らかであり、ジェスチャとして利用可能な座標変化ということになる。ここで、たとえば、指示したタイミングから０．５秒以内の座標変化であれば、所定のタイミングにおける座標の変化であると判定する。

所定のタイミングにおける座標変化の場合（ｙｅｓ）、ジェスチャ決定部２９０は、座標の変化量を記憶する（ステップＳ１６０６）。具体的には、部位変化検出部２５０が算出した候補部位領域での移動の始点、終点の座標値、始点から終点に達するまでの時間を記憶する。これらのデータは、ジェスチャ指示プログラムが終了するまで、逐次記憶されていく。

所定のタイミングにおける座標変化ではない場合（ｎｏ）、部位変化検出部２５０は引き続き候補部位の座標変化を検出する（ステップＳ１６０４）。

そして、ジェスチャ決定部２９０は、ジェスチャ指示プログラムが終了したかの判定を行う（ステップＳ１６０７）。ジェスチャ指示プログラムが終了した場合（ｙｅｓ）、ジェスチャ決定部２９０は、記憶した変化量に基づき、平均値 を算出する（ステップＳ１６０８）。具体的には、取得した複数の変化量からジェスチャ認識の際に用いるしきい値を算出する。ここでは、平均値を算出するとしているが、これに限らない。たとえば、取得した変化量のうち、最大値と最小値の中間値をしきい値と決定してもよい。また、取得した変化量のうち、一定以上の値を有するもののうち、最小値をしきい値として決定してもよい。変化量としてみるパラメータが各身体部位によって異なるため、複数の変化量からどのようにしてしきい値を決めるかは、身体部位によって異なってもよい。

また、しきい値を算出するにあたって、過去に同じ利用者についてジェスチャ指示プログラムを実行して、しきい値を決定したことがある場合、そのしきい値を一又は複数記憶しておき、過去に実行したときのしきい値と今回実行した際の変化量から算出した値との平均をさらに算出して、しきい値としてもよい。この場合、記憶されている過去のしきい値は、新しい値が記憶されるごとに、もっとも古い値が削除されていく（FIFO）ように構成されていてもよい。なお、ジェスチャ決定部２９０は、候補部位のなかで、取得できた値のばらつきが大きい部位がある場合、平均値を算出せず、その候補部位については、ジェスチャには使わないと決定する 。

ジェスチャ指示プログラムが終了していない場合（ｎｏ）、部位変化検出部２５０は、引き続き、候補部位の座標変化を検出する（ステップＳ１６０４）。

次に、ジェスチャ決定部２９０は、パラメータデータベース２８４に記憶している値を更新してジェスチャを決定する（ステップＳ１６０９）。具体的には、ジェスチャ決定部２９０は、ジェスチャ認識に使うと決定した身体部位に対応付けて、算出した平均値をしきい値として記憶する。更新された部位変化検出パラメータは、ジェスチャ認識モードにおいて、ジェスチャ認識の際に用いられる。また、ジェスチャ決定部２９０は、ジェスチャに用いる部位を決定すると、その身体部位とインターフェース制御とを対応づけるために、対応ジェスチャデータベース２８６を更新する。そして、ジェスチャ決定モードを終了する。このように、ジェスチャ決定モードを設けることで、各人の症状に合った、ジェスチャ認識のためのしきい値を決定することができるため、精度高くジェスチャ認識を行うことができる。

ジェスチャ決定モードにおいて、ジェスチャに用いられる身体部位、ジェスチャ認識のためのしきい値が決定されると、ジェスチャ認識モードでは、ジェスチャ決定モードで決定されたしきい値をパラメータデータベース２８４から読み出してジェスチャ認識を行って、インターフェース制御を行う。ジェスチャ認識の処理は、第一の実施の形態と同様であるため、説明を省略する。

図１６は、本発明において用いられるジェスチャ指示プログラム２８８での指示画面の一例である。ジェスチャ決定モードでは、ジェスチャ指示プログラム２８８が実行されると、画面で身体を動かすように指示がなされる。ここでは、４つの部位を割り当てることが可能となっており、それぞれ左端に丸印が到達したタイミングで、割り当てられた身体を動かすような仕組みである。なお、これは一例であり、利用者に所定のタイミングで身体部位を動かすように指示するプログラムであれば、音声で指示するなど、どのように構成してもよい。

ジェスチャ決定モードが終了すると、ジェスチャ認識モードとなり、ジェスチャ認識部が、ジェスチャ決定部２９０が決定したジェスチャ認識に用いる身体部位と、そのしきい値に基づいて、基本的に図２のフロー図に従い、ジェスチャ認識を行う。各身体部位におけるジェスチャ認識の処理は、第一の実施の形態と同様であるため、省略する。

（第三の実施の形態）
次の第三の実施の形態について説明する。第三の実施の形態においても、ジェスチャ決定モードを設けて、各人に合わせたジェスチャ認識のためのしきい値を決定するが、第二の実施の形態とは異なり、検出する部位が身体のどこであるかを意識することなく、ジェスチャを決定する。なお、第三の実施の形態におけるジェスチャ認識システムは、第二の実施の形態と同様である。第二の実施の形態と同様の内容については、説明を省略する。

図１７は、本発明の第三の実施の形態におけるジェスチャ決定モードにおいてジェスチャ認識装置２０において行われる、利用者のジェスチャを決定する処理の流れの一例を示すフロー図である。

ジェスチャ決定モードが開始される前に、利用者は、ジェスチャに用いる身体部位が撮像装置１０に最も近くなるような位置になるようにする。ジェスチャに用いる身体部位としては、手、腕、膝、足先、指、口、耳などがある。このうち、動きが小さい身体部位は、指、口、耳などである。たとえば、ジェスチャに用いる身体部位が足先である場合、足先が撮像装置１０に最も近くなるように撮像装置と利用者の位置を調整しておく。また、寝たきり状態の利用者である場合、寝ている床平面を推定し、床平面の上からジェスチャに用いる身体部位が撮像装置１０に対して最も近くなるように撮像装置と利用者の位置を調整する。最も近くになるような位置とすることで、容易に動きを検出することができる。そして、ジェスチャ決定モードが開始されると、ジェスチャ指示プログラム２８８がジェスチャ決定部２９０によって読み出され、プログラムが開始される（ステップＳ１７０１）。ジェスチャ指示プログラム２８８は、利用者に対して、所定のタイミングで、身体部位を動かすように合図、指示を行う。

部位領域抽出部２２０は、候補領域を検出する（ステップＳ１７０２）。部位領域抽出部２２０は、画像取込部２１０が取得した撮像装置１０からの距離画像データから、候補領域を抽出する。あらかじめジェスチャに用いる身体部位が撮像装置１０に対して近い位置になっていることを利用して、撮像装置１０に近い視差データをもつ領域が抽出されるように、視差値にしきい値を設け、しきい値で候補領域を抽出する。

次に、部位検出部２３０は、抽出した領域が含まれる矩形を部位として検出する（ステップＳ１７０３）。部位検出部２３０は、たとえば、部位領域抽出部２２０によって抽出された、候補領域を含んだ矩形をフレーム画像それぞれに設定する。つまり、所定のフレーム数分のフレーム画像において、それぞれの動き領域を包含する矩形を決定していく。この矩形は、三次元座標（x,y,z）及び画面座標(u,v)で特定される。

部位変化検出部２５０は、矩形内の変化を検出する（ステップＳ１７０４）。部位検出部２３０が、各距離画像データで候補領域を含む矩形を設定する。そして、部位変化検出部２５０は、キャッシュ部２４０に一時記憶されている、所定のフレーム数分の過去のフレーム画像において比較対象となる前フレームの距離画像データにおける矩形領域と、現在フレームの距離画像データにおける矩形領域における変化を算出する。変化とは、特徴点の座標変化、またはグレー画像やグレー画像からのエッジ画像のフレーム間差分である。口や耳など、動きの小さい部位での変化の検出には、グレー画像又はグレー画像からのエッジ画像のフレーム間差分を算出することが望ましい。従って、利用者の症状によって口や耳などをわずかに動かすことしかできないことがわかっている場合には、変化検出をフレーム間差分で行うように予め設定してもよい。他人から見てすぐに動いていることがわかる程度に身体を動かすことができる利用者の場合は、特徴点の座標変化を検出する。

次に、ジェスチャ決定部２９０は、部位変化検出部２５０が変化を検出すると、所定のタイミングにおける動きかどうかの判定を行う（ステップＳ１７０５）。所定のタイミングとは、ジェスチャ指示プログラムが利用者に身体部位を動かすように指示したタイミングである。たとえば、ジェスチャ決定部２９０は、指示したタイミングから０．５秒幅のなかでの動きである場合は、所定のタイミングにおける動きであると判定する。身体障害者の場合、自分の意思とは無関係に身体が動いてしまうことがある。しかし、所定のタイミングでの座標の変化であれば、利用者が意図をもって動かしたことによる座標変化であることが明らかであり、ジェスチャとして利用可能な座標変化ということになる。

所定のタイミングにおける動きの場合（ｙｅｓ）、ジェスチャ決定部２９０は、矩形を決定し、変化量を記憶する（ステップＳ１７０６）。ジェスチャ決定部２９０は、所定のタイミングにおける変化の場合、変化した最初から終わりまで、所定のフレーム数のフレーム画像各々に部位検出部２３０が設定した矩形からもっとも大きい矩形を決定する。これにより、ジェスチャをしたときに変化する画像領域を特定しておくことで、トラッキングする領域を限定し、処理を高速にすることができる。そして、決定した矩形を部位検出パラメータとしてパラメータデータベース２８４に、三次元座標（x,y,z）及び画面座標(u,v)で記憶する。

そして、ジェスチャ決定部２９０は、変化した最初の画像から終わりの画像までにおける、部位変化検出部２５０が算出した特徴点の座標変化による三次元軌跡を計算する。三次元軌跡は、動きの始点となる定常状態における座標と最大移動時である終点の座標それぞれが、三次元座標及び画面座標で記憶される。なお、座標値だけでなく、始点及び終点の距離を合わせて記憶してもよい。フレーム間差分を変化として検出する場合は、グレー画像又はグレー画像からのエッジ画像によるフレーム間差分を記憶する。これらのデータは、ジェスチャ指示プログラムが終了するまで、逐次記憶されていく。

所定のタイミングにおける動きではない場合（ｎｏ）、ジェスチャ決定部２９０は、部位変化検出部が検出した変化は無視し、部位変化検出部２５０は所定位置の動きを検出する（ステップＳ１７０４）。

そして、ジェスチャ決定部２９０は、ジェスチャ指示プログラムが終了したかの判定を行う（ステップＳ１７０７）。ジェスチャ指示プログラムが終了した場合（ｙｅｓ）、ジェスチャ決定部２９０は、記憶した複数の変化量に基づき、平均値を算出する（ステップＳ１６０８）。算出した平均値は、ジェスチャ認識の際のしきい値となる。たとえば、座標変化による三次元軌跡を取得している場合、動きの始点となる座標値及び終点の座標値それぞれについて、平均値を算出する。ここで、平均値をしきい値としているが、必ずしも平均値に限らない。たとえば、動きの始点の座標と終点の座標の中間点をしきい値と決定したり、移動軌跡位置をヒストグラム化して２値のしきい値選定法によって決定してもよい。また、フレーム間差分の値を変化量としている場合は、変化量の極大値を集積し、その極大値の中の最小値を算出し、その最小値をジェスチャと認識するしきい値として決定してもよい。なお、この場合に、極大値の正規分布から一定量外れた下位の極大値は除外するようにしてもよい。

また、しきい値を算出するにあたって、過去に同じ利用者についてジェスチャ指示プログラムを実行して、しきい値を算出したことがある場合、過去に算出したしきい値を一又は複数記憶しておき、過去に実行したときのしきい値と今回実行した際の変化量から算出したしきい値との平均をさらに算出して、しきい値としてもよい。この場合、記憶されている過去のしきい値は、新しい値が記憶されるごとに、もっとも古い値が削除されていく（FIFO）ように構成されていてもよい。なお、ジェスチャ決定部２９０は、候補部位のなかで、取得できた値のばらつきが大きい部位がある場合、平均値を算出せず、その候補部位については、ジェスチャには使わないと決定する。

ジェスチャ指示プログラムが終了していない場合（ｎｏ）、部位変化検出部２５０は、引き続き、所定位置の動きを検出する（ステップＳ１７０４）。

次に、ジェスチャ決定部２９０は、パラメータデータベース２８４に記憶している値を更新してジェスチャを決定する（ステップＳ１７０９）。具体的には、ジェスチャ決定部２９０は、ジェスチャを画像から抽出するための矩形の座標値と、ジェスチャ認識のための変化を検出するためのしきい値を、ジェスチャ認識を行う部位としてパラメータデータベース２８４に記憶させる。ジェスチャ認識のためのしきい値は、部位変化検出パラメータであって、始点及び終点の座標またはフレーム間差分値のいずれかである。更新された部位変化検出パラメータは、ジェスチャ認識モードにおいて、ジェスチャ認識の際に用いられる。また、ジェスチャ決定部２９０は、ジェスチャを決定すると、そのジェスチャとインターフェース制御とを対応づけるために、対応ジェスチャデータベース２８６を更新する。そして、ジェスチャ決定モードを終了する。このように第三の実施の形態においては、動いている部位が、身体のどこの部位であるかを意識することなく、個々人の症状に合わせたジェスチャ認識を行うことを可能としている。

図１８は、本発明の第三の実施の形態におけるパラメータデータベース２８４及び対応ジェスチャデータベース２８６のデータ記憶内容を示す一例である。パラメータデータベース２８４では、利用者に対応付けて、ジェスチャ認識に用いる部位と矩形領域を特定するパラメータ及びジェスチャ認識のための変化を検出するためのしきい値が記憶されている。但し、部位の情報は、部位として身体のどこの部位を用いるかを特定する情報ではなくジェスチャに用いる領域が複数ある場合に、区別するための情報として例えば「部位１」「部位２」として記憶されている。このように第三の実施の形態においては、ジェスチャ認識を行う部位が実際の身体部位のどこであるかを意識することなく、動き領域を検出するための矩形の座標と、ジェスチャ認識するためのしきい値である、座標値またはフレーム間差分の値のみを記憶することで、ジェスチャ認識を可能としている。ここで、矩形領域の情報として、三次元座標及び画面座標の４点の座標を記憶しているが、これに限らず、矩形領域を特定する情報であれば、ほかの方法でもよい。また、視差値によるしきい値によって候補領域を検出するときに、個々人によって異なるしきい値設定する場合は、視差のしきい値を部位領域抽出パラメータとしてあわせて記憶してもよい。

対応ジェスチャデータベース２８６は、ジェスチャと認識する変化量と、インターフェース制御内容とを対応づけて記憶する。第三の実施の形態では、どの身体部位によるどういった動きを検出しているかではなく、ある場所が所定値以上動いた場合にジェスチャと認識することとしているため、ジェスチャと認識する変化量とインターフェース制御内容とを、利用者ごとに記憶している。

図１９は、本発明の第三の実施の形態におけるジェスチャ認識装置２０において行われる、利用者のジェスチャ動作認識と認識されたジェスチャに対応するインターフェース制御処理の流れの一例を示すフロー図である。

ジェスチャ認識モードにおいては、部位領域抽出部２２０は、撮像装置１０に近い領域を抽出する（ステップＳ１９０１）。具体的には、画像取込部２１０が取り込んだ距離画像データから、部位領域抽出部２２０は、視差値によるしきい値に基づいて、そのしきい値を満たした領域を抽出する。

部位検出部２３０は、矩形を所定部位として検出する（ステップＳ１９０２）。パラメータデータベース２８４に記憶されている矩形領域の座標値を読み出して、部位領域抽出部２２０が抽出した領域のうちの一つを包含している矩形を設定する。なお、複数の部位をジェスチャ認識に用いる場合は、複数の矩形が設定される。

次に、部位変化検出部２５０は、設定されている矩形内の変化を検出する（ステップＳ１９０３）。座標値が部位変化検出パラメータとして記憶されている場合は、座標値の変化、フレーム間差分の値が記憶されている場合は、フレーム間差分を算出する。

ジェスチャ認識部２６０は、部位変化検出部２５０が検出した矩形内の変化が所定値以上であるか判定する（ステップＳ１９０４）。これは、パラメータデータベース２８４に記憶されている部位変化検出パラメータに基づいて判定される。変化が所定値以上である場合（ｙｅｓ）は、ジェスチャと認識される（ステップＳ１９０５）。矩形内の変化が所定値以上ではない場合（ｎｏ）、部位変化検出部２５０は、引き続き矩形内の変化を検出する（ステップＳ１９０３）。ジェスチャ認識部２６０は、ジェスチャがなされたと認識すると、ジェスチャがなされたことをインターフェース制御部２７０へ出力する。

インターフェース制御部２７０は、ジェスチャ認識部２６０からの出力に応じて対応ジェスチャデータベース２８６を参照し、インターフェース制御をインターフェース３０に対して行う（ステップＳ１９０６）。このように、身体部位ごとにジェスチャ認識のためのモデルをもたなくとも、ジェスチャ認識を行うことができる。

図２０は、ジェスチャ認識装置のハードウェア構成図の一例である。ジェスチャ認識装置２０は、システム使用者の所有するパーソナルコンピュータと、パーソナルコンピュータ上で実行されるプログラムとして構成されてもよい。パーソナルコンピュータは、ＣＰＵ（中央演算装置）１００１と、ＣＰＵ１００１にバスを介して接続されているＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００５、ハードディスクドライブなどの外部記憶装置１００７、Ｉ／Ｏインターフェース１００９、通信ネットワーク回線に接続するための通信インターフェース１０１１などとを備え、インターフェース１００９には、カメラ１０１３、アラーム１０１５、ボタン１０１７、スイッチ１０１９が接続されている。この場合、例えば、ジェスチャ認識装置２０の画像取込部２１０、部位領域抽出部２２０、部位検出部２３０、部位変化検出部２５０、ジェスチャ認識部２６０、インターフェース制御部２７０、ジェスチャ決定部２９０の機能が、パーソナルコンピュータ上で実行されるプログラムによって実現され、記憶部２８０の機能が外部記憶装置１００７によって実現され、撮像装置１０、インターフェース３０の機能がそれぞれカメラ、アラーム、ボタン、スイッチによって実現される。各種機能を実現するプログラムは、外部記憶装置１００７に記憶され、ＲＡＭ１００３に読みだされた後に、ＣＰＵ１００１によって実行される。

１０ 撮像装置
２０ ジェスチャ認識装置
３０ インターフェース
２１０ 画像取込部
２２０ 部位領域抽出部
２３０ 部位検出部
２４０ キャッシュ部
２５０ 部位変化検出部
２６０ ジェスチャ認識部
２７０ インターフェース制御部
２８０ 記憶部

Claims (8)

1. 撮像装置が撮像した距離画像データに基づき、利用者のジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御をインターフェース装置に対して行うジェスチャ認識装置であって、
   前記撮像装置から出力された距離画像データを取り込む画像取込部と、
   前記距離画像データが取り込まれるごとに利用者の所定部位が存在する領域を前記距離画像から抽出する部位領域抽出部と、
   抽出された部位領域から所定部位を検出する部位検出部と、
   各距離画像データでの検出された所定部位に基づいて、検出された所定部位の変化量を検出する部位変化検出部と、
   検出された所定部位の変化が所定値以上である場合、ジェスチャが行われたと認識するジェスチャ認識部と、
   ジェスチャが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置。
2. 請求項１記載のジェスチャ認識装置であって、
   さらに、利用者の一又は複数の候補部位から、インターフェース制御に関連付ける部位及び該部位におけるジェスチャを決定するジェスチャ決定部を有し、
   前記部位領域抽出部は、一又は複数の候補部位が存在する領域を前記距離画像データから抽出し、
   前記部位検出部は、抽出された部位領域から、一又は複数の候補部位を検出し、
   前記部位変化検出部は、検出された候補部位の変化量を検出し、
   前記ジェスチャ決定部は、前記部位変化検出部が検出した変化量に基づいて、インターフェース制御に関連付ける部位及び該部位におけるジェスチャと認識する変化量を決定し、
   前記ジェスチャ認識部は、前記ジェスチャ決定部が決定した部位において決定した変化量以上が検出されると、ジェスチャが行われたと認識することを特徴とするジェスチャ認識装置。
3. 請求項２記載のジェスチャ認識装置であって、
   前記部位領域抽出部は、候補領域を抽出し、
   前記部位検出部は、抽出した領域を包含する矩形を検出し、
   前記部位変化検出部は、矩形内の変化を検出し、
   前記ジェスチャ決定部は、前記部位変化検出部が検出した変化に基づいて、変化のある領域を包含する矩形を決定するとともに、インターフェース制御に関連付ける部位及びジェスチャと認識する変化量を決定し、
   前記ジェスチャ認識部は、前記ジェスチャ決定部が決定した部位において決定した変化量以上が検出されると、ジェスチャが行われたと認識することを特徴とするジェスチャ認識装置。
4. 請求項２または３記載のジェスチャ認識装置であって、
   さらに、変化を検出するためのしきい値を記憶するパラメータデータベースを有し、
   前記ジェスチャ決定部は、ジェスチャとして認識すると決定した変化量をしきい値として前記パラメータデータベースに記憶させ、
   前記ジェスチャ認識部は、前記パラメータデータベースに記憶されたしきい値を読み出して、所定部位の変化がしきい値以上である場合、ジェスチャと認識するジェスチャ認識装置。
5. 請求項２〜４記載のジェスチャ認識装置であって、
   前記ジェスチャ決定部は、所定のタイミングでの候補部位の変化量に基づいて、ジェスチャと認識するしきい値を決定することを特徴とするジェスチャ認識装置。
6. 請求項５記載のジェスチャ認識装置であって、
   前記ジェスチャ決定部は、候補部位における、過去にジェスチャとして決定したしきい値と、新たに取得した所定のタイミングでの変化量と、に基づいてジェスチャと認識する新たなしきい値を決定することを特徴とするジェスチャ認識装置。
7. 距離画像データに基づき、利用者のジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うためのジェスチャ認識プログラムであって、
   撮像装置から出力された距離画像データを取り込む画像取込部と、
   前記距離画像データが取り込まれるごとに利用者の所定部位が存在する領域を前記距離画像から抽出する部位領域抽出部と、
   抽出された部位領域から所定部位を検出する部位検出部と、
   各距離画像データでの検出された所定部位に基づいて、検出された所定部位の変化量を検出する部位変化検出部と、
   検出された所定部位の変化が所定値以上である場合、ジェスチャが行われたと認識するジェスチャ認識部と、
   ジェスチャが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置としてコンピュータを機能させることを特徴とする、ジェスチャ認識プログラム。
8. 距離画像データを撮像する撮像装置と、
   前記撮像装置が撮像した距離画像データに基づき、利用者のジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御をインターフェース装置に対して行うジェスチャ認識装置と、を有するジェスチャ認識システムであって、
   前記撮像装置は、利用者の身体を撮像し、
   前記ジェスチャ認識装置は、
   前記撮像装置から出力された距離画像データを取り込む画像取込部と、
   前記距離画像データが取り込まれるごとに利用者の所定部位が存在する領域を前記距離画像から抽出する部位領域抽出部と、
   抽出された部位領域から所定部位を検出する部位検出部と、
   各距離画像データでの検出された所定部位に基づいて、検出された所定部位の変化量を検出する部位変化検出部と、
   検出された所定部位の変化が所定値以上である場合、ジェスチャが行われたと認識するジェスチャ認識部と、
   ジェスチャが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識システム。