JP2010170300A - ジェスチャを認識および追跡する方法 - Google Patents

Abstract

【課題】ジェスチャを認識および追跡する方法を提供する。
【解決手段】イメージセンサによってジェスチャ画像を捕える。ジェスチャ画像は認識および追跡するために処理され、その処理された結果により対応する動作が実行される。ジェスチャ画像は前処理され、次に移動した画像が検出される。移動した画像は、ジェスチャの特徴を得るために分析される。ジェスチャの特徴が移動したジェスチャに対応している場合、移動したジェスチャの中心座標が検出され、カーソルを制御するために出力される。ジェスチャの特徴が命令ジェスチャに対応している場合、関連した動作命令は出力される。したがって、この方法はカーソル移動、および、ユーザのジェスチャによる命令入力を提供する。
【選択図】図１

Description

本発明はジェスチャを認識および追跡する方法に関し、特に、ジェスチャを認識および追跡するために提供されるデジタル信号プロセッサに関する。

コンピュータ技術の開発に関して、人間とコンピュータのインタフェース(HCI)は重要な研究主題である。キーボード、コンピュータ・マウスおよびジョイスティックのような伝統的な入力装置はユーザのために都合よく操作される。過去数年において、3Dオブジェクト操作、3Dバーチャル展示、コンピュータグラフィクスまたはアクション/スポーツPCゲームのようなバーチャル・リアリティおよびマルチメディア・システムの様々なアプリケーションは、通常高い自由度で入力装置によって操作されてきた。しかしながら、上述の伝統的なキーボード、コンピュータ・マウスおよびジョイスティックは、バーチャル・リアリティおよびマルチメディア・システムのアプリケーションに効果的な制御を提供するのには不十分である。

人間とコンピュータのインタフェースのアプリケーションが異なる領域において広く適用されるので、ジェスチャ認識、音声認識、または、ボディーランゲージ認識は日常生活に広く適用される。さらに、ジェスチャ・ベースの入力インタフェースは、より自然な直接の人間とコンピュータのインタフェースであり、それゆえにジェスチャ認識アプリケーションは、発展する傾向にある。

近年、ジェスチャ認識および追跡のため、グローブ・ベースのジェスチャ入力インタフェースが人間とコンピュータの入力インタフェースに実際に適用される。グローブ・ベースのジェスチャ入力インタフェースは、ジェスチャ認識および追跡の正確かつ迅速な検知を提供するために使用される。グローブ・ベースのジェスチャ認識は、操作者が多数のタッチ・センサが取り付けられる特別なグローブを着用しなければならないことを意味する。タッチ・センサが指の動作および手の動きを捕えるために使用され、捕えられた信号はコンピュータシステムに伝達される。さらに、捕えられた信号は、迅速に指の動作および手の動きを認識するために分析される。しかしながら、そのデータ・グローブは高価であるばかりでなく、様々なサイズの手に適合させるのに困難でもある。その上、その特別なグローブは重く、操作者の操作時間および操作動作を制限する。

したがって、開発費用を減少し、操作手順を単純化し、操作効率および人間とコンピュータのインタフェースの種類を増加させるためにジェスチャを認識および追跡する方法が開示される。

したがって、本発明の主要な目的は、ジェスチャを認識および追跡する方法を提供することである。イメージセンサはジェスチャ画像を捕えるために提供され、デジタル信号プロセッサはジェスチャ画像を処理するために提供される。それゆえに、ジェスチャ画像は、そのジェスチャ画像に対応している動作命令を実行するために認識および追跡される。それによって、DSPベースの(デジタル信号プロセッサ、DSP)制御装置は、ジェスチャを認識および追跡するために提供される。

前述の目的を達成するため、本発明はジェスチャを認識および追跡する方法を提供する。まず、ジェスチャ画像は前処理される。その後、ジェスチャ画像の最も大きい移動したブロックが検出され、その最も大きい移動したブロックはジェスチャ・ブロックとして定められる。そして、ジェスチャ・ブロックの特徴が分析され、ジェスチャ・ブロックは移動した確認ジェスチャ、命令ジェスチャ、または、未定義ジェスチャにさらに決定される。最終的に、移動したジェスチャの中心座標はジェスチャ・ブロックが移動した確認ジェスチャである場合に検出、追跡および出力され、その移動した確認ジェスチャは移動したジェスチャに連続的に変化し、移動したジェスチャは動作時間にわたり継続し動きを止めない。

前述の一般的な説明および以下の詳細な説明は例示的なものであり、請求されるように本発明のさらなる説明を提供する意図を有すると理解される。本発明の他の利点および特徴は、以下の説明、図面および請求項から明らかになる。

新規であると考えられる本発明の特徴は、添付の請求の範囲において特に記載される。本発明自体はしかしながら、添付の図面とともに本発明の例示的な実施態様を記載する以下の発明の詳細な説明を参照することで最も理解される可能性がある：そこで、

本発明によるジェスチャを認識および追跡する方法のフローチャートである。 動態イメージの差異を利用する概略図である。 水平突起および垂直突起を算出する概略図である。 ジェスチャ・ブロックを分類する概略図である。 ジェスチャ・ブロックを分類する概略図である。 ジェスチャ・ブロックを分類する概略図である。 移動したジェスチャの中心座標を追跡する概略図である。 移動したジェスチャの中心座標を追跡する概略図である。 ジェスチャを認識および追跡する装置のブロック線図である。

添付の図面と共に、本発明の技術的な内容および詳細な説明は、その実行範囲を制限するために使われない好ましい実施態様により以下に記載される。添付の請求の範囲によって作成されるあらゆる等しい変形物および修正は、本発明により請求される請求項によってすべて適用される。

本発明を詳細に記載するために、ここで図面を参照する。

本発明のジェスチャを認識および追跡する方法のフローチャートである図1を参照する。その方法は、イメージセンサによってジェスチャ画像を捕え、そして、そのジェスチャ画像はデジタル信号プロセッサによって処理される。詳細は、次の通りである：

まず、ジェスチャ画像は、デジタル信号プロセッサによって前処理される。(S102)画像は前処理の前により多くのノイズを含むので、誤認識率が増加する傾向がある。さらに、画像の役立たない情報は、全体の実行効率を減少する可能性がある。それゆえに、捕えられた画像は、分析される前に前処理される。前処理段階(S102)は、以下を含む：最初に、ジェスチャ画像の処理されるサイズが調整され、そして、ジェスチャ画像の色はフルカラーのジェスチャ画像からグレイ・レベル・ジェスチャ画像に変質される。その後、ジェスチャ画像の斑点ノイズは、画像ローパスフィルタによってフィルタをかけられる。その結果、ジェスチャ画像は精度を増加させ、伝送速度を増加させるために前処理される。

その後、ジェスチャ画像の最も大きい移動したブロックが検出され、その最も大きい移動したブロックは、ジェスチャ・ブロックとして定められる。(S104)運動検出段階(S104)は、以下を含む：最初に、動態イメージ差異の分析がジェスチャ画像を移動することによってバイナリ・ジェスチャ画像を生じるために利用され、バイナリ・ジェスチャ画像がジェスチャ・ブロックの移動した部分を検出するために算出される。そして、ジェスチャ・ブロックの水平突起および垂直突起は、最も大きい移動した領域を算出するために統計学的に集められる。その後、拡張方法がジェスチャ・ブロックの空の穴を埋めるために利用される。最終的に、ジェスチャ・ブロックの最も大きい被結合領域が最も大きい移動したブロックを検出するために算出される。

動態イメージ差異を利用する概略図である図2を参照する。3つの連続的なジェスチャ画像は、実際の移動したオブジェクトを検出するために算出される。3つの連続的なジェスチャ画像はそれぞれ、現在のグレイ・レベル画像M2、現在のグレイ・レベル画像M2前の先行するグレイ・レベル画像M1、および、先行するグレイ・レベル画像M1前のさらに先行するグレイ・レベル画像M0である。閾値は、グレイ・レベル画像を二値画像に変換するように設定される。現在のグレイ・レベル画像M2は、新規なグレイ・レベル画像を得るために先行するグレイ・レベル画像M1によって減じられる。その後、新規なグレイ・レベル画像の各々の画素の濃淡値は、閾値と比較される。画素の濃淡値が閾値と等しいまたはそれ以上である場合、画素は濃い画素として設定される；これに反して、濃淡値が画素の閾値より小さい場合、画素は明るい画素として設定される。それゆえに、新規な二値画像M3は、明るい画素および濃い画素で構成される。同様に、先行するグレイ・レベル画像M1は、新規な他のグレイ・レベル画像を得るために前に先行するグレイ・レベル画像M0によって減じられる。その後、他の新規なグレイ・レベル画像の各々の画素の濃淡値が、新規な他の二値画像M4を得るため閾値と比較される。最終的に、AND演算が、二値画像M5を生じるために二値画像M3および二値画像M4間で実行され、その二値画像M5はジェスチャ画像の移動した部分である。

水平突起および垂直突起を算出する概略図である図3を参照する。二値画像M5の水平突起および垂直突起が、最も大きい移動した領域を見つけるために統計学的に集められる。図3に示すように、それぞれXおよびYと分類した2つのより大きい移動したブロックが存在する。移動したX, Yはそれぞれ、2つのより大きい水平突起A,Bおよび2つのより大きい垂直突起C,Dを得るために算出される。その後、論理「AND」演算が、最も大きい移動したブロックXと等しい交差領域Xを得るため、最も大きい水平突起Bおよび最も大きい垂直突起C間で実行される。

ジェスチャ・ブロックを分類する概略図である図4Aから図4Cを参照する。交差領域Xは空の穴を含み、その空の穴は拡張方法を用いて埋められる。二値1'および二値0'は、二値画像の明るい画素および濃い画素をそれぞれ(図4Aに示すように)表す。その後、被結合領域は(図4Bに示すように)数を再設定するように分類され、そして、被結合領域における領域の算出および比較の後、最も大きい被結合領域は(図4Cに示すように)保持される。

その後、ジェスチャ・ブロックの特徴は、ジェスチャ・ブロックが移動した確認ジェスチャ、命令ジェスチャまたは未定義ジェスチャであるかを決定するために分析される。(S106)すなわち、相対的なピークおよび底の値はジェスチャ・ブロックの特徴を分析するためにジェスチャ画像データと比較され、分析結果はバッファ・メモリに保存される。例えば、操作者が彼(女)の手のひらを開いて指を見せる場合、その各々の指先は相対的なピーク値を有し；2本の指の間の各々の指間部分または掌の各々の側面は相対的な底の値を有する。それゆえに、ジェスチャ・ブロックは5つの相対的なピーク値を、および、6つの相対的な底の値を有する。

また図1を参照する。ジェスチャ・ブロックが移動した確認ジェスチャとして識別された(S108)後、移動した確認ジェスチャは、それが連続して移動したジェスチャに変えられるかどうか識別される。(S200)移動した確認ジェスチャが連続して移動したジェスチャに変えられない場合、段階は再び実行される。(S102)ジェスチャが連続して移動したジェスチャに変えられる場合、カーソルは移動するように制御される。移動した確認ジェスチャは、人さし指および中指で作られたＶ型のジェスチャとして定められる。操作者が彼(女)の人さし指および中指をＶ型のジェスチャを形成するように示す場合、Ｖ型のジェスチャが検出され、Ｖ型のジェスチャが移動した確認ジェスチャであることを確かめるためにジェスチャ画像データと比較される。移動したジェスチャが移動している状態であると検出された場合、カーソルは移動するように制御される。その後、移動したジェスチャは、動作時間にわたって継続して移動を止めるかどうかが決定される。(S300)移動したジェスチャが動作時間にわたり継続して移動を止める場合、段階は再び実行される。(S102)動作時間は、異なる使用方法または操作者の必要に応じた使用によって設定されることができる。例えば、動作時間は、本実施態様において1秒に設定される。その後、移動したジェスチャは、移動したジェスチャが動作時間にわたって移動を止めない場合、移動されたジェスチャの中心座標が検出されたかどうかを知るために決定される(S400)。移動したジェスチャの中心座標は、アキュムレータ・テーブル(SAT)の合計を用いて検出される。(S402)移動したジェスチャの中心座標は再検出され(S404)、移動したジェスチャの中心座標が検出されない場合には、その段階が再び実行される。(S400)移動したジェスチャは、ユーザの拳を固めることによって作られた円形のジェスチャとして定められる。その後、円形のHough転送は、移動したジェスチャの中心座標を追跡するため、移動したジェスチャの中心座標の統計を集めるように使用される。

移動したジェスチャの中心座標は、移動したジェスチャの中心座標が検出される場合、追跡されるまたはされないかどうかを決定される。(S500)移動したジェスチャの中心座標が追跡されない場合、段階は再び実行される。(S404)その後、移動したジェスチャの中心座標は、中心座標が追跡される場合、出力され(S502)、そして段階は再び実行される。(S102)

移動したジェスチャの中心座標を追跡する概略図である図5Aおよび図5Bを参照する。テンプレートPsは40*40の画素サイズを有する四角い領域であり、移動したジェスチャの中心座標が検出される場合に生成され、移動したジェスチャの中心座標はテンプレートPsの中心である。テンプレートPs画素の各々のグレイ・レベル値は合計され、アキュムレータ・テーブル(SAT)の合計は移動したジェスチャの中心座標を追跡するために使用された。調査領域は120*120画素サイズを有する四角い領域であり、テンプレートPs間の合計されたグレイ・レベル値の差異および調査領域の対応した領域が算出され、移動したジェスチャの新規な中心座標を見つけるために比較された。すなわち、移動したジェスチャの新規な中心座標は、テンプレートPsの合計されたグレイ・レベル値がテンプレートPsに対応した領域の合計されたグレイ-レベル値より大きい場合、見つけられる。それゆえに、テンプレートPsは移動したジェスチャの新規な中心座標を調査領域の左上隅から右下まで追跡するために提供され、新規な中心座標はバッファ・メモリに格納される。最終的に、移動したジェスチャが動作時間にわたって移動を止める場合、段階は再び実行される。(S102)

加えて、ジェスチャ・ブロックが命令ジェスチャ(S110)である場合、命令ジェスチャに対応した動作命令が出力され(S112)、段階は再び実行される。(S102)操作者が「1」の形のジェスチャを形成するために彼(女)の人さし指を示す場合、「1」の形のジェスチャが検出され、その「1」の形のジェスチャが命令ジェスチャであるかどうかを確かめるためジェスチャ画像データと比較される。「1」の形のジェスチャが「クリック」動作と対応するとみなされる。それゆえに、命令ジェスチャが検出される場合、クリック動作が実行される。他の異なる動作命令を実行するため、命令ジェスチャは他のジェスチャに設定されることができる。

さらに、ジェスチャ・ブロックが未定義ジェスチャであると検出される場合(S114)、段階は再び実行される。(S102)すなわち、ジェスチャ・ブロックがＶ型の移動した確認ジェスチャ、円形の移動したジェスチャ、または、「1」の形の命令ジェスチャでない場合、段階は再び実行される。(S102)

ジェスチャを認識および追跡する装置のブロック線図である図6を参照する。装置は、イメージセンサ10、デジタル信号プロセッサ20、コード・メモリ30、バッファ・メモリ40およびビデオ出力モジュール50を有する。イメージセンサ10は、ジェスチャ画像を捕えるために提供される。デジタル信号プロセッサ20は、イメージセンサ10に電気的に結合され、ジェスチャ画像を処理するためにアルゴリズムを提供する。コード・メモリ30は、アルゴリズムまたは多量の被処理データのいずれかを格納するため、デジタル信号プロセッサ20に電気的に結合される。コード・メモリ30は、フラッシュメモリであってもよい。バッファ・メモリ40は、デジタル信号プロセッサ20の要求されたバッファを提供するため、デジタル信号プロセッサ20に電気的に結合される。バッファ・メモリ40は、ランダム・アクセス・メモリ(RAM)であってもよい。ビデオ出力モジュール50は、デジタル信号プロセッサ20から被処理画像の結果を出力するためにデジタル・プロセッサ20に電気的に結合される。被処理画像の結果は、テレビまたはモニタのようなアナログ表示装置(図示せず)に出力されることができる；または、液晶ディスプレイのようなデジタル表示装置(図示せず)に出力されることができる。デジタル信号プロセッサ20は、他の装置(図示せず)に異なる出力インタフェースを経て被処理画像の結果を出力するだけでなく、デジタル信号プロセッサ20の操作を制御するため外側の制御命令を受けるように、データ入力/出力モジュール60にさらに電気的に結合される。

結論として、本発明は以下の利点を有する：
1. DSPベースの制御装置は、あらゆる特別なグローブ、アイコン・パターンまたは照明装置なしで、開発費を有意に減少しかつ操作手順を単純化して、ジェスチャを認識および追跡するために提供される。
2. DSPベースの制御装置は、システムの携帯性および拡張性を促進するため外部の個々の装置にさらに接続される。

本発明はその好ましい実施態様に関して記載されてきたけれども、本発明はその詳細に限定されないと理解される。様々な代替および修正は前述の説明において提案され、他の代替および修正は従来技術の当業者に見出されるであろう。したがって、すべてのそのような代替および修正は、添付の請求の範囲に記載の本発明の範囲内に包含される意図を有する。

Claims (13)

1. ジェスチャ画像を捕えるようにイメージセンサ(10)を提供するためにジェスチャを認識および追跡する方法であって、以下の手順：
   (a)前記ジェスチャ画像の前処理；
   (b)前記ジェスチャ画像の最も大きい移動したブロックの検出、および、ジェスチャ・ブロックとしての前記最も大きい移動したブロックの画定；
   (c)前記ジェスチャ・ブロックが移動した確認ジェスチャまたは命令ジェスチャであると決定するため、前記ジェスチャ・ブロックの特徴の分析；
   (d)前記ジェスチャ・ブロックが前記移動した確認ジェスチャである場合、前記ジェスチャ・ブロックが移動したジェスチャに連続して変えられるかどうかの決定；
   (e)前記ジェスチャ・ブロックが前記移動したジェスチャに連続して変えられ、前記移動したジェスチャが動作時間にわたって移動を止めない場合、前記移動したジェスチャの中心座標の検出および追跡；および、
   (f)前記移動したジェスチャの前記中心座標の出力、および、前記手順(a)の再実行、を含む方法。
2. 前記手順(a)は、
   (a1)前記ジェスチャ画像の被処理サイズの調整；
   (a2)前記ジェスチャ画像の色の転送；および
   (a3)前記ジェスチャ画像の斑点ノイズのフィルタリングを含む請求項１に記載の方法。
3. 前記手順(b)は、
   (b1)動態イメージ差異の分析を利用することによる前記ジェスチャ画像の移動した部分の算出；
   (b2)前記ジェスチャ画像の水平突起および垂直突起を統計学的に集めることによる前記ジェスチャ画像の最も大きい移動した領域の算出；
   (b3)拡張方法を利用することによる前記ジェスチャ・ブロックの空穴の充填；および
   (b4)接続された領域の分類により前記最も大きい移動したブロックを検出するため、最も大きい接続された領域の算出を含む請求項１に記載の方法。
4. 前記手順(e)は、
   (e1)円形のハフ（Hough）変換を利用することによる前記移動したジェスチャの前記中心座標の検出；および(e2)アキュムレータ・テーブルの合計を利用することによる前記移動したジェスチャの前記中心座標の追跡を含む請求項１に記載の方法。
5. 前記手順(d)は、前記ジェスチャ・ブロックが前記移動した確認ジェスチャであり、前記ジェスチャ・ブロックが移動したジェスチャでないように連続して変わる場合、前記手順(a)の再実行をさらに含む請求項１に記載の方法。
6. 前記手順(d)は、前記ジェスチャ・ブロックが前記命令ジェスチャである場合、前記命令ジェスチャに対応した動作命令の出力、及び、前記手順(a)の再実行をさらに含む請求項１に記載の方法。
7. 前記手順(d)は、前記ジェスチャ・ブロックが未定義ジェスチャである場合、前記手順(a)の再実行をさらに含む請求項１に記載の方法。
8. 前記手順(e)は、前記移動したジェスチャが動作時間にわたり移動を止める場合、前記手順(a)の再実行をさらに含む請求項１に記載の方法。
9. 前記手順(e)は、前記移動したジェスチャの前記中心座標が検出または追跡されない場合、前記移動したジェスチャの前記中心座標の再検出をさらに含む請求項１に記載の方法。
10. 前記動作時間が1秒に設定される請求項１に記載の方法。
11. 前記移動した確認ジェスチャが人さし指および中指によって形成されるＶ型のジェスチャとして定められる請求項１に記載の方法。
12. 前記移動したジェスチャが拳を握り締めることによって形成される円形のジェスチャとして定められる請求項１に記載の方法。
13. 前記命令ジェスチャが前記人さし指によって形成された「1」の形のジェスチャとして定められる請求項１に記載の方法。

Images