JP2014137818A - 手の平開閉動作識別方法と装置、マン・マシン・インタラクション方法と設備 - Google Patents

Abstract

【課題】画像処理によって手の平の開閉又は閉開の動作を識別する手の平開閉動作識別方法と装置を提供する。
【解決手段】かかる方法は、時間順に複数画像を取得するステップ；複数画像から手の平の形状画像を分割するステップ；複数の手の平の各形状画像から複数の手の平の形態を表す複数特徴を抽出し、各特徴は、手の平の開閉動作における値変化過程からみて、値の逓増あるいは逓減といった単調特性を有する特徴抽出ステップ；最大差異特徴ベクトルを計算するステップ；及び、該最大差異特徴ベクトルに基づき当該複数画像中に手の平の開動作、閉動作が存在するか、手の平の開閉動作が存在しないかを判断するステップを含む。
【選択図】図３

Description

本発明は全体として、画像処理と、マシンビジョンによるマン・マシン・インタラクションに関するものであり、より具体的には、手の平開閉動作の識別方法と装置、マン・マシン・インタラクション方法と設備に関するものである。

手振りは自然で直観的な意思疎通方式であり、余計な設備の助けを必要とせず、電子機器とのインタラクションに広く用いられている。コンピューターの視覚に基づく手振り識別技術は既に広くマン・マシン・インタラクションに用いられている。コンピューターの視覚に基づく手振り識別技術は、可視化画像が入力され、手振りのあるいは動作の種類を外部へ出力することによって、コンピューター制御される設備が、異なる手振りのあるいは動作を異なる命令と解釈することで、例えば、開／閉、クリック、タッチの有無あるいはテレビチャンネルの切り替えといったインタラクションの操作が可能になる。

特許文献１の米国特許出願公開第ＵＳ７８２１５４１Ｂ２号は、手に対する２つの状態を識別する方法を公開した。この２つの手の状態は、それぞれ握った拳骨状態（ａ ｃｌｏｓｅｄ ｆｉｓｔ）と手の平を開いた状態である。ここでの識別は指の状態に対する識別で、それぞれ手の平の静的開閉状態に対応している。そこでは、単一の静的特徴だけが用いられ、隣り合った３本の指がもう１つの指に近いかどうかという目で見えるルールを検知して「開」状態か否かを判断する。実際のシステムでは、明瞭な手の外形画像を得るのは容易なことではなく（通常は、距離、設備精度および光線条件の影響がある）、このためこの方法は決してロバストではない。この他、この方法はシングルフレーム画像だけでを識別している。

また、Ｚｈｏｕ Ｒｅｎを作者とする、「Ｒｏｂｕｓｔ Ｈａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｉｎｇｅｒ−Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅ ｗｉｔｈ ａ Ｃｏｍｍｏｄｉｔｙ Ｄｅｐｔｈ Ｃａｍｅｒａ」， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９ｔｈ ＡＣＭ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉ−ｍｅｄｉａ， ＭＭ’１１， ＡＣＭ， Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２０１１， という非特許文献１の１０９３−１０９６ページにおいては、タイムサービス曲線（ｔｉｍｅ−ｓｅｒｖｉｃｅ ｃｕｒｖｅ）を用いて手の形状情報を表していて、このタイムサービス曲線は手の平の輪郭上の各点と手の平の中心点との相対距離を記録している。この他、この文章はＦＥＭＤ（Ｆｉｎｇｅｒ−Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅ）距離尺度演算子を定義して２つの手の形状の類似性を計算することも行っている。本質的に、この方法はテンプレート・マッチング技術によって手の平の形態識別を実現している。

手の平の形態などを識別する際、テンプレート・マッチングと視覚ルールの他に、もう１つの常用的方法として機械学習の分類器技術に基づくものがあり、これによってロバストな識別効果を提供することができるが、これはその技術が各種の特徴を分類する際の影響を総合的に考慮するからであり、このために分類器技術は静的と動的手振りの識別に既に広く用いられている。

また、特許文献２の、章鵬を発明者とする申請番号ＣＮ２０１２００１４７１７２の特許申請においては、分類器に基づく手振り識別方法が公開されており、いわゆる深度差分布演算子を用いて隣り合う数フレームの画像からＣＤＤＤ特徴を抽出し、動作の起きた前後の時間の深度差分布法則を解明する。このＣＤＤＤは高次元の特徴ベクトルであり、その次元数は手振り識別要素で用いる画像フレーム数に応じて増加する。例えば、３フレーム画像を１つの手振り識別要素とすれば１２８次元の特徴ベクトルとなり、４フレーム画像なら１９２次元となる。この技術に対して、一方では高次元の特徴ベクトルが必然的に分類器の学習に用いる大量のサンプルを必要とし、他方では、このように固定画像フレームを用いて識別要素とし深度差分布を表す方法は、フレーム数によって手振りの識別が変わってしまうという問題を通常、うまく解決できない。この他、この方法は深度画像に適用できるだけで、従来のカラー画像上での応用には制約がある。

本発明の目的は、画像処理によって手の平の開閉又は閉開の動作を識別する手の平開閉動作識別方法と装置を提供することにある。

本発明は手の平開閉手振りの動作に焦点を当てている。手の平の静的と違って、手の平の開閉手振り動作は「開」から「閉」に至る、あるいは「閉」から「開」に至る変化を指し、この２つの最終状態の間で変化する中間状態を含む。なお、本発明中の「閉」には五指が縮まって拳骨状になるものがあり、五指が一点に曲がって「つかむ」状態になるものもある。

本発明の実施例により、時間順に複数画像を取得する複数画像取得ステップ；複数画像から分割により複数の手の平の形状画像を取得する手の平形状分割ステップ；複数の手の平の形状画像の各々から手の平の形態を表す複数特徴を抽出し、そこにおいては手の平の開閉動作における値変化過程から見て各特徴が値の逓増あるいは逓減といった単調特性を有する特徴抽出ステップ；当該複数特徴の各特徴に対し、その特徴における当該複数の手の平形状画像が最大差異量を計算し、当該最大差異量は当該複数の手の平形状画像中の２つの手の平形状画像が所定の順序で差を生じて得られ、符号と幅という２つの属性を有し、かつ当該最大差異量の絶対値は当該複数の手の平形状画像中の任意の２つの手の平形状画像がこの特徴上の差の絶対値の中で値が最大であり、また前記複数特徴の各特徴の最大差異量は最大差異特徴ベクトルを構成する最大差異特徴ベクトル計算ステップ；そして、当該最大差異特徴ベクトルに基づき当該複数画像中に手の平の開動作、閉動作が存在するか、手の平開閉動作が存在しないかを判断する手の平開閉動作判定ステップを含む、画像処理を通して手の平の開から閉、あるいは閉から開への動作を識別するのに用いる手の平開閉動作識別方法を提供する。

本発明のもう１つの実施例により、時間順に複数画像を取得する複数画像取得部材；複数画像から分割により複数の手の平の形状画像を取得する手の平形状分割部材；複数の手の平の形状画像の各々から手の平の形態を表す複数特徴を抽出し、そこにおいては手の平の開閉動作における値変化過程から見て各特徴が値の逓増あるいは逓減といった単調特性を有する特徴抽出部材；当該複数特徴の各特徴に対し、その特徴における当該複数の手の平形状画像が最大差異量を計算し、当該最大差異量は当該複数の手の平形状画像中の２つの手の平形状画像が所定の順序で差を生じて得られ、符号と幅という２つの属性を有し、かつ当該最大差異量の絶対値はこの複数の手の平形状画像中の任意の２つの手の平形状画像がこの特徴上の差の絶対値の中で値が最大であり、また前記複数特徴の各特徴の最大差異量は最大差異特徴ベクトルを構成する最大差異特徴ベクトル計算部材；そして当該最大差異特徴ベクトルに基づき当該複数画像中に手の平の開動作、閉動作が存在するか、手の平開閉動作が存在しないかを判断する手の平開閉動作判定部材を含む、画像処理によって手の平の開から閉あるいは閉から開への手振りを識別するのに用いる手の平開閉動作識別装置を提供する。

前記実施例の手の平開閉動作識別方法と装置により、手振り動作過程に連れて逓増あるいは逓減といった単調特性の特徴を有する値を採用し、各特徴に基づく最大差異特徴ベクトルを確定し、最大差異特徴ベクトルに基づく手の平の開閉を判定することは、少なくとも以下のような、手振り動作の単調変化特徴を視覚的に表し、次元数が少ないという理由で分類器の学習、識別速度が加速できるだけではなく、よりメインにはスライディングウィンドウの長さが固定されている状況で手振り動作フレーム数の変化に適応できるというメリットが得られる。（ここで手振り動作フレーム数とは、手振りの開始から終了までの時間に画像採集装置が採集した画像数を指し、操作者により動作習慣の速さが異なり画像採集装置の採集速度も異なるため、手振り動作フレーム数が固定しないこととなる。３０フレーム／秒の速さで、実験統計結果は「開」「閉」動作のフレーム数がおよそ２ないし６フレームの間に集まることを示している）。

この他、本発明実施例の手の平開閉動作識別方法と装置により、手の平の開動作、或いは閉動作が存在するかを判断する際、手振りの開始フレームと終了フレームを確定し；各特徴の最大差異量に関連した２つの画像を確定し；この２つの画像を当該各特徴の視点から見た手振りの開始フレーム候補と終了フレーム候補とし；そして、各特徴のウェイトと各特徴の視点から得た手振りの開始フレーム候補と終了フレーム候補に基づき、手振りの開始フレームと終了フレームを確定する。前記実施例により手振り開閉動作の開始フレームと終了フレームを確定し、手振り動作の開始フレームと終了フレームの時間を得ることができ、手振りを「Ｈａｎｄ Ｍｏｕｓｅ」のようなシステムに応用するためにカーソルの位置を正確に戻し正確な情報を提供する。

この他、本発明実施例の手の平開閉動作識別方法と装置により、画像シーケンスに沿ってスライディングウィンドウの位置を移動させ；移動後のスライディングウィンドウ内の複数画像に対し前記手の平形状分割ステップ、特徴抽出ステップ、最大差異特徴ベクトル計算ステップおよび手の平開閉動作判定ステップを行い；そして、移動前後のスライディングウィンドウ内の複数画像の手振り識別結果が同じ手の平開閉動作となった場合は、当該手の平開閉識別動作を統合して１つの手の平開閉動作とし、これに応じて開始フレームと終了フレームを修正する。前記実施例の方法により、隣り合った識別要素の手振り分類結果を統合することができ、より正確に手の平開閉動作の開始フレームと終了フレームを取り出すことができるので、より適切にマン・マシン・インタラクションを行うことができる。

本発明のもう１つの実施例により、手の動きとその１つ前の手振りの状態により手の平開閉動作識別をいつ開始するかを制御し、手の平開閉動作識別の開始を制御する時は、前記方法を通じて手の平開閉動作識別を行い、そして、手の平開閉動作を識別した時には、手の平開閉動作を制御命令に対応させ、対応する制御命令を実行することによって、表示装置上の対象の操作と表示を制御するステップを含むマン・マシン・インタラクション方法を提供する。

本発明のまた１つの例により、前記手の平開閉動作識別装置；手の動きとその１つ前の手の状態により、いつ手の平開閉動作識別装置を動かし手振り識別を行うかを制御する手振り識別制御装置；そして、手の平開閉動作を制御命令に対応させるのに用いるとともに、手の平開閉動作を識別した時は、対応する制御命令を実行する手振り−命令対応装置を含むマン・マシン・インタラクション装置を提供する。

本発明の実施例のマン・マシン・インタラクション方法と装置により、手が素早く動く過程で動きが曖昧になるために手振り識別に生じる誤った情報を減少させることができると同時に、如何なる関心のある手振りの識別も漏らさないことを確保する。

本発明の実施例の一つの典型的な応用場面の概念図である。 本発明の実施例の手の平開閉動作の説明図である。 本発明の第一実施例の手の平開閉動作識別方法の全体フローチャートである。 （ａ）は、サンプリング率が３０フレーム／秒における手の平開閉動作周期内画像フレーム数の分布ヒストグラムであり、（ｂ）は、（ａ）に対応する確率分布図である。 （ａ）は、手の平の主方向に沿って手の平を覆う最小の長方形であり、（ｂ）は、手の平の輪郭線が凸包に囲まれていることであり、（ｃ）は、手の平輪郭線である。 Ｋフレームの画像シーケンスにおいてどのようにＫ個のｍ次元特徴ベクトルの中から最大差異特徴ベクトルを計算する。 本発明の実施例の、隣り合う識別要素を統合した手振り分類結果を含む手の平開閉動作識別フローの概念図である。 本発明の実施例の手振り動作統合判別方法のフローチャートである。 本発明の実施例の手の平開閉動作識別装置の機能配置ブロック図である。 本発明の実施例のマン・マシン・インタラクション装置の配置ブロック図である。 手振り識別制御装置が、手の平位置不動状態検知器の検知結果に基づきいつ手の平開閉動作識別装置を動かし手振り識別を行うかを制御する手振り識別制御方法のフローチャートである。 本発明の実施例のマン・マシン・インタラクション方法のフローチャートである。 本発明の実施例の手の平開閉動作識別（マン・マシン・インタラクション）システムの全体ハードウェアブロック図である。

当業者に本発明をより良く理解してもらうために、以下に図面と発明を実施するためのを結び付けて本発明にさらに詳細な説明を行う。

以下の順序によって記述を進める。

１、応用場面の概念
２、手の平開閉動作識別方法の例示
２．１、手の平開閉動作識別の例示的方法の全体フローチャート
２．２、手の平開閉動作の開始フレームと終了フレームの確定方法の例示
２．３、隣接する手振り識別要素の手の平開閉動作統合方法の例示
３、手の平開閉動作識別装置
４、マン・マシン・インタラクションの装置配置例示
５、マン・マシン・インタラクション方法例示
６、システムのハードウェア配置
７、まとめ。

１、応用場面の概念
理解しやすいように、図１は本発明実施例の一つ典型的な応用場面の概念図である。オペレーターの前方にオペレーターに向かって１つのカメラ（デプスカメラあるいは従来のカメラ）を置き、オペレーターはディスプレー設備に向き合い、手を動かして色々な非接触式リモート操作を行うが、本発明が関心をもつのは手の平の開閉動作である。このインタラクションの過程においては、赤外線ペンマウスなどのような如何なる特定の外部補助装置も必要とせずに、手振りを使って現在の操作の前後の情報を結合するだけでよい。

当然のことながら、この場面は一つの応用例に過ぎず、このディスプレースクリーンは液晶ディスプレー、投影スクリーン、携帯ディスプレー、フラットコンピューターモニターないしテレビモニターなどであってもよい。また、ディスプレーも必ずしも必要ではなく、オペレーターは冷蔵庫（ディスプレー付きでもディスプレー無しでもよい）に向かって手振り開閉動作を行っても冷蔵庫の操作を制御することができる。

図２は本発明実施例の手の平開閉動作の説明図である。ここでの手の平開閉動作とは手の平の「開」から「閉」に至る、あるいは「閉」から「開」に至る一連の状態変化であり、この２つの最終状態の間で逐次変化する半開半閉の中間状態を含む。本発明中の「閉」には五指が縮まって拳骨状になるものがあり、五指が一点に曲がって「つかむ」状態になるものもある。１つの手振り周期内で通常経過する画像フレーム数は同じではなく、主としてオペレーターの動作の速さとカメラのサンプル採取速度による。正常な操作速度と３０フレーム／秒のサンプル採取率で計算すると、１つの手振り周期で経過する画像フレーム数は一般に２フレームから６フレームと異なっている。

２、手の平開閉動作識別方法の例示
以下に図面を参考にして本発明実施例の手の平開閉動作識別方法の例を説明する。

２．１、手の平開閉動作識別の例示的方法の全体フローチャート
図３は本発明第一実施例の手の平開閉動作識別方法１００の全体フローチャートである。

以下に図３と合わせて本発明第一実施例の手の平開閉動作識別方法１００の全体フローを説明する。

図３に示すとおり、ステップＳ１１０において、画像シーケンスを入力し、時間順に複数画像を取得する。

ここで入力する画像シーケンスは、現場の画像撮影カメラあるいはビデオ撮影カメラから直接、時間順に入力したものでも、有線あるいは無線インターネットを通してリモート入力したもの等々でもよい。その他、ここでの画像は深度画像でも普通のカラー画像でもよい。

ここで行う手の平開閉動作識別が必要とする画像フレーム数、あるいは一般のいわゆるスライディングウィンドウの大きさ（手振り動作は一般に入力画像シーケンス上で生じる連続プロセスなので、通常の処理方法は長さの固定したスライディングウィンドウを取って入力画像シーケンス上を滑らせ、何枚かの隣り合う画像を選択して１つの動作識別要素とする）は経験的に決めてもよいし、統計手段等に基づいて決めてもよい。

実施例によれば、前記複数画像の数は開閉動作画像フレーム数頻度ヒストグラムと指定された信頼レベルを合わせて決定される。

以下は図４の（ａ）と（ｂ）を参考して、開閉動作画像フレーム数頻度ヒストグラムと指定された信頼レベルを通してどのように手振り識別要素とする画像フレーム数を確定するか、あるいはスライディングウィンドウの大きさを確定するかを説明する。

図４の（ａ）はサンプリング率が３０フレーム／秒における手の「開」手振りあるいは「閉」手振りの周期内画像フレーム数の分布ヒストグラムを示し、各棒の下の数字が画像フレーム数を示し、棒の高さが１つの手の平開閉動作が必要とするこの画像フレーム数の統計数値を示し、左から右へ画面順序に従い、各棒がそれぞれ１つの手の平「開」「閉」動作がちょうど１フレーム画像内で完成する場合の統計数値；１つの手の平開閉動作がちょうど２フレーム画像内で完成する場合の統計数値；１つの手の平開閉動作がちょうど３フレーム画像内で完成する場合の統計数値；１つの手の平開閉動作がちょうど４フレーム画像内で完成する場合の統計数値；１つの手の平開閉動作がちょうど５フレーム画像内で完成する場合の統計数値；１つの手の平開閉動作がちょうど６フレーム画像内で完成する場合の統計数値を示す。図４（ａ）を見て分かるように、ほとんどの場合で、１つの手の平開閉動作は３から４フレームの間で完成していると言える。

図４の（ｂ）は図４の（ａ）に対応する確率分布図である。図４の（ｂ）から分かるように、縦軸上に１つの信頼レベルを指定し、水平方向に沿って確率分布図と交わる点が対応するフレーム数Ｋは、スライディングウィンドウの長さとなりＫフレームの画像を選択して手振り識別を行う。例えば、信頼レベル０．９に対しては１手振り５フレームが対応している。ここでの信頼レベルはＫフレームの画像中でかなりの程度、１つの開閉動作が完成することを表していて、例えば信頼レベル０．９とは９０％の状況で実際の手振り開閉状況をカバーできることを意味している。

前記例による、指定信頼レベルと開閉動作画像フレーム数頻度ヒストグラムに基づき一つの手振り動作識別要素のフレーム数を確定し、手振り識別の効率と正確度を高めることができる。

ステップＳ１１０で複数画像を取得した後、ステップＳ１２０に進む。

ステップＳ１２０では、手の平形状の分割を行い、複数画像から手の平形状画像を分割する。

特徴抽出前に先ず手の平画像の前景分割を完成する必要がある。例えば肌色測定、深度閾値に基づく方法、あるいは連結域分析の方法など多くの技術が手の平画像分割を行うのに用いられる。どのような分割技術を採用してもどのような種類画像を用いても、分割後は、背景あるいは手の平以外の部分の影響は入力画像から取り除かれ、最終的には比較的きれいな手の平画像（手首の上部）が得られ、その中から手の平の形態を表す特徴量を抽出することができる。

手の平の形状分割完成後、ステップＳ１３０に進む。

ステップＳ１３０では、特徴抽出を行い、複数の手の平の各形状画像から複数の手の平の形態特徴を抽出し、そこにおいて各特徴は手の平の開閉動作における値変化過程から見て値の逓増あるいは逓減といった単調特性を有している。

カメラの精度不足および被写体がレンズから一定の距離をもつ影響で（オペレーターが通常カメラから１ｍの距離を保つ他に）、得られる手の平画像は一般に採集された画像中に占める面積が比較的小さく同時に比較的多くのノイズも含んでいる。ロバストな識別結果を得るために、本発明者は手の平開閉過程で抽出する値が逓増あるいは逓減といった単調的特徴を有するという考え方を提起し、手の平開閉間の各々の特徴差異が大きくなるようにする。

ここで特徴の値の単調特性とは、手の平の「開」から「閉」への一連の状態変化（つまり手の平の閉じる動作）に対して、この一連の状態変化と関係する一連の特徴値が単一の逓増傾向あるいは単一の低減傾向を満たしており、反対に手の平の「閉」から「開」への一連の状態変化（つまり手の平の開く動作）に対して、この一連の状態変化と関係する一連の特徴値が単一の低減傾向あるいは単一の逓増傾向を満たしていることを指す。

例として、発明者はオリジナルに手の平前景画像と関連する幾何学的形状を用いて異なる特徴を計算し、これによってこの２つのの違いをより良く区別することができる。本発明者が用いる２つの幾何学的形状とは、（i）図５の（ａ）で示すような、手の平の主方向に沿って手の平を覆う最小長方形と、（ii）図５の（ｂ）で示すような、手の平輪郭線が存在する凸包である。

手の平の主方向に沿って手の平を覆う最小長方形とは、手の平の主方向に平行な２つの辺を持ち手の平の画像を覆う面積が最小の長方形である。そのうち、手の平の主方向（図５の（ａ）の記号５０１の指し示す手の平の直線指示方向）は主成分分析方法ＰＣＡによって計算できる。図５の（ａ）左側は、手の平の閉状態で手の平の主方向に沿って手の平を覆う最小長方形を示し、図５の（ａ）右側は、手の平の開状態で手の平の主方向に沿って手の平を覆う最小長方形を示す。

ここで凸包を手の平の輪郭線を構成する点の集合Ｑのうち最小の凸包Ｐと定義すると、点の集合Ｑのどの点も凸包Ｐの辺上か、Ｐの内部にある。手の平輪郭線は前記ステップＳ１２０の手の平形状分割操作の結果として得られ、図５の（ｃ）左側は、手の平の閉状態での手の平輪郭線を示し、図５の（ｃ）右側は、手の平の開状態の輪郭線を示す。図５の（ｂ）左側は、手の平の閉状態の手の平輪郭線の最小凸包を示し、図５の（ｂ）右側は、手の平の開状態で手の平輪郭線の最小凸包を示す。

手の平の主方向に沿って手の平を覆う最小長方形と手の平輪郭線が存在する凸包に基づき、１つの例では、人の粗から細に移る認知習慣に従い、シングルフレームの異なる抽象階層から下記のような幾何学的特徴を取り出し手の平の形態の違いを説明することができる。

最もラフな階層では、手の平の主方向に沿って手の平を覆う最小長方形（図５の（ａ）で示すような）が得られ、その幅ｆ１、高さｆ２および面積ｆ３を算出し特徴とする。

中間の階層では、手の平輪郭線の最小凸包（図５（ｂ）で示すような）が得られ、その周の長さｆ４、面積ｆ５および欠陥値ｆ６を算出し特徴とする。

精密な階層では、手の平輪郭線（図５（ｃ）で示すような）が得られ、その長さｆ７、輪郭線が囲む手の平の面積ｆ８を算出し特徴とする。

前記中間階層で手の平輪郭線の最小凸包から計算する凸包欠陥値ｆ６とは凸包が有する欠陥線の長さの総和を指し、欠陥線は図５の（ｂ）の手の平の開図中の凸包辺上の隣り合う２つの指の線分の中間点から隣り合う指の間の窪みに向かって引いた線に見られ、記号５０２で示すとおりである。前記特徴量の計算に必要な関数は全てオープンソース・プロジェクト ＯｐｅｎＣＶ で探し出すことができる。

前記３つの階層から抽出した８個の特徴ｆ１−ｆ８は、手の平開閉の一連の変化の視点から見ると全て値が単調になるという特性を満足している。

本発明の好ましい実施例の手の平前景画像と関連した２つの幾何学的形状（手の平輪郭線凸包と手の平主方向に沿って覆う最小四辺形）により異なる特徴を計算し、開閉の２つの間の特徴差異を拡大することにより、この２つの開閉の違いをより良く区分し、識別の際のノイズの影響という問題をより良く解決することができる。

しかしながら、前記特徴ｆ１−ｆ８は抽出した好ましい単調的な特徴の例示のみであり、排他的あるいは制限的なものでは決してなく、必要に応じて手の平開閉動作の一連の変化の視点から見て全て値を満足する如何なる単調特性の特徴、手の平の形態を表す特徴を設計と選択してもよい。

ステップＳ１３０で特徴の抽出を終えた後、ステップＳ１４０に進む。

ステップＳ１４０では、最大差異特徴ベクトルを計算し、当該複数特徴の各特徴に対して、その特徴における当該複数手の平形状画像の最大差異量を計算し、当該最大差異量は当該複数の手の平形状画像中の２つの手の平形状画像が所定の順序で差を生じて得られ、符号と幅という２つの属性を有し、かつ当該最大差異量の絶対値は当該複数の手の平形状画像中の任意の２つの手の平形状画像がこの特徴上の差の絶対値の中で値が最大のものであり、前記複数特徴の各特徴の最大差異量は最大差異特徴ベクトルを構成する。

スライディングウィンドウはＫフレームの画像を選出し手振り識別要素とし、各フレームの画像上で、例えば前記ｆ１からｆ８までの８個の特徴を抽出し一組の特徴として手の平の形態を表す。このＫ組の特徴量から最大差異特徴ベクトルを算出することにより１つの動作識別要素の中で手の平の形態変化を更に説明し、当該最大差異特徴ベクトルの各次元の分量がその次元における一つ手振り識別要素中の最大差異を表す。

図６は、Ｋフレームの画像シーケンスにおいてＫ個のｍ次元特徴ベクトル（ステップＳ１３０で抽出した各特徴が特徴ベクトルの１次元となる）の中から最大差異特徴ベクトルを計算する。

ここでの最大差異特徴は、１つの特徴がＫフレームシーケンスの中で値の変化を表しており、より具体的には、説明に用いる各特徴が１つの手振り識別要素の中で値の一方向での最大変化を表している。最大差異特徴ベクトルの次元数は、シングルフレーム上で取り出す特徴の個数にだけ依拠するので、識別要素の画像フレーム数とは無関係である。

１つの具体的実施例について、特徴ｆ１を例にＫフレームの画像（Ｋ組の特徴ベクトル）中でどのように対応する最大差異を計算するかを説明する。ここでｆ１は手の平の方向に沿って最小の四辺形がカバーする幅であり、見て分かるように、ｆ１の値は手の平が閉じる過程で次第に減少し、手の平が開く過程で次第に増大する。事実として、前記８個の特徴量（ｆ１、…、ｆ８）は手の平開閉動作の一連の変化の視点から見て全て値の単調的な特徴を満たしている。

特徴ｆ１に対応するＫフレーム画像（Ｋ組の特徴ベクトル）中の最大差異ｄ１の計算定義は以下のとおりである。
ｄ１ ＝ ｆ１（ｓ） − ｆ１（ｅ）、 その中で ｜ｆ１（ｓ） − ｆ１（ｅ）｜ ＝ Ｍａｘ （｜ｆ１（ｉ） − ｆ１（ｊ）｜） （１）

この中で、ｉ、ｊは画像フレームの下付き文字で、０＜ｉ、ｊ＜＝Ｋ、および、ｉ＜ｊを満たす。

公式（１）は最大差異の計算がＫフレームの画像の組の中の単一方向の特徴差異に基づき計算される全ての可能な組み合わせ結果であることを表している。値の単調性が保証されているので、最大差異特徴ｄ１は見て分かるように手の平の開から閉あるいは閉から開の変化の規則（変化の方向と変化の幅）を表している。

同様にｄ１と類似した計算定義に従って別の特徴が対応する最大差異特徴値ｄｍ（ｍ＝１、…、８）を算出し、これらの特徴の最大差異量ｄ１、ｄ２、…、ｄｍを組合せて手振り動作識別に用いる最大差異特徴ベクトル｛ｄ１、ｄ２、…、ｄｍ｝を得る。

ここで、説明を要するのは、前記公式（１）から、各特徴ｆ１、ｆ２、…、ｆｍの最大差異量が符号の１次元ベクトルを有することである。例えば、前記例示の特徴ｆ１−ｆ８の手の平の開から閉への過程で各値が逓減の単調を満たすことにより、理想的な場合には、その中の手の平を閉じる動作の画像シーケンスにおいて、最大差異特徴ベクトルの各次元が負のベクトルをもつこととなるはずであり、反対に、前記例示の特徴ｆ１−ｆ８の手の平の閉から開への過程で各値が逓減の単調を満たすので、理想的な場合には、その中の手の平を開く動作の画像シーケンスにおいて、最大差異特徴ベクトルの各次元が正のベクトルをもつこととなるはずである。

その他、説明を要するのは、公式（１）では、１つの次元の特徴について、下付き文字の小さい画像フレームを用いることによって下付き文字の大きい画像フレームを少なくして最大差異量を計算しているが、反対に下付き文字の大きい画像フレームを用いて下付き文字の小さい画像フレームを少なくして最大差異量を計算してもよいということである。

この他、前記最大差異量特徴ベクトルの計算に関して、スライディングウィンドウの長さが固定されている状況で手振り動作がＫフレームで完成するかＫフレームの一部で完成するかにかかわらず、全て等量に近い最大差異特徴量が得られ、このため特徴の説明と抽出において手振り動作フレーム数の変化に適応した良好な効果が得られる。

ステップＳ１４０で最大差異ベクトルを計算した後、ステップＳ１５０に進む。

ステップＳ１５０では、手の平開閉動作の判定を行い、当該最大差異特徴ベクトルに基づいて複数画像中に手の平の開、閉が存在するか手の平の開閉が存在しないかを判断する。

一つの例では、機械学習技術を通して、より具体的には、分類器が最大差異特徴ベクトル｛ｄ１、ｄ２、…、ｄｍ｝に対して分類を行いこの手振り識別要素の手振り分類結果を得る。数字フラグを用いて手振りの分類結果を表してもよく、例えば、０を変化無し、１を手の平が閉じる、２を手の平が開くとする。多種の分類器がこの分類に用いられ、例えば決定木分類器、ランダムフォレスト分類器、ＡｄａＢｏｏｓｔ、サポートベクターマシーンＳＶＭとＢＰ神経ネットワークなどがある。分類器は一般に訓練過程と識別過程に分けられ、そのうち訓練過程では、訓練サンプル集合を用いて分類器を訓練し、あるいは分類器の関係パラメータ或いは形式を確定するが、例えば、訓練サンプルは次のような形式〔Ｌ、ｄ１、ｄ２、…、ｄｍ〕をもち、Ｌは分類フラグとし、識別の過程で、分類不明の識別待ちサンプルに対して分類を行い、分類結果、即ち手振り動作の識別結果を出力する。ここで、分類結果の形式は用いる分類器の様式あるいは必要によって違ってもよく、当該サンプルつまり最大特徴差異ベクトルが０と分類されれば、変化無し、つまり手の平の開閉動作ではなく、あるいは１となれば、手の平の閉を表し、２となれば、手の平の開、といった簡単な分類でも、分類結果がそれぞれ類別の確率に属する等々でも構わない。

以上、分類器を用いてこの最大差異特徴ベクトルに基づいて画像中の手の平開閉動作状況を判定することを説明したが、これは例を示すためだけのものであって、本発明に制限を加えるものでは決してない。代替方式として、ルールで手の平開閉動作の判定を行ってもよく、以下のようなルール、例えば、当該最大差異特徴ベクトルの８個の特徴分量中、値が所定の閾値、例えば０．５より大きな特徴分量の個数が所定の閾値、例えば５より大きい場合、手の平の開動作が存在するとし、当該最大差異特徴ベクトルの８個の特徴分量中、値が所定の閾値、例えば−０．５より小さい特徴分量の個数が所定の閾値、例えば５より大きい場合、手の平の閉動作が存在するとし、反対なら、手の平の開閉動作が存在しないと考えるルールを定めてもよい。当然のことながら、これは説明の便のために簡単な例を出しただけで、実際のところ、広義では、ルールに基づく前記方法も分類器による方法に帰するものであり、例えばルールによる方法は決定木分類器等に転化できる。その他、テンプレート・マッチング方法を用いて最大差異特徴ベクトルに基づき複数画像中の手の平開閉動作状況を判定する。しかし、同様に広い意味では、テンプレート・マッチングによる方法も、最近隣分類器のような分類器の実現に転化できる。特に区別しない限り、本発明の分類器は広義の意味であり、ルールによる判別方法とテンプレート・マッチングによる判別方法を含むものとする。

前記実施例の手の平開閉動作識別方法により、手振り動作過程に連れて逓増あるいは逓減といった単調特性の特徴を有する値を採用することを提起し、これによって各特徴に基づく最大差異特徴ベクトルを確定し、最大差異特徴ベクトルに基づき手の平の開閉を判定することは、少なくとも次のような、視覚的に手の平動作の単調変化特徴を表現し、次元数が少ないという理由で分類器の学習、識別速度が加速できるというだけでなく、よりメインにはスライディングウィンドウの長さが固定されている状況で特徴抽出の視点から手振り動作のフレーム数変化に適応できるというメリットが得られる。

２．２、手の平開閉動作の開始フレームと終了フレームの確定方法の例示
前記図１と結び付けて説明した手の平開閉動作識別方法は、手の平の開動作、閉動作が存在するか手の平開閉動作が存在しないかの識別結果を出す。しかし、複数の手振り制御システムでは、例えば「Ｈａｎｄ Ｍｏｕｓｅ」という手の移動つまり手のトレースポイントを用いてカーソルの移動を制御し手の平開閉動作と結び付けてマウスのクリックを真似るというシステムは、手振り動作の開始点と終了点の時間を明確に検知する必要がある。これは手の平開閉動作の変化に伴い、対応する手のトレースポイントも変化を生じ開閉動作間でカーソルもこれに連れて振らつくためであり、従って手振り終了時にカーソルを手振り開始時に戻して対応する手振り命令を出さなければならない。このような問題はこれまでの技術では合理的な解決方法が出されていないか言及されていなかった。

以下に本発明の実施例の手の平開閉動作の開始フレームと終了フレームの確定方法の例を説明する。

実施例により、例えば手の平が開くあるいは閉じる動作の存在を判定する場合に、次のように手振りの開始フレームと終了フレームを確定する。

まず、各特徴の最大差異量と関連する２つの画像を確定し、この２つの画像を各特徴の視点から見た手振りの開始フレーム候補および終了フレーム候補とする。

その後、各特徴のウェイトおよび各特徴の視点から見た手振りの開始フレーム候補および終了フレーム候補に基づき、手振りの開始フレームと終了フレームを確定する。

例えば、前記最大差異量ｄ１を計算する公式（１）を見れば、ｄ１に相応して最も可能な手振りの開始フレーム番号（ｓ）と終了フレーム番号（ｅ）が得られ、“ｓ（１）”および“ｅ（１）”とする。同様にｄ２に相応して最も可能な手振りの開始フレーム番号と終了フレーム番号ｓ（２）、ｅ（２）が得られ、ｄｍに相応して最も可能な手振りの開始フレーム番号と終了フレーム番号ｓ（ｍ）、ｅ（ｍ）を得るまでに至る。仮にｉ個目の最大差異特徴の手振り識別に対する重要度をウェイトＷｉと表示すると、各特徴に関係する開始フレーム番号および終了フレーム番号ｓ（ｉ）、ｅ（ｉ）がウェイトをかけたと投票した後、最大差異特徴ベクトル｛ｄ１、ｄ２、…、ｄｍ｝にとって最も可能な手振り開始フレーム番号ｓおよび終了フレーム番号ｅが得られ、これによって手の平開閉動作に“Ｈａｎｄ Ｍｏｕｓｅ”のようなシステムを応用し正確にカーソル位置を戻して正確な情報を提供する。一つの実施例では、最大差異特徴ベクトルの各次元特徴分量と関連の開始フレームと終了フレームが関連付けて保存される。表１は最大差異特徴ベクトルの計算からどのように最も可能な手振り開始フレームを確定するかを示す。この例では、スライディングウィンドウの大きさを３、つまり一回の手振り開閉動作識別に用いる画像数を３とし、各フレーム画像は第１列の第１フレーム、第２フレーム、第３フレームで指し示し、最大差異特徴ベクトル｛ｄ１、ｄ２、…、ｄｍ｝の各次元特徴分量ｄ１、ｄ２、…、ｄｍの指し示す最も可能な手振り開始フレーム番号と終了フレーム番号に基づき、また各次元特徴のウェイトに基づき、最も可能な手振り開始フレームと終了フレームを確定する。表１のｄ１がある列は特徴分量ｄ１が指し示す手振り開始フレームを１とすることを示しており（つまり、ｄ１に対し、公式１のｆ１（ｓ）のｓを１とし、第一次元特徴について、第１フレームと別のフレームからこの特徴に関連する最大差異量ｄ１を共に減ずることができる）、特徴分量ｄ１に関連する特徴ウェイトをｗ１とすれば、これにより、特徴分量ｄ１に基づき、第１フレームは手振り開始フレームの評価係数を１＊ｗ１とすることができ、第２フレーム、第３フレームについては手振り開始フレームの評価係数を全て０＊ｗ１とすることができる。同様に、特徴分量ｄ２に基づき、第１フレームは手振り開始フレームの評価係数を１＊ｗ２とすることができ、第２フレーム、第３フレームについては手振り開始フレームの評価係数を全て０＊ｗ２とすることができ、特徴分量ｄ３に関連する手振り開始フレームを第２フレームとすれば、これにより、特徴分量ｄ３に基づき、第２フレームは手振り開始フレームの評価係数を１＊ｗ３とすることができ、第１フレームと第３フレームは手振り開始フレームの評価係数を全て０＊ｗ３とすることができる。

第１フレームのある行の全ての各次元特徴分量が導き出す手振り開始フレームとしての評価係数を合計し、第１フレームの手振り開始フレームとしての評価係数の合計１＊ｗ１＋１＊ｗ２＋０＊ｗ３＋１＊ｗ４＋０＊ｗ５＋１＊ｗ６＋０＊ｗ７＋１＊ｗ８が得られ、全ての特徴において手振り識別に対するウェイトが全て等しく１とする場合には、この合計値は５となる。同様に、全ての特徴において手振り識別に対するウェイトが全て等しく１とする場合には、第２フレームの手振り開始フレームとしての評価係数の合計値は３となり、第３フレームの手振り開始フレームとしての評価係数の合計値は０となる。このようにして手振り開始フレームとしての評価係数合計値が最も高いフレーム即ち第１フレームを手振り開閉動作の開始フレームに選択することができる。

類似の方法を用いて手振り開閉動作の終了フレームを確定することができる。

前記実施例により手の平開閉動作の開始フレームと終了フレームを確定し、手振り動作の開始フレームと終了フレームの時間を得ることができ、これは手振りを「Ｈａｎｄ Ｍｏｕｓｅ」のようなシステムに応用するために正確にカーソル位置を戻して正確な情報を提供する。

その他、前記最大差異特徴ベクトルの計算および手振り開始フレーム下付き文字の確認は、スライディングウィンドウの長さが固定されている状況で手振り動作がＫフレームで完成するかＫフレームの一部で完成するかにかかわらず、全て等量の最大差異特徴量が得られ、これによって特徴の描写と抽出の際、手振り動作のフレーム数が変化するという問題への適応が完成する。

２．３、隣接する手振り識別要素の手の平開閉動作統合方法の例示
多くの場合、手の平開閉動作の識別は、スライディングウィンドウが入力した画像シーケンス上でＫフレームの画像を選択して１つの識別要素とし、この識別要素に対して手の平開閉動作識別操作を行い、その後、スライディングウィンドウが入力した画像シーケンスに向いた後、次の位置にスライドし（一般にはフレームを追って移動し）再びＫフレームの画像を選択しもう１つの識別要素とし、このもう１つの識別要素に対して手の平開閉動作識別操作を行うなど、継続して進む過程である。各識別要素は皆、近くの識別要素と一部分重なり合う画像を有しているため、好ましい１つの実施例では、各識別要素を分類する際にもう１つの処理を行い、分類結果を基に手振り動作を最終判定し、フレーム画像から動作の階層までの手振り動作判断を終える。この処理の主要方法はルールを作って隣り合う識別要素の手振り分類結果を統合させることである。

１つの実施例により、図３が示す手の平開閉動作識別方法は、画像シーケンスに沿ってスライディングウィンドウの位置を移動させ；移動後のスライディングウィンドウ内の２つ目以降の複数画像に対して前記手の平形状分割ステップ、特徴抽出ステップ、最大差異特徴ベクトル計算ステップおよび手の平開閉動作判定ステップを行い；そして、移動前後のスライディングウィンドウ内の複数画像の手振り識別結果が同じ手の平開閉動作となった場合は、当該手の平開閉動作識別結果を統合して１つの手の平開閉動作とし、これに応じて開始フレームと終了フレームを修正することを含む。

次は、図７を参考して、隣り合う識別要素の手振り分類結果を統合させた手の平開閉動作識別過程を含む例示を説明する。

図７は、本発明の一つ実施例の隣り合う識別要素の手振り分類結果を統合させた手の平開閉動作識別過程を含む概念図である。図７に示すように、カメラが集めた画像シーケンスは時間順に手振り識別システムに送られ、まず長さＫ（図７では、Ｋ＝３）のスライディングウィンドウを通じて画像シーケンスから順次、Ｋフレームの画像を取り出し１つの手振り識別要素を組成し次の処理に進む。続いてシングルフレーム画像で抽出した値が手振りの過程で単調性の特徴を満たすという基礎に立って、Ｋフレーム画像が構成する要素から最大差異特徴ベクトルを計算する（図番７０１が指し示す段階）。その後、最大差異特徴量を手振り分類器に送り分類結果を得、図番７０２が示す段階のように、分類結果をフラグ０、１および２に対応させる。その後、手振り動作統合判断段階に進み、図番７０３が示すように、分類結果シーケンスに基づき更に判定を加え手振り動作の最終結果を出力する。

次は、図８を参考して、本発明の一つ実施例の手振り動作統合判別方法８００を説明する。この手振り動作統合判別方法８００は図７に示す手振り動作統合判別段階７０３に応用できる。

図８は、本発明の実施例の手振り動作統合判別方法８００のフローチャートである。

図８が示すように、１つの識別要素が分類器によって得た分類結果フラグを入力する（Ｓ８０１）。その後、まず候補動作が存在するか否かを判断するが（Ｓ８０２）、候補動作が存在するか否かは、Ｆｃａｎｄｉｄａｔｅ＝０（候補動作なし）、Ｆｃａｎｄｉｄａｔｅ＝１（候補動作あり）のようにフラグの設置あるいはリセットで表示でき、最初に候補動作なしであれば最初にＦｃａｎｄｉｄａｔｅ＝０とする。候補動作なしであれば（Ｓ８０２のＮの条件処理分岐）、入力した分類結果フラグを１とするかあるいは２とするか、つまり開いた手振りに分類されるかあるいは閉じた手振りに分類されるかを判断する（Ｓ８１１）。もしフラグが１でも２でもないなら、分類結果は開く動作でも閉じる動作でもなく（Ｓ８１１のＮの条件処理分岐）、ステップＳ８０１に戻って、次の分類フラグを入力する。フラグが１あるいは２であれば、分類結果は開く手振りあるいは閉じる手振りであり（Ｓ８１１のＹ条件処理分岐）、現在の新しい動作候補を開始し、例えばＦｃａｎｄｉｄａｔｅ＝１を置いて、現在の候補動作フラグを保存してこのフラグとし、現在の候補動作の開始時間および終了時間を記録する（Ｓ８１２）。Ｓ８０２で候補動作の存在が確定した場合は（ステップＳ８０２のＹ条件処理分岐）、入力したこの分類結果フラグが現在の候補動作フラグ（即ち、１つ前の識別要素の結果）と同じかを検査する（Ｓ８０２）。異なる場合は（Ｓ８０３のＮ条件処理分岐）、現在の候補動作を閉じ（Ｓ８０８）、Ｆｃａｎｄｉｄａｔｅ＝０を置いて、現在の候補動作の処理継続を放棄し、入力した分類結果フラグが１となるか２となるか、つまり、開動作に分類されるかあるいは閉動作に分類されるかを判断する（Ｓ８０９）。フラグが既に１でも２でもなければ、即ち分類結果は開動作あるいは閉動作ではなく（Ｓ８０９のＮ条件処理分岐）、ステップＳ８０１に戻り、次の分類フラグを入力する。フラグが１あるいは２、即ち分類結果が開動作あるいは閉動作であれば（Ｓ８０９のＹ条件処理分岐）、現在の新しい候補動作を開始し、例えばＦｃａｎｄｉｄａｔｅ＝１を置いて、現在の候補動作フラグを保存してこのフラグとし、現在の候補動作の開始時間および終了時間を記録し（Ｓ８１０）、ステップＳ８０１に戻って次の識別要素の分類結果の入力を待ち、現在のフラグが１つ前の識別結果と同じであれば（Ｓ８０３のＹ条件処理分岐）、現在の候補動作のデータを更新し（終了時間を更新する）（Ｓ８０４）、その後、現在の候補動作が手振り動作の条件を満たすか否かを検査する（Ｓ８０５）。手振り動作の条件に符合すれば、手振り動作が発する情報が生じ外部設備とやり取りができるようになり（Ｓ８０６）、現在の候補動作を終了して、例えばＦｃａｎｄｉｄａｔｅ＝０を置いて（Ｓ８０７）、ステップＳ８０１に戻る。ステップＳ８０５で現在の候補動作が手振り動作の条件を満たさないと判断された場合は、ステップＳ８０１に戻る。前記過程で、手振りが検出できるか否かにかかわらず、次の要素の分類識別結果、即ち次の分類フラグの入力を全て継続処理する。

図８のステップＳ８０５が、候補動作が動作条件を満たすか否かを検知するので、適合しない候補はフィルターにかけることとし、例えば、１つの手振り動作の完成に要する時間条件を使って制限し適合しない後続をフィルターにかけるとか、例えば、１つの手振り動作時間は十分に長くなければならないので、もし時間が不十分で、例えば１／５秒より短い場合は、これは条件に合った動作とは認めず、時間が十分ある時のみ、条件に合った動作と判定し、対応するマン・マシン・インタラクションを進め、更に例えば、ある応用例では、手振り動作開始時のトレースポイント位置が手振り動作終了時のトレースポイント位置と接近していなければならないとして、トレースポイント位置が接近しているか否かにより適合しない候補動作をフィルターにかけている。

前記実施例の方法により、隣り合う識別要素の手振り分類結果を統合でき、より正確に手の平開閉手振り動作の開始フレームと終了フレームを導き出し、これによって更に適切にマン・マシン・インタラクションを行う。

３、手の平開閉動作識別装置
次は、図９を参考して、本発明実施例の手の平開閉動作識別装置の配置を説明する。

図９は本発明実施例の手の平開閉動作識別装置９００の機能配置ブロック図である。

図９に示すように、手の平開閉動作識別装置９００は画像処理を通して手の平の開から閉、あるいは閉から開への動作を識別するのに用い、次のような部材を含む。複数画像取得部材９１０は、時間順に複数画像を取得し、手の平形状分割部材９２０は、複数画像から分割により複数の手の平の形状画像を取得し；特徴抽出部材９３０は、複数の手の平の形状画像の各々から手の平の形態を表す複数特徴を抽出し、そこにおいては手の平の開閉動作における値変化過程から見て各特徴が値の逓増あるいは逓減といった単調特性を有し；最大差異特徴ベクトル計算部材９４０は、当該複数特徴の各特徴に対して、その特徴における当該複数の手の平形状画像が最大差異量を計算し、当該最大差異量は当該複数の手の平形状画像中の２つの手の平形状画像が所定の順序で差を生じて得られ、符号と幅という２つの属性を有し、かつ当該最大差異量の絶対値は当該複数の手の平形状画像中の任意の２つの形状画像がこの特徴の差の絶対値の中で値が最大のものであり、前記複数特徴の各特徴の最大差異量は最大差異特徴ベクトルを組成し；手の平開閉動作判定部材９５０は、当該最大差異量特徴ベクトルに基づき当該複数画像中に手の平の開動作、閉動作が存在するか、手の平開閉動作が存在しないかを判断する。前記画像取得部材９１０、手の平形状分割部材９２０、特徴抽出部材９３０、最大差異特徴ベクトル計算部材９４０および手の平開閉動作判定部材９５０の具体的な機能および操作は、前記および図１から図８の関連説明を参考にすることができる。ここでは重複説明は省略する。

４、マン・マシン・インタラクションの装置配置例示
次は図１０を参考して、本発明実施例のマン・マシン・インタラクション設備１０００の配置を説明する。

図１０は、本発明実施例のマン・マシン・インタラクション設備１０００の配置ブロック図である。

図１０に示すように、マン・マシン・インタラクション設備１００は、図９の示す手の平開閉識別装置９００により実現される手の平開閉識別装置１２００；手の動きおよび１つ前の手振りの状態により、いつ手の平開閉動作識別装置を動かし手振り識別を行うかを制御するのに用いる手の平識別制御装置１１００；手の平開閉動作を制御命令に対応させるのに用い、手の平開閉動作を識別した際に、例えばコンピューター制御に使う応用プログラム、コンピューター制御の外部設備等々の、対応する制御命令を実行する手振り−命令対応装置１３００を含み、この他、選択的に、手の平位置が不動か否かの検知に用い、前記手の平開閉動作識別制御装置は手の平位置不動状態検知器の検知結果に基づき手の平開閉動作識別装置がいつ、手の平識別を開始するかを制御する手の平位置不動状態検知器１４００（点線ブロックで指し示す）も含むことができる。

ここでの手の平識別制御装置１１００の目的は手が素早く動く過程で動きが曖昧になるために手振り識別に生じる誤った情報を減少させることであり、同時に、どのような関心のある手振りの識別も漏らさないことを確保することである。手振り識別制御装置１１００は２つの操作習慣に基づき制御を行い、１つは手の平の「閉」の動作を行う時は通常、腕がずっと静止を保つという習慣、もう１つの習慣は手の平の「開」の動作はいつも「閉」の動作に付いてくる、言い換えれば「開」と「閉」この２つの動作はいつもペアで現れるという習慣である。

手振り識別制御が提起する動機は、以下のような応用を考えることであり、手の動きでマウスのドラッグ・アンド・ドロップ操作を真似し、手を開いた状態がマウスの移動状態に対応し、手を閉じた状態がマウスの左クリックに対応し、手を開いた状態でカーソルをつかみたい対象の上まで移動させ、手を閉じることが対象をつかむ（対象を選択する）ことに相当し、手を閉じた状態での移動が、対象のドラッグに相当し、その後手を開けば、対象のドロップに相当する。これにより対象のドラッグ・アンド・ドロップ操作が実現する。

初期状態では、手が基本の不変位置にある（腕は静止）時にのみ、手振りの検知を開始するが、このようにして曖昧な動作をフィルターにかけることができ、閉じた手振りを検知した後、手が閉じた状態から移った後に開いた手振りになるかも知れないので、直ちに開いた手振りの検知を行い、開いた手振りを検知した時に、手の位置が基本の静止状態にあるか否かモニタリング検知を続け、手の位置の基本静止を検知した後に初めて、手振り（閉じる手振り）を検知する。

１つの例示では、手の平位置不動状態検知器１４００は手の移動経路曲線の分析により、直近の時間内にこの曲線の長さおよび変化半径が所定値より小さいか否かを判断して手の平位置が基本的に変わっていないか否かを判定する。ここで言う手の移動経路曲線とは手が動く中で直近に所定Ｍ個の手の動きのトレースポイントが構成する経路を指す。

次は、図１１を参考して、手振り識別制御装置１１００が手の平位置不動状態検知器１４００の検知結果に基づきいつ、手の平開閉動作識別装置１２００を動かし手の平識別を行うかを制御するプロセス例示を説明する。

図１１は、手振り識別制御装置１１００が手の平位置不動状態検知器１４００の検知結果に基づきいつ、手の平開閉動作識別装置１２００を動かし手振り識別を行うかを制御する手振り識別制御方法１１００のフローチャートである、この過程は以下のステップを含む。

（ａ）フラグ量「ｂＦｌａｇ」を初期化し「ＦＡＬＳＥ」とし（Ｓ１１１０）、このフラグｂＦｌａｇは手の平種類を閉とするか否かを指し示す。

（ｂ）フラグ量ｂＦｌａｇがＴＲＵＥかＦＡＬＳＥかを判断し（Ｓ１１２０）、ＦＡＬＳＥであれば、手静止状態検知器（Ｓ１１３０）を用いて現在の手が不動状態か移動状態かを検知する（Ｓ１１４０）。

（ｃ）ｂＦｌａｇがＴＲＵＥあるいは現在の手が静止状態と判断された場合は、手振り識別器を使って手振り動作識別を行う（Ｓ１１５０）。

（ｄ）識別した手振り種類が「閉」であれば（Ｓ１１６０のＹ）、フラグ変量「ｂＦｌａｇ」に対してＴＲＵＥを与え（Ｓ１１７０）、そうでなく手振り種類が「開」と識別される場合は（Ｓ１１６０のＮ）、「ｂＦｌａｇ」に対してＦＡＬＳＥを与える（Ｓ１１８０）。

（ｅ）続けて次の１セットの画像シーケンスを入力し、順次、前記ステップ（ｂ）−（ｄ）を繰り返す。

図１１のフローチャートから、ここでの制御戦略は手が静止（あるいは動きが速くない）状態にある時にのみ手振り「閉」の検知を行うことであると分かる。一旦手振り「閉」が検知されたら、手振り「開」が検知されるまで手振り動作変化の監視を続ける。このような制御戦略は手が素早く動く過程で動きが曖昧になるために手振り識別に生じる誤った情報を減少させ、同時に、どのような関心のある手振りの識別も漏らさないことを確保する。

５、マン・マシン・インタラクション方法例示
次は、図１２を参考して、本発明実施例のマン・マシン・インタラクション方法のフローを説明する。

図１２は、本発明実施例のマン・マシン・インタラクション方法１２００のフローチャートである。

図１２に示すように、ステップＳ１２１０で、手の動きとその一つ前の手振りの状態により手の平開閉動作識別をいつ開始するかを制御する。ステップＳ１２１０の具体的な実施に関しては、図１１と結び付けて説明した手の平識別制御プロセスを利用して実現することができる。

ステップＳ１２２０で、手の平開閉動作識別の開始を制御する時には、前記を通して図３から図８が説明する方法を参考して手の平開閉動作識別を行う。

ステップＳ１２３０で、手の平開閉動作を識別した時には、手の平開閉動作を制御命令に対応させ、対応する制御命令を実行することによって、表示装置上の対象の操作と表示を制御する。

６、システムのハードウェア配置
本発明は更に手の平開閉動作識別（マン・マシン・インタラクション）のハードウェアシステムを通じて実現することができる。図１３は本発明実施例の手の平開閉動作識別（マン・マシン・インタラクション）システム１３００の全体ハードウェアブロック図である。図１３に示すように、物体検知システム１０００は、ステレオカメラあるいはカラーカメラの撮影した画像あるいはビデオストリーミングなど、外部から関係画像あるいは情報を入力するのに用い、例えばキーボード、マウス、通信ネットワークおよびそれに接続した遠隔入力設備等々を含むことができる入力設備１１００；前記本発明実施例の手の平開閉動作識別（マン・マシン・インタラクション）方法の実施、あるいは前記手の平開閉動作識別（マン・マシン・インタラクション）の実施に用い、例えばコンピューターの中央演算処理装置あるいは他の処理能力を有するＩＣチップ等々を含むことができ、インターネット・ネットワーク（未表示）と結んで、処理プロセスの必要により遠隔にマン・マシン・インタラクション命令のような処理した後の結果を伝送する処理設備１２００；前記手の平開閉動作識別（マン・マシン・インタラクション）プロセスを実施して得られた結果を外部に出力するのに用い、例えばディスプレー、プリンター、通信ネットワークおよび接続する遠隔入力設備等々を含むことができ出力設備１３００；そして、前記手の平開閉動作識別（マン・マシン・インタラクション）プロセスに関係する画像、特徴量、最大差異特徴ベクトル、手振り開始フレーム、手振り終了フレーム、閾値等のデータを、揮発性あるいは非揮発性方式で保存するのに用い、例えばランダムアクセスメモリー（ＲＡＭ）、読み取り専用メモリー（ＲＯＭ）、ハードディスク、あるいは半導体メモリー等々の各種揮発性あるいは非揮発性メモリーを含むことができるメモリー設備１４００を含む。

７、まとめ
本発明の実施例により、時間順に複数画像を取得する複数画像取得ステップ；複数画像から分割により複数の手の平の形状画像を取得する手の平形状分割ステップ；複数の手の平の形状画像の各々から手の平の形態を表す複数特徴を抽出し、そこにおいては手の平の開閉動作における値変化過程から見て各特徴が値の逓増あるいは逓減といった単調特性を有する特徴抽出ステップ；当該複数特徴の各特徴に対し、その特徴における当該複数の手の平形状画像が最大差異量を計算し、当該最大差異量は当該複数の手の平形状画像中の２つの手の平形状画像が所定の順序で差を生じて得られ、符号と幅という２つの属性を有し、かつ当該最大差異量の絶対値は当該複数の手の平形状画像中の任意の２つの手の平形状画像がこの特徴上の差の絶対値の中で値が最大であり、また前記複数特徴の各特徴の最大差異量は最大差異特徴ベクトルを構成する最大差異特徴ベクトル計算ステップ；そして、当該最大差異特徴ベクトルに基づき当該複数画像中に手の平の開動作、閉動作が存在するか、手の平開閉動作が存在しないかを判断する手の平開閉動作判定ステップを含む、画像処理を通して手の平の開から閉、あるいは閉から開への動作を識別するのに用いる手の平開閉動作識別方法を提供する。

本発明のもう１つの実施例により、時間順に複数画像を取得する複数画像取得部材；複数画像から分割により複数の手の平の形状画像を取得する手の平形状分割部材；複数の手の平の形状画像の各々から手の平の形態を表す複数特徴を抽出し、そこにおいては手の平の開閉動作における値変化過程から見て各特徴が値の逓増あるいは逓減といった単調特性を有する特徴抽出部材；当該複数特徴の各特徴に対し、その特徴における当該複数の手の平形状画像が最大差異量を計算し、当該最大差異量は当該複数の手の平形状画像中の２つの手の平形状画像が所定の順序で差を生じて得られ、符号と幅という２つの属性を有し、かつ当該最大差異量の絶対値はこの複数の手の平形状画像中の任意の２つの手の平形状画像がこの特徴上の差の絶対値の中で値が最大であり、また前記複数特徴の各特徴の最大差異量は最大差異特徴ベクトルを構成する最大差異特徴ベクトル計算部材；そして、当該最大差異特徴ベクトルに基づき当該複数画像中に手の平の開動作、閉動作が存在するか、手の平開閉動作が存在しないかを判断する手の平開閉動作判定部材を含む、画像処理によって手の平の開から閉あるいは閉から開への手振りを識別するのに用いる手の平開閉動作識別装置を提供する。

前記実施例の手の平開閉動作識別方法と装置により、手振り動作過程に連れて単調特性の特徴を有する値を採用し、各特徴に基づく最大差異特徴ベクトルを確定し、最大差異特徴ベクトルに基づく手の平の開閉を判定することは、少なくとも以下のような、手振り動作の単調変化特徴を視覚的に表し、次元数が少ないという理由で分類器の学習、識別速度が加速できるだけではなく、よりメインにはスライディングウィンドウの長さが固定されている状況で特徴抽出の視点から手振り動作フレーム数の変化に適応できるというメリットが得られる。

この他、本発明実施例の手の平開閉動作識別方法と装置により、手の平の開動作、或いは閉動作が存在するかを判断する際、手振りの開始フレームと終了フレームを確定し；各特徴の最大差異量に関連した２つの画像を確定し；この２つの画像を当該各特徴の視点から見た手振りの開始フレーム候補と終了フレーム候補とし；そして、各特徴のウェイトと各特徴の視点から得た手振りの開始フレーム候補と終了フレーム候補に基づき、手振りの開始フレームと終了フレームを確定する。前記実施例が手振り開閉動作の開始フレームと終了フレームを確定することにより、手振り動作の開始フレームと終了フレームの時間を得ることができ、手振りを「Ｈａｎｄ Ｍｏｕｓｅ」のようなシステムに応用するためにカーソルの位置を正確に戻し正確な情報を提供する。

この他、本発明実施例の手の平開閉動作識別方法と装置により、画像シーケンスに沿ってスライディングウィンドウの位置を移動させ；移動後のスライディングウィンドウ内の複数画像に対して前記手の平形状分割ステップ、特徴抽出ステップ、最大差異特徴ベクトル計算ステップおよび手の平開閉動作判定ステップを行い；そして、移動前後のスライディングウィンドウ内の複数画像の手振り識別結果が同じ手の平開閉動作となった場合は、当該手の平開閉識別動作結果を統合して１つの手の平開閉動作とし、これに応じて開始フレームと終了フレームを修正する。前記実施例の方法により、隣り合った識別要素の手振り分類結果を統合することができ、より正確に手の平開閉動作の開始フレームと終了フレームを取り出すことができるので、より適切にマン・マシン・インタラクションを行うことができる。

本発明のもう１つの実施例により、手の動きとその１つ前の手振りの状態により手の平開閉動作識別をいつ開始するかを制御し、手の平開閉動作識別の開始を制御する時は、前記方法を通じて手の平開閉動作識別を行い、そして、手の平開閉動作を識別した時には、手の平開閉動作を制御命令に対応させ、対応する制御命令を実行することによって、表示装置上の対象の操作と表示を制御するステップを含むマン・マシン・インタラクション方法を提供する。

本発明のまた１つの例により、前記手の平開閉動作識別装置；手の動きとその１つ前の手振りの状態により、いつ手の平開閉動作識別装置を動かし手振り識別を行うかを制御する手の平識別制御装置；手の平開閉動作を制御命令に対応させるのに用いるとともに、手の平開閉動作を識別した時は、対応する制御命令を実行する手振り−命令対応装置を含むマン・マシン・インタラクション装置を提供する。

本発明の実施例のマン・マシン・インタラクション方法と装置により、手が素早く動く過程で動きが曖昧になるために手振り識別に生じる誤った情報を減少させることができると同時に、如何なる関心のある手振りの識別も漏らさないことを確保する。

前記本発明の実施例の手の平開閉動作識別方法と装置は、マン・マシン・インタラクション方法および設備を深度画像に適用しているものもあれば、従来のカラー画像に適用しているものもある。

前述は説明のためだけのものであり、多くの付け加え、修正および／または差替えを行うことができる。

例えば、前記例の手の平開閉動作識別方法では、手振り識別要素に対しただ各特徴から最大差異特徴ベクトルを計算し、その後、最大差異特徴ベクトルだけに基づき手の平開閉動作状況を判定した。しかし、これは単なる例で、「最大差異特徴ベクトルに基づき」の意味はオープンであり、排他的なものではなく、最大差異特徴ベクトルおよび他の要素に基づき共に手の平開閉動作状況を判定してもよく、例えば、一つ手振り識別要素における各特性の変化過程を分析計算して、各特徴の変化動向が一致するか否か等を分析し最大差異特徴ベクトルと結び付けて手振りを判定してもよい。

更に例えば、前文の例示的な記述で、根拠とする単調性の特徴の集合を手の平の主方向に沿って手の平を覆う最小長方形の幅ｆ１、高さｆ２および面積ｆ３、手の平輪郭線の最小凸包の周長ｆ４、面積ｆ５および欠陥値ｆ６、手の平輪郭線の長さｆ７および取り囲む手の平の面積ｆ８としたが、これは単なる例で、本発明の制限となるものではなく、選択した特徴は８個より多くても少なくてもよく、前記８個の特徴に限られず、必要により一連の手の平開閉動作変化の視点から見て値が単調特性を満足し、手の平を表す如何なる特徴を設計および選択してもよい。

以上、具体的な実施例と結び付けて本発明の基本原理を説明したが、指摘する必要があることは、当業者であれば、本発明の方法および装置の全部あるいは如何なるステップあるいは部材も理解することができ、如何なるコンピューター（処理器、メモリー媒体等を含む）あるいはコンピューター・ネットワークの中で、ハードウェア、ファームウェア、ソフトウェアあるいはそれらの組合せによって実現できることであり、これは当業者が本発明の説明を読んだ状況においては彼らの基本的なコンピュータプログラミング技能を用いて実現できることである。

このため、本発明の目的は、如何なるコンピューター上でも１つのあるいは一組のコンピュータプログラムを使うことにより実現できる。前記のコンピューターは通用している公知の装置でよい。このため、本発明の目的は、前記の方法あるいは装置を実現するプログラムコードを含むプログラム製品を提供するだけで実現する。つまり、このようなプログラム製品も本発明を構成しており、このようなプログラム製品をもつ記憶媒体も本発明を構成している。当然のことながら、前記記憶媒体は公知の如何なる記憶媒体あるいは将来開発される如何なる記憶媒体であってもよい。

更に指摘すべきことは、本発明の装置と方法においては、当然のことながら、各部材あるいは各ステップは分解および／または新たな組み合わせができることである。これらの分解および／または新たな組み合わせは本発明と同等の効果を有する方案と見做されるべきである。かつ、前記の一連の処理ステップの実行は当然、説明の順序に従い時間順に行うことができるが、必ずしも時間順に行う必要はなく、あるステップは平行してあるいは互いに独立して行うことができる。これらは本発明の制限となるものではない。

前記の発明を実施するためのは、本発明の保護範囲の制限となるものではない。当業者にとって明白なことは、設計要求および他の要素によって、色々な修正、組合せ、副次的組合せおよび代替が生じ得ることである。本発明の精神および原則中の如何なる修正、同等の入替えおよび改善等は、全て本発明の保護範囲に含まれなければならない。

Claims (10)

1. 画像処理によって手の平の開閉、又は、閉開の動作を識別する、手の平開閉動作識別方法であって、
   時間順に複数画像を取得する複数画像取得ステップ、
   複数画像から分割により複数の手の平の形状画像を取得する手の平形状分割ステップ、
   複数の手の平の形状画像の各々から手の平の形態を表す複数特徴を抽出し、各特徴が、手の平の開閉動作における値変化過程から見て、値の単調特性を有する特徴抽出ステップ、
   当該複数特徴の各特徴に対し、当該複数の手の平形状画像の該特徴における最大差異量を計算し、当該最大差異量は当該複数の手の平形状画像中の２つの手の平形状画像が所定の順序で差を生じて得られたものであり、符号と幅という２つの属性を有し、かつ当該最大差異量の絶対値は当該複数の手の平形状画像中の任意の２つの手の平形状画像の該特徴における差の絶対値のうち値が最大となるものであり、前記複数特徴の各特徴の最大差異量から最大差異特徴ベクトルを構成する最大差異特徴ベクトル計算ステップ、及び
   当該最大差異特徴ベクトルに基づき当該複数画像中に手の平の開動作、閉動作が存在するか、或いは手の平開閉動作が存在しないかを判断する手の平開閉動作判定ステップを含む、手の平開閉動作識別方法。
2. 手の平の開動作、或いは閉動作が存在するかを判断する際に、手振りの開始フレームと終了フレームを確定し、
   各特徴の最大差異量に関連した２つの画像を確定し、該２つの画像を当該各特徴の視点から見た手振りの開始フレーム候補と終了フレーム候補とし、
   各特徴のウェイトと各特徴の視点から得た手振りの開始フレーム候補と終了フレーム候補に基づき、手振りの開始フレームと終了フレームを確定することを含む、請求項１に記載の手の平開閉動作識別方法。
3. 前記複数画像の数は、開閉動作の画像フレーム数頻度ヒストグラム及び指定された信頼レベルによって、決定されることを含む、請求項１に記載の手の平開閉動作識別方法。
4. 前記複数画像は、スライディングウィンドウを通して入力された画像シーケンスから順次選択されるものであり、
   当該手の平開閉動作識別方法は、さらに、
   画像シーケンスに沿ってスライディングウィンドウの位置を順次移動させ、
   移動後のスライディングウィンドウ内の複数画像に対し前記手の平形状分割ステップ、特徴抽出ステップ、最大差異特徴ベクトル計算ステップおよび手の平開閉動作判定ステップを行い、及び
   移動前後のスライディングウィンドウ内の複数画像の手振り識別結果が同じ手の平開閉動作となった場合は、当該手の平開閉動作識別結果を１つの手の平開閉動作として統合し、これに応じて開始フレームと終了フレームを修正することを含む、請求項１に記載の手の平開閉動作識別方法。
5. 前記特徴抽出ステップで抽出した複数特徴は、
   手の平の主方向に沿って手の平を覆う最小長方形の長さ、幅および面積と、手の平輪郭線の在る凸包の線長、面積および欠陥と、手の平輪郭線の長さおよび手の平輪郭線の囲む手の平形状の面積と、を含む各項目から選ぶ、請求項１に記載の手の平開閉動作識別方法。
6. 画像処理によって手の平の開閉、又は、閉開の手振りを識別する手の平開閉動作識別装置であって、
   時間順に複数画像を取得する複数画像取得部材と、
   複数画像から分割により複数の手の平の形状画像を取得する手の平形状分割部材と、
   複数の手の平の形状画像の各々から手の平の形態を表す複数特徴を抽出する部材であって、各特徴が、手の平の開閉動作における値変化過程から見て、値の逓増あるいは逓減といった単調特性を有する、特徴抽出部材と、
   当該複数特徴の各特徴に対し、当該複数の手の平形状画像の該特徴における最大差異量を計算する部材であって、当該最大差異量は、当該複数の手の平形状画像中の２つの手の平形状画像を所定の順序で差を生じさせて得たもので、符号と幅という２つの属性を有し、かつ当該最大差異量の絶対値は、該複数の手の平形状画像中の任意の２つの手の平形状画像の該特徴における差の絶対値のうち最大の絶対値であり、前記複数特徴の各特徴の最大差異量から最大差異特徴ベクトルを構成する、最大差異特徴ベクトル計算部材と、
   当該最大差異特徴ベクトルに基づき当該複数画像中に手の平の開動作、閉動作が存在するか、或いは手の平開閉動作が存在しないかを判断する手の平開閉動作判定部材と、を含む、手の平開閉動作識別装置。
7. 請求項６に記載の手の平開閉動作識別装置と、
   手の動きとその１つ前の手の状態により、手の平開閉動作識別装置による手振り識別開始を制御する手振り識別制御装置と、
   手の平開閉動作と制御命令の対応付けを行うとともに、手の平開閉動作を識別した場合は、対応する制御命令を実行する手振り−命令対応装置と、を含む、マン・マシン・インタラクション設備。
8. 手の平の位置が不動か否かを検知する手の平位置不動状態検知器をさらに含み、前記手振り識別制御装置は、手の平位置不動状態検知器の検知結果に基づき、手の平開閉動作識別装置による手の平識別開始を制御する、請求項７のマン・マシン・インタラクション設備。
9. 前記手振り識別制御装置が、手の平位置不動状態検知器の検知結果に基づき、手の平開閉動作識別装置による手の平識別開始を制御することは、
   （ａ）フラグｂＦｌａｇを初期化しＦＡＬＳＥとし、
   （ｂ）フラグｂＦｌａｇがＴＲＵＥかＦＡＬＳＥかを判断し、ＦＡＬＳＥであれば、手静止状態検知器を用いて現在の手が不動状態か移動状態かを検知し、
   （ｃ）ｂＦｌａｇがＴＲＵＥあるいは現在の手が静止状態と判断された場合は、手振り識別制御装置を用いて動作識別を行い、
   （ｄ）識別した手振りが「閉」であれば、フラグｂＦｌａｇをＴＲＵＥとし、手振りが「開」と識別された場合は、ｂＦｌａｇをＦＡＬＳＥとし、
   （ｅ）次の１セットの画像シーケンスが入力されると、順次、前記ステップ（ｂ）−（ｄ）を繰り返す、ことを含む、請求項８のマン・マシン・インタラクション設備。
10. 手の動きと一つ前の手振りの状態により、手の平開閉動作識別の開始を制御し、
    手の平開閉動作識別の開始を制御するときは、請求項１から６のいずれか１項に記載の方法によって、手の平開閉動作識別を行い、
    手の平開閉動作を識別した場合は、手の平開閉動作を制御命令に対応させ、対応する制御命令を実行することによって、表示装置における対象の操作と表示を制御するステップを含む、マン・マシン・インタラクション方法。
    

Images