JP2009500709A - 物体の動きのパターンを認識する方法 - Google Patents

Abstract

少なくとも一つの物体の連続画像または画像における当該物体の周囲の動きぶれの相対的な変化を測定することによって、当該物体の動きのパターンを認識する方法および動き認識装置を開示する。画像における動きぶれから動きぶれのパラメータが抽出され、これに基づいて、ぶれのパラメータ間の変化を測定することによって、動きぶれの変化が測定される。

Description

本発明は、少なくとも一つの物体の画像または連続画像における当該物体の周囲の動きぶれの相対的な変化を測定することによって、当該物体の動きのパターンを認識する方法および動き認識装置に関する。

静止したカメラによって物体を撮影した画像においては、その画像の撮影時にその物体が動いている場合、画像中においてその物体の周囲に動きぶれ（モーションブラー（motion blur））が生じることは良く知られている。一例として、物体が水平軸に沿って歩いている人間である場合、その人の周囲のぶれは、その人の右側と左側の両方で生じるであろう。したがって、その人が左から右に歩いているのか、右から左に歩いているのかを言い当てることはできない。
米国特許６７６６０３６号公報

米国特許６７６６０３６号公報は、車両の機能的デバイスを制御する方法を開示している。これは、種々の位置および方向に関連した機能を通して、例えば、光源を使用して指を上下に動かし、カメラで光源の種々の位置を検出することによって、車両とインタラクティブに交信する方法である。検出に基づいて、車両の所望の制御関数が決定される。この発明は、物体のターゲットのデータを特定し、かつ／または追跡するために強度変化を使用することを開示している。ＬＥＤや再帰反射器などの明るいターゲットが使用される。ターゲットに動きが生じると、ぶれが特定の方向に認識可能となる。ぶれの方向は軸方向運動をも示している。

この開示の問題点は、その方法がユーザにとって使い勝手の良いものでないという点である。これは、この発明が、カメラに容易に認識され得る明るい光源を身に着けることをユーザに要求しているからである。また、米国特許６７６６０３６号公報では、ぶれから方向パラメータのみを抽出しているため、ぶれを非常に限定した方法で使用している。

本発明の目的は、動きぶれに備わる情報を拡大使用し、物体の動きのパターンを認識することに適用することによって、上述の問題点を解決することにある。

一の態様によれば、本発明は、少なくとも一つの物体の連続画像または画像における当該物体の周囲の動きぶれの相対的な変化を測定することによって、当該物体の動きのパターンを認識する方法および動き認識装置に関し、
・連続画像および画像における動きぶれから動きぶれのパラメータを抽出するステップと、
・上記の動きぶれのパラメータの間の変化を決定するステップと、
を有する。

したがって、動きぶれの変化に基づいて物体の動きのパターンを認識するための非常に簡単で使い勝手の良い方法が提供される。物体は、人間、人の手、指などである。この方法は、騒音の激しい環境で好ましいように単に指で指し示すか、ある種のサイン言語を使用するかによって、ユーザがジェスチャー認識システム、例えば擬人化システムとインタラクティブに交信することを可能とするジェスチャー認識に実施することができる。この方法を実施する他の例としては、サイン言語認識がある。コンピュータと、例えばウェブカムや他のタイプのカメラとを使用することにより、先行技術で使用されたような位置センサはもはや不要である。これは、現在の方法をより安価にし、先行技術よりも実施し易くする。

一の実施形態においては、ぶれのパラメータは、動きぶれの範囲を含み、この範囲が物体の速度を示す指標として使用される。したがって、物体の相対速度の指標が得られる。ここで、狭い範囲が遅い速度を示し、広い範囲が早い速度を示す。

一の実施形態においては、検出された物体の動きぶれの範囲の時間展開を使用して、その物体の動きのパターンを認識する。したがって、異なる時刻に撮影された多数の画像について、検出された動きぶれの範囲を検出することによって、それらの画像から、その物体が加速しているのか、一定の速度で移動しているのか、を測定することができ、すなわち、物体の一次元運動が得られる。

一の実施形態においては、同一画像内の２または３以上の物体間で検出された動きぶれの相対範囲を使用して、その画像内のそれらの物体の相対速度を認識する。したがって、検出された動きぶれの相対範囲に基づいて、その同一画像内の２または３以上の物体のいずれが最も早く移動し、いずれが２番目に早く移動しているか、などを測定することができる。

一の実施形態においては、動きぶれのパラメータはぶれの方向を含み、その方向の変化を測定することによって、その物体の軌道が得られる。例えば、ある室内の人間の軌道を追跡することができ、これにより、例えば、ジェスチャー認識を向上させることができる。さらに、方向と幅のパラメータを結合することにより、その物体の３次元的運動が得られる。

一の実施形態においては、画像または連続画像は、静止したカメラで撮影した静止画像を含む。他の実施形態においては、連続画像は、移動するカメラで撮影した画像を含む。ここで、画像中の少なくとも一つの物体の周囲のカメラの動きによる動きぶれは、ぶれから差し引かれる。前者の撮像システムは、ウェブカムカメラであって良く、２番目の撮像システムは、監視カメラであって良い。ここで、背景のぶれは、画像中のぶれから差し引かれる。

他の態様では、本発明は、プロセスユニットにその方法を実施させる命令を格納したコンピュータ可読媒体に関する。

他の態様によれば、本発明は、少なくとも一つの物体の連続画像または画像における当該物体の周囲の動きぶれの相対的な変化を測定することによって、当該物体の動きのパターンを認識する動き認識装置に関する。この動き認識装置は、
・連続画像または画像における動きぶれから動きぶれのパラメータを抽出するプロセッサと、
・動きぶれのパラメータの間の変化を測定するプロセッサと、
を備える。

本発明のこれらの態様および他の態様は、以下に説明する実施形態を参照することにより、明らかになる。以下、本発明の好適な実施形態を、図面を参照しながら説明する。

図１から図３は、３つの異なる移動条件の下での人物１００の静止画像を示す。これらは、例えばデジタルカメラ、ウェブカムカメラ、監視カメラなどのカメラによって撮影された画像である。図１では人物１００は静止しており、図２では人物１００は矢印１０３で示すように右から左へ動いており、図３では人物は矢印１０４で示すように左から右へ動いている。本発明によれば、ぶれ１０１、１０２が物体の動きのパターン、すなわち、この場合は人物１００の動きのパターンを認識するための情報源として使用される。したがって、ぶれを消去すべきノイズとみなす代わりに、ぶれのパラメータを抽出するために使用し、そして、ぶれのパラメータを使用して、物体のカメラに対する動きのパターンを認識する。ここで、カメラはある位置に固定されていると仮定し、そのため、画像の背景のぶれは存在しない。ただし、画像を撮像する際にカメラが動いているとすれば、この限りでない。カメラが動いている場合、カメラの動きによる背景のぶれは、画像を処理するときに差し引かれる。

図１においてぶれが示されていないという事実は、人物が静止していることを示している。図２および図３に示すとおり、動きぶれ１０１、１０２は、人物１００が右から左へ、または左から右へのいずれかに動いていることを示している。矢印１０３、１０４で与えられる現実の方向は、ぶれ１０１、１０２が人物１００の両側で生じているため、測定することができない。

一の実施形態では、人物１００（物体）の動きのパターンは、人物１００の軌道を含んでいる。ここで、軌道は、人物１００の連続画像について、動きぶれ１０１、１０２の位置が時間の関数としてどのように変化するかを測定することにより測定される。

他の実施形態では、人物１００（物体）の動きのパターンは、人物１００が一定の速度で動いているか、加速しているかを測定することを含んでいる。これは、人物１００の連続画像について、動きぶれの範囲が時間の関数として変化することに基づいて測定される。図２及び図３に示すとおり、２つの画像間でのぶれの範囲はほぼ等しいため、これら２つの図における人物１００はほぼ等しい速度で動いている。この動きのパターンを人物１００の軌道と組み合わせることにより、人物１００（物体）の詳細な運動が得られる。

本発明のまた別の実施形態では、動きぶれの範囲が、物体の絶対速度を決定するために使用される。たとえば一つの物体のただ一つの画像を考慮することにより、物体の速度の絶対値を決定するため、動きぶれの範囲が使用される。ぶれの範囲「ｅｘｔ」を物体の側とＶ（ｅｘｔ）とリンクさせる較正を実施する必要がある。ここで、例えばＶ（ｅｘｔ）〜ｅｘｔである。本発明の一例は、速度検出器のために実施することができる。ここで、物体の速度は、動きぶれの範囲「ｅｘｔ」に比例する。この単純な例においては、較正パラメータは一定、すなわち、Ｖ（ｅｘｔ）＝定数×ｅｘｔである。物体はたとえば車両であり、カメラは速度検出カメラである。最も単純な実施形態においては、カメラと物体との距離は常に一定、たとえば、カメラは道路の上または横に置かれている、と仮定される。較正は、もちろん、物体とカメラの距離を含んでよい。

図４（ａ）から４（ｄ）は、本発明の一例として、４つの連続画像の間での局所的な動きぶれの範囲の時間変化を示している。ここで、これらの変化は、その物体が一定の速度で動いているか、または加速しているかを測定するために、処理され使用される。ここに示すように、物体は図１に示す人物１００である。人物の動きのパターンは、異なる４つの時点ｔ１〜ｔ４においてカメラによって撮像された連続画像（ａ）〜（ｄ）に基づいて認識される。ここで、ｔ１＜ｔ２＜ｔ３＜ｔ４である。４０１ａ〜４０１ｄにおける動きぶれの範囲に関連する動きぶれのパラメータは、これらの画像から抽出される。そして、これらは、カメラの位置に対する動きのパターンを認識するために使用される。局所的なぶれ４０１ａ〜４０１ｄの範囲の増大は、人物が正の加速度で加速していることを示す。

また、図４（ａ）から４（ｄ）は、４名の異なる人物の単一画像とみなすこともできる。これら４名の人物の間の相対的な範囲を決定することにより、４名の人物の間の相対速度を決定することができる。したがって、人物（ａ）のぶれの範囲が最小であり、人物（ｂ）が２番目に小さく、人物（ｃ）が２番目に大きく、人物（ｄ）が最大であるから、人物（ａ）の速度が最小であり、人物（ｂ）の速度が２番目に小さく、人物（ｃ）の速度が２番目に大きく、人物（ｄ）の速度が最大、すなわち、Ｖ（ａ）＜Ｖ（ｂ）＜Ｖ（ｃ）＜Ｖ（ｄ）である。ここで、Ｖは物体の速度である。速度較正（速度を測定し、速度を一定の間隔に関して動きぶれの範囲と関連付けること）をしない場合、速度Ｖ（ａ、ｂ、ｃ、ｄ）がどのくらいの速度であるかを予測することはできない。ただ相対的な速度差が得られるだけである。

図５は、図４の領域４０１ａ〜４０１ｄにおける動きぶれの拡大図である。ここでは、図４の４名は同一人物と仮定する。グラフ５００では、等間隔の時間値ｔ１〜ｔ４について、局所的なぶれ４０１ａ〜４０１ｄの範囲ｄ１〜ｄ４（５０２〜５０５）が縦軸に対してプロットされている。ここに示すとおり、ぶれの範囲ｄ１（任意単位で得られる）は、時間値ｔ１において最小であるが、一定に増加し、時間値ｔ４において最大となる。時間と共に範囲が増大するということは、人物１００の右から左への又は左から右への動きのパターンが、加速する動きであることを示している。また、直線５０６により加速度は一定である。

先述のとおり、動きぶれの位置を示す動きぶれのパラメータが、図４（ａ）〜４（ｄ）における連続画像において時間に対してどのように変化するかを追加的に測定することにより、人物１００の軌道を追加的に使用することができる。

本発明を実施する一の方法は、例えば人物１０２が近づいているか遠ざかっているかをモニターすることと、または、擬人化システムとのインタラクティブな交信を中止する、待機する、戻る、継続する、ヘルプを求めるなど、会話システム中に共通に生じる幾つかの基本コマンドと、ジェスチャーを関連付けることである。これにより、例えば、非常に騒音の激しい環境においてはシステムとの音声対話を回避することができる。人物１０２が音声とジェスチャーの双方で相補的な情報を提供する現実的な多様対話もまた可能である。例えば、人物１０２が、画像ソースにある方向に動いて欲しいと思った場合、「こちらの方向を見てください」と言うことができるし、腕をその方向に動かすことにより、その方向を示すこともできる。

本発明を実施する他の方法は、位置センサの代わりにコンピュータとウェブカムを使用することによりサイン言語を解釈することである。普通のパーソナルコンピュータを持っているユーザは、したがって、その前でサイン言語をテキストに書き換えることができ、また、テキストから音声への変換ソフトウェアを使用してテキストを音声に変換することもできる。

図６は、物体の少なくとも一つの画像に基づいて物体の動きのパターンを認識するための本発明による方法を示す。まず、ステップ６０１において複数の静止画像（Ｃ＿Ａ）が例えばデジタルビデオカメラによって撮影される。ステップ６０２において、それらの画像からぶれが検出され（Ｂ＿Ｄ）、ステップ６０３において、その検出に基づいて動きぶれのパラメータが抽出される（Ｅ）。動きぶれの検出は、例えば、リプシッツ係数（Ｌｉｐｓｃｈｉｔｚ ｃｏｅｆｆｉｃｉｅｎｔｓ）を計算することにより画像の縁の連続性を測定することにより行うことができる。ここで、縁が明瞭なら、それは画像の勾配の方向の強い非連続性に対応する。また、縁が不明瞭なら、それは、スムーズな非連続性に対応する。動きぶれのパラメータを抽出する方法が幾つか存在する。例えば、マレット（Ｍａｌｌｅｔ）らにより開示される方法がある。これは、Ｓ．Ｍａｌｌｅｔ、Ｗ．Ｌ．Ｈｗａｎｇによる「ウェーブレットによる特異点の検出および処理（Ｓｉｎｇｕｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ ｗｉｔｈ ｗａｖｅｌｅｔｓ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ、第３２巻第２号、１９９２年３月、に開示され、リファレンスとしてここに援用される。

画像の撮像中にカメラが動いている場合は、「背景」のぶれが、カメラの動きにより生じるため、ステップ６０４において、画像から差し引かれるか、キャンセルされる（Ｓ）。

検出されたぶれから動きぶれのパラメータを抽出した後、ステップ６０５において、連続する画像間の動きについて、変分計算（ｖａｒｉａｔｉｏｎ ｃｏｍｐｕｔａｔｉｏｎ）が行われる（Ｖ＿Ｃ）。これは、例えば、動きぶれのパラメータの位置が２つの連続する画像間で変化したか否か、ぶれの範囲（例えば、物体のある範囲内で）が変化したか否かを計算し、物体が一定の速度で動いているか、加速しているかを測定することを含む。これらの変分は、ステップ６０６のアルゴリズムにおいて、例えば、ジェスチャー分類／認識（Ｇ＿Ｃ）に対する入力パラメータまたは特徴として機能する。

一例として、ユーザが頭で（頭を振ることにより）「いいえ」を示すと、ぶれのパラメータはユーザの顔のあたりで、次のように変化するだろう。

・まず、顔の明瞭な画像が示され（ぶれ無し）
・次いで、一連の水平な動きぶれが異なる幅で検出され（頭が中央から横へ加速され、そして減速し、一方の側で停止し、そこから他方の側へ加速され、これが数回繰り返されるためである）、
・最後に、顔の明瞭な新たな画像が示される。

図７は、物体の動きのパターンを認識するための本発明の実施形態に係る動き認識装置７００を示す。認識装置７００は、カメラ（Ｃ）７０１と、物体の画像７０４からぶれのパラメータを抽出するように成されたプロセッサ（Ｐ）７０２と、認識ソフトウェアを格納したメモリ（Ｍ）７０３とを備える。カメラ（Ｃ）７０１は、物体の画像、好ましくはデジタル画像７０４を提供するために使用され、動き認識装置７００に組み込まれてよいし、外部に置いて無線通信ネットワーク７０６を介して動き認識装置７００と相互に連結されてもよい。これは、たとえば、画像ソースが監視カメラで、動き認識装置が他の場所に、たとえば、セントラルサーバや警察署などに置かれている場合である。メモリ７０３は、動きぶれのパラメータとともに、物体の動きのパターンを認識する一組の予め格納されたルールを有することができる。

上述の実施形態は、本発明を限定するのではなく説明するものであり、当業者であれば、添付の特許請求の範囲の要旨から逸脱することなく、他の実施形態を設計することができることに留意すべきである。特許請求の範囲において、括弧付きの参照符号は、請求項を制限すると解釈してはならない。「備える」との用語は、請求項に掲げた要素やステップのほかの要素やステップの存在を排除するものではない。本発明は、他の幾つかの要素を備えるハードウェアによって、また、適切にプログラムされたコンピュータによって実施され得る。幾つかの手段に相当するデバイスクレームにおいては、それらの手段の幾つかは、ハードウェアの一つの及び同一の項目として具現され得る。ある方策が相互に異なる従属請求項に記載されるという単なる事実は、これらの方策の組み合わせが有利に使用され得ないことを示すものではない。

一の移動条件における人物の静止画像である。 他の移動条件における人物の静止画像である。 更に別の移動条件における人物の静止画像である。 図４（ａ）から４（ｄ）は、物体の動きのパターンを認識するため、連続する画像間の局所的な動きぶれの幅の時間変化を示す、本発明の一例を示す。 図４（ａ）から４（ｄ）のぶれ領域の拡大図である。 物体の少なくとも一つの画像に基づいて、物体の動きのパターンを認識するための本発明による方法を示す図である。 物体の動きのパターンを認識するための本発明による動き認識装置を示す図である。

Claims (9)

1. 少なくとも一つの物体の連続画像または画像における当該物体の周囲の動きぶれの相対的な変化を測定することによって、当該物体の動きのパターンを認識する方法であって：
   前記連続画像または前記画像における動きぶれから動きぶれのパラメータを抽出するステップと、
   上記の動きぶれのパラメータの間の変化を測定するステップと、
   を有する方法。
2. 前記ぶれのパラメータが、動きぶれの範囲を含み、この範囲が当該物体の速度を示す指標として使用される、請求項１に記載の方法。
3. 前記連続画像において検出された前記物体の前記動きぶれの前記範囲の時間展開が、その物体の動きのパターンを認識するために使用される、請求項１または２に記載の方法。
4. 同一画像内で２または３以上の物体の間について検出された前記動きぶれの相対的範囲が、当該画像内の当該物体の相対速度を認識するために使用される、請求項１から３のいずれか一項に記載の方法。
5. 前記動きぶれパラメータが、前記ぶれの方向を含み、この方向の変化を測定することによって当該物体の軌道を得る、請求項１から４のいずれか一項に記載の方法。
6. 前記連続画像または前記画像が、静止したカメラで撮影した静止画像を含む、請求項１から５のいずれか一項に記載の方法。
7. 前記連続画像または前記画像が、移動するカメラで撮影した画像を含み、その移動による、前記連続画像または前記画像における前記少なくとも一つの物体の周囲の動きぶれが、前記ぶれから差し引かれる、請求項１から６のいずれか一項に記載の方法。
8. 請求項１から７のいずれか一項の方法をプロセスユニットに実施させる命令を格納したコンピュータ可読媒体。
9. 少なくとも一つの物体の連続画像または画像における当該物体の周囲の動きぶれの相対的な変化を測定することによって、当該物体の動きのパターンを認識する動き認識装置であって：
   前記連続画像または前記画像における前記動きぶれから動きぶれのパラメータを抽出するプロセッサと、
   前記動きぶれのパラメータの間の変化を測定するプロセッサと、
   を備える動き認識装置。

Images