JP2012113714A - ユーザがコンピュータシステムとやり取りを行うことができる、ビデオストリームにおける動く非剛体オブジェクトをリアルタイムで検出し及び追跡する方法及び装置 - Google Patents

ユーザがコンピュータシステムとやり取りを行うことができる、ビデオストリームにおける動く非剛体オブジェクトをリアルタイムで検出し及び追跡する方法及び装置 Download PDF

Info

Publication number
JP2012113714A
JP2012113714A JP2011252752A JP2011252752A JP2012113714A JP 2012113714 A JP2012113714 A JP 2012113714A JP 2011252752 A JP2011252752 A JP 2011252752A JP 2011252752 A JP2011252752 A JP 2011252752A JP 2012113714 A JP2012113714 A JP 2012113714A
Authority
JP
Japan
Prior art keywords
interest
image
region
points
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011252752A
Other languages
English (en)
Other versions
JP5967904B2 (ja
Inventor
Nicolas Livet
リベ ニコラ
Thomas Pasquier
パスキエ トマ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Total Immersion
Original Assignee
Total Immersion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Total Immersion filed Critical Total Immersion
Publication of JP2012113714A publication Critical patent/JP2012113714A/ja
Application granted granted Critical
Publication of JP5967904B2 publication Critical patent/JP5967904B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】本発明は、特に、イメージセンサの領域に位置するオブジェクトの動きに従ったソフトウェアアプリケーションとのやり取りの検出に関する。
【解決手段】第1の画像及び第2の画像を受信し、第1の画像の第1の関心のある領域を識別した後、第1の関心のある領域に対応する第2の関心のある領域を、第2の画像において識別する。第1の関心のある領域及び第2の関心のある領域が互いに比較され(440)、第1の関心のある領域及び第2の関心のある領域の対応するポイントの少なくとも一つの特徴の変化を特徴付ける関心のあるマスクを決定する。その後、オブジェクトの動きを、関心のあるマスクから決定する(445)。動きが分析され、それに応答して、予め決定された動作が、トリガがかけられ又はトリガがかけられない。
【選択図】図4

Description

本発明は、画像シーケンスを表すビデオストリームにおける画像の分析によるオブジェクトの検出及び追跡に関し、更に詳しくは、ユーザがコンピュータシステムとやり取りを行うことができる、ビデオストリームにおける動く非剛体オブジェクトをリアルタイムで検出し及び追跡する方法及び装置に関する。
拡張現実は、特に、画像シーケンスを表すビデオストリームの画像に一つ以上の仮想オブジェクトを挿入しようとしている。アプリケーションのタイプに応じて、それら仮想オブジェクトの位置及び向きを、画像によって表されるシーンの外部のデータ、例えば、ゲームシナリオから直接得られる座標又は当該シーンの所定の要素にリンクしたデータ、例えば、プレーヤーの手のようなシーン中の特定のポイントの座標によって決定することができる。現実シーンに存在するオブジェクトの性質が識別され、位置及び向きが、当該シーンの所定の要素にリンクしたデータによって決定されたとき、それらの要素をビデオカメラの動き又はシーン中のこれらの要素それ自体の動きに従って追跡する必要がある場合がある。要素を追跡する動作及び実像に仮想オブジェクトを嵌め込む動作を、異なるコンピュータ又は同一のコンピュータによって実行することができる。
さらに、そのようなアプリケーションにおいて、特に、例えば画像に重ね合わされた仮想要素とやり取りを行うことができる特定の動作又はシナリオにトリガをかけるために、画像ストリームによって少なくとも部分的に表わされる実像においてユーザがコンピュータとやり取りすることを提案することができる。
同様なことは、多数の他のタイプのアプリケーション、例えば、ビデオゲームアプリケーションに当てはまる。
これらの目的のために、一つ以上の予め決定されたコマンドを識別するために手の動きのような特定の動きを識別する必要がある。そのようなコマンドは、マウスのようなコンピュータポインティングデバイスによって引き起こされるコマンドに相当する。
出願人は、形状が変化するテクスチャオブジェクトを任意のマーカを用いることなく仮想的に追跡するアルゴリズムを開発し、その独創性は、ビデオストリームの現画像とシステムの初期化の際に自動的に得られるキー画像のセットとの間の特定のポイントのマッチングにある。しかしながら、フランス国特許出願第0753482号、フランス国特許出願第0752810号、フランス国特許出願第0902764号、フランス国特許出願第0752809号及びフランス国特許出願第0957353号は、テクスチャ加工されていない又はユーザの手のように実際には一様なテクスチャを有するオブジェクトの動きを検出することができない。さらに、これらは、実際には剛体オブジェクトの追跡を意図している。
画像シーケンスによって表されるシーンにおいてユーザがコンピュータとやり取りすることができる解決が知られているとしても、これらの解決は、一般的には実行するのに複雑である。
更に詳しくは、第1の解決は、例えばユーザ又は動作主の関節に関連した触覚センサの使用にある。このアプローチが、特に映画の特殊効果に対する動き追跡アプリケーションのためにしばしば設けられるとしても、仮想シーンにおいて動作主がコンピュータシステムとやり取りができるようにするために、動作主、特に、動作主の手及び足の位置及び向きを追跡することもできる。しかしながら、この技術の使用は、コストが高いことがわかっている。その理由は、分析された画像ストリームによって表されるシーンに煩わしい(cumbersome)センサを組み入れる必要があるからであり、これによって、これらの環境にリンクした妨害(例えば、電磁妨害)に遭う。
特に欧州プロジェクト“OCETRE”及び“HOLONICS”で開発された他の解決は、環境及びユーザの空間的運動の3次元的な再構成をリアルタイムで行うことができるようにするために複数の画像ソース、例えば、複数のビデオカメラを用いることにある。そのようなアプローチの一例は、特に、2007年8月に刊行されたSIGGRAPH'07, ACM SIGGRAPH 2007, Emerging TechnologiesにおけるT.Rodriguez, A.Cabo de Leon, B.Uzzan, N.Livet, E.Boyer, F.Geffray, T.Balogh, Z.Megyesi及びA.Barsiによる"Holographic and action capture techniques"の表題の文献に記載されている。これらのアプリケーションによって現実シーンの形状を生成できるが現在のところ正確な動きを識別できないことが知られている。さらに、リアルタイムの制約に適合するために、複雑かつコストが高いハードウェアアーキテクチャをセットアップする必要がある。
拡張現実シーンを見るためのタッチスクリーンも知られており、これによって、コンピュータシステムに対するユーザのやり取りを決定することができる。しかしながら、これらのタッチスクリーンは、コストが高く、拡張現実のアプリケーションに適合しにくい。
ビデオゲームの分野におけるユーザのやり取りに関して、画像は、典型的には、コンピュータ又はコンソールに接続したウェブ画像タイプのビデオカメラから取得される。この画像は、一般的に、ビデオカメラに接続されたシステムのメモリに格納した後にブロブス追跡(blob tracking)と称されるオブジェクト追跡アルゴリズムによって分析され、特にオプティカルフローアルゴリズムを用いることによって画像中で動くユーザの所定の要素の輪郭をリアルタイムで求める。画像中のこれらの形状の位置によって、表示された画像の所定の部分を修正し又は変形することができる。したがって、この解決によって、画像領域の妨害が2自由度で配置されうる。
しかしながら、このアプローチの制約は、主に、ビデオカメラの移動中の処理の適切な実行を維持することができないことに起因する正確さの欠如及び前景と背景との間の動きの区別ができないことに起因する動作(semantics)の欠如にある。さらに、この解決は、特に照明の変化又は雑音に対するロバストネスを提供しないオプティカルフロー画像分析を用いる。
画像中に存在するオブジェクトの表示の変化に起因する、拡張現実シーン中のユーザとコンピュータシステムとの間のやり取りを画像シーケンスの画像に基づいてリアルタイムで検出するアプローチも知られている。しかしながら、特にフランス国特許出願第0854382号に記載されている方法は、ユーザの正確な動きを識別することができず、画像の十分にテクスチャ加工された領域にのみ適用される。
本発明は、上述した問題の少なくとも一つを解決することができる。
したがって、本発明は、イメージセンサの領域に位置した少なくとも一つのオブジェクトの動きに従ってソフトウェアアプリケーションとのやり取りを検出するコンピュータ方法(computer method)であって、イメージセンサは、コンピュータ方法を実行するコンピュータに接続され、画像ストリームをコンピュータに供給する方法において、
少なくとも一つの第1の画像をイメージセンサから受け取るステップと、
第1の画像中の少なくとも一つの関心のある第1の領域を識別するステップであって、少なくとも一つの関心のある第1の領域は、少なくとも一つの第1の画像の一部に対応するステップと、
少なくとも一つの第2の画像をイメージセンサから受け取るステップと、
少なくとも一つの第2の画像中の少なくとも一つの関心のある第2の領域を識別するステップであって、少なくとも一つの関心のある第2の領域は、少なくとも一つの第1の画像の少なくとも一つの関心のある第1の領域に対応するステップと、
少なくとも一つの関心のある第1の領域と少なくとも一つの関心のある第2の領域とを比較し、少なくとも一つの関心のある第1の領域と少なくとも一つの関心のある第2の領域の対応するポイントの少なくとも一つの特徴の変化を特徴付ける関心のあるマスクを決定するステップと、
少なくとも一つのオブジェクトの動きを関心のあるマスクから決定するステップであって、少なくとも一つのオブジェクトは、少なくとも一つの関心のある第1の領域と少なくとも一つの関心のある第2の領域のうちの少なくとも一つで少なくとも部分的に表されているステップと、
動きを分析し、分析に応答して、予め決定された動作にトリガをかけ又はトリガをかけないステップと、を備えることを特徴とする方法を対象にする。
したがって、本発明による方法は、オブジェクト、特に、拡張現実アプリケーションに対するテクスチャ加工がほとんどない可変オブジェクトを追跡することができる。さらに、処理量を制限することによって、携帯プラットホーム(mobile platform)のような(特に計算に関して)制限されたリソースを有する装置で方法を実現することができる。さらに、方法を、低品質のイメージセンサとともに用いることができる。
本発明による方法によって、イメージセンサによって取得される画像にぼやけ(blur)が存在する場合でもオブジェクトの速い動きを追跡することができる。さらに、本発明の方法による処理は、動くオブジェクトの特定の色特性に依存せず、したがって、用いられるイメージセンサの前を動く手のようなオブジェクト又はテクスチャオブジェクトを追跡することができる。
追跡したオブジェクトのそれぞれの動きを規定する自由度の数を、関心のある領域のそれぞれに対して設定することができる。
特に複数の制御(multiple control)を可能にするために複数の関心のある領域を同時に追跡することができる。したがって、例えば、二つの手を追跡することによって、ユーザとソフトウェアアプリケーションとの間のあり得る反復回数(the number of possible iterations)を増大することができる。
好適には、動きを決定するステップは、少なくとも一つの第1の画像及び少なくとも一つの第2の画像中の少なくとも一対の関心のあるポイントを決定し及びマッチングするステップであって、少なくとも一対の関心のあるポイントのうちの少なくとも一つのポイントは、関心のあるマスクに属するステップを備える。したがって、本発明による方法によって、処理を制限するとともに追跡したオブジェクトに集中するために、ポイントが配置される領域を制限しながら関心のあるポイントの追跡にリンクする利点を組み込むことができる。
特定の実施の形態によれば、動きを決定するステップは、少なくとも一つの第1の画像及び少なくとも一つの第2の画像中の複数の対の関心のあるポイントを決定し及びマッチングするステップであって、複数の対の関心のあるポイントの各々のうちの少なくとも一つのポイントは、関心のあるマスクに属し、動きは、第1セットの関心のあるポイントの第2セットの関心のあるポイントへの変換に基づいて推定され、第1のセット及び第2のセットの関心のあるポイントは、複数の対の関心のあるポイントに属し、第1セットの関心のあるポイントの関心のあるポイントは、少なくとも一つの第1の画像にも属し、第2セットの関心のあるポイントの関心のあるポイントは、少なくとも一つの第2の画像にも属するステップを備える。したがって、オブジェクトの一部の一般的な動きを、関心のあるポイントのセットの動きから決定することができる。
好適には、追跡したオブジェクトの動きの推定を向上させるために、変換は、複数の対の関心のあるポイントの同一の対の関心のあるポイントからの二つの関心のあるポイント間の距離に基づく重み関数を実現する。
さらに、特定の実施の形態によれば、方法は、少なくとも一つの対の関心のあるポイントに属する、少なくとも一つの第1の画像の少なくとも一つの関心のあるポイントを、決定した動きに従って有効にするステップであって、少なくとも一つの有効にした関心のあるポイントを、少なくとも一つの第2の画像に続く少なくとも一つの第3の画像中のオブジェクトを追跡するために使用し、少なくとも一つの有効にした関心のあるポイントを、少なくとも一つの第2の画像及び少なくとも一つの第3の画像に基づいて形成された関心のあるマスクを変更するのに使用するステップを更に備える。したがって、画像間で同一の関心のあるポイントが、追跡したオブジェクトの一般的な動きの推定に有効に寄与する場合、これらのポイントを使用することができる。さらに、有効にした関心のあるポイントは、制限された領域に関心のあるポイントが過度に蓄積(accumulation)するのを回避するために新たな関心のあるポイントを選択するのに使用することができる。
少なくとも一つの関心のある第1の領域と少なくとも一つの関心のある第2の領域とを比較するステップは、少なくとも一つの関心のある第1の領域及び少なくとも一つの関心のある第2の領域の対応するポイントの値の減算をポイントごとに実行するステップと、減算の結果と予め決定されたしきい値とを比較するステップと、を備える。そのような実施の形態によって、方法の有効性と制限された処理リソースとを組み合わせることができる。
特定の実施の形態によれば、方法は、少なくとも一つの第1の画像中の少なくとも一つの予め決定された特徴を検出するステップを更に有し、少なくとも一つの関心のある領域を、検出ステップに応答して少なくとも部分的に識別する。したがって、本発明による方法を、処理された画像のコンテンツの要素に従って自動的に初期化又は再初期化することができる。そのような予め決定された特徴を、予め決定された形状及び/又は予め決定された色とする。
好適には、方法は、少なくとも一つの第2の画像中の少なくとも一つの変更した関心のある第2の領域を推定するステップであって、少なくとも一つの第2の画像中の少なくとも一つの変更した関心のある第2の領域は、少なくとも一つの第1の画像の少なくとも一つの関心のある第1の領域及び少なくとも一つの第2の画像の少なくとも一つの関心のある第2の領域に従って推定されるステップを更に備える。したがって、本発明による方法によって、オブジェクト追跡のための次の画像の処理を予測することができる。少なくとも一つの第2の画像中の少なくとも一つの変更した関心のある第2の領域の推定は、KLTタイプのオブジェクト追跡アルゴリズムを実現する。
動きは、移動(translation)、回転及び/又は倍率(scale factor)によって特徴付けられる。
動きが倍率によって特徴付けられるとき、予め決定された動作にトリガをかけるか否かを、倍率に基づいて決定する。したがって、倍率は、例えば、マウスクリックを特徴付ける。
特定の実施の形態によれば、イメージセンサの領域に位置した少なくとも二つのオブジェクトの動きを決定し、予め決定された動作にトリガをかけるか否かを、少なくとも二つのオブジェクトに関連した動きの組合せに従って決定する。したがって、オブジェクトの動きを、他のオブジェクト、特に、相対位置の制約が課された他のオブジェクトに基づいて決定することができる。
本発明は、上記方法のステップの各々を実行するのに適合した命令を備えるコンピュータプログラムであって、プログラムをコンピュータ上で実行するコンピュータプログラム及び上記方法のステップの各々を実行するのに適合した手段を備える装置も対象とする。コンピュータプログラム及びこの方法の利点は、これまで説明した利点と同様である。
本発明の他の利点、目的及び特徴を、添付図面に関連して限定されない例として与える以下の詳細な説明から明らかにする。
図1a及び図1bを備える図1は、オブジェクトの動き及びユーザのやり取りを決定するために用いることができる画像ストリームの二つの連続する画像を示す。 図2a〜2dを備える図2は、画像の関心のある領域における次の画像の対応する関心のある領域の変化の例を示す。 少なくとも一部が二つの連続する画像の関心のある領域及びマスクに表れるオブジェクトの動きの概略図である。 画像シーケンスの二つの連続(又は近接)する画像の間のオブジェクトの位置の変化を連続的な動作において識別するために本発明において実現される所定のステップの概略図である。 四つのパラメータが画像シーケンスの連続(又は近接)する画像中の追跡されたオブジェクトの動きを特徴付けるときの本発明の所定の態様を示す。 画像シーケンスにおいて、二つの関心のある領域によってユーザの手の追跡をリアルタイムで行うことができ、車両のステアリングホイールの動きを特徴付ける本発明の実現例をドライビングシミュレーションゲームに関連して示す。 画像シーケンスにおいて、二つの関心のある領域によってユーザの手の追跡をリアルタイムで行うことができ、車両のステアリングホイールの動きを特徴付ける本発明の実現例をドライビングシミュレーションゲームに関連して示す。 画像シーケンスにおいて、二つの関心のある領域によってユーザの手の追跡をリアルタイムで行うことができ、車両のステアリングホイールの動きを特徴付ける本発明の実現例をドライビングシミュレーションゲームに関連して示す。 本発明を実現するのに適合した装置の一例を示す。
一般論として、本発明は、画像ストリーム中の画像の特定の領域のオブジェクトの追跡に関連し、当該領域は、関心のある領域と称され、追跡したオブジェクトの一部及び画像中に表れるシーンの一部を備える。関心のある領域を分析することによって処理時間を短縮するとともにオブジェクトの動き検出を向上させることができることが観察された。
関心のある領域は、好適には、画像中で2次元形状として規定される。これらの形状を、例えば、矩形又は円形とする。これらは、好適には一定であり、予め決定される。関心のある領域を、関心のあるポイント、すなわち、高い輝度勾配を有する点のような特異点によって特徴付けることができ、関心のある領域の最初の位置を、予め決定し、ユーザによって決定し、形状若しくは色の出現のようなイベントによって決定し、又は予め規定された特徴に従って、例えば、キー画像(key image)を用いることによって決定することができる。これらの領域を、追跡したオブジェクトの動きに従って動かすこともでき、又はこれらの領域は、画像中に固定した位置及び向きを有することもできる。複数の関心のある領域を使用することによって、例えば、1人のユーザの複数の同時のやり取り(関心のある領域はユーザの手の各々に対応することができる。)及び/又は複数のユーザの複数の同時のやり取りを可能にする。
例えば、検出のためのFASTという名前で知られているアルゴリズム及び次の画像の追跡のためのKLT(Kanade, Lucas及びTomasiのイニシャル)という名前で知られているアルゴリズムに基づいて関心のあるポイントを追跡する技術に従って、画像ストリームにおけるある画像から次の(又は近接する)画像までの関心のある領域の変化を見つけるために、関心のあるポイントを使用する。関心のある領域の関心のあるポイントは、特に、追跡したオブジェクトの歪み及び画像中に表れるシーンの部分をマスクし及び/又はこれらのオブジェクトの部分を関心のある領域から離すオブジェクトの動きに従って、分析した画像上で変化することがある。
さらに、動きによりやり取りが行われるオブジェクトは、関心のある領域で規定されたマスク中の関心のあるポイントを追跡するメカニズムに従って、関心のある領域の各々で追跡される。
図1及び図2は、本発明の一般的な原理を示す。
図1a及び図1bを備える図1は、オブジェクトの動き及びユーザのやり取りを決定するために用いることができる画像ストリームの二つの連続する画像を示す。
図1aに示すように、画像100−1は、装飾(decor)の要素のような固定要素(図示せず)及びここでは(現実の又は仮想的な)アニメのキャラクターにリンクした移動要素を有するシーンを表わす。ここでは、画像100−1は、関心のある領域105−1を備える。上述したように、複数の関心のある領域を同時に処理することができるが、明瞭のために、ここでは単一の関心のある領域を示し、関心のある領域の処理は、領域の各々に対して同様である。関心のある領域105−1の形状及び最初の位置が予め決定されていると考える。
図1bの画像100−2は、画像シーケンスにおける図1aの画像100−1の次の画像を表す。画像100−2において、妨害(disturbance)が推定されうる、前画像で規定した関心のある領域105−1の位置及び寸法に対応する関心のある領域105−2を規定することができる。したがって、動きがあると考えられる画素(画素(pixel)は画像素子(PICture ELement)の頭文字)のマップを抽出するために、関心のある領域105−1は、これらの画像の部分を画素ごとに次々と減算することによって図1bの関心のある領域105−2と比較される。動きがあるこれらの画素は、(図2に示すように)関心のある画素のマスクを構成する。
図1aにおいて総称的(generically)に110を付した関心のあるポイントを、画像分析用の標準的なアルゴリズムに従って、画像100−1において、特に、関心のある領域105−1において決定することができる。これらの関心のあるポイントを、関心のある画素のマスクに属する関心のある領域の位置で有利に検出することができる。
関心のある領域105−1で規定された関心のあるポイント110は、例えば、関心のあるポイントの近傍(neighborhood)に関連した画像100−1及び画像100−2の部分を比較することによるKLT追跡原理を用いることによって、画像100−2において、好適には関心のある領域105−2において追跡される。
画像100−1と画像100−2との間で115を付したこれらのマッチングによって、画像100−1の参照番号120−1及び画像100−2の参照番号120−2によって表わされる手の動きを推定することができる。したがって、画像100−2における手の新たな位置を取得することができる。
次に、手の動きを、画像100−2からの関心のある領域105−2を変更した関心のある領域125に動かすために有利に用いることができ、変更した関心のある領域125を、画像ストリームの画像100−2の次の画像における手の動きを推定するのに用いることができる。したがって、オブジェクトを追跡する方法は、再帰的に継続することができる。
上述したように、画像100−1に存在する所定の関心のあるポイントが特に手の存在及び動きにより画像100−2から見えなくなったことに留意すべきである。
画像中の関心のあるポイントの決定は、好適には、現画像に配置される対応する関心のある領域に対応する領域又は動きがある画素の関心のあるマスクが対応する関心のある領域に規定されたときに関心のある領域の一部又は全てを備える領域に制限される。
特定の実施の形態によれば、画像が入力されるビデオカメラにリンクした基準(例えば、図1aで参照番号120−1を付した手)に関連する追跡を行うためにオブジェクトの相対位置及び向きを特徴付ける情報の推定を行う。そのような情報を、例えば、2次元位置情報(x,y)、向き情報(θ)及びビデオカメラまでの距離の情報すなわち追跡するオブジェクトのスケールとする。
同様に、画像ストリームの画像100−2と次の画像との間で推定された動きに従って画像100−1の関心のある領域105−1に関連して画像100−2で規定された関心のある領域125で生じた変更を追跡することができる。そのために、新たな関心のある領域は、先ず、関心のある領域125に基づいて次の画像で識別される。関心のある領域が識別されたとき、関心のある領域は、動きを決定する必要があるオブジェクトの部分を備えるマスクを形成する変更要素(modified elements)を決定するために関心のある領域125と比較される。
図2a〜2dを備える図2は、図1を参照して説明したようなある画像の関心のある領域と次の画像の対応する関心のある領域と比較したときの同一位置での変化を示す。このような比較に起因する画像は、関心のある領域と同一形状を有し、ここでは二つの状態をとる画素によって形成され、第1の状態を、デフォールト(default)により各画素に関連させる。第2の状態を、変化が予め決定されたしきい値を超える関心のある領域の画素に対応する画素に関連させる。ここでは、第2の状態は、追跡したオブジェクトの動きを特徴付け、場合によっては、特定の動作にトリガをかけるために、追跡したオブジェクトに位置し又は追跡したオブジェクトに近接する領域に関心のあるポイントの探索を制限するのに用いられるマスクを形成する。
図2aは、第1の画像の関心のある領域を表し、それに対し、図2bは、同一位置における次の画像の対応する関心のある領域を表わす。図2aに示すように、関心のある領域200−1は、手205−1及び他のオブジェクト210−1を備える。同様に、図2bに示すように200−2を付した対応する関心のある領域は、ここでは205−2及び210−2をそれぞれ付した手及びオブジェクトを備える。総称的に205を付した手は十分に動いたのに対し、総称的に210を付したオブジェクトはほとんど動かない。
図2cは、関心のある領域200−1と関心のある領域200−2との比較に起因する画像215を示す。関心のあるマスクを形成する黒い部分は、これらの差が予め決定されたしきい値より大きい画素を表わし、それに対し、白い部分は、これらの差がしきい値より小さい画素を表わす。黒い部分は、特に、関心のある領域200−1と関心のある領域200−2との間の手205の位置の差に対応する220を付した部分を備える。黒い部分は、関心のあるこれらの領域との間のオブジェクト210の位置の差に対応する部分225も備える。部分230は、関心のあるこれらの領域の両方に存在する手205の部分に対応する。
図2cに表わした画像215を、関心のある領域200−1及び関心のある領域200−2から抽出される画像が入力されるビデオカメラの領域で手を動かすユーザとこれらの画像を処理するコンピュータシステムとの間のやり取りを画像215から推定するために分析することができる。そのような分析は、特に、そのように形成された関心のあるマスクに属する関心のあるポイントの動きの識別にあり、この場合、関心のあるポイントの探索は、好適には関心のあるマスクに制限される。
しかしながら、特に225を付した動きのような隣接する動き(adjoining movement)を除去することができるスケルトン化(skeletonizing)ステップを、好適には関心のあるマスクに属する関心のあるポイントの動きを分析する前に実行する。このスケルトン化ステップは、例えば、関心のあるマスクに適用される開閉動作のような形態学的処理動作(morphological processing operation)の形態をとることができる。
さらに、好適には、取得した関心のあるマスクを、関心のある領域200−1を抽出した画像とその前の画像との間で再帰的に識別された関心のあるポイントの周辺に配置された部分を除去するために変更される。
したがって、図2dは、図2cで表わした関心のあるマスクを示し、ここでは、関心のあるマスクに235を付し、245によって識別された関心のあるポイントの周辺に位置する部分240が除去される。部分240を、例えば、円形にする。ここでは、部分240は、予め決定された半径を有する。
したがって、関心のある領域235は、既に検出した関心のあるポイントに位置するために新たな関心のあるポイントを検出する必要のない領域から切り取られた。換言すれば、このように変更された関心のあるマスク235は、関心のある領域の同一領域に関心のあるポイントが蓄積されるのを回避するために関心のあるマスク220の一部を除外した。
また、関心のあるマスク235を、あるケースが生じた場合に特定の動作にトリガをかけるために動きを分析することができる関心のあるポイントを識別するのに用いることができる。
図3は、少なくとも一部が二つの連続(又は近接)する画像の関心のある領域及びマスクに表れるオブジェクトの動きの概略図である。ここでは、画像300は、図2dを参照しながら上述したような関心のある領域200−1と関心のある領域200−2との間の比較に起因する関心のあるマスクに対応する。しかしながら、妨害(特に妨害225)を除去するためにスケルトン化ステップを実行する。したがって、画像300は、動きが当該関心のある領域のオブジェクトの動きを特徴付ける新たな関心のあるポイントを識別するために用いることができるマスク305を備える。
実例として、ユーザの人差し指の先端に対応する関心のあるポイントを示す。参照番号310−1は、関心のある領域200−1における位置に従う関心のあるポイントを示し、参照番号310−2は、関心のある領域200−2における位置に従う関心のあるポイントを示す。したがって、関心のあるポイントを追跡する標準的な技術、例えば、オプティカルフローによる追跡を行うアルゴリズムを用いることによって、関心のある領域200−1の関心のあるポイント310−1に基づいて、関心のある領域200−2の対応する関心のあるポイント310−2を見つけることができ、その結果、対応する移動(translation)を見つけることができる。
複数の関心のあるポイント、特に、関心のあるポイント310−1並びに以前に検出し及び有効にした関心のあるポイント、例えば、関心のあるポイント245を分析することによって、特に移動、回転及び/又はスケールの変更にリンクした追跡したオブジェクトの動きパラメータのセットを決定することができる。
図4は、画像シーケンスの二つの連続(又は近接する)画像の間のオブジェクトの位置の変化を連続的な動作において識別するために本発明において実現される所定のステップの概略図である。
ここでは、画像を、上述した方法を実現するコンピュータシステムに接続されたビデオカメラ、特に、ウェブ画像タイプのビデオカメラのようなイメージセンサを通じて取得する。
現画像400を取得した後、当該画像が最初に処理すべきものである場合、すなわち、同一のビデオストリームからの前画像405が事前に処理されなかった場合、初期化の最初のステップ(ステップ410)を実行する。このステップの目的は、特に、少なくとも一つの関心のある領域の特徴、例えば、形状、サイズ及び最初の位置を規定することである。
上述したように、関心のある領域を、(初期化410が必要でない再帰的な追跡の段階において)前画像で決定した対応する関心のある領域に対して又は(初期化段階に対応する)予め決定した特徴及び/又は特定のイベントに従って規定することができる。
したがって、実例として、関心のある領域を初期状態で規定しないようにすることができ、システムは、トリガーイベント、例えば、ビデオカメラに対面するユーザの特定の動き(画像中の動きがある画素は、特定の動きに対する探索中に分析される。)、肌の色のような特定の色の配置又は位置が関心のある領域の位置を規定する特定の予め決定されたオブジェクトの認識を待機する。位置のように、関心のある領域のサイズ及び形状を、検出したイベントの特徴に従って予め規定し又は決定することができる。
したがって、初期化ステップ410は、画像シーケンス中で追跡するオブジェクト及び実行されるアプリケーションに応じて複数の形態をとる。
初期化ステップ410を、特に、静的初期化(static initialization)とすることができる。この場合、関心のある領域の最初の位置が予め決定され(オフライン決定(off-line determination))、追跡アルゴリズムは、妨害(disturbance)を待機する。
初期化段階は、特定のタイプのオブジェクトを認識するステップを備えることもできる。例えば、Harrウェーブレットタイプの記述子を検出する原理を実現することができる。これらの記述子の原理は、特に、Viola及びJonesによる論文"Rapid object detection using boosted cascade of simple features", Computer Vision and Pattern Recognition, 2001に記載されている。これらの記述子は、特に、画像中の顔、目若しくは手又は画像の一部の検出を可能にする。したがって、初期化段階中、検出したオブジェクトの関心のある領域の位置を決めるために画像全体の特定のオブジェクトを探索し又は認識したオブジェクトの追跡にトリガをかけるために関心のある領域それ自体の特定のオブジェクトを探索することができる。
他のアプローチは、画像のセグメント化と、所定の色特性及び所定の予め規定した形状の識別にある。処理した画像の形状及び/又はセグメント化された領域が、探索したオブジェクト、例えば、肌の色及び手の外形と同様であるとき、追跡処理は、上述したように初期化される。
以下のステップ(ステップ415)において、特徴が(初期化段階で又は前画像において)事前に決定された関心のある領域を、対応する画像部分を抽出するために現画像に配置する。現画像が、処理すべきビデオストリームの最初の画像である場合、当該画像は前画像となり、新たな現画像を取得し、ステップ415を繰り返す。
その後、このように抽出した画像部分を、前画像の対応する関心のある領域と比較する(ステップ420)。そのような比較は、特に、前画像の対応する関心のある領域を対応する画素を有する現画像の考察した関心のある領域から画素ごとに減算することからなる。
したがって、本例によれば、動いたポイントを、現画像の部分と前画像の部分との絶対差により検出する。この差によって、動きオブジェクトをほぼ静止した装飾から区別するのに用いることができる関心のあるマスクを形成することができる。しかしながら、オブジェクト/装飾のセグメント化は完全であると予測されないので、追跡したオブジェクトの画素の動き及び画像の背景に属する画素の動きを識別するために、そのような関心のあるマスクを動きに基づいて再帰的に更新することができる。
しきい値化を、好適には予め決定されたしきい値に従って画素間の差に基づいて行う(ステップ425)。そのようなしきい値化を、例えば、輝度に基づいて行うことができる。8ビットに亘るコード化を用いる場合、その値は、例えば100となる。それによって、二つの連続(又は近接)する画像間で十分大きいと考えられる動きを有する画素を分離することができる。現画像の画素と前画像の画素との間の差は、2進コード化され、例えば、差が、動きを特徴付ける予め決定されたしきい値を超える場合に黒となり、逆の場合には白となる。差が予め決定されたしきい値を超える画素によって形成された2値画像は、関心のあるマスク又は考察した関心のある領域における追跡を形成する(ステップ430)。
関心のあるポイントが事前に有効になった場合、関心のあるポイントを再帰的に追跡した領域をマスクから除外するためにマスクを変更する(ステップ460)。したがって、破線を用いて表したように、ステップ460を、有効な関心のあるポイントが存在する場合にのみ実行する。上述したように、このステップは、領域、例えば、予め決定された直径のディスク、事前に有効になった関心のあるポイントの周辺等をマスクから除外することからなる。
その後、関心のあるポイントを、そのように規定された関心のあるマスクに対応する前画像の領域で探索し(ステップ435)、ここでは、関心のあるマスクを、ステップ430で形成した関心のあるマスク又はステップ430で形成するとともにステップ460中に変更した関心のあるマスクとする。
関心のあるポイントの探索を、例えば、20個の関心のあるポイントの検出に制限する。当然、この数を異なる数とすることができ、この数を、関心のあるマスクのサイズに従って推定することができる。
この探索を、好適にはFASTという名称で知られているアルゴリズムを用いて行う。このアルゴリズムによれば、例えば16画素の外周(perimeter)を有するブレゼンハム円(Bresenham circle)を、画像の各画素の周辺に構成する。当該円に含まれるk個の連続する画素(kは、典型的には9,10,11又は12の値を有する。)の全てが中央の画素より高い強度を有し又は全てが中央の画素より低い強度を有する場合、当該画素は、関心のあるポイントと考えられる。ハリスポイント検出(Harris points detection)という名称で知られているアプローチにおいて与えられるような画像の勾配に基づくアプローチを用いて関心のあるポイントを識別することもできる。
関心のあるマスクに従って前画像で検出した関心のあるポイント及び適用可能である場合の事前に検出し及び有効にした関心のあるポイントを、現画像の対応する関心のあるポイントを識別するために用いる。
したがって、現画像の対応する関心のあるポイントの探索を、好適にはオプティカルフローという名称で知られている方法を用いて行う(ステップ440)。この技術を用いることによって、特にガウシアンフィルタにより平滑化された画像のピラミッドの使用により、画像がぼやけるときに更に強いロバストネスを与える。これは、例えば、KLTという名称で知られているアルゴリズムにおいてLucus, Kanada及びTomasiによって実現したアプローチである。
(関心のあるマスクに従って又は再帰的な追跡によって決定される)前画像の関心のあるポイントに対応する現画像の関心のあるポイントが識別されたとき、動きパラメータを、現画像の関心のある領域に関連する前画像の関心のある領域において追跡されたオブジェクトに対して推定する(ステップ445)。自由度とも称されるこのようなパラメータは、例えば、x軸に沿った移動のパラメータ、y軸に沿った移動のパラメータ、回転パラメータ及び/又はスケールパラメータを備え、変換は、ある平面から他の平面に渡る双方向ポイント(bi-directional points)のセットを形成し、これら四つのパラメータのグループ分けを行い、相似(similarity)と称される。これらのパラメータを、好適には非線形最小二乗法(method of Nonlinear Least Squares Error (NLSE))又はガウス・ニュートン法(Gauss-Newton method)を用いて推定する。この方法は、追跡した関心のあるポイントのセットに亘る再投影誤差(re-projection error)を最小にしようとする。モデル(位置及び向き)のパラメータの推定を向上させるために、特定の実施の形態において、違った方法でこれらのパラメータを探索するのが有利である。したがって、例えば、最初の段階において、識別が容易な移動パラメータ(x,y)のみを推定するために最小二乗誤差を適用し、その後、次の繰り返し中に、(精度が落ちる可能性がある)スケール変化及び/又は回転のパラメータを計算するのが適切である。
以下のステップにおいて、好適には、以前のステップで推定された動きに関する有効な関心のあるポイントを再帰的に決定するために、整合が現画像で見つかった前画像の関心のあるポイントを分析する。そのために、(関心のあるマスクに従って又は再帰的な追跡により決定された)前画像の予め決定された関心のあるポイントの各々について、当該関心のあるポイントに対する現画像の対応する関心のあるポイントの動きが識別された動きに従うか否か確認する。肯定である場合、関心のあるポイントを、有効なものであると考え、そうでない場合、関心のあるポイントを、有効でないものであると考える。典型的には画素で表され、予め決定された値を有するしきい値を、好適には(ステップ445のパラメータの適用によって得られる)現画像のポイントの理論上の位置(theoretical position)と(ステップ440の追跡方法によって得られる)その実際の位置との間の所定の誤差の範囲を許可するために用いられる。
ここでは参照番号455を付した有効な関心のあるポイントを、動きを追跡しているオブジェクトに属するものと考え、それに対し、(異常値とも称する)有効でないポイントを、画像の背景又は画像中に見えないオブジェクトの部分に属するものと考える。
上述したように、有効な関心のあるポイントを、次の画像で追跡し、図2dを参照して説明したような現画像と次の画像との間に動きがある画素をマスクの部分から除外するために現画像の関心のある領域と次の画像の対応する関心のある領域との比較によって形成された関心のあるマスクを変更する(ステップ460)ために用いる。このように変更された関心のあるマスクによって、関心のあるポイントを再帰的に追跡する画像の部分を除外することができる。したがって、有効な関心のあるポイントは、連続する画像における複数の処理動作に対して保持され、特に、オブジェクトの追跡の安定化を可能にする。
その後、現画像及び次の画像を処理するのに用いられる新たな関心のある領域(すなわち変更した関心のある領域)を、以前に推定した自由度に基づいて推定する(ステップ445)。例えば、自由度がx方向の移動及びy方向の移動である場合、関心のある領域の新たな位置を、これら2種類の情報を用いることによって、関心のある領域の以前の位置に従って推定する。このステップにおいてスケールの1回以上の変化を推定及び考察する場合、ビデオストリームの現在の画像及び次の画像で用いられる新たな関心のある領域のサイズを、考えられるシナリオにしたがって変更することができる。
同時に、異なる自由度を計算した場合、これらのパラメータに従って特定のやり取りを推定することができる(ステップ470)。
特定の実施の形態によれば、スケールの1回以上の変化の推定を、マウスのクリックと同様な動作のトリガの検出のために用いる。同様に、例えば、シーンに表示された仮想要素の回転を可能にするために、向きの変化、特に、(回転(roll)と称される)ビデオカメラの視軸(viewing axis)の回りでの向きの変化を用いることができ、又は、アプリケーションの音量を調整するために、ポテンショメータ(potentiometer)タイプのボタンを制御することができる。
マウスクリックのような動作を検出するための倍率に従ったやり取りの検出を、例えば、動きベクトルのノルム(norm)(移動)及び(対応する関心のある領域に従って決定される)倍率が予め決定された所定の値より小さい画像の数を計数することによって実現することができる。そのような数は、追跡したオブジェクトの動きの安定性(stability)を特徴付ける。動きが安定した画像の数が所定のしきい値を超える場合、システムは、クリックの検出を待機する状態に入る。その後、クリックは、現画像と前画像との間の倍率の絶対差の平均を測定することによって検出され、これは、所定の数の画像に亘って実行される。このように計算した和が所定のしきい値を超える場合、クリックが有効となる。
(オブジェクトが画像から見えなくなり又はオブジェクトが消失したために)オブジェクトがもはや画像シーケンスにおいて追跡されないとき、アルゴリズムは、好適には初期化ステップにもどる。さらに、初期化ステップを再び実行するようになる追跡の消失を、ユーザの動きを測定することによって識別することができる。したがって、これらの動きが安定し若しくは所定の期間に亘って存在しないとき又は追跡したオブジェクトがイメージセンサの視野を去るときに方法を再び初期化することを決定することができる。
図5は、四つのパラメータが画像シーケンスの連続(又は近接)する画像中の追跡されたオブジェクトの動きを特徴付けるときの本発明の更に正確な所定の態様を示す。ここでは、これら四つのパラメータを、(T,T)を付した移動、θを付した、イメージセンサの光軸の回りの回転及びsを付した倍率(scale factor)とする。これら四つのパラメータは、ポイントMを平面からポイントM’に変換することができる変換である相似(similarity)を表す。
図5において、Oは、前画像のオブジェクトに対する基準フレーム(frame of reference)505の起点(origin)を表し、O’は、現画像のオブジェクトの基準フレーム510の起点を表し、基準フレーム505を、オブジェクト追跡法に従って取得し、ここでは、基準画像フレームに参照番号500を付す。この場合、以下の連立非線形方程式(system of non-linear equations)によりポイントMからポイントM’への変換を表現することができる。
Figure 2012113714
ここで、(X,Y)は、基準画像フレームで表されるポイントMの座標であり、(X,Y)は、基準画像フレームのポイントOの座標であり、(XM’,YM’)は、基準画像フレームのポイントM’の座標である。
ポイントM及びMsθはそれぞれ、スケールsの変化に従うポイントMの変換及び回転θを組み合わせたスケールsの変化に従うポイントMの変換を表す。
上述したように、図4を参照して説明したステップ440で追跡した関心のある全てのポイントを用いることによってこの連立非線形方程式を解く非線形最小二乗誤差アプローチ(nonlinear least squares error approach)を用いることができる。
現画像のオブジェクトの新たな位置を計算する(図4のステップ465)ために、理論的には、以下のようにオブジェクトの以前の位置に推定された移動(T,T)を適用すれば十分である。
Figure 2012113714
ここで、(X0’,Y0’)は、基準の画像フレームのポイントO’の座標である。
好適には、考えられる各ポイントの偏導関数、すなわち、これらのポイントの各々に関連する動きは、関連の動きに従って重み付けされる。したがって、最も動きの大きい関心のあるポイントは、パラメータの推定において大きな重要性を有し、これによって、オブジェクトの追跡を妨害する、背景にリンクした関心のあるポイントを回避する。
したがって、現画像で追跡した関心のあるポイントの重心の影響を上記方程式に追加するのが有利であることを観察した。この重心は、動きの局所的な重心(local center of gravity)(現画像の追跡したポイントは、前画像の動くポイントから来る。)にほぼ対応する。したがって、関心のある領域の中心は、重心に対するオブジェクトの距離が推定される移動より大きい間は動きの中心に移動する傾向にある。追跡したオブジェクトの動きを特徴付ける現画像の基準フレームの起点を、好適には以下の関係に従って計算する。
Figure 2012113714
ここで、(XGC,YGC)は、現画像の関心のあるポイントの重心を表し、WGCは、現在の重心の影響に対する重みを表し、Wは、移動の影響に対する重みを表す。ここで、パラメータWGCは、追跡したオブジェクトの動きの速度に正に相関(positively correlated)し、それに対し、パラメータWを、移動の所望の影響に応じて固定することができる。
図6a、図6b及び図6cを備える図6は、画像シーケンスにおいて、関心のある二つの領域によってユーザの手の追跡をリアルタイムで行うことができ、車両のステアリングホイールの動きを特徴付ける本発明の実現例をドライビングシミュレーションゲームに関連して示す。
更に詳しくは、図6aは、ゲームに関連した図形表示であり、それに対し、図6bは、ユーザによって認識されるゲームのディスプレイを表す。図6cは、車両のステアリングホイールの動きを推定するために追跡したオブジェクトの動きパラメータ又は自由度の推定を表す。
図6aは、用いられるイメージセンサによって供給される画像シーケンスから抽出した画像600を表す。画像600は、あたかもユーザが運転する車両のフロントガラスに固定されているかのようにユーザに対面して配置される。ここでは、この画像600は、コンピュータグラフィックによってオーバーレイ(overlay)に描かれたステアリングホイール620に関連した二つの関心のある円形領域610,615を備える領域605を含む。画像600は、ユーザが位置する現実シーンの要素も備える。
領域610,615の最初の位置は、妨害(disturbance)を待つ(await)間、ステアリングホイールの中心を表すポイントの互いに逆側に等距離で予め決定された水平線上に固定される。ユーザが手をこれら二つの領域に配置すると、ユーザは、ステアリングホイールを左又は右に向きを変えることができる。ここでは、領域610,615の動きは、ステアリングホイール620に対応する円の半径によって制限される。ステアリングホイールを表す画像は、例えば、両手の平均の動きに従ってユーザの手とともに動く。
ステアリングホイール620に対応する円の半径は、ユーザが手を当該円の中心に向かって動かし又は手を当該円の中心から離れるように動かすときに変化することもできる。
次に、これらの2の自由度を、好適には車両の向き(ステアリングホイール620に対応する円上の手の位置)及び速度(ステアリングホイール620に対応する円の中心に対する手の位置にリンクした倍率)を制御するために用いる。
アプリケーションのディスプレイ625を表す図6bは、画像600から抽出した画像部分605を備える。このディスプレイによって、ユーザは、ユーザの動きを観察し及び制御することができる。好適には、画像部分605を、ドライバが動作を観察することができる車のバックミラーとして表すことができる。
画像600の領域610,615によって、ステアリングホイール620の動きを制御することができ、すなわち、ディスプレイ625上で参照番号630を付した車両の向き及び装飾の要素635に対する速度を制御することができ、ここでは、車両630及び装飾の要素635は、コンピュータグラフィックによって作り出される。標準的なドライビングアプリケーションによって、車両は、装飾内で動き、所定の要素に当たることがある。
図6cは、ステアリングホイールの自由度を導き出すために関心のある領域の各々にリンクした自由のパラメータ(parameter of freedom)の推定を更に正確に説明する。この実現において、推定するためのパラメータは、ステアリングホイールの向きθ及びその直径Dである。
動きの成分を分析するために、複数の基準フレームが規定される。ここでは、基準フレームOwは、全体に亘る基準フレーム(「世界」基準フレーム)に対応し、基準フレームOwhは、ステアリングホイール620にリンクしたローカル基準フレームであり、基準フレームOa1及び基準フレームOa2は、関心のある領域610及び関心のある領域615にそれぞれリンクした二つのローカル基準フレームである。ベクトルVa1(Xva1,Yva1)及びVa2(Xva2,Yva2)は、基準フレームOa1及び基準フレームOa2でそれぞれ表現される関心のある領域610及び関心のある領域615におけるユーザの手の動きの分析に起因する動きベクトルである。
ステアリングホイールの新たな向きθ’を、以前の向きθ及び(関心のある領域610及び関心のある領域615によって決定された)ユーザの手の動きに基づいて演算する。したがって、ステアリングホイールの動きは、複数の関心のある領域の動きにリンクした制限された動きとなる。新たな向きθ’を、以下のように計算することができる。
Figure 2012113714
この場合、Δθ1及びΔθ2は、ユーザの手の回転を表す。Δθ1を、以下の関係によって計算することができる。
Figure 2012113714
ここで、
Figure 2012113714
は、基準フレームOwhのy軸に沿った移動を特徴付ける。
Δθ2を、同様にして計算することができる。
同様に、ステアリングホイールの新たな直径D’を、以前の直径D及び(関心のある領域610及び関心のある領域615によって決定された)ユーザの手の動きに基づいて演算する。新たな直径D’を、以下のように計算することができる。
Figure 2012113714
ここで、
Figure 2012113714
及び
Figure 2012113714
である。
したがって、ステアリングホイールの角度位置及び直径が分かっているので、ゲームシナリオは、特に、対応するコンピュータグラフィック画像を求めることができる。
図7は、ビデオカメラによって供給された画像に表されたオブジェクトの動きを識別するとともに識別された動きに従って特定の動作にトリガをかけるために用いることができる装置の一例を示す。装置700を、例えば、スマートホンタイプの携帯電話、携帯端末、マイクロコンピュータ又はワークステーションとする。
好適には、装置700は、通信バス702を備え、通信バス702は、中央処理ユニット又はマイクロプロセッサ(CPU)704と、オペレーティングシステム及びProgのようなプログラムを含むことができる読み出し専用メモリ(ROM)706と、上記プログラムの実行中に形成され及び変更される変数及びパラメータを記録するのに適合したレジスタを備えるランダムアクセスメモリ又はキャッシュメモリ(RAM)708と、ビデオカメラ712に接続したビデオ取得カード710と、スクリーン又はプロジェクタ716に接続したブラフィックスカード714と、に接続される。
選択的には、装置700は、上記プログラムProg及び処理された又は本発明にしたがって処理されるデータを含むことができるハードディスク720と、特にインストールの段階及び/又は初期化の段階中に本発明によるプログラムとユーザがやり取りを行うことができるキーボード722及びマウス724又は光学的なスタイラス(optical stylus)、タッチスクリーン、リモコン装置等の他の任意のポインティングデバイスと、分散型通信ネットワーク728、例えば、インターネットに接続され、データを送受信することができる通信インタフェース726と、処理された又は本発明によって本発明に従って処理されるデータを読み出し又は書き込むのに適合したメモリカードのリーダ(図示せず)と、を有してもよい。
通信バスによって、装置700に含まれ又は装置700に接続した異なる構成要素間の通信及び相互運用を可能にする。バスの表示(representation)は限定されるものではなく(non-limiting)、特に中央処理ユニットは、装置700の任意の構成要素に対して直接又は装置700の他の構成要素を介して命令を送り出すことができる。
プログラムで制御できる装置(programmable apparatus)が本発明による処理を実行することができる各プログラムの実行コードを、例えば、ハードディスク720又は読出し専用メモリ7065に格納することができる。
変形例によれば、プログラムの実行コードを、上述した方法と同一の方法で格納するために、インタフェース726を介して通信ネットワーク728の中継(intermediary)によって受信することができる。
更に一般的には、一つ以上のプログラムを、実行前に装置700の記憶手段の一つにロードすることができる。
中央処理ユニット704は、命令又は本発明による一つ以上のプログラムのソフトウェアコードの一部の実行を制御及び管理(direct)し、これらの命令は、ハードディスク720、読出し専用メモリ706又は上述した他の記憶素子に格納される。起動時に、不揮発性メモリ、例えば、ハードディスク720又は読出し専用メモリ706に格納された一つ以上のプログラムは、本発明による一つ以上のプログラムの実行コードを含むランダムアクセスメモリ708及び本発明の実現に必要な変数及びパラメータを格納するレジスタに伝送される。
本発明による装置を備える通信装置をプログラム装置とすることもできることに留意されたい。この場合、この装置は、例えば特定用途向け集積回路(ASIC)に固定された一つ以上のコンピュータプログラムのコードを含む。
当然、特定の要求を満足するために、当業者は、これまでの説明に修正を加えることができる。

Claims (15)

  1. イメージセンサの領域に位置した少なくとも一つのオブジェクトの動きに従ってソフトウェアアプリケーションとのやり取りを検出するコンピュータ方法であって、前記イメージセンサは、前記コンピュータ方法を実行するコンピュータに接続され、画像ストリームを前記コンピュータに供給する方法において、
    少なくとも一つの第1の画像を前記イメージセンサから受け取るステップと、
    前記第1の画像中の少なくとも一つの関心のある第1の領域を識別するステップであって、前記少なくとも一つの関心のある第1の領域は、前記少なくとも一つの第1の画像の一部に対応するステップと、
    少なくとも一つの第2の画像を前記イメージセンサから受け取るステップと、
    前記少なくとも一つの第2の画像中の少なくとも一つの関心のある第2の領域を識別するステップであって、前記少なくとも一つの関心のある第2の領域は、前記少なくとも一つの第1の画像の前記少なくとも一つの関心のある第1の領域に対応するステップと、
    前記少なくとも一つの関心のある第1の領域と前記少なくとも一つの関心のある第2の領域とを比較し、前記少なくとも一つの関心のある第1の領域と前記少なくとも一つの関心のある第2の領域の対応するポイントの少なくとも一つの特徴の変化を特徴付ける関心のあるマスクを決定するステップ(440)と、
    前記少なくとも一つのオブジェクトの動きを前記関心のあるマスクから決定するステップであって、前記少なくとも一つのオブジェクトは、前記少なくとも一つの関心のある第1の領域と前記少なくとも一つの関心のある第2の領域のうちの少なくとも一つで少なくとも部分的に表されているステップ(445)と、
    前記動きを分析し、前記分析に応答して、予め決定された動作にトリガをかけ又はトリガをかけないステップ(470)と、を備えることを特徴とする方法。
  2. 前記動きを決定するステップ(445)は、前記少なくとも一つの第1の画像及び前記少なくとも一つの第2の画像中の少なくとも一対の関心のあるポイントを決定し及びマッチングするステップであって、前記少なくとも一対の関心のあるポイントのうちの少なくとも一つのポイントは、前記関心のあるマスクに属するステップを備える請求項1に記載の方法。
  3. 前記動きを決定するステップ(445)は、前記少なくとも一つの第1の画像及び前記少なくとも一つの第2の画像中の複数の対の関心のあるポイントを決定し及びマッチングするステップであって、前記複数の対の関心のあるポイントの各々のうちの少なくとも一つのポイントは、前記関心のあるマスクに属し、前記動きは、第1セットの関心のあるポイントの第2セットの関心のあるポイントへの変換に基づいて推定され、前記第1のセット及び前記第2のセットの関心のあるポイントは、前記複数の対の関心のあるポイントに属し、前記第1セットの関心のあるポイントの関心のあるポイントは、前記少なくとも一つの第1の画像にも属し、前記第2セットの関心のあるポイントの関心のあるポイントは、前記少なくとも一つの第2の画像にも属するステップを備える請求項2に記載の方法。
  4. 前記変換は、前記複数の対の関心のあるポイントの同一の対の関心のあるポイントからの二つの関心のあるポイント間の距離に基づく重み関数を実現する請求項3に記載の方法。
  5. 前記少なくとも一つの対の関心のあるポイントに属する、前記少なくとも一つの第1の画像の少なくとも一つの関心のあるポイントを、前記決定した動きに従って有効にするステップであって、少なくとも一つの有効にした関心のあるポイントを、前記少なくとも一つの第2の画像に続く少なくとも一つの第3の画像中の前記オブジェクトを追跡するために使用し、少なくとも一つの有効にした関心のあるポイントを、前記少なくとも一つの第2の画像及び前記少なくとも一つの第3の画像に基づいて形成された関心のあるマスクを変更するのに使用するステップを更に備える請求項3又は4に記載の方法。
  6. 前記少なくとも一つの関心のある第1の領域と前記少なくとも一つの関心のある第2の領域とを比較するステップは、前記少なくとも一つの関心のある第1の領域及び前記少なくとも一つの関心のある第2の領域の対応するポイントの値の減算をポイントごとに実行するステップと、前記減算の結果と予め決定されたしきい値とを比較するステップと、を備える請求項1から5のうちのいずれか1項に記載の方法。
  7. 前記少なくとも一つの第1の画像中の少なくとも一つの予め決定された特徴を検出するステップを更に有し、前記少なくとも一つの関心のある領域を、前記検出ステップに応答して少なくとも部分的に識別する請求項1から6のうちのいずれか1項に記載の方法。
  8. 前記少なくとも一つの予め決定された特徴を、予め決定された形状及び/又は予め決定された色とする請求項7に記載の方法。
  9. 前記少なくとも一つの第2の画像中の少なくとも一つの変更した関心のある第2の領域を推定するステップであって、前記少なくとも一つの第2の画像中の少なくとも一つの変更した関心のある第2の領域は、前記少なくとも一つの第1の画像の前記少なくとも一つの関心のある第1の領域及び前記少なくとも一つの第2の画像の前記少なくとも一つの関心のある第2の領域に従って推定されるステップを更に備える請求項1から8のうちのいずれか1項に記載の方法。
  10. 前記少なくとも一つの第2の画像中の前記少なくとも一つの変更した関心のある第2の領域の推定は、KLTタイプのオブジェクト追跡アルゴリズムを実現する請求項9に記載の方法。
  11. 前記動きは、移動、回転及び/又は倍率によって特徴付けられる請求項1から10のうちのいずれか1項に記載の方法。
  12. 前記動きは、倍率によって特徴付けられ、前記予め決定された動作にトリガをかけるか否かを、前記倍率に基づいて決定する請求項11に記載の方法。
  13. 前記イメージセンサの領域に位置した少なくとも二つのオブジェクトの動きを決定し、前記予め決定された動作にトリガをかけるか否かを、前記少なくとも二つのオブジェクトに関連した動きの組合せに従って決定する請求項1から12のうちのいずれか1項に記載の方法。
  14. 請求項1から13のうちのいずれか1項に記載の方法のステップの各々を実行するのに適合した命令を備えるコンピュータプログラムであって、前記プログラムをコンピュータ上で実行するコンピュータプログラム。
  15. 請求項1から13のうちのいずれか1項に記載の方法のステップの各々を実行するのに適合した手段を備える装置。
JP2011252752A 2010-11-19 2011-11-18 ユーザがコンピュータシステムとやり取りを行うことができる、ビデオストリームにおける動く非剛体オブジェクトをリアルタイムで検出し及び追跡する方法及び装置 Expired - Fee Related JP5967904B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1059541A FR2967804B1 (fr) 2010-11-19 2010-11-19 Procede et dispositif de detection et de suivi d'objets non rigides en mouvement, en temps reel, dans un flux video, permettant a un utilisateur d'interagir avec un systeme informatique
FR1059541 2010-11-19

Publications (2)

Publication Number Publication Date
JP2012113714A true JP2012113714A (ja) 2012-06-14
JP5967904B2 JP5967904B2 (ja) 2016-08-10

Family

ID=44168356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011252752A Expired - Fee Related JP5967904B2 (ja) 2010-11-19 2011-11-18 ユーザがコンピュータシステムとやり取りを行うことができる、ビデオストリームにおける動く非剛体オブジェクトをリアルタイムで検出し及び追跡する方法及び装置

Country Status (5)

Country Link
US (1) US20120129605A1 (ja)
EP (1) EP2455916B1 (ja)
JP (1) JP5967904B2 (ja)
KR (1) KR20120054550A (ja)
FR (1) FR2967804B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016526713A (ja) * 2013-06-14 2016-09-05 クゥアルコム・インコーポレイテッドQualcomm Incorporated トラッカ補助画像キャプチャ

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8320662B2 (en) * 2009-01-07 2012-11-27 National Instruments Corporation Distinguishing colors of illuminated objects using machine vision
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US9150263B2 (en) 2011-01-05 2015-10-06 Sphero, Inc. Self-propelled device implementing three-dimensional control
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9292758B2 (en) * 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US9827487B2 (en) * 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
EP2850512A4 (en) 2012-05-14 2016-11-16 Sphero Inc OPERATION OF A CALCULATION DEVICE BY DETECTING ROUNDED OBJECTS IN A PICTURE
US8854481B2 (en) * 2012-05-17 2014-10-07 Honeywell International Inc. Image stabilization devices, methods, and systems
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
US8933970B2 (en) 2012-09-11 2015-01-13 Longsand Limited Controlling an augmented reality object
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
US9011246B1 (en) * 2013-11-18 2015-04-21 Scott Kier Systems and methods for immersive backgrounds
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US9569661B2 (en) * 2015-05-21 2017-02-14 Futurewei Technologies, Inc. Apparatus and method for neck and shoulder landmark detection
US10460453B2 (en) * 2015-12-30 2019-10-29 Texas Instruments Incorporated Feature point identification in sparse optical flow based tracking in a computer vision system
EP3296950A1 (en) * 2016-09-15 2018-03-21 Thomson Licensing Method and device for blurring a virtual object in a video
JP6874772B2 (ja) 2016-11-25 2021-05-19 日本電気株式会社 画像生成装置、画像生成方法、およびプログラム
JP6841097B2 (ja) * 2017-03-09 2021-03-10 富士通株式会社 動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システム
BE1029378B1 (fr) * 2021-05-05 2022-12-05 P³Lab Procede de traitement d'images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05205052A (ja) * 1992-01-23 1993-08-13 Matsushita Electric Ind Co Ltd 自動追尾装置
JP2006014875A (ja) * 2004-06-30 2006-01-19 Sony Computer Entertainment Inc 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法
US20060192782A1 (en) * 2005-01-21 2006-08-31 Evan Hildreth Motion-based tracking
JP2006259899A (ja) * 2005-03-15 2006-09-28 Omron Corp 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP2008071172A (ja) * 2006-09-14 2008-03-27 Toshiba Corp 顔認証装置、顔認証方法および入退場管理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR957353A (ja) 1950-02-18
FR752809A (fr) 1932-03-31 1933-09-30 Lorenz C Ag Dispositif pour diriger l'atterrissage des avions
US1966429A (en) 1932-04-21 1934-07-17 Buxton Inc Key case
BE395422A (ja) 1933-03-08
FR854382A (fr) 1938-12-30 1940-04-11 Gaine anti-fuite pour haute pression
FR902764A (fr) 1943-02-09 1945-09-12 Petit cadre pour diapositives

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05205052A (ja) * 1992-01-23 1993-08-13 Matsushita Electric Ind Co Ltd 自動追尾装置
JP2006014875A (ja) * 2004-06-30 2006-01-19 Sony Computer Entertainment Inc 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法
US20060192782A1 (en) * 2005-01-21 2006-08-31 Evan Hildreth Motion-based tracking
JP2006259899A (ja) * 2005-03-15 2006-09-28 Omron Corp 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP2008071172A (ja) * 2006-09-14 2008-03-27 Toshiba Corp 顔認証装置、顔認証方法および入退場管理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
橋本 学: "安全・安心社会のための映像セキュリティ技術", システム/制御/情報, vol. 第50巻 第10号, JPN6015032147, 15 October 2006 (2006-10-15), JP, pages 18 - 23, ISSN: 0003132296 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016526713A (ja) * 2013-06-14 2016-09-05 クゥアルコム・インコーポレイテッドQualcomm Incorporated トラッカ補助画像キャプチャ
US11538232B2 (en) 2013-06-14 2022-12-27 Qualcomm Incorporated Tracker assisted image capture

Also Published As

Publication number Publication date
EP2455916B1 (fr) 2017-08-23
JP5967904B2 (ja) 2016-08-10
EP2455916A1 (fr) 2012-05-23
KR20120054550A (ko) 2012-05-30
FR2967804B1 (fr) 2013-01-04
US20120129605A1 (en) 2012-05-24
FR2967804A1 (fr) 2012-05-25

Similar Documents

Publication Publication Date Title
JP5967904B2 (ja) ユーザがコンピュータシステムとやり取りを行うことができる、ビデオストリームにおける動く非剛体オブジェクトをリアルタイムで検出し及び追跡する方法及び装置
US20100002909A1 (en) Method and device for detecting in real time interactions between a user and an augmented reality scene
Tsai et al. Design of hand gesture recognition system for human-computer interaction
Rautaray et al. Real time multiple hand gesture recognition system for human computer interaction
JP2010532465A (ja) 拡張リアリティイメージのためのカメラポーズ推定装置および方法
Morshidi et al. Gravity optimised particle filter for hand tracking
JP7282216B2 (ja) 単眼スチルカメラのビデオにおけるレイヤードモーションの表現と抽出
Antoshchuk et al. Gesture recognition-based human–computer interaction interface for multimedia applications
Ma et al. Real-time and robust hand tracking with a single depth camera
US20190130645A1 (en) Augmented reality and virtual reality engine for virtual desktop infrastucture
Matikainen et al. Prop-free pointing detection in dynamic cluttered environments
Güdükbay et al. Motion capture and human pose reconstruction from a single-view video sequence
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system
Wu et al. Design and implementation of virtual fitting system based on gesture recognition and clothing transfer algorithm
López et al. Head-tracking virtual 3-D display for mobile devices
Erra et al. Experiences in the development of an augmented reality dressing room
Jiang et al. Observation-oriented silhouette-aware fast full body tracking with Kinect
Schlattmann et al. Markerless 4 gestures 6 DOF real‐time visual tracking of the human hand with automatic initialization
Song et al. Real-time single camera natural user interface engine development
Habermann et al. Reticam: Real-time human performance capture from monocular video
Kitanovski et al. Augmented reality mirror for virtual facial alterations
Huo et al. Multiple people tracking and pose estimation with occlusion estimation
Gutiérrez A et al. Mixed realities
Kapoor et al. Marker-less detection of virtual objects using augmented reality
Salti et al. Real-time 3d arm pose estimation from monocular video for enhanced HCI

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141118

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160705

R150 Certificate of patent or registration of utility model

Ref document number: 5967904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees