JP2012517044A

JP2012517044A - ビデオストリームの中のオブジェクト認識および追跡システムおよび方法

Info

Publication number: JP2012517044A
Application number: JP2011547059A
Authority: JP
Inventors: イスラエル、ナダフ; カッツ、イタイ; コーヘン、デュディ; シェンフェルド、アムノン
Original assignee: アイサイトモバイルテクノロジーズリミテッド
Priority date: 2009-02-02
Filing date: 2010-02-02
Publication date: 2012-07-26
Anticipated expiration: 2030-02-02
Also published as: CN102356398A; US9405970B2; US20110291925A1; EP2391972B1; US20160343145A1; WO2010086866A1; EP2391972A1; CN102356398B; KR101632963B1; KR20110138212A; JP5816098B2

Abstract

本発明はビデオストリームの中のオブジェクト検出および追跡システムと方法を提供する。ビデオストリームのフレームが関心領域に分割され、各関心領域に対して、領域が被追跡オブジェクトの少なくとも一部を含む確率が計算される。各フレーム内の関心領域が、次に、計算された確率に基づいて分類される。次に、ビデオフレーム内の関心領域の分類を報告する関心領域（ＲＩ）フレームが各ビデオフレームに対して構成される。２つ以上のＲＩフレームが、次に、オブジェクトの動きを決定するために比較される。本発明は、システムを含む装置だけでなく、本発明の方法を実行するシステムも提供する。装置は、たとえば、ポータブルコンピュータ、携帯電話、またはエンターテイメント装置とすることができる。

Description

（発明の分野）
本発明はオブジェクト（ｏｂｊｅｃｔ：物体）検出および追跡方法およびシステム、およびこのようなシステムを含む装置に関する。

（発明の背景）
下記の先行技術の出版物は本発明を理解するのに関連するものと考えられる。
ＤｉｇｉｔａｌＩｍａｇｅＰｒｏｃｅｓｓｉｎｇｂｙＲａｆａｅｌＣ．Ｇｏｎｚａｌｅｚ，ＲｉｃｈａｒｄＥ，ＷｏｏｄｓａｎｄＳｔｅｖｅｎＬ．Ｅｄｄｉｎｓ，ＰｒｅｎｔｉｃｅＨａｌｌ（２００４），１０．４．２−ＲｅｇｉｏｎＧｒｏｗｉｎｇ．
Ｅ．Ｄｅｊａ，Ｍ．Ｍ．Ｄｅｊａ，ＤｉｃｔｉｏｎａｒｙｏｆＤｉｓｔａｎｃｅｓ，Ｅｌｓｅｖｉｅｒ（２００６）．
Ｍａｈａｌａｎｏｂｉｓ，ＰＣ（１９３６）．“Ｏｎｔｈｅｇｅｎｅｒａｌｉｚｅｄｄｉｓｔａｎｃｅｉｎｓｔａｔｉｓｔｉｃｓ”．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＮａｔｉｏｎａｌＩｎｓｔｉｔｕｔｅｏｆＳｃｉｅｎｃｅｓｏｆＩｎｄｉａ２（１）：４９−５５）．
ＩｔａｋｕｒａＦ．，“Ｌｉｎｅｓｐｅｃｔｒｕｍｒｅｐｒｅｓｅｎｔａｔｉｏｎｏｆｌｉｎｅａｒｐｒｅｄｉｃｔｉｖｅｃｏｅｆｆｉｃｉｅｎｔｓｏｆｓｐｅｅｃｈｓｉｇｎａｌｓ，”Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．，５７，５３７（Ａ），１９７５．
ＪａｍｅｓＭ．Ａｂｅｌｌｏ，ＰａｎｏｓＭ．Ｐａｒｄａｌｏｓ，ａｎｄＭａｕｒｉｃｉｏＧ．Ｃ．Ｒｅｓｅｎｄｅ（ｅｄｉｔｏｒｓ）（２００２）．ＨａｎｄｂｏｏｋｏｆＭａｓｓｉｖｅＤａｔａＳｅｔｓ．Ｓｐｒｉｎｇｅｒ．
Ｅ．Ｒ．Ｂｅｒｌｅｋａｍｐ，ＡｌｇｅｂｒａｉｃＣｏｄｉｎｇＴｈｅｏｒｙ，ＭａｃＧｒｗ−Ｈｉｌｌ１９６８．
ＲｉｃｈａｒｄＷ．Ｈａｍｍｉｎｇ．ＥｒｒｏｒＤｅｔｅｃｔｉｎｇａｎｄＥｒｒｏｒＣｏｒｒｅｃｔｉｎｇＣｏｄｅｓ，ＢｅｌｌＳｙｓｔｅｍＴｅｃｈｎｉｃａｌＪｏｕｒｎａｌ２６（２）：１４７−１６０，１９５０．
ＤａｎＧｕｓｆｉｅｌｄ．Ａｌｇｏｒｉｔｈｍｓｏｎｓｔｒｉｎｇｓ，ｔｒｅｅｓ，ａｎｄｓｅｑｕｅｎｃｅｓ：ｃｏｍｐｕｔｅｒｓｉｅｎｃｅａｎｄｃｏｍｐｕｔａｔｉｏｎａｌｂｉｏｌｏｇｙ．ＣａｍｂｒｉｄｇｅＵｎｉｖｅｒｓｉｔｙＰｒｅｓｓ，ＮｅｗＹｏｒｋ，ＮＹ，ＵＳＡ，１９９７）．
米国特許第５，７６７，８４２号および第６，６５０，３１８号

米国特許第５，７６７，８４２号米国特許第６，６５０，３１８号

ＤｉｇｉｔａｌＩｍａｇｅＰｒｏｃｅｓｓｉｎｇｂｙＲａｆａｅｌＣ．Ｇｏｎｚａｌｅｚ，ＲｉｃｈａｒｄＥ，ＷｏｏｄｓａｎｄＳｔｅｖｅｎＬ．Ｅｄｄｉｎｓ，ＰｒｅｎｔｉｃｅＨａｌｌ（２００４），１０．４．２−ＲｅｇｉｏｎＧｒｏｗｉｎｇ．Ｅ．Ｄｅｊａ，Ｍ．Ｍ．Ｄｅｊａ，ＤｉｃｔｉｏｎａｒｙｏｆＤｉｓｔａｎｃｅｓ，Ｅｌｓｅｖｉｅｒ（２００６）．Ｍａｈａｌａｎｏｂｉｓ，ＰＣ（１９３６）．"Ｏｎｔｈｅｇｅｎｅｒａｌｉｚｅｄｄｉｓｔａｎｃｅｉｎｓｔａｔｉｓｔｉｃｓ"．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＮａｔｉｏｎａｌＩｎｓｔｉｔｕｔｅｏｆＳｃｉｅｎｃｅｓｏｆＩｎｄｉａ２（１）：４９−５５）．ＩｔａｋｕｒａＦ．，"Ｌｉｎｅｓｐｅｃｔｒｕｍｒｅｐｒｅｓｅｎｔａｔｉｏｎｏｆｌｉｎｅａｒｐｒｅｄｉｃｔｉｖｅｃｏｅｆｆｉｃｉｅｎｔｓｏｆｓｐｅｅｃｈｓｉｇｎａｌｓ，"Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．，５７，５３７（Ａ），１９７５．ＪａｍｅｓＭ．Ａｂｅｌｌｏ，ＰａｎｏｓＭ．Ｐａｒｄａｌｏｓ，ａｎｄＭａｕｒｉｃｉｏＧ．Ｃ．Ｒｅｓｅｎｄｅ（ｅｄｉｔｏｒｓ）（２００２）．ＨａｎｄｂｏｏｋｏｆＭａｓｓｉｖｅＤａｔａＳｅｔｓ．Ｓｐｒｉｎｇｅｒ．Ｅ．Ｒ．Ｂｅｒｌｅｋａｍｐ，ＡｌｇｅｂｒａｉｃＣｏｄｉｎｇＴｈｅｏｒｙ，ＭａｃＧｒｗ−Ｈｉｌｌ１９６８．ＲｉｃｈａｒｄＷ．Ｈａｍｍｉｎｇ．ＥｒｒｏｒＤｅｔｅｃｔｉｎｇａｎｄＥｒｒｏｒＣｏｒｒｅｃｔｉｎｇＣｏｄｅｓ，ＢｅｌｌＳｙｓｔｅｍＴｅｃｈｎｉｃａｌＪｏｕｒｎａｌ２６（２）：１４７−１６０，１９５０．ＤａｎＧｕｓｆｉｅｌｄ．Ａｌｇｏｒｉｔｈｍｓｏｎｓｔｒｉｎｇｓ，ｔｒｅｅｓ，ａｎｄｓｅｑｕｅｎｃｅｓ：ｃｏｍｐｕｔｅｒｓｉｅｎｃｅａｎｄｃｏｍｐｕｔａｔｉｏｎａｌｂｉｏｌｏｇｙ．ＣａｍｂｒｉｄｇｅＵｎｉｖｅｒｓｉｔｙＰｒｅｓｓ，ＮｅｗＹｏｒｋ，ＮＹ，ＵＳＡ，１９９７）．

データ処理装置内へのデータの入力はキーボード、マウス、またはジョイスティック等のデータ入力装置を使用して達成される。電子装置は常に小型化されるが、さまざまな関連するデータ入力装置はユーザの手のサイズと一致しなければならないため、そのサイズは実質的に小さくすることはできない。したがって、ユーザの手を装置に触れる必要がないデータ入力方法が考案されてきている。たとえば、コース（Ｋｏｒｔｈ）への米国特許第５，７６７，８４２号およびアモン（Ａｍｏｎ）への第６，６５０，３１８号はユーザの手および指の動きを監視するのにカメラが使用される光学系を開示している。ソフトウエア・アプリケーションがこれらの動きを物理的に存在しないコンピュータ・キーボードまたは他の入力装置上の操作として解釈する。これらのシステムにおいて、カメラは固定位置を有し、画像の背景が一定のままとされる。それにより、ソフトウエア・アプリケーションは各画像内のユーザの手を検出するために一定の背景内に存在する情報を使用することができる。したがって、使用中に動かされる装置では、画像の背景が一定ではないため、このシステムは使用できず、そのため画像内に信頼できる背景情報が無い。使用中に動かされる装置はパ―ソナル・デジタル・アシスタント（ＰＤＡ）、携帯電話、デジタルカメラ、および携帯ゲーム機等のハンドヘルド装置を含んでいる。

（発明の概要）
その第１の側面において、本発明はビデオストリームの中のオブジェクト認識および追跡システムを提供する。本発明のシステムは２つの別々の論理的階層に基づいている。第１の階層はビデオストリームを環境内でスタンドアロン・モーションセンサとして機能する関心領域へと分割し、追跡されたオブジェクトが領域内に存在する可能性を計算する責任を他に依存しないで負う。第２の階層は領域セットの挙動を時間をかけて監視し、可能性のパターンに基づいて、追跡されたオブジェクトの位置およびモーションパラメータを計算する。

本発明のシステムはシステムにより解析されるビデオストリームのフレームを格納するメモリを含んでいる。プロセッサがメモリ内に格納されたビデオストリームのフレームを読み込む。関心領域が予め定められた被追跡オブジェクトの少なくとも一部を含む確率に従って、オブジェクト検出モジュールが各フレーム内の関心領域を分類する。後述するように、オブジェクト検出モジュールによるオブジェクト検出はフレーム内のオブジェクトのエッジ検出を伴わない。オブジェクト追跡モジュールは、その入力として、オブジェクト検出モジュールから出力される分類されたフレームを受信し、連続する分類されたフレームを比較することにより、オブジェクトの動きを決定する。本発明のシステムはキーボード、マウスまたはジョイスティック等の装置に関連する任意の入力装置の代わりに、またはそれに加えて、装置にオペレーティングシステム（ＯＳ）コマンドを入力するのに使用することができる。本発明のシステムはパーソナルコンピュータ（ＰＣ）、ＰＤＡ、ラップトップまたはパームプロット等のポータブルコンピュータ、携帯電話、ラジオその他のエンターテインメント装置、車両、デジタルカメラ、携帯ゲーム機、コンピュータ化医療装置およびスマートハウス製品等の任意タイプのデータ処理装置において使用することができる。

応用に応じて、プロセッサはオブジェクトモーションの予め定められたセットの中から追跡されたオブジェクトのモーションパターンを識別するパターン認識モジュールを随意含むことができる。システムは、さらに、予め定められた１つ以上のモーションパターンの各々に対して、関連するＯＳコマンドを提供するルックアップテーブルを格納するＯＳコマンド実行モジュールを含むことができる。予め定められたオブジェクトモーションの１つが識別されると、そのモーションに関連するＯＳコマンドがシステムにより実行される。

その第２の側面において、本発明は本発明のシステムを含むデータ処理装置を提供する。データ処理装置は、たとえば、パーソナルコンピュータ（ＰＣ）、ＰＤＡ、ラップトップ等のポータブルコンピュータ、または携帯電話、ラジオその他のエンターテインメント装置、車両、デジタルカメラまたは携帯ゲーム機とすることができる。前記したように、本発明の装置はオブジェクト検出およびオブジェクト追跡を行うように構成されたビデオカメラおよびプロセッサを有する。被検出および追跡オブジェクトは、たとえば、ユーザの手または指、あるいはハンドヘルド・スタイラスあるいは他の予め定義されたまたは特定の装置とすることができる。

本発明の装置は、認識された各動きに対して、関連するＯＳコマンドを提供するルックアップテーブルを格納するメモリを含んでいる。パターン識別モジュールによりモーションパターンが検出されると、動きに関連づけられたＯＳコマンドがルックアップ内で検索され（ｌｏｏｋｅｄｕｐ）、次に、動きに関連づけられたＯＳコマンドが実行される。ＯＳコマンドは、たとえば、ＳｐｅａｋｅｒＯｎ／Ｏｆｆ、ＭＰ３／ＩＰＴＶ内のＮｅｘｔ／Ｐｒｅｖｉｏｕｓｔｒａｃｋ、ＧＰＳ応用におけるマップビュー・コントロール、ボイスメール・サービスをスイッチオンする、等の活性化機能（ａｃｔｉｖａｔｅｆｕｎｃｔｉｏｎｓ）とすることができる。

本発明のこの側面に従って、ビデオストリームのフレームは２つ以上の関心領域に分割される。各関心領域に対して、関心領域内のピクセルの統計的解析が行われる。たとえば、統計的解析は関心領域のピクセル上に定義された１つ以上の関数の各々に対してヒストグラムを発生するステップを含むことができる。関数は、たとえば、ピクセルのレッド、グリーン、またはブルーの色の任意の１つの強度、またはピクセルの色相、彩度または輝度のいずれか１つとすることができる。ヒストグラムは単一変数ヒストグラムまたは多変数ヒストグラムとすることができ、ピクセル・プロパティのｎタプルの頻度が集計される。統計的解析は任意の１つ以上のヒストグラムの平均、モード、標準偏差、または分散等の統計的パラメータの値を計算するステップを含むこともできる。関心領域の統計的解析の結果は、検出されるオブジェクトの少なくとも一部を領域が含む確率に従って領域を分類するのに使用される。解析された各フレームに対して、フレームの関心領域の分類を表す「関心領域（ＲＩ）フレーム」が発生される。

１つ以上のパターン検出モジュールがＲＩフレームからオブジェクトの特定のモーションパターンを検出するのに使用される。各パターン検出モジュールはそれにより検出された特定のモーションパターンがタイムウィンドウ中に生じた確率を出力する。１つ以上のパターン認識モジュールの出力は発生した可能性が最も高いモーションパターンを決定するモーション認識モジュールへ入力される。モーション検出モジュールの決定はパターン認識モジュールから入力される確率に基づいており、外部入力、たとえば、オペレーティングシステムまたは実行されるアプリケーションからの入力を考慮することもできる。

このように、第１の側面において、本発明はビデオストリームの中のオブジェクト検出および追跡システムを提供し、それは、
（ａ）オブジェクト検出モジュールおよびオブジェクト追跡モジュールを含むプロセッサを含み、
オブジェクト検出モジュールは、
（ｉ）ビデオストリームの中の２つ以上の各フレーム内の１つ以上の関心領域の各々に対して、関心領域が被追跡オブジェクトの少なくとも一部を含む確率を計算し、
（ｉｉ）計算された確率に従って２つ以上の各フレーム内の関心領域を分類して各ビデオフレームに対する関心領域（ＲＩ）フレームを発生し、ＲＩフレームは関心領域の分類を報告する、ように構成され、
オブジェクト追跡モジュールは、
（ｉ）オブジェクト検出モジュールにより発生された２つのＲＩフレームを比較してオブジェクトの動きを決定する、ように構成される。

オブジェクト追跡モジュールは１つ以上のパターン検出モジュールを含むことができ、各パターン検出モジュールはタイムウィンドウ中の追跡されたオブジェクトの動きの特定のパターンがタイムウィンドウ中に生じた確率を計算するように構成されている。オブジェクト追跡モジュールは、さらに、生じている可能性が最も高いモーションパターンを１つ以上のパターン検出モジュールにより発生された確率に基づいて決定するモーション認識モジュールを含むことができる。モーション認識モジュールの決定は外部信号を考慮することを伴うことがある。

本発明のシステムは、さらに、動きの識別されたパターンに関連するＯＳコマンドを実行するように構成されたオペレーティングシステム（ＯＳ）コマンド実行モジュールを含むことができる。

その第２の側面において、本発明はビデオストリームの中のオブジェクト検出および追跡方法を提供し、それは、
（ｉ）ビデオストリームの中の２つ以上の各フレーム内の１つ以上の関心領域の各々に対して、関心領域が被追跡オブジェクトの少なくとも一部を含む確率を計算し、
（ｉｉ）計算された確率に従って２つ以上の各フレーム内の関心領域を分類して各ビデオフレームに対する関心領域（ＲＩ）フレームを発生し、ＲＩフレームは関心領域の分類を報告し、かつ、
（ｉ）オブジェクト検出モジュールにより発生された２つ以上のＲＩフレームを比較してオブジェクトの動きを決定する、ステップを含んでいる。

関心領域が被追跡オブジェクトの少なくとも一部を含む確率は、
（ａ）ビデオストリームの中の各フレーム内の１つ以上の関心領域の各々に対して、関心領域内のピクセルの統計的解析を計算し、
（ｂ）ビデオストリームの１つ以上の前のフレーム内の関心領域の統計的解析を伴う計算において関心領域の離散的分類を計算する、
ステップを含む方法により得ることができる。

統計的解析は関心領域のピクセル上で定義された１つ以上の関数の各々に対してヒストグラムを発生するステップを含むことができる。１つ以上の関数は、
（ａ）ピクセルのレッド、グリーン、またはブルーの色の任意の１つの強度、
（ｂ）ピクセルの色相、彩度または輝度のいずれか１つ、
を含むグループの中から選択することができる。

本発明の方法は、さらに、１つ以上の関数の統計的パラメータの値を計算するステップを含むことができる。１つ以上の統計的パラメータは、
（ａ）平均、
（ｂ）モード、
（ｃ）標準偏差、
（ｄ）分散
を含むグループから選択することができる。

２つ以上のＲＩフレームを比較するステップは、
（ａ）各フレーム、およびフレーム内の分類された関心領域の各々に対して、関心領域の分類をフレームを含むタイムウィンドウ内で得られた複数のフレーム内の関心領域の分類と比較し、
（ｂ）比較に基づいて、選択された関心領域が被追跡オブジェクトを含むか否かを決定し、
（ｃ）この決定に基づいて、関心領域が被追跡オブジェクトを含むか否かに従って、関心領域を再分類し、
（ｄ）タイムウィンドウ中の２つ以上の領域の状態の変化に基づいて、オブジェクトの動きの１つ以上の追跡パラメータを計算する、
ステップを含むことができる。

追跡パラメータは、
（ａ）オブジェクトの動きの方向、
（ｂ）オブジェクトの動きの速度、
（ｃ）オブジェクトの加速度、
（ｄ）ピクセル内のオブジェクトの幅、
（ｅ）ピクセル内のオブジェクトの高さ、
（ｆ）フレーム内のオブジェクトの位置、
を含むグループから選択することができる。

そのもう１つの側面において、本発明は本発明のシステムを含むデータ処理装置を提供する。データ処理装置は、
（ａ）パーソナルコンピュータ（ＰＣ）、
（ｂ）ＰＤＡまたはラップトップ等のポータブルコンピュータ、
（ｃ）携帯電話、
（ｄ）ラジオ、
（ｅ）エンターテイメント装置、
（ｆ）スマートホーム、
（ｇ）車両、
（ｈ）デジタルカメラ、
（ｉ）キッチン用品、
（ｊ）メディアプレーヤまたはメディアシステム、
（ｋ）ロケーションベース装置、
（ｌ）携帯ゲーム機、
（ｍ）ピコプロジェクタまたは埋め込みプロジェクタ、
（ｎ）医療ディスプレー装置、
（ｏ）インカー／インエア情報システム、
を含むグループから選択することができる。

本発明の装置は、さらに、ビデオカメラおよびディスプレー画面の一方または両方を含むことができる。

追跡されたオブジェクトの動きの１つ以上のパターンは、
（ａ）ピクセル内のオブジェクトの幅がタイムウィンドウ中に増加した、
（ｂ）ピクセル内のオブジェクトの幅がタイムウィンドウ中に減少した、
（ｃ）オブジェクトがカメラにより近く動いた、
（ｄ）オブジェクトがカメラから離れるように動いた、
（ｅ）オブジェクトが予め定められたパス内を動いた、
（ｆ）オブジェクトが回転した、
（ｇ）オブジェクトが静止していた、
（ｈ）オブジェクトが任意タイプの動きをした、
（ｉ）オブジェクトがフリッキング動作を行った、
（ｊ）オブジェクトが加速した、
（ｋ）オブジェクトが減速した、および、
オブジェクトが動いた後で停止した、
を含むグループから選択することができる。

プロセッサは、さらに、動きの識別されたパターンに関連する装置のＯＳコマンドを実行するように構成されたオペレーティングシステム（ＯＳ）コマンド実行モジュールを含むことができる。ＯＳコマンドは、
（ａ）装置のディスプレー画面上にディスプレーされる仮想キーを押下する、
（ｂ）装置のディスプレー画面上に現れるカーソルを画面上の新しい位置へ動かす、
（ｃ）選択カルーセルを回転させる、
（ｄ）デスクトップ間の切り替え、
（ｅ）予め定められたソフトウエア・アプリケーションを中央処理装置上で実行する、
（ｆ）アプリケーションをターンオフする。
（ｇ）スピーカをターンオンまたはオフする、
（ｈ）音量を上げ下げする、
（ｉ）メディアプレーヤ内またはＩＰＴＶチャネル間で次または前のトラックへスキップする、
（ｊ）ＧＰＳアプリケーションを制御する、
（ｋ）ボイスメールサービスをスイッチオンする、
（ｌ）写真／音楽アルバムギャラリ内でナビゲートする、
（ｍ）ウェブページ、メール、ドキュメントまたはマップをスクロールする、
（ｎ）携帯ゲーム内のアクションを制御する、および、
（ｏ）インタラクティブビデオまたはアニメイテッドコンテンツを制御する、
を含むグループから選択することができる。

本発明に従ったシステムは適切にプログラムされたコンピュータとすることもできる。同様に、本発明は本発明の方法を実行するためにコンピュータが読み取り可能なコンピュータプログラムを意図している。本発明は、さらに、本発明の方法を実行するために機械が実行可能な命令のプログラムを明白に具現化している機械読取可能なメモリを意図している。

本発明を理解してそれを実際にどのように実施できるかを確かめるために、添付図を参照して、非限定的例にすぎない例により実施例の説明を行う。
関心領域に分割された複数のフレームを含むビデオストリームを略示する図である。本発明の一実施例に従ったオブジェクト検出および追跡システムを示す図である。本発明の一実施例に従ったオブジェクト検出方法を示す図である。ビデオストリーム内の３つのフレームを示す図である。図４（ａ）のフレームから得られる関心領域（ＲＩ）フレームを示す図である。本発明の一実施例に従ったオブジェクト追跡方法を示す図である。本発明のオブジェクト検出および追跡システムを内蔵するデータ処理装置を示す図である。モーションパターンの例およびさまざまなタイプの装置においてＯＳコマンドを実行する時のそれらの使用を示す図である。

（実施例の詳細な説明）
図１はビデオフレーム４のシーケンスを含むビデオシーケンス２を略示している。４つのフレーム４ａ、４ｂ、４ｃ、および４ｄが図１に示されている。これは単なる例にすぎず、ビデオシーケンス２は少なくとも２である任意数のビデオフレームを含むことができる。各フレームは関心領域６に分割される複数のピクセルからなり、その境界は図１に破線８で示されている。フレーム４は図１において３６の関心領域６（６つの関心領域の６行）に分割されて示されている。これは例にすぎず、フレーム４は少なくとも２つの任意数の関心領域に分割することができる。関心領域は任意の形状を有することができ、重畳することができる。

図２は本発明の一実施例に従って、ビデオストリーム２等の、ビデオストリーム内のオブジェクト検出および追跡システム４０を示す。ビデオストリーム２はメモリ４４に入力される。メモリ４４はその中に格納されたビデオストリーム２のフレーム６を読み込むプロセッサ４６によりアクセスすることができる。後述するように、プロセッサ４６はビデオストリーム２を解析するオブジェクト検出モジュール４５、およびオブジェクト検出モジュール４５の出力を解析するオブジェクト追跡モジュール４７を含んでいる。オブジェクト検出モジュール４５は関心領域が被追跡オブジェクトの少なくとも一部を含んでいる確率に従って各フレーム内の関心領域を分類する。オブジェクト追跡モジュール４７はオブジェクト検出モジュール４５により出力された分類されたフレームをその入力として受信し、連続したフレーム内の関心領域の分類を比較してオブジェクトの動きを決定する。

システム４０は、さらに、ＯＳコマンド実行モジュール５１を含むことができる。この場合、メモリ４４は１つ以上の予め定められたモーションパターンの各々に対して、関連するＯＳコマンドを提供するルックアップテーブルを格納している。予め定められたオブジェクトモーションの１つが識別されると、モーションに関連するＯＳコマンドが実行される。

後述するように、ユーザ入力装置４８を使用して、ビデオストリーム２の識別、またはプロセッサ４６により解析されるパラメータ等の任意の関連データをシステム４０に入力することができる。処理の結果だけでなく、ビデオストリーム２を、ＣＲＴ画面、ＬＣＤ、またはプリンタ等のディスプレー装置５０上にディスプレーすることができる。

図３は本発明の一実施例に従ってプロセッサ４６のオブジェクト検出モジュール４５により実施されるビデオストリーム２のフレーム内のオブジェクト検出プロセス２０を示す。プロセスはステップ１８で始まり、そこでメモリ４４からフレームが検索されて２つ以上の関心領域６に分割される。非特許文献１に開示されているように、関心領域はシード領域成長等の当分野で既知の任意のオブジェクト・セグメンテーション技術を使用してダイナミックに生成することができる。あるいは、関心領域はフレームを３６領域に区分する固定６×６マトリクス等により領域のグループとして統計的に定義することができる。次に、ステップ２４においてフレーム内の関心領域６が選択され、関心領域内のピクセルの統計的解析がステップ２６において行われる。たとえば、統計的解析は領域のピクセルで定義された１つ以上の関数の各々に対してヒストグラム１０を発生するステップを含むことができる。関数は、たとえば、ピクセルのレッド、グリーン、またはブルーの色の任意の１つの強度、またはピクセルの色相、彩度または輝度の任意の１つとすることができる。ヒストグラムは単一変数ヒストグラムまたは多変数ヒストグラムとすることができ、ピクセル・プロパティのｎタプルの頻度が集計される。統計的解析は任意の１つ以上のヒストグラムの平均、モード、標準偏差、または分散等の統計的パラメータの値を計算することを含むこともできる。統計的解析の結果はメモリ４４に格納される。

ステップ３０において、解析されたばかりの関心領域が分類される。関心領域の分類は関心領域内に追跡されたオブジェクトが存在する確率を記述する離散関数である。関心領域の分類は現在のフレーム内の関心領域の統計的解析およびビデオストリームの１つ以上の前のフレーム内の関心領域の統計的解析を伴う方法で決定される。一実施例では、選択された領域内のさまざまなパラメータおよび統計的特徴と領域内を通過する追跡されたオブジェクトを示すパラメータおよび統計的特徴との類似性を計算するために距離関数が適用される。領域およびオブジェクトパラメータは、たとえば、異なる形状および輪郭の存在とそれらの頻度を含むことができ、統計的特徴は、たとえば、色相、輝度および彩度のヒストグラムとカラーパターンを含むことができる。複合距離の結果は前のフレーム内の関心領域の結果と比較される。たとえば、色相パラメータにおける距離は追跡されたオブジェクトと同じ色のオブジェクトが領域に入っていることを示すことができる。これにより領域は高い確率で追跡されたオブジェクトを含むものと分類されることがある。距離関数は、たとえば、ユークリッド距離（非特許文献２）、マハラノビス距離（非特許文献３）、板倉斉藤距離（非特許文献４）、チェビシェフ距離（非特許文献５）、リー距離（非特許文献６）、ハミング距離（非特許文献７）、またはレーベンシュタイン距離（非特許文献８）とすることができる。選択された関心領域の分類はメモリ４４に格納される（ステップ３１）。

ステップ３２において、フレームのもう１つの関心領域を決定モジュール４５により解析すべきかどうか決定される。イエスであれば、プロセスはステップ２４へ戻り現在のフレーム内のもう１つの関心領域が選択される。そうでなければ、プロセスはステップ３４へ続きそこでビデオフレームに対して「関心領域（ＲＩ）フレーム」が発生され、プロセスは終了する。入力ビデオフレームのＲＩフレームはフレームの関心領域の分類の表現である。図４（ａ）は３つの異なる時間（それぞれ、時間ｔ_０、ｔ_１、およびｔ_２）に得られたビデオストリームの３つのフレーム１１０ａ、ｂ、およびｃを示す。この例では、フレームは破線１１２で示される統計的関心領域に任意に分割される。あるいは、フレームを関心領域にダイナミックに分割する方法を使用することができる。たとえば、プリセットシード領域のセットを統計的均一性を維持するより大きな領域に成長させる。たとえば、図４の空領域に位置するシード領域は色相ヒストグラムおよびエッジ頻度が著しく変化する地面と交わるまで成長する。この分割プロセスは追跡される予期された動きの軸の事前知識または元の関心グループから省くべき高分散領域を決定するいくつかのフレームの統計的解析により支援されることがある。被追跡オブジェクト１１４はｔ_０からｔ_２の時間間隔中にフレーム内で移動している。図４（ｂ）は、それぞれ、ビデオフレーム１１０ａ、１１０ｂ、および１１０ｃに対応する関心領域フレーム１１６ａ、１１６ｂ、および１１６ｃを示している。図４の例では、各関心領域はオブジェクト１１４の少なくとも一部が関心領域（図４（ｂ）に関心領域のクロスハッチングで示されている）内に位置しているか、または関心領域がオブジェクト１１４の少なくとも一部（図４（ｂ）のハッチングされていない領域）を含んでいないかに応じて２つの分類のいずれかに分類された。このように、時間ｔ_０に得られたＲＩフレーム１１６ａにおいて、フレームの右側に位置している領域１１７ａはオブジェクト１１４を含むものとして分類されている。この分類は領域および追跡されたオブジェクトの類似性評価を計算して、たとえば、追跡されたオブジェクトの色相ヒストグラムと選択された領域のヒストグラム間のユークリッド距離を測定して得ることができる。同じ方法を使用して、中間フレーム１１６ｂにおいて、２つの領域１１７ｂおよび１１７ｃはオブジェクト１１４を含むものとして分類されており、後のフレーム１１６ｃでは２つの領域１１７ｄおよび１１７ｅがオブジェクト１１４を含むものとして分類されている。

追跡モジュール４７はビデオストリームのタイムウィンドウ中に検出モジュール４５により発生されたＲＩフレームをその入力として受信する。追跡モジュール４７は検出モジュール４５と同時に作動することができ、分類されたフレームを検出モジュール４５により発生される時に受信する。あるいは、追跡モジュール４７は検出モジュール４５に続いて作動することができ、ビデオストリームの全てのフレームが分類された後でしか分類されたフレームを受信しない。

図５は本発明の一実施例に従ってオブジェクト追跡モジュール４７により実施されるオブジェクト追跡プロセスを示す。ステップ５２において、タイムウィンドウのＲＩフレームが追跡モジュール４７に入力され、ステップ５４において、ＲＩフレームはランダムノイズを除去するためにフィルタリングされる。フィルタリングされたＲＩフレームは１つ以上の独立パターン検出モジュール５６に入力される。各パターン検出モジュール５６はフィルタリングされたＲＩフレームからオブジェクトの特定のモーションパターンを検出するように構成され、パターン検出モジュールの特定のモーションパターンがタイムウィンドウ中に生じた確率を出力する。各パターン検出モジュール５６は入力されたＲＩフレームのいくつかまたは全てにパターン認識テストを行う。たとえば、再び図４ｂを参照すると、パターン検出モジュール５６はフレームの左側からフレームの右側へのオブジェクトの動きを検出する。１つ以上のパターン認識モジュール５６の出力がモーション認識モジュール５８へ入力される。モーション認識モジュール５８はタイムウィンドウ中に生じている可能性が最も高いモーションパターンを決定する。モーション検出モジュール５８の決定は１つ以上のパターン認識モジュール５６から入力された確率に基づいており、たとえば、オペレーティングシステムや実行中のアプリケーションからの入力等の外部入力も考慮することができる。次に、モーション認識モジュール５８のモーション決定が出力されて（ステップ６０）プロセスは終了する。

図６は、本発明のこの側面の実施例に従った、システム４０を含むデータ処理装置７２を示す。データ処理装置７２は、たとえば、パーソナルコンピュータ（ＰＣ）、ＰＤＡ、ラップトップまたはパームプロット等のポータブルコンピュータ、携帯電話、ラジオその他のエンターテインメントデバイス、車両、デジタルカメラまたは携帯ゲーム機とすることができる。装置７２はビデオカメラ７６を有する。装置７２にはディスプレー画面７４およびデータ入力装置７２にデータを入力するための複数のキー８０を有するキーパッド７８のようなさまざまなデータ入力装置を設けることもできる。

カメラ７６は破線で示す空間８６の円錐形または角錐形ボリュームをとらえる。カメラ７６は装置７２上の固定位置を有することができ、その場合ビューイングスペース８６は装置７２に対して固定され、あるいは装置７２上に位置決めすることができ、その場合ビューイングスペース８６は装置７２に対して選択することができる。カメラ７６で撮影された画像はカメラ７６によりデジタル化されてプロセッサ４６へ入力される（図２も参照されたい）。前記したように、プロセッサ４６のオブジェクト検出モジュール４５はカメラ７６により得られたフレーム内の予め定められたオブジェクト９４を検出する。オブジェクト９４は開いた手、閉じた手または手の甲等の、さまざまな位置における、ユーザの指または手全体とすることができる。装置２がハンドヘルド装置であれば、ユーザは使用時に他方の手８９を使用して装置２を保持することができる。手８９は、キーパッド７８上の活性化キー８０等の、装置７２に関連する実際の入力装置を活性化するのに使用することもできる。

メモリ４４は各テストに対して関連するＯＳコマンドを提供するルックアップテーブルを格納することができる。パターン識別モジュール４９によりモーションパターンが検出されると、動きに関連するＯＳコマンドがメモリ４４内に格納されたルックアップテーブル内で検索され、次に、動きに関連するＯＳコマンドがＯＳ実行モジュール５１により実行される。ＯＳコマンドは、たとえば、ディスプレー画面上にディスプレーされた仮想キーの押下、ディスプレー画面上に現れるカーソルの画面上の新しい位置への移動、メモリ４４内に格納されたソフトウエア・アプリケーションのプロセッサ４６上での実行、または装置７２のターンオフとすることができる。装置はＯＳコマンドが実行されたという表示を提供することができる。たとえば、仮想キーボード上のキーの押下に相当するＯＳコマンドは、仮想キーボード上の押下されたキーを画面４上に簡単に示す、あるいはキーの外観を簡単に変えることで表示することができる。ＯＳコマンドが実行されたことを表示する他の可能性は、画面４上の押下されたキーまたはカーソルの外観を簡単に拡大するさもなくば変える、画面４上にアイコンをディスプレーする、音を発生する、および装置を振動させる、ことを含む。

図７はパターン検出モジュール５６により認識することができるモーションパターン、および装置７２のタイプに応じてＯＳコマンドを実行するのにモーションパターンをどのように使用できるかの例を示す。動き１００は装置７２に向けて手を動かすことからなる。動き１０２は装置７２に向けて手を動かし、次に、装置から手を遠ざけることからなる。動き１０４は装置の上で手を左から右へ動かすことからなり、動き１０６は装置の上で手を右から左へ動かすことからなる。

Claims

ビデオストリームの中のオブジェクト検出および追跡システムであって、
（ａ）オブジェクト検出モジュールおよびオブジェクト追跡モジュールを含むプロセッサを含み、
前記オブジェクト検出モジュールは、
（ｉ）前記ビデオストリームの中の２つ以上の各フレーム内の１つ以上の関心領域の各々に対して、前記関心領域が被追跡オブジェクトの少なくとも一部を含む確率を計算し、
（ｉｉ）前記計算された確率に従って前記２つ以上の各フレーム内の前記関心領域を分類して各ビデオフレームに対する関心領域（ＲＩ）フレームを発生し、前記ＲＩフレームは関心領域の前記分類を報告するように構成されており、
かつ、前記オブジェクト追跡モジュールは、
（ｉ）前記オブジェクト検出モジュールにより発生された２つのＲＩフレームを比較して前記オブジェクトの動きを決定する、ように構成されているシステム。
請求項１記載のシステムであって、前記オブジェクト追跡モジュールは１つ以上のパターン検出モジュールを含み、各パターン検出モジュールはタイムウィンドウ中の前記追跡されたオブジェクトの動きの特定パターンが前記タイムウィンドウ中に発生した確率を計算するように構成されているシステム。
請求項２記載のシステムであって、前記オブジェクト追跡モジュールは、さらに、前記１つ以上のパターン検出モジュールにより発生された前記確率に基づいて発生した可能性が最も高いモーションパターンを決定するモーション認識モジュールを含んでいるシステム。
請求項２記載のシステムであって、前記モーション認識モジュールの前記決定は外部信号を考慮するシステム。
前記請求項のいずれか１項記載のシステムであって、さらに、動きの識別されたパターンに関連するＯＳコマンドを実行するように構成されたオペレーティングシステム（ＯＳ）コマンド実行モジュールを含むシステム。
前記請求項のいずれか１項記載のシステムであって、関心領域が被追跡オブジェクトの少なくとも一部を含む前記確率は、
（ａ）前記ビデオストリームの中の各フレーム内の１つ以上の関心領域の各々に対して、前記関心領域内の前記ピクセルの統計的解析を計算し、
（ｂ）前記ビデオストリームの１つ以上の前のフレーム内の前記関心領域の前記統計的解析を伴う計算における前記関心領域の離散的分類を計算する、
ステップを含む方法により得られるシステム。
請求項６記載のシステムであって、前記統計的解析は前記関心領域のピクセルで定義された１つ以上の関数の各々に対してヒストグラムを発生するステップを含むシステム。
請求項７記載のシステムであって、前記１つ以上の関数は、
（ａ）前記ピクセルのレッド、グリーン、またはブルーの前記色の任意１つの強度、
（ｂ）前記ピクセルの色相、彩度または輝度のいずれか１つ、
を含むグループから選択されるシステム。
請求項７または８記載のシステムであって、さらに、前記１つ以上の関数の統計的パラメータの値を計算するステップを含むシステム。
請求項９記載のシステムであって、前記統計的パラメータの１つ以上は、
（ａ）平均、
（ｂ）モード、
（ｃ）標準偏差、および
（ｄ）分散
を含むグループから選択されるシステム。
請求項７から１１０のいずれか１項記載のシステムであって、前記統計的解析は、さらに、１つ以上の発生されたヒストグラムと前記被追跡オブジェクトの前記存在を示すヒストグラム間の距離を計算するステップを含むシステム。
請求項５から１１のいずれか１項記載のシステムであって、２つ以上のＲＩフレームを比較するステップは、
（ａ）各フレーム、および前記フレーム内の前記分類された関心領域の各々に対して、関心領域の前記分類を前記フレームを含むタイムウィンドウ内で得られた複数のフレーム内の前記関心領域の前記分類と比較し、
（ｂ）前記比較に基づいて、前記選択された関心領域が前記被追跡オブジェクトを含むか否かを決定し、
（ｃ）この決定に基づいて、前記関心領域が前記被追跡オブジェクトを含むか否かに従って、前記関心領域を再分類し、
（ｄ）タイムウィンドウ中の２つ以上の前記領域の前記状態の変化に基づいて、前記オブジェクトの動きの１つ以上の追跡パラメータを計算する、
ステップを含むシステム。
請求項１２記載のシステムであって、前記追跡パラメータは、
（ａ）前記オブジェクトの動きの方向、
（ｂ）前記オブジェクトの動きの速度、
（ｃ）前記オブジェクトの加速度、
（ｄ）ピクセル内の前記オブジェクトの幅、
（ｅ）ピクセル内の前記オブジェクトの高さ、
（ｆ）前記フレーム内の前記オブジェクトの位置、
を含むグループから選択されるシステム。
ビデオストリームの中のオブジェクト検出および追跡方法であって、
（ｉ）前記ビデオストリームの中の２つ以上の各フレーム内の１つ以上の関心領域の各々に対して、前記関心領域が被追跡オブジェクトの少なくとも一部を含む確率を計算し、
（ｉｉ）前記計算された確率に従って前記２つ以上の各フレーム内の前記関心領域を分類して各ビデオフレームに対する関心領域（ＲＩ）フレームを発生し、前記ＲＩフレームは関心領域の前記分類を報告し、
（ｉ）前記オブジェクト検出モジュールにより発生された２つ以上のＲＩフレームを比較して前記オブジェクトの動きを決定する、ステップを含む方法。
請求項１４記載の方法であって、関心領域が前記被追跡オブジェクトの少なくとも一部を含む前記確率は、
（ａ）前記ビデオストリームの中の各フレーム内の１つ以上の関心領域の各々に対して、前記関心領域内の前記ピクセルの統計的解析を計算し、
（ｂ）前記ビデオストリームの１つ以上の前のフレーム内の前記関心領域の前記統計的解析を伴う計算における前記関心領域の離散的分類を計算する、
ステップを含む方法により得られる方法。
請求項１５記載の方法であって、前記統計的解析は前記関心領域のピクセルで定義された１つ以上の関数の各々に対してヒストグラムを発生するステップを含む方法。
請求項１６記載の方法であって、前記１つ以上の関数は、
（ａ）前記ピクセルのレッド、グリーン、またはブルーの前記色の任意１つの強度、および、
（ｂ）前記ピクセルの色相、彩度または輝度のいずれか１つ、
を含むグループから選択される方法。
請求項１６または１７記載の方法であって、さらに、前記１つ以上の関数の統計的パラメータの値を計算するステップを含む方法。
請求項１８記載の方法であって、前記統計的パラメータの１つ以上は、
（ａ）平均、
（ｂ）モード、
（ｃ）標準偏差、
（ｄ）分散
を含むグループから選択される方法。
請求項１６から１９のいずれか１項記載の方法であって、前記統計的解析は、さらに、１つ以上の発生されたヒストグラムと前記被追跡オブジェクトの前記存在を示すヒストグラム間の距離を計算するステップを含む方法。
請求項１４から２０のいずれか１項記載の方法であって、２つ以上のＲＩフレームを比較する前記ステップは、
（ａ）各フレーム、および前記フレーム内の前記分類された関心領域の各々に対して、前記関心領域の前記分類を前記フレームを含むタイムウィンドウ内で得られた複数のフレーム内の前記関心領域の前記分類と比較し、
（ｂ）前記比較に基づいて、前記選択された関心領域が前記被追跡オブジェクトを含むか否かを決定し、
（ｃ）この決定に基づいて、前記関心領域が前記被追跡オブジェクトを含むか否かに従って、前記関心領域を再分類し、
（ｄ）タイムウィンドウ中の２つ以上の前記領域の前記状態の変化に基づいて、前記オブジェクトの動きの１つ以上の追跡パラメータを計算する、
ステップを含む方法。
請求項２１記載の方法であって、前記追跡パラメータは、
（ａ）前記オブジェクトの動きの方向、
（ｂ）前記オブジェクトの動きの速度、
（ｃ）前記オブジェクトの加速度、
（ｄ）ピクセル内の前記オブジェクトの幅、
（ｅ）ピクセル内の前記オブジェクトの高さ、
（ｆ）前記フレーム内の前記オブジェクトの位置、
を含むグループから選択される方法。
請求項１から１３のいずれか１項記載のシステムを含むデータ処理装置。
請求項２３記載のデータ処理装置であって、
（ｐ）パーソナルコンピュータ（ＰＣ）、
（ｑ）ＰＤＡまたはラップトップ等のポータブルコンピュータ、
（ｒ）携帯電話、
（ｓ）ラジオ、
（ｔ）エンターテインメント装置、
（ｕ）スマートホーム、
（ｖ）車両、
（ｗ）デジタルカメラ、
（ｘ）キッチン用品、
（ｙ）メディアプレーヤまたはメディアシステム、
（ｚ）ロケーションベース装置、
（ａａ）携帯ゲーム機、
（ｂｂ）ピコプロジェクタまたは埋め込みプロジェクタ、
（ｃｃ）医療ディスプレー装置、
（ｄｄ）インカー／インエア情報システム、
を含むグループから選択されるデータ処理装置。
請求項２３または２４記載の装置であって、さらに、ビデオカメラおよびディスプレー画面の一方または両方を含む装置。
請求項２記載の装置であって、前記追跡されたオブジェクトの動きの１つ以上の前記パターンは、
（ａ）ピクセル内の前記オブジェクトの幅が前記タイムウィンドウ中に増加した、
（ｂ）ピクセル内の前記オブジェクトの幅が前記タイムウィンドウ中に減少した、
（ｃ）前記オブジェクトが前記カメラにより近く動いた、
（ｄ）前記オブジェクトが前記カメラから離れるように動いた、
（ｅ）前記オブジェクトが予め定められたパス内を動いた、
（ｆ）前記オブジェクトが回転した、
（ｇ）前記オブジェクトが静止していた、
（ｈ）前記オブジェクトが任意タイプの動きをした、
（ｉ）前記オブジェクトがフリッキング・モーションを行った、
（ｊ）前記オブジェクトが加速した、
（ｋ）前記オブジェクトが減速した、および、
（ｌ）前記オブジェクトが動いた後で停止した、
を含むグループから選択される装置。
請求項２２から２６のいずれか１項記載の装置であって、前記プロセッサは、さらに、動きの識別されたパターンに関連する前記装置のＯＳコマンドを実行するように構成されたオペレーティングシステム（ＯＳ）コマンド実行モジュールを含む装置。
請求項２７記載の装置であって、前記ＯＳコマンドの１つ以上は、
（ａ）前記装置のディスプレー画面上にディスプレーされる仮想キーを押下する、
（ｂ）前記装置のディスプレー画面上に現れるカーソルを前記画面上の新しい位置へ動かす、
（ｃ）選択カルーセルを回転させる、
（ｄ）デスクトップ間を切り替える、
（ｅ）予め定められたソフトウエア・アプリケーションを前記中央処理装置上で実行する、
（ｆ）アプリケーションをターンオフする。
（ｇ）前記スピーカをターンオンまたはオフする、
（ｈ）音量を上げ下げする、
（ｉ）メディアプレーヤ内またはＩＰＴＶチャネル間で前記次または前のトラックへスキップする、
（ｊ）ＧＰＳアプリケーションを制御する、
（ｋ）ボイスメールサービスをスイッチオンする、
（ｌ）写真／音楽アルバムギャラリ内でナビゲートする、
（ｍ）ウェブページ、メール、ドキュメントまたはマップをスクロールする、
（ｎ）携帯ゲーム内のアクションを制御する、
（ｏ）インタラクティブビデオまたはアニメイテッドコンテンツを制御する、
を含むグループから選択される装置。
コンピュータプログラムがコンピュータ上で実行される時に請求項１４から２２のいずか１項記載の前記ステップの全てを実施するコンピュータプログラムコード手段を含むコンピュータプログラム。
請求項２９記載のコンピュータプログラムであって、コンピュータ読取可能媒体上に具現化されるコンピュータプログラム。