JP2011513876A - 物体の動作を特徴づけるための方法およびシステム - Google Patents

物体の動作を特徴づけるための方法およびシステム Download PDF

Info

Publication number
JP2011513876A
JP2011513876A JP2010550654A JP2010550654A JP2011513876A JP 2011513876 A JP2011513876 A JP 2011513876A JP 2010550654 A JP2010550654 A JP 2010550654A JP 2010550654 A JP2010550654 A JP 2010550654A JP 2011513876 A JP2011513876 A JP 2011513876A
Authority
JP
Japan
Prior art keywords
feature
apparent
size
image
operating parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010550654A
Other languages
English (en)
Inventor
ボーマン,ギルバート,エイ.
グレンリー,ジョージ,アール.
コブ,リチャード,イー.
ラハティ,マーク,シー.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TRIGONIMAGERY LLC
Original Assignee
TRIGONIMAGERY LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TRIGONIMAGERY LLC filed Critical TRIGONIMAGERY LLC
Publication of JP2011513876A publication Critical patent/JP2011513876A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

物体の動きは、物体の複数のピクセル画像のデータに基づいて特徴づけられる。物体の輪郭は、物体の各ピクセル画像のデータから抽出されてもよい。輪郭の形状および/または位置の時間上の変化は、物体に関連した速度を求めるのに用いられてもよい。
【選択図】図1

Description

関連する特許出願の相互参照
本出願は、2007年3月9日に提出された米国仮出願第60/894,029号明細書の利益を主張する。
本発明は、物体の動作を特徴づけるための方法とシステムに関する。
動いている物体の速度を求める幾つかの技術が知られている:(a)直接的で能動的な測定では、一般に電磁場(例えば無線、赤外線、可視光線)、または音場(例えば超音波)が測定される物体に向けられる。次いで、反射されたエネルギが分析されて物体の速度および/または距離を求める。このような直接的で能動的な測定を実行するシステムの実施例は、レーダとライダを含む。(b)機械的な測定では、動いている物体が検出器のトリガとなるように、検出器の配置が決められ、トリガイベント間の時間差を用いて速度を計算する。この検出器は、例えば光線または機械スイッチでもよい。(c)焦点分析では、正しい焦点、すなわち、物体と画像検出素子との間の画像形成レンズの正しい設定に対して電子的に検出された画像が分析される。このような分析(例えば、画像コントラスト強調、視差分析)は、物体までの距離を得る。焦点距離の変化の計算は、物体の速度成分の計算を可能にする。
少なくとも1つの特徴を有する物体の動作を特徴づける方法は、前記物体のピクセル画像のデータから前記少なくとも1つの特徴の見掛け形状と見掛けサイズとを規定する複数のピクセルデータを特定するステップと、前記少なくとも1つの特徴の見掛け形状に基づいて複数の所定の特徴クラスの1つに前記少なくとも1つの特徴を分類するステップとを含む。また、当該方法は、前記分類に基づいて前記少なくとも1つの特徴の実サイズを推定し、前記推定された少なくとも1つの特徴の実サイズと、前記少なくとも1つの特徴の見掛けサイズと、前記少なくとも1つの特徴の見掛けサイズの変化とに基づいて物体の動作パラメータを求めるステップと、を含む。
少なくとも1つの特徴を有する物体の動作を分析するシステムは、処理装置を含む。当該処理装置は、前記物体の複数のピクセル画像を受信し、前記物体の複数のピクセル画像の各々から前記少なくとも1つの特徴の輪郭を抽出し、前記物体の複数のピクセル画像の各々の中の前記少なくとも1つの特徴の見掛け位置を求めるよう構成されている。また、当該処理装置は、前記物体の複数のピクセル画像の各々について前記少なくとも1つの特徴の見掛けサイズを求め、前記輪郭の少なくとも1つに基づいて前記少なくとも1つの特徴の実サイズを推定し、前記推定された少なくとも1つの特徴の実サイズと、前記少なくとも1つの特徴の見掛けサイズと、(i)前記少なくとも1つの特徴の輪郭および(ii)前記少なくとも1つの特徴の見掛け位置の少なくとも一方とに基づいて前記物体の動作のパラメータを求めるよう構成されている。
物体の動作を分析するシステムは、処理装置を含む。当該処理装置は、前記物体の複数のピクセル画像の画像入力と前記物体の推定されたサイズのサイズ入力とを受信するよう構成されている。また、当該処理装置は、前記画像入力と前記サイズ入力とに基づいて前記物体の速度を求め、前記求められた物体の速度の出力を提供するよう構成されている。
本発明に係る例示的な実施形態が示され開示されるが、この開示は本発明を限定するよう解釈すべきでない。本発明の範囲から外れずに様々な変更と設計代案がなされてもよいことが想定される。
図1は、本発明の実施例に係る動作分析システムのブロック図である。 図2は、本発明の別の実施例に係る別の動作分析システムのブロック図である。 図3は、本発明の実施例に係る計算論理モジュールのブロック図である。 図4は、本発明の実施例に係る表示およびオーバーレイ論理モジュールのブロック図である。 図5は、図1の出力デバイスの拡大図である。
動いている物体の速度を求める既知技術には幾つかの問題が存在する。例えば、直接的で能動的な測定技術が検出可能である。サードパーティは、電気磁気あるいは音場の存在を検出するであろう。機械的な測定技術は、物体の経路が前もって既知であることを必要とするため、検出器がその経路に配置されるであろう。これらの検出器は、環境上の干渉に影響され易いであろう。焦点分析技術は、弱い光の状況では効果がなく、レンズは、1つの距離にしか最適に焦点を合わせることができないので、同時に複数の物体の速度を計算することができない。さらに、上記技術は、事後ではなく、物体が移動している間に行われなければならない。
本発明の幾つかの実施例は、動いている物体の動きを特徴づける。この特徴づけは、動いている物体自体ではなく、動いている物体のデジタル記録あるいはフィルム記録に基づいてもよい。補助的な光源あるいはその他の場源(field source)は必要としない。そのため、これらの実施例は使用時に検出不能でもよい。
一連の画像のフレームは、これらの環境から物体を離して分析されてもよい。特定された物体のフレームからフレームへの動作が追跡され、例えば、特定された物体の各々に関連した速度を求める。この情報は、物体の画像と共に表示されてもよい。例えば、速度情報は、その関連する物体に重ねられ、あるいは隣りに表示されてもよい。また、速度情報は別個の装置に表示されてもよい。
図1を参照すると、レンズ10は、電子画像センサ14上に環境12の画像を投影する。CMOSまたはCCD画像センサを用いてもよい。もちろん、イメージオルシコンなどのその他の適切な画像センサを用いてもよい。この画像は電子走査回路16によって走査され、電子データの記憶装置18、例えばメモリに格納される。スキャニングとアナログ/デジタル変換が可能で商業上利用可能な電子走査回路を用いてもよい。しかしながら、適切なカスタム回路を用いてもよい。メモリは、SRAM、DRAMあるいはその他の適切な種類のデジタルメモリでよい。
計算論理モジュール20は、メモリ18に格納された画像要素を分析し、選択された画像要素の動作を特徴づける。以下で論じられるように、計算論理モジュール20は全ての画像に比べて動いているピクセルの領域を特定し、これらの領域を分析して幾何学的形状(例えば、円、正方形など)および/または実世界の物体(例えば、顔、自動車など)としてそれらを分類する。
計算論理モジュール20は、適切なアルゴリズムのファームウェアを持つマイクロプロセッサもしくはデジタル信号プロセッサまたはソフトウェアでよい。しかしながら、必要ならば高速な処理速度を提供するために専用の計算論理ブロックを用いてもよい。
以下で論じられるように、計算論理モジュール20からの情報は表示およびオーバーレイ論理モジュール22に送られ、これはメモリ18からの画像データと組み合わされて、出力デバイス24に表示される。
計算論理モジュール20と同様に、表示およびオーバーレイ論理モジュール22は、適切なアルゴリズムのファームウェアを持つマイクロプロセッサもしくはデジタル信号プロセッサでよい。また、その他の実装と構成も可能である。
図2を参照すると、電子走査回路116に一連の画像を送るために、画像記憶装置128は画像再生成論理モジュール126によってアクセスされる。これらの画像は、電子走査回路116によって走査され、メモリ118に格納される。(図1の符号付きの素子に比べて100だけ異なる図2の符号付き素子は、図1の符号付き素子と類似の説明を有するが、必ずしも同一の説明ではない。)
図1に関して論じられたように、計算論理モジュール120は、メモリ118に格納された画像要素を分析し、選択された画像要素の動作を特徴づける。計算論理モジュール120からの情報は表示およびオーバーレイ論理モジュール122に送られ、これはメモリ118からの画像データと組み合わされて、出力デバイス124に表示される。
図3を参照すると、メモリインタフェース32は、メモリ18から格納された画像情報を読み出す。各画像は、「ピクセルの海(sea of pixels)」であり、取り込まれた画像内の物体または物体の部分に関する情報を全く直接的に含んでいない。このため、物体分析部34は、画像内の物体(または物体の部分)を特定し、これらが動いているかどうかを求める。
物体分析部34は、各画像を調べ、背景から輪郭を抽出し、各画像内のこれらの輪郭の見掛けサイズと見掛け位置とを記録する。これらの輪郭は、物体の一部(例えば車両のホイール、顔の鼻、野球ボールの縫い目など)でもよいし、あるいは物体全体(例えば野球ボール)でもよい。輪郭の見掛けサイズと見掛け位置とは数学的な係数を含むデータベーススキーマとして表され、これは物体の抽象的な幾何学的特性を表す。しかしながら、その他の実施例では、任意の適切な表現法を用いてもよい。
図3の物体分析部34は、エッジ分析技術によりこの情報を抽出する。また、H.264あるいはMPEG−4の画像圧縮で用いられる物体識別あるいは動き推定アルゴリズムなどの任意の適切な技術を用いてもよい。画像が分析され、「エッジ」ピクセルが記録される。隣接ピクセルが比較され、色または輝度に実質的差異があるかどうかを求める。もしあれば、この差異がエッジを規定してもよい。次いで、「エッジ」ピクセルは全て分析され、これらがその他の「エッジ」ピクセルに隣接しているかどうかを求める。そうでないものは廃棄される。残存する「エッジ」ピクセルがラインを表す。これらのラインは、直線かもしれないし、または湾曲しているかもしれないし、開いているかもしれないし、または閉じているかもしれない。このラインが分析され、これらの端点を検出する。端点が検出されない場合、あるいは端点が共に密接している場合、ラインは輪郭であるとみなされる。
輪郭は、任意の適切な画像認識技術(例えば、ニューラルネットワーク、ヒューリスティックなど)を用いて、メモリ36に格納された既知の物体に対応する既知の輪郭データベースと比較される。例えば、既知の輪郭データベースと抽出された輪郭との比較が、抽出された輪郭が自転車のタイヤであることを明らかにするであろう。このデータベースはさらに、既知の物体の各々に関連した寸法を含む。このため、物体の実サイズは既知の物体に関するその分類に基づいて推定されてもよい。例えば、自転車のタイヤとして特定され抽出された輪郭は、推定された実直径30インチを割り当てられるかもしれない。
観察装置から物体までの実距離は、輪郭の見掛けサイズと物体の推定された実サイズとに基づいて計算されてもよい。例えば、野球ボールは2.866インチの直径Dを有していると知られている。野球ボールの見掛け角度幅Aは、画像から既知である。(これは画像の全幅の一部である。)三角法から、
Figure 2011513876
ここでdは、野球ボールまでの距離である。以下で説明されるように、この情報は、物体が移動しているかどうかを求めるのに用いてもよい。
その他の実施例では、例えば、動き分析部34によって使用されるアルゴリズムにカメラのオートフォーカスの焦点情報を取り込み、実サイズが既知でない物体までの距離を求めるのに役立ててもよい。この焦点情報の使用により、単に物体の近似サイズを想定した場合と比べて速度計算の精度を改善するであろう。
また、抽出された輪郭は、例えば任意の適切な曲線適合法を用いて、幾つかの幾何学的なカテゴリ(例えば、正方形、矩形、円、楕円、台形など)の1つに分類されてもよい。輪郭のピクセルに対応するデータは、各カテゴリに関連した式に「適合」される。次いで、適合係数が計算される。物体の輪郭は、最良の適合係数を得られる何れかのカテゴリに分類され、メモリ36の画像の物体リストに格納される。以下で論じられるように、この情報は、物体が移動しているかどうかを求めるのに用いてもよい。
図3の実施例では、上記分析がデータの各フレームに対して行われる。新しい物体リストはそれぞれ前の物体リストと比較される。フレームからフレームへ位置、サイズおよび/または幾何学的分類を変更する輪郭は、動いている物体とみなされる。物体分析部34は、この全ての物体のリストをメモリ36に格納する。
物体分析部34からの出力データ構造は一般に、ピクセルの単位で表現され、輪郭の位置とサイズを表す情報を含んでよい。動き分析部38は、メモリ36に格納された1または複数のデータ構造を調べて、物体に関する動作を求める。
物体の輪郭に関するフレームからフレームへの変化の分析により、輪郭に関する物体の動作の実世界情報が得られる。図3の実施例では、動き分析部38がデータ構造を介してこの情報を取り込む。一実施例では、動き分析部38で用いられる動き推定アルゴリズムが、デカルト座標で、輪郭の現在の位置およびサイズと、輪郭の推定の位置およびサイズを特定するデータ構造を作成する。別の実施例では、動き分析部38で用いられる動き推定アルゴリズムが、輪郭の初期の位置、サイズおよび速度を特定するデータ構造を作成する。しかしながら、任意の適切なデータ構造を用いてもよい。
輪郭のサイズおよび/または位置の変化は、物体の動きを表す。例えば、サイズが増加している物体の輪郭は、物体が視聴者に近づいていることを表す。幾何学的分類の変化は、回転を表す。例えば、矩形から正方形への分類の変化は、物体が視聴者に対して回転していることを表す。もちろん、物体は変形し回転するであろう。この変形と回転は、サイズおよび/または位置が変化し、幾何学的分類が変化している物体の輪郭から明らかであろう。
図3の実施例では、動き分析部38がフレームからフレームへの輪郭の差を分析することによって物体に関する動きを特徴づける。輪郭の見掛けサイズの変化は、観察者から離れる動き、または観察者へ近づく動きを求めるのに用いられてもよい。例えば、物体が第1フレームの画像で10フィート離れており、第2フレームの画像で12フィート離れていると求められた場合、物体は観察者から2フィート遠くへ動いている。タイマ42(例えば、マイクロプロセッサシステムに一般に含まれる水晶制御デジタルタイマ)によって提供される、2つのフレーム間の時間でこの距離を割ることによって、速度成分(物体に関する速度接近/離脱)が得られるであろう。
輪郭の見掛け位置の変化は、観察者に対して横切る動作を求めるのに用いられてもよい。例えば、輪郭が第1フレームの画像内の位置(0,0)に位置し、第2フレームの画像内の位置(0,1)に位置する場合、輪郭は観察者の右側へ1単位動いている。推定された物体の実サイズと、輪郭に関する見掛け位置の変化は、観察者の右側へ移動した実距離を求めるのに用いられてもよい。野球ボールの例を用いると、それ自体のサイズに換算して画像の動きを計算することができ、例えば、野球ボールが視界を横切って直径の2.4倍動いた場合、これは2.4×2.866インチ動いたことになる。タイマ42によって提供される2つのフレーム間の時間でこの距離を割ることによって、別の速度の成分(物体に関する速度横切り)が得られるであろう。
図3の実施例では、タイマ42は、2つの連続するフレーム間の既知の時間に2つの実施例が取り込まれる間のフレーム数を掛けることによって、2つのフレーム間の時間を求める。(USのテレビ/映像は29.997フレーム/秒である。この値の逆数はフレーム時間である。EUのテレビ/映像は25フレーム/秒である。最新の映画は24フレーム/秒である。)しかしながら、その他の実施例では、別の技術を用いてもよい。
上記速度成分により、例えば、以下の関係を用いて物体の合成速度を得てもよい。
Figure 2011513876
また、その他のアプローチも可能である。例えば、観察者へ近づく/離れる距離と、観察者に対して横切って動く距離とにより、上記と同様の計算を用いて動作の合成距離を解いてもよい。次いで、この合成距離を2つのフレーム間の時間で割って合成速度を求めてもよい。もちろん、回転を含むものなどその他の種類の動作は、より複雑な計算を必要とするであろう。しかしながら、これらの計算は任意の適切な技術を用いて行われてもよい。
計算論理モジュール20の関数は、様々な方法で実装されるであろう。例えば、幾つかの実施例の計算論理モジュール20は、動いているピクセル領域を特定し、ピクセル領域を実体物(例えば、顔もしくは自動車)として認識する。これらの作業が行われる順序は、実装に依存して変化するであろう。言い換えれば、初めに画像内でできるだけ多くの実体物(顔、自動車など)を特定し、次いで、それらの動きを推定することも可能であり、あるいは初めに動いている領域を推定し、次いでそれらを特定することも可能である。もちろん、並列して双方の作業を行うことも可能である。
幾つかの状況では、カメラ自体が動いているかもしれない。幾つか実施例は、この動きを検出し、カメラの速度を計算し、これをその他の速度を修正するのに用いることができる。例えば、動き分析部38が画像内の複数の物体の動きを求めた後、全て(または殆ど)の物体に共通する動き分析を行う。物体が右から左へ動いている場合には大抵、カメラは左から右へ動いている。物体が画像中心から全ての4つの端へ離れて動いている場合には大抵、カメラが近づいているか、あるいは接近して動いている。
メモリインタフェース44は、物体を表すデータ構造(例えば、位置、速度など)をメモリ46(図4)に書き込む。メモリインタフェース44は、新しいデータが必要とされる度にこのデータ構造を更新する。図3の実施例では、メモリインタフェース44は、特殊なデータベースとして見られてもよく、物体認識データを表すのに非常に効率的である適切なスキーマが設計される。
ここで図4を参照すると、タイマ48は、走査論理モジュール50を駆動してメモリ18からメモリインタフェース52を介して画像情報を読み出す。タイマ48からタイミングパルスは、デジタルカウンタを駆動し、これはインターフェイス52を介してメモリ18のアドレスとして用いられる。走査論理モジュール50は、制御論理モジュール54に現在の走査位置を送信し、制御論理モジュール54はそれをメモリ46に格納された動いている物体のリストと比較する。(図4の実施例では、メモリ46が計算論理モジュール20によって規則的に更新されていることに注意されたい。この最新版は、例えば、物体の現在の位置と速度を含む。)
制御論理モジュール54は、動いている物体のリストを検索し、現在走査された位置に何れかが配置されているかどうかを調べる。図4の実施例では、この検索は連想記憶に基づくが、その他の検索方法を用いてもよい。制御論理モジュール54が一致を検出するとき、速度データがメモリ46に格納され、文字形式(例えば、数字「55」や文字「mph」)を生成し、表示画像の領域に速度情報を重ねるようオーバーレイ論理モジュール56に命令する。オーバーレイ論理モジュール56は、使用される出力デバイス24の種類に適した任意の適切な技術を用いて、出力デバイスドライバ58を介して出力デバイス24に結合情報を送信する。
図4の実施例では、基本的なオーバーレイ技術は、既に使用されているオーバレイ機能と同様であり、画像に画像を挿入するか、または別の画像に小さな矩形の1のビデオ画像を重ねる。しかしながら、その他の実施例では、任意の適切な表示技術を用いてもよい。
ここで図5を参照すると、表示デバイス24は、速度情報なしに木や家などの静止物体を表示するが、動いている物体(すなわち、自動車)上に速度情報、例えば「55mph」を重ねる。また、表示デバイス24は、「kph」で自動車の速度と、観察装置と自動車との間の距離(すなわち「200メートル」)とを表示する。しかしながら、その他の実施例では、この速度とその他の動き情報が、分析されている物体の画像とは別に表示されてもよい。
当業者は、本書で記載された技術が様々な構成および状況で実装されうることを認識するであろう。例えば、軍事の弾道標的システムあるいはスポーツ活動は、その現在の位置と求めた速度とに基づいて移動目標の推定位置を推定するであろう。野球競技は、ボールがピッチャーによって投げられるとき、ボールの軌道、回転および速度に関する情報と共に分析され放送されるであろう。接近する走行車両の速度は、この接近する走行車両と交差する経路へいつ曲がるのが安全かを表示するために推定されるであろう。
本発明の実施例が示され記載されてきたが、これらの実施例は本発明のあらゆる可能な形態を示し記載するよう意図されていない。むしろ、明細書で用いられる用語は、限定ではなく説明のための用語であり、本発明の趣旨と範囲から外れずに様々な変化がなされてもよいことを理解されたい。

Claims (25)

  1. 少なくとも1つの特徴を有する物体の動作を特徴づける方法であって、当該方法が、
    前記物体のピクセル画像のデータから前記少なくとも1つの特徴の見掛け形状と見掛けサイズとを規定する複数のピクセルデータを特定するステップと;
    前記少なくとも1つの特徴の見掛け形状に基づいて複数の所定の特徴クラスの1つに前記少なくとも1つの特徴を分類するステップと;
    前記分類に基づいて前記少なくとも1つの特徴の実サイズを推定するステップと;
    前記推定された少なくとも1つの特徴の実サイズと、前記少なくとも1つの特徴の見掛けサイズと、前記少なくとも1つの特徴の見掛けサイズの変化とに基づいて物体の動作パラメータを求めるステップと、を含むことを特徴とする方法。
  2. 請求項1に記載の方法において、前記複数のピクセルデータがさらに前記少なくとも1つの特徴の見掛け位置を規定し、前記求められた物体の動作パラメータがさらに前記少なくとも1つの特徴の見掛け位置の変化に基づくことを特徴とする方法。
  3. 請求項1に記載の方法において、前記求められた物体の動作パラメータがさらに前記少なくとも1つの特徴の見掛け形状の変化に基づくことを特徴とする方法。
  4. 請求項1に記載の方法がさらに、前記物体のピクセル画像と共に前記求められた動作パラメータの描画を表示するステップを含むことを特徴とする方法。
  5. 請求項1に記載の方法がさらに、前記物体が移動しているかどうかを求めるステップを含むことを特徴とする方法。
  6. 請求項1に記載の方法において、前記求められた動作パラメータが前記物体の速度を含むことを特徴とする方法。
  7. 請求項1に記載の方法において、前記物体の動作パラメータを求めるステップが、前記物体が回転しているかどうかを求めるステップを含むことを特徴とする方法。
  8. 請求項1に記載の方法において、前記少なくとも1つの特徴が、前記物体の輪郭を含むことを特徴とする方法。
  9. 請求項1に記載の方法において、前記少なくとも1つの特徴が、前記物体の一部の輪郭を含むことを特徴とする方法。
  10. 請求項1に記載の方法において、前記少なくとも1つの特徴の見掛け形状に基づいて複数の所定の特徴クラスの1つに前記少なくとも1つの特徴を分類するステップが、前記少なくとも1つの特徴の見掛け形状を前記所定の特徴クラスに対応する複数の形状と比較するステップを含むことを特徴とする方法。
  11. 請求項1に記載の方法において、前記複数の所定の特徴クラスが、複数の所定の幾何学的形状を含むことを特徴とする方法。
  12. コンピュータ読み取り可能な記憶媒体において、コンピュータに請求項1に記載の方法を実行するよう命令するための情報が保存されていることを特徴とする記憶媒体。
  13. 特徴を有する物体の動作を特徴づけるシステムにおいて、当該システムが、
    前記物体のピクセル画像の入力を受信し、
    前記物体のピクセル画像の入力から少なくとも1つの特徴の見掛け形状と見掛けサイズとを規定する複数のピクセルデータを特定し、
    前記少なくとも1つの特徴の見掛け形状に基づいて複数の所定の特徴クラスの1つに前記少なくとも1つの特徴を分類し、
    前記分類に基づいて前記少なくとも1つの特徴の実サイズを推定し、
    前記推定された少なくとも1つの特徴の実サイズと、前記少なくとも1つの特徴の見掛けサイズと、前記少なくとも1つの特徴の見掛けサイズの変化とに基づいて物体の動作パラメータを求め、
    前記求められた動作パラメータの出力を提供するよう構成されたコンピュータを具えることを特徴とするシステム。
  14. 請求項13に記載のシステムにおいて、前記複数のピクセルデータがさらに前記少なくとも1つの特徴の見掛け位置を規定し、前記求められた物体の動作パラメータがさらに前記少なくとも1つの特徴の見掛け位置の変化に基づくことを特徴とするシステム。
  15. 請求項13に記載のシステムにおいて、前記求められた物体の動作パラメータがさらに前記少なくとも1つの特徴の見掛け形状の変化に基づくことを特徴とするシステム。
  16. 請求項13に記載のシステムにおいて、前記コンピュータがさらに前記物体のピクセル画像と共に前記求められた動作パラメータの描画を表示するよう構成されていることを特徴とするシステム。
  17. 請求項13に記載のシステムにおいて、前記コンピュータがさらに、前記物体が移動しているかどうかを求めるよう構成されていることを特徴とするシステム。
  18. 請求項13に記載のシステムにおいて、前記求められ動作パラメータが前記物体の速度を含むことを特徴とするシステム。
  19. 請求項13に記載のシステムにおいて、前記物体の動作パラメータを求めるステップが、前記物体が回転しているかどうかを求めるステップを含むことを特徴とするシステム。
  20. 請求項13に記載のシステムにおいて、前記少なくとも1つの特徴が前記物体の輪郭を含むことを特徴とするシステム。
  21. 請求項13に記載のシステムにおいて、前記少なくとも1つの特徴が前記物体の一部の輪郭を含むことを特徴とするシステム。
  22. 請求項13に記載のシステムにおいて、前記少なくとも1つの特徴の見掛け形状に基づいて複数の所定の特徴クラスの1つに前記少なくとも1つの特徴を分類するステップが、前記少なくとも1つの特徴の見掛け形状を前記所定の特徴クラスに対応する複数の形状と比較するステップを含むことを特徴とするシステム。
  23. 請求項13に記載のシステムにおいて、前記複数の所定の特徴クラスが複数の所定の幾何学的形状を含むことを特徴とするシステム。
  24. 少なくとも1つの特徴を有する物体の動作を分析するシステムであって、当該システムが、
    前記物体の複数のピクセル画像を受信し、
    前記物体の複数のピクセル画像の各々から前記少なくとも1つの特徴の輪郭を抽出し、
    前記物体の複数のピクセル画像の各々の中の前記少なくとも1つの特徴の見掛け位置を求め、
    前記物体の複数のピクセル画像の各々について前記少なくとも1つの特徴の見掛けサイズを求め、
    前記輪郭の少なくとも1つに基づいて前記少なくとも1つの特徴の実サイズを推定し、
    前記推定された少なくとも1つの特徴の実サイズと、前記少なくとも1つの特徴の見掛けサイズと、(i)前記少なくとも1つの特徴の輪郭および(ii)前記少なくとも1つの特徴の見掛け位置の少なくとも一方とに基づいて前記物体の動作パラメータを求めるよう構成されている処理装置を具えることを特徴とするシステム。
  25. 物体の動作を分析するシステムにおいて、当該システムが、
    前記物体の複数のピクセル画像の画像入力と前記物体の推定されたサイズのサイズ入力とを受信し、
    前記画像入力と前記サイズ入力とに基づいて前記物体の速度を求め、
    前記求められた物体の速度の出力を提供するよう構成された処理装置を具えることを特徴とするシステム。
JP2010550654A 2007-03-09 2008-03-10 物体の動作を特徴づけるための方法およびシステム Pending JP2011513876A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US89402907P 2007-03-09 2007-03-09
PCT/US2008/056373 WO2008112617A1 (en) 2007-03-09 2008-03-10 Method and system for characterizing movement of an object

Publications (1)

Publication Number Publication Date
JP2011513876A true JP2011513876A (ja) 2011-04-28

Family

ID=39759950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010550654A Pending JP2011513876A (ja) 2007-03-09 2008-03-10 物体の動作を特徴づけるための方法およびシステム

Country Status (3)

Country Link
US (2) US8588472B2 (ja)
JP (1) JP2011513876A (ja)
WO (1) WO2008112617A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463088A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种基于视频的人体动作解析方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5957892B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US20130322697A1 (en) * 2012-05-31 2013-12-05 Hexagon Technology Center Gmbh Speed Calculation of a Moving Object based on Image Data
US9740379B2 (en) * 2015-03-04 2017-08-22 Flycatcher LTD Methods and systems for creating and using electronic coloring pages
DE102016124594A1 (de) * 2016-12-16 2018-06-21 Jena-Optronik Gmbh Verfahren zur Erfassung einer 3D-Szene mittels eines LIDAR-Systems und LIDAR-System hierzu
US10504007B2 (en) * 2017-10-27 2019-12-10 Facebook, Inc. Determination of population density using convoluted neural networks
US11017242B2 (en) * 2019-02-19 2021-05-25 Unisys Corporation System and method using complex centroids for detecting object-of-interest speeds from two dimensional pictures
US11250576B2 (en) 2019-08-19 2022-02-15 Toyota Research Institute, Inc. Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map
WO2022216295A1 (en) * 2021-04-09 2022-10-13 Zeku, Inc. Method and apparatus for operating an image signal processor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598488A (en) * 1993-09-13 1997-01-28 Massachusetts Institute Of Technology Object movement estimator using one-dimensional optical flow
US5764814A (en) * 1996-03-22 1998-06-09 Microsoft Corporation Representation and encoding of general arbitrary shapes
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
US7043465B2 (en) * 2000-02-24 2006-05-09 Holding B.E.V.S.A. Method and device for perception of an object by its shape, its size and/or its orientation
US6778180B2 (en) 2001-09-28 2004-08-17 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Video image tracking engine
US7567704B2 (en) * 2005-11-30 2009-07-28 Honeywell International Inc. Method and apparatus for identifying physical features in video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463088A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种基于视频的人体动作解析方法

Also Published As

Publication number Publication date
US8588472B2 (en) 2013-11-19
US20100092043A1 (en) 2010-04-15
WO2008112617A1 (en) 2008-09-18
US20140072181A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
CA2958832C (en) Method and axle-counting device for contact-free axle counting of a vehicle and axle-counting system for road traffic
JP2011513876A (ja) 物体の動作を特徴づけるための方法およびシステム
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
Geiger et al. Joint 3d estimation of objects and scene layout
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
CN106919895B (zh) 用于运动目标的跟踪方法和系统
CN103810475A (zh) 一种目标物识别方法及装置
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN112613568B (zh) 基于可见光及红外多光谱图像序列的目标识别方法和装置
Jalalat et al. Vehicle detection and speed estimation using cascade classifier and sub-pixel stereo matching
US20240112301A1 (en) Vehicle undercarriage imaging
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
Yun et al. Video-based detection and analysis of driver distraction and inattention
Ginzburg et al. A cheap system for vehicle speed detection
Nam et al. Pedestrian detection system based on stereo vision for mobile robot
Tang Development of a multiple-camera tracking system for accurate traffic performance measurements at intersections
Hanel et al. Iterative Calibration of a Vehicle Camera using Traffic Signs Detected by a Convolutional Neural Network.
JP4055785B2 (ja) 移動物体の高さ検出方法及び装置並びに物体形状判定方法及び装置
Lashkov et al. Edge-Computing-Empowered Vehicle Tracking and Speed Estimation Against Strong Image Vibrations Using Surveillance Monocular Camera
Vandewiele et al. Visibility management for object tracking in the context of a fisheye camera network
JP2012221099A (ja) 運転支援装置
Machado Vehicle speed estimation based on license plate detection
Li et al. An approach of laser-based vehicle monitor
WO2006123438A1 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP2007265012A (ja) フロントガラスの範囲検出装置、方法及びプログラム