JP2015181042A - 移動オブジェクトの検出及び追跡 - Google Patents

移動オブジェクトの検出及び追跡 Download PDF

Info

Publication number
JP2015181042A
JP2015181042A JP2015112896A JP2015112896A JP2015181042A JP 2015181042 A JP2015181042 A JP 2015181042A JP 2015112896 A JP2015112896 A JP 2015112896A JP 2015112896 A JP2015112896 A JP 2015112896A JP 2015181042 A JP2015181042 A JP 2015181042A
Authority
JP
Japan
Prior art keywords
images
tracking
moving objects
motion
blob
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015112896A
Other languages
English (en)
Other versions
JP6095018B2 (ja
Inventor
パンカンティ、シャラスチャンドラ、ウマパシラオ
Umapathirao Pankanti Sharathchandra
ハンパプール、アルン
Hampapur Arun
リー、ジュン
Jun Lee
オットー、チャールズ
otto Charles
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2015181042A publication Critical patent/JP2015181042A/ja
Application granted granted Critical
Publication of JP6095018B2 publication Critical patent/JP6095018B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】移動オブジェクトの視覚的監視を行うための技術を提供すること。
【解決手段】１つ又は複数の移動オブジェクトの視覚的監視を行うための技術が提供される。本技術は、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせることであって、１つ又は複数の画像を重ね合わせることは、２つ又はそれ以上の隣接するフレーム内の１つ又は複数の画像の領域ベースの重ね合わせを含む、１つ又は複数の画像を重ね合わせることと、１つ又は複数の画像のモーション・セグメント化を行って、１つ又は複数の画像内の１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出することと、１つ又は複数の移動オブジェクトの視覚的監視を容易にするように、１つ又は複数の移動オブジェクトを追跡することとを含む。
【選択図】図１

Description

本発明の実施形態は、一般に、情報技術に関し、より詳細には、映像内のオブジェクトの画像解析に関する。
近年、民生及び軍用の目的で、偵察、監視、災害の救援、捜索及び救助、農業情報収集並びに高速リモート・センシング・マッピングへの関心はますます高まっている。例えば、無人航空機（ＵＡＶ）は、そのセンサ・プラットフォームが小サイズで低コストであることから、そのような活動の実行のための魅力的なプラットフォームであり得る。しかしながら、ＵＡＶを監視システムにおいて用いる場合には、幾つかの重大な課題が生じる、カメラは高速で移動して不規則に回転し、かつ、ＵＡＶ機の動きは通常は滑らかではないので、背景は著しく変化する。さらに、フレームレートが非常に低い（例えば、毎秒１フレーム）ことで、地上を移動しているターゲットの検出及び追跡の難しさはますます高まり、また、オブジェクトのサイズが小さいことで、オブジェクトの検出及び追跡に関して別の課題がもたらされることになる。また、カメラの強力な照明の変化及びストライプ・ノイズが、真の移動オブジェクトを背景から区別するときに幾つかの難問を生じさせることがある。
既存の手法はまた、オブジェクト初期化の問題も含んでおり、そのうえ、高精度の重ね合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）結果を得ることも、ターゲットの回転及び拡大縮小変動を扱うことも、ターゲットと背景との間の類似した分布に対処することもできない。
特許文献１は、画像の多重ビューを同時に又は逐次的にキャプチャしてシーンの画像をキャプチャするための、多重のカメラの使用を開示する。画像シーケンスをレイヤ化された移動オブジェクトの２次元外観マップ及びマスクのグループに分解するための生成モデルの作成及び使用は、完全に透明であると判断されたスプライト・ピクセルが消去され、同時に、そのスプライトによって遮られる背景ピクセルも同様に消去されることを考慮している。
米国特許出願公開第２００７／０１０４３８３号明細書
本発明は、移動オブジェクトの視覚的監視を行うための技術を提供することを目的とする。
本発明又はその要素の１つ又は複数の実施形態は、示される方法ステップを行うためのコンピュータ使用可能プログラム・コードを有する有形のコンピュータ可読ストレージ媒体を含むコンピュータ製品の形態で実装することができる。さらに、本発明又はその要素の１つ又は複数の実施形態は、メモリと、例示的な方法ステップを行うように動作可能な、メモリに結合された少なくとも１つのプロセッサとを含む装置の形態で実装することができる。さらにまた、別の態様において、本発明又はその要素の１つ又は複数の実施形態は、本明細書において説明される方法ステップの１つ又は複数を実行するための手段の形態で実装することができ、この手段は、（ｉ）ハードウェア・モジュール、（ｉｉ）ソフトウェア・モジュール、又は（ｉｉｉ）ハードウェアとソフトウェアとの組み合わせを含むことができ、（ｉ）−（ｉｉｉ）のいずれも、本明細書で示される特定の技術を実装し、ソフトウェア・モジュールは、有形のコンピュータ可読ストレージ媒体（又は複数のそのような媒体）内に格納される。
第１の態様の観点から見ると、本発明は、１つ又は複数の移動オブジェクトの視覚的監視を行うための方法を提供し、この方法は、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせることであって、１つ又は複数の画像を重ね合わせることが、２つ又はそれ以上の隣接するフレーム内の１つ又は複数の画像の領域ベースの重ね合わせを含む、１つ又は複数の画像を重ね合わせることと、１つ又は複数の画像のモーション・セグメント化を行って、１つ又は複数の画像内の１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出することと、１つ又は複数の移動オブジェクトの視覚的監視を容易にするように、１つ又は複数の移動オブジェクトを追跡することと、を含む。
好ましくは、本発明は、１つ又は複数の画像を重ね合わせることが、１つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせを含む方法を提供する。
好ましくは、本発明は、１つ又は複数の画像を重ね合わせることが、１つ又は複数のサブピクセル画像マッチング技術を用いることを含む方法を提供する。
好ましくは、本発明は、１つ又は複数の画像のモーション・セグメント化を行うことが、順方向及び逆方向フレーム差分を取ることを含む方法を提供する。
好ましくは、本発明は、順方向及び逆方向フレーム差分が、時間的フィルタリング及び空間的フィルタリングのうちの少なくとも一方に基づく自動動的閾値推定を含む方法を提供する。
好ましくは、本発明は、順方向及び逆方向フレーム差分が、１つ又は複数の画像特徴の独立した動きに基づいて１つ又は複数の偽の移動ピクセルを除去することを含む方法を提供する。
好ましくは、本発明は、順方向及び逆方向フレーム差分が、形態学的操作を行うことと、１つ又は複数のモーション・ピクセルを生成することとを含む方法を提供する。
好ましくは、本発明は、１つ又は複数の移動オブジェクトを追跡することが、ハイブリッド・ターゲット追跡を行うことを含む方法を提供し、ハイブリッド・ターゲット追跡は、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴トラッカ及び平均値シフトを用いることと、自動カーネル・スケール推定及び更新を用いることと、１つ又は複数の特徴軌道を用いることとを含む。
好ましくは、本発明は、１つ又は複数の移動オブジェクトを追跡することが、１つ又は複数のターゲットについての特徴マッチング及び距離行列に基づく１つ又は複数の多重ターゲット追跡アルゴリズムを用いることを含む、方法を提供する。
好ましくは、本発明は、１つ又は複数の移動オブジェクトを追跡することが、モーション・マップを生成することと、１つ又は複数の移動オブジェクトを識別することと、オブジェクト初期化及びオブジェクト確認を行うことと、モーション・マップ内の１つ又は複数のオブジェクト領域を識別することと、１つ又は複数の特徴を抽出することと、モーション・マップ内に探索領域を設定することと、モーション・マップ内の１つ又は複数の候補領域を識別することと、平均値シフト（ｍｅａｎｓｈｉｆｔ）追跡することと、１つ又は複数の候補領域内の１つ又は複数の移動オブジェクトを識別することと、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴マッチングを行うことと、アフィン変換を行うことと、Ｂｈａｔｔａｃｈａｒｙｙａ係数によって最終領域決定を行うことと、ターゲット・モデル及び軌道の情報を更新することとを含む、方法を提供する。
好ましくは、本発明は、１つ又は複数の移動オブジェクトを追跡することが、基準面ベースの重ね合わせ及び追跡を含む方法を提供する。
好ましくは、本発明は、各カメラ・ビューを１つ又は複数の他のカメラ・ビューと関連付けることをさらに含む方法を提供する。
好ましくは、本発明は、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像からパノラマ・ビューを形成することをさらに含む方法を提供する。
好ましくは、本発明は、各カメラの動きを、パノラマ・ビュー内の１つ又は複数の静止オブジェクトの映像情報に基づいて推定することをさらに含む方法を提供する。
好ましくは、本発明は、パノラマ・ビュー内の１つ又は複数の背景構造を、直線構造の検出と、ある期間にわたる１つ又は複数の移動オブジェクトの統計的解析とに基づいて推定することをさらに含む方法を提供する。
好ましくは、本発明は、自動特徴抽出をさらに含む方法を提供し、自動特徴抽出は、画像をフレーム化することと、ガウス平滑化操作を行うことと、ケニー（ｃａｎｎｙ）検出器を用いて１つ又は複数の特徴エッジを抽出することと、特徴解析のためのハフ変換を実施することと、変換空間における多重ピークの影響を低減するために最大応答ファインディング（ｆｉｎｄｉｎｇ）を決定することと、特徴の長さが特定の閾値を上回るか否か判定し、特徴の長さが閾値を上回る場合に特徴抽出及びピクセル除去を実施することとを含む。
好ましくは、本発明は、自動特徴抽出が、フレーム差分を取ることと、モーション履歴画像による検証を行うこととをさらに含む方法を提供する。
好ましくは、本発明は、外れ値除去を行って１つ又は複数の間違った移動オブジェクト・マッチを除去することをさらに含む方法を提供する。
好ましくは、本発明は、偽ブロブ・フィルタリングをさらに含む方法を提供し、偽ブロブフィルタリングは、モーション・マップを生成することと、連結成分プロセスを適用して各ブロブ・データをリンクすることと、モーション・ブロブ・テーブルを作成することと、以前に重ね合わされたフレーム内の各ブロブについて１つ又は複数の特徴を抽出することと、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合に該ブロブをブロブ・テーブルから削除することとを含む。
好ましくは、本発明は、時間ドメインと空間ドメインのうちの少なくとも一方の上でターゲット・モデルを更新することをさらに含む方法を提供する。
好ましくは、本発明は、パノラマ・ビューにおけるオブジェクト外観及びオブジェクト軌跡の索引を作成することをさらに含む方法を提供する。
好ましくは、本発明は、クエリと索引内のエントリとの間の類似度メトリックを決定することをさらに含む方法を提供する。
好ましくは、本発明は、システムを提供することをさらに含む方法を提供し、このシステムは、１つ又は複数の別個のソフトウェア・モジュールを含み、１つ又は複数の別個のソフトウェア・モジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で具体化され、１つ又は複数の別個のソフトウェア・モジュールは、ハードウェア・プロセッサ上で実行される、幾何学的重ね合わせモジュール、モーション抽出モジュール、及びオブジェクト追跡モジュールを含む。
別の態様の観点から見ると、本発明は、１つ又は複数の移動オブジェクトの視覚的監視を行うためのコンピュータ使用可能プログラム・コードを含む有形のコンピュータ可読記録可能ストレージ媒体を含むコンピュータ・プログラム製品を提供し、このコンピュータ・プログラム製品は、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせるためのコンピュータ使用可能プログラム・コードであって、１つ又は複数の画像を重ね合わせることが、２つ又はそれ以上の隣接するフレーム内の１つ又は複数の画像の領域ベースの重ね合わせを含む、コンピュータ使用可能プログラム・コードと、１つ又は複数の画像のモーション・セグメント化を行って、１つ又は複数の画像内の１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出するためのコンピュータ使用可能プログラム・コードと、１つ又は複数の移動オブジェクトの視覚的監視を容易にするように、１つ又は複数の移動オブジェクトを追跡するためのコンピュータ使用可能プログラム・コードとを含む。
別の態様の観点から見ると、本発明は、１つ又は複数の移動オブジェクトの視覚的監視を行うためのシステムを提供し、このシステムは、メモリと、メモリに結合されたプロセッサとを含み、このプロセッサは、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせることであって、１つ又は複数の画像を重ね合わせることが、２つ又はそれ以上の隣接するフレーム内の１つ又は複数の画像の領域ベースの重ね合わせを含む、１つ又は複数の画像を重ね合わせることと、１つ又は複数の画像のモーション・セグメント化を行って、１つ又は複数の画像内の１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出することと、１つ又は複数の移動オブジェクトの視覚的監視を容易にするように、前記１つ又は複数の移動オブジェクトを追跡することとを行うように動作可能である。
以下、添付の図面を参照して本発明の好ましい実施形態を例示をのみを目的として説明する。
本発明の好ましい実施形態によるサブピクセル位置推定を示す図である。 本発明の好ましい実施形態によるサブ領域選択を示す図である。 本発明の好ましい実施形態による順方向及び逆方向の幾何学的重ね合わせを示す図である。 本発明の好ましい実施形態による順方向及び逆方向フレーム差分を取ることを示す流れ図である。 本発明の好ましい実施形態による偽ブロブ・フィルタリングを示す流れ図である。 本発明の好ましい実施形態による多重オブジェクト追跡を示す流れ図である。 本発明の好ましい実施形態による基準面ベースの重ね合わせ及び追跡を示す図である。 本発明の好ましい実施形態による自動都市道路抽出を示す流れ図である。 本発明の好ましい態様によるオブジェクト検出及び追跡システムのアーキテクチャを示すブロック図である。 本発明の好ましい実施形態による１つ又は複数の移動オブジェクトの視覚的監視を行うための技術を示す流れ図である。 本発明の好ましい実施形態を実装することができる例示的なコンピュータ・システムのシステム図である。
本発明の原理は、視覚的監視における移動オブジェクトの検出、追跡、及び探索を含む。移動オブジェクト及び１つ又は複数の移動カメラを含む例示的な設定において、本発明の１つ又は複数の実施形態は、モーション・セグメント化（背景領域に対するモーション・ブロブ（ｂｌｏｂ））、多重オブジェクト追跡（例えば、経時的に一貫した追跡）、並びに基準面に基づく重ね合わせ及び追跡を含む。本明細書において詳述するように、本発明の１つ又は複数の実施形態は、例えば可動プラットフォーム（例えば、無人航空機（ＵＡＶ）ビデオ）に取り付けられた、多重のカメラ（例えば、互いに位置合わせされたもの）を用いて、カメラから受け取った画像から、大域的／局所的幾何学的重ね合わせ、モーション・セグメント化、移動オブジェクト追跡、基準面ベースの重ね合わせ及び追跡、並びに自動都市道路抽出に基づいてパノラマ・ビューを形成することにより、移動オブジェクトを検出、追跡、及び探索することを含む。
本明細書において説明される技術は、再帰的な幾何学的重ね合わせを含み、これは、全フレームの代わりに隣接フレームに対する領域ベースの画像重ね合わせ、サブピクセル画像マッチング技術、及びレンズの幾何学的歪みを扱うための領域ベースの幾何学的変換を含む。また、本発明の１つ又は複数の実施形態は、２方向動き検出、並びに、色及び特徴を用いたハイブリッド・ターゲット追跡を含む。２方向動き検出は、順方向及び逆方向フレーム差分を取ること、時間的及び／又は空間的フィルタリングに基づく自動動的閾値推定、並びに、特徴の独立した動きに基づく偽の移動ピクセルの除去を含む。ハイブリッド・ターゲット追跡は、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴トラッカ（ＫＬＴ）及び平均値シフト、自動カーネル・スケール推定及び更新、並びに特徴軌道のコヒーレント運動を用いた経時的に一貫した追跡を含む。
さらに、本明細書において詳述される技術は、小ターゲットのための特徴マッチング及び距離行列に基づく多重ターゲット追跡アルゴリズム、並びに、例えば、小型サイズのターゲット（例えば、既知の形状モデル無し）の検出及び追跡のための低フレームレート（１ｆ／ｓ）のＵＡＶ監視システムの実装を含む。
本明細書において記載されているように、本発明の１つ又は複数の実施形態は、映像（例えば、ＵＡＶ映像）の大域的及び局所的幾何学的重ね合わせを含む。カメラの動きの影響を低減するために、フレーム毎の映像重ね合わせプロセスが実装される。２つの画像を正確に重ね合わせる方法は、各画像内の全てのピクセルのマッチングを含むことができる。しかしながら、この高い計算量は実行可能ではない。効率的な手法は、画像内の再び見つけ出しやすい特徴点の比較的小さい集合を見つけ出し、これらの点のみを用いてフレーム毎のホモグラフィを推定することである。例示のみを目的として、１２８０×１２８０ピクセルの画像に対して、５００−６００個の特徴点を抽出することができる。
Ｈａｒｒｉｓコーナー検出器は、拡大縮小、回転及び照明の変動に対して不変であることから、画像重ね合わせ及び動き検出に適用することが可能である。本発明の１つ又は複数の実施形態において、Ｈａｒｒｉｓコーナー検出器を特徴点検出器として使用することができる。そのアルゴリズムは以下のように記述することができる。
１．画像Ｉ内のピクセルについて、そのｘ及びｙ方向の導関数Ｉｘ及びＩｙ、並びにＩｘｙ＝ＩｘＩｙを計算する。
２．窓関数Ａを適用する。すなわち、ｈｘ＝ＡＩｘ、ｈｙ＝ＡＩｙ、ｈｘｙ＝ＡＩｘｙとする。
３．
Figure 2015181042
 （κは定数である）を計算して、両方向における変動を測定する。
４．Ｈに閾値を適用して局所極大を求め、コーナーを得る。
窓を比較するために、本発明の１つ又は複数の実施形態は、効率的な統計学的方法である正規化相関係数を用いることを含む。実際の特徴マッチングは、その点を囲む小さな窓にわたって相関係数を最大化することにより達成される。相関係数は、次式で与えられる。
Figure 2015181042
 式中、
ｇ１（ｒ，ｃ）は、テンプレート行列の個々のグレー値を表し、
ｕ１は、テンプレート行列の平均グレー値を表し、
ｇ２（ｒ，ｃ）は、サーチ行列の対応する部分の個々のグレー値を表し、
ｕ２は、サーチ行列の対応する部分の平均グレー値を表し、
Ｒ、Ｃは、テンプレート行列の行及び列の数を表す。
従って、ブロックマッチング・プロセスは以下のようにして達成される。基準フレーム内の各点について、選択されたフレーム内の全ての点が検査され、その中で最も類似した点が選択される。次に、達成された相関が合理的に高いか否かが検定される。極大相関係数を有する点が候補点と採用される。
映像重ね合わせは、実時間実施を必要とする。本発明の１つ又は複数の実施形態において、ブロックマッチング・アルゴリズムは、特徴に対してのみ実施される。そのため、計算費用を著しく削減することができる。
本発明の１つ又は複数の実施形態は、対応する特徴の確認及び外れ値除去を含む。特徴ベースのブロックマッチングは、ときにはミスマッチを生じさせることがある。ミスマッチ問題を回避するために、本発明の１つ又は複数の実施形態は、順方向探索を用いて、手に余る場合のミスマッチ・データを処理して、最大勾配値を有する対応する特徴の候補を保持し、その他を除去することを含む。また、逆方向探索を使用して、同じ手法を用いて残りのミスマッチ問題を解決する。
多くの場合、類似した属性を有する一対の特徴は、マッチとして受理される。それでもなお、幾つかの偽マッチが生じることがある。従って、本発明の１つ又は複数の実施形態において、間違ったマッチを除去して重ね合わせの精度を改善するために、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）外れ値除去手順が実行される。
本明細書において詳述される技術は、付加的に、粗密（ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ）特徴マッチングを含むことができる。多重解像度特徴マッチングは、探索空間及び偽マッチングを低減することができる。最も粗い解像度のレイヤにおいて特徴マッチングが実行され、探索範囲が決定される。現在の解像度のレイヤにおいて、直前のレイヤにおけるマッチング結果を初期結果として採用することができ、マッチング・プロセスは、上記式（１）を用いて実行することができる。本発明の１つ又は複数の実施形態において、探索範囲は１−３ピクセルに制限される。さらに、最高解像度のレイヤに達するまで、同じ操作を繰り返すことができる。
本明細書においてさらに説明されるように、本発明の１つ又は複数の実施形態は、正確な位置決定を含む。映像の重ね合わせ及び動き検出の目的にとっては、ピクセル・レベルの精度では十分とはいえないことがある。そのような場合には、サブピクセル位置手法が検討され、ピークに対して距離ベースの重み付け補間が決定される。特徴に対して、ピークの水平位置及び垂直位置を別々に推定することができる。また、１次元の水平及び垂直相関曲線を得ることができる。さらに、ｘ、ｙ方向における相関値が別々に補間され、ピークの正確な位置が計算される。例として、図１は、本発明の実施形態によるサブピクセル位置推定を示す図である。
本明細書において説明される技術はまた、局所的幾何学的重ね合わせも含む。例として、サブ領域の幾何学的重ね合わせを選択することができ、フレーム全体を２×２のサブ領域に分割することができる。図２は、２つの選択モデルを示す。
図２は、本発明の好ましい実施形態によるサブ領域選択を示す図である。例として、図２は、サブ領域選択モデル２０２及びサブ領域選択モデル２０４を示す。
本発明の１つ又は複数の実施形態はまた、例えば、以下のようなアフィン・ベースの局所的変換も含む。
Figure 2015181042
 式中、（ｘ，ｙ）は、（ｕ，ｖ）の新たに変換された座標であり、（ａｊ，ｂｋ）（ｊ，ｋ＝１，２，３）は、変換パラメータの集合である。さらに、各サブ領域について局所的変換パラメータを求めるために、本発明は１つ又は複数の実施形態は、最小二乗法を用いて変換パラメータを計算することを含む。
本発明の１つ又は複数の実施形態はまた、順方向／逆方向のフレーム毎の重ね合わせも含む。例えば、急速なカメラの動き、強い照明変動及び激しいストライプ・ノイズの場合には、残差の伝播を回避するために、順方向／逆方向のフレーム毎の重ね合わせを実行して多重フレーム差分を取る。図３は手法を示す。
図３は、本発明の一実施形態による順方向及び逆方向の幾何学的重ね合わせを示す図である。例として、図３は、フレーム３０２（Ｆｉ−１）、フレーム３０４（Ｆｉ）、及びフレーム３０６（Ｆｉ＋１）を示す。基準フレームとして採用されるフレーム３０４（Ｆｉ）におけるオブジェクトの動きを推定するために、前のフレーム３０２（Ｆｉ−１）及び次のフレーム３０６（Ｆｉ＋１）が基準フレームに幾何学的に重ね合わされる。各フレームに関する動きの推定がこのようにして実行される。
順方向／逆方向フレーム差分を取ることは、動き検出のために実施することもできる。本発明の１つ又は複数の実施形態で用いられる手法の図を図４に示す。図４は、本発明の一実施形態による順方向及び逆方向フレーム差分を取ることを示す流れ図である。ステップ４０８及び４１０において順方向／逆方向のフレーム毎の画像（例えば、フレーム４０２、フレーム４０４及びフレーム４０６）を幾何学的に重ね合わせて位置合わせした後、差分画像が計算される。位置合わせされた画像間での単純な引き算を用いる代わりに、本発明の１つ又は複数の実施形態は、ステップ４１２及び４１４において順方向／逆方向フレーム差分を取ることを用いて、モーション・ノイズを減らし、自動利得制御のような照明変動を補償する。
付加的に、ステップ４１６は、ＩＮＥＷ＝ΔＩｉ−１，ｉ ＡＮＤ Δｉ，ｉ＋１によって画像の算術演算を行う。ステップ４１８は、ランダムなモーション・ノイズを減らすことができる中央値フィルタリングを含む。移動オブジェクトの移動ピクセルを抽出するために、空間的フィルタリングに基づく自動動的閾値推定がステップ４２０において実行される。さらに、ステップ４２２は、前景画像内の小さい孤立スポットを除去して穴を埋めるために、形態学的操作を行うことを含み、ステップ４２４は、モーション・ピクセル（例えば、モーション・マップ）を生成することを含む。
ランダム・ノイズ及び照明変動の影響をさらに低減するために、順方向／逆方向差分画像に関して論理ＡＮＤ演算が実施され、最終差分画像を得る。
Figure 2015181042
各ピクセルに関する閾値は、差分画像の統計学的特性及び空間的高頻度データの観点から、自動的に統計計算される。さらに、形態学ステップを適用して、前景画像内の小さい孤立スポットを除去し、穴を埋めることができる。
本明細書において説明されるように、本発明の１つ又は複数の実施形態はまた、動きの検証も含む。図５は、本発明の一実施形態による偽ブロブ・フィルタリングを示す流れ図である。ステップ５０２は、モーション・マップを生成することを含む。ステップ５０４は、連結成分プロセスを適用して各々のブロブ・データをリンクすることを含む。ステップ５０６は、モーション・ブロブ・テーブルを作成することを含む。ステップ５０８は、オプティカルフロー推定を行うことを含む。ステップ５１０は、変位判定を行うことを含む。変位がある場合には、プロセスはステップ５１２に進み、ステップ５１２は、後処理、例えば、データの関連付け、オブジェクト追跡、軌道維持及び軌跡データ管理を行うことを含む。変位がない場合には、プロセスはステップ５１４に進み、ステップ５１４は、偽ブロブをフィルタリングすることを含む。
従って、ブロブ・テーブルが作成された後で、ブロブ・テーブルから偽のモーション・ブロブを除去するために、各ブロブ・データが検証される。本発明の１つ又は複数の実施形態は、順方向／逆方向のフレーム毎の重ね合わせを行った後で、ＫＬＴプロセスを適用して各ブロブの動きを推定することを含む。偽ブロブは、ブロブ・テーブルから除去されることになる。このプロセス・ステップは、例えば、連結成分プロセスを適用して各ブロブ・データをリンクすることと、ブロブ・テーブルを作成することと、以前に重ね合わされたフレーム内の各ブロブについて特徴を抽出することと、ＫＬＴ法を適用して各ブロブの動きを推定することとを含むことができ、動きが生じなかった場合には、そのブロブはブロブ・テーブルから削除される。また、上記のステップを全てのブロブに対して繰り返すことができる。
これもまた本明細書において詳述されように、本発明の１つ又は複数の実施形態は、多重オブジェクト追跡を含む。図６は、本発明の一実施形態による多重オブジェクト追跡を示す流れ図である。ステップ６０２は、モーション・マップを生成することを含む。ステップ６０４は、移動ブロブを識別することを含む。ステップ６０６は、オブジェクト初期化を含み、ステップ６０８は、オブジェクト確認を含む。ステップ６１０は、オブジェクト領域を識別することを含む。ステップ６１２は、候補領域を識別することを含む。また、ステップ６１４は、平均値シフト追跡を含み、ステップ６１６は、新たな位置を識別することを含む。
付加的に、ステップ６１０においてオブジェクト領域を識別した後で、ステップ６１８において、特徴を抽出することができる。ひとたびステップ６２０において探索領域が設定されると、ステップ６２２において、移動ブロブを潜在的なオブジェクト候補として見つけ出すことができる。ステップ６２４において、ＫＴＬマッチングが行われ、ステップ６２６において、ＲＡＮＳＡＣを用いたアフィン変換に基づいて、外れ値除去が行われる。ステップ６２８において、新たな領域候補が識別される。その間に、ステップ６１４において平均値シフトが適用され、フレーム間の並進が計算される。これが、ステップ６１６において候補領域位置を与える。ステップ６２８及び６１６から、プロセスはステップ６３０に進むことができ、ステップ６３０は、Ｂｈａｔｔａｃｈａｒｙｙａ係数に基づいて最終領域位置を決定する。また、ステップ６３２は、ドリフト問題を解決するためにターゲット・モデルを更新することを含み、ステップ６３４は、軌道の更新を含む。また、移動オブジェクトを追跡するために、ＫＬＴ及び平均値シフト法の組み合わせに基づくハイブリッド追跡モデルがステップ６１８からステップ６３０に適用される。
上述のように、本明細書において説明される技術は、オブジェクト初期化を含む。順方向／逆方向フレーム差分を取ることにより得られる動き検出結果は、幾つかの正しい実の移動オブジェクト及び幾つかの偽オブジェクトを含むことがあり、また幾つかの真のオブジェクトを見逃していることがある。例えば、低フレームレート（例えば、１フレーム／秒）のＵＡＶ映像に関して、ある移動オブジェクトが２つの連続したフレーム間でいかなる重なり領域も有さないと、オブジェクト初期化のための従来方法は機能しないことになる。現在のフレームについて全ての検出結果の中から有望な移動オブジェクトを効率的に分離するために、本発明の１つ又は複数の実施形態は、距離行列を類似尺度と組み合わせて移動オブジェクトを初期化することを含む。この処理ステップは、例えば、以下を含むことができる。
探索半径が設定され、マッチング・スコア閾値と、追跡履歴の最小長さが設定される。オブジェクト（オブジェクト候補を含む）とテーブル内の全てのブロブとの間の距離行列が計算される。オブジェクト軌道の距離が事前設定値を下回る場合には、カーネル・ベースのアルゴリズムが適用され、事前設定マッチング・スコアに関してオブジェクト候補とブロブとの間のマッチが見いだされる。また、オブジェクト候補が幾つかの連続したフレーム内に出現した場合には、この候補は、初期化されてオブジェクト・テーブル内に格納されることになる。そうでない場合には、このオブジェクト候補は、偽オブジェクトであると見なされることになる。
本発明の１つ又は複数の実施形態は、以前のフレームから、以前のブロブの集合を、幾何学的重ね合わせの後で現在のフレームに射影することを含む。各オブジェクトの以前の位置に従った動きは、ＫＬＴ追跡プロセスにより推定することができる。ＫＬＴ追跡プロセスにおいて、動きのモデルは、Ｉｃｕｒｒ（Ａ・ｘ＋Ｔ）＝Ｉｐｒｅｖ（ｘ）のようなアフィン変換により近似的に表され、式中、Ａは２次元（２Ｄ）変換行列であり、Ｔは並進ベクトルである。
本発明の１つ又は複数の実施形態において、アフィン変換パラメータは、わずか４つの特徴点から計算することができる。これらのパラメータを決定するために、最小二乗法を用いてこれらを計算することができる。
精度推定は、例えば、多数のミスマッチ対が発生した場合に行うことができる。追跡精度の１つの尺度は、アフィン変換式の前後でのマッチした点間の二乗平均誤差（ＲＭＳＥ）である。この尺度は、不正確であると考えられるマッチを排除するための基準として用いられる。
付加的に、外れ値を排除するために、本発明の１つ又は複数の実施形態は、ＲＡＮＳＡＣアルゴリズムを実行して、ＲＭＳＥ値が所望の閾値を下回るまで反復的な方式で逐次的にミスマッチを除去することを含む。
本明細書において詳述される技術は、平均値シフト追跡及びオブジェクト表現を付加的に含む。例として、ＵＡＶ追跡システムの場合、大きな拡大縮小変動及び視野の幾何学的歪みに起因して、従来の強度ベースのターゲット表現はもはや多重オブジェクト追跡には適さないものになっている。オブジェクトを効率的に特徴付けするために、ヒストグラム・ベースの特徴空間を選択することができる。本発明の１つ又は複数の実施形態において、Ｂｈａｔｔａｃｈａｒｙｙａ係数に基づくメトリックを用いて、多重オブジェクト追跡のための基準オブジェクトと候補との間の類似尺度が定義される。基準フレーム内のオブジェクト領域ヒストグラムｑが与えられると、Ｂｈａｔｔａｃｈａｒｙｙａ係数に基づく目的関数は、
Figure 2015181042
 で与えられ、式中、Ｍはヒストグラムの次元であり、ｘ０は２Ｄ中心である。
現在のフレーム内の２Ｄ中心ｘにおける候補領域ヒストグラムｐｕ（ｘ）は、
Figure 2015181042
 として定義される。ここで、ｕ＝１，２，．．．，Ｍである。ｋ（ｘ）は、ピクセル位置を重み付けする、非負の、非増加の、区分的に微分可能なカーネル・プロファイルを表し、ｈは、ｋ（ｘ）の２Ｄバンド幅ベクトルであり、δは、クロネッカーのデルタ関数であり、各ピクセル値は、ｂ（ｘｉ）によって表される。
付加的に、本発明の１つ又は複数の実施形態において、分布間の類似尺度の決定において、Ｂｈａｔｔａｃｈａｒｙｙａ距離は、
Figure 2015181042
 を含むことができ、式中、
Figure 2015181042
 であり、式中、ρｘ及びρｙは、それぞれターゲット分布及び候補分布を表す。
本明細書において説明される技術は、オブジェクトの位置決めを付加的に含むことができる。オブジェクトに対応する位置を１つのフレームから次のフレームへと探索するために、本発明の１つ又は複数の実施形態は、全数探索ではなく勾配上昇最適化に基づく平均値シフト追跡アルゴリズムを適用することを含む。平均値シフト法の強みは、計算の効率性及び実時間用途に適していることを含む。しかしながら例えば、特に被追跡オブジェクトがすばやく動いているときに局所極大を探求することに内在する限界のせいで、ターゲットを見失うことがある。候補領域ヒストグラムｐｕ（ｘ）は、上記の式から得ることができる。
被追跡オブジェクトの新たな位置は、
Figure 2015181042
 として推定することができ、式中
Figure 2015181042
 であり、ｇ（ｘ）＝−ｋ（ｘ）であり、すなわちｋ（ｘ）の導関数である。
本発明の１つ又は複数の実施形態はまた、時間ドメイン上でのターゲット・モデル更新も含む。幾つかの状況において、ターゲット・モデル更新を行わない平均値シフト手法は、ターゲット・モデルにおける突然の変化による悪影響を受ける可能性がある。その一方で、あらゆるフレームに対してモデル更新を行うと、擾乱を受けた（ｃｌｕｔｔｅｒｅｄ）環境、オクルージョン、ランダム・ノイズなどに起因して、追跡結果の信頼性の低下をもたらす可能性がある。ターゲット・モデルを変更する１つの方法は、ターゲット分布を定期的に更新することである。
正確な追跡結果を得るために、ターゲット・モデルを動的に更新することができる。従って、本発明の１つ又は複数の実施形態は、最近の追跡結果とより古いターゲット・モデルとの両方を用いて、オブジェクト追跡のための現在のモデルに影響を及ぼす、モデル更新を含む。更新手順は、以下のように定式化される。
Figure 2015181042
 ここで、ｎｅｗ及びｏｌｄの上付き文字は、それぞれ、新たに得られたターゲット・モデル及び古いモデルを表す。ｓは、最近の追跡結果を表す。αは、最近の追跡結果の寄与に重み付けする（通常は、＜０．１）。ｑ及びｐは、それぞれ、ターゲット・モデル及び候補モデルを表す。
さらに、本発明の１つ又は複数の実施形態は、空間ドメイン上でのターゲット・モデル更新を含む。通常、平均値シフトに基づく追跡は、空間データの利用を欠いているので、被追跡オブジェクトの正確な境界位置を与えることはほとんどない。幸いなことに、ＫＬＴトラッカから導き出される検出結果及び動き検出結果は、平均値シフトトラッカに比べてはるかに正確な、精密な位置及びオブジェクトのサイズなどの情報を与えることができる。
各々の個別のアルゴリズムが、多重オブジェクト追跡において完璧なジョブを行うことは不可能であり得る。従って、それらのデータ間の融合を多重オブジェクト追跡手順において用いることができる。各々の方法の強みに応じて、本発明の１つ又は複数の実施形態は、以下のマージ方法を用いる。
Figure 2015181042
 ここで、重なりは、重なり領域の程度を表す。
図７は、本発明の一実施形態による、基準面ベースの重ね合わせ及び追跡を示す図である。例として、図７は、地理基準面（ｇｅｏ−ｒｅｆｅｒｅｎｃｅ ｐｌａｎｅ)７０２を示す。第１のフレーム７０４は、地理基準面７０２に重ね合わされ、第２のフレーム７０６は、第１の重ね合わされたフレーム及び対応するフレーム間変換パラメータＴＣｉ（図７の式７１２）から、地理基準７０２に重ね合わされる。このようにして、フレーム７０８及び７１０が、それぞれ、地理基準７０２に重ね合わされる。さらに、各オブジェクトは、ナビゲーション・データを用いて地理基準７０２へと射影される。
図８は、本発明の一実施形態による自動都市道路抽出を示す流れ図である。ステップ８０２は、画像をフレーム化することを含む。ステップ８０４は、ガウス平滑化操作を行うことを含む。また、ステップ８０６は、ケニー検出器を用いることを含み、ステップ８０８は、ハフ変換を実施することを含む。ステップ８１０は、最大応答ファインディングを決定することを含む。ステップ８１２は、ストライプの長さが事前定義された閾値を上回るか否かを判定することを含む。ストライプの長さが閾値を上回らない場合には、プロセスはステップ８１４において停止する。ストライプの長さが閾値を上回る場合には、プロセスはステップ８１６に続き、ステップ８１６は、直線抽出を行うことを含む。さらに、ステップ８１８は、ストライプ・ピクセル除去を行うことを含む（これは、例えば、ステップ８０８への復帰へと至ることができる）。
同じく図８において示されるように、ステップ８２０は、フレーム差分を取ることを含み、ステップ８２２は、モーション履歴画像（ＭＨＩ）による検証を含む（これは、例えば、ステップ８１６への復帰へと至ることができる）。付加的に、本発明の１つ又は複数の実施形態は、反復ハフ変換による道路ストライプの抽出を含むこともできる。
本明細書において詳述されるように、本発明の１つ又は複数の実施形態は、未較正のカメラからの種々の幾何学的残差を扱うことができる、サブピクセルのマッチング精度を有する再帰的幾何学的重ね合わせを含む。付加的に、本明細書において詳述される技術は、移動オブジェクトを背景から効率的に区別することができる、順方向／逆方向フレーム差分を取ることに基づく動き検出を含む。さらに、経時的な色、特徴及び強度の統計学的特性を用いて多重の小オブジェクトを検出及び追跡する、ハイブリッド・オブジェクト・トラッカを実装することができる。
図９は、本発明の一態様による、オブジェクト検出及び追跡システムのアーキテクチャを示すブロック図である。検出及び追跡システム（例えば、ＵＡＶシステム）のための例示的なソフトウェア・アーキテクチャ構成を多重のサービス上に構築して、オブジェクト探索及びインテリジェント解析のための軌跡データベースを提供することができる。図９において示されるように、本ソフトウェア・アーキテクチャは、多重のセンサ・モジュール９０４、映像ストリーミング・サービス・モジュール９０６及び追跡スート・サービス・モジュール９０８、並びに、軌跡データベース（ＤＢ）サーバ・モジュール９１０、ユーザ・インターフェース・モジュール９０２及び視覚化コンソール９１２を含むことができる。映像ストリーミング・モジュール９０６は、多重センサからイメージをキャプチャして利用できるようにする役割を果たす。取得された画像は、追跡スート・モジュール９０８により、多重オブジェクト検出及び追跡のための基礎として用いられる。追跡スート・モジュール９０８は、幾何学的重ね合わせサブモジュール９１４、モーション抽出サブモジュール９１６、オブジェクト追跡サブモジュール９１８、追跡データ・サブ・モジュール９２０及び地理座標系マッピング・サブモジュール９２２を含む。
多重センサからの実時間画像を処理することにより、データから軌跡情報への精巧な変換が達成される。軌跡ＤＢサーバ９１０は、軌跡メタデータ管理の役割を果たす。視覚化コンソール９１２は、グラフィカル・オーバーレイを作成し、これらをディスプレイ上の画像に索引付けし、ユーザにそれらを提示する。これらのオーバーレイは、例えば、クラス・タイプ、移動方向、軌道及びオブジェクト・サイズなどのような、より高水準のコンポーネントをサポートする、任意のタイプのグラフィカル情報とすることができる。ユーザ・インターフェース９０２は、データへのアクセス及びユーザによる操作を提供する。
図１０は、本発明の一実施形態による、１つ又は複数の移動オブジェクトの視覚的監視を行うための技術を示す流れ図である。ステップ１００２は、１つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせることを含み、ここで、１つ又は複数の画像を重ね合わせることは、２つ又はそれ以上の隣接するフレーム内の１つ又は複数の画像の領域ベースの重ね合わせを含む。このステップは、例えば、追跡スート・サービス・モジュール９０８内の幾何学的重ね合わせサブモジュール９１４を用いて実行することができる。画像を重ね合わせることは、１つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせ（例えば、レンズの幾何学的歪みを扱うための領域ベースの幾何学的変換）を含むことができる。画像の重ね合わせは、サブピクセル画像マッチング技術を用いることを含むこともできる。
ステップ１００４は、１つ又は複数の画像のモーション・セグメント化を行って、１つ又は複数の画像内で１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出することを含む。このステップは、例えば、追跡スート・サービス・モジュール９０８内のモーション抽出サブモジュール９１６を用いて実行することができる。画像のモーション・セグメント化を行うことは、順方向及び逆方向フレーム差分を取ることを含むことができる。順方向及び逆方向フレーム差分は、例えば、時間的フィルタリング及び／又は空間的フィルタリングに基づく自動動的閾値推定、画像の特徴の独立した動きに基づいて偽の移動ピクセルを除去すること、形態学的操作を行うこと、及び、モーション・ピクセルを生成することを含むことができる。
ステップ１００６は、１つ又は複数の移動オブジェクトを追跡して１つ又は複数の移動オブジェクトの視覚的監視を促進することを含む。このステップは、例えば、追跡スート・サービス・モジュール９０８内のオブジェクト追跡サブモジュール９１８を用いて実行することができる。移動オブジェクトを追跡することは、ハイブリッド・ターゲット追跡を行うことを含むことができ、ハイブリッド・ターゲット追跡は、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴トラッカ及び平均値シフトを使用すること、自動カーネル・スケール推定を使用及び更新すること、及び、特徴軌道を使用することを含む。本発明の１つ又は複数の実施形態は、追跡のために色を使用することを含むこともできる。移動オブジェクトを追跡することは、１つ又は複数の（小さい）ターゲットについての特徴マッチング及び距離行列に基づく多重ターゲット追跡アルゴリズムを使用することを付加的に含むことができる。
また、移動オブジェクトを追跡することは、モーション・マップを生成すること、１つ又は複数の移動オブジェクト（ブロブ）を識別すること、オブジェクト初期化及びオブジェクト確認を行うこと、モーション・マップ内のオブジェクト領域を識別すること、特徴を抽出すること、モーション・マップ内に探索領域を設定すること、モーション・マップ内の候補領域を識別すること、平均値シフト追跡すること、候補領域内の移動オブジェクトを識別すること、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴マッチングを行うこと、アフィン変換を行うこと（ＲＡＮＳＡＣを用いて）、Ｂｈａｔｔａｃｈａｒｙｙａ係数によって最終領域決定を行うこと、並びに、ターゲット・モデル及び軌道情報を更新することを含むことができる。移動オブジェクトを追跡することは、基準面ベースの重ね合わせ及び追跡を付加的に含むことができる。
図１０に示された技術はまた、各カメラ・ビューを１つ又は複数の他のカメラ・ビューと関連付けること、及び、１つ又は複数のカメラによりキャプチャされた画像からパノラマ・ビューを形成することをさらに含むことができる。本発明の１つ又は複数の実施形態は、各カメラの動きをパノラマ・ビュー内の静止オブジェクトの映像情報に基づいて推定すること、並びに、パノラマ・ビュー内の１つ又は複数の背景（例えば、道路）の構造を、直線構造の検出と、ある期間にわたる移動オブジェクトの統計的解析とに基づいて推定することを付加的に含む。
さらに、図１０に示された技術は、自動特徴（例えば、道路）抽出を含み、自動特徴抽出は、画像をフレーム化すること、ガウス平滑化操作を行うこと、ケニー検出器を用いて１つ又は複数の特徴（例えば、道路）エッジを抽出すること、特徴（例えば、道路ストライプ）解析のためにハフ変換を実施すること、変換空間における多重ピークの影響を低減するために最大応答ファインディングを決定すること、特徴（例えば、道路ストライプ）の長さが特定の閾値を上回るか否か判定すること、及び、特徴の長さが閾値を上回る場合に特徴抽出及びピクセル除去を行うことを含む。自動特徴抽出は、フレーム差分を取ること、及び、モーション履歴画像による検証を行うことを付加的に含むことができる。
本発明の１つ又は複数の実施形態は、外れ値除去を行って、間違った移動オブジェクト・マッチを除去する（及び重ね合わせ精度を改善する）ことを含む。図１０において示される技術は、偽ブロブ・フィルタリングを付加的に含むことができる。偽ブロブフィルタリングは、モーション・マップを生成すること、連結成分プロセスを適用して各ブロブ・データをリンクすること、モーション・ブロブ・テーブルを作成すること、以前に重ね合わされたフレーム内の各ブロブについて特徴を抽出すること、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合にそのブロブをブロブ・テーブルから削除することを含む。
付加的に、本発明の１つ又は複数の実施形態は、時間ドメイン及び／又は空間ドメイン上でターゲット・モデルを更新すること、並びに、パノラマ・ビューにおけるオブジェクト外観及びオブジェクト軌跡の索引（例えば、検索可能な索引）を作成することを含むことができる。また、オブジェクト外観及び軌跡のテンプレート索引は、検索を容易にするための対応する映像セグメントを指し示すポインタと共に、テンプレート・データ・ストア内に格納することができる。さらに、本発明の１つ又は複数の実施形態は、クエリと索引内のエントリとの間の類似度メトリックを決定することを含むことができ、これは、類似度メトリックに基づいてテンプレート・データ・ストア／索引内をオブジェクト外観及び軌跡に関して検索すること、及び、クエリの類似度に基づいて人間の操作者に対して検索結果を出力すること／リスト化することを、容易にすることができる。
図１０において示される技術はまた、本明細書において説明されるように、システムを提供することを含むこともでき、このシステムは、別個のソフトウェア・モジュールを含み、別個のソフトウェア・モジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で各々が具体化される。全てのモジュール（又はそのいずれかのサブセット）が同じ媒体上にあってもよく、又は、例えば、各々が異なる媒体上にあってもよい。モジュールは、図面内に示されるコンポーネントのいずれか又は全てを含むことができる。１つ又は複数の実施形態において、モジュールは、例えば１つ又は複数のハードウェア・プロセッサ上で稼働できる、センサ・モジュール、映像ストリーミング・サービス・モジュール、追跡スート・サービス・モジュール（本明細書において詳述されるサブモジュールを含む）、軌跡データベース（ＤＢ）サーバ・モジュール、ユーザ・インターフェース・モジュール及び視覚化コンソール・モジュールを含む。そして次に方法ステップは、１つ又は複数のハードウェア・プロセッサ上で実行される、上述のようなシステムの別個のソフトウェア・モジュールを用いて実行することができる。さらに、コンピュータ・プログラム製品は、別個のソフトウェア・モジュールを有するシステムの提供を含めて、本明細書において説明される１つ又は複数の方法ステップを行うように実行されるよう適合されたコードを有する、有形のコンピュータ可読記録可能ストレージ媒体を含むことができる。
付加的に、図１０において示される技術は、データ処理システム内のコンピュータ可読ストレージ媒体内に格納されたコンピュータ使用可能プログラム・コードを含むことができる、コンピュータ・プログラム製品によって実装することができ、このコンピュータ使用可能プログラム・コードは、遠隔データ処理システムからネットワークを介してダウンロードされたものである。また、本発明の１つ又は複数の実施形態において、コンピュータ・プログラム製品は、サーバ型データ処理システム内のコンピュータ可読ストレージ媒体内に格納されたコンピュータ使用可能プログラム・コードを含むことができ、このコンピュータ使用可能プログラム・コードは、ネットワークを介して遠隔データ処理システムにダウンロードされ、この遠隔システムにより、コンピュータ可読ストレージ媒体内で使用される。
当業者により認識されるように、本発明の態様は、システム、方法、又はコンピュータ・プログラム製品として具体化することができる。従って、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロ・コード等を含む）、又は、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形を取ることができ、これらは全て本明細書において一般的に「回路」、「モジュール」又は「システム」と呼ぶことができる。さらに、本発明の態様は、具体化されたコンピュータ使用可能プログラム・コードを有する１つ又は複数のコンピュータ可読媒体内で具体化された、コンピュータ・プログラム製品の形を取ることができる。
本発明又はその要素の１つ又は複数の実施形態は、メモリと、例示的な方法ステップを行うように動作可能な、メモリに結合された少なくとも１つのプロセッサとを含む装置の形で実装することができる。
１つ又は複数の実施形態は、汎用コンピュータ又はワークステーション上で実行されるソフトウェアを利用することができる。図１１を参照すると、そのような実装は、例えば、プロセッサ１１０２、メモリ１１０４、並びに、例えば、ディスプレイ１１０６及びキーボード１１０８により形成される入力／出力インターフェースを使用することができる。本明細書において用いられる「プロセッサ」という用語は、例えば、ＣＰＵ（中央演算処理ユニット）及び／又は他の形態の処理回路を含む処理デバイスのような、任意の処理デバイスを含むことが意図される。さらに、「プロセッサ」という用語は、１つより多くの個々のプロセッサのことを指すことがある。「メモリ」という用語は、プロセッサ又はＣＰＵに関連付けられたメモリ、例えば、ＲＡＭ（ランダム・アクセス・メモリ）、ＲＯＭ（読み出し専用メモリ）、固定メモリ・デバイス（例えば、ハード・ドライブ）、取り外し可能メモリ・デバイス（例えば、ディスケット）、フラッシュ・メモリなどを含むことが意図される。さらに、本明細書において用いられる「入力／出力インターフェース」という語句は、例えば、処理ユニットにデータを入力するための１つ又は複数の機構（例えば、マウス）、並びに、処理ユニットに関連付けられた結果を提供するための１つ又は複数の機構（例えば、プリンタ）を含むことが意図される。プロセッサ１１０２、メモリ１１０４、並びに、ディスプレイ１１０６及びキーボード１１０８のような入力／出力インターフェースは、例えば、データ処理ユニット１１１２の一部としてバス１１１０を介して相互接続することができる。例えばバス１１１０を介した適切な相互接続を、コンピュータ・ネットワークとインターフェースするために設けることができるネットワーク・カードのようなネットワーク・インターフェース１１１４に対して設けることもでき、媒体１１１８とインターフェースするために設けることができるディスケット又はＣＤ−ＲＯＭドライブのような媒体インターフェース１１１６に対しても設けることもできる。
従って、本明細書において説明されるような本発明の方法を行うための命令又はコードを含むコンピュータ・ソフトウェアは、１つ又は複数の関連付けられたメモリ・デバイス（例えば、ＲＯＭ、固定又は取り外し可能メモリ）内に格納することができ、そして、使用の準備ができたときに、その一部又は全体が（例えば、ＲＡＭ内に）ロードされ、ＣＰＵによって実施することができる。このようなソフトウェアは、ファームウェア、常駐ソフトウェア、マイクロ・コードなどを含むことができるが、これらに限定されない。
プログラム・コードを格納し、及び／又は実行するのに適したデータ処理システムは、システム・バス１１１０を通じてメモリ要素１１０４に直接的又は間接的に結合される少なくとも１つのプロセッサ１１０２を含む。メモリ要素は、プログラム・コードの実際の実施中に使用されるローカル・メモリ、大容量記憶装置、及び、実施中に大容量記憶デバイスからコードを取り出さなければならない回数を減らすために少なくともプログラム・コードの一部の一時的な記憶域を提供するキャッシュ・メモリを含むことができる。
入力／出力すなわちＩ／Ｏデバイス（キーボード１１０８、ディスプレイ１１０６、ポインティング・デバイスなどを含むがこれらに限定されない）は、直接的に（例えばバス１１１０を介して）又は介在するＩ／Ｏコントローラ（分かりやすくするため省いた）を通じて、システムに結合することができる。
ネットワーク・インターフェース１１１４のようなネットワーク・アダプタをシステムに結合して、データ処理システムが、介在する私設ネットワークまたは公衆ネットワークを通じて他のデータ処理システム又は遠隔のプリンタ若しくは記憶デバイスに結合することを可能にすることもできる。モデム、ケーブル・モデム及びイーサネット・カードは、現在利用可能なネットワーク・アダプタ型式のうちのごく一部である。
特許請求の範囲を含めて本明細書において使用される「サーバ」は、サーバ・プログラムを実行する物理的データ処理システムを含む（例えば、図１１に示されるシステム１１１２）。そのような物理サーバは、ディスプレイ及びキーボードを含んでいてもよく、含まなくてもよいことが理解されるであろう。
上記のように、本発明の態様は、具体化コンピュータ可読プログラム・コードを有する１つ又は複数のコンピュータ可読媒体に具体化されたコンピュータ・プログラム製品の形を取ることができる。１つ又は複数のコンピュータ可読媒体のいずれの組み合わせも利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体とすることができる。コンピュータ可読ストレージ媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線若しくは半導体のシステム、装置若しくはデバイス、又はこれらのいずれかの適切な組み合わせとすることができるが、これらに限定されるものではない。媒体ブロック１１１８は、非限定的な例である。コンピュータ可読ストレージ媒体のより具体的な例（非網羅的なリスト）として、以下のもの、即ち、１つ又は複数の配線を有する電気的接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク型読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又はこれらのいずれかの適切な組み合わせが挙げられる。本明細書の文脈においては、コンピュータ可読ストレージ媒体は、命令実行システム、装置若しくはデバイスによって又はそれらと関連して用いるためのプログラムを収容又は格納することが可能な、任意の有形媒体とすることができる。
コンピュータ可読信号媒体は、コンピュータ可読プログラム・コードが、例えばベースバンド内に、又は搬送波の一部として具体化された、伝搬データ信号を含むことができる。このような伝搬信号は、電磁気、光又はこれらのいずれかの適切な組み合わせを含むがそれらに限定されない、種々の異なる形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、かつ、命令実行システム、装置若しくはデバイスによって又はこれらと関連して用いるためのプログラムを通信し、伝搬し又は搬送することができる、任意のコンピュータ可読媒体とすることができる。
コンピュータ可読媒体上に具体化されたプログラム・コードは、無線、有線、光ファイバ・ケーブル、無線周波数（ＲＦ）など、又はこれらのいずれかの適切な組み合わせを含むがこれらに限定されない、任意の適切な媒体を用いて、伝送することができる。
本発明の態様のための動作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向型プログラミング言語、及び「Ｃ］プログラミング言語又は同様のプログラミング言語のような従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語のいずれかの組み合わせで記述することができる。プログラム・コードは、完全にユーザのコンピュータ上で実行されるか、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行されるか、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行されるか、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合がある。最後のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続されるか、又は、（例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて）外部コンピュータへの接続がなされる場合がある。
本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品の流れ図及び／又はブロック図を参照して上記で説明される。流れ図及び／又はブロック図の各ブロック、及び、流れ図及び／又はブロック図におけるブロックの組み合わせは、コンピュータ・プログラム命令によって実装できることが理解されるであろう。これらのコンピュータ・プログラム命令を汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを生成し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、流れ図及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための手段を生成するようにしてもよい。
また、これらのコンピュータ命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイスを特定の様式で機能するように指令することができるコンピュータ可読媒体に格納し、それにより、そのコンピュータ可読媒体に格納された命令が、流れ図及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装する命令を含む製品を作るようにしてもよい。
また、コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイスにロードして、コンピュータ、他のプログラム可能データ処理装置、又はその他のデバイス上で一連の動作ステップを行わせて、コンピュータ実装プロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、流れ図及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実行するためのプロセスを提供するようにしてもよい。
図面内の流れ図及びブロック図は、本発明の種々の実施形態によるシステム、方法、及びコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、及び動作を示す。この点に関して、流れ図又はブロック図の中の各ブロックは、指定された１つ又は複数の論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装においては、ブロックに記載された機能が図に示された順序通りに行われない場合があることにも留意すべきである。例えば、逐次的に示された２つのブロックは、関与する機能に応じて、実際には、実質的に同時に実行されることもあり、ときにはブロックが逆順に実行されることもある。ブロック図及び／又は流れ図の各ブロック、及び、ブロック図及び／又は流れ図におけるブロックの組み合わせは、指定された機能又は動作を行う専用ハードウェアに基づくシステムによって、又は専用ハードウェアとコンピュータ命令との組み合わせによって、実装できることにも留意されたい。
本明細書で説明されるいずれの方法も、コンピュータ可読ストレージ媒体上で具体化される別個のソフトウェア・モジュールを含むシステムを提供する付加的なステップを含むことができ、このモジュールは、例えば、図９に示されるコンポーネントのいずれか又は全てを含むことができることに留意されたい。そして次に、この方法ステップは、１つ又は複数のハードウェア・プロセッサ１１０２上で実行されるシステムの別個のソフトウェア・モジュール及び/又はサブモジュールを用いて、上述のように実行することができる。さらに、コンピュータ・プログラム製品は、別個のソフトウェア・モジュールを有するシステムの提供を含めて、本明細書において説明される１つ又は複数の方法ステップを実行するように実装されるよう適合されたコードを有する、コンピュータ可読ストレージ媒体を含むことができる。
いずれにしても、本明細書で示されるコンポーネントは、例えば、特定用途向け集積回路（ＡＳＩＣＳ）、機能回路、関連付けられたメモリを有する適宜プログラムされた１つ又は複数の汎用デジタルコンピュータなどの、ハードウェア、ソフトウェア、又はそれらの組合せの種々の形態で実装することができることを理解されたい。本明細書で提供される本発明の教示が与えられれば、関連分野の当業者は、本発明のコンポーネントのその他の実装を企図することが可能であろう。
本明細書で用いられる用語は、特定の実施形態を説明するためのものであり、本発明を限定することを意図するものではない。本明細書で用いられる場合、単数形の不定冠詞（「ａ」、「ａｎ」）及び定冠詞（「ｔｈｅ」）は、文脈から明らかにそうではないことが示されていない限り、複数形も含むことが意図される。「含む」及び／又は「含んだ」という用語は、本明細書において用いられる場合、言及した特徴、整数、ステップ、動作、要素、及び／又はコンポーネントの存在を指定するが、１つ又は複数のその他の特徴、整数、ステップ、動作、要素、コンポーネント、及び／又はそれらの群の存在又は追加を排除するものではないこともさらに理解されるであろう。
以下の特許請求の範囲における全ての「手段又はステップと機能との組合せ（ミーンズ又はステップ・プラス・ファンクション）」要素の対応する構造、材料、動作及び均等のものは、明確に特許請求されている他の特許請求された要素と組み合わせてその機能を実行するための、いかなる構造、材料又は動作をも含むことが意図される。本発明の説明は、例証及び説明の目的で提示されたものであるが、網羅的であることを意図するものでもなく、開示された形態の発明に限定することを意図するものでもない。本発明の範囲及び思想から逸脱することのない多くの修正及び変形が当業者には明らかであろう。実施形態は、本発明の原理及び実際の適用を最も良く説明するように、及び、当業者が、企図される特定の使用に適するように種々の修正を伴う種々の実施形態について本発明を理解することを可能にするように、選択され、説明された。
本発明の少なくとも１つの実施形態は、例えば、時間及び/又は空間ドメインに基づく自動動的閾値決定のような、１つ又は複数の有益な効果を手供することができる。
上述の本発明の例示的な実施形態は、多数の異なる方式で実装することができることを認識し、理解すべきである。本明細書で提供される本発明の教示が与えられれば、関連分野の当業者は、本発明のその他の実装を企図することが可能であろう。実際、本発明の例証的な実施形態を添付の図面を参照して本明細書において説明してきたが、本発明は、それら実施形態そのものに限定されるものではなく、当業者によればその他の種々の変更及び修正を行うことができることを理解されたい。
３０２：前のフレーム
３０４：基準フレーム
３０６：次のフレーム
７０２：地理基準面
７０４、７０６、７０８、７１０：フレーム
１１１０：システム・バス
１１１２：データ処理ユニット

Claims (24)

  1. １つ又は複数の移動オブジェクトの視覚的監視を行うための方法であって、
    １つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせることであって、前記１つ又は複数の画像を重ね合わせることが、２つ又はそれ以上の隣接するフレーム内の前記１つ又は複数の画像の領域ベースの重ね合わせを含む、１つ又は複数の画像を重ね合わせることと、
    前記１つ又は複数の画像のモーション・セグメント化を行って、前記１つ又は複数の画像内の１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出することと、
    前記１つ又は複数の移動オブジェクトの視覚的監視を容易にするように、前記１つ又は複数の移動オブジェクトを追跡することと、
    を含み、
    前記１つ又は複数の画像を重ね合わせることが、前記１つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせを含む、
    方法。
  2. 前記１つ又は複数の画像を重ね合わせることが、１つ又は複数のサブピクセル画像マッチング技術を用いることを含む、請求項１に記載の方法。
  3. 前記１つ又は複数の画像のモーション・セグメント化を行うことが、順方向及び逆方向フレーム差分を取ることを含む、請求項１に記載の方法。
  4. 前記順方向及び逆方向フレーム差分が、時間的フィルタリング及び空間的フィルタリングのうちの少なくとも一方に基づく自動動的閾値推定を含む、請求項３に記載の方法。
  5. 前記順方向及び逆方向フレーム差分が、１つ又は複数の画像特徴の独立した動きに基づいて１つ又は複数の偽の移動ピクセルを除去することを含む、請求項３に記載の方法。
  6. 前記順方向及び逆方向フレーム差分が、形態学的操作をおこなうことと、１つ又は複数のモーション・ピクセルを生成することとを含む、請求項３に記載の方法。
  7. 前記１つ又は複数の移動オブジェクトを追跡することが、ハイブリッド・ターゲット追跡を行うことを含み、前記ハイブリッド・ターゲット追跡は、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴トラッカ及び平均値シフトを用いることと、自動カーネル・スケール推定及び更新を用いることと、１つ又は複数の特徴軌道を用いることとを含む、請求項１に記載の方法。
  8. 前記１つ又は複数の移動オブジェクトを追跡することが、１つ又は複数のターゲットについての特徴マッチング及び距離行列に基づく１つ又は複数の多重ターゲット追跡アルゴリズムを用いることを含む、請求項１に記載の方法。
  9. 前記１つ又は複数の移動オブジェクトを追跡することが、
    モーション・マップを生成することと、
    １つ又は複数の移動オブジェクトを識別することと、
    オブジェクト初期化及びオブジェクト確認を行うことと、
    前記モーション・マップ内の１つ又は複数のオブジェクト領域を識別することと、
    １つ又は複数の特徴を抽出することと、
    前記モーション・マップ内に探索領域を設定することと、
    前記モーション・マップ内の１つ又は複数の候補領域を識別することと、
    平均値シフト追跡することと、
    前記１つ又は複数の候補領域内の１つ又は複数の移動オブジェクトを識別することと、
    Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ特徴マッチングを行うことと、
    アフィン変換を行うことと、
    Ｂｈａｔｔａｃｈａｒｙｙａ係数によって最終領域決定を行うことと、
    ターゲット・モデル及び軌道の情報を更新することと、
    を含む、請求項１に記載の方法。
  10. 前記１つ又は複数の移動オブジェクトを追跡することが、基準面ベースの重ね合わせ及び追跡を含む、請求項１に記載の方法。
  11. 各カメラ・ビューを１つ又は複数の他のカメラ・ビューと関連付けることをさらに含む、請求項１に記載の方法。
  12. １つ又は複数のカメラによりキャプチャされた前記１つ又は複数の画像からパノラマ・ビューを形成することをさらに含む、請求項１に記載の方法。
  13. 各カメラの動きを、前記パノラマ・ビュー内の１つ又は複数の静止オブジェクトの映像情報に基づいて推定することをさらに含む、請求項１２に記載の方法。
  14. 前記パノラマ・ビュー内の１つ又は複数の背景構造を、直線構造の検出と、ある期間にわたる前記１つ又は複数の移動オブジェクトの統計的解析とに基づいて推定することをさらに含む、請求項１２に記載の方法。
  15. 自動特徴抽出をさらに含み、前記自動特徴抽出は、
    画像をフレーム化することと、
    ガウス平滑化操作を行うことと、
    ケニー検出器を用いて１つ又は複数の特徴エッジを抽出することと、
    特徴解析のためのハフ変換を実施することと、
    変換空間における多重ピークの影響を低減するために最大応答ファインディングを決定することと、
    特徴の長さが特定の閾値を上回るか否か判定し、前記特徴の前記長さが前記閾値を上回る場合に特徴抽出及びピクセル除去を行うことと、
    を含む、請求項１に記載の方法。
  16. 前記自動特徴抽出が、フレーム差分を取ることと、モーション履歴画像による検証とを行うこととをさらに含む、請求項１５に記載の方法。
  17. 前記方法が、外れ値除去を行って、１つ又は複数の間違った移動オブジェクト・マッチを除去することをさらに含む、請求項１に記載の方法。
  18. 偽ブロブ・フィルタリングをさらに含み、前記偽ブロブ・フィルタリングは、
    モーション・マップを生成することと、
    連結成分プロセスを適用して各ブロブ・データをリンクすることと、
    モーション・ブロブ・テーブルを作成することと、
    以前に重ね合わされたフレーム内の各ブロブについて１つ又は複数の特徴を抽出することと、
    Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法を適用して各ブロブの動きを推定し、あるブロブについて動きが生じなかった場合に該ブロブを前記ブロブ・テーブルから削除することと、
    を含む、請求項１に記載の方法。
  19. 時間ドメインと空間ドメインのうちの少なくとも一方の上でターゲット・モデルを更新することをさらに含む、請求項１に記載の方法。
  20. パノラマ・ビューにおけるオブジェクト外観及びオブジェクト軌跡の索引を作成することをさらに含む、請求項１に記載の方法。
  21. クエリと前記索引内のエントリとの間の類似度メトリックを決定することをさらに含む、請求項１に記載の方法。
  22. システムを提供することをさらに含み、前記システムは、１つ又は複数の別個のソフトウェア・モジュールを含み、前記１つ又は複数の別個のソフトウェア・モジュールの各々は、有形のコンピュータ可読記録可能ストレージ媒体上で具体化され、前記１つ又は複数の別個のソフトウェア・モジュールは、ハードウェア・プロセッサ上で実行される、幾何学的重ね合わせモジュール、モーション抽出モジュール、及びオブジェクト追跡モジュールを含む、請求項１に記載の方法。
  23. １つ又は複数の移動オブジェクトの視覚的監視を行うためのシステムであって、
    メモリと、
    前記メモリに結合された少なくとも１つのプロセッサと、
    を含み、前記プロセッサは、
    １つ又は複数のカメラによりキャプチャされた１つ又は複数の画像を重ね合わせることであって、前記１つ又は複数の画像を前記重ね合わせることが、２つ又はそれ以上の隣接するフレーム内の前記１つ又は複数の画像の領域ベースの重ね合わせを含む、１つ又は複数の画像を重ね合わせることと、
    前記１つ又は複数の画像のモーション・セグメント化を行って、前記１つ又は複数の画像内の１つ又は複数の移動オブジェクト及び１つ又は複数の背景領域を検出することと、
    前記１つ又は複数の移動オブジェクトの視覚的監視を容易にするように、前記１つ又は複数の移動オブジェクトを追跡することと、
    を行うように動作可能であり、
    前記１つ又は複数の画像を重ね合わせることが、前記１つ又は複数の画像の再帰的な大域的及び局所的幾何学的重ね合わせを含む、
    システム。
  24. コンピュータ・システム内にロードされて実行されたときに請求項１乃至請求項２２に記載の方法の全てのステップを実行するコンピュータ・プログラム・コードを含む、コンピュータ・プログラム。
JP2015112896A 2010-12-20 2015-06-03 移動オブジェクトの検出及び追跡 Active JP6095018B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/972,836 US9147260B2 (en) 2010-12-20 2010-12-20 Detection and tracking of moving objects
US12/972,836 2010-12-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013543794A Division JP2014504410A (ja) 2010-12-20 2011-12-15 移動オブジェクトの検出及び追跡

Publications (2)

Publication Number Publication Date
JP2015181042A true JP2015181042A (ja) 2015-10-15
JP6095018B2 JP6095018B2 (ja) 2017-03-15

Family

ID=45495895

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013543794A Pending JP2014504410A (ja) 2010-12-20 2011-12-15 移動オブジェクトの検出及び追跡
JP2015112896A Active JP6095018B2 (ja) 2010-12-20 2015-06-03 移動オブジェクトの検出及び追跡

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013543794A Pending JP2014504410A (ja) 2010-12-20 2011-12-15 移動オブジェクトの検出及び追跡

Country Status (6)

Country Link
US (2) US9147260B2 (ja)
JP (2) JP2014504410A (ja)
CN (1) CN103262121A (ja)
DE (1) DE112011103690T5 (ja)
GB (1) GB2500839B (ja)
WO (1) WO2012084703A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101942987B1 (ko) * 2016-09-12 2019-01-28 프래미 인코퍼레이티드 동영상 배경 제거 방법, 시스템 및 컴퓨터 판독가능 저장장치

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
KR20110123744A (ko) * 2009-01-28 2011-11-15 배 시스템즈 피엘시 화상 내의 잠재적으로 변화된 객체의 검출
US20110115913A1 (en) * 2009-11-17 2011-05-19 Werner Lang Automated vehicle surrounding area monitor and display system
JP5781743B2 (ja) * 2010-06-28 2015-09-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9628755B2 (en) * 2010-10-14 2017-04-18 Microsoft Technology Licensing, Llc Automatically tracking user movement in a video chat application
US8625905B2 (en) * 2011-01-28 2014-01-07 Raytheon Company Classification of target objects in motion
WO2012156141A1 (en) * 2011-05-16 2012-11-22 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Fast articulated motion tracking
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
CN102982304B (zh) * 2011-09-07 2016-05-25 株式会社理光 利用偏光图像检测车辆位置的方法和系统
CN103196550A (zh) * 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种对发射光源的成像信息进行筛选处理的方法与设备
SG10201710075SA (en) * 2012-05-14 2018-01-30 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
GB201213604D0 (en) * 2012-07-31 2012-09-12 Bae Systems Plc Detectig moving vehicles
JP6094100B2 (ja) * 2012-09-07 2017-03-15 株式会社Ihi 移動体検出方法
JP6094099B2 (ja) * 2012-09-07 2017-03-15 株式会社Ihi 移動体検出方法
JP5983209B2 (ja) 2012-09-07 2016-08-31 株式会社Ihi 移動体検出方法
US9076062B2 (en) * 2012-09-17 2015-07-07 Gravity Jack, Inc. Feature searching along a path of increasing similarity
WO2014050117A1 (ja) * 2012-09-27 2014-04-03 パナソニック株式会社 画像処理装置および画像処理方法
TWI482468B (zh) * 2012-11-23 2015-04-21 Inst Information Industry 物體偵測裝置、方法及其電腦可讀取紀錄媒體
US9201958B2 (en) * 2013-10-24 2015-12-01 TCL Research America Inc. Video object retrieval system and method
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN109008972A (zh) 2013-02-01 2018-12-18 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US9165208B1 (en) * 2013-03-13 2015-10-20 Hrl Laboratories, Llc Robust ground-plane homography estimation using adaptive feature selection
US9625995B2 (en) 2013-03-15 2017-04-18 Leap Motion, Inc. Identifying an object in a field of view
US9367067B2 (en) * 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
US9430846B2 (en) * 2013-04-19 2016-08-30 Ge Aviation Systems Llc Method of tracking objects using hyperspectral imagery
US9317770B2 (en) * 2013-04-28 2016-04-19 Tencent Technology (Shenzhen) Co., Ltd. Method, apparatus and terminal for detecting image stability
JP6202879B2 (ja) * 2013-05-20 2017-09-27 株式会社朋栄 ローリングシャッタ歪み補正と映像安定化処理方法
US9491360B2 (en) 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
US9384552B2 (en) * 2013-06-06 2016-07-05 Apple Inc. Image registration methods for still image stabilization
US9277129B2 (en) * 2013-06-07 2016-03-01 Apple Inc. Robust image feature based video stabilization and smoothing
CN104424651A (zh) * 2013-08-26 2015-03-18 株式会社理光 跟踪对象的方法和系统
US20150071547A1 (en) 2013-09-09 2015-03-12 Apple Inc. Automated Selection Of Keeper Images From A Burst Photo Captured Set
CN106572810A (zh) 2014-03-24 2017-04-19 凯内蒂科尔股份有限公司 去除医学成像扫描的预期运动校正的系统、方法和装置
CN103914850B (zh) * 2014-04-22 2017-02-15 南京影迹网络科技有限公司 一种基于运动匹配的视频自动标注方法及自动标注系统
CN103957423A (zh) * 2014-05-14 2014-07-30 杭州古北电子科技有限公司 一种基于计算机视觉的视频压缩和重建方法
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2016015251A1 (en) 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
CN104202559A (zh) * 2014-08-11 2014-12-10 广州中大数字家庭工程技术研究中心有限公司 一种基于旋转不变特征的智能监控系统及方法
CN104217442B (zh) * 2014-08-28 2017-01-25 西北工业大学 基于多模型估计的航拍视频运动目标检测方法
CN104243819B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 照片获取方法及装置
CN104407619B (zh) * 2014-11-05 2017-03-15 沈阳航空航天大学 不确定环境下的多无人机同时到达多个目标方法
US10729324B2 (en) * 2014-12-04 2020-08-04 Koninklijke Philips N.V. Calculating a health parameter
US10713506B2 (en) 2014-12-18 2020-07-14 Magna Electronics Inc. Vehicle vision system with 3D registration for distance estimation
US9792664B2 (en) 2015-01-29 2017-10-17 Wipro Limited System and method for mapping object coordinates from a video to real world coordinates using perspective transformation
CN104766319B (zh) * 2015-04-02 2017-06-13 西安电子科技大学 提升夜间拍照图像配准精度的方法
US10043307B2 (en) 2015-04-17 2018-08-07 General Electric Company Monitoring parking rule violations
US10872241B2 (en) 2015-04-17 2020-12-22 Ubicquia Iq Llc Determining overlap of a parking space by a vehicle
US10762112B2 (en) * 2015-04-28 2020-09-01 Microsoft Technology Licensing, Llc Establishing search radius based on token frequency
CN110049206B (zh) * 2015-04-28 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置及计算机可读存储介质
US9767572B2 (en) * 2015-05-01 2017-09-19 Raytheon Company Systems and methods for 3D point cloud processing
US9483839B1 (en) * 2015-05-06 2016-11-01 The Boeing Company Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
US9936128B2 (en) 2015-05-20 2018-04-03 Google Llc Automatic detection of panoramic gestures
JP6558951B2 (ja) * 2015-05-27 2019-08-14 株式会社パスコ トンネル壁面の損傷検出装置及びトンネル壁面の損傷検出プログラム
KR102359083B1 (ko) * 2015-06-02 2022-02-08 에스케이하이닉스 주식회사 움직이는 객체 검출 장치 및 방법
JP6333396B2 (ja) 2015-06-26 2018-05-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ モバイルプラットフォームの変位を計測する方法及び装置
CN105974940B (zh) * 2016-04-29 2019-03-19 优利科技有限公司 适用于飞行器的目标跟踪方法
CN105023278B (zh) * 2015-07-01 2019-03-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
KR101645722B1 (ko) * 2015-08-19 2016-08-05 아이디어주식회사 자동추적 기능을 갖는 무인항공기 및 그 제어방법
JP6496323B2 (ja) * 2015-09-11 2019-04-03 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 可動物体を検出し、追跡するシステム及び方法
KR101756391B1 (ko) 2015-10-30 2017-07-26 이노뎁 주식회사 객체 이미지들을 링크하고, 빅데이터 분석 시스템과 연동이 가능한 객체 이미지 링크 시스템, 이를 포함하는 통합 관제 시스템 및 그 동작방법
KR102410268B1 (ko) * 2015-11-20 2022-06-20 한국전자통신연구원 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
US10540901B2 (en) 2015-11-23 2020-01-21 Kespry Inc. Autonomous mission action alteration
US10060741B2 (en) 2015-11-23 2018-08-28 Kespry Inc. Topology-based data gathering
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
KR102576908B1 (ko) * 2016-02-16 2023-09-12 삼성전자주식회사 동적 파노라마 기능을 제공하는 방법 및 장치
US10339387B2 (en) 2016-03-03 2019-07-02 Brigham Young University Automated multiple target detection and tracking system
CN107172341B (zh) * 2016-03-07 2019-11-22 深圳市朗驰欣创科技股份有限公司 一种无人机控制方法、无人机、地面站及无人机系统
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
CA3022382C (en) 2016-04-29 2021-06-22 United Parcel Service Of America, Inc. Unmanned aerial vehicle pick-up and delivery systems
US10730626B2 (en) 2016-04-29 2020-08-04 United Parcel Service Of America, Inc. Methods of photo matching and photo confirmation for parcel pickup and delivery
CN105913459B (zh) * 2016-05-10 2019-07-12 中国科学院自动化研究所 基于高分辨率连拍图像的运动目标检测方法
US10026193B2 (en) 2016-05-24 2018-07-17 Qualcomm Incorporated Methods and systems of determining costs for object tracking in video analytics
CN106127801A (zh) * 2016-06-16 2016-11-16 乐视控股（北京）有限公司 一种运动区域检测的方法和装置
US10284875B2 (en) 2016-08-08 2019-05-07 Qualcomm Incorporated Systems and methods for determining feature point motion
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
CN106355606A (zh) * 2016-08-30 2017-01-25 山东航天电子技术研究所 一种无人机高速目标图像跟踪方法
US10289900B2 (en) * 2016-09-16 2019-05-14 Interactive Intelligence Group, Inc. System and method for body language analysis
US20180365839A1 (en) * 2016-09-27 2018-12-20 SZ DJI Technology Co., Ltd. Systems and methods for initialization of target object in a tracking system
US10339671B2 (en) * 2016-11-14 2019-07-02 Nec Corporation Action recognition using accurate object proposals by tracking detections
US10636152B2 (en) * 2016-11-15 2020-04-28 Gvbb Holdings S.A.R.L. System and method of hybrid tracking for match moving
CN106548487B (zh) * 2016-11-25 2019-09-03 浙江光跃环保科技股份有限公司 用于检测和跟踪移动物体的方法和装置
US10269133B2 (en) * 2017-01-03 2019-04-23 Qualcomm Incorporated Capturing images of a game by an unmanned autonomous vehicle
CN108733042B (zh) * 2017-04-19 2021-11-09 上海汽车集团股份有限公司 自动驾驶车辆的目标跟踪方法及装置
KR101876349B1 (ko) * 2017-04-20 2018-07-09 사회복지법인 삼성생명공익재단 치료기 제어 시스템 및 방법
US11010630B2 (en) * 2017-04-27 2021-05-18 Washington University Systems and methods for detecting landmark pairs in images
CN108876811B (zh) * 2017-05-10 2024-02-02 中兴通讯股份有限公司 一种图像处理方法、设备及计算机可读存储介质
US10775792B2 (en) 2017-06-13 2020-09-15 United Parcel Service Of America, Inc. Autonomously delivering items to corresponding delivery locations proximate a delivery route
EP3640887A4 (en) * 2017-06-13 2021-03-17 IHI Corporation MOBILE BODY OBSERVATION PROCESS
DE102017113794A1 (de) * 2017-06-22 2018-12-27 Connaught Electronics Ltd. Klassifizierung statischer und dynamischer Bildsegmente in einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs
CN109215056A (zh) * 2017-07-03 2019-01-15 昊翔电能运动科技(昆山)有限公司 目标追踪方法及装置
CN109214243A (zh) * 2017-07-03 2019-01-15 昊翔电能运动科技(昆山)有限公司 目标跟踪方法、装置及无人机
CN107392937B (zh) 2017-07-14 2023-03-14 腾讯科技（深圳）有限公司 目标跟踪方法、装置及电子设备
US10453187B2 (en) * 2017-07-21 2019-10-22 The Boeing Company Suppression of background clutter in video imagery
US10210391B1 (en) * 2017-08-07 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos using contour sequences
CN109509210B (zh) * 2017-09-15 2020-11-24 百度在线网络技术（北京）有限公司 障碍物跟踪方法和装置
US10872534B2 (en) 2017-11-01 2020-12-22 Kespry, Inc. Aerial vehicle inspection path planning
US10902615B2 (en) 2017-11-13 2021-01-26 Qualcomm Incorporated Hybrid and self-aware long-term object tracking
CN108446581B (zh) * 2018-01-22 2022-07-19 北京理工雷科电子信息技术有限公司 一种恶劣环境中的无人机检测方法
CN108596946A (zh) * 2018-03-21 2018-09-28 中国航空工业集团公司洛阳电光设备研究所 一种运动目标实时检测方法及系统
CN113467499A (zh) * 2018-05-30 2021-10-01 深圳市大疆创新科技有限公司 飞行控制方法及飞行器
CN108848304B (zh) 2018-05-30 2020-08-11 影石创新科技股份有限公司 一种全景视频的目标跟踪方法、装置和全景相机
CN110610514B (zh) * 2018-06-15 2023-09-19 株式会社日立制作所 实现多目标跟踪的方法、装置、电子设备
US10916031B2 (en) 2018-07-06 2021-02-09 Facebook Technologies, Llc Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit
CN109146862A (zh) * 2018-08-04 2019-01-04 石修英 土壤修复状态智能化检测设备
CN108982521A (zh) * 2018-08-04 2018-12-11 石修英 可视化土壤健康水平检测设备
CN109118510A (zh) * 2018-08-10 2019-01-01 平安科技（深圳）有限公司 一种监控视频处理方法、装置及计算机可读介质
CN109087378A (zh) * 2018-09-11 2018-12-25 首都师范大学 图像处理方法及系统
CN109556596A (zh) 2018-10-19 2019-04-02 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质
US10839531B2 (en) * 2018-11-15 2020-11-17 Sony Corporation Object tracking based on a user-specified initialization point
CN109584266B (zh) * 2018-11-15 2023-06-09 腾讯科技（深圳）有限公司 一种目标检测方法及装置
CN109522843B (zh) * 2018-11-16 2021-07-02 北京市商汤科技开发有限公司 一种多目标跟踪方法及装置、设备和存储介质
EP3891700A1 (en) * 2018-12-05 2021-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Object location determination in frames of a video stream
EP3671630A1 (en) * 2018-12-19 2020-06-24 Nokia Technologies Oy Movement indication
CN109685830B (zh) * 2018-12-20 2021-06-15 浙江大华技术股份有限公司 目标跟踪方法、装置和设备及计算机存储介质
WO2020128587A1 (en) * 2018-12-20 2020-06-25 Pratik Sharma Intelligent image sensor
CN109685062B (zh) * 2019-01-02 2023-07-25 南方科技大学 一种目标检测方法、装置、设备及存储介质
JP7093015B2 (ja) * 2019-04-24 2022-06-29 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
CN110223344B (zh) * 2019-06-03 2023-09-29 哈尔滨工程大学 一种基于形态学和视觉注意机制的红外小目标检测方法
IT201900007815A1 (it) * 2019-06-03 2020-12-03 The Edge Company S R L Metodo per il rilevamento di oggetti in movimento
CN110349172B (zh) * 2019-06-28 2022-12-16 华南理工大学 基于图像处理和双目立体测距的输电线路防外破预警方法
CN112308880B (zh) * 2019-08-30 2022-02-25 华为技术有限公司 一种目标用户锁定方法及电子设备
CN110675428B (zh) * 2019-09-06 2023-02-28 鹏城实验室 面向人机交互的目标跟踪方法、装置、计算机设备
CN113545028B (zh) 2019-09-25 2023-05-09 谷歌有限责任公司 用于面部认证的增益控制
US10984513B1 (en) 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera
CN113544692B (zh) 2019-10-10 2024-09-06 谷歌有限责任公司 用于面部认证的摄像头同步和图像标记
CN113496136B (zh) 2020-03-18 2024-08-13 中强光电股份有限公司 无人机及其影像识别方法
CN111951313B (zh) * 2020-08-06 2024-04-26 北京灵汐科技有限公司 图像配准方法、装置、设备及介质
KR102396830B1 (ko) * 2020-10-16 2022-05-11 한양대학교 산학협력단 이동체 판단 장치 및 그 판단 방법
CN112330717B (zh) * 2020-11-11 2023-03-10 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
TR202019736A2 (tr) * 2020-12-04 2022-06-21 Aselsan Elektronik Sanayi Ve Ticaret As Tespi̇t uygulamalari i̇çi̇n gürültü önleme metodu
CN112947035B (zh) * 2021-01-28 2022-03-08 四川写正智能科技有限公司 一种护眼正姿智能手表测距传感器安装及测距方法
CN112785628B (zh) * 2021-02-09 2023-08-08 成都视海芯图微电子有限公司 一种基于全景视角检测跟踪的轨迹预测方法及系统
CN113361651B (zh) * 2021-03-05 2022-01-04 牧今科技 生成用于物体检测的安全空间列表的方法和计算系统
CN113763419B (zh) * 2021-04-29 2023-06-20 腾讯科技（深圳）有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN113592922A (zh) * 2021-06-09 2021-11-02 维沃移动通信（杭州）有限公司 图像的配准处理方法及装置
CN113642463B (zh) * 2021-08-13 2023-03-10 广州赋安数字科技有限公司 一种视频监控和遥感图像的天地多视图对齐方法
CN113766089B (zh) * 2021-09-18 2023-08-18 北京百度网讯科技有限公司 检测视频滚动条纹的方法、装置、电子设备和存储介质
CN114037633B (zh) * 2021-11-18 2022-07-15 南京智谱科技有限公司 一种红外图像处理的方法及装置
CN114040114A (zh) * 2021-11-26 2022-02-11 重庆紫光华山智安科技有限公司 一种全景摄像及补光方法、系统、设备和介质
CN114283174A (zh) * 2021-12-24 2022-04-05 北京金山云网络技术有限公司 运动目标追踪方法、装置和电子设备
CN114419102B (zh) * 2022-01-25 2023-06-06 江南大学 一种基于帧差时序运动信息的多目标跟踪检测方法
CN114972440B (zh) * 2022-06-21 2024-03-08 江西省国土空间调查规划研究院 用于国土调查的es数据库图斑对象链式追踪方法
CN117095029B (zh) * 2023-08-22 2024-06-14 中国科学院空天信息创新研究院 空中飞行小目标检测方法及装置
CN117893581B (zh) * 2024-01-17 2024-08-02 微网优联科技(成都)有限公司 一种移动行人追踪方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6284391A (ja) * 1985-10-09 1987-04-17 Fujitsu Ltd 細長い矩形抽出方式
JP2002074369A (ja) * 2000-08-28 2002-03-15 Ntt Data Corp 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体
JP2004157908A (ja) * 2002-11-08 2004-06-03 Dainippon Pharmaceut Co Ltd 移動情報抽出装置および方法
WO2004063991A1 (ja) * 2003-01-14 2004-07-29 The Circle For The Promotion Of Science And Engineering 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム
JP2005286656A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、車両、および運転支援方法
JP2006094560A (ja) * 2005-12-02 2006-04-06 Hitachi Ltd カメラ揺れ補正方法および画像システム
JP2006285403A (ja) * 2005-03-31 2006-10-19 Konica Minolta Holdings Inc 画像処理方法および画像処理装置
WO2009150882A1 (ja) * 2008-06-10 2009-12-17 国立大学法人東京工業大学 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08185521A (ja) 1994-12-28 1996-07-16 Clarion Co Ltd 移動体カウント装置
US5757668A (en) * 1995-05-24 1998-05-26 Motorola Inc. Device, method and digital video encoder of complexity scalable block-matching motion estimation utilizing adaptive threshold termination
US7015945B1 (en) 1996-07-10 2006-03-21 Visilinx Inc. Video surveillance system and method
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
US6757008B1 (en) 1999-09-29 2004-06-29 Spectrum San Diego, Inc. Video surveillance system
JP3540696B2 (ja) 1999-12-06 2004-07-07 三洋電機株式会社 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
IL136080A0 (en) * 2000-05-11 2001-05-20 Yeda Res & Dev Sequence-to-sequence alignment
US7842727B2 (en) * 2001-03-27 2010-11-30 Errant Gene Therapeutics, Llc Histone deacetylase inhibitors
EP1552682A4 (en) 2002-10-18 2006-02-08 Sarnoff Corp METHOD AND SYSTEM FOR ENHANCING PANORAMIC VISUALIZATION BY USING MULTIPLE CAMERAS
US7113185B2 (en) 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
US20050073585A1 (en) * 2003-09-19 2005-04-07 Alphatech, Inc. Tracking systems and methods
US20050063608A1 (en) * 2003-09-24 2005-03-24 Ian Clarke System and method for creating a panorama image from a plurality of source images
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US7352919B2 (en) * 2004-04-28 2008-04-01 Seiko Epson Corporation Method and system of generating a high-resolution image from a set of low-resolution images
US7576767B2 (en) 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
US7583815B2 (en) 2005-04-05 2009-09-01 Objectvideo Inc. Wide-area site-based video surveillance system
US7884849B2 (en) 2005-09-26 2011-02-08 Objectvideo, Inc. Video surveillance system with omni-directional camera
JP4777433B2 (ja) * 2005-10-27 2011-09-21 エヌイーシー ラボラトリーズ アメリカ インク ビデオ前景の分割方法
US8842730B2 (en) * 2006-01-27 2014-09-23 Imax Corporation Methods and systems for digitally re-mastering of 2D and 3D motion pictures for exhibition with enhanced visual quality
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
KR101195942B1 (ko) * 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
US7783118B2 (en) * 2006-07-13 2010-08-24 Seiko Epson Corporation Method and apparatus for determining motion in images
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP4668220B2 (ja) * 2007-02-20 2011-04-13 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
US8417037B2 (en) * 2007-07-16 2013-04-09 Alexander Bronstein Methods and systems for representation and matching of video content
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2009134509A (ja) * 2007-11-30 2009-06-18 Hitachi Ltd モザイク画像生成装置及びモザイク画像生成方法
JP4337929B2 (ja) 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置
FR2929734A1 (fr) * 2008-04-03 2009-10-09 St Microelectronics Rousset Procede et systeme de videosurveillance.
US8150165B2 (en) * 2008-04-11 2012-04-03 Recognition Robotics, Inc. System and method for visual recognition
FR2930211A3 (fr) 2008-04-21 2009-10-23 Renault Sas Dispositif de visualisation de l'environnement d'un vehicule et de detection d'objets autour du vehicule
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
CN101286232A (zh) * 2008-05-30 2008-10-15 中国科学院上海技术物理研究所 一种高精度亚像元图像的配准方法
US8345944B2 (en) * 2008-08-06 2013-01-01 Siemens Aktiengesellschaft System and method for coronary digital subtraction angiography
KR101498206B1 (ko) * 2008-09-30 2015-03-06 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
US8340400B2 (en) * 2009-05-06 2012-12-25 Honeywell International Inc. Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
DE102009036200A1 (de) 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
US20110128385A1 (en) * 2009-12-02 2011-06-02 Honeywell International Inc. Multi camera registration for high resolution target capture
JP4911230B2 (ja) * 2010-02-01 2012-04-04 カシオ計算機株式会社 撮影装置、並びに制御プログラム及び制御方法
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6284391A (ja) * 1985-10-09 1987-04-17 Fujitsu Ltd 細長い矩形抽出方式
JP2002074369A (ja) * 2000-08-28 2002-03-15 Ntt Data Corp 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体
JP2004157908A (ja) * 2002-11-08 2004-06-03 Dainippon Pharmaceut Co Ltd 移動情報抽出装置および方法
WO2004063991A1 (ja) * 2003-01-14 2004-07-29 The Circle For The Promotion Of Science And Engineering 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム
JP2005286656A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、車両、および運転支援方法
JP2006285403A (ja) * 2005-03-31 2006-10-19 Konica Minolta Holdings Inc 画像処理方法および画像処理装置
JP2006094560A (ja) * 2005-12-02 2006-04-06 Hitachi Ltd カメラ揺れ補正方法および画像システム
WO2009150882A1 (ja) * 2008-06-10 2009-12-17 国立大学法人東京工業大学 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
寺久保 敏 SATOSHI TERAKUBO，外３名: "２段階アフィン変換を利用した移動カメラ画像からの動物体の抽出 Motion Detection from Image Sequences", 電子情報通信学会技術研究報告 ＶＯＬ．９５ ＮＯ．４４６ IEICE TECHNICAL REPORT, vol. 第95巻，第４４６号, JPN6016020051, 22 December 1995 (1995-12-22), JP, pages 31 - 36, ISSN: 0003326140 *
橋本 学 MANABU HASHIMOTO: "快適・安心空間のための知的センシング特集号 Special Issue on Intelligent Sensing for Comfortable and", システム／制御／情報 第５０巻 第１０号 SYSTEMS,CONTROL AND INFORMATION, vol. 第５０巻，第１０号, JPN6016020052, 15 October 2006 (2006-10-15), JP, pages 18 - 23, ISSN: 0003326141 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101942987B1 (ko) * 2016-09-12 2019-01-28 프래미 인코퍼레이티드 동영상 배경 제거 방법, 시스템 및 컴퓨터 판독가능 저장장치

Also Published As

Publication number Publication date
JP2014504410A (ja) 2014-02-20
CN103262121A (zh) 2013-08-21
US20130002866A1 (en) 2013-01-03
US20120154579A1 (en) 2012-06-21
GB2500839B (en) 2017-04-05
GB2500839A (en) 2013-10-02
US9147260B2 (en) 2015-09-29
JP6095018B2 (ja) 2017-03-15
WO2012084703A1 (en) 2012-06-28
GB201311821D0 (en) 2013-08-14
DE112011103690T5 (de) 2013-09-05

Similar Documents

Publication Publication Date Title
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
US9864927B2 (en) Method of detecting structural parts of a scene
US10719727B2 (en) Method and system for determining at least one property related to at least part of a real environment
CN103325112B (zh) 动态场景中运动目标快速检测方法
US8446468B1 (en) Moving object detection using a mobile infrared camera
US9934585B2 (en) Apparatus and method for registering images
CN104704384A (zh) 具体用于装置的基于视觉的定位的图像处理方法
US20220319042A1 (en) Detection, 3d reconstruction and tracking of multiple rigid objects moving in relation to one another
GB2541153A (en) Processing a series of images to identify at least a portion of an object
CN102034355A (zh) 一种基于特征点匹配的车辆检测及跟踪方法
CN110245566B (zh) 一种基于背景特征的红外目标远距离追踪方法
Linger et al. Aerial image registration for tracking
Ji et al. RGB-D SLAM using vanishing point and door plate information in corridor environment
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和系统
Lisanti et al. Continuous localization and mapping of a pan–tilt–zoom camera for wide area tracking
Real-Moreno et al. Fast template match algorithm for spatial object detection using a stereo vision system for autonomous navigation
Cui et al. Direct-ORB-SLAM: Direct Monocular ORB-SLAM
CN116883897A (zh) 一种低分辨率目标识别方法
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
JP2014102805A (ja) 情報処理装置、情報処理方法及びプログラム
Schubert et al. Robust registration and filtering for moving object detection in aerial videos
CN115294358A (zh) 特征点提取方法、装置、计算机设备及可读存储介质
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160714

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161207

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170113

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20170113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170207

R150 Certificate of patent or registration of utility model

Ref document number: 6095018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150