JP2015201183A - 走行路メタデータを用いた空中写真／映像におけるコンテキスト・アウェア物体検出 - Google Patents

Abstract

【課題】地理的領域において、走行路上の移動物体のリアルタイム検出を行うためのシステム及び方法を提供する。【解決手段】地理的領域の連続する画像を撮影するための撮像装置20と、地理的領域のコンテキスト情報を含む地理基準マップと、連続する画像間の差異を計算し、走行路上の移動物体をリアルタイムで検出するように構成されているプロセッサ24と、を備える。方法は、撮像装置を用いて地理的領域の連続する画像を撮影することと、地理的基準マップに従って連続する画像のうち少なくともいくつかのジオレジストレーションを行うことと、連続する画像間の差異を計算することにより、リアルタイムで物体を検出することと、を含む。【選択図】図１

Description

本発明は、走行路における、対象とする移動物体のリアルタイム検出、並びに、誤報(f alse alarms)及び検出漏れの低減に関する。また、本発明は、リアルタイムでこのよう な移動物体を追跡する際にも用いることができる。

ビデオトラッキングを用いて、走行路などの経路上を移動する対象物体を検出及び追跡するシステムが、先行技術として知られている。しかしながら、これらのシステムの多くは、環境を構成する人工物(artifacts)、及び、対象物体への光の影響に起因する画質により、リアルタイムでの物体の検出精度に限界がある。結果として、現行のシステムは、特定の環境においては、対象物体を適切に追跡できないことがある。

地理的領域において、走行路上の移動物体のリアルタイム検出を行うためのシステム及び方法が提供される。また、システム及び方法は、リアルタイムでそのような移動物体を追跡するために用いることもできる。上記システムは、地理的領域の連続する画像を撮影するための撮像装置と、地理的領域のコンテキスト情報を含む地理基準マップと、連続する画像間の差異を計算し、走行路上の移動物体をリアルタイムで検出するように構成されているプロセッサと、を備える。上記方法は、撮像装置を用いて地理的領域の連続する画像を撮影することと、地理的基準マップに対して連続する画像のうち少なくともいくつかについてジオレジストレーションを行うことと、連続する画像間の差異を計算することにより、リアルタイムで物体を検出することと、を含む。

更に、本開示は、以下の付記に係る実施形態も含むものとする。

付記１．物体をリアルタイムに検出する方法であって、
撮像装置を用いて、少なくとも１つの走行路を含む地理的領域についての連続する画像を撮影することと、
地理基準マップに対して連続する画像のうち少なくともいくつかの画像についてジオレジストレーションを行うことと、を含み、地理基準マップは、地理的領域のコンテキスト情報を含み、
連続する画像間での差異を計算することにより、リアルタイムで物体を検出することを更に含む、方法。

付記２．連続する画像のうち、第１画像のジオレジストレーションは手動で行われる、付記１に記載の方法。

付記３．走行路を含む地理的領域の画像を取得することを更に含む、付記１に記載の方法。

付記４．コンテキスト情報は走行路メタデータである、付記１に記載の方法。

付記５．走行路は道路である、付記１に記載の方法。

付記６．撮像装置は、空中輸送手段に位置する、付記１に記載の方法。

付記７．連続する画像は、地理的領域について少なくとも１つのビデオシーケンスを撮影することにより生成され、方法は、ビデオシーケンスを連続する画像に分割することを更に含む、付記１に記載の方法。

付記８．平面ホモグラフィは、基準マップ上で連続する画像について相対的にジオレジストレーションを行うために用いられる、付記１に記載の方法。

付記９．コンテキスト情報を用いて、走行路外に存在する移動物体の誤検出を抑制することを更に含む、付記１に記載の方法。

付記１０．コンテキスト情報を用いて、走行路内に存在する移動物体を検出することを更に含む、付記１に記載の方法。

付記１１．基準マップに従って、連続する画像のうち１つについて追加的にジオレジストレーションを行うことにより、レジストレーションにおける誤差を低減することを更に含む、付記１に記載の方法。

付記１２．移動物体の位置を追跡することを更に含む、付記１に記載の方法。

付記１３．地理的領域において、走行路上の移動物体のリアルタイム検出を行うためのシステムであって、
地理的領域の連続する画像を撮影するための撮像装置と、
地理的領域のコンテキスト情報を含む地理基準マップと、
連続する画像間の差異を計算し、走行路上の移動物体をリアルタイムで検出するように構成されているプロセッサと、を備えるシステム。

付記１４．撮像装置は、ビデオカメラである、付記１３に記載のシステム。

付記１５．地理基準マップは、メタデータを含むマップである、付記１３に記載のシステム。

付記１６．移動物体は運搬手段であり、走行路は道路である、付記１３に記載のシステム。

付記１７．撮像装置は、空中輸送手段における空中プラットフォームに搭載されている、付記１３に記載のシステム。

付記１８．空中輸送手段は無人である、付記１７に記載のシステム。

付記１９．地理基準マップは、プロセッサから離れたサーバに格納されている、付記１３に記載のシステム。

付記２０．プロセッサは、更に、移動物体の位置を追跡するように構成されている、付記１３に記載のシステム。

本発明の範囲は、添付する特許請求の範囲でのみ定義され、この発明の概要における記載には影響されないものとする。

本発明は、以下の図面及び説明を参照することによって、より理解されるであろう。図中の構成要素は必ずしも縮尺にしたがっておらず、本発明の原理を例示することに重点が置かれている。

本発明の構成要素を含むシステムを示すブロック図である。 本発明のシステムにおいて用いられる撮像装置を示すブロック図である。 本発明のシステムにおいて用いられるプロセッサを示すブロック図である。 本発明のシステムにおける撮像装置により撮影される画像、及び、基準マップを示す線画である。 本発明のシステムにおいて、基準マップに従った画像のジオレジストレーションが、平面ホモグラフィを用いてどのように行われるかを示す線画である。 本方法で用いられるステップを示す線画と、それに関連するフローチャートである。 本発明の移動物体検出の例を示す図である。 走行路メタデータを用いない移動物体検出を示す図である。 本発明に係る、走行路メタデータを用いた移動物体検出を示す図である。

本発明は、様々な形態で実現可能であるが、図示する例、及び、本明細書における詳細な説明は、例えば、無人航空機（ＵＡＶ：unmanned aerial vehicle）、空中プラットフォーム、又は有人輸送体などの、空中構造体に搭載される撮像装置を用いて行う走行路の対象移動物体の検出についての特定の実施形態に関するものである。なお、本開示は、本発明の原理を例示したものであり、本発明を、ここで図示及び説明されている実施形態に限定することを意図するものではない。したがって、特に明記しない限り、本明細書に開示される特徴を互いに組み合わせることにより、本明細書では簡略化のため説明されていない付加的な組み合わせを形成することが可能である。

空中位置から撮影した画像を用いて、ジオレジストレーション（geo-registration）を行うとともに、走行路に沿った移動物体のコンテキスト・アウェア検出(context-aware detection)を行うシステム及び方法は、走行路上の移動物体の検出性能を向上させ、また、誤報及び検出漏れを低減する。上記システム及び方法は、このような移動物体を追跡するために用いることもできる。上記方法は、リアルタイムで実行可能である。ジオレジストレーション情報と、グローバルマッピングシステム(global mapping system)により提供される走行路のメタデータ(metadata)とを組み合わせることにより、先行技術と比べてシステムの精度を向上させることができる。

図１のブロック図に示すように、システムは、例えば、カメラなどの、少なくとも１つの走行路を含みうる地理的領域のデジタル画像を生成するための撮像装置２０と；無人航空機（ＵＡＶ）、又は、ヘリコプターなどの有人輸送体におけるプラットフォームなどの、撮像装置２０を搭載するための空中構造体２２と；ソフトウェアを内部に有し、撮像装置２０と通信するプロセッサであって、撮像装置２０からの画像を処理可能なプロセッサ２４と；プロセッサ２４と通信するユーザーインターフェース２６と；グローバルマッピングシステムからの走行路のメタデータを格納し、プロセッサ２４と通信するサーバ２８と、を含む。

撮像装置２０は、例えば、建物、草木、及び乗り物などの、撮像装置２０の視野内における物体の写真又は映像などのデジタル画像を撮像するように構成されている。撮像装置２０は、プロセッサ２４と通信可能に接続している。図２に示すように、撮像装置２０は、撮像装置光学系３０と、撮像部３２と、通信インターフェース３４とを含む。撮像装置光学系３０は、レンズ及び他の光学部品を含み、撮像部３２と通信可能に接続している。撮像部３２は、通信インターフェース３４へ画像を伝送し、当該通信インターフェースは、これらの画像をプロセッサ２４へ伝送する。

プロセッサ２４及びサーバ２８は互いに接続され、これらの間で情報が送信される。この情報は、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、有線ネットワーク及び／又は無線ネットワークなどの通信網を介して、サーバ２８に対して送受信される情報である。サーバ２８は、空中構造体２２に搭載されてもよいし、地上に設置されてもよい。

プロセッサ２４は、空中構造体２２に搭載されてもよいし、地上に設置されてもよい。プロセッサ２４が地上に設置されている場合、撮像装置２０は、無線信号を介してプロセッサ２４へ画像を送信する。図３に示すように、プロセッサ２４は、撮像装置２０及びサーバ２８からの画像情報を処理し、中央処理装置（ＣＰＵ）又はデジタル信号プロセッサ（ＤＳＰ）３６と、メモリ３８とを含む。ＣＰＵ／ＤＳＰ３６はメモリ３８に接続しており、当該メモリは、ランダムアクセスメモリ（ＲＡＭ）と、リードオンリーメモリ（ＲＯＭ）とを含む。メモリ３８は、非一時的であり、機械読取可能かつ機械実行可能なソフトウェアコード４０を格納している。このソフトウェアコードは、実行されると、本明細書に記載する様々な機能をＣＰＵ／ＤＳＰ３６に実行させるように構成されている。プロセッサ２４は、撮像部３２からの情報を解析することにより、ユーザーインターフェース２６のディスプレイに表示可能な画像であって、ユーザーインターフェース２６のプリンタを用いた印刷、及び、ユーザによる解析が可能な画像を生成する。

ユーザーインターフェース２６は、キーボード、ディスプレイ、及びスピーカなどの入力装置を含むことにより、ユーザに対して視覚及び音声情報を提供することができ、ユーザは、プロセッサ２４に対してパラメータを入力することができる。ユーザーインターフェース２６は、システムによって撮影された画像を印刷するためのプリンタを更に含んでもよい。

グローバルマッピングシステムは、第三者により利用される拡張走行路メタデータを提供する。そのようなマッピングシステムとしては、例えば、グーグルマップ、ビングマップ、又は、ジオポジショニング情報（geo-positioning information）を用いる他の適切なグローバルマッピングシステムなどがある。走行路メタデータは、特に、道路、水路、及び／又は歩道などの走行路の場所と、走行路近辺の建物、草木、及び、その他邪魔になりそうな物体などの構造物と、に関するコンテキスト情報を提供する。この走行路メタデータは、基準マップとして第三者に提供されてもよい。そのような基準マップ４２の線画例を図４Ａに示す。同図には、地理的領域での走行路が描かれており、この特定の基準マップにおいては、走行路は、例えば道路である。走行路は、図４Ｂでは、陰影線で示されている。マッピング情報は、インターネット接続などを介してオンラインで取得してもよいし、電気ディスク、磁気ディスク、光ディスクなどの記録媒体を介してオフラインで取得してもよい。この走行路メタデータ、及び、それに関連する基準マップは、サーバ２８に格納されてもよい、これに代えて、この走行路メタデータ、及び、それに関連する基準マップは、プロセッサ２４に格納されてもよい。

複数の写真又はビデオシーケンスなどの、複数のデジタル画像は、撮像装置２０によって撮影することができる。これらの画像は、その後、プロセッサ２４に送信されて処理が施されてもよい。写真が撮影される実施形態において、プロセッサ２４は、これらの写真を、個々の画像４４ａ、４４ｂ、４４ｃなどに分離するように構成されてもよい。映像が撮影される実施形態において、プロセッサ２４は、ビデオシーケンスを、個々の画像４４ａ、４４ｂ、４４ｃなどに分離するように構成されてもよい。

プロセッサ２４は、サーバ２８にアクセスして、図４に示されるような、ジオレジストレーション情報を含む適切な基準マップ４２を取得するように構成されてもよい。プロセッサ２４は、撮像装置２０からの画像を、基準マップ４２と比較するように構成されてもよい。プロセッサ２４は、画像特徴のマッチング及び平面ホモグラフィ(planar homography)を用いて、基準マップに対して画像のジオレジストレーションを行ってもよい。

ジオレジストレーション処理中において、第１画像４４ａのジオレジストレーションは、ユーザが、ユーザーインターフェース２６を介してプロセッサ２４にレジストレーション情報を入力することにより、基準マップ４２に従って手動で行ってもよい。この代わりに、プロセッサ２４は、撮像装置２０に組み込まれたＧＰＳ及び／又は慣性センサ(inertia sensors)などの入力を用いて、第１画像４４ａのジオレジストレーションを、基準マップ４２に対して自動で行うように構成されてもよい。本システム及び方法において、画像４４ａ、４４ｂ、４４ｃ等及び基準マップ４２には主要平面が存在すると考えられる。したがって、プロセッサ２４は、基準マップ４２に対して画像４４ａ、４４ｂ、４４ｃ等を位置合わせするための平面ホモグラフィを用いるように構成されてもよい。

以下において、H_0,Mは、基準マップ４２に対して第１画像４４ａを位置合わせするためのホモグラフィである。第１画像４４ａのレジストレーションが完了すると、後続する画像４４ｂ、４４ｃ・・・について、以下のようにジオレジストレーションが行われる。I_tは、時間tにおいて、撮像装置によって撮影された画像として定義され、I_t+1 は、後続する画像として定義される。図６Ａに示すように、画像間のレジストレーションは、両方の画像（現在の画像は解析中であり、前回の画像は解析済）における画像から、スケール不変特徴変換（SIFT：scale-invariant feature transform）記述子又は他のよく知られた記述子を抽出することにより、既知な方法で行われる。両方の画像における画像から、ユークリッド空間におけるこれらの画像の最近傍を介してＳＩＦＴ記述子をマッチングすることにより、対応付けの最初のセットが得られる。これらの推定される対応付けは、多くの誤った組み合わせを含んでおり、これらの組み合わせは、ランダムサンプルコンセンサス（RANSAC:randomsampleconsensus、著Fischler, and Bolles, Comm.of the ACM, Vol.24, pp.381-395, 1981）などの既知の方法、又は、外れ値を含む方法であって、I_tにI_t+1を位置合わせするホモグラフィであるH_t+1,tを提供する測定データのセットから、数学的モデルのパラメータを推測するための他の方法を用いて切り捨てられる。結果として、後続する画像I_t+1は、H_t+1,tH_t,t-1H_t-1t-2...H_1,0H_0,Mの積、又は、単に以下のように、
を用いてジオレジストレーションされる。

プロセッサ２４は、連続する画像のそれぞれについてジオレジストレーションを行うように構成されてもよく、画像群のうち所定の画像についてジオレジストレーションを行う（例えば、いくつかの連続する画像をスキップする）ように構成されてもよい。

上記方法は、各ホモグラフィ演算において小さな誤差が生じる場合があり、これらの誤差が時間の経過とともに蓄積すると、やがて画像同士が正しく位置合わせされなくなることがある。これらの誤差は、更に別の画像と基準マップとの間のレジストレーションを利用して、画像間のレジストレーションをより正確に行うことにより軽減することができる。時間tにおいて、ジオレジストレーションが行われる画像I_tは、小さい誤差の範囲内であると仮定する。ジオレジストレーションは、画像パッチの相関情報を用いて、I_t及び基準マップ４２における対象点をマッチングすることにより、より正確に行うことができる。相関情報とは、２つの信号間で重複する情報の指標であり、一方の信号に基づく情報から他方の信号の情報をどの程度得られるかを表す。相関情報は、一方の信号が変化しても、他方の信号が変化しない場合にのみ影響を受けるが、これらの信号の相対値には影響を受けないため、ロバスト性が高く(robust)有用である。基準マップ４２と解析される画像とは、異なる時間帯に撮影されたものであるため、異なる時刻、異なる気象条件などと相まって、解析される画像が、基準マップ４２における画像とは異なる角度から撮影された可能性もあるため、複雑化因子が生じ得る。相関情報は、これらの複雑化因子を軽減するために役立つ。結果として、誤差の蓄積、及びジオレジストレーションの「ずれ（drift）」が無効化される。

ジオレジストレーション後のビデオシーケンスの例を図４Ａ〜４Ｄに示す。図４Ａは、基準マップ４２を示す。図４Ｂは、基準マップ４２に対してレジストレーションが行われた第１画像４４ａを示す。図４Ｃ及び４Ｄは、基準マップ４２に対してレジストレーションが行われた、後続する画像４４ｂ、４４ｃを示す。走行路は、基準マップ４２から得られた走行路メタデータを用いて陰影線で示されている。

画像などのジオレジストレーションが完了すると、プロセッサ２４は、画像４４ａ、４４ｂ、４４ｃなどにおいて、例えば乗り物などの対象移動物体４６を検出するための追加コンテキストとして、基準マップ４２からの走行路メタデータを用いるように構成されてもよい。移動物体検出は、プロセッサ２４が、例えば、画像４４ａ及び４４ｂなどの連続する画像間の差異を計算することによって行われる。この計算は、既知の方法で粗バックグラウンド減算(coarse background subtraction)を用いることにより、基準画像４２に対してこれらの画像のジオレジストレーションが行われた後に行われる。I_tは、基準画像４２として定義され、I_tを基準座標系として用いて、画像I_t-k,I_t-(k-1),...I_t-1,I_t+2,...,I_t+kのレジストレーションが行われる。その後、以下に示すように、基準画像４２と、他の全ての画像４４ａ、４４ｂ、４４ｃとの間でのピクセルの差の２乗が蓄積される。
典型的には、ｋ＝２である。全ての画像４４ａ、４４ｂ、４４ｃのレジストレーションが、基準画像４２に対して行われるため、静止物体及びバックグラウンドは、２乗差演算により互いに打ち消しあい、移動物体４６が際立つと考えられる。感度閾値Ｔを、蓄積された差異画像に適用して、次のように、バイナリ画像(binary image)Ｂを生成する。

図６Ｂにおいて、差異画像が算出されると、プロセッサ２４は、ラベル付マップ領域(labeled map regions)に基づいて、蓄積された差異画像に対して閾値演算を行うように構成されている。この構成により、バックグラウンドと比較して、所定の速度よりも速く移動している物体を示す分割された画像領域が得られる。閾値Ｔを変化させることにより、動きに対する感度が、分割された画像領域を含むラベル付マップ領域に応じて決まるように設定することができる。例えば、走行路外の移動物体候補の感度閾値と比較して、より低い感度閾値を走行路内の移動物体候補に使用してもよい。次に、プロセッサ２４は、ラベル付マップ領域に基づいた可変決定閾値(variable decision threshold)とともに、領域のサイズ、形状、及び動的特性に基づいて、分割された画像領域を物体として検出するように構成されてもよい。その後、プロセッサ２４は、例えば、既知のカルマンフィルタ(Kalman filter)、又は、他の適切な既知のトラッカー(tracker)を用いて、移動経路を形成してもよい。最後のステップとして、プロセッサ２４は、検出した物体及び移動経路をユーザに出力するように構成されてもよい。

移動物体の検出及び追跡処理の例を図７Ａ〜７Ｃに示す。図７Ａは、蓄積された差異画像を示す。図７Ｂは、例えば、閾値化及びモルフォロジー演算(morphological operations)を用いることにより、図７Ａの蓄積した差異画像に処理を行った後の分割領域を示す。このようなモルフォロジー演算は、当該技術分野ではよく知られている。図７Ｃは、物体追跡の結果を示す。各対象追跡物体４６は、例えば、特定色の楕円などの、当てはめが行われた楕円で示されてもよい。対象追跡物体４６の過去の場所の履歴は、同じ色を用いて後方の点で示してもよい。

更に、画像等のレジストレーションが完了すると、プロセッサ２４は、走行路メタデータを用いて、走行路以外の場所での検出に関する誤報を低減するように構成されてもよい。対象移動物体４６が検出されると、本方法において、走行路メタデータを用いて誤報を除去するとともに検出漏れを低減するための図６Ｂのステップが実行される。画像毎の誤報数は、検索領域の面積にほぼ比例するため、誤報率は、走行路メタデータのみを用いることにより（検索領域を縮小することにより）低減される。走行路メタデータを用いて検索領域を縮小する場合、誤報率は低下するが、移動物体の検出率は変化しないと考えられる。感度閾値が低下すると移動物体の検出率が増加し、誤報率についても、走行路メタデータを用いて下げられた値から増加する。例えば、誤報率が、メタデータを用いない場合の比率から変化しないように、感度閾値を下げることができる。この場合、感度閾値が低下したことにより、検出率が上昇する。感度閾値を下げて、検索領域を縮小することにより、誤報率を一定に保つことができる。この方法において、蓄積された差異画像は、閾値化され、バイナリ画像に変換される。検索領域を縮小する場合、感度閾値を下げることにより、誤報率を一定に保つことができる。

ユーザは、対象移動物体４６を検出するため、プロセッサ２４に対して感度閾値Ｔを設定する。感度閾値Ｔの設定は、例えば、ユーザが、移動物体と、当該移動物体が重なっている構造物との間の画像におけるコントラストを所定のレベルに設定するか、又は、ユーザが移動物体に対して所定のピクセル数を設定することにより実現される。感度閾値Ｔは、基準マップ４２から分かる領域であって、走行路が存在する領域では低く設定し、その他の走行路が存在しない領域では高く設定してもよい。例えば、プロセッサ２４は、画像中の走行路又は建物よりも移動物体を暗く認識するように構成されてもよく、プロセッサ２４は、画像中の走行路又は建物よりも移動物体を明るく認識するように構成されてもよい。或は、例えば、プロセッサ２４は、走行路よりも移動物体のピクセル数が多いと認識するように構成されてもよい。しかしながら、ユーザが、あまりに低く感度閾値Ｔを設定した（移動物体と、当該移動物体が重なっている構造物との間のコントラスト量、又はピクセル数の違いが小さいことが要求される）場合、多くの物体がこの設定に適合するため、結果的に許容不可能な数の誤報が生じてしまう。しかしながら、ユーザが、あまりに高く感度閾値Ｔを設定した（移動物体と、当該移動物体が重なっている構造物との間のコントラスト量、又はピクセル数の違いが大きいことが要求される）場合、建物の影に入っている物体は、その物体と走行路との間において高レベルのコントラストを示さず、ピクセル数においても大きな違いを示さないため、結果的に検出漏れが生じてしまう。本発明においては、プロセッサ２４によって、走行路メタデータがコンテキストとして用いられるため、走行路以外の領域における誤報を抑制することができる。また、同時に走行路における移動物体検出処理において、低い感度閾値が用いられるため、走行路における誤報も低減することができる。感度閾値を低くすることにより、移動物体検出処理の感度を効果的に高めることができる。図７Ａから８Ｂに示す例において、検出される対象移動物体４６は、通常、走行路上を走行し、通常、走行路を外れて走行しない乗り物である。

図８Ａ及び８Ｂは、都市環境で撮影された画像４４ａ、４４ｂ、４４ｃを処理する際に直面しうる問題点を示す。高層ビル及び草木は、地上面（ground plane）に存在しないため、平面ホモグラフィを用いて位置合わせを行うことができない。結果として、２乗差演算を行うと、図８Ａで見られるような、誤報及び検出漏れが生じる可能性がある。誤報は、画像中の、走行路を走行していない移動物体により生じうる。検出漏れは、対象移動物体が高層ビルの影に入ってしまい、撮像装置２０及びプロセッサ２４により容易に検出されない場合に生じうる。走行路メタデータを追加コンテキストとして用い、さらに、図６Ｂに示す方法を用いて、このような誤報及び検出漏れを軽減することができる。

上述したように、走行路メタデータは、走行路内の領域における移動物体検出処理の感度を高めるためにも用いることができる。図８Ａに見られるように、移動している車は、高層ビルの影に隠れて検出されていない。これは、その領域において画像のコントラストが低いことに原因がある。走行路が存在する領域において、検出処理の感度閾値を下げることによって、この移動している運搬手段を検出することができる。

対象の移動物体が検出されると、プロセッサ２４は、時間の経過と共に、対象移動物体４６の位置を追跡するように構成されてもよい。これに代えて、対象移動物体４６が検出されると、ユーザは、その特定の対象移動物体４６を追跡するために、ユーザーインターフェース２６を介してプロセッサ２４に命令を入力してもよい。プロセッサ２４は、外観、場所、速度等によって、連続する画像４４ａ、４４ｂ、４４ｃにおける対象移動物体４６を検出するように構成されてもよい。

画像４４ａ、４４ｂ、４４ｃは、ジオレジストレーションされるため、検出された対象移動物体４６は、正確な地理座標を有している。これにより、ユーザは、容易に対象の移動物体４６を検出及び追跡することができる。

本発明は、画像４４ａ、４４ｂ、４４ｃにおいて複数の対象移動物体を検出及び追跡するために用いることができる。これら複数の対象移動物体は、画像４４ａ、４４ｂ、４４ｃにおいて、同じ走行路に存在してもよい。これに代えて、複数の対象移動物体のうち１つ又は複数の物体は、画像４４ａ、４４ｂ、４４ｃにおいて、１つの走行路に存在してもよく、複数の対象移動物体のうち別の１つ又は複数の物体は、画像４４ａ、４４ｂ、４４ｃにおいて、異なる走行路に存在してもよい。

本明細書において要旨の特定の態様を示して説明してきたが、本明細書の開示に基づいて、本明細書に記載された要旨及びその広範な態様から逸脱することなく変更および改変が可能であるということは、当業者には明らかであろう。したがって、添付する請求項の範囲は、本明細書に記載された要旨の真の思想及び範囲内において、そのような変更及び改変の全てを含むものとする。更に、本発明は、添付する請求項により定義されるということを理解されたい。したがって、本発明は、添付する請求項及びその均等物を考慮することを除いては限定されるものではない。

Claims (20)

1. 物体をリアルタイムに検出する方法であって、
   撮像装置（２０）を用いて、少なくとも１つの走行路を含む地理的領域についての連続する画像（４４ａ、４４ｂ、４４ｃ）を撮影することと、
   地理基準マップ（４２）に対して前記連続する画像（４４ａ、４４ｂ、４４ｃ）のうち少なくともいくつかの画像についてジオレジストレーションを行うことと、を含み、前記地理基準マップ（４２）は、前記地理的領域のコンテキスト情報を含み、
   前記連続する画像（４４ａ、４４ｂ、４４ｃ）間での差異を計算することにより、リアルタイムで物体（４６）を検出することを更に含む、方法。
2. 前記連続する画像（４４ａ、４４ｂ、４４ｃ）のうち、第１画像（４４ａ）のジオレジストレーションは手動で行われる、請求項１に記載の方法。
3. 走行路を含む前記地理的領域の画像を取得することを更に含む、請求項１又は２に記載の方法。
4. 前記コンテキスト情報は走行路メタデータである、請求項１、２、又は３に記載の方法。
5. 前記走行路は道路である、請求項１〜４のいずれかに記載の方法。
6. 前記撮像装置（２０）は、空中輸送手段に位置する、請求項１〜５のいずれかに記載の方法。
7. 連続する画像（４４ａ、４４ｂ、４４ｃ）は、前記地理的領域について少なくとも１つのビデオシーケンスを撮影することにより生成され、前記方法は、前記ビデオシーケンスを前記連続する画像（４４ａ、４４ｂ、４４ｃ）に分割することを更に含む、請求項１〜６のいずれかに記載の方法。
8. 平面ホモグラフィは、前記基準マップ（４２）上で前記連続する画像（４４ａ、４４ｂ、４４ｃ）について相対的にジオレジストレーションを行うために用いられる、請求項１〜７のいずれかに記載の方法。
9. 前記コンテキスト情報を用いて、走行路外に存在する移動物体（４６）の誤検出を抑制することを更に含む、請求項１〜８のいずれかに記載の方法。
10. 前記コンテキスト情報を用いて、走行路内に存在する移動物体（４６）を検出することを更に含む、請求項１〜９のいずれかに記載の方法。
11. 前記基準マップ（４２）に従って、前記連続する画像（４４ａ、４４ｂ、４４ｃ）のうち１つについて追加的にジオレジストレーションを行うことにより、前記レジストレーションにおける誤差を低減することを更に含む、請求項１〜１０のいずれかに記載の方法。
12. 前記移動物体の位置を追跡することを更に含む、請求項１〜１１のいずれかに記載の方法。
13. 地理的領域において、走行路上の移動物体のリアルタイム検出を行うためのシステムであって、
    地理的領域の連続する画像（４４ａ、４４ｂ、４４ｃ）を撮影するための撮像装置（２０）と、
    前記地理的領域のコンテキスト情報を含む地理基準マップ（４２）と、
    連続する画像（４４ａ、４４ｂ、４４ｃ）間の差異を計算し、前記走行路上の移動物体（４６）をリアルタイムで検出するように構成されているプロセッサ（２４）と、を備えるシステム。
14. 前記撮像装置（２０）は、ビデオカメラである、請求項１３に記載のシステム。
15. 前記地理基準マップ（４２）は、メタデータを含むマップである、請求項１３に記載のシステム。
16. 前記移動物体（４６）は運搬手段であり、前記走行路は道路である、請求項１３に記載のシステム。
17. 前記撮像装置（２０）は、空中輸送手段における空中プラットフォームに搭載されている、請求項１３〜１６に記載のシステム。
18. 前記空中輸送手段は無人である、請求項１３〜１７のいずれかに記載のシステム。
19. 前記地理基準マップ（４２）は、前記プロセッサ（２４）から離れたサーバ（２８）に格納されている、請求項１３〜１８のいずれかに記載のシステム。
20. 前記プロセッサ（２４）は、更に、前記移動物体（４６）の位置を追跡するように構成されている、請求項１３〜１９のいずれかに記載のシステム。