JP2021135540A - 物体追跡装置、物体追跡方法、及び物体追跡プログラム - Google Patents

Abstract

【課題】通信の一時的な途絶に対してロバストであり、かつ、物体の種別を識別可能な追跡を実現する。【解決手段】物体追跡装置は、エリア内に設置されたセンサの出力から物体の各々の位置を検出し、検出結果を出力する検出部と、前記検出結果から複数の物体の各々の位置を追跡した追跡結果である第１の結果を出力する追跡部と、を含む。また、物体追跡装置は、前記物体のうちの自己位置の推定が可能な物体の各々から、当該物体により推定された自己位置の推定結果を受信する通信部と、統合部とを含む。統合部は、前記物体の各々から受信した前記推定結果を第２の結果として、所定の対応付けにより前記第１の結果の物体と前記第２の結果の物体とを統合して出力する。【選択図】図１

Description

本開示は、物体追跡装置、物体追跡方法、及び物体追跡プログラムに関する。

移動体の制御及び管理を行う管制に関する技術がある。

例えば、自動運転車両と手動運転車両とが共に通行可能な混走道路においても、自動運転車両及び手動運転車両を共に円滑に走行させることを可能とする技術がある（特許文献１参照）。この技術では、混走道路を走行する車両の台数、走行位置、走行速度、及び停
止位置等の監視情報に基づいて停止ゾーンに手動運転車両が停止したか否かを判定している。

また、移動体からの通信途絶に対して、精度の高い予測を行うと共に、予測した動的データを共有することで、シームレスな他の制御プログラムへの引き継ぎを実現する技術がある（特許文献２参照）。この技術では、移動体の位置を把握するダイナミックマップを用いて、通信途絶があった場合、該当する管理制御装置で車両の走行状態を予測し、かつ、ダイナミックマップを共有する他の管理制御装置へ予測データを送信している。

特開２０１７−２２０１２９号公報 特開２０１８−１０６５０４号公報

ここで、特許文献１では、交差点周辺のインフラセンサと、車車間との通信、又は路車間との通信を利用した車両識別の識別を実施している。しかし、通信が途絶した場合が考慮されていない。

また、特許文献２では、通信の途絶に着目しているものの、車両種別の識別、及びエリア内に設置されたインフラセンサの活用については考慮されていない。

本開示は、上記事情を鑑みて成されたものであり、通信の一時的な途絶に対してロバストであり、かつ、物体の種別を識別可能な追跡を実現する物体追跡装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本開示の物体追跡装置は、エリア内に設置されたセンサの出力から物体の各々の位置を検出し、検出結果を出力する検出部と、前記検出結果から複数の物体の各々の位置を追跡した追跡結果である第１の結果を出力する追跡部と、前記物体のうちの自己位置の推定が可能な物体の各々から、当該物体により推定された自己位置の推定結果を受信する通信部と、前記物体の各々から受信した前記推定結果を第２の結果として、所定の対応付けにより前記第１の結果の物体と前記第２の結果の物体とを統合して出力する統合部と、を含んで構成されている。

また、本開示の物体追跡方法は、エリア内に設置されたセンサの出力から物体の各々の位置を検出し、検出結果を出力し、前記検出結果から複数の物体の各々の位置を追跡した追跡結果である第１の結果を出力し、前記物体のうちの自己位置の推定が可能な物体の各々から、当該物体により推定された自己位置の推定結果を受信し、前記物体の各々から受信した前記推定結果を第２の結果として、所定の対応付けにより前記第１の結果の物体と前記第２の結果の物体とを統合して出力する、処理をコンピュータに実行させる。

また、本開示の物体追跡プログラムは、エリア内に設置されたセンサの出力から物体の各々の位置を検出し、検出結果を出力し、前記検出結果から複数の物体の各々の位置を追跡した追跡結果である第１の結果を出力し、前記物体のうちの自己位置の推定が可能な物体の各々から、当該物体により推定された自己位置の推定結果を受信し、前記物体の各々から受信した前記推定結果を第２の結果として、所定の対応付けにより前記第１の結果の物体と前記第２の結果の物体とを統合して出力する、処理をコンピュータに実行させる。

本開示の物体追跡装置、物体追跡方法、及び物体追跡プログラムによれば、通信の一時的な途絶に対してロバストであり、かつ、物体の種別を識別可能な追跡を実現することができる。

第１実施形態の物体追跡システムの構成を示すブロック図である。 物体追跡装置のハードウェア構成を示すブロック図である。 管制エリア内のインフラセンサの配置の一例を示す図である。 センサ数分の検出部とする場合の一例を示す図である。 センサ数分の第１追跡部とする場合の一例を示す図である。 第１実施形態の物体追跡装置による物体追跡処理の流れを示すフローチャートである。 第２実施形態の物体追跡システムの構成を示すブロック図である。 対応付け部の構成を示すブロック図である。 第１追跡器群と第２追跡器群との組み合わせの一例を示す図である。 時刻ｔ２に通信が途絶し、更に物体Ａ及びＢが共に減速するような状況の一例を示すグラフである。 通信の途絶があった場合の実際の走行レーン上の物体Ａ及び物体Ｂの時系列の推移及び対応付けの一例を示す図である。 通信途絶がない場合であって、誤った第１追跡器が生成された場合の対応付けの例である。 第２実施形態の物体追跡装置による物体追跡処理の流れを示すフローチャートである。 対応付け処理の流れを示すフローチャートである。 変形例における自己位置を保持する場合の一例を示すブロック図である。 変形例における移動体が検出部を有する場合の一例を示すブロック図である。

以下、図面を参照して本開示の実施形態を詳細に説明する。

本実施形態は、管制型の自動運転の応用を念頭に置いた技術である。手動運転車両が混在する環境で、管制が自動運転車両を制御する際、移動体の制御計画が必要となる。もっとも、通信可能な移動物体と通信が不可能な移動物体が混在する環境下で、通信を介した移動物の制御を計画するためには、移動物を追跡することに加えて、通信が可能か否か、制御対象か否かなどの対象の種類の識別が必要である。更に、一部の移動物体との通信が一時的に途絶した場合にも、追跡及び識別を適切に行うことが必要である。

そこで本実施形態の技術は、あるエリアに設置されたセンサ（以下、インフラセンサ、又は単にセンサと記載する）によって追跡した物体の位置と、車両自体で推定された自己位置とを統合する手法を用いる。以下、本実施形態では、追跡対象の物体が手動運転車両、又は自己位置推定が可能な自動運転車両である場合を例に説明する。なお、物体は車両に限定されるものではなく、管制の必要性がある他の移動体であってもよい。その場合、自己位置推定が可能な移動体が含まれていればよい。
［第１実施形態］
図１は、第１実施形態の物体追跡システム１００の構成を示すブロック図である。図１に示すように、物体追跡システム１００は、複数のセンサ１１０の各々と、追跡対象である移動体１１２の各々、及び追跡対象であり、かつ、自己位置推定が可能な移動体１１４の各々と、物体追跡装置１３０とが、ネットワークＮを介して接続されている。ネットワークＮは、例えば、インターネット回線、又は公衆無線ＬＡＮ等である。本実施形態では、移動体１１２を物体Ａ、移動体１１４を物体Ｂとして扱う。移動体１１２及び移動体１１４のそれぞれを総称する場合には単に移動体、又は物体と記載する。各機能構成については後述する。

図２は、物体追跡装置１３０のハードウェア構成を示すブロック図である。図２に示すように、物体追跡装置１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、物体追跡プログラムが格納されている。

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。

通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ−Ｆｉ（登録商標）等の規格が用いられる。以上が、物体追跡装置１３０のハードウェア構成の説明である。

物体追跡システム１００の各機能構成を説明する。

移動体１１４は、通信部１１６と、自己位置推定部１１８とを含む。

物体追跡装置１３０は、通信部１３２と、検出部１３４と、第１追跡部１３６と、第２追跡部１３８と、統合部１４０とを含む。物体追跡装置１３０の処理は、予め設定した時間ごとに繰り返し、リアルタイムにエリア内を移動する移動体を統合し、出力する。これにより物体追跡装置１３０が管轄するエリアの管制を行う。

センサ１１０は、物体追跡システム１００の管制エリア内に設置されたインフラセンサであり、本実施形態ではカメラを利用する。各センサ１１０により物体を撮影し、撮影したカメラ画像を物体追跡装置１３０に送信する。ここで撮影される物体は、移動体１１２である物体Ａ、及び移動体１１４である物体Ｂを想定する。なお、物体の位置を検出可能な出力が得られるセンサであれば、カメラ以外でもよく、赤外線センサ、超音波センサ等を用いてもよい。

図３は、管制エリア内のインフラセンサの配置の一例を示す図である。図３の例ではＣ１〜Ｃ１２、ＣＲ１、及びＣＲ２がセンサ１１０に相当するインフラセンサであり、走行エリアを撮影するように設置されている。

移動体１１４は、自己位置推定部１１８で推定した自己位置の推定結果を、通信部１１６から物体追跡装置１３０に送信する。自己位置推定部１１８の自己位置推定手法については、本実施形態ではマップマッチングの手法を用いる。マップマッチングは外界センサで得た周辺環境の外形形状データと、予め用意した自己位置推定用の地図に含まれる環境外形データとをマッチングさせ、一致する地点を自己位置として推定する手法である。精度、及びロバスト性の向上を目的に、各種エンコーダなどの内界センサの検出結果も推定に用いる。一般的な自己位置推定の手法にはモンテカルロ定位などが知られているが、同手法に限定されるものではなく、ＧＰＳなどを用いた自己位置推定手法であってもよい。

次に、物体追跡装置１３０の各機能構成について説明する。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された物体追跡プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。

通信部１３２は、センサ１１０の各々からカメラ画像を受信する。通信部１３２は、移動体１１４から自己位置の推定結果を受信する。

検出部１３４は、センサ１１０の各々の出力であるカメラ画像から物体の各々の位置を検出し、検出結果を出力する。ここで検出する物体は、例えば、移動体１１２の各々、及び移動体１１４の各々である。図４は、センサ数分の検出部とする場合の一例を示す図である。検出部１３４は、例えば図４に示すように、センサ１１０_１〜１１０_Ｎのそれぞれと対応させた検出部１３４_１〜１３４_Ｎとして、センサ数分の検出部として構成できる。図３のように複数配置されたセンサ１１０により取得したカメラ画像から、一般的な物体検出手法を用いて、画像中の物体の位置を検出する。

第１追跡部１３６は、検出結果から複数の物体の各々の位置を追跡した追跡結果である第１の結果を出力する。第１追跡部１３６では、各検出部１３４_１〜１３４_Ｎの出力を利用し、共通の座標系で物体の位置を追跡する。共通の座標系としては、例えば地図座標がある。複数のカメラを用いた多物体追跡の手法としては例えば参考文献１の手法を用いればよい。
［参考文献１］特開２０１６−７１８３０号公報
このようにインフラセンサを用いて物体追跡を行い、通信の可、不可に関わらず、物体の位置及び速度を地図上で追跡する。上記例では、センサ１１０ごとに検出し、検出結果を第１追跡部１３６で統合して追跡する場合を例に説明したが、これに限らない。図５は、センサ数分の第１追跡部とする場合の一例を示す図である。例えば図５のように、第１追跡部１３６もセンサ１１０_１〜１１０_Ｎと対応させた第１追跡部１３６_１〜１３６_Ｎとして、センサ１１０ごとに検出及び追跡を行なった後に、第１追跡統合部１３６_Ａにより地図座標上で統合してもよい。

第２追跡部１３８は、移動体１１４から受信した自己位置の推定結果の推移から移動体１１４の位置を追跡した追跡結果を求め、第２の結果として出力する。第２追跡部１３８は、第１追跡部１３６と共通の座標系、例えば地図座標における各物体の自己位置を出力する必要がある。第２追跡部１３８では、受信した最新の自己位置の推定結果のみを保持してもよいし、例えばカルマンフィルタを利用してフィルタリングをしてもよい。また、各物体の自己位置の履歴を管理してもよい。

統合部１４０は、所定の対応付けにより第１の結果の物体と第２の結果の物体とを統合して出力する。例えば、それぞれの結果に含まれる物体の距離の近さに応じて距離の近い物体を対応付ける。これにより、同一物体を統合して出力する。また、統合結果の物体の各々には、物体の属性として、物体の種別、通信可能な否かの状態等を含めて出力してもよい。物体の種別は、例えば、車両であれば手動運転車両か自動運転車両かといった車両の種別である。

次に、第１実施形態に係る物体追跡装置１３０の作用について説明する。

図６は、第１実施形態の物体追跡装置１３０による物体追跡処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から物体追跡プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、物体追跡処理が行なわれる。ＣＰＵ１１が物体追跡装置１３０の各部として処理を実行する。

ステップＳ１００において、ＣＰＵ１１が通信部１３２として、センサ１１０の各々からカメラ画像、移動体１１４の各々から自己位置の推定結果を受信する。ここでの受信はセンサ１１０の各々、移動体１１４の各々の送信タイミングで随時行われる。

ステップＳ１０２において、ＣＰＵ１１が検出部１３４として、センサ１１０の各々の出力であるカメラ画像から物体の各々を検出し、検出結果を出力する。

ステップＳ１０４において、ＣＰＵ１１が第１追跡部１３６として、ステップＳ１０２の検出結果から複数の物体の各々の位置を追跡した追跡結果である第１の結果を出力する。

ステップＳ１０６において、ＣＰＵ１１が第２追跡部１３８として、移動体１１４から受信した自己位置の推定結果の推移から移動体１１４の位置を追跡した追跡結果を求め、第２の結果として出力する。

ステップＳ１０８において、ＣＰＵ１１が統合部１４０として、所定の対応付けにより第１の結果の物体と第２の結果の物体とを統合して出力する。

以上説明したように、第１実施形態に係る物体追跡システムによれば、通信の一時的な途絶に対してロバストであり、かつ、物体の種別を識別可能な追跡を実現する。
［第２実施形態］
次に第２実施形態について説明する。第２実施形態の手法は、第１実施形態の構成に加えて、更に予測を伴う対応付けを行うことにより、物体追跡の精度を高める構成である。なお、第１実施形態と同様の構成及び作用となる箇所については同一符号を付して説明を省略する。

図７は、第２実施形態の物体追跡システム２００の構成を示すブロック図である。第２実施形態では、物体追跡装置２３０の構成が第１実施形態と異なり、対応付け部２４２と、対応付け履歴記憶部２４４とを含む。図８は、対応付け部２４２の構成を示すブロック図である。対応付け部２４２は、予測部２５０と、分類部２５２と、確認部２５４と、計算部２５６とを含む。物体追跡装置２３０のハードウェア構成は第１実施形態と同様である。

対応付け部２４２は、これらの各部の処理により、第１の結果の物体と第２の結果の物体とを履歴及び予測により対応付けた対応付けペアの対応付け結果を出力する。

対応付け部２４２の処理の前提として、第１の結果及び第２の結果において、それぞれの追跡結果の物体の各々を追跡器群とする。また、第１の結果及び第２の結果のそれぞれの追跡器を第１追跡器、及び第２追跡器とする。履歴とは、対応付け履歴記憶部２４４の対応付けペアの履歴である。対応付けペアとは、対応付けられた第１追跡器と第２追跡器との組である。ここでの履歴は、時系列に処理されて直近に対応付け履歴記憶部２４４に保存された組を指す。予測とは、予測部２５０による第１追跡器、及び第２追跡器のそれぞれの追跡器の時系列の状態の推移の予測結果である。追跡器とは、追跡の対象とした物体であり、推移の予測対象である。対応付け履歴記憶部２４４には、第１追跡器の各々と前記第２追跡器の各々との対応付けペアが逐次保存される。

予測部２５０は、第１の結果である第１追跡器の各々と、第２の結果である第２追跡器の各々とのそれぞれの追跡器群について、共通の時系列における状態の推移を予測した予測結果を出力する。共通の時系列の基準とする時刻は、現在の時刻、又は追跡器のうちの最新の時刻が挙げられる。状態は、ここではｘ軸及びｙ軸の位置とする。ここで、第２追跡器については、予測に使用した時刻と、最後に受信した時刻との差に応じた尤度を設定し、通信の不安定さを反映する。予測処理は、線形回帰モデル又はマルコフ過程等の任意の手法を用いればよい。

分類部２５２は、対応付け履歴記憶部２４４の対応付けの履歴と、予測結果とに基づいて、履歴及び予測に関する第１条件に従って、追跡器群を、第１条件を満たす追跡器群と、第１条件を満たさない追跡器群とのそれぞれに分類して出力する。第１条件とは、履歴の中で対応付けされている対応付けペアに着目している追跡器が含まれ、かつ、当該対応付けペアの第１追跡器及び第２追跡器が予測部２５０で予測対象とした追跡器に含まれることを条件とする。第１条件を満たす追跡器群とは、第１条件を満たす第１追跡器と第２追跡器との組の対応付けペアからなる。第１条件を満たさない追跡器群とは、条件を満たす追跡器群以外の第１追跡器群及び前記第２追跡器群である。ここでは追跡器ごとに第１条件を満たすか否かを判定して分類し、出力すればよい。第１条件の条件判定は、対応付けペアの存在の有無が条件となっているため、第１追跡器又は第２追跡器のいずれかに着目して行えばよい。ここでは、例えば、第２追跡器に着目して第２追跡器の全てについて第１条件の判定を行えば、第１条件を満たす対応付けペアを出力可能である。これにより入力された第１追跡器群及び第２追跡器群を、第１条件を満たす追跡器群と、第１条件を満たさない追跡器群とに分類する。第１条件を満たす追跡器群は、対応付けの確認が必要な対応付けペアとして確認部２５４に出力する。第１条件を満たさない追跡器群は、計算部２５６に出力し、追跡器の組の各々について対応付けを計算する。

確認部２５４は、第１条件を満たす対応付けペアからなる追跡器群について、尤もらしさに関する第２条件に従って、第２条件を満たすか否かを判定する。具体的には、第２条件は、第２追跡器の尤度が一定値以上で、かつ、マハラノビス距離が一定以上であることとする。このように第２追跡器の尤度で判定すると共に、対応付けペアの第１追跡器と第２追跡器との近さを評価する。第２条件を満たす場合には、対応付けペアを維持し、統合部１４０、及び対応付け履歴記憶部２４４に出力する。第２条件を満たさない場合には、対応付けペアを解除して、計算部２５６に出力する。また、第２条件の別の手法としては、第２追跡器の尤度に基づいて、対応付けの距離閾値を変更してもよい。また、マハラノビス距離に限らず、通常の距離を判定に利用してもよい。なお、第２追跡器の尤度は予測部２５０で用いた尤度と同様の尤度を用いる。これにより、予測した対応付けペアが、対応付けペアとして尤もらしいかを判別できる。また、通信の一時的な途絶への対処、及び第１追跡部１３６で誤った第１追跡器が生成されてしまった場合の対処が行える。第１追跡部１３６では、カメラ画像を元に追跡器を生成するため誤って本来は存在しないはずの第１追跡器が生成されてしまう場合がある。本処理によって、このような誤って生成された第１追跡器との対応付けを防止できる。

計算部２５６には、第１条件を満たさない追跡器群、及び第２条件を満たさない追跡器群が入力される。なお、第１条件、又は第２条件が本開示の所定の条件の一例である。

計算部２５６は、所定の条件を満たさない追跡器群について、第１追跡部と第２追跡部との組み合わせの各々について最適となる対応付けペアを計算し、統合部１４０、及び対応付け履歴記憶部２４４に出力する。計算部２５６は、第１追跡器と、第２追跡器との組み合わせの全てについて１対１で排他的な対応付けを計算する。マハラノビス距離に応じたコストを設定し、コストが最小となるような組み合わせを計算する。

図９は、第１追跡器群と第２追跡器群との組み合わせの一例を示す図である。図９に示すように、第１追跡器群（追跡器１）をＮ個、第２追跡器群（追跡器２）をＭ個とし、確認部２５４での閾値に相当するコストを設定したダミーノードを、第２追跡器側にＮ個追加して対応付けを計算する。これは２部グラフのマッチング問題となり、ハンガリアン法を利用すれば簡単に解くことが可能である。

対応付け履歴記憶部２４４には、確認部２５４、又は計算部２５６から出力された対応付けペアの履歴を保存する。履歴の長さは適切に設定すればよく、例えば最新の結果のみ、又は最新の数回分を設定して保存すればよい。

以上のような対応付け部２４２の処理が有効なシーンの例を図１０に示す。図１０は、時刻ｔ２に通信が途絶し、更に物体Ａ及びＢが共に減速するような状況の一例を示すグラフである。図１０において、縦軸がｘ軸方向の物体の位置、横軸が時系列の時間ｔを表している。物体Ａが第１追跡器に対応し、物体Ｂが第２追跡器に対応する。通信の途絶については、物体Ｂとの通信が時刻ｔの時点から網掛けの範囲で途絶したという状況である。この場合、予測部２５０の予測において減速を反映できないため、時刻ｔ１及び時刻ｔ２の推移に応じた一次関数的な推移の予測となっている。しかし、実際には、物体Ｂは減速しているため対数的な推移となっている。実際の物体Ｂの動きと第２追跡器として予測された物体Ｂの動きとが乖離が生じてしまう。このように時刻ｔ３での第２追跡器の予測の精度は大きく低下してしまう。

図１１は、通信の途絶があった場合の実際の走行レーン上の物体Ａ及び物体Ｂの時系列の推移及び対応付けの一例を示す図である。図１１では、図１０で示した物体Ａ及び物体Ｂの２つの物体について、左側に物体Ａ及び物体Ｂの時系列の位置を示し、右側に第１追跡器と第２追跡器との対応付けを示している。左側の物体Ａは通信機能がなく、物体Ｂは通信機能があり、自己位置推定を行う。右側の楕円が第１追跡器を示し、三角が第２追跡器を示している。図１１の例では、時刻ｔごとに第２追跡器の推移を予測して、単純に予測により近い第１追跡器と第２追跡器とを対応付けると仮定する。破線が予測される推移である。図１１に示すように、時刻ｔ１及び時刻ｔ２では、予測において、後ろの第１追跡器に第２追跡器が対応付いている。これは左側の物体Ａ及び物体Ｂの対応付けペアとして正しい。一方、時刻ｔ３を見ると、予測において、前の第１追跡器に第２追跡器が誤って対応付けられてしまっている。このように、都度、予測して対応付けすると、通信の途絶によって対応付けが間違ってしまう場合がある。そのため、このような通信の途絶を想定して、通信状況の良い時刻ｔ１及び時刻ｔ２で対応付けた対応付けペアを対応付け履歴記憶部２４４に履歴として保存しておき、上記のように確認部２５４及び計算部２５６で処理する。この場合、時刻ｔ３の時点の履歴として前の時刻ｔ２の対応付けペアが残っており、かつ、当該対応付けペアについて予測が行われていれば第１条件を満たすため、確認部２５４で対応付けの確認が行われる。そして、確認部２５４で当該対応付けペアは第２条件を満たさなければ、対応付けが解除され、計算部２５６で新たに対応付けが行われる。これにより、時刻ｔ３において後ろの第１追跡器に第２追跡器が正しく対応付けられた対応付けペアが生成できる。このように通信の途絶が生じた場合でも誤った対応付けを防止できる。

また、図１２は、通信途絶がない場合であって、誤った第１追跡器が生成された場合の対応付けの例である。図１２の右側に示すように、時刻ｔ１の時点で誤った第１追跡器が生成され第１追跡器が３つ生成されてしまっている。実際は左側に示すように、物体は２つであるため、正しくは２つの第１追跡器が生成されるのが望ましいが、何らか障害物等を誤って検出してしまっているケースである。そのため時刻ｔ１では、誤って生成された第１追跡器と第２追跡器とが対応付けられてしまっている。次に、時刻ｔ２の時点では、誤って生成された第１生成器と、前方の第１生成器との距離が離れている。そのため時刻ｔ１時点の対応付けペアは、確認部２５４での確認によって第２条件を満たさないと判定され、計算部２５６により新たな対応付けがなされる。これにより、正しい対応付けペアが対応付け履歴記憶部１１４に保存され、時刻ｔ３の時点でも正しい対応付けペアを維持できる。

統合部１４０は、対応付け結果により第１の結果の物体と第２の結果の物体とを統合して出力する。対応付いていない追跡器についてはそのまま出力すればよく、対応付いた追跡器については第１追跡器又は第２追跡器のどちらかを選択して出力すればよい。選択については、例えば第２追跡器の尤度に応じて選択できる。また、第１追跡器についても尤度を計算しておき第２追跡器と比較してもよい。また、第２追跡器について位置の分散を推定しておき、分散行列に基づいて選択してもよい。

次に、第２実施形態に係る物体追跡装置２３０の作用について説明する。

図１３は、第２実施形態の物体追跡装置２３０による物体追跡処理の流れを示すフローチャートである。ステップＳ１０６の処理の第２の結果を出力する処理の後に、ステップＳ２００の処理が行われる。

ステップＳ２００において、ＣＰＵ１１が対応付け部２４２として、第１の結果の物体と第２の結果の物体とを履歴及び予測により対応付けた対応付けペアの対応付け結果を出力する。対応付け処理の詳細については後述する。

ステップＳ２０２において、ステップＳ２００の対応付け結果により第１の結果の物体と第２の結果の物体とを統合して出力する。

ステップＳ２００の対応付け処理の作用について説明する。図１４は、対応付け処理の流れを示すフローチャートである。

ステップＳ１２００において、ＣＰＵ１１が予測部２５０として、第１の結果である第１追跡器の各々と、第２の結果である第２追跡器の各々とのそれぞれの追跡器群について、共通の時系列における状態の推移を予測した予測結果を出力する。

ステップＳ１２０２において、ＣＰＵ１１が分類部２５２として、追跡器群から条件判定する追跡器を選択する。ここでは、条件判定していない第２追跡器を順次選択すればよい。

ステップＳ１２０４において、ＣＰＵ１１が分類部２５２として、対応付け履歴記憶部２４４の対応付けの履歴と、予測結果とに基づいて、選択した追跡器が、第１条件を満たすか否かを判定する。満たしている場合にはステップＳ１２０６へ移行し、満たしていない場合にはステップＳ１２０８へ移行する。

ステップＳ１２０６において、ＣＰＵ１１が分類部２５２として、第１条件を満たす追跡器群に分類し、確認部２５４に出力する。

ステップＳ１２０８において、ＣＰＵ１１が分類部２５２として、第１条件を満たさない追跡器群に分類し、計算部２５６に出力する。

ステップＳ１２１０において、ＣＰＵ１１が分類部２５２として、全ての追跡器群について第１条件の条件判定が終了したかを判定し、終了していればステップＳ１２１２へ移行し、終了していなければステップＳ１２０２へ戻る。

ステップＳ１２１２において、ＣＰＵ１１が確認部２５４として、第１条件を満たす対応付けペアからなる追跡器群のうち条件判定する対応付けペアを選択する。

ステップＳ１２１４において、ＣＰＵ１１が確認部２５４として、選択した対応付けペアについて、尤もらしさに関する第２条件に従って、第２条件を満たすか否かを判定する。満たしている場合にはステップＳ１２１６へ移行し、満たしていない場合にはステップＳ１２１８へ移行する。

ステップＳ１２１６において、ＣＰＵ１１が確認部２５４として、第２条件を満たす対応付けペアとし、対応付けを維持する。

ステップＳ１２１８において、ＣＰＵ１１が確認部２５４として、第２条件を満たさない対応付けペアとし、対応付けを解除して計算部２５６に出力する。

ステップＳ１２２０において、ＣＰＵ１１が確認部２５４として、全ての対応付けペアについて第２条件の条件判定が終了したかを判定し、終了していればステップＳ１２２２へ移行し、終了していなければステップＳ１２１２へ戻る。

ステップＳ１２２２において、ＣＰＵ１１が計算部２５６として、所定の条件を満たさない追跡器群について、第１追跡部と第２追跡部との組み合わせの各々について最適となる対応付けペアを計算する。

ステップＳ１２２４において、ＣＰＵ１１が計算部２５６として、ステップＳ１２１６で対応付けを維持した対応付けペア、及びステップＳ１２２２で計算した対応付けペアを対応付け結果として、統合部１４０、及び対応付け履歴記憶部２４４に出力する。

以上説明したように、第２実施形態に係る物体追跡システムによれば、履歴及び予測による対応付けにより、通信の一時的な途絶に対してロバストであり、かつ、物体の種別を識別可能な追跡を実現する。

なお、本開示は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。以下に、変形例を説明する。

例えば、上述した各実施形態では、第２追跡部１３８を用いて自己位置推定の結果を追跡する場合を例に説明したが、これに限定されるものではない。例えば、図１５に示すように、第２追跡部１３８を自己位置保持部２３８として受信した自己位置を保持するようにしてもよい。この場合には、受信した自己位置を時系列順に保持しておき、時系列順に保持された自己位置を追跡結果の代わりに第２の結果として用いればよい。

また、移動体１１４は、図１６に示すように、センサ１２０及び検出部１２２の検出機能を有していてもよい。図１６に示す例では、移動体１１４は、検出機能を有さない移動体１１４ａと、検出機能を有する移動体１１４ｂとに分けられる。センサ１２０は、インフラセンサであるセンサ１１０と同様にカメラを利用して、カメラ画像を撮影する。センサ１２０は、もちろん他の赤外線センサ、超音波センサ等であってもよい。検出部１２２は、物体追跡装置１３０（２３０）の検出部１３４と同様の処理により周囲の物体を検出する。このように、移動体１１４が検出部１２２を有する場合には、物体追跡装置１３０（２３０）は、インフラセンサの出力に限らず、移動体１１４が検出した情報を受信して追跡処理に利用できる。当該検出した情報を地図座標に変換すれば、センサ１１０の情報と同様の追跡が実現できる。このように、移動体１１４から、周囲の物体の検出結果を受信し、第１追跡部１３６において検出結果として利用してもよい。

また、上述した第２実施形態では確認部２５４を含む場合を説明したが、これに限定されるものではない。例えば、確認部２５４の処理を省略してもよい。つまり第２条件による判定を省略して、第１条件を満たす対応付けペアは対応付けを維持したまま出力する簡素な構成としてもよい。この場合であっても、計算部２５６により計算により、第１条件を満たさない追跡器群について対応付けペアが計算される。

なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した物体追跡処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、物体追跡処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記各実施形態では、物体追跡処理のプログラムがＲＯＭまたはストレージに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１００、２００ 物体追跡システム
１１０ センサ
１１２ 移動体（物体Ａ）
１１４ 移動体（物体Ｂ）
１１６ 通信部
１１８ 自己位置推定部
１２０ センサ
１２２ 検出部
１３０、２３０ 物体追跡装置
１３２ 通信部
１３４ 検出部
１３６ 第１追跡部
１３６Ａ 第１追跡統合部
１３８ 第２追跡部
１４０ 統合部
２４２ 対応付け部
２４４ 対応付け履歴記憶部
２５０ 予測部
２５２ 分類部
２５４ 確認部
２５６ 計算部

Claims (10)

1. エリア内に設置されたセンサの出力から物体の各々の位置を検出し、検出結果を出力する検出部と、
   前記検出結果から複数の物体の各々の位置を追跡した追跡結果である第１の結果を出力する追跡部と、
   前記物体のうちの自己位置の推定が可能な物体の各々から、当該物体により推定された自己位置の推定結果を受信する通信部と、
   前記物体の各々から受信した前記推定結果を第２の結果として、所定の対応付けにより前記第１の結果の物体と前記第２の結果の物体とを統合して出力する統合部と、
   を含む物体追跡装置。
2. 前記追跡部は、前記第１の結果を出力する第１追跡部と、第２追跡部とを含み、
   前記第２追跡部は、前記推定結果の推移から前記物体の位置を追跡した追跡結果を求め、前記第２の結果として出力する請求項１に記載の物体追跡装置。
3. 前記物体の各々から受信した前記推定結果を第２の結果として、前記第１の結果の物体と前記第２の結果の物体とを所定の履歴及び予測により対応付けた対応付け結果を出力する対応付け部を更に含み、
   前記統合部は、前記対応付け結果により前記第１の結果の物体と前記第２の結果の物体とを統合して出力する請求項１又は請求項２に記載の物体追跡装置。
4. 前記対応付け部は、予測部と、分類部と、計算部とを含み、
   前記予測部は、前記第１の結果である第１追跡器の各々と、前記第２の結果である第２追跡器の各々とのそれぞれの追跡器群について、共通の時系列における状態の推移を予測した予測結果を出力し、
   前記分類部は、前記第１追跡器と前記第２追跡器との組である対応付けペアの対応付け履歴と、前記予測結果とに基づいて、前記履歴及び予測に関する第１条件に従って、前記追跡器群を、前記対応付けペアのうち前記第１条件を満たす対応付けペアからなる追跡器群と、所定の条件を満たさない追跡器群とのそれぞれに分類し、
   前記計算部は、前記所定の条件を満たさない追跡器群について、前記第１追跡器と前記第２追跡器との組み合わせの各々について最適となる対応付けペアを計算し、
   前記対応付け部は、前記第１条件を満たす対応付けペアと、前記計算部で計算された対応付けペアとを対応付け結果として出力する請求項３に記載の物体追跡装置。
5. 前記対応付け部は、確認部を更に含み、
   前記確認部は、前記第１条件を満たす対応付けペアからなる追跡器群について、尤もらしさに関する第２条件に従って、当該第２条件を満たす場合には対応付けを維持して対応付けペアを出力し、前記第２条件を満たさない場合には、前記所定の条件を満たさないとして対応付けペアを解除して前記計算部に出力する請求項４に記載の物体追跡装置。
6. 前記第１条件は、着目する追跡器について、前記履歴の対応付けペアに含まれ、かつ、前記予測結果に当該対応付けペアの追跡器が含まれることを条件とし、
   前記第２条件は、前記第２追跡器の尤度、及び当該対応付けペアの距離に基づく条件とする請求項５に記載の物体追跡装置。
7. 前記物体のうち、周囲の物体を検出する機能を有する物体があり、
   前記通信部は、前記物体から、周囲の物体の検出結果を受信し、前記追跡部において前記検出結果として利用する請求項１〜請求項６の何れか１項に記載の物体追跡装置。
8. 前記統合部は、統合の出力に前記物体の属性を含めて出力する請求項１〜請求項７の何れか１項に記載の物体追跡装置。
9. エリア内に設置されたセンサの出力から物体の各々の位置を検出し、検出結果を出力し、
   前記検出結果から複数の物体の各々の位置を追跡した追跡結果である第１の結果を出力し、
   前記物体のうちの自己位置の推定が可能な物体の各々から、当該物体により推定された自己位置の推定結果を受信し、
   前記物体の各々から受信した前記推定結果を第２の結果として、所定の対応付けにより前記第１の結果の物体と前記第２の結果の物体とを統合して出力する、
   処理をコンピュータに実行させる物体追跡方法。
10. エリア内に設置されたセンサの出力から物体の各々の位置を検出し、検出結果を出力し、
    前記検出結果から複数の物体の各々の位置を追跡した追跡結果である第１の結果を出力し、
    前記物体のうちの自己位置の推定が可能な物体の各々から、当該物体により推定された自己位置の推定結果を受信し、
    前記物体の各々から受信した前記推定結果を第２の結果として、所定の対応付けにより前記第１の結果の物体と前記第２の結果の物体とを統合して出力する、
    処理をコンピュータに実行させる物体追跡プログラム。

Images