JP2019207607A

JP2019207607A - 移動体追跡装置

Info

Publication number: JP2019207607A
Application number: JP2018103339A
Authority: JP
Inventors: 小野　勝一; Katsuichi Ono; 勝一小野; 浩幸宮山; Hiroyuki Miyayama; 直己山根; Naomi Yamane; 裕史大塚; Yasushi Otsuka; 羊三川野; Yozo Kawano; 琢馬大里; Takuma Osato
Original assignee: Suzuki Motor Corp; Hitachi Automotive Systems Ltd
Current assignee: Suzuki Motor Corp; Hitachi Astemo Ltd
Priority date: 2018-05-30
Filing date: 2018-05-30
Publication date: 2019-12-05
Anticipated expiration: 2038-05-30
Also published as: JP7142468B2

Abstract

【課題】複数の移動体の視野画像内における統合・分離や他物体との融合などを検出し、それらの影響を抑制できる移動体追跡装置を提供する。【解決手段】視野画像および距離情報から各移動体の観測値を取得する移動体検出部（１１）と、前記各移動体の過去の状態値に基づき現在の状態値を予測する状態予測部（１２）と、前記各移動体の観測値と予測値に基づき現在の状態値を推定する状態推定部（１３）と、前記各移動体の状態値を記憶する状態記億部（１４）と、を有する移動体追跡装置（１０）において、前記観測値と前記予測値に基づき前記各移動体の統合と分離を判定する統合分離判定部（２１）を備え、前記状態記億部（１４）は、移動体の統合または分離が判定された場合、当該移動体の観測値に基づく状態値を当該移動体の状態値として記憶するように構成されている。【選択図】図１

Description

本発明は、移動体追跡装置に関する。

従来、種々の移動体追跡手法が提案されている。例えば、特許文献１には、移動体（歩行者）が不定期かつ頻繁に方向を変える場合でも移動体の移動傾向（長期的移動予測）による安定した予測をし、移動傾向と直近の位置とのずれから移動体状態（突発的な動き）を判定する移動体動作検出装置が開示されている。

特開２０１４−０７１７２８号公報

上記移動体動作検出装置は、複数の移動体が混在する状況に対応していないうえ、観測誤差が大きい場合に誤った状態判定をする虞がある。

時系列フィルタ、例えばカルマンフィルタを用いた移動体追跡では、移動体の状態（位置、速度）の時間変化を表す状態方程式により現在の状態を予測し、観測値を移動体状態量に変換する観測方程式によりその予測値を更新することで、より正確な移動体状態を推定し移動体を追跡していく。カルマンフィルタには正規分布に従うノイズが設定されているので、離散的な誤差のある観測でも移動体状態を推定できる。

しかしながら、複数の移動体が視野画像内で重なり、１つの移動体として観測される場合や、このような統合状態から個々の移動体に分離する場合、あるいは、他の物体との重なりなどで観測が不安定になる時には、観測値の誤差が設定以上に大きくなり、移動体の状態量の推定に影響を及ぼしかねない。

本発明は、上記のような実状に鑑みてなされたものであって、その目的は、複数の移動体の視野画像内における統合・分離や他物体との融合などを検出し、それらの影響を抑制できる移動体追跡装置を提供することにある。

上記課題を解決するために、本発明は、
視野画像および距離情報から各移動体の観測値を取得する移動体検出部と、
前記各移動体の過去の状態値に基づき現在の状態値を予測する状態予測部と、
前記各移動体の観測値と予測値に基づき現在の状態値を推定する状態推定部と、
前記各移動体の状態値を記憶する状態記億部と、
を有する移動体追跡装置において、
前記観測値と前記予測値に基づき前記各移動体の統合と分離を判定する統合分離判定部を備え、前記状態記億部は、移動体の統合または分離が判定された場合、当該移動体の観測値に基づく状態値を当該移動体の状態値として記憶するように構成されていることを特徴とする移動体追跡装置にある。

本発明に係る移動体追跡装置は、上記のように構成されているので、複数の移動体の視野画像内における統合および分離を判定し、統合または分離が判定された場合に、当該移動体の観測値に基づく状態値を当該移動体の状態値として記憶し、状態予測に用いることにより、統合や分離の影響を抑制でき、移動体の追跡精度を向上するうえで有利である。

本発明実施形態に係る移動体追跡装置を示すブロック図である。移動体の統合および分離を時系列に示した模式図である。本発明実施形態に係る移動体追跡装置の基本動作を示すフローチャートである。本発明実施形態に係る移動体追跡装置の移動体の統合判定を示すフローチャートである。本発明実施形態に係る移動体追跡装置の移動体の分離判定を示すフローチャートである。位置外れ値の例を示す模式的な平面図である。（ａ）画面端、（ｂ）ワイパー遮蔽、（ｃ）近接物体との融合による外れ値の例を示す模式図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図１において、本発明実施形態に係る移動体追跡装置１０は、車両の進路前方の移動体（歩行者、自転車、バイク、他車両など）の進路予測を行うものであり、移動体検出部１１、カルマンフィルタを構成する状態予測部１２、状態推定部１３、状態記億部１４に加えて、統合分離判定部２１、観測外れ値判定部２２を備える。

移動体検出部１１は、視野画像と距離情報を取得可能な撮像手段（ステレオカメラ、または、単眼カメラ＋レーダーなど）に得られた観測値から所定のタイムレートで状態観測値（位置、横幅）を算出する画像処理手段および演算処理手段で構成されている。

例えば、撮像手段としてステレオカメラを使用する場合、左右画像の視差から距離画像を生成し、同一距離にある特徴点群として移動体を検出し、車両の進行方向（視野画像の奥行方向、ｚ方向）と、進行方向と直交する幅方向（視野画像の幅方向、ｙ方向）によって画定される座標空間（状態空間）への座標変換（等角写像、観測方程式）によって、個々の移動体の現時刻の状態観測値Ｚ_ｋ（位置、横幅）を算出する。

なお、移動体検出部１１に新たな移動体が検出されると、既に検出されている他の移動体と一意に識別可能なＩＤが付与され、このＩＤによって識別される個々の移動体毎に状態値が計算され、後述する状態記億部１４に記憶される。

状態予測部１２は、状態記億部１４に格納された前時刻（ｔ＝ｋ−１）の各移動体の状態値Ｘ_ｋ−１（位置、速度、加速度、横幅）と誤差共分散Ｐ_ｋ−１に基づいて、各移動体の状態（位置、速度）の時間変化を表す状態方程式により現時刻での状態予測値Ｘ_ｋ ⁻（事前推定値）および事前誤差共分散Ｐ_ｋ ⁻を算出する演算処理手段で構成されている。

状態推定部１３は、移動体検出部１１で算出された現時刻の状態観測値Ｚ_ｋと、状態予測部１２で算出された状態予測値Ｘ_ｋ ⁻と状態値と観測値の関係を表す観測方程式（と観測モデルＨ）により算出される観測予測値Ｚ_ｋ ⁻に、カルマンゲインｋ_ｋおよび事前誤差共分散Ｐ_ｋ ⁻を適用して、現時刻の移動体状態値Ｘ_ｋ（事後推定値）を推定し、事後誤差共分散Ｐ_ｋを計算する演算処理手段で構成されている。
更新後状態値：Ｘ_ｋ＝Ｘ_ｋ ⁻＋ｋ_ｋ×（Ｚ_ｋ−Ｚ_ｋ ⁻）
事後誤差共分散：Ｐ_ｋ＝（１−ｋ_ｋ×Ｈ）×Ｐ_ｋ ⁻

状態記億部１４は、状態推定部１３で算出された移動体状態値Ｘ_ｋおよび事後誤差共分散Ｐ_ｋを記憶するための記憶手段からなり、前時刻の移動体状態値を更新し、次時刻（ｔ＝ｋ＋１）の予測に準備する。

統合分離判定部２１は、移動体検出部１１で算出された状態観測値Ｚ_ｋと、状態予測部１２で算出された状態予測値Ｘ_ｋ ⁻をもとに、各移動体が（ｉ）複数の移動体の視野画像内での統合（統合移動体）である場合、および、（ｉｉ）視野画像内での統合移動体が分離した場合を判定し、統合または分離が判定された場合は、該当移動体の現時刻の移動体状態値を初期化し、当該移動体の状態観測値Ｚ_ｋを移動体状態値Ｘ_ｋとして状態記億部１４に記憶する処理手段で構成されている。

観測外れ値判定部２２は、当該移動体の観測値（或いは状態観測値Ｚ_ｋ）が外れ値条件を満たすかどうかを判定し、外れ値条件を満たすと判定された場合は、該当移動体の現時刻（ｋ＝ｔ）の状態観測値Ｚ_ｋを無効化する処理手段で構成されている。

上記移動体追跡装置１０は、それぞれの機能を実行するように動作可能なプログラムを格納するＲＯＭ（フラッシュメモリ）、演算処理を行うＣＰＵ、前記プログラムが読み出され前記ＣＰＵの作業領域および演算結果の一時記憶領域となるＲＡＭ、および入出力インターフェースなどを備えたコンピュータであるコントロールユニット（ＥＣＵ）として実装される。

（基本動作）
次に、上記実施形態に係る移動体追跡装置の基本動作について図３を用いて説明する。
車両の走行と共に移動体追跡装置が起動されると、撮像手段による前方画像の取得が開始され（ステップ１０１）、離散的な時刻（ｔ＝ｋ−１，ｋ,ｋ＋１，ｋ＋２・・・）毎に以下のような手順で状態値の予測と更新が繰り返される。

移動体検出部１１は、左右画像の視差から距離情報を取得して移動体を検出し（ステップ１０２）、各移動体の観測値を取得し（ステップ１０３）、さらに、状態空間への座標変換（観測方程式）によって、個々の移動体の現時刻（ｔ＝ｋ）の状態観測値Ｚ_ｋ（位置、横幅）を算出する（ステップ１０４）。

これと並行して、状態予測部１２は、前時刻（ｔ＝ｋ−１）の各移動体の状態値（位置、速度、加速度、横幅）を状態記億部１４から読み込み（ステップ１０５）、それに基づき、現時刻での状態予測値Ｘ_ｋ ⁻（事前推定値）および事前誤差共分散Ｐ_ｋ ⁻を算出する（ステップ１０６）。

次いで、統合分離判定部２１は、移動体検出部１１で算出された状態観測値Ｚ_ｋと、状態予測部１２で算出された状態予測値Ｘ_ｋ ⁻をもとに、（ｉ）複数移動体の視野画像内での統合（統合移動体）、および、（ｉｉ）視野画像内での統合移動体の分離を判定する（ステップ１１１）。

移動体の統合または分離が判定された場合は、該当移動体の現時刻の移動体状態値を初期化し（ステップ１２１）、当該移動体の状態観測値Ｚ_ｋを移動体状態値Ｘ_ｋとして状態記億部１４に記録する（ステップ１１４）。

移動体の統合または分離が検出されない場合は、観測外れ値判定部２２において、当該移動体の観測値が外れ値条件を満たすか否かが判定される（ステップ１１２）。

外れ値条件を満たすと判定された場合は、該当移動体の現時刻（ｔ＝ｋ）の状態観測値Ｚ_ｋを無効化し（ステップ１２２）、状態予測部１２で算出された状態予測値Ｘ_ｋ ⁻のみに基づいて、外れ値条件を満たすと判定されなかった場合は、状態観測値Ｚ_ｋと状態予測値Ｘ_ｋ ⁻に基づいて、現時刻（ｔ＝ｋ）の移動体状態値Ｘ_ｋを算出し（ステップ１１３）、状態記億部１４に記録する（ステップ１１４）。

（移動体の統合分離判定）
次に、移動体の統合および分離判定について図面を参照しながら説明する。
図２は、視野画像内に検出された２つの移動体Ａ，Ｂが、撮像手段（ステレオカメラ）の光軸方向（奥行方向）のほぼ同位置において、互いに横方向逆向きに移動して交差する状況の時間（Ｔ）経過を示している。すなわち、２つの移動体Ａ，Ｂが、時刻ｔ１で移動体Ｃに統合され、その後、時刻ｔ２で、移動体Ｃから２つの移動体Ｄ，Ｅに分離する。移動体ＡとＥ、移動体ＢとＤが同一の移動体である。図２は、２つの移動体の例を示しているが、３以上の移動体の場合も基本的に考え方は同じである。

（移動体統合判定）
図４は、移動体の統合判定プロセスを示している。
移動体の統合判定では、先ず、移動体Ａ，Ｂの過去（ｔ１−１、但し１に限定するものではない）の状態値（位置、速度、加速度）から、状態方程式として等加速度運動を仮定して現在（ｔ１）の状態予測値を計算し、移動体Ａ，Ｂの各状態予測値から各移動体Ａ，Ｂの現在位置（画面位置と距離）を算出する（ステップ２０１）。

次いで、現在（ｔ１）時刻において１つの移動体として検出された移動体Ｃの状態観測値から現在位置（画面位置と距離）を算出し（ステップ２０２）、移動体Ｃの状態観測値に基づく現在位置と移動体Ａ，Ｂの状態予測値に基づく現在位置を比較する（ステップ２０３）。

移動体Ｃの状態観測値に基づく現在位置（画面位置と距離）と移動体Ａ，Ｂの状態予測値に基づく現在位置（画面位置と距離）の差が設定値以下（±２０％）であれば統合の可能性があると判定し、その場合には、移動体Ａ，Ｂの過去の状態値から横幅の和を算出する（ステップ２０４）。

次に、移動体Ａ，Ｂの過去の状態値に基づく横幅の和と移動体Ｃの現在の観測値に基づく横幅との比を計算し（ステップ２０５）、所定範囲内（０．８〜１．２）であれば、移動体Ｃを移動体Ａ，Ｂの統合移動体に設定し（ステップ２０６）、統合移動体Ｃの移動体状態値を初期化して記録する（ステップ２０７）。

（移動体分離判定）
図５は、移動体の分離判定プロセスを示している。
移動体の分離判定では、統合移動体Ｃの過去の移動体状態値から、状態方程式として等加速度運動を仮定して現在（ｔ２）の状態予測値を計算し、統合移動体Ｃの現在位置（画面位置と距離）を算出する（ステップ３０１）。

次いで、現在（ｔ２）時刻において２つの移動体として検出された移動体Ｄ，Ｅの状態観測値から、移動体Ｄ，Ｅの現在位置（画面位置と距離）を算出し（ステップ３０２）、統合移動体Ｃの状態予測値に基づく現在位置（画面位置と距離）と比較する（ステップ３０３）。

統合移動体Ｃの状態予測値に基づく現在位置（画面位置と距離）と移動体Ｄ，Ｅの状態観測値に基づく現在位置（画面位置と距離）の差が設定値以上（±２０％）であれば分離の可能性があると判定し、その場合には、移動体Ｄ，Ｅの状態観測値に基づく横幅の和を算出する（ステップ３０４）。

次に、統合移動体Ｃの状態予測値に基づく横幅と移動体Ｄ，Ｅの状態観測値に基づく横幅の和との比を計算し、所定範囲内（０．８〜１．２）であれば、移動体Ｄ，Ｅは、統合移動体Ｃからの分離移動体の可能性があると判定する（ステップ３０５）。

さらに、統合移動体Ｃの統合前の２つの移動体Ａ，Ｂの過去の移動体状態値から、状態方程式として等加速度運動を仮定して現在（ｔ２）の状態予測値を求め、移動体Ａ，Ｂの現在位置（画面位置と距離）を推定する（ステップ３０６）。

移動体Ａ，Ｂの状態予測値に基づく現在位置と、移動体Ｄ，Ｅの状態観測値に基づく現在位置を比較し、位置（画面位置と距離）の差が設定値以下（±２０％）であれば、同一の移動体の可能性があると判定する（ステップ３０７）。

さらに、移動体Ａ，Ｂの状態予測値に基づく横幅の和と、移動体Ｄ，Ｅの状態観測値に基づく横幅の和の比を計算し（ステップ３０８）、所定範囲内（０．８〜１．２）であればそれぞれが同一の移動体であると判定し、移動体Ｄ，Ｅを統合移動体Ｃから分離された移動体に設定し（ステップ３０９）、移動体Ｄ，Ｅの状態値を初期化して記録する（ステップ３１０）。

（観測値の外れ値判定）
以上述べたような複数移動体の統合や分離では、状態予測値を初期化し、状態観測値のみに基づいて移動体状態値を推定することで、統合や分離の影響を抑制したが、逆に、極端な観測値が検出された場合には、状態観測値を無効にして状態予測値のみに基づいて移動体状態値を推定することで、極端な観測値の影響を抑制することができる。

例えば、下記４条件の何れか一つに該当する場合は、観測値（或いは状態観測値）が「外れ値」であると判定し、その場合の状態観測値を無効化して、移動体状態値の推定には使用せず、状態予測値だけで移動体状態値を推定する。

（１）位置外れ値
図６に示すように、状態観測値と状態予測値の各位置（距離と横位置）の２σ（誤差の標準偏差）領域が重なっていない場合がこれに該当する。頻発する場合は、このパラメータの検出のために、状態予測値の２σ領域を一定値拡大してもよい。例えば、移動体が歩行者の場合、３３ｍｓ×１ｍ／ｓ：（サンプリング時間×移動速度）拡大する。

（２）面面端
図７（ａ）に示すように、状態観測値から求めた移動体Ｆ、Ｆ′の視野画面２０内における位置が、視野画面２０の左右端まで一定値以内（例えば３２画素以内）である場合がこれに該当する。

（３）移動体検出不可
撮像手段（ステレオカメラ）で移動体を検出できない場合がこれに該当する。例えば、図７（ｂ）に示すように、雨天時にワイパー２３によって右または左画像上の移動体Ｇが隠されている状況は、移動体検出の信頼度に影響が出る虞がある。

（４）近傍移動体
移動体が近傍の立体物（壁、ガードレールなど）と融合して検出されるような場合がこれに該当する。例えば、図７（ｃ）に示すように、歩行者の服装と明度や色彩が近似した壁２４が歩行者の近傍（０．５ｍ以内）に存在するような場合は、視野画面２０内での検出領域Ｈが拡大されてしまう虞がある。

以上、本発明のいくつかの実施形態について述べたが、本発明は上記各実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能であることを付言する。

１０移動体追跡装置
１１移動体検出部
１２状態予測部
１３状態推定部
１４状態記億部
２１統合分離判定部
２２観測外れ値判定部

Claims

視野画像および距離情報から各移動体の観測値を取得する移動体検出部と、
前記各移動体の過去の状態値に基づき現在の状態値を予測する状態予測部と、
前記各移動体の観測値と予測値に基づき現在の状態値を推定する状態推定部と、
前記各移動体の状態値を記憶する状態記億部と、
を有する移動体追跡装置において、
前記観測値と前記予測値に基づき前記各移動体の統合と分離を判定する統合分離判定部を備え、前記状態記億部は、移動体の統合または分離が判定された場合、当該移動体の観測値に基づく状態値を当該移動体の状態値として記憶するように構成されていることを特徴とする移動体追跡装置。
前記統合分離判定部は、複数の移動体の予測値と１つの移動体の観測値との差が設定値以下になった場合、前記１つの移動体は前記複数の移動体の統合移動体であると判定するように構成されていることを特徴とする請求項１に記載の移動体追跡装置。
前記統合分離判定部は、前記統合移動体が判定された後に、前記統合移動体に基づく予測値と観測値との差が設定値以上になり、かつ、前記統合移動体の統合前の各移動体の状態値に基づく予測値と前記観測値との差が設定値以下になった場合、前記統合移動体は前記各移動体に分離したと判定するように構成されていることを特徴とする請求項２に記載の移動体追跡装置。
前記統合分離判定部は、前記複数の移動体の前記予測値から算出される位置と、前記１つの移動体の前記観測値における位置との差が設定値以下になった場合、前記１つの移動体は前記複数の移動体の統合移動体であると判定するように構成されていることを特徴とする請求項２に記載の移動体追跡装置。
前記統合分離判定部は、前記統合移動体が判定された後に、前記統合移動体の前記予測値から算出される位置と、前記観測値における位置との差が設定値以上になり、かつ、前記統合移動体の統合前の前記各移動体の状態値に基づく予測値から算出される位置と、前記観測値における位置との差が設定値以下になった場合、前記統合移動体は前記各移動体に分離したと判定するように構成されていることを特徴とする請求項４に記載の移動体追跡装置。
前記統合分離判定部は、さらに、前記複数の移動体の前記予測値から算出される横幅の和と前記１つの移動体の前記観測値における横幅との差が設定値以下である場合に、前記１つの移動体は前記複数の移動体の統合移動体であると判定するように構成されていることを特徴とする請求項４に記載の移動体追跡装置。
前記統合分離判定部は、前記統合移動体が判定された後に、さらに、前記統合移動体の前記予測値から算出される横幅と前記観測値から算出される複数の移動体の横幅の和との差が設定値以下であり、かつ、前記統合移動体の統合前の各移動体の前記予測値から算出される横幅と前記観測値から算出される複数の移動体のそれぞれの横幅との差が設定値以下である場合に、前記統合移動体は前記各移動体に分離したと判定するように構成されていることを特徴とする請求項５に記載の移動体追跡装置。
前記各移動体の観測値が外れ値であるかどうか判定する観測外れ値判定部をさらに備え、前記状態推定部は、観測値が外れ値であると判断された場合、当該移動体の観測値を無効化し、当該移動体の予測値のみに基づき現在の状態値を推定するように構成されていることを特徴とする請求項１〜７の何れか一項に記載の移動体追跡装置。