JP2017219385A - 物体検出装置、物体検出システム、物体検出方法、およびプログラム - Google Patents

Abstract

【課題】微小な虫や落ち葉などのノイズ源の影響を低減した物体検出装置を提供する。【解決手段】隣接する２つの非背景画素に対応する空間内の２点間の相対距離を非背景画素の測距方向及びその測距データに基づいて算出し、相対距離に基づいて隣接する非背景画素が同じクラスタに属するか否かを判定する処理を繰り返し行い、非背景画素の集合である物体候補クラスタを生成する第１クラスタリング部２３と、取得時刻が隣接する距離画像からそれぞれ生成された物体候補クラスタの空間内での相対距離に基づいて、判定対象の２つの物体候補クラスタが同じクラスタに属するか否かを判定する処理を繰り返し行い、物体候補クラスタの集合である多層化クラスタを生成する第２クラスタリング部２４と、多層化クラスタが所定の条件を満たすときに、当該多層化クラスタに含まれる各距離画像内の１又は複数の物体候補クラスタを物体として検出する物体検出部２５とを備える。【選択図】図１

Description

本発明は、物体を検出する物体検出装置、物体検出システム、物体検出方法およびプログラムに関する。

周囲の物体をリアルタイムで高精度に検知するライダー（ＬＩＤＡＲ）というセンサーが注目されている。ライダーは、光を用いたリモートセンシング技術の一つで、測定光を発光し、対象物で反射した光を受光するまでの時間によって対象物までの距離を求める。発光方向を走査することにより、周囲にある対象物を検出することができる。こうしたセンサーは、車両や人物などの監視対象物の検出に用いられる。

例えば、微小な虫や落ち葉などのように監視対象物とは異なる物が測定光を遮ると、その障害物によって監視対象物からの反射光が得られず、監視対象物を適切に検出できない場合があった。

特許文献１は、上記の課題を解決する測距装置を開示している。特許文献１に記載された測距装置は、監視対象領域内であることを示す距離データが隣接する複数の走査角度方向に存在するときに、複数の距離データをまとめたグループを生成し、グループに含まれる距離データの個数または最大走査角度によって、走査方向に沿った物体のサイズを定義する。そして、物体のサイズが、物体検出最小幅を示す個数または走査角度以上となる場合に、監視対象の物体があると判定し、そうでない場合にはノイズであると判定する。

特開２０１２−２４２１８９

本発明は、微小な虫や落ち葉などのノイズ源の影響を低減し、適切に物体を検出することができる物体検出装置を提供することを目的とする。

本発明の物体検出システムは、測距装置と、物体検出装置とを備える。物体検出装置は、測距装置の各測距方向における測距データを画素値とする距離画像を取得する距離画像取得部と、前記距離画像から非背景画素を抽出する非背景画素抽出部と、隣接する２つの前記非背景画素に対応する空間内の２点間の相対距離を前記非背景画素の測距方向及びその測距データに基づいて算出し、当該相対距離に基づいて隣接する前記非背景画素が同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記非背景画素の集合である物体候補クラスタを生成する第１クラスタリング部と、取得時刻が隣接する距離画像からそれぞれ生成された物体候補クラスタの空間内での相対距離に基づいて、判定対象の２つの物体候補クラスタが同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記物体候補クラスタの集合である多層化クラスタを生成する第２クラスタリング部と、前記多層化クラスタが所定の条件を満たすときに、当該多層化クラスタに含まれる各距離画像内の１又は複数の物体候補クラスタを物体として検出する物体検出部とを備える。

このように、本発明は、距離画像から抽出した非背景画素をクラスタリングして物体の候補の画素の集合である物体候補クラスタを生成する。物体候補クラスタは、空間内における対応点の相対距離が近い画素の集まりであり、物体候補クラスタを構成する各画素は物体または物体の一部に対応すると考えられる。なお、本明細書では、測距装置から対象物までの距離に対して、空間内での対応点の間の距離を「相対距離」と呼ぶ。

そして、本発明は、取得時刻が異なる複数の距離画像から生成された複数の物体候補クラスタを時間方向にクラスタリングすることにより、多層化クラスタを生成する。多層化クラスタに含まれる物体候補クラスタは、時間の経過と共に移動する物体候補クラスタの集まりであると考えられる。

多層化クラスタが所定の条件を満たすときに、多層化クラスタに含まれる各距離画像内の１又は複数の物体候補クラスタを物体として検出することにより、ある時刻の距離画像にノイズが含まれていたとしてもそのノイズの影響を受けにくく、適切に物体を検出することができる。例えば、時刻ｔ−１の距離画像から生成された物体候補クラスタＢ１と時刻ｔの距離画像から生成された物体候補クラスタＢ２，Ｂ３が多層化クラスタを構成し、所定の条件を満たした場合、物体候補クラスタＢ１が物体であると検出されると共に、物体候補クラスタＢ２，Ｂ３が物体候補クラスタＢ１と同じ物体として検出される。このように、時刻ｔにおいてはノイズによって物体候補クラスタＢ２，Ｂ３に分断された場合であっても、物体候補クラスタＢ２，Ｂ３を一つの物体として適切に判定できる。

また、本発明の第１クラスタリング部は、非背景画素を３次元空間座標に変換することなく、隣接する２つの非背景画素に対応する空間内の２点間の相対距離を画素値（測距方向及びその測距データ）から計算し、その相対距離に基づいてクラスタリングを行う。このように画素値に対応する３次元空間座標に変換するのではなく、画素値から相対距離を計算することにより、非背景画素に対応する空間内の点までの遠近にかかわらず、適切なクラスタリングを行うことができる。

また、隣接する非背景画素が同じクラスタに属するか否かを判定する処理を繰り返し行うクラスタリングを行うので、クラスタリング処理の計算量を抑えることができる。なお、第２クラスタリング部も、第１クラスタリング部と同様に、計算量を抑えつつ適切なクラスタリングを行うことができる。

本発明の物体検出装置において、前記第２クラスタリング部は、判定対象の前記物体候補クラスタの空間内での相対距離に、その物体候補クラスタを生成した距離画像の取得時刻の時間間隔に応じた重み付けをし、重み付け後の距離に基づいて前記物体候補クラスタのクラスタリングを行ってもよい。

距離画像の取得時刻の時間間隔が異なる場合には、その時間間隔の間に物体が移動する距離が異なるが、本発明の構成によれば、距離画像の取得時刻の時間間隔が異なる場合にも、取得時刻の間隔に応じて適切に多層化クラスタを生成できる。

本発明の物体検出装置において、前記測距装置は、主方向及び副方向の２次元に走査する測距装置であって、前記第１クラスタリング部は、前記距離画像を前記主方向に対応する複数の領域に分割し、分割された各領域内で前記非背景画素のクラスタリングを行って線セグメントを生成する主方向クラスタリング部と、隣接した領域で生成された前記線セグメントの空間内での相対距離に基づいて、前記線セグメントのクラスタリングを行って前記物体候補クラスタを生成する副方向クラスタリング部とを備えてもよい。

このように主方向と副方向のそれぞれについてクラスタリングを行うことにより、クラスタリングの計算量を抑えつつ、３次元の物体候補クラスタを生成することができる。

前記第２クラスタリング部において、前記判定対象の２つの前記物体候補クラスタの相対距離を求める処理は、前記２つの物体候補クラスタにおいて、副方向が共通する画素の間で相対距離の計算を行い、当該副方向が共通する画素の組合せのうちで最小の相対距離を求める第１の処理と、前記第１の処理を副方向を変えて行ってそれぞれの方向での最小相対距離を求め、求めた最小相対距離のうちで最も小さい最小相対距離を、前記２つの物体候補クラスタの相対距離として求める第２の処理とを行ってもよい。このように副方向の異なる画素間の組合せによる相対距離を考慮しないことにより、大幅に計算量が削減できる。

本発明の物体検出装置において、前記物体検出部は、前記多層化クラスタに含まれる前記物体候補クラスタの大きさと、前記多層化クラスタに含まれる画素数とに基づいて物体を検出してもよい。

この構成により、検出したい物体とノイズとを切り分けて物体を検出することができる。例えば、飛び回っている虫などのようなノイズ源を物体候補クラスタとして多層化クラスタを生成してしまった場合にも、物体候補クラスタの大きさや多層化クラスタに含まれる画素数の条件によって除外できる。

本発明の物体検出装置は、前記多層化クラスタから検出された各距離画像における物体の位置の遷移に基づいて、前記物体の移動方向及び移動速度を求める物体移動検知部を備えてもよい。また、前記物体移動検知部は、検出された物体の画素値を３次元空間座標系の位置データに変換して３次元空間内で物体が占める空間を特定し、物体の移動方向及び移動速度を求めてもよい。

この構成により、ノイズの影響を低減して検出した物体の情報に基づいて、物体の移動方向及び移動速度を精度良く求めることができる。

本発明の物体検出装置は、前記物体の移動方向及び移動速度に基づいて、異なる時刻に検出された物体の中から同一の物体を検出し、物体の追跡を行う物体追跡部を備えてもよい。

物体の移動方向及び移動速度は、短時間のうちには大きく変化しないことが多いので、本発明の構成により、先に検出した物体と同一の物体を検出し、物体の追跡を行える。

本発明の物体検出装置は、前記物体検出部にて検出された物体の移動方向及び移動速度に基づいて、所定時間経過後にその物体が存在する範囲を推定し、その範囲を物体の探索範囲として設定する探索範囲設定部を備え、前記物体追跡部は、前記所定時間経過後に前記探索範囲の中から検出された物体を先の時刻に検出された物体と同一の物体であると判定してもよい。

このように物体の移動先と推定される探索範囲を設定することにより、同一の物体の追跡精度を高めることができる。

本発明の物体検出方法は、物体検出装置によって、測距装置の各測距方向における測距データを画素値とする距離画像に基づいて物体を検出する方法であって、前記物体検出装置が、前記距離画像を取得するステップと、前記物体検出装置が、前記距離画像から非背景画素を抽出するステップと、前記物体検出装置が、隣接する２つの前記非背景画素に対応する空間内の２点間の相対距離を前記非背景画素の測距方向及びその測距データに基づいて算出し、当該相対距離に基づいて隣接する前記非背景画素が同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記非背景画素の集合である物体候補クラスタを生成するステップと、前記物体検出装置が、取得時刻が隣接する距離画像からそれぞれ生成された物体候補クラスタの空間内での相対距離に基づいて、判定対象の２つの物体候補クラスタが同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記物体候補クラスタの集合である多層化クラスタを生成するステップと、前記物体検出装置が、前記多層化クラスタが所定の条件を満たすときに、当該多層化クラスタに含まれる各距離画像内の１又は複数の物体候補クラスタを物体として検出するステップとを備える。

本発明のプログラムは、測距装置の各測距方向における測距データを画素値とする距離画像に基づいて物体を検出するためのプログラムであって、コンピュータに、前記距離画像を取得するステップと、前記距離画像から非背景画素を抽出するステップと、隣接する２つの前記非背景画素に対応する空間内の２点間の相対距離を前記非背景画素の測距方向及びその測距データに基づいて算出し、当該相対距離に基づいて隣接する前記非背景画素が同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記非背景画素の集合である物体候補クラスタを生成するステップと、取得時刻が隣接する距離画像からそれぞれ生成された物体候補クラスタの空間内での相対距離に基づいて、判定対象の２つの物体候補クラスタが同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記物体候補クラスタの集合である多層化クラスタを生成するステップと、前記多層化クラスタが所定の条件を満たすときに、当該多層化クラスタに含まれる各距離画像内の１又は複数の物体候補クラスタを物体として検出するステップとを実行させる。

本発明は、測距装置から取得した距離画像の中から、ノイズの影響を低減して、適切に物体を検出することができる。

第１の実施の形態の物体検出システムの構成を示す図である。 測距装置の走査角度について説明するための図である。 検出対象である人物が移動する例を示す図である。 測距装置により得られた測距データについて説明する図である。 物体候補クラスタおよび多層化クラスタの例を示す図である。 画素間の相対距離を算出する手法を説明する図である。 第１の実施の形態の物体検出システムの検出結果の出力例を示す図である。 物体検出装置により物体を検出する動作を示すフローチャートである。 第１クラスタリング部による処理を示すフローチャートである。 第２クラスタリング部による処理を示すフローチャートである。 第２クラスタリングの処理によって多層化クラスタが生成される過程を示す図である。 第２クラスタリングの処理によって多層化クラスタが生成される過程を示す図である。 第２の実施の形態の物体検出システムの構成を示す図である。 距離画像を主方向クラスタリング単位に分割した例および主方向クラスタリング単位内での画素の読み出し順序を示す図である。 第２の実施の形態の第２クラスタリング部が物体候補クラスタどうしの距離を求める方法を説明するための図である。 第２の実施の形態の物体検出システムの検出結果の出力例を示す図である。 第３の実施の形態の物体検出システムの構成を示す図である。 物体の移動方向と移動速度を求める例を示す図である。 探索範囲設定部の処理について説明するための図である。 探索範囲内で検出された物体から追跡対象の物体を求める方法を示す図である。 複数の探索範囲が重なりあった場合の処理について説明するための図である。

以下、本発明に係る実施の形態に係る物体検出システムについて、図面を参照しながら具体的に説明する。本実施の形態では、所定の物体検出領域に進入する人物を検出する物体検出装置を例として説明する。

（第１の実施の形態）
図１は、本発明の第１の実施形態に係る物体検出システム１の概略構成を示すブロック図である。物体検出システム１は、測距装置１０と、物体検出装置２０とを備えている。

［測距装置］
測距装置１０は、測定光を照射し、照射方向にある対象物からの反射光に基づいて照射方向にある対象物との距離を算出する。測距装置１０は２次元走査型の測距装置であり、３次元空間を２次元方向に測距方向を走査する。測距装置１０は、各測距方向について対象物までの距離を算出する。これにより、各測距方向における測距データを画素値とする距離画像が得られる。

距離画像は２次元画像であり、走査方向の一方（主方向）のインデックスをｉｍｓ１とし、他方（副方向）のインデックスをｉｍｓ２とする。距離画像の主方向および副方向の画素数をそれぞれＮｍｓ１，Ｎｍｓ２とすると、インデックスｉｍｓ１は１〜Ｎｍｓ１の値をとり得、インデックスｉｍｓ２は１〜Ｎｍｓ２の値をとり得る。

図２（ａ）及び図２（ｂ）は、測距装置１０を詳しく説明する図である。測距装置１０は、物体検出領域内の遮蔽物をできるだけ避けられるよう、物体検出領域の上方に設置されるのが望ましい。そして、本実施の形態の測距装置１０は、２次元方向として、水平方向および垂直方向に走査を行う機能を有する。すなわち、測距装置１０は、水平方向に走査する走査系を、さらに垂直方向に走査する。図２（ａ）に示すように、水平方向の測距角度θｍｓ１は正面を０度として−９５〜＋９５度をとり得る。図２（ｂ）に示すように、垂直方向の測距角度θｍｓ２は水平方向を０度として０〜−９０度をとり得る。測距角度の組（θｍｓ１，θｍｓ２）は、測距の方向を示す。

測距装置１０は、ある測距角度の組（θｍｓ１，θｍｓ２）が示す方向に測定光を照射する。そして、測距装置１０は、反射光に基づいて、この方向にある対象物と測距装置１０との距離Ｒを算出する。そして、測距装置１０は、算出された距離Ｒを、当該測距角度の組（θｍｓ１，θｍｓ２）と対応する、距離画像における画素（ｉｍｓ１，ｉｍｓ２）の値とする。以下、距離画像における画素（ｉｍｓ１，ｉｍｓ２）が示す距離（データ）をＲ（ｉｍｓ１，ｉｍｓ２）と表記する。測距装置１０は、測距角度の組における距離データを得るため、図２に示す走査範囲を離散的に走査する。

なお、ある測距角度の組（θｍｓ１，θｍｓ２）と、距離画像における画素（ｉｍｓ１，ｉｍｓ２）との対応関係は予め一意に定められている。逆にいうと、距離画像における画素（ｉｍｓ１，ｉｍｓ２）に対して、測距角度の組（θｍｓ１，θｍｓ２）が定まる。

測距方式としては、公知の手法を適用することができる。例えば特許第４８３７４１３号に記載のＴＯＦ（Time of Flight）方式は、物体検出領域に向かってパルス状の測定光を照射し、照射時と反射光検出時との時間差に基づいて、対象物までの距離を算出するものである。また、特許第４７０３８３０号に記載のＡＭ（Amplitude Modulation）方式は、物体検出領域に向かって振幅変調された測定光を照射し、測定光と反射光の位相差に基づいて、対象物までの距離を算出するものである。なお、測距装置１０の構成や、主副走査パターン、測距方式に特に制限はなく、上述した例とは異なるものであっても構わない。

以上に測距装置１０の構成について説明した。測距装置１０は、水平方向と垂直方向の２方向に走査可能な装置であるが、第１の実施の形態では、水平方向にのみ走査を行って物体検出装置２０に１次元の距離画像のデータを入力する例について説明し、第２の実施の形態において、水平方向および垂直方向に走査を行って物体検出装置２０に２次元の距離画像のデータを入力する例を説明する。

［物体検出の概要］
物体検出装置２０の詳しい説明に入る前に、本実施の形態の物体検出装置２０による物体検出の概要について説明する。ここでは、物体検出の概要の理解のため、水平方向の1元走査のみを行う例を挙げて説明するが、２次元走査を行う場合にももちろんあてはまる。

図３（ａ）は、検出対象である人物が時刻ｔ−４から時刻ｔにかけて移動する例を示している。測距装置１０を水平方向に走査して測距を行うと、図３（ｂ）に示すように角度θｍｓ１ごとに対象物までの距離Ｒが得られる。なお、測距装置１０による走査は人物の動きよりも十分早く、各時刻において水平方向の走査を完了する。

図３（ｂ）に記載した「×」の印は、時刻ｔ−２の測距においてノイズが入ったことを示す。つまり、時刻ｔ−２に測距画像を取得する際に、測距装置１０と人物との間に虫や落ち葉などのノイズ源が介在して、人物の一部を測距できなかったことを示している。

図４は、測距装置１０により得られた測距データについて説明する図である。時刻ｔ−４から時刻ｔの各時刻に取得した測距画像は、測距方向ごとに距離データを有する。具体的には、測距方向を示すインデックスｉｍｓ１に関連付けて距離Ｒ（ｉｍｓ１）のデータを有している。

図４において、網掛けをした画素は非背景画素であり、網掛けのない画素は背景画素である。あらかじめ物体検出領域内の背景の距離データを記憶しておき、観測された測距データから背景データを差し引き、差分の大きい画素を抽出することで、非背景画素を求めることができる。

図４において、網掛けの種類は、同じ物体から得られたデータであることを示している。ここでは説明の便宜上、物体ごとに異なる網掛けをしているが、実際には、物体検出を行わなければ物体が同じなのか異なるかは分からない。図４において斜めの網掛けは、図３（ａ）及び図３（ｂ）で示した人物までの距離Ｒを表わす。時刻ｔ−２の画素Ｎ１は、その左右の画素とは異なる対象物からの測距データであるが、これは人物と測距装置１０との間に（つまり人物よりも手前に）ノイズ源が介在し、測定光を遮ったために生じたものである。本実施の物体検出は、このようなノイズ源があっても人物を適切に検出するものである。

本実施の形態では、各時刻に取得した距離画像ごとに、その距離画像に含まれる非背景画素をクラスタリングし、物体候補クラスタを生成する。ここでのクラスタリングは、隣接する非背景画素が同じクラスタに含まれるか否かを順次判定することにより行う。隣接する２つの非背景画素にそれぞれ対応する空間内の２点の相対距離が所定の閾値以下である場合に隣接する２つの画素が同じクラスタに含まれると判定し、相対距離が所定の閾値より大きい場合には同じクラスタに含まれないと判定する。

図５（ａ）は、物体候補クラスタの例を示す図である。時刻ｔ−４の距離画像においては物体候補クラスタＢ４が生成され、時刻ｔ−３の距離画像においては物体候補クラスタＢ３が生成され、時刻ｔの距離画像においては物体候補クラスタＢ０が生成された。時刻ｔ−２の距離画像においては、画素Ｎ１とその左右の非背景画素とが同じクラスタではないと判定され、２つの物体候補クラスタＢ２１，Ｂ２２が生成された。時刻ｔ−１の距離画像においては、人物以外にも非背景画素Ｎ２，Ｎ３があるため、この２つの非背景画素Ｎ２，Ｎ３からなる物体候補クラスタＢ１１が生成された。

次に、物体候補クラスタを時間方向にクラスタリングして、多層化クラスタを生成する。ここでのクラスタリングは、取得時刻が隣接する２つの距離画像から得られたそれぞれの物体候補クラスタが同じクラスタに含まれるか否かを順次判定することにより行う。２つの物体候補クラスタの相対距離が所定の閾値以下である場合に隣接する物体候補クラスタが同じクラスタに含まれると判定し、相対距離が所定の閾値より大きい場合には同じクラスタに含まれないと判定する。

図５（ｂ）は、多層化クラスタＣｍの例を示す図である。物体候補クラスタＢ４と物体候補クラスタＢ３は同じクラスタに含まれると判定され、物体候補クラスタＢ３と物体候補クラスタＢ２１，Ｂ２２は同じクラスタに含まれると判定され、物体候補クラスタＢ２１，Ｂ２２と物体候補クラスタＢ１２は同じクラスタに含まれると判定され、物体候補クラスタＢ１２と物体候補クラスタＢ０が同じクラスタに含まれると判定された結果、物体クラスタＢ４，Ｂ３，Ｂ２１，Ｂ２２，Ｂ１２，Ｂ０からなる多層化クラスタＣｍが生成された。

そして、多層化クラスタＣｍが所定の条件を満たす場合に多層化クラスタＣｍに含まれる物体候補クラスタを物体として検出する。所定の条件は、物体候補クラスタのサイズや多層化クラスタＣｍに含まれる物体候補クラスタの総画素数に関するものであり、例えば、多層化クラスタＣｍに含まれる物体候補クラスタのサイズが所定の大きさより大きく、かつ、多層化クラスタＣｍに含まれる物体候補クラスタの総画素数が所定の閾値以上である場合に、多層化クラスタＣｍに含まれる物体候補クラスタを物体であると判定する。

多層化クラスタＣｍが所定の条件を満たす場合には、距離画像ごとに物体を検出する。例えば、時刻ｔ−４の距離画像のように多層化クラスタＣｍに１つの物体候補クラスタＢ４が含まれる場合には、物体候補クラスタＢ４を物体であると検出する。時刻ｔ−２の距離画像のように、２つの物体候補クラスタＢ２１，Ｂ２２を含んでいる場合には、２つの物体候補クラスタＢ２１，Ｂ２２は時刻ｔ−４で検出した物体と同じ１つの物体を示していると判定する。これにより、時刻ｔ−２のようにノイズ源によって２つの物体候補クラスタに分かれてしまった場合でも、他の時刻に取得した距離画像も含めて生成した多層化クラスタＣｍの情報を用いて１つの物体であることを検出することができる。

また、時刻ｔ−１における画素Ｎ２，Ｎ３のように一瞬だけ現れた非背景画素については、その前後の時刻において物体候補クラスタが連続していないことからノイズであると判断でき、ノイズ源を物体と誤って検出してしまうことがない。

［物体検出装置の構成］
図１を参照して物体検出装置２０の構成について説明する。物体検出装置２０は、距離画像取得部２１と、非背景画素抽出部２２と、第１クラスタリング部２３と、第２クラスタリング部２４と、物体検出部２５と、出力部２６とを有している。これら各部の一部または全部は、ハードウェアで構成されてもよいし、コンピュータのプロセッサが所定のプログラムを実行することによって実現されてもよい。

距離画像取得部２１は、測距装置１０によって生成された距離画像を取得する。第１の実施の形態においては、水平方向の走査をしたときの距離画像のデータを取得するものとする。この場合、距離画像の各画素（ｉｍｓ１）の値は、画素に対応する方向にある対象物までの距離Ｒ（ｉｍｓ１）を示す。

非背景画素抽出部２２は、距離画像から非背景の画素（ｉｍｓ１）を抽出する。なお、「背景」は、測距装置１０の測距対象となり得るが、物体として検出する必要がないものであり、例えば床や天井、固定された家具などである。非背景画素抽出部２２は、背景画像データ記憶部２７に記憶された背景画像と距離画像とを比較して、その差分が所定の閾値以上の画素を非背景画素として抽出する。

ここで、背景画像データ記憶部２７に記憶される背景画像は、例えば物体検出領域内に物体が何もない状態で、測距装置１０によって生成された距離画像とすることができる。あるいは、測距装置１０によって生成された多数の距離画像を画素ごとに平均した平均距離画像であってもよい。後者の場合、測距装置１０のノイズの影響を抑えることができるし、物体検出領域内に物体が何もない状態を実現することが難しい場合でも、背景画像を生成できる。なお、平均としては、算術平均のほか、幾何平均や刈り込み平均などを用いることができる。

第１クラスタリング部２３は、非背景画素抽出部２２にて抽出した非背景画素をクラスタリングして、物体候補クラスタを生成する。第１クラスタリング部２３は、ある非背景画素（画素（ｉｍｓ１）とする）が示す空間内での点と、隣接する非背景画素（画素（ｉ’ｍｓ１）とする）が示す空間内での点との相対距離Ｒ_rltvを算出し、この相対距離Ｒ_rltvに基づいてクラスタリングを行う。ここで、「隣接する非背景画素」について説明する。距離画像は、測距方向ごとの距離データを画素として有しており、測距方向によって隣接する画素を規定することができる。画素には、背景画素と非背景画素があり、非背景画素の隣りの画素は必ずしも非背景画素であるとは限らないが、「隣接する非背景画素」とは、隣りが背景画素の場合には、その背景画素を飛ばして隣りの画素を見ていき、最初に現れる非背景画素が「隣接する非背景画素」である。

隣接する非背景画素の相対距離は、非背景画素（ｉｍｓ１）が示す対象物と測距装置１０との距離Ｒ（ｉ’ｍｓ１）と、隣接する非背景画素（ｉ’ｍｓ１）が示す対象物と測距装置１０との距離Ｒ（ｉ’ｍｓ１）とに基づいて算出される。図６は、画素間の相対距離Ｒ_rltvを算出する手法を説明する図である。図示のように、画素（ｉｍｓ１）が示す点Ｐ（ｉｍｓ１）は、測距装置１０を原点Ｏとして、距離Ｒ（ｉｍｓ１）とその測距方向を表わすベクトルＤ（ｉｍｓ１）によって特定される。同様に、画素（ｉ’ｍｓ１）が示す点Ｐ’（ｉ’ｍｓ１）は、距離Ｒ（ｉ’ｍｓ１）とその測距方向を表わすベクトルＤ（ｉ’ｍｓ１）によって特定される。

第１クラスタリング部２３は、これらの距離Ｒ，Ｒ’と測距方向を表わすベクトルＤ，Ｄ’に基づき、三角形ＯＰＰ’に余弦定理を適用して相対距離Ｒ_rltvを算出する。具体的には、下記（１）式により、画素（ｉｍｓ１）と、画素（ｉ’ｍｓ１）との相対距離Ｒ_rltv((ims1),(i'ms1))が得られる。

第１クラスタリング部２３は、隣接する非背景画素の相対距離Ｒ_rltvが所定の閾値（例えば０．２０［ｍ］）以下である場合、その２画素が同一のクラスタに属すると判定し、相対距離Ｒ_rltvが所定の閾値より大きい場合、その２画素は同一のクラスタには属しないと判定する。隣接する２つの非背景画素間の相対距離Ｒ_rltvと閾値との比較評価を、距離画像を構成する全画素について順次行うことで、距離画像に含まれる非背景画素を複数の物体候補クラスタに分ける。

図１に戻って第２クラスタリング部２４について説明する。第２クラスタリング部２４は、第１のクラスタリングで生成された複数の物体候補クラスタを時間方向にクラスタリングして、多層化クラスタを生成する。第２クラスタリング部２４は、所定の時刻の距離画像から得られた物体候補クラスタと、隣接する時刻の距離画像から得られた物体候補クラスタとの間の相対距離Ｒ_B2rltvを算出する。

物体候補クラスタどうしの相対距離Ｒ_B2rltvは、各物体候補クラスタに含まれるすべての画素どうしの相対距離を算出し、最小の相対距離を物体候補クラスタの相対距離Ｒ_B2rltvとして求める。具体的には、下記（２）式により、所定の時刻ｔに取得した距離画像から得られたj_t番目の物体候補クラスタB(t,j_t)と、隣接する時刻ｔ−１に取得した距離画像から得られたj'_t-1番目の物体候補クラスタB(t-1,j'_t-1)との相対距離Ｒ_B2rltvが得られる。

ただし、i_ms1はB(t,j_t)内の画素、i'_ms1,はB(t-1,j'_t-1)内の画素である。

第２クラスタリング部２４も、各画素が示す点をＸＹ座標系に変換することなく、距離画像の各画素が示す距離Ｒと測距走査方向ベクトルＤとに基づいて画素間の相対距離Ｒ_B2rltvを算出する。これにより、クラスタリングの計算量を減らすことができる。

そして、第２クラスタリング部２４は、相対距離Ｒ_B2rltvが所定の閾値（例えば０．５０［ｍ］）以下である場合、その２つの物体候補クラスタが同一のクラスタに属すると判断し、相対距離Ｒ_B2rltvが所定の閾値より大きい場合、その２つの物体候補クラスタが異なるクラスタに属すると判断する。隣接する時刻に取得した距離画像から得られた物体候補クラスタの間の相対距離Ｒ_B2rltvと閾値との比較評価を、全ての物体候補クラスタについて順次行うことで、１または複数の多層化クラスタが形成される。

図１に戻って物体検出部２５について説明する。物体検出部２５は、第２クラスタリング部２４にて生成された多層化クラスタが所定の条件を満たすか否かに基づいて、物体を検出する。本実施の形態において用いる条件は、多層化クラスタＣｍに含まれる最大の物体候補クラスタのサイズが所定の大きさ（例えば、０．５ｍ）より大きく、かつ、多層化クラスタＣｍに含まれる物体候補クラスタの総画素数が所定の閾値（例えば、２０画素）以上である場合に、多層化クラスタＣｍに含まれる物体候補クラスタを物体であると判定する。多層化クラスタＣｍが所定の条件を満たす場合には、物体検出部２５は、距離画像ごとに物体を検出する。つまり、距離画像から得られた１又は複数の物体候補クラスタを１つの物体として検出する。

出力部２６は、物体検出部２５にて検出された物体を出力座標系に応じて出力する。物体検出部２５で検出された物体はθms1,Ｒ,Ｔの３次元の観測点の集合である。そのままで出力するのならば、出力部２６は、Ｒ-θms1-Ｔ座標系で出力する。時間の情報が不要な場合には、例えば距離画像と同様なＲ-θms1座標系で出力する。また、ＸＹＴ座標系に変換しても良いし、この場合も時間の情報が不要ならＸＹ座標系に変換しても良い。本実施の形態では、ＸＹＴ座標系に変換して出力する例を取り上げて説明する。出力の態様としては、例えば、モニタ等の表示手段に表示してもよい。

図７は、出力部２６により出力された物体Ｋの検出結果の例を示す図である。図７に示すように、ＸＹＴ座標系において物体Ｋの検出結果を表示することで、物体の動きを容易に把握することができる。

［物体検出装置の動作］
次に、本実施の形態の物体検出装置２０の動作について説明する。図８は、物体検出装置２０により物体を検出する動作を示すフローチャートである。物体検出装置２０は、測距装置１０から距離画像のデータを取得する（Ｓ１０）。測距装置１０は、定期的に測距を行って距離画像を生成し、物体検出装置２０は測距装置１０から定期的に距離画像のデータを取得する。

物体検出装置２０は、取得した距離画像の中から非背景画素を抽出する（Ｓ１１）。続いて、物体検出装置２０は、距離画像に含まれる非背景画素に対して第１のクラスタリングを行い、非背景画素の集合である物体候補クラスタを生成する（Ｓ１２）。第１のクラスタリングの処理については、図９を参照して後述する。物体検出装置２０は、物体候補クラスタに対して第２のクラスタリングを行い、物体候補クラスタの集合である多層化クラスタを生成する（Ｓ１３）。第２のクラスタリング処理については、図１０を参照して後述する。

物体検出装置２０は、多層化クラスタが所定の条件を満たすか否かを判定し、物体を検出する（Ｓ１４）。第２のクラスタリング処理により、複数の多層化クラスタが生成されるが、所定の条件を満たす多層化クラスタからは物体が検出され、所定の条件を満たさない多層化クラスタはノイズとして判断される。

物体検出装置２０は、検出した物体を示す画素値を空間座標系に変換する（Ｓ１５）。上述したとおり、検出した物体の位置情報を出力する際には、出力座標系に対応するように変換を行えばよいが、本実施の形態では、物体の位置情報をＸＹＴ座標系に変換する。続いて、物体検出装置２０は、検出結果を出力する（Ｓ１６）。

図９は、第１のクラスタリングの処理を示すフローチャートである。まず、第１クラスタリング部２３は、物体候補クラスタに属する画素を順次追加していくための一時保存領域を確保する（ステップＳ２０）。

そして、第１クラスタリング部２３は、距離画像から処理対象の画素（ｉｍｓ１）を取得する（ステップＳ２１）。処理対象の画素の取得の順序としては、最初に走査範囲の端にある非背景画素を取得し、その後は順次、前の非背景画素に隣接する非背景画素を取得していく。処理対象の画素の取得の順序を記憶した記憶部を備えてもよい。

第１クラスタリング部２３は、一時保存領域に画素が保存されているか否かを判定する（Ｓ２２）。一時保存領域に画素が保存されていない場合には（Ｓ２２でＮＯ）、処理対象の画素を保存領域に保存する（Ｓ２８）。距離画像から最初に非背景画素を取得したときには、一時保存領域には画素が保存されていないので、最初の処理対象画素は一時保存領域に保存される（Ｓ２８）。

一時保存領域に画素が保存されている場合には（Ｓ２２でＹＥＳ）、処理対象画素と隣接する１つ前の処理対象画素を一時保存領域から読み出す（Ｓ２３）。上述したとおり、第１クラスタリング部２３は、隣接する非背景画素を順次読み出しているので、ここで一時保存領域から読み出される非背景画素は、処理対象画素に隣接する非背景画素である。第１クラスタリング部２３は、処理対象画素と１つ前の処理対象画素との相対距離Ｒ_rltvを上述した式（１）によって算出する（Ｓ２４）。

第１クラスタリング部２３は、求めた相対距離Ｒ_rltvが所定の閾値以下であるか否かを判定する（Ｓ２５）。相対距離Ｒ_rltvが所定の閾値以下である場合には（Ｓ２５でＹＥＳ）、処理対象画素と、１つ前の処理対象画素が同じクラスタに属すると判定し、第１クラスタリング部２３は、処理対象画素を一時保存領域に保存する（Ｓ２６）。相対距離Ｒ_rltvが所定の閾値以下でない場合（Ｓ２５でＮＯ）、処理対象画素と、１つ前の処理対象画素とは異なるクラスタに属すると判定し、第１クラスタリング部２３は、一時保存領域に記憶されている処理対象画素が物体候補クラスタを構成すると確定する（Ｓ２７）。

第１クラスタリング部２３は、確定した物体候補クラスタを構成する画素データを別の保存領域に移動すると共に、一時保存領域のデータをクリアする（Ｓ２７）。このときに、一時保存領域に１つの画素しか保存されていなかったときには、その画素は前後の隣接画素とクラスタを構成するものではないので、別の保存領域に移動することなく一時保存領域からクリアしてもよい。続いて、第１クラスタリング部２３は、処理対象画素を一時保存領域に保存する（Ｓ２８）。

第１クラスタリング部２３は、距離画像に含まれるすべての非背景画素について処理を行ったか否かを判定し（Ｓ２９）、まだ未処理の非背景画素がある場合には（Ｓ２９でＮＯ）、未処理の非背景画素を処理対象画素として抽出するステップに戻り（Ｓ２１）、上述した処理を繰り返す。

図１０は、第２のクラスタリングの処理を示すフローチャートである。図１１及び図１２は、第２のクラスタリングの処理によって多層化クラスタが生成される過程を示す図である。

第２クラスタリング部２４は、取得時刻が最先の距離画像から生成された物体候補クラスタを多層化クラスタ候補として保存する（Ｓ３０）。図１１（ａ）に示す例では、最先の取得時刻ｔ−３の２つの物体候補クラスタを多層化クラスタ候補Ｃｍ１，Ｃｍ２として保存する。

第２クラスタリング部２４は、隣接する時刻に取得した距離画像を処理対象として選択し（Ｓ３１）、処理対象の距離画像から得られた物体候補クラスタを処理対象として選択する（Ｓ３２）。そして、選択された物体候補クラスタと多層化クラスタ候補との相対距離Ｒ_B2rltvを計算する（Ｓ３３）。図１１（ａ）に示す例では、取得時刻ｔ−３に隣接する取得時刻ｔ−２の距離画像を処理対象として選択し（Ｓ３１）、物体候補クラスタＢ１を処理対象として選択する（Ｓ３２）。そして、物体候補クラスタＢ１と多層化クラスタ候補Ｃｍ１，Ｃｍ２との相対距離Ｒ_B2rltvを計算する（Ｓ３３）。

第２クラスタリング部２４は、相対距離Ｒ_B2rltvが閾値以下の多層化クラスタ候補があるか否かを判定し（Ｓ３４）、相対距離Ｒ_B2rltvが閾値以下の多層化クラスタ候補がある場合には（Ｓ３４でＹＥＳ）、その多層化クラスタ候補に処理対象の物体候補クラスタを追加する（Ｓ３５）。もし、相対距離Ｒ_B2rltvが閾値以下の多層化クラスタ候補がない場合には（Ｓ３４でＮＯ）、処理対象の物体候補クラスタを新たな多層化クラスタ候補として保存する（Ｓ３６）。

図１１（ａ）に示す例では、相対距離Ｒ_B2rltvが閾値以下であることを実線の矢印で示し、閾値以下でないことを点線の矢印で示している。ここでは、物体候補クラスタＢ１と多層化クラスタ候補Ｃｍ１との相対距離Ｒ_B2rltvが所定の閾値以下であるので、図１１（ｂ）に示すように多層化クラスタ候補Ｃｍ１に物体候補クラスタＢ１を加える。多層化クラスタ候補Ｃｍ２については、追加される物体候補クラスタがないので、この時点で多層化クラスタ候補Ｃｍ２の更新は終了する。

第２クラスタリング部２４は、処理対象の距離画像の全ての物体候補クラスタについて処理を行ったか否かを判定し（Ｓ３７）、まだ未処理の物体候補クラスタがある場合には（Ｓ３７でＮＯ）、未処理の物体候補クラスタを処理対象として選択して（Ｓ３２）、上述した処理を行う。

処理対象の距離画像の全ての物体候補クラスタについて処理を行った場合には（Ｓ３７でＹＥＳ）、第２クラスタリング部２４は、全ての距離画像を処理したか否か判定し（Ｓ３８）、未処理の距離画像がある場合には（Ｓ３８でＮＯ）、処理を行った距離画像と隣接する時刻に取得した距離画像を新たな処理対象として選択し（Ｓ３１）、上述した処理を行う。全ての距離画像について処理を行った場合には（Ｓ３８でＹＥＳ）、生成された多層化クラスタ候補を多層化クラスタとして確定し（Ｓ３９）、処理を終了する。

図１１及び図１２を参照して多層化クラスタの生成の過程についてさらに説明する。取得時刻ｔ−２の距離画像についての処理が完了すると、取得時刻ｔ−１の距離画像を処理対象として選択する。その距離画像から処理対象の物体候補クラスタＢ２〜Ｂ４を順次選択して処理を行う。図１１（ｃ）に示すように物体候補クラスタＢ２と多層化クラスタ候補Ｃｍ１との相対距離Ｒ_B2rltvを計算し、所定の閾値以下であると判定し、物体候補クラスタＢ２を多層化クラスタ候補Ｃｍ１に追加する。

なお、物体候補クラスタＢ２と多層化クラスタ候補Ｃｍ１との相対距離Ｒ_B2rltvを求める際に用いるのは、多層化クラスタ候補Ｃｍ１に含まれる物体候補クラスタのうち、処理対象である時刻ｔ−１の距離画像と隣接する時刻ｔ−２の距離画像から生成された物体候補クラスタＢ１との相対距離であり、隣接していない時刻ｔ−３の距離画像から生成された物体候補クラスタとの相対距離ではない。

同様に、物体候補クラスタＢ３と多層化クラスタ候補Ｃｍ１との相対距離Ｒ_B2rltvを計算し、所定の閾値以下であると判定し、物体候補クラスタＢ３を多層化クラスタ候補Ｃｍ１に追加する。続いて、物体候補クラスタＢ４と多層化クラスタ候補Ｃｍ１との相対距離Ｒ_B2rltvを計算し、所定の閾値以下ではないと判定し、図１２（ａ）に示すように、物体候補クラスタＢ４を新たな多層化クラスタ候補Ｃｍ３とする。

以上で、時刻ｔ−１の距離画像に含まれる物体候補クラスタＢ２〜Ｂ４の処理が完了したので、時刻ｔの距離画像を処理対象とする。その距離画像から処理対象の物体候補クラスタＢ５を選択して処理を行う。図１２（ｂ）に示すように、物体候補クラスタＢ５と多層化クラスタ候補Ｃｍ１，Ｃｍ３との相対距離Ｒ_B2rltvを計算し、多層化クラスタ候補Ｃｍ１との相対距離Ｒ_B2rltvが所定の閾値より大きく、多層化クラスタ候補Ｃｍ３との相対距離Ｒ_B2rltvが所定の閾値以下であると判定し、物体候補クラスタＢ５を多層化クラスタ候補Ｃｍ３に追加する。なお、本実施の形態では、取得時刻の古い距離画像の物体候補クラスタから順に多層化クラスタ候補を追加していったが、取得時刻の新しい距離画像から順に多層化クラスタ候補を追加していってもよい。

以上のようにした多層化クラスタＣｍ１，Ｃｍ２，Ｃｍ３を生成する。そして、多層化クラスタ候補を多層化クラスタとして確定する。なお、多層化クラスタ候補の更新を終了したときに１層しかない多層化クラスタ候補Ｃｍ２は、多層化クラスタとして確定しない構成としてもよい。

本実施の形態の物体検出システム１は、複数の時刻に取得した距離画像から抽出した物体候補クラスタを時間方向にクラスタリングして多層化クラスタを生成し、多層化クラスタが所定の条件を満たすか否かによって物体を検出する。したがって、ある取得時刻においてノイズが含まれていたとしてもそのノイズの影響を受けにくく、適切に物体を検出することができる。図１２（ｃ）に示す例では、時刻ｔ−１に取得した距離画像に含まれる２つの物体候補クラスタＢ２，Ｂ３は、多層化クラスタＣｍ１に基づいて物体検出を行うことにより、時刻ｔ−２に検出された物体候補クラスタＢ１と同じ物体であることを検出することができる。

（第２の実施の形態）
図１３は、第２の実施の形態の物体検出システム２の構成を示す図である。第２の実施の形態の物体検出システム２の基本的な構成は、第１の実施の形態の物体検出システム１と同じであるが、第２の実施の形態の物体検出システム２は、測距装置１０から水平方向及び垂直方向に走査したときの距離画像のデータを取得する。この場合、距離画像の各画素（ｉｍｓ１，ｉｍｓ２）の値は、画素に対応する方向にある対象物までの距離Ｒ（ｉｍｓ１，ｉｍｓ２）を示す。

第２の実施の形態の物体検出システム２は、２次元の距離画像を処理するため、物体検出装置２０が備える第１クラスタリング部２８の構成が異なる。第１クラスタリング部２８は、距離画像に含まれる非背景画素をクラスタリングして物体候補クラスタを生成する際に、主方向クラスタリングと副方向クラスタリングを行う。

第１クラスタリング部２８は、主方向クラスタリング部２９と副方向クラスタリング部３０を有している。主方向クラスタリング部２９は、処理対象の距離画像を副方向に分割して主方向クラスタリング単位を生成し、主方向クラスタリング単位で非背景画素のクラスタリングを行う。本明細書では、主方向クラスタリングによって生成されるクラスタを「線セグメント」という。

図１４（ａ）は、距離画像を主方向クラスタリング単位に分割した例を示す図である。図示のように、例えば距離画像を副方向に８等分（実際は例えば６０等分程度）して８つの主方向クラスタリング単位１〜８を設定する。各主方向クラスタリング単位は、複数ライン（同図では３ライン）の画素から構成されるようにすることができる。主方向クラスタリング部２９は、隣接する非背景画素を順次読み出して、隣接する非背景画素が示す３次元空間内の点間の相対距離が所定の閾値以下であるか否かに基づいてクラスタリングを行う。

図１４（ｂ）は、主方向クラスタリングが画素を読み出す順序を規定した主方向クラスタリング走査マップを模式的に説明する図である。各主方向クラスタリング単位に属する画素の順序は、主方向インデックスｉｍｓ１の昇順とし、主方向インデックスｉｍｓ１が同一の画素が複数ある場合には副方向インデックスｉｍｓ２の降順とすることができる。例えば、画素（１，１）と画素（１，２）が隣接しているほか、画素（１，１）と画素（２，３）も隣接しているとする。主方向クラスタリング部２９は、図１４（ｂ）に示すような主方向クラスタリング走査マップを有しており、主方向クラスタリング走査マップにしたがって非背景画素の読み出しを行う。

副方向クラスタリング部３０は、主方向クラスタリング部２９にて生成された線セグメントのクラスタリングを行い、物体候補クラスタを生成する。副方向クラスタリング部３０は、隣接する主方向クラスタリング単位で生成された線セグメントどうしの相対距離に基づいて、線セグメントが同じクラスタに属するか否かを判定する処理を繰り返し行い、クラスタリングを行って、物体候補クラスタを生成する。この処理は、第２クラスタリング部２４で説明した「隣接する時刻に取得した距離画像」を「隣接した主方向クラスタリング単位」に置き換え、「物体候補クラスタ」を「線セグメント」に置き換えたものと理解することができる。

第２クラスタリング部２４は、第１のクラスタリングで生成された複数の物体候補クラスタを時間方向にクラスタリングして、多層化クラスタを生成する。第２クラスタリング部２４は、所定の時刻の距離画像から得られた物体候補クラスタと、隣接する時刻の距離画像から得られた物体候補クラスタとの間の相対距離を算出する。

本実施の形態においては、物体候補クラスタは、線セグメントを副方向にクラスタリングして作成され、主方向及び副方向に広がりを有する。したがって、物体候補クラスタに含まれるすべての画素について総当たりで距離を計算すると、物体候補クラスタどうしの距離の計算処理が非常に重くなり、物体を迅速に検出できないおそれがある。本実施の形態では、物体候補クラスタどうしの距離を効率良く計算する方法を提案する。

図１５（ａ）及び図１５（ｂ）は、第２の実施の形態の第２クラスタリング部２４が物体候補クラスタどうしの距離を求める方法を説明するための図である。図１５（ａ）及び図１５（ｂ）はともに、時刻ｔ−１に取得した距離画像から得られた物体候補クラスタＢ_t-1,1，Ｂ_t-1,2，Ｂ_t-1,3，Ｂ_t-1,4と時刻ｔに取得した距離画像から得られた物体候補クラスタＢ_t,1，Ｂ_t,2，Ｂ_t,3，Ｂ_t,4とを示している。図１５において、網掛けした部分が物体候補クラスタを構成する画素である。第２クラスタリング部２４は、これらの２つの物体候補クラスタの距離を計算する際に、副方向のラインを固定して、対応する副方向に含まれる画素の距離を計算する。

図１５（ａ）では、副方向を第１番目のラインに固定して、第１番目のラインにある物体候補クラスタの画素どうしの相対距離を計算する。時刻ｔ−１の第１番目のラインに含まれる画素と、時刻ｔの第２番目、第３番目・・・のラインにある画素との相対距離は計算しないし、時刻ｔの第１番目のラインに含まれる画素と、時刻ｔ−１の第２番目、第３番目・・・のラインにある画素との相対距離は計算しない。このように副方向の異なる画素間の組合せによる相対距離を考慮しないことで、単純に物体候補クラスタ間の相対距離を求める場合に比べ、大幅に計算量が削減できる。

なお、ここでは、物体候補クラスタどうしの距離をどの画素間の距離で規定するかを視覚的に理解しやすく説明したが、実際の処理においては、距離画像の画素データＲ（ｉｍｓ１，ｉｍｓ２）において、副方向インデックスｉｍｓ２が所定の値を有する画素だけ計算対象にすることで、副方向のラインを固定した計算を行える。

副方向のラインを固定した状態は、水平方向の走査により取得した距離画像と同等であり、この相対距離の計算には第１の実施の形態で説明した方法を用いる。第１番目のラインにある画素どうしの距離計算が完了すると、図１５（ｂ）に示すように計算対象の画素を第２番目のラインに移して、画素どうしの距離計算を行う。そして、物体候補クラスタに含まれる画素どうしの距離のうち最小の距離を物体候補クラスタの距離とする。

例えば、図１５に示す例では、物体候補クラスタＢ_t-1,1と物体候補クラスタＢ_t,1に含まれる画素間の相対距離は、第１番目のラインで４通り（２画素×２画素）、第２番目のラインで２通り（２画素×１画素）、第３番目のラインで４通り（２画素×２画素）の合計１０通りの相対距離が求まるが、このうちで最小値となるものを物体候補クラスタＢ_t-1,1と物体候補クラスタＢ_t,1の相対距離とする。

なお、以上の説明と図１５（ａ）及び図１５（ｂ）から分かるように、例えば、物体候補クラスタＢ_t-1,1と物体候補クラスタＢ_t,4や物体候補クラスタＢ_t-1,1と物体候補クラスタＢ_t,4のように、そもそも副方向の位置が対応しない存在しない物体候補クラスタは、距離計算の対象になることはなく、計算を省略できる。

図１５の模式図を用いて説明した内容を、より詳細に述べる。Ｂ(t,j_t)を時刻ｔの距離画像に含まれるj_t番目の物体候補クラスタ、Ｂ(t-1,j'_t-1)を時刻t-1の距離画像に含まれるj'_t-1番目の物体候補クラスタとする。隣接する時刻間t,t-1にそれぞれ属する２つの物体候補クラスタＢ(t,j_t)とＢ(t-1,j'_t-1)の相対距離Ｒ_B2rltvは、クラスタに含まれる同一の副方向位置の画素間の相対距離のうちで最小となる値を選ぶ。具体的には物体候補クラスタＢ(t,j_t)に含まれる画素のそれぞれの副方向に関して、副方向ｉｍｓ２を固定し、副方向ｉｍｓ２であるＢ(t,j_t)の画素とＢ(t-1,j'_t-1)の画素間の相対距離のうちで最小となるものをＲ_{anyims1(ims2)}として求める。続いて、物体候補クラスタＢ(t,j_t)に含まれるすべて副方向ｉｍｓ２に関して求めたＲ_{anyims1(ims2)}の中から最小値を選び、これを物体候補クラスタ間相対距離Ｒ_B2rltvとする。

下記（３）式により、所定の時刻ｔに取得した距離画像から得られた物体候補クラスタＢ(t,j_t)と、隣接する時刻ｔ−１に取得した距離画像から得られた物体候補クラスタＢ(t-1,j'_t-1)との相対距離Ｒ_B2rltvが得られる。

ただし、
Ｒ(i_ms1,i_ms2,t)：時刻ｔにおける画素(i_ms1,i_ms2)の距離
Ｒ(i'_ms1,i_ms2,t-1)：時刻ｔ-1における画素(i'_ms1,i_ms2)の距離

以上、第２の実施の形態の物体検出システム２について、第１の実施の形態の物体検出システム１と異なる構成について説明した。第２の実施の形態の物体検出システム２の第１の実施の形態と同様に多層化クラスタを用いて、精度の良い物体検出を行うことができる。

第２の実施の形態の物体検出システム２は、物体候補クラスタを生成する際に、隣接する非背景画素を２つの走査方向についてクラスタリングするので、立体的な物体の形状を検出することができる。

図１６は、第２の実施の形態の物体検出システム２にて出力された物体Ｋの検出結果の例を示す図である。第２の実施の形態の物体検出システム２では、物体Ｋの動きを立体的に把握することができる。

（第３の実施の形態）
図１７は、第３の実施の形態の物体検出システム３の構成を示す図である。第３の物体検出システム３は、検出した物体の移動方向及び移動速度を検知し、この移動に関するデータを用いて物体を追跡する機能を有する。

第３の実施の形態の物体検出システム３の基本的な構成は、第１の実施の形態の物体検出システム１と基本的な構成は同じであるが、第３の実施の形態では、物体検出装置２０が、第１の実施の形態の物体検出装置２０の構成に加えて、物体移動検知部３１と、探索範囲設定部３２と、物体追跡部３３とをさらに備えている。

物体移動検知部３１は、物体検知部２５に検知した物体の位置をＸＹ座標系に変換し、多層化クラスタの両端の物体の位置と時間から物体の移動方向と移動速度を求める。図１８は、物体の移動方向と移動速度を求める例を示す図である。

図１８に示すように、物体移動検知部３１は、検出した物体の画素値をＸＹＴ座標系に変換する。そして、各時刻において物体が占める領域の平均位置を求める。そして、時刻ｔ−４の物体の平均位置ｐ１（ｘ，ｙ）と時刻ｔの物体の平均位置ｐ５（ｘ，ｙ）から、物体の移動方向と移動速度、すなわち、移動ベクトルｖ（Ｘ，Ｙ）を求める。ここでは、ＸＹＴ座標系において物体の移動方向と移動速度を求める例を説明したが、移動方向と移動速度は、Ｒ-θ座標系において求めてもよい。

探索範囲設定部３２は、追跡対象の物体が存在すると推定される探索範囲を設定する機能を有している。物体追跡部３３は、異なる時刻に検出された物体の結び付け（アソシエーション）を行い、異なる時刻の間で物体を追跡する。なお、ここでいう異なる時刻とは、多層化クラスタリングを行う時間範囲よりも大きく異なる時刻である。多層化クラスタを生成する際には、物体を追跡していることを前提として物体検出を行っているからである。探索範囲設定部３２は、物体の移動方向と移動速度に基づいて、所定時間経過後に物体の存在する場所を推定し、その周辺に探索範囲を設定する。なお、探索範囲を「ゲート」、探索範囲の設定を「ゲートをオープンする」ともいう。

図１９は、探索範囲設定部３２の処理について説明するための図である。探索範囲設定部３２は、物体の現在位置Ｐ１と物体の移動ベクトルｖとに基づいて、所定時間後の物体の推定位置Ｐ２ａを求め、物体の推定位置を中心とする円形の探索範囲Ｓａを設定する。探索範囲設定部３２が設定する探索範囲の半径は、物体の追跡を行う時間間隔に応じて決定してもよい。すなわち、追跡の時間間隔が長くなれば探索範囲の半径を大きくし、短ければ探索範囲の半径を小さくしてもよい。

本実施の形態の探索範囲設定部３２は、物体の移動ベクトルｖを用いて所定時間後の物体の位置を推定するので、適切に探索範囲を設定できる。これにより、探索範囲で検出された物体と同一の物体であるという結び付けを行うことができ、物体の追跡を行える。この例では、所定時間後の物体の位置はＰ２であり、所定時間の経過後に探索範囲で見つかった物体が、現在検出された物体であると正しく追跡できる。もし、移動ベクトルｖを用いない場合には、物体の１つ前の位置と現在位置とを結ぶ直線上に推定位置Ｐ２ｂが求められ、推定位置Ｐ２ｂを中心とする円形の探索範囲Ｓｂが設定されることになるが、誤った物体とのアソシエーションを行ってしまう可能性がある。

物体追跡部３３は、探索範囲において検出された物体の中で追跡対象の物体の移動方向及び移動速度が近い物体を、追跡対象の物体と同一であると判定し、アソシエーションを行う。なお、探索範囲において物体を検出する方法は、上で説明した多層化クラスタを用いた検出方法を採用し、物体の現在位置と共にその移動ベクトルも求められているものとする。

図２０は、探索範囲内で３つの物体Ｏ１〜Ｏ３が検出されたときに、追跡対象の物体と同一の物体を求める方法を示す図である。観測点１で検出された物体Ｏ１は移動ベクトルＶｏ１を持ち、観測点２で検出された物体Ｏ２は移動ベクトルＶｏ２を持ち、観測点３で検出された物体Ｏ３は移動ベクトルＶｏ３を持つ。追跡対象の物体は移動ベクトルＶｏを持つ。追跡対象の物体の移動ベクトルＶｏは、探索範囲を設定する際に用いた移動ベクトルである。

物体追跡部３３は、追跡対象の物体の移動ベクトルＶｏと近い移動ベクトルを有する物体を特定する。２つの移動ベクトルの近さは、２つの移動ベクトルの方向及び大きさの差分に関して閾値を設定しておき、差分が閾値以下となる場合に２つの移動ベクトルが近いと判断する。図２０に示す例では、移動ベクトルが近い物体として物体Ｏ１及び物体Ｏ３が特定され、物体Ｏ２は除外される。物体追跡部３３は、絞り込まれた物体のうち、予測点Ａ１からの距離が近い物体を追跡対象の物体と同一の物体であると特定する。この例では、距離Ｌ１＜距離Ｌ３なので、物体Ｏ１が特定される。このように物体追跡部３３は、追跡対象の物体の移動ベクトルを用いることで、同一の物体を特定できる。

図２１は、複数の物体の探索範囲が重なりあった場合の処理について説明するための図である。図２１に示す例では、追跡物体Ａ１の探索範囲Ｓ１と、追跡物体Ａ２の探索範囲Ｓ２が重なり合っている。そして、物体Ｏ２が探索範囲Ｓ１と探索範囲Ｓ２とが重なった領域の観測点２で物体Ｏ２が検出された。ここで、物体Ｏ２の移動ベクトルは、追跡物体Ａ１とも追跡物体Ａ２とも移動ベクトルが近いとする。この場合、追跡対象の物体の移動ベクトルの近さに基づいて物体の同一性判定を行っても、物体Ｏ２が追跡物体Ａ１，Ａ２のいずれとも結びつけることができない。このような場合には、物体追跡部３３は、探索範囲の中心である予測点までの距離が短い方の探索範囲の追跡物体と結びつける。この例では、予測点１との距離Ｌ２＿１＜予測点２との距離Ｌ２＿２であることから、探索範囲Ｓ１の追跡物体Ａ１と結びつける。

以上、第３の実施の形態の物体検出システム３について説明した。第３の実施の形態の物体検出システム３は、物体の位置の情報のみならず、移動方向及び移動速度（すなわち、移動ベクトル）を求めることができる。そして、この移動ベクトルの情報を物体の追跡に生かすことにより、物体の追跡を効率的かつ精度良く行うことができる。

以上、本発明の物体検出システムについて実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。多層化クラスタを生成する際に、物体候補クラスタどうしの距離が所定の閾値以下の場合に同じクラスタに属すると判断することを説明したが、この閾値は検出すべき物体の種類に応じて決定することができる。例えば、検出すべき物体が車両の場合と人物の場合とでは、車両の場合の方が閾値を大きくしてもよい。車両の方が移動速度が速いため、同じ時間間隔に大きく動く可能性があるからである。

また、この閾値は、距離画像を取得する時間間隔に応じて変えてもよい。すなわち、距離画像の取得間隔が１秒の場合は０．５秒の場合に比べて、２つの距離画像間での移動距離が２倍になる可能性があるからである。

本発明は、ノイズの影響を受けにくく、適切に物体を検出することができ、測距装置を用いた物体検出装置等として有用である。

１〜３ 物体検出システム
１０ 測距装置
２０ 物体検出装置
２１ 距離画像取得部
２２ 非背景画素抽出部
２３ 第１クラスタリング部
２４ 第２クラスタリング部
２５ 物体検出部
２６ 出力部
２７ 背景データ記憶部
２８ 第１クラスタリング部
２９ 主方向クラスタリング部
３０ 副方向クラスタリング部
３１ 物体移動検知部
３２ 探索範囲設定部
３３ 物体追跡部

Claims (12)

1. 測距装置の各測距方向における測距データを画素値とする距離画像を取得する距離画像取得部と、
   前記距離画像から非背景画素を抽出する非背景画素抽出部と、
   隣接する２つの前記非背景画素に対応する空間内の２点間の相対距離を前記非背景画素の測距方向及びその測距データに基づいて算出し、当該相対距離に基づいて隣接する前記非背景画素が同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記非背景画素の集合である物体候補クラスタを生成する第１クラスタリング部と、
   取得時刻が隣接する距離画像からそれぞれ生成された物体候補クラスタの空間内での相対距離に基づいて、判定対象の２つの物体候補クラスタが同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記物体候補クラスタの集合である多層化クラスタを生成する第２クラスタリング部と、
   前記多層化クラスタが所定の条件を満たすときに、当該多層化クラスタに含まれる各距離画像内の１又は複数の物体候補クラスタを物体として検出する物体検出部と、
   を備える物体検出装置。
2. 前記第２クラスタリング部は、判定対象の前記物体候補クラスタの空間内での相対距離に、その物体候補クラスタを生成した距離画像の取得時刻の時間間隔に応じた重み付けをし、重み付け後の距離に基づいて前記物体候補クラスタのクラスタリングを行う請求項１に記載の物体検出装置。
3. 前記測距装置は、主方向及び副方向の２次元に走査する測距装置であって、
   前記第１クラスタリング部は、
   前記距離画像を前記主方向に対応する複数の領域に分割し、分割された各領域内で前記非背景画素のクラスタリングを行って線セグメントを生成する主方向クラスタリング部と、
   隣接した領域で生成された前記線セグメントの空間内での距離に基づいて、前記線セグメントのクラスタリングを行って前記物体候補クラスタを生成する副方向クラスタリング部と、
   を備える請求項１または２に記載の物体検出装置。
4. 前記第２クラスタリング部において、前記判定対象の２つの前記物体候補クラスタの相対距離を求める処理は、
   前記２つの物体候補クラスタにおいて、副方向が共通する画素の間で相対距離の計算を行い、当該副方向が共通する画素の組合せのうちで最小の相対距離を求める第１の処理と、
   前記第１の処理を副方向を変えて行ってそれぞれの方向での最小相対距離を求め、求めた最小相対距離のうちで最も小さい最小相対距離を、前記２つの物体候補クラスタの相対距離として求める第２の処理と、
   を行う請求項３に記載の物体検出装置。
5. 前記物体検出部は、前記多層化クラスタに含まれる前記物体候補クラスタの大きさと、前記多層化クラスタに含まれる画素数とに基づいて、物体を検出する請求項１乃至４のいずれかに記載の物体検出装置。
6. 前記多層化クラスタから検出された各距離画像における物体の位置の遷移に基づいて、前記物体の移動方向及び移動速度を求める物体移動検知部を備える請求項１乃至５のいずれかに記載の物体検出装置。
7. 前記物体移動検知部は、検出された物体の画素値を３次元空間座標系の位置データに変換して３次元空間内で物体が占める空間を特定し、物体の移動方向及び移動速度を求める請求項６に記載の物体検出装置。
8. 前記物体の移動方向及び移動速度に基づいて、異なる時刻に検出された物体の中から同一の物体を検出し、物体の追跡を行う物体追跡部を備える請求項６又は７に記載の物体検出装置。
9. 前記物体検出部にて検出された物体の移動方向及び移動速度に基づいて、所定時間経過後にその物体が存在する範囲を推定し、その範囲を物体の探索範囲として設定する探索範囲設定部を備え、
   前記物体追跡部は、前記所定時間経過後に前記探索範囲の中から検出された物体を先の時刻に検出された物体と同一の物体であると判定する請求項８に記載の物体検出装置。
10. 測距装置と、
    請求項１乃至９のいずれかに記載の物体検出装置と、
    を備える物体検出システム。
11. 物体検出装置によって、測距装置の各測距方向における測距データを画素値とする距離画像に基づいて物体を検出する方法であって、
    前記物体検出装置が、前記距離画像を取得するステップと、
    前記物体検出装置が、前記距離画像から非背景画素を抽出するステップと、
    前記物体検出装置が、隣接する２つの前記非背景画素に対応する空間内の２点間の相対距離を前記非背景画素の測距方向及びその測距データに基づいて算出し、当該相対距離に基づいて隣接する前記非背景画素が同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記非背景画素の集合である物体候補クラスタを生成するステップと、
    前記物体検出装置が、取得時刻が隣接する距離画像からそれぞれ生成された物体候補クラスタの空間内での相対距離に基づいて、判定対象の２つの物体候補クラスタが同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記物体候補クラスタの集合である多層化クラスタを生成するステップと、
    前記物体検出装置が、前記多層化クラスタが所定の条件を満たすときに、当該多層化クラスタに含まれる各距離画像内の１又は複数の物体候補クラスタを物体として検出するステップと、
    を備える物体検出方法。
12. 測距装置の各測距方向における測距データを画素値とする距離画像に基づいて物体を検出するためのプログラムであって、コンピュータに、
    前記距離画像を取得するステップと、
    前記距離画像から非背景画素を抽出するステップと、
    隣接する２つの前記非背景画素に対応する空間内の２点間の相対距離を前記非背景画素の測距方向及びその測距データに基づいて算出し、当該相対距離に基づいて隣接する前記非背景画素が同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記非背景画素の集合である物体候補クラスタを生成するステップと、
    取得時刻が隣接する距離画像からそれぞれ生成された物体候補クラスタの空間内での相対距離に基づいて、判定対象の２つの物体候補クラスタが同じクラスタに属するか否かを判定する処理を繰り返し行うことにより、前記物体候補クラスタの集合である多層化クラスタを生成するステップと、
    前記多層化クラスタが所定の条件を満たすときに、当該多層化クラスタに含まれる各距離画像内の１又は複数の物体候補クラスタを物体として検出するステップと、
    を実行させるプログラム。

Images