[1]実施形態の概要
本開示の一側面に係る監視システムは、それぞれが地上に設置されるとともに監視領域の少なくとも一部を含む照射可能領域に向けてレーザ光を照射してレーザ光の反射光を受光することで照射可能領域内の各計測点の位置座標を含む計測点情報を生成する第1レーザセンサ及び第2レーザセンサを用いて、監視領域を監視するシステムである。この監視システムは、第1レーザセンサによって生成された複数の計測点情報を含む第1点群情報を処理することで第1部分情報を生成する第1処理装置と、第2レーザセンサによって生成された複数の計測点情報を含む第2点群情報を処理することで第2部分情報を生成する第2処理装置と、第1部分情報及び第2部分情報に基づいて、監視領域における検出結果を生成する検出装置と、を備える。第1処理装置は、第1点群情報をクラスタリングし、クラスタリングによって1以上の第1クラスタが得られた場合には、1以上の第1クラスタのそれぞれを近似した幾何学形状を特定可能なパラメータを含む第1部分情報を生成する。
この監視システムでは、地上に設置された第1レーザセンサ及び第2レーザセンサを用いて、監視領域が監視される。これにより、監視領域における死角が少なくなるので、検出精度を向上させることができる。また、第1処理装置が、第1レーザセンサによって生成された複数の計測点情報を含む第1点群情報をクラスタリングすることで1以上の第1クラスタが得られた場合には、1以上の第1クラスタのそれぞれを近似した幾何学形状を特定可能なパラメータを含む第1部分情報を生成する。このため、第1部分情報のデータ量は、第1点群情報のデータ量よりも小さくなり得る。これにより、第1処理装置から検出装置に第1点群情報を送信する場合と比較して、第1処理装置から検出装置に第1部分情報を送信するために要する時間を短縮することができる。その結果、検出精度を向上させつつ、検出に要する時間の増加を抑制することが可能となる。
第2処理装置は、第2点群情報をクラスタリングしてもよく、クラスタリングによって1以上の第2クラスタが得られた場合には、1以上の第2クラスタのそれぞれを近似した幾何学形状を特定可能なパラメータを含む第2部分情報を生成してもよい。この場合、第2部分情報のデータ量は、第2点群情報のデータ量よりも小さくなり得る。これにより、第2処理装置から検出装置に第2点群情報を送信する場合と比較して、第2処理装置から検出装置に第2部分情報を送信するために要する時間を短縮することができる。その結果、検出精度を向上させつつ、検出に要する時間の増加を抑制することが可能となる。
検出装置は、第1部分情報に含まれるパラメータで特定される第1幾何学形状と、第2部分情報に含まれるパラメータで特定される第2幾何学形状と、が互いに重なり合う場合には、第1幾何学形状及び第2幾何学形状を同一の物体として検出してもよい。第1部分情報に含まれるパラメータで特定される第1幾何学形状と、第2部分情報に含まれるパラメータで特定される第2幾何学形状と、が互いに重なり合う場合には、第1幾何学形状及び第2幾何学形状は互いに同一の物体である可能性が高い。このため、第1幾何学形状及び第2幾何学形状を同一の物体として検出することで、検出精度をさらに向上させることが可能となる。
第1処理装置は、第1点群情報から、予め設定された検出除外範囲に含まれる計測点の計測点情報を除外し、残りの計測点情報をクラスタリングしてもよい。この場合、クラスタリングの対象となる計測点情報の数を減らすことができるので、第1処理装置の計算負荷を低減することが可能となる。
上述の監視システムは、第1レーザセンサと、第2レーザセンサと、をさらに備えてもよい。この場合、監視システム内で第1点群情報及び第2点群情報が生成されるので、監視システムの外部から第1点群情報及び第2点群情報を取得する必要がない。
本開示の別の側面に係る処理装置は、地上に設置されるとともに監視領域の少なくとも一部を含む照射可能領域に向けてレーザ光を照射してレーザ光の反射光を受光することで照射可能領域内の各計測点の位置座標を含む計測点情報を生成するレーザセンサから複数の計測点情報を含む点群情報を取得する取得部と、点群情報をクラスタリングし、クラスタリングによって1以上のクラスタが得られた場合には、1以上のクラスタのそれぞれを近似した幾何学形状を特定可能なパラメータを含む部分情報を生成する処理部と、部分情報を外部に出力する出力部と、を備える。
この処理装置では、レーザセンサによって生成された複数の計測点情報を含む点群情報をクラスタリングすることで1以上のクラスタが得られた場合には、1以上のクラスタのそれぞれを近似した幾何学形状を特定可能なパラメータを含む部分情報が生成され、部分情報が外部に出力される。このため、部分情報のデータ量は、点群情報のデータ量よりも小さくなり得る。これにより、処理装置から外部に点群情報を送信する場合と比較して、処理装置から外部に部分情報を送信するために要する時間を短縮することができる。その結果、検出に要する時間の増加を抑制することが可能となる。
[2]実施形態の例示
以下、本開示の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明を省略する。
図1は、一実施形態に係る監視システムの構成を概略的に示す図である。図2は、図1に示されるマスタレーザレーダ装置及びスレーブレーザレーダ装置の配置例を示す図である。図3は、図2の斜視図である。図4は、点群情報の一例を示す図である。図5は、図1に示される処理装置のハードウェア構成を示す図である。
図1に示される監視システム1は、後述のレーザセンサ4,6を用いて、監視領域Rdを監視するシステムである。より具体的には、監視システム1は、監視領域Rdに存在する物体(移動体)を検出する。監視領域Rdは、監視対象となる領域である。監視領域Rdは、道路上の任意の場所に設定され得る。監視領域Rdの設定場所として、例えば、交差点、合流地点、及び道路の途中が選択される。図2及び図3に示されるように、本実施形態では、監視領域Rdは、交差点Cに設定される。監視対象の物体としては、車両、及び歩行者(人)が挙げられる。
監視システム1は、スレーブレーザレーダ装置2と、マスタレーザレーダ装置3と、を備えている。スレーブレーザレーダ装置2及びマスタレーザレーダ装置3は、監視領域Rdの近傍に設置されている。本実施形態では、スレーブレーザレーダ装置2とマスタレーザレーダ装置3とは、交差点Cの対角線上に設けられている。交差点Cは、4本の道路Tr1〜Tr4が合流する地点である。道路Tr1と道路Tr2とは、一方向に沿って延びており、交差点Cを介して互いに接続されている。道路Tr3と道路Tr4とは、道路Tr1,Tr2とは交差する方向に延びており、交差点Cを介して互いに接続されている。スレーブレーザレーダ装置2及びマスタレーザレーダ装置3は、地上に設置された支持部材P(図3参照)に固定されている。支持部材Pは、例えば、交差点C付近の路側に設けられた柱状構造体である。支持部材Pは、電柱、及び倉庫の壁であってもよい。
スレーブレーザレーダ装置2とマスタレーザレーダ装置3とは、通信回線Nによって互いに通信可能に接続されている。通信回線Nは、有線及び無線のいずれで構成されてもよい。通信回線Nは、インターネット回線及び移動体通信網等の非専用回線でもよく、専用回線でもよい。なお、交差点C等においてはスレーブレーザレーダ装置2とマスタレーザレーダ装置3との距離が長いので、通信回線Nとして専用回線を有線で配線することが困難であることがある。このため、本実施形態では、通信回線Nとして無線の通信回線が用いられ得る。
スレーブレーザレーダ装置2は、レーザセンサ4と、処理装置5と、を備えている。レーザセンサ4は、支持部材Pに固定されている。つまり、レーザセンサ4は、地上に設置されている。レーザセンサ4は、照射可能領域Raに向けてレーザ光を照射し、照射したレーザ光の反射光を受光することで、照射可能領域Ra内の各計測点の計測点情報を生成する。照射可能領域Raは、レーザセンサ4がレーザ光を照射可能な領域であり、例えば150m程度の範囲である。照射可能領域Raは、監視領域Rdの少なくとも一部を含む。
図4に示されるように、計測点情報は、時刻情報、及び位置情報を含む。時刻情報は、位置情報で示される計測点の計測点情報を生成した(反射光を受光した)時刻を示す情報である。位置情報は、計測点の位置座標を示す情報である。位置座標には、ヨー角、ピッチ角、及び深度で表される極座標系が用いられてもよく、x座標、y座標、及びz座標で表される3次元座標系が用いられてもよい。本実施形態で用いられる座標系CSは、3次元座標系である。座標系CSのx軸は、道路Tr1及び道路Tr2に沿って延び、道路Tr1から道路Tr2に向かう方向が正となるように設定される。座標系CSのy座標は、道路Tr3及び道路Tr4に沿って延び、道路Tr3から道路Tr4に向かう方向が正となるように設定される。座標系CSのz軸は、地表を基準(z=0)とし、地表よりも上方が正となるように設定される。計測点情報は、反射強度情報をさらに含んでもよい。反射強度情報は、位置情報で示される計測点から、時刻情報で示される時刻に受光した反射光の強度を示す情報である。
レーザセンサ4は、レーザ光の照射方向を変えることで、照射可能領域Raを主走査方向及び副走査方向に走査する。これにより、照射可能領域Raに含まれる複数の計測点にレーザ光が順に照射される。照射可能領域Raに含まれるすべての計測点へのレーザ光の一巡の照射は、1フレームと称される場合がある。照射可能領域Raへのレーザ光の照射は、所定の時間間隔で繰り返される。レーザセンサ4は、1フレーム分の複数の計測点情報を含む点群情報Dm1(第1点群情報)を1フレームごとに処理装置5に出力する。レーザセンサ4は、例えば、図4に示されるテーブル形式で点群情報Dm1を処理装置5に出力する。点群情報Dm1は、フレームID(Identifier)をさらに含んでもよい。フレームIDは、フレームを一意に識別可能な識別情報である。フレームIDとして、例えば、フレームの順番を示すフレーム番号が用いられ得る。
処理装置5は、レーザセンサ4によって生成された複数の計測点情報を含む点群情報Dm1を処理することで部分情報Dp1(第1部分情報)を生成する装置である。処理装置5は、例えば、コンピュータ等の情報処理装置によって構成される。
図5に示されるように、処理装置5は、物理的には、1又は複数のプロセッサ101、RAM(Random Access Memory)及びROM(Read Only Memory)等の主記憶装置102、ハードディスク装置等の補助記憶装置103、並びに、データ送受信デバイスである通信装置104等のハードウェアを備えるコンピュータとして構成され得る。処理装置5の図1に示される各機能部は、各機能を実現させるためのプログラムモジュールが処理装置5を構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含むプログラムは、例えば、ROM又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、プログラムは、データ信号としてネットワークを介して提供されてもよい。
処理装置5は、機能的には、取得部51と、記憶部52と、処理部53と、出力部54と、を備えている。
取得部51は、レーザセンサ4から点群情報Dm1を取得する。取得部51は、取得した点群情報Dm1を処理部53に出力する。
記憶部52は、各種設定情報を記憶する。各種設定情報には、検出除外範囲を示す除外情報が含まれる。検出除外範囲は、監視対象外となる範囲である。検出除外範囲は、監視領域Rd外の範囲、及び監視領域Rdのうちの監視不要な範囲を含む。検出除外範囲は、予め設定されている。例えば、入力装置(不図示)を用いて、ユーザが検出除外範囲を設定する。例えば、交差点Cを模擬した3次元空間がディスプレイ等の出力装置(不図示)に表示され、ユーザが枠等によって検出除外範囲を設定する。
例えば、地面以下、及び道路の上空は、監視されなくてもよい。このため、地面以下を除外するために、検出除外範囲の高さとして、地表を基準として所定の高さより低い範囲が設定されてもよい。例えば、z<20cmの範囲が検出除外範囲として設定される。上空を除外するために、検出除外範囲の高さとして、地表を基準として所定の高さより高い範囲が設定されてもよい。例えば、z>500cmの範囲が検出除外範囲として設定される。また、交差点C内及び交差点Cの周囲には、信号機、支柱、電柱、街路樹、及び高架等の固定物(静止物)がある。これらの固定物は、監視不要であるので、これらの固定物を除外するために、検出除外範囲として固定物の範囲が設定されてもよい。固定物の範囲は、xy平面における固定物の境界を示す座標(x,y)として設定されてもよい。
処理部53は、点群情報Dm1を処理することで部分情報Dp1を生成する。具体的には、処理部53は、取得部51から点群情報Dm1を受け取ると、記憶部52から読み出した除外情報によって示される検出除外範囲に含まれる計測点の計測点情報を、点群情報Dm1から除外(削除)する。これにより、監視対象外の計測点が除外されるとともに、ノイズ等に起因する異常な計測点情報が除外される。図6の(a)に示されるように、点群情報Dm1には、地面上の計測点情報が含まれているが、地面は監視不要である。このため、図6の(b)に示されるように、点群情報Dm1から地面上の計測点情報が除去される。
処理部53は、点群情報Dm1をクラスタリングする。ここでは、処理部53は、点群情報Dm1から検出除外範囲に含まれる計測点の計測点情報を除外した残りの計測点情報を、クラスタリングする。処理部53は、公知のアルゴリズムを用いて、クラスタリングを行う。クラスタリングのアルゴリズムとしては、例えば、ユークリッド距離を用いたアルゴリズムが挙げられる。このアルゴリズムでは、2つの計測点間の距離が所定の閾値以下である場合に、これらの2つの計測点が同じクラスタ(塊)に分類される。このようにして、処理部53は、監視領域Rd内の複数の計測点のうち、近傍の計測点同士をつなぎ合わせ、クラスタに分割する。
処理部53は、クラスタリングによって1以上のクラスタが得られた場合には、各クラスタを幾何学形状に近似する。幾何学形状としては、いくつかのパラメータで表現し得る単純な形状が用いられる。処理部53は、公知のアルゴリズムを用いて、幾何学形状への近似を行う。本実施形態では、幾何学形状としてxy平面における長方形が用いられる。図6の(c)に示されるように、処理部53は、クラスタに含まれる複数の計測点をxy平面に射影し、xy平面に射影された複数の計測点を長方形に近似する。処理部53は、例えば、クラスタに含まれる複数の計測点に外接する最小面積の長方形を作成する。この長方形の作成には、例えば、Rotating Calipers法が用いられる。なお、幾何学形状は、クラスタに含まれるすべての計測点を内包してもよく、一部の計測点を内包しなくてもよい。
処理部53は、各クラスタを近似した幾何学形状(長方形)を特定可能なパラメータを算出し、これらのパラメータを含む部分情報Dp1を生成する。図7に示されるように、xy平面での回転を考慮した長方形を特定可能なパラメータの一例としては、横幅W、縦幅L、中心座標(x,y)、及び回転角度θが挙げられる。回転角度θは、xy平面におけるx軸正方向に対する回転角度である。横幅Wは、長方形の回転角度θが0度になるように長方形を回転した場合のy軸方向における長方形の長さである。縦幅Lは、長方形の回転角度θが0度になるように長方形を回転した場合のx軸方向における長方形の長さである。部分情報Dp1は、フレームIDをさらに含んでもよい。処理部53は、フレームIDと、クラスタ数と、各クラスタの幾何学形状を特定可能なパラメータと、を含む部分情報Dp1を生成してもよい。処理部53は、部分情報Dp1を出力部54に出力する。
なお、深夜等には交通量が少ないので、交差点Cに歩行者及び車両等の監視対象の物体が存在しないことがある。このような場合、処理部53は、点群情報Dm1をクラスタリングしても、クラスタを得ることができない。この場合、処理部53は、例えば、クラスタ数が0で、パラメータを含まない部分情報Dp1を生成する。
出力部54は、処理装置5の外部に部分情報Dp1を出力する。具体的には、出力部54は、処理部53から部分情報Dp1を受け取ると、通信回線Nを介して、部分情報Dp1をマスタレーザレーダ装置3に送信する。
このように、処理装置5は、点群情報Dm1をクラスタリングし、クラスタリングによって1以上のクラスタが得られた場合には、1以上のクラスタのそれぞれを近似した幾何学形状を特定可能なパラメータを含む部分情報Dp1を生成し、部分情報Dp1をマスタレーザレーダ装置3に送信する。部分情報Dp1には、計測点情報が含まれていないので、点群情報Dm1のデータ量と比較して部分情報Dp1のデータ量が大幅に削減される。
マスタレーザレーダ装置3は、レーザセンサ6と、処理装置7と、検出装置8と、を備えている。レーザセンサ6は、支持部材Pに固定されている。つまり、レーザセンサ6は、地上に設置されている。レーザセンサ6は、レーザセンサ4と同様に、照射可能領域Rbに向けてレーザ光を照射し、照射したレーザ光の反射光を受光することで、照射可能領域Rb内の各計測点の計測点情報を生成する。照射可能領域Rbは、レーザセンサ6がレーザ光を照射可能な領域であり、例えば150m程度の範囲である。照射可能領域Rbは、監視領域Rdの少なくとも一部を含む。レーザセンサ6においても、レーザセンサ4と同一の座標系CSが用いられる。レーザセンサ6は、1フレーム分の複数の計測点情報を含む点群情報Dm2(第2点群情報)を1フレームごとに処理装置7に出力する。点群情報Dm2は、フレームIDをさらに含んでもよい。
なお、レーザセンサ6の時刻は、レーザセンサ4の時刻と同期している。レーザセンサ4の時刻とレーザセンサ6の時刻との同期は、例えば、NTP(Network Time Protocol)を用いて行われる。このため、レーザセンサ6の1フレームの開始時刻及び終了時刻は、レーザセンサ4の1フレームの開始時刻及び終了時刻と一致している。1フレームの開始時刻は、そのフレームの最初の計測点情報の生成(取得)時刻である。1フレームの終了時刻は、そのフレームの最後の計測点情報の生成(取得)時刻である。
処理装置7は、レーザセンサ6によって生成された複数の計測点情報を含む点群情報Dm2を処理することで部分情報Dp2(第2部分情報)を生成する装置である。処理装置7は、例えば、コンピュータ等の情報処理装置によって構成される。処理装置7の物理的な構成は、処理装置5の物理的な構成と同様である。処理装置7の図1に示される各機能部は、各機能を実現させるためのプログラムモジュールが処理装置7を構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含むプログラムは、例えば、ROM又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、プログラムは、データ信号としてネットワークを介して提供されてもよい。処理装置7は、機能的には、取得部71と、記憶部72と、処理部73と、出力部74と、を備えている。
取得部71は、レーザセンサ6から点群情報Dm2を取得する。取得部71は、取得した点群情報Dm2を処理部73に出力する。
記憶部72は、各種設定情報を記憶する。各種設定情報には、検出除外範囲を示す除外情報が含まれる。検出除外範囲は、予め設定されている。例えばスレーブレーザレーダ装置2と同様に、入力装置を用いて、ユーザが検出除外範囲を設定する。処理装置7に設定されている検出除外範囲は、処理装置5に設定されている検出除外範囲と同一であってもよく、異なっていてもよい。処理装置5及び処理装置7で同じ検出除外範囲を設定する場合には、処理装置7は、処理装置7に設定された検出除外範囲を示す除外情報を処理装置5に送信してもよい。
処理部73は、点群情報Dm2を処理することで部分情報Dp2を生成する。具体的には、処理部73は、取得部71から点群情報Dm2を受け取ると、記憶部72から読み出した除外情報によって示される検出除外範囲に含まれる計測点の計測点情報を点群情報Dm2から除外する。これにより、監視対象外の計測点が除外されるとともに、ノイズ等に起因する異常な計測点情報が除外される。
処理部73は、点群情報Dm2をクラスタリングする。ここでは、処理部73は、点群情報Dm2から検出除外範囲に含まれる計測点の計測点情報を除外した残りの計測点情報を、クラスタリングする。処理部73は、処理部53と同様に、公知のアルゴリズムを用いて、クラスタリングを行う。処理部73は、監視領域Rd内の複数の計測点のうち、近傍の計測点同士をつなぎ合わせ、クラスタに分割する。
処理部73は、クラスタリングによって1以上のクラスタが得られた場合には、各クラスタを幾何学形状に近似する。幾何学形状としては、いくつかのパラメータで表現し得る単純な形状が用いられる。処理部73は、処理部53と同様に、公知のアルゴリズムを用いて、幾何学形状への近似を行う。本実施形態では、処理部73は、クラスタに含まれる複数の計測点をxy平面に射影し、xy平面に射影された複数の計測点を長方形に近似する。処理部73は、各クラスタを近似した幾何学形状(長方形)を特定可能なパラメータを算出し、これらのパラメータを含む部分情報Dp2を生成する。部分情報Dp2は、フレームIDをさらに含んでもよい。処理部73は、フレームIDと、クラスタ数と、各クラスタの幾何学形状を特定可能なパラメータと、を含む部分情報Dp2を生成してもよい。クラスタリングによってクラスタが得られなかった場合には、処理部73は、例えば、クラスタ数が0で、パラメータを含まない部分情報Dp2を生成する。処理部73は、部分情報Dp2を出力部74に出力する。
出力部74は、処理装置7の外部に部分情報Dp2を出力する。具体的には、出力部74は、処理部73から部分情報Dp2を受け取ると、部分情報Dp2を検出装置8に出力する。
このように、処理装置7は、点群情報Dm2をクラスタリングし、クラスタリングによって1以上のクラスタが得られた場合には、1以上のクラスタのそれぞれを近似した幾何学形状を特定可能なパラメータを含む部分情報Dp2を生成し、部分情報Dp2を検出装置8に出力する。部分情報Dp2には、計測点情報が含まれていないので、点群情報Dm2のデータ量と比較して部分情報Dp2のデータ量が大幅に削減される。
検出装置8は、部分情報Dp1及び部分情報Dp2に基づいて、監視領域Rdにおける検出結果を生成する装置である。検出装置8は、例えば、コンピュータ等の情報処理装置によって構成される。検出装置8の物理的な構成は、処理装置5の物理的な構成と同様である。検出装置8の図1に示される各機能部は、各機能を実現させるためのプログラムモジュールが検出装置8を構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含むプログラムは、例えば、ROM又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、プログラムは、データ信号としてネットワークを介して提供されてもよい。なお、処理装置7と検出装置8とが1つの情報処理装置によって構成されてもよい。この場合、処理装置7及び検出装置8の各機能部の機能を実現させるためのプログラムモジュールを含むプログラムが提供されてもよい。
検出装置8は、機能的には、取得部81と、記憶部82と、合成部83と、検出部84と、出力部85と、を備えている。
取得部81は、処理装置5から部分情報Dp1を取得するとともに、処理装置7から部分情報Dp2を取得する。送信遅延等に起因して、同一フレームであっても、取得部81が部分情報Dp1を受信するタイミングと、取得部81が部分情報Dp2を受信するタイミングと、が互いに異なることがある。本実施形態では、部分情報Dp1は通信回線Nを介して送信されるのに対し、部分情報Dp2はマスタレーザレーダ装置3の内部通信線を介して送信されるので、取得部81は、部分情報Dp2を受信した後に、部分情報Dp1を受信する。このため、取得部81は、部分情報Dp2を記憶部82に出力し、記憶部82に記憶する。取得部81は、部分情報Dp1を合成部83に出力する。
記憶部82は、フレームごとに部分情報Dp2を記憶する。記憶部82は、フレームごとに異なるファイルに部分情報Dp2を記憶してもよい。
合成部83は、部分情報Dp1と、部分情報Dp1のフレームと同じフレームの部分情報Dp2とを合成(マージ)することにより、合成情報を生成する。具体的に説明すると、まず、合成部83は、取得部81から部分情報Dp1を受け取ると、記憶部82に記憶されている複数のフレームの部分情報Dp2のうち、部分情報Dp1のフレームIDと同一のフレームIDを含む部分情報Dp2を取得する。
合成部83は、部分情報Dp1と取得した部分情報Dp2とを合成する。より具体的には、合成部83は、部分情報Dp1に含まれるパラメータで特定される1以上の幾何学形状から選択された1つの幾何学形状と、部分情報Dp2に含まれるパラメータで特定される1以上の幾何学形状から選択された1つの幾何学形状と、を比較する。合成部83は、2つの幾何学形状が互いに重なり合う場合には、これら2つの幾何学形状を同一の物体として検出する。
なお、交差点等において停止している車両及びその傍を歩く歩行者のように、2つの物体間の距離が近いことがある。このような場合、これら2つの物体に対応するクラスタの幾何学形状は、部分的に重なり合うことがある。このため、合成部83は、2つの幾何学形状が重なり合う部分の面積が、いずれか一方の幾何学形状の面積の所定割合を超えている場合、2つの幾何学形状が同一物体であると判定してもよい。所定割合は、予め設定されており、例えば、30%程度に設定される。合成部83は、ある幾何学形状が他の幾何学形状と重ならない場合、及び、ある幾何学形状が他の幾何学形状と重なり合う部分の面積が所定割合以下である場合には、その幾何学形状は独立した単一の物体であると判定してもよい。
合成部83は、同一物体と判定した2つの幾何学形状を内包する幾何学形状を作成する。合成部83は、単一の物体と判定した幾何学形状をそのまま維持する。合成部83は、部分情報Dp1に含まれるパラメータで特定される幾何学形状と部分情報Dp2に含まれるパラメータで特定される幾何学形状とのすべての幾何学形状の組み合わせについて比較を行った後、残った幾何学形状のそれぞれを検出物体とする。
図8に示されるように、部分情報Dp1に含まれるパラメータによって、長方形の幾何学形状G11〜G15が特定され、部分情報Dp2に含まれるパラメータによって、長方形の幾何学形状G21〜G24が特定されると仮定する。この場合、幾何学形状G11と幾何学形状G21とは互いに重なり合っており、その重なり合う部分の面積が幾何学形状G11,G21の面積の30%を超えているので、幾何学形状G11と幾何学形状G21とは同一物体と判定される。このため、幾何学形状G11と幾何学形状G21とを内包する幾何学形状G31が作成される。同様に、幾何学形状G12と幾何学形状G22とは同一物体と判定され、幾何学形状G12と幾何学形状G22とを内包する幾何学形状G32が作成される。一方、幾何学形状G13〜G15及び幾何学形状G23,G24はいずれの幾何学形状とも重なっていないので、その形状が維持される。そして、幾何学形状G13〜G15,G23,G24,G31,G32がそれぞれ検出物体として検出される。
なお、部分情報Dp1及び部分情報Dp2のうちの一方にパラメータが含まれていないことがある。この場合、幾何学形状が互いに重なり合うことがないので、合成部83は、部分情報に含まれるパラメータで特定される幾何学形状を検出物体とする。
合成部83は、各検出物体を特定するパラメータを計算する。パラメータとしては、横幅W、縦幅L、中心座標(x,y)、及び回転角度θが挙げられる。中心座標に代えて、検出物体の四隅(前方右端、前方左端、後方右端、及び後方左端)の座標が用いられてもよく、クラスタに含まれる計測点情報の位置の平均が用いられてもよく、検出物体の重心位置が用いられてもよい。合成部83は、各検出物体のパラメータ、及び検出物体を検出した検出時刻を示す検出時刻情報を含む合成情報を生成する。検出時刻は、例えば、当該フレームの開始時刻と終了時刻との中間の時刻である。部分情報Dp1及び部分情報Dp2のいずれにもパラメータが含まれていない場合には、合成部83は、検出物体が検出されなかったことを示す合成情報を生成してもよい。合成部83は、合成情報を検出部84に出力する。
検出部84は、検出物体を追跡する。つまり、検出部84は、異なるフレーム(異なる時刻)において検出された検出物体に対し、物体IDの対応付けを行う。物体IDは、検出物体を一意に識別可能な識別情報である。具体的には、検出部84は、合成部83から合成情報を受け取ると、合成情報に含まれる各検出物体のパラメータ、並びに、過去の観測結果から推定される速度及び角速度等に基づいて、現在のフレームにおいて検出された検出物体が、過去のフレームにおいて検出された検出物体のいずれかと対応しているかを判定する。
検出部84は、現在のフレームにおいて検出された検出物体が、過去のフレームにおいて検出された検出物体のいずれとも対応しないと判定した場合に、新規の検出物体として当該検出物体に新しい物体IDを付与する。検出部84は、現在のフレームにおいて検出された検出物体が、過去のフレームにおいて検出された検出物体と対応すると判定した場合に、対応する検出物体に付与されている物体IDを現在のフレームにおいて検出された検出物体に付与する。検出部84は、物体IDが付与されている検出物体のうち、長時間検出されていない検出物体について、物体IDを削除する。
なお、複数の検出物体を追跡する(ID付けする)問題は、マルチターゲットトラッキング問題と称される。検出部84は、公知のアルゴリズムを用いて、各検出物体を追跡する。公知のアルゴリズムとしては、SNN(Suboptimal Nearest Neighbor)、GNN(Global Nearest Neighbor)、及びJPDAF(Joint Probabilistic Data Association Filter)等が挙げられる。検出部84は、物体ID、物体位置情報、及び検出時刻情報等を、検出結果として出力部85に出力する。検出部84は、合成情報を検出結果として出力部85に出力してもよい。
出力部85は、検出装置8(マスタレーザレーダ装置3)の外部に検出結果を出力する。出力部85は、例えば、不図示の外部装置に検出結果を送信する。外部装置の例としては、上位管理システム、及び交通管制システムが挙げられる。検出結果の送信は、無線通信で行われてもよく、有線通信で行われてもよい。なお、出力部85は、検出結果のデータ形式を外部装置が処理しやすいデータ形式に変換し、変換された検出結果を外部装置に送信してもよい。
次に、スレーブレーザレーダ装置2が行う処理について説明する。図9は、スレーブレーザレーダ装置が行う部分情報生成処理を示すフローチャートである。図10は、図9に示されるデータ量削減処理の詳細を示すフローチャートである。図9に示される部分情報生成処理は、例えば、スレーブレーザレーダ装置2が起動されることによって開始される。
まず、レーザセンサ4が、レーザセンサ4の時刻とレーザセンサ6の時刻とを一致させるために、時刻の同期を行う(ステップS11)。例えば、レーザセンサ4は、NTPを用いて時刻を設定する。
時刻の同期が行われた後、レーザセンサ4は、照射可能領域Raに含まれる複数の計測点にレーザ光を順に照射し、照射したレーザ光の反射光を受光することで、照射可能領域Ra内の各計測点の計測点情報を生成する。なお、レーザセンサ4は、レーザセンサ6がレーザ光の照射を開始するタイミングと同じタイミングで、レーザ光の照射を開始する。このため、レーザセンサ4の各フレームの開始時刻及び終了時刻は、レーザセンサ6の各フレームの開始時刻及び終了時刻と一致する。そして、レーザセンサ4は、1フレーム分の複数の計測点情報を含む点群情報Dm1を処理装置5に出力する。
続いて、取得部51は、レーザセンサ4から点群情報Dm1を取得する(ステップS12)。そして、取得部51は、取得した点群情報Dm1を処理部53に出力する。
続いて、処理部53は、点群情報Dm1のデータ量を削減する(ステップS13)。図10に示されるように、ステップS13では、まず、処理部53は、取得部51から点群情報Dm1を受け取ると、記憶部52から読み出した除外情報によって示される検出除外範囲に含まれる計測点の計測点情報を点群情報Dm1から除外する(ステップS21)。そして、処理部53は、残りの計測点情報をクラスタリングする(ステップS22)。
続いて、処理部53は、クラスタリングによって1以上のクラスタが得られた場合には、各クラスタを幾何学形状に近似する(ステップS23)。そして、処理部53は、各クラスタを近似した幾何学形状を特定可能なパラメータを算出し、クラスタリングによって得られたクラスタ数と、これらのパラメータと、を含む部分情報Dp1を生成する(ステップS24)。なお、クラスタリングによってクラスタが得られなかった場合には、クラスタ数が0を示し、パラメータを含まない部分情報Dp1が生成される。そして、処理部53は、部分情報Dp1を出力部54に出力する。
続いて、出力部54は、処理部53から部分情報Dp1を受け取ると、通信回線Nを介して、部分情報Dp1をマスタレーザレーダ装置3に送信する(ステップS14)。そして、スレーブレーザレーダ装置2は、処理を終了するか否かを判定する(ステップS15)。スレーブレーザレーダ装置2が処理を終了しないと判定した場合(ステップS15;NO)、レーザセンサ4による照射が再び行われ、ステップS12〜ステップS15の処理が行われる。一方、スレーブレーザレーダ装置2が処理を終了すると判定した場合(ステップS15;YES)、スレーブレーザレーダ装置2が行う部分情報生成処理は終了する。なお、スレーブレーザレーダ装置2は、ユーザが監視を停止するための操作を行った場合等に、処理を終了すると判定する。
次に、マスタレーザレーダ装置3が行う処理について説明する。図11は、マスタレーザレーダ装置が行う部分情報生成処理を示すフローチャートである。図11に示される部分情報生成処理は、例えば、マスタレーザレーダ装置3が起動されることによって開始される。
まず、レーザセンサ6が、レーザセンサ4の時刻とレーザセンサ6の時刻とを一致させるために、時刻の同期を行う(ステップS31)。例えば、レーザセンサ6は、NTPを用いて時刻を設定する。
時刻の同期が行われた後、レーザセンサ6は、照射可能領域Rbに含まれる複数の計測点にレーザ光を順に照射し、照射したレーザ光の反射光を受光することで、照射可能領域Rb内の各計測点の計測点情報を生成する。そして、レーザセンサ6は、1フレーム分の複数の計測点情報を含む点群情報Dm2を処理装置7に出力する。
続いて、取得部71は、レーザセンサ6から点群情報Dm2を取得する(ステップS32)。そして、取得部71は、取得した点群情報Dm2を処理部73に出力する。
続いて、処理部73は、点群情報Dm2のデータ量を削減する(ステップS33)。ステップS33の処理は、ステップS13の処理と同様であるので、詳細な説明を省略する。ステップS33において、処理部73は、部分情報Dp2を生成し、部分情報Dp2を出力部54に出力する。
続いて、出力部74は、処理部73から部分情報Dp2を受け取ると、部分情報Dp2を検出装置8に出力する。そして、検出装置8の取得部81は、処理装置7(出力部74)から部分情報Dp2を受け取ると、部分情報Dp2を記憶部82に出力し、記憶部82に記憶する(ステップS34)。
続いて、マスタレーザレーダ装置3は、処理を終了するか否かを判定する(ステップS35)。マスタレーザレーダ装置3が処理を終了しないと判定した場合(ステップS35;NO)、レーザセンサ6による照射が再び行われ、ステップS32〜ステップS35の処理が行われる。一方、マスタレーザレーダ装置3が処理を終了すると判定した場合(ステップS35;YES)、マスタレーザレーダ装置3が行う部分情報生成処理は終了する。なお、マスタレーザレーダ装置3は、ユーザが監視を停止するための操作を行った場合等に、処理を終了すると判定する。
次に、マスタレーザレーダ装置3が行う検出処理について説明する。図12は、マスタレーザレーダ装置が行う検出処理を示すフローチャートである。図12に示される検出処理は、例えば、マスタレーザレーダ装置3が起動されることによって開始される。
まず、取得部81は、通信回線Nを介してスレーブレーザレーダ装置2から部分情報Dp1を受信したか否かを判定する(ステップS41)。取得部81は、部分情報Dp1を受信していないと判定した場合(ステップS41;NO)、部分情報Dp1を受信するまでステップS41の判定を繰り返す。一方、取得部81は、部分情報Dp1を受信したと判定した場合(ステップS41;YES)、受信した部分情報Dp1を合成部83に出力する。
続いて、合成部83は、取得部81から部分情報Dp1を受け取ると、部分情報Dp1と、当該部分情報Dp1と同一フレームの部分情報Dp2とを合成する(ステップS42)。具体的には、まず、合成部83は、記憶部82に記憶されている複数のフレームの部分情報Dp2のうち、部分情報Dp1のフレームIDと同一のフレームIDを含む部分情報Dp2を取得する。そして、合成部83は、部分情報Dp1に含まれるパラメータで特定される1以上の幾何学形状から選択した1つの幾何学形状と、部分情報Dp2に含まれるパラメータで特定される1以上の幾何学形状から選択した1つの幾何学形状と、を比較する。
より具体的には、合成部83は、2つの幾何学形状が同一物体であるか否かを判定する。合成部83は、例えば、2つの幾何学形状が重なり合う部分の面積が、いずれか一方の幾何学形状の面積の所定割合を超えている場合、これら2つの幾何学形状が同一物体であると判定する。合成部83は、2つの幾何学形状が同一物体であると判定した場合、これら2つの幾何学形状を内包する幾何学形状を作成する。一方、合成部83は、2つの幾何学形状が同一物体でないと判定した場合、それぞれの幾何学形状を維持する。合成部83は、2つの幾何学形状のすべての組み合わせについて、上記比較処理を行う。そして、合成部83は、残った幾何学形状のそれぞれを検出物体とし、各検出物体を特定可能なパラメータを計算する。そして、合成部83は、各検出物体のパラメータ、及び検出物体を検出した検出時刻を示す検出時刻情報を含む合成情報を生成する。そして、合成部83は、合成情報を検出部84に出力する。
続いて、検出部84は、合成情報に基づいて、物体を追跡する(ステップS43)。そして、検出部84は、検出結果を出力部85に出力する。続いて、出力部85は、外部装置に検出結果を送信する(ステップS44)。なお、出力部85は、検出結果のデータ形式を外部装置が処理しやすいデータ形式に変換し、変換された検出結果を外部装置に送信してもよい。以上により、マスタレーザレーダ装置3の検出処理が終了する。
以上説明したように、監視システム1では、地上に設置されたレーザセンサ4及びレーザセンサ6を用いて、監視領域Rdが監視される。例えば、監視領域Rdのうち、レーザセンサ4で計測点情報を取得できない範囲を、レーザセンサ6によって補完することができる。これにより、監視領域Rdにおける死角が少なくなるので、検出精度を向上させることができる。
また、レーザセンサ4によって取得(生成)される点群情報Dm1のデータ量及びレーザセンサ6によって取得(生成)される点群情報Dm2のデータ量は、一般に大きいので、スレーブレーザレーダ装置2の設置数が増えるほど、また通信回線Nの通信速度が遅いほど、リアルタイムでの処理が困難となる。これに対して、監視システム1では、処理装置5が、点群情報Dm1をクラスタリングし、クラスタリングによって1以上のクラスタが得られた場合には、1以上のクラスタのそれぞれを近似した幾何学形状を特定可能なパラメータを含む部分情報Dp1を生成する。このため、部分情報Dp1のデータ量は、点群情報Dm1のデータ量よりも小さくなり得る。これにより、処理装置5から検出装置8に点群情報Dm1を送信する場合と比較して、処理装置5から検出装置8に部分情報Dp1を送信するために要する時間を短縮することができる。その結果、検出精度を向上させつつ、検出に要する時間の増加を抑制することが可能となる。
このように、監視システム1では、部分情報Dp1の送信に要する時間が短縮されるので、レーザセンサの数を抑えつつ、広い交差点Cをリアルタイムに監視することが可能となる。また、スレーブレーザレーダ装置2とマスタレーザレーダ装置3との間の通信データ量が削減されるので、通信回線Nの通信速度が遅い(通信帯域が狭い)場合でも、検出に要する時間の増加を抑えることができる。
同様に、処理装置7が、点群情報Dm2をクラスタリングし、クラスタリングによって1以上のクラスタが得られた場合には、1以上のクラスタのそれぞれを近似した幾何学形状を特定可能なパラメータを含む部分情報Dp2を生成する。このため、部分情報Dp2のデータ量は、点群情報Dm2のデータ量よりも小さくなり得る。これにより、処理装置7から検出装置8に点群情報Dm2を送信する場合と比較して、処理装置7から検出装置8に部分情報Dp2を送信するために要する時間を短縮することができる。その結果、検出精度を向上させつつ、検出に要する時間の増加を抑制することが可能となる。
また、スレーブレーザレーダ装置2が点群情報をマスタレーザレーダ装置3に送信する構成では、マスタレーザレーダ装置3(検出装置8)はすべての点群情報をクラスタリングする必要がある。このため、スレーブレーザレーダ装置2の設置数が増えるにつれて、マスタレーザレーダ装置3(検出装置8)の計算負荷が大きくなる。これに対して、監視システム1では、処理装置5,7において物体検出処理が行われているので、検出装置8はクラスタリングを行う必要がない。このため、検出装置8の計算負荷を低減することができる。つまり、スレーブレーザレーダ装置2の設置数が増えたとしても、マスタレーザレーダ装置3(検出装置8)の計算負荷の増加を抑えることができる。
レーザセンサ4とレーザセンサ6とは、互いに同一の物体に対してレーザ光を照射し、同一の物体に対する計測点情報を生成することがある。このため、部分情報Dp1に含まれるパラメータで特定される幾何学形状と、部分情報Dp2に含まれるパラメータで特定される幾何学形状と、が互いに重なり合う場合には、これら2つの幾何学形状は互いに同一の物体である可能性が高い。このような場合に、これら2つの幾何学形状がそれぞれ別の物体として検出されると、誤検出となるおそれがある。このため、これら2つの幾何学形状を同一の物体として検出することで、検出精度をさらに向上させることが可能となる。
処理装置5は、点群情報Dm1から、検出除外範囲に含まれる計測点の計測点情報を除外し、残りの計測点情報をクラスタリングする。このため、クラスタリングの対象となる計測点情報の数を減らすことができるので、処理装置5の計算負荷を低減することが可能となる。同様に、処理装置7は、点群情報Dm2から、検出除外範囲に含まれる計測点の計測点情報を除外し、残りの計測点情報をクラスタリングする。このため、クラスタリングの対象となる計測点情報の数を減らすことができるので、処理装置7の計算負荷を低減することが可能となる。
監視システム1は、レーザセンサ4と、レーザセンサ6と、を備えている。このため、監視システム1内で点群情報Dm1,Dm2が生成されるので、監視システム1の外部から点群情報Dm1,Dm2を取得する必要がない。
以上、本開示の実施形態について説明したが、本開示は上記実施形態に限定されない。
例えば、交差点Cは、T字路でもよい。監視領域Rdの設定場所は、交差点に限られず、2以上の道路が合流する合流地点でもよく、ビル等の施設の出口と道路との合流地点でもよく、道路の途中地点でもよい。監視領域Rdは、一般道に設定されてもよく、高速道路に設定されてもよい。また、監視領域Rdは、踏切、工場、及び作業現場等に設定されてもよい。
スレーブレーザレーダ装置2及びマスタレーザレーダ装置3の配置は、図2及び図3に示された配置に限られない。監視システム1は、2以上のスレーブレーザレーダ装置2を備えてもよい。各スレーブレーザレーダ装置2は、検出装置8を備えていてもよい。例えば、マスタレーザレーダ装置3が故障した場合に、マスタレーザレーダ装置3を停止させ、いずれかのスレーブレーザレーダ装置2がマスタレーザレーダ装置として動作することで、検出処理を継続してもよい。
上記実施形態では、スレーブレーザレーダ装置2及びマスタレーザレーダ装置3はそれぞれ、1つの装置として構成されているが、2以上の装置で構成されてもよい。例えば、処理装置5は、スレーブレーザレーダ装置2とは別体であってもよい。処理装置7及び検出装置8は、マスタレーザレーダ装置3とは別体であってもよい。
また、検出装置8がレーザレーダとしての機能を有しない個別の計算機(情報処理装置)で構成されてもよい。この場合、マスタレーザレーダ装置3に代えてスレーブレーザレーダ装置2が設けられる。
上記実施形態では、スレーブレーザレーダ装置2及びマスタレーザレーダ装置3が、支持部材Pに固定されているが、処理装置5,7及び検出装置8は、支持部材Pに固定されていなくてもよい。
監視システム1(スレーブレーザレーダ装置2)は、レーザセンサ4を備えていなくてもよい。この場合、処理装置5は、外部のレーザセンサ4から点群情報Dm1を取得する。同様に、監視システム1(マスタレーザレーダ装置3)は、レーザセンサ6を備えていなくてもよい。この場合、処理装置7は、外部のレーザセンサ6から点群情報Dm2を取得する。
処理装置5は、レーザセンサ4を備えていてもよい。処理装置7は、レーザセンサ6を備えていてもよい。
レーザセンサ4,6として、全周囲方向にレーザ光を照射できるタイプの3次元レーザレーダが用いられてもよい。
上記実施形態では、レーザセンサ4は、1フレーム分の複数の計測点情報を1フレームごとに処理装置5に出力しているが、複数の計測点情報を1フレーム以外の単位で処理装置5に出力してもよい。レーザセンサ4は、計測点情報を1つずつ順に処理装置5に出力してもよい。同様に、レーザセンサ6は、複数の計測点情報を1フレーム以外の単位で処理装置7に出力してもよい。レーザセンサ6は、計測点情報を1つずつ順に処理装置7に出力してもよい。
上記実施形態では、処理装置5は、1フレーム分の部分情報Dp1を検出装置8に送信しているが、2以上のフレーム分の部分情報Dp1をまとめて検出装置8に送信してもよい。同様に、上記実施形態では、処理装置7は、1フレーム分の部分情報Dp2を検出装置8に送信しているが、2以上のフレーム分の部分情報Dp2をまとめて検出装置8に送信してもよい。
マスタレーザレーダ装置3は、検出結果を用いて、さらなる処理を行ってもよい。例えば、マスタレーザレーダ装置3は、検出結果を用いて交通違反車両の監視を行ってもよい。
例えば、2つの交差点の距離が短い場合、2つの交差点のそれぞれにマスタレーザレーダ装置3が設置され、2つの交差点を結ぶ道路の中間地点に1つのスレーブレーザレーダ装置2が設置されることがある。このとき、1つのスレーブレーザレーダ装置2は、2つの監視システムに属し、各監視システムのマスタレーザレーダ装置3に部分情報Dp1を送信してもよい。この例では、2つの監視システムにおける監視領域Rdは互いに異なっている。
上記実施形態では、処理装置5,7(処理部53,73)は、クラスタを近似する幾何学形状として長方形を用いているが、別の図形を用いてもよい。例えば、処理装置5,7(処理部53,73)は、クラスタを楕円形、及び多角形等に近似してもよい。また、処理装置5,7(処理部53,73)は、クラスタに含まれる各計測点情報をxy平面に射影しているが、3次元の計測点情報を用いて、3次元の幾何学形状(例えば、直方体)に近似してもよい。この場合、幾何学形状を特定可能なパラメータの例としては、横幅W、縦幅L、高さH(z軸方向の長さ)、中心座標(x,y,z)、及びxy平面における回転角度θが挙げられる。
上記実施形態では、処理装置5(処理部53)は、点群情報Dm1から検出除外範囲に含まれる計測点の計測点情報を除外した残りの計測点情報をクラスタリングしているが、点群情報Dm1をクラスタリングしてもよい。同様に、上記実施形態では、処理装置7(処理部73)は、点群情報Dm2から検出除外範囲に含まれる計測点の計測点情報を除外した残りの計測点情報をクラスタリングしているが、点群情報Dm2をクラスタリングしてもよい。