JP2023144681A - 移動体制御システム - Google Patents

Abstract

【課題】複数のカメラによって移動する対象物を迅速に検出して対象物を追跡できる移動体制御システムを提供する。【解決手段】各カメラエッジ端末は、制御部と、カメラ部と、他のカメラエッジ端末および移動体と通信する通信部と、を有するものであり、制御部は、撮影エリア内の対象物を検出して、対象物の種類、位置および速度ベクトルについての情報を取得する対象物検出手段と、撮影エリア外へ移動する対象物について、対象物の位置および速度ベクトルの情報から対象物の推定位置の確率分布を求める確率分布算出手段と、対象物の種類および推定位置の確率分布についての情報を他のカメラエッジ端末と共有する情報共有手段と、確率分布において撮影エリア内に対象物が位置する可能性がある場合に、対象物の種類および推定位置の確率分布についての情報から撮影エリア内で検出された移動する物体が対象物であるか否かを判定する追跡手段と、を有する。【選択図】図１

Description

本発明は、自動運転機能を有する車両やドローンなどの移動体を制御するための移動体制御システムに関する。

近年、車両やドローンなどの移動体の自動運転に関する技術開発が進んでおり、実用化されつつある。一般に、このような移動体は、それ自身が種々のカメラやセンサを備えており、それによって周囲の障害物の情報を得ながら、自律的に移動する。

そして、移動体の移動の安全性をより高めるには、移動体の外部に位置するカメラやセンサによって、移動体やその周囲の障害物の情報を得て、それを移動体に伝達することで移動体の自律的な移動を補助する方法がある。たとえば、特許文献１には、自律走行車が走行する対象領域の天井にセンサが設けられたシステムが記載されている。このシステムは、センサにより自律走行車や回避対象物の位置を検出し、これに基づいて車両が走行可能な予定経路を生成して車両に通知するものである。

特開２０２０－１７７３２８号公報

この特許文献１のシステムは、対象領域の全体がセンサの検出範囲となるものである。しかし、移動体の移動範囲が広くなると、その全体をカバーするようにカメラやセンサを設置することは困難となる。その場合、カメラなどは間隔を空けて配置され、カメラなどによる検出が可能な範囲と不可能な範囲が生じる。また、移動体の移動範囲が狭くても、入り組んだ場所や遮蔽物が多い場所であれば、検出が遮られる死角が生じるので、やはりカメラなどによる検出が可能な範囲と不可能な範囲が生じる。よって、あるカメラなどによって検出された移動体などの対象物について、それがそのカメラなどの検出範囲から外れた後、別のカメラなどにより再検出して、対象物を追跡する必要があるが、この対象物の再検出において誤検出や遅延が生じると、移動体が障害物に衝突する危険性が高くなってしまう。

本発明は、このような事情を鑑みたものであり、自動運転機能を有する車両やドローンなどの移動体を制御するためのものであって、複数のカメラを有しており、各カメラによって移動する対象物を迅速に検出して対象物を追跡できる移動体制御システムを提供することを目的とする。

本発明は、複数のカメラエッジ端末を備え、前記カメラエッジ端末が得た移動する対象物に関する情報を、自動運転機能を有する移動体に伝達する移動体制御システムであって、前記の各カメラエッジ端末は、自身を制御する制御部と、所定のエリアを撮影するカメラ部と、他の前記カメラエッジ端末および前記移動体と通信する通信部と、を有するものであり、前記制御部は、前記カメラ部による撮影データに基づいて、撮影エリア内の前記対象物を検出して、前記対象物の種類、位置および速度ベクトルについての情報を取得する対象物検出手段と、前記カメラ部の撮影エリア外へ移動する前記対象物について、前記対象物の位置および速度ベクトルの情報に基づいて、前記対象物の推定位置の確率分布を求める確率分布算出手段と、前記対象物の種類および推定位置の確率分布についての情報を他の前記カメラエッジ端末と共有する情報共有手段と、前記確率分布において前記カメラ部の撮影エリア内に前記対象物が位置する可能性がある場合に、前記対象物の種類および推定位置の確率分布についての情報に基づいて、撮影エリア内で検出された移動する物体が前記対象物であるか否かを判定する追跡手段と、を有するものであることを特徴とする。なお、対象物には、移動体と、移動体以外の障害物の両方を含む。また、通信部は、他のカメラエッジ端末や移動体と直接通信するものであってもよいし、サーバなどの他の機器を介して通信するものであってもよい。さらに、制御部が各手段を有しているが、１つのカメラエッジ端末の制御部の各手段が連続して機能するものに限られず、複数のカメラエッジ端末の制御部の各手段が横断的に連続して機能するものも含まれる。たとえば、あるカメラエッジ端末の制御部の対象物検出手段、確率分布算出手段および情報共有手段が機能した後、別のカメラエッジ端末の制御部の追跡手段が機能する場合などである。

また、本発明は、前記確率分布算出手段が、何れの前記カメラエッジ端末の前記カメラ部の撮影エリア内に前記対象物が現れるかについての第１確率分布を求める第１確率分布算出手段と、前記第１確率分布において最も確率が高いとされた前記カメラエッジ端末の前記カメラ部の撮影エリア内のどの位置に前記対象物が現れるかについての第２確率分布を求める第２確率分布算出手段と、を有するものであってもよい。

また、本発明は、前記追跡手段が、前記対象物の種類についての情報に基づいて、前記物体と前記対象物との一致率を求める一致率取得手段と、前記物体が検出された位置の前記第２確率分布における確率である対象物存在確率を取得する確率取得手段と、前記一致率と前記対象物存在確率がそれぞれ所定値より大きい場合に前記物体が前記対象物であると判定する判定手段と、を有するものであってもよい。なお、物体と対象物との一致率は、形や色に基づいて求められるものであってもよいし、対象物が識別情報を表示するマーカなどを有しておりそれに基づいて求められるものであってもよい。また、一致率と対象物存在確率の所定値については、一組の定められた値である場合に限られず、複数組の定められた値である場合や、１または複数の式で表される場合も含む。

また、本発明は、前記制御部が、前記第１確率分布において最も確率が高いとされた前記カメラエッジ端末の前記カメラ部の撮影エリア内において前記対象物が発見されなかった場合においてその撮影エリア内に前記対象物が存在する場合の事後確率に基づいて、ベイズ推定により前記第１確率分布を更新する第１確率分布更新手段を有するものであってもよい。

また、本発明は、前記制御部が、前記第２確率分布において最も確率が高いとされた位置において前記対象物が発見されなかった場合においてその位置に前記対象物が存在する場合の事後確率に基づいて、ベイズ推定により前記第２確率分布を更新する第２確率分布更新手段を有するものであってもよい。

本発明によれば、対象物の推定位置の確率分布に基づいて物体が対象物であるか否かを判定するものであるから、より対象物の検出の精度が高くなり、誤検出や遅延を抑えられる。そして、そのようにして得られた対象物に関する情報を移動体に伝達することで、移動体は余裕をもって障害物との衝突を回避することができる。よって、移動体の移動範囲が広い場合や、移動体の移動範囲が入り組んだ場所や遮蔽物が多い場所である場合であっても、より安全に移動できる。

また、確率分布算出手段が、何れのカメラエッジ端末のカメラ部の撮影エリア内に対象物が現れるかについての第１確率分布と、第１確率分布において最も確率が高いとされたカメラエッジ端末のカメラ部の撮影エリア内のどの位置に対象物が現れるかについての第２確率分布を求めるものであれば、複数のカメラエッジ端末の中から対象物の検出を試みるべきカメラエッジ端末の決定およびそのカメラエッジ端末の撮影エリア内における対象物の検出を効率的に行うことが可能であり、より対象物の検出の精度が高くなる。

また、追跡手段が物体と対象物との一致率および対象物存在確率に基づいて物体が対象物であると判定するものであれば、２つの指標に基づくことでより対象物の検出の精度が高くなる。

また、第１確率分布や第２確率分布がベイズ推定によって更新されるものであれば、確率分布の信頼性がより高いものとなり、対象物の検出の精度が高くなる。

本発明の移動体制御システムの概念図である。 カメラエッジ端末の模式図である。 制御プログラムのフローチャートである。 第１確率分布の説明図である。 第２確率分布の説明図である。

以下、本発明の移動体制御システムの具体的な内容について説明する。この移動体制御システムは、種々の移動体の制御に用いられるものであるが、ここでは一つの実施形態として自動運転機能を有する車両（以下において単に車両という）を制御する場合を挙げる。車両は、道路を走行することが想定されるものである。また、車両の走行の妨げとなる障害物として、人、動物、自動車、自転車などが想定されるが、ここでは障害物は車両とは別の自動車であるとする。車両は、それ自身が種々のカメラやセンサを備えており、それによって周囲の障害物の情報を得ながら、自律的に移動（自律運転）する。そして、この移動体制御システムは、カメラエッジ端末を備えており、カメラエッジ端末が得た移動する対象物に関する情報を車両に伝達することで、車両の自律運転を補助するものである。対象物には、移動体である車両と、それ以外の障害物の両方を含む。

図１に示すように、この移動体制御システムは、複数のカメラエッジ端末１を備えるものである。車両Ｃや障害物Ｂが走行する道路Ｒの脇には、電柱Ｐが所定の間隔で並んで立てられており、カメラエッジ端末１は、電柱Ｐの上部に取り付けられている。なお、図示の例では、１本の電柱Ｐに１台のカメラエッジ端末１が取り付けられているが、１本の電柱Ｐに高さや向きが異なるようにして複数台のカメラエッジ端末１が取り付けられてもよい。各カメラエッジ端末１の構成は、同じものである。

図２に示すように、カメラエッジ端末１は、自身を制御する制御部２と、所定のエリアを撮影するカメラ部３と、他のカメラエッジ端末１および車両Ｃと通信する通信部４と、を有する。電柱Ｐに、上から順にカメラ部３、制御部２および通信部４が取り付けられており、制御部２に、カメラ部３と通信部４がそれぞれ接続されている。制御部２とカメラ部３の接続および制御部２と通信部４の接続は、有線によるものであっても無線によるものであってもよい。なお、図示の例では、制御部２、カメラ部３および通信部４がそれぞれ独立したかたちになっているが、これらが１つの筐体に納まっているものであってもよい。

制御部２は、カメラエッジ端末１（カメラ部３および通信部４）を制御するための制御プログラムが実行されるＰＬＣなどのハードウェア（コンピュータ）からなり、プログラムの命令を順番に実行するＣＰＵや、プログラムやプログラムの実行に必要なデータおよび処理結果などを保存しておく記憶装置を構成要素とするものであって、制御プログラムがハードウェアを制御部２として機能させるともいえる。

カメラ部３は、制御部２の指令に基づいて撮影を行うものである。撮影した画像は、制御部２の記憶装置に保存される。カメラ部３は、電柱Ｐに対して固定されており、カメラ部３によって撮影可能な撮影エリア（画角）も固定されている。

通信部４は、制御部２の指令に基づいて他のカメラエッジ端末１および車両Ｃと通信するものである。通信部４と他のカメラエッジ端末１の通信部４とは、インターネットによりサーバ４０を介して接続される。また、通信部４と車両Ｃとは、Ｗｉ－Ｆｉにより直接接続される。

続いて、このように構成した本発明の移動体制御システムによって、車両Ｃ（移動体）の制御を行う際の具体的な流れについて説明する。上記のとおり、車両Ｃの制御といっても、基本的には車両Ｃは自律運転するものであり、本システムはそれを補助するものである。そのために、制御部２がカメラエッジ端末１を制御するものであり、制御プログラムにより種々のステップが実行され、制御部２が種々の手段として機能して、カメラエッジ端末１を様々に動作させるものである。言い換えれば、制御部２が種々の手段を有しており、それらの種々の手段によりカメラエッジ端末１を様々に動作させるものである。

まず、図３のフローチャートに示すように、あるカメラエッジ端末１において、制御プログラムにより、対象物検出ステップＳ１が実行されて、制御部２が対象物検出手段として機能する。対象物検出手段は、カメラ部３による撮影データに基づいて、撮影エリア内の対象物を検出して、対象物の種類、位置および速度ベクトルについての情報を取得する。より詳しくは、対象物検出手段は、カメラ部３を起動して撮影エリアの撮影を行わせて、得られた撮影データに基づいて、撮影エリア内の移動する物体を対象物として検出する。すなわち、この最初の時点では、定められた対象物を捜索するのではなく、検出された移動する物体を対象物とするものである。なお、撮影データから移動する物体を検出する手法は公知のものであり、説明を省略する。対象物の種類についての情報とは、基本的にはその形や色の情報である。また、対象物が車両Ｃである場合、車両Ｃに識別情報を表す文字、図形や二次元コードなどからなるマーカを付しておき、撮影データ内のマーカを認識することで、対象物である車両Ｃの種類の情報（個体情報）を取得するものであってもよい。さらに、対象物が車両Ｃ以外の障害物Ｂである場合、その形や色の情報と、予め記憶装置に保存された予想される障害物Ｂの種類ごとの形や色の情報とを照合して、対象物が具体的に何であるかを推定するものであってもよい。そして、対象物検出手段は、検出した対象物がカメラ部３の撮影エリア内を移動している間、その対象物を追跡して位置および速度ベクトルについての最新の情報を取得する。取得された対象物の種類、位置および速度ベクトルについての情報は、制御部２の記憶装置に保存される。

次に、制御プログラムにより、確率分布算出ステップＳ２が実行されて、制御部２が確率分布算出手段として機能する。確率分布算出手段は、対象物検出手段において検出された対象物がカメラ部３の撮影エリア外へ移動する場合において、対象物の位置および速度ベクトルの情報に基づいて、対象物の推定位置の確率分布を求める。より詳しくは、確率分布算出ステップＳ２は、位置推定ステップＳ２１と、第１確率分布算出ステップＳ２２と、第２確率分布算出ステップＳ２３を有する。言い換えれば、確率分布算出手段は、位置推定手段と、第１確率分布算出手段と、第２確率分布算出手段とを有する。

まず、制御プログラムにより、位置推定ステップＳ２１が実行されて、制御部２が位置推定手段として機能する。位置推定手段は、対象物検出手段において取得された対象物の位置および速度ベクトルの履歴、すなわち移動の軌跡から、対象物が撮影エリア外でどのように移動するかを推定する。そして、対象物が撮影エリアから外れたときから所定時間を経過するごとの推定位置（推定軌跡）を求める。対象物の移動の推定方法について、たとえば、対象物が撮影エリア内で直線上を移動していれば、対象エリア外でもそのまま同一直線上を移動する確率が高いと推定され、対象物が撮影エリア内である曲率の円弧上を移動していれば、対象エリア外でもそのまま同一円弧上を移動する確率が高いと推定される。また、対象物が撮影エリア内で等速で移動していれば、撮影エリア外でもそのまま等速で移動する確率が高いと推定され、対象物が撮影エリア内で減速していれば、撮影エリア外でもそのまま減速する確率が高いと推定される。ただし、これらの推定方法はあくまでも例示であり、周囲の環境などの条件に応じて、適宜設定されるものである。さらに、こうした対象物の位置および速度ベクトルの履歴に基づく推定に、対象物の種類に基づく推定を加味してもよい。すなわち、予め記憶装置に保存された、対象物はどのような動き方をする場合が多いのかという対象物の種類ごとの特性についての情報に基づいて、対象物の位置および速度ベクトルの履歴に基づく推定を補正してもよい。求められた推定位置は、制御部２の記憶装置に保存される。

続いて、制御プログラムにより、第１確率分布算出ステップＳ２２が実行されて、制御部２が第１確率分布算出手段として機能する。第１確率分布算出手段は、何れのカメラエッジ端末１のカメラ部３の撮影エリア内に対象物が現れるかについての第１確率分布を求める。すなわち、第１確率分布は、位置推定手段によって求められた対象物の推定位置に基づいて、対象物が到達する可能性がある各カメラエッジ端末１の撮影エリアのそれぞれにおける対象物が現れる確率を求めたものである。具体的には、推定位置に近い撮影エリアの方が、対象物が現れる確率は高くなる。より具体的に、推定位置に対してどのように確率が定められるかについては、周囲の環境などの条件に応じて、適宜設定されるものである。求められた第１確率分布は、制御部２の記憶装置に保存される。

ここで、図４に基づき、第１確率分布算出手段および第１確率分布について具体例を示す。ここでは、４台のカメラエッジ端末（第１カメラエッジ端末１ａ、第２カメラエッジ端末１ｂ、第３カメラエッジ端末１ｃ、第４カメラエッジ端末１ｄ）があり、対象物としての車両Ｃが、第１カメラエッジ端末１ａの撮影エリア内において検出されたものとする。上記のように、位置推定手段は、車両Ｃが第１カメラエッジ端末１ａの撮影エリア外へ移動するときに、車両Ｃの位置や速度ベクトルの情報に基づいて、所定時間を経過するごとの推定位置（推定軌跡）を算出する。ここではその最初の所定時間経過後の時刻（最初に推定位置を求めた時刻）をt=0とする。また、時間の単位は秒であるとし、1秒経過するごとの推定位置（t=0,1,2,3,…の時の推定位置）を算出するものとする。そして、t=0のときの推定位置に基づいて、第１確率分布算出手段が、車両Ｃが各カメラエッジ端末の撮影エリアに現れる確率を求める。ただし、ここでは４台のカメラエッジ端末の撮影エリアの何れかには必ず現れるものとする。よって、各カメラエッジ端末の撮影エリアに現れる確率の合計は１となる。図４に示す例では、車両Ｃは直線上を移動しており、推定位置も同一直線上に位置するものであって、その推定位置と重なる第２カメラエッジ端末１ｂの撮影エリア内に現れる確率が最も高くなる。ここでは、第１カメラエッジ端末１ａの撮影エリア内に現れる確率が0.1、第２カメラエッジ端末１ｂの撮影エリア内に現れる確率が0.45、第３カメラエッジ端末１ｃの撮影エリア内に現れる確率が0.15、第４カメラエッジ端末１ｄの撮影エリア内に現れる確率が0.3となっている。車両ＣがＵターンして戻ってくる可能性もあるので、再び第１カメラエッジ端末１ａの撮影エリア内に現れる確率も0ではない。このようにして、t=0のときの第１確率分布が求められる。

続いて、制御プログラムにより、第２確率分布算出ステップＳ２３が実行されて、制御部２が第２確率分布算出手段として機能する。第２確率分布算出手段は、第１確率分布において最も確率が高いとされたカメラエッジ端末１のカメラ部３の撮影エリア内のどの位置に対象物が現れるかについての第２確率分布を求める。すなわち、第２確率分布は、撮影エリアをマス目状の複数のセルに分割して、位置推定手段によって求められた対象物の推定位置に基づいて、撮影エリア内の各セルのそれぞれにおける対象物が現れる確率を求めたものである。具体的には、推定位置に近いセルの方が、対象物が現れる確率は高くなる。より具体的に、推定位置に対してどのように確率が定められるかについては、周囲の環境などの条件に応じて、適宜設定されるものである。求められた第２確率分布は、制御部２の記憶装置に保存される。

ここで、図５に基づき、第２確率分布算出手段および第２確率分布について具体例を示す。ここでは、上記の第１確率分布の例に引き続くものとし、最も確率が高いとされた第２カメラエッジ端末１ｂのカメラ部３の撮影エリア内のどの位置に車両Ｃが現れるかについての確率が求められる。そのために、当該撮影エリアが、マス目状の１０個のセルに分割されている。そして、t=0のときの推定位置に基づいて、第２確率分布算出手段が、車両Ｃが各セルに現れる確率を求める。ただし、ここでは１０個のセルの何れかには必ず現れるものとする。よって、各セルに現れる確率の合計は１となる。第１確率分布の場合と同様に、推定位置と重なるセルに現れる確率が最も高くなり、ここではそのセルに現れる確率が0.3となっていて、推定位置から離れたセルは確率が低くなっている。このようにして、t=0のときの第２確率分布が求められる。

次に、制御プログラムにより、情報共有ステップＳ３が実行されて、制御部２が情報共有手段として機能する。情報共有手段は、対象物の種類、推定位置およびその確率分布（第１確率分布および第２確率分布）についての情報を、他のカメラエッジ端末１と共有する。そのために、情報共有手段は、通信部４に指令を出して、対象物検出手段および確率分布算出手段において得られた上記の情報を、記憶装置からサーバ４０にアップロードさせる。そして、他のカメラエッジ端末１においても、制御プログラムにより、情報共有ステップＳ３が実行されて、制御部２が情報共有手段として機能する。他のカメラエッジ端末１の情報共有手段は、通信部４に指令を出して、上記の情報をサーバ４０から記憶装置へダウンロードさせる。このようにして、これらの情報がカメラエッジ端末１間で共有される。そして、制御プログラムにおけるこれ以降のステップについては、当初のカメラエッジ端末１ではなく、上記の情報がダウンロードされた他のカメラエッジ端末１において実行される。図３において、一点鎖線で囲まれた部分が当初のカメラエッジ端末１において実行される部分、二点鎖線で囲まれた部分が他のカメラエッジ端末１において実行される部分であることを表す。

次に、制御プログラムにより、追跡ステップＳ４が実行されて、制御部２が追跡手段として機能する。追跡手段は、第１確率分布において最も確率が高いとされたカメラエッジ端末１のカメラ部３の撮影エリア内において、対象物の種類および推定位置の確率分布についての情報に基づいて、撮影エリア内で検出された移動する物体が対象物であるか否かを判定する。より詳しくは、追跡ステップＳ４は、再検出ステップＳ４１と、一致率取得ステップＳ４２と、確率取得ステップＳ４３と、判定ステップＳ４４を有する。言い換えれば、追跡手段は、再検出手段と、一致率取得手段と、確率取得手段と、判定手段とを有する。

まず、制御プログラムにより、再検出ステップＳ４１が実行されて、制御部２が再検出手段として機能する。再検出手段は、カメラ部３を起動して撮影エリアの撮影を行わせて、得られた撮影データに基づいて、撮影エリア内の移動する物体を検出する。そして、再検出手段は、その物体の種類、位置および速度ベクトルについての情報を取得する。物体の種類についての情報とは、基本的にはその形や色の情報である。また、物体に、識別情報を表す文字、図形や二次元コードなどからなるマーカが付されていれば、撮影データ内のマーカを認識してその情報を取得する。取得された物体の種類、位置および速度ベクトルについての情報は、制御部２の記憶装置に保存される。

続いて、再検出手段により移動する物体が検出された場合、制御プログラムにより、一致率取得ステップＳ４２が実行されて、制御部２が一致率取得手段として機能する。一致率取得手段は、対象物の種類についての情報に基づいて、物体と対象物との一致率を求める。すなわち、一致率取得手段は、再検出手段において取得された物体の種類についての情報と、対象物検出手段において取得された対象物の種類についての情報とを比較する。一致率を求める方法はどのようなものであってもよいが、たとえば、形や色に基づく方法として、物体と対象物の撮影データ（画像）を比較して一致する画素の割合を求める方法が挙げられる。その他、形や色に基づく方法として、撮影データから抽出された形や色を比較する方法であってもよい。また、物体や対象物が識別情報を表すマーカを有している場合には、それぞれの撮影データから識別情報を認識して、それを比較する方法であってもよい。求められた一致率は、制御部２の記憶装置に保存される。

続いて、制御プログラムにより、確率取得ステップＳ４３が実行されて、制御部２が確立取得手段として機能する。確率取得手段は、物体が検出された位置（セル）の第２確率分布における確率である対象物存在確率を取得する。取得された対象物存在確率は、制御部２の記憶装置に保存される。

続いて、制御プログラムにより、判定ステップＳ４４が実行されて、制御部２が判定手段として機能する。判定手段は、一致率と対象物存在確率がそれぞれ所定値より大きい場合に物体が対象物であると判定する。一致率が高いほど、物体が対象物である可能性が高くなり、また対象物存在確率が高いほど、物体が対象物である可能性が高くなるものであり、判定手段は、その両方を基準として判定を行う。ただし、一致率と対象物存在確率の所定値については、一組の定められた値や、複数組の定められた値であってもよいし、１または複数の式で表されるものであってもよい。なお、一致率と対象物存在確率の何れか一方の値が非常に大きい場合には、他方の値の大きさによらず、物体が対象物であると判定するものであってもよい。これはすなわち、他方についての所定値を０にするということである。判定の結果は、制御部２の記憶装置に保存される。

次に、判定手段において物体が対象物であると判定された場合、制御プログラムにより、情報伝達ステップＳ５が実行されて、制御部２が情報伝達手段として機能する。情報伝達手段は、通信部４に指令を出して、対象物の種類、位置および速度ベクトルについての情報を車両Ｃに伝達する。車両Ｃは、伝達された情報を自律運転の補助のために用いる。すなわち、対象物が車両Ｃである場合、車両Ｃは自身の位置や速度ベクトルを認識しているが、外部のカメラエッジ端末１により得られた位置や速度ベクトルと照合することで、精度を確認したり、必要に応じて自身の位置や速度ベクトルを補正したりすることができる。また、対象物が障害物Ｂである場合、車両Ｃは自身のカメラやセンサによっても周囲の障害物Ｂの情報を得られるが、自身で発見するよりも早く障害物Ｂの情報を得たり、自身で得た情報と外部からの情報を照合して精度を確認したり必要に応じて補正したりすることができる。以上で、対象物が発見された場合、すなわち、再検出手段において物体が検出され、かつ判定手段において物体が対象物であると判定された場合の制御プログラムの一通りの処理が終了する。

一方、対象物が発見されなかった場合、すなわち、再検出手段において物体が検出されなかった場合、または判定手段において物体が対象物ではないと判定された場合、制御プログラムは異なる処理を行う。なお、上記のとおり、追跡手段は、第１確率分布において最も確率が高いとされたカメラエッジ端末１のカメラ部３の撮影エリア内の全域において対象物を捜索するものであるから、対象物が発見されなかったということは、第１確率分布において最も確率が高いとされたカメラエッジ端末１のカメラ部３の撮影エリア内において対象物が発見されず、かつ第２確率分布において最も確率が高いとされたセル（位置）において対象物が発見されなかったことになる（第二確率分布については、対象となる全てのセルにおいて対象物が発見されなかったので、当然にその中の最も確率が高いとされたセルにおいて対象物が発見されなかったことになる）。この場合、図３に示すように、制御プログラムの処理は追跡ステップＳ４の前に戻る。この際、ベイズ推定によって第１確率分布および第２確率分布が更新されるものであり、まず、ベイズ推定の理論およびこれによる確率分布の更新について説明する。

ある領域に対象物が存在する確率をp、ある領域に対象物が存在するときに捜索すると発見される確率をqとして、各事象および確率を次のように定義する。
事象G：ある領域に対象物が存在する
事象G^C：ある領域に対象物が存在しない
P(G)：ある領域に対象物が存在する確率
・P(G)=p
P(G^C)：ある領域に対象物が存在しない確率
・P(G^C)=1－p
事象F：対象物が発見される
事象F^C：対象物が発見されない
P(F|G)：ある領域に対象物が存在するときに捜索すると発見される確率
・P(F|G)=q
P(F^C|G)：ある領域に対象物が存在するときに捜索しても発見されない確率
・P(F^C|G)=1－q
このとき、ある領域を捜索後、対象物が発見されなかった場合（事象F^C）に、対象物が存在する（事象G）場合の事後確率p’は、ベイズの定理により、次の式（１）で表される。

この事後確率p’に基づいて確率分布を推定する手法がベイズ推定である。

対象物の捜索の対象となる複数の領域があるときに、まず、種々の条件に基づくなどして、各領域に対象物が存在する確率が求められ、それを初期設定の確率分布とよぶ。そして、対象物が存在する確率が最も高い領域を捜索して、対象物が発見されなかった場合、その領域に対象物が存在する確率（事後確率p’）が上記の式（１）により求められる。また、その他の領域に対象物が存在する事後確率については、事後確率p’の残りの確率1－p’を、捜索時の確率（事前確率）で案分して求められる。このようにして、事後確率p’に基づいてベイズ推定により新たな確率分布が得られるものであり、こうして新たな確率分布を得ることを確率分布の更新とよぶ。最初の更新において用いられる事前確率は、初期設定の確率分布ということになる。そして、更新された確率分布に基づいて、同様に対象物が存在する確率が最も高い領域を捜索して、発見されなければ、また確率分布が更新され、それが繰り返される。２回目以降の更新において用いられる事前確率は、その直前に更新された確率分布ということになる。

このような理論に基づいて、以下の処理が行われるものであり、再検出手段において物体が検出されなかった場合または判定手段において物体が対象物ではないと判定された場合、まず、制御プログラムにより、初期設定更新ステップＳ６が実行されて、制御部２が初期設定更新手段として機能する。初期設定更新手段は、第１確率分布および第２確率分布の更新が所定回数以上繰り返された場合に、初期設定の確率分布を更新する。すなわち、上記の理論のとおり、初期設定の確率分布がベイズ推定により逐次更新されて、更新された確率分布に基づいて対象物の捜索が行われるが、何度繰り返しても対象物が発見されない場合には、時間の経過により対象物が初期設定の確率分布のもとになる推定位置からずれていると考えられるので、その時間経過後の推定位置に基づく確率分布を新たに初期設定の確率分布とするものである。具体的には、上記のとおり、位置推定手段がt=0,1,2,3,…の時の推定位置を算出しており、当初の初期設定の確率分布はt=0のときの推定位置に基づくものである。そして、後記のとおり、第１確率分布および第２確率分布は0.1秒ごとに更新されるものである。ここで、初期設定更新手段は、第１確率分布および第２確率分布の更新が１０回繰り返されてt=1となってもなお対象物が発見されないときに、t=1のときの推定位置に基づく第１確率分布および第２確率分布を、それぞれを更新するにあたっての初期設定の確率分布とする。そして以後、対象物が発見されない限り、第１確率分布および第２確率分布の更新が１０回繰り返されるごとに、初期設定の確率分布が、t=2のときの推定位置に基づく確率分布、t=3のときの推定位置に基づく確率分布、・・・と更新されていく。

続いて、制御プログラムにより、第１確率分布更新ステップＳ７が実行されて、制御部２が第１確率分布更新手段として機能する。第１確率分布更新手段は、第１確率分布において最も確率が高いとされたカメラエッジ端末１のカメラ部３の撮影エリア内において対象物が発見されなかった場合においてその撮影エリア内に対象物が存在する場合の事後確率に基づいて、ベイズ推定により第１確率分布を更新する。上記の理論における領域が、ここでは各カメラエッジ端末１のカメラ部３の撮影エリアということになる。また、ある撮影エリアに対象物が存在する確率であるpは、先に第１確率分布算出手段において求められた第１確率分布（初期設定の確率分布）における値である。さらに、ある撮影エリアに対象物が存在するときに捜索すると発見される確率であるqは、各カメラ部３の性能により、予め定められた値である。カメラ部３の性能が高ければ発見される確率qは高くなり、カメラ部３の性能が低ければ発見される確率qは低くなるものであり、各撮影エリアについての確率qが、それぞれ独立して0～1の値をとる。

これらの条件の下で、第１確率分布更新手段は、式（１）により、先に求められた第１確率分布において最も確率が高いとされたカメラエッジ端末１のカメラ部３の撮影エリア内において対象物が発見されなかった場合においてその撮影エリア内に対象物が存在する事後確率p’を求める。また、第１確率分布更新手段は、併せてその他のカメラエッジ端末１についての事後確率も求める。この際、その他のカメラエッジ端末１のカメラ部３の撮影エリア内に対象物が存在する事後確率（その他のカメラエッジ端末１についての事後確率の合計）は、1－p’であり、その他のカメラエッジ端末１についてのそれぞれの事後確率は、先に求められた第１確率分布に応じて案分される。このようにして、ベイズ推定により第１確率分布が更新される。

ここで、図４に基づき、第１確率分布更新手段がベイズ推定により第１確率分布を更新する場合の具体例を示す。ここでは、先の第１確率分布の例に引き続くものとし、最も確率が高いとされた第２カメラエッジ端末１ｂのカメラ部３の撮影エリア内において車両Ｃ（対象物）が発見されなかったものとする。t=0のときの、ある撮影エリアに車両Ｃが存在する確率であるpは、上記のように求められる。ここでは0.1秒が経過するごとに確率分布を更新するものとする。ただし、ここではその0.1秒の間には、対象物は動いていないとみなせるものとする。また、ある撮影エリアに車両Ｃが存在するときに捜索すると発見される確率であるqについては、図４中に示すように、第１カメラエッジ端末１ａの撮影エリアについての確率が0.35、第２カメラエッジ端末１ｂの撮影エリアについての確率が0.25、第３カメラエッジ端末１ｃの撮影エリアについての確率が0.25、第４カメラエッジ端末１ｄの撮影エリアについての確率が0.15となっている。これらの条件の下で、第１確率分布更新手段は、式（１）により、第２カメラエッジ端末１ｂのカメラ部３の撮影エリア内に車両Ｃが存在する事後確率を求める。ここでは式（１）にp=0.45、q=0.25を代入して、事後確率p’=0.3803と求められる。また、第１確率分布更新手段は、併せてその他のカメラエッジ端末１についての事後確率も求める。その他のカメラエッジ端末１について事後確率は、第２カメラエッジ端末１ｂ以外のカメラエッジ端末１のカメラ部３の撮影エリア内に車両Ｃが存在する事後確率（1－p’）を、t=0のときの第１確率分布と同じ比率で案分するかたちになる。たとえば、第１カメラエッジ端末１ａについての事後確率=(1－0.3803)×0.1／(0.1+0.15+0.3)=0.1126と求められる。同様にして、第３カメラエッジ端末１ｃおよび第４カメラエッジ端末についての事後確率も求められる。このようにして、t=0.1のときの第１確率分布が求められ、すなわち第１確率分布が更新される。この例では、t=0.1のときも、第２カメラエッジ端末１ｂのカメラ部３の撮影エリア内において車両Ｃが発見される確率が最も高くなっている。

続いて、制御プログラムにより、第２確率分布更新ステップＳ８が実行されて、制御部２が第２確率分布更新手段として機能する。第２確率分布更新手段は、第２確率分布において最も確率が高いとされたセル（位置）において対象物が発見されなかった場合においてそのセル（位置）に対象物が存在する場合の事後確率に基づいて、ベイズ推定により第２確率分布を更新する。上記の理論における領域が、ここではカメラエッジ端末１のカメラ部３の撮影エリア内のセルということになる。また、あるセルに対象物が存在する確率であるpは、先に第２確率分布算出手段において求められた第２確率分布（初期設定の確率分布）における値である。さらに、あるセルに対象物が存在するときに捜索すると発見される確率であるqは、カメラ部３の性能により、予め定められた値である。カメラ部３の性能が高ければ発見される確率qは高くなり、カメラ部３の性能が低ければ発見される確率qは低くなるものであるが、ここでの各セルは１つのカメラ部３の撮影エリアを分割したものであるから、全てのセルについての確率qが0～1の間の同じ値となる。

これらの条件の下で、第２確率分布更新手段は、式（１）により、先に求められた第２確率分布において最も確率が高いとされたセルにおいて対象物が発見されなかった場合においてそのセルに対象物が存在する事後確率p’を求める。また、第２確率分布更新手段は、併せてその他のセルについての事後確率も求める。この際、その他のセルに対象物が存在する事後確率（その他のセルについての事後確率の合計）は、1－p’であり、その他のセルについてのそれぞれの事後確率は、先に求められた第２確率分布に応じて案分される。このようにして、ベイズ推定により第２確率分布が更新される。

このようにして第１確率分布および第２確率分布が更新されると、以後の制御プログラムの処理は先の場合と同様に進行して、対象物が発見されるまでこれが繰り返される。たとえば、図４に示す例では、t=0.1の場合に続いてt=0.2およびt=0.3の場合の第１確率分布が記載されており、t=0.3のときに対象物が発見されたことを表している。t=0.2およびt=0.3の場合の第２確率分布についても、t=0.1の場合と同様に算出される。t=0およびt=0.1のときは、第２カメラエッジ端末１ｂのカメラ部３の撮影エリア内において車両Ｃ（対象物）が発見される確率が最も高かったが、t=0.2のとき以降は、第４カメラエッジ端末１ｄのカメラ部３の撮影エリア内において車両Ｃが発見される確率が最も高くなっており、その撮影エリアが捜索の対象となっていて、最終的に、t=0.3のときに第４カメラエッジ端末１ｄのカメラ部３の撮影エリア内において車両Ｃが発見されたものである。

そして、ここまで説明してきた制御プログラムの処理は、最初にあるカメラエッジ端末１のカメラ部３の撮影エリア内において対象物が検出され、その対象物がその撮影エリア外に移動した後、再び何れかのカメラエッジ端末１のカメラ部３の撮影エリア内で発見されるまでのものであるが、対象物の移動に伴って、処理を行うカメラエッジ端末１を交代しながら、この一連の流れが繰り返されることになる。そうして、対象物が移動体（車両Ｃ）であれば、移動体が目的地に到達するまでその移動を追跡して、移動体自身にその情報を伝達し、対象物が障害物Ｂであれば、障害物Ｂが移動体から所定距離以上離れるまでその移動を追跡して、移動体にその情報を伝達する。

このように構成した本発明の移動体制御システムの上記の実施形態によれば、対象物の推定位置の確率分布に基づいて物体が対象物であるか否かを判定するものであるから、より対象物の検出の精度が高くなり、誤検出や遅延を抑えられる。そして、そのようにして得られた対象物に関する情報を移動体（車両Ｃ）に伝達することで、移動体は余裕をもって障害物Ｂとの衝突を回避することができる。よって、移動体の移動範囲が広い場合や、移動体の移動範囲が入り組んだ場所や遮蔽物が多い場所である場合であっても、より安全に移動できる。
また、確率分布算出手段が、何れのカメラエッジ端末１のカメラ部３の撮影エリア内に対象物が現れるかについての第１確率分布と、第１確率分布において最も確率が高いとされたカメラエッジ端末１のカメラ部３の撮影エリア内のどの位置に対象物が現れるかについての第２確率分布を求めるものであるから、複数のカメラエッジ端末１の中から対象物の検出を試みるべきカメラエッジ端末１の決定およびそのカメラエッジ端末１の撮影エリア内における対象物の検出を効率的に行うことが可能であり、より対象物の検出の精度が高くなる。
また、追跡手段が物体と対象物との一致率および対象物存在確率に基づいて物体が対象物であると判定するものであるから、２つの指標に基づくことでより対象物の検出の精度が高くなる。
また、第１確率分布や第２確率分布がベイズ推定によって更新されるものであるから、確率分布の信頼性がより高いものとなり、対象物の検出の精度が高くなる。

本発明は、上記の実施形態に限定されない。たとえば、確率分布算出手段が第１確率分布と第２確率分布を算出するものに限られず、何れか一方のみを算出するものであってもよい。
また、追跡手段が物体と対象物との一致率および対象物存在確率に基づいて物体が対象物であると判定するものに限られず、一致率の高さのみに基づいて判定するものであってもよい。
また、第１確率分布および第２確率分布を更新する方法については、ベイズ推定による方法に限られず、その他の公知の方法を用いることもできる。

また、カメラエッジ端末は、電柱以外の種々の場所に設置することができる。また、たとえばドローンにカメラエッジ端末が取り付けられていて、このドローンをホバリングさせて所定のエリアを撮影するものであってもよいし、さらにそのようなドローンが対象物に追従して移動しながら撮影を行うものであってもよい。

また、各カメラエッジ端末の制御部が各手段を有しているが、１つのカメラエッジ端末の制御部の各手段が連続して機能するものであっても、複数のカメラエッジ端末の制御部の各手段が横断的に連続して機能するものであってもよく、どのカメラエッジ端末の制御部がどの手段として機能するかについては、適宜設定できる。
また、個々のカメラエッジ端末が制御部を有するのではなく、クラウド上のサーバが制御部を有しておりこの制御部が各カメラエッジ端末を制御するものであってもよいし、カメラエッジ端末とクラウド上のサーバの両方が制御部を有しておりカメラエッジ端末とサーバとで処理を分担するものであってもよい。

また、通信部は、他のカメラエッジ端末や移動体と、Ｗｉ－Ｆｉなどにより直接接続されるものであってもよいし、インターネットなどのネットワークによりサーバなどの他の機器を介して接続されるものであってもよい。また、カメラエッジ端末と移動体との通信においては、カメラエッジ端末から移動体に対象物の位置や速度ベクトルなどの情報を伝達するだけでなく、逆に移動体からカメラエッジ端末に移動体自身の位置や速度ベクトルなどの情報を伝達して、この情報を確率分布の算出などに用いてもよい。その他、カメラエッジ端末と他のカメラエッジ端末または移動体との間で、上記の実施形態における内容以外に、種々の情報を種々のタイミングで伝達してもよい。

また、確率分布算出手段が最初に確率分布を算出する際には、推定位置を求めてからそれに基づいて確率分布を求めるのではなく、最初から所定の方法に基づいて確率分布を求めるものであってもよい。また、ある領域に対象物が存在するときに捜索すると発見される確率であるqについては、カメラ部の性能に基づいて定めるものの他、カメラ部の撮影エリアの種々の環境条件に基づいて定めるものであってもよい。
また、追跡手段は、第１確率分布において対象物が存在する確率が最も高いとされたカメラエッジ端末のカメラ部の撮影エリアのみを捜索対象とするのではなく、それ以外に対象物が存在する可能性があるとされたカメラエッジ端末のカメラ部の撮影エリアも併せて捜索対象とするものであってもよい。すなわち、この場合には複数のカメラエッジ端末の制御部が同時に追跡手段として機能する。

また、上記の実施形態は、カメラエッジ端末から移動体に対して、対象物の種類、位置および速度ベクトルについての情報のみを伝達するものであるが、カメラエッジ端末が、対象物のそれらの情報に基づいて移動体の経路を算出する経路算出手段を有していて、算出された経路を移動体に伝達するものであってもよい。
また、対象物がドローンや鳥などの飛行するものである場合、その位置や速度ベクトルは３次元の情報として取得される。また、撮影エリアも３次元の空間となり、第２確率分布を求める際には撮影エリアが３次元のセルに分割される。

なお、上記の実施形態は、第１確率分布更新手段および第２確率分布更新手段が確率分布を更新する際の単位時間が微小時間であり、その間に対象物が移動していないとみなせるものであることを前提としている。これに対し、対象物の移動速度がより高速で単位時間の間にも移動している場合、事後確率に基づいてベイズ推定により確率分布を更新しようとしても、そのときにはすでに対象物が移動してしまっているので、そのような方法では求められない。よって、この場合には、事後確率に基づくのではなく、捜索するごとに、対象物の位置および速度ベクトルの情報から求められる対象物の推定位置に基づいて確率分布を求めることになる。

１ カメラエッジ端末
２ 制御部
３ カメラ部
４ 通信部

Claims (5)

1. 複数のカメラエッジ端末を備え、前記カメラエッジ端末が得た移動する対象物に関する情報を、自動運転機能を有する移動体に伝達する移動体制御システムであって、
   前記の各カメラエッジ端末は、自身を制御する制御部と、所定のエリアを撮影するカメラ部と、他の前記カメラエッジ端末および前記移動体と通信する通信部と、を有するものであり、
   前記制御部は、
   前記カメラ部による撮影データに基づいて、撮影エリア内の前記対象物を検出して、前記対象物の種類、位置および速度ベクトルについての情報を取得する対象物検出手段と、
   前記カメラ部の撮影エリア外へ移動する前記対象物について、前記対象物の位置および速度ベクトルの情報に基づいて、前記対象物の推定位置の確率分布を求める確率分布算出手段と、
   前記対象物の種類および推定位置の確率分布についての情報を他の前記カメラエッジ端末と共有する情報共有手段と、
   前記確率分布において前記カメラ部の撮影エリア内に前記対象物が位置する可能性がある場合に、前記対象物の種類および推定位置の確率分布についての情報に基づいて、撮影エリア内で検出された移動する物体が前記対象物であるか否かを判定する追跡手段と、
   を有するものであることを特徴とする移動体制御システム。
2. 前記確率分布算出手段は、
   何れの前記カメラエッジ端末の前記カメラ部の撮影エリア内に前記対象物が現れるかについての第１確率分布を求める第１確率分布算出手段と、
   前記第１確率分布において最も確率が高いとされた前記カメラエッジ端末の前記カメラ部の撮影エリア内のどの位置に前記対象物が現れるかについての第２確率分布を求める第２確率分布算出手段と、
   を有するものであることを特徴とする請求項１記載の移動体制御システム。
3. 前記追跡手段は、
   前記対象物の種類についての情報に基づいて、前記物体と前記対象物との一致率を求める一致率取得手段と、
   前記物体が検出された位置の前記第２確率分布における確率である対象物存在確率を取得する確率取得手段と、
   前記一致率と前記対象物存在確率がそれぞれ所定値より大きい場合に前記物体が前記対象物であると判定する判定手段と、
   を有するものであることを特徴とする請求項２記載の移動体制御システム。
4. 前記制御部は、
   前記第１確率分布において最も確率が高いとされた前記カメラエッジ端末の前記カメラ部の撮影エリア内において前記対象物が発見されなかった場合においてその撮影エリア内に前記対象物が存在する場合の事後確率に基づいて、ベイズ推定により前記第１確率分布を更新する第１確率分布更新手段を有するものであることを特徴とする請求項２または３記載の移動体制御システム。
5. 前記制御部は、
   前記第２確率分布において最も確率が高いとされた位置において前記対象物が発見されなかった場合においてその位置に前記対象物が存在する場合の事後確率に基づいて、ベイズ推定により前記第２確率分布を更新する第２確率分布更新手段を有するものであることを特徴とする請求項２、３または４記載の移動体制御システム。

Images