JP2023146690A - 管理システム、地図生成システム、及び３次元地図データ - Google Patents

Abstract

【課題】認識センサを用いた認識処理にとって良好な環境を効率的に確保する。【解決手段】管理システムは、所定エリアの環境を管理する。所定エリアには、周囲の状況を認識する認識センサと、特定位置に存在する認識センサによって認識されるべき認識対象とが存在する。所定エリアの３次元地図データは、特定位置と認識対象との間の空間である特定空間を示す特定空間情報を含む。管理システムは、特定位置に存在する認識センサによる認識結果を示す認識結果情報を取得する。更に、管理システムは、３次元地図データにおける特定空間には含まれない物体が認識結果情報における特定空間に含まれているか否かを判定する。そして、管理システムは、３次元地図データにおける特定空間には含まれないが認識結果情報における特定空間に含まれている物体を除去対象として検知する。【選択図】図７

Description

本開示は、所定エリアの環境を管理するために有用な技術に関する。また、本開示は、所定エリアの３次元地図データ、及びその３次元地図データを生成する技術に関する。

特許文献１は、３次元デジタル地図を作成する方法を開示している。物体配置データ保持手段は、物体の絶対的な配置形態を表す物体配置データを保持する。３次元デジタル地図作成手段は、仮想的な視野を設定し、仮想的な視野に対応する物体配置データを物体配置データ保持手段から検索する。そして、３次元デジタル地図作成手段は、検索された物体配置データにより表される物体を３次元形状にモデリングして３次元デジタル地図を作成する。

特許文献２は、ナビゲーション装置における三次元地図表示方法を開示している。当該方法は、三次元地図に表示すると共に、誘導経路上の交通標識の詳細をズームアップして表示する。

特許文献３は、移動体から撮影された画像に基づき情報を表示する技術を開示している。信号機等の対象物が障害物によって隠されている場合、障害物を透過して対象物が見えるように画像が加工される。

特開２００５－０４４２２４号公報 特開２００３－３３７０４０号公報 特開２０１２－２０８１１１号公報

周囲の状況を認識する認識センサ（例：カメラ）を用いることによって認識対象を認識する認識処理について考える。例えば、自動運転車両は、車載の認識センサを用いて、信号機、標識、横断歩道、等の認識対象を認識する。このような認識処理では、周囲の環境が重要である。例えば、認識対象と認識センサとの間の空間に障害物（例：伸びた枝葉）が存在する場合、認識処理が阻害され、認識対象の認識精度が低下するおそれがある。認識処理にとって良好な環境を確保するためには、そのような障害物を検知し除去（排除）することが必要である。

但し、どの物体が認識処理を実際に阻害している障害物であるかを判断することは、一般的に容易ではない。実際には認識処理に影響を与えていない無関係な物体まで除去（排除）することは非効率的である。認識処理にとって良好な環境をより効率的に確保することが望まれる。

本開示の１つの目的は、認識センサを用いた認識処理にとって良好な環境を効率的に確保することができる技術を提供することにある。

第１の観点は、所定エリアの環境を管理する管理システムに関連する。
管理システムは、
１又は複数のプロセッサと、
所定エリアの３次元地図データを格納する１又は複数の記憶装置と
を備える。
所定エリアには、周囲の状況を認識する認識センサと、特定位置に存在する認識センサによって認識されるべき認識対象とが存在する。
３次元地図データは、特定位置と認識対象との間の空間である特定空間を示す特定空間情報を含む。
１又は複数のプロセッサは、特定位置に存在する認識センサによる認識結果を示す認識結果情報を取得する。
１又は複数のプロセッサは、３次元地図データにおける特定空間には含まれない物体が認識結果情報における特定空間に含まれているか否かを判定する。
１又は複数のプロセッサは、３次元地図データにおける特定空間には含まれないが認識結果情報における特定空間に含まれている物体を除去対象として検知する。

第２の観点は、所定エリアの３次元地図データを生成する地図生成システムに関連する。
地図生成システムは、
１又は複数のプロセッサと、
所定エリアを構成する構成要素毎に属性情報を示すセマンティックモデル情報を格納する１又は複数の記憶装置と
を備える。
所定エリアには、周囲の状況を認識する認識センサと、特定位置に存在する認識センサによって認識されるべき認識対象とが存在する。
１又は複数のプロセッサは、認識対象をセマンティックモデル情報における構成要素の一つとして定義する。
１又は複数のプロセッサは、特定位置をセマンティックモデル情報における構成要素の一つとして定義する。
１又は複数のプロセッサは、認識対象と特定位置に基づいて、特定位置と認識対象との間の空間である特定空間をセマンティックモデル情報における構成要素の一つとして定義する。
１又は複数のプロセッサは、特定空間が定義されたセマンティックモデル情報に基づいて、特定空間を示す特定空間情報を含む３次元地図データを生成する。

第３の観点は、所定エリアの３次元地図データに関連する。
所定エリアには、周囲の状況を認識する認識センサと、特定位置に存在する認識センサによって認識されるべき認識対象とが存在する。
３次元地図データは、特定位置と認識対象との間の空間である特定空間を示す特定空間情報を含むデータ構造を有する。
認識結果情報は、特定位置に存在する認識センサによる認識結果を示す。
３次元地図データは、所定エリアの環境を管理する管理システムによって読み出される。
３次元地図データにおける特定空間には含まれない物体が認識結果情報における特定空間に含まれているか否かが、管理システムによって判定される。
３次元地図データにおける特定空間には含まれないが認識結果情報における特定空間に含まれている物体は、管理システムによって除去対象として検知される。

第１の観点によれば、特定空間を示す特定空間情報を含む３次元地図データが利用される。特定空間は、認識対象とその認識対象を認識すべき特定位置との間の空間として定義されている。そのような特定空間を示す特定空間情報を含む３次元地図データを利用することによって、認識処理を阻害する障害物を除去対象として精度良く検知することが可能となる。その結果、認識処理にとって良好な環境を効率的に確保することが可能となる。すなわち、所定エリアの環境を効率的に管理することが可能となる。

第２の観点によれば、所定エリアのセマンティックモデル情報を利用することによって、特定空間を示す特定空間情報を含む３次元地図データを効率的に生成することが可能となる。その３次元地図データを利用することによって、認識処理にとって良好な環境を効率的に確保することが可能となる。

第３の観点によれば、認識処理を阻害する障害物を除去対象として精度良く検知するために有用な３次元地図データが提供される。その３次元地図データを利用することによって、認識処理にとって良好な環境を効率的に確保することが可能となる。

所定エリアを説明するための概念図である。 認識センサを用いた認識処理の一例を説明するための概念図である。 認識センサを用いた認識処理に関する課題の一例を説明するための概念図である。 本開示の実施の形態に係る認識センサを用いた認識処理及びその課題を説明するための概念図である。 本開示の実施の形態に係る特定空間を説明するための概念図である。 本開示の実施の形態に係る特定周辺空間を説明するための概念図である。 本開示の実施の形態に係る３次元地図データ、地図生成システム、及び管理システムの概要を説明するためのブロック図である。 本開示の実施の形態に係る地図生成システムの構成例を示すブロック図である。 本開示の実施の形態に係る地図生成システムによる地図生成処理の第１の例を示すフローチャートである。 本開示の実施の形態に係る地図生成システムによる地図生成処理の第２の例を示すフローチャートである。 本開示の実施の形態に係る地図生成システムによるセンサ視野チェック処理を説明するための概念図である。 本開示の実施の形態に係る地図生成システムによるセンサ視野チェック処理に関連する処理を示すフローチャートである。 本開示の実施の形態に係る管理システムの構成例を示すブロック図である。 本開示の実施の形態に係る管理システムによる管理処理の第１の例を示すフローチャートである。 本開示の実施の形態に係る管理システムによる管理処理の第２の例を示すフローチャートである。 本開示の実施の形態に係る移動体への情報提供を説明するためのブロック図である。

添付図面を参照して、本開示の実施の形態を説明する。

１．概要
１－１．所定エリア
図１は、所定エリアＡＲを説明するための概念図である。例えば、所定エリアＡＲは、１つの街（例：スマートシティ）である。他の例として、所定エリアＡＲは、施設の敷地であってもよい。更に他の例として、所定エリアＡＲは、建物内のエリアであってもよい。

所定エリアＡＲの中には様々な物体が存在する。典型的には、所定エリアＡＲ内を移動する移動体１（モビリティ）が存在する。移動体１としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、清掃ロボット、プランターロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。

１－２．認識センサを用いた認識処理
移動体１は、周囲の状況を認識する認識機能を少なくとも備えている。より詳細には、移動体１は、周囲の状況を認識する認識センサを備えている。認識センサとしては、カメラ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。移動体１は、認識センサを用いて周囲の状況を認識する認識処理を行う。特に、移動体１は、認識センサを用いて、移動体１の周囲の物体を認識する。移動体１の周囲の物体としては、歩行者、他車両（先行車両、駐車車両、等）、信号機、白線、横断歩道、標識、等が例示される。例えば、カメラによって得られる画像ＩＭＧを解析することによって、物体を識別し、その物体の相対位置を算出することができる。また、ＬＩＤＡＲによって得られる点群情報に基づいて、物体を識別し、その物体の相対位置と相対速度を取得することもできる。

移動体１は、認識センサによる認識結果に基づいて所定の処理を行う。例えば、移動体１は、認識センサによる認識結果に基づいて、自律的に移動する。他の例として、移動体１は、認識センサによる認識結果に基づいて、オペレータによる移動体１の操作を支援してもよい。更に他の例として、移動体１は、認識センサによる認識結果をオペレータに提示してもよい。

図２は、認識センサを用いた認識処理の一例を説明するための概念図である。図２に示される例では、移動体１は、自動運転車両である。自動運転車両には、カメラ等の認識センサが搭載されている。カメラは、自動運転車両の周囲の画像ＩＭＧを取得する。自動運転車両は、カメラにより得られる画像ＩＭＧに基づいて、前方の信号機及びその信号表示（青、黄、赤、等）を認識する。特に、自動運転車両は、信号機の手前の一定範囲において信号機及び信号表示を認識する必要がある。そして、自動運転車両は、信号機及び信号表示の認識結果に基づいて自動運転制御を行う。

但し、図３に示されるように、街路樹の枝葉が伸びてくると、信号機の手前の一定範囲から見たとき、伸びた枝葉によって信号機の少なくとも一部が隠される可能性がある。つまり、信号機を認識すべき位置から信号機の少なくとも一部が見えなくなる可能性がある。このことは、信号機及びその信号表示の認識精度の低下を招く。信号機及び信号表示の認識精度の低下は、自動運転制御の精度の低下の原因となる。信号認識にとって良好な環境を確保するためには、街路樹の伸びた枝葉を剪定する必要がある。

比較例として、所定エリアＡＲ内の街路樹を一律且つ定期的に剪定の対象とすることを考える。しかしながら、その場合、信号認識に全く影響を与えない位置の街路樹の枝葉も不必要に剪定されてしまう可能性がある。また、信号認識に影響を与える可能性のある位置の街路樹であっても、信号認識を阻害する程度まで枝葉がまだ伸びていない場合には、やはり不必要な剪定が行われてしまう。逆に、定期的な剪定時期が到来していないために、信号認識を実際に阻害している枝葉がそのまま放置される可能性もある。このように、所定エリアＡＲ内の街路樹を一律且つ定期的に剪定の対象とする比較例は、“非効率的”である。信号認識にとって良好な環境を効率的に確保するためには、本当に必要な空間の枝葉だけを適切なタイミングで剪定することが必要である。

図４を参照して、認識センサを用いた認識処理及びその課題をより一般化して説明する。所定エリアＡＲ内には、第１物体１０及び第２物体２０が存在する。

第１物体１０は、周囲の状況を認識する認識センサ１５を備えている。認識センサ１５としては、カメラ、ＬＩＤＡＲ、レーダ、等が例示される。例えば、第１物体１０は上述の移動体１であり、認識センサ１５は移動体１に搭載されている。他の例として、第１物体１０は、所定エリア内の状況を監視する監視装置であり、認識センサ１５は監視装置に含まれていてもよい。

第２物体２０は、認識センサ１５によって認識される「認識対象」である。特に、第２物体２０は、所定エリアＡＲ内の特定位置ＰＸに存在する認識センサ１５によって認識されるべき認識対象である。例えば、第２物体２０は、信号機である（図２、図３参照）。信号機はその手前の一定範囲において認識センサ１５によって認識される必要があり、その一定範囲が特定位置ＰＸに相当する。第２物体２０は信号機に限られない。第２物体２０の他の例として、横断歩道、標識、歩行者、等が挙げられる。尚、第２物体２０は、特定位置ＰＸ以外に存在する認識センサ１５によって認識される必要はない。

障害物３０は、認識センサ１５による認識処理を阻害する物体である。つまり、障害物３０は、特定位置ＰＸに存在する認識センサ１５と第２物体２０との間の空間に存在する物体である。障害物３０としては、樹木の枝葉、落下物、飛来物、ごみ、違法駐車車両、等が例示される。

このような障害物３０が存在すると、認識センサ１５を用いた認識処理が阻害され、第２物体２０の認識精度が低下するおそれがある。認識処理にとって良好な環境を確保するためには、障害物３０を検知し除去（排除）することが必要である。但し、どの物体が認識処理を実際に阻害している障害物３０であるかを判断することは、一般的に容易ではない。実際には認識処理に影響を与えていない無関係な物体まで除去（排除）することは非効率的である。認識処理にとって良好な環境をより効率的に確保することが望まれる。

そこで、本実施の形態は、認識センサ１５による認識処理を阻害する障害物３０（すなわち、本当の除去対象）を精度良く検知することができる技術を提案する。本当の除去対象を精度良く検知することによって、認識処理にとって良好な環境をより効率的に確保することが可能となる。

１－３．特定空間
図５は、本実施の形態の一つの特徴を説明するための概念図である。本実施の形態によれば、認識センサ１５による認識処理を阻害する障害物３０精度良く検知するために、「特定空間ＳＸ」という概念が導入される。上述の通り、第２物体２０は、特定位置ＰＸに存在する認識センサ１５によって認識されるべき認識対象である。特定空間ＳＸとは、特定位置ＰＸと第２物体２０（認識対象）との間の空間である。

認識センサ１５によって第２物体２０を精度良く認識するためには、特定空間ＳＸの見通しが良い必要がある。もし、この特定空間ＳＸに物体が存在している場合、その物体は認識センサ１５による認識処理を阻害する障害物３０となる。よって、特定空間ＳＸに含まれている物体が、除去対象である障害物３０として検知される。一方、特定空間ＳＸの外に存在する物体は、認識処理に影響を与えないため、除去する必要はない。すなわち、特定空間ＳＸの外に存在する物体は除去対象として検知されず、特定空間ＳＸに含まれる物体だけが除去対象として検知される。

このように、特定位置ＰＸと第２物体２０（認識対象）との位置関係を考慮して特定空間ＳＸを定義することによって、認識処理を阻害する障害物３０（すなわち、本当の除去対象）を精度良く検知することが可能となる。その結果、認識処理にとって良好な環境を効率的に確保することが可能となる。すなわち、所定エリアＡＲの環境を効率的に管理することが可能となる。

街路樹の枝葉が特定空間ＳＸにはまだ侵入していないが、特定空間ＳＸの近傍まで伸びている状況も考えられる。そのような枝葉を予め「除去対象候補」として検知しておくことも、所定エリアＡＲの環境を管理する観点から有用である。例えば、複数箇所の除去対象候補をどの順番で除去するか予め計画しておくことができる。これにより、認識処理にとって良好な環境を効率的に確保することが可能となる。

図６は、除去対象候補を検知するための「特定周辺空間ＳＹ」を説明するための概念図である。特定周辺空間ＳＹは、特定空間ＳＸの周囲の有限の空間である。例えば、特定周辺空間ＳＹは、特定空間ＳＸの外表面から一定距離以内の空間である。この特定周辺空間ＳＹに含まれる物体が除去対象候補として検知される。除去対象候補は、近い将来に除去対象となり得る。

以上に説明された特定空間ＳＸ及び特定周辺空間ＳＹに関する情報は、３次元地図データとして提供される。

１－４．３次元地図データ、地図生成システム、及び管理システム
図７は、本実施の形態に係る３次元地図データ１００、地図生成システム２００、及び管理システム３００の概要を説明するためのブロック図である。

３次元地図データ１００は、所定エリアＡＲの３次元地図データである。つまり、３次元地図データ１００は、所定エリアＡＲ内の構造物（道路、道路構造物、建物、等）の３次元配置を示す。

３次元地図データ１００は、更に、上述の特定空間ＳＸを示す特定空間情報１１０を含んでいる。特定空間情報１１０は、所定エリアＡＲ内の特定空間ＳＸの位置を示す。また、特定空間情報１１０は、「この特定空間ＳＸに存在する物体は除去対象であること」を示すメタデータを含んでいてもよい。

３次元地図データ１００は、更に、上述の特定周辺空間ＳＹを示す特定周辺空間情報１２０を含んでいてもよい。特定周辺空間情報１２０は、所定エリアＡＲ内の特定周辺空間ＳＹの位置を示す。また、特定周辺空間情報１２０は、「この特定周辺空間ＳＹに存在する物体は除去対象候補であること」を示すメタデータを含んでいてもよい。

地図生成システム２００は、３次元地図データ１００を生成する。特に、地図生成システム２００は、特定空間情報１１０を含む３次元地図データ１００を効率的に生成する。地図生成システム２００は、例えば、クラウド上の管理サーバにより実現される。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。他の例として、地図生成システム２００の少なくとも一部の機能が第１物体１０（移動体１）に含まれていてもよい。地図生成システム２００の詳細は、下記のセクション２において詳しく説明する。

管理システム３００は、所定エリアＡＲの環境を管理する。特に、管理システム３００は、所定エリアＡＲの３次元地図データ１００を利用することによって、所定エリアＡＲの環境を効率的に管理する。管理システム３００は、例えば、クラウド上の管理サーバにより実現される。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。他の例として、管理システム３００の少なくとも一部の機能が、第１物体１０（移動体１）に含まれていてもよい。管理システム３００の詳細は、下記のセクション３において詳しく説明する。

地図生成システム２００と管理システム３００は、別々であってもよいし、少なくとも部分的に共通であってもよい。管理システム３００が地図生成システム２００の機能を備えていてもよい。地図生成システム２００が管理システム３００の機能を備えていてもよい。

以下、本実施の形態に係る地図生成システム２００及び管理システム３００について詳しく説明する。

２．地図生成システム
２－１．構成例
図８は、本実施の形態に係る地図生成システム２００の構成例を示すブロック図である。地図生成システム２００は、ユーザインタフェース２１０、通信装置２２０、１又は複数のプロセッサ２３０（以下、単にプロセッサ２３０と呼ぶ）、及び１又は複数の記憶装置２４０（以下、単に記憶装置２４０と呼ぶ）を含んでいる。

ユーザインタフェース２１０は、ユーザ（管理者）から情報入力を受け付け、また、ユーザに各種情報を提供する。ユーザインタフェース２１０は、入力装置と出力装置を含んでいる。入力装置としては、キーボード、マウス、タッチパネル、等が例示される。出力装置としては、表示装置、タッチパネル、スピーカ、等が例示される。ユーザインタフェース２１０は、ＧＵＩ（Graphical User Interface）であってもよい。

通信装置２２０は、通信ネットワークを介して外部と通信を行う。

プロセッサ２３０は、各種処理を実行する。例えば、プロセッサ２３０は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置２４０は、各種情報を格納する。記憶装置２４０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。

地図生成プログラム２５０は、プロセッサ２３０によって実行されるコンピュータプログラムである。プロセッサ２３０が地図生成プログラム２５０を実行することにより、地図生成システム２００の機能が実現される。地図生成プログラム２５０は、記憶装置２４０に格納される。あるいは、地図生成プログラム２５０は、コンピュータ読み取り可能な記録媒体に記録されてもよい。地図生成プログラム２５０は、ネットワーク経由で提供されてもよい。

セマンティックモデル情報２６０は、所定エリアＡＲの「セマンティックモデル」の情報である。セマンティックモデルは、ＢＩＭ（Building Information Modeling）やＣＩＭ（Construction Information Modeling）といった思想に基づく３Ｄモデルである。但し、セマンティックモデルは、単なる３Ｄモデルではなく、所定エリアＡＲを構成する構成要素（オブジェクト）毎の「属性情報」も含んでいる。構成要素の属性情報としては、構成要素の種類、位置、形状、サイズ、材質、等が例示される。セマンティックモデル情報２６０は、記憶装置２４０に格納される。

プロセッサ２３０は、セマンティックモデル情報２６０を利用することによって、３次元地図データ１００を効率的に生成する。生成された３次元地図データ１００は、記憶装置２４０に格納される。以下、プロセッサ２３０による地図生成処理について説明する。

２－２．地図生成処理
２－２－１．第１の例
図９は、本実施の形態に係る地図生成処理の第１の例を示すフローチャートである。

ステップＳ２１０において、プロセッサ２３０は、認識センサ１５によって認識されるべき認識対象をセマンティックモデル情報２６０における構成要素（オブジェクト）の一つとして定義する。例えば、既存のセマンティックモデル情報２６０に第２物体２０が含まれている場合、ユーザは、ユーザインタフェース２１０を用いて、その第２物体２０を認識対象として指定する。あるいは、ユーザは、ユーザインタフェース２１０を用いて、新たな認識対象とその属性情報を入力してもよい。認識対象に関する属性情報は、認識対象の範囲（位置と形状）を含む。プロセッサ２３０は、ユーザによる指定あるいは入力に従って、認識対象をセマンティックモデル情報２６０における構成要素の一つとして定義する。

また、プロセッサ２３０は、認識対象を認識すべき認識センサ１５の位置、すなわち、特定位置ＰＸをセマンティックモデル情報２６０における構成要素（オブジェクト）の一つとして定義する。例えば、認識対象が信号機である場合、特定位置ＰＸは信号機の手前の一定範囲である。特定位置ＰＸは、認識対象を認識すべき第１物体１０の位置と、第１物体１０における認識センサ１５の設置位置との組み合わせにより算出されてもよい。例えば、ユーザは、ユーザインタフェース２１０を用いて、各認識対象毎に特定位置ＰＸの属性情報を入力する。特定位置ＰＸに関する属性情報は、特定位置ＰＸの範囲（位置と形状）を含む。他の例として、プロセッサ２３０は、各認識対象の種類に基づいて、各認識対象毎に特定位置ＰＸの属性情報を自動的に計算してもよい。このようにして、プロセッサ２３０は、認識対象毎の特定位置ＰＸをセマンティックモデル情報２６０における構成要素の一つとして定義する。

ステップＳ２２０において、プロセッサ２３０は、特定空間ＳＸをセマンティックモデル情報２６０における構成要素（オブジェクト）の一つとして定義する。特定空間ＳＸは、特定位置ＰＸと認識対象との間の空間である。よって、プロセッサ２３０は、セマンティックモデル情報２６０における特定位置ＰＸと認識対象に基づいて、特定空間ＳＸを自動的に計算することができる。そして、プロセッサ２３０は、計算した特定空間ＳＸをセマンティックモデル情報２６０における構成要素の一つとして追加する。特定空間ＳＸに関する属性情報は、特定空間ＳＸの範囲（位置と形状）を含む。特定空間ＳＸに関する属性情報は、「この特定空間ＳＸに存在する物体は除去対象であること」を示すメタデータを含んでいてもよい。

ステップＳ２４０において、プロセッサ２３０は、特定空間ＳＸが定義されたセマンティックモデル情報２６０に基づいて、３次元地図データ１００を生成する。より詳細には、プロセッサ２３０は、特定空間ＳＸが定義されたセマンティックモデル情報２６０に基づいて、特定空間ＳＸを示す特定空間情報１１０を生成する。特定空間情報１１０は、所定エリアＡＲ内の特定空間ＳＸの位置を示す。また、特定空間情報１１０は、「この特定空間ＳＸに存在する物体は除去対象であること」を示すメタデータを含んでいてもよい。プロセッサ２３０は、生成した特定空間情報１１０を既存の３次元地図データ１００に追加してもよい。

このようにして、特定空間ＳＸを示す特定空間情報１１０を含む３次元地図データ１００が生成される。セマンティックモデル情報２６０を利用して特定空間ＳＸを定義することによって、特定空間情報１１０を含む３次元地図データ１００を効率的に生成することが可能である。

２－２－２．第２の例
図１０は、本実施の形態に係る地図生成処理の第２の例を示すフローチャートである。図９で示された第１の例と重複する説明は適宜省略する。ステップＳ２１０及びＳ２２０は、第１の例の場合と同様である。

ステップＳ２３０において、プロセッサ２３０は、特定周辺空間ＳＹをセマンティックモデル情報２６０における構成要素（オブジェクト）の一つとして定義する。特定周辺空間ＳＹは、特定空間ＳＸの周囲の有限の空間である（図６参照）。例えば、特定周辺空間ＳＹは、特定空間ＳＸの外表面から一定距離以内の空間である。プロセッサ２３０は、セマンティックモデル情報２６０における特定空間ＳＸに基づいて、特定周辺空間ＳＹを自動的に計算することができる。あるいは、ユーザが、ユーザインタフェース２１０を用いて、特定周辺空間ＳＹを指定してもよい。そして、プロセッサ２３０は、特定周辺空間ＳＹをセマンティックモデル情報２６０における構成要素の一つとして追加する。特定周辺空間ＳＹに関する属性情報は、特定周辺空間ＳＹの範囲（位置と形状）を含む。特定周辺空間ＳＹに関する属性情報は、「この特定周辺空間ＳＹに存在する物体は除去対象候補であること」を示すメタデータを含んでいてもよい。

ステップＳ２４０Ａにおいて、プロセッサ２３０は、特定空間情報１１０及び特定周辺空間情報１２０を含む３次元地図データ１００を生成する。特定空間情報１１０については、上記の第１の例の場合と同様である。プロセッサ２３０は、特定周辺空間ＳＹが定義されたセマンティックモデル情報２６０に基づいて、特定周辺空間ＳＹを示す特定周辺空間情報１２０を生成する。特定周辺空間情報１２０は、所定エリアＡＲ内の特定周辺空間ＳＹの位置を示す。また、特定周辺空間情報１２０は、「この特定周辺空間ＳＹに存在する物体は除去対象候補であること」を示すメタデータを含んでいてもよい。プロセッサ２３０は、生成した特定周辺空間情報１２０を既存の３次元地図データ１００に追加してもよい。

このようにして、特定空間情報１１０及び特定周辺空間情報１２０を含む３次元地図データ１００が生成される。セマンティックモデル情報２６０を利用して特定空間ＳＸ及び特定周辺空間ＳＹを定義することによって、特定空間情報１１０及び特定周辺空間情報１２０を含む３次元地図データ１００を効率的に生成することが可能である。

２－３．地図更新処理
所定エリアＡＲにおける認識対象（第２物体２０）の配置が変更される場合がある。例えば、信号機が新たに設置される。他の例として、既存の信号機の位置が変更される。所定エリアＡＲにおける認識対象の配置が変更された場合、プロセッサ２３０は、３次元地図データ１００を更新する地図更新処理を実行する。具体的には、プロセッサ２３０は、変更後の認識対象の配置に基づいて、セマンティックモデル情報２６０における認識対象、特定位置ＰＸ、特定空間ＳＸ、及び特定周辺空間ＳＹの定義を更新する。そして、更新されたセマンティックモデル情報２６０に基づいて、３次元地図データ１００を更新する。

このように、セマンティックモデル情報２６０を利用することによって、３次元地図データ１００の更新も容易に可能となる。

２－４．センサ視野チェック処理
図１１は、特定位置ＰＸに存在する認識センサ１５の視野ＦＯＶと特定空間ＳＸの一例を示している。特定空間ＳＸの少なくとも一部が視野ＦＯＶから逸脱している場合、認識対象（第２物体２０）を十分に認識することができず、認識精度が低下する。このような視野不足を予め検知することができれば、認識対象の設置位置を変更したり、認識センサ１５の設計を変更したりすることができる。つまり、所定エリアＡＲの設計を改善することができる。従って、特定位置ＰＸに存在する認識センサ１５の視野ＦＯＶと特定空間ＳＸとを対比することは有用である。この処理を、以下、「センサ視野チェック処理」と呼ぶ。

図１２は、センサ視野チェック処理に関連する処理を示すフローチャートである。ステップＳ２１０及びＳ２２０は、上述の通りである。

ステップＳ２５０において、プロセッサ２３０は、特定位置ＰＸに存在する認識センサ１５の視野ＦＯＶをセマンティックモデル情報２６０における構成要素（オブジェクト）の一つとして定義する。例えば、ユーザは、ユーザインタフェース２１０を用いて、認識センサ１５の設置情報と性能情報を入力する。プロセッサ２３０は、セマンティックモデル情報２６０における特定位置ＰＸ、認識センサ１５の設置情報及び性能情報に基づいて、特定位置ＰＸに存在する認識センサ１５の視野ＦＯＶを算出する。そして、プロセッサ２３０は、算出された視野ＦＯＶをセマンティックモデル情報２６０における構成要素の一つとして定義する。視野ＦＯＶに関する属性情報は、視野ＦＯＶの範囲（位置と形状）を含む。

ステップＳ２６０において、プロセッサ２３０は、セマンティックモデル情報２６０において定義されている特定空間ＳＸと視野ＦＯＶとの比較を行う。特定空間ＳＸの少なくとも一部が視野ＦＯＶから逸脱している場合（ステップＳ２６０；Ｙｅｓ）、処理は、ステップＳ２７０に進む。

ステップＳ２７０において、プロセッサ２３０は、視野不足を示す警告情報を特定空間情報１１０に追加する。プロセッサ２３０は、視野不足を示す警告情報をユーザインタフェース２１０を介してユーザ（管理者）に通知してもよい。ユーザ（管理者）は、認識対象の設置位置を変更したり、認識センサ１５の設計を変更したりすることができる。つまり、ユーザ（管理者）は、所定エリアＡＲの設計を改善することができる。

３．管理システム
３－１．構成例
図１３は、本実施の形態に係る管理システム３００の構成例を示すブロック図である。管理システム３００は、ユーザインタフェース３１０、通信装置３２０、１又は複数のプロセッサ３３０（以下、単にプロセッサ３３０と呼ぶ）、及び１又は複数の記憶装置３４０（以下、単に記憶装置３４０と呼ぶ）を含んでいる。

ユーザインタフェース３１０は、ユーザ（管理者）から情報入力を受け付け、また、ユーザに各種情報を提供する。ユーザインタフェース３１０は、入力装置と出力装置を含んでいる。入力装置としては、キーボード、マウス、タッチパネル、等が例示される。出力装置としては、表示装置、タッチパネル、スピーカ、等が例示される。ユーザインタフェース３１０は、ＧＵＩ（Graphical User Interface）であってもよい。

通信装置３２０は、通信ネットワークを介して外部と通信を行う。

プロセッサ３３０は、各種処理を実行する。例えば、プロセッサ３３０は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置３４０は、各種情報を格納する。記憶装置３４０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。プロセッサ３３０及び記憶装置３４０の少なくとも一部が、第１物体１０（移動体１）に含まれていてもよい。つまり、管理システム３００の少なくとも一部の機能が、第１物体１０（移動体１）に含まれていてもよい。

管理プログラム３５０は、プロセッサ３３０によって実行されるコンピュータプログラムである。プロセッサ３３０が管理プログラム３５０を実行することにより、管理システム３００の機能が実現される。管理プログラム３５０は、記憶装置３４０に格納される。あるいは、管理プログラム３５０は、コンピュータ読み取り可能な記録媒体に記録されてもよい。管理プログラム３５０は、ネットワーク経由で提供されてもよい。

管理情報３６０は、所定エリアＡＲの管理に用いられる情報である。例えば、管理情報３６０は、所定エリアＡＲ内の障害物３０の位置と障害物３０の除去履歴との対応関係を示す「除去履歴データベース」を含んでいる。他の例として、管理情報３６０は、所定エリアＡＲ内の障害物３０の位置と障害物３０の除去スケジュールとの対応関係を示す「除去スケジュールデータベース」を含んでいてもよい。管理情報３６０は、記憶装置３４０に格納される。

認識結果情報３７０は、特定位置ＰＸに存在する認識センサ１５による認識処理の結果を示す情報である。特に、認識結果情報３７０は、特定位置ＰＸに存在する認識センサ１５によって認識される物体の位置を示す。

尚、物体の位置は、絶対座標系における絶対位置であってもよいし、認識センサ１５に対する相対位置であってもよい。認識センサ１５によって、認識センサ１５に対する物体の相対位置を算出することができる。例えば、カメラによって得られる画像ＩＭＧを解析することによって、物体を識別し、その物体の相対位置を算出することができる。また、ＬＩＤＡＲによって得られる点群情報に基づいて、物体を識別し、その物体の相対位置を取得することができる。その一方で、第１物体１０（移動体１）は、自己位置を特定する位置特定機能を備えている。例えば、第１物体１０は、ＧＰＳ（Global Positioning System）センサを備えており、ＧＰＳセンサを用いて自己位置を特定する。第１物体１０は、認識結果と地図情報に基づくローカライズ処理（Localization）により、自己位置を高精度に特定してもよい。第１物体１０における認識センサ１５の設置位置は既知情報である。よって、物体の相対位置と絶対位置との間の変換が可能である。以下の説明においては、物体の相対位置と絶対位置を等価なものとして扱う。特定空間ＳＸについても同様である。

３次元地図データ１００は、上述の地図生成システム２００から提供される。例えば、プロセッサ３３０は、通信装置３２０を介して、地図生成システム２００から３次元地図データ１００を取得する。他の例として、地図生成システム２００の機能が管理システム３００に含まれる場合、プロセッサ３３０は、３次元地図データ１００を生成する。得られた３次元地図データ１００は、記憶装置３４０に格納される。更に、プロセッサ３３０は、３次元地図データ１００を記憶装置３４０から読み出し、以下に説明される「管理処理」を実行する。

３－２．管理処理
３－２－１．第１の例
図１４は、本実施の形態に係る管理処理の第１の例を示すフローチャートである。

ステップＳ３１０において、プロセッサ３３０は、特定位置ＰＸに存在する認識センサ１５による認識処理の結果を示す認識結果情報３７０を取得する。

ステップＳ３２０において、プロセッサ３３０は、３次元地図データ１００を記憶装置３４０から読み出す。３次元地図データ１００は、特定空間ＳＸを示す特定空間情報１１０を含んでいる。プロセッサ３３０は、３次元地図データ１００と認識結果情報３７０とを対比し、３次元地図データ１００における特定空間ＳＸに含まれない物体が認識結果情報３７０における特定空間ＳＸに含まれているか否かを判定する。３次元地図データ１００における特定空間ＳＸに含まれない物体が認識結果情報３７０における特定空間ＳＸに含まれている場合（ステップＳ３２０；Ｙｅｓ）、処理は、ステップＳ３３０に進む。それ以外の場合（ステップＳ３２０：Ｎｏ）、図１４に示される処理は終了する。

ステップＳ３３０において、プロセッサ３３０は、３次元地図データ１００における特定空間ＳＸには含まれないが認識結果情報３７０における特定空間ＳＸに含まれている当該物体を、除去対象（障害物３０）として検知する。

ステップＳ３４０において、プロセッサ３３０は、ユーザインタフェース３１０を介して推奨情報を管理者に通知する。推奨情報は、ステップＳ３３０において検知された除去対象（障害物３０）を除去することを推奨する。推奨情報は、カメラによって得られた画像ＩＭＧを含んでいてもよい。画像ＩＭＧは、認識結果情報３７０に含まれている。推奨情報は、画像ＩＭＧ中の除去対象（障害物３０）を指し示していてもよい。推奨情報は、画像ＩＭＧ中の除去対象（障害物３０）を強調して示していてもよい。推奨情報を見た管理者は、障害物３０を即座に除去することを検討することができる。

ステップＳ３５０において、プロセッサ３３０は、障害物３０を即座に除去するスケジュールを作成してもよい。プロセッサ３３０は、作成したスケジュールに基づいて、管理情報３６０（除去スケジュールデータベース）を更新する。管理者は、除去スケジュールデータベースで示されるスケジュールに従って、障害物３０を除去する。障害物３０の除去が完了すると、プロセッサ３３０は、管理情報３６０（除去履歴データベース）を更新する。

以上に説明されたように、特定空間ＳＸを示す特定空間情報１１０を含む３次元地図データ１００を利用することによって、認識処理を阻害する障害物３０を検知することが可能となる。特に、特定空間ＳＸは、認識対象とその認識対象を認識すべき特定位置ＰＸとの位置関係を考慮して定義されている。従って、認識処理を実際に阻害する障害物３０が除去対象として検知される。逆に、特定空間ＳＸの外に存在し認識処理に影響を与えない物体は、除去対象として検知されない。言い換えれば、特定空間ＳＸの外に存在する物体が除去対象として検知されることが禁止される。これにより、除去対象の誤検知が抑制される。

また、認識センサ１５により得られる実際の認識結果情報３７０と３次元地図データ１００との対比に基づいて障害物３０が検知される。従って、認識処理を阻害する障害物３０を適切なタイミングで検知することが可能となる。このことも、除去対象の誤検知の抑制に寄与する。また、予知が難しい障害物３０（例：飛来物）の発生をほぼリアルタイムで検知することが可能となる。

このように、本実施の形態によれば、認識処理を阻害する障害物３０（すなわち、本当の除去対象）を精度良く検知することが可能となる。その結果、認識処理にとって良好な環境を効率的に確保することが可能となる。すなわち、所定エリアＡＲの環境を効率的に管理することが可能となる。

３－２－２．第２の例
図１５は、本実施の形態に係る管理処理の第２の例を示すフローチャートである。

ステップＳ３１０において、プロセッサ３３０は、特定位置ＰＸに存在する認識センサ１５による認識処理の結果を示す認識結果情報３７０を取得する。

ステップＳ３６０において、プロセッサ３３０は、３次元地図データ１００を記憶装置３４０から読み出す。３次元地図データ１００は、特定周辺空間ＳＹを示す特定周辺空間情報１２０を含んでいる。プロセッサ３３０は、３次元地図データ１００と認識結果情報３７０とを対比し、３次元地図データ１００における特定周辺空間ＳＹに含まれない物体が認識結果情報３７０における特定周辺空間ＳＹに含まれているか否かを判定する。３次元地図データ１００における特定周辺空間ＳＹに含まれない物体が認識結果情報３７０における特定周辺空間ＳＹに含まれている場合（ステップＳ３６０；Ｙｅｓ）、処理は、ステップＳ３７０に進む。それ以外の場合（ステップＳ３６０：Ｎｏ）、図１５に示される処理は終了する。

ステップＳ３７０において、プロセッサ３３０は、３次元地図データ１００における特定周辺空間ＳＹには含まれないが認識結果情報３７０における特定周辺空間ＳＹに含まれている当該物体を、除去対象候補として検知する。除去対象候補は、近い将来に除去対象となり得る。

ステップＳ３８０において、プロセッサ３３０は、ユーザインタフェース３１０を介して注意情報を管理者に通知する。注意情報は、除去対象候補の存在を知らせる。注意情報は、カメラによって得られた画像ＩＭＧを含んでいてもよい。画像ＩＭＧは、認識結果情報３７０に含まれている。注意情報は、画像ＩＭＧ中の除去対象候補を指し示していてもよい。注意情報は、画像ＩＭＧ中の除去対象候補を強調して示していてもよい。注意情報は、除去対象候補を除去するスケジュールの作成を管理者に提案してもよい。注意情報を見た管理者は、除去対象候補を除去するスケジュールを検討することができる。

ステップＳ３９０において、プロセッサ３３０は、除去対象候補を除去するスケジュールを作成してもよい。例えば、プロセッサ３３０は、所定エリアＡＲを複数のゾーンに分割し、ゾーン毎に除去対象候補の数をカウントする。そして、プロセッサ３３０は、除去対象候補がより多いゾーンに対して除去作業がより優先的に実施されるようにスケジュールを作成する。他の例として、プロセッサ３３０は、管理情報３６０（除去履歴データベース）を参照して、前回の除去作業のタイミングを把握する。そして、プロセッサ３３０は、前回の除去作業からの経過時間がより長いゾーンに対して除去作業がより優先的に実施されるようにスケジュールを作成してもよい。プロセッサ３３０は、作成したスケジュールに基づいて、管理情報３６０（除去スケジュールデータベース）を更新する。管理者は、除去スケジュールデータベースで示されるスケジュールに従って、障害物３０を除去する。障害物３０の除去が完了すると、プロセッサ３３０は、管理情報３６０（除去履歴データベース）を更新する。

以上に説明されたように、特定周辺空間ＳＹを示す特定周辺空間情報１２０を含む３次元地図データ１００を利用することによって、除去対象候補を精度良く検知することが可能となる。また、除去対象候補を検知することにより、除去作業のスケジューリングを効率的に行うことが可能となる。よって、認識処理にとって良好な環境を効率的に確保することが可能となる。すなわち、所定エリアＡＲの環境を効率的に管理することが可能となる。

３－２－３．第３の例
図１４で示された第１の例と図１５で示された第２の例の組み合わせも可能である。

４．移動体への情報提供
図１６は、移動体１への情報提供を説明するためのブロック図である。管理システム３００は、移動体１に通知情報ＩＮＦを提供する。例えば、通知情報ＩＮＦは、認識処理を阻害する障害物３０の位置を含む。その障害物３０が除去されるまでの期間、移動体１は、障害物３０を避けるように目標ルートを作成することができる。これにより、移動体１が認識対象を正確に認識できずにスタックすることを未然に防ぐことが可能となる。

１ 移動体
１０ 第１物体
１５ 認識センサ
２０ 第２物体
３０ 障害物
１００ ３次元地図データ
１１０ 特定空間情報
１２０ 特定周辺空間情報
２００ 地図生成システム
２１０ ユーザインタフェース
２２０ 通信装置
２３０ プロセッサ
２４０ 記憶装置
２５０ 地図生成プログラム
２６０ セマンティックモデル情報
３００ 管理システム
３１０ ユーザインタフェース
３２０ 通信装置
３３０ プロセッサ
３４０ 記憶装置
３５０ 管理プログラム
３６０ 管理情報
３７０ 認識結果情報
ＡＲ 所定エリア
ＰＸ 特定位置
ＳＸ 特定空間
ＳＹ 特定周辺空間

Claims (12)

1. 所定エリアの環境を管理する管理システムであって、
   １又は複数のプロセッサと、
   前記所定エリアの３次元地図データを格納する１又は複数の記憶装置と
   を備え、
   前記所定エリアには、周囲の状況を認識する認識センサと、特定位置に存在する前記認識センサによって認識されるべき認識対象とが存在し、
   前記３次元地図データは、前記特定位置と前記認識対象との間の空間である特定空間を示す特定空間情報を含み、
   前記１又は複数のプロセッサは、
   前記特定位置に存在する前記認識センサによる認識結果を示す認識結果情報を取得し、
   前記３次元地図データにおける前記特定空間には含まれない物体が前記認識結果情報における前記特定空間に含まれているか否かを判定し、
   前記３次元地図データにおける前記特定空間には含まれないが前記認識結果情報における前記特定空間に含まれている前記物体を除去対象として検知する
   ように構成されている
   管理システム。
2. 請求項１に記載の管理システムであって、
   前記１又は複数のプロセッサは、更に、前記特定空間の外に存在する物体を前記除去対象として検知することを禁止する
   管理システム。
3. 請求項１又は２に記載の管理システムであって、
   前記１又は複数のプロセッサは、更に、検知された前記除去対象を除去することを推奨する推奨情報を管理者に通知する
   管理システム。
4. 請求項３に記載の管理システムであって、
   前記認識センサは、カメラを含み、
   前記認識結果情報は、前記カメラにより得られる画像を含み、
   前記推奨情報は、前記画像を含む
   管理システム。
5. 請求項１乃至４のいずれか一項に記載の管理システムであって、
   前記３次元地図データは、更に、前記特定空間の周囲の特定周辺空間を示す特定周辺空間情報を含み、
   前記１又は複数のプロセッサは、更に、
   前記３次元地図データにおける前記特定周辺空間には含まれない物体が前記認識結果情報における前記特定周辺空間に含まれているか否かを判定し、
   前記３次元地図データにおける前記特定周辺空間には含まれないが前記認識結果情報における前記特定周辺空間に含まれている前記物体を、除去対象候補として検知する
   ように構成されている
   管理システム。
6. 請求項５に記載の管理システムであって、
   前記１又は複数のプロセッサは、更に、検知された前記除去対象候補を除去するスケジュールを作成する、あるいは、前記スケジュールの作成を管理者に提案する
   管理システム。
7. 請求項１乃至６のいずれか一項に記載の管理システムであって、
   前記１又は複数の記憶装置は、更に、前記所定エリアを構成する構成要素毎に属性情報を示すセマンティックモデル情報を格納し、
   前記１又は複数のプロセッサは、更に、
   前記認識対象を前記セマンティックモデル情報における前記構成要素の一つとして定義し、
   前記特定位置を前記セマンティックモデル情報における前記構成要素の一つとして定義し、
   前記認識対象と前記特定位置に基づいて、前記特定空間を前記セマンティックモデル情報における前記構成要素の一つとして定義し、
   前記特定空間が定義された前記セマンティックモデル情報に基づいて、前記特定空間情報を含む前記３次元地図データを生成する
   ように構成されている
   管理システム。
8. 請求項１乃至７のいずれか一項に記載の管理システムであって、
   前記認識センサは、前記所定エリア内を移動する移動体に搭載されている
   管理システム。
9. 所定エリアの３次元地図データを生成する地図生成システムであって、
   １又は複数のプロセッサと、
   前記所定エリアを構成する構成要素毎に属性情報を示すセマンティックモデル情報を格納する１又は複数の記憶装置と
   を備え、
   前記所定エリアには、周囲の状況を認識する認識センサと、特定位置に存在する前記認識センサによって認識されるべき認識対象とが存在し、
   前記１又は複数のプロセッサは、
   前記認識対象を前記セマンティックモデル情報における前記構成要素の一つとして定義し、
   前記特定位置を前記セマンティックモデル情報における前記構成要素の一つとして定義し、
   前記認識対象と前記特定位置に基づいて、前記特定位置と前記認識対象との間の空間である特定空間を前記セマンティックモデル情報における前記構成要素の一つとして定義し、
   前記特定空間が定義された前記セマンティックモデル情報に基づいて、前記特定空間を示す特定空間情報を含む前記３次元地図データを生成する
   ように構成されている
   地図生成システム。
10. 請求項９に記載の地図生成システムであって、
    前記所定エリアにおける前記認識対象の配置が変更された場合、前記１又は複数のプロセッサは、前記セマンティックモデル情報における前記認識対象、前記特定位置、及び前記特定空間の定義を更新し、それにより前記３次元地図データを更新する
    地図生成システム。
11. 請求項９又は１０に記載の地図生成システムであって、
    前記１又は複数のプロセッサは、更に、
    前記特定位置に存在する前記認識センサの視野を前記セマンティックモデル情報における前記構成要素の一つとして定義し、
    前記特定位置に存在する前記認識センサの前記視野から前記特定空間の少なくとも一部が逸脱している場合、視野不足を示す警告情報を前記特定空間情報に追加する、あるいは、前記警告情報を管理者に通知する
    ように構成されている
    地図生成システム。
12. 所定エリアの３次元地図データであって、
    前記所定エリアには、周囲の状況を認識する認識センサと、特定位置に存在する前記認識センサによって認識されるべき認識対象とが存在し、
    前記３次元地図データは、前記特定位置と前記認識対象との間の空間である特定空間を示す特定空間情報を含むデータ構造を有し、
    認識結果情報は、前記特定位置に存在する前記認識センサによる認識結果を示し、
    前記３次元地図データは、前記所定エリアの環境を管理する管理システムによって読み出され、
    前記３次元地図データにおける前記特定空間には含まれない物体が前記認識結果情報における前記特定空間に含まれているか否かが前記管理システムによって判定され、
    前記３次元地図データにおける前記特定空間には含まれないが前記認識結果情報における前記特定空間に含まれている前記物体は、前記管理システムによって除去対象として検知される
    ３次元地図データ。

Images