JP2022047756A - 立体地図データ作成プログラム - Google Patents
立体地図データ作成プログラム Download PDFInfo
- Publication number
- JP2022047756A JP2022047756A JP2020153705A JP2020153705A JP2022047756A JP 2022047756 A JP2022047756 A JP 2022047756A JP 2020153705 A JP2020153705 A JP 2020153705A JP 2020153705 A JP2020153705 A JP 2020153705A JP 2022047756 A JP2022047756 A JP 2022047756A
- Authority
- JP
- Japan
- Prior art keywords
- image
- map data
- type
- dimensional map
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013178 mathematical model Methods 0.000 claims abstract description 28
- 238000012937 correction Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 19
- 238000005259 measurement Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】無人航空機飛行のための立体地図データを作成する。【解決手段】無人航空機飛行のための立体地図データ作成プログラムは、移動体搭載カメラにより撮影された周囲画像と、カメラの撮像方向と、撮影時の移動体の位置座標情報と、移動体の周囲画像に写っている物体までの距離情報とを取得するステップ(S201)と、学習済み数理モデルを用いて、周囲画像に写っている物体の種類と、物体の画像内位置とを判定するステップ(S202)と、移動体の位置座標情報とカメラの撮像方向と距離情報とに基づいて、種類が判定された物体の位置座標を計算し、種類が判定された物体の前記周囲画像内の大きさと距離情報とに基づいて、物体の大きさを計算するステップ(S203)と、種類が判定された物体ごとに、物体の種類と物体の位置座標と物体の大きさとが組み合わされた立体地図データを作成するステップ(S204)とをコンピュータに実行させる。【選択図】図6
Description
本発明は、立体地図データ作成プログラムに関する。
特許文献1に、飛行体が飛行する飛行空間を複数の3次元空間によって表現した3次元地図データが開示されている。この3次元地図データは、前記3次元空間が前記飛行空間において占める位置を特定する位置データと、前記3次元空間毎に割り当てられ、前記飛行体にとっての当該3次元空間の性質を表わす性質データとを備えるとされている。
経済産業省の「空の産業革命に向けたロードマップ2019」によれば、無人航空機(UAV)の有人地帯での目視外飛行(レベル4)が、2022年度から行われることが予定されている。このような無人航空機の飛行を支えるための立体地図が求められている。
本発明は、無人航空機飛行のための立体地図データベースを作成することを目的とする。
上記目的を達成するために、無人航空機飛行のための立体地図データを作成する立体地図データ作成プログラムが提供される。本プログラムは、移動体に搭載されたカメラにより撮影された前記移動体の周囲画像と、前記カメラの撮像方向と、前記撮影時の前記移動体の位置座標情報と、前記移動体の周囲画像に写っている物体と前記移動体との距離情報とを取得する取得ステップと、入力画像と、前記入力画像に写っている物体の種類と、前記入力画像に写っている物体の画像内位置とを教師データとする学習がなされた数理モデルを用いて、前記周囲画像に写っている物体の種類と、前記周囲画像に写っている物体の画像内位置とを判定する判定ステップと、前記移動体の位置座標情報と、前記カメラの撮像方向と、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の位置座標を計算するとともに、前記判定ステップにより種類が判定された物体の、前記周囲画像内の大きさと、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の大きさを計算する計算ステップと、前記判定ステップにより種類が判定された物体ごとに、当該物体の種類と、当該物体の位置座標と、当該物体の大きさとが組み合わされた立体地図データを作成する作成ステップと、作成された立体地図データ群を立体地図データベースとして保存し再利用するステップとをコンピュータに実行させる。
本発明によれば、無人航空機飛行のための立体地図データベースを作成することができる。
以下、本発明を図示の実施の形態に基づいて説明する。ただし、本発明は、以下に説明する実施の形態によって限定されるものではない。
図1及び図2に、無人航空機飛行に用いられる立体地図データベースを作成するためのシステムSを示す。このシステムSは、移動体1とセンター(又は地上局)2とを備えている。システムSにおける、上記立体地図データベースを作成するための移動体1は、無人航空機1aに限られず、車両1bなどの移動可能なものであればよい。
移動体1には、カメラ11と、GNSS受信機12と、慣性計測装置(IMU)13と、LiDAR装置14と、エッジコンピュータ15とが搭載されている。エッジコンピュータ15には、SDカードなどの記録媒体16が接続される。
カメラ11は、移動体1の移動時あるいは停止時に、移動体1の周囲を捉えた動画を取得する。図3に、カメラ11の動画から得られる静止画像IM1を一例として示す。GNSS受信機12は、GPS衛星などのGNSS衛星が発した電磁波を受信する。この電磁波には、移動体1の位置座標を計算するためのデータが含まれている。
慣性計測装置13は、移動体1の、互いに直交する3軸の角速度と、移動体1の加速度とを計測する。LiDAR装置14は、LiDAR(Light Detection and Ranging、またはLaser Imaging Detection and Ranging)と呼ばれる技術を用いて、移動体1の周囲を捉えた画像を取得し、当該画像に写っている対象物と移動体1との距離(深度)を計測する。
カメラ11が捉えた動画と、GNSS受信機12が受信した電磁波のデータと、慣性計測装置13の計測データと、LiDAR装置14の計測データとは、エッジコンピュータ15に送られる。
センター2は、移動体1内のエッジコンピュータ15と通信ネットワークを通じて接続されるサーバ21と、このサーバに接続された最新地図データベース22とを備えている。この最新地図データベース22には、その時点で最新の地図データが保存されている。
図4に示すように、エッジコンピュータ15は、データ取得部151と、物体判定部152と、位置及びサイズ計算部153と、3Dモデラー(エッジコンピュータ15内のモデラー)154とを備えている。
データ取得部151は、カメラ11と、GNSS受信機12と、慣性計測装置13と、LiDAR装置14とから送られてきたデータを取得する。そのほか、データ取得部151は、サーバ21から各種データを取得できるように構成されている。
物体判定部152は、データ取得部151により取得された、静止画像IM1などの、カメラ11が捉えた動画から得られる静止画像に写っている物体と、その物体の当該静止画像内の位置とを判定する。物体判定部152は、この判定を行うために、CNN(畳み込みニューラルネットワーク)などの数理モデルを用いる。この数理モデルを第1数理モデルとも呼ぶ。
この数理モデルの入力は、静止画像IM1などの、カメラ11が捉えた動画から得られる静止画像である。また、この数理モデルの出力は、入力された静止画像に写っている物体の種類と、その物体の当該静止画像内の位置とである。
この数理モデルは、入力された学習用画像と、当該学習用画像に写っている対象物体と、その物体のラベル(物体の種類)及び画像内位置とを教師データとする学習が予めなされている。つまり、学習用画像に指示された物体と、その物体のラベル及び画像内位置とが、当該学習用画像に対するアノテーションである。アノテーションの対象となる物体の例として、建物、歩道橋、電柱、支柱、街路樹、電線、マンホール、郵便ポストが挙げられる。
無人航空機が安全に飛行するために衝突を回避しなければならない物体を、アノテーションの対象とすることができる。学習の流れについては後述する。
無人航空機が安全に飛行するために衝突を回避しなければならない物体を、アノテーションの対象とすることができる。学習の流れについては後述する。
学習がなされた数理モデルを用いて、物体判定部152は、カメラ11が捉えた動画から得られる静止画像に写っている物体の種類と、その物体の当該静止画像内の位置とを判定する。学習用画像のアノテーションとしての物体が、建物、歩道橋、電柱、支柱、街路樹、電線、マンホール、及び郵便ポストの8つであった場合、物体判定部152は、静止画像に写っている物体の種類を、この8つの物体のいずれかとして判定する。
物体判定部152は、種類が判定された各物体について、その形状を特定することができる。物体の種類ごとに、対応する形状がテーブルとして定義されている。このテーブルを、図4の記録媒体16内の幾何形状モデルテーブル163として示す。深度判定より取得する物体の大きさは、このテーブルから導かれる形状をもとに数値を当てはめて定めることができる。このテーブルにおいては、物体の種類と、対応する形状とが、例えば以下のように定められている。
建物: 1以上の立方体の組み合わせ
電柱: 円柱
支柱: 円柱と薄い直方体(板状体)との組み合わせ
街路樹: 円錐
建物: 1以上の立方体の組み合わせ
電柱: 円柱
支柱: 円柱と薄い直方体(板状体)との組み合わせ
街路樹: 円錐
位置及びサイズ計算部153は、データ取得部151により取得されたGNSS電磁波のデータに基づいて、移動体1の位置座標(緯度、経度)を計算する。また、位置及びサイズ計算部153は、データ取得部151により取得された慣性計測装置13の計測データに基づいて、カメラ11の撮像方向を計算する。さらに、位置及びサイズ計算部153は、LiDAR装置14のデータを用いて、物体判定部152により判定された各物体と移動体1との距離を計算する。このようにして得られた移動体1の位置座標(緯度、経度)と、カメラ11の撮像方向と、物体判定部152により判定された各物体と移動体1との距離とを用いて、位置及びサイズ計算部153は、各物体の位置座標(緯度、経度)を計算する。
位置及びサイズ計算部153は、物体判定部152により判定された各物体の実際の大きさも計算する。この計算は、データ取得部151がLiDAR装置14から取得した深度のデータと、当該物体の静止画像内の大きさと、幾何形状モデルテーブル163から導かれる形状とに基づいて行われる。
以上のようにして、位置及び計算部153は、物体判定部152により判定された各物体の位置座標(緯度、経度)及び実際の大きさを計算する。
3Dモデラー154は、物体判定部152の判定結果と、位置及びサイズ計算部153の計算結果とを用いて、立体地図データベース(簡易版の立体地図データベースとも呼ぶ)を作成する。この立体地図データベースは、物体判定部152により判定された物体ごとに作られる立体地図データレコードを有する。各立体地図データレコードは、対応する物体の識別番号と、当該物体の種類と、当該物体の位置座標(緯度、経度)と、当該物体の実際の大きさとを有する。さらに、3Dモデラー154は、作成された簡易版の立体地図データレコードを、簡易版立体地図データベース161として記録媒体16に記録する。
図5に、移動体1内のエッジコンピュータ15により行われる起動処理の流れを示す。ステップS101にて、サーバ21は、移動体1の対象地域(これから移動体1が飛行あるいは走行しようとする地域)の指定をシステムSのユーザから受ける。対象地域データの一例として、「東京都中央区日本橋3丁目の3キロメートル四方」が挙げられる。さらに同ステップにて、データ取得部151は、サーバ21から、移動体1の対象地域データを取得する。
ステップS102において、データ取得部151は、サーバ21を通して、最新地図データベース22内の最新地図データを取得する。当初の最新地図データには、地図会社など、システムSの外部から入手した地形情報及び高精度で測量された座標基準点情報、または、外部から入手した地形情報、ビル情報及び座標情報のみが存在する。地形情報とは、数値標高モデルなどから取得される、丘、谷などの地形に関する情報である。座標基準点情報とは、電柱、マンホールなどの精度の保証された緯度及び経度に関する情報である。ビル情報とは、その建物の緯度及び経度並びにその建物の大きさに関する情報である。
無人航空機1aの自動飛行では通常、飛行の前に航路の設定がセンター2(地上局)でなされる。この地上局のソフトウェア(または管制システムのソフトウェア)は、通常2次元の地図を持っており、その地図上に飛行経路が定義される。無人飛行機1aは、この経路に従って、GNSSで自己の位置座標を把握しながら飛行することになる。あるいは、ステップS102にて読み出された最新地図データに基づいて、飛行経路が定義されてもよい。ステップS102にて取得された最新地図データは、移動体1の移動の際に用いることができる。
後述する処理により、システムS内の移動体1により得られた簡易版の立体地図データから、詳細版の立体地図データが作成される。そして、この詳細版の立体地図データは、最新地図データベース22に追加される。
ステップS103において、データ取得部151は、サーバ21から、物体判定部152が物体判定の際に用いる数理モデルのパラメータを取得する。なお、ステップS102及びステップS103に関して、いずれか一方のステップが行われたのちに他方のステップが行われてもよいし、あるいは、両ステップが同時に行われてもよい。
ステップS104にて、データ取得部151は、ステップS102にて取得された最新地図データと、ステップS103にて取得されたパラメータとを記録媒体16に書き込む。
図6に、移動体1内のエッジコンピュータ15により行われる簡易版立体地図データベースを作成する処理の流れを示す。この作成処理は、図5に示した起動処理に続いて行われる。ステップS201にて、データ取得部151はデータを取得する。具体的には、データ取得部151は、カメラ11による動画から静止画像を取得し、GNSS受信機12から、受信された電磁波のデータを取得する。データ取得部151はさらに、慣性計測装置13による計測データを取得し、LiDAR装置14から、LiDAR技術による計測データを取得する。
ステップS202にて、物体判定部152は、上記数理モデルを用いて、ステップS201にて取得された静止画像に写っている物体の種類と、その物体の画像内位置とを判定する。この判定の詳細は前述したとおりである。
ステップS203にて、位置及びサイズ計算部153は、物体判定部152により判定された各物体の位置座標(緯度、経度)及び実際の大きさを計算する。この計算の詳細は、前述したとおりである。
ステップS204にて、3Dモデラー154は、簡易版の立体地図データを作成する。
なお、サーバ21にて、物体の種類と、静止画像内の当該物体の大きさとから、当該物体と移動体1との距離を推定する距離推定モデル(距離推定AI)が生成される。この距離推定モデルも、畳み込みニューラルネットワークなどの数理モデルである。距離推定モデルの入力は、移動体の周囲画像であり、出力は、その周囲画像に写っている物体の種類と、当該物体の画像内位置と、当該物体までの距離とである。LiDAR装置14が搭載されていない移動体においては、この距離推定モデルを用いて距離が推定される。詳細は後述する。なお、距離推定モデルを第2数理モデルとも呼ぶ。
ステップS205にて、3Dモデラー154は、簡易版立体地図データを簡易版立体地図データベース161として記録媒体16に記録する。この配置後のデータは、ドローンの衝突回避の他、サーバ21において距離推定モデル(距離推定AI)のパラメータ算出に使用される。同ステップにてさらに、データ取得部151は、カメラ11による動画データを動画データベース162として記録媒体16に記録する。
ステップS206にて、3Dモデラー154は、簡易版立体地図データベースをサーバ21に送るとともに、データ取得部151は、動画データベースをサーバ21に送る。なお、このステップS205は必須というわけではない。例えば、移動体1とセンター2との通信ネットワークの容量が限られている場合には、ステップS206を行わないとすることができる。
ステップS205及びステップS206に関して、いずれか一方のステップが行われたのちに他方のステップが行われてもよいし、あるいは、両ステップが同時に行われてもよい。
図7に、画像IM2を示す。この画像は、分かりやすさのために、地図内に立方体や円錐等で近似されたオブジェクト(すなわち簡易モデル)が配置された後の様子を示している。この画像IM2は、ビューアにより、評価者の位置、視線方向、投射盤の距離に応じて、通常の透視変換を経て表示装置に描画することができる。
なお、画像IM2内の破線で囲まれた領域は、無人航空機の主な飛行空間にあたる地上5メートルから地上150メートルまでの空間を示す。
図8に、サーバ21の機能構成例を示す。サーバ21は、データ取得部211と、第1補正処理部212と、第2補正処理部213と、パラメータ計算部214とを備えている。サーバ21には、図1に示したように最新地図データベース22が接続されるほか、主要構造物データベース23と、簡易版立体地図データベース161と、動画データベース162とが接続される。簡易版立体地図データベース161及び動画データベース162は、図6のステップS206にて移動体1からサーバ21に送られたものか、あるいは、同図のステップS205における記録完了後の記録媒体16から取得されるものである。
主要構造物データベース23には、緯度及び経度が既に測定され座標として確定されている主要構造物の位置座標及び大きさが保存されている。主要構造物の例として、既存のビル、三角点、マンホール及び電柱が挙げられる。
図9に、サーバ21により行われる詳細版立体地図データベースの作成処理の流れを示す。ステップS301にて、データ取得部211は、主要構造物データベース23内のレコードと、簡易版立体地図データベース161内のレコードと、動画データベース162内の動画データとを読み出す。
ステップS302にて、第1補正処理部212は、ステップS301にて読み出された簡易版立体地図データベース161に、主要構造物データベース23に保存されている(基準点しての)構造物と同じ構造物に関するレコードがあるかどうかを判断する。この判断結果が肯定的なものである場合は、次にステップS311が行われ、さもなければステップS321が行われる。
ステップS311にて、第1補正処理部212は、ステップS302にて発見された簡易版立体地図データベース161内のレコードの位置座標情報(緯度、経度)を、主要構造物データベース23内の対応する位置座標情報(緯度、経度)に書き替える。この書替え処理が第1の補正処理である。同ステップにてさらに、第1補正処理部212は、第1補正処理後のレコードを最新地図データベース22に書き込む。
ステップS312にて、第1補正処理部212は、ステップS311にて補正処理を行ったという履歴を所定のログファイルに書き込む。このログファイルは、例えば、サーバ21内の記憶装置に記憶することができる。ステップS312の後、処理は終了する。
通常、主要構造物データベース23内の位置座標情報は国土交通省で測定され規定された基準点またはその基準点から実測定された精度の高い座標である、これらの高精度座標をここでは確定座標と呼ぶ。これに対し簡易版立体地図データベース161内の位置座標情報は、GNSS衛星が発した電磁波のデータに基づいているため精度について保証されているものではない。そのため、ステップS311にて、簡易版立体地図データベース161内の位置座標情報を、主要構造物データベース23内の座標に置き換える補正処理を行う。
ところが、主要構造物データベース23内の位置座標情報が、簡易版立体地図データベース161内の位置座標情報に比べ、誤差が大きい場合も考えられる。例えば、災害発生前に主要構造物データベース23のデータが取得され、災害発生後に簡易版立体地図データベースのレコードが作成された場合である。このような場合に備え、ステップS312にて作成された座標修正の事実を記録したログファイルを用いて、ステップS311による補正処理が果たして妥当だったのかどうかを事後的に検証することができる。
ステップS321において、第2補正処理部213は、簡易版立体地図データベース161内の物体のうち主要構造物ではない物体についての三角測量が可能かどうかを判断する。第2補正処理部213は、主要構造物ではない物体についての三角測量を行うために必要な少なくとも2つの主要構造物が、当該物体が写っている画像に写っていれば、測量可能と判断し、さもなければ測量不可能と判断する。測量可能と判断されれば次にステップS322が行われ、測量不可能と判断されればステップS331が行われる。
ステップS322にて、第2補正処理部213は、主要構造物ではない物体と上記少なくとも2つの主要構造物とが写っている画像から、当該物体についての三角測量を行い、当該物体についての位置座標を取得する。確定座標2点から三角測量演算されたこの位置座標は、確定座標と認識される。
ステップS323にて、第2補正処理部213は、主要構造物ではない物体の簡易版立体地図データベース161内の座標情報を、ステップS322にて取得された座標に書き替えると同時にこの対象物体を主要構造物として新たな確定座標とともに主要構造物データベースに格納する。この作業により主要構造物は漸次増殖して行き、主要構造物データベースの増殖にしたがって立体地図の精度が向上してゆく。この書替え処理を第2の補正処理とも呼ぶ。その後、処理は終了する。
ステップS331にて、第2補正処理部213は、主要構造物ではない物体についての未補正の座標情報を、確定座標ではなく算定座標として、最新地図データベース22に書き込む。その後、処理は終了する。
ステップS302にて主要構造物と判断された、簡易版立体地図データベース161内の各レコードについて、ステップS311及びステップS312を行うことができる。また、ステップS302にて主要構造物ではないと判断された、簡易版立体地図データベース161内の各レコードについて、ステップS321及びそれ以降の各ステップを行うことができる。
このように、位置座標データについては、GNSS衛星による位置座標情報、あるいはRTK(Real Time Kinematics、リアルタイム位置情報取得装置)による精度の高い位置計算、に加え、地上の基準点として確定座標を持つ建造物、電柱、マンホールなどにより位置精度の調整が行われ、サーバ上の地図データの精度が向上する。
地上基準点としての建造物、電柱、マンホールなどについてはあらかじめ測量をして、既知データとして形状と確定座標のセットを基準点データテーブル(主要構造物データベース)として格納しておくか、基準点の情報(当該基準点の識別子及び確定座標)を、当該基準点から電波等で発信する仕組み(ビーコン)を作っておくことができる。
地図作成時または移動体の移動時には、カメラ映像により基準点形状を認識し、基準点データテーブルと付け合せるか、または受信電波により識別子を獲得し、基準点データと付け合わせるか、または基準点が識別子と位置情報を送信している場合にはそのまま位置データとして採用することができる。地上基準点群は、地域を効率よくカバーするように設計し(例えば1kmごとに一点のメッシュ構造を作る)、別に測定をしておくことで無人飛行、無人走行への有力な基盤情報とする(GNSS電波の届かない地点などでの飛行を可能とする)。基準点の位置データは確定座標として扱う。ステップS323により、確定座標は増殖する。
地図上で新たな地上基準点の設置により、GNSSデータなどに比してより精度の高い位置情報が獲得された場合には、サーバ側でその周辺の基準点までの間の地図データの修正をする。地上基準点で得られたデータで取得した位置データは、確定座標としてサーバ上の地図に記憶され、その後は原則、修正されない。
地上基準点としての建造物、電柱、マンホールなどについてはあらかじめ測量をして、既知データとして形状と確定座標のセットを基準点データテーブル(主要構造物データベース)として格納しておくか、基準点の情報(当該基準点の識別子及び確定座標)を、当該基準点から電波等で発信する仕組み(ビーコン)を作っておくことができる。
地図作成時または移動体の移動時には、カメラ映像により基準点形状を認識し、基準点データテーブルと付け合せるか、または受信電波により識別子を獲得し、基準点データと付け合わせるか、または基準点が識別子と位置情報を送信している場合にはそのまま位置データとして採用することができる。地上基準点群は、地域を効率よくカバーするように設計し(例えば1kmごとに一点のメッシュ構造を作る)、別に測定をしておくことで無人飛行、無人走行への有力な基盤情報とする(GNSS電波の届かない地点などでの飛行を可能とする)。基準点の位置データは確定座標として扱う。ステップS323により、確定座標は増殖する。
地図上で新たな地上基準点の設置により、GNSSデータなどに比してより精度の高い位置情報が獲得された場合には、サーバ側でその周辺の基準点までの間の地図データの修正をする。地上基準点で得られたデータで取得した位置データは、確定座標としてサーバ上の地図に記憶され、その後は原則、修正されない。
改めて説明すると、確定座標とは、地上測量により測量された位置情報、または二つ以上の確定座標から算出された座標をいう。
算出座標とは、一つの確定座標と深度付き点群データやGNSSなどにより算出された座標、またはGNSSと深度付き点群データにより計算された座標をいう。算出座標は、確定座標に比べ精度が低い。算定座標は、確定座標点の増加により、確定座標に昇格することがある(ステップS323)。
確定データについては、地盤変動や災害などの事態により正確さを毀損することがある、更新モード(ステップS311)を設けることで、再設定を可能とする。再設定は、地域ごとに行うことができる。
算出座標とは、一つの確定座標と深度付き点群データやGNSSなどにより算出された座標、またはGNSSと深度付き点群データにより計算された座標をいう。算出座標は、確定座標に比べ精度が低い。算定座標は、確定座標点の増加により、確定座標に昇格することがある(ステップS323)。
確定データについては、地盤変動や災害などの事態により正確さを毀損することがある、更新モード(ステップS311)を設けることで、再設定を可能とする。再設定は、地域ごとに行うことができる。
図10に、物体判定部152が判定を行うために用いる数理モデルのパラメータ(重み係数)を生成するためにサーバ21により行われる処理を示す。ステップS401にて、データ取得部211は、教師データを取得する。この教師データは、先に述べたとおり、学習用画像と、当該学習用画像に写っている物体と、その物体の当該学習用画像内の位置とである。
ステップS402にて、パラメータ計算部214は、教師データに基づいて、上記数理モデルのパラメータを計算する。すなわち、学習がなされた第1数理モデルが構築される。
図11に、サーバ21により行われる、距離推定モデル(第2数理モデル)のパラメータ生成処理の流れを示す。ステップS501にて、データ取得部211は、ステップS401と同様、学習用画像と、当該学習用画像に写っている物体と、その物体の当該学習用画像内の位置とを取得する。
ステップS502にて、データ取得部211は、ステップS501の学習用画像に写っている物体と画像撮影地点との距離に関するデータ(LiDARデータあるいは深度データ)を取得する。
なお、ステップS501及びステップS502に関して、いずれか一方のステップが行われたのちに他方のステップが行われてもよいし、あるいは、両ステップが同時に行われてもよい。
なお、ステップS501及びステップS502に関して、いずれか一方のステップが行われたのちに他方のステップが行われてもよいし、あるいは、両ステップが同時に行われてもよい。
ステップS503にて、パラメータ計算部214は、ステップS501にて取得されたデータと、ステップS502にて取得された距離のデータとを教師データとして、距離推定モデル(第2数理モデル)のパラメータを計算する。すなわち、学習がなされた第2数理モデルが構築される。
移動体1とは異なり、LiDAR装置14を備えていない移動体は、この第2数理モデルを用いることで、入力された画像に写っている物体の種類と、物体の画像内位置と、当該物体までの距離とを得ることができる。すなわち、LiDAR装置14を備えていない移動体であっても、図6に示した簡易版立体地図データベースの作成処理を行うことができる。
その他、最新地図データベース22から、指定された高度における水平方向の断面画像を作成することができる。図12に示すように、最新地図データベース22から、サーバ21にインストールされたビューアにより、第1の高度Xにおける水平方向の断面画像IM11を作成し、第2の高度Yにおける水平方向の断面画像IM12を作成することができる。この断面画像作成は、サーバ21が、指定された高度の入力をユーザから受けて行うことができる。
図13に、サーバ21のハードウェア構成例を示す。サーバ21は、プロセッサ21aと、インタフェース装置21bと、表示装置21cと、入力装置21dと、ドライブ装置21eと、補助記憶装置21fと、メモリ装置21gとを備えており、これらがバス21hにより相互に接続されている。
プロセッサ21aは、CPU及びGPUを含む。GPUは、高並列処理を行うことができる。
サーバ21の機能を実現するプログラムは、CD-ROM等の記録媒体21iによって提供される。プログラムを記録した記録媒体21iがドライブ装置21eにセットされると、プログラムが記録媒体21iからドライブ装置21eを介して補助記憶装置21fにインストールされる。あるいは、プログラムのインストールは必ずしも記録媒体21iにより行う必要はなく、ネットワーク経由で行うこともできる。補助記憶装置21fは、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置21gは、プログラムの起動指示があった場合に、補助記憶装置21fからプログラムを読み出して格納する。プロセッサ21aは、メモリ装置21gに格納されたプログラムにしたがってサーバ21の機能を実現する。インタフェース装置21bは、ネットワークを通して他のコンピュータに接続するためのインタフェースとして用いられる。表示装置21cはプログラムによるGUI(Graphical User Interface)等を表示する。入力装置21dはキーボード及びマウス等である。
エッジコンピュータ15も、サーバ21と同様のハードウェア構成を有する。
これまでに述べた実施形態は、装置としての側面、方法としての側面及びコンピュータプログラムとしての側面を有している。
図1~図7及び図10を参照しながら述べた形態によれば、機械学習による数理モデルを用いて、無人航空機飛行のための立体地図データベースを効率的に作成することができる。無人航空機が飛行する主な空間は、地上5メートルから地上150メートルまでの空間である。この空間に存在する建物などの物体との衝突を避け、安全に飛行するための、一定の精度を持った立体地図データベースを作成することができる。
無人航空機の飛行にあたっては、その空域にある建造物などの物体の認識が必要である。ただし、その物体の模様、窓等の造作物の認識までもが必要なわけではない。また、離陸地点と着陸地点を除き、空域に存在する物体の細部の凹凸の認識も必要ない。このような状況に照らして、不要部を切り捨てることにより判定速度を上げ、リアルタイム性の向上に焦点を当てた物体認識を行うことができる。
図8及び図9に示した処理によれば、図6に示した処理により作成された立体地図データベースの精度を高めることができる。これは、無人航空機の安全飛行により資する。なお、エッジコンピュータ15の性能に応じて、図9の処理をサーバ21ではなくエッジコンピュータ15にて行ってもよい。
図11に示した処理に作成される数理モデルによれば、比較的高価なLiDAR装置が搭載されていない移動体によっても、立体地図データベースを効率的に作成することができる。
その他、地上基準点としてのマンホールは、地下構造物の地図情報と地上地図との結節点の役割を担う。地下地図と地上地図の一体化が可能となる。
これまでに説明した実施形態に関し、以下の付記を開示する。
[付記1]
無人航空機飛行のための立体地図データを作成する立体地図データ作成プログラムであって、
移動体に搭載されたカメラにより撮影された前記移動体の周囲画像と、前記カメラの撮像方向と、前記撮影時の前記移動体の位置座標情報と、前記移動体の周囲画像に写っている物体と前記移動体との距離情報とを取得する取得ステップと、
入力画像と、前記入力画像に写っている物体の種類と、前記入力画像に写っている物体の画像内位置とを教師データとする学習がなされた数理モデルを用いて、前記周囲画像に写っている物体の種類と、前記周囲画像に写っている物体の画像内位置とを判定する判定ステップと、
前記移動体の位置座標情報と、前記カメラの撮像方向と、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の位置座標を計算するとともに、前記判定ステップにより種類が判定された物体の、前記周囲画像内の大きさと、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の大きさを計算する計算ステップと、
前記判定ステップにより種類が判定された物体ごとに、当該物体の種類と、当該物体の位置座標と、当該物体の大きさとが組み合わされた立体地図データを作成する作成ステップと、
作成された立体地図データ群を立体地図データベースとして保存し再利用するステップと
をコンピュータに実行させる立体地図データ作成プログラム。
[付記2]
前記計算ステップにおいて、前記判定ステップにより種類が判定された物体の大きさが、前記物体の形状にも基づいて計算され、
前記物体の形状は、前記物体の種類と前記物体の形状との関係が定義された幾何形状モデルテーブルから導かれる、
付記1に記載の立体地図データ作成プログラム。
[付記3]
付記1又は2に記載の立体地図データ作成プログラムにより作成された立体地図データと、前記立体地図データベース内の物体と対比対象となる構造物の座標基準点データベースに保存されている既知の確定座標とに基づいて、前記立体地図データ内の物体の座標情報を、前記構造物の確定座標に書き替えるどうかを判断する第1判断ステップと、
前記第1判断ステップの判断結果が肯定的なものであった場合に、前記立体地図データ内の物体の座標情報を、前記構造物の確定座標に書き替える第1補正ステップと、
前記補正ステップが行われたことを履歴として作成する履歴作成ステップと、
前記第1判断ステップの判断結果が否定的なものであった場合に、前記構造物の確定座標に基づいて前記立体地図データ内の物体について位置座標の測量が行うことができるかどうかを判断する第2判断ステップと、
前記第2判断ステップの判断結果が肯定的なものであった場合に、前記測量を行う測量ステップと、
前記立体地図データ内の物体の座標情報を、前記測量ステップにより得られた座標情報に書き替える第2補正ステップと、
前記測量ステップにより得られた物体と座標情報の組み合わせを新たな確定座標として座標基準点データベースに加えるステップと
をさらにコンピュータに実行させる、付記1又は2に記載の立体地図データ更新プログラム。
[付記4]
画像と、前記画像に写っている物体の種類と、前記画像に写っている物体の画像内位置とを取得する第1取得ステップと、
前記画像の撮影地点から前記画像に写っている物体までの距離を取得する第2取得ステップと、
前記画像と、前記物体の種類と、前記物体の画像内位置と、前記距離とを教師データとして、入力画像が入力されると前記入力画像に写っている物体の種類と当該物体の入力画像内位置と当該物体までの距離とを出力する数理モデルのパラメータを生成する生成ステップと
をコンピュータに実行させる、数理モデルの学習プログラム。
[付記1]
無人航空機飛行のための立体地図データを作成する立体地図データ作成プログラムであって、
移動体に搭載されたカメラにより撮影された前記移動体の周囲画像と、前記カメラの撮像方向と、前記撮影時の前記移動体の位置座標情報と、前記移動体の周囲画像に写っている物体と前記移動体との距離情報とを取得する取得ステップと、
入力画像と、前記入力画像に写っている物体の種類と、前記入力画像に写っている物体の画像内位置とを教師データとする学習がなされた数理モデルを用いて、前記周囲画像に写っている物体の種類と、前記周囲画像に写っている物体の画像内位置とを判定する判定ステップと、
前記移動体の位置座標情報と、前記カメラの撮像方向と、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の位置座標を計算するとともに、前記判定ステップにより種類が判定された物体の、前記周囲画像内の大きさと、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の大きさを計算する計算ステップと、
前記判定ステップにより種類が判定された物体ごとに、当該物体の種類と、当該物体の位置座標と、当該物体の大きさとが組み合わされた立体地図データを作成する作成ステップと、
作成された立体地図データ群を立体地図データベースとして保存し再利用するステップと
をコンピュータに実行させる立体地図データ作成プログラム。
[付記2]
前記計算ステップにおいて、前記判定ステップにより種類が判定された物体の大きさが、前記物体の形状にも基づいて計算され、
前記物体の形状は、前記物体の種類と前記物体の形状との関係が定義された幾何形状モデルテーブルから導かれる、
付記1に記載の立体地図データ作成プログラム。
[付記3]
付記1又は2に記載の立体地図データ作成プログラムにより作成された立体地図データと、前記立体地図データベース内の物体と対比対象となる構造物の座標基準点データベースに保存されている既知の確定座標とに基づいて、前記立体地図データ内の物体の座標情報を、前記構造物の確定座標に書き替えるどうかを判断する第1判断ステップと、
前記第1判断ステップの判断結果が肯定的なものであった場合に、前記立体地図データ内の物体の座標情報を、前記構造物の確定座標に書き替える第1補正ステップと、
前記補正ステップが行われたことを履歴として作成する履歴作成ステップと、
前記第1判断ステップの判断結果が否定的なものであった場合に、前記構造物の確定座標に基づいて前記立体地図データ内の物体について位置座標の測量が行うことができるかどうかを判断する第2判断ステップと、
前記第2判断ステップの判断結果が肯定的なものであった場合に、前記測量を行う測量ステップと、
前記立体地図データ内の物体の座標情報を、前記測量ステップにより得られた座標情報に書き替える第2補正ステップと、
前記測量ステップにより得られた物体と座標情報の組み合わせを新たな確定座標として座標基準点データベースに加えるステップと
をさらにコンピュータに実行させる、付記1又は2に記載の立体地図データ更新プログラム。
[付記4]
画像と、前記画像に写っている物体の種類と、前記画像に写っている物体の画像内位置とを取得する第1取得ステップと、
前記画像の撮影地点から前記画像に写っている物体までの距離を取得する第2取得ステップと、
前記画像と、前記物体の種類と、前記物体の画像内位置と、前記距離とを教師データとして、入力画像が入力されると前記入力画像に写っている物体の種類と当該物体の入力画像内位置と当該物体までの距離とを出力する数理モデルのパラメータを生成する生成ステップと
をコンピュータに実行させる、数理モデルの学習プログラム。
以上、本発明の実施の形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。
S システム
1 移動体
1a 無人航空機
1b 車両
2 センター
11 カメラ
12 GNSS受信機
13 慣性計測装置(IMU)
14 LiDAR装置
15 エッジコンピュータ
16 記録媒体
2 センター
21 サーバ
22 データベース
151 データ取得部
152 物体判定部
153 位置及びサイズ計算部
154 3Dモデラー
211 データ取得部
212 第1補正処理部
213 第2補正処理部
214 パラメータ計算部
1 移動体
1a 無人航空機
1b 車両
2 センター
11 カメラ
12 GNSS受信機
13 慣性計測装置(IMU)
14 LiDAR装置
15 エッジコンピュータ
16 記録媒体
2 センター
21 サーバ
22 データベース
151 データ取得部
152 物体判定部
153 位置及びサイズ計算部
154 3Dモデラー
211 データ取得部
212 第1補正処理部
213 第2補正処理部
214 パラメータ計算部
Claims (4)
- 無人航空機飛行のための立体地図データを作成する立体地図データ作成プログラムであって、
移動体に搭載されたカメラにより撮影された前記移動体の周囲画像と、前記カメラの撮像方向と、前記撮影時の前記移動体の位置座標情報と、前記移動体の周囲画像に写っている物体と前記移動体との距離情報とを取得する取得ステップと、
入力画像と、前記入力画像に写っている物体の種類と、前記入力画像に写っている物体の画像内位置とを教師データとする学習がなされた数理モデルを用いて、前記周囲画像に写っている物体の種類と、前記周囲画像に写っている物体の画像内位置とを判定する判定ステップと、
前記移動体の位置座標情報と、前記カメラの撮像方向と、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の位置座標を計算するとともに、前記判定ステップにより種類が判定された物体の、前記周囲画像内の大きさと、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の大きさを計算する計算ステップと、
前記判定ステップにより種類が判定された物体ごとに、当該物体の種類と、当該物体の位置座標と、当該物体の大きさとが組み合わされた立体地図データを作成する作成ステップと、
作成された立体地図データ群を立体地図データベースとして保存し再利用するステップと
をコンピュータに実行させる立体地図データ作成プログラム。 - 前記計算ステップにおいて、前記判定ステップにより種類が判定された物体の大きさが、前記物体の形状にも基づいて計算され、
前記物体の形状は、前記物体の種類と前記物体の形状との関係が定義された幾何形状モデルテーブルから導かれる、
請求項1に記載の立体地図データ作成プログラム。 - 請求項1又は2に記載の立体地図データ作成プログラムにより作成された立体地図データと、前記立体地図データベース内の物体と対比対象となる構造物の座標基準点データベースに保存されている既知の確定座標とに基づいて、前記立体地図データ内の物体の座標情報を、前記構造物の確定座標に書き替えるどうかを判断する第1判断ステップと、
前記第1判断ステップの判断結果が肯定的なものであった場合に、前記立体地図データ内の物体の座標情報を、前記構造物の確定座標に書き替える第1補正ステップと、
前記補正ステップが行われたことを履歴として作成する履歴作成ステップと、
前記第1判断ステップの判断結果が否定的なものであった場合に、前記構造物の確定座標に基づいて前記立体地図データ内の物体について位置座標の測量が行うことができるかどうかを判断する第2判断ステップと、
前記第2判断ステップの判断結果が肯定的なものであった場合に、前記測量を行う測量ステップと、
前記立体地図データ内の物体の座標情報を、前記測量ステップにより得られた座標情報に書き替える第2補正ステップと、
前記測量ステップにより得られた物体と座標情報の組み合わせを新たな確定座標として座標基準点データベースに加えるステップと
をさらにコンピュータに実行させる、請求項1又は2に記載の立体地図データ更新プログラム。 - 画像と、前記画像に写っている物体の種類と、前記画像に写っている物体の画像内位置とを取得する第1取得ステップと、
前記画像の撮影地点から前記画像に写っている物体までの距離を取得する第2取得ステップと、
前記画像と、前記物体の種類と、前記物体の画像内位置と、前記距離とを教師データとして、入力画像が入力されると前記入力画像に写っている物体の種類と当該物体の入力画像内位置と当該物体までの距離とを出力する数理モデルのパラメータを生成する生成ステップと
をコンピュータに実行させる、数理モデルの学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020153705A JP2022047756A (ja) | 2020-09-14 | 2020-09-14 | 立体地図データ作成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020153705A JP2022047756A (ja) | 2020-09-14 | 2020-09-14 | 立体地図データ作成プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022047756A true JP2022047756A (ja) | 2022-03-25 |
Family
ID=80781488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020153705A Pending JP2022047756A (ja) | 2020-09-14 | 2020-09-14 | 立体地図データ作成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022047756A (ja) |
-
2020
- 2020-09-14 JP JP2020153705A patent/JP2022047756A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11243086B2 (en) | Method, device and apparatus for acquiring map, and computer readable storage medium | |
CN108921947B (zh) | 生成电子地图的方法、装置、设备、存储介质以及采集实体 | |
EP3459238B1 (en) | Need-sensitive image and location capture system and method | |
US10782411B2 (en) | Vehicle pose system | |
CN112414417B (zh) | 自动驾驶地图生成方法、装置、电子设备及可读存储介质 | |
US11668573B2 (en) | Map selection for vehicle pose system | |
US11754415B2 (en) | Sensor localization from external source data | |
CN112601928A (zh) | 位置坐标推定装置、位置坐标推定方法以及程序 | |
JP2018116014A (ja) | 自車位置推定装置、制御方法、プログラム及び記憶媒体 | |
CN112379681A (zh) | 无人机避障飞行方法、装置及无人机 | |
CN115825067A (zh) | 一种基于无人机的地质信息采集方法、系统及电子设备 | |
CN114092660A (zh) | 高精地图生成方法、装置及用于生成地图的车辆 | |
CN114127738A (zh) | 自动地图制作和定位 | |
CN109163718A (zh) | 一种面向建筑群的无人机自主导航方法 | |
CN110794434B (zh) | 一种位姿的确定方法、装置、设备及存储介质 | |
CN113240813A (zh) | 三维点云信息确定方法及装置 | |
JP2022047756A (ja) | 立体地図データ作成プログラム | |
KR102488553B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 | |
JP7468543B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび飛行体 | |
CN113433566B (zh) | 地图建构系统以及地图建构方法 | |
CN109901589B (zh) | 移动机器人控制方法和装置 | |
CN111928863A (zh) | 一种高精地图数据采集方法、装置及系统 | |
JP2020095519A (ja) | 形状推定装置、形状推定方法、プログラム、及び記録媒体 | |
EP3792719A1 (en) | Deduction system, deduction device, deduction method, and computer program | |
US20240053487A1 (en) | Systems and methods for transforming autonomous aerial vehicle sensor data between platforms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240419 |