JP2023062411A - 道路情報計算装置、及びプログラム - Google Patents

Abstract

【課題】航空画像から道路ネットワークを抽出する技術において、高精度で高いロバスト性を有する抽出結果を得られるようにする。【解決手段】道路情報計算装置において、地表を撮影した画像から道路領域を検出する第１サブタスクと、前記画像から道路エッジを検出する第２サブタスクと、前記画像から道路中心線を検出する第３サブタスクとをエンドツーエンドで学習するニューラルネットワークを備えるタスク計算部を備える。【選択図】図１

Description

本発明は、航空画像から道路ネットワークを抽出する技術に関連するものである。

人工衛星や無人航空機などで地表を撮影した航空画像（空中写真と呼んでもよい）から、道路ネットワークを抽出することは、災害対応、車両の経路選定、及び都市管理のような様々なシナリオにおいて重要な役割を果たす。

また、航空画像に特定の道路ネットワークをラベル付けすることで、道路の状態に関する豊富な情報を得ることができ、これは地理情報に基づく多くのアプリケーションにとって重要である。

航空画像から道路ネットワークを抽出する従来技術では、単一のセマンティックセグメンテーションのみ又は中心線抽出技術のみに基づいて、道路領域又は道路中心線を検出していた。これらの方法は、画素毎の２値分類処理と見なすことができ、単一の結果しか得ることができない。すなわち、従来技術では、道路領域、道路幅、及び道路ネットワークを同時に完全かつ正確に表現することができない。

なお、航空画像から道路ネットワークを抽出する開示技術として、例えば非特許文献１に開示された技術がある。

Y. Liu, J. Yao, X. Lu, M. Xia, X. Wang, and Y. Liu. RoadNet: Learning to Comprehensively Analyze Road Networks in Complex Urban Scenes from High-Resolution Remotely Sensed Images. IEEE Transactions on Geoscience and Remote Sensing, 57(4):2043-2056, 2019

道路ネットワーク抽出に関するほとんど全ての従来技術は、サーフェスセグメンテーションや中心線抽出のような単一タスクのみに基づいている。しかし、これらは関連性が非常に高いと考えられる。例えば、サーフェスセグメンテーションと中心線抽出の場合、道路の中心線は常に道路領域の中心で検出される。従って、そのような関連性を利用することが望ましい。しかし、従来技術では、このような関連性を十分に利用できておらず、道路ネットワーク抽出における精度、及びロバスト性が十分ではない。

道路ネットワーク抽出の各サブタスクに対して、複雑な道路条件とオクルージョンを考慮して、欲しい情報を抽出するための新規なアーキテクチャが必要である。

本発明は上記の点に鑑みてなされたものであり、航空画像から道路ネットワークを抽出する技術において、高精度で高いロバスト性を有する抽出結果を得ることを可能とする技術を提供することを目的とする。

開示の技術によれば、地表を撮影した画像から道路領域を検出する第１サブタスクと、前記画像から道路エッジを検出する第２サブタスクと、前記画像から道路中心線を検出する第３サブタスクとをエンドツーエンドで学習するニューラルネットワークを備えるタスク計算部
を備える道路情報計算装置が提供される。

開示の技術によれば、航空画像から道路ネットワークを抽出する技術において、高精度で高いロバスト性を有する抽出結果を得ることが可能となる。

本発明の実施の形態における装置構成図である。 本発明の実施の形態における装置動作を示すフローチャートである。 本発明の実施の形態におけるモデルの構成を示す図である。 ＥＤＮｅｔとＣＥＮｅｔの構成を示す図である。 装置のハードウェア構成例を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（装置構成、動作例）
図１に本実施の形態における道路情報計算装置１００の構成図を示す。図１に示すように、道路情報計算装置１００は、航空画像収集部１１０、タスク計算部１２０、道路画像分割部１３０、道路エッジ抽出部１４０、道路中心線抽出部１５０を有する。

道路情報計算装置１００は、１つの装置（コンピュータ）で実装されてもよいし、複数の装置で実装されてもよい。例えば、タスク計算部１２０があるコンピュータで実装され、それ以外の機能部が別のコンピュータで実装されてもよい。

航空画像収集部１１０は、ドローンや衛星等により上空から地表を撮影した静止画像又はビデオを取得する。なお、以降、静止画像及びビデオを総称して「画像」と呼ぶことにする。

タスク計算部１２０は、エンドツーエンドの機械学習方法を用いて、道路領域検出サブタスク、道路エッジ検出サブタスク、道路中心線検出サブタスクを同時に実行する。本実施の形態では機械学習方法としてニューラルネットワークを用いている。すなわち、当該ニューラルネットワークにおいて、道路領域検出サブタスク、道路エッジ検出サブタスク、道路中心線検出サブタスクをエンドツーエンドで学習する。学習手法については、後述する損失関数を用いることで、予測と正解との差（損失）が最小になるようにニューラルネットワークのパラメータを調整（計算）する。損失関数の計算手段、及びパラメータ調整手段（例：誤差逆伝播法を実行する手段）等はタスク計算部１２０が備えている。

すなわち、タスク計算部１２０は、後述する構成を有するニューラルネットワークのモデルに対して、大量の画像データとラベリングデータ（正解データ）を使いることで、エンドツーエンドの学習を行う。そして、学習済みのモデルを使用して、新たな画像を入力した際に、高精度で自動的に各サブタスクの処理を行って、それぞれの出力を実行する。出力の際には、道路画像分割部１３０、道路エッジ抽出部１４０、道路中心線抽出部１５０が用いられる。なお、「道路画像分割部１３０、道路エッジ抽出部１４０、道路中心線抽出部１５０」を出力部と呼んでもよい。

道路画像分割部１３０、道路エッジ抽出部１４０、道路中心線抽出部１５０はそれぞれ、タスク計算部１２０による各サブタスクの実行結果を用いて、道路情報を生成し、出力する。

具体的には、道路画像分割部１３０は、道路領域検出サブタスクの結果を用いて、画像を道路領域とその他の領域に分割し、分割がなされた画像を出力する。つまり、画像上で、どの領域が道路領域であるかを表示する。

道路エッジ抽出部１４０は、道路エッジ検出サブタスクの結果を用いて、画像上における道路のエッジの部分を線として抽出し、画像上で表示する。道路中心線抽出部１５０は、道路中心線検出タスクの結果を用いて、画像上における道路の中心線を抽出し、当該中心線が示された画像を出力する。

なお、道路領域、道路エッジ、及び道路中心線の全てを出力しないこととしてもよい。つまり、道路領域、道路エッジ、及び道路中心線のうちのいずれか１つ又はいずれか２つを出力してもよい。

図２は、道路情報計算装置１００の処理手順を示すフローチャートである。Ｓ１０１において、航空画像収集部１１０が、航空画像を取得する。Ｓ１０２において、学習済みのモデルを備えるモデル計算部１２０が、当該航空画像を入力として、道路領域検出サブタスク、道路エッジ検出サブタスク、道路中心線検出サブタスクを実行する。Ｓ１０３において、出力部が、少なくとも道路領域、道路エッジ、及び道路中心線のうちの１つを出力する。

（タスク計算部１２０の概要）
タスク計算部１２０は、ニューラルネットワークからなるモデルである。以下では、当該モデルの概要について説明する。

本実施の形態では、当該モデルが、下記の３つのサブタスクを実行する。つまり、本実施の形態では、道路ネットワークの抽出のタスクを、下記の３つの相互に関連するサブタスクに分解している。なお、本明細書における「抽出」を「検出」に置き替えてもよいし、「検出」を「抽出」に置き替えてもよい。

（１）サーフェスセグメンテーション：画像中の道路領域を検出するサブタスクである。

（２）エッジ検出：道路のエッジを検出するサブタスクであり、道路の幅を知り、レーン数を推定するのに役立つ。

（３）中心線検出：道路の中心線を検出するサブタスクであり、中心線により、道路の全体の接続性を理解することができる。

サーフェスセグメンテーション、エッジ検出、中心線検出をそれぞれ、道路領域検出サブタスク、道路エッジ検出サブタスク、道路中心線検出サブタスクと呼んでもよい。当該モデルにおける上記３つのサブタスクの学習はエンドツーエンドで行われる。

上記のモデルは、エンドツーエンドのカスケードニューラルネットワーク（カスケード接続したニューラルネットワーク）であり、これをDeep Cascade Road Extraction Network（深層カスケード道路抽出ネットワーク）と呼んでもよい。

本実施の形態における上記のモデル（タスク計算部１２０）は、道路ネットワークにおける抽出の複数サブタスク、すなわち、サーフェスセグメンテーション、エッジ検出、及び中心線検出を、エンドツーエンド学習方法で同時に達成するだけでなく、３つのサブタスク間の接続性を利用する。

本実施の形態のモデルでは、３つのサブタスクのそれぞれに対応する３つのサブネットワーク（サブモデル）であるＳＳＮｅｔ、ＥＤＮｅｔ、ＣＥＮｅｔが使用される。３つのサブタスク間の接続性を利用するために、これら３つのサブネットワークを順にカスケード接続することにより、ＥＤＮｅｔはＳＳＮｅｔからの出力を利用し、ＣＥＮｅｔはＳＳＮｅｔとＥＤＮｅｔの両方の出力を利用する。ＳＳＮｅｔ、ＥＤＮｅｔ、ＣＥＮｅｔの詳細については後述する。

本実施の形態のモデルでは、道路エッジ検出サブタスクと中心線検出サブタスクの両方のためのネットワークアーキテクチャが使用される。このネットワークアーキテクチャが道路エッジ検出サブタスクと中心線検出サブタスクのそれぞれに対して使用される。このネットワークアーキテクチャは下記の（１）～（３）を含む。

（１）それぞれが３つの畳み込み層を含む４つのブロックから構成される直接接続部（direct connection part）
（２）各ブロックの出力を元の画像サイズにアップサンプリングするサイド接続部（side connection part）
（３）各サブタスクの最終結果を得るための出力融合部（output fusion part）
このアーキテクチャにより、オクルージョンと複雑な道路条件に対する抽出精度とロバスト性が改善される。

また、本実施の形態に係るモデルに対し、３つのサブタスクのためのカスタマイズされた損失関数が使用されるが、エンドツーエンド損失計算を行うために、当該３つの損失関数が重み付け加算された損失関数が使用される。具体的には下記のとおりである。

（１）ＳＳＮｅｔについては、多数の実験を通して、最適な結果を達成するためにダイス損失を採用している。

（２）ＥＤＮｅｔとＣＥＮｅｔについてはそれぞれ、ブロックごとの重み付けされたクロスエントロピーベースの損失関数を採用している。

（３）ネットワーク全体をエンドツーエンドの学習方法で学習するために重み付け加算の形式で３つのサブタスクの合計損失を計算する。

（タスク計算部１２０の詳細）
以下、タスク計算部１２０に相当するモデルの構成及び損失関数を詳細に説明する。

＜モデルの構成＞
まず、モデルの構成を説明する。すなわち、前述したDeep Cascade Road Extraction Network（深層カスケード道路抽出ネットワーク）のアーキテクチャについて説明する。

図３に、本実施の形態におけるモデルの構成例を示す。なお、図３の中で、〇の中に×を有する記号はテンソルのチャネル接続（channel concatenation）を示す。本モデルは、エンドツーエンドのマルチタスクモデルであり、バックボーンと、カスケード接続された３つのサブネットワークを含む。

前述したように、本実施の形態では、道路ネットワーク抽出タスクをサーフェスセグメンテーション（道路領域検出）、エッジ検出、中心線検出の３つのサブタスクに分解する。各サブタスクは、画素毎の２値分類を行うタスクである。

サーフェスセグメンテーション（道路領域検出）、エッジ検出、中心線検出の３つのサブタスクは３つのサブネットワークにより実行される。具体的には、サーフェスセグメンテーションは、ＳＳＮｅｔにより実行され。エッジ検出はＥＤＮｅｔにより実行され、中心線検出はＣＥＮｅｔにより実行される。

図３に示すように、入力された画像からＳＳＮｅｔによりサーフェスセグメンテーション結果が得られる。サーフェスセグメンテーション結果と画像がＥＤＮｅｔに入力され、エッジ検出結果が得られる。サーフェスセグメンテーション結果とエッジ検出結果と画像がＣＥＮｅｔに入力され、中心線検出結果が得られる。図３の例では、サーフェスセグメンテーション結果とエッジ検出結果と中心線検出結果を連結した結果が出力されるイメージが示されている。

以下、Ａ：バックボーン、Ｂ：サーフェスセグメンテーションネットワーク、Ｃ：エッジ検出及び中心線検出ネットワークについて詳細に説明する。

＜Ａ：バックボーン＞
抽出される特徴マップは、学習中にネットワーク劣化問題を克服しながら、十分な画像情報を含む必要がある。従って、本実施の形態では、モデルのバックボーンネットワークとしてＲｅｓｎｅｔ‐１０１を採用している。当該ネットワークは、３３のボトルネックモジュールによって形成された４残渣ブロックから成る。なお、「バックボーンネットワーク」は、Ｄｅｅｐｌａｂｖ３＋における特徴抽出のためのネットワークである。

Ｒｅｓｎｅｔ‐１０１により、２つのテンソルが返される。一つのテンソルは全ブロックを通して８倍ダウンサンプリングすることによって得られる高次元画像特徴であり、もう一つのテンソルは最初の残差ブロックによって得られる低次元特徴である。

＜Ｂ：サーフェスセグメンテーションネットワーク＞
道路のサーフェスセグメンテーションの結果は、最終的な道路領域検出精度に影響するだけでなく、元の航空画像と連結され、ＥＤＮｅｔへの入力として使用される４チャンネルのテンソルになるので、非常に重要である。

その後、さらに元の航空画像と連結され、ＥＤＮｅｔから５チャンネルテンソルが出力され、ＣＥＮｅｔへの入力として使用される。

本実施の形態では、最適なサーフェスセグメンテーションの結果を得るために、事前実験の結果に基づいて、ダイス損失関数を使用するＤｅｅｐｌａｂｖ３＋をＳＳＮｅｔとして採用している。

＜Ｃ：エッジ検出と中心線検出のためのネットワーク＞
エッジ検出サブタスクと中心線検出サブタスクに関して、エッジと中心線のそれぞれの正（positive）の画素は画像空間の非常に小さな部分しか占めない。

そのため、オーバーフィッティングの発生と正と負（negative）のサンプル間の不均衡を防止するために、ブロック毎（block-wise）損失補償を行うＥＤＮｅｔ及びＣＥＮｅｔと呼ばれる２つの簡潔なサブネットワークを使用する。

ＳＳＮｅｔによって生成された出力において、オクルージョンと背景の存在が大幅に低減されるため、ＳＳＮｅｔの出力とオリジナルの３チャンネル画像とを連結した４チャンネルテンソルをＥＤＮｅｔへの入力とする。

更に、ＳＳＮｅｔからの出力とＥＤＮｅｔからの出力は、中心線の抽出に使用できる空間的コンテキスト情報を含んでいる。従って、ＥＤＮｅｔへの入力（ＳＳＮｅｔの出力とオリジナルの３チャンネル画像）とＥＤＮｅｔからの出力は連結されて５チャンネルテンソルになり、ＣＥＮｅｔに供給される。

ＥＤＮｅｔとＣＥＮｅｔのネットワーク構成は同じである。図４に当該ネットワークの構成例を示す。図４において、"０．５×"は、最大プーリング実装によるダウンサンプリングの倍率を示す。"２×"、"４×"、"８×"は、バイリニア補間実装によるアップサンプリングの倍率を示す。〇の中に×を記載した記号は、テンソルのチャネル連結を示し、黒い四角（■）は、損失計算を示す。図４に示すとおり、本ネットワークは下記の３つの機能部を備える。

（１）直接接続部１０：マルチスケールの特徴を得るために、入力は、１つずつ４つの連続した畳み込み（ｃｏｎｖ）ブロックを通過する。４つのｃｏｎｖブロックは、図４において、ｂｌｏｃｋ１～ｂｌｏｃｋ４として示されているブロックである。

各ブロックは、３つのｃｏｎｖ層を含む。ダウンサンプリングのために各ブロック間に最大プーリング層が存在する。

（２）サイド接続部２０：各ｃｏｎｖブロックの出力を１×１ｃｏｎｖ層にサイド接続し、テンソルを元の画像のサイズに補間する。

（３）出力融合部３０：異なるサイド出力からのテンソルを連結して１つのマルチスケール特徴とし、１つの１×１ｃｏｎｖ層を当該マルチスケール特徴に適用して最終結果を得る。

＜損失関数について＞
次に、損失関数について説明する。

道路ネットワークの抽出における３つのサブタスクは、セマンティックセグメンテーションの２値分類問題に分割される。当該問題のゴールは、各画素を２つのカテゴリ、すなわち正画素と負画素に分類することである。ただし、対象画素の特徴はサブタスクごとに異なる。例えば、道路中心線及びエッジに属する画素は、道路領域全体よりもずっと小さい画像領域を占めることを直感的に認識することができる。

一方、発明者らが行った実験において、正と負のサンプルの間の不均衡に起因する問題に遭遇した。従って、発明者らは、ＳＳＮｅｔに対する最適な損失関数を見つけるために予備実験を行い、ＥＤＮｅｔとＣＥＮｅｔのためのブロック毎損失計算を設計した。学習のための損失関数Ｌ_{ｔｏｔａｌ}は下記の式（１）として定義される。

式（１）において、Ｌ_{ｓｕｒｆａｃｅ}はサーフェスセグメンテーションの損失である。Ｌ_{ｓｕｒｆａｃｅ}について、クロスエントロピー損失、ダイス損失、及びフォーカル損失という、異なる３つの実装を比較した結果、ダイス損失が、ＲｅｃａｌｌとＦ値の点で良好な性能を示した。式（１）では、ａは２．５に設定される。ダイス損失は以下の式（２）ように定義される。

ここで、Ｄは、以下で定義されるダイス係数である。

式（３）において、ｐ_ｉ及びｇ_ｉはそれぞれ、予測されたセグメンテーションマスクｐ及びグラウンドトゥルースｇにおけるｉ番目の画素の値である。ＥＤＮｅｔとＣＥＮｅｔのネットワーク構造は同じであるので、ＥＤＮｅｔとＣＥＮｅｔの損失関数は、同じ形であり、それぞれ、ブロック毎の重み付けされたクロスエントロピー損失として定義される。

図４に示したように、予測とグラウンドトゥルースとの間の損失は、各サイド接続層の出力、及び出力融合部で計算される。計算においては、各ブロックに対する重みであるβ｛（β_１，β_２，β_３，β_４）｝、及び出力融合部での重みであるβ_ｆが使用される。これらの重みを用いて、ＥＤＮｅｔとＣＥＮｅｔのそれぞれに使用される損失関数は、下記の式（４）、式（５）により定義される。

ＥＤＮｅｔに関して、上記の式（４）、式（５）におけるｌ_{ｂｌｏｃｋ}、ｌ_ｆｕｓｅは、検出されたエッジとグラウンドトゥルースとの間のクロスエントロピー損失である。ＣＥＮｅｔに関して、上記の式（４）、式（５）におけるｌ_{ｂｌｏｃｋ}、ｌ_ｆｕｓｅは、抽出された中心線とグラウンドトゥルースとの間のクロスエントロピー損失である。

（ハードウェア構成例）
道路情報計算装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。

すなわち、道路情報計算装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、道路情報計算装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図５は、上記コンピュータのハードウェア構成例を示す図である。図５のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、ライトタッチ維持装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。

（実施の形態の効果）
本実施の形態に係る技術により、航空画像から道路ネットワークを抽出する技術において、高精度で高いロバスト性を有する抽出結果を得ることが可能となる。

また、従来は人手で、目で見ることで航空画像等から道路の情報を抽出することが一般的であるが、本実施の形態に係る技術により、自動的に道路領域、道路のエッジと中心線を出力することができる。

また、単独なタスクを独立で分析することに代えて、各サブタスクの関係性を利用し、カスケード的な構造、及び、新たなサブタスクに応じたサブモデル及び損失関数を使用することで、高精度かつ高いロバスト性を持った道路情報抽出が可能となる。

（実施の形態のまとめ）
本明細書には、少なくとも下記各項の道路情報計算装置、及びプログラムが開示されている。
（第１項）
地表を撮影した画像から道路領域を検出する第１サブタスクと、前記画像から道路エッジを検出する第２サブタスクと、前記画像から道路中心線を検出する第３サブタスクとをエンドツーエンドで学習するニューラルネットワークを備えるタスク計算部
を備える道路情報計算装置。
（第２項）
学習済みの前記ニューラルネットワークを用いて前記タスク計算部により得られた道路情報に基づいて、道路領域、道路エッジ、及び道路中心線のうちの少なくとも１つを出力する出力部
を更に備える第１項に記載の道路情報計算装置。
（第３項）
前記ニューラルネットワークは、前記第１サブタスクを実行する第１サブネットワークと、前記第２サブタスクを実行する第２サブネットワークと、前記第３サブタスクを実行する第３サブネットワークとを含む
第１項又は第２項に記載の道路情報計算装置。
（第４項）
前記第１サブネットワークに前記画像が入力され、前記第１サブネットワークの出力と前記画像が前記第２サブネットワークに入力され、前記第１サブネットワークの出力と前記第２サブネットワークの出力と前記画像が前記第３サブネットワークに入力され、前記第３サブネットワークから道路中心線検出結果が出力される
第３項に記載の道路情報計算装置。
（第５項）
前記第２サブネットワーク及び前記第３サブネットワークはそれぞれ、複数の畳み込み層を有するブロックを複数個含む
第３項又は第４項に記載の道路情報計算装置。
（第６項）
前記ニューラルネットワークの学習時において、前記第１サブネットワークに対する損失と、前記第２サブネットワークに対するブロック毎の損失と、前記第３サブネットワークに対するブロック毎の損失とを重み付け加算した損失を使用する
第３項ないし第５項のうちいずれか１項に記載の道路情報計算装置。
（第７項）
コンピュータを、第１項ないし第６項のうちいずれか１項に記載の道路情報計算装置における各部として機能させるためのプログラム。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 直接接続部
２０ サイド接続部
３０ 出力融合部
１００ 道路情報計算装置
１１０ 航空画像収集部
１２０ タスク計算部
１３０ 道路画像分割部
１４０ 道路エッジ抽出部
１５０ 道路中心線抽出部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置

Claims (7)

1. 地表を撮影した画像から道路領域を検出する第１サブタスクと、前記画像から道路エッジを検出する第２サブタスクと、前記画像から道路中心線を検出する第３サブタスクとをエンドツーエンドで学習するニューラルネットワークを備えるタスク計算部
   を備える道路情報計算装置。
2. 学習済みの前記ニューラルネットワークを用いて前記タスク計算部により得られた道路情報に基づいて、道路領域、道路エッジ、及び道路中心線のうちの少なくとも１つを出力する出力部
   を更に備える請求項１に記載の道路情報計算装置。
3. 前記ニューラルネットワークは、前記第１サブタスクを実行する第１サブネットワークと、前記第２サブタスクを実行する第２サブネットワークと、前記第３サブタスクを実行する第３サブネットワークとを含む
   請求項１又は２に記載の道路情報計算装置。
4. 前記第１サブネットワークに前記画像が入力され、前記第１サブネットワークの出力と前記画像が前記第２サブネットワークに入力され、前記第１サブネットワークの出力と前記第２サブネットワークの出力と前記画像が前記第３サブネットワークに入力され、前記第３サブネットワークから道路中心線検出結果が出力される
   請求項３に記載の道路情報計算装置。
5. 前記第２サブネットワーク及び前記第３サブネットワークはそれぞれ、複数の畳み込み層を有するブロックを複数個含む
   請求項３又は４に記載の道路情報計算装置。
6. 前記ニューラルネットワークの学習時において、前記第１サブネットワークに対する損失と、前記第２サブネットワークに対するブロック毎の損失と、前記第３サブネットワークに対するブロック毎の損失とを重み付け加算した損失を使用する
   請求項３ないし５のうちいずれか１項に記載の道路情報計算装置。
7. コンピュータを、請求項１ないし６のうちいずれか１項に記載の道路情報計算装置における各部として機能させるためのプログラム。

Images