JP2023062411A - 道路情報計算装置、及びプログラム - Google Patents
道路情報計算装置、及びプログラム Download PDFInfo
- Publication number
- JP2023062411A JP2023062411A JP2021172372A JP2021172372A JP2023062411A JP 2023062411 A JP2023062411 A JP 2023062411A JP 2021172372 A JP2021172372 A JP 2021172372A JP 2021172372 A JP2021172372 A JP 2021172372A JP 2023062411 A JP2023062411 A JP 2023062411A
- Authority
- JP
- Japan
- Prior art keywords
- road
- network
- sub
- image
- subtask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 18
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 26
- 230000011218 segmentation Effects 0.000 description 20
- 238000003708 edge detection Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
を備える道路情報計算装置が提供される。
図1に本実施の形態における道路情報計算装置100の構成図を示す。図1に示すように、道路情報計算装置100は、航空画像収集部110、タスク計算部120、道路画像分割部130、道路エッジ抽出部140、道路中心線抽出部150を有する。
タスク計算部120は、ニューラルネットワークからなるモデルである。以下では、当該モデルの概要について説明する。
(2)各ブロックの出力を元の画像サイズにアップサンプリングするサイド接続部(side connection part)
(3)各サブタスクの最終結果を得るための出力融合部(output fusion part)
このアーキテクチャにより、オクルージョンと複雑な道路条件に対する抽出精度とロバスト性が改善される。
以下、タスク計算部120に相当するモデルの構成及び損失関数を詳細に説明する。
まず、モデルの構成を説明する。すなわち、前述したDeep Cascade Road Extraction Network(深層カスケード道路抽出ネットワーク)のアーキテクチャについて説明する。
抽出される特徴マップは、学習中にネットワーク劣化問題を克服しながら、十分な画像情報を含む必要がある。従って、本実施の形態では、モデルのバックボーンネットワークとしてResnet‐101を採用している。当該ネットワークは、33のボトルネックモジュールによって形成された4残渣ブロックから成る。なお、「バックボーンネットワーク」は、Deeplabv3+における特徴抽出のためのネットワークである。
道路のサーフェスセグメンテーションの結果は、最終的な道路領域検出精度に影響するだけでなく、元の航空画像と連結され、EDNetへの入力として使用される4チャンネルのテンソルになるので、非常に重要である。
エッジ検出サブタスクと中心線検出サブタスクに関して、エッジと中心線のそれぞれの正(positive)の画素は画像空間の非常に小さな部分しか占めない。
次に、損失関数について説明する。
道路情報計算装置100は、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。
本実施の形態に係る技術により、航空画像から道路ネットワークを抽出する技術において、高精度で高いロバスト性を有する抽出結果を得ることが可能となる。
本明細書には、少なくとも下記各項の道路情報計算装置、及びプログラムが開示されている。
(第1項)
地表を撮影した画像から道路領域を検出する第1サブタスクと、前記画像から道路エッジを検出する第2サブタスクと、前記画像から道路中心線を検出する第3サブタスクとをエンドツーエンドで学習するニューラルネットワークを備えるタスク計算部
を備える道路情報計算装置。
(第2項)
学習済みの前記ニューラルネットワークを用いて前記タスク計算部により得られた道路情報に基づいて、道路領域、道路エッジ、及び道路中心線のうちの少なくとも1つを出力する出力部
を更に備える第1項に記載の道路情報計算装置。
(第3項)
前記ニューラルネットワークは、前記第1サブタスクを実行する第1サブネットワークと、前記第2サブタスクを実行する第2サブネットワークと、前記第3サブタスクを実行する第3サブネットワークとを含む
第1項又は第2項に記載の道路情報計算装置。
(第4項)
前記第1サブネットワークに前記画像が入力され、前記第1サブネットワークの出力と前記画像が前記第2サブネットワークに入力され、前記第1サブネットワークの出力と前記第2サブネットワークの出力と前記画像が前記第3サブネットワークに入力され、前記第3サブネットワークから道路中心線検出結果が出力される
第3項に記載の道路情報計算装置。
(第5項)
前記第2サブネットワーク及び前記第3サブネットワークはそれぞれ、複数の畳み込み層を有するブロックを複数個含む
第3項又は第4項に記載の道路情報計算装置。
(第6項)
前記ニューラルネットワークの学習時において、前記第1サブネットワークに対する損失と、前記第2サブネットワークに対するブロック毎の損失と、前記第3サブネットワークに対するブロック毎の損失とを重み付け加算した損失を使用する
第3項ないし第5項のうちいずれか1項に記載の道路情報計算装置。
(第7項)
コンピュータを、第1項ないし第6項のうちいずれか1項に記載の道路情報計算装置における各部として機能させるためのプログラム。
20 サイド接続部
30 出力融合部
100 道路情報計算装置
110 航空画像収集部
120 タスク計算部
130 道路画像分割部
140 道路エッジ抽出部
150 道路中心線抽出部
1000 ドライブ装置
1001 記録媒体
1002 補助記憶装置
1003 メモリ装置
1004 CPU
1005 インタフェース装置
1006 表示装置
1007 入力装置
Claims (7)
- 地表を撮影した画像から道路領域を検出する第1サブタスクと、前記画像から道路エッジを検出する第2サブタスクと、前記画像から道路中心線を検出する第3サブタスクとをエンドツーエンドで学習するニューラルネットワークを備えるタスク計算部
を備える道路情報計算装置。 - 学習済みの前記ニューラルネットワークを用いて前記タスク計算部により得られた道路情報に基づいて、道路領域、道路エッジ、及び道路中心線のうちの少なくとも1つを出力する出力部
を更に備える請求項1に記載の道路情報計算装置。 - 前記ニューラルネットワークは、前記第1サブタスクを実行する第1サブネットワークと、前記第2サブタスクを実行する第2サブネットワークと、前記第3サブタスクを実行する第3サブネットワークとを含む
請求項1又は2に記載の道路情報計算装置。 - 前記第1サブネットワークに前記画像が入力され、前記第1サブネットワークの出力と前記画像が前記第2サブネットワークに入力され、前記第1サブネットワークの出力と前記第2サブネットワークの出力と前記画像が前記第3サブネットワークに入力され、前記第3サブネットワークから道路中心線検出結果が出力される
請求項3に記載の道路情報計算装置。 - 前記第2サブネットワーク及び前記第3サブネットワークはそれぞれ、複数の畳み込み層を有するブロックを複数個含む
請求項3又は4に記載の道路情報計算装置。 - 前記ニューラルネットワークの学習時において、前記第1サブネットワークに対する損失と、前記第2サブネットワークに対するブロック毎の損失と、前記第3サブネットワークに対するブロック毎の損失とを重み付け加算した損失を使用する
請求項3ないし5のうちいずれか1項に記載の道路情報計算装置。 - コンピュータを、請求項1ないし6のうちいずれか1項に記載の道路情報計算装置における各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021172372A JP2023062411A (ja) | 2021-10-21 | 2021-10-21 | 道路情報計算装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021172372A JP2023062411A (ja) | 2021-10-21 | 2021-10-21 | 道路情報計算装置、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023062411A true JP2023062411A (ja) | 2023-05-08 |
Family
ID=86269949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021172372A Pending JP2023062411A (ja) | 2021-10-21 | 2021-10-21 | 道路情報計算装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023062411A (ja) |
-
2021
- 2021-10-21 JP JP2021172372A patent/JP2023062411A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cortinhal et al. | Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds | |
Mahaur et al. | Small-object detection based on YOLOv5 in autonomous driving systems | |
CN110111366B (zh) | 一种基于多级损失量的端到端光流估计方法 | |
CN108345827B (zh) | 识别文档方向的方法、系统和神经网络 | |
EP3686798B1 (en) | Learning method and learning device for objet detector based on cnn | |
CN110717851A (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
Raghavan et al. | Optimized building extraction from high-resolution satellite imagery using deep learning | |
KR102140805B1 (ko) | 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치 | |
CN109948575B (zh) | 超声图像中眼球区域分割方法 | |
CN117274608B (zh) | 基于空间细节感知和注意力引导的遥感图像语义分割方法 | |
US11875490B2 (en) | Method and apparatus for stitching images | |
CN115761258A (zh) | 一种基于多尺度融合与注意力机制的图像方向预测方法 | |
Niu et al. | Boundary-aware RGBD salient object detection with cross-modal feature sampling | |
CN111914809B (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
Gao et al. | Cost volume pyramid network with multi-strategies range searching for multi-view stereo | |
Nguyen et al. | Smart solution to detect images in limited visibility conditions based convolutional neural networks | |
Jiang et al. | Semantic segmentation network combined with edge detection for building extraction in remote sensing images | |
CN115311550B (zh) | 遥感影像语义变化检测方法、装置、电子设备及存储介质 | |
CN114372944B (zh) | 一种多模态和多尺度融合的候选区域生成方法及相关装置 | |
JP2023062411A (ja) | 道路情報計算装置、及びプログラム | |
CN115909077A (zh) | 基于无监督光谱解混神经网络的高光谱图像变化检测方法 | |
Schirrmacher et al. | SR 2: Super-resolution with structure-aware reconstruction | |
US20220051016A1 (en) | Selective analysis for field boundary detection | |
CN114022458A (zh) | 骨架检测方法、装置、电子设备和计算机可读存储介质 | |
Ahmad et al. | Resource efficient mountainous skyline extraction using shallow learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20211027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240226 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20240701 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20240702 |