JP2020520493A - 道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体 - Google Patents

道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体 Download PDF

Info

Publication number
JP2020520493A
JP2020520493A JP2019558374A JP2019558374A JP2020520493A JP 2020520493 A JP2020520493 A JP 2020520493A JP 2019558374 A JP2019558374 A JP 2019558374A JP 2019558374 A JP2019558374 A JP 2019558374A JP 2020520493 A JP2020520493 A JP 2020520493A
Authority
JP
Japan
Prior art keywords
road
neural network
map
channel
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019558374A
Other languages
English (en)
Other versions
JP6918139B2 (ja
Inventor
グアンリアン チョン
グアンリアン チョン
ジエンピン シー
ジエンピン シー
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド, ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2020520493A publication Critical patent/JP2020520493A/ja
Application granted granted Critical
Publication of JP6918139B2 publication Critical patent/JP6918139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

本願の実施例は道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体を開示する。該方法の任意選択的な一実施形態は、リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出することと、前記多チャネルの第一道路特徴情報を、道路方向情報を教師情報として訓練されたニューラルネットワークである第三ニューラルネットワークに入力し、それによって前記第三ニューラルネットワークによって多チャネルの第三道路特徴情報を抽出することと、前記第一道路特徴情報と前記第三道路特徴情報とを融合することと、融合結果に基づいて道路地図を生成することと、を含む。本願の実施例はリモートセンシング画像に対する道路方向特徴抽出の正確性を向上させる。【選択図】図２

Description

（関連出願の相互参照）
本願は２０１７年０９月１９日に中国特許局に提出された、出願番号ＣＮ２０１７１０８４８１５９．２、発明名称「道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが引用によって本願に組み込まれる。
本願はデータ処理の技術分野に関し、選択可能に画像処理の技術分野に関し、特に道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体に関する。
科学技術の発展および社会の進歩に伴い、地図は人々が出かける時に益々重要な役割を果たしてきた。地図によって人々は自分の位置情報または目的地の位置情報をいつどこでも確認でき、それは出かける時の計画立てに役立ち、生活の利便性を向上させる。
スマート端末の普及に伴い、電子地図はスマート端末の使用頻度の高いアプリケーションとなっている。電子地図の正確性を向上させるために、実際の地図画像を取得してから、地図画像から道路情報を探し出す必要がある。コンピュータビジョンおよび画像処理技術、例えばサポートベクターマシン、ランダムフォレストのような方法などは、道路画像の認識において重要な用途を有する。
本願の実施例は道路地図生成の技術的解決手段を提供する。
本願の実施例の一態様によれば、リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出することと、前記多チャネルの第一道路特徴情報を、道路方向情報を教師情報として訓練されたニューラルネットワークである第三ニューラルネットワークに入力し、それによって前記第三ニューラルネットワークによって多チャネルの第三道路特徴情報を抽出することと、前記第一道路特徴情報と前記第三道路特徴情報とを融合することと、融合結果に基づいて道路地図を生成することと、を含む道路地図生成方法が提供される。
いくつかの実施例では、前記第一道路特徴情報と前記第三道路特徴情報とを融合する前記ステップは、前記第一道路特徴情報と前記第三道路特徴情報とを加え、または重み付けて加えること、または、前記第一道路特徴情報と前記第三道路特徴情報とを連結することを含む。
いくつかの実施例では、前記第一ニューラルネットワークは、許容道路幅情報を教師情報として訓練されたニューラルネットワークである第二サブニューラルネットワークを含み、リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出する前記ステップは、前記リモートセンシング画像を前記第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出することを含み、ここで、前記第一道路特徴情報は前記第二道路特徴マップを含む。
いくつかの実施例では、前記第一ニューラルネットワークはさらに第一サブニューラルネットワークを含み、前記リモートセンシング画像を前記第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出する前記ステップは、前記リモートセンシング画像を前記第一サブニューラルネットワークに入力し、それによって前記第一サブニューラルネットワークによって多チャネルの第一道路特徴マップを抽出することと、前記多チャネルの第一道路特徴マップを前記第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出することと、を含む。
いくつかの実施例では、前記第一ニューラルネットワークはさらに第三サブニューラルネットワークを含み、前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出する前記ステップの後に、さらに、前記多チャネルの第二道路特徴マップを前記第三サブニューラルネットワークに入力し、それによって前記第三サブニューラルネットワークによって多チャネルの第三道路特徴マップを抽出することを含み、ここで、前記第一道路特徴情報は前記第三道路特徴マップを含む。
いくつかの実施例では、前記許容道路幅情報は許容道路幅範囲を含み、前記道路地図における各道路の幅は前記許容道路幅範囲内に収まり、または、前記許容道路幅情報は所定道路幅を含み、前記道路地図における各道路の幅は前記所定道路幅である。
いくつかの実施例では、融合結果に基づいて道路地図を生成する前記ステップは、前記融合結果を第四ニューラルネットワークに入力し、それによって前記第四ニューラルネットワークによって多チャネルの第四道路特徴情報を抽出することと、前記多チャネルの第四道路特徴情報に基づいて道路地図を確定することと、を含む。
いくつかの実施例では、前記第四ニューラルネットワークは許容道路幅情報を教師情報として訓練されたニューラルネットワークである。
いくつかの実施例では、融合結果に基づいて道路地図を生成する前記ステップの後に、さらに、前記道路地図における道路の中心線を確定することを含む。
いくつかの実施例では、融合結果に基づいて道路地図を生成する前記ステップの後に、さらに、前記道路地図をベクトル化し、道路ベクトルマップを得ることを含む。
いくつかの実施例では、さらに、リモートセンシング画像サンプルの道路方向基準マップを取得することと、前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって前記訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出することと、前記多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定することと、前記道路方向回帰マップと前記道路方向基準マップとの間の第一損失を前記訓練待ちの第三ニューラルネットワークに渡し、それによって前記訓練待ちの第三ニューラルネットワークのパラメータを調整することと、を含む。
いくつかの実施例では、さらに、リモートセンシング画像サンプルの等幅道路基準マップを取得することと、前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって前記訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップを抽出することと、前記多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定することと、前記第一道路確率マップと前記等幅道路基準マップとの間の第二損失を前記訓練待ちの第二サブニューラルネットワークに渡し、それによって前記訓練待ちの第二サブニューラルネットワークのパラメータを調整することと、を含む。
いくつかの実施例では、さらに、リモートセンシング画像サンプルの等幅道路基準マップを取得することと、前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって前記訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出することと、前記多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定することと、前記第二道路確率マップと前記等幅道路基準マップとの間の第三損失を前記訓練待ちの第四ニューラルネットワークに渡し、それによって前記訓練待ちの第四ニューラルネットワークのパラメータを調整することと、を含む。
いくつかの実施例では、さらに、リモートセンシング画像サンプルの等幅道路基準マップおよび道路方向基準マップを取得し、前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって前記訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップを抽出し、そして前記多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定することと、
前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって前記訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出し、そして前記多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定することと、前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって前記訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出し、そして前記多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定することと、前記道路方向回帰マップと前記道路方向基準マップとの間の第一損失、前記第一道路確率マップと前記等幅道路基準マップとの間の前記第二損失、前記第二道路確率マップと前記等幅道路基準マップとの間の第三損失を、前記第三ニューラルネットワーク、前記第二サブニューラルネットワークおよび前記第四ニューラルネットワークを含むニューラルネットワークシステムにそれぞれ渡し、それによって前記ニューラルネットワークシステムのネットワークパラメータを総合的に調整することと、を含む。
本願の実施例の別の一態様によれば、リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出するための第一道路特徴情報取得ユニットと、前記多チャネルの第一道路特徴情報を、少なくとも道路方向情報を教師情報として訓練されたニューラルネットワークである第三ニューラルネットワークに入力し、それによって前記第三ニューラルネットワークによって多チャネルの第三道路特徴情報を抽出するための第三道路特徴情報取得ユニットと、前記第一道路特徴情報と前記第三道路特徴情報とを融合するための情報融合ユニットと、融合結果に基づいて道路地図を生成するための道路地図生成ユニットと、を含む道路地図生成装置が提供される。
いくつかの実施例では、前記情報融合ユニットは、前記第一道路特徴情報と前記第三道路特徴情報とを加え、または重み付けて加えること、または、前記第一道路特徴情報と前記第三道路特徴情報とを連結することに用いられる。
いくつかの実施例では、前記第一ニューラルネットワークは、許容道路幅情報を教師情報として訓練されたニューラルネットワークである第二サブニューラルネットワークを含み、前記第一道路特徴情報取得ユニットは、前記リモートセンシング画像を前記第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出するための第一取得サブユニットを含み、ここで、前記第一道路特徴情報は前記第二道路特徴マップを含む。
いくつかの実施例では、前記第一ニューラルネットワークはさらに第一サブニューラルネットワークを含み、前記第一道路特徴情報取得ユニットはさらに、前記リモートセンシング画像を前記第一サブニューラルネットワークに入力し、それによって前記第一サブニューラルネットワークによって多チャネルの第一道路特徴マップを抽出するための第一取得サブユニットを含み、前記第二取得サブユニットは、前記多チャネルの第一道路特徴マップを第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出するために用いられる。
いくつかの実施例では、前記第一ニューラルネットワークはさらに第三サブニューラルネットワークを含み、前記第一道路特徴情報取得ユニットはさらに、前記多チャネルの第二道路特徴マップを第三サブニューラルネットワークに入力し、それによって前記第三サブニューラルネットワークによって多チャネルの第三道路特徴マップを抽出するための第三取得サブユニットを含み、ここで、前記第一道路特徴情報は前記第三道路特徴マップを含む。
いくつかの実施例では、前記許容道路幅情報は許容道路幅範囲を含み、前記道路地図における少なくとも一つの道路の幅は前記許容道路幅範囲内に収まり、または、前記許容道路幅情報は所定道路幅を含み、前記道路地図における少なくとも一つの道路の幅は前記所定道路幅である。
いくつかの実施例では、前記道路地図生成ユニットは、前記融合結果を第四ニューラルネットワークに入力し、それによって前記第四ニューラルネットワークによって多チャネルの第四道路特徴情報を抽出するための第四取得サブユニットと、前記多チャネルの第四道路特徴情報に基づいて道路地図を確定するための道路地図確定サブユニットと、を含む。
いくつかの実施例では、前記第四ニューラルネットワークは許容道路幅情報を教師情報として訓練されたニューラルネットワークである。
いくつかの実施例では、前記道路地図生成ユニットはさらに、前記道路地図における道路の中心線を確定するための中心線確定サブユニットを含む。
いくつかの実施例では、前記道路地図生成ユニットはさらに、前記道路地図をベクトル化し、道路ベクトルマップを得るための道路ベクトルマップ取得サブユニットを含む。
いくつかの実施例では、さらに、訓練用リモートセンシング画像の道路方向基準マップを取得し、前記訓練用リモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって前記訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出し、前記多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定し、そして前記道路方向回帰マップと前記道路方向基準マップとの間の第一損失を前記訓練待ちの第三ニューラルネットワークに渡し、それによって前記訓練待ちの第三ニューラルネットワークのパラメータを調整するための前記第三ニューラルネットワークの訓練ユニットを含む。
いくつかの実施例では、さらに、訓練用のリモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって前記訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップ抽出し、前記多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定し、そして前記第一道路確率マップと前記等幅道路基準マップとの間の第二損失を前記訓練待ちの第二サブニューラルネットワークに渡し、それによって前記訓練待ちの第二サブニューラルネットワークのパラメータを調整するための前記第二サブニューラルネットワークの訓練ユニットを含む。
いくつかの実施例では、さらに、訓練用リモートセンシング画像の等幅道路基準マップを取得し、前記訓練用リモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出し、前記多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定し、そして前記第二道路確率マップと前記等幅道路基準マップとの間の第三損失を前記訓練待ちの第四ニューラルネットワークに渡し、それによって前記訓練待ちの第四ニューラルネットワークのパラメータを調整するための前記第四ニューラルネットワークの訓練ユニットを含む。
いくつかの実施例では、前記第三ニューラルネットワークの訓練ユニットは前記第一損失を、前記第二サブニューラルネットワークの訓練ユニットは前記第二損失を、前記第四ニューラルネットワークの訓練ユニットは前記第三損失を前記第三ニューラルネットワーク、前記第二サブニューラルネットワークおよび前記第四ニューラルネットワークを含むニューラルネットワークシステムにそれぞれ渡し、それによって前記ニューラルネットワークシステムのネットワークパラメータを総合的に調整する。
本願の実施例のさらに別の一態様によれば、実行可能命令を記憶するためのメモリ、および前記メモリと通信して前記実行可能命令を実行することで本願の上記いずれか一つの実施例に記載の道路地図生成方法の動作を完了するためのプロセッサを含む電子機器が提供される。
本願の実施例のさらに別の一態様によれば、コンピュータ読み取り可能な命令を記憶するためのコンピュータ記憶媒体であって、前記命令は実行される時に本願の上記いずれか一つの実施例に記載の道路地図生成方法の動作を実行するコンピュータ記憶媒体が提供される。
本願の実施例のさらに別の一態様によれば、コンピュータ読み取り可能コードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能コードが機器において運用される時、前記機器内のプロセッサは本願の上記いずれか一つの実施例に記載の道路地図生成方法を実現するための動作を実行するコンピュータプログラムが提供される。
本願の実施例が提供する道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体は、リモートセンシング画像を第一ニューラルネットワークに入力し、多チャネルの第一道路特徴情報を得て、続いて多チャネルの第一道路特徴情報を、道路方向情報を教師情報として訓練されたニューラルネットワークである第三ニューラルネットワークに入力し、多チャネルの第三道路特徴情報を得て、その後、第一道路特徴情報と第三道路特徴情報とを融合し、そして融合結果に基づいて道路地図を生成し、リモートセンシング画像に対する道路方向特徴抽出の正確性を向上させる。
以下に図面および実施例により、本発明の技術的解決手段をさらに詳細に説明する。
明細書の一部となる図面は本発明の実施例を説明するものであり、かつその説明と共に本発明の原理を解釈するために用いられる。
図面と関連付けて、以下の詳細な説明によれば、本開示をより明確に理解できる。そのうち、
以下の図面と関連付けた、非限定的実施例に対する詳細な説明を読むことで、本願の実施例の他の特徴、目的および利点はより明確になる。
本願の実施例を適用可能な例示的システムアーキテクチャ図である。 本願の実施例に係る道路地図生成方法の一フローチャートである。 本願の実施例に係る道路地図生成方法の応用シーンの一模式図である。 図３ａから道路特徴を抽出した道路地図である。 本願の実施例に係る道路地図生成装置の一構成模式図である。 本願の実施例に係るサーバの一構成模式図である。
以下に図面と実施例を関連付けて本願をさらに詳細に説明する。なお、ここで説明した任意選択的な実施例は関連発明を説明するためのものに過ぎず、該発明を限定するものではないことが理解される。また、指摘しておきたいのは、説明の便宜上、図面には関連発明に関連する部分のみが示されるということである。
なお、特に断らない限り、これらの実施例において記述した部材およびステップの相対的配置、数式および数値は本発明の範囲を限定するものではないことに注意すべきである。
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
関連分野の当業者に既知の技術、方法および機器については、詳細に説明しないが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。
なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
当業者であれば、本願の実施例における「第一」、「第二」などの用語は異なるステップ、機器またはモジュールなどを区別するためのものに過ぎず、なんらの確定の技術的意味も有さず、またそれらの間の必然的な論理的順序を表すものでもない。
なお、本願の実施例および実施例における特徴は、矛盾することなく互いに組み合わせることができることに注意すべきである。
本発明の実施例は端末機器、コンピュータシステム、サーバなどの電子機器に適用可能で、他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末機器、コンピュータシステム、サーバなどの電子機器との併用に適する公知の端末機器、計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび上記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
端末機器、コンピュータシステム、サーバなどの電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的なコンテキストにおいて説明できる。通常、プログラムモジュールは、確定のタスクを実行するかまたは確定の抽象データ型を実現するルーチン、プログラム、目標プログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバは、タスクが通信ネットワークにわたって接続された遠隔処理機器により実行される分散型クラウドコンピューティング環境において実施できる。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。
以下に図面と実施例を関連付けて本願の実施例を詳細に説明する。図１は本願の実施例を適用可能な道路地図生成方法および道路地図生成装置の一例示的システムアーキテクチャ１００を示す。
図１に示すように、システムアーキテクチャ１００は端末機器１０１（例えば、空撮対象など）、端末機器１０２（例えば、人工衛星など）、ネットワーク１０３および電子機器１０４を含んでもよい。ネットワーク１０３は端末機器１０１、１０２および電子機器１０４の間で通信リンクの媒体を提供するために用いられる。ネットワーク１０３は様々な接続タイプ、例えば有線、無線通信リンクまたは光ファイバーケーブルなどを含んでもよい。
ユーザは端末機器１０１、１０２を用いてネットワーク１０３によって電子機器１０４と対話し、それによって画像情報などを送受信することができる。端末機器１０１、１０２はセンサを載せるための運搬用具で、一般的には風船、空撮対象および人工衛星などが挙げられ、それらは遠距離から目標物体の電磁波特性を取得し、該画像情報の伝送、保存、修正、目標物体の認識によって、最終的にその機能（例えば、タイマー機能、測位機能、定性機能、定量機能）を実現する。センサは例えば目標物の電磁波特性を検知するための計器や機器であってもよく、一般的にはカメラ、スキャナーおよび画像レーダなどが挙げられる。
電子機器１０４は様々なサービスを提供するサーバ、例えば端末機器１０１、１０２に載せたセンサからリモートセンシング画像を取得するバックエンド画像処理サーバであってもよい。バックエンド画像処理サーバは受信したリモートセンシング画像などのデータの解析などの処理を行い、処理結果（例えば対象検出結果）を出力することができる。
なお、本願の実施例が提供する道路地図生成方法は上記電子機器１０４によって実行可能であり、それに対して、道路地図生成装置は上記サーバ１０４内に設置可能であることに注意すべきである。
なお、図１における端末機器、ネットワークおよび電子機器の数は例示的なものに過ぎないことを理解すべきである。実現要求に応じて、任意の数の端末機器、ネットワークおよび電子機器を設けることができる。
図２を参照すると、本願の実施例に係る道路地図生成方法の一フローチャート２００が示され、該道路地図生成方法は以下を含む。
ステップ２０１、リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出する。
本実施例では、本実施例を実現するための電子機器（例えば図１に示す電子機器１０４）は有線または無線の方式で端末機器１０１、１０２から送信されるリモートセンシング画像を受信し、リモートセンシング画像を処理し、第一道路特徴情報を得ることができる。ここで指摘しておきたいのは、上記無線接続方式は例えば３Ｇ／４Ｇ接続、ＷｉＦｉ接続、ブルートゥース接続、ワイヤレスメトロポリタンエリアネットワーク（ＷｉＭＡＸ）接続、ワイヤレスパーソナルエリアネットワーク（Ｚｉｇｂｅｅ）接続、超広帯域（ｕｌｔｒａ ｗｉｄｅｂａｎｄ、ＵＷＢ）接続、または他の従来既知のまたは将来開発される無線接続方式などを含むことができるが、これらに限定されないということである。
複数のチャネルを含む上記リモートセンシング画像を取得してから、リモートセンシング画像から多チャネルの第一道路特徴情報を抽出可能な第一ニューラルネットワークに該リモートセンシング画像を導入する。そのうち、第一道路特徴情報は例えばリモートセンシング画像から抽出された道路幅を含む道路特徴情報であってもよい。
本実施例のいくつかの任意選択的な実施形態では、前記第一ニューラルネットワークは第二サブニューラルネットワークを含んでもよく、ここで、前記第二サブニューラルネットワークは許容道路幅情報を教師情報として訓練されたニューラルネットワークであってもよい。それに対して、該実施形態では、リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出する前記ステップは、前記リモートセンシング画像を前記第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップ（Ｆｅａｔｕｒｅ−ｍａｐ）を抽出することを含んでもよい。それに対して、該実施形態では、前記第一道路特徴情報は該第二道路特徴マップを含む。
該実施形態に基づき、リモートセンシング画像を取得してから、そのままリモートセンシング画像を、許容道路幅情報を教師情報として訓練されたニューラルネットワークである、リモートセンシング画像における道路画像を認識し、リモートセンシング画像から許容幅を含む多チャネルの第二道路特徴マップを抽出可能な第二サブニューラルネットワークに入力してもよい。例示的に、該第二サブニューラルネットワークは複数の畳み込み層を含んでもよく、各畳み込み層の後に一つの正規化層および非線形層を連結し、最後に畳み込みカーネルが設定サイズに設定された一つの分類層を接続してから多チャネルの第二道路特徴マップを出力させることができる。
本実施例の別のいくつかの任意選択的な実施形態では、前記第一ニューラルネットワークは第一サブニューラルネットワークおよび第二サブニューラルネットワークを含んでもよい。それに対して、該実施形態では、リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出する前記ステップは、前記リモートセンシング画像を前記第一サブニューラルネットワークに入力し、それによって前記第一サブニューラルネットワークによって多チャネルの第一道路特徴マップを抽出することと、前記多チャネルの第一道路特徴マップを、許容道路幅情報を教師情報として訓練されたニューラルネットワークである第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出することと、を含んでもよい。それに対して、該実施形態では、前記第一道路特徴情報は該第二道路特徴マップを含む。
該実施形態では、第一ニューラルネットワークは第一サブニューラルネットワークおよび第二サブニューラルネットワークを含んでもよい。リモートセンシング画像のデータ処理を加速するために、第一サブニューラルネットワークによってリモートセンシング画像のサイズを縮小してもよい。第一サブニューラルネットワークは例えば畳み込みおよびダウンサンプリングの方式で、リモートセンシング画像から多チャネルの第一道路特徴マップを抽出することができる。その後、第一道路特徴マップを第二サブニューラルネットワークに入力し、許容幅を含む多チャネルの第二道路特徴マップを得る。
本実施例のさらに別のいくつかの任意選択的な実現形態では、前記第一ニューラルネットワークは第一サブニューラルネットワーク、第二サブニューラルネットワークおよび第三サブニューラルネットワークを含んでもよい。それに対して、該実施形態では、リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出する前記ステップは、前記リモートセンシング画像を前記第一サブニューラルネットワークに入力し、それによって前記第一サブニューラルネットワークによって多チャネルの第一道路特徴マップを抽出することと、前記多チャネルの第一道路特徴マップを、許容道路幅情報を教師情報として訓練されたニューラルネットワークである第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出することと、前記多チャネルの第二道路特徴マップを第三サブニューラルネットワークに入力し、それによって前記第三サブニューラルネットワークによって多チャネルの第三道路特徴マップを抽出することと、を含んでも良い。前記第一道路特徴情報は該第三道路特徴マップを含む。
該実施形態では、第一ニューラルネットワークはさらに第一サブニューラルネットワーク、第二サブニューラルネットワークおよび第三サブニューラルネットワークを含んでもよい。そのうち、第一サブニューラルネットワークおよび第二サブニューラルネットワークは上記実施形態における記述と同じであってもよい。多チャネルの第二道路特徴マップを得ると、多チャネルの第二道路特徴マップを第三サブニューラルネットワークに入力し、第三サブニューラルネットワークによって第二道路特徴マップのノイズを除去してから、多チャネルの第三道路特徴マップを出力することができる。本実施例を採用すれば、等幅で平滑な道路を得て、リモートセンシング画像における障害物の遮蔽、画像の解像度、抽出精度などの要因による抽出された道路特徴マップにおけるバリ現象を改善することができる。
本実施例のいくつかの任意選択的な実施形態では、前記許容道路幅情報は許容道路幅範囲であってもよく、前記道路地図における少なくとも一つの道路（例えば、各道路）の幅は前記許容道路幅範囲内に収まり、または、前記許容道路幅情報は所定道路幅であってもよく、前記道路地図における少なくとも一つの道路（例えば、各道路）の幅は前記所定道路幅である。
本願の実施例では、リモートセンシング画像は異なる高度で撮影されてもよく、正確な道路地図を得るためには、許容道路幅範囲を設定し、道路地図における一部または全ての道路の幅を前記許容道路幅範囲内に収め、それによって実際の道路の幅にできるだけ適合させるようにしてもよい。また、道路幅を所定道路幅に設定し、道路地図における一部または全ての道路の幅を所定道路幅にするようにしてもよい。
本実施例のいくつかの任意選択的な実施形態では、さらに前記第二サブニューラルネットワークの訓練方法、例えば以下を含んでもよい。
第一に、リモートセンシング画像サンプル（即ち、訓練用のリモートセンシング画像）の等幅道路基準マップ（ｇｒｏｕｎｄｔｒｕｔｈ）を取得する。
第二サブニューラルネットワークによって等幅道路の特徴を抽出するために、まずリモートセンシング画像サンプルの等幅道路基準マップを取得しなければならず、そのうち手動によるラベル付けまたは機械によるラベル付けまたは他の方法によって予め等幅道路基準マップを取得するように取得してもよい。該等幅道路基準マップは等幅道路が予めラベル付けされたリモートセンシング画像であってもよく、第二サブニューラルネットワークの訓練プロセスにおいて教師情報として使用される。
第二に、上記リモートセンシング画像サンプルまたはリモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって該訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップを抽出する。
第二サブニューラルネットワークの訓練データはリモートセンシング画像サンプルであってもよいし、リモートセンシング画像サンプルから抽出された多チャネルの道路特徴マップであってもよく、上記訓練データを訓練待ちの第二サブニューラルネットワークに入力すると、訓練待ちの第二サブニューラルネットワークは訓練用のリモートセンシング画像サンプルまたはリモートセンシング画像サンプルの多チャネルの道路特徴マップなどの訓練データから対応する道路幅特徴情報を抽出し、対応する多チャネルの第五道路特徴マップを得ることができる。
第三に、前記多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定する。
第五道路特徴マップを得てから、第五道路特徴マップの画像処理を行い、それによって第一道路確率マップを確定することができる。そのうち、第一道路確率マップは第五道路特徴マップにおける少なくとも一つの画素点（例えば各画素点）が道路に属する確率を特徴付けるために用いられる。任意選択的に、第一道路確率マップを確定してから、該第一道路確率マップの正規化処理を行い、さらに後続の処理を行うことができる。
第四に、前記第一道路確率マップと前記等幅道路基準マップとの間の第二損失を前記訓練待ちの第二サブニューラルネットワークに渡し、それによって前記訓練待ちの第二サブニューラルネットワークのパラメータを調整する。
上記等幅道路基準マップは理想的な状態での効果マップと認められてもよい。通常、第一道路確率マップと等幅道路基準マップとの間には誤差が存在し、この誤差は第二損失と見なしてもよく、該第二損失を訓練待ちの第二サブニューラルネットワークに渡すと、訓練待ちの第二サブニューラルネットワークのパラメータを調整し、それによって第二損失を減少させ、訓練待ちの第二サブニューラルネットワークによる等幅道路特徴抽出の正確性を向上させることができる。
任意選択的な一例では、該ステップ２０１はメモリに記憶された対応する命令をプロセッサによって呼び出して実行してもよいし、プロセッサにより運用される第一道路特徴情報取得ユニット４０１によって実行してもよい。
ステップ２０２、前記多チャネルの第一道路特徴情報を第三ニューラルネットワークに入力し、それによって前記第三ニューラルネットワークによって多チャネルの第三道路特徴情報を抽出する。
第一道路特徴情報を得てから、第一道路特徴情報を第三ニューラルネットワークに入力し、さらに第三道路特徴情報を得ることができる。第三道路特徴情報は第一道路特徴情報のもとに、道路の方向情報が追加された特徴情報であってもよい。そのうち、前記第三ニューラルネットワークは少なくとも道路方向情報を教師情報として訓練されたニューラルネットワークである。
本実施例のいくつかの任意選択的な実施形態では、さらに前記第三ニューラルネットワークの訓練方法、例えば以下を含んでもよい。
第一に、リモートセンシング画像サンプルの道路方向基準マップ（ｇｒｏｕｎｄｔｒｕｔｈ）を取得する。
第三ニューラルネットワークによって道路の方向特徴を抽出するために、まずリモートセンシング画像の道路方向基準マップを取得しなければならない。道路方向基準マップは道路方向が予めラベル付けされたリモートセンシング画像であってもよく、そのうち手動によるラベル付け、機械によるラベル付けまたは他の方式によって予め取得するように予めラベル付けしてもよい。
第二に、リモートセンシング画像サンプルまたはリモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出する。
第三ニューラルネットワークの訓練データはリモートセンシング画像サンプルであってもよいし、リモートセンシング画像サンプルから抽出された多チャネルの道路特徴マップであってもよく、上記訓練データを訓練待ちの第三ニューラルネットワークに入力すると、訓練待ちの第三ニューラルネットワークは訓練用のリモートセンシング画像サンプルまたはそれの多チャネルの道路特徴マップから対応する方向特徴情報を抽出し、対応する多チャネルの第四道路特徴マップを得ることができる。
第三に、前記多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定する。
第四道路特徴マップを得てから、第四道路特徴マップの画像処理を行い、それによって道路方向回帰マップを確定することができる。そのうち、道路方向回帰マップは多チャネルの特徴マップの対応する画素を特徴付けるための値であり、正規化処理を行わずに、直接後続の処理を行うことができる。任意選択的に、道路方向回帰マップにおける単一の画素の値は０〜１８０のある数字であってもよく、基準方向に対する該画素の道路方向のオフセット角を表す。
第四に、前記道路方向回帰マップと前記道路方向基準マップとの間の第一損失を前記訓練待ちの第三ニューラルネットワークに渡し、それによって前記訓練待ちの第三ニューラルネットワークのパラメータを調整する。
道路方向基準マップは理想的な状態での道路方向の効果マップである。通常、道路方向回帰マップと道路方向基準マップとの間には誤差が存在し、この誤差は第一損失と認められてもよい。第一損失を訓練待ちの第三ニューラルネットワークに渡すと、該訓練待ちの第三ニューラルネットワークのパラメータを調整し、それによって第一損失を減少させ、訓練待ちの第三ニューラルネットワークによる道路方向特徴抽出の正確性を向上させることができる。
任意選択的な一例では、該ステップ２０２はメモリに記憶された対応する命令をプロセッサによって呼び出して実行してもよいし、プロセッサにより運用される第三道路特徴情報取得ユニット４０２によって実行してもよい。
ステップ２０３、前記第一道路特徴情報と前記第三道路特徴情報とを融合する。
第一道路特徴情報はリモートセンシング画像から抽出された一定道路幅の道路特徴情報であってもよく、第三道路特徴情報は第一道路特徴情報のもとに、道路の方向情報が追加された特徴情報であってもよく、第一道路特徴情報と第三道路特徴情報とを融合すると、道路特徴情報に道路幅特徴および道路の方向特徴を同時に含ませることができる。
本実施例のいくつかの任意選択的な実施形態では、前記第一道路特徴情報と前記第三道路特徴情報とを融合する前記ステップは、前記第一道路特徴情報と前記第三道路特徴情報とを加え、または重み付けて加えること、または、前記第一道路特徴情報と前記第三道路特徴情報とを連結することを含んでもよい。
上記説明からわかるように、第一道路特徴情報はリモートセンシング画像から抽出された一定道路幅の道路特徴情報であってもよい。従って、第一道路特徴情報は一定道路幅を含む画像であってもよい。同様に、第三道路特徴情報は道路の方向情報を含む画像であってもよい。第一道路特徴情報に対応する画像における画素と第三道路特徴情報に対応する画像における画素とを直接組み合わせる（加える）か、または一定の重みに基づいて組み合わせる（重み付け）と、第一道路特徴情報と第三道路特徴情報との融合を実現することができる。または、第一道路特徴情報に基づき、第一道路特徴情報に対応する画像と第三道路特徴情報に対応する画像とを直接連結し、第一道路特徴情報と第三道路特徴情報との融合を実現するようにしてもよい。
任意選択的な一例では、該ステップ２０３はメモリに記憶された対応する命令をプロセッサによって呼び出して実行してもよいし、プロセッサにより運用される情報融合ユニット４０３によって実行してもよい。
ステップ２０４、融合結果に基づいて道路地図を生成する。
第一道路特徴情報と第三道路特徴情報とを融合すると、道路特徴情報に道路幅特徴および道路の方向特徴を同時に含ませることができる。道路幅特徴および道路の方向特徴基づいて道路地図を生成することができる。
本実施例のいくつかの任意選択的な実施形態では、融合結果に基づいて道路地図を生成する前記ステップは、前記融合結果を第四ニューラルネットワークに入力し、それによって前記第四ニューラルネットワークによって多チャネルの第四道路特徴情報を抽出することと、前記多チャネルの第四道路特徴情報に基づいて道路地図を確定することと、を含んでもよい。
第一道路特徴情報と第三道路特徴情報との融合結果を第四ニューラルネットワークに入力し、第四ニューラルネットワークによって幅特徴と道路の方向特徴とを結合させて多チャネルの第四道路特徴情報を得て、多チャネルの第四道路特徴情報によって道路地図を確定する。そのうち、第四ニューラルネットワークは許容道路幅情報を教師情報として訓練されたニューラルネットワークである。
ナビゲーション、ステアリング、レーン保持などの自動または補助運転制御を実現するために、前記第四ニューラルネットワークによって道路地図を取得した後に、さらに、前記道路地図における道路の中心線を確定することを含んでもよい。中心線によってナビゲーション、ステアリング、レーン保持などの自動または補助運転制御の精度を向上させることができる。従来の方法は道路交差点の画像を取得する時、リモートセンシング画像の障害物による遮蔽、画像の解像度、抽出精度などの要因によって抽出した道路交差点での中心線の抽出効果が悪く、バリ、平滑でないなどの現象が発生し得るが、本実施例における道路特徴および道路方向によって、平滑な中心線を抽出可能で、道路交差点の画像を取得する時の、リモートセンシング画像の障害物による遮蔽、画像の解像度、抽出精度などの要因によって抽出した道路交差点での中心線の抽出効果が悪いことにより発生するバリ、平滑でないなどの現象を改善することができる。
ナビゲーション、ステアリング、レーン保持などの自動または補助運転制御を実現するために、道路地図のデータを読み取る必要がある。そこで、前記第四ニューラルネットワークによって道路地図を取得した後に、さらに、前記道路地図をベクトル化し、道路ベクトルマップを得ることを含んでもよい。道路ベクトルマップによって、ナビゲーション、ステアリング、レーン保持などの自動または補助運転制御の命令を生成することができる。
また、リモートセンシング画像に道路遮蔽が存在する場合、さらに道路幅特徴および道路の方向特徴などの情報によって遮蔽された道路を補完し、それによって道路地図における道路の正確度を向上させることができる。
本実施例のいくつかの任意選択的な実施形態では、さらに前記第四ニューラルネットワークの訓練方法、例えば以下を含んでもよい。
第一に、リモートセンシング画像サンプル（即ち、訓練用のリモートセンシング画像）の等幅道路基準マップを取得する。
第二に、上記リモートセンシング画像サンプルまたはリモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって該訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出する。
第三に、前記多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定する。
第四に、前記第二道路確率マップと前記等幅道路基準マップとの間の第三損失を前記訓練待ちの第四ニューラルネットワークに渡し、それによって前記訓練待ちの第四ニューラルネットワークのパラメータを調整する。
第四ニューラルネットワークの訓練プロセスは上記第二サブニューラルネットワークの訓練プロセスに類似し、関連する部分は互いに参照すればよく、ここでは説明を省略する。
本実施例のいくつかの任意選択的な実施形態では、訓練プロセスにおいて、前記第一損失、前記第二損失および前記第三損失を前記第三ニューラルネットワーク、前記第二サブニューラルネットワークおよび前記第四ニューラルネットワークを含むニューラルネットワークシステムにそれぞれ渡し、それによって前記ニューラルネットワークシステムのネットワークパラメータを総合的に調整するようにしてもよく、例えば、
リモートセンシング画像サンプルの等幅道路基準マップおよび道路方向基準マップを取得し、該リモートセンシング画像サンプルまたは該リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって該訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップを抽出し、そして該多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定することと、
上記リモートセンシング画像サンプルまたは該リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって該訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出し、そして該多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定することと、
上記リモートセンシング画像サンプルまたは該リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって該訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出し、そして該多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定することと、
上記道路方向回帰マップと該道路方向基準マップとの間の第一損失、該第一道路確率マップと該等幅道路基準マップとの間の該第二損失、および該第二道路確率マップと該等幅道路基準マップとの間の第三損失を、該第三ニューラルネットワーク、該第二サブニューラルネットワークおよび該第四ニューラルネットワークを含むニューラルネットワークシステムにそれぞれ渡し、それによって該ニューラルネットワークシステムのネットワークパラメータを総合的に調整することと、を含んでもよい。
本実施例では、第一損失、第二損失および第三損失によって第三ニューラルネットワーク、第二サブニューラルネットワークおよび第四ニューラルネットワークのニューラルネットワークシステムのネットワークパラメータをそれぞれ調整する以外、第三ニューラルネットワーク、第二サブニューラルネットワークおよび第四ニューラルネットワークを含むニューラルネットワークシステムのネットワークパラメータを調整し、それによって取得した道路地図における道路幅および方向の正確度を向上させることができる。
任意選択的な一例では、該ステップ２０４はメモリに記憶された対応する命令をプロセッサによって呼び出して実行してもよいし、プロセッサにより運用される道路地図生成ユニット４０４によって実行してもよい。
引き続き図３ａを参照すると、それは本実施例に係る道路地図生成方法の応用シーンの一模式図である。図３ａは実のリモートセンシング画像であり、そこから見えるように、図３ａには道路、建築物、樹木などの情報が含まれている。該リモートセンシング画像から道路情報を抽出するために、まずリモートセンシング画像を第一ニューラルネットワークに入力し、第一道路特徴情報を得て、続いて多チャネルの第一道路特徴情報を第三ニューラルネットワークに入力し、多チャネルの第三道路特徴情報を得て、その後、第一道路特徴情報と第三道路特徴情報とを融合し、融合結果に基づいて道路地図を生成するようにしてもよく、それは図３ｂに示されたとおりである。
本願の実施例が提供する方法はリモートセンシング画像に対する道路幅特徴および道路方向特徴抽出の正確性を向上させる。
本発明の実施例が提供するいずれの道路地図生成方法もデータ処理能力を有する任意の適当な機器によって実行することができ、それは端末機器およびサーバなどを含むが、これらに限定されない。または、本発明の実施例が提供するいずれの道路地図生成方法もプロセッサによって実行することができ、例えばプロセッサはメモリに記憶された対応する命令を呼び出すことで本発明の実施例において言及したいずれかの道路地図生成方法を実行することができる。以下は説明を省略する。
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出して完了させることができることを理解すべきであり、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行時、上記方法の実施例のステップを実行する。
さらに図４を参照すると、上記各図面に示す方法の実現形態として、本願の実施例は道路地図生成装置を提供し、該道路地図生成装置の実施例は図２に示す方法の実施例に対応し、該装置は様々な電子機器において用いることができる。
図４に示すように、本実施例の道路地図生成装置４００は：リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出するための第一道路特徴情報取得ユニット４０１、前記多チャネルの第一道路特徴情報を、道路方向情報を教師情報として訓練されたニューラルネットワークである第三ニューラルネットワークに入力し、それによって前記第三ニューラルネットワークによって多チャネルの第三道路特徴情報を抽出するための第三道路特徴情報取得ユニット４０２、前記第一道路特徴情報と前記第三道路特徴情報とを融合するための情報融合ユニット４０３、および融合結果に基づいて道路地図を生成するための道路地図生成ユニット４０４を含んでもよい。
本実施例のいくつかの任意選択的な実施形態では、前記情報融合ユニット４０３は、前記第一道路特徴情報と前記第三道路特徴情報とを加え、または重み付けて加えること、または、前記第一道路特徴情報と前記第三道路特徴情報とを連結することに用いられてもよい。
本実施例のいくつかの任意選択的な実施形態では、前記第一ニューラルネットワークは、許容道路幅情報を教師情報として訓練されたニューラルネットワークである第二サブニューラルネットワークを含んでもよく、前記第一道路特徴情報取得ユニット４０１は前記リモートセンシング画像を前記第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出するための第一取得サブユニット（図示せず）を含んでもよい。それに対して、該実施形態では、前記第一道路特徴情報は該第二道路特徴マップを含む。
本実施例のいくつかの任意選択的な実施形態では、前記第一ニューラルネットワークは第一サブニューラルネットワークおよび第二サブニューラルネットワークを含んでもよく、前記第一道路特徴情報取得ユニット４０１は前記リモートセンシング画像を前記第一サブニューラルネットワークに入力し、それによって前記第一サブニューラルネットワークによって多チャネルの第一道路特徴マップを抽出するための第一取得サブユニット（図示せず）、および前記多チャネルの第一道路特徴マップを、許容道路幅情報を教師情報として訓練されたニューラルネットワークである第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出するための第二取得サブユニット（図示せず）を含んでもよい。それに対して、該実施形態では、前記第一道路特徴情報は該第二道路特徴マップを含む。
本実施例のいくつかの任意選択的な実施形態では、前記第一ニューラルネットワークは第一サブニューラルネットワーク、第二サブニューラルネットワークおよび第三サブニューラルネットワークを含んでもよく、前記第一道路特徴情報取得ユニット４０１は、前記リモートセンシング画像を前記第一サブニューラルネットワークに入力し、それによって前記第一サブニューラルネットワークによって多チャネルの第一道路特徴マップを抽出するための第一取得サブユニット（図示せず）、前記多チャネルの第一道路特徴マップを、許容道路幅情報を教師情報として訓練されたニューラルネットワークである第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出するための第二取得サブユニット（図示せず）、および前記多チャネルの第二道路特徴マップを第三サブニューラルネットワークに入力し、それによって前記第三サブニューラルネットワークによって多チャネルの第三道路特徴マップを抽出するための第三取得サブユニット（図示せず）を含んでもよい。それに対して、該実施形態では、前記第一道路特徴情報は該第三道路特徴マップを含む。
本実施例のいくつかの任意選択的な実施形態では、前記許容道路幅情報は許容道路幅範囲であってもよく、前記道路地図における各道路の幅は前記許容道路幅範囲内に収まり、または、前記許容道路幅情報は所定道路幅であってもよく、前記道路地図における各道路の幅は前記所定道路幅である。
本実施例のいくつかの任意選択的な実施形態では、前記道路地図生成ユニット４０４は、前記融合結果を第四ニューラルネットワークに入力し、それによって前記第四ニューラルネットワークによって多チャネルの第四道路特徴情報を抽出するための第四道路特徴情報取得サブユニット（図示せず）、および前記多チャネルの第四道路特徴情報に基づいて道路地図を確定するための道路地図確定サブユニット（図示せず）を含んでもよい。
本実施例のいくつかの任意選択的な実施形態では、前記第四ニューラルネットワークは許容道路幅情報を教師情報として訓練されたニューラルネットワークである。
本実施例のいくつかの任意選択的な実施形態では、前記道路地図生成ユニット４０４はさらに、前記道路地図における道路の中心線を確定するための中心線確定サブユニット（図示せず）を含んでもよい。
本実施例のいくつかの任意選択的な実施形態では、前記道路地図生成ユニット４０４はさらに、前記道路地図をベクトル化し、道路ベクトルマップを得るための道路ベクトルマップ取得サブユニット（図示せず）を含んでもよい。
本実施例のいくつかの任意選択的な実施形態では、さらに、訓練用リモートセンシング画像の道路方向基準マップを取得し、訓練用リモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出し、前記多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定し、そして前記道路方向回帰マップと前記道路方向基準マップとの間の第一損失を前記訓練待ちの第三ニューラルネットワークに渡し、それによって前記訓練待ちの第三ニューラルネットワークのパラメータを調整するための第三ニューラルネットワークの訓練ユニット（図示せず）を含んでもよい。
本実施例のいくつかの任意選択的な実施形態では、さらに、訓練用リモートセンシング画像の等幅道路基準マップを取得し、訓練用のリモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップを抽出し、前記多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定し、そして前記第一道路確率マップと前記等幅道路基準マップとの間の第二損失を前記訓練待ちの第二サブニューラルネットワークに渡し、それによって前記訓練待ちの第二サブニューラルネットワークのパラメータを調整するための第二サブニューラルネットワークの訓練ユニット（図示せず）を含んでもよい。
本実施例のいくつかの任意選択的な実施形態では、さらに、訓練用リモートセンシング画像の等幅道路基準マップを取得し、訓練用のリモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出し、前記多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定し、そして前記第二道路確率マップと前記等幅道路基準マップとの間の第三損失を前記訓練待ちの第四ニューラルネットワークに渡し、それによって前記訓練待ちの第四ニューラルネットワークのパラメータを調整するための第四ニューラルネットワークの訓練ユニット（図示せず）を含んでもよい。
本実施例のいくつかの任意選択的な実施形態では、さらに、
訓練用リモートセンシング画像の等幅道路基準マップを取得し、訓練用リモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップを抽出し、多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定し、そして第一道路確率マップと等幅道路基準マップとの間の第二損失を第三ニューラルネットワーク、第二サブニューラルネットワークおよび第四ニューラルネットワークを含むニューラルネットワークシステムに渡すための第二サブニューラルネットワークの訓練ユニット、
訓練用リモートセンシング画像の道路方向基準マップを取得し、訓練用リモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出し、多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定し、そして道路方向回帰マップと道路方向基準マップとの間の第一損失を第三ニューラルネットワーク、第二サブニューラルネットワークおよび第四ニューラルネットワークを含むニューラルネットワークシステムに渡すための第三ニューラルネットワークの訓練ユニット、および
訓練用リモートセンシング画像の等幅道路基準マップを取得し、訓練用のリモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出し、多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定し、そして第二道路確率マップと等幅道路基準マップとの間の第三損失を第三ニューラルネットワーク、第二サブニューラルネットワークおよび第四ニューラルネットワークを含むニューラルネットワークシステムに渡し、それによって第一損失、第二損失と結合して前記ニューラルネットワークシステムのネットワークパラメータを調整するための第四ニューラルネットワークの訓練ユニットを含んでもよい。
本願の実施例は、実行可能命令を記憶するためのメモリ、および前記メモリと通信して前記実行可能命令を実行することで上記いずれか一つの実施例に記載の道路地図生成方法の動作を完了するためのプロセッサを含む電子機器を提供する。
本願の実施例はコンピュータ読み取り可能な命令を記憶するためのコンピュータ記憶媒体であって、上記命令は実行される時に上記いずれか一つの実施例に記載の道路地図生成方法の動作を実行するコンピュータ記憶媒体を提供する。
本願の実施例はコンピュータ読み取り可能コードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能コードが機器において運用される時、前記機器内のプロセッサは上記いずれか一つの実施例に係る道路地図生成方法を実現するための動作を実行するコンピュータプログラムを提供する。
以下に図５を参照すると、本願の実施例のサーバ５００の実現に適する一構成模式図が示される。
図５に示すように、サーバ５００は、読み取り専用メモリ（ＲＯＭ）５０２に記憶されているプログラムまたは記憶部分５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたプログラムに従って様々な適当の動作および処理を実行可能な中央処理装置（ＣＰＵ）５０１を含む。ＲＡＭ５０３には、さらにサーバ５００の動作に必要な種々のプログラムおよびデータが記憶されている。ＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３はバス５０４を介して互いに接続される。ＲＡＭ５０３が存在する場合、ＲＯＭ５０２は任意選択的なモジュールとなる。ＲＡＭ５０３は実行可能命令を記憶するか、または動作時にＲＯＭ５０２へ実行可能命令を書き込み、実行可能命令によってＣＰＵ５０１は上記いずれか一つの実施例の道路地図生成方法に対する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェース５０５もバス５０４に接続される。通信部５１２は統合設置してもよいし、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつバスリンクに存在する。
キーボード、マウスなどを含む入力部分５０６、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分５０７、ハードディスクなどを含む記憶部分５０８、およびＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信部分５０９といった部品は、Ｉ／Ｏインタフェース５０５に接続される。通信部分５０９はインターネットなどのネットワークによって通信処理を実行する。ドライバ５１０も必要に応じてＩ／Ｏインタフェース５０５に接続される。取り外し可能な媒体５１１、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバ５１０に取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分５０８にインストールされる。
特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現可能である。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含む。このような実施例では、該コンピュータプログラムは通信部分５０９によってネットワークからダウンロードおよびインストールでき、および／または取り外し可能な媒体５１１からインストールできる。
図面のうちフローチャートおよびブロック図は本願の様々な実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたはコードの一部分を代表することができ、上記モジュール、プログラムセグメント、またはコードの一部は指定された論理機能を実現するための一つ以上の実行可能命令を含む。なお、いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよいことにも注意すべきである。例えば、例えば、二つの連続的に示されるブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
本願の実施例に係るユニットはソフトウェアの方式で実現してもよいし、ハードウェアの方式で実現してもよい。記述されたユニットはプロセッサ内に設置してもよく、例えば、第一道路特徴情報取得ユニット、第三道路特徴情報取得ユニット、情報融合ユニットおよび道路地図生成ユニットを含むプロセッサのように記述してもよい。そのうち、これらのユニットの名称はある場合において該ユニットそのものを限定するものではなく、例えば、道路地図生成ユニットはさらに「道路地図を取得するためのユニット」のように記述してもよい。
別の一態様として、本願の実施例はさらに非揮発性コンピュータ記憶媒体を提供し、該非揮発性コンピュータ記憶媒体は上記実施例における上記装置に含まれる非揮発性コンピュータ記憶媒体であってもよいし、単独で存在し、端末に組み込まれていない非揮発性コンピュータ記憶媒体であってもよい。上記非揮発性コンピュータ記憶媒体には一つ以上のプログラムが記憶されており、上記一つ以上のプログラムは一つの機器に実行される時、上記機器に、リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出することと、前記多チャネルの第一道路特徴情報を、少なくとも道路方向情報を教師情報として訓練されたニューラルネットワークである第三ニューラルネットワークに入力し、それによって前記第三ニューラルネットワークによって多チャネルの第三道路特徴情報を抽出することと、前記第一道路特徴情報と前記第三道路特徴情報とを融合することと、融合結果に基づいて道路地図を生成することと、を完了させる。
以上の記述は本願の任意選択的な実施例および運用する技術的原理に対する説明に過ぎない。当業者であれば、本願の実施例に係る発明範囲は、上記技術的特徴の確定の組み合わせによる技術的解決手段に限定されず、上記発明思想から逸脱することなく、上記技術的特徴またはその均等特徴を任意に組み合わせた他の技術的解決手段、例えば上記特徴と本願の実施例において開示した（これに限定されず）類似機能を有する技術的特徴とを置換した技術的解決手段をも包含するものとすることを理解すべきである。

Claims (30)

  1. リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出することと、
    前記多チャネルの第一道路特徴情報を第三ニューラルネットワークに入力し、それによって前記第三ニューラルネットワークによって多チャネルの第三道路特徴情報を抽出することであって、前記第三ニューラルネットワークが、道路方向情報を教師情報として訓練されたニューラルネットワークである、ことと、
    前記第一道路特徴情報と前記第三道路特徴情報とを融合することと、
    融合結果に基づいて道路地図を生成することと、を含むことを特徴とする道路地図生成方法。
  2. 前記第一道路特徴情報と前記第三道路特徴情報とを融合する前記ステップは、
    前記第一道路特徴情報と前記第三道路特徴情報とを加え、または重み付けて加えること、または、
    前記第一道路特徴情報と前記第三道路特徴情報とを連結することを含むことを特徴とする請求項１に記載の方法。
  3. 前記第一ニューラルネットワークは、許容道路幅情報を教師情報として訓練されたニューラルネットワークである第二サブニューラルネットワークを含み、
    リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出する前記ステップは、
    前記リモートセンシング画像を前記第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出することを含み、ここで、前記第一道路特徴情報は前記第二道路特徴マップを含むことを特徴とする請求項１または２に記載の方法。
  4. 前記第一ニューラルネットワークはさらに第一サブニューラルネットワークを含み、
    前記リモートセンシング画像を前記第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出する前記ステップは、
    前記リモートセンシング画像を前記第一サブニューラルネットワークに入力し、それによって前記第一サブニューラルネットワークによって多チャネルの第一道路特徴マップを抽出することと、
    前記多チャネルの第一道路特徴マップを前記第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出することと、を含むことを特徴とする請求項３に記載の方法。
  5. 前記第一ニューラルネットワークはさらに第三サブニューラルネットワークを含み、
    前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出する前記ステップの後に、さらに、
    前記多チャネルの第二道路特徴マップを前記第三サブニューラルネットワークに入力し、それによって前記第三サブニューラルネットワークによって多チャネルの第三道路特徴マップを抽出することを含み、ここで、前記第一道路特徴情報は前記第三道路特徴マップを含むことを特徴とする請求項３または４に記載の方法。
  6. 前記許容道路幅情報は許容道路幅範囲を含み、前記道路地図における少なくとも一つの道路の幅は前記許容道路幅範囲内に収まり、または、
    前記許容道路幅情報は所定道路幅を含み、前記道路地図における少なくとも一つの道路の幅は前記所定道路幅であることを特徴とする請求項３から５のいずれか一項に記載の方法。
  7. 融合結果に基づいて道路地図を生成する前記ステップは、
    前記融合結果を第四ニューラルネットワークに入力し、それによって前記第四ニューラルネットワークによって多チャネルの第四道路特徴情報を抽出することと、
    前記多チャネルの第四道路特徴情報に基づいて道路地図を確定することと、を含むことを特徴とする請求項１から６のいずれか一項に記載の方法。
  8. 前記第四ニューラルネットワークは許容道路幅情報を教師情報として訓練されたニューラルネットワークであることを特徴とする請求項７に記載の方法。
  9. 融合結果に基づいて道路地図を生成する前記ステップの後に、さらに、
    前記道路地図における道路の中心線を確定することを含むことを特徴とする請求項１から８のいずれか一項に記載の方法。
  10. 融合結果に基づいて道路地図を生成する前記ステップの後に、さらに、
    前記道路地図をベクトル化し、道路ベクトルマップを得ることを含むことを特徴とする請求項１から９のいずれか一項に記載の方法。
  11. さらに、
    リモートセンシング画像サンプルの道路方向基準マップを取得することと、
    前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって前記訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出することと、
    前記多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定することと、
    前記道路方向回帰マップと前記道路方向基準マップとの間の第一損失を前記訓練待ちの第三ニューラルネットワークに渡し、それによって前記訓練待ちの第三ニューラルネットワークのパラメータを調整することと、を含むことを特徴とする請求項１から１０のいずれか一項に記載の方法。
  12. さらに、
    リモートセンシング画像サンプルの等幅道路基準マップを取得することと、
    前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって前記訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップを抽出することと、
    前記多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定することと、
    前記第一道路確率マップと前記等幅道路基準マップとの間の第二損失を前記訓練待ちの第二サブニューラルネットワークに渡し、それによって前記訓練待ちの第二サブニューラルネットワークのパラメータを調整することと、を含むことを特徴とする請求項３から１１のいずれか一項に記載の方法。
  13. さらに、
    リモートセンシング画像サンプルの等幅道路基準マップを取得することと、
    前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって前記訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出することと、
    前記多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定することと、
    前記第二道路確率マップと前記等幅道路基準マップとの間の第三損失を前記訓練待ちの第四ニューラルネットワークに渡し、それによって前記訓練待ちの第四ニューラルネットワークのパラメータを調整することと、を含むことを特徴とする請求項７から１２のいずれか一項に記載の方法。
  14. さらに、
    リモートセンシング画像サンプルの等幅道路基準マップおよび道路方向基準マップを取得し、前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって前記訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップを抽出し、前記多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定することと、
    前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって前記訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出し、前記多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定することと、
    前記リモートセンシング画像サンプルまたは前記リモートセンシング画像サンプルの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって前記訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出し、前記多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定することと、
    前記道路方向回帰マップと前記道路方向基準マップとの間の第一損失、前記第一道路確率マップと前記等幅道路基準マップとの間の前記第二損失、前記第二道路確率マップと前記等幅道路基準マップとの間の第三損失を、前記第三ニューラルネットワーク、前記第二サブニューラルネットワークおよび前記第四ニューラルネットワークを含むニューラルネットワークシステムにそれぞれ渡し、それによって前記ニューラルネットワークシステムのネットワークパラメータを総合的に調整することと、を含むことを特徴とする請求項７から１０のいずれか一項に記載の方法。
  15. リモートセンシング画像を第一ニューラルネットワークに入力し、それによって前記第一ニューラルネットワークによって多チャネルの第一道路特徴情報を抽出するための第一道路特徴情報取得ユニットと、
    前記多チャネルの第一道路特徴情報を第三ニューラルネットワークに入力し、それによって前記第三ニューラルネットワークによって多チャネルの第三道路特徴情報を抽出するための第三道路特徴情報取得ユニットであって、前記第三ニューラルネットワークが、道路方向情報を教師情報として訓練されたニューラルネットワークである、第三道路特徴情報取得ユニットと、
    前記第一道路特徴情報と前記第三道路特徴情報とを融合するための情報融合ユニットと、
    融合結果に基づいて道路地図を生成するための道路地図生成ユニットと、を含むことを特徴とする道路地図生成装置。
  16. 前記情報融合ユニットは、前記第一道路特徴情報と前記第三道路特徴情報とを加え、または重み付けて加えること、または、前記第一道路特徴情報と前記第三道路特徴情報とを連結することに用いられることを特徴とする請求項１５に記載の装置。
  17. 前記第一ニューラルネットワークは、許容道路幅情報を教師情報として訓練されたニューラルネットワークである第二サブニューラルネットワークを含み、
    前記第一道路特徴情報取得ユニットは、
    前記リモートセンシング画像を前記第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出するための第一取得サブユニットを含み、ここで、前記第一道路特徴情報は前記第二道路特徴マップを含むことを特徴とする請求項１５または１６に記載の装置。
  18. 前記第一ニューラルネットワークはさらに第一サブニューラルネットワークを含み、
    前記第一道路特徴情報取得ユニットはさらに、
    前記リモートセンシング画像を前記第一サブニューラルネットワークに入力し、それによって前記第一サブニューラルネットワークによって多チャネルの第一道路特徴マップを抽出するための第一取得サブユニットを含み、
    前記第二取得サブユニットは、前記多チャネルの第一道路特徴マップを第二サブニューラルネットワークに入力し、それによって前記第二サブニューラルネットワークによって多チャネルの第二道路特徴マップを抽出するために用いられることを特徴とする請求項１７に記載の装置。
  19. 前記第一ニューラルネットワークはさらに第三サブニューラルネットワークを含み、
    前記第一道路特徴情報取得ユニットはさらに、
    前記多チャネルの第二道路特徴マップを第三サブニューラルネットワークに入力し、それによって前記第三サブニューラルネットワークによって多チャネルの第三道路特徴マップを抽出するための第三取得サブユニットを含み、ここで、前記第一道路特徴情報は前記第三道路特徴マップを含むことを特徴とする請求項１７または１８に記載の装置。
  20. 前記許容道路幅情報は許容道路幅範囲を含み、前記道路地図における少なくとも一つの道路の幅は前記許容道路幅範囲内に収まり、または、
    前記許容道路幅情報は所定道路幅を含み、前記道路地図における少なくとも一つの道路の幅は前記所定道路幅であることを特徴とする請求項１７から１９のいずれか一項に記載の装置。
  21. 前記道路地図生成ユニットは、
    前記融合結果を第四ニューラルネットワークに入力し、それによって前記第四ニューラルネットワークによって多チャネルの第四道路特徴情報を抽出するための第四道路取得サブユニットと、
    前記多チャネルの第四道路特徴情報に基づいて道路地図を確定するための道路地図確定サブユニットと、を含むことを特徴とする請求項１５から２０のいずれか一項に記載の装置。
  22. 前記第四ニューラルネットワークは許容道路幅情報を教師情報として訓練されたニューラルネットワークであることを特徴とする請求項２１に記載の装置。
  23. 前記道路地図生成ユニットはさらに、
    前記道路地図における道路の中心線を確定するための中心線確定サブユニットを含むことを特徴とする請求項１５から２２のいずれか一項に記載の装置。
  24. 前記道路地図生成ユニットはさらに、
    前記道路地図をベクトル化し、道路ベクトルマップを得るための道路ベクトルマップ取得サブユニットを含むことを特徴とする請求項１５から２３のいずれか一項に記載の装置。
  25. さらに、
    訓練用リモートセンシング画像の道路方向基準マップを取得し、
    前記訓練用リモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって前記訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出し、
    前記多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定し、そして
    前記道路方向回帰マップと前記道路方向基準マップとの間の第一損失を前記訓練待ちの第三ニューラルネットワークに渡し、それによって前記訓練待ちの第三ニューラルネットワークのパラメータを調整するための第三ニューラルネットワークの訓練ユニットを含むことを特徴とする請求項１５から２４のいずれか一項に記載の装置。
  26. さらに、
    訓練用リモートセンシング画像の等幅道路基準マップを取得し、
    前記訓練用リモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって前記訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップを抽出し、
    前記多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定し、そして
    前記第一道路確率マップと前記等幅道路基準マップとの間の第二損失を前記訓練待ちの第二サブニューラルネットワークに渡し、それによって前記訓練待ちの第二サブニューラルネットワークのパラメータを調整するための第二サブニューラルネットワークの訓練ユニットを含むことを特徴とする請求項１７から２５のいずれか一項に記載の装置。
  27. さらに、
    訓練用リモートセンシング画像の等幅道路基準マップを取得し、
    訓練用のリモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって前記訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出し、
    前記多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定し、そして
    前記第二道路確率マップと前記等幅道路基準マップとの間の第三損失を前記訓練待ちの第四ニューラルネットワークに渡し、それによって前記訓練待ちの第四ニューラルネットワークのパラメータを調整するための第四ニューラルネットワークの訓練ユニットを含むことを特徴とする請求項２１から２６のいずれか一項に記載の装置。
  28. さらに、
    訓練用リモートセンシング画像の等幅道路基準マップを取得し、前記訓練用リモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第二サブニューラルネットワークに入力し、それによって前記訓練待ちの第二サブニューラルネットワークによって多チャネルの第五道路特徴マップを抽出し、前記多チャネルの第五道路特徴マップに基づいて第一道路確率マップを確定し、そして前記第一道路確率マップと前記等幅道路基準マップとの間の第二損失を前記第三ニューラルネットワーク、前記第二サブニューラルネットワークおよび前記第四ニューラルネットワークを含むニューラルネットワークシステムに渡すための第二サブニューラルネットワークの訓練ユニット、
    訓練用リモートセンシング画像の道路方向基準マップを取得し、前記訓練用リモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第三ニューラルネットワークに入力し、それによって前記訓練待ちの第三ニューラルネットワークによって多チャネルの第四道路特徴マップを抽出し、前記多チャネルの第四道路特徴マップに基づいて道路方向回帰マップを確定し、そして前記道路方向回帰マップと前記道路方向基準マップとの間の第一損失を前記第三ニューラルネットワーク、前記第二サブニューラルネットワークおよび前記第四ニューラルネットワークを含むニューラルネットワークシステムに渡すための第三ニューラルネットワークの訓練ユニット、および
    訓練用リモートセンシング画像の等幅道路基準マップを取得し、訓練用のリモートセンシング画像またはそれの多チャネルの道路特徴マップを訓練待ちの第四ニューラルネットワークに入力し、それによって前記訓練待ちの第四ニューラルネットワークによって多チャネルの第六道路特徴マップを抽出し、前記多チャネルの第六道路特徴マップに基づいて第二道路確率マップを確定し、そして前記第二道路確率マップと前記等幅道路基準マップとの間の第三損失を前記第三ニューラルネットワーク、前記第二サブニューラルネットワークおよび前記第四ニューラルネットワークを含むニューラルネットワークシステムに渡し、それによって前記第一損失、前記第二損失と結合して前記ニューラルネットワークシステムのネットワークパラメータを調整するための第四ニューラルネットワークの訓練ユニットを含むことを特徴とする請求項２１から２４のいずれか一項に記載の装置。
  29. 実行可能命令を記憶するためのメモリ、および
    前記メモリと通信して前記実行可能命令を実行することで請求項１から１４のいずれか一項に記載の道路地図生成方法の動作を完了するためのプロセッサを含むことを特徴とする電子機器。
  30. コンピュータ読み取り可能な命令を記憶するためのコンピュータ記憶媒体であって、前記命令は実行される時に請求項１から１４のいずれか一項に記載の道路地図生成方法の動作を実行することを特徴とするコンピュータ記憶媒体。
JP2019558374A 2017-09-19 2018-07-19 道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体 Active JP6918139B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710848159.2 2017-09-19
CN201710848159.2A CN108230421A (zh) 2017-09-19 2017-09-19 一种道路图生成方法、装置、电子设备和计算机存储介质
PCT/CN2018/096332 WO2019056845A1 (zh) 2017-09-19 2018-07-19 道路图生成方法、装置、电子设备和计算机存储介质

Publications (2)

Publication Number Publication Date
JP2020520493A true JP2020520493A (ja) 2020-07-09
JP6918139B2 JP6918139B2 (ja) 2021-08-11

Family

ID=62655449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019558374A Active JP6918139B2 (ja) 2017-09-19 2018-07-19 道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体

Country Status (5)

Country Link
US (1) US11354893B2 (ja)
JP (1) JP6918139B2 (ja)
CN (1) CN108230421A (ja)
SG (1) SG11201909743QA (ja)
WO (1) WO2019056845A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102352009B1 (ko) * 2020-10-16 2022-01-18 한국항공우주연구원 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법 및 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템
JP2022040067A (ja) * 2020-08-28 2022-03-10 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 更新道路を識別する方法、装置、デバイス及びコンピュータ記憶媒体
WO2023170997A1 (ja) * 2022-03-11 2023-09-14 日立Astemo株式会社 地図情報処理装置
US12025443B2 (en) 2020-08-28 2024-07-02 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for identifying updated road, device and computer storage medium

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230421A (zh) * 2017-09-19 2018-06-29 北京市商汤科技开发有限公司 一种道路图生成方法、装置、电子设备和计算机存储介质
CN109376594A (zh) * 2018-09-11 2019-02-22 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的视觉感知方法、装置、设备以及介质
CN109359598B (zh) * 2018-10-18 2019-09-24 中国科学院空间应用工程与技术中心 一种识别光学遥感图像道路的y型神经网络系统及方法
CN109597862B (zh) * 2018-10-31 2020-10-16 百度在线网络技术（北京）有限公司 基于拼图式的地图生成方法、装置及计算机可读存储介质
CN111047856B (zh) * 2019-04-09 2020-11-10 浙江鸣春纺织股份有限公司 多通道拥堵指数获取平台
CN110967028B (zh) * 2019-11-26 2022-04-12 深圳优地科技有限公司 导航地图构建方法、装置、机器人及存储介质
CN111353441B (zh) * 2020-03-03 2021-04-23 成都大成均图科技有限公司 基于位置数据融合的道路提取方法和系统
CN113496182B (zh) * 2020-04-08 2024-05-21 北京京东叁佰陆拾度电子商务有限公司 基于遥感影像的道路提取方法及装置、存储介质及设备
CN115135964A (zh) * 2020-06-02 2022-09-30 华为技术有限公司 用于检测道路上的减速带和坑洞的装置、系统和方法
CN113033608A (zh) * 2021-02-08 2021-06-25 北京工业大学 遥感影像道路提取方法及装置
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
CN113505627A (zh) * 2021-03-31 2021-10-15 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
CN113361371B (zh) * 2021-06-02 2023-09-22 北京百度网讯科技有限公司 道路提取方法、装置、设备以及存储介质
WO2023277791A1 (en) * 2021-06-30 2023-01-05 Grabtaxi Holdings Pte. Ltd Server and method for generating road map data
CN113421277B (zh) * 2021-08-25 2021-12-14 中科星图股份有限公司 基于遥感图像的道路提取及异常监控的方法和装置
CN116109966B (zh) * 2022-12-19 2023-06-27 中国科学院空天信息创新研究院 一种面向遥感场景的视频大模型构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230518A (ja) * 2008-03-24 2009-10-08 Hitachi Software Eng Co Ltd 道路地図データ作成システム
US20160239983A1 (en) * 2015-02-13 2016-08-18 Here Global B.V. Method and apparatus for generating map geometry based on a received image and probe data
US20170140245A1 (en) * 2015-11-16 2017-05-18 Orbital Insight, Inc. Moving vehicle detection and analysis using low resolution remote sensing imagery

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660441B2 (en) * 2004-07-09 2010-02-09 Southern California, University System and method for fusing geospatial data
US8675995B2 (en) * 2004-07-09 2014-03-18 Terrago Technologies, Inc. Precisely locating features on geospatial imagery
US7974814B2 (en) * 2007-06-15 2011-07-05 Raytheon Company Multiple sensor fusion engine
CN102110364B (zh) * 2009-12-28 2013-12-11 日电（中国）有限公司 基于路口和路段的交通信息处理方法和装置
US9416499B2 (en) * 2009-12-31 2016-08-16 Heatwurx, Inc. System and method for sensing and managing pothole location and pothole characteristics
US8706407B2 (en) * 2011-03-30 2014-04-22 Nokia Corporation Method and apparatus for generating route exceptions
US9317779B2 (en) * 2012-04-06 2016-04-19 Brigham Young University Training an image processing neural network without human selection of features
US9037519B2 (en) * 2012-10-18 2015-05-19 Enjoyor Company Limited Urban traffic state detection based on support vector machine and multilayer perceptron
CN103310443B (zh) * 2013-05-20 2016-04-27 华浩博达（北京）科技股份有限公司 高分辨率遥感影像快速处理方法及系统
US20160371977A1 (en) * 2014-02-26 2016-12-22 Analog Devices, Inc. Apparatus, systems, and methods for providing intelligent vehicular systems and services
US20160379388A1 (en) * 2014-07-16 2016-12-29 Digitalglobe, Inc. System and method for combining geographical and economic data extracted from satellite imagery for use in predictive modeling
CN104915636B (zh) * 2015-04-15 2019-04-12 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
WO2017031382A2 (en) * 2015-08-18 2017-02-23 Digitalglobe, Inc. Movement intelligence using satellite imagery
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN105184270B (zh) * 2015-09-18 2019-06-18 深圳市数字城市工程研究中心 一种基于脉冲耦合神经网络方法的道路信息遥感提取方法
US9950700B2 (en) * 2016-03-30 2018-04-24 GM Global Technology Operations LLC Road surface condition detection with multi-scale fusion
US20170300763A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Road feature detection using a vehicle camera system
CN106909886B (zh) * 2017-01-20 2019-05-03 中国石油大学(华东) 一种基于深度学习的高精度交通标志检测方法及系统
CN107025440A (zh) * 2017-03-27 2017-08-08 北京航空航天大学 一种基于新型卷积神经网络的遥感图像道路提取方法
CN106874894B (zh) * 2017-03-28 2020-04-14 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
US10869627B2 (en) * 2017-07-05 2020-12-22 Osr Enterprises Ag System and method for fusing information related to a driver of a vehicle
US10395144B2 (en) * 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
CN108230421A (zh) * 2017-09-19 2018-06-29 北京市商汤科技开发有限公司 一种道路图生成方法、装置、电子设备和计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230518A (ja) * 2008-03-24 2009-10-08 Hitachi Software Eng Co Ltd 道路地図データ作成システム
US20160239983A1 (en) * 2015-02-13 2016-08-18 Here Global B.V. Method and apparatus for generating map geometry based on a received image and probe data
US20170140245A1 (en) * 2015-11-16 2017-05-18 Orbital Insight, Inc. Moving vehicle detection and analysis using low resolution remote sensing imagery

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
齋藤 俊太: "Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを用いた航空画像からの建物・道路検出", 第２２回 画像センシングシンポジウム ＳＳＩＩ２０１６ ［ＵＳＢ］ THE 22ND SYMPOSIUM ON SENSING VI, JPN6020048852, JP, ISSN: 0004410060 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022040067A (ja) * 2020-08-28 2022-03-10 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 更新道路を識別する方法、装置、デバイス及びコンピュータ記憶媒体
JP7196382B2 (ja) 2020-08-28 2022-12-27 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 更新道路を識別する方法、装置、デバイス及びコンピュータ記憶媒体
US12025443B2 (en) 2020-08-28 2024-07-02 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for identifying updated road, device and computer storage medium
KR102352009B1 (ko) * 2020-10-16 2022-01-18 한국항공우주연구원 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법 및 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템
WO2023170997A1 (ja) * 2022-03-11 2023-09-14 日立Astemo株式会社 地図情報処理装置

Also Published As

Publication number Publication date
CN108230421A (zh) 2018-06-29
US20200050854A1 (en) 2020-02-13
JP6918139B2 (ja) 2021-08-11
US11354893B2 (en) 2022-06-07
SG11201909743QA (en) 2019-11-28
WO2019056845A1 (zh) 2019-03-28

Similar Documents

Publication Publication Date Title
JP6918139B2 (ja) 道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体
CN107328424B (zh) 导航方法和装置
US10268926B2 (en) Method and apparatus for processing point cloud data
CN110163153B (zh) 用于识别交通标志牌边界的方法及装置
WO2012098621A1 (ja) 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
EP3242225B1 (en) Method and apparatus for determining region of image to be superimposed, superimposing image and displaying image
CN108389172B (zh) 用于生成信息的方法和装置
CN112927234A (zh) 点云语义分割方法、装置、电子设备和可读存储介质
CN107830869B (zh) 用于车辆的信息输出方法和装置
US20180293980A1 (en) Visually impaired augmented reality
CN110119725B (zh) 用于检测信号灯的方法及装置
WO2020062494A1 (zh) 图像处理方法和装置
CN109656319B (zh) 一种用于呈现地面行动辅助信息方法与设备
US11644330B2 (en) Setting destinations in vehicle navigation systems based on image metadata from portable electronic devices and from captured images using zero click navigation
CN114663397A (zh) 可行驶区域的检测方法、装置、设备及存储介质
CN111766891A (zh) 用于控制无人机飞行的方法和装置
CN110097600B (zh) 用于识别交通标志牌的方法及装置
CN115082690B (zh) 目标识别方法、目标识别模型训练方法及装置
CN114549961B (zh) 目标对象的检测方法、装置、设备以及存储介质
CN115861755A (zh) 特征融合方法、装置、电子设备及自动驾驶车辆
CN115077539A (zh) 一种地图生成方法、装置、设备以及存储介质
CN109934045B (zh) 行人检测方法和装置
CN113654548A (zh) 定位方法、装置、电子设备及存储介质
CN116704473B (zh) 障碍物信息检测方法、装置、电子设备和计算机可读介质
CN115019278B (zh) 一种车道线拟合方法、装置、电子设备和介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210720

R150 Certificate of patent or registration of utility model

Ref document number: 6918139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250