JP2022547580A - 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め - Google Patents

表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め Download PDF

Info

Publication number
JP2022547580A
JP2022547580A JP2022516063A JP2022516063A JP2022547580A JP 2022547580 A JP2022547580 A JP 2022547580A JP 2022516063 A JP2022516063 A JP 2022516063A JP 2022516063 A JP2022516063 A JP 2022516063A JP 2022547580 A JP2022547580 A JP 2022547580A
Authority
JP
Japan
Prior art keywords
spr
image
vehicle
images
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022516063A
Other languages
English (en)
Inventor
サンフォード フリードマン，
Original Assignee
ウェーブセンス， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェーブセンス， インコーポレイテッド filed Critical ウェーブセンス， インコーポレイテッド
Publication of JP2022547580A publication Critical patent/JP2022547580A/ja
Priority to JP2023111418A priority Critical patent/JP2023126938A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/885—Radar or analogous systems specially adapted for specific applications for ground probing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/60—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • G01S13/605—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track using a pattern, backscattered from the ground, to determine speed or drift by measuring the time required to cover a fixed distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/876—Combination of several spaced transponders or reflectors of known location for determining the position of a receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

位置決めまたはナビゲーションのための表面探知レーダー（ＳＰＲ）システムの性能を改良または判定するための深層学習。車両は、車両がルートに沿って走行しているとき、ＳＰＲ信号を入手するためのＳＰＲを含む地形モニタリングシステムを採用する。プロセッサとプロセッサによって実行可能な電子的に記憶された命令とを含むオンボードコンピュータが、取得されたＳＰＲ画像を分析し、取得された画像を予測子への入力として使用することによって、取得されたＳＰＲ画像における表面下構造をコンピュータによって識別し得、予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている。

Description

（関連出願の相互参照）
本出願は、２０１９年９月１３日に出願された米国仮特許出願第６２／９００，０９８号に対する優先権およびその利益を主張し、その全体を参照によって本明細書に援用する。
（発明の分野）
本発明は、概して、車両の位置決めおよびナビゲーションに関連し、より一般には、深層学習技術を使用した精度の改良、およびシステムモニタリングに関連する。
（背景）
表面探知レーダー（ＳＰＲ）システムは、ナビゲーションおよび車両の位置決めのために使用されている（例えば、米国特許第８，９４９，０２４号を参照。その開示全体が、参照によって本明細書に援用される）。ＳＰＲは、ＧＰＳの精度をマルチパスまたはシャドウイングが劣化させる環境（都市など）において使用され得るか、または、光学検知アプローチの代替として使用され得る（光学検知アプローチは、暗闇もしくは変化する場面照明を許容し得ず、または、その性能が天候条件の変動によって悪影響を及ぼされ得る）。
具体的には、ＳＰＲは、車両が地形を横断しているとき、表面特徴と表面下特徴とを含むスキャンを取得するために使用され得、取得されたデータスキャンは、その環境において車両位置を位置決めするために、同じ環境において以前に取得された参照スキャンデータと比較され得る。参照スキャンデータが地理的位置情報によってラベル付けされている場合、車両の絶対位置が、ラベル付けによって決定され得る。
スキャンデータ比較は、例えば、相関に基づいた位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）プロセスであり得る（例えば、米国特許第８，７８６，４８５号を参照。その開示全体が、参照によって本明細書に援用される）。参照スキャンデータに基づいたＳＰＲの位置決めが従来技術の上記の制限を克服するが、ＳＰＲセンサは、確実ではなく、位置合わせプロセスは、ある程度の誤差を必然的に示す。例えば、誤差は、不確定な地面条件、ＳＰＲセンサの老朽化もしくは機能不全、車両の速さ、または周囲条件（風速もしくは温度など）の変動から生じ得る。
従って、ＳＰＲベースの位置決めシステムの精度を改良することと、誤差状態の発生を最小化することと、リアルタイム位置決め推定の信頼度を推定することとを行う測定へのニーズが、存在する。
（概要）
本発明の実施形態は、深層学習を使用し、位置決めまたはナビゲーションのためのＳＰＲシステムの性能を改良または判定する。「深層学習」という用語は、複数の層を使用し、未加工の画像からより高いレベルの特徴を段階的に抽出する機械学習アルゴリズムを指す。深層学習は、一般に、人間の脳と同様の手法において情報を処理するニューラルネットワークを伴う。そのネットワークは、並列に稼働し、特定の問題を解決する高度に相互接続された多数の処理要素（ニューロン）からなる。ニューラルネットワークは、例を用いて学習し、ニューラルネットワークは、高いレベルの性能を確実にすることと、訓練時間を低減させることと、システムバイアスを最小化することとを行うために入念に収集され、精選された訓練用の例を用いて適切に訓練されなければならない。
畳み込みニューラルネットワーク（ＣＮＮ）は、しばしば、画像を分類するために、または画像場面中に描画された物体を識別（および分類）するために使用される。例えば、自己運転車両の用途は、コンピュータビジョンモジュールにおいてＣＮＮを採用し、車両の経路上の交通標識、自転車に乗っている人、または歩行者を識別し得る。ＣＮＮは、畳み込みを使用して入力画像から特徴を抽出し、畳み込みは、ピクセル間の空間的関係を保つが、小さな正方形の入力データを使用して画像特徴を学習することを促進する。ニューラルネットワークは、例を用いて学習し、それによって、画像は、関心特徴を含むもの、または含まないものとしてラベル付けされ得る（オートエンコーダは、ラベル付けを伴わずに学習し得る）。システムが信頼度を伴って効率的に実施すべきである場合、例は、入念に選択され、通常、数において大きくなければならない。
従って、第一の局面では、本発明は、表面下構造を検出し、識別する方法に関する。様々な実施形態において、方法は、ＳＰＲ画像を取得するステップと、取得された画像を予測子への入力として使用することによって、取得された画像における表面下構造をコンピュータによって識別するステップとを含み、予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている。
いくつかの実施形態では、方法は、ルートの横断中、追加のＳＰＲ画像を取得するステップと、予測子によって、ＳＰＲ画像において、予測子が認識するように訓練されている表面下特徴を認識するステップと、画像における認識された特徴をその画像が入手されたときに対応する地球座標に関連付け、地球座標に基づいて、認識された特徴に対応する表面下構造の電子マップを生成するステップとを同様に含む。
様々な実施形態では、方法は、車両によるルートの横断中、追加のＳＰＲ画像を取得するステップと、予測子によって、ＳＰＲ画像において、前記予測子が認識するように訓練されている表面下特徴を認識するステップと、認識された特徴をその認識された特徴に対応する地球座標に関連付けるステップと、少なくとも部分的に認識された表面下特徴と認識された表面下特徴の地球座標とに基づいて、車両をナビゲートするステップとをさらに含む。
別の局面では、本発明は、表面下構造を検出し、識別するためのシステムに関連する。様々な実施形態において、システムは、ＳＰＲ画像を取得するためのＳＰＲシステムと、プロセッサとプロセッサによって実行可能な電子的に記憶された命令とを含むコンピュータとを備え、コンピュータは、取得されたＳＰＲ画像を分析し、取得された画像を予測子への入力として使用することによって、取得されたＳＰＲ画像における表面下構造をコンピュータによって識別し、予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている。
前述の局面のいずれかにおいて、予測子は、ニューラルネットワーク（例えば、畳み込みニューラルネットワークまたは回帰型ニューラルネットワーク）であり得る。
本発明のさらに別の局面は、車両の走行中に表面探知レーダー（ＳＰＲ）画像を取得するためのＳＰＲシステムと、プロセッサとプロセッサによって実行可能な電子的に記憶された命令とを含むコンピュータとを備えている車両に関し、コンピュータは、取得されたＳＰＲ画像を分析し、取得された画像を予測子への入力として使用することによって、取得されたＳＰＲ画像における表面下構造をコンピュータによって識別し、予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている。
様々な実施形態において、コンピュータは、画像における認識された特徴をその画像が入手されたときに対応する地球座標に関連付け、地球座標に基づいて、認識された特徴に対応する表面下構造の電子マップを生成するように構成されている。代替として、または加えて、コンピュータは、画像における認識された特徴をその認識された特徴に対応する地球座標に関連付け、少なくとも部分的に認識された表面下特徴と認識された表面下特徴の地球座標とに基づいて、車両をナビゲートするように構成され得る。
本明細書中で使用される場合、「実質的に」という用語は、組織体積による±１０％を意味し、いくつかの実施形態では、組織体積による±５％を意味する。「臨床的に著しい」は、臨床医によって著しいと見做される、例えば組織に対する損傷の発現を発動させる組織上の所望されない効果（ときに、所望される効果の欠如）を有することを意味する。本明細書全体を通した「一例」、「ある例」、「一実施形態」、または「ある実施形態」への言及は、例に関連して記載された具体的な特徴、構造または特質が本技術の少なくとも一例に含まれることを意味する。従って、本明細書全体を通した様々な箇所における「一例では」、「ある例では」、「一実施形態」、または「ある実施形態」というフレーズの出現は、それらのすべてが同じ例に言及しているとは限らない。さらに、具体的な特徴、構造、ルーチン、ステップ、または特質が、本技術の１つ以上の例において、任意の好適な手法において組み合わされ得る。本明細書中で提供される見出しは、便宜上のためのみであり、主張される技術の範囲または意味を限定または解釈することを意図されていない。
（図面の簡単な説明）
以上の、および以下の詳細な説明は、図面と併せて受け取られると、より容易に理解される。
図１Ａは、本発明の実施形態に従った地形モニタリングシステムを含む例示的な走行中の車両を概略的に図示している。
図１Ｂは、地形モニタリングシステムのアンテナが道路の表面に近いかまたは道路の表面に接触している代替構成を概略的に図示している。
図２は、本発明の実施形態に従った例示的地形モニタリングシステムを概略的に描写している。
図３は、ＣＮＮまたは他の形態の深層学習がＳＰＲシステムと統合されている例示的アーキテクチャを概略的に描写している。
（詳細な説明）
まず図１Ａを参照すると、図１Ａは、既定のルート１０４上を走行する例示的車両１０２を描写しており、車両１０２は、本明細書に従った車両ナビゲーションのための地形モニタリングシステム１０６を提供されている。様々な実施形態において、地形モニタリングシステム１０６は、車両１０２の前部（または任意の好適な部分）に固定された地中探知レーダー（ＧＰＲ）アンテナアレイ１１０を有するＳＰＲナビゲーションおよび制御システム１０８を含む。ＧＰＲアンテナアレイ１１０は、一般に、地表面に対して平行に向けられ、走行方向に対して垂直に延びている。ある代替構成では、ＧＰＲアンテナアレイ１１０は、道路の表面により近いかまたは道路の表面に接触している（図１Ｂ）。一実施形態では、ＧＰＲアンテナアレイ１１０は、ＧＰＲ信号を道路に伝送するための空間不変アンテナ素子の線状構成を含み、ＧＰＲ信号は、道路表面を通って地下領域に伝搬し、上方向に反射され得る。反射されたＧＰＲ信号は、ＧＰＲアンテナアレイ１１０内の受信用アンテナ素子によって検出されることができる。様々な実施形態において、検出されたＧＰＲ信号は、その後、車両１０２の通り道に沿って地下領域の１つ以上のＳＰＲ画像（例えば、ＧＰＲ画像）を生成するために処理され、分析される。ＳＰＲアンテナアレイ１１０が表面に接触していない場合、受信される最も強いリターン信号は、道路表面によって引き起こされる反射であり得る。従って、ＳＰＲ画像は、表面データ（すなわち、地下領域と大気または局所環境との界面に関するデータ）を含み得る。ＧＰＲ信号を処理するための好適なＧＰＲアンテナ構成およびシステムは、例えば米国特許第８，９４９，０２４号に記載され、米国特許第８，９４９，０２４号の開示全体は、参照によって本明細書に援用される。
ナビゲーションのために、ＳＰＲ画像は、定義されたルートに関する地下領域と少なくとも部分的に重複している地下領域に関して以前に取得され、記憶されたＳＰＲ参照画像と比較される。画像比較は、例えば、上述の’４８５号特許に記載された相関に基づいた位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）プロセスであり得る。車両１０２の場所、および／またはルート１０４の地形条件は、その後、比較に基づいて決定されることができる。いくつかの実施形態では、検出されたＧＰＲ信号は、ルート１０４の地形条件を推定するために他のリアルタイム情報と組み合わされる（天候条件、電気光学（ＥＯ）画像、車両１０２に採用された１つ以上のセンサを使用した車両の健康状態のモニタリング、および任意の好適な入力など）。
図２は、ＳＰＲ画像に基づいて走行をナビゲートするために車両１０２において実装された例示的ナビゲーションおよび制御システム（例えば、ＳＰＲシステム１０８）を描写している。ＳＰＲシステム１０８は、ユーザインターフェース２０２を含み得、ユーザは、ユーザインターフェース２０２を通してルートを定義するためのデータを入力すること、または既定のルートを選択することができる。ＳＰＲ画像は、ルートに従ってＳＰＲ参照画像ソース２０４から読み出される。例えば、ＳＰＲ参照画像ソース２０４は、フラッシュドライブまたはハードディスクなどのローカル大容量記憶デバイスであり得、代替として、または加えて、ＳＰＲ参照画像ソース２０４は、クラウドベースであり得（すなわち、ウェブサーバ上でサポートおよび維持されている）、ＧＰＳによって決定された現在地に基づいてリモートアクセスされ得る。例えば、ローカルデータストアは、車両の現在地の近辺に対応するＳＰＲ参照画像を含み得、車両が走行しているとき、定期更新情報が、データを新しくするために読み出され得る。
ＳＰＲシステム１０８は、ＳＰＲアンテナアレイ１１０を有する移動式ＳＰＲシステム（「移動式システム」）２０６も含む。移動式ＳＰＲシステム２０６の伝送動作は、制御装置（例えば、プロセッサ）２０８によって制御され、制御装置２０８は、ＳＰＲアンテナアレイ１１０によって検出されたリターンＳＰＲ信号を受信することも行う。制御装置２０８は、ＳＰＲアンテナアレイ１１０真下の道路表面より下の地下領域のＳＰＲ画像および／または道路表面のＳＰＲ画像を生成する。
ＳＰＲ画像は、地下領域中および／または道路表面上の構造および物体（例えば、岩、根、巨礫、パイプ、空所および土壌層）を表す特徴と、地下／表面領域における土壌または物質特性の変動を示す他の特徴とを含む。様々な実施形態において、位置合わせモジュール２１０が、制御装置２０８によって提供されたＳＰＲ画像をＳＰＲ参照画像ソース２０４から読み出されたＳＰＲ画像と比較し、（例えば、ルート上の最も近い点に対する車両のオフセットを決定することによって）車両１０２の位置を特定する。様々な実施形態において、位置合わせプロセスにおいて決定された場所情報（例えば、オフセットデータまたは位置の誤差データ）は、車両１０２をナビゲートするために場所マップを作成する変換モジュール２１２に提供される。例えば、変換モジュール２１２は、ルートからの車両の位置ずれに関して訂正されたＧＰＳデータを生成し得る。
代替として、変換モジュール２１２は、マップソース２１４（例えば、ＧＰＳなどの他のナビゲーションシステム、またはマッピングサービス）から既存のマップを読み出し、その後、入手された場所情報を既存のマップに位置決めし得る一実施形態では、既定のルートの場所マップは、制御装置２０８がアクセス可能なシステムメモリおよび／または記憶デバイス内のデータベース２１６に記憶される。加えて、または代替として、車両１０４に関する場所データは、既存のマップ（例えば、ＧＯＯＧＬＥ ＭＡＰＳによって提供されたマップ）、ならびに／または、車両１０２を誘導するための１つ以上の他のセンサもしくはナビゲーションシステム（慣性航法システム（ＩＮＳ）、ＧＰＳシステム、音響航法および測距（ＳＯＮＡＲ）システム、ＬＩＤＡＲシステム、カメラ、慣性計測ユニット（ＩＭＵ）および補助レーダーシステム、１つ以上の車両デッドレコニングセンサ（例えば、操舵角およびホイールオドメトリに基づく）、および／もしくはサスペンションセンサなど）によって提供されたデータとの組み合わせにおいて使用され得る。例えば、制御装置１１２は、ＧＰＳを使用して生成された既存のマップに入手されたＳＰＲ情報を位置決めし得る。車両ナビゲーションおよび位置決めのためにＳＰＲシステムを利用するアプローチは、例えば、上述の’０２４号特許に記載されている。
深層学習をＳＰＲナビゲーションおよび制御モジュール１０８と統合する例示的アーキテクチャが、図３に図示されている。上記のように、システムは、関連付けられた車両内に配備された様々なセンサ３１０を含み得る。これらは、ＳＰＲセンサを含むが、下に記載のように１つ以上の深層学習モジュール３１５の動作に関連する条件を識別するためのセンサも含み得る。センサ３１０は、システム性能および精度に影響を及ぼし得る外部条件も検出し、軽減方策を発動させ得る。例えば、２０２０年７月１５日に出願された米国シリアル番号第１６／９２９，４３７号（その全体が参照によって本明細書に援用される）に記載されているように、センサ３１０は、危険地形条件を検出し得る（表面下特徴のＳＰＲ測定と併せて危険警告も発動し得る）。それに応答して、システム１０８は、適宜にマップデータベース２１６を更新し得、いくつかの実施形態では、地方自治体に警告を発し得る。センサは、位置推定の信頼度に関連する条件も捕捉し得る。例えば、追加のセンサ３１７が、周囲条件（例えば、風速および／または温度）を検知し得、ハードウェアモニタリングセンサが、車両性能パラメータ（例えば、速さ）ならびに／または車両健康状態パラメータ（例えば、タイヤの圧力およびサスペンション性能）ならびに／またはＳＰＲセンサパラメータ（例えば、センサの健康状態もしくは他の性能メトリック）を検知し得る。センサデータは、当該技術分野における従前の場合と同様に、適切なハードウェアおよび／またはソフトウェアモジュール３２３によってフィルタリングされ得、コンディショニングされ得る。
コンピュータメモリ３２６に記憶された命令として実装された複数のソフトウェアサブシステムが、従前の中央処理ユニット（ＣＰＵ）３３０によって実行される。ＣＰＵ３３０は、下に記載の深層学習機能に専用化され得るか、または制御装置２０８も動作させ得る（図２を参照）。オペレーティングシステム（例えば、ＭＩＣＲＯＳＯＦＴ ＷＩＮＤＯＷＳ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ｉＯＳ、およびＡＮＤＲＯＩＤ（登録商標））が、ファイル管理、リソース割り当て、ハードウェアデバイスとソフトウェアサブシステムとの間のメッセージのルーティングなどの低水準システム機能を提供する。
ＣＮＮなどの深層学習サブモジュールに対して適切なフィルタリングおよびコンディショニングモジュール３３５も、ソフトウェアサブシステムとして実装される。例えば、サブモジュール３１５のうちの１つがＣＮＮである場合、ＳＰＲ画像は、ＣＮＮの入力サイズへのサイズ変更、ノイズ除去、エッジ平滑化、シャープ化などを行うことによって前処理され得る。選ばれた深層学習サブモジュール（単数または複数）３１５に依存して、生成された出力は、位置決めのために、かつ健康ステータス推定、警告、およびマップ更新情報などのメトリックを生成するために後処理モジュール３３８によって後処理され得る。後処理は、深層学習サブモジュール（単数または複数）３１５からの出力をフォーマットし、位置決め推定のために使用可能なフォーマットおよび値に適合させる動作を指す。後処理は、ダウンストリーム処理（例えば、複数の深層学習モジュールの出力を平均化する）によって使用可能な値のシングルストリームの中に個々の深層学習の出力をマージするために必要とされる任意の統計分析を含み得、ダウンロード処理によって必要とされるファイルフォーマットと、ネットワークプロトコルと、ＡＰＩとにおいて出力が使用され得るようにデータタイプを変更し得る。加えて、後処理は、深層学習モジュールの出力を位置推定に変換する（例えば、ＳＰＲ画像上の確率密度関数をそれらのＳＰＲ画像に関連付けられた地理的位置上の確率密度関数に変換する）ために必要とされる従来の非深層学習アルゴリズムを含み得る。
より一般に、位置決めは、マップ更新モジュール３４０を介したマップ上の予測された車両位置に対する調整、またはマップ自体に対する調整を伴い得、マップ更新モジュール３４０は、深層学習サブモジュール（単数または複数）３１５によって生成された位置決め推定に基づいてマップデータベース２１６からのマップを変更する。健康ステータスメトリックは、修復までの推定される時間と、個々のコンポーネントとシステム全体との両方の故障までの推定される時間と、精度推定と、物理センサコンポーネントの推定される損傷レベルと、外部干渉の推定と、システム性能、耐久性および信頼度の同様のインジケータとを含み得る。メトリックは、システム全体および／または個々のサブモジュールの信頼値の形態だけでなく、推定される精度および誤差分布の形態と、推定されるシステムレイテンシの形態とを同様にとり得る。生成されたメトリックは、自動的なシステムパラメータチューニング（例えば、利得調整）も促進し得る。これらの動作は、メトリックモジュール３４５によって操作され得る。
一実施形態では、深層学習サブモジュール（単数または複数）３１５は、着信したＳＰＲ画像（例えば、ＧＰＲアンテナアレイ１１０から定期的にサンプリングされる）を分析し、１つ以上の位置合わせ画像に対する一致確率を算出するＣＮＮを含む。代替として、ＳＰＲ画像は、１つ以上の最良一致画像と、関連付けられた一致確率とを位置付けるために、’０２４号特許に記載されているように従前の方法で分析され得る。一致確率は、位置推定の信頼度に関連する条件を捕捉するセンサから受信され、深層学習サブモジュール３１５によって処理された入力に基づいて調整され得る。このデータは、異なるサブモジュール３１５（例えば、別のニューラルネットワーク）によって操作され得、周囲条件（例えば、風速および／もしくは温度）、車両パラメータ（例えば、速さ）ならびに／またはＳＰＲセンサパラメータ（例えば、センサの健康状態もしくは他の性能メトリック）を含み得るか、または、それらからなり得、すなわち、生成されるＳＰＲデータスキャンの信頼度、および／または参照画像に対する一致確率（従って、例えば誤差推定として表現される位置決め精度）に関係する任意のデータを含み得るか、または、それらからなり得る。データとＳＰＲ画像との間の関係性は、位置決めの基準として検出し、使用することが困難な極めて複雑かつ最も関連する特徴であり得、それが、深層学習システムが採用される理由である。深層学習サブモジュール３１５は、センサデータと未加工のＳＰＲ画像とを入力として受け取り、予測された位置、または位置推定モジュール３４７によって使用可能なデータを出力し、位置推定モジュール３４７は、上に記載のように、および’０２４号特許に記載されているように画像位置合わせを使用して位置を推定し得る。
深層学習サブモジュールが訓練される手法は、そのアーキテクチャと、入力データフォーマットと、目標とに依存する。一般に、広範な入力データが、収集され、正解情報（すわち、既知の位置）３５０によって地理参照される。システムの位置決め誤差は、コスト関数によって評価され、システム重みをチューニングするために逆伝搬させられる。深層学習システムは、詳細またはコンフォメーションが変動し得る表面下特徴を認識するようにも訓練され得る。概念的な例として、公共の導管は、直径においてだけでなく、ＳＰＲセンサに対するその向きにおいても変動し得る。導管に対応する全ての可能なＳＰＲ画像を分析的に表すことは、非現実的または不可能であり得るが、ＣＮＮ（または、識別が複数のＳＰＲ画像の逐次分析を必要とする場合、回帰型ニューラルネットワークもしくはＲＮＮ）を訓練することによって高い精度を伴って任意の向きにおける導管を認識することが、可能である。従って、ニューラルネットワークは、それが認識するように訓練されている特徴をルート表面下に沿って認識し、カタログ化し、それによって、上に記載のように入手された緯度／経度座標にこれらを関連付けるか、またはＧＰＳを使用し、道路またはインフラストラクチャー構築以前の固定された永久または半永久表面下構造のマップを生成する。
代替として、特徴認識は、ナビゲーション目的のために使用され得る。例えば、あるサイズのパイプが具体的なＧＰＳ座標において位置付けられていることを知ることは、既知の位置の近辺におけるパイプの一般検出に基づいて、移動している車両の位置を固定するために十分であり得る。既知の距離だけ離れた複数の特徴が検出された場合、精度が、改良され得る。表面下特徴は、ハザードも表し得るか、または、ハザードを回避するための予防措置への必要性も示唆し得る。例えば、道路の下に高い含水量を伴う表面下領域は、深い穴につながり得る。冷凍および解凍のサイクルの前に検出され、訂正された場合、危険道路条件は、回避され得、軽減のコストは、低減させられ得る。
いくつかの実施形態では、深層学習モジュール（単数または複数）３１５は、車両内のコンピュータ装備上でローカルにホストされ、さらに集約された訓練がニューラルネットワークの性能を改良したとき、サーバによって随時更新され得る。他の実施形態では、最新のニューラルネットワークモデルは、例えばインターネット上でリモートで記憶され得、ワイヤレス接続を介して車両によってアクセスされ得る。マップ更新および維持は、「クラウド」においても実施され得る。
深層学習モジュール（単数または複数）３１５は、一般利用可能なライブラリを使用して過度の実験なしに実装され得る。Ｃａｆｆｅ、ＣＵＤＡ、ＰｙＴｏｒｃｈ、Ｔｈｅａｎｏ、Ｋｅｒａｓ、およびＴｅｎｓｏｒＦｌｏｗは、好適なニューラルネットワークプラットフォームである（設計の好みに従って、クラウドベースであっても実装されたシステムに対してローカルであり得る）。ニューラルネットワークへの入力は、入力値、例えばＳＰＲスキャンおよびシステム健康状態情報の示度のベクトル（「特徴」ベクトル）であり得る。
車両において実装される制御装置２０８は、ハードウェア、ソフトウェア、またはそれらの両方の組み合わせにおいて実装される１つ以上のモジュールを含み得る。機能が１つ以上のソフトウェアプログラムとして提供される実施形態に関して、プログラムは、ＰＹＴＨＯＮ、ＦＯＲＴＲＡＮ、ＰＡＳＣＡＬ、ＪＡＶＡ（登録商標）、Ｃ、Ｃ＋＋、Ｃ＃、ＢＡＳＩＣ、様々なスクリプト言語および／またはＨＴＭＬなどの多数の高水準言語のうちの任意のものにおいて記述され得る。加えて、ソフトウェアは、標的コンピュータ上に常駐するマイクロプロセッサを対象としたアセンブリ言語において実装されることができ、例えば、ソフトウェアがＩＢＭ ＰＣまたはＰＣクローン上で稼働するように構成されている場合、ソフトウェアは、Ｉｎｔｅｌ８０×８６アセンブリ言語において実装され得る。ソフトウェアは、フロッピー（登録商標）ディスク、ジャンプドライブ、ハードディスク、光ディスク、磁気テープ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フィールドプログラマブルゲートアレイまたはＣＤ－ＲＯＭを含む（がそれらに限定されない）製造物品上で具体化され得る。
コマンドおよび命令を実行するＣＰＵ３３０は、汎用コンピュータであり得るが、専用コンピュータ、マイクロコンピュータ、マイクロプロセッサ、マイクロコントローラ、周辺集積回路素子、ＣＳＩＣ（特定顧客向け集積回路）、ＡＳＩＣ（特定用途向け集積回路）、ロジック回路、デジタル信号プロセッサ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）などのプログラマブルロジックデバイス、ＰＬＤ（プログラマブルロジックデバイス）、ＰＬＡ（プログラマブルロジックアレイ）、ＲＦＩＤプロセッサ、スマートチップ、または本発明のプロセスのステップを実装することが可能なデバイスの任意の他のデバイスもしくはデバイスの配置を含む広く多様な他の技術のうちの任意のものを利用し得る。
本明細書中で採用された用語および表現は、記載の用語および表現として使用されており、限定の用語および表現として使用されておらず、そのような用語および表現の使用において、示された、または記載された特徴またはそれらの一部の任意の均等物を排除する意図は、存在しない。加えて、本発明のある実施形態が記載されているが、本明細書に開示される概念を援用した他の実施形態が本発明の精神および範囲から逸脱することなく使用され得ることは、当業者には明らかであろう。従って、記載の実施形態は、あらゆる点において、単なる例示であり制限的なものでないと考えられるべきである。
以下は、特許請求の範囲である。

Claims (13)

  1. 表面下構造を検出し、識別する方法であって、該方法は、
    表面探知レーダー（ＳＰＲ）画像を取得するステップと、
    該取得された画像を予測子への入力として使用することによって、該取得された画像における表面下構造をコンピュータによって識別するステップと
    を含み、該予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている、方法。
  2. 前記予測子は、ニューラルネットワークである、請求項１に記載の方法。
  3. 前記ニューラルネットワークは、畳み込みニューラルネットワークである、請求項１に記載の方法。
  4. 前記ニューラルネットワークは、回帰型ニューラルネットワークである、請求項１に記載の方法。
  5. ルートの横断中、追加のＳＰＲ画像を取得するステップと、
    前記予測子によって、該ＳＰＲ画像において、該予測子が認識するように訓練されている表面下特徴を認識するステップと、
    該画像における該認識された特徴を該画像が入手されたときに対応する地球座標に関連付け、該地球座標に基づいて、該認識された特徴に対応する表面下構造の電子マップを生成するステップと
    をさらに含む、請求項１に記載の方法。
  6. 車両によるルートの横断中、追加のＳＰＲ画像を取得するステップと、
    前記予測子によって、該ＳＰＲ画像において、該予測子が認識するように訓練されている表面下特徴を認識するステップと、
    該認識された特徴を該認識された特徴に対応する地球座標に関連付けるステップと、
    少なくとも部分的に該認識された表面下特徴と該認識された表面下特徴の該地球座標とに基づいて、該車両をナビゲートするステップと
    をさらに含む、請求項１に記載の方法。
  7. 表面下構造を検出し、識別するためのシステムであって、該システムは、
    表面探知レーダー（ＳＰＲ）画像を取得するためのＳＰＲシステムと、
    プロセッサと該プロセッサによって実行可能な電子的に記憶された命令とを含むコンピュータと
    を備え、
    該コンピュータは、該取得されたＳＰＲ画像を分析し、該取得された画像を予測子への入力として使用することによって、該取得されたＳＰＲ画像における表面下構造をコンピュータによって識別し、該予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている、システム。
  8. 前記予測子は、ニューラルネットワークである、請求項７に記載のシステム。
  9. 前記ニューラルネットワークは、畳み込みニューラルネットワークである、請求項７に記載のシステム。
  10. 前記ニューラルネットワークは、回帰型ニューラルネットワークである、請求項７に記載のシステム。
  11. 車両であって、該車両は、
    車両の走行中に表面探知レーダー（ＳＰＲ）画像を取得するためのＳＰＲシステムと、
    プロセッサと該プロセッサによって実行可能な電子的に記憶された命令とを含むコンピュータと
    を備え、
    該コンピュータは、該取得されたＳＰＲ画像を分析し、該取得された画像を予測子への入力として使用することによって、該取得されたＳＰＲ画像における表面下構造をコンピュータによって識別し、該予測子は、ＳＰＲ画像における表面下構造を識別するようにコンピュータによって訓練されている、車両。
  12. 前記コンピュータは、前記画像における前記認識された特徴を該画像が入手されたときに対応する地球座標に関連付け、該地球座標に基づいて、該認識された特徴に対応する表面下構造の電子マップを生成するように構成されている、請求項１１に記載の車両。
  13. 前記コンピュータは、前記画像における前記認識された特徴を該認識された特徴に対応する地球座標に関連付け、少なくとも部分的に該認識された表面下特徴と該認識された表面下特徴の該地球座標とに基づいて、前記車両をナビゲートするように構成されている、請求項１１に記載の車両。
JP2022516063A 2019-09-13 2020-09-14 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め Pending JP2022547580A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023111418A JP2023126938A (ja) 2019-09-13 2023-07-06 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962900098P 2019-09-13 2019-09-13
US62/900,098 2019-09-13
PCT/US2020/050699 WO2021051071A1 (en) 2019-09-13 2020-09-14 Improved navigation and localization using surface-penetrating radar and deep learning

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023111418A Division JP2023126938A (ja) 2019-09-13 2023-07-06 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め

Publications (1)

Publication Number Publication Date
JP2022547580A true JP2022547580A (ja) 2022-11-14

Family

ID=74866506

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022516063A Pending JP2022547580A (ja) 2019-09-13 2020-09-14 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め
JP2023111418A Pending JP2023126938A (ja) 2019-09-13 2023-07-06 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023111418A Pending JP2023126938A (ja) 2019-09-13 2023-07-06 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め

Country Status (5)

Country Link
US (1) US11579286B2 (ja)
EP (1) EP4028789A4 (ja)
JP (2) JP2022547580A (ja)
CN (1) CN114641701A (ja)
WO (1) WO2021051071A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837163B (zh) * 2021-11-29 2022-03-08 深圳大学 一种基于三维探地雷达的隧道监测方法、系统以及存储介质
WO2024081877A1 (en) * 2022-10-13 2024-04-18 Gpr, Inc. Optimized vehicle-borne radar operation based on return-signal character

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015209101A1 (de) * 2015-05-19 2016-11-24 Robert Bosch Gmbh Verfahren zum Erzeugen einer Karte für ein autonomes Fahrzeug
KR101999158B1 (ko) * 2018-12-24 2019-07-11 지케이엔지니어링(주) 카트형 지표 투과 레이더 탐사 시스템

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999866A (en) * 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
US7191056B2 (en) * 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
US20100026555A1 (en) * 2006-06-09 2010-02-04 Whittaker William L Obstacle detection arrangements in and for autonomous vehicles
US8306747B1 (en) * 2007-01-19 2012-11-06 Starodub, Inc. Travel way measurement system
US20100052971A1 (en) * 2008-07-30 2010-03-04 Amarillas Sal G Device and Method to Evaluate Condition of Concrete Roadways Employing a Radar-based Sensing and Data Acquisition System
RU2009108360A (ru) * 2009-03-10 2010-09-20 Михаил Юрьевич Воробьев (RU) Способ измерения движения видеокамеры относительно поверхности и устройство для его осуществления
US8854249B2 (en) * 2010-08-26 2014-10-07 Lawrence Livermore National Security, Llc Spatially assisted down-track median filter for GPR image post-processing
US8786485B2 (en) 2011-08-30 2014-07-22 Masachusetts Institute Of Technology Mobile coherent change detection ground penetrating radar
WO2014065856A1 (en) * 2012-10-25 2014-05-01 Massachusetts Institute Of Technology Vehicle localization using surface penetrating radar
US10444347B2 (en) * 2016-11-30 2019-10-15 GM Global Technology Operations LLC Accurate self localization using automotive radar synthetic aperture radar
WO2018140134A2 (en) * 2017-01-27 2018-08-02 Massachusetts Institute Of Technology Method and system for localization of a vehicle using surface penetrating radar
WO2018175441A1 (en) * 2017-03-20 2018-09-27 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
KR101820805B1 (ko) * 2017-08-04 2018-01-22 지케이엔지니어링(주) 지표 투과 레이더 탐사장치
US11079487B2 (en) * 2017-08-22 2021-08-03 Ford Global Technologies, Llc Communication of infrastructure information to a vehicle via ground penetrating radar
EP3676636B1 (en) * 2017-09-01 2023-11-08 Massachusetts Institute Of Technology Surface penetrating radar and battery systems
DE102017215646A1 (de) 2017-09-06 2019-03-07 Kuka Deutschland Gmbh Verfahren zum automatischen Fahren eines fahrerlosen Transportfahrzeugs auf einer Fahrbahn einer Gebäudedecke eines Gebäudes und fahrerloses Transportfahrzeug
KR101944324B1 (ko) * 2017-10-24 2019-01-31 세종대학교산학협력단 지표 투과 레이더의 데이터 처리 방법
US11199413B2 (en) * 2018-07-19 2021-12-14 Qualcomm Incorporated Navigation techniques for autonomous and semi-autonomous vehicles
US11651244B2 (en) * 2018-10-04 2023-05-16 Here Global B.V. Method and apparatus for predicting sensor error
US20200133298A1 (en) * 2018-10-31 2020-04-30 Xerox Corporation Infrastructure evaluation and monitoring using ground penetrating radar data
DK201970115A1 (en) * 2018-11-08 2020-06-09 Aptiv Technologies Limited DEEP LEARNING FOR OBJECT DETECTION USING PILLARS
US11579629B2 (en) * 2019-03-15 2023-02-14 Nvidia Corporation Temporal information prediction in autonomous machine applications
US11347235B2 (en) * 2019-04-17 2022-05-31 GM Global Technology Operations LLC Methods and systems for generating radar maps
US11087494B1 (en) * 2019-05-09 2021-08-10 Zoox, Inc. Image-based depth data and localization
US11549816B2 (en) * 2019-07-31 2023-01-10 Here Global B.V. Systems and methods for controlling mapping information inaccuracies

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015209101A1 (de) * 2015-05-19 2016-11-24 Robert Bosch Gmbh Verfahren zum Erzeugen einer Karte für ein autonomes Fahrzeug
KR101999158B1 (ko) * 2018-12-24 2019-07-11 지케이엔지니어링(주) 카트형 지표 투과 레이더 탐사 시스템

Also Published As

Publication number Publication date
WO2021051071A1 (en) 2021-03-18
US20210080565A1 (en) 2021-03-18
CN114641701A (zh) 2022-06-17
EP4028789A4 (en) 2022-11-09
JP2023126938A (ja) 2023-09-12
EP4028789A1 (en) 2022-07-20
US11579286B2 (en) 2023-02-14

Similar Documents

Publication Publication Date Title
US11989028B2 (en) Mobile robot system and method for generating map data using straight lines extracted from visual images
US10579058B2 (en) Apparatus and method for generating training data to train neural network determining information associated with road included in image
US11263770B2 (en) Determining lane position of a partially obscured target vehicle
US20210311490A1 (en) Crowdsourcing a sparse map for autonomous vehicle navigation
US10471955B2 (en) Stop sign and traffic light alert
US10248124B2 (en) Localizing vehicle navigation using lane measurements
CN109521756B (zh) 用于无人驾驶车辆的障碍物运动信息生成方法和装置
JP6166294B2 (ja) 自動運転システム、自動運転の方法及びコンピューティング装置
WO2020163311A1 (en) Systems and methods for vehicle navigation
US20190383945A1 (en) Autonomous vehicle localization using a lidar intensity map
US12005907B2 (en) Method for determining position data and/or motion data of a vehicle
JP2023126938A (ja) 表面探知レーダーと深層学習とを使用した改良型ナビゲーションおよび位置決め
EP2930686A1 (en) Context-aware object detection in aerial photographs/videos using travel path metadata
US10789488B2 (en) Information processing device, learned model, information processing method, and computer program product
US11543259B2 (en) Determining landmark detectability
JP2007322391A (ja) 自車両位置推定装置
JP2022188203A (ja) 計測精度算出装置、自己位置推定装置、制御方法、プログラム及び記憶媒体
US20220404170A1 (en) Apparatus, method, and computer program for updating map
CN114509079A (zh) 用于自主驾驶的地面投影的方法和系统
CN114509772A (zh) 使用参考对象进行远程距离估计

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231012

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240502

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240530