JP2016149132A - 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法 - Google Patents

乗り物のドライバ支援システムにおける予測のためのシステムおよび方法 Download PDF

Info

Publication number
JP2016149132A
JP2016149132A JP2016024763A JP2016024763A JP2016149132A JP 2016149132 A JP2016149132 A JP 2016149132A JP 2016024763 A JP2016024763 A JP 2016024763A JP 2016024763 A JP2016024763 A JP 2016024763A JP 2016149132 A JP2016149132 A JP 2016149132A
Authority
JP
Japan
Prior art keywords
sensing means
vehicle
output
information
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016024763A
Other languages
English (en)
Other versions
JP6677521B2 (ja
Inventor
エガート ジュリアン
Eggert Julian
エガート ジュリアン
リヒター アンドレアス
Andreas Richter
リヒター アンドレアス
ダメロウ フロリアン
Damerow Florian
ダメロウ フロリアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Original Assignee
Honda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH filed Critical Honda Research Institute Europe GmbH
Publication of JP2016149132A publication Critical patent/JP2016149132A/ja
Application granted granted Critical
Publication of JP6677521B2 publication Critical patent/JP6677521B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles

Abstract

【課題】マップデータ情報を車載感知手段の情報と位置合わせさせ、結合させることができる、乗り物のドライバ支援システムにおける予測のためのシステムおよび方法を提供する。【解決手段】自車近辺の道路の配置情報を含むマップデータを取得するステップと、自車周辺を感知するセンサ2に、マップ上の位置と方位を割り当てるステップと、センサが割り当てられた位置と方位からマップデータ情報で規定されるシーンを感知した時のセンサ出力に相当する仮想出力を、センサの数学的モデルに基づいて生成するステップと、センサ出力を生成するステップと、センサ出力と仮想出力を比較するステップと、整合度が達成されるまで、数学的モデルのパラメータを修正し、仮想出力を生成してセンサ出力と比較するステップと、センサ出力情報とマップのデータを結合して自車周辺の結合情報を生成するステップと、結合情報をさらなる処理のために出力するステップと、を含む。【選択図】図2

Description

本発明は、乗り物を運転するドライバを支援するドライバ支援システムに関する。
近年、乗り物の運転をするときの快適性および安全性を向上させるシステムが開発されてきている。交通密度の増大および乗り物に対する快適性についてのドライバの期待の増大により、運転においてドライバを支援するシステムが開発されている。乗り物のドライバによって設定される目標速度を維持するクルーズ制御のような簡単なシステムをはじめとしてドライバ支援システムが開発されている。最近の開発は、特に乗り物に搭載された感知手段によって知覚される交通シーンの判定を考慮する。このような観察された交通シーンに基づいて状況が判定されドライバの意思決定を支援する情報がドライバに出力される。この情報は、たとえばドライバにドライバが見過ごしたかもしれない他の乗り物について警告する信号であることができ、またはシステムが自律的に乗り物の制御に作用することさえできる。この作用はたとえば乗り物の加速、乗り物の減速、または運転方向の訂正でさえあり得る。知的な適応性運転支援システム(ADAS、適応性ドライバ支援システム)または支援された半自動または半自律的な運転は、シーンのインフラストラクチャに対する乗り物(自分の乗り物、自車)の現在位置についての情報を必要とする。このインフラストラクチャは、特に道路、レーン(車線)、交通標識などを含む。しかし、他の交通参加者の現在位置および運転方向も考慮に入れる必要がある。この情報からはじめて、乗り物が通る道筋についての予測がなされる。一例は横断歩道または交差点であり、他の交通参加者について予測される経路(trajectory)を考慮しながら自車の予定した経路のリスクが判定される。この判定にとって複数車線の道路において他の交通参加者および自車がどの車線を走行しているかについて正確に知ることが重要である。また、交通信号、交通標識に対するすべての交通参加者の相対位置および交通参加者同士の相対位置も重要である。
現在のところ、自車および/または他の交通オブジェクトの相互に対する位置または交通シーンの任意の要素に対する位置を求めるシステムの能力は限られている。
多くの場合、交通シーンについての情報を取得する基礎はカメラ、レーザスキャナ、LIDARセンサまたはレーダセンサなどの感知手段であり、これらは適応性運転支援システムを装備した自車の周囲についての情報を記録する。一方、多くの判定タスクにとっては道路の幾何学的配置(geometry)、車線の数、車線のタイプなどを知る必要がある。これらの情報は、たとえば同じく自車に搭載されているナビゲーションシステムに記憶されているマップデータから得ることができる。ここでの一つの問題は、自車に搭載された感知手段から得た情報とマップデータから得た情報とが測位のエラーによって必ずしもよく一致しないことである。したがって、結合された情報にするために感知手段およびマップデータから導出した位置情報を一致させる必要があり、この結合された情報がドライバ支援システムにおけるさらなる処理の基礎となる。もちろん、マップデータに含まれる道路の幾何学的配置、形状、幅その他について精度の高い情報をもつマップデータを使うことができるであろう。高品質の位置判定と併せて、これは所望の結果、すなわちマップおよびセンサからの情報の整合性を導くであろう。このような場合、感知手段から導出されたデータおよびマップデータは直接的に結合させることができる。しかし、これは高度に正確なマップデータおよび高品質の位置算定システムを必要とする。高品質のマップデータおよび高品質の位置算定システムはかなり高価なので、代替解決法が必要となることが明らかである。また、そのような高精度をもつマップデータが入手可能であるかどうか保証の限りでない。
たとえば、マップデータは公共のサービスまたは商業サービスから入手することができる。しかしこれらのマップデータはルーティング(経路制御)機能だけのために最適化されており、シーンの正確な幾何学的配置を再構成するに十分な情報は提供されない。このようなマップデータは通常粗い幾何学的な経路についての情報および車線の数、車線の方向、道路タイプについての情報を含んでいる。しかしルーティングタスクにとってはマップにおける道路の絶対位置が正しいかどうかは重要でない。
一方、乗り物に搭載されたカメラの軌跡を記録しながら同時にカメラによって感知された乗り物周囲に基づいて乗り物の周辺のモデルを生成する技術が知られている。これは、「自己ローカリゼーション(定位)およびマッピング」として知られている。二次元画像を生成するカメラ装置の動きが知られているとき、二次元画像シーケンスから三次元構造を推定することも知られている。この情報により三次元シーンを再現することができるが、最初の走行中はデータを生成し記録しなければならないので、この三次元シーンについての情報は将来の走行のためにしか得られないという欠点がある。それでも自己定位およびマッピングならびにカメラの動きからの三次元構造の生成から得られる情報は既に得られているマップ情報からは独立している。
さらに従来技術では、乗り物に搭載されたカメラで撮られるものに対応する画像をマップデータから描画することが知られている。しかし仮想三次元画像のこのような描画はそのマップ上の特定の位置に仮想カメラが配置されているという仮定に基づいている。マップからの情報とリアルなカメラデバイスから得られる情報とが位置合わせされておらず、したがって交通参加者の軌道を予測するための共通の基礎とはなり得ないという問題が残る。
したがって、本発明は、マップデータから導出される情報を自車に搭載した感知手段から導出される情報と位置合わせさせ結合させることができるようにすることを目的とする。
上記の課題は、本発明による方法およびシステムによって解決される。
本発明は、乗り物に搭載された先進のドライバ支援システムの予測結果を向上させるための方法またはシステムである。この方法はマップデータを取得するよう構成されたシステムの取得手段を使用し、このマップデータには乗り物の近辺における道路またはインフラストラクチャのようなアイテムの少なくとも幾何学的配置および位置についての情報を含む。このような近辺は同じく自車に搭載された感知手段(センサ手段)の感知レンジによって規定されることができる。感知手段はマップにおける位置および方位を割り当てられている。このような位置および方位は、たとえば乗り物の絶対位置を提供するGPSのような位置情報(positioning)システムおよびマップにおける位置のパラメータ表現(parameterization)を含むセンサ手段の数学モデルからのデータに基づいて割り当てることができる。それは、取得されたマップにおける感知手段の現在仮定される位置を反映している。
マップデータおよび感知手段の数学モデルに基づいて仮想感知手段出力(仮想センサ手段出力ともいい、以下、仮想出力という。)が生成される。感知手段の数学モデルは、たとえばGPSによって推定された位置に対する感知手段の相対位置を記述するが、感知手段自体の特徴も記述する。カメラの場合、これは、たとえば口径(絞り、aperture)、感知レンジ、焦点距離などである。仮想出力は、マップデータに含まれる情報によって規定されるシーンを感知手段が感知手段に割り当てられた位置および方位から感知したならば出すはずの出力に相当する出力である。このような仮想出力を生成する技術は、従来技術において既知であるから詳細な説明は省略する。こうして、自車の環境を事実上物理的に感知することによって得るのではなく、マップデータから導出される情報に基づいて環境の感知をシミュレーションすることによって得られる仮想出力が第1の出力として生成される。
さらに自車に搭載され自車の周囲を感知するリアルな(真の)感知手段の出力である第2の出力が生成される。
次にこの第1および第2の出力が比較される。仮想センサの出力と(リアル)センサの出力との間の整合度が予め定めたしきい値より低いならば、仮想出力の生成のベースとなる数学的モデルのパラメータが修正される。この二つの出力の間に予め定めた整合度が達成されるまでこの修正が反復される。この最適化処理の結果であるパラメータを使うことにより感知手段の出力から導出された情報とマップデータとを整合させることができるので、この情報をマップデータと結合させ乗り物の周囲についての結合情報を生成することができる。この結合情報が出力されて先進的なドライバシステムにおいてさらに処理される。たとえば、この結合は、マップデータから直接的に導かれるデータのほかに感知手段出力から求められる道路幅、ターゲットオブジェクトの位置、交通標識などのインフラストラクチャ要素の位置なども含むことができる。予め定めた整合度が達成されるまでパラメータを修正するので、感知手段からの情報はマップデータの情報と整合し、すなわち相対位置に関して修正されている。このことは必ずしも絶対位置が正しいことを意味するのではなく、マップデータから導出される情報に関し、感知手段の出力から導出されたオブジェクトまたはインフラストラクチャ要素の位置についての情報が正しいことを意味する。これが次いで先進的なドライバ支援システムにおけるさらなる処理のベースとなり、たとえば他の交通参加者の軌道を予測すること、または自車の計画した軌道についてのリスクを判断することが行われる。
従属請求項は本発明の有用な観点を規定する。
たとえば、感知手段が画像センサを備えること、および仮想出力として三次元描画画像が生成されることが好ましい。これは、一面においてカメラ、ステレオカメラなどの様な比較的簡単な感知手段を使うことができ、他面において周知の確立されている三次元描画技術を使うことができるという利点を有する。したがって、本発明の実施は容易に達成することができる。
代替的に感知手段の出力はレーザスキャナ、LIDARセンサ、またはレーダセンサによって生成することができ、これらは先進的なドライバ支援システムで既に使われており、さらなるシステム開発に必要な努力は限られている。
さらに自車がその位置を求めるために衛星ベースの位置情報システム(GPS、ガリレオ(Galileo)またはGLONASSなど)を備えること、および感知手段の数学的モデルが自車に対する感知手段の相対的な位置および方位を示すパラメータを含んでいることが好ましい。感知手段を割り当てられたマップにおける位置は2ステップで求められ、先ずGPSの助けでこの乗り物の位置を求め、次いで数学的モデルを使ってセンサ手段の位置を求める。この手法は、GPSシステムに基づくこの乗り物の位置判定をまったく変更する必要がなく、数学的モデルのパラメータを修正することだけによってマップと感知手段の出力から導かれる情報との間の整合を行うことができるという利点を有する。GPSシステムの精度が限られていることによって生じる誤差は数学的モデルのパラメータ修正によって補償することができる。他面において、予め定めた整合度を達成している修正済みパラメータを有する数学的モデルを考慮に入れてマップにおけるこの乗り物の位置を求めることも可能である。こうすることにより、先ずマップにおける感知手段の位置が求められ、次に予め定めた整合度が得られるまで修正を行う最適化処理によって得られたパラメータを使い、この乗り物と感知手段との相対位置の情報を使って、この乗り物の位置が求められる。このようにGPSはこの乗り物およびこれに搭載された感知手段の位置を先ず推定することだけに使用され、次いで第1および第2の出力の比較および数学的モデルのパラメータの最適化の後に、最適化されたパラメータをもつ数学的モデルの情報を使ってマップにおけるこの乗り物の位置が求められるので、感知手段について求められた位置を基準としてマップにおけるこの乗り物の位置が求められる。
もう一つの観点によると、この乗り物は複数の感知手段を装備することができ、個々の感知手段のそれぞれにそれぞれの数学的モデルがある。それぞれの数学的モデルのパラメータの修正が個々に行われ、これはセンサのそれぞれについて仮想出力が生成され、予め定めた整合度が達成されるまで数学的モデルのパラメータが修正されることを意味する。それぞれの感知手段に個々のしきい値を設定することができる。次いでマップデータと感知手段から導き出された情報との結合も個々の感知手段のすべてについて行われる。こうしてマップデータは、複数の感知手段から導き出された情報によって高められ、この情報のすべてが他のマップ要素に対する正しい相対位置でマップと結合される。
このような複数の感知手段をつかうことができれば、様々なセンサデバイスのすべての数学的モデルを考慮してこの乗り物の位置を求めることができるので有利である。
上述したように、リアルな感知手段のセンサ出力から求めることができるインフラストラクチャ要素などがマップデータに加えられることは特に利点を有する。特に、マップデータへのこの情報の追加は格納されるので、それぞれの領域のマップデータが使われる将来の状況でこの追加された情報は既に含まれている。たとえば車線の境界、交通標識、交通信号、ビルなどのような時間によって変化しない情報についてこのことは特に利点を有する。
もう一つの利点は、予め定められた整合度が達成された後の仮想出力の比較から感知シーンにありうる遮蔽物(occluder)の位置を判定することができることである。そのようなあり得る遮蔽物を求めるために感知手段の出力のどの領域がマップデータから推定される道路構造に適合するかを判定する。こうして適合性がない領域は、感知手段の出力において仮想出力に同様の領域を知覚することができなかったのであるから、遮蔽物を形成すると推定することができる。
次に図面を参照してこの発明に実施例を説明する。
感知手段が搭載された自車を示す単純化した図。 本発明の一実施例によるシステムのブロック図。 方法ステップを説明するための図。 本発明の方法の一実施例の単純化したフローチャート。
図1は本発明のシステムを搭載した自車である乗り物1を示す。乗り物1は、支援された半自律的または自律的な運転機能のための先進的なドライバ支援システムその他のシステムを装備している。乗り物1は、たとえばステレオカメラ、LIDARセンサ、レーザスキャナ、レーダセンサなどでありうる感知手段2を備えている。感知手段2から導き出された情報は同じく乗り物1が取得することができるマップデータと整合される。感知手段2は乗り物の周辺、図の例では特に乗り物の前方の道路3を物理的に感知する。こうして感知手段の出力から得られる画像においてコーナー、曲がり、道路境界、車線、レーンマーキング、分岐または交差の幾何学的配置をみることができる。また、この感知手段によって自車の知覚の他の道路インフラストラクチャも感知することができる。自車である乗り物1に対する感知手段2のリアルな位置は知られており、マップにおける感知手段の位置は感知手段2の数学的モデルによって規定され、この数学的モデルはカメラの開口その他のような感知手段2の特徴についての情報を含んでいる。感知手段2の乗り物1に対する方位もこの数学的モデルのパラメータにおいて規定される。
図2は本発明によるシステムの機能ブロックを示し、様々な機能ブロックの相互作用を示している。図1に関連して述べた数学的モデルはモデルおよびモデルパラメータを格納する記憶手段を少なくとも有する第1モジュール4に含まれている。第1モジュール4は乗り物1の位置および方位についての情報をもっている。図の実施例では、グローバルポジショニングシステム(GPS、地球測位システム)センサ6が備えられ、乗り物1の推定された絶対位置についての情報を第1モジュール4に供給する。第2モジュール5は数学的モデルのパラメータによって規定されるセンサの相対位置、方位および仕様についての情報を格納する。感知手段2が複数のセンサデバイスを備えるときは、この情報はそれぞれのセンサデバイスに個々に格納される。こうして各センサは個々の数学的モデルによって記述される。
乗り物1はマップデータにアクセスすることができるマップデータ取得手段7を備えている。これらのマップデータは乗り物1に備えられたナビゲーションシステムから得ることができるが、遠隔のデータベースオンラインから検索することももちろん可能である。その場合は、感知手段2によって感知されることができるレンジにほぼ対応するデータだけを検索するのが好ましい。ナップデータは乗り物1の近辺における道路インフラストラクチャの表現を含んでいる。この道路インフラストラクチャはたとえば、幾何学的配置、道路道筋、デリミタ(区切り)、普通のレーン、自転車および歩行者のレーン、分岐点、交差点などであり得る。
本発明ではマップデータが道路経路のラインだけでなく幅、レーンおよびデリミタのような付加的な情報をも含む必要がある。得られたマップデータがこのような付加的な情報を含まないときは、マップデータ拡張モジュール8が必要であり、このモジュールは後に実行する位置合わせに必要となる情報を生成するためにマップデータを処理する。
この付加的な情報は、直接的にマップデータの幾何学的な情報からたとえば様々なライン間を接続する経路から計算することができるが、さらなる幾何学的情報サービス、交通規則データなどの情報をも使うことができる。マップデータの拡張はオフラインでも行うことができる、この付加的な情報をマップデータ取得ユニット7のマップデータに含めておくこともでき、またはマップ処理ユニット8における本発明による方法の実行中に加えることもできる。次いで本発明の方法によるさらなる処理で使われるマップデータは、幅、レーンおよびデリミタ、高さおよび傾斜データを伴う道路面を含む道路形状についての情報を含むことが好ましい。もちろん、この情報すべてが必要なわけではない。
拡張マップデータはシミュレートされたセンサビューを生成する仮想センサ描画モジュール9で次に使われる。このシミュレートされたセンサビューは仮想出力に相当し感知手段2の数学的モデルを使って生成され、この数学的モデルはマップにおけるおおよその位置および方位ならびに感知手段2の仕様についての情報を与える。感知手段2の数学的モデルに基づき、マップデータの情報によって表される乗り物の周辺を感知するセンサの想定される位置でリアルなセンサが物理的に感知するはずのシーン形状を表す仮想出力が生成される。この仮想感知出力はリアルセンサ測定の簡易版に相当し、マップデータに関して想定されたセンサ位置および方位が正しくなければなんらかのずれ(誤差)が生じるという相違がある。このずれは感知手段2の感知手段の出力との比較で仮想センサ手段のシフト、回転および変形である。
仮想出力および感知手段の出力は次いで比較モジュール10に送られ、互いに比較される。この比較では、従来技術に複数の使用可能な技術がある。たとえば、特徴一致(フィーチャマッチング)および対応性サーチ技術がある。一例としてハフ(Hough)変換および特徴対応性サーチプロセスを挙げることができる。代替的に統計的判定を行うこともでき、これはランダムサンプルコンセンサス法(RANSAC)から知られており、これは、はずれ値(outliers)を含む1組のデータから数学的モデルのパラメータを判断する対話型の方法である。
この比較で二つの出力の整合性の目安(整合度)が得られる。次のステップで感知手段2の数学的モデルのパラメータが修正され新しい仮想出力が修正済みパラメータを使って生成される。パラメータの修正は、整合度が予め定めたしきいに達しなければ実行される。この修正によりマップにおける感知手段の推定位置および/または方位が変更される。仮想出力と感知手段の出力との比較は反復され、パラメータの修正および修正後のパラメータに基づいて生成される仮想出力の比較が、仮想出力と感知手段の出力との間に良好な整合が得られるまで繰り返される。もちろん、整合度の最初の比較が前もって設定された要求を既に満足しているならパラメータの修正は必要ないであろう。こうして修正して比較を繰り返すことによって、パラメータの最適化処理が行われる。最適化処理の終わりに、仮想関し手段の出力と感知手段の出力との間に最良の比較結果を導くパラメータセットが求められる。乗り物1に対する感知手段2の相対位置および方位は知られているので、このパラメータセットが次いで乗り物の位置および方位の判定を改良するために使われる。新しい乗り物1が設計されるかまたは新しい感知手段2が使われるとき、感知手段2の搭載位置が一度求められなければならないので、乗り物1に対する感知手段2の相対位置および方位は事前にわかっている。
GPSシステムが乗り物1の絶対位置の判断を提供することができ、これは絶対座標の観点からは好ましいけれども、マップデータの情報および感知手段の出力から導き出された情報を先進ドライバ支援システムにおいて予測目的でさらに処理するためには、感知手段の出力から導き出された情報がマップデータに対して正しい位置をもつことが重要である。開放(オープン)道路マップの場合のようにたとえば水平方向の精度が非常に限られたデータを使うとき、道路および感知手段2によって検出された乗り物の正しい絶対位置を知る必要はなく、道路またはインフラストラクチャ要素などの位置に対する乗り物の相対位置が正確にわかりさえすれば十分である。感知手段2の数学的モデルのパラメータを最適化することによって、仮想出力と感知手段の出力とが位置合わせされ、したがって感知手段の出力から求められたたとえば乗り物についての情報はマップに正しく配置することができ、したがって感知手段2から導出される情報およびマップからの情報が結合されてシーンのより詳細な表現を提供し、これが先進ドライバ支援システムにおけるさらなる処理の基礎となる。こうして、感知手段から得られるデータとマップデータとの良好な位置合わせが達成されるとき、その結果を使ってADAS機能を支援し向上させることができる。マップとの交通参加者の位置の位置合わせは、他の交通参加者の軌跡の予測を向上させることができ、結果として、自車の経路のための警告、リスク判定、および自車のシステムの経路計画能力を向上させる。感知手段2から導出された交通信号の定位のような他の情報についても、このことが当てはまる。この例での交通信号の定位は、感知手段2としてのカメラで撮られた画像から求めることができる。
さらにこの位置合わせは、情報を正しく(相対位置の点で)マップデータ自体に追加することを可能にする。上述したように交通信号および交通標識レーン境界ならびに歩行者道路などは感知手段2のカメラで撮られる画像から求めることができる。感知手段の出力をマップと位置合わせした後、その情報がまだマップデータになければマップデータに加えることができる。そのような情報が既に元のマップデータに存在するとしても、この位置合わせにより、感知手段から求められたインフラストラクチャ要素が既に存在しこの乗り物周辺のローカルマップデータと一致するかどうかチェックすることができる。既に存在するインフラストラクチャ項目の訂正さえ可能である。改良されたマップデータがこの乗り物に格納され、または他の交通参加者が利用できるよう遠隔のデータベースに格納される。
仮想出力と感知手段の出力との比較によって、交通シーンのいくらかの部分を遮蔽するオブジェクトについての情報さえも得ることができることがある。これは、通常マップデータにはないビルについての情報に特に当てはまる。感知手段2によってそのようなビルを感知することができ、そのようなオブジェクトが背後の領域を隠しているとの情報を提供することができる。マップと感知手段の出力との間の位置合わせが達成されると、マップの仮定された道路構造が感知された道路構造とどこで一致するかを判定することができる。仮想出力と比較することによって感知手段の出力から、どの部分が樹木、ビルその他の交通参加者のような遮蔽アイテムによって覆われているかを判定することができる。そのような遮蔽アイテムはシーン表現に含めることができ、これがADASシステムにおけるさらなる処理の基礎を形成する。
図3は、本発明の働きを再度示す図である。乗り物1したがって感知手段2の仮定された位置に基づき、またこの乗り物に搭載された記憶装置から得られるマップデータにも基づいて、仮想センサによる計測が生成される。さらにリアルな感知手段による計測がなされ、両方の計測結果が比較される。
提案している方法の流れ図を図4に示す。たとえば過去の計測から(たとえば走行距離計(odometry)または自車の動き判定手段を使って)(外挿)推定される、またはGPSのような他のデータソースから得られる、自車の位置および方位のパラメータでシステムがスタートする。これらがこの乗り物に搭載されたセンサの相対的位置および方位の情報と結合され、センサデバイスの数学的モデルに供給されるので、マップデータに対するセンサデバイスの位置および方位の概略がわかる。こうしてステップS1では、数学的センサモデルの開始パラメータが調整される。
センサの位置および方位に基づいてマップデータベースがアクセスされ、この乗り物近辺におけるインフラストラクチャデータが抽出される(ステップS2)。これが仮定された感知手段の位置および方位と結合して使用されて仮想感知手段の測定が生成され、これはこのセンサデバイスから見える乗り物周辺をシミュレートするものである。カメラセンサの場合、このステップでカメラ前方の道路の3Dビューが生成され、たとえば道路面、道路およびレーンのラインなどのビューが生成される(ステップS3)。
さらにこの乗り物周辺のリアルセンサ測定がリアルセンサデバイスを使って行われる(ステップS4)。次のステップではリアルセンサ測定と仮想センサ測定とを比較し、2つの測定の間の整合度を計算する(ステップS5)。
この値に基づいて(ステップS6)、数学的センサモデルのパラメータを修正することによってこのセンサデバイスの位置および方位がシステマチックに変更され、この仮想センサ測定生成および比較のステップ(S3、S4、S5)が終了基準に達するまで繰り返される。この終了基準は、整合度のしきい値において規定されている。最良の整合度のセンサ位置および方位のパラメータが次に選択される(ステップS7)。
最良に整合するセンサ位置および方位に基づいて、マップ座標に対するこの乗り物1の位置および方位が再判定される。新しいリアルセンサ測定の都度このプロセスが反復される。
次いでドライバ支援システムに結合された情報が提供される(ステップS8、S9)。
本発明の別の実施例では上述のプロセスが2以上のセンサを備えるシステムに適用される。この場合、各センサについて仮想センサビューが生成されなければならず、各センサがマップ座標に対するこの乗り物の位置および方位の再判定に貢献する。
1 乗り物(自車)
2 感知手段(センサ)
3 道路
4 第1モジュール(数学的モデル、乗り物パラメータ)
5 第2モジュール(センサパラメータ)
6 GPSセンサ(測位センサ)
7 マップデータ取得手段
8 マップ処理ユニット
9 仮想センサ描画モジュール
10 比較モジュール

Claims (10)

  1. 乗り物のドライバ支援システムにより実行される方法であって、
    前記乗り物の近辺の少なくとも道路の幾何学的配置についての情報を含むマップのデータを取得するステップと、
    前記乗り物に搭載され外乗り物の周辺を感知するための感知手段に前記マップにおける位置および方位を割り当てるステップと、
    前記感知手段が前記割り当てられた位置および方位から前記マップのデータに含まれる情報によって規定されるシーンを感知したときの該感知手段の出力に相当する仮想出力を、該感知手段の数学的モデルに基づいて生成するステップと、
    前記乗り物の周辺を感知し感知手段出力を生成するステップと、
    前記感知手段出力と前記仮想出力とを比較するステップと、
    予め定めた整合度が達成されるまで、前記数学的モデルのパラメータを修正し、前記仮想出力を生成して前記感知手段出力と比較するステップと、
    前記感知手段出力から導出された情報と前記マップのデータを結合して前記乗り物の周辺についての結合情報を生成するステップと、
    前記結合情報をさらなる処理のために出力するステップと、
    を含む前記方法。
  2. 前記感知手段が画像センサを備え、前記仮想出力として3D描画画像が生成される、請求項1に記載の方法。
  3. 前記感知手段出力がレーザスキャナ、LIDARセンサまたはレーダセンサによって生成される、請求項1に記載の方法。
  4. 前記感知手段への前記マップにおける位置および方位を割り当てる前記ステップは、前記マップにおける前記乗り物の位置および方位を判定すること、および前記感知手段と前記乗り物との相対的位置および方位を表現するパラメータを含む、前記感知手段の前記数学的モデルを使うこと、により実行される、請求項1から3のいずれか1項に記載の方法。
  5. 前記マップにおける前記乗り物の位置は、前記予め定めた整合度が達成された修正済みのパラメータをもつ前記数学的モデルを考慮に入れて判定される、請求項1から4のいずれか1項に記載の方法。
  6. 次に掲げるステップ、すなわち、前記乗り物の周辺を感知して感知手段出力を生成するステップ、前記感知手段出力と前記仮想出力とを比較するステップ、予め定めた整合度が達成されるまで、前記数学的モデルのパラメータを修正し、前記仮想出力を生成して前記感知手段出力と比較するステップ、および前記感知手段出力から導出された情報と前記マップのデータを結合して前記乗り物の周辺についての結合情報を生成するステップ、が複数のセンサデバイスのそれぞれについて実行される、請求項1から5のいずれか1項に記載の方法。
  7. 前記マップにおける前記乗り物の位置が、前記センサデバイスのそれぞれについて予め定めた整合度が達成された修正済みのパラメータをもつ前記数学的モデルを考慮に入れて判定される、請求項6に記載の方法。
  8. インフラストラクチャ要素が感知手段出力から判定され、それぞれの情報が前記マップのデータに加えられる、請求項1から7のいずれか1項に記載の方法。
  9. 前記仮想出力と前記感知手段出力との間の予め定めた整合度が達成された後、感知手段出力のどの領域が前記マップのデータから推定される道路構造に対応するかを判定することにより、感知されたシーンにありうる遮蔽物の位置を抽出する、請求項1から8のいずれか1項に記載の方法。
  10. 請求項1から9のいいずれか1項に記載の方法を実施するよう構成された、感知手段、ドライバ支援システムおよびデータ処理ユニットを備えた乗り物。
JP2016024763A 2015-02-12 2016-02-12 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法 Active JP6677521B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15154924 2015-02-12
EP15154924.3 2015-02-12

Publications (2)

Publication Number Publication Date
JP2016149132A true JP2016149132A (ja) 2016-08-18
JP6677521B2 JP6677521B2 (ja) 2020-04-08

Family

ID=52472211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016024763A Active JP6677521B2 (ja) 2015-02-12 2016-02-12 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法

Country Status (3)

Country Link
US (1) US11370422B2 (ja)
EP (1) EP3056861B1 (ja)
JP (1) JP6677521B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527862A (ja) * 2017-06-22 2019-10-03 バイドゥドットコム タイムズ テクロノジー (ベイジン) カンパニー リミテッドBaidu.com Times Technology (Beijing) Co., Ltd. 自律走行のための地図画像に基づく交通予測
WO2021010055A1 (ja) * 2019-07-12 2021-01-21 株式会社日立製作所 映像生成装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6274036B2 (ja) * 2014-07-01 2018-02-07 株式会社デンソー 制御装置
US10114618B2 (en) * 2015-06-08 2018-10-30 Cisco Technology, Inc. Autonomous mobile sensor movement path simulation with an integrated developer environment
CN110392903A (zh) * 2016-08-19 2019-10-29 莫维迪厄斯有限公司 矩阵操作的动态剔除
US10802450B2 (en) 2016-09-08 2020-10-13 Mentor Graphics Corporation Sensor event detection and fusion
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
CN106882184A (zh) * 2017-01-04 2017-06-23 江西沃可视发展有限公司 基于adas纯图像处理的驾驶安全系统
US10436595B2 (en) * 2017-02-02 2019-10-08 Baidu Usa Llc Method and system for updating localization maps of autonomous driving vehicles
US20220375336A1 (en) 2017-05-17 2022-11-24 Cavh Llc Autonomous Vehicle (AV) Control System with Roadside Unit (RSU) Network
US10692365B2 (en) * 2017-06-20 2020-06-23 Cavh Llc Intelligent road infrastructure system (IRIS): systems and methods
DE102017213214A1 (de) 2017-08-01 2019-02-07 Ford Global Technologies, Llc Verfahren zum Modellieren eines Kraftfahrzeug-Sensors in einer virtuellen Testumgebung
US10558217B2 (en) * 2017-08-28 2020-02-11 GM Global Technology Operations LLC Method and apparatus for monitoring of an autonomous vehicle
EP3477259A1 (en) * 2017-10-25 2019-05-01 Honda Research Institute Europe GmbH Method and system for estimating quality of measuring results of one of more sensors mounted on a mobile platform
CN109955850B (zh) * 2017-12-14 2022-04-15 比亚迪股份有限公司 车辆及其自适应巡航轨迹的记录方法、系统
US10404261B1 (en) * 2018-06-01 2019-09-03 Yekutiel Josefsberg Radar target detection system for autonomous vehicles with ultra low phase noise frequency synthesizer
US11138350B2 (en) * 2018-08-09 2021-10-05 Zoox, Inc. Procedural world generation using tertiary data
KR20200029785A (ko) 2018-09-11 2020-03-19 삼성전자주식회사 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
CN110134024A (zh) * 2018-11-12 2019-08-16 初速度(苏州)科技有限公司 车辆自动驾驶虚拟环境中特殊标志物的构建方法
US20190138848A1 (en) 2018-12-29 2019-05-09 Intel Corporation Realistic sensor simulation and probabilistic measurement correction
DE102019120778A1 (de) * 2019-08-01 2021-02-04 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in einer Umgebung
WO2021079794A1 (ja) * 2019-10-25 2021-04-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび飛行体
EP3828583A1 (en) 2019-11-27 2021-06-02 Honda Research Institute Europe GmbH Analysis of localization errors in a mobile object
CN110884502B (zh) * 2019-12-06 2021-02-26 北京京东乾石科技有限公司 自动驾驶路径规划质量测评方法、装置和系统
DE102019220223A1 (de) * 2019-12-19 2021-06-24 Robert Bosch Gmbh Verfahren zum Betreiben eines Sensors eines Kraftfahrzeugs
CN113498011B (zh) * 2020-03-19 2023-08-15 中移(上海)信息通信科技有限公司 车联网方法、装置、设备、存储介质及系统
CN111832098B (zh) * 2020-04-21 2023-07-18 中冶南方城市建设工程技术有限公司 一种市政道路施工期交通组织方案评价方法
WO2022055382A1 (en) * 2020-09-10 2022-03-17 Limited Liability Company "Topcon Positioning Systems" A method and device for determining a vehicle position
US11948454B2 (en) 2020-10-30 2024-04-02 Honda Research Institute Europe Gmbh Method and system for enhancing traffic estimation using top view sensor data
DE102020134119B3 (de) * 2020-12-18 2021-12-23 Audi Aktiengesellschaft Verfahren zur Lokalisierung eines Kraftfahrzeugs in einer Assistenzkarte, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger
EP4068153A1 (en) * 2021-03-31 2022-10-05 Honda Research Institute Europe GmbH Advanced driver assistance system for assisting a driver of a vehicle
US20230035780A1 (en) * 2021-07-29 2023-02-02 Zoox, Inc. Systematic fault detection in vehicle control systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11351888A (ja) * 1998-06-08 1999-12-24 Mitsubishi Electric Corp ナビゲーション装置
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
WO2006035755A1 (ja) * 2004-09-28 2006-04-06 National University Corporation Kumamoto University 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2007017351A (ja) * 2005-07-08 2007-01-25 Xanavi Informatics Corp ナビゲーション装置
WO2012131871A1 (ja) * 2011-03-28 2012-10-04 パイオニア株式会社 情報表示装置、制御方法、プログラム、及び記憶媒体

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801970A (en) * 1995-12-06 1998-09-01 Martin Marietta Corporation Model-based feature tracking system
DE10114932B4 (de) * 2001-03-26 2005-09-15 Daimlerchrysler Ag Dreidimensionale Umfelderfassung
EP1906339B1 (en) * 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
DE102008020447A1 (de) * 2007-08-29 2009-03-05 Continental Teves Ag & Co. Ohg Dynamische Aktualisierung von digitalen Karten
AU2009211435A1 (en) * 2008-02-04 2009-08-13 Tele Atlas B.V. Method for map matching with sensor detected objects
US8547298B2 (en) * 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US8301374B2 (en) * 2009-08-25 2012-10-30 Southwest Research Institute Position estimation for ground vehicle navigation based on landmark identification/yaw rate and perception of landmarks
TWI391874B (zh) * 2009-11-24 2013-04-01 Ind Tech Res Inst 地圖建置方法與裝置以及利用該地圖的定位方法
JP5471626B2 (ja) * 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
WO2011160672A1 (en) 2010-06-21 2011-12-29 Centre De Visió Per Computador Method for obtaining drivable road area
KR101311100B1 (ko) * 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
JP5802279B2 (ja) 2011-11-22 2015-10-28 株式会社日立製作所 自律移動システム
GB2506338A (en) * 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
DE102013208735A1 (de) * 2013-05-13 2014-11-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln und Kompensieren eines Dejustagewinkels eines Radarsensors eines Fahrzeugs
US9563951B2 (en) * 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US20150115571A1 (en) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
US9384394B2 (en) * 2013-10-31 2016-07-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps
US10520389B2 (en) * 2013-11-27 2019-12-31 United States Of America As Represented By The Administrator Of Nasa Aerodynamic modeling using flight data
JP6252316B2 (ja) * 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
US9619894B2 (en) * 2014-05-16 2017-04-11 GM Global Technology Operations LLC System and method for estimating vehicle dynamics using feature points in images from multiple cameras
US9386302B2 (en) * 2014-05-21 2016-07-05 GM Global Technology Operations LLC Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
JP2016057108A (ja) * 2014-09-08 2016-04-21 株式会社トプコン 演算装置、演算システム、演算方法およびプログラム
US10373116B2 (en) * 2014-10-24 2019-08-06 Fellow, Inc. Intelligent inventory management and related systems and methods
US9989969B2 (en) * 2015-01-19 2018-06-05 The Regents Of The University Of Michigan Visual localization within LIDAR maps
US20160223649A1 (en) * 2015-01-30 2016-08-04 Robert Bosch Gmbh Systems and methods for radar vertical misalignment detection
EP3086284A1 (en) * 2015-04-23 2016-10-26 Application Solutions (Electronics and Vision) Limited Camera extrinsic parameters estimation from image lines
KR101998561B1 (ko) * 2015-05-26 2019-07-10 크라운 이큅먼트 코포레이션 자재 취급 차량 오도메트리 교정을 위한 시스템들 및 방법들
AU2016268033B2 (en) * 2015-05-26 2020-12-10 Crown Equipment Corporation Systems and methods for image capture device calibration for a materials handling vehicle
US20180172860A1 (en) * 2015-08-05 2018-06-21 Halliburton Energy Services, Inc Time-Lapsed Seismic Wavefield Monitoring of Downhole Formations
US10198872B2 (en) * 2015-08-10 2019-02-05 The Board Of Trustees Of The Leland Stanford Junior University 3D reconstruction and registration of endoscopic data
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
DE102015119660A1 (de) * 2015-11-13 2017-05-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Kalibrieren eines Sensors eines Kraftfahrzeugs zur Winkelmessung, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015122997A1 (de) * 2015-12-30 2017-07-06 Huf Hülsbeck & Fürst Gmbh & Co. Kg Verfahren zur Darstellung eines rückwärtigen Außenbereiches eines Fahrzeuges
US10281923B2 (en) * 2016-03-03 2019-05-07 Uber Technologies, Inc. Planar-beam, light detection and ranging system
JP6320664B2 (ja) * 2016-03-07 2018-05-09 三菱電機株式会社 地図作成装置および地図作成方法
GB2552648B (en) * 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
US20180067494A1 (en) * 2016-09-02 2018-03-08 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system
JP2018059783A (ja) * 2016-10-04 2018-04-12 株式会社デンソー 物体検出センサの軸ずれ判定方法
DE102016223422A1 (de) * 2016-11-25 2018-05-30 Continental Teves Ag & Co. Ohg Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
DE102016226312A1 (de) * 2016-12-29 2018-07-05 Robert Bosch Gmbh Verfahren zum Betrieb eines Fahrerassistenzsystems für Kraftfahrzeuge
US10839547B2 (en) * 2017-09-28 2020-11-17 Samsung Electronics Co., Ltd. Camera pose determination and tracking
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
US11055875B2 (en) * 2018-12-20 2021-07-06 The Boeing Company Computer-vision-based autonomous or supervised- autonomous landing of aircraft
IT201900001167A1 (it) * 2019-01-25 2020-07-25 Nexion Spa Apparato per calibrare un sensore di un sistema di assistenza avanzata alla guida di un veicolo
US10937178B1 (en) * 2019-05-09 2021-03-02 Zoox, Inc. Image-based depth data and bounding boxes
US10984543B1 (en) * 2019-05-09 2021-04-20 Zoox, Inc. Image-based depth data and relative depth data
US11367208B2 (en) * 2019-06-25 2022-06-21 Nvidia Corporation Image-based keypoint generation
US10742969B1 (en) * 2019-06-28 2020-08-11 GM Cruise Holdings, LLC Control of dynamic scene motion by vehicle based on vehicle sensor capture
US10796453B1 (en) * 2019-06-28 2020-10-06 GM Cruise Holdings, LLC Vehicle sensor calibration system using dynamic scene
US10997740B2 (en) * 2019-07-15 2021-05-04 Here Global B.V. Method, apparatus, and system for providing real-world distance information from a monocular image
US11741704B2 (en) * 2019-08-30 2023-08-29 Qualcomm Incorporated Techniques for augmented reality assistance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11351888A (ja) * 1998-06-08 1999-12-24 Mitsubishi Electric Corp ナビゲーション装置
JP2001331787A (ja) * 2000-05-19 2001-11-30 Toyota Central Res & Dev Lab Inc 道路形状推定装置
WO2006035755A1 (ja) * 2004-09-28 2006-04-06 National University Corporation Kumamoto University 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2007017351A (ja) * 2005-07-08 2007-01-25 Xanavi Informatics Corp ナビゲーション装置
WO2012131871A1 (ja) * 2011-03-28 2012-10-04 パイオニア株式会社 情報表示装置、制御方法、プログラム、及び記憶媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527862A (ja) * 2017-06-22 2019-10-03 バイドゥドットコム タイムズ テクロノジー (ベイジン) カンパニー リミテッドBaidu.com Times Technology (Beijing) Co., Ltd. 自律走行のための地図画像に基づく交通予測
WO2021010055A1 (ja) * 2019-07-12 2021-01-21 株式会社日立製作所 映像生成装置
JP2021015457A (ja) * 2019-07-12 2021-02-12 株式会社日立製作所 映像生成装置
JP7316128B2 (ja) 2019-07-12 2023-07-27 株式会社日立製作所 映像生成装置

Also Published As

Publication number Publication date
US11370422B2 (en) 2022-06-28
EP3056861A1 (en) 2016-08-17
US20160236683A1 (en) 2016-08-18
JP6677521B2 (ja) 2020-04-08
EP3056861B1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
JP6677521B2 (ja) 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
CN111108342B (zh) 用于高清地图创建的视觉测程法和成对对准
CN108362295B (zh) 车辆路径引导设备和方法
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
CN111561937B (zh) 用于精确定位的传感器融合
JP2019086508A (ja) 仮想経路を表示する方法、装置及びディスプレイ装置
US20180154901A1 (en) Method and system for localizing a vehicle
US11282164B2 (en) Depth-guided video inpainting for autonomous driving
US11281228B2 (en) Method and device for determining a position of a transportation vehicle
KR20200070071A (ko) 위치 업데이트 방법, 위치 및 내비게이션 노선의 표시 방법, 차량과 시스템
JP7245084B2 (ja) 自動運転システム
US20190094883A1 (en) Position determination apparatus and method for vehicle
US11150096B2 (en) Method and device for the localization of a vehicle based on a degree of robustness of the localization
US11961304B2 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
CN114694111A (zh) 车辆定位
US11682124B2 (en) Systems and methods for transferring map data between different maps
US11961241B2 (en) Systems and methods for deriving an agent trajectory based on tracking points within images
JP2019537018A (ja) 環境モデルを生成するための、および相互センサフィーチャポイント参照を用いてポジショニングするための方法およびシステム
KR102506411B1 (ko) 차량의 위치 및 자세 추정 방법, 장치 및 이를 위한 기록매체
KR102589296B1 (ko) 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
CN113390422B (zh) 汽车的定位方法、装置及计算机存储介质
CN115638788B (zh) 语义矢量地图的构建方法、计算机设备及存储介质
CN111486837B (zh) 基于图结构的交通工具位置估计方法和使用其的交通工具
WO2024057439A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170802

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200313

R150 Certificate of patent or registration of utility model

Ref document number: 6677521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250