CN116558532A - 用于自主车辆的可视和无线联合三维映射和高级驾驶员辅助系统 - Google Patents

用于自主车辆的可视和无线联合三维映射和高级驾驶员辅助系统 Download PDF

Info

Publication number
CN116558532A
CN116558532A CN202211259342.6A CN202211259342A CN116558532A CN 116558532 A CN116558532 A CN 116558532A CN 202211259342 A CN202211259342 A CN 202211259342A CN 116558532 A CN116558532 A CN 116558532A
Authority
CN
China
Prior art keywords
map
mapping
data
location
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211259342.6A
Other languages
English (en)
Inventor
B·N·R·巴克科斯
R·库玛
于博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN116558532A publication Critical patent/CN116558532A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/08—Access point devices
    • H04W88/10—Access point devices adapted for operation in multiple networks, e.g. multi-mode access points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

本发明涉及用于自主车辆的可视和无线联合三维映射和高级驾驶员辅助系统。映射户外环境的系统包括至少一个地图，其包括接入点（AP）位置地图以及从由多个汽车车辆收集的多个无线信号生成的反射器地图。当多个汽车车辆中的至少一个穿过映射区域时，众包数据集从所述多个汽车车辆中的个体车辆收集且源自多个感知传感器。从所述众包数据集创建数据包，该数据包包括一组无线定位样本和一组视觉特征，该数据包被传送到云上数据库，在该云上数据库处执行云上映射。多个距离测量值产生在所述多个汽车车辆中的车辆操作的自由空间操作窗口内的圆形AP候选位置。所述距离测量值加上多个平面反射表面处限定的多个反射器的应用改善所述AP候选位置。

Description

用于自主车辆的可视和无线联合三维映射和高级驾驶员辅助 系统
技术领域
本公开涉及使用无线技术的车辆位置映射系统。
背景技术
无线信号和视觉特征被分别地用于车辆定位和映射。使用无线信号的定位通常需要在使用之前准确地映射无线基础设施。使用无线信号的用于包括汽车车辆（诸如轿车、卡车、面包车、运动型多用途车、自主操作的车辆和电动车辆等 ）的车辆的全球定位系统（GPS）操作提供无线基础设施但可能会受到包括建筑、结构、反射表面等的环境条件的负面影响。如果车辆环境中存在降低无线信号准确使用的负面环境条件，则需要机动汽车的精确位置或姿态。
多路径也被认为会降低基于无线的定位系统的性能。在无线和无线电通信中，多路径是一种传播现象，它导致信号通过两条或更多条路径到达接收天线。多路径的原因包括大气传导、电离层反射和折射以及水体和地面对象（诸如山脉和建筑物）的反射。当在一个以上的路径上接收到同一信号时，多个信号路径接收会导致被接收信号的干涉和相移并且因此使用被接收信号会生成汽车车辆的不准确位置。破坏性干涉导致信号时强时弱，这可能导致无线信号在某些区域中变得过弱以致不能被适当地接收到。
因此，虽然当前的汽车车辆定位系统实现了其预期目的，但仍需要一种新的且改进的汽车车辆位置映射系统。
发明内容
根据几个方面，映射户外环境的系统包括至少一个地图，其包括识别多个接入点（AP）的位置的接入点位置地图以及从由多个汽车车辆收集的多个视觉特征和多个无线信号生成的反射器地图。当所述多个汽车车辆中的至少一个穿过映射区域时，众包数据集从所述多个汽车车辆中的个体车辆收集且源自多个感知传感器。一组无线定位测量值包括：飞行时间、到达角、信道状态信息和功率延迟曲线。从所述众包数据集创建数据包，该数据包包括一组无线定位样本和一组视觉特征，该数据包被传送到云上数据库，在该云上数据库处执行云上映射。多个距离测量值产生在所述多个汽车车辆中的至少一个车辆的车辆操作的自由空间操作窗口内的圆形AP候选位置，其中，所述距离测量值加上在多个平面反射表面处限定的多个反射器的应用改善所述AP候选位置。
在本公开的另一方面中，所述无线定位测量值包括：飞行时间、到达角、信道状态信息和功率延迟曲线。
在本公开的另一方面中，收集的感知传感器数据包括来自一个或更多个摄像机的图像、来自一个或更多个激光成像检测和测距（lidar）系统的图像和来自雷达系统的图像。
在本公开的另一方面中，附加传感器数据被收集，包括来自GNSS的数据、车辆速度、车辆偏航和车辆CAN总线数据。
在本公开的另一方面中，AP位置地图和反射器地图分别包含接入点（AP）的候选位置及AP对应的媒体访问控制（MAC）身份。
在本公开的另一方面中，潜在信号反射器的位置由所述AP位置地图和所述反射器地图识别，所述潜在信号反射器限定无线信号可从其上反射的表面。
在本公开的另一方面中，多个汽车车辆中的至少一个装备有无线电接收器，所述无线电接收器将距离测量值提供给AP中的不同AP，其中，所述距离测量值作为视线（LOS）测量值或非视线（NLOS）测量值中的一个被提供。
在本公开的另一方面中，AP位置地图和反射器地图还包含识别墙壁、建筑物或其他真实世界对象的语义数据。
在本公开的另一方面中，至少一个融合局部地图针对个体汽车车辆被创建并且创建所述无线AP和所述平面表面的优化全局地图，其中，所述AP位置地图和所述反射器地图可以还与从一个或更多个在先的汽车车辆生成的地图上传的数据进行组合。
在本公开的另一方面中，云上映射过程包括多个汽车车辆上传的数据、被利用的视觉特征以及被应用来创建AP位置地图和反射器地图的无线定位程序中的各个。
根据几个方面，一种映射户外环境的系统包括从由多个汽车车辆收集的多个无线信号生成的至少一个地图。所述多个汽车车辆中的至少一个的车载处理段包括源自至少一个摄像机、lidar系统或源自雷达系统的感知传感器数据以及来自GPS单元的数据。语义特征检测模块检测道路的车道边缘。3D位置检测模块检测接近所述多个汽车车辆的平面表面的3D位置。图像特征提取模块识别包括拐角的对象和包括关于给定车辆位置的像素的描述符。图像特征提取模块的输出被传送到3D特征坐标模块，其经由所述多个汽车车辆中的一个的运动恢复结构来确定3D特征坐标。模型生成器接收来自3D位置检测模块、3D特征坐标模块的输出以及车辆传感器数据和距离数据。优化器接收来自模型生成器的数据，所述优化器解算所述汽车车辆和已识别的任何对象中的一个的位置以输入到所述至少一个地图。
在本公开的另一方面中，所述至少一个地图包括识别多个接入点（AP）的位置的接入点位置地图以及从由所述多个汽车车辆收集的多个视觉特征和多个无线信号生成的反射器地图。
在本公开的另一方面中，提供云上数据库，在其处进行所述接入点（AP）位置地图和所述反射器地图的云上映射。
在本公开的另一方面中，优化器限定卡尔曼滤波器和非线性最小二乘解算器中的一个。
在本公开的另一方面中，循环闭合检测模块识别对象或表面是否在之前被识别到并在第二次或以后的时间变成已识别的。
在本公开的另一方面中，车载处理段还包括源自攻角（angle of attack，AoA）传感器的距离数据。
在本公开的另一方面中，车载处理段还包括车辆传感器数据，其包括来自里程表信息、惯性测量单元（IMU）、车轮速度传感器（WSS）和视觉里程表（VO）数据。
根据几个方面，一种收集数据并映射户外环境的方法包括：使用一个或更多个摄像机或lidar系统来应用个体车辆的数据处理步骤以检测反射表面，诸如经由语义分割；收集所述反射表面作为数据集；将所述数据集的所述反射表面拟合到平面模型；创建一个或更多个接入点（AP）地图，其具有估计的AP位置和平面表面；开发多个平面表面地图；将无线AP距离信息与平面表面检测相结合，以估计真实AP位置；以及应用粒子过滤器以获得AP位置的空间分布和汽车车辆姿态。
在本公开的另一方面中，方法还包括提取视觉特征，并且匹配并跟踪所述视觉特征以用于里程表和循环闭合。
在本公开的另一方面中，方法还包括收集由多个汽车车辆创建的多个地图。
1. 一种映射户外环境的系统，包括：
至少一个地图，其包括识别多个接入点（AP）的位置的接入点位置地图、以及从由多个汽车车辆收集的多个视觉特征和多个无线信号生成的反射器地图；
众包数据集，其在所述多个汽车车辆中的至少一个穿过映射区域时从所述多个汽车车辆中的个体车辆收集且源自多个感知传感器；
具有无线定位测量值的组；
从所述众包数据集创建的数据包，所述数据包包括一组无线定位样本和一组视觉特征，所述数据包被传送到云上数据库，在所述云上数据库处执行云上映射过程；和
多个距离测量值，其产生在所述多个汽车车辆中的至少一个的车辆操作的自由空间操作窗口内的圆形AP候选位置，其中，所述多个距离测量值加上多个平面反射表面处限定的多个反射器的应用改善所述AP候选位置。
2. 根据方案1所述的映射户外环境的系统，其中，所述无线定位测量值包括：飞行时间、到达角、信道状态信息和功率延迟曲线。
3. 根据方案2所述的映射户外环境的系统，其中，从所述多个感知传感器收集的所述众包数据集包括来自一个或更多个摄像机的图像、来自一个或更多个激光成像检测和测距（lidar）系统的图像和来自雷达系统的图像。
4. 根据方案3所述的映射户外环境的系统，其中，附加传感器数据被收集，包括来自GNSS的数据、车辆速度、车辆偏航和车辆CAN总线数据。
5. 根据方案1所述的映射户外环境的系统，其中，所述AP位置地图和所述反射器地图分别包含接入点（AP）的候选位置及AP对应的媒体访问控制（MAC）身份。
6. 根据方案1所述的映射户外环境的系统，其中，潜在信号反射器的位置由所述AP位置地图和所述反射器地图识别，所述潜在信号反射器限定无线信号可从其上反射的表面。
7. 根据方案1所述的映射户外环境的系统，其中，所述多个汽车车辆中的至少一个装备有无线电接收器，所述无线电接收器将距离测量值提供给所述AP中的不同AP，其中，所述距离测量值作为视线（LOS）测量值或非视线（NLOS）测量值中的一个被提供。
8. 根据方案1所述的映射户外环境的系统，其中，所述AP位置地图和所述反射器地图还包含识别道路和十字路口的语义数据。
9. 根据方案1所述的映射户外环境的系统，还包括针对所述多个汽车车辆创建的至少一个融合局部地图及所述无线AP和所述多个平面反射表面的优化全局地图，并且其中，所述AP位置地图和所述反射器地图还与从一个或更多个在先生成的汽车车辆地图上传的数据进行组合。
10. 根据方案1所述的映射户外环境的系统，其中，所述云上映射过程包括从所述多个汽车车辆上传的数据、被利用的视觉特征以及被应用来创建所述AP位置地图和所述反射器地图的无线定位程序中的各个。
11. 一种映射户外环境的系统，包括：
从由多个汽车车辆收集的多个无线信号生成的至少一个地图；
所述多个汽车车辆中的至少一个的车载处理段，其包括源自至少一个摄像机、lidar系统或源自雷达系统的感知传感器数据以及来自GPS单元的数据；
检测道路的车道边缘的语义特征检测模块；
检测接近所述多个汽车车辆的平面表面的3D位置的3D位置检测模块；
图像特征提取模块，其识别包括拐角的对象和包括关于给定车辆位置的像素的描述符；
所述图像特征提取模块的输出被传送到3D特征坐标模块，其经由所述多个汽车车辆中的一个的运动恢复结构来确定3D特征坐标；
模型生成器，其接收来自所述3D位置检测模块、所述3D特征坐标模块的输出以及车辆传感器数据和距离数据；以及
接收来自所述模型生成器的数据的优化器，所述优化器解算所述汽车车辆和已识别的任何对象中的一个的位置以输入到所述至少一个地图。
12. 根据方案11所述的映射户外环境的系统，其中，所述至少一个地图包括识别多个接入点（AP）的位置的接入点位置地图、以及从由所述多个汽车车辆收集的多个视觉特征和多个无线信号生成的反射器地图。
13. 根据方案12所述的映射户外环境的系统，还包括云上数据库，在其处进行所述接入点（AP）位置地图和所述反射器地图的云上映射。
14. 根据方案11所述的映射户外环境的系统，其中，所述优化器限定卡尔曼滤波器和非线性最小二乘解算器中的一个。
15. 根据方案11所述的映射户外环境的系统，还包括循环闭合检测模块，其识别对象或表面是否在之前被识别到并在第二次或以后的时间变成已识别的。
16. 根据方案11所述的映射户外环境的系统，其中，所述车载处理段还包括源自攻角（AoA）传感器的距离数据。
17. 根据方案11所述的映射户外环境的系统，其中，所述车载处理段还包括车辆传感器数据，其包括来自里程表信息、惯性测量单元（IMU）、车轮速度传感器（WSS）和视觉里程表（VO）数据。
18. 一种映射户外环境的方法，包括：
使用一个或更多个摄像机或lidar系统来应用个体车辆的数据处理步骤，以检测反射表面，诸如经由语义分割；
收集所述反射表面作为数据集；
将所述数据集的所述反射表面拟合到平面模型；
创建一个或更多个接入点（AP）地图，其具有估计的AP位置和平面表面；
开发多个平面表面地图；
将无线AP距离信息与平面表面检测相结合，以估计真实AP位置；以及
应用粒子过滤器以获得AP位置的空间分布和汽车车辆姿态。
19. 根据方案18所述的方法，还包括提取视觉特征，并且匹配并跟踪所述视觉特征以用于里程表和循环闭合。
20. 根据方案18所述的方法，还包括收集由多个汽车车辆创建的多个地图。
根据本文中提供的描述，其他应用领域将变得显而易见。应理解，该描述以及具体示例仅仅旨在用于说明目的，并且不旨在限定本公开的范围。
附图说明
本文中描述的附图仅用于说明目的且不旨在以任何方式限制本公开的范围。
图1是根据示例性方面的用于映射户外环境的系统和方法的图示；
图2是用于图1的系统的半圆形候选源表面的平面图；
图3是由图2修改的平面图以显示潜在AP位置；
图4是识别一阶、二阶和三阶反射的功率与时间的关系的图；
图5是展示了对图1的系统和方法执行每辆车处理的步骤的流程图；
图6是展示了用于对齐多个车辆生成的地图以创建用于图1的系统和方法的最终地图的步骤的流程图；
图7是展示了在云上的离线映射过程步骤的流程图；
图8是展示了在单个汽车车辆上进行的映射过程的平面图；
图9是展示了针对图1的系统和方法进行的云上映射过程的流程图；以及
图10是展示了用于推断AP位置的三个假设的平面图。
具体实施方式
下述描述本质上仅是示例性的并且不旨在限制本公开、应用或使用。
参考图1，用于映射户外环境10的系统和方法使用视觉特征和无线信号来生成包括接入点（AP）位置地图12和反射器地图14的一个或更多个地图。最初收集众包数据集16。从包括主汽车车辆18和多个其他车辆20a、20b、20c、20d、20e的多个个体车辆收集众包数据16。众包数据16是当主汽车车辆18和多个其他车辆20a、20b、20c、20d、20e通过映射区域时源自各个感知传感器的数据，其中所述映射区域被定义为所述多个汽车车辆中的一个车辆的行驶路径内的任何区域。收集的感知传感器数据包括来自一个或更多个摄像机22的图像、来自一个或更多个激光成像检测和测距（lidar）系统24、雷达的图像等等。也收集无线定位测量值，其包括：车辆飞行时间（time-of-flight）、车辆到达角、信道状态信息、功率延迟曲线等。也可以收集其他传感器数据，诸如车辆全球导航卫星系统（GNSS）数据、车辆速度、车辆偏航、一组车辆CAN总线数据等等。
根据多个方面，包括主汽车车辆18的车辆中的至少一个装备有无线电接收器26，诸如但不限于WiFi精细时间测量（FTM）、5G等。主汽车车辆18操作所处的环境可能会妨碍全球定位系统（GPS）的性能，并妨碍AP位置的识别。AP位置地图12和反射器地图14因此包含接入点（AP）的候选位置及其对应的媒体访问控制（MAC）ID。潜在信号反射器的位置由AP位置地图12和反射器地图14识别，潜在信号反射器限定了无线信号可从其上反射的表面。AP位置地图12和反射器地图14可以进一步包含由系统开发的图像特征，诸如尺度不变特征转换（SIFT）及其坐标。AP位置地图12和反射器地图14进一步包含识别例如墙壁、建筑物、道路、十字路口等的其他相关语义数据。无线电接收器26也可以向不同AP提供距离测量值，但由于上述信号反射器，所以可能会报告多个距离，并且测量值可以作为视线（LOS）或非视线（NLOS）测量值被提供，如下面在附图中更详细地讨论的。
数据包28从所述众包数据集16创建并且包括一组无线定位样本30和一组视觉特征32，其例如由无线电接收器26传送到云上数据库34，之后在该云上数据库34处执行云上映射过程36。云上映射过程36包括处理个体车辆的上传数据，共同利用视觉特征、算法和无线定位算法以产生AP位置地图12和反射器地图14。融合局部地图针对个体车辆被创建并且创建无线接入点和平面表面的优化全局地图。AP位置地图12和反射器地图14可以还与从一个或更多个汽车车辆生成的预先存在或先前的地图38上传的数据进行组合，所述地图38是通过地面测量、航空图像等创建的。
参考图2并且再次参考图1，距离测量值在车辆操作的自由空间操作窗口42内产生圆形候选位置40。例如，从主汽车车辆18到候选AP 44的直接视线可能被障碍物46阻挡。使用距离测量值加上由多个平面表面（诸如建筑物50的反射表面48）限定的反射器给出改善的AP候选位置。从反射表面48到候选AP 44的第一反射距离52与从主汽车车辆18到反射表面48的第二反射距离54相加或组合一起产生限定自由空间操作窗口42的自由空间距离56。随时间融合多个测量值进一步细化距离测量值，例如通过三角测量，并且可包括带反射58的范围。多个其他项目，诸如标志的平面表面、停车灯的表面和诸如树的视觉特征等，可以被识别为反射表面，并且被保存在AP位置地图12和反射器地图14中。
参考图3并且再次参考图2，多个平面表面（例如反射表面）中的个体表面创建半圆形候选源表面。映射过程需要使用一阶反射估计源AP。因此，进行了测量模型假设。自由空间距离56限定例如来自传感器的距离（r）测量值。X和Y坐标被分配以识别反射表面48的范围。表示圆形候选位置40的曲线基于反射数据提供了对象或候选AP 44的真实准确位置的范围。
参考图4且再次参考图3，图60展示了随时间64变化的功率62。假定二阶和更高阶反射中的功率可以忽略不计，因此p3值和更高的值可以忽略不计并且被忽略。
继续参考图3和图4，经由功率延迟曲线或其他机制，诸如精细时间测量（FTM），获得第一两个重要路径长度和对应的功率，其中：（r1p1）表示LOS路径长度和功率，并且（r2p2）表示第一次反射，或者，（r1p1）表示第一次反射并且（r2p2）是高阶反射。
经由感知，检测可导致反射的平面表面。发射器的可能位置可以通过限定下面的等式1来确定：
等式1:
等式1限定了一组点，这些点在距离r后在从以端点p1和p2限定的线段反射后终止于原点。
LOS距离模型损失通常是。使用下面的等式2考虑反射的可能性：
等式2:
。
参考图5，流程图66识别如何在汽车车辆中的个体车辆的车载处理段68中处理数据，诸如参考图1所示的主汽车车辆18或者在车载处理或云处理70中处理数据。车载处理段68包括源自参考图1所示的所述一个或更多个摄像机22、lidar系统24或源自雷达的感知传感器数据72。车载处理段68进一步包括诸如源自里程表信息、惯性测量单元（IMU）76、车轮速度传感器（WSS）78、视觉里程表（VO）数据等的车辆传感器数据74和来自GPS装置80的数据。车载处理段68进一步包括源自例如攻角（AoA）传感器的距离数据82。
感知传感器数据72被传送到多个模块，包括：例如检测车道边缘的语义特征检测模块84；检测平面表面的3D位置的3D位置检测模块86；以及图像特征提取模块88，其执行操作，诸如尺度不变特征转换（SIFT），其编程为识别诸如拐角的对象以及描述符，诸如关于给定位置的像素等。图像特征提取模块88的输出被传送给如下中的每个：3D特征坐标模块90，其经由例如主汽车车辆18的运动恢复结构来确定3D特征坐标；以及循环闭合检测模块92，其识别对象或表面在之前是否被识别到，并在第二次或以后的时间变成已识别的。
来自3D位置检测模块86、3D特征坐标模块90、循环闭合检测模块92中的各个的输出以及车辆传感器数据74和距离数据82一起被传送给模型生成器94。来自模型生成器94的数据被传送给优化器96，其可以是例如卡尔曼滤波器或非线性最小二乘解算器。优化器96解算诸如主汽车车辆18的汽车车辆和已识别的任何对象的位置。来自优化器96的输出被传送到并生成车辆地图98。来自语义特征检测模块84的输出被直接传送到车辆地图98并且在识别车辆姿态后被添加到车辆地图98。注意到，可以在汽车车辆中或者在云中处理模型生成器94、优化器96和车辆地图98。
传感器信息被用于同时地估计主姿态和各种特征（SLAM）的位置。语义分割网络被训练以识别平面反射表面。图像特征被估计并且被映射。在学习车辆姿态之后，例如车道边缘的语义特征被添加到地图。
参考图6，地图融合流程图100表明：由个体车辆构建的地图（诸如参考图5识别的车辆地图98）与（n个）多个另外的地图102一起与来自参考图1识别的先前地图38的数据组合并且例如被保存在云上，以创建最终地图104。先前地图38包含有关连接的更多信息和其他缺失信息。来自所有地图（包括车辆地图98、所述多个另外的地图102和先前地图38）的数据被传递通过寄存模块106，其中例如，来自所有地图的车道边缘能够被寄存以校正地图特征的位置信息的任何偏差。寄存模块106将地图数据对齐，以对齐来自各个地图的所有地图数据。之后，从寄存模块106输出的对齐的地图被传递到融合模块108中，融合模块108使用加权平均值融合地图数据，并在输出最终地图104之前平滑数据。
参考图7并且再次参考图1，离线映射过程流程图110表明多个处理步骤，其可以在经由数据包28通过云边缘112上传到云处理组114的众包数据集16上被执行。单个车辆上传的数据集116可以如下被处理。单个车辆上传的数据集116的样本序列被传送到特征提取和重构模块118，其按照样本序列的顺序提取数据特征并重构3D特征。由特征提取和重构模块118单独生成的多个局部点云被传送到点云寄存模块120，其寄存并跟踪多个局部点云。来自点云寄存模块120的输出被引导到分割模块122中，其分割感测对象的已识别的平面表面。单个车辆上传的数据集116的样本序列也被并行传送到样本定位模块124，其将定位数据分配给已识别的图像。从样本定位模块124输出一组样本位置126。点云寄存模块120的进一步输出被引导并保存在全局点云128中。来自全局点云128的数据可以被分别传送给样本定位模块124和分割模块122。来自分割模块122的输出被用于创建包括多个平面表面模型130的数据库。
在对单个车辆上传的数据集116执行分析和处理的同时，还单独地处理了众包AP映射数据集132。来自所述一组样本位置126的数据被传送到粒子过滤器134，其运转以更新和重新采样来自所述一组样本位置126的数据。粒子过滤器初始化模块136接收粒子过滤器134的输出，其初始化下一个或APn对象。一组AP位置138通过使用来自粒子过滤器134的输出来限定云处理组114的最终输出。
注意到，图像处理和由特征提取和重构模块118进行的图像处理也可以通过一个或更多个汽车车辆来执行，而不是在云处理组114中被执行。然后，被提取的特征和3D重构的图像数据可以与来自汽车车辆的数据包28一起经由云边缘112被上传。
参考图8且再次参考图1和图7，映射过程的示例如下。主汽车车辆18驾驶通过限定城市峡谷的狭窄街道140。主汽车车辆18收集在从时间t0到时间tn的时间线上的一系列传感器数据。数据的每一帧可以包括摄像机图像、无线定位测量值、GPS数据、车辆速度、偏航等。所有收集到的数据被上传到云，诸如参考图7描述的云处理组114，以用于离线映射。
对于云上位置，存在两个映射过程。过程1限定一个车辆的数据预处理。目的是将一个车辆的传感器测量样本处理和集成到三（3）个数据库中：全局点云数据库、平面表面数据库和样本位置数据库。
继续参考图7和图8，特征提取和重构模块118加载一系列图像（或者lidar、雷达）并且利用3D重构算法（诸如视觉SLAM或运动恢复结构（SFM））来重构3D点云。
点云寄存模块120使用点寄存算法将该点云集成到通过其他众包数据产生的现有的全局点云数据中。
分割模块122利用表面算法来从点云识别有效的平面表面。例如，检测到表面142、144、146、148。表面142、144、146、148被保存到包括多个平面表面模型130的数据库中。
样本定位模块124利用来自数据的每一帧的摄像机图像以使用来自视觉SLAM或SFM的定位算法确定车辆的精确位置。一旦确定3D点，则样本定位模块124将无线定位测量数据（诸如FTM、信道状态信息（CSI）、并行分布式处理（PDP）等）附接到该3D样本点。然后处理上传的序列中的数据的每一帧，并将创建的3D样本点保存到由一组样本位置126限定的数据库中。
这三个数据库之后将被过程2众包AP映射数据集132用作输入，该众包AP映射数据集限定了众包AP映射过程，其中粒子过滤器初始化模块136初始化粒子过滤器134以定位具体AP（即APx）。
粒子过滤器134使用来自所述一组样本位置126数据库的无线位置测量样本更新该粒子过滤器数据。这个更新过程经历多次迭代，直到满足预定完成条件。一次其完成，则APx的最终位置被保存到一组AP位置138数据库中。
在粒子过滤器134中进行粒子权重计算。对于粒子gj，权重如下面的等式3被计算：
等式3:
。
对于等式3，gj是粒子中的一个，si是无线样本中的一个，pk是从gj到si的路径中的一个。路径能够是直接路径（诸如p0）或者反射路径（诸如p4）。PDP(qj,si,pk)是从针对qj和s8之间的给定路径pk的无线测量值中获取对应的功率水平的函数。
因为si和gj的位置是已知的，所以它们的直接路径或反射路径的长度已知。路径长度能够基于已知光速被转换成飞行时间。飞行时间值能够被映射到由位置样本的无线测量值生成的功率延迟曲线。
感知系统检测到的特征可以可选地与映射的特征相关联。状态包括汽车车辆（诸如主汽车车辆18）的姿态、反射器在主汽车车辆18的区域中的坐标、假设和图像特征位置中的个体位置的AP位置。基于下文的等式4至等式8开发状态模型：
。
观察包括：1）里程表信息、惯性测量单元（IMU）76、车轮速度传感器（WSS）78、视觉里程表（VO）等；2）图像特征；3）GPS数据；4）来自感知的反射器坐标；和5）（如果可用）AP的距离、MAC地址和AoA测量值。基于下文的等式9至等式12开发观察模型：
。
通过添加循环闭合约束，上述系统表示SLAM问题。可以针对每个测量值估计多个AP位置，因为如果源是LOS或NLOS，则其可能是未知的。基于MAC地址关联AP信息。可以使用卡尔曼滤波器、粒子滤波器或因子图优化获得解。
参考图9并且再次参考图1至图8，流程图150提供了用于进行云上映射过程的方法。对于个体车辆的数据处理步骤152，一个或更多个摄像机22、lidar系统24等被用于检测反射表面，诸如经由语义分割，反射表面在样本序列收集步骤154中被收集。来自样本序列收集步骤154的数据然后在映射步骤156中被拟合到平面模型。视觉特征也被提取、匹配并跟踪，以用于里程表和循环闭合。之后在AP地图生成步骤158中创建具有估计的AP位置和平面表面的一个或更多个AP地图。在平面表面地图创建步骤160中开发多个平面表面地图。无线AP距离信息与平面表面检测相结合以估计真实AP位置。之后参考图7描述的粒子过滤器134被用于获得AP位置的空间分布和主汽车车辆姿态。在地图收集步骤162中，收集由其他车辆创建的地图。
在数据融合步骤164中，来自AP地图生成步骤158、平面表面地图创建步骤160和地图收集步骤162的地图数据被融合。同样地，在融合步骤164中，融合局部地图通过从个体车辆收集的数据创建，并用于创建无线接入点的优化全局无线AP地图166及创建全局平面表面地图168。映射创建过程可以车载地发生在包括主汽车车辆18的多个汽车车辆中的任何车辆上或者在如参考图7所述的云处理组114中发生。
可以定义以下边际似然函数：
其中：
并且
是在x处具有方差σ2的零均值高斯的可能性
U(y,a,b)是a和b之间均匀分布的可能性
|L|是L的基数
(wi, θi)) = m(li,x0,ri)
如果cond为真则是1，否则是0
是多余参数
给定先验值P(z)、Ph(i)、P(Ѱ)等，则目标是后验值P(z,Hi,Ѱ/y)的估计。
参考图10，如下提供测量模型假设，给出针对示例性AP 172的推断AP位置z=(x,y)考虑的三个可能假设，并给出测量值y = (r1,p1,r2,p2)。示出三个车辆，其包括主汽车车辆18、其他车辆中的第一车辆20a和其他车辆中的第二车辆20b。相对于这三个车辆并关于示例性反射器174示出了AP 172。
其中：
H0由第一线段176限定：z表示AP的LOS位置。
H1由第二组线段178’、178”限定：z表示AP的一阶反射位置。
Ha由第三组线段180’、180”、180’”限定：z表示更高阶反射，或者来自未知反射器，或者是异常值。
假定接收器功率遵循平方反比定律 ，其中α= 1表示LOS信号，以及α ＜ 1表示反射。对于映射，状态空间由如下构成：主汽车车辆姿态、平面表面位置、AP 172位置、参考功率是p0，并且反射损失由α限定。
根据第一方面，云侧（诸如参考图7限定的云处理组114）基于从许多车辆收集的无线信号和视觉特征创建众包混合地图。低端车辆（被定义为仅配备无线收音机的汽车车辆）能够使用众包混合地图实现精确定位。众包混合地图也能够被用于校正来自无线定位信号的多路径误差。
根据第二方面，利用无线信号应用增强的视觉定位，云侧（诸如参考图7限定的云处理组114）基于从许多车辆收集的无线信号和视觉特征创建众包混合地图。被定义为配备有无线收音机和摄像机/视觉特征的汽车车辆的高端车辆可以利用众包混合地图来增强精确定位过程，包括在某些条件下，例如，包括但不限于改变的照明条件、视觉特征无法跟踪、车辆快速移动等条件。
根据第三方面，当本系统在一个或更多个个体车辆上使用无线信号和车载计算上的视觉特征定位运行时；不涉及云计算。
根据第四方面，其中仅使用无线信号进行智能手机定位，对智能手机来说定位可能具有挑战性，尤其是在城市峡谷或多层停车场结构中。智能手机能够1）利用反射器模型和无线AP模型来补偿多路径误差并在仅使用无线信号的情况下提高定位准确性；以及2）当智能手机上的摄像机处于活动状态时，智能手机摄像机可以通过利用点云中的视觉特征来辅助定位。
本公开的用于映射户外环境10的系统和方法利用众包车辆传感器数据来创建无线接入点的地图和反射表面的地图。用于映射户外环境10的系统和方法利用视觉特征算法（例如SLAM）来创建环境的3D模型并且提取可导致多路径反射的平面表面。基于创建的平面表面，无线反射路径被建模，并且无线AP的精确位置被确定。
本公开的用于映射户外环境10的系统和方法提供了多个优点。这些优点包括提供使用视觉特征和无线信号的组合来映射户外环境的系统。使用来自摄像机、lidar或其他传感器的视觉特征识别多路径源。地图可以经由云与其他地图进行组合，并且随后被较低级别的车辆（缺乏先进导航系统的车辆）使用来进行诸如定位的功能。在映射时视觉特征被用于识别环境中的反射和动态对象。视觉特征也被用于辅助创建一致的地图以及无线测量值。
本公开的描述本质上仅仅是示例性的，并且不背离本公开要点的变型旨在落入本公开的范围内。这样的变型不应该被看作背离本公开的精神和范围。

Claims (10)

1.一种映射户外环境的系统，包括：
至少一个地图，其包括识别多个接入点（AP）的位置的接入点位置地图、以及从由多个汽车车辆收集的多个视觉特征和多个无线信号生成的反射器地图；
众包数据集，其在所述多个汽车车辆中的至少一个穿过映射区域时从所述多个汽车车辆中的个体车辆收集且源自多个感知传感器；
具有无线定位测量值的组；
从所述众包数据集创建的数据包，所述数据包包括一组无线定位样本和一组视觉特征，所述数据包被传送到云上数据库，在所述云上数据库处执行云上映射过程；和
多个距离测量值，其产生在所述多个汽车车辆中的至少一个的车辆操作的自由空间操作窗口内的圆形AP候选位置，其中，所述多个距离测量值加上多个平面反射表面处限定的多个反射器的应用改善所述AP候选位置。
2.根据权利要求1所述的映射户外环境的系统，其中，所述无线定位测量值包括：飞行时间、到达角、信道状态信息和功率延迟曲线。
3.根据权利要求2所述的映射户外环境的系统，其中，从所述多个感知传感器收集的所述众包数据集包括来自一个或更多个摄像机的图像、来自一个或更多个激光成像检测和测距（lidar）系统的图像和来自雷达系统的图像。
4.根据权利要求3所述的映射户外环境的系统，其中，附加传感器数据被收集，包括来自GNSS的数据、车辆速度、车辆偏航和车辆CAN总线数据。
5.根据权利要求1所述的映射户外环境的系统，其中，所述AP位置地图和所述反射器地图分别包含接入点（AP）的候选位置及AP对应的媒体访问控制（MAC）身份。
6.根据权利要求1所述的映射户外环境的系统，其中，潜在信号反射器的位置由所述AP位置地图和所述反射器地图识别，所述潜在信号反射器限定无线信号可从其上反射的表面。
7.根据权利要求1所述的映射户外环境的系统，其中，所述多个汽车车辆中的至少一个装备有无线电接收器，所述无线电接收器将距离测量值提供给所述AP中的不同AP，其中，所述距离测量值作为视线（LOS）测量值或非视线（NLOS）测量值中的一个被提供。
8.根据权利要求1所述的映射户外环境的系统，其中，所述AP位置地图和所述反射器地图还包含识别道路和十字路口的语义数据。
9.根据权利要求1所述的映射户外环境的系统，还包括针对所述多个汽车车辆创建的至少一个融合局部地图及所述无线AP和所述多个平面反射表面的优化全局地图，并且其中，所述AP位置地图和所述反射器地图还与从一个或更多个在先生成的汽车车辆地图上传的数据进行组合。
10.根据权利要求1所述的映射户外环境的系统，其中，所述云上映射过程包括从所述多个汽车车辆上传的数据、被利用的视觉特征以及被应用来创建所述AP位置地图和所述反射器地图的无线定位程序中的各个。
CN202211259342.6A 2022-01-28 2022-10-14 用于自主车辆的可视和无线联合三维映射和高级驾驶员辅助系统 Pending CN116558532A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/587706 2022-01-28
US17/587,706 US20230242127A1 (en) 2022-01-28 2022-01-28 Visual and wireless joint three-dimensional mapping for autonomous vehicles and advanced driver assistance systems

Publications (1)

Publication Number Publication Date
CN116558532A true CN116558532A (zh) 2023-08-08

Family

ID=87160670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211259342.6A Pending CN116558532A (zh) 2022-01-28 2022-10-14 用于自主车辆的可视和无线联合三维映射和高级驾驶员辅助系统

Country Status (3)

Country Link
US (1) US20230242127A1 (zh)
CN (1) CN116558532A (zh)
DE (1) DE102022126396A1 (zh)

Also Published As

Publication number Publication date
DE102022126396A1 (de) 2023-08-03
US20230242127A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
EP3371671B1 (en) Method, device and assembly for map generation
EP3612854B1 (en) Vehicle navigation system using pose estimation based on point cloud
CN110859044B (zh) 自然场景中的集成传感器校准
US20220299657A1 (en) Systems and methods for vehicle positioning
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
JP5404861B2 (ja) 静止物地図生成装置
JP5388082B2 (ja) 静止物地図生成装置
上條俊介 et al. Autonomous vehicle technologies: Localization and mapping
JP2018028489A (ja) 位置推定装置、位置推定方法
JP5286653B2 (ja) 静止物地図生成装置
CN111006655A (zh) 机场巡检机器人多场景自主导航定位方法
US20220197301A1 (en) Vehicle Localization Based on Radar Detections
Dumble et al. Airborne vision-aided navigation using road intersection features
Kang et al. Map building based on sensor fusion for autonomous vehicle
WO2022055382A1 (en) A method and device for determining a vehicle position
Gustafsson et al. Navigation and tracking of road-bound vehicles
Aggarwal GPS-based localization of autonomous vehicles
Suganuma et al. Map based localization of autonomous vehicle and its public urban road driving evaluation
Shan et al. A Survey of Vehicle Localization: Performance Analysis and Challenges
Kumar et al. A Survey on Localization for Autonomous Vehicles
Jiang et al. Precise vehicle ego-localization using feature matching of pavement images
US20230242127A1 (en) Visual and wireless joint three-dimensional mapping for autonomous vehicles and advanced driver assistance systems
JP7298882B2 (ja) 車両の自己位置推定装置、及び車両
Ahn et al. Localization based on lidar and GNSS for connected vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination