CN112304302B - 一种多场景高精度车辆定位方法、装置及车载终端 - Google Patents

一种多场景高精度车辆定位方法、装置及车载终端 Download PDF

Info

Publication number
CN112304302B
CN112304302B CN201910681752.1A CN201910681752A CN112304302B CN 112304302 B CN112304302 B CN 112304302B CN 201910681752 A CN201910681752 A CN 201910681752A CN 112304302 B CN112304302 B CN 112304302B
Authority
CN
China
Prior art keywords
pose
vehicle
parking lot
positioning
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910681752.1A
Other languages
English (en)
Other versions
CN112304302A (zh
Inventor
施泽南
姜秀宝
谢国富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Momenta Technology Co ltd
Original Assignee
Beijing Momenta Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Momenta Technology Co ltd filed Critical Beijing Momenta Technology Co ltd
Priority to CN201910681752.1A priority Critical patent/CN112304302B/zh
Priority to PCT/CN2019/113490 priority patent/WO2021017212A1/zh
Priority to DE112019007451.2T priority patent/DE112019007451T5/de
Publication of CN112304302A publication Critical patent/CN112304302A/zh
Application granted granted Critical
Publication of CN112304302B publication Critical patent/CN112304302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/01—Determining conditions which influence positioning, e.g. radio environment, state of motion or energy consumption
    • G01S5/014—Identifying transitions between environments
    • G01S5/015—Identifying transitions between environments between indoor and outdoor environments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明实施例公开一种多场景高精度车辆定位方法及车载终端。该方法包括：当车辆行驶在户外时，根据IMU数据和卫星数据，确定车辆的车辆位姿；当车辆从户外驶入停车场入口处的第一初始化区域中时，根据第一初始化区域中采集的第一停车场图像的道路特征，确定用于启动视觉定位的第一启动位姿；基于IMU数据、第一启动位姿以及第一停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿；当确定车辆从停车场驶入户外时，根据IMU数据和卫星数据，确定车辆的车辆位姿。应用本发明实施例提供的方案，能够实现在不同场景中以及在不同场景之间进行切换时对车辆进行精确定位。

Description

一种多场景高精度车辆定位方法、装置及车载终端
技术领域
本发明涉及智能驾驶技术领域，具体而言，涉及一种多场景高精度车辆定位方法及车载终端。
背景技术
在智能驾驶技术领域中，对车辆进行定位是智能驾驶中的重要环节。通常，当车辆行驶时，可以根据全球导航卫星系统(Global Navigation Satellite System，GNSS)采集的数据确定车辆位姿。但是，在实际应用中，车辆可能会行驶至不同的场景中，例如，车辆可能行驶在户外、地面停车场或地下停车场等场景。针对不同的场景，采用单一的定位方式显然无法满足智能驾驶中对车辆位姿的定位要求。因此，亟待一种能适应多场景的高精度定位方法。
发明内容
本发明提供了一种多场景高精度车辆定位方法及车载终端，以实现在不同场景中以及在不同场景之间进行切换时对车辆进行精确定位。具体的技术方案如下。
第一方面，本发明实施例公开了一种多场景高精度车辆定位方法，包括：
当车辆行驶在户外时，获取惯性测量单元IMU采集的IMU数据和卫星定位单元GNSS采集的卫星数据，根据所述IMU数据和所述卫星数据，确定所述车辆的车辆位姿；
当根据所述车辆位姿确定所述车辆从户外驶入停车场入口处预设的第一初始化区域中时，获取相机设备在所述第一初始化区域中采集的第一停车场图像，根据所述第一停车场图像的道路特征，确定用于启动视觉定位的第一启动位姿；
基于所述IMU数据、所述第一启动位姿以及所述第一停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定所述车辆的车辆位姿；
当确定视觉定位处于启动状态，且根据所述车辆位姿确定所述车辆行驶在停车场时，获取所述相机设备采集的停车场图像，获取上一车辆位姿，基于所述IMU数据、所述上一车辆位姿以及所述停车场图像中的道路特征与所述预设地图中道路特征之间的匹配结果，确定所述车辆的车辆位姿；
当根据所述车辆位姿确定所述车辆从停车场驶入户外时，返回执行所述获取所述IMU采集的IMU数据和GNSS采集的卫星数据的步骤。
第二方面，本发明实施例公开了一种车载终端，包括：处理器、相机设备、IMU和GNSS；所述处理器包括：户外定位模块、启动确定模块、第一视觉定位模块、第二视觉定位模块和场景切换模块；
户外定位模块，用于当车辆行驶在户外时，获取IMU采集的IMU数据和GNSS采集的卫星数据，根据所述IMU数据和所述卫星数据，确定所述车辆的车辆位姿；
启动确定模块，用于当根据所述车辆位姿确定所述车辆从户外驶入停车场入口处预设的第一初始化区域中时，获取相机设备在所述第一初始化区域中采集的第一停车场图像，根据所述第一停车场图像的道路特征，确定用于启动视觉定位的第一启动位姿；
第一视觉定位模块，用于基于所述IMU数据、所述第一启动位姿以及所述第一停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定所述车辆的车辆位姿；
第二视觉定位模块，用于当确定视觉定位处于启动状态，且根据所述车辆位姿确定所述车辆行驶在停车场时，获取所述相机设备采集的停车场图像，获取上一车辆位姿，基于所述IMU数据、所述上一车辆位姿以及所述停车场图像中的道路特征与所述预设地图中道路特征之间的匹配结果，确定所述车辆的车辆位姿；
场景切换模块，用于当根据所述车辆位姿确定所述车辆从停车场驶入户外时，返回执行所述获取所述IMU采集的IMU数据和GNSS采集的卫星数据的操作。
由上述内容可知，本发明实施例提供的多场景高精度车辆定位方法及车载终端，可以当车辆行驶在户外时或者从停车场驶入户外时，根据IMU数据和卫星数据确定车辆的车辆位姿；当车辆从户外驶入停车场入口处时，在第一初始化区域中启动视觉定位；当车辆在停车场中行驶时，基于IMU数据、上一车辆位姿以及停车场图像的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿。本发明实施例中，车辆在户外和停车场中或两者之间切换时，按照对应的车辆定位方式确定车辆位姿，并且在无卫星信号的停车场中可以基于IMU和视觉定位进行车辆定位，能够提高定位的精确性。因此，本发明实施例能够实现在不同场景中以及在不同场景之间进行切换时对车辆进行精确定位。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、当车辆在户外时，根据IMU数据和卫星数据定位；当车辆在停车场中时基于IMU和视觉特征匹配定位；在停车场入口时，基于IMU数据和卫星数据以及初始化区域启动视觉定位，能够在不同场景中进行定位，也能够顺利地在不同场景下切换不同定位方式。
2、在无卫星信号的停车场中，基于IMU轨迹推算和视觉定位的融合确定车辆位姿，两种定位方式的结合能够修正单一定位方式中的误差，使得定位结果更精确。
3、在确定视觉位姿之后，根据道路特征之间的映射误差以及预先建立的映射误差与定位误差之间的对应关系，确定视觉位姿的精度，能够实现对视觉位姿定位效果的评估。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多场景高精度车辆定位方法的一种流程示意图；
图2为预设地图中户外的地图区域和停车场的地图区域的一种示意图；
图3为停车场入口处第一初始化区域的一种示意图；
图4为图1中步骤S140的一种流程示意图；
图5为第一轨迹和第二轨迹中各个位置点的一种示意图；
图6为本发明实施例提供的车载终端的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种多场景高精度车辆定位方法及车载终端，以实现在不同场景中以及在不同场景之间进行切换时对车辆进行精确定位。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的多场景高精度车辆定位方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或者智能终端设备等，也可以为车载电脑或车载工业控制计算机(Industrial personal Computer，IPC)等车载终端。本实施例中，车辆中设置的传感器包括：惯性测量单元(Inertial Measurement Unit，IMU)、GNSS(Global Navigation Satellite System，全球导航卫星系统)、相机设备等。可以该方法具体包括以下步骤。
S110：当车辆行驶在户外时，获取IMU采集的IMU数据和GNSS采集的卫星数据，根据IMU数据和卫星数据，确定车辆的车辆位姿。
本实施例中确定的车辆位姿，为预设地图中的车辆位姿。车辆位姿包括车辆位置和车辆姿态。预设地图可以为预先建立的高精度地图。IMU和GNSS可以按照一定频率间隔性地采集数据。
根据IMU数据和卫星数据，确定车辆的车辆位姿时，具体可以包括：根据卫星数据可以直接确定车辆的粗略位姿；基于IMU数据和上一车辆位姿进行轨迹推测，确定当前时刻的IMU位姿，根据IMU位姿对粗略位姿进行修正，可以确定车辆在户外时的车辆位姿。
本实施例中，可以根据车辆位姿判断车辆位于户外的地图区域或者位于停车场的地图区域。图2为预设地图中户外的地图区域和停车场的地图区域的一种示意图。圆形区域为预设地图中的部分，停车场的地图区域采用矩形框表示，矩形框以外的区域为户外的地图区域。
本实施例中提及的场景可以包括户外和停车场等场景。停车场包括地下停车场和室内停车场。在户外时GNSS信号比较强，可以根据IMU和GNSS信号对车辆位姿进行定位。
S120：当根据车辆位姿确定车辆从户外驶入停车场入口处预设的第一初始化区域中时，获取相机设备在第一初始化区域中采集的第一停车场图像，根据第一停车场图像的道路特征，确定用于启动视觉定位的第一启动位姿。
本实施例中，根据车辆位姿可以实时地确定车辆在预设地图中位置。当检测到车辆位姿指示车辆从户外驶入停车场入口处时，判断车辆位姿指示的位置是否处于第一初始化区域中，如果是，则获取相机设备在第一初始化区域中采集的第一停车场图像。当车辆从停车场入口驶入停车场时，相机设备采集的第一停车场图像可以为包含停车场内部环境的图像。
上述第一初始化区域为预先设定的预设地图中的坐标区域，在该第一初始化区域内，任意两个位置的观测或同一位置的不同角度观测存在显著差异。在该第一初始化区域中，可以根据该区域的标志物精确地确定车辆位姿，进而启动视觉定位。第一初始化区域可以为以停车场入口处的预设位置点为圆心、以预设距离为半径的圆形区域。例如，预设距离可以为15m或其他数值。
参见图3，该图3为本发明实施例提供的停车场入口处停车场地面标志线及第一初始化区域的一种示意图。其中，显示了停车场地面的标志线，以及停车场入口通道的墙壁(采用粗线表示)，停车场入口处的第一初始化区域采用较大圆形区域表示。当车辆位于A点时，根据IMU数据和卫星数据能够将车辆位姿定位到较大圆形区域中。图3中较小的圆圈范围表示能够正常启动视觉定位系统的启动位姿范围。
本步骤中，IMU和GNSS等信号起到的作用是确定车辆已经进入第一初始化区域内，这样可以避免在有类似地形的区域发生误检。
上述道路图像包含车辆行驶时周围的道路特征和背景部分。道路特征包括但不限于道路上的车道线、路灯杆、交通牌、边缘线、停止线、红绿灯和地面的其他标识。边缘线包括但不限于车道边缘线和泊车位边缘线。
第一启动位姿为车辆的位姿，当第一启动位姿精确度满足要求时能够用于启动视觉定位，例如，当第一启动位姿位于图3中的小圈范围内时，能够用于启动视觉定位。
S130：基于IMU数据、第一启动位姿以及第一停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿。
本实施例中，预设地图中可以包括各个位置点的道路特征。预设地图中的位置点可以二维坐标点或三维坐标点表示。
本步骤中的车辆位姿定位，可以理解为，当确定第一启动位姿之后，启动视觉定位时的第一次车辆位姿定位。
本步骤中，基于IMU数据、第一启动位姿以及第一停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿具体可以包括以下步骤1a～4a。
步骤1a：根据第一启动位姿确定车辆的估计位姿。本步骤可以直接将第一启动位姿作为车辆的估计位姿，也可以对第一启动位姿进行一定修改后作为车辆的估计位姿。
步骤2a：基于车辆的估计位姿，确定第一道路特征与第二道路特征之间的参考映射误差。
本实施例中，第一道路特征为第一停车场图像中的道路特征，采用的是道路图像中的位置表示。第二道路特征为预设地图中与第一道路特征匹配成功的道路特征，也是预设地图中的道路特征，采用的是预设地图所在坐标系中的坐标来表示。
在确定映射误差时，可以将第一道路特征和第二道路特征映射到同一坐标系中后确定映射误差。本步骤具体可以包括以下实施方式：
实施方式一，根据车辆的估计位姿，以及第一道路特征在第一停车场图像中的位置，计算第一道路特征映射至预设地图中的第一映射位置；计算第一映射位置与第二道路特征在预设地图中的位置之间的误差，得到参考映射误差。
在本实施方式中，通过将第一道路特征映射到预设地图所在的坐标系中，对第一道路特征与第二道路特征的位置进行对比，得到参考映射误差。
根据估计位姿，以及第一道路特征在第一停车场图像中的位置，计算第一道路特征映射至预设地图中的第一映射位置时，具体可以根据图像坐标系与世界坐标系之间的转换关系，以及估计位姿，将第一道路特征在第一停车场图像中的位置转换至世界坐标系中，得到第一映射位置。其中，图像坐标系为第一停车场图像所在的坐标系，世界坐标系为预设地图所在的坐标系。图像坐标系与世界坐标系之间的转换关系，可以通过图像坐标系与相机坐标系之间的内参矩阵，以及相机坐标系与世界坐标系之间的旋转矩阵和平移矩阵得到。
实施方式二，根据车辆的估计位姿，以及第二道路特征在预设地图中的位置，计算第二道路特征映射至第一停车场图像所在坐标系中的第二映射位置；计算第一道路特征在第一停车场图像中的位置与第二映射位置之间的误差，得到参考映射误差。
在本实施方式中，通过将第二道路特征映射到第一停车场图像所在的坐标系中，对第一道路特征与第二道路特征的位置进行对比，得到参考映射误差。
根据车辆的估计位姿，以及第二道路特征在预设地图中的位置，计算第二道路特征映射至第一停车场图像所在坐标系中的第二映射位置时，可以根据图像坐标系与世界坐标系之间的转换关系，以及车辆的估计位姿，将第二道路特征在预设地图中的位置转换至图像坐标系中，得到第二映射位置。
上述两种实施方式对应两种不同的映射方式，在实际应用中可以择一使用。
步骤3a：当参考映射误差大于预设误差阈值时，调整车辆的估计位姿，并执行步骤2a中基于车辆的估计位姿，确定第一道路特征与第二道路特征之间的参考映射误差的步骤。
当参考映射误差大于预设误差阈值时，认为该估计位姿与车辆的真实定位位姿之间还存在较大差距，可以继续进行迭代。
步骤4a：当参考映射误差不大于预设误差阈值时，根据车辆的当前估计位姿确定车辆在第一时刻的第一视觉位姿。
当参考映射误差不大于所述预设误差阈值时，认为该估计位姿与车辆的真实定位位姿非常接近，定位精度已经达到要求。
上述实施方式中，基于第一停车场图像的道路特征与预设地图中的道路特征之间的匹配结果，通过迭代方式能更准确地确定车辆位姿。
S140：当确定视觉定位处于启动状态，且根据车辆位姿确定车辆行驶在停车场时，获取相机设备采集的停车场图像，获取上一车辆位姿，基于IMU数据、上一车辆位姿以及停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿。
本步骤中，基于IMU数据、上一车辆位姿以及停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿的步骤具体可以参见步骤S130中的说明，此处不再赘述。
本实施例的一种应用场景为，车辆从户外驶入停车场入口处，由于停车场中GNSS信号较弱或无GNSS信号，因此可以采用与户外不同的基于IMU和视觉的定位方式确定车辆位姿。在采用基于IMU和视觉的定位方式时，可以确定精度满足要求的车辆位姿来启动基于IMU和视觉的定位方式，具体来说是启动视觉定位。当视觉定位处于启动状态之后，车辆在停车场中行驶时，可以基于IMU数据、上一车辆位姿以及停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆位姿。
获取的停车场图像，可以为启动视觉定位之后在停车场任何位置处采集的图像。上一车辆位姿可以理解为第一时刻的上一时刻确定的车辆位姿。第一时刻为采集停车场图像的时刻。
S150：当根据车辆位姿确定车辆从停车场驶入户外时，返回执行步骤S110中获取所述IMU采集的IMU数据和GNSS采集的卫星数据的步骤。
当根据车辆位姿确定车辆从停车场驶入户外时，根据IMU数据和卫星数据确定车辆位姿。
由上述内容可知，本实施例可以当车辆行驶在户外时或者从停车场驶入户外时，根据IMU数据和卫星数据确定车辆的车辆位姿；当车辆从户外驶入停车场入口处时，在第一初始化区域中启动视觉定位；当车辆在停车场中行驶时，基于IMU数据、上一车辆位姿以及停车场图像的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿。本实施例中，车辆在户外和停车场中或两者之间切换时，按照对应的车辆定位方式确定车辆位姿，并且在无卫星信号的停车场中可以基于IMU和视觉定位进行车辆定位，能够提高定位的精确性。因此，本实施例能够实现在不同场景中以及在不同场景之间进行切换时对车辆进行精确定位。
在本发明的另一实施例中，基于图1所示实施例，步骤S120中根据第一停车场图像的道路特征，确定用于启动视觉定位的第一启动位姿的步骤，具体可以包括以下步骤1b和2b。
步骤1b：基于第一停车场图像的道路特征与车辆位姿，通过第一位姿回归模型确定车辆的第一车辆位姿。
其中，第一位姿回归模型为预先根据在第一初始化区域内采集的多个样本停车场图像以及对应的样本车辆位姿和标注车辆位姿训练得到。该第一位姿回归模型能够根据训练好的模型参数使得第一停车场图像的道路特征和车辆位姿，与第一车辆位姿相关联。
本步骤具体可以包括：将第一停车场图像的道路特征和车辆位姿作为输入信息输入第一位姿回归模型，获取第一位姿回归模型输出的车辆的第一车辆位姿。其中，第一车辆位姿为比输入的车辆位姿更精确的车辆位姿。第一位姿回归模型根据训练好的模型参数可以在输入的车辆位姿的基础上，根据从第一停车场图像的道路特征中提取的特征向量进行回归，得到第一车辆位姿。
位姿回归模型可以采用多级位姿回归器(Cascaded Pose Regression，CPR)。多级位姿回归器采用以下原理公式，确定第一车辆位姿：
Preg＝CPR(PGPS,Iseg)
其中，PGPS为输入的车辆位姿，Iseg为语义观测图像，即第一停车场图像的道路特征。PGPS和Iseg为CPR的输入信息，Preg为CPR输出的第一车辆位姿。
本步骤能够基于道路特征和车辆位姿，通过多级位姿回归器确定车辆更准确的位姿，在确定车辆进入第一初始化区域的基础上，使得定位的位姿更精确。本步骤也可以理解为，识别出第一停车场图像中的道路特征在第一初始化区域中的位置。
上述第一位姿回归模型可以采用以下方式训练得到：
获取在第一初始化区域内采集的多个样本停车场图像，以及每个样本停车场图像对应的样本车辆位姿和标注车辆位姿；检测每个样本停车场图像的道路特征；基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过第一位姿回归模型中的模型参数确定参考车辆位姿：确定参考车辆位姿与标注车辆位姿之间的差异量；当差异量大于预设差异量阈值时，修正模型参数，返回执行基于每个样本停车场图像的道路特征和对应的样本车辆位姿，通过位姿回归模型中的模型参数确定参考车辆位姿的步骤；当差异量不大于预设差异量阈值时，确定位姿回归模型训练完成。
其中，标注车辆位姿可以理解为样本停车场图像对应的车辆位姿的真实值、标准值。样本车辆位姿可以为在采集每个样本停车场图像时根据IMU数据和卫星数据确定车辆位姿，也可以为对标注车辆位姿添加预设扰动后得到的车辆位姿。预设扰动可以理解为预设修改。样本车辆位姿可以理解为用于输入第一位姿回归模型的车辆位姿初始值，位姿回归模型在该车辆位姿初始值的基础上对样本停车场图像进行回归。
在一种实施方式中，可以预先在第一初始化区域内通过相机设备采集大量的样本停车场图像，以及根据IMU数据和卫星数据确定样本车辆位姿。在采集每个样本停车场图像时，可以通过离线定位的方式确定该样本停车场图像对应的标注车辆位姿。
当位姿回归模型采用多级位姿回归器时，可以直接将多级位姿回归器中已经在其他方面训练过的模型参数，作为本步骤中模型参数的初始值。通过大量的训练过程，不断地修正模型参数，使其逐渐接近真实值。
在确定差异量时，可以采用残差函数确定参考车辆位姿与标注车辆位姿之间的差异量。
步骤2b：根据第一车辆位姿，将第一停车场图像中的道路特征与预设地图中的道路特征进行匹配，根据匹配结果确定车辆的第二车辆位姿，作为用于启动视觉定位的第一启动位姿。
第一停车场图像中的道路特征会受到遮挡等外部因素的影响，这使得第一车辆位姿与真实的车辆位姿之间可能存在偏差或者发生误检。因此，通过本步骤可以进一步提高车辆位姿的精确性。
本步骤中根据第一车辆位姿，将第一停车场图像中的道路特征与预设地图中的道路特征进行匹配，根据匹配结果确定车辆的第二车辆位姿的具体实施方式可以参见步骤S130中的说明，此处不再赘述。
上述第一车辆位姿和第二车辆位姿均为在同一时刻车辆的位姿。
综上，本实施例中，通过第一位姿回归模型确定的第一车辆位姿相比于输入的车辆位姿精度更高；再通过与预设地图中的道路特征的匹配，能够在第一车辆位姿的基础上更进一步缩小定位范围，因此能够提高第一启动位姿的精度。
在本发明的另一实施例中，基于图1所示实施例，步骤S140中基于IMU数据、上一车辆位姿以及停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿的步骤，可以按照图4所示流程示意图进行，具体包括以下步骤。
步骤S141：基于上一车辆位姿，以及停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆在第一时刻的第一视觉位姿。
其中，第一时刻为停车场图像和IMU数据的采集时刻。
本步骤的具体实施方式可以参见步骤S130中的说明，此处不再赘述。
步骤S142：基于上一车辆位姿，以及IMU数据，推算车辆在第一时刻的第一IMU位姿。
其中，IMU数据可以包括角速度和加速度等数据。
通常，IMU采集数据的频率高于相机设备采集图像的频率。当第一时刻确定时，获取IMU在第一时刻采集的IMU数据时，可以从IMU采集的大量IMU数据中确定时间戳为第一时刻的IMU数据。
在实际应用中，可以按照预设频率推算车辆的第一IMU位姿。具体的，可以按照与确定视觉位姿的频率相同的频率推算车辆的第一IMU位姿。
步骤S143：获取在多个第二时刻确定的多个第二视觉位姿以及多个第二IMU位姿。
其中，多个第二时刻为所述第一时刻之前的时刻。各个第二时刻早于第一时刻。在获取多个第二视觉位姿和多个第二IMU位姿时，可以从存储的多个时刻的视觉位姿和多个时刻的IMU位姿中确定。
步骤S144：根据第一轨迹与第二轨迹中各个位置点之间的融合变换系数，以及第一轨迹和第二轨迹中各个位置点与估计融合位姿之间的相似关系，构建相似约束优化函数，通过改变所述估计融合位姿的取值，对相似约束优化函数进行迭代求解，将相似约束优化函数取最优化解时的估计融合位姿，确定为车辆在第一时刻融合后的车辆位姿。
其中，第一轨迹为第一视觉位姿和多个第二视觉位姿对应的轨迹，第二轨迹为第一IMU位姿和多个第二IMU位姿对应的轨迹。估计融合位姿为多个，包括在第一时刻和各个第二时刻的估计融合位姿。
第一轨迹中的各个位置点为第一视觉位姿和各个第二视觉位姿对应的位置点，第二轨迹中的各个位置点为第一IMU位姿和各个第二IMU位姿对应的位置点。参见图5所示，在由第一时刻t1和各个第二时刻tn组成的一段时间内，第一轨迹和第二轨迹并不是重合的。其中，第一轨迹中的各个位置点采用空心圆圈表示，第二轨迹中的各个位置点采用实心圆圈表示，车辆的大致行驶方向为从左到右。
由于不同的定位方式均存在一定的定位误差，这导致第一轨迹和第二轨迹并不是重合的，每个位置点之间存在较小的区别。第一轨迹中各个位置点与对应的估计融合位姿之间是比较接近的，第二轨迹中的相邻位置点之间的特征与对应的相邻估计融合位姿之间的特征是相似的。
本实施例中，第一轨迹与第二轨迹中对应位置点之间满足相似变换，对应位置点之间均存在对应的融合变换系数，例如，图5中第一时刻的第一视觉位姿和第一IMU位姿之间存在对应的融合变换系数；同样的，其他时刻的第二视觉位姿和第二IMU位姿之间也存在对应的融合变换系数。
综上，本实施例中在无卫星信号的停车场中，基于IMU轨迹推算和视觉定位的融合确定车辆位姿，两种定位方式的结合能够修正单一定位方式中的误差，使得定位结果更精确。同时，本实施例在确定车辆的融合后定位位姿时，使用车辆原有的相机设备和IMU设备，无需增加硬件设备，能够在无GNSS信号的场景中实现对车辆位姿的定位。并且，本实施例是根据第一轨迹和第二轨迹分别与估计融合位姿之间的相似关系，以及第一轨迹和第二轨迹中各个位置点之间的融合变换系数，构建相似约束优化函数，融合过程考虑各种约束关系，能够使得确定的融合后车辆位姿更准确，更接近于真实值。
在本发明的另一实施例中，基于图4所示实施例，步骤S144，根据第一轨迹与第二轨迹中各个位置点之间的融合变换系数，以及第一轨迹和第二轨迹中各个位置点与估计融合位姿之间的相似关系，构建相似约束优化函数，通过改变估计融合位姿的取值，对相似约束优化函数进行迭代求解，将相似约束优化函数取最优化解时的估计融合位姿，确定为车辆在第一时刻融合后的车辆位姿的步骤，包括以下步骤1c～6c。
步骤1c：根据第一轨迹与第二轨迹中各个位置点之间的融合变换系数，以及第一轨迹和第二轨迹中各个位置点与估计融合位姿之间的相似关系，构建以下相似约束优化函数E：
Figure BDA0002145000300000131
其中，S(ti)和Rs(ti)分别为第一轨迹与第二轨迹中ti时刻位置点之间的融合变换系数中的缩放比例和旋转矩阵，Pf(ti)和Rf(ti)分别为ti时刻的估计融合位姿中的位置和姿态，Pv(ti)和Rv(ti)分别为第一轨迹中ti时刻位置点中的位置和姿态，Po(ti)和Ro(ti)分别为第二轨迹中ti时刻位置点中的位置和姿态，t1为第一时刻，tn为多个第二时刻中的最早时刻，n为第一时刻和多个第二时刻的总数量，min为取最小值函数。
上述P代表位置，R代表姿态，下标为v的量为视觉位姿中的量，下标为o的量为IMU位姿中的量，下标为s的量为融合变换系数中的量。S代表第一轨迹中的位置点与第二轨迹中对应的位置点之间的缩放比例，Rs代表第一轨迹中的位置点与第二轨迹中对应的位置点之间的旋转矩阵。
由于基于视觉得到的视觉位姿是针对每个时刻得到的，而基于IMU的位姿推算是基于相邻时刻之间的相对量得到的，因此视觉位姿与估计融合位姿之间为单时刻约束，而IMU位姿与估计融合位姿之间为从上一时刻到当前时刻的约束。
相似约束优化函数E中的第一项表示每个视觉位姿中的位置与对应估计融合位姿中的位置之间应比较接近，第二项表示每个视觉位姿中的姿态与对应估计融合位姿中的姿态之间应比较接近，第三项表示相邻IMU位姿之间的位移与对应的相邻估计融合位姿之间的位移应比较接近，第四项表示相邻IMU位姿之间的变换角度与对应的相邻估计融合位姿之间的变换角度应比较接近，第五项表示相邻位置点之间的缩放比例应比较接近，第六项表示相邻位置点之间的旋转矩阵应比较接近。根据上述约束关系，能够构建出相似约束优化函数E。当E能取得最小值时的估计融合位姿和Rf,Pf,S,Rs为最优化解。
步骤2c：确定估计融合位姿的初始值，确定Rf,Pf,S,Rs的初始值。
估计融合位姿的初始值可以通过在对应的视觉位姿或者IMU位姿上叠加一定的扰动量得到。Rf，Pf，S，Rs的初始值可以根据经验值确定。
或者，Rf，Pf，S，Rs的初始值可以按照以下方式给出：
Rf(t)的初始值等于Rv(t),Pf(t)的初始值等于Pv(t)，S(t)的初始值取1，Rs(t)的初始值等于
Figure BDA0002145000300000141
步骤3c：根据估计融合位姿的当前取值和Rf，Pf，S，Rs的当前取值，确定相似约束优化函数的当前函数值。
具体的，估计融合位姿的当前取值和Rf，Pf，S，Rs的当前取值代入步骤S141中相似约束优化函数E的表达式，得到当前函数值。
步骤4c：获取相似约束优化函数的上一函数值，判断上一函数值与当前函数值的差值绝对值是否大于预设差值阈值，如果是，则执行步骤5c；如果否，则执行步骤6c。
其中，预设差值阈值可以为预先根据经验值确定的值，调整预设差值阈值能够调整融合位姿的精度。当上一函数值与当前函数值的差值绝对值大于预设差值阈值时，认为相似约束优化函数的函数值还可以更小。当上一函数值与当前函数值的差值绝对值不大于预设差值阈值时，认为相似约束优化函数的函数值已经非常接近于最小值。
步骤5c：调整估计融合位姿的取值以及Rf，Pf，S，Rs的取值，返回执行步骤3c，根据估计融合位姿的当前取值和Rf,Pf，S，Rs的当前取值，确定相似约束优化函数的当前函数值的步骤。
调整估计融合位姿的取值以及Rf，Pf，S，Rs的取值时，可以根据上一估计融合位姿的取值以及上一Rf，Pf，S和Rs的取值，以及当前函数值的变化趋势进行调整。
步骤6c：将估计融合位姿的当前取值，确定为车辆在第一时刻融合后的车辆位姿。
综上，本实施例给出了构建的相似约束优化函数的具体形式，并提供了迭代求解相似约束优化函数的具体实施方式，能够更准确地确定两种位姿的融合后车辆位姿。
在本发明的另一实施例中，基于图4所示实施例，在步骤S141之后，即在基于上一车辆位姿，以及停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆在第一时刻的第一视觉位姿之后，还可以包括以下步骤1d～3d所示的精度确定过程。
步骤1d：根据第一视觉位姿，确定第一道路特征和第二道路特征之间的映射误差。
本实施例中，第一道路特征为停车场图像中的道路特征，第二道路特征为预设地图中与第一道路特征匹配成功的道路特征。
本步骤的具体实施方式可以参见步骤2a中的说明，采用两种映射方式中的一种确定映射误差。
步骤2d：从预设地图包含的多个不同地图区域中，确定第一视觉位姿所在的目标地图区域。
本实施例中，可以预先根据预设地图包含的道路特征，将预设地图划分成多个不同地图区域，每个地图区域中的道路特征之间具有关联性或者位置相近性。地图区域可以为圆形区域、矩形区域或其他区域形状。
在确定目标地图区域时，具体可以将第一视觉位姿中的位置坐标所在的地图区域确定为目标地图区域。
步骤3d：根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定上述映射误差对应的定位误差，根据定位误差确定第一视觉位姿的定位精度。
本实施例中，可以预先建立各个不同地图区域中映射误差与定位误差之间的对应关系，从各个不同地图区域中映射误差与定位误差之间的对应关系中，确定目标地图区域中映射误差与定位误差之间的对应关系。
其中，映射误差与定位误差之间的对应关系可以采用以定位误差为变量的映射误差函数表示。在确定映射误差对应的定位误差时，可以将映射误差代入映射误差函数，得到对应的定位误差。
定位误差可以理解为当前的定位位姿与真实的定位位姿之间的差值。例如定位误差可以为5cm、10cm等。在根据定位误差确定第一视觉位姿的定位精度时，可以将定位误差的倒数确定为第一视觉位姿的定位精度，也可以对该倒数做其他预设处理后得到第一视觉位姿的定位精度。
定位精度与定位误差的关系为，定位误差越大，定位精度越小，定位误差越小，定位精度越大。
步骤1d中确定映射误差时采用的映射方式，应与在建立映射误差与定位误差之间的对应关系时采用相同的映射方式。
综上，本实施例中，在确定第一视觉位姿之后，根据道路特征之间的映射误差以及预先建立的映射误差与定位误差之间的对应关系，确定第一视觉位姿的精度，能够实现对视觉位姿定位效果的评估。
另一种实施例中，在确定第一视觉位姿的定位精度之后，可以根据预设的定位精度与权重的对应关系确定第一视觉位姿的权重，并获取各个第二视觉位姿的权重。在步骤1c中构建相似约束优化函数E时，可以叠加上第一视觉位姿和各个第二视觉位姿的权重，即在E右侧的式子中的第一项和第二项均乘以权重，能够提高融合后的车辆位姿的准确性。
在本发明的另一实施例中，基于上述实施例，可以采用以下步骤1e～4e建立目标地图区域中映射误差与定位误差之间的对应关系。
步骤1e：获取在所述目标地图区域中采集的样本道路图像和对应的样本道路特征，以及样本道路图像对应的所述车辆的标准定位位姿，获取预设地图中与样本道路特征匹配成功的第三道路特征。
其中，上述标准定位位姿为相机模块采集样本道路图像时确定的车辆的定位位姿，标准定位位姿可以理解为不存在定位误差的定位位姿。
步骤2e：对标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿。扰动定位位姿可以理解为以标准定位位姿为基准得到的车辆的虚拟定位位姿。
步骤3e：根据样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差。
针对不同的扰动定位位姿，可以根据步骤2a中提到的映射方式，将样本道路特征和第三道路特征映射到同一坐标系中后确定扰动映射误差。
当已知样本道路图像中的道路特征和预设地图中匹配成功的道路特征，以及对应的定位位姿时，映射误差match_err可以采用以下函数表示：
match_err＝MapMatching(ppose,Iseg,Imap)
其中，ppose为定位位姿，Iseg为样本道路图像中的道路特征，Imap为预设地图中匹配成功的道路特征。
步骤4e：基于预先设定的目标地图区域中的与定位误差相关的映射误差函数，求解映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到目标地图区域中映射误差与定位误差之间的函数关系。
其中，预先设定的目标地图区域中的与定位误差相关的映射误差函数，可以理解为预设的包含未知量的映射误差函数。例如，可以将映射误差函数设置为以下二次曲面形式：
g(Δx,Δy)＝aΔx2+bΔxΔy+cΔy2+dΔx+eΔy+f
多个扰动定位位姿对应的扰动映射误差可以采用以下函数表示：
match_err＝MapMatching(pgt+Δp,Iseg,Imap)
本步骤在具体实施时可以包括：
求解以下最小值函数
Figure BDA0002145000300000181
得到a0、b0、c0、d0、e0和f0，将求解得到的所述a0、b0、c0、d0、e0和f0代入g后的函数作为映射误差函数；在标准定位位姿足够精确的情况下，求解得到的g0应为抛物面。
其中，映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx2+bΔxΔy+cΔy2+dΔx+eΔy+f；pgt为标准定位位姿，扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，Ω为目标地图区域，Iseg为样本道路特征，Imap为第三道路特征；MapMatching(pgt+Δp,Iseg,Imap)为多个扰动定位位姿pgt+Δp对应的扰动映射误差。g(Δx,Δy)-MapMatching(pgt+Δp,Iseg,Imap)表示映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差。
Figure BDA0002145000300000182
代表以a,b,c,d,e,f为待求解量的最小值函数。||·||为范数符号。
针对预设地图中的每个地图区域，均可以采用上述方式求解得到对应的映射误差函数g。
综上，本实施例中，在建立映射误差与定位误差之间的对应关系时，首先得到一个图像帧对应的样本道路特征和预设地图中匹配成功的道路特征，以及该图像帧对应的标准定位位姿，在该标准定位位姿的基础上增加多个扰动量，基于建立的残差函数，求解得到该地图区域中的对应关系。这样能够更快速地建立不同地图区域中的对应关系，也为确定车辆的定位误差提供了可实施的方式。
在本发明的另一实施例中，基于上述所示实施例，步骤3d，根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定上述映射误差对应的定位误差的步骤，可以包括：
将映射误差cost代入以下预先建立的目标地图区域中的映射误差函数g0，求解得到多个定位误差(Δx,Δy)：
g0(Δx,Δy)＝a0Δx2+b0ΔxΔy+c0Δy2+d0Δx+e0Δy+f0
其中，a0、b0、c0、d0、e0、f0为预先确定的函数系数；
将求解得到的多个定位误差中的最大值确定为与映射误差对应的定位误差r：
Figure BDA0002145000300000191
其中，
Figure BDA0002145000300000192
且
Figure BDA0002145000300000193
Figure BDA0002145000300000194
C＝2(a0e0 2+c0d0 2+(f0-cost)b0 2-2b0d0e0-a0c0(f0-cost))。
本实施例中，不同地图区域对应的映射误差函数的表达形式不同，具体可以是函数系数不同。上述映射误差函数g0(Δx,Δy)＝a0Δx2+b0ΔxΔy+c0Δy2+d0Δx+e0Δy+f0为抛物面，映射误差cost可以理解为平面，将映射误差cost代入映射误差函数g0，即是求抛物面与平面的交点。根据数学知识可知，该交点为椭圆，椭圆上的点都是求解得到的定位误差(Δx,Δy)。而求解得到的多个定位误差中的最大值即为椭圆的长轴和短轴(xerr和yerr)。
综上，本实施例提供了根据映射误差函数确定映射误差对应的定位误差的具体实施方式，本方法在实际应用中更易于实施。
在本发明的另一实施例中，基于上述实施例，在步骤3d之后，即在根据定位误差确定第一视觉位姿的定位精度之后，该方法还可以包括步骤1f～4f。
步骤1f：当根据定位精度确定车辆在停车场内的视觉定位失效时，基于视觉定位失效之前的车辆位姿，以及IMU数据，推算车辆的第三IMU位姿。
其中，视觉定位失效之前的车辆位姿可以为视觉定位失效之前最新的车辆位姿，选择该最新的车辆位姿推算出的第三IMU位姿更准确。
在确定车辆的位姿时，可以基于图像采集设备采集的道路图像的道路特征与预设地图中的道路特征进行匹配，确定车辆位姿，这可以称为视觉定位。当图像采集设备采集的图像中道路特征很少，或者设备故障等原因导致无法进行视觉定位时，则确定视觉定位失效。
当第一视觉位姿的定位精度小于预设精度阈值时，可以确定车辆在停车场内的视觉定位失效。
在另一种实施方式中，为了更准确地确定视觉定位过程是否失效，可以获取连续的预设数量个停车场图像对应的定位精度，当预设数量个定位精度大于预设精度阈值时，可以确定视觉定位失效。
步骤2f：当确定第三IMU位姿指示的位置处于停车场内预设的第二初始化区域中时，获取相机设备在第二初始化区域中采集的第二停车场图像，基于第二停车场图像的道路特征和第三IMU位姿，通过第二位姿回归模型确定车辆的第三车辆位姿。
其中，第二位姿回归模型为预先根据在第二初始化区域内采集的多个样本停车场图像以及对应的样本车辆位姿和标注车辆位姿训练得到。该第二位姿回归模型能够根据训练好的模型参数使得第二停车场图像的道路特征和第三IMU位姿，与第三车辆位姿相关联。
第二位姿回归模型可以采用与第一位姿回归模型相同的方式训练得到。第二位姿回归模型与第一位姿回归模型也可以采用同一位姿回归模型实现。
步骤3f：根据第三车辆位姿，将第二停车场图像的道路特征与预设地图中的道路特征进行匹配，根据匹配结果确定车辆的第四车辆位姿，作为用于重新启动视觉定位的第二启动位姿。
本步骤可以参见S130中的说明，此处不再赘述。
步骤4f：基于IMU数据、第二启动位姿以及第二停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿。
综上，本实施例可以根据IMU推算的IMU位姿确定车辆位于第二初始化区域中，并在第二初始化区域中确定用于重新启动视觉定位的第二启动位姿，能够更精确地确定启动位姿，实现视觉定位的重新启动。
图6为本发明实施例提供的车载终端的一种结构示意图。该实施例与图1所示方法实施例相对应。该车载终端包括：处理器610、相机设备620、IMU630和GNSS640。处理器610包括：户外定位模块、启动确定模块、第一视觉定位模块、第二视觉定位模块和场景切换模块(图中未示出)。
户外定位模块，用于当车辆行驶在户外时，获取IMU630采集的IMU数据和GNSS640采集的卫星数据，根据IMU数据和卫星数据，确定车辆的车辆位姿；
启动确定模块，用于当根据车辆位姿确定车辆从户外驶入停车场入口处预设的第一初始化区域中时，获取相机设备620在第一初始化区域中采集的第一停车场图像，根据第一停车场图像的道路特征，确定用于启动视觉定位的第一启动位姿；
第一视觉定位模块，用于基于IMU数据、第一启动位姿以及第一停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿；
第二视觉定位模块，用于当确定视觉定位处于启动状态，且根据车辆位姿确定车辆行驶在停车场时，获取相机设备620采集的停车场图像，获取上一车辆位姿，基于IMU数据、上一车辆位姿以及停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿；
场景切换模块，用于当根据车辆位姿确定车辆从停车场驶入户外时，返回执行获取IMU630采集的IMU数据和GNSS640采集的卫星数据的操作。
在本发明的另一实施例中，基于图6所示实施例，启动确定模块，根据第一停车场图像的道路特征，确定用于启动视觉定位的第一启动位姿时，包括：
基于第一停车场图像的道路特征与车辆位姿，通过第一位姿回归模型确定车辆的第一车辆位姿；其中，第一位姿回归模型为预先根据在第一初始化区域内采集的多个样本停车场图像以及对应的样本车辆位姿和标注车辆位姿训练得到；
根据第一车辆位姿，将第一停车场图像中的道路特征与预设地图中的道路特征进行匹配，根据匹配结果确定车辆的第二车辆位姿，作为用于启动视觉定位的第一启动位姿。
在本发明的另一实施例中，基于图6所示实施例，第二视觉定位模块，基于IMU数据、上一车辆位姿以及停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿时，包括：
基于上一车辆位姿，以及停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆在第一时刻的第一视觉位姿；其中，第一时刻为停车场图像和IMU数据的采集时刻；
基于上一车辆位姿，以及IMU数据，推算车辆在第一时刻的第一IMU位姿；
获取在多个第二时刻确定的多个第二视觉位姿以及多个第二IMU位姿；其中，多个第二时刻为第一时刻之前的时刻；
根据第一轨迹与第二轨迹中各个位置点之间的融合变换系数，以及第一轨迹和第二轨迹中各个位置点与估计融合位姿之间的相似关系，构建相似约束优化函数，通过改变估计融合位姿的取值，对相似约束优化函数进行迭代求解，将相似约束优化函数取最优化解时的估计融合位姿，确定为车辆在第一时刻融合后的车辆位姿；
其中，第一轨迹为第一视觉位姿和多个第二视觉位姿对应的轨迹，第二轨迹为第一IMU位姿和多个第二IMU位姿对应的轨迹。
在本发明的另一实施例中，基于图6所示实施例，第二视觉定位模块，根据第一轨迹与第二轨迹中各个位置点之间的融合变换系数，以及第一轨迹和第二轨迹中各个位置点与估计融合位姿之间的相似关系，构建相似约束优化函数，通过改变估计融合位姿的取值，对相似约束优化函数进行迭代求解，将相似约束优化函数取最优化解时的估计融合位姿，确定为车辆在第一时刻融合后的车辆位姿时，包括：
根据第一轨迹与第二轨迹中各个位置点之间的融合变换系数，以及第一轨迹和第二轨迹中各个位置点与估计融合位姿之间的相似关系，构建以下相似约束优化函数E：
Figure BDA0002145000300000221
其中，S(ti)和Rs(ti)分别为第一轨迹与第二轨迹中ti时刻位置点之间的融合变换系数中的缩放比例和旋转矩阵，Pf(ti)和Rf(ti)分别为ti时刻的估计融合位姿中的位置和姿态，Pv(ti)和Rv(ti)分别为第一轨迹中ti时刻位置点中的位置和姿态，Po(ti)和Ro(ti)分别为第二轨迹中ti时刻位置点中的位置和姿态，t1为第一时刻，tn为多个第二时刻中的最早时刻，n为第一时刻和多个第二时刻的总数量；
确定估计融合位姿的初始值，确定Rf，Pf，S，Rs的初始值；
根据估计融合位姿的当前取值和Rf，Pf，S，Rs的当前取值，确定相似约束优化函数的当前函数值；
获取相似约束优化函数的上一函数值，判断上一函数值与当前函数值的差值绝对值是否大于预设差值阈值；
如果是，则调整估计融合位姿的取值以及Rf，Pf，S，Rs的取值，返回执行根据估计融合位姿的当前取值和Rf，Pf，S，Rs的当前取值，确定相似约束优化函数的当前函数值的步骤；
如果否，则将估计融合位姿的当前取值，确定为车辆在第一时刻融合后的车辆位姿。
在本发明的另一实施例中，基于图6所示实施例，处理器610还包括：精度确定模块，用于采用以下操作确定第一视觉位姿的定位精度：
在基于上一车辆位姿，以及停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆在第一时刻的第一视觉位姿之后，根据第一视觉位姿，确定第一道路特征和第二道路特征之间的映射误差；其中，第一道路特征为停车场图像中的道路特征，第二道路特征为预设地图中与第一道路特征匹配成功的道路特征；
从预设地图包含的多个不同地图区域中，确定第一视觉位姿所在的目标地图区域；
根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定映射误差对应的定位误差，根据定位误差确定第一视觉位姿的定位精度。
在本发明的另一实施例中，基于图6所示实施例，处理器610还包括：
关系建立模块(图中未示出)，用于采用以下操作建立目标地图区域中映射误差与定位误差之间的对应关系：
获取在目标地图区域中采集的样本道路图像和对应的样本道路特征，以及样本道路图像对应的车辆的标准定位位姿，获取预设地图中与样本道路特征匹配成功的第三道路特征；
对标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿；
根据样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差；
基于预先设定的目标地图区域中的与定位误差相关的映射误差函数，求解映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到目标地图区域中映射误差与定位误差之间的函数关系。
在本发明的另一实施例中，基于图6所示实施例，关系建立模块，求解映射误差函数与多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数时，包括：
求解以下最小值函数
Figure BDA0002145000300000241
得到a0、b0、c0、d0、e0和f0，将求解得到的a0、b0、c0、d0、e0和f0代入g后的函数作为映射误差函数；
其中，映射误差函数为g(Δx，Δy)，g(Δx，Δy)＝aΔx2+bΔxΔy+cΔy2+dΔx+eΔy+f；pgt为标准定位位姿，扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，Ω为目标地图区域，Iseg为样本道路特征，Imap为第三道路特征；MapMatching(pgt+Δp,Iseg,Imap)为多个扰动定位位姿pgt+Δp对应的扰动映射误差。
在本发明的另一实施例中，基于图6所示实施例，处理器610还包括：
重新启动模块(图中未示出)，用于在根据定位误差确定第一视觉位姿的定位精度之后，采用以下操作重新启动视觉定位：
当根据定位精度确定车辆在停车场内的视觉定位失效时，基于视觉定位失效之前的车辆位姿，以及IMU数据，推算车辆的第三IMU位姿；
当确定第三IMU位姿指示的位置处于停车场内预设的第二初始化区域中时，获取相机设备620在第二初始化区域中采集的第二停车场图像，基于第二停车场图像的道路特征和第三IMU位姿，通过第二位姿回归模型确定车辆的第三车辆位姿；其中，第二位姿回归模型为预先根据在第二初始化区域内采集的多个样本停车场图像以及对应的样本车辆位姿和标注车辆位姿训练得到；
根据第三车辆位姿，将第二停车场图像的道路特征与预设地图中的道路特征进行匹配，根据匹配结果确定车辆的第四车辆位姿，作为用于重新启动视觉定位的第二启动位姿；
基于IMU数据、第二启动位姿以及第二停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定车辆的车辆位姿。
该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (8)

1.一种多场景高精度车辆定位方法，其特征在于，包括：
当车辆行驶在户外时，获取惯性测量单元IMU采集的IMU数据和卫星定位单元GNSS采集的卫星数据，根据所述IMU数据和所述卫星数据，确定所述车辆的车辆位姿；
当根据所述车辆位姿确定所述车辆从户外驶入停车场入口处预设的第一初始化区域中时，获取相机设备在所述第一初始化区域中采集的第一停车场图像，
基于所述第一停车场图像的道路特征与所述车辆位姿，通过第一位姿回归模型确定所述车辆的第一车辆位姿；其中，所述第一位姿回归模型为预先根据在所述第一初始化区域内采集的多个样本停车场图像以及对应的样本车辆位姿和标注车辆位姿训练得到；
根据所述第一车辆位姿，将所述第一停车场图像中的道路特征与所述预设地图中的道路特征进行匹配，根据匹配结果确定所述车辆的第二车辆位姿，作为用于启动视觉定位的第一启动位姿；
基于所述IMU数据、所述第一启动位姿以及所述第一停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定所述车辆的车辆位姿；
当确定视觉定位处于启动状态，且根据所述车辆位姿确定所述车辆行驶在停车场时，获取所述相机设备采集的停车场图像，获取上一车辆位姿，基于所述IMU数据、所述上一车辆位姿以及所述停车场图像中的道路特征与所述预设地图中道路特征之间的匹配结果，确定所述车辆的车辆位姿；
当根据所述车辆位姿确定所述车辆从停车场驶入户外时，返回执行所述获取所述IMU采集的IMU数据和GNSS采集的卫星数据的步骤。
2.如权利要求1所述的方法，其特征在于，所述基于所述IMU数据、所述上一车辆位姿以及所述停车场图像中的道路特征与所述预设地图中道路特征之间的匹配结果，确定所述车辆的车辆位姿的步骤，包括：
基于所述上一车辆位姿，以及所述停车场图像中的道路特征与所述预设地图中道路特征之间的匹配结果，确定所述车辆在第一时刻的第一视觉位姿；其中，所述第一时刻为所述停车场图像和所述IMU数据的采集时刻；
基于所述上一车辆位姿，以及所述IMU数据，推算所述车辆在所述第一时刻的第一IMU位姿；
获取在多个第二时刻确定的多个第二视觉位姿以及多个第二IMU位姿；其中，多个第二时刻为所述第一时刻之前的时刻；
根据第一轨迹与第二轨迹中各个位置点之间的融合变换系数，以及所述第一轨迹和所述第二轨迹中各个位置点与估计融合位姿之间的相似关系，构建相似约束优化函数，通过改变所述估计融合位姿的取值，对所述相似约束优化函数进行迭代求解，将所述相似约束优化函数取最优化解时的估计融合位姿，确定为所述车辆在所述第一时刻融合后的车辆位姿；
其中，所述第一轨迹为所述第一视觉位姿和多个第二视觉位姿对应的轨迹，所述第二轨迹为所述第一IMU位姿和多个第二IMU位姿对应的轨迹。
3.如权利要求2所述的方法，其特征在于，所述根据第一轨迹与第二轨迹中各个位置点之间的融合变换系数，以及所述第一轨迹和所述第二轨迹中各个位置点与估计融合位姿之间的相似关系，构建相似约束优化函数，通过改变所述估计融合位姿的取值，对所述相似约束优化函数进行迭代求解，将所述相似约束优化函数取最优化解时的估计融合位姿，确定为所述车辆在所述第一时刻融合后的车辆位姿的步骤，包括：
根据第一轨迹与第二轨迹中各个位置点之间的融合变换系数，以及所述第一轨迹和所述第二轨迹中各个位置点与估计融合位姿之间的相似关系，构建以下相似约束优化函数E：
Figure FDA0004166668180000031
其中，所述S(ti)和Rs(ti)分别为所述第一轨迹与第二轨迹中ti时刻位置点之间的融合变换系数中的缩放比例和旋转矩阵，所述Pf(ti)和Rf(ti)分别为ti时刻的估计融合位姿中的位置和姿态，所述Pv(ti)和Rv(ti)分别为所述第一轨迹中ti时刻位置点中的位置和姿态，所述Po(ti)和Ro(ti)分别为所述第二轨迹中ti时刻位置点中的位置和姿态，所述t1为所述第一时刻，所述tn为多个第二时刻中的最早时刻，所述n为所述第一时刻和多个第二时刻的总数量；
确定所述估计融合位姿的初始值，确定所述Rf,Pf,S,Rs的初始值；
根据所述估计融合位姿的当前取值和所述Rf,Pf,S,Rs的当前取值，确定所述相似约束优化函数的当前函数值；
获取所述相似约束优化函数的上一函数值，判断所述上一函数值与所述当前函数值的差值绝对值是否大于预设差值阈值；
如果是，则调整所述估计融合位姿的取值以及所述Rf,Pf,S,Rs的取值，返回执行所述根据所述估计融合位姿的当前取值和所述Rf,Pf,S,Rs的当前取值，确定所述相似约束优化函数的当前函数值的步骤；
如果否，则将所述估计融合位姿的当前取值，确定为所述车辆在所述第一时刻融合后的车辆位姿。
4.如权利要求2所述的方法，其特征在于，在基于所述上一车辆位姿，以及所述停车场图像中的道路特征与所述预设地图中道路特征之间的匹配结果，确定所述车辆在所述第一时刻的第一视觉位姿之后，还包括：
根据所述第一视觉位姿，确定第一道路特征和第二道路特征之间的映射误差；其中，所述第一道路特征为所述停车场图像中的道路特征，所述第二道路特征为所述预设地图中与所述第一道路特征匹配成功的道路特征；
从所述预设地图包含的多个不同地图区域中，确定所述第一视觉位姿所在的目标地图区域；
根据预先建立的目标地图区域中映射误差与定位误差之间的对应关系，确定所述映射误差对应的定位误差，根据所述定位误差确定所述第一视觉位姿的定位精度。
5.如权利要求4所述的方法，其特征在于，采用以下方式建立目标地图区域中映射误差与定位误差之间的对应关系：
获取在所述目标地图区域中采集的样本道路图像和对应的样本道路特征，以及所述样本道路图像对应的所述车辆的标准定位位姿，获取所述预设地图中与所述样本道路特征匹配成功的第三道路特征；
对所述标准定位位姿增加多个不同的扰动量，得到多个扰动定位位姿；
根据所述样本道路特征和第三道路特征，确定多个扰动定位位姿对应的扰动映射误差；
基于预先设定的所述目标地图区域中的与定位误差相关的映射误差函数，求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数，得到所述目标地图区域中映射误差与定位误差之间的函数关系。
6.如权利要求5所述的方法，其特征在于，所述求解所述映射误差函数与所述多个扰动定位位姿对应的扰动映射误差之间的残差取最小值时的映射误差函数的步骤，包括：
求解以下最小值函数
Figure FDA0004166668180000041
得到a0、b0、c0、d0、e0和f0，将求解得到的所述a0、b0、c0、d0、e0和f0代入g后的函数作为映射误差函数；
其中，所述映射误差函数为g(Δx,Δy)，g(Δx,Δy)＝aΔx2+bΔxΔy+cΔy2+dΔx+eΔy+f；所述pgt为所述标准定位位姿，所述扰动量为Δp＝{Δx,Δy,0}，Δx,Δy∈Ω，所述Ω为所述目标地图区域，所述Iseg为所述样本道路特征，所述Imap为所述第三道路特征；所述MapMatching(pgt+Δp,Iseg,Imap)为多个扰动定位位姿pgt+Δp对应的扰动映射误差。
7.如权利要求4所述的方法，其特征在于，在根据所述定位误差确定所述第一视觉位姿的定位精度之后，还包括：
当根据所述定位精度确定车辆在停车场内的视觉定位失效时，基于视觉定位失效之前的车辆位姿，以及所述IMU数据，推算所述车辆的第三IMU位姿；
当确定所述第三IMU位姿指示的位置处于停车场内预设的第二初始化区域中时，获取所述相机设备在所述第二初始化区域中采集的第二停车场图像，基于所述第二停车场图像的道路特征和所述第三IMU位姿，通过第二位姿回归模型确定所述车辆的第三车辆位姿；其中，所述第二位姿回归模型为预先根据在所述第二初始化区域内采集的多个样本停车场图像以及对应的样本车辆位姿和标注车辆位姿训练得到；
根据所述第三车辆位姿，将所述第二停车场图像的道路特征与所述预设地图中的道路特征进行匹配，根据匹配结果确定所述车辆的第四车辆位姿，作为用于重新启动视觉定位的第二启动位姿；
基于所述IMU数据、所述第二启动位姿以及所述第二停车场图像中的道路特征与所述预设地图中道路特征之间的匹配结果，确定所述车辆的车辆位姿。
8.一种车载终端，其特征在于，包括：处理器、相机设备、惯性测量单元IMU和卫星定位单元GNSS；所述处理器包括：户外定位模块、启动确定模块、第一视觉定位模块、第二视觉定位模块和场景切换模块；
户外定位模块，用于当车辆行驶在户外时，获取IMU采集的IMU数据和GNSS采集的卫星数据，根据所述IMU数据和所述卫星数据，确定所述车辆的车辆位姿；
启动确定模块，用于当根据所述车辆位姿确定所述车辆从户外驶入停车场入口处预设的第一初始化区域中时，获取相机设备在所述第一初始化区域中采集的第一停车场图像，基于所述第一停车场图像的道路特征与所述车辆位姿，通过第一位姿回归模型确定所述车辆的第一车辆位姿；其中，所述第一位姿回归模型为预先根据在所述第一初始化区域内采集的多个样本停车场图像以及对应的样本车辆位姿和标注车辆位姿训练得到；根据所述第一车辆位姿，将所述第一停车场图像中的道路特征与所述预设地图中的道路特征进行匹配，根据匹配结果确定所述车辆的第二车辆位姿，作为用于启动视觉定位的第一启动位姿；
第一视觉定位模块，用于基于所述IMU数据、所述第一启动位姿以及所述第一停车场图像中的道路特征与预设地图中道路特征之间的匹配结果，确定所述车辆的车辆位姿；
第二视觉定位模块，用于当确定视觉定位处于启动状态，且根据所述车辆位姿确定所述车辆行驶在停车场时，获取所述相机设备采集的停车场图像，获取上一车辆位姿，基于所述IMU数据、所述上一车辆位姿以及所述停车场图像中的道路特征与所述预设地图中道路特征之间的匹配结果，确定所述车辆的车辆位姿；
场景切换模块，用于当根据所述车辆位姿确定所述车辆从停车场驶入户外时，返回执行所述获取所述IMU采集的IMU数据和GNSS采集的卫星数据的操作。
CN201910681752.1A 2019-07-26 2019-07-26 一种多场景高精度车辆定位方法、装置及车载终端 Active CN112304302B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910681752.1A CN112304302B (zh) 2019-07-26 2019-07-26 一种多场景高精度车辆定位方法、装置及车载终端
PCT/CN2019/113490 WO2021017212A1 (zh) 2019-07-26 2019-10-26 一种多场景高精度车辆定位方法、装置及车载终端
DE112019007451.2T DE112019007451T5 (de) 2019-07-26 2019-10-26 Hochpräzises Verfahren sowie Gerät zur Fahrzeugpositionierung in mehreren Szenen, und fahrzeugmontiertes Terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910681752.1A CN112304302B (zh) 2019-07-26 2019-07-26 一种多场景高精度车辆定位方法、装置及车载终端

Publications (2)

Publication Number Publication Date
CN112304302A CN112304302A (zh) 2021-02-02
CN112304302B true CN112304302B (zh) 2023-05-12

Family

ID=74230147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910681752.1A Active CN112304302B (zh) 2019-07-26 2019-07-26 一种多场景高精度车辆定位方法、装置及车载终端

Country Status (3)

Country Link
CN (1) CN112304302B (zh)
DE (1) DE112019007451T5 (zh)
WO (1) WO2021017212A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836003A (zh) * 2021-02-04 2021-05-25 广州小鹏自动驾驶科技有限公司 一种地图处理方法和装置
CN113313967A (zh) * 2021-04-25 2021-08-27 湖南海龙国际智能科技股份有限公司 一种基于室内低精度定位的车位级导航系统
CN113223050B (zh) * 2021-05-12 2022-07-26 之江实验室 一种基于ArUco码的机器人运动轨迹实时采集方法
CN113343830A (zh) * 2021-06-01 2021-09-03 上海追势科技有限公司 一种地下停车场车辆快速重定位的方法
CN113535875A (zh) * 2021-07-14 2021-10-22 北京百度网讯科技有限公司 地图数据扩充方法、装置、电子设备、介质和程序产品
CN113781645B (zh) * 2021-08-31 2024-03-26 同济大学 一种面向室内泊车环境的定位和建图方法
CN113963285B (zh) * 2021-09-09 2022-06-10 山东金宇信息科技集团有限公司 一种基于5g的道路养护方法及设备
CN113763738B (zh) * 2021-09-14 2022-11-11 上海智能网联汽车技术中心有限公司 车路协同系统路侧感知与车端感知实时匹配的方法及系统
CN113835435B (zh) * 2021-09-30 2023-10-31 中国联合网络通信集团有限公司 车辆控制方法、服务器和存储介质
CN114001742A (zh) * 2021-10-21 2022-02-01 广州小鹏自动驾驶科技有限公司 车辆定位方法、装置、车辆和可读存储介质
CN114111774B (zh) * 2021-12-06 2024-04-16 纵目科技（上海）股份有限公司 车辆的定位方法、系统、设备及计算机可读存储介质
CN114323033B (zh) * 2021-12-29 2023-08-29 北京百度网讯科技有限公司 基于车道线和特征点的定位方法、设备及自动驾驶车辆
CN114370872B (zh) * 2022-01-14 2024-04-09 苏州挚途科技有限公司 车辆姿态确定方法和车辆
CN114383626B (zh) * 2022-01-19 2023-05-16 广州小鹏自动驾驶科技有限公司 全场景智能辅助驾驶的导航方法及装置
CN114427863A (zh) * 2022-04-01 2022-05-03 天津天瞳威势电子科技有限公司 车辆定位方法及系统、自动泊车方法及系统、存储介质
CN117789444A (zh) * 2022-09-19 2024-03-29 北京初速度科技有限公司 一种停车场数据的匹配方法、装置、设备、介质及车辆
CN115930953B (zh) * 2023-03-02 2023-05-09 成都宜泊信息科技有限公司 一种室内外地图切换方法及系统
CN116466382A (zh) * 2023-04-24 2023-07-21 贵州一招信息技术有限公司 一种基于gps的高精度实时定位系统
CN117119588B (zh) * 2023-10-18 2024-01-12 湖南承希科技有限公司 一种基于Wi-Fi6技术实现车辆在轨道停车场内的定位方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412826A (zh) * 2016-09-07 2017-02-15 清华大学 基于多源信息融合的室内定位方法及定位装置
CN108802785A (zh) * 2018-08-24 2018-11-13 清华大学 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN108873038A (zh) * 2018-09-10 2018-11-23 芜湖盟博科技有限公司 自主泊车定位方法及定位系统
CN109387192A (zh) * 2017-08-02 2019-02-26 湖南格纳微信息科技有限公司 一种室内外连续定位方法及装置
CN109582038A (zh) * 2018-12-28 2019-04-05 中国兵器工业计算机应用技术研究所 一种无人机路径规划方法
CN109631887A (zh) * 2018-12-29 2019-04-16 重庆邮电大学 基于双目、加速度与陀螺仪的惯性导航高精度定位方法
CN109682373A (zh) * 2018-12-28 2019-04-26 中国兵器工业计算机应用技术研究所 一种无人平台的感知系统
CN109827574A (zh) * 2018-12-28 2019-05-31 中国兵器工业计算机应用技术研究所 一种无人机室内外切换导航系统
CN109900265A (zh) * 2019-03-15 2019-06-18 武汉大学 一种camera/mems辅助北斗的机器人定位算法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412826A (zh) * 2016-09-07 2017-02-15 清华大学 基于多源信息融合的室内定位方法及定位装置
CN109387192A (zh) * 2017-08-02 2019-02-26 湖南格纳微信息科技有限公司 一种室内外连续定位方法及装置
CN108802785A (zh) * 2018-08-24 2018-11-13 清华大学 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN108873038A (zh) * 2018-09-10 2018-11-23 芜湖盟博科技有限公司 自主泊车定位方法及定位系统
CN109582038A (zh) * 2018-12-28 2019-04-05 中国兵器工业计算机应用技术研究所 一种无人机路径规划方法
CN109682373A (zh) * 2018-12-28 2019-04-26 中国兵器工业计算机应用技术研究所 一种无人平台的感知系统
CN109827574A (zh) * 2018-12-28 2019-05-31 中国兵器工业计算机应用技术研究所 一种无人机室内外切换导航系统
CN109631887A (zh) * 2018-12-29 2019-04-16 重庆邮电大学 基于双目、加速度与陀螺仪的惯性导航高精度定位方法
CN109900265A (zh) * 2019-03-15 2019-06-18 武汉大学 一种camera/mems辅助北斗的机器人定位算法

Also Published As

Publication number Publication date
WO2021017212A1 (zh) 2021-02-04
DE112019007451T5 (de) 2022-03-10
CN112304302A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112304302B (zh) 一种多场景高精度车辆定位方法、装置及车载终端
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
US10788830B2 (en) Systems and methods for determining a vehicle position
US20220319047A1 (en) Image Based Localization System
US7868821B2 (en) Method and apparatus to estimate vehicle position and recognized landmark positions using GPS and camera
Rathinam et al. Vision-based monitoring of locally linear structures using an unmanned aerial vehicle
US20200018852A1 (en) System and method for calibrating a lidar and a camera together using semantic segmentation
Cui et al. Real-time global localization of robotic cars in lane level via lane marking detection and shape registration
CN112307810B (zh) 一种视觉定位效果自检方法及车载终端
CN108896994A (zh) 一种无人驾驶车辆定位方法及设备
US20200364883A1 (en) Localization of a mobile unit by means of a multi-hypothesis kalman filter method
JP2020064056A (ja) 位置推定装置及び方法
Cao et al. Camera to map alignment for accurate low-cost lane-level scene interpretation
Parra et al. Visual odometry and map fusion for GPS navigation assistance
Dumble et al. Airborne vision-aided navigation using road intersection features
CN112446915B (zh) 一种基于图像组的建图方法及装置
US20190293444A1 (en) Lane level accuracy using vision of roadway lights and particle filter
Hara et al. Vehicle localization based on the detection of line segments from multi-camera images
CN112304322B (zh) 一种视觉定位失效后的重启方法及车载终端
CN113137973A (zh) 一种图像语义特征点真值确定方法及装置
Hu et al. Fusion of vision, GPS and 3D gyro data in solving camera registration problem for direct visual navigation
KR20210073281A (ko) 운동 정보 추정 방법 및 장치
CN112833889B (zh) 一种车辆的定位方法及装置
JP7234840B2 (ja) 位置推定装置
Wong et al. Single camera vehicle localization using SURF scale and dynamic time warping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220303

Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing

Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd.

Address before: 100083 room 28, 4 / F, block a, Dongsheng building, 8 Zhongguancun East Road, Haidian District, Beijing

Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant