CN110132280A - 室内场景下的车辆定位方法、车辆定位装置和车辆 - Google Patents
室内场景下的车辆定位方法、车辆定位装置和车辆 Download PDFInfo
- Publication number
- CN110132280A CN110132280A CN201910420385.XA CN201910420385A CN110132280A CN 110132280 A CN110132280 A CN 110132280A CN 201910420385 A CN201910420385 A CN 201910420385A CN 110132280 A CN110132280 A CN 110132280A
- Authority
- CN
- China
- Prior art keywords
- end point
- main end
- frame image
- vehicle
- posture information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012937 correction Methods 0.000 claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims abstract description 23
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 abstract description 13
- 239000011159 matrix material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种室内场景下的车辆定位方法、车辆定位装置和车辆，所述车辆定位方法包括以下步骤：获取摄像头拍摄的前方道路的当前帧图像，并从惯性测量单元IMU采集车辆的惯导姿态信息；获取前方道路的当前帧图像中的主消失点；根据惯导姿态信息判断当前帧图像中的主消失点是否存在异常；如果判断当前帧图像中的主消失点未存在异常，则根据当前帧图像中的主消失点计算摄像头的全局姿态信息；根据全局姿态信息对SLAM算法进行校正；以及根据校正后的SLAM算法对所述车辆进行定位。本发明实施例的车辆定位方法，能够在室内场景下，利用主消失点和惯导融合的方式辅助SLAM算法矫正其积累误差，从而提高车辆定位的准确性。
Description
技术领域
本发明涉及车辆技术领域，特别涉及一种室内场景下的车辆定位方法、室内场景下的车辆定位装置、车辆、电子设备和非临时性计算机可读存储介质。
背景技术
在室内场景(例如，室内停车场场景)，因缺少全局位姿观测量，使得当前普遍应用在车辆定位中的惯导(惯性导航系统)+视觉SLAM(Simultaneous Localization AndMapping，即时定位与地图构建)的位姿估计算法，在无法检测到回环时，很难去限制其积累的漂移误差，从而影响车辆定位的准确性。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种室内场景下的车辆定位方法，能够在室内场景下，利用主消失点和惯导融合的方式辅助SLAM算法辅助矫正其积累误差，从而提高车辆定位的准确性。
本发明的第二个目的在于提出一种室内场景下的车辆定位装置。
本发明的第三个目的在于提出一种车辆。
本发明的第四个目的在于提出一种电子设备。
本发明的第五个目的在于提出一种非临时性计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出了一种室内场景下的车辆定位方法，包括以下步骤：获取摄像头拍摄的前方道路的当前帧图像，并从惯性测量单元IMU(Inertial measurement unit)采集车辆的惯导姿态信息；获取所述前方道路的当前帧图像中的主消失点；根据所述惯导姿态信息判断所述当前帧图像中的主消失点是否存在异常；如果判断所述当前帧图像中的主消失点未存在异常，则根据所述当前帧图像中的主消失点计算所述摄像头的全局姿态信息；根据所述全局姿态信息对所述SLAM算法进行校正；以及根据校正后的SLAM算法对所述车辆进行定位。
根据本发明实施例的室内场景下的车辆定位方法，首先获取摄像头拍摄的前方道路的当前帧图像，并从惯性测量单元IMU采集车辆的惯导姿态信息，然后获取前方道路的当前帧图像中的主消失点，并根据惯导姿态信息判断当前帧图像中的主消失点是否存在异常，如果判断当前帧图像中的主消失点未存在异常，则根据当前帧图像中的主消失点计算摄像头的全局姿态信息，最后根据全局姿态信息对SLAM算法进行校正，并根据校正后的SLAM算法对车辆进行定位。由此，该车辆定位方法能够在室内场景下，利用主消失点和惯导融合的方式辅助SLAM算法矫正其积累误差，从而提高车辆定位的准确性。
另外，根据本发明上述实施例提出的室内场景下的车辆定位方法还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述根据所述惯导姿态信息判断所述当前帧图像中的主消失点是否存在异常，包括：获取所述摄像头的相对姿态变化值；获取上一帧图像中的主消失点；根据所述摄像头的相对姿态变化值和所述上一帧图像中的主消失点生成所述当前帧图像的预估主消失点；根据所述预估主消失点判断所述当前帧图像中的主消失点是否存在异常。
在本发明的一个实施例中，所述根据所述预估主消失点判断所述当前帧图像中的主消失点是否存在异常，包括：计算所述预估主消失点和所述当前帧图像中的主消失点之间的位置差；判断所述位置差是否超出预设阈值；如果超出所述预设阈值，则判断所述当前帧图像中的主消失点存在异常。
在本发明的一个实施例中，所述根据所述当前帧图像中的主消失点计算所述摄像头的全局姿态信息，包括：根据所述当前帧图像中的主消失点的位置和投影关系模型计算所述摄像头相对当前道路的姿态信息；根据所述摄像头相对当前道路的姿态信息生成所述摄像头的全局姿态信息。
在本发明的一个实施例中，在根据所述全局姿态信息对所述SLAM算法进行校正之前，还包括：根据所述摄像头的全局姿态信息判断是否转换道路；如果判定转换道路，则根据所述惯导姿态信息和前一时刻帧图像的主消失点计算所述转换后道路的转换角；根据所述转换后道路的转换角得到在预设的道路坐标系下所述摄像头的当前的全局姿态信息，并根据所述当前的全局姿态信息对所述SLAM算法进行校正。
为达到上述目的，本发明第二方面实施例提出了一种室内场景下的车辆定位装置。包括：第一获取模块，用于获取摄像头拍摄的前方道路的当前帧图像，并从惯性测量单元IMU采集车辆的惯导姿态信息；第二获取模块，用于获取所述前方道路的当前帧图像中的主消失点；判断模块，用于根据所述惯导姿态信息判断所述当前帧图像中的主消失点是否存在异常；计算模块，用于在判断所述当前帧图像中的主消失点未存在异常时，根据所述当前帧图像中的主消失点计算所述摄像头的全局姿态信息；校正模块，用于根据所述全局姿态信息对所述SLAM算法进行校正；以及定位模块，用于根据校正后的SLAM算法对所述车辆进行定位。
本发明实施例的室内场景下的车辆定位装置，通过第一获取模块获取摄像头拍摄的前方道路的当前帧图像，并从惯性测量单元IMU采集获取车辆的惯导姿态信息，通过第二获取模块获取前方道路的当前帧图像中的主消失点，以及通过判断模块根据惯导姿态信息判断当前帧图像中的主消失点是否存在异常，如果判断当前帧图像中的主消失点未存在异常，则通过计算模块根据当前帧图像中的主消失点计算摄像头的全局姿态信息，并通过校正模块根据全局姿态信息对SLAM算法进行校正，以及通过定位模块根据校正后的SLAM算法对车辆进行定位。由此，该车辆定位装置能够在室内场景下，利用主消失点和惯导融合的方式辅助SLAM算法矫正其积累误差，从而提高车辆定位的准确性。
另外，根据本发明上述实施例提出的室内场景下的车辆定位装置还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述判断模块，包括：第一获取单元，用于获取所述摄像头的相对姿态变化值；第二获取单元，用于获取上一帧图像中的主消失点；生成单元，用于根据所述摄像头的相对姿态变化值和所述上一帧图像中的主消失点生成所述当前帧图像的预估主消失点；判断单元，用于根据所述预估主消失点判断所述当前帧图像中的主消失点是否存在异常。
在本发明的一个实施例中，所述判断单元，具体用于：计算所述预估主消失点和所述当前帧图像中的主消失点之间的位置差；判断所述位置差是否超出预设阈值；如果超出所述预设阈值，则判断所述当前帧图像中的主消失点存在异常。
在本发明的一个实施例中，所述计算模块，具体用于：根据所述当前帧图像中的主消失点的位置和投影关系模型计算所述摄像头相对当前道路的姿态信息；根据所述摄像头相对当前道路的姿态信息生成所述摄像头的全局姿态信息。
在本发明的一个实施例中，所述校正模块，还用于：在根据所述全局姿态信息对所述SLAM算法进行校正之前，根据所述摄像头的全局姿态信息判断是否转换道路；如果判定转换道路，则根据所述惯导姿态信息和前一时刻帧图像的主消失点计算所述转换后道路的转换角；根据所述转换后道路的转换角得到在预设的道路坐标系下所述摄像头的当前的全局姿态信息，并根据所述当前的全局姿态信息对所述SLAM算法进行校正。
为了实现上述目的，本发明第三方面实施例提出的一种车辆包括：本发明第二方面实施例的室内场景下的车辆定位装置。
本发明实施例的车辆，通过上述室内场景下的车辆定位装置，能够在室内场景下，利用主消失点和惯导融合的方式辅助SLAM算法矫正其积累误差，从而提高车辆定位的准确性。
为达到上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如本发明第一方面实施例所述的室内场景下的车辆定位方法。
本发明实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，能够在室内场景下，利用主消失点和惯导融合的方式辅助SLAM算法矫正其积累误差，从而提高车辆定位准确性。
为达上述目的，本发明第五方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如本发明第一方面实施例所述的室内场景下的车辆定位方法。
本发明实施例的非临时性计算机可读存储介质，通过执行其存储的计算机程序，能够在室内场景下，利用主消失点和惯导融合的方式辅助SLAM算法矫正其积累误差，从而提高车辆定位的准确性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的室内场景下的车辆定位方法的流程图；
图2是根据本发明另一个实施例的室内场景下的车辆定位方法的流程图；
图3是根据本发明一个实施例的室内场景下的车辆定位装置的方框示意图；以及
图4是根据本发明另一个实施例的室内场景下的车辆定位装置的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面结合附图来描述本发明实施例的室内场景下的车辆定位方法、室内场景下的车辆定位装置、车辆、电子设备和非临时性计算机可读存储介质。
图1是根据本发明一个实施例的室内场景下的车辆定位方法的流程图。本发明的实施例中，室内场景包括但不限于室内停车场。
如图1所示，本发明实施例的室内场景下的车辆定位方法，包括以下步骤：
S1，获取摄像头拍摄的前方道路的当前帧图像，并从惯性测量单元IMU采集车辆的惯导姿态信息。其中，摄像头可安装在车辆前挡风玻璃的上方、车辆前保险杠的上方等方便拍摄前方道路的位置，惯性测量单元IMU可设置在车辆的惯性导航系统(即，惯导系统)中。
S2，获取前方道路的当前帧图像中的主消失点。
具体而言，车辆在驶入室内停车场后，可通过安装在车辆前挡风玻璃的上方的摄像头实时获取前方道路的图像，即室内停车场中走廊道路的图像，并对该图像进行分析以获取前方道路的当前帧图像。
另外，车辆在驶入室内停车场后，还可通过内置的惯性导航系统实时获取车辆的惯导姿态信息，其中，惯导姿态信息可包括陀螺仪的输出数据，即三轴角速度输出以及由其积分而得的相对姿态数据。
此外，车辆在获取到前方道路的当前帧图像后，还可使用线检测算法(例如，fastline detector算法)检测当前帧图像中所含的边和线(例如，室内停车场走廊内所含的边和线)，并使用RANSAC(Random Sample Consensus)算法检测和定位当前帧图像中的主消失点。
需要说明的是，上述实施例中所描述的消失点可为，现实中的一组平行线在图像中的投影会的一点(即，交于同一点)，在人造环境中，如室内，街道等，一般含有平行线结构，易检测到消失点。其中，消失点可包括前向平行线的交汇点、竖向平行线的交汇点和横向平行线的交汇点，其中，前向平行线的交汇点即为上述实施例中所描述的主消失点。当前帧图像中的主消失点可以用于估计摄像头相对于结构体的方向或姿态，且此姿态的估计，独立于之前帧，因此无漂移误差。
S3，根据惯导姿态信息判断当前帧图像中的主消失点是否存在异常。
在本发明的一个实施例中，如图2所示,根据惯导姿态信息判断当前帧图像中的主消失点是否存在异常，可包括以下步骤：
S31，获取摄像头的相对姿态变化值。其中，摄像头的相对姿态变化值可以是由惯导姿态变化再利用摄像头与惯导系统坐标系转换计算而得。
S32，获取上一帧图像中的主消失点。其中，上一帧图像中的主消失点可存储在车辆的存储空间中，应说明的是，车辆可将获取到的每一张帧图像中的主消失点，临时或长期的存在自身的存储空间中，以便后续的使用。
S33，根据摄像头的相对姿态变化值和上一帧图像中的主消失点生成当前帧图像的预估主消失点。
S34，根据预估主消失点判断当前帧图像中的主消失点是否存在异常。
在本发明的一个实施例中，根据预估主消失点判断当前帧图像中的主消失点是否存在异常，可包括计算预估主消失点和当前帧图像中的主消失点之间的位置差，并判断位置差是否超出预设阈值，如果超出预设阈值，则判断当前帧图像中的主消失点存在异常。其中，预设阈值可根据实际情况进行标定。
具体而言，车辆在获取到前方道路的当前帧图像中的主消失点后，还可获取摄像头的当前状态数据，并根据惯导姿态信息中陀螺仪的状态数据和摄像头的状态数据，获取陀螺仪和摄像头的角度偏差(角偏差)。应说明的是，陀螺仪和摄像头的角度偏差可以反映摄像头与惯导间的坐标系转换。然后，车辆可利用陀螺仪和摄像头的角度偏差，通过坐标系姿态转换，预估出摄像头的相对姿态变化值，并从自身的存储空间中获取上一帧图像中的主消失点，以及根据摄像头的相对姿态变化值和上一帧图像中的主消失点预估出前方道路的当前帧图像中的主消失点的粗略位置，即生成当前帧图像的预估主消失点。
其中，应说明的是，摄像头与惯导系统(包括整合的三轴加速度计和三轴陀螺仪，本发明主要是利用惯导系统中的陀螺仪)，之间的角度偏差(包含在摄像头外参中)，可转化为两者坐标系之间的转换矩阵，以此进行的坐标转换，可以把两坐标系下的位姿互相转换到彼此坐标系下。用陀螺仪输出可以算出在惯导坐标下两帧时间内相对姿态变化，再通过上述坐标转换可求得摄像头坐标系下的相对前帧的姿态变化(即摄像头的相对姿态变化)。
最后，车辆可通过预设的算法，计算出上述的预估主消失点和当前帧图像中的主消失点之间的位置差，并判断该位置差是否超出预设阈值，如果该位置差超出预设阈值，则可判断当前帧图像中的主消失点存在异常。
需要说明的是，现今的车辆一般都具有机器学习功能，在经过大量的相关数据训练后，可通过机器学习功能来预判当前帧图像中的主消失点是否存在异常，比如，通过机器学习功能，根据当前帧图像的预估主消失点预判当前帧图像中的主消失点是否存在异常。
S4，如果判断当前帧图像中的主消失点未存在异常，则根据当前帧图像中的主消失点计算摄像头的全局姿态信息。
在本发明的一个实施例中，根据当前帧图像中的主消失点计算摄像头的全局姿态信息，可包括根据当前帧图像中的主消失点的位置和投影关系模型计算摄像头相对当前道路的姿态信息，并根据摄像头相对当前道路的姿态信息生成摄像头的全局姿态信息。其中，摄像头相对当前道路的姿态信息可包括摄像头的俯仰信息和航向信息，且俯仰信息包括俯仰角Pitch的角度值，航向信息包括航向角Yaw的角度值。应说明的是，若当前帧图像中的主消失点位于当前帧图像的中心，则摄像头朝向与走廊(道路)方向重合，且航向角Yaw和俯仰角Pitch可都为零。
具体而言，如果判断当前帧图像中的主消失点未存在异常，则在车辆无明显翻滚姿态变化(可由IMU检测出)的正常行驶下，可利用当前帧图像中的主消失点的位置和投影关系模型(例如，摄像头内参矩阵)，计算出摄像头相对走廊道路(当前道路)的姿态。若取初始走廊道路方向为基准建立全局坐标系，如无转换走廊道路(即，拐弯)，则摄像头相对走廊道路的姿态即为全局姿态(即，摄像头的全局姿态)。若取初始车辆或摄像头朝向为基准建立全局坐标系，则可根据摄像头外参(包括摄像头相对车体惯性坐标系的安装姿态)和通过预设的初期惯导算法得到的车辆及摄像头姿态，将摄像头相对走廊道路(当前道路)的姿态转换为全局坐标系下的姿态(即，摄像头的全局姿态)。其中，预设的初期惯导算法可根据实际情况进行标定。
S5，根据全局姿态信息对SLAM算法进行校正。
S6，根据校正后的SLAM算法对车辆进行定位。
具体而言，车辆在得到摄像头的全局姿态信息后，可将该全局姿态信息作为额外姿态观测量加入SLAM算法的观测模型，其中，该观测模型在卡尔曼滤波或优化算法用于更新或纠正SLAM系统位姿估计。以此来实现对SLAM位姿上的矫正，从而矫正其积累误差。而后，车辆可根据校正后的SLAM算法对自身进行定位，以提高定位的准确性。
需要说明的是，在上述的实施例中，如果判断当前帧图像中的主消失点存在异常，则可通过惯导积分弥补，即由惯导估计的相对姿态变化转换到所需坐标系(全局或摄像头坐标系)下的姿态，并根据该姿态对SLAM算法进行校正。其中，车辆中的惯导系统(此处主要利用惯导系统中的陀螺仪)自身就可用于姿态估计，而且其估计姿态可以转化为各设定坐标系下的姿态(学术共识)，如全局坐标系或摄像头坐标系(只要给于转换矩阵，此矩阵一般都会提前得到)。用惯导估计姿态优点是短时间内精度高，缺点是存在随时间增殖的漂移误差。因此在消失点检测失效或检测异常的情况下，短时间内可由惯导(陀螺仪输出积分)弥补。
综上所述，本发明实施例提供的室内场景下的车辆定位方法，能够在室内场景下，利用主消失点和惯导融合的方式对SLAM算法进行校正以辅助其矫正积累误差，从而提高车辆定位的准确性。
另外，在本发明的一个实施例中，在根据全局姿态信息对SLAM算法进行校正之前，还可包括根据摄像头的全局姿态信息判断是否转换道路，如果判定转换道路，则根据惯导姿态信息和前一时刻帧图像的主消失点计算转换后道路的转换角，并根据转换后道路的转换角得到在预设的道路坐标系下摄像头的当前的全局姿态信息，以及根据当前的全局姿态信息对SLAM算法进行校正。其中，预设的道路坐标系可根据实际情况进行标定。
需要说明的是，该实施例中所描述的前一时刻帧图像的主消失点，可为上一道路的帧图像的主消失点，即转换前道路的帧图像的主消失点。该实施例中所描述的转换角代表的是两道路之间的方向角的变化。
具体而言，当根据摄像头的全局姿态信息判断转换道路时，车辆可从自身的存储空间中获取转换前道路的帧图像的主消失点，并基于其求得的摄像头的相对转换前道路的姿态。然后，车辆可根据摄像头的相对转换前道路的姿态和车辆的惯导姿态信息计算转换后道路的转换角，并利用转换角生成的转换矩阵(预设的道路坐标系)可以把摄像头相对于当前(走廊)道路的姿态转换为摄像头的当前的全局姿态信息，以及并根据当前的全局姿态信息对SLAM算法进行校正。
在本发明的其它实施例中，还可根据摄像头及惯导的姿态信息判断是否转换道路，如果判定转换道路，则根据惯导姿态信息和前一时刻帧图像的主消失点计算转换后道路的转换角，并根据转换后道路的转换角得到在预设的道路坐标系下摄像头的当前的全局姿态信息，以及根据当前的全局姿态信息对SLAM算法进行校正。
综上，根据本发明实施例的室内场景下的车辆定位方法，首先获取摄像头拍摄的前方道路的当前帧图像，并获取惯导姿态信息，然后获取前方道路的当前帧图像中的主消失点，并根据惯导姿态信息判断当前帧图像中的主消失点是否存在异常，如果判断当前帧图像中的主消失点未存在异常，则根据当前帧图像中的主消失点计算摄像头的全局姿态信息，最后根据全局姿态信息对SLAM算法进行校正，并根据校正后的SLAM算法对车辆进行定位。由此，该车辆定位方法能够在室内场景下，利用主消失点和惯导融合的方式对SLAM算法进行校正以辅助其矫正积累误差，从而提高车辆定位的准确性。
图3是根据本发明一个实施例的室内场景下的车辆定位装置的方框示意图。
如图3所示，本发明实施例的室内场景下的车辆定位装置，包括：第一获取模块100、第二获取模块200、判断模块300、计算模块400、校正模块500和定位模块600。
其中，第一获取模块100用于获取摄像头拍摄的前方道路的当前帧图像，并从惯性测量单元IMU采集车辆的惯导姿态信息。
第二获取模块200用于获取前方道路的当前帧图像中的主消失点。
判断模块300用于根据惯导姿态信息判断当前帧图像中的主消失点是否存在异常。
计算模块400用于在判断当前帧图像中的主消失点未存在异常时，根据当前帧图像中的主消失点计算摄像头的全局姿态信息。
校正模块500用于根据全局姿态信息对SLAM算法进行校正。
定位模块600用于根据校正后的SLAM算法对车辆进行定位。
在本发明的一个实施例中，如图4所示，判断模块300可包括第一获取单元310、第二获取单元320、生成单元330和判断单元340。
其中，第一获取单元310用于获取摄像头的相对姿态变化值。
第二获取单元320用于获取上一帧图像中的主消失点。
生成单元330用于根据摄像头的相对姿态变化值和上一帧图像中的主消失点生成当前帧图像的预估主消失点。
判断单元340用于根据预估主消失点判断当前帧图像中的主消失点是否存在异常。
在本发明的一个实施例中，判断单元330，具体用于计算预估主消失点和当前帧图像中的主消失点之间的位置差，并判断位置差是否超出预设阈值，如果超出预设阈值，则判断当前帧图像中的主消失点存在异常。
在本发明的一个实施例中，计算模块400，具体用于根据当前帧图像中的主消失点的位置和投影关系模型计算摄像头相对当前道路的姿态信息，并根据摄像头相对当前道路的姿态信息生成摄像头的全局姿态信息。
在本发明的一个实施例中，校正模块500，还可用于在根据全局姿态信息对SLAM算法进行校正之前，根据摄像头的全局姿态信息判断是否转换道路，如果判定转换道路，则根据惯导姿态信息和前一时刻帧图像的主消失点计算转换后道路的转换角，并根据转换后道路的转换角得到在预设的道路坐标系下摄像头的当前的全局姿态信息，并根据当前的全局姿态信息对SLAM算法进行校正。
需要说明的是，本发明实施例的室内场景下的车辆定位装置中未披露的细节，请参照本发明实施例的室内场景下的车辆定位方法中所披露的细节，具体这里不再赘述。
综上，本发明实施例的室内场景下的车辆定位装置，通过第一获取模块获取摄像头拍摄的前方道路的当前帧图像，并从惯性测量单元IMU采集车辆的惯导姿态信息，通过第二获取模块获取前方道路的当前帧图像中的主消失点，以及通过判断模块根据惯导姿态信息判断当前帧图像中的主消失点是否存在异常，如果判断当前帧图像中的主消失点未存在异常，则通过计算模块根据当前帧图像中的主消失点计算摄像头的全局姿态信息，并通过校正模块根据全局姿态信息对SLAM算法进行校正，以及通过定位模块根据校正后的SLAM算法对车辆进行定位。由此，该车辆定位装置能够在室内场景下，利用主消失点和惯导融合的方式对SLAM算法进行校正以辅助其矫正积累误差，从而提高车辆定位的准确性。
为了实现上述实施例，本发明还提出一种车辆，其包括上述室内场景下的车辆定位装置。
本发明实施例的车辆，通过上述室内场景下的车辆定位装置，能够在室内场景下，利用主消失点和惯导融合的方式对SLAM算法进行校正以辅助其矫正积累误差，从而提高车辆定位的准确性。
为了实现上述实施例，本发明还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序，以实现前述实施例的室内场景下的车辆定位方法。
本发明实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，能够在室内场景下，利用主消失点和惯导融合的方式对SLAM算法进行校正以辅助其矫正积累误差，从而提高车辆定位的准确性。
为达上述目的，本发明第五方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如本发明第一方面实施例所述的室内场景下的车辆定位方法。
本发明实施例的非临时性计算机可读存储介质，通过执行其存储的计算机程序，能够在室内场景下，利用主消失点和惯导融合的方式对SLAM算法进行校正以辅助其矫正积累误差，从而提高车辆定位的准确性。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (13)
1.一种室内场景下的车辆定位方法，其特征在于，包括以下步骤：
获取摄像头拍摄的前方道路的当前帧图像，并从惯性测量单元IMU采集车辆的惯导姿态信息；
获取所述前方道路的当前帧图像中的主消失点；
根据所述惯导姿态信息判断所述当前帧图像中的主消失点是否存在异常；
如果判断所述当前帧图像中的主消失点未存在异常，则根据所述当前帧图像中的主消失点计算所述摄像头的全局姿态信息；
根据所述全局姿态信息对所述SLAM算法进行校正；以及
根据校正后的SLAM算法对所述车辆进行定位。
2.如权利要求1所述的室内场景下的车辆定位方法，其特征在于，所述根据所述惯导姿态信息判断所述当前帧图像中的主消失点是否存在异常，包括：
获取所述摄像头的相对姿态变化值；
获取上一帧图像中的主消失点；
根据所述摄像头的相对姿态变化值和所述上一帧图像中的主消失点生成所述当前帧图像的预估主消失点；
根据所述预估主消失点判断所述当前帧图像中的主消失点是否存在异常。
3.如权利要求2所述的室内场景下的车辆定位方法，其特征在于，所述根据所述预估主消失点判断所述当前帧图像中的主消失点是否存在异常，包括：
计算所述预估主消失点和所述当前帧图像中的主消失点之间的位置差；
判断所述位置差是否超出预设阈值；
如果超出所述预设阈值，则判断所述当前帧图像中的主消失点存在异常。
4.如权利要求1所述的室内场景下的车辆定位方法，其特征在于，所述根据所述当前帧图像中的主消失点计算所述摄像头的全局姿态信息，包括：
根据所述当前帧图像中的主消失点的位置和投影关系模型计算所述摄像头相对当前道路的姿态信息；
根据所述摄像头相对当前道路的姿态信息生成所述摄像头的全局姿态信息。
5.如权利要求1所述的室内场景下的车辆定位方法，其特征在于，在根据所述全局姿态信息对所述SLAM算法进行校正之前，还包括：
根据所述摄像头的全局姿态信息判断是否转换道路；
如果判定转换道路，则根据所述惯导姿态信息和前一时刻帧图像的主消失点计算所述转换后道路的转换角；
根据所述转换后道路的转换角得到在预设的道路坐标系下所述摄像头的当前的全局姿态信息，并根据所述当前的全局姿态信息对所述SLAM算法进行校正。
6.一种室内场景下的车辆定位装置，其特征在于，包括：
第一获取模块，用于获取摄像头拍摄的前方道路的当前帧图像，并从惯性测量单元IMU采集车辆的惯导姿态信息；
第二获取模块，用于获取所述前方道路的当前帧图像中的主消失点；
判断模块，用于根据所述惯导姿态信息判断所述当前帧图像中的主消失点是否存在异常；
计算模块，用于在判断所述当前帧图像中的主消失点未存在异常时，根据所述当前帧图像中的主消失点计算所述摄像头的全局姿态信息；
校正模块，用于根据所述全局姿态信息对所述SLAM算法进行校正；以及
定位模块，用于根据校正后的SLAM算法对所述车辆进行定位。
7.如权利要求6所述的室内场景下的车辆定位装置，其特征在于，所述判断模块，包括：
第一获取单元，用于获取所述摄像头的相对姿态变化值；
第二获取单元，用于获取上一帧图像中的主消失点；
生成单元，用于根据所述摄像头的相对姿态变化值和所述上一帧图像中的主消失点生成所述当前帧图像的预估主消失点；
判断单元，用于根据所述预估主消失点判断所述当前帧图像中的主消失点是否存在异常。
8.如权利要求7所述的室内场景下的车辆定位装置，其特征在于，所述判断单元，具体用于：
计算所述预估主消失点和所述当前帧图像中的主消失点之间的位置差；
判断所述位置差是否超出预设阈值；
如果超出所述预设阈值，则判断所述当前帧图像中的主消失点存在异常。
9.如权利要求6所述的室内场景下的车辆定位装置，其特征在于，所述计算模块，具体用于：
根据所述当前帧图像中的主消失点的位置和投影关系模型计算所述摄像头相对当前道路的姿态信息；
根据所述摄像头相对当前道路的姿态信息生成所述摄像头的全局姿态信息。
10.如权利要求6所述的室内场景下的车辆定位装置，其特征在于，所述校正模块，还用于：
在根据所述全局姿态信息对所述SLAM算法进行校正之前，根据所述摄像头的全局姿态信息判断是否转换道路；
如果判定转换道路，则根据所述惯导姿态信息和前一时刻帧图像的主消失点计算所述转换后道路的转换角；
根据所述转换后道路的转换角得到在预设的道路坐标系下所述摄像头的当前的全局姿态信息，并根据所述当前的全局姿态信息对所述SLAM算法进行校正。
11.一种车辆，其特征在于，包括如权利要求6-10中任一项所述的室内场景下的车辆定位装置。
12.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5中任一所述的室内场景下的车辆定位方法。
13.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-5中任一所述的室内场景下的车辆定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910420385.XA CN110132280B (zh) | 2019-05-20 | 2019-05-20 | 室内场景下的车辆定位方法、车辆定位装置和车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910420385.XA CN110132280B (zh) | 2019-05-20 | 2019-05-20 | 室内场景下的车辆定位方法、车辆定位装置和车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110132280A true CN110132280A (zh) | 2019-08-16 |
| CN110132280B CN110132280B (zh) | 2021-07-13 |
Family
ID=67571703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910420385.XA Active CN110132280B (zh) | 2019-05-20 | 2019-05-20 | 室内场景下的车辆定位方法、车辆定位装置和车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110132280B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110967008A (zh) * | 2019-11-25 | 2020-04-07 | 江铃汽车股份有限公司 | 一种商用车自动驾驶全场景定位方法 |
| CN110967038A (zh) * | 2019-11-25 | 2020-04-07 | 广州小鹏汽车科技有限公司 | 车辆定位方法、车辆定位装置和车辆 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014003168A1 (ja) * | 2012-06-29 | 2014-01-03 | 株式会社デンソー | 車両に搭載される画像解析装置 |
| CN104718561A (zh) * | 2012-10-16 | 2015-06-17 | 高通股份有限公司 | 基于消失点确定的传感器校准和位置估计 |
| CN107389088A (zh) * | 2017-05-27 | 2017-11-24 | 纵目科技（上海）股份有限公司 | 车载惯性导航的误差修正方法、装置、介质及设备 |
| CN107481292A (zh) * | 2017-09-05 | 2017-12-15 | 百度在线网络技术（北京）有限公司 | 车载摄像头的姿态误差估计方法和装置 |
| CN107607118A (zh) * | 2017-08-10 | 2018-01-19 | 浙江科技学院 | 一种室内停车场的车辆定位方法 |
| CN107748569A (zh) * | 2017-09-04 | 2018-03-02 | 中国兵器工业计算机应用技术研究所 | 用于无人机的运动控制方法、装置及无人机系统 |
| CN108090958A (zh) * | 2017-12-06 | 2018-05-29 | 上海阅面网络科技有限公司 | 一种机器人同步定位和地图构建方法和系统 |
| CN108106614A (zh) * | 2017-12-22 | 2018-06-01 | 北京轻威科技有限责任公司 | 一种惯性传感器与视觉传感器数据融算法 |
| CN109540148A (zh) * | 2018-12-04 | 2019-03-29 | 广州小鹏汽车科技有限公司 | 基于slam地图的定位方法及系统 |
-
2019
- 2019-05-20 CN CN201910420385.XA patent/CN110132280B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014003168A1 (ja) * | 2012-06-29 | 2014-01-03 | 株式会社デンソー | 車両に搭載される画像解析装置 |
| CN104718561A (zh) * | 2012-10-16 | 2015-06-17 | 高通股份有限公司 | 基于消失点确定的传感器校准和位置估计 |
| CN107389088A (zh) * | 2017-05-27 | 2017-11-24 | 纵目科技（上海）股份有限公司 | 车载惯性导航的误差修正方法、装置、介质及设备 |
| CN107607118A (zh) * | 2017-08-10 | 2018-01-19 | 浙江科技学院 | 一种室内停车场的车辆定位方法 |
| CN107748569A (zh) * | 2017-09-04 | 2018-03-02 | 中国兵器工业计算机应用技术研究所 | 用于无人机的运动控制方法、装置及无人机系统 |
| CN107481292A (zh) * | 2017-09-05 | 2017-12-15 | 百度在线网络技术（北京）有限公司 | 车载摄像头的姿态误差估计方法和装置 |
| CN108090958A (zh) * | 2017-12-06 | 2018-05-29 | 上海阅面网络科技有限公司 | 一种机器人同步定位和地图构建方法和系统 |
| CN108106614A (zh) * | 2017-12-22 | 2018-06-01 | 北京轻威科技有限责任公司 | 一种惯性传感器与视觉传感器数据融算法 |
| CN109540148A (zh) * | 2018-12-04 | 2019-03-29 | 广州小鹏汽车科技有限公司 | 基于slam地图的定位方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| J. E. GOMEZ-BALDERAS, P. CASTILLO, J. A. GUERRERO, R. LOZANO: "Vision Based Tracking for a Mini-Rotorcraft Using Vanishing Points", 《IFAC PROCEEDINGS VOLUMES》 * |
| 周慧中: "基于结构线条的视觉SLAM方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110967008A (zh) * | 2019-11-25 | 2020-04-07 | 江铃汽车股份有限公司 | 一种商用车自动驾驶全场景定位方法 |
| CN110967038A (zh) * | 2019-11-25 | 2020-04-07 | 广州小鹏汽车科技有限公司 | 车辆定位方法、车辆定位装置和车辆 |
| CN110967038B (zh) * | 2019-11-25 | 2021-08-27 | 广州小鹏自动驾驶科技有限公司 | 车辆定位方法、车辆定位装置和车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110132280B (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021114764A1 (zh) | 基于局部地图的地图修正方法及系统 | |
| Gehrig et al. | Dead reckoning and cartography using stereo vision for an autonomous car | |
| CN103175524B (zh) | 一种无标识环境下基于视觉的飞行器位置与姿态确定方法 | |
| CN106989744A (zh) | 一种融合机载多传感器的旋翼无人机自主定位方法 | |
| CN109767475A (zh) | 一种传感器的外部参数标定方法及系统 | |
| US20050264433A1 (en) | Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method | |
| CN106056664A (zh) | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 | |
| CN109828588A (zh) | 一种基于多传感器融合的机器人室内路径规划方法 | |
| CN108226938A (zh) | 一种agv小车的定位系统和方法 | |
| CN107402012A (zh) | 一种车辆的组合导航方法 | |
| US20100157058A1 (en) | Method and Device for Compensating a Roll Angle | |
| CN107941217A (zh) | 一种机器人定位方法、电子设备、存储介质、装置 | |
| CN105865461A (zh) | 一种基于多传感器融合算法的汽车定位系统及方法 | |
| CN110967038B (zh) | 车辆定位方法、车辆定位装置和车辆 | |
| CN106705965A (zh) | 场景三维数据配准方法及导航系统误差校正方法 | |
| CN113503873A (zh) | 一种多传感器融合的视觉定位方法 | |
| CN114167470A (zh) | 一种数据处理方法和装置 | |
| WO2020137110A1 (ja) | 移動量推定装置 | |
| CN110132280A (zh) | 室内场景下的车辆定位方法、车辆定位装置和车辆 | |
| JP6135972B2 (ja) | 標定方法、標定プログラム、及び標定装置 | |
| CN112862818B (zh) | 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法 | |
| CN110030995A (zh) | 融合图像传感器和惯性传感器的智能小车控制方法及系统 | |
| CN109878528A (zh) | 面向车载立体视觉系统的头部运动姿态检测系统 | |
| JP7203805B2 (ja) | 移動体の定位誤差の分析 | |
| Buczko et al. | Self-validation for automotive visual odometry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201130 Address after: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province Applicant after: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd. Address before: 510640 Room 245, 333 Jiufojian Road, Zhongxin Guangzhou Knowledge City, Guangzhou, Guangdong Province Applicant before: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190816 Assignee: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd. Assignor: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd. Contract record no.: X2021440000219 Denomination of invention: Vehicle positioning method, vehicle positioning device and vehicle in indoor scene Granted publication date: 20210713 License type: Common License Record date: 20211220 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240304 Address after: 510000 No.8 Songgang street, Cencun, Tianhe District, Guangzhou City, Guangdong Province Patentee after: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd. Country or region after: China Address before: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province Patentee before: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd. Country or region before: China |