CN110967038B - 车辆定位方法、车辆定位装置和车辆 - Google Patents
车辆定位方法、车辆定位装置和车辆 Download PDFInfo
- Publication number
- CN110967038B CN110967038B CN201911163810.8A CN201911163810A CN110967038B CN 110967038 B CN110967038 B CN 110967038B CN 201911163810 A CN201911163810 A CN 201911163810A CN 110967038 B CN110967038 B CN 110967038B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- current
- attitude information
- inertial navigation
- navigation attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005259 measurement Methods 0.000 claims abstract description 68
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
- G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
Abstract
本发明实施例公开了一种车辆定位方法、车辆定位装置和车辆，所述车辆定位方法包括以下步骤：获取摄像头拍摄的前方道路的当前帧图像，并获取惯性测量单元IMU输出的车辆惯导姿态信息；获取前方道路的当前帧图像中的主消失点；根据当前帧图像中的主消失点计算摄像头相对当前道路的偏转角；根据当前帧图像中的主消失点的位置和车辆惯导姿态信息确定车辆的当前行驶状态；当车辆的当前行驶状态为转弯时，根据摄像头相对当前道路的偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正；根据当前惯导姿态信息对车辆进行定位。本发明实施例的车辆定位方法，能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
Description
技术领域
本发明实施例涉及车辆技术领域，特别涉及一种车辆定位方法、车辆定位装置、车辆、电子设备和非临时性计算机可读存储介质。
背景技术
目前，很多具有智能驾驶功能的车辆上，装有较高精度的惯性测量单元IMU(Inertial measurement unit)和摄像头。但是由于IMU的零偏和零偏不稳定，导致车辆的惯导系统在计算车辆姿态时，还是会产生随时间增长的累计漂移误差，进而会对定位精度造成影响。如果使用的是经过预标定的较高精度的IMU，漂移误差会在千分之一到千分之三，要修正此类惯导姿态，需要利用无累计漂移误差的位置或姿态的观测量，而在室内场景(如室内停车场)中，很难找到低成本的解决方案以提供此类观测量，相关技术中常用的解决方案，例如，视觉SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)和其采用的视觉里程计，在常见的无回环的应用场景中，其位姿输出也有一定程度的漂移误差。
发明内容
本发明实施例旨在至少在一定程度上解决上述技术中的技术问题之一。
为此，本发明实施例的一个目的在于提出一种车辆定位方法，能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
本发明实施例的第二个目的在于提出一种车辆定位装置。
本发明实施例的第三个目的在于提出一种车辆。
本发明实施例的第四个目的在于提出一种电子设备。
本发明实施例的第五个目的在于提出一种非临时性计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出了一种车辆定位方法，包括以下步骤：获取摄像头拍摄的前方道路的当前帧图像，并获取惯性测量单元IMU输出的车辆惯导姿态信息；获取所述前方道路的当前帧图像中的主消失点；根据所述当前帧图像中的主消失点计算所述摄像头相对当前道路的偏转角；根据所述当前帧图像中的主消失点的位置和所述车辆惯导姿态信息确定所述车辆的当前行驶状态；当所述车辆的当前行驶状态为转弯时，根据所述摄像头相对当前道路的偏转角对所述惯性测量单元IMU输出的当前惯导姿态信息进行修正；根据所述当前惯导姿态信息对所述车辆进行定位。
根据本发明实施例的车辆定位方法，首先获取摄像头拍摄的前方道路的当前帧图像，并获取惯性测量单元IMU输出的车辆惯导姿态信息，然后获取前方道路的当前帧图像中的主消失点，并根据当前帧图像中的主消失点计算摄像头相对当前道路的偏转角，以及根据当前帧图像中的主消失点的位置和车辆惯导姿态信息确定车辆的当前行驶状态，当车辆的当前行驶状态为转弯时，根据摄像头相对当前道路的偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正，最后根据当前惯导姿态信息对车辆进行定位。由此，该车辆定位方法能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
为达到上述目的，本发明第二方面实施例提出了一种车辆定位装置，包括：第一获取模块，用于获取摄像头拍摄的前方道路的当前帧图像，并获取惯性测量单元IMU输出的车辆惯导姿态信息；第二获取模块，用于获取所述前方道路的当前帧图像中的主消失点；计算模块，用于根据所述当前帧图像中的主消失点计算所述摄像头相对当前道路的偏转角；确定模块，用于根据所述当前帧图像中的主消失点的位置和所述车辆惯导姿态信息确定所述车辆的当前行驶状态；第一修正模块，用于当所述车辆的当前行驶状态为转弯时，根据所述摄像头相对当前道路的偏转角对所述惯性测量单元IMU输出的当前惯导姿态信息进行修正；定位模块，用于根据所述当前惯导姿态信息对所述车辆进行定位。
本发明实施例的车辆定位装置，通过第一获取模块获取摄像头拍摄的前方道路的当前帧图像和惯性测量单元IMU输出的车辆惯导姿态信息，并通过第二获取模块获取前方道路的当前帧图像中的主消失点，以使计算模块根据当前帧图像中的主消失点计算摄像头相对当前道路的偏转角，确定模块根据当前帧图像中的主消失点的位置和车辆惯导姿态信息确定车辆的当前行驶状态，当车辆的当前行驶状态为转弯时，再通过第一修正模块根据摄像头相对当前道路的偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正，以使定位模块根据当前惯导姿态信息对车辆进行定位。由此，该车辆定位装置能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
为了实现上述目的，本发明第三方面实施例提出的一种车辆包括：本发明第二方面实施例的车辆定位装置。
本发明实施例的车辆，通过上述车辆定位装置，能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
为达到上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如本发明第一方面实施例所述的车辆定位方法。
本发明实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
为达上述目的，本发明第五方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如本发明第一方面实施例所述的车辆定位方法。
本发明实施例的非临时性计算机可读存储介质，通过执行其存储的计算机程序，能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
附图说明
本发明实施例上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的车辆定位方法的流程图；
图2是根据本发明另一个实施例的车辆定位方法的流程图；
图3是根据本发明一个实施例的车辆定位装置的方框示意图；以及
图4是根据本发明另一个实施例的车辆定位装置的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面结合附图来描述本发明实施例的车辆定位方法、车辆定位装置、车辆、电子设备和非临时性计算机可读存储介质。
图1是根据本发明一个实施例的车辆定位方法的流程图。本发明实施例的车辆定位方法可适用于室内场景，其中，室内场景包括但不限于室内停车场，且本发明实施例的车辆定位方法可以应用在车辆的某种定位功能中，用户可根据实际情况选择开启或关闭该定位功能。
如图1所示，本发明实施例的车辆定位方法，包括以下步骤：
S1，获取摄像头拍摄的前方道路的当前帧图像，并获取惯性测量单元IMU输出的车辆惯导姿态信息。其中，摄像头可安装在车辆前挡风玻璃的上方、车辆前保险杠的上方等方便拍摄前方道路的位置，且该摄像头可为单目摄像头，惯性测量单元IMU可设置在车辆的惯性导航系统(即，惯导系统)中。
S2，获取前方道路的当前帧图像中的主消失点。
具体而言，车辆在驶入室内停车场后，可通过安装在车辆前挡风玻璃的上方的摄像头实时获取前方道路的图像，即室内停车场中走廊道路的图像，并对该图像进行分析以获取前方道路的当前帧图像。
另外，车辆在驶入室内停车场后，还可通过内置的惯性导航系统实时获取车辆的惯导姿态信息，其中，惯导姿态信息可包括陀螺仪的输出数据，即三轴角速度输出以及由其积分而得的相对姿态数据。
此外，车辆在获取到前方道路的当前帧图像后，还可使用线检测算法(例如，fastline detector算法)检测当前帧图像中所含的边和线(例如，室内停车场走廊内所含的边和线)，并使用RANSAC(Random Sample Consensus)算法检测和定位当前帧图像中的主消失点。
需要说明的是，上述实施例中所描述的消失点可为，现实中的一组平行线在图像中的投影会的一点(即，交于同一点)，在人造环境中，如室内，街道等，一般含有平行线结构，易检测到消失点。其中，消失点可包括前向平行线的交汇点、竖向平行线的交汇点和横向平行线的交汇点，其中，前向平行线的交汇点即为上述实施例中所描述的主消失点。当前帧图像中的主消失点可以用于估计摄像头相对于结构体的方向或姿态，且此姿态的估计，独立于之前帧，因此无漂移误差。
S3，根据当前帧图像中的主消失点计算摄像头相对当前道路的偏转角。应说明的是，该实施例中所描述的偏转角可为车辆在直行过程中向两侧偏移的角度。
在本发明的一个实施例中，根据当前帧图像中的主消失点计算摄像头相对当前道路的偏转角，可包括根据当前帧图像中的主消失点的位置和投影关系模型计算摄像头相对当前道路的姿态信息，并从摄像头相对当前道路的姿态信息中，提取摄像头相对当前道路的偏转角。其中，摄像头相对当前道路的姿态信息可包括摄像头的俯仰信息和航向信息，且俯仰信息包括俯仰角Pitch的角度值，航向信息包括航向角Yaw的角度值。应说明的是，若当前帧图像中的主消失点位于当前帧图像的中心，则摄像头朝向与走廊(道路)方向重合，且航向角Yaw和俯仰角Pitch可都为零。
具体而言，在获取到前方道路的当前帧图像中的主消失点后，可利用当前帧图像中的主消失点的位置和投影关系模型(例如，摄像头内参矩阵)，计算出摄像头相对走廊道路(当前道路)的姿态，并对该摄像头相对走廊道路的姿态进行解析，以从该摄像头相对走廊道路的姿态中提取摄像头相对走廊道路(当前道路)的偏转角。
S4，根据当前帧图像中的主消失点的位置和车辆惯导姿态信息确定车辆的当前行驶状态。其中，车辆的当前行驶状态可包括直行状态、类直行状态和转弯状态等。
在本发明的其他实施例中，还可仅根据当前帧图像中的主消失点的位置，或车辆惯导姿态信息确定车辆的当前行驶状态。
具体地，若检测到实时获取的当前帧图像中的主消失点的位置变化，大于预设的距离，则可判定车辆当前正处于转弯状态；若检测到实时获取的当前帧图像中的主消失点的位置变化，小于预设的距离，则可判定车辆当前正处于直行状态或类直行状态。若检测到上述车辆惯导姿态信息中的车辆的姿态角大于预设的角度，则可判定车辆当前正处于转弯状态；若检测到上述车辆惯导姿态信息中的车辆的姿态角小于预设的角度，则可判定车辆当前正处于直行状态或类直行状态。其中，预设的距离和预设的角度均可以根据实际情况进行标定。
进一步地，为了提高检测的精度，还可在检测到实时获取的当前帧图像中的主消失点的距离，在预设的时间内大于预设的位置变化量，则可判定车辆当前正处于转弯状态。
S5，当车辆的当前行驶状态为转弯时，根据摄像头相对当前道路的偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正。应说明的是，该实施例中所描述的当前道路指的是，车辆当前正在行驶的未转弯前的道路，即当前直行道路。
其中，当车辆检测到当前帧图像中的主消失点的位置，相对于前几帧图像中的主消失点的位置的变化大于预设的距离，且车辆惯导姿态信息中的车辆行驶的偏转角大于预设的角度时，可确定当车辆的当前行驶状态为转弯。
进一步地，如图2所示，根据摄像头相对当前道路的偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正，可包括以下步骤：
S51，基于预设的第一算法，并根据摄像头相对当前道路的偏转角和车辆惯导姿态信息生成第一转换矩阵。其中，预设的第一算法可根据实际情况进行标定，例如，预设的第一算法可为最少二乘优化法。
需要说明的是，该实施例中所描述的第一转换矩阵为摄像头相对当前道路的偏转角和车辆惯导姿态信息之间的转换矩阵。
S52，根据第一转换矩阵将摄像头相对当前道路的偏转角转换为对应坐标系下的等效惯导姿态。
S53，根据等效惯导姿态和车辆惯导姿态信息，对摄像头相对当前道路的偏转角进行优化，以剔除摄像头相对当前道路的偏转角各帧姿态中的离群值。
S54，基于预设的第一算法，并根据优化后的偏转角和车辆惯导姿态信息计算惯性测量单元IMU中陀螺仪的零偏。
S55，根据零偏对惯性测量单元IMU输出的当前惯导姿态信息进行修正。
S6，根据当前惯导姿态信息对车辆进行定位。
具体地，当车辆的当前行驶状态为转弯时，车辆可利用最小二乘优化法，预估出摄像头相对当前道路的偏转角和车辆惯导姿态信息之间的转换矩阵，并基于该转换矩阵将摄像头相对当前道路的偏转角转换为对应坐标系下的等效惯导姿态。然后该车辆通过比对他们与实际惯导输出(即比对等效惯导姿态和车辆惯导姿态信息)，找出其中摄像头相对当前道路的偏转角各帧姿态中的离群值，并进行去除以得到去处离群值后的摄像头相对当前道路的偏转角。
再然后，该车辆再次利用最小二乘优化法，并根据优化后的偏转角和车辆惯导姿态信息计算惯性测量单元IMU中陀螺仪的零偏，例如，首先设定待估计状态量为陀螺仪零偏以及走廊坐标系与IMU局部坐标系之间的转换角，设定优化后的偏转角为观测量，然后利用惯导模型和坐标系转换矩阵建立状态量和观测量之间的观测模型，最后利用最小二乘法计算出待估计量，得到其中的陀螺仪零偏。最后根据该零偏对惯性测量单元IMU输出的当前惯导姿态信息进行修正。以此来实现对惯性测量单元IMU输出的当前惯导姿态信息进行修正。最后，该车辆可根据当前惯导姿态信息对自身进行定位，以提高定位的准确性。
综上所述，本发明实施例提供的车辆定位方法，能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，提高了车辆定位的准确性，且成本较低。
为了进一步提高车辆定位的准确性，还可在根据摄像头相对当前道路的偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正的基础上，进一步对惯性测量单元IMU输出的当前惯导姿态信息进行修正。
其中，在本发明的一个实施例中，根据当前惯导姿态信息对车辆进行定位之前，还可包括根据摄像头相对当前道路的姿态信息生成摄像头的全局姿态信息，当车辆行驶至第N个转角时，根据摄像头的全局姿态信息和预设的全局偏转角生成算法，生成摄像头的全局偏转角，并根据摄像头的全局偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正，其中，N为大于等于2的正整数。
其中，根据摄像头的全局偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正，可包括基于预设的第二算法，并根据摄像头的全局偏转角和车辆惯导姿态信息计算惯性测量单元IMU中陀螺仪的零偏，并根据零偏对惯性测量单元IMU输出的当前惯导姿态信息进行修正。
具体地，车辆在室内停车场行驶的过程中，取初始走廊道路方向为基准建立全局坐标系，如无转换走廊道路(即，车辆转弯)，则摄像头相对走廊道路的姿态即为全局姿态(即，摄像头的全局姿态)，当车辆转弯驶入下一个走廊道路后，车辆可继续根据当前帧图像中的主消失点的位置和投影关系模型计算摄像头相对当前道路的姿态信息，并利用车辆此次转弯的方向和角度建立转换矩阵，并根据该转换矩阵将当前的摄像头相对当前道路的姿态信息转换为初始走廊道路方向为基准建立全局坐标系下的，摄像头相对走廊道路的姿态即为全局姿态，以此，计算车辆行驶过程中的摄像头的全局姿态信息。应说明的是，该实施例中，车辆转弯的角度可利用惯导系统配合行驶状态识别估算出。当估算转弯角度接近90度或90度的整数m倍时，则近似为90度或90度的整数m倍，其中，m可为正整数。
当车辆行驶至第2个转角时，该车辆可根据摄像头的全局姿态信息和预设的全局偏转角生成算法，生成摄像头的全局偏转角，其中，预设的全局偏转角生成算法可根据实际情况进行标定。然后该车辆可利用最小二乘优化法，根据该摄像头的全局偏转角和车辆惯导姿态信息计算出惯性测量单元IMU中陀螺仪的零偏，并根据零偏对惯性测量单元IMU输出的当前惯导姿态信息进行修正。最后，该车辆可根据当前惯导姿态信息对自身进行定位，以进一步提高定位的准确性。
需要说明的是，该实施例中所描述的车辆在启用上述的定位功能后，可在每次经过转角时，进行经过转角数目的记录，并储存在自身的存储空间中，以方便后续的使用。
进一步而言，车辆在室内停车场行驶的过程中，还可取初始车辆或摄像头朝向为基准建立全局坐标系，可根据摄像头外参(包括摄像头相对车体惯性坐标系的安装姿态)和通过预设的初期惯导算法得到的车辆及摄像头姿态，将摄像头相对走廊道路(当前道路)的姿态转换为全局坐标系下的姿态(即，摄像头的全局姿态)。其中，预设的初期惯导算法可根据实际情况进行标定。
综上，根据本发明实施例的车辆定位方法，首先获取摄像头拍摄的前方道路的当前帧图像，并获取惯性测量单元IMU输出的车辆惯导姿态信息，然后获取前方道路的当前帧图像中的主消失点，并根据当前帧图像中的主消失点计算摄像头相对当前道路的偏转角，以及根据当前帧图像中的主消失点的位置和车辆惯导姿态信息确定车辆的当前行驶状态，当车辆的当前行驶状态为转弯时，根据摄像头相对当前道路的偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正，最后根据当前惯导姿态信息对车辆进行定位。由此，该车辆定位方法能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
图3是根据本发明一个实施例的车辆定位装置的方框示意图。
如图3所示，本发明实施例的车辆定位装置，包括：第一获取模块100、第二获取模块200、计算模块300、确定模块400、第一修正模块500和定位模块600。
其中，第一获取模块100用于获取摄像头拍摄的前方道路的当前帧图像，并获取惯性测量单元IMU输出的车辆惯导姿态信息。
第二获取模块200用于获取前方道路的当前帧图像中的主消失点。
计算模块300用于根据当前帧图像中的主消失点计算摄像头相对当前道路的偏转角。
确定模块400用于根据当前帧图像中的主消失点的位置和车辆惯导姿态信息确定车辆的当前行驶状态。
第一修正模块500用于当车辆的当前行驶状态为转弯时，根据摄像头相对当前道路的偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正。
定位模块600用于根据当前惯导姿态信息对车辆进行定位。
在本发明的实施例中，计算模块300具体用于根据当前帧图像中的主消失点的位置和投影关系模型计算摄像头相对当前道路的姿态信息，并从摄像头相对当前道路的姿态信息中，提取摄像头相对当前道路的偏转角。
在本发明的一个实施例中，第一修正模块500具体用于：基于预设的第一算法，并根据摄像头相对当前道路的偏转角和车辆惯导姿态信息生成第一转换矩阵；根据第一转换矩阵将摄像头相对当前道路的偏转角转换为对应坐标系下的等效惯导姿态；根据等效惯导姿态和车辆惯导姿态信息，对摄像头相对当前道路的偏转角进行优化，以剔除摄像头相对当前道路的偏转角各帧姿态中的离群值；基于预设的第一算法，并根据优化后的偏转角和车辆惯导姿态信息计算惯性测量单元IMU中陀螺仪的零偏；根据零偏对惯性测量单元IMU输出的当前惯导姿态信息进行修正。
在本发明的实施例中，如图4所示，上述车辆定位装置还包括生成模块700和第二修正模块800。
其中，生成模块700用于在定位模块600根据当前惯导姿态信息对车辆进行定位之前，根据摄像头相对当前道路的姿态信息生成摄像头的全局姿态信息。
第二修正模块800用于当车辆行驶至第N个转角时，根据摄像头的全局姿态信息和预设的全局偏转角生成算法，生成摄像头的全局偏转角，并根据摄像头的全局偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正，其中，N为大于等于2的正整数。
在本发明的实施例中，第二修正模块800具体用于基于预设的第二算法，并根据摄像头的全局偏转角和车辆惯导姿态信息计算惯性测量单元IMU中陀螺仪的零偏，并根据零偏对惯性测量单元IMU输出的当前惯导姿态信息进行修正。
需要说明的是，本发明实施例的车辆定位装置中未披露的细节，请参照本发明实施例的车辆定位方法中所披露的细节，具体这里不再赘述。
综上，本发明实施例的车辆定位装置，通过第一获取模块获取摄像头拍摄的前方道路的当前帧图像和惯性测量单元IMU输出的车辆惯导姿态信息，并通过第二获取模块获取前方道路的当前帧图像中的主消失点，以使计算模块根据当前帧图像中的主消失点计算摄像头相对当前道路的偏转角，确定模块根据当前帧图像中的主消失点的位置和车辆惯导姿态信息确定车辆的当前行驶状态，当车辆的当前行驶状态为转弯时，再通过第一修正模块根据摄像头相对当前道路的偏转角对惯性测量单元IMU输出的当前惯导姿态信息进行修正，以使定位模块根据当前惯导姿态信息对车辆进行定位。由此，该车辆定位装置能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
为了实现上述实施例，本发明还提出一种车辆，其包括上述车辆定位装置。
本发明实施例的车辆，通过上述车辆定位装置，能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
为了实现上述实施例，本发明还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序，以实现前述实施例的车辆定位方法。
本发明实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
为达上述目的，本发明第五方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如本发明第一方面实施例所述的车辆定位方法。
本发明实施例的非临时性计算机可读存储介质，通过执行其存储的计算机程序，能够对惯性测量单元IMU输出的当前惯导姿态信息进行修正，从而提高车辆定位的准确性。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种车辆定位方法，其特征在于，包括以下步骤：
获取摄像头拍摄的前方道路的当前帧图像，并获取惯性测量单元IMU输出的车辆惯导姿态信息；
获取所述前方道路的当前帧图像中的主消失点；
根据所述当前帧图像中的主消失点计算所述摄像头相对当前道路的偏转角；
根据所述当前帧图像中的主消失点的位置和所述车辆惯导姿态信息确定所述车辆的当前行驶状态；
当所述车辆的当前行驶状态为转弯时，根据所述摄像头相对当前道路的偏转角对所述惯性测量单元IMU输出的当前惯导姿态信息进行修正；
根据所述当前惯导姿态信息对所述车辆进行定位，
其中，所述根据所述摄像头相对当前道路的偏转角对所述惯性测量单元IMU输出的当前惯导姿态信息进行修正，包括：
基于预设的第一算法，并根据所述摄像头相对当前道路的偏转角和所述车辆惯导姿态信息生成第一转换矩阵；
根据所述第一转换矩阵将所述摄像头相对当前道路的偏转角转换为对应坐标系下的等效惯导姿态；
根据所述等效惯导姿态和所述车辆惯导姿态信息，对所述摄像头相对当前道路的偏转角进行优化，以剔除所述摄像头相对当前道路的偏转角各帧姿态中的离群值；
基于所述预设的第一算法，并根据优化后的偏转角和所述车辆惯导姿态信息计算惯性测量单元IMU中陀螺仪的零偏；
根据所述零偏对所述惯性测量单元IMU输出的当前惯导姿态信息进行修正。
2.如权利要求1所述的车辆定位方法，其特征在于，所述根据所述当前帧图像中的主消失点计算所述摄像头相对当前道路的偏转角，包括：
根据所述当前帧图像中的主消失点的位置和投影关系模型计算所述摄像头相对当前道路的姿态信息；
从所述摄像头相对当前道路的姿态信息中，提取所述摄像头相对当前道路的偏转角。
3.如权利要求2所述的车辆定位方法，其特征在于，所述根据所述当前惯导姿态信息对所述车辆进行定位之前，还包括：
根据所述摄像头相对当前道路的姿态信息生成所述摄像头的全局姿态信息；
当所述车辆行驶至第N个转角时，根据所述摄像头的全局姿态信息和预设的全局偏转角生成算法，生成所述摄像头的全局偏转角，并根据所述摄像头的全局偏转角对所述惯性测量单元IMU输出的当前惯导姿态信息进行修正，其中，所述N为大于等于2的正整数。
4.如权利要求3所述的车辆定位方法，其特征在于，所述根据所述摄像头的全局偏转角对所述惯性测量单元IMU输出的当前惯导姿态信息进行修正，包括：
基于预设的第二算法，并根据所述摄像头的全局偏转角和所述车辆惯导姿态信息计算惯性测量单元IMU中陀螺仪的零偏；
根据所述零偏对所述惯性测量单元IMU输出的当前惯导姿态信息进行修正。
5.一种车辆定位装置，其特征在于，包括：
第一获取模块，用于获取摄像头拍摄的前方道路的当前帧图像，并获取惯性测量单元IMU输出的车辆惯导姿态信息；
第二获取模块，用于获取所述前方道路的当前帧图像中的主消失点；
计算模块，用于根据所述当前帧图像中的主消失点计算所述摄像头相对当前道路的偏转角；
确定模块，用于根据所述当前帧图像中的主消失点的位置和所述车辆惯导姿态信息确定所述车辆的当前行驶状态；
第一修正模块，用于当所述车辆的当前行驶状态为转弯时，根据所述摄像头相对当前道路的偏转角对所述惯性测量单元IMU输出的当前惯导姿态信息进行修正；
定位模块，用于根据所述当前惯导姿态信息对所述车辆进行定位，
其中，所述第一修正模块，具体还用于：
基于预设的第一算法，并根据所述摄像头相对当前道路的偏转角和所述车辆惯导姿态信息生成第一转换矩阵；
根据所述第一转换矩阵将所述摄像头相对当前道路的偏转角转换为对应坐标系下的等效惯导姿态；
根据所述等效惯导姿态和所述车辆惯导姿态信息，对所述摄像头相对当前道路的偏转角进行优化，以剔除所述摄像头相对当前道路的偏转角各帧姿态中的离群值；
基于所述预设的第一算法，并根据优化后的偏转角和所述车辆惯导姿态信息计算惯性测量单元IMU中陀螺仪的零偏；
根据所述零偏对所述惯性测量单元IMU输出的当前惯导姿态信息进行修正。
6.一种车辆，其特征在于，包括如权利要求5所述的车辆定位装置。
7.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4中任一所述的车辆定位方法。
8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-4中任一所述的车辆定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911163810.8A CN110967038B (zh) | 2019-11-25 | 2019-11-25 | 车辆定位方法、车辆定位装置和车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911163810.8A CN110967038B (zh) | 2019-11-25 | 2019-11-25 | 车辆定位方法、车辆定位装置和车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110967038A CN110967038A (zh) | 2020-04-07 |
| CN110967038B true CN110967038B (zh) | 2021-08-27 |
Family
ID=70031424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911163810.8A Active CN110967038B (zh) | 2019-11-25 | 2019-11-25 | 车辆定位方法、车辆定位装置和车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110967038B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112068171B (zh) * | 2020-09-08 | 2022-02-01 | 广州小鹏自动驾驶科技有限公司 | 一种车辆定位的方法及装置、车辆、存储介质 |
| CN113218389A (zh) * | 2021-05-24 | 2021-08-06 | 北京航迹科技有限公司 | 一种车辆定位方法、装置、存储介质及计算机程序产品 |
| CN113386669A (zh) * | 2021-07-13 | 2021-09-14 | 虹软科技股份有限公司 | 一种辅助驾驶系统及车辆 |
| CN113911122B (zh) * | 2021-11-09 | 2023-12-22 | 河南交投通汇高速公路有限责任公司 | 道路预警方法、装置、设备和车辆 |
| CN114509087A (zh) * | 2022-02-21 | 2022-05-17 | 高德软件有限公司 | 定位方法、电子设备及计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014219428A1 (de) * | 2014-09-25 | 2016-03-31 | Conti Temic Microelectronic Gmbh | Selbstkalibrierung eines Stereokamerasystems im Auto |
| CN107796387A (zh) * | 2016-08-30 | 2018-03-13 | 富士通株式会社 | 定位方法、定位装置和电子设备 |
| CN110132306A (zh) * | 2019-05-20 | 2019-08-16 | 广州小鹏汽车科技有限公司 | 车辆定位误差的纠正方法及系统 |
| CN110132280A (zh) * | 2019-05-20 | 2019-08-16 | 广州小鹏汽车科技有限公司 | 室内场景下的车辆定位方法、车辆定位装置和车辆 |
| CN110207715A (zh) * | 2019-06-28 | 2019-09-06 | 广州小鹏汽车科技有限公司 | 车辆定位的修正方法及修正系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7893963B2 (en) * | 2000-03-27 | 2011-02-22 | Eastman Kodak Company | Digital camera which estimates and corrects small camera rotations |
-
2019
- 2019-11-25 CN CN201911163810.8A patent/CN110967038B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014219428A1 (de) * | 2014-09-25 | 2016-03-31 | Conti Temic Microelectronic Gmbh | Selbstkalibrierung eines Stereokamerasystems im Auto |
| CN107796387A (zh) * | 2016-08-30 | 2018-03-13 | 富士通株式会社 | 定位方法、定位装置和电子设备 |
| CN110132306A (zh) * | 2019-05-20 | 2019-08-16 | 广州小鹏汽车科技有限公司 | 车辆定位误差的纠正方法及系统 |
| CN110132280A (zh) * | 2019-05-20 | 2019-08-16 | 广州小鹏汽车科技有限公司 | 室内场景下的车辆定位方法、车辆定位装置和车辆 |
| CN110207715A (zh) * | 2019-06-28 | 2019-09-06 | 广州小鹏汽车科技有限公司 | 车辆定位的修正方法及修正系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110967038A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110967038B (zh) | 车辆定位方法、车辆定位装置和车辆 | |
| US20230360260A1 (en) | Method and device to determine the camera position and angle | |
| US11279045B2 (en) | Robot pose estimation method and apparatus and robot using the same | |
| JP5966747B2 (ja) | 車両走行制御装置及びその方法 | |
| US9740942B2 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
| US10508912B2 (en) | Road surface shape measuring device, measuring method, and non-transitory computer-readable medium | |
| WO2020107931A1 (zh) | 位姿信息确定方法和装置、视觉点云构建方法和装置 | |
| US20200070823A1 (en) | Collision Detection Method and Apparatus Based on an Autonomous Vehicle, Device and Storage Medium | |
| US20200166349A1 (en) | Parking support apparatus | |
| CN112284416B (zh) | 一种自动驾驶定位信息校准装置、方法及存储介质 | |
| CN113740871B (zh) | 一种在高动态环境下的激光slam方法、系统设备及存储介质 | |
| CN110766760A (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN110132280B (zh) | 室内场景下的车辆定位方法、车辆定位装置和车辆 | |
| JP2019056629A (ja) | 距離推定装置及び方法 | |
| US11908206B2 (en) | Compensation for vertical road curvature in road geometry estimation | |
| US20220050190A1 (en) | System and Method for Compensating a Motion of a Vehicle Component | |
| CN113063415A (zh) | 车辆及其导航方法、惯性导航系统的修正方法、存储介质 | |
| JP7204612B2 (ja) | 位置姿勢推定装置、位置姿勢推定方法及びプログラム | |
| JP2021081272A (ja) | 位置推定装置および位置推定用コンピュータプログラム | |
| US10643077B2 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
| CN115456898A (zh) | 停车场的建图方法、装置、车辆及存储介质 | |
| JP7456857B2 (ja) | 自己位置推定装置 | |
| CN110836656B (zh) | 用于单目adas的防抖测距方法、装置和电子设备 | |
| JP7408236B2 (ja) | 位置推定方法及び位置推定装置 | |
| JP2018059744A (ja) | 自車位置認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201126 Address after: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province Applicant after: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd. Address before: 510640 No.8 Songgang street, Cencun, Tianhe District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200407 Assignee: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd. Assignor: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd. Contract record no.: X2021440000219 Denomination of invention: Vehicle positioning method, vehicle positioning device and vehicle Granted publication date: 20210827 License type: Common License Record date: 20211220 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240227 Address after: 510000 No.8 Songgang street, Cencun, Tianhe District, Guangzhou City, Guangdong Province Patentee after: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd. Country or region after: China Address before: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province Patentee before: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd. Country or region before: China |