CN110147705B - 一种基于视觉感知的车辆定位方法及电子设备 - Google Patents

Abstract

一种基于视觉感知的车辆定位方法及电子设备，包括：获取车辆的初始位姿信息；其中，初始位姿信息至少包括车辆所在位置的经度、纬度和海拔高度、以及车辆的航向角、俯仰角和横滚角；根据初始位姿信息从预设的三维地图中确定出目标区域以及目标区域中的目标语义特征；其中，目标区域是以车辆所在位置为圆心且以预设长度为半径的区域；采集车辆所在位置的环境图像；对环境图像进行语义特征分析，获得当前语义特征；比对当前语义特征与目标语义特征，获得比对结果；根据比对结果更新初始位姿信息，将更新后的初始位姿信息作为车辆的当前位姿信息。实施本发明实施例，能够提高对车辆的定位准确度，进而提高车辆自动驾驶的安全性。

Description

一种基于视觉感知的车辆定位方法及电子设备

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于视觉感知的车辆定位方法及电子设备。

背景技术

自动驾驶是汽车产业与人工智能、物联网、高性能计算等新一代信息技术深度融合的产物，是当前全球汽车与交通出行领域智能化和网联化发展的主要方向。

现有技术中实现自动驾驶的方式，是通过在车辆中设置多种传感器、激光雷达以及超声波等器件，实现对车辆所在位置的定位以及对车辆周边环境、周边路况的检测判定，进而再根据定位结果、检测判定结果对车辆执行驾驶控制等操作。但是，由于多种传感器、激光雷达以及超声波等器件存在测量精度不高的问题，所以，上述方法中通过检测多种传感器、激光雷达以及超声波等器件对车辆进行定位的方式的定位准确度不高，进而会导致车辆自动驾驶的安全性降低。

发明内容

本发明实施例公开了一种基于视觉感知的车辆定位方法及电子设备，能够提高对车辆的定位准确度，进而提高车辆自动驾驶的安全性。

本发明实施例第一方面公开了一种基于视觉感知的车辆定位方法，所述方法包括：

获取所述车辆的初始位姿信息；其中，所述初始位姿信息至少包括所述车辆所在位置的经度、纬度和海拔高度、以及所述车辆的航向角、俯仰角和横滚角；

根据所述初始位姿信息从预设的三维地图中确定出目标区域以及所述目标区域中的目标语义特征；其中，所述目标区域是以所述车辆所在位置为圆心且以预设长度为半径的区域；

采集所述车辆所在位置的环境图像；

对所述环境图像进行语义特征分析，获得当前语义特征；

比对所述当前语义特征与所述目标语义特征，获得比对结果；

根据所述比对结果更新所述初始位姿信息，将更新后的初始位姿信息作为所述车辆的当前位姿信息。

作为一种可选的实施方式，在本发明实施例第一方面中，所述的对所述环境图像进行语义特征分析，获得当前语义特征，包括：

通过卷积神经网络对所述环境图像进行特征提取，获得目标特征图；其中，所述目标特征图中包括多个特征；

从所述目标特征图中确定出候选框，并对所述候选框进行分类操作和回归操作，获得待识别图像；其中，每个所述候选框中包括的特征为同一类别特征；

通过残差网络从所述待识别图像中确定出所述当前语义特征。

作为一种可选的实施方式，在本发明实施例第一方面中，所述的通过卷积神经网络对所述环境图像进行特征提取，获得目标特征图，包括：

通过所述卷积神经网络对所述环境图像依次进行卷积操作、上采样操作以及池化操作，获得目标特征图。

作为一种可选的实施方式，在本发明实施例第一方面中，所述的比对所述当前语义特征与所述目标语义特征，获得比对结果，包括：

确定所述当前语义特征在所述环境图像中对应的当前参数和所述目标语义特征在所述三维地图中对应的目标参数；

比对所述当前参数和所述目标参数，获得所述当前语义特征与所述目标语义特征之间的重投影误差；

根据非线性优化算法优化所述重投影误差；

将优化后的重投影误差作为所述当前语义特征和所述目标语义特征的所述比对结果。

作为一种可选的实施方式，在本发明实施例第一方面中，所述的采集所述车辆所在位置的环境图像的方式具体为：通过单目摄像头基于所述车辆的朝向拍摄实时图像，作为所述车辆所在位置的环境图像。

本发明实施例第二方面公开了一种电子设备，所述电子设备包括：

获取单元，用于获取车辆的初始位姿信息；其中，所述初始位姿信息至少包括所述车辆所在位置的经度、纬度和海拔高度、以及所述车辆的航向角、俯仰角和横滚角；

确定单元，用于根据所述初始位姿信息从预设的三维地图中确定出目标区域以及所述目标区域中的目标语义特征；其中，所述目标区域是以所述车辆所在位置为圆心且以预设长度为半径的区域；

采集单元，用于采集所述车辆所在位置的环境图像；

语义特征分析单元，用于对所述环境图像进行语义特征分析，获得当前语义特征；

比对单元，用于比对所述当前语义特征与所述目标语义特征，获得比对结果；

更新单元，用于根据所述比对结果更新所述初始位姿信息，将更新后的初始位姿信息作为所述车辆的当前位姿信息。

作为一种可选的实施方式，在本发明实施例第二方面中，所述语义特征分析单元，包括：

特征提取子单元，用于通过卷积神经网络对所述环境图像进行特征提取，获得目标特征图；其中，所述目标特征图中包括多个特征；

第一确定子单元，用于从所述目标特征图中确定出候选框；其中，每个所述候选框中包括的特征为同一类别特征；

分类回归子单元，用于对所述候选框进行分类操作和回归操作，获得待识别图像；

所述第一确定子单元，还用于通过残差网络从所述待识别图像中确定出所述当前语义特征。

作为一种可选的实施方式，在本发明实施例第二方面中，所述特征提取子单元通过卷积神经网络对所述环境图像进行特征提取，获得目标特征图的方式具体为：通过所述卷积神经网络对所述环境图像依次进行卷积操作、上采样操作以及池化操作，获得目标特征图。

作为一种可选的实施方式，在本发明实施例第二方面中，所述比对单元，包括：

第二确定子单元，用于确定所述当前语义特征在所述环境图像中对应的当前参数和所述目标语义特征在所述三维地图中对应的目标参数；

比对子单元，用于比对所述当前参数和所述目标参数，获得所述当前语义特征与所述目标语义特征之间的重投影误差；

优化子单元，用于根据非线性优化算法优化所述重投影误差；

比对结果确定子单元，用于将优化后的重投影误差作为所述当前语义特征和所述目标语义特征的所述比对结果。

作为一种可选的实施方式，在本发明实施例第二方面中，所述采集单元采集所述车辆所在位置的环境图像的方式具体为：所述采集单元通过单目摄像头基于所述车辆的朝向拍摄实时图像，作为所述车辆所在位置的环境图像

本发明实施例第三方面公开了一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的基于视觉感知的车辆定位方法。

本发明实施例第四方面公开了一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的基于视觉感知的车辆定位方法。

本发明实施例第五方面公开了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面公开的基于视觉感知的车辆定位方法。

与现有技术相比，本发明的发明点及具有的有益效果：

1、电子设备可以获取车辆的初始位姿信息，再根据初始位姿信息从预设的三维地图中确定出目标区域以及目标区域中的目标语义特征，以及采集车辆所在位置的环境图像；进而，电子设备对环境图像进行语义特征分析，获得当前语义特征，再比对当前语义特征与目标语义特征，获得比对结果，以及根据比对结果更新初始位姿信息，将更新后的初始位姿信息作为车辆的当前位姿信息。实施上述方案能够获取车辆的详细定位信息(例如，经度、纬度、高度、航向角、俯仰角、横滚角以及车辆和语义特征的相对位置)，进而提高车辆自动驾驶的安全性。可见，实施本发明实施例，能够提高对车辆的定位准确度，进而提高车辆自动驾驶的安全性。

2、电子设备可以根据当前语义特征和目标语义特征的比对结果，确定出车辆所行驶的道路上的具体位置，例如，车辆处于第二车道线和第三车道线之间，并且处于前方最近的道路标识牌的东南方向45度角距离为3米。相较于传统的通过惯性测量单元测量的车辆所在位置，本发明测量的车辆所在位置要更加精确。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于视觉感知的车辆定位方法的流程示意图；

图2是本发明实施例公开的另一种基于视觉感知的车辆定位方法的流程示意图；

图3是本发明实施例公开的一种电子设备的结构示意图；

图4是本发明实施例公开的另一种电子设备的结构示意图；

图5是本发明实施例公开的又一种电子设备的结构示意图；

图6是本发明实施例公开的又一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种基于视觉感知的车辆定位方法及电子设备，能够提高对车辆的定位准确度，进而提高车辆自动驾驶的安全性。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种基于视觉感知的车辆定位方法的流程示意图。如图1所示，该基于视觉感知的车辆定位方法可以包括以下步骤：

101、电子设备获取车辆的初始位姿信息；其中，初始位姿信息至少包括车辆所在位置的经度、纬度和海拔高度、以及车辆的航向角、俯仰角和横滚角。

本发明实施例中，可选的，电子设备获取车辆的初始位姿信息的方式具体可以为：

电子设备根据组合导航确定车辆的初始位姿信息；其中，组合导航至少包括全球定位系统(Global Positioning System，GPS)和测量单元(Inertial measurement unit，IMU)。需要说明的是，上述的GPS用于测量车辆所在位置的经度、纬度和海拔高度，上述的IMU用于测量车辆的航向角、俯仰角和横滚角。

可见，实施本发明实施例，能够通过结合GPS和IMU作为组合导航的方式，解决由于GPS测量到的数据准确性较高，但是更新频率较低(例如，10Hz)，而IMU的更新频率较高(例如，100Hz)，但是测量误差却会随着时间的增长而变大的问题，以实现对车辆的定位信息进行高频率的修正，以及提高确定出的车辆的初始位姿信息的准确性。

进一步地，组合导航还可以包括无线电导航系统、天文导航系统以及卫星导航系统中至少一种，以进一步提高确定出的车辆的初始位姿信息的准确性。

102、电子设备根据初始位姿信息从预设的三维地图中确定出目标区域以及目标区域中的目标语义特征；其中，目标区域是以车辆所在位置为圆心且以预设长度为半径的区域。

本发明实施例中，预设的三维地图可以是高精度地图。其中，高精度地图也可以被称为高分辨率地图(High Definition Map，HD Map)，是一种专门服务于车辆自动驾驶的地图。HD Map中存储着交通场景中的各种交通要素，例如，道路网络数据、车道网络数据、车道线数据以及交通标志数据等数据，以辅助车辆实现自动驾驶。另外，高精度地图还可以包括先验信息，例如，道路的曲率、航向、坡度以及横坡角，以使得电子设备通过这些先验信息对车辆进行自动驾驶控制，进而提高车辆的安全性和舒适性。

本发明实施例中，可选的，电子设备根据初始位姿信息从预设的三维地图中确定出目标区域以及目标区域中的目标语义特征的方式具体可以为：

电子设备根据初始位姿信息从预设的三维地图中确定出目标区域，并向服务器发送三维场景重建请求，以使得服务器向电子设备返回目标区域在三维地图中对应的交通场景；其中，交通场景包括目标区域中所有的目标语义特征。

需要说明的是，上述的目标语义特征可以是：车道线、交通信号灯或者交通标志牌等交通要素。此外，由于三维地图如果存储在电子设备中会占用过多的电子设备的存储容量，进而影响到电子设备的其他程序的运行流畅度，因此，实施该可选的实施例能够通过在确定出目标区域之后向服务器请求目标区域在三维地图中对应的交通场景的方法，降低三维地图对电子设备的存储空间的占用率，提高电子设备的运行效率。

103、电子设备采集车辆所在位置的环境图像。

本发明实施例中，可选的，电子设备采集车辆所在位置的环境图像的方式具体可以为：

电子设备通过单目摄像头基于所述车辆的朝向拍摄实时图像，作为所述车辆所在位置的环境图像。

需要说明的是，单目摄像头可以设置于车辆顶部也可以设置于车辆内部，本发明实施例不做限定。此外，车辆上设置的可以是单目摄像头，也可以是双目摄像头，本发明实施例不做限定。具体地，如果车辆上设置的是双目摄像头，则电子设备可以通过视差法计算两个摄像头分别采集到的图像之间的视差，实现车辆与前方目标物体之间的距离测量，进而实现对初始位姿信息的更新。可见，采用双目摄像头采集环境图像，无需建立庞大的样本特征数据库就能够实现对初始位姿信息的更新，降低研发成本。另外，采用单目摄像头采集车辆所在位置的环境图像的方法，能够进一步对环境图像做深度估计，获得车辆与前方目标物体之间的距离，这样能够提升测量前方目标物体与车辆之间距离的测量精度，进而提升车辆自动驾驶的安全性。

104、电子设备对环境图像进行语义特征分析，获得当前语义特征。

本发明实施例中，当前语义特征为环境图像中的交通要素，例如，车道线。

本发明实施例中，可选的，电子设备对环境图像进行语义特征分析，获得当前语义特征的方式具体可以为：电子设备根据预设语义特征库中的语义特征，识别环境图像中的当前语义特征。

105、电子设备比对当前语义特征与目标语义特征，获得比对结果。

本发明实施例中，可选的，电子设备比对当前语义特征与目标语义特征，获得比对结果的方式具体可以为：

电子设备根据比对当前语义特征与目标语义特征，确定出车辆实时所在位置；其中，车辆实时所在位置的定位精确程度高于车辆当前所在位置的定位精确程度；目标语义特征的总数量大于当前语义特征的总数量；

电子设备确定与环境图像拍摄时间相邻的某个拍摄时间对应的目标图像；其中，某个拍摄时间早于环境图像的拍摄时间；

电子设备确定出目标图像中的语义特征，并判断当前语义特征与目标图像中的语义特征是否存在相同的语义特征；其中，目标语义特征包括目标图像中的语义特征；

如果存在相同的语义特征，电子设备从相同的语义特征中任意确定一个语义特征作为某个语义特征；

电子设备将环境图像中的某个语义特征和目标图像中的某个语义特征进行比对，确定出车辆与某个语义特征的距离，并将车辆实时所在位置和车辆与某个语义特征的距离作为比对结果。

需要说明的是，比对结果还可以包括车辆与相同的语义特征中每个语义特征的距离。

可见，本发明实施例能够根据确定出的车辆和语义特征的距离，优化初始位姿信息得到更为精准的当前位姿信息，以提高车辆自动驾驶的安全性。

106、电子设备根据比对结果更新初始位姿信息，将更新后的初始位姿信息作为车辆的当前位姿信息。

本发明实施例中，当前位姿信息的定位精准程度高于初始位姿信息的定位精准程度。此外，初始位姿信息还可以包括由轮速计测量得到的车轮转速以及采集到的环境图像中的语义特征与车辆的距离。

可见，实施图1所描述的方法，能够提高对车辆的定位准确度，进而提高车辆自动驾驶的安全性；此外，还能够降低三维地图对电子设备的存储空间的占用率，进而提高电子设备的运行效率。

实施例二

请参阅图2，图2是本发明实施例公开的另一种基于视觉感知的车辆定位方法的流程示意图。如图2所示，该基于视觉感知的车辆定位方法可以包括以下步骤：

201、电子设备获取车辆的初始位姿信息；其中，初始位姿信息至少包括车辆所在位置的经度、纬度和海拔高度、以及车辆的航向角、俯仰角和横滚角。

202、电子设备根据初始位姿信息从三维地图中确定出目标区域；其中，目标区域是以车辆所在位置为圆心且以预设长度为半径的区域。

203、电子设备判断目标区域中是否存在目标语义特征，如果存在，则执行步骤205，如果不存在，则执行步骤204。

本发明实施例中，如果电子设备判断出目标区域中不存在目标语义特征，则不能进行进一步的自动驾驶控制操作，可选的，在步骤204之前，电子设备还可以输出用于表示在当前地形中无法执行自动驾驶操作的提示信息，并在输出提示信息之后再执行步骤204。

204、电子设备将车辆的当前驾驶模式由自动驾驶模式转换为手动驾驶模式。

205、电子设备确定目标语义特征并采集车辆所在位置的环境图像。

在图2中，该基于视觉感知的车辆定位方法还可以包括以下步骤：

步骤206～步骤208，针对步骤206～步骤208的描述，请参照实施例一中针对步骤104～步骤106的详细描述，本发明实施例不再赘述。

作为一种可选的实施方式，电子设备对环境图像进行语义特征分析，获得当前语义特征，可以包括以下步骤：

电子设备通过卷积神经网络对环境图像进行特征提取，获得目标特征图；其中，目标特征图中包括多个特征；

电子设备从目标特征图中确定出候选框，并对候选框进行分类操作和回归操作，获得待识别图像；其中，每个候选框中包括的特征为同一类别特征；

电子设备通过残差网络从待识别图像中确定出当前语义特征。

需要说明的是，上述的目标特征图中的特征可以为像素点，以及上述的候选框中的所有像素点的颜色相似度均大于预设相似度。

进一步地，电子设备通过卷积神经网络对环境图像进行特征提取，获得目标特征图的方式具体可以为：通过卷积神经网络对环境图像依次进行卷积操作、上采样操作以及池化操作，获得目标特征图。

可见，实施该可选的实施方式，能够通过卷积神经网络获得目标特征图，进而提高对当前语义特征的识别准确率。

作为另一种可选的实施方式，电子设备比对当前语义特征与目标语义特征，获得比对结果，可以包括以下步骤：

电子设备确定当前语义特征在环境图像中对应的当前参数和目标语义特征在三维地图中对应的目标参数；

电子设备比对当前参数和目标参数，获得当前语义特征与目标语义特征之间的重投影误差。

电子设备根据非线性优化算法优化重投影误差。

电子设备将优化后的重投影误差作为当前语义特征和目标语义特征的比对结果。

举例来说，如果当前语义特征和目标语义特征均为矩形交通标志牌时，则当前参数为环境图像中矩形交通标志牌对应的长度值和宽度值，目标参数为三维地图中矩形交通标志牌对应的长度值和宽度值。

可见，实施该另一种可选的实施方式，能够通过将当前语义特征与目标语义特征的比对，进而实现对初始位姿信息的更新，以提高车辆自动驾驶的安全性。

可见，实施图2所描述的方法，能够提高对车辆的定位准确度，进而提高车辆自动驾驶的安全性；此外，还能够降低三维地图对电子设备的存储空间的占用率，进而提高电子设备的运行效率。

实施例三

请参阅图3，图3是本发明实施例公开的一种电子设备的结构示意图。如图3所示，该电子设备可以包括：获取单元301、确定单元302、采集单元303、语义特征分析单元304、比对单元305以及更新单元306，其中：

获取单元301，用于获取车辆的初始位姿信息；其中，初始位姿信息至少包括车辆所在位置的经度、纬度和海拔高度、以及车辆的航向角、俯仰角和横滚角。

本发明实施例中，可选的，获取单元301获取车辆的初始位姿信息的方式具体可以为：

获取单元301根据组合导航确定车辆的初始位姿信息；其中，组合导航至少包括全球定位系统(Global Positioning System，GPS)和测量单元(Inertial measurementunit，IMU)。需要说明的是，上述的GPS用于测量车辆所在位置的经度、纬度和海拔高度，上述的IMU用于测量车辆的航向角、俯仰角和横滚角。

可见，实施本发明实施例，能够通过结合GPS和IMU作为组合导航的方式，解决由于GPS测量到的数据准确性较高，但是更新频率较低(例如，10Hz)，而IMU的更新频率较高(例如，100Hz)，但是测量误差却会随着时间的增长而变大的问题，以实现对车辆的定位信息进行高频率的修正，以及提高确定出的车辆的初始位姿信息的准确性。

进一步地，组合导航还可以包括无线电导航系统、天文导航系统以及卫星导航系统中至少一种，以进一步提高确定出的车辆的初始位姿信息的准确性。

确定单元302，用于根据初始位姿信息从预设的三维地图中确定出目标区域以及目标区域中的目标语义特征；其中，目标区域是以车辆所在位置为圆心且以预设长度为半径的区域。

本发明实施例中，预设的三维地图可以是高精度地图。其中，高精度地图也可以被称为高分辨率地图(High Definition Map，HD Map)，是一种专门服务于车辆自动驾驶的地图。HD Map中存储着交通场景中的各种交通要素，例如，道路网络数据、车道网络数据、车道线数据以及交通标志数据等数据，以辅助车辆实现自动驾驶。另外，高精度地图还可以包括先验信息，例如，道路的曲率、航向、坡度以及横坡角，以使得电子设备通过这些先验信息对车辆进行自动驾驶控制，进而提高车辆的安全性和舒适性。

本发明实施例中，可选的，确定单元302根据初始位姿信息从预设的三维地图中确定出目标区域以及目标区域中的目标语义特征的方式具体可以为：

确定单元302根据初始位姿信息从预设的三维地图中确定出目标区域，并向服务器发送三维场景重建请求，以使得服务器向电子设备返回目标区域在三维地图中对应的交通场景；其中，交通场景包括目标区域中所有的目标语义特征。

需要说明的是，上述的目标语义特征可以是：车道线、交通信号灯或者交通标志牌等交通要素。此外，由于三维地图如果存储在电子设备中会占用过多的电子设备的存储容量，进而影响到电子设备的其他程序的运行流畅度，因此，实施该可选的实施例能够通过在确定出目标区域之后向服务器请求目标区域在三维地图中对应的交通场景的方法，降低三维地图对电子设备的存储空间的占用率，提高电子设备的运行效率。

本发明实施例中，在确定单元302根据初始位姿信息从预设的三维地图中确定出目标区域以及目标区域中的目标语义特征之后，触发采集单元303启动。

采集单元303，用于采集车辆所在位置的环境图像。

本发明实施例中，可选的，采集单元303采集车辆所在位置的环境图像的方式具体可以为：

采集单元303通过单目摄像头基于所述车辆的朝向拍摄实时图像，作为所述车辆所在位置的环境图像。

需要说明的是，单目摄像头可以设置于车辆顶部也可以设置于车辆内部，本发明实施例不做限定。此外，车辆上设置的可以是单目摄像头，也可以是双目摄像头，本发明实施例不做限定。具体地，如果车辆上设置的是双目摄像头，则采集单元303可以通过视差法计算两个摄像头分别采集到的图像之间的视差，实现车辆与前方目标物体之间的距离测量，进而实现对初始位姿信息的更新。可见，采用双目摄像头采集环境图像，无需建立庞大的样本特征数据库就能够实现对初始位姿信息的更新，降低研发成本。另外，采用单目摄像头采集车辆所在位置的环境图像的方法，能够进一步对环境图像做深度估计，获得车辆与前方目标物体之间的距离，这样能够提升测量前方目标物体与车辆之间距离的测量精度，进而提升车辆自动驾驶的安全性。

语义特征分析单元304，用于对环境图像进行语义特征分析，获得当前语义特征。

本发明实施例中，当前语义特征为环境图像中的交通要素，例如，车道线。

本发明实施例中，可选的，语义特征分析单元304对环境图像进行语义特征分析，获得当前语义特征的方式具体可以为：语义特征分析单元304根据预设语义特征库中的语义特征，识别环境图像中的当前语义特征。

比对单元305，用于比对当前语义特征与目标语义特征，获得比对结果。

本发明实施例中，可选的，比对单元305比对当前语义特征与目标语义特征，获得比对结果的方式具体可以为：

比对单元305根据比对当前语义特征与目标语义特征，确定出车辆实时所在位置；其中，车辆实时所在位置的定位精确程度高于车辆当前所在位置的定位精确程度；目标语义特征的总数量大于当前语义特征的总数量；

比对单元305确定与环境图像拍摄时间相邻的某个拍摄时间对应的目标图像；其中，某个拍摄时间早于环境图像的拍摄时间；

比对单元305确定出目标图像中的语义特征，并判断当前语义特征与目标图像中的语义特征是否存在相同的语义特征；其中，目标语义特征包括目标图像中的语义特征；

如果存在相同的语义特征，比对单元305从相同的语义特征中任意确定一个语义特征作为某个语义特征；

比对单元305将环境图像中的某个语义特征和目标图像中的某个语义特征进行比对，确定出车辆与某个语义特征的距离，并将车辆实时所在位置和车辆与某个语义特征的距离作为比对结果。

需要说明的是，比对结果还可以包括车辆与相同的语义特征中每个语义特征的距离。

可见，本发明实施例能够根据确定出的车辆和语义特征的距离，优化初始位姿信息得到更为精准的当前位姿信息，以提高车辆自动驾驶的安全性。

更新单元306，用于根据比对结果更新初始位姿信息，将更新后的初始位姿信息作为车辆的当前位姿信息。

本发明实施例中，当前位姿信息的定位精准程度高于初始位姿信息的定位精准程度。此外，初始位姿信息还可以包括由轮速计测量得到的车轮转速以及采集到的环境图像中的语义特征与车辆的距离。

可见，实施图3所描述的电子设备，能够提高对车辆的定位准确度，进而提高车辆自动驾驶的安全性；此外，还能够降低三维地图对电子设备的存储空间的占用率，进而提高电子设备的运行效率。

实施例四

请参阅图4，图4是本发明实施例公开的另一种电子设备的结构示意图。其中，图4所示的电子设备是由图3所示的电子设备进行优化得到的。与图3所示的电子设备相比较，图4所示的电子设备中，语义特征分析单元304，可以包括特征提取子单元3041、第一确定子单元3042以及分类回归子单元3043，其中：

本发明实施例中，在采集单元303采集车辆所在位置的环境图像之后，触发特征提取子单元3041启动。

特征提取子单元3041，用于通过卷积神经网络对环境图像进行特征提取，获得目标特征图；其中，目标特征图中包括多个特征。

第一确定子单元3042，用于从目标特征图中确定出候选框；其中，每个候选框中包括的特征为同一类别特征。

分类回归子单元3043，用于对候选框进行分类操作和回归操作，获得待识别图像。

第一确定子单元3042，还用于通过残差网络从待识别图像中确定出当前语义特征。

本发明实施例中，在第一确定子单元3042通过残差网络从待识别图像中确定出当前语义特征之后，触发比对单元305执行比对当前语义特征与目标语义特征，获得比对结果的操作。

作为一种可选的实施方式，特征提取子单元3041通过卷积神经网络对环境图像进行特征提取，获得目标特征图的方式具体可以为：通过卷积神经网络对环境图像依次进行卷积操作、上采样操作以及池化操作，获得目标特征图。

需要说明的是，上述的目标特征图中的特征可以为像素点，以及上述的候选框中的所有像素点的颜色相似度均大于预设相似度。

可见，实施图4所描述的电子设备，能够提高对车辆的定位准确度，进而提高车辆自动驾驶的安全性；此外，还能够降低三维地图对电子设备的存储空间的占用率，进而提高电子设备的运行效率。

实施例五

请参阅图5，图5是本发明实施例公开的又一种电子设备的结构示意图。其中，图5所示的电子设备是由图4所示的电子设备进行优化得到的。与图4所示的电子设备相比较，图5所示的电子设备中，比对单元305，可以包括第二确定子单元3051、比对子单元3052、优化子单元3053以及比对结果确定子单元3054，其中：

本发明实施例中，在第一确定子单元3042通过残差网络从待识别图像中确定出当前语义特征之后，触发第二确定子单元3051启动。

第二确定子单元3051，用于确定当前语义特征在环境图像中对应的当前参数和目标语义特征在三维地图中对应的目标参数。

比对子单元3052，用于比对当前参数和目标参数，获得当前语义特征与目标语义特征之间的重投影误差。

优化子单元3053，用于根据非线性优化算法优化重投影误差。

比对结果确定子单元3054，用于将优化后的重投影误差作为当前语义特征和目标语义特征的比对结果。

本发明实施例中，在比对结果确定子单元3054将优化后的重投影误差作为当前语义特征和目标语义特征的比对结果之后，触发更新单元306执行根据比对结果更新初始位姿信息，将更新后的初始位姿信息作为车辆的当前位姿信息的操作。

确定单元302，可以包括第三确定子单元3021、判断子单元3022以及转换子单元3023，其中：

第三确定子单元3021，用于根据初始位姿信息从三维地图中确定出目标区域。

本发明实施例中，在获取单元301获取车辆的初始位姿信息之后，触发第三确定子单元3021执行根据初始位姿信息从三维地图中确定出目标区域的操作。

判断子单元3022，用于判断目标区域中是否存在目标语义特征。

本发明实施例中，如果判断出目标区域中不存在目标语义特征，则不能进行进一步的自动驾驶控制操作，可选的，转换子单元3023，还可以用于在将车辆的当前驾驶模式由自动驾驶模式转换为手动驾驶模式之前，输出用于表示在当前地形中无法执行自动驾驶操作的提示信息。

第三确定子单元3021，还用于在判断子单元3022判断出目标区域中存在目标语义特征之后，确定目标语义特征。

采集单元303，具体用于在第三确定子单元3021确定目标语义特征之后，采集车辆所在位置的环境图像的操作。

转换子单元3023，用于在判断子单元3022判断出目标区域中不存在目标语义特征之后，将车辆的当前驾驶模式由自动驾驶模式转换为手动驾驶模式。

可见，实施图5所描述的电子设备，能够提高对车辆的定位准确度，进而提高车辆自动驾驶的安全性；此外，还能够降低三维地图对电子设备的存储空间的占用率，进而提高电子设备的运行效率。

实施例六

请参阅图6，图6是本发明实施例公开的又一种电子设备的结构示意图。如图6所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

参考图6，电子设备包括：射频(Radio Frequency，RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(wireless fidelity，WiFi)模块670、处理器680、电源690以及摄像头(未图示)等部件。本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图6对电子设备的各个构成部件进行具体的介绍：

RF电路610可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器680处理；另外，将设计上行的数据发送给基站。通常，RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器620可用于存储可执行程序代码，处理器680通过运行存储在存储器620的可执行程序代码，从而执行电子设备的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

上述存储器620包括只读存储器(Read-Only Memory，ROM)、随机存储器(RandomAccess Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

输入单元630可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，输入单元630可包括触控面板631以及其他输入设备632。触控面板631，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元640可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种菜单。显示单元640可包括显示面板641，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板641。进一步的，触控面板631可覆盖显示面板641，当触控面板631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中，触控面板631与显示面板641是作为两个独立的部件来实现电子设备的输入和输入功能，但是在某些实施例中，可以将触控面板631与显示面板641集成而实现电子设备的输入和输出功能。

电子设备还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在电子设备移动到耳边时，关闭显示面板641和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路660、扬声器661，传声器662可提供用户与电子设备之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610以发送给比如另一电子设备，或者将音频数据输出至存储器620以便进一步处理。

WiFi属于短距离无线传输技术，电子设备通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块670，但是可以理解的是，其并不属于电子设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器680是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器680可包括一个或多个处理单元；优选的，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。

电子设备还包括给各个部件供电的电源690(比如电池)，优选的，电源可以通过电源管理系统与处理器680逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，电子设备还可以包括蓝牙模块等，在此不再赘述。

在本发明实施例中，该电子设备所包括的处理器680调用存储在存储器620内的软件程序具体执行以下操作：

获取车辆的初始位姿信息；其中，初始位姿信息至少包括车辆所在位置的经度、纬度和海拔高度、以及车辆的航向角、俯仰角和横滚角；

根据初始位姿信息从预设的三维地图中确定出目标区域以及目标区域中的目标语义特征；其中，目标区域是以车辆所在位置为圆心且以预设长度为半径的区域；

采集车辆所在位置的环境图像；

对环境图像进行语义特征分析，获得当前语义特征；

比对当前语义特征与目标语义特征，获得比对结果；

根据比对结果更新初始位姿信息，将更新后的初始位姿信息作为车辆的当前位姿信息。

可见，实施图6所描述的电子设备能够提高对车辆的定位准确度，进而提高车辆自动驾驶的安全性。

本发明实施例还公开了一种计算机可读存储介质，其存储计算机程序，其中，计算机程序使得计算机执行本发明实施例一～实施例二公开的一种基于视觉感知的车辆定位方法。

本发明实施例还公开了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例一～实施例二公开的一种基于视觉感知的车辆定位方法。

以上对本发明实施例公开的一种基于视觉感知的车辆定位方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

在上述实施例中，可全部或部分地通过软件、硬件、固件或其任意组合来实现。当使用软件实现时，可全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴光缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(磁性介质例如可以是软盘、硬盘、磁带)、光介质(例如光盘)、或半导体介质(例如固态硬盘)等。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可以通过其它的方式来实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或者讨论的相互之间的耦合或直接耦合或通信连接可以通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的全部或部分步骤。

以上所述，以上实施例仅用以说明本申请的技术方案而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，然而本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于视觉感知的车辆定位方法，其特征在于，所述方法包括：

获取所述车辆的初始位姿信息；其中，所述初始位姿信息至少包括所述车辆所在位置的经度、纬度和海拔高度、以及所述车辆的航向角、俯仰角和横滚角；

根据所述初始位姿信息从预设的三维地图中确定出目标区域以及所述目标区域中的目标语义特征；其中，所述目标区域是以所述车辆所在位置为圆心且以预设长度为半径的区域；

采集所述车辆所在位置的环境图像；

对所述环境图像进行语义特征分析，获得当前语义特征；

比对所述当前语义特征与所述目标语义特征，获得比对结果；

根据所述比对结果更新所述初始位姿信息，将更新后的初始位姿信息作为所述车辆的当前位姿信息，其中，所述根据所述初始位姿信息从预设的三维地图中确定出目标区域以及所述目标区域中的目标语义特征的步骤，包括：

根据初始位姿信息从预设的三维地图中确定出目标区域，并向服务器发送三维场景重建请求，以使得服务器向电子设备返回目标区域在三维地图中对应的交通场景；其中，交通场景包括目标区域中所有的目标语义特征。

2.根据权利要求1所述的方法，其特征在于，所述的对所述环境图像进行语义特征分析，获得当前语义特征，包括：

通过卷积神经网络对所述环境图像进行特征提取，获得目标特征图；其中，所述目标特征图中包括多个特征；

从所述目标特征图中确定出候选框，并对所述候选框进行分类操作和回归操作，获得待识别图像；其中，每个所述候选框中包括的特征为同一类别特征；

通过残差网络从所述待识别图像中确定出所述当前语义特征。

3.根据权利要求2所述的方法，其特征在于，所述的通过卷积神经网络对所述环境图像进行特征提取，获得目标特征图，包括：

通过所述卷积神经网络对所述环境图像依次进行卷积操作、上采样操作以及池化操作，获得目标特征图。

4.根据权利要求2所述的方法，其特征在于，所述的比对所述当前语义特征与所述目标语义特征，获得比对结果，包括：

确定所述当前语义特征在所述环境图像中对应的当前参数和所述目标语义特征在所述三维地图中对应的目标参数；

比对所述当前参数和所述目标参数，获得所述当前语义特征与所述目标语义特征之间的重投影误差；

根据非线性优化算法优化所述重投影误差；

将优化后的重投影误差作为所述当前语义特征和所述目标语义特征的所述比对结果。

5.根据权利要求1～4任一项所述的方法，其特征在于，所述的采集所述车辆所在位置的环境图像的方式具体为：通过单目摄像头基于所述车辆的朝向拍摄实时图像，作为所述车辆所在位置的环境图像。

6.一种电子设备，其特征在于，所述电子设备包括：

获取单元，用于获取车辆的初始位姿信息；其中，所述初始位姿信息至少包括所述车辆所在位置的经度、纬度和海拔高度、以及所述车辆的航向角、俯仰角和横滚角；

确定单元，用于根据所述初始位姿信息从预设的三维地图中确定出目标区域以及所述目标区域中的目标语义特征；其中，所述目标区域是以所述车辆所在位置为圆心且以预设长度为半径的区域；

采集单元，用于采集所述车辆所在位置的环境图像；

语义特征分析单元，用于对所述环境图像进行语义特征分析，获得当前语义特征；

比对单元，用于比对所述当前语义特征与所述目标语义特征，获得比对结果；

更新单元，用于根据所述比对结果更新所述初始位姿信息，将更新后的初始位姿信息作为所述车辆的当前位姿信息，其中，所述确定单元，具体用于根据初始位姿信息从预设的三维地图中确定出目标区域，并向服务器发送三维场景重建请求，以使得服务器向电子设备返回目标区域在三维地图中对应的交通场景；其中，交通场景包括目标区域中所有的目标语义特征。

7.根据权利要求6所述的电子设备，其特征在于，所述语义特征分析单元，包括：

特征提取子单元，用于通过卷积神经网络对所述环境图像进行特征提取，获得目标特征图；其中，所述目标特征图中包括多个特征；

第一确定子单元，用于从所述目标特征图中确定出候选框；其中，每个所述候选框中包括的特征为同一类别特征；

分类回归子单元，用于对所述候选框进行分类操作和回归操作，获得待识别图像；

所述第一确定子单元，还用于通过残差网络从所述待识别图像中确定出所述当前语义特征。

8.根据权利要求7所述的电子设备，其特征在于，所述特征提取子单元通过卷积神经网络对所述环境图像进行特征提取，获得目标特征图的方式具体为：通过所述卷积神经网络对所述环境图像依次进行卷积操作、上采样操作以及池化操作，获得目标特征图。

9.根据权利要求7所述的电子设备，其特征在于，所述比对单元，包括：

第二确定子单元，用于确定所述当前语义特征在所述环境图像中对应的当前参数和所述目标语义特征在所述三维地图中对应的目标参数；

比对子单元，用于比对所述当前参数和所述目标参数，获得所述当前语义特征与所述目标语义特征之间的重投影误差；

优化子单元，用于根据非线性优化算法优化所述重投影误差；

比对结果确定子单元，用于将优化后的重投影误差作为所述当前语义特征和所述目标语义特征的所述比对结果。

10.根据权利要求6～9任一项所述的电子设备，其特征在于，所述采集单元采集所述车辆所在位置的环境图像的方式具体为：所述采集单元通过单目摄像头基于所述车辆的朝向拍摄实时图像，作为所述车辆所在位置的环境图像。

Images