CN111721305B

CN111721305B - 定位方法和装置、自动驾驶车辆、电子设备和存储介质

Info

Publication number: CN111721305B
Application number: CN202010596114.2A
Authority: CN
Inventors: 丁文东; 芮晓飞; 王刚; 宋适宇
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-06-28
Filing date: 2020-06-28
Publication date: 2022-07-22
Anticipated expiration: 2040-06-28
Also published as: CN111721305A

Abstract

本申请实施例公开了定位方法和装置、自动驾驶车辆、电子设备和存储介质，涉及自动驾驶技术领域，包括：获取车辆位姿信息，车辆位姿信息包括在当前帧图像开始曝光时所采集的位姿信息、以及在当前帧图像结束曝光时所采集的位姿信息，根据车辆位姿信息、当前帧图像以及当前帧图像的前一帧图像，生成定位信息，根据定位信息控制自动驾驶车辆进行行驶，通过对当前帧图像开始曝光时自动驾驶车辆的位姿信息进行采集，并对当前帧图像结束曝光时自动驾驶车辆的位姿信息进行采集，以便通过车辆位姿信息弥补，由于图像失真而造成的无法准确对自动驾驶车辆进行定位的问题，从而实现对自动驾驶车辆进行准确定位，进而实现自动驾驶车辆安全且可靠地驾驶。

Description

定位方法和装置、自动驾驶车辆、电子设备和存储介质

技术领域

本申请实施例涉及计算机技术，尤其涉及自动驾驶技术领域，具体涉及一种定位方法和装置、自动驾驶车辆、电子设备和存储介质。

背景技术

随着自动驾驶技术的发展，如何实现对车辆的精确定位，以确保车辆的和行人的安全成了亟待解决的问题。

在现有技术中，自动驾驶车辆的定位方法主要基于视觉里程计实现，而现有的视觉里程计可通过相机拍摄的帧图像完成定位，如通过按顺序增加的方式读取行图像，累计帧间的运动估计当前时刻的位姿。

然而发明人在实现本提案中，发现至少存在以下问题：在自动驾驶车辆行驶过程中，通过相机获取到的图像容易发生失真，因此，通过图像对自动驾驶车辆进行定位容易造成准确度偏低。

发明内容

提供了一种用于精确定位的定位方法和装置、自动驾驶车辆、电子设备和存储介质。

根据第一方面，提供了一种定位方法，所述方法包括：

获取传感器采集的车辆位姿信息，其中，所述车辆位姿信息包括在当前帧图像开始曝光时所采集的位姿信息、以及在所述当前帧图像结束曝光时所采集的位姿信息；

根据所述车辆位姿信息、所述当前帧图像以及所述当前帧图像的前一帧图像，生成定位信息；

根据所述定位信息控制自动驾驶车辆进行行驶。

在本申请实施例中，通过对当前帧图像开始曝光时自动驾驶车辆的位姿信息进行采集，并对当前帧图像结束曝光时自动驾驶车辆的位姿信息进行采集，即通过采集车辆位姿信息，以便通过车辆位姿信息弥补，由于图像失真而造成的无法准确对自动驾驶车辆进行定位的问题，从而实现对自动驾驶车辆进行准确定位，进而实现自动驾驶车辆安全且可靠地驾驶。

根据第二方面，提供了一种定位装置，所述装置包括：

获取模块，用于获取传感器采集的车辆位姿信息，其中，所述车辆位姿信息包括在当前帧图像开始曝光时所采集的位姿信息、以及在当前帧图像结束曝光时所采集的位姿信息；

生成模块，用于根据所述车辆位姿信息、所述当前帧图像以及所述当前帧图像的前一帧图像，生成定位信息；

控制模块，用于根据所述定位信息控制自动驾驶车辆进行行驶。

根据第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一实施例所述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上任一实施例所述的方法。

根据第五方面，提供了一种自动驾驶车辆，包括：如上实施例所述的定位装置，或者，如上实施例所述的电子设备。

根据第六方面，提供了一种定位方法，所述方法包括：

根据车辆位姿信息、当前帧图像以及当前帧图像的前一帧图像，生成定位信息，其中，所述车辆位姿信息包括在所述当前帧图像开始曝光时所采集的位姿信息、以及在所述当前帧图像结束曝光时所采集的位姿信息。

根据本申请的第七方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本申请实施例的技术方案，解决了相关技术中，通过相机进行定位时，由于图像失真造成的定位信息不准确的弊端，实现了准确定位，从而实现了自动驾驶车辆安全且可靠的驾驶的技术效果。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请一个实施例的应用场景示意图；

图2为本申请另一个实施例的应用场景示意图；

图3为本申请一个实施例的定位方法的流程示意图；

图4为本申请另一实施例的定位方法的流程示意图；

图5为本申请的根据变换矩阵、当前帧图像的图像属性信息和前一帧图像的图像属性信息，生成定位信息的方法的流程示意图；

图6为本申请又一实施例的定位方法流程示意图；

图7为本申请实施例的定位装置的示意图；

图8为本申请实施例的电子设备的框图。

具体实施方式

以下结合附图对本申请实施例的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请实施例的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请实施例的定位方法可以应用于自动驾驶车辆。请参阅图1，图1为本申请一个实施例的定位方法的应用场景示意图。

如图1所示的应用场景，自动驾驶车辆100行驶于直行的道路上，自动驾驶车辆100包括用于对自动驾驶车辆100的位置信息进行采集的传感器(图中未示出)，也包括对自动驾驶车辆100的位置信息进行采集的相机(图中未示出)，还包括对自动驾驶车辆的位置信息进行处理的处理器(图中未示出)，处理器可执行本申请实施例的定位方法，以便确定自动驾驶车辆100对应的定位信息，并根据定位信息控制自动驾驶车辆100进行行驶。

其中，控制自动驾驶车辆100进行行驶用于表征控制自动驾驶车辆对驾驶策略的调整，并可基于调整后的驾驶策略行驶。驾驶策略用于表征自动驾驶车辆的行驶状态，驾驶策略包括减速、停车、加速和转弯等。

例如，当自动驾驶车辆遇到红灯时，则处理器可控制自动驾驶车辆将直行的驾驶策略调整为减速的驾驶策略，或者将直行的驾驶策略调整为停车的驾驶策略；当自动驾驶车辆前面的车加速行驶，且自动驾驶车辆与前面的车的距离较远时，则处理器可以控制自动驾驶车辆将直行的驾驶策略调整为加速的驾驶策略，等等。

现结合图2对自动驾驶车辆的减速驾驶策略进行详细阐述。

如图2所示，自动驾驶车辆100与自动驾驶车辆200同向行驶，且行驶于同一车道。自动驾驶车辆100在确定出定位信息时，根据定位信息可知自动驾驶车辆100与自动驾驶车辆200的距离小于预设的安全阈值，则，处理器控制自动驾驶车辆100将匀速驾驶策略调整为减速驾驶策略，以避免自动驾驶车辆1和自动驾驶车辆2发生碰撞，从而确保自动驾驶车辆1和自动驾驶车辆2的行车安全。

在相关技术中，在对自动驾驶车辆进行定位时，主要采用相机完成定位，如通过累计帧间的运动以估计当前时刻的位姿。

然而，由于相机在获取图像的过程中，尤其当相机为卷帘快门相机时，图像中的每一行像素的曝光时间存在差异，因此，通过相关技术中的方案，容易造成估计得到的当前时刻的位姿的精度较低，即容易造成确定出的定位信息不准确的问题。

为了解决上述技术问题，本申请的发明人在经过创造性的劳动之后，得到了本申请的发明构思：尽量消除相机中各行像素的曝光时间的差异，从而得到精确度较高的定位信息。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

根据本申请实施例的一个方面，本申请实施例提供了一种定位方法，该定位方法可以应用于自动驾驶车辆。

请参阅图3，图3为本申请一个实施例的定位方法的流程示意图。

如图3所示，该方法包括：

S101：获取传感器采集的车辆位姿信息，其中，车辆位姿信息包括在当前帧图像开始曝光时所采集的位姿信息、以及在当前帧图像结束曝光时所采集的位姿信息。

其中，本申请实施例的执行主体可以为定位装置，定位装置具体可以为设置于自动驾驶车辆上的计算机、服务器、处理器、车载终端、远程信息处理器(车载T-BOX)和芯片(如嵌入式芯片)等。

例如，若本申请实施例的定位方法应用于如图1和图2所示的应用场景，则本申请实施例的定位方法的执行主体可以为处理器。

其中，传感器为设置于自动驾驶车辆上，用于对自动驾驶车辆的位姿信息(即车辆位姿信息)进行采集的装置，车辆位姿信息包括但不限于车辆的角度、位移、旋转、速度和方向。

在一些实施例中，传感器包括但不限于惯性测量单元、轮速计、雷达和相机。

在本申请实施例中，当前帧图像是由设置于自动驾驶车辆上的相机进行获取到的。即，在自动驾驶车辆在驾驶过程中，由相机对自动驾驶车辆的周围的环境进行图像采集，得到当前帧图像。

可以理解地是，由于本申请涉及多帧图像，如后文中将会提及的“前一帧图像”，为了对不同的帧图像进行区分，在“图像”之前用“当前帧”或者“前一帧”等对不同的帧图像加以区分。

值得说明地是，对于包括多行像素的某帧图像，每一行像素的曝光时间可能不相同，如第一行像素的曝光时间和第二行像素的曝光时间存在时间差。因此，该帧图像可能存在失真，而通过失真的图像确定自动驾驶车辆的定位信息时，可能导致定位信息不准确的问题。

而在本申请实施例中，由传感器对车辆位姿信息进行采集，且具体由传感器对当前帧图像开始曝光时自动驾驶车辆的位姿信息进行采集，并由传感器对当前帧图像结束曝光时自动驾驶车辆的位姿信息进行采集，以便后续基于车辆位姿信息对当前帧图像的失真情况进行弥补，相当于对基于发生失真的当前帧图像确定出的定位信息进行纠偏，从而得到准确的定位信息。

S102：根据车辆位姿信息、当前帧图像以及当前帧图像的前一帧图像，生成定位信息。

其中，定位信息可以用于表征自动驾驶车辆的位置相关的信息，如自动驾驶车辆的旋转和位移，还可以用于表征自动驾驶车辆与其人和/或物之间的位位置相关的信息，如自动驾驶车辆与其他车辆之间的距离，又如，自动驾驶车辆与行人之间的距离，其中，其他车辆和行人分别位于当前帧图像中。

可以理解地是，相机或者处理器可以对多帧图像进行存储，因此，在该步骤中，当采集到车辆位姿信息和当前帧图像时，可以从存储的多帧图像中选取前一帧图像，以便根据三个维度的信息对定位信息进行确定。其中，此处的前一帧图像是相对于当前帧图像而言的，可参见上述中的解释，此处不再赘述。

S103：根据定位信息控制自动驾驶车辆进行行驶。

在该步骤中，当确定出定位信息之后，可以对自动驾驶车辆的驾驶策略进行调整，如图1中所示，根据定位信息控制自动驾驶车辆的驾驶策略由直行驾驶策略调整至左转弯驾驶策略，从而使得自动驾驶车辆安全且可靠地驾驶；或者图2所示，根据定位信息控制自动驾驶车辆的驾驶策略由匀速匀速驾驶策略调整为减速驾驶策略，以避免两辆自动驾驶车辆发生碰撞，从而确保两辆自动驾驶车辆的行车安全。

基于上述分析可知，本申请实施例提供了一种定位方法，该定位方法可以应用于自动驾驶车辆，该方法包括：获取传感器采集的车辆位姿信息，其中，车辆位姿信息包括在当前帧图像开始曝光时所采集的位姿信息、以及在当前帧图像结束曝光时所采集的位姿信息，根据车辆位姿信息、当前帧图像以及当前帧图像的前一帧图像，生成定位信息，根据定位信息控制自动驾驶车辆进行行驶，通过对当前帧图像开始曝光时自动驾驶车辆的位姿信息进行采集，并对当前帧图像结束曝光时自动驾驶车辆的位姿信息进行采集，即通过采集车辆位姿信息，以便通过车辆位姿信息弥补，由于图像失真而造成的无法准确对自动驾驶车辆进行定位的问题，从而实现对自动驾驶车辆进行准确定位，进而实现自动驾驶车辆安全且可靠地驾驶。

为使读者更清楚地明白基于车辆位姿信息对失真图像(即当前帧图像)进行弥补，从而生成更为准确的定位信息，现结合图4进行详细地阐述。其中，图4为本申请另一实施例的定位方法的流程示意图。

如图4所示，该方法包括：

S201：获取传感器采集的车辆位姿信息，其中，车辆位姿信息包括在当前帧图像开始曝光时所采集的位姿信息、以及在当前帧图像结束曝光时所采集的位姿信息。

其中，关于S201的描述可参见S101，此处不再赘述。

在一些实施例中，在当前帧图像开始曝光时所采集的位姿信息可以用于表征，当前帧图像中的每一行像素开始曝光时采集的位姿信息；在当前帧图像结束曝光时所采集的位姿信息可以用于表征，当前帧图像中的每一行像素结束曝光时采集的位姿信息。

S202：根据车辆位姿信息和当前帧图像的图像属性信息，确定变换矩阵，其中，变换矩阵表征出车辆位姿信息对当前帧图像的图像属性信息的纠正，当前帧图像和前一帧图像为卷帘快门相机所采集的。

值得说明地是，本申请实施例的方法可以适用于各种对图像进行采集的相机，且尤其适用于卷帘快门相机。

在相关技术中，为了提高对自动驾驶车辆的定位的精度，更加倾向于采用如全局快门等相机对自动驾驶车辆的周围环境进行采集，即更加倾向于采用全局快门相机对当前帧图像进行采集。

由于全局快门相对于卷帘快门相机而言，造成图像失真的概率会减小，或者说，造成图像失真的强度会减小，因此，本申请实施例的方法更适合应用于卷帘快门相机。但是，如上文描述，本申请实施例的方法也可以应用于其他类型的相机。

需要情调地是，由于全局快门的成本偏高，而卷帘快门的成本相对较低，因此，在卷帘快门相机的基础上，结合本申请实施例的方法，可以实现节约成本，提高定位精度的技术效果。

其中，图像属性信息用于表征图像的行信息、像素信息和坐标信息，例如图像的行信息(如图像共包括多少行的像素)，图像中各像素点的坐标信息，图像中各像素点所在行数位置(如图像中某一像素点位于图像的第多少行)，等等。

因此，在本申请实施例中，当前帧图像的图像属性信息包括：当前帧图像的行信息(如当前帧图像共包括多少行的像素)，当前帧图像中各像素点的坐标信息，当前帧图像中各像素点所在行数位置(如当前帧图像中某一像素点位于当前帧图像的第多少行)，等等。

同理，在本申请实施例中，前一帧图像的图像属性信息包括：前一帧图像的行信息(如前一帧图像共包括多少行的像素)，前一帧图像中各像素点的坐标信息，前一帧图像中各像素点所在行数位置(如前一帧图像中某一像素点位于前一帧图像的第多少行)，等等。

在一些实施例中，车辆位姿信息包括航向角。

一般而言，自动驾驶车辆的运动，尤其是旋转运动(如自动驾驶车辆转弯)，主要位姿体现在航向角的变化，因此，在本申请实施例中，车辆位姿信息包括航向角。

也就是说，在本申请实施例中，通过将航向角确定为车辆位姿信息，避免了其他位姿信息的干扰，减少了后续的计算量，从而实现了节约计算成本，且提高确定定位信息的效率。

在一些实施例中，可以基于当前帧图像的图像属性信息对航向角进行线性插值，以提高变换矩阵的可靠性。

在一些实施例中，从开始拍摄(即像素的行数为0行)至第r行像素的变换矩阵

可通过式1进行表示，式1：

其中，Z为相机坐标系与图像坐标系之间的映射关系，r为当前帧图像上的第r行像素，θ_s为当前帧图像的结束曝光时刻的航向角，θ₀为当前帧图像的开始曝光时刻的航向角，N为当前帧图像的总的行像素的数量。

在该步骤中，通过引入变换矩阵，以便通过变换矩阵对失真的当前帧图像的图像属性信息进行纠正，可以避免因失真造成的定位信息不准确的问题，因此，在当前帧图像的图像属性信息相对精准的情况下，可以实现相对精准的对自动驾驶车辆的定位，从而提高定位的准确性和可靠性的技术效果。

S203：根据变换矩阵、当前帧图像的图像属性信息和前一帧图像的图像属性信息，生成定位信息。

值得说明地是，为了确保对自动驾驶车辆定位的准确性和可靠性，一般而言，会在图像中选择至少一个像素点，将至少一个像素点作为特征点，以便直接基于特征点进行相应的计算，从而实现定位。可以理解为，在图像中选择一个用于作为定位计算的参考点，对该参考点进行追踪，根据该参考点的特征信息进行计算，从而避免由于像素点较多，使得定位计算过程复杂的问题。

在本申请实施例中，可以优先选择预设特征点作为后续定位计算的点。

在一些实施例中，预设特征点是基于当前帧图像中各点与中心点的距离选取的，且预设特征点与中心点的距离最小。

其中，当前帧图像中各点是指组成当前帧图像的各像素点，中心点是指当前帧图像的各像素点的中心点，其中，中心点位于当前帧图像的中心位置。

具体地，可分别计算当前帧图像中各点与中心点的距离，距离越小，则说明与中心点的距离越近，而确定某图像的中心点相对比较快捷，因此，选取与中心点的距离最近的点作为预设特征点，可以提高选取的效率，节约时间成本。

在一些实施例中，当前帧图像的图像属性信息包括：当前帧图像的行信息、预设特征点的特征信息，其中，特征信息包括预设特征点在当前帧图像中的行数位置、以及预设特征点在当前帧图像中的坐标信息。

前一帧图像的图像属性信息包括：预设特征点在前一帧图像的逆深度、以及预设特征点在前一帧图像中的坐标信息。

其中，逆深度用于表征将预设特征点的三维参数转换为六维参数的状态向量，具体地转换过程，以及相应的计算方法可参见现有技术，此处不再赘述。

结合图5可知，在一些实施例中，S203包括：

S31：根据变换矩阵、当前帧图像的图像属性信息和前一帧图像的图像属性信息，确定出融合位姿信息，其中，融合位姿信息满足预设误差。

S32：从融合位姿信息中提取旋转信息和位移信息，并将旋转信息和位移信息确定为定位信息。

具体地，误差r_p可通过式2进行表示，式2：

其中，

为预设特征点对应的变换矩阵，

为相机的外参(具体为旋转参数)，

为前一帧图像的旋转矩阵，

为当前帧图像的旋转，ρ_i为预设特征点在当前帧图像的逆深度(可以基于现有技术中的方式，对当前帧图像的图像属性信息进行计算得到)，P_i为预设特征点在当前帧图像的坐标信息，

为相机的外参(具体为位移参数)，

为当前帧图像的位移，

为前一帧图像的位移，P_j为特征点在前一帧图像的位移。

在本申请实施例中，通过结合变换矩阵、当前帧图像的图像属性信息和前一帧图像的图像属性信息，确定满足误差的旋转和位移，以尽可能地降低旋转和位移的误差，从而提高定位信息的准确性和可靠性。

在一些实施例中，在计算误差之前，可以对当前帧图像的图像属性信息进行归一化处理，以避免当前帧图像中的各点的畸变，具体地归一化处理的方法可以参见现有技术，此处不再赘述。

S204：根据定位信息控制自动驾驶车辆进行行驶。

其中，关于S204的阐述可参见S103，此处不再赘述。

基于上述示例可知，传感器包括多种，在本申请实施例中，主要采用惯性测量单元和轮速计对车辆位姿信息进行采集。为方便读者理解，现结合图6对当传感器包括惯性测量单元和轮速计时的定位方法进行详细阐述。其中，图6为本申请又一实施例的定位方法流程示意图。

如图6所示，该方法包括：

S301：接收惯性测量单元发送的第一测量数据，并接收轮速计发送的第二测量数据。

其中，惯性测量单元(Inertial measurement unit，IMU)是测量物体的姿态角(或角速度)和加速度等的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度。

也就是说，第一测量数据用于表征惯性测量单元采集到的自动驾驶车辆对应的姿态信息，姿态信息包括姿态角、角速率和加速度等信息。即，在本申请实施例中，惯性测量单元可对自动驾驶车辆的姿态角、角速率和加速度等信息，且可将惯性测量单元测量到的相关信息确定为第一测量数据。

其中，轮速计又称为轮速传感器，第二测量数据用于表征轮速计采集到的自动驾驶车辆对应的姿态信息，姿态信息包括速度和加速度等信息。即在本申请实施例中，轮速计用于采集自动驾驶车辆的速度和加速度等信息，且可将轮速计采集到的相关信息确定为第二测量数据。

值得说明地是，第一测量数据和第二测量数据中的“第一”和“第二”用于，将惯性测量单元采集到的相关信息与轮速计采集到的相关信息进行区分。

在本申请实施例中，通过采用惯性测量单元采集到的第一测量数据，和轮速计采集到的第二测量数据，确定车辆位姿信息，由于惯性测量单元和轮速计相对于其他传感器(如雷达和相机等)而言，不容易受到环境因素的影响，因此，基于惯性测量单元和轮速计确定车辆位姿信息，可以提高车辆位姿信息的准确性和可靠性。

S302：对第一测量数据和第二测量数据进行融合处理，生成车辆位姿信息。

具体地，可对轮速计相对于惯性测量单元的旋转和位移等参数进行标定。即，以惯性测量单元的坐标系为基准，以惯性测量单元为原点坐标，获取轮速计相对于惯性测量单元的旋转和位移等参数，以确定坐标转换参数。并根据坐标转换参数将第二测量数据进行转换，转换至以惯性测量单元的坐标系为基准的测量数据，并进行融合处理。而融合处理相当于是基于两个测量数据求取精确度更高的测量数据，具体的融合处理的计算方法可以参见现有技术中的方法，此处不再赘述。

在本申请实施例中，由于融合过程是基于同一坐标系，因此，可以提高融合过程的速度，且可以确保融合过程的可靠性和准确性，进而可以确保车辆位姿信息的准确性和可靠性的技术效果。

S303：根据车辆位姿信息、当前帧图像以及当前帧图像的前一帧图像，生成定位信息。

其中，关于S303的描述可参见S101，或者可参见S202至S203，此处不再赘述。

S304：根据定位信息控制自动驾驶车辆进行行驶。

其中，关于S304的阐述可参见S103，此处不再赘述。

根据本申请实施例的另一个方面，本申请实施例还提供了一种定位装置，用于执行上述实施例所述的定位方法，例如，执行如图3、图4和图6中所示的方法。

请参阅图7，图7为本申请实施例的定位装置的示意图。

如图7所示，该装置包括：

获取模块11，用于获取传感器采集的车辆位姿信息，其中，所述车辆位姿信息包括在当前帧图像开始曝光时所采集的位姿信息、以及在当前帧图像结束曝光时所采集的位姿信息；

生成模块12，用于根据所述车辆位姿信息、所述当前帧图像以及所述当前帧图像的前一帧图像，生成定位信息；

控制模块13，用于根据所述定位信息控制所述自动驾驶车辆进行行驶。

在一些实施例中，所述生成模块12用于，根据所述车辆位姿信息和所述当前帧图像的图像属性信息，确定变换矩阵，其中，所述变换矩阵表征出所述车辆位姿信息对所述当前帧图像的图像属性信息的纠正，所述当前帧图像和所述前一帧图像为卷帘快门相机所采集的，根据所述变换矩阵、所述当前帧图像的图像属性信息和所述前一帧图像的图像属性信息，生成所述定位信息。

在一些实施例中，所述当前帧图像的图像属性信息包括：所述当前帧图像的行信息、预设特征点的特征信息，其中，所述特征信息包括所述预设特征点在所述当前帧图像中的行数位置、以及所述预设特征点在所述当前帧图像中的坐标信息；

所述前一帧图像的图像属性信息包括：预设特征点在所述前一帧图像的逆深度、以及所述预设特征点在所述前一帧图像中的坐标信息。

在一些实施例中，所述生成模块12用于，根据所述变换矩阵、所述当前帧图像的图像属性信息和所述前一帧图像的图像属性信息，确定出融合位姿信息，其中，所述融合位姿信息满足预设误差，从所述融合位姿信息中提取旋转信息和位移信息，并将所述旋转信息和所述位移信息确定为所述定位信息。

在一些实施例中，所述预设特征点是基于所述当前帧图像中各点与中心点的距离选取的，且所述预设特征点与所述中心点的距离最小。

在一些实施例中，所述传感器包括惯性测量单元和轮速计；所述获取模块用于，接收所述惯性测量单元发送的第一测量数据，并接收所述轮速计发送的第二测量数据，对所述第一测量数据和所述第二测量数据进行融合处理，生成所述车辆位姿信息。

在一些实施例中，所述车辆位姿信息包括航向角。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

请参阅图8，图8为本申请实施例的电子设备的框图。

其中，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请实施例的实现。

如图8所示，该电子设备包括：一个或多个处理器101、存储器102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器101为例。

存储器102即为本申请实施例所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请实施例所提供的定位方法。本申请实施例的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请实施例所提供的定位方法。

存储器102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的程序指令/模块。处理器101通过运行存储在存储器102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的定位方法。

存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器102可选包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、区块链服务网络(Block-chain-based Service Network，BSN)、移动通信网及其组合。

电子设备还可以包括：输入装置103和输出装置104。处理器101、存储器102、输入装置103和输出装置104可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置103可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置104可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、区块链服务网络(Block-chain-based Service Network，BSN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的另一个方面，本申请实施例还提供了一种自动驾驶车辆，所述自动驾驶车辆包括上述实施例所述的定位装置，或者，包括上述实施例所述的电子设备。

根据本申请实施例的另一个方面，本申请实施例还提供了一种定位方法，所述方法包括：根据车辆位姿信息、当前帧图像以及当前帧图像的前一帧图像，生成定位信息，其中，车辆位姿信息包括在当前帧图像开始曝光时所采集的位姿信息、以及在当前帧图像结束曝光时所采集的位姿信息。

也就是说，在本申请实施例中，结合车辆位姿信息和当前帧图像和前一帧图像对自动驾驶车辆的当前的定位信息进行确定。由于车辆位姿信息包括当前帧图像开始曝光时的位姿信息，还包括当前帧图像结束曝光时的位姿信息，因此，可以对由于曝光而发生失真现象的当前帧图像进行适应性的修正，从而实现提供定位信息的准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种定位方法，其特征在于，所述方法包括：

根据所述定位信息控制自动驾驶车辆进行行驶；

其中，所述当前帧图像开始曝光时所采集的位姿信息用于表征当前帧图像中的每一行像素开始曝光时采集的位姿信息；所述当前帧图像结束曝光时所采集的位姿信息用于表征当前帧图像中的每一行像素结束曝光时采集的位姿信息。

2.根据权利要求1所述的方法，其特征在于，根据所述车辆位姿信息、所述当前帧图像以及所述当前帧图像的前一帧图像，生成定位信息，包括：

根据所述车辆位姿信息和所述当前帧图像的图像属性信息，确定变换矩阵，其中，所述变换矩阵表征出所述车辆位姿信息对所述当前帧图像的图像属性信息的纠正，所述当前帧图像和所述前一帧图像为卷帘快门相机所采集的；

根据所述变换矩阵、所述当前帧图像的图像属性信息和所述前一帧图像的图像属性信息，生成所述定位信息。

3.根据权利要求2所述的方法，其特征在于，所述当前帧图像的图像属性信息包括：所述当前帧图像的行信息、预设特征点的特征信息，其中，所述特征信息包括所述预设特征点在所述当前帧图像中的行数位置、以及所述预设特征点在所述当前帧图像中的坐标信息；

4.根据权利要求3所述的方法，其特征在于，根据所述变换矩阵、所述当前帧图像的图像属性信息和所述前一帧图像的图像属性信息，生成所述定位信息，包括：

根据所述变换矩阵、所述当前帧图像的图像属性信息和所述前一帧图像的图像属性信息，确定出融合位姿信息，其中，所述融合位姿信息满足预设误差；

从所述融合位姿信息中提取旋转信息和位移信息，并将所述旋转信息和所述位移信息确定为所述定位信息。

5.根据权利要求3所述的方法，其特征在于，所述预设特征点是基于所述当前帧图像中各点与中心点的距离选取的，且所述预设特征点与所述中心点的距离最小。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述传感器包括惯性测量单元和轮速计；所述获取传感器采集的车辆位姿信息，包括：

接收所述惯性测量单元发送的第一测量数据，并接收所述轮速计发送的第二测量数据；

对所述第一测量数据和所述第二测量数据进行融合处理，生成所述车辆位姿信息。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述车辆位姿信息包括航向角。

8.一种定位装置，其特征在于，所述装置包括：

获取模块，用于获取传感器采集的车辆位姿信息，其中，所述车辆位姿信息包括在当前帧图像开始曝光时所采集的位姿信息、以及在当前帧图像结束曝光时所采集的位姿信息；其中，所述当前帧图像开始曝光时所采集的位姿信息用于表征当前帧图像中的每一行像素开始曝光时采集的位姿信息；所述当前帧图像结束曝光时所采集的位姿信息用于表征当前帧图像中的每一行像素结束曝光时采集的位姿信息；

9.根据权利要求8所述的装置，其特征在于，所述生成模块用于，根据所述车辆位姿信息和所述当前帧图像的图像属性信息，确定变换矩阵，其中，所述变换矩阵表征出所述车辆位姿信息对所述当前帧图像的图像属性信息的纠正，所述当前帧图像和所述前一帧图像为卷帘快门相机所采集的，根据所述变换矩阵、所述当前帧图像的图像属性信息和所述前一帧图像的图像属性信息，生成所述定位信息。

10.根据权利要求9所述的装置，其特征在于，所述当前帧图像的图像属性信息包括：所述当前帧图像的行信息、预设特征点的特征信息，其中，所述特征信息包括所述预设特征点在所述当前帧图像中的行数位置、以及所述预设特征点在所述当前帧图像中的坐标信息；

11.根据权利要求10所述的装置，其特征在于，所述生成模块用于，根据所述变换矩阵、所述当前帧图像的图像属性信息和所述前一帧图像的图像属性信息，确定出融合位姿信息，其中，所述融合位姿信息满足预设误差，从所述融合位姿信息中提取旋转信息和位移信息，并将所述旋转信息和所述位移信息确定为所述定位信息。

12.根据权利要求10所述的装置，其特征在于，所述预设特征点是基于所述当前帧图像中各点与中心点的距离选取的，且所述预设特征点与所述中心点的距离最小。

13.根据权利要求8至12中任一项所述的装置，其特征在于，所述传感器包括惯性测量单元和轮速计；所述获取模块用于，接收所述惯性测量单元发送的第一测量数据，并接收所述轮速计发送的第二测量数据，对所述第一测量数据和所述第二测量数据进行融合处理，生成所述车辆位姿信息。

14.根据权利要求8至12中任一项所述的装置，其特征在于，所述车辆位姿信息包括航向角。

15. 一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种自动驾驶车辆，其特征在于，包括：如权利要求8至14中任一项所述的定位装置，或者，如权利要求15所述的电子设备。

17.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

18.一种定位方法，其特征在于，所述方法包括：

根据车辆位姿信息、当前帧图像以及当前帧图像的前一帧图像，生成定位信息，其中，所述车辆位姿信息包括在所述当前帧图像开始曝光时所采集的位姿信息、以及在所述当前帧图像结束曝光时所采集的位姿信息；其中，所述当前帧图像开始曝光时所采集的位姿信息用于表征当前帧图像中的每一行像素开始曝光时采集的位姿信息；所述当前帧图像结束曝光时所采集的位姿信息用于表征当前帧图像中的每一行像素结束曝光时采集的位姿信息。