CN109840921B - 无人驾驶任务结果的确定方法、装置及无人驾驶设备 - Google Patents

Abstract

本申请提供一种无人驾驶任务结果的确定方法、装置及无人驾驶设备，所述方法的一具体实施方式包括：对采集到的初始数据进行处理，得到目标数据，所述目标数据包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据；将所述目标数据输入至目标卷积神经网络中，所述目标卷积神经网络包括一个或多个输出层，所述输出层包括定位输出层；确定所述输出层输出的无人驾驶任务的结果；所述结果包括当前的位姿信息，所述当前的位姿信息基于所述第一图像数据和所述第二图像数据确定。该实施方式无需消耗大量的计算资源，并且，提高了图像匹配的效率与准确度，从而提高了定位任务结果的准确度。

Description

无人驾驶任务结果的确定方法、装置及无人驾驶设备

技术领域

本申请涉及无人驾驶技术领域，特别涉及一种无人驾驶任务结果的确定方法、装置及无人驾驶设备。

背景技术

在无人驾驶技术中，通常需要确定驾驶任务的结果，从而可以根据驾驶任务的结果执行无人驾驶的决策。其中，定位任务为一种重要的驾驶任务，定位任务为确定无人驾驶设备当前位姿信息的任务。目前来说，定位任务的结果一般是通过对两个图像进行匹配得到的。但是，由于图像的像素数量极大，在进行匹配时，会消耗大量的计算资源，而且，匹配的准确度也比较低，从而降低了定位任务结果的准确度。

发明内容

为了解决上述技术问题之一，本申请提供一种无人驾驶任务结果的确定方法、装置及无人驾驶设备。

根据本申请实施例的第一方面，提供一种无人驾驶任务结果的确定方法，包括：

对采集到的初始数据进行处理，得到目标数据，所述目标数据包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据；

将所述目标数据输入至目标卷积神经网络中，所述目标卷积神经网络包括一个或多个输出层，所述输出层包括定位输出层；

确定所述输出层输出的无人驾驶任务的结果；所述结果包括当前的位姿信息，所述当前的位姿信息基于所述第一图像数据和所述第二图像数据确定。

可选的，所述初始数据包括多个类型的数据；

所述对采集到的初始数据进行处理，得到目标数据，包括：

将所述初始数据中每个类型的数据转换成一个三阶张量数据，得到多个三阶张量数据；

将所述多个三阶张量数据进行合并拼接，得到所述目标数据。

可选的，通过如下方式基于所述第一图像数据和所述第二图像数据确定当前的位姿信息：

确定所述目标卷积神经网络中的定位输出层所对应的多个定位隐藏层；

分别提取所述第一图像数据和所述第二图像数据针对每个所述定位隐藏层的图像特征，得到每个所述定位隐藏层对应的两个待匹配图像特征；

遍历每个所述定位隐藏层，基于该定位隐藏层对应的待匹配图像特征，执行图像匹配操作，得到该定位隐藏层对应的图像变换矩阵；

基于每个所述定位隐藏层对应的图像变换矩阵，确定当前的位姿信息。

可选的，从首个定位隐藏层开始依次向后遍历每个所述定位隐藏层；

针对首个定位隐藏层，通过如下方式执行图像匹配操作：直接利用首个定位隐藏层，对相应的待匹配图像特征进行图像匹配，得到首个定位隐藏层对应的图像变换矩阵；

针对非首个定位隐藏层，通过如下方式执行图像匹配操作：将该非首个定位隐藏层之前的定位隐藏层所对应的图像变换矩阵进行叠加；基于叠加后的图像变换矩阵，针对该非首个定位隐藏层对应的待匹配图像特征进行变换，使得该非首个定位隐藏层对应的两个待匹配图像特征之间的差异减小；并利用该非首个定位隐藏层对经过变换的待匹配图像特征进行图像匹配，得到该非首个定位隐藏层对应的图像变换矩阵。

可选的，所述基于每个所述定位隐藏层对应的图像变换矩阵，确定当前的位姿信息，包括：

将每个所述定位隐藏层对应的图像变换矩阵进行叠加，得到目标变换矩阵；

基于所述目标变换矩阵以及当前时刻的上一时刻对应的位姿信息，确定当前的位姿信息。

可选的，所述多个定位隐藏层通过如下方式训练得到：

获取训练集，所述训练集包括多个目标时刻中每个目标时刻对应的第一样本图像数据和每个目标时刻的上一时刻对应的第二样本图像数据；

分别提取所述第一样本图像数据和所述第二样本图像数据针对每个所述定位隐藏层的图像特征，得到每个所述定位隐藏层对应的两个待匹配样本图像特征；

遍历每个所述定位隐藏层，采用迭代方式，基于该定位隐藏层对应的待匹配样本图像特征，调整该定位隐藏层的参数。

可选的，从末个定位隐藏层开始依次向前遍历每个所述定位隐藏层；

针对末个定位隐藏层，迭代执行以下操作，直至满足停止条件：确定末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵；根据末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵之间的差异，调整末个定位隐藏层的参数；

针对任一非末个定位隐藏层，迭代执行以下操作，直至满足停止条件：将该非末个定位隐藏层之后的定位隐藏层所对应的实际图像变换矩阵进行叠加；基于叠加后的图像变换矩阵，针对该非末个定位隐藏层对应的待匹配样本图像特征进行变换，使得两个待匹配样本图像特征之间的差异减小；基于经过变换的待匹配样本图像特征，确定该非末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵；根据该非末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵之间的差异，调整该非末个定位隐藏层的参数。

根据本申请实施例的第二方面，提供一种无人驾驶任务结果的确定装置，包括：

处理模块，用于对采集到的初始数据进行处理，得到目标数据，所述目标数据包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据；

输入模块，用于将所述目标数据输入至目标卷积神经网络中，所述目标卷积神经网络包括一个或多个输出层，所述输出层包括定位输出层；

确定模块，用于确定所述输出层输出的无人驾驶任务的结果；所述结果包括当前的位姿信息，所述当前的位姿信息基于所述第一图像数据和所述第二图像数据确定。

根据本申请实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。

根据本申请实施例的第四方面，提供一种无人驾驶设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面中任一项所述的方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请的实施例提供的无人驾驶任务结果的确定方法和装置，通过对采集到的初始数据进行处理，得到目标数据，该目标数据包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据。将目标数据输入至目标卷积神经网络中，该目标卷积神经网络包括一个或多个输出层，该输出层包括定位输出层。并确定上述输出层输出的无人驾驶任务的结果，该结果包括当前的位姿信息，当前的位姿信息基于第一图像数据和第二图像数据确定。由于本实施例采用目标卷积神经网络对当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据进行匹配，从而能够确定当前的位姿信息，因此，无需消耗大量的计算资源，并且，提高了图像匹配的效率与准确度，从而提高了定位任务结果的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请根据一示例性实施例示出的一种无人驾驶任务结果的确定方法的流程图；

图2是本申请根据一示例性实施例示出的另一种无人驾驶任务结果的确定方法的流程图；

图3是本申请根据一示例性实施例示出的另一种无人驾驶任务结果的确定方法的流程图；

图4是本申请根据一示例性实施例示出的一种无人驾驶任务结果的确定装置的框图；

图5是本申请根据一示例性实施例示出的另一种无人驾驶任务结果的确定装置的框图；

图6是本申请根据一示例性实施例示出的另一种无人驾驶任务结果的确定装置的框图；

图7是本申请根据一示例性实施例示出的另一种无人驾驶任务结果的确定装置的框图；

图8是本申请根据一示例性实施例示出的一种无人驾驶设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

如图1所示，图1是根据一示例性实施例示出的一种无人驾驶任务结果的确定方法的流程图，该方法可以应用于无人驾驶设备中。本领域技术人员可以理解，该无人驾驶设备可以包括但不限于无人车、无人操作机器人、无人机、无人船等等。该方法包括以下步骤：

在步骤101中，对采集到的初始数据进行处理，得到目标数据，该目标数据包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据。

在本实施例中，无人驾驶设备中可以安装有各种数据采集装置，数据采集装置至少可以包括图像采集装置，还可以进一步包括但不限于雷达传感器(如，激光雷达，毫米波雷达，超声雷达等)，惯性测量单元等等。可以利用数据采集装置采集初始数据，初始数据可以是数据采集装置直接采集到的数据，该初始数据中至少可以包括图像信息，还可以进一步包括但不限于雷达信息以及地图信息等等。

在本实施例中，可以对采集到的初始数据进行处理，得到目标数据，该目标数据中至少可以包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据。其中，当前时刻的上一时刻可以是当前时刻之前，与当前时刻相差预设时长的时刻，该预设时长可以是根据经验确定的任意合理的时长。例如，当前时刻的上一时刻可以是当前时刻之前0.1S的时刻，也可以是当前时刻之前0.5S的时刻等。可以理解，本申请对该预设时长的具体设定方面不限定。

在本实施例中，目标数据可以是一个三阶张量形式的数据。具体来说，若初始数据仅包括图像类型的数据，则可以直接将初始数据转换成一个三阶张量数据，作为目标数据。若初始数据包括多个类型的数据，则可以将初始数据中每个类型的数据转换成一个三阶张量数据，得到多个三阶张量数据，然后将上述多个三阶张量数据进行合并拼接，得到目标数据。

在步骤102中，将目标数据输入至目标卷积神经网络中，该目标卷积神经网络包括一个或多个输出层，该输出层包括定位输出层。

在本实施例中，可以将目标数据输入至目标卷积神经网络中，该目标卷积神经网络可以包括一个或多个输出层，该输出层至少包括定位输出层，定位输出层用于输出位姿信息。

在步骤103中，确定上述输出层输出的无人驾驶任务的结果，该结果包括当前的位姿信息，当前的位姿信息基于第一图像数据和第二图像数据确定。

在本实施例中，上述一个或多个输出层用于输出无人驾驶任务的结果，该结果中至少包括定位输出层输出的当前的位姿信息。并且，在目标卷积神经网络中还包括与定位输出层对应的多个定位隐藏层。可以由多个定位隐藏层对第一图像数据和第二图像数据进行匹配，从而确定当前的位姿信息。

具体来说，可以通过如下方式基于第一图像数据和第二图像数据确定当前的位姿信息：首先，可以确定目标卷积神经网络中的定位输出层所对应的多个定位隐藏层，分别提取第一图像数据和第二图像数据针对每个定位隐藏层的图像特征，得到每个定位隐藏层对应的两个待匹配图像特征。然后，遍历每个定位隐藏层，基于该定位隐藏层对应的待匹配图像特征，执行图像匹配操作，得到该定位隐藏层对应的图像变换矩阵。最后，基于每个定位隐藏层对应的图像变换矩阵，确定当前的位姿信息。

本申请的上述实施例提供的无人驾驶任务结果的确定方法，通过对采集到的初始数据进行处理，得到目标数据，该目标数据包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据。将目标数据输入至目标卷积神经网络中，该目标卷积神经网络包括一个或多个输出层，该输出层包括定位输出层。并确定上述输出层输出的无人驾驶任务的结果，该结果包括当前的位姿信息，当前的位姿信息基于第一图像数据和第二图像数据确定。由于本实施例采用目标卷积神经网络对当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据进行匹配，从而能够确定当前的位姿信息，因此，无需消耗大量的计算资源，并且，提高了图像匹配的效率与准确度，从而提高了定位任务结果的准确度。

如图2所示，图2根据一示例性实施例示出的另一种无人驾驶任务结果的确定方法的流程图，该实施例描述了对采集到的初始数据进行处理的过程，该方法可以应用于无人驾驶设备中，包括以下步骤：

在步骤201中，若初始数据包括多个类型的数据，将初始数据中每个类型的数据转换成一个三阶张量数据得到多个三阶张量数据。

在步骤202中，将上述多个三阶张量数据进行合并拼接，得到目标数据，该目标数据包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据。

在本实施例中，初始数据可以包括多个类型的数据，例如，初始数据可以包括但不限于图像数据，雷达数据，惯性测量数据等等。可以将初始数据中每个类型的数据转换成一个三阶张量数据，得到多个三阶张量数据。然后，将上述多个三阶张量数据进行合并拼接，得到目标数据。

需要说明的是，对于一些类型的数据，如果由于维度缺少而无法构建三阶张量时，可以采用任意合理的方式利用已有的维度进行补充，得到三阶张量。如果由于维度多余而无法构建三阶张量时，可以采用任意合理的降维的方式得到三阶张量。可以理解，本申请对构建三阶张量的具体方式方面不限定。

在步骤203中，将目标数据输入至目标卷积神经网络中，该目标卷积神经网络包括多个输出层，该输出层包括定位输出层。

在步骤204中，确定上述输出层输出的无人驾驶任务的结果，该结果包括当前的位姿信息，当前的位姿信息基于第一图像数据和第二图像数据确定。

在本实施例中，上述每个输出层可以输出一个无人驾驶任务的结果，该结果至少可以包括当前的位姿信息，还可以进一步包括但不限于障碍物的类型信息，障碍物的边界框信息，障碍物的运动状态，无人驾驶控制策略，无人驾驶控制参数等等。需要说明的是，输出层所对应的无人驾驶任务越细致，与该输出层相连通的隐藏层越靠后。例如，第5层隐藏层与障碍物的运动状态所对应的输出层相连通，第8层隐藏层与无人驾驶控制策略所对应的输出层相连通，第10层隐藏层与无人驾驶控制参数所对应的输出层相连通。

需要说明的是，对于与图1实施例中相同的步骤，在上述图2实施例中不再进行赘述，相关内容可参见图1实施例。

本申请的上述实施例提供的无人驾驶任务结果的确定方法，初始数据可以包括多个类型的数据，将初始数据中每个类型的数据转换成一个三阶张量数据得到多个三阶张量数据。将上述多个三阶张量数据进行合并拼接，得到目标数据。因此，本实施例可以将多种不同类型的数据进行融合，使得目标卷积神经网络能够充分利用不同类型的数据，输出多种不同无人驾驶任务的结果，从而提高了目标卷积神经网络以及数据的利用率。

如图3所示，图3根据一示例性实施例示出的另一种无人驾驶任务结果的确定方法的流程图，该实施例详细描述了确定当前的位姿信息的过程，该方法可以应用于无人驾驶设备中，包括以下步骤：

在步骤301中，确定目标卷积神经网络中的定位输出层所对应的多个定位隐藏层。

在步骤302中，分别提取第一图像数据和第二图像数据针对每个定位隐藏层的图像特征，得到每个定位隐藏层对应的两个待匹配图像特征。

在本实施例中，可以首先确定目标卷积神经网络中的定位输出层所对应的多个定位隐藏层。然后，提取第一图像数据针对每个定位隐藏层的图像特征，以及提取第二图像数据针对每个定位隐藏层的图像特征，从而得到每个定位隐藏层对应的两个待匹配图像特征。因此，针对任意一个定位隐藏层，该定位隐藏层对应的两个待匹配图像特征分别为针对该定位隐藏层提取的第一图像数据的图像特征，以及针对该定位隐藏层提取的第二图像数据的图像特征。

在步骤303中，遍历每个定位隐藏层，基于该定位隐藏层对应的待匹配图像特征，执行图像匹配操作，得到该定位隐藏层对应的图像变换矩阵。

在本实施例中，可以遍历每个定位隐藏层，基于遍历到的定位隐藏层对应的待匹配图像特征，执行图像匹配操作，得到该定位隐藏层对应的图像变换矩阵。具体来说，由于定位隐藏层是依次连通的，可以按照从前(靠近输入层)向后(靠近输出层)的顺序，从首个定位隐藏层开始依次向后遍历每个定位隐藏层。

在本实施例中，针对首个定位隐藏层(即第一层定位隐藏层)，可以通过如下方式执行图像匹配操作：直接利用该首个定位隐藏层，对该首个定位隐藏层对应的两个待匹配图像特征进行图像匹配，得到该两个待匹配图像特征之间的图像变换矩阵，作为该首个定位隐藏层对应的图像变换矩阵。

针对任意非首个定位隐藏层(即除第一层定位隐藏层以外的其它定位隐藏层)，通过如下方式执行图像匹配操作：首先，可以将该非首个定位隐藏层之前的定位隐藏层所对应的图像变换矩阵进行叠加(即，将该非首个定位隐藏层之前的定位隐藏层所对应的图像变换矩阵依次相乘)。例如，该非首个定位隐藏层为第3层定位隐藏层，则可以将第1层定位隐藏层对应的图像变换矩阵和第2层定位隐藏层对应的图像变换矩阵进行叠加。

然后，基于叠加后的图像变换矩阵，针对该非首个定位隐藏层对应的待匹配图像特征进行变换，使得该非首个定位隐藏层对应的两个待匹配图像特征之间的差异减小。例如，可以基于叠加后的图像变换矩阵，对该非首个定位隐藏层对应的两个待匹配图像特征中任意一个待匹配图像特征进行变换，也可以基于叠加后的图像变换矩阵对两个待匹配图像特征均进行变换，使得两个待匹配图像特征之间的差异减小，并且减小的差异为叠加后的图像变换矩阵所指示的差异。

最后，可以利用该非首个定位隐藏层对经过变换的待匹配图像特征进行图像匹配，得到该非首个定位隐藏层对应的图像变换矩阵。

在步骤304中，基于每个定位隐藏层对应的图像变换矩阵，确定当前的位姿信息。

在本实施例中，可以基于每个定位隐藏层对应的图像变换矩阵，确定当前的位姿信息。具体来说，可以依次将每个定位隐藏层对应的图像变换矩阵进行叠加，得到目标变换矩阵。然后，基于目标变换矩阵以及当前时刻的上一时刻对应的位姿信息，确定当前的位姿信息。

需要说明的是，对于与图1-图2实施例中相同部分内容，在上述图3实施例中不再进行赘述，相关内容可参见图1-图2实施例。

本申请的上述实施例提供的无人驾驶任务结果的确定方法，通过确定目标卷积神经网络中的定位输出层所对应的多个定位隐藏层，分别提取第一图像数据和第二图像数据针对每个定位隐藏层的图像特征，得到每个定位隐藏层对应的两个待匹配图像特征，遍历每个定位隐藏层，基于该定位隐藏层对应的待匹配图像特征，执行图像匹配操作，得到该定位隐藏层对应的图像变换矩阵，并基于每个定位隐藏层对应的图像变换矩阵，确定当前的位姿信息。由于本实施例逐个定位隐藏层进行待匹配图像特征的匹配，并基于每层定位隐藏层对应的图像变换矩阵，确定当前的位姿信息，因此，进一步提高了图像匹配的效率与准确度，从而进一步提高了定位任务结果的准确度。

在一些可选实施方式中，上述多个定位隐藏层可以通过如下方式训练：

在步骤a中，可以获取训练集，该训练集包括多个目标时刻中每个目标时刻对应的第一样本图像数据和每个目标时刻的上一时刻对应的第二样本图像数据。

在本实施例中，目标时刻可以是任意历史时刻，目标时刻的上一时刻可以是目标时刻之前，与目标时刻相差预设时长的时刻，该预设时长可以是根据经验确定的任意合理的时长。例如，目标时刻的上一时刻可以是目标时刻之前0.1S的时刻，也可以是目标时刻之前0.5S的时刻等。可以理解，本申请对该预设时长的具体设定方面不限定。

在步骤b中，分别提取第一样本图像数据和第二样本图像数据针对每个定位隐藏层的图像特征，得到每个定位隐藏层对应的两个待匹配样本图像特征。

在本实施例中，针对任意一个定位隐藏层，该定位隐藏层对应的两个待匹配样本图像特征分别为针对该定位隐藏层提取的第一图像样本数据的图像特征，以及针对该定位隐藏层提取的第二图像数据的图像特征。

在步骤c中，遍历每个定位隐藏层，采用迭代方式，基于该定位隐藏层对应的待匹配样本图像特征，调整该定位隐藏层的参数。

具体来说，可以按照从后(靠近输出层)向前(靠近输入层)的顺序，从末个定位隐藏层(即最后一层定位隐藏层)开始依次向前遍历每个定位隐藏层。

在本实施例中，针对末个定位隐藏层，迭代执行以下操作，直至满足停止条件：确定末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵，并根据末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵之间的差异，调整末个定位隐藏层的参数。例如，可以根据末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵之间的差异，采用梯度下降法，确定末个定位隐藏层的参数调整方向(如，将参数调大，或将参数调小)，然后按照该参数调整方向调整末个定位隐藏层的参数。从而使得调整后的末个定位隐藏层对应的预测图像变换矩阵与实际图像变换矩阵尽可能接近。

其中，末个定位隐藏层对应的实际图像变换矩阵为末个定位隐藏层对应的两个待匹配样本图像特征之间实际的图像变换矩阵。末个定位隐藏层对应的预测图像变换矩阵为利用末个定位隐藏层对相应的两个待匹配样本图像特征进行图像匹配预测得到的图像变换矩阵。

其中，停止条件可以是能够指示该末个定位隐藏层训练完成的条件，可以是任意合理的条件，本申请对停止条件的具体内容方面不限定。

在本实施例中，针对任一非末个定位隐藏层(即除最后一层定位隐藏层以外的其它定位隐藏层)，迭代执行以下操作，直至满足停止条件：首先，将该非末个定位隐藏层之后的定位隐藏层所对应的实际图像变换矩阵进行叠加。例如，共有8层定位隐藏层，该非末个定位隐藏层为第6层定位隐藏层，则可以将第8层定位隐藏层对应的实际图像变换矩阵和第7层定位隐藏层对应的实际图像变换矩阵进行叠加。

然后，可以基于叠加后的图像变换矩阵，针对该非末个定位隐藏层对应的待匹配样本图像特征进行变换，使得两个待匹配样本图像特征之间的差异减小。例如，可以基于叠加后的图像变换矩阵，对该非末个定位隐藏层对应的两个待匹配图像特征中任意一个待匹配样本图像特征进行变换，也可以基于叠加后的图像变换矩阵对两个待匹配样本图像特征均进行变换，使得两个待匹配样本图像特征之间的差异减小，并且减小的差异为叠加后的图像变换矩阵所指示的差异。

接着，基于经过变换的待匹配样本图像特征，确定该非末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵，并根据该非末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵之间的差异，调整该非末个定位隐藏层的参数。例如，可以根据该非末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵之间的差异，采用梯度下降法，确定该非末个定位隐藏层的参数调整方向，按照该参数调整方向调整该非末个定位隐藏层的参数，使调整后的该非末个定位隐藏层对应的预测图像变换矩阵与实际图像变换矩阵尽可能接近。

其中，该非末个定位隐藏层对应的实际图像变换矩阵为经过变换的待匹配样本图像特征之间实际的图像变换矩阵。该非末个定位隐藏层对应的预测图像变换矩阵为利用该非末个定位隐藏层对经过变换的待匹配样本图像特征进行图像匹配预测得到的图像变换矩阵。

其中，停止条件可以是能够指示该非末个定位隐藏层训练完成的条件，可以是任意合理的条件，本申请对停止条件的具体内容方面不限定。

一般来说，定位隐藏层越靠后，所对应的样本图像特征的像素点越少，因此，在训练时，定位隐藏层越靠后，直接计算该定位隐藏层对应的实际图像变换矩阵时所消耗的计算资源越少。由于本实施例从末个定位隐藏层开始向前依次训练每个定位隐藏层，并且，对于任一非末个定位隐藏层，对该非末个定位隐藏层对应的待匹配样本图像特征进行变换，使得两个待匹配样本图像特征之间的差异减小，因此，在计算每个定位隐藏层对应的实际图像变换矩阵时，所消耗的计算资源均较少，从而提高了训练效率。

应当注意，尽管在上述实施例中，以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

与前述无人驾驶任务结果的确定方法实施例相对应，本申请还提供了无人驾驶任务结果的确定装置的实施例。

如图4所示，图4是本申请根据一示例性实施例示出的一种无人驾驶任务结果的确定装置框图，该装置可以包括：处理模块401，输入模块402和确定模块403。

其中，处理模块401，用于对采集到的初始数据进行处理，得到目标数据，该目标数据包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据。

输入模块402，用于将目标数据输入至目标卷积神经网络中，该目标卷积神经网络包括一个或多个输出层，该输出层包括定位输出层。

确定模块403，用于确定上述输出层输出的无人驾驶任务的结果，该结果包括当前的位姿信息，当前的位姿信息基于上述第一图像数据和上述第二图像数据确定。

如图5所示，图5是本申请根据一示例性实施例示出的另一种无人驾驶任务结果的确定装置框图，该实施例在前述图4所示实施例的基础上，处理模块401可以包括：转换子模块501和拼接子模块502。

其中，初始数据可以包括多个类型的数据。

转换子模块501，用于将初始数据中每个类型的数据转换成一个三阶张量数据，得到多个三阶张量数据。

拼接子模块502，用于将上述多个三阶张量数据进行合并拼接，得到目标数据。

如图6所示，图6是本申请根据一示例性实施例示出的另一种无人驾驶任务结果的确定装置框图，该实施例在前述图4所示实施例的基础上，确定模块403可以包括：确定子模块601，提取子模块602，匹配子模块603和定位子模块604。

其中，确定子模块601，用于确定目标卷积神经网络中的定位输出层所对应的多个定位隐藏层。

提取子模块602，用于分别提取上述第一图像数据和上述第二图像数据针对每个定位隐藏层的图像特征，得到每个定位隐藏层对应的两个待匹配图像特征。

匹配子模块603，用于遍历每个定位隐藏层，基于该定位隐藏层对应的待匹配图像特征，执行图像匹配操作，得到该定位隐藏层对应的图像变换矩阵。

定位子模块604，用于基于每个定位隐藏层对应的图像变换矩阵，确定当前的位姿信息。

在另一些可选实施方式中，匹配子模块603被配置用于：从首个定位隐藏层开始依次向后遍历每个定位隐藏层。

针对首个定位隐藏层，可以通过如下方式执行图像匹配操作：直接利用首个定位隐藏层，对相应的待匹配图像特征进行图像匹配，得到首个定位隐藏层对应的图像变换矩阵。

针对非首个定位隐藏层，可以通过如下方式执行图像匹配操作：将该非首个定位隐藏层之前的定位隐藏层所对应的图像变换矩阵进行叠加。基于叠加后的图像变换矩阵，针对该非首个定位隐藏层对应的待匹配图像特征进行变换，使得该非首个定位隐藏层对应的两个待匹配图像特征之间的差异减小。并利用该非首个定位隐藏层对经过变换的待匹配图像特征进行图像匹配，得到该非首个定位隐藏层对应的图像变换矩阵。

如图7所示，图7是本申请根据一示例性实施例示出的另一种无人驾驶任务结果的确定装置框图，该实施例在前述图6所示实施例的基础上，定位子模块604可以包括：叠加子模块701和位姿确定子模块702。

其中，叠加子模块701，用于将每个定位隐藏层对应的图像变换矩阵进行叠加，得到目标变换矩阵。

位姿确定子模块702，用于基于目标变换矩阵以及当前时刻的上一时刻对应的位姿信息，确定当前的位姿信息。

在另一些可选实施方式中，上述多个定位隐藏层通过如下方式训练得到：

获取训练集，该训练集包括多个目标时刻中每个目标时刻对应的第一样本图像数据和每个目标时刻的上一时刻对应的第二样本图像数据。分别提取第一样本图像数据和第二样本图像数据针对每个定位隐藏层的图像特征，得到每个定位隐藏层对应的两个待匹配样本图像特征。遍历每个定位隐藏层，采用迭代方式，基于该定位隐藏层对应的待匹配样本图像特征，调整该定位隐藏层的参数。

在另一些可选实施方式中，从末个定位隐藏层开始依次向前遍历每个定位隐藏层。

针对末个定位隐藏层，迭代执行以下操作，直至满足停止条件：确定末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵。根据末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵之间的差异，调整末个定位隐藏层的参数。

针对任一非末个定位隐藏层，迭代执行以下操作，直至满足停止条件：将该非末个定位隐藏层之后的定位隐藏层所对应的实际图像变换矩阵进行叠加。基于叠加后的图像变换矩阵，针对该非末个定位隐藏层对应的待匹配样本图像特征进行变换，使得两个待匹配样本图像特征之间的差异减小。基于经过变换的待匹配样本图像特征，确定该非末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵。根据该非末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵之间的差异，调整该非末个定位隐藏层的参数。

应当理解，上述装置可以预先设置在无人驾驶设备中，也可以通过下载等方式而加载到无人驾驶设备中。上述装置中的相应模块可以与无人驾驶设备中的模块相互配合以实现无人驾驶任务结果的确定方案。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1至图3任一实施例提供的无人驾驶任务结果的确定方法。

对应于上述的无人驾驶任务结果的确定方法，本申请实施例还提出了图8所示的根据本申请的一示例性实施例的无人驾驶设备的示意结构图。请参考图8，在硬件层面，该无人驾驶设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成无人驾驶任务结果的确定装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种无人驾驶任务结果的确定方法，其特征在于，所述方法包括：

对采集到的初始数据进行处理，得到目标数据，所述目标数据包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据；

将所述目标数据输入至目标卷积神经网络中，所述目标卷积神经网络包括一个或多个输出层，所述输出层包括定位输出层；

确定所述输出层输出的无人驾驶任务的结果；所述结果包括当前的位姿信息，通过如下方式基于所述第一图像数据和所述第二图像数据确定当前的位姿信息：

确定所述目标卷积神经网络中的定位输出层所对应的多个定位隐藏层；

分别提取所述第一图像数据和所述第二图像数据针对每个所述定位隐藏层的图像特征，得到每个所述定位隐藏层对应的两个待匹配图像特征；

遍历每个所述定位隐藏层，基于该定位隐藏层对应的待匹配图像特征，执行图像匹配操作，得到该定位隐藏层对应的图像变换矩阵；

基于每个所述定位隐藏层对应的图像变换矩阵，确定当前的位姿信息。

2.根据权利要求1所述的方法，其特征在于，所述初始数据包括多个类型的数据；

所述对采集到的初始数据进行处理，得到目标数据，包括：

将所述初始数据中每个类型的数据转换成一个三阶张量数据，得到多个三阶张量数据；

将所述多个三阶张量数据进行合并拼接，得到所述目标数据。

3.根据权利要求1所述的方法，其特征在于，从首个定位隐藏层开始依次向后遍历每个所述定位隐藏层；

针对首个定位隐藏层，通过如下方式执行图像匹配操作：直接利用首个定位隐藏层，对相应的待匹配图像特征进行图像匹配，得到首个定位隐藏层对应的图像变换矩阵；

针对非首个定位隐藏层，通过如下方式执行图像匹配操作：将该非首个定位隐藏层之前的定位隐藏层所对应的图像变换矩阵进行叠加；基于叠加后的图像变换矩阵，针对该非首个定位隐藏层对应的待匹配图像特征进行变换，使得该非首个定位隐藏层对应的两个待匹配图像特征之间的差异减小；并利用该非首个定位隐藏层对经过变换的待匹配图像特征进行图像匹配，得到该非首个定位隐藏层对应的图像变换矩阵。

4.根据权利要求1所述的方法，其特征在于，所述基于每个所述定位隐藏层对应的图像变换矩阵，确定当前的位姿信息，包括：

将每个所述定位隐藏层对应的图像变换矩阵进行叠加，得到目标变换矩阵；

基于所述目标变换矩阵以及当前时刻的上一时刻对应的位姿信息，确定当前的位姿信息。

5.根据权利要求1-4中任一所述的方法，其特征在于，所述多个定位隐藏层通过如下方式训练得到：

获取训练集，所述训练集包括多个目标时刻中每个目标时刻对应的第一样本图像数据和每个目标时刻的上一时刻对应的第二样本图像数据；

分别提取所述第一样本图像数据和所述第二样本图像数据针对每个所述定位隐藏层的图像特征，得到每个所述定位隐藏层对应的两个待匹配样本图像特征；

遍历每个所述定位隐藏层，采用迭代方式，基于该定位隐藏层对应的待匹配样本图像特征，调整该定位隐藏层的参数。

6.根据权利要求5所述的方法，其特征在于，从末个定位隐藏层开始依次向前遍历每个所述定位隐藏层；

针对末个定位隐藏层，迭代执行以下操作，直至满足停止条件：确定末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵；根据末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵之间的差异，调整末个定位隐藏层的参数；

针对任一非末个定位隐藏层，迭代执行以下操作，直至满足停止条件：将该非末个定位隐藏层之后的定位隐藏层所对应的实际图像变换矩阵进行叠加；基于叠加后的图像变换矩阵，针对该非末个定位隐藏层对应的待匹配样本图像特征进行变换，使得两个待匹配样本图像特征之间的差异减小；基于经过变换的待匹配样本图像特征，确定该非末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵；根据该非末个定位隐藏层对应的实际图像变换矩阵及预测图像变换矩阵之间的差异，调整该非末个定位隐藏层的参数。

7.一种无人驾驶任务结果的确定装置，其特征在于，所述装置包括：

处理模块，用于对采集到的初始数据进行处理，得到目标数据，所述目标数据包括当前时刻对应的第一图像数据和当前时刻的上一时刻对应的第二图像数据；

输入模块，用于将所述目标数据输入至目标卷积神经网络中，所述目标卷积神经网络包括一个或多个输出层，所述输出层包括定位输出层；

确定模块，用于确定所述输出层输出的无人驾驶任务的结果；所述结果包括当前的位姿信息，通过如下方式基于所述第一图像数据和所述第二图像数据确定当前的位姿信息：确定所述目标卷积神经网络中的定位输出层所对应的多个定位隐藏层，分别提取所述第一图像数据和所述第二图像数据针对每个所述定位隐藏层的图像特征，得到每个所述定位隐藏层对应的两个待匹配图像特征，遍历每个所述定位隐藏层，基于该定位隐藏层对应的待匹配图像特征，执行图像匹配操作，得到该定位隐藏层对应的图像变换矩阵，基于每个所述定位隐藏层对应的图像变换矩阵，确定当前的位姿信息。

8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-6中任一项所述的方法。

9.一种无人驾驶设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-6中任一项所述的方法。

Images