CN115147793A - 图像检索引擎的构建方法、装置、车辆及存储介质 - Google Patents

Abstract

本公开涉及自动驾驶领域，提出一种图像检索引擎的构建方法、装置、车辆及存储介质，该方法包括：采集车辆的初始场景图像和场景点云数据，根据场景点云数据，生成与初始场景图像对应的图像信息，根据图像信息处理初始场景图像，得到多个目标场景图像，将多个目标场景图像存储至初始检索引擎中，得到图像检索引擎。通过本公开，能够结合车辆的初始场景图像和场景点云数据有效提升目标场景图像的表征效果，能够有效提升所得图像检索引擎中图像数据的全面性，从而为车辆的图像检索过程提供可靠的图像数据。

Description

图像检索引擎的构建方法、装置、车辆及存储介质

技术领域

本公开涉及自动驾驶技术领域，尤其涉及一种图像检索引擎的构建方法、装置、车辆及存储介质。

背景技术

目前，自动驾驶车辆能够应对在正常行驶过程中遇到的多数路况。

然而，对于行驶中遇到的不常见的路况、难以检测和识别的目标对象或是受天气影响的图像模糊等问题，往往由于缺乏足够的图像数据。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开的目的在于提出一种图像检索引擎的构建方法、装置、车辆及存储介质，能够结合车辆的初始场景图像和场景点云数据有效提升目标场景图像的表征效果，能够有效提升所得图像检索引擎中图像数据的全面性，从而为车辆的图像检索过程提供可靠的图像数据。

本公开第一方面实施例提出的图像检索引擎的构建方法，包括：采集车辆的初始场景图像和场景点云数据；根据所述场景点云数据，生成与所述初始场景图像对应的图像信息；根据所述图像信息处理所述初始场景图像，得到多个目标场景图像；将所述多个目标场景图像存储至初始检索引擎中，得到图像检索引擎。

本公开第一方面实施例提出的图像检索引擎的构建方法，通过采集车辆的初始场景图像和场景点云数据，根据场景点云数据，生成与初始场景图像对应的图像信息，根据图像信息处理初始场景图像，得到多个目标场景图像，将多个目标场景图像存储至初始检索引擎中，得到图像检索引擎，能够结合车辆的初始场景图像和场景点云数据有效提升目标场景图像的表征效果，能够有效提升所得图像检索引擎中图像数据的全面性，从而为车辆的图像检索过程提供可靠的图像数据。

本公开第二方面实施例提出的用于车辆的场景图像获取方法，包括：获取车辆的行驶场景图像；确定所述行驶场景图像的待检索特征向量；根据所述待检索特征向量，从本公开第一方面实施例提出的图像检索引擎的构建方法构建所得图像检索引擎中检索得到参考场景图像。

本公开第二方面实施例提出的用于车辆的场景图像获取方法，通过获取车辆的行驶场景图像，确定行驶场景图像的待检索特征向量，根据待检索特征向量，从图像检索引擎中检索得到参考场景图像，由此，可以基于行驶场景图像的待检索特征向量快速从图像检索引擎中检索得到参考场景图像，以有效提升参考场景图像的可靠性和获取效率，从而使车辆能够获得更为全面的驾驶感知信息，提升车辆自动驾驶控制的安全性。

本公开第三方面实施例提出的图像检索引擎的构建装置，包括：第一获取模块，用于采集车辆的初始场景图像和场景点云数据；生成模块，用于根据所述场景点云数据，生成与所述初始场景图像对应的图像信息；第一处理模块，用于根据所述图像信息处理所述初始场景图像，得到多个目标场景图像；第二处理模块，用于将所述多个目标场景图像存储至初始检索引擎中，得到图像检索引擎

本公开第三方面实施例提出的图像检索引擎的构建装置，通过采集车辆的初始场景图像和场景点云数据，根据场景点云数据，生成与初始场景图像对应的图像信息，根据图像信息处理初始场景图像，得到多个目标场景图像，将多个目标场景图像存储至初始检索引擎中，得到图像检索引擎，能够结合车辆的初始场景图像和场景点云数据有效提升目标场景图像的表征效果，能够有效提升所得图像检索引擎中图像数据的全面性，从而为车辆的图像检索过程提供可靠的图像数据。

本公开第四方面实施例提出的用于车辆的场景图像获取装置，包括：第二获取模块，用于获取车辆的行驶场景图像；确定模块，用于确定所述行驶场景图像的待检索特征向量；第三处理模块，用于根据所述待检索特征向量，从本公开第三方面实施例提出的图像检索引擎的构建装置构建所得图像检索引擎中检索得到参考场景图像。

本公开第四方面实施例提出的用于车辆的场景图像获取装置，通过获取车辆的行驶场景图像，确定行驶场景图像的待检索特征向量，根据待检索特征向量，从图像检索引擎中检索得到参考场景图像，由此，可以基于行驶场景图像的待检索特征向量快速从图像检索引擎中检索得到参考场景图像，以有效提升参考场景图像的可靠性和获取效率，从而使车辆能够获得更为全面的驾驶感知信息，提升车辆自动驾驶控制的安全性。

本公开第五方面实施例提出了一种车辆，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：实现如本公开第一方面实施例提出的图像检索引擎的构建方法，或者实现如本公开第二方面实施例提出的用于车辆的场景图像获取方法。

本公开第六方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的图像检索引擎的构建方法，或者实现如本公开第二方面实施例提出的用于车辆的场景图像获取方法。

本公开第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本公开第一方面实施例提出的图像检索引擎的构建方法，或者执行如本公开第二方面实施例提出的用于车辆的场景图像获取方法。

上述技术方案中的优点或有益效果至少包括：通过采集车辆的初始场景图像和场景点云数据，根据场景点云数据，生成与初始场景图像对应的图像信息，根据图像信息处理初始场景图像，得到多个目标场景图像，将多个目标场景图像存储至初始检索引擎中，得到图像检索引擎，能够结合车辆的初始场景图像和场景点云数据有效提升目标场景图像的表征效果，能够有效提升所得图像检索引擎中图像数据的全面性，从而为车辆的图像检索过程提供可靠的图像数据。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本公开一实施例提出的图像检索引擎的构建方法的流程示意图；

图2是本公开另一实施例提出的图像检索引擎的构建方法的流程示意图；

图3是本公开另一实施例提出的图像检索引擎的构建方法的流程示意图；

图4是本公开一实施例提出的用于车辆的场景图像获取方法的流程示意图；

图5是本公开另一实施例提出的用于车辆的场景图像获取方法的流程示意图；

图6是本公开实施例中图像检索处理流程示意图；

图7是本公开一实施例提出的图像检索引擎的构建装置的结构示意图；

图8是本公开另一实施例提出的图像检索引擎的构建装置的结构示意图；

图9是本公开一实施例提出的用于车辆的场景图像获取装置的结构示意图；

图10是本公开另一实施例提出的用于车辆的场景图像获取装置的结构示意图；

图11是本公开一实施例提出的车辆的结构示意图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1是本公开一实施例提出的图像检索引擎的构建方法的流程示意图。

其中，需要说明的是，本实施例的图像检索引擎的构建方法的执行主体为图像检索引擎的构建装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在终端设备中。

本实施例中的图像检索引擎的构建方法可以应用于终端设备，终端设备，是一种经由通信设施向其他设备发送数据或接收其他设备数据的设备，也即是说，该终端设备可以例如为能够进行网络通信连接的智能手机、智能手表、便携式计算机、车载设备等，对此不做限制。

如图1所示，该图像检索引擎的构建方法，包括：

S101：采集车辆的初始场景图像和场景点云数据。

其中，车辆在行驶过程中对自身所处场景捕获相应的图像，可以被称为场景图像。而初始场景图像，是指未经处理的场景图像。

举例而言，可以在车辆上预先配置摄像装置，由摄像装置实时地捕获车辆所处场景周围的图像作为初始场景图像，或者，也可以预先建立车辆与远程驾驶控制平台，获取远程驾驶控制平台侧预存的与该场景的位置匹配的图像作为初始场景图像，对此不做限制。

本公开实施例中，可以基于车辆所处环境建立三维坐标系，其中，该三维坐标系中一组向量的集合可以称为场景点云数据。该场景点云数据，可以包含有三维坐标信息，有些还可能包括该点对应的RGB颜色、灰度值、深度以及分割结果等信息。

本公开实施例中，可以预先在本公开实施例的执行主体中配置场景点云数据获取装置，例如激光雷达(2D/3D)、立体摄像机等，以获取车辆对应的场景点云数据。

S102：根据场景点云数据，生成与初始场景图像对应的图像信息。

其中，图像信息，是指基于场景点云数据所生成的与初始场景图像对应的相关信息，如初始场景图像中的轮廓信息、灰度值信息等。该图像信息，可以指示后续针对初始场景图像的处理过程。

本公开实施例中，在根据场景点云数据，生成与初始场景图像对应的图像信息时，可以是基于场景点云数据确定初始场景图像的颜色信息，并基于该颜色信息生成与初始场景图像对应的图像信息，或者，还可以根据场景点云数据确定场景图像的几何位置，并基于该几何位置生成与初始场景图像对应的图像信息，对此不做限制。

可选的，一些实施例中，初始场景图像包括：检测目标，在根据场景点云数据，生成与初始场景图像对应的图像信息时，可以是根据场景点云数据，确定检测目标的空间检测框，根据空间检测框，生成与初始场景图像对应的图像信息，可以基于空间检测框有效提升图像信息确定过程对于检测目标的针对性，能够有效降低图像信息中的冗余信息，从而有效提升图像信息的实用性。

其中，检测目标，可以是指初始场景图像中待检测的物体，例如车辆所行驶道路中的障碍物、其他车辆、道路标识等，该检测目标的数量可以是一个或多个，对此不做限制。

其中，空间检测框，是指检测目标的边界框，可以对场景点云数据进行解析处理，以得到检测目标的边界框检测坐标、方向、尺度等信息，而后，根据边界框检测信息确定空间检测框。

本公开实施例中，当根据场景点云数据，生成与初始场景图像对应的图像信息时，所得图像信息可以为后续初始场景图像的处理过程提供可靠的执行依据。

S103：根据图像信息处理初始场景图像，得到多个目标场景图像。

其中，目标场景图像，可以是多个车辆行驶至相同场景位置时对场景中检测目标成像得到，或者，也可以是云平台基于该场景位置，以及实时的天气状况信息进行图像建模所得到的图像，而目标场景图像的数量可以是多个，从而保证目标场景图像能够覆盖尽可能多样化的场景状况，对此不做限制。

本公开实施例中，在根据图像信息处理初始场景图像，得到多个目标场景图像时，可以是基于多个图像信息对初始场景图像进行掩膜处理，得到多个掩膜处理图像作为目标场景图像，或者，还可以基于多个图像信息对初始场景图像进行图像增强和复原处理，并将处理后所得到的多个图像作为目标场景图像，对此不做限制。

本公开实施例中，当根据图像信息处理初始场景图像，得到多个目标场景图像时，可以基于图像信息，有效提升所得目标场景图像的表征效果。

S104：将多个目标场景图像存储至初始检索引擎中，得到图像检索引擎。

其中，初始检索引擎可以是预先构建的，该初始检索引擎可以例如是向量搜索引擎Milvus，或者，也可以是其他任意可能的支持检索的引擎，对此不做限制。

本公开实施例中，在将多个目标场景图像存储至初始检索引擎中，得到图像检索引擎时，可以是获取目标场景图像对应场景中的多模态数据，而后将多个目标图像存储至初始检索引擎中，并将多模态数据配置为对应目标场景图像的检索索引。该多模态数据可以例如是外部电子设备传输的语音数据、文本数据、视频数据、指令数据等等，或者，还可以是车辆所采集的音频数据，对此不做限制。

本实施例中，通过采集车辆的初始场景图像和场景点云数据，根据场景点云数据，生成与初始场景图像对应的图像信息，根据图像信息处理初始场景图像，得到多个目标场景图像，将多个目标场景图像存储至初始检索引擎中，得到图像检索引擎。通过本公开，能够结合车辆的初始场景图像和场景点云数据有效提升目标场景图像的表征效果，能够有效提升所得图像检索引擎中图像数据的全面性，从而为车辆的图像检索过程提供可靠的图像数据。

图2是本公开另一实施例提出的图像检索引擎的构建方法的流程示意图。

如图2所示，该车辆驾驶控制方法，包括：

S201：采集车辆的初始场景图像和场景点云数据，其中，初始场景图像包括：检测目标。

S202：根据场景点云数据，确定检测目标的空间检测框。

针对S201-S202的描述说明可以具体参见上述实施例，在此不再赘述。

S203：将空间检测框投影至初始场景图像中，得到检测目标对应于初始场景图像中的图像检测框。

其中，图像检测框，是指空间检测框进行降维映射所得到的边界框，该图像检测框，具体例如对三维3D信息进行二维2D映射所得的边界框。

本公平实施例中，在将空间检测框投影至初始场景图像中，得到检测目标对应于初始场景图像中的图像检测框时，可以是将空间检测框和初始场景图像输入至预训练的机器学习模型中，以得到检测目标对应于初始场景图像中的图像检测框，或者，还可以基于关系表，该关系表中可以记载与空间检测框对应的图像检测框，对此不做限制。

可选的，一些实施例中，在将空间检测框投影至初始场景图像中，得到检测目标对应于初始场景图像中的图像检测框时，可以是确定空间检测框的多个检测点，从初始场景图像中识别出与每个检测点对应的图像像素点，根据每个图像像素点在初始场景图像中的像素点位置，形成图像检测框，能够基于检测点与像素点之间的映射关系，实现空间检测信息的快速映射，可以有效提升所得图像检测框的检测准确性。

S204：将图像检测框作为图像信息。

也即是说，本公开实施例在根据场景点云数据，确定检测目标的空间检测框之后，可以将空间检测框投影至初始场景图像中，得到检测目标对应于初始场景图像中的图像检测框，将图像检测框作为图像信息，能够实现空间检测框的降维处理，有效提升所得图像检测框与初始场景图像之间的维度一致性，从而有效提升图像信息在初始场景图像处理过程中的指示效果。

S205：根据图像信息处理初始场景图像，得到多个目标场景图像。

S206：将多个目标场景图像存储至初始检索引擎中，得到图像检索引擎。

针对S205-S206的描述说明可以具体参见上述实施例，在此不再赘述。

本实施例中，通过将空间检测框投影至初始场景图像中，得到检测目标对应于初始场景图像中的图像检测框，将图像检测框作为图像信息，能够实现空间检测框的降维处理，有效提升所得图像检测框与初始场景图像之间的维度一致性，从而有效提升图像信息在初始场景图像处理过程中的指示效果。通过确定空间检测框的多个检测点，从初始场景图像中识别出与每个检测点对应的图像像素点，根据每个图像像素点在初始场景图像中的像素点位置，形成图像检测框，能够基于检测点与像素点之间的映射关系，实现空间检测信息的快速映射，可以有效提升所得图像检测框的检测准确性。

图3是本公开另一实施例提出的图像检索引擎的构建方法的流程示意图。

如图3所示，该图像检索引擎的构建方法，包括：

S301：采集车辆的初始场景图像和场景点云数据，其中，初始场景图像包括：检测目标。

S302：根据场景点云数据，确定检测目标的空间检测框。

S303：将空间检测框投影至初始场景图像中，得到检测目标对应于初始场景图像中的图像检测框。

S304：将图像检测框作为图像信息。

针对S301-S304的描述说明可以具体参见上述实施例，在此不再赘述。

S305：基于每个图像检测框对初始场景图像进行裁剪处理，得到裁剪处理图像。

其中，裁剪处理图像，是指初始场景图像经由裁剪处理所得到的图像。

可以理解的是，同一个初始场景图像中可能包括多个检测目标，由此，单个处理场景图像经由裁剪处理后，可能得到多个裁剪处理图像。

S306：将多个裁剪处理图像分别作为多个目标场景图像。

也即是说，本公开实施例在将图像检测框作为图像信息之后，可以基于每个图像检测框对初始场景图像进行裁剪处理，得到裁剪处理图像，将多个裁剪处理图像分别作为多个目标场景图像，由此，可以有效去除初始场景图像中的干扰因素，有效提升目标场景图像对相应检测目标的表征效果。

S307：对每个目标场景图像进行图像特征识别，得到图像特征向量。

其中，用于描述初始场景图像的图像维度的特征，可以被称为图像特征，初始场景图像中可能包括一些检测目标(检测目标例如障碍物、其他车辆、道路标识等等)，则用于基于图像维度描述这些检测目标的特征，可以被称为检测目标特征，上述图像特征，可以用于体现出初始场景图像是否足够清楚，质量是否符合条件，而检测目标特征，可以用于体现出初始场景图像是否能够支持检测出有效的检测目标。

其中，可以将图像特征映射至向量空间中，以得到映射的结果作为图像特征向量。

S308：将每个目标场景图像存储至初始检索引擎中，并将图像特征向量配置为目标场景图像的检索索引，以得到图像检索引擎。

可选的，一些实施例中，在对每个目标场景图像进行图像特征识别，得到图像特征向量之后，还可以对每个目标场景图像进行文本特征识别，得到文本特征向量，将图像特征向量和文本特征向量共同配置为目标场景图像的检索索引，使得检索索引能够有效携带图像维度和文本维度的信息，能够有效降低检索索引存储和运算所消耗的资源，从而提升自动驾驶控制的响应效率。

其中，文本特征，是指目标场景数据对应文本模态数据的特征。将所得文本特征映射至向量空间中，以得到映射的结果作为文本特征向量。

也即是说，本公开实施例中，在将多个裁剪处理图像分别作为多个目标场景图像之后，可以对每个目标场景图像进行图像特征识别，得到图像特征向量，将每个目标场景图像存储至初始检索引擎中，并将图像特征向量配置为目标场景图像的检索索引，以得到图像检索引擎，由此，图像特征向量可以有效表征目标场景图像的图像特性信息，从而为每个目标场景图像提供可靠的检索依据，可以有效提升所得图像检索引擎的便利性。

本实施例中，通过基于每个图像检测框对初始场景图像进行裁剪处理，得到裁剪处理图像，将多个裁剪处理图像分别作为多个目标场景图像，由此，可以有效去除初始场景图像中的干扰因素，有效提升目标场景图像对相应检测目标的表征效果。通过每个目标场景图像进行图像特征识别，得到图像特征向量，将每个目标场景图像存储至初始检索引擎中，并将图像特征向量配置为目标场景图像的检索索引，以得到图像检索引擎，由此，图像特征向量可以有效表征目标场景图像的图像特性信息，从而为每个目标场景图像提供可靠的检索依据，可以有效提升所得图像检索引擎的便利性。通过对每个目标场景图像进行图像特征识别，得到图像特征向量，对每个目标场景图像进行文本特征识别，得到文本特征向量，将图像特征向量和文本特征向量共同配置为目标场景图像的检索索引，使得检索索引能够有效携带图像维度和文本维度的信息，能够有效降低检索索引存储和运算所消耗的资源，从而提升自动驾驶控制的响应效率。

图4是本公开一实施例提出的用于车辆的场景图像获取方法的流程示意图。

其中，需要说明的是，本实施例的用于车辆的场景图像获取方法的执行主体为用于车辆的场景图像获取装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在终端设备中。

本实施例中的用于车辆的场景图像获取方法可以应用于终端设备，终端设备，是一种经由通信设施向其他设备发送数据或接收其他设备数据的设备，也即是说，该终端设备可以例如为能够进行网络通信连接的智能手机、智能手表、便携式计算机、车载设备等，对此不做限制。

如图4所示，该用于车辆的场景图像获取方法，包括：

S401：获取车辆的行驶场景图像。

其中，车辆对应行驶场景中的图像，可以被称为行驶场景图像。

可以理解的是，在大多数自动驾驶情况下可以从行驶场景图像中获取到符合需求的驾驶感知信息，而如果行驶中遇到不常见的路况、难以检测和识别的检测目标或是受天气影响的图像模糊等问题，则可能导致不能从行驶场景图像中获取到符合需求的驾驶感知信息。本实施例在获取场景图像之后，可以基于一定的处理方法对该行驶场景图像进行扩展处理，具体可以参见后续实施例。

S402：确定行驶场景图像的待检索特征向量。

其中，待检索特征向量，是指被用于作为行驶场景图像对应检索依据的特征向量。

举例而言，可以对行驶场景图像进行图像标记处理，并将标记结果信息映射至向量空间得到待检索特征向量，或者，可以对行驶场景图像中像素特征进行处理，并将处理得到的像素特征信息映射至向量空间得到待检索特征向量，或者，还可以对行驶场景图像的语义进行分析，并将所得图像语义信息映射至向量空间得到待检索特征向量，或者，还可以对行驶场景图像中的检测目标进行框选标记，并将框选标记信息映射至向量空间得到待检索特征向量，对此不做限制。

S403：根据待检索特征向量，从上述图像检索引擎的构建方法构建所得图像检索引擎中检索得到参考场景图像。

其中，基于待检索特征向量，从图像检索引擎检索得到的目标场景图像可以是参考场景图像。

其中，图像检索引擎中可以预先存储有多个参考场景图像，以及与各个参考场景图像对应的检索索引，该检索索引可以是对参考场景图像所描述的检测目标进行框选标记所得到的信息，或者，也可以是与待检索特征向量的类型相同的信息，可以采用待检索特征向量的获取方式一并处理参考场景图像，得到参考场景图像的检索索引。

其中，图像检索引擎中的待检索特征向量，能够避免占用过多的存储资源消耗，并且基于最小的表示消耗即可得到较为准确的检索匹配结果。

其中，该参考场景图像可以是多个车辆行驶至相同场景位置时所采集的图像，或者，也可以是云平台对该场景位置，以及实时的天气状况信息进行图像建模所得到的图像，而参考场景图像的数量可以是多个，从而保证参考场景图像能够覆盖尽可能多样化的场景状况，对此不做限制。

可以理解的是，参考场景图像与行驶场景图像可以表征同一场景中的特征信息，而参考场景图像对于场景的表征效果更为全面，可以为车辆提供更为准确的驾驶感知信息。

也即是说，该参考场景图像是基于行驶场景图像的待检索特征向量对行驶场景图像扩展处理得到，由此，有效地扩展图像的数量，并且参考场景图像是基于行驶场景图像的待检索特征向量确定的，从而保障参考场景图像与场景的适配性，并能够有效避免图像数据的缺乏对获得驾驶感知信息造成影响。

本实施例中，通过获取车辆的行驶场景图像，确定行驶场景图像的待检索特征向量，根据待检索特征向量，从图像检索引擎中检索得到参考场景图像，由此，可以基于行驶场景图像的待检索特征向量快速从图像检索引擎中检索得到参考场景图像，以有效提升参考场景图像的可靠性和获取效率，从而使车辆能够获得更为全面的驾驶感知信息，提升车辆自动驾驶控制的安全性。

图5是本公开另一实施例提出的用于车辆的场景图像获取方法的流程示意图。

如图5所示，该用于车辆的场景图像获取方法，包括：

S501：获取车辆的行驶场景图像。

针对S3501的描述说明可以具体参见上述实施例，在此不再赘述。

S502：确定行驶场景图像的图像特征向量作为待检索特征向量。

S503：确定与行驶场景图像相关的文本信息，并获取文本信息的文本特征向量作为待检索特征向量。

其中，可以预先通过可视化的网络Web界面供用户(驾驶用户或者后台车辆管理用户)进行图像和文本数据的提交，而后，将用户提交的图像作为行驶场景图像，将文本数据作为与行驶场景图像相关的文本信息，还可以支持基于网络Web界面对行驶场景图像、参考场景图像、文本信息、驾驶感知信息的可视化展示。

也即是说，本公开实施例在获取车辆的行驶场景图像之后，可以确定行驶场景图像的图像特征向量作为待检索特征向量，和/或确定与行驶场景图像相关的文本信息，并获取文本信息的文本特征向量作为待检索特征向量，能够实现灵活地确定待检索特征向量的生成策略，并且有效丰富待检索特征向量的生成维度，使得待检索特征向量的生成方式能够有效地适配于自动驾驶控制的场景需求。

S504：将待检索特征向量提供至图像检索引擎中，并确定图像检索引擎中与待检索特征向量匹配的检索索引。

S505：获取图像检索引擎检索所得与匹配的检索索引对应目标场景图像作为参考场景图像。

举例而言，用户提供的行驶场景图像可以进行线上的即时特征提取(得到图像特征向量或者文本特征向量)：通过网络接口将用户输入场景图像和/或文本模态数据输入到相应的图像或多模态模型，以得到图像特征向量或者文本特征向量，并通过图像检索引擎得到相似度最高的搜索结果的列表，再通过网络Web界面可视化地反馈至用户，使得用户可以根据自身需要下载参考场景图像或获取全部相似的参考场景图像的存储路径，用于后续的标注或研究工作。

举例而言，如图6所示，图6是本公开实施例中图像检索处理流程示意图，包括车端数据采集部分、目标检测部分和图像检索部分，其中，车端数据采集部分、目标检测部分的数据结果可以用于在线下构建图像检索引擎，而所得图像检索引擎能够被用于提供至线上的图像检索部分，以支持实际驾驶控制场景中及时地获取与行驶场景图像对应的参考场景图像，辅助确定自动驾驶控制策略。

也即是说，本公开实施例中，在确定与行驶场景图像相关的文本信息，并获取文本信息的文本特征向量作为待检索特征向量之后，可以将待检索特征向量提供至图像检索引擎中，并确定图像检索引擎中与待检索特征向量匹配的检索索引，获取图像检索引擎检索所得与匹配的检索索引对应目标场景图像作为参考场景图像，能够基于匹配过程有效提升检索效果，从而有效提升所得参考场景图像与行驶场景图像之间的适配性。

本公开实施例中，通过确定行驶场景图像的图像特征向量作为待检索特征向量，和/或确定与行驶场景图像相关的文本信息，并获取文本信息的文本特征向量作为待检索特征向量，能够实现灵活地确定待检索特征向量的生成策略，并且有效丰富待检索特征向量的生成维度，使得待检索特征向量的生成方式能够有效地适配于自动驾驶控制的场景需求。通过将待检索特征向量提供至图像检索引擎中，并确定图像检索引擎中与待检索特征向量匹配的检索索引，获取图像检索引擎检索所得与匹配的检索索引对应目标场景图像作为参考场景图像，能够基于匹配过程有效提升检索效果，从而有效提升所得参考场景图像与行驶场景图像之间的适配性。

图7是本公开一实施例提出的图像检索引擎的构建装置的结构示意图。

如图7所示，该图像检索引擎的构建装置70包括：

第一获取模块701，用于采集车辆的初始场景图像和场景点云数据；

生成模块702，用于根据场景点云数据，生成与初始场景图像对应的图像信息；

第一处理模块703，用于根据图像信息处理初始场景图像，得到多个目标场景图像；

第二处理模块704，用于将多个目标场景图像存储至初始检索引擎中，得到图像检索引擎。

在本公开的一些实施例中，如图8所示，图8是本公开另一实施例提出的图像检索引擎的构建装置的结构示意图，初始场景图像包括：检测目标；生成模块702，包括：

第一确定子模块7021，用于根据场景点云数据，确定检测目标的空间检测框；

生成子模块7022，用于根据空间检测框，生成与初始场景图像对应的图像信息。

在本公开的一些实施例中，生成子模块7022，具体用于：

将空间检测框投影至初始场景图像中，得到检测目标对应于初始场景图像中的图像检测框；

将图像检测框作为图像信息。

在本公开的一些实施例中，生成子模块7022，还用于：

确定空间检测框的多个检测点；

从初始场景图像中识别出与每个检测点对应的图像像素点；

根据每个图像像素点在初始场景图像中的像素点位置，形成图像检测框。

在本公开的一些实施例中，第一处理模块703，具体用于：

基于每个图像检测框对初始场景图像进行裁剪处理，得到裁剪处理图像；

将多个裁剪处理图像分别作为多个目标场景图像。

在本公开的一些实施例中，第二处理模块704，具体用于：

对每个目标场景图像进行图像特征识别，得到图像特征向量；

将每个目标场景图像存储至初始检索引擎中，并将图像特征向量配置为目标场景图像的检索索引，以得到图像检索引擎。

在本公开的一些实施例中，第二处理模块704，还用于：

对每个目标场景图像进行文本特征识别，得到文本特征向量；

将图像特征向量和文本特征向量共同配置为目标场景图像的检索索引。

与上述图1至图3实施例提供的图像检索引擎的构建方法相对应，本公开还提供一种图像检索引擎的构建装置，由于本公开实施例提供的图像检索引擎的构建装置与上述图1至图3实施例提供的图像检索引擎的构建方法相对应，因此在图像检索引擎的构建方法的实施方式也适用于本公开实施例提供的图像检索引擎的构建装置，在本公开实施例中不再详细描述。

本实施例中，通过采集车辆的初始场景图像和场景点云数据，根据场景点云数据，生成与初始场景图像对应的图像信息，根据图像信息处理初始场景图像，得到多个目标场景图像，将多个目标场景图像存储至初始检索引擎中，得到图像检索引擎。通过本公开，能够结合车辆的初始场景图像和场景点云数据有效提升目标场景图像的表征效果，能够有效提升所得图像检索引擎中图像数据的全面性，从而为车辆的图像检索过程提供可靠的图像数据。

图9是本公开一实施例提出的用于车辆的场景图像获取装置的结构示意图。

如图9所示，该用于车辆的场景图像获取装置90包括：

第二获取模块901，用于获取车辆的行驶场景图像；

确定模块902，用于确定行驶场景图像的待检索特征向量；

第三处理模块903，用于根据待检索特征向量，从如上述权利要求11-17中任一项的图像检索引擎的构建装置构建所得图像检索引擎中检索得到参考场景图像。

在本公开的一些实施例中，如图10所示，图10是本公开另一实施例提出的用于车辆的场景图像获取装置的结构示意图，确定模块902，具体用于：

确定行驶场景图像的图像特征向量作为待检索特征向量；和/或

确定与行驶场景图像相关的文本信息，并获取文本信息的文本特征向量作为待检索特征向量。

在本公开的一些实施例中，第三处理模块903，包括：

第二确定子模块9031，用于将待检索特征向量提供至图像检索引擎中，并确定图像检索引擎中与待检索特征向量匹配的检索索引；

获取子模块9032，用于获取图像检索引擎检索所得与匹配的检索索引对应目标场景图像作为参考场景图像。

与上述图4至图5实施例提供的用于车辆的场景图像获取方法相对应，本公开还提供一种用于车辆的场景图像获取装置，由于本公开实施例提供的用于车辆的场景图像获取装置与上述图4至图5实施例提供的用于车辆的场景图像获取方法相对应，因此在用于车辆的场景图像获取方法的实施方式也适用于本公开实施例提供的用于车辆的场景图像获取装置，在本公开实施例中不再详细描述。

本实施例中，通过获取车辆的行驶场景图像，确定行驶场景图像的待检索特征向量，根据待检索特征向量，从图像检索引擎中检索得到参考场景图像，由此，可以基于行驶场景图像的待检索特征向量快速从图像检索引擎中检索得到参考场景图像，以有效提升参考场景图像的可靠性和获取效率，从而使车辆能够获得更为全面的驾驶感知信息，提升车辆自动驾驶控制的安全性。

为了实现上述实施例，本公开还提出一种车辆110，如图11所示，图11是本公开实施例中的车辆的结构示意图，包括：处理器1101、存储器1102以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的图像检索引擎的构建车辆驾驶控制方法，或者，实现如本公开前述实施例提出的用于车辆的场景图像获取方法。

与上述图1至图3实施例提供的图像检索引擎的构建方法和上述图4至图5实施例提供的用于车辆的场景图像获取方法相对应，本公开还提供一种车辆，由于本公开实施例提供的车辆与上述图1至图3实施例提供的图像检索引擎的构建方法和上述图4至图5实施例提供的用于车辆的场景图像获取方法相对应，因此在图像检索引擎的构建方法的实施方式和在用于车辆的场景图像获取方法的实施例也适用于本公开实施例提供的车辆，在本公开实施例中不再详细描述。

为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开前述实施例提出的图像检索引擎的构建方法，或者，实现如本公开前述实施例提出的用于车辆的场景图像获取方法。

为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的图像检索引擎的构建方法，或者，实现如本公开前述实施例提出的用于车辆的场景图像获取方法。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或适应性变化，这些变型、用途或适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (22)

1.一种图像检索引擎的构建方法，其特征在于，包括：

采集车辆的初始场景图像和场景点云数据；

根据所述场景点云数据，生成与所述初始场景图像对应的图像信息；

根据所述图像信息处理所述初始场景图像，得到多个目标场景图像；

将所述多个目标场景图像存储至初始检索引擎中，得到图像检索引擎。

2.如权利要求1所述的方法，其特征在于，所述初始场景图像包括：检测目标；所述根据所述场景点云数据，生成与所述初始场景图像对应的图像信息，包括：

根据所述场景点云数据，确定所述检测目标的空间检测框；

根据所述空间检测框，生成与所述初始场景图像对应的图像信息。

3.如权利要求2所述的方法，其特征在于，所述根据所述空间检测框，生成与所述初始场景图像对应的图像信息，包括：

将所述空间检测框投影至所述初始场景图像中，得到所述检测目标对应于所述初始场景图像中的图像检测框；

将所述图像检测框作为所述图像信息。

4.如权利要求3所述的方法，其特征在于，所述将所述空间检测框投影至所述初始场景图像中，得到所述检测目标对应于所述初始场景图像中的图像检测框，包括：

确定所述空间检测框的多个检测点；

从所述初始场景图像中识别出与每个所述检测点对应的图像像素点；

根据每个所述图像像素点在所述初始场景图像中的像素点位置，形成所述图像检测框。

5.如权利要求3所述的方法，其特征在于，所述根据所述图像信息处理所述初始场景图像，得到多个目标场景图像，包括：

基于每个所述图像检测框对所述初始场景图像进行裁剪处理，得到裁剪处理图像；

将多个所述裁剪处理图像分别作为所述多个目标场景图像。

6.如权利要求3所述的方法，其特征在于，所述将所述多个目标场景图像存储至初始检索引擎中，得到图像检索引擎，包括：

对每个所述目标场景图像进行图像特征识别，得到图像特征向量；

将每个所述目标场景图像存储至初始检索引擎中，并将所述图像特征向量配置为所述目标场景图像的检索索引，以得到所述图像检索引擎。

7.如权利要求6所述的方法，其特征在于，所述将所述多个目标场景图像存储至初始检索引擎中，得到图像检索引擎，还包括：

对每个所述目标场景图像进行文本特征识别，得到文本特征向量；

将所述图像特征向量和所述文本特征向量共同配置为所述目标场景图像的所述检索索引。

8.一种用于车辆的场景图像获取方法，其特征在于，包括：

获取车辆的行驶场景图像；

确定所述行驶场景图像的待检索特征向量；

根据所述待检索特征向量，从如上述权利要求1-7中任一项所述的图像检索引擎的构建方法构建所得图像检索引擎中检索得到参考场景图像。

9.如权利要求8所述的方法，其特征在于，所述确定所述行驶场景图像的待检索特征向量，包括：

确定所述行驶场景图像的图像特征向量作为所述待检索特征向量；和/或

确定与所述行驶场景图像相关的文本信息，并获取所述文本信息的文本特征向量作为所述待检索特征向量。

10.如权利要求8所述的方法，其特征在于，所述根据所述待检索特征向量，从如上述权利要求1-7中任一项所述的图像检索引擎的构建方法构建所得图像检索引擎中检索得到参考场景图像，包括：

将所述待检索特征向量提供至所述图像检索引擎中，并确定所述图像检索引擎中与所述待检索特征向量匹配的检索索引；

获取所述图像检索引擎检索所得与所述匹配的检索索引对应目标场景图像作为所述参考场景图像。

11.一种图像检索引擎的构建装置，其特征在于，包括：

第一获取模块，用于采集车辆的初始场景图像和场景点云数据；

生成模块，用于根据所述场景点云数据，生成与所述初始场景图像对应的图像信息；

第一处理模块，用于根据所述图像信息处理所述初始场景图像，得到多个目标场景图像；

第二处理模块，用于将所述多个目标场景图像存储至初始检索引擎中，得到图像检索引擎。

12.如权利要求11所述的装置，其特征在于，所述初始场景图像包括：检测目标；所述生成模块，包括：

第一确定子模块，用于根据所述场景点云数据，确定所述检测目标的空间检测框；

生成子模块，用于根据所述空间检测框，生成与所述初始场景图像对应的图像信息。

13.如权利要求12所述的装置，其特征在于，所述生成子模块，具体用于：

将所述空间检测框投影至所述初始场景图像中，得到所述检测目标对应于所述初始场景图像中的图像检测框；

将所述图像检测框作为所述图像信息。

14.如权利要求13所述的装置，其特征在于，所述生成子模块，还用于：

确定所述空间检测框的多个检测点；

从所述初始场景图像中识别出与每个所述检测点对应的图像像素点；

根据每个所述图像像素点在所述初始场景图像中的像素点位置，形成所述图像检测框。

15.如权利要求13所述的装置，其特征在于，所述第一处理模块，具体用于：

基于每个所述图像检测框对所述初始场景图像进行裁剪处理，得到裁剪处理图像；

将多个所述裁剪处理图像分别作为所述多个目标场景图像。

16.如权利要求13所述的装置，其特征在于，所述第二处理模块，具体用于：

对每个所述目标场景图像进行图像特征识别，得到图像特征向量；

将每个所述目标场景图像存储至初始检索引擎中，并将所述图像特征向量配置为所述目标场景图像的检索索引，以得到所述图像检索引擎。

17.如权利要求16所述的装置，其特征在于，所述第二处理模块，还用于：

对每个所述目标场景图像进行文本特征识别，得到文本特征向量；

将所述图像特征向量和所述文本特征向量共同配置为所述目标场景图像的所述检索索引。

18.一种用于车辆的场景图像获取装置，其特征在于，包括：

第二获取模块，用于获取车辆的行驶场景图像；

确定模块，用于确定所述行驶场景图像的待检索特征向量；

第三处理模块，用于根据所述待检索特征向量，从如上述权利要求11-17中任一项所述的图像检索引擎的构建装置构建所得图像检索引擎中检索得到参考场景图像。

19.如权利要求18所述的装置，其特征在于，所述确定模块，具体用于：

确定所述行驶场景图像的图像特征向量作为所述待检索特征向量；和/或

确定与所述行驶场景图像相关的文本信息，并获取所述文本信息的文本特征向量作为所述待检索特征向量。

20.如权利要求18所述的装置，其特征在于，所述第三处理模块，包括：

第二确定子模块，用于将所述待检索特征向量提供至所述图像检索引擎中，并确定所述图像检索引擎中与所述待检索特征向量匹配的检索索引；

获取子模块，用于获取所述图像检索引擎检索所得与所述匹配的检索索引对应目标场景图像作为所述参考场景图像。

21.一种车辆，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

实现权利要求1～7中任一项所述方法的步骤，或者实现权利要求8～10中任一项所述方法的步骤。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的图像检索引擎的构建方法，或者，执行权利要求8-10中任一项所述的用于车辆的场景图像获取方法。

Images