CN117854042A - 一种驾车环境目标查询方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种驾车环境目标查询方法、装置、电子设备及存储介质，该方法通过获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息，将目标车辆外部环境信息、第一指示信息输入至目标查询模型，输出驾车过程中与第一指示信息对应的目标查询结果，目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到；本发明不仅能为目标对象提供车外物体或车外环境的信息查询功能，满足目标对象的车外物体或车外环境的信息查询需求，提升目标对象的体验，而且通过目标查询模型为目标对象提供目标查询结果，提高了目标查询的准确性。

Description

一种驾车环境目标查询方法、装置、电子设备及存储介质

技术领域

本申请涉及智能驾驶技术领域，具体涉及一种驾车环境目标查询方法、装置、电子设备及存储介质。

背景技术

在驾车过程中，驾驶员或乘客常常需要了解或查询车辆周围物体是什么、车辆周围物体与车辆的距离等信息。目前，相关技术只能对车外物体或车外环境进行显示，不能根据驾驶员或乘客的需求向驾驶员或乘客反馈车外物体的信息查询结果。

例如，公开号为CN103496339B的中国发明专利《一种通过3D显示汽车全景的显示系统及其实现方法》，公开了一种通过3D显示汽车全景的显示系统，该系统在中控屏上对车外全景图像进行视觉3D展示。

又如，公开号CN116095298A的中国发明专利《车外场景显示方法、头戴显示设备、终端设备及存储介质》，公开了一种车外场景显示方法，该方法通过头戴显示设备展示车外的全景图像。

因此，亟需在驾车环境下为驾驶员或乘客提供车外物体或车外环境的信息查询功能，满足驾驶员或乘客的对于车外物体或车外环境进行信息查询需求，提升驾驶员或乘客的体验。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种驾车环境目标查询方法、装置、电子设备及存储介质，以解决上述技术问题。

本发明提供的驾车环境目标查询方法，所述方法包括：获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息；将所述目标车辆外部环境信息、所述第一指示信息输入至目标查询模型，输出驾车过程中与所述第一指示信息对应的目标查询结果，所述目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到。

于本发明的一实施例中，由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练，得到所述目标查询模型的过程包括：获取所述样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息，所述样本车辆和所述目标车辆为相同类型的车辆；在所述样本车辆外部环境信息包括图像信息和位置信息时，基于所述图像信息和位置信息，建立空间立体模型；通过所述第二指示信息从所述空间立体模型中确定样本区域图像；对所述样本区域图像进行文本标注，得到文本标注信息；通过所述样本区域图像和所述文本标注信息对所述预设目标查询模型进行训练，得到所述目标查询模型。

于本发明的一实施例中，若所述预设目标查询模型包括：预设卷积神经网络模型、预设循环神经网络模型、预设分类器模型，则通过所述样本区域图像和所述文本标注信息对所述预设目标查询模型进行训练，得到所述目标查询模型的过程包括：将所述样本区域图像输入所述预设卷积神经网络模型，得到区域图像特征向量；将文本标注信息输入所述预设循环神经网络模型，得到文本特征向量；通过所述区域图像特征向量和所述文本特征向量输入所述预设分类器模型，得到目标预测信息；以最小化所述目标预测信息与所述文本标注信息之间的误差为目标，对所述预设卷积神经网络模型的参数、预设循环神经网络模型的参数、预设分类器模型的参数进行更新，分别得到更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型，将所述更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型进行组合，得到更新目标查询模型；将所述样本区域图像和所述文本标注信息输入所述更新目标查询模型，重新得到目标预测信息，以及在重新得到的目标预测信息与文本标注信息之间的误差达到最小值时，将更新目标查询模型作为所述目标查询模型。

于本发明的一实施例中，通过所述第二指示信息从所述空间立体模型中确定样本区域图像的过程包括：以所述第二指示信息中的视线方向、手势方向和语音指示方向中的至少一种，确定查询方向；将所述空间立体模型中与所述查询方向对应的图像作为样本区域图像。

于本发明的一实施例中，在得到目标查询模型之后，所述方法包括：获取测试车辆外部环境信息、目标对象对测试车辆发出的第三指示信息；其中，所述测试车辆与所述样本车辆为相同类型的车辆；将所述测试车辆外部环境信息、第三指示信息输入所述目标查询模型，得到测试精度；若所述测试精度达到预设精度，判定所述目标查询模型符合要求；若所述测试精度未达到所述预设精度，基于所述测试精度的负值建立损失函数，以最小化所述损失函数为目标，重复对所述目标查询模型进行训练，直到所述损失函数达到最小值。

于本发明的一实施例中，若所述图像信息包括移动物体图像信息和固定物体图像信息，所述位置信息包括移动物体与样本车辆之间的第一相对位置信息、固定物体与样本车辆之间的第二相对位置信息，则基于所述图像信息和位置信息，建立空间立体模型的过程包括：将所述移动物体图像信息与所述第一相对位置信息相关联，得到移动物体图像信息与样本车辆的第三相对位置信息；将所述固定物体图像信息与所述第二相对位置信息相关联，得到固定物体图像信息与样本车辆的第四相对位置信息；基于所述第三相对位置信息、第四相对位置信息，将所述移动物体图像信息、固定物体图像信息叠加显示在预设显示屏上，得到所述空间立体模型。

于本发明的一实施例中，在得到目标查询结果之后，所述方法包括：若所述目标查询结果的数量小于或等于第一预设数量阈值，将所述目标查询结果作为输出查询结果；若所述目标查询结果的数量大于所述第一预设数量阈值，获取语音指示信息，通过所述语音指示信息继续对所述目标查询模型进行训练，重新得到目标查询模型，并将所述语音指示信息输入重新得到的目标查询模型，得到调整后的目标查询结果，直到调整后的目标查询结果的数量小于或等于所述第一预设数量阈值。

根据本发明实施例的一个方面，提供了一种驾车环境目标查询装置，所述装置包括：信息获取模块，用于获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息；结果查询模块，用于将所述目标车辆外部环境信息、所述第一指示信息输入至目标查询模型，输出驾车过程中与所述第一指示信息对应的目标查询结果，所述目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到。

根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上述所述的驾车环境目标查询方法。

根据本发明实施例的一个方面，提供了一种计算机存储介质，包括：其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述所述的驾车环境目标查询方法。

本发明的有益效果：本发明获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息，将目标车辆外部环境信息、第一指示信息输入至目标查询模型，输出驾车过程中与第一指示信息对应的目标查询结果，目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到，以上过程，不仅能为目标对象提供车外物体或车外环境的信息查询功能，满足目标对象的车外物体或车外环境的信息查询需求，提升目标对象的体验，而且通过目标查询模型为目标对象提供目标查询结果，提高了目标查询的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请的一示例性实施例示出的示例性系统架构的示意图；

图2是本申请的一示例性实施例示出的驾车环境目标查询方法的流程图；

图3是本申请的另一示例性实施例示出的驾车环境目标查询方法的流程图；

图4是本申请的另一示例性实施例示出的对预设目标查询模型进行训练，得到目标查询模型的流程图；

图5是本申请的一示例性实施例示出的驾车环境目标查询装置的框图；

图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

图1是本申请的一示例性实施例示出的示例性系统架构的示意图。

参照图1所示，系统架构可以包括采集设备101和计算机设备102。其中，计算机设备102可以是台式图形处理器(Graphic Processing Unit，GPU)计算机、GPU计算集群、神经网络计算机等中的至少一种。相关技术人员可以使用该计算机设备102通过获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息，将目标车辆外部环境信息、第一指示信息输入至目标查询模型，输出驾车过程中与第一指示信息对应的目标查询结果，目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到。采集设备101用于采集目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息，在本实施例中采集设备101采用摄像头、激光雷达、惯性测量单元(Inertial measurement unit，IMU)等设备对目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息进行采集，并提供给计算机设备102进行处理。

示意性的，计算机设备102在获取到采集设备101的目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息之后，将目标车辆外部环境信息、第一指示信息输入至目标查询模型，输出驾车过程中与第一指示信息对应的目标查询结果，目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到，不仅能为目标对象提供车外物体或车外环境的信息查询功能，满足目标对象的车外物体或车外环境的信息查询需求，提升目标对象的体验，而且通过目标查询模型为目标对象提供目标查询结果，提高了目标查询的准确性。

需要说明的是，本申请实施例所提供的驾车环境目标查询方法一般由计算机设备102执行，相应地，驾车环境目标查询装置一般设置于计算机设备102中。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图2是本申请的一示例性实施例示出的驾车环境目标查询方法的流程图，该驾车环境目标查询方法可以计算处理设备来执行，该计算处理设备可以是图1中所示的计算机设备102。参照图2所示，该驾车环境目标查询方法至少包括步骤S210至步骤S220，详细介绍如下：

步骤S210，获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息。

在本申请的一实施例中，目标车辆外部环境信息通过摄像头、雷达、惯性测量单元等设备进行采集，目标对象对目标车辆发出的第一指示信息通过车内安装的摄像头、语音采集器等设备进行采集。

在本实施例中，目标车辆的类型可以为轿车、运动型多用途汽车、货车等，目标对象可以为驾驶人员或乘客等，第一指示信息可以为视线方向、手势方向或语音指示方向等。

步骤S220，将目标车辆外部环境信息、第一指示信息输入至目标查询模型，输出驾车过程中与第一指示信息对应的目标查询结果，目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到。

在本实施例中，在得到目标车辆外部环境信息之后，目标车辆外部环境信息包括图像信息和位置信息，基于图像信息和位置信息，建立空间立体模型，用于展示目标车辆外部的环境信息。

在本实施例中，目标查询信息可以为目标物体的名称、高度、历史背景、历史故事等，目标物体与当前车辆的相对位置、距离等。

在本实施例中，通过空间立体模型和目标查询模型共同判定目标查询结果，不仅能为目标对象提供车外物体或车外环境的信息查询功能，满足目标对象的车外物体或车外环境的信息查询需求，提升目标对象的驾乘体验。

在本申请的一实施例中，由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练，得到目标查询模型的过程包括：

获取样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息。

在本实施例中，样本车辆外部环境信息通过摄像头、雷达、惯性测量单元等设备进行采集，目标对象对样本车辆发出的第二指示信息通过车内安装的摄像头、语音采集器等设备进行采集。

在本实施例中，样本车辆可以为轿车、运动型多用途汽车、货车等，样本车辆和目标车辆为相同类型的车辆。第二指示信息可以为视线方向、手势方向或语音指示方向等。

在样本车辆外部环境信息包括图像信息和位置信息时，基于图像信息和位置信息，建立空间立体模型。

在本实施例中，图像信息包括移动物体图像信息和固定物体图像信息，位置信息包括移动物体与样本车辆之间的第一相对位置信息、固定物体与样本车辆之间的第二相对位置信息。

在本实施例中，基于图像信息和位置信息，建立空间立体模型的过程包括：(1)将移动物体图像信息与第一相对位置信息相关联，得到移动物体图像信息与样本车辆的第三相对位置信息；(2)将固定物体图像信息与第二相对位置信息相关联，得到固定物体图像信息与样本车辆的第四相对位置信息；(3)基于第三相对位置信息、第四相对位置信息，将移动物体图像信息、固定物体图像信息叠加显示在预设显示屏上，得到空间立体模型。

通过第二指示信息从空间立体模型中确定样本区域图像。

在本实施例中，通过第二指示信息从空间立体模型中确定样本区域图像的过程包括：(1)以第二指示信息中的视线方向、手势方向和语音指示方向中的至少一种，确定查询方向；(2)将空间立体模型中与查询方向对应的图像作为样本区域图像。

在本实施例中，样本区域图像在预设目标查询模型进行训练之前，需要对样本区域图像进行预处理操作，预处理操作包括缩放、裁剪、归一化等，以便与预设目标查询模型的输入匹配。

对样本区域图像进行文本标注，得到文本标注信息。

在本实施例中，文本标注是通过文本进行特征标注的过程，通过对样本区域图像打上具体的语义、构成、语境、目的、情感等数据标签，得到文本标注信息，并将样本区域图像和文本标注信息作为训练数据，对预设目标查询模型进行训练。在此，不对样本区域图像进行文本标注的方法进行限定。

在本实施例中，文本标注信息包括样本区域图像的名称、高度、历史背景、历史故事等，样本区域图像与当前车辆的相对位置、距离等。

通过样本区域图像和文本标注信息对预设目标查询模型进行训练，得到目标查询模型。

在本实施例中，预设目标查询模型包括：预设卷积神经网络模型、预设循环神经网络模型、预设分类器模型。

在本实施例中，通过样本区域图像和文本标注信息对预设目标查询模型进行训练，得到目标查询模型的过程包括：(1)将样本区域图像输入预设卷积神经网络模型，得到区域图像特征向量；(2)将文本标注信息输入预设循环神经网络模型，得到文本特征向量；(3)通过区域图像特征向量和文本特征向量输入预设分类器模型，得到目标预测信息；(4)以最小化目标预测信息与文本标注信息之间的误差为目标，对预设卷积神经网络模型的参数、预设循环神经网络模型的参数、预设分类器模型的参数进行更新，分别得到更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型，将更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型进行组合，得到更新目标查询模型；(5)将样本区域图像和文本标注信息输入更新目标查询模型，重新得到目标预测信息，以及在重新得到的目标预测信息与文本标注信息之间的误差达到最小值时，将更新目标查询模型作为目标查询模型。

在本实施例中，空间立体模型的建立能够提升驾驶人员和乘客对于样本车辆外部环境信息和目标车辆外部环境信息的视觉体验，并通过样本区域图像和文本标注信息对预设目标查询模型进行训练，得到目标查询模型，提高了目标查询模型的准确性。

在本申请的一实施例中，若预设目标查询模型包括：预设卷积神经网络模型、预设循环神经网络模型、预设分类器模型，则通过样本区域图像和文本标注信息对预设目标查询模型进行训练，得到目标查询模型的过程包括：

将样本区域图像输入预设卷积神经网络模型，得到区域图像特征向量。

在本实施例中，预设卷积神经网络模型可以为密集卷积网络(Densely connectedconvolutional networks，DenseNet)模型或残差网络(Residual Neural Network，ResNet)模型等。

将文本标注信息输入预设循环神经网络模型，得到文本特征向量。

在本实施例中，预设循环神经网络模型可以为双向循环神经网络(BidirectionalRNN，Bi-RNN)模型或长短期记忆网络(Long Short-Term Memory networks，LSTM)模型等。

通过区域图像特征向量和文本特征向量输入预设分类器模型，得到目标预测信息。

在本实施例中，预设分类器模型可以为线性分类器模型(例如，贝叶斯模型)，也可以为非线性分类器模型(例如，决策树模型)等。

以最小化目标预测信息与文本标注信息之间的误差为目标，对预设卷积神经网络模型的参数、预设循环神经网络模型的参数、预设分类器模型的参数进行更新，分别得到更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型，将更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型进行组合，得到更新目标查询模型。

在本实施例中，更新目标查询模型由更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型组成，以最小化目标预测信息与文本标注信息之间的误差为目标，对预设卷积神经网络模型的参数、预设循环神经网络模型的参数、预设分类器模型的参数进行更新，从而提高更新目标查询模型对于目标预测的准确度。

在本实施例中，目标预测信息与文本标注信息之间的误差可以通过目标预测信息与文本标注信息之间的相似度进行量化，也可以通过图像分类损失、文本生成损失进行加权求和得到的联合损失值进行量化，图像分类损失通过将样本区域图像输入更新卷积神经网络模型得到，文本生成损失通过将文本标注信息输入更新循环神经网络模型得到。

将样本区域图像和文本标注信息输入更新目标查询模型，重新得到目标预测信息，以及在重新得到的目标预测信息与文本标注信息之间的误差达到最小值时，将更新目标查询模型作为目标查询模型。

在本实施例中，通过不断对预设卷积神经网络模型的参数、预设循环神经网络模型的参数、预设分类器模型的参数进行更新，当目标预测信息与文本标注信息之间的误差达到最小值时，通过更新目标查询模型得到的目标预测信息与文本标注信息最接近，从而达到目标查询模型的训练效果。

于本申请的一实施例中，通过第二指示信息从空间立体模型中确定样本区域图像的过程包括：

以第二指示信息中的视线方向、手势方向和语音指示方向中的至少一种，确定查询方向。

在本实施例中，通过车内摄像头等设备对目标对象的视线和手势进行采集，得到视线采集图像和手势采集图像，并通过视线跟踪算法对视线采集图像进行识别得到目标对象的视线方向、通过手势方向跟踪算法对手势采集图像进行识别得到目标对象的手势方向，通过语音采集设备、语音识别设备对目标对象的语音指示信息进行采集、处理和识别，得到语音指示方向，在此，不对语音识别设备对目标对象的语音指示信息进行采集、处理和识别，得到语音指示方向的方法进行限定。

在本实施例中，若第二指示信息中同时存在视线方向和语音指示方向，则查询方向为视线方向和语音指示方向二者的重合方向；若第二指示信息中同时存在手势方向和语音指示方向，则查询方向为手势方向和语音指示方向二者的重合方向；若第二指示信息中同时存在视线方向、手势方向和语音指示方向，则查询方向为视线方向、手势方向和语音指示方向三者的重合方向。

将空间立体模型中与查询方向对应的图像作为样本区域图像。

在本实施例中，样本区域图像为空间立体模型与查询方向对应的部分或全部图像。

在本申请的一实施例中，在得到目标查询模型之后，驾车环境目标查询方法包括：

获取测试车辆外部环境信息、目标对象对测试车辆发出的第三指示信息。

在本实施例中，测试车辆与样本车辆为相同类型的车辆，例如，样本车辆的类型为轿车，测试车辆的类型也为轿车。

在本实施例中，测试车辆外部环境信息通过摄像头、雷达、惯性测量单元等设备进行采集。

将测试车辆外部环境信息、第三指示信息输入目标查询模型，得到测试精度。

在本实施例中，测试精度用来评估目标查询模型的预测能力，测试精度越高，说明目标查询模型的预测能力越高。

若测试精度达到预设精度，判定目标查询模型符合要求。

在本实施例中，预设精度可以实际情况进行设定，在此不对预设精度的数值进行限定。预设精度的设定值越大，对目标查询模型的要求就越高。

若测试精度未达到预设精度，基于测试精度的负值建立损失函数，以最小化损失函数为目标，重复对目标查询模型进行训练，直到损失函数达到最小值。

在本实施例中，预测精度可以通过图像分类损失、文本生成损失进行加权求和得到，图像分类损失通过将样本区域图像输入更新卷积神经网络模型得到，文本生成损失通过将文本标注信息输入更新循环神经网络模型得到。

在本实施例中，在损失函数达到最小值时，测试精度达到最大值，从而提高目标查询模型的测试精度，即提高了目标查询模型的准确性。

在本申请的一实施例中，若图像信息包括移动物体图像信息和固定物体图像信息，位置信息包括移动物体与样本车辆之间的第一相对位置信息、固定物体与样本车辆之间的第二相对位置信息，则基于图像信息和位置信息，建立空间立体模型的过程包括：

将移动物体图像信息与第一相对位置信息相关联，得到移动物体图像信息与样本车辆的第三相对位置信息。

在本实施例中，移动物体图像信息通过摄像头等设备采集得到，在得到移动物体图像信息之后，对移动物体图像进行去噪、校正、以及位置和方向校准等。第一相对位置信息通过雷达等设备采集得到，在得到第一相对位置信息后，对第一相对位置信息进行点云数据处理，确保移动物体图像和第一相对位置信息的准确性和一致性。

在本实施例中，移动物体包括行驶车辆和行人等。

将固定物体图像信息与第二相对位置信息相关联，得到固定物体图像信息与样本车辆的第四相对位置信息。

在本实施例中，固定物体图像信息通过摄像头等设备采集得到，在得到固定物体图像信息之后，对固定物体图像进行去噪、校正、以及位置和方向校准等。第二相对位置信息通过雷达等设备采集得到，或者，通过固定物体位置信息与样本车辆位置信息计算得到。

在本实施例中，固定物体图像信息包括建筑物图像信息、道路图像信息等。

基于第三相对位置信息、第四相对位置信息，将移动物体图像信息、固定物体图像信息叠加显示在预设显示屏上，得到空间立体模型。

在本实施例中，预设显示屏可以为平视显示器(Head Up Display，HUD)或增强现实型抬头显示器(Augmented Reality-Head Up Display，AR-HUD)等。

在本实施例中，空间立体模型能够将不同摄像头、激光雷达、惯性测量单元等传感器产生的数据融合在一起，创建一个综合的、准确的车辆外部环境的空间立体模型。

在本实施例中，可以通过视觉惯性融合技术摄像头数据、激光雷达数据、惯性测量单元数据相结合，并将结合后的数据显示在预设显示屏上，形成空间立体模型。

在本申请的一实施例中，在得到目标查询结果之后，驾车环境目标查询方法包括：

若目标查询结果的数量小于或等于第一预设数量阈值，将目标查询结果作为输出查询结果。

在本实施例中，第一预设数量阈值可以取为1，也可以为其他数值。

若目标查询结果的数量大于第一预设数量阈值，获取语音指示信息，通过语音指示信息继续对目标查询模型进行训练，重新得到目标查询模型，并将语音指示信息输入重新得到的目标查询模型，得到调整后的目标查询结果，直到调整后的目标查询结果的数量小于或等于第一预设数量阈值。

在本实施例中，目标查询结果的数量大于第一预设数量阈值时，目标对象会得到多个目标查询结果，此时，通过目标对象的语音指示信息再次对目标查询结果进行调整，调整后的目标查询结果的数量小于或等于第一预设数量阈值，从而使调整后的目标查询结果更符合目标对象的需求。

在本实施例中，语音指示信息可以为高的、低的、大的、小的、红颜色的、绿颜色的或者某一建筑物的具体名称等。

图3是本申请的另一示例性实施例示出的驾车环境目标查询方法的流程图，如图3所示，驾车环境目标查询方法包括：(1)对车外环境信息进行实时采集，并根据实时采集数据建立空间立体模型；(2)车内摄像头实时捕捉目标对象(车内驾乘人员)的视线和手势，并通过分析得到目标对象的视线方向、指示方向；(3)通过采集目标对象(车内驾乘人员)的语音信息，通过解析得到目标对象(车内驾乘人员)的语音指示方向或语音指令；(4)将实时采集数据、视线方向、指示方向、语音指示方向等输入目标查询模型，生成目标查询结果，以语音、视觉等方式向驾乘人员输出目标查询结果。

在本实施例中，对车外环境信息进行实时采集的过程包括：在车辆上安装多种传感器，例如，激光雷达、摄像头、惯性测量单元等，这些传感器将持续地获取车辆周围环境的数据，包括道路、建筑物、行人、其他车辆等。

在本实施例中，根据实时采集数据建立空间立体模型的过程包括：(1)将从传感器中收集的车外环境信息进行预处理，包括点云数据的处理、图像去噪和校正，以及位置和方向的校准，有助于确保车外环境信息的准确性和一致性；(2)使用点云处理对激光雷达等设备采集的点云数据进行处理，并通过计算机视觉技术将不同传感器采集的数据融合在一起，创建一个综合的、准确的车辆周围环境的空间立体模型；(3)持续使用不同传感器的采集数据来实时更新车辆周围环境的空间立体模型，并利用定位算法来确保模型与实际环境保持一致。

在本实施例中，车内摄像头实时捕捉目标对象(车内驾乘人员)的视线方向和手指方向，并通过分析得到目标对象的视线方向、指示方向的过程包括：(1)将选定的摄像头设备安装在车内适当的位置，以确保能够捕捉到乘客的视线、手势。然后，需要对摄像头进行校准，以确保准确地捕捉到视线方向和手势方向；(2)分别采用视线跟踪算法、手势方向跟踪算法分析摄像头捕获的图像，识别驾乘人员正在看的方向、手指的方向；(3)实时获得准确的视线方向、手指的方向等数据，将这些数据传送到系统处理模块中进行处理。

在本实施例中，通过采集目标对象(车内驾乘人员)的语音信息，通过解析得到目标对象(车内驾乘人员)的语音指示方向或语音指令的过程为：车载系统中的处理模块还具有语音识别功能，能够解析驾乘人员的语音指令或语音指示方向，当驾乘人员的语音指令或语音指示方向为查询目标物或环境信息相关时，输入给目标查询模型。

在本实施例中，目标查询模型获取实时采集数据、视线方向、指示方向、语音指示方向等的方式包括：(1)摄像头、激光雷达、惯性测量单元(Inertial measurement unit，IMU)等设备可以通过主动发送方式将实时采集数据、视线方向、指示方向、语音指示方向等实时输入目标查询模型；(2)目标查询模型调用实时采集数据、视线方向、指示方向、语音指示方向等信息。

图4是本申请的另一示例性实施例示出的对预设目标查询模型进行训练，得到目标查询模型的流程图，如图4所示，对预设目标查询模型进行训练，得到目标查询模型的过程包括：(1)采集的样本车辆外部环境信息；(2)对样本车辆外部环境信息进行文本标注得到文本标注信息；(3)基于样本车辆外部环境信息、文本标注信息对预设目标查询模型进行训练，得到目标查询模型。

在本实施例中，采集的样本车辆外部环境信息，并对样本车辆外部环境信息进行文本标注得到文本标注信息的过程包括：(1)收集样本车辆车外摄像头的图像或空间立体模型的视觉数据；(2)为图像或空间立体模型中的视觉物体标注信息，确保视觉物体都有与之相关的文本描述，以便对预设目标查询模型进行训练；(3)将不同的视觉物体作为不同的查询任务，将不同的查询任务中的语音指令或语音指示方向输入、图像或空间立体模型的视觉数据输入、生成目标查询结果等作为不同的查询任务中的子任务，将多个子任务进行联合标注，对预设目标查询模型进行训练；(4)在将图像或空间立体模型的视觉数据输入预设目标查询模型之前，需要对图像或空间立体模型的视觉数据进行缩放、裁剪和归一化处理等，以便与预设目标查询模型的输入相匹配。

在本实施例中，基于样本车辆外部环境信息、文本标注信息对预设目标查询模型进行训练，得到目标查询模型的过程包括：(1)预设目标查询模型包括图像处理模块、空间立体模型图像模块、文本处理模块和联合模块(分类器模型)，图像处理模块用于图像处理，图像处理模块可以为卷积神经网络模型，文本处理模块用于文本处理，文本处理模块可以为循环神经网络模型，联合模块用于整合来自图像和文本的信息，生成目标查询物体的解说；(2)同时考虑图像识别和文本生成任务，计算图像分类损失和文本生成损失的加权平均值，作为损失函数；(3)将语音指令或语音指示方向、图像或空间立体模型的视觉数据、文本标注信息输入预设目标查询模型，并以最小化损失函数为目标，对预设目标查询模型进行训练，得到目标查询模型；(4)使用独立的测试数据集(测试车辆车外环境信息和第三指示信息)对目标查询模型进行评估，得到评估结果(预测精度)，评估结果(预测精度)用于评估目标查询模型是否能够准确地识别图像中的物体并生成相关的目标查询物体的解说；(5)将目标查询模型部署到车载系统中，以实现实时的图像识别和目标查询物体的解说生成；(6)通过文语转换(Text To Speech，TTS)技术将目标查询物体的解说转化为语音，通过车内音响系统回复给驾乘人员。

在本实施例中，目标查询模型接收到驾乘人员的语音信息之后，调用空间立体模型、驾乘人员的视线方向、手势方向等信息，目标查询模型基于驾乘人员的视线方向、手势方向、语音语料等信息筛选出概率最大的目标查询对象，并生成驾乘人员期望的回复内容。

在本实施例中，当驾乘人员的语音信息为“建设银行在哪？”，则目标查询模型从车外环境信息中搜索包含建设银行的建筑物，并结合空间立体模型回复驾乘人员建设银行相对于当前车辆的方位。

在本实施例中，当驾乘人员的语音信息为“那个建筑物是什么”，在车载系统接收到驾乘人员的语音信息后，结合驾乘人员的视线方向、手势方向，将车外环境信息图像输入目标查询模型，目标查询模型识别最大概率物体并生成回复。

在本实施例中，当驾乘人员的语音信息为“前面的墙离我多远”，在车载系统接收到驾乘人员的语音信息后，则通过目标查询模型识别“前面的墙”，并将空间立体模型中当前车辆与墙的距离反馈给驾乘人员。

在本实施例中，目标查询模型基于驾乘人员的视线方向、手势方向、语音信息等多模态信息进行训练，得到目标查询模型，并结合空间立体模型，共同实现了多模态信息的识别，提供了准确的目标识别和查询功能，不仅满足了驾乘人员的目标查询需求，提高了驾驶安全性和便利性，而且通过语音交互和视线捕捉，提升了驾乘人员的驾乘体验。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的驾车环境目标查询方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的驾车环境目标查询方法的实施例。

图5是本申请的一示例性实施例示出的驾车环境目标查询装置的框图。该装置可以应用于图1所示的实施环境，并具体配置在计算机设备102中。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。

如图5所示，该示例性的驾车环境目标查询装置包括：

信息获取模块501用于获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息。

结果查询模块502用于将目标车辆外部环境信息、第一指示信息输入至目标查询模型，输出驾车过程中与第一指示信息对应的目标查询结果，目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到。

在本申请的一实施例中，目标车辆外部环境信息通过摄像头、雷达、惯性测量单元等设备进行采集，目标对象对目标车辆发出的第一指示信息通过车内安装的摄像头、语音采集器等设备进行采集。

在本实施例中，目标车辆的类型可以为轿车、运动型多用途汽车、货车等，目标对象可以为驾驶人员或乘客等，第一指示信息可以为视线方向、手势方向或语音指示方向等。

在本实施例中，在得到目标车辆外部环境信息之后，目标车辆外部环境信息包括图像信息和位置信息，基于图像信息和位置信息，建立空间立体模型，用于展示目标车辆外部的环境信息。

在本实施例中，目标查询信息可以为目标物体的名称、高度、历史背景、历史故事等，目标物体与当前车辆的相对位置、距离等。

在本实施例中，通过空间立体模型和目标查询模型共同判定目标查询结果，不仅能为目标对象提供车外物体或车外环境的信息查询功能，满足目标对象的车外物体或车外环境的信息查询需求，提升目标对象的驾乘体验。

需要说明的是，上述实施例所提供的驾车环境目标查询装置与上述实施例所提供的驾车环境目标查询方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的驾车环境目标查询装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得电子设备实现上述各个实施例中提供的驾车环境目标查询方法。

图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(Central Processing Unit，CPU)601，其可以根据存储在只读存储器(Read-Only Memory，ROM)602中的程序或者从储存部分608加载到随机访问存储器(Random Access Memory，RAM)603中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(Input/Output，I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分607；包括硬盘等的储存部分608；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入储存部分608。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前的驾车环境目标查询方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的驾车环境目标查询方法。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种驾车环境目标查询方法，其特征在于，所述方法包括：

获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息；

将所述目标车辆外部环境信息、所述第一指示信息输入至目标查询模型，输出驾车过程中与所述第一指示信息对应的目标查询结果，所述目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到。

2.根据权利要求1所述的驾车环境目标查询方法，其特征在于，由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练，得到所述目标查询模型的过程包括：

获取所述样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息，所述样本车辆和所述目标车辆为相同类型的车辆；

在所述样本车辆外部环境信息包括图像信息和位置信息时，基于所述图像信息和位置信息，建立空间立体模型；

通过所述第二指示信息从所述空间立体模型中确定样本区域图像；

对所述样本区域图像进行文本标注，得到文本标注信息；

通过所述样本区域图像和所述文本标注信息对所述预设目标查询模型进行训练，得到所述目标查询模型。

3.根据权利要求2所述的驾车环境目标查询方法，其特征在于，若所述预设目标查询模型包括：预设卷积神经网络模型、预设循环神经网络模型、预设分类器模型，则通过所述样本区域图像和所述文本标注信息对所述预设目标查询模型进行训练，得到所述目标查询模型的过程包括：

将所述样本区域图像输入所述预设卷积神经网络模型，得到区域图像特征向量；

将文本标注信息输入所述预设循环神经网络模型，得到文本特征向量；

通过所述区域图像特征向量和所述文本特征向量输入所述预设分类器模型，得到目标预测信息；

以最小化所述目标预测信息与所述文本标注信息之间的误差为目标，对所述预设卷积神经网络模型的参数、预设循环神经网络模型的参数、预设分类器模型的参数进行更新，分别得到更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型，将所述更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型进行组合，得到更新目标查询模型；

将所述样本区域图像和所述文本标注信息输入所述更新目标查询模型，重新得到目标预测信息，以及在重新得到的目标预测信息与文本标注信息之间的误差达到最小值时，将更新目标查询模型作为所述目标查询模型。

4.根据权利要求2或3所述的驾车环境目标查询方法，其特征在于，通过所述第二指示信息从所述空间立体模型中确定样本区域图像的过程包括：

以所述第二指示信息中的视线方向、手势方向和语音指示方向中的至少一种，确定查询方向；

将所述空间立体模型中与所述查询方向对应的图像作为样本区域图像。

5.根据权利要求1-3中任一项所述的驾车环境目标查询方法，其特征在于，在得到目标查询模型之后，所述方法包括：

获取测试车辆外部环境信息、目标对象对测试车辆发出的第三指示信息；其中，所述测试车辆与所述样本车辆为相同类型的车辆；

将所述测试车辆外部环境信息、第三指示信息输入所述目标查询模型，得到测试精度；

若所述测试精度达到预设精度，判定所述目标查询模型符合要求；

若所述测试精度未达到所述预设精度，基于所述测试精度的负值建立损失函数，以最小化所述损失函数为目标，重复对所述目标查询模型进行训练，直到所述损失函数达到最小值。

6.根据权利要求2或3所述的驾车环境目标查询方法，其特征在于，若所述图像信息包括移动物体图像信息和固定物体图像信息，所述位置信息包括移动物体与样本车辆之间的第一相对位置信息、固定物体与样本车辆之间的第二相对位置信息，则基于所述图像信息和位置信息，建立空间立体模型的过程包括：

将所述移动物体图像信息与所述第一相对位置信息相关联，得到移动物体图像信息与样本车辆的第三相对位置信息；

将所述固定物体图像信息与所述第二相对位置信息相关联，得到固定物体图像信息与样本车辆的第四相对位置信息；

基于所述第三相对位置信息、第四相对位置信息，将所述移动物体图像信息、固定物体图像信息叠加显示在预设显示屏上，得到所述空间立体模型。

7.根据权利要求1-3中任一项所述的驾车环境目标查询方法，其特征在于，在得到目标查询结果之后，所述方法包括：

若所述目标查询结果的数量小于或等于第一预设数量阈值，将所述目标查询结果作为输出查询结果；

若所述目标查询结果的数量大于所述第一预设数量阈值，获取语音指示信息，通过所述语音指示信息继续对所述目标查询模型进行训练，重新得到目标查询模型，并将所述语音指示信息输入重新得到的目标查询模型，得到调整后的目标查询结果，直到调整后的目标查询结果的数量小于或等于所述第一预设数量阈值。

8.一种驾车环境目标查询装置，其特征在于，所述装置包括：

信息获取模块，用于获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息；

结果查询模块，用于将所述目标车辆外部环境信息、所述第一指示信息输入至目标查询模型，输出驾车过程中与所述第一指示信息对应的目标查询结果，所述目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至7中任一项所述的驾车环境目标查询方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7中任一项所述的驾车环境目标查询方法。