CN117851616A - 车辆功能查询的方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及数据处理技术领域，公开了车辆功能查询的方法、装置、计算机设备及存储介质，该方法包括：获取用户输入的待查询图像；所述待查询图像中包括待查询的目标功能部件；根据部件识别模型识别出所述待查询图像中所述目标功能部件的部件名称；将所述部件名称输入至车辆功能模型；所述车辆功能模型为基于车辆知识库训练得到的大语言模型；根据所述车辆功能模型的输出结果，生成所述目标功能部件的功能描述信息。本发明利用部件识别模型和车辆功能模型可以向用户反馈目标功能部件的功能描述信息，不需要用户手动输入目标功能部件的部件名称，即使在用户不知道部件名称的情况下，也可以查询到所需的功能描述，操作简单。

Description

车辆功能查询的方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理技术领域，具体涉及车辆功能查询的方法、装置、计算机设备及存储介质。

背景技术

车辆本身包含较多数量的功能部件，且随着车辆开发以及用户需求增多，车辆的功能部件也逐渐增多，故需要使用车辆的使用手册向用户介绍车辆的诸多功能部件。由于纸质的使用手册比较繁琐且复杂，为便于用户查找相关功能部件的功能介绍，电子版的使用手册(简称为电子手册)应运而生。

但用户使用电子手册时，一般需要用户手动输入需要查询的功能部件的名称，不仅操作繁琐，且操作难度大。例如，这种使用方式需要用户能够知道该功能部件的名称，对新手司机等用户不够友好，难以查询到所关注的功能部件。

发明内容

有鉴于此，本发明提供了一种车辆功能查询的方法、装置、计算机设备及存储介质，以解决现有电子手册操作难度较大的问题。

第一方面，本发明提供了一种车辆功能查询的方法，包括：

获取用户输入的待查询图像；所述待查询图像中包括待查询的目标功能部件；

根据部件识别模型识别出所述待查询图像中所述目标功能部件的部件名称；

将所述部件名称输入至车辆功能模型；所述车辆功能模型为基于车辆知识库训练得到的大语言模型；

根据所述车辆功能模型的输出结果，生成所述目标功能部件的功能描述信息。

在一些可选的实施方式中，所述部件识别模型包括目标检测子模型和部件识别子模型；

所述根据部件识别模型识别出所述待查询图像中所述目标功能部件的部件名称，包括：

将所述待查询图像输入至所述目标检测子模型，确定所述目标功能部件所在的目标区域；

提取出所述目标区域处的目标区域图像，生成包含所述目标区域图像的特征数据；

将所述特征数据输入至所述部件识别子模型，识别出所述目标功能部件的部件名称。

在一些可选的实施方式中，在所述待查询图像中包含多个功能部件的情况下，所述将所述待查询图像输入至所述目标检测子模型，确定所述目标功能部件所在的目标区域，包括：

将所述待查询图像输入至所述目标检测子模型，确定所述目标功能部件所在的目标区域以及其他参考功能部件所在的参考区域；

根据所述目标区域和所述参考区域在所述待查询图像中的相对位置，确定所述目标功能部件与所述参考功能部件之间的相对位置关系；

将所述相对位置关系添加至所述特征数据中。

在一些可选的实施方式中，所述根据所述目标区域和所述参考区域在所述待查询图像中的相对位置，确定所述目标功能部件与所述参考功能部件之间的相对位置关系，包括：

确定所述目标区域与每个所述参考区域之间的相对方向和距离；

将所述距离中的最小值作为基准值，对所述距离进行归一化处理；

将所述目标区域与所述参考区域之间的相对方向以及归一化后的距离，作为所述目标功能部件与所述参考功能部件之间的相对位置关系。

在一些可选的实施方式中，所述获取用户输入的待查询图像，包括：

响应于用户触发的拍摄请求，获取采集到的完整图像；

对所述完整图像的中间区域图像进行显示；

响应于用户触发的拍摄操作，将当前采集到的完整图像作为待查询图像。

在一些可选的实施方式中，该方法还包括：

获取所述目标功能部件所属车辆的车型标识信息；

所述将所述特征数据输入至所述部件识别子模型，识别出所述目标功能部件的部件名称，包括：

根据所述车型标识信息和所述部件识别子模型，识别出所述区域图像中所述目标功能部件的部件名称。

在一些可选的实施方式中，该方法还包括：

确定背景图像；所述背景图像为所述待查询图像中，除所有功能部件所在区域的区域图像之外的图像；

对所述背景图像进行轮廓提取，提取出所述背景图像的轮廓特征；

将所述轮廓特征添加至所述特征数据中。

在一些可选的实施方式中，该方法还包括：

根据所述部件名称，从预设的三维动效库中获取所述目标功能部件的三维动效数据；

展示所述三维动效数据。

第二方面，本发明提供了一种车辆功能查询的装置，包括：

获取模块，用于获取用户输入的待查询图像；所述待查询图像中包括待查询的目标功能部件；

识别模块，用于根据部件识别模型识别出所述待查询图像中所述目标功能部件的部件名称；

输入模块，用于将所述部件名称输入至车辆功能模型；所述车辆功能模型为基于车辆知识库训练得到的大语言模型；

功能模块，用于根据所述车辆功能模型的输出结果，生成所述目标功能部件的功能描述信息。

第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的车辆功能查询的方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的车辆功能查询的方法。

本发明在用户需要查询目标功能部件的功能描述时，可以通过提交包含目标功能部件的待查询图像的方式，利用部件识别模型和车辆功能模型可以向用户反馈相应的功能描述信息，不需要用户手动输入目标功能部件的部件名称，即使在用户不知道部件名称的情况下，也可以查询到所需的功能描述，操作简单。并且，用户通过包含目标功能部件的待查询图像，可以快速获取到用车指南，能够做到真正的电子手册。

在进行部件识别时，基于数据量较少但包含目标功能部件完整信息的目标区域图像进行部件识别，使得部件识别子模型更容易提取出目标区域图像中目标功能部件的特征，可以有效降低待查询图像中无用背景的影响，能够更准确地确定目标功能部件的部件名称，可以提高识别功能部件的准确度；并且，也可以降低部件识别子模型的复杂程度，能够简化该部件识别子模型，易于实现。将目标区域图像、相对位置关系、轮廓特征组合为特征数据，并输入至部件识别子模型，使得部件识别子模型能够基于目标功能部件本身的目标区域图像、目标功能部件与参考功能部件之间的相对位置关系、以及目标功能部件周围的轮廓特征，可以更准确地确定目标功能部件的部件名称。

附图说明

为了更清楚地说明本发明具体实施方式或相关技术中的技术方案，下面将对具体实施方式或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的车辆功能查询的方法的流程示意图；

图2是根据本发明实施例的另一车辆功能查询的方法的流程示意图；

图3是根据本发明实施例实现车辆功能查询的过程示意图；

图4是根据本发明实施例的与仪表盘相关的一种待查询图像的示意图；

图5是根据本发明实施例的部件识别模型的工作原理示意图；

图6是根据本发明实施例的待查询图像的一种示意图；

图7是根据本发明实施例的车辆功能查询的装置的结构框图；

图8是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明实施例，提供了一种车辆功能查询的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种车辆功能查询的方法，可用于移动终端，如手机、平板电脑等，图1是根据本发明实施例的车辆功能查询的方法的流程图，如图1所示，该流程包括以下步骤S101至步骤S104。

步骤S101，获取用户输入的待查询图像；待查询图像中包括待查询的目标功能部件。

本实施例中，当用户需要查询某个功能部件的功能时，可以拍摄包含该功能部件的图像，即待查询图像；并且，为方便描述，将用户需要查询的功能部件称为目标功能部件。其中，功能部件具体可以是车辆上的某个部件，例如方向盘、安全带、天窗等，也可以是车辆的按钮，例如车窗控制按钮、点烟器按钮等，也可以是车辆仪表盘中的图标等，本实施例对功能部件的形式不作限定。

例如，用户使用的移动终端安装有车辆APP(应用程序)，用户使用该车辆APP的拍照功能，即可拍摄需要查询的目标功能部件的照片，使得车辆APP能够获取到包含该目标功能部件的照片，即待查询图像。

步骤S102，根据部件识别模型识别出待查询图像中目标功能部件的部件名称。

本实施例中，预先训练有用于识别功能部件的模型，即部件识别模型，该部件识别模型可以确定功能部件的部件名称。具体地，获取到待查询图像后，可以将该待查询图像输入至部件识别模型，基于该部件识别模型的输出结果即可确定相应目标功能部件的部件名称。

步骤S103，将部件名称输入至车辆功能模型；车辆功能模型为基于车辆知识库训练得到的大语言模型。

本实施例中，还预先基于车辆知识库训练大语言模型(Large Language Model，LLM)，生成能够确定车辆部件功能的模型，即车辆功能模型。其中，该车辆知识库具体可以包括与车辆领域相关的数据库以及技术文档等；例如电子手册、维修保养常识、常见问题反馈等。

在基于部件识别模型识别出目标功能部件的部件名称后，即可将该部件名称输入至车辆功能模型，进而基于该车辆功能模型的输出结果确定相应目标功能部件的功能是怎样的。

步骤S104，根据车辆功能模型的输出结果，生成目标功能部件的功能描述信息。

本实施例中，该车辆功能模型能够确定车辆中某些功能部件的具体功能；将识别出的部件名称输入至该车辆功能模型，车辆功能模型即可输出相关的功能描述，从而可以得到目标功能部件的功能描述信息。该功能描述信息具体可以包括与该目标功能部件的文本描述、或者相关图片等。

可选地，还可以预先为车辆的每个功能部件均设置相应的三维(3D)动效，生成三维动效数据，进而形成包含多个功能部件三维动效数据的三维动效库，使得在向用户展示目标功能部件的功能描述信息时，还可以同步展示该目标功能部件的三维动效数据。

具体地，该方法还可以包括：根据部件名称，从预设的三维动效库中获取目标功能部件的三维动效数据；展示三维动效数据。

其中，在确定目标功能部件的部件名称后，即可从该三维动效库中提取出目标功能部件的三维动效数据，进而基于3D渲染引擎，可以展示该三维动效数据，实现三维演示效果。例如，该三维动效数据具体可以是三维文件，例如.fbx格式的文件；该三维动效库中包括多个功能部件各自的三维文件。在需要进行三维演示时，调用目标功能部件的三维文件，并动态渲染该三维文件即可。

本实施例提供的车辆功能查询的方法，用户需要查询目标功能部件的功能描述时，可以通过提交包含目标功能部件的待查询图像的方式，利用部件识别模型和车辆功能模型可以向用户反馈相应的功能描述信息，不需要用户手动输入目标功能部件的部件名称，即使在用户不知道部件名称的情况下，也可以查询到所需的功能描述，操作简单。并且，用户通过包含目标功能部件的待查询图像，可以快速获取到用车指南，能够做到真正的电子手册。

在本实施例中提供了一种车辆功能查询的方法，可用于移动终端，如手机、平板电脑等，图2是根据本发明实施例的车辆功能查询的方法的流程图，如图2所示，该流程包括以下步骤S201至步骤S204。

步骤S201，获取用户输入的待查询图像；待查询图像中包括待查询的目标功能部件。

其中，详细请参见图1所示实施例的步骤S101，在此不再赘述。

步骤S202，根据部件识别模型识别出待查询图像中目标功能部件的部件名称。

其中，该部件识别模型包括目标检测子模型和部件识别子模型，采用先目标检测，后部件识别的方式，识别出目标功能部件是哪一功能部件，即识别出目标功能部件的部件名称。具体地，上述步骤S202“根据部件识别模型识别出待查询图像中目标功能部件的部件名称”包括以下步骤S2021至步骤S2023。

步骤S2021，将待查询图像输入至目标检测子模型，确定目标功能部件所在的目标区域。

本实施例中，如图3所示，该部件识别模型300包括目标检测子模型301和部件识别子模型302。其中，目标检测子模型301是一种目标检测模型，其可以实现目标检测功能；将待查询图像输入至目标检测子模型，可以识别出该待查询图像中哪些区域存在检测出的功能部件。其中，若该待查询图像中只有一个功能部件，则该功能部件即可作为目标功能部件，该目标功能部件所在区域称为目标区域。

其中，该目标检测子模型301主要用于定位功能部件所在的区域，例如，基于该目标检测子模型301可以标注出目标功能部件的边界框(Bounding Box)，该边界框所对应的区域即为目标功能部件所在的目标区域。

步骤S2022，提取出目标区域处的目标区域图像，生成包含目标区域图像的特征数据。

本实施例中，在确定目标区域后，即可提取出该目标区域处的图像，即目标区域图像。可以理解，该目标区域图像是待查询图像的一部分，且该目标区域图像中包括目标功能部件。并且，基于该目标区域图像可以生成包含该目标区域图像的特征数据；例如，可以直接将目标区域图像作为特征数据。

例如，基于该目标检测子模型301可以确定目标功能部件的边界框，基于该边界框的顶点(例如左上角顶点和右下角顶点)可以确定该边界框在待查询图像中的位置，即可以确定目标区域在待查询图像中的位置，进而可以从待查询图像中截取出该目标区域所对应的图像，即目标区域图像。

步骤S2023，将特征数据输入至部件识别子模型，识别出目标功能部件的部件名称。

本实施例中，由于目标区域图像是待查询图像的一部分，目标区域图像所包含的信息量更少，但目标区域图像包含完整的目标功能部件，该目标区域图像中的信息基本都可以用于表征目标功能部件的特点，故基于信息量更少的目标区域图像仍然可以比较完整地表示目标功能部件本身的特征。

在进行部件识别时，不需要完整的待查询图像，而是将包含目标区域图像的特征数据输入至部件识别子模型302，使得部件识别子模型302更容易提取出目标区域图像中目标功能部件的特征，可以有效降低待查询图像中无用背景的影响，能够更准确地确定目标功能部件的部件名称，可以提高识别功能部件的准确度；并且，部件识别子模型302的输入数据(即特征数据)数据量较少，也可以降低部件识别子模型302的复杂程度，易于实现该部件识别子模型302。

在一些可选的实施方式中，若待查询图像中包含多个功能部件，则基于目标检测子模型301可以检测出多个功能部件；在这种情况下，上述步骤S2021“将待查询图像输入至目标检测子模型，确定目标功能部件所在的目标区域”可以包括以下步骤A1至步骤A3。

步骤A1，将待查询图像输入至目标检测子模型，确定目标功能部件所在的目标区域以及其他参考功能部件所在的参考区域。

本实施例中，若待查询图像中包含多个功能部件，则将待查询图像输入至目标检测子模型301，基于目标检测子模型301可以检测出多个功能部件，每个功能部件均对应一个区域。其中，该目标检测子模型301检测出一个功能部件为目标功能部件；为方便描述，将除目标功能部件以外的其余功能部件均称为参考功能部件。

其中，目标检测子模型301可以标注待查询图像中所有功能部件的边界框，基于此可以确定目标功能部件所在的区域，即目标区域，也可以确定参考功能部件所在的区域，即参考区域。

一般情况下，用户会将需要查询的目标功能部件放置于图像中间位置，故在存在多个功能部件的情况下，可以将待查询图像中位于中间位置的功能部件作为目标功能部件；或者，在基于目标检测子模型301检测到待查询图像中存在多个功能部件时，框选出该待查询图像中所有的功能部件，并指示用户选择，最终可以将用户选择的功能部件作为目标功能部件，其余功能部件即为参考功能部件。

可选地，为能够采集到包含多个功能部件的待查询图像，可以指示用户主动拍摄较大范围的图像，其需要查询的目标功能部件为其中一个功能部件，并放置在图像中间位置。或者，通过限制向用户显示的取景框大小，也可增大用户拍摄范围。具体地，上述步骤201“获取用户输入的待查询图像”具体包括以下步骤B1至步骤B3。

步骤B1，响应于用户触发的拍摄请求，获取采集到的完整图像。

本实施例中，当用户需要查询某目标功能部件的具体功能时，可以提出相应的拍摄请求，以能够拍摄到包含目标功能部件的图像。

例如，用户需要查询功能部件的具体功能时，其可以打开车辆APP，并点击拍摄查询按钮，从而可以触发相应的拍摄请求；在获取到该拍摄请求后，可以调用移动终端中相机的拍照功能，从而可以获取到相机所采集到的图像。本实施例将相机采集到的图像称为完整图像。

步骤B2，对完整图像的中间区域图像进行显示。

在拍摄过程中，会将相机采集到的图像实时展示给用户，以便于用户确定合适进行拍摄；一般情况下，会将相机采集到的图像全部展示给用户。而在本实施例中，只对完整图像的中间区域图像进行显示，即只将中间区域展示给用户。

步骤B3，响应于用户触发的拍摄操作，将当前采集到的完整图像作为待查询图像。

本实施例中，由于只将中间区域图像展示给用户，故用户在拍摄目标功能部件时，会在目标功能部件位于该中间区域图像时，才会触发拍摄操作，即才会点击拍摄按钮。因此，在用户触发拍摄操作时，该中间区域图像包含用户需要查询的目标功能部件。

并且，由于该中间区域图像只是完整图像的一部分，此时将当前采集到的完整图像(即用户触发拍摄操作时所采集到的完整图像)作为待查询图像，可以使得目标功能部件位于该待查询图像的中间位置，且除了中间区域图像之外，该待查询图像还包括中间区域图像之外的其余图像，从而能够在用户未拍摄多个功能部件时，仍然较大可能采集到位于目标功能部件附近的其他功能部件。

图4示出了与仪表盘相关的一种待查询图像。如图4所示，若用户查询仪表盘中速度表的功能介绍时，可以使用移动终端的相机采集到包含速度表的图像。其中，由于只向用户展示一部分中间区域图像401，在速度表位于该中间区域图像401内时，相机实际采集到的完整图像402还包括该速度表周围的其他功能部件，例如仪表盘中的转速表、转向指示灯等功能部件。可以理解，此时速度表为目标功能部件，转速表、转向指示灯等均为参考功能部件。

本实施例通过只向用户显示完整图像的中间区域图像，在用户触发拍摄操作后，将采集到的完整图像作为待查询图像，能够有效保证待查询图像包含多个功能部件，便于后续基于参考功能部件对目标功能部件进行识别。

步骤A2，根据目标区域和参考区域在待查询图像中的相对位置，确定目标功能部件与参考功能部件之间的相对位置关系。

本实施例中，目标检测子模型301可以确定目标区域和参考区域在待查询图像中的位置，故基于二者在待查询图像中的位置，可以确定二者之间的相对位置；基于目标区域与参考区域之间的相对位置，可以确定目标功能部件与参考功能部件之间的相对位置关系，该相对位置关系可以表示目标功能部件与参考功能部件之间的距离、方向等。

步骤A3，将相对位置关系添加至特征数据中。

本实施例中，由于用户采用拍照方式查询功能部件的具体功能时，一般是对实体车辆进行拍照，而车辆各个功能部件在车辆中的位置一般是固定的，相应地，功能部件之间的相对位置关系也是固定的，故基于该相对位置关系也可辅助判断目标功能部件是哪一功能部件，从而可以辅助识别出目标功能部件的部件名称。

具体地，在确定目标功能部件与参考功能部件之间的相对位置关系后，将该相对位置关系添加至特征数据，即该特征数据除了包括目标区域图像之外，还可以包括相对位置关系。如图5所示，基于目标检测子模型301的输出结果，可以确定目标区域图像和相对位置关系，之后将目标区域图像和相对位置关系均作为用于实现部件识别的特征数据，并输入至部件识别子模型302，从而可以更准确地确定目标功能部件的部件名称。

可选地，上述步骤A2“根据目标区域和参考区域在待查询图像中的相对位置，确定目标功能部件与参考功能部件之间的相对位置关系”具体可以包括以下步骤A21至步骤A23。

步骤A21，确定目标区域与每个参考区域之间的相对方向和距离。

本实施例中，相对位置包括距离和方向两个维度；其中，待查询图像中可能存在多个参考功能部件，相应地可以识别出多个参考区域，本实施例分别确定该目标区域与每个参考区域之间的相对位置，即相对方向和距离。

例如，图6示出了待查询图像的一种示意图。如图6所示，该待查询图像600中包含多个四个功能部件，基于目标检测子模型301对该待查询图像600进行目标检测，可以确定每个功能部件对应的区域；若待查询图像600中间位置的功能部件为目标功能部件，其对应的区域为目标区域601，其余三个功能部件为参考功能部件，且各自对应参考区域602、参考区域603、参考区域604。可以理解，目标区域601处的图像即为目标区域图像。

本实施例中，在确定目标区域与参考区域之间的距离时，可以将各自同一顶点(例如左上角顶点)之间的距离作为两个区域之间的距离；或者，如图6所示，也可以将目标区域的中心与参考区域的中心之间的距离，作为目标区域与参考区域之间的距离。具体地，目标区域601与参考区域602之间的距离为L1，目标区域601与参考区域603之间的距离为L2，目标区域601与参考区域604之间的距离为L3。

并且，可以以目标区域601为基准，确定每个参考区域与该目标区域601之间的相对方向。如图6所示，参考区域602与该目标区域601之间的相对方向可以表示为上方，参考区域603与该目标区域601之间的相对方向可以表示为左上方，参考区域604与该目标区域601之间的相对方向可以表示为左下方。

步骤A22，将距离中的最小值作为基准值，对距离进行归一化处理。

本实施例中，由于在拍摄待查询图像时，移动终端与功能部件之间的远近程度，也会影响目标区域与参考区域之间的距离大小；在这种情况下，将目标区域与参考区域之间的距离的最小值作为同一的基准值，基于该基准值对所有的距离进行归一化处理，可以使得在不同情况下采集到的同一目标功能部件相关的待查询图像中，目标区域与参考区域之间归一化后的距离具有一致性。

如图6所示，目标区域601与参考区域602之间的距离L1是三个距离中的最小值，故将距离L1作为基准值，并进行归一化处理。例如，该归一化处理具体可以为除以该基准值，故对距离L1、距离L2、距离L3分别进行归一化处理后，所得到的结果分别为：1、L2/L1、L3/L1。

步骤A23，将目标区域与参考区域之间的相对方向以及归一化后的距离，作为目标功能部件与参考功能部件之间的相对位置关系。

本实施例中，目标区域与参考区域之间的相对方向可以直接作为标功能部件与参考功能部件之间的相对方向，而将归一化后的距离作为目标功能部件与参考功能部件之间的距离，从而可以确定目标功能部件与参考功能部件之间的相对位置关系。基于该相对位置关系对目标功能部件进行识别时，可以有效降低因与功能部件之间的拍摄距离不同而导致部件识别子模型302误判的情况，可以进一步提高识别准确度。

可选地，也可基于待查询图像的背景中的有用信息，进行辅助识别。具体地，该方法还包括以下步骤C1至步骤C3。

步骤C1，确定背景图像；背景图像为待查询图像中，除所有功能部件所在区域的区域图像之外的图像。

本实施例中，基于目标检测子模型301可以识别出所有功能部件所在区域，这些区域对应的图像之外的图像，均是背景，本实施例将除这些区域之外的图像称为背景图像。

例如，如图6所示，目标检测子模型301可以识别出目标区域601、参考区域602、参考区域603、参考区域604；在该待查询图像600中，除这四个区域之外的其他图像即可作为背景图像。

步骤C2，对背景图像进行轮廓提取，提取出背景图像的轮廓特征。

本实施例中，基于轮廓提取算法，可以提取出该背景图像中的轮廓，从而生成相应的轮廓特征。如图6所示，可以提取出背景图像中的轮廓610，基于该轮廓610形成相应的轮廓特征。

步骤C3，将轮廓特征添加至特征数据中。

本实施例中，对于车辆中不存在功能部件的区域，其一般也具有特定的轮廓，基于该轮廓也可用于对目标功能部件的辅助识别；例如，如图4所示，基于背景图像可以提取出仪表盘的轮廓，基于该轮廓可以辅助确定该目标功能部件位于仪表盘中，进而可以更准确地识别出目标功能部件是仪表盘中的速度表。本实施例中，将轮廓特征添加至特征数据中，使得部件识别子模型302也可以基于该轮廓特征识别目标功能部件的部件名称。

如图5所示，基于目标检测子模型301的输出结果，可以确定目标区域图像、相对位置关系，并可以确定背景图像，进而提取出相应的轮廓特征；将目标区域图像、相对位置关系、轮廓特征组合为特征数据，并输入至部件识别子模型302，使得部件识别子模型302能够基于目标功能部件本身的目标区域图像、目标功能部件与参考功能部件之间的相对位置关系、以及目标功能部件周围的轮廓特征，可以更准确地确定目标功能部件的部件名称。

可选地，由于同一功能部件，在不同车型的车辆中，其所在位置、形状或与其他功能部件之间的相对位置关系等存在一定的差异，本实施例还基于车辆的车型进行部件识别。具体地，该方法还包括：获取目标功能部件所属车辆的车型标识信息。该车型标识信息即可表示当前车辆的车型。

例如，用户可以主动输入车型标识信息。或者，用户在使用车辆APP时，一般需要登录该车辆APP，并关联自己所使用的车辆；用户在使用该车辆APP查询部件功能时，可以自动确定该用户所关联的车辆的车型，从而可以自动确定车型标识信息。

并且，上述步骤2023“将特征数据输入至部件识别子模型，识别出目标功能部件的部件名称”具体可以包括：根据车型标识信息和部件识别子模型，识别出区域图像中目标功能部件的部件名称。

具体地，可以训练能够识别多种车型车辆的部件识别子模型，将该车型标识信息和特征数据输入至该部件识别子模型，进而可以更准确地识别出目标功能部件的部件名称。或者，也可以为每一种车型训练相应的部件识别子模型，基于该车型标识信息可以选择适合相应车型的部件识别子模型，进而将特征数据输入至与该车型标识信息相匹配的部件识别子模型，得到目标功能部件的部件名称。

步骤S203，将部件名称输入至车辆功能模型；车辆功能模型为基于车辆知识库训练得到的大语言模型。

如图3所示，部件识别模型300识别出目标功能部件的部件名称后，可以将该部件名称输入至车辆功能模型400，基于此确定相应的功能描述信息。

其中，详细请参见图1所示实施例的步骤S103，在此不再赘述。

步骤S204，根据车辆功能模型的输出结果，生成目标功能部件的功能描述信息。

其中，详细请参见图1所示实施例的步骤S104，在此不再赘述。

本实施例提供的车辆功能查询的方法，在进行部件识别时，基于数据量较少但包含目标功能部件完整信息的目标区域图像进行部件识别，使得部件识别子模型302更容易提取出目标区域图像中目标功能部件的特征，可以有效降低待查询图像中无用背景的影响，能够更准确地确定目标功能部件的部件名称，可以提高识别功能部件的准确度；并且，也可以降低部件识别子模型302的复杂程度，能够简化该部件识别子模型302，易于实现。将目标区域图像、相对位置关系、轮廓特征组合为特征数据，并输入至部件识别子模型302，使得部件识别子模型302能够基于目标功能部件本身的目标区域图像、目标功能部件与参考功能部件之间的相对位置关系、以及目标功能部件周围的轮廓特征，可以更准确地确定目标功能部件的部件名称。

在本实施例中还提供了一种车辆功能查询的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种车辆功能查询的装置，如图7所示，包括：

获取模块701，用于获取用户输入的待查询图像；所述待查询图像中包括待查询的目标功能部件；

识别模块702，用于根据部件识别模型识别出所述待查询图像中所述目标功能部件的部件名称；

输入模块703，用于将所述部件名称输入至车辆功能模型；所述车辆功能模型为基于车辆知识库训练得到的大语言模型；

功能模块704，用于根据所述车辆功能模型的输出结果，生成所述目标功能部件的功能描述信息。

在一些可选的实施方式中，所述部件识别模型包括目标检测子模型和部件识别子模型；

所述识别模块702根据部件识别模型识别出所述待查询图像中所述目标功能部件的部件名称，包括：

将所述待查询图像输入至所述目标检测子模型，确定所述目标功能部件所在的目标区域；

提取出所述目标区域处的目标区域图像，生成包含所述目标区域图像的特征数据；

将所述特征数据输入至所述部件识别子模型，识别出所述目标功能部件的部件名称。

在一些可选的实施方式中，在所述待查询图像中包含多个功能部件的情况下，所述识别模块702将所述待查询图像输入至所述目标检测子模型，确定所述目标功能部件所在的目标区域，包括：

将所述待查询图像输入至所述目标检测子模型，确定所述目标功能部件所在的目标区域以及其他参考功能部件所在的参考区域；

根据所述目标区域和所述参考区域在所述待查询图像中的相对位置，确定所述目标功能部件与所述参考功能部件之间的相对位置关系；

将所述相对位置关系添加至所述特征数据中。

在一些可选的实施方式中，所述识别模块702根据所述目标区域和所述参考区域在所述待查询图像中的相对位置，确定所述目标功能部件与所述参考功能部件之间的相对位置关系，包括：

确定所述目标区域与每个所述参考区域之间的相对方向和距离；

将所述距离中的最小值作为基准值，对所述距离进行归一化处理；

将所述目标区域与所述参考区域之间的相对方向以及归一化后的距离，作为所述目标功能部件与所述参考功能部件之间的相对位置关系。

在一些可选的实施方式中，所述获取模块701获取用户输入的待查询图像，包括：

响应于用户触发的拍摄请求，获取采集到的完整图像；

对所述完整图像的中间区域图像进行显示；

响应于用户触发的拍摄操作，将当前采集到的完整图像作为待查询图像。

在一些可选的实施方式中，所述获取模块701还用于：获取所述目标功能部件所属车辆的车型标识信息；

所述识别模块702将所述特征数据输入至所述部件识别子模型，识别出所述目标功能部件的部件名称，包括：

根据所述车型标识信息和所述部件识别子模型，识别出所述区域图像中所述目标功能部件的部件名称。

在一些可选的实施方式中，该装置还包括轮廓提取模块，用于：

确定背景图像；所述背景图像为所述待查询图像中，除所有功能部件所在区域的区域图像之外的图像；

对所述背景图像进行轮廓提取，提取出所述背景图像的轮廓特征；

将所述轮廓特征添加至所述特征数据中。

在一些可选的实施方式中，该装置还包括展示模块，用于：

根据所述部件名称，从预设的三维动效库中获取所述目标功能部件的三维动效数据；

展示所述三维动效数据。

上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本实施例中的车辆功能查询的装置是以功能单元的形式来呈现，这里的单元是指ASIC(Application Specific Integrated Circuit，专用集成电路)电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

本发明实施例还提供一种计算机设备，具有上述图7所示的车辆功能查询的装置。

请参阅图8，图8是本发明可选实施例提供的一种计算机设备的结构示意图，如图8所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器10为例。

处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种车辆功能查询的方法，其特征在于，所述方法包括：

获取用户输入的待查询图像；所述待查询图像中包括待查询的目标功能部件；

根据部件识别模型识别出所述待查询图像中所述目标功能部件的部件名称；

将所述部件名称输入至车辆功能模型；所述车辆功能模型为基于车辆知识库训练得到的大语言模型；

根据所述车辆功能模型的输出结果，生成所述目标功能部件的功能描述信息。

2.根据权利要求1所述的方法，其特征在于，所述部件识别模型包括目标检测子模型和部件识别子模型；

所述根据部件识别模型识别出所述待查询图像中所述目标功能部件的部件名称，包括：

将所述待查询图像输入至所述目标检测子模型，确定所述目标功能部件所在的目标区域；

提取出所述目标区域处的目标区域图像，生成包含所述目标区域图像的特征数据；

将所述特征数据输入至所述部件识别子模型，识别出所述目标功能部件的部件名称。

3.根据权利要求2所述的方法，其特征在于，在所述待查询图像中包含多个功能部件的情况下，所述将所述待查询图像输入至所述目标检测子模型，确定所述目标功能部件所在的目标区域，包括：

将所述待查询图像输入至所述目标检测子模型，确定所述目标功能部件所在的目标区域以及其他参考功能部件所在的参考区域；

根据所述目标区域和所述参考区域在所述待查询图像中的相对位置，确定所述目标功能部件与所述参考功能部件之间的相对位置关系；

将所述相对位置关系添加至所述特征数据中。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标区域和所述参考区域在所述待查询图像中的相对位置，确定所述目标功能部件与所述参考功能部件之间的相对位置关系，包括：

确定所述目标区域与每个所述参考区域之间的相对方向和距离；

将所述距离中的最小值作为基准值，对所述距离进行归一化处理；

将所述目标区域与所述参考区域之间的相对方向以及归一化后的距离，作为所述目标功能部件与所述参考功能部件之间的相对位置关系。

5.根据权利要求3所述的方法，其特征在于，所述获取用户输入的待查询图像，包括：

响应于用户触发的拍摄请求，获取采集到的完整图像；

对所述完整图像的中间区域图像进行显示；

响应于用户触发的拍摄操作，将当前采集到的完整图像作为待查询图像。

6.根据权利要求3所述的方法，其特征在于，还包括：

获取所述目标功能部件所属车辆的车型标识信息；

所述将所述特征数据输入至所述部件识别子模型，识别出所述目标功能部件的部件名称，包括：

根据所述车型标识信息和所述部件识别子模型，识别出所述区域图像中所述目标功能部件的部件名称。

7.根据权利要求2至6中任一项所述的方法，其特征在于，还包括：

确定背景图像；所述背景图像为所述待查询图像中，除所有功能部件所在区域的区域图像之外的图像；

对所述背景图像进行轮廓提取，提取出所述背景图像的轮廓特征；

将所述轮廓特征添加至所述特征数据中。

8.根据权利要求1所述的方法，其特征在于，还包括：

根据所述部件名称，从预设的三维动效库中获取所述目标功能部件的三维动效数据；

展示所述三维动效数据。

9.一种车辆功能查询的装置，其特征在于，所述装置包括：

获取模块，用于获取用户输入的待查询图像；所述待查询图像中包括待查询的目标功能部件；

识别模块，用于根据部件识别模型识别出所述待查询图像中所述目标功能部件的部件名称；

输入模块，用于将所述部件名称输入至车辆功能模型；所述车辆功能模型为基于车辆知识库训练得到的大语言模型；

功能模块，用于根据所述车辆功能模型的输出结果，生成所述目标功能部件的功能描述信息。

10.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至8中任一项所述的车辆功能查询的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至8中任一项所述的车辆功能查询的方法。