CN115562707A - 一种车载终端模型部署方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及汽车智能座舱技术领域，提供了一种车载终端模型部署方法、装置、设备及介质，方法包括：获取目标模型和测试数据集；根据预先选取的模型推理框架所需的数据格式，对目标模型进行格式转换，得到格式转换后的目标模型；将格式转换后的目标模型传输至车载终端内的模型推理框架，并运行格式转换后的目标模型；将测试数据集输入模型推理框架中，根据测试数据集对目标模型进行模型推理，得到推理结果；将推理结果传输至目标功能模块，以实现在车载终端对目标模型的部署。该方法可以直接将目标算法部署到车载终端中，无需增加单独的AI芯片，可以让车企掌握算法简单、可部署性强的算法部署能力。

Description

一种车载终端模型部署方法、装置、设备及介质

技术领域

本申请涉及汽车智能座舱技术领域，具体涉及一种车载终端模型部署方法、装置、设备及介质。

背景技术

随着AI(Artificial intelligence:人工智能)视觉技术的发展，通过视觉技术实现的功能不断扩大，在汽车智能座舱技术领域对AI视觉技术的运用也越发广泛。大多数AI是在云端进行运算，但是云端计算具有网络延迟、离线环境无法使用、响应不及时、数据隐私无法保证等问题。

为了解决上述云端AI计算的问题，目前车企多使用供应商提供的AI芯片和AI算法实现座舱移动终端的AI计算。但是，当车企想要增加新功能时必须依赖供应商进行开发和集成，成本变高，如何在不依赖供应商的前提下将目标算法部署至车载终端内，以及如何降低算法部署成本，是目标亟需解决的问题。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种车载算法部署方法、装置、设备及介质，用于解决现有技术中如何在不依赖供应商的前提下将目标算法部署至车载终端内、降低算法部署成本的问题。

为实现上述目的及其他相关目的，本申请提供一种车载终端模型部署方法，所述方法包括：

获取目标模型和测试数据集；

根据预先选取的模型推理框架所需的数据格式，对所述目标模型进行格式转换，得到格式转换后的目标模型；

将所述格式转换后的目标模型传输至车载终端内的模型推理框架，并运行所述格式转换后的目标模型；

将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果；

将所述推理结果传输至目标功能模块，以实现在车载终端对所述目标模型的部署。

于本申请的一实施例中，其特征在于：

所述目标模型的格式为torch格式；

所述预先选取的模型推理框架所需的数据格式为tflite格式。

于本申请的一实施例中，所述将所述格式转换后的目标模型传输至车载终端内的模型推理框架，并运行所述格式转换后的目标模型，包括：

将所述格式转换后的目标模型传输至所述车载终端的系统中，所述车载终端的系统中预先配置tensorflow-lite架包；

将所述系统中的目标模型传输至所述模型推理框架中；

根据所述tensorflow-lite架包中的tensorflow初始化接口，获取并响应tensorflow初始化指令，以通过所述模型推理框架对所述目标模型的参数进行初始化并运行所述目标模型。

于本申请的一实施例中，所述测试数据集包括图像测试数据集，所述将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果之前，还包括在车载终端对所述图像测试数据集进行前处理的步骤，所述前处理的步骤包括：

根据预设的图像尺寸，对所述图像测试数据集中的图像进行缩放，得到第一图像测试数据集；

获取所述第一图像测试数据集中的多个图像，分别对所述多个图像进行随机剪裁和拼接，并将剪裁和拼接后得到的图像添加至所述第一图像测试数据集中，得到第二图像测试数据集；

获取所述第二图像测试数据集中的多个图像和所述多个图像对应的标签，根据预设的混合比例对所述多个图像和标签进行混合，并将混合后的图像和标签添加至所述第二图像测试数据集中，得到第三图像测试数据集。

于本申请的一实施例中，所述得到第三图像测试数据集之后，还包括：

获取所述第三图像测试数据集的第一数据格式和第二数据格式，所述第一数据格式为在所述车载终端进行前处理后得到的第三图像测试数据集的数据格式，所述第二数据格式为在电脑端进行前处理后得到的第三图像测试数据集的数据格式，所述第一数据格式和第二数据格式为矩阵形式；

根据所述电脑端中预先配置的矩阵转换方式，对所述第二数据格式的矩阵顺序转换为所述第一数据格式的矩阵顺序，得到矩阵顺序转换后的第二数据格式；

比对所述第一数据格式与所述矩阵顺序转换后的第二数据格式，得到比对结果，若所述比对结果为所述第一数据格式与所述矩阵顺序转换后的第二数据格式的误差低于预设的误差阈值，则确定所述在所述车载终端进行前处理后的第三图像测试数据集可用。

于本申请的一实施例中，所述将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果，包括：

将所述测试数据集输入所述模型推理框架中，以使所述目标模型调用所述测试数据集；

根据所述目标模型对所述测试数据集中的数据进行计算，得到第一推理结果；

根据预设的数据元素对应关系，将所述第一推理结果中的数据元素向目标数据元素进行映射，得到第二推理结果。

于本申请的一实施例中，所述推理结果包括多个图像元素类别、与所述多个图像元素类别对应的多个图像元素指示框，所述将所述推理结果传输至目标功能模块，以实现在车载终端对所述目标模型的部署之前，还包括对所述推理结果进行后处理的步骤，所述后处理的步骤包括：

对所述多个图像元素指示框进行得分计算，得到所述多个图像元素指示框的得分；

根据所述多个图像元素指示框的得分，确定得分最高的最优图像元素指示框；

分别计算剩余图像元素指示框与所述最优图像元素指示框之间的交并比，若所述交并比大于预设的交并比阈值，则去除所述剩余图像元素指示框中的冗余指示框，得到所述多个图像元素类别对应的的多个候选图像元素指示框；

若所述多个图像元素类别之间存在组合关系，则计算所述多个图像元素对应的多个候选图像元素指示框之间的中心距离和边角距离，并根据所述中心距离和边角距离判断所述多个候选图像元素指示框是否嵌套；

若所述多个候选图像元素指示框嵌套，则根据时序调整值缩小所述多个图像元素类别、多个候选图像元素指示框的输出时间，得到后处理后的推理结果。

于本申请的一实施例中，还提供了一种车载终端模型部署装置，所述装置包括：

信息获取模块，用于获取目标模型和测试数据集；

格式转化模块，用于根据预先选取的模型推理框架所需的数据格式，对所述目标模型进行格式转换，得到格式转换后的目标模型；

模型运行模块，用于将所述格式转换后的目标模型传输至车载终端内的模型推理框架，并运行所述格式转换后的目标模型；

模型推理模块，用于将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果；

推理结果传输模块，用于将所述推理结果传输至目标功能模块，以实现在车载终端对所述目标模型的部署。

于本申请的一实施例中，还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的车载终端模型部署方法。

于本申请的一实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上所述的车载终端模型部署方法。

本发明的有益效果：首先获取目标模型和测试数据集；然后根据预先选取的模型推理框架所需的数据格式，对所述目标模型进行格式转换，得到格式转换后的目标模型；再将所述格式转换后的目标模型传输至车载终端内的模型推理框架，并运行所述格式转换后的目标模型；再将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果；最后将所述推理结果传输至目标功能模块，以实现在车载终端对所述目标模型的部署。本发明通过对目标模型进行格式转换，通过车载终端内的模型推理框架对格式转换后的目标模型进行推理，并将推理结果传输至目标功能模块以实现目标功能，该方法可以直接将目标算法部署到车载终端中，无需增加单独的AI芯片，可以让车企掌握算法简单、可部署性强的算法部署能力。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请的一示例性实施例示出的车载终端模型部署方法的实施环境示意图；

图2是本申请的一示例性实施例示出的AI算法在android车机部署结构图；

图3是本申请的一示例性实施例示出的车载终端模型部署方法的流程图；

图4是本申请的另一示例性实施例示出的车载终端模型部署方法的流程图；

图5是本申请的一示例性实施例示出的车载终端模型部署装置的框图；

图6示出了用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

首先需要说明的是：

前处理：模型的推理的输入是Tensor数据(多为矩阵形式数据)，但是正常AI应用的输入都是图片、视频、文字等数据，所以需要前处理将业务的输入的图像、视频、文字等数据预先处理成模型推理可以接收的Tensor数据。图像数据的前处理可例如包括：图像格式转换、颜色空间变换、图像变换(resize、warpaffline(仿射变换))、图像滤波。

模型推理：在实际应用环境中，已部署算法模型的设备将实际输入的数据，在训练好的模型中跑通，并且使性能和精度等指标达到预期效果。模型推理时，能高效执行深度学习网络中算子的推理引擎会把中间表示转换成特定的文件格式，并在对应硬件平台上高效运行模型。

后处理：将模型推理后的Tensor数据转换成业务可以识别的特征数据，不同的业务会呈现不同的最终效果数据，即将模型推理得到的推理结果传输至目标功能模块，以进行目标功能的实现。

图1是本申请的一示例性实施例示出的车载终端模型部署方法的实施环境示意图。参照图1所示，实施环境中可以包括车载终端设备101、云端设备102和服务器组103。

示意性的，终端设备101用于获取目标模型和测试数据集，并通过本申请实施例中的车载终端模型部署方法实现将目标模型的部署。云端设备102和服务器组103用于对预先构建的目标模型进行训练，得到训练完成的目标模型，然后通过传输介质将训练完成的目标模型和预先存储的测试数据集传输至终端设备101。另外，终端设备101还可以与车辆搭载的摄像头相连接，用于获取在车辆在形式过程中采集的图像数据等。

示意性的，也可以由相关技术人员将训练完成的目标模型和测试数据集输入到终端设备101中，终端设备101通过本申请实施例中的车载终端模型部署方法完成目标模型的部署，模型部署完成后，终端设备101中的目标功能模块对模型推理出的结果数据进行处理，并通过传输介质将结果数据传输至云端设备102和服务器组103中进行存储或后续的计算。

需要说明的是，本申请实施例中对目标模型和测试数据集的来源、终端设备101与云端设备102和服务器组103之间的数据交互方式不做具体限定，可根据具体的实际需求对此进行设置。

其中，图1所示的终端设备101可以是车载电脑，但并不限于此。图1所示的服务器组103可例如为独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，在此也不进行限制。终端设备101可以通过3G(第三代的移动信息技术)、4G(第四代的移动信息技术)、5G(第五代的移动信息技术)等无线网络与云端设备102和服务器组103进行通信，本处也不对此进行限制。

图2是本申请的一示例性实施例示出的AI算法在android车机部署结构图。其中，将AI算法部署到android系统中，android系统运行在车载主机内的车载芯片上，摄像头数据可以通过车载芯片传输到android系统，这样AI算法可以对图像进行识别，从而完成AI算法的部署。

需要说明的是，汽车企业在组装汽车时，从多个供货商处购买控制器、AI芯片等，然后进行组装。可例如，汽车需实现对驾驶员的疲劳状态监听，就需要通过车内安装的摄像机实时获取驾驶员的驾驶图像信息，然后将驾驶图像信息传输至AI芯片中，以对驾驶图像信息进行识别，得到识别结果。但是，当车企需要在该AI芯片中针对图像识别模型添加新的功能时，就需要联系供货商对AI芯片和模型进行重新开发和集成，这样不仅成本变高了，还延长了车辆组装周期。

以上所指出的问题在通用的AI算法模型部署过程中普遍存在，为解决这些问题，本申请的实施例分别提出一种车载终端模型部署方法、一种车载终端模型部署装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品，以下将对这些实施例进行详细描述。

请参阅图3，图3是本申请的一示例性实施例示出的车载终端模型部署方法的流程图。该方法可以应用于图1所示的实施环境，也可应用于图2所示的车机部署结构中，并由图1所示的实施环境中的终端设备101具体执行。

如图3所示，在一示例性的实施例中，车载终端模型部署方法至少包括步骤S310-S350，详细介绍如下：

在步骤S310中，获取目标模型和测试数据集。

示例性的，搭载有android系统的AI芯片从服务器中获取目标模型和测试数据集，目标模型在服务器中已进行训练。目标模型可由算法开发人员预先选取，可例如：本申请实施例中需对摄像头采集的图像数据进行目标检测，算法开发人员可预先选取2021计算机视觉-目标检测领域中性能较高、适配性较高的模型YOLOv5(一个在数据集上预训练的物体检测架构和模型系列)作为目标模型。

在步骤S320中，根据预先选取的模型推理框架所需的数据格式，对目标模型进行格式转换，得到格式转换后的目标模型。

示例性的，所述目标模型的格式为torch格式，所述预先选取的模型推理框架所需的数据格式为tflite格式。本申请实施例中，选取tflite的原因是android可以通过相关函数调用tflite模型，并且相关库函数相较于其他框架更加成熟，因此选择转换为tflite模型。

在步骤S330中，将格式转换后的目标模型传输至车载终端内的模型推理框架，并运行格式转换后的目标模型。

示例性的，将tflite格式的目标模型传输至车载终端内的TensorRT模型推理框架，并通过TensorRT模型推理框架运行tflite格式的目标模型。

在步骤S340中，将测试数据集输入模型推理框架中，根据测试数据集对目标模型进行模型推理，得到推理结果。

示例性的，测试数据集为车辆搭载的摄像头采集的图像数据，将图像数据输入TensorRT模型推理框架中进行模型推理，得到模型推理结果。模型推理结果可例如为“类别为红色”。

在步骤S350中，将推理结果传输至目标功能模块，以实现在车载终端对目标模型的部署。

示例性的，目标功能模块为根据红绿灯颜色进行行车判断的功能模块，此时推理结果可例如为红绿灯颜色。将推理结果和目标功能模块相关联，当达到预设条件后，触发对应的功能，即可完成对整个功能的开发。

由此可知，通过上述步骤S310至S350，通过对目标模型进行格式转换，通过车载终端内的模型推理框架对格式转换后的目标模型进行推理，并将推理结果传输至目标功能模块以实现目标功能，该方法可以直接将目标算法部署到车载终端中，无需增加单独的AI芯片，可以让车企掌握算法简单、可部署性强的算法部署能力。

在本申请的一个实施例中，在图3所示的步骤330中将所述格式转换后的目标模型传输至车载终端内的模型推理框架，并运行所述格式转换后的目标模型，包括如下步骤：

将所述格式转换后的目标模型传输至所述车载终端的系统中，所述车载终端的系统中预先配置tensorflow-lite架包；

响应于模型传输指令，将所述系统中的目标模型传输至所述模型推理框架中；

根据所述tensorflow-lite架包中的tensorflow初始化接口，获取并响应tensorflow初始化指令，以通过所述模型推理框架对所述目标模型的参数进行初始化并运行所述目标模型。

示例性的，首先将tflite格式的目标模型存放在系统目录下，android工程配置tensorflow-lite架包依赖，读取tflite格式的目标模型将并将模型加载成可读取对象；然后在子线程中调用tensorflow的初始化接口，响应tensorflow初始化指令，以通过所述模型推理框架对所述目标模型的参数进行初始化并运行所述目标模型。

在本申请的一个实施例中，测试数据集包括图像测试数据集，在图3所示的步骤340之前，还包括在车载终端对所述图像测试数据集进行前处理的步骤，所述前处理的步骤包括：

根据预设的图像尺寸，对所述图像测试数据集中的图像进行缩放，得到第一图像测试数据集；

获取所述第一图像测试数据集中的多个图像，分别对所述多个图像进行随机剪裁和拼接，并将剪裁和拼接后得到的图像添加至所述第一图像测试数据集中，得到第二图像测试数据集；

获取所述第二图像测试数据集中的多个图像和所述多个图像对应的标签，根据预设的混合比例对所述多个图像和标签进行混合，并将混合后的图像和标签添加至所述第二图像测试数据集中，得到第三图像测试数据集。

示例性的，测试数据集包括图像测试数据集，图像测试数据集可通过如下步骤获取：使用android原生的摄像头接口打开摄像头，根据不同的需求传入不同的id，可以控制打开不同的摄像头；打开摄像头时，通过摄像头预览数据的监听可以拿到每帧的摄像头数据，由于摄像头每秒有25帧以上的图像，所以每帧的图像处理时间不能超过40毫秒，不然就会导致摄像头卡住，当图像处理时间超过计算时长(1000毫秒/帧数)，则需要对图像帧进行过滤处理，同时需要将耗时操作放到子线程处理，即可得到图像测试数据集。

在得到图像测试数据集后，通过resize算法(一种图像缩放算法)将图像数据集中的图像数据进行压缩或扩张，然后通过Mosaic数据增强对图像测试数据集中的多个图像数据进行随机剪裁和拼接，以及通过MixUp数据增强对图像测试数据集中的多个图像数据和所述多个图像数据对应的标签进行混合，得到前处理后的图像数据。

在本申请的一个实施例中，对图像测试数据集进行前处理的步骤还包括：

获取所述第三图像测试数据集的第一数据格式和第二数据格式，所述第一数据格式为在所述车载终端进行前处理后得到的第三图像测试数据集的数据格式，所述第二数据格式为在电脑端进行前处理后得到的第三图像测试数据集的数据格式，所述第一数据格式和第二数据格式为矩阵形式；

根据所述电脑端中预先配置的矩阵转换方式，对所述第二数据格式的矩阵顺序转换为所述第一数据格式的矩阵顺序，得到矩阵顺序转换后的第二数据格式；

比对所述第一数据格式与所述矩阵顺序转换后的第二数据格式，得到比对结果，若所述比对结果为所述第一数据格式与所述矩阵顺序转换后的第二数据格式的误差低于预设的误差阈值，则确定所述在所述车载终端进行前处理后的第三图像测试数据集可用。

需要说明的是，每个模型接收的数据格式可能存在差异，从摄像头拿到的数据并不能直接给模型使用，这时需要将摄像头的数据转成模型能识别的数据，因此本申请实施例中的图像测试数据集也可为已进行数据格式转换后的图像测试数据集。

在数据前处理时，可能发现不一致问题，此时可以先使用一张图像做测试，然后对处理后的数据做详细的比对，如果数据不一致，就会导致后续的推理结果错误。可例如：将算法人员在电脑端的图像前处理得到的图像测试数据集的数据格式和在车机端的图像前处理得到的图像测试数据集的数据格式进行比对，判断两种数据格式是否相同，或者判断两种数据格式的误差是否在1％之内，需要说明的是，两种数据格式都为矩阵形式。如果两种数据格式相同则确定前处理后的图像测试数据集可用。另外，由于电脑终端的torch环境和车载终端的android环境的部分图像预处理函数不同，例如torch的图像矩阵的顺序是NCWH，android的图像矩阵顺序是NHWC，因此在将两种数据格式进行比对之前，需要集成人员将torch环境中的数据格式转换为android环境中的数据格式。

在本申请的一个实施例中，在图3所示的步骤340中将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果，包括：

将所述测试数据集输入所述模型推理框架中，以使所述目标模型调用所述测试数据集；

根据所述目标模型对所述测试数据集中的数据进行计算，得到第一推理结果；

根据预设的数据元素对应关系，将所述第一推理结果中的数据元素向目标数据元素进行映射，得到第二推理结果。

示例性的，将图像测试数据集输入模型推理框架中，并调用模型推理方法即可完成模型的推理。本申请实施例中的模型推理，是指将任意一张前处理后的图片，输入模型的一系列矩阵参数中进行乘法运算，得到一个具体数据，数据再通过一定的逻辑映射得到最后的结果，可例如“颜色类别为红色”，推理过程比较耗时，需要放到子线程处理；得到初始推理结果后，根据目标功能模块所需的数据格式，对推理结果进行格式转换。

需要说明的是，每个模型的结果输出可能不一样，需要集成人员和算法开发人员对接。算法人员在电脑上的结果和android车机端跑的结果进行对比，当发现结果不一致时，可以先排查一下数据前处理后的结果是否存在差异，如果存在少量偏差，可能属于正常情况，因为电脑和车机两个不同的环境对结果会存在一定的偏差。

在本申请的一个实施例中，推理结果包括多个图像元素类别、与所述多个图像元素类别对应的多个图像元素指示框，在图3所示的步骤S350中将所述推理结果传输至目标功能模块，以实现在车载终端对所述目标模型的部署之前，还包括对所述推理结果进行后处理的步骤，所述后处理的步骤包括：

对所述多个图像元素指示框进行得分计算，得到所述多个图像元素指示框的得分；

根据所述多个图像元素指示框的得分，确定得分最高的最优图像元素指示框；

分别计算剩余图像元素指示框与所述最优图像元素指示框之间的交并比，若所述交并比大于预设的交并比阈值，则去除所述剩余图像元素指示框中的冗余指示框，得到所述多个图像元素类别对应的的多个候选图像元素指示框；

若所述多个图像元素类别之间存在组合关系，则计算所述多个图像元素对应的多个候选图像元素指示框之间的中心距离和边角距离，并根据所述中心距离和边角距离判断所述多个候选图像元素指示框是否嵌套；

若所述多个候选图像元素指示框嵌套，则根据时序调整值缩小所述多个图像元素类别、多个候选图像元素指示框的输出时间，得到后处理后的推理结果。

示例性的，模型输出结果后，可能并不是功能直接可用的数据，需要对数据进行一系列的后处理，才能得到想要的数据。推理结果包括多个图像元素类别、与所述多个图像元素类别对应的多个图像元素指示框，但是真实图片中一个类别A可能会预测出多个图像元素指示框，通过NMS(Non-Maximum Suppression，非极大值抑制)，根据计算指示框之间的阈值并你叫，从多个图像元素指示框中去除冗余的指示框，避免多个图像元素指示框之间的相互干扰，以确保推理结果的准确性和有效性。

另外，部分红绿灯识别出来单独类别后，一些类别会存在组合关系。可例如在根据交通信号灯的图像数进行行车判断时，需要在模型中识别采集到的交通信号图像，其中倒计时和红色红绿灯之间存在组合关系，即行车判断需要将倒计时的图像识别结果与红绿灯的图像时候别结果进行租和。计算所述多个图像元素对应的多个候选图像元素指示框之间的中心距离和边角距离，并根据所述中心距离和边角距离判断所述多个候选图像元素指示框是否嵌套，当多个候选图像元素指示框嵌套时，可例如A指示框在B指示框内部，此时则可将存在组合关系的多个图像元素对应的多个候选图像元素指示框输出。

由于车载终端算力十分有限，并且前处理、模型推理、后处理需要的时间大概在1s左右，所以输出红绿灯时间的时候，出现这种延迟是很致命的，因此需要通过时序调整值来缩小图像元素类别、图像元素指示框的输出时间。可例如：模型输出时间为10s，经过时序性调整输出为9s。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的车载终端模型部署方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的车载终端模型部署方法的实施例。

图5是本申请的一示例性实施例示出的车载终端模型部署装置的框图。该装置可以应用于图3所示的实施环境，并具体配置在终端设备101中。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。

如图5所示，该示例性的车载终端模型部署装置包括：信息获取模块501、格式转化模块502、模型运行模块503、模型推理模块504、推理结果传输模块505。

其中，信息获取模块501，用于获取目标模型和测试数据集；

格式转化模块502，用于根据预先选取的模型推理框架所需的数据格式，对所述目标模型进行格式转换，得到格式转换后的目标模型；

模型运行模块503，用于将所述格式转换后的目标模型传输至车载终端内的模型推理框架，并运行所述格式转换后的目标模型；

模型推理模块504，用于将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果；

推理结果传输模块505，用于将所述推理结果传输至目标功能模块，以实现在车载终端对所述目标模型的部署。

在申请的一个实施例中，根据前述内容，格式转化模块502还被配置为：

将所述格式转换后的目标模型传输至所述车载终端的系统中，所述车载终端的系统中预先配置tensorflow-lite架包；

将所述系统中的目标模型传输至所述模型推理框架中；

根据所述tensorflow-lite架包中的tensorflow初始化接口，获取并响应tensorflow初始化指令，以通过所述模型推理框架对所述目标模型的参数进行初始化并运行所述目标模型。

在申请的一个实施例中，根据前述内容，车载终端模型部署装置还包括前处理模块，前处理模块被配置为：

根据预设的图像尺寸，对所述图像测试数据集中的图像进行缩放，得到第一图像测试数据集；

获取所述第一图像测试数据集中的多个图像，分别对所述多个图像进行随机剪裁和拼接，并将剪裁和拼接后得到的图像添加至所述第一图像测试数据集中，得到第二图像测试数据集；

获取所述第二图像测试数据集中的多个图像和所述多个图像对应的标签，根据预设的混合比例对所述多个图像和标签进行混合，并将混合后的图像和标签添加至所述第二图像测试数据集中，得到第三图像测试数据集。

在申请的一个实施例中，根据前述内容，前处理模块还被配置为：

获获取所述第三图像测试数据集的第一数据格式和第二数据格式，所述第一数据格式为在所述车载终端进行前处理后得到的第三图像测试数据集的数据格式，所述第二数据格式为在电脑端进行前处理后得到的第三图像测试数据集的数据格式，所述第一数据格式和第二数据格式为矩阵形式；

根据所述电脑端中预先配置的矩阵转换方式，对所述第二数据格式的矩阵顺序转换为所述第一数据格式的矩阵顺序，得到矩阵顺序转换后的第二数据格式；

比对所述第一数据格式与所述矩阵顺序转换后的第二数据格式，得到比对结果，若所述比对结果为所述第一数据格式与所述矩阵顺序转换后的第二数据格式的误差低于预设的误差阈值，则确定所述在所述车载终端进行前处理后的第三图像测试数据集可用。

在申请的一个实施例中，根据前述内容，模型推理模块504被配置为：

将所述测试数据集输入所述模型推理框架中，以使所述目标模型调用所述测试数据集；

根据所述目标模型对所述测试数据集中的数据进行计算，得到第一推理结果；

根据预设的数据元素对应关系，将所述第一推理结果中的数据元素向目标数据元素进行映射，得到第二推理结果。

在申请的一个实施例中，根据前述内容，车载终端模型部署装置还包括后处理模块，后处理模块被配置为：

对所述多个图像元素指示框进行得分计算，得到所述多个图像元素指示框的得分；

根据所述多个图像元素指示框的得分，确定得分最高的最优图像元素指示框；

分别计算剩余图像元素指示框与所述最优图像元素指示框之间的交并比，若所述交并比大于预设的交并比阈值，则去除所述剩余图像元素指示框中的冗余指示框，得到所述多个图像元素类别对应的的多个候选图像元素指示框；

若所述多个图像元素类别之间存在组合关系，则计算所述多个图像元素对应的多个候选图像元素指示框之间的中心距离和边角距离，并根据所述中心距离和边角距离判断所述多个候选图像元素指示框是否嵌套；

若所述多个候选图像元素指示框不嵌套，则根据时序调整值缩小所述多个图像元素类别、多个候选图像元素指示框的输出时间，得到后处理后的推理结果。

需要说明的是，上述实施例所提供的车载终端模型部署装置与上述实施例所提供的车载终端模型部署方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的车载终端模型部署装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的车载终端模型部署方法。

图6示出了用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(Central Processing Unit，CPU)601，其可以根据存储在只读存储器(Read-Only Memory，ROM)602中的程序或者从储存部分608加载到随机访问存储器(Random Access Memory，RAM)603中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(Input/Output，I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分607；包括硬盘等的储存部分608；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入储存部分608。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上所述的车载终端模型部署方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的车载终端模型部署方法。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

在上述实施例中，除非另外规定，否则通过使用“第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。

在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。

在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种车载终端模型部署方法，其特征在于，所述方法包括：

获取目标模型和测试数据集；

根据预先选取的模型推理框架所需的数据格式，对所述目标模型进行格式转换，得到格式转换后的目标模型；

将所述格式转换后的目标模型传输至车载终端内的模型推理框架，并运行所述格式转换后的目标模型；

将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果；

将所述推理结果传输至目标功能模块，以实现在车载终端对所述目标模型的部署。

2.根据权利要求1所述的车载终端模型部署方法，其特征在于：

所述目标模型的格式为torch格式；

所述预先选取的模型推理框架所需的数据格式为tflite格式。

3.根据权利要求1所述的车载终端模型部署方法，其特征在于，所述将所述格式转换后的目标模型传输至车载终端内的模型推理框架，并运行所述格式转换后的目标模型，包括：

将所述格式转换后的目标模型传输至所述车载终端的系统中，所述车载终端的系统中预先配置tensorflow-lite架包；

将所述系统中的目标模型传输至所述模型推理框架中；

根据所述tensorflow-lite架包中的tensorflow初始化接口，获取并响应tensorflow初始化指令，以通过所述模型推理框架对所述目标模型的参数进行初始化并运行所述目标模型。

4.根据权利要求1所述的车载终端模型部署方法，其特征在于，所述测试数据集包括图像测试数据集，所述将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果之前，还包括在车载终端对所述图像测试数据集进行前处理的步骤，所述前处理的步骤包括：

根据预设的图像尺寸，对所述图像测试数据集中的图像进行缩放，得到第一图像测试数据集；

获取所述第一图像测试数据集中的多个图像，分别对所述多个图像进行随机剪裁和拼接，并将剪裁和拼接后得到的图像添加至所述第一图像测试数据集中，得到第二图像测试数据集；

获取所述第二图像测试数据集中的多个图像和所述多个图像对应的标签，根据预设的混合比例对所述多个图像和标签进行混合，并将混合后的图像和标签添加至所述第二图像测试数据集中，得到第三图像测试数据集。

5.根据权利要求4所述的车载终端模型部署方法，其特征在于，所述得到第三图像测试数据集之后，还包括：

获取所述第三图像测试数据集的第一数据格式和第二数据格式，所述第一数据格式为在所述车载终端进行前处理后得到的第三图像测试数据集的数据格式，所述第二数据格式为在电脑端进行前处理后得到的第三图像测试数据集的数据格式，所述第一数据格式和第二数据格式为矩阵形式；

根据所述电脑端中预先配置的矩阵转换方式，对所述第二数据格式的矩阵顺序转换为所述第一数据格式的矩阵顺序，得到矩阵顺序转换后的第二数据格式；

比对所述第一数据格式与所述矩阵顺序转换后的第二数据格式，得到比对结果，若所述比对结果为所述第一数据格式与所述矩阵顺序转换后的第二数据格式的误差低于预设的误差阈值，则确定所述在所述车载终端进行前处理后的第三图像测试数据集可用。

6.根据权利要求1所述的车载终端模型部署方法，其特征在于，所述将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果，包括：

将所述测试数据集输入所述模型推理框架中，以使所述目标模型调用所述测试数据集；

根据所述目标模型对所述测试数据集中的数据进行计算，得到第一推理结果；

根据预设的数据元素对应关系，将所述第一推理结果中的数据元素向目标数据元素进行映射，得到第二推理结果。

7.根据权利要求1所述的车载终端模型部署方法，其特征在于，所述推理结果包括多个图像元素类别、与所述多个图像元素类别对应的多个图像元素指示框，所述将所述推理结果传输至目标功能模块，以实现在车载终端对所述目标模型的部署之前，还包括对所述推理结果进行后处理的步骤，所述后处理的步骤包括：

对所述多个图像元素指示框进行得分计算，得到所述多个图像元素指示框的得分；

根据所述多个图像元素指示框的得分，确定得分最高的最优图像元素指示框；

分别计算剩余图像元素指示框与所述最优图像元素指示框之间的交并比，若所述交并比大于预设的交并比阈值，则去除所述剩余图像元素指示框中的冗余指示框，得到所述多个图像元素类别对应的的多个候选图像元素指示框；

若所述多个图像元素类别之间存在组合关系，则计算所述多个图像元素对应的多个候选图像元素指示框之间的中心距离和边角距离，并根据所述中心距离和边角距离判断所述多个候选图像元素指示框是否嵌套；

若所述多个候选图像元素指示框嵌套，则根据时序调整值缩小所述多个图像元素类别、多个候选图像元素指示框的输出时间，得到后处理后的推理结果。

8.一种车载终端模型部署装置，其特征在于，所述装置包括：

信息获取模块，用于获取目标模型和测试数据集；

格式转化模块，用于根据预先选取的模型推理框架所需的数据格式，对所述目标模型进行格式转换，得到格式转换后的目标模型；

模型运行模块，用于将所述格式转换后的目标模型传输至车载终端内的模型推理框架，并运行所述格式转换后的目标模型；

模型推理模块，用于将所述测试数据集输入所述模型推理框架中，根据所述测试数据集对所述目标模型进行模型推理，得到推理结果；

推理结果传输模块，用于将所述推理结果传输至目标功能模块，以实现在车载终端对所述目标模型的部署。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至7中任一项所述的车载终端模型部署方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如权利要求1至7中任一项所述的车载终端模型部署方法。

Images