CN113850263A - 基于图像识别的车型预测方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，尤其涉及一种基于图像识别的车型预测方法、装置、设备及介质。该基于图像识别的车型预测方法包括获取用户终端上传的包含车辆识别号码的车辆图像，并通过OCR模型识别所述车辆图像中的车辆识别号码；对车辆识别号码进行校验，当校验通过时，将车辆识别号码与预先存储的车型数据进行匹配；若匹配失败，则通过车型预测模块实时接收用户上传的视频流；调用目标车型预测模型对多帧车头图像进行预测，输出车型预测信息；通过车辆识别号码修正车型预测信息，输出目标车型信息，返回给用户终端。该方法可在车辆识别号码进行车型匹配失败时，通过综合预测车型信息以及车辆识别号码，准确输出目标车型信息。

Description

基于图像识别的车型预测方法、装置、设备及介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于图像识别的车型预测方法、装置、 设备及介质。

背景技术

目前，车辆零配件服务系统需要用户录入当前车辆的相关信息以匹配车辆零配件，当 前一般采用识别VIN码解析车型信息功能进行解析，以分析当前车辆的相关信息(例如车 辆的品牌、型号、年款、名称等)，但在VIN码解析车型信息失败的情况下，只能依赖于用户根据引导信息，手动逐层地选择录入车辆的相关信息，录入过程较为繁琐且耗费时间。

为解决上述问题，目前可实现通过预先训练的车型预测模型针对单一角度的车头图像 进行车型的智能预测，以无需用户手动录入车辆的相关信息，但在实际预测场景中，由于 不同用户在拍摄车头图像时，其拍摄角度可能与期望角度之间存在较大误差，因此若仅根 据单一角度的车头图像进行预测，会使模型预测结果受到角度误差的影响，导致当前车型 识别模型的准确率不高。

发明内容

本发明实施例提供一种基于图像识别的车型预测方法、装置、设备及介质，以解决当 前车型识别模型的准确率不高的问题。

一种基于图像识别的车型预测方法，包括：

获取用户终端上传的包含车辆识别号码的车辆图像，并通过OCR模型识别所述车辆图 像中的车辆识别号码；

对所述车辆识别号码进行校验，当校验通过时，将所述车辆识别号码与预先存储的车 型数据进行匹配；

若匹配失败，则通过车型预测模块实时接收用户上传的视频流；其中，所述视频流中 包括多帧不同角度的车头图像；

调用预先训练好的目标车型预测模型对多帧所述车头图像进行车型预测，以输出车辆 的车型预测信息；

通过所述车辆识别号码对所述目标车型预测模型输出的车型预测信息进行修正，以输 出目标车型信息，返回给所述用户终端。

一种基于图像识别的车型预测方法装置，包括：

车辆识别号码识别模块，用于获取用户终端上传的包含车辆识别号码的车辆图像，并 通过OCR模型识别所述车辆图像中的车辆识别号码；

车辆识别号码校验模块，用于对所述车辆识别号码进行校验，当校验通过时，将所述 车辆识别号码与预先存储的车型数据进行匹配；

车型匹配模块，用于若匹配失败，则通过车型预测模块实时接收用户上传的视频流； 其中，所述视频流中包括多帧不同角度的车头图像；

车型预测模块，用于调用预先训练好的目标车型预测模型对多帧所述车头图像进行车 型预测，以输出车辆的车型预测信息；

车型信息修正模块，用于通过所述车辆识别号码对所述目标车型预测模型输出的车型 预测信息进行修正，以输出目标车型信息，返回给所述用户终端。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于图像识别的车型预测 方法的步骤。

一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处 理器执行时实现上述基于图像识别的车型预测方法的步骤。

上述基于图像识别的车型预测方法、装置、设备及介质中，通过获取获取用户终端上 传的包含车辆识别号码的车辆图像，并通过OCR模型识别车辆图像中的车辆识别号码，然 后对车辆识别号码进行校验，以初步校验车辆识别号码的真实性，若验证通过，方可进行 后续的车型匹配步骤，保证车型匹配的有效性。当校验通过时，将车辆识别号码与预先存 储的车型数据进行匹配，若匹配失败，即数据库中未存储有该车辆识别号码对应的车型数 据，则调用预先训练好的目标车型预测模型对用户上传的视频流中的多帧不同角度的车头 图像进行智能识别，以输出车辆的车型预测信息，有效避免拍摄角度误差对模型预测结果 的影响，提高车型预测的准确率。最后，此外，由于车辆识别号码可用于唯一描述车辆的 品牌信息，故本实施例中可通过上述解析得到的车辆识别号码所描述的车辆品牌信息进一 步修正模型预测的车型信息，是以综合车辆识别号码与模型输出结果，输出目标车型信息， 进一步提高目标车型信息的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获 得其他的附图。

图1是本发明一实施例中基于图像识别的车型预测方法的一应用环境示意图；

图2是本发明一实施例中基于图像识别的车型预测方法的一流程图；

图3是图2中步骤S205的一具体流程图；

图4是图2中步骤S204的一具体流程图；

图5是本发明一实施例中基于图像识别的车型预测方法的一流程图；

图6是图5中步骤S503的一具体流程图；

图7是本发明一实施例中基于图像识别的车型预测方法的一流程图；

图8是本发明一实施例中基于图像识别的车型预测方法的一流程图；

图9是本发明一实施例中基于图像识别的车型预测方法装置的一示意图；

图10是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明 中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。

该基于图像识别的车型预测方法可应用在如图1的应用环境中，其中，计算机设备通 过网络与服务器进行通信。计算机设备可以但不限于各种个人计算机、笔记本电脑、智能 手机、平板电脑和便携式可穿戴设备。服务器可以是独立的服务器，也可以是提供云服务、 云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全 服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等 基础云计算服务的云服务器。其中，本方法可应用在一种车辆零配件服务系统中，属于车 辆零配件匹配功能的前置模块，用于在录入车辆型信息时，通过在车辆识别号码(以下简 称车辆VIN码)识别车型阶段进一步引入补偿机制，即通过目标车型预测模型预测车型信 息，并通过车辆VIN码修正模型预测结果，从而保证最终输出的目标车型信息的准确性。

在一实施例中，如图2所示，提供一种基于图像识别的车型预测方法，以该方法应用 在图1中的服务器为例进行说明，包括如下步骤：

S201：获取用户终端上传的包含车辆识别号码的车辆图像，并通过OCR模型识别车辆 图像中的车辆识别号码。

其中，本方法可应用于任意需要进行车型预测的场景中，以通过对车辆车型进行准确 识别。具体地，本方法可应用在车辆零配件系统中，于该系统中，在为当前车辆推荐零部 件时，需要用户上传车辆信息，以便根据车辆信息匹配对应的零部件。该车辆信息可包括 但不限于车辆的品牌、型号、年款、名称等。为进一步提升零配件匹配的处理效率，可直接通过车辆的VIN码进行识别车辆信息，无需用户手动操作。

其中，VIN是英文Vehicle Identification Number(车辆识别码)的缩写，它包含了车辆的生产厂家、年代、车型、车身型式及代码、发动机代码及组装地点等信息，具有 对车辆的唯一识别性。

具体地，通过获取用户上传的包含车辆VIN码的车辆图像，并通过OCR模型识别所述 车辆图像中的车辆VIN码，以编后续针对车辆VIN码所描述的车辆信息进行匹配，从而输出当前车辆的相关信息。

S202：对车辆识别号码进行校验，当校验通过时，将车辆识别号码与预先存储的车型 数据进行匹配。

其中，由于OCR识别结果的准确率不一定是100％，若直接根据OCR识别得到的预测结果进行车型数据匹配，增加无效的数据处理量且浪费资源。故本实施例中通过对OCR识别得到的车辆VIN码进行初步校验，以保证后续车辆VIN码进行车型数据匹配的准确性。 本实施例中，车型数据表示与车辆VIN码所描述的品牌信息对应的车辆型号、生产年份、 名称等信息。

具体地，对车辆VIN码进行校验可包括但不限于对于识别得到的车辆VIN码的字符串 长度以及对车辆VIN码中的第九位校验位进行校验，当多种不同的校验方式中，若不存在 至少一个校验失败的校验结果，则认为车辆VIN码解析通过，即校验通过，此时将车辆VIN 码与预先存储的车型数据进行匹配。进一步地，当多种不同的校验方式中，若存在至少一 个校验失败的校验结果，则认为车辆VIN码解析失败，无需进行后续的车型数据匹配，保证后续车型数据匹配的有效性。

具体地，目前标准VIN码是17位，若识别得到的车辆VIN码的字符串长度不为17，则认为车辆VIN码解析失败；示例性地，VIN码从从第一位开始，码数字的对应值×该码 数字位对应的位置权值，计算全部17位的乘积值相加除以11，所得的余数，即为第九位 校验值，如果余数为10，则检验位为字母“X”。其中，针对码数字的对应值可参照第一 对照表获取，该第一对照表中包括VIN码中各位码数字的“对应值”，例如车辆VIN码为UU6JA69691D713820，第一位码数字“U”对应的加权值即为“对应值”；针VIN码中各位 数字位对应的加权值可参照第二对照表获取，该第二对照表中包括各数字位对应的位置权 值。

S203：若匹配失败，则通过车型预测模块实时接收用户上传的视频流；其中，视频流 中包括多帧不同角度的车头图像。

具体地，若数据库中未存储有与车辆识别号码对应的车型数据，则认为车型匹配失败， 进入车型智能识别模块，通过该目标车型预测模型指导用户拍摄车辆不同角度的车头图像 或直接指导用户拍摄车头的全角度视频流，以获得包含多帧不同角度的车头图像的视频 流，以便后续针对不同角度的车头图像进行识别。

可以理解地是，为保证模型识别的准确性，此处需要上传用户拍摄的车头图像在不同 角度下的视频流，以对视频流中的多帧图像进行识别，避免由于用户在拍摄单一车头图像 时，由于图像不清晰、角度倾斜等因素造成后续预测结果不准确的问题，尽量排除干扰因 素。

S204：调用预先训练好的目标车型预测模型对多帧车头图像进行车型预测，以输出车 辆的车型预测信息。

其中，该目标车型预测模型是预先通过深度学习(例如CNN)基于预先标注好的数据 集训练得到，该目标车型预测模型接收车头图像为输入，输出目标车辆的车型预测信息。 于本实施例中，车型预测信息包括但不限于车辆品牌、型号、生产年份以及名称等。

具体地，对于每帧车头图像，可预测出多个相似概率排在前N位的预测结果，以供用 户选择。其中，N为正整数，可根据实际需要设定，此处不做限定。

S205：通过车辆识别号码对目标车型预测模型输出的车型预测信息进行修正，以输出 目标车型信息，返回给用户终端。

可以理解地是，车辆VIN码可用于唯一描述车辆的品牌信息，故本实施例中可通过上 述解析得到的车辆VIN码所描述的车辆品牌信息进一步修正模型识别出的多个预测结果， 即从多个预测结果中筛选出M个与车辆VIN码所描述的车辆品牌信息一致的预测结果，以 返回给用户终端，供用户选择，有效避免仅输出单一预测结果，当预测结果不准确的情况 下，只能重新拍摄识别或引导用户手动逐级选择车型信息的问题，保证车辆零配件系统的 容错性。

本实施例中，通过获取获取用户终端上传的包含车辆VIN码的车辆图像，并通过OCR 模型识别车辆图像中的车辆VIN码，然后对车辆VIN码进行校验，以初步校验车辆VIN码的真实性，若验证通过，方可进行后续的车型匹配步骤，保证车型匹配的有效性。当校验 通过时，将车辆VIN码与预先存储的车型数据进行匹配，若匹配失败，即数据库中未存储 有该车辆VIN码对应的车型数据，则调用预先训练好的目标车型预测模型对用户上传的视 频流中的多帧不同角度的车头图像进行智能识别，以输出车辆的车型预测信息，有效避免 拍摄角度误差对模型预测结果的影响，提高车型预测的准确率。最后，此外，由于车辆VIN 码可用于唯一描述车辆的品牌信息，故本实施例中可通过上述解析得到的车辆VIN码所描 述的车辆品牌信息进一步修正模型预测的车型信息，是以综合车辆VIN码与模型输出结果， 输出目标车型信息，进一步提高目标车型信息的准确性。

在一实施例中，如图3所示，车型预测信息包括多个候选车辆品牌，每一候选车辆品 牌对应细粒度车辆信息；步骤S205中，即通过车辆识别号码对目标车型预测模型输出的车型预测信息进行修正，以输出目标车型信息，返回给用户终端具体包括如下步骤：

S301：通过解析车辆识别号码，确定目标车辆品牌。

S302：基于目标车辆品牌，对多个候选车辆品牌进行过滤，以获取目标车型信息；其 中，目标车型信息包括目标车辆品牌以及对应的细粒度车辆信息。

其中，该目标车型预测模型是预先通过深度学习(例如CNN)基于预先标注好的数据 集训练得到，该目标车型预测模型接收车头图像为输入，输出目标车辆的车型预测信息。 于本实施例中，车型预测信息包括但不限于车辆品牌、型号、生产年份以及名称等。

具体地，对于不同的车头图像，可识别出多个相似概率排在前N位的预测结果，以供 用户选择。其中，N为正整数，可根据实际需要设定，此处不做限定。

在一实施例中，如图4所示，步骤S204中，即调用预先训练好的目标车型预测模型对多帧车头图像进行车型预测，以输出车辆的车型预测信息，具体包括如下步骤：

S401：将多帧车头图像逐帧输入至目标车型预测模型中进行车型预测，预测每帧车头 图像对应的车型预测子信息。

可以理解地是，当训练好目标车型预测模型后，将多帧车头图像逐帧输入至所述目标 车型预测模型中进行车型预测，即可得到模型输出的模型识别概率值，该概率值用于表示 当前帧车头图像属于不同车型类别的识别概率，将概率值排在前N位的车型类别作为每帧 所述车头图像对应的车型预测子信息，实现对每帧车头图像的车型预测。其中，N的取值 可根据实际需要设定任意正整数。

S402：对多个车型预测子信息进行整合，以输出车型预测信息。

具体地，针对每一帧车头图像输入至目标车型预测模型中进行车型预测，均可输出对 应的包含多个相似车型的车型预测子信息。然后，通过对多帧车头图像对应输出的车型预 测子信息取交集，例如第一帧车头图像对应的车型预测子信息为A(A中包含多个相似车 型)，第二帧车头图像对应的车型预测子信息为B(B中包含多个相似车型)、第三帧车 头图像对应的车型预测子信息为C(C中包含多个相似车型)，通过公式A∩B∩C，以对 多帧图像对应的车型预测子信息进行整合，输出车型预测信息。

在一实施例中，如图5所示，步骤S201之前，该基于图像识别的车型预测方法还包括如下步骤：

S501：获取样本数据集；其中，数据集包括不同车型对应的多角度车头图像。

S502：对样本数据集进行增噪处理，以扩充样本数据集。

其中，为保证车型预测精度，需要通过大量的训练样本训练目标车型预测模型，需要 花费大量别的人力成本标注样本，故本实施例中，通过对每一车型对应的不同角度的车头 图像均进行增噪处理，以将增噪后的噪点图像与原图像作为训练图像，以扩充样本数据集。 于本实施例中，每批训练样本的结构为(同一车型的多角度车头图像X，对应标注的车型 信息Y)其中，该车型信息包括但不限于车辆的品牌、型号、年份等。

可以理解地是，由于在实际采集用户上传的视频流时，由于不同用户的拍摄技术不够 专业，在用户拍摄车头图像时，其拍摄角度可能与期望角度之间存在较大误差，因此若仅 根据单一角度的车头图像进行预测，则会使模型预测结果受到角度误差的影响，故本实施 例中，通过对同一车型的不同角度的车头图像进行拟合，以减少角度误差的影响，提高车 型预测的准确性。

具体地，通过对样本数据集进行增噪处理，即服务器对每一车型对应的不同角度的车 头图像随机选取预设比例的目标像素点，以对该比例的目标像素点随机增加噪点，扩充数 据集，可有效提高模型的鲁棒性，且可无需通过人工采集并标注训练样本，大大降低标注 成本。

其中，增噪处理包括但不限于反光、干扰线条、干扰色点、倾斜角度、膨胀、腐蚀以及高斯模糊等类型。

示例性地，以增加干扰色点为例，随机选取预设比例的像素点，并将该选取的像素点 设置为黑色即可完成增加噪点的目的。其中，预设比例可根据经验值设定，或者进行自定 义更改，其更改的方式包括两种：一种是更改增加噪点的像素点的比例；一种是更改增加 噪点的像素点数量。

可以理解地是，通过对样本数据集进行增噪处理，以在扩充样本数据集的同时，通过 对样本图像增加一种或多种噪点，以增强数据集的多样性，使模型可在该受到图像噪点干 扰的数据集上拟合，以在车型预测时，减少模型受到环境因素(例如光照)以及图像质量因素(例如模糊、倾斜)的干扰，增强车型预测模型的鲁棒性，从而提高车型预测模型的 准确性。

S503：基于扩充后的样本数据集训练车型预测模型，以得到训练好的目标车型预测模 型。

具体地，本实施例中可通过包括但不限于任意深度学习算法或及其学习算法训练训练 目标车型预测模型。

示例性地，本实施例中的目标车型预测模型包括特征提取层以及与其连接分类器层， 该特征提取层包括多个特征提取子单元，在训练之前可初始化特征提取层以及分类器层之 间的连接权值W。其中，具体训练过程如下：通过不同特征提取子单元，提取并拼接图像 的多维度图像特征(如角点特征、边界特征、纹理特征等)并输入至softmax分类器进行多分类，得到模型的预测结果。，假设存在三个特征提取子单元，不同特征提取子单元对 应的特征值为111，203，444，通过contact函数拼接不同特征提取子单元提取到的不同 维度的图像特征，即可得到拼接后的三维特征向量(111，203，444)，然后将上述拼接 向量*W(即特征提取层与分类器层之前的连接权值)，输入至对应的softmax函数中进行 多分类，得到预测信息，接着通过交叉熵损失函数基于模型的预测输出与预先标注的真实 值计算损失，并根据该损失分别对上述权值W计算偏导得到权值的变化量，然后根据该变 化量更新权值W，重复执行输入样本-预测输出-计算损失-权值更新的过程，直到满足模型 的收敛条件，停止训练，得到训练好的目标车型预测模型。其中，softmax函数按照如下 公式

其中，a_j表示3*1的特征向量(可见上述示例)中的第j个值，a_k表示 加权后的3*1的特征向量中的3个值，T表示车型类别数；S_j即为当前车辆属于第j个车 型的概率值。由于公式中e^x恒大于0，故分子永远是正数，分母为多个正数的和，因此 分母必然是正数，因而Sj是正数，而且范围是(0,1)。

在一实施例中，车型预测模型包括特征提取模块以及特征分类模块；特征提取模块包 括多个特征提取子单元以及拼接单元；如图6所示，步骤S503中，即基于扩充后的样本数据集训练车型预测模型，以得到训练好的目标车型预测模型具体包括如下步骤：

S601：将样本数据集划分为对应的训练集以及验证集。

具体地，可按照预设比例堆积将样本数据集划分为对应的训练集以及验证集；或者采 用K折交叉验证的方式将样本数据集划分为对应的训练集以及验证集。

S602：将训练集中的每一待训练图像分别输入至多个特征提取子单元，以提取待训练 图像的多维度的图像特征。

具体地，由于采用不同的特征提取算法提取图像特征，均存在各自的弊端，例如Moravec算法在提取图像角点特征时，会忽略掉图像的边界特征，Moravec算法会定义图 像灰度值变化的部分认为是角点，但是图像边缘的部分与背景之间是会存在灰度变化的， 此处也被认作角点，导致图像的边界特征是无法提取到的，进而该Moravec算法会忽略掉 图像的边界特征，而由于当前车型预测仅根据角点特征拟合，进而使得模型在特征提取阶 段所提取到的特征无法准确表达车头图像的特征，故为准确表达车头图像的特征，本实施 例中通过采用傅立叶描述子进一步提取图像的边界(或轮廓)特征以及通过可采用小波变 换提取图像的在不同方向上的矩特征，进而在对Moravec算法的不足进行修正的同时，使 模型提取到的特征能够得到更多的信息表达，从而提高模型的鲁棒性。

其中，不同的特征提取单元用于提取车头图像不同维度的特征。该特征提取子单元包 括但不限于傅立叶描述子特征提取子单元、矩特征提取子单元以及角点特征提取子单元 等。该多维度图像特征包括傅立叶描述子、矩特征以及角点特征等。傅立叶描述子是将经 傅立叶变换后的边界选作形状描述子，采用较少的参数描述很复杂的边界，进而通过该傅 立叶描述子表达图像的边界(或轮廓)特征。该矩特征用于描述图像的集合特征，于本实 施例中可采用小波变换提取图像的在不同方向上的矩特征，以同时得到图像的全局特征和 局部特征，可有效识别相似形状或者有噪声干扰的图像。角点是图像的一个重要的局部特 征，它集中了图像上的很多重要的形状信息，同时，角点具有旋转不变性，几乎不受光照 条件的影响，故可将提取图像的角点特征进行学习，以使模型识别受外界环境因素的影响 较小。于本实施例中，可通过Moravec算法、Han-is and Stephens算法以及SUSAN算法等提取角点特征。

示例性地，小波变换为伽柏(Gabor)变换，即通过伽柏滤波器提取图像特征。具体地，可通过如下公式2)、3)和4)得到对应的伽柏滤波器φ_p,q，进而通过该伽柏滤波器φ_p,q，按照公式1)提取图像的在不同方向上的矩特征。

4)φ_p,q＝a^-pφ(x',y')，其中，s,t表示滤波器模板所对应的水平和垂直方向的变量的 大小；p,q表示小波变换的尺度和方向变量；(x,y)则表示输入的训练样本；

表示Gabor 小波变换函数的复共轭；φ_p,q表示Gabor小波变换函数；σ_x表示Gabor函数的高斯包络沿 x轴方向的常量；σ_y表示Gabor函数的高斯包络沿y轴方向的常量；W为Gabor函数的频率带宽，例如可取0.5，能够达到与人眼视觉基本相符的高度；a表示尺度因子，θ表示 方向变量，j表示虚数单位，根据实际需要改变参数a和θ即可得到不同的伽柏滤波器， 进而通过该伽柏滤波器提取每一所述超像素区域的纹理特征。

S603：通过拼接单元拼接待训练图像不同维度的图像特征，并通过特征分类模块对拼 接后的特征进行分类，以预测待训练图像对应的第一预测车型信息。

其中，可通过contact函数拼接不同特征提取子单元提取到的不同维度的图像特征， 以综合多图像特征，以通过特征分类模块对拼接后的特征进行分类，预测所述待训练图像 对应的第一预测车型信息。

示例性地，假设存在三个特征提取子单元，不同特征提取子单元对应的特征值为111， 203，444，通过contact函数拼接不同特征提取子单元提取到的不同维度的图像特征，即 可得到拼接后的三维特征向量(111，203，444)。

本实施例中，该特征分类模块可为CNN分类器、softmax分类器或SVM支持向量向量机实现，以将特征提取模块提取得到的多维度图像特征映射至类别空间，预测其概率分布，即该车辆属于不同车型的概率，将概率值最高的一类作为待训练图像对应的预测类别。

示例性地，以softmax分类器进行多分类为例，其中，softmax函数按照如下公式

其中，a_j表示3*1的特征向量(可见上述示例)中的第j个值，a_k表示加权 后的3*1的特征向量中的3个值，T表示车型类别数；S_j即为当前车辆属于第j个车型的 概率值。

S604：通过交叉熵损失函数，基于第一预测车型信息以及预先标注好的待训练图像对 应的真实车型信息，计算第一模型损失。

其中，交叉熵损失函数可为

其中，

表示预 测车头图像属于哪类车型的概率，即第一预测车型信息。其中，y_j表示标注车型，U表示样本数据集中的样本总数。

S605：采用误差反向传播算法，基于第一模型损失优化车型预测模型，以得到原始车 型预测模型。

具体地，可采用传统的模型优化方法(如有误差反向传播算法)，通过第一模型损失 优化分类器直至模型收敛，即可得原始车型预测模型。其中，该步骤中误差反向传播算法 与传统的模型优化方法一致，此处不再详述。

S606：基于验证集对原始车型预测模型进行验证，获取验证集对应的预测准确率。

其中，在获取到原始车型预测模型后，还需要通过验证集进一步验证模型的精度，以 便调整模型的超参数(如网络层数等)。

具体地，作为一具体实施方式，在获取验证集对应的预测准确率时，可通过将验证集 中的每一待验证图像输入至原始车型预测模型进行识别，得到每一待验证图像的第二预测 车型信息，将验证集中验证准确的(即第二预测车型信息与该待验证图像对应标注好的真 实车型信息一致)与验证集中待验证图像总数量的比值作为验证集对应的预测准确率。

作为另一具体实施方式，在获取验证集对应的预测准确率时，可将K次交叉验证中每 一验证集对用的预测准确率进行整合，即将得到的K个预设准确率取均值，以作为验证集 对应的预测准确率。

S607：当预测准确率不小于预设准确率阈值时，获取目标车型预测模型。

其中，预设准确率阈值为预先设定的用于评价目标车型预测模型的阈值。该预设准确 率阈值可根据经验设定，例如90％，此处不做限定。具体地，当所述预测准确率不小于预 设准确率阈值时，认为此时原始车型预测模型满足要求，可将该原始车型预测模型作为目 标车型预测模型。

在一实施例中，如图7所示，步骤S606之后，即采用交叉验证的方式，基于验证集对原始车型预测模型进行验证，获取所述验证集对应的预测准确率之后，该基于图像识别的车型预测方法还包括如下步骤：

S701：当预测准确率小于预设准确率阈值时，获取验证集中每一待验证图像对应的第 二预测车型信息；其中，第二预测车型信息通过原始车型预测模型对待验证图像进行车型 预测得到。

其中，通过将每一所述待验证图像输入至所述目标车型预测模型，从而得到模型中 softmax分类器输出的概率值，将概率值最高的一类作为待验证图像对应的预测类别，即 得到第二预测车型信息。

S702：通过交叉熵损失函数，基于第二预测车型信息以及预先标注好的待验证图像对 应的真实车型信息，计算待验证图像对应的第二模型损失。

其中，交叉熵损失函数可为

其中，

表示预 测车头图像属于哪类车型的概率，即第一预测车型信息。其中，y_j表示标注车型，U表示样本数据集中的样本总数。

S703：对验证集对应的多个第二模型损失取均值，以将得到的均值作为正则因子。

S704：基于正则因子，重构交叉熵损失函数。

具体地，通过交叉熵损失函数根据该第二预测车型信息与预先标注好的真实车型信息 计算每一待验证图像的样本损失，最终对验证集中多个待验证图像的样本损失取均值(即

其中，Q表示验证集中的待验证图像数量；γ表示得到的损失均值，也即正则因子； loss_q表示每一待验证图像的样本损失)，得到验证集的损失均值作为正则因子。

进一步地，为防止模型过拟合，可在上述交叉熵损失函数中引入正则因子，即上述交叉熵损失函数更新为Loss’＝loss+γ，其中，γ为正则因子；作为一实施方式该正则因子可预先设置；作为另一实施方式，可通过构建验证集，并基于验证集的交叉熵损失确定正则因子。以使步骤S604中，通过重构后的交叉熵损失函数，基于每一待训练图像对应 的预测类别与标注类别，计算网络损失。

S705：重复执行步骤S602-S606直至预测准确率不小于预设准确率阈值，获取目标车 型预测模型；其中，步骤S604具体为，通过重构后的交叉熵损失函数，基于第一预测车型信息以及预先标注好的待训练图像对应的真实车型信息，计算第一模型损失。

具体地，通过更新步骤S604，以通过重构后的交叉熵损失函数，基于第一预测车型信息以及预先标注好的待训练图像对应的真实车型信息，计算第一模型损失，并重复执行步骤S602-S606，经过多轮迭代训练原始车型预测模型，直至预测准确率不小于预设准确率阈值，获取目标车型预测模型。

进一步地，作为另一具体实施方式，本实施例中可采用K折交叉验证方式对原始车型 预测模型进行K次交叉验证(每次验证均对应一验证集)，将K次验证的预测准确率均值作为步骤S606中验证集的预测准确率。

其中，采用K折(例如5、10)交叉验证的方式验证模型是否满足要求，即通过将样本数据集划分K等份，将其中一份作为验证集，其余作为训练集。例如，采用5折交叉验 证，即通过将样本数据集平均划分为5等份，一份作为验证集，其余作为训练集，并验证 5次求准确率(每次验证集进行验证的待验证图像中正确预测的数量/验证集中样本总数 量)的平均值，第一次验证拿第一份做验证集，其余作为训练集。第二次实验拿第二份做 验证集，其余做训练集，以此类推，执行5次验证。

具体地，通过采用交叉验证的方式对原始车型预测模型进行K次验证，并对K次的预 测准确率取平均，以得到验证集的预测准确率，当预测准确率不小于预设准确率阈值时， 即可获取目标车型预测模型。

更进一步地，针对步骤S701-S705可按照如下步骤对应实施：

S701’：当预测准确率小于预设准确率阈值时，获取每次交叉验证的验证集中每一待 验证图像对应的第二预测车型信息。

S702’：通过交叉熵损失函数，基于第二预测车型信息以及预先标注好的待验证图像 对应的真实车型信息，计算待验证图像对应的第二模型损失。

S703‘：即步骤S703具体为：对验证集对应的多个第二模型损失取均值作为每一验证集对应的验证集损失，并将K次交叉验证对应的K个验证集损失取均值，以将得到的均 值作为正则因子。

具体地，将步骤S703’得到的每次交叉验证的验证集损失进行整合，即取均值，以将得到的均值作为正则因子。

S704’：基于正则因子，重构交叉熵损失函数。

其中，步骤S604的交叉熵损失函数更新为Loss”＝loss+γ’，

其中，γ为正则因子；m_i表示第i次交叉验证得到的验证集损失；K表示交叉验证次数。

S705’：重复执行步骤S602-S606直至预测准确率不小于预设准确率阈值，获取目标 车型预测模型；其中，步骤S604具体为，通过重构后的交叉熵损失函数，基于第一预测车型信息以及预先标注好的待训练图像对应的真实车型信息，计算第一模型损失。

具体地，通过更新步骤S604，以通过重构后的交叉熵损失函数，基于第一预测车型信息以及预先标注好的待训练图像对应的真实车型信息，计算第一模型损失，并重复执行步骤S602-S606，经过多轮迭代训练原始车型预测模型，直至预测准确率不小于预设准确率阈值，获取目标车型预测模型。

在一实施例中，如图8所示，步骤S205之后，即通过车辆识别号码对目标车型预测模型输出的车型预测信息进行修正，以输出目标车型信息，返回给所用户终端之后，该基于图像识别的车型预测方法还包括如下步骤：

S801：响应用户终端发送的手动录入指令，记录本次用户录入的车型信息。

S802：将用户选择的车型信息与用户上传的视频流作为增量训练样本，以根据增量训 练样本优化目标车型预测模型。

本实施例中，若目标车型预测模型预测失败，则引导用户逐级录入当前车辆相关的车 型信息(包括但不限于车辆品牌、名称、型号以及生产年份等)，同时记录用户本次录入 的车型信息与对应上传的视频流作为作为增量训练样本，以根据所述增量训练样本优化所 述目标车型预测模型，使目标车型预测模型可在动态更新的样本集上拟合，进一步提高模 型识别精度。其中，该录入方式包括但不限于手动录入或语音录入等，此处不做限定。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执 行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种基于图像识别的车型预测方法装置，该基于图像识别的车型 预测方法装置与上述实施例中基于图像识别的车型预测方法一一对应。如图7所示，该基 于图像识别的车型预测方法装置包括车辆识别号码识别模块10、车辆识别号码校验模块 20、车型匹配模块30、车型预测模块40以及车型信息修正模块50。各功能模块详细说明 如下：

车辆识别号码识别模块10，用于获取用户终端上传的包含车辆识别号码的车辆图像， 并通过OCR模型识别所述车辆图像中的车辆识别号码；

车辆识别号码校验模块20，用于对所述车辆识别号码进行校验，当校验通过时，将所述车辆识别号码与预先存储的车型数据进行匹配；

车型匹配模块30，用于若匹配失败，则通过车型预测模块实时接收用户上传的视频 流；其中，所述视频流中包括多帧不同角度的车头图像；

车型预测模块40，用于调用预先训练好的目标车型预测模型对多帧所述车头图像进 行车型预测，以输出车辆的车型预测信息；

车型信息修正模块50，用于通过所述车辆识别号码对所述目标车型预测模型输出的 车型预测信息进行修正，以输出目标车型信息，返回给所述用户终端。

具体地，所述车型预测信息包括多个候选车辆品牌，每一所述候选车辆品牌对应细粒 度车辆信息；车型信息修正模块包括目标车辆品牌获取单元以及过滤单元。

目标车辆品牌获取单元，用于通过解析所述车辆识别号码，确定目标车辆品牌；

过滤单元，用于基于所述目标车辆品牌，对所述多个候选车辆品牌进行过滤，以获取 所述目标车型信息；其中，所述目标车型信息包括所述目标车辆品牌以及对应的所述细粒 度车辆信息。

具体地，车型预测模块包括逐帧预测单元和多帧预测信息整合单元。

逐帧预测单元，用于车型将所述多帧车头图像逐帧输入至所述目标车型预测模型中进 行车型预测，预测每帧所述车头图像对应的车型预测子信息。

多帧预测信息整合单元，用于对多个所述车型预测子信息进行整合，以输出所述车型 预测信息。

具体地，该基于图像识别的车型预测方法装置还包括样本数据集获取模块、增噪模块 以及预测模块。

样本数据集获取模块，用于获取样本数据集；其中，所述数据集包括不同车型对应的 多角度车头图像；

增噪模块，用于对所述样本数据集进行增噪处理，以扩充所述样本数据集；

预测模块，用于基于扩充后的样本数据集训练车型预测模型，以得到训练好的目标车 型预测模型。

具体地，车型预测模型包括特征提取模块以及特征分类模块；所述特征提取模块包括 多个特征提取子单元以及拼接单元；预测模块包括数据集划分单元、图像特征提取单元、 拼接单元、第一损失计算单元、模型优化单元、验证单元以及目标车型预测模型获取单元。

数据集划分单元，用于将所述样本数据集划分为对应的训练集以及验证集；

图像特征提取单元，用于将所述训练集中的每一待训练图像分别输入至所述多个特征 提取子单元，以提取所述待训练图像的多维度的图像特征；

拼接单元，用于通过所述拼接单元拼接所述待训练图像不同维度的图像特征，并通过 所述特征分类模块对拼接后的特征进行分类，以预测所述待训练图像对应的第一预测车型 信息；

第一损失计算单元，用于通过交叉熵损失函数，基于所述第一预测车型信息以及预先 标注好的所述待训练图像对应的真实车型信息，计算第一模型损失；

模型优化单元，用于采用误差反向传播算法，基于所述第一模型损失优化所述目标车 型预测模型，以得到原始车型预测模型；

验证单元，用于基于所述验证集对所述原始车型预测模型进行验证，获取所述验证集 对应的预测准确率；

目标车型预测模型获取单元，用于当所述验证集对应的预测准确率不小于预设准确率 阈值时，获取所述目标车型预测模型。

具体地，该基于图像识别的车型预测方法装置还包括

第二预测车型信息获取模块，用于当所述预测准确率小于预设准确率阈值时，获取所 述验证集中每一待验证图像对应的第二预测车型信息；其中，所述第二预测车型信息通过 所述原始车型预测模型对所述待验证图像进行车型预测得到；

第二损失计算模块，用于通过交叉熵损失函数，基于所述第二预测车型信息以及预先 标注好的所述待验证图像对应的真实车型信息，计算所述待验证图像对应的第二模型损 失；

正则因子获取模块，用于对所述验证集对应的多个所述第二模型损失取均值，以将得 到的均值作为正则因子；

损失函数重构模块，用于基于所述正则因子，重构所述交叉熵损失函数；

目标目标车型预测模型获取模块，用于重复执行步骤S602-S606，直至所述预测准确 率不小于预设准确率阈值，获取所述目标车型预测模型；

其中，所述通过交叉熵损失函数，基于所述第一预测车型信息以及预先标注好的所述 待训练图像对应的真实车型信息，计算第一模型损失具体为通过重构后的交叉熵损失函 数，基于所述预测车型信息与预先标注好的真实车型信息，计算第一模型损失。

具体地，该基于图像识别的车型预测方法装置还包括手动录入记录模块以及增量训练 模块。

手动录入记录模块，用于响应用户终端发送的手动录入指令，记录本次用户录入的车 型信息；

增量训练模块，用于将用户选择的车型信息与用户上传的视频流作为增量训练样本， 以根据增量训练样本优化目标车型预测模型。

关于基于图像识别的车型预测方法装置的具体限定可以参见上文中对于基于图像识 别的车型预测方法的限定，在此不再赘述。上述基于图像识别的车型预测方法装置中的各 个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或 独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以 便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构 图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行基于图像识别的车型预测方法过程中生成或获取的数据，如目标车型预测模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图像识别的车型预测方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并 可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的基于图像 识别的车型预测方法的步骤，例如图2所示的步骤S201-S205，或者图3至图8中所示的步骤。或者，处理器执行计算机程序时实现基于图像识别的车型预测方法装置这一实施例中的各模块/单元的功能，例如图9所示的各模块/单元的功能，为避免重复，这里不再赘述。

在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该 计算机程序被处理器执行时实现上述实施例中基于图像识别的车型预测方法的步骤，例如 图2所示的步骤S201-S205，或者图3至图8中所示的步骤，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述基于图像识别的车型预测方法装置这一实施例中的各模块/单元的功能，例如图9所示的各模块/单元的功能，为避免重复，这里不再 赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过 计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存 储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请 所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括 非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储 器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多 种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率 SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、 存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存 储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单 元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功 能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述 的全部或者部分功能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本 发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所 记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换， 并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发 明的保护范围之内。

Claims (10)

1.一种基于图像识别的车型预测方法，其特征在于，包括：

获取用户终端上传的包含车辆识别号码的车辆图像，并通过OCR模型识别所述车辆图像中的车辆识别号码；

对所述车辆识别号码进行校验，当校验通过时，将所述车辆识别号码与预先存储的车型数据进行匹配；

若匹配失败，则通过车型预测模块实时接收用户上传的视频流；其中，所述视频流中包括多帧不同角度的车头图像；

调用预先训练好的目标车型预测模型对多帧所述车头图像进行车型预测，以输出车辆的车型预测信息；

通过所述车辆识别号码对所述目标车型预测模型输出的车型预测信息进行修正，以输出目标车型信息，返回给所述用户终端。

2.如权利要求1所述基于图像识别的车型预测方法，其特征在于，所述车型预测信息包括多个候选车辆品牌，每一所述候选车辆品牌对应细粒度车辆信息；所述通过所述对所述目标车型预测模型的输出信息进行修正，以输出目标车型信息，返回给所用户终端，包括：

通过解析所述车辆识别号码，确定目标车辆品牌；

基于所述目标车辆品牌，对所述多个候选车辆品牌进行过滤，以获取所述目标车型信息；其中，所述目标车型信息包括所述目标车辆品牌以及对应的所述细粒度车辆信息。

3.如权利要求1所述基于图像识别的车型预测方法，其特征在于，调用预先训练好的目标车型预测模型对多帧所述车头图像进行识别，以输出车辆的车型预测信息，包括：

将所述多帧车头图像逐帧输入至所述目标车型预测模型中进行车型预测，预测每帧所述车头图像对应的车型预测子信息；

对多个所述车型预测子信息进行整合，以输出所述车型预测信息。

4.如权利要求1所述基于图像识别的车型预测方法，其特征在于，在所述获取用户终端上传的包含车辆识别号码的车辆图像，并通过OCR模型识别所述车辆图像中的车辆识别号码之前，所述基于图像识别的车型预测方法还包括：

获取样本数据集；其中，所述数据集包括不同车型对应的多角度车头图像；

对所述样本数据集进行增噪处理，以扩充所述样本数据集；

基于扩充后的样本数据集训练车型预测模型，以得到训练好的目标车型预测模型。

5.如权利要求4所述基于图像识别的车型预测方法，其特征在于，所述车型预测模型包括特征提取模块以及特征分类模块；所述特征提取模块包括多个特征提取子单元以及拼接单元；所述基于扩充后的样本数据集训练车型预测模型，以得到训练好的目标车型预测模型，包括：

将所述样本数据集划分为对应的训练集以及验证集；

将所述训练集中的每一待训练图像分别输入至所述多个特征提取子单元，以提取所述待训练图像的多维度的图像特征；

通过所述拼接单元拼接所述待训练图像不同维度的图像特征，并通过所述特征分类模块对拼接后的特征进行分类，以预测所述待训练图像对应的第一预测车型信息；

通过交叉熵损失函数，基于所述第一预测车型信息以及预先标注好的所述待训练图像对应的真实车型信息，计算第一模型损失；

采用误差反向传播算法，基于所述第一模型损失优化所述车型预测模型，以得到原始车型预测模型；

基于所述验证集对所述原始车型预测模型进行验证，获取所述验证集对应的预测准确率；

当所述验证集对应的预测准确率不小于预设准确率阈值时，获取所述目标车型预测模型。

6.如权利要求5所述基于图像识别的车型预测方法，其特征在于，在所述采用交叉验证的方式，基于所述验证集对所述原始车型预测模型进行验证，获取所述验证集对应的预测准确率之后，所述基于图像识别的车型预测方法还包括：

当所述预测准确率小于预设准确率阈值时，获取所述验证集中每一待验证图像对应的第二预测车型信息；其中，所述第二预测车型信息通过所述原始车型预测模型对所述待验证图像进行车型预测得到；

通过交叉熵损失函数，基于所述第二预测车型信息以及预先标注好的所述待验证图像对应的真实车型信息，计算所述待验证图像对应的第二模型损失；

对所述验证集对应的多个所述第二模型损失取均值，以将得到的均值作为正则因子；

基于所述正则因子，重构所述交叉熵损失函数；

重复执行所述将所述训练集中的每一待训练图像分别输入至所述多个特征提取子单元，以提取所述待训练图像的多维度的图像特征的步骤，直至所述预测准确率不小于预设准确率阈值，获取所述目标车型预测模型；

其中，所述通过交叉熵损失函数，基于所述第一预测车型信息以及预先标注好的所述待训练图像对应的真实车型信息，计算第一模型损失，包括：

通过重构后的交叉熵损失函数，基于所述预测车型信息与预先标注好的真实车型信息，计算第一模型损失。

7.如权利要求1所述基于图像识别的车型预测方法，其特征在于，在所述通过所述车辆识别号码对所述目标车型预测模型输出的车型预测信息进行修正，以输出目标车型信息，返回给所用户终端之后，所述基于图像识别的车型预测方法还包括：

响应所述用户终端发送的手动录入指令，记录本次所述用户录入的车型信息；

将所述用户选择的车型信息与所述用户上传的视频流作为增量训练样本，以根据所述增量训练样本优化所述目标车型预测模型。

8.一种基于图像识别的车型预测方法装置，其特征在于，包括：

车辆识别号码识别模块，用于获取用户终端上传的包含车辆识别号码的车辆图像，并通过OCR模型识别所述车辆图像中的车辆识别号码；

车辆识别号码校验模块，用于对所述车辆识别号码进行校验，当校验通过时，将所述车辆识别号码与预先存储的车型数据进行匹配；

车型匹配模块，用于若匹配失败，则通过车型预测模块实时接收用户上传的视频流；其中，所述视频流中包括多帧不同角度的车头图像；

车型预测模块，用于调用预先训练好的目标车型预测模型对多帧所述车头图像进行车型预测，以输出车辆的车型预测信息；

车型信息修正模块，用于通过所述车辆识别号码对所述目标车型预测模型输出的车型预测信息进行修正，以输出目标车型信息，返回给所述用户终端。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于图像识别的车型预测方法的步骤。

10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于图像识别的车型预测方法的步骤。

Images