CN113657462A - 用于训练车辆识别模型的方法、车辆识别方法和计算设备 - Google Patents

Abstract

公开了用于训练车辆识别模型的方法、车辆识别方法和计算设备，该方法包括：获取车辆的初始训练图像，对所述初始训练图像进行部分切除处理，得到处理后的训练图像；基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型，以得到训练后的车辆识别模型，其中所述训练后的车辆识别模型用于基于待识别的车辆图像中待识别车辆的局部特征来识别所述待识别车辆。本发明的用于训练车辆识别模型的方法、车辆识别方法和计算设备，针对车辆信息不全的情况，能够进行特征补齐，从而对只有局部特征的车辆，能够实现更加精确的车型识别。

Description

用于训练车辆识别模型的方法、车辆识别方法和计算设备

技术领域

本发明涉及图像识别技术领域，更具体地，涉及用于训练车辆识别模型的方法、车辆识别方法和计算设备。

背景技术

随着城市汽车数量的不断攀升，由此带来的交通和环境问题也日渐加剧。为了应对这些问题，智能交通系统已经成为城市发展的重点研究对象。而在智能交通系统中，对于车辆的细粒度识别，已经被证明是一项关键技术，在处理包括提高收费效率、裁定交通责任和追踪肇事逃逸等等交通问题上有着得天独厚的优势。因此，车型识别成为计算机视觉领域的一个研究热点，在交通安全、卡口管理、车流统计等方面有着广泛应用，对于智能交通系统的建设具有重要的意义。

现有的车型识别技术对于存在遮挡、画面不全的车辆的识别效果不理想，而这种现象在车流量大、道路拥堵时普遍存在。

因此，需要一种新型的用于训练车辆识别模型的方法、车辆识别方法和计算设备，以解决上述问题和其他问题。

发明内容

为了解决上述问题而提出了本发明。根据本发明的一方面，提供了一种用于训练车辆识别模型的方法，所述方法包括：获取车辆的初始训练图像，对所述初始训练图像进行部分切除处理，得到处理后的训练图像；基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型，以得到训练后的车辆识别模型，其中所述训练后的车辆识别模型用于基于待识别的车辆图像中待识别车辆的局部特征来识别所述待识别车辆。

在一个实施例中，其中对所述初始训练图像进行部分切除处理，得到处理后的训练图像的步骤包括：在所述初始训练图像的四个角中的一个或更多个角处对所述初始训练图像进行部分切除处理，得到所述处理后的训练图像。

在一个实施例中，其中对所述初始训练图像进行部分切除处理，得到处理后的训练图像的步骤包括：在所述初始训练图像的四个角处各选择一小矩形，其中所述小矩形的长、宽占所述初始训练图像的长、宽的比例是预设的；在任一小矩形的区域内随机选取一个点，以某一角度画一条直线，使得所述直线通过所述点；以及将所述直线与所述小矩形的边所围成的区域切除，所切除的区域用随机色块填充，以得到所述处理后的训练图像。

在一个实施例中，其中所述车辆识别模型包括自动编解码器和识别器，其中基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型包括：由所述自动编解码器和所述识别器对所述初始训练图像和所述处理后的训练图像进行处理，得到多个损失函数，基于所述多个损失函数对所述车辆识别模型进行训练，得到训练后的车辆识别模型。

在一个实施例中，其中所述自动编解码器包括第一自动编解码器和第二自动编解码器，所述第一自动编解码器包括第一编码器和第一解码器，所述第二自动编解码器包括第二编码器和第二解码器，所述多个损失函数包括第一损失函数、第二损失函数和第三损失函数，其中基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型包括：将所述初始训练图像和所述处理后的训练图像分别输入所述第一编码器和所述第二编码器，得到所述初始训练图像的第一特征图和所述处理后的训练图像的第二特征图；将所述第一特征图和所述第二特征图分别输入所述第一解码器和所述第二解码器，分别得到与所述初始训练图像相对应的第一还原图像和与所述处理后的训练图像相对应的第二还原图像；将所述第一特征图和所述第二特征图输入所述识别器，得到第一预测车型和第二预测车型；基于所述第一特征图和所述第二特征图计算所述第一损失函数，基于所述第一还原图像和所述初始训练图像计算所述第二损失函数，基于第一预测车型、第二预测车型和地面实况车型计算所述第三损失函数；以及基于所述第一损失函数、所述第二损失函数和所述第三损失函数进行反向传播，以得到训练后的车辆识别模型。

在一个实施例中，其中所述多个损失函数还包括第四损失函数，其中基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型还包括：基于所述第一还原图像和所述第二还原图像计算所述第四损失函数；以及基于所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数进行反向传播，以得到训练后的车辆识别模型。

在一个实施例中，其中所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数均为L1损失函数。

在一个实施例中，其中所述小矩形的长、宽占所述初始训练图像的长、宽的比例被预设为0.3。

在一个实施例中，其中所述车辆识别模型为深度学习网络。

在一个实施例中，其中所述车辆识别模型为车型识别模型，所述训练后的车辆识别模型用于基于车辆的局部特征来识别所述车辆的车型。

根据本发明的另一实施例，提供了一种车辆识别方法，所述方法包括：获取待识别的车辆图像；基于训练好的车辆识别模型对所述待识别的车辆图像进行车辆识别，其中所述车辆识别模型是采用如上所述的用于训练车辆识别模型的方法训练得到的。

根据本发明的又一实施例，提供了一种计算设备，所述计算设备包括：处理模块，用于获取车辆的初始训练图像，对所述初始训练图像进行部分切除处理，得到处理后的训练图像；训练模块，用于基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型，以得到训练后的车辆识别模型，其中所述训练后的车辆识别模型用于基于待识别的车辆图像中待识别车辆的局部特征来识别所述待识别车辆。

根据本发明的再一实施例，提供了一种计算设备，所述计算设备包括：获取模块，用于获取待识别的车辆图像；识别模块，用于基于训练好的车辆识别模型对所述待识别的车辆图像进行车辆识别，其中所述车辆识别模型是采用如上所述的用于训练车辆识别模型的方法训练得到的。

根据本发明的再一实施例，提供了一种计算设备，所述计算设备包括存储器和处理器，所述存储器上存储有能够由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行如上所述的用于训练车辆识别模型的方法或执行如上所述的车辆识别方法。

根据本发明的再一实施例，提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序指令，所述计算机程序指令在被执行时，执行如上所述的用于训练车辆识别模型的方法或执行如上所述的车辆识别方法。

根据本发明实施例的用于训练车辆识别模型的方法、车辆识别方法和计算设备，针对车辆信息不全的情况，能够进行特征补齐，从而对只有局部特征的车辆，能够实现更加精确的车型识别。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了根据本发明的一个实施例的用于实现根据本发明实施例的用于训练车辆识别模型的方法、车辆识别方法和计算设备的电子设备的示意性结构框图。

图2示出了根据本发明的一个实施例的用于训练车辆识别模型的方法的步骤流程图。

图3示出了根据本发明的一个实施例的对初始训练图像进行部分切除处理的示例性操作示意图。

图4示出了根据本发明的一个实施例的用于基于初始训练图像和处理后的训练图像来训练车辆识别模型的示例性方法的步骤流程图。

图5示出了根据本发明的一个实施例的车辆识别方法的示意性步骤流程图。

图6示出了根据本发明的一个实施例的计算设备的示意性结构框图。

图7示出了根据本发明的另一实施例的计算设备的示意性结构框图。

图8示出了根据本发明的又一实施例的计算设备的示意性结构框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

如上所述，现有的车型识别技术对于存在遮挡、画面不全的车辆的识别效果不理想。

因此提高车辆识别的效果，本发明提供了一种用于训练车辆识别模型的方法，该方法包括：获取车辆的初始训练图像，对所述初始训练图像进行部分切除处理，得到处理后的训练图像；基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型，以得到训练后的车辆识别模型，其中所述训练后的车辆识别模型用于待识别的车辆图像中待识别车辆的局部特征来识别所述待识别车辆。

本发明针对车辆信息不全的情况，可进行特征补齐，从而对只有局部特征的车辆，能够实现更加精确的车型识别。

下面结合具体实施例详细描述根据本发明的实时识别手写汉字的笔顺的方法、系统和计算设备。

首先，参照图1来描述用于实现根据本发明实施例的用于训练车辆识别模型的方法、车辆识别方法和计算设备的电子设备100。

在一个实施例中，电子设备100可以是例如笔记本电脑、台式计算机、平板电脑、学习机、移动设备(诸如，智能手机、电话手表等)、嵌入式计算机、塔式服务器、机架服务器、刀片服务器或任何其他合适的电子设备。

在一个实施例中，电子设备100可以包括至少一个处理器102和至少一个存储器104。

其中，存储器104可以是易失性存储器，诸如随机存取存储器(RAM)、高速缓存存储器(cache)、动态随机存取存储器(DRAM)(包括堆叠的DRAM)或高带宽存储器(HBM)等，也可以是非易失性存储器，诸如只读存储器(ROM)、闪存、3D Xpoint等。在一个实施例中，存储器104的某些部分可以是易失性存储器，而另一部分可以是非易失性存储器(例如，使用两级存储器层次结构)。存储器104用于存储计算机程序，该计算机程序在被运行时，能够实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其他期望的功能。

处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)、微处理器或具有数据处理能力和/或指令执行能力的其他处理单元。处理器102可经由通信总线通信地耦合到任何合适数量或种类的组件、外围设备、模块或设备。在一个实施例中，通信总线可以使用任何合适的协议来实现，诸如外围组件互连(PCI)、快速外围组件互连(PCIe)、加速图形端口(AGP)、超传输或任何其他总线或一个或更多个点对点通信协议。

电子设备100还可以包括输入装置106和输出装置108。其中，输入装置106是用于接收用户输入的装置，其可以包括键盘、鼠标、触摸板、麦克风等。此外，输入装置106也可以是任何接收信息的接口。输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，其可以包括显示器、扬声器等中的一个或更多个。此外，输出装置108也可以是任何其他具备输出功能的设备，例如打印机等。

下面参考图2描述根据本发明的一个实施例的用于训练车辆识别模型的方法200的步骤流程图。

其中，该车辆识别模型可以为车型识别模型，还可以为其他车辆识别模型，例如车身型识别模型、车辆年代识别模型等，本发明对此不作限定。

在一个实施例中，该车辆识别模型可以为深度学习网络。在一个实施例中，该车辆识别模型可以为生成对抗网络。应理解，该车辆识别模型还可以为能够实现车辆识别的其他合适类型的神经网络，本发明对此不作限定。

如图2所示，用于训练车辆识别模型的方法200可以包括如下步骤：

在步骤S210，获取车辆的初始训练图像，对该初始训练图像进行部分切除处理，得到处理后的训练图像。其中，对初始训练图像进行部分切除处理后得到的图像是只包含车辆的局部特征的图像。

在一个实施例中，初始训练图像可以由任何图像捕获装置捕获得到，例如CMOS传感器、CCD传感器等，也可以由计算机生成，本发明对此不作限定。

在一个实施例中，可以在初始训练图像的四个角中的一个或更多个角处对初始训练图像进行部分切除处理，得到处理后的训练图像。

由于有遮挡和只有局部特征的真实图片在时间场景中只是少数，因此本发明可以采用正常图像作为初始训练图像，对初始训练图像进行部分切除处理，得到处理后的训练图像。应理解，本发明也可以直接获取正常图像和相应的有遮挡和只有局部特征的图像作为训练图像对，本发明对此不作限定。

由于现实情况中车辆大多在四个角处被遮挡，因此为了使训练好的车辆识别模型更加准确、鲁棒，本发明可以在初始训练图像的四个角(即左上角、左下角、右上角、右下角)中的一个或更多个角处进行部分切除操作，以得到处理后的训练图像。

参考图3，如图3示出了根据本发明的一个实施例的对初始训练图像进行部分切除处理的示例性操作示意图。如图3所示，在一个实施例中，对初始训练图像进行部分切除处理，得到处理后的训练图像的步骤可以包括：

步骤a：在初始训练图像的四个角处各选择一小矩形，其中小矩形的长、宽占初始训练图像的长、宽的比例是预设的。

在一个实施例中，所选择的小矩形的长、宽占初始训练图像的长、宽的比例被预设为0.3。应理解，此比例也可根据需要预设为其他值，例如0.2，0.4，0.5等，本发明对此不作限定。

步骤b：在任一小矩形的区域内随机选取一个点，以某一角度画一条直线，使得该直线通过该点。

其中，该某一角度可以为0-360度之间的任意角度。

步骤c：将该直线与小矩形的边所围成的区域切除，所切除的区域用随机色块填充，以得到处理后的训练图像。

如图3所示，图3中的阴影区域表示所切除的用随机色块填充的区域。

在一个实施例中，对初始训练图像进行部分切除处理可以由本领域公知的任何具备处理能力的处理单元来执行，例如中央处理单元(CPU)、图形处理单元(GPU)、微处理器、微控制器、现场可编程门阵列(FPGA)等，也可以由训练好的神经网络来执行，本发明对此不作限定。

在步骤S220，基于初始训练图像和处理后的训练图像来训练车辆识别模型，以得到训练后的车辆识别模型，其中训练后的车辆识别模型用于基于待识别的车辆图像中待识别车辆的局部特征来识别该待识别车辆。

在一个实施例中，车辆识别模型可以包括自动编解码器和识别器。示例性地，自动编解码器可以采用本领域公知的任何具有数据、特征压缩和还原功能的神经网络来实现，本发明对此不作限定。

在一个实施例中，自动编解码器可以包括第一自动编解码器和第二自动编解码器，第一自动编解码器可以包括第一编码器和第一解码器，第二自动编解码器可以包括第二编码器和第二解码器。

在一个实施例中，基于初始训练图像和处理后的训练图像来训练车辆识别模型可以包括：由自动编解码器和识别器对初始训练图像和处理后的训练图像进行处理，得到多个损失函数，基于该多个损失函数对车辆识别模型进行训练，得到训练后的车辆识别模型。

在一个实施例中，多个损失函数可以包括第一损失函数、第二损失函数和第三损失函数。

参考图4，图4示出了根据本发明的一个实施例的用于基于初始训练图像和处理后的训练图像来训练车辆识别模型的示例性方法的步骤流程图。如图4所示，在一个实施例中，基于初始训练图像和处理后的训练图像来训练车辆识别模型可以包括如下步骤：

在步骤S410，将初始训练图像和处理后的训练图像分别输入第一编码器和第二编码器，得到初始训练图像的第一特征图和处理后的训练图像的第二特征图。

其中，可以将初始训练图像和处理后的训练图像组成训练图像对，分别输入第一编码器和第二编码器。

在一个实施例中，第一编码器和第二编码器均可以用循环神经网络(RNN)实现，例如长短期记忆网络(LSTM)、门控循环单元(GRU)等，还可以用深度神经网络(DNN)和卷积神经网络(CNN)来实现，本发明对此不作限定。

在步骤S420，将第一特征图和第二特征图分别输入第一解码器和第二解码器，分别得到与初始训练图像相对应的第一还原图像和与处理后的训练图像相对应的第二还原图像。

在一个实施例中，第一解码器和第二解码器也可以用循环神经网络(RNN)实现，例如长短期记忆网络(LSTM)、门控循环单元(GRU)等，还可以用深度神经网络(DNN)和卷积神经网络(CNN)来实现，本发明对此不作限定。

在步骤S430，将第一特征图和第二特征图输入识别器，得到第一预测车型和第二预测车型。

在一个实施例中，识别器可以用本领域公知的任何具有识别功能的神经网络来实现，例如分类网络等，本发明对此不作限定。在一个实施例中，分类网络可以为例如残差神经网络(ResNet)、EfficientNet、EfficientDet等，本发明对此不作限定。

在步骤S440，基于第一特征图和第二特征图计算第一损失函数，基于第一还原图像和初始训练图像计算第二损失函数，基于第一预测车型、第二预测车型和地面实况车型计算第三损失函数。

在一个实施例中，第一损失函数、第二损失函数和第三损失函数可以均为L1损失函数。应理解，第一损失函数、第二损失函数和第三损失函数还可以均为L2损失函数、平滑L1损失函数等，或三者可以为彼此不同的损失函数，或部分相同的损失函数，本发明对此不作限定。

在步骤S450，基于第一损失函数、第二损失函数和第三损失函数进行反向传播，以得到训练后的车辆识别模型。

具体地，在得到第一损失函数、第二损失函数和第三损失函数后，基于这三个损失函数进行反向传播，更新第一编码器、第二编码器、第一解码器和第二解码器和识别器的权重。其中，由初始训练图像和处理后的训练图像得到三个损失函数的过程称为前向传播，基于三个损失函数更新第一编码器、第二编码器、第一解码器和第二解码器和识别器的权重的过程称为反向传播，一个前向传播+一个反向传播称为一个pass(训练次数)，在采用不同的训练图像对经过多个pass后，训练完成，得到训练后的车辆识别模型。

在一个实施例中，多个损失函数还可以包括第四损失函数。

在一个实施例中，基于初始训练图像和处理后的训练图像来训练车辆识别模型还可以包括：

基于第一还原图像和第二还原图像计算第四损失函数；以及基于第一损失函数、第二损失函数、第三损失函数和第四损失函数进行反向传播，以得到训练后的车辆识别模型。其中，基于如上四个损失函数进行反向传播，可以提高训练后的车辆识别模型的识别准确度。

在一个实施例中，第四损失函数可以均为L1损失函数。应理解，第四损失函数还可以均为L2损失函数、平滑L1损失函数等，本发明对此不作限定。

本实施例的用于训练车辆识别模型的方法，针对车辆信息不全的情况，能够进行特征补齐，从而对只有局部特征的车辆，能够实现更加精确的车型识别。

在本发明的另一实施例中，提供了一种车辆识别方法。下面结合图5描述根据本发明的一个实施例的车辆识别方法。图5示出了根据本发明的一个实施例的车辆识别方法500的示意性步骤流程图。如图5所示，根据本申请实施例的车辆识别方法500可以包括如下步骤：

在步骤S510，获取待识别的车辆图像。

在步骤S520，基于训练好的车辆识别模型对待识别的车辆图像进行车辆识别，其中车辆识别模型是采用如上实施例的用于训练车辆识别模型的方法训练得到的，即训练时采用的训练图像是车辆的初始训练图像和处理后的训练图像对，其中处理后的训练图像通过对所述初始训练图像进行部分切除处理后得到，并且训练后的车辆识别模型用于基于待识别的车辆图像中待识别车辆的局部特征来识别所述待识别车辆。

其中，在采用训练好的车辆识别模型对待识别的车辆图像进行车辆识别时，可以将待识别的车辆图像输入上述训练好的车辆识别模型中的与上述处理后的图像对应的编码器，以得到特征图，然后将该特征图输入识别器，识别器对该特征图进行识别，即可得到车辆识别结果。

根据本实施例的车辆识别方法500，采用这样的训练后的车辆识别模型，针对车辆信息不全的情况，能够进行特征补齐，从而对只有局部特征的车辆，能够实现更加精确的车型识别。本领域技术人员可以结合前文所述理解车辆识别方法500采用的车辆识别模型的训练方法，为了简洁，此处不再赘述。

在本发明的又一实施例中，提供了一种计算设备。参考图6，图6示出了根据本发明的一个实施例的计算设备600的示意性结构框图。如图6所示，计算设备600包括处理模块610和训练模块620。其中，处理模块610用于获取车辆的初始训练图像，对所述初始训练图像进行部分切除处理，得到处理后的训练图像。训练模块620用于基于初始训练图像和处理模块610输出的处理后的训练图像来训练车辆识别模型，以得到训练后的车辆识别模型，其中所述训练后的车辆识别模型用于基于待识别的车辆图像中待识别车辆的局部特征来识别该待识别车辆。

其中，该车辆识别模型可以为车型识别模型，还可以为其他车辆识别模型，例如车身型识别模型、车辆年代识别模型等，本发明对此不作限定。

在一个实施例中，该车辆识别模型可以为深度学习网络。在一个实施例中，该车辆识别模型可以为生成对抗网络。应理解，该车辆识别模型还可以为能够实现车辆识别的其他合适类型的神经网络，本发明对此不作限定。

在一个实施例中，初始训练图像可以由任何图像捕获装置捕获得到，例如CMOS传感器、CCD传感器等，也可以由计算机生成，本发明对此不作限定。

其中，对初始训练图像进行部分切除处理后得到的图像是只包含车辆的局部特征的图像。

在一个实施例中，对初始训练图像进行部分切除处理可以由本领域公知的任何具备处理能力的处理单元来执行，例如中央处理单元(CPU)、图形处理单元(GPU)、微处理器、微控制器、现场可编程门阵列(FPGA)等，也可以由训练好的神经网络来执行，本发明对此不作限定。

在一个实施例中，可以在初始训练图像的四个角中的一个或更多个角处对初始训练图像进行部分切除处理，得到处理后的训练图像。

由于有遮挡和只有局部特征的真实图片在时间场景中只是少数，因此本发明可以采用正常图像作为初始训练图像，对初始训练图像进行部分切除处理，得到处理后的训练图像。应理解，本发明也可以直接获取正常图像和相应的有遮挡和只有局部特征的图像作为训练图像对，本发明对此不作限定。

由于现实情况中车辆大多在四个角处被遮挡，因此为了使训练好的车辆识别模型更加准确、鲁棒，本发明可以在初始训练图像的四个角(即左上角、左下角、右上角、右下角)中的一个或更多个角处进行部分切除操作，以得到处理后的训练图像。

在一个实施例中，对初始训练图像进行部分切除处理，得到处理后的训练图像的步骤可以包括：

步骤a：在初始训练图像的四个角处各选择一小矩形，其中小矩形的长、宽占初始训练图像的长、宽的比例是预设的。

在一个实施例中，所选择的小矩形的长、宽占初始训练图像的长、宽的比例被预设为0.3。应理解，此比例也可根据需要预设为其他值，例如0.2，0.4，0.5等，本发明对此不作限定。

步骤b：在任一小矩形的区域内随机选取一个点，以某一角度画一条直线，使得该直线通过该点。

其中，该某一角度可以为0-360度之间的任意角度。

步骤c：将该直线与小矩形的边所围成的区域切除，所切除的区域用随机色块填充，以得到处理后的训练图像。

在一个实施例中，车辆识别模型可以包括自动编解码器和识别器。

在一个实施例中，自动编解码器可以包括第一自动编解码器和第二自动编解码器，第一自动编解码器可以包括第一编码器和第一解码器，第二自动编解码器可以包括第二编码器和第二解码器。

在一个实施例中，基于初始训练图像和处理后的训练图像来训练车辆识别模型可以包括：由自动编解码器和识别器对初始训练图像和处理后的训练图像进行处理，得到多个损失函数，基于该多个损失函数对车辆识别模型进行训练，得到训练后的车辆识别模型。

在一个实施例中，多个损失函数可以包括第一损失函数、第二损失函数和第三损失函数。

在一个实施例中，基于初始训练图像和处理后的训练图像来训练车辆识别模型可以包括如下步骤：

将初始训练图像和处理后的训练图像分别输入第一编码器和第二编码器，得到初始训练图像的第一特征图和处理后的训练图像的第二特征图；将第一特征图和第二特征图分别输入第一解码器和第二解码器，分别得到与初始训练图像相对应的第一还原图像和与处理后的训练图像相对应的第二还原图像；将第一特征图和第二特征图输入识别器，得到第一预测车型和第二预测车型；基于第一特征图和第二特征图计算第一损失函数，基于第一还原图像和初始训练图像计算第二损失函数，基于第一预测车型、第二预测车型和地面实况车型计算第三损失函数；基于第一损失函数、第二损失函数和第三损失函数进行反向传播，以得到训练后的车辆识别模型。

其中，可以将初始训练图像和处理后的训练图像组成训练图像对，分别输入第一编码器和第二编码器。

在一个实施例中，第一编码器和第二编码器均可以用循环神经网络(RNN)实现，例如长短期记忆网络(LSTM)、门控循环单元(GRU)等，还可以用深度神经网络(DNN)和卷积神经网络(CNN)来实现，本发明对此不作限定。

在一个实施例中，第一解码器和第二解码器也可以用循环神经网络(RNN)实现，例如长短期记忆网络(LSTM)、门控循环单元(GRU)等，还可以用深度神经网络(DNN)和卷积神经网络(CNN)来实现，本发明对此不作限定。

在一个实施例中，识别器可以用本领域公知的任何具有识别功能的神经网络来实现，例如分类网络等，本发明对此不作限定。在一个实施例中，分类网络可以为例如残差神经网络(ResNet)、EfficientNet、EfficientDet等，本发明对此不作限定。

在一个实施例中，第一损失函数、第二损失函数和第三损失函数可以均为L1损失函数。应理解，第一损失函数、第二损失函数和第三损失函数还可以均为L2损失函数、平滑L1损失函数等，或三者可以为彼此不同的损失函数，或部分相同的损失函数，本发明对此不作限定。

具体地，在得到第一损失函数、第二损失函数和第三损失函数后，基于这三个损失函数进行反向传播，更新第一编码器、第二编码器、第一解码器和第二解码器和识别器的权重。其中，由初始训练图像和处理后的训练图像得到三个损失函数的过程称为前向传播，基于三个损失函数更新第一编码器、第二编码器、第一解码器和第二解码器和识别器的权重的过程称为反向传播，一个前向传播+一个反向传播称为一个pass(训练次数)，在采用不同的训练图像对经过多个pass后，训练完成，得到训练后的车辆识别模型。

在一个实施例中，多个损失函数还可以包括第四损失函数。

在一个实施例中，基于初始训练图像和处理后的训练图像来训练车辆识别模型还可以包括：

基于第一还原图像和第二还原图像计算第四损失函数；以及基于第一损失函数、第二损失函数、第三损失函数和第四损失函数进行反向传播，以得到训练后的车辆识别模型。其中，基于如上四个损失函数进行反向传播，可以提高训练后的车辆识别模型的识别准确度。

在一个实施例中，第四损失函数可以均为L1损失函数。应理解，第四损失函数还可以均为L2损失函数、平滑L1损失函数等，本发明对此不作限定。

根据本实施例的计算设备能够针对车辆信息不全的情况，可进行特征补齐，从而对只有局部特征的车辆，能够实现更加精确的车型识别。

在又一实施例中，提供了一种计算设备。参考图7，图7示出了根据本发明的另一实施例的计算设备700的示意性结构框图。如图7所示，计算设备700可以包括获取模块710和识别模块720。其中，获取模块710用于获取待识别的车辆图像。识别模块720用于基于训练好的车辆识别模型对所述待识别的车辆图像进行车辆识别，其中所述车辆识别模型是采用如上所述的用于训练车辆识别模型的方法训练得到的，即训练时采用的训练图像是车辆的初始训练图像和处理后的训练图像对，其中处理后的训练图像通过对所述初始训练图像进行部分切除处理后得到，并且训练后的车辆识别模型用于基于车辆的局部特征来识别所述车辆。

其中，在采用训练好的车辆识别模型对待识别的车辆图像进行车辆识别时，可以将待识别的车辆图像输入上述训练好的车辆识别模型中的与上述处理后的图像对应的编码器，以得到特征图，然后将该特征图输入识别器，识别器对该特征图进行识别，即可得到车辆识别结果。

根据本实施例的计算设备700可以执行前文所述的根据本发明实施例的车辆识别方法。本领域技术人员可以结合前文所述的内容理解根据本发明实施例的计算设备700的具体操作，为了简洁，此处不再赘述。

在又一实施例中，提供了计算设备。参考图8，图8示出了根据本发明的又一实施例的计算设备800的示意性结构框图。如图8所示，计算设备800可以包括存储器810和处理器820。存储器810上存储有能够由处理器820运行的计算机程序，所述计算机程序在被处理器820运行时，使得处理器820能够执行如上文所述的用于训练车辆识别模型的方法或执行如上所述的车辆识别方法。本领域技术人员可以结合前文所述的内容理解根据本发明实施例的计算设备800的具体操作，为了简洁，此处不再赘述具体的细节，仅描述处理器820的一些主要操作。

在一个实施例中，所述计算机程序在被处理器820运行时，使得处理器820执行如下步骤：获取车辆的初始训练图像，对所述初始训练图像进行部分切除处理，得到处理后的训练图像；基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型，以得到训练后的车辆识别模型，其中所述训练后的车辆识别模型用于基于待识别的车辆图像中待识别车辆的局部特征来识别所述待识别车辆。

在另一实施例中，所述计算机程序在被处理器820运行时，使得处理器820执行如下步骤：获取待识别的车辆图像；基于训练好的车辆识别模型对所述待识别的车辆图像进行车辆识别，其中所述车辆识别模型是采用如上所述的用于训练车辆识别模型的方法训练得到的。

其中，在采用训练好的车辆识别模型对待识别的车辆图像进行车辆识别时，可以将待识别的车辆图像输入上述训练好的车辆识别模型中的与上述处理后的图像对应的编码器，以得到特征图，然后将该特征图输入识别器，识别器对该特征图进行识别，即可得到车辆识别结果。

其中，该车辆识别模型可以为车型识别模型，还可以为其他车辆识别模型，例如车身型识别模型、车辆年代识别模型等，本发明对此不作限定。

在一个实施例中，该车辆识别模型可以为深度学习网络。在一个实施例中，该车辆识别模型可以为生成对抗网络。应理解，该车辆识别模型还可以为能够实现车辆识别的其他合适类型的神经网络，本发明对此不作限定。

在一个实施例中，初始训练图像可以由任何图像捕获装置捕获得到，例如CMOS传感器、CCD传感器等，也可以由计算机生成，本发明对此不作限定。

其中，对初始训练图像进行部分切除处理后得到的图像是只包含车辆的局部特征的图像。

在一个实施例中，对初始训练图像进行部分切除处理可以由本领域公知的任何具备处理能力的处理单元来执行，例如中央处理单元(CPU)、图形处理单元(GPU)、微处理器、微控制器、现场可编程门阵列(FPGA)等，也可以由训练好的神经网络来执行，本发明对此不作限定。

在一个实施例中，可以在初始训练图像的四个角中的一个或更多个角处对初始训练图像进行部分切除处理，得到处理后的训练图像。

在一个实施例中，对初始训练图像进行部分切除处理，得到处理后的训练图像的步骤可以包括：

步骤a：在初始训练图像的四个角处各选择一小矩形，其中小矩形的长、宽占初始训练图像的长、宽的比例是预设的。

由于有遮挡和只有局部特征的真实图片在时间场景中只是少数，因此本发明可以采用正常图像作为初始训练图像，对始训练图像进行部分切除处理，得到处理后的训练图像。应理解，本发明也可以直接获取正常图像和相应的有遮挡和只有局部特征的图像作为训练图像对，本发明对此不作限定。

由于现实情况中车辆大多在四个角处被遮挡，因此为了使训练好的车辆识别模型更加准确、鲁棒，本发明可以在初始训练图像的四个角(即左上角、左下角、右上角、右下角)中的一个或更多个角处进行部分切除操作，以得到处理后的训练图像。

在一个实施例中，所选择的小矩形的长、宽占初始训练图像的长、宽的比例被预设为0.3。应理解，此比例也可根据需要预设为其他值，例如0.2，0.4，0.5等，本发明对此不作限定。

步骤b：在任一小矩形的区域内随机选取一个点，以某一角度画一条直线，使得该直线通过该点。

其中，该某一角度可以为0-360度之间的任意角度。

步骤c：将该直线与小矩形的边所围成的区域切除，所切除的区域用随机色块填充，以得到处理后的训练图像。

在一个实施例中，车辆识别模型可以包括自动编解码器和识别器。

在一个实施例中，自动编解码器可以包括第一自动编解码器和第二自动编解码器，第一自动编解码器可以包括第一编码器和第一解码器，第二自动编解码器可以包括第二编码器和第二解码器。

在一个实施例中，基于初始训练图像和处理后的训练图像来训练车辆识别模型可以包括：由自动编解码器和识别器对初始训练图像和处理后的训练图像进行处理，得到多个损失函数，基于该多个损失函数对车辆识别模型进行训练，得到训练后的车辆识别模型。

在一个实施例中，多个损失函数可以包括第一损失函数、第二损失函数和第三损失函数。

在一个实施例中，基于初始训练图像和处理后的训练图像来训练车辆识别模型可以包括如下步骤：

将初始训练图像和处理后的训练图像分别输入第一编码器和第二编码器，得到初始训练图像的第一特征图和处理后的训练图像的第二特征图；将第一特征图和第二特征图分别输入第一解码器和第二解码器，分别得到与初始训练图像相对应的第一还原图像和与处理后的训练图像相对应的第二还原图像；将第一特征图和第二特征图输入识别器，得到第一预测车型和第二预测车型；基于第一特征图和第二特征图计算第一损失函数，基于第一还原图像和初始训练图像计算第二损失函数，基于第一预测车型、第二预测车型和地面实况车型计算第三损失函数；基于第一损失函数、第二损失函数和第三损失函数进行反向传播，以得到训练后的车辆识别模型。

其中，可以将初始训练图像和处理后的训练图像组成训练图像对，分别输入第一编码器和第二编码器。

在一个实施例中，第一编码器和第二编码器均可以用循环神经网络(RNN)实现，例如长短期记忆网络(LSTM)、门控循环单元(GRU)等，还可以用深度神经网络(DNN)和卷积神经网络(CNN)来实现，本发明对此不作限定。

在一个实施例中，第一解码器和第二解码器也可以用循环神经网络(RNN)实现，例如长短期记忆网络(LSTM)、门控循环单元(GRU)等，还可以用深度神经网络(DNN)和卷积神经网络(CNN)来实现，本发明对此不作限定。

在一个实施例中，识别器可以用本领域公知的任何具有识别功能的神经网络来实现，例如分类网络等，本发明对此不作限定。在一个实施例中，分类网络可以为例如残差神经网络(ResNet)、EfficientNet、EfficientDet等，本发明对此不作限定。

在一个实施例中，第一损失函数、第二损失函数和第三损失函数可以均为L1损失函数。应理解，第一损失函数、第二损失函数和第三损失函数还可以均为L2损失函数、平滑L1损失函数等，或三者可以为彼此不同的损失函数，或部分相同的损失函数，本发明对此不作限定。

具体地，在得到第一损失函数、第二损失函数和第三损失函数后，基于这三个损失函数进行反向传播，更新第一编码器、第二编码器、第一解码器和第二解码器和识别器的权重。其中，由初始训练图像和处理后的训练图像得到三个损失函数的过程称为前向传播，基于三个损失函数更新第一编码器、第二编码器、第一解码器和第二解码器和识别器的权重的过程称为反向传播，一个前向传播+一个反向传播称为一个pass(训练次数)，在采用不同的训练图像对经过多个pass后，训练完成，得到训练后的车辆识别模型。

在一个实施例中，多个损失函数还可以包括第四损失函数。

在一个实施例中，基于初始训练图像和处理后的训练图像来训练车辆识别模型还可以包括：

基于第一还原图像和第二还原图像计算第四损失函数；以及基于第一损失函数、第二损失函数、第三损失函数和第四损失函数进行反向传播，以得到训练后的车辆识别模型。其中，基于如上四个损失函数进行反向传播，可以提高训练后的车辆识别模型的识别准确度。

在一个实施例中，第四损失函数可以均为L1损失函数。应理解，第四损失函数还可以均为L2损失函数、平滑L1损失函数等，本发明对此不作限定。

根据本实施例的计算设备，针对车辆信息不全的情况，能够进行特征补齐，从而对只有局部特征的车辆，能够实现更加精确的车型识别。

在再一实施例中，本发明提供了一种计算机可读介质，该计算机可读介质上存储有计算机程序指令，所述计算机程序指令在运行时执行如上述实施例所述的方法。任何有形的、非暂时性的计算机可读介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光存储设备(CD-ROM、DVD、蓝光光盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。

由上述描述可知，根据本发明的各个实施例的用于训练车辆识别模型的方法、车辆识别方法和计算设备，针对车辆信息不全的情况，能够进行特征补齐，从而对只有局部特征的车辆，能够实现更加精确的车型识别。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种用于训练车辆识别模型的方法，其特征在于，所述方法包括：

获取车辆的初始训练图像，对所述初始训练图像进行部分切除处理，得到处理后的训练图像；

基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型，以得到训练后的车辆识别模型，其中所述训练后的车辆识别模型用于基于待识别的车辆图像中待识别车辆的局部特征来识别所述待识别车辆。

2.如权利要求1所述的方法，其特征在于，其中对所述初始训练图像进行部分切除处理，得到处理后的训练图像的步骤包括：

在所述初始训练图像的四个角中的一个或更多个角处对所述初始训练图像进行部分切除处理，得到所述处理后的训练图像。

3.如权利要求2所述的方法，其特征在于，其中对所述初始训练图像进行部分切除处理，得到处理后的训练图像的步骤包括：

在所述初始训练图像的四个角处各选择一小矩形，其中所述小矩形的长、宽占所述初始训练图像的长、宽的比例是预设的；

在任一小矩形的区域内随机选取一个点，以某一角度画一条直线，使得所述直线通过所述点；以及

将所述直线与所述小矩形的边所围成的区域切除，所切除的区域用随机色块填充，以得到所述处理后的训练图像。

4.如权利要求1-3中任一项所述的方法，其特征在于，其中所述车辆识别模型包括自动编解码器和识别器，

其中基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型包括：由所述自动编解码器和所述识别器对所述初始训练图像和所述处理后的训练图像进行处理，得到多个损失函数，基于所述多个损失函数对所述车辆识别模型进行训练，得到训练后的车辆识别模型。

5.如权利要求4所述的方法，其特征在于，其中所述自动编解码器包括第一自动编解码器和第二自动编解码器，所述第一自动编解码器包括第一编码器和第一解码器，所述第二自动编解码器包括第二编码器和第二解码器，所述多个损失函数包括第一损失函数、第二损失函数和第三损失函数，

其中基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型包括：

将所述初始训练图像和所述处理后的训练图像分别输入所述第一编码器和所述第二编码器，得到所述初始训练图像的第一特征图和所述处理后的训练图像的第二特征图；

将所述第一特征图和所述第二特征图分别输入所述第一解码器和所述第二解码器，分别得到与所述初始训练图像相对应的第一还原图像和与所述处理后的训练图像相对应的第二还原图像；

将所述第一特征图和所述第二特征图输入所述识别器，得到第一预测车型和第二预测车型；

基于所述第一特征图和所述第二特征图计算所述第一损失函数，基于所述第一还原图像和所述初始训练图像计算所述第二损失函数，基于第一预测车型、第二预测车型和地面实况车型计算所述第三损失函数；以及

基于所述第一损失函数、所述第二损失函数和所述第三损失函数进行反向传播，以得到训练后的车辆识别模型。

6.如权利要求5所述的方法，其特征在于，其中所述多个损失函数还包括第四损失函数，

其中基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型还包括：

基于所述第一还原图像和所述第二还原图像计算所述第四损失函数；以及

基于所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数进行反向传播，以得到训练后的车辆识别模型。

7.如权利要求6所述的方法，其特征在于，其中所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数均为L1损失函数。

8.如权利要求3所述的方法，其特征在于，其中所述小矩形的长、宽占所述初始训练图像的长、宽的比例被预设为0.3。

9.如权利要求1所述的方法，其特征在于，其中所述车辆识别模型为深度学习网络。

10.如权利要求1所述的方法，其特征在于，其中所述车辆识别模型为车型识别模型，所述训练后的车辆识别模型用于基于车辆的局部特征来识别所述车辆的车型。

11.一种车辆识别方法，其特征在于，所述方法包括：

获取待识别的车辆图像；

基于训练好的车辆识别模型对所述待识别的车辆图像进行车辆识别，其中所述车辆识别模型是采用如权利要求1-10中任一项所述的用于训练车辆识别模型的方法训练得到的。

12.一种计算设备，其特征在于，所述计算设备包括：

处理模块，用于获取车辆的初始训练图像，对所述初始训练图像进行部分切除处理，得到处理后的训练图像；

训练模块，用于基于所述初始训练图像和所述处理后的训练图像来训练车辆识别模型，以得到训练后的车辆识别模型，其中所述训练后的车辆识别模型用于基于待识别的车辆图像中待识别车辆的局部特征来识别所述待识别车辆。

13.一种计算设备，其特征在于，所述计算设备包括：

获取模块，用于获取待识别的车辆图像；

识别模块，用于基于训练好的车辆识别模型对所述待识别的车辆图像进行车辆识别，其中所述车辆识别模型是采用如权利要求1-10中任一项所述的用于训练车辆识别模型的方法训练得到的。

14.一种计算设备，其特征在于，所述计算设备包括存储器和处理器，所述存储器上存储有能够由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行如权利要求1-10中任一项所述的用于训练车辆识别模型的方法或执行如权利要求11所述的车辆识别方法。

15.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序指令，所述计算机程序指令在被执行时，执行如权利要求1-10中任一项所述的用于训练车辆识别模型的方法或执行如权利要求11所述的车辆识别方法。

Images