CN115984207A - 车辆缺陷检测方法、装置、系统及介质 - Google Patents

Abstract

本申请实施例提供了一种车辆缺陷检测方法、装置、系统及介质，该方法包括，将采集到的目标车辆图像输入区域检测模型，确定所述目标车辆图像基于不同区域类别分别对应的区域图像；将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果；结合区域检测和零件检测结果，得到所述目标车辆的缺陷检测结果。通过划区域的检测可以实现多种缺陷的实时平和处理，检测效率快，准确率高，通用性强。

Description

车辆缺陷检测方法、装置、系统及介质

背景技术

在货物运输过程中，经常采用敞车进行货物运输，其中，为了更好的保障货物运输过程中的安全性，需要对运输货物的敞车进行缺陷检测，从而及时的根据检测到的缺陷进行整改，保证敞车的正常运行。

目前在检测火车敞车表面缺陷的解决方案中，主要以人工筛选或传统图像处理算法为主，主要流程包括有图像预处理、图像增强、图像分割、感兴趣区域提取以及缺陷识别等。然而，由于火车敞车缺陷检测的应用领域不断扩展，缺陷类型也不断增多，更多的缺陷规则愈加复杂，而且由于生产厂家的不断增多，对缺陷检测的要求也不断提升，因此对于传统的图像处理算法，通过缺陷特征的几何特征、灰度特征的描述变得局限，难以准确地区分相似缺陷特征，难以识别复杂特征，难以通用性地在不同敞车上应用。

发明内容

本申请提供了一种基于深度学习的车辆缺陷检测方法、装置、系统及介质，用以解决现有技术中在进行车辆缺陷检测时，效率低，稳定性以及通用性差的问题。

第一方面，本申请实施例提供了一种基于深度学习的车辆缺陷检测方法，所述方法包括：

将采集到的目标车辆图像输入区域检测模型，确定所述目标车辆图像基于不同区域类别分别对应的区域图像；

将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果；

结合区域检测和零件检测结果，得到所述目标车辆的缺陷检测结果。

作为一种可选的实施方案，所述区域类别包括大车门区域、小车门区域、无车门以及非车门区域。

作为一种可选的实施方案，所述将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果，包括：

从获取到的区域图像中确定目标区域图像；

将所述目标区域图像输入零件检测模型，得到对应区域图像的零件检测结果。

作为一种可选的实施方案，所述目标区域图像为包括车门的区域图像。

作为一种可选的实施方案，所述将所述目标区域图像输入零件检测模型，得到对应区域图像的零件检测结果，包括：

根据区域类别与零件检测模型的对应关系，将所述目标区域图像输入所属区域类别对应的零件检测模型，得到对应区域图像的零件检测结果。

作为一种可选的实施方案，所述将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果，包括：

将获得的区域图像，分别输入零件检测模型，得到每个区域图像分别对应的零件信息，所述零件信息包括零件数量，零件位置，零件长度；

根据所述零件信息进行功能逻辑判断，得到对应区域图像的零件检测结果。

作为一种可选的实施方案，所述结合区域检测和零件检测结果，得到所述目标车辆的缺陷检测结果，包括：

根据所述目标车辆图像输入区域检测模型后，得到的区域类别数量，和/或，不同区域类别对应的区域图片数量，以及所述零件检测结果，确定所述目标车辆的缺陷情况。

作为一种可选的实施方案，所述方法还包括：

通过在线扩充的方式生成训练样本；

通过生成的所述训练样本对所述区域检测模型和/或所述零件检测模型进行训练。

作为一种可选的实施方案，所述通过在线扩充的方式生成训练样本，包括：

根据不同周期的状态选择不同的扩充比率，基于选择的扩充比率，生成所述训练样本。

作为一种可选的实施方案，所述方法还包括：

将获取到的新的缺陷数据，对所述区域检测模型和/或所述零件检测模型进行增量训练；

根据建立的新的损失函数loss更新所述区域检测模型和/或所述零件检测模型。

作为一种可选的实施方案，所述新的损失函数loss是通过在正常损失函数上添加了正则化，其次再添加蒸馏损失，与旧训练参数一起微调后得到的。

第二方面，本申请实施例还提供了一种基于深度学习的车辆缺陷检测装置，所述装置包括：

划分模块，用于将采集到的目标车辆图像输入区域检测模型，确定所述目标车辆图像基于不同区域类别分别对应的区域图像；

处理模块，用于将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果；

确定模块，用于结合区域检测和零件检测结果，得到所述目标车辆的缺陷检测结果。

作为一种可选的实施方案，所述区域类别包括大车门区域、小车门区域、无车门以及非车门区域。

作为一种可选的实施方案，所述处理模块，具体用于：

从获取到的区域图像中确定目标区域图像；

将所述目标区域图像输入零件检测模型，得到对应区域图像的零件检测结果。

作为一种可选的实施方案，所述目标区域图像为包括车门的区域图像。

作为一种可选的实施方案，所述处理模块，具体用于：

根据区域类别与零件检测模型的对应关系，将所述目标区域图像输入所属区域类别对应的零件检测模型，得到对应区域图像的零件检测结果。

作为一种可选的实施方案，所述处理模块，具体用于：

将获得的区域图像，分别输入零件检测模型，得到每个区域图像分别对应的零件信息，所述零件信息包括零件数量，零件位置，零件长度；

根据所述零件信息进行功能逻辑判断，得到对应区域图像的零件检测结果。

作为一种可选的实施方案，所述确定模块，具体用于：

根据所述目标车辆图像输入区域检测模型后，得到的区域类别数量，和/或，不同区域类别对应的区域图片数量，以及所述零件检测结果，确定所述目标车辆的缺陷情况。

作为一种可选的实施方案，所述处理模块，还用于：

通过在线扩充的方式生成训练样本；

通过生成的所述训练样本对所述区域检测模型和/或所述零件检测模型进行训练。

作为一种可选的实施方案，所述处理模块，还用于：

根据不同周期的状态选择不同的扩充比率，基于选择的扩充比率，生成所述训练样本。

作为一种可选的实施方案，所述处理模块，还用于：

将获取到的新的缺陷数据，对所述区域检测模型和/或所述零件检测模型进行增量训练；

根据建立的新的损失函数loss更新所述区域检测模型和/或所述零件检测模型。

作为一种可选的实施方案，所述新的损失函数loss是通过在正常损失函数上添加了正则化，其次再添加蒸馏损失，与旧训练参数一起微调后得到的。

第三方面，本申请实施例还提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述中任一所述基于深度学习的车辆缺陷检测方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述中任一所述基于深度学习的车辆缺陷检测方法的步骤。

在本申请实施例中，基于深度学习的方式，通过划区域的检测可以实现多种缺陷的实时和平处理，极大的改善了在不同光照，不同材质的敞车的缺陷检测准确率，检测效率快，准确率高，通用性强。其次，本申请通过不同数据的优化训练，使得在进行缺陷检测时，可以更好的满足不同环境条件的应用，以及基于深度学习同时利用高效计算设备的加持有效地降低了算法处理过程，后期迭代优化可直接进行加入数据进行优化训练，保证数据安全。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种车辆缺陷检测系统架构示意图；

图2为本申请实施例提供的一种车辆缺陷检测方法流程示意图；

图3为本申请实施例提供的一种模型检测场景示意图；

图4为本申请实施例提供的一种图像检测处理示意图；

图5为本申请实施例提供的一种增量训练示意图；

图6为本申请实施例提供的一种训练方法结构示意图；

图7为本申请实施例提供的一种车辆缺陷检测装置结构示意图；

图8为本申请实施例提供的另一种车辆缺陷检测装置的硬件结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。另外，本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。

目前用于检测敞车表面缺陷的解决方案中，主要以人工筛选或传统图像处理算法为主，主要流程包括有图像预处理、图像增强、图像分割、感兴趣区域提取以及缺陷识别等。然而，由于火车敞车缺陷检测的应用领域不断扩展，缺陷类型也不断增多，更多的缺陷规则愈加复杂，而且由于生产厂家的不断增多，对缺陷检测的要求也不断提升，因此对于传统的图像处理算法，通过缺陷特征的几何特征、灰度特征的描述变得局限，难以准确地区分相似缺陷特征，难以识别复杂特征，难以通用性地在不同敞车上应用。

基于上述问题，本申请实施例提供了一种基于深度学习的车辆缺陷检测方法和装置。该缺陷检测方法可以应用于终端，例如，计算机；也可应用于服务器等，在此并不进行限定。

本申请实施例中，在进行缺陷检测时，基于深度学习的方式，通过划区域的检测可以实现多种缺陷的实时和平处理，极大的改善了在不同光照，不同材质的敞车的缺陷检测准确率，检测效率快，准确率高，通用性强。其次，本申请通过不同数据的优化训练，使得在进行缺陷检测时，可以更好的满足不同环境条件的应用，以及基于深度学习同时利用高效计算设备的加持有效地降低了算法处理过程，后期迭代优化可直接进行加入数据进行优化训练，保证数据安全。

请参考图1，为本申请实施例提供的车辆缺陷检测系统架构示意图。该系统架构包括区域检测模型101、至少一个零件检测模型102以及逻辑分析模块103。

区域检测模型101、零件检测模型102和逻辑分析模块103之间可以通信。其中，各个设备之间的通信方式可以是有线通信方式，例如通过连接网线或串口线进行通信；也可以是无线通信方式，例如通过蓝牙或无线保真(wireless fidelity，WIFI)等技术进行通信，具体不做限制。

其中，所述区域检测模型101，用于将采集到的目标车辆图像进行区域类别划分，并得到不同区域类别对应的区域图像。

作为一种示例，本申请实施例将采集到的目标车辆图像输入所述区域检测模型，所述区域检测模型基于深度学习，将所述目标车辆图像分为四个区域类别，分别是大车门区域，小车门区域，无车门区域以及非车门区域，并分别获得各个区域类别对应的区域图像。

所述零件检测模型102，用于对输入的区域图像进行分析，得到所述区域图像的零件检测结果。

进一步地，本申请实施例可以基于不同的区域类别设置不同的零件检测模型，从而基于不同的区域类别，有针对性的，更好的进行缺陷检测。

示例性的，假设本申请实施例将所述目标车辆图像分为四个区域类别，分别是大车门区域，小车门区域，无车门区域以及非车门区域，其中，大车门区域对应零件检测模型1，小车门区域对应零件检测模型2，无车门区域以及非车门区域对应零件检测模型3，则在进行零件检测过程中，可以将所述大车门区域对应的区域图像输入到所述零件检测模型1进行检测，将所述小车门区域对应的区域图像输入零件检测模型2进行检测，将无车门区域和非车门区域对应的区域图像输入零件检测模型3进行检测。

进一步地，本申请实施例可以仅将包括车门的区域类别对应的区域图像输入零件检测模型，进行缺陷检测，不包括车门的区域类别，可以理解为发生缺陷的概率较小，可以不进行零件检测，从而减少检测开销，加快检测效率。

所述逻辑分析模块103，用于根据区域检测模型以及零件检测模型输出的结果，进行缺陷分析，得到所述目标车辆的缺陷检测结果。

作为一种示例，本申请实施例中的逻辑分析模块103，可以根据区域检测模型输出的区域类别数量和/或不同区域类别对应的区域图片数量，确定所述目标车辆的缺陷情况。

例如，将采集到的目标车辆图像输入区域检测模型后，按照常规的货运敞车的构造，应该会输出大车门区域，小车门区域，无车门区域以及非车门区域四个区域类别，以及每个区域类别会对应一张区域图片。若实际输出的区域类别为1个大车门区域，两个无车门区域以及1个非车门区域，则通过逻辑分析模块可知，目标车辆存在车门缺失的情况这。

作为一种示例，本申请实施例中的逻辑分析模块103，可以根据零件检测模型输出的零件信息，确定所述目标车辆的缺陷情况，其中，所述零件信息包括零件数量，零件位置，零件长度。进一步地，本申请实施例所述的区域检测模型和零件检测模型可以是基于yolov3模型框架的改进，例如经过人工裁剪和设计，将其骨干网络结构替换为更轻量化的mobilenetv3结构，并缩减为两层yolo层输出，从而使模型在时效和性能上得到一定的改善。

如图2所示，本申请实施例提供一种基于深度学习的车辆缺陷检测方法，包括以下步骤：

步骤S201，将采集到的目标车辆图像输入区域检测模型，确定所述目标车辆图像基于不同区域类别分别对应的区域图像。

作为一种示例，本申请实施例可以基于车门情况以及位置信息等内容，将目标车辆图像进行区域类别划分。

例如，本申请实施例所述区域类别包括大车门区域、小车门区域、无车门以及非车门区域。

步骤S202，将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果。

作为一种示例，本申请实施例可以从获得的区域图像中选取目标区域图像进行零件检测。例如，所述目标区域图像为包括车门的区域图像。

示例性的，如图3所示，将采集到的目标车辆图像输入区域检测模型，将所述目标车辆图像分成大车门、小车门、无车门和非车门区域。其中，由于大车门区域以及小车门区域包括零件，因此，为了节省系统开销，无车门区域以及非车门区域的图像不用进行零件检测，可以仅将所述大车门区域以及小车门区域的图像分别输入零件检测模型，得到大车门区域以及小车门区域对应的零件信息。

例如，假设小车门区域图像的检测结果如图4所示，其中，斜杠区域为区域模型的输出，代表着小车门，黑色田字格区域为零件模型的输出，代表着腰带，竖条区域为零件模型的输出，代表着插捎，点点区域为零件模型的输出，代表着塔扣。

作为一种示例，本申请实施例可以基于不同的区域类别，设计训练不同的零件检测模型，在进行零件检测时，根据区域类别与零件检测模型的对应关系，将所述目标区域图像输入所属区域类别对应的零件检测模型，得到对应区域图像的零件检测结果，从而可以更有针对性的进行车辆缺陷检测。

步骤S203，结合区域检测和零件检测结果，得到所述目标车辆的缺陷检测结果。

作为一种示例，本申请实施例可以根据零件检测模型得到的零件信息，以及区域检测模型得到的区域类别数量等，进行逻辑分析，从而得到目标车辆的缺陷检测结果。其中，所述零件信息包括零件数量，零件位置，零件长度。

示例性的，可以通过区域检测模型输出的个数来判断所述目标车辆是否存在车门缺失的情况。可以根据零件检测模型输出的个数判断所述目标车辆是否存在腰带、插捎、塔扣等零件缺失的情况。还可以根据零件检测模型输出的零件的位置，以及长度等信息，来判断所述目标车辆是否存在腰带断裂，插捎未插入等缺陷情况。

进一步地，由于深度网络的学习是一种监督式学习模式，需要在足够的数据量上进行学习，从而获取准确的特征表达能力，因此样本生成是关键第一步。其中，本申请实施例为了采用更少的图像数据，更好的完成模型拟合，采用在线扩充的方式生成训练样本，从而通过生成的所述训练样本对所述区域检测模型和/或所述零件检测模型进行训练。

进一步地，为了有效防止过拟合状态的出现，本申请实施例在进行在线扩充样本时，根据不同周期的状态选择不同的扩充比率，基于选择的扩充比率，生成所述训练样本。

进一步地，本申请实施例为了使区域检测模型以及零件检测模型更加准备，将获取到的新的缺陷数据，对所述区域检测模型和/或所述零件检测模型进行增量训练，并根据建立的新的损失函数loss更新所述区域检测模型和/或所述零件检测模型。

作为一种示例，本申请实施例所述新的损失函数loss是通过在正常损失函数上添加了正则化，其次再添加蒸馏损失，与旧训练参数一起微调后得到的。

示例性的，如图5所示。其中，在进行增量训练时，建立的新的损失函数loss在正常损失函数上添加了正则化，促使模型在新数据上可以完成正常拟合，其次再添加蒸馏损失，与旧训练参数一起微调。

其中所涉及的公式如下所示：

其中，公式中的θs为旧模型在新数据上的拟合参数，θo为旧模型在旧数据上的完成参数，θn为新模型的初始化参数，最终训练目标即是在以上参数的设定下实现模型的损失函数最小化。

进一步地，如图6所示，通过上述样本扩充，以及增量模型训练之后，可以得到更新后的迭代模型。

基于相同的技术构思，本申请实施例还提供一种基于深度学习的车辆缺陷检测装置，基于深度学习的车辆缺陷检测装置解决问题的原理与上述图像处理方法相似，因此基于深度学习的车辆缺陷检测的实施可参见基于深度学习的车辆缺陷检测方法的实施，重复之处不再赘述。图7为本申请实施例提供的一种基于深度学习的车辆缺陷检测装置的结构示意图，包括划分模块701、处理模块702以及输出模块703。

划分模块701，用于将采集到的目标车辆图像输入区域检测模型，确定所述目标车辆图像基于不同区域类别分别对应的区域图像；

处理模块702，用于将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果；

确定模块703，用于结合区域检测和零件检测结果，得到所述目标车辆的缺陷检测结果。

在一些实施例中，所述区域类别包括大车门区域、小车门区域、无车门以及非车门区域。

在一些实施例中，所述处理模块702具体用于：

从获取到的区域图像中确定目标区域图像；

将所述目标区域图像输入零件检测模型，得到对应区域图像的零件检测结果。

在一些实施例中，所述目标区域图像为包括车门的区域图像。

在一些实施例中，所述处理模块702具体用于：

根据区域类别与零件检测模型的对应关系，将所述目标区域图像输入所属区域类别对应的零件检测模型，得到对应区域图像的零件检测结果。

在一些实施例中，所述处理模块702还用于：

将获得的区域图像，分别输入零件检测模型，得到每个区域图像分别对应的零件信息，所述零件信息包括零件数量，零件位置，零件长度；

根据所述零件信息进行功能逻辑判断，得到对应区域图像的零件检测结果。

在一些实施例中，所述处理模块702还用于：

根据所述目标车辆图像输入区域检测模型后，得到的区域类别数量，和/或，不同区域类别对应的区域图片数量，以及所述零件检测结果，确定所述目标车辆的缺陷情况。

在一些实施例中，所述处理模块702具体用于：

通过在线扩充的方式生成训练样本；

通过生成的所述训练样本对所述区域检测模型和/或所述零件检测模型进行训练。

在一些实施例中，所述处理模块702还用于：

根据不同周期的状态选择不同的扩充比率，基于选择的扩充比率，生成所述训练样本。

在一些实施例中，所述处理模块702还用于：

将获取到的新的缺陷数据，对所述区域检测模型和/或所述零件检测模型进行增量训练；

根据建立的新的损失函数loss更新所述区域检测模型和/或所述零件检测模型。

在一些实施例中，所述新的损失函数loss是通过在正常损失函数上添加了正则化，其次再添加蒸馏损失，与旧训练参数一起微调后得到的。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，本申请各实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

在介绍了本申请示例性实施方式的对比学习方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本申请的电子设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的方法。

下面参照图8来描述根据本申请的这种实施方式实现的电子设备810。图8显示的电子设备810仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，电子设备810以通用电子设备的形式表现。电子设备810的组件可以包括但不限于：上述至少一个处理器811、上述至少一个存储器812、连接不同系统组件(包括存储器812和处理器111)的总线813。

总线813表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器812可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)821和/或高速缓存存储器822，还可以进一步包括只读存储器(ROM)823。

存储器812还可以包括具有一组(至少一个)程序模块824的程序/实用工具825，这样的程序模块824包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备810也可以与一个或多个外部设备814(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备810交互的设备通信，和/或与使得该电子设备810能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口815进行。并且，电子设备810还可以通过网络适配器816与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器816通过总线813与用于电子设备810的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备810使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器812，上述指令可由处理器811执行以完成上述对比学习方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，当计算机程序产品被电子设备执行时，电子设备能够实现本申请提供的任一示例性方法。

并且，计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、闪存、光纤、光盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例中用于图像处理的方法的程序产品可以采用CD-ROM并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网(Local AreaNetwork，LAN)或广域网(Wide Area Network，WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种基于深度学习的车辆缺陷检测方法，其特征在于，所述方法包括：

将采集到的目标车辆图像输入区域检测模型，确定所述目标车辆图像基于不同区域类别分别对应的区域图像；

将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果；

结合区域检测和零件检测结果，得到所述目标车辆的缺陷检测结果。

2.根据权利要求1所述的方法，其特征在于，所述区域类别包括大车门区域、小车门区域、无车门以及非车门区域。

3.根据权利要求2所述的方法，其特征在于，所述将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果，包括：

从获取到的区域图像中确定目标区域图像；

将所述目标区域图像输入零件检测模型，得到对应区域图像的零件检测结果。

4.根据权利要求3所述的方法，其特征在于，所述目标区域图像为包括车门的区域图像。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标区域图像输入零件检测模型，得到对应区域图像的零件检测结果，包括：

根据区域类别与零件检测模型的对应关系，将所述目标区域图像输入所属区域类别对应的零件检测模型，得到对应区域图像的零件检测结果。

6.根据权利要求1～5中任一项所述的方法，其特征在于，所述将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果，包括：

将获得的区域图像，分别输入零件检测模型，得到每个区域图像分别对应的零件信息，所述零件信息包括零件数量，零件位置，零件长度；

根据所述零件信息进行功能逻辑判断，得到对应区域图像的零件检测结果。

7.根据权利要求6所述的方法，其特征在于，所述结合区域检测和零件检测结果，得到所述目标车辆的缺陷检测结果，包括：

根据所述目标车辆图像输入区域检测模型后，得到的区域类别数量，和/或，不同区域类别对应的区域图片数量，以及所述零件检测结果，确定所述目标车辆的缺陷情况。

8.根据权利要求1～5中任一项所述的方法，其特征在于，所述方法还包括：

通过在线扩充的方式生成训练样本；

通过生成的所述训练样本对所述区域检测模型和/或所述零件检测模型进行训练。

9.根据权利要求8所述的方法，其特征在于，所述通过在线扩充的方式生成训练样本，包括：

根据不同周期的状态选择不同的扩充比率，基于选择的扩充比率，生成所述训练样本。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

将获取到的新的缺陷数据，对所述区域检测模型和/或所述零件检测模型进行增量训练；

根据建立的新的损失函数loss更新所述区域检测模型和/或所述零件检测模型。

11.根据权利要求10所述的方法，其特征在于，所述新的损失函数loss是通过在正常损失函数上添加了正则化，其次再添加蒸馏损失，与旧训练参数一起微调后得到的。

12.一种基于深度学习的车辆缺陷检测装置，其特征在于，所述装置包括：

划分模块，用于将采集到的目标车辆图像输入区域检测模型，确定所述目标车辆图像基于不同区域类别分别对应的区域图像；

处理模块，用于将获得的区域图像，分别输入零件检测模型，得到对应区域图像的零件检测结果；

确定模块，用于结合区域检测和零件检测结果，得到所述目标车辆的缺陷检测结果。

13.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-11中任一所述方法的步骤。

14.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11中任一所述方法的步骤。

Images