CN114418998A - 一种车辆零部件缺陷检测方法、系统及电子设备 - Google Patents

Abstract

本发明提供一种车辆零部件缺陷检测方法、系统及电子设备，涉及图像处理和深度学习技术领域，通过自动化的汽车部件识别，提升二手车信息采集的简易性和采集效率。该方法包括：对目标车体图像进行车体分割和识别，获取分割和识别后的车体图片；根据分割和识别后的车体图片，对车体各部位进行识别提取，获取识别提取后的部位图片；对部位图片进行瑕疵检测，获取瑕疵分类属性；根据瑕疵分类属性，形成车体多级属性模型，基于车体多级属性模型，以在目标车体三维模型中标注零部件缺陷信息。所述车辆零部件缺陷检测系统应用于车辆零部件缺陷检测方法。所述车辆零部件缺陷检测方法应用于电子设备中。

Description

一种车辆零部件缺陷检测方法、系统及电子设备

技术领域

本发明涉及图像处理和深度学习技术领域，更具体的说，涉及一种车辆零部件缺陷检测方法、系统、电子设备及计算机可读存储介质。

背景技术

随着科学技术的发展以及人们经济能力的提高，汽车越来越受到人们的青睐。汽车在使用过程中，可能会出现各种故障，造成汽车不同程度的缺陷。

现有的汽车缺陷分析服务通常只能对包含车体、损伤进行整体的检测，不能具体定位到某一具体部件的损伤，暂无针对汽车具体部件多级属性的识别系统，从而对二手车的信息采集不够精确。

发明内容

为解决上述技术问题，本发明提供一种车辆零部件缺陷检测方法、系统、电子设备及计算机可读存储介质，通过自动化的汽车部件识别，提升二手车信息采集的简易性和采集效率。

本发明提供一种车辆零部件缺陷检测方法，该方法包括：

步骤1：基于视觉重建包含零部件缺陷的目标车体三维模型，获取包含零部件缺陷的目标车体图像；

步骤2：对所述目标车体图像进行车体分割和识别，获取分割和识别后的车体图片；

步骤3：根据分割和识别后的车体图片，对车体各部位进行识别提取，获取识别提取后的部位图片；

步骤4：对所述部位图片进行瑕疵检测，获取瑕疵分类属性；

步骤5：根据所述瑕疵分类属性，形成车体多级属性模型，基于所述车体多级属性模型，以在所述目标车体三维模型中标注零部件缺陷信息。

优选地，所述步骤1中基于视觉重建包含零部件缺陷的目标车体三维模型，包括：获取不同角度的包含零部件缺陷的目标车体照片，根据所述目标车体照片重建包含零部件缺陷的目标车体三维模型。

优选地，所述步骤2包括：

利用传统分割方法或基于深度学习对所述目标车体图像进行车体分割和识别，获取分割和识别后的车体图片。

优选地，所述识别提取后的部位图片包括一级分类和二级分类，所述一级分类包括：车体外形、车体内饰，所述二级分类包括：前保险杠、后保险杠、前挡风玻璃、后挡风玻璃、前大灯、后大灯、引擎盖、后备箱、前门、后门、前车窗、后车窗、车顶、车轮，所述一级分类和二级分类的映射关系满足1：N。

优选地，所述瑕疵分类属性包括：划痕、凹陷、缺损、撕裂，所述二级分类与所述瑕疵分类属性的映射关系满足1：N。

与现有技术相比，本发明提供的一种车辆零部件缺陷检测方法具有如下有益效果：基于视觉重建包含零部件缺陷的目标车体三维模型，获取包含零部件缺陷的目标车体图像，对目标车体图像进行车体分割和识别，获取分割和识别后的车体图片；根据分割和识别后的车体图片，对车体各部位进行识别，获取识别后的部位图片；对部位图片进行瑕疵检测，获取瑕疵分类属性；根据瑕疵分类属性，形成车体多级属性模型，基于车体多级属性模型，以在目标车体三维模型中标注零部件缺陷信息，实现二手车数字化描述。本发明通过自动化的汽车部件识别，不仅可以识别出车体的整体损伤，还能识别出车辆具体部件的损伤，提升二手车信息采集的简易性和采集效率，提高检测精度。

本发明还提供一种车辆零部件缺陷检测系统，该系统包括：

视觉重建模块，用于基于视觉重建包含零部件缺陷的目标车体三维模型，获取包含零部件缺陷的目标车体图像；

车体识别模块，用于对所述目标车体图像进行车体分割和识别，获取分割和识别后的车体图片；

部位识别模块，用于根据分割和识别后的车体图片，对车体各部位进行识别提取，获取识别提取后的部位图片；

瑕疵检测模块，用于对所述部位图片进行瑕疵检测，获取瑕疵分类属性；

车体多级属性模型模块，用于根据所述瑕疵分类属性，形成车体多级属性模型，基于所述车体多级属性模型，以在所述目标车体三维模型中标注零部件缺陷信息。

优选地，所述识别提取后的部位图片包括一级分类和二级分类，所述一级分类包括：车体外形、车体内饰，所述二级分类包括：前保险杠、后保险杠、前挡风玻璃、后挡风玻璃、前大灯、后大灯、引擎盖、后备箱、前门、后门、前车窗、后车窗、车顶、车轮，所述一级分类和二级分类的映射关系满足1：N。

优选地，所述瑕疵分类属性包括：划痕、凹陷、缺损、撕裂，所述二级分类与所述瑕疵分类属性的映射关系满足1：N。

与现有技术相比，本发明提供的一种车辆零部件缺陷检测系统的有益效果与上述技术方案所述一种车辆零部件缺陷检测方法的有益效果相同，在此不做赘述。

本发明还提供一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任一项所述的一种车辆零部件缺陷检测方法中的步骤。

与现有技术相比，本发明提供的电子设备的有益效果与上述技术方案所述一种车辆零部件缺陷检测方法的有益效果相同，在此不做赘述。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种车辆零部件缺陷检测方法中的步骤。

与现有技术相比，本发明所提供的计算机可读存储介质的有益效果与上述技术方案所述一种车辆零部件缺陷检测方法的有益效果相同，在此不做赘述。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种车辆零部件缺陷检测方法的流程图；

图2示出了本发明实施例所提供的利用Mask R-CNN对目标车体图像进行分割和识别的流程图；

图3示出了本发明实施例所提供的基于目标区域图像形成外观-部件、部件-缺陷两类属性关系映射示意图；

图4示出了本发明实施例所提供的形成外观-部件-缺陷三级属性关系映射示意图；

图5示出了本发明实施例所提供的一种车辆零部件缺陷检测系统的结构示意图；

图6示出了本发明实施例所提供的一种车辆零部件缺陷检测方法的电子设备的结构示意图。

具体实施方式

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本实施例中提到的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况。“示例性的”或者“例如”等词用于表示作例子、例证或说明，旨在以具体方式呈现相关概念，不应被解释为比其他实施例或设计方案更优选或更具优势。

本发明实施例提供一种车辆零部件缺陷检测方法，图1示出了本发明实施例所提供的一种车辆零部件缺陷检测方法的流程图。如图1所示，该方法包括：

步骤1：基于视觉重建包含零部件缺陷的目标车体三维模型，获取包含零部件缺陷的目标车体图像。

需要说明的是，可以利用手机环绕拍摄不同角度的包含零部件缺陷的目标车体照片，获取不同角度的包含零部件缺陷的目标车体照片后，根据目标车体照片重建包含零部件缺陷的目标车体三维模型，用于车辆外观VR展示。应理解的，包含零部件缺陷的目标车体照片可以是RGB格式，也可以是RGBD格式等。针对目标车体图像可以从手机拍摄的包含零部件缺陷的目标车体视频或照片中提取。

步骤2：对目标车体图像进行车体分割和识别，获取分割和识别后的车体图片。

需要说明的是，首选对目标车体图像进行预处理，包括噪声去除、利用滤波、锐化等进行增强处理，然后对预处理后的目标车体图像采用传统图像分割方法或者基于深度学习方法进行车体分割提取。示例性的，传统分割方法可以为阈值过滤、边缘检测等，深度学习方法可以为RNN、FCN等。

步骤3：根据分割和识别后的车体图片，对车体各部位进行识别提取，获取识别提取后的部位图片。

需要说明的是，根据分割和识别后的车体图片，利用深度学习方法对车体各部位进行识别提取，例如，采用ResNet、DCNNs等对车体各部位进行识别提取。获取识别提取后的部位图片。

进一步地，为了使瑕疵描述模型化、树形化、层级化，方便数据管理和异常归类，形成对一辆二手车全部瑕疵的整体描述。本发明识别提取后的部位图片包括一级分类和二级分类，所述一级分类包括：车体外形、车体内饰，所述二级分类包括：前保险杠、后保险杠、前挡风玻璃、后挡风玻璃、前大灯、后大灯、引擎盖、后备箱、前门、后门、前车窗、后车窗、车顶、车轮，所述一级分类和二级分类的映射关系满足1：N。示例性的，“外观-左前车门-划痕”，可以为瑕疵的三级描述。外观可以为一级、左前车门可以为二级、划痕可以为三级。

这里的映射关系可以是不同分类级别之间的包含数量关系，1：N即为一级分类包含或不包含多个二级分类。例如外观为单一属性记为1，外观包含车门、保险杠等等多个部位记为N，外观可以包含多种部位，为1对多的关系，记为映射关系满足1：N。

步骤4：对部位图片进行瑕疵检测，获取瑕疵分类属性。

需要说明的是，对识别提取后的部位图片进行瑕疵检测分析，即将识别提取后的部位图片与该部位标准图进行差分比对，识别缺陷。

进一步地，所述瑕疵分类属性包括：划痕、凹陷、缺损、撕裂等，所述二级分类与所述瑕疵分类属性的映射关系满足1：N。

这里的映射关系可以理解为数量包含关系，1：N即为二级分类包含或不包含多个瑕疵分类属性。示例性的，1处部位包含多种瑕疵，记为1对多的映射关系。例如，外观(1)包含多个部件(N)；一个部件(1)包含多个瑕疵(N)。因此全部瑕疵描述可组合成一个整体的车体多级属性描述模型。

步骤5：根据所述瑕疵分类属性，形成车体多级属性模型，基于所述车体多级属性模型，以在所述目标车体三维模型中标注零部件缺陷信息。

需要说明的是，将瑕疵分类属性组合成车体多级属性模型，这里的车体多级属性模型可以为瑕疵多级属性模型，将瑕疵多级属性模型与目标车体三维模型混合，以在目标车体三维模型中标注车辆零部件缺陷信息，也可以标注车体瑕疵信息，实现二手车数字化描述。

与现有技术相比，本发明提供的一种车辆零部件缺陷检测方法具有如下有益效果：

1、通过重建车辆三维模型，实现车辆全角度VR展示，可以提升展示效率和展示效果。

2、通过自动化部件识别和瑕疵检测，可以提升二手车信息采集的简易性、提升检测效率、优化检测流程，实现二手车瑕疵数字化描述模型。

下面通过一个实际案例来说明具体车辆零部件缺陷检测，以车辆外观瑕疵检测为例。

1、数据模型

采集现实场景的不同车辆外观各角度图像x张，建立车辆图像数据集。示例性的，可以用手机采集包含损伤区域的目标车体图像，应理解，手机可以全角度采集二手机目标车体图像，以用于后续车体三维模型重建和瑕疵检测。利用车辆图像数据集对各角度图像进行多属性标注。具体地，包含14种标注类别：前保险杠、后保险杠、前挡风玻璃、后挡风玻璃、前大灯、后大灯、引擎盖、后备箱、前门、后门、前车窗、后车窗、车顶、车轮。

采集车辆外观不同类别损伤图像y张，建立车辆缺陷图像数据集。利用缺陷图像数据集对不同类别损伤图像进行多类别标注，具体地，包含划痕、凹陷、缺损、撕裂等类别标注。

对车辆图像数据集和车辆缺陷图像数据集进行预处理。具体地，可以使用滤波器对图像噪声进行过滤，并使用直方图均衡对图像进行增强，当然，也可以采用其它方法进行预处理，并不局限于此种图像预处理增强方式。

将预处理后的图像输入Mask R-CNN进行训练，分别获取车体外观部件深度学习模型和缺陷识别深度学习模型。

2、深度学习网络

如图2所示，本发明实施例使用Mask R-CNN对目标车体图像进行分割和识别，识别流程如下：

[a]使用ResNet-101与FPN作为特征提取网络；

[b]将特征图ROI输入RPN生成候选区域；

[c]将上一步输出进行区域特征聚集ROIAlign，以提升检测模型准确性；

[d]经过全连接层生成分类和目标区域，并使用FCN生成Mask；

[e]输出目标区域图像及所属分类；

通过机器学习技术对目标车体图像进行分割提取，获取目标车体区域图像。

3、工作流

如图3所示，基于目标区域图像形成外观-部件、部件-缺陷两类属性关系映射，包括以下步骤：

[a]输入目标区域图像通过外观部件深度学习模型，输出部件区域及部件分类；

[b]输入目标区域图像通过缺陷识别深度学习模型，输出缺陷位置及缺陷分类；

[c]将前两步输出图像进行组合匹配，判断目标重合区域，生成部件与缺陷的映射关系；

[d]最终形成外观-部件、部件-缺陷这两类属性关系映射。

应理解，这里的映射关系可以理解为数量包含关系，1处部位包含多种瑕疵，记为1对多的映射关系。例如，外观(1)包含多个部件(N)；一个部件(1)包含多个瑕疵(N)；因此全部瑕疵描述可组合成一个整体的多级属性描述模型。

4、输出模型

如图4所示，对工作流中输出的外观-部件(1-N)树形映射关系、部件-缺陷(1-N)树形映射关系进行组合，从而形成外观-部件-缺陷三级属性关系映射。

此类结构属性模型最终将数字化存储并与车辆id绑定，用于后续车辆信息展示。

本发明实施例还提供一种车辆零部件缺陷检测系统，图5示出了本发明实施例所提供的一种车辆零部件缺陷检测系统的结构示意图，如图5所示，该系统包括：

视觉重建模块1，用于基于视觉重建包含零部件缺陷的目标车体三维模型，获取包含零部件缺陷的目标车体图像；

车体识别模,2，用于对所述目标车体图像进行车体分割和识别，获取分割和识别后的车体图片；

部位识别模块3，用于根据分割和识别后的车体图片，对车体各部位进行识别提取，获取识别提取后的部位图片；

瑕疵检测模块4，用于对所述部位图片进行瑕疵检测，获取瑕疵分类属性；

车体多级属性模型模块5，用于根据所述瑕疵分类属性，形成车体多级属性模型，基于所述车体多级属性模型，以在所述目标车体三维模型中标注零部件缺陷信息。

优选地，所述识别提取后的部位图片包括一级分类和二级分类，所述一级分类包括：车体外形、车体内饰，所述二级分类包括：前保险杠、后保险杠、前挡风玻璃、后挡风玻璃、前大灯、后大灯、引擎盖、后备箱、前门、后门、前车窗、后车窗、车顶、车轮，所述一级分类和二级分类的映射关系满足1：N。

优选地，所述瑕疵分类属性包括：划痕、凹陷、缺损、撕裂，所述二级分类与所述瑕疵分类属性的映射关系满足1：N。

与现有技术相比，本发明提供的一种车辆零部件缺陷检测系统的有益效果与上述技术方案所述一种车辆零部件缺陷检测方法的有益效果相同，在此不做赘述。

此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述一种车辆零部件缺陷检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

具体的，参见图6所示，本发明实施例还提供了一种电子设备，该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。

在本发明实施例中，该电子设备还包括：存储在存储器1150上并可在处理器1120上运行的计算机程序，计算机程序被处理器1120执行时实现上述一种车辆零部件缺陷检测方法实施例的各个过程。

收发器1130，用于在处理器1120的控制下接收和发送数据。

本发明实施例中，总线架构(用总线1110来代表)，总线1110可以包括任意数量互联的总线和桥，总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。

总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线以及存储器控制器、外围总线、加速图形端口(Accelerate Graphical Port，AGP)、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构(Industry Standard Architecture，ISA)总线、微通道体系结构(Micro Channel Architecture，MCA)总线、扩展ISA(Enhanced ISA，EISA)总线、视频电子标准协会(Video Electronics Standards Association，VESA)、外围部件互连(Peripheral Component Interconnect，PCI)总线。

处理器1120可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、复杂可编程逻辑器件(Complex ProgrammableLogicDevice，CPLD)、可编程逻辑阵列(Programmable Logic Array，PLA)、微控制单元(Microcontroller Unit，MCU)或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。

处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(Random Access Memory，RAM)、闪存(FlashMemory)、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

总线1110还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口1140在总线1110和收发器1130之间提供接口，这些都是本领域所公知的。因此，本发明实施例不再对其进行进一步描述。

收发器1130可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器1130从其他设备接收外部数据，收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质，还可以提供用户接口1160，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。

应理解，在本发明实施例中，存储器1150可进一步包括相对于处理器1120远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络(ad hoc network)、内联网(intranet)、外联网(extranet)、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网(Internet)、公共交换电话网(PSTN)、普通老式电话业务网(POTS)、蜂窝电话网、无线网络、无线保真(Wi-Fi)网络以及两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信(GSM)系统、码分多址(CDMA)系统、全球微波互联接入(WiMAX)系统、通用分组无线业务(GPRS)系统、宽带码分多址(WCDMA)系统、长期演进(LTE)系统、LTE频分双工(FDD)系统、LTE时分双工(TDD)系统、先进长期演进(LTE-A)系统、通用移动通信(UMTS)系统、增强移动宽带(Enhance Mobile Broadband，eMBB)系统、海量机器类通信(massive Machine Type of Communication，mMTC)系统、超可靠低时延通信(UltraReliable Low Latency Communications，uRLLC)系统等。

应理解，本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器包括：只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存(Flash Memory)。

易失性存储器包括：随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如：静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。

在本发明实施例中，存储器1150存储了操作系统1151和应用程序1152的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。

具体而言，操作系统1151包含各种系统程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1152包含各种应用程序，例如：媒体播放器(Media Player)、浏览器(Browser)，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括：小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种车辆零部件缺陷检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。

在本申请所提供的几个实施例中，应该理解到，所披露的装置、电子设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。

所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(包括：个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种车辆零部件缺陷检测方法，其特征在于，包括：

步骤1：基于视觉重建包含零部件缺陷的目标车体三维模型，获取包含零部件缺陷的目标车体图像；

步骤2：对所述目标车体图像进行车体分割和识别，获取分割和识别后的车体图片；

步骤3：根据分割和识别后的车体图片，对车体各部位进行识别提取，获取识别提取后的部位图片；

步骤4：对所述部位图片进行瑕疵检测，获取瑕疵分类属性；

步骤5：根据所述瑕疵分类属性，形成车体多级属性模型，基于所述车体多级属性模型，以在所述目标车体三维模型中标注零部件缺陷信息。

2.根据权利要求1所述的一种车辆零部件缺陷检测方法，其特征在于，

所述步骤1中基于视觉重建包含零部件缺陷的目标车体三维模型，包括：

获取不同角度的包含零部件缺陷的目标车体照片，根据所述目标车体照片重建包含零部件缺陷的目标车体三维模型。

3.根据权利要求1所述的一种车辆零部件缺陷检测方法，其特征在于，

所述步骤2包括：

利用传统分割方法或基于深度学习对所述目标车体图像进行车体分割和识别，获取分割和识别后的车体图片。

4.根据权利要求1所述的一种车辆零部件缺陷检测方法，其特征在于，

所述识别提取后的部位图片包括一级分类和二级分类，所述一级分类包括：车体外形、车体内饰，所述二级分类包括：前保险杠、后保险杠、前挡风玻璃、后挡风玻璃、前大灯、后大灯、引擎盖、后备箱、前门、后门、前车窗、后车窗、车顶、车轮，所述一级分类和二级分类的映射关系满足1：N。

5.根据权利要求4所述的一种车辆零部件缺陷检测方法，其特征在于，

所述瑕疵分类属性包括：划痕、凹陷、缺损、撕裂，所述二级分类与所述瑕疵分类属性的映射关系满足1：N。

6.一种车辆零部件缺陷检测系统，其特征在于，包括：

视觉重建模块，用于基于视觉重建包含零部件缺陷的目标车体三维模型，获取包含零部件缺陷的目标车体图像；

车体识别模块，用于对所述目标车体图像进行车体分割和识别，获取分割和识别后的车体图片；

部位识别模块，用于根据分割和识别后的车体图片，对车体各部位进行识别提取，获取识别提取后的部位图片；

瑕疵检测模块，用于对所述部位图片进行瑕疵检测，获取瑕疵分类属性；

车体多级属性模型模块，用于根据所述瑕疵分类属性，形成车体多级属性模型，基于所述车体多级属性模型，以在所述目标车体三维模型中标注零部件缺陷信息。

7.根据权利要求6所述的一种车辆零部件缺陷检测系统，其特征在于，

所述识别提取后的部位图片包括一级分类和二级分类，所述一级分类包括：车体外形、车体内饰，所述二级分类包括：前保险杠、后保险杠、前挡风玻璃、后挡风玻璃、前大灯、后大灯、引擎盖、后备箱、前门、后门、前车窗、后车窗、车顶、车轮，所述一级分类和二级分类的映射关系满足1：N。

8.根据权利要求7所述的一种车辆零部件缺陷检测系统，其特征在于，

所述瑕疵分类属性包括：划痕、凹陷、缺损、撕裂，所述二级分类与所述瑕疵分类属性的映射关系满足1：N。

9.一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的一种车辆零部件缺陷检测方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的一种车辆零部件缺陷检测方法中的步骤。

Images