CN112651941A - 车辆缺陷识别方法、装置、电子装置和存储介质 - Google Patents

车辆缺陷识别方法、装置、电子装置和存储介质 Download PDF

Info

Publication number
CN112651941A
CN112651941A CN202011567961.2A CN202011567961A CN112651941A CN 112651941 A CN112651941 A CN 112651941A CN 202011567961 A CN202011567961 A CN 202011567961A CN 112651941 A CN112651941 A CN 112651941A
Authority
CN
China
Prior art keywords
defect
vehicle
label information
vehicle defect
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011567961.2A
Other languages
English (en)
Inventor
刘海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dianfeng Technology Co ltd
Original Assignee
Beijing Dianfeng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dianfeng Technology Co ltd filed Critical Beijing Dianfeng Technology Co ltd
Priority to CN202011567961.2A priority Critical patent/CN112651941A/zh
Publication of CN112651941A publication Critical patent/CN112651941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本申请涉及一种车辆缺陷识别方法、装置、电子装置和存储介质，其中，该车辆缺陷识别方法包括：通过获取待识别的车辆缺陷图像；利用车辆缺陷预测模型处理所述车辆缺陷图像，得到多个预测车辆缺陷标签信息；其中，所述预测车辆缺陷标签信息包括第一关键点缺陷标签信息和第一缺陷分类标签信息；对多个所述第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息；在所述候选车辆缺陷标签信息中检测所述第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果。通过本申请，解决了相关技术中车辆缺陷检测准确率低、易漏检的问题，实现了高效准确的车辆缺陷识别。

Description

车辆缺陷识别方法、装置、电子装置和存储介质
技术领域
本申请涉及车辆缺陷检测技术领域，特别是涉及车辆缺陷识别方法、装置、电子装置和存储介质。
背景技术
车辆缺陷识别是车辆交易流程中非常重要的环节，尤其是二手车交易，是车辆定损的必要步骤。在车辆缺陷检测过程中，车辆检测师通常需要对车辆图像进行人工标记缺陷信息，一张车辆缺陷图像通常包含多个不同的缺陷类型，人工标记效率比较低，如何提升车辆缺陷的标注效率显得尤为重要。
随着人工智能、大数据技术的飞速发展，使用人工智能技术提升车辆缺陷标注效率已成为车辆检测智能化的重要课题之一。
为对车辆缺陷进行检测，一种基于深度神经网络的车辆损伤检测方法，使用有监督学习方式训练深度神经网络实现车辆损伤检测。上述车辆损伤检测方法，虽然训练模型的过程比较容易和稳定，但是在训练时，需要大量进行过锚点框标注的训练样本。而汽车缺陷种类多，具有一定的专业门槛，数据标注效率低，成本高。同时，对于部分面积较小的缺陷类型的检测，如掉漆，使用基于锚点框检测的目标检测方法容易出现漏检的情况。
目前针对相关技术中车辆缺陷检测准确率低、易漏检的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种车辆缺陷识别方法、装置、电子装置和存储介质，以至少解决相关技术中车辆缺陷检测准确率低、易漏检的问题。
第一方面，本申请实施例提供了一种车辆缺陷识别方法，包括：获取待识别的车辆缺陷图像；利用车辆缺陷预测模型处理所述车辆缺陷图像，得到多个预测车辆缺陷标签信息，其中，所述预测车辆缺陷标签信息包括第一关键点缺陷标签信息和第一缺陷分类标签信息，所述车辆缺陷预测模型是根据第二关键点缺陷标签信息、第二缺陷分类标签信息和车辆缺陷检测到的实测车辆缺陷标签信息训练生成；对多个所述第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息；在所述候选车辆缺陷标签信息中检测所述第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果。
在其中一些实施例中，所述第一关键点缺陷标签信息包括缺陷类型信息和关键点缺陷标签，对多个所述第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息包括：在多个所述第一关键点缺陷标签信息的所述关键点缺陷标签中选取至少一个第一关键点缺陷标签；选取与所述至少一个第一关键点缺陷标签的类型相似度在预设阈值范围内的多个所述关键点缺陷标签，得到侯选车辆缺陷标签，其中，所述类型相似度根据所述缺陷类型信息确定；根据所述候选车辆缺陷标签和与所述候选车辆缺陷标签对应的所述缺陷类型信息，生成所述候选车辆缺陷标签信息。
在其中一些实施例中，所述类型相似度是以欧式距离确定的，选取与所述至少一个第一关键点缺陷标签的类型相似度在预设阈值范围内的多个所述关键点缺陷标签，得到候选车辆缺陷标签包括：计算多个所述第一关键点缺陷标签信息的所述关键点缺陷标签与所述至少一个第一关键点缺陷标签的欧式距离；将与所述至少一个第一关键点缺陷标签的欧式距离最小的多个所述关键点缺陷标签作为所述候选车辆缺陷标签。
在其中一些实施例中，在所述候选车辆缺陷标签信息中检测所述第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果包括：遍历所述候选车辆缺陷标签信息的多个第三车辆缺陷标签信息；将所述第三车辆缺陷标签信息与多个所述第一缺陷分类标签信息进行匹配，得到匹配结果；在匹配到所述第一缺陷分类标签信息的情况下，确定所述车辆缺陷识别结果包括所述第三车辆缺陷标签信息。
在其中一些实施例中，所述第三车辆缺陷标签信息包括第一车辆缺陷类型，所述第一缺陷分类标签信息包括第二车辆缺陷类型，将所述第三车辆缺陷标签信息与多个所述第一缺陷分类标签信息进行匹配包括：将所述第三车辆缺陷标签信息的第一车辆缺陷类型与所述第一缺陷分类标签信息的第二车辆缺陷类型进行匹配。
在其中一些实施例中，所述第三车辆缺陷标签信息还包括车辆缺陷位置信息，根据检测结果确定车辆缺陷识别结果包括：
在匹配到所述第一缺陷分类标签信息的情况下，读取所述第三车辆缺陷标签信息的所述车辆缺陷位置信息；根据所述车辆缺陷位置信息确定车辆缺陷点，并确定所述车辆缺陷识别结果包括所述第一车辆缺陷类型和所述车辆缺陷点。
在其中一些实施例中，所述车辆缺陷预测模型是采用HRNet网络架构的CNN卷积神经网络构建的。
第二方面，本申请实施例提供了一种车辆缺陷识别装置，包括：
获取模块，用于获取待识别的车辆缺陷图像；
预测模块，用于利用车辆缺陷预测模型处理所述车辆缺陷图像，得到多个预测车辆缺陷标签信息，其中，所述预测车辆缺陷标签信息包括第一关键点缺陷标签信息和第一缺陷分类标签信息，所述车辆缺陷预测模型是根据第二关键点缺陷标签信息、第二缺陷分类标签信息和车辆缺陷检测到的实测车辆缺陷标签信息训练生成；
后处理模块，用于对多个所述第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息；
检测分类模块，用于在所述候选车辆缺陷标签信息中检测所述第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的车辆缺陷识别方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的车辆缺陷识别方法。
相比于相关技术，本申请实施例提供的车辆缺陷识别、装置、电子装置以及存储介质，通过获取待识别的车辆缺陷图像；利用车辆缺陷预测模型处理所述车辆缺陷图像，得到多个预测车辆缺陷标签信息；对多个所述第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息；在所述候选车辆缺陷标签信息中检测所述第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果。解决了相关技术中车辆缺陷检测准确率低、易漏检的问题，实现了高效准确的车辆缺陷识别，节约了检测成本。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的车辆缺陷识别方法的终端的硬件结构框图；
图2是根据本申请实施例的车辆缺陷识别方法的流程图；
图3是根据本申请实施例的神经网络模型的构建流程图；
图4是根据本申请优选实施例的车辆缺陷识别方法的流程图；
图5是根据本申请实施例的车辆缺陷识别装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是根据本申请实施例的车辆缺陷识别方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的工控系统登录管控方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种运行于上述终端的车辆缺陷识别方法，图2是根据本申请实施例的车辆缺陷识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取待识别的车辆缺陷图像。
在本实施例中，获取待识别的车辆缺陷图像，即将需要进行缺陷识别的目标车辆信息，以图片的形式输入车辆缺陷预测进行识别。具体可以是静态的图片或者利用摄像头对动态车辆进行图像捕获。
步骤S202，利用车辆缺陷预测模型处理车辆缺陷图像，得到多个预测车辆缺陷标签信息，其中，预测车辆缺陷标签信息包括第一关键点缺陷标签信息和第一缺陷分类标签信息，车辆缺陷预测模型是根据第二关键点缺陷标签信息、第二缺陷分类标签信息和车辆缺陷检测到的实测车辆缺陷标签信息训练生成。
在本实施例中，车辆缺陷预测模型是经过预先训练的，训练数据是从车辆缺陷检测实际业务中收集而来，在实际业务中，检测师通常会对缺陷区域打上标记点及车辆缺陷类型，这样无需再额外进行数据标注。车辆缺陷类型主要包括：划痕、破损、锈蚀、剐蹭、变形、掉漆、开裂、油液渗漏等。因车辆缺陷预测模型结合了关键点缺陷标签信息和缺陷分类标签信息，所以得到的预测车辆缺陷标签信息包括第一关键点缺陷标签信息和第一缺陷分类标签信息；这使得缺陷检测时局部特征与全局特征相互补充，增强了模型特征提取的表达力，有效提升了车辆缺陷检测效率与准确率。
步骤S203，对多个第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息。
在本实施例中，通过对第一关键点缺陷标签信息进行后处理，选取与至少一个第一关键点缺陷标签的类型相似度在预设阈值范围内的多个关键点缺陷标签，得到候选车辆缺陷标签信息。这使得缺陷识别的准确率进一步提高。
步骤S204，在候选车辆缺陷标签信息中检测第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果。
上述步骤S201至步骤S204，通过获取待识别的车辆缺陷图像；利用车辆缺陷预测模型处理车辆缺陷图像，得到多个预测车辆缺陷标签信息；对多个第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息；在候选车辆缺陷标签信息中检测第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果。解决了相关技术中车辆缺陷检测准确率低、易漏检的问题，实现了高效准确的车辆缺陷识别，节约了检测成本。
需要说明的是，在本实施例中，结合关键点检测和车辆缺陷分类进行联合建模，局部特征与全局特征相互补充，增强了模型特征提取的表达力，有效提升了车辆缺陷检测效率。相比单纯使用目标检测，本申请实施例的车辆缺陷识别方法，车辆缺陷识别的准确率更高，尤其是针对现有技术中小面积的车辆缺陷易漏检的问题，改善效果显著。本申请实施例所使用的训练数据，皆可以从实际业务中获取，无需重新进行数据标注，不仅节约了数据标注成本，同时提高了车辆缺陷识别效率。
在其中一些实施例中，第一关键点缺陷标签信息包括缺陷类型信息和关键点缺陷标签，对多个第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息包括如下步骤：
步骤1，在多个第一关键点缺陷标签信息的关键点缺陷标签中选取至少一个第一关键点缺陷标签。
步骤2，选取与至少一个第一关键点缺陷标签的类型相似度在预设阈值范围内的多个关键点缺陷标签，得到侯选车辆缺陷标签，其中，类型相似度根据缺陷类型信息确定。
步骤3，根据候选车辆缺陷标签和与候选车辆缺陷标签对应的缺陷类型信息，生成候选车辆缺陷标签信息。
通过上述步骤中的在多个第一关键点缺陷标签信息的关键点缺陷标签中选取至少一个第一关键点缺陷标签；选取与至少一个第一关键点缺陷标签的类型相似度在预设阈值范围内的多个关键点缺陷标签，得到侯选车辆缺陷标签，其中，类型相似度根据缺陷类型信息确定；根据候选车辆缺陷标签和与候选车辆缺陷标签对应的缺陷类型信息，生成候选车辆缺陷标签信息，实现了关键点检测与车辆缺陷分类两方面的结合，提高了车辆缺陷识别的准确率。
在其中一些实施例中，类型相似度是以欧式距离确定的，选取与至少一个第一关键点缺陷标签的类型相似度在预设阈值范围内的多个关键点缺陷标签，得到候选车辆缺陷标签包括如下步骤：
步骤1，计算多个第一关键点缺陷标签信息的关键点缺陷标签与至少一个第一关键点缺陷标签的欧式距离。
步骤2，将与至少一个第一关键点缺陷标签的欧式距离最小的多个关键点缺陷标签作为候选车辆缺陷标签。
通过上述步骤中的计算多个第一关键点缺陷标签信息的关键点缺陷标签与至少一个第一关键点缺陷标签的欧式距离；将与至少一个第一关键点缺陷标签的欧式距离最小的多个关键点缺陷标签作为候选车辆缺陷标签，实现了关键点缺陷标签的去重，从而提高了缺陷识别的效率。
在其中一些实施例中，在候选车辆缺陷标签信息中检测第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果包括如下步骤：
步骤1，遍历候选车辆缺陷标签信息的多个第三车辆缺陷标签信息。
步骤2，将第三车辆缺陷标签信息与多个第一缺陷分类标签信息进行匹配，得到匹配结果。
步骤3，在匹配到第一缺陷分类标签信息的情况下，确定车辆缺陷识别结果包括第三车辆缺陷标签信息。
在其中一些实施例中，第三车辆缺陷标签信息包括第一车辆缺陷类型，第一缺陷分类标签信息包括第二车辆缺陷类型，将第三车辆缺陷标签信息与多个第一缺陷分类标签信息进行匹配包括如下步骤：
将第三车辆缺陷标签信息的第一车辆缺陷类型与第一缺陷分类标签信息的第二车辆缺陷类型进行匹配。
在其中一些实施例中，第三车辆缺陷标签信息还包括车辆缺陷位置信息，根据检测结果确定车辆缺陷识别结果包括如下步骤：
步骤1，在匹配到第一缺陷分类标签信息的情况下，读取第三车辆缺陷标签信息的车辆缺陷位置信息。
步骤2，根据车辆缺陷位置信息确定车辆缺陷点，并确定车辆缺陷识别结果包括第一车辆缺陷类型和车辆缺陷点。
通过上述步骤中的遍历候选车辆缺陷标签信息的多个第三车辆缺陷标签信息；第三车辆缺陷标签信息包括第一车辆缺陷类型，第一缺陷分类标签信息包括第二车辆缺陷类型；将第三车辆缺陷标签信息的第一车辆缺陷类型与第一缺陷分类标签信息的第二车辆缺陷类型进行匹配；在匹配到第一缺陷分类标签信息的情况下，读取第三车辆缺陷标签信息的车辆缺陷位置信息；根据车辆缺陷位置信息确定车辆缺陷点，并确定车辆缺陷识别结果包括第一车辆缺陷类型和车辆缺陷点，实现了关键点缺陷标签信息的后处理以及准确检测第一缺陷分类标签信息的过程，从而提高了识别的准确率。
在其中一些实施例中，车辆缺陷预测模型可以是采用HRNet高分辨率网络架构的CNN卷积神经网络构建的。
在本实施例中，车辆缺陷预测模型包含两个分支，一个是关键点检测分支，一个是车辆缺陷分类分支；通过监督学习方法对车辆缺陷预测模型进行训练，得到训练好的车辆缺陷预测模型，并将其部署在移动计算设备或者云服务器上。
以下将介绍神经网络模型的构建与训练方法，图3是根据本申请实施例的神经网络模型的构建的流程图，如图3所示，包括以下步骤：
步骤S301，创建关键点检测训练数据集，关键点检测训练数据集中车辆缺陷标签信息包括：车辆缺陷类型、车辆缺陷位置信息；其中，车辆缺陷位置信息记为KP，通常使用图像坐标点来表示，例如(KPxi,KPyi)表示第i个车辆缺陷位置。车辆缺陷类型记为C，本申请实施例的车辆缺陷类型主要包括：划痕、破损、锈蚀、剐蹭、变形、掉漆、开裂、油液渗漏等。训练数据是从车辆缺陷检测实际业务中收集而来，在实际业务中，检测师通常会对缺陷区域打上标记点及车辆缺陷类型，该标记点即为车辆缺陷标签，这样无需再额外进行数据标注。
步骤S302，创建车辆缺陷分类训练数据集，车辆缺陷分类训练数据集的标签信息包括车辆缺陷类型；车辆缺陷类型与步骤S302中的类型相同。训练数据也是从车辆缺陷检测实际业务中收集而来。
步骤S303，使用卷积神经网络CNN构建车辆缺陷预测模型。主干网络架构使用高分辨率网络架构HRNet，使用其他网络架构、损失函数替代，也能达到与本发明接近的效果；模型包含两个分支，一个是关键点检测分支，一个是车辆缺陷分类分支。对于关键点检测分支，损失函数可以使用交叉熵和平方误差结合的方式，交叉熵损失函数用于计算关键点对应的车辆缺陷类型损失，记为Lkpc，平方误差损失函数用于计算关键点位置损失，记为Lkpmse。对于车辆缺陷分类分支，损失函数可以使用交叉熵，记为Lmultic。模型的总损失函数记为Ltotal，由关键点检测分支、车辆缺陷分类分支两部分损失函数组成，具体如下：
Ltotal＝α*(Lkpc+Lkpmse)+(1-α)*Lmultic
其中，α为固定值。
步骤S304，通过监督学习方法对CNN构建的车辆缺陷预测模型完成训练。
步骤S305，将训练好的车辆缺陷预测模型部署在移动计算设备或者云服务器上。
下面通过优选实施例对本申请实施例进行描述和说明。
图4是根据本申请优选实施例的车辆缺陷识别方法的流程图。如图4所示，该车辆缺陷识别方法包括如下步骤：
步骤S401，获取待识别的车辆缺陷图像，记为I。
步骤S402，创建关键点检测训练数据集，关键点检测训练数据集的标签信息包括：车辆缺陷类型、车辆缺陷位置信息；其中，车辆缺陷位置信息记为KP，使用图像坐标点来表示，其中(KPxi，KPyi)表示第i个缺陷位置。车辆缺陷类型记为C，本申请实施例的车辆缺陷类型主要包括8类：划痕、破损、锈蚀、剐蹭、变形、掉漆、开裂、油液渗漏。训练数据是从车辆缺陷检测实际业务中收集而来。
步骤S403，创建车辆缺陷分类训练数据集，车辆缺陷分类训练数据集的标签信息包括车辆缺陷类型；车辆缺陷类型同样包括：划痕、破损、锈蚀、剐蹭、变形、掉漆、开裂、油液渗漏。训练数据也是从车辆缺陷检测实际业务中收集而来。
步骤S404，使用卷积神经网络CNN构建车辆缺陷预测模型。主干网络架构使用高分辨率网络架构HRNet，模型包含两个分支，一个是关键点检测分支，一个是车辆缺陷分类分支。对于关键点检测分支，损失函数使用交叉熵和平方误差结合的方式，交叉熵损失函数用于计算关键点对应的车辆缺陷类型损失，记为Lkpc，平方误差损失函数用于计算关键点位置损失，记为Lkpmse。对于车辆缺陷分类分支，损失函数可以使用交叉熵，记为Lmultic。模型的总损失函数记为Ltotal，由关键点检测分支、车辆缺陷分类分支两部分损失函数组成，具体如下：
Ltotal＝α*(Lkpc+Lkpmse)+(1-α)*Lmultic
其中，α为固定值，这里设置为0.5。
步骤S405，通过监督学习方法对CNN构建的车辆缺陷预测模型完成训练，并将其部署在计算机设备上。
步骤S406，利用车辆缺陷预测模型处理车辆缺陷图像，得到多个预测车辆缺陷标签信息。
步骤S407，对关键点检测分支预测的第一关键点缺陷标签信息做去重处理，即在距离当前关键点欧式距离d范围内，对于车辆缺陷类型相同的关键点，只保留概率值最高的唯一关键点。选取去重后的关键点对应的车辆缺陷类型作为目标车辆缺陷类型，记为Ckp。
步骤S408，选取车辆缺陷分类分支预测的车辆缺陷类型作为候选车辆缺陷类型，记为Ccandidate。
步骤S409，遍历目标车辆缺陷类型Ckp，如果Ccandidate中存在当前遍历的车辆缺陷类型，那么把当前遍历的车辆缺陷类型添加进车辆缺陷识别结果Cfinal，否则不添加。
步骤S410，遍历结束后，得到最终的目标车辆缺陷识别结果Cfinal。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，步骤S401与步骤S402、步骤S401与步骤S403、步骤S401与步骤S404、步骤S401与步骤S405、步骤S404与步骤S408。
本实施例还提供了一种车辆缺陷识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的车辆缺陷识别装置的结构框图，如图5所示，该装置包括：获取模块51、预测模块52、后处理模块53、检测分类模块54。
获取模块51，用于获取待识别的车辆缺陷图像。
预测模块52，与获取模块51耦合连接，用于利用车辆缺陷预测模型处理车辆缺陷图像，得到多个预测车辆缺陷标签信息，其中，预测车辆缺陷标签信息包括第一关键点缺陷标签信息和第一缺陷分类标签信息，车辆缺陷预测模型是根据第二关键点缺陷标签信息、第二缺陷分类标签信息和车辆缺陷检测到的实测车辆缺陷标签信息训练生成。
后处理模块53，与预测模块52耦合连接，用于对多个第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息。
检测分类模块54，与后处理模块53耦合连接，用于在候选车辆缺陷标签信息中检测第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果。在其中一些实施例中，第一关键点缺陷标签信息包括缺陷类型信息和关键点缺陷标签，后处理模块53用于在多个第一关键点缺陷标签信息的关键点缺陷标签中选取至少一个第一关键点缺陷标签；选取与至少一个第一关键点缺陷标签的类型相似度在预设阈值范围内的多个关键点缺陷标签，得到侯选车辆缺陷标签，其中，类型相似度根据缺陷类型信息确定；根据候选车辆缺陷标签和与候选车辆缺陷标签对应的缺陷类型信息，生成候选车辆缺陷标签信息。
在其中一些实施例中，类型相似度是以欧式距离确定的，后处理模块53用于计算多个第一关键点缺陷标签信息的关键点缺陷标签与至少一个第一关键点缺陷标签的欧式距离；将与至少一个第一关键点缺陷标签的欧式距离最小的多个关键点缺陷标签作为候选车辆缺陷标签。
在其中一些实施例中，检测分类模块54用于遍历候选车辆缺陷标签信息的多个第三车辆缺陷标签信息；将第三车辆缺陷标签信息与多个第一缺陷分类标签信息进行匹配，得到匹配结果；在匹配到第一缺陷分类标签信息的情况下，确定车辆缺陷识别结果包括第三车辆缺陷标签信息。
在其中一些实施例中，第三车辆缺陷标签信息包括第一车辆缺陷类型，第一缺陷分类标签信息包括第二车辆缺陷类型，检测分类模块54用于将第三车辆缺陷标签信息的第一车辆缺陷类型与第一缺陷分类标签信息的第二车辆缺陷类型进行匹配。
在其中一些实施例中，第三车辆缺陷标签信息还包括车辆缺陷位置信息，检测分类模块54用于在匹配到第一缺陷分类标签信息的情况下，读取第三车辆缺陷标签信息的车辆缺陷位置信息；根据车辆缺陷位置信息确定车辆缺陷点，并确定车辆缺陷识别结果包括第一车辆缺陷类型和车辆缺陷点。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取待识别的车辆缺陷图像。
S2，利用车辆缺陷预测模型处理车辆缺陷图像，得到多个预测车辆缺陷标签信息，其中，预测车辆缺陷标签信息包括第一关键点缺陷标签信息和第一缺陷分类标签信息，车辆缺陷预测模型是根据第二关键点缺陷标签信息、第二缺陷分类标签信息和车辆缺陷检测到的实测车辆缺陷标签信息训练生成。
S3，对多个第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息。
S4，在候选车辆缺陷标签信息中检测第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的车辆缺识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种车辆缺陷识别方法。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆缺陷识别方法，其特征在于，包括：
获取待识别的车辆缺陷图像；
利用车辆缺陷预测模型处理所述车辆缺陷图像，得到多个预测车辆缺陷标签信息，其中，所述预测车辆缺陷标签信息包括第一关键点缺陷标签信息和第一缺陷分类标签信息，所述车辆缺陷预测模型是根据第二关键点缺陷标签信息、第二缺陷分类标签信息和车辆缺陷检测到的实测车辆缺陷标签信息训练生成；
对多个所述第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息；
在所述候选车辆缺陷标签信息中检测所述第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果。
2.根据权利要求1所述的车辆缺陷识别方法，其特征在于，所述第一关键点缺陷标签信息包括缺陷类型信息和关键点缺陷标签，对多个所述第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息包括：
在多个所述第一关键点缺陷标签信息的所述关键点缺陷标签中选取至少一个第一关键点缺陷标签；
选取与所述至少一个第一关键点缺陷标签的类型相似度在预设阈值范围内的多个所述关键点缺陷标签，得到侯选车辆缺陷标签，其中，所述类型相似度根据所述缺陷类型信息确定；
根据所述候选车辆缺陷标签和与所述候选车辆缺陷标签对应的所述缺陷类型信息，生成所述候选车辆缺陷标签信息。
3.根据权利要求2所述的车辆缺陷识别方法，其特征在于，所述类型相似度是以欧式距离确定的，选取与所述至少一个第一关键点缺陷标签的类型相似度在预设阈值范围内的多个所述关键点缺陷标签，得到候选车辆缺陷标签包括：
计算多个所述第一关键点缺陷标签信息的所述关键点缺陷标签与所述至少一个第一关键点缺陷标签的欧式距离；
将与所述至少一个第一关键点缺陷标签的欧式距离最小的多个所述关键点缺陷标签作为所述候选车辆缺陷标签。
4.根据权利要求1所述的车辆缺陷识别方法，其特征在于，在所述候选车辆缺陷标签信息中检测所述第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果包括：
遍历所述候选车辆缺陷标签信息的多个第三车辆缺陷标签信息；
将所述第三车辆缺陷标签信息与多个所述第一缺陷分类标签信息进行匹配，得到匹配结果；
在匹配到所述第一缺陷分类标签信息的情况下，确定所述车辆缺陷识别结果包括所述第三车辆缺陷标签信息。
5.根据权利要求4所述的车辆缺陷识别方法，其特征在于，所述第三车辆缺陷标签信息包括第一车辆缺陷类型，所述第一缺陷分类标签信息包括第二车辆缺陷类型，将所述第三车辆缺陷标签信息与多个所述第一缺陷分类标签信息进行匹配包括：将所述第三车辆缺陷标签信息的第一车辆缺陷类型与所述第一缺陷分类标签信息的第二车辆缺陷类型进行匹配。
6.根据权利要求5所述的车辆缺陷识别方法，其特征在于，所述第三车辆缺陷标签信息还包括车辆缺陷位置信息，根据检测结果确定车辆缺陷识别结果包括：
在匹配到所述第一缺陷分类标签信息的情况下，读取所述第三车辆缺陷标签信息的所述车辆缺陷位置信息；
根据所述车辆缺陷位置信息确定车辆缺陷点，并确定所述车辆缺陷识别结果包括所述第一车辆缺陷类型和所述车辆缺陷点。
7.根据权利要求1所述的车辆缺陷识别方法，其特征在于，所述车辆缺陷预测模型是采用HRNet网络架构的CNN卷积神经网络构建的。
8.一种车辆缺陷识别装置，其特征在于，包括：
获取模块，用于获取待识别的车辆缺陷图像；
预测模块，用于利用车辆缺陷预测模型处理所述车辆缺陷图像，得到多个预测车辆缺陷标签信息，其中，所述预测车辆缺陷标签信息包括第一关键点缺陷标签信息和第一缺陷分类标签信息，所述车辆缺陷预测模型是根据第二关键点缺陷标签信息、第二缺陷分类标签信息和车辆缺陷检测到的实测车辆缺陷标签信息训练生成；
后处理模块，用于对多个所述第一关键点缺陷标签信息进行后处理，生成候选车辆缺陷标签信息；
检测分类模块，用于在所述候选车辆缺陷标签信息中检测所述第一缺陷分类标签信息，并根据检测结果确定车辆缺陷识别结果。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的车辆缺陷识别方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的车辆缺陷识别方法。
CN202011567961.2A 2020-12-25 2020-12-25 车辆缺陷识别方法、装置、电子装置和存储介质 Pending CN112651941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011567961.2A CN112651941A (zh) 2020-12-25 2020-12-25 车辆缺陷识别方法、装置、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011567961.2A CN112651941A (zh) 2020-12-25 2020-12-25 车辆缺陷识别方法、装置、电子装置和存储介质

Publications (1)

Publication Number Publication Date
CN112651941A true CN112651941A (zh) 2021-04-13

Family

ID=75363318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011567961.2A Pending CN112651941A (zh) 2020-12-25 2020-12-25 车辆缺陷识别方法、装置、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN112651941A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272504A (zh) * 2018-10-17 2019-01-25 广汽丰田汽车有限公司 车辆凹凸缺陷的检测、追溯方法、装置及系统
CN109949305A (zh) * 2019-03-29 2019-06-28 北京百度网讯科技有限公司 产品表面缺陷检测方法、装置及计算机设备
CN110335238A (zh) * 2019-05-08 2019-10-15 吉林大学 一种深度学习的汽车漆膜缺陷识别系统构建方法
CN110473197A (zh) * 2019-08-13 2019-11-19 树根互联技术有限公司 材料表面缺陷检测方法、装置、设备及存储介质
WO2020211823A1 (zh) * 2019-04-18 2020-10-22 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN111833306A (zh) * 2020-06-12 2020-10-27 北京百度网讯科技有限公司 缺陷检测方法和用于缺陷检测的模型训练方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272504A (zh) * 2018-10-17 2019-01-25 广汽丰田汽车有限公司 车辆凹凸缺陷的检测、追溯方法、装置及系统
CN109949305A (zh) * 2019-03-29 2019-06-28 北京百度网讯科技有限公司 产品表面缺陷检测方法、装置及计算机设备
WO2020211823A1 (zh) * 2019-04-18 2020-10-22 杭州海康威视数字技术股份有限公司 模型训练方法、装置及缺陷检测方法、装置
CN110335238A (zh) * 2019-05-08 2019-10-15 吉林大学 一种深度学习的汽车漆膜缺陷识别系统构建方法
CN110473197A (zh) * 2019-08-13 2019-11-19 树根互联技术有限公司 材料表面缺陷检测方法、装置、设备及存储介质
CN111833306A (zh) * 2020-06-12 2020-10-27 北京百度网讯科技有限公司 缺陷检测方法和用于缺陷检测的模型训练方法

Similar Documents

Publication Publication Date Title
US11069048B2 (en) System and method for facilitating efficient damage assessments
CN107392218B (zh) 一种基于图像的车辆定损方法、装置及电子设备
CN109003390B (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
CN109753928B (zh) 违章建筑物识别方法和装置
CN108364253A (zh) 车辆定损方法、系统以及电子设备
CN110688902B (zh) 一种检测停车位内车辆区域的方法及装置
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN112258507B (zh) 互联网数据中心的目标对象检测方法、装置和电子设备
CN112183367B (zh) 车辆数据检错方法、装置、服务器及存储介质
CN111383246B (zh) 条幅检测方法、装置及设备
CN112465866A (zh) 多目标轨迹获取方法、装置、系统及存储介质
WO2020051545A1 (en) Method and computer-readable storage medium for generating training samples for training a target detector
JP2017102672A (ja) 地理位置情報特定システム及び地理位置情報特定方法
CN109635797A (zh) 基于多载体识别技术的钢卷顺序精准定位方法
CN108629310B (zh) 一种工程管理监督方法及装置
CN116563841B (zh) 配电网设备标识牌的检测方法、检测装置和电子设备
CN109903308B (zh) 用于获取信息的方法及装置
CN112651941A (zh) 车辆缺陷识别方法、装置、电子装置和存储介质
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN112927194A (zh) 设计图纸与实物的自动核对方法及系统
CN111738259A (zh) 一种杆塔状态检测方法及装置
CN111626313B (zh) 一种特征提取模型训练方法、图像处理方法及装置
CN116645612A (zh) 一种森林资源资产确定方法及系统
CN113361341A (zh) 行李再识别方法、装置、设备及可读存储介质
CN117542004B (zh) 近海人船拟合方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination