CN109670545B - 由粗到细的车辆图像定损方法 - Google Patents

由粗到细的车辆图像定损方法 Download PDF

Info

Publication number
CN109670545B
CN109670545B CN201811528155.7A CN201811528155A CN109670545B CN 109670545 B CN109670545 B CN 109670545B CN 201811528155 A CN201811528155 A CN 201811528155A CN 109670545 B CN109670545 B CN 109670545B
Authority
CN
China
Prior art keywords
damage
image
maintenance
deep learning
damaged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811528155.7A
Other languages
English (en)
Other versions
CN109670545A (zh
Inventor
程素娜
黄贤俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenzhi Hengji Technology Co ltd
Original Assignee
Beijing Shenzhi Hengji Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenzhi Hengji Technology Co ltd filed Critical Beijing Shenzhi Hengji Technology Co ltd
Priority to CN201811528155.7A priority Critical patent/CN109670545B/zh
Publication of CN109670545A publication Critical patent/CN109670545A/zh
Application granted granted Critical
Publication of CN109670545B publication Critical patent/CN109670545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种由粗到细的车辆图像定损方法，包括：利用深度学习分类算法对损伤区域图像进行有伤无伤二分类，将损伤区域图像分为有伤图像和无伤图像；利用深度学习分类算法对有伤图像进行粗分类，以将有伤图像分为喷漆、钣金和更换三个维修类别；利用深度学习分类算法对不同维修类别的损伤区域图像进行细分，以确定对应维修类别的损伤类型。通过本发明的技术方案，降低了损伤类型细分环节的错误率，提升了车辆外观图片损伤识别系统的识别精度，使得识别的结果更为可靠。

Description

由粗到细的车辆图像定损方法
技术领域
本发明涉及车辆定损技术领域，尤其涉及一种由粗到细的车辆图像定损方法。
背景技术
在车辆外观图片损伤识别系统中，首先需要对子部件图片进行损伤检测，其次对损伤区域图像进行损伤类型及损伤程度进行精确识别，其中子部件的损伤类型一般包括刮擦、轻凹、中凹、重凹、划痕和划痕扩损，但是由于车辆的图片都是在自然非受控环境下进行采集，因此会受到光照、角度、倒影、背景干扰的影响，因此损伤检测环节会出现一部分误检，即非有伤区域被认为有伤区域，这会对后续的损伤类型和损伤程度识别造成一定的影响。
此外，由于视角变化、尺度变化、形变、光照条件和背景干扰通常会导致待分类的图像类内差异大于类间差异，导致分类问题变得困难，基于深度学习的分类方法可以通过数据增强等技术从大量的数据中自动学到数据最本质的特征，而非采用手工设计的特征，从而极大地提高了图像分类任务的准确率。
而在事故车辆定损场景下，拍摄图片的要求比较高，由于个人拍摄习惯的差异以及自然环境的干扰，导致拍摄的图片存在很大的干扰，模型在训练阶段并没有学习过这些特征，因此在进行识别的时候会出现较高的误检。由于检测阶段会引入大量的误检，如果直接对检测模型认为有伤的图像进行损伤类型的直接判断，会导致损伤分类阶段误差累计，造成更大的误分类。
发明内容
针对上述问题中的至少之一，本发明提供了一种由粗到细的车辆图像定损方法，通过在损伤类型细分之前，通过有伤无伤二分类过滤掉一部分误检图像，降低损伤类型细分环节的错误率，通过由粗到细的分类策略，将喷漆、钣金、更换几个维修类别进行区分，进而在每个子类下边进行损伤类型的细分，降低了损伤类型之间的互相混淆，将问题逐步拆解，从而提升车辆外观图片损伤识别系统的识别精度，使得识别的结果更为可靠。
为实现上述目的，本发明提供了一种由粗到细的车辆图像定损方法，包括：利用深度学习分类算法对损伤区域图像进行有伤无伤二分类，将所述损伤区域图像分为有伤图像和无伤图像；利用深度学习分类算法对所述有伤图像进行粗分类，以将所述有伤图像分为喷漆、钣金和更换三个维修类别；利用深度学习分类算法对不同维修类别的损伤区域图像进行细分，以确定对应所述维修类别的损伤类型。
在上述技术方案中，优选地，所述利用深度学习分类算法对损伤区域图像进行有伤无伤二分类并将所述损伤区域图像分为有伤图像和无伤图像具体包括：利用通用分类算法输出所述损伤区域图像的识别类别和置信度；利用卷积神经网络算法对网络学习的特征进行热力图可视化；利用深度学习算法构建有伤无伤二分类模型，利用所述有伤无伤二分类模型结合所述识别类别、置信度和热力图判断所述损伤区域图像是否有伤；若判断无伤则确定所述损伤区域图像为无伤图像，并将所述无伤图像过滤掉，若判断有伤则确定所述损伤区域图像为有伤图像。
在上述技术方案中，优选地，所述利用深度学习分类算法对所述有伤图像进行粗分类并将所述有伤图像分为喷漆、钣金和更换三个维修类别具体包括：利用深度学习算法构建维修分类模型，利用所述维修分类模型对所述有伤图像进行粗分类，以将所述有伤图像分为喷漆、钣金和更换三个维修类别。
在上述技术方案中，优选地，所述利用深度学习分类算法对不同维修类别的损伤区域图像进行细分，以确定对应所述维修类别的损伤类型具体包括：对训练样本进行数据增强以增加样本的丰富性；利用深度学习方法构建损伤分类模型，并利用损伤分类模型对所述损伤区域图像进行损伤类型细分，同时引入混淆矩阵对损伤类型的细分结果进行全面分析；对每个维修类别的样本加入难例图像以调整样本结构，并对对应维修类别的损伤类别进行分析并将所述损伤类型输出。
在上述技术方案中，优选地，三个维修类别的损伤类型分别为：所述喷漆维修类别包括刮擦、划痕和扩损三个损伤类型，所述钣金维修类别包括轻凹和中凹两个损伤类型，所述更换维修类别包括重凹和撕裂两个损伤类型。
在上述技术方案中，优选地，所述通用分类算法包括VGG、ResNet和Inception，所述深度学习算法包括Grad_cam、Inception、VGG和GoogleNet。
在上述技术方案中，优选地，所述热力图中颜色越深的图像部分为神经元激活越多的图像部分，即为损伤较重的部分。
与现有技术相比，本发明的有益效果为：通过在损伤类型细分之前，利用有伤无伤二分类过滤掉一部分误检图像，降低了损伤类型细分环节的错误率，通过由粗到细的分类策略，将喷漆、钣金、更换几个维修类别进行区分，进而在每个子类下边进行损伤类型的细分，降低了损伤类型之间的互相混淆，将问题逐步拆解，从而提升车辆外观图片损伤识别系统的识别精度，使得识别的结果更为可靠。
附图说明
图1为本发明一种实施例公开的由粗到细的车辆图像定损方法的流程示意框图；
图2为本发明一种实施例公开的由粗到细的车辆图像定损方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1和图2所示，根据本发明提供的一种由粗到细的车辆图像定损方法，包括：利用深度学习分类算法对损伤区域图像进行有伤无伤二分类，将损伤区域图像分为有伤图像和无伤图像；利用深度学习分类算法对有伤图像进行粗分类，以将有伤图像分为喷漆、钣金和更换三个维修类别；利用深度学习分类算法对不同维修类别的损伤区域图像进行细分，以确定对应维修类别的损伤类型。
在该实施例中，通过在损伤类型细分之前，利用有伤无伤二分类过滤掉一部分误检图像，降低了损伤类型细分环节的错误率，通过由粗到细的分类策略，将喷漆、钣金、更换几个维修类别进行区分，进而在每个子类下边进行损伤类型的细分，降低了损伤类型之间的互相混淆，将问题逐步拆解，从而提升了车辆外观图片损伤识别系统的识别精度，使得识别的结果更为可靠。
在上述实施例中，优选地，利用深度学习分类算法对损伤区域图像进行有伤无伤二分类并将损伤区域图像分为有伤图像和无伤图像具体包括：采用通用的分类算法和添加attention机制的分类算法对损伤图像进行有伤无伤二分类；利用通用分类算法输出损伤区域图像的识别类别和置信度，优选地，基础算法都采用ResNet V2 50，网络的输出包含识别类别和置信度；利用卷积神经网络算法对网络学习的特征进行热力图可视化，优选地，对网络学习特征进行热力图可视化采用Grad_cam算法；利用深度学习算法构建有伤无伤二分类模型，利用有伤无伤二分类模型结合识别类别、置信度和热力图判断损伤区域图像是否有伤；若判断无伤则确定损伤区域图像为无伤图像，并将无伤图像过滤掉，若判断有伤则确定损伤区域图像为有伤图像。在有伤无伤二分类部分和损伤类型细分类别部分，还可以通过调整训练样本的分布，对训练样本进行增强，从而提高识别效果。
在上述实施例中，优选地，利用深度学习分类算法对有伤图像进行粗分类并将有伤图像分为喷漆、钣金和更换三个维修类别具体包括：利用深度学习算法构建维修分类模型，利用维修分类模型对有伤图像进行粗分类，以将有伤图像分为喷漆、钣金和更换三个维修类别。该部分对维修类别的分类同样采用基于深度学习的分类方法进行粗分类，这里可以采用比较通用的分类算法，如VGG、ResNet、Inception等。
在上述实施例中，优选地，利用深度学习分类算法对不同维修类别的损伤区域图像进行细分，以确定对应维修类别的损伤类型具体包括：对训练样本进行数据增强以增加样本的丰富性；利用深度学习方法构建损伤分类模型，并利用损伤分类模型对损伤区域图像进行损伤类型细分，同时引入混淆矩阵对损伤类型的细分结果进行全面分析；对每个维修类别的样本加入难例图像以调整样本结构，并对对应维修类别的损伤类别进行分析并将损伤类型输出。其中，难例图像为比较容易混淆的图像。
在上述实施例中，优选地，三个维修类别的损伤类型分别为：喷漆维修类别包括刮擦、划痕和扩损三个损伤类型，钣金维修类别包括轻凹和中凹两个损伤类型，更换维修类别包括重凹和撕裂两个损伤类型。
在上述实施例中，优选地，通用分类算法包括VGG、ResNet和Inception，深度学习算法包括Grad_cam、Inception、VGG和GoogleNet，对于损伤检测环节，还可以采用比较通用的目标检测算法，如Faster RCNN、SSD、YOLO等。
在上述实施例中，优选地，热力图中颜色越深的图像部分为神经元激活越多的图像部分，即为损伤较重的部分。
以上所述为本发明的实施方式，根据本发明提出的由粗到细的车辆图像定损方法，通过在损伤类型细分之前，利用有伤无伤二分类过滤掉一部分误检图像，降低损伤类型细分环节的错误率，通过由粗到细的分类策略，将喷漆、钣金、更换几个维修类别进行区分，进而在每个子类下边进行损伤类型的细分，降低了损伤类型之间的互相混淆，将问题逐步拆解，从而提升车辆外观图片损伤识别系统的识别精度，使得识别的结果更为可靠。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种由粗到细的车辆图像定损方法，其特征在于，包括：
利用深度学习分类算法对损伤区域图像进行有伤无伤二分类，将所述损伤区域图像分为有伤图像和无伤图像，具体包括：
利用通用分类算法输出所述损伤区域图像的识别类别和置信度；
利用卷积神经网络算法对网络学习的特征进行热力图可视化；
利用深度学习算法构建有伤无伤二分类模型，利用所述有伤无伤二分类模型结合所述识别类别、置信度和热力图判断所述损伤区域图像是否有伤；
若判断无伤则确定所述损伤区域图像为无伤图像，并将所述无伤图像过滤掉，若判断有伤则确定所述损伤区域图像为有伤图像；
利用深度学习分类算法构建维修分类模型，利用所述维修分类模型对所述有伤图像进行粗分类，以将所述有伤图像分为喷漆、钣金和更换三个维修类别；
利用深度学习分类算法对不同维修类别的损伤区域图像进行细分，以确定对应所述维修类别的损伤类型，具体包括：
对训练样本进行数据增强以增加样本的丰富性；
利用深度学习方法构建损伤分类模型，并利用损伤分类模型对所述损伤区域图像进行损伤类型细分，同时引入混淆矩阵对损伤类型的细分结果进行全面分析；
对每个维修类别的样本加入难例图像以调整样本结构，并对对应维修类别的损伤类别进行分析并将所述损伤类型输出。
2.根据权利要求1所述的由粗到细的车辆图像定损方法，其特征在于，三个维修类别的损伤类型分别为：
所述喷漆维修类别包括刮擦、划痕和扩损三个损伤类型，所述钣金维修类别包括轻凹和中凹两个损伤类型，所述更换维修类别包括重凹和撕裂两个损伤类型。
3.根据权利要求1所述的由粗到细的车辆图像定损方法，其特征在于，所述通用分类算法包括VGG、ResNet和Inception，所述深度学习算法包括Grad_cam、Inception、VGG和GoogleNet。
4.根据权利要求1所述的由粗到细的车辆图像定损方法，其特征在于，所述热力图中颜色越深的图像部分为神经元激活越多的图像部分，即为损伤较重的部分。
CN201811528155.7A 2018-12-13 2018-12-13 由粗到细的车辆图像定损方法 Active CN109670545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811528155.7A CN109670545B (zh) 2018-12-13 2018-12-13 由粗到细的车辆图像定损方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811528155.7A CN109670545B (zh) 2018-12-13 2018-12-13 由粗到细的车辆图像定损方法

Publications (2)

Publication Number Publication Date
CN109670545A CN109670545A (zh) 2019-04-23
CN109670545B true CN109670545B (zh) 2023-08-11

Family

ID=66143986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811528155.7A Active CN109670545B (zh) 2018-12-13 2018-12-13 由粗到细的车辆图像定损方法

Country Status (1)

Country Link
CN (1) CN109670545B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046858B (zh) * 2020-03-18 2020-09-08 成都大熊猫繁育研究基地 一种基于图像的动物物种细分类方法、系统及介质
CN112465018B (zh) * 2020-11-26 2024-02-02 深源恒际科技有限公司 一种基于深度学习的车辆视频定损系统的智能截图方法及系统
CN112785561A (zh) * 2021-01-07 2021-05-11 天津狮拓信息技术有限公司 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法
CN112818805B (zh) * 2021-01-26 2023-08-01 四川天翼网络股份有限公司 一种基于特征融合的细粒度车辆属性分析系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092922A (zh) * 2017-03-13 2017-08-25 平安科技（深圳）有限公司 车损识别方法及服务器
CN107392218A (zh) * 2017-04-11 2017-11-24 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107403424A (zh) * 2017-04-11 2017-11-28 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
WO2018055340A1 (en) * 2016-09-21 2018-03-29 Emergent Network Intelligence Ltd Automatic image based object damage assessment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018055340A1 (en) * 2016-09-21 2018-03-29 Emergent Network Intelligence Ltd Automatic image based object damage assessment
CN107092922A (zh) * 2017-03-13 2017-08-25 平安科技（深圳）有限公司 车损识别方法及服务器
CN107392218A (zh) * 2017-04-11 2017-11-24 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107403424A (zh) * 2017-04-11 2017-11-28 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization;Ramprasaath R. Selvaraju 等;《2017 IEEE International Conference on Computer Vision》;20171029;第1-24页 *

Also Published As

Publication number Publication date
CN109670545A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109670545B (zh) 由粗到细的车辆图像定损方法
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
US10565479B1 (en) Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
US20240087102A1 (en) Automatic Image Based Object Damage Assessment
CN110569837B (zh) 优化损伤检测结果的方法及装置
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN111563893B (zh) 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN108885700A (zh) 数据集半自动标记
JP7147974B2 (ja) 金属組織の相の分類方法、金属組織の相の分類装置、金属材料の材料特性予測方法および金属材料の材料特性予測装置
CN107590512B (zh) 一种模板匹配中参数的自适应方法和系统
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN112184667A (zh) 缺陷检测、修复方法、装置以及存储介质
CN112036384B (zh) 精子头部形态识别方法、装置及设备
CN111191604A (zh) 检测车牌完整性的方法、设备和存储介质
CN114723945A (zh) 车损检测方法和装置、电子设备及存储介质
CN111524121A (zh) 一种基于机器视觉技术的路桥病害自动检测方法
TWI696958B (zh) 影像適應性特徵提取法及其應用
CN110852318A (zh) 一种排水管道缺陷精准定位方法及系统
CN114140025A (zh) 面向多模态数据的车险欺诈行为预测系统、方法和装置
CN115984786A (zh) 车辆损伤检测方法及装置、终端、存储介质
CN116030300A (zh) 一种用于零样本sar目标识别的渐进式域自适应识别方法
EP2750081B1 (en) A method for vehicle identification and a system for vehicle identification
CN108960181A (zh) 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法
CN115641575A (zh) 一种基于稀疏候选框的叶蝉科农业害虫检测方法
CN111815613B (zh) 一种基于包膜线形态特征分析的肝硬化疾病分期识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100085 Room 203, 2 / F, building 6, Xisanqi East Road, Qinghe, Haidian District, Beijing

Applicant after: Beijing Shenzhi Hengji Technology Co.,Ltd.

Address before: 0706-003, 113 Zhichun Road, Haidian District, Beijing 100086

Applicant before: SHENYUAN HENGJI TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant