CN111667011B - 损伤检测模型训练、车损检测方法、装置、设备及介质 - Google Patents

损伤检测模型训练、车损检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN111667011B
CN111667011B CN202010514057.9A CN202010514057A CN111667011B CN 111667011 B CN111667011 B CN 111667011B CN 202010514057 A CN202010514057 A CN 202010514057A CN 111667011 B CN111667011 B CN 111667011B
Authority
CN
China
Prior art keywords
damage
mask
sample image
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010514057.9A
Other languages
English (en)
Other versions
CN111667011A (zh
Inventor
康甲
刘莉红
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010514057.9A priority Critical patent/CN111667011B/zh
Publication of CN111667011A publication Critical patent/CN111667011A/zh
Priority to PCT/CN2020/120757 priority patent/WO2021135499A1/zh
Application granted granted Critical
Publication of CN111667011B publication Critical patent/CN111667011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能，提供一种损伤检测模型训练、车损检测方法、装置、设备及介质，方法包括：将获取的损伤样本图像输入含有第一参数的损伤检测模型，通过提取损伤特征并生成中间卷积特征图；将中间卷积特征图输入含有第二参数的掩码预测分支模型；通过损伤检测模型根据损伤特征输出训练结果，通过掩码预测分支模型获取掩码结果；通过第一损失模型得到第一损失值，同时通过第二损失模型得到第二损失值；获取总损失值；在总损失值未达到收敛条件时，迭代更新第一参数和第二参数，直至总损失值达到收敛条件得到训练完成的损伤检测模型。本发明实现快速识别损伤类型和损伤区域。本发明还涉及区块链技术，本发明中的损伤样本图像可存储于区块链中。

Description

损伤检测模型训练、车损检测方法、装置、设备及介质
技术领域
本发明涉及人工智能的分类模型领域，尤其涉及一种损伤检测模型训练、车损检测方法、装置、计算机设备及存储介质。
背景技术
在车辆发生交通事故后，车辆的某些部位会留下破损、刮伤等损伤的痕迹，目前，保险公司一般是人工识别由车主或业务人员拍摄的交通事故之后的车辆损伤的图像，即对图像中车辆的损伤部位的损伤类型及损伤区域进行人工识别并判定，如此，可能由于存在标准理解不一、观察经验不足等影响，导致人工识别的损伤类型及损伤区域不符；例如：由于凹陷和刮擦难以通过目测图像加以分辨，定损人员很容易就将凹陷的损伤类型确定为刮擦的损伤类型，上述情况下导致的定损失误，会大大降低了定损的准确性；在可能会导致保险公司的成本损失的同时，也会降低车主或客户的满意度；此外，人工定损的工作量巨大，定损效率低下，在需要满足一定的定损准确度的情况下，会进一步提升工作量，降低工作效率。
发明内容
本发明提供一种损伤检测模型训练、车损检测方法、装置、计算机设备及存储介质，实现了准确地、快速地识别出包含的损伤位置的图像中的损伤类型和损伤区域，提升了对定损类型和定损区域进行确定的准确率及可靠性，减少了成本，提高了训练效率。
一种损伤检测模型训练方法，包括：
获取损伤样本集；所述损伤样本集包括损伤样本图像，一个所述损伤样本图像与一个损伤标签组关联；所述损伤标签组包括至少一个损伤标签类型、与所述损伤标签类型对应的掩码标注图和至少一个矩形框区域；
将所述损伤样本图像输入含有第一参数的损伤检测模型，通过所述损伤检测模型提取所述损伤样本图像中的损伤特征并生成中间卷积特征图；所述损伤检测模型为基于YOLOV3模型构架的深度卷积神经网络模型；
将所述中间卷积特征图输入含有第二参数的掩码预测分支模型；
通过所述损伤检测模型根据所述损伤特征输出训练结果，同时通过所述掩码预测分支模型获取掩码结果；所述训练结果包括至少一个样本损伤类型和至少一个样本损伤矩形区域；所述掩码结果为根据自所述中间卷积特征图中提取的损伤掩码特征获取并输出，所述掩码结果包括至少一个掩码损伤类型和与所述掩码损伤类型对应的掩码张量图；
将所述损伤样本图像的所有所述损伤标签类型、所有所述矩形框区域、所有所述样本损伤类型和所有所述样本损伤矩形区域输入第一损失模型，得到第一损失值，同时将所述损伤样本图像的所有所述损伤标签类型、所有所述掩码标注图、所有所述掩码损伤类型和所有所述掩码张量图输入第二损失模型，得到第二损失值；
根据所述第一损失值和所述第二损失值，确定总损失值；
在所述总损失值未达到预设的收敛条件时，迭代更新所述损伤检测模型的第一参数和所述掩码预测分支模型的第二参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型；
所述获取损伤样本集之前，包括：
获取样本图像和公开数据图像；所述样本图像为拍摄的含有损伤位置的图像，所述公开数据图像为KITTI数据集中随机抽取的图像；所述公开数据图像的尺寸大小通过resize方式转换成与所述样本图像的尺寸大小相同；
通过mixup方法，将所述样本图像与所述公开数据图像进行融合处理，得到融合样本图像；所述mixup方法为将所述样本图像中的每个像素值与所述公开数据图像中的对应的像素值通过预设的比例进行加权处理以及进行融合处理的方法；
将所述融合样本图像确定为所述样本图像对应的损伤样本图像，并将所述损伤样本图像存储在区块链中。
一种车损检测方法，包括：
接收到车损检测指令，获取车损图像；
将所述车损图像输入如上述损伤检测模型训练方法训练完成的损伤检测模型，通过所述损伤检测模型提取损伤特征，获取所述损伤检测模型根据所述损伤特征输出的最终结果；所述最终结果包括损伤类型和损伤区域，所述最终结果表征了所述车损图像中的所有损伤位置的损伤类型和损伤区域。
一种损伤检测模型训练装置，包括：
获取模块，用于获取损伤样本集；所述损伤样本集包括损伤样本图像，一个所述损伤样本图像与一个损伤标签组关联；所述损伤标签组包括至少一个损伤标签类型、与所述损伤标签类型对应的掩码标注图和至少一个矩形框区域；
输入模块，用于将所述损伤样本图像输入含有第一参数的损伤检测模型，通过所述损伤检测模型提取所述损伤样本图像中的损伤特征并生成中间卷积特征图；所述损伤检测模型为基于YOLOV3模型构架的深度卷积神经网络模型；
分支模块，用于将所述中间卷积特征图输入含有第二参数的掩码预测分支模型；
输出模块，用于通过所述损伤检测模型根据所述损伤特征输出训练结果，同时通过所述掩码预测分支模型获取掩码结果；所述训练结果包括至少一个样本损伤类型和至少一个样本损伤矩形区域；所述掩码结果为根据自所述中间卷积特征图中提取的损伤掩码特征获取并输出，所述掩码结果包括至少一个掩码损伤类型和与所述掩码损伤类型对应的掩码张量图；
损失模块，用于将所述损伤样本图像的所有所述损伤标签类型、所有所述矩形框区域、所有所述样本损伤类型和所有所述样本损伤矩形区域输入第一损失模型，得到第一损失值，同时将所述损伤样本图像的所有所述损伤标签类型、所有所述掩码标注图、所有所述掩码损伤类型和所有所述掩码张量图输入第二损失模型，得到第二损失值；
确定模块，用于根据所述第一损失值和所述第二损失值，确定总损失值；
收敛模块，用于在所述总损失值未达到预设的收敛条件时，迭代更新所述损伤检测模型的第一参数和所述掩码预测分支模型的第二参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型；
所述获取模块包括：
获取单元，用于获取样本图像和公开数据图像；所述样本图像为拍摄的含有损伤位置的图像，所述公开数据图像为KITTI数据集中随机抽取的图像；所述公开数据图像的尺寸大小通过resize方式转换成与所述样本图像的尺寸大小相同；
融合单元，用于通过mixup方法，将所述样本图像与所述公开数据图像进行融合处理，得到融合样本图像；所述mixup方法为将所述样本图像中的每个像素值与所述公开数据图像中的对应的像素值通过预设的比例进行加权处理以及进行融合处理的方法；
确定单元，用于将所述融合样本图像确定为所述样本图像对应的损伤样本图像，并将所述损伤样本图像存储在区块链中。
一种车损检测装置，包括：
接收模块，用于接收到车损检测指令，获取车损图像；
检测模块，用于将所述车损图像输入如上述损伤检测模型训练方法训练完成的损伤检测模型，通过所述损伤检测模型提取损伤特征，获取所述损伤检测模型根据所述损伤特征输出的最终结果；所述最终结果包括损伤类型和损伤区域，所述最终结果表征了所述车损图像中的所有损伤位置的损伤类型和损伤区域。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述损伤检测模型训练方法的步骤，或者所述处理器执行所述计算机程序时实现上述车损检测方法的步骤。
一种计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述车损检测方法的步骤。
本发明提供的损伤检测模型训练方法、装置、计算机设备及存储介质，通过获取含有损伤标签组的损伤样本图像，对基于YOLOV3模型架构的损伤检测模型进行训练，提取所述损伤样本图像的损伤特征并得到训练结果和中间卷积特征图，通过所述掩码预测分支模型对所述中间卷积特征图进行损伤掩码特征的提取，得到掩码结果，根据损伤标签组、训练结果和掩码结果，确定总损失值，通过判断所述总损失值是否达到预设的收敛条件，不断迭代训练损伤检测模型，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型，因此，提供了一种模型训练方法，通过增加掩码预测分支模型进行训练能够减少样本收集数量及提升了识别准确性和可靠性，实现了准确地、快速地识别出包含的损伤位置的图像中的损伤类型和损伤区域，提升了对定损类型和定损区域进行确定的准确率及可靠性，减少了成本，提高了训练效率。
本发明提供的车损检测方法、装置、计算机设备及存储介质，通过获取车损图像，将所述车损图像输入上述训练完成的损伤检测模型，通过所述损伤检测模型提取损伤特征，获取所述损伤检测模型根据所述损伤特征输出的包含有损伤类型和损伤区域的最终结果；所述最终结果表征了所述车损图像中的所有损伤位置的损伤类型和损伤区域，如此，提高了识别速度，从而提高了识别效率，减少了成本，提高了客户满意度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中损伤检测模型训练方法或车损检测方法的应用环境示意图；
图2是本发明一实施例中损伤检测模型训练方法的流程图；
图3是本发明一实施例中损伤检测模型训练方法的步骤S10的流程图；
图4是本发明一实施例中损伤检测模型训练方法的步骤S40的流程图；
图5是本发明一实施例中损伤检测模型训练方法的步骤S401的流程图；
图6是本发明一实施例中车损检测方法的流程图；
图7是本发明一实施例中损伤检测模型训练装置的原理框图；
图8是本发明一实施例中车损检测装置的原理框图；
图9是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的损伤检测模型训练方法，可应用在如图1的应用环境中，其中，客户端（计算机设备）通过网络与服务器进行通信。其中，客户端（计算机设备）包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种识别模型训练方法，其技术方案主要包括以下步骤S10-S70：
S10，获取损伤样本集；所述损伤样本集包括损伤样本图像，一个所述损伤样本图像与一个损伤标签组关联；所述损伤标签组包括至少一个损伤标签类型、与所述损伤标签类型对应的掩码标注图和至少一个矩形框区域。
可理解地，所述损伤样本集包含多个所述损伤样本图像，所述损伤样本集为所有所述损伤样本图像的集合，所述损伤样本图像可以为历史收集的并且含有车辆在发生交通事故后留下损伤的车辆图像或者照片，也可以为根据需求进行融合后的图像，一个所述损伤样本图像对应一个损伤标签组，所述损伤标签组包括所述损伤标签类型、所述掩码标注图和所述矩形框区域，所述损伤标签类型包括划痕、刮擦、凹陷、褶皱、死折、撕裂、缺失等7种损伤类型，所述掩码标注图为通过每种损伤标签类型对应的掩码值替代损伤位置的区域范围中的每个像素值，即根据每个损伤位置对应标注的损伤标签类型，用与损伤标签类型对应的掩码值填充满损伤位置的区域范围中的每个像素值，再将相同所述掩码值的像素值平移至一个与所述损伤样本图像等大小的通道图，形成7个含有与损伤标签类型对应的掩码值的通道图，所述矩形框区域为通过一个最小面积的矩形框能覆盖损伤位置的坐标区域范围。
在一实施例中，如图3所示，所述步骤S10之前，即获取损伤样本集之前，包括：
S101，获取样本图像和公开数据图像；所述样本图像为拍摄的含有损伤位置的图像，所述公开数据图像为KITTI数据集中随机抽取的图像。
可理解地，所述样本图像为历史拍摄的且含有车辆在发生交通事故后留下损伤的损伤位置的图像，所述公开数据图像为随机从所述KITTI数据集中抽取的图像，所述KITTI数据集为公开的智能车辆相关的图像的集合，通过resize方式，将所述公开数据图像的尺寸大小转换成与所述样本图像的尺寸大小相同，所述resize方式可以根据需求进行设定，比如resize方式为最近邻插值算法、双线性插值算法、双三次插值算法、基于像素区域关系插值算法、兰索斯插值插值算法等等。
S102，通过mixup方法，将所述样本图像与所述公开数据图像进行融合处理，得到融合样本图像。
可理解地，所述mixup方法为将所述样本图像中的每个像素值与所述公开数据图像中的对应的像素值通过预设的比例进行加权处理以及进行融合处理，生成所述融合样本图像的像素值，所述融合处理为将所述样本图像中的每个像素值与所述公开数据图像中的对应的像素值进行加权处理之后进行求和得到所述融合样本图像中对应的像素值。
S103，将所述融合样本图像确定为所述样本图像对应的损伤样本图像，并将所述损伤样本图像存储在区块链中。
可理解地，将所述融合样本图像标记为所述损伤样本图像，并且将所述损伤样本图像存储在区块链中。
需要强调的是，为进一步保证上述损伤样本图像的私密和安全性，上述损伤样本图像还可以存储于区块链的节点中。
其中，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。区块链提供的去中心化的完全分布式DNS服务通过网络中各个节点之间的点对点数据传输服务就能实现域名的查询和解析，可用于确保某个重要的基础设施的操作系统和固件没有被篡改，可以监控数据的状态和完整性，发现不良的篡改，并确保所传输的数据没用经过篡改，将所述损伤样本图像存储在区块链中，能够确保损伤样本图像的私密和安全性。
本发明通过mixup方法，将所述样本图像与所述公开数据图像（从KITTI数据集中随机抽取）进行融合处理，得到融合样本图像，将所述融合样本图像确定为所述样本图像对应的损伤样本图像，并将所述损伤样本图像存储在区块链中，能够提高损伤样本图像的安全性，防止被篡改，能够防止损伤样本图像在后续的识别过程中过拟合，提高了识别准确率。
S20，将所述损伤样本图像输入含有第一参数的损伤检测模型，通过所述损伤检测模型提取所述损伤样本图像中的损伤特征并生成中间卷积特征图；所述损伤检测模型为基于YOLOV3模型构架的深度卷积神经网络模型。
可理解地，所述损伤检测模型为识别所述损伤样本图像中样本损伤类型和样本损伤矩形区域的基于YOLOV3模型的深度卷积神经网络模型，即所述损伤检测模型的网络结构与YOLOV3模型的网络结构相同，所述损伤特征为包括划痕、刮擦、凹陷、褶皱、死折、撕裂、缺失等7种损伤类型的特征，所述损伤检测模型的所述第一参数可以根据需求进行设定，比如第一参数可以通过迁移学习方法获取YOLOV3模型的所有参数，也可以全部设置为预设的一个数值。
S30，将所述中间卷积特征图输入含有第二参数的掩码预测分支模型。
可理解地，所述掩码预测分支模型为预设的卷积神经网络模型，所述掩码预测分支模型的所述第二参数可以根据需求进行设定，比如所述第二参数为随机的参数值。
S40，通过所述损伤检测模型根据所述损伤特征输出训练结果，同时通过所述掩码预测分支模型获取掩码结果；所述训练结果包括至少一个样本损伤类型和至少一个样本损伤矩形区域；所述掩码结果为根据自所述中间卷积特征图中提取的损伤掩码特征获取并输出，所述掩码结果包括至少一个掩码损伤类型和与所述掩码损伤类型对应的掩码张量图。
可理解地，所述损伤检测模型根据提取的所述损伤特征进行预测，得到所述训练结果，所述训练结果包括样本损伤类型和样本损伤矩形区域，所述样本损伤矩形区域为与所述样本损伤类型对应的区域坐标范围，通过所述掩码预测分支模型能够增加损伤掩码特征的提取，能够增强掩码损伤类型的识别，所述损伤掩码特征为与损伤标签类型对应的掩码值相关的特征，即增加了一个掩码预测分支进行识别，能够提升损伤识别的准确性和精确性，所述掩码结果包括所述掩码损伤类型和所述掩码张量图，所述掩码张量图为识别出所述损伤样本图像中相同损伤类型的损伤位置对应的特征向量图，也指与所述掩码损伤类型对应的特征向量图。
其中，所述样本损伤类型包括划痕、刮擦、凹陷、褶皱、死折、撕裂、缺失等7种损伤类型，所述掩码损伤类型包括划痕、刮擦、凹陷、褶皱、死折、撕裂、缺失等7种损伤类型。
在一实施例中，如图4所示，所述步骤S40中，即所述通过所述掩码预测分支模型获取掩码结果，包括：
S401，将所述中间卷积特征图输入所述掩码预测分支模型中的扩展模块，通过所述扩展模块对所述中间卷积特征图进行损伤掩码特征提取及扩大处理，得到多通道特征图。
可理解地，所述扩展模块为将所述中间卷积特征图由32×32尺寸的特征向量图通过提取所述损伤掩码特征进行扩充处理得到所述多通道特征图，所述多通道特征图包含多个256×256尺寸的特征向量图（也为全文中的张量图）。
在一实施例中，如图5所示，所述步骤S401中，即将所述中间卷积特征图输入所述掩码预测分支模型中的扩展模块，通过所述扩展模块对所述中间卷积特征图进行扩大处理，得到多通道特征图，包括：
S40101，将所述中间卷积特征图输入所述扩展模块中的第一卷积层，通过所述第一卷积层对所述中间卷积特征图进行所述损伤掩码特征提取，得到第一特征图；
可理解地，所述扩展模块包括第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层和第三采样层，所述第一卷积层包括一个256通道的3×3卷积核和一个128通道的1×1卷积核，所述第一卷积层对所述中间卷积特征图经过一个256通道的3×3卷积核进行卷积后再经过一个128通道的1×1卷积核进行卷积，从而提取所述损伤掩码特征。
S40102，通过所述扩展模块中的第一采样层对所述第一特征图进行上采样处理，得到第一采样图；
可理解地，所述上采样处理为对一个特征向量图进行尺寸扩大填充处理直到预设的尺寸大小，所述第一采样图为64×64的特征向量图，所述第一采样层能够更大可能性地获取所述损伤掩码特征，从而防止过拟合和提高泛化性。
S40103，将所述第一采样图输入所述扩展模块中的第二卷积层，通过所述第二卷积层对所述第一采样图进行所述损伤掩码特征提取，得到第二特征图；
可理解地，所述第二卷积层包括一个128通道的3×3卷积核和一个64通道的1×1卷积核，所述第二卷积层对所述第一采样图经过一个128通道的3×3卷积核进行卷积后再经过一个64通道的1×1卷积核进行卷积，从而提取所述损伤掩码特征。
S40104，通过所述扩展模块中的第二采样层对所述第二特征图进行上采样处理，得到第二采样图；
可理解地，所述上采样处理为对一个特征向量图进行尺寸扩大填充处理直到预设的尺寸大小，所述第二采样图为128×128的特征向量图，所述第二采样层能够更大可能性地获取所述损伤掩码特征，从而防止过拟合和提高泛化性。
S40105，将所述第二采样图输入所述扩展模块中的第三卷积层，通过所述第三卷积层对所述第二采样图进行所述损伤掩码特征提取，得到第三特征图；
可理解地，所述第三卷积层包括一个64通道的3×3卷积核和一个32通道的1×1卷积核，所述第三卷积层对所述第二采样图经过一个64通道的3×3卷积核进行卷积后再经过一个32通道的1×1卷积核进行卷积，从而更进一步提取所述损伤掩码特征。
S40106，通过所述扩展模块中的第三采样层对所述第三特征图进行上采样处理，得到多通道特征图。
可理解地，所述多通道特征图为256×256的特征向量图，所述第三采样层能够进一步地获取所述损伤掩码特征，从而防止过拟合和提高泛化性。
S402，将所述多通道特征图输入所述掩码预测分支模型中的分类模块，通过所述分类模块对所述多通道特征图进行分类及预测处理，得到所述中间卷积特征图对应的掩码预测结果。
可理解地，所述掩码预测类型包括划痕、刮擦、凹陷、褶皱、死折、撕裂、缺失等7种损伤类型，通过所述掩码预测分支模型中的所述分类模块对所述多通道特征图进行分类，即通过所述多通道特征图中的特征向量图进行分类，得到与所有掩码预测损伤类型对应的特征向量图，根据与掩码预测损伤类型对应的特征向量图，预测出该掩码预测损伤类型对应的掩码预测张量图，所述掩码预测张量图为一个通道的含有预测出每个像素点对应的像素值并与掩码预测损伤类型相关的特征向量图，所述掩码预测结果包括所述掩码预测损伤类型和掩码预测张量图。
S403，根据所述中间卷积特征图对应的掩码预测结果，确定所述损伤样本图像对应的掩码结果。
可理解地，根据所述掩码预测结果与预设的概率值进行对比，将符合所述概率值的掩码预测张量图保留，将所有保留之后的所述掩码预测张量图确定为所述损伤样本图像对应的掩码张量图，从而根据保留的所述掩码预测张量图确定与所述掩码预测张量图对应的所述掩码预测损伤类型确定为所述损伤样本图像对应的掩码损伤类型，将所有所述掩码张量图及对应的所述掩码损伤类型确定为所述损伤样本图像的所述掩码结果。
本发明通过所述掩码预测分支模型中的扩展模块对所述中间卷积特征图进行损伤掩码特征提取及扩大处理，得到多通道特征图；再通过所述掩码预测分支模型中的分类模块对所述多通道特征图进行分类及预测处理，得到所述中间卷积特征图对应的掩码预测结果；根据所述中间卷积特征图对应的掩码预测结果，确定所述损伤样本图像对应的掩码结果，如此，提供了一种掩码预测分支模型实现损伤掩码特征提取并得出掩码结果，为后续的损伤检测模型的训练提供了提升准确率的方法，减少了损伤检测模型的训练时间及样本数，从而减少了成本。
S50，将所述损伤样本图像的所有所述损伤标签类型、所有所述矩形框区域、所有所述样本损伤类型和所有所述样本损伤矩形区域输入第一损失模型，得到第一损失值，同时将所述损伤样本图像的所有所述损伤标签类型、所有所述掩码标注图、所有所述掩码损伤类型和所有所述掩码张量图输入第二损失模型，得到第二损失值。
可理解地，所述第一损失模型包括所述第一损失函数，将所有所述损伤标签类型、所有所述矩形框区域、所有所述样本损伤类型和所有所述样本损伤矩形区域输入所述第一损失函数，通过交叉熵方法计算出所述第一损失值；所述第二损失值模型包括所述第二损失函数，将所述损伤样本图像的所有所述损伤标签类型、所有所述掩码标注图、所有所述掩码损伤类型和所有所述掩码张量图输入所述第二损失函数，通过交叉熵方法计算出所述第二损失值。
S60，根据所述第一损失值和所述第二损失值，确定总损失值。
可理解地，将所述第一损失值和所述第二损失值输入含有总损失函数的损失模型，所述损失模型中的总损失函数可以根据需求设定，所述损失模型为生成所述总损失值的模型，通过所述总损失函数计算出所述总损失值。
在一实施例中，所述步骤60中，即所述根据所述第一损失值和所述第二损失值，确定总损失值，包括：
S601，将所述第一损失值和所述第二损失值输入预设的损失模型，通过所述损失模型中的总损失函数计算出所述总损失值；所述总损失函数为：
Figure SMS_1
其中，
X1为第一损失值；
X2为第二损失值；
Figure SMS_2
为第一损失值的权重；
Figure SMS_3
为第二损失值的权重。
S70，在所述总损失值未达到预设的收敛条件时，迭代更新所述损伤检测模型的第一参数和所述掩码预测分支模型的第二参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型。
可理解地，所述收敛条件可以为所述总损失值经过了9000次计算后值为很小且不会再下降的条件，即在所述总损失值经过9000次计算后值为很小且不会再下降时，停止训练，并将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型；所述收敛条件也可以为所述总损失值小于设定阈值的条件，即在所述总损失值小于设定阈值时，停止训练，并将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型。
如此，在所述总损失值未达到预设的收敛条件时，不断更新迭代所述损伤检测模型的第一参数和所述掩码预测分支模型的第二参数，可以不断向准确的结果靠拢，让识别的准确率越来越高。
在一实施例中，所述步骤S60之后，即所述根据所述第一损失值和所述第二损失值，确定总损失值之后，还包括：
S80，在所述总损失值达到预设的收敛条件时，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型。
可理解地，在所述总损失值达到预设的收敛条件时，说明所述总损失值已经达到最优的结果，此时所述损伤检测模型已经收敛，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型，如此，根据所述损伤样本集中的所述损伤样本图像，通过不断训练获得训练完成的损伤检测模型，能够提升识别的准确率和可靠性。
本发明通过获取损伤样本集；所述损伤样本集包括损伤样本图像，一个所述损伤样本图像与一个损伤标签组关联；所述损伤标签组包括至少一个损伤标签类型、与所述损伤标签类型对应的掩码标注图和至少一个矩形框区域；将所述损伤样本图像输入含有第一参数的损伤检测模型，通过所述损伤检测模型提取所述损伤样本图像中的损伤特征并生成中间卷积特征图；所述损伤检测模型为基于YOLOV3模型构架的深度卷积神经网络模型；将所述中间卷积特征图输入含有第二参数的掩码预测分支模型；通过所述损伤检测模型根据所述损伤特征输出含有样本损伤类型和样本损伤矩形区域的训练结果，同时通过所述掩码预测分支模型获取含有样本损伤类型和样本损伤矩形区域的掩码结果；所述掩码结果为根据自所述中间卷积特征图中提取的损伤掩码特征获取并输出，所述掩码结果包括至少一个掩码损伤类型和与所述掩码损伤类型对应的掩码张量图；将所述损伤样本图像的所有所述损伤标签类型、所有所述矩形框区域、所有所述样本损伤类型和所有所述样本损伤矩形区域输入第一损失模型，得到第一损失值，同时将所述损伤样本图像的所有所述损伤标签类型、所有所述掩码标注图、所有所述掩码损伤类型和所有所述掩码张量图输入第二损失模型，得到第二损失值；根据所述第一损失值和所述第二损失值，确定总损失值；在所述总损失值未达到预设的收敛条件时，迭代更新所述损伤检测模型的第一参数和所述掩码预测分支模型的第二参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型。
本发明实现了通过获取含有损伤标签组的损伤样本图像，对基于YOLOV3模型架构的损伤检测模型进行训练，提取所述损伤样本图像的损伤特征并得到训练结果和中间卷积特征图，通过所述掩码预测分支模型对所述中间卷积特征图进行损伤掩码特征的提取，得到掩码结果，根据损伤标签组、训练结果和掩码结果，确定总损失值，通过判断所述总损失值是否达到预设的收敛条件，不断迭代训练损伤检测模型，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型，因此，提供了一种模型训练方法，通过增加掩码预测分支模型进行训练能够减少样本收集数量及提升了识别准确性和可靠性，实现了准确地、快速地识别出包含的损伤位置的图像中的损伤类型和损伤区域，提升了对定损类型和定损区域进行确定的准确率及可靠性，减少了成本，提高了训练效率。
本发明提供的车损检测方法，可应用在如图1的应用环境中，其中，客户端（计算机设备）通过网络与服务器进行通信。其中，客户端（计算机设备）包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图6示，提供一种车损检测方法，其技术方案主要包括以下步骤S100-S200：
S100，接收到车损检测指令，获取车损图像；
可理解地，在车辆发生交通事故后，车辆会留下损伤的痕迹，保险公司的工作人员会拍摄交通事故的相关照片，这些照片包括车辆损伤的照片，工作人员将车辆损伤的照片上传至服务器，以触发所述车损检测指令，获取所述车损检测指令中含有的所述车损图像，所述车损图像为拍摄的车辆损伤的照片。
S200，将所述车损图像输入上述训练完成的损伤检测模型，通过所述损伤检测模型提取损伤特征，获取所述损伤检测模型根据所述损伤特征输出的最终结果；所述最终结果包括损伤类型和损伤区域，所述最终结果表征了所述车损图像中的所有损伤位置的损伤类型和损伤区域。
可理解地，只需将所述车损图像输入训练完成的损伤检测模型，通过该损伤检测模型进行所述损伤特征的提取，所述损伤检测模型根据所述车损图像中的所述损伤特征输出所述最终结果，所述最终结果表征了所述车损图像中的所有损伤位置的损伤类型和损伤区域，在此过程中无需使用到所述掩码预测分支模型，加快了识别速度，从而提高了识别效率。
本发明通过获取车损图像，将所述车损图像输入上述训练完成的损伤检测模型，通过所述损伤检测模型提取损伤特征，获取所述损伤检测模型根据所述损伤特征输出的包含有损伤类型和损伤区域的最终结果；所述最终结果表征了所述车损图像中的所有损伤位置的损伤类型和损伤区域，如此，提高了识别速度，从而提高了识别效率，减少了成本，提高了客户满意度。
在一实施例中，提供一种损伤检测模型训练装置，该损伤检测模型训练装置与上述实施例中损伤检测模型训练方法一一对应。如图7所示，该损伤检测模型训练装置包括获取模块11、输入模块12、分支模块13、输出模块14、损失模块15、确定模块16和收敛模块17。各功能模块详细说明如下：
获取模块11，用于获取损伤样本集；所述损伤样本集包括损伤样本图像，一个所述损伤样本图像与一个损伤标签组关联；所述损伤标签组包括至少一个损伤标签类型、与所述损伤标签类型对应的掩码标注图和至少一个矩形框区域；
输入模块12，用于将所述损伤样本图像输入含有第一参数的损伤检测模型，通过所述损伤检测模型提取所述损伤样本图像中的损伤特征并生成中间卷积特征图；所述损伤检测模型为基于YOLOV3模型构架的深度卷积神经网络模型；
分支模块13，用于将所述中间卷积特征图输入含有第二参数的掩码预测分支模型；
输出模块14，用于通过所述损伤检测模型根据所述损伤特征输出训练结果，同时通过所述掩码预测分支模型获取掩码结果；所述训练结果包括至少一个样本损伤类型和至少一个样本损伤矩形区域；所述掩码结果为根据自所述中间卷积特征图中提取的损伤掩码特征获取并输出，所述掩码结果包括至少一个掩码损伤类型和与所述掩码损伤类型对应的掩码张量图；
损失模块15，用于将所述损伤样本图像的所有所述损伤标签类型、所有所述矩形框区域、所有所述样本损伤类型和所有所述样本损伤矩形区域输入第一损失模型，得到第一损失值，同时将所述损伤样本图像的所有所述损伤标签类型、所有所述掩码标注图、所有所述掩码损伤类型和所有所述掩码张量图输入第二损失模型，得到第二损失值；
确定模块16，用于根据所述第一损失值和所述第二损失值，确定总损失值；
收敛模块17，用于在所述总损失值未达到预设的收敛条件时，迭代更新所述损伤检测模型的第一参数和所述掩码预测分支模型的第二参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型。
在一实施例中，所述确定模块16包括：
计算单元，用于将所述第一损失值和所述第二损失值输入预设的损失模型，通过所述损失模型中的总损失函数计算出所述总损失值；所述总损失函数为：
Figure SMS_4
其中，
X1为第一损失值；
X2为第二损失值；
Figure SMS_5
为第一损失值的权重；
Figure SMS_6
为第二损失值的权重。
在一实施例中，所述获取模块11包括：
获取单元，用于获取样本图像和公开数据图像；所述样本图像为拍摄的含有损伤位置的图像，所述公开数据图像为KITTI数据集中随机抽取的图像；
融合单元，用于通过mixup方法，将所述样本图像与所述公开数据图像进行融合处理，得到融合样本图像；
确定单元，用于将所述融合样本图像确定为所述样本图像对应的损伤样本图像，并将所述损伤样本图像存储在区块链中。
在一实施例中，所述输出模块14包括：
分支单元，用于将所述中间卷积特征图输入所述掩码预测分支模型中的扩展模块，通过所述扩展模块对所述中间卷积特征图进行损伤掩码特征提取及扩大处理，得到多通道特征图；
预测单元，用于将所述多通道特征图输入所述掩码预测分支模型中的分类模块，通过所述分类模块对所述多通道特征图进行分类及预测处理，得到所述中间卷积特征图对应的掩码预测结果；
输出单元，用于根据所述中间卷积特征图对应的掩码预测结果，确定所述损伤样本图像对应的掩码结果。
在一实施例中，所述分支单元包括：
第一卷积子单元，用于将所述中间卷积特征图输入所述扩展模块中的第一卷积层，通过所述第一卷积层对所述中间卷积特征图进行所述损伤掩码特征提取，得到第一特征图；
第一采样子单元，用于通过所述扩展模块中的第一采样层对所述第一特征图进行上采样处理，得到第一采样图；
第二卷积子单元，用于将所述第一采样图输入所述扩展模块中的第二卷积层，通过所述第二卷积层对所述第一采样图进行所述损伤掩码特征提取，得到第二特征图；
第二采样子单元，用于通过所述扩展模块中的第二采样层对所述第二特征图进行上采样处理，得到第二采样图；
第三卷积子单元，用于将所述第二采样图输入所述扩展模块中的第三卷积层，通过所述第三卷积层对所述第二采样图进行所述损伤掩码特征提取，得到第三特征图；
第三采样子单元，用于通过所述扩展模块中的第三采样层对所述第三特征图进行上采样处理，得到多通道特征图。
关于损伤检测模型训练装置的具体限定可以参见上文中对于损伤检测模型训练方法的限定，在此不再赘述。上述损伤检测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一实施例中，提供一种车损检测装置，该车损检测装置与上述实施例中车损检测方法一一对应。如图8所示，该车损检测装置包括获取模块101和检测模块102。各功能模块详细说明如下：
接收模块101，用于接收到车损检测指令，获取车损图像；
检测模块102，用于将所述车损图像输入如上述损伤检测模型训练方法训练完成的损伤检测模型，通过所述损伤检测模型提取损伤特征，获取所述损伤检测模型根据所述损伤特征输出的最终结果；所述最终结果包括损伤类型和损伤区域，所述最终结果表征了所述车损图像中的所有损伤位置的损伤类型和损伤区域。
关于车损检测装置的具体限定可以参见上文中对于车损检测方法的限定，在此不再赘述。上述车损检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种损伤检测模型训练方法，或者车损检测方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中损伤检测模型训练方法，或者处理器执行计算机程序时实现上述实施例中车损检测方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中损伤检测模型训练方法，或者计算机程序被处理器执行时实现上述实施例中车损检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种损伤检测模型训练方法，其特征在于，包括：
获取损伤样本集；所述损伤样本集包括损伤样本图像，一个所述损伤样本图像与一个损伤标签组关联；所述损伤标签组包括至少一个损伤标签类型、与所述损伤标签类型对应的掩码标注图和至少一个矩形框区域；
将所述损伤样本图像输入含有第一参数的损伤检测模型，通过所述损伤检测模型提取所述损伤样本图像中的损伤特征并生成中间卷积特征图；所述损伤检测模型为基于YOLOV3模型构架的深度卷积神经网络模型；
将所述中间卷积特征图输入含有第二参数的掩码预测分支模型；
通过所述损伤检测模型根据所述损伤特征输出训练结果，同时通过所述掩码预测分支模型获取掩码结果；所述训练结果包括至少一个样本损伤类型和至少一个样本损伤矩形区域；所述掩码结果为根据自所述中间卷积特征图中提取的损伤掩码特征获取并输出，所述掩码结果包括至少一个掩码损伤类型和与所述掩码损伤类型对应的掩码张量图；
将所述损伤样本图像的所有所述损伤标签类型、所有所述矩形框区域、所有所述样本损伤类型和所有所述样本损伤矩形区域输入第一损失模型，得到第一损失值，同时将所述损伤样本图像的所有所述损伤标签类型、所有所述掩码标注图、所有所述掩码损伤类型和所有所述掩码张量图输入第二损失模型，得到第二损失值；
根据所述第一损失值和所述第二损失值，确定总损失值；
在所述总损失值未达到预设的收敛条件时，迭代更新所述损伤检测模型的第一参数和所述掩码预测分支模型的第二参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型；
所述获取损伤样本集之前，包括：
获取样本图像和公开数据图像；所述样本图像为拍摄的含有损伤位置的图像，所述公开数据图像为KITTI数据集中随机抽取的图像；所述公开数据图像的尺寸大小通过resize方式转换成与所述样本图像的尺寸大小相同；
通过mixup方法，将所述样本图像与所述公开数据图像进行融合处理，得到融合样本图像；所述mixup方法为将所述样本图像中的每个像素值与所述公开数据图像中的对应的像素值通过预设的比例进行加权处理以及进行融合处理的方法；
将所述融合样本图像确定为所述样本图像对应的损伤样本图像，并将所述损伤样本图像存储在区块链中；
所述通过所述掩码预测分支模型获取掩码结果，包括：
将所述中间卷积特征图输入所述掩码预测分支模型中的扩展模块，通过所述扩展模块对所述中间卷积特征图进行损伤掩码特征提取及扩大处理，得到多通道特征图；所述扩展模块为将所述中间卷积特征图通过提取所述损伤掩码特征进行扩充处理得到所述多通道特征图；
将所述多通道特征图输入所述掩码预测分支模型中的分类模块，通过所述分类模块对所述多通道特征图进行分类及预测处理，得到所述中间卷积特征图对应的掩码预测结果；掩码预测类型包括划痕、刮擦、凹陷、褶皱、死折、撕裂、缺失7种损伤类型，通过对所述多通道特征图中的特征向量图进行分类，得到与所有掩码预测损伤类型对应的特征向量图，根据与掩码预测损伤类型对应的特征向量图，预测出该掩码预测损伤类型对应的掩码预测张量图，所述掩码预测张量图为一个通道的含有预测出每个像素点对应的像素值并与掩码预测损伤类型相关的特征向量图，所述掩码预测结果包括所述掩码预测损伤类型和掩码预测张量图；
根据所述中间卷积特征图对应的掩码预测结果，确定所述损伤样本图像对应的掩码结果；根据所述掩码预测结果与预设的概率值进行对比，将符合所述概率值的掩码预测张量图保留，将所有保留之后的所述掩码预测张量图确定为所述损伤样本图像对应的掩码张量图，根据保留的所述掩码预测张量图确定所述损伤样本图像对应的掩码损伤类型，将所有所述掩码张量图及对应的所述掩码损伤类型确定为所述损伤样本图像的所述掩码结果。
2.如权利要求1所述的损伤检测模型训练方法，其特征在于，所述根据所述第一损失值和所述第二损失值，确定总损失值，包括：
将所述第一损失值和所述第二损失值输入预设的损失模型，通过所述损失模型中的总损失函数计算出所述总损失值；所述总损失函数为：
Figure QLYQS_1
其中，
X1为第一损失值；
X2为第二损失值；
Figure QLYQS_2
为第一损失值的权重；
Figure QLYQS_3
为第二损失值的权重。
3.如权利要求1所述的损伤检测模型训练方法，其特征在于，将所述中间卷积特征图输入所述掩码预测分支模型中的扩展模块，通过所述扩展模块对所述中间卷积特征图进行扩大处理，得到多通道特征图，包括：
将所述中间卷积特征图输入所述扩展模块中的第一卷积层，通过所述第一卷积层对所述中间卷积特征图进行所述损伤掩码特征提取，得到第一特征图；
通过所述扩展模块中的第一采样层对所述第一特征图进行上采样处理，得到第一采样图；
将所述第一采样图输入所述扩展模块中的第二卷积层，通过所述第二卷积层对所述第一采样图进行所述损伤掩码特征提取，得到第二特征图；
通过所述扩展模块中的第二采样层对所述第二特征图进行上采样处理，得到第二采样图；
将所述第二采样图输入所述扩展模块中的第三卷积层，通过所述第三卷积层对所述第二采样图进行所述损伤掩码特征提取，得到第三特征图；
通过所述扩展模块中的第三采样层对所述第三特征图进行上采样处理，得到多通道特征图。
4.一种车损检测方法，其特征在于，包括：
接收到车损检测指令，获取车损图像；
将所述车损图像输入如权利要求1至3任一项所述损伤检测模型训练方法训练完成的损伤检测模型，通过所述损伤检测模型提取损伤特征，获取所述损伤检测模型根据所述损伤特征输出的最终结果；所述最终结果包括损伤类型和损伤区域，所述最终结果表征了所述车损图像中的所有损伤位置的损伤类型和损伤区域。
5.一种损伤检测模型训练装置，其特征在于，包括：
获取模块，用于获取损伤样本集；所述损伤样本集包括损伤样本图像，一个所述损伤样本图像与一个损伤标签组关联；所述损伤标签组包括至少一个损伤标签类型、与所述损伤标签类型对应的掩码标注图和至少一个矩形框区域；
输入模块，用于将所述损伤样本图像输入含有第一参数的损伤检测模型，通过所述损伤检测模型提取所述损伤样本图像中的损伤特征并生成中间卷积特征图；所述损伤检测模型为基于YOLOV3模型构架的深度卷积神经网络模型；
分支模块，用于将所述中间卷积特征图输入含有第二参数的掩码预测分支模型；
输出模块，用于通过所述损伤检测模型根据所述损伤特征输出训练结果，同时通过所述掩码预测分支模型获取掩码结果；所述训练结果包括至少一个样本损伤类型和至少一个样本损伤矩形区域；所述掩码结果为根据自所述中间卷积特征图中提取的损伤掩码特征获取并输出，所述掩码结果包括至少一个掩码损伤类型和与所述掩码损伤类型对应的掩码张量图；
损失模块，用于将所述损伤样本图像的所有所述损伤标签类型、所有所述矩形框区域、所有所述样本损伤类型和所有所述样本损伤矩形区域输入第一损失模型，得到第一损失值，同时将所述损伤样本图像的所有所述损伤标签类型、所有所述掩码标注图、所有所述掩码损伤类型和所有所述掩码张量图输入第二损失模型，得到第二损失值；
确定模块，用于根据所述第一损失值和所述第二损失值，确定总损失值；
收敛模块，用于在所述总损失值未达到预设的收敛条件时，迭代更新所述损伤检测模型的第一参数和所述掩码预测分支模型的第二参数，直至所述总损失值达到所述预设的收敛条件时，将收敛之后的所述损伤检测模型记录为训练完成的损伤检测模型；
所述获取模块包括：
获取单元，用于获取样本图像和公开数据图像；所述样本图像为拍摄的含有损伤位置的图像，所述公开数据图像为KITTI数据集中随机抽取的图像；所述公开数据图像的尺寸大小通过resize方式转换成与所述样本图像的尺寸大小相同；
融合单元，用于通过mixup方法，将所述样本图像与所述公开数据图像进行融合处理，得到融合样本图像；所述mixup方法为将所述样本图像中的每个像素值与所述公开数据图像中的对应的像素值通过预设的比例进行加权处理以及进行融合处理的方法；
确定单元，用于将所述融合样本图像确定为所述样本图像对应的损伤样本图像，并将所述损伤样本图像存储在区块链中；
所述输出模块包括：
分支单元，用于将所述中间卷积特征图输入所述掩码预测分支模型中的扩展模块，通过所述扩展模块对所述中间卷积特征图进行损伤掩码特征提取及扩大处理，得到多通道特征图；所述扩展模块为将所述中间卷积特征图通过提取所述损伤掩码特征进行扩充处理得到所述多通道特征图；
预测单元，用于将所述多通道特征图输入所述掩码预测分支模型中的分类模块，通过所述分类模块对所述多通道特征图进行分类及预测处理，得到所述中间卷积特征图对应的掩码预测结果；掩码预测类型包括划痕、刮擦、凹陷、褶皱、死折、撕裂、缺失7种损伤类型，通过对所述多通道特征图中的特征向量图进行分类，得到与所有掩码预测损伤类型对应的特征向量图，根据与掩码预测损伤类型对应的特征向量图，预测出该掩码预测损伤类型对应的掩码预测张量图，所述掩码预测张量图为一个通道的含有预测出每个像素点对应的像素值并与掩码预测损伤类型相关的特征向量图，所述掩码预测结果包括所述掩码预测损伤类型和掩码预测张量图；
输出单元，用于根据所述中间卷积特征图对应的掩码预测结果，确定所述损伤样本图像对应的掩码结果；根据所述掩码预测结果与预设的概率值进行对比，将符合所述概率值的掩码预测张量图保留，将所有保留之后的所述掩码预测张量图确定为所述损伤样本图像对应的掩码张量图，根据保留的所述掩码预测张量图确定所述损伤样本图像对应的掩码损伤类型，将所有所述掩码张量图及对应的所述掩码损伤类型确定为所述损伤样本图像的所述掩码结果。
6.一种车损检测装置，其特征在于，包括：
接收模块，用于接收到车损检测指令，获取车损图像；
检测模块，用于将所述车损图像输入如权利要求1至3任一项所述损伤检测模型训练方法训练完成的损伤检测模型，通过所述损伤检测模型提取损伤特征，获取所述损伤检测模型根据所述损伤特征输出的最终结果；所述最终结果包括损伤类型和损伤区域，所述最终结果表征了所述车损图像中的所有损伤位置的损伤类型和损伤区域。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述损伤检测模型训练方法，或者所述处理器执行所述计算机程序时实现如权利要求4所述车损检测方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述损伤检测模型训练方法，或者所述处理器执行所述计算机程序时实现如权利要求4所述车损检测方法。
CN202010514057.9A 2020-06-08 2020-06-08 损伤检测模型训练、车损检测方法、装置、设备及介质 Active CN111667011B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010514057.9A CN111667011B (zh) 2020-06-08 2020-06-08 损伤检测模型训练、车损检测方法、装置、设备及介质
PCT/CN2020/120757 WO2021135499A1 (zh) 2020-06-08 2020-10-14 损伤检测模型训练、车损检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010514057.9A CN111667011B (zh) 2020-06-08 2020-06-08 损伤检测模型训练、车损检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111667011A CN111667011A (zh) 2020-09-15
CN111667011B true CN111667011B (zh) 2023-07-14

Family

ID=72385794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010514057.9A Active CN111667011B (zh) 2020-06-08 2020-06-08 损伤检测模型训练、车损检测方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN111667011B (zh)
WO (1) WO2021135499A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667011B (zh) * 2020-06-08 2023-07-14 平安科技（深圳）有限公司 损伤检测模型训练、车损检测方法、装置、设备及介质
CN112131421B (zh) * 2020-09-23 2023-09-15 平安科技（深圳）有限公司 医学图像分类方法、装置、设备及存储介质
CN112330621A (zh) * 2020-10-30 2021-02-05 康键信息技术（深圳）有限公司 基于人工智能的对皮肤图像进行异常分类的方法和装置
CN112308150B (zh) * 2020-11-02 2022-04-15 平安科技（深圳）有限公司 目标检测模型训练方法、装置、计算机设备和存储介质
CN112560427B (zh) * 2020-12-16 2023-09-22 平安银行股份有限公司 问题扩展方法、装置、电子设备及介质
CN112668462B (zh) * 2020-12-25 2024-05-07 平安科技（深圳）有限公司 车损检测模型训练、车损检测方法、装置、设备及介质
CN112651453B (zh) * 2020-12-30 2023-10-13 北京百度网讯科技有限公司 损失函数的自适应方法、装置、设备和存储介质
CN112801951A (zh) * 2021-01-15 2021-05-14 深圳市商汤科技有限公司 目标部件的损伤检测方法、装置、设备及存储介质
CN112907576B (zh) * 2021-03-25 2024-02-02 平安科技（深圳）有限公司 车辆损伤等级检测方法、装置、计算机设备及存储介质
CN113505648B (zh) * 2021-06-10 2023-12-19 深圳市优必选科技股份有限公司 行人检测方法、装置、终端设备及存储介质
CN113470124B (zh) * 2021-06-30 2023-09-22 北京达佳互联信息技术有限公司 特效模型的训练方法及装置、特效生成方法及装置
CN113780335B (zh) * 2021-07-26 2023-09-29 华南师范大学 一种小样本商品图像分类方法、装置、设备及存储介质
CN113657193A (zh) * 2021-07-27 2021-11-16 中铁工程装备集团有限公司 基于计算机视觉的管片破损检测方法、系统和盾构机
CN113657409A (zh) * 2021-08-16 2021-11-16 平安科技（深圳）有限公司 车辆损失检测方法、装置、电子设备及存储介质
CN113706545B (zh) * 2021-08-23 2024-03-26 浙江工业大学 一种基于双分支神经判别降维的半监督图像分割方法
CN113762393B (zh) * 2021-09-08 2024-04-30 杭州网易智企科技有限公司 模型训练方法、注视点检测方法、介质、装置和计算设备
CN113807353B (zh) * 2021-09-29 2023-08-01 中国平安人寿保险股份有限公司 图像转换模型训练方法、装置、设备及存储介质
CN114449345B (zh) * 2022-02-08 2023-06-23 腾讯科技（深圳）有限公司 视频处理方法、装置、设备及存储介质
CN114972229A (zh) * 2022-05-17 2022-08-30 平安科技（深圳）有限公司 基于材质类型的定损检测方法、装置、电子设备、介质
CN114898155B (zh) * 2022-05-18 2024-05-28 平安科技（深圳）有限公司 车辆定损方法、装置、设备及存储介质
CN114842198A (zh) * 2022-05-31 2022-08-02 平安科技（深圳）有限公司 车辆智能定损方法、装置、设备及存储介质
CN115272746B (zh) * 2022-06-30 2023-04-07 哈尔滨工业大学 小样本循环一致性引导的桥梁多类型损伤通用识别方法及系统
CN114936327B (zh) * 2022-07-22 2022-10-28 腾讯科技（深圳）有限公司 元素识别模型的获取方法、装置、计算机设备和存储介质
CN115272763B (zh) * 2022-07-27 2023-04-07 四川大学 一种基于细粒度特征融合的鸟类识别方法
CN115661052B (zh) * 2022-10-13 2023-09-12 高峰医疗器械(无锡)有限公司 牙槽骨的骨质检测方法、装置、设备及存储介质
CN116976423A (zh) * 2023-06-09 2023-10-31 清华大学 融合事故后车辆动力学的事故前风险评估模型的训练方法
CN117874905A (zh) * 2023-12-14 2024-04-12 广州民航职业技术学院 飞机风挡的损伤预测方法、系统、设备及存储介质
CN117710379B (zh) * 2024-02-06 2024-05-10 杭州灵西机器人智能科技有限公司 一种无损检测模型构建方法、无损检测方法、装置及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690554B (zh) * 2016-07-21 2023-12-05 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
CN108921068B (zh) * 2018-06-22 2020-10-20 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统
CN109325531A (zh) * 2018-09-17 2019-02-12 平安科技（深圳）有限公司 基于图像的车辆定损方法、装置、设备及存储介质
CN111160379B (zh) * 2018-11-07 2023-09-15 北京嘀嘀无限科技发展有限公司 图像检测模型的训练方法及装置、目标检测方法及装置
CN109949317B (zh) * 2019-03-06 2020-12-11 东南大学 基于逐步对抗学习的半监督图像实例分割方法
CN110287768A (zh) * 2019-05-06 2019-09-27 浙江君嘉智享网络科技有限公司 图像智能识别车辆定损方法
CN110874594B (zh) * 2019-09-23 2023-06-30 平安科技（深圳）有限公司 基于语义分割网络的人体外表损伤检测方法及相关设备
CN111079632A (zh) * 2019-12-12 2020-04-28 上海眼控科技股份有限公司 文本检测模型的训练方法、装置、计算机设备和存储介质
CN111667011B (zh) * 2020-06-08 2023-07-14 平安科技（深圳）有限公司 损伤检测模型训练、车损检测方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
章新友.加权平均法.《全国中医药行业高等教育"十三五"规划教材 医学图形图像处理 新世纪第3版》.2018, *

Also Published As

Publication number Publication date
CN111667011A (zh) 2020-09-15
WO2021135499A1 (zh) 2021-07-08

Similar Documents

Publication Publication Date Title
CN111667011B (zh) 损伤检测模型训练、车损检测方法、装置、设备及介质
US11244435B2 (en) Method and apparatus for generating vehicle damage information
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN109670437B (zh) 年龄预估模型训练方法、面部图像识别方法及装置
WO2021114809A1 (zh) 车辆损伤特征检测方法、装置、计算机设备及存储介质
CN109241842B (zh) 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN113033604B (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
CN109543627A (zh) 一种判断驾驶行为类别的方法、装置、及计算机设备
CN111899246B (zh) 玻片数字化信息质量检测方法、装置、设备及介质
CN111626123A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111461170A (zh) 车辆图像检测方法、装置、计算机设备及存储介质
CN110569856B (zh) 样本标注方法及装置、损伤类别的识别方法及装置
CN112241952B (zh) 大脑中线识别方法、装置、计算机设备及存储介质
CN112989962B (zh) 轨迹生成方法、装置、电子设备及存储介质
CN112668462B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN113705685B (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN111415336B (zh) 一种图像篡改识别方法、装置、服务器及存储介质
CN112950569B (zh) 黑色素瘤图像识别方法、装置、计算机设备及存储介质
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN110766027A (zh) 图像的区域定位方法和目标区域定位模型的训练方法
CN110717449A (zh) 车辆年检人员的行为检测方法、装置和计算机设备
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032355

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant