CN113538293B - 一种车损伤图像的增强方法和装置 - Google Patents

一种车损伤图像的增强方法和装置 Download PDF

Info

Publication number
CN113538293B
CN113538293B CN202110958922.3A CN202110958922A CN113538293B CN 113538293 B CN113538293 B CN 113538293B CN 202110958922 A CN202110958922 A CN 202110958922A CN 113538293 B CN113538293 B CN 113538293B
Authority
CN
China
Prior art keywords
image
reflection
shadow
damaged
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110958922.3A
Other languages
English (en)
Other versions
CN113538293A (zh
Inventor
王朋远
刘海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aibao Technology Co ltd
Original Assignee
Aibao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aibao Technology Co ltd filed Critical Aibao Technology Co ltd
Priority to CN202110958922.3A priority Critical patent/CN113538293B/zh
Publication of CN113538293A publication Critical patent/CN113538293A/zh
Application granted granted Critical
Publication of CN113538293B publication Critical patent/CN113538293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明提供了一种车损伤图像的增强方法和装置。本发明提出了一套以卷积神经网络为基础的图像修复方案，可以对图像进行修复，消除掉图中反光区域、阴影区域，通过先分割出车辆外观件中的各个部件区域，针对部件区域中的反光阴影区域进行修复，不管是后续AI定损还是人工核损环节的准确度均会有很大的提升，能为保险公司挽回损失。

Description

一种车损伤图像的增强方法和装置
技术领域
本申请涉及图像数据处理技术领域，具体涉及一种车损伤图像的增强方法装置。
背景技术
在进行车险理赔时，车辆定损是指根据现场勘察记录，对本次事故造成的车辆损失部位和修理项目，逐项列明修理工时费、换件项目及金额。保险公司目前的车辆定损方案主要有以下两种：
第一种是人工定损方案：由定损专员，到事故现场根据经验对车辆的损伤情况进行勘定给出定损单，结合4S店给出修理工时费用、换件项目和金额；
第二种是智能定损方案：由定损专员或者车主采用移动端理赔APP对车辆损伤部位进行图像采集，上传至后端定损服务器，由人工智能（AI）定损系统对该案件的所有图片统一进行定损，给出定损单，再结合4s店给出修理工时费用，换件项目和金额。
在上述智能定损方案中没有定损员给出定损单的步骤，而是采用将所有图像一起上传至后端后再由AI定损系统进行统一定损，杜绝了定损员给出定损单时多报、谎报车辆损伤的情况。而由于AI定损系统对案件图像进行定损时，对定损图像的质量要求比较高，而由于交通事故发生的时间具有不确定性，可能发生在白天也可以在晚上，因此采集事故照片时的光照条件也具复杂性，因此在采集到的车辆损伤图像中可能会存在反光、阴影等情况，这些图像在采用AI定损系统进行定损时往往会出现准确性不佳的情况，如将反光识别为刮擦等。
发明内容
为了解决上述技术问题，本发明涉及车险理赔领域，提出了一种基于图像处理的方法和装置来对车辆定损图像的反光、阴影等进行消除，提高待定损车辆损伤图像的质量，来提高后端服务端定损模型在对车辆损伤图像进行定损时的准确率。
本发明所采用的技术方案如下：
一种车损伤图像的增强方法，该方法包括如下步骤：
步骤1、获取待定损的车辆图像；
步骤2、从待定损的车辆图像中分割出车辆的各个部件，并从分割出的所述车辆的各个部件中确定感兴趣部件区域，以作为AI定损环节感兴趣的区域；
步骤3、对所述感兴趣部件区域分别进行反光区域检测、阴影区域检测，若检测到待定损的车辆图像中存在反光区域，则确定反光区域的Mask；若检测到待定损的车辆图像中存在阴影区域，则确定阴影区域的Mask；若未检测到反光区域和阴影区域，则执行步骤5；
步骤4、若检测到待定损的车辆图像中存在反光区域，则根据确定的所述反光区域的Mask和所述待定损的车辆图像，获得消除反光后的待定损图像，将消除反光后的图像送给后端的AI定损服务器；
若检测到待定损的车辆图像中存在阴影区域，则根据确定的所述阴影区域的Mask和所述待定损的车辆图像，获得消除阴影后的待定损图像，将消除阴影后的图像送给后端的AI定损服务器；
步骤5、后端的AI定损服务器进行定损处理。
进一步的，采用实例分割算法Mask-RCNN方法来对待定损图像进行实例分割。
进一步的，在步骤3中进行反光区域检测、阴影区域检测之前，还包括：
采用Mask-RCNN方法来对待定损图像进行语义分割，Mask-RCNN添加语义分割分支后对图像的反光区域和阴影区域进行检测。
进一步的，在步骤4中，获得消除反光后的待定损图像，具体包括：
步骤401、采用多尺度拉普拉斯卷积核Laplace kernel对所述待定损的车辆图像进行特征提取，获得拉普拉斯特征；
步骤402、采用正常的卷积核模块对所述待定损的车辆图像进行特征提取，以获得待定损的车辆图像特征；
步骤403、对所述拉普拉斯特征分别进行反射特征的提取和透射抑制处理，以得到反射概率图
Figure 595386DEST_PATH_IMAGE001
和被抑制后的拉普拉斯特征；
步骤404、根据所述待定损的车辆图像特征、反射概率图
Figure 145447DEST_PATH_IMAGE001
和被抑制后的拉普拉斯特征来获得反射图Reflection；
步骤405、使用1减去反射概率图
Figure 137674DEST_PATH_IMAGE001
以得到透射概率图；
步骤406、将所述待定损的车辆图像、反射图和透射概率图采用基于上下文的自动编码器Contextual Autoencoder以得到消除反光后的图像。
进一步的，反射概率图
Figure 426573DEST_PATH_IMAGE001
为同所述待定损的车辆图像尺寸大小一致的单通道图，其每个像素点的值为0-1的浮点数，表示该像素位置上接受到的光为反射光的概率，1减去该点的像素值表示该像素位置上接收到的光为透射光的概率。
进一步的，步骤403进一步包括：
步骤4031、将所述待定损的车辆图像分别缩放到原始尺寸的1、1/2、1/4、1/8大小，采用拉普拉斯卷积核Laplace kernel进行特征提取，再依次分别进行0、1、2、4次上采样到所述待定损的车辆图像的大小，以得到各上采样后的车辆图像；
步骤4032、将各上采样后的车辆图像在通道层进行拼接，之后再接3个SE模块进行反射特征的提取，对提取后的反射特征后接一个卷积层和Sigmoid层得到反射概率图
Figure 973924DEST_PATH_IMAGE001
；
步骤4033、对提取的反射特征后再接3个SE模块来抑制透射区域的拉普拉斯特征；
步骤4034、通过反射概率图
Figure 45785DEST_PATH_IMAGE001
和被抑制后的拉普拉斯特征做点积后得到最终的反射部分的拉普拉斯特征
Figure 423677DEST_PATH_IMAGE002
；
步骤4035、采用4个SE模块提取所述待定损的车辆图像的特征
Figure 103051DEST_PATH_IMAGE003
，将反射部分的拉普拉斯特征
Figure 628710DEST_PATH_IMAGE002
和所述待定损的车辆图像的特征
Figure 441945DEST_PATH_IMAGE003
在通道层拼接，之后通过LSTM +Conv + Relu得到反射图Reflection。
进一步的，在步骤4中，获得消除阴影后的待定损图像，具体包括：
步骤401’、将所述待定损的车辆图像和所述阴影区域的Mask在像素层级做点积，以得到阴影区域的图；
步骤402’、由阴影去除网络对阴影区域的图进行修复，以得到补偿后的阴影区域图；
所述阴影去除网络采用UNet结构，包含6个Conv+Relu+CBAM结构和6个DConv+Relu结构，每个降采样层和后面对应分辨率的升采样层之间有跳层连接，其输出中阴影区域的光照已经得到补偿；
步骤403’、在通道层拼接阴影区域的Mask、所述待定损的车辆图像和补偿后的阴影区域图，通过整图修复网络得到完整的消除阴影后的图像。
进一步的，阴影区域的图的大小和所述待定损的车辆图像相同，但是阴影区域以外的像素全部为0值。
进一步的，所述阴影去除网络采用UNet结构，包含6个Conv+Relu+CBAM结构和6个DConv+Relu结构，每个降采样层和后面对应分辨率的升采样层之间有跳层连接，其输出中阴影区域的光照已经得到补偿。
一种车损伤图像的增强装置，该装置用于实现上述方法，其特征在于，该装置包括部件分割模块、反光和阴影检测模块、反光去除模块、阴影去除模块；
所述部件分割模块，用于从待定损的车辆图像中分割出车辆的各个部件；
反光和阴影检测模块，用于对所述感兴趣部件区域分别进行反光区域检测、阴影区域检测；
反光去除模块，用于获得消除反光后的待定损图像；
阴影去除模块，用于获得消除阴影后的待定损图像。
通过本申请实施例，可以获得如下技术效果：
1）与现有技术相比，本发明为了解决现有定损方案中存在的问题，提出了一套以卷积神经网络为基础的图像修复方案，可以对图像进行修复，消除掉图中反光区域、阴影区域，在后续进行的AI定损时，能显著降低AI顶损环节的错误率，为保险公司挽回一部分损失；
2）大部分车辆事故的发生场景都在室外场景中发生，车辆的外部件在太阳光下拍照时极容易发生反光、阴影的情况，在后续的AI定损中及容易发生维修、换件等鉴定错误，给保险公司带来损失，本发明中针对车损图像中的这2类情况，先分割出车辆外观件中的各个部件区域，针对部件区域中的反光阴影区域进行修复，不管是后续AI定损还是人工核损环节的准确度均会有很大的提升，能为保险公司挽回损失。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为图像增强方法的流程示意图；
图2a为车辆外观部件的第一部分划分区域示意图；
图2b为车辆外观部件的第二部分划分区域示意图；
图3为分割出车辆各个部件的效果示意图；
图4a-1、图4a-2为第一图像的反光区域和阴影区域的检测结果示意图；
图4b-1、图4b-2为第二图像的反光区域和阴影区域的检测结果示意图；
图5为反光去除的流程示意图；
图6为阴影去除的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
图1为图像增强方法的流程示意图。该方法由车损伤图像的增强装置来实现，该装置包括部件分割模块、反光和阴影检测模块、反光去除模块、阴影去除模块。
所述图像的增强方法具体包括如下步骤：
步骤1、获取待定损的车辆图像；
步骤2、从待定损的车辆图像中分割出车辆的各个部件，并从分割出的所述车辆的各个部件中确定感兴趣部件区域，以作为AI定损环节感兴趣的区域；
该步骤由部件分割模块来实现，图2a为车辆外观部件的第一部分划分区域示意图；图2b为车辆外观部件的第二部分划分区域示意图。本发明中将车辆的外观件分为59个区域，59个部件区域分类如下：
前保险杠皮，后保险杠皮，前叶子板（右），前叶子板（左），中网，前门壳（右），前门壳（左），后门壳（右），后门壳（左），后叶子板（右），后叶子板（左），前风挡玻璃，后风挡玻璃，倒车镜（右），倒车镜（左），发动机罩，行李箱盖，前大灯（右），前大灯（左），内尾灯（右），内尾灯（左），外尾灯（右），外尾灯（左），尾灯（右），尾灯（左），底大边（右），底大边（左），钢圈，举升门壳，举升门玻璃；前保险杠皮，后保险杠皮，前叶子板（右），前叶子板（左），中网，前门壳（右），前门壳（左），后门壳（右），后门壳（左），后叶子板（右），后叶子板（左），前风挡玻璃，后风挡玻璃，倒车镜（右），倒车镜（左），发动机罩，行李箱盖，前大灯（右），前大灯（左），内尾灯（右），内尾灯（左），外尾灯（右），外尾灯（左），尾灯（右），尾灯（左），底大边（右），底大边（左），钢圈，举升门壳，举升门玻璃。
将车辆的外观部件分为59个区域的目的主要为找出图像中AI定损环节感兴趣的区域，本发明选定59个区域中的30个感兴趣部件区域，具体如下：
前保险杠皮，后保险杠皮，前叶子板（右），前叶子板（左），中网，前门壳（右），前门壳（左），后门壳（右），后门壳（左），后叶子板（右），后叶子板（左），前风挡玻璃，后风挡玻璃，倒车镜（右），倒车镜（左），发动机罩，行李箱盖，前大灯（右），前大灯（左），内尾灯（右），内尾灯（左），外尾灯（右），外尾灯（左），尾灯（右），尾灯（左），底大边（右），底大边（左），钢圈，举升门壳，举升门玻璃。
将上述30个感兴趣部件区域作为AI定损环节感兴趣的区域。在后续模块的处理中只对部件分割模块中含有30个感兴趣区域的图像进行处理。
其中，采用实例分割（Instance segmentation）算法Mask-RCNN方法来对待定损图像进行实例分割，以分割出车辆的各个部件。Mask-RCNN是一个非常灵活的框架，可以增加不同的分支完成不同的任务，可以完成目标分类、目标检测、语义分割、实例分割、人体姿势识别等多种任务。
Mask-RCNN大体框架还是Faster-RCNN的框架，可以说在基础特征网络之后又加入了全连接的分割子网，由原来的两个任务（分类+回归）变为了三个任务（分类+回归+分割）。MaskR-CNN采用和FasterR-CNN相同的两个阶段：第一个阶段具有相同的第一层（即RPN），扫描图像并生成提议（proposals，即有可能包含一个目标的区域）；第二阶段，除了预测种类和bbox回归，并添加了一个全卷积网络的分支，对每个RoI预测了对应的二值掩膜（binarymask），以说明给定像素是否是目标的一部分。所谓二进制mask，就是当像素属于目标的所有位置上时标识为1，其它位置标识为0。Mask-RCNN方法的详细流程不属于本发明的核心内容，在此不做详细介绍。
图3为分割出车辆各个部件的效果示意图。在该图中，得到车辆各个部件的Mask，在后续的反光和阴影检测模块以及消除反光消除阴影的处理中仅仅对Mask内部的区域进行处理，因为在取图时，往往车辆背景图像比较复杂，在后续的处理中对背景区域也处理的话容易引起背景区域的图像变化。
步骤3、对所述感兴趣部件区域分别进行反光区域检测、阴影区域检测，若检测到待定损的车辆图像中存在反光区域，则确定反光区域的Mask；若检测到待定损的车辆图像中存在阴影区域，则确定阴影区域的Mask；若未检测到反光区域和阴影区域，则执行步骤5；
其中，在步骤3中进行反光区域检测、阴影区域检测之前，还包括：
采用Mask-RCNN方法来对待定损图像进行语义分割，Mask-RCNN添加语义分割分支后对图像的反光区域和阴影区域进行检测；
该步骤由反光和阴影区域检测模块来实现，该步骤中得到反光区域的Mask和阴影区域的Mask，供后续的反光去除模块和阴影去除模块使用。图4a-1、图4a-2分别为第一图像的反光区域和阴影区域的检测结果示意图，图4b-1、图4b-2为第二图像的反光区域和阴影区域的检测结果示意图，其中，图4a-1、图4b-1的为反光区域检测结果；图4a-2、图4b-2为阴影区域检测结果。
步骤4、若检测到待定损的车辆图像中存在反光区域，则根据确定的所述反光区域的Mask和所述待定损的车辆图像，获得消除反光后的待定损图像，将消除反光后的图像送给后端的AI定损服务器；
若检测到待定损的车辆图像中存在阴影区域，则根据确定的所述阴影区域的Mask和所述待定损的车辆图像，获得消除阴影后的待定损图像，将消除阴影后的图像送给后端的AI定损服务器；
该步骤中的消除反光处理由反光去除模块来实现，反光去除的流程示意图如图5所示，具体步骤如下：
步骤401、采用多尺度拉普拉斯卷积核Laplace kernel对所述待定损的车辆图像进行特征提取，获得拉普拉斯特征；
步骤402、采用正常的卷积核模块对所述待定损的车辆图像进行特征提取，以获得待定损的车辆图像特征；
步骤403、对所述拉普拉斯特征分别进行反射特征的提取和透射抑制处理，以得到反射概率图
Figure 985928DEST_PATH_IMAGE004
和被抑制后的拉普拉斯特征；
步骤404、根据所述待定损的车辆图像特征、反射概率图
Figure 616629DEST_PATH_IMAGE004
和被抑制后的拉普拉斯特征来获得反射图Reflection；
步骤405、使用1减去反射概率图
Figure 114738DEST_PATH_IMAGE004
以得到透射概率图；
步骤406、将所述待定损的车辆图像、反射图和透射概率图采用基于上下文的自动编码器Contextual Autoencoder以得到消除反光后的图像；
其中，反射概率图
Figure 466085DEST_PATH_IMAGE004
为同所述待定损的车辆图像尺寸大小一致的单通道图，其每个像素点的值为0-1的浮点数，表示该像素位置上接受到的光为反射光的概率，1减去该点的像素值表示该像素位置上接收到的光为透射光的概率；
Contextual Autoencoder 部分包含6个Conv+Relu+CBAM结构和6个DConv+Relu结构，每个降采样层和后面对应分辨率的升采样层之间有跳层连接，ContextualAutoencoder 的输出为消除反光后的图像。
其中，Conv+Relu为通过滤波提取图像特征的一种方式，CBAM为注意力模块，用于将神经网络的注意力主要集中在目标区域。DConv+Relu为反卷积模块，目的为对当前图像进行升采样，例如
Figure 677623DEST_PATH_IMAGE005
的图，经过一次步长为2反卷积模块会变为
Figure 666177DEST_PATH_IMAGE006
的图；
在上述Contextual Autoencoder 部分的处理过程中，一张图经过一次Conv+Relu+CBAM模块其大小会变为原来的1/2，该结构前面为6个Conv+Relu+CBAM，每经过一个会变为原来的1/2大小，后面有6个DConv+Relu结构，每经过一个DConv+Relu，其大小会变为原来的2倍，因此其结果和原图一样大小，但是中间会分别出现2次1/2、4/1……1/32的阶段，其前面和后面大小相同的层之间有跳层连接，跳层连接为将下采样时的1/2大小的图，拼接到上采样时1/2的图上。
该Contextual Autoencoder模块包含神经网络部分，有训练阶段推理阶段2个阶段。
1）训练阶段：以图像对作为输入，每一个图像对采用手机相机及光学镜片（可以过滤掉镜面反射的光）采集得到，包含一张含有反光区域的图和不含反光区域的图，带有反光区域的图作为神经网络的输入，不含有反光区域的图像作为神经网络的训练标签，训练的损失采用对应像素之间的
Figure 838532DEST_PATH_IMAGE007
损失
Figure 852625DEST_PATH_IMAGE008
其中
Figure 872664DEST_PATH_IMAGE009
代表图像区域，
Figure 720535DEST_PATH_IMAGE010
代表标签图像中的像素，
Figure 442503DEST_PATH_IMAGE011
代表神经网络输出的消除反光后的图像。采用随机梯度下降法或其他方法优化该神经网络，直到其损失小于指定值，保存此时的权重为其最佳权重。
2）推理阶段：采用训练阶段得到的最佳权重当作神经网络的初始权重，输入为带有反光区域的图像，推理结果为消除反光区域后的图像。
在步骤403中，进一步包括：
步骤4031、将所述待定损的车辆图像分别缩放到原始尺寸的1、1/2、1/4、1/8大小，采用拉普拉斯卷积核Laplace kernel进行特征提取，再依次分别进行0、1、2、4次上采样到所述待定损的车辆图像的大小，以得到各上采样后的车辆图像；
步骤4032、将各上采样后的车辆图像在通道层进行拼接，之后再接3个SE（Squeeze-and-Excitation）模块进行反射特征的提取，对提取后的反射特征后接一个卷积层和Sigmoid层得到反射概率图
Figure 509554DEST_PATH_IMAGE012
；
步骤4033、对提取的反射特征后再接3个SE模块来抑制透射区域的拉普拉斯特征；
步骤4034、通过反射概率图
Figure 305472DEST_PATH_IMAGE012
和被抑制后的拉普拉斯特征做点积后得到最终的反射部分的拉普拉斯特征
Figure 386560DEST_PATH_IMAGE013
；
步骤4035、采用4个SE模块提取所述待定损的车辆图像的特征
Figure 143295DEST_PATH_IMAGE014
，将反射部分的拉普拉斯特征
Figure 905714DEST_PATH_IMAGE013
和所述待定损的车辆图像的特征
Figure 884035DEST_PATH_IMAGE014
在通道层拼接，之后通过LSTM +Conv + Relu得到反射图Reflection；
其中“LSTM + Conv + Relu”为一种神经网络的常见连接方式，LSTM为长短记忆模块，用于进行特征间的传递，conv+Relu为通过滤波提取图像某种特征的方式，此处提取的为反射特征。
该步骤中的消除阴影处理由阴影去除模块来实现，阴影去除的流程示意图如图6所示，具体步骤如下：
步骤401’、将所述待定损的车辆图像和所述阴影区域的Mask在像素层级做点积，以得到阴影区域的图；
其中，阴影区域的图的大小和所述待定损的车辆图像相同，但是阴影区域以外的像素全部为0值；
步骤402’、由阴影去除网络对阴影区域的图进行修复，以得到补偿后的阴影区域图；
所述阴影去除网络采用UNet结构，包含6个Conv+Relu+CBAM结构和6个DConv+Relu结构，每个降采样层和后面对应分辨率的升采样层之间有跳层连接，其输出中阴影区域的光照已经得到补偿；
步骤403’、在通道层拼接阴影区域的Mask、所述待定损的车辆图像和补偿后的阴影区域图，通过整图修复网络得到完整的消除阴影后的图像；
其中，所述整图修复网络包含3个SE模块。
阴影去除模块包含神经网络部分，有训练和推理2个阶段，其训练阶段的输入为由3张图组成的三元组（包含一张包含阴影的图、阴影区域的Mask图、不含阴影的图），这些样本可以采用固定相机，添加遮挡光线物体，获取包含阴影的图，移除阴影物体获取不含阴影的图，对包含阴影的图进行标注获取阴影区域的Mask图，也可以通过训练对抗生成网络(GAN)来生成大批量的阴影图像。
训练阶段的损失分为两个部分，一部分为阴影去除网络的损失，采用阴影区域内对应像素的
Figure 187889DEST_PATH_IMAGE015
损失为
Figure 884450DEST_PATH_IMAGE016
，其中
Figure 184981DEST_PATH_IMAGE017
代表阴影区域范围，
Figure 34119DEST_PATH_IMAGE018
代表标签图像中的像素，
Figure 988169DEST_PATH_IMAGE019
代表神经网络输出的消除阴影后的图像，另一部分为整图修复网络的损失，采用整图对应像素的
Figure 109709DEST_PATH_IMAGE015
损失
Figure 525515DEST_PATH_IMAGE020
，其中
Figure 9586DEST_PATH_IMAGE021
为整图区域中除
Figure 541062DEST_PATH_IMAGE022
以外的区域，
Figure 697368DEST_PATH_IMAGE023
代表标签图像中的像素，
Figure 729915DEST_PATH_IMAGE019
为整图修复网络的输出，整个模块的损失约束为：
Figure 786601DEST_PATH_IMAGE024
其中
Figure 223399DEST_PATH_IMAGE025
和
Figure 178585DEST_PATH_IMAGE026
分别代表2个部分的权重，分别为1和0.5。采用随机梯度下降法或其他优化方法训练该神经网络，直到其损失小于指定值，保存此时的权重为其最佳权重。
推理阶段采用训练阶段得到的最佳权重当作神经网络的初始权重，输入为带有阴影区域的图像和由第二阶段获得的阴影区域的Mask，推理结果为消除阴影区域后的图像。
步骤5、后端的AI定损服务器进行定损处理。
后端的AI定损服务器根据消除反光后的图像、消除阴影后的图像、所述待定损的车辆图像进行定损处理。
另一种实施方式，部件分割模块和反光和阴影区域检测模块中本发明采用Mask-RCNN方法来进行实例分割，目的为分割出各个部件的Mask和反光和阴影区域的Mask等，Mask-RCNN只是现有实例分割方法中的一种，现有方法中也有一些可以做实例分割的，比如Faster-RCNN、BlendMask等方法也能在本发明中取得近似的效果。
针对反光去除模块中获取反射图的过程中，先对反射特征进行了提取，再对透射特征进行了抑制最后结合原图的特征得到了反射图，这个过程中可以调整两个过程的顺序，不影响效果，其中采用多尺度拉普拉斯特征核进行卷积的方案可以换为单一尺度，最终的效果可能会差一点。针对阴影消除模块中，阴影取出网络后后还接了一个整图修复网络，这个网络的缺失对整个模块的影响有限。
综上所述，本发明的方法针对车损图像中的这2类情况，先分割出车辆外观件中的各个部件区域，针对部件区域中的反光阴影区域进行修复，不管是后续AI定损还是人工核损环节的准确度均会有很大的提升，能为保险公司挽回损失，能有效提高AI定损环节的准确率。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (3)

1.一种车损伤图像的增强方法，其特征在于，该方法包括如下步骤：
步骤1、获取待定损的车辆图像；
步骤2、从待定损的车辆图像中分割出车辆的各个部件，并从分割出的所述车辆的各个部件中确定感兴趣部件区域，以作为AI定损环节感兴趣的区域；
步骤3、对所述感兴趣部件区域分别进行反光区域检测、阴影区域检测，若检测到待定损的车辆图像中存在反光区域，则确定反光区域的Mask；若检测到待定损的车辆图像中存在阴影区域，则确定阴影区域的Mask；若未检测到反光区域和阴影区域，则执行步骤5；
步骤4、若检测到待定损的车辆图像中存在反光区域，则根据确定的所述反光区域的Mask和所述待定损的车辆图像，获得消除反光后的待定损图像，将消除反光后的图像送给后端的AI定损服务器；
若检测到待定损的车辆图像中存在阴影区域，则根据确定的所述阴影区域的Mask和所述待定损的车辆图像，获得消除阴影后的待定损图像，将消除阴影后的图像送给后端的AI定损服务器；
步骤5、后端的AI定损服务器进行定损处理；
在步骤4中，获得消除反光后的待定损图像，具体包括：
步骤401、采用多尺度拉普拉斯卷积核Laplacekernel对所述待定损的车辆图像进行特征提取，获得拉普拉斯特征；
步骤402、采用正常的卷积核模块对所述待定损的车辆图像进行特征提取，以获得待定损的车辆图像特征；
步骤403、对所述拉普拉斯特征分别进行反射特征的提取和透射抑制处理，以得到反射概率图RCMap和被抑制后的拉普拉斯特征；
步骤404、根据所述待定损的车辆图像特征、反射概率图RCMap和被抑制后的拉普拉斯特征来获得反射图Reflection；
步骤405、使用1减去反射概率图RCMap以得到透射概率图；
步骤406、将所述待定损的车辆图像、反射图和透射概率图采用基于上下文的自动编码器ContextualAutoencoder以得到消除反光后的图像；
反射概率图RCMap为同所述待定损的车辆图像尺寸大小一致的单通道图，其每个像素点的值为0-1的浮点数，表示该像素位置上接受到的光为反射光的概率，1减去该点的像素值表示该像素位置上接收到的光为透射光的概率；
步骤403进一步包括：
步骤4031、将所述待定损的车辆图像分别缩放到原始尺寸的1、1/2、1/4、1/8大小，采用拉普拉斯卷积核Laplacekernel进行特征提取，再依次分别进行0、1、2、4次上采样到所述待定损的车辆图像的大小，以得到各上采样后的车辆图像；
步骤4032、将各上采样后的车辆图像在通道层进行拼接，之后再接3个SE模块进行反射特征的提取，对提取后的反射特征后接一个卷积层和Sigmoid层得到反射概率图RCMap；
步骤4033、对提取的反射特征后再接3个SE模块来抑制透射区域的拉普拉斯特征；
步骤4034、通过反射概率图RCMap和被抑制后的拉普拉斯特征做点积后得到最终的反射部分的拉普拉斯特征FLaplace；
步骤4035、采用4个SE模块提取所述待定损的车辆图像的特征F，将反射部分的拉普拉斯特征FLaplace和所述待定损的车辆图像的特征F在通道层拼接，之后通过LSTM+Conv+Relu得到反射图Reflection；
在步骤4中，获得消除阴影后的待定损图像，具体包括：
步骤401’、将所述待定损的车辆图像和所述阴影区域的Mask在像素层级做点积，以得到阴影区域的图；
步骤402’、由阴影去除网络对阴影区域的图进行修复，以得到补偿后的阴影区域图；
所述阴影去除网络采用UNet结构，包含6个Conv+Relu+CBAM结构和6个DConv+Relu结构，每个降采样层和后面对应分辨率的升采样层之间有跳层连接，其输出中阴影区域的光照已经得到补偿；
步骤403’、在通道层拼接阴影区域的Mask、所述待定损的车辆图像和补偿后的阴影区域图，通过整图修复网络得到完整的消除阴影后的图像；
在步骤3中进行反光区域检测、阴影区域检测之前，还包括：
采用Mask-RCNN方法来对待定损图像进行语义分割，Mask-RCNN添加语义分割分支后对图像的反光区域和阴影区域进行检测；
阴影区域的图的大小和所述待定损的车辆图像相同，但是阴影区域以外的像素全部为0值；
所述阴影去除网络采用UNet结构，包含6个Conv+Relu+CBAM结构和6个DConv+Relu结构，每个降采样层和后面对应分辨率的升采样层之间有跳层连接，其输出中阴影区域的光照已经得到补偿。
2.根据权利要求1所述的方法，其特征在于，采用实例分割算法Mask-RCNN方法来对待定损图像进行实例分割。
3.一种车损伤图像的增强装置，该装置用于实现如权利要求 1或2所述的方法，其特征在于，该装置包括部件分割模块、反光和阴影检测模块、反光去除模块、阴影去除模块；
所述部件分割模块，用于从待定损的车辆图像中分割出车辆的各个部件；
反光和阴影检测模块，用于对所述感兴趣部件区域分别进行反光区域检测、阴影区域检测；
反光去除模块，用于获得消除反光后的待定损图像；
阴影去除模块，用于获得消除阴影后的待定损图像。
CN202110958922.3A 2021-08-20 2021-08-20 一种车损伤图像的增强方法和装置 Active CN113538293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110958922.3A CN113538293B (zh) 2021-08-20 2021-08-20 一种车损伤图像的增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110958922.3A CN113538293B (zh) 2021-08-20 2021-08-20 一种车损伤图像的增强方法和装置

Publications (2)

Publication Number Publication Date
CN113538293A CN113538293A (zh) 2021-10-22
CN113538293B true CN113538293B (zh) 2022-09-13

Family

ID=78091904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110958922.3A Active CN113538293B (zh) 2021-08-20 2021-08-20 一种车损伤图像的增强方法和装置

Country Status (1)

Country Link
CN (1) CN113538293B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641334B (zh) * 2022-12-09 2023-04-04 北京闪马智建科技有限公司 道路防撞设施损伤识别方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154491B (zh) * 2018-01-26 2021-04-23 上海觉感视觉科技有限公司 一种图像反光消除方法
CN108491821A (zh) * 2018-04-02 2018-09-04 深圳市亚来科技有限公司 基于图像处理和深度学习的车险事故鉴别方法、系统及存储介质
CN108921068B (zh) * 2018-06-22 2020-10-20 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统
CN108985343B (zh) * 2018-06-22 2020-12-25 深源恒际科技有限公司 基于深度神经网络的汽车损伤检测方法和系统
CN109145903A (zh) * 2018-08-22 2019-01-04 阿里巴巴集团控股有限公司 一种图像处理方法和装置
CN109410218B (zh) * 2018-10-08 2020-08-11 百度在线网络技术（北京）有限公司 用于生成车辆损伤信息的方法和装置
KR102097120B1 (ko) * 2018-12-31 2020-04-09 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
KR102062579B1 (ko) * 2019-09-23 2020-01-06 주식회사 아프로시스템즈 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템
CN111488875B (zh) * 2020-06-24 2021-04-13 爱保科技有限公司 基于图像识别的车险理赔核损方法、装置和电子设备
CN111612104B (zh) * 2020-06-30 2021-04-13 爱保科技有限公司 车辆定损图像获取方法、装置、介质和电子设备
CN112102201B (zh) * 2020-09-24 2024-05-28 深圳市赛为智能股份有限公司 图像阴影反光消除方法、装置、计算机设备及存储介质
CN112115895B (zh) * 2020-09-24 2023-12-22 深圳市赛为智能股份有限公司 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN113139917A (zh) * 2021-04-23 2021-07-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113205530A (zh) * 2021-04-25 2021-08-03 Oppo广东移动通信有限公司 阴影区域处理方法及装置、计算机可读介质和电子设备

Also Published As

Publication number Publication date
CN113538293A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
Qian et al. Attentive generative adversarial network for raindrop removal from a single image
CN112232349A (zh) 模型训练方法、图像分割方法及装置
CN111915530A (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN113506300B (zh) 一种基于雨天复杂道路场景下的图片语义分割方法及系统
CN109886200B (zh) 一种基于生成式对抗网络的无人驾驶车道线检测方法
CN113538293B (zh) 一种车损伤图像的增强方法和装置
CN111898539A (zh) 一种多目标检测方法、装置、系统、设备及可读存储介质
CN110503609B (zh) 一种基于混合感知模型的图像去雨方法
CN115546742A (zh) 一种基于单目热红外摄像头的铁轨异物识别方法及系统
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
Palvanov et al. DHCNN for visibility estimation in foggy weather conditions
CN115810112A (zh) 图像处理方法、装置及存储介质、电子设备
CN110738624B (zh) 一种区域自适应的图像去雾系统及方法
CN116386023B (zh) 基于时空扩散的高位相机车牌识别方法、系统及电子设备
Ding et al. Restoration of single sand-dust image based on style transformation and unsupervised adversarial learning
CN114998713B (zh) 路面病害识别方法、装置、系统、电子设备及存储介质
CN116310598A (zh) 一种用于恶劣天气下的障碍物检测方法及装置
CN115965531A (zh) 模型训练方法及图像生成方法、装置、设备和存储介质
CN114998117A (zh) 结合图像去雾去噪的港口船舶智能识别方法及系统
CN115565155A (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆
CN114757819A (zh) 一种结构引导的风格偏差校正型风格迁移方法及系统
CN111582221A (zh) 车道线识别方法、装置和设备
CN112927231B (zh) 车身污垢检测模型的训练方法、车身污垢检测方法及装置
Revanth et al. Non-Homogeneous Haze Image Formation Model Based Single Image Dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant