CN109815997A - 基于深度学习的识别车辆损伤的方法和相关装置 - Google Patents
基于深度学习的识别车辆损伤的方法和相关装置 Download PDFInfo
- Publication number
- CN109815997A CN109815997A CN201910015378.1A CN201910015378A CN109815997A CN 109815997 A CN109815997 A CN 109815997A CN 201910015378 A CN201910015378 A CN 201910015378A CN 109815997 A CN109815997 A CN 109815997A
- Authority
- CN
- China
- Prior art keywords
- picture
- region
- damage
- convolution
- residual error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006378 damage Effects 0.000 title claims abstract description 267
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 230000006735 deficit Effects 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 56
- 238000010586 diagram Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000000472 traumatic effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 18
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 5
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000012880 Finger injury Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Finance (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Technology Law (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供基于深度学习的识别车辆损伤的方法和相关装置,其中,所述方法包括:获取目标车辆对应的第一图片,所述目标车辆为待识别损伤的车辆,所述第一图片为包含所述目标车辆的损伤部位的图片;通过残差密集网络对所述第一图片进行处理,得到第二图片,所述第二图片的分辨率高于所述第一图片的分辨率;通过基于单点多盒检测器算法的损伤检测模型对所述第二图片进行检测,得到第一信息,所述第一信息包括所述损伤部位在所述第二图片中的位置坐标;根据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域。该技术方案可以识别车辆的微小损伤,提高车辆损伤识别的精度。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及基于深度学习的识别车辆损伤的方法和相关装置。
背景技术
机动车辆保险,是指对机动车辆由于自然灾害或意外事故所造成的人身伤亡或财产损失负赔偿责任的一种商业保险。在对机动车辆保险进行理赔的过程中,保险公司需要对机动车辆是否存在损伤和车辆损伤类型等进行判定和识别,以进行责任认定和理赔。
在车辆发生交通事故后,车辆的某些部位会留下破损、刮伤等损伤的痕迹。目前,保险公司一般是识别车主或业务人员拍摄的经过交通事故后的车辆的图片,对图片中车辆的损伤部位的损伤类型来对车辆存在的损伤和损伤类型进行识别判定。由于在不同的交通事故中,车辆所产生的损伤类型不同。对于损伤类型较轻的部位,其在图片中不明显,导致无法识别,这样容易影响责任认定和后续的理赔。
发明内容
本发明实施例提供基于深度学习的识别车辆损伤的方法和相关装置,解决无法识别车辆损失程度较轻的部位的问题。
第一方面,提供一种基于深度学习的识别车辆损伤的方法,包括:
获取目标车辆对应的第一图片,所述目标车辆为待识别损伤的车辆,所述第一图片为包含所述目标车辆的损伤部位的图片;
通过残差密集网络(residual dense network,RDN)对所述第一图片进行处理,得到第二图片,所述第二图片的分辨率高于所述第一图片的分辨率;
通过基于单点多盒检测器(single shot multiboxdetector,SSD)算法的损伤检测模型对所述第二图片进行检测,得到第一信息,所述第一信息包括所述损伤部位在所述第二图片中的位置坐标;
根据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域。
本发明实施例中,在获取到包含车辆的损伤部位的图片后,通过RDN对图片进行识别,得到分辨率更高的图片,再通过基于SSD的损伤检测模型对该分辨率更高的图片进行检测,确定损伤部位在第二图片中的位置坐标并在第一图片中标记出损伤部位所在的区域。由于通过RDN对图片进行处理,使得图片的细节更清晰,在图片的细节更清晰的基础上,通过损伤检测模型可以识别出损伤类型较轻的损伤部位,提高了车辆损伤识别和定位的精度。
结合第一方面,在一种可能的实现方式中,所述通过残差密集网络对所述第一图片进行处理,得到第二图片,包括:基于所述残差密集网络的浅层特征提取网络对所述第一图片进行卷积处理,得到所述第一图片对应的浅层特征图;基于所述残差密集网络的残差密集网络对所述浅层特征卷积图进行卷积和线性修正处理,得到所述第一图片对应的多个残差密集特征图,所述残差密集网络包括多个残差密集块,所述多个残差密集特征图分别为所述多个残差密集块中的各个残差密集块对应的残差密集特征图;基于所述残差密集网络的密集特征融合网络对多个局部特征图进行密集特征融合,得到所述第一图片对应的全局特征图,所述多个局部特征图包括所述浅层特征图和所述多个残差密集特征图;基于所述残差密集网络的上采样网络对所述全局特征图进行上采样和卷积处理,得到第二图片。通过对图片进行浅层特征提取、层级特征提取、全局特征融合和上采样等过程,可以提高图片的分辨率。
结合第一方面,在一种可能的实现方式中,所述基于所述残差密集网络的残差密集网络对所述浅层特征卷积图进行卷积和线性修正处理,得到所述第一图片对应的多个残差密集特征图,包括:通过第d残差密集块内的卷积层对第(d-1)残差密集特征图进行卷积和线性修正处理,得到所述第d残差密集块对应的第d残差密集特征图,d为1至D中的每一个正整数,D为所述多个残差密集块的个数,所述第(d-1)残差密集特征图中的第0残差密集特征图为所述浅层特征卷积图;将所述第d残差密集特征图确定为所述第一图片对应的多个残差密集特征图。
结合第一方面,在一种可能的实现方式中,所述通过基于单点多盒检测器算法的损伤检测模型对所述第二图片进行检测,得到第一信息,包括:基于所述损伤检测模型中的卷积层对所述第二图片进行卷积处理,得到多个尺寸不同的卷积特征图,每个卷积特征图包括多个卷积特征子图;分别确定所述每个卷积特征图对应的目标卷积特征信息,所述目标卷积特征信息包括所述多个卷积特征子图中各个卷积特征子图对应的卷积特征信息;分别确定所述目标卷积特征信息中的各个卷积特征信息对应的位置坐标,将在所述第二图片中与所述位置坐标对应的区域确定为所述各个卷积特征信息对应的第一区域;确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别,并将置信度大于置信度阈值并且属性类别为损伤的第一区域确定为第二区域;根据所述第二区域对应的位置坐标确定所述损伤部位在所述第二图片中的位置坐标。通过基于SSD的损伤检测模型对图片进行识别,由于SSD算法采用了多尺度的特征图,可以对不同大小的损伤部位进行识别。
结合第一方面,在一种可能的实现方式中,所述确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别,包括:分别确定所述各个卷积特征信息与所述损伤检测模型中的两种属性类别之间的匹配概率,所述两种属性类别分别为背景和损伤;在所述各个卷积特征信息与所述损伤检测模型中的两种属性类别之间的匹配概率中确定最大匹配概率,并将所述最大匹配概率确定为所述各个卷积特征信息对应的第一区域的置信度,以及,将所述最大匹配概率对应的属性类别确定为所述第一区域对应的属性类别。
结合第一方面,在一种可能的实现方式中,所述根据所述第二区域对应的位置坐标确定所述损伤部位在所述第二图片中的位置坐标,包括:在所述第二区域的数量为多个的情况下,在所述第二区域中确定置信度最大的第二区域,将所述置信度最大的区域确定为第三区域;计算第四区域与第三区域的区域交叉度(intersection over union,IoU),所述第四区域为所述第二区域中排除所述第三区域之后的第二区域,所述IoU用于指示所述第四区域与所述第三区域在所述第二图片中的重合程度;在所述第四区域中查找第五区域,所述第五区域与所述第三区域的IoU大于IoU阈值;在查找到所述第五区域的情况下,将所述第三区域确定为目标区域,并在所述第二区域中排除所述第三区域和所述第五区域之后,如果所述第二区域的数量仍为多个,则执行所述在所述第二区域中确定置信度最大的第二区域,将所述置信度最大的区域确定为第三区域的步骤;在未查找到第五区域的情况下,将所述第三区域确定为目标区域,并在所述第二区域中排除所述第三区域之后,如果所述第二区域的数量仍为多个,则执行所述在所述第二区域中确定置信度最大的第二区域,将所述置信度最大的区域确定为第三区域的步骤;直到在所述第二区域中确定所有的目标区域;在所述第二区域的数量为一个的情况下,将所述第二区域确定为目标区域;将所述目标区域对应的位置坐标确定为所述损伤部位在所述第二图片中的位置坐标。通过计算两个区域的区域交叉度,可以确定两个区域的重合程度,从而可以剔除重合度高的区域。
结合第一方面,在一种可能的实现方式中,所述通过基于单点多盒检测器算法的损伤检测模型对所述第二图片进行检测,得到第一信息之后,还包括:根据所述损伤部位在所述第二图片中的位置坐标从所述第二图片中截取包括所述损伤部位的第三图片,所述第三图片的尺寸小于第二图片;通过预先训练得到的损伤类型识别模型对所述第三图片进行识别,得到所述损伤部位的损伤类型;所述据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域包括:根据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域,并在所述第二图片标记出所述损伤部位的损伤类型。在识别出损伤部位所在的区域后,在识别定位到图片中的车辆的损伤部位后,通过进一步对该损伤部位所在的区域对应的图片进行识别,识别除了该损伤部位的损伤类型,自动完成了对该损伤部位的损伤类型的认定,可以帮助定损人员确定理赔费用。
第二方面,提供一种基于深度学习的识别车辆损伤的装置,包括:
图片获取模块,用于获取目标车辆对应的第一图片,所述目标车辆为待识别损伤的车辆,所述第一图片为包含所述目标车辆的损伤部位的图片;
图片处理模块,用于通过残差密集网络对所述第一图片进行处理,得到第二图片,所述第二图片的分辨率高于所述第一图片的分辨率;
图片检测模块,用于通过基于单点多盒检测器算法的损伤检测模型对所述第二图片进行检测,得到第一信息,所述第一信息包括所述损伤部位在所述第二图片中的位置坐标;
标记模块,用于根据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域。
第三方面,提供另一种基于深度学习的识别车辆损伤的装置,包括处理器、存储器以及输入输出接口,所述处理器、存储器和输入输出接口相互连接,其中,所述输入输出接口用于发送或接收数据,所述存储器用于存储基于图像识别的保单录入装置执行上述方法的应用程序代码,所述处理器被配置用于执行上述第一方面的方法。
第四方面,提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本发明实施例中,通过提高图片的分辨率后再对其包含的车辆损伤部位进行识别和定位,可以识别和定位出损伤类型较小的部位,提高识别和定位的精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于深度学习的识别车辆损伤的方法的流程示意图;
图2是本发明实施例提供的一种包含车辆的损伤部位的图片的示意图;
图3是本发明实施例提供的一种残差密集网络的网络架构示意图;
图4是本发明实施例提供的残差密集块的示意图;
图5是本发明实施例提供的损伤检测模型中的卷积网络结构的示意图;
图6是本发明实施例提供的卷积特征图与卷积特征子图之间的关系示意图;
图7是本发明实施例提供的卷积特征图与原图片之间的映射关系的示意图;
图8是本发明实施例提供的根据第二区域对应的位置坐标确定目标车辆的损伤部位在第二图片中的位置坐标的流程示意图;
图9是本发明实施例提供的对图片进行标记后的示意图;
图10是本发明实施例提供的另一种基于深度学习的识别车辆损伤的方法的流程示意图;
图11是本发明实施例提供的对图片进行标记后的示意图;
图12是本发明实施例提供的一种基于深度学习的识别车辆损伤的装置的组成结构示意图;
图13是本发明实施例提供的另一种基于深度学习的识别车辆损伤的装置的组成结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的方案适用于车辆定损的场景。在车辆定损的场景中,当车辆发生交通事故(如发生追尾等)后,保险人员可以通过图片采集设备(如手机、摄像机、单反相机,等等)对事故车辆(指发生交通事故的车辆)的各个损伤部位进行拍照采集,得到一张或多张包含有车辆损伤部位的图片,然后通过图片采集设备将包含有车辆的损伤部位的图片上传至对车辆进行定损的车辆定损装置(如服务器、云平台等)中。车辆定损装置接收到该包含有车辆的损伤部位的图片后,将图片输入至目标检测模型中。目标检测模型包括残差密集网络和损伤检测模型。残差密集网络对图片依次进行浅层特征提取、层级特征提取、全局融合、上采样等处理,对图片的细节进行特征提取和恢复,提高图片的分辨率。损伤检测模型对提高分辨率后的图片进行目标识别检测,识别并定位出图片中的车辆损伤部位,然后在提高分辨率后的图片中进行标记,得到标记后的图片。得到标记后的图片后,车辆定损装置将标记后的图片发送给图片采集设备,标记后的图片可以显示在图片采集设备上。可选地,车辆定损装置还可以在定位出车辆损伤部位后,对车辆损伤部位的损伤类型进行识别和检测,然后将在提高分辨率后的图片中进行标记,得到标记后的图片,然后将标记后的图片发送给图片采集设备。
在另一种可能的情况中,车辆定损装置可以与图片采集装置为同一个装置,在此种场景下,图片采集装置(即车辆定损装置)可以将采集到的图片直接输入至目标检测模型中,对车辆损伤部位进行识别和定位。
由上述场景描述可知,在发生交通事故后,车辆定损装置通过利用残差密集网络对包含有车辆损伤部位的图片的分辨率进行提高,使得图片的细节更加清晰,从而使得损伤检测模型可以检测出更加细微的损伤部位,提高了车辆定损的场景中车辆定损的精度。
接下来具体介绍上述场景中涉及的技术方案。
参见图1,图1是本发明实施例提供的一种基于深度学习的识别车辆损伤的方法的流程示意图,该方法可以实现在前述提到的车辆定损装置上。如图所示,该方法包括如下步骤:
S101,获取目标车辆对应的第一图片,目标车辆为待识别损伤的车辆,第一图片为包含目标车辆的损伤部位的图片。
具体地,可以从本地或网络中获取第一图片。例如,采集第一图片的装置和对车辆进行定损的装置不为同一个装置,则可以从网络中获取第一图片;又如,采集第一图片的装置和对车辆进行定损的装置为同一个装置,则可以从本地获取第一图片;又如,采集第一图片的装置和对车辆进行定损的装置不为同一个装置,定损用户(指负责对车辆进行定损的人员)将采集第一图片的装置采集到的第一图片通过SD卡拷贝的方式拷贝至对车辆进行定损的装置,则可以从本地获取第一图片。
这里,包含目标车辆的损伤部位的图片指图片内容中存在车辆的损伤部位的图片,其中,车辆的损伤部位是指因车辆发生剐蹭、碰撞等事件而造成其掉漆、凹陷、碎裂、掉落等情况的部位。示例性地,包含目标车辆的损伤部位的图片可以如图2所示,在图2所示的图片中,图片所包含的目标车辆的损伤部位位于图片的右下方位置,该损伤部位为车辆尾灯旁边的外壳。
S102,通过残差密集网络对第一图片进行处理,得到第二图片,第二图片的分辨率高于第一图片的分辨率。
本发明实施例中,残差密集网络为一种结合残差网络和密集连接网络的特性去利用原始的低分辨率的图像的所有分层特征以构建高分辨率的图像的网络结构。残差密集网络的网络架构示意图可以如图3所示,该网络架构包括四部分:1)浅层特征提取网络(SFENet),浅层特征提取网络由两个卷积层组成,用于提取图片的浅层特征;2)残差密集网络,残差密集网络由多个残差密集块(RDB)组成,用于提取图片的层级特征;3)密集特征融合网络(DFF),密集特征融合网络用于对通过残差密集网络提取得到的层级特征进行全局特征融合和全局残差学习,得到图片的全局特征;4)上采样网络(UPNet),上采样网络用于对图片的全局特征进行上采样和卷积操作,得到提高分辨率之后的图片。
以下具体介绍通过残差密集网络对第一图片进行处理,得到第二图片的过程。
一、基于残差密集网络的浅层特征提取网络进行卷积处理,得到第一图片对应的浅层特征图。
这里,浅层特征提取网络可以如图3所示,包括两个卷积层,基于残差密集网络的浅层特征提取网络进行卷积处理,得到第二图片对应的浅层特征图的方式为:通过第一卷积核对第一图片进行卷积处理,得到第一卷积特征图;通过第二卷积核对第二图片进行卷积处理,得到第二卷积特征图,将第二卷积特征图确定为第一图片对应的浅层特征图。其中,第一卷积核和第二卷积核分别为两个卷积层的卷积核,卷积核的物理意义为一个a*a(如1*1、3*3等)的矩阵。
具体实现中,可以将第一图片量化,得到第一图片对应的像素矩阵,该像素矩阵为一个m*n的矩阵,m*n等于第一图片的像素,该像素矩阵中的值为该第一图片中的亮度、色度等进行综合量化得到的量化值。例如,第一图片的像素为1920*2040的图片,则第一图片对应的像素矩阵为一个1920*2040的矩阵,矩阵中的值为该值所对应的像素的量化值。然后将第一图片的像素矩阵与第一卷积核对应的矩阵相乘,则得到第一卷积特征图对应的像素矩阵,再将第一卷积特征图对应的像素矩阵与第二卷积核对应的矩阵相乘,则得到第二卷积特征图对应的像素矩阵。
二、基于残差密集网络的残差密集网络对浅层特征卷积图进行卷积和线性修正处理,得到第一图片对应的多个残差密集特征图。
这里,残差密集网络可以如图3所示,包括多个残差密集块,残差密集块的结构示意图如图4所示,其中,一个残差密集块包括多个卷积层,每个卷积层用于对前几个卷积层输出的结果进行卷积计算,每个卷积层连接一个线性修正层,用于对与线性修正层连接的卷积层输出的结果进行线性修正。
以下以残差密集网络包括D个残差密集块,每个残差密集块包括(C+1)个卷积层对基于残差网络的残差密集网络对浅层特征卷积图进行卷积和线性修正处理,得到第一图片对应的残差密集特征图的过程进行介绍。
通过第1残差密集块内的卷积层对第一图片对应的浅层特征图进行卷积和线性修正处理,得到第1残差密集块对应的第1残差密集特征图;通过第2残差密集块内的卷积层对第1残差密集特征图进行卷积和线性修正处理,得到第2残差密集块对应的第2残差密集特征图;……;通过第D残差密集块内的卷积层对第(D-1)残差密集特征图进行卷积和线性修正处理,得到第D残差密集块对应的第D残差密集特征图。将第1残差密集特征图、第2残差密集特征图、……、第D残差密集特征图确定为多个残差密集特征图。上述过程可以概括为:通过第d残差密集块内的卷积层对第(d-1)残差密集特征图进行卷积和线性修正处理,得到第d残差密集块对应的第d残差密集特征图,d为1至D中的每一个正整数,第(d-1)残差密集特征图中的第0残差密集特征图为第一图片对应的浅层特征图;将第d残差密集特征图确定为第一图片对应的多个残差密集特征图。
其中,通过第d残差密集块内的卷积层对第(d-1)残差密集特征图进行卷积和线性修正处理,得到第d残差密集块对应的第d残差密集特征图的具体过程为:通过第d残差密集块内的第1卷积核(第一层的卷积层的卷积核)对第(d-1)残差密集特征图进行卷积处理,得到第1卷积核对应的卷积特征图,通过与第1卷积核对应的线性修正层对第1卷积核对应的卷积特征图进行线性修正处理,得到第d1卷积特征图;通过第d残差密集块内的第2卷积核(第二层的卷积层的卷积核)对第d2卷积特征图进行卷积处理,得到第2卷积核对应的卷积特征图,第d2卷积特征图包括第(d-1)卷积特征图和第d1卷积特征图,通过第2卷积核对应的线性修正层对第2卷积核对应的卷积特征图进行线性修正处理,得到第d3卷积特征图;通过第d残差密集块内的第3卷积核(第三层的卷积层的卷积核)对第d4卷积特征图进行卷积处理,得到第3卷积核对应的卷积特征图,第d4卷积特征图包括第(d-1)残差密集特征图、第d1卷积特征图和第d3卷积特征图,通过与第3卷积核对应的线性修正层对第3卷积核对应的卷积特征图进行线性修正处理,得到第d5卷积特征图;……;通过第d残差密集块内的第C卷积核(第C层的卷积层的卷积核)对第d(2C-2)卷积特征图进行卷积处理,得到第C卷积核对应的卷积特征图,第d(2C-2)卷积特征图包括第(d-1)残差密集特征图、第d1卷积特征图、……、第d(2C-3)卷积特征图,通过第C卷积核对应的卷积特征图进行线性修正处理,得到第d(2C-1)卷积特征图;通过第d残差密集块内的第(C+1)卷积核(1*1的卷积核)对第d2C卷积特征图进行卷积处理,得到第d(2C+1)卷积特征图,第d2C卷积特征图包括第(d-1)残差密集特征图、第d1卷积特征图、……、第d(2C-3)卷积特征图、第d2C卷积特征图;将第d(2C+1)卷积特征图与第(d-1)残差密集特征图进行融合处理,得到第d残差密集块对应的第d残差密集特征图。上述过程用公式可以表示为:
Fd=HRDB,d(Fd-1)=HRDB,d(HRDB,d-1(…(HRDB,1(F0))…)),其中,Fd为第d个残差密集块的输出,F0为第二卷积特征图对应的像素矩阵,HRDB,d为第d个RDB的运算。
三、基于残差密集网络的密集特征融合网络对多个局部特征图进行密集特征融合,得到第一图片对应的全局特征图,多个局部特征图包括浅层特征图和多个残差密集特征图。
这里,密集特征融合网络可以如图3所示,包括全局特征融合层和全局残差学习层。基于残差密集网络的密集特征融合网络对多个局部特征图进行密集特征融合,得到第一图片对应的全局特征图具体为:对多个局部特征图进行融合处理,得到第一全局卷积特征图;通过密集融合网络中的第1卷积核(1*1的卷积核)对第一全局卷积特征图进行卷积处理,得到第二全局卷积特征图;对第一图片对应的浅层卷积特征图和第二全局卷积特征图进行残差学习,得到第一图片对应的全局特征图。
四、基于残差密集网络的上采样网络对全局特征图进行上采样和卷积处理,得到第二图片。
这里,上采样网络可以如图3所示,包括上采样层和卷积层,具体实现中,可以通过邻插值、双线性插值、均值插值、中值插值等插值方式结合亚像素卷积神经网络对第一图片对应的全局特征图进行上采样,得到上采样特征图,然后利用最后一层卷积层对应的卷积核对上采样特征图进行卷积处理,得到第二图片对应的像素矩阵,根据第二图片对应的像素矩阵得到第二图片。
在上述四个步骤中,通过步骤一和步骤二提取得到图片的局部特征,,再通过步骤三对图片的局部特征进行融合,得到全局特征,再通过残差学习,学习局部的特征,可以对图片的细节进行恢复,最后通过步骤四对图片进行恢复,得到尺寸为原图尺寸的图,由于通过前面步骤的特征提取和学习,恢复了图片的细节,因而恢复得到的尺寸为原尺寸的图相较于原图分辨率提高,即,第二图片的分辨率高于第一图片的分辨率。
S103,通过基于单点多盒检测算法的损伤检测模型对第二图片进行检测,得到第一信息,第一信息包括目标车辆的损伤部位在第二图片中的位置坐标。
本发明实施例中,SSD是一种基于深度的one-stage框架下的目标学习算法,其通过在特征图上通过卷积核来预测位置框对应的类别和偏移量(位置框对应图中的哪一个位置)。基于SSD算法的损伤检测模型的示意图可以如图5所示,该损伤检测模型包括若干个卷积层,不同的卷积层对应不同尺寸的卷积核,通过不同尺寸的卷积核对图片进行卷积处理,可以得到不同尺寸的卷积特征图,不同尺寸的卷积核对应不同的多个先验框,通过利用卷积核对应的先验框对与卷积核对应的卷积图进行预测处理,可以得到多个预测框,根据该预测框对应的类别和置信度可以确定该预测框中的对象的位置和该对象的类别。
下面具体介绍通过基于SSD算法的损伤检测模型对第二图片进行检测,得到第一信息的过程。
一、基于损伤检测模型中的卷积层对第二图片进行卷积处理,得到多个尺寸不同的卷积特征图,每个卷积特征图包括多个卷积特征子图。
这里,损伤检测模型中的卷积网络结构可以如图5所示,将卷积层的作用按功能进行划分,可以将卷积层划分为一般卷积层和卷积特征层,其中,一般卷积层仅用于在损伤检测模型的卷积网络中对输入的图片进行卷积处理,如图5中除了标号为f1、f2、f3、f4、f5以及f6的卷积层之外的卷积层,卷积特征层为用于生成进行识别检测的卷积特征图的卷积层,如图5中标号为f1、f2、f3、f4、f5以及f6的卷积层。
本发明实施例中,多个尺寸不同的卷积特征图具体是指:通过损伤检测模型中的卷积特征层分别输出的结果所对应的卷积图,对该卷积图进行量化得到结果即为该输出的结果。其中,每个卷积特征层对应多个尺寸相同的卷积特征图,卷积特征层对应的尺寸越小,则卷积特征层对应的卷积特征图的数量越多。
例如,损伤检测模型中的卷积层如图5所示,则将图5中标号为f1、f2、f3、f4、f5以及f6的卷积层输出的结果所对应的卷积图作为多个尺寸不同的卷积特征图,那么,标号为f1的卷积层对应的卷积特征图的尺寸为38*38,标号为f1的卷积层对应多个尺寸为38*38的卷积特征图,标号为f2的卷积层对应的卷积特征图的尺寸为19*19,标号为f3的卷积层对应的卷积特征图的尺寸为10*10,标号为f4的卷积层对应的卷积特征图的尺寸为5*5,标号为f5的卷积层对应的卷积特征图的尺寸为3*3,标号为f6的卷积层对应的卷积特征图的尺寸为1*1;其中,尺寸为38*38的卷积特征图的数量少于尺寸为19*19的卷积特征图的数量,尺寸为19*19的卷积特征图的数量少于尺寸为10*10的卷积特征图的数量,尺寸为10*10的卷积特征图的数量少于尺寸为5*5的卷积特征图的数量……
具体实现中,可以将第二图片的尺寸调整为损伤检测模型对应的输入图片的尺寸(该尺寸可以是300*300,也可以是512*512),得到第三图片,第三图片的尺寸为损伤检测模型对应的输入图片的尺寸。然后将第三图片输入损伤检测模型的卷积网络中,将第三图片作为卷积网络中的第一个卷积层的输入,依次利用该卷积网络中的卷积层对应的卷积核对上一个卷积层输出的结果进行卷积处理,然后将该卷积网络中的卷积特征层输出的结果所对应的卷积图确定为多个尺寸不同的卷积特征图。其中,利用卷积层对应的卷积核对上一个卷积层输出的结果进行卷积处理具体是指利用该卷积核对应的矩阵与上一个卷积层输出的结果相乘,利用卷积层对应的卷积核对上一个卷积层输出的结果进行卷积处理得到的结果为尺寸为该卷积层对应的尺寸的矩阵,该矩阵对应的图像即为该卷积层对应的卷积图。可选地,如果该卷积网络中的卷积层之后还连接有线性修正层,则在卷积层输出结果之后,还可以利用该线性修正层对卷积层输出的结果进行修正处理,然后将修正处理得到结果作为下一个卷积层的输入,然后将卷积特征层后连接的线性修正层输出的结果作为多个尺寸不同的卷积特征图。
下面通过举例来进行说明,例如,损伤检测模型的卷积网络包括7个卷积层,其中,卷积层1为卷积网络的第一个卷积层,卷积层7为卷积网络的最后一个卷积层。在7个卷积层中,卷积层3、卷积层4、卷积层6和卷积层7为卷积特征层。则在将第三图片输入卷积网络中后,利用卷积层1对应的卷积核对第三图片进行卷积处理,得到第一卷积图;利用卷积层2对应的卷积核对第一卷积图进行处理,得到第二卷积图;……;利用卷积层7对第六卷积图进行处理,得到第七卷积特征图;然后将第三卷积图、第四卷积图、第六卷积图以及第七卷积图确定为卷积特征图。需说明的是,这里的举例仅用于说明利用卷积网络对第三图片进行卷积处理的过程,不对本发明实施例进行限制,在可选实施例中,卷积网络还可以包括更多的卷积层和更多的卷积特征层。
这里,卷积特征子图是指每个卷积特征图包含的特征单元,例如,卷积特征图的尺寸为4*4,则卷积特征图可以如图6所示,卷积特征图一共包含16个特征单元,每个特征单元为卷积特征图中的一个单元格,编号分别为1~16,即卷积特征图包含16个特征子图。
二、分别确定每个卷积特征图对应的目标卷积特征信息,目标卷积特征信息包括多个卷积特征子图中各个卷积特征子图对应的卷积特征信息。
这里,各个卷积特征子图对应的卷积特征信息是指:以卷积特征图对应的先验框作为预测框在该卷积特征图中以卷积特征子图为中心对应的内容。其中,不同的卷积特征图对应的先验框的尺寸和先验框的数量不同,一个卷积特征图可以对应多个尺寸不同的先验框。例如,卷积特征图如图6所示,则对于该卷积特征图中的卷积特征子图11,该卷积特征子图11对应的卷积特征信息为图6中的三个尺寸不同的虚线框所对应的该卷积特征图的信息。
具体实现中,可以分别以各个卷积特征图对应的先验框作为预测框,分别确定各个卷积特征图中的各个卷积特征子图对应的预测框内的信息,将该预测框内的信息确定为该预测框对应的卷积特征子图的卷积特征信息,从而确定每个卷积特征图对应的目标卷积特征信息。
以一个卷积特征图为例,假设卷积特征图如图6所示,则确定卷积特征图对应的目标卷积特征信息可以为:以尺寸为4*4的卷积特征对应的先验框作为预测框,将预测框以特征单元1为中心,确定该预测框对应的信息,将该预测框对应的信息确定为特征单元1对应的卷积特征信息;将预测框以特征单元2为中心,确定该预测框对应的信息,将该框对应的信息确定为特征单元1对应的卷积特征信息;……;将预测框以特征单元16为中心,确定该预测框对应的信息,将该预测框对应的信息确定为特征单元16对应的卷积特征信息;最后将特征单元1~特征单元16对应的卷积特征信息确定为卷积特征图对应的目标卷积特征信息。
三、分别确定目标卷积特征信息中的各个卷积特征信息对应的位置坐标,将在第二图片中与各个卷积特征信息对应的位置坐标对应的区域确定为各个卷积特征信息对应的第一区域。
这里,卷积特征信息对应的位置坐标是指将卷积特征信息对应的预测框映射回第二图片时所对应的位置坐标,一个卷积特征信息对应四个位置坐标,这四个位置坐标分别对应预测框的四个顶点,将预测框的四个顶点映射回原图所得到的四个点的坐标即为卷积特征信息对应的位置坐标。由于每一个卷积特征图均是由第二图片经过尺寸调整以及卷积处理而来,卷积特征图中的每个点与第二图片中的点或区域存在对应关系,根据该对应关系可确定预测框在第二图片中对应四个点的位置坐标,进而将该预测框在第二图片中对应的第四个点的位置坐标确定为该预测框对应的卷积特征信息对应的位置坐标,将该位置坐标对应的点所形成的区域确定为卷积特征信息对应的第一区域。
举例来进行说明,例如,卷积特征信息对应的预测框如图7所示,预测框的四个顶点分别为a1、a2、a3以及a4,该四个顶点映射回第二图片时分别对应点b1、b2、b3以及b4,b1在第二图片中的位置坐标为(b11,b12),b2在第二图片中的位置坐标为(b21,b22),b3在第二图片中的位置坐标为(b31,b34),b4在第二图片中的位置坐标为(b41,b44),则将b1的位置坐标(b11,b12)、b2的位置坐标(b21,b22)、b3的位置坐标(b31,b32)以及b4的位置坐标(b41,b42)确定为卷积特征信息对应的位置坐标,将点b1、b2、b3以及b4所在第二图片中形成的区域确定为卷积特征信息对应的第一区域。
具体实现中,可以根据该卷积特征信息对应的卷积特征图与第二图片之间的映射关系确定各个卷积特征信息对应的位置坐标。
四、确定各个卷积特征信息对应的第一区域的置信度和第一区域对应的属性类别,并将置信度大于置信度阈值并且属性类别为损伤的第一区域确定为第二区域。
这里,确定各个卷积特征信息对应的第一区域的置信度和第一区域对应的属性类别具体为:分别确定各个卷积特征信息与损伤检测模型中的两种属性类别之间的匹配概率,,损伤检测模型中的两种属性类别分别为背景和损伤;在各个卷积特征信息与损伤检测模型中的两种属性类别之间的匹配概率中确定最大匹配概率,并将最大匹配概率确定为各个卷积特征信息对应的第一区域的置信度,并将最大匹配概率对应的属性类别确定为第一区域对应的属性类别。
以一个卷积特征信息(即一个预测框内的信息)为例,可以分别计算该预测框内的信息与背景这一类别的图像的特征信息的匹配度,以及该预测框的信息与损伤这一类别的图像特征信息的匹配度,得到两个类别对应的匹配度,假设预测框内的信息与背景这一类别的图像的特征信息的匹配度为0.3,预测框的信息与损伤这一类别的图像特征信息的匹配度为0.5,那么可确定该卷积特征信息与损伤检测模型中的两种属性类别之间的匹配概率分别为0.3和0.5。然后在卷积特征信息与损伤检测模型中的两种属性类别之间的匹配概率确定最大匹配概率,由于0.5大于0.3,则确定最大匹配概率为0.5。最后将最大匹配概率确定为各个卷积特征信息对应的第一区域的置信度,并将最大匹配概率对应的属性类别确定为第一区域对应的属性类别,即将0.5确定为卷积特征信息对应的第一区域的置信度,0.5对应的类别为损伤,则将损伤确定为第一区域对应的属性类别。
具体实现中,可以基于损伤检测模型中的分类器对各个卷积特征信息与损伤检测模型中的两种属性类别之间的匹配概率进行计算。其中,可以通过损伤检测模型中的分类器计算各个卷积特征信息与分类器中的背景这一类别的图像的特征信息以及与损伤这一类别的图像的特征信息之间的匹配度,根据该匹配度确定各个卷积特征信息对应的图像为背景和各个卷积特征信息对应的图像为损伤的概率,将该概率确定为各个卷积征信息与损伤检测模型中的两种属性类别之间的匹配概率。
这里,置信度阈值为一个预设的接近于1的值,其中,置信度阈值越大,说明该第二区域中的内容为损伤的可能性越大,具体实现中,可以将置信度阈值设置为95%、98%等值。
五、根据第二区域对应的位置坐标确定目标车辆的损伤部位在第二图片中的位置坐标。
这里,根据第二区域对应的位置坐标确定目标车辆的损伤部位在第二图片中的位置坐标有以下两种情况:
1、第二区域的数量为一个。在第二区域的数量为一个的情况下,将第二区域对应的位置坐标确定为损伤部位在第二图片中的位置坐标。
2、第二区域的数量为多个。在第二区域的数量为多个的情况下,根据第二区域对应的位置坐标确定目标车辆的损伤部位在第二图片中的位置坐标的流程如图8所示,包括如下步骤:
S201,在第二区域中确定置信度最大的第二区域,将置信度最大的第二区域确定为第三区域。
例如,存在5个第二区域,5个第二区域的置信度分别为0.99、0.98、0.995、0.997以及0.999,则将置信度为0.999的第二区域确定为第三区域。
S202,计算第四区域与第三区域的区域交叉度,区域交叉度用于指示第四区域与第三区域在第二图片中的重合程度,第四区域为在第二区域中排除第三区域之后的第二区域。
这里,第四区域是指多个第二区域中去除第三区域之后所剩下的区域。例如,有5个第二区域,分别为第二区域1,第二区域2,第二区域3,第二区域4以及第二区域5,其中,第二区域3为第三区域,则将第二区域1、第二区域2、第二区域4以及第二区域5确定为第四区域。
本发明实施例中,区域交叉度又可以称之为交并比,计算第四区域与第三区域的区域交叉度具体是指计算第四区域与第三区域的重合程度。第四区域和第三区域的区域交叉度等于第四区域与第三区域的交集除以第四区域与第三区域的并集,用公式表达为:IoU=[area(C)∩area(D)]/[area(C)∪area(D)],area(C)为第三区域,area(D)为第四区域。
具体实现中,可以根据第四区域的位置坐标和第三区域的位置坐标计算第四区域与第三区域的交并比。
S203,在第四区域中查找第五区域,第五区域与第三区域的IoU大于IoU阈值。
这里,IoU阈值为一个评估两个区域之间的重合程度的临界点,IoU阈值具体可以为90%、95%,等等。当两个区域的IoU大于IoU阈值时,说明两个区域的重合程度较高。
在查找到第五区域的情况下,执行步骤S204;在未查找到第五区域的情况下,执行步骤S205。
S204,将第三区域确定为目标区域,并在第二区域中排除第三区域和第五区域。
S205,将第三区域确定为目标区域,并在第二区域中排除第三区域。
S206,判断第二区域的数量是否为多个。
在第二区域的数量为多个的情况下,执行步骤S201;在第二区域的数量为一个的情况下,将第二区域确定为目标区域,执行步骤S207。
S207,将目标区域对应的位置坐标确定为目标车辆的损伤部位在第二图片中的位置坐标。
通过上述步骤S201~S207,可以将确定的第二区域中重合度较高的区域去除掉,从而可以保留下最可能为损伤部位所在的区域的第二区域。
S104,根据目标车辆的损伤部位在第二图片中的位置坐标在第二图片中标记出目标车辆的损伤部位所在的区域。
具体实现中,可以根据目标车辆的损伤部位在第二图片中的位置坐标在第二图片中将该位置坐标对应的点所形成的区域标记出来,即在第二图片中标记出第二区域。可选地,还可以在第二图片中标记出目标车辆的损伤部位所在的区域为损伤部位的概率,即在第二图片中标记出第二区域的置信度。
例如,第二图片为通过残差密集网络对图3所示的图片进行处理得到的图片,则在对第二图片标记后得到的图片可以如图10所示。
本发明实施例中,在获取到包含有车辆的损伤部位的图片后,首先通过残差密集网络对图片进行处理,利用残差密集网络对图片的局部细节和整体细节进行了恢复,提高了图片的分辨率,再通过基于SSD的损伤检测模型对提高分辨率后的图片进行识别,由于提高了图片的分辨率,因而可以提高识别的准确度,进而可以识别和定位出损伤类型较小的部位,提高了识别和定位的精度。
可选地,在利用上述损伤检测模型对图片进行检测,以确定损伤部位在图片中的位置坐标和区域之前,还可以将大量的图片作为训练样本对初始的损伤检测模型进行训练,以得到该损伤检测模型。其中,在训练基于SSD算法的损伤检测模型时,可以获取多个包含损伤部位的样本图片,然后利用样本图片对应的属性类别(指损伤和背景两种类别)和位置信息对各个样本数据进行数据标注,得到样本图片对应的标注图像,接着利用标注图像对单点多盒检测器算法的初始模型进行训练,待模型收敛并达到一定精度(指模型中的损失函数值小于损失阈值且精度大于精度阈值)时保存模型,该保存下来的模型就是基于SSD算法的目标检测检测模型。
进一步地,在确定了损伤部位在图片中所在的位置坐标之后,还可以对损伤部位的损伤类型进行识别。参见图10,图10是本发明实施例提供的另一种基于深度学习的识别车辆损伤的方法的流程示意图,该方法可以实现在前述提到的车辆定损装置上。如图所示,该方法包括如下步骤:
S301,获取目标车辆对应的第一图片,目标车辆为待识别损伤的车辆,第一图片为包含目标车辆的损伤部位的图片。
S302,通过残差密集网络对第一图片进行处理,得到第二图片,第二图片的分辨率高于第一图片的分辨率。
S303,通过基于单点多盒检测算法的损伤检测模型对第二图片进行检测,得到第一信息,第一信息包括目标车辆的损伤部位在第二图片中的位置坐标。
本发明实施例中,步骤S301~S303的具体实现方式可参考步骤S101~S103的描述,此处不再赘述。
S304,根据目标车辆的损伤部位在第二图片中的位置坐标从第二图片中截取包含目标车辆的损伤部位的第三图片,第三图片的尺寸小于第二图片。
具体实现中,可以根据目标车辆的损伤部位在第二图片中的位置坐标将该位置坐标对应的点所形成的区域从第二图片中截取出来,该位置坐标对应的点所形成的区域即为第三图片。
S305,通过预先训练得到的损伤类型识别模型对第三图片进行识别,得到目标车辆的损伤部位的损伤类型。
本发明实施例中,损伤类型识别模型是指利用分类算法对样本数据进行训练得到的,可以根据输入的包含损伤部位的图片进行相关数据处理然后输出该图片中的损伤部位的损伤类型的分类模型。其中,损伤类型可以是指该损伤部位的损伤程度,例如损伤类型可以包括轻微损伤、中度损伤,严重损伤,等等。损伤类型也可以是指损伤部位的名称和损伤情况,例如损伤类型可以包括车辆外壳凹陷、车辆尾灯碎裂、车辆外壳掉漆,等等。
该损伤类型识别模型可以为基于K近邻算法的损伤类型识别模型、基于朴素贝叶斯算法的损伤类型识别模型、基于决策树算法的损伤类型识别模型、基于逻辑回归算法的损伤类型识别模型、基于支持向量机算法的损伤类型识别模型,等等,不限于这里的描述。
具体实现中,可以对第三图片进行特征提取,得到第三图片对应的特征数据,其中,可以通过卷积神经网络中的卷积层对第三图片进行深度的特征提取,得到第三图片对应的特征数据。然后将第三图片对应的特征数据作为该损伤类型识别模型的输入送入该损伤类型识别模型中,该损伤类型识别模型经过该分类算法对应的处理之后,输出该第三图片对应的损伤类型。损伤类型识别模型采用的分类算法不同,则损伤类型识别模型进行的处理所对应的逻辑不同。
本发明实施例以该损伤类型识别模型为基于K邻近算法的损伤类型识别模型为例具体介绍该损伤类型识别模型根据第三图片的特征数据确定目标车辆的损伤部位的损伤类型的具体处理过程:
首先,分别确定第三图片对应的各个特征数据与该损伤类型识别模型中的多个包含有损伤部位的图片的对应的各个特征数据之间的相似距离;然后,分别根据多个包含有损伤部位的图片的各个特征数据对应的相似距离分别确定该多个包含有损伤部位的图片的各个包含有损伤部位的图片与该第三图片的相似值;根据该相似值从该多个包含有损伤部位的图片中选择K个包含有损伤部位的图片,这K个包含有损伤部位的图片与第三图片的相似值大于该多个包含有损伤部位的图片中的其他图片;将K个包含有损伤部位的图片对应的损伤类型出现频率最高的损伤类型确定为该第三图片对应的损伤类型。
其中,相似距离可以为欧式距离、曼哈顿距离等用于计算两个特征数据之间的相似度的距离。根据特征数据的相似距离确定两个图片的相似值为:根据两个图片对应的各个特征数据之间的相似距离以及预设的特征数据加权公式确定两个图片的相似值,该特征数据加权公式为特征数据1的相似距离*加权系数1+特征数据2的相似距离*加权系数2+...+特征数据M的相似距离*加权系数M,M为第三图片的特征数据的数据维度,也即特征数据的个数。
举例来进行说明,假设第三图片的特征数据有10个,分别为特征数据1~10,特征数据加权公式中各个特征数据的加权系数均为1,损伤类型识别模型对应的多个包含有损伤部位的图片为300个,K为100,则确定第三图片对应的损伤类型的过程为:
1)计算第三图片与包含有损伤部位的图片1的相似值,计算第三图片的特征数据1与包含有损伤部位的图片1的特征数据1的相似距离1,计算第三图片的特征数据2与包含有损伤部位的图片1的特征数据2的相似距离2,…,计算第三图片的特征数据10与包含有损伤部位的图片1的特征数据10的相似距离10,根据特征数据加权公式计算第三图片与包含有损伤部位的图片1对应的相似值为:相似距离1+相似距离2+…+相似距离10。
2)按照步骤1)的方式分别计算第三图片与包含有损伤部位的图片2,第包含有损伤部位的图片3,……,包含有损伤部位的图片300的相似值。
3)根据1)和2)的计算结果确定300个包含有损伤部位的图片中相似值较大的100个包含有损伤部位的图片。
4)统计100个包含有损伤部位的图片对应的损伤类型,假设100个包含有损伤部位的图片对应的损伤类型分别为损伤类型1(15个),损伤类型2(20个),损伤类型3(30个),损伤类型4(45个)。
5)将损伤类型中出现频率最高的损伤类型,即损伤类型4确定为第三图片对应的损伤类型。
应理解的是,上述过程仅用于对损伤类型识别模型根据第三图片的特征数据进行相关的处理进行解释,不对本发明实施例进行限制,在可选的实施方式中,损伤类型识别模型也可以按照其他的分类算法的处理逻辑根据特征数据确定第三图片对应的损伤类型。
S306,根据目标车辆的损伤部位在第二图片中的位置坐标在第二图片中标记出目标车辆的损伤部位所在的区域,并在第二图片中标记出目标车辆的损伤部位的损伤类型。
例如,第二图片为通过残差密集网络对图3所示的图片进行处理得到的图片,通过步骤S305识别得到的第二图片的损伤类型为轻微损伤,则在对第二图片标记后得到的图片可以如图11所示。
本发明实施例中,在识别定位到图片中的车辆的损伤部位后,通过进一步对该损伤部位所在的区域对应的图片进行识别,识别除了该损伤部位的损伤类型,自动完成了对该损伤部位的损伤类型的认定,可以帮助定损人员确定理赔费用。
上面介绍了发明实施例的方法,下面介绍发明实施例的装置。
参见图12,图12是本发明实施例提供的一种基于深度学习的识别车辆损伤的装置的组成结构示意图,该装置可以为上述前述提到的车辆定损装置或该车辆定损装置的一部分,该装置50包括:
图片获取模块501,用于获取目标车辆对应的第一图片,所述目标车辆为待识别损伤的车辆,所述第一图片为包含所述目标车辆的损伤部位的图片;
图片处理模块502,用于通过残差密集网络对所述第一图片进行处理,得到第二图片,所述第二图片的分辨率高于所述第一图片的分辨率;
图片检测模块503,用于通过基于单点多盒检测器算法的损伤检测模型对所述第二图片进行检测,得到第一信息,所述第一信息包括所述损伤部位在所述第二图片中的位置坐标;
标记模块504,用于根据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域。
在一种可能的设计中,所述图片处理模块502具体用于:
基于所述残差密集网络的浅层特征提取网络对所述第一图片进行卷积处理,得到所述第一图片对应的浅层特征图;
基于所述残差密集网络的残差密集网络对所述浅层特征卷积图进行卷积和线性修正处理,得到所述第一图片对应的多个残差密集特征图,所述残差密集网络包括多个残差密集块,所述多个残差密集特征图分别为所述多个残差密集块中的各个残差密集块对应的残差密集特征图;
基于所述残差密集网络的密集特征融合网络对多个局部特征图进行密集特征融合,得到所述第一图片对应的全局特征图,所述多个局部特征图包括所述浅层特征图和所述多个残差密集特征图;
基于所述残差密集网络的上采样网络对所述全局特征图进行上采样和卷积处理,得到第二图片。
在一种可能的设计中,所述图片处理模块502具体用于:
通过第d残差密集块内的卷积层对第(d-1)残差密集特征图进行卷积和线性修正处理,得到所述第d残差密集块对应的第d残差密集特征图,d为1至D中的每一个正整数,D为所述多个残差密集块的个数,所述第(d-1)残差密集特征图中的第0残差密集特征图为所述浅层特征卷积图;
将所述第d残差密集特征图确定为所述第一图片对应的多个残差密集特征图。
在一种可能的设计中,所述图片检测模块503具体用于:
基于所述损伤检测模型中的卷积层对所述第二图片进行卷积处理,得到多个尺寸不同的卷积特征图,每个卷积特征图包括多个卷积特征子图;
分别确定所述每个卷积特征图对应的目标卷积特征信息,所述目标卷积特征信息包括所述多个卷积特征子图中各个卷积特征子图对应的卷积特征信息;
分别确定所述目标卷积特征信息中的各个卷积特征信息对应的位置坐标,将在所述第二图片中与所述位置坐标对应的区域确定为所述各个卷积特征信息对应的第一区域;
确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别,并将置信度大于置信度阈值并且属性类别为损伤的第一区域确定为第二区域;
根据所述第二区域对应的位置坐标确定所述损伤部位在所述第二图片中的位置坐标。
在一种可能的设计中,所述图片检测模块503具体用于:
分别确定所述各个卷积特征信息与所述损伤检测模型中的两种属性类别之间的匹配概率,所述两种属性类别分别为背景和损伤;
在所述各个卷积特征信息与所述损伤检测模型中的两种属性类别之间的匹配概率中确定最大匹配概率,并将所述最大匹配概率确定为所述各个卷积特征信息对应的第一区域的置信度,以及,将所述最大匹配概率对应的属性类别确定为所述第一区域对应的属性类别。
在一种可能的设计中,所述图片检测模块503具体用于:
在所述第二区域的数量为多个的情况下,在所述第二区域中确定置信度最大的第二区域,将所述置信度最大的区域确定为第三区域;
计算第四区域与第三区域的区域交叉度IoU,所述第四区域为所述第二区域中排除所述第三区域之后的第二区域,所述IoU用于指示所述第四区域与所述第三区域在所述第二图片中的重合程度;
在所述第四区域中查找第五区域,所述第五区域与所述第三区域的IoU大于IoU阈值;
在查找到所述第五区域的情况下,将所述第三区域确定为目标区域,并在所述第二区域中排除所述第三区域和所述第五区域之后,如果所述第二区域的数量仍为多个,则执行所述在所述第二区域中确定置信度最大的第二区域,将所述置信度最大的区域确定为第三区域的步骤;
在未查找到第五区域的情况下,将所述第三区域确定为目标区域,并在所述第二区域中排除所述第三区域之后,如果所述第二区域的数量仍为多个,则执行所述在所述第二区域中确定置信度最大的第二区域,将所述置信度最大的区域确定为第三区域的步骤;直到在所述第二区域中确定所有的目标区域;
在所述第二区域的数量为一个的情况下,将所述第二区域确定为目标区域;
将所述目标区域对应的位置坐标确定为所述损伤部位在所述第二图片中的位置坐标。
在一种可能的设计中,所述装置还包括:
图片截取模块505,根据所述损伤部位在第二图片中的位置坐标从所述第二图片中截取包含所述损伤部位的第三图片,所述第三图片的尺寸小于所述第二图片。
损伤类型识别模块506,用于通过预先训练得到的损伤类型识别模型对所述第三图片进行识别,得到所述损伤部位的损伤类型。
所述标记模块504,还用于在所述第二图片中标记出所述损伤部位的损伤类型。
需要说明的是,图12对应的实施例中未提及的内容可参见方法实施例的描述,这里不再赘述。
本发明实施例中,基于深度学习的识别车辆损伤的装置在获取到包含有车辆的损伤部位的图片后,首先通过残差密集网络对图片进行处理,利用残差密集网络对图片的局部细节和整体细节进行了恢复,提高了图片的分辨率,再通过基于SSD的损伤检测模型对提高分辨率后的图片进行识别,由于提高了图片的分辨率,因而可以提高识别的准确度,进而可以识别和定位出损伤类型较小的部位,提高了识别和定位的精度。
参见图13,图13是本发明实施例提供的另一种基于深度学习的识别车辆损伤的装置的组成结构示意图,该装置可以为前述提到的车辆定损装置或该车辆定损装置的一部分,该装置60包括处理器601、存储器602以及输入输出接口603。处理器601连接到存储器602和输入输出接口603,例如处理器601可以通过总线连接到存储器602和输入输出接口603。
处理器601被配置为支持所述基于深度学习的识别车辆损伤的装置执行图1-图7所述的基于深度学习的识别车辆损伤的方法中相应的功能。该处理器601可以是中央处理器(central processdngundt,CPU),网络处理器(network processor,NP),硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(appldcatdonspecdfdcdntegratedcdrcudt,ASDC),可编程逻辑器件(programmable logdcdevdce,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logdcdevdce,CPLD),现场可编程逻辑门阵列(fdeld-programmable gate array,FPGA),通用阵列逻辑(generdcarray logdc,GAL)或其任意组合。
存储器602存储器用于存储程序代码等。存储器602可以包括易失性存储器(volatdle memory,VM),例如随机存取存储器(random access memory,RAM);存储器602也可以包括非易失性存储器(non-volatdlememory,NVM),例如只读存储器(read-onlymemory,ROM),快闪存储器(flash memory),硬盘(hard ddskdrdve,HDD)或固态硬盘(soldd-state drdve,SSD);存储器602还可以包括上述种类的存储器的组合。本发明实施例中,存储器602用于残差密集网络、基于SSD算法的损伤检测模型、样本图片等。
所述输入输出接口603用于输入或输出数据。
处理器601可以调用所述程序代码以执行以下操作:
获取目标车辆对应的第一图片,所述目标车辆为待识别损伤的车辆,所述第一图片为包含所述目标车辆的损伤部位的图片;
通过残差密集网络对所述第一图片进行处理,得到第二图片,所述第二图片的分辨率高于所述第一图片的分辨率;
通过基于单点多盒检测器算法的损伤检测模型对所述第二图片进行检测,得到第一信息,所述第一信息包括所述损伤部位在所述第二图片中的位置坐标;
根据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域。
需要说明的是,各个操作的实现还可以对应参照图1-图11所示的方法实施例的相应描述;所述处理器601还可以与输入输出接口603配合执行上述方法实施例中的其他操作。
本发明实施例还提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时使所述计算机执行如前述实施例所述的方法,所述计算机可以为上述提到的基于深度学习的识别车辆损伤的装置的一部分。例如为上述的处理器601。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、ROM或RAM等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种基于深度学习的识别车辆损伤的方法,其特征在于,包括:
获取目标车辆对应的第一图片,所述目标车辆为待识别损伤的车辆,所述第一图片为包含所述目标车辆的损伤部位的图片;
通过残差密集网络对所述第一图片进行处理,得到第二图片,所述第二图片的分辨率高于所述第一图片的分辨率;
通过基于单点多盒检测器算法的损伤检测模型对所述第二图片进行检测,得到第一信息,所述第一信息包括所述损伤部位在所述第二图片中的位置坐标;
根据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域。
2.根据权利要求1所述的方法,其特征在于,所述通过残差密集网络对所述第一图片进行处理,得到第二图片,包括:
基于所述残差密集网络的浅层特征提取网络对所述第一图片进行卷积处理,得到所述第一图片对应的浅层特征图;
基于所述残差密集网络的残差密集网络对所述浅层特征卷积图进行卷积和线性修正处理,得到所述第一图片对应的多个残差密集特征图,所述残差密集网络包括多个残差密集块,所述多个残差密集特征图分别为所述多个残差密集块中的各个残差密集块对应的残差密集特征图;
基于所述残差密集网络的密集特征融合网络对多个局部特征图进行密集特征融合,得到所述第一图片对应的全局特征图,所述多个局部特征图包括所述浅层特征图和所述多个残差密集特征图;
基于所述残差密集网络的上采样网络对所述全局特征图进行上采样和卷积处理,得到第二图片。
3.根据权利要求2所述的方法,其特征在于,所述基于所述残差密集网络的残差密集网络对所述浅层特征卷积图进行卷积和线性修正处理,得到所述第一图片对应的多个残差密集特征图,包括:
通过第d残差密集块内的卷积层对第(d-1)残差密集特征图进行卷积和线性修正处理,得到所述第d残差密集块对应的第d残差密集特征图,d为1至D中的每一个正整数,D为所述多个残差密集块的个数,所述第(d-1)残差密集特征图中的第0残差密集特征图为所述浅层特征卷积图;
将所述第d残差密集特征图确定为所述第一图片对应的多个残差密集特征图。
4.根据权利要求1所述的方法,其特征在于,所述通过基于单点多盒检测器算法的损伤检测模型对所述第二图片进行检测,得到第一信息,包括:
基于所述损伤检测模型中的卷积层对所述第二图片进行卷积处理,得到多个尺寸不同的卷积特征图,每个卷积特征图包括多个卷积特征子图;
分别确定所述每个卷积特征图对应的目标卷积特征信息,所述目标卷积特征信息包括所述多个卷积特征子图中各个卷积特征子图对应的卷积特征信息;
分别确定所述目标卷积特征信息中的各个卷积特征信息对应的位置坐标,将在所述第二图片中与所述位置坐标对应的区域确定为所述各个卷积特征信息对应的第一区域;
确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别,并将置信度大于置信度阈值并且属性类别为损伤的第一区域确定为第二区域;
根据所述第二区域对应的位置坐标确定所述损伤部位在所述第二图片中的位置坐标。
5.根据权利要求4所述的方法,其特征在于,所述确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别,包括:
分别确定所述各个卷积特征信息与所述损伤检测模型中的两种属性类别之间的匹配概率,所述两种属性类别分别为背景和损伤;
在所述各个卷积特征信息与所述损伤检测模型中的两种属性类别之间的匹配概率中确定最大匹配概率,并将所述最大匹配概率确定为所述各个卷积特征信息对应的第一区域的置信度,以及,将所述最大匹配概率对应的属性类别确定为所述第一区域对应的属性类别。
6.根据权利要求4所述的方法,其特征在于,所述根据所述第二区域对应的位置坐标确定所述损伤部位在所述第二图片中的位置坐标,包括:
在所述第二区域的数量为多个的情况下,在所述第二区域中确定置信度最大的第二区域,将所述置信度最大的区域确定为第三区域;
计算第四区域与第三区域的区域交叉度IoU,所述第四区域为所述第二区域中排除所述第三区域之后的第二区域,所述IoU用于指示所述第四区域与所述第三区域在所述第二图片中的重合程度;
在所述第四区域中查找第五区域,所述第五区域与所述第三区域的IoU大于IoU阈值;
在查找到所述第五区域的情况下,将所述第三区域确定为目标区域,并在所述第二区域中排除所述第三区域和所述第五区域之后,如果所述第二区域的数量仍为多个,则执行所述在所述第二区域中确定置信度最大的第二区域,将所述置信度最大的区域确定为第三区域的步骤;
在未查找到第五区域的情况下,将所述第三区域确定为目标区域,并在所述第二区域中排除所述第三区域之后,如果所述第二区域的数量仍为多个,则执行所述在所述第二区域中确定置信度最大的第二区域,将所述置信度最大的区域确定为第三区域的步骤;
在所述第二区域的数量为一个的情况下,将所述第二区域确定为目标区域;
将所述目标区域对应的位置坐标确定为所述损伤部位在所述第二图片中的位置坐标。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述通过基于单点多盒检测器算法的损伤检测模型对所述第二图片进行检测,得到第一信息之后,还包括:
根据所述损伤部位在所述第二图片中的位置坐标从所述第二图片中截取包含所述损伤部位的第三图片,所述第三图片的尺寸小于第二图片;
通过预先训练得到的损伤类型识别模型对所述第三图片进行识别,得到所述损伤部位的损伤类型;
所述据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域包括:
根据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域,并在所述第二图片标记出所述损伤部位的损伤类型。
8.一种基于深度学习的识别车辆损伤的装置,其特征在于,包括:
图片获取模块,用于获取目标车辆对应的第一图片,所述目标车辆为待识别损伤的车辆,所述第一图片为包含所述目标车辆的损伤部位的图片;
图片处理模块,用于通过残差密集网络对所述第一图片进行处理,得到第二图片,所述第二图片的分辨率高于所述第一图片的分辨率;
图片检测模块,用于通过基于单点多盒检测器算法的损伤检测模型对所述第二图片进行检测,得到第一信息,所述第一信息包括所述损伤部位在所述第二图片中的位置坐标;
标记模块,用于根据所述位置坐标在所述第二图片中标记出所述损伤部位所在的区域。
9.一种基于深度学习的识别车辆损伤的装置,包括处理器、存储器以及输入输出接口,所述处理器、存储器和输入输出接口相互连接,其中,所述输入输出接口用于输入或输出数据,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,执行如权利要求1-7任一项所述的方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910015378.1A CN109815997B (zh) | 2019-01-04 | 2019-01-04 | 基于深度学习的识别车辆损伤的方法和相关装置 |
PCT/CN2019/088801 WO2020140371A1 (zh) | 2019-01-04 | 2019-05-28 | 基于深度学习的识别车辆损伤的方法和相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910015378.1A CN109815997B (zh) | 2019-01-04 | 2019-01-04 | 基于深度学习的识别车辆损伤的方法和相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109815997A true CN109815997A (zh) | 2019-05-28 |
CN109815997B CN109815997B (zh) | 2024-07-19 |
Family
ID=66604083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910015378.1A Active CN109815997B (zh) | 2019-01-04 | 2019-01-04 | 基于深度学习的识别车辆损伤的方法和相关装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109815997B (zh) |
WO (1) | WO2020140371A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110363238A (zh) * | 2019-07-03 | 2019-10-22 | 中科软科技股份有限公司 | 智能车辆定损方法、系统、电子设备及存储介质 |
CN110378321A (zh) * | 2019-08-12 | 2019-10-25 | 乌鲁木齐明华智能电子科技有限公司 | 一种基础深度神经网络的车辆识别与抓拍技术 |
CN110427367A (zh) * | 2019-07-05 | 2019-11-08 | 中国平安财产保险股份有限公司 | 基于评残参数的定损方法、装置、设备及存储介质 |
CN110555907A (zh) * | 2019-07-16 | 2019-12-10 | 深圳进化动力数码科技有限公司 | 一种非标准化图片三维重构方法 |
CN110969183A (zh) * | 2019-09-20 | 2020-04-07 | 北京方位捷讯科技有限公司 | 一种根据图像数据确定目标对象受损程度的方法及系统 |
CN111368909A (zh) * | 2020-03-03 | 2020-07-03 | 温州大学 | 一种基于卷积神经网络深度特征的车标识别方法 |
CN111652054A (zh) * | 2020-04-21 | 2020-09-11 | 北京迈格威科技有限公司 | 关节点检测方法、姿态识别方法及装置 |
WO2021218020A1 (zh) * | 2020-04-29 | 2021-11-04 | 平安科技(深圳)有限公司 | 车辆损伤图片处理方法、装置、计算机设备及存储介质 |
WO2022116433A1 (zh) * | 2020-12-02 | 2022-06-09 | 平安科技(深圳)有限公司 | 管道损伤检测方法、装置、设备及存储介质 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215796B (zh) * | 2020-09-11 | 2022-12-23 | 中国铁道科学研究院集团有限公司 | 一种适用于铁路货运检查的铁路货车车辆图像切割方法 |
CN112712036A (zh) * | 2020-12-31 | 2021-04-27 | 广西综合交通大数据研究院 | 交通标志识别方法、装置、电子设备及计算机存储介质 |
CN113111708B (zh) * | 2021-03-10 | 2023-12-29 | 北京爱笔科技有限公司 | 车辆匹配样本生成方法、装置、计算机设备和存储介质 |
CN113076898B (zh) * | 2021-04-09 | 2023-09-15 | 长安大学 | 一种交通车辆目标检测方法、装置、设备及可读存储介质 |
CN113177937B (zh) * | 2021-05-24 | 2022-09-13 | 河南大学 | 基于改进YOLOv4-tiny的布匹缺陷检测方法 |
CN113627240B (zh) * | 2021-06-29 | 2023-07-25 | 南京邮电大学 | 一种基于改进ssd学习模型的无人机树木种类识别方法 |
CN113657299B (zh) * | 2021-08-20 | 2024-10-15 | 青岛海信网络科技股份有限公司 | 交通事故确定方法及电子设备 |
CN114004980B (zh) * | 2021-11-05 | 2024-10-01 | 北京邮电大学 | 一种基于cemgm-fe-fcn的车辆三维尺寸信息提取方法 |
CN114972075A (zh) * | 2022-04-27 | 2022-08-30 | 南京航空航天大学 | 一种基于残差学习和混合域注意力的高光谱图像去噪方法 |
CN116416504B (zh) * | 2023-03-16 | 2024-02-06 | 北京瑞拓电子技术发展有限公司 | 基于车辆协同的高速公路异物检测系统和方法 |
CN116434047B (zh) * | 2023-03-29 | 2024-01-09 | 邦邦汽车销售服务(北京)有限公司 | 基于数据处理的车辆损伤范围确定方法及系统 |
CN116469132B (zh) * | 2023-06-20 | 2023-09-05 | 济南瑞泉电子有限公司 | 基于双流特征提取的跌倒检测方法、系统、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102405638A (zh) * | 2009-04-20 | 2012-04-04 | 富士胶片株式会社 | 图像处理装置、图像处理方法以及计算机可读介质 |
CN107358596A (zh) * | 2017-04-11 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及系统 |
CN107679531A (zh) * | 2017-06-23 | 2018-02-09 | 平安科技(深圳)有限公司 | 基于深度学习的车牌识别方法、装置、设备及存储介质 |
CN108446618A (zh) * | 2018-03-09 | 2018-08-24 | 平安科技(深圳)有限公司 | 车辆定损方法、装置、电子设备及存储介质 |
US20180322623A1 (en) * | 2017-05-08 | 2018-11-08 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
CN108961157A (zh) * | 2018-06-19 | 2018-12-07 | Oppo广东移动通信有限公司 | 图片处理方法、图片处理装置及终端设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10902525B2 (en) * | 2016-09-21 | 2021-01-26 | Allstate Insurance Company | Enhanced image capture and analysis of damaged tangible objects |
CN107665353A (zh) * | 2017-09-15 | 2018-02-06 | 平安科技(深圳)有限公司 | 基于卷积神经网络的车型识别方法、装置、设备及计算机可读存储介质 |
-
2019
- 2019-01-04 CN CN201910015378.1A patent/CN109815997B/zh active Active
- 2019-05-28 WO PCT/CN2019/088801 patent/WO2020140371A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102405638A (zh) * | 2009-04-20 | 2012-04-04 | 富士胶片株式会社 | 图像处理装置、图像处理方法以及计算机可读介质 |
CN107358596A (zh) * | 2017-04-11 | 2017-11-17 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及系统 |
US20180322623A1 (en) * | 2017-05-08 | 2018-11-08 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
CN107679531A (zh) * | 2017-06-23 | 2018-02-09 | 平安科技(深圳)有限公司 | 基于深度学习的车牌识别方法、装置、设备及存储介质 |
CN108446618A (zh) * | 2018-03-09 | 2018-08-24 | 平安科技(深圳)有限公司 | 车辆定损方法、装置、电子设备及存储介质 |
CN108961157A (zh) * | 2018-06-19 | 2018-12-07 | Oppo广东移动通信有限公司 | 图片处理方法、图片处理装置及终端设备 |
Non-Patent Citations (1)
Title |
---|
刘岩: "卷积神经网络在光学元件损伤检测中的应用", 电脑知识与技术, vol. 13, no. 04, pages 178 - 182 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110363238A (zh) * | 2019-07-03 | 2019-10-22 | 中科软科技股份有限公司 | 智能车辆定损方法、系统、电子设备及存储介质 |
CN110427367B (zh) * | 2019-07-05 | 2023-02-14 | 中国平安财产保险股份有限公司 | 基于评残参数的定损方法、装置、设备及存储介质 |
CN110427367A (zh) * | 2019-07-05 | 2019-11-08 | 中国平安财产保险股份有限公司 | 基于评残参数的定损方法、装置、设备及存储介质 |
CN110555907A (zh) * | 2019-07-16 | 2019-12-10 | 深圳进化动力数码科技有限公司 | 一种非标准化图片三维重构方法 |
CN110555907B (zh) * | 2019-07-16 | 2023-10-17 | 深圳进化动力数码科技有限公司 | 一种非标准化图片三维重构方法 |
CN110378321A (zh) * | 2019-08-12 | 2019-10-25 | 乌鲁木齐明华智能电子科技有限公司 | 一种基础深度神经网络的车辆识别与抓拍技术 |
CN110969183A (zh) * | 2019-09-20 | 2020-04-07 | 北京方位捷讯科技有限公司 | 一种根据图像数据确定目标对象受损程度的方法及系统 |
CN110969183B (zh) * | 2019-09-20 | 2023-11-21 | 北京方位捷讯科技有限公司 | 一种根据图像数据确定目标对象受损程度的方法及系统 |
CN111368909A (zh) * | 2020-03-03 | 2020-07-03 | 温州大学 | 一种基于卷积神经网络深度特征的车标识别方法 |
CN111368909B (zh) * | 2020-03-03 | 2021-05-11 | 温州大学 | 一种基于卷积神经网络深度特征的车标识别方法 |
CN111652054A (zh) * | 2020-04-21 | 2020-09-11 | 北京迈格威科技有限公司 | 关节点检测方法、姿态识别方法及装置 |
CN111652054B (zh) * | 2020-04-21 | 2023-11-03 | 北京迈格威科技有限公司 | 关节点检测方法、姿态识别方法及装置 |
WO2021218020A1 (zh) * | 2020-04-29 | 2021-11-04 | 平安科技(深圳)有限公司 | 车辆损伤图片处理方法、装置、计算机设备及存储介质 |
WO2022116433A1 (zh) * | 2020-12-02 | 2022-06-09 | 平安科技(深圳)有限公司 | 管道损伤检测方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020140371A1 (zh) | 2020-07-09 |
CN109815997B (zh) | 2024-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109815997A (zh) | 基于深度学习的识别车辆损伤的方法和相关装置 | |
CN113076842B (zh) | 一种用于提升极端天气与环境下交通标志识别精度的方法 | |
CN108898047B (zh) | 基于分块遮挡感知的行人检测方法及系统 | |
CN113420607A (zh) | 无人机多尺度目标检测识别方法 | |
CN105574550A (zh) | 一种车辆识别方法及装置 | |
CN109902629A (zh) | 一种复杂交通场景下的实时车辆目标检测模型 | |
CN109858547A (zh) | 一种基于bssd的目标检测方法与装置 | |
CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
CN108776777A (zh) | 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法 | |
CN112270671B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
CN112766417A (zh) | 一种利用现场照片识别目标地块土地利用现状地类的方法及系统 | |
CN112597995B (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
CN112836657A (zh) | 一种基于轻量化YOLOv3的行人检测方法及系统 | |
CN112686274A (zh) | 目标对象的检测方法及设备 | |
CN112215188B (zh) | 交警姿态识别方法、装置、设备及存储介质 | |
CN115984273B (zh) | 道路病害检测方法、装置、计算机设备及可读存储介质 | |
CN116206221B (zh) | 一种水体耀斑检测方法和系统 | |
Zhang et al. | Multi-scale feature fusion network for object detection in VHR optical remote sensing images | |
CN110321867B (zh) | 基于部件约束网络的遮挡目标检测方法 | |
CN111881984A (zh) | 一种基于深度学习的目标检测方法和装置 | |
CN118172634A (zh) | 基于跨越连接与融合注意力机制的红外弱小目标检测方法 | |
CN107610224A (zh) | 一种基于弱监督与明确闭塞建模的3d汽车对象类表示算法 | |
CN113158954B (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
CN112598055B (zh) | 头盔佩戴检测方法、计算机可读存储介质和电子设备 | |
CN117437615A (zh) | 雾天交通标志检测方法、装置、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |