CN110728236B - 车辆定损方法及其专用设备 - Google Patents
车辆定损方法及其专用设备 Download PDFInfo
- Publication number
- CN110728236B CN110728236B CN201910967068.XA CN201910967068A CN110728236B CN 110728236 B CN110728236 B CN 110728236B CN 201910967068 A CN201910967068 A CN 201910967068A CN 110728236 B CN110728236 B CN 110728236B
- Authority
- CN
- China
- Prior art keywords
- output
- damage
- network
- vehicle damage
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000011156 evaluation Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 34
- 210000002569 neuron Anatomy 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000013473 artificial intelligence Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000003331 infrared imaging Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了车辆定损方法，包括下列步骤：(1)利用成像设备捕获现场车辆损伤图片的数字图像信号；(2)通过对神经网络深度学习建立特征提取网络，进行特征提取；(3)通过子网络提升所述特征提取网络输出的可读性，包括三个子网络：E1、E2、E3，E1为语义分割网络，通过训练E1统计E1的输出得到车损面积，E2为深度估计网络，通过训练E2统计E2的输出得到损伤深度，E3为分类网络，通过训练E3得到车损位置；(4)最终的评估结果，对各个因素进行加权处理。本发明采用成像设备如红外相机作为输入设备，将图片直接输入到基于深度学习算法的车辆损伤，通过深度学习算法对图像进行分割，找到损伤并进行评估。
Description
技术领域
本发明涉及车辆定损的技术领域，具体涉及到一种车辆定损方法及其专用设备的技术。
背景技术
汽车保险(车险)是保险人通过收取保费的形式建立保险基金，用于补偿在车辆使用过程中因自然灾害或意外事故所造成的车辆或人员的经济损失，是负担责任赔偿的一种经济补偿制度。在车辆出险赔付过程中，定损是很重要的环节。
人工定损方法，发生交通事故后由专业人员到现场观察，给出车辆损伤评价的方法。该方法定损过程较为繁杂，主观性较强。如果定损人员经验不足，容易导致交通拥堵。
机器辅助定损的方法，这种方法允许车主自行拍摄车损照片，拍摄完成后将车损照片上传至云端进行分析，有云端返回鉴定结果。这种方法虽然在一定程度上减轻了定损员的工作量，但其鉴定效果受照片质量影响较大，尤其是夜晚光线较差的场景。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种车辆定损方法，对图像进行分割，找到损伤并进行评估。
为达上述目的，本发明采用以下技术方案：
一种车辆定损方法，包括下列步骤：
(1)利用成像设备捕获现场车辆损伤图片的数字图像信号，现场车辆损伤图片称为原图；
(2)通过对神经网络深度学习建立特征提取网络，进行特征提取，即将数字图像信号输入特征提取网络，其输出即是该数字图像信号的一组涵盖了输入图像相关的特征向量，不具备可读性；
(3)通过子网络提升所述特征提取网络输出的可读性，包括连接在特征提取网络的输出的三个子网络：E1、E2、E3，E1为语义分割网络，通过训练E1统计E1的输出得到车损面积，E2为深度估计网络，通过训练E2统计E2的输出得到损伤深度，E3为分类网络，通过训练E3得到车损位置；
E1语义分割网络，其输出的特征向量与原图宽高一致，该向量的每元素与原始图像中的每个像素一一对应，在该输出中，以0.5作为分界线，大于0.5的部分认为是损伤部分；
E2深度估计网络，其输出的特征向量与原图宽高一致，该向量的每元素与原始图像中的每个像素一一对应，这个网络输出的每个单元是个0-1之间的值，为便于使用，将这个值放大255倍(即将输出映射到0-255之间)，与当前成像平面最近的值为0，最远的值为255，结合E1得出车损边缘的深度信息(d0)，以车损边缘的深度值d0为标准，车损区域中每个位置的深度di只需减去d0即可得到车损区域的实际深度，并对区域内的每个输出进行统计，获悉车损部分的凹陷情况；
E3分类网络，其输出是一个1行N列的特征向量，N的取值与待检测的车损部位相关，模型的每个输出是一个0到1之间的小数，规定输出向量表示当前损伤位置，模型的每个输出向量大于阈值即明确是发生损伤位置；
所述三个子网络：E1、E2、E3均通过对神经网络深度学习而建立；
(4)最终的评估结果，对各个因素进行加权处理，写作FLayer，
其中：
表示不同因素所占的比重大小，S表示车损定级所需考虑的各项因素，包括但不限于所述车损面积、损伤深度、车损位置；
所述深度学习的方法是：
a)数据收集，即从合作单位获取车辆损伤图像；
b)数据标注，对a)中收集的数据进行标注，所述标注包括：利用坐标点标记出车损的位置；以像素为单位标注出图像中每个受损位置；记录损伤相关信息，包括车损原因、车损位置、深度、面积；所述标注的信息统称为J；
c)训练，一个神经元的工作过程表示为：
其中，x为图像，f为激活函数，t为单个神经元的输入，W为权值；
神经网络是通过组合众多的神经元形成，所述组合是把前n个神经元的输出作为后m个神经元的输入，如此反复叠加：该过程表示为是y＝F(X)，F表示深度学习的神经网络模型，y表示模型的最终输出，x表示图像；
训练的步骤是将标注的图像x输入神经网络，通过神经网络模型计算得到对应的输出y，这个步骤称为推导；通过比较y与J之间的loss差异对所述神经网络模型的实际特征提取能力做出评价，所述loss越接近0，说明神经网络模型里的各项权值越适于当前任务，采用梯度下降法将loss逐层地反馈给每个神经元，并对神经元的权值进行调整，这个步骤称为反向传递；训练的过程就是迭代的进行推导和反向传递，直到所述模型的loss不再下降的过程；
所述成像设备捕获现场车辆损伤图片的数字图像信号会先存储到存储模块，所述最终的评估结果存储到存储模块。
所述成像模块包括RGB成像模块和红外成像模块。
所述最终的评估结果由显示模块像用户进行展示，并将所述最终的评估结果和成像设备采集的数据通过5G(或WIFI)发送给云端。
在云端存储后，自动对存储模块进行清理。
所述成像设备捕获现场车辆损伤图片的数字图像信号通过蓝牙与手机进行数据传输，发送给手机。
一种专用所述车辆定损方法的设备，其特征在于所述设备包括：
成像模块：包括RGB成像模块和红外成像模块，采集数据，即用于捕获现场车辆损伤图片的数字图像信号；
人工智能分析模块：对成像设备捕获现场车辆损伤图片的数字图像信号进行分析与处理，得到最终的评估结果；包括建立特征提取网络，进行特征提取，即将数字图像信号输入特征提取网络，其输出即是该图片的一组涵盖了输入图像相关的特征向量，不具备可读性；建立三个子网络E1、E2、E3提升所述特征提取网络输出的可读性，E1为语义分割网络，通过训练E1统计E1的输出得到车损面积，E2为深度估计网络，通过训练E2统计E2的输出得到损伤深度，E3为分类网络，通过训练E3得到车损位置；最终的评估结果，对各个因素进行加权处理，写作FLayer，
其中：
表示不同因素所占的比重大小，S表示车损定级所需考虑的各项因素，包括但不限于所述车损面积、损伤深度、车损位置；
存储模块：用于存储成像设备捕获现场车辆损伤图片的数字图像信号以及人工智能分析模块处理后得到的最终的评估结果；
显示模块：经过人工智能分析模块处理后得到最终的评估结果由显示模块向用户进行展示；
电源模块：为设备提供电源；
通信模块：将成像模块的所采集的数据和鉴定结果发送给云端。
所述通信模块包括5G模块，WIFI模块以及蓝牙模块。
本发明具有以下有益效果：
本发明采用红外相机作为输入设备，将图片直接输入到基于深度学习算法的车辆损伤，通过深度学习算法对图像进行分割，找到损伤并进行评估。
本发明由于将红外设备应用到车辆定损中，即以红外相机作为输入，因此在夜间也能有效的工作，采用基于机器学习的车辆损伤鉴定框架即基于嵌入式平台的智能车辆损伤鉴定技术，实现对图片中车辆损伤位置的自动检测，评估。本发明基于边缘计算框架，无需通过网络上传图像，也可就地进行损伤评估。利用所述设备，可在无专业人员的情况下，对车损进行评估，并保存现场图片。由于采用了红外成像模块，即使在光线较暗的场景也能正常工作。
本发明所述设备可通过蓝牙与手机进行数据传输，将拍摄的结果发送给手机。本发明数据自动上传。设备支持“5G”，“WIFI”网络，当网络条件允许时，自动把车损图片，历史鉴定结果上传到服务端进行备份。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明车辆定损方法原理框架图；
图2是本发明车辆定损方法的设备的示意图；
图3是本发明神经网络图示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明车辆定损方法，包括下列步骤：
(1)利用成像设备捕获现场车辆损伤图片的数字图像信号；
(2)所述数字图像信号经过卷积神经网络进行特征提取。为提取到有效的特征，需要一个合理的模型即神经网络，通过需要进过以下几个步骤得到合理的模型：
a)数据收集。从合作单位获取大量的车辆损伤图片，包括：碰撞、燃烧、等多种原因导致的车辆损伤图片。
b)数据标注。对收集的数据进行标注，比如人工标注。标注主要包括：1、坐标点(bounding-box)标记处车损的位置；2、以像素为单位标注出图像中每个受损位置(MASK)；3、记录损伤相关信息，比如车损原因、车损位置、深度、面积等。这些标注的信息统称为J。
c)训练。神经网络(即人工神经网络)是由多个神经元组成的聚合体，组成人工神经网络的基本单位称作神经元(neurons)，多个神经元连接在一起形成一个类似生物神经网络的网状结构。
图3中a1，a2…an为输入向量(图像可以认为是个多维的特征向量)，本发明中即为图像X；f为激活函数，可以是sigmoid，Relu，tanh等；t为单个神经元的输入；w1,w2…wn为权值(W)，它控制输入向量各个成分在最终输出中所占的比重。数学上，一个神经元的工作过程可表示为：
通过组合众多的神经元即可形成神经网络。所述组合就是把前n个神经元的输出作为后m个神经元的输入，如此反复叠加：
由于深度学习模型一般由N(N的获取需要不断测试已达到最优)层神经元叠加而成，若将其数学公式完全展开非常不利于书写，习惯上用F表示深度学习模型，y表示模型的最终输出，x表示图像输入，整个深度学习的特征提取过程可以表示为：
y＝F(X)
由于激活函数f是固定的，因而对于固定的图片输入x，模型的输出结果仅受权值w，影响。模型里包含成千上万个权值，初始时这些w是介于0和1之间的随机值，此时的模型是无法工作的，为使其工作，需要对模型进行训练。
模型训练的基本步骤是将有标注的图像(X)输入网络，通过模型计算得到对应的输出y，这个步骤称为“推导”。通过比较y与J间的loss差异即可对网络的实际特征提取能力做出评价。计算loss的方法主要包括：MSE，IOULoss，CrossEntrophyLoss等，loss越接近0，说明模型里的各项权值越适于当前任务。一般采用梯度下降法将loss逐层的反馈给每个神经元，并对神经元的权值进行调整，这步称为“反向传递”。训练的过程就是迭代的进行“推导”和“反向传递”直到模型的loss不再下降的过程。
本发明用的网络网络模型主要为卷积神经网络，包括但不限于AlexNet、Vgg、ResNet、mobileNet等。将图片信号输入神经网络，网络的输出即可认为是该图片的一组特征向量。这个阶段的模型称为特征提取网络，特征提取网络不能单独进行训练，而是与后续的其他子网络组合进行训练。
步骤(2)归结来说就是数字图像信号(X)输入神经网络(F)后可映射为一组特征输出(y),通过比较网络输出(y)与真实特征即J之间的差异(loss)便可对网络的性能进行评价，并根据loss对网络中的各项参数进行调整，使预测值y不断向真实值靠近。这里采用的特征提取网络网络模型主要为卷积神经网络，包括(但不限于)AlexNet，Vgg，ResNet，mobileNet等。将图片信号输入神经网络，网络的输出即可认为是该图片的一组特征向量。将这些特征向量分为3组，每组分别与特征库中的特征进行比对，即可确定损伤的的大致位位置、大小、深度等。
(3)对车辆的损伤位置、损伤深度、损伤面积的参数进行评估。通过特征提取网络仅得到了一组涵盖了输入图像相关特征的向量，这些向量不具备可读性，因此需要对特征做进一步的处理。以检测车损位置、深度、面积为例，此时需要将特征划分为三份，分别由三个不同的子模型即子网络E1,E2,E3处理，特征的划分可以采用人工划分比如均分、随机分等，或机器划分即将所有特均传递给每个子网络，这两种方式没有绝对的优劣。由此可见对车辆的损伤位置、损伤深度、损伤面积的评估结果通过E1、E2、E3模型进行优化；因为直接使用步骤(2)的方式确定车损的位置、深度、损伤面积等信息不够直观，可解释性差。因此，在步骤(2)的输出后分别接入三个子网络：E1、E2、E3。
其中E1为语义分割网络，该网络读取步骤2中的特征输出，经过上采样、卷积等运算，换算成与原图大小一致的矩阵输出，矩阵中的每个输出与原图中的每个像素一一对应。在该输出中，以0.5作为分界线，大于0.5的部分认为是损伤部分，因而通过这张图可以很容易的统计出损伤部位面积占全图的比例。
E2为深度估计网络。同样取步骤2的输出作为网络输入，同样是通过堆叠上采样和卷积(包括二维和三维)运算，将步骤二的特征还原为与原图大小一致的矩阵输出，矩阵中的每个位置与原图每个像素一一对应。这个网络输出是对图片中每个像素点距离成像平面的远近进行评估，最近的值为0，最远的值为255。通过对这个矩阵里的每个输出进行统计，可以很容易的知道车损部分的凹陷情况。
E3为分类网络，是在步骤(2)的基础上，通过该网络对车损部位进行分类，确定损伤的位置(车灯、保险杠、车门等)，有利于进一步明确损伤的严重程度。
E1、E2、E3具体技术内容如下即下述步骤(4)：
(4)通过子网络提升模型输出的可解释性即可读性。还是以检测车损位置、深度、面积为例，此时需要三个子网络：E1、E2、E3。
其中E1为语义分割网络，同样是采用深度学习的方法完成这个任务，其原理与步骤(2)相同。它的输出的特征向量与原图宽高一致，可以认为该向量的每元素与原始图像中的每个像素一一对应。在该输出中，以0.5作为分界线，大于0.5的部分认为是损伤部分，因而通过这张图可以很容易的统计出损伤部位面积占全图的比例。
E2位深度估计网络。同样是采用深度学习的方法完成这个任务，其原理与步骤(2)相同。它的输出的特征向量与原图宽高一致，可以认为该向量的每元素与原始图像中的每个像素一一对应。这个网络输出的每个单元是个0-1之间的值，为便于使用，将这个值放大255倍即将输出映射到0-255之间，与当前成像平面最近的值为0，最远的为255。结合E1可以知道车损边缘的深度信息(d0)，以车损边缘的深度值d0位标准，车损区域中每个位置的深度di只需减去d0即可得到车损区域的实际深度，并对区域内的每个输出进行统计，可以很容易的知道车损部分的凹陷情况。
E3为分类网络。同样是采用深度学习的方法完成这个任务，其原理与步骤(2)相同。它的输出是一个1行N列的特征向量，N的取值与待检测的车损部位相关。如需检测的车损部位包括车灯、挡风玻璃，车门，保险杆这四个部位，则N值为4，如果还需检测车轮，则N值为5，以此类推。模型的每个输出是一个0到1之间的小数，因此这一步规定，输出向量的第一个值表示当前损伤位置为车灯的概率，第二个输出表示车门受损的概率，第三个输出表示保险杆受损的概率……，由于一张图片中可能存在多个损伤部位，因此将遍历模型的每个输出，大于阈值(根据实际使用情况进行人工调整)即认为发生损伤将有利于进一步明确损伤的严重程度。
(5)通过卷积神经网络的F层进行融合得到最终的评估结果，为避免混淆，后续写作FLayer；通过前面步骤可以得出车损的范围、位置、深浅等信息。这些信息可以很方便的记录到数据库中，但车辆的实际损伤级别的认定还受其他因素影响，比如使用年限、维修记录等，而不同因素在评价体系中占的比重不同，即是几个因素的加权和，FLaery层的作用正是对前面的几个输出以及评级所需考虑的其他因素做一个加权处理即：
其中，
表示不同因素所占的比重大小，S表示车损定级所需考虑的各项因素，包括但不限于前述车损面积(统计E1得到)、损伤深度(统计E2得到)、车损位置(E3)。可见F层的作用是融合这几个输出给出一个统一的评价结果——损伤定级。
其中成像设备捕获现场车辆损伤图片的数字图像信号会先存储到存储模块，所述最终的评估结果存储到存储模块。所述成像模块包括RGB成像模块和红外成像模块。
本发明最终的评估结果由显示模块像用户进行展示，并将所述最终的评估结果和成像设备采集的数据通过5G(或WIFI)发送给云端。在云端存储后，自动对存储模块进行清理。本发明成像设备捕获现场车辆损伤图片的数字图像信号通过蓝牙与手机进行数据传输，发送给手机。
本发明采用红外相机作为输入设备，将图片直接输入到基于深度学习算法的车辆损伤，通过深度学习算法对图像进行分割，找到损伤并进行评估。可见本发明是采用基于机器学习的车辆损伤鉴定框架，实现对图片中车辆损伤位置的自动检测，评估。
本发明车辆定损方法的设备，包括：
成像模块：包括RGB成像模块和红外成像模块，采集数据，即用于捕获现场车辆损伤图片的数字图像信号；
人工智能分析模块：对成像设备捕获现场车辆损伤图片的数字图像信号进行分析与处理，得到最终的评估结果；包括建立特征提取网络，进行特征提取，即将数字图像信号输入特征提取网络，其输出即是该图片的一组涵盖了输入图像相关的特征向量，不具备可读性；建立三个子网络E1、E2、E3提升所述特征提取网络输出的可读性，E1为语义分割网络，通过训练E1统计E1的输出得到车损面积，E2为深度估计网络，通过训练E2统计E2的输出得到损伤深度，E3为分类网络，通过训练E3得到车损位置；最终的评估结果，对各个因素进行加权处理，写作FLayer，
其中，
表示不同因素所占的比重大小，S表示车损定级所需考虑的各项因素，包括但不限于所述车损面积、损伤深度、车损位置；
存储模块：用于存储成像设备捕获现场车辆损伤图片的数字图像信号以及人工智能分析模块处理后得到的最终的评估结果；
显示模块：经过人工智能分析模块处理后得到最终的评估结果由显示模块向用户进行展示；
电源模块：为设备提供电源；
通信模块：将成像模块的所采集的数据和鉴定结果发送给云端。
所述通信模块包括5G模块，WIFI模块以及蓝牙模块
本发明将红外设备应用到车辆定损中。本发明是一种基于嵌入式平台的智能车辆损伤鉴定设备，该设备以红外相机作为输入，在夜间也能有效的工作。同时，该设备基于边缘计算框架，无需通过网络上传图像，也可就地进行损伤评估。
本发明数据自动上传。设备支持“5G”，“WIFI”网络，当网络条件允许时，自动把车损图片，历史鉴定结果上传到服务端进行备份。
本发明所述设备可通过蓝牙与手机进行数据传输，将拍摄的结果发送给手机。
下面结合附图再次描述其原理：
如图1，I代表输入即是现场车辆损伤图片的数字图像信号，也就是图像X，是本发明车辆定损方法的设备使用红外成像设备的捕获的数字图像信号。信号经过卷积神经网络进行特征提取。在特征提取完成后最后分别通过H1、H2、H3对损伤位置、损伤深度、损伤面积等参数进行评估，H1、H2、H3的输出将分别由E1、E2、E3模块进行优化，并最终通过F层进行融合得到最终的评估结果。
该设备的整体结构如图2所示，主要由成像模块，人工智能分析模块，电源模块，存储模块以及通信模块组成。其中，成像模块包括：RGB成像模块和红外成像模块。通信模块又包括：5G模块，WIFI模块以及蓝牙模块。
使用时，成像设备所获得的图像会先存储到“存储”模块，存储的图像经过人工智能分析模块处理后得到的评估结果由显示模块像用户进行展示，并将鉴定结果和设备采集的数据通过5G(或WIFI)发送给云端。
为了保证数据安全，用户是无法手动存储模块中存放的场景信息即图片和评估结果的。当网络条件允许的时候，这些信息将发送给云端，在云端存储后，设备会自动的对存储模块进行清理。
需要声明的是，上述具体实施方式仅为本发明的较佳实施例及所运用技术原理，在本发明所公开的技术范围内，任何熟悉本技术领域的技术人员所容易想到的变化或替换，都应涵盖在本发明的保护范围内。
Claims (8)
1.一种车辆定损方法，其特征在于：包括下列步骤：
(1)利用成像设备捕获现场车辆损伤图片的数字图像信号，现场车辆损伤图片称为原图；
(2)通过对神经网络深度学习建立特征提取网络，进行特征提取，即将数字图像信号输入所述特征提取网络，其输出即是一组涵盖了输入图像相关的特征向量，但不具备可读性；
(3)通过子网络提升所述特征提取网络输出的可读性，包括分别连接在所述特征提取网络输出的三个子网络即E1、E2、E3，所述E1为语义分割网络，通过训练E1统计E1的输出得到车损面积，E2为深度估计网络，通过训练E2统计E2的输出得到损伤深度，E3为分类网络，通过训练E3得到车损位置；
(4)最终的评估结果，对各个因素进行加权处理，写作FLayer，
其中，
表示不同因素所占的比重大小，S表示车损定级所需考虑的各项因素，包括所述车损面积、所述损伤深度、所述车损位置；
所述成像设备捕获现场车辆损伤图片的数字图像信号会先存储到存储模块，所述最终的评估结果存储到存储模块。
2.根据权利要求1所述车辆定损方法，其特征在于：
所述E1语义分割网络，其输出的特征向量与原图宽高一致，该向量的每元素与原图中的每个像素一一对应，在该输出中，以0.5作为分界线，大于0.5的部分认为是损伤部分；
E2深度估计网络，其输出的特征向量与原图宽高一致，该向量的每元素与原图中的每个像素一一对应，这个网络输出的每个单元是个0-1之间的值，为便于使用，将这个值放大255倍即将输出映射到0-255之间，与当前成像平面最近的值为0，最远的值为255，结合E1得出车损边缘的深度信息，以车损边缘的深度值d0为标准，车损区域中每个位置的深度di减去d0即得到车损区域的实际深度，并对区域内的每个输出进行统计，获悉车损部分的凹陷情况；
E3分类网络，其输出是一个1行N列的特征向量，N的取值与待检测的车损部位相关，模型的每个输出是一个0到1之间的小数，规定输出向量表示当前损伤位置，模型的每个输出向量大于阈值即明确是发生的损伤位置；
所述三个子网络E1、E2、E3均通过对神经网络深度学习而建立；
所述深度学习的方法是：
a)数据收集，即从合作单位获取车辆损伤图像；
b)数据标注，对a)中收集的数据进行标注，所述标注包括：利用坐标点标记出车损的位置；以像素为单位标注出图像中每个受损位置；记录损伤相关信息，包括车损原因、车损位置、深度、面积；所述标注的信息统称为J；
c)训练，一个神经元的工作过程表示为：
其中，x为图像，f为激活函数，t为单个神经元的输入，w为权值；
神经网络是通过组合众多的神经元形成，所述组合是把前n个神经元的输出作为后m个神经元的输入，如此反复叠加：该过程表示为是y＝F(X)，F表示深度学习的神经网络模型，y表示模型的最终输出，x表示图像；
训练的步骤是将标注的图像x输入神经网络模型，通过神经网络模型计算得到对应的输出y，这个步骤称为推导；通过比较y与J之间的loss差异对所述神经网络模型的实际特征提取能力做出评价，所述loss越接近0，说明神经网络模型里的各项权值越适于当前任务，采用梯度下降法将loss逐层地反馈给每个神经元，并对神经元的权值进行调整，这个步骤称为反向传递；训练的过程就是迭代的进行推导和反向传递，直到所述模型的loss不再下降的过程。
3.根据权利要求1或2所述车辆定损方法，其特征在于：所述成像模块包括RGB成像模块和红外成像模块。
4.根据权利要求1所述车辆定损方法，其特征在于：所述最终的评估结果由显示模块像用户进行展示，并将所述最终的评估结果和成像设备采集的数据通过5G或WIFI发送给云端。
5.根据权利要求1或2所述车辆定损方法，其特征在于：在云端存储后，自动对存储模块进行清理。
6.根据权利要求1或2所述车辆定损方法，其特征在于：所述成像设备捕获现场车辆损伤图片的数字图像信号通过蓝牙与手机进行数据传输，发送给手机。
7.一种专用权利要求1所述车辆定损方法的设备，其特征在于所述设备包括：
成像模块：包括RGB成像模块和红外成像模块，采集数据，即用于捕获现场车辆损伤图片的数字图像信号；
人工智能分析模块：对成像设备捕获现场车辆损伤图片的数字图像信号进行分析与处理，得到最终的评估结果；包括建立特征提取网络，进行特征提取，即将数字图像信号输入特征提取网络，其输出即是该图片的一组涵盖了输入图像相关的特征向量，不具备可读性；建立三个子网络E1、E2、E3提升所述特征提取网络输出的可读性，E1为语义分割网络，通过训练E1统计E1的输出得到车损面积，E2为深度估计网络，通过训练E2统计E2的输出得到损伤深度，E3为分类网络，通过训练E3得到车损位置；最终的评估结果，对各个因素进行加权处理，写作FLayer，
其中，
表示不同因素所占的比重大小，S表示车损定级所需考虑的各项因素，包括所述车损面积、损伤深度、车损位置；
存储模块：用于存储成像设备捕获现场车辆损伤图片的数字图像信号以及人工智能分析模块处理后得到的最终的评估结果；
显示模块：经过人工智能分析模块处理后得到最终的评估结果由显示模块向用户进行展示；
电源模块：为设备提供电源；
通信模块：将成像模块的所采集的数据和鉴定结果发送给云端。
8.根据权利要求7所述的车辆定损方法的设备，其特征在于：所述通信模块包括5G模块，WIFI模块以及蓝牙模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910967068.XA CN110728236B (zh) | 2019-10-12 | 2019-10-12 | 车辆定损方法及其专用设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910967068.XA CN110728236B (zh) | 2019-10-12 | 2019-10-12 | 车辆定损方法及其专用设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110728236A CN110728236A (zh) | 2020-01-24 |
| CN110728236B true CN110728236B (zh) | 2020-12-04 |
Family
ID=69220074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910967068.XA Active CN110728236B (zh) | 2019-10-12 | 2019-10-12 | 车辆定损方法及其专用设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110728236B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113496242A (zh) * | 2020-04-07 | 2021-10-12 | 华晨宝马汽车有限公司 | 对车辆的损伤部位进行分类的方法和设备 |
| CN111583215B (zh) * | 2020-04-30 | 2024-07-02 | 平安科技（深圳）有限公司 | 损伤图像智能定损方法、装置、电子设备及存储介质 |
| CN111695615A (zh) * | 2020-05-28 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于人工智能的车辆定损方法、装置、电子设备及介质 |
| CN112270370B (zh) * | 2020-11-06 | 2023-06-02 | 北京环境特性研究所 | 一种车辆表观毁伤评估方法 |
| CN112418789A (zh) * | 2020-11-18 | 2021-02-26 | 德联易控科技(北京)有限公司 | 理赔评估处理方法及装置、非易失性存储介质、电子设备 |
| CN112966730A (zh) * | 2021-03-01 | 2021-06-15 | 创新奇智(上海)科技有限公司 | 车辆伤损识别方法、装置、设备及存储介质 |
| CN112907576B (zh) * | 2021-03-25 | 2024-02-02 | 平安科技（深圳）有限公司 | 车辆损伤等级检测方法、装置、计算机设备及存储介质 |
| CN113657409A (zh) * | 2021-08-16 | 2021-11-16 | 平安科技（深圳）有限公司 | 车辆损失检测方法、装置、电子设备及存储介质 |
| CN113780435B (zh) * | 2021-09-15 | 2024-04-16 | 平安科技（深圳）有限公司 | 车辆损伤检测方法、装置、设备及存储介质 |
| CN117671329B (zh) * | 2023-11-14 | 2024-06-21 | 平安科技(上海)有限公司 | 基于人工智能的车辆损伤分析方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127747A (zh) * | 2016-06-17 | 2016-11-16 | 史方 | 基于深度学习的汽车表面损伤分类方法及装置 |
| WO2017176304A1 (en) * | 2016-04-06 | 2017-10-12 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| CN107247956A (zh) * | 2016-10-09 | 2017-10-13 | 成都快眼科技有限公司 | 一种基于网格判断的快速目标检测方法 |
| CN108052946A (zh) * | 2017-12-11 | 2018-05-18 | 国网上海市电力公司 | 一种基于卷积神经网络的高压机柜开关自动识别方法 |
| CN109544623A (zh) * | 2018-10-11 | 2019-03-29 | 百度在线网络技术（北京）有限公司 | 车辆损伤区域的测量方法和装置 |
| KR102026686B1 (ko) * | 2018-11-12 | 2019-11-04 | 한국건설기술연구원 | 커넥티드 차량을 이용한 도로 파손 정보 제공 장치 및 도로 파손 판정 모델 생성 서버 |
-
2019
- 2019-10-12 CN CN201910967068.XA patent/CN110728236B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017176304A1 (en) * | 2016-04-06 | 2017-10-12 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| CN106127747A (zh) * | 2016-06-17 | 2016-11-16 | 史方 | 基于深度学习的汽车表面损伤分类方法及装置 |
| CN107247956A (zh) * | 2016-10-09 | 2017-10-13 | 成都快眼科技有限公司 | 一种基于网格判断的快速目标检测方法 |
| CN108052946A (zh) * | 2017-12-11 | 2018-05-18 | 国网上海市电力公司 | 一种基于卷积神经网络的高压机柜开关自动识别方法 |
| CN109544623A (zh) * | 2018-10-11 | 2019-03-29 | 百度在线网络技术（北京）有限公司 | 车辆损伤区域的测量方法和装置 |
| KR102026686B1 (ko) * | 2018-11-12 | 2019-11-04 | 한국건설기술연구원 | 커넥티드 차량을 이용한 도로 파손 정보 제공 장치 및 도로 파손 판정 모델 생성 서버 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110728236A (zh) | 2020-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728236B (zh) | 车辆定损方法及其专用设备 | |
| CN110502965B (zh) | 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法 | |
| CN111259706B (zh) | 一种车辆的车道线压线判断方法和系统 | |
| CN112329747B (zh) | 基于视频识别和深度学习的车辆参数检测方法及相关装置 | |
| CN108109385A (zh) | 一种输电线防外破的车辆识别与危险行为判别系统与方法 | |
| CN111291809A (zh) | 一种处理装置、方法及存储介质 | |
| CN107273870A (zh) | 一种监控场景下融合上下文信息的行人位置检测方法 | |
| Chatterjee et al. | Intelligent Road Maintenance: a Machine Learning Approach for surface Defect Detection. | |
| CN111881958A (zh) | 车牌分类识别方法、装置、设备及存储介质 | |
| CN109935080A (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
| JP2017033197A (ja) | 変化領域検出装置、方法、及びプログラム | |
| CN112749654A (zh) | 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置 | |
| CN111738336A (zh) | 基于多尺度特征融合的图像检测方法 | |
| CN111259704A (zh) | 一种虚线车道线端点检测模型的训练方法 | |
| CN112861631A (zh) | 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法 | |
| CN106875061A (zh) | 一种目标路径确定的方法以及相关装置 | |
| CN115965578A (zh) | 一种基于通道注意力机制的双目立体匹配检测方法及装置 | |
| CN115546742A (zh) | 一种基于单目热红外摄像头的铁轨异物识别方法及系统 | |
| CN112861617A (zh) | 一种基于监控图像的边坡灾害识别系统 | |
| CN114821470A (zh) | 基于图卷积网络的人车关联方法及装置 | |
| CN113553949A (zh) | 一种基于摄影测量数据的尾矿库语义分割方法 | |
| CN115147450B (zh) | 基于运动帧差图像的移动目标检测方法及检测装置 | |
| CN116611977A (zh) | 失联人员路径溯源及救援方法和装置 | |
| CN116502810A (zh) | 一种基于图像识别的标准化生产监测方法 | |
| CN115761552A (zh) | 面向无人机机载平台的目标检测方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |