CN113505624A - 车辆定损方法、车辆定损装置及应用其的电子设备 - Google Patents

车辆定损方法、车辆定损装置及应用其的电子设备 Download PDF

Info

Publication number
CN113505624A
CN113505624A CN202010206712.4A CN202010206712A CN113505624A CN 113505624 A CN113505624 A CN 113505624A CN 202010206712 A CN202010206712 A CN 202010206712A CN 113505624 A CN113505624 A CN 113505624A
Authority
CN
China
Prior art keywords
vehicle
damage
component
vehicle image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010206712.4A
Other languages
English (en)
Inventor
邹文财
曹良富
王进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
ArcSoft Corp Ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN202010206712.4A priority Critical patent/CN113505624A/zh
Priority to US17/913,847 priority patent/US20230351575A1/en
Priority to EP21776441.4A priority patent/EP4131061A4/en
Priority to PCT/CN2021/079127 priority patent/WO2021190269A1/zh
Publication of CN113505624A publication Critical patent/CN113505624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Molecular Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Technology Law (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)

Abstract

本发明公开了一种车辆定损方法、车辆定损装置及应用其的电子设备。其中，该车辆定损方法，包括：获取车辆图像；使用第一模型对车辆图像进行处理，获得部件识别结果，其中，部件识别结果包括车辆部件的部件名称、部件区域和/或部件掩模；使用第二模型对车辆图像进行处理，获得损伤识别结果，其中，损伤识别结果包括述车辆部件的损伤形态、损伤区域和/或损伤区域掩模；对部件识别结果和损伤识别结果进行融合，获得定损结果。本发明可以解决了现有技术中需定损员介入才能完成车辆定损的技术问题。

Description

车辆定损方法、车辆定损装置及应用其的电子设备
技术领域
本发明涉及计算机视觉技术，具体而言，涉及一种车辆定损方法、车辆定损装置及应用其的电子设备。
背景技术
根据保险公司资料统计，全国范围内平均每天都要处理上千起交通事故报案，一般保险理赔流程是保险公司派定损员到现场去查勘定损，然后根据定损金额进行赔付。现场定损方式要求定损员赶到现场，对损伤车辆进行拍照查勘，耗费大量时间和人力财力。因此，有必要提出一种智能车辆定损技术，能够在不需要定损员介入的情况下，快速准确地完成车辆定损，获得定损结果，以缩短定损时间，减少定损成本和人力配置，优化用户体验。
发明内容
本发明实施例提供了一种车辆定损方法、车辆定损装置及应用其的电子设备，以至少解决了现有技术中需定损员介入才能完成车辆定损的技术问题。
根据本发明实施例的一个方面，提供了一种车辆定损方法，包括：获取车辆图像；使用第一模型对所述车辆图像进行处理，获得部件识别结果，其中，所述部件识别结果包括车辆部件的部件名称、部件区域和/或部件掩模；使用第二模型对所述车辆图像进行处理，获得损伤识别结果，其中，所述损伤识别结果包括所述车辆部件的损伤形态、损伤区域和/或损伤区域掩模；对所述部件识别结果和所述损伤识别结果进行融合，获得定损结果。
可选地，所述第一模型包括：部件识别支路，用于对所述车辆图像进行部件识别处理，获取所述部件名称；部件检测支路，用于对所述车辆图像进行部件检测处理，获取所述部件区域；和/或，部件分割支路，用于对所述车辆图像进行部件分割处理，获取所述部件掩模。
可选地，所述第二模型包括：损伤识别支路，用于对所述车辆图像进行损伤识别处理，获取所述损伤形态；损伤检测支路，用于对所述车辆图像进行损伤检测处理，获取所述损伤区域；和/或，损伤分割支路，用于对所述车辆图像进行损伤分割处理，获取所述损伤区域掩模。
可选地，在获取车辆图像后，所述车辆定损方法还包括对所述车辆图像的质量进行评估，获得评估结果；根据所述评估结果将所述车辆图像按照预设类别分类，并选择所需类别的所述车辆图像输入至所述第一模型和所述第二模型；若不存在所需类别的所述车辆图像，则结束车辆定损或返回继续获取所述车辆图像。
可选地，所述预设类别根据拍摄点至所述损伤区域的距离或根据所述车辆图像中的部件数量确定。
可选地，所述预设类别包括：不合格、合格、超近景、近景、中景、远景。
可选地，在获得所述车辆图像后，所述车辆定损方法还包括去除相似度大于第一阈值的所述车辆图像。
可选地，在获取车辆图像后，所述车辆定损方法还包括对所述车辆图像进行增强处理，获得增强的所述车辆图像输入至所述第一模型和所述第二模型；其中，所述增强处理包括：去反光、去阴影、去噪、夜景增强。
可选地，在获取所述车辆图像后，所述车辆定损方法还包括对所述车辆图像进行预处理，将经过所述预处理的所述车辆图像输入至所述第一模型和所述第二模型，其中，所述预处理包括对车辆图像进行缩放和/或归一化处理。
可选地，选择所述中景类别的所述车辆图像输入至所述第一模型；选择所述近景类别的所述车辆图像输入至所述第二模型。
可选地，使用多模型融合技术对所述部件识别结果和/或损伤识别结果进行投票。
可选地，车辆定损方法还包括：对所述第一模型进行训练；其中，在训练过程中加入所述车辆部件的相关性约束，其中，所述相关性约束包括不同车辆部件之间的空间位置关系和/或方向关系。
可选地，所述第一模型或第二模型包括RPN网络，用于提取所述车辆图像中的候选框；对所述候选框进行对齐并提取候选框特征。
可选地，使用非极大值去除多余候选框。
可选地，所述对所述部件识别结果和所述损伤识别结果进行融合，获得定损结果包括：计算所述部件区域和所述损伤区域的交并比(IOU)值，或者计算所述部件区域和所述损伤区域掩模的IOU值，或者计算所述部件掩模和所述损伤区域的IOU值，或者计算所述部件掩模与所述损伤区域掩模的IOU值，根据所述IOU值判断是否匹配成功，如果匹配成功，则确定所述车辆部件为损伤部件，并确定所述损伤形态，以获得所述定损结果；如果匹配不成功，则确定所述车辆部件未损伤。
可选地，所述根据所述IOU值判断是否匹配成功包括：判断所述IOU值是否超过第二阈值，如果判断所述IOU值超过所述第二阈值，则表示匹配成功，否则，表示匹配不成功；或者判断所述IOU值是否超过第二阈值并且所述IOU值是否最大，如果判断所述IOU值超过所述第二阈值并且所述IOU值最大，则表示匹配成功，否则，表示匹配不成功。
可选地，确定所述损伤形态包括：确定损伤程度最严重的所述损伤形态作为所述损伤部件的损伤形态，由此确定所述损伤部件和所述损伤形态，获得所述定损结果。
可选地，确定所述损伤形态包括：融合多张所述车辆图像的所述损伤识别结果，基于所述损伤形态权重的计算和比较，获得确定所述损伤部件对应的所述损伤形态。
可选地，车辆定损方法还包括根据所述定损结果确定维修方案和/或定损价格。
根据本发明实施例的另一方面，还提供了一种车辆定损装置，包括：车辆图像获取单元，用于获取车辆图像；部件识别单元，通过使用第一模型对所述车辆图像进行处理，获得部件识别结果，其中，所述部件识别结果包括车辆部件的部件名称、部件区域和/或部件掩模；损伤识别单元，通过使用第二模型对所述车辆图像进行处理，获得损伤识别结果，其中，所述损伤识别结果包括所述车辆部件的损伤形态、损伤区域和/或损伤区域掩模；融合单元，用于对所述部件识别结果和所述损伤识别结果进行融合，获得定损结果。
可选地，所述第一模型包括：部件识别支路，用于对所述车辆图像进行部件识别处理，获取所述部件名称；部件检测支路，用于对所述车辆图像进行部件检测处理，获取所述部件区域；和/或，部件分割支路，用于对所述车辆图像进行部件分割处理，获取所述部件掩模。
可选地，所述第二模型包括：损伤识别支路，用于对所述车辆图像进行损伤识别处理，获取所述损伤形态；损伤检测支路，用于对所述车辆图像进行损伤检测处理，获取所述损伤区域；和/或，损伤分割支路，用于对所述车辆图像进行损伤分割处理，获取所述损伤区域掩模。
可选地，车辆定损装置还包括质量评估单元，用于在获取所述车辆图像后，对所述车辆图像的质量进行评估，获得评估结果；根据所述评估结果将所述车辆图像按照预设类别分类，并选择所需类别的车辆图像输入至所述第一模型和所述第二模型；若不存在所述所需类别的车辆图像，则结束车辆定损或返回继续获取所述车辆图像。
可选地，所述预设类别根据拍摄点至所述损伤区域的距离或根据所述车辆图像中的部件数量确定。
可选地，车辆定损装置还包括图像去重单元，用于在获得所述车辆图像后，去除相似度大于第一阈值的所述车辆图像。
可选地，车辆定损装置还包括增强处理单元，用于在获取车辆图像后，对所述车辆图像进行增强处理，获得增强的所述车辆图像输入至所述第一模型和所述第二模型；其中，所述增强处理包括：去反光、去阴影、去噪、夜景增强。
可选地，车辆定损装置还包括预处理单元，用于在获取所述车辆图像后，对所述车辆图像进行预处理，将经过所述预处理的所述车辆图像输入至所述第一模型和所述第二模型，其中，所述预处理包括对车辆图像进行缩放和/或归一化处理。
可选地，车辆定损装置还包括：对所述第一模型进行训练；其中，在训练过程中加入所述车辆部件的相关性约束，其中，所述相关性约束包括不同部件之间的空间位置关系和/或方向关系。
可选地，所述对所述部件识别结果和所述损伤识别结果进行融合，获得定损结果包括：计算所述部件区域和所述损伤区域的交并比(IOU)值，或者计算所述部件区域和所述损伤区域掩模的IOU值，或者计算所述部件掩模和所述损伤区域的IOU值，或者计算所述部件掩模与所述损伤区域掩模的IOU值，根据所述IOU值判断是否匹配成功，如果匹配成功，则确定所述车辆部件为损伤部件，并确定所述损伤形态，以获得所述定损结果；如果匹配不成功，则确定所述车辆部件未损伤。
根据本发明实施例的另一方面，还提供了一种存储介质，包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的车辆定损方法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的车辆定损方法。
在本发明实施例中，通过执行以下步骤：获取车辆图像；使用第一模型对车辆图像进行处理，获得部件识别结果，其中，部件识别结果包括车辆部件的部件名称、部件区域和/或部件掩模；使用第二模型对车辆图像进行处理，获得损伤识别结果，其中，损伤识别结果包括述车辆部件的损伤形态、损伤区域和/或损伤区域掩模；对部件识别结果和损伤识别结果进行融合，获得定损结果。解决了现有技术中需定损员介入才能完成车辆定损的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的车辆定损方法的流程图；
图2A是根据本发明实施例的第一种可选的第一模型的结构框图；
图2B是根据本发明实施例的第二种可选的第一模型的结构框图；
图2C是根据本发明实施例的第三种可选的第一模型的结构框图；
图3A是根据本发明实施例的第一种可选的第二模型的结构框图；
图3B是根据本发明实施例的第二种可选的第二模型的结构框图；
图3C是根据本发明实施例的第三种可选的第二模型的结构框图；
图4是根据本发明实施例的一种可选的通过融合获得定损结果的流程图；
图5是根据本发明实施例的一种可选的车辆定损装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的顺序在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例可以应用于具有至少一个摄像单元的电子设备中，电子设备可以包括：智能手机、平板电脑、电子阅读器、笔记本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、相机或可穿戴设备(如手表、手环、眼镜、头戴装置等附件类型的设备)、电子衣服、可植入身体的皮肤芯片、车载电子仪器等。
下面说明本发明实施例的一种可选的车辆定损方法的流程图。需要说明的是，在附图流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
参考图1，是根据本发明实施例的第一种可选的车辆定损方法的流程图。如图1所示，该车辆定损方法包括如下步骤：
S100，获取车辆图像。
在一种可选的实施例中，本步骤采用摄像装置(例如，RGB摄像头等)通过拍照的方式直接获取车辆图像，也可以通过拍摄车辆视频并对车辆视频进行视频帧截取的方式来获取车辆图像。拍摄车辆视频的方式相对于拍照方式具有更好的灵活性，对用户的拍摄位置要求相对较低，并且通过随机或间隔固定帧的方式截取多个视频帧，通过综合多个视频帧的处理结果，有助于提高定损结果的准确性。摄像装置可以是独立的摄像头，或者与其它摄像头全部或部分集成为一个或多个摄像模块，可以是独立安装，也可以以嵌入式或外接的方式安装在电子设备上。
在一种可选的实施例中，在获取车辆图像时，可以通过文字、音频等方式对用户的拍摄方式进行提示，例如，当用户距离车辆太远时，可以提示用户靠近车辆拍摄；反之，当用户距离车辆太近时，可以提示用户远离车辆拍摄，直到用户获取到符合要求的车辆图像。
在一种可选的实施例中，在获取车辆图像后，该车辆定损方法还包括对车辆图像的质量进行评估，获得评估结果；根据评估结果将车辆图像按照预设类别分类，并选择所需类别的车辆图像输入至后续步骤中使用的第一模型和第二模型；若不存在所需类别的车辆图像，则结束车辆定损或返回继续获取车辆图像。其中，对车辆图像的质量进行评估，获得评估结果可以包括使用质量评估模型对车辆图像是否模糊或模糊程度、拍摄点距离车身损伤区域的距离、车辆图像包含的部件数量等因素进行打分，将打分结果作为评估结果；根据评估结果将车辆图像按照预设类别分类，并选择所需类别的车辆图像可以包括根据预设类别设定不同阈值，选择打分结果大于相应阈值的车辆图像作为所需类别的车辆图像。预设类别可以包括但不限于：不合格、合格、超近景、近景、中景、远景。在一种可选的实施例中，对于超近景、近景、中景、远景的分类可以根据拍摄点至车辆损伤区域的距离确定，例如，超近景可以定义为拍摄点距离车辆损伤区域15-30cm所获得的车辆图像，近景可以定义为拍摄点距离车辆损伤区域30-60cm所获得的车辆图像，中景可以定义为拍摄点距离车辆损伤区域60-80cm所获得的车辆图像。由于不同车辆部件的面积不同，针对不同车辆部件的拍摄距离的要求也会不同，可以考虑结合不同车辆部件在不同车辆图像中的比例，因此，在另一种可选的实施例中，对于超近景、近景、中景、远景的分类可以根据车辆图像中的部件数量确定，例如，超近景可以定义为包含1-2个车辆部件的车辆图像，近景可以定义为包含2-4个车辆部件的车辆图像，中景可以定义为包含4-6个车辆部件的车辆图像。其中，超近景类型的车辆图像可以用于终止车辆图像的获取，即当获取到超近景类型的车辆图像时，结束车辆图像的获取。通过对车辆图像的质量进行评估，可以根据所需类别进行有针对性的筛选，例如，去除模糊的车辆图像、去除未包含车辆部件的车辆图像等，挑选出合格的属于中景和近景类别的车辆图像，以加快获得定损结果并提高定损结果的准确度。
在一种可选地实施例中，在获得所述车辆图像后，该车辆定损方法还包括去除相似度大于第一阈值的车辆图像，以实现图像去重，不需要对重复的图像进行处理，可以在计算资源有限的情况下，处理更多不同的车辆图像，提高车辆定损效率。其中，相似度可以通过比较两帧图像在色彩、纹理等属性上的差异程度确定。
在一种可选的实施例中，该车辆定损方法还包括对车辆图像进行增强处理，获得增强的车辆图像输入至后续步骤中使用的第一模型和第二模型。其中，增强处理包括但不限于：去反光、去阴影、去噪、夜景增强。通过增强处理，可以获得质量较好的车辆图像，以利于后续的处理步骤，提高车辆定损结果的准确度。
在一种可选的实施例中，该车辆定损方法还包括对车辆图像进行预处理，将经过预处理的车辆图像输入至后续步骤中使用的第一模型和所述第二模型，其中，预处理包括对车辆图像进行缩放和/或归一化(例如，减均值和去方差)处理。
S102，使用第一模型对车辆图像进行处理，获得部件识别结果，其中，部件识别结果包括车辆部件的部件名称、部件区域和/或部件掩模。
图2A示出了第一种可选的第一模型的结构框图。如图2A所示，第一模型为多任务网络模型，例如，Faster R-CNN模型，包括卷积神经网络(Convolutional Neural Network,CNN)、区域候选网络(Region Proposal Network,RPN)、用于确定部件名称的部件识别支路20、用于定位部件区域的部件检测支路22。通过RPN网络提取候选框(即部件区域的包围框)，对这些候选框进行对齐并提取候选框特征，再分别通过部件识别支路20和部件检测支路22对候选框进行部件名称判断和位置回归，分别得到部件名称和部件区域作为部件识别结果。该模型结构结合了部件识别和检测功能，能够确定部件名称并定位部件区域。
图2B示出了第二种可选的第一模型的结构框图。如图2B所示，第一模型为多任务网络模型，例如，Deeplab V3模型，包括卷积神经网络(Convolutional Neural Network,CNN)、用于确定部件名称的部件识别支路20、用于获得部件掩模的部件分割支路24。该模型结构结合了部件识别和分割功能，相比于图2A所示的结构，除了能够确定部件名称，部件分割支路24相较于部件检测支路22，能够更精确地定位部件的位置。
图2C示出了第三种可选的第一模型的结构框图。如图2C所示，第一模型为多任务网络模型，例如，MASK R-CNN模型，包括卷积神经网络(Convolutional Neural Network,CNN)、区域候选网络(Region Proposal Network,RPN)、用于确定部件名称的部件识别支路20、用于定位部件区域的部件检测支路22和用于获得部件掩模的部件分割支路24。该模型结构结合了部件识别、检测和分割功能，相比于图2B所示的结构，通过部件检测支路22和部件分割支路24的相互配合，除了能够确定部件名称，部件分割支路24能够在部件检测支路22获取的部件区域基础上更进一步精确地定位部件的位置，取得更好的定损效果。
在一种可选的实施例中，为了防止左右对称部件等相似部件的误识，该车辆定损方法还包括：对第一模型进行训练；其中，在训练过程中加入车辆部件的相关性约束，其中相关性约束包括不同车辆部件之间的空间位置关系、方向关系等，例如，前挡风玻璃和发动机罩是相邻关系，发动机罩和前保险杠皮、左侧前叶子板、右侧前叶子板是相邻关系，左侧前门壳、左侧倒车镜和左侧后门壳是同方向关系(例如，同一侧)。通过加入相关性约束，可以有效提升识别效果，减少误识率。
在一种可选的实施例中，所述车辆部件的部件名称包括但不限于前保险杠皮、发动机罩、左侧前门壳、右侧前门壳、左侧前叶子板、右侧前叶子板、左侧倒车镜、右侧倒车镜、前挡风玻璃等。
在一种可选的实施例中，在进行车辆部件识别时，可以选择中景类别的车辆图像输入至第一模型，以避免使用近景或超近景类别车辆图像时可能出现的误识，同时也能避免远景类别车辆图像中背景过多的问题。
S104：使用第二模型对车辆图像进行处理，获得损伤识别结果，其中，损伤识别结果包括车辆部件的损伤形态、损伤区域和/或损伤区域掩模。
在一种可选的实施例中，本步骤包括：使用第二模型提取车辆图像中的候选框；对候选框进行对齐并提取候选框特征，根据候选框特征对候选框进行损伤形态判断、位置回归和/或掩模分割，分别得到所述损伤形态、所述损伤区域和/或所述损伤区域掩模，作为损伤识别结果。
图3A示出了第一种可选的第二模型的结构框图。如图3A所示，第二模型为多任务网络模型，例如，Faster R-CNN模型，包括卷积神经网络(Convolutional Neural Network,CNN)、区域候选网络(Region Proposal Network,RPN)、用于确定损伤形态的损伤识别支路30、用于定位损伤区域的损伤检测支路32。通过RPN网络提取候选框(即损伤区域的包围框)，对这些候选框进行对齐并提取候选框特征，再分别通过损伤识别支路30和损伤检测支路32对候选框进行损伤形态判断和位置回归，分别得到损伤形态和损伤区域作为损伤识别结果。该模型结构结合了损伤识别和检测功能，能够确定损伤形态并定位损伤区域。
图3B示出了第二种可选的第二模型的结构框图。如图3B所示，第二模型为多任务网络模型，例如，Deeplab V3模型，包括卷积神经网络(Convolutional Neural Network,CNN)、用于确定损伤形态的损伤识别支路30、用于获得损伤区域掩模的损伤分割支路34。通过RPN网络提取候选框(即损伤区域的包围框)，对这些候选框进行对齐并提取候选框特征，再分别通过损伤识别支路30和损伤分割支路34对损伤区域进行损伤形态判断和掩模分割，分别得到损伤形态和损伤区域掩模作为损伤识别结果。该模型结构结合了损伤识别和分割功能，相比于图3A所示的结构，除了能够确定损伤形态，损伤分割支路34相较于损伤检测支路32，能够更精确地定位损伤区域的位置。
图3C示出了第三种可选的第二模型的结构框图。如图3C所示，第二模型为多任务网络模型，例如，Mask R-CNN模型，包括卷积神经网络(Convolutional Neural Network,CNN)、区域候选网络(Region Proposal Network,RPN)、用于确定损伤形态的损伤识别支路30、用于定位损伤区域的损伤检测支路32和用于获得损伤区域掩模的损伤分割支路34。通过RPN网络提取候选框(即损伤区域的包围框)，对这些候选框进行对齐并提取候选框特征，再分别通过损伤识别支路30、损伤检测支路32和损伤分割支路34对损伤区域进行损伤形态判断、位置回归和掩模分割，分别得到损伤形态、损伤区域和损伤区域掩模作为损伤识别结果。该模型结构结合了损伤识别、检测和分割功能，相比于图3B所示的结构，除了能够确定损伤形态，损伤分割支路34能够在损伤检测支路32获取的损伤区域基础上更进一步精确定位损伤区域的位置，取得更好的定损效果。
在一种可选的实施例中，由于同一块目标区域中可能会存在多个候选框，可以通过非极大值抑制可以去除多余候选框。
在一种可选的实施例中，损伤形态包括但不限于划痕、刮擦、错位、轻度变形、中度变形、重度变形1、重度变形2、折曲变形、轻度撕裂、重度撕裂、击穿、缺失、玻璃裂纹、玻璃破损、灯壳破裂等。
在一种可选的实施例中，在进行车辆损伤形态识别时，由于近景类别的车辆图像包含更清晰的损伤细节，可以选用近景类别的车辆图像输入至第二模型。
在一种可选的实施例中，由于损伤形态不均衡，在对上述第一模型或第二模型进行训练时，可以对车辆图像进行扩展，例如，通过光照扰动、旋转、透视变换等方式增加车辆图像的丰富性。
本领域技术人员可知，在不付出创造性劳动的前提下，上述第一模型或第二模型可以根据检测或识别对象、任务对模型结构和参数进行调整，可以具有相同或不同的结构和参数，而不限于图2A-图2C和图3A-图3C所示的示例。
在一种可选的实施例中，为了提高识别结果的准确性，可以使用多模型融合(Model Ensemble)技术对部件识别结果和/或损伤识别结果进行投票。
S106：对部件识别结果和损伤识别结果进行融合，获得定损结果。
在上述步骤S102和步骤S104中，分别获得了部件识别结果和损伤识别结果，即通过部件识别结果可以判断当前车辆图像中存在的部件，但是这些部件中哪些是损伤部件却并不清楚；而通过损伤识别结果可以判断损伤区域，但是这些损伤区域对应哪些部件也不清楚，因此为了确定当前车辆图像中具体某个部件包含哪种损伤形态，需要将部件识别结果和损伤识别结果进行融合，以获得定损结果，即确定损伤部件及其对应的损伤形态。
图4示出了一种可选的通过融合获得定损结果的流程图。如图4所示，步骤S106包括：计算部件区域和损伤区域的交并比(Intersection Over Union，IOU)值，或者计算部件区域和损伤区域掩模的IOU值，或者计算部件掩模和损伤区域的IOU值，或者计算部件掩模与损伤区域掩模的IOU值，根据IOU值判断是否匹配成功，如果匹配成功，则确定该车辆部件为损伤部件，并确定所述损伤形态，以获得所述定损结果；如果匹配不成功，则确定该车辆部件未损伤。其中，根据IOU值判断是否匹配成功包括判断IOU值是否超过第二阈值，如果判断IOU值超过第二阈值，则表示匹配成功，否则，表示匹配不成功；或者，由于仅通过判断IOU值是否超过第二阈值，可能会出现一个损伤部件对应多个损伤形态的情况，为了实现损伤部件与损伤形态的一一对应，可以判断IOU值是否超过第二阈值并且IOU值是否最大，如果判断IOU值超过第二阈值并且IOU值最大，则表示匹配成功，否则，表示匹配不成功。
在一种可选的实施例中，确定损伤形态包括：根据损伤部件对应的损伤形态，确定损伤程度最严重的损伤形态作为该损伤部件的损伤形态，由此即可确定损伤部件和损伤形态，获得定损结果。由于同一个损伤区域可能有多种损伤形态，比如既有中度变形又有刮擦，经过匹配后，同一个损伤部件就可能有对应的多种损伤形态，不便于定损，因此，可以选择损伤程度最严重的损伤形态作为该损伤部件的损伤形态。其中，可以预设损伤形态对应的损伤程度依次由轻到重分别为喷漆、钣金、更换。由于有些损伤在某些角度看不明显，但从另一些角度看则比较明显，为了提高识别率和稳定性，可以采取多帧投票策略，将损伤识别出来。
在一种可选的实施例中，确定损伤形态包括：融合多张车辆图像的损伤识别结果，基于损伤形态权重的计算和比较，获得确定该损伤部件的损伤形态。例如，损伤部件前保险杠皮既被识别到刮擦又被识别到轻度撕裂，则分别计算刮擦的权重和轻度撕裂的权重并进行比较，如果刮擦权重高于轻度撕裂，确定前保险皮的损伤形态是刮擦。
依据本发明实施例提供的车辆定损方法，针对在交通事故中的受损车辆，用户只需要拍摄受损车辆的视频或照片，即可对车辆的损伤程度实现智能定损，而不需要通过定损员进行人工定损，能够节省时间、人力和费用，同时能够克服人工定损的主观判断误差，以较快的速度和较高的准确度完成智能定损。
此外，在本发明实施例的一种应用场景中，可以根据上述车辆定损方法获得的定损结果，确定维修方案和/或维修价格。
在本发明实施例的另一种应用场景中，还可以根据将上述车辆定损方法应用于保险公司的理赔端，提供防欺诈功能，例如，在用户通过客户端上传车辆图像后，通过上述车辆定损方法对车辆图像进行受损检测，判断是否确实有损伤发生，以避免欺诈、骗保行为的发生，减少人力勘察。
本领域技术人员可知，上述步骤S102和步骤S104并没有限定先后顺序。
根据本发明实施例的另一方面，还提供了一种车辆定损装置。参考图5，是根据本发明实施例的一种可选的车辆定损装置的结构框图。如图5所示，车辆定损装置50包括车辆图像获取单元500、部件识别单元502、损伤识别单元504和融合单元506。
下面对车辆定损装置50包含的各个单元进行具体描述。
车辆图像获取单元500，用于获取车辆图像。
在一种可选的实施例中，车辆图像获取单元500(例如，RGB摄像头等)用于通过拍照的方式直接获取车辆图像，或者用于通过拍摄车辆视频并对车辆视频进行视频帧截取的方式来获取车辆图像。
在一种可选的实施例中，车辆定损装置50还可以包括拍摄提示单元，用于在获取车辆图像时，通过文字、音频等方式对用户的拍摄方式进行提示。
在一种可选的实施例中，车辆定损装置50还包括质量评估单元，用于在获取车辆图像后，对车辆图像的质量进行评估，获得评估结果；根据评估结果将车辆图像按照预设类别分类，并选择所需类别的车辆图像输入至后续步骤中使用的第一模型和第二模型；若不存在所需类别的车辆图像，则结束车辆定损或返回继续获取车辆图像。
在一种可选地实施例中，车辆定损装置50还包括图像去重单元，用于在获得所述车辆图像后，去除相似度大于第一阈值的车辆图像，以实现图像去重。
在一种可选的实施例中，车辆定损装置50还包括增强处理单元，用于对车辆图像进行增强处理，获得增强的车辆图像输入至后续步骤中使用的第一模型和第二模型。
在一种可选的实施例中，车辆定损装置50还包括预处理单元，将经过预处理的车辆图像输入至后续步骤中使用的第一模型和所述第二模型，其中，预处理包括对车辆图像进行缩放和/或归一化(例如，减均值和去方差)处理。
部件识别单元502，使用第一模型对车辆图像进行处理，获得部件识别结果，其中，部件识别结果包括车辆部件的部件名称、部件区域和/或部件掩模。
在一种可选的实施例中，部件识别单元502通过使用第一模型提取车辆图像中的候选框；对候选框进行对齐并提取候选框特征，根据候选框特征对候选框进行部件名称判断、位置回归和/或掩模分割，分别得到部件名称、部件区域和/或部件区域掩模，作为部件识别结果。第一模型的结构和功能可参见图2A-图2C及其对应的相关描述，在此不再赘述。
在一种可选的实施例中，为了防止左右对称部件等相似部件的误识，需要对第一模型进行训练；其中，在训练过程中加入部件的相关性约束，其中相关性约束包括不同车辆部件之间的空间位置关系、方向关系等。
在一种可选的实施例中，在进行车辆部件识别时，可以选择中景类别的车辆图像输入至第一模型，以避免使用近景或超近景类别车辆图像时可能出现的误识，同时也能避免远景类别车辆图像中背景过多的问题。
在一种可选的实施例中，为了提高识别结果的准确性，可以使用多模型融合(Model Ensemble)技术对部件识别结果和/或损伤识别结果进行投票。
损伤识别单元504，用于使用第二模型对车辆图像进行处理，获得损伤识别结果，其中，损伤识别结果包括车辆部件的损伤形态、损伤区域和/或损伤区域掩模。
在一种可选的实施例中，损伤识别单元504通过使用第二模型提取车辆图像中的候选框；对候选框进行对齐并提取候选框特征，根据候选框特征对候选框进行损伤形态判断、位置回归和/或掩模分割，分别得到损伤形态、损伤区域和/或损伤区域掩模，作为损伤识别结果。其中，第二模型可参见图3A-图3C及其对应的相关描述，在此不再赘述。
在一种可选的实施例中，在进行车辆损伤形态识别时，由于近景类别的车辆图像包含更清晰的损伤细节，可以选用近景类别的车辆图像输入至第二模型。
融合单元506，用于对部件识别结果和损伤识别结果进行融合，获得定损结果。
在一种可选的实施例中，融合单元506包括计算单元5061，用于计算部件区域和损伤区域的交并比(Intersection Over Union，IOU)值，或者计算部件区域和损伤区域掩模的IOU值，或者计算部件掩模和损伤区域的IOU值，或者计算部件掩模与损伤区域掩模的IOU值；定损结果获取单元5062，用于根据IOU值判断是否匹配成功如果匹配成功，则确定该车辆部件为损伤部件，并确定所述损伤形态，以获得所述定损结果；如果匹配不成功，则确定该车辆部件未损伤。其中，根据IOU值判断是否匹配成功包括判断IOU值是否超过第二阈值，如果判断IOU值超过第二阈值，则表示匹配成功，否则，表示匹配不成功；或者，判断IOU值是否超过第二阈值并且IOU值是否最大，如果判断IOU值超过第二阈值并且IOU值最大，则表示匹配成功，否则，表示匹配不成功。
在一种可选的实施例中，确定损伤形态包括：根据损伤部件对应的损伤形态，确定损伤程度最严重的损伤形态作为该损伤部件的损伤形态，由此即可确定损伤部件和损伤形态，获得定损结果。
在一种可选的实施例中，确定损伤形态包括：融合多张车辆图像的损伤识别结果，基于损伤形态权重的计算和比较，获得确定该损伤部件的损伤形态。
依据本发明实施例提供的车辆定损装置，针对在交通事故中的受损车辆，用户只需要拍摄受损车辆的视频或照片，即可对车辆的损伤程度实现智能定损，而不需要通过定损员进行人工定损，能够节省时间、人力和费用，同时能够克服人工定损的主观判断误差，以较快的速度和较高的准确度完成智能定损。
此外，在本发明实施例的一种应用场景中，可以根据上述车辆定损装置获得的定损结果，确定维修方案和/或维修价格。
在本发明实施例的另一种应用场景中，上述车辆定损装置还可以提供防欺诈功能，例如，在用户通过客户端上传车辆图像后，通过上述车辆定损装置对车辆图像进行受损检测，判断是否确实有损伤发生，以避免欺诈、骗保行为的发生，减少人力勘察。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的车辆定损方法。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的车辆定损方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (31)

1.一种车辆定损方法，包括：
获取车辆图像；
使用第一模型对所述车辆图像进行处理，获得部件识别结果，其中，所述部件识别结果包括车辆部件的部件名称、部件区域和/或部件掩模；
使用第二模型对所述车辆图像进行处理，获得损伤识别结果，其中，所述损伤识别结果包括所述车辆部件的损伤形态、损伤区域和/或损伤区域掩模；
对所述部件识别结果和所述损伤识别结果进行融合，获得定损结果。
2.根据权利要求1所述的车辆定损方法，其特征在于，所述第一模型包括：
部件识别支路，用于对所述车辆图像进行部件识别处理，获取所述部件名称；
部件检测支路，用于对所述车辆图像进行部件检测处理，获取所述部件区域；和/或，部件分割支路，用于对所述车辆图像进行部件分割处理，获取所述部件掩模。
3.根据权利要求1所述的车辆定损方法，其特征在于，所述第二模型包括：
损伤识别支路，用于对所述车辆图像进行损伤识别处理，获取所述损伤形态；
损伤检测支路，用于对所述车辆图像进行损伤检测处理，获取所述损伤区域；和/或，损伤分割支路，用于对所述车辆图像进行损伤分割处理，获取所述损伤区域掩模。
4.根据权利要求1所述的车辆定损方法，其特征在于，在获取车辆图像后，所述车辆定损方法还包括对所述车辆图像的质量进行评估，获得评估结果；根据所述评估结果将所述车辆图像按照预设类别分类，并选择所需类别的所述车辆图像输入至所述第一模型和所述第二模型；若不存在所需类别的所述车辆图像，则结束车辆定损或返回继续获取所述车辆图像。
5.根据权利要求4所述的车辆定损方法，其特征在于，所述预设类别根据拍摄点至所述损伤区域的距离或根据所述车辆图像中的部件数量确定。
6.根据权利要求4所述的车辆定损方法，其特征在于，所述预设类别包括：不合格、合格、超近景、近景、中景、远景。
7.根据权利要求1所述的车辆定损方法，其特征在于，在获得所述车辆图像后，所述车辆定损方法还包括去除相似度大于第一阈值的所述车辆图像。
8.根据权利要求1所述的车辆定损方法，其特征在于，在获取车辆图像后，所述车辆定损方法还包括对所述车辆图像进行增强处理，获得增强的所述车辆图像输入至所述第一模型和所述第二模型；其中，所述增强处理包括：去反光、去阴影、去噪、夜景增强。
9.根据权利要求1所述的车辆定损方法，其特征在于，在获取所述车辆图像后，所述车辆定损方法还包括对所述车辆图像进行预处理，将经过所述预处理的所述车辆图像输入至所述第一模型和所述第二模型，其中，所述预处理包括对车辆图像进行缩放和/或归一化处理。
10.根据权利要求6所述的车辆定损方法，其特征在于，选择所述中景类别的所述车辆图像输入至所述第一模型；选择所述近景类别的所述车辆图像输入至所述第二模型。
11.根据权利要求1所述的车辆定损方法，其特征在于，使用多模型融合技术对所述部件识别结果和/或损伤识别结果进行投票。
12.根据权利要求1所述的车辆定损方法，还包括：对所述第一模型进行训练；其中，在训练过程中加入所述车辆部件的相关性约束，其中，所述相关性约束包括不同车辆部件之间的空间位置关系和/或方向关系。
13.根据权利要求1所述的车辆定损方法，其特征在于，所述第一模型或第二模型包括RPN网络，用于提取所述车辆图像中的候选框；对所述候选框进行对齐并提取候选框特征。
14.根据权利要求13所述的车辆定损方法，其特征在于，使用非极大值去除多余候选框。
15.根据权利要求1所述的车辆定损方法，其特征在于，所述对所述部件识别结果和所述损伤识别结果进行融合，获得定损结果包括：计算所述部件区域和所述损伤区域的交并比(IOU)值，或者计算所述部件区域和所述损伤区域掩模的IOU值，或者计算所述部件掩模和所述损伤区域的IOU值，或者计算所述部件掩模与所述损伤区域掩模的IOU值，根据所述IOU值判断是否匹配成功，如果匹配成功，则确定所述车辆部件为损伤部件，并确定所述损伤形态，以获得所述定损结果；如果匹配不成功，则确定所述车辆部件未损伤。
16.根据权利要求15所述的车辆定损方法，其特征在于，所述根据所述IOU值判断是否匹配成功包括：判断所述IOU值是否超过第二阈值，如果判断所述IOU值超过所述第二阈值，则表示匹配成功，否则，表示匹配不成功；或者判断所述IOU值是否超过第二阈值并且所述IOU值是否最大，如果判断所述IOU值超过所述第二阈值并且所述IOU值最大，则表示匹配成功，否则，表示匹配不成功。
17.根据权利要求15所述的车辆定损方法，其特征在于，确定所述损伤形态包括：确定损伤程度最严重的所述损伤形态作为所述损伤部件的损伤形态，由此确定所述损伤部件和所述损伤形态，获得所述定损结果。
18.根据权利要求15所述的车辆定损方法，其特征在于，确定所述损伤形态包括：融合多张所述车辆图像的所述损伤识别结果，基于所述损伤形态权重的计算和比较，获得确定所述损伤部件对应的所述损伤形态。
19.根据权利要求1所述的车辆定损方法，还包括根据所述定损结果确定维修方案和/或定损价格。
20.一种车辆定损装置，包括：
车辆图像获取单元，用于获取车辆图像；
部件识别单元，通过使用第一模型对所述车辆图像进行处理，获得部件识别结果，其中，所述部件识别结果包括车辆部件的部件名称、部件区域和/或部件掩模；
损伤识别单元，通过使用第二模型对所述车辆图像进行处理，获得损伤识别结果，其中，所述损伤识别结果包括所述车辆部件的损伤形态、损伤区域和/或损伤区域掩模；
融合单元，用于对所述部件识别结果和所述损伤识别结果进行融合，获得定损结果。
21.根据权利要求20所述的车辆定损装置，其特征在于，所述第一模型包括：
部件识别支路，用于对所述车辆图像进行部件识别处理，获取所述部件名称；
部件检测支路，用于对所述车辆图像进行部件检测处理，获取所述部件区域；和/或，部件分割支路，用于对所述车辆图像进行部件分割处理，获取所述部件掩模。
22.根据权利要求20所述的车辆定损装置，其特征在于，所述第二模型包括：
损伤识别支路，用于对所述车辆图像进行损伤识别处理，获取所述损伤形态；
损伤检测支路，用于对所述车辆图像进行损伤检测处理，获取所述损伤区域；和/或，损伤分割支路，用于对所述车辆图像进行损伤分割处理，获取所述损伤区域掩模。
23.根据权利要求20所述的车辆定损装置，还包括质量评估单元，用于在获取所述车辆图像后，对所述车辆图像的质量进行评估，获得评估结果；根据所述评估结果将所述车辆图像按照预设类别分类，并选择所需类别的车辆图像输入至所述第一模型和所述第二模型；若不存在所述所需类别的车辆图像，则结束车辆定损或返回继续获取所述车辆图像。
24.根据权利要求23所述的车辆定损装置，其特征在于，所述预设类别根据拍摄点至所述损伤区域的距离或根据所述车辆图像中的部件数量确定。
25.根据权利要求20所述的车辆定损装置，还包括图像去重单元，用于在获得所述车辆图像后，去除相似度大于第一阈值的所述车辆图像。
26.根据权利要求20所述的车辆定损装置，还包括增强处理单元，用于在获取车辆图像后，对所述车辆图像进行增强处理，获得增强的所述车辆图像输入至所述第一模型和所述第二模型；其中，所述增强处理包括：去反光、去阴影、去噪、夜景增强。
27.根据权利要求20所述的车辆定损装置，还包括预处理单元，用于在获取所述车辆图像后，对所述车辆图像进行预处理，将经过所述预处理的所述车辆图像输入至所述第一模型和所述第二模型，其中，所述预处理包括对车辆图像进行缩放和/或归一化处理。
28.根据权利要求20所述的车辆定损装置，还包括：对所述第一模型进行训练；其中，在训练过程中加入所述车辆部件的相关性约束，其中，所述相关性约束包括不同部件之间的空间位置关系和/或方向关系。
29.根据权利要求20所述的车辆定损装置，其特征在于，所述对所述部件识别结果和所述损伤识别结果进行融合，获得定损结果包括：计算所述部件区域和所述损伤区域的交并比(IOU)值，或者计算所述部件区域和所述损伤区域掩模的IOU值，或者计算所述部件掩模和所述损伤区域的IOU值，或者计算所述部件掩模与所述损伤区域掩模的IOU值，根据所述IOU值判断是否匹配成功，如果匹配成功，则确定所述车辆部件为损伤部件，并确定所述损伤形态，以获得所述定损结果；如果匹配不成功，则确定所述车辆部件未损伤。
30.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至19中任意一项所述的车辆定损方法。
31.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至19中任意一项所述的车辆定损方法。
CN202010206712.4A 2020-03-23 2020-03-23 车辆定损方法、车辆定损装置及应用其的电子设备 Pending CN113505624A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010206712.4A CN113505624A (zh) 2020-03-23 2020-03-23 车辆定损方法、车辆定损装置及应用其的电子设备
US17/913,847 US20230351575A1 (en) 2020-03-23 2021-03-04 Method for Assessing Damage of Vehicle, Apparatus for Assessing Damage of Vehicle, and Electronic Device Using Same
EP21776441.4A EP4131061A4 (en) 2020-03-23 2021-03-04 VEHICLE LOSS ASSESSMENT METHOD, VEHICLE LOSS ASSESSMENT APPARATUS, AND ELECTRONIC DEVICE USING SAME
PCT/CN2021/079127 WO2021190269A1 (zh) 2020-03-23 2021-03-04 车辆定损方法、车辆定损装置及应用其的电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010206712.4A CN113505624A (zh) 2020-03-23 2020-03-23 车辆定损方法、车辆定损装置及应用其的电子设备

Publications (1)

Publication Number Publication Date
CN113505624A true CN113505624A (zh) 2021-10-15

Family

ID=77890927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010206712.4A Pending CN113505624A (zh) 2020-03-23 2020-03-23 车辆定损方法、车辆定损装置及应用其的电子设备

Country Status (4)

Country Link
US (1) US20230351575A1 (zh)
EP (1) EP4131061A4 (zh)
CN (1) CN113505624A (zh)
WO (1) WO2021190269A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115611A (zh) * 2022-07-21 2022-09-27 明觉科技（北京）有限公司 车辆损伤识别方法、装置、电子设备和存储介质
CN114972771B (zh) * 2022-06-22 2024-06-28 平安科技（深圳）有限公司 车辆定损理赔方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359717B (zh) * 2021-12-17 2023-04-25 华南理工大学 基于多视角相关性深度学习的车辆损伤识别方法
CN117670036A (zh) * 2023-11-14 2024-03-08 平安科技(上海)有限公司 定损机构的质量描述方法、装置、计算机设备及存储介质
CN117455466B (zh) * 2023-12-22 2024-03-08 南京三百云信息科技有限公司 一种汽车远程评估的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403424A (zh) * 2017-04-11 2017-11-28 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN108921068A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统
CN110569701A (zh) * 2018-12-29 2019-12-13 阿里巴巴集团控股有限公司 计算机执行的车辆定损方法及装置
CN110569696A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 用于车辆部件识别的神经网络系统、方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140229207A1 (en) * 2011-09-29 2014-08-14 Tata Consultancy Services Limited Damage assessment of an object
CN106296118A (zh) * 2016-08-03 2017-01-04 深圳市永兴元科技有限公司 基于图像识别的车辆定损方法及装置
CN107392218B (zh) * 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107358596B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN109635742A (zh) * 2018-12-13 2019-04-16 深源恒际科技有限公司 一种车辆图像定损中的子部件损伤识别方法
CN110135437B (zh) * 2019-05-06 2022-04-05 北京百度网讯科技有限公司 用于车辆的定损方法、装置、电子设备和计算机存储介质
CN111488875B (zh) * 2020-06-24 2021-04-13 爱保科技有限公司 基于图像识别的车险理赔核损方法、装置和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403424A (zh) * 2017-04-11 2017-11-28 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN108921068A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统
CN110569696A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 用于车辆部件识别的神经网络系统、方法和装置
CN110569701A (zh) * 2018-12-29 2019-12-13 阿里巴巴集团控股有限公司 计算机执行的车辆定损方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972771B (zh) * 2022-06-22 2024-06-28 平安科技（深圳）有限公司 车辆定损理赔方法、装置、电子设备及存储介质
CN115115611A (zh) * 2022-07-21 2022-09-27 明觉科技（北京）有限公司 车辆损伤识别方法、装置、电子设备和存储介质
WO2024016752A1 (zh) * 2022-07-21 2024-01-25 明觉科技（北京）有限公司 车辆损伤识别方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2021190269A1 (zh) 2021-09-30
US20230351575A1 (en) 2023-11-02
EP4131061A1 (en) 2023-02-08
EP4131061A4 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
US11887064B2 (en) Deep learning-based system and method for automatically determining degree of damage to each area of vehicle
CN113505624A (zh) 车辆定损方法、车辆定损装置及应用其的电子设备
US11443288B2 (en) Automatic assessment of damage and repair costs in vehicles
CN110378236B (zh) 基于深度学习的车辆身份识别模型构建、识别方法和系统
CN111488875B (zh) 基于图像识别的车险理赔核损方法、装置和电子设备
CN110008909B (zh) 一种基于ai的实名制业务实时稽核系统
CN106845414B (zh) 用于生物特征验证的质量度量的方法和系统
US20150286885A1 (en) Method for detecting driver cell phone usage from side-view images
CN111626123A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN111612104B (zh) 车辆定损图像获取方法、装置、介质和电子设备
CN108491821A (zh) 基于图像处理和深度学习的车险事故鉴别方法、系统及存储介质
CN111311540A (zh) 车辆定损方法、装置、计算机设备和存储介质
CN108323209B (zh) 信息处理方法、系统、云处理设备以及计算机存储介质
CN111027481A (zh) 基于人体关键点检测的行为分析方法及装置
CN105678290A (zh) 基于图像检测的面部支付平台
CN105913014A (zh) 基于身份证芯片照片和视频的身份鉴定方法及系统
CN110598550B (zh) 一种基于多层信息智能分析的车辆联网识别系统
CN113627339A (zh) 一种隐私保护的方法、装置及设备
US20230142507A1 (en) Systems and methods for estimating monetary loss to an accident damaged vehicle
CN103020599A (zh) 基于人脸的身份认证方法
CN112836557A (zh) 一种人像识别方法及系统
CN116524725A (zh) 一种智能驾驶的交通标志图像数据识别系统
CN115984786A (zh) 车辆损伤检测方法及装置、终端、存储介质
CN110660000A (zh) 数据预测方法、装置、设备及计算机可读存储介质
CN115131564A (zh) 基于人工智能的车辆部件损伤检测方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination