CN110569701A - 计算机执行的车辆定损方法及装置 - Google Patents

计算机执行的车辆定损方法及装置 Download PDF

Info

Publication number
CN110569701A
CN110569701A CN201811631844.0A CN201811631844A CN110569701A CN 110569701 A CN110569701 A CN 110569701A CN 201811631844 A CN201811631844 A CN 201811631844A CN 110569701 A CN110569701 A CN 110569701A
Authority
CN
China
Prior art keywords
damage
component
prediction
candidate
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811631844.0A
Other languages
English (en)
Other versions
CN110569701B (zh
Inventor
徐娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811631844.0A priority Critical patent/CN110569701B/zh
Priority to TW108126005A priority patent/TWI726364B/zh
Publication of CN110569701A publication Critical patent/CN110569701A/zh
Priority to PCT/US2019/067765 priority patent/WO2020139743A1/en
Priority to US16/723,541 priority patent/US10699168B1/en
Priority to US16/871,446 priority patent/US10885397B2/en
Application granted granted Critical
Publication of CN110569701B publication Critical patent/CN110569701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08Insurance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种计算机执行的车辆定损方法和装置,根据该方法,在智能定损过程中,首先分别利用损伤检测模型和部件模型对车损图片中的损伤和部件分别进行识别,然后对损伤和部件识别结果按位置进行几何合并,产生(部件类别,损伤类别)候选项,相应特征也进行合并产生每个候选项的部件级损伤特征。接着,利用预测模型,对单图或多图的各个候选项进行判别,最终输出整案的智能决策。

Description

计算机执行的车辆定损方法及装置
技术领域
本说明书一个或多个实施例涉及机器学习领域,尤其涉及利用机器学习进行车辆智能定损的方法和装置。
背景技术
在传统车险理赔场景中,保险公司需要派出专业的查勘定损人员到事故现场进行现场查勘定损,给出车辆的维修方案和赔偿金额,并拍摄现场照片,定损照片留档以供后台核查人员核损核价。由于需要人工查勘定损,保险公司需要投入大量的人力成本,和专业知识的培训成本。从普通用户的体验来说,理赔流程由于等待人工查勘员现场拍照、定损员在维修地点定损、核损人员在后台核损,理赔周期长达1-3天,用户的等待时间较长,体验较差。
针对需求背景中提到的这一人工成本巨大的行业痛点,开始设想将人工智能和机器学习应用到车辆定损的场景中,希望能够利用人工智能领域计算机视觉图像识别技术,根据普通用户拍摄的现场损失图片,自动识别图片中反映的车损状况,并自动给出维修方案。如此,无需人工查勘定损核损,大大减少了保险公司的成本,提升了普通用户的车险理赔体验。
不过,目前的智能定损方案,对车损进行确定的准确度还有待进一步提高。因此,希望能有改进的方案,能够对车辆损伤的检测结果进行进一步优化,提高识别准确度。
发明内容
本说明书一个或多个实施例描述了一种计算机执行的车辆定损方法,通过将车辆部件特征和损伤特征进行融合,并利用预测模型进行综合判断,高效地确定出受损的车辆部件类别和其上的损伤类别。
根据第一方面,提供了一种计算机执行的车辆定损方法,包括:
获取待识别的车损图片;
利用预先训练的损伤检测模型,获取损伤对象检测信息,其包括,框选出所述车损图片中多个损伤对象的多个损伤检测框的信息;
利用预先训练的部件模型,获取针对所述车损图片的车辆部件信息,其中包括,部件对象检测信息,和部件分割信息,所述部件对象检测信息中包括检测出的第一部件;
基于所述损伤对象检测信息和所述车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的部件特征,以及融合损伤特征,所述融合损伤特征通过将所述多个损伤检测框中,同属于所述第一部件的至少一个损伤检测框的损伤特征进行融合而得到;
确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
在一个实施例中,上述损伤检测模型包括多个损伤检测模型;相应的,所述损伤检测信息包括,分别来自于所述多个损伤检测模型的多个损伤检测框的信息。
根据一种实施方式,通过以下方式获取针对所述车损图片的车辆部件信息:
利用部件检测模型,获取针对所述车损图片的所述部件对象检测信息,其中包括框选出相应部件的至少一个部件检测框,以及每个部件检测框对应的预测部件类别;
利用部件分割模型,获取对所述车损图片中各个部件的分割结果。
在一个实施例中,所述部件模型基于卷积神经网络实现;相应的,可以从所述卷积神经网络的卷积层中获取,所述车损图片中与所述第一部件相关的特征,作为所述第一综合特征中的部件特征。
在一个实施例中,融合损伤特征通过以下方式生成:
根据所述损伤对象检测信息和所述部件分割信息,确定同属于该第一部件的至少一个损伤检测框;
获取所述至少一个损伤检测框的损伤特征;
将所述至少一个损伤检测框的损伤特征进行融合操作,得到所述融合损伤特征。
进一步地,在一个实施例中,上述确定同属于该第一部件的至少一个损伤检测框,包括:
根据所述部件分割信息,确定所述第一部件覆盖的第一区域;
根据所述多个损伤检测框的位置信息,确定其是否落入所述第一区域;
将落入所述第一区域的损伤检测框确定为所述至少一个损伤检测框。
根据一种实施方式,对于上述至少一个损伤检测框中包括的第一损伤检测框,可以如下获取其对应的第一损伤特征:从所述损伤检测模型所对应的卷积神经网络的卷积层中提取,与所述第一损伤检测框相关的图片卷积特征。
进一步的,在一个实施例中,损伤对象检测信息还包括,所述多个损伤检测框中各个损伤检测框对应的预测损伤类别;在这样的情况下,获取所述第一损伤检测框对应的第一损伤特征还包括,根据所述第一损伤检测框与所述多个损伤检测框中其他损伤检测框之间的关联关系,确定第一关联特征作为所述第一损伤特征的一部分,所述关联关系至少包括以下中的一项或多项:损伤检测框位置关联关系,预测损伤类别关联关系,以及通过所述图片卷积特征反映的框内容关联关系。
根据一种实施方式,上述融合操作可以包括以下中的一项或多项:取最大操作,取最小操作,求平均操作,求和操作,求中位数操作。
在一个实施例中,所述部件对象检测信息包括,框选出相应部件的至少一个部件检测框,以及每个部件检测框对应的预测部件类别;基于此,所述确定针对所述第一部件的多个备选预测结果包括,
获取针对所述第一部件的第一预测部件类别,将所述第一预测部件类别作为所述备选部件类别。
在一个实施例中,所述损伤对象检测信息包括,所述多个损伤检测框中各个损伤检测框对应的预测损伤类别;基于此,所述确定针对所述第一部件的多个备选预测结果包括,
获取所述至少一个损伤检测框对应的至少一个预测损伤类别;
分别将以下项目作为所述备选损伤类别:
所述至少一个预测损伤类别中,损伤程度最高的损伤类别;
所述至少一个预测损伤类别中,占比最高的损伤类别。
根据一种实现方式,第一条件预测模型基于至少一个第一训练样本而训练,所述第一训练样本包括第一训练图片,以及第一标注数据,所述第一标注数据至少包括,针对所述第一训练图片中的第一受损部件的第一损伤类别标签,其中所述第一损伤类别标签基于人工标注的损伤标注数据而产生。
进一步的,在一个实施例中,所述第一损伤类别标签通过以下方式产生:
获取所述人工标注的损伤标注数据,所述损伤标注数据包括在所述第一训练图片中标注出的多个损伤标注框,以及针对各个损伤标注框标注的各个损伤类别标签;
获取针对所述第一训练图片的部件轮廓信息;
根据所述部件轮廓信息,确定对应于所述第一受损部件的至少一个损伤标注框;
将所述至少一个损伤标注框对应的损伤类别标签中,对应的损伤程度最高的损伤类别标签,作为所述第一损伤类别标签。
更进一步的,可以通过人工标注的轮廓标注数据,获取上述部件轮廓信息;或者,通过部件分割模型,获取所述部件轮廓信息。
根据一种实现方式,第二条件预测模型基于至少一个第二训练样本而训练,所述第二训练样本包括第二训练图片,以及第二标注数据,所述第二标注数据至少包括,针对所述第二训练图片中的第二受损部件人工标注的第二部件类别标签。
在一种可能的设计中,通过以下方式确定第一部件的部件类别及其对应的损伤类别:
对于各个备选预测结果,获取所述第一预测结果中与该备选预测结果对应的第一概率,以及所述第二预测结果中与该备选预测结果对应的第二概率;
根据所述第一概率和所述第二概率,确定各个备选预测结果的综合正确概率;
根据所述综合正确概率,从所述多个备选预测结果中选择至少一条预测结果;
根据所述至少一条预测结果中包含的备选部件类别和备选损伤类别,确定所述第一部件的部件类别和对应的损伤类别。
进一步的,可以通过以下方式确定各个备选预测结果的综合正确概率:
将所述第一概率和第二概率的最大值作为所述综合正确概率;或者,
将所述第一概率和第二概率的和值作为所述综合正确概率;或者,
将所述第一概率和第二概率的乘积作为所述综合正确概率。
在一种可能的实现方式中,方法还包括:将所述第一特征和所述多个备选预测结果输入预先训练的第三预测模型,得到第三预测结果,所述第三预测结果包括,对于每个备选预测结果,其中的备选损伤类别和备选部件类别均正确的概率。
在一个实施例中,所述第三预测模型基于至少一个第三训练样本而训练,所述第三训练样本包括第三训练图片,以及第三标注数据,所述第三标注数据包括,针对所述第三训练图片中的第三受损部件人工标注的第三部件类别标签和第三损伤类别标签。
相应的,在一个实施例中,可以基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定所述第一部件的部件类型及其对应的损伤类别。
在更具体的实施例中,可以如下确定第一部件的部件类型及其对应的损伤类别:
对于各个备选预测结果,获取所述第一预测结果中与该备选预测结果对应的第一概率,所述第二预测结果中与该备选预测结果对应的第二概率,以及所述第三预测结果中与该备选预测结果对应的第三概率;
根据所述第一概率、所述第二概率和所述第三概率,确定各个备选预测结果的综合正确概率;
根据所述综合正确概率,从所述多个备选预测结果中选择至少一条预测结果;
根据所述至少一条预测结果中包含的备选部件类别和备选损伤类别,确定所述第一部件的部件类别和对应的损伤类别。
在一种可能的设计中,方法还可以包括,根据所述第一部件的部件类别及其对应的损伤类别,确定所述第一部件的换修方案。
根据第二方面,提供一种计算机执行的车辆定损方法,包括:
获取待识别的第一车损图片和第二车损图片,所述第一车损图片和第二车损图片属于同一定损案件;
利用预先训练的损伤检测模型,获取分别针对所述第一车损图片和第二车损图片的第一损伤对象检测信息和第二损伤对象检测信息,所述第一损伤对象检测信息包括,框选出所述第一车损图片中多个损伤对象的多个第一损伤检测框的信息,所述第二损伤对象检测信息包括,框选出所述第二车损图片中多个损伤对象的多个第二损伤检测框的信息;
利用预先训练的部件模型,获取分别针对所述第一车损图片和所述第二车损图片的第一车辆部件信息和第二车辆部件信息,所述第一车辆部件信息包括,第一部件对象检测信息和第一部件分割信息,所述第二车辆部件信息包括,第二部件对象检测信息和第二部件分割信息;
根据所述第一车损图片和第二车损图片之间的关联,从所述第一部件对象检测信息和所述第二部件对象检测信息中确定出共同的第一部件;
基于所述第一损伤对象检测信息、所述第二损伤对象检测信息、所述第一车辆部件信息和第二车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的融合部件特征以及融合损伤特征,其中,所述融合部件特征通过将第一部件特征和第二部件特征进行融合而得到,所述第一部件特征基于所述第一车损图片产生,所述第二部件特征基于所述第二车损图片产生;所述融合损伤特征通过将第一损伤特征和第二损伤特征进行融合而得到,所述第一损伤特征基于所述第一车损图片中同属于该第一部件的至少一个第一损伤检测框的损伤特征而产生,所述第二损伤特征基于所述第二车损图片中同属于该第一部件的至少一个第二损伤检测框的损伤特征而产生;
确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
根据一种可能的设计,方法还包括,将所述第一综合特征和所述多个备选预测结果输入预先训练的第三预测模型,得到第三预测结果,所述第三预测结果包括,对于每个备选预测结果,其中的备选损伤类别和备选部件类别均正确的概率。
相应的,在一个实施例中,可以基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定所述第一部件的部件类型及其对应的损伤类别。
在一种可能的实现方式中,将所述第一条件预测模型,第二条件预测模型和第三预测模型作为树节点,构建决策树模型,利用该决策树模型确定所述第一部件的部件类型及其对应的损伤类别。
进一步的,在一个实施例中,所述决策树模型利用定损案件的定损单作为标注数据而训练。
根据第三方面,提供一种车辆定损装置,包括:
图片获取单元,配置为获取待识别的车损图片;
损伤信息获取单元,配置为利用预先训练的损伤检测模型,获取损伤对象检测信息,其包括,框选出所述车损图片中多个损伤对象的多个损伤检测框的信息;
部件信息获取单元,配置为利用预先训练的部件模型,获取针对所述车损图片的车辆部件信息,其中包括,部件对象检测信息,和部件分割信息,所述部件对象检测信息中包括检测出的第一部件;
综合特征生成单元,配置为基于所述损伤对象检测信息和所述车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的部件特征,以及融合损伤特征,所述融合损伤特征通过将所述多个损伤检测框中,同属于所述第一部件的至少一个损伤检测框的损伤特征进行融合而得到;
备选结果确定单元,配置为确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
第一预测单元,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
第二预测单元,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
结果确定单元,配置为至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
根据第四方面,提供一种车辆定损装置,包括:
图片获取单元,配置为获取待识别的第一车损图片和第二车损图片,所述第一车损图片和第二车损图片属于同一定损案件;
损伤信息获取单元,配置为利用预先训练的损伤检测模型,获取分别针对所述第一车损图片和第二车损图片的第一损伤对象检测信息和第二损伤对象检测信息,所述第一损伤对象检测信息包括,框选出所述第一车损图片中多个损伤对象的多个第一损伤检测框的信息,所述第二损伤对象检测信息包括,框选出所述第二车损图片中多个损伤对象的多个第二损伤检测框的信息;
部件信息获取单元,配置为利用预先训练的部件模型,获取分别针对所述第一车损图片和所述第二车损图片的第一车辆部件信息和第二车辆部件信息,所述第一车辆部件信息包括,第一部件对象检测信息和第一部件分割信息,所述第二车辆部件信息包括,第二部件对象检测信息和第二部件分割信息;
共同部件确定单元,配置为根据所述第一车损图片和第二车损图片之间的关联,从所述第一部件对象检测信息和所述第二部件对象检测信息中确定出共同的第一部件;
综合特征生成单元,配置为基于所述第一损伤对象检测信息、所述第二损伤对象检测信息、所述第一车辆部件信息和第二车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的融合部件特征以及融合损伤特征,其中,所述融合部件特征通过将第一部件特征和第二部件特征进行融合而得到,所述第一部件特征基于所述第一车损图片产生,所述第二部件特征基于所述第二车损图片产生;所述融合损伤特征通过将第一损伤特征和第二损伤特征进行融合而得到,所述第一损伤特征基于所述第一车损图片中同属于该第一部件的至少一个第一损伤检测框的损伤特征而产生,所述第二损伤特征基于所述第二车损图片中同属于该第一部件的至少一个第二损伤检测框的损伤特征而产生;
备选结果确定单元,配置为确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
第一预测单元,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
第二预测单元,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
结果确定单元,至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
根据第五方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面和第二方面的方法。
根据第六方面,提供了一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面和第二方面的方法。
根据本说明书实施例提供的方法和装置,在智能定损过程中,在分别利用损伤检测模型和部件模型对损伤和部件分别进行识别后,将部件特征和损伤特征进行融合,得到部件级损伤特征。然后,利用多个预测模型,其中包括至少两个条件预测模型,基于该部件级损伤特征,判断部件的类别和损伤的类别,从而确定出车损状况,实现智能定损。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出本说明书披露的一个实施例的实施场景示意图;
图2示出根据一个实施例的车辆定损方法的流程图;
图3示出车损图片的一个示例;
图4a示出针对图3所示的车损图片得到的损伤对象检测信息的例子;
图4b示出针对图3所示的车损图片得到的部件对象检测信息的例子;
图4c示出针对图3所示的车损图片得到的部件分割信息的例子;
图4d示出属于第一部件的损伤检测框的例子;
图5示出根据一个实施例的获取融合损伤特征的步骤流程;
图6示出根据一个实施例的产生损伤标注数据的步骤流程图;
图7a示出一个训练图片的原图的例子;
图7b示出针对图7a的训练图片经由人工标注得到的标注数据;
图7c示出在一个例子中获取的受损部件的轮廓信息;
图7d示出在一个例子中属于第一受损部件的损伤标注框;
图8示出在一个实施例中根据第一和第二预测结果确定部件类别和损伤类别的步骤流程图;
图9示出根据一个实施例的用于训练第三预测模型的训练样本的标注数据;
图10示出根据一个实施例的车辆定损方法;
图11示出根据一个实施例的车辆定损装置的示意性框图;
图12示出根据一个实施例的车辆定损装置的示意性框图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
车辆智能定损,主要涉及从普通用户拍摄的现场损失图片中,自动识别图片中反映的车损状况。为了对车辆图片中的车损状况进行识别,业界普遍采用的方法是,通过与海量历史数据库进行比对得到相似的图片,来决定图片上的损伤部件及其程度。然而,这样的方式损伤识别准确率不够理想。
根据本说明书的构思和实施框架,考虑到车损状况一般需要包含车辆部件信息和损伤程度信息,即,什么部件受到了什么类型/程度的损伤,在多个实施例中,对车辆部件和车辆损伤分别进行识别,然后对结果进行融合。
图1为本说明书披露的一个实施例的实施场景示意图。如图1所示,在获取到车辆损伤图片之后,分别将其输入到损伤检测模型和部件模型,从而得到损伤检测信息和部件信息。其中,损伤检测信息包括识别出的损伤检测框,部件信息不仅包含识别出的部件检测框,还包括部件轮廓的分割信息。通过综合损伤检测信息和部件信息,可以生成部件级损伤特征,该部件级损伤特征包括,某个部件的部件特征,以及属于该部件的所有损伤检测框的损伤特征的融合。如此,可以使用上述部件级损伤特征,来表征部件+损伤的整体特征。
接着,将该部件级损伤特征分别输入多个预测模型,分别确定部件和损伤的类别。更具体的,多个预测模型可以包括作为条件预测模型的第一条件预测模型和第二条件预测模型。第一条件预测模型基于对损伤进行人工标注的训练数据而训练,侧重于对损伤类别进行预测。更具体的,当将上述部件级损伤特征和备选的部件类别+损伤类别的二元组输入给第一条件预测模型时,该模型可以输出,假设部件类别正确的情况下,损伤类别正确的概率。第二条件预测模型基于对部件进行人工标注的训练数据而训练,侧重于对部件类别进行预测。更具体的,当将上述部件级损伤特征和备选的部件类别+损伤类别的二元组输入给第二条件预测模型时,该模型可以输出,假设损伤类别正确的情况下,部件类别正确的概率。可选的,还可以采用第三预测模型,给出上述二元组中部件类别和损伤类别均正确的概率。
于是,可以综合上述多个预测模型的预测结果,确定针对上述部件级损伤特征,预测的部件类别和损伤类别的结果。如此,得到车辆损伤状况信息。下面描述智能定损的具体实现过程。
图2示出根据一个实施例的车辆定损方法的流程图。该方法可以通过任何具有计算、处理能力的装置、设备、平台和设备集群来执行。如图2所示,该方法至少包括以下步骤:
步骤21,获取待识别的车损图片;
步骤22,利用预先训练的损伤检测模型,获取损伤对象检测信息,其包括,框选出所述车损图片中多个损伤对象的多个损伤检测框的信息;
步骤23,利用预先训练的部件模型,获取针对所述车损图片的车辆部件信息,其中包括,部件对象检测信息,和部件分割信息,所述部件对象检测信息中包括检测出的第一部件;
步骤24,基于所述损伤对象检测信息和所述车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的部件特征,以及融合损伤特征,所述融合损伤特征通过将所述多个损伤检测框中,同属于所述第一部件的至少一个损伤检测框的损伤特征进行融合而得到;
步骤25,确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
步骤26,将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
步骤27,将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
步骤28,至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
下面描述以上各个步骤的执行方式。
首先,在步骤21,获取待识别的车辆损伤图片。可以理解,该图片可以是普通用户拍摄的车损现场的图片,是有待进行损伤识别的图片。
图3示出车损图片的一个示例。该图片是普通用户拍摄的未经处理的现场图片。
接着,在步骤22,利用预先训练的损伤检测模型,获取损伤对象检测信息。
需要理解的是,损伤检测模型是计算机视觉领域中典型的目标检测模型的一种具体化应用。如本领域技术人员所知,目标检测模型用于从图片中识别出特定的目标对象,并对目标对象进行分类。一般地,目标检测模型基于标注的图片样本进行训练而得到,在训练完成之后,可以对未知图片中的特定目标对象进行检测和识别。具体而言,目标检测模型会输出目标检测框和预测类别,其中目标检测框是框选出目标对象的最小矩形框,预测类别为针对目标检测框所框选的目标对象预测的类别。
特定的,将车辆损伤作为目标对象进行标注,即可训练出损伤检测模型。训练完成之后,损伤检测模型即可对未知的车损图片中的损伤对象进行检测和识别。具体而言,损伤检测模型输出的损伤对象检测信息包含,框选出车损图片中各个损伤对象的损伤检测框,以及针对各个损伤检测框的预测损伤类别。
图4a示出针对图3所示的车损图片得到的损伤对象检测信息的例子。可以看到,图4a在图3的基础上,包括了一系列矩形框,即为损伤检测模型输出的损伤检测框,每个损伤检测框框选出一处损伤。损伤检测模型还针对每个损伤检测框对应输出有预测损伤类别,例如各个矩形框左上角的数字即表示损伤类别。例如,图4a中数字12代表损伤类别为刮擦,还可能有其他数字代表其他损伤类别,例如用数字10代表变形,数字11代表撕裂,数字13代表(玻璃物件)的碎裂,等等。
在本领域中,已经基于各种网络结构和各种检测算法提出了各种各样的目标检测模型。例如,单阶段(one stage)检测模型可以从图片中直接确定出目标对象的类别概率和位置坐标,也就是直接识别出目标对象。单阶段检测模型的典型例子包括,SSD模型,Yolo模型等。两阶段(two stage)的检测模型首先在图片中生成候选区域,或称为兴趣区域ROI,然后在候选区域中进行目标识别和边框回归。两阶段的检测模型的典型例子包括,R-CNN模型,FastR-CNN模型,Faster R-CNN模型等。还提出有其他目标检测模型。
步骤22中的损伤检测模型可以采用以上的任意的目标检测算法来实现。
在一个实施例中,在步骤22中,将待识别的车损图片输入到多个损伤检测模型,该多个损伤检测模型分别采用不同的目标检测算法进行损伤检测,分别输出检测结果,即分别输出识别的损伤检测框和预测损伤类别。例如,在一个具体例子中,可以采用3个损伤检测模型,这3个损伤检测模型分别采用SSD模型算法,Yolo模型算法和FastR-CNN模型算法,进行损伤对象的检测。由此,最终得到的损伤检测信息包括,来自这3个损伤检测模型的损伤检测框的信息。例如,图4a所示的一系列的损伤检测框可以是来自于多个损伤检测模型的检测结果。
另一方面,在步骤23,利用预先训练的部件模型,获取针对车损图片的车辆部件信息,车辆部件信息可以包括,以部件为目标检测对象的部件对象检测信息,以及部件的分割信息或轮廓信息。
更具体而言,在一个实施例中,可以采用预先训练的部件检测模型,获取针对车损图片的部件对象检测信息,其中包括框选出相应部件的部件检测框,以及每个部件检测框对应的预测部件类别。
可以理解,与损伤检测模型类似的,部件检测模型也是目标检测模型的一种具体化应用,也就是将车辆部件作为目标对象的检测模型。通过将车辆部件作为目标对象进行标注,即可训练出部件检测模型。训练完成之后,部件检测模型即可对未知的车辆图片中的部件进行检测和识别。具体而言,部件检测模型输出的部件对象检测信息包含,框选出车损图片中各个部件的部件检测框,以及针对各个部件检测框的预测部件类别。
图4b示出针对图3所示的车损图片得到的部件对象检测信息的例子。可以看到,图4b在图3的基础上,包括了若干部件检测框,每个部件检测框框选出一个部件。部件检测模型还可以针对每个部件检测框对应输出预测部件类别,例如各个矩形框左上角的数字即表示部件类别。例如,图4b中数字101代表右前门,102代表右后门,103代表门把手,等等。
可以理解,部件检测模型也可以采用任意的目标检测算法来实现,例如,SSD模型,Yolo模型,R-CNN模型,Fast R-CNN模型,Faster R-CNN模型中的算法等。
在一个实施例中,在步骤23,还利用部件分割模型,获取对车损图片中各个部件的分割结果。
如本领域技术人员所知,图像分割模型用于将图像分割或者划分为属于/不属于特定目标对象的区域,其输出可以表现为覆盖特定目标对象区域的蒙层(Mask)。部件分割模型是图像分割模型的一种具体化应用,用于将车辆图片划分为属于/不属于特定部件的区域。一般地,部件分割模型基于对车辆部件轮廓的标注数据而训练,在训练完成之后,即可对未知的车辆图片中的部件进行分割。具体地,部件分割模型输出的分割结果通常显示为,覆盖特定部件的蒙层。
图4c示出针对图3所示的车损图片得到的部件分割信息的例子。可以看到,图4c在图3的基础上,用蒙层覆盖了右后门的区域,从而实现了相应的部件分割。需要理解的是,为了图示的简单和清楚,图4c仅示出了覆盖右后门部件的蒙层,而没有示出覆盖其他部件的蒙层,但是实际上,部件分割模型可以同时输出各个部件的分割信息或轮廓信息。
在本领域中,已经基于各种网络结构和各种分割算法提出了多种目标分割模型,例如基于CRF(条件随机场)的分割模型,Mask R-CNN模型等等。部件分割模型可以采用任意的分割算法来实现。
在一种实施方式中,以上的部件检测模型和部件分割模型采用两个独立模型来实现,其分别输出部件对象检测信息和部件分割信息。
在另一种实施方式中,可以采用一些神经网络模型,同时进行部件的检测和分割。例如,Mask R-CNN模型可以支持目标检测,目标分类和目标分割这三项任务。因此,在一个实施例中,可以采用上述Mask R-CNN模型结构作为步骤22的部件模型。在这样的情况下,部件检测和部件分割可以视为整个部件模型的两个分支。
如此,通过步骤23,获取到车损图片中的车辆部件信息,其中包括,部件对象检测信息和部件分割信息。
需要理解,步骤22和步骤23可以并行执行,或者以任意的先后顺序执行,在此不做限定。
在分别在步骤22获取到损伤对象检测信息和在步骤23获取到车辆部件信息后,在步骤24,基于这两部分信息的融合,生成部件级损伤特征。部件级损伤特征是以部件为单位整理的、该部件的综合损伤特征。
对于某个部件,为了描述的简单,将其称为第一部件,可以基于上述损伤对象检测信息和车辆部件信息,针对该第一部件生成部件级损伤特征,下文称为第一综合特征。具体地,第一综合特征包括,该第一部件的部件特征,以及融合损伤特征,所述融合损伤特征通过将步骤22识别的多个损伤检测框中,同属于该第一部件的至少一个损伤检测框的损伤特征进行融合而得到。在一个实施例中,上述第一综合特征是第一部件的部件特征和融合损伤特征的拼接。
接着,先描述第一部件的部件特征的获取。
如本领域技术人员所知,在前述的步骤23中,为了获取到车辆部件信息,部件模型需要首先对车损图片进行特征提取。更具体的,在一个实施例中,部件模型采用基于卷积神经网络CNN的模型架构,包括R-CNN,Fast R-CNN,Mask R-CNN等。卷积神经网络CNN包括若干卷积层,用于对待识别图片进行卷积处理,得到卷积特征图(feature map),该卷积特征图反映图片内容的抽象特征。部件模型中后续的部件分类、部件框框回归,以及部件分割,均是基于卷积特征图中的卷积特征进行。
因此,在一个实施例中,可以从部件模型对应的卷积神经网络的卷积层中获取,与第一部件相关的图片卷积特征,作为上述部件特征。
在一个实施例中,还可以将部件模型输出的车辆部件信息中,与第一部件相关的部分,也作为部件特征的一部分,例如,该第一部件的分割结果特征,预测结果特征,等等。
接着,描述第一部件的融合损伤特征的获取。
图5示出根据一个实施例的获取融合损伤特征的步骤流程。可以理解,这些步骤均为图2中步骤24的子步骤。如图5所示,为了获取第一部件的融合损伤特征,首先在步骤51,根据损伤对象检测信息和部件分割信息,确定同属于该第一部件的至少一个损伤检测框。
如前所述,损伤对象检测信息通过步骤22提供,其中包括针对车损图片识别出的多个损伤检测框,以及针对各个损伤检测框的预测损伤类别,如图4a所示。部件分割信息通过步骤23提供,其中包括对图片进行区域划分的信息,例如呈现为覆盖特定部件的蒙层,如图4c所示。基于这两部分信息,可以确定出,对应于第一部件的损伤对象的至少一个损伤检测框。
具体地,可以首先从上述部件分割信息中提取第一部件的分割信息,由此确定第一部件覆盖的区域,称为第一区域。下面就以图4c中用蒙层覆盖的部件作为第一部件的例子,进行说明。在该例子中,灰色蒙层覆盖的区域即为第一区域。
接着,根据损伤对象检测信息中包含的多个损伤检测框的位置信息,确定各个损伤检测框是否落入上述第一区域。可以通过多种具体标准来判断一个损伤检测框是否落入第一区域,例如,在一个例子中,如果损伤检测框的中心位于第一区域中,则认为该损伤检测框落入该第一区域;或者,在另一例子中,如果损伤检测框的整个面积中,有预定比例(比如50%)以上属于第一区域,则认为该损伤检测框落入该第一区域。
基于以上判断,将落入第一区域的损伤检测框确定为上述的至少一个损伤检测框。
沿用上例。对于图4c中蒙层所覆盖的第一部件,可以从图4a中的多个损伤检测框中确定出属于该第一部件的至少一个损伤检测框。图4d示出属于第一部件的损伤检测框的例子,其中用粗线条示出落入蒙层区域、因此被认为属于上述第一部件的损伤检测框。
如此在步骤51,确定出同属于第一部件的至少一个损伤检测框。
接着,在步骤52,获取上述至少一个损伤检测框的损伤特征。
在一个实施例中,损伤检测框的损伤特征包括,该损伤检测框对应的图片卷积特征。可以理解,损伤检测框通过损伤检测模型得到,一般的,损伤检测模型通过卷积神经网络CNN架构来实现。具体的,卷积神经网络CNN通过卷积层对图片进行卷积处理,得到卷积特征图。损伤检测模型基于卷积特征图进行损伤的分类和损伤检测框的回归。损伤检测模型输出的各个损伤检测框,可以对应到卷积特征图中的子区域。通过对各个子区域进行特征提取,可以得到各个损伤检测框对应的图片卷积特征。
因此,在一个实施例中,对于上述至少一个损伤检测框中任意的损伤检测框,为了描述简单,称为第一损伤检测框,可以从损伤检测模型对应的卷积神经网络的卷积层中,提取与该第一损伤检测框相关的图片卷积特征,作为对应的损伤特征。
在一个实施例中,损伤检测框的损伤特征还包括,与其他损伤检测框的关联特征。仍以任意的第一损伤检测框为例,确定其损伤特征还包括,根据该第一损伤检测框与其他损伤检测框的关联关系,确定其关联特征作为损伤特征的一部分。在不同实施例中,上述关联关系可以包括,损伤检测框位置关联关系,预测损伤类别关联关系,通过所述图片卷积特征反映的框内容关联关系,等等。
在一个实施例中,上述关联关系包括框内容关联关系,也就是边框内图像特征之间的关联关系。框内容可以通过前述的图片卷积特征体现。在一个实施例中,假定第一损伤检测框对应具有的图片卷积特征可以记为特征向量F1,另一损伤检测框,称为第二损伤检测框,对应具有的图片卷积特征记为特征向量F2,那么,第一损伤检测框和第二损伤检测框之间的框内容关联关系可以表现为,特征向量F1和特征向量F2之间的关联关系,例如相似度。
更具体的,在一个例子中,确定特征向量F1和特征向量F2之间的距离,例如欧式距离,余弦距离等,作为这两个特征向量之间的相似度,进而作为第一损伤检测框和第二损伤检测框之间的框内容关联关系。
在另一例子中,计算特征向量F1和特征向量F2的点乘,作为第一损伤检测框和第二损伤检测框之间的框内容关联关系。
在其他例子中,还可以通过其他方式确定两个损伤检测框之间的框内容关联关系。
此外,在一个实施例中,上述关联关系还可以包括损伤检测框位置关联关系。下面仍以第一损伤检测框和第二损伤检测框为例进行描述说明。
可以理解,在之前的步骤21,损伤检测模型输出的损伤检测框的信息即包含各个损伤检测框的位置参数。一般地,损伤检测框的位置参数常常采用(x,y,w,h)的形式,其中(x,y)表示检测框的中心坐标,w为检测框的宽,h为检测框的高。根据这些位置参数,可以确定出第一损伤检测框与任意的第二损伤检测框之间的位置关联特征。
根据不同的实施例,位置关联特征可以包括以下中的一项或多项:中心距离,交并比,面积比,包含关系,等等。其中,交并比(IoU)表示两个损伤检测框交叠区域的面积与合并区域的面积的比值;包含关系可以是,第一损伤检测框包含/不包含第二损伤检测框,或者第二损伤检测框包含/不包含第一损伤检测框,等等。
此外,根据一种实施方式,上述关联关系还可以包括预测损伤类别的关联关系。仍以第一损伤检测框和第二损伤检测框为例进行描述说明。
在一个实施例中,在步骤22损伤检测模型输出的损伤对象检测信息包含针对各个损伤检测框的预测损伤类别。因此,可以获取第一损伤检测框和第二损伤检测框各自的预测损伤类别,记为第一类别和第二类别。例如,第一类别对应于刮擦,第二类别对应于变形,等等。在一个例子中,可以基于第一类别与第二类别的比较结果,即相同或不相同,确定其损伤类别关联关系。在一个实施例中,损伤检测模型在输出各个损伤检测框的预测损伤类别的同时,还输出预测的置信度,例如与上述第一类别对应的第一置信度,和与第二类别对应的第二置信度。在这样的情况下,第一损伤检测框和第二损伤检测框的预测损伤类别关联特征可以包括,第一类别和第二类别的异同,以及第一置信度和第二置信度的差值。
以上结合某个其他损伤检测框(第二损伤检测框)描述了计算各种关联特征(框内容关联特征,位置关联特征,预测类别关联特征中的一种或多种)的过程,可以理解,该过程可以适用于计算第一损伤检测框和任意的其他损伤检测框的关联特征。在确定出第一损伤检测框与每个其他损伤检测框的每个关联特征的基础上,可以对这些关联特征进行拼接或组合,从而得到第一损伤检测框与其他损伤检测框的总体关联特征。
如上,获取到第一损伤检测框的损伤特征,其包括,该第一损伤检测框自身的图片卷积特征,还可以进一步包括,与其他损伤检测框的关联特征。对于属于上述第一部件的每个损伤检测框,均进行上述特征获取,如此得到,属于第一部件的至少一个损伤检测框各自的损伤特征。
接着,在步骤53,将上述至少一个损伤检测框的损伤特征进行融合操作,得到融合损伤特征。在不同实施例中,上述融合操作可以是,取最大操作,取最小操作,求平均操作,求和操作,求中位数操作等操作,还可以是这些操作的组合。
通过上述步骤51到53,获取到第一部件的融合损伤特征。
如此,分别获取到了第一部件的部件特征和融合损伤特征。在此基础上,将以上获取的第一部件的部件特征和融合损伤特征拼接或组合在一起,就可以得到第一部件的部件级损伤特征,即第一综合特征。
具体的,在一个例子中,上述第一综合特征记为V1,可以表示为:
V1=(C1,S1)
其中,C1表示第一部件的部件特征,S1表示第一部件的融合损伤特征。
以上,实现了对第一部件的特征提取。
接着,回到图2,在步骤25,确定针对上述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别。换而言之,每个备选预测结果是一个备选部件类别和备选损伤类别的二元组,该二元组示出第一部件是什么类别的部件,以及该部件上的损伤整体是什么类别的损伤的可能组合。
在一个实施例中,将预先定义的每种部件类别与预先定义的每种损伤类别进行组合,将组合得到的二元组均作为备选预测结果。这样的方式可以称为全排列方式。例如,在一种实施方式中,假设车辆预先被划分为100种部件,并且预先定义了20种损伤类别,那么,可以将每种部件类别与每种损伤类别进行组合,从而得到2000个二元组,作为备选预测结果。
一般的,全排列方式得到的二元组最为全面,但是数目众多,后续处理负担较大。因此,在一种实施方式中,仅选择其中一部分作为备选预测结果。例如,可以根据之前的损伤对象检测信息和部件对象检测信息中与预测类别有关的信息,选择有较大概率作为最终预测结果的部件类别和损伤类别,作为备选预测结果。
如前所述,在步骤23,部件模型输出的部件对象检测信息中还可以包括针对各个部件的预测部件类别。因此,可以从上述部件对象检测信息中获取,针对第一部件的预测部件类别,称为第一预测部件类别,将其作为备选部件类别。
一般的,部件模型会将置信度最高的部件类别输出作为预测部件类别;但是,在一种实施方式中,部件模型还同时输出,该部件对应于多个部件类别的置信度或概率。在这样的情况下,上述第一预测部件类别可以包括,置信度较高的一个或多个预测部件类别。
例如,根据图4b和图4c所示,以蒙层覆盖的部件为第一部件为例,通过图4b可知,部件模型将其类别识别为102:右后门。因此,可以将“102:右后门”作为备选部件类别。
在一个例子中,部件模型还输出有,该部件对应于“102:右后门”的置信度为55%,对应于“101:右前门”的置信度为40%,对应于“105:左后门”的置信度为5%。在这样的情况下,可以将置信度较高(例如高于一预设阈值,比如35%)的预测部件类别“102:右后门”和“101:右前门”均作为备选部件类别。
类似的,可以基于损伤对象检测信息确定出备选损伤类别。具体的,如前所述,损伤检测模型输出的损伤对象检测信息可以包括,各个损伤检测框对应的预测损伤类别。如此,在步骤51中确定出属于第一部件的至少一个损伤检测框后,可以获取到上述至少一个损伤检测框对应的至少一个预测损伤类别,基于这些预测损伤类别,确定备选损伤类别。
例如,在一个例子中,有6个损伤检测框被确定为属于第一部件,这6个损伤检测框对应的预测损伤类别分别为:12(刮擦),12(刮擦),11(撕裂),10(变形),12(刮擦),12(刮擦)。
在一个实施例中,将上述预测损伤类别中,占比最高的损伤类别,作为备选损伤类别。例如,在以上例子中,12(刮擦)占比最高,将其作为备选损伤类别。
在一个实施例中,将上述预测损伤类别中,损伤程度最高的类别,作为备选损伤类别。可以理解,可以预先为各种损伤类别设定损伤程度的高低,如此可以将上述预测损伤类别按照损伤程度高低进行排序,确定出损伤程度最高的类别。例如,在以上例子中,11(撕裂)的损伤程度最高,可以将其作为备选损伤类别。
在另一实施例中,直接将上述至少一个预测损伤类别中的每种类别,均作为一个备选损伤类别。例如,对于以上例子,直接获取3种备选损伤类别:12(刮擦),11(撕裂),10(变形)。
通过以上方式,分别获取了备选部件类别,和备选损伤类别。将获取的各个备选部件类别和各个备选损伤类别进行组合,得到多个二元组作为备选预测结果。
在一个具体例子中,假定获取的备选部件类别包括,“102:右后门”和“101:右前门”,获取的备选损伤类别包括,12(刮擦),11(撕裂)和10(变形),那么可以组合得到如下的6个二元组:
(右后门,刮擦)
(右后门,撕裂)
(右后门,变形)
(右前门,刮擦)
(右前门,撕裂)
(右前门,变形)
这些二元组即作为备选预测结果。
如前所述,车辆定损最终是需要确定从车损图片中识别出,什么部件受到了什么类别或什么程度的损伤。可以看到,以上得到的每个二元组即是对该定损结果的一种可能猜测。接着就需要利用预测模型,基于部件级损伤特征,判断哪种猜测正确概率更高。
于是,接下来将步骤24针对第一部件提取的部件级损伤特征,以及步骤25确定的各个备选预测结果,输入预测模型,使得预测模型基于部件级损伤特征来判断,各个备选预测结果正确的概率。
需要理解,预测模型需要基于标注数据进行训练,才可以实现上述预测。如果要同时对二元组中的部件类别和损伤类别的正确性进行预测和判断,就需要同时对这两方面进行标注的标注数据。然而,在现有的模型训练样本库中,这样的标注数据量比较少。而另一方面,为了训练前述的损伤检测模型,已经存在大量对损伤进行标注的标注样本;为了训练前述的部件模型,也存在大量对部件进行标注的标注样本。基于此,根据本说明书的实施例,可以基于这样的标注样本,训练条件预测模型,来对二元组中的部分元素的正确性进行预测和判断。
如图2所示,在步骤26,将上述第一部件对应的第一综合特征和各个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;在步骤27,将第一综合特征和各个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率。
可以理解,上述步骤26和27,可以并行执行,或者以任意的先后顺序执行,在此不做限定。
下面分别描述上述第一条件预测模型和第二条件预测模型的训练和使用。
如上所述,第一条件预测模型基于部件级损伤特征,针对备选预测结果的二元组,预测其中损伤类别正确的概率。因此,第一条件预测模型至少基于对损伤进行人工标注的标注样本而训练。更具体而言,第一条件预测模型需要的训练样本包括,训练图片和针对该训练图片的损伤标注数据。因为第一条件预测模型需要对受损部件的总体损伤类别进行判断(即二元组中的备选损伤类别),因此,所需的损伤标注数据至少包括,针对训练图片中各个受损部件的总体损伤类别标签。
然而,在常规的损伤检测模型的训练中,是通过人工对训练图片中的各个损伤对象进行标注。因此,还需要对常规标注数据进行处理和加工,才可以得到所需的损伤标注数据。
图6示出根据一个实施例的产生损伤标注数据的步骤流程图。下面结合一个具体的训练图片的例子进行描述。
图7a示出一个训练图片的原图的例子。可以将该训练图片分发给标注人员进行标注。
于是,在图6的步骤61,可以获取到针对该训练图片进行人工标注的损伤标注数据,包括在该训练图片中标注出的多个损伤标注框,以及针对各个损伤标注框标注的各个损伤类别标签。
图7b示出针对图7a的训练图片,经由人工标注得到的标注数据。可以看到,标注人员在其中用矩形框框选出损伤对象所在区域,这些矩形框可以称为损伤标注框。此外,针对每个损伤对象,标注人员还标出该损伤对象的类别,例如12对应于刮擦,10对应于变形。可以理解,损伤类别的标注方式可以有多种,除了图7b所示的用不同数字表示不同损伤类别,还可以例如用不同颜色的标注框表示不同损伤类别,等等,图7b仅仅是一种示例。
此外,在步骤62,获取针对训练图片中受损部件的轮廓信息。
在一个实施例中,上述受损部件的轮廓信息是经由标注人员的标注而产生的。标注轮廓信息的标注人员与前述标注损伤框的标注人员可以相同,也可以不同。
在更为典型的实施例中,上述受损部件的轮廓信息由部件分割模型产生。也就是,将上述训练图片输入训练好的部件分割模型,根据模型输出结果获得部件的轮廓信息。
图7c示出在一个例子中获取的受损部件的轮廓信息。该轮廓信息通过部件分割模型的输出获得。如图7c所示,用蒙层覆盖某个部件的区域作为其轮廓信息。下面将该部件称为第一受损部件,并以其作为示例进行说明。
接着,在步骤63,根据上述受损部件的轮廓信息,确定步骤61中得到的各个损伤标注框对应于哪个受损部件,或者说,确定与各个受损部件对应的损伤标注框。例如,对于上述的第一受损部件,确定出对应于该部件的至少一个损伤标注框。
具体的,可以通过各个损伤标注框的位置信息与第一受损部件覆盖的区域信息,确定出对应于第一受损部件的损伤标注框。该过程与前述图5中的步骤51类似,不再赘述。
图7d示出在一个例子中属于第一受损部件的损伤标注框。可以看到,在图7b标注出的8个损伤标注框中,经过步骤63的判断,有5个损伤标注框对应于第一受损部件,这5个损伤标注框在图7d中用加粗的方式示出。
然后,在步骤64,将上述对应于第一受损部件的至少一个损伤标注框各自的损伤类别标签中,损伤程度最高的损伤类别标签,作为第一受损部件的损伤类别标签。
例如,如图7d所示,有5个损伤标注框对应于第一受损部件,这5个损伤标注框对应的损伤类别标签包括,代表刮擦的类别12,和代表变形的类别10。根据预先定义的损伤程度排序,变形的损伤程度要高于刮擦,那么可以将类别10(变形)作为第一受损部件整体的损伤类别标签。
对于其他受损部件,也采取上述步骤的操作。如此,基于标注人员标注的损伤标注框和损伤类别,产生针对各个受损部件的总体损伤类别标签,作为所需的损伤标注数据。
在为训练图片产生所需的损伤标注数据的基础上,该训练图片和对应的损伤标注数据即构成完整的训练样本,可以用于对第一条件预测模型进行训练。
在训练第一条件预测模型的过程中,首先对训练图片进行特征提取,获取训练图片中各个部件的部件级损伤特征。这个过程与前述的步骤21到步骤23相似,只是输入的图片为训练图片原图。类似的,得到的部件级损伤特征包括,训练图片中某个受损部件的部件特征和该部件上的融合损伤特征。
然后,将训练图片中某受损部件的部件级损伤特征输入第一条件预测模型,第一条件预测模型对输入特征进行处理,给出关于该部件损伤类别的预测值。将该预测值与损伤标注数据中,针对该受损部件的总体损伤类别标签进行比对,确定预测误差,然后将误差反向传播以调整模型参数,从而实现模型的训练。
通过以上过程可以看到,第一条件预测模型所基于的训练数据主要包括对部件级总体损伤的标注数据,训练过程中误差的确定主要基于关于部件级损伤的预测值与标注值的差异,那么相应的,预测过程的处理也更多侧重于对部件级损伤特征中融合损伤特征的处理。
回到图2,在上述第一条件预测模型训练完成之后,对于待识别的图片,按照步骤22到24提取得到第一部件的部件级损伤特征,即第一综合特征后,将该第一综合特征,以及各个备选预测结果的二元组输入第一条件预测模型。第一条件预测模型对第一综合特征进行处理,由此得到对第一部件的总体损伤类别的预测结果,其中包括预测类别和预测置信度。基于该预测结果与各个二元组中备选损伤类别的比较,得到各个二元组中备选损伤类别正确的概率。
需要说明的是,由于第一条件预测模型的训练数据中没有对部件类别的标注,因此第一条件预测模型并不对部件类别进行预测,也不对二元组中备选部件类别的正确性进行判断。换而言之,第一条件预测模型输出的第一预测结果表示,对于每个备选预测结果,在其中的备选部件类别正确的情况下,备选损伤类别正确的概率。
下面描述第二条件预测模型的训练和使用。
如前所述,第二条件预测模型用于基于部件级损伤特征,针对备选预测结果的二元组,预测其中备选部件类别正确的概率。因此,第二条件预测模型至少基于对部件进行人工标注的标注样本而训练。更具体而言,第二条件预测模型需要的训练样本包括,训练图片以及标注数据,其中标注数据至少包括,针对训练图片中的受损部件人工标注的部件类别标签。
可以理解,为了训练步骤23中的部件模型,已经具有大量的部件标注样本。这些标注样本可以用于对第二条件预测模型进行训练。
在训练第二条件预测模型的过程中,首先对训练图片进行特征提取。不同于常规的部件模型只提取部件特征,第二条件预测模型需要获取训练图片中各个部件的部件级损伤特征。这个过程与前述的步骤22到步骤24相似,只是输入的图片为训练图片原图。类似的,得到的部件级损伤特征包括,训练图片中某个受损部件的部件特征和该部件上的融合损伤特征。
然后,将训练图片中某受损部件的部件级损伤特征输入第二条件预测模型,第二条件预测模型对输入特征进行处理,给出关于该部件的部件类别的预测值。将该预测值与标注的部件类别标签进行比对,确定预测误差,然后将误差反向传播以调整模型参数,从而实现模型的训练。
如此,在第二条件预测模型训练完成之后,对于待识别的图片,按照步骤22到24提取得到第一部件的部件级损伤特征,即第一综合特征后,将该第一综合特征,以及各个备选预测结果的二元组输入第二条件预测模型。第二条件预测模型对第一综合特征进行处理,由此得到对第一部件的部件类别的预测结果,其中包括预测类别和预测置信度。基于该预测结果与各个二元组中备选部件类别的比较,得到各个二元组中备选部件类别正确的概率。
需要说明的是,由于第二条件预测模型的训练数据中没有对总体损伤类别的标注,因此第二条件预测模型并不对损伤类别进行预测,也不对二元组中备选损伤类别的正确性进行判断。换而言之,第二条件预测模型输出的第二预测结果表示,对于每个备选预测结果,在其中的备选损伤类别正确的情况下,备选部件类别正确的概率。
如此,在图2的步骤26和27,分别将第一综合特征和各个备选预测结果输入第一条件预测模型和第二条件预测模型,得到第一预测结果和第二预测结果。第一预测结果和第二预测结果分别示出,备选预测结果的二元组中,备选损伤类别正确的概率,和备选部件类别正确的概率。
接着,在步骤28,至少基于上述第一预测结果和所述第二预测结果,确定第一部件的部件类别及其对应的损伤类别。
图8示出在一个实施例中根据第一和第二预测结果确定部件类别和损伤类别的步骤流程图,可以理解,该步骤流程是以上步骤28的子步骤。如图8所示,首先,在步骤81,对于各个备选预测结果,获取第一预测结果中与该备选预测结果对应的第一概率,以及第二预测结果中与该备选预测结果对应的第二概率。
如前所述,每个备选预测结果表现为一个二元组。在步骤81,对于每个二元组,获取第一预测结果中针对该二元组的概率,即第一概率,第一概率表示该二元组中备选损伤类别的正确概率;并获取第二预测结果中针对该二元组的概率,即第二概率,第二概率表示该二元组中备选部件类别的正确概率。
然后,在步骤82,根据上述第一概率和第二概率,确定各个备选预测结果的综合正确概率,即整个二元组的综合正确概率。
在一个具体例子中,将第一概率和第二概率的最大值作为所述综合正确概率;
在另一具体例子中,将第一概率和第二概率的和值作为所述综合正确概率;
在又一具体例子中,考虑到第一概率和第二概率是对二元组中单个元素正确性的条件概率,将第一概率和第二概率的乘积作为综合正确概率。
下面的表1示出,对于前述例子中形成的6个二元组,其第一概率、第二概率和综合正确概率的示例,其中综合正确概率通过第一概率和第二概率的乘积得到。
表1
二元组 第一概率 第二概率 综合正确概率
(右后门,刮擦) 60% 80% 48%
(右后门,撕裂) 10% 80% 18%
(右后门,变形) 30% 80% 24%
(右前门,刮擦) 60% 20% 12%
(右前门,撕裂) 10% 20% 2%
(右前门,变形) 30% 20% 6%
可以理解,还可以通过其他方式,确定二元组的综合正确概率,例如取均值,等等,在此不一一枚举。
在确定出各个备选预测结果的综合正确概率的基础上,在步骤83,根据所述综合正确概率,从多个备选预测结果中选择至少一条预测结果。在一个实施例中,可以从多个备选预测结果中选择综合正确概率最高的预测结果。在另一实施例中,可以选择综合正确概率达到一定预设阈值的备选预测结果。在又一实施例中,还可以从多个备选预测结果中,按照综合正确概率从高到底的顺序,选择预定数目的备选预测结果。
然后,在步骤84,根据步骤83中选择的至少一条预测结果中包含的备选部件类别和备选损伤类别,确定第一部件的部件类别和对应的损伤类别。
在步骤83中仅选择一条备选预测结果的情况下,将该预测结果二元组中的备选部件类别确定为第一部件的部件类别,将其中的备选损伤类别作为第一部件的总体损伤类别。
在一种实施例中,步骤83中选择出多条备选预测结果的二元组。对于这多条备选二元组,如果其中的备选部件类别相同,在步骤84中就将该相同的备选部件类别作为第一部件的部件类别。如果其中的备选部件类别不同,那么在步骤84,将第二概率最高的二元组中的备选部件类别作为第一部件的部件类别。在一种实施例中,如果步骤83选择出多条备选二元组,则意味着,该实施例支持一个部件出现多种损伤的定损结果形式,那么可以将选择出的多个二元组中的备选损伤类别均作为第一部件的总体损伤类别。在另一种实施例中,将步骤83选出的多条二元组所包含的各个备选损伤类别中,损伤程度最高的类别,作为第一部件的总体损伤类别。
例如,在一个具体例子中,各个二元组的综合正确概率如表1所示。在一个例子中,步骤83基于表1选择出综合正确概率最高的二元组(右后门,刮擦)。于是,在步骤84,将该选择出的二元组中的备选部件类别“右后门”作为所分析的第一部件的部件类别,将该二元组中的备选损伤类别“刮擦”作为第一部件的总体损伤类别。如此,确定出右后门受到了刮擦损伤。
在另一例子中,在步骤83,选出综合正确概率高于一定阈值的2个二元组:(右后门,刮擦),(右后门,变形)。在步骤84,将共同的备选部件类别“右后门”作为第一部件的部件类别,将刮擦和变形均作为第一部件右后门所受的损伤,即确定,右后门同时受到了刮擦和变形损伤。或者,也可以将损伤程度更高的“变形”确定为右后门的损伤类别,因为部件的换修方案一般取决于该部件上损伤程度最高的损伤类别。
以上,通过图8的具体步骤,基于第一预测结果和第二预测结果,确定出第一部件的部件类别及其对应的损伤类别。然而应理解,这并不是唯一的执行方式,步骤28也可以通过其他方式执行。例如,在一种执行方式中,并不直接计算各个二元组的综合正确概率,而是分别将第一概率低于一定阈值的二元组剔除,将第二概率低于一定阈值的二元组剔除,根据剩余的二元组,确定第一部件的部件类别和总体损伤类别。在以上描述的具体实施例的基础上,还有可能采用更多其他执行方式,执行步骤28。
如此,在步骤28,基于第一预测结果和第二预测结果,确定出第一部件的部件类别及其对应的损伤类别。上述第一部件是待识别车损图片中任意的涉嫌受损的部件,因此,通过对各个涉嫌受损部件,按照图2中的步骤24提取其部件级损伤特征,并按照步骤25至28执行,就可以确定出各个涉嫌受损部件的部件类别和损伤类别,从而确定出,车损图片中的车辆,什么部件受到什么样的损伤,实现智能定损。
在以上的智能定损过程中,基于两个条件预测模型,即第一条件预测模型和第二条件预测模型,对备选预测结果二元组中两个元素的正确性分别进行预测评估。其中第一条件预测模型和第二条件预测模型可以基于已有的标注样本进行训练,更好的利用已有的标注数据。
在此基础上,还可以获取更全面的标注数据,从而训练第三预测模型,该模型用于基于部件级损伤特征,针对备选预测结果的二元组,预测其中备选部件类别和备选损伤类别均正确的概率,也就是整个二元组正确的概率。下面描述第三预测模型的训练和使用。
可以理解,由于要求第三预测模型同时对备选预测结果中的备选部件类别和备选损伤类别的正确性进行判断,那么第三预测模型所需的训练样本既需要对部件类别的标注数据,也需要对损伤类别的标注数据。具体而言,第三预测模型所基于的训练样本需要包括训练图片,以及全标注数据,该全标注数据包括,对训练图片中的受损部件进行人工标注的部件类别标签,以及人工标注的该部件的总体损伤类别标签。
图9示出根据一个实施例的用于训练第三预测模型的训练样本的标注数据。图9的标注数据是通过将图7a所示的训练图片原图分发给标注人员,使其对受损部件进行全标注而产生。所谓全标注,即包括部件的标注和损伤的标注。如图9所示,通过标注人员的标注,全标注数据中至少包括,对某个受损部件的部件类别和总体损伤类别的标注,该标注也构成一个标注二元组(A,B),其中A表示部件类别,B表示该部件上总体损伤类别。例如,(101,12)对应于(右前门,刮擦),(102,10)对应于(右后门,变形)。为了区分不同部件,全标注数据中还需要包含对部件轮廓的标注。例如,在图9中,用粗线条标出了两个受损部件的轮廓。
如此构成的标注样本可以用于对第三预测模型进行训练。在训练第三预测模型的过程中,首先对训练图片进行特征提取。特征提取的过程与前述的步骤21到步骤23相似,只是输入的图片为训练图片原图。类似的,得到的部件级损伤特征包括,训练图片中各个受损部件的部件特征和该部件上的融合损伤特征。
然后,将训练图片中某受损部件的部件级损伤特征输入第三预测模型,第三预测模型对输入特征进行处理,给出关于该受损部件的部件类别的第一预测值和关于该受损部件的总体损伤类别的第二预测值。另外,根据标注的各个部件的轮廓,确定上述受损部件对应的标注二元组,其中包括部件类别标签和损伤类别标签。基于第一预测值、第二预测值分别与部件类别标签和损伤类别标签的比对,确定预测误差,然后将误差反向传播以调整模型参数,从而实现模型的训练。
如此,在第三预测模型训练完成之后,在一个实施例中,对于待识别的图片,按照图2的步骤22到24提取得到第一部件的部件级损伤特征,即第一综合特征后,图2的方法还包括,将该第一综合特征,以及各个备选预测结果的二元组输入第三预测模型。第三预测模型对第一综合特征进行处理,由此得到对第一部件的部件类别的预测结果以及对总体损伤类别的预测结果,各个预测结果包括预测类别和置信度。将该两项预测结果分别与各个二元组中备选部件类别和备选损伤类别进行比较,基于比较结果得到各个二元组的整体正确概率。换而言之,第三预测模型输出第三预测结果,其中包括,对于每个备选预测结果二元组,其中的备选损伤类别和备选部件类别均正确的概率。
在如上所述利用了第三预测模型的情况下,在图2中的步骤28,可以根据第一条件预测模型输出的第一预测结果,第二条件预测模型输出的第二预测结果,以及上述第三预测模型输出的第三预测结果,确定第一部件的部件类型及其对应的损伤类别。
在使用第三预测模型的情况下,仍然可以采用与图8所示的步骤类似的方式来执行步骤28,只是在图8的基础上进一步引入第三预测结果。具体地,这个过程可以包括:
对于各个备选预测结果二元组,获取第一预测结果中与该备选预测结果对应的第一概率,第二预测结果中与该备选预测结果对应的第二概率,以及第三预测结果中与该备选预测结果对应的第三概率。这与步骤81类似。
接着,根据所述第一概率、第二概率和所述第三概率,确定各个备选预测结果的综合正确概率。
在一个具体例子中,可以直接基于第一概率、第二概率和所述第三概率,确定综合正确概率。例如,可以将第一概率、第二概率、第三概率的最小值、最大值、和值、平均值中的一项作为上述综合正确概率。
在又一个具体例子中,可以首先参照结合图8中步骤82所述的实施方式,基于第一概率和第二概率确定出第一综合正确概率,然后基于第一综合正确概率和上述第三概率,确定最终的综合正确概率。例如,将第一概率和第二概率的乘积作为第一综合正确概率,然后将第一综合正确概率和第三概率的均值,作为最终的综合正确概率。
下面的表2示出,对于前述例子中形成的6个二元组,其第一概率、第二概率、第三概率和综合正确概率的示例,其中综合正确概率通过将第一概率和第二概率的乘积与第三概率求平均而得到。
表2
二元组 第一概率 第二概率 第三概率 综合正确概率
(右后门,刮擦) 60% 80% 50% 49%
(右后门,撕裂) 10% 80% 14% 16%
(右后门,变形) 30% 80% 20% 22%
(右前门,刮擦) 60% 20% 8% 10%
(右前门,撕裂) 10% 20% 4% 3%
(右前门,变形) 30% 20% 4% 5%
可以理解,还可以通过其他方式,基于上述三个概率值确定二元组的综合正确概率,在此不一一枚举。
接着,根据上述综合正确概率,从多个备选预测结果中选择至少一条预测结果;并根据所述至少一条预测结果中包含的备选部件类别和备选损伤类别,确定所述第一部件的部件类别和对应的损伤类别。这两个步骤的执行方式可以参照前述对图8中步骤83和84的描述,不再赘述。
如此,通过三个预测模型的预测结果,确定出各个部件的部件类别和总体损伤类别。
在确定出各个受损部件的部件类别和损伤类别的基础上,在一个实施例中,还可以据此确定出各个部件的换修方案。
可以理解,根据定损需要,工作人员可以预先设置有映射表,其中记录各种类型的部件在各种损伤类别下的换修方案。例如,对于金属类型的部件,损伤类别为刮擦时,对应的换修方案为喷漆,损伤类别为变形时,对应的换修方案为钣金;对于玻璃类型的部件,损伤类别为刮擦时,对应的换修方案为更换玻璃,等等。
如此,对于以上举例的第一部件,假定确定出该部件的部件类别为右后门,损伤类别为刮擦,那么首先,根据部件类别“右后门”确定其归属的类型,例如为金属类型部件,然后根据损伤类别“刮擦”,确定出对应的换修方案为:喷漆。
于是,可以针对各个受损部件,确定其换修方案,从而更全面地实现定损过程。
以上,基于待识别的单张车损图片,确定出车损状况,包括什么部件受到什么类别的损伤。在此基础上,还可以基于多张车损图片进行智能定损,从而更全面更准确地确定车损信息。需要理解,上述多张车损图片应该是属于同一定损案件的图片。例如,用户往往针对同一车损案件,从不同角度和/或不同距离进行拍摄,得到一组系列图片。这样的系列图片就可以作为同一案件的多张车损图片,用来综合确定车损状况。
在一个实施例中,对于一系列多张车损图片的每一张车损图片,分别执行图2所示的方法,得到各个部件的部件类别和损伤类别的预测结果。然后,将来自各个车损图片的预测结果进行综合,例如,取并集,得到整个案件的定损结果。
在另一实施例中,考虑系列图片之间的关联,对多张车损图片的特征进行融合,将融合后的特征输入预测模型,得到预测结果,据此确定定损结果。下面描述在该实施构思下车辆定损的方法。
图10示出根据一个实施例的车辆定损方法,用于基于至少两张车损图片进行智能定损。如图10所示,该方法至少包括以下步骤。
首先,在步骤1001,获取待识别的第一车损图片和第二车损图片。如前所述,这里,第一车损图片和第二车损图片属于同一定损案件。
然后,在步骤1002,利用预先训练的损伤检测模型,获取分别针对第一车损图片和第二车损图片的第一损伤对象检测信息和第二损伤对象检测信息,其中第一损伤对象检测信息包括,框选出所述第一车损图片中多个损伤对象的多个第一损伤检测框的信息,第二损伤对象检测信息包括,框选出所述第二车损图片中多个损伤对象的多个第二损伤检测框的信息。
该步骤相当于分别针对第一车损图片和第二车损图片执行图2所示的步骤22,其具体过程不再赘述。
此外,在步骤1003,利用预先训练的部件模型,获取分别针对第一车损图片和第二车损图片的第一车辆部件信息和第二车辆部件信息,所述第一车辆部件信息包括,第一部件对象检测信息和第一部件分割信息,所述第二车辆部件信息包括,第二部件对象检测信息和第二部件分割信息,其中第一部件对象检测信息和第二部件对象检测信息中均包括检测出的第一部件。
该步骤相当于分别针对第一车损图片和第二车损图片执行图2所示的步骤23,从而分别得到第一车辆部件信息和第二车辆部件信息,其具体过程不再赘述。
接着,在步骤1004,根据第一车损图片和第二车损图片之间的关联,从第一部件对象检测信息和第二部件对象检测信息中,确定出共同的第一部件。
已经存在一些图片匹配模型,能够实现两个图片的匹配定位,即确定出一幅图所示内容在另一幅图中的位置,或确定出两幅图中相似的共同的内容。因此,可以利用这样的匹配模型,根据第一车损图片和第二车损图片之间的关联,从第一部件对象检测信息和第二部件对象检测信息中,确定出共同的部件,以下仍称为第一部件。
接下来,在步骤1005,基于上述第一损伤对象检测信息、第二损伤对象检测信息、第一车辆部件信息和第二车辆部件信息,针对第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的融合部件特征以及融合损伤特征,其中,所述融合部件特征通过将第一部件特征和第二部件特征进行融合而得到,所述第一部件特征基于所述第一车损图片产生,所述第二部件特征基于所述第二车损图片产生;所述融合损伤特征通过将第一损伤特征和第二损伤特征进行融合而得到,所述第一损伤特征基于所述第一车损图片中同属于该第一部件的至少一个第一损伤检测框的损伤特征而产生,所述第二损伤特征基于所述第二车损图片中同属于该第一部件的至少一个第二损伤检测框的损伤特征而产生。
在一个实施例中,对于上述第一部件,可以分别基于第一车损图片和第二车损图片,执行图2的步骤24,分别获得基于第一车损图片的综合特征V1,和基于第二车损图片的综合特征V2,其中综合特征V1包括,基于第一车损图片提取的第一部件的部件特征,称为第一部件特征,以及基于第一车损图片中同属于该第一部件的损伤检测框的损伤特征而产生的融合损伤特征,称为第一损伤特征;综合特征V2包括,基于第二车损图片提取的第一部件的部件特征,称为第二部件特征,以及基于第二车损图片中同属于该第一部件的损伤检测框的损伤特征而产生的融合损伤特征,称为第二损伤特征。然后可以将这两个综合特征V1和V2进行进一步融合,得到最终的第一综合特征。
具体地,该上述第一部件特征和第二部件特征进行融合,得到融合部件特征;将上述第一损伤特征和第二损伤特征进行融合,得到融合损伤特征;融合部件特征和融合损伤特征共同构成上述第一综合特征。
以上特征的融合可以采取多种融合方式,例如拼接,求均值,最大池化,等等,在此不一一列举。
可以看到,在步骤1005,对于两张车损图片中包含的共同的第一部件,将基于两张图片分别提取的特征进行进一步融合,得到第一部件的第一综合特征。该第一综合特征全面反映了两张图片中示出的该第一部件的部件特征,以及该部件上的损伤特征。
接着,在步骤1006,确定针对该第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别。该步骤的执行方式与前述的步骤25相似,不再赘述。
然后,在步骤1007,将上述第一综合特征和多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率。
并且,在步骤1008,将上述第一综合特征和多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率。
以上关于第一条件预测模型和第二条件预测模型的训练、使用,可以参照前述关于图2中步骤26和步骤27的描述,不再赘述。
之后,在步骤1010,至少基于上述第一预测结果和第二预测结果,确定第一部件的部件类别及其对应的损伤类别。
该步骤的执行方式可以参照前述步骤28的描述。
以上,通过综合第一车损图片和第二车损图片,得到某个部件在多图中的部件级损伤特征,基于该部件级损伤特征,利用预测模型确定出该部件的部件类别和损伤类别。
进一步的,可选的,图10的方法还包括步骤1009(虚线框示出),将上述第一综合特征和多个备选预测结果输入预先训练的第三预测模型,得到第三预测结果,所述第三预测结果包括,对于每个备选预测结果,其中的备选损伤类别和备选部件类别均正确的概率。
关于第三预测模型的训练和使用,参见之前的描述,不再赘述。
在进一步使用第三预测模型的情况下,相应的,步骤1010包括,基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定第一部件的部件类型及其对应的损伤类别。
在前述针对步骤28的描述中,已描述多个根据第一预测结果,第二预测结果,以及第三预测结果,确定部件类型及其损伤类别的实施例,这些实施例同样可以应用于步骤1010的执行。
除此之外,在一个实施例中,还可以将上述第一条件预测模型,第二条件预测模型和第三预测模型作为树节点,构建决策树模型,利用该决策树模型确定上述第一部件的部件类型及其对应的损伤类别。在这样的情况下,第一条件预测模型、第二条件预测模型和第三预测模型,均作为弱分类器,输出初步分类结果。通过训练决策树模型,确定各个树节点对应的弱分类器的权重,从而基于各个初步分类结果输出最终结果。
在一个实施例中,上述决策树模型可以利用定损案件的定损单作为标注数据而训练。可以理解,保险公司存在大量的案件数据,这些数据一般包括,同一案件的一系列车损图片,和针对这些图片人工定损的定损单,其中定损单中会示出,车辆中哪些部件受到什么样的损伤。因此,可以将定损单作为标注数据,训练得到上述的决策树模型。利用训练好的决策树模型,就可以基于各个预测模型的预测结果,确定出案件最终的车损状况。
回顾图1到图10的过程可以看到,在智能定损过程中,在分别利用损伤检测模型和部件模型对损伤和部件分别进行识别后,将部件特征和损伤特征进行融合,得到部件级损伤特征。然后,利用多个预测模型,其中包括至少2个条件预测模型,基于该部件级损伤特征,判断部件的类别和损伤的类别,从而确定出车损状况,实现智能定损。
可以理解,在这个智能决策的训练过程中可以采用多种类型的训练数据,1)整案定损单(整案中正确的部件和损伤类型组合)2)单图的定损单(单图中正确的部件和损伤类型组合)3)损伤的标注4)部件的标注。训练数据优先级1)>2)>3),4)。在高优先级数据丰富时采用高优先级数据训练效果更佳,在高优先级数据不足或获取难度成本很大的情况框下,可以顺次获取后面优先级的训练数据进行训练,使整体决策效果更佳。其中3)4)的标注信息不完备,这时的训练目标是条件概率。
根据另一方面的实施例,还提供一种车辆定损装置。图11示出根据一个实施例的车辆定损装置的示意性框图。可以理解,该装置可以部署在任意具有计算、处理能力的设备、平台、集群中。如图11所示,该定损装置1100包括:
图片获取单元1101,配置为获取待识别的车损图片;
损伤信息获取单元1102,配置为利用预先训练的损伤检测模型,获取损伤对象检测信息,其包括,框选出所述车损图片中多个损伤对象的多个损伤检测框的信息;
部件信息获取单元1103,配置为利用预先训练的部件模型,获取针对所述车损图片的车辆部件信息,其中包括,部件对象检测信息,和部件分割信息,所述部件对象检测信息中包括检测出的第一部件;
综合特征生成单元1104,配置为基于所述损伤对象检测信息和所述车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的部件特征,以及融合损伤特征,所述融合损伤特征通过将所述多个损伤检测框中,同属于所述第一部件的至少一个损伤检测框的损伤特征进行融合而得到;
备选结果确定单元1105,配置为确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
第一预测单元1106,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
第二预测单元1107,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
结果确定单元1108,配置为至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
在一个实施例中,损伤信息获取单元1102利用多个损伤检测模型来获取损伤检测信息;相应的,所述损伤检测信息包括,分别来自于所述多个损伤检测模型的多个损伤检测框的信息。
根据一种实施方式,部件信息获取单元1103通过以下方式获取针对所述车损图片的车辆部件信息:
利用部件检测模型,获取针对所述车损图片的所述部件对象检测信息,其中包括框选出相应部件的至少一个部件检测框,以及每个部件检测框对应的预测部件类别;
利用部件分割模型,获取对所述车损图片中各个部件的分割结果。
在一个实施例中,上述部件模型基于卷积神经网络实现;相应的,综合特征生成单元1104可以从所述卷积神经网络的卷积层中获取,所述车损图片中与所述第一部件相关的特征,作为所述第一综合特征中的部件特征。
在一个实施例中,综合特征生成单元1104通过以下方式生成融合损伤特征:
根据所述损伤对象检测信息和所述部件分割信息,确定同属于该第一部件的至少一个损伤检测框;
获取所述至少一个损伤检测框的损伤特征;
将所述至少一个损伤检测框的损伤特征进行融合操作,得到所述融合损伤特征。
进一步地,在一个实施例中,综合特征生成单元1104通过以下方式确定同属于该第一部件的至少一个损伤检测框:
根据所述部件分割信息,确定所述第一部件覆盖的第一区域;
根据所述多个损伤检测框的位置信息,确定其是否落入所述第一区域;
将落入所述第一区域的损伤检测框确定为所述至少一个损伤检测框。
根据一种实施方式,对于上述至少一个损伤检测框中包括的第一损伤检测框,综合特征生成单元1104可以如下获取其对应的第一损伤特征:从所述损伤检测模型所对应的卷积神经网络的卷积层中提取,与所述第一损伤检测框相关的图片卷积特征。
进一步的,在一个实施例中,损伤信息获取单元1102获取的损伤对象检测信息还包括,所述多个损伤检测框中各个损伤检测框对应的预测损伤类别;在这样的情况下,综合特征生成单元1104获取所述第一损伤检测框对应的第一损伤特征还包括,根据所述第一损伤检测框与所述多个损伤检测框中其他损伤检测框之间的关联关系,确定第一关联特征作为所述第一损伤特征的一部分,所述关联关系至少包括以下中的一项或多项:损伤检测框位置关联关系,预测损伤类别关联关系,以及通过所述图片卷积特征反映的框内容关联关系。
根据一种实施方式,综合特征生成单元1104进行的融合操作可以包括以下中的一项或多项:取最大操作,取最小操作,求平均操作,求和操作,求中位数操作。
在一个实施例中,部件信息获取单元1103获取的部件信息包括,框选出相应部件的至少一个部件检测框,以及每个部件检测框对应的预测部件类别;基于此,备选结果确定单元1105可以获取针对所述第一部件的第一预测部件类别,将所述第一预测部件类别作为所述备选部件类别。
在一个实施例中,损伤信息获取单元1102获取的损伤对象检测信息包括,所述多个损伤检测框中各个损伤检测框对应的预测损伤类别;基于此,备选结果确定单元1105可以获取所述至少一个损伤检测框对应的至少一个预测损伤类别;分别将以下项目作为所述备选损伤类别:
所述至少一个预测损伤类别中,损伤程度最高的损伤类别;
所述至少一个预测损伤类别中,占比最高的损伤类别。
根据一种实现方式,第一预测单元1106所利用的第一条件预测模型基于至少一个第一训练样本而训练,所述第一训练样本包括第一训练图片,以及第一标注数据,所述第一标注数据至少包括,针对所述第一训练图片中的第一受损部件的第一损伤类别标签,其中所述第一损伤类别标签基于人工标注的损伤标注数据而产生。
进一步的,在一个实施例中,所述第一损伤类别标签通过以下方式产生:
获取所述人工标注的损伤标注数据,所述损伤标注数据包括在所述第一训练图片中标注出的多个损伤标注框,以及针对各个损伤标注框标注的各个损伤类别标签;
获取针对所述第一训练图片的部件轮廓信息;
根据所述部件轮廓信息,确定对应于所述第一受损部件的至少一个损伤标注框;
将所述至少一个损伤标注框对应的损伤类别标签中,对应的损伤程度最高的损伤类别标签,作为所述第一损伤类别标签。
更进一步的,可以通过人工标注的轮廓标注数据,获取上述部件轮廓信息;或者,通过部件分割模型,获取所述部件轮廓信息。
根据一种实现方式,第二预测单元1107中采用的第二条件预测模型基于至少一个第二训练样本而训练,所述第二训练样本包括第二训练图片,以及第二标注数据,所述第二标注数据至少包括,针对所述第二训练图片中的第二受损部件人工标注的第二部件类别标签。
在一种可能的设计中,结果确定单元1108通过以下方式确定第一部件的部件类别及其对应的损伤类别:
对于各个备选预测结果,获取所述第一预测结果中与该备选预测结果对应的第一概率,以及所述第二预测结果中与该备选预测结果对应的第二概率;
根据所述第一概率和所述第二概率,确定各个备选预测结果的综合正确概率;
根据所述综合正确概率,从所述多个备选预测结果中选择至少一条预测结果;
根据所述至少一条预测结果中包含的备选部件类别和备选损伤类别,确定所述第一部件的部件类别和对应的损伤类别。
进一步的,备选结果确定单元1105可以通过以下方式确定各个备选预测结果的综合正确概率:
将所述第一概率和第二概率的最大值作为所述综合正确概率;或者,
将所述第一概率和第二概率的和值作为所述综合正确概率;或者,
将所述第一概率和第二概率的乘积作为所述综合正确概率。
在一种可能的实现方式中,装置1100还包括第三预测单元(未示出),配置为,将所述第一特征和所述多个备选预测结果输入预先训练的第三预测模型,得到第三预测结果,所述第三预测结果包括,对于每个备选预测结果,其中的备选损伤类别和备选部件类别均正确的概率。
在一个实施例中,所述第三预测模型基于至少一个第三训练样本而训练,所述第三训练样本包括第三训练图片,以及第三标注数据,所述第三标注数据包括,针对所述第三训练图片中的第三受损部件人工标注的第三部件类别标签和第三损伤类别标签。
相应的,在一个实施例中,结果确定单元1108可以基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定所述第一部件的部件类型及其对应的损伤类别。
在更具体的实施例中,结果确定单元1108可以如下确定第一部件的部件类型及其对应的损伤类别:
对于各个备选预测结果,获取所述第一预测结果中与该备选预测结果对应的第一概率,所述第二预测结果中与该备选预测结果对应的第二概率,以及所述第三预测结果中与该备选预测结果对应的第三概率;
根据所述第一概率、所述第二概率和所述第三概率,确定各个备选预测结果的综合正确概率;
根据所述综合正确概率,从所述多个备选预测结果中选择至少一条预测结果;
根据所述至少一条预测结果中包含的备选部件类别和备选损伤类别,确定所述第一部件的部件类别和对应的损伤类别。
在一种可能的设计中,装置还可以包括换修方案确定单元(未示出),配置为根据所述第一部件的部件类别及其对应的损伤类别,确定所述第一部件的换修方案。
在又一方面的实施例中,还提供一种车辆定损装置,用于根据多张车损图片进行定损。图12示出根据一个实施例的车辆定损装置的示意性框图。可以理解,该装置可以部署在任意具有计算、处理能力的设备、平台、集群中。如图12所示,该定损装置1200包括:
图片获取单元1201,配置为获取待识别的第一车损图片和第二车损图片,所述第一车损图片和第二车损图片属于同一定损案件;
损伤信息获取单元1202,配置为利用预先训练的损伤检测模型,获取分别针对所述第一车损图片和第二车损图片的第一损伤对象检测信息和第二损伤对象检测信息,所述第一损伤对象检测信息包括,框选出所述第一车损图片中多个损伤对象的多个第一损伤检测框的信息,所述第二损伤对象检测信息包括,框选出所述第二车损图片中多个损伤对象的多个第二损伤检测框的信息;
部件信息获取单元1203,配置为利用预先训练的部件模型,获取分别针对所述第一车损图片和所述第二车损图片的第一车辆部件信息和第二车辆部件信息,所述第一车辆部件信息包括,第一部件对象检测信息和第一部件分割信息,所述第二车辆部件信息包括,第二部件对象检测信息和第二部件分割信息;
共同部件确定单元1204,配置为根据所述第一车损图片和第二车损图片之间的关联,从所述第一部件对象检测信息和所述第二部件对象检测信息中确定出共同的第一部件;
综合特征生成单元1205,配置为基于所述第一损伤对象检测信息、所述第二损伤对象检测信息、所述第一车辆部件信息和第二车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的融合部件特征以及融合损伤特征,其中,所述融合部件特征通过将第一部件特征和第二部件特征进行融合而得到,所述第一部件特征基于所述第一车损图片产生,所述第二部件特征基于所述第二车损图片产生;所述融合损伤特征通过将第一损伤特征和第二损伤特征进行融合而得到,所述第一损伤特征基于所述第一车损图片中同属于该第一部件的至少一个第一损伤检测框的损伤特征而产生,所述第二损伤特征基于所述第二车损图片中同属于该第一部件的至少一个第二损伤检测框的损伤特征而产生;
备选结果确定单元1206,配置为确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
第一预测单元1207,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
第二预测单元1208,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
结果确定单元1210,至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
在一个实施例中,上述装置1200还包括第三预测单元1209(虚线示出),配置为将所述第一特征和所述多个备选预测结果输入预先训练的第三预测模型,得到第三预测结果,所述第三预测结果包括,对于每个备选预测结果,其中的备选损伤类别和备选部件类别均正确的概率。
相应的,结果确定单元1210可以配置为,基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定所述第一部件的部件类型及其对应的损伤类别。
通过以上的装置,基于待识别的车损图片,对车辆部件类别和总体损伤类别进行预测判断,实现智能定损。
根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行结合图2和图10所描述的方法。
根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现结合图2和图10所述的方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (34)

1.一种计算机执行的车辆定损方法,包括:
获取待识别的车损图片;
利用预先训练的损伤检测模型,获取损伤对象检测信息,其包括,框选出所述车损图片中多个损伤对象的多个损伤检测框的信息;
利用预先训练的部件模型,获取针对所述车损图片的车辆部件信息,其中包括,部件对象检测信息,和部件分割信息,所述部件对象检测信息中包括检测出的第一部件;
基于所述损伤对象检测信息和所述车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的部件特征,以及融合损伤特征,所述融合损伤特征通过将所述多个损伤检测框中,同属于所述第一部件的至少一个损伤检测框的损伤特征进行融合而得到;
确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
2.根据权利要求1所述的方法,其中,所述损伤检测模型包括多个损伤检测模型,所述损伤检测信息包括,分别来自于所述多个损伤检测模型的多个损伤检测框的信息。
3.根据权利要求1所述的方法,其中利用预先训练的部件模型,获取针对所述车损图片的车辆部件信息,包括:
利用部件检测模型,获取针对所述车损图片的所述部件对象检测信息,其中包括框选出相应部件的至少一个部件检测框,以及每个部件检测框对应的预测部件类别;
利用部件分割模型,获取对所述车损图片中各个部件的分割结果。
4.根据权利要求1所述的方法,其中,所述部件模型基于卷积神经网络实现;
基于所述损伤对象检测信息和所述车辆部件信息,针对第一部件生成第一综合特征,包括:
从所述卷积神经网络的卷积层中获取,所述车损图片中与所述第一部件相关的特征,作为所述部件特征。
5.根据权利要求1所述的方法,其中,基于所述损伤对象检测信息和所述车辆部件信息,针对第一部件生成第一综合特征,包括:
根据所述损伤对象检测信息和所述部件分割信息,确定同属于该第一部件的至少一个损伤检测框;
获取所述至少一个损伤检测框的损伤特征;
将所述至少一个损伤检测框的损伤特征进行融合操作,得到所述融合损伤特征。
6.根据权利要求5所述的方法,其中,确定同属于该第一部件的至少一个损伤检测框,包括:
根据所述部件分割信息,确定所述第一部件覆盖的第一区域;
根据所述多个损伤检测框的位置信息,确定其是否落入所述第一区域;
将落入所述第一区域的损伤检测框确定为所述至少一个损伤检测框。
7.根据权利要求5所述的方法,其中,所述至少一个损伤检测框包括第一损伤检测框;
所述获取所述至少一个损伤检测框的损伤特征包括,获取所述第一损伤检测框对应的第一损伤特征,其包括,从所述损伤检测模型所对应的卷积神经网络的卷积层中提取,与所述第一损伤检测框相关的图片卷积特征。
8.根据权利要求7所述的方法,其中,所述损伤对象检测信息包括,所述多个损伤检测框中各个损伤检测框对应的预测损伤类别;
获取所述第一损伤检测框对应的第一损伤特征还包括,根据所述第一损伤检测框与所述多个损伤检测框中其他损伤检测框之间的关联关系,确定第一关联特征作为所述第一损伤特征的一部分,所述关联关系至少包括以下中的一项或多项:损伤检测框位置关联关系,预测损伤类别关联关系,以及通过所述图片卷积特征反映的框内容关联关系。
9.根据权利要求5所述的方法,其中,所述融合操作包括以下中的一项或多项:取最大操作,取最小操作,求平均操作,求和操作,求中位数操作。
10.根据权利要求1所述的方法,其中,所述部件对象检测信息包括,框选出相应部件的至少一个部件检测框,以及每个部件检测框对应的预测部件类别;
所述确定针对所述第一部件的多个备选预测结果包括,
获取针对所述第一部件的第一预测部件类别,将所述第一预测部件类别作为所述备选部件类别。
11.根据权利要求1或10所述的方法,其中,所述损伤对象检测信息包括,所述多个损伤检测框中各个损伤检测框对应的预测损伤类别;
所述确定针对所述第一部件的多个备选预测结果包括,
获取所述至少一个损伤检测框对应的至少一个预测损伤类别;
分别将以下项目作为所述备选损伤类别:
所述至少一个预测损伤类别中,损伤程度最高的损伤类别;
所述至少一个预测损伤类别中,占比最高的损伤类别。
12.根据权利要求1所述的方法,其中,所述第一条件预测模型基于至少一个第一训练样本而训练,所述第一训练样本包括第一训练图片,以及第一标注数据,所述第一标注数据至少包括,针对所述第一训练图片中的第一受损部件的第一损伤类别标签,其中所述第一损伤类别标签基于人工标注的损伤标注数据而产生。
13.根据权利要求12所述的方法,其中,所述第一损伤类别标签通过以下方式产生:
获取所述人工标注的损伤标注数据,所述损伤标注数据包括在所述第一训练图片中标注出的多个损伤标注框,以及针对各个损伤标注框标注的各个损伤类别标签;
获取针对所述第一训练图片的部件轮廓信息;
根据所述部件轮廓信息,确定对应于所述第一受损部件的至少一个损伤标注框;
将所述至少一个损伤标注框对应的损伤类别标签中,对应的损伤程度最高的损伤类别标签,作为所述第一损伤类别标签。
14.根据权利要求13所述的方法,其中,获取针对所述第一训练图片的部件轮廓信息包括:
通过人工标注的轮廓标注数据,获取所述部件轮廓信息;或者,
通过部件分割模型,获取所述部件轮廓信息。
15.根据权利要求1所述的方法,其中,所述第二条件预测模型基于至少一个第二训练样本而训练,所述第二训练样本包括第二训练图片,以及第二标注数据,所述第二标注数据至少包括,针对所述第二训练图片中的第二受损部件人工标注的第二部件类别标签。
16.根据权利要求1所述的方法,其中,至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别,包括:
对于各个备选预测结果,获取所述第一预测结果中与该备选预测结果对应的第一概率,以及所述第二预测结果中与该备选预测结果对应的第二概率;
根据所述第一概率和所述第二概率,确定各个备选预测结果的综合正确概率;
根据所述综合正确概率,从所述多个备选预测结果中选择至少一条预测结果;
根据所述至少一条预测结果中包含的备选部件类别和备选损伤类别,确定所述第一部件的部件类别和对应的损伤类别。
17.根据权利要求16所述的方法,其中,确定各个备选预测结果的综合正确概率包括:
将所述第一概率和第二概率的最大值作为所述综合正确概率;或者,
将所述第一概率和第二概率的和值作为所述综合正确概率;或者,
将所述第一概率和第二概率的乘积作为所述综合正确概率。
18.根据权利要求1所述的方法,还包括:
将所述第一特征和所述多个备选预测结果输入预先训练的第三预测模型,得到第三预测结果,所述第三预测结果包括,对于每个备选预测结果,其中的备选损伤类别和备选部件类别均正确的概率。
19.根据权利要求18所述的方法,其中,所述第三预测模型基于至少一个第三训练样本而训练,所述第三训练样本包括第三训练图片,以及第三标注数据,所述第三标注数据包括,针对所述第三训练图片中的第三受损部件人工标注的第三部件类别标签和第三损伤类别标签。
20.根据权利要求18所述的方法,其中至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别,包括:
基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定所述第一部件的部件类型及其对应的损伤类别。
21.根据权利要求20所述的方法,基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定所述第一部件的部件类型及其对应的损伤类别,包括:
对于各个备选预测结果,获取所述第一预测结果中与该备选预测结果对应的第一概率,所述第二预测结果中与该备选预测结果对应的第二概率,以及所述第三预测结果中与该备选预测结果对应的第三概率;
根据所述第一概率、所述第二概率和所述第三概率,确定各个备选预测结果的综合正确概率;
根据所述综合正确概率,从所述多个备选预测结果中选择至少一条预测结果;
根据所述至少一条预测结果中包含的备选部件类别和备选损伤类别,确定所述第一部件的部件类别和对应的损伤类别。
22.根据权利要求1所述的方法,还包括,
根据所述第一部件的部件类别及其对应的损伤类别,确定所述第一部件的换修方案。
23.一种计算机执行的车辆定损方法,包括:
获取待识别的第一车损图片和第二车损图片,所述第一车损图片和第二车损图片属于同一定损案件;
利用预先训练的损伤检测模型,获取分别针对所述第一车损图片和第二车损图片的第一损伤对象检测信息和第二损伤对象检测信息,所述第一损伤对象检测信息包括,框选出所述第一车损图片中多个损伤对象的多个第一损伤检测框的信息,所述第二损伤对象检测信息包括,框选出所述第二车损图片中多个损伤对象的多个第二损伤检测框的信息;
利用预先训练的部件模型,获取分别针对所述第一车损图片和所述第二车损图片的第一车辆部件信息和第二车辆部件信息,所述第一车辆部件信息包括,第一部件对象检测信息和第一部件分割信息,所述第二车辆部件信息包括,第二部件对象检测信息和第二部件分割信息;
根据所述第一车损图片和第二车损图片之间的关联,从所述第一部件对象检测信息和所述第二部件对象检测信息中确定出共同的第一部件;
基于所述第一损伤对象检测信息、所述第二损伤对象检测信息、所述第一车辆部件信息和第二车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的融合部件特征以及融合损伤特征,其中,所述融合部件特征通过将第一部件特征和第二部件特征进行融合而得到,所述第一部件特征基于所述第一车损图片产生,所述第二部件特征基于所述第二车损图片产生;所述融合损伤特征通过将第一损伤特征和第二损伤特征进行融合而得到,所述第一损伤特征基于所述第一车损图片中同属于该第一部件的至少一个第一损伤检测框的损伤特征而产生,所述第二损伤特征基于所述第二车损图片中同属于该第一部件的至少一个第二损伤检测框的损伤特征而产生;
确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
24.根据权利要求23所述的方法,还包括,
将所述第一综合特征和所述多个备选预测结果输入预先训练的第三预测模型,得到第三预测结果,所述第三预测结果包括,对于每个备选预测结果,其中的备选损伤类别和备选部件类别均正确的概率。
25.根据权利要求24所述的方法,其中至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别,包括:
基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定所述第一部件的部件类型及其对应的损伤类别。
26.根据权利要求25所述的方法,基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定所述第一部件的部件类型及其对应的损伤类别,包括:
将所述第一条件预测模型,第二条件预测模型和第三预测模型作为树节点,构建决策树模型,利用该决策树模型确定所述第一部件的部件类型及其对应的损伤类别。
27.根据权利要求26所述的方法,其中所述决策树模型利用定损案件的定损单作为标注数据而训练。
28.一种车辆定损装置,包括:
图片获取单元,配置为获取待识别的车损图片;
损伤信息获取单元,配置为利用预先训练的损伤检测模型,获取损伤对象检测信息,其包括,框选出所述车损图片中多个损伤对象的多个损伤检测框的信息;
部件信息获取单元,配置为利用预先训练的部件模型,获取针对所述车损图片的车辆部件信息,其中包括,部件对象检测信息,和部件分割信息,所述部件对象检测信息中包括检测出的第一部件;
综合特征生成单元,配置为基于所述损伤对象检测信息和所述车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的部件特征,以及融合损伤特征,所述融合损伤特征通过将所述多个损伤检测框中,同属于所述第一部件的至少一个损伤检测框的损伤特征进行融合而得到;
备选结果确定单元,配置为确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
第一预测单元,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
第二预测单元,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
结果确定单元,配置为至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
29.根据权利要求28所述的装置,还包括:
第三预测单元,配置为将所述第一特征和所述多个备选预测结果输入预先训练的第三预测模型,得到第三预测结果,所述第三预测结果包括,对于每个备选预测结果,其中的备选损伤类别和备选部件类别均正确的概率。
30.根据权利要求29所述的装置,其中所述结果确定单元配置为,基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定所述第一部件的部件类型及其对应的损伤类别。
31.一种车辆定损装置,包括:
图片获取单元,配置为获取待识别的第一车损图片和第二车损图片,所述第一车损图片和第二车损图片属于同一定损案件;
损伤信息获取单元,配置为利用预先训练的损伤检测模型,获取分别针对所述第一车损图片和第二车损图片的第一损伤对象检测信息和第二损伤对象检测信息,所述第一损伤对象检测信息包括,框选出所述第一车损图片中多个损伤对象的多个第一损伤检测框的信息,所述第二损伤对象检测信息包括,框选出所述第二车损图片中多个损伤对象的多个第二损伤检测框的信息;
部件信息获取单元,配置为利用预先训练的部件模型,获取分别针对所述第一车损图片和所述第二车损图片的第一车辆部件信息和第二车辆部件信息,所述第一车辆部件信息包括,第一部件对象检测信息和第一部件分割信息,所述第二车辆部件信息包括,第二部件对象检测信息和第二部件分割信息;
共同部件确定单元,配置为根据所述第一车损图片和第二车损图片之间的关联,从所述第一部件对象检测信息和所述第二部件对象检测信息中确定出共同的第一部件;
综合特征生成单元,配置为基于所述第一损伤对象检测信息、所述第二损伤对象检测信息、所述第一车辆部件信息和第二车辆部件信息,针对所述第一部件生成第一综合特征,所述第一综合特征包括,该第一部件的融合部件特征以及融合损伤特征,其中,所述融合部件特征通过将第一部件特征和第二部件特征进行融合而得到,所述第一部件特征基于所述第一车损图片产生,所述第二部件特征基于所述第二车损图片产生;所述融合损伤特征通过将第一损伤特征和第二损伤特征进行融合而得到,所述第一损伤特征基于所述第一车损图片中同属于该第一部件的至少一个第一损伤检测框的损伤特征而产生,所述第二损伤特征基于所述第二车损图片中同属于该第一部件的至少一个第二损伤检测框的损伤特征而产生;
备选结果确定单元,配置为确定针对所述第一部件的多个备选预测结果,每个备选预测结果包括备选部件类别和备选损伤类别;
第一预测单元,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第一条件预测模型,得到第一预测结果,所述第一预测结果包括,每个备选预测结果中,备选损伤类别正确的概率;
第二预测单元,配置为将所述第一综合特征和所述多个备选预测结果输入预先训练的第二条件预测模型,得到第二预测结果,所述第二预测结果包括,每个备选预测结果中,备选部件类别正确的概率;
结果确定单元,至少基于所述第一预测结果和所述第二预测结果,确定所述第一部件的部件类别及其对应的损伤类别。
32.根据权利要求31所述的装置,还包括:
第三预测单元,配置为将所述第一特征和所述多个备选预测结果输入预先训练的第三预测模型,得到第三预测结果,所述第三预测结果包括,对于每个备选预测结果,其中的备选损伤类别和备选部件类别均正确的概率。
33.根据权利要求32所述的装置,其中所述结果确定单元配置为,基于所述第一预测结果,第二预测结果,以及所述第三预测结果,确定所述第一部件的部件类型及其对应的损伤类别。
34.一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-27中任一项所述的方法。
CN201811631844.0A 2018-12-29 2018-12-29 计算机执行的车辆定损方法及装置 Active CN110569701B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811631844.0A CN110569701B (zh) 2018-12-29 2018-12-29 计算机执行的车辆定损方法及装置
TW108126005A TWI726364B (zh) 2018-12-29 2019-07-23 電腦執行的車輛定損方法及裝置
PCT/US2019/067765 WO2020139743A1 (en) 2018-12-29 2019-12-20 Computer-executed method and apparatus for assessing vehicle damage
US16/723,541 US10699168B1 (en) 2018-12-29 2019-12-20 Computer-executed method and apparatus for assessing vehicle damage
US16/871,446 US10885397B2 (en) 2018-12-29 2020-05-11 Computer-executed method and apparatus for assessing vehicle damage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811631844.0A CN110569701B (zh) 2018-12-29 2018-12-29 计算机执行的车辆定损方法及装置

Publications (2)

Publication Number Publication Date
CN110569701A true CN110569701A (zh) 2019-12-13
CN110569701B CN110569701B (zh) 2020-08-07

Family

ID=68772503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811631844.0A Active CN110569701B (zh) 2018-12-29 2018-12-29 计算机执行的车辆定损方法及装置

Country Status (4)

Country Link
US (2) US10699168B1 (zh)
CN (1) CN110569701B (zh)
TW (1) TWI726364B (zh)
WO (1) WO2020139743A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666995A (zh) * 2020-05-29 2020-09-15 平安科技(深圳)有限公司 基于深度学习模型的车辆定损方法、装置、设备及介质
CN112287905A (zh) * 2020-12-18 2021-01-29 德联易控科技(北京)有限公司 车辆损伤识别方法、装置、设备及存储介质
CN112417961A (zh) * 2020-10-20 2021-02-26 上海大学 一种基于场景先验知识的海面目标检测方法
CN113505624A (zh) * 2020-03-23 2021-10-15 虹软科技股份有限公司 车辆定损方法、车辆定损装置及应用其的电子设备
WO2023273345A1 (zh) * 2021-06-29 2023-01-05 北京百度网讯科技有限公司 基于图像的车辆定损方法、装置及系统
CN115661342A (zh) * 2022-10-17 2023-01-31 上海信宝博通电子商务有限公司 针对车辆损伤点位的显示方法、装置及计算机可读介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096933B (zh) * 2018-01-30 2023-07-18 华为技术有限公司 目标检测的方法、装置及系统
CN110569864A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像生成方法和装置
CN109359676A (zh) * 2018-10-08 2019-02-19 百度在线网络技术(北京)有限公司 用于生成车辆损伤信息的方法和装置
CN109544623B (zh) * 2018-10-11 2021-07-27 百度在线网络技术(北京)有限公司 车辆损伤区域的测量方法和装置
US11210770B2 (en) * 2019-03-15 2021-12-28 Hitachi, Ltd. AI-based inspection in transportation
US11574366B1 (en) * 2019-04-17 2023-02-07 State Farm Mutual Automobile Insurance Company Method and system for early identification and settlement of total loss claims
US11915479B1 (en) * 2019-12-30 2024-02-27 Scope Technologies Holdings Limited Systems and methods for automatedly identifying, documenting and reporting vehicle damage
EP4085400A1 (en) * 2020-01-03 2022-11-09 Tractable Ltd Method of determining damage to parts of a vehicle
US10970835B1 (en) * 2020-01-13 2021-04-06 Capital One Services, Llc Visualization of damage on images
US11804039B2 (en) * 2020-05-28 2023-10-31 Science House LLC Systems, methods, and apparatus for enhanced cameras
CN112001294B (zh) * 2020-08-19 2023-05-12 福建船政交通职业学院 一种基于yolact++车身表面损伤检测及掩膜生成方法和存储设备
CN113255842B (zh) * 2021-07-05 2021-11-02 平安科技(深圳)有限公司 车辆置换预测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296126A (zh) * 2016-08-09 2017-01-04 深圳市永兴元科技有限公司 车险理赔费用预测方法和装置
KR20170077545A (ko) * 2015-12-28 2017-07-06 전자부품연구원 저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법
CN107358596A (zh) * 2017-04-11 2017-11-17 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN108062712A (zh) * 2017-11-21 2018-05-22 阿里巴巴集团控股有限公司 一种车险定损数据的处理方法、装置和处理设备
CN108446618A (zh) * 2018-03-09 2018-08-24 平安科技(深圳)有限公司 车辆定损方法、装置、电子设备及存储介质
CN108596047A (zh) * 2018-03-30 2018-09-28 上海与德通讯技术有限公司 车损识别方法、智能终端以及计算机可读存储介质
CN108921068A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统
KR20180133657A (ko) * 2017-06-07 2018-12-17 한화에어로스페이스 주식회사 기계 학습을 이용한 다중 뷰포인트 차량 인식 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809587B2 (en) * 2004-05-07 2010-10-05 International Business Machines Corporation Rapid business support of insured property using image analysis
US10692050B2 (en) * 2016-04-06 2020-06-23 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
US9886771B1 (en) * 2016-05-20 2018-02-06 Ccc Information Services Inc. Heat map of vehicle damage
GB2554361B8 (en) 2016-09-21 2022-07-06 Emergent Network Intelligence Ltd Automatic image based object damage assessment
CN108229675B (zh) * 2017-03-17 2021-01-01 北京市商汤科技开发有限公司 神经网络的训练方法、物体检测方法、装置和电子设备
CN107392218B (zh) * 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN108229523B (zh) * 2017-04-13 2021-04-06 深圳市商汤科技有限公司 图像检测、神经网络训练方法、装置和电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170077545A (ko) * 2015-12-28 2017-07-06 전자부품연구원 저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법
CN106296126A (zh) * 2016-08-09 2017-01-04 深圳市永兴元科技有限公司 车险理赔费用预测方法和装置
CN107358596A (zh) * 2017-04-11 2017-11-17 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
KR20180133657A (ko) * 2017-06-07 2018-12-17 한화에어로스페이스 주식회사 기계 학습을 이용한 다중 뷰포인트 차량 인식 장치
CN108062712A (zh) * 2017-11-21 2018-05-22 阿里巴巴集团控股有限公司 一种车险定损数据的处理方法、装置和处理设备
CN108446618A (zh) * 2018-03-09 2018-08-24 平安科技(深圳)有限公司 车辆定损方法、装置、电子设备及存储介质
CN108596047A (zh) * 2018-03-30 2018-09-28 上海与德通讯技术有限公司 车损识别方法、智能终端以及计算机可读存储介质
CN108921068A (zh) * 2018-06-22 2018-11-30 深源恒际科技有限公司 一种基于深度神经网络的汽车外观自动定损方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHI YANG等: "Automatic License Plate Recognition Based on Faster R-CNN Algorithm", 《INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTING ICIC 2018: INTELLIGENT COMPUTING METHODOLOGIES》 *
王健宗等: "《人工智能赋能金融科技》", 《大数据》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505624A (zh) * 2020-03-23 2021-10-15 虹软科技股份有限公司 车辆定损方法、车辆定损装置及应用其的电子设备
EP4131061A4 (en) * 2020-03-23 2024-04-10 Arcsoft Corp Ltd VEHICLE LOSS ASSESSMENT METHOD, VEHICLE LOSS ASSESSMENT APPARATUS, AND ELECTRONIC DEVICE USING SAME
CN111666995A (zh) * 2020-05-29 2020-09-15 平安科技(深圳)有限公司 基于深度学习模型的车辆定损方法、装置、设备及介质
WO2021135513A1 (zh) * 2020-05-29 2021-07-08 平安科技(深圳)有限公司 基于深度学习模型的车辆定损方法、装置、设备及介质
CN111666995B (zh) * 2020-05-29 2024-04-09 平安科技(深圳)有限公司 基于深度学习模型的车辆定损方法、装置、设备及介质
CN112417961A (zh) * 2020-10-20 2021-02-26 上海大学 一种基于场景先验知识的海面目标检测方法
CN112287905A (zh) * 2020-12-18 2021-01-29 德联易控科技(北京)有限公司 车辆损伤识别方法、装置、设备及存储介质
WO2023273345A1 (zh) * 2021-06-29 2023-01-05 北京百度网讯科技有限公司 基于图像的车辆定损方法、装置及系统
CN115661342A (zh) * 2022-10-17 2023-01-31 上海信宝博通电子商务有限公司 针对车辆损伤点位的显示方法、装置及计算机可读介质

Also Published As

Publication number Publication date
US20200272866A1 (en) 2020-08-27
US10699168B1 (en) 2020-06-30
TWI726364B (zh) 2021-05-01
US10885397B2 (en) 2021-01-05
US20200210786A1 (en) 2020-07-02
TW202027007A (zh) 2020-07-16
WO2020139743A1 (en) 2020-07-02
CN110569701B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN110569701B (zh) 计算机执行的车辆定损方法及装置
CN110570389B (zh) 车辆损伤识别方法及装置
CN110569837B (zh) 优化损伤检测结果的方法及装置
CN107358596B (zh) 一种基于图像的车辆定损方法、装置、电子设备及系统
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN110569696A (zh) 用于车辆部件识别的神经网络系统、方法和装置
US11080839B2 (en) System and method for training a damage identification model
JP2022091875A (ja) データセットの半自動ラベル付け
WO2018166116A1 (zh) 车损识别方法、电子装置及计算机可读存储介质
WO2018005413A1 (en) Method and system for cell annotation with adaptive incremental learning
WO2021057069A1 (zh) 计算机执行的车辆定损方法及装置
US11004204B2 (en) Segmentation-based damage detection
US20220164942A1 (en) Damage detection using machine learning
CN113239227B (zh) 图像数据结构化方法、装置、电子设备及计算机可读介质
CN111027526A (zh) 一种提高车辆目标检测识别检测效率的方法
EP3761228A1 (en) Computer-implemented method
CN110580299B (zh) 生成对象的推荐语的配图的方法、系统、设备及存储介质
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN114842198A (zh) 车辆智能定损方法、装置、设备及存储介质
US20220284702A1 (en) Estimation program, estimation device, generation method of detection model, learning method, and learning device
CN113792569A (zh) 对象识别方法、装置、电子设备及可读介质
CN115311690B (zh) 一种端到端的行人结构化信息及其从属关系的检测方法
CN118097785A (zh) 人体姿态的分析方法及系统
CN114565940A (zh) 一种目标检测方法和装置
CN117409468A (zh) 人力资源用考勤信息自动化管理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201014

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201014

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right