CN110569837B - 优化损伤检测结果的方法及装置 - Google Patents

优化损伤检测结果的方法及装置 Download PDF

Info

Publication number
CN110569837B
CN110569837B CN201811015506.4A CN201811015506A CN110569837B CN 110569837 B CN110569837 B CN 110569837B CN 201811015506 A CN201811015506 A CN 201811015506A CN 110569837 B CN110569837 B CN 110569837B
Authority
CN
China
Prior art keywords
damage
candidate
region
damaged
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811015506.4A
Other languages
English (en)
Other versions
CN110569837A (zh
Inventor
徐娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201811015506.4A priority Critical patent/CN110569837B/zh
Priority to TW108119295A priority patent/TWI729405B/zh
Priority to US16/550,991 priority patent/US11010838B2/en
Priority to PCT/US2019/048372 priority patent/WO2020046960A1/en
Publication of CN110569837A publication Critical patent/CN110569837A/zh
Application granted granted Critical
Publication of CN110569837B publication Critical patent/CN110569837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Technology Law (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种优化损伤检测结果的方法和装置，该方法包括，获取车辆损伤图片，并采用目标检测算法，从车辆损伤图片中识别出多个候选损伤区域。然后，提取各个候选损伤区域的特征向量；接着，基于各个候选损伤区域的特征向量，计算某个候选损伤区域与其他候选损伤区域的相似度特征。然后，将上述相似度特征输入预定的预测模型，根据预测模型的输出结果，确定该候选损伤区域是否为异常区域，如此，优化损伤检测结果。

Description

优化损伤检测结果的方法及装置
技术领域
本说明书一个或多个实施例涉及人工智能和机器学习领域，尤其涉及优化智能车险定损中损伤检测结果的方法和装置。
背景技术
在传统车险理赔场景中,保险公司需要派出专业的查勘定损人员到事故现场进行现场查勘定损，给出车辆的维修方案和赔偿金额，并拍摄现场照片，定损照片留档以供后台核查人员核损核价。由于需要人工查勘定损，保险公司需要投入大量的人力成本，和专业知识的培训成本。从普通用户的体验来说，理赔流程由于等待人工查勘员现场拍照、定损员在维修地点定损、核损人员在后台核损，理赔周期长达1-3天，用户的等待时间较长，体验较差。
针对需求背景中提到的这一人工成本巨大的行业痛点，开始设想将人工智能和机器学习应用到车辆定损的场景中，希望能够利用人工智能领域计算机视觉图像识别技术，根据普通用户拍摄的现场损失图片，自动识别图片中反映的车损状况，并自动给出维修方案。如此，无需人工查勘定损核损，大大减少了保险公司的成本，提升了普通用户的车险理赔体验。
不过，目前的智能定损方案，损伤识别的准确度还有待进一步提高。因此，希望能有改进的方案，能够对车辆的损伤检测结果进行进一步优化，提高识别准确度。
发明内容
本说明书一个或多个实施例描述了优化损伤检测结果的方法和装置，在注意力机制的构思下，基于初步损伤检测结果中各个候选损伤区域与其他候选损伤区域之间的相似度特征，确定异常区域，从而优化损伤检测结果。
根据第一方面，提供了一种优化损伤检测结果的方法，包括：
获取车辆损伤图片；
采用目标检测算法，从所述车辆损伤图片中识别出多个候选损伤区域；
提取所述多个候选损伤区域中各个候选损伤区域的特征向量；
基于各个候选损伤区域的特征向量，计算所述多个候选损伤区域中任意的第一候选损伤区域与多个其他候选损伤区域的多个相似度特征；
将所述多个相似度特征输入预定的预测模型，根据预测模型的输出结果，确定第一候选损伤区域是否为异常区域。
根据一种实施方式，通过以下方式提取各个候选损伤区域的特征向量：
获取所述车辆损伤图片经卷积处理的特征图；
从所述特征图中提取，各个候选损伤区域对应的特征向量。
进一步地，在一个实施例中，目标检测算法基于卷积神经网络；在这样的情况下，可以从所述卷积神经网络的卷积层，获取车辆损伤图片经卷积处理的特征图。
根据一种实施方式，通过以下方式计算第一候选损伤区域与多个其他候选损伤区域的多个相似度特征：
计算所述第一候选损伤区域对应的第一特征向量，分别与多个其他候选损伤区域对应的多个其他特征向量的点积，基于多个点积结果确定所述多个相似度特征。
在一个实施例中，所述预测模型通过正样本和负样本预先训练，所述正样本包括，多个标注为真实损伤的损伤区域，所述负样本包括，多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域。
根据一种实施方式，目标检测算法基于训练样本集预先训练；在这样的情况下，预测模型所基于的正样本和负样本可以选自所述训练样本集。
在一种可能的设计中，所述预测模型为线性回归模型。
根据一种实施方式，在确定第一候选损伤区域为异常区域的情况下，可以将第一候选损伤区域从损伤检测结果中排除。
根据第二方面，提供一种优化损伤检测结果的装置，包括：
获取单元，配置为获取车辆损伤图片；
识别单元，配置为采用目标检测算法，从所述车辆损伤图片中识别出多个候选损伤区域；
提取单元，配置为提取所述多个候选损伤区域中各个候选损伤区域的特征向量；
计算单元，配置为基于各个候选损伤区域的特征向量，计算所述多个候选损伤区域中任意的第一候选损伤区域与多个其他候选损伤区域的多个相似度特征；
确定单元，配置为将所述多个相似度特征输入预定的预测模型，根据预测模型的输出结果，确定第一候选损伤区域是否为异常区域。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的方法和装置，借鉴Attention机制的思路，对于损伤识别模型识别出的多个损伤区域，关注某个损伤区域与其他损伤区域之间的相似度关联，由此排除异常区域，优化损伤检测的结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的优化损伤检测结果的方法流程图；
图3a示出车辆损伤图片的一个示例；
图3b示出目标检测算法识别出的多个候选损伤区域的例子；
图3c示出经过优化的损伤检测结果；
图4示出根据一个实施例的预测模型的结构图；
图5示出根据一个实施例的优化装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
为了对车辆定损图片中的损伤状况进行识别，业界普遍采用的方法是，通过与海量历史数据库进行比对得到相似的图片,来决定图片上的损伤部件及其程度。然而，这样的方式损伤识别准确率不够理想。
此外，还采用样本标注的方式训练一些损伤识别模型，进行车辆损伤的识别。在进行损伤识别过程中，反光和污渍干扰是两大难点。在识别的结果中往往会出现真正的损伤能够正确检测，而同时少量反光或污渍也会被检测成损伤的情况，从而出现误检测。
为了减少误检测，发明人对真实的车险场景进行了深入的观察和研究。研究发现，一次碰撞或者刮擦事故造成的车体表面的多处损伤往往具有相似的视觉特征，比如损伤的高度基本一致，痕迹趋于连贯，或者由于刮擦而附着上的颜色相同。根据这样的特点，提出在损伤识别过程中引入Attention机制，即注意力机制，来优化损伤检测的结果。
Attention机制是自然语言处理中常常用到的一个概念。在进行自然语言处理，需要理解一个词或一句话的意思的时候，上下文的信息非常关键，可以帮助理解一个词或一句话的准确意思。然而，不同位置的上下文对当前要处理的词句的影响作用并不相同，要投入的“注意力”也就不同，并且对当前词句最有影响的上下文的位置并不固定，因为它可能出现在当前词句之前或之后，距离也不确定。因此就需要attention机制解决这样的问题。
Attention机制也可以被应用到图像处理领域中。例如，可以应用该机制去学习和确定，在一张图片中，哪些区域是对识别当前对象比较关键的区域，也就是需要投入更多注意力的区域。
基于对损伤识别过程中误检测的观察和attention机制的特点，在本说明书的一个或多个实施例中，借鉴Attention机制的思路，对于损伤识别模型识别出的多个损伤区域，关注某个损伤区域与其他损伤区域之间的相似度关联，由此排除异常区域(outlier)，优化损伤检测的结果。
图1为本说明书披露的一个实施例的实施场景示意图。如图1所示，车辆损伤图片被输入到损伤识别模型进行损伤识别。如果图片中车辆包含连续的损伤区域，例如刮擦、划痕等，通常情况下，损伤识别模型会从图片中识别出多个候选损伤区域作为检测结果。根据本说明书的实施例，借鉴注意力机制的思想，通过计算各个损伤区域与其他损伤区域之间的相似度关联，判断某个损伤区域是否为真实损伤，由此排除掉非真实损伤的误检测，优化损伤检测结果。下面描述优化损伤检测结果的具体实现过程。
图2示出根据一个实施例的优化损伤检测结果的方法流程图。该方法可以通过任何具有计算、处理能力的装置、设备、平台和设备集群来执行。如图2所示，该优化方法包括，步骤21，获取车辆损伤图片；步骤22，采用目标检测模型，从所述车辆损伤图片中识别出多个候选损伤区域；步骤23，提取所述多个候选损伤区域中各个候选损伤区域的特征向量；步骤24，基于各个候选损伤区域的特征向量，计算所述多个候选损伤区域中任意的第一候选损伤区域与多个其他候选损伤区域的多个相似度特征；步骤25，将所述多个相似度特征输入预定的预测模型，根据预测模型的输出结果，确定第一候选损伤区域是否为异常区域。下面描述以上各个步骤的执行方式。
首先，在步骤21，获取车辆损伤图片。可以理解，该图片可以是普通用户拍摄的车损现场的图片，是有待进行损伤识别的图片。
图3a示出车辆损伤图片的一个示例。该图片是普通用户拍摄的未经处理的现场图片。
接着在步骤22，采用目标检测算法，从车辆损伤图片中识别出多个候选损伤区域。如前所述，为了进行损伤识别，会利用大量标注图片作为训练样本，训练损伤识别模型，用于从图片中识别损伤对象。在损伤识别模型进行损伤识别过程中，常常采用目标检测算法，从图片中识别出损伤目标。一般地，目标检测算法的输出为，包含目标对象的边框(bounding box)和该边框中目标对象的类别。在将目标检测算法应用于损伤识别时，将会得到损伤对象的区域边框和损伤对象的损伤类别。
如果图片中车辆包含连续的损伤区域，例如刮擦、划痕等，通常情况下，采用了目标检测算法的损伤识别模型会从图片中识别出多个候选损伤区域作为检测结果。
图3b示出目标检测算法识别出的多个候选损伤区域的例子。可以看到，在对图3a的车辆损伤图片应用损伤识别模型之后，通过目标检测算法，从图片中识别出多个损伤对象，这些损伤对象用区域边框标示出来。
如前所述，由于光反、污渍等的影响，如此识别出的候选损伤区域有可能包含非真实损伤的干扰区域。因此，接下来对步骤22识别出的候选损伤区域进行分析和优化。
为此，在步骤23，提取各个候选损伤区域的特征向量；然后在步骤24，基于各个候选损伤区域的特征向量，计算多个候选损伤区域中任意的第一候选损伤区域与多个其他候选损伤区域的多个相似度特征。
具体地，在一个实施例中，从原始的车辆损伤图片的像素特征中获取各个候选区域对应的像素特征，例如RGB像素值，基于这些像素特征提取各个候选损伤区域的特征向量。
在另一实施例中，直接提取卷积处理得到的特征作为特征向量。具体地，步骤23进一步包括，获取车辆损伤图片经卷积处理的特征图(feature map)；从该特征图中提取，各个候选损伤区域对应的特征向量。
本领域技术人员了解，卷积神经网络CNN是图像处理领域常常采用的一种网络结构，其中包括若干卷积层，用于对图像进行卷积处理。卷积处理是使用一个卷积核，对图像中的每个像素进行一系列操作。卷积核(算子)是用来做图像处理时的矩阵,是与原图像素做运算的参数。卷积核通常是一个四方形的网格结构(例如3*3的矩阵或像素区域)，每个网格都有一个权重值。使用卷积核对图片进行卷积计算时，将卷积核在图片的像素矩阵上滑动，每滑动一个步长，对卷积核中每个元素和其覆盖的图像像素值进行乘积并求和，如此得到的新的特征值矩阵构成特征图，即feature map。卷积运算可以从原始图片的像素矩阵中，提取出抽象的特征，根据卷积核的设计，这些抽象特征例如可以反映，原始图片中一个区域的线条形状、颜色分布等更加全局的特征。
因此，在以上步骤23中，可以将车辆损伤图片输入卷积神经网络，从卷积层的输出获得经卷积处理的特征图。可以理解，根据设计需要，卷积神经网络可以包含多个卷积层，对原始图片进行多次卷积。那么相应地，在该步骤中，可以根据需要，从特定深度的卷积层获得经过多次卷积处理的特征图。
在一个实施例中，步骤22中为了识别出候选损伤区域所采用的目标检测算法中已经采用了卷积神经网络对车辆损伤图片进行处理。因此，在这样的情况下，在步骤23，可以复用步骤22中目标检测算法所采用的卷积神经网络对车辆损伤图片的中间处理结果，也就是，从上述卷积神经网络的卷积层，获取卷积处理的特征图。
在获取到车辆损伤图片的特征图后，可以确定各个候选损伤区域在该特征图中的对应部分，或称为特征子图，根据特征子图中包含的特征，确定各个候选损伤区域对应的特征向量。
如此，确定出各个候选损伤区域的特征向量。在此基础上，执行步骤24，计算各个候选损伤区域之间的相似度特征。
在一种实施方式中，假定步骤22中识别出N个候选损伤区域B1，B2,…，BN，在步骤23，对于这N个候选损伤区域，分别提取出对应的特征向量F1，F2，…,FN；那么在步骤24，可以对这N个区域中任意两个候选损伤区域Bi和Bj，基于其各自的特征向量Fi和Fj，计算两者之间的相似度特征Ai,j。
在一个实施例中，对于两个候选损伤区域Bi和Bj，其各自的特征向量为Fi和Fj，可以计算Fi和Fj之间的差值，基于该差值确定两个候选区域的相似度特征Ai,j。
在另一实施例中，对于两个候选损伤区域Bi和Bj，其各自的特征向量为Fi和Fj，可以计算Fi和Fj之间的点积，基于点积结果确定两个候选区域的相似度特征Ai,j。
具体地，假定Fi＝(a1,a2,…,an)；Fj＝(b1,b2,…,bn),
根据上述示例，可以将其相似度特征Ai,j定义为：
Ai,j＝(a1*b1,a2*b2,…,an*bn)。
通过以上的方式，可以基于各个候选损伤区域的特征向量，计算任意两个候选损伤区域之间的相似度特征。这些相似度特征可以用于判断各个候选损伤区域中损伤识别的真实性。
具体地，对于某个候选损伤区域k，为了判断该候选损伤区域的真实性，可以分别计算该候选损伤区域k与所有其他候选损伤区域的相似度特征，也就是分别计算Ak,1,Ak,2,…，Ak,N，然后利用预定的预测模型，基于这些相似度特征进行判断。也就是，执行步骤25，将候选损伤区域k对应的多个相似度特征Ak,1,Ak,2,…，Ak,N输入预定的预测模型，根据预测模型的输出结果，确定该候选损伤区域k是否为异常区域。
在一个实施例中，该预测模型为线性回归模型，基于对输入的各个相似度特征进行线性运算，给出预测结果。例如，在一个具体例子中，将候选损伤区域k对应的相似度特征输入该线性模型，该线性模型输出区域k作为异常区域的概率P，
P＝f(w1*Ak,1+w2*Ak,2,…,+wN*Ak,N)，
其中，w1到wN为对应权重因子。
在另一实施例中，上述预测模型也可以采用更为复杂的非线性模型，采用非线性变换函数，输出预测结果。
在一个实施例中，预测模型中的参数根据需要由建模人员设定。
在另一实施例中，预测模型中的参数通过模型训练而确定。例如，该预测模型可以包括神经网络结构，通过训练样本的训练，确定神经网络中各层的参数。
图4示出根据一个实施例的预测模型的结构图。在该示例中，预测模型采用神经网络的结构，输入层用于接收各个相似度特征Ak,1,Ak,2,…，Ak,N，这些相似度特征通过带权重的连接传递到下一层神经元，经过神经元运算，给出预测结果。
需要理解，图4仅仅是一个简单的示例，在其他实施方式中，预测模型也可以采用更加复杂的神经网络结构，包含更多隐含层。
在一个实施例中，上述预测模型通过正样本和负样本预先训练，正样本例如包括，多个标注为真实损伤的损伤区域，所述负样本包括，多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域，以便预测模型从正样本中学习到，多个真实损伤区域之间的相似度特征的特点，并从负样本中学习，非损伤区域与真实损伤区域之间的相似度特征的特点。
如前所述，在步骤22，损伤识别模型采用目标检测算法来检测候选损伤区域。该损伤识别模型需要利用大量标注图片作为训练样本集进行训练，这些标注图片通过人工标注，标示出真实损伤对象。通常，训练样本集也会包含一些负样本，也就是非损伤区域的图片。因此，预测模型可以复用上述训练样本集进行训练，也就是从中获取多个标注为真实损伤的损伤区域作为正样本，获取多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域作为负样本，利用正样本和负样本训练预测模型。
在一个实施例中，预测模型输出某个候选损伤区域k作为异常区域的概率P，根据此概率和预设阈值，可以确定该候选损伤区域k是否为异常区域。
在另一实施例中，预测模型为分类模型，直接输出该候选损伤区域k是否为异常区域的分类结果。
在一个实施例中，在确定某个候选损伤区域为异常区域之后，将其标注为待定区域，发送给人工平台进行复核。
在一个实施例中，在确定某个候选损伤区域为异常区域之后，将该区域作为非真实损伤区域，从损伤检测结果中排除。
具体地，对于图3b示出的多个候选损伤区域，根据步骤23到步骤25，计算各个候选损伤区域与其他候选损伤区域的相似度特征，将相似度特征输入预测模型，以确定该区域是否为异常区域。在图3b中，最右边的候选损伤区域在包含的目标对象的颜色、形状上与其他候选损伤区域存在较大不同，由此计算得到的与其他区域的相似度特征体现出较低的相似度，经过预测模型的综合判断，将其判断为异常区域。图3c示出经过优化的损伤检测结果。对比图3c和图3b可以看到，将最右边的候选损伤区域从损伤检测结果中排除。可以发现，最右边的候选损伤区域实际上为地面反光，而其他候选损伤区域包含连续的刮擦。
如此，在attention机制的构思之下，通过候选区域之间的相似度，确定出异常区域，从而优化损伤检测的结果，提高损伤检测的准确度。
根据另一方面的实施例，还提供一种优化损伤检测结果的装置。图5示出根据一个实施例的优化装置的示意性框图。如图5所示，优化装置500包括：获取单元51，配置为获取车辆损伤图片；识别单元52，配置为采用目标检测算法，从所述车辆损伤图片中识别出多个候选损伤区域；提取单元53，配置为提取所述多个候选损伤区域中各个候选损伤区域的特征向量；计算单元54，配置为基于各个候选损伤区域的特征向量，计算所述多个候选损伤区域中任意的第一候选损伤区域与多个其他候选损伤区域的多个相似度特征；确定单元55，配置为将所述多个相似度特征输入预定的预测模型，根据预测模型的输出结果，确定第一候选损伤区域是否为异常区域。
根据一个实施例，所述提取单元53首先获取所述车辆损伤图片经卷积处理的特征图；然后从所述特征图中提取，各个候选损伤区域对应的特征向量。
进一步地，在一种实施方式中，识别单元52所采用的目标检测算法基于卷积神经网络；在这样的情况下，提取单元53从所述卷积神经网络的卷积层，获取所述特征图，然后从该特征图中提取，各个候选损伤区域对应的特征向量。
根据一种实施方式，计算单元54通过以下方式计算相似度特征：计算第一候选损伤区域对应的第一特征向量，分别与多个其他候选损伤区域对应的多个其他特征向量的点积，基于多个点积结果确定所述多个相似度特征。
在一个实施例中，确定单元55所采用的预测模型通过正样本和负样本预先训练，其中正样本包括，多个标注为真实损伤的损伤区域，所述负样本包括，多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域。
进一步地，在一种实施方式中，识别单元52所采用的目标检测算法基于训练样本集预先训练；确定单元55所采用的预测模型基于正样本和负样本训练，该正样本和负样本选自目标检测算法所基于的训练样本集。
在一个实施例中，确定单元55所采用的预测模型为线性回归模型。
根据一种可能的设计，装置500还包括排除单元(未示出)，配置为在确定第一候选损伤区域为异常区域的情况下，将第一候选损伤区域从损伤检测结果中排除。
通过上述装置，基于初步的损伤检测结果中各个候选损伤区域与其他候选损伤区域之间的相似度特征，确定该候选损伤区域是否为异常区域，从而优化损伤检测结果。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (16)

1.一种优化损伤检测结果的方法，包括：
获取车辆损伤图片；
采用目标检测模型，从所述车辆损伤图片中识别出包含损伤对象的多个候选损伤区域和损伤对象的损伤类别；
提取所述目标检测模型输出的多个候选损伤区域中各个候选损伤区域的特征向量；
基于各个候选损伤区域的特征向量，计算所述多个候选损伤区域中任意的第一候选损伤区域与多个其他候选损伤区域的多个相似度特征；
将所述多个相似度特征输入预定的预测模型，根据预测模型的输出结果，确定第一候选损伤区域是否为异常区域；
其中，所述预测模型通过正样本和负样本预先训练，所述正样本包括，多个标注为真实损伤的损伤区域，用于示出多个真实损伤区域之间的相似度特征的特点；所述负样本包括，多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域，用于示出非损伤区域与真实损伤区域之间的相似度特征的特点。
2.根据权利要求1所述的方法，其中提取所述多个候选损伤区域中各个候选损伤区域的特征向量包括：
获取所述车辆损伤图片经卷积处理的特征图；
从所述特征图中提取各个候选损伤区域对应的特征向量。
3.根据权利要求2所述的方法，其中所述损伤识别模型基于卷积神经网络；所述获取所述车辆损伤图片经卷积处理的特征图包括，从所述卷积神经网络的卷积层，获取所述特征图。
4.根据权利要求1所述的方法，其中计算所述多个候选损伤区域中任意的第一候选损伤区域与多个其他候选损伤区域的多个相似度特征包括：
计算所述第一候选损伤区域对应的第一特征向量，分别与多个其他候选损伤区域对应的多个其他特征向量的点积，基于多个点积结果确定所述多个相似度特征。
5.根据权利要求1所述的方法，其中所述目标检测算法基于训练样本集预先训练；所述正样本和负样本选自所述训练样本集。
6.根据权利要求1所述的方法，其中所述预测模型为线性回归模型。
7.根据权利要求1所述的方法，还包括，在确定第一候选损伤区域为异常区域的情况下，将第一候选损伤区域从损伤检测结果中排除。
8.一种优化损伤检测结果的装置，包括：
获取单元，配置为获取车辆损伤图片；
识别单元，配置为采用目标检测模型，从所述车辆损伤图片中识别出包含损伤对象的多个候选损伤区域和损伤对象的损伤类别；
提取单元，配置为提取所述目标检测模型输出的多个候选损伤区域中各个候选损伤区域的特征向量；
计算单元，配置为基于各个候选损伤区域的特征向量，计算所述多个候选损伤区域中任意的第一候选损伤区域与多个其他候选损伤区域的多个相似度特征；
确定单元，配置为将所述多个相似度特征输入预定的预测模型，根据预测模型的输出结果，确定第一候选损伤区域是否为异常区域；
其中，所述预测模型通过正样本和负样本预先训练，所述正样本包括，多个标注为真实损伤的损伤区域，用于示出多个真实损伤区域之间的相似度特征的特点；所述负样本包括，多个标注为真实损伤的损伤区域和至少一个标注为非损伤的区域，用于示出非损伤区域与真实损伤区域之间的相似度特征的特点。
9.根据权利要求8所述的装置，其中所述提取单元配置为：
获取所述车辆损伤图片经卷积处理的特征图；
从所述特征图中提取，各个候选损伤区域对应的特征向量。
10.根据权利要求9所述的装置，其中所述损伤识别模型基于卷积神经网络；所述提取单元配置为，从所述卷积神经网络的卷积层，获取所述特征图。
11.根据权利要求8所述的装置，其中所述计算单元配置为：
计算所述第一候选损伤区域对应的第一特征向量，分别与多个其他候选损伤区域对应的多个其他特征向量的点积，基于多个点积结果确定所述多个相似度特征。
12.根据权利要求8所述的装置，其中所述目标检测算法基于训练样本集预先训练；所述正样本和负样本选自所述训练样本集。
13.根据权利要求8所述的装置，其中所述预测模型为线性回归模型。
14.根据权利要求8所述的装置，还包括排除单元，配置为在确定第一候选损伤区域为异常区域的情况下，将第一候选损伤区域从损伤检测结果中排除。
15.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项的所述的方法。
16.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
CN201811015506.4A 2018-08-31 2018-08-31 优化损伤检测结果的方法及装置 Active CN110569837B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811015506.4A CN110569837B (zh) 2018-08-31 2018-08-31 优化损伤检测结果的方法及装置
TW108119295A TWI729405B (zh) 2018-08-31 2019-06-04 優化損傷檢測結果的方法及裝置
US16/550,991 US11010838B2 (en) 2018-08-31 2019-08-26 System and method for optimizing damage detection results
PCT/US2019/048372 WO2020046960A1 (en) 2018-08-31 2019-08-27 System and method for optimizing damage detection results

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811015506.4A CN110569837B (zh) 2018-08-31 2018-08-31 优化损伤检测结果的方法及装置

Publications (2)

Publication Number Publication Date
CN110569837A CN110569837A (zh) 2019-12-13
CN110569837B true CN110569837B (zh) 2021-06-04

Family

ID=68772390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811015506.4A Active CN110569837B (zh) 2018-08-31 2018-08-31 优化损伤检测结果的方法及装置

Country Status (4)

Country Link
US (1) US11010838B2 (zh)
CN (1) CN110569837B (zh)
TW (1) TWI729405B (zh)
WO (1) WO2020046960A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990894B (zh) * 2017-03-21 2020-08-11 北京小米移动软件有限公司 智能设备的控制方法及装置
CN110569864A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像生成方法和装置
US11580800B2 (en) * 2018-11-08 2023-02-14 Verizon Patent And Licensing Inc. Computer vision based vehicle inspection report automation
JP7145970B2 (ja) * 2018-11-29 2022-10-03 富士フイルム株式会社 コンクリート構造物の点検支援装置、点検支援方法及び点検支援プログラム
US10885625B2 (en) * 2019-05-10 2021-01-05 Advanced New Technologies Co., Ltd. Recognizing damage through image analysis
US10783643B1 (en) * 2019-05-27 2020-09-22 Alibaba Group Holding Limited Segmentation-based damage detection
EP4085399A1 (en) 2020-01-03 2022-11-09 Tractable Ltd Method of determining repair operations for a damaged vehicle
CN112766481B (zh) * 2020-03-13 2023-11-24 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置及图像检测的方法
CN111461225B (zh) * 2020-04-01 2022-04-01 支付宝(杭州)信息技术有限公司 客户聚类系统及其方法
CN111666973B (zh) * 2020-04-29 2024-04-09 平安科技（深圳）有限公司 车辆损伤图片处理方法、装置、计算机设备及存储介质
CN111723690B (zh) * 2020-06-03 2023-10-20 北京全路通信信号研究设计院集团有限公司 一种电路设备状态监测方法和系统
CN111860304B (zh) * 2020-07-17 2024-04-30 北京百度网讯科技有限公司 一种图像标注方法、电子装置、设备及存储介质
US11657373B2 (en) * 2020-08-21 2023-05-23 Accenture Global Solutions Limited System and method for identifying structural asset features and damage
CN112580507B (zh) * 2020-12-18 2024-05-31 合肥高维数据技术有限公司 一种基于图像矩矫正的深度学习文本字符检测方法
CN112966730A (zh) * 2021-03-01 2021-06-15 创新奇智(上海)科技有限公司 车辆伤损识别方法、装置、设备及存储介质
US20230011330A1 (en) * 2021-07-09 2023-01-12 At&T Intellectual Property I, L.P. Device condition determination
CN114048775B (zh) * 2021-11-10 2022-07-05 哈尔滨工业大学 线性相关结构损伤诊断指标的核函数显式映射重构方法
CN116226430B (zh) * 2023-05-08 2023-07-07 深圳市拓保软件有限公司 一种增量式高精度图像过滤方法及系统
CN118154600A (zh) * 2024-05-10 2024-06-07 尚特杰电力科技有限公司 光伏发电系统的掉串检测方法、装置、电子设备和介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233364B1 (en) * 1998-09-18 2001-05-15 Dainippon Screen Engineering Of America Incorporated Method and system for detecting and tagging dust and scratches in a digital image
US6644973B2 (en) 2000-05-16 2003-11-11 William Oster System for improving reading and speaking
JP2006098151A (ja) * 2004-09-29 2006-04-13 Dainippon Screen Mfg Co Ltd パターン検査装置およびパターン検査方法
US7536304B2 (en) 2005-05-27 2009-05-19 Porticus, Inc. Method and system for bio-metric voice print authentication
US9298979B2 (en) 2008-01-18 2016-03-29 Mitek Systems, Inc. Systems and methods for mobile image capture and content processing of driver's licenses
US8180629B2 (en) * 2008-07-10 2012-05-15 Trigent Softward Ltd. Automatic pattern generation in natural language processing
CN101561379B (zh) * 2009-05-13 2011-06-29 清华大学 一种用于结构损伤检测的敲击扫描方法
US9082235B2 (en) 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US9066125B2 (en) 2012-02-10 2015-06-23 Advanced Biometric Controls, Llc Secure display
US8705836B2 (en) 2012-08-06 2014-04-22 A2iA S.A. Systems and methods for recognizing information in objects using a mobile device
CN103778600B (zh) * 2012-10-25 2019-02-19 北京三星通信技术研究有限公司 图像处理系统
US9147127B2 (en) 2013-03-15 2015-09-29 Facebook, Inc. Verification of user photo IDs
US9202119B2 (en) 2013-10-18 2015-12-01 Daon Holdings Limited Methods and systems for determining user liveness
JP6287047B2 (ja) * 2013-10-22 2018-03-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9607138B1 (en) 2013-12-18 2017-03-28 Amazon Technologies, Inc. User authentication and verification through video analysis
US10320807B2 (en) 2014-02-25 2019-06-11 Sal Khan Systems and methods relating to the authenticity and verification of photographic identity documents
US9646227B2 (en) 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
CA3186147A1 (en) 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
US9619696B2 (en) 2015-04-15 2017-04-11 Cisco Technology, Inc. Duplicate reduction for face detection
US9794260B2 (en) 2015-08-10 2017-10-17 Yoti Ltd Liveness detection
US20170060867A1 (en) 2015-08-31 2017-03-02 Adfamilies Publicidade, SA Video and image match searching
US10065441B2 (en) 2015-09-01 2018-09-04 Digimarc Corporation Counterfeiting detection using machine readable indicia
WO2017059576A1 (en) 2015-10-09 2017-04-13 Beijing Sensetime Technology Development Co., Ltd Apparatus and method for pedestrian detection
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
CN107292394A (zh) * 2016-04-11 2017-10-24 富泰华工业（深圳）有限公司 车辆损伤定价系统及方法
GB2554361B8 (en) 2016-09-21 2022-07-06 Emergent Network Intelligence Ltd Automatic image based object damage assessment
CN106845496B (zh) * 2016-12-30 2019-02-12 首都师范大学 精细目标识别方法和系统
CN107092922B (zh) * 2017-03-13 2018-08-31 平安科技（深圳）有限公司 车损识别方法及服务器
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
CN107392218B (zh) * 2017-04-11 2020-08-04 创新先进技术有限公司 一种基于图像的车辆定损方法、装置及电子设备
CN107424150A (zh) * 2017-07-27 2017-12-01 济南浪潮高新科技投资发展有限公司 一种基于卷积神经网络的道路破损检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多任务Faster Ｒ-CNN车辆假牌套牌的检测方法;陈朋 等;《仪器仪表学报》;20171231;第38卷(第12期);全文 *

Also Published As

Publication number Publication date
TWI729405B (zh) 2021-06-01
CN110569837A (zh) 2019-12-13
US11010838B2 (en) 2021-05-18
WO2020046960A1 (en) 2020-03-05
TW202011258A (zh) 2020-03-16
US20200074560A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
CN110569837B (zh) 优化损伤检测结果的方法及装置
CN110570389B (zh) 车辆损伤识别方法及装置
TWI742382B (zh) 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備
CN110569701B (zh) 计算机执行的车辆定损方法及装置
CN110569700B (zh) 优化损伤识别结果的方法及装置
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
WO2021057069A1 (zh) 计算机执行的车辆定损方法及装置
US11004204B2 (en) Segmentation-based damage detection
US11574395B2 (en) Damage detection using machine learning
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN110751170A (zh) 面板质量检测方法、系统、终端设备及计算机可读介质
Iraldi et al. Damage classification on roads using machine learning
KR102273585B1 (ko) 소형 카메라 모듈의 얼룩 불량 검사 방법 및 시스템
US12033218B2 (en) Assessing damages on vehicles
US20230245240A1 (en) Assessing damages on vehicles
Chen Development of image recognition system for steel defects detection
CN117036961A (zh) 农作物病虫害的智能监测方法及其系统
CN118298513A (zh) 一种基于机器视觉的电力作业违规行为检测方法及系统
CN117151138A (zh) 一种破损码的生成方法、装置及计算机设备
CN116523834A (zh) 一种航空发动机蒙皮缺陷检测方法及系统
CN117197758A (zh) 车辆识别方法、装置、电子设备
CN116740011A (zh) 基于YOLOv5的配电房施工安全防护措施识别方法
CN115081500A (zh) 用于对象识别模型的训练方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018802

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant