CN116168117A - 一种面向车险反欺诈的图像生成方法、系统、装置和介质 - Google Patents

一种面向车险反欺诈的图像生成方法、系统、装置和介质 Download PDF

Info

Publication number
CN116168117A
CN116168117A CN202211541125.6A CN202211541125A CN116168117A CN 116168117 A CN116168117 A CN 116168117A CN 202211541125 A CN202211541125 A CN 202211541125A CN 116168117 A CN116168117 A CN 116168117A
Authority
CN
China
Prior art keywords
vehicle
image
damage
lossy
lossless
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211541125.6A
Other languages
English (en)
Inventor
丁锴
那崇宁
张泷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211541125.6A priority Critical patent/CN116168117A/zh
Publication of CN116168117A publication Critical patent/CN116168117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向车险反欺诈的图像生成方法、系统、装置和介质，该方法具体为：首先收集车险图像构建车险图像数据库并进行预处理，构建图像数据集，根据语义分割方式，对车辆部件进行标注；然后通过标注结果解析和分布分析，统计不同部件不同损伤类型的概率，对概率小于阈值的样本类型进行补充；其次构建车辆部件的有损和无损图像样本集，使用特征迁移方法将无损图像样本转换为有损图像样本，实现车损部件特征迁移；最后将有损部件图像合成到目标车辆上，形成新的车损图像样本。本发明能够使得车损图像样本集更全面，增加其多样性，提高数据质量，以提高车损反欺诈中的图像特征提取等算法的有效性。

Description

一种面向车险反欺诈的图像生成方法、系统、装置和介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种面向车险反欺诈的图像生成方法、系统、装置和介质。
背景技术
随着金融保险行业信息化的发展，如何利用快速增长的数据，特别是较客观的图像数据，进行保险欺诈行为检测，对车险行业有重要意义。虽然车险行业采集的数据较多，但这些数据存在较严重的数据不均衡性。例如常见车损类型刮蹭，碰撞等占数据比例超过90％，而其他类型数据较少。这种非均衡性数据分布为标注和深度学习模型训练带来一定困难，并最终影响反欺诈系统判定效果。当前基于GAN(generative adversarial network，对抗生成网络)的图像增强算法，其生成数据同样存在分布不均衡问题，会进一步加剧样本的不均衡性。其次，对样本量较少，样本多样性强的类别，GAN生成图像保真度低，无法有效提升模型性能，实现数据增强的效果。需要更多的样本训练GAN——无足够样本需要GAN增强，这一悖论无法解决。
发明内容
本发明的目的在于针对现有技术的不足，提供一种面向车险反欺诈的图像生成方法、系统、装置和介质。
本发明的目的是通过以下技术方案来实现的：本发明实施例第一方面提供了一种面向车险反欺诈的图像生成方法，包括以下步骤：
(1)收集车险图像构建车险图像数据库，对车险图像数据库进行预处理，以构建图像数据集，根据语义分割方式，人工完成车辆的车损要素标注；
(2)通过车辆部件的标注结果解析和分布分析，统计不同部件不同损伤类型的概率，对概率小于设置的阈值的样本类型进行补充；
(3)构建所述步骤(2)中需要补充的样本类型对应的车辆部件的有损图像样本集和无损图像样本集，使用特征迁移方法将无损图像样本转换为有损图像样本，以实现车损部件特征迁移；
(4)车损部件拼装式图像生成：使用基于对抗网络的图像合成方法，将步骤(3)中生成的有损部件图像合成到目标车辆上，形成新的车损图像样本。
2、根据权利要求1所述的面向车险反欺诈的图像生成方法，其特征在于，所述步骤(1)包括以下子步骤：
(1.1)通过车险行业自有数据库或网络车损图像数据，收集车险图像，构建车险图像数据库；
(1.2)对车险图像数据库进行去重复去相似预处理，以构建图像数据集；
(1.3)以语义分割方式，人工对车辆图像中的车损、车辆部件信息进行标注，包括车损轮廓标注和车辆部件轮廓标注，以完成车辆的车损要素标注，并将标注的结果存储为标注数据集。
3、根据权利要求1所述的面向车险反欺诈的图像生成方法，其特征在于，所述步骤(2)包括以下子步骤：
(2.1)从标注的结果中读取损坏的车辆部件轮廓信息，其中，损坏的车辆部件轮廓信息包括损坏区域轮廓和损坏类型信息；
(2.2)按照损伤部件和损伤类型进行统计，计算不同损伤部件不同损伤类型的概率，人工筛选出概率小于设置的阈值的样本类型，对该类型样本进行补充，使得对应的概率大于等于设置的阈值。
4、根据权利要求1所述的面向车险反欺诈的图像生成方法，其特征在于，所述步骤(3)包括以下子步骤：
(3.1)构建所述步骤(2)中需要补充的样本类型对应的车辆部件的有损图像样本集和无损图像样本集；
(3.2)基于有损图像样本集和无损图像样本集，训练车损部件特征迁移模型；
(3.3)使用特征迁移模型将有损图像中的有损部件图像特征迁移到无损图像中的无损部件上，生成仿真的有损部件图像，以实现无损图像到有损图像的转换。
5、根据权利要求1所述的面向车险反欺诈的图像生成方法，其特征在于，所述步骤(4)包括以下子步骤：
(4.1)利用语义分割方式提取待替换的车辆部件的外接定位框和轮廓；
(4.2)使用特征迁移模型将待替换的无损车辆部件转换成有损车辆部件；
(4.3)采用引导式拼装方法或轮廓对齐方法将生成的有损车辆部件拼装到无损车辆上，生成仿真的有损车辆图像。
6、根据权利要求5所述的面向车险反欺诈的图像生成方法，其特征在于，所述引导式拼装方法具体为：首先，将生成的有损车辆部件缩放到原无损车辆部件的定位框区域大小；然后，将有损车辆部件的图像和无损车辆部件的图像相减，找出差异位置；最后，对于有损车辆部件的图像边缘梯度不连续的位置，沿图像边缘的垂直方向进行损伤的二阶样条插值，按设定比例将损伤扩散到被覆盖位置相邻的无损区域。
7、根据权利要求5所述的面向车险反欺诈的图像生成方法，其特征在于，所述轮廓对齐方法具体为：首先，对生成的有损车辆部件进行分割，找出有损车辆部件的轮廓；然后，在无损车辆图像上，分割出无损车辆部件的轮廓；最后，将有损车辆部件的轮廓与无损车辆部件的轮廓对齐，并使得有损车辆部件覆盖在无损车辆部件上，以生成有损车辆图像。
本发明实施例第二方面提供了一种面向车险反欺诈的图像生成系统，用于实现上述的面向车险反欺诈的图像生成方法，所述图像生成系统包括数据层、模型层和应用层；其中，
所述数据层包括：
图像集构建模块，用于收集车险维修的行业数据及网络车险图像，经过预处理建立车辆及车损图像数据库；
标注功能模块，用于根据语义分割方式，人工进行车辆部件标注，提取图像中的车损轮廓信息和车辆部件轮廓信息；和
存储模块，用于将标注结果存储为灰度图像或者json格式文件；
所述模型层包括：
图像集分析模块，用于通过车辆部件标注结果解析和分布分析，统计不同损伤部件不同损伤类型的概率，对于概率小于设置的阈值的样本类型进行补充；
车损部件特征迁移模块，用于构建车辆部件的有损图像样本集和对应的无损图像样本集，使用特征迁移方法将无损图像样本转换为有损图像样本；和
车损部件分割模块，用于根据语义分割方式提取车辆部件的外接定位框和轮廓；
所述应用层包括：
车损部件拼装图像生成模块，用于根据对抗网络的图像合成方法，将有损车辆部件合成到目标车辆上，形成新的车损图像样本。
本发明实施例第三方面提供了一种电子装置，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的面向车险反欺诈的图像生成方法。
本发明实施例第四方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的面向车险反欺诈的图像生成方法。
本发明的有益效果是，本发明的方法首先通过分析不同车辆部件的损伤概率，以此为准进行图像生成，改善样本分布的不均衡性；其次，以车辆部件的材质为对象构建数据集训练特征迁移模型，实现将有损车辆部件的损伤特征迁移到无损车辆部件上，可以提高图像的保真度；最后，使用拼装的方法将有损车辆部件替换无损车辆部件，可使生成有损车辆图像接近真实图像，从而为反欺诈模型的图像特征提取提供图像样本扩增能力，最终提升反欺诈系统预测精度。
附图说明
图1为本发明的图像生成系统框架图；
图2为本发明的图像生成方法流程图；
图3为基于引导式拼装方法的有损车辆生成示例图；
图4为基于轮廓对齐方法的有损车辆生成示例图；
图5为本发明的电子装置的一种结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本发明的面向车险反欺诈的图像生成方法，利用先验知识和图像生成方法进行不均衡车损图像样本生成。如图2所示，具体包括以下步骤：
(1)收集车险图像构建车险图像数据库，对车险图像数据库进行预处理，以构建图像数据集，根据语义分割方式，人工完成车辆的车损要素标注。
(1.1)通过车险行业自有数据库或网络车损图像数据，收集车险图像，构建车险图像数据库。其中，车险图像的图中需显示车辆、车损部位等，且要求图像清晰。
(1.2)对车险图像数据库进行去重复去相似预处理，以构建图像数据集。
具体地，首先，使用网络上公开的细粒度车辆分类数据库作为图像相似度度量模型的训练集和标签，使用训练后的模型作为图像向量化的编码器，对采集的车险图像样本进行向量化操作；然后，对向量化距离最远的图片抽样，通过设置采样数量或者图像相似度阈值，最大化抽样样本的距离，以满足后续步骤对样本多样性的要求。其中，细粒度车辆分类指按照轿车、小客车、皮卡、SUV以及各类型的不同车系进行分类的方法。
(1.3)以语义分割方式，人工对车辆图像中的车损、车辆部件等信息进行标注，包括车损轮廓标注和车辆部件轮廓标注，以完成车辆的车损要素标注，并将标注的结果存储为标注数据集。
需要说明的是，标注后需要将标注的结果存储为图片或者json格式等文件。
本实施例中，车辆部件通常指车灯、车窗、车门等可视为独立个体的部件，且各个部件需区分前后、左右等位置属性。标注数据集在后续步骤中用作模型训练和有效性测试。
本实施例中，车损要素标注具体为：首先选择车损要素任务配置文件和图像文件夹；然后，客户端程序读取并在展示框显示图像，对车损类型和车辆部件进行标注任务，在轮廓线内显示车损要素名称。进一步地，标注者首先框出目标部件位置，形如[轮廓点x1，轮廓点y1，轮廓点x2，轮廓点y2...]，然后在选择区点选车损类型，完成标注。将标注结果记录为txt、json格式等文件格式或者png图像格式，保存在车损标签文件夹中。
在本实施例中，标注使用的是labelme工具，它遍历文件夹读取并显示图片，人工分别画出车辆部件轮廓和车损轮廓，并选择部件名和车损类型，标注结果被存储为与对应图片有相同文件名的txt或者json格式文件。
(2)通过车辆部件的标注结果解析和分布分析，统计不同部件不同损伤类型的概率，对概率小于设置的阈值的样本类型进行补充。
具体地，通过计算车辆部件的损坏概率，分析损伤部件样本分布的不均衡性，其中，不均衡表现在某些部件损坏概率低、样本稀少；基于样本分布的不均衡性进行分析，使用图像生成的方法，补充样本较少的车损类型，以提升样本分布均衡性。
应当理解的是，通过车辆部件的标注结果解析和分布分析，统计不同部件不同损伤类型的概率，概率低于所设置的阈值的样本被视为数量不足样本，以此为基础进行样本补充，可以提升样本分布的均衡性。
(2.1)从标注的结果中读取损坏的车辆部件轮廓信息，其中，损坏的车辆部件轮廓信息包括损坏区域轮廓和损坏类型等信息。
例如，在本实施例中，标注的结果对应的是与对应图片有相同文件名的txt或者json格式文件，从txt或者json格式文件中读取损坏的车辆部件轮廓信息。
应当理解的是，损坏的车辆部件轮廓信息还可以通过专家经验或者分析车险结构化数据获得。
(2.2)按照损伤部件和损伤类型进行统计，计算不同损伤部件不同损伤类型的概率，人工筛选出概率小于设置的阈值的样本类型，对该类型样本进行补充，使得对应的概率大于等于设置的阈值。
(3)构建步骤(2)中需要补充的样本类型对应的车辆部件的有损图像样本集和无损图像样本集，使用特征迁移方法将无损图像样本转换为有损图像样本，以实现车损部件特征迁移。
应当理解的是，转换生成的有损图像样本具有车辆部件的无损时的特征和有损时的损伤特征。
(3.1)构建步骤(2)中需要补充的样本类型对应的车辆部件的有损图像样本集和无损图像样本集。
应当理解的是，车辆部件的有损图像和无损图像可以为同一车型的部件，也可以为不同车型的部件。
示例性地，假定由步骤(2)计算概率可以得知需补充的样本类型为玻璃碎裂，那么就需要构建玻璃碎裂和玻璃完好两组样本集。
本实施例中，构建有损图像样本集和无损图像样本集时，由于需补充的样本数量较小，后续步骤根据这两个样本集所得到的特征迁移模型生成图像保真度低，与实际图像差别较大。为此，需要进一步分析现有样本，发现材质相似的部件，其损伤特征的相似度高。例如车窗玻璃与前后灯外壳所用透明硬质塑料，龟裂、穿孔等损伤的轮廓特征极为相似。因此，无损图像集选用车窗玻璃和前后灯罩为样本，有损图像集采用相应部件的破损样本。
进一步地，构建有损图像样本集和无损图像样本集时，根据同材质损伤特征的相似性，优选以材质为标准构建多个图像集。例如，车辆上金属材质部件包括车门和保险杠等，损伤为刮蹭和凹陷等；玻璃和刚性塑料材质包括车窗玻璃、前后灯等，损伤为破碎、龟裂等。因此，构建金属部件有损图像样本集和无损图像样本集以及玻璃部件有损图像样本集和无损图像样本集等。
(3.2)基于有损图像样本集和无损图像样本集，训练车损部件特征迁移模型。
示例性地，基于玻璃碎裂和玻璃完好两组样本集，训练由玻璃完好到玻璃碎裂的迁移模型。
优选地，特征迁移模型包括UGATIT(Ugatit U-GAT-IT:Unsupervised GenerativeAttentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation，无监督生成注意网络)和CycleGAN(循环对抗网络)。本实施例的特征迁移模型选择UGATIT，这是一种改进的CycleGAN模型。CycleGAN可实现输入输出图像的局部纹理转换，例如人脸属性变换、画作的风格变换、图像分割等，但是在图像差异性较大的情况下，如从猫到狗跨语义类别的图像转换上表现不佳。为此，UGATIT使用基于类别响应图(class active mapping，CAM)注意机制和自适应图层实例归一化(adaptive layerinstance normalization，AdaLIN)改进不同语义类之间的特征迁移。
进一步地，特征迁移模型包括生成器和判决器两部分，其中生成器用于完成无损图像和有损图像的相互转换，判决器用于判定生成的图像是否正确完成了转换。生成器为编码器解码器形式，其中，编码器包括卷积、降采样、池化等层，解码器包括自适应图层实例归一化AdaLIN迁移模块、卷积、升采样、池化等层。自适应图层实例归一化可实现局部纹理迁移，即将损伤纹理特征迁移到无损部件上。同时，为解决输入输出图像中物体的对齐问题，采用CAM限制迁移区域，减少背景信息的迁移。解码器输出的是大小与输入图像相同，但损伤特征相反的图像。判决器为分类模型，将生成图像经多次卷积、降采样、池化、线性连接后，计算判定为无损或有损类别的概率。
(3.3)使用特征迁移模型将有损图像中的有损部件图像特征迁移到无损图像中的无损部件上，生成仿真的有损部件图像，以实现无损图像到有损图像的转换。
(4)车损部件拼装式图像生成：使用基于对抗网络的图像合成方法，将步骤(3)中生成的有损部件图像合成到目标车辆上，形成新的车损图像样本，如图3和图4所示。
(4.1)利用语义分割方式提取待替换的车辆部件的外接定位框和轮廓。
本实施例中，以PSPNet为语义分割模型，将车辆部件数据集作为训练集，进行语义分割任务训练，并对车辆部件分割效果进行评估。此处分割模型训练时，需忽略数据库中的对车辆损伤的标注结果，仅关注无损部件的分割。
本实施例通过语义分割方法从车险图片中分割出无损部件。参见图3，首先，基于公开数据库Car Parts Segmentation训练PSPNet模型。具体地，使用基于Resnet-50全卷积网络在公开数据库Pascal VOC2012上进行模型训练；在公开数据库Car PartsSegmentation上进行模型精调，Resnet-50前45层卷积层模型保持不变，45层以后参数进行随机初始化后进行训练，设定多轮惩罚函数下降阈值为训练结束标志，例如，5轮内惩罚函数下降低于20％时训练结束。然后，使用训练好的PSPNet模型，实现对车辆部件的分割。最后，围绕车辆部件轮廓，找出最合适的正方形外接定位框。在此基础上，进行后续步骤的车损部件生成和拼装。
如图4所示，同样使用公开数据库Car parts Segmentation训练并测试PSPNet模型，之后使用PSPNet模型提取车辆部件的轮廓以及正方形外接定位框。
(4.2)使用特征迁移模型将待替换的无损车辆部件转换成有损车辆部件。
具体地，参见图3，利用步骤(3)获得的特征迁移模型，将经PSPNet模型分割出的无损车辆部件转换为有损车辆部件，生成车损部件。首先，将切割出的正方形的车辆部件区域缩放到特征迁移模型的标准输入大小，如256*256像素。然后，设定有损源图像，将有损源图像的有损图像特征迁移到无损车辆部件图像中，获得新的有损车辆部件图像，即为生成的车损部件图像。
如图4所示，基于特征迁移模型对步骤(4.1)提取的车辆部件进行有损特征迁移，生成有损车辆部件图像。然后，利用PSPNet模型提取的轮廓点，对有损车辆部件图像进行抠图，剔除出车辆部件图像中的背景。
(4.3)采用引导式拼装方法或轮廓对齐方法将生成的有损车辆部件拼装到无损车辆上，生成仿真的有损车辆图像。
应当理解的是，利用生成的有损车辆部件和原无损车辆图像合成新的有损车辆图像，有两种方法，分别是引导式拼装方法和轮廓对齐方法，可根据实际情况需要采用其中的一种方法生成有损车辆图像即可。
本实施例中，引导式拼装方法具体为：首先，将生成的有损车辆部件缩放到原无损车辆部件的定位框区域大小；然后，将有损车辆部件的图像和无损车辆部件的图像相减，找出差异位置；最后，对于有损车辆部件的图像边缘梯度不连续的位置，沿图像边缘的垂直方向进行损伤的二阶样条插值，按设定比例将损伤扩散到被覆盖位置相邻的无损区域。其中，设定比例的最大值小于等于100％，即扩散的损伤小于等于现有损伤的总面积。基于样条插值的损伤扩散，保证了有损车辆部件和原无损车辆的结合部位保持梯度连续性，提高了生成的有损车辆图像的保真度。如图3所示，采用的便是引导式拼装方法生成的有损车辆图像。
应当理解的是，有损车辆部件的图像边缘梯度不连续则表示两个图像相减以后得到的图像边缘有损伤。
本实施例中，轮廓对齐方法具体为：首先，对生成的有损车辆部件进行分割，找出有损车辆部件的轮廓；然后，在无损车辆图像上，分割出无损车辆部件的轮廓；最后，将有损车辆部件的轮廓与无损车辆部件的轮廓对齐，并使得有损车辆部件覆盖在无损车辆部件上，以生成有损车辆图像。如图4所示，采用的便是轮廓对齐方法生成的有损车辆图像。
优选地，轮廓对齐方法为Appearance Flow(外观流)方法。Appearance Flow方法可以根据有损车辆部件轮廓和无损车辆部件轮廓及轮廓周围像素的相似度关系，判定轮廓线的最优位置，并将两个轮廓线之间的像素按一致性概率赋予新像素值。
基于Appearance Flow方法，将有损车辆部件拟合到原无损车辆部件的位置，即可生成有损车辆图像。
值得一提的是，本发明实施例还提供了一种面向车险反欺诈的图像生成系统，用于实现上述实施例中的面向车险反欺诈的图像生成方法，该图像生成系统针对车险图片的车损部件样本分布不均衡问题等进行图像生成和数据增强。
参见图1，该图像生成系统包括数据层、模型层和应用层。其中，数据层用于完成车损图像的收集、标注与存储；模型层用于实现车损类型的分析、车损分割及车辆损伤特征迁移；应用层用于生成有损车辆图像。
本实施例中，数据层包括图像集构建模块、标注功能模块和存储模块。其中，图像集构建模块用于收集车险维修的行业数据及网络车险图像，经过去重复、去相似等预处理建立车辆及车损图像数据库；标注功能模块用于根据语义分割方式，人工进行车辆部件标注，提取图像中的车损轮廓信息和车辆部件轮廓信息；存储模块用于将标注结果存储为灰度图像或者json格式文件。
本实施例中，模型层包括图像集分析模块、车损部件特征迁移模块和车损部件分割模块。其中，图像集分析模块用于通过车辆部件标注结果解析和分布分析，统计不同损伤部件不同损伤类型的概率，对于概率小于设置的阈值的样本类型进行补充；车损部件特征迁移模块用于构建车辆部件的有损图像样本集和对应的无损图像样本集，使用特征迁移方法将无损图像样本转换为有损图像样本；车损部件分割模块用于根据语义分割方式提取车辆部件的外接定位框和轮廓。
本实施例中，应用层包括车损部件拼装图像生成模块。其中，车损部件拼装图像生成模块用于根据对抗网络的图像合成方法，将有损车辆部件合成到目标车辆上，形成新的车损图像样本。
与前述面向车险反欺诈的图像生成方法的实施例相对应，本发明还提供了一种电子装置的实施例。
参见图5，本发明实施例提供的一种电子装置，包括存储器和处理器，其中，存储器与处理器耦接，存储器用于存储程序数据，处理器用于执行程序数据以实现上述实施例中的面向车险反欺诈的图像生成方法。
本发明有电子装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明面向有损车辆图像生成装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的面向车险反欺诈的图像生成方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种面向车险反欺诈的图像生成方法，其特征在于，包括以下步骤：
(1)收集车险图像构建车险图像数据库，对车险图像数据库进行预处理，以构建图像数据集，根据语义分割方式，人工完成车辆的车损要素标注；
(2)通过车辆部件的标注结果解析和分布分析，统计不同部件不同损伤类型的概率，对概率小于设置的阈值的样本类型进行补充；
(3)构建所述步骤(2)中需要补充的样本类型对应的车辆部件的有损图像样本集和无损图像样本集，使用特征迁移方法将无损图像样本转换为有损图像样本，以实现车损部件特征迁移；
(4)车损部件拼装式图像生成：使用基于对抗网络的图像合成方法，将步骤(3)中生成的有损部件图像合成到目标车辆上，形成新的车损图像样本。
2.根据权利要求1所述的面向车险反欺诈的图像生成方法，其特征在于，所述步骤(1)包括以下子步骤：
(1.1)通过车险行业自有数据库或网络车损图像数据，收集车险图像，构建车险图像数据库；
(1.2)对车险图像数据库进行去重复去相似预处理，以构建图像数据集；
(1.3)以语义分割方式，人工对车辆图像中的车损、车辆部件信息进行标注，包括车损轮廓标注和车辆部件轮廓标注，以完成车辆的车损要素标注，并将标注的结果存储为标注数据集。
3.根据权利要求1所述的面向车险反欺诈的图像生成方法，其特征在于，所述步骤(2)包括以下子步骤：
(2.1)从标注的结果中读取损坏的车辆部件轮廓信息，其中，损坏的车辆部件轮廓信息包括损坏区域轮廓和损坏类型信息；
(2.2)按照损伤部件和损伤类型进行统计，计算不同损伤部件不同损伤类型的概率，人工筛选出概率小于设置的阈值的样本类型，对该类型样本进行补充，使得对应的概率大于等于设置的阈值。
4.根据权利要求1所述的面向车险反欺诈的图像生成方法，其特征在于，所述步骤(3)包括以下子步骤：
(3.1)构建所述步骤(2)中需要补充的样本类型对应的车辆部件的有损图像样本集和无损图像样本集；
(3.2)基于有损图像样本集和无损图像样本集，训练车损部件特征迁移模型；
(3.3)使用特征迁移模型将有损图像中的有损部件图像特征迁移到无损图像中的无损部件上，生成仿真的有损部件图像，以实现无损图像到有损图像的转换。
5.根据权利要求1所述的面向车险反欺诈的图像生成方法，其特征在于，所述步骤(4)包括以下子步骤：
(4.1)利用语义分割方式提取待替换的车辆部件的外接定位框和轮廓；
(4.2)使用特征迁移模型将待替换的无损车辆部件转换成有损车辆部件；
(4.3)采用引导式拼装方法或轮廓对齐方法将生成的有损车辆部件拼装到无损车辆上，生成仿真的有损车辆图像。
6.根据权利要求5所述的面向车险反欺诈的图像生成方法，其特征在于，所述引导式拼装方法具体为：首先，将生成的有损车辆部件缩放到原无损车辆部件的定位框区域大小；然后，将有损车辆部件的图像和无损车辆部件的图像相减，找出差异位置；最后，对于有损车辆部件的图像边缘梯度不连续的位置，沿图像边缘的垂直方向进行损伤的二阶样条插值，按设定比例将损伤扩散到被覆盖位置相邻的无损区域。
7.根据权利要求5所述的面向车险反欺诈的图像生成方法，其特征在于，所述轮廓对齐方法具体为：首先，对生成的有损车辆部件进行分割，找出有损车辆部件的轮廓；然后，在无损车辆图像上，分割出无损车辆部件的轮廓；最后，将有损车辆部件的轮廓与无损车辆部件的轮廓对齐，并使得有损车辆部件覆盖在无损车辆部件上，以生成有损车辆图像。
8.一种面向车险反欺诈的图像生成系统，用于实现权利要求1-7任一项所述的面向车险反欺诈的图像生成方法，其特征在于，所述图像生成系统包括数据层、模型层和应用层；其中，
所述数据层包括：
图像集构建模块，用于收集车险维修的行业数据及网络车险图像，经过预处理建立车辆及车损图像数据库；
标注功能模块，用于根据语义分割方式，人工进行车辆部件标注，提取图像中的车损轮廓信息和车辆部件轮廓信息；和
存储模块，用于将标注结果存储为灰度图像或者json格式文件；
所述模型层包括：
图像集分析模块，用于通过车辆部件标注结果解析和分布分析，统计不同损伤部件不同损伤类型的概率，对于概率小于设置的阈值的样本类型进行补充；
车损部件特征迁移模块，用于构建车辆部件的有损图像样本集和对应的无损图像样本集，使用特征迁移方法将无损图像样本转换为有损图像样本；和
车损部件分割模块，用于根据语义分割方式提取车辆部件的外接定位框和轮廓；
所述应用层包括：
车损部件拼装图像生成模块，用于根据对抗网络的图像合成方法，将有损车辆部件合成到目标车辆上，形成新的车损图像样本。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-7任一项所述的面向车险反欺诈的图像生成方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，用于实现权利要求1-7中任一项所述的面向车险反欺诈的图像生成方法。
CN202211541125.6A 2022-12-02 2022-12-02 一种面向车险反欺诈的图像生成方法、系统、装置和介质 Pending CN116168117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211541125.6A CN116168117A (zh) 2022-12-02 2022-12-02 一种面向车险反欺诈的图像生成方法、系统、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211541125.6A CN116168117A (zh) 2022-12-02 2022-12-02 一种面向车险反欺诈的图像生成方法、系统、装置和介质

Publications (1)

Publication Number Publication Date
CN116168117A true CN116168117A (zh) 2023-05-26

Family

ID=86420802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211541125.6A Pending CN116168117A (zh) 2022-12-02 2022-12-02 一种面向车险反欺诈的图像生成方法、系统、装置和介质

Country Status (1)

Country Link
CN (1) CN116168117A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664112A (zh) * 2023-07-25 2023-08-29 凯泰铭科技（北京）有限公司 用于车损案件的检修扩损决策方法及系统
CN116957052A (zh) * 2023-06-09 2023-10-27 清华大学 基于构造样本相似度的风险评估模型的训练方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116957052A (zh) * 2023-06-09 2023-10-27 清华大学 基于构造样本相似度的风险评估模型的训练方法
CN116957052B (zh) * 2023-06-09 2024-06-04 清华大学 基于构造样本相似度的风险评估模型的训练方法
CN116664112A (zh) * 2023-07-25 2023-08-29 凯泰铭科技（北京）有限公司 用于车损案件的检修扩损决策方法及系统
CN116664112B (zh) * 2023-07-25 2023-11-14 凯泰铭科技（北京）有限公司 用于车损案件的检修扩损决策方法及系统

Similar Documents

Publication Publication Date Title
CN109902622B (zh) 一种用于登机牌信息验证的文字检测识别方法
US20180260793A1 (en) Automatic assessment of damage and repair costs in vehicles
CN116168117A (zh) 一种面向车险反欺诈的图像生成方法、系统、装置和介质
Zipfel et al. Anomaly detection for industrial quality assurance: A comparative evaluation of unsupervised deep learning models
CN109377494B (zh) 一种用于图像的语义分割方法和装置
CN110781850A (zh) 道路识别的语义分割系统和方法、计算机存储介质
CN113033604A (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
CN112149663A (zh) 结合rpa和ai的图像文字的提取方法、装置及电子设备
CN109657599B (zh) 距离自适应的车辆外观部件的图片识别方法
CN113435319B (zh) 一种联合多目标跟踪和行人角度识别的分类方法
US20200104940A1 (en) Artificial intelligence enabled assessment of damage to automobiles
CN116433903A (zh) 实例分割模型构建方法、系统、电子设备及存储介质
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
CN114972880A (zh) 一种标签识别方法、装置、电子设备及存储介质
CN115100469A (zh) 一种基于分割算法的目标属性识别方法、训练方法和装置
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN112348011B (zh) 一种车辆定损方法、装置及存储介质
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN110929632A (zh) 面向复杂场景的车辆目标检测方法及装置
US11755688B2 (en) Apparatus and method for generating training data for a machine learning system
CN114783042A (zh) 基于多移动目标的人脸识别方法、装置、设备及存储介质
US20230084761A1 (en) Automated identification of training data candidates for perception systems
Hamzeh et al. Improving the performance of automotive vision‐based applications under rainy conditions
CN118097301B (zh) 表面缺陷检测方法、表面缺陷检测模型的训练方法及装置
Raap Vehicle Damage Detection using Semi-Supervised Object Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination