CN115984274A - 一种车辆外观检测模型、构建方法及检测方法 - Google Patents

Abstract

本发明公开了一种车辆外观检测模型、构建方法及检测方法，属于视觉检测技术领域，图像采集模块包括M组图像采集单元；数据管控模块包括标签化管控单元、人为干预管控单元和中心化数据管控单元；模型训练模块包括数据理解和标签划分单元、M个模型训练单元和模型优化单元；模型推理模块：包括由模型训练模块得到的M个模型推理单元、针对推理结果进行脏数据处理的后处理单元、对检出结果进行比对的比对单元；模型运维模块：包括NG数据检出分析单元和迭代单元。本发明从模型与标签划分、脏数据的后处理、数据管理、算法优化以及模型运维多方面综合优化，满足车辆外观检测的特殊需求。

Description

一种车辆外观检测模型、构建方法及检测方法

技术领域

本发明属于视觉检测技术领域，具体涉及一种车辆外观检测模型、构建方法及检测方法。

背景技术

现有技术的方案简述：

汽车是人类生活和生产中重要的交通工具之一，随着智能制造业的快速发展，汽车的日生产能力迅速增加；为了保证汽车的质量，当汽车生产完成组装之后，需要对其外观零部件进行全面的细致检测，目前，传统的检测方式包括：

一、人工目检，由于汽车的零部件众多，且不同的车型之间的零部件也不尽相同，因此，众多的零部件需要庞大的记忆数据量；

二、基于图像处理的视觉检测；现阶段整车外观检测中使用的深度学习目标检测算法主流可以分为两种，单阶段的YOLO系列算法和双阶段的Faster R-CNN算法，相比较单阶段的YOLO算法，双阶段Faster R-CNN算法的优点在于准确率高，对于小目标和复杂场景也能较好地检测，非常适合整车外观的零部件检测。

现有技术的客观缺点：

众所周知，整车外观的零部件数量非常之多，并且在同一部位中也会存在极其相似，较难区分的零部件种类，比如：仅是材质、大小以及棱角不相同；同时数据的收集也存在不小的困难，比如数据的数量不均，在每日取图的过程中，有些数据越来越多（比如生产量大的车型对应的图像数据），但是有些数据依然很少（比如生产量小的车型对应的图像数据）；这对于数据管理和挖掘以及模型的检测都是一个不小的挑战。

基于图像处理的视觉检测技术，构建一套车辆外观检测方法，覆盖车厂对车辆外观检测的所有需求，是本领域技术人员需要解决的技术问题。

发明内容

本发明为解决公知技术中存在的技术问题，提供一种车辆外观检测模型、构建方法及检测方法，从模型与标签划分、脏数据的后处理（颜色识别零部件检测项）、数据管理、算法优化以及核对检测模块多方面综合优化，满足车辆外观检测的特殊需求。

本发明的第一目的是提供一种车辆外观检测模型，包括：

图像采集模块：包括从不同角度、不同位置获取图像数据的M组图像采集单元；M为大于1的自然数；

数据管控模块：包括标签化管控单元、人为干预管控单元和中心化数据管控单元；所述中心化数据管控单元分别与标签化管控单元、人为干预管控单元进行数据交互；

模型训练模块：包括数据理解和标签划分单元、针对车体不同位置图像的M个模型训练单元，针对每个模型训练单元的模型优化单元；

模型推理模块：包括由模型训练模块得到的M个模型推理单元、针对模型推理单元输出进行脏数据处理的后处理单元、对检出结果进行比对的比对单元；

模型运维模块：包括NG数据检出分析单元和迭代单元；其中：

所述图像采集模块、数据管控模块、模型训练模块、模型推理模块、模型运维模块依次进行数据交互。

优选地，所述图像采集模块包括针对车身前半部分的第一图像采集单元、针对车身后半部分的第二图像采集单元、针对车身下半部分的第三图像采集单元，每组图像采集单元包括N台图像采集设备，N为大于0的自然数。

优选地，所述标签化管控单元包括长周期数据管控单元、难易数据标签化管控单元和多数据标签化管控单元。

优选地，在数据管控模块中：

所述长周期数据管控单元，对取图周期大于预设值T的数据进行管控；

难易数据标签化管控单元，根据模型训练的难易程度将数据标签划分为难数据标签和简单数据标签，并对难数据标签和简单数据标签进行分开管控；

多数据标签化管控单元，对若干个标签包含数量众多的数据种类进行管控的单元；此处的数量一般大于三；

人为干预管控单元通过对数据进行分析、清洗、划分，掌握数据的周期性变化，并对模型训练数据进行调整；

中心化数据管控单元对数据进行分片和传输、数据预处理和管理、数据版本管理和迭代、数据标注管理。

优选地，所述模型优化单元通过目标聚类方法分析得出训练数据集中各标注目标的Ratios和Scales，然后筛选出重点检测目标物兼容的Ratios和Scales。

优选地，在训练前首先进行一个epoch的数据模拟训练，然后统计Anchor正负样本分配结果，如Anchor的正负样本分布和训练集标注目标的正负样本分布一致，则开启正式训练，如Anchor的正负样本分布和训练集标注目标的正负样本分布不一致，则重新筛选出重点检测目标物兼容的Ratios和Scales，然后进行模拟，直至Anchor的正负样本分布和训练集标注目标的正负样本分布一致。

优选地，所述后处理单元首先检测脏数据零件的位置，然后使用图片分类网络对脏数据零件进行标签分类。

优选地，所述NG数据检出分析单元通过车辆信息，将前端保存的车辆待检出信息和模型检出信息对应起来，通过GUI界面查询每日的NG数据，从而反馈模型出现的问题。

优选地，所述迭代单元是对模型进行定期的数据更新和重新训练。

本发明的第二目的是提供一种车辆外观检测模型的构建方法，用于构建上述的车辆外观检测模型，包括：

S1、搜集图像数据并构建数据管控模块；

S2、利用模型训练算法对数据管控模块中的数据进行训练和优化，构建模型训练模块；

S3、对模型推理的数据进行脏数据处理和结果比对，构建模型推理模块；

S4、对NG数据检出分析和迭代，构建模型运维模块；

S5、构建图像采集模块、数据管控模块、模型训练模块、模型推理模块和模型运维模块之间的数据交互网。

本发明的第三目的是提供一种车辆外观检测方法，利用上述的车辆外观检测模型执行如下步骤：

S11、获取图像数据并导入数据管控模块，对图像数据进行归类管控；

S12、根据不同的限定条件，将数据管控模块中的每类数据导入模型训练模块中对应的训练模型单元中进行训练和优化；

S13、将目标图像导入模型推理模块中对应的模型推理单元进行模型推理，然后对推理结果进行脏数据处理，最后进行结果比对；

S14、对模型推理模块输出的数据进行NG数据检出分析和迭代。

本发明具有的优点和积极效果是：

1.模型与标签划分

本发明将传统的单一模型划分为多个模型，合理的模型划分可以大大提高模型对特定特征的提取能力，训练速度快，检测精度高。合理的模型划分可以大大降低标签耦合度，一旦遇到出问题的标签，可以加快模型迭代周期，降低模型迭代成本。

2.整车外观目标检测垃圾标签数据处理方式

本发明通过在颜色零部件检测项再做颜色分类，不仅符合颜色检测的本身逻辑，更是大大降低颜色标签的拓展和训练成本，并且降低了标注成本和周期，提高了主模型的专注度。

3.整装数据管理

本发明使用新的数据管理流把控数据流中各个节点的信息入库工作，可以迅速重构数据库，可以把控所有数据风险点，并进行溯源、整理、修改工作。本发明通过建立一套新的数据管理方式，采用了一套全新的体系，原图通过脚本保存到数据库原图中，存留时间、工位、触发位等信息，引入数据库，将数据库原图、标注图通过数据库语句进行联系，仅使用一行代码即可对数据抽取发图工作、稀有车型和稀有标签统计工作并可以抽取发图、展示可能的脏数据进行人工检查、对同标签数据进行抓取进而进行该标签的检查进行修改工作。模型迭代时，通过数据库就可以快速使用优化后的数据，进一步缩短标注周期，极其优雅的方式进行模型迭代。

4.算法优化

本发明通过上述Anchor优化策略，可以大幅提高模型检测精度（Precision）和召回率（Recall），也就是降低检测过程中过杀和漏检的情况。而且相比传统提升策略，不会增加模型训练难度和模型推理时间。

5. NG数据分析

本发明采用前端和后端两个构架，其中：前端保存的比对信息与后端保存的图片，通过实现可视化的核对检测界面，后期核对追溯NG检测项非常便捷，可针对不同相机触发位进行查询，将复杂工作进行简化，进一步提高工作质量。

附图说明

图1为传统技术的流程图；

图2为本申请优选实施例的系统框图；

图3为本申请优选实施例的流程图；

图4为本申请优选实施例中的优化过程流程图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹列举以下实施例，并配合附图详细说明如下：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的技术方案，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

英文解释：

Anchor:目标检测预测物体时参照的先验框,对应不同的Scale和ratios；

Anchor-based:目标检测算法的一种方法；

FPN:特征金字塔网络（Feature Pyramid Network,FPN）；

feature map:经过卷积核卷积之后的map上集中前一个图像的特征；

strides:倍率, FPN中各个feature map上anchor的一个基础大小倍率；

ratios: anchor高宽比种类,各个feature map上每个anchor生成点生成的anchor高宽比种类；

scales: anchor大小种类,各个feature map上每个anchor生成点生成的anchor大小种类；

epoch:AI算法训练的轮次。

经过多次的现场沟通和实际操作，工程师发现在汽车整装的外观零部件检测模型中，较多地存在以下问题。

（1）模型数据管理迭代问题：整车厂基本全年生产，数据周期长，光学环境偏差大。没有有效的数据管理迭代模式会导致模型越来越不适应现有环境，检测准确率持续降低。同时，整车外观检测种类多，如若不能对难易标签、多数据标签等进行有效管理，也会导致模型迭代的时间过长，甚至直接干扰整车厂生产节奏。

（2）使用Faster R-CNN模型算法对部分零部件检测的效果并不好，容易出现漏检问题。Anchor-based模型中Anchor的选择可能直接会影响到模型的训练速度和训练效果。其基本影响的原理就是不合理的Anchor设置会直接导致模型训练时的正样本并不是图片标注中显示的正样本分布。从而远不能达到一种“所见即所得”的效果。

（3）标签耦合问题，垃圾标签问题：整车零部件检测项目繁多，如果全部使用一种模型进行检测，会导致模型中标签耦合度高，当模型出现检出问题时，难以排查是否受到其他标签干扰。同时，由于整车厂有固定的生产计划，一般不会配合模型训练进行特定车型数据的取图。故有一些“有检出需求，但是短期内没法取到数据”的标签，这些标签如果直接送入模型训练。当以后垃圾标签出现数据补入，重新训练时，可能导致较为严重的模式崩塌，模型之前训练好的其他标签检出指标大幅下降。这时候如果算法工程师再去大范围总结问题，调试重新训练，也会导致模型迭代时间过长，影响整车厂生产节奏。

（4）模型运维问题：由于整车厂基本全年生产，模型运行稳定性是厂商需要持续关注的问题。故每日NG数据（NG表示不合格品，OK表示合格品，下文同此概念）如何排查，如何使得效率更高也是需要解决的问题。

请参阅图2，一种车辆外观检测模型，通过一套检测模型，解决了上述细节技术问题，具体技术方案包括：

图像采集模块：由于汽车是一个体积比较大，结构复杂，需要检测的细节比较多的大型产品，因此，为了获取全面详细的图像信息，则需要设置：从不同角度、不同位置获取图像数据的M组图像采集单元；M为大于1的自然数；即：所述图像采集模块包括针对车身前半部分的第一图像采集单元、针对车身后半部分的第二图像采集单元、针对车身下半部分的第三图像采集单元，每组图像采集单元包括N台图像采集设备，N为大于0的自然数。图像采集设备可以根据现场需要选择照相机或者是录像机；

数据管控模块：由于汽车外观检测的数据量巨大，包括图片信息、标签信息和其他各类信息，为了实现合理清晰的数据管控，故本申请对数据进行分类管控，具体包括标签化管控单元、人为干预管控单元和中心化数据管控单元；而所述标签化管控单元还包括长周期数据管控单元、难易数据管控单元、多数据管控单元；

模型训练模块：为了获取快捷有效的模型，需要对模型进行训练，本申请中的模型训练模块首先对接收到的数据进行理解和标签划分，然后根据理解结果和标签划分结果导入不同的训练模型中进行训练，最后对模型进行优化；具体包括数据理解和标签划分单元、针对车体不同位置图像的M个模型训练单元，针对每个模型训练单元的模型优化单元；

模型推理模块：模型推理的本质是利用模型对图像进行分析的过程，由于汽车外观的数据比较复杂，由于汽车外观的数据比较复杂，颜色标签多、数据少、多部件、会扩展的问题;故，本申请中的模型推理模块包括由模型训练模块得到的M个模型推理单元、针对推理结果进行脏数据处理的后处理单元、对检出结果进行比对的比对单元；

模型运维模块：包括NG数据检出分析单元和迭代单元。

为了进一步理解本申请的技术方案，下面对技术细节进行具体说明：

在数据管控模块中：

所述长周期数据管控单元对取图周期大于预设值T的数据进行管控；取图周期的预设值T根据具体情况而定，比如一周或者一月；

难易数据标签化管控单元根据模型训练的难易程度将数据标签划分为难数据标签和简单数据标签，并对难数据标签和简单数据标签进行分开管控；难数据标签指的是针对模型难以训练出来的目标物，具体包括小目标物模糊目标物、相似目标物、复杂背景目标物；简单数据标签针对的是具有高对比度目标物、明确边界目标物、大目标物、显著颜色和形状目标物；

多数据标签化管控单元是针对若个标签包含数量众多的数据种类进行管控的单元；

人为干预管控单元是算法工程师在对数据充分理解的基础上，通过对数据进行分析、清洗、划分，快速掌握数据的周期性变化，以对模型训练数据进行合适的调整；

中心化数据管控单元主要实现以下功能：数据分片和传输、数据预处理和管理、数据版本管理和迭代、数据标注管理。

所述后处理单元是针对脏数据，直接放弃使用常规目标检测思路，而是使用主目标检测模型（即模型优化单元优化后得到的模型）先检测脏数据零件的位置，再使用图片分类网络对其进行进一步的标签分类。

所述每日运维NG数据检出分析单元使用GUI编程将前端保存的车辆待检出信息和检测模型检出信息（包括检测模型检出图片）通过车辆信息对应起来，可以使运维人员通过GUI界面快速查询每日的NG数据，从而实时反馈检测模型出现的问题。

所述迭代单元针对模型已有的检出问题和算法工程师对于模型的最新理解，进行检测模型定期的数据更新和重新训练、改进标注质量重新训练、优化模型推理速度、改进数据增强重新训练。

下面对本申请的技术创新点进行详细阐述：

传统基于深度学习目标检测算法流程较为简单，如图1所示，取图使用文件夹进行存图，然后标注后进行模型训练。当面对较长的时间周期后，无法避免文件夹套文件夹，极其不方便数据管理的现状，非常容易影响到工程师对模型训练注意力。本申请从如下几个方面进行优化：

1.模型与标签划分

根据图像采集设备的种类、工作点位、标签难易、标签归类进行模型种类划分。例如：结合图像采集设备的位置将车身前半部分、车身后半部分以及车身的下半部分划分为三个模型，便于模型进行训练和迭代。

传统汽车外观检测采用的是单一模型，本申请将模型划分类别以后，降低了模型标签的耦合度。后期对于模型的迭代也具有一定的优势，当某个标签出现检出异常时，可以迅速定位到单个模型进行针对性的模型迭代，而不会影响到其他模型标签的正确检出，传统技术是牵一发而动全身；本申请进一步优化了模型迭代策略，缩短了模型迭代周期。满足了整车厂快速优化迭代模型，不影响生产节奏的需求。

2.整车外观目标检测垃圾标签数据处理方式

由于整车厂有固定的生产计划，故有一些标签虽然适合目标检测模型进行有效检测，但初期可能并取不到数据，取图周期也会较长。这样难以收集数据，标签种类又较多的标签，被命名为脏数据或者垃圾标签；脏数据如果过多，在模型迭代过程中，容易使模型出现不可预料的模式崩塌，检出效果发生较大幅度的下降。

例如：整车外观检测中的颜色标签一般被认为是脏数据；

众所周知，车辆销售数据中，消费者的选择有一定的趋向性。根据调查报告，车辆颜色选择中，仅黑白灰三种颜色的销售占比就高达60%以上。故整车厂外观检测需求中，虽然包含所有车辆颜色的检测需求（有的车型甚至高达十几种颜色），但销售较少的颜色基本不会排产，因此需要非常长的时间周期才能够收集到较少量的稀有颜色数据。

而且整车外观检测需求中，由于一般都会使用目标检测模型，故一辆汽车可能有多个部位目标需要检测颜色统一性。如果不加优化方法全部送入模型进行训练，那么垃圾标签的数量级可能达到几十上百。再结合颜色标签有非常大的扩展性（整车厂某车型根据市场需要生产新的车辆颜色），也就是说，垃圾标签不仅会影响模型初始建设，也会使模型迭代非常复杂。

为了解决颜色标签多、数据少、多部件、会扩展的问题。将颜色标签从目标检测模型抽离出来，第一阶段模型为目标检测算法识别该颜色零部件，第二阶段使用颜色分类模型，进一步对该零部件进行颜色分类。

添加颜色分类模型并不会增加太多工作量。因为在标注阶段，可以结合整车信息存档进行自动化颜色标注；在数据增强阶段，由于颜色标签被单独提取出来，故不会和其他标签耦合，可以采用各种适合颜色数据增强的策略而无需担心影响其他标签。所以，数据增强过程既全面，又快速；在训练阶段，由于分类数据的特点（分辨率低，注意力集中，任务单一），颜色分类模型训练速度更快。

最终在检测效果上，由于分类模型推理速度很快，故不会明显增加整体检测节拍。而由于颜色任务更加集中，检出效果会大大提升。并且在后期颜色数据增加的情况下，算法工程师也只需要更新迭代颜色分类模型即可，这个任务一般在半天内就可以完成。

3.整装数据管理

使用中心化关系型数据库记录所有数据流动过程中的变动，将Select语句数据库查询与后端语言构建起联系，所有流程脚本化，通过整合适当的前端界面工具，大大降低数据管理和检查复杂度，更进一步提高数据管理效率。同时，可以将标注信息与模型推理的信息回录到数据库中，进一步对检测项数据进行分析。工程师可以通过可视化数据库平台分析，掌握长周期下的，迭代过程中的数据特征变化。也可最新模型检出效果和标注员标注的信息对比，然后通过数据库对该模型进行针对性的数据更新。

4.算法优化

Anchor-based模型中Anchor的选择可能直接会影响到模型的训练速度和训练效果。

整车外观目标检测模型中由于检测目标较多，标签较多，故而目标物长宽和面积分布方差非常大。如果不增加Anchor的数量，难以对所有标签进行有效检出。但是，Anchor数量的增加会伴随两个子问题的产生，一个是训练和推理时间增加，导致检测节拍拖延；另一个是，可能会导致模型收敛速度变慢，检出时过杀增加，降低检测效果。

为了不增加Anchor数量依然达到优秀的模型检测效果，请参阅图4，本申请对Faster R-CNN Anchor的选择和匹配进行了策略化的分析，不断迭代Anchor正负样本的选择，直到达到跟训练数据集较为一致的正负样本分布曲线。具体的优化过程包括：

步骤一、对训练数据集进行聚类，标注目标物的Ratios和Scales；

步骤二、筛选符合要求的Ratios和Scales；本申请采用人工筛选的方式，筛选出兼容性高的Ratios和Scales，或者筛选出较极端但重要的Ratios和Scales；

所谓的兼容性高指的是：使用尽量少的Ratios和Scales将所有标注框都可以训练到有效信息，传统技术是增加大量的Ratios和Scales，设有会使得训练周期成本急剧增加；所谓的极端但重要指的是：某个零部件的长宽比十分大，或者零部件非常小，通过赋予该部件特定的Ratios和Scales，让模型可以训练到有效信息，此处的兼容性高和较极端但重要之间并列关系；

此步骤筛选的逻辑为：在有限数目的Ratios和Scales下，使用中间值来兼容最多的标注目标物；筛选的缘由：为了满足检出的要求，可以使用很多的Ratios和Scales来进行训练，但是这样会增加训练周期，因此，本申请通过获取中间值来进行兼容，既满足了检出要求也能够缩短训练周期；

步骤三、进行至少一轮的模拟训练，并统计Anchor正负样本分布结果；

步骤四、根据统计结果进行判定，当Anchor正负样本分布和训练数据集标注目标物分布一致时，则开始训练，否则，跳回步骤二，重新进行挑选，直至Anchor正负样本分布和训练数据集标注目标物分布一致。

主要实现方式是通过通用目标聚类方法分析得出训练数据集中各标注目标的Ratios和Scales，然后人工筛选出重点检测目标物兼容的Ratios和Scales，达到即使是高方差分布的不同目标物，绝大部分也都能够参与到模型训练中的效果。为了更进一步地获得“所见即所得”的训练效果，模型训练过程中Anchor的正负样本分布应和训练集标注目标的正负样本分布达成一致。故为了检验人工筛选出的Ratios和Scales是否合理，还需要在训练前进行一个epoch的数据模拟训练，然后统计Anchor正负样本分配结果，如若和训练数据集目标分布一致性较高，则可以开启正式训练。如果一致性较差，则可以重复“重新筛选—>模拟”的过程，直到达到满意的一致性。

5.NG数据分析

整车外观检测模型一般采用前后端分离的架构，前端负责调取相机和数据库信息等，然后发送图片给检测后端，后端进行模型推理，将检测结果发回给前端。

这种设计模式可以使前后端开发人员更加关注自身的任务，程序开发效率更高。

但在整车外观检测中，还需要持续对每日NG结果进行分析。故这种分离的架构会对后端人员统计NG信息带来一定的阻力。

在每日的检测过程中，后端一般会保存模型检测图片和模型检出信息，前端一般会保存车辆应检信息和图片基本信息。如果使用传统点检方式，人工需到每个文件夹下单独对应，并通过时间和文件名信息去拉取不同表单。这无疑是非常耗时并且容易犯错的。

故为了提升运维时问题发现能力和点检效率，将前端数据库信息和后端检出图片通过对应时间和文件名进行可视化整合并提供连续的快捷化操作是一个有效的解决方案。

一种车辆外观检测模型的构建方法，包括：

S1、搜集数据并构建数据管控模块；

S2、利用模型训练算法对数据管控模块中的数据进行训练和优化，构建模型训练模块；

S3、对模型推理的数据进行脏数据处理和结果比对，构建模型推理模块；

S4、对NG数据检出分析和迭代，构建模型运维模块；

S5、构建图像采集模块、数据管控模块、模型训练模块、模型推理模块和模型运维模块之间的数据交互网。

一种车辆外观检测方法，利用上述的车辆外观检测模型执行如下步骤：

S11、获取数据并导入数据管控模块，对数据进行归类管控；

S12、根据不同的限定条件，将数据管控模块中的每类数据导入模型训练模块中对应的训练模型单元中进行训练和优化；

S13、将目标图像导入模型推理模块中对应的模型推理单元进行模型推理，然后对推理结果进行脏数据处理，最后进行结果比对；

S14、对模型推理模块输出的数据进行NG数据检出分析和迭代。

请参阅图3，数据的具体传输过程和处理过程如下：

第一步，数据管控模块内设置有中心化数据库，将长周期原图数据导入中心化数据库；所述中心化数据库与可视化平台进行数据交互，通过可视化平台，能够让算法工程师快速感知到数据流中的一切变化，进而对模型训练和检出效果进行快速反应；

第二步，中心化数据库执行数据库发图，即从中心化数据库执行数据库提取数据；

第三步，进行数据标注；

第四步，将标注完成的数据导入中心化数据库；同时对注完成的数据导入模型进行模型训练；

第五步，利用训练完成的模型进行模型推理，同时将推理信息导入中心化数据库；

第六步，对模型推理的结果进行检出结果分析；

第七步，根据检出结果分析对模型进行迭代；

第八步，迭代完成后，将迭代结果导入中心化数据库进行结果入库比对。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (10)

1.一种车辆外观检测模型，其特征在于，包括：

图像采集模块：包括从不同角度、不同位置获取图像数据的M组图像采集单元；M为大于1的自然数；

数据管控模块：包括标签化管控单元、人为干预管控单元和中心化数据管控单元；所述中心化数据管控单元分别与标签化管控单元、人为干预管控单元进行数据交互；

模型训练模块：包括数据理解和标签划分单元、针对车体不同位置图像的M个模型训练单元，针对每个模型训练单元的模型优化单元；

模型推理模块：包括由模型训练模块得到的M个模型推理单元、针对模型推理单元输出进行脏数据处理的后处理单元、对检出结果进行比对的比对单元；

模型运维模块：包括NG数据检出分析单元和迭代单元；其中：

所述图像采集模块、数据管控模块、模型训练模块、模型推理模块、模型运维模块依次进行数据交互。

2.根据权利要求1所述的车辆外观检测模型，其特征在于，所述图像采集模块包括针对车身前半部分的第一图像采集单元、针对车身后半部分的第二图像采集单元、针对车身下半部分的第三图像采集单元，每组图像采集单元包括N台图像采集设备，N为大于0的自然数。

3.根据权利要求1所述的车辆外观检测模型，其特征在于，所述标签化管控单元包括长周期数据管控单元、难易数据标签化管控单元和多数据标签化管控单元。

4.根据权利要求3所述的车辆外观检测模型，其特征在于，在数据管控模块中：

长周期数据管控单元，对取图周期大于预设值T的数据进行管控；

难易数据标签化管控单元，根据模型训练的难易程度将数据标签划分为难数据标签和简单数据标签，并对难数据标签和简单数据标签进行分开管控；

多数据标签化管控单元，对若干个标签包含数量为L的数据种类进行管控；L为大于3的自然数；

人为干预管控单元，通过对数据进行分析、清洗、划分，掌握数据的周期性变化，并对模型训练数据进行调整；

中心化数据管控单元，对数据进行分片和传输、数据预处理和管理、数据版本管理和迭代、数据标注管理。

5.根据权利要求1所述的车辆外观检测模型，其特征在于，所述模型优化单元通过目标聚类方法分析得出训练数据集中各标注目标的Ratios和Scales，然后筛选出重点检测目标物兼容的Ratios和Scales。

6.根据权利要求5所述的车辆外观检测模型，其特征在于，在训练前首先进行一个epoch的数据模拟训练，然后统计Anchor正负样本分配结果，如Anchor的正负样本分布和训练集标注目标的正负样本分布一致，则开启正式训练，如Anchor的正负样本分布和训练集标注目标的正负样本分布不一致，则重新筛选出重点检测目标物兼容的Ratios和Scales，然后进行模拟，直至Anchor的正负样本分布和训练集标注目标的正负样本分布一致。

7.根据权利要求1所述的车辆外观检测模型，其特征在于，所述后处理单元首先检测脏数据零件的位置，然后使用图片分类网络对脏数据零件进行标签分类。

8.根据权利要求1所述的车辆外观检测模型，其特征在于，所述NG数据检出分析单元通过车辆信息，将前端保存的车辆待检出信息和模型检出信息对应起来，通过GUI界面查询每日的NG数据，从而反馈模型出现的问题。

9.一种车辆外观检测模型的构建方法，其特征在于，用于构建权利要求1-8任一项所述的车辆外观检测模型，包括：

S1、搜集图像数据并构建数据管控模块；

S2、利用模型训练算法对数据管控模块中的数据进行训练和优化，构建模型训练模块；

S3、对模型推理的数据进行脏数据处理和结果比对，构建模型推理模块；

S4、对NG数据检出分析和迭代，构建模型运维模块；

S5、构建图像采集模块、数据管控模块、模型训练模块、模型推理模块和模型运维模块之间的数据交互网。

10.一种车辆外观检测方法，其特征在于，利用权利要求1-8任一项所述的车辆外观检测模型执行如下步骤：

S11、获取图像数据并导入数据管控模块，对图像数据进行归类管控；

S12、根据不同的限定条件，将数据管控模块中的每类数据导入模型训练模块中对应的训练模型单元中进行训练和优化；

S13、将目标图像导入模型推理模块中对应的模型推理单元进行模型推理，然后对推理结果进行脏数据处理，最后进行结果比对；

S14、对模型推理模块输出的数据进行NG数据检出分析和迭代。

Images