CN113888494A - 一种汽车域控制器的人工智能接口引脚质量检测方法 - Google Patents

Abstract

本发明公开了一种汽车域控制器的人工智能接口引脚质量检测方法，包括：采集可分辨出接口引脚的图像；构建汽车接口引脚目标检测卷积神经网络模型，输入为单目图像，输出为接口类型、接口边界框、接口置信度及引脚边界框、引脚置信度；以高置信度接口的类型、边界框分别检索得到接口引脚质量要求、接口检测范围；以接口检测范围中的高置信度引脚边界框为引脚范围，统计检测范围中的高置信度引脚数量，得到接口引脚数量，并结合引脚范围、深度图像，获得引脚实际形状，测得引脚高度测量值、引脚形心位置测量值特征参数；根据接口引脚数量检出数、引脚高度测量值、引脚形心位置测量值，计算得引脚高度偏差及引脚水平偏移，判断接口引脚质量；根据接口高度测量值、接口高度，计算得接口高度偏差。

Description

一种汽车域控制器的人工智能接口引脚质量检测方法

技术领域

本发明涉及汽车域控制器智能制造技术领域，尤其涉及一种汽车域控制 器DCU的人工智能接口引脚质量检测方法。

背景技术

现有汽车域控制器DCU(Domain Control Unit)，最早是为了解决信息 安全，以及电子控制单元的瓶颈问题。根据汽车电子部件功能将整车划分为 动力总成，智能座舱和自动驾驶等几个域，利用处理能力更强的多核芯片相 对集中的控制每个域，以取代目前分布式电子电气架构。域控制器的核心发 展是芯片的计算能力快速提升，公用信息的系统组件，能在软件中分配和执 行，可实现以足够的资源快速响应完成客户需求，具备平台化、兼容性、集 成高、性能好等优势。集中式架构相比分布式的架构，需要DCU的处理单 元拥有更强的多核、更大的计算能力，而域里其它的处理器相对就可以减少 性能和资源。各种传感器、执行器可以成为单独的模块，这样可以更方便实 现零部件的标准化。DCU能够接入不同传感器的信号并对信号进行分析和 处理，这样就可以方便地扩展外接的传感器，这样就能够更加适应不同需求 的开发，从而为平台化铺平道路。各种接口的高度集成化，其质量检测成为 DCU的智能制造中必须突破的一环。

目前采用深度学习结合深度相机，实现制造质量检测的相关发明有山东 大学《基于激光雷达和双目相机数据融合的衬板装配系统及方法》(公开号： CN 111340834 A)公开了一种基于激光雷达和双目相机数据融合的衬板装配 系统及方法，基于激光雷达获取的磨机内部实时点云，以及包含衬板信息的 深度图像，进而确定衬板的实时位姿信息和耳部位姿，生成重载机械臂调整 衬板位姿的控制指令，以进行衬板装配，直至完成装配。主要是采用深度学 习结合深度相机，实现定位完成装配。

青岛理工大学李东年、陈成军团队，提出多层随机森林、注意力机制、 目标检测、像素分类、深度学习网络、深度图像对比、多模型集成等一系列 装配检测方法，其中最相关是《一种基于深度图像对比的装配体多视角检测 方法和系统》(公开号：113269729 A)。该发明方法包括以下步骤：在装配体 上或附近设置注册卡，建立三维模型库和零件库；通过RGB传感器和深度 传感器分别采集装配体在装配过程各时刻的RGB图像和物理深度图像；计 算所述RGB传感器在注册卡坐标系中的位置和姿态；计算所述深度传感器 在注册卡坐标系中的位置和姿态；更新所述三维模型库的视角，获取三维模 型库当前视角下的合成深度图像；对比合成深度图像和物理深度图像，获取 变化区域；根据所述变化区域及视角在零件库中查询当前装配零件；更新所 述三维模型库。该发明主要采用通过深度变化实现装配体局部变化检测，难 以直接应用于本发明装配体局部没有变化的情况。

发明内容

为解决上述技术问题，本发明的目的是提供一种汽车域控制器DCU的 人工智能接口引脚质量检测方法。

本发明的目的通过以下的技术方案来实现：

一种汽车域控制器的人工智能接口引脚质量检测方法，包括：

步骤A采集可分辨出接口引脚的图像；

步骤B构建汽车DCU接口引脚目标检测卷积神经网络CNN模型，输入 为单目图像，输出为接口类型、接口边界框、接口置信度以及引脚边界框、 引脚置信度；

步骤C以高置信度接口的类型、边界框分别检索得到接口引脚质量要求、 接口检测范围；

步骤D以接口检测范围中的高置信度引脚边界框为引脚范围，统计检测 范围中的高置信度引脚数量，得到接口引脚数量，并结合引脚范围、深度图 像，获得引脚实际形状，测得引脚高度测量值、引脚形心位置测量值两项特 征参数；

步骤E根据接口引脚数量检出数、引脚高度测量值、引脚形心位置测量 值，计算得引脚高度偏差及引脚水平偏移，判断接口引脚质量；以及根据接 口高度测量值、接口高度，计算得接口高度偏差。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

采用深度学习+深度相机，实现汽车域控制器多个接口引脚质量检测， 并判断不合格原因。

附图说明

图1是汽车域控制器的人工智能接口引脚质量检测方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图 对本发明作进一步详细的描述。

如图1所示，为汽车域控制器DCU的人工智能接口引脚质量检测方法 流程，包括以下步骤：

步骤10使用双目结构光相机，调整物距使成像视野合适，采集可分辨 出接口引脚的图像；图像中单个引脚像素数量应超过25个。

步骤20构建汽车DCU接口引脚目标检测CNN模型，输入为单目图 像，输出为接口类型、接口边界框、接口置信度，以及引脚边界框、引脚置 信度。

汽车DCU接口引脚目标检测CNN模型，主要指R-CNN、Fast R-CNN、 Faster R-CNN等Anchor-based的目标检测CNN模型。模型输出数据内容包 括：对象数量N_object，N_object个对象信息；设第n个对象信息具体包括：预测 边界框R_bbox-n、预测类型R_class-n、预测置信度R_score-n；其中

①预测边界框R_bbox-n为1×4向量

为预测边界框左上顶点，

为预测边界框右上顶点。

②预测类型R_class-n是标量，设接口种类数N_interface，则R_class-n值为{0,1,2,3,..,N_interface}；表1为预测类型R_class-n与类型标签对应表。

表1预测类型R_class-n与类型标签对应表

③预测置信度R_score-n定义域为[0,1]。

采用随机梯度下降SGD算法，在训练数据集上进行正向推理与反向学 习过程，在验证数据集上进行正向推理验证过程，训练汽车DCU接口引脚 目标检测CNN模型，使其拟合到训练数据集、验证数据集上；训练数据集、 验证数据集标注的类型标签，边界框为引脚、接口的最小外接矩形。训练采 用Mini-batch策略，分批数N_batch＝2，结合数据量大小，迭代训练次数N_iter分别可选为1000、2000、3000……。即模型将训练N_iter次，每次训练在训练 数据集中挑选两个图片上进行。

训练过程中，可观测分类损失loss_cls、定位损失loss_box_reg、总损失 total_loss是否减小，判断目标检测CNN模型是否收敛；模型完成训练后， 以重叠率超过50％的平均精度AP_0.5作为主要评价指标；只要AP_0.5≥90％，模 型满足应用需求。

步骤30以高置信度接口的类型、边界框分别检索得到接口引脚质量要 求、接口检测范围；

由接口检测结果，预测边界框R_bbox-n、预测类型R_class-n、预测置信度R_score-n、 得到接口检测范围A_detect-n：

接口引脚质量要求包括接口引脚数量N_PIN，接口内每个引脚位置(X_PIN-i, Y_PIN-i)、高度D_PIN-i，i代表该接口的第i个引脚(i＝1,2,3…N_PIN)；有：

步骤40以接口检测范围中的高置信度引脚边界框为引脚范围，统计检 测范围中的高置信度引脚数量，得到接口引脚数量，并结合引脚范围、深度 图像，测得引脚高度、引脚形心位置两项特征参数。

接口检测范围中的高置信度引脚边界框为引脚范围A_PIN-m，统计接口检 测范围A_detect-n中的高置信度引脚数量，得到接口引脚数量

并结合引脚 范围A_PIN-m、深度图像，获得引脚实际形状

获得引脚高度测量值

形心位置测量值

两项特征参数；

以接口检测范围中的高置信度引脚边界框为引脚范围A_PIN-n：

统计接口检测范围中A_detect-n的高置信度引脚数量

结合引脚范围A_PIN-m、深度图像，获得引脚实际形状S_PIN-i；

式中，(x,y)∈A_PIN-m代表引脚范围内像素点，d(x,y)为深度图像坐标(x,y)的 深度，

为A_PIN-m的平均深度；

步骤50根据接口引脚数量、引脚高度、引脚形心位置，判断接口引脚 质量。

根据接口引脚数量检出数

引脚高度测量值

引脚形心位置 测量值

计算得引脚高度偏差ΔD_PIN-m、引脚水平偏移ΔH_PIN-m， 判断接口引脚质量。

根据接口高度测量值

接口高度D_PIN-m，计算得接口高度偏差 ΔD_PIN-m；

根据引脚形心位置测量值

引脚形心位置(X_PIN-m,Y_PIN-m)， 计算得引脚水平偏移ΔH_PIN-m；

接口引脚质量合格判断方法为：

接口引脚质量不合格及原因判断方法为：

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本 发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内 的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的 形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所 附的权利要求书所界定的范围为准。

Claims (8)

1.一种汽车域控制器的人工智能接口引脚质量检测方法，其特征在于，所述方法包括：

步骤A采集可分辨出接口引脚的图像；

步骤B构建汽车DCU接口引脚目标检测卷积神经网络CNN模型，输入为单目图像，输出为接口类型、接口边界框、接口置信度以及引脚边界框、引脚置信度；

步骤C以高置信度接口的类型、边界框分别检索得到接口引脚质量要求、接口检测范围；

步骤D以接口检测范围中的高置信度引脚边界框为引脚范围，统计检测范围中的高置信度引脚数量，得到接口引脚数量，并结合引脚范围、深度图像，获得引脚实际形状，测得引脚高度测量值、引脚形心位置测量值两项特征参数；

步骤E根据接口引脚数量检出数、引脚高度测量值、引脚形心位置测量值，计算得引脚高度偏差及引脚水平偏移，判断接口引脚质量；以及根据接口高度测量值、接口高度，计算得接口高度偏差。

2.如权利要求1所述的汽车域控制器的人工智能接口引脚质量检测方法，其特征在于，所述步骤A中采用双目结构光相机采集可分辨出接口引脚得图像，所述可分辨出接口引脚的图像是指单个引脚像素数量超过25个。

3.如权利要求1所述的汽车域控制器的人工智能接口引脚质量检测方法，其特征在于，汽车DCU接口引脚目标检测卷积神经网络CNN模型指R-CNN、Fast R-CNN、Faster R-CNN、Anchor-based的目标检测CNN模型；模型输出数据内容包括：对象数量N_object，N_object个对象信息；设第n个对象信息具体包括：预测边界框R_bbox-n、预测类型R_class-n、预测置信度R_score-n。

4.如权利要求3所述的汽车域控制器的人工智能接口引脚质量检测方法，其特征在于，

所述预测边界框R_bbox-n为1×4向量

为预测边界框左上顶点，

为预测边界框右上顶点；

预测类型R_class-n是标量，设接口种类数N_interface，则R_class-n值为{0,1,2,3,..,N_interface}；

预测置信度R_score-n定义域为[0,1]。

5.如权利要求1所述的汽车域控制器的人工智能接口引脚质量检测方法，其特征在于，所述步骤B中汽车DCU接口引脚目标检测CNN模型，在训练集、验证集上学习特征提取与模式识别知识，系采用梯度下降型优化算法；

在训练数据集上进行正向推理与反向学习过程，在验证数据集上进行正向推理验证过程，训练汽车DCU接口引脚目标检测CNN模型，使其拟合到训练数据集、验证数据集上；训练数据集、验证数据集标注的类型标签以边界框为引脚、接口的最小外接矩形；

训练采用Mini-batch策略，分批数N_batch＝2，结合数据量大小，迭代训练次数N_iter分别可选为1000、2000、3000……；即模型将训练N_iter次，每次训练在训练数据集中挑选两个图片上进行；

训练过程中，观测分类损失loss_cls、定位损失loss_box_reg、总损失total_loss是否减小，判断目标检测CNN模型是否收敛；

模型完成训练后，以重叠率超过50％的平均精度AP_0.5作为主要评价指标；只要AP_0.5≥90％，模型满足应用需求。

6.如权利要求1所述的汽车域控制器的人工智能接口引脚质量检测方法，其特征在于，所述步骤C具体包括：

由接口检测结果，预测边界框R_bbox-n、预测类型R_class-n、预测置信度R_score-n、得到接口检测范围A_detect-n：

接口引脚质量要求包括接口引脚数量N_PIN，接口内每个引脚位置(X_PIN-i,Y_PIN-i)、高度D_PIN-i，i代表该接口的第i个引脚(i＝1,2,3…N_PIN)；有：

7.如权利要求1所述的汽车域控制器的人工智能接口引脚质量检测方法，其特征在于，步骤D中高置信度引脚边界框引脚范围A_PIN-m、接口引脚数量

获得的引脚实际形状为

引脚高度测量值为

形心位置测量值为

以接口检测范围中的高置信度引脚边界框为引脚范围A_PIN-n：

统计接口检测范围中A_detect-n的高置信度引脚数量

结合引脚范围A_PIN-m、深度图像，获得引脚实际形状S_PIN-i；

式中，(x,y)∈A_PIN-m代表引脚范围内像素点，d(x,y)为深度图像坐标(x,y)的深度，

为A_PIN-m的平均深度；

8.如权利要求1所述的汽车域控制器的人工智能接口引脚质量检测方法，其特征在于，所述步骤E中，接口引脚数量检出数为

引脚高度测量值为

引脚形心位置测量值为

引脚高度偏差为ΔD_PIN-m、引脚水平偏移为ΔH_PIN-m、接口高度测量值

接口高度D_PIN-m、接口高度偏差为ΔD_PIN-m；其中：

根据引脚形心位置测量值

引脚形心位置(X_PIN-m,Y_PIN-m)，计算得引脚水平偏移ΔH_PIN-m；

接口引脚质量合格判断方法为：

接口引脚质量不合格及原因判断方法为：

Images