CN113870225B - 一种汽车域控制器的人工智能标签内容与粘贴质量检测方法 - Google Patents

Abstract

本发明公开了一种汽车域控制器的人工智能标签内容与粘贴质量检测方法，包括使用深度相机，调整相机物距使图像清晰分辨标签内容；构建汽车DCU标签实例分割卷积神经网络模型，输入为RGB图像，输出为标签类型、标签边界框、标签掩膜与标签置信度；以标签掩膜区域获取深度图像上深度值，并计算其高度平方差，实现粘贴质量检测；以标签类型获取内容字段要求，对部分内容字段调用光学字符识别算法，识别得到标签内容字段，进行内容比对；对于一维码、二维码形式的内容字段，调用解码器识别一维码、二维码得到内容字段，进行内容比对。

Description

一种汽车域控制器的人工智能标签内容与粘贴质量检测方法

技术领域

本发明涉及汽车域控制器智能制造技术领域，尤其涉及一种汽车域控制器(Domain Control Unit，DCU)的人工智能标签内容与粘贴质量检测方法。

背景技术

现有汽车域控制器DCU(Domain Control Unit)，最早是为了解决信息安全，以及电子控制单元的瓶颈问题。根据汽车电子部件功能将整车划分为动力总成，智能座舱和自动驾驶等几个域，利用处理能力更强的多核芯片相对集中的控制每个域，以取代目前分布式电子电气架构。域控制器的核心发展是芯片的计算能力快速提升，公用信息的系统组件，能在软件中分配和执行，可实现以足够的资源快速响应完成客户需求，具备平台化、兼容性、集成高、性能好等优势。集中式架构相比分布式的架构，需要DCU的处理单元拥有更强的多核、更大的计算能力，而域里其它的处理器相对就可以减少性能和资源。各种传感器、执行器可以成为单独的模块，这样可以更方便实现零部件的标准化。DCU能够接入不同传感器的信号并对信号进行分析和处理，这样就可以方便地扩展外接的传感器，这样就能够更加适应不同需求的开发，从而为平台化铺平道路。各种接口的高度集成化，其质量检测成为DCU的智能制造中必须突破的一环。

目前采用深度学习结合深度相机，实现制造质量检测的相关发明有山东大学《基于激光雷达和双目相机数据融合的衬板装配系统及方法》(公开号：CN 111340834A)公开了一种基于激光雷达和双目相机数据融合的衬板装配系统及方法，基于激光雷达获取的磨机内部实时点云，以及包含衬板信息的深度图像，进而确定衬板的实时位姿信息和耳部位姿，生成重载机械臂调整衬板位姿的控制指令，以进行衬板装配，直至完成装配。主要是采用深度学习结合深度相机，实现定位完成装配，难以满足标签内容与粘贴质量检测。

青岛理工大学李东年、陈成军团队，提出多层随机森林、注意力机制、目标检测、像素分类、深度学习网络、深度图像对比、多模型集成等一系列装配检测方法，其中最相关是《一种基于深度图像对比的装配体多视角检测方法和系统》(公开号：113269729A)。该发明方法包括以下步骤：在装配体上或附近设置注册卡，建立三维模型库和零件库；通过RGB传感器和深度传感器分别采集装配体在装配过程各时刻的RGB图像和物理深度图像；计算所述RGB传感器在注册卡坐标系中的位置和姿态；计算所述深度传感器在注册卡坐标系中的位置和姿态；更新所述三维模型库的视角，获取三维模型库当前视角下的合成深度图像；对比合成深度图像和物理深度图像，获取变化区域；根据所述变化区域及视角在零件库中查询当前装配零件；更新所述三维模型库。该发明主要采用通过深度变化实现装配体局部变化检测，难以直接应用于本发明标签内容与粘贴质量检测。。

发明内容

为解决上述技术问题，本发明的目的是提供一种汽车域控制器DCU的人工智能标签内容与粘贴质量检测方法。

本发明的目的通过以下的技术方案来实现：

一种汽车域控制器的人工智能标签内容与粘贴质量检测方法，包括

步骤A使用深度相机，调整相机物距使图像清晰分辨标签内容；

步骤B构建汽车DCU标签实例分割卷积神经网络模型，输入为RGB图像，输出为标签类型、标签边界框、标签掩膜与标签置信度；

步骤C以标签掩膜区域获取深度图像上深度值，并计算其高度平方差，实现粘贴质量检测；

步骤D以标签类型获取内容字段要求，对部分内容字段调用光学字符识别算法，识别得到标签内容字段，进行内容比对；

步骤E对于一维码、二维码形式的内容字段，调用解码器识别一维码、二维码得到内容字段，进行内容比对。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

采用深度学习+深度相机，实现汽车域控制器多个标签中，采用标签高度的极差、方差评价粘贴质量，并分别采用OCR或解码器模块，识别标签文本、一维码、二维码内容，通过比对判断内容正确与否。

附图说明

图1是汽车域控制器的人工智能标签内容与粘贴质量检测方法流程图图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

如图1所示，为汽车域控制器DCU的人工智能标签内容与粘贴质量检测方法流程图，包括以下步骤：

步骤10使用深度相机，调整物距使成像视野合适，图像应足够清晰以分辨标签内容；

步骤20构建汽车DCU标签实例分割CNN模型，输入为RGB图像，输出为标签类型、标签边界框、标签掩膜、标签置信度；

主要指Mask R-CNN、UperNet等实例分割CNN模型。模型输出数据内容包括：标签数量N_object以及N_object个对象信息，设第n个对象信息具体包括：预测边界框R_bbox-n、预测掩膜R_mask-n、预测类型R_class-n、预测置信度R_score-n；其中：预测边界框R_bbox-n为1×4向量

为预测边界框左上顶点，

为预测边界框右上顶点；预测掩膜R_mask-n是图像，尺寸与输入图像相等，1或Ture表示检出标签像素，以0或False表示非标签像素；预测类型R_class-n是标量，设接口种类数N_interface，则R_class-n值为{0,1,2,3,..,N_interface}；预测置信度R_score-n定义域为[0,1]。

步骤30以标签掩膜区域获取深度图像上深度值，并计算其高度平方差，实现粘贴质量检测；

设RGB图像尺寸为水平像素数量H_RGB×水平像素数量V_RGB，第n个对象的预测掩膜R_mask-n图像中，坐标(u,v)的像素值为r_mask-n(u,v)，其中u＝1,2,...H_RGB、v＝1,2,...V_RGB；

则标签区域为

为：

又有深度图像图像中，坐标(u,v)的深度值为d(u,v)，

则标签区域

的高度平方差D_label、极差R_label分别为：

式中，

为标签区域

的平均深度。

分别设置高度平方差下极限D_label-min＝0.1mm²、极差下极限R_label-min＝0.5mm，则标签粘贴质量良好条件为：

步骤40以标签类型获取内容字段要求，对于中文、英文、数字形式的内容字段，调用OCR算法，识别得到标签内容字段，进行内容比对；

设第n个对象的预测类型R_class-n，对应的内容字段要求为T，长度为m；经OCR识别到的字符串为T_OCR，若T_OCR长度不为m，则直接判断标签内容可疑；若T_OCR长度为m则进行判断内容比对；

内容字段要求T＝{t₁,t₂,t₃…t_m}，其中t₁…t_m是字符集合，分别是第1…第m个字符可以采用的字符集合；

经OCR识别到的m位字符串T_OCR＝[t_OCR-1,t_OCR-2,t_OCR-3…t_OCR-m]，内容正确条件是：

标签内容正确上式表示m位字符串T_OCR的每一位字符t_OCR-i，均满足t_OCR-i∈t_i时，识别为标签内容正确。

步骤50对于一维码、二维码形式的内容字段，调用解码器识别一维码、二维码得到内容字段，进行内容比对；

对于一维码、二维码形式的内容字段，调用解码器识别一维码、二维码得到内容字符串为T_Code，若T_Code长度为0，则标签一维码、二维码损坏，无法识别；

若T_Code长度不为m，则直接判断标签一维码、二维码内容可疑；

若T_Code长度为m则进行判断内容比对；

内容字段要求T＝{t₁,t₂,t₃…t_m}，其中t₁…t_m是字符集合，分别是第1…第m个字符可以采用字符集合；

经解码器识别到的m位字符串T_CODE＝[t_CODE-1,t_CODE-2,t_CODE-3…t_CODE-m]，内容正确条件是：

标签内容正确,且二维码、一维码有效，

上式表示m位字符串T_CODE的每一位字符t_CODE-i，均满足t_CODE-i∈t_i时，识别为标签内容正确，且一维码、二维码有效。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (4)

1.一种汽车域控制器的人工智能标签内容与粘贴质量检测方法，其特征在于，所述方法包括以下步骤：

步骤A使用深度相机，调整物距使图像清晰分辨标签内容；

步骤B构建汽车DCU标签实例分割卷积神经网络模型，输入为RGB图像，输出为标签类型、标签边界框、标签掩膜与标签置信度；

步骤C以标签掩膜区域获取深度图像上深度值，并计算其高度平方差，实现粘贴质量检测；

步骤D以标签类型获取内容字段要求，对部分内容字段调用光学字符识别算法，识别得到标签内容字段，进行内容比对；

步骤E对于一维码、二维码形式的内容字段，调用解码器识别一维码、二维码得到内容字段，进行内容比对；

所述步骤C具体包括：

设RGB图像尺寸为水平像素数量H_RGB×水平像素数量V_RGB，第n个对象的预测掩膜R_mask-n图像中，坐标(u,v)的像素值为r_mask-n(u,v)，其中u＝1,2,...H_RGB、v＝1,2,...V_RGB；

则标签区域

为：

深度图像中，坐标(u,v)的深度值为d(u,v)，

则标签区域

的高度平方差D_label、极差R_label分别为：

式中，

为标签区域

的平均深度；

D_label-min为高度平方差下极限、R_label-min为极差下极限，则标签粘贴质量良好条件为：

2.如权利要求1所述的汽车域控制器的人工智能标签内容与粘贴质量检测方法，其特征在于，所述步骤B中DCU标签实例分割卷积神经网络模型指Mask R-CNN、UperNet实例分割CNN模型，模型输出数据内容包括：标签数量N_object以及N_object个对象信息，设第n个对象信息具体包括：预测边界框R_bbox-n、预测掩膜R_mask-n、预测类型R_class-n、预测置信度R_score-n；其中：预测边界框R_bbox-n为1×4向量

为预测边界框左上顶点，

为预测边界框右上顶点；预测掩膜R_mask-n是图像，尺寸与输入图像相等，1或Ture表示检出标签像素，0或False表示非标签像素；预测类型R_class-n是标量，设接口种类数N_interface，则R_class-n值为{0,1,2,3,..,N_interface}；预测置信度R_score-n定义域为[0,1]。

3.如权利要求1所述的汽车域控制器的人工智能标签内容与粘贴质量检测方法，其特征在于，所述步骤D中，调用光学字符识别算法的内容字段包括中文、英文、数字形式的内容字段；其步骤D具体包括设第n个对象的预测类型R_class-n，对应的内容字段要求为T，长度为m；经OCR识别到的字符串为T_OCR，若T_OCR长度不为m，则直接判断标签内容可疑；若T_OCR长度为m则进行判断内容比对；

内容字段要求T＝{t₁,t₂,t₃…t_m}，其中t₁…t_m是字符集合，分别是第1…第m个字符采用的字符集合；

经OCR识别到的m位字符串T_OCR＝[t_OCR-1,t_OCR-2,t_OCR-3…t_OCR-m]，内容正确条件是：

式(5)表示m位字符串T_OCR的每一位字符t_OCR-i，均满足t_OCR-i∈t_i时，识别为标签内容正确。

4.如权利要求1所述的汽车域控制器的人工智能标签内容与粘贴质量检测方法，其特征在于，步骤E具体包括：

对于一维码、二维码形式的内容字段，调用解码器识别一维码、二维码得到内容字符串为T_Code，若T_Code长度为0，则标签一维码、二维码损坏，无法识别；

若T_Code长度不为m，则直接判断标签一维码、二维码内容可疑；

若T_Code长度为m则进行判断内容比对；

内容字段要求T＝{t₁,t₂,t₃…t_m}，其中t₁…t_m是字符集合，分别是第1…第m个字符可以采用字符集合；

经解码器识别到的m位字符串T_CODE＝[t_CODE-1,t_CODE-2,t_CODE-3…t_CODE-m]，内容正确条件是：

式(6)表示m位字符串T_CODE的每一位字符t_CODE-i，均满足t_CODE-i∈t_i时，识别为标签内容正确，且一维码、二维码有效。

Images