CN115311215B - 一种高速高精度的六面体检测系统、方法和存储介质 - Google Patents

Abstract

本申请涉及人工智能、半导体六面体检测技术领域，公开了一种高速、高精度的六面体检测系统、方法和存储介质，用于提高六面体检测的速度和精度。系统部分包括：特征提取模块，对被测元件对应的输入图片进行不同倍数的下采样处理，得到不同维度的输出特征图；无参联合表征模块，从不同维度的输出特征图筛选出多个第一目标输出特征图，对第一目标输出特征图进行处理，得到输入图片的联合表征特征图；根据所述联合表征特征图判定所述输入图片是否为负例图片；当判定输入图片为负例图片时，多维融合表征模块输出所述输入图片的预测信息。

Description

一种高速高精度的六面体检测系统、方法和存储介质

技术领域

本申请涉及涉及人工智能、半导体六面体检测技术领域，尤其涉及一种高速高精度的六面体检测系统、方法和计算机存储介质。

背景技术

随着电子工业的持续高速增长，带动了电子元器件产业强劲发展。新能源汽车、工控、家电、通信，计算机、消费电子产品等领域都需要大量的元器件。随着制程工艺的提升，电子元器件的尺寸也越来越小，且多为六面体结构。在生产过程中，电子元器件难免受到各种工艺、材料、温度和搬运等影响，产生划痕，黑点等缺陷。对大量肉眼难以分辨细节的亚毫米级元器件进行快速检测是行业的痛点，因此基于六面体检测的技术应运而生。

六面体外观及尺寸检测大量应用在半导体行业中的电容、电阻、电感、滤波器、二极管、晶体管等小体积，且大数量的关键零部件上，通过分别拍摄六面体各个面的图像，再利用算法检测其缺陷。在六面体检测中，常规的深度学习模型已经超越传统视觉检测的精度和速度，被业界广泛使用。然而工业需求也在提升，对检测速度和精度提出了更高的要求。例如公制0201的微小元件，其尺寸为0.2*0.1*0.1mm，工业界对其提出了每分钟检测13000个的高速检测需求。

发明人研究发现，目前常规的深度学习检测模型，大多是在原图尺寸基础上，利用编码和解码流程的分割模型而进行识别和检测的。这类模型流程复杂、运行速度缓慢，无法满足六面体外观及尺寸检测的速度需求，尤其是在实际应用中大量的零部件检测上。因此急需设计一种轻量化的高速、高精度的六面体检测方案。

发明内容

本申请涉及涉及人工智能、半导体六面体检测、机器视觉等技术领域，提供一种高速、高精度的六面体检测系统、方法和计算机存储介质，以解决传统的六面体检测方案会导致运行速度缓慢，无法满足六面体外观检测的问题。

一种六面体检测系统，包括：

特征提取模块，用于对被测元件对应的输入图片进行不同倍数的下采样处理，得到Y个不同维度的输出特征图；

无参联合表征模块，用于从所述Y个不同维度的输出特征图中，筛选出N个输出特征图，得到N个第一目标输出特征图，对N个所述第一目标输出特征图进行处理，得到所述输入图片的联合表征特征图；根据所述联合表征特征图判定所述输入图片是否为负例图片；

多维融合表征模块，当判定所述输入图片为负例图片后，输出所述输入图片的预测信息。

进一步地，所述无参联合表征模块还用于：

获取上限数组U和下限数组L；确定所述联合表征特征图的每个坐标位置的像素点的值中，未位于上限数组U和下限数组L对应位置的参考数值之间的像素点的总数量；当所述总数量超过预设数量阈值，则判定所述输入图片为负例图片；

其中，所述上限数组U包括所述联合表征特征图的不同坐标位置所分别对应的多个上限参考数值，所述下限数组L包括所述联合表征特征图的不同坐标位置所分别对应的多个下限参考数值，所述上限数组U和所述下限数组通过如下方式确定：统计不同类型样品的大量正例样本图片的联合表征特征图的像素点的数值分布，得到上限数组计算公式和下限数组计算公式；获取所述被测元件的大量正例样本图片的联合表征特征图中不同坐标位置的均值和标准差；将所述均值和标准差分别代入上限数组计算公式和下限数组计算公式，得到所述上限数组U和下限数组L。

进一步地，所述上限数组U下限数组L通过如下公式获取：

所述上限数组U＝Q1+1.35R，所述下限数组L＝Q2-1.35R。

其中，M表示所述被测元件的大量正例样本图片对应的所述联合表征特征图中每个相同坐标位置的均值，σ表示所述被测元件的大量正例样本图片对应的联合表征特征图中每个相同坐标位置的标准差，e表示自然对数函数的底数，γ表示常数。

进一步地，所述特征提取模块用于：

对所述输入图片Input[C,H,W]进行第一倍数t1、第二倍数t2、第三倍数t3、第四倍数t4的下采样处理，分别得到第一输出特征图Out1[C1,H/t1,W/t1]、第二输出特征图Out2[C2,H/t2,W/t2]、第三输出特征图Out3[C3,H/t3,W/t3]和第四输出特征图Out4[C4,H/t4,W/t4]；

其中，C、C1、C2、C3和C4分别表示所述输入图片、第一输出特征图、第二输出特征图、第三输出特征图和第四输出特征图的通道数，H表示所述输入图片的高度，W表示所述输入图片的宽度，所述第一倍数t1、所述第二倍数t2、所述第三倍数t3和所述第四倍数t4的倍数逐渐增大。

进一步地，所述无参联合表征模块用于：

a、从所述第一目标输出特征图筛选出最低维特征图；

b、对所述最低维特征图进行转维变形，得到初始转维特征图；

c、从所述第一目标输出特征图中，选取出所述最低维特征图的上一级维度特征图；

d，将所述初始转维度特征图与所述上一级维度特征图，进行广播后再转维处理，得到下一级转维特征图；

e、将所述下一级转维特征图和新的上一级维度特征图，进行广播后再转维处理，得到新的下一级转维特征图；

f、根据所述新的下一级转维特征图重复步骤e，直至所述第一目标输出特征图中的所有维度的特征图参与到转维处理中；其中，每次转维处理按照转维度从低到高顺序，依次从所述第一目标输出特征图选出所述新的上一级维度特征图。

进一步地，所述多维融合表征模块用于：

从所述Y个不同维度的输出特征图中，筛选出P个输出特征图，得到P个第二目标输出特征图，并对P个所述第二目标输出特征图进行高低维特征融合处理，得到用于检测的预测特征图，根据所述预测特征图进行检测得到预测信息。

进一步地，所述多维融合表征模块包括：

自融合单元，用于对P个所述第二目标输出特征图中的最高维输出特征图进行冗余信息消除处理，得到目标特征图；

高低维融合单元，用于对所述目标特征图和P个所述第二目标输出特征图中的其他维输出特征图逐级进行上采样融合，以得到预测特征图；

预测单元，用于根据所述预测特征图进行预测，得到预测信息。

进一步地，所述自融合单元具体用于：

使用第一卷积单元将P个所述第二目标输出特征图中的最高维输出特征图的通道数调整为K1，且宽和高的维度保持不变，得到初步目标特征图；

使用最大池化MaxPool按照不同的池化参数，分别对所述初步目标特征图进行最大池化处理，以分别生成多个尺寸大小不同的缩小特征图；

对每个所述缩小特征图执行还原转变操作，以将每个所述缩小特征图的宽和高分别还原到与所述初步目标特征图的大小一致，得到多个还原特征图；

在每个所述还原特征图的通道维度求最大值，生成每个所述还原特征图对应的待连接特征图，得到多个待连接特征图；

对多个所述待连接特征图执行叠加操作，得到合并特征图；

通过第二卷积单元对所述合并特征图进行融合通道，生成融合通道特征图；

使用Sigmoid操作对所述融合通道特征图中的数值进行压缩，生成压缩特征图；

将所述初步目标特征图与所述压缩特征图进行相乘，得到所述目标特征图。

进一步地，所述高低维融合单元具体用于：

a、对所述目标特征图和所述最高维输出特征图的下一级维度特征图；进行预设倍数的上采样融合，输出下一级融合特征图；

b、将所述下一级融合特征图和新的下一级维度特征图，进行预设倍数的上采样融合，输出新的下一级融合特征图；

c、根据所述新的下一级融合特征图重复步骤b，直至所述第二目标输出特征图中除所述最高维输出特征图外的其他所有维度的特征图都参与到融合处理中；其中，每次融合处理按照转维度从高到低顺序，依次从所述第二目标输出特征图选出所述新的下一级维度特征图。

一种六面体检测方法，该六面体检测方法基于上述六面体检测系统所实现，所述方法包括：

对被测元件对应的输入图片进行不同倍数的下采样处理，得到Y个不同维度的输出特征图；

从所述Y个不同维度的输出特征图中，筛选出N个输出特征图，得到N个第一目标输出特征图，对N个所述第一目标输出特征图进行处理，得到所述输入图片的联合表征特征图；根据所述联合表征特征图判定所述输入图片是否为负例图片；

多维融合表征模块，当判定所述输入图片为负例图片后，输出所述输入图片的预测信息。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的六面体检测方法的步骤。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述六面体检测方法的步骤。

上述提供的其中一些方案中，公开了一种高速、高精度的六面体检测方法和系统，将常规的深度学习分割模型中的编码和解码流程进行解耦，设计了基于特征提取模块，无参联合表征模块和多维融合表征模块的检测系统，其中，无参联合表征模块和/或多维融合表征模块共享特征提取模块输出的中不同维度的特征图信息，最后先是判定输入图片是否为负例图片，选择性的执行多维融合表征模块的机制，无需对每个被测元件的输入图片执行完成的缺陷识别流程，可有效地提高了检测速度，相比常规分割模型显著提高了运行速度，而且，在一些方案中，多维融合表征模块通过融合特征提取模块中的高低维特征信息，还能够保证了预测区域的预测精度，提供了一种高速、高精度的六面体检测方案。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例中六面体检测系统的一系统示意图；

图2是本申请一实施例中特征提取模块的一处理流程示意图；

图3是本申请一实施例中无参联合表征模块的一处理结构示意图；

图4是本申请一实施例中多维融合表征模块的一处理结构示意图；

图5是本申请一实施例中自融合单元的一处理结构示意图；

图6是本申请一实施例中高低维融合模块的一处理结构示意图；

图7是本申请一实施例中预测单元的一处理结构示意图；

图8是本申请一实施例中六面体检测方法的一流程示意图；

图9是本申请一实施例中计算机设备的一结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中，为了解决传统方案基于编码和解码流程的分割模型流程复杂，导致运行速度缓慢，无法满足六面体外观检测的需求的技术问题，本申请实施例特设计一种轻量化的高速、高精度的六面体检测方案，包括六面体检测系统和对应的六面体检测方法，以及有关的装置、设备、存储介质和程序产品。下面对上述各个方面进行详细、完整的描述。

A、六面体检测系统

本申请实施例提供的六面体检测系统，将传统中的深度学习分割模型中的编码和解码流程进行解耦，如图1所示，该六面体检测系统主要包括特征提取模块、无参联合表征模块和多维融合表征模块；其中，利用特征提取模块和多维融合表征模块完成网络模型的训练，使用特征提取模块和无参联合表征模块进行推理处理，当判定输入图片为负例图片(存在缺陷的图片)时，再利用多维融合表征模块输出输入图片的预测信息，其中，不存在缺陷的图片称为正例图片，下面，对本申请实施例提供的六面体检测系统的各个模块进行详细的描述。

1.1关于特征提取模块

特征提取模块，用于接收被测元件的输入图片，并对输入图片进行不同倍数的下采样处理，得到Y个不同维度的输出特征图。

该输入图片指的是拍摄被测元件得到的图像，包括该被测元件六个面所对应的图像，这里的输入图片指的是其中一个面的图像，其他面图像同样的处理方式，Y为正整数。

值得说明的是，在实际应用中，由于被测元件的大小不同，导致检测的速度和精度要求不尽相同，因此，该特征提取模块的向下采样倍数以及输出维度数量Y可以根据具体项目需求，具体不做限定，只要设置的特征提取模块的实现方式做到对速度和精度的权衡便可。

假设输入图片用Input[C,H,W]表示，在一实施例中，上述Y＝4，所述特征提取模块用于：对所述输入图片Input[C,H,W]进行第一倍数t1、第二倍数t2、第三倍数t3、第四倍数t4的下采样处理，分别得到第一输出特征图Out1[C1,H/t1,W/t1]、第二输出特征图Out2[C2,H/t2,W/t2]、第三输出特征图Out3[C3,H/t3,W/t3]和第四输出特征图Out4[C4,H/t4,W/t4]，其中，C、C1、C2、C3和C4分别表示所述输入图片、第一输出特征图、第二输出特征图、第三输出特征图和第四输出特征图的通道数，H表示所述输入图片的高度，W表示所述输入图片的宽度，所述第一倍数t1、所述第二倍数t2、所述第三倍数t3和所述第四倍数t4的倍数逐渐增大。在图1的示例中，t1、t2、t3和t4分别为4倍，8倍，16倍和32倍。

示例性的，具体参阅如图2所示，在该实施例中，特征提取模块的输出维度数设置为Y＝4，各个输出维度的向下采样倍数分别设置为4倍，8倍，16倍，32倍，也即，该特征提取模块依次分别对输入图片进行4倍，8倍，16倍，32倍下采样处理，以提取输入图片的不同维度的特征，那么具体而言，该特征提取模块会执行如下过程：

利用第一下采样单元对该输入图片Input[C,H,W]，进行4倍下采样处理，得到第一输出特征图Out1[C1,H/4,W/4]；

利用第二下采样单元对该输入图片Input[C,H,W]进行8倍下采样处理，得到第二输出特征图Out2[C2,H/8,W/8]；

利用第三下采样单元对该输入图片Input[C,H,W]进行16倍下采样处理，得到第三输出特征图Out3[C3,H/16,W/16]；

利用第四下采样单元对该输入图片Input[C,H,W]进行32倍下采样处理，得到第四输出特征图Out4[C4,H/32,W/32]。

也即，特征提取模块会得到四个不同维度的输出特征图，包括第一输出特征图Out1[C1,H/4,W/4]、第二输出特征图Out2[C2,H/8,W/8]、第三输出特征图Out3[C3,H/16,W/16]和第四输出特征图Out4[C4,H/32,W/32]。

需要说明的是，特征提取模块在进行多维度的特征图输出时，可以按照如图2所示的方式依次进行下采样处理，因此，无需重复从最初的输入图片Input[C,H,W]单独分别进行下采样处理，可以进一步的提高处理效率，具体不做限定。

在一实施例中，用于对输入图片Input[C,H,W]进行4倍下采样处理的第一下采样单元，采用可变形卷积单元，而第二下采样单元、第三下采样单元和第四下采样单元可采用传统的常规卷积单元，具体不做限定。

可以理解的是，常规的卷积核形状固定，感受野无法根据具体目标的形状作出适应性的改变。而该实施例中，在提取输入图片的多个维度的输出特征图过程中，在提取低维特征时，也即提取第一输出特征图Out1[C1,H/4,W/4]时，使用可变形卷积单元进行下采样，可以优化输入图片中目标区域的感受野，实现感受野对具体目标区域更细粒度的覆盖，有利于提高精度；而且，由于后续的第二输出特征图等高维特征的提取，是基于4倍下采样的第一输出特征图Out1[C1,H/4,W/4]进行的，因此，在细粒度的感受野上使用传统常规卷积操作进行特征提取即可，使用传统常规卷积操作，减少处理量，在保证处理效果的同时，有利于计算图优化，加速网络推理速度，实现高速处理。

需要说明的是，图2所示的下采样过程仅是示例性说明，依据被测元件和/或检测场景的需要，下采样单元的数量设置以及下采样倍数还可以适应变化，比如输出5个维度或6个维度的输出特征图等等，下采样倍数也可以是其他逐级增加的变化情况，具体不做限定。为便于说明，后文中，将均以特征提取模块输出第一输出特征图Out1[C1,H/4,W/4]、第二输出特征图Out2[C2,H/8,W/8]、第三输出特征图Out3[C3,H/16,W/16]和第四输出特征图Out4[C4,H/32,W/32]这四个不同维度的特征图为例进行描述。

1.2关于无参联合表征模块

无参联合表征模块，用于从特征提取模块输出的Y个不同维度的输出特征图中，筛选出N个输出特征图，得到N个第一目标输出特征图，并对N个第一目标输出特征图进行处理，得到输入图片的联合表征特征图；根据所述联合表征特征图判定所述输入图片是否为负例图片。

在一实施例中，所述无参联合表征模块还用于：获取预先得到的上限数组U和下限数组L；确定输入图片的联合表征特征图的每个坐标位置的像素点的值中，未位于上限数组U和下限数组L对应坐标位置的参考数值之间的像素点的总数量；当所述总数量超过预设数量阈值，则判定所述输入图片为负例图片。其中，所述上限数组U包括所述联合表征特征图的不同坐标位置所分别对应的多个上限参考数值，所述下限数组L包括所述联合表征特征图的不同坐标位置所分别对应的多个下限参考数值，所述上限数组U和所述下限数组通过如下方式确定：统计不同类型样品的大量正例样本图片的联合表征特征图的像素点的数值分布，得到上限数组计算公式和下限数组计算公式；获取所述被测元件的大量正例样本图片的联合表征特征图中不同坐标位置的均值和标准差；将所述均值和标准差分别代入上限数组计算公式和下限数组计算公式，得到所述上限数组U和下限数组L。

上述内容中，主要包括两个方面的内容，第一方面，是对N个第一目标输出特征图进行对齐和拼接处理，得到输入图片的联合表征特征图的过程；第二方面，是获取到用于评定输入图片是否为负例图片的上限数组U和下限数组L的过程；第三方面，是通过上限数组U和下限数据L对输入图片进行负例判定的过程。下面分为这三方面内容分别进行说明：

联合表征特征图的获取过程：

该无参联合表征模块，需共享特征提取模块中的N个输出特征图，N小于M且筛选出的下采样倍数低的一些输出特征图，在一实施例中，无参联合表征模块用于：

a、从所述第一目标输出特征图筛选出最低维特征图；

b、对所述最低维特征图进行转维变形，得到初始转维特征图；

c、从所述第一目标输出特征图中，选取出所述最低维特征图的上一级维度特征图；

d，将所述初始转维度特征图与所述上一级维度特征图，进行广播后再转维处理，得到下一级转维特征图；

e、将所述下一级转维特征图和新的上一级维度特征图，进行广播后再转维处理，得到新的下一级转维特征图；

f、根据所述新的下一级转维特征图重复步骤e，直至所述第一目标输出特征图中的所有维度的特征图参与到转维处理中；其中，每次转维处理按照转维度从低到高顺序，依次从所述第一目标输出特征图选出所述新的上一级维度特征图。

该实施例中，以N等3，则所述无参联合表征模块用于：

筛选出所述第一输出特征图Out1[C1,H/t1,W/t1]、第二输出特征图Out2[C2,H/t2,W/t2]和第三输出特征图Out3[C3,H/t3,W/t3]，作为所述第一目标输出特征图；第一输出特征图Out1[C1,H/t1,W/t1]、第二输出特征图Out2[C2,H/t2,W/t2]和第三输出特征图Out3[C3,H/t3,W/t3]的维度逐级变高；

对所述第一输出特征图Out1[C1,H/t1,W/t1]进行转维变形，得到第一转维特征图[C1,4,H/t2,W/t2]；

将所述第一转维特征图[C1,4,H/t2,W/t2]与所述第二输出特征图Out2[C2,H/t2,W/t2]进行广播后再进行转维处理，得到第二转维特征图[C1+C2,16,H/t3,W/t3]；

将所述第二转维特征图[C1+C2,16,H/t3,W/t3]和所述第三输出特征图Out3[C3,H/t3,W/t3]进行广播后再转维处理，得到第三转维特征图[C1+C2+C3,H*W/t3]；

将所述第三转维特征图[C1+C2+C3,H*W/t3]，作为所述输入图片的联合表征特征图。

示例性的，在该实施例中，以前述Y为4个输出特征图，t1、t2、t3和t4分别为4倍，8倍，16倍和32倍为例说明无参联合表征模块的工作过程。无参联合表征模块，会从特征提取模块输出的第一输出特征图Out1[C1,H/4,W/4]、第二输出特征图Out2[C2,H/8,W/8]、第三输出特征图Out3[C3,H/16,W/16]和第四输出特征图Out4[C4,H/32,W/32]中，筛选出几个低维度的特征图，即第一输出特征图Out1[C1,H/4,W/4]、第二输出特征图Out2[C2,H/8,W/8]、第三输出特征图Out3[C3,H/16,W/16]作为第一目标输出特征图，因此，得到3个第一目标输出特征图。也就是说，该无参联合表征模块会共享特征提取模块中的几个低维输出特征图。

该无参联合表征模块，在筛选出N个第一目标输出特征图之后，还会对这筛选出的这N个第一目标输出特征图进行对齐和拼接处理，得到输入图片的联合表征特征图，该联合表征特征图，表征了输入图片的融合维度的特征，可用于正负图片例的判别。

具体而言，如图3所示，N个第一目标输出特征图包括第一输出特征图Out1[C1,H/4,W/4]、第二输出特征图Out2[C2,H/8,W/8]、第三输出特征图Out3[C3,H/16,W/16]，则无参联合表征模块，具体用于：

对第一输出特征图Out1[C1,H/4,W/4]进行转维变形(Reshape)，得到第一转维特征图[C1,4,H/8,W/8]；将第一转维特征图[C1,4,H/8,W/8]与第二输出特征图Out2[C2,H/8,W/8]进行广播后再转维处理，得到第二转维特征图[C1+C2,16,H/16,W/16]；将第二转维特征图[C1+C2,16,H/16,W/16]和第三输出特征图Out3[C3,H/16,W/16]进行广播后再转维处理，得到第三转维特征图[C1+C2+C3,H*W/16]，将第三转维特征图[C1+C2+C3,H*W/16]作为输入图片的联合表征特征图，也即，该第三转维特征图[C1+C2+C3,H*W/16]便是输入图片的联合表征特征图。从这里也可以看出，输出的第三转维特征图[C1+C2+C3,H*W/16]，被转化成了二维的特征图。

需要说明的是，这里仅是以N为3、t1、t2、t3和t4分别为4倍，8倍，16倍和32倍为例进行说明，如果是其他数量的第一目标输出特征图，则以此类推，从而得到输入图片的联合表征特征图，具体不做限定。

获取上限数组U和下限数组L的过程：

除此之外，该无参联合表征模块还会统计分析得到上限数组U和下限数组L的过程，其中，该上限数组U和下限数组L，是统计不同类型样品的大量正例样本图片的联合表征特征图的像素点的数值分布，得到上限数组计算公式和下限数组计算公式；再利用需要用到该产线的被测元件的大量正例样本图片(例如1000张)的联合表征特征图不同位置像素点的均值和标准差；将所述均值和标准差分别代入上限数组计算公式和下限数组计算公式，得到的该产线的被测元件的两个判定数组，也即该产线的被测元件的上限数组U和下限数组L，是用于判定输入图片是正例图片还是负例图片的判定依据。

可以理解的是，由于在六面体检测产线上，拍摄的元件的正例图片的相似度比较高，这是因为正常的生产环节，元件不存在缺陷或者相似的情况肯定是占大多数的，所以说，通过特征提取模块提取的高维特征也相似，正例图片的联合表征特征图在高维空间中是呈簇分布的，而负例图片的联合表征特征图的数据分布与正例图片的情况自然不同。发明人发现了这个特点，并基于该特点，特设计出了上述上限数组U和下限数组L，具体通过对大量不相同类型的样品元件的正例样本图片的联合表征特征图的统计分析，得到上限数组U和下限数组L的通用表达方式，也即上限数组计算公式和下限数组计算公式。

具体而言，上限数组U下限数组L的获取过程可直观的通过如下公式获取：

上限数组U＝Q1+1.35R，下限数组L＝Q2-1.35R。

其中，e表示自然对数函数的底数，M表示所述被测元件的大量正例样本图片对应的所述联合表征特征图中每个相同坐标位置的均值，σ表示所述被测元件的大量正例样本图片对应的联合表征特征图中每个相同坐标位置的标准差，e表示自然对数函数的底数，γ表示常数。

为便于理解上限数组U和下限数组L的内容，这里不妨举例说明：

例如，假定有被测元件的N张正例样本图片，这N张正例样本图片分别通过上述特征提取模块和无参联合表征模块处理后，会得到每张正例样本图片对应的联合表征特征图，也即会得到N张联合表征特征图，假设为输出结果Out_zf，其形状为[N,C1+C2+C3,H*W/16]；如前述分析，得到的每张正例样本图片对应的联合表征特征图是一种二维特征图，然后会统计这多张联合表征特征图中，同个坐标位置的像素点的均值，以及同个坐标位置的像素点的标准差，也就是说，在N维度上求每个坐标位置的均值M和标准差σ，由于联合表征特征图包括多个坐标位置，因此可对应得到均值数组Mean_zf，和标准差数组Std_zf，将均值数组Mean_zf和标准差数组Std_zf带入上述公式，便可计算得到用于被测元件的是否为正负例图片的上限数组U和下限数组L。

可以看出，发明人基于大量的不同样品元件的正例样品图片的联合表征特征图片的数值分布特征，设计了上述用于判定任一种类型的被测元件的输入图片是否为正负例图片的通用公式，可快速判定输入图片是否为正负例图片，以便后续可选择性的选择多维融合表征模块是否执行后续的缺陷识别过程。尤其是应用在大量被测元件的场景下，可极大的提高处理效率。

判定输入图片是否为负例图片的过程：

在得到上述被测元件对应的上限数组U和下限数组L之后，就相当于获取了被测元件对应的输入图片是否为负例图片的判定依据。具体而言，是先获取输入图片的联合表征特征图中，每个位置的像素点的值，未位于上限数组U和下限数组L对应坐标位置的数值之间的像素点的总数量。比如，判定输入图片的联合表征特征图中的坐标位置1的像素点的值，未位于上限数组U和下限数组L中，该坐标位置1的两个数值之间，则记像素点的总数量加1，以此类推，判定输入图片的联合表征特征图中的坐标位置2的像素点的值，未位于上限数组U和下限数组L中，该坐标位置2的两个数值之间，则记像素点的总数量再加1；以此类推，直至输入图片的联合表征特征图的所有坐标位置均判定完毕，得到最终的像素点的总数量。当所述总数量超过预设数量阈值，则判定所述输入图片为负例图片；当所述总数量未超过预设数量阈值，则判定所述输入图片为正例图片。

需要说明的是，该预设数量阈值是一种经验值，具体不做限定。

可见，在该无参联合表征模块中，会共享特征提取模块中的部分高维特征，在没有引入包含额外变量和学习参数的情况下，实现对不同维度的输出特征图的联合表征，具有运行速度快，资源消耗小的特点，满足六面体检测的高速需求；同时利用正例图片输出联合表征特征中的丰富信息，构造正例的上限和下限数组，起到了实现对正例和负例的快速判别，也就提高后续缺陷识别的高效率。

1.3关于多维融合表征模块

多维融合表征模块，用于当判定输入图片为负例图片后，输出输入图片的预测信息。

在一实施例中，该多维融合表征模块，用于：用于从特征提取模块输出的Y个不同维度的输出特征图中，筛选出P个输出特征图，得到P个第二目标输出特征图，并对P个第二目标输出特征图进行信息融合处理，得到用于检测的预测特征图，对预测特征图进行预测得到预测信息，其中，第二目标输出特征图包括维度最高的输出特征图，也即最高维特征图。

需要说明的是，传统的像素级分割网络，在进行缺陷识别时，是对分割出的特征图，进行逐级上采样以还原至输入图片的原图尺寸，该过程将消耗大量的资源和时间，难以满足高速推理的要求。该实施例中，通过共享训练好的特征提取模块提取出的部分高维特征，逐步进行融合上采样，再进行目标区域信息的预测，能够在保证精度要求的前提下，提升了网络推理速度。

在一实施例中，该多维融合表征模块包括自融合单元，高低维融合单元和预测单元三个单元构成，各个单元的功能或作用如下：

自融合单元，用于对P个第二目标输出特征图中的最高维输出特征图进行冗余信息消除处理，得到目标特征图；

高低维融合单元，用于对目标特征图和P个第二目标输出特征图中的其他输出特征图逐级进行上采样融合，以得到预测特征图；

预测单元，用于对预测特征图进行预测特征图进行检测得到预测信息。

在一实施例中，所述自融合单元具体用于：

使用第一卷积单元将P个所述第二目标输出特征图中的最高维输出特征图的通道数调整为K1，且宽和高的维度保持不变，得到初步目标特征图；

使用最大池化MaxPool按照不同的池化参数，分别对所述初步目标特征图进行最大池化处理，以分别生成多个尺寸大小不同的缩小特征图；

对每个所述缩小特征图执行还原转变操作，以将每个所述缩小特征图的宽和高分别还原到与所述初步目标特征图的大小一致，得到多个还原特征图；

在每个所述还原特征图的通道维度求最大值，生成每个所述还原特征图对应的待连接特征图，得到多个待连接特征图；

对多个所述待连接特征图执行叠加操作，得到合并特征图；

通过第二卷积单元对所述合并特征图进行融合通道，生成融合通道特征图；

使用Sigmoid操作对所述融合通道特征图中的数值进行压缩，生成压缩特征图；

将所述初步目标特征图与所述压缩特征图进行相乘，得到所述目标特征图。

在一实施例中，所述P个所述第二目标输出特征图包括第二输出特征图Out2[C2,H/t2,W/t2]、第三输出特征图Out3[C3,H/t3,W/t3]和第四输出特征图Out4[C4,H/t4,W/t4]；所述自融合单元具体用于：

使用第一卷积单元将所述第四输出特征图Out4[C4,H/t4,W/t4]的通道数调整为K1且宽和高的维度保持不变，得到初步目标特征图[K1,H/t4,W/t4]；

使用最大池化MaxPool按照三种不同的池化参数，对所述初步目标特征图[K1,H/t4,W/t4]进行最大池化处理，以分别生成[K1,a,a]、[K1,b,b]和[K1,c,c]尺寸大小的缩小特征图；

对每个所述缩小特征图执行还原转变操作，以将每个所述缩小特征图的宽和高分别还原到与所述初步目标特征图[K1,H/t4,W/t4]的大小一致，得到3个还原特征图[K1,H/t4,W/t4]；

在每个所述还原特征图的通道维度求最大值，生成每个所述还原特征图对应的待连接特征图，得到3个待连接特征图[1,H/t4,W/t4]；

对3个所述待连接特征图[1,H/t4,W/t4]执行叠加操作，得到合并特征图[3,H/t4,W/t4]；

通过第二卷积单元对所述合并特征图[3,H/t4,W/t4]融合通道，生成融合通道特征图[1,H/t4,W/t4]；

使用Sigmoid操作对所述融合通道特征图[1,H/t4,W/t4]中的数值进行压缩，生成压缩特征图Sigmoid[1,H/t4,W/t4]；

将所述初步目标特征图[K1,H/t4,W/t4]与压缩特征图sigmoid[1,H/t4,W/t4]进行相乘，得到所述目标特征图Output[K1,H/t4,W/t4]。

示例性的，以特征提取模块输出第一输出特征图Out1[C1,H/4,W/4]、第二输出特征图Out2[C2,H/8,W/8]、第三输出特征图Out3[C3,H/16,W/16]和第四输出特征图Out4[C4,H/32,W/32]为例，则N为4，P为3，那么P个第二目标输出特征图，则对应包括第四输出特征图Out4[C4,H/32,W/32]、第三输出特征图Out3[C3,H/16,W/16]和第二输出特征图Out2[C2,H/8,W/8]。其中，第四输出特征图为最高维输出特征图，K1、a、b、c可根据需求设置。

在一实施例中，所述高低维融合单元具体用于：

a、对所述目标特征图和所述最高维输出特征图的下一级维度特征图；进行预设倍数的上采样融合，输出下一级融合特征图；

b、将所述下一级融合特征图和新的下一级维度特征图，进行预设倍数的上采样融合，输出新的下一级融合特征图；

c、根据所述新的下一级融合特征图重复步骤b，直至所述第二目标输出特征图中除所述最高维输出特征图外的其他所有维度的特征图都参与到融合处理中；其中，每次融合处理按照转维度从高到低顺序，依次从所述第二目标输出特征图选出所述新的下一级维度特征图。

在一实施例中，假设所述P个所述第二目标输出特征图包括第二输出特征图Out2[C2,H/t2,W/t2]、第三输出特征图Out3[C3,H/t3,W/t3]和第四输出特征图Out4[C4,H/t4,W/t4]，第二输出特征图Out2[C2,H/t2,W/t2]、第三输出特征图Out3[C3,H/t3,W/t3]和第四输出特征图Out4[C4,H/t4,W/t4]的维度逐渐变高，则结合上述实施例，所述高低维融合单元具体用于：

分别对所述目标特征图Output[K1,H/t4,W/t4]和所述第三输出特征图Out3[C3,H/t3,W/t3]进行预设倍数的上采样融合，输出第一融合特征图[K2,H/t3,W/t3]，K2表示所述第一融合特征图的通道数；预设倍数可以是2倍

将所述第一融合特征图[K2,H/t3,W/t3]和所述第二输出特征图Out2[C2,H/t2,W/t2]，进行预设倍数的上采样融合，输出第二融合特征图[K3,H/t2,W/t2]，K3表示所述第二融合特征图的通道数；预设倍数可以是2倍

将所述第二融合特征图[K3,H/t2,W/t2]作为所述预测特征图。

其中，K2和K3可以根据经验设置。

示例性，设定所述P个所述第二目标输出特征图包括第二输出特征图Out2[C2,H/8,W/8]、第三输出特征图Out3[C3,H/16,W/16]和第四输出特征图Out4[C4,H/32,W/32]，假定K1、K2、K3分别为256,128和64，a、b、c分别为1、3和5为例，说明下自融合单元和高低维融合单元的处理过程。

具体的，以图5为例，说明下高低维融合的处理过程：高低维融合单元，会将特征提取模块的最高维特征图，也即第四输出特征图Out4[C4,H/32,W/32]输入到自融合单元，自融合单元对该第四输出特征图Out4[C4,H/32,W/32]先是进行消除冗余信息处理，使得自融合单元输出目标特征图[256,H/32,W/32]；然后，便是结合该目标特征图[256,H/32,W/32]与其余的第三输出特征图Out3[C3,H/16,W/16]和第二输出特征图Out2[C2,H/8,W/8]，进行逐级的高低维融合处理过程。

需要说明的是，这里仅是以N为3进行说明，如果是其他数量的第二目标输出特征图，则以此类推上述逐级高低维融合处理的过程，从而将最后输出的融合特征图作为最终的预测特征图，具体这里不做限定。

在一实施例中，自融合单元对该第四输出特征图Out4[C4,H/32,W/32]先是进行消除冗余信息处理，使得自融合单元输出目标特征图[256,H/32,W/32]的过程，可如图5所示，为了便于描述和画图，这里不妨假设输入该自融合单元的特征图为Input[C,H,W]。

可以理解的是，结合上述实施例，该特征图Input[C,H,W]实际为第四输出特征图Out4[C4,H/32,W/32]，这里以特征图为Input[C,H,W]为输入描述自融合单元的处理过程：首先自融合单元使用1*1卷积Conv将输入的特征图Input[C,H,W]的通道C调整为256，而W宽和高H的维度保持不变，从而得到初步目标特征图[256,H,W]，然后使用最大池化MaxPool按照三种不同的池化参数对该初步目标特征图[256,H,W]进行最大池化处理，以分别生成[256,1,1]、[256,3,3]和[256,5,5]尺寸大小的缩小特征图；对每个缩小特征图执行还原转变(Resize)操作将缩小特征图宽高还原到输入尺寸生成初步目标特征图[256,H,W]大小的还原特征图；在每个还原特征图的通道维度求最大值生成[1,H,W]的特征图；对3个[1,H,W]的特征图执行合并连接(Concat)操作生成[3,H,W]大小的合并特征图[3,H,W]；最后通过卷积Conv对该合并特征图[3,H,W]融合通道生成[1,H,W]大小的融合通道特征图；使用Sigmoid对融合通道特征图[1,H,W]中的数值进行压缩，将其数值约束到0到1之间，生成[1,H,W]大小的压缩特征图Sigmoid[1,H,W]，最后，将第一个卷积操作后的初步目标特征图[256,H,W]与Sigmoid操作后的压缩特征图Sigmoid[1,H,W]进行相乘，生成大小为的目标特征图Output[256,H,W]。

也就是说，如果该特征图Input[C,H,W]实际为第四输出特征图Out4[C4,H/32,W/32]时，那么自融合单元的处理过程如下：

使用第一卷积单元将输入的第四输出特征图Out4[C4,H/32,W/32]的通道数调整为256，且宽高的维度保持不变，得到初步目标特征图[256,H/32,W/32]；

使用最大池化MaxPool对所述初步目标特征图[256,H/32,W/32]进行最大池化处理，以分别生成[256,1,1]、[256,3,3]和[256,5,5]尺寸大小的缩小特征图；

对每个所述缩小特征图执行还原转变操作，以将每个所述缩小特征图的宽高分别还原到与所述初步目标特征图[256,H/32,W/32]大小一致，得到3个还原特征图[256,H/32,W/32]；

在每个所述还原特征图的通道维度求最大值，生成每个所述还原特征图对应的待连接特征图[1,H/32,W/32]，得到3个待连接特征图[1,H/32,W/32]；

对3个待连接特征图[1,H/32,W/32]执行叠加操作，生成合并特征图[3,H/32,W/32]；

通过第二卷积单元对所述合并特征图[3,H/32,W/32]融合通道，生成融合通道特征图[1,H/32,W/32]；

使用Sigmoid操作对所述融合通道特征图[1,H/32,W/32]中的数值进行压缩，生成压缩特征图Sigmoid[1,H/32,W/32]；

最后，将所述初步目标特征图[256,H/32,W/32]与所述压缩特征图Sigmoid[1,H/32,W/32]进行相乘，得到所述目标特征图Output[256,H/32,W/32]。则自融合单元最后输出的目标特征图为[256,H/32,W/32]。

在该实施例中，提出了一种具体的消除冗余信息处理的过程，经过卷积、融合、压缩和合并等操作，可以消除输入至该自融合单元的特征图的冗余信息，有利于提高后续精度和处理效率。需要说明的是，上述示例中的压缩数值和卷积、最大池化处理等参数，还可以是其他的情况，这里不做具体限定，主要的是整体的消除冗余信息处理过程。

在一实施例中，将高低维融合单元对输入的两个特征图进行高低维融合的过程，结合上述实施例，高低维融合单元有两个高低维融合过程，实际两个输入至高低维融合单元的两个特征图是：目标特征图[256,H/32,W/32]与特征提取模块输出的第三输出特征图Out3[C3,H/16,W/16]；以及第一融合特征图和第二输出特征图Out2[C2,H/8,W/8]。为便于理解，这里先假设输入高低维融合单元的两个特征图分别是Input1[C,H,W]和Input2[C2,H2,W2]为例进行说明。

可如图6所示：本高低维融合单元，首先分别对输入Input1[C1,H1,W1]和输入Input2[C2,H2,W2]进行Resize操作，分别输出[C1,H,W]和[C2,H,W]的特征图；对[C1,H,W]的特征图分别在通道维度上进行最大值Max和均值Mean操作，然后将最大值Max和均值Mean后的二个输出进行相减Sub操作，输出[1,H,W]的特征图，对[C2,H,W]的特征图执行相同操作；Input1[C1,H1,W1]和输入Input2[C2,H2,W2]各自对应的[1,H,W]的特征图，对由Sub操作得到两个[1,H,W]的特征图进行Concat操作，输出[2,H,W]的特征图；通过1*1卷积Conv融合[2,H,W]的特征图的通道信息，输出[1,H,W]的特征图；使用Tanh操作对该[1,H,W]的特征图中的数值进行压缩，将其数值约束到-1到1之间，生成[1,H,W]大小的特征图；分别与第一步进行Resize操作后的两个输入相乘Product，输出[C1,H,W]的特征图和[C2,H,W]的特征图；将两个输出进行Concat操作，输出[C1+C2,H,W]的特征图；最后再通过1*1卷积Conv融合通道信息，输出[C,H,W]的特征图，便是最终的预测特征图。

在该实施例中，提出了一种具体的高低维融合的过程，同样，经过卷积、融合、压缩、高低维合并等操作，对输入的两个不同维度的特征图进行操作，可以将两个维度的各自包含的位置信息和语义信息进行互补融合，有利于提升模型的预测精度，实现高精度。需要说明的是，上述示例中的压缩数值和卷积、最大池化处理等参数，还可以是其他的情况，这里不做具体限定，主要的是整体对两个不同维度的高低维融合的处理过程。

同理，将Input1[C1,H1,W1]和输入Input2[C2,H2,W2]，分别替换为目标特征图[256,H/32,W/32]与第三输出特征图Out3[C3,H/16,W/16]，则是同样的处理过程；以及将Input1[C1,H1,W1]和输入Input2[C2,H2,W2]，分别为第一融合特征图和第二输出特征图Out2[C2,H/8,W/8]，则是同样的处理过程，这里不重复说明，可参阅图6所示的处理过程，最后得到预测特征图[64,H/8,W/8]。

本申请实施例中，预测单元在输入的8倍下采样的预测特征图[64,H/8,W/8]上，进行预测区域的预测，相比在原图尺寸上进行操作，压缩了操作数据，加速了模型推理速度，也提高了处理速度。

在一实施例中，提供了一种预测单元，如图7所示，首先对输入的特征图Input[64,H/8,W/8]通过1*1卷积Conv调整通道，输出[1,H/8,W/8]的特征图；再次对该[1,H/8,W/8]的特征图进行Resize操作，输出[H*W/64]的一维特征向量；通过全连接层FC，输出[Classnum*6]的一维特征向量；进行Resize操作，输出[Classnum,6]的预测信息数组。

其中，预测信息数组的行数Classnum为样本缺陷的类别数，每行长度为6的行向量为该类别的预测信息。其中第一列为输入图片中存在当前缺陷类别的概率，当概率大于设定阈值时判定存在该类别的缺陷，之后的五列信息可为其他有效预测信息；比如包括输入特征图宽的比例等。

需要说明的是，在上述六面体检测系统中，由特征提取模块和多维融合表征模块需先级联进行标注训练，标注方式可参阅前述预测信息数组对应的输出信息进行标定，然后通过反向传播梯度进行迭代训练，以更新两个模块的参数，直至多维融合表征模块的输出与预测真值符合条件；然后再使用经过训练完毕的模块参与六面体缺陷识别中，值得注意的是，由于无参联合表征模块不含可学习参数，所以无需参与训练，也能进一步提高训练效率。

B、六面体检测方法

在一实施例中，如图8所示，提供了一种六面体检测方法，包括如下步骤：

S10：对被测元件对应的输入图片进行不同倍数的下采样处理，得到Y个不同维度的输出特征图。

S20：从所述Y个不同维度的输出特征图中，筛选出N个输出特征图，得到N个第一目标输出特征图，对N个所述第一目标输出特征图进行处理，得到所述输入图片的联合表征特征图。

S30：根据所述联合表征特征图判定所述输入图片是否为负例图片。

S40：当判定所述输入图片为负例图片后，输出输入图片的预测信息。

需要说明的是，该六面体检测方法所实现的更多内容和解释，可对应参阅前述六面体检测系统所实现的内容，这里不重复描述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

C、计算机设备、计算机存储介质和计算机程序产品

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或者是一种六面体检测设备，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作系统、计算机程序和数据库。该内存储器为可读存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储六面体检测方法所涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种六面体检测方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

对被测元件对应的输入图片进行不同倍数的下采样处理，得到Y个不同维度的输出特征图；

从所述Y个不同维度的输出特征图中，筛选出N个输出特征图，得到N个第一目标输出特征图，对N个所述第一目标输出特征图进行处理，得到所述输入图片的联合表征特征图；根据所述联合表征特征图判定所述输入图片是否为负例图片；

当判定所述输入图片为负例图片后，输出输入图片的预测信息。

在一个实施例中，提供了一个或多个存储有计算机程序的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机程序，计算机程序被一个或多个处理器执行时实现以下步骤：

对被测元件对应的输入图片进行不同倍数的下采样处理，得到Y个不同维度的输出特征图；

从所述Y个不同维度的输出特征图中，筛选出N个输出特征图，得到N个第一目标输出特征图，对N个所述第一目标输出特征图进行处理，得到所述输入图片的联合表征特征图；根据所述联合表征特征图判定所述输入图片是否为负例图片；

当判定所述输入图片为负例图片后，输出所述输入图片的预测信息。

在一个实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序被处理器执行时实现上述六面体检测方法的步骤或六面体检测系统的功能。

关于计算机设备、计算机存储介质和计算机程序产品所实现的功能内容或步骤，可对应参阅前述六面体检测系统的相应描述，这里不重复描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种六面体检测系统，其特征在于，包括：

特征提取模块，用于对被测元件对应的输入图片进行不同倍数的下采样处理，得到Y个不同维度的输出特征图；

无参联合表征模块，用于从所述Y个不同维度的输出特征图中，筛选出N个输出特征图，得到N个第一目标输出特征图，对N个所述第一目标输出特征图进行处理，得到所述输入图片的联合表征特征图；根据所述联合表征特征图判定所述输入图片是否为负例图片；

多维融合表征模块，用于当所述无参联合表征模块判定所述输入图片为负例图片后，输出所述输入图片的预测信息；

所述无参联合表征模块还用于：

a、从所述第一目标输出特征图筛选出最低维特征图；

b、对所述最低维特征图进行转维变形，得到初始转维特征图；

c、从所述第一目标输出特征图中，选取出所述最低维特征图的上一级维度特征图；

d，将所述初始转维特征图与所述上一级维度特征图，进行广播后再转维处理，得到下一级转维特征图；

e、将所述下一级转维特征图和新的上一级维度特征图，进行广播后再转维处理，得到新的下一级转维特征图；

f、根据所述新的下一级转维特征图重复步骤e，直至所述第一目标输出特征图中的所有维度的特征图参与到转维处理中；其中，每次转维处理按照转维度从低到高顺序，依次从所述第一目标输出特征图选出所述新的上一级维度特征图；

将所述第一目标输出特征图中的所有维度的特征图参与到转维处理后的转维特征图作为所述联合表征特征图。

2.如权利要求1所述的六面体检测系统，其特征在于，所述无参联合表征模块还用于：

获取上限数组U和下限数组L；确定所述联合表征特征图的每个坐标位置的像素点的值中，未位于上限数组U和下限数组L对应位置的参考数值之间的像素点的总数量；当所述总数量超过预设数量阈值，则判定所述输入图片为负例图片；

其中，所述上限数组U包括所述联合表征特征图的不同坐标位置所分别对应的多个上限参考数值，所述下限数组L包括所述联合表征特征图的不同坐标位置所分别对应的多个下限参考数值，所述上限数组U和所述下限数组通过如下方式确定：统计不同类型样品的大量正例样本图片的联合表征特征图的像素点的数值分布，得到上限数组计算公式和下限数组计算公式；获取所述被测元件的大量正例样本图片的联合表征特征图中不同坐标位置的均值和标准差；将所述均值和标准差分别代入上限数组计算公式和下限数组计算公式，得到所述上限数组U和下限数组L。

3.如权利要求2所述的六面体检测系统，其特征在于，所述上限数组U下限数组L通过如下公式获取：

 R=， Q1=，Q2=；

所述上限数组U=Q1+1.35R，所述下限数组L=Q2-1.35R；

其中，表示所述被测元件的大量正例样本图片对应的所述联合表征特征图中每个相同坐标位置的均值，表示所述被测元件的大量正例样本图片对应的联合表征特征图中每个相同坐标位置的标准差，e表示自然对数函数的底数，表示常数。

4.如权利要求1所述的六面体检测系统，其特征在于，所述多维融合表征模块用于：

从所述Y个不同维度的输出特征图中，筛选出P个输出特征图，得到P个第二目标输出特征图，并对P个所述第二目标输出特征图进行信息融合处理，得到用于检测的预测特征图，根据所述预测特征图进行检测得到预测信息。

5.如权利要求4所述的六面体检测系统，其特征在于，所述多维融合表征模块包括：

自融合单元，用于对P个所述第二目标输出特征图中的最高维输出特征图进行冗余信息消除处理，得到目标特征图；

高低维融合单元，用于：a1、对所述目标特征图和所述P个所述第二目标输出特征图中的最高维输出特征图的下一级维度特征图；进行预设倍数的上采样融合，输出下一级融合特征图；b1、将所述下一级融合特征图和新的下一级维度特征图，进行预设倍数的上采样融合，输出新的下一级融合特征图；c1、根据所述新的下一级融合特征图重复步骤b1，直至所述第二目标输出特征图中除所述最高维输出特征图外的其他所有维度的特征图都参与到融合处理中，将最后融合得到的融合特征图作为预测特征图；其中，每次融合处理按照转维度从高到低顺序，依次从所述第二目标输出特征图选出所述新的下一级维度特征图；

预测单元，用于根据所述预测特征图进行预测，得到预测信息。

6.如权利要求5所述的六面体检测系统，其特征在于，所述自融合单元具体用于：

使用第一卷积单元将P个所述第二目标输出特征图中的最高维输出特征图的通道数调整为K1，且宽和高的维度保持不变，得到初步目标特征图；

使用最大池化MaxPool按照不同的池化参数，分别对所述初步目标特征图进行最大池化处理，以分别生成多个尺寸大小不同的缩小特征图；

对每个所述缩小特征图执行还原转变操作，以将每个所述缩小特征图的宽和高分别还原到与所述初步目标特征图的大小一致，得到多个还原特征图；

在每个所述还原特征图的通道维度求最大值，生成每个所述还原特征图对应的待连接特征图，得到多个待连接特征图；

对多个所述待连接特征图执行叠加操作，得到合并特征图；

通过第二卷积单元对所述合并特征图进行融合通道，生成融合通道特征图；

使用Sigmoid操作对所述融合通道特征图中的数值进行压缩，生成压缩特征图；

将所述初步目标特征图与所述压缩特征图进行相乘，得到所述目标特征图。

7.一种六面体检测方法，其特征在于，所述方法包括：

对被测元件对应的输入图片进行不同倍数的下采样处理，得到Y个不同维度的输出特征图；

从所述Y个不同维度的输出特征图中，筛选出N个输出特征图，得到N个第一目标输出特征图，对N个所述第一目标输出特征图进行处理，得到所述输入图片的联合表征特征图；

根据所述联合表征特征图判定所述输入图片是否为负例图片；

当判定所述输入图片为负例图片后，输出所述输入图片的预测信息；

所述对N个所述第一目标输出特征图进行处理，得到所述输入图片的联合表征特征图，包括：

a、从所述第一目标输出特征图筛选出最低维特征图；

b、对所述最低维特征图进行转维变形，得到初始转维特征图；

c、从所述第一目标输出特征图中，选取出所述最低维特征图的上一级维度特征图；

d，将所述初始转维特征图与所述上一级维度特征图，进行广播后再转维处理，得到下一级转维特征图；

e、将所述下一级转维特征图和新的上一级维度特征图，进行广播后再转维处理，得到新的下一级转维特征图；

f、根据所述新的下一级转维特征图重复步骤e，直至所述第一目标输出特征图中的所有维度的特征图参与到转维处理中；其中，每次转维处理按照转维度从低到高顺序，依次从所述第一目标输出特征图选出所述新的上一级维度特征图；

将所述第一目标输出特征图中的所有维度的特征图参与到转维处理后的转维特征图作为所述联合表征特征图。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求7所述的六面体检测方法的步骤。

Images