CN114626443A - 基于条件分支和专家系统的对象快速检测方法 - Google Patents

Abstract

本发明公开了一种基于条件分支和专家系统的对象快速检测方法，包括：1)采集X光图像；2)通过条件分支获得RGB、HSV以及梯度的图像特征图；3)利用区域建议网络获得ROI区域；4)利用分支特征对齐，得到三种ROI特征图；5)计算三种特征图的可贡献度，根据可贡献度进行特征串联，得到加权融合的特征向量；6)将三个加权融合的特征向量输入三个专家系统网络，得到对象类别和位置；7)对三个专家系统网络的预测结果进行加权融合，识别检测对象的类别和位置并标注。本发明基于条件分支和专家系统进行对象检测，将复杂网络分解为网络分支从而并行计算，不仅加快了网络推理速度，而且加强了特征空间与解空间的映射能力，提高了对象检测的速度和精度。

Description

基于条件分支和专家系统的对象快速检测方法

技术领域

本发明涉及智能家电检测的技术领域，尤其是指一种基于条件分支和专家系统的对象快速检测方法，实现了自动检测，降低工作成本，提高了PCBA家电生产装配线上产品缺陷以及X光安检中违禁品的检测精度与效率。

背景技术

随着人工智能的发展，利用机器替代人力实现劳力工作渐渐成为了新的科技发展趋势，特别是在智能家电检测以及X光安全检查领域体现尤为突出。PCBA智能检测就是针对目前滞后的手工/半自动平台测试及日益提升的产能效率需求而诞生的。通过通用接驳台与现有生产线实现无缝连接，配合现有的ICT、功能测试设备，可以组成一条完整的自动化测试线，全自动在线测试。而X光安全检测随着机器视觉的理论进步从而得到了一定的技术更新，相关机构经常会在地铁，飞机场等公共场合安置X光安检仪进行安全检测，从源头预防危险的发生。

现有技术中，家电PCBA智能检测利用算法实现自动检测，但是目前所使用的传统算法中过于依赖先验知识，针对当前短期内检测对象的特点对算法进行固定的设计，例如特征选取，阈值限定等。虽然以上传统算法可以实现自动检测，但泛化能力较差，当有新一批数据引进时，需要重新调整算法以适应新数据。为了提高检测性能，算法中经常会加入大量判断条件，从而大大降低了对象的检测速度，造成了检测实时性差的问题，而在X光安全检测领域也存在同样的问题，目前的检测手段主要靠人工操作，需要大量人力资源，且要对检测人员进行长时间的专业培训。在检测的过程中，由于长期的精力集中，可能导致工作人员检测的注意力下降，分散等情况，从而导致检测中随着时间的增长，时常出现漏检和误检的情况，为了降低漏误检，有时还需要调整安检通道的运行速度以使得检测人员能够找出其中的违禁品。

所以无论是PCBA家电检测还是X光安全检测，目前所用到的检测方法都非常低效，不适合长期运维。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于条件分支和专家系统的对象快速检测方法，实现对家电生产线以及违禁品安全排查的自动检测，不需要培训专门的工作人员，降低了对人力物力的投入，并且可以保持稳定的检测精度和检测速度，实现了高效率的工作。

为实现上述目的，本发明所提供的技术方案为：基于条件分支和专家系统的对象快速检测方法，包括以下步骤：

1)采集传输送带上检测对象的X光图像；

2)将X光图像输入三个条件分支分别获得RGB、HSV以及梯度的图像特征图；

3)将RGB图像特征图输入区域建议网络，获得ROI区域；

4)将ROI区域利用分支特征对齐，得到对应RGB、HSV、梯度三种特征图的ROI特征图；

5)针对于ROI区域，计算三种ROI特征图对于检测的可贡献度，根据可贡献度为三个条件分支分配相应的权重向量并根据各自的权重向量进行特征串联，其中，每一种ROI特征图都要计算出一个贡献向量，并和贡献向量做点乘，得到三个经过加权融合的特征向量；

6)将三个经过加权融合的特征向量输入对应的三个专家系统网络，得到对象类别和位置；

7)根据贡献向量对三个专家系统网络的预测结果进行加权融合，识别出检测对象的类别和位置并标注。

进一步，在步骤1)中，将检测对象置于传送带，传送带将检测对象运至检测区时，X光射线仪通过准直器发射出扇形射线束对检测对象进行扫描，扇形射线束穿过检测对象内部并投射在接收屏上，通过计算机渲染技术得到检测对象的X光图像。

进一步，在步骤2)中，每个分支设置一个特征提取网络，将X光图像经过颜色空间变换后分别送入三个条件分支，运算后得到RGB、HSV和梯度的图像特征图；

所述特征提取网络为深层网络，由卷积层、池化层与非线性映射层组成；

其卷积过程如下：

式中，f₁[x,y]为图像在(x,y)区域的数据，w[x,y]为卷积核，f₂[x,y]为在(x,y)区域卷积后所得特征，n_i、n_j为距离卷积中心的偏移距离，n₁、n₂分别为卷积垂直方向最大偏移距离和水平方向最大偏移距离，f[x+n_i,y+n_j]为图像在(x+n_i,y+n_j)的数值，w[n_i,n_j]为卷积核在(n_i,n_j)位置的权重；

其非线性映射过程：

f₃[x,y]＝max(0,f₂[x,y])

式中，f₃[x,y]为做非线性映射后得到的特征图。

进一步，在步骤3)中，RGB图像特征图中的每一个点定义为锚点，每个锚点以自身为中心定义9个锚框，除去超出图像区域的锚框，对剩下的锚框特征图进行二分类和边框回归：

a、二分类：y＝f[f₄(x,y)]

式中，y为前景边框的分类预测，f₄(x,y)为锚框特征图，f为分类器，分类器人为设定一个阈值，大于此阈值的预测为前景，并加入后续步骤计算，小于此阈值的预测为背景并被抛弃；

b、边框回归：r＝[Δx,Δy,Δh,Δw]＝g(f₄[x,y])

式中，r为前景边框的偏移量，g为线性回归函数；Δx,Δy为锚框的中心偏移预测；Δh,Δw为锚框尺度缩放因子；根据前景回归对锚框进行位置及尺度调整；然后对锚框使用非极大值抑制进行筛选，剔除重叠的锚框；再取置信度最高的前n个锚框，作为ROI区域，进入后续步骤处理。

进一步，在步骤4)中，得到区域建议网络提取的ROI区域后，将ROI区域进行尺度适应，按原图与特征图大小的比例进行缩放，然后将缩放后的区域对齐至RGB、HSV以及梯度特征图，得到三种不同的ROI特征图。

进一步，在步骤5)中，针对于ROI区域，计算三种ROI特征图对于检测的可贡献度，根据可贡献度为三个条件分支分配相应的权重向量并根据各自的权重向量进行特征串联；

可贡献度由如下公式进行计算：

W＝softmax([V₁,V₂,V₃])

式中，c为最大特征通道数，f_i ^k为第k种特征经过通道池化层后的第i个通道的特征值，m_k为第k种特征经过通道池化层后的特征均值，V_k为每个特征的可贡献度，W为最终的贡献向量，每一种ROI特征图都要计算出一个贡献向量，并和贡献向量做点乘，得到三个经过加权融合的特征向量。

进一步，在步骤6)中，设置三个专家系统网络，将三个加权融合后的特征向量分别输入对应的三个专家系统网络，每个专家系统网络推理得到对象类别和位置；

每个专家系统网络需要完成分类和回归两个任务：

分类：y′＝max(h(f_p))

式中，f_p为加权融合的特征向量，h为多分类器，输出y′为每类的置信度；

对每一种ROI特征图经过重赋权得到的所有特征向量进行分类，取置信度最高的分类结果作为ROI特征图的分类结果；

回归：r′＝[Δx′,Δy′,Δh′,Δw′]＝g(f_p)

式中，r′为预测边框的偏移量；Δx′,Δy′为预测边框的中心偏移预测；Δh′,Δw′为预测边框尺度缩放因子；g为线性回归函数；

对每一个ROI区域进行回归，得到更精确的ROI区域。

进一步，在步骤7)中，根据步骤5)中得到的贡献向量，对步骤6)中每一个专家系统网络的预测结果进行加权融合，得到最终的预测结果：

式中，y_f为最终的分类预测结果，r_f为最终的回归预测结果，W_i为第i个分支对于分类预测的贡献度，y_i为第i个分支的分类预测结果，W_j为第j个分支对于回归预测的贡献度，r_j为第j个分支的回归预测结果；经过以上过程，得到最终的预测结果，将其标注在检测图像中，得到对象的类别和位置。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明与其它深度学习检测方法相比，在保持检测精度的同时提高了检测速度，所提出的方法将复杂特征网络拆分为多个条件分支，将检测头网络拆分为多个专家系统网络，每个网络的规模较小，而且相互之间属于并行计算，所以总体上减少了推理时间，同时利用分支特征对齐避免了多分支下区域建议的冗余计算，提高了检测效率。

2、本发明首次在X光检测领域采用条件分支进行对象检测，分解并拓展了特征空间，使网络可以挖掘出更具有区分度的特征，避免了海量数据集下特征冗余，过度利用而导致过拟合的问题。

3、本发明设置多个专家系统网络，每个专家系统网络专注于推理属于自己分支的对象类别，提高了特征空间与解空间之间的映射能力，对于类间距离小，类内距离大的数据集，本发明提出的方法具有更高的检测精度。

4、本发明方法在计算机视觉任务中具有广泛的使用空间，可实现端到端训练检测，数据适应能力强，具有广阔的应用前景。

附图说明

图1为本实施例的测试图片。

图2为本实施例的特征热图。

图3为本实施例的检测结果示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本实施例公开了一种基于条件分支和专家系统的对象快速检测方法，包括以下步骤：

1)将带有手刺的包裹检测对象置于传送带，传送带将检测对象运至检测区时，X光射线仪通过准直器发射出扇形射线束对检测对象进行扫描，扇形射线束穿过检测对象内部并投射在接收屏上，通过计算机渲染技术得到手刺的X光图像，如图1所示。

2)将手刺的X光图像进行颜色空间变换，分别送入三个条件分支，每个条件分支设置一个特征提取网络，图像经过三个条件分支的运算后分别得到RGB、HSV和梯度的图像特征图，将三个特征图进行叠加后计算低分辨率特征热图，将低分辨率特征热图尺寸放缩至和原图相同尺寸后与原图叠加生成最后的特征热图，如图2所示，可以发现特征集中在对象表面上。

所述特征提取网络为深层网络，主要由卷积层、池化层与非线性映射层组成。

其卷积过程如下：

式中，f₁[x,y]为图像在(x,y)区域的数据，w[x,y]为卷积核，f₂[x,y]为在(x,y)区域卷积后所得特征，n_i、n_j为距离卷积中心的偏移距离，n₁、n₂分别为卷积垂直方向最大偏移距离和水平方向最大偏移距离，f[x+n_i,y+n_j]为图像在(x+n_i,y+n_j)的数值，w[n_i,n_j]为卷积核在(n_i,n_j)位置的权重；

其非线性映射过程：

f₃[x,y]＝max(0,f₂[x,y])

式中，f₃[x,y]为做非线性映射后得到的特征图。

对于原算法中RGB输入分量难以拟合预测曲线的检测对象，通过将特征空间分解，可以得到三个不同维度的对象特征，提高了特征表述能力。

3)将RGB图像特征图输入区域建议网络，获得ROI区域。

RGB图像特征图中的每一个点定义为锚点,为了更好的匹配不同大小尺寸的对象，每个锚点以自身为中心定义三种尺寸，三种长宽比例相互组合的锚框，除去超出图像区域的锚框，对剩下的锚框特征图进行二分类和边框回归：

a、二分类：y＝f[f₄(x,y)]

式中，y为前景边框的分类预测，f₄(x,y)为锚框特征图，f为分类器，分类器人为设定一个阈值，大于此阈值的预测为前景，并加入后续步骤计算，小于此阈值的预测为背景并被抛弃。

b、边框回归：r＝[Δx,Δy,Δh,Δw]＝g(f₄[x,y])

式中，r为前景边框的偏移量，g为线性回归函数；Δx,Δy为锚框的中心偏移预测；Δh,Δw为锚框尺度缩放因子。根据前景回归对锚框进行位置及尺度调整。然后对锚框使用非极大值抑制进行筛选，剔除重叠的锚框。再取置信度最高的前n个锚框，作为ROI区域，进入后续步骤处理。

4)得到区域建议网络提取的ROI区域后，将ROI区域进行尺度适应，按原图与特征图大小的比例进行缩放，然后将缩放后的区域对齐至RGB、HSV以及梯度特征图，得到三种不同的ROI特征图，这种结合单特征计算ROI+ROI多特征对齐的方式可以避免多分支下ROI区域的冗余计算，提高了推理速度。

5)针对于ROI区域，计算三种ROI特征图对于检测的可贡献度，根据可贡献度为三个条件分支分配相应的权重向量并根据各自的权重向量进行特征串联。每个检测对象中的显著特征各不相同，利用数据驱动学习到对象不同特征中更有利于检测的特征并施加注意力机制可以专家系统网络的推理能力。

可贡献度可由如下公式进行计算：

W＝softmax([V₁,V₂,V₃])

式中，c为最大特征通道数，f_i ^k为第k种特征经过通道池化层后的第i个通道的特征值，m_k为第k种特征经过通道池化层后的特征均值。V_k为每个特征的可贡献度，W为最终的贡献向量，每一种ROI特征图都要计算出一个贡献向量，并和贡献向量做点乘，得到三个经过加权融合的特征向量。

6)设置三个专家系统网络，将三个加权融合后的特征向量分别输入对应的三个专家系统网络，每个专家系统网络推理得到对象类别和位置，出于简便设计，三个专家系统网络采用相同的结构，由通道缩减卷积层和全连接层组成；

每个专家系统网络需要完成分类和回归两个任务：

分类：y′＝max(h(f_p))

式中，f_p为加权融合的特征向量，h为多分类器，输出y′为每类的置信度；

对每一种ROI特征图经过重赋权得到的所有特征向量进行分类，取置信度最高的分类结果作为ROI特征图的分类结果。

回归：r′＝[Δx′,Δy′,Δh′,Δw′]＝g(f_p)

式中，r′为预测边框的偏移量；Δx′,Δy′为预测边框的中心偏移预测；Δh′,Δw′为预测边框尺度缩放因子；g为线性回归函数；。

对每一个ROI区域进行回归，得到更精确的ROI区域。

7)根据步骤5)中得到的贡献向量，对步骤6)中每一个专家系统网络的预测结果进行加权融合，得到最终的预测结果。

式中，y_f为最终的分类预测结果，r_f为最终的回归预测结果，W_i为第i个分支对于分类预测的贡献度，y_i为第i个分支的分类预测结果，W_j为第j个分支对于回归预测的贡献度，r_j为第j个分支的回归预测结果；经过以上过程，得到最终的预测结果，将其标注在检测图像中，得到对象的类别和位置，最终的检测结果如图3所示。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.基于条件分支和专家系统的对象快速检测方法，其特征在于，包括以下步骤：

1)采集传输送带上检测对象的X光图像；

2)将X光图像输入三个条件分支分别获得RGB、HSV以及梯度的图像特征图；

3)将RGB图像特征图输入区域建议网络，获得ROI区域；

4)将ROI区域利用分支特征对齐，得到对应RGB、HSV、梯度三种特征图的ROI特征图；

5)针对于ROI区域，计算三种ROI特征图对于检测的可贡献度，根据可贡献度为三个条件分支分配相应的权重向量并根据各自的权重向量进行特征串联，其中，每一种ROI特征图都要计算出一个贡献向量，并和贡献向量做点乘，得到三个经过加权融合的特征向量；

6)将三个经过加权融合的特征向量输入对应的三个专家系统网络，得到对象类别和位置；

7)根据贡献向量对三个专家系统网络的预测结果进行加权融合，识别出检测对象的类别和位置并标注。

2.根据权利要求1所述的基于条件分支和专家系统的对象快速检测方法，其特征在于，在步骤1)中，将检测对象置于传送带，传送带将检测对象运至检测区时，X光射线仪通过准直器发射出扇形射线束对检测对象进行扫描，扇形射线束穿过检测对象内部并投射在接收屏上，通过计算机渲染技术得到检测对象的X光图像。

3.根据权利要求1所述的基于条件分支和专家系统的对象快速检测方法，其特征在于，在步骤2)中，每个分支设置一个特征提取网络，将X光图像经过颜色空间变换后分别送入三个条件分支，运算后得到RGB、HSV和梯度的图像特征图；

所述特征提取网络为深层网络，由卷积层、池化层与非线性映射层组成；

其卷积过程如下：

式中，f₁[x,y]为图像在(x,y)区域的数据，w[x,y]为卷积核，f₂[x,y]为在(x,y)区域卷积后所得特征，n_i、n_j为距离卷积中心的偏移距离，n₁、n₂分别为卷积垂直方向最大偏移距离和水平方向最大偏移距离，f[x+n_i,y+n_j]为图像在(x+n_i,y+n_j)的数值，w[n_i,n_j]为卷积核在(n_i,n_j)位置的权重；

其非线性映射过程：

f₃[x,y]＝max(0,f₂[x,y])

式中，f₃[x,y]为做非线性映射后得到的特征图。

4.根据权利要求1所述的基于条件分支和专家系统的对象快速检测方法，其特征在于：在步骤3)中，RGB图像特征图中的每一个点定义为锚点，每个锚点以自身为中心定义9个锚框，除去超出图像区域的锚框，对剩下的锚框特征图进行二分类和边框回归：

a、二分类：y＝f[f₄(x,y)]

式中，y为前景边框的分类预测，f₄(x,y)为锚框特征图，f为分类器，分类器人为设定一个阈值，大于此阈值的预测为前景，并加入后续步骤计算，小于此阈值的预测为背景并被抛弃；

b、边框回归：r＝[Δx,Δy,Δh,Δw]＝g(f₄[x,y])

式中，r为前景边框的偏移量，g为线性回归函数；Δx,Δy为锚框的中心偏移预测；Δh,Δw为锚框尺度缩放因子；根据前景回归对锚框进行位置及尺度调整；然后对锚框使用非极大值抑制进行筛选，剔除重叠的锚框；再取置信度最高的前n个锚框，作为ROI区域，进入后续步骤处理。

5.根据权利要求1所述的基于基于条件分支和专家系统的对象快速检测方法，其特征在于：在步骤4)中，得到区域建议网络提取的ROI区域后，将ROI区域进行尺度适应，按原图与特征图大小的比例进行缩放，然后将缩放后的区域对齐至RGB、HSV以及梯度特征图，得到三种不同的ROI特征图。

6.根据权利要求1所述的基于基于条件分支和专家系统的对象快速检测方法，其特征在于：在步骤5)中，针对于ROI区域，计算三种ROI特征图对于检测的可贡献度，根据可贡献度为三个条件分支分配相应的权重向量并根据各自的权重向量进行特征串联；

可贡献度由如下公式进行计算：

W＝softmax([V₁,V₂,V₃])

式中，c为最大特征通道数，f_i ^k为第k种特征经过通道池化层后的第i个通道的特征值，m_k为第k种特征经过通道池化层后的特征均值，V_k为每个特征的可贡献度，W为最终的贡献向量，每一种ROI特征图都要计算出一个贡献向量，并和贡献向量做点乘，得到三个经过加权融合的特征向量。

7.根据权利要求1所述的基于基于条件分支和专家系统的对象快速检测方法，其特征在于：在步骤6)中，设置三个专家系统网络，将三个加权融合后的特征向量分别输入对应的三个专家系统网络，每个专家系统网络推理得到对象类别和位置；

每个专家系统网络需要完成分类和回归两个任务：

分类：y′＝max(h(f_p))

式中，f_p为加权融合的特征向量，h为多分类器，输出y′为每类的置信度；

对每一种ROI特征图经过重赋权得到的所有特征向量进行分类，取置信度最高的分类结果作为ROI特征图的分类结果；

回归：r′＝[Δx′,Δy′,Δh′,Δw′]＝g(f_p)

式中，r′为预测边框的偏移量；Δx′,Δy′为预测边框的中心偏移预测；Δh′,Δw′为预测边框尺度缩放因子；g为线性回归函数；

对每一个ROI区域进行回归，得到更精确的ROI区域。

8.根据权利要求1所述的基于基于条件分支和专家系统的对象快速检测方法，其特征在于：在步骤7)中，根据步骤5)中得到的贡献向量，对步骤6)中每一个专家系统网络的预测结果进行加权融合，得到最终的预测结果：

式中，y_f为最终的分类预测结果，r_f为最终的回归预测结果，W_i为第i个分支对于分类预测的贡献度，y_i为第i个分支的分类预测结果，W_j为第j个分支对于回归预测的贡献度，r_j为第j个分支的回归预测结果；经过以上过程，得到最终的预测结果，将其标注在检测图像中，得到对象的类别和位置。

Images