CN112634365B - 一种微结构特征的位姿高精度跟踪与检测方法 - Google Patents

Abstract

一种微结构特征的位姿高精度跟踪与检测方法，步骤：S1对由显微镜获取的第一帧图像或预存的参考图像经预处理后，作为训练帧分别送入姿态检测模块和位置检测模块进行训练，获得判别函数的参数。S2将后续帧图像经过预处理后输入姿态检测模块，经过频谱分析，计算其相对训练帧图像的旋转角度。S3位置检测模块基于旋转角度对当前帧搜索区域的图像进行旋转变换矫正，将矫正后的图像输入位置检测滤波器，计算其相对于前一帧中微结构特征的位置变化。S4将位姿检测结果送入决策模块对检测结果进行判断处理，分别更新姿态和位置检测滤波器继续检测新一帧中微结构特征的位姿。本发明具有机器学习类算法灵活、柔性、鲁棒性强的特点，分辨率可满足多数微操作的要求。

Description

一种微结构特征的位姿高精度跟踪与检测方法

技术领域

本发明属于精密微装配领域，涉及一种微结构特征的位姿高精度跟踪与检测方法。

背景技术

特征尺度在微米～百微米的微结构特征姿态和位置检测(简称为微位姿检测)是微装配、微封装、细胞操纵等微操作中不可或缺的环节。以广泛用于微传感器集成的微装配为例，它是指将特征尺度在毫米和微米的多个零件进行移动、转动、连接，形成组件或完整器件的过程，零件本身和零件之间的精确定位和定向对装配精度和系统性能有至关重要的影响。

微位姿检测本质上可以分解为对目标定位跟踪和姿态检测两个问题。目前公开报道的微位姿检测方法可分为基于几何形状和基于模板匹配两类：

基于几何形状的方法主要是通过边缘提取等检测多个特征点，然后结合最小二乘法等提取几何特征，通过与预期的几何特征相比较，确定位置和姿态。例如：论文“Micro-Vision Servo Control of AMulti-Axis Alignment System for Optical FiberAssembly”(Journal of Micromechanics and Microengineering,2017,27(4),45010)通过Canny边缘检测算子处理图像并得到边缘特征，确定微光纤姿态和位置。这类方法的问题是算法流程较依赖待测零件的设计特征，一旦跟踪对象更换或背景变化，就需要重新编制检测流程，算法可迁移性弱。

基于模板匹配的方法是通过扫描计算模板图像与待检测图像上的重叠子图像匹配度来确认目标位置。论文“Dynamic Tracking of Moving Objects in MicroassemblyThrough Visual Servoing”(2010IEEE International Conference on Mechatronicsand Automation,Xi'an,2010,pp.1738-1743.)通过相似度阈值判断微零件是否移出图像区域，以具有最高模板相似度的搜索窗口的中心作为该零件的质心坐标。模板匹配法实施简单，但是不具有旋转不变性，待测目标的旋转变形对位姿检测精度影响大。

深度神经网络(Deep Neural Networks,DNNs)方法具有自动学习视觉特征的能力，也可以用于微位姿检测。论文“Robotic Manipulation of Deformable Cells forOrientation Control”(IEEE Transactions on Robotics,2020,36(1),271-283)通过具有卷积层、最大池化层和全连接层的DNNs检测细胞极体的位置。训练图像中含有不同尺寸和形状的极体子图像，极体的中心像素标记为类1，其他像素标记为类0。若检测得到的概率图最大值超过阈值，则确定其位置为极体。DNNs一般需要大量标记的训练集和长时间训练。

利用回归判别模型的相关滤波跟踪原理是通过训练得到加权分布信号，经相关性计算来衡量信号之间的相似度，感兴趣的目标将产生响应峰值，而无关背景响应值低。相关滤波算法亦不具有旋转检测特性，特征的旋转对位置检测精度影响显著，这限制了它在复杂显微操作中的应用，目前尚未出现采用相关滤波方法进行姿态和位置全检测的报道。

发明内容

针对现有技术的问题，考虑到显微操作对微结构特征位姿检测的特殊性，本发明综合傅里叶频域变换和相关滤波原理，提出一种微位姿检测新方法，不仅具有机器学习类算法灵活、柔性、鲁棒性强的特点，而且分辨率可以满足多数微操作的要求，为发展智能化显微操作提供了技术途径。

为达到上述目的，本发明采用的技术方案为：

一种微结构特征的位姿高精度跟踪与检测方法，所述的位姿高精度跟踪与检测方法基于相关滤波原理实现，包括以下部分：

1、组建微结构特征位姿检测方法的系统，进行微零件的结构特征位姿检测。

所述的检测系统由显微图像采集与预处理模块、微结构特征的姿态检测模块和位置检测模块、决策模块四部分组成，如图1所示。

所述图像采集与预处理模块通过显微镜采集图像，并进行滤波和二值化等预处理；姿态检测和位置检测均基于相关滤波原理建立的，相关滤波器与待测样本特征做相关运算后得到相关性响应分布，每个位置上的响应值代表了相应位置为待检测目标的置信度，其中置信度最大值点即为目标位置。

所述姿态检测模块的参数训练和姿态评估是基于图像频谱特征建立的，频谱特征具有平移不变性，可在排除平移干扰的同时量化微结构特征的姿态变化。

所述位置检测模块的参数训练和位置评估是基于方向梯度直方图(Histogram ofOriented Gradient,HOG)特征和强度通道(Intensity Channels,IC)特征建立的，两种特征的综合使用有助于消除光照和目标局部几何形变影响，提高复杂环境下微特征的定位精度。

基于组建的检测系统进行微位姿检测的全过程为：

步骤1：对由显微镜获取的第一帧图像或预存的参考图像经预处理后，作为训练帧分别送入姿态检测模块和位置检测模块进行训练，获得判别函数的参数。

步骤2：包含微结构特征的后续帧图像经过预处理后，输入到训练好的姿态检测模块，经过频谱分析，计算其相对训练帧图像的旋转角度。

步骤3：位置检测模块首先基于前述计算的旋转角度，对当前帧搜索区域的图像进行旋转变换矫正，再将矫正的图像输入到训练好的位置检测滤波器，计算其相对于前一帧中微结构特征的位置变化。

步骤4：将步骤2～3的结果送入决策模块，对检测结果判断和处理，主要分为以下情况：

如果计算得到的相关响应图最大值低于设定阈值，则说明待测微结构特征可能被遮挡；

如果检测得到的微结构特征位姿变化超出公差约束范围，则发预警提示；

其余视为正常情况，根据当前帧的位姿检测信息，分别更新姿态和位置检测滤波器并重新采集显微图像依次重复步骤2～3，继续检测新一帧中微结构特征的位姿。

2、所述的微结构特征姿态检测模块的工作过程为：

1)训练样本图像和检测图像的处理。

将采集和预处理后的参考图像信号f₁(x,y)和待检测图像信号f₂(x,y)经余弦窗处理弱化边缘截断效应，经傅里叶变换为频域信号。理论上，f₂(x,y)是f₁(x,y)中的微结构特征经(x₀,y₀)平移变换和θ₀旋转变换后的图像。进而通过傅里叶-梅林变换，分解出极坐标系下频域图像信号的幅值部分分别为M₁(θ,ρ)和M₂(θ,ρ)，极坐标幅值图中，横坐标代表频谱特征的维度，每一列代表对应维度的样本信号，纵坐标代表样本信号的角度坐标，角度范围为[0°,360°]。M₁(θ,ρ)和M₂(θ,ρ)的关系为M₁(θ,ρ)＝M₂(θ-θ₀,ρ)。由于频域图像的幅值部分具有平移不变的特点，可以用做检测微结构特征角度变化的样本特征。

2)姿态相关滤波器的训练。

训练即是滤波器参数的求解：首先使用循环矩阵可被离散傅里叶变换对角化的性质，在频域生成不同微结构特征姿态的训练样本，然后应用岭回归训练用于目标姿态检测的相关滤波器，通过求解最小二乘问题获得线性回归函数f(x_i)＝ω^Tx_i的权重系数：

式中，损失函数的第二项为权重向量ω的正则化惩罚项，避免过拟合，λ为调节因子，权重向量ω为待训练的相关滤波器，训练样本x_i为样本图像极坐标幅值图的多维样本信号，输入到线性回归函数f(x)中与权重向量ω求取向量内积作为相关性表达。在损失函数中通过y_i描述训练样本x_i与相关滤波器的相关性。

为提升算法的适用性，将上述线性方程映射到非线性特征空间

首先将解

表达为训练样本的线性组合：

每一分量α_i表示对应训练样本x_i的影响力因子，此时待优化的变量由原始空间中的ω变为求解对偶空间中的α：

式中，^符号表示向量或矩阵的傅里叶变换，k^xx为循环矩阵中标准训练样本x的核自相关，表示了训练样本x与其自身在映射的高维非线性特征空间中不同相对位移下的相关性。对于任意两多维特征样本x与样本x′，可通过高斯核函数计算两参数之间的核相关估计：

式中，下角标c表示样本的特征通道维度。核相关向量k^xx′中的每一分量

表示样本x经循环移位后的样本x_i与样本x′在高维空间

中的核互相关。

3)微结构特征的姿态识别。

采用训练好的相关滤波器参数，通过检测方程

获得待测图像样本极坐标幅值图z上的相关响应信号，

为训练样本x与待测样本z间的核互相关向量的傅里叶系数。通过扫描得到最大响应值所在位置即为当前帧中微结构特征相对训练样本中微结构特征的相对姿态。进一步在最大响应θ_max附近使用二次多项式插值可获得亚网格级的角度检测分辨率。

3、所述的微结构特征位置检测模块的工作过程为：

1)训练样本图像和检测图像的处理。

微结构的动态旋转角度会影响相关滤波器的定位精度，因此我们利用已检测的微结构特征的姿态对当前图像帧的搜索区进行旋转矫正，然后输入相关滤波器中计算目标的位置变化。

首先，在上一帧的微结构特征位置(x_t-1,y_t-1)上提取正对齐的样本方框进行微结构特征的姿态检测获得当前帧中微结构特征的相对姿态θ_t。在使用微结构特征的位置检测模块进行定位时，在上一帧的微结构特征位置(x_t-1,y_t-1)上按照当前帧微结构特征的相对姿态θ_t提取旋转样本框进行位置检测，该旋转样本中的微结构特征相对边框的姿态均与初始帧的训练样本中的微结构特征姿态一致。对旋转样本通过HOG和IC特征提取，获得D维特征图。

4、降维投影矩阵和相关滤波器的初始化。

高维特征图的集成会导致算法计算量急剧上升，可以通过提取特征子集以实现特征降维，降低运算量。使用一组基滤波器f′＝(f′¹,…,f′^C)(C<D)的线性组合来构建原始的D维滤波器组f。定义一个维度为D×C的线性降维矩阵P，则多通道滤波器组可被表达为Pf′，由于卷积和相关在数学上的运算操作基本相同，因此可使用卷积检测响应并表示为：

式中，

是元素数为N的离散特征图x通过周期为T的插值核函数b进行连续化插值后得到的连续特征图，用以实现亚网格级分辨率的位置检测。n表示离散特征图中的元素坐标；t表示连续特征图中的元素坐标；b表示标准三次样条插值核函数；f′^c表示基滤波器组f′中的第c个滤波器；p_d,c为降维投影矩阵P中的元素，表示基滤波器f′^c构建原始滤波器f^d时的组合权值；J{x}表示经插值后得到的连续特征图；J_d{x^d}表示原始的第d维离散特征图x^d经插值得到的连续特征图；P^T表示降维投影矩阵的转置。

从单一训练样本特征图x上学习线性降维矩阵P，在傅里叶域中的损失函数可表示为：

式中，使用

来表达连续特征图z＝J{x}的傅里叶系数。y为期望的检测响应输出，可构建为具有尖峰的高斯函数。在损失函数中增加降维投影矩阵P的Frobenius范数作为正则化项以避免初始化的降维投影矩阵P过拟合，λ为正则化系数。损失函数第二项为空间正则化项，权重系数ω为倒置高斯函数分布，用于惩罚滤波器系数的幅值，使得学习的滤波器更关注目标中心区域的信息。该损失函数E(f′,P)是非线性最小二乘问题，可采用Gauss-Newton法同时优化参数f′和P。

5、微结构特征的位置识别。

将步骤1中提取的D维特征图乘以矩阵P^T进行降维，再将获得的C维特征图与滤波器组f′进行卷积计算得到连续卷积响应图：S_f′{x}＝f′*P^TJ{x}

其在傅里叶域可表达为：

为获得亚像素级定位分辨率，采用两步法检测策略获取连续卷积响应图上的最大响应位置：第一步，将傅里叶域的卷积响应图变换到离散空间域，采用网格搜索的方法执行最大响应的粗定位；第二步，采用标准牛顿法迭代最大化求解卷积响应图的傅里叶级数展开式：

式中，(m,n)和(u,v)分别为傅里叶域和空间域中卷积响应图的坐标，将网格搜索中获得的粗定位最大响应值位置作为迭代优化的初始值。经过上述的粗-精定位检测策略即可获得卷积响应图的亚像素级最大响应值位置。

连续化卷积响应图中最大响应值的位置相对旋转样本中心的偏移向量即为微结构特征在当前帧的偏移量。为获取当前帧中的目标位置，可通过坐标变换将旋转样本坐标系中的偏移向量

变换为图像坐标系中的偏移向量(Δx_t,Δy_t)，与前一帧目标位置相加获得当前帧目标位置(x_t,y_t)。

本发明的有益效果为：具有高精度、实施灵活、抗干扰强等特点，算法迁移工作量小，适合于实现多品种、小批量微小对象操纵中的光学测量与定位跟踪任务。

附图说明

图1为微结构特征的位姿检测系统架构组成；

图2为某传感器上的4种核心零件的结构特征位姿检测结果。图2(a)为微小零件1的结构特征位姿检测图像序列，图2(b)为微小零件2的结构特征位姿检测图像序列，图2(c)为微小零件3的结构特征位姿检测图像序列，图2(d)为微小零件4的结构特征位姿检测图像序列。

具体实施方式

以下通过具体实例说明本专利的实施方式，一种微结构特征的位姿高精度跟踪与检测方法的实施过程包括如下具体步骤：

步骤1：显微图像的采集与预处理。

通过显微镜对微结构特征进行图像采集并进行滤波和二值化等预处理，已知第1帧采集图像中的目标位置和姿态，将该图像作为标准图像样本。

步骤2：提取姿态检测滤波器的训练样本特征与检测样本特征。

在步骤1中标准图像样本的已知目标位置或待检测图像样本上一帧的微结构特征位置(x_t-1,y_t-1)上提取正对齐目标样本方框，标准图像样本方框作为参考图像信号f₁(x,y)用于训练姿态检测滤波器，待检测图像样本方框作为待检测图像信号f₂(x,y)。

两图像信号经余弦窗处理弱化边缘截断效应，再经傅里叶变换为频域信号。理论上，f₂(x,y)是f₁(x,y)中的微结构特征经(x₀,y₀)平移变换和θ₀旋转变换后的图像。进一步通过傅里叶-梅林变换，分解出极坐标系下频域图像信号的幅值部分分别为M₁(θ,ρ)和M₂(θ,ρ)，极坐标幅值图中，横坐标代表频谱特征的维度，每一列代表对应维度上的样本信号，纵坐标代表样本信号的角度坐标，角度范围为[0°,360°」。M₁(θ,ρ)和M₂(θ,ρ)的关系为M₁(θ,ρ)＝M₂(θ-θ₀,ρ)。由于频域图像信号的幅值部分具有平移不变性的特点，可以用做检测微结构特征角度变化的样本特征。

步骤3：训练姿态检测滤波器。

首先使用循环矩阵可被离散傅里叶变换对角化的性质，在频域生成不同微结构特征姿态的训练样本，然后应用岭回归训练用于目标姿态检测的相关滤波器，通过求解最小二乘问题获得线性回归函数f(x_i)＝ω^Tx_i的权重系数：

式中，损失函数的第二项为权重向量ω的正则化惩罚项，用于避免模型的过拟合，λ为调节因子，权重向量ω为待训练的相关滤波器，训练样本x_i为步骤2中样本图像极坐标幅值图的多维样本信号，输入到线性回归函数f(x)中与权重向量ω求取向量内积作为相关性表达。在损失函数中通过y_i描述训练样本x_i与相关滤波器的相关性。

为提升算法的适用性，将上述线性方程映射到非线性特征空间

首先将解

表达为训练样本的线性组合：

每一分量α_i表示对应训练样本x_i的影响力因子，此时待优化的变量由原始空间中的ω变为求解对偶空间中的α：

式中，^符号表示向量或矩阵的傅里叶变换，k^xx为循环矩阵中标准训练样本x的核自相关，表示了训练样本x与其自身在映射的高维非线性特征空间中不同相对位移下的相关性。对于任意两多维特征样本x与样本x′，可通过高斯核函数计算两参数之间的核相关估计：

式中，下角标c表示样本的特征通道维度。核相关向量k^xx′中的每一分量

表示样本x经循环移位后的样本x_i与样本x′在高维空间

中的核互相关。

步骤4：提取位置检测滤波器的训练样本特征与检测样本特征。

在步骤1中标准图像样本的已知目标位置上提取目标样本搜索框，或在上一帧的微结构特征位置(x_t-1,y_t-1)上按照当前帧微结构特征的相对姿态θ_t提取旋转样本框作为目标样本搜索框。旋转样本中的微结构特征相对边框的姿态均与初始帧的训练样本中的微结构特征相对姿态相同。对目标样本搜索框通过HOG特征、IC特征提取获得D维特征图。

步骤5：训练降维投影矩阵和位置检测滤波器。

高维特征图的集成会导致算法计算量急剧上升，可以通过提取一个特征子集以实现特征降维，降低运算量。使用一组基滤波器f′＝(f′¹,…,f′^C)(C<D)的线性组合来构建步骤4中提取的原始D维滤波器组f。定义一个维度为D×C的线性降维矩阵P，则多通道滤波器组可表达为Pf′。由于卷积和相关在数学上的运算操作基本相同，因此可使用卷积检测响应并表示为：

式中，

是元素数为N的离散特征图x通过周期为T的插值核函数b进行连续化插值后得到的连续特征图，用于实现亚网格级分辨率的位置检测。n表示离散特征图中的元素坐标；t表示连续特征图中的元素坐标；b表示标准三次样条插值核函数；f′^c表示基滤波器组f′中的第c个滤波器；p_d,c为降维投影矩阵P中的元素，表示基滤波器f′^c构建原始滤波器f^d时的组合权值；J{x}表示经插值后得到的连续特征图；J_d{x^d}表示原始的第d维离散特征图x^d经插值得到的连续特征图；P^T表示降维投影矩阵的转置。

从单一训练样本特征图x学习线性降维矩阵P，则在傅里叶域中的损失函数可被表示为：

式中，使用

来表达连续特征图z＝J{x}的傅里叶系数。y为期望的检测响应输出，可构建为具有尖峰的高斯函数。在损失函数中增加降维投影矩阵P的Frobenius范数作为正则化项以避免初始化的降维投影矩阵P过拟合，λ为正则化系数。损失函数第二项为空间正则化项，权重系数ω为倒置高斯函数分布，用于惩罚滤波器系数的幅值，使得学习的滤波器更关注目标中心区域的信息。该损失函数E(f′,P)是一个非线性最小二乘问题，可采用Gauss-Newton法同时优化参数f′和P。

步骤6：微结构特征的姿态识别。

通过步骤1进行新一帧的显微图像采集与预处理，并通过步骤2提取待检测样本特征图z。采用步骤3训练好的姿态检测相关滤波器参数，通过检测方程

获得待测图像样本极坐标幅值图z上的相关响应信号，其中

为训练样本x与待测样本z间的核互相关向量的傅里叶系数。通过扫描得到最大响应值所在位置即为当前帧中微结构特征相对训练样本中微结构特征的相对姿态。进一步在最大响应θ_max附近使用二次多项式插值可获得亚网格级的角度检测分辨率。

步骤7：微结构特征的位置识别。

通过步骤4提取D维待检测样本特征图。将提取的D维特征图乘以矩阵P^T进行降维，再将获得的C维特征图与步骤5训练得到的滤波器组f′进行卷积计算得到连续卷积响应图：

S_f′{x}＝f′*P^TJ{x}

其在傅里叶域可表达为：

为获得亚像素级定位分辨率，采用两步法检测策略获取连续卷积响应图上的最大响应位置：第一步，将傅里叶域的卷积响应图变换到离散空间域，采用网格搜索的方法执行最大响应的粗定位；第二步，采用标准牛顿法迭代最大化求解卷积响应图的傅里叶级数展开式：

式中，(m,n)和(u,v)分别为傅里叶域和离散空间域中卷积响应图的坐标，将网格搜索中获得的粗定位最大响应值位置作为迭代优化的初始值。经过上述的粗-精定位检测策略即可获得卷积响应图的亚像素级最大响应值位置。

连续化卷积响应图中最大响应值的位置相对旋转样本中心的偏移向量即为微结构特征在当前帧的偏移量。为获取当前帧中的目标位置，可通过坐标变换将旋转样本坐标系中的偏移向量

变换为图像坐标系中的偏移向量(Δx_t,Δy_t)，与前一帧目标位置相加获得当前帧目标位置(x_t,y_t)。

步骤8：决策模块。

将步骤6～7的结果输入决策模块，对检测结果进行判断和处理，主要分为以下情况：

如果计算得到的相关响应图最大值低于设定阈值，则说明微结构特征可能被遮挡；

如果检测得到的微结构特征位姿变化超出公差约束范围，则发预警提示；

其余视为正常情况，根据当前帧的位姿检测信息，分别更新姿态和位置检测滤波器并重新采集显微图像依次重复步骤1～8，继续检测新一帧中微结构特征的位姿。

基于上述微结构特征的位姿检测方法，通过具体实验来对本专利的方法进一步说明，本实施例通过检测某传感器上的4种核心零件的结构特征位姿来说明所提算法的性能。传感器中微小零件的装配任务与传统的装配任务相比，待操作零件的外形尺寸通常为亚毫米甚至毫米级的宏尺度，而操作精度一般为1μm～100μm的微尺度，因此这种宏-微装配操作对微结构特征位姿检测算法的性能提出了很高的要求。测试实验中待检测的4种典型微小零件的结构特征分别为直线角点特征、台阶特征、圆弧角点特征和圆弧特征，通过动态检测这几类特征在图像坐标系中的位置和姿态参数，可以判断微小零件的位姿或间接推测其他特征的位姿，进而将当前零件的位姿参数反馈给控制系统以实现轨迹规划和运动控制。实验中序列里的每一帧图像裁剪为像素尺寸为1000×1000的图像，在图像序列中目标绕其图像中心顺时针旋转，相邻两帧间旋转的角度差为1°。图2是某传感器上4种核心零件的结构特征位姿检测结果。

如图2所示，所有零件目标绕其图像中心进行旋转，则零件上的特征结构由于偏心运动而同时进行了平移和旋转变换。每个子图显示了微小零件结构特征位姿检测图像序列中部分帧的检测结果，图像帧号在左上角显示。在对不同微结构特征的位姿跟踪检测过程中的模型参数均保持一致，且位姿跟踪检测中仅需框选帧号为0000的第一帧图像中的待检测目标以确定待检测对象及其位姿，后续帧图像中目标的位姿均通过大小一致的方框在图中标记出来。

通过对图2(a)中环形筒状零件的直线角点特征进行位姿检测可以推断零件侧壁上通孔的位姿以便于与其他轴类零件进行对接装配；通过对图2(b)中阶梯轴零件台阶特征的位姿进行检测，可以实现轴孔零件的对接装配及进度判断；通过对图2(c)中环形平面零件圆弧角点特征的位姿进行检测，可以推断圆弧定位孔的位置，进而保证环形零件的周向定位精度；通过对图2(d)中半腔零件圆弧特征的位姿进行检测，可以实现两半腔的对接装配，保证两半腔端部圆弧通孔的平行度误差在可接受范围内。从图2可以看出所提方法对零件结构特征的位姿跟踪检测效果稳定，具有较高的鲁棒性和稳定性，框选的待检测目标零件位姿为任意方向和位置，如图2(c)中框选的特征结构位姿，具有较高的灵活性。该方法不仅具有机器学习类算法灵活、鲁棒性强的特点，而且分辨率可以满足多数微操作的要求，适合面向小批量、多品种微小对象的微操作中的图像测量与定位跟踪任务。

以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (1)

1.一种微结构特征的位姿高精度跟踪与检测方法，其特征在于，包括以下步骤：

1、组建微结构特征位姿检测方法的系统，进行微零件的结构特征位姿检测；

所述的检测系统包括显微图像采集与预处理模块、微结构特征的姿态检测模块和位置检测模块、决策模块；在图像采集与预处理模块中通过显微镜采集图像后，进行滤波和二值化预处理；相关滤波器与待测样本特征做相关运算后得到相关性响应分布，每个位置上的响应值代表相应位置为待检测目标的置信度，其中置信度最大值点即为目标位置；通过姿态检测模块进行参数训练和姿态评估；通过基于方向梯度直方图特征和强度通道特征建立位置检测模块并进行参数训练和位置评估；基于组建的检测系统进行微位姿检测的全过程为：

步骤1：对由显微镜获取的第一帧图像或预存的参考图像经预处理后，作为训练帧分别送入姿态检测模块和位置检测模块进行训练，获得判别函数的参数；

步骤2：包含微结构特征的后续帧图像经过预处理后，输入到训练好的姿态检测模块，经过频谱分析，计算其相对训练帧图像的旋转角度；

步骤3：位置检测模块首先基于前述计算的旋转角度，对当前帧搜索区域的图像进行旋转变换矫正，再将矫正的图像输入到训练好的位置检测滤波器，计算其相对于前一帧中微结构特征的位置变化；

步骤4：将步骤2～3的结果送入决策模块，对检测结果判断和处理，主要分为以下情况：如果计算得到的相关响应图最大值低于设定阈值，则说明待测微结构特征可能被遮挡；如果检测得到的微结构特征位姿变化超出公差约束范围，则发预警提示；其余视为正常情况，根据当前帧的位姿检测信息，分别更新姿态和位置检测滤波器并重新采集显微图像依次重复步骤2～3，继续检测新一帧中微结构特征的位姿；

2、所述的微结构特征的姿态检测模块的工作过程为：

1)训练样本图像和检测图像的处理；

将采集和预处理后的参考图像信号f₁(x,y)和待检测图像信号f₂(x,y)经余弦窗处理弱化边缘截断效应，经傅里叶变换为频域信号；通过傅里叶-梅林变换，分解出极坐标系下频域图像信号的幅值部分分别为M₁(θ,ρ)和M₂(θ,ρ)，极坐标幅值图中，横坐标代表频谱特征的维度，每一列代表对应维度的样本信号，纵坐标代表样本信号的角度坐标，角度范围为[0°,360°]；M₁(θ,ρ)和M₂(θ,ρ)的关系为M₁(θ,ρ)＝M₂(θ-θ₀,ρ)；

2)姿态相关滤波器的训练；

求解滤波器参数：首先在频域生成不同微结构特征姿态的训练样本，然后应用岭回归训练用于目标姿态检测的相关滤波器，通过求解最小二乘问题获得线性回归函数f(x_i)＝ω^Tx_i的权重系数：

式中，损失函数的第二项为权重向量ω的正则化惩罚项，避免过拟合，λ为调节因子，权重向量ω为待训练的相关滤波器，训练样本x_i为样本图像极坐标幅值图的多维样本信号，输入到线性回归函数f(x)中与权重向量ω求取向量内积作为相关性表达；在损失函数中通过y_i描述训练样本x_i与相关滤波器的相关性；

将上述线性方程映射到非线性特征空间

首先将解

表达为训练样本的线性组合：

每一分量α_i表示对应训练样本x_i的影响力因子，此时待优化的变量由原始空间中的ω变为求解对偶空间中的α：

式中，^符号表示向量或矩阵的傅里叶变换，k^xx为循环矩阵中标准训练样本x的核自相关，表示训练样本x与其自身在映射的高维非线性特征空间中不同相对位移下的相关性；对于任意两多维特征样本x与样本x′，可通过高斯核函数计算两参数之间的核相关估计：

式中，下角标c表示样本的特征通道维度；核相关向量k^xx′中的每一分量

表示样本x经循环移位后的样本x_i与样本x′在高维空间

中的核互相关；

3)微结构特征的姿态识别；

采用训练好的相关滤波器参数，通过检测方程

获得待测图像样本极坐标幅值图z上的相关响应信号，

为训练样本x与待测样本z间的核互相关向量的傅里叶系数；通过扫描得到最大响应值所在位置即为当前帧中微结构特征相对训练样本中微结构特征的相对姿态；进一步在最大响应θ_max附近使用二次多项式插值可获得亚网格级的角度检测分辨率；

3、所述的微结构特征的位置检测模块的工作过程为：

1)训练样本图像和检测图像的处理；

利用已检测的微结构特征的姿态对当前图像帧的搜索区进行旋转矫正，然后输入相关滤波器中计算目标的位置变化；

首先，在上一帧的微结构特征位置(x_t-1,y_t-1)上提取正对齐的样本方框进行微结构特征的姿态检测获得当前帧中微结构特征的相对姿态θ_t；在使用微结构特征的位置检测模块进行定位时，在上一帧的微结构特征位置(x_t-1,y_t-1)上按照当前帧微结构特征的相对姿态θ_t提取旋转样本框进行位置检测，该旋转样本中的微结构特征相对边框的姿态均与初始帧的训练样本中的微结构特征姿态一致；对旋转样本通过HOG特征、IC特征提取获得D维特征图；

4、降维投影矩阵和相关滤波器的初始化；

通过提取特征子集以实现特征降维；使用一组基滤波器f′＝(f′¹,…,f′^C)(C<D)的线性组合来构建原始的D维滤波器组f；定义一个维度为D×C的线性降维矩阵P，则多通道滤波器组可被表达为Pf′，使用卷积检测响应并表示为：

式中，

是元素数为N的离散特征图x通过周期为T的插值核函数b进行连续化插值后得到的连续特征图；n表示离散特征图中的元素坐标；t表示连续特征图中的元素坐标；b表示标准三次样条插值核函数；f′^c表示基滤波器组f′中的第c个滤波器；p_d,c为降维投影矩阵P中的元素，表示基滤波器f′^c构建原始滤波器f^d时的组合权值；J{x}表示经插值后得到的连续特征图；J_d{x^d}表示原始的第d维离散特征图x^d经插值得到的连续特征图；P^T表示降维投影矩阵的转置；

从单一训练样本特征图x上学习线性降维矩阵P，在傅里叶域中的损失函数表示为：

式中，使用

来表达连续特征图z＝J{x}的傅里叶系数；y为期望的检测响应输出，可构建为具有尖峰的高斯函数；在损失函数中增加降维投影矩阵P的Frobenius范数作为正则化项以避免初始化的降维投影矩阵P过拟合，λ为正则化系数；损失函数第二项为空间正则化项，权重系数ω为倒置高斯函数分布，用于惩罚滤波器系数的幅值，使得学习的滤波器更关注目标中心区域的信息；该损失函数E(f′,P)是非线性最小二乘问题；

5、微结构特征的位置识别；

将步骤1中提取的D维特征图乘以矩阵P^T进行降维，再将获得的C维特征图与滤波器组f′进行卷积计算得到连续卷积响应图：S_f′{x}＝f′*P^TJ{x}

其在傅里叶域表达为：

为获得亚像素级定位分辨率，采用两步法检测策略获取连续卷积响应图上的最大响应位置：第一步，将傅里叶域的卷积响应图变换到离散空间域，采用网格搜索的方法执行最大响应的粗定位；第二步，采用标准牛顿法迭代最大化求解卷积响应图的傅里叶级数展开式：

式中，(m,n)和(u,v)分别为傅里叶域和空间域中卷积响应图的坐标，将网格搜索中获得的粗定位最大响应值位置作为迭代优化的初始值；经过上述的粗-精定位检测策略即可获得卷积响应图的亚像素级最大响应值位置；

连续化卷积响应图中最大响应值的位置相对旋转样本中心的偏移向量即为微结构特征在当前帧的偏移量；为获取当前帧中的目标位置，通过坐标变换将旋转样本坐标系中的偏移向量

变换为图像坐标系中的偏移向量(Δx_t,Δy_t)，与前一帧目标位置相加获得当前帧目标位置(x_t,y_t)。

Images