CN110147162B - 一种基于指尖特征的增强装配示教系统及其控制方法 - Google Patents

Abstract

本发明提供一种基于指尖特征的增强装配示教系统及其控制方法，包括图像采集模块、图像预处理模块、手部区域分割模块、指尖检测与跟踪模块和虚拟元器件模型空间注册模块；采集手指和交互平面的图像；对采集到的图像预处理；对手部区域进行分割和边缘提取；基于曲率运算与最小二乘法拟合进行手指指尖检测，通过基于卡尔曼滤波与粒子滤波相结合的方法对指尖进行跟踪；对图像采集设备的标定、计算机渲染和虚拟元器件模型空间注册；指尖与虚拟元器件交互完成插装。本发明使用指尖作为新的计算机输入来完成与虚拟对象的交互，摒弃了实体化手持标识带来的不便，当运动呈现非线性，将卡尔曼滤波与粒子滤波相结合提高了目标物体定位的准确性和实时性。

Description

一种基于指尖特征的增强装配示教系统及其控制方法

技术领域

本发明属于电子元器件增强装配领域，具体涉及一种基于指尖特征的增强装配示教系统及其控制方法。

背景技术

增强装配是增强现实技术在机械电子装配领域的应用。增强装配结合了传统装配和虚拟装配的优点，既可以省去制作大量零件的成本，又给用户操作带来了真实的体验感，用户在真实环境中操作虚拟物体，使安全性有了很大的保证。作为装配过程的能动部分，人手的重要性是第一位的，同样在增强装配中，人手的检测与定位对后续的标定、虚实融合起到决定性作用。传统的增强现实交互中，手势的识别需要使用各种手持或者手带设备等特殊装置捕获手部动作。这种方法不能实现自然状态下人手与虚拟环境的直接交互，使用者的用户体验受到一定限制。

发明内容

本发明提供一种于指尖特征的增强装配示教系统及其控制方法，其能够把人手指尖作为新的计算机输入来完成与虚拟对象的交互，摒弃实体化手持标识带来的不便，提高系统的易用性。

本发明解决其技术问题所采用的技术方案是：一种基于指尖特征的增强装配示教系统，包括图像采集模块、图像预处理模块、手部区域分割模块、指尖检测与跟踪模块和虚拟元器件模型空间注册模块；

所述图像采集模块用于通过图像采集设备实时采集手指和实际交互平面的图像并传递给计算机；

所述图像预处理模块用于对采集到的图像进行平滑和去噪处理；

所述手部区域分割模块用于对手部区域进行初步分割，对分割好的图像进行去噪，对去噪后的图像进行背景减除，最后对手部边缘进行提取；

所述指尖检测与跟踪模块用于通过基于曲率运算与最小二乘法拟合进行手指指尖检测，随后通过基于卡尔曼滤波与粒子滤波相结合的方法对指尖进行跟踪；

所述虚拟元器件三维注册模块用于对图像采集设备的标定、计算机渲染和虚拟元器件模型空间注册，以完成系统最后的虚实交互。

一种根据所述基于指尖特征的增强装配示教系统的控制方法，包括以下步骤：

图像采集：通过所述图像采集模块实时采集手指和交互平面的图像并传递给计算机；

图像预处理：通过所述图像预处理模块对采集到的图像进行平滑和去噪处理；

手部区域分割：通过所述手部区域分割模块对手部区域进行初步分割，对分割好的图像进行去噪，对去噪后的图像进行背景减除，最后对手部边缘进行提取；

指尖检测与跟踪：通过所述指尖检测与跟踪模块基于曲率运算与最小二乘法拟合进行手指指尖检测，随后通过基于卡尔曼滤波与粒子滤波相结合的方法对指尖进行跟踪；

虚拟元器件三维注册：通过所述虚拟元器件三维注册模块对图像采集设备的标定、计算机渲染和虚拟元器件模型空间注册；

指尖与虚拟元器件交互完成插装。

上述方案中，所述图像预处理的步骤具体为：采用邻域平均法对图像平滑处理和噪点的消除。

上述方案中，所述手部区域分割的步骤具体为：

通过基于YCrCb色彩空间对手部区域进行初步分割：采集多张不同肤色和光照条件下的肤色切片，对切片上的像素点进行三维空间模型建模，将视频图像从RGB颜色空间转换为YCrCb颜色空间；

通过生长算法背景去噪：根据YCrCb色彩空间颜色表结合手部识别的基础坐标来作为种子进行生长运算；

通过高斯混合模型背景减除；

通过对肤色分割后得到的灰度图进行Canny边缘检测运算，得到手部轮廓。

上述方案中，所述指尖检测与跟踪的步骤具体为：

曲率运算：通过基于曲率运算来寻找手势轮廓中的指尖候选点，对图像中的手势轮廓，按照其中轮廓点的顺序依次计算来获取它们的曲率值，如果该点的计算结果满足：

ratio＝D_p/D_ab≥ε’

那么就将该点视为指尖候选点；

式中，D_ab表示受检指头轮廓的起点a与终点b之间的连线AB的长度，D_p代表轮廓的中点P到线段AB的最短距离，ε是设定的D_p与D_ab的比值ratio的最小阈值，如果经过计算得到的比值大于设定的最小阈值ε，那么该受检轮廓的中点P就被视为指尖候选点，依据a、b两点间连线的中点来判断候选点的矩形邻域范围是否是肤色区域，如果是，那么该点就是指尖候选点；

二乘法拟合：对曲率运算中离散的指尖候选点随机获取至少六个点进行最小二乘法椭圆拟合找到指尖点：

Ax²+Bxy+Cy²+Dx+Ey+F＝0

采用卡尔曼滤波与粒子滤波相融合，结合曲率指尖点检测对指尖跟踪。

上述方案中，所述采用卡尔曼滤波与粒子滤波相融合，结合曲率指尖点检测对指尖跟踪的步骤具体为：

初始化：根据手指尖目标第一次出现，初始化概率外观模型，随机初始化粒子S₀’并赋予相同的权值

预测：根据状态变量到测量的转换矩H进行预测，得到每一个粒子预测值；

更新：采用以下卡尔曼滤波公式，对每一个粒子预测值进行状态更新，得到每个粒子滤波增益的量测值，

状态预测误差协方差：

滤波增益：

状态更新：

其中，A为状态转移矩阵，

表示上一状态最优的结果，A^T为A的转置矩阵，Q_k-1’R_k为k时刻的过程噪声和量测噪声的协方差矩阵，H为状态变量到测量的转换矩阵，H^T表示H的转置矩阵，z_k为观测值，

为实际观测和预测观测的残差；

根据更新后每个粒子滤波增益的量测值重新计算权值

权值归一化，并进行重新采样，其中预测值为重采样后的粒子滤波增益的均值；

在输入帧中以卡尔曼滤波状态预测后的粒子滤波增益的均值粒子为中心，取其M×N大小为邻域，设置为感兴趣区域，结合曲率指尖点检测来实时跟踪、定位手指尖。

上述方案中，所述虚拟元器件三维注册的步骤具体为：

对图像采集设备进行标定以获得图像采集设备的内部参数矩阵

其中，P₁₁，P₁₂，P₁₃，P₂₂，P₂₃分别表示相机的内部参数；

计算图像采集设备相对于这些标识的位置和姿态即坐标转换矩阵T_CM：将实时输入的每帧图像进行灰度化处理，将灰度图以某个阈值为准进行二值化处理，对二值化图像进行连通域分析，提取出所有能构成四边形的轮廓线区域作为候选区域，将候选区域与系统预先训练识别过的给定模板进行匹配，如果匹配到某个标识图像，则可以确定处该标识图像所对应的标识ID，存储当前识别标识图像的四条边和四个顶点的信息，当在模板中找出两组平行边时，得到在图像采集设备屏幕坐标系中这两组平行对边的方程：

a₁x+b₁y+c₁＝0,a₂x+b₂y+c₂＝0 (2)

联合式(1)和式(2)就可以得到两组平行边所在的空间平面方程，其在图像采集设备坐标系下的表达式为：

通过迭代和优化，最终获得一个精确的转换矩阵T_CM；

根据得到的坐标变换矩阵实现虚拟场景与真实世界之间的三维注册。

上述方案中，所述指尖与虚拟元器件交互完成插装的步骤具体为：

所述交互平面上设有的标识图像坐标的3D/2D坐标转换：

通过转换公式

将标识图像中点的3D空间坐标投影到图像采集设备内的2D像素坐标，其中，X_w＝(x_w,y_w,z_w)^T为其在世界坐标系中的坐标，X_c＝(x_c,y_c,z_c)^T为在图像采集设备的3D坐标系中的坐标，m＝(u,v)^T为在实际交互平面上的标识图像2D坐标系中的坐标，K为图像采集设备的内部参数矩阵，f_x、f_y分别为图像采集设备在x轴、y轴方向上的尺度因子，(u₀,v₀)为主点，T_CM为之前求得的增强现实系统中的转换矩阵；

将世界坐标系原点设为与图像采集设备坐标系原点重合，得到

其中r₁、r₂、...、r₉分别表示图像采集设备相对于世界坐标的旋转矩阵中的9个内部参数，t₁、t₂、t₃分别表示图像采集设备相对于世界坐标系的平移矩阵中的三个内部参数，

求出标识图像中点在图像采集设备内的2D像素坐标中的坐标(u，v)；

交互语义的实现：

通过将标识图像的3D坐标转换为图像采集设备内的2D像素坐标，再将指尖点判断的OpenCV程序整合入增强现实程序中，确定在实时图像中指尖点的2D像素坐标，通过判断指尖点2D像素坐标与标识图像中点2D像素坐标之间的距离关系，来确定“拾取”和“放置”的交互事件触发条件，具体为：

当人手指尖与标识图像中心点的距离小于一个阈值后，则触发“拾取”交互事件，表示使用人手选择并拾取了对应的虚拟电子元器件模型；

当人手拾取虚拟电子元器件模型后，此时虚拟电子元器件模型根据指尖点的2D像素坐标实时定位，实现人手拖动虚拟电子元器件模型的效果，人手指尖可以在图像采集设备的视口范围内随意拖动虚拟电子元器件模型；

当人手指尖与交互平面上设有的标识图像中心点距离小于一个阈值后，触发“放置”交互事件，代表人手将虚拟电子元器件模型放置到这个标识图像上，此时人手指尖上不再绑定虚拟电子元器件模型，而是标识图像上绑定了虚拟电子元器件模型。

与现有技术相比，本发明的有益效果是：

1、与现有技术相比，本发明使用的特征简单，把人手指尖作为新的计算机输入来完成与虚拟对象的交互，摒弃了实体化手持标识带来的不便，提高了系统的易用性。

2、当运动呈现非线性，较难对运动目标精确建模时，将卡尔曼滤波与粒子滤波相结合提高了目标物体定位的准确性和实时性。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的工作流程图。

图2是本发明指尖与虚拟元器件交互完成插装的示意简图，(a)为事先注册好六个虚拟元器件，(b)为注册好一块PCB板。

图3中(a)是提取的手部轮廓图，(b)是提取到的指尖候选点，(c)是通过椭圆拟合得到的指尖点示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“轴向”、“径向”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明所述基于指尖特征的增强装配示教系统包括图像采集模块、图像预处理模块、手部区域分割模块、指尖检测与跟踪模块和虚拟元器件模型空间注册模块；

所述图像采集模块用于通过图像采集设备实时采集手指和实际交互平面的图像并传递给计算机；

所述图像预处理模块用于对采集到的图像进行平滑和去噪处理；

所述手部区域分割模块用于对手部区域进行初步分割，对分割好的图像进行去噪，对去噪后的图像进行背景减除，最后对手部边缘进行提取；

所述指尖检测与跟踪模块用于通过基于曲率运算与最小二乘法拟合进行手指指尖检测，随后通过基于卡尔曼滤波与粒子滤波相结合的方法对指尖进行跟踪；

所述虚拟元器件三维注册模块用于对图像采集设备的标定、计算机渲染和虚拟元器件模型空间注册，以完成系统最后的虚实交互。

图1所示为本发明所述基于指尖特征的增强装配示教系统的控制方法的流程图，所述所述基于指尖特征的增强装配示教系统的控制方法，包括以下步骤：

图像采集：通过所述图像采集模块实时采集手指和交互平面的图像并传递给计算机，本实施例中所述交互平面采用两张A4纸板，所述纸板上设有标识图像；

图像预处理：通过所述图像预处理模块对采集到的图像采用邻域平均法进行平滑处理，完成对部分噪点的消除；

手部区域分割：通过所述手部区域分割模块，基于YCrCb色彩空间对手部区域进行初步分割，然后使用生长法对分割好的图像进行去噪，随后对去噪后的图像进行高斯混合背景减除，最后通过Canny检测对手部边缘进行提取；

指尖检测与跟踪：通过所述指尖检测与跟踪模块基于曲率运算与最小二乘法拟合进行手指指尖检测，随后通过基于卡尔曼滤波与粒子滤波相结合的方法对指尖进行跟踪；

虚拟元器件三维注册：通过所述虚拟元器件三维注册模块对图像采集设备的标定、计算机OpenGL渲染和虚拟元器件模型空间注册；

指尖与虚拟元器件交互完成插装。

所述图像预处理的步骤具体为：采用邻域平均法对图像平滑处理，同时完成对部分噪点的消除：

邻域平均法的公式如下：

g(i,j)＝∑f(i,j)/N,(i,j)∈M

其中f(i,j)为给定的含有噪点的图像，g(i,j)为经过邻域平均处理后的图像，M是邻域中像素的坐标，N是邻域中像素的个数，其模板为：

在该模板中，中间的黑点表示要处理的原图中某像素点。

所述手部区域分割的步骤具体包括以下步骤：

1.通过基于YCrCb色彩空间对手部区域进行初步分割：采集200余张不同肤色和光照条件下的肤色切片，对切片上的像素点进行三维空间模型建模，将视频图像从RGB颜色空间转换为YCrCb颜色空间；

Y代表光照分量，Cr和Cb表示色调信息，即是要获取的肤色信息，生成YCrCb色彩空间颜色表。

2.通过生长算法背景去噪：根据YCrCb色彩空间颜色表结合手部识别的基础坐标来作为种子进行生长运算。用一个向量[Y,U,V]表示三维空间。然后对于空间上一点其肤色的概率公式如下：

P_si(x,y)＝M(Y(x,y),U(x,y))

其中(x,y)是某肤色点的坐标，Y(x,y)和U(x,y)分别是该点的Y和U值，在经过i次生长得到的结果为：

P_si＝Max{P'_si(x,y),P_si(x,y)}

其中M_E(ΔY(x,y),ΔU(x,y)是概率肤色生长模型，在没有新的生长点产生的时候就说明生长结束。

3.通过高斯混合模型背景减除，其概率模型为：

K表示高斯混合模型中具有K个高斯模型，取值要随着硬件环境的不同进行调整；w_i,j表示每一个高斯模型的权重；n_i,j、d_i,j分别表示每一个高斯模型的期望以及均方差。其中，

当系统获得新的一帧图像后，就将图像中对应位置的像素点与之前建立的高斯模型验证是否匹配，如果匹配值小于这个高斯模型期望的三倍，那么就认为能够正确匹配，而不能匹配的像素点就位于肤色区域上。

4.边缘提取：通过对肤色分割后得到的灰度图进行Canny边缘检测运算，得到手部轮廓。如图3(a)所示。

所述指尖检测与跟踪的步骤具体包括以下步骤：

1.曲率运算：通过基于曲率运算来寻找手势轮廓中的指尖候选点，对图像中的手势轮廓，按照其中轮廓点的顺序依次计算来获取它们的曲率值，如果该点的计算结果满足：

ratio＝D_p/D_ab≥ε’

那么就将该点视为指尖候选点；

式中，D_ab表示受检指头轮廓的起点a与终点b之间的连线AB的长度，D_p代表轮廓的中点P到线段AB的最短距离，ε是设定的D_p与D_ab的比值ratio的最小阈值，如果经过计算得到的比值大于设定的最小阈值ε，那么该受检轮廓的中点P就被视为指尖候选点，依据a、b两点间连线的中点来判断候选点的矩形邻域范围是否是肤色区域，如果是，那么该点就是指尖候选点，如图3(b)所示；

2.二乘法拟合：对曲率运算中离散的指尖候选点随机获取至少六个点进行最小二乘法椭圆拟合找到指尖点，如图3(c)所示，

Ax²+Bxy+Cy²+Dx+Ey+F＝0

3.采用卡尔曼滤波与粒子滤波相融合，结合曲率指尖点检测对指尖跟踪：由于人手的指势运动为一自然的运动过程，因此，其运动可近似为匀速运动。当手指尖目标第一次出现时，启动跟踪算法，同时不断更新概率外观模型，用一组随机加权粒子

来近似描述后验概率，其中

和

分别表示i时刻的粒子值和权值。具体包括以下步骤：

初始化：根据手指尖目标第一次出现，初始化概率外观模型，随机初始化粒子S₀’并赋予相同的权值

预测：根据状态变量到测量的转换矩H进行预测，得到每一个粒子预测值；

更新：采用以下卡尔曼滤波公式，对每一个粒子预测值进行状态更新，得到每个粒子滤波增益的量测值，

状态预测误差协方差：

滤波增益：

状态更新：

其中，A为状态转移矩阵，

表示上一状态最优的结果，A^T为A的转置矩阵，Q_k-1’R_k为k时刻的过程噪声和量测噪声的协方差矩阵，H为状态变量到测量的转换矩阵，H^T表示H的转置矩阵，z_k为观测值，

为实际观测和预测观测的残差；

根据更新后每个粒子滤波增益的量测值重新计算权值

权值归一化，并进行重新采样，其中预测值为重采样后的粒子滤波增益的均值；

在输入帧中以卡尔曼滤波状态预测后的粒子滤波增益的均值粒子为中心，取其M×N大小为邻域，设置为感兴趣区域，结合曲率指尖点检测来实时跟踪、定位手指尖。

所述虚拟元器件三维注册的步骤具体包括以下步骤：

1.对图像采集设备进行标定以获得图像采集设备的内部参数矩阵

其中，P₁₁，P₁₂，P₁₃，P₂₂，P₂₃分别表示相机的内部参数；

进一步，对图像采集设备进行标定以获得图像采集设备的内部参数矩阵的主要步骤为：

使用张正友标定法对标定板从不同角度拍摄一组照片。为了使标定结果尽量准确，拍摄20幅照片进行标定。将拍摄的这组照片导入到Matlab中，使用Matlab标定工具箱便可实现对相机的标定。从相机标定结果中可以直接获取相机的内参数，进而确定相机内参数矩阵K。

2.计算图像采集设备相对于这些标识的位置和姿态即坐标转换矩阵T_CM：将实时输入的每帧图像进行灰度化处理，将灰度图以某个阈值为准进行二值化处理，对二值化图像进行连通域分析，提取出所有能构成四边形的轮廓线区域作为候选区域，将候选区域与系统预先训练识别过的给定模板进行匹配，如果匹配到某个标识图像，则可以确定处该标识图像所对应的标识ID，存储当前识别标识图像的四条边和四个顶点的信息，当在模板中找出两组平行边时，得到在图像采集设备屏幕坐标系中这两组平行对边的方程：

a₁x+b₁y+c₁＝0,a₂x+b₂y+c₂＝0 (2)

联合式(1)和式(2)就可以得到两组平行边所在的空间平面方程，其在图像采集设备坐标系下的表达式为：

通过迭代和优化，最终获得一个精确的转换矩阵T_CM；

3.根据得到的坐标变换矩阵实现虚拟场景与真实世界之间的三维注册。

所述指尖与虚拟元器件交互完成插装的步骤包括以下步骤：

如图2所示，准备两张A4纸板，(a)上事先注册好六个虚拟元器件，(b)上注册好一块PCB板。

1.所述交互平面上设有的标识图像坐标的3D/2D坐标转换：

通过转换公式

将标识图像中点的3D空间坐标投影到图像采集设备内的2D像素坐标，其中，X_w＝(x_w,y_w,z_w)^T为其在世界坐标系中的坐标，X_c＝(x_c,y_c,z_c)^T为在图像采集设备的3D坐标系中的坐标，m＝(u,v)^T为在实际交互平面上的标识图像2D坐标系中的坐标，K为图像采集设备的内部参数矩阵，f_x、f_y分别为图像采集设备在x轴、y轴方向上的尺度因子，(u₀,v₀)为主点，T_CM为之前求得的增强现实系统中的转换矩阵；

将世界坐标系原点设为与图像采集设备坐标系原点重合，得到

其中r₁、r₂、...、r₉分别表示图像采集设备相对于世界坐标的旋转矩阵中的9个内部参数，t₁、t₂、t₃分别表示图像采集设备相对于世界坐标系的平移矩阵中的三个内部参数，

求出标识图像中点在图像采集设备内的2D像素坐标中的坐标(u，v)。

2.交互语义的实现：

通过将标识图像的3D坐标转换为图像采集设备内的2D像素坐标，再将指尖点判断的OpenCV程序整合入增强现实程序中，确定在实时图像中指尖点的2D像素坐标，通过判断指尖点2D像素坐标与标识图像中点2D像素坐标之间的距离关系，来确定“拾取”和“放置”的交互事件触发条件，具体为：

准备两张A4纸板，如图2所示，(a)上事先注册好六个虚拟元器件，(b)上注册好一块PCB板。

当人手指尖与(a)中虚拟电子元器件对应的标识图像中心点的距离小于一个阈值后，则触发“拾取”交互事件，表示使用人手选择并拾取了对应的虚拟电子元器件模型；

当人手拾取虚拟电子元器件模型后，此时虚拟电子元器件模型根据指尖点的2D像素坐标实时定位，实现人手拖动虚拟电子元器件模型的效果，人手指尖可以在图像采集设备的视口范围内随意拖动虚拟电子元器件模型；

当人手指尖与(b)中交互平面上设有的标识图像中心点距离小于一个阈值后，触发“放置”交互事件，代表人手将虚拟电子元器件模型放置到这个标识图像上，此时人手指尖上不再绑定虚拟电子元器件模型，而是标识图像上绑定了虚拟电子元器件模型，完成增强装配。

本发明不需要其他辅助设备的情况下，使用指尖作为新的计算机输入来完成与虚拟对象的交互，摒弃了实体化手持标识带来的不便，提高了系统的易用性。当运动呈现非线性，较难对运动目标精确建模时，将卡尔曼滤波与粒子滤波相结合提高了目标物体定位的准确性和实时性。与现有技术相比，本发明使用的特征简单，为奠定了增强现实系统中人机交互方式基础。

应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于指尖特征的增强装配示教系统的控制方法，其特征在于，

所述基于指尖特征的增强装配示教系统，包括图像采集模块、图像预处理模块、手部区域分割模块、指尖检测与跟踪模块和虚拟元器件模型空间注册模块；

所述图像采集模块用于通过图像采集设备实时采集手指和实际交互平面的图像并传递给计算机；

所述图像预处理模块用于对采集到的图像进行平滑和去噪处理；

所述手部区域分割模块用于对手部区域进行初步分割，对分割好的图像进行去噪，对去噪后的图像进行背景减除，最后对手部边缘进行提取；

所述指尖检测与跟踪模块用于通过基于曲率运算与最小二乘法拟合进行手指指尖检测，随后通过基于卡尔曼滤波与粒子滤波相结合的方法对指尖进行跟踪；

所述虚拟元器件三维注册模块用于对图像采集设备的标定、计算机渲染和虚拟元器件模型空间注册，以完成系统最后的虚实交互；

该方法包括以下步骤：

图像采集：通过所述图像采集模块实时采集手指和交互平面的图像并传递给计算机；

图像预处理：通过所述图像预处理模块对采集到的图像进行平滑和去噪处理；

手部区域分割：通过所述手部区域分割模块对手部区域进行初步分割，对分割好的图像进行去噪，对去噪后的图像进行背景减除，最后对手部边缘进行提取；

指尖检测与跟踪：通过所述指尖检测与跟踪模块基于曲率运算与最小二乘法拟合进行手指指尖检测，随后通过基于卡尔曼滤波与粒子滤波相结合的方法对指尖进行跟踪；所述指尖检测与跟踪的步骤具体为：

曲率运算：通过基于曲率运算来寻找手势轮廓中的指尖候选点，对图像中的手势轮廓，按照其中轮廓点的顺序依次计算来获取它们的曲率值，如果该点的计算结果满足：

ratio＝D_p/D_ab≥ε，

那么就将该点视为指尖候选点；

式中，D_ab表示受检指头轮廓的起点a与终点b之间的连线AB的长度，D_p代表轮廓的中点P到线段AB的最短距离，ε是设定的D_p与D_ab的比值ratio的最小阈值，如果经过计算得到的比值大于设定的最小阈值ε，那么该受检轮廓的中点P就被视为指尖候选点，依据a、b两点间连线的中点来判断候选点的矩形邻域范围是否是肤色区域，如果是，那么该点就是指尖候选点；

二乘法拟合：对曲率运算中离散的指尖候选点随机获取至少六个点进行最小二乘法椭圆拟合找到指尖点：

Ax²+Bxy+Cy²+Dx+Ey+F＝0

采用卡尔曼滤波与粒子滤波相融合，结合曲率指尖点检测对指尖跟踪；

所述采用卡尔曼滤波与粒子滤波相融合，结合曲率指尖点检测对指尖跟踪的步骤具体为：

初始化：根据手指尖目标第一次出现，初始化概率外观模型，随机初始化粒子S₀，并赋予相同的权值

预测：根据状态变量到测量的转换矩H进行预测，得到每一个粒子预测值；

更新：采用以下卡尔曼滤波公式，对每一个粒子预测值进行状态更新，得到每个粒子滤波增益的量测值，

状态预测误差协方差：

滤波增益：

状态更新：

其中，A为状态转移矩阵，

表示上一状态最优的结果，A^T为A的转置矩阵，Q_k-1，R_k为k时刻的过程噪声和量测噪声的协方差矩阵，H为状态变量到测量的转换矩阵，H^T表示H的转置矩阵，z_k为观测值，

为实际观测和预测观测的残差；

根据更新后每个粒子滤波增益的量测值重新计算权值

权值归一化，并进行重新采样，其中预测值为重采样后的粒子滤波增益的均值；

在输入帧中以卡尔曼滤波状态预测后的粒子滤波增益的均值粒子为中心，取其M×N大小为邻域，设置为感兴趣区域，结合曲率指尖点检测来实时跟踪、定位手指尖；

虚拟元器件三维注册：通过所述虚拟元器件三维注册模块对图像采集设备的标定、计算机渲染和虚拟元器件模型空间注册；

指尖与虚拟元器件交互完成插装，

具体为：

所述交互平面上设有的标识图像坐标的3D/2D坐标转换：

通过转换公式

将标识图像中点的3D空间坐标投影到图像采集设备内的2D像素坐标，其中，X_w＝(x_w,y_w,z_w)^T为其在世界坐标系中的坐标，X_c＝(x_c,y_c,z_c)^T为在图像采集设备的3D坐标系中的坐标，m＝(u,v)^T为在实际交互平面上的标识图像2D坐标系中的坐标，K为图像采集设备的内部参数矩阵，f_x、f_y分别为图像采集设备在x轴、y轴方向上的尺度因子，(u₀,v₀)为主点，T_CM为之前求得的增强现实系统中的转换矩阵；

将世界坐标系原点设为与图像采集设备坐标系原点重合，得到

其中r₁、r₂、...、r₉分别表示图像采集设备相对于世界坐标的旋转矩阵中的9个内部参数，t₁、t₂、t₃分别表示图像采集设备相对于世界坐标系的平移矩阵中的三个内部参数，

求出标识图像中点在图像采集设备内的2D像素坐标中的坐标(u，v)；

交互语义的实现：

通过将标识图像的3D坐标转换为图像采集设备内的2D像素坐标，再将指尖点判断的OpenCV程序整合入增强现实程序中，确定在实时图像中指尖点的2D像素坐标，通过判断指尖点2D像素坐标与标识图像中点2D像素坐标之间的距离关系，来确定“拾取”和“放置”的交互事件触发条件，具体为：

当人手指尖与标识图像中心点的距离小于一个阈值后，则触发“拾取”交互事件，表示使用人手选择并拾取了对应的虚拟电子元器件模型；

当人手拾取虚拟电子元器件模型后，此时虚拟电子元器件模型根据指尖点的2D像素坐标实时定位，实现人手拖动虚拟电子元器件模型的效果，人手指尖可以在图像采集设备的视口范围内随意拖动虚拟电子元器件模型；

当人手指尖与交互平面上设有的标识图像中心点距离小于一个阈值后，触发“放置”交互事件，代表人手将虚拟电子元器件模型放置到这个标识图像上，此时人手指尖上不再绑定虚拟电子元器件模型，而是标识图像上绑定了虚拟电子元器件模型；

所述虚拟元器件三维注册的步骤具体为：

对图像采集设备进行标定以获得图像采集设备的内部参数矩阵

其中，P₁₁，P₁₂，P₁₃，P₂₂，P₂₃分别表示相机的内部参数；

计算图像采集设备相对于这些标识的位置和姿态即坐标转换矩阵T_CM：将实时输入的每帧图像进行灰度化处理，将灰度图以某个阈值为准进行二值化处理，对二值化图像进行连通域分析，提取出所有能构成四边形的轮廓线区域作为候选区域，将候选区域与系统预先训练识别过的给定模板进行匹配，如果匹配到某个标识图像，则可以确定处该标识图像所对应的标识ID，存储当前识别标识图像的四条边和四个顶点的信息，当在模板中找出两组平行边时，得到在图像采集设备屏幕坐标系中这两组平行对边的方程：

a₁x+b₁y+c₁＝0,a₂x+b₂y+c₂＝0 (2)

联合式(1)和式(2)就可以得到两组平行边所在的空间平面方程，其在图像采集设备坐标系下的表达式为：

通过迭代和优化，最终获得一个精确的转换矩阵T_CM；

根据得到的坐标变换矩阵实现虚拟场景与真实世界之间的三维注册。

2.根据权利要求1所述的基于指尖特征的增强装配示教系统的控制方法，其特征在于，所述图像预处理的步骤具体为：采用邻域平均法对图像平滑处理和噪点的消除。

3.根据权利要求1所述的基于指尖特征的增强装配示教系统的控制方法，其特征在于，所述手部区域分割的步骤具体为：

通过基于YCrCb色彩空间对手部区域进行初步分割：采集多张不同肤色和光照条件下的肤色切片，对切片上的像素点进行三维空间模型建模，将视频图像从RGB颜色空间转换为YCrCb颜色空间；

通过生长算法背景去噪：根据YCrCb色彩空间颜色表结合手部识别的基础坐标来作为种子进行生长运算；

通过高斯混合模型背景减除；

通过对肤色分割后得到的灰度图进行Canny边缘检测运算，得到手部轮廓。

Images