CN101038671A - 基于立体视觉三维手指运动轨迹跟踪方法 - Google Patents

Abstract

一种基于立体视觉三维手指运动轨迹跟踪方法。为从复杂背景中分割运动目标，基于场景中任何可察觉目标运动都会体现在场景图像序列变化中，建立自适应背景模型，采用背景差分法从复杂背景中提取运动对象，并基于手指在图像空间中的位置关系，分割出手指或手臂区域。为解决手指尖特征点对应匹配，基于手指尖特征点、手指或手臂轴线及外极线等多几何约束关系，确定手指尖特征对应点。采用求解反对应方法，确保手指尖匹配对应的正确性。基于手指尖对应特征点和摄像机投影矩阵，重建手指尖三维坐标。本发明通过视频采集，获取手指运动信息，实现自然、直观的人机交互。

Description

基于立体视觉三维手指运动轨迹跟踪方法

技术领域

本发明涉及一种基于立体视觉三维手指运动轨迹跟踪方法，用于智能图像分析与目标提取。属于智能信息处理技术领域。

背景技术

随着计算机技术的不断发展，计算机能力得到了极大提高，利用计算机实现人类的视觉功能，成为必然。其中，视觉目标跟踪，是实现对图像序列中的运动目标检测、提取、识别和跟踪，获取运动目标运动参数和运动轨迹，从而进一步处理与分析、实现对运动目标的行为理解，完成更高一级任务。视觉目标跟踪在视频监视、虚拟现实、增强现实、人机交互、动画运动捕获、视频压缩、视频会议、智能交通、军事制导等方面具有广泛应用前景，也是行为识别等高级机器视觉的基础。

同时，人们一直寻求自然、直观的人机交互方式，以摆脱键盘、鼠标、触摸屏等人机交互方式的局限。而手指是人类最直接也是最有效的人机交互工具，通过视频采集，获取手指运动信息，实现自然、直观的人机交互。

目前手指跟踪系统，需要使用者佩带有颜色的手套，或基于使用者肤色，或借助于三维摄像机或红外摄像机或激光笔等。

发明内容

本发明的目的在于针对现有手指跟踪系统需要使用者佩带有颜色的手套，或基于使用者肤色，或借助于三维摄像机或红外摄像机或激光笔等，提供一种基于立体视觉三维手指跟踪方法。它是基于场景中任何可察觉目标运动都会体现在场景图像序列的变化中，通过建立自适应背景模型，从复杂背景中提取运动对象。并通过立体匹配，获取手指三维坐标信息。从而实现对运动手指的行为理解及自然、直观的人机交互。

为达到上述目的，本发明的构思是：

(1)背景建模与运动手指目标分割

基于场景中任何可察觉的目标运动都会体现在场景图像序列的变化中，以及彩色图像中红、绿、蓝三分量光强度在阴影区域存在差异，设时间间隔Δt内，分别获得t_n-1与t_n两时刻的两帧图像f(t_n-1，x，y)，f(t_n，x，y)，将两幅图像逐象素求差值，得差分图像Diff(x，y)。

DiffR(x，y)＝|fR(t_n，x，y)-fR(t_n-1，x，y)|

DiffG(x，y)＝|fG(t_n，x，y)-fG(t_n-1，x，y)|                          (1)

DiffB(x，y)＝|fB(t_n，x，y)-fB(t_n-1，x，y)|

其中，DiffR，DiffG，DiffB分别对应差分图像红、绿、蓝三分量，|f|为f的绝对值。

Backf(x，y)＝DiffR(x，y)≤T|DiffG(x，y)≤T|DiffB(x，y)≤T+ΔT       (2)

其中，T为阈值，ΔT为消除阴影的补偿阈值，|为或运算符。

当时间间隔Δt内的两序列图像f(t_n-1，x，y)，f(t_n，x，y)满足式(2)时，表明该时间间隔内没有任何变化物体，从而可将t_n/t_n-1之间任意时刻图像作为背景图像。基于所得背景图像，利用当前帧图像减去背景图像得差分图像I，分割出运动目标区域。

为消除光照及其它干扰噪声影响，对差分图像I进行数学形态学滤波，确定运动目标区域。具体方法如下：

对所得差分图像I作二值处理，采用某个大小的滤波算子对该二值图像进行滤波后，与初始二值图像相加，得到一个封闭的二值图像。对该二值图像作闭运算，获取二值运动目标分割区域。

(2)手指点特征提取与三维手指尖坐标

基于二值运动目标分割区域，采用自适应矩形形状结构元素，作数学形态学开运算，分割出手指或手臂对象。基于手指在二维图像空间中的位置关系，确定手指尖特征点位置。基于分割出的手指或手臂对象，确定手指或手臂轴线。基于手指尖、手指或手臂轴线及外极线关系，确定手指尖的对应匹配。采用求解出的手指尖对应点与相应手指尖点的距离小于某阈值Th，作为求解的手指尖匹配点为正确匹配对应指尖点判据。基于手指尖对应特征点和摄像机投影矩阵，重建手指尖三维坐标。

根据上述的发明构思，本发明采用如下技术方案：

一种基于立体视觉三维手指运动轨迹跟踪方法，其特征在于基于场景中任何可察觉的目标运动都会体现在场景图像序列的变化中，及彩色图像中红、绿、蓝三分量光强度在阴影区域存在差异，进行自适应背景建模；基于建立的背景模型，提取前景运动对象，从前景对象中分割出手指或手臂对象，提取手指尖特征点；基于手指尖、手指或手臂轴线及外极线的多几何约束关系，确定手指尖的对应匹配；采用求解出的手指尖对应点与相应手指点的距离小于某阈值Th，作为手指尖匹配点为正确匹配对应指尖点判据；基于手指尖对应特征点和摄像机投影矩阵，重建手指尖三维坐标；具体步骤如下：

(1)启动计算机及摄像机图像采集系统

对由摄像机采集到的标定用图像进行摄像机标定，确定摄像机投影矩阵；

(2)获取背景图像

连续采集不包含目标的场景图像，当一设定时间间隔内两图像差小于某个设定阈值时，则获取背景场景作为背景图像，否则重新采集，直到满足设定的时间间隔内的两图像差小于某个设定阈值；

(3)运动目标分割

由摄像机采集的当前帧图像与步骤(2)取的背景图像相减，分割出运动目标区域；

(4)采用数学形态学滤波方法，获取完整的运动目标；

(5)根据手指在采集到的二维图像中的空间位置关系，分割出手臂、手指对象，并确定手指尖在图像中的位置；

(6)基于手指尖、手指或手臂轴线以及摄像机采集图像的外极线之间的几何关系，确定手指尖的匹配对应；

(7)若求解出的手指尖匹配对应点与相应的手指尖位置的距离小于设定阈值，则求解的手指尖为正确匹配对应手指尖；否则，转入步骤(3)，重新根据当前采集到的图像，确定手指尖位置；

(8)基于手指尖位置和摄像机投影矩阵，重建手指尖三维坐标。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明根据基于场景中任何可察觉的目标运动都会体现在场景图像序列的变化中及彩色图像中红、绿、蓝三分量光强度在阴影区域存在差异，实现背景建模，解决了现有技术前景分割不完整或阴影区域分割困难的局限性，提高了前景分割的鲁棒性，不需借助任何外界辅助手段或设备，可适应光照、阴影、噪声等的干扰影响。基于手指尖特征点、手指或手臂轴线及外极线等多几何约束关系，求解手指尖特征点对应匹配，有效解决了匹配搜索中的盲目性、歧义性，保证了手指尖对应匹配的鲁棒性。本发明通过视频采集，获取手指运动信息，实现自然、直观的人机交互。

附图说明

图1是本发明的程序流程框图。

图2是本发明一个实施例的操作者未手指前方目标时的场景图像。

图3是图2示例操作者徒手指向前方一目标时(前方目标被点亮—方框)的场景图像。

具体实施方式

本发明的一个实施例是对图2所示的背景图像下，手指运动轨迹的跟踪方法，本方法的程序流程如图1所示。

本基于立体视觉三维手指运动轨迹跟踪方法，其特征在于基于场景中任何可察觉的目标运动都会体现在场景图像序列的变化中，及彩色图像中红、绿、蓝三分量光强度在阴影区域存在差异，进行自适应背景建模；基于建立的背景模型，提取前景运动对象，从前景对象中分割出手指或手臂对象，提取手指尖特征点；基于手指尖、手指或手臂轴线及外极线的多几何约束关系，确定手指尖的对应匹配；采用求解出的手指尖对应点与相应手指点的距离小于某阈值Th，作为手指尖匹配点为正确匹配对应指尖点判据；基于手指尖对应特征点和摄像机投影矩阵，重建手指尖三维坐标；具体步骤如下：

(1)启动计算机及摄像机图像采集系统

对由摄像机采集到的标定用图像进行摄像机标定，确定摄像机投影矩阵；

(2)获取背景图像

连续采集不包含目标的场景图像，当一设定时间间隔内两图像差小于某个设定阈值时，则获取背景场景作为背景图像，否则重新采集，直到满足设定的时间间隔内的两图像差小于某个设定阈值；

(3)运动目标分割

由摄像机采集的当前帧图像与步骤(2)取的背景图像相减，分割出运动目标区域；

(4)采用数学形态学滤波方法，获取完整的运动目标；

(5)根据手指在采集到的二维图像中的空间位置关系，分割出手臂、手指对象，并确定手指尖在图像中的位置；

(6)基于手指尖、手指或手臂轴线以及摄像机采集图像的外极线之间的几何关系，确定手指尖的匹配对应；

(7)若求解出的手指尖匹配对应点与相应的手指尖位置的距离小于设定阈值，则求解的手指尖为正确匹配对应手指尖；否则，转入步骤(3)，重新根据当前采集到的图像，确定手指尖位置；

(8)基于手指尖位置和摄像机投影矩阵，重建手指尖三维坐标。

图2示出操作者徒手指前方目标时前方目标(方框)被点亮的场景图像。

Claims (1)

1.一种基于立体视觉三维手指运动轨迹跟踪方法，其特征在于基于场景中任何可察觉的目标运动都会体现在场景图像序列的变化中，及彩色图像中红、绿、蓝三分量光强度在阴影区域存在差异，进行自适应背景建模；基于建立的背景模型，提取前景运动对象，从前景对象中分割出手指或手臂对象，提取手指尖特征点；基于手指尖、手指或手臂轴线及外极线的多几何约束关系，确定手指尖的对应匹配；采用求解出的手指尖对应点与相应手指点的距离小于某阈值Th，作为手指尖匹配点为正确匹配对应指尖点判据；基于手指尖对应特征点和摄像机投影矩阵，重建手指尖三维坐标；具体步骤如下：

(1)启动计算机及摄像机图像采集系统

对由摄像机采集到的标定用图像进行摄像机标定，确定摄像机投影矩阵；

(2)获取背景图像

连续采集不包含目标的场景图像，当一设定时间间隔内两图像差小于某个设定阈值时，则获取背景场景作为背景图像，否则重新采集，直到满足设定的时间间隔内的两图像差小于某个设定阈值；

(3)运动目标分割

由摄像机采集的当前帧图像与步骤(2)取的背景图像相减，分割出运动目标区域；

(4)采用数学形态学滤波方法，获取完整的运动目标；

(5)根据手指在采集到的二维图像中的空间位置关系，分割出手臂、手指对象，并确定手指尖在图像中的位置；

(6)基于手指尖、手指或手臂轴线以及摄像机采集图像的外极线之间的几何关系，确定手指尖的匹配对应；

(7)若求解出的手指尖匹配对应点与相应的手指尖位置的距离小于设定阈值，则求解的手指尖为正确匹配对应手指尖；否则，转入步骤(3)，重新根据当前采集到的图像，确定手指尖位置；

(8)基于手指尖位置和摄像机投影矩阵，重建手指尖三维坐标。

Images