CN108932060A - 手势立体互动投影技术 - Google Patents

Abstract

本发明涉及手势立体互动投影技术，用户一个或多个手指上佩戴戒指LED发光管，通过若干标志点来简化处理跟踪及识别、定位，系统通过检测发光管代替指尖检测，可以通过光点指向屏幕中的特定位装置，将通过戒指中的六轴加速度传感器、红外信号发生器、屏幕超声和红外定位网格、屏幕上方双景深摄像头作为信号采集。本发明的有益效果是：通过手部轨迹动作信号处理和光感应数据的修正，实现与全息投影的画面互动，过触觉仿真单元，实现触觉感应，增强互动真实感受，用户可以通过光感应数据手套内的光线传感器和轨迹数据传感器同时得到全息影像的触觉反馈，通过不断的增加采样量不断优化完善参数实现对不同的人手势互动投影的从而实现个体人群自适应。

Description

手势立体互动投影技术

技术领域

本发明涉及手势立体互动投影技术。

背景技术

长期以来，一根封笔一块黑板是教学的标配；随着投影技术和交互技术的发展，出现了交互式投影，包括接触式和非接触式两类，接触式在投影屏上点击可以实现触控效果(包括压力检测和光波检测两类)。非接触式，使用可发出红外信号的光鼠(通过光源检测、角度和时间计算确认位臵)，但是如果要实现非接触式，需要携带光鼠，相对不方便，无法在演讲中充分解放双手；其次用摄像头进行图像识别的方法，但是也存在遮挡问题(如周围环境、物体、演讲者自身人体都有可能存在遮挡摄像头的问题)和噪声问题(室内光线亮度的渐变和周围环境产生的噪声影响)。

发明内容

为克服现有技术所存在的缺陷，本发明提供手势立体互动投影技术，能够解决上述技术问题。

本发明通过以下技术方案来实现上述目的：

手势立体互动投影技术，按照下述步骤依次进行：

步骤一：用户一个或多个手指上佩戴戒指LED发光管，通过若干标志点来简化处理跟踪及识别、定位，系统通过检测发光管代替指尖检测，可以通过光点指向屏幕中的特定位装置，将通过戒指中的六轴加速度传感器、红外信号发生器、屏幕超声和红外定位网格、屏幕上方摄像头作为信号采集，同时结合每个人的动作画像模型建模，根据光线传感器的信号，分析当前光感应数据手套与全息投影设备接触面的色彩，得出接触画面；通过光线反射波收集单元的信号，分析确定光感应数据手套与全息图像的空间位置，通过轨迹数据传感器的信号分析当前手部动作手势，再将上述信号整合处理，通过与当前全息投影播放画面的匹配，精确确定当前光感应数据手套与全息投影播放画面相互之间的空间位置，建立以光感应数据手套位置为中心，以全息投影播放画面为背景的3D坐标系位置建模，具体建模过程如下：

(1)被拍摄者携带的加速度采集单元采用MEMS(Micro FlectroMechanicalSystems，微机电系统)关键部分是一种悬臂构造的中间电容板，当速度变化或加速度达到足够大时，它所受的惯性力超过固定或支撑他的力，这时它就会移动，跟上下电容板之间的距离就会变化，上下电容就会因此变化。电容变化跟加速度成正比。电容变化会被转化为电压信号直接输出或经过数字化处理后输出；

(2)通过三维扫描仪构建对象的三维模型，设定初始边界条件，根据边界条件进行三维模型区域分解，分解得到与并行计算中总进程数相等的子模型数目，以初始边界条件为计算条件，当计算过程中初始的边界条件发生改变则重新启动边界设置程序，重新对该子模型进行计算，直到边界稳定或计算子结果为常数，读入当前进程中对应的输入文件，利用并行特征曲线算法对控制方程中的非线性项进行线性化处理，得到正定、对称的局部线性系统，如果边界条件发生改变重新启动边界设置程序，再进行计算，直到边界稳定或者计算子结果定常为止；每完成一定时间步的计算，进行一次输出文件的读写操作。

(3)通过分析模块建立和自适应完善的识别模型，重点通过加速度传感器和腕表压力传感器的作用力的规律进行建模，并通过遗传算子的操作，给出运动状态识别结果，供远程健康大数据分析管理使用。

(4)对数据进行小波分解、对高频小波系数处理、小波重构三个步骤的小波变换操作，将四个方向时域信号离散化，将多种频率成分的混合信号分解到不同频段，然后根据各种子信号在频域上的不同特征按频带处理；获取信噪比高的步态数据。

(5)采用采用小波包分解、差分算法分别从压力的三方向(左右、前后、垂直)提取频域时域特征，用SVM进行识别。其中，传感器各区域作用力与运动步态相关，时频可表征步态周期性、变化率和加速度等整体特征，频域可表征谱特性等细节特征。

(6)先用模糊C均值法从提取的步态频域特征的多个小波包中挑选最小最优小波包集合，再用模糊C均值法基于模糊隶属度排序从挑选出的集合中挑选最小最优小波包分解系数，得到最小最优步态频域特征子集，再与步态时域特征组合，得到融合后的步态特征集，采用SVM进行步态识别，采用非线性映射径向基核函数将线性不可分的低维空间映射到线性可分的高维空间，先训练分类器，再用分类器识别步态样本建立识别建模。

(7)根据运动变化率自适应调整采样率，多路径传输预处理图像：

(8)主进程分别读入当前时间步内各个进程的输出文件，将采集到的所述多路视频流进行拼合处理，以生成携带所述时间戳的全景视频流，然后按照区域分解的算法将结果合并还原，将结果以ASCLL格式暂存。

步骤二：全息投影设备与光感应数据手套的互动，操作者佩戴光感应数据手套/戒指，根据轨迹数据传感器的信号，确定当前手势形状；根据光线传感器及光线反射波收集单元的信号，确定光感应数据手套动作瞬间接触画面的光线画面变化，根据上述信号，分析当前与光感应数据手套互动动作相匹配的全息投影图像，通过对全息投影激光投射单元的控制，实现互动匹配画面播放；根据匹配画面内容，对触觉仿真单元进行控制，实现压力、温度、痛感的基本触感(参考图2)。

步骤三：将步骤一中的建模过程不断的增加采样样本，每次输入新的样本，根据交叉验证法原理，计算SVM分类器识别率，进行适应度评估，不设定遗传算法的终止值，终止条件采用比高法，如果训练的识别率高于现有则设为最优参数，否则，执行选择、交叉和变异等操作进一步优化训练参数，实现模型的自适应完善。

在本实施例中，所述步骤一中的加速度采集单元内置在戒指中。

在本实施例中，所述步骤一中的摄像头采用近红外波段摄像头便于只接收红外光波段，消除了投影仪和环境中可见光的影响。

在本实施例中，所述步骤一显示屏幕的一侧前方左右位臵处安装两个CCD摄像头，调节摄像头方向使整个显示屏幕都纳入到摄像头的摄像范围内，在大屏幕的前方平行位臵处构建一个虚拟平面充当虚拟触摸屏，当有触摸物接触到虚拟平面，便立即被两个CCD摄像头捕捉到，计算机将捕捉到的运动图像经过处理形成触摸点。

在本实施例中，所述步骤一的显示屏幕前方地面上设置有脚印标志，便于操作者合理定位。

在本实施例中，步骤一中数据采集采用可见光、不可见光分别采集去噪避免相互干扰，避免外界光源太强或与手指颜色接近，导致误判，然后采用能消除投影仪和环境中可见光的影响近红外波段摄像头进行图像数据采集；

在本实施例中，所述步骤一中的特征曲线算法对控制方程中的非线性项进行线性化处理，得到正定、对称的局部线性系统为：

其中，K⁽ⁱ⁾为局部刚度矩阵，U⁽ⁱ⁾为局部未知变量，f⁽ⁱ⁾为已知的局部外力向量，R⁽ⁱ⁾为局部元素标编号和整体元素编号之间映射的0-1矩阵；

表面自由度方程如下：

其中，为当前小区域内部自由度，当前小区域表面和其他区域接界部分自由度；

为当前小区域内部自由度对应的外力矢量；

为当前小区域表面自由度对应的外力矢量；

其他K分量为矩阵进行初等行列变换后对应的分块矩阵；运用平衡预条件迭代算法对表面自由度方程进行求解，得到u_B将代入线性系统，采用直接法得到。

本发明的有益效果是：

本发明通过光线传感器及光线反射波收集单元，建立手部位臵与全息投影的3D空间位臵坐标系；通过手部轨迹动作信号处理和光感应数据的修正，实现与全息投影的画面互动，过触觉仿真单元，实现触觉感应，增强互动真实感受。不需要佩戴头盔显示器或者眼镜，用户可以通过光感应数据手套内的光线传感器和轨迹数据传感器，将虚拟现实的多感知性与用全息投影技术投射出来的影像进行交互，可以通过触摸改变全息图像画面，同时得到全息影像的触觉反馈。

附图说明

图1是本发明的流程图；

图2是本发明的自适应完善示意图触感模拟示意图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1-2所示，手势立体互动投影技术，按照下述步骤依次进行：

步骤一：用户一个或多个手指上佩戴戒指LED发光管，通过若干标志点来简化处理跟踪及识别、定位，系统通过检测发光管代替指尖检测，可以通过光点指向屏幕中的特定位装置，将通过戒指中的六轴加速度传感器、红外信号发生器、屏幕超声和红外定位网格、屏幕上方摄像头作为信号采集，同时结合每个人的动作画像模型建模，根据光线传感器的信号，分析当前光感应数据手套与全息投影设备接触面的色彩，得出接触画面；通过光线反射波收集单元的信号，分析确定光感应数据手套与全息图像的空间位置，通过轨迹数据传感器的信号分析当前手部动作手势，再将上述信号整合处理，通过与当前全息投影播放画面的匹配，精确确定当前光感应数据手套与全息投影播放画面相互之间的空间位置，建立以光感应数据手套位置为中心，以全息投影播放画面为背景的3D坐标系位置建模，具体建模过程如下：

(1)被拍摄者携带的加速度采集单元采用MEMS(Micro FlectroMechanicalSystems，微机电系统)关键部分是一种悬臂构造的中间电容板，当速度变化或加速度达到足够大时，它所受的惯性力超过固定或支撑他的力，这时它就会移动，跟上下电容板之间的距离就会变化，上下电容就会因此变化。电容变化跟加速度成正比。电容变化会被转化为电压信号直接输出或经过数字化处理后输出；

(2)通过三维扫描仪构建对象的三维模型，设定初始边界条件，根据边界条件进行三维模型区域分解，分解得到与并行计算中总进程数相等的子模型数目，以初始边界条件为计算条件，当计算过程中初始的边界条件发生改变则重新启动边界设置程序，重新对该子模型进行计算，直到边界稳定或计算子结果为常数，读入当前进程中对应的输入文件，利用并行特征曲线算法对控制方程中的非线性项进行线性化处理，得到正定、对称的局部线性系统，如果边界条件发生改变重新启动边界设置程序，再进行计算，直到边界稳定或者计算子结果定常为止；每完成一定时间步的计算，进行一次输出文件的读写操作。

(3)通过分析模块建立和自适应完善的识别模型，重点通过加速度传感器和腕表压力传感器的作用力的规律进行建模，并通过遗传算子的操作，给出运动状态识别结果，供远程健康大数据分析管理使用。

(4)对数据进行小波分解、对高频小波系数处理、小波重构三个步骤的小波变换操作，将四个方向时域信号离散化，将多种频率成分的混合信号分解到不同频段，然后根据各种子信号在频域上的不同特征按频带处理；获取信噪比高的步态数据。

(5)采用采用小波包分解、差分算法分别从压力的三方向(左右、前后、垂直)提取频域时域特征，用SVM进行识别。其中，传感器各区域作用力与运动步态相关，时频可表征步态周期性、变化率和加速度等整体特征，频域可表征谱特性等细节特征。

(6)先用模糊C均值法从提取的步态频域特征的多个小波包中挑选最小最优小波包集合，再用模糊C均值法基于模糊隶属度排序从挑选出的集合中挑选最小最优小波包分解系数，得到最小最优步态频域特征子集，再与步态时域特征组合，得到融合后的步态特征集，采用SVM进行步态识别，采用非线性映射径向基核函数将线性不可分的低维空间映射到线性可分的高维空间，先训练分类器，再用分类器识别步态样本建立识别建模。

(7)根据运动变化率自适应调整采样率，多路径传输预处理图像：

(8)主进程分别读入当前时间步内各个进程的输出文件，将采集到的所述多路视频流进行拼合处理，以生成携带所述时间戳的全景视频流，然后按照区域分解的算法将结果合并还原，将结果以ASCLL格式暂存。

步骤二：全息投影设备与光感应数据手套的互动，操作者佩戴光感应数据手套/戒指，根据轨迹数据传感器的信号，确定当前手势形状；根据光线传感器及光线反射波收集单元的信号，确定光感应数据手套动作瞬间接触画面的光线画面变化，根据上述信号，分析当前与光感应数据手套互动动作相匹配的全息投影图像，通过对全息投影激光投射单元的控制，实现互动匹配画面播放；根据匹配画面内容，对触觉仿真单元进行控制，实现压力、温度、痛感的基本触感(参考图2)。

步骤三：将步骤一中的建模过程不断的增加采样样本，每次输入新的样本，根据交叉验证法原理，计算SVM分类器识别率，进行适应度评估，不设定遗传算法的终止值，终止条件采用比高法，如果训练的识别率高于现有则设为最优参数，否则，执行选择、交叉和变异等操作进一步优化训练参数，实现模型的自适应完善。

在本实施例中，所述步骤一中的加速度采集单元内置在戒指中。

在本实施例中，所述步骤一中的摄像头采用近红外波段摄像头便于只接收红外光波段，消除了投影仪和环境中可见光的影响。

在本实施例中，所述步骤一显示屏幕的一侧前方左右位臵处安装两个CCD摄像头，调节摄像头方向使整个显示屏幕都纳入到摄像头的摄像范围内，在大屏幕的前方平行位臵处构建一个虚拟平面充当虚拟触摸屏，当有触摸物接触到虚拟平面，便立即被两个CCD摄像头捕捉到，计算机将捕捉到的运动图像经过处理形成触摸点。

在本实施例中，所述步骤一的显示屏幕前方地面上设置有脚印标志，便于操作者合理定位。

在本实施例中，所述步骤一中数据采集采用可见光、不可见光分别采集去噪避免相互干扰，避免外界光源太强或与手指颜色接近，导致误判，然后采用能消除投影仪和环境中可见光的影响近红外波段摄像头进行图像数据采集；

在本实施例中，所述步骤一中的特征曲线算法对控制方程中的非线性项进行线性化处理，得到正定、对称的局部线性系统为：

其中，K⁽ⁱ⁾为局部刚度矩阵，U⁽ⁱ⁾为局部未知变量，f⁽ⁱ⁾为已知的局部外力向量，R⁽ⁱ⁾为局部元素标编号和整体元素编号之间映射的0-1矩阵；

表面自由度方程如下：

其中，为当前小区域内部自由度，当前小区域表面和其他区域接界部分自由度；

为当前小区域内部自由度对应的外力矢量；

为当前小区域表面自由度对应的外力矢量；

其他K分量为矩阵进行初等行列变换后对应的分块矩阵；运用平衡预条件迭代算法对表面自由度方程进行求解，得到u_B将代入线性系统，采用直接法得到。

最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应该理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.手势立体互动投影技术，其特征在于：按照下述步骤依次进行：

步骤一：用户一个或多个手指上佩戴戒指LED发光管，通过若干标志点来简化处理跟踪及识别、定位，系统通过检测发光管代替指尖检测，可以通过光点指向屏幕中的特定位装置，将通过戒指中的六轴加速度传感器、红外信号发生器、屏幕超声和红外定位网格、屏幕上方摄像头作为信号采集，同时结合每个人的动作画像模型建模，根据光线传感器的信号，分析当前光感应数据手套与全息投影设备接触面的色彩，得出接触画面；通过光线反射波收集单元的信号，分析确定光感应数据手套与全息图像的空间位置，通过轨迹数据传感器的信号分析当前手部动作手势，再将上述信号整合处理，通过与当前全息投影播放画面的匹配，精确确定当前光感应数据手套与全息投影播放画面相互之间的空间位置，建立以光感应数据手套位置为中心，以全息投影播放画面为背景的3D坐标系位置建模，具体建模过程如下：

(1)被拍摄者携带的加速度采集单元采用MEMS(Micro Flectro MechanicalSystems，微机电系统)关键部分是一种悬臂构造的中间电容板，当速度变化或加速度达到足够大时，它所受的惯性力超过固定或支撑他的力，这时它就会移动，跟上下电容板之间的距离就会变化，上下电容就会因此变化。电容变化跟加速度成正比。电容变化会被转化为电压信号直接输出或经过数字化处理后输出；

(2)通过三维扫描仪构建对象的三维模型，设定初始边界条件，根据边界条件进行三维模型区域分解，分解得到与并行计算中总进程数相等的子模型数目，以初始边界条件为计算条件，当计算过程中初始的边界条件发生改变则重新启动边界设置程序，重新对该子模型进行计算，直到边界稳定或计算子结果为常数，读入当前进程中对应的输入文件，利用并行特征曲线算法对控制方程中的非线性项进行线性化处理，得到正定、对称的局部线性系统，如果边界条件发生改变重新启动边界设置程序，再进行计算，直到边界稳定或者计算子结果定常为止；每完成一定时间步的计算，进行一次输出文件的读写操作。

(3)通过分析模块建立和自适应完善的识别模型，重点通过加速度传感器和腕表压力传感器的作用力的规律进行建模，并通过遗传算子的操作，给出运动状态识别结果，供远程健康大数据分析管理使用。

(4)对数据进行小波分解、对高频小波系数处理、小波重构三个步骤的小波变换操作，将四个方向时域信号离散化，将多种频率成分的混合信号分解到不同频段，然后根据各种子信号在频域上的不同特征按频带处理；获取信噪比高的步态数据。

(5)采用采用小波包分解、差分算法分别从压力的三方向(左右、前后、垂直)提取频域时域特征，用SVM进行识别。其中，传感器各区域作用力与运动步态相关，时频可表征步态周期性、变化率和加速度等整体特征，频域可表征谱特性等细节特征。

(6)先用模糊C均值法从提取的步态频域特征的多个小波包中挑选最小最优小波包集合，再用模糊C均值法基于模糊隶属度排序从挑选出的集合中挑选最小最优小波包分解系数，得到最小最优步态频域特征子集，再与步态时域特征组合，得到融合后的步态特征集，采用SVM进行步态识别，采用非线性映射径向基核函数将线性不可分的低维空间映射到线性可分的高维空间，先训练分类器，再用分类器识别步态样本建立识别建模。

(7)根据运动变化率自适应调整采样率，多路径传输预处理图像：

(8)主进程分别读入当前时间步内各个进程的输出文件，将采集到的所述多路视频流进行拼合处理，以生成携带所述时间戳的全景视频流，然后按照区域分解的算法将结果合并还原，将结果以ASCLL格式暂存。

步骤二：全息投影设备与光感应数据手套/戒指的互动，操作者佩戴光感应数据手套，根据轨迹数据传感器的信号，确定当前手势形状；根据光线传感器及光线反射波收集单元的信号，确定光感应数据手套动作瞬间接触画面的光线画面变化，根据上述信号，分析当前与光感应数据手套互动动作相匹配的全息投影图像，通过对全息投影激光投射单元的控制，实现互动匹配画面播放；根据匹配画面内容，对触觉仿真单元进行控制，实现压力、温度、痛感的基本触感。

步骤三：将步骤一中的建模过程不断的增加采样样本，每次输入新的样本，根据交叉验证法原理，计算SVM分类器识别率，进行适应度评估，不设定遗传算法的终止值，终止条件采用比高法，如果训练的识别率高于现有则设为最优参数，否则，执行选择、交叉和变异等操作进一步优化训练参数，实现模型的自适应完善。

2.根据权利要求1所述的手势立体互动投影技术，其特征在于：所述步骤一中的加速度采集单元内置在戒指中。

3.根据权利要求1所述的手势立体互动投影技术，其特征在于：所述步骤一中的摄像头采用近红外波段摄像头便于只接收红外光波段，消除了投影仪和环境中可见光的影响。

4.根据权利要求1所述的手势立体互动投影技术，其特征在于：所述步骤一显示屏幕的一侧前方左右位臵处安装两个CCD摄像头，调节摄像头方向使整个显示屏幕都纳入到摄像头的摄像范围内，在大屏幕的前方平行位臵处构建一个虚拟平面充当虚拟触摸屏，当有触摸物接触到虚拟平面，便立即被两个CCD摄像头捕捉到，计算机将捕捉到的运动图像经过处理形成触摸点。

5.根据权利要求1所述的手势立体互动投影技术，其特征在于：所述步骤一的显示屏幕前方地面上设置有脚印标志，便于操作者合理定位。

6.根据权利要求1所述的手势立体互动投影技术，其特征在于：所述步骤一中数据采集采用可见光、不可见光分别采集去噪避免相互干扰，避免外界光源太强或与手指颜色接近，导致误判，然后采用能消除投影仪和环境中可见光的影响近红外波段摄像头进行图像数据采集。

7.根据权利要求6所述的手势立体互动投影技术，其特征在于：所述步骤一中的特征曲线算法对控制方程中的非线性项进行线性化处理，得到正定、对称的局部线性系统为：

其中，K⁽ⁱ⁾为局部刚度矩阵，U⁽ⁱ⁾为局部未知变量，f⁽ⁱ⁾为已知的局部外力向量，R⁽ⁱ⁾为局部元素标编号和整体元素编号之间映射的0-1矩阵；

表面自由度方程如下：

其中，为当前小区域内部自由度，当前小区域表面和其他区域接界部分自由度；

为当前小区域内部自由度对应的外力矢量；

为当前小区域表面自由度对应的外力矢量；

其他K分量为矩阵进行初等行列变换后对应的分块矩阵；运用平衡预条件迭代算法对表面自由度方程进行求解，得到将代入线性系统，采用直接法得到。