CN114596582B - 一种带视觉和力反馈的增强现实交互方法及系统 - Google Patents

Abstract

本发明公开了一种带视觉和力反馈的增强现实交互方法及系统。获得手势图像。基于手势图像，通过手势模型，得到多个实际手势关键点位置。基于手势图像，通过阴影模型，得到阴影手区域。基于实际手势关键点位置和阴影手区域，得到指尖触碰值。若指尖触碰值为1，基于手势图像，通过触碰模型，得到指尖位置。基于指尖位置，得到手势信息。使用对手指的阴影进行判别，从而确定手指指尖是否与触摸板接触。而且使用凸包结构获取指尖区域，同时再对指尖区域的手指进行识别，不但还通过指尖与手指共同识别并且互相影响训练的方式，增强了指尖识别的准确性。准确的识别了在AR状态下识别手指点击虚拟键盘的位置，从而准确得到用户输入信息，从而进行响应。

Description

一种带视觉和力反馈的增强现实交互方法及系统

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种带视觉和力反馈的增强现实交互方法及系统。

背景技术

目前，AR虚拟现实眼镜的条件下，一般采用手势识别的方法，使用手势输入不同的形状，所以要对手势中的特征点进行识别。有时需要在虚拟键盘上输入文字。但是AR虚拟现实眼镜其交互是个痛点，手势交互没有力反馈，很难输入文字。同时AR虚拟现实眼镜情况下，只能得到二维的屏幕图像，计算机无法判别手指是接触摸板还是正在移向触摸板的途中。同时由于指尖位置中如美甲等行为会造成指甲的特征多样，不好进行识别。

发明内容

本发明的目的在于提供了一种带视觉和力反馈的增强现实交互方法及系统，用以解决现有技术中存在的上述问题。

第一方面，本发明实施例提供了一种带视觉和力反馈的增强现实交互方法，包括：

获得手势图像；所述手势图像表示在虚拟面板上输入文字时的手势图像；

基于手势图像，通过手势模型，得到多个实际手势关键点位置；所述实际手势关键点位置表示手指轮廓的部分位置；

基于手势图像，通过阴影模型，得到阴影手区域；所述阴影手区域表示单光照射下手部阴影的轮廓位置；

基于实际手势关键点位置和阴影手区域，得到指尖触碰值；所述指尖触碰值为1表示手指与触碰器触碰；所述指尖触碰值为0表示手指未与触碰器触碰；

若指尖触碰值为1，基于手势图像，通过触碰模型，得到指尖位置；

基于指尖位置，得到手势信息；所述手势信息表示手势位置的触摸板所在的信息。

可选的，所述基于手势图像，通过手势模型，得到多个实际手势关键点位置；所述实际手势关键点位置表示手指轮廓的部分位置，包括：

所述手势模型包括手势卷积网络和手势全连接层：

所述手势卷积网络的输入为所述手势图像；所述手势全连接层的输入为所述手势卷积网络的输出；

基于手势图像，通过手势卷积网络，进行特征提取，得到手势特征图；

基于手势特征图，通过手势全连接层，得到手势特征向量；所述手势特征向量表示手势类别元素和多个关节点位置元素；所述手势类别元素为1表示是手，所述手势类别元素为0表示不是手；

基于手势特征向量，得到多个实际手势关键点位置。

可选的，所述基于手势图像，通过阴影模型，得到阴影手区域；所述阴影手区域表示单光照射下手部阴影的轮廓位置，包括：

将手势图像进行色彩空间变换，得到第一变换色彩空间手势图像；

基于第一变换色彩空间手势图像，进行灰度化，得到灰度手势图像；

获得色彩阈值；所述色彩阈值表示能划分阴影区域的值；

通过多次比较灰度手势图像和色彩阈值的大小，将灰度手势图像中灰度值大于色彩阈值的标注为阴影区域，将灰度手势图像中灰度值小于色彩阈值的标注为非阴影区域，得到阴影手区域。

可选的，所述基于实际手势关键点位置和阴影手区域，得到指尖触碰值；所述指尖触碰值为1表示手指与触碰器触碰；所述指尖触碰值为0表示手指未与触碰器触碰，包括：

基于实际手势关键点位置，得到实际指尖位置；

基于实际手势关键点位置，得到手指中心线；

基于阴影手区域，得到阴影区域中心线；

基于手指中心线、阴影区域中心线、阴影手区域和实际指尖位置，得到指尖触碰值；所述指尖触碰值表示手指与触摸板的接触程度。

可选的，所述基于手指中心线、阴影区域中心线、阴影手区域和实际指尖位置，得到指尖触碰值；所述指尖触碰值表示手指与触摸板的接触程度，包括：

基于阴影手区域，得到阴影指尖最高点；所述阴影指尖最高点表示阴影指尖最突出的位置；

基于手指中心线和阴影区域中心线，得到中心线偏差值；

若中心线偏差值小于相差阈值，且，阴影指尖最高点在实际指尖位置所在区域，指尖触碰值为1；否则，指尖触碰值为0。

可选的，所述触碰模型包括第一卷积网络、第二卷积网络、轮廓结构、凸包结构：

第一卷积网络的输入为手势图像；轮廓结构的输入为手势图像和第一卷积网络的输出；凸包结构的输入为所述轮廓结构的输出；第二卷积网络的输入为第一卷积网络的输出和凸包结构的输出。

可选的，触碰模型的训练方法：

获得手势训练集；所述手势训练集包括多个训练图像和对应的标注数据；所述训练图像表示与触摸板接触的图像；所述标注数据包括手指标注数据和指尖标注数据；所述手指标注数据表示手指在图像中的位置；所述指尖标注数据表示指尖在图像中的位置；

将手势训练集中的训练图像输入第一卷积网络，对手进行特征提取，得到手特征图；

基于所述手特征图，得到手势区域；所述手势区域表示手指所在位置；

基于所述手势区域和标注手势区域，得到手损失值；

基于所述手势区域和手势训练集中的训练图，通过轮廓结构，通过凸包结构，得到指尖区域；

将所述手特征图输入第二卷积网络，基于指尖区域，对指尖进行特征提取，得到指尖特征图；

基于所述指尖特征图，得到指尖特征值；所述指尖特征值包括指尖中心点、指尖边框和指尖类别；所述指尖边框包括指尖边框的高和指尖边框的宽；

基于指尖特征值和标注指尖特征值，得到指尖损失值；

获得总损失值；所述总损失值为所述手损失值和所述指尖损失值相加之和；

获得触碰模型当前的训练迭代次数以及预先设定的所述触碰模型训练的最大迭代次数；

当触碰模型小于或等于阈值或训练迭代次数达到所述最大迭代次数时停止训练，得到训练好的触碰模型。

可选的，所述基于所述手势区域和手势训练集中的训练图，通过轮廓结构，通过凸包结构，得到指尖区域，包括：

基于手势轮廓，得到手势边界；所述手势边界表示连接指尖的直线构成的边界；

基于手势边界，通过凸度切线函数提取指尖，得到指尖位置；

获得指尖区域；所述指尖区域以指尖位置为中心，向外扩充的矩形边框。

第二方面，本发明实施例提供了一种带视觉和力反馈的增强现实交互系统，包括：

图像获取结构：获得手势图像；所述手势图像表示在虚拟面板上输入文字时的手势图像；

手势关键点获取结构：基于手势图像，通过手势模型，得到多个实际手势关键点位置；所述实际手势关键点位置表示手指轮廓的部分位置；

阴影手区域获取结构：基于手势图像，通过阴影模型，得到阴影手区域；所述阴影手区域表示单光照射下手指阴影的轮廓位置；

指尖触碰值获取结构：基于实际手势关键点位置和阴影手区域，得到指尖触碰值；所述指尖触碰值为1表示手指与触碰器触碰；所述指尖触碰值为0表示手指未与触碰器触碰；

指尖位置获取结构：若指尖触碰值为1，基于手势图像，通过触碰模型，得到指尖位置；

信息获取结构：获得手势信息；所述手势信息表示手势位置的触摸板所在的信息。

可选的，所述基于手势图像，通过手势模型，得到多个实际手势关键点位置；所述实际手势关键点位置表示手指轮廓的部分位置，包括：

所述手势模型包括手势卷积网络、手势全连接层和骨架构建层：

所述手势卷积网络的输入为所述手势图像；所述手势全连接层的输入为所述手势卷积网络的输出；所述骨架构建层的输入为所述手势全连接层的输出；

基于手势图像，通过手势卷积网络，进行特征提取，得到手势特征图；

基于手势特征图，通过手势全连接层，得到手势特征向量；所述手势特征向量表示手势类别元素和多个关节点位置元素；所述手势类别元素为1表示是手，所述手势类别元素为0表示不是手；

基于手势特征向量，得到多个实际手势关键点位置。

相较于现有技术，本发明实施例达到了以下有益效果：

本发明实施例还提供了一种带视觉和力反馈的增强现实交互方法和系统，所述方法包括：获得手势图像。所述手势图像表示在虚拟面板上输入文字时的手势图像。基于手势图像，通过手势模型，得到多个实际手势关键点位置。所述实际手势关键点位置表示手指轮廓的部分位置。基于手势图像，通过阴影模型，得到阴影手区域。所述阴影手区域表示单光照射下手部阴影的轮廓位置。基于实际手势关键点位置和阴影手区域，得到指尖触碰值。所述指尖触碰值大于触碰区域阈值表示手指与触碰器触碰。所述指尖触碰值小于触碰区域阈值表示手指未与触碰器触碰。若指尖触碰值为1，基于手势图像，通过触碰模型，得到指尖位置。基于指尖位置，得到手势信息。所述手势信息表示手势位置的触摸板所在的信息。

使用对手指的阴影进行判别，从而确定手指指尖是否与触摸板接触，能够解决AR图像识别中，因为二维导致的虽然识别了指尖在虚拟键盘中的位置，但是在手逐渐接触键盘的过程中，导致未到达想按键位置却被错误识别的问题。而且使用凸包结构获取指尖区域，同时再对指尖区域的手指进行识别，不但还通过指尖与手指共同识别并且互相影响训练的方式，大大增强了指尖识别的准确性。

综上所述，准确的识别了在AR状态下识别手指点击虚拟键盘的位置，从而准确得到用户输入信息，从而进行响应。

附图说明

图1是本发明实施例提供的一种带视觉和力反馈的增强现实交互系统流程图。

图2是本发明实施例提供的一种带视觉和力反馈的增强现实交互系统种触碰模型的结构示意图。

图3是本发明实施例提供的一种电子设备的方框结构示意图。

图中标记：总线500；接收器501；处理器502；发送器503；存储器504；总线接口505。

具体实施方式

下面结合附图，对本发明作详细的说明。

实施例1

如图1所示，本发明实施例提供了一种带视觉和力反馈的增强现实交互方法，所述方法包括：

S101：获得手势图像；所述手势图像表示在虚拟面板上输入文字时的手势图像。

其中，本实施例中，手势图像为只有一根手指进行按键的手势图像。

S102：基于手势图像，通过手势模型，得到多个实际手势关键点位置；所述实际手势关键点位置表示手指轮廓的部分位置。

其中，所述触碰器表示当戴着AR眼镜看到的，能够在上面显示输入界面并且能够进行输入的操控器。

S103：基于手势图像，通过阴影模型，得到阴影手区域；所述阴影手区域表示单光照射下手部阴影的轮廓位置。

其中，单光的位置固定。

S104：基于实际手势关键点位置和阴影手区域，得到指尖触碰值；所述指尖触碰值为1表示手指与触碰器触碰；所述指尖触碰值为0表示手指未与触碰器触碰。

S105：若指尖触碰值为1，基于手势图像，通过触碰模型，得到指尖位置。

S106：基于指尖位置，得到手势信息；所述手势信息表示手势位置的触摸板所在的信息。

其中，将指尖位置与触摸板上的虚拟位置进行对比，得到指尖位置对应的信息。

可选的，所述基于手势图像，通过手势模型，得到实际手势主干位置；所述手势位置表示手指与触碰器接触的位置，包括：

所述手势模型包括手势卷积网络和手势全连接层：

所述手势卷积网络的输入为所述手势图像；所述手势全连接层的输入为所述手势卷积网络的输出；

基于手势图像，通过手势卷积网络，进行特征提取，得到手势特征图；

基于手势特征图，通过手势全连接层，得到手势特征向量；所述手势特征向量表示手势类别元素和多个关节点位置元素；所述手势类别元素为1表示是手，所述手势类别元素为0表示不是手。

其中，所述关节点位置表示关节的边缘两点。

基于手势特征向量，得到多个实际手势关键点位置。

通过上述方法，通过不断将训练图片输入手势卷积网络，通过手势卷积网络得到的类别与标注的类别求得损失，手势卷积网络得到的关节点位置与标注的关节点位置求得损失，然后通过向后求导训练手势卷积网络上的参数。使得手势卷积网络能够得到手势图像中手指的关节点位置。并且通过骨架构造层更好的获得，从而来进行对比。

可选的，所述基于手势图像，通过阴影模型，得到阴影手势位置；所述阴影手势位置表示单光照射下阴影的位置，包括：

将手势图像进行色彩空间变换，得到第一变换色彩空间手势图像。

其中，色彩空间变化表示将手势图像从RGB图像转化为HSV图像。

基于第一变换色彩空间手势图像，进行灰度化，得到灰度手势图像。

其中，灰度化使用Gray＝R*0.299+G*0.587+B*0.114进行计算。

获得色彩阈值；所述色彩阈值表示能划分阴影区域的值。

其中，本实施例的色彩阈值m＝double(((s-v)/(h+s+v)))的方法进行计算，m表示色彩阈值，s表示饱和度，H表示色调值，v表示明度。

通过多次比较灰度手势图像和色彩阈值的大小，将灰度手势图像中灰度值大于色彩阈值的标注为阴影区域，将灰度手势图像中灰度值小于色彩阈值的标注为非阴影区域，得到阴影手区域；

通过上述方法，将RBG的手势图像通过色彩空间变化，转化为HSV的手势图像，因为在HSV状态下阴影区域有具有更大的色调值H，有高饱和度S，因为散射光线主要来自波长更短的蓝紫色光，太阳光线被阻挡，导致明度V较低。从而更容易分辨出阴影的位置。可选的，所述基于实际手势关键点位置和阴影手区域，得到指尖触碰值；所述指尖触碰值为1表示手指与触碰器触碰；所述指尖触碰值为0表示手指未与触碰器触碰，包括：

基于实际手势关键点位置，得到实际指尖位置；

基于实际手势关键点位置，得到手指中心线；

基于阴影手区域，得到阴影区域中心线；

基于手指中心线、阴影区域中心线、阴影手区域和实际指尖位置，得到指尖触碰值；所述指尖触碰值表示手指与触摸板的接触程度。

通过上述方案，当指尖按上触摸板时，指尖的阴影位置与指尖的实际位置重合，导致指尖的阴影出现缺口，当指尖阴影几乎完全被遮盖，阴影的最高点位置与实际指尖位置相交，就表示指尖将要按倒触摸板或者已经按倒触摸板，这时对指尖位置进行判别，能够更加准确的知道用户将要按的按钮。

可选的，所述基于手指中心线、阴影区域中心线、阴影手区域和实际指尖位置，得到指尖触碰值；所述指尖触碰值表示手指与触摸板的接触程度，包括：

基于阴影手区域，得到阴影指尖最高点。所述阴影指尖最高点表示阴影指尖最突出的位置。

其中，通过阴影手区域，使用OpenCV中轮廓提取函数findContours()对阴影手区域的轮廓进行提取。由于手指阴影的特殊性，通过遍历图像，找到最突出部分，即指尖位置。

基于手指中心线和阴影区域中心线，得到中心线偏差值。

其中，中心线偏差值为手指中心线和阴影区域中心线算计两者角度所得。使用手指中心线的两个点和阴影区域中心线两个点，而得到手指中心线和阴影区域中心线所构成的角度。

若中心线偏差值小于相差阈值，且，阴影指尖最高点在实际指尖位置所在区域，且，重合值大于重合阈值，指尖触碰值为1；否则，指尖触碰值为0。

其中，本实施例相差阈值为20，表示手指中心线和阴影区域中心线之间角度最少相差20度才算重合。

通过上述方法，使用多个方面去判断阴影和实际指尖的相聚程度，从而判断指尖的位置是否与触摸板相接触，解决了使用图像判断指尖位置，虽然指尖位置距离触摸板较远但仍错误识别的问题。

可选的，所述触碰模型包括第一卷积网络、第二卷积网络、轮廓结构、凸包结构：

第一卷积网络的输入为手势图像；轮廓结构的输入为手势图像和第一卷积网络的输出；凸包结构的输入为所述轮廓结构的输出；第二卷积网络的输入为第一卷积网络的输出和凸包结构的输出。

可选的，触碰模型的训练方法：

获得手势训练集；所述手势训练集包括多个训练图像和对应的标注数据；所述训练图像表示与触摸板接触的图像；所述标注数据包括手指标注数据和指尖标注数据；所述手指标注数据表示手指在图像中的位置；所述指尖标注数据表示指尖在图像中的位置；

将手势训练集中的训练图像输入第一卷积网络，对手进行特征提取，得到手特征图；

基于所述手特征图，得到手势区域；所述手势区域表示手指所在位置。

其中，第一卷积网络通过标注手位置进行损失训练。所述标注手势区域表示手势图像中手所在的区域。所述标注手势区域包括标注手中心点和标注宽高。

基于所述手势区域和标注手势区域，得到手损失值。

基于所述手势区域和手势训练集中的训练图，通过轮廓结构，通过凸包结构，得到指尖区域。

将所述手特征图输入第二卷积网络，基于指尖区域，对指尖进行特征提取，得到指尖特征图。

其中，通过对手势训练集中指甲边缘的位置进行标注，从而训练第二卷积网络，使得第二卷积网络能够以指甲边缘提取出指尖位置。

基于所述指尖特征图，得到指尖特征值；所述指尖特征值包括指尖中心点、指尖边框和指尖类别；所述指尖边框包括指尖边框的高和指尖边框的宽。

基于指尖特征值和所述标注指尖特征值，得到指尖损失值。

其中，不将指尖特征图通过全连接层进行分类，只用将标注数据转化为特征图中的大小。

获得总损失值；所述总损失值为所述手损失值和所述指尖损失值相加之和；

获得触碰模型当前的训练迭代次数以及预先设定的所述触碰模型训练的最大迭代次数；

其中，本实施例中，最大迭代次数为8000次。

当触碰模型小于或等于阈值或训练迭代次数达到所述最大迭代次数时停止训练，得到训练好的触碰模型。

其中，触碰模型如图2所示。

通过上述方法，使用触碰模型，得到指尖的位置。因为键盘一般使用指尖区域进行输入，指尖位置在按键区域内。从而使用获得指尖区域的位置来判别使用虚拟键盘输入的信息。通过凸包结构划分部分指尖区域，将手特征图输入第二卷积结构，对指尖区域进行再一次准确的识别，得到包裹指尖的更加准确的中心点和区域位置，从而能够在之后与键盘区域的比较中更加准确的知道为哪个按键。通过使用轮廓结构，不需要对手势特征图中指尖位置进行判别，减轻了网络负担。而且对于指尖的识别发生部分异常情况，如美甲导致的普通的指尖识别不准确的情况。通过先获得指尖区域，再进行指尖识别，对这种情况有良好的规避效果。

可选的，所述基于手势轮廓，通过凸包结构，得到指尖区域，包括：

基于手势轮廓，得到手势边界；所述手势边界表示连接指尖的直线构成的边界。

基于手势边界，得手势凸包。

其中，使用open-cv中的BackgroundSibtractorMOG2算法，即背景消除算法消除手势区域中的背景，膨胀边缘点后，通过高斯滤波进行二值化，得到黑白图像。再使用findContours算法，即轮廓寻找算法，找到轮廓，选取其中最大轮廓作为手的轮廓，并且根据手的轮廓生成凸包。

基于手势边界，通过凸度切线函数提取指尖，得到指尖位置。

其中，由于本实施例使用的手势图像为一根手指的图像，所以找到角度小于凸点阈值的凸点，本实施例中设定的判断凸点阈值为30度。找到的凸点对应突出手指的指尖位置。

获得指尖区域；所述指尖区域以指尖位置为中心，向外扩充的矩形边框。

其中，本实施例中向外扩充的矩形边框中的宽为手指轮廓的宽度，高为手指三分之一的高度。

通过上述方法，通过由凸包位置找到指尖位置，再通过手指轮廓中手指的长度，得到指尖可以用来判别按键时所指定的区域。

通过上述方法，使用阴影判别实际指尖是否与按键接触或者快要接触，来判断指尖所处位置是否是用户所需要按键的信息。同时再指尖识别的过程，通过一方面对指尖位置使用轮廓识别的方式识别指尖位置，另一方面通过卷积网络提取指尖信息的方式识别指尖。由于指尖位置的特征为指甲部分的特征，并且更改指甲外观容易。所以采用凸包找到指尖位置，卷积网络进行更深入识别的方法使得，即使无法识别也能找到指尖的大致位置，更加准确的识别指尖位置，得到手势信息。

实施例2

基于上述的一种带视觉和力反馈的增强现实交互方法，本发明实施例还提供了一种带视觉和力反馈的增强现实交互系统，所述系统包括图像获取结构、手势关键点获取结构、阴影手区域获取结、指尖触碰值获取结构、指尖位置获取结构和信息获取结构：

图像获取结构：获得手势图像；所述手势图像表示在虚拟面板上输入文字时的手势图像；

手势关键点获取结构：基于手势图像，通过手势模型，得到多个实际手势关键点位置；所述实际手势关键点位置表示手指轮廓的部分位置；

阴影手区域获取结构：基于手势图像，通过阴影模型，得到阴影手区域；所述阴影手区域表示单光照射下手指阴影的轮廓位置；

指尖触碰值获取结构：基于实际手势关键点位置和阴影手区域，得到指尖触碰值；所述指尖触碰值为1表示手指与触碰器触碰；所述指尖触碰值为0表示手指未与触碰器触碰；

指尖位置获取结构：若指尖触碰值为1，基于手势图像，通过触碰模型，得到指尖位置；

信息获取结构：获得手势信息；所述手势信息表示手势位置的触摸板所在的信息。

在此关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例还提供了一种电子设备，如图3所示，包括存储器504、处理器502及存储在存储器504上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现前文所述一种带视觉和力反馈的增强现实交互方法的任一方法的步骤。

其中，在图3中，总线架构(用总线500来代表)，总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进进一步描述。总线接口505在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操作时所使用的数据。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述一种带视觉和力反馈的增强现实交互方法的任一方法的步骤以及上述的所涉及的数据。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (5)

1.一种带视觉和力反馈的增强现实交互方法，其特征在于，包括：

获得手势图像；所述手势图像表示在虚拟面板上输入文字时的手势图像；

基于手势图像，通过手势模型，得到多个实际手势关键点位置；所述实际手势关键点位置表示手指轮廓的部分位置；

基于手势图像，通过阴影模型，得到阴影手区域；所述阴影手区域表示单光照射下手部阴影的轮廓位置；

基于实际手势关键点位置和阴影手区域，得到指尖触碰值；所述指尖触碰值为1表示手指与触碰器触碰；所述指尖触碰值为0表示手指未与触碰器触碰；

若指尖触碰值为1，基于手势图像，通过触碰模型，得到指尖位置；

基于指尖位置，得到手势信息；所述手势信息表示手势位置的触摸板所在的信息；

所述触碰模型包括第一卷积网络、第二卷积网络、轮廓结构、凸包结构：

第一卷积网络的输入为手势图像；轮廓结构的输入为手势图像和第一卷积网络的输出；凸包结构的输入为所述轮廓结构的输出；第二卷积网络的输入为第一卷积网络的输出和凸包结构的输出；

触碰模型的训练方法：

获得手势训练集；所述手势训练集包括多个训练图像和对应的标注数据；所述训练图像表示与触摸板接触的图像；所述标注数据包括手指标注数据和指尖标注数据；所述手指标注数据表示手指在图像中的位置；所述指尖标注数据表示指尖在图像中的位置；

将手势训练集中的训练图像输入第一卷积网络，对手进行特征提取，得到手特征图；

基于所述手特征图，得到手势区域；所述手势区域表示手指所在位置；

基于所述手势区域和标注手势区域，得到手损失值；

基于所述手势区域和手势训练集中的训练图，通过轮廓结构，通过凸包结构，得到指尖区域；

将所述手特征图输入第二卷积网络，基于指尖区域，对指尖进行特征提取，得到指尖特征图；

基于所述指尖特征图，得到指尖特征值；所述指尖特征值包括指尖中心点、指尖边框和指尖类别；所述指尖边框包括指尖边框的高和指尖边框的宽；

基于指尖特征值和标注指尖特征值，得到指尖损失值；

获得总损失值；所述总损失值为所述手损失值和所述指尖损失值相加之和；

获得触碰模型当前的训练迭代次数以及预先设定的所述触碰模型训练的最大迭代次数；

当触碰模型小于或等于阈值或训练迭代次数达到所述最大迭代次数时停止训练，得到训练好的触碰模型。

2.根据权利要求1所述的一种带视觉和力反馈的增强现实交互方法，其特征在于，所述基于手势图像，通过手势模型，得到多个实际手势关键点位置；所述实际手势关键点位置表示手指轮廓的部分位置，包括：

所述手势模型包括手势卷积网络和手势全连接层：

所述手势卷积网络的输入为所述手势图像；所述手势全连接层的输入为所述手势卷积网络的输出；

基于手势图像，通过手势卷积网络，进行特征提取，得到手势特征图；

基于手势特征图，通过手势全连接层，得到手势特征向量；所述手势特征向量表示手势类别元素和多个关节点位置元素；所述手势类别元素为1表示是手，所述手势类别元素为0表示不是手；

基于手势特征向量，得到多个实际手势关键点位置。

3.根据权利要求1所述的一种带视觉和力反馈的增强现实交互方法，其特征在于，所述基于手势图像，通过阴影模型，得到阴影手区域；所述阴影手区域表示单光照射下手部阴影的轮廓位置，包括：

将手势图像进行色彩空间变换，得到第一变换色彩空间手势图像；

基于第一变换色彩空间手势图像，进行灰度化，得到灰度手势图像；

获得色彩阈值；所述色彩阈值表示能划分阴影区域的值；

通过多次比较灰度手势图像和色彩阈值的大小，将灰度手势图像中灰度值大于色彩阈值的标注为阴影区域，将灰度手势图像中灰度值小于色彩阈值的标注为非阴影区域，得到阴影手区域。

4.一种带视觉和力反馈的增强现实交互系统，其特征在于，包括：

图像获取结构：获得手势图像；所述手势图像表示在虚拟面板上输入文字时的手势图像；

手势关键点获取结构：基于手势图像，通过手势模型，得到多个实际手势关键点位置；所述实际手势关键点位置表示手指轮廓的部分位置；

阴影手区域获取结构：基于手势图像，通过阴影模型，得到阴影手区域；所述阴影手区域表示单光照射下手指阴影的轮廓位置；

指尖触碰值获取结构：基于实际手势关键点位置和阴影手区域，得到指尖触碰值；所述指尖触碰值为1表示手指与触碰器触碰；所述指尖触碰值为0表示手指未与触碰器触碰；

指尖位置获取结构：若指尖触碰值为1，基于手势图像，通过触碰模型，得到指尖位置；

信息获取结构：获得手势信息；所述手势信息表示手势位置的触摸板所在的信息；

所述触碰模型包括第一卷积网络、第二卷积网络、轮廓结构、凸包结构：

第一卷积网络的输入为手势图像；轮廓结构的输入为手势图像和第一卷积网络的输出；凸包结构的输入为所述轮廓结构的输出；第二卷积网络的输入为第一卷积网络的输出和凸包结构的输出；

触碰模型的训练方法：

获得手势训练集；所述手势训练集包括多个训练图像和对应的标注数据；所述训练图像表示与触摸板接触的图像；所述标注数据包括手指标注数据和指尖标注数据；所述手指标注数据表示手指在图像中的位置；所述指尖标注数据表示指尖在图像中的位置；

将手势训练集中的训练图像输入第一卷积网络，对手进行特征提取，得到手特征图；

基于所述手特征图，得到手势区域；所述手势区域表示手指所在位置；

基于所述手势区域和标注手势区域，得到手损失值；

基于所述手势区域和手势训练集中的训练图，通过轮廓结构，通过凸包结构，得到指尖区域；

将所述手特征图输入第二卷积网络，基于指尖区域，对指尖进行特征提取，得到指尖特征图；

基于所述指尖特征图，得到指尖特征值；所述指尖特征值包括指尖中心点、指尖边框和指尖类别；所述指尖边框包括指尖边框的高和指尖边框的宽；

基于指尖特征值和标注指尖特征值，得到指尖损失值；

获得总损失值；所述总损失值为所述手损失值和所述指尖损失值相加之和；

获得触碰模型当前的训练迭代次数以及预先设定的所述触碰模型训练的最大迭代次数；

当触碰模型小于或等于阈值或训练迭代次数达到所述最大迭代次数时停止训练，得到训练好的触碰模型。

5.根据权利要求4所述的一种带视觉和力反馈的增强现实交互系统，其特征在于，所述基于手势图像，通过手势模型，得到多个实际手势关键点位置；所述实际手势关键点位置表示手指轮廓的部分位置，包括：

所述手势模型包括手势卷积网络、手势全连接层和骨架构建层：

所述手势卷积网络的输入为所述手势图像；所述手势全连接层的输入为所述手势卷积网络的输出；所述骨架构建层的输入为所述手势全连接层的输出；

基于手势图像，通过手势卷积网络，进行特征提取，得到手势特征图；

基于手势特征图，通过手势全连接层，得到手势特征向量；所述手势特征向量表示手势类别元素和多个关节点位置元素；所述手势类别元素为1表示是手，所述手势类别元素为0表示不是手；

基于手势特征向量，得到多个实际手势关键点位置。

Images