CN110780734B - 一种基于雷达的手势交互ar投影方法及装置 - Google Patents

Abstract

本发明涉及AR投影技术领域，公开了一种基于雷达的手势交互AR投影方法，包括以下步骤：接收被手部反射的电磁波，根据反射电磁波获取手部的位置信息；根据所述位置信息对手部进行对焦调整，然后采集手部的手势视频；结合所述手势视频以及对焦区域进行手势识别，从虚拟模型库中获取与手势相对应的虚拟模型；将虚拟模型与实物模型进行叠加得到混合模型，对所述混合模型进行投影显示。本发明具有对手势图像的拍摄背景、拍摄距离以及拍摄角度要求低，手势识别精度高的技术效果。

Description

一种基于雷达的手势交互AR投影方法及装置

技术领域

本发明涉及AR投影技术领域，具体涉及一种基于雷达的手势交互AR投影方法及装置。

背景技术

现有技术中智能设备上逐渐开始配备手势控制的功能，例如AR投影仪上，将AR投影技术与手势识别结合起来，在虚拟现实的基础上实现人与虚拟世界的交互。目前手势识别一般是通过图像识别实现，基于图像识别的特性，要求手势识别时获取手势图像的背景尽量简单统一，最好是在单一背景色下进行手势图像的获取，而且用户手部相对于摄像机的距离的方位需要在一定范围之内，以便摄像机获取到清晰完整的手势图像，从而便于后续根据手势图像进行手势识别。

发明内容

本发明的目的在于克服上述技术不足，提供一种基于雷达的手势交互AR投影方法及装置，解决现有技术中进行手势识别时对手势图像获取的拍摄背景、拍摄距离以及拍摄角度要求过高的技术问题。

为达到上述技术目的，本发明的技术方案提供一种基于雷达的手势交互AR投影方法，包括以下步骤：

接收被手部反射的电磁波，根据反射电磁波获取手部的位置信息；

根据所述位置信息对手部进行对焦调整，然后采集手部的手势视频；

结合所述手势视频以及对焦区域进行手势识别，从虚拟模型库中获取与手势相对应的虚拟模型；

将虚拟模型与实物模型进行叠加得到混合模型，对所述混合模型进行投影显示。

本发明还提供一种基于雷达的手势交互AR投影装置，包括AR投影仪、雷达探测器、摄像头以及3D资源服务器；

所述雷达探测器用于接收被手部反射的电磁波，根据反射电磁波获取手部的位置信息；

所述摄像头用于根据所述位置信息对手部进行对焦调整，然后采集手部的手势视频；

所述3D资源服务器用于建立虚拟模型库；

所述AR投影仪用于结合所述手势视频以及对焦区域进行手势识别，从虚拟模型库中获取与手势相对应的虚拟模型；将虚拟模型与实物模型进行叠加得到混合模型，对所述混合模型进行投影显示。

与现有技术相比，本发明的有益效果包括：本发明结合雷达技术，通过雷达发射的电磁波，电磁波经手部反射后得到反射电磁波，根据反射电磁波获取到手部的位置信息，得到手部的位置信息后，即可根据位置信息对手部进行对焦处理，使得获取的手势视频更加清晰，从而便于后续根据手势视频进行手势识别及交互。由于根据位置信息进行了对焦处理，一定程度上可以弥补拍摄距离和拍摄角度的不足，也降低了对于手势的拍摄距离和拍摄角度的要求。同时，在对焦调整完后，结合对焦区域对手势视频进行手势识别，从而可以避免对焦区域以外的无关背景对手势识别的影响，提高手势识别的精度，同时也降低了对拍摄背景的要求，使得手势交互可适应于更多不同的场景。

附图说明

图1是本发明提供的基于雷达的手势交互AR投影方法一实施方式的流程图；

图2是本发明提供的基于雷达的手势交互AR投影装置一实施方式的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明的实施例1提供了基于雷达的手势交互AR投影方法，包括以下步骤：

S1、接收被手部反射的电磁波，根据反射电磁波获取手部的位置信息；

S2、根据所述位置信息对手部进行对焦调整，然后采集手部的手势视频；

S3、结合所述手势视频以及对焦区域进行手势识别，从虚拟模型库中获取与手势相对应的虚拟模型；

S4、将虚拟模型与实物模型进行叠加得到混合模型，对所述混合模型进行投影显示。

本发明实施例首先利用雷达技术，通过雷达发射电磁波，电磁波经手部反射后得到反射电磁波，根据反射电磁波获取到手部的位置信息，得到手部的位置信息后，即可根据位置信息对手部进行对焦处理，使得获取的手势视频更加清晰，从而便于后续根据手势视频进行手势识别及交互。由于根据位置信息进行了对焦处理，可以在一定程度上弥补拍摄距离和拍摄角度的不足，降低了对于手势的拍摄距离和拍摄角度的要求，用户在各种距离和角度下拍摄的手势视频均可清晰的获取。同时，在对焦调整完后，结合对焦区域对手势视频进行手势识别，从而可以摒除对焦区域以外的无关背景对手势识别的影响，提高手势识别的精度，同时也降低了对拍摄背景的要求，使得手势交互可适应于更多不同的场景。

优选的，所述位置信息包括手部与电磁波发射点之间的距离以及电磁波发射角度。

位置信息描述了手部与电磁波发射点之间的位置关系。具体的，手部与电磁波发射点之间的距离包括用户的手部上各特征点到电磁波发射点之间的距离，手部上的特征点可以是距离电磁波发射点最远/最近的轮廓点。

优选的，根据所述位置信息对手部进行对焦调整，具体为：

根据所述位置信息获取手部区域，将手部区域作为对焦区域进行对焦。

位置信息描述了手部与电磁波发射点之间的位置关系，结合位置信息以及拍摄点与电磁发射点之间的相对位置关系，获取手部相对于拍摄点的位置，根据手部相对于拍摄点的位置获取手部所在的区域，即对焦区域。将拍摄焦点对准对焦区域进行对焦拍摄，即将拍摄焦点对准手部所在区域进行拍摄进行对焦拍摄，即可获取到手部清晰的手势视频。

优选的，根据所述位置信息对手部进行对焦调整，还包括：

对焦完成后再次获取手部的位置信息，对比前后两次获取的位置信息获取变动值，并判断手部的位置信息的变动值是否在设定阈值内，如果是则保持当前对焦状态，否则根据当前位置信息重新进行对焦调整。

由于用户在做手势时，手部的位置肯定是不断变化的，因此仅进行一次对焦无法实现对整段手势视频的清晰拍摄。但是如果频繁的进行对焦操作，无疑会加大对焦的运算复杂度和运算量，因此本实施例在对焦完成后再次获取手部位置信息，如果手部位置变动大则重新对焦，如果手部位置变大不大则不需要重新对焦。

优选的，采集手部的手势视频，具体为：

以电磁波发射点作为参考点，将拍摄点与参考点设置在手部的同一侧，将拍摄点设置于距离参考点设定距离的位置处，从所述拍摄点拍摄手部得到所述手势视频。

将拍摄点和电磁波发射点设置于手部的同一侧，并将拍摄点设置于距离参考点设定距离的位置处，便于根据位置信息获取到调焦参数，进而进行对焦调整。应该理解的，拍摄点和电磁波发射点优选紧邻设置，有利于降低位置信息到调焦参数的转换难度。

优选的，结合所述手势视频以及对焦区域进行手势识别，从虚拟模型库中获取与手势相对应的虚拟模型，具体为：

从所述手势视频中抽取手势图像；

根据所述对焦区域切割所述手势图像得到对焦区域图像

对所述对焦区域图像进行图像分割得到手势轮廓；

对所述手势轮廓进行识别得到手势相对应的虚拟模型。

由于在拍摄手势视频时，根据手部的位置信息进行了对焦调整，因此，对焦区域即手势图像中手部区域，将对焦区域从手势图像中切割出来得到对焦区域图像，对焦区域图像中大部分画面为手势画面，仅存在少量的背景画面，因此相当于根据对焦区域进行了初步的手势识别。获取了对焦区域图像后再进行图像分割得到手势轮廓，此时，对焦区域图像中背景画面较少，因此大大降低了图像分割的难度，提高了图像分割的精度。

优选的，对所述对焦区域图像进行图像分割得到手势轮廓，还包括：

根据所述手势轮廓生成特征线，根据所述特征线计算所述手势轮廓的倾斜角度，根据所述倾斜角度对所述手势轮廓进行调整。

由于用户在做手势时难免会存在一些倾斜，倾斜角度会影响手势识别的精度，因此根据手势轮廓生成特征线，以特征线为基本对手势轮廓的倾斜方向进行调整，使得多张手势图像的手势轮廓均处于相同的角度，从而便于识别。各手势轮廓的特征线采用同一方法生成，例如本实施例中，获取手势轮廓中每两个轮廓点之间的距离，选取距离最长的两个轮廓点所在直线为特征线。

优选的，对所述手势轮廓进行识别得到手势相对应的虚拟模型，具体为：

建立虚拟模型库，并为虚拟模型库内每一虚拟模型标注手势标签；

在所述虚拟模型库中查找与所述手势轮廓相匹配的手势标签所对应的虚拟模型。

虚拟模型库建立了手势标签与虚拟模型的一一映射关系，手势标签包含了手势匹配特征信息，例如伸直手指的数量，手指的弯曲形状、手指的方向、手势轮廓凸点数量、手势轮廓凹点数量等。通过手势轮廓同样可以获取到这些特征信息，将手势轮廓的特征信息与手势标签相应的特征信息进行对比，得到相匹配的手势标签，从而得到相匹配的手势标签所对应的虚拟模型，即与手势相对应的虚拟模型。

优选的，将虚拟模型与实物模型进行叠加得到混合模型，具体为：

获取待投影实物的实物图像，识别实物图像获取图像信息；

根据所述图像信息调用相应的实物模型；

将所述实物模型与所述虚拟模型进行数据叠加，得到所述混合模型。

将虚拟模型与实物模型进行叠加得到混合模型，实现AR投影与手势交互的融合。例如，实物图像为卡通人物图像，识别实物图像获取图像信息，图像信息即卡通人物名称，根据卡通人物名称调用相应的实物模型，虚拟模型则为卡通人物的服饰模型，如衣服模型、帽子模型、鞋子模型等，将虚拟模型与实物模型进行数据叠加，使得卡通人物穿上相应的服饰，实现卡通人物的换装游戏。本发明还可应用于其他的场景中，本实施例仅以换装为例进行说明，并不用于限定本发明。

实施例2

如图2所示，本发明的实施例2提供了基于雷达的手势交互AR投影装置，包括AR投影仪1、雷达探测器2、摄像头3以及3D资源服务器4；

所述雷达探测器2用于接收被手部反射的电磁波，根据反射电磁波获取手部的位置信息；

所述摄像头3用于根据所述位置信息对手部进行对焦调整，然后采集手部的手势视频；

所述3D资源服务器4用于建立虚拟模型库；

所述AR投影仪1用于结合所述手势视频以及对焦区域进行手势识别，从所述虚拟模型库中获取与手势相对应的虚拟模型；将虚拟模型与实物模型进行叠加得到混合模型，对所述混合模型进行投影显示，投影至投影墙5。

本发明实施例提供的基于雷达的手势交互AR投影装置，用于实现基于雷达的手势交互AR投影方法，因此上述基于雷达的手势交互AR投影方法所具备的技术效果，基于雷达的手势交互AR投影装置同样具备，在此不再赘述。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (7)

1.一种基于雷达的手势交互AR投影方法，其特征在于，包括以下步骤：

接收被手部反射的电磁波，根据反射电磁波获取手部的位置信息，所述位置信息包括手部与电磁波发射点之间的距离以及电磁波发射角度；

根据所述位置信息获取手部区域，将手部区域作为对焦区域进行对焦，然后以电磁波发射点作为参考点，将拍摄点与参考点设置在手部的同一侧，将拍摄点设置于距离参考点设定距离的位置处，从所述拍摄点拍摄手部得到所述手势视频；

结合所述手势视频以及对焦区域进行手势识别，从虚拟模型库中获取与手势相对应的虚拟模型；

将虚拟模型与实物模型进行叠加得到混合模型，对所述混合模型进行投影显示。

2.根据权利要求1所述的基于雷达的手势交互AR投影方法，其特征在于，根据所述位置信息对手部进行对焦调整，还包括：

对焦完成后再次获取手部的位置信息，对比前后两次获取的位置信息获取变动值，并判断手部的位置信息的变动值是否在设定阈值内，如果是则保持当前对焦状态，否则根据当前位置信息重新进行对焦调整。

3.根据权利要求1所述的基于雷达的手势交互AR投影方法，其特征在于，结合所述手势视频以及对焦区域进行手势识别，从虚拟模型库中获取与手势相对应的虚拟模型，具体为：

从所述手势视频中抽取手势图像；

根据所述对焦区域切割所述手势图像得到对焦区域图像

对所述对焦区域图像进行图像分割得到手势轮廓；

对所述手势轮廓进行识别得到手势相对应的虚拟模型。

4.根据权利要求3所述的基于雷达的手势交互AR投影方法，其特征在于，对所述对焦区域图像进行图像分割得到手势轮廓，还包括：

根据所述手势轮廓生成特征线，根据所述特征线计算所述手势轮廓的倾斜角度，根据所述倾斜角度对所述手势轮廓进行调整。

5.根据权利要求3所述的基于雷达的手势交互AR投影方法，其特征在于，对所述手势轮廓进行识别得到手势相对应的虚拟模型，具体为：

建立虚拟模型库，并为虚拟模型库内每一虚拟模型标注手势标签；

在所述虚拟模型库中查找与所述手势轮廓相匹配的手势标签所对应的虚拟模型。

6.根据权利要求1所述的基于雷达的手势交互AR投影方法，其特征在于，将虚拟模型与实物模型进行叠加得到混合模型，具体为：

获取待投影实物的实物图像，识别实物图像获取图像信息；

根据所述图像信息调用相应的实物模型；

将所述实物模型与所述虚拟模型进行数据叠加，得到所述混合模型。

7.一种基于雷达的手势交互AR投影装置，其特征在于，包括AR投影仪、雷达探测器、摄像头以及3D资源服务器；

所述雷达探测器用于接收被手部反射的电磁波，根据反射电磁波获取手部的位置信息，所述位置信息包括手部与电磁波发射点之间的距离以及电磁波发射角度；

所述摄像头用于根据所述位置信息获取手部区域，将手部区域作为对焦区域进行对焦，然后以电磁波发射点作为参考点，将拍摄点与参考点设置在手部的同一侧，将拍摄点设置于距离参考点设定距离的位置处，从所述拍摄点拍摄手部得到所述手势视频；

所述3D资源服务器用于建立虚拟模型库；

所述AR投影仪用于结合所述手势视频以及对焦区域进行手势识别，从虚拟模型库中获取与手势相对应的虚拟模型；将虚拟模型与实物模型进行叠加得到混合模型，对所述混合模型进行投影显示。