CN110780734A - 一种基于雷达的手势交互ar投影方法及装置 - Google Patents

一种基于雷达的手势交互ar投影方法及装置 Download PDF

Info

Publication number
CN110780734A
CN110780734A CN201910909647.9A CN201910909647A CN110780734A CN 110780734 A CN110780734 A CN 110780734A CN 201910909647 A CN201910909647 A CN 201910909647A CN 110780734 A CN110780734 A CN 110780734A
Authority
CN
China
Prior art keywords
gesture
hand
virtual model
position information
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910909647.9A
Other languages
English (en)
Other versions
CN110780734B (zh
Inventor
赵亚丁
伍永豪
彭泉
曾贵平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qingyuan Cultural Technology Co ltd
Original Assignee
Suzhou Lianyou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Lianyou Information Technology Co Ltd filed Critical Suzhou Lianyou Information Technology Co Ltd
Priority to CN201910909647.9A priority Critical patent/CN110780734B/zh
Publication of CN110780734A publication Critical patent/CN110780734A/zh
Application granted granted Critical
Publication of CN110780734B publication Critical patent/CN110780734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及AR投影技术领域,公开了一种基于雷达的手势交互AR投影方法,包括以下步骤:接收被手部反射的电磁波,根据反射电磁波获取手部的位置信息;根据所述位置信息对手部进行对焦调整,然后采集手部的手势视频;结合所述手势视频以及对焦区域进行手势识别,从虚拟模型库中获取与手势相对应的虚拟模型;将虚拟模型与实物模型进行叠加得到混合模型,对所述混合模型进行投影显示。本发明具有对手势图像的拍摄背景、拍摄距离以及拍摄角度要求低,手势识别精度高的技术效果。

Description

一种基于雷达的手势交互AR投影方法及装置
技术领域
本发明涉及AR投影技术领域,具体涉及一种基于雷达的手势交互AR投影方法及装置。
背景技术
现有技术中智能设备上逐渐开始配备手势控制的功能,例如AR投影仪上,将AR投影技术与手势识别结合起来,在虚拟现实的基础上实现人与虚拟世界的交互。目前手势识别一般是通过图像识别实现,基于图像识别的特性,要求手势识别时获取手势图像的背景尽量简单统一,最好是在单一背景色下进行手势图像的获取,而且用户手部相对于摄像机的距离的方位需要在一定范围之内,以便摄像机获取到清晰完整的手势图像,从而便于后续根据手势图像进行手势识别。
发明内容
本发明的目的在于克服上述技术不足,提供一种基于雷达的手势交互AR投影方法及装置,解决现有技术中进行手势识别时对手势图像获取的拍摄背景、拍摄距离以及拍摄角度要求过高的技术问题。
为达到上述技术目的,本发明的技术方案提供一种基于雷达的手势交互AR投影方法,包括以下步骤:
接收被手部反射的电磁波,根据反射电磁波获取手部的位置信息;
根据所述位置信息对手部进行对焦调整,然后采集手部的手势视频;
结合所述手势视频以及对焦区域进行手势识别,从虚拟模型库中获取与手势相对应的虚拟模型;
将虚拟模型与实物模型进行叠加得到混合模型,对所述混合模型进行投影显示。
本发明还提供一种基于雷达的手势交互AR投影装置,包括AR投影仪、雷达探测器、摄像头以及3D资源服务器;
所述雷达探测器用于接收被手部反射的电磁波,根据反射电磁波获取手部的位置信息;
所述摄像头用于根据所述位置信息对手部进行对焦调整,然后采集手部的手势视频;
所述3D资源服务器用于建立虚拟模型库;
所述AR投影仪用于结合所述手势视频以及对焦区域进行手势识别,从虚拟模型库中获取与手势相对应的虚拟模型;将虚拟模型与实物模型进行叠加得到混合模型,对所述混合模型进行投影显示。
与现有技术相比,本发明的有益效果包括:本发明结合雷达技术,通过雷达发射的电磁波,电磁波经手部反射后得到反射电磁波,根据反射电磁波获取到手部的位置信息,得到手部的位置信息后,即可根据位置信息对手部进行对焦处理,使得获取的手势视频更加清晰,从而便于后续根据手势视频进行手势识别及交互。由于根据位置信息进行了对焦处理,一定程度上可以弥补拍摄距离和拍摄角度的不足,也降低了对于手势的拍摄距离和拍摄角度的要求。同时,在对焦调整完后,结合对焦区域对手势视频进行手势识别,从而可以避免对焦区域以外的无关背景对手势识别的影响,提高手势识别的精度,同时也降低了对拍摄背景的要求,使得手势交互可适应于更多不同的场景。
附图说明
图1是本发明提供的基于雷达的手势交互AR投影方法一实施方式的流程图;
图2是本发明提供的基于雷达的手势交互AR投影装置一实施方式的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
如图1所示,本发明的实施例1提供了基于雷达的手势交互AR投影方法,包括以下步骤:
S1、接收被手部反射的电磁波,根据反射电磁波获取手部的位置信息;
S2、根据所述位置信息对手部进行对焦调整,然后采集手部的手势视频;
S3、结合所述手势视频以及对焦区域进行手势识别,从虚拟模型库中获取与手势相对应的虚拟模型;
S4、将虚拟模型与实物模型进行叠加得到混合模型,对所述混合模型进行投影显示。
本发明实施例首先利用雷达技术,通过雷达发射电磁波,电磁波经手部反射后得到反射电磁波,根据反射电磁波获取到手部的位置信息,得到手部的位置信息后,即可根据位置信息对手部进行对焦处理,使得获取的手势视频更加清晰,从而便于后续根据手势视频进行手势识别及交互。由于根据位置信息进行了对焦处理,可以在一定程度上弥补拍摄距离和拍摄角度的不足,降低了对于手势的拍摄距离和拍摄角度的要求,用户在各种距离和角度下拍摄的手势视频均可清晰的获取。同时,在对焦调整完后,结合对焦区域对手势视频进行手势识别,从而可以摒除对焦区域以外的无关背景对手势识别的影响,提高手势识别的精度,同时也降低了对拍摄背景的要求,使得手势交互可适应于更多不同的场景。
优选的,所述位置信息包括手部与电磁波发射点之间的距离以及电磁波发射角度。
位置信息描述了手部与电磁波发射点之间的位置关系。具体的,手部与电磁波发射点之间的距离包括用户的手部上各特征点到电磁波发射点之间的距离,手部上的特征点可以是距离电磁波发射点最远/最近的轮廓点。
优选的,根据所述位置信息对手部进行对焦调整,具体为:
根据所述位置信息获取手部区域,将手部区域作为对焦区域进行对焦。
位置信息描述了手部与电磁波发射点之间的位置关系,结合位置信息以及拍摄点与电磁发射点之间的相对位置关系,获取手部相对于拍摄点的位置,根据手部相对于拍摄点的位置获取手部所在的区域,即对焦区域。将拍摄焦点对准对焦区域进行对焦拍摄,即将拍摄焦点对准手部所在区域进行拍摄进行对焦拍摄,即可获取到手部清晰的手势视频。
优选的,根据所述位置信息对手部进行对焦调整,还包括:
对焦完成后再次获取手部的位置信息,对比前后两次获取的位置信息获取变动值,并判断手部的位置信息的变动值是否在设定阈值内,如果是则保持当前对焦状态,否则根据当前位置信息重新进行对焦调整。
由于用户在做手势时,手部的位置肯定是不断变化的,因此仅进行一次对焦无法实现对整段手势视频的清晰拍摄。但是如果频繁的进行对焦操作,无疑会加大对焦的运算复杂度和运算量,因此本实施例在对焦完成后再次获取手部位置信息,如果手部位置变动大则重新对焦,如果手部位置变大不大则不需要重新对焦。
优选的,采集手部的手势视频,具体为:
以电磁波发射点作为参考点,将拍摄点与参考点设置在手部的同一侧,将拍摄点设置于距离参考点设定距离的位置处,从所述拍摄点拍摄手部得到所述手势视频。
将拍摄点和电磁波发射点设置于手部的同一侧,并将拍摄点设置于距离参考点设定距离的位置处,便于根据位置信息获取到调焦参数,进而进行对焦调整。应该理解的,拍摄点和电磁波发射点优选紧邻设置,有利于降低位置信息到调焦参数的转换难度。
优选的,结合所述手势视频以及对焦区域进行手势识别,从虚拟模型库中获取与手势相对应的虚拟模型,具体为:
从所述手势视频中抽取手势图像;
根据所述对焦区域切割所述手势图像得到对焦区域图像
对所述对焦区域图像进行图像分割得到手势轮廓;
对所述手势轮廓进行识别得到手势相对应的虚拟模型。
由于在拍摄手势视频时,根据手部的位置信息进行了对焦调整,因此,对焦区域即手势图像中手部区域,将对焦区域从手势图像中切割出来得到对焦区域图像,对焦区域图像中大部分画面为手势画面,仅存在少量的背景画面,因此相当于根据对焦区域进行了初步的手势识别。获取了对焦区域图像后再进行图像分割得到手势轮廓,此时,对焦区域图像中背景画面较少,因此大大降低了图像分割的难度,提高了图像分割的精度。
优选的,对所述对焦区域图像进行图像分割得到手势轮廓,还包括:
根据所述手势轮廓生成特征线,根据所述特征线计算所述手势轮廓的倾斜角度,根据所述倾斜角度对所述手势轮廓进行调整。
由于用户在做手势时难免会存在一些倾斜,倾斜角度会影响手势识别的精度,因此根据手势轮廓生成特征线,以特征线为基本对手势轮廓的倾斜方向进行调整,使得多张手势图像的手势轮廓均处于相同的角度,从而便于识别。各手势轮廓的特征线采用同一方法生成,例如本实施例中,获取手势轮廓中每两个轮廓点之间的距离,选取距离最长的两个轮廓点所在直线为特征线。
优选的,对所述手势轮廓进行识别得到手势相对应的虚拟模型,具体为:
建立虚拟模型库,并为虚拟模型库内每一虚拟模型标注手势标签;
在所述虚拟模型库中查找与所述手势轮廓相匹配的手势标签所对应的虚拟模型。
虚拟模型库建立了手势标签与虚拟模型的一一映射关系,手势标签包含了手势匹配特征信息,例如伸直手指的数量,手指的弯曲形状、手指的方向、手势轮廓凸点数量、手势轮廓凹点数量等。通过手势轮廓同样可以获取到这些特征信息,将手势轮廓的特征信息与手势标签相应的特征信息进行对比,得到相匹配的手势标签,从而得到相匹配的手势标签所对应的虚拟模型,即与手势相对应的虚拟模型。
优选的,将虚拟模型与实物模型进行叠加得到混合模型,具体为:
获取待投影实物的实物图像,识别实物图像获取图像信息;
根据所述图像信息调用相应的实物模型;
将所述实物模型与所述虚拟模型进行数据叠加,得到所述混合模型。
将虚拟模型与实物模型进行叠加得到混合模型,实现AR投影与手势交互的融合。例如,实物图像为卡通人物图像,识别实物图像获取图像信息,图像信息即卡通人物名称,根据卡通人物名称调用相应的实物模型,虚拟模型则为卡通人物的服饰模型,如衣服模型、帽子模型、鞋子模型等,将虚拟模型与实物模型进行数据叠加,使得卡通人物穿上相应的服饰,实现卡通人物的换装游戏。本发明还可应用于其他的场景中,本实施例仅以换装为例进行说明,并不用于限定本发明。
实施例2
如图2所示,本发明的实施例2提供了基于雷达的手势交互AR投影装置,包括AR投影仪1、雷达探测器2、摄像头3以及3D资源服务器4;
所述雷达探测器2用于接收被手部反射的电磁波,根据反射电磁波获取手部的位置信息;
所述摄像头3用于根据所述位置信息对手部进行对焦调整,然后采集手部的手势视频;
所述3D资源服务器4用于建立虚拟模型库;
所述AR投影仪1用于结合所述手势视频以及对焦区域进行手势识别,从所述虚拟模型库中获取与手势相对应的虚拟模型;将虚拟模型与实物模型进行叠加得到混合模型,对所述混合模型进行投影显示,投影至投影墙5。
本发明实施例提供的基于雷达的手势交互AR投影装置,用于实现基于雷达的手势交互AR投影方法,因此上述基于雷达的手势交互AR投影方法所具备的技术效果,基于雷达的手势交互AR投影装置同样具备,在此不再赘述。
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种基于雷达的手势交互AR投影方法,其特征在于,包括以下步骤:
接收被手部反射的电磁波,根据反射电磁波获取手部的位置信息;
根据所述位置信息对手部进行对焦调整,然后采集手部的手势视频;
结合所述手势视频以及对焦区域进行手势识别,从虚拟模型库中获取与手势相对应的虚拟模型;
将虚拟模型与实物模型进行叠加得到混合模型,对所述混合模型进行投影显示。
2.根据权利要求1所述的基于雷达的手势交互AR投影方法,其特征在于,所述位置信息包括手部与电磁波发射点之间的距离以及电磁波发射角度。
3.根据权利要求1所述的基于雷达的手势交互AR投影方法,其特征在于,根据所述位置信息对手部进行对焦调整,具体为:
根据所述位置信息获取手部区域,将手部区域作为对焦区域进行对焦。
4.根据权利要求1所述的基于雷达的手势交互AR投影方法,其特征在于,根据所述位置信息对手部进行对焦调整,还包括:
对焦完成后再次获取手部的位置信息,对比前后两次获取的位置信息获取变动值,并判断手部的位置信息的变动值是否在设定阈值内,如果是则保持当前对焦状态,否则根据当前位置信息重新进行对焦调整。
5.根据权利要求1所述的基于雷达的手势交互AR投影方法,其特征在于,采集手部的手势视频,具体为:
以电磁波发射点作为参考点,将拍摄点与参考点设置在手部的同一侧,将拍摄点设置于距离参考点设定距离的位置处,从所述拍摄点拍摄手部得到所述手势视频。
6.根据权利要求1所述的基于雷达的手势交互AR投影方法,其特征在于,结合所述手势视频以及对焦区域进行手势识别,从虚拟模型库中获取与手势相对应的虚拟模型,具体为:
从所述手势视频中抽取手势图像;
根据所述对焦区域切割所述手势图像得到对焦区域图像
对所述对焦区域图像进行图像分割得到手势轮廓;
对所述手势轮廓进行识别得到手势相对应的虚拟模型。
7.根据权利要求6所述的基于雷达的手势交互AR投影方法,其特征在于,对所述对焦区域图像进行图像分割得到手势轮廓,还包括:
根据所述手势轮廓生成特征线,根据所述特征线计算所述手势轮廓的倾斜角度,根据所述倾斜角度对所述手势轮廓进行调整。
8.根据权利要求6所述的基于雷达的手势交互AR投影方法,其特征在于,对所述手势轮廓进行识别得到手势相对应的虚拟模型,具体为:
建立虚拟模型库,并为虚拟模型库内每一虚拟模型标注手势标签;
在所述虚拟模型库中查找与所述手势轮廓相匹配的手势标签所对应的虚拟模型。
9.根据权利要求1所述的基于雷达的手势交互AR投影方法,其特征在于,将虚拟模型与实物模型进行叠加得到混合模型,具体为:
获取待投影实物的实物图像,识别实物图像获取图像信息;
根据所述图像信息调用相应的实物模型;
将所述实物模型与所述虚拟模型进行数据叠加,得到所述混合模型。
10.一种基于雷达的手势交互AR投影装置,其特征在于,包括AR投影仪、雷达探测器、摄像头以及3D资源服务器;
所述雷达探测器用于接收被手部反射的电磁波,根据反射电磁波获取手部的位置信息;
所述摄像头用于根据所述位置信息对手部进行对焦调整,然后采集手部的手势视频;
所述3D资源服务器用于建立虚拟模型库;
所述AR投影仪用于结合所述手势视频以及对焦区域进行手势识别,从虚拟模型库中获取与手势相对应的虚拟模型;将虚拟模型与实物模型进行叠加得到混合模型,对所述混合模型进行投影显示。
CN201910909647.9A 2019-09-25 2019-09-25 一种基于雷达的手势交互ar投影方法及装置 Active CN110780734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910909647.9A CN110780734B (zh) 2019-09-25 2019-09-25 一种基于雷达的手势交互ar投影方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910909647.9A CN110780734B (zh) 2019-09-25 2019-09-25 一种基于雷达的手势交互ar投影方法及装置

Publications (2)

Publication Number Publication Date
CN110780734A true CN110780734A (zh) 2020-02-11
CN110780734B CN110780734B (zh) 2023-11-03

Family

ID=69384377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910909647.9A Active CN110780734B (zh) 2019-09-25 2019-09-25 一种基于雷达的手势交互ar投影方法及装置

Country Status (1)

Country Link
CN (1) CN110780734B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565602A (zh) * 2020-11-30 2021-03-26 北京地平线信息技术有限公司 图像拍摄装置的控制方法、装置及计算机可读存储介质
CN113721759A (zh) * 2020-05-26 2021-11-30 云米互联科技(广东)有限公司 用户交互方法、家电设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130328766A1 (en) * 2012-06-12 2013-12-12 Sony Corporation Projection type image display apparatus, image projecting method, and computer program
CN106951069A (zh) * 2017-02-23 2017-07-14 深圳市金立通信设备有限公司 一种虚拟现实界面的控制方法及虚拟现实设备
CN106971132A (zh) * 2016-01-14 2017-07-21 芋头科技(杭州)有限公司 一种扫描手势并识别的方法
CN107479715A (zh) * 2017-09-29 2017-12-15 广州云友网络科技有限公司 利用手势控制实现虚拟现实交互的方法和装置
US20180101237A1 (en) * 2016-01-04 2018-04-12 Boe Technology Group Co., Ltd. System, method, and apparatus for man-machine interaction
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130328766A1 (en) * 2012-06-12 2013-12-12 Sony Corporation Projection type image display apparatus, image projecting method, and computer program
US20180101237A1 (en) * 2016-01-04 2018-04-12 Boe Technology Group Co., Ltd. System, method, and apparatus for man-machine interaction
CN106971132A (zh) * 2016-01-14 2017-07-21 芋头科技(杭州)有限公司 一种扫描手势并识别的方法
CN106951069A (zh) * 2017-02-23 2017-07-14 深圳市金立通信设备有限公司 一种虚拟现实界面的控制方法及虚拟现实设备
CN107479715A (zh) * 2017-09-29 2017-12-15 广州云友网络科技有限公司 利用手势控制实现虚拟现实交互的方法和装置
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721759A (zh) * 2020-05-26 2021-11-30 云米互联科技(广东)有限公司 用户交互方法、家电设备及存储介质
CN112565602A (zh) * 2020-11-30 2021-03-26 北京地平线信息技术有限公司 图像拍摄装置的控制方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN110780734B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
US11182615B2 (en) Method and apparatus, and storage medium for image data processing on real object and virtual object
JP7387202B2 (ja) 3次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
EP1960970B1 (en) Stereo video for gaming
WO2021030002A1 (en) Depth-aware photo editing
CN110300264B (zh) 图像处理方法、装置、移动终端以及存储介质
CN106896925A (zh) 一种虚拟现实与真实场景融合的装置
US11120535B2 (en) Image processing method, apparatus, terminal, and storage medium
WO2019196745A1 (zh) 人脸建模方法及相关产品
US20210374972A1 (en) Panoramic video data processing method, terminal, and storage medium
CN112950785A (zh) 点云标注方法、装置及系统
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
KR20160098560A (ko) 동작 분석 장치 및 방법
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
CN113192164A (zh) 虚拟形象随动控制方法、装置、电子设备和可读存储介质
CN110780734B (zh) 一种基于雷达的手势交互ar投影方法及装置
CN114363522A (zh) 拍照方法及相关装置
US20230131418A1 (en) Two-dimensional (2d) feature database generation
CN115393182A (zh) 图像处理方法、装置、处理器、终端及存储介质
CN113225484B (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置
CN115861515A (zh) 一种三维人脸重建方法、计算机程序产品及电子设备
CN113938597A (zh) 一种脸部识别方法、装置、计算机设备和存储介质
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
CN111462294A (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN111402314A (zh) 材质属性参数获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231009

Address after: C217-2, Tsinghua University Research Institute, No. 019 Gaoxin South 7th Road, Gaoxin Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518000

Applicant after: Shenzhen Qingyuan Cultural Technology Co.,Ltd.

Address before: Station A002, 9th Floor, Port Building, No. 60 Qinglonggang Road, High Speed Rail New City, Xiangcheng District, Suzhou City, Jiangsu Province, 215100 (Cluster Registration)

Applicant before: Suzhou Lianyou Information Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant