CN110780735B - 一种手势交互ar投影方法及装置 - Google Patents

一种手势交互ar投影方法及装置 Download PDF

Info

Publication number
CN110780735B
CN110780735B CN201910909656.8A CN201910909656A CN110780735B CN 110780735 B CN110780735 B CN 110780735B CN 201910909656 A CN201910909656 A CN 201910909656A CN 110780735 B CN110780735 B CN 110780735B
Authority
CN
China
Prior art keywords
gesture
motion
information
acquiring
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910909656.8A
Other languages
English (en)
Other versions
CN110780735A (zh
Inventor
赵亚丁
伍永豪
彭泉
曾贵平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinlong Photoelectric Technology Co ltd
Original Assignee
Shanghai Xinlong Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinlong Photoelectric Technology Co ltd filed Critical Shanghai Xinlong Photoelectric Technology Co ltd
Priority to CN201910909656.8A priority Critical patent/CN110780735B/zh
Publication of CN110780735A publication Critical patent/CN110780735A/zh
Application granted granted Critical
Publication of CN110780735B publication Critical patent/CN110780735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及手势交互技术领域，公开了一种手势交互AR投影方法，包括以下步骤：以第一设定方向作为拍摄方向获取手势视频，根据所述手势视频获取手势形状信息；以第二设定方向作为电磁波发射方向获取经手部反射的电磁反射波，根据所述电磁反射波获取手势运动信息；根据所述手势形状信息以及手势运动信息，从运动模型库中获取相应的运动模型；对待投影模型进行投影显示，根据所述运动模型对所述待投影模型进行交互操作。本发明具有手势交互实时性高的技术效果。

Description

一种手势交互AR投影方法及装置
技术领域
本发明涉及手势交互技术领域，具体涉及一种手势交互AR投影方法及装置。
背景技术
手势交互是指人与设备之间通过手势的方式完成信息交换的过程。手势交互与AR投影技术的结合有利于进一步扩展AR投影的应用范围。目前手势识别通常是通过图像识别技术实现的，这种识别方法存在运算量大、实时性不高的问题。
发明内容
本发明的目的在于克服上述技术不足，提供一种手势交互AR投影方法及装置，解决现有技术中手势识别实时性差的技术问题。
为达到上述技术目的，本发明的技术方案提供一种手势交互AR投影方法，包括以下步骤：
以第一设定方向作为拍摄方向获取手势视频，根据所述手势视频获取手势形状信息；
以第二设定方向作为电磁波发射方向获取经手部反射的电磁反射波，根据所述电磁反射波获取手势运动信息；
根据所述手势形状信息以及手势运动信息，从运动模型库中获取相应的运动模型；
对待投影模型进行投影显示，根据所述运动模型对所述待投影模型进行交互操作。
本发明还提供一种手势交互AR投影装置，包括AR投影仪、雷达探测器、摄像头以及3D资源服务器；
所述摄像头用于以第一设定方向作为拍摄方向获取手势视频；
所述雷达探测器用于以第二设定方向作为电磁波发射方向获取经手部反射的电磁反射波；
所述3D资源服务器用于建立运动模型库；
所述AR投影仪用于根据所述手势视频获取手势形状信息，根据所述电磁反射波获取手势运动信息，根据所述手势形状信息以及手势运动信息获取相应的运动模型；对待投影模型进行投影显示，根据所述运动模型对所述待投影模型进行交互操作。
与现有技术相比，本发明的有益效果包括：本发明结合电磁波和手势视频，实现对手势的双重识别。以第一设定方向作为拍摄方向获取手势视频，实现手势形状的识别；以第二设定方向作为电磁波发射方向获取电磁反射波，实现手势运动的识别。结合手势形状和手势运动实现手势识别，进而实现AR投影过程中的手势交互。由于利用电磁波识别手势运动信息，手势视频只需识别手势形状，无需识别动态的手势运动信息，因此不再需要对手势视频中多帧手势图像进行频繁的运算识别，大大降低了运算难度。
附图说明
图1是本发明提供的手势交互AR投影方法一实施方式的流程图；
图2是本发明提供的手势交互AR投影装置一实施方式的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本发明的实施例1提供了手势交互AR投影方法，其特征在于，包括以下步骤：
S1、以第一设定方向作为拍摄方向获取手势视频，根据所述手势视频获取手势形状信息；
S2、以第二设定方向作为电磁波发射方向获取经手部反射的电磁反射波，根据所述电磁反射波获取手势运动信息；
S3、根据所述手势形状信息以及手势运动信息，从运动模型库中获取相应的运动模型；
S4、对待投影模型进行投影显示，根据所述运动模型对所述待投影模型进行交互操作。
本发明实施例首先以第一设定方向作为拍摄方向获取手势视频，实现手势形状的识别；然后以第二设定方向作为电磁波发射方向获取电磁反射波，实现手势运动的识别。最后结合手势形状和手势运动实现手势识别，进而实现AR投影过程中的手势交互。第一设定方向和第二设定方向根据做手势的位置进行设置，第一设定方向优选便于区分手势形状的方向，第二设定方向优选便于获取手势运动状态的方向。由于利用电磁波识别手势运动信息，手势视频只需识别手势形状，无需识别动态的手势运动信息，因此不再需要对手势视频中多帧手势图像进行频繁的运算识别，大大降低了图像处理的运算难度。
优选的，所述第一设定方向为投影方向，所述第二设定方向为投影面上的任意方向。
在投影面上做手势时，从投影方向正面进行手势的拍摄更容易识别手势形状，从投影面某一点朝向手势发射电磁波，从而使得手势的运动与电磁波发射点位于同一平面，便于后续手势坐标，手势运动轨迹的获取。
优选的，根据所述手势视频进行手势形状识别，具体为：
从所述手势视频中抽取多帧手势图像，对所述手势图像进行手势分割得到手势轮廓，将所述手势轮廓分为多段轮廓段，在多段所述轮廓段中筛选出具有特征信息的特征轮廓段作为所述手势形状信息。
由于手势视频仅用于识别手势形状，因此只需抽取很少的几张手势图像进行识别即可。具有特征信息的轮廓段是指具有凸点和凹点的总数量高于设定阈值的轮廓段，这种轮廓段中包含更多的关于手势形状的特征，因此将其提取出来作为手势形状识别的依据，同时也可以进一步减少图像处理的运算量。
优选的，将所述手势轮廓分为多段轮廓段，具体为：
根据手势轮廓获取手势质心，获取所述手势轮廓上的轮廓点与所述手势质心之间的最远距离，以手势质心作为圆心，以所述最远距离为半径做圆，将所述圆等分为多个扇形，通过多个所述扇形将所述手势轮廓分为多段所述轮廓段。
通过等分的扇形将手势轮廓且分为多个轮廓段，便于后续轮廓特征的提取。
优选的，根据所述电磁反射波进行手势运动识别，具体为：
根据所述电磁反射波获取手部的坐标信息；
根据不同时刻的所述坐标信息获取手势的运动轨迹以及运动速度。
根据电磁反射波获取手部与电磁波发射点之间的距离，以及发射角度，进而计算出坐标信息，根据不同时刻的坐标信息实现运动轨迹和运动速度的获取。
优选的，根据所述手势形状信息以及手势运动信息，从运动模型库中获取相应的运动模型，具体为：
建立运动模型库，为所述运动模型库内每一运动模型设置手势标签；
在所述运动模型库中查找与所述手势形状信息以及手势运动信息相匹配的手势标签所对应的运动模型。
查找形状特征以及运动特征与手势相匹配的手势标签，从而获取到相匹配的运动模型。
优选的，在所述运动模型库中查找与所述手势形状信息以及手势运动信息相匹配的手势标签，具体为：
所述手势标签包括手势形状特征和手势运动特征；
在所述运动模型库中，筛选出手势形状特征均包含在手势形状信息内，且手势运动特征均包含在手势运动信息内的手势标签，作为相匹配的手势标签。
本实施例中，手势形状特征包括多个轮廓特征段，手势的形状信息同样包括轮廓特征段。判断轮廓特征段是否相同具体为：判断轮廓特征段中，特征点的数量、特征点的位置、特征点的排布顺序是否相同，如果是则判断为相同。特征点具体为轮廓中的凹点和凸点。手势运动特征包括运动轨迹和运动速度，手势运动信息同样包括运动轨迹和运动速度。判断手势运动特征与手势运动信息是否相同具体为：判断二者运动速度的差值是否在设定误差范围内，判断二者的运动轨迹的轨迹特征点的数量、轨迹特征点的位置、轨迹特征点的排布顺序是否相同，如果是则判断为相同。轨迹特征点具体为运动轨迹中的凹点和凸点。如果一个手势标签的手势形状特征均被包含在手势形状信息内，且手势运动特征均被包含在手势运动信息内，则判断手势标签与手势相互匹配。
优选的，根据所述运动模型对所述待投影模型进行交互操作，具体为：
根据所述运动模型控制所述待投影模型运动。
运动模型包括运动参数，例如运动速度、运动轨迹、旋转速度、旋转角度等，通过运动模型控制待投影模型运动，实现待投影模型的动态投影，实现待投影模型与手势的交互。
实施例2
如图2所示，本发明的实施例2提供了手势交互AR投影装置，包括AR投影仪1、雷达探测器2、摄像头3以及3D资源服务器4；
所述摄像头3用于以第一设定方向作为拍摄方向获取手势视频；
所述雷达探测器2用于以第二设定方向作为电磁波发射方向获取经手部反射的电磁反射波；
所述3D资源服务器4用于建立运动模型库；
所述AR投影仪1用于根据所述手势视频获取手势形状信息，根据所述电磁反射波获取手势运动信息，根据所述手势形状信息以及手势运动信息获取相应的运动模型；对待投影模型进行投影显示，投影至投影墙5，根据所述运动模型对所述待投影模型进行交互操作。
雷达探测器2与AR投影仪1优选采用蓝牙连接。
本发明实施例提供的手势交互AR投影装置，用于实现上述手势交互AR投影方法，因此，上述手势交互AR投影方法所具备的技术效果，手势交互AR投影装置同样具备，在此不再赘述。
实施例3
本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现以上实施例提供的手势交互AR投影方法。
手势交互AR投影方法具体包括以下步骤：
以第一设定方向作为拍摄方向获取手势视频，根据所述手势视频获取手势形状信息；
以第二设定方向作为电磁波发射方向获取经手部反射的电磁反射波，根据所述电磁反射波获取手势运动信息；
根据所述手势形状信息以及手势运动信息获取相应的运动模型；
对待投影模型进行投影显示，根据所述运动模型对所述待投影模型进行交互操作。
本发明实施例提供的计算机存储介质，用于实现上述手势交互AR投影方法，因此，上述手势交互AR投影方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (8)

1.一种手势交互AR投影方法，其特征在于，包括以下步骤：
以第一设定方向作为拍摄方向获取手势视频，根据所述手势视频获取手势形状信息；
以第二设定方向作为电磁波发射方向获取经手部反射的电磁反射波，根据所述电磁反射波获取手势运动信息；
根据所述手势形状信息以及手势运动信息，从运动模型库中获取相应的运动模型；
对待投影模型进行投影显示，根据所述运动模型对所述待投影模型进行交互操作；
其中，所述第一设定方向为投影方向，所述第二设定方向为投影面上的任意方向；
根据所述手势视频进行手势形状识别，具体为：
从所述手势视频中抽取多帧手势图像，对所述手势图像进行手势分割得到手势轮廓，将所述手势轮廓分为多段轮廓段，在多段所述轮廓段中筛选出具有特征信息的特征轮廓段作为所述手势形状信息。
2.根据权利要求1所述的手势交互AR投影方法，其特征在于，将所述手势轮廓分为多段轮廓段，具体为：
根据手势轮廓获取手势质心，获取所述手势轮廓上的轮廓点与所述手势质心之间的最远距离，以手势质心作为圆心，以所述最远距离为半径做圆，将所述圆等分为多个扇形，通过多个所述扇形将所述手势轮廓分为多段所述轮廓段。
3.根据权利要求1所述的手势交互AR投影方法，其特征在于，根据所述电磁反射波进行手势运动识别，具体为：
根据所述电磁反射波获取手部的坐标信息；
根据不同时刻的所述坐标信息获取手势的运动轨迹以及运动速度。
4.根据权利要求1所述的手势交互AR投影方法，其特征在于，根据所述手势形状信息以及手势运动信息，从运动模型库中获取相应的运动模型，具体为：
建立运动模型库，为所述运动模型库内每一运动模型设置手势标签；
在所述运动模型库中查找与所述手势形状信息以及手势运动信息相匹配的手势标签所对应的运动模型。
5.根据权利要求4所述的手势交互AR投影方法，其特征在于，在所述运动模型库中查找与所述手势形状信息以及手势运动信息相匹配的手势标签，具体为：
所述手势标签包括手势形状特征和手势运动特征；
在所述运动模型库中，筛选出手势形状特征均包含在手势形状信息内，且手势运动特征均包含在手势运动信息内的手势标签，作为相匹配的手势标签。
6.根据权利要求1所述的手势交互AR投影方法，其特征在于，根据所述运动模型对所述待投影模型进行交互操作，具体为：
根据所述运动模型控制所述待投影模型运动。
7.一种手势交互AR投影装置，其特征在于，包括AR投影仪、雷达探测器、摄像头以及3D资源服务器；
所述摄像头用于以第一设定方向作为拍摄方向获取手势视频；
所述雷达探测器用于以第二设定方向作为电磁波发射方向获取经手部反射的电磁反射波；
所述3D资源服务器用于建立运动模型库；
所述AR投影仪用于根据所述手势视频获取手势形状信息，根据所述电磁反射波获取手势运动信息，根据所述手势形状信息以及手势运动信息获取相应的运动模型；对待投影模型进行投影显示，根据所述运动模型对所述待投影模型进行交互操作；
其中，所述第一设定方向为投影方向，所述第二设定方向为投影面上的任意方向；
根据所述手势视频进行手势形状识别，具体为：
从所述手势视频中抽取多帧手势图像，对所述手势图像进行手势分割得到手势轮廓，将所述手势轮廓分为多段轮廓段，在多段所述轮廓段中筛选出具有特征信息的特征轮廓段作为所述手势形状信息。
8.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6任一所述的手势交互AR投影方法。
CN201910909656.8A 2019-09-25 2019-09-25 一种手势交互ar投影方法及装置 Active CN110780735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910909656.8A CN110780735B (zh) 2019-09-25 2019-09-25 一种手势交互ar投影方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910909656.8A CN110780735B (zh) 2019-09-25 2019-09-25 一种手势交互ar投影方法及装置

Publications (2)

Publication Number Publication Date
CN110780735A CN110780735A (zh) 2020-02-11
CN110780735B true CN110780735B (zh) 2023-07-21

Family

ID=69384362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910909656.8A Active CN110780735B (zh) 2019-09-25 2019-09-25 一种手势交互ar投影方法及装置

Country Status (1)

Country Link
CN (1) CN110780735B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306237B (zh) * 2020-10-21 2024-10-18 广州朗国电子科技股份有限公司 基于电磁波反射的三维触控方法、触控设备、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530613A (zh) * 2013-10-15 2014-01-22 无锡易视腾科技有限公司 一种基于单目视频序列的目标人手势交互方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249422A1 (en) * 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system and method
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
CN105260024B (zh) * 2015-10-15 2018-01-26 广东欧珀移动通信有限公司 一种在屏幕上模拟手势运动轨迹的方法及装置
CN106951069A (zh) * 2017-02-23 2017-07-14 深圳市金立通信设备有限公司 一种虚拟现实界面的控制方法及虚拟现实设备
CN110221690B (zh) * 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530613A (zh) * 2013-10-15 2014-01-22 无锡易视腾科技有限公司 一种基于单目视频序列的目标人手势交互方法

Also Published As

Publication number Publication date
CN110780735A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
US10354129B2 (en) Hand gesture recognition for virtual reality and augmented reality devices
CN109741369B (zh) 一种用于机器人跟踪目标行人的方法及系统
US20150098645A1 (en) Method, apparatus and system for selecting a frame
US9373174B2 (en) Cloud based video detection and tracking system
Zhang et al. Cloudar: A cloud-based framework for mobile augmented reality
CN109146920A (zh) 一种可嵌入式实现的目标跟踪方法
Zhou et al. Fine-grained visual recognition in mobile augmented reality for technical support
Hachiuma et al. DetectFusion: Detecting and segmenting both known and unknown dynamic objects in real-time SLAM
TWI684956B (zh) 物體辨識與追蹤系統及其方法
Sheng et al. A generative model for depth-based robust 3D facial pose tracking
CN110780735B (zh) 一种手势交互ar投影方法及装置
Kshirsagar et al. Modified yolo module for efficient object tracking in a video
Dai et al. An Improved ORB Feature Extraction Algorithm Based on Enhanced Image and Truncated Adaptive Threshold
Xu et al. Video-object segmentation and 3D-trajectory estimation for monocular video sequences
CN110780734B (zh) 一种基于雷达的手势交互ar投影方法及装置
Wang et al. Hand posture recognition from disparity cost map
Zheng et al. Aristo: An augmented reality platform for immersion and interactivity
Najeeb et al. A survey on object detection and tracking in soccer videos
Yang et al. Comparative object similarity learning-based robust visual tracking
Truong et al. Single object tracking using particle filter framework and saliency-based weighted color histogram
Pairo et al. A delay-free and robust object tracking approach for robotics applications
Yu et al. Registration Based on ORB and FREAK Features for Augmented Reality Systems
Cheng et al. Improved fast compressive tracking for low-altitude flying target tracking
De Beugher et al. Semi-automatic hand detection-a case study on real life mobile eye-tracker data
Wang et al. Object tracking with shallow convolution feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230628

Address after: 200333 No.52, Lane 2, Suide Road, Putuo District, Shanghai

Applicant after: Shanghai Xinlong Photoelectric Technology Co.,Ltd.

Address before: Station A002, 9th Floor, Port Building, No. 60 Qinglonggang Road, High Speed Rail New City, Xiangcheng District, Suzhou City, Jiangsu Province, 215100 (Cluster Registration)

Applicant before: Suzhou Lianyou Information Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant