CN106708266A - 一种基于双目手势识别的ar动作矫正投影方法及系统 - Google Patents

一种基于双目手势识别的ar动作矫正投影方法及系统 Download PDF

Info

Publication number
CN106708266A
CN106708266A CN201611203245.XA CN201611203245A CN106708266A CN 106708266 A CN106708266 A CN 106708266A CN 201611203245 A CN201611203245 A CN 201611203245A CN 106708266 A CN106708266 A CN 106708266A
Authority
CN
China
Prior art keywords
gesture
model
binocular
demonstration
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611203245.XA
Other languages
English (en)
Inventor
伍永豪
赵亚丁
彭泉
曾贵平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Molio Network Co Ltd
Original Assignee
Wuhan Molio Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Molio Network Co Ltd filed Critical Wuhan Molio Network Co Ltd
Priority to CN201611203245.XA priority Critical patent/CN106708266A/zh
Publication of CN106708266A publication Critical patent/CN106708266A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于双目手势识别的AR动作矫正投影方法及系统，其中，方法包括：识别到特定手势动作即选择一示范动作模型并投影在屏幕，播放示范手势动作；用户做出手势动作，双目手势识别模块产生手势动作模型并投影在屏幕上；计算示范动作模型和手势动作模型同一时间的手势的形状相似度，低于设定值时，发出提示，获取此时时间节点和手势截图并显示。有益效果：用户以手势来选择示范动作模型，用户直观的在屏幕上看到自己的手势动作和示范手势动作的区别，当用户手势与示范手势的形状相似度低于设定值时，发出提示，显示时间节点和示范手势，实现在没有导师亲自矫正时，自动矫正用户手势动作，人机交互性、趣味性强。

Description

一种基于双目手势识别的AR动作矫正投影方法及系统
技术领域
本发明涉及AR投影技术领域，尤其是涉及一种基于双目手势识别的AR动作矫正投影方法及系统。
背景技术
手部动作的应用场景很多，例如手语，弹钢琴，弹吉他(古筝、萨克斯等乐器)，书法手势，球类运动的手部姿势，这些活动都要求十根手指的手势动作标准。然而人们学习这些手势动作的时候，常常没有指导老师或教练亲自矫正和指导，极易造成手势动作不标准，一旦错误的手势动作形成习惯，将对日后的继续学习造成极大阻碍。
发明内容
本发明的目的在于克服上述技术不足，提出一种基于双目手势识别的AR动作矫正投影方法及系统，解决现有技术中在要求手势动作标准的学习活动中，常常无人指导和矫正手势动作，导致学员做出的手势动作极易不标准的技术问题。
为达到上述技术目的，本发明的技术方案提供一种基于双目手势识别的AR动作矫正投影方法，其中，包括：
S1、双目手势识别模块进行手势动作识别；
S2、识别到特定的手势动作后，执行选择指令，选择一预先存储的示范动作模型，所述示范动作模型为一设定时长的3D手势动作；
S3、将选择的一预先存储的所述示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放所述示范动作模型的3D手势动作；
S4、用户跟随播放的手势动作做出手势动作，所述双目手势识别模块进行手势动作识别，产生手势动作模型，将所述手势动作模型的数字信号转为光信号，投影在投影屏幕上，所述手势动作模型为一连串的用户的3D手势动作；
S5、计算所述示范动作模型和所述手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取所述示范动作模型的时间节点和手势截图；
S6、当所述示范动作模型的手势动作结束，显示获取的时间节点和手势截图。
本发明还提供一种基于双目手势识别的AR动作矫正投影系统，其中，包括：
手势动作识别模块：所述双目手势识别模块进行手势动作识别；
选择示范动作模块：识别到特定的手势动作后，执行选择指令，选择一预先存储的所述示范动作模型，所述示范动作模型为一设定时长的3D手势动作；
播放示范动作模块：将选择的一预先存储的所述示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放所述示范动作模型的3D手势动作；
显示用户动作模块：用户跟随播放的手势动作做出手势动作，所述双目手势识别模块进行手势动作识别，产生所述手势动作模型，将所述手势动作模型的数字信号转为光信号，投影在投影屏幕上，所述手势动作模型为一连串的用户的3D手势动作；
判断错误动作模块：计算所述示范动作模型和所述手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取所述示范动作模型的时间节点和手势截图；
显示错误动作模块：当所述示范动作模型的手势动作结束，显示获取的时间节点和手势截图。
与现有技术相比，本发明的有益效果包括：通过做出手势动作即可选择需要进行学习和矫正的示范动作模型，人机交互性很强，通过在屏幕上投影示范手势动作，可以让用户跟随着做出手势动作，并对用户的手势动作进行投影，让用户直观的看到自己的手势动作和示范手势动作的区别，当用户手势与示范手势的形状相似度低于设定值时，手势不够标准，提示用户注意，并在示范手势动作结束后显示手势不够标准时的时间节点和该时节点的示范手势截图，以便用户矫正自己的手势动作，实现在没有指导老师亲自矫正和指导时，自动矫正用户手势动作，人机交互性强，趣味性强。
附图说明
图1是本发明提供的一种基于双目手势识别的AR动作矫正投影方法流程图；
图2是本发明提供的一种基于双目手势识别的AR动作矫正投影系统结构框图。
附图中：1、基于双目手势识别的AR动作矫正投影系统，11、手势动作识别模块，12、选择示范动作模块，13、播放示范动作模块，14、显示用户动作模块，15、判断错误动作模块，16、显示错误动作模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
Leap Motion公司的同名产品Leap Motion和Usens公司的Fingo都有双摄像头，实现双目手势识别，技术原理是：使用两台摄像机对当前环境进行拍摄，得到两幅针对同一环境的不同视角照片，实际上就是模拟了人眼工作的原理。因为两台摄像机的各项参数以及它们之间相对位置的关系是已知的，只要找出手势在不同画面中的位置，我们就能通过算法计算出手势距离摄像头的深度信息，从而形成手势多角三维图像，进行手势动作的识别。
本发明采用了Leap Motion模块或Fingo模块，Leap Motion模块或Fingo模块可以实现双目手势动作识别，可以获取手势动作模型。Leap Motion模块或Fingo模块属于现有技术，不再赘述。
本发明提供了一种基于双目手势识别的AR动作矫正投影方法，其中，包括：
S1、双目手势识别模块进行手势动作识别；
S2、识别到特定的手势动作后，执行选择指令，选择一预先存储的示范动作模型，示范动作模型为一设定时长的3D手势动作；
S3、将选择的一预先存储的示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放示范动作模型的3D手势动作；
S4、用户跟随播放的手势动作做出手势动作，双目手势识别模块进行手势动作识别，产生手势动作模型，将手势动作模型的数字信号转为光信号，投影在投影屏幕上，手势动作模型为一连串的用户的3D手势动作；
S5、计算示范动作模型和手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取示范动作模型的时间节点和该时间节点的手势截图；
S6、当示范动作模型的手势动作结束，显示获取的时间节点和该时间节点的手势截图。
本发明所述的基于双目手势识别的AR动作矫正投影方法，步骤S1包括：
双目手势识别模块采用Leap Motion模块或者Fingo模块。
本发明所述的基于双目手势识别的AR动作矫正投影方法，步骤S2包括：
预先存储多个示范动作模型。
本发明所述的基于双目手势识别的AR动作矫正投影方法，步骤S4包括：
示范动作模型和手势动作模型的投影显示在同一投影屏幕上的不同位置。
本发明还提供一种基于双目手势识别的AR动作矫正投影系统1，其中，包括：
手势动作识别模块11：双目手势识别模块进行手势动作识别；
选择示范动作模块12：识别到特定的手势动作后，执行选择指令，选择一预先存储的示范动作模型，示范动作模型为一设定时长的3D手势动作；
播放示范动作模块13：将选择的一预先存储的示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放示范动作模型的3D手势动作；
显示用户动作模块14：用户跟随播放的手势动作做出手势动作，双目手势识别模块进行手势动作识别，产生手势动作模型，将手势动作模型的数字信号转为光信号，投影在投影屏幕上，手势动作模型为一连串的用户的3D手势动作；
判断错误动作模块15：计算示范动作模型和手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取示范动作模型的时间节点和该时间节点的手势截图；
显示错误动作模块16：当示范动作模型的手势动作结束，显示获取的时间节点和该时间节点的手势截图。
本发明所述的基于双目手势识别的AR动作矫正投影系统1，手势动作识别模块11：
双目手势识别模块采用Leap Motion模块或者Fingo模块。
本发明所述的基于双目手势识别的AR动作矫正投影系统1，选择示范动作模块12：
预先存储多个示范动作模型。
本发明所述的基于双目手势识别的AR动作矫正投影系统1，显示用户动作模块14：
示范动作模型和手势动作模型的投影显示在同一投影屏幕上的不同位置。
本发明提供的一种基于双目手势识别的AR动作矫正投影方法及系统在使用过程中，双目手势识别模块进行手势动作识别；识别到特定的手势动作后，执行选择指令，选择一预先存储的示范动作模型，示范动作模型为一设定时长的3D手势动作；将选择的一预先存储的示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放示范动作模型的3D手势动作；用户跟随播放的手势动作做出手势动作，双目手势识别模块进行手势动作识别，产生手势动作模型，将手势动作模型的数字信号转为光信号，投影在投影屏幕上，手势动作模型为一连串的用户的3D手势动作；计算示范动作模型和手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取示范动作模型的时间节点和该时间节点的手势截图；当示范动作模型的手势动作结束，显示获取的时间节点和该时间节点的手势截图。
与现有技术相比，本发明的有益效果包括：通过做出手势动作即可选择需要进行学习和矫正的示范动作模型，人机交互性很强，通过在屏幕上投影示范手势动作，可以让用户跟随着做出手势动作，并对用户的手势动作进行投影，让用户直观的看到自己的手势动作和示范手势动作的区别，当用户手势与示范手势的形状相似度低于设定值时，手势不够标准，提示用户注意，并在示范手势动作结束后显示手势不够标准时的时间节点和该时节点的示范手势截图，以便用户矫正自己的手势动作，实现在没有指导老师亲自矫正和指导时，自动矫正用户手势动作，人机交互性强，趣味性强。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (8)

1.一种基于双目手势识别的AR动作矫正投影方法，其特征在于，包括：
S1、双目手势识别模块进行手势动作识别；
S2、识别到特定的手势动作后，执行选择指令，选择一预先存储的示范动作模型，所述示范动作模型为一设定时长的3D手势动作；
S3、将选择的一预先存储的所述示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放所述示范动作模型的3D手势动作；
S4、用户跟随播放的手势动作做出手势动作，所述双目手势识别模块进行手势动作识别，产生手势动作模型，将所述手势动作模型的数字信号转为光信号，投影在投影屏幕上，所述手势动作模型为一连串的用户的3D手势动作；
S5、计算所述示范动作模型和所述手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取所述示范动作模型的时间节点和该时间节点的手势截图；
S6、当所述示范动作模型的手势动作结束，显示获取的时间节点和该时间节点的手势截图。
2.如权利要求1所述的基于双目手势识别的AR动作矫正投影方法，其特征在于，步骤S1包括：
所述双目手势识别模块采用Leap Motion模块或者Fingo模块。
3.如权利要求1所述的基于双目手势识别的AR动作矫正投影方法，其特征在于，步骤S2包括：
预先存储多个所述示范动作模型。
4.如权利要求1所述的基于双目手势识别的AR动作矫正投影方法，其特征在于，步骤S4包括：
所述示范动作模型和所述手势动作模型的投影显示在同一投影屏幕上的不同位置。
5.一种基于双目手势识别的AR动作矫正投影系统，其特征在于，包括：
手势动作识别模块：所述双目手势识别模块进行手势动作识别；
选择示范动作模块：识别到特定的手势动作后，执行选择指令，选择一预先存储的所述示范动作模型，所述示范动作模型为一设定时长的3D手势动作；
播放示范动作模块：将选择的一预先存储的所述示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放所述示范动作模型的3D手势动作；
显示用户动作模块：用户跟随播放的手势动作做出手势动作，所述双目手势识别模块进行手势动作识别，产生所述手势动作模型，将所述手势动作模型的数字信号转为光信号，投影在投影屏幕上，所述手势动作模型为一连串的用户的3D手势动作；
判断错误动作模块：计算所述示范动作模型和所述手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取所述示范动作模型的时间节点和该时间节点的手势截图；
显示错误动作模块：当所述示范动作模型的手势动作结束，显示获取的时间节点和该时间节点的手势截图。
6.如权利要求5所述的基于双目手势识别的AR动作矫正投影系统，其特征在于，手势动作识别模块：
所述双目手势识别模块采用Leap Motion模块或者Fingo模块。
7.如权利要求5所述的基于双目手势识别的AR动作矫正投影系统，其特征在于，选择示范动作模块：
预先存储多个所述示范动作模型。
8.如权利要求5所述的基于双目手势识别的AR动作矫正投影系统，其特征在于，显示用户动作模块：
所述示范动作模型和所述手势动作模型的投影显示在同一投影屏幕上的不同位置。
CN201611203245.XA 2016-12-23 2016-12-23 一种基于双目手势识别的ar动作矫正投影方法及系统 Pending CN106708266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611203245.XA CN106708266A (zh) 2016-12-23 2016-12-23 一种基于双目手势识别的ar动作矫正投影方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611203245.XA CN106708266A (zh) 2016-12-23 2016-12-23 一种基于双目手势识别的ar动作矫正投影方法及系统

Publications (1)

Publication Number Publication Date
CN106708266A true CN106708266A (zh) 2017-05-24

Family

ID=58903042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611203245.XA Pending CN106708266A (zh) 2016-12-23 2016-12-23 一种基于双目手势识别的ar动作矫正投影方法及系统

Country Status (1)

Country Link
CN (1) CN106708266A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109192007A (zh) * 2018-09-21 2019-01-11 杭州电子科技大学 一种基于肌电运动感知的ar手语识别方法及教学方法
CN109559489A (zh) * 2018-12-27 2019-04-02 梁丹红 弹奏姿态提醒系统
CN110850982A (zh) * 2019-11-11 2020-02-28 南方科技大学 基于ar的人机交互学习方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN103576840A (zh) * 2012-07-24 2014-02-12 上海辰戌信息科技有限公司 基于立体视觉的手势体感控制系统
US20150234477A1 (en) * 2013-07-12 2015-08-20 Magic Leap, Inc. Method and system for determining user input based on gesture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN103576840A (zh) * 2012-07-24 2014-02-12 上海辰戌信息科技有限公司 基于立体视觉的手势体感控制系统
US20150234477A1 (en) * 2013-07-12 2015-08-20 Magic Leap, Inc. Method and system for determining user input based on gesture

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109192007A (zh) * 2018-09-21 2019-01-11 杭州电子科技大学 一种基于肌电运动感知的ar手语识别方法及教学方法
CN109559489A (zh) * 2018-12-27 2019-04-02 梁丹红 弹奏姿态提醒系统
CN109559489B (zh) * 2018-12-27 2020-09-11 董官献 弹奏姿态提醒系统
CN110850982A (zh) * 2019-11-11 2020-02-28 南方科技大学 基于ar的人机交互学习方法、系统、设备及存储介质
CN110850982B (zh) * 2019-11-11 2024-03-29 南方科技大学 基于ar的人机交互学习方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
KR101381594B1 (ko) 가상현실을 이용한 교육 장치 및 방법
CN106371593B (zh) 一种投影交互式书法练习系统及其实现方法
CN109923462A (zh) 感测眼镜
CN103390174A (zh) 基于人体姿态识别的体育教学辅助系统和方法
CN104200491A (zh) 一种人体运动姿态校正系统
KR20160093131A (ko) 동작 기반 인터랙티브 서비스 방법 및 시스템
US9076345B2 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Oliveira et al. Automatic sign language translation to improve communication
CN109144244A (zh) 一种增强现实辅助的方法、装置、系统及增强现实设备
Zeng et al. FunPianoAR: A novel AR application for piano learning considering paired play based on multi-marker tracking
CN106708266A (zh) 一种基于双目手势识别的ar动作矫正投影方法及系统
CN109739353A (zh) 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
CN112331001A (zh) 一种基于虚拟现实技术的教学系统
WO2013036517A1 (en) System and method for providing real-time guidance to a user
CN108038461A (zh) 交互式外语口型和舌型同时矫正的系统和方法
TWI702504B (zh) 一種實現圖像漢字拼接成詞的系統及移動終端
CN104933278B (zh) 一种用于言语障碍康复训练的多通道交互方法和系统
US20070298396A1 (en) Computer executable dynamic presentation system for simulating human meridian points and method thereof
CN111627039A (zh) 一种基于图像识别的交互系统及交互方法
Guzsvinecz et al. Designing gamified virtual reality applications with sensors—A gamification study
Kritopoulou et al. Towards the design of augmented feedforward and feedback for sensorimotor learning of motor skills
Jiawei et al. A special edutainment system based on somatosensory game
KR20190137646A (ko) 셀프 태권도 수련 시뮬레이션 시스템
TWM459485U (zh) 結合體感互動與擴增實境技術之舞蹈自學系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524