CN110413130B - 基于动作捕捉的虚拟现实手语学习、测试和评价方法 - Google Patents

基于动作捕捉的虚拟现实手语学习、测试和评价方法 Download PDF

Info

Publication number
CN110413130B
CN110413130B CN201910754955.9A CN201910754955A CN110413130B CN 110413130 B CN110413130 B CN 110413130B CN 201910754955 A CN201910754955 A CN 201910754955A CN 110413130 B CN110413130 B CN 110413130B
Authority
CN
China
Prior art keywords
sign language
data
scene
conversation
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910754955.9A
Other languages
English (en)
Other versions
CN110413130A (zh
Inventor
王鸿伟
徐剑杰
焦莹
赖雪平
杨锦龙
黄梅
郑童冰
陈梓荣
王荣海
吴伊萍
曾蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Normal University
Original Assignee
Quanzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Normal University filed Critical Quanzhou Normal University
Priority to CN201910754955.9A priority Critical patent/CN110413130B/zh
Publication of CN110413130A publication Critical patent/CN110413130A/zh
Application granted granted Critical
Publication of CN110413130B publication Critical patent/CN110413130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出基于动作捕捉的虚拟现实手语学习、测试和评价方法，所述方法采用动作比对装置对手语会话场景进行数据化处理；所述动作比对装置包括惯性动作捕捉设备、数据采集器和数据比对装置；所述惯性动作捕捉设备包括多个数据传感器；各数据传感器分别绑定并贴于会话参与者的人体部位；当手语会话场景进行时，所述数据传感器记录会话参与者的人体空间移动信息形成会话场景数据；再通过三维场景开发平台利用会话场景数据建立虚拟现实场景；手语学员通过虚拟现实场景来学习手语；本发明能使用动作捕捉技术记录手语会话场景并形成虚拟场景，从而利用虚拟场景进行手语学习、测试和手语动作评价的相关功能。

Description

基于动作捕捉的虚拟现实手语学习、测试和评价方法
技术领域
本发明涉及教学设施技术领域，尤其是基于动作捕捉的虚拟现实手语学习、测试和评价方法。
背景技术
现有的手语教学，主要用于帮助聋哑人进行沟通，没有使用到动作捕捉技术，也没有手语学习、测试和手语动作评价的相关功能。
语言教学如能配合对语场景进行，将能有效提升教学质量。
发明内容
本发明提出基于动作捕捉的虚拟现实手语学习、测试和评价方法，能使用动作捕捉技术记录手语会话场景并形成虚拟场景，从而利用虚拟场景进行手语学习、测试和手语动作评价的相关功能。
本发明采用以下技术方案。
基于动作捕捉的虚拟现实手语学习、测试和评价方法，所述方法采用动作比对装置对手语会话场景进行数据化处理；所述动作比对装置包括惯性动作捕捉设备、数据采集器和数据比对装置；所述惯性动作捕捉设备包括多个数据传感器；各数据传感器分别绑定并贴于会话参与者的人体部位；当手语会话场景进行时，所述数据传感器记录会话参与者的人体空间移动信息形成会话场景数据；再通过三维场景开发平台利用会话场景数据建立虚拟现实场景；手语学员通过虚拟现实场景来学习手语。
所述会话场景可以是两人以上的会话场景，也可以是单人的发言场景；会话场景中，会话参与者可以用语音对话作为手语会话的语音参照；所述会话参与者可以包括手语教师或手语学员。
当会话场景为两人以上的会话场景时，可采用虚拟人物建模工具生成场景数据中的虚拟人物。
所述绑定部位包括头部、躯干、四肢和手部。
所述方法还包括贮有标准手语动作数据的数据比对装置；当会话参与者包括手语学员时，所述数据比对装置可根据标准手语动作数据对手语学员的手语动作进行评估。
所述惯性动作捕捉设备以无线通讯方式把采集数据上传至数据采集器；所述数据采集器与数据比对装置相连。
所述方法包括以下步骤；
A1、对需以动作捕捉技术进行数据采集的手语会话场景进行待捕捉场景定义，然后把待捕捉场景切分为若干采集片段，确定每个采集片段内会话参与者的手语动作和身体动作以便同步采集；
A2、会话参与者穿戴惯性动作捕捉设备进行采集片段内的手语会话，数据采集器经惯性动作捕捉设备采集会话参与者在三维空间内的动作数据、经录音设备采集会话参与者的语音对话作为手语会话的语音参照数据；
A3、根据会话参与者的体征创建三维人物模型，体征包括身高和躯体比例，同时对三维人物模型进行骨骼绑定；
A4、在三维场景开发平台下，对各采集片段进行组合，并以采集片段的动作数据驱动三维人物模型进行手语会话，同时把手语会话与念白数据和语音参照数据进行组合，使被采集的手语会话场景移植复制为虚拟现实场景；
A5、手语学员可通过虚拟现实头盔以360度视角来观看虚拟现实场景以学习手语，也可通过显示屏观看虚拟现实场景进行学习，在观看时，手语学员可屏蔽虚拟现实场景中的指定人物以使所观看的人物动作不受遮挡；
A6、有手语基础的手语学员可作为手语会话场景的会话参与者来进行会话场景数据采集；在会话场景数据采集中或采集后，所述数据比对装置对参与会话场景的手语学员的手语动作进行评估并给出测试分数；
在步骤A6中，所述数据比对装置记录测试分数高于阈值的手语动作，并把与所记录手语动作对应的采集数据存储入专业手语动作数据库。
所述专业手语动作数据库可用于手语动画开发、手语动作比对的数据源使用。
所述三维场景开发平台为Unity平台。
本发明的优点在于：
1、本发明可以支持手语学习、手语测试和手语动作评价，能够满足手语学习者的多种需求；
2、本发明利用动作捕捉设备来制作手语动画，手语动作更加精准，手语动画制作更加便捷；
3、本发明可以让手语动作的评价更加客观、公正，让手语动作评价更加智能化、自动化，节约成本；
4、本发明采用了更好的手语动画的呈现方式，支持使用虚拟现实头盔，实现360度沉浸式浏览。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明对手语会话场景的进行数据采集的流程示意图；
附图2是手语会话参与者穿戴惯性动作捕捉设备的示意图；
附图3是手语会话参与者穿戴惯性动作捕捉设备的另一示意图；
附图4是本发明的学员学习手语的流程示意图。
具体实施方式
如图1-4所示，基于动作捕捉的虚拟现实手语学习、测试和评价方法，所述方法采用动作比对装置对手语会话场景进行数据化处理；所述动作比对装置包括惯性动作捕捉设备、数据采集器和数据比对装置；所述惯性动作捕捉设备包括多个数据传感器；各数据传感器分别绑定并贴于会话参与者的人体部位；当手语会话场景进行时，所述数据传感器记录会话参与者的人体空间移动信息形成会话场景数据；再通过三维场景开发平台利用会话场景数据建立虚拟现实场景；手语学员通过虚拟现实场景来学习手语。
所述会话场景可以是两人以上的会话场景，也可以是单人的发言场景；会话场景中，会话参与者可以用语音对话作为手语会话的语音参照；所述会话参与者可以包括手语教师或手语学员。
当会话场景为两人以上的会话场景时，可采用虚拟人物建模工具生成场景数据中的虚拟人物。
所述绑定部位包括头部、躯干、四肢和手部。
所述方法还包括贮有标准手语动作数据的数据比对装置；当会话参与者包括手语学员时，所述数据比对装置可根据标准手语动作数据对手语学员的手语动作进行评估。
所述惯性动作捕捉设备以无线通讯方式把采集数据上传至数据采集器；所述数据采集器与数据比对装置相连。
所述方法包括以下步骤；
A1、对需以动作捕捉技术进行数据采集的手语会话场景进行待捕捉场景定义，然后把待捕捉场景切分为若干采集片段，确定每个采集片段内会话参与者的手语动作和身体动作以便同步采集；
A2、会话参与者穿戴惯性动作捕捉设备进行采集片段内的手语会话，数据采集器经惯性动作捕捉设备采集会话参与者在三维空间内的动作数据、经录音设备采集会话参与者的语音对话作为手语会话的语音参照数据；
A3、根据会话参与者的体征创建三维人物模型，体征包括身高和躯体比例，同时对三维人物模型进行骨骼绑定；
A4、在三维场景开发平台下，对各采集片段进行组合，并以采集片段的动作数据驱动三维人物模型进行手语会话，同时把手语会话与念白数据和语音参照数据进行组合，使被采集的手语会话场景移植复制为虚拟现实场景；
A5、手语学员可通过虚拟现实头盔以360度视角来观看虚拟现实场景以学习手语，也可通过显示屏观看虚拟现实场景进行学习，在观看时，手语学员可屏蔽虚拟现实场景中的指定人物以使所观看的人物动作不受遮挡；
A6、有手语基础的手语学员可作为手语会话场景的会话参与者来进行会话场景数据采集；在会话场景数据采集中或采集后，所述数据比对装置对参与会话场景的手语学员的手语动作进行评估并给出测试分数；
在步骤A6中，所述数据比对装置记录测试分数高于阈值的手语动作，并把与所记录手语动作对应的采集数据存储入专业手语动作数据库。
所述专业手语动作数据库可用于手语动画开发、手语动作比对的数据源使用。
所述三维场景开发平台为Unity平台。
优选地，当手语会话场景中的手语教师和手语学员同步进行表演动作时，所述数据比对装置可对手语教师和手语学员的动作数据进行同步比对，并实时给出结果。
优选地，本例中还包括语音识别装置，可把会话参与者的语音对话识别为文本数据，并可把识别出的文本数据转换为虚拟场景中的字幕显示。
优选地，本例中的多人手语会话场景，为模拟现实社交会话的会话场景。

Claims (7)

1.基于动作捕捉的虚拟现实手语学习、测试和评价方法，其特征在于：所述方法采用动作比对装置对手语会话场景进行数据化处理；所述动作比对装置包括惯性动作捕捉设备、数据采集器和数据比对装置；所述惯性动作捕捉设备包括多个数据传感器；各数据传感器分别绑定并贴于会话参与者的人体部位；当手语会话场景进行时，所述数据传感器记录会话参与者的人体空间移动信息形成会话场景数据；再通过三维场景开发平台利用会话场景数据建立虚拟现实场景；手语学员通过虚拟现实场景来学习手语；
所述会话场景为两人以上的会话场景，或是单人的发言场景；会话场景中，会话参与者用语音对话作为手语会话的语音参照；所述会话参与者包括手语教师或手语学员；
所述方法还包括贮有标准手语动作数据的数据比对装置；当会话参与者包括手语学员时，所述数据比对装置根据标准手语动作数据对手语学员的手语动作进行评估；
所述方法包括以下步骤；
A1、对需以动作捕捉技术进行数据采集的手语会话场景进行待捕捉场景定义，然后把待捕捉场景切分为若干采集片段，确定每个采集片段内会话参与者的手语动作和身体动作以便同步采集；
A2、会话参与者穿戴惯性动作捕捉设备进行采集片段内的手语会话，数据采集器经惯性动作捕捉设备采集会话参与者在三维空间内的动作数据、经录音设备采集会话参与者的语音对话作为手语会话的语音参照数据；
A3、根据会话参与者的体征创建三维人物模型，体征包括身高和躯体比例，同时对三维人物模型进行骨骼绑定；
A4、在三维场景开发平台下，对各采集片段进行组合，并以采集片段的动作数据驱动三维人物模型进行手语会话，同时把手语会话与念白数据和语音参照数据进行组合，使被采集的手语会话场景移植复制为虚拟现实场景；
A5、手语学员通过虚拟现实头盔以360度视角来观看虚拟现实场景以学习手语，或通过显示屏观看虚拟现实场景进行学习，在观看时，手语学员能够屏蔽虚拟现实场景中的指定人物以使所观看的人物动作不受遮挡；
A6、有手语基础的手语学员能够作为手语会话场景的会话参与者来进行会话场景数据采集；在会话场景数据采集中或采集后，所述数据比对装置对参与会话场景的手语学员的手语动作进行评估并给出测试分数。
2.根据权利要求1所述的基于动作捕捉的虚拟现实手语学习、测试和评价方法，其特征在于：当会话场景为两人以上的会话场景时，采用虚拟人物建模工具生成场景数据中的虚拟人物。
3.根据权利要求1所述的基于动作捕捉的虚拟现实手语学习、测试和评价方法，其特征在于：所述绑定部位包括头部、躯干、四肢和手部。
4.根据权利要求1所述的基于动作捕捉的虚拟现实手语学习、测试和评价方法，其特征在于：所述惯性动作捕捉设备以无线通讯方式把采集数据上传至数据采集器；所述数据采集器与数据比对装置相连。
5.根据权利要求1所述的基于动作捕捉的虚拟现实手语学习、测试和评价方法，其特征在于：在步骤A6中，所述数据比对装置记录测试分数高于阈值的手语动作，并把与所记录手语动作对应的采集数据存储入专业手语动作数据库。
6.根据权利要求5所述的基于动作捕捉的虚拟现实手语学习、测试和评价方法，其特征在于：所述专业手语动作数据库用于手语动画开发、手语动作比对的数据源使用。
7.根据权利要求1所述的基于动作捕捉的虚拟现实手语学习、测试和评价方法，其特征在于：所述三维场景开发平台为Unity平台。
CN201910754955.9A 2019-08-15 2019-08-15 基于动作捕捉的虚拟现实手语学习、测试和评价方法 Active CN110413130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910754955.9A CN110413130B (zh) 2019-08-15 2019-08-15 基于动作捕捉的虚拟现实手语学习、测试和评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910754955.9A CN110413130B (zh) 2019-08-15 2019-08-15 基于动作捕捉的虚拟现实手语学习、测试和评价方法

Publications (2)

Publication Number Publication Date
CN110413130A CN110413130A (zh) 2019-11-05
CN110413130B true CN110413130B (zh) 2024-01-26

Family

ID=68367611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910754955.9A Active CN110413130B (zh) 2019-08-15 2019-08-15 基于动作捕捉的虚拟现实手语学习、测试和评价方法

Country Status (1)

Country Link
CN (1) CN110413130B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090000259A (ko) * 2007-02-09 2009-01-07 구자효 모션 캡쳐기능이 접목된 수화행위 검증장치
CN101527092A (zh) * 2009-04-08 2009-09-09 西安理工大学 特定会话场景下的计算机辅助手语交流方法
CN102663927A (zh) * 2012-05-14 2012-09-12 长春大学 基于视频与三维路径规划的中国手语标准化训练学习方法
CN106648116A (zh) * 2017-01-22 2017-05-10 隋文涛 一种基于动作捕捉的虚拟现实综合系统
CN106781797A (zh) * 2016-12-24 2017-05-31 深圳市虚拟现实技术有限公司 虚拟现实教学方法和头戴式虚拟现实设备
EP3200044A1 (en) * 2016-01-29 2017-08-02 Tata Consultancy Services Limited Virtual reality based interactive learning
WO2018098720A1 (zh) * 2016-11-30 2018-06-07 深圳益强信息科技有限公司 一种基于虚拟现实的数据处理方法及系统
CN109192007A (zh) * 2018-09-21 2019-01-11 杭州电子科技大学 一种基于肌电运动感知的ar手语识别方法及教学方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120113058A (ko) * 2011-04-04 2012-10-12 한국전자통신연구원 현실-가상 융합 공간 기반의 교육 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090000259A (ko) * 2007-02-09 2009-01-07 구자효 모션 캡쳐기능이 접목된 수화행위 검증장치
CN101527092A (zh) * 2009-04-08 2009-09-09 西安理工大学 特定会话场景下的计算机辅助手语交流方法
CN102663927A (zh) * 2012-05-14 2012-09-12 长春大学 基于视频与三维路径规划的中国手语标准化训练学习方法
EP3200044A1 (en) * 2016-01-29 2017-08-02 Tata Consultancy Services Limited Virtual reality based interactive learning
WO2018098720A1 (zh) * 2016-11-30 2018-06-07 深圳益强信息科技有限公司 一种基于虚拟现实的数据处理方法及系统
CN106781797A (zh) * 2016-12-24 2017-05-31 深圳市虚拟现实技术有限公司 虚拟现实教学方法和头戴式虚拟现实设备
CN106648116A (zh) * 2017-01-22 2017-05-10 隋文涛 一种基于动作捕捉的虚拟现实综合系统
CN109192007A (zh) * 2018-09-21 2019-01-11 杭州电子科技大学 一种基于肌电运动感知的ar手语识别方法及教学方法

Also Published As

Publication number Publication date
CN110413130A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
CN109101879B (zh) 一种vr虚拟课堂教学的姿态交互系统及实现方法
CN105976662A (zh) 一种基于三维模拟系统的历史教学系统
CN107895244A (zh) 课堂教学质量评估方法
CN106409030A (zh) 一种个性化外语口语学习系统
CN101751809B (zh) 基于三维头像的聋儿语言康复方法及系统
CN106710341A (zh) 一种教育培训管理系统
CN107025816A (zh) 一种英语交互式教与学系统
CN109614849A (zh) 基于生物识别的远程教学方法、装置、设备及存储介质
CN108648535A (zh) 一种基于vr移动端技术的教学系统及其运行方法
CN112908355B (zh) 一种师范生教学技能量化评价系统及其方法
CN106408480A (zh) 基于增强现实、语音识别的国学三维交互学习系统及方法
CN111833669B (zh) 一种中国书法用笔教学系统及教学方法
CN110444061B (zh) 物联网教学一体机
CN110580470A (zh) 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN116109455B (zh) 一种基于人工智能的语言教学辅助系统
CN112331001A (zh) 一种基于虚拟现实技术的教学系统
CN110379259B (zh) 基于动作捕捉的演员培训方法
CN106205237A (zh) 基于动作反应和绘画反应的第二母语的训练方法及装置
CN116957867A (zh) 一种数字人教师线上教学服务方法、电子设备及计算机可读存储介质
CN109754653A (zh) 一种个性化教学的方法及系统
Liu et al. An interactive speech training system with virtual reality articulation for Mandarin-speaking hearing impaired children
CN111477055A (zh) 基于虚拟现实技术的教师培训系统及方法
CN110413130B (zh) 基于动作捕捉的虚拟现实手语学习、测试和评价方法
CN111435268A (zh) 基于图像的识别与重建的人机交互方法和使用该方法的系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant