CN112099635A - 一种沉浸式环境下的手势交互评估模型 - Google Patents

一种沉浸式环境下的手势交互评估模型 Download PDF

Info

Publication number
CN112099635A
CN112099635A CN202010991677.1A CN202010991677A CN112099635A CN 112099635 A CN112099635 A CN 112099635A CN 202010991677 A CN202010991677 A CN 202010991677A CN 112099635 A CN112099635 A CN 112099635A
Authority
CN
China
Prior art keywords
task
data
interaction
acquiring
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010991677.1A
Other languages
English (en)
Inventor
吴亚东
刘明华
张巍瀚
王赋攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Sichuan University of Science and Engineering
Original Assignee
Southwest University of Science and Technology
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology, Sichuan University of Science and Engineering filed Critical Southwest University of Science and Technology
Priority to CN202010991677.1A priority Critical patent/CN112099635A/zh
Publication of CN112099635A publication Critical patent/CN112099635A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及评估模型方法相关领域，尤其为一种沉浸式环境下的手势交互评估模型，步骤如下；S10、沉浸式环境任务设计；S20、动作轨迹数据获取；S30、任务完成精准度数据获取；S40、任务完成时间数据获取；S50、评估权重的确立；本发明方法能够在保证评估系统效率的同时评估系统交互性；具体来说，评估模型所含评估指标有效覆盖了整个交互任务过程，相比于传统评估方法，保证了评估的全面性。同时，以任务完成精准度数据与任务完成时间数据为评估指标，可以直接反应沉浸式环境的设计情况，有效保证了对系统效率的评估，以动作轨迹数据作为评估指标，可以从生理层面评估使用人员的交互状态，而不受使用人员主观心理影响。

Description

一种沉浸式环境下的手势交互评估模型
技术领域
本发明涉及评估模型方法相关领域，尤其涉及一种沉浸式环境下的手势交互评估模型。
背景技术
评估作为人机交互中一个重要组成部分为系统的设计和测试提供了依据，并满足用户的需求；随着近年来沉浸式技术的逐步工业化，传统通过鼠标和键盘进行交互不再适用于沉浸式环境；由此，手势交互，身体动作交互、目光交互、声音交互等，以使用者为中心，通过人体自然信息进行交互方式应运而生；其中，由于以手势交互具有稳固、直观和灵活的特点，与沉浸式环境具有良好的适配性；然而在沉浸式环境下可使用的手势种类繁多，传统的评估软件的方法也难以评估沉浸式环境设计是否精确有效；通过建立新的评估模型，设计新的评估体系以保证能对沉浸式设备下软件的交互性和精确性进行评估显得尤为必要；
随着学科的发展以及评估中心的不同，沉浸式环境评估模型的建立方法主要分为两类：第一类是基于系统效率的评估模型，从沉浸式环境系统主要解决了什么问题出发，设计相对应的交互任务，进而从交互消耗时间、交互精准度等客观有效性方面对其做出有效评估；第二类是基于交互性的评估模型，主要面向沉浸式环境系统的可用性；基于交互性的评估模型将使用人员的感受加入到评估之中，通过用户模型法、启发式评估、认知性遍历、用户测试和用户调查法等测试方法，设计相应的评价标准，从交互人员的主观感受或设计经验出发，对系统的可学习性、灵活性、鲁棒性等特点作出有效评估；
综上，传统评估模型的建立方法缺陷在于：其一，由于基于系统效率的评估模型关注于人机交互系统本身，不考虑使用人员的交互状态，使得评估结果难以满足使用人员的交互需求；其二，基于交互性的评估模型关注于使用人员心理状态，易受使用人员主观心里变化影响，且难以观测交互过程中人体交互状态变化；也同时由于其面向系统的可用性，只能帮助设计人员对系统的交互设计进行调整而不能启发设计人员对系统进行迭代，评估模型的可用范围有所限制且难以调整。
发明内容
本发明的目的在于提供一种沉浸式环境下的手势交互评估模型，以解决上述背景技术中提出的传统评估模型的建立方法缺陷在于：其一，由于基于系统效率的评估模型关注于人机交互系统本身，不考虑使用人员的交互状态，使得评估结果难以满足使用人员的交互需求；其二，基于交互性的评估模型关注于使用人员心理状态，易受使用人员主观心里变化影响，且难以观测交互过程中人体交互状态变化；也同时由于其面向系统的可用性，只能帮助设计人员对系统的交互设计进行调整而不能启发设计人员对系统进行迭代，评估模型的可用范围有所限制且难以调整的问题。
为了实现以上目的，本发明采用的技术方案为：一种沉浸式环境下的手势交互评估模型，步骤如下；
S10、沉浸式环境任务设计；S20、动作轨迹数据获取；S30、任务完成精准度数据获取；S40、任务完成时间数据获取；S50、评估权重的确立，其中，
所述S10、沉浸式环境任务设计：根据沉浸式环境的建立目的，设计对应的手势交互任务；
所述S20、动作轨迹数据获取：利用已设计的手势交互任务，打开手势传感器，捕获手势关节点时序数据，将该数据上传到服务器，计算交互时序数据的平均向量夹角；
所述S30、任务完成精准度数据获取：利用已设计的手势交互任务，计算完成任务时，目标完成位置与参考任务完成位置的参考距离，获得交互任务的精准度数据；
所述S40、任务完成时间数据获取：利用已设计的手势交互任务，计算开始任务至达成任务目标所花费的时间，获得交互任务的任务完成时间数据；
所述S50、评估权重的确立：采用熵值法计算多次任务中获取的动作轨迹的平均向量夹角、任务完成精准度、任务完成时间三部分数据各自的权重，通过权重计算单次任务中三项数据的权值，计算单次任务中三项数据的权值的平均值，获得单次交互任务的平均得分。
进一步的，所述S20、动作轨迹数据获取包括以下步骤：S201、定义单次任务中有n个时序点，坐标分别为(a0，b0，c0)，(a1，b1，c1)...(an，bn，cn)；
S202、计算相邻时序点所形成的相邻空间向量坐标
Figure BSA0000219971860000031
计算公式为：
Figure BSA0000219971860000032
S203、计算相邻空间向量的夹角θm，计算公式为：
Figure BSA0000219971860000033
S204、计算次交互形成的空间时序轨迹的平均向量夹角S，计算公式为：
Figure BSA0000219971860000034
进一步的，所述S30、任务完成精准度数据获取包括以下步骤：S301、根据交互任务定义参考任务完成位置；S302、丛参考任务完成位置出发，建立球形交互任务完成区域，根据球形半径将其均分为N个子空间；S303、交互任务完成时，计算目标完成位置与参考任务完成位置的欧式距离，根据其所处的任务子空间记录其参考距离。
本发明的有益效果为：本发明方法能够在保证评估系统效率的同时评估系统交互性；具体来说，评估模型所含评估指标有效覆盖了整个交互任务过程，相比于传统评估方法，保证了评估的全面性；同时，以任务完成精准度数据与任务完成时间数据为评估指标，可以直接反应沉浸式环境的设计情况，有效保证了对系统效率的评估；以动作轨迹数据作为评估指标，可以从生理层面评估使用人员的交互状态，而不受使用人员主观心里影响；同时，利用球形空间计算参考距离也能有效防止手部生理震颤现象所导致的数据误差的出现，有效保证了评估系统的交互性；同时，采用本发明模型具有良好的适应性，通过调整和归纳，可以将有效范围向非沉浸式、自由姿态和身体交互为方向进行扩展。
附图说明
图1为本发明一种沉浸式环境下的手势交互评估模型流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种沉浸式环境下的手势交互评估模型，其特征在于：步骤如下；
S10、沉浸式环境任务设计；S20、动作轨迹数据获取；S30、任务完成精准度数据获取；S40、任务完成时间数据获取；S50、评估权重的确立，其中，
所述S10、沉浸式环境任务设计包括根据沉浸式环境的建立目的，设计对应的手势交互任务，所述S20、动作轨迹数据获取包括利用已设计的手势交互任务，打开手势传感器，捕获手势关节点时序数据，将该数据上传到服务器，计算交互时序数据的平均向量夹角，所述S30、任务完成精准度数据获取包括利用已设计的手势交互任务，计算完成任务时，目标完成位置与参考任务完成位置的参考距离，获得交互任务的精准度数据，所述S40、任务完成时间数据获取包括利用已设计的手势交互任务，计算开始任务至达成任务目标所花费的时间，获得交互任务的任务完成时间数据，所述S50、评估权重的确立包括采用熵值法计算多次任务中获取的动作轨迹的平均向量夹角、任务完成精准度、任务完成时间三部分数据各自的权重，通过权重计算单次任务中三项数据的权值，计算单次任务中三项数据的权值的平均值，获得单次交互任务的平均得分。
优选的，所述S20、动作轨迹数据获取包括以下步骤：S201、定义单次任务中有n个时序点，坐标分别为(a0，b0，c0)，(a1，b1，c1)...(an，bn，cn)；
S202、计算相邻时序点所形成的相邻空间向量坐标
Figure BSA0000219971860000051
计算公式为：
Figure BSA0000219971860000052
S203、计算相邻空间向量的夹角θm，计算公式为：
Figure BSA0000219971860000053
S204、计算次交互形成的空间时序轨迹的平均向量夹角S，计算公式为：
Figure BSA0000219971860000061
优选的，所述S30、任务完成精准度数据获取包括以下步骤：S301、根据交互任务定义参考任务完成位置；S302、丛参考任务完成位置出发，建立球形交互任务完成区域，根据球形半径将其均分为N个子空间；S303、交互任务完成时，计算目标完成位置与参考任务完成位置的欧式距离，根据其所处的任务子空间记录其参考距离。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。

Claims (3)

1.一种沉浸式环境下的手势交互评估模型，其特征在于：步骤如下；
S10、沉浸式环境任务设计；S20、动作轨迹数据获取；S30、任务完成精准度数据获取；S40、任务完成时间数据获取；S50、评估权重的确立，其中，
所述S10、沉浸式环境任务设计包括根据沉浸式环境的建立目的，设计对应的手势交互任务，所述S20、动作轨迹数据获取包括利用已设计的手势交互任务，打开手势传感器，捕获手势关节点时序数据，将该数据上传到服务器，计算交互时序数据的平均向量夹角，所述S30、任务完成精准度数据获取包括利用已设计的手势交互任务，计算完成任务时，目标完成位置与参考任务完成位置的参考距离，获得交互任务的精准度数据，所述S40、任务完成时间数据获取包括利用已设计的手势交互任务，计算开始任务至达成任务目标所花费的时间，获得交互任务的任务完成时间数据，所述S50、评估权重的确立包括采用熵值法计算多次任务中获取的动作轨迹的平均向量夹角、任务完成精准度、任务完成时间三部分数据各自的权重，通过权重计算单次任务中三项数据的权值，计算单次任务中三项数据的权值的平均值，获得单次交互任务的平均得分。
2.根据权利要求1所述的方法，其特征在于：所述S20、动作轨迹数据获取包括以下步骤：S201、定义单次任务中有n个时序点，坐标分别为(a0，b0，c0)，(a1，b1，c1)...(an，bn，cn)；
S202、计算相邻时序点所形成的相邻空间向量坐标
Figure FSA0000219971850000011
计算公式为：
Figure FSA0000219971850000012
S203、计算相邻空间向量的夹角θm，计算公式为：
Figure FSA0000219971850000021
S204、计算次交互形成的空间时序轨迹的平均向量夹角S，计算公式为：
Figure FSA0000219971850000022
3.根据权利要求1所述的方法，其特征在于：所述S30、任务完成精准度数据获取包括以下步骤：S301、根据交互任务定义参考任务完成位置；S302、丛参考任务完成位置出发，建立球形交互任务完成区域，根据球形半径将其均分为N个子空间；S303、交互任务完成时，计算目标完成位置与参考任务完成位置的欧式距离，根据其所处的任务子空间记录其参考距离。
CN202010991677.1A 2020-09-18 2020-09-18 一种沉浸式环境下的手势交互评估模型 Pending CN112099635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010991677.1A CN112099635A (zh) 2020-09-18 2020-09-18 一种沉浸式环境下的手势交互评估模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010991677.1A CN112099635A (zh) 2020-09-18 2020-09-18 一种沉浸式环境下的手势交互评估模型

Publications (1)

Publication Number Publication Date
CN112099635A true CN112099635A (zh) 2020-12-18

Family

ID=73760091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010991677.1A Pending CN112099635A (zh) 2020-09-18 2020-09-18 一种沉浸式环境下的手势交互评估模型

Country Status (1)

Country Link
CN (1) CN112099635A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115907444A (zh) * 2022-11-23 2023-04-04 中国航空综合技术研究所 面向基于多通道人机交互技术的驾驶舱任务流程评估方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744645B1 (en) * 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system
CN107357427A (zh) * 2017-07-03 2017-11-17 南京江南博睿高新技术研究院有限公司 一种用于虚拟现实设备的手势识别控制方法
CN109960766A (zh) * 2019-01-07 2019-07-02 西南科技大学 沉浸式环境下针对网络结构数据的可视化呈现和交互方法
CN109960403A (zh) * 2019-01-07 2019-07-02 西南科技大学 沉浸式环境下针对医学图像的可视化呈现和交互方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744645B1 (en) * 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system
CN107357427A (zh) * 2017-07-03 2017-11-17 南京江南博睿高新技术研究院有限公司 一种用于虚拟现实设备的手势识别控制方法
CN109960766A (zh) * 2019-01-07 2019-07-02 西南科技大学 沉浸式环境下针对网络结构数据的可视化呈现和交互方法
CN109960403A (zh) * 2019-01-07 2019-07-02 西南科技大学 沉浸式环境下针对医学图像的可视化呈现和交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张巍瀚: "沉浸式环境中手势交互设计评估方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115907444A (zh) * 2022-11-23 2023-04-04 中国航空综合技术研究所 面向基于多通道人机交互技术的驾驶舱任务流程评估方法
CN115907444B (zh) * 2022-11-23 2023-12-05 中国航空综合技术研究所 面向基于多通道人机交互技术的驾驶舱任务流程评估方法

Similar Documents

Publication Publication Date Title
KR102097190B1 (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
CN105431813B (zh) 基于生物计量身份归属用户动作
Wang et al. Hear sign language: A real-time end-to-end sign language recognition system
EP3067883B1 (en) Electronic device, method for recognizing playing of string instrument in electronic device, and method for providing feedback on playing of string instrument in electronic device
US20140009378A1 (en) User Profile Based Gesture Recognition
US20200393911A1 (en) Gesture movement recognition method, apparatus, and device
Garg MCDM-based parametric selection of cloud deployment models for an academic organization
CN102915112A (zh) 用于近距离动作跟踪的系统和方法
US20140243093A1 (en) Method and apparatus for monitoring and calibrating performances of gamers
JP2011170856A (ja) 複数の検出ストリームを用いたモーション認識用システム及び方法
JPWO2017047182A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2018171196A1 (zh) 一种控制方法、终端及系统
Bakhtiyari et al. Hybrid affective computing—keyboard, mouse and touch screen: from review to experiment
WO2011092549A1 (en) Method and apparatus for assigning a feature class value
Chen et al. A low latency on-body typing system through single vibration sensor
CN112099635A (zh) 一种沉浸式环境下的手势交互评估模型
CN113262459A (zh) 应用于运动健身镜的动作标准性的判定方法，装置和介质
Wang et al. Multi-Kinects fusion for full-body tracking in virtual reality-aided assembly simulation
Harezlak et al. The eye tracking methods in user interfaces assessment
CN115023732A (zh) 信息处理装置、信息处理方法和信息处理程序
Qian Simulation Training of E‐Sports Players Based on Wireless Sensor Network
JP2011170857A (ja) 最小のディレイでモーション認識を行うシステム及び方法
Sarvadevabhatla et al. Pictionary-style word guessing on hand-drawn object sketches: Dataset, analysis and deep network models
Fukui et al. Hand-shape classification with a wrist contour sensor: Analyses of feature types, resemblance between subjects, and data variation with pronation angle
Fu et al. Application of spatial digital information fusion technology in information processing of national traditional sports

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201218

RJ01 Rejection of invention patent application after publication