CN112181132B - 虚拟环境中基于射线交互任务的模型评估方法及系统 - Google Patents
虚拟环境中基于射线交互任务的模型评估方法及系统 Download PDFInfo
- Publication number
- CN112181132B CN112181132B CN202010857330.8A CN202010857330A CN112181132B CN 112181132 B CN112181132 B CN 112181132B CN 202010857330 A CN202010857330 A CN 202010857330A CN 112181132 B CN112181132 B CN 112181132B
- Authority
- CN
- China
- Prior art keywords
- action
- time
- interaction
- task
- thinking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 202
- 238000011156 evaluation Methods 0.000 title claims abstract description 23
- 230000009471 action Effects 0.000 claims abstract description 300
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims description 60
- 238000012790 confirmation Methods 0.000 claims description 49
- 230000033001 locomotion Effects 0.000 claims description 46
- 230000008447 perception Effects 0.000 claims description 41
- FAIXYKHYOGVFKA-UHFFFAOYSA-N Kinetin Natural products N=1C=NC=2N=CNC=2C=1N(C)C1=CC=CO1 FAIXYKHYOGVFKA-UHFFFAOYSA-N 0.000 claims description 10
- QANMHLXAZMSUEX-UHFFFAOYSA-N kinetin Chemical compound N=1C=NC=2N=CNC=2C=1NCC1=CC=CO1 QANMHLXAZMSUEX-UHFFFAOYSA-N 0.000 claims description 10
- 229960001669 kinetin Drugs 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- LVRVABPNVHYXRT-BQWXUCBYSA-N 52906-92-0 Chemical compound C([C@H](N)C(=O)N[C@H](C(=O)N1CCC[C@H]1C(=O)N[C@@H]([C@@H](C)CC)C(=O)N[C@@H](CC=1C=CC=CC=1)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC=1C=CC(O)=CC=1)C(=O)NCC(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CCCCN)C(=O)NCC(=O)N[C@@H](CCC(N)=O)C(O)=O)C(C)C)C1=CC=CC=C1 LVRVABPNVHYXRT-BQWXUCBYSA-N 0.000 claims description 2
- 102000002419 Motilin Human genes 0.000 claims description 2
- 101800002372 Motilin Proteins 0.000 claims description 2
- 230000035484 reaction time Effects 0.000 claims 2
- 238000011158 quantitative evaluation Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- 230000019771 cognition Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种虚拟环境中基于射线交互任务的模型评估方法及系统，涉及交互任务模型评估技术领域，解决了现有虚拟人机交互中射线交互任务不能进行量化评估的技术问题，其技术方案要点是首先对用户交互任务进行分析得到用户交互行为，再对用户交互行为进行研究确定用户基本动素。为用户基本动素配置交互规则，同时分析测算用户基本动素的交互时间以及系统动作时间，根据交互时间、交互规则和系统动作时间预估完成用户交互任务的总时间，最后根据总时间对交互任务进行评估。使得基于射线的交互任务实现了量化评估，从而帮助相关从业人员更科学地设计基于射线的交互模型，为在虚拟环境下进行射线交互任务的人员提供更流畅舒适的交互体验。
Description
技术领域
本公开涉及交互任务模型评估技术领域，尤其涉及一种虚拟环境中基于射线交互任务的模型评估方法及系统。
背景技术
近些年来，随着虚拟现实、增强现实、混合现实等技术的出现和发展，人们对人机交互的研究逐渐从对传统的二维人机交互系统的研究拓展到了对三维虚拟人机交互系统的研究上，在虚拟人机交互系统中，交互的数据，交互的方式都在发生新的变革，虚拟人机交互系统的交互场景为有空间维度的三维场景，三维场景中的交互关系更复杂，交互的输入输出方式更多样，涉及人的视觉、听觉、触觉等多个感官通道。
射线交互是一种虚拟人机交互系统中常见的实现精确的虚拟物品或者控件选择和操控的交互方式，基于射线交互的虚拟人机交互系统主要由用户、硬件、软件及数据库构成，如图1所示。虚拟人机交互系统中用户的交互方式主要分为两种：不依靠介质的交互和依靠介质的交互，其中，不依靠介质的交互主要利用以光学跟踪技术为主的深度相机来实现，如图2中(a)所示；依靠介质的交互常利用基于按钮、震动等触觉反馈的控制器、基于各种传感器的数据手套等来实现，如图2中(b)所示。而虚拟人机交互中的射线交互可分为“依靠介质的射线交互”和“不依靠介质的射线交互”，前者主要利用可提供触觉反馈的控制器来完成交互，后者主要利用特定的手势触发射线来完成交互。
与一般的手势体感交互不同，射线交互的交互范围更远更宽，不仅包括近距离交互也包括远距离交互。用户通常可通过触摸、按压等手势动作就可实现近距离操作，而远距离操作不在人体的生理阈限内，却又需要对远距离目标进行精确瞄准捕捉，在这种情况下，特别是需要依靠瞄准触发动作时，让手指或整只手悬空瞄准某个方位很难精准，由此看来，射线交互是一种更有潜力的交互方式。虚拟人机交互系统中的射线交互类似于现实世界中使用激光指示器的指向，用户将射线指向目标，并通过动作姿势、语言命令或单击按钮确认选择。
目前，在有关二维人机交互系统的评估方法研究领域，已经产生了以键盘鼠标输入为主的基于GMOS(Goals Operations Methods Selection rules，目标、操作、方法及选择规则)模型的定量评估方法，而随着基于虚拟现实、增强现实、混合现实等各种技术的发展，关于人机交互的研究意义已经不仅仅体现在传统的基于键盘鼠标输入的二维人机界面环境，在关于虚拟人机交互系统中的基于控制器或手势发出的射线输入的三维场景交互过程中也有着广泛的研究价值。在虚拟人机交互系统中，用户的操作界面由二维平面转移到了三维空间，虽然虚拟的三维交互场景可以带给人交互以真实感和沉浸感，但在虚拟人机交互系统下人的交互比在二维界面环境下人的交互更具复杂性，人在虚拟人机交互系统中的一系列用户交互行为通常很难量化，现有对虚拟人机交互系统中人机交互评估方法的研究仍处于初级阶段，目前还未构建有虚拟人机交互系统中基于射线交互操作的交互范式，未有成熟的虚拟人机交互系统交互评估框架。
发明内容
本公开提供了一种虚拟环境中基于射线交互任务的模型评估方法及系统，其技术目的是实现对虚拟人机交互中射线交互任务的量化评估。
本公开的上述技术目的是通过以下技术方案得以实现的：
一种虚拟环境中基于射线交互任务的模型评估方法，包括：
对用户交互任务进行分析，得到用户交互行为；
对所述用户交互行为进行分析获取用户基本动素；
为所述用户基本动素配置交互规则；
获取所述用户基本动素的交互时间以及系统动作时间；
根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，根据所述总时间对所述用户交互任务进行评估；
其中，所述用户基本动素包括感知动作和手部动作，所述感知动作包括任务思考动作和感知反应动作，所述手部动作包括移入动作、指向动作、归位动作、确认动作和取消确认动作，对应有所述用户基本动素的所述交互时间包括任务思考动作时间、感知反应动作时间、移入动作时间、指向动作时间、归位动作时间、确认动作时间和取消确认动作时间；所述系统动作时间包括系统运算时间和系统系统反馈时间。
进一步地，所述交互规则包括：
第一规则，在所述移入动作、所述归位动作、所述指向动作和所述确认动作之前都依次插入所述任务思考动作和所述感知反应动作；
第二规则，在所述确认动作和所述取消确认动作后都插入所述感知反应动作；
第三规则，若用户的前一个手部动作能完全预期后一个手部动作，则删除该相邻手部动作之间的任务思考动作及其之后的感知反应动作；
第四规则，所述确认动作和所述取消确认动作执行后，等待系统动作，所述系统动作包括系统运算和系统反馈。
进一步地，所述交互规则还包括第五规则，所述第五规则包括：
所述系统反馈与所述任务思考动作存在重叠部分，若系统反馈时间小于所述任务思考动作时间，则忽略所述系统反馈时间，否则忽略所述任务思考动作时间；
所述系统反馈与所述感知反应动作存在重叠部分，若系统反馈时间小于于所述感知反应动作时间，则忽略所述系统反馈时间，否则忽略所述感知反应动作时间；
所述系统反馈与依次的所述任务思考动作及所述感知反应动作存在重叠部分，若系统反馈时间小于所述任务思考动作时间与所述感知反应动作时间之和，则忽略所述系统反馈时间，否则忽略所述任务思考动作时间和所述感知反应动作时间。
进一步地，所述任务思考时间为1.2s、感知反应时间为0.24s、移入动作时间为0.5s、归位动作时间为0.5s、指向动作时间为(a+b×[log2(B/W3+1)]2)s、确认动作时间为0.3s、系统运算时间为0.1s、系统反馈时间为0.1s，其中a＝1.091，b＝0.028，W表示视角角度，B表示手臂运动角度。
一种虚拟环境中基于射线交互任务的模型评估系统，包括：
分析模块，对用户交互任务进行分析，得到用户交互行为；
分解模块，对所述用户交互行为进行分析获取用户基本动素；
配置模块，为所述用户基本动素配置交互规则；
获取模块，获取所述用户基本动素的交互时间以及系统动作时间；
评估模块，根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，根据所述总时间对所述用户交互任务进行评估；
其中，所述用户基本动素包括感知动作和手部动作，所述感知动作包括任务思考动作和感知反应动作，所述手部动作包括移入动作、指向动作、归位动作、确认动作和取消确认动作，对应有所述用户基本动素的所述交互时间包括任务思考动作时间、感知反应动作时间、移入动作时间、指向动作时间、归位动作时间、确认动作时间和取消确认动作时间；所述系统动作时间包括系统运算时间和系统系统反馈时间。
进一步地，所述配置模块包括：
第一配置单元，配置第一规则，所述第一规则包括：在所述移入动作、所述归位动作、所述指向动作和所述确认动作之前都依次插入所述任务思考动作和所述感知反应动作；
第二配置单元，配置第二规则，所述第二规则包括：在所述确认动作和所述取消确认动作后插入所述感知反应动作；
第三配置单元，配置第三规则，所述第三规则包括：若用户的前一个手部动作能完全预期后一个手部动作，则删除该相邻手部动作之间的任务思考动作及其之后的感知反应动作；
第四配置单元，配置第四规则，所述第四规则包括：所述确认动作和所述取消确认动作执行后，等待系统动作，所述系统动作包括系统运算和系统反馈。
进一步地，所述配置模块还包括第五配置单元，所述第五配置单元配置第五规则，所述第五规则包括：
所述系统反馈与所述任务思考动作存在重叠部分，若系统反馈时间小于所述任务思考动作时间，则忽略所述系统反馈时间，否则忽略所述任务思考动作时间；
所述系统反馈与所述感知反应动作存在重叠部分，若系统反馈时间小于于所述感知反应动作时间，则忽略所述系统反馈时间，否则忽略所述感知反应动作时间；
所述系统反馈与依次的所述任务思考动作及所述感知反应动作都存在重叠部分，若所述系统反馈时间小于所述任务思考动作时间与所述感知反应动作时间之和，则忽略所述系统反馈时间，否则忽略所述任务思考动作时间和所述感知反应动作时间。
本公开的有益效果在于：本公开所述的虚拟环境中基于射线交互任务的模型评估方法及系统，首先对用户交互任务进行分析，得到用户交互行为，再对所述用户交互行为进行分析获取用户基本动素。为所述用户基本动素配置交互规则，同时获取所述用户基本动素的交互时间以及系统动作时间，根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，最后根据所述总时间对所述用户交互任务进行评估。该方法及系统使得对基于射线交互任务的模型实现了量化评估，对虚拟环境下的用户交互任务能够进行科学的分析，并能对用户交互行为进行建模，以预测虚拟人机交互系统的性能，从而帮助相关从业人员更科学地设计基于射线的交互模型，优化人在基于射线交互过程中的交互效率，为在虚拟环境下进行射线交互任务的人员提供更流畅舒适的交互体验，并能优化虚拟人机交互的流程。
附图说明
图1为基于射线交互的虚拟人机交互系统示意图；
图2为不依靠介质和依靠介质的射线交互示意图；
图3为本公开方法流程图；
图4为本公开系统示意图；
图5为基于射线交互任务的处理流程图；
图6为基于射线交互任务的实例示意图；
图7为本公开实施例一示意图；
图8为本公开实施例二示意图。
具体实施方式
下面将结合附图对本公开技术方案进行详细说明。在本公开的描述中，需要理解地是，术语“第一”、“第二”、“第三”、“第四”、“第五”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，仅用来区分不同的组成部分。
图3为本公开方法的流程图，如图3所示，首先对交互模型下的用户交互任务进行分析得到用户交互行为。
基于射线的交互可分为不依靠介质的射线交互和依靠介质的射线交互，在不依靠介质的射线交互过程中，虚拟人机交互系统的用户输入主要依靠手势跟踪器追踪用户手的位置、姿态及动作等，用户依靠手势追踪器进行基于射线交互任务的处理流程图如图5所示。在开始任务之前，默认用户的虚拟人机交互设备配备完毕，用户开始执行基于射线的交互任务，系统首先显示虚拟人机交互系统中的目标对象A，用户看到虚拟人机交互系统中的目标对象A，接着进行认知阶段的思考，思考完成后，开始视觉搜索目标对象A中的虚拟目标控件A-a，搜索完成后，开始将手移动到系统的可识别区域，当进入系统可识别区域后，用户做出特定手势激活射线投射，用户开始将激活出现的射线投射向虚拟目标控件A-a。与此同时，当射线投射被激活出现在系统的可识别区域后，系统即开始跟踪射线末端的空间坐标，并将其归为集合A＝{(x,y,z)|x∈R,y∈R,z∈R}中，R为三维空间的坐标范围，且R∈(-∞，+∞)。当用户做出确认手势，确认选择虚拟目标控件A-a时，系统同时得到虚拟目标控件的宽度W,以及到虚拟目标控件的距离D,通过费茨定律共同得到用户的运动时间(其中a,b为常数，可通过行为学实验测得)，当系统检测到输入射线末端的空间坐标集合A＝{(x,y,z)|x∈R,y∈R,z∈R}与虚拟目标控件空间坐标集合B＝{(x,y,z)|x∈R,y∈R,z∈R}发生交集时，即做出系统反馈，然后用户再进行下一阶段的交互。
在依靠介质的射线交互过程中，虚拟人机交互系统的用户输入主要依靠控制器，控制器可提供用户手的定位和定向，使得系统可以清晰捕捉到用户手握控制器的位置、方向等，控制器通常还会提供几个按键帮助用户进行操作，最主要的按键为可通过单击进行确认选择等操作、按住不动进行拖拽等操作的按键，用户依靠控制器进行基于射线交互任务的处理流程如图5。在开始任务之前，默认用户的虚拟人机交互设备配备完毕，用户开始执行基于射线的交互任务，系统首先显示虚拟人机交互系统中的目标对象A，用户看到虚拟人机交互系统中的目标对象A，接着进行认知阶段的思考，思考完成后，开始视觉搜索目标对象A中的虚拟目标控件A-a，搜索完成后，手握手柄开始移动到系统的可识别区域，当进入系统可识别区域后，控制器射线投射被激活，用户开始手握手柄将出现的射线投射向虚拟目标控件A-a。与此同时，当射线投射被激活出现在系统的可识别区域后，系统即开始跟踪射线末端的空间坐标，并将其归为集合A＝{(x,y,z)|x∈R,y∈R,z∈R}中，当用户点击控制器的按钮，确认选择虚拟目标控件A-a时，系统同时得到虚拟目标控件的宽度W,以及到虚拟目标控件的距离D,通过费茨定律共同得到用户的运动时间(其中a,b为常数，可通过行为学实验测得)，当系统检测到输入射线末端的空间坐标集合A＝{(x,y,z)|x∈R,y∈R,z∈R}与虚拟目标控件空间坐标集合B＝{(x,y,z)|x∈R,y∈R,z∈R}发生交集时，即做出系统反馈，然后用户再进行下一阶段的交互。
对上述用户交互行为进行分解后得到用户基本动素和系统动作，上述过程的用户基本动素包括感知动作和手部动作，感知动作则又包括任务思考动作和感知反应动作，手部动作则包括移入动作、指向动作、归位动作、确认动作和取消确认动作，对用户执行完成任务的每个用户基本动素进行分析并记录；系统动作则包括系统运算和系统反馈。然后为用户基本动素配置交互规则，再获取用户基本动素的交互时间以及系统动作时间，最后根据交互时间、交互规则和系统动作时间预估完成用户交互任务的总时间，再根据总时间对交互任务的模型进行评估。
本发明可运用CPM-GOMS建模技术，C即Cognition认知阶段，P即Perception感知阶段，M即Motor运动阶段，将用户完成交互任务过程中的系统动作时间，运动阶段、认知阶段以及感知阶段的用户基本动素都分类按顺序记录。在本申请中，感知阶段和认知阶段对应有任务思考动作时间和感知反应动作时间，运动阶段则包括移入动作时间、指向动作时间、归位动作时间和确认动作时间。
用户基本动素包括任务思考动作、感知反应动作、移入动作、指向动作、归位动作和确认动作，对应有用户基本动素的交互时间包括任务思考动作时间、感知反应动作时间、移入动作时间、指向动作时间、归位动作时间、确认动作时间和取消确认动作时间，另外，系统动作时间包括系统运算时间和系统反馈时间，具体动作对应的时间如表1所示：
表1
用A表示任务思考动作、E表示感知反应动作、I表示移入动作、P表示指向动作、H表示归位动作、O表示确认动作、C表示取消确认动作；R表示系统动作，R1表示系统运算，R2表示系统反馈。图6为基于射线交互任务的实例示意图，任务目标为用户通过手指射线指向并点击目标交互对象1中的虚拟目标空间1-1来进入下一个目标交互对象2，而后通过指向并点击目标交互对象2中的虚拟目标空间2-9完成操作；其中，拇指和食指同时伸展时可以使用食指指向，当指向目标按钮时，弯曲拇指表示确认。图6中，(a)和(b)为目标交互对象1，(c)和(d)为目标交互对象2。则图6所示的基于射线的用户交互任务实例的量化分解如表2所示：
| 用户交互任务操作流程分解 | 模型动作分解 |
| (1)将手从初始位置以自然状态移入手势触发区 | I |
| (2)指向目标对象1中的目标虚拟控件按钮1-1 | IP |
| (3)拇指弯曲确认选择目标1-1 | IPO |
| (4)拇指返回自然状态取消确认选择目标1-2 | IPOC |
| (5)指向目标对象2中的目标虚拟控件按钮2-9 | IPOCP |
| (6)拇指弯曲确认选择目标2-9 | IPOCPO |
| (7)拇指返回自然状态取消确认选择目标2-9 | IPOCPOC |
| (8)将手从触发区移出恢复到自然状态 | IP0CP0CH |
表2
根据预先为用户基本动素配置的交互规则，并获取用户基本动素的交互时间以及系统动作时间，根据交互时间、交互规则和系统动作时间预估完成用户交互任务的总时间，根据总时间对交互模型进行评估。
交互规则包括第一规则、第二规则、第三规则、第四规则和第五规则，第一规则包括“在移入动作、归位动作、指向动作和确认动作之前都依次插入任务思考动作和感知反应动作”；第二规则包括“在确认动作和取消确认动作后都插入感知反应动作”；第三规则包括“若用户的前一个手部动作能完全预期后一个手部动作，则删除该相邻手部动作之间的任务思考动作及其之后的感知反应动作”；第四规则包括“确认动作和取消确认动作执行后，等待系统动作，系统动作包括系统运算和系统反馈”；第五规则包括“(1)系统反馈与任务思考动作存在重叠部分，若系统反馈时间小于任务思考动作时间，则忽略系统反馈时间，否则忽略任务思考动作时间；(2)系统反馈与感知反应动作存在重叠部分，若系统反馈时间小于于感知反应动作时间，则忽略系统反馈时间，否则忽略感知反应动作时间；(3)系统反馈与依次的任务思考动作及感知反应动作都存在重叠部分，若系统反馈时间小于任务思考动作时间与感知反应动作时间之和，则忽略系统反馈时间，否则忽略任务思考动作时间和感知反应动作时间。”。
根据第一规则，包括任务思考动作A和感知反应动作E的初始插入，则表2中第(7)个流程对应的模型动作为AEIAEPAE0CAEPAE0CAEH；再根据第二规则有AEIAEPAE0ECEAEPAE0ECEAEH。
第三规则为任务思考动作A和感知反应动作E的删除，移入动作I可以预期指向动作P，指向动作P可以预期确认动作O，取消确认动作C可以预期归位动作H，则表2中第(7)个流程对应的模型动作为AEIP0ECEAEP0ECEH。
第四规则为系统动作R的插入，可得到AEIP0R1R2ECR1R2EAEP0R1R2ECR1R2EH。
第五规则为系统反馈R2与任务思考动作A和/或感知反应动作E之间的重叠，上述模型动作中的系统反馈R2与感知反应动作E存在重叠，则若系统反馈时间小于感知反应动作时间，则忽略系统反馈时间，得到表2中第(7)个流程对应的模型动作为AEIP0R1ECR1EAEP0R1ECR1EH。反之，如果系统反馈时间大于感知反应动作时间，则忽略感知反应动作时间，得到表2中第(7)个流程对应的模型动作为AEIP0R1R2CR1R2AEP0R1R2CR1R2H。
本申请实施例中，系统反馈时间小于感知反应动作时间，因此，将所有的动作时间累积，根据表1的动作时间值进行计算，得到总时间:T＝A+E+I+P+O+R1+E+C+R1+E+A+E+P+O+R1+E+C+R1+E+H＝1.2s+0.24s+0.5s+(a+b×[log2(B1/W3+1)]2s+0.3s+0.1s+0.24s+0.3s+0.1s+0.24s+1.2s+0.24s+(a+b×[log2(B2/W3+1)]2s+0.3s+0.1s+0.24s+0.3s+0.1s+0.24s+0.5s＝8.62s，其中a＝1.091，b＝0.028，W＝5.72°，B1＝7.52°,B2＝15.04°，B1，B2都表示手臂运动角度，为同一个参数，在不同任务中取值不同。由此可知，对表2所述的用户交互任务使用本公开所述的方法进行评估，得到执行该用户交互任务的预测总时间为8.62s，而熟练用户实际操作表2所示的用户交互任务所用的时间平均值为8.65s，与预测的总时间非常接近，确保了通过本申请对虚拟环境中基于手指点击的交互模型进行评估的准确性。
图4为本公开系统示意图，该系统包括分析模块、分解模块、配置模块、获取模块和评估模块，配置模块又包括第一配置单元、第二配置单元、第三配置单元、第四配置单元和第五配置单元。图4中(a)、(b)、(c)为该评估系统的三种不同组成方式，分解模块对用户交互行为进行分解后得到用户基本动素，然后配置模块和获取模块的工作可以同时进行，或配置模块完成配置后获取模块再进行获取，或获取模块获取完成后配置模块再进行配置，不影响对整体模型的评估。
图7为本公开实施例一流程图，在对用户交互行为进行分解得到用户基本动素后，先获取用户基本动素的交互时间以及系统动作时间，再为用户基本动素配置交互规则。图8为本公开实施例二流程图，对用户交互行为进行分解得到用户基本动素后，获取交互时间及系统动作时间与配置交互规则同时进行。
以上为本公开示范性实施例，本公开的保护范围由权利要求书及其等效物限定。
Claims (6)
1.一种虚拟环境中基于射线交互任务的模型评估方法，其特征在于，包括：
对用户交互任务进行分析，得到用户交互行为；
对所述用户交互行为进行分析获取用户基本动素；
为所述用户基本动素配置交互规则；
获取所述用户基本动素的交互时间以及系统动作时间；
根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，根据所述总时间对所述用户交互任务进行评估；
其中，所述用户基本动素包括感知动作和手部动作，所述感知动作包括任务思考动作和感知反应动作，所述手部动作包括移入动作、指向动作、归位动作、确认动作和取消确认动作，对应有所述用户基本动素的所述交互时间包括任务思考动作时间、感知反应动作时间、移入动作时间、指向动作时间、归位动作时间、确认动作时间和取消确认动作时间；所述系统动作时间包括系统运算时间和系统系统反馈时间；
所述交互规则包括：
第一规则，在所述移入动作、所述归位动作、所述指向动作和所述确认动作之前都依次插入所述任务思考动作和所述感知反应动作；
第二规则，在所述确认动作和所述取消确认动作后都插入所述感知反应动作；
第三规则，若用户的前一个手部动作能完全预期后一个手部动作，则删除该前一个手部动作与该后一个手部动作之间的任务思考动作及其之后的感知反应动作；
第四规则，所述确认动作和所述取消确认动作执行后，等待系统动作，所述系统动作包括系统运算和系统反馈。
2.如权利要求1所述的虚拟环境中基于射线交互任务的模型评估方法，其特征在于，所述交互规则还包括第五规则，所述第五规则包括：
所述系统反馈与所述任务思考动作存在重叠部分，若系统反馈时间小于所述任务思考动作时间，则忽略所述系统反馈时间，否则忽略所述任务思考动作时间；
所述系统反馈与所述感知反应动作存在重叠部分，若系统反馈时间小于所述感知反应动作时间，则忽略所述系统反馈时间，否则忽略所述感知反应动作时间；
所述系统反馈与依次的所述任务思考动作及所述感知反应动作存在重叠部分，若系统反馈时间小于所述任务思考动作时间与所述感知反应动作时间之和，则忽略所述系统反馈时间，否则忽略所述任务思考动作时间和所述感知反应动作时间。
3.如权利要求2所述的虚拟环境中基于射线交互任务的模型评估方法，其特征在于，所述任务思考时间为1.2s、感知反应时间为0.24s、移入动作时间为0.5s、归位动作时间为0.5s、指向动作时间为(a+b×[log2(B/W3+1)]2)s、确认动作时间为0.3s、系统运算时间为0.1s、系统反馈时间为0.1s，其中a＝1.091，b＝0.028，W表示视角角度，B表示手臂运动角度。
4.一种虚拟环境中基于射线交互任务的模型评估系统，其特征在于，包括：
分析模块，对用户交互任务进行分析，得到用户交互行为；
分解模块，对所述用户交互行为进行分析获取用户基本动素；
配置模块，为所述用户基本动素配置交互规则；
获取模块，获取所述用户基本动素的交互时间以及系统动作时间；
评估模块，根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，根据所述总时间对所述用户交互任务进行评估；
其中，所述用户基本动素包括感知动作和手部动作，所述感知动作包括任务思考动作和感知反应动作，所述手部动作包括移入动作、指向动作、归位动作、确认动作和取消确认动作，对应有所述用户基本动素的所述交互时间包括任务思考动作时间、感知反应动作时间、移入动作时间、指向动作时间、归位动作时间、确认动作时间和取消确认动作时间；所述系统动作时间包括系统运算时间和系统系统反馈时间；
所述配置模块包括：
第一配置单元，配置第一规则，所述第一规则包括：在所述移入动作、所述归位动作、所述指向动作和所述确认动作之前都依次插入所述任务思考动作和所述感知反应动作；
第二配置单元，配置第二规则，所述第二规则包括：在所述确认动作和所述取消确认动作后都插入所述感知反应动作；
第三配置单元，配置第三规则，所述第三规则包括：若用户的前一个手部动作能完全预期后一个手部动作，则删除该前一个手部动作与该后一个手部动作之间的任务思考动作及其之后的感知反应动作；
第四配置单元，配置第四规则，所述第四规则包括：所述确认动作和所述取消确认动作执行后，等待系统动作，所述系统动作包括系统运算和系统反馈。
5.如权利要求4所述的虚拟环境中基于射线交互任务的模型评估系统，其特征在于，所述配置模块还包括第五配置单元，所述第五配置单元配置第五规则，所述第五规则包括：
所述系统反馈与所述任务思考动作存在重叠部分，若系统反馈时间小于所述任务思考动作时间，则忽略所述系统反馈时间，否则忽略所述任务思考动作时间；
所述系统反馈与所述感知反应动作存在重叠部分，若系统反馈时间小于所述感知反应动作时间，则忽略所述系统反馈时间，否则忽略所述感知反应动作时间；
所述系统反馈与依次的所述任务思考动作及所述感知反应动作存在重叠部分，若系统反馈时间小于所述任务思考动作时间与所述感知反应动作时间之和，则忽略所述系统反馈时间，否则忽略所述任务思考动作时间和所述感知反应动作时间。
6.如权利要求5所述的虚拟环境中基于射线交互任务的模型评估系统，其特征在于，所述任务思考时间为1.2s、感知反应时间为0.24s、移入动作时间为0.5s、归位动作时间为0.5s、指向动作时间为(a+b×[log2(B/W3+1)]2)s、确认动作时间为0.3s、系统运算时间为0.1s、系统反馈时间为0.1s，其中a＝1.091，b＝0.028，W表示视角角度，B表示手臂运动角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010857330.8A CN112181132B (zh) | 2020-08-24 | 2020-08-24 | 虚拟环境中基于射线交互任务的模型评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010857330.8A CN112181132B (zh) | 2020-08-24 | 2020-08-24 | 虚拟环境中基于射线交互任务的模型评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112181132A CN112181132A (zh) | 2021-01-05 |
| CN112181132B true CN112181132B (zh) | 2024-05-28 |
Family
ID=73924485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010857330.8A Active CN112181132B (zh) | 2020-08-24 | 2020-08-24 | 虚拟环境中基于射线交互任务的模型评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112181132B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113535573B (zh) * | 2021-07-26 | 2023-07-14 | 北京计算机技术及应用研究所 | 一种基于goms模型改进的软件可用性量化评估方法 |
| CN115907444B (zh) * | 2022-11-23 | 2023-12-05 | 中国航空综合技术研究所 | 面向基于多通道人机交互技术的驾驶舱任务流程评估方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955267A (zh) * | 2013-11-13 | 2014-07-30 | 上海大学 | 光透视增强现实系统中双手人机交互方法 |
| CN108303994A (zh) * | 2018-02-12 | 2018-07-20 | 华南理工大学 | 面向无人机的群控交互方法 |
-
2020
- 2020-08-24 CN CN202010857330.8A patent/CN112181132B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955267A (zh) * | 2013-11-13 | 2014-07-30 | 上海大学 | 光透视增强现实系统中双手人机交互方法 |
| CN108303994A (zh) * | 2018-02-12 | 2018-07-20 | 华南理工大学 | 面向无人机的群控交互方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于 UNITY 交互式虚拟维修仿真系统的研究;赵洪利;《机械工程与自动化》;20160430(第第2期期);第93-95页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112181132A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vuletic et al. | Systematic literature review of hand gestures used in human computer interaction interfaces | |
| Surale et al. | Tabletinvr: Exploring the design space for using a multi-touch tablet in virtual reality | |
| CN104838337B (zh) | 用于用户界面的无触摸输入 | |
| Coelho et al. | Pointing task evaluation of leap motion controller in 3D virtual environment | |
| Song et al. | GaFinC: Gaze and Finger Control interface for 3D model manipulation in CAD application | |
| CN104331154B (zh) | 实现非接触式鼠标控制的人机交互方法和系统 | |
| Kang et al. | Instant 3D design concept generation and visualization by real-time hand gesture recognition | |
| CN111191322B (zh) | 一种基于深度感知手势识别的虚拟维修性仿真方法 | |
| CN112181132B (zh) | 虚拟环境中基于射线交互任务的模型评估方法及系统 | |
| Spittle et al. | A review of interaction techniques for immersive environments | |
| Baig et al. | Qualitative analysis of a multimodal interface system using speech/gesture | |
| Chen et al. | A human–robot interface for mobile manipulator | |
| Gao | Key technologies of human–computer interaction for immersive somatosensory interactive games using VR technology | |
| Chu et al. | Evaluation of virtual reality interface for product shape designs | |
| CN112181133B (zh) | 基于静态和动态手势交互任务的模型评估方法及系统 | |
| Bai et al. | Asymmetric Bimanual Interaction for Mobile Virtual Reality. | |
| Zhou et al. | H-GOMS: a model for evaluating a virtual-hand interaction system in virtual environments | |
| Drey et al. | Investigating the effects of individual spatial abilities on virtual reality object manipulation | |
| Kerefeyn et al. | Manipulation of virtual objects through a LeapMotion optical sensor | |
| CN112181134B (zh) | 虚拟环境中基于手指点击交互任务的模型评估方法及系统 | |
| Ralev et al. | Components and model of implementation of a hand gesture recognition system | |
| Boudoin et al. | Towards multimodal human-robot interaction in large scale virtual environment | |
| Wang et al. | Multi-channel augmented reality interactive framework design for ship outfitting guidance | |
| Rehman et al. | FPSI-Fingertip pose and state-based natural interaction techniques in virtual environments | |
| Varga et al. | Survey and investigation of hand motion processing technologies for compliance with shape conceptualization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |