CN114237403A - 基于vr交互设备的操作手势检测处理方法、设备及介质 - Google Patents
基于vr交互设备的操作手势检测处理方法、设备及介质 Download PDFInfo
- Publication number
- CN114237403A CN114237403A CN202111618905.1A CN202111618905A CN114237403A CN 114237403 A CN114237403 A CN 114237403A CN 202111618905 A CN202111618905 A CN 202111618905A CN 114237403 A CN114237403 A CN 114237403A
- Authority
- CN
- China
- Prior art keywords
- virtual
- tool
- target
- offset
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000003993 interaction Effects 0.000 claims abstract description 200
- 230000009471 action Effects 0.000 claims abstract description 60
- 238000012423 maintenance Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000004044 response Effects 0.000 claims abstract description 20
- 230000008439 repair process Effects 0.000 claims description 60
- 238000013507 mapping Methods 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 46
- 238000004088 simulation Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Abstract
本申请提供一种基于VR交互设备的操作手势检测处理方法、设备及介质，涉及计算机技术领域。该方法包括：响应于通过VR交互设备输入的第一控制指令，控制虚拟对象持有虚拟维修工具移动至预设维修位置处，并获取VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第一运动参数；获取虚拟维修工具的工具类型；响应于通过VR交互设备输入的第二控制指令，根据第二控制指令、第一运动参数、以及虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作，应用该方法可以通过仿真实训系统实现对维修动作的仿真，进而通过该仿真实训系统可以实现对维修人员的仿真培训，有效降低培训成本。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种基于VR交互设备的操作手势检测处理方法、设备及介质。
背景技术
随着高铁和动车的快速发展，培养掌握高速动车组基础知识和列车驾驶、检修能力的高素质技能型人才越来越重要。
现有的，对高铁和动车的维修人员进行培训时，主要是在真实的培训基地进行培训。
可以看出，现有的培训方法往往依赖于真实的培训基地，因此，现有的培训方法存在培训成本较高的问题。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种基于VR交互设备的操作手势检测处理方法、设备及介质，可以实现仿真培训，降低培训成本。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本发明提供一种基于VR交互设备的操作手势检测处理方法，应用于仿真实训系统中的计算机设备，所述仿真实训系统还包括：VR头戴设备、VR交互设备；所述计算机设备分别与所述VR头戴设备、所述VR交互设备通信连接，所述计算机设备通过所述VR头戴设备显示一虚拟实训场景，所述虚拟实训场景包括目标用户通过所述VR交互设备可操控的虚拟对象，所述方法包括：
响应于通过所述VR交互设备输入的第一控制指令，控制所述虚拟对象持有虚拟维修工具移动至预设维修位置处，并获取所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第一运动参数；
获取所述虚拟维修工具的工具类型；
响应于通过所述VR交互设备输入的第二控制指令，根据所述第二控制指令、所述第一运动参数、以及所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
在可选的实施方式中，所述响应于通过所述VR交互设备输入的第二控制指令，根据所述第二控制指令、所述第一运动参数、以及所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作，包括：
响应于通过所述VR交互设备输入的第二控制指令，获取所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第二运动参数；
计算所述第二运动参数相对于所述第一运动参数的目标运动偏移量；
根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
在可选的实施方式中，所述虚拟维修工具为包括旋钮的虚拟维修工具，所述目标运动偏移量包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系的第一坐标轴方向上的第一角度偏移量；
所述根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作，包括：
根据所述第一角度偏移量和第一预设映射关系，确定所述第一角度偏移量对应的目标旋转档位，所述第一预设映射关系包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量和旋转档位之间的映射关系，其中，第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量为零，所述第一运动参数对应的旋转档位为初始档位；
根据所述目标旋转档位，控制所述虚拟对象将所述虚拟维修工具中的中的旋钮从当前旋转档位转动至所述目标旋转档位。
在可选的实施方式中，所述虚拟维修工具为虚拟扳手工具，所述目标运动偏移量包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的第二角度偏移量；
所述根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作，包括：
根据所述第二角度偏移量和第二预设映射关系，确定所述第二角度偏移量对应的目标转动角度，所述第二预设映射关系包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系的第二坐标轴方向上的角度偏移量和转动角度之间的映射关系，其中，第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的角度偏移量为零，所述第一运动参数对应的转动角度为零；
根据所述目标转动角度，控制所述虚拟对象将所述虚拟扳手工具从当前转动角度转动至所述目标转动角度。
在可选的实施方式中，所述虚拟维修工具为虚拟手摇工具，所述虚拟手摇工具包括：卡接部以及与所述卡接部垂直连接的手摇部，所述第一运动参数包括虚拟手摇工具中手摇部的第一运动位置，所述第二运动参数包括虚拟手摇工具中手摇部的第二运动位置，所述目标运动偏移量包括：所述第二运动位置相对所述第一运动位置的旋转角度偏移量；
所述根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作，包括：
根据所述旋转角度偏移量和第三预设映射关系，确定所述旋转角度偏移量对应的目标旋转角度，所述第三预设映射关系包括：虚拟手摇工具中手摇部的旋转角度偏移量和旋转角度之间的映射关系，其中，第一运动参数对应的虚拟手摇工具中手摇部的旋转角度偏移量为零，所述第一运动参数对应的旋转角度为零；
根据所述目标旋转角度，控制所述虚拟对象将所述虚拟手摇工具的手摇部从当前旋转角度转动至所述目标旋转角度。
在可选的实施方式中，所述根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作，包括：
若确定所述目标运动偏移量大于预设运动偏移量阈值，则根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
在可选的实施方式中，所述方法还包括：
响应于通过所述VR交互设备输入的第三控制指令，控制所述虚拟对象执行预设恢复动作。
在可选的实施方式中，所述VR交互设备包括VR手柄，和/或，VR手套。
第二方面，本发明提供一种基于VR交互设备的操作手势检测处理装置，应用于仿真实训系统中的计算机设备，所述仿真实训系统还包括：VR头戴设备、VR交互设备；所述计算机设备分别与所述VR头戴设备、所述VR交互设备通信连接，所述计算机设备通过所述VR头戴设备显示一虚拟实训场景，所述虚拟实训场景包括目标用户通过所述VR交互设备可操控的虚拟对象，所述装置包括：
响应模块，用于响应于通过所述VR交互设备输入的第一控制指令，控制所述虚拟对象持有虚拟维修工具移动至预设维修位置处，并获取所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第一运动参数；
获取模块，用于获取所述虚拟维修工具的工具类型；
控制模块，用于响应于通过所述VR交互设备输入的第二控制指令，根据所述第二控制指令、所述第一运动参数、以及所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
在可选的实施方式中，所述控制模块，具体用于响应于通过所述VR交互设备输入的第二控制指令，获取所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第二运动参数；
计算所述第二运动参数相对于所述第一运动参数的目标运动偏移量；
根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
在可选的实施方式中，所述虚拟维修工具为包括旋钮的虚拟维修工具，所述目标运动偏移量包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系的第一坐标轴方向上的第一角度偏移量；
所述控制模块，具体用于根据所述第一角度偏移量和第一预设映射关系，确定所述第一角度偏移量对应的目标旋转档位，所述第一预设映射关系包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量和旋转档位之间的映射关系，其中，第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量为零，所述第一运动参数对应的旋转档位为初始档位；
根据所述目标旋转档位，控制所述虚拟对象将所述虚拟维修工具中的中的旋钮从当前旋转档位转动至所述目标旋转档位。
在可选的实施方式中，所述虚拟维修工具为虚拟扳手工具，所述目标运动偏移量包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的第二角度偏移量；
所述控制模块，具体用于根据所述第二角度偏移量和第二预设映射关系，确定所述第二角度偏移量对应的目标转动角度，所述第二预设映射关系包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系的第二坐标轴方向上的角度偏移量和转动角度之间的映射关系，其中，第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的角度偏移量为零，所述第一运动参数对应的转动角度为零；
根据所述目标转动角度，控制所述虚拟对象将所述虚拟扳手工具从当前转动角度转动至所述目标转动角度。
在可选的实施方式中，所述虚拟维修工具为虚拟手摇工具，所述虚拟手摇工具包括：卡接部以及与所述卡接部垂直连接的手摇部，所述第一运动参数包括虚拟手摇工具中手摇部的第一运动位置，所述第二运动参数包括虚拟手摇工具中手摇部的第二运动位置，所述目标运动偏移量包括：所述第二运动位置相对所述第一运动位置的旋转角度偏移量；
所述控制模块，具体用于根据所述旋转角度偏移量和第三预设映射关系，确定所述旋转角度偏移量对应的目标旋转角度，所述第三预设映射关系包括：虚拟手摇工具中手摇部的旋转角度偏移量和旋转角度之间的映射关系，其中，第一运动参数对应的虚拟手摇工具中手摇部的旋转角度偏移量为零，所述第一运动参数对应的旋转角度为零；
根据所述目标旋转角度，控制所述虚拟对象将所述虚拟手摇工具的手摇部从当前旋转角度转动至所述目标旋转角度。
在可选的实施方式中，所述控制模块，具体用于若确定所述目标运动偏移量大于预设运动偏移量阈值，则根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
在可选的实施方式中，所述控制模块，还用于响应于通过所述VR交互设备输入的第三控制指令，控制所述虚拟对象执行预设恢复动作。
在可选的实施方式中，所述VR交互设备包括VR手柄，和/或，VR手套。
第三方面，本发明提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如前述实施方式任一所述基于VR交互设备的操作手势检测处理方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如前述实施方式任一所述基于VR交互设备的操作手势检测处理方法的步骤。
本申请的有益效果是：
本申请实施例提供的基于VR交互设备的操作手势检测处理方法、设备及介质中，包括：响应于通过VR交互设备输入的第一控制指令，控制虚拟对象持有虚拟维修工具移动至预设维修位置处，并获取VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第一运动参数；获取虚拟维修工具的工具类型；响应于通过VR交互设备输入的第二控制指令，根据第二控制指令、第一运动参数、以及虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作，应用该方法可以通过仿真实训系统实现对维修动作的仿真，进而通过该仿真实训系统可以实现对维修人员的仿真培训，有效降低培训成本。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于VR交互设备的操作手势检测处理方法的流程示意图；
图2为本申请实施例提供的另一种基于VR交互设备的操作手势检测处理方法的流程示意图；
图3为本申请实施例提供的又一种基于VR交互设备的操作手势检测处理方法的流程示意图；
图4为本申请实施例提供的另一种基于VR交互设备的操作手势检测处理方法的流程示意图；
图5为本申请实施例提供的又一种基于VR交互设备的操作手势检测处理方法的流程示意图；
图6为本申请实施例提供的一种基于VR交互设备的操作手势检测处理装置的功能模块示意图；
图7为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
针对现有的培训方法依赖于真实的培训基地、存在培训成本较高的问题，本申请实施例提供一种基于VR交互设备的操作手势检测处理方法，该方法可以应用于仿真实训系统中的计算机设备，进而通过该仿真实训系统可以实现对维修人员的仿真培训，有效降低培训成本。
图1为本申请实施例提供的一种基于VR交互设备的操作手势检测处理方法的流程示意图，该方法可以应用于仿真实训系统中的计算机设备，仿真实训系统还包括：VR头戴设备、VR交互设备；计算机设备分别与VR头戴设备、VR交互设备通信连接，计算机设备通过VR头戴设备显示一虚拟实训场景，虚拟实训场景包括目标用户通过VR交互设备可操控的虚拟对象。如图1所示，该方法可以包括：
S101、响应于通过VR交互设备输入的第一控制指令，控制虚拟对象持有虚拟维修工具移动至预设维修位置处，并获取VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第一运动参数。
其中，虚拟实训场景还可以包括可供虚拟对象使用的虚拟维修工具。VR交互设备可以为用户提供交互性输入，通过VR交互设备可以控制虚拟实训场景中的虚拟对象在虚拟实训场景中执行预设动作，可选地，该虚拟对象可以包括虚拟角色，预设动作可以包括：移动、转身、蹲下等，在此不作限定。
在一些实施例中，VR交互设备可以包括多个物理按键，通过事先对该多个物理按键进行设置，可以将各物理按键配置为用于控制虚拟对象在虚拟实训场景中的不同操作，比如，某物理按键可以被配置为用于控制虚拟对象在虚拟实训场景中移动，又或者，可以被配置为用于控制虚拟对象在虚拟实训场景中转身，又或者与虚拟实训场景中的其他虚拟对象进行交互动作，比如，可以被控制为用于控制虚拟对象打开列车车门、关闭列车车门，在此不作限定。
在又一些实施例中，VR交互设备还可以包括惯性传感器、动作捕捉传感器等至少一种传感器，该至少一种传感器可以用于采集VR交互设备的姿态参数，进而通过VR交互设备的姿态参数可以同步控制虚拟实训场景中虚拟对象的手部动作。其中，惯性传感器可以包括加速度传感器、陀螺仪和地磁传感器等，动作捕捉传感器可以包括红外摄像头、红外感应传感器等，根据实际的应用场景可以有所不同，在此不作限定。其中，VR交互设备包括至少一种传感器时，不同的姿态参数可以被配置为用于控制虚拟实训场景中虚拟对象持有不同的虚拟维修工具执行虚拟维修工具对应的预设维修动作。
此外，对于虚拟实训场景中的虚拟角色来说，虚拟角色可以包括多个虚拟交互模型，比如，可以包括头部对应的虚拟交互模型、躯干对应的虚拟交互模型、腿部对应的虚拟交互模型、手部对应的虚拟交互模型等，在此不作限定，可选地，通过VR头戴设备、VR交互设备采集的姿态参数可以同步控制对应的虚拟交互模型的姿态。此外，每一虚拟交互模型还可以包括自己的局部坐标系，其中，各虚拟交互模型坐标系可以包括：由三个互相垂直并相交的第一坐标轴(x轴)，第二坐标轴(y轴)以及第三坐标轴(z轴)组成，其中，第一坐标轴的正向可以为垂直计算机设备的屏幕且远离计算机设备使用者的方向，第二坐标轴的正向可以为计算机设备的屏幕水平向右的方向，第三坐标轴的正向可以为计算机设备的屏幕垂直向上的方向。其中，对于虚拟角色中手部对应的虚拟交互模型来说，其可以对应真实场景中的VR交互设备，也即，通过VR交互设备采集的姿态参数可以同步控制虚拟角色中手部对应的虚拟交互模型的姿态，进而在虚拟角色持有不同的虚拟维修工具时，可以控制虚拟角色持有虚拟维修工具执行对应的预设维修动作。
基于上述说明，以仿真实训系统应用于维修人员的培训为例进行说明，可选地，培训人员可以通过VR交互设备的物理按键生成第一控制指令，又或者，可以通过VR交互设备采集的姿态参数生成第一控制指令，在此不作限定；响应于该第一控制指令，可以控制虚拟对象持有虚拟维修工具移动至预设维修位置处，以便仿真培训人员的维修准备动作，其中，根据虚拟维修工具的不同，预设维修位置可以有所不同，比如，虚拟维修工具为虚拟扳手时，那么该预设维修位置可以为需要使用虚拟扳手进行维修的位置，比如，具体可以是虚拟实训场景中某虚拟设备上螺丝所在的位置，以在合适的角度卡住螺丝。
此外，计算机设备响应于第一控制指令，还可以获取VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第一运动参数，基于上述说明，可以理解的是，目标虚拟交互模型在目标虚拟交互模型坐标系中的第一运动参数可以通过采集VR交互设备的姿态参数获取。
S102、获取虚拟维修工具的工具类型。
其中，根据仿真实训系统的具体应用场景，虚拟实训场景中的虚拟维修工具的工具类型可以包括多种。以仿真实训系统应用于维修人员的培训为例进行说明，在一些实施例中，虚拟维修工具的工具类型可以包括但不限于：包括旋钮的虚拟维修工具(比如，万用表)、虚拟扳手工具、虚拟手摇工具，在此不作限定。可选地，具体在进行获取时，可以根据虚拟对象持有的虚拟维修工具的标识以及预设映射表，获取虚拟维修工具的工具类型。其中，预设映射表可以包括虚拟维修工具的标识以及工具类型之间的映射关系。
可选地，VR交互设备包括多个物理按键时，其中，某物理按键可以被配置为用于控制虚拟对象在虚拟实训场景中切换虚拟维修工具，比如，通过该物理按键，可以控制虚拟对象在虚拟实训场景中将当前类型的虚拟维修工具切换为另一类型的虚拟维修工具。当然，本申请在此并不限定具体的切换方式。
S103、响应于通过VR交互设备输入的第二控制指令，根据第二控制指令、第一运动参数、以及虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作。
其中，可以通过VR交互设备采集的姿态参数生成第二控制指令。可选地，具体控制过程中，可以根据第二控制指令和第一运动参数，确定VR交互设备的姿态参数偏移量，根据VR交互设备的姿态参数偏移量和虚拟维修工具的工具类型，可以控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作。
可以理解的是，不同工具类型的虚拟维修工具可以对应不同的预设维修动作，比如，虚拟维修工具为虚拟扳手工具时，那么该虚拟维修工具对应的预设维修动作可以为拧转动作，虚拟维修工具为包括旋钮的虚拟维修工具时，那么该虚拟维修工具对应的预设维修动作可以为旋转动作，在此不作限定。
综上，本申请实施例提供一种基于VR交互设备的操作手势检测处理方法，应用于仿真实训系统中的计算机设备，仿真实训系统还包括：VR头戴设备、VR交互设备；计算机设备分别与VR头戴设备、VR交互设备通信连接，计算机设备通过VR头戴设备显示一虚拟实训场景，虚拟实训场景包括目标用户通过VR交互设备可操控的虚拟对象，该方法包括：响应于通过VR交互设备输入的第一控制指令，控制虚拟对象持有虚拟维修工具移动至预设维修位置处，并获取VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第一运动参数；获取虚拟维修工具的工具类型；响应于通过VR交互设备输入的第二控制指令，根据第二控制指令、第一运动参数、以及虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作，应用该方法可以通过仿真实训系统实现对维修动作的仿真，进而通过该仿真实训系统可以实现对维修人员的仿真培训，有效降低培训成本。
图2为本申请实施例提供的另一种基于VR交互设备的操作手势检测处理方法的流程示意图。可选地，如图2所示，上述响应于通过VR交互设备输入的第二控制指令，根据第二控制指令、第一运动参数、以及虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作，包括：
S201、响应于通过VR交互设备输入的第二控制指令，获取VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第二运动参数。
S202、计算第二运动参数相对于第一运动参数的目标运动偏移量。
S203、根据目标运动偏移量和虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作。
其中，响应于第二控制指令，可以获取VR交互设备的第二姿态参数，根据该第二姿态参数可以获取VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第二运动参数。
基于上述说明，可以理解的是，上述第一运动参数可以理解为初始运动参数，那么可以计算第二运动参数相对于第一运动参数的目标运动偏移量，通过该目标运动偏移量可以反映VR交互设备对应的虚拟交互模型在虚拟实训场景的运动偏移，进而根据目标运动偏移量和虚拟维修工具的工具类型，可以控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作。
在一些实施例中，第一运动参数对应的初始运动偏移量可以为零，目标运动偏移量可以与虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作的幅度成正比，也即目标运动偏移量越大，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作的幅度越大。
为了更好地理解本申请实施例，下面结合具体的虚拟维修工具进行说明控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作的具体过程。
图2为本申请实施例提供的另一种基于VR交互设备的操作手势检测处理方法的流程示意图。在一些实施例中，虚拟维修工具为包括旋钮的虚拟维修工具，目标运动偏移量可以包括：VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系的第一坐标轴方向上的第一角度偏移量，基于上述说明，也即目标运动偏移量可以包括：目标虚拟交互模型在目标虚拟交互模型坐标系的x轴方向上的第一角度偏移量。可选地，如图3所示，上述根据目标运动偏移量和虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作，包括：
S301、根据第一角度偏移量和第一预设映射关系，确定第一角度偏移量对应的目标旋转档位。
其中，第一预设映射关系包括：VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量和旋转档位之间的映射关系；第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量为零，第一运动参数对应的旋转档位为初始档位。其中，初始档位也即默认档位。
其中，以包括旋钮的虚拟维修工具为万用表进行说明，可选地，初始档位可以为万用表表盘中的OFF档位，第一预设映射关系中可以包括：电压档位、电流档位、电阻档位、电容档位等旋转档位与目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量之间的映射关系。再者，由于第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量为零，第一运动参数对应的旋转档位为初始档位，因此，根据第一预设映射关系确定的第一角度偏移量对应的旋转档位即为第一角度偏移量对应的目标旋转档位，该目标旋转档位也即虚拟维修工具需要调节的目标档位。
S302、根据目标旋转档位，控制虚拟对象将虚拟维修工具中的旋钮从当前旋转档位转动至目标旋转档位。
基于上述说明，在确定了目标旋转档位之后，计算机设备可以根据该目标旋转档位控制虚拟对象将虚拟维修工具中的旋钮从当前旋转档位转动至目标旋转档位，实现对包括旋钮的虚拟维修工具的使用过程的仿真。
基于上述举例进一步说明，若虚拟角色所持有的虚拟维修工具为万用表时，若培训人员通过VR交互设备模拟旋转的动作，那么虚拟实训场景中，虚拟对象会将万用表盘的旋钮同步转动，也即虚拟对象会将万用表从当前旋转档位转动至第一角度偏移量对应的目标旋转档位，实现对万用表的使用过程的仿真。
图4为本申请实施例提供的另一种基于VR交互设备的操作手势检测处理方法的流程示意图。可选地，虚拟维修工具为虚拟扳手工具，目标运动偏移量包括：VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的第二角度偏移量。那么如图4所示，上述根据目标运动偏移量和虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作，包括：
S401、根据第二角度偏移量和第二预设映射关系，确定第二角度偏移量对应的目标转动角度。
其中，第二预设映射关系包括：VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系的第二坐标轴方向上的角度偏移量和转动角度之间的映射关系，其中，第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的角度偏移量为零，第一运动参数对应的转动角度为零。
S402、根据目标转动角度，控制虚拟对象将虚拟维修工具从当前转动角度转动至目标转动角度。
基于上述对包括旋钮的虚拟维修工具的说明，可以理解的是，由于第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的角度偏移量为零，第一运动参数对应的转动角度为零，因此，根据第二预设映射关系确定的第二角度偏移量对应的转动角度即为第二角度偏移量对应的目标转动角度，该目标转动角度也即虚拟维修工具需要调节的目标角度。
基于上述说明，在确定了目标转动角度之后，计算机设备可以根据该目标转动角度控制虚拟对象将虚拟维修工具从当前转动角度转动至目标转动角度，实现对虚拟扳手工具的使用过程的仿真。
可选地，虚拟维修工具为虚拟手摇工具，虚拟手摇工具包括：卡接部以及与卡接部垂直连接的手摇部，其中，卡接部用于卡接虚拟实训场景中待维修虚拟设备的待维修部，维修过程中，手摇部可以以卡接部所在的位置为中心，绕该中心旋转，以达到安装或拆卸虚拟零部件的目的。
图5为本申请实施例提供的又一种基于VR交互设备的操作手势检测处理方法的流程示意图。在一些实施例中，上述第一运动参数包括虚拟手摇工具中手摇部的第一运动位置，第二运动参数包括虚拟手摇工具中手摇部的第二运动位置，运动偏移量目标运动偏移量包括：第二运动位置相对第一运动位置的旋转角度偏移量；那么如图5所示，上述根据运动偏移量目标运动偏移量和虚拟维修工具的工具类型，控制虚拟人物虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作，包括：
S501、根据旋转角度偏移量和第三预设映射关系，确定旋转角度偏移量对应的目标旋转角度。
其中，第三预设映射关系包括：虚拟手摇工具中手摇部的旋转角度偏移量和旋转角度之间的映射关系，其中，第一运动参数对应的虚拟手摇工具中手摇部的旋转角度偏移量为零，第一运动参数对应的旋转角度为零。
S502、根据目标旋转角度，控制虚拟对象将虚拟手摇工具的手摇部从当前旋转角度转动至目标旋转角度。
基于上述对包括旋钮的虚拟维修工具的说明，可以理解的是，由于第一运动参数对应的虚拟手摇工具中手摇部的旋转角度偏移量为零，第一运动参数对应的旋转角度为零，因此，根据第三预设映射关系确定的旋转角度偏移量对应的旋转角度即为旋转角度偏移量对应的目标旋转角度，该目标旋转角度也即虚拟手摇工具的手摇部需要带动卡接部旋转的目标角度。
基于上述说明，在确定了目标旋转角度之后，计算机设备可以根据该目标旋转角度控制虚拟对象将虚拟手摇工具的手摇部从当前旋转角度转动至目标旋转角度，实现对虚拟手摇工具的使用过程的仿真。
基于上述举例进一步说明，若虚拟角色所持有的虚拟维修工具为虚拟手摇工具时，若培训人员通过VR交互设备画圆模拟手摇的动作，那么虚拟实训场景中，虚拟角色会控制虚拟手摇工具中的手摇部同步旋转，也即虚拟对象会将虚拟手摇工具的手摇部从当前旋转角度转动至目标旋转角度，实现对虚拟手摇工具的使用过程的仿真。
可选地，上述根据目标运动偏移量和虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作，包括：
若确定目标运动偏移量大于预设运动偏移量阈值，则根据目标运动偏移量和虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作。
其中，为了避免误操作，可以判断目标运动偏移量与预设运动偏移量阈值之间的关系，若目标运动偏移量大于预设运动偏移量阈值，则可以参见前述的方法，根据目标运动偏移量和虚拟维修工具的工具类型，控制虚拟对象持有虚拟维修工具执行虚拟维修工具对应的预设维修动作，否则，可以忽略，提高本申请的可靠性。
可选地，上述方法还包括：
响应于通过所述VR交互设备输入的第三控制指令，控制所述虚拟对象执行预设恢复动作。
可选地，第三控制指令可以通过VR交互设备中预设物理按键的释放或按压操作触发，在此不作限定。响应于该第三控制操作，可以控制所述虚拟对象执行预设恢复动作，其中，预设恢复动作用于控制虚拟维修工具恢复为默认状态，其中，默认状态也即未使用状态，具体可以是悬空状态。比如，可以控制所述虚拟对象将虚拟维修工具从预设维修位置移除，并设置虚拟维修工具的状态为悬空状态，在此不作限定。
可选地，上述VR交互设备可以包括VR手柄，和/或，VR手套。当然，VR交互设备的类型并不以此为限，根据实际的应用场景还可以包括VR手环等，在此不作限定。
图6为本申请实施例提供的一种基于VR交互设备的操作手势检测处理装置的功能模块示意图，该基于VR交互设备的操作手势检测处理装置可以应用于仿真实训系统中的计算机设备，所述仿真实训系统还包括：VR头戴设备、VR交互设备；所述计算机设备分别与所述VR头戴设备、所述VR交互设备通信连接，所述计算机设备通过所述VR头戴设备显示一虚拟实训场景，所述虚拟实训场景包括目标用户通过所述VR交互设备可操控的虚拟对象，该装置基本原理及产生的技术效果与前述对应的方法实施例相同，为简要描述，本实施例中未提及部分，可参考方法实施例中的相应内容。如图6所示，该操作检测处理装置100包括：
响应模块110，用于响应于通过所述VR交互设备输入的第一控制指令，控制所述虚拟对象持有虚拟维修工具移动至预设维修位置处，并获取所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第一运动参数；
获取模块120，用于获取所述虚拟维修工具的工具类型；
控制模块130，用于响应于通过所述VR交互设备输入的第二控制指令，根据所述第二控制指令、所述第一运动参数、以及所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
在可选的实施方式中，所述控制模块130，具体用于响应于通过所述VR交互设备输入的第二控制指令，获取所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第二运动参数；
计算所述第二运动参数相对于所述第一运动参数的目标运动偏移量；
根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
在可选的实施方式中，所述虚拟维修工具为包括旋钮的虚拟维修工具，所述目标运动偏移量包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系的第一坐标轴方向上的第一角度偏移量；
所述控制模块130，具体用于根据所述第一角度偏移量和第一预设映射关系，确定所述第一角度偏移量对应的目标旋转档位，所述第一预设映射关系包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量和旋转档位之间的映射关系，其中，第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量为零，所述第一运动参数对应的旋转档位为初始档位；
根据所述目标旋转档位，控制所述虚拟对象将所述虚拟维修工具中的中的旋钮从当前旋转档位转动至所述目标旋转档位。
在可选的实施方式中，所述虚拟维修工具为虚拟扳手工具，所述目标运动偏移量包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的第二角度偏移量；
所述控制模块130，具体用于根据所述第二角度偏移量和第二预设映射关系，确定所述第二角度偏移量对应的目标转动角度，所述第二预设映射关系包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系的第二坐标轴方向上的角度偏移量和转动角度之间的映射关系，其中，第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的角度偏移量为零，所述第一运动参数对应的转动角度为零；
根据所述目标转动角度，控制所述虚拟对象将所述虚拟扳手工具从当前转动角度转动至所述目标转动角度。
在可选的实施方式中，所述虚拟维修工具为虚拟手摇工具，所述虚拟手摇工具包括：卡接部以及与所述卡接部垂直连接的手摇部，所述第一运动参数包括虚拟手摇工具中手摇部的第一运动位置，所述第二运动参数包括虚拟手摇工具中手摇部的第二运动位置，所述目标运动偏移量包括：所述第二运动位置相对所述第一运动位置的旋转角度偏移量；
所述控制模块130，具体用于根据所述旋转角度偏移量和第三预设映射关系，确定所述旋转角度偏移量对应的目标旋转角度，所述第三预设映射关系包括：虚拟手摇工具中手摇部的旋转角度偏移量和旋转角度之间的映射关系，其中，第一运动参数对应的虚拟手摇工具中手摇部的旋转角度偏移量为零，所述第一运动参数对应的旋转角度为零；
根据所述目标旋转角度，控制所述虚拟对象将所述虚拟手摇工具的手摇部从当前旋转角度转动至所述目标旋转角度。
在可选的实施方式中，所述控制模块130，具体用于若确定所述目标运动偏移量大于预设运动偏移量阈值，则根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
在可选的实施方式中，所述控制模块130，还用于响应于通过所述VR交互设备输入的第三控制指令，控制所述虚拟对象执行预设恢复动作。
在可选的实施方式中，所述VR交互设备包括VR手柄，和/或，VR手套。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图7为本申请实施例提供的一种电子设备结构示意图，该电子设备可以集成于计算机设备。如图7所示，该电子设备可以包括：处理器210、存储介质220和总线230，存储介质220存储有处理器210可执行的机器可读指令，当电子设备运行时，处理器210与存储介质220之间通过总线230通信，处理器210执行机器可读指令，以执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于VR交互设备的操作手势检测处理方法，其特征在于，应用于仿真实训系统中的计算机设备，所述仿真实训系统还包括：VR头戴设备、VR交互设备；所述计算机设备分别与所述VR头戴设备、所述VR交互设备通信连接，所述计算机设备通过所述VR头戴设备显示一虚拟实训场景，所述虚拟实训场景包括目标用户通过所述VR交互设备可操控的虚拟对象，所述方法包括：
响应于通过所述VR交互设备输入的第一控制指令，控制所述虚拟对象持有虚拟维修工具移动至预设维修位置处，并获取所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第一运动参数；
获取所述虚拟维修工具的工具类型；
响应于通过所述VR交互设备输入的第二控制指令，根据所述第二控制指令、所述第一运动参数、以及所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
2.根据权利要求1所述的方法，其特征在于，所述响应于通过所述VR交互设备输入的第二控制指令，根据所述第二控制指令、所述第一运动参数、以及所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作，包括：
响应于通过所述VR交互设备输入的第二控制指令，获取所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中的第二运动参数；
计算所述第二运动参数相对于所述第一运动参数的目标运动偏移量；
根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
3.根据权利要求2所述的方法，其特征在于，所述虚拟维修工具为包括旋钮的虚拟维修工具，所述目标运动偏移量包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系的第一坐标轴方向上的第一角度偏移量；
所述根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作，包括：
根据所述第一角度偏移量和第一预设映射关系，确定所述第一角度偏移量对应的目标旋转档位，所述第一预设映射关系包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量和旋转档位之间的映射关系，其中，第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第一坐标轴方向上的角度偏移量为零，所述第一运动参数对应的旋转档位为初始档位；
根据所述目标旋转档位，控制所述虚拟对象将所述虚拟维修工具中的中的旋钮从当前旋转档位转动至所述目标旋转档位。
4.根据权利要求2所述的方法，其特征在于，所述虚拟维修工具为虚拟扳手工具，所述目标运动偏移量包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的第二角度偏移量；
所述根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作，包括：
根据所述第二角度偏移量和第二预设映射关系，确定所述第二角度偏移量对应的目标转动角度，所述第二预设映射关系包括：所述VR交互设备对应的目标虚拟交互模型在目标虚拟交互模型坐标系的第二坐标轴方向上的角度偏移量和转动角度之间的映射关系，其中，第一运动参数对应的目标虚拟交互模型在目标虚拟交互模型坐标系中第二坐标轴方向上的角度偏移量为零，所述第一运动参数对应的转动角度为零；
根据所述目标转动角度，控制所述虚拟对象将所述虚拟扳手工具从当前转动角度转动至所述目标转动角度。
5.根据权利要求2所述的方法，其特征在于，所述虚拟维修工具为虚拟手摇工具，所述虚拟手摇工具包括：卡接部以及与所述卡接部垂直连接的手摇部，所述第一运动参数包括虚拟手摇工具中手摇部的第一运动位置，所述第二运动参数包括虚拟手摇工具中手摇部的第二运动位置，所述目标运动偏移量包括：所述第二运动位置相对所述第一运动位置的旋转角度偏移量；
所述根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作，包括：
根据所述旋转角度偏移量和第三预设映射关系，确定所述旋转角度偏移量对应的目标旋转角度，所述第三预设映射关系包括：虚拟手摇工具中手摇部的旋转角度偏移量和旋转角度之间的映射关系，其中，第一运动参数对应的虚拟手摇工具中手摇部的旋转角度偏移量为零，所述第一运动参数对应的旋转角度为零；
根据所述目标旋转角度，控制所述虚拟对象将所述虚拟手摇工具的手摇部从当前旋转角度转动至所述目标旋转角度。
6.根据权利要求2所述的方法，其特征在于，所述根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作，包括：
若确定所述目标运动偏移量大于预设运动偏移量阈值，则根据所述目标运动偏移量和所述虚拟维修工具的工具类型，控制所述虚拟对象持有所述虚拟维修工具执行所述虚拟维修工具对应的预设维修动作。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于通过所述VR交互设备输入的第三控制指令，控制所述虚拟对象执行预设恢复动作。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述VR交互设备包括VR手柄，和/或，VR手套。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-8任一所述基于VR交互设备的操作手势检测处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-8任一所述基于VR交互设备的操作手势检测处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111618905.1A CN114237403A (zh) | 2021-12-27 | 2021-12-27 | 基于vr交互设备的操作手势检测处理方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111618905.1A CN114237403A (zh) | 2021-12-27 | 2021-12-27 | 基于vr交互设备的操作手势检测处理方法、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114237403A true CN114237403A (zh) | 2022-03-25 |
Family
ID=80763879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111618905.1A Pending CN114237403A (zh) | 2021-12-27 | 2021-12-27 | 基于vr交互设备的操作手势检测处理方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114237403A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853319A (zh) * | 2010-05-14 | 2010-10-06 | 中国人民解放军军械工程学院 | 一种支持虚拟维修仿真的维修动素集的建立方法 |
| US20160140763A1 (en) * | 2014-11-14 | 2016-05-19 | Qualcomm Incorporated | Spatial interaction in augmented reality |
| CN107992189A (zh) * | 2017-09-22 | 2018-05-04 | 深圳市魔眼科技有限公司 | 一种虚拟现实六自由度交互方法、装置、终端及存储介质 |
| CN111191322A (zh) * | 2019-12-10 | 2020-05-22 | 中国航空工业集团公司成都飞机设计研究所 | 一种基于深度感知手势识别的虚拟维修性仿真方法 |
| CN111739352A (zh) * | 2020-06-03 | 2020-10-02 | 长沙理工大学 | 一种中央空调虚拟维修训练系统的仿真方法 |
| CN112614028A (zh) * | 2020-12-22 | 2021-04-06 | 郑州捷安高科股份有限公司 | 方舱建筑的搭建培训方法、装置、设备及存储介质 |
-
2021
- 2021-12-27 CN CN202111618905.1A patent/CN114237403A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853319A (zh) * | 2010-05-14 | 2010-10-06 | 中国人民解放军军械工程学院 | 一种支持虚拟维修仿真的维修动素集的建立方法 |
| US20160140763A1 (en) * | 2014-11-14 | 2016-05-19 | Qualcomm Incorporated | Spatial interaction in augmented reality |
| CN107992189A (zh) * | 2017-09-22 | 2018-05-04 | 深圳市魔眼科技有限公司 | 一种虚拟现实六自由度交互方法、装置、终端及存储介质 |
| CN111191322A (zh) * | 2019-12-10 | 2020-05-22 | 中国航空工业集团公司成都飞机设计研究所 | 一种基于深度感知手势识别的虚拟维修性仿真方法 |
| CN111739352A (zh) * | 2020-06-03 | 2020-10-02 | 长沙理工大学 | 一种中央空调虚拟维修训练系统的仿真方法 |
| CN112614028A (zh) * | 2020-12-22 | 2021-04-06 | 郑州捷安高科股份有限公司 | 方舱建筑的搭建培训方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality | |
| KR101636360B1 (ko) | 가상 현실을 이용한 가상 정비 훈련 시스템 | |
| US9984178B2 (en) | Robot simulator, robot teaching apparatus and robot teaching method | |
| US20150151431A1 (en) | Robot simulator, robot teaching device, and robot teaching method | |
| US20190163266A1 (en) | Interaction system and method | |
| DE202016008297U1 (de) | Zweihändige Objektmanipulationen in der virtuellen Realität | |
| WO2000038117B1 (en) | Method and system for a virtual assembly design environment | |
| CN106454322A (zh) | Vr的图像处理系统及其方法 | |
| CN108159685B (zh) | 基于陀螺仪的虚拟摇杆控制方法和系统及其介质和设备 | |
| US10810899B1 (en) | Virtual instruction tool | |
| CN107368314B (zh) | 基于移动ar的机械制造工艺课程设计教学辅助系统及开发方法 | |
| US20190329411A1 (en) | Simulation device for robot | |
| CN107257946B (zh) | 用于虚拟调试的系统 | |
| CN111598273B (zh) | 一种基于vr技术的环控生保系统维修性检测方法及装置 | |
| CN111599459A (zh) | 一种远程手术的控制方法、控制装置及手术系统 | |
| CN114237403A (zh) | 基于vr交互设备的操作手势检测处理方法、设备及介质 | |
| CN111784850B (zh) | 基于虚幻引擎的物体抓取仿真方法及相关设备 | |
| WO2021195916A1 (zh) | 动态手部仿真方法、装置和系统 | |
| CN110363841B (zh) | 一种虚拟驾驶环境中手部运动跟踪方法 | |
| TW202017625A (zh) | 訓練處理裝置、中介裝置、訓練系統以及訓練處理方法 | |
| EP3621084A1 (en) | A system and a method for generating a virtual reality environment for exercises via a wearable display | |
| TW202017626A (zh) | 資訊處理裝置、中介裝置、模擬系統以及資訊處理方法 | |
| CN113593314B (zh) | 设备虚拟拆装培训系统及其培训方法 | |
| CN108255294A (zh) | 一种虚拟现实环境中的用户接触反馈系统、方法及设备 | |
| Parent et al. | Usability of a large-scale force-feedback device in different immersive environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |