CN112585661A - 用于生成虚拟现实训练会话的方法和系统 - Google Patents

用于生成虚拟现实训练会话的方法和系统 Download PDF

Info

Publication number
CN112585661A
CN112585661A CN201980056343.0A CN201980056343A CN112585661A CN 112585661 A CN112585661 A CN 112585661A CN 201980056343 A CN201980056343 A CN 201980056343A CN 112585661 A CN112585661 A CN 112585661A
Authority
CN
China
Prior art keywords
virtual reality
trainee
virtual
atomic
expert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980056343.0A
Other languages
English (en)
Inventor
R·约翰逊
A·麦克威廉斯
T·坎莱特
G·舍勒
R·维尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN112585661A publication Critical patent/CN112585661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G09B5/125—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明涉及一种用于为要由至少一个受训者T在技术环境中感兴趣物理对象的虚拟现实VR模型上施行的程序生成虚拟现实VR训练会话的方法。该方法包括以下步骤：（a）将所述感兴趣对象的虚拟现实VR模型从数据库加载（S71）到虚拟现实VR创作系统中；（b）由技术专家E指定（S72）相应程序的原子程序性步骤，并且由所述技术专家E在由虚拟现实VR创作系统提供的虚拟环境中，在感兴趣对象的加载的虚拟现实VR模型上施行指定的原子程序性步骤；以及（c）记录（S73）由技术专家E在虚拟环境中施行的原子程序性步骤，并且链接所记录的原子程序性步骤以自动生成存储在数据库中且针对受训者T可用的虚拟现实VR训练会话。

Description

用于生成虚拟现实训练会话的方法和系统
技术领域
本发明涉及一种方法和虚拟现实创作系统，该方法和虚拟现实创作系统用于为要由至少一个受训者T在感兴趣物理对象的虚拟现实VR模型上施行的程序生成虚拟现实VR训练会话。
背景技术
在许多应用中，用户必须在技术领域中要施行的程序中施行程序性步骤。例如，现场服务技术人员必须维护和/或维修制造设施内的特定机器。另一示例是医学专家，他具有如何在外科手术期间施行特定操作的专业知识，并希望与同事分享该知识。在类似情况下面临外科手术的另一医生需要从另一专家获得如何进行的信息。
程序性知识的共享按照惯例在教导会话内完成，在该教导会话中，领域专家向受训者或一组受训者演示程序。领域专家可以使用指令手册或指令视频。
对受训者进行技术程序训练的常规方法具有若干缺点。具有关于相应技术程序的专家知识或专业知识的领域专家一次仅可以教导或训练有限数量的受训者。另外，领域专家必须投入资源，在特定时间用于训练需要训练的其它人员。另外，一些领域专家可能发现难以向受训者解释技术细节，因为所述细节对于领域专家来说被视为是微不足道的或不言而喻的，因此使得难以高效地训练受训者。此外，在训练领域专家和在技术领域中具有较少经验的受训新手之间可能存在语言障碍。
发明内容
因此，本发明的目的是提供一种方法和系统，所述方法和系统提高了在技术领域的领域专家和受训者之间共享程序性知识的效率。
根据本发明的第一方面，该目的是通过一种包括权利要求1的特征的方法来实现的，所述方法用于为要由至少一个受训者T在技术环境中感兴趣物理对象的虚拟现实VR模型上施行的程序生成虚拟现实VR训练会话。
根据第一方面，本发明提供了一种用于为要由至少一个受训者T在技术环境中感兴趣物理对象的虚拟现实VR模型上施行的程序生成虚拟现实VR训练会话的方法，所述方法包括：将所述感兴趣对象的虚拟现实VR模型从数据库加载到虚拟现实VR创作系统中；由技术专家E指定相应程序的原子程序性步骤，并且由所述技术专家E在由虚拟现实VR创作系统提供的虚拟环境中，在感兴趣对象的加载的虚拟现实VR模型上施行指定的原子程序性步骤；以及记录由技术专家E在虚拟环境中施行的原子程序性步骤，并且链接所记录的原子程序性步骤以自动生成存储在数据库中且针对受训者T可用的虚拟现实VR训练会话。由技术专家E在三维虚拟环境中施行的每个所记录的原子程序性步骤均用由技术专家E在由所述虚拟现实VR创作系统提供的三维虚拟环境中选择的补充数据来丰富。补充数据包括照片、指令视频、录音、草图、幻灯片、文本文档和/或指令手册。
在根据本发明的第一方面的方法的可能实施例中，补充数据由所述虚拟现实VR创作系统从不同的数据源和/或数据库导入并链接到所记录的原子程序性步骤。
在根据本发明的第一方面的方法的进一步可能实施例中，技术专家E使用从数据库加载到所述虚拟现实VR创作系统中并由技术专家E在三维虚拟环境中用于施行相应的原子程序性步骤而选择的虚拟工具，在由虚拟现实VR创作系统提供的三维虚拟环境中施行一个或多个原子程序性步骤。
在根据本发明的第一方面的方法的仍进一步可能实施例中，由所述技术专家E在虚拟环境中将程序的每个所记录的原子程序性步骤链接到相同程序的至少一个先前所记录的程序性步骤，或者依赖于由技术专家E为所记录的原子程序性步骤选择的补充数据进行链接。
在根据本发明的第一方面的方法的进一步可能实施例中，存储在所述虚拟现实VR创作系统的数据库中的所生成的虚拟现实VR训练会话在训练操作模式下对受训者T的虚拟现实VR设备可用，所述虚拟现实VR设备向相应的受训者T显示训练会话的原子程序性步骤，在由受训者T的虚拟现实VR设备提供的三维虚拟环境中，模拟所显示的训练会话的原子程序性步骤。
在根据本发明的第一方面的方法的仍进一步可能实施例中，在检查操作模式下，由受训者T在由其虚拟现实VR设备提供的三维虚拟环境中施行的原子程序性步骤被记录，并与由领域专家E在虚拟现实VR创作系统的三维虚拟环境中施行的所记录的原子程序性步骤进行自动比较，以生成比较结果并反馈给受训者T，指示受训者T是否已经正确施行了相应的原子程序性步骤。
在根据本发明的第一方面的方法的仍进一步可能实施例中，存储和评估比较结果以分析受训者T的训练进度。
在根据本发明的第一方面的方法的仍进一步可能实施例中，使得存储在所述虚拟现实VR创作系统的数据库中的所生成的虚拟现实VR训练会话对合格受训者T的增强现实AR引导设备可用，所述引导设备向受训者T显示虚拟现实VR训练会话，所述受训者T在技术环境中模拟所显示的原子程序性步骤，以在感兴趣物理对象上施行程序。
在根据本发明的第一方面的方法的进一步可能实施例中，感兴趣对象的虚拟现实VR模型是从感兴趣物理对象的可用计算机辅助设计CAD模型或从所述感兴趣物理对象的扫描自动导出的。
在根据本发明的第一方面的方法的进一步可能实施例中，感兴趣对象的虚拟现实VR模型是表示由多个组件组成的感兴趣物理对象的分层结构的分层数据模型。
在根据本发明的第一方面的方法的进一步可能实施例中，由技术专家E或受训者T在三维虚拟环境中用于施行原子程序性步骤的虚拟工具从相应工具的可用计算机辅助设计CAD模型自动导出。
在根据本发明的第一方面的方法的仍进一步可能实施例中，由技术专家E或受训者T在三维虚拟环境中施行的原子程序性步骤包括在使用或不使用虚拟工具的情况下对感兴趣对象的至少一个所显示的虚拟组件进行操纵，特别是移动所显示的虚拟组件、移除所显示的虚拟组件、由另一虚拟组件替换所显示的虚拟组件、将虚拟组件连接到所显示的虚拟组件和/或改变所显示的虚拟组件。
根据第二方面，本发明进一步提供了一种虚拟现实VR创作系统，用于在感兴趣物理对象的虚拟现实VR模型上为要由至少一个受训者T施行的程序生成虚拟现实VR训练会话，包括权利要求13的特征。
根据第二方面，本发明提供了一种虚拟现实VR创作系统，用于为要由至少一个受训者T在感兴趣物理对象的虚拟现实VR模型上施行的程序生成虚拟现实VR训练会话，所述创作系统包括被配置为施行根据本发明的第一方面的方法的任何可能实施例的处理单元。
附图说明
在下文中，参考附图更详细地描述本发明的不同方面的可能实施例。
图1示出了用于图示自动共享程序性知识的系统的框图；
图2示出了用于自动共享程序性知识的方法的流程图；
图3示出了如由图1中所示出的系统和图2中所示出的方法所使用的数据集的示例性数据结构；
图4示意性地示出了可以由图2中所示出的方法和图1中所示出的系统生成的训练和/或引导序列的图示；
图5图示了图2中所示出的方法和图1中所示出的系统的可能操作；
图6图示了使用根据本发明的方面的虚拟现实训练创作系统的可能示例性实施例的图1中所示出的系统和图2中所示出的方法的可能操作；以及
图7示出了根据本发明的另一方面的用于生成虚拟现实VR训练会话的方法的可能示例性实施例的流程图。
具体实施方式
图1示意性地示出了用于在技术领域的领域专家E和受训者T之间自动共享程序性知识的系统1。系统1包括用于领域专家E和受训者T的计算设备3-1、3-2、3-3、3-4之间的通信的通信网络2。领域专家E和相关联的便携式计算设备3-i的数量以及穿戴便携式计算设备3-i的受训者T的数量可以依赖于用例而变化。不同的便携式计算设备3-i可以经由无线链路连接到通信网络2的接入点AP，或者间接地经由局域网的接入点和网关GW连接，也如图1中所图示的。用于在不同的领域专家E和受训者T之间自动共享程序性知识的系统或平台可以包括连接到通信网络2的至少一个中央服务器4。服务器4能够访问形成用于音频数据、视频数据、程序上下文数据、PCD以及指令数据（I数据）的数据存储的中央数据库5。如图1中所图示的不同专家El、E2具有关于在技术领域中要施行的程序的专业知识。例如，该程序可以是由相应专家E服务的机器M的维修程序或维护程序。如图1中所图示的，机器Ma和Mb经历由技术专家E施行例如维护或维修程序的程序性步骤的程序。领域专家El、E2的计算设备3-1、3-2适于在施行技术领域中的程序时，向平台或系统1的服务器4提供领域专家El、E2的观察。服务器4接收到的观察由服务器4的处理单元4A评估，以自动为受训者T生成指令。在如图1中所图示的其它机器Mc、Md上施行相应的程序时，所生成的指令可以被供应给受训者T穿戴的计算设备3-3、3-4。服务器包括处理单元4A，其适于处理接收到的观察，以自动为受训者T生成指令。除了处理单元4A之外，服务器4还包括虚拟助手4B，其适于在施行技术领域中的相应程序时与领域专家E1、E2和/或与受训者T3、T4交互，以触发或激起相应领域专家E和/或受训者T的观察、动作和/或评论。服务器4的虚拟助手4B可以包括自主代理，该自主代理适于在施行技术领域中的程序时与领域专家E和/或受训者T施行自主对话，以触发动作和/或得到由其计算设备3记录并经由系统1的通信网络2供应给服务器4的相应领域专家E和/或受训者T的评论。由领域专家E或受训者T施行的程序的程序上下文数据PCD由相应领域专家E或受训者T穿戴的相关联的计算设备3自动检索，并经由通信网络2供应给服务器4。由计算设备3检索的程序的程序上下文数据PCD可以包括由该程序中的相应领域专家E或受训者T服务的机器M的机器数据。在该程序期间由其计算设备3-i记录的领域专家E或受训者T的动作和/或评论可以包括音频数据和/或视频数据。音频数据和视频数据可以由处理单元4A连同该程序的程序上下文数据PCD一起自动评估，以提供或创建与相应领域专家E和/或受训者T的对话。另外，音频数据和/或视频数据可以由处理单元4A与该程序的程序上下文数据PCD一起自动评估，以经由其计算设备3-i为相应领域专家E和/或受训者T提供反馈。
如图1中所图示的，服务器4能够访问数据库5，其适于存储为多个领域专家E或受训者T记录的音频数据和/或视频数据连同相关联的程序上下文数据PCD。当施行程序的程序性步骤时，由领域专家E或受训者T的计算设备3在其计算设备3的所选择的操作模式下记录的动作和/或评论用与相应过程步骤和/或所选择的操作模式相关联的标签L来标记。与程序的相应程序步骤相关联的这些标签L可以由处理单元4A基于在技术领域中施行程序时领域专家E或受训者T的特定动作和/或评论和/或基于相应程序的程序上下文数据PCD而自动生成程序。
服务器4的处理单元4A可以包括处理器，该处理器适于基于相关联的标签和/或基于程序上下文数据而提取存储在数据库5中的程序步骤的相关音频数据和/或视频数据，以为要由受训者T施行的程序生成训练序列或引导序列，所述程序包括所提取的音频数据和/或所提取的视频数据。相关音频数据和/或视频数据的提取可以由处理单元4A中实现的人工智能模块施行。训练序列或引导序列可以由处理单元4A利用针对相应程序上下文从系统的数据库5加载的教学数据来丰富。教学数据可以包括例如从不同数据源收集的数据，特别是从机器M或机器组件的机器数据模型收集的文档数据、扫描数据和/或记录的音频和/或视频数据和/或先前由领域专家或受训者执行的引导序列。每个计算设备可以在不同的操作模式下操作。这些可选择的操作模式可以特别包括教导操作模式T-OM，其中由计算设备3提供的观察被标记为专家观察，以及学习操作模式L-OM，其中由计算设备3提供的观察被自动标记为受训者观察。
由专家E和/或受训者T携带的计算设备3-i是可由专家或受训者携带或附接到专家或受训者的便携式计算设备。这种可穿戴计算设备3-i可以包括一个或多个摄像机，由用户穿戴在他的头部、胸部或手臂上。可穿戴计算设备3进一步可以包括用户接口，该用户接口包括被布置成记录用户的语音的一个或多个麦克风。另外，可穿戴计算设备3的用户接口可以包括一个或多个扬声器或耳机。另外，每个可穿戴计算设备3-i包括允许设立与平台1的服务器4通信的通信单元。每个可穿戴计算设备3包括具有适当应用软件的至少一个处理器。计算设备3的处理器连接到可穿戴计算设备3的用户接口UI以接收传感器数据，特别是来自摄像机的视频数据和/或来自麦克风的音频数据。可穿戴计算设备3的计算单元或处理器适于在施行技术领域中的程序时提供用户的观察，并且经由计算设备3的通信接口和通信网络2将观察传输到平台的服务器4。设备3-i的计算单元适于预处理从摄像机和/或麦克风接收的数据，以检测用户的相关动作和/或评论。这些动作可以包括例如在技术领域的程序（诸如维修或维护程序）期间由专家E或受训者T拾起特定工具。相关动作的检测可以通过处理用户（即专家E或受训者T）的音频评论或者通过基于经处理的视频数据而检测特定手势来施行。
服务器4的软件代理4B适于与用户交互，并且可以特别包括向用户提供基于语音的接口的聊天机器人。包括聊天机器人的虚拟助手VA可以例如适于在施行技术领域中的程序时与领域专家E和/或受训者T进行交互。虚拟助手VA可以包括聊天机器人，以自主地施行与相应用户的对话。聊天机器人和用户之间施行的对话可以与由用户做出的操作和/或评论一致。例如，如果由用户的计算设备3提供的视频数据示出用户在维护或维修程序期间拾起特定工具来施行程序性步骤，则虚拟助手VA的聊天机器人可以生成关于用户当前动作的问题。例如，虚拟助手VA的聊天机器人可以向技术专家E询问关于他的当前操作的特定问题，诸如“你刚刚拾起的工具是什么
Figure DEST_PATH_IMAGE001
”。专家E响应于问题而做出的评论可以由专家E的计算设备3记录下来，并传输到系统的服务器4，以作为由专家E施行的维修或维护程序的程序性步骤的音频数据存储在数据库5中。在专家E已经拾起工具并回答聊天机器人的问题之后，专家E可以开始施行对机器的维护或维修。专家E的计算设备3自动记录专家正在做什么的视频连同由专家E在利用拾取的工具施行的维修或维护动作期间做出的潜在评论。在该程序期间，由其计算设备3记录的领域专家E的动作和/或评论可以包括音频数据，该音频数据包括专家的评论和/或示出专家的动作的视频数据，其可以由虚拟助手VA的自主代理评估，以提供或生成输出到专家E的对话元素来继续交互式对话。并行地，由专家E施行的程序的程序上下文可以由专家穿戴的计算设备3检索并经由通信网络2供应给服务器4。这些上下文数据可以包括例如从由专家E维护或维修的机器M的本地存储器读取的机器数据。在图1中所图示的示例中，由领域专家E2服务的机器Mb包括存储机器Mb的机器数据的本地存储器6，所述机器数据可以由专家的计算设备3-2检索并转发到平台的服务器4。过程的上下文数据例如可以指示用于标识机器Mb的机器类型，该机器类型可以作为程序上下文数据PCD存储在数据库中。服务器4可以将为程序的程序性步骤记录的音频数据和/或视频数据连同相关联的程序上下文数据PCD一起存储在数据库5中。这些音频数据和/或视频数据可以用与相应程序性步骤相关联的标签L进行标记。在技术领域中施行程序时，处理单元4A可以基于用户的特定动作和/或评论而自动生成标签。用户在程序期间做出的评论可以被处理，以检测可以用作相应程序的程序上下文数据PCD的关键字。由相应用户的计算设备3作为观察而生成的音频数据和/或视频数据的标签和/或标记可以作为相应音频数据和/或视频数据的程序上下文数据PCD连同音频数据和/或视频数据一起存储在系统的数据库5中。标签和/或标记可以自动施行，例如基于从机器M的本地存储器读取的机器数据。可以由专家E或用户在程序期间通过对计算设备3的用户接口UI的麦克风说出的特定评论来做出标记，所述特定评论包括例如用于标记由用户的计算设备的传感器提供的音频和/或视频数据的关键字。受训者T的可穿戴计算设备3可以包括穿戴在受训者的头部的附加显示单元，以向受训者T提供关于处置相应机器的引导或训练序列。
虚拟助手VA的聊天机器人还可以与受训者T施行对话，例如在程序期间接收受训者的问题，诸如“我现在需要这些工具中的哪一个
Figure 870480DEST_PATH_IMAGE002
”。虚拟助手VA可以回放专家E先前所记录的视频，示出他们在维护和/或维修程序期间在特定情况下正在做什么。虚拟助手VA可以进一步允许受训者T向系统反馈给定的指令对他的目的有多有用。
平台的数据库5适于索引或标记单独视频和/或音频数据序列的程序步骤。处理单元4A可以包括人工智能模块AIM，其适于提取所记录的视频和/或音频序列的相关片段，并根据专家E在程序的特定情况下做出的评论以及基于包括在视频序列或音频序列中的数据而对它们进行索引。人工智能模块AIM可以被设计成当受训者T在程序期间需要它们时，向数据库5查询适当的视频数据。服务器4还可以向用户发送诸如电子邮件之类的通信消息，并且还可以向已经与受训者T共享有用知识的专家E发送奖励。
图5示意性地示出了图示系统与用户的交互的示例。在所图示的示例中，两个专家“Jane”（El）和“Jack”（E2）借助于其便携式计算设备3与系统1连接，用于与受训者“Joe”（T）自动共享程序性知识。
专家E和受训者T之间可能的对话可以如下。首先，第一专家“Jane”（El）正在程序中（例如在机器Ma的维修或维护程序中）工作。在操作期间，领域专家“Jane”（El）的动作和/或评论由其计算设备3-1监测，以在程序期间监测有趣动作和/或评论。计算设备3包括集成的虚拟助手VA，其适于通过施行在可能的实施方式中也可以由集成在服务器4的模块4B中的虚拟助手VA支持的程序来与用户交互。如果计算设备3检测到第一专家“Jane”（El）正在施行有趣的事情，则虚拟助手VA的聊天机器人可以向第一专家“Jane”（El）询问问题。
“Jane”（El）的计算设备3：“打扰一下，Jane，你一直在使用的那个工具是什么
Figure 787620DEST_PATH_IMAGE002
”。
专家“Jane”（El）的回答：“哦，那是我需要用来固定外壳左上螺丝的螺丝刀”。
然后聊天机器人可以经由专家“Jane”的计算设备3询问：“啊，你怎么固定外壳中的螺丝
Figure 505040DEST_PATH_IMAGE002
”这触发了技术专家“Jane”的回答：“看，像这样，就在这里”，同时领域专家施行将螺丝固定在机器外壳中的动作，该动作由其计算设备3的摄像机记录。对话可以由虚拟助手VA的聊天机器人完成，如下“感谢你！”。
稍后，如果第二专家“Jack”（E2）正在拆开类似的机器M，则处理单元可以连续地评估由计算设备所提供的视频和/或音频数据，以检测由专家施行的程序性步骤。在示例中，处理单元4A的人工智能模块AIM可能已经从另一位专家“Jane”（El）的先前记录中学到，视频数据示出了特定组件或元件，例如第一专家“Jane”先前装配在机器M的外壳中的螺丝。已经进行该观察之后，虚拟助手VA的聊天机器人可以向第二专家“Jack”（E2）询问问题如下：“打扰一下，Jack，那是你想用来装配外壳的螺丝吗
Figure 900250DEST_PATH_IMAGE003
”这可能触发第二专家“Jack”的以下回复：“是的，确实是......”。虚拟助手VA的聊天机器人然后可以通过感谢第二专家“Jack”来结束对话：“感谢你！”。
稍后，受训者T可能具有通过装配螺丝来固定外壳的任务，并且没有知识或经验来按照要求进行。受训者T可以经由其计算设备3在以下对话中向平台询问建议。受训者“Joe”可能询问：“好的，人工智能模块，请告诉我应该使用什么螺丝来固定外壳
Figure 714622DEST_PATH_IMAGE003
”受训者“Joe”的计算设备3可以输出例如：“是这里的这个东西......”。
相同时刻，平台借助于其计算设备3的显示器向受训者“Joe”示出先前由第二专家“Jack”（E2）的计算设备3所记录的图像或视频，其中突出显示相应的组件，即螺丝。受训者“Joe”然后可以经由其计算设备3向系统询问后续问题：“好的，以及我该如何固定它
Figure 474768DEST_PATH_IMAGE001
”受训者T的计算设备3的用户接口UI输出的回答可以是：“你可以使用如所示出的螺丝刀......”，其中受训者“Joe”的显示器输出已经由第一专家“Jane”的计算设备3所记录的视频序列。受训者T可以结束对话，例如通过以下评论：“感谢，那很有帮助！”。
最后，专家“Jack”和“Jane”二者可以经由他们的便携式计算设备3上的应用从系统接收感谢。例如，第一专家“Jane”（El）的便携式计算设备3可以显示以下消息；“感谢Joe使用螺丝刀帮助装配机器外壳”！在另一位专家“Jack”（E2）的计算设备3上，也可以输出感谢消息如下：“感谢Joe标识螺丝！”。
该系统可以利用聊天机器人的交互格式向技术领域中的专家询问问题。在便携式计算设备3和/或平台的服务器4上实现的虚拟助手VA的聊天机器人可以使专家E进入健谈的氛围，使得专家E愿意共享专家知识。类似地，在受训者T的计算设备a3或平台的服务器4上实现的聊天机器人将减少受训者询问问题的抑制，使得受训者T更愿意询问建议。系统1可以在可穿戴计算设备3上记录和播放视频，使得受训者T可以在实际程序期间看到来自相同视角的视频指令。系统1可以进一步使用来自被评估或处理的所记录视频的音频轨迹来提取视频序列中的某些元素。另外，系统可以为专家E提供用于与受训者T共享其专家知识的奖励。系统1不需要任何努力来明确提供指令。当聊天机器人询问时，专家E可以在程序期间不减慢他们的工作过程的情况下分享他们的知识。因此，领域专家E的观察可以在相应技术领域中的专家E的常规正常程序期间进行。因此，在正常常规中，当虚拟助手VA的聊天机器人询问时，专家E可以向系统1提供知识。
与传统平台相比，在传统平台上，专家E明确地教导可能站着观看系统的受训者T可以无限缩放。虽然训练者一次仅可以教导两个或更多个受训者，但是由系统1所记录和共享的内容可以被分发到无限数量的分布式受训者T。
系统1还可以使用机器或目标设备的上下文数据。例如，专家E的计算设备3可以从专家E正在服务的机器M的本地存储器检索机器标识数据，包括例如机器的类型。该信息可以连同所记录的音频和/或视频数据一起存储在数据库5中。类似地，受训者T的计算设备3可以查询受训者T正在服务的机器M，并且处理单元4A的人工智能模块AIM然后可以搜索类似机器的视频和/或音频数据。
附加教学材料或数据存储在数据库5中，例如部件图或动画3D数据模型。例如，受训者T的计算设备3可以示出由受训者T正在服务的机器M的三维图。该三维图可以存储在系统1的数据库5中，并且受训者T可以明确地查询它，使得例如人工智能模块AIM将向受训者T建议如下：“我可以向你示出机器组件的模型吗
Figure 741801DEST_PATH_IMAGE001
”存在若干可能的机制以用于提供附加数据，特别是可以链接到所记录的视频和/或音频数据而无需明确注释的附加教学数据。例如，如果专家在施行程序或任务时在其便携式计算设备3上观看特定的三维数据模型，则这可以由他的便携式计算设备3记录。当施行相同的任务时，可以然后向受训者T示出相同的模型。另外，如果每个数据模型包括标题，则受训者可以通过在他的计算设备3的用户接口UI中输入的语音命令来搜索适当的数据模型。
在服务器4的处理单元4A中实现的人工智能模块AIM可以包括神经网络NN和/或知识图。
受训者T的计算设备3还可以被配置为在受训者的计算设备3的显示器上突出显示增强现实AR视图中的特定机器部件。受训者T的计算设备3可以包括类似于专家E的计算设备的摄像机。专家E的计算设备3可以检测受训者的当前视图中也出现在专家E所记录的视频中的项目，并且如果它们是相关的，则受训者T的计算设备3然后可以突出显示它们。
受训者T和专家E的计算设备3在硬件和/或软件方面可以相同。它们包括摄像机和显示单元二者。因此，同事可以使用这些计算设备对称地共享知识，即一个技术领域中的受训者T可以是另一技术领域的专家E，并且反之亦然。
图2示出了用于在领域专家E和受训者T之间自动共享程序性知识的方法的流程图。图2中所图示的方法可以使用如图1中所图示的平台来施行。
在第一步骤S1中，服务器通过施行技术领域中的程序来接收由领域专家E的计算设备做出的观察。
在进一步的步骤S2中，接收到的观察由服务器处理以自动生成用于受训者T的指令。
在进一步的步骤S3中，由服务器向受训者T在施行技术领域中的相应程序时穿戴的计算设备提供所生成的指令。
图3示意性地图示了可以由图1和2中所示出的方法和系统使用的可能的数据结构。所记录的音频数据和/或视频数据将连同程序上下文数据PCD一起存储在平台的数据库5中。程序上下文数据PCD可以包括例如在维护或维修程序期间由相应领域专家E和/或受训者T服务的机器M的机器数据。另外，程序上下文数据PCD可以包括在音频数据和/或视频数据的记录期间所生成的标签L。程序上下文数据PCD例如可以包括与相应的程序步骤和/或所选择的操作模式OM相关联的标签L。平台的每个计算设备3-i可以在一组可选择的操作模式下操作。这些操作模式OM可以在可能的实施方式中包括教导操作模式T-OM，其中由计算设备3所提供的观察被自动标记为专家观察。另外，操作模式可以包括学习操作模式L-OM，其中由计算设备3所提供的观察被自动标记为受训者观察。这些标记或标签可以连同所记录的音频数据和/或视频数据一起存储为程序上下文数据PCD。存储为程序上下文数据PCD的标签L也可以响应于用户在程序期间做出的评论而生成。另外，程序上下文数据PCD可以通过在程序期间记录为视频数据的动作（例如用户做出的特定手势）来自动生成。程序上下文数据PCD可以包括在程序期间自动生成的多个另外的信息数据，例如，指示何时已经记录了音频数据和/或视频数据的时间戳，指示已经记录了音频数据和/或视频数据的位置的位置数据，以及提供关于已经在程序内施行了程序性步骤的用户的信息的用户简档数据，包括关于相应用户的知识水平的信息，特别是用户被视为相应程序的专家E还是受训者T。其它可能的程序上下文数据PCD可以包括关于相应用户所说的语言的信息。
图4图示了由平台使用存储在平台的数据库5中的数据输出的训练和/或引导序列。服务器4的处理单元4A可以适于基于相关联的程序上下文数据PCD而提取存储在数据库5中的程序步骤的相关音频数据和/或视频数据，以生成或装配包括提取的音频数据和/或提取的视频数据的用于受训者T的训练和/或引导序列。存储在数据库5中的所记录的音频数据和/或所记录的视频数据可以根据受训者T和在受训者T的计算设备3-i中或在平台的服务器4上实现的虚拟助手VA的聊天机器人之间施行的对话，经由受训者T的计算设备3输出。所记录的音频数据和视频数据可以作为不同信息信道经由受训者T的便携式计算设备3的显示单元和经由受训者T的计算设备3的用户接口的耳机同时并行输出。在图4的所图示的示例中，从第一专家El所记录的第一音频数据ADATA1可以连同示出该专家El的动作的视频数据一起显示给受训者T。程序内的下一个程序性步骤可以通过来自第二专家E2所记录的另外的音频数据ADATA2连同作为VDATA2示出的该其他专家E2的动作的视频数据一起向受训者T进行解释。在所图示的示例中，视频数据流VDATA2的长度比专家E2的音频数据ADATA2短，并且由指令数据跟随，特别是在该程序步骤期间由第二专家E2处置的相应机器组件的机器数据模型MDM。图4中所图示的训练序列或引导序列可以由第三专家E3的声学数据ADATA3跟随，其解释了没有可用视频数据的另外的程序性步骤。如可以看出的，训练序列或引导序列包括使用程序上下文数据PCD连结或链接的一系列音频数据集和/或视频数据集。由受训者T施行的程序的训练序列或引导序列包括存储在平台的数据库5中的所提取的音频数据和/或所提取的视频数据。训练或引导序列可以由处理单元4A利用从系统的数据库5加载的用于相应程序上下文数据PCD的教学数据来丰富。用于丰富训练和/或引导序列的这些教学数据可以包括从不同数据源收集的数据，包括文档数据、机器数据模型、所扫描的数据、训练和/或引导序列的所记录的音频和/或视频数据，所述训练和/或引导序列先前由领域专家或受训者执行。所收集的数据可以包括由不同数据源提供的数据，包括要维护的机器M的CAD模型、真实维护程序的照片或视频和/或特殊工具或部件的三维扫描。要维护的机器的CAD模型通常包括构造模型，不一定为训练而设计。可以简化CAD模型并将其转换为适合于训练的格式，例如通过从模型移除与训练过程在视觉上无关的小部件或组件。这可以通过由服务器4的处理单元4A施行的自动模型转换和简化过程来实现。
数据源还可以提供真实维护程序的照片或视频。这些可以从先前的现场训练会话获得。此外，可以使用非VR文档，诸如草图或幻灯片。这些文档可以自动转换成图像，从而形成附加的教学数据。另外，数据源可以包括特殊工具或部件的三维扫描。如果特殊工具或部件不可用作CAD模型，则可以使用激光扫描仪或摄影测量重建，从物理可用部件为这些用户部件生成或创建三维扫描。
诸如CAD模型或照片之类的预先存在的数据，可以由平台导入到虚拟现实VR训练创作系统中，也如图6中示意性图示的。领域专家E可以使用VR训练创作系统，该系统允许领域专家E指定受训者T应该学习的任务程序，特别是在虚拟现实VR环境内。在可能的实施例中，所实现的创作系统可以包括在VR中突出显示或选择导入的CAD模型或扫描的特殊工具的不同部分的过程。系统1的另外的功能可以是适于从系统1已经从数据源导入的图像集选择预先存在的图像或照片的过程。系统1可以包括存储在数据库中的库，该库包括预定义的工具，诸如扳手、螺丝刀、锤子等，以及在虚拟现实VR中选择它们的方式。该平台还可以提供在VR中指定原子操作或程序性步骤的功能，诸如利用特定扳手（即工具）移除特定螺丝（即感兴趣对象的组件）。平台或系统1进一步包括创建动作序列的功能，例如移除第一螺丝，然后移除第二螺丝等，从而形成VR训练会话的一部分。该平台进一步可以提供将图像、视频、草图和/或其它非虚拟现实VR文档数据作为补充数据布置在三维环境内有用位置的功能，可选地与形成训练会话的动作序列中的特定程序性步骤相关联。该平台可以进一步提供将具有添加的支持照片的动作序列保存为训练和/或引导序列的功能。
受训者T可以使用平台提供的VR训练创作系统。该系统可以允许导入一系列动作和由领域专家E在创作系统中指定的支持图像或照片的布置，使其作为虚拟现实VR训练体验对受训者T可用。该平台可以提供在虚拟现实VR中在受训者T穿戴的计算设备3的显示单元上显示CAD模型、专用工具、标准工具和支持照片的功能。受训者T可以在VR中施行原子操作，包括组件操纵，诸如利用特定扳手来移除特定螺丝。在训练模式下，平台可以突出显示训练会话的原子动作序列内每个原子动作中要使用的部件和工具。在可能的检查模式下，由受训者T服务的机器M的部件或组件没有被突出显示，但是受训者T可以接收关于其是否已经正确施行了程序步骤的反馈。
因此，平台或系统1可以使用基于虚拟现实VR的创作系统和预先存在的数据的自动转换来为受训者T创建虚拟现实训练会话。系统1允许使用CAD模型的特定部分、虚拟工具将应该在训练中学习的程序分解成一系列原子动作，并且可以由辅助文档支持。
图7示出了根据本发明的方面的用于生成虚拟现实VR训练会话的方法的可能实施例的流程图。
如在图7的流程图中可以看出的，根据本发明的方面的用于生成虚拟现实VR训练会话的方法可以包括若干主要步骤S71、S72、S73。
在第一步骤S71中，将感兴趣对象的虚拟现实VR数据模型从数据库加载到虚拟现实VR创作系统中。这样的虚拟现实VR创作系统在图6中在中间图示，并且可以由技术专家E操作。技术专家E可以使用虚拟现实VR创作系统来为要由至少一个受训者T在技术环境中感兴趣的物理对象上施行的程序生成虚拟现实VR训练会话。在可能的实施例中，感兴趣对象的虚拟现实VR数据模型可以从可用的感兴趣物理对象的计算机辅助设计CAD模型自动导出，也如图6中所图示的，或者从感兴趣对象的scam pf导出。在可能的实施例中，感兴趣物理对象的计算机辅助设计CAD数据模型可以由虚拟现实VR创作系统的转换单元自动转换或变换。计算机辅助设计CAD模型是三维数据模型。在优选的实施例中，从CAD模型导出的感兴趣对象的虚拟现实VR模型是表示由多个组件组成的感兴趣物理对象的分层结构的分层数据模型。感兴趣物理对象例如可以包括由子系统组成的机器，其中每个子系统具有多个互连的组件或机器部件。如果特殊工具或部件不可用作CAD模型，则可以使用例如激光扫描仪或摄影测量重建从实际物理部件创建它们的三维扫描。感兴趣物理对象的计算机辅助设计CAD模型可以例如存储在图1中所图示的系统的数据库5中，并且由处理单元4A自动转换成感兴趣对象（例如相应机器）的虚拟现实VR模型。
在进一步的步骤S72中，相应程序的原子程序步骤由技术专家E使用训练创作系统指定，也如图6中所图示的。技术专家E在虚拟现实VR创作系统提供的虚拟环境中对感兴趣对象的加载虚拟现实VR数据模型施行指定的原子程序性步骤。在可能的实施例中，技术专家E在由虚拟现实VR创作系统提供的三维虚拟环境中使用也从数据库加载到所述虚拟现实VR创作系统中并由技术专家E在三维虚拟环境中用于施行相应的原子程序性步骤而选择的虚拟工具来施行一个或多个原子程序性步骤。在可能的实施例中，由技术专家E在三维虚拟环境中用来施行原子程序性步骤的虚拟工具也是从相应工具的可用计算机辅助设计CAD模型自动导出的。由技术专家E在三维虚拟环境中施行的原子程序性步骤包括在使用或不使用虚拟工具的情况下操纵感兴趣对象的至少一个显示的虚拟组件。原子程序性步骤可以包括例如移动所显示的虚拟组件、移除所显示的虚拟组件、由另一虚拟组件对所显示的虚拟组件进行替换、将虚拟组件连接到所显示的虚拟组件和/或改变所显示的虚拟组件。
在进一步的步骤S73中，由技术专家E在虚拟环境中施行的原子程序性步骤被记录，并且所记录的原子程序性步骤被链接以自动生成存储在数据库中的虚拟现实VR训练会话，在所述数据库中，一个或多个受训者T可获得所述训练会话。
由技术专家E在三维虚拟现实VR环境中施行的每个所记录的原子程序性步骤均由技术专家E在虚拟现实VR授权系统提供的三维虚拟环境中选择的附加或补充数据来丰富。补充数据可以由虚拟现实VR创作系统从专家E所选择的不同数据源和/或数据库导入，并链接到所记录的原子程序性步骤。这些补充数据可以包括例如照片、指令视频、录音、草图、幻灯片、文本文档和/或指令手册。
在可能的实施例中，通过施行对应的链接输入命令，由技术专家E在虚拟环境中将程序的每个所记录的原子程序性步骤链接到相同程序的至少一个先前所记录的程序性步骤。在进一步可能实施例中，依赖于技术专家E为所记录的原子程序性步骤选择的补充数据，将程序的每个所记录的原子程序性步骤自动链接到相同程序的至少一个先前所记录的程序性步骤。
在技术专家E已经使用虚拟现实VR创作系统生成虚拟现实VR训练会话之后，所生成的虚拟现实VR训练会话可以存储在系统的数据库5中，并且可以使得所述训练会话对一个或多个受训者T可用，以学习该程序。例如，该程序可以是要在感兴趣物理机器上施行的维修或维护程序。可以使得存储在虚拟现实VR创作系统的数据库5中的所生成的虚拟现实VR训练会话在训练操作模式下对受训者T的虚拟现实VR设备可用。例如，受训者T可以穿戴虚拟现实VR耳机，以能够访问所存储的训练会话。诸如虚拟现实VR耳机或虚拟现实VR护目镜之类的虚拟现实VR设备适于将所存储的训练会话的原子程序性步骤显示给相应的受训者T，所述受训者T也在由受训者T的虚拟现实VR设备提供的三维虚拟环境中模拟所显示的训练会话的原子程序性步骤，也如图6中所图示的。受训者T可以通过尝试分解相应机器的不同组件来探索感兴趣对象（即机器）的虚拟现实VR机器模型。在可能的实施例中，存储在数据库5中的所记录的先前生成的虚拟现实VR训练会话可以由受训者T的虚拟现实VR设备下载以向受训者T显示虚拟现实VR会话。在进一步可能实施例中，由专家E所生成的虚拟现实VR训练会话被在线应用于受训者T，即当专家E仍然正在虚拟环境内操作时。在该实施例中，受训者T和技术专家E二者都同时存在于由虚拟现实VR训练系统所提供的虚拟环境中，并且可以彼此交互。例如，技术专家E可以在虚拟现实VR训练会话期间通过语音或指向部件或组件来引导受训者T。受训者T试图根据他的能力在程序性步骤期间复制或模拟对感兴趣对象或感兴趣对象的组件的操纵。
在可能的实施例中，虚拟现实VR创作系统可以在不同的操作模式之间切换。在生成操作模式下，技术专家E可以使用虚拟现实VR创作系统来生成虚拟现实VR训练会话，用于对任何感兴趣物理对象施行任何感兴趣程序。虚拟现实VR创作系统可以切换到训练操作模式，其中受训者T的虚拟现实VR设备将所生成的训练会话的原子程序性步骤输出到相应的受训者T。虚拟现实VR训练创作系统还可以切换到检查操作模式。在检查操作模式下，受训者T在由虚拟现实VR设备提供的三维虚拟环境中施行的原子程序性步骤被记录，并且与由领域专家E在虚拟现实VR创作系统的三维虚拟环境中施行的所记录的原子程序性步骤进行自动比较。在检查操作模式下，由受训者T施行的原子程序性步骤和由领域专家E施行的程序性步骤被彼此比较以生成比较结果，该比较结果被评估以向受训者T提供反馈，该反馈向受训者T指示受训者T是否已经正确地施行了相应的原子程序性步骤。在可能的实施例中，可以存储和评估比较结果以分析受训者T的训练进度。如果比较结果示出由受训者T施行的程序性步骤与由技术专家E施行的程序性步骤相同或几乎相同，则受训者T可以被分类为有能力在真实感兴趣物理对象上施行该程序的合格受训者。
在可能的实施例中，可以使得存储在虚拟现实VR创作系统的数据库中的虚拟现实VR训练会话对合格的受训者T的增强现实AR引导设备可用，该引导设备将虚拟现实VR训练会话显示给在技术环境中模拟所显示的原子程序性步骤的受训者T，以在感兴趣物理对象上（即在现实世界中）施行该程序。
在训练操作模式期间和/或在虚拟现实VR创作系统的检查操作模式期间，由技术专家E或受训者T在三维虚拟环境中施行的程序性步骤可以包括在使用或不使用任何种类的虚拟工具的情况下对感兴趣对象的至少一个所显示的虚拟组件的任何类型的操纵。原子程序性步骤例如可以包括移动所显示的虚拟组件，即将所显示的虚拟组件的组件从三维虚拟环境中的第一位置移动到三维虚拟环境中的第二位置。另外，操纵可以包括从虚拟环境重新移动所显示的虚拟组件。可以在原子程序性步骤中施行的另外的基本操纵可以包括由另一虚拟组件替换所显示的虚拟组件。另外的原子程序性步骤可以包括将三维虚拟环境中的虚拟组件与所显示的虚拟组件连接。另外，原子程序性步骤可以包括作为改变所显示的虚拟组件，例如改变所显示的虚拟组件的形状和/或材料的操纵。
如图7的流程图中所图示的用于生成虚拟现实VR训练会话的方法具有显著的优点，即不需要编程来创建特定的训练会话。一旦已经实现了虚拟现实VR创作系统，领域专家E就可以使用虚拟现实VR训练创作系统来创建任何种类的单独虚拟现实VR训练会话，而不需要任何编程以及不需要技术专家E的任何编程技能。
虚拟现实VR训练创作系统可以与虚拟现实VR远程呈现系统相组合，其中充当训练者的领域专家E和多个受训者T可以虚拟地并置出现在系统内并且其中例如领域专家E可以虚拟地指向相应感兴趣对象的虚拟现实VR模型的部分，并且甚至可以在虚拟现实VR训练会话的执行期间在受训者T的虚拟现实VR设备上使用语音通信来实时给出引导。受训者T还可以在执行期间通过语音通信向相应领域专家E给出反馈。
在可能的实施例中，受训者T通过下载存储在数据库5中预先记录的虚拟现实VR训练会话来离线施行训练会话。在替代实施例中，受训者T可以在线施行虚拟现实VR训练会话，即在训练会话的执行期间通过通信信道与领域专家E双向通信。在可能的实施例中，受训者T使用的虚拟现实VR训练系统可以在在线操作模式（具有在训练会话期间与领域专家E的双向通信）和离线训练操作模式（在不与领域专家E交互的情况下施行训练会话）之间切换。在可能的实施方式中，在线训练会话期间的双向通信也可以在虚拟现实VR系统中施行，例如领域专家E可以由在虚拟现实VR中移动的化身来表示，以在虚拟现实VR中向受训者T给出引导。在进一步可能的实施方式中，技术领域专家E的虚拟表示和/或技术受训者T的虚拟表示可以在虚拟环境中自由移动，该虚拟环境示出了例如包括不同感兴趣物理对象（诸如制造机器）的设施的制造室。
根据本发明的虚拟现实VR训练系统可以在在线训练模式（具有与技术领域专家E的双向通信）和离线训练模式（不具有与技术领域专家E的双向通信）之间切换。在这两种操作模式下，受训者T可以在正常训练操作模式、检查操作模式和/或引导操作模式之间进行选择，其中受训者T在真实技术环境中模拟所显示的原子程序性步骤，以在感兴趣物理对象或机器上施行学习的程序。在可能的实施方式中，仅当受训者T已经被授权为合格的受训者，即已经证明他在感兴趣物理对象（例如技术环境中的真实世界机器）上进行了充分的训练进度来施行该程序时，才可以激活引导操作模式。任何受训者T的训练进度都可以在检查操作模式下生成的比较结果的基础上自动分析。另外，比较结果向训练会话的创作者（即相应的技术专家E）给出以下反馈：所生成的训练会话是否高效地向受训者教导该程序。如果由多个受训者T进行的训练过程不充分，则领域专家E可以修改所生成的训练会话以实现更好的训练结果。
用于为要在感兴趣物理对象上施行的过程生成虚拟现实VR训练会话的方法可以与用于在领域专家E和受训者T之间自动共享程序性知识的系统相组合。通过施行原子程序性步骤对领域专家E的观察可以被自动评估，以自动生成供应给受训者T的虚拟现实VR设备的针对受训者T的指令。在虚拟现实VR创作系统的在线操作模式下，虚拟助手可以包括自主代理，该自主代理适于在施行程序时自主地施行与领域专家E和/或受训者T的对话。
与传统系统相比，平台1不需要编程来创建特定训练会话。一旦已经实现了VR创作系统，并且一旦已经提供了基本的回放虚拟现实VR训练系统，领域专家E就可以使用平台提供的VR训练创作系统来自动创建和生成他们自己的VR训练会话。这使训练更快且更高效。
虚拟现实VR系统不仅可以用作VR训练系统，而且可以用作增强现实AR引导系统。相同的数据，包括步骤序列、照片、CAD模型和扫描的三维模型，可以用于向在现场中正在真实机器M上施行真实维护任务的过程中的受训者T回放适当的动作序列。
在根据本发明的方面的虚拟现实VR系统的进一步可能实施例中，该系统可以创建维护工作流的360度视频。这可以作为非交互式训练数据使用。例如，受训者T或工人可以就在实际施行相应的任务或程序之前，使用卡板式智能电话VR耳机来审查现场中维护程序的360度视频。
在仍进一步可能的实施例中，虚拟现实VR系统可以与VR远程呈现系统相组合，其中领域专家E可以充当受训者，并且多个受训者T然后可以虚拟地并置出现在VR训练系统内，并且训练者E可以虚拟地指向CAD模型的部分并且可以使用语音通信来向受训者T给出引导。在仍进一步可能的实施例中，受训者T可以记录他们自己的训练会话，用于个人审查或由检查者或专家E审查。
参考标记的列表
E： 专家；
T： 受训者；
1： 系统；
2： 通信网络；
3-i：计算设备；
GW：网关；
AP：接入点；
4： 中央服务器；
5： 中央数据库；
M： 机器；
4A：处理单元；
4B：虚拟助手；
ADATA：音频数据；
VDATA：视频数据；
PCD：程序上下文数据；
S1-S3：用于在领域专家E和受训者T之间自动分享程序性知识的方法的步骤；
MDM：机器数据模型；
S71-S73：用于生成VR训练会话的方法的步骤。

Claims (13)

1.一种用于为要由至少一个受训者T在技术环境中感兴趣物理对象的虚拟现实VR模型上施行的程序生成虚拟现实VR训练会话的方法，
所述方法包括以下步骤：
（a）将所述感兴趣对象的虚拟现实VR模型从数据库加载（S71）到虚拟现实VR创作系统中；
（b）由技术专家E指定（S72）相应程序的原子程序性步骤，并且由所述技术专家E在由虚拟现实VR创作系统提供的虚拟环境中，在感兴趣对象的加载的虚拟现实VR模型上施行指定的原子程序性步骤；以及
（c）记录（S73）由技术专家E在虚拟环境中施行的原子程序性步骤，并且链接所记录的原子程序性步骤以自动生成存储在数据库中且针对受训者T可用的虚拟现实VR训练会话，
其中由技术专家E在三维虚拟环境中施行的每个所记录的原子程序性步骤均用由技术专家E在由所述虚拟现实VR创作系统提供的三维虚拟环境中选择的补充数据来丰富，并且
其中所述补充数据包括照片、指令视频、录音、草图、幻灯片、文本文档和/或指令手册。
2.根据权利要求1所述的方法，其中所述补充数据由所述虚拟现实VR创作系统从不同的数据源和/或数据库导入并链接到所记录的原子程序性步骤。
3.根据权利要求1或2所述的方法，其中所述技术专家E使用从数据库加载到所述虚拟现实VR创作系统中并由技术专家E在三维虚拟环境中用于施行相应的原子程序性步骤而选择的虚拟工具，在由虚拟现实VR创作系统提供的三维虚拟环境中施行一个或多个原子程序性步骤。
4.根据前述权利要求1至3中任一项所述的方法，其中由所述技术专家E在虚拟环境中将程序的每个所记录的原子程序性步骤链接到相同程序的至少一个先前所记录的程序性步骤，或者依赖于由技术专家E为所记录的原子程序性步骤选择的补充数据进行链接。
5.根据前述权利要求1至4中任一项所述的方法，其中使得存储在所述虚拟现实VR创作系统的数据库中的所生成的虚拟现实VR训练会话在训练操作模式下对受训者T的虚拟现实VR设备可用，所述虚拟现实VR设备向相应的受训者T显示训练会话的原子程序性步骤，在由受训者T的虚拟现实VR设备提供的三维虚拟环境中，模拟所显示的训练会话的原子程序性步骤。
6.根据前述权利要求1至5中任一项所述的方法，其中在检查操作模式下，由受训者T在由其虚拟现实VR设备提供的三维虚拟环境中施行的原子程序性步骤被记录，并与由领域专家E在虚拟现实VR创作系统的三维虚拟环境中施行的所记录的原子程序性步骤进行自动比较，以生成比较结果并反馈给受训者T，指示受训者T是否已经正确施行了相应的原子程序性步骤。
7.根据权利要求6所述的方法，其中存储和评估比较结果以分析受训者T的训练进度。
8.根据前述权利要求1至7中任一项所述的方法，其中使得存储在所述虚拟现实VR创作系统的数据库中的所生成的虚拟现实VR训练会话对合格受训者T的增强现实AR引导设备可用，所述引导设备向受训者T显示虚拟现实VR训练会话，所述受训者T在技术环境中模拟所显示的原子程序性步骤，以在感兴趣物理对象上施行程序。
9.根据前述权利要求1至8中任一项所述的方法，其中感兴趣对象的虚拟现实VR模型是从感兴趣物理对象的可用计算机辅助设计CAD模型或从所述感兴趣物理对象的扫描自动导出的。
10.根据前述权利要求1至9中任一项所述的方法，其中感兴趣对象的虚拟现实VR模型是表示由多个组件组成的感兴趣物理对象的分层结构的分层数据模型。
11.根据前述权利要求1至10中任一项所述的方法，其中由技术专家E或受训者T在三维虚拟环境中用于施行原子程序性步骤的虚拟工具从相应工具的可用计算机辅助设计CAD模型自动导出。
12.根据前述权利要求1至11中任一项所述的方法，其中由技术专家E或受训者T在三维虚拟环境中施行的原子程序性步骤包括在使用或不使用虚拟工具的情况下对感兴趣对象的至少一个所显示的虚拟组件进行操纵，特别是移动所显示的虚拟组件、移除所显示的虚拟组件、由另一虚拟组件替换所显示的虚拟组件、将虚拟组件连接到所显示的虚拟组件和/或改变所显示的虚拟组件。
13.一种虚拟现实VR创作系统，用于为要由至少一个受训者T在感兴趣物理对象的虚拟现实VR模型上施行的程序生成虚拟现实VR训练会话，所述创作系统包括被配置为施行根据前述权利要求1至12中任一项所述的方法的处理单元。
CN201980056343.0A 2018-06-26 2019-06-24 用于生成虚拟现实训练会话的方法和系统 Pending CN112585661A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18179801.8 2018-06-26
EP18179801.8A EP3588469A1 (en) 2018-06-26 2018-06-26 Method and system for sharing automatically procedural knowledge
PCT/EP2019/066642 WO2020002214A1 (en) 2018-06-26 2019-06-24 Method and system for generating a virtual reality training session

Publications (1)

Publication Number Publication Date
CN112585661A true CN112585661A (zh) 2021-03-30

Family

ID=62791573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980056343.0A Pending CN112585661A (zh) 2018-06-26 2019-06-24 用于生成虚拟现实训练会话的方法和系统

Country Status (4)

Country Link
US (1) US20210264810A1 (zh)
EP (1) EP3588469A1 (zh)
CN (1) CN112585661A (zh)
WO (1) WO2020002214A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170859A (zh) * 2021-10-22 2022-03-11 青岛虚拟现实研究院有限公司 一种基于虚拟现实的在线教学系统和方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227439B2 (en) * 2018-03-29 2022-01-18 Eon Reality, Inc. Systems and methods for multi-user virtual reality remote training
US20210383716A1 (en) * 2020-06-09 2021-12-09 Silverback Consulting Group LLC Virtual certificate training and evaluation system using hands-on exercises
US11361515B2 (en) * 2020-10-18 2022-06-14 International Business Machines Corporation Automated generation of self-guided augmented reality session plans from remotely-guided augmented reality sessions
US20220165024A1 (en) * 2020-11-24 2022-05-26 At&T Intellectual Property I, L.P. Transforming static two-dimensional images into immersive computer-generated content
US20220270505A1 (en) * 2021-02-24 2022-08-25 Interactive Video Images, Inc. Interactive Avatar Training System
US11996096B2 (en) * 2021-05-19 2024-05-28 TRANSFR Inc. Systems and methods for providing programmable, personalized, and conversational coaching in extended reality learning experience
WO2023073699A1 (en) * 2021-10-26 2023-05-04 B.G. Negev Technologies And Applications Ltd., At Ben-Gurion University System and method for automatically generating guiding ar landmarks for performing maintenance operations
US20230267849A1 (en) * 2022-02-23 2023-08-24 The Boeing Company Recorded physical interaction playback

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090187389A1 (en) * 2008-01-18 2009-07-23 Lockheed Martin Corporation Immersive Collaborative Environment Using Motion Capture, Head Mounted Display, and Cave
CN101739478A (zh) * 2008-11-17 2010-06-16 北京卫星环境工程研究所 基于航天器装配仿真技术的虚拟装配系统和虚拟装配方法
CN103093504A (zh) * 2012-12-31 2013-05-08 上海师范大学 一种立体影像生成方法
CN103941861A (zh) * 2014-04-02 2014-07-23 北京理工大学 一种应用混合现实技术的多人合作训练系统
CN103970920A (zh) * 2013-02-05 2014-08-06 周柏贾 地震应急演练虚拟仿真系统
CN104111861A (zh) * 2014-07-07 2014-10-22 中国人民解放军军械工程学院 一种无人机模拟训练系统及其控制方法
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训系统
CN106340217A (zh) * 2016-10-31 2017-01-18 华中科技大学 基于增强现实技术的制造装备智能系统及其实现方法
CN106710362A (zh) * 2016-11-30 2017-05-24 中航华东光电（上海）有限公司 使用虚拟现实设备进行的飞行训练方法
CN106782013A (zh) * 2017-01-06 2017-05-31 湖南大学 一种机械装备虚拟实训系统及方法
CN106781801A (zh) * 2016-12-30 2017-05-31 天津市维科车辆技术有限公司 一种轨道交通车辆检修仿真实训系统
CN107168531A (zh) * 2017-05-02 2017-09-15 武汉理工大学 基于头戴显示器的船舶辅机拆装系统及拆装方法
DE102016212236A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Interaktionssystem und -verfahren
CN107610214A (zh) * 2017-08-09 2018-01-19 南通汇聚软件科技有限公司 一种基于虚拟现实技术的栈房监控系统
CN107844194A (zh) * 2017-10-12 2018-03-27 深圳市末本科技有限公司 基于vr技术的培训方法、装置及计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8317518B2 (en) * 2005-01-28 2012-11-27 University Of Maryland, Baltimore Techniques for implementing virtual persons in a system to train medical personnel
WO2011127379A2 (en) * 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
US9400495B2 (en) * 2012-10-16 2016-07-26 Rockwell Automation Technologies, Inc. Industrial automation equipment and machine procedure simulation
US9846972B2 (en) * 2015-04-06 2017-12-19 Scope Technologies Us Inc. Method and apparatus for sharing augmented reality applications to multiple clients
CA2948761A1 (en) * 2015-11-23 2017-05-23 Wal-Mart Stores, Inc. Virtual training system
EP3398186B1 (en) * 2015-12-31 2023-07-05 Robert Bosch GmbH System and method for automatic creation of step-by-step interactive guide using wearable devices
US10810899B1 (en) * 2016-12-05 2020-10-20 Google Llc Virtual instruction tool
US10685489B2 (en) * 2017-03-02 2020-06-16 Daqri, Llc System and method for authoring and sharing content in augmented reality
TW201835878A (zh) * 2017-03-24 2018-10-01 美商外科劇院有限責任公司 用於在虛擬環境中進行訓練和協作的系統和方法
US20180357922A1 (en) * 2017-06-08 2018-12-13 Honeywell International Inc. Apparatus and method for assessing and tracking user competency in augmented/virtual reality-based training in industrial automation systems and other systems
US11227439B2 (en) * 2018-03-29 2022-01-18 Eon Reality, Inc. Systems and methods for multi-user virtual reality remote training
CA3103277A1 (en) * 2018-06-25 2020-01-02 Pike Enterprises, Llc Virtual reality training and evaluation system
US10768605B2 (en) * 2018-07-23 2020-09-08 Accenture Global Solutions Limited Augmented reality (AR) based fault detection and maintenance

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090187389A1 (en) * 2008-01-18 2009-07-23 Lockheed Martin Corporation Immersive Collaborative Environment Using Motion Capture, Head Mounted Display, and Cave
CN101739478A (zh) * 2008-11-17 2010-06-16 北京卫星环境工程研究所 基于航天器装配仿真技术的虚拟装配系统和虚拟装配方法
CN103093504A (zh) * 2012-12-31 2013-05-08 上海师范大学 一种立体影像生成方法
CN103970920A (zh) * 2013-02-05 2014-08-06 周柏贾 地震应急演练虚拟仿真系统
CN103941861A (zh) * 2014-04-02 2014-07-23 北京理工大学 一种应用混合现实技术的多人合作训练系统
CN104111861A (zh) * 2014-07-07 2014-10-22 中国人民解放军军械工程学院 一种无人机模拟训练系统及其控制方法
DE102016212236A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Interaktionssystem und -verfahren
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训系统
CN106340217A (zh) * 2016-10-31 2017-01-18 华中科技大学 基于增强现实技术的制造装备智能系统及其实现方法
CN106710362A (zh) * 2016-11-30 2017-05-24 中航华东光电（上海）有限公司 使用虚拟现实设备进行的飞行训练方法
CN106781801A (zh) * 2016-12-30 2017-05-31 天津市维科车辆技术有限公司 一种轨道交通车辆检修仿真实训系统
CN106782013A (zh) * 2017-01-06 2017-05-31 湖南大学 一种机械装备虚拟实训系统及方法
CN107168531A (zh) * 2017-05-02 2017-09-15 武汉理工大学 基于头戴显示器的船舶辅机拆装系统及拆装方法
CN107610214A (zh) * 2017-08-09 2018-01-19 南通汇聚软件科技有限公司 一种基于虚拟现实技术的栈房监控系统
CN107844194A (zh) * 2017-10-12 2018-03-27 深圳市末本科技有限公司 基于vr技术的培训方法、装置及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170859A (zh) * 2021-10-22 2022-03-11 青岛虚拟现实研究院有限公司 一种基于虚拟现实的在线教学系统和方法
CN114170859B (zh) * 2021-10-22 2024-01-26 青岛虚拟现实研究院有限公司 一种基于虚拟现实的在线教学系统和方法

Also Published As

Publication number Publication date
US20210264810A1 (en) 2021-08-26
EP3588469A1 (en) 2020-01-01
WO2020002214A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
CN112585661A (zh) 用于生成虚拟现实训练会话的方法和系统
US11227439B2 (en) Systems and methods for multi-user virtual reality remote training
CN113095969B (zh) 一种基于多虚拟化身的沉浸式翻转课堂教学系统及其工作方法
US10643487B2 (en) Communication and skills training using interactive virtual humans
Werrlich et al. Comparing HMD-based and paper-based training
Gavish et al. Evaluating virtual reality and augmented reality training for industrial maintenance and assembly tasks
Zhu et al. AR-mentor: Augmented reality based mentoring system
Morkos et al. Mobile devices within manufacturing environments: a BMW applicability study
CN110069707A (zh) 一种人工智能自适应互动教学系统
Havard et al. A use case study comparing augmented reality (AR) and electronic document-based maintenance instructions considering tasks complexity and operator competency level
JP2023076426A (ja) 技術的知識獲得のための機械学習システム
JP6140375B2 (ja) 映像音声クリップを利用した自律的学習システム
WO2018175675A1 (en) Collaboritive and interactive training in augmented reality
Chidambaram et al. EditAR: A Digital Twin Authoring Environment for Creation of AR/VR and Video Instructions from a Single Demonstration
Kaasinen et al. Mobile service technician 4.0: Knowledge-sharing solutions for industrial field maintenance
KR20160136833A (ko) 영상콘텐츠를 활용한 의료교육 시스템
US20210256869A1 (en) Method and system for automatically sharing procedural knowledge
US20230326092A1 (en) Real-time visualization of head mounted display user reactions
Wang et al. Assembly operator training and process planning via virtual systems
Gong Developing Extended Reality Systems for Manufacturing Industry
Bennett Immersive Performance Environment: A framework for facilitating an actor in Virtual Production
Vircikova et al. Design of verbal and non-verbal human-robot interactive system
Kosch et al. Lenssembly: Authoring assembly instructions in augmented reality using programming-by-demonstration
Nijholt Meetings in the virtuality continuum: Send your avatar
US20240169700A1 (en) Image Annotation Methods Based on Textured Mesh and Camera Pose

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330