CN113965609B - 群控式交互系统及方法 - Google Patents

群控式交互系统及方法 Download PDF

Info

Publication number
CN113965609B
CN113965609B CN202111071882.7A CN202111071882A CN113965609B CN 113965609 B CN113965609 B CN 113965609B CN 202111071882 A CN202111071882 A CN 202111071882A CN 113965609 B CN113965609 B CN 113965609B
Authority
CN
China
Prior art keywords
head display
equipment
interaction
display device
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111071882.7A
Other languages
English (en)
Other versions
CN113965609A (zh
Inventor
熊鹏航
熊鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Hexacercle Technology Co ltd
Original Assignee
Wuhan Hexacercle Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Hexacercle Technology Co ltd filed Critical Wuhan Hexacercle Technology Co ltd
Priority to CN202111071882.7A priority Critical patent/CN113965609B/zh
Publication of CN113965609A publication Critical patent/CN113965609A/zh
Application granted granted Critical
Publication of CN113965609B publication Critical patent/CN113965609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种群控式交互系统及方法，包括人机交互设备、云服务器及头显设备；其中，头显设备包括第一头显设备及第二头显设备；云服务器接收实景选择指令及识别设备状态信息并生成群控指令，将群控指令发送至第一头及第二头显设备，将设备状态信息发送至第一头显设备；人机交互设备获取交互数据并发送至云服务器；云服务器还将交互数据发送至第一及第二头显设备；第一头显设备根据群控指令、设备状态信息及交互数据生成第一交互画面；第二头显设备根据群控指令及交互数据生成第二交互画面。本发明通过云服务器统一发送群控指令，使管理员可以实时监控用户的在线状态并保证显示画面的一致性，解决了现有的交互系统无法统一控制的技术问题。

Description

群控式交互系统及方法
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种群控式交互系统及方法。
背景技术
现阶段已有的VR/AR/MR系统可以实现老师对每位学生VR头盔内的半主动的教学内容视频推流，无法监控学生是否已经从学习软件中退出，无法保证学生头盔中的内容与教学内容一致，无法知道学生何时开始接收教学内容何时退出教学内容也无法实时监控学生在虚拟课堂内的一举一动，也无法实时监测VR头盔电量。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种群控式交互系统及方法，旨在解决现有的VR/AR/MR系统中管理员无法对用户的行为进行实时监控的技术问题。
为实现上述目的，本发明提供了一种群控式交互系统，所述系统包括人机交互设备、云服务器及头显设备；其中，所述头显设备包括第一头显设备及第二头显设备；
所述云服务器，用于接收实景选择指令及识别设备状态信息，根据所述实景选择指令生成群控指令，并将所述群控指令发送至所述第一头显设备及所述第二头显设备，将所述设备状态信息发送至所述第一头显设备；
所述人机交互设备，用于获取用户及管理员的交互数据，并将所述交互数据发送至所述云服务器；
所述云服务器，还用于将所述交互数据发送至所述第一头显设备及所述第二头显设备；
所述第一头显设备，用于根据所述群控指令、所述设备状态信息及所述交互数据生成第一交互画面，并向管理员展示所述第一交互画面；
所述第二头显设备，用于根据所述群控指令及所述交互数据生成第二交互画面，并向用户展示所述第二交互画面。
可选地，所述第一头显设备包括模式选择模块及实景选择模块；其中，
所述模式选择模块，用于供管理员选择进入训练模式或实景模式；
所述实景选择模块，用于在实景模式下向管理员展示实景列表，并根据管理员选择的目标实景向所述云服务器发送实景选择指令。
可选地，所述云服务器还包括定时模块；
所述定时模块，用于在所述群控指令发出时，根据预设时间进行倒计时，当倒计时结束时，向所述第一头显设备及所述第二头显设备发送实景退出指令；
所述定时模块，还用于向所述第一头显设备发送计时数据；
所述第一头显设备，用于在接收到所述实景退出指令时，向管理员展示第一预备画面；
所述第二头显设备，用于在接收到所述实景退出指令时，向用户展示第二预备画面。
可选地，所述设备状态信息包括设备连接信息及设备电量信息，所述第一头显设备包括第一状态检测模块，所述第二头显设备包括第二状态检测模块；
所述第一状态检测模块，用于检测所述第一头显设备的连接状态和设备电量，并向所述云服务器发送所述第一头显设备的设备连接信息和设备电量信息；
所述第二状态检测模块，用于检测所述第二头显设备的连接状态和设备电量，并向所述云服务器发送所述第二头显设备的设备连接信息和设备电量信息；
所述云服务器，用于将所述第二头显设备的设备连接信息及设备电量信息发送至所述第一头显设备；
所述第一头显设备，用于根据所述第一及第二头显设备的设备连接信息和设备电量信息向管理员展示所述第一及第二头显设备的连接状态及设备电量。
可选地，所述第一头显设备包括时间监控模块；
所述时间监控模块，用于接收所述计时数据，并向管理员展示所述计时数据。
可选地，所述系统还包括指令输入设备及显示设备；其中，
所述指令输入设备，用于供管理员输入实景选择指令，并将所述选择指令发送至所述云服务器；
所述云服务器，还用于根据所述实景选择指令、所述交互数据及所述群控指令生成显示信息，并将所述显示信息发送至所述显示设备；
所述显示设备，用于根据接收到的显示信息显示第三交互画面，所述第三交互画面与所述第一交互画面内容一致。
可选地，所述交互数据包括动作数据及位置数据，所述人机交互设备包括动态捕捉设备；
所述动态捕捉设备，用于获取管理员及用户对应的所述动作数据及所述位置数据，并将所述动作数据及所述位置数据发送至所述云服务器。
可选地，所述交互数据包括操作数据，所述人机交互设备包括操作设备；
所述操作设备，用于获取管理员及用户对应的所述操作数据，并将所述操作数据发送至所述云服务器。
可选地，所述第一头显设备包括第一通话模块，所述第二头显设备包括第二通话模块；其中，
所述第一通话模块，用于采集管理员的第一语音信息，根据所述第一语音信息生成第一语音信号，并将所述第一语音信号发送至所述云服务器；
所述云服务器，还用于将所述第一语音信号分发至第二通话模块，通过所述第二通话模块向用户播放所述第一语音信号；
所述第二通话模块，用于采集用户的第二语音信息，根据所述第二语音信息生成第二语音信号，并将所述第二语音信号发送至所述云服务器；
所述云服务器，还用于将所述语音信号分发至第一通话模块，通过第一通话模块向管理员播放第二语音信号。
此外，为实现上述目的，本发明还提出一种群控式交互方法，所述群控式交互方法应用于上所述的群控式交互系统，所述系统包括人机交互设备、云服务器及头显设备；其中，所述头显设备包括第一头显设备及第二头显设备；
所述群控式交互方法包括：
所述云服务器接收实景选择指令及识别设备状态信息，根据所述实景选择指令生成群控指令，并将所述群控指令发送至所述第一头显设备及所述第二头显设备，将所述设备状态信息发送至所述第一头显设备；
所述人机交互设备获取用户及管理员的交互数据，并将所述交互数据发送至所述云服务器；
所述云服务器将所述交互数据发送至所述第一头显设备及所述第二头显设备；
所述第一头显设备根据所述群控指令、所述设备状态信息及所述交互数据生成第一交互画面，并向管理员展示所述第一交互画面；
所述第二头显设备根据所述群控指令及所述交互数据生成第二交互画面，并向用户展示所述第二交互画面。
本发明提出一种群控式交互系统，所述系统包括人机交互设备、云服务器及头显设备；其中，所述头显设备包括第一头显设备及第二头显设备；所述云服务器，用于接收实景选择指令及识别设备状态信息，根据所述实景选择指令生成群控指令，并将所述群控指令发送至所述第一头显设备及所述第二头显设备，将所述设备状态信息发送至所述第一头显设备；所述人机交互设备，用于获取用户及管理员的交互数据，并将所述交互数据发送至所述云服务器；所述云服务器，还用于将所述交互数据发送至所述第一头显设备及所述第二头显设备；所述第一头显设备，用于根据所述群控指令、所述设备状态信息及所述交互数据生成第一交互画面，并向管理员展示所述第一交互画面；所述第二头显设备，用于根据所述群控指令及所述交互数据生成第二交互画面，并向用户展示所述第二交互画面。由于本发明是通过根据群控指令控制第一及第二头显设备的显示内容，能够实现对所有头显设备的同一控制，同时第一头显设备还具有实时监控的功能，解决了现有的交互系统无法统一控制的技术问题，提高了用户体验。
附图说明
图1为本发明群控式交互系统第一实施例的结构框图；
图2为本发明群控式交互系统一实施例的第一交互画面的显示示意图；
图3为本发明群控式交互系统一实施例中的用户体验示意图；
图4为本发明群控式交互系统一实施例的第一头显设备的结构框图；
图5为本发明群控式交互系统一实施例的训练模式下的第一交互画面的显示示意图；
图6为本发明群控式交互系统一实施例的云服务器的结构框图；
图7为本发明群控式交互系统一实施例的第二头显设备的结构框图；
图8为本发明群控式交互系统第二实施例的结构框图；
图9为本发明群控式交互系统一实施例的人机交互设备的结构框图；
图10为本发明群控式交互方法第一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明群控式交互系统第一实施例的结构框图。
如图1所示，所述群控式交互系统包括人机交互设备10、云服务器20及头显设备30；其中，所述头显设备30包括第一头显设备310及第二头显设备320。
需要说明的是，第一及第二头显设备320与服务器之间的连接方式可以是无线连接也可以是有线连接，无线连接的方式可为WIFI连接、蓝牙连接、移动通信连接(例如5G或4G)或其他连接方式，本实施例对此不作限制。
可以理解的是，本实施例中的第一头显设备310为管理员使用的头显设备30，第二头显设备320为用户使用的头显设备30，第一及第二头显设备320的数量可以根据实际情况进行确定，本实施例并不对此作出限制。
所述云服务器20，用于接收实景选择指令及识别设备状态信息，根据所述实景选择指令生成群控指令，并将所述群控指令发送至所述第一头显设备310及所述第二头显设备320，将所述设备状态信息发送至所述第一头显设备310。
可以理解的是，本实施例中的设备状态信息包括但不限于头显设备30的电量及连接状态、人机交互装置的电量及连接状态，实景选择指令为管理员确定的交互系统进入的虚拟场景，群控指令可以控制第一及第二头显设备320同时进入这个虚拟场景。
在具体实施中，所述管理员可以是教师，所述用户可以是学生，所述实景选择指令可以是教师通过第一头显设备310输入的教学场景选择指令，通过云服务器20通过群控指令控制第一及第二头显设备320同时进入同一个课程场景，如化学课，在化学课上课的过程中，学生不能控制第二头显设备320退出教学场景。
所述人机交互设备10，用于获取用户及管理员的交互数据，并将所述交互数据发送至所述云服务器20。
可以理解的是，本实施例中的人机交互设备10与第一及第二头显设备320是配套设置的，即在交互过程中，管理员及用户均需佩戴第一或第二头显设备320及人机交互设备10，其中，人机交互设备10可以包括穿戴式的动作捕捉设，还可以包括虚拟场景中交互所需的其他道具及设备。
需要说明的是，本实施例中的交互数据包括用户在使用本系统进行交互式时在设定空间中的动作数据、位置数据以及相关的操作数据。
所述云服务器20，还用于将所述交互数据发送至所述第一头显设备310及所述第二头显设备320。
所述第一头显设备310，用于根据所述群控指令、所述设备状态信息及所述交互数据生成第一交互画面，并向管理员展示所述第一交互画面。
参考图2，图2为本发明群控式交互系统一实施例的第一交互画面的显示示意图。图中1A及1B为一可以显示设备50状态信息的显示框，至少可以分组显示第一及第二头显设备320的序号、设备电量、登录状态及对应的人机交互设备10的电量，图2中的2为交互过程剩余时间显示，图2中的3为群控进入或退出场景的按钮，退出后可进入服务器菜单界面选择更多场景；图2中的4为根据用户的交互数据生成的人像，管理员可以据此监控用户状态。需要说明的是，1A及1B中可以使用不同颜色的标记来表示连接状态，比如用红色表示掉线，用绿色表示连接正常。
所述第二头显设备320，用于根据所述群控指令及所述交互数据生成第二交互画面，并向用户展示所述第二交互画面。
可以理解的是，云服务器20将人机交互设备10获取的用户及管理员的交互数据分发至第一头显设备310及第二头显设备320，使第一及第二头显设备320分别对交互数据进行处理，从而实现向教师及学生分别展示以其为第一视角的课程进行画面。
应该理解的是，本实施例中的虚拟场景可以是教育、培训、各类教学、游戏、文旅、医疗、军工等领域的场景，本实施例以教育教学场景进行说明，并不表示对使用场景进行限制。
在具体实现中，参照图3，图3为本发明群控式交互系统一实施例中的用户体验示意图；本实施例可以通过服务器边缘计算技术在服务器本地运行一套PC版教学软件，教师(管理员)可以利用这套教学软件对所有学生(用户)的头显设备30进行集中控制。例如有1名老师及N名学生第一或第二头显设备320和动态捕捉设备，使用群控式交互系统进行化学课教学，教师的动态捕捉设备的设备编号为D0，配套第一头显设备310为T0；学生1至N穿戴的动态捕捉设备的设备编号为D1～DN，配套的第二头显设备320为T2～TN；教师通过D0从教学场景列表中选取化学课场景输出实景选择指令并发送至云服务器20，D0获取教师授课时的交互数据，D1～DN获取各个学生的交互数据，D0～DN将交互数据发送至云服务器20，云服务器20将该交互数据分发至第一及第二头显设备320T1～TN，第一及第二头显设备320T0～TN根据实景选择指令及交互数据生成交互画面并展示。
需要说明的是，云服务器20在进行交互数据分发时，不需要将某头显设备30上传的交互数据再转发至它本身，例如不需要向D0发送从D0收到的交互数据。
进一步地，参照图4，图4为本发明群控式交互系统一实施例的第一头显设备310的结构框图；在具体应用时，有的用户可能是第一次使用本群控式交互系统，需要对其进行相关的训练，为了提高此类用户的用户体验，所述第一头显设备310包括模式选择模块311及实景选择模块312。
所述模式选择模块311，用于供管理员选择进入训练模式或实景模式。
需要说明的是，管理员可以通过第一头显设备310输入模式选择指令至云服务器20，从而使云服务器20控制第一头显设备310及所有第二头显设备320进入目标模式。
可以理解的是，在虚拟场景为化学课教学时，训练模式为老师通过本实施例的群控式交互系统教授学生系统使用方法的模式，参与模式为以第一人称通过本实施例的系统进行化学课实验的模式，在虚拟场景中，学生能够如同在现实中的课堂里一样进行拿起烧杯等实验器材，在老师的带领下进行化学实验。
所述实景选择模块312，用于在实景模式下向管理员展示实景列表，并根据管理员选择的目标实景向所述云服务器20发送实景选择指令。
可以理解的是，当本系统用于教育教学时，所述实景列表可为教学场景列表，为了满足不同学科的教学，教学场景列表中包括有可选的教学场景，比如化学课、物理课等。
在具体实现中，第一头显设备310在开机后与云服务器20连接时，可以首先默认进入训练模式。
参照图5，图5为本发明群控式交互系统一实施例的训练模式下的第一交互画面的显示示意图；图5中的5为进入虚拟场景按钮，图5中的6为实景选择列表，图5中的7为集体退出交互按钮，1A及1B的显示内容与上文提到的第一交互画面一致。
进一步地，参照图6，图6为本发明群控式交互系统一实施例的云服务器20的结构框图；在具体应用中，每一种实景场景都有其固定的时间，比如一节化学课有45分钟，那么在化学课结束后需要统一退出，故所述云服务器20还包括定时模块201。
所述定时模块201，用于在所述群控指令发出时，根据预设时间进行倒计时，当倒计时结束时，向所述第一头显设备310及所述第二头显设备320发送实景退出指令。
可以理解的是，以化学课场景为例，45分钟的教学内容结束时间到后大家集体退回到预备大厅并等待老师再次从服务器上选择新内容开始学习。
所述定时模块201，还用于向所述第一头显设备310发送计时数据。
需要说明的是，管理员可以根据第一交互画面监测到计时数据，这样一来就可以根据交互过程剩余的时间合理安排具体内容。
所述第一头显设备310，用于在接收到所述实景退出指令时，向管理员展示第一预备画面。
所述第二头显设备320，用于在接收到所述实景退出指令时，向用户展示第二预备画面。
需要说明的是，第一预备画面与第二预备画面在对虚拟场景的显示上没有区别，只是第一预备画面会比第二预备画面多若干用于显示状态信息、监控信息及输入指令的显示框。
进一步地，参照图4和图7，图7为本发明群控式交互系统一实施例的第二头显设备320的结构框图；在具体应用中，管理员需要实时监控用户的情况，比如老师需要监控学生是否正在参与课程，学生的头显设备30是否电量充足，所述设备状态信息包括设备连接信息及设备电量信息，所述第一头显设备310包括第一状态检测模块313，所述第二头显设备320包括第二状态检测模块321。
可以理解的是，设备连接信息反映了第一及第二头显设备320与云服务器20的连接状态，可以反映出对应设备是否连接正常或是否开机，例如老师可以根据设备连接信息知晓对应学生的课程参与程度，当发现有异常时，及时作出干预措施。
应该理解的是，为了保证本发明中的群控式交互系统的使用可靠性，还需要检测第一及第二头显设备320的设备电量信息，对设备电量信息进行实时监控并展示，可以使管理员及时知晓各设备的电量情况，例如老师可以实时检测每位学生的第二头显设备320的电量，当发现有学生佩戴的第二头显设备320的电量较低时，及时为学生更换第二头显设备320，保证教学的连贯性，提高教学质量。
所述第一状态检测模块313，用于检测所述第一头显设备310的连接状态和设备电量，并向所述云服务器20发送所述第一头显设备310的设备连接信息和设备电量信息。
所述第二状态检测模块321，用于检测所述第二头显设备320的连接状态和设备电量，并向所述云服务器20发送所述第二头显设备320的设备连接信息和设备电量信息。
可以理解的是，第一状态检测模块313与第二状态检测模块321在具体的功能及结构上可以相同，区分第一第二仅为区分其结构处于第一头显设备310还是第二头显设备320。
所述云服务器20，用于将所述第二头显设备320的设备连接信息及设备电量信息发送至所述第一头显设备310。
易于理解的是，云服务器20可以不用将第一头显设备310的设备连接信息及设备电量信息发送至第一头显设备310，第一头显设备310自己的设备连接信息及设备电量信息可以自行获取。
所述第一头显设备310，用于根据所述第一及第二头显设备320的设备连接信息和设备电量信息向管理员展示所述第一及第二头显设备320的连接状态及设备电量。
需要说明的是，在具体实施中人机交互设备10也可以具备状态检测模块，当实景场景为军工训练或者需要互动的游戏时，管理员同样需要检测其他必要的设备电量，方便及时更换，避免因个别用户的设备电量不足而影响交互过程。
进一步地，参照图4，所述第一头显设备310包括时间监控模块314；
所述时间监控模块314，用于接收所述计时数据，并向管理员展示所述计时数据。
可以理解的是，时间监控模块314可以显示交互剩余时间，例如老师可以通过时间监控模块314实时了解化学课剩余的时间，从而合理安排教学内容以及对学生进行相应的指导和督促，与此同时，老师还可以通过剩余时间了解断开连接的学生的课程参与情况，及时作出干预。
本实施例提出一种群控式交互系统，所述系统包括人机交互设备10、云服务器20及头显设备30；其中，所述头显设备30包括第一头显设备310及第二头显设备320；所述云服务器20，用于接收实景选择指令及识别设备状态信息，根据所述实景选择指令生成群控指令，并将所述群控指令发送至所述第一头显设备310及所述第二头显设备320，将所述设备状态信息发送至所述第一头显设备310；所述人机交互设备10，用于获取用户及管理员的交互数据，并将所述交互数据发送至所述云服务器20；所述云服务器20，还用于将所述交互数据发送至所述第一头显设备310及所述第二头显设备320；所述第一头显设备310，用于根据所述群控指令、所述设备状态信息及所述交互数据生成第一交互画面，并向管理员展示所述第一交互画面；所述第二头显设备320，用于根据所述群控指令及所述交互数据生成第二交互画面，并向用户展示所述第二交互画面。由于本发明是通过根据群控指令控制第一及第二头显设备320的显示内容，能够实现对所有头显设备30的同一控制，同时第一头显设备310还具有实时监控的功能，解决了现有的交互系统无法统一控制的技术问题，提高了用户体验。
参照图8，图8为本发明群控式交互系统第二实施例的结构框图；基于上述第一实施例，提出本发明群控式交互系统第二实施例。
为了保证交互的顺利进行，向管理员提供另外一种指令输入与监控方式，所述系统还包括指令输入设备40及显示设备50。
所述指令输入设备40，用于供管理员输入实景选择指令，并将所述选择指令发送至所述云服务器20。
可以理解的是，指令输入设备40可以是键盘或鼠标等能够同服务器进行数据交互的输入设备，在指令输入的过程中，除了输入的方式之外，其余过程与通过第一头显设备310输入指令的过程一致。
所述云服务器20，还用于根据所述实景选择指令、所述交互数据及所述群控指令生成显示信息，并将所述显示信息发送至所述显示设备50；
所述显示设备50，用于根据接收到的显示信息显示第三交互画面，所述第三交互画面与所述第一交互画面内容一致。
需要说明的是，第三交互画面与第一交互画面的内容一致，即显示设备50显示的内容与第一头显设备310中显示的内容是一样的，这样一来管理员不论是通过显示设备50还是第一头显设备310都能准确监测所有第二显示设备50的状况。
进一步地，参照图9，图9为本发明群控式交互系统一实施例的人机交互设备10的结构框图；在具体实施中，所述交互数据包括动作数据及位置数据，所述人机交互设备10包括动态捕捉设备11；
所述动态捕捉设备11，用于获取管理员及用户对应的所述动作数据及所述位置数据，并将所述动作数据及所述位置数据发送至所述云服务器20。
在本实施例中，动态捕捉设备11可以是穿戴式的可以获取动态数据的全身设备或者手套设备，例如在进行化学实验时，使用手套设备获取实验操作时的手势动作即可，在进行体育课教学时，还需要通过全身设备获取管理员及用户的肢体动作、空间位置等信息。
进一步地，参照图9，图9为本发明群控式交互系统一实施例的人机交互设备10的结构框图；在一些场景中，除了获取动作数据及位置数据外，还需要通过其他设备获取对应的数据，为了更全面地获取交互数据，所述交互数据包括操作数据，所述人机交互设备10包括操作设备12；
所述操作设备12，用于获取管理员及用户对应的所述操作数据，并将所述操作数据发送至所述云服务器20。
在具体实施中，若本发明的群控式交互系统用于军事演练，管理员及用户还配备有交互用的模拟武器设备，则除了获取管理员及用户的肢体动作、空间位置外，还需要通过模拟武器设备获取对模拟武器设备进行的操作数据，如射击、瞄准等。
进一步地，参考图4及图7，在具体实施中，管理员需要对用户行为进行干预和提示，为了提高用户体验，所述第一头显设备310包括第一通话模块315，所述第二头显设备320包括第二通话模块322。
所述第一通话模块315，用于采集管理员的第一语音信息，根据所述第一语音信息生成第一语音信号，并将所述第一语音信号发送至所述云服务器20。
所述云服务器20，还用于将所述第一语音信号分发至第二通话模块322，通过所述第二通话模块322向用户播放所述第一语音信号。
所述第二通话模块322，用于采集用户的第二语音信息，根据所述第二语音信息生成第二语音信号，并将所述第二语音信号发送至所述云服务器20。
所述云服务器20，还用于将所述语音信号分发至第一通话模块315，通过第一通话模块315向管理员播放第二语音信号。
需要说明的是，当第二头显设备320有若干个时，云服务器20需要识别第二通化模块上传的第二语音信号对应的是哪一个第二头显设备320，在分发时，不用将其上传的第二语音信号传回。
本实施例提出的群控式交互系统还包括指令输入设备40及显示设备50；其中，所述指令输入设备40，用于供管理员输入实景选择指令，并将所述选择指令发送至所述云服务器20；所述云服务器20，还用于根据所述实景选择指令、所述交互数据及所述群控指令生成显示信息，并将所述显示信息发送至所述显示设备50；所述显示设备50，用于根据接收到的显示信息显示第三交互画面，所述第三交互画面与所述第一交互画面内容一致。能够为管理员提供另外一种指令输入与监测方式，进一步提高了用户体验。
此外，参照图10，图10为本发明群控式交互方法第一实施例的流程示意图；本发明还提出一种群控式交互方法，所述群控式交互方法应用于如上文所述的群控式交互系统，所述系统包括人机交互设备、云服务器及头显设备；其中，所述头显设备包括第一头显设备及第二头显设备；
可以理解的是，本实施例中管理员使用第一头显设备，用户使用第二头显设备，第一及第二头显设备的数量可以根据实际情况进行确定，本实施例并不对此作出限制。
所述群控式交互方法包括：
步骤S10：所述云服务器接收实景选择指令及识别设备状态信息，根据所述实景选择指令生成群控指令，并将所述群控指令发送至所述第一头显设备及所述第二头显设备，将所述设备状态信息发送至所述第一头显设备。
可以理解的是，本实施例中的设备状态信息包括但不限于头显设备的电量及连接状态、人机交互装置的电量及连接状态，实景选择指令为管理员确定的交互系统进入的虚拟场景，群控指令可以控制第一及第二头显设备同时进入这个虚拟场景。
在具体实施中，所述管理员可以是教师，所述用户可以是学生，所述实景选择指令可以是教师通过第一头显设备输入的教学场景选择指令，通过云服务器通过群控指令控制第一及第二头显设备同时进入同一个课程场景，如化学课，在化学课上课的过程中，学生不能控制第二头显设备退出教学场景。
步骤S20：所述人机交互设备获取用户及管理员的交互数据，并将所述交互数据发送至所述云服务器。
可以理解的是，本实施例中的人机交互设备与第一及第二头显设备是配套设置的，即在交互过程中，管理员及用户均需佩戴第一或第二头显设备及人机交互设备，其中，人机交互设备可以包括穿戴式的动作捕捉设备，还可以包括虚拟场景中交互所需的其他道具及设备。
需要说明的是，本实施例中的交互数据包括用户在使用本系统进行交互式时在设定空间中的动作数据、位置数据以及相关的操作数据。
步骤S30：所述云服务器将所述交互数据发送至所述第一头显设备及所述第二头显设备。
步骤S40：所述第一头显设备根据所述群控指令、所述设备状态信息及所述交互数据生成第一交互画面，并向管理员展示所述第一交互画面。
步骤S50：所述第二头显设备根据所述群控指令及所述交互数据生成第二交互画面，并向用户展示所述第二交互画面。
可以理解的是，云服务器将人机交互设备获取的用户及管理员的交互数据分发至第一头显设备及第二头显设备，使第一及第二头显设备分别对交互数据进行处理，从而实现向教师及学生分别展示以其为第一视角的课程进行画面。
应该理解的是，本实施例中的虚拟场景可以是教育、培训、各类教学、游戏、文旅、医疗、军工等领域的场景，本实施例以教育教学场景进行说明，并不表示对使用场景进行限制。
本实施例提出一种群控式交互方法，所述方法包括：云服务器接收实景选择指令及识别设备状态信息并生成群控指令，将群控指令发送至第一头及第二头显设备，将设备状态信息发送至第一头显设备；人机交互设备获取用户及管理员的交互数据并发送至云服务器；云服务器还将交互数据发送至第一及第二头显设备；第一头显设备根据群控指令、设备状态信息及交互数据生成第一交互画面，并向管理员展示；第二头显设备根据群控指令及交互数据生成第二交互画面，并向用户展示。本发明通过云服务器统一发送群控指令，使管理员可以实时监控用户的在线状态并保证显示画面的一致性，解决了现有的交互系统无法统一控制的技术问题，提高了用户的体验。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种群控式交互系统，其特征在于，所述系统包括人机交互设备、云服务器及头显设备；其中，所述头显设备包括第一头显设备及第二头显设备；
所述云服务器，用于接收实景选择指令及识别设备状态信息，根据所述实景选择指令生成群控指令，并将所述群控指令发送至所述第一头显设备及所述第二头显设备，将所述设备状态信息发送至所述第一头显设备；
所述人机交互设备，用于获取用户及管理员的交互数据，并将所述交互数据发送至所述云服务器；
所述云服务器，还用于将所述交互数据发送至所述第一头显设备及所述第二头显设备；
所述第一头显设备，用于根据所述群控指令、所述设备状态信息及所述交互数据生成第一交互画面，并向管理员展示所述第一交互画面；
所述第二头显设备，用于根据所述群控指令及所述交互数据生成第二交互画面，并向用户展示所述第二交互画面；
所述设备状态信息包括设备连接信息及设备电量信息，所述第一头显设备包括第一状态检测模块，所述第二头显设备包括第二状态检测模块；
所述第一状态检测模块，用于检测所述第一头显设备的连接状态和设备电量，并向所述云服务器发送所述第一头显设备的设备连接信息和设备电量信息；
所述第二状态检测模块，用于检测所述第二头显设备的连接状态和设备电量，并向所述云服务器发送所述第二头显设备的设备连接信息和设备电量信息；
所述云服务器，还用于将所述第二头显设备的设备连接信息及设备电量信息发送至所述第一头显设备；
所述第一头显设备，还用于根据所述第一及第二头显设备的设备连接信息和设备电量信息向管理员展示所述第一及第二头显设备的连接状态及设备电量。
2.如权利要求1所述的群控式交互系统，其特征在于，所述第一头显设备包括模式选择模块及实景选择模块；其中，
所述模式选择模块，用于供管理员选择进入训练模式或实景模式；
所述实景选择模块，用于在实景模式下向管理员展示实景列表，并根据管理员选择的目标实景向所述云服务器发送实景选择指令。
3.如权利要求2所述的群控式交互系统，其特征在于，所述云服务器还包括定时模块；
所述定时模块，用于在所述群控指令发出时，根据预设时间进行倒计时，当倒计时结束时，向所述第一头显设备及所述第二头显设备发送实景退出指令；
所述定时模块，还用于向所述第一头显设备发送计时数据；
所述第一头显设备，用于在接收到所述实景退出指令时，向管理员展示第一预备画面；
所述第二头显设备，用于在接收到所述实景退出指令时，向用户展示第二预备画面。
4.如权利要求3所述的群控式交互系统，其特征在于，所述第一头显设备包括时间监控模块；
所述时间监控模块，用于接收所述计时数据，并向管理员展示所述计时数据。
5.如权利要求4所述的群控式交互系统，其特征在于，所述系统还包括指令输入设备及显示设备；其中，
所述指令输入设备，用于供管理员输入实景选择指令，并将所述选择指令发送至所述云服务器；
所述云服务器，还用于根据所述实景选择指令、所述交互数据及所述群控指令生成显示信息，并将所述显示信息发送至所述显示设备；
所述显示设备，用于根据接收到的显示信息显示第三交互画面，所述第三交互画面与所述第一交互画面内容一致。
6.如权利要求1所述的群控式交互系统，其特征在于，所述交互数据包括动作数据及位置数据，所述人机交互设备包括动态捕捉设备；
所述动态捕捉设备，用于获取管理员及用户对应的所述动作数据及所述位置数据，并将所述动作数据及所述位置数据发送至所述云服务器。
7.如权利要求1所述的群控式交互系统，其特征在于，所述交互数据包括操作数据，所述人机交互设备包括操作设备；
所述操作设备，用于获取管理员及用户对应的所述操作数据，并将所述操作数据发送至所述云服务器。
8.如权利要求1至7中任一项所述的群控式交互系统，其特征在于，所述第一头显设备包括第一通话模块，所述第二头显设备包括第二通话模块；其中，
所述第一通话模块，用于采集管理员的第一语音信息，根据所述第一语音信息生成第一语音信号，并将所述第一语音信号发送至所述云服务器；
所述云服务器，还用于将所述第一语音信号分发至第二通话模块，通过所述第二通话模块向用户播放所述第一语音信号；
所述第二通话模块，用于采集用户的第二语音信息，根据所述第二语音信息生成第二语音信号，并将所述第二语音信号发送至所述云服务器；
所述云服务器，还用于将所述语音信号分发至第一通话模块，通过第一通话模块向管理员播放第二语音信号。
9.一种群控式交互方法，其特征在于，所述群控式交互方法应用于如权利要求1至7中任一项所述的群控式交互系统，所述系统包括人机交互设备、云服务器及头显设备；其中，所述头显设备包括第一头显设备及第二头显设备；所述设备状态信息包括设备连接信息及设备电量信息，所述第一头显设备包括第一状态检测模块，所述第二头显设备包括第二状态检测模块；所述群控式交互方法包括：
所述云服务器接收实景选择指令及识别设备状态信息，根据所述实景选择指令生成群控指令，并将所述群控指令发送至所述第一头显设备及所述第二头显设备，将所述设备状态信息发送至所述第一头显设备；
所述人机交互设备获取用户及管理员的交互数据，并将所述交互数据发送至所述云服务器；
所述云服务器将所述交互数据发送至所述第一头显设备及所述第二头显设备；
所述第一头显设备根据所述群控指令、所述设备状态信息及所述交互数据生成第一交互画面，并向管理员展示所述第一交互画面；
所述第二头显设备根据所述群控指令及所述交互数据生成第二交互画面，并向用户展示所述第二交互画面；
所述第一状态检测模块检测所述第一头显设备的连接状态和设备电量，并向所述云服务器发送所述第一头显设备的设备连接信息和设备电量信息；
所述第二状态检测模块检测所述第二头显设备的连接状态和设备电量，并向所述云服务器发送所述第二头显设备的设备连接信息和设备电量信息；
所述云服务器将所述第二头显设备的设备连接信息及设备电量信息发送至所述第一头显设备；
所述第一头显设备根据所述第一及第二头显设备的设备连接信息和设备电量信息向管理员展示所述第一及第二头显设备的连接状态及设备电量。
CN202111071882.7A 2021-09-13 2021-09-13 群控式交互系统及方法 Active CN113965609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111071882.7A CN113965609B (zh) 2021-09-13 2021-09-13 群控式交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111071882.7A CN113965609B (zh) 2021-09-13 2021-09-13 群控式交互系统及方法

Publications (2)

Publication Number Publication Date
CN113965609A CN113965609A (zh) 2022-01-21
CN113965609B true CN113965609B (zh) 2024-04-26

Family

ID=79461513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111071882.7A Active CN113965609B (zh) 2021-09-13 2021-09-13 群控式交互系统及方法

Country Status (1)

Country Link
CN (1) CN113965609B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104759095A (zh) * 2015-04-24 2015-07-08 吴展雄 一种虚拟现实头戴显示系统
CN107370831A (zh) * 2017-09-01 2017-11-21 广州励丰文化科技股份有限公司 基于mr头显设备的多用户交互实现方法及系统
CN107731032A (zh) * 2017-09-08 2018-02-23 蒋翔东 一种音视频切换方法、装置以及远程多点互动教学系统
CN107728984A (zh) * 2017-10-25 2018-02-23 上海皮格猫信息科技有限公司 一种虚拟现实画面显示控制系统
CN108479060A (zh) * 2018-03-29 2018-09-04 联想(北京)有限公司 一种显示控制方法及电子设备
CN110688005A (zh) * 2019-09-11 2020-01-14 塔普翊海（上海）智能科技有限公司 混合现实的教学环境、教师、教具互动系统及互动方法
CN111176109A (zh) * 2020-01-19 2020-05-19 鲨港科技(上海)有限公司 基于双独立控制系的车辆智控系统和车辆
CN111338481A (zh) * 2020-02-28 2020-06-26 武汉灏存科技有限公司 基于全身动态捕捉的数据交互系统及方法
CN112133408A (zh) * 2020-09-28 2020-12-25 安徽徽韵心理咨询有限公司 一种基于vr技术的心理训练互动系统及训练方法
CN112199002A (zh) * 2020-09-30 2021-01-08 完美鲲鹏(北京)动漫科技有限公司 基于虚拟角色的交互方法及装置、存储介质、计算机设备
CN113110234A (zh) * 2021-05-11 2021-07-13 武汉灏存科技有限公司 联动控制系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11665317B2 (en) * 2019-06-18 2023-05-30 The Calany Holding S. À R.L. Interacting with real-world items and corresponding databases through a virtual twin reality
CN112562433B (zh) * 2020-12-30 2021-09-07 华中师范大学 一种基于全息终端的5g强互动远程专递教学系统的工作方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104759095A (zh) * 2015-04-24 2015-07-08 吴展雄 一种虚拟现实头戴显示系统
CN107370831A (zh) * 2017-09-01 2017-11-21 广州励丰文化科技股份有限公司 基于mr头显设备的多用户交互实现方法及系统
CN107731032A (zh) * 2017-09-08 2018-02-23 蒋翔东 一种音视频切换方法、装置以及远程多点互动教学系统
CN107728984A (zh) * 2017-10-25 2018-02-23 上海皮格猫信息科技有限公司 一种虚拟现实画面显示控制系统
CN108479060A (zh) * 2018-03-29 2018-09-04 联想(北京)有限公司 一种显示控制方法及电子设备
CN110688005A (zh) * 2019-09-11 2020-01-14 塔普翊海（上海）智能科技有限公司 混合现实的教学环境、教师、教具互动系统及互动方法
CN111176109A (zh) * 2020-01-19 2020-05-19 鲨港科技(上海)有限公司 基于双独立控制系的车辆智控系统和车辆
CN111338481A (zh) * 2020-02-28 2020-06-26 武汉灏存科技有限公司 基于全身动态捕捉的数据交互系统及方法
CN112133408A (zh) * 2020-09-28 2020-12-25 安徽徽韵心理咨询有限公司 一种基于vr技术的心理训练互动系统及训练方法
CN112199002A (zh) * 2020-09-30 2021-01-08 完美鲲鹏(北京)动漫科技有限公司 基于虚拟角色的交互方法及装置、存储介质、计算机设备
CN113110234A (zh) * 2021-05-11 2021-07-13 武汉灏存科技有限公司 联动控制系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ShARe: Enabling Co-Located Asymmetric Multi-User Interaction for Augmented Reality Head-Mounted Displays;Pascal Jansen，Fabian Fischbach，Evgeny Stemasov，Julian Frommel，Enrico Rukzio;《ACM》;20201023;全文 *
基于心智模型的沉浸式地铁列车视觉环境评价系统研究;袁一然;《中国优秀硕士学位论文全文数据库》;20210715;全文 *

Also Published As

Publication number Publication date
CN113965609A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
US20210343171A1 (en) Systems and methods for monitoring learner engagement during a learning event
US10717001B2 (en) System and method for saving tracked data in the game server for replay, review and training
KR101756792B1 (ko) Hmd형 가상현실 콘텐츠 모니터링 및 제어 시스템
CN107464464A (zh) 基于即时通讯平台的课堂互动教学方法及其系统
JP6094131B2 (ja) 教育現場改善支援システム、教育現場改善支援方法、情報処理装置、通信端末およびその制御方法と制御プログラム
CN112765419B (zh) 一种互动直播课堂系统
CN107452240B (zh) 基于互动课件的交互方法和系统
US20030031358A1 (en) Method and system for developing consistency of motion
CN111935264A (zh) 智慧课堂交互系统
CN109101879A (zh) 一种vr虚拟课堂教学的姿态交互系统及实现方法
Fujii et al. Sync class: Visualization system for in-class student synchronization
EP2487668A1 (en) Learner response system
CN110660275B (zh) 一种基于视频分析的师生课堂即时互动系统和方法
CN114842704A (zh) 培训系统及培训方法
CN103328057A (zh) 信息处理系统、信息处理方法、信息处理程序和存储信息处理程序的计算机可读存储介质
KR101416526B1 (ko) 임상 모의 실기 시험 운영 및 평가 관리시스템 및 방법
KR20220032458A (ko) 원격 강의 방법 및 시스템
KR101740110B1 (ko) 이기종 모바일 디바이스를 지원하는 일대다 심폐소생 훈련 장치 및 방법
CN113965609B (zh) 群控式交互系统及方法
CN208212008U (zh) 自测式视力检测系统
Jaramillo-Alcázar et al. An approach to inclusive education in electronic engineering through serious games
KR102309021B1 (ko) 수업 진행 과정을 시각적으로 나타내는 ui를 제공하는 강의 제공 시스템의 제어 방법
KR20230012728A (ko) 학생 단말을 이용한 강의 제공 시스템의 제어 방법
CN113268512B (zh) 基于互联网平台的企业岗位职业技能培训系统
KR20230115649A (ko) 아동 청소년용 사회성 및 인지능력 발달을 위한 vr 기반 학습 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant