CN114842704A - 培训系统及培训方法 - Google Patents

Abstract

本发明提供了一种培训系统及培训方法。所述培训系统包括示教端和远程端，所述示教端包括第一语音模块、VR图像采集模块和手术模块；所述远程端包括第二语音模块和VR图像播放模块。所述VR图像采集模块用于采集所述手术模块和/或所述手术对象的3D图像生成第一3D图像数据，并将所述第一3D图像数据发送给所述VR图像播放模块。所述VR图像播放模块用于解析数据并播放3D图像。如此配置，通过远程教学方式扩展了同一时间的学员数量，通过VR技术提高了学习过程的真实性，并降低了学习案例的制作成本；解决了现有技术中的医生培训系统在效率、成本、真实度等各方面有待提升的问题。

Description

培训系统及培训方法

技术领域

本发明涉及医疗器械领域，特别涉及一种培训系统及培训方法。

背景技术

对医生进行培训的系统主要有两种。

第一种是医疗机器人线下实体培训系统：学员线下在培训师的指导下，使用真实手术机器人进行学习，有时候为了效果，需要使用动物做活体实验，或者观摩真实临床手术。

另一种是模拟器培训系统：通过VR技术重建整个机器人系统，或者使用真实机器人主端加虚拟从端机器人系统，进行学习；同时，系统需要实现病人病理信息、病人肌体和肌体反应模型，机器人和肌体行为模型，在虚拟手术下，学员进行机器人操作学习。

上述培训系统存在如下不足：

线下实体培训虽然真实，但是同一时刻只有一个学员操作，培训效率低；学员轮流操作，其他人无法看到三维效果，观看效果不好，培训效果差；并且手术室空间限制，无法容纳很多学员，培训效率低；机器人系统资源珍贵，手术室空间限制学员数量，学员需要赶到机器人附近，培训成本升高。模拟器培训系统的机器人系统建模、病人肌体建模和手术实施的数据建模都很难，开发、维护和升级都需要很高的技术和成本；同时，虚拟培训系统很难同步跟上硬件系统不断升级，造成虚拟和真实意识不到的操作差异。

总之，现有技术中的医生培训系统在效率、成本、真实度等各方面有待提升。

发明内容

本发明的目的在于提供一种培训系统及培训方法，以解决现有技术中的医生培训系统在效率、成本、真实度等各方面有待提升的问题。

为了解决上述技术问题，本发明提供了一种培训系统，所述培训系统包括示教端和远程端，所述示教端包括第一语音模块、VR图像采集模块和手术模块；所述远程端包括第二语音模块和VR图像播放模块。

其中，所述示教端和所述远程端远距离通讯连接，所述远程端的数量为至少两个，分布在同一或不同地理位置。

所述第一语音模块和所述第二语音模块用于实现所述示教端和所述远程端之间的语音通讯。

所述手术模块用于对手术对象执行手术操作。

所述VR图像采集模块用于采集所述手术模块和/或所述手术对象的3D图像生成第一3D图像数据，并将所述第一3D图像数据发送给所述VR图像播放模块。

所述VR图像播放模块用于解析数据并播放3D图像。

可选的，所述VR图像采集模块为3D内窥镜。

可选的，所述远程端还包括操作指令输入模块。

其中，所述操作指令输入模块用于获取所述远程端的用户的第一手术操作指令并发送给所述示教端。

当不满足拒绝条件时，所述手术模块用于响应所述第一手术操作指令并执行所述手术操作；当满足拒绝条件时，所述手术模块不响应所述第一手术操作指令。

可选的，拒绝条件包括：所述示教端的用户将当前状态设置为拒绝，和/或，所述手术模块当前正在执行临床手术。

可选的，所述远程端还包括操作指令输入模块和虚拟手术模块。

其中，所述操作指令输入模块用于获取所述远程端的用户的第二手术操作指令并发送给所述虚拟手术模块。

所述虚拟手术模块用于创建手术的虚拟场景，并使得所述虚拟场景响应所述第二手术操作指令，并生成第二3D图像数据；所述虚拟手术模块还用于将所述第二3D图像数据发送给所述VR图像播放模块。

一所述远程端的所述操作指令输入模块还用于将所述第二手术操作指令并发送给另一所述远程端的所述虚拟手术模块以驱使另一所述远程端的所述虚拟手术模块工作；以及，一所述远程端的所述虚拟手术模块还用于将所述第二3D图像数据发送给另一所述远程端的所述VR图像播放模块以驱使另一所述远程端的所述VR图像播放模块工作。

可选的，所述培训系统还包括存储服务器，所述存储服务器与所述示教端通讯连接，所述存储服务器和所述远程端通讯连接。

其中，所述VR图像采集模块还用于将所述第一3D图像数据发送给所述存储服务器，当所述远程端包括虚拟手术模块时，所述虚拟手术模块还用于将所述第二3D图像数据发送给所述存储服务器。

所述存储服务器用于保存接收到的数据，所述存储服务器还用于响应所述远程端发送的历史视频访问请求，发送相应的数据至所述远程端以驱使所述VR图像播放模块工作。

可选的，所述远程端还包括学习日志模块；所述学习日志模块用于响应用户的编辑指令，生成或修改多媒体学习日志，并将所述多媒体学习日志存储于本地或者服务器；所述学习日志模块还用于响应用户的浏览指令，展示历史的所述多媒体学习日志。

可选的，所述第二语音模块用于实现所述远程端之间的语音通讯，所述远程端中的一个被配置为指导端，其余的所述远程端被配置为学员端。

其中，所述指导端用于向所述学员端发送激活指令，以远程操控所述学员端的至少一部分功能；所述指导端还用于向所述学员端发送禁用指令，以禁用所述学员端的至少一部分的操作指令；所述指导端还用于向所述学员端发送恢复指令，以恢复被所述禁用指令禁止的所述操作指令。

所述指导端还用于将自身的所述VR图像播放模块播放的图像同步给所述学员端。

为了解决上述技术问题，本发明还提供了一种培训方法，所述培训方法包括：

实时地采集第一地点的手术模块和/或手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至第二地点。

基于所述第一3D图像数据于所述第二地点播放VR图像。

同时，实时地采集所述第一地点的声音并发送至所述第二地点，实时地采集所述第二地点的声音并发送至所述第一地点。

所述第一地点和所述第二地点播放接收到的声音。

其中，所述手术模块用于对所述手术对象执行手术操作；所述第二地点包括至少两个子地点，所述子地点分布在同一或不同地理位置。

可选的，所述培训方法包括：

实时地采集所述第一地点的所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至所述第二地点。

基于所述第一3D图像数据于所述第二地点播放VR图像。

同时，实时地采集一所述子地点的声音并发送至其他的所述子地点。

其他的所述子地点播放接收到的声音。

可选的，所述培训方法包括：

获取所述第二地点的第一手术操作指令并发送至所述第一地点。

当不满足拒绝条件时，所述手术模块响应所述第一手术操作指令并执行所述手术操作；当满足拒绝条件时，所述手术模块不响应所述第一手术操作指令。

同时，实时地采集所述第一地点的所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至所述第二地点；基于所述第一3D图像数据于所述第二地点播放VR图像；实时地采集所述第一地点的声音并发送至所述第二地点，实时地采集所述第二地点的声音并发送至所述第一地点；所述第一地点和所述第二地点播放接收到的声音。

可选的，所述培训方法包括：

获取一所述子地点的所述第一手术操作指令并发送至所述第一地点。

当不满足拒绝条件时，所述手术模块响应所述第一手术操作指令并执行所述手术操作；当满足拒绝条件时，所述手术模块不响应所述第一手术操作指令。

同时，实时地采集所述第一地点的所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至所述第二地点；基于所述第一3D图像数据于所述第二地点播放VR图像；实时地采集同一所述子地点或者另一所述子地点的声音并发送至其他的所述子地点；其他的所述子地点播放接收到的声音。

可选的，所述培训方法包括：

获取所述第二地点的第二手术操作指令。

创建手术的虚拟场景，所述虚拟场景响应所述第二手术操作指令，并生成第二3D图像数据。

基于所述第二3D图像数据播放VR图像。

可选的，所述培训方法包括：

获取一所述子地点的所述第二手术操作指令并发送至另一所述子地点。

于另一所述子地点创建手术的虚拟场景，所述虚拟场景响应所述第二手术操作指令，并生成所述第二3D图像数据。

基于所述第二3D图像数据于另一所述子地点以及至少一个其他的所述子地点播放VR图像。

可选的，所述培训方法包括：

存储所述第一3D图像数据和所述第二3D图像数据。

于所述第二地点发送历史视频访问请求。

基于所述历史视频访问请求发送相应的数据至所述第二地点；其中，所述相应的数据为所述第一3D图像数据或者所述第二3D图像数据。

基于所述相应的数据于所述第二地点播放VR图像。

可选的，所述培训方法包括：

于所述第二地点发送所述历史视频访问请求；基于所述历史视频访问请求发送相应的数据至所述第二地点；基于所述相应的数据于所述第二地点播放VR图像。

同时，实时地采集一所述子地点的声音并发送给其他的所述子地点；其他的所述子地点播放接收到的声音。

可选的，所述培训方法包括：

于所述第二地点获取所述编辑指令，生成多媒体学习日志。

所述多媒体学习日志存储于本地或者服务器。

或者，于所述第二地点获取所述浏览指令，展示历史的所述多媒体学习日志。

可选的，所述培训方法包括：

导出预设格式的所述多媒体学习日志。

将预设格式的所述多媒体学习日志传播至其他的计算机设备。

与现有技术相比，本发明提供的一种培训系统及培训方法中，所述培训系统包括示教端和远程端，所述示教端包括第一语音模块、VR图像采集模块和手术模块；所述远程端包括第二语音模块和VR图像播放模块。其中，所述示教端和所述远程端通讯连接。所述第一语音模块和所述第二语音模块用于实现所述示教端和所述远程端之间的语音通讯。所述手术模块用于对手术对象执行手术操作。所述VR图像采集模块用于采集所述手术模块和/或所述手术对象的3D图像生成第一3D图像数据，并将所述第一3D图像数据发送给所述VR图像播放模块。所述VR图像播放模块用于解析数据并播放3D图像。如此配置，通过远程教学方式扩展了同一时间的学员数量，通过VR技术提高了学习过程的真实性，并降低了学习案例的制作成本；解决了现有技术中的医生培训系统在效率、成本、真实度等各方面有待提升的问题。

附图说明

本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

图1是本发明一实施例的培训系统的结构示意图；

图2是本发明一实施例的示教端手术机器人主从控制场景图；

图3是本发明一实施例的整体通讯架构图；

图4是本发明一实施例的示教端工作示意图；

图5是本发明一实施例的指导端工作示意图；

图6是本发明一实施例的学员端工作示意图；

图7是本发明一实施例的学员端在线课堂功能结构图；

图8是本发明一实施例的指导端功能结构图；

图9是本发明一实施例的示教端功能结构图；

图10是本发明一实施例的虚拟手术示意图；

图11是本发明一实施例的远程手术示意图；

图12是本发明一实施例的学习日志示意图；

图13是本发明一实施例的VR设备结构示意图；

图14a是3D视频传输示意图；

图14b是本发明一实施例的3D视频传输示意图；

图15是本发明一实施例的虚拟手术的流程示意图；

图16a是本发明一实施例的第一示教流程图；

图16b是本发明一实施例的第二示教流程图；

图16c是本发明一实施例的第三示教流程图；

图17是本发明一实施例的远程操控流程图；

图18是本发明一实施例的历史回放流程图。

附图中：

1-医生控制端；2-患者操作端装置；3-图像台车；4-无菌台；5-辅助设备；6-示教端；7-远程端；61-第一语音模块；62-VR图像采集模块；63-手术模块；71-第二语音模块；72-VR图像播放模块；73-指导端；74-学员端。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，术语“近端”通常是靠近操作者的一端，术语“远端”通常是靠近患者的一端，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的核心思想在于提供一种培训系统及培训方法，以解决现有技术中的医生培训系统在效率、成本、真实度等各方面有待提升的问题。

以下参考附图进行描述。

如图1所示，本实施例提供了一种培训系统，所述培训系统包括示教端6和远程端7，所述示教端6包括第一语音模块61、VR图像采集模块62和手术模块63；所述远程端7包括第二语音模块71和VR图像播放模块72。其中，所述示教端6和所述远程端7远距离通讯连接，所述远程端7的数量为至少两个，分布在同一或不同地理位置。所述第一语音模块61和所述第二语音模块71用于实现所述示教端6和所述远程端7之间的语音通讯。所述手术模块63用于对手术对象执行手术操作。所述VR图像采集模块62用于采集所述手术模块和/或所述手术对象的3D图像生成第一3D图像数据，并将所述第一3D图像数据发送给所述VR图像播放模块72。所述VR图像播放模块72用于解析数据并播放3D图像。

通过VR技术，一方面扩展了同一示教过程的可学习人数，另一方面又保证了教学的质量，使得学员能够观察到真实的手术情景，提升了教学效果，比实体培训系统和模拟器培训系统具有更好的效果。

请参考图2，图2展示了示教端的工作场景，图2中，主从端机器人在同一手术室，手术设备包括医生控制端1，患者操作端装置2，图像台车3、无菌台4和辅助设备5，所述辅助设备5根据手术的不同，可以是例如呼吸机、检测装置等。其中，患者操作端装置2即所述手术模块63。所述VR图像采集模块62设置于所述患者操作端装置2的末端，其采集到的图像数据可通过所述图像台车3进行展示，同时发送给所述VR图像播放模块72。

本实施例还提供了一种培训方法，基于上述的培训系统进行培训，所述培训方法包括：所述VR图像采集模块62实时地采集所述手术模块63和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送给所述VR图像播放模块72。同时，所述第一语音模块61实时地采集声音并发送给所述第二语音模块71，所述第二语音模块71实时地采集声音并发送给所述第一语音模块61。

上述培训方法对应于如下教学场景：医生实施手术，手术过程通过所述第一3D图像数据进行传输，学员于所述远程端7处观看手术进程。同时，医生对手术过程中关键性的环节进行语言讲解，学员在手术过程中及时提问，医生回答。

可以理解的，在其他实施例中，上述培训方法并非必须基于上述的培训系统实现，若将所述示教端6所处的位置定义为第一地点，将所述远程端7所处的位置定义为第二地点，则上述内容也可以重新总结如下。

所述培训方法包括：实时地采集第一地点的手术模块和/或手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至第二地点。

基于所述第一3D图像数据于所述第二地点播放VR图像。

同时，实时地采集所述第一地点的声音并发送至所述第二地点，实时地采集所述第二地点的声音并发送至所述第一地点。

所述第一地点和所述第二地点分别播放接收到的声音。

其中，所述手术模块用于对所述手术对象执行手术操作；所述第二地点包括至少两个子地点，所述子地点分布在同一或不同地理位置。

当所述远程端7的数量为至少两个，所述第二语音模块71用于实现至少两个所述远程端7之间的语音通讯时，所述培训方法包括：所述VR图像采集模块实时地采集所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送给所述VR图像播放模块；同时，一所述第二语音模块实时地采集声音并发送给其他的所述第二语音模块。

上述培训方法对应于如下教学场景：医生实施手术，手术过程通过所述第一3D图像数据进行传输，学员于所述远程端7处观看手术进程。同时一指导人员对手术过程进行讲解和答疑，学员在手术过程中向指导人员进行提问。医生则仅进行手术，不负责语音教学的内容，这样医生可以更专注于手术。

考虑到涉及所述培训系统和不涉及所述培训系统的两类实施例，上述内容也可以归纳总结为：所述培训方法包括：实时地采集所述第一地点的所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至所述第二地点。

基于所述第一3D图像数据于所述第二地点播放VR图像。

同时，实时地采集一所述子地点的声音并发送至其他的所述子地点。

其他的所述子地点播放接收到的声音。

在一较优的实施例中，所述VR图像采集模块62为3D内窥镜。学员可以通过3D内窥镜观察手术对象的内部状况进行学习。

进一步地，所述远程端7还包括操作指令输入模块，其中，所述操作指令输入模块用于获取所述远程端7的用户的第一手术操作指令并发送给所述示教端6；当不满足拒绝条件时，所述手术模块63用于响应所述第一手术操作指令并执行所述手术操作；当满足拒绝条件时，所述手术模块63不响应所述第一手术操作指令。

如此配置，学员还能够通过所述远程端7参与手术过程，提高学员的实际操作能力，同时，学员的手术也可以被其他学员所观察，其他学员可以从中学习到容易犯错之处，提升教学质量。

基于上述结构，所述培训方法包括：所述操作指令输入模块获取所述第一手术操作指令并发送给所述示教端；所述手术模块63响应所述第一手术操作指令并执行所述手术操作；同时，所述VR图像采集模块62实时地采集所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送给所述VR图像播放模块72；所述第一语音模块61实时地采集声音并发送给所述第二语音模块71，所述第二语音模块71实时地采集声音并发送给所述第一语音模块61。

上述培训方法对应于如下教学场景：学员进行远程手术，医生在手术现场对学员进行手术指导，指导过程通过语音方式实现。

考虑到涉及所述培训系统和不涉及所述培训系统的两类实施例，所述培训方法包括：获取所述第二地点的第一手术操作指令并发送至所述第一地点。

当不满足拒绝条件时，所述手术模块响应所述第一手术操作指令并执行所述手术操作；当满足拒绝条件时，所述手术模块不响应所述第一手术操作指令。

同时，实时地采集所述第一地点的所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至所述第二地点；基于所述第一3D图像数据于所述第二地点播放VR图像；实时地采集所述第一地点的声音并发送至所述第二地点，实时地采集所述第二地点的声音并发送至所述第一地点；所述第一地点和所述第二地点播放接收到的声音。

拒绝条件的设计是为了保证在临床手术或者其他重要手术时，防止学员误操作影响手术。在一实施例中，拒绝条件包括：所述示教端的用户将当前状态设置为拒绝，以及，所述手术模块当前正在执行临床手术。前者对应于医生判断手术重要性从而进行设置，拒绝远程端7的操作指令；后者对应于系统自动判断，防止医生疏忽遗忘。在其他的一些实施例中，也可以仅设置上述拒绝条件中的一者。在另外的一些实施例中，也可以根据实际需要，设置其他逻辑的拒绝条件以防止安全事故。

另外，也可以通过指导人员对手术过程进行指导，考虑到涉及所述培训系统和不涉及所述培训系统的两类实施例，相对应的培训方法包括：

获取一所述子地点的所述第一手术操作指令并发送至所述第一地点。

当不满足拒绝条件时，所述手术模块响应所述第一手术操作指令并执行所述手术操作；当满足拒绝条件时，所述手术模块不响应所述第一手术操作指令。

同时，实时地采集所述第一地点的所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至所述第二地点；基于所述第一3D图像数据于所述第二地点播放VR图像；实时地采集同一所述子地点或者另一所述子地点的声音并发送至其他的所述子地点；其他的所述子地点播放接收到的声音。

进一步的，所述远程端7还包括操作指令输入模块和虚拟手术模块，其中，所述操作指令输入模块用于获取所述远程端7的用户的第二手术操作指令并发送给所述虚拟手术模块。所述虚拟手术模块用于创建手术的虚拟场景，并使得所述虚拟场景响应所述第二手术操作指令，并生成第二3D图像数据；所述虚拟手术模块还用于将所述第二3D图像数据发送给所述VR图像播放模块。所述虚拟手术模块用于生成虚拟的病人脏器结构、韧性、血管、流血等图像，其具体的实现细节，本领域技术人员可以根据实际需要进行设置，在此不进行展开描述。学员通过所述远程端7进行虚拟手术和远程手术时的主观感受相同或者近似相同。

基于上述结构，所述培训方法包括：所述操作指令输入模块获取所述第二手术操作指令并发送给所述虚拟手术模块；所述虚拟手术模块创建手术的虚拟场景，并使得所述虚拟场景响应所述第二手术操作指令，并生成第二3D图像数据；所述虚拟手术模块将所述第二3D图像数据发送给所述VR图像播放模块。

当进行上述培训方法时，所述示教端6可处于无人状态。

考虑到涉及所述培训系统和不涉及所述培训系统的两类实施例，上述培训方法也可以总结为：所述培训方法包括：获取所述第二地点的第二手术操作指令。

创建手术的虚拟场景，所述虚拟场景响应所述第二手术操作指令，并生成第二3D图像数据。

基于所述第二3D图像数据播放VR图像。

为了便于学员之间互相学习，所述远程端7的数量为至少两个，一所述远程端7的所述操作指令输入模块还用于将所述第二手术操作指令并发送给另一所述远程端7的所述虚拟手术模块以驱使另一所述远程端7的所述虚拟手术模块工作。

以及，一所述远程端7的所述虚拟手术模块还用于将所述第二3D图像数据发送给另一所述远程端7的所述VR图像播放模块72以驱使另一所述远程端7的所述VR图像播放模块72工作。

需理解，上述两段描述中的“一所述远程端7”可以不相同，上述两段描述中的“另一所述远程端7”也可以不相同。

用于发送所述第二手术操作指令的所述远程端7可能对应于指导者、优秀学员或者普通学员。

基于上述结构，所述培训方法包括：一所述远程端7的所述操作指令输入模块获取所述第二手术操作指令并发送给另一所述远程端7的所述虚拟手术模块；另一所述远程端7的所述虚拟手术模块创建手术的虚拟场景，并使得所述虚拟场景响应所述第二手术操作指令，并生成第二3D图像数据；另一所述远程端7的所述虚拟手术模块将所述第二3D图像数据发送给自身的所述VR图像播放模块，以及发送给至少一个其他的所述远程端7的所述VR图像播放模块。

上述培训方法对应于如下学习场景：指导者或者一名学员进行示范性的虚拟手术操作，其余人员观看学习；若观看人员中还有指导者，指导者也可以进行语言指导。

考虑到涉及所述培训系统和不涉及所述培训系统的两类实施例，上述培训方法也可以总结为：所述培训方法包括：获取一所述子地点的所述第二手术操作指令并发送至另一所述子地点。

于另一所述子地点创建手术的虚拟场景，所述虚拟场景响应所述第二手术操作指令，并生成第二3D图像数据。

基于所述第二3D图像数据于另一所述子地点以及至少一个其他的所述子地点播放VR图像。

上述两段描述中的“一所述子地点”可以不相同，上述两段描述中的“另一所述子地点”也可以不相同。

为了便于学员事后复习，所述培训系统还包括存储服务器，所述存储服务器与所述示教端通讯连接，所述存储服务器和所述远程端通讯连接。其中，所述VR图像采集模块还用于将所述第一3D图像数据发送给所述存储服务器，当所述远程端包括虚拟手术模块时，所述虚拟手术模块还用于将所述第二3D图像数据发送给所述存储服务器。所述存储服务器用于保存接收到的数据，所述存储服务器还用于响应所述远程端发送的历史视频访问请求，发送相应的数据至所述远程端以驱使所述VR图像播放模块工作。

基于上述结构，所述培训方法包括：所述远程端发送历史视频访问请求；所述存储服务器发送相应的数据至所述远程端。

如此配置，便于学员事后进行复习。

考虑到涉及所述培训系统和不涉及所述培训系统的两类实施例，上述培训方法也可以总结为：所述培训方法包括：存储所述第一3D图像数据和所述第二3D图像数据。

于所述第二地点发送历史视频访问请求。

基于所述历史视频访问请求发送相应的数据至所述第二地点；其中，所述相应的数据为所述第一3D图像数据或者所述第二3D图像数据。

基于所述相应的数据于所述第二地点播放VR图像。

上述过程也可以加入指导人员的指导，例如，在一实施例中，所述培训方法包括：于所述第二地点发送所述历史视频访问请求；基于所述历史视频访问请求发送相应的数据至所述第二地点。

同时，实时地采集一所述子地点的声音并发送给其他的所述子地点；其他的所述子地点播放接收到的声音。

进一步地，所述远程端7还包括学习日志模块；所述学习日志模块用于响应用户的编辑指令，生成或修改多媒体学习日志，并将所述多媒体学习日志存储于本地或者服务器；所述学习日志模块还用于响应用户的浏览指令，展示历史的所述多媒体学习日志。如此配置，便于学员进行资料整理，提升复习效率。

基于上述结构，所述培训方法包括：所述学习日志模块获取所述编辑指令，生成多媒体学习日志，并将所述多媒体学习日志存储于本地或者服务器；或者，所述学习日志模块获取所述浏览指令，展示历史的所述多媒体学习日志。

考虑到涉及所述培训系统和不涉及所述培训系统的两类实施例，上述培训方法也可以总结为：所述培训方法包括：于所述第二地点获取所述编辑指令，生成多媒体学习日志。

所述多媒体学习日志存储于本地或者服务器。

或者，于所述第二地点获取所述浏览指令，展示历史的所述多媒体学习日志。

以及，所述培训方法包括：基于所述学习日志模块导出预设格式的所述多媒体学习日志；将预设格式的所述多媒体学习日志传播至其他的计算机设备。导出预设格式后，可使得优秀的学习日志传播至系统外的学员，提高了所述培训系统的影响范围。所述预设格式可以例如是：幻灯片格式、视频格式、文档格式、图片格式等等。

也即，所述培训方法包括：导出预设格式的所述多媒体学习日志。

将预设格式的所述多媒体学习日志传播至其他的计算机设备。

考虑到示教端的医生不一定常驻，以及还配置另外的指导人员可以获得更好的指导效果，所述远程端7的数量为至少两个，所述第二语音模块用于实现所述远程端之间的语音通讯。基于上述配置，指导人员可以位于任意一个所述远程端7进行指导教学。如图3所示，更优地，所述远程端中的一个被配置为指导端73，其余的所述远程端被配置为学员端74。所述指导人员可以使用所述指导端73进行指导。其中，所述指导端73用于向所述学员端74发送激活指令，以远程操控所述学员端74的至少一部分功能；所述指导端73还用于向所述学员端74发送禁用指令，以禁用所述学员端74的至少一部分的操作指令；所述指导端73还用于向所述学员端74发送恢复指令，以恢复被所述禁用指令禁止的所述操作指令。所述指导端73还用于将自身的所述VR图像播放模块72播放的图像同步给所述学员端74。如此配置，使得所述指导端73具有更高的权限和功能，便于指导人员全局统筹和安排教学任务。

在一实施例中，所述培训系统具有上面描述的所有模块和功能，以下对该培训系统进行着重介绍。

总体而言，所述培训系统包括学员端74、指导端73、示教端6和服务器，服务器又具体包括VR云服务器、多媒体记录云服务器(即所述存储服务器)和音视频云服务器。

所述学员端74包含：VR头戴设备(即所述VR图像播放模块72)、图像处理和通讯主机(包括所述第二语音模块71)，及VR手术软件模块(即所述虚拟手术模块)、远程示教软件模块、在线课堂软件模块、历史视频软件模块(用于发送历史视频访问请求)、远程操作软件模块、多媒体记录软件模块(即所述学习日志模块)、视频解压软件模块。

所述指导端73和学员端74基本相同，但是具有更多的课堂控制权限。

所述示教端6包含：手术机器人系统(即所述手术模块63)、图像处理和通讯主机(包括所述第一语音模块61)、语音通讯软件模块、图像采集和压缩模块(包括所述VR图像采集模块)。

所述培训系统具有如下功能：VR手术，远程示教，在线课堂，远程操作，历史视频，多媒体笔记。上述功能分别与所述培训方法中的一部分步骤相对应。

所述VR手术是学员可以通过VR虚拟手术操作端(即所述操作指令输入模块)，在VR虚拟手术场景内实现虚拟手术操作。

所述远程示教是专家和老师可以通过操作真实机器人系统，对在线学员进行实时操作和讲解，以及问题交流。

所述在线课堂是专家和老师可以通过播放历史视频以及观看实际手术，对在线学员进行实时操作和讲解，以及问题交流。

所述远程操作回放是学员可以在远程示教或者在线课堂中，向专家老师请求远程操作，请求通过后可通过虚拟手术操作端，远程操作实体手术机器人。

所述历史视频回放是学员可以根据需要，观看历史手术3D视频。

所述多媒体笔记是学员可以在培训过程中将珍贵的文字、画面、语音、视频等进行保存，这些多媒体资料以时间顺序保存在一个文件中，形成多媒体日记，可编辑和输出成PPT。

如图3所示，本发明的整体通讯架构如下。

示教端：机器人所在手术室场景，机器人用于专家、医生进行手术操作，微型处理主机采集内窥镜手术视频和医生声音，经H265编码后发送到音视频云服务器，然后中转给各个头戴设备；并对发送来的声音进行解码，实现多方音频通话。

指导端：用于专家、老师对正在实施的手术或者历史视频进行讲解和VR演示，专家老师观看的手术、历史视频和VR演示，将被强制推送到其它头戴设备；微型主机用于实现远程手术、历史视频解码和通讯，头戴设备用于显示3D视频。指导端的通讯连接和学生端相同。

学员端：通过头戴设备和VR技术，观看3D视频，进行VR虚拟操作，远程真机操作和多媒体学习记录。微型主机用于视频解码和音频通讯。

如图4所示，示教端6的应用场景如下：医生或者专家一边操作机器人进行示范操作，一边在线讲解和回答学员问题。人体临床手术作为示教端的一个特殊场景，将通过指导端73的讲解来培训学员，将禁止远程操作。对于培训目的的示教手术，示教人员将允许远程操作请求和声音交流。

如图5所示，指导端73的应用场景如下：医生或者专家可以讲解实际的在线手术或者历史视频，并和学员进行问题交流。同时，可以远程操作机器人进行在线远程示教。图中所有场景显示、切换及操作，都通过头戴设备和VR手柄实现。指导端具有完全的课堂发言控制和驱离控制权限。VR手术：本端操作VR手术，可推送至其它头戴设备；历史视频：本端观看历史视频，可推送至其它头戴设备；在线手术：可申请远程操作，并将手术视频推送至其它头戴设备；多媒体笔记：指导人员具有自己的教学多媒体记录。

如图6所示，学员端74的应用场景如下：学员通过头戴设备，可以选择和切换远程示教场景、在线课堂场景、远程操作、观看历史视频和进行VR虚拟手术操作，在所有过程中，可以截取视频片段、音频记录和文字记录，按照时间顺序形成多媒体记录，便于课后复习。学员在进入远程示教场景后，将接受示教端实时手术视频和声音讲解。学员可以申请手术操作和提出问题。学员在进入在线课堂场景后，将接受指导端推送的视频和声音讲解。学员可以申请手术操作和提出问题。并且，可以申请将VR手术推送到其它头戴设备来演示问题。

如图7所示，学员在进入在线课堂后，可以控制麦克风和喇叭；可以请求远程操控机器人进行手术体验；可以进行文字记录(通过语音识别)，也可以开启音视频记录远程手术视频和声音。记录片段可以在多媒体笔记模块中进行编辑。

对于远程操作，每次只允许1名学员或者老师操控机器人，不允许多人同时操作；示教端如果正在操作，需操作者和指导者同时同意，方可操控机器人；操作端和指导端有权限拒绝学员操作请求，有权限断开学员操作；指导端有权限强制关掉学员麦克风；有权限将学员从课堂永久或踢出若干时间。

如图8所示，与学员端比较，指导端多了学员管理功能。可查看学员列表和信息，禁止学员发言，甚至永久踢出课堂或踢出若干时间。可批准远程操控机器人请求，或者断开正在进行的操控。远程操作功能中，同学员端请求操作需要同时获得指导端和示教端同意不同，指导端的请求操作只需要示教端同意即可操作。如果示教端无人操作，则默认同意。

如图9所示，在示教端，示教人员不需要进入课堂即可本地操作机器人，可以直接控制麦克风和喇叭。可以直接断开其它端的远程操作，本地进入操作模式。可以通过在线课堂模块的学员管理，具有和指导端相同的功能和权限。

如图10所示，虚拟手术场景下，学员通过VR手柄模拟机器人主手，VR虚拟手术服务器会虚拟构建手术机器人系统、肌体系统等，执行虚拟主手动作指令，操作虚拟机器人进行虚拟手术。

如图11所示，在远程操作请求通过后，VR手柄被模拟成机器人主手，动作指令会通过VR云服务器转发给实体机器人从端，实现远程控制机器人。真实腔镜3D视频通过VR云服务器转发给头戴设备，并形成3D视频播放。

如图12所示，学员可以在学习过程中随时记录文字、声音和视频片段(即学习日志)，这些多媒体形式的记录以时间顺序存储，同时存储当时的学习场景信息。

如图13所示，所述头戴显示设备包括：微型显示器：用于三维视频的显示；SBS显示控制模块：负责将单路视频拆解为双路视频并以Side By Side方式显示；SoC模块：控制系统，VR控制、音视频显示和场景控制；音频模块：负责处理音频数据，且连接外接音频设备；麦克风模块：负责采集音频数据与外接麦克风设备；WIFI模块：负责与通讯主机进行连接配对，音视频通信和VR控制通讯；供电模块：负责控制外接电源设备的接入。

如图14a所示，一般情况下，所述3D内窥镜将视频数据传输至机器人主端。在本实施例中，如图14b所示，通过分屏器作用，所述3D内窥镜可将视频数据同时传输至图像及通讯主机，然后传输至所述远程端。

如图15所示，此流程图描述了进入虚拟手术场景后的VR软件模块执行过程。老师和学员可以切换到VR手术场景进行虚拟手术教学和学习。具体的实现方式可以根据实际需要进行设置，在此不进行展开描述。

图16a～16c展示了示教端远程示教的流程图，其中，图16a描述了示教端手术机器人基本的手术操作流程。图16b描述了示教端手术机器人操作过程中，内窥三维视频和操作者声音会同步采集、压缩后，通过网络发送出去。图16c描述了示教过程中，通过网络读取学员声音数据，然后通过喇叭播放出来。

图17展示了学员端远程操控的流程图，学员远程请求操控机器人，获得批准后，可以通过VR手柄模拟机器人主手，操作实体机器人。操作过程中，会时刻检测是否操作已经被远程断开；同时，自己也可以主动退出操作。

图18展示了本发明的历史三维视频回放流程图。历史视频将以3D的方式存储，学员和老师可以在线查看和播放。老师和学员可以将自己播放的视频同步推送到其他人。

与现有技术相比，本发明提供的一种培训系统及培训方法中，所述培训系统包括示教端和远程端，所述示教端包括第一语音模块、VR图像采集模块和手术模块；所述远程端包括第二语音模块和VR图像播放模块。其中，所述示教端和所述远程端通讯连接。所述第一语音模块和所述第二语音模块用于实现所述示教端和所述远程端之间的语音通讯。所述手术模块用于对手术对象执行手术操作。所述VR图像采集模块用于采集所述手术模块和/或所述手术对象的3D图像生成第一3D图像数据，并将所述第一3D图像数据发送给所述VR图像播放模块。所述VR图像播放模块用于解析数据并播放3D图像。如此配置，通过远程教学方式扩展了同一时间的学员数量，通过VR技术提高了学习过程的真实性，并降低了学习案例的制作成本；解决了现有技术中的医生培训系统在效率、成本、真实度等各方面有待提升的问题。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明技术方案的保护范围。

Claims (19)

1.一种培训系统，其特征在于，所述培训系统包括示教端和远程端，所述示教端包括第一语音模块、VR图像采集模块和手术模块；所述远程端包括第二语音模块和VR图像播放模块；其中，

所述示教端和所述远程端远距离通讯连接，所述远程端的数量为至少两个，分布在同一或不同地理位置；

所述第一语音模块和所述第二语音模块用于实现所述示教端和所述远程端之间的语音通讯；

所述手术模块用于对手术对象执行手术操作；

所述VR图像采集模块用于采集所述手术模块和/或所述手术对象的3D图像生成第一3D图像数据，并将所述第一3D图像数据发送给所述VR图像播放模块；

所述VR图像播放模块用于解析数据并播放3D图像。

2.根据权利要求1所述的培训系统，其特征在于，所述VR图像采集模块为3D内窥镜。

3.根据权利要求1所述的培训系统，其特征在于，所述远程端还包括操作指令输入模块，其中，

所述操作指令输入模块用于获取所述远程端的用户的第一手术操作指令并发送给所述示教端；

当不满足拒绝条件时，所述手术模块用于响应所述第一手术操作指令并执行所述手术操作；当满足拒绝条件时，所述手术模块不响应所述第一手术操作指令。

4.根据权利要求3所述的培训系统，其特征在于，拒绝条件包括：所述示教端的用户将当前状态设置为拒绝，和/或，所述手术模块当前正在执行临床手术。

5.根据权利要求1所述的培训系统，其特征在于，所述远程端还包括操作指令输入模块和虚拟手术模块，其中，

所述操作指令输入模块用于获取所述远程端的用户的第二手术操作指令并发送给所述虚拟手术模块；

所述虚拟手术模块用于创建手术的虚拟场景，并使得所述虚拟场景响应所述第二手术操作指令，并生成第二3D图像数据；所述虚拟手术模块还用于将所述第二3D图像数据发送给所述VR图像播放模块。

6.根据权利要求5所述的培训系统，其特征在于，一所述远程端的所述操作指令输入模块还用于将所述第二手术操作指令并发送给另一所述远程端的所述虚拟手术模块以驱使另一所述远程端的所述虚拟手术模块工作；以及，一所述远程端的所述虚拟手术模块还用于将所述第二3D图像数据发送给另一所述远程端的所述VR图像播放模块以驱使另一所述远程端的所述VR图像播放模块工作。

7.根据权利要求1～6中任一项所述的培训系统，其特征在于，所述培训系统还包括存储服务器，所述存储服务器与所述示教端通讯连接，所述存储服务器和所述远程端通讯连接；其中，

所述VR图像采集模块还用于将所述第一3D图像数据发送给所述存储服务器，当所述远程端包括虚拟手术模块时，所述虚拟手术模块还用于将第二3D图像数据发送给所述存储服务器；

所述存储服务器用于保存接收到的数据，所述存储服务器还用于响应所述远程端发送的历史视频访问请求，发送相应的数据至所述远程端以驱使所述VR图像播放模块工作。

8.根据权利要求1～6中任一项所述的培训系统，其特征在于，所述远程端还包括学习日志模块；所述学习日志模块用于响应用户的编辑指令，生成或修改多媒体学习日志，并将所述多媒体学习日志存储于本地或者服务器；所述学习日志模块还用于响应用户的浏览指令，展示历史的所述多媒体学习日志。

9.根据权利要求1～6中任一项所述的培训系统，其特征在于，所述第二语音模块用于实现所述远程端之间的语音通讯，所述远程端中的一个被配置为指导端，其余的所述远程端被配置为学员端；其中，

所述指导端用于向所述学员端发送激活指令，以远程操控所述学员端的至少一部分功能；所述指导端还用于向所述学员端发送禁用指令，以禁用所述学员端的至少一部分的操作指令；所述指导端还用于向所述学员端发送恢复指令，以恢复被所述禁用指令禁止的所述操作指令；

所述指导端还用于将自身的所述VR图像播放模块播放的图像同步给所述学员端。

10.一种培训方法，其特征在于，所述培训方法包括：

实时地采集第一地点的手术模块和/或手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至第二地点；

基于所述第一3D图像数据于所述第二地点播放VR图像；

同时，实时地采集所述第一地点的声音并发送至所述第二地点，实时地采集所述第二地点的声音并发送至所述第一地点；

所述第一地点和所述第二地点播放接收到的声音；

其中，所述手术模块用于对所述手术对象执行手术操作；所述第二地点包括至少两个子地点，所述子地点分布在同一或不同地理位置。

11.根据权利要求10所述的培训方法，其特征在于，所述培训方法包括：

实时地采集所述第一地点的所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至所述第二地点；

基于所述第一3D图像数据于所述第二地点播放VR图像；

同时，实时地采集一所述子地点的声音并发送至其他的所述子地点；

其他的所述子地点播放接收到的声音。

12.根据权利要求10所述的培训方法，其特征在于，所述培训方法包括：

获取所述第二地点的第一手术操作指令并发送至所述第一地点；

当不满足拒绝条件时，所述手术模块响应所述第一手术操作指令并执行所述手术操作；当满足拒绝条件时，所述手术模块不响应所述第一手术操作指令；

同时，实时地采集所述第一地点的所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至所述第二地点；基于所述第一3D图像数据于所述第二地点播放VR图像；实时地采集所述第一地点的声音并发送至所述第二地点，实时地采集所述第二地点的声音并发送至所述第一地点；所述第一地点和所述第二地点播放接收到的声音。

13.根据权利要求12所述的培训方法，其特征在于，所述培训方法包括：

获取一所述子地点的所述第一手术操作指令并发送至所述第一地点；

当不满足拒绝条件时，所述手术模块响应所述第一手术操作指令并执行所述手术操作；当满足拒绝条件时，所述手术模块不响应所述第一手术操作指令；

同时，实时地采集所述第一地点的所述手术模块和/或所述手术对象的3D图像生成所述第一3D图像数据，并将所述第一3D图像数据发送至所述第二地点；基于所述第一3D图像数据于所述第二地点播放VR图像；实时地采集同一所述子地点或者另一所述子地点的声音并发送至其他的所述子地点；其他的所述子地点播放接收到的声音。

14.根据权利要求10所述的培训方法，其特征在于，所述培训方法包括：

获取所述第二地点的第二手术操作指令；

创建手术的虚拟场景，所述虚拟场景响应所述第二手术操作指令，并生成第二3D图像数据；

基于所述第二3D图像数据播放VR图像。

15.根据权利要求14所述的培训方法，其特征在于，所述培训方法包括：

获取一所述子地点的所述第二手术操作指令并发送至另一所述子地点；

于另一所述子地点创建手术的虚拟场景，所述虚拟场景响应所述第二手术操作指令，并生成所述第二3D图像数据；

基于所述第二3D图像数据于另一所述子地点以及至少一个其他的所述子地点播放VR图像。

16.根据权利要求14所述的培训方法，其特征在于，所述培训方法包括：

存储所述第一3D图像数据和所述第二3D图像数据；

于所述第二地点发送历史视频访问请求；

基于所述历史视频访问请求发送相应的数据至所述第二地点；其中，所述相应的数据为所述第一3D图像数据或者所述第二3D图像数据；

基于所述相应的数据于所述第二地点播放VR图像。

17.根据权利要求16所述的培训方法，其特征在于，所述培训方法包括：

于所述第二地点发送所述历史视频访问请求；基于所述历史视频访问请求发送相应的数据至所述第二地点；基于所述相应的数据于所述第二地点播放VR图像；

同时，实时地采集一所述子地点的声音并发送给其他的所述子地点；其他的所述子地点播放接收到的声音。

18.根据权利要求10所述的培训方法，其特征在于，所述培训方法包括：

于所述第二地点获取所述编辑指令，生成多媒体学习日志；

所述多媒体学习日志存储于本地或者服务器；

或者，于所述第二地点获取所述浏览指令，展示历史的所述多媒体学习日志。

19.根据权利要求18所述的培训方法，其特征在于，所述培训方法包括：

导出预设格式的所述多媒体学习日志；

将预设格式的所述多媒体学习日志传播至其他的计算机设备。

Images