CN116313028A - 医疗辅助设备、方法及计算机可读存储介质 - Google Patents

Abstract

本申请提供了医疗辅助设备、方法及存储介质，所述医疗辅助设备包括存储器和处理器，所述处理器被配置成实现以下步骤：将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型进行检测；将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果；分别对各所述对象进行三维建模，以得到各所述对象的三维模型；对各所述对象的三维模型进行体渲染，以获得各所述对象对应的虚拟对象；利用所述扩展现实设备显示多个所述虚拟对象，以辅助所述目标人员执行手术操作。将医疗AI与XR技术相结合，增加扩展现实设备所呈现的虚拟世界与现实世界的互动，提高手术操作的有效性和安全性。

Description

医疗辅助设备、方法及计算机可读存储介质

技术领域

本申请涉及医疗手术、虚拟现实和图像分割的技术领域，尤其涉及医疗辅助设备、方法及计算机可读存储介质。

背景技术

随着科技发展，元宇宙日渐走近人们的生活。元宇宙目前主要有XR(扩展现实)，包括AR(增强现实)、VR(虚拟现实)、MR(混合现实)等，具有持续性、实时性、兼容性、经济属性、可连接性、可创造性的优点。

VR具有全合成视图的特点，用户常用的交互方式就是头戴式VR眼镜，拥有头部跟踪以及体感控制器。用户融入虚拟环境中，通过和虚拟环境进行交互实现探索创作，比如VR教育、VR绘画，二者均满足虚拟环境的要求：共同的空间感、共同的存在感觉、共同的时间感。用户可以通过手势、语音、文本等方式进行信息交流和对虚拟对象的操作。当大量用户存在于(虚拟环境中的)共享空间的时候，需要保证虚拟用户的同步性，否则大量的延迟会严重影响用户体验。

AR则以现实世界为主体，通过显示设备映射一些文字、图像等信号，与现实世界进行结合。

近年来，VR/AR应用正在普及社会各个领域，特别是在教育、电信、医疗和游戏等领域。以医疗为例，VR的应用主要涉及到两大领域，一是医学教育，二是临床应用。在医学教育方面，一些经典医疗案例作为课程重点进行讲授，并让每个医学生都可以通过VR技术，亲身体验治疗全过程，更好的掌握其中关键部分。使用虚拟实景来培训医务人员，VR可穿戴设备可以提供患者疾病的360°视图，通过加强教学进行学习和临床训练，让学习者更有代入感。它可以帮助学习者充分理解从解剖到手术的一切，以便更直观地去学习；还可以让学生在安全的环境下进行临床实践，避免危险，为以后的临床实践做好充分的准备。同时，由于互联网信息获取的实时性，学生们可以及时的获取世界各地最新的技术。在临床应用方面，在术前，对手术进行个体化模拟，设计最佳的手术路径，能够模拟各种突发情况，用以充分提升手术的成功率。

VR的局限在于与现实世界隔离，发生在现实世界的事情无法被VR眼镜里的虚拟场景看到，所以通常会通过实体限制设施或是事先设定的距离来提示用户不要离开VR眼镜所在的区域。AR的局限在于以现实世界为主体，不能进行充分的虚拟实景展示和拥有足够的沉浸感。

基于此，本申请提供了医疗辅助设备、方法及计算机可读存储介质，以解决上述现有技术中存在的问题。

发明内容

本申请的目的在于提供医疗辅助设备、方法及计算机可读存储介质，将医疗AI与XR技术相结合，增加扩展现实设备所呈现的虚拟世界与现实世界的互动，提高手术操作的有效性和安全性。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种医疗辅助设备，所述医疗辅助设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置成执行所述计算机程序时实现以下步骤：

将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型，以得到所述物品检测模型和所述人物检测模型对应的检测结果；所述检测结果包括每个对象的分类结果，所述视觉检测数据中包括以下所述对象的至少一种：多个物品、患者以及一个或多个医护人员；

基于各所述对象的检测结果，将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果；

利用各所述对象的实例分割结果，分别对各所述对象进行三维建模，以得到各所述对象的三维模型；

对各所述对象的三维模型进行体渲染，以获得各所述对象对应的虚拟对象；

基于实时获取的目标人员佩戴的扩展现实设备的位置信息和姿态信息，利用所述扩展现实设备显示多个所述虚拟对象，以辅助所述目标人员执行手术操作；所述目标人员是一个或多个所述医护人员的其中一个。

在一些可选的实施方式中，所述处理器被配置成采用以下方式获取所述医护人员的三维模型：

基于所述医护人员的实例分割结果，对所述医护人员进行姿态估计，以得到姿态估计结果；

基于所述姿态估计结果，对所述医护人员进行三维建模，以得到所述医护人员的三维模型。

在一些可选的实施方式中，所述处理器被配置成采用以下方式获取所述患者的三维模型：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

将所述患者的医学影像数据输入至器官分割模型和/或组织分割模型，以得到所述患者的各部位的器官分割结果和/或组织分割结果；

基于所述器官分割结果和/或所述组织分割结果，对所述患者的器官和/或组织进行三维重建与渲染，以得到第一重建结果；

将所述第一重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到第二重建结果；

将所述第二重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

在所述患者的三维模型上划分血管危险等级。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

将输入信息输入至手术路径规划模型，以获取初步手术路径规划结果；所述输入信息包括以下一种或多种信息：手术难度信息、主刀医生的技术水平信息以及所述患者的手术目的信息、第一比对结果、第二比对结果、身体状态信息、病灶周围组织信息、手术影响范围信息和术后恢复信息；

其中，获取所述第一比对结果和所述第二比对结果的过程包括：

将所述患者的术前检测结果分别与健康人大数据库、手术医疗大数据库进行比对，以得到第一比对结果和第二比对结果。

在一些可选的实施方式中，所述患者的术前检测结果包括所述患者的医学影像数据和/或血管造影结果。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

基于所述患者的术前检测结果，获取所述患者的手术目的信息。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

利用所述扩展现实设备将所述初步手术路径规划结果在所述患者的三维模型中进行可视化展示。

在一些可选的实施方式中，所述检测结果还用于指示每个对象的位置信息；

所述处理器被配置成采用以下方式利用所述扩展现实设备显示多个所述虚拟对象：

基于所述扩展现实设备的位置信息和姿态信息以及每个对象的位置信息，确定多个待显示的所述虚拟对象；

利用多个待显示的所述虚拟对象及其位置信息，渲染得到显示图像；

利用所述扩展现实设备显示所述显示图像。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

将当前时刻的所述物品检测模型和所述人物检测模型对应的检测结果与上一时刻的所述物品检测模型和所述人物检测模型对应的检测结果进行比对，判断是否存在新进入所述预设区域的危险对象；

如果存在所述危险对象，则将所述危险对象的位置信息所对应的区域作为危险区域，并当所述显示图像包括所述危险区域的部分或全部时，利用所述扩展现实设备在显示所述危险区域的部分或全部的同时显示第一提示信息，所述第一提示信息用于指示有危险对象闯入。

在一些可选的实施方式中，所述视觉检测数据中包括多个所述医护人员；

所述处理器还被配置成实现以下步骤：

基于多个所述医护人员的位置信息，获取所述目标人员和预设对象之间的最小距离；所述预设对象包括其他人员和/或运动机器；

当所述最小距离不大于预设距离阈值时，利用所述扩展现实设备显示第二提示信息，所述第二提示信息用于指示可能与所述预设对象发生碰撞。

第二方面，本申请提供了一种医疗辅助方法，所述方法包括：

将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型，以得到所述物品检测模型和所述人物检测模型对应的检测结果；所述检测结果包括每个对象的分类结果，所述视觉检测数据中包括以下所述对象的至少一种：多个物品、患者以及一个或多个医护人员；

基于各所述对象的检测结果，将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果；

利用各所述对象的实例分割结果，分别对各所述对象进行三维建模，以得到各所述对象的三维模型；

对各所述对象的三维模型进行体渲染，以获得各所述对象对应的虚拟对象；

基于实时获取的目标人员佩戴的扩展现实设备的位置信息和姿态信息，利用所述扩展现实设备显示多个所述虚拟对象，以辅助所述目标人员执行手术操作；所述目标人员是一个或多个所述医护人员的其中一个。

在一些可选的实施方式中，当所述对象是医护人员时，所述利用各所述对象的实例分割结果，分别对各所述对象进行三维建模，以得到各所述对象的三维模型，包括：

基于所述医护人员的实例分割结果，对所述医护人员进行姿态估计，以得到姿态估计结果；

基于所述姿态估计结果，对所述医护人员进行三维建模，以得到所述医护人员的三维模型。

在一些可选的实施方式中，当所述对象是患者时，所述利用各所述对象的实例分割结果，分别对各所述对象进行三维建模，以得到各所述对象的三维模型，包括：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

将所述患者的医学影像数据输入至器官分割模型和/或组织分割模型，以得到所述患者的各部位的器官分割结果和/或组织分割结果；

基于所述器官分割结果和/或所述组织分割结果，对所述患者的器官和/或组织进行三维重建与渲染，以得到第一重建结果；

将所述第一重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，所述方法还包括：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到第二重建结果；

将所述第二重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，所述方法还包括：

在所述患者的三维模型上划分血管危险等级。

在一些可选的实施方式中，所述方法还包括：

将输入信息输入至手术路径规划模型，以获取初步手术路径规划结果；所述输入信息包括以下一种或多种信息：手术难度信息、主刀医生的技术水平信息以及所述患者的手术目的信息、第一比对结果、第二比对结果、身体状态信息、病灶周围组织信息、手术影响范围信息和术后恢复信息；

其中，获取所述第一比对结果和所述第二比对结果的过程包括：

将所述患者的术前检测结果分别与健康人大数据库、手术医疗大数据库进行比对，以得到第一比对结果和第二比对结果。

在一些可选的实施方式中，所述患者的术前检测结果包括所述患者的医学影像数据和/或血管造影结果。

在一些可选的实施方式中，所述方法还包括：

基于所述患者的术前检测结果，获取所述患者的手术目的信息。

在一些可选的实施方式中，所述方法还包括：

利用所述扩展现实设备将所述初步手术路径规划结果在所述患者的三维模型中进行可视化展示。

在一些可选的实施方式中，所述检测结果还用于指示每个对象的位置信息；

所述基于实时获取的目标人员佩戴的扩展现实设备的位置信息和姿态信息，利用所述扩展现实设备显示多个所述虚拟对象，包括：

基于所述扩展现实设备的位置信息和姿态信息以及每个对象的位置信息，确定多个待显示的所述虚拟对象；

利用多个待显示的所述虚拟对象及其位置信息，渲染得到显示图像；

利用所述扩展现实设备显示所述显示图像。

在一些可选的实施方式中，所述方法还包括：

将当前时刻的所述物品检测模型和所述人物检测模型对应的检测结果与上一时刻的所述物品检测模型和所述人物检测模型对应的检测结果进行比对，判断是否存在新进入所述预设区域的危险对象；

如果存在所述危险对象，则将所述危险对象的位置信息所对应的区域作为危险区域，并当所述显示图像包括所述危险区域的部分或全部时，利用所述扩展现实设备在显示所述危险区域的部分或全部的同时显示第一提示信息，所述第一提示信息用于指示有危险对象闯入。

在一些可选的实施方式中，所述视觉检测数据中包括多个所述医护人员；

所述方法还包括：

基于多个所述医护人员的位置信息，获取所述目标人员和预设对象之间的最小距离；所述预设对象包括其他人员和/或运动机器；

当所述最小距离不大于预设距离阈值时，利用所述扩展现实设备显示第二提示信息，所述第二提示信息用于指示可能与所述预设对象发生碰撞。

第三方面，本申请提供了一种手术路径规划方法，所述方法包括：

将输入信息输入至手术路径规划模型，以获取初步手术路径规划结果；所述输入信息包括以下一种或多种信息：手术难度信息、主刀医生的技术水平信息以及患者的手术目的信息、第一比对结果、第二比对结果、身体状态信息、病灶周围组织信息、手术影响范围信息和术后恢复信息。

在一些可选的实施方式中，所述患者的手术目的信息的获取过程如下：

基于所述患者的术前检测结果，获取所述患者的手术目的信息；所述患者的术前检测结果包括所述患者的医学影像数据和/或血管造影结果。

在一些可选的实施方式中，所述第一比对结果和所述第二比对结果的获取过程如下：

将所述患者的术前检测结果分别与健康人大数据库、手术医疗大数据库进行比对，以得到所述患者的第一比对结果和第二比对结果。

在一些可选的实施方式中，所述方法还包括：

利用扩展现实设备将所述初步手术路径规划结果在所述患者的三维模型中进行可视化展示。

在一些可选的实施方式中，获取所述患者的三维模型的过程如下：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

将所述患者的医学影像数据输入至器官分割模型和/或组织分割模型，以得到所述患者的各部位的器官分割结果和/或组织分割结果；

基于所述器官分割结果和/或所述组织分割结果，对所述患者的器官和/或组织进行三维重建与渲染，以得到第一重建结果；

将所述第一重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，所述方法还包括：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到第二重建结果；

将所述第二重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，所述方法还包括：

在所述患者的三维模型上划分血管危险等级。

在一些可选的实施方式中，获取所述患者的实例分割结果的过程如下：

将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型，以得到所述物品检测模型和所述人物检测模型对应的检测结果；所述检测结果包括每个对象的分类结果，所述视觉检测数据中包括以下所述对象的至少一种：多个物品、患者以及一个或多个医护人员；

基于各所述对象的检测结果，将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果。

在一些可选的实施方式中，所述方法还包括：

利用所述扩展现实设备显示预设手术工具所在位置对应的患者的生理信息；所述生理信息包括以下一种或多种信息：组织类别信息；组织活性信息；供血状态信息；病变状态信息；与所述预设手术工具所在位置相关联的一个或多个组织的实例分割结果。

在一些可选的实施方式中，所述方法还包括：

基于实时变化的所述患者的三维模型，实时预测出所述患者的实时术后预后结果；

当检测到所述目标人员的手术操作偏离所述初步手术路径规划结果时，执行以下一种或多种操作：利用所述扩展现实设备进行预警提示；利用所述扩展现实设备进行实时术后预后结果的提示；利用所述扩展现实设备进行用药提示。

其中，进行提示的方式包括以下一种或多种：显示文本；播放音频；播放视频。

在一些可选的实施方式中，所述方法还包括：

当接收到重新规划操作时，利用所述扩展现实设备显示一种或多种备选手术路径规划结果。

其中，接收重新规划操作的过程包括：

利用所述扩展现实设备播放音频以询问所述目标人员是否需要重新规划手术路径；

利用所述扩展现实设备接收所述目标人员的语音信息；

对所述语音信息进行语音识别以得到语音识别结果；

基于所述语音识别结果，确定是否接收到所述重新规划操作。

在一些可选的实施方式中，利用所述扩展现实设备显示多种风险等级对应的备选手术路径规划结果。

第四方面，本申请还提供了一种手术路径规划设备，所述手术路径规划设备包括存储器和处理器，所述处理器被配置成实现以下步骤：

将输入信息输入至手术路径规划模型，以获取初步手术路径规划结果；所述输入信息包括以下一种或多种信息：手术难度信息、主刀医生的技术水平信息以及患者的手术目的信息、第一比对结果、第二比对结果、身体状态信息、病灶周围组织信息、手术影响范围信息和术后恢复信息。

在一些可选的实施方式中，所述患者的手术目的信息的获取过程如下：

基于所述患者的术前检测结果，获取所述患者的手术目的信息；所述患者的术前检测结果包括所述患者的医学影像数据和/或血管造影结果。

在一些可选的实施方式中，所述第一比对结果和所述第二比对结果的获取过程如下：

将所述患者的术前检测结果分别与健康人大数据库、手术医疗大数据库进行比对，以得到所述患者的第一比对结果和第二比对结果。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

利用扩展现实设备将所述初步手术路径规划结果在所述患者的三维模型中进行可视化展示。

在一些可选的实施方式中，获取所述患者的三维模型的过程如下：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

将所述患者的医学影像数据输入至器官分割模型和/或组织分割模型，以得到所述患者的各部位的器官分割结果和/或组织分割结果；

基于所述器官分割结果和/或所述组织分割结果，对所述患者的器官和/或组织进行三维重建与渲染，以得到第一重建结果；

将所述第一重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，获取所述患者的三维模型的过程还包括：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到第二重建结果；

将所述第二重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，获取所述患者的三维模型的过程还包括：

在所述患者的三维模型上划分血管危险等级。

在一些可选的实施方式中，获取所述患者的实例分割结果的过程如下：

将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型，以得到所述物品检测模型和所述人物检测模型对应的检测结果；所述检测结果包括每个对象的分类结果，所述视觉检测数据中包括以下所述对象的至少一种：多个物品、患者以及一个或多个医护人员；

基于各所述对象的检测结果，将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

利用所述扩展现实设备显示预设手术工具所在位置对应的患者的生理信息；所述生理信息包括以下一种或多种信息：组织类别信息；组织活性信息；供血状态信息；病变状态信息；与所述预设手术工具所在位置相关联的一个或多个组织的实例分割结果。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

基于实时变化的所述患者的三维模型，实时预测出所述患者的实时术后预后结果；

当检测到所述目标人员的手术操作偏离所述初步手术路径规划结果时，执行以下一种或多种操作：利用所述扩展现实设备进行预警提示；利用所述扩展现实设备进行实时术后预后结果的提示；利用所述扩展现实设备进行用药提示。

其中，进行提示的方式包括以下一种或多种：显示文本；播放音频；播放视频。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

当接收到重新规划操作时，利用所述扩展现实设备显示一种或多种备选手术路径规划结果。

其中，接收重新规划操作的过程包括：

利用所述扩展现实设备播放音频以询问所述目标人员是否需要重新规划手术路径；

利用所述扩展现实设备接收所述目标人员的语音信息；

对所述语音信息进行语音识别以得到语音识别结果；

基于所述语音识别结果，确定是否接收到所述重新规划操作。

在一些可选的实施方式中，利用所述扩展现实设备显示多种风险等级对应的备选手术路径规划结果。

第五方面，本申请提供了一种医学影像分割方法，所述方法包括：

将患者的医学影像数据输入至器官分割模型，以得到所述患者的各部位的器官分割结果；

将目标部位的器官分割结果输入至所述目标部位对应的组织分割模型，获得正常组织与病变组织的组织分割结果，所述目标部位是各所述部位的其中一个。

在一些可选的实施方式中，所述方法还包括：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

基于所述目标部位的组织分割结果，对所述患者的目标部位进行三维重建与渲染，以得到部位重建结果；

将所述部位重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，所述方法还包括：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到血管重建结果；

将所述血管重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，所述方法还包括：

在所述患者的三维模型上划分血管危险等级。

第六方面，本申请提供了一种医学影像分割设备，所述医学影像分割设备包括存储器和处理器，所述处理器被配置成实现以下步骤：

将患者的医学影像数据输入至器官分割模型，以得到所述患者的各部位的器官分割结果；

将目标部位的器官分割结果输入至所述目标部位对应的组织分割模型，获得正常组织与病变组织的组织分割结果，所述目标部位是各所述部位的其中一个。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

基于所述目标部位的组织分割结果，对所述患者的目标部位进行三维重建与渲染，以得到部位重建结果；

将所述部位重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到血管重建结果；

将所述血管重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

在所述患者的三维模型上划分血管危险等级。

第七方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项医疗辅助设备、手术路径规划设备或医学影像分割设备的功能或者实现上述任一项医疗辅助方法、手术路径规划方法或医学影像分割方法的步骤。

附图说明

下面结合附图和实施方式对本申请进一步说明。

图1示出了本申请实施例提供的一种医疗辅助方法的流程示意图。

图2示出了本申请实施例提供的一种对医护人员进行三维建模的流程示意图。

图3示出了本申请实施例提供的一种对患者进行三维建模的流程示意图。

图4示出了本申请实施例提供的一种利用扩展现实设备进行显示的流程示意图。

图5示出了本申请实施例提供的一种危险对象闯入预警的流程示意图。

图6示出了本申请实施例提供的一种医护人员碰撞预警的流程示意图。

图7示出了本申请实施例提供的一种医疗AI手术室的结构示意图。

图8示出了本申请实施例提供的一种3D建模XR手术室的结构示意图。

图9示出了本申请实施例提供的一种人物检测及分类的预测结果示意图。

图10示出了本申请实施例提供的一种医疗辅助设备的结构框图。

图11示出了本申请实施例提供的一种程序产品的结构示意图。

具体实施方式

下面将结合本申请的说明书附图以及具体实施方式，对本申请中的技术方案进行描述，需要说明的是，在不相冲突的前提下，以下描述的各实施方式之间或各技术特征之间可以任意组合形成新的实施方式。

在本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，a和b和c，其中a、b和c可以是单个，也可以是多个。值得注意的是，“至少一项(个)”还可以解释成“一项(个)或多项(个)”。

还需说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施方式或设计方案不应被解释为比其他实施方式或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

实施例一

参见图1，图1示出了本申请实施例提供的一种医疗辅助方法的流程示意图。

本申请实施例提供了一种医疗辅助方法，所述方法包括：

步骤S101：将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型，以得到所述物品检测模型和所述人物检测模型对应的检测结果；所述检测结果包括每个对象的分类结果，所述视觉检测数据中包括以下所述对象的至少一种：多个物品、患者以及一个或多个医护人员；

步骤S102：基于各所述对象的检测结果，将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果；

步骤S103：利用各所述对象的实例分割结果，分别对各所述对象进行三维建模，以得到各所述对象的三维模型；

步骤S104：对各所述对象的三维模型进行体渲染，以获得各所述对象对应的虚拟对象；

步骤S105：基于实时获取的目标人员佩戴的扩展现实设备的位置信息和姿态信息，利用所述扩展现实设备显示多个所述虚拟对象，以辅助所述目标人员执行手术操作；所述目标人员是一个或多个所述医护人员的其中一个。

由此，将医疗AI(人工智能)与XR(扩展现实)技术相结合，增加扩展现实设备所呈现的虚拟世界与现实世界的互动，提高手术操作的有效性和安全性，进一步促进医疗行业发展，提升疾病治愈率。

具体而言，首先利用两个不同的检测模型(即物品检测模型和人物检测模型)分别检测出预设区域的视觉检测数据中的物品和人物(包括患者、医生、护士)，获取其分类结果；基于各对象的检测结果中的分类结果，将视觉检测数据分别输入至(分类结果)对应的实例分割模型，得到实例分割结果；利用实例分割结果对各对象进行三维建模，得到三维模型；对三维模型进行体渲染，得到各对象在虚拟世界中的虚拟对象；最后基于扩展现实设备自身实时的位置信息和姿态信息，利用扩展现实设备为目标人员显示多个虚拟对象，从而辅助目标人员执行手术操作。

当在场参与手术的医护人员中的一个或多个佩戴有(可穿戴的)扩展现实设备时，对于佩戴扩展现实设备的每个目标人员，能够在虚拟世界中为该目标人员实时呈现物品、患者、其他医护人员，与预先生成VR数据并进行展示、无法实时互动的现有技术相比，采用本申请提供的上述方法，虚拟世界中的物品、患者、其他医护人员是实时捕捉数据并生成的，因此实时性更强，适用于实际手术操作的要求，并且，虚拟世界中的对象不一定是原本的形象，而是可以根据实际手术中的需求对各对象的形象加以简化或精细化重建(例如针对物品、医护人员进行简化，针对患者进行精细化重建)，有助于目标人员将注意力更多放在重要目标(即患者，乃至患者的局部区域)上，避免其他目标喧宾夺主、导致目标人员分神，使目标人员能够集中精力精准执行手术操作，手术操作的有效性和安全性得以提升，且上述方法适用于多种手术操作，智能化程度高，适用范围广。

本申请实施例中的医护人员例如可以包括医生、护士等真人医护人员，还可以包括医疗机器人等智能体医护人员。在一些实施方式中，一个或多个医护人员包括至少一个医生和/或至少一个护士。在另一些实施方式中，一个或多个医护人员包括一个或多个智能体医护人员。在又一些实施方式中，一个或多个医护人员包括至少一个医生、至少一个护士和至少一个智能体医护人员。

本申请实施例对目标人员所佩戴的扩展现实设备不作限定，扩展现实设备集成了现有的VR设备和AR设备的功能，能够构建虚拟环境和可视化的虚拟对象，并提供实时的交互功能。扩展现实设备例如可以是可穿戴设备或移动终端的至少一种。在一些实施方式中，扩展现实设备可以具有类似于VR眼镜或者VR头盔的形状。

本申请实施例对目标人员所执行的手术类型不作限定，其可以是任意类型的手术场景，例如是肿瘤切除手术、外科手术、牙科手术等。

本申请实施例对预设区域不作限定，其例如可以是执行手术操作的手术室的部分或者全部。一般而言，手术室可以是室内环境，但本申请实施例也可以适用于室外的手术场景中。

本申请实施例对获取视觉检测数据的方式不作限定，例如可以是：利用视觉检测设备对预设区域进行视觉检测，以得到预设区域的视觉检测数据。视觉检测设备例如是任意可以进行图像捕捉的机器，包括但不限于摄像头、CT设备、MR设备、PET设备、X光设备、PET-CT设备、PET-MR设备等，相应的，视觉检测数据例如可以是图像数据、CT数据、MR数据、PET数据、X光数据、PET-CT数据、PET-MR数据等。其中，CT(Computed Tomography)即电子计算机断层扫描，MR(Magnetic Resonance)即磁共振，PET(Positron Emission Tomography)即正电子发射断层扫描。

本申请实施例中的摄像头例如可以是光学摄像头和/或红外摄像头。

在一些可选的实施方式中，用于监控的摄像头可以安装于手术室的天花板，也可以换为手术室内的任意位置，只要可以观察到所有生物与非生物形态，能够进行360度建模即可。

本申请实施例所使用的智能医疗AI算法，包括但不限于各种分割、分类、检测算法。

本申请实施例中的物品检测模型例如可以是预先训练好的用于检测物品的目标检测模型，本申请实施例中的人物检测模型例如可以是预先训练好的用于检测人物的目标检测模型。

上述两个检测模型对应的检测结果可以包括每个对象的分类结果和位置信息。分类结果例如可以采用中文、字母、数字、符号中的一种或多种来表示。检测结果中的位置信息例如可以采用两组二维坐标数据来表示，即边界框的左上角和右下角的二维坐标数据，或者，位置信息可以采用边界框的左上角的二维坐标数据以及边界框的宽度和高度来表示。

本申请实施例对多个物品的物品数量不作限定，其例如可以是5个、10个、20个、100个、200个等。本申请实施例对医护人员的数量不作限定，其例如可以是1个、2个、3个、5个、8个、10个、20个等。

在一个具体应用场景中，多个物品包括：手术台、手术灯、手术刀、镊子、纱布、绷带、手术缝合线、缝针、血管针、血管夹、置物柜。

语义分割模型会为图像中的每个像素分配一个类别，但是同一类别的对象不会区分。而实例分割模型可以对同类的对象进行分类，输出的是每个对象的Mask(掩膜)和类别。本申请实施例中，可以采用预先训练好的实例分割模型。

本申请实施例中，对各对象的三维模型进行体渲染，可以得到每个对象对应的虚拟对象，举例说明，现实世界存在手术刀、患者和3个医护人员，则虚拟世界中也存在虚拟手术刀、虚拟患者和3个虚拟医护人员。

本申请实施例对获取扩展现实设备的位置信息和姿态信息的方式不作限定，例如可以利用定位单元获取扩展现实设备的位置信息(例如可以包括经度、纬度和高度)，利用惯性测量单元获取扩展现实设备的姿态信息(例如可以包括3个姿态角，即俯仰角、倾斜角、横滚角)。上述定位单元和惯性测量单元可以单独设置，也可以集成在扩展现实设备上。

在步骤S105中，扩展现实设备所显示的多个虚拟对象，一般而言是部分的虚拟对象。也就是说，如果预设区域内存在100个虚拟对象，扩展现实设备所显示的虚拟对象的数量可能是30个、60个、80个或者90个。

参见图2，图2示出了本申请实施例提供的一种对医护人员进行三维建模的流程示意图。

在一些可选的实施方式中，当所述对象是医护人员时，所述步骤S103可以包括：

步骤S201：基于所述医护人员的实例分割结果，对所述医护人员进行姿态估计，以得到姿态估计结果；

步骤S202：基于所述姿态估计结果，对所述医护人员进行三维建模，以得到所述医护人员的三维模型。

由此，在得到医护人员的实例分割结果后，可以据此对其进行姿态估计，并根据姿态估计结果进行三维建模，得到医护人员的三维模型，针对医护人员的三维建模只需要反应其姿态即可，不需要进行精细化重建，这样可以减少数据运算量，缩短计算时间，所消耗的计算资源少。

在一些可选的实施方式中，所述步骤S201可以包括：将所述医护人员的实例分割结果输入至姿态估计模型，利用所述姿态估计模型对所述医护人员进行姿态估计，以得到所述姿态估计结果。其中，姿态估计模型可以采用预先训练好的姿态估计模型，所使用的人体特征姿态估计方法包括但不限于CPM、Hourglass、openpose等。

在一些可选的实施方式中，当所述对象是患者时，所述步骤S103可以包括：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

将所述患者的医学影像数据输入至器官分割模型和/或组织分割模型，以得到所述患者的各部位的器官分割结果和/或组织分割结果；

基于所述器官分割结果和/或所述组织分割结果，对所述患者的器官和/或组织进行三维重建与渲染，以得到第一重建结果；

将所述第一重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

由此，在得到患者的实例分割结果后，可以据此对患者进行(例如是等比例的)三维建模，得到患者的中间模型；将患者的医学影像数据(例如可以是CT数据、MR数据、X光数据、PET数据等)输入至器官分割模型和/或组织分割模型，实现器官的分割以及正常组织、病变组织的分割；基于器官分割结果和/或组织分割结果进行三维重建与渲染，得到器官和/或组织对应的第一重建结果；将第一重建结果与中间模型进行匹配(或者说对准、配准)，在中间模型上对各部位进行精确的三维重建，得到患者的三维模型。也就是说，为了获取患者的精细化模型，先利用视觉检测数据进行初步的三维建模以得到中间模型，再利用医学影像数据在中间模型上重建正常组织和病变组织，最终所得到的患者的三维模型能够呈现出精细化的正常组织、病变组织，完成对患者的三维模型的精细化重建。这样做的好处是，在扩展现实设备所显示的虚拟世界中，目标人员可以直观、清晰地观察到现实世界难以通过肉眼观测的组织状态，从而进一步提升目标人员执行手术操作的精准度，提高手术治疗效果，医护人员和患者的体验佳。

在一些可选的实施方式中，所述方法还可以包括：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到第二重建结果；

将所述第二重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，所述方法还包括：

在所述患者的三维模型上划分血管危险等级。

由此，通过分割、重建、匹配的步骤，将患者的血管匹配结果在患者的三维模型上实时重建，用以模拟血流方向和血管路径并且划分血管危险等级。由于血管匹配结果是血管对应的第二重建结果和血管造影结果匹配得到的，利用血管匹配结果在患者的三维模型(该三维模型可以是精细化重建之前的，也可以是精细化重建之后的)上重建血管部分，最终所得到的患者的三维模型能够呈现出精细化的血管，优化了对患者的三维模型的精细化重建。这样做的好处是，在扩展现实设备所显示的虚拟世界中，目标人员可以直观、清晰地观察到现实世界难以通过肉眼观测的血管状态，从而进一步提升目标人员执行手术操作的精准度，提高手术治疗效果，医护人员和患者的体验佳。

参见图3，图3示出了本申请实施例提供的一种对患者进行三维建模的流程示意图。

在一些可选的实施方式中，当所述对象是患者时，所述步骤S103可以包括：

步骤S301：基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

步骤S302：将所述患者的医学影像数据输入至器官分割模型和/或组织分割模型，以得到所述患者的各部位的器官分割结果和/或组织分割结果；

步骤S303：基于所述器官分割结果和/或所述组织分割结果，对所述患者的器官和/或组织进行三维重建与渲染，以得到第一重建结果；

步骤S304：将所述第一重建结果与所述中间模型进行匹配，以得到所述患者的三维模型；

步骤S305：将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

步骤S306：基于所述血管分割结果，对所述患者的血管进行三维重建，以得到第二重建结果；

步骤S307：将所述第二重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

步骤S308：将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径；

步骤S309：在所述患者的三维模型上划分血管危险等级。

由此，为了获取患者的精细化模型，分成多个阶段，第一阶段利用视觉检测数据进行初步的三维建模以得到中间模型，第二阶段利用医学影像数据进行分割，得到器官分割结果、组织分割结果、血管分割结果，第三阶段利用多种分割结果分别重建出器官、组织、血管，第四阶段利用器官分割结果和组织分割结果对中间模型进行重建，得到三维模型，第五阶段将血管造影结果和血管分割结果进行匹配后，对三维模型进行实时重建，并在三维模型上划分血管危险等级。

这样做的好处是，在VR设备所显示的虚拟世界中，目标人员可以直观、清晰地观察到现实世界难以通过肉眼观测的血管状态和组织状态，从而进一步提升目标人员执行手术操作的精准度，提高手术治疗效果，医护人员和患者的体验佳。

本申请实施例中，采用中间模型的描述，与患者最终的三维模型进行区分。

血管造影是一种介入检测技术，将显影剂注入血管里，利用X光无法穿透显影剂的特性，通过显影剂在X光下所显示的影像来诊断血管病变。

血管危险等级例如可以包括低危险、中危险、高危险，针对血管危险等级不同的血管，可以采用不同的显示参数来显示。例如针对低危险的血管，可以采用绿色轮廓线来显示其轮廓，针对中危险的血管，可以采用黄色轮廓线来显示其轮廓，针对高危险的血管，可以采用红色轮廓线来显示其轮廓。

本申请实施例中的医学影像数据例如可以包括CT数据、MR数据、PET数据、X光数据、PET-CT数据和PET-MR数据中的一种或多种。

本申请实施例中，患者的各部位例如可以是头部、胸部、腹部、肩部、臂部(分为左臂和右臂)、手部(分为左手和右手)、腰部、臀部、腿部(分为左腿和右腿)、脚部等部位。针对每个部位，可以分割得到多个器官。胸部的器官例如可以是乳腺、食管、心脏等，腹部的器官例如可以是肾脏、肝脏、胰腺、胆囊等。

在一些可选的实施方式中，当所述对象是物品时，所述步骤S103可以包括：将所述物品的实例分割结果输入至2D转3D模型，利用所述2D转3D模型对所述物品进行三维建模，以得到所述物品的三维模型。

在一些可选的实施方式中，所述方法还包括：

将输入信息输入至手术路径规划模型，以获取初步手术路径规划结果；所述输入信息包括以下一种或多种信息：手术难度信息、主刀医生的技术水平信息以及所述患者的手术目的信息、第一比对结果、第二比对结果、身体状态信息、病灶周围组织信息、手术影响范围信息和术后恢复信息；

其中，获取所述第一比对结果和所述第二比对结果的过程包括：

将所述患者的术前检测结果分别与健康人大数据库、手术医疗大数据库进行比对，以得到第一比对结果和第二比对结果。

初步手术路径规划结果例如可以包括术前用药指导、手术入路点、手术定位点、3D手术指导视频、手术估计时长、手术预估风险信息、危险等级预警信息、应急预测信息以及预估愈后信息中的一种或多种。手术入路点是指手术路径的起点，起点例如是手术创口位置(例如是开颅位置、开胸位置等)。手术定位点是指手术路径的终点，终点例如是手术靶点位置(例如是苍白球内侧核(GPi)、丘脑底核(STN)、丘脑腹中间核(Vim)等)。

数据库是结构化信息或数据(一般以电子形式存储在计算机系统中)的有组织的集合。本申请实施例中，健康人大数据库、手术医疗大数据库是基于真实健康人和真实患者的历史数据提取得到的。这些历史数据可以从以下一个或多个系统中获取：HIS系统、CIS系统、PACS系统、LIS系统、RIS系统、EMR系统、PEIS系统、ORIS系统、HCRM系统、随访系统。

其中，HIS系统是指hospital information system，医院信息系统。

CIS系统是指clinical information system，临床信息系统。

PACS系统是指picture archiving and communication system，影像归档和通信系统。

LIS系统是指laboratory information system，实验室(检验科)信息系统。

RIS系统是指radiology information system，放射科信息管理系统。

EMR系统是指electronic medical record，电子病历系统。

PEIS系统是指physical examination information system，体检信息系统。

ORIS系统是指operation room information system，手术室信息系统。

HCRM系统是指hospital customer relationship management，医院客户关系管理系统。

随访系统可以用于制定随访计划，对患者进行跟踪随访，使患者得到持续关怀和指导，建立良好的医患关系。同时根据随访调查，可以更好的提高医院服务水平，促进医院自身能力建设。

本申请实施例中，所述手术路径规划模型的训练过程例如可以包括：

获取训练集，所述训练集包括多个训练数据，每个所述训练数据包括一个样本患者的输入信息以及所述样本患者对应的初步手术路径规划结果的标注数据；所述样本患者的输入信息包括以下一种或多种信息：所述样本患者对应的手术难度信息、主刀医生的技术水平信息以及所述样本患者的手术目的信息、第一比对结果、第二比对结果、身体状态信息、病灶周围组织信息、手术影响范围信息和术后恢复信息；

针对所述训练集中的每个训练数据，执行以下处理：

将所述训练数据中的样本患者的输入信息输入预设的深度学习模型，以得到所述样本患者对应的初步手术路径规划结果的预测数据；

基于所述样本患者对应的初步手术路径规划结果的预测数据和标注数据，对所述深度学习模型的模型参数进行更新；

检测是否满足预设的训练结束条件；如果是，则将训练出的所述深度学习模型作为所述手术路径规划模型；如果否，则利用下一个所述训练数据继续训练所述深度学习模型。

由此，通过设计，建立适量的神经元计算节点和多层运算层次结构，选择合适的输入层和输出层，就可以得到预设的深度学习模型，通过该深度学习模型的学习和调优，建立起从输入到输出的函数关系，虽然不能100％找到输入与输出的函数关系，但是可以尽可能地逼近现实的关联关系，由此训练得到的手术路径规划模型，可以基于输入信息获取对应的初步手术路径规划结果，适用范围广，且计算结果准确性高、可靠性高。

在一些可选的实施方式中，本申请实施例可以训练得到手术路径规划模型，在另一些可选的实施方式中，本申请可以采用预先训练好的手术路径规划模型。

在一些可选的实施方式中，例如可以对历史数据进行数据挖掘，以获取训练集中的样本患者的输入信息等。

本申请对手术路径规划模型的训练过程不作限定，其例如可以采用上述监督学习的训练方式，或者可以采用半监督学习的训练方式，或者可以采用无监督学习的训练方式。

本申请对预设的训练结束条件不作限定，其例如可以是训练次数达到预设次数(预设次数例如是1次、3次、10次、100次、1000次、10000次等)，或者可以是训练集中的训练数据都完成一次或多次训练，或者可以是本次训练得到的总损失值不大于预设损失值。

在一些可选的实施方式中，所述患者的术前检测结果包括所述患者的医学影像数据和/或血管造影结果。

在一些可选的实施方式中，所述方法还包括：

基于所述患者的术前检测结果，获取所述患者的手术目的信息。

在一些可选的实施方式中，所述方法还包括：

利用所述扩展现实设备将所述初步手术路径规划结果在所述患者的三维模型中进行可视化展示。

参见图4，图4示出了本申请实施例提供的一种利用扩展现实设备进行显示的流程示意图。

在一些可选的实施方式中，所述检测结果还用于指示每个对象的位置信息；

所述步骤S105可以包括：

步骤S401：基于所述扩展现实设备的位置信息和姿态信息以及每个对象的位置信息，确定多个待显示的所述虚拟对象；

步骤S402：利用多个待显示的所述虚拟对象及其位置信息，渲染得到显示图像；

步骤S403：利用所述扩展现实设备显示所述显示图像。

由此，在手术过程中，佩戴扩展现实设备的目标人员在预设区域内的位置可能随时发生变化，因此，扩展现实设备的位置信息和姿态信息也是动态变化的，为了在扩展现实设备上呈现现实世界的物品和人物，首先需要判断哪些物品和人物属于待显示的对象，并将这些待显示的对象(在虚拟世界中)对应的虚拟对象作为待显示的虚拟对象，再利用这些待显示的虚拟对象结合其所对应的位置信息，渲染得到显示图像，最后利用扩展现实设备显示所得到的显示图像。

也就是说，将扩展现实设备的显示过程分为多个阶段，第一阶段先判断哪些虚拟对象属于待显示的虚拟对象(多数情况下不会同时显示所有虚拟对象，总有不在扩展现实设备视场的物品和人物，这些不在视场的物品和人物不应该出现在显示图像中)，再渲染得到包含这些待显示的虚拟对象的显示图像，并利用显示设备提供显示功能。

这样做的好处是，针对扩展现实设备的位置信息和姿态信息的不同，为其呈现不同的显示图像，更加贴近现实世界的显示效果，给目标人员以身临其境的沉浸式体验，便于目标人员全神贯注、心无旁骛地执行手术操作，进一步提升手术过程的有效性和安全性。

在一些可选的实施方式中，所述检测结果还用于指示每个对象的位置信息；

所述步骤S401可以包括：

获取所述扩展现实设备在预设的直角坐标系中的位置信息和姿态信息；

基于各所述对象的检测结果中的位置信息，获取各所述对象在所述直角坐标系中的位置信息；

基于所述扩展现实设备在所述直角坐标系中的位置信息和姿态信息以及各所述对象在所述直角坐标系中的位置信息，确定多个待显示的所述虚拟对象。

本申请实施例对显示图像的显示效果不作限定，其例如可以是等比例的显示图像、鱼眼效果的显示图像、全景显示图像等。

参见图5，图5示出了本申请实施例提供的一种危险对象闯入预警的流程示意图。

在一些可选的实施方式中，所述方法还可以包括：

步骤S106：将当前时刻的所述物品检测模型和所述人物检测模型对应的检测结果与上一时刻的所述物品检测模型和所述人物检测模型对应的检测结果进行比对，判断是否存在新进入所述预设区域的危险对象；

步骤S107：如果存在所述危险对象，则将所述危险对象的位置信息所对应的区域作为危险区域，并当所述显示图像包括所述危险区域的部分或全部时，利用所述扩展现实设备在显示所述危险区域的部分或全部的同时显示第一提示信息，所述第一提示信息用于指示有危险对象闯入。

由此，基于实时获取的当前时刻的检测结果，将其与上一时刻的检测结果进行比对，从而判断是否存在新进入预设区域的危险对象，如果存在，则将危险对象所处的位置及周围区域列为危险区域，并通过扩展现实设备的显示功能向目标人员进行预警，这种预警并非无差别推送，而是基于扩展现实设备的显示内容，当显示图像涉及危险区域时才会显示提示信息。

一方面，避免危险对象进入手术台附近，分散目标人员的注意力，甚至干扰目标人员的手术操作，确保手术过程的顺利进行；另一方面，相比于采用无差别推送提示信息的方式，只有显示图像涉及危险区域时才进行预警，能够避免目标人员不必要的分心，进一步确保目标人员对手术操作的高投入程度。

本申请实施例中，所述危险对象的位置信息所对应的区域例如可以是以所述危险对象为中心、以预设直径为直径、以预设高度为高度的圆柱体区域，或者，所述危险对象的位置信息所对应的区域例如可以是以所述危险对象为中心、以预设长度为长度、以预设宽度为宽度、以预设高度为高度的长方体区域。预设直径例如可以是1米、1.3米、1.5米、3米等，预设高度例如可以是1米、2米、3米等，预设长度例如可以是1米、2米、3米等，预设宽度例如可以是1米、2米、3米等。

在一个具体应用场景中，危险对象是流浪猫。在另一个具体应用场景中，危险对象是手持管制刀具的精神病患者。

除了以显示方式提示目标人员，还可以采用语音播报的方式对目标人员进行预警，所播报的语音例如可以是：“有危险对象闯入，请小心操作”。

除了对目标人员进行提示，还可以对闯入预设区域的危险对象进行预警，预警方式例如可以是语音播报，所播报的语音例如可以是：“您已进入手术区域，请立即离开”。

参见图6，图6示出了本申请实施例提供的一种医护人员碰撞预警的流程示意图。

在一些可选的实施方式中，所述视觉检测数据中包括多个所述医护人员；

所述方法还可以包括：

步骤S108：基于多个所述医护人员的位置信息，获取所述目标人员和预设对象之间的最小距离；所述预设对象包括其他人员和/或运动机器；

步骤S109：当所述最小距离不大于预设距离阈值时，利用所述扩展现实设备显示第二提示信息，所述第二提示信息用于指示可能与所述预设对象发生碰撞。

由此，实时获取每个医护人员的位置信息，用以计算目标人员和其他人员(即多个医护人员中目标人员以外的人员)或者运动机器(例如是自移动机器人或者非自主移动的机器)之间的距离，找到所有距离中的最小值，即目标人员和预设对象之间的最小距离，当该最小距离不大于预设距离阈值时，表明目标人员与预设对象之间的距离过近，此时可以利用扩展现实设备的显示功能对目标人员进行预警，提示目标人员其可能与预设对象发生碰撞。这样做的好处是，避免参与手术的多个医护人员、运动机器之间发生不必要的碰撞，进一步从技术手段上确保手术过程的顺利进行。

本申请实施例对预设距离阈值不作限定，其例如可是0.05米、0.1米、0.2米、0.5米等。

除了以显示方式提示目标人员，还可以采用语音播报的方式对目标人员进行预警，所播报的语音例如可以是：“您与他人距离过近，请小心碰撞”。

参见图7至图9，图7示出了本申请实施例提供的一种医疗AI手术室的结构示意图，图8示出了本申请实施例提供的一种3D建模XR手术室的结构示意图，图9示出了本申请实施例提供的一种人物检测及分类的预测结果示意图。

在一个具体应用场景中，利用物理摄像头、医疗AI技术与XR技术相结合的方式，实时对当前场景进行建模，辅助肝脏肿瘤切除的手术过程。

1、准备好一间XR手术室，手术室内包括正常手术需要的所有物品，还有手术时的医生、护士以及患者；

2、在该手术室的天花板安装摄像头，实时捕捉图像数据。

3、基于图像数据，对手术室内的所有物品进行特征提取，并在虚拟世界进行动态建模，其中：

对于静态物品，可以使用物品检测模型将其检测出来，使用分类模型对物品进行分类；

对于医护人员(医生和护士)，可以使用人物检测模型将人物检测出来，使用分类模型分类出医护人员，再使用姿态估计模型进行姿态估计并进行实时成像；医护人员在虚拟世界内进行姿态估计建模，无需特别精细重建出身体每一部分，只需要可以展现出每个人的实时形态，避免不必要的碰撞导致的危险即可；

对于动态物品，物品要产生运动，都会和医护人员相关，因此先把医护人员检测出来，再进一步对相关动态物品进行细分成像即可；

对于患者，可以使用人物检测模型将人物检测出来，使用分类模型分类出患者，再对患者进行精细化建模：首先对患者身体的每一部分，即皮肤、骨头、组织等，进行等比例模拟，建立中间模型，并根据此次手术的目标部位肝脏，自动调取医疗AI库的智能算法，基于肝脏的MR数据进行肝脏、肿瘤与其他身体部位的精确分割；同时，根据模拟出的血管路径，进行危险等级提示，并出具手术路径参考意见；

检测出来每个对象之后，可以使用对应的实例分割模型对其进行实例分割，获得每个对象自己的Mask，在此基础上进行3D的建模和渲染。

4、为了保障手术过程的安全，实时关注忽然闯入XR手术室范围内的所有生物与非生物，对其进行不明生物非法闯入预警，并进行区域建模，划分危险区域，直至危险解除。

采用上述医疗辅助方法，将医疗AI与XR技术充分结合，实现透视功能，进一步改善手术医疗条件，提升手术成功率。其中，对现实世界的多种对象有选择地进行精细化建模，为处于虚拟世界的人提供场景非法入侵预警，最大限度保障手术过程的安全性，且适用于所有手术场景。

实施例二

本申请实施例还提供了一种医疗辅助设备，其具体实施方式与上述实施例一中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

所述医疗辅助设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置成执行所述计算机程序时实现以下步骤：

将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型，以得到所述物品检测模型和所述人物检测模型对应的检测结果；所述检测结果包括每个对象的分类结果，所述视觉检测数据中包括以下所述对象的至少一种：多个物品、患者以及一个或多个医护人员；

基于各所述对象的检测结果，将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果；

利用各所述对象的实例分割结果，分别对各所述对象进行三维建模，以得到各所述对象的三维模型；

对各所述对象的三维模型进行体渲染，以获得各所述对象对应的虚拟对象；

基于实时获取的目标人员佩戴的扩展现实设备的位置信息和姿态信息，利用所述扩展现实设备显示多个所述虚拟对象，以辅助所述目标人员执行手术操作；所述目标人员是一个或多个所述医护人员的其中一个。

在一些可选的实施方式中，所述处理器可以被配置成采用以下方式获取所述医护人员的三维模型：

基于所述医护人员的实例分割结果，对所述医护人员进行姿态估计，以得到姿态估计结果；

基于所述姿态估计结果，对所述医护人员进行三维建模，以得到所述医护人员的三维模型。

在一些可选的实施方式中，所述处理器被配置成采用以下方式获取所述患者的三维模型：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

将所述患者的医学影像数据输入至器官分割模型和/或组织分割模型，以得到所述患者的各部位的器官分割结果和/或组织分割结果；

基于所述器官分割结果和/或所述组织分割结果，对所述患者的器官和/或组织进行三维重建与渲染，以得到第一重建结果；

将所述第一重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到第二重建结果；

将所述第二重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

在所述患者的三维模型上划分血管危险等级。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

将输入信息输入至手术路径规划模型，以获取初步手术路径规划结果；所述输入信息包括以下一种或多种信息：手术难度信息、主刀医生的技术水平信息以及所述患者的手术目的信息、第一比对结果、第二比对结果、身体状态信息、病灶周围组织信息、手术影响范围信息和术后恢复信息；

其中，获取所述第一比对结果和所述第二比对结果的过程包括：

将所述患者的术前检测结果分别与健康人大数据库、手术医疗大数据库进行比对，以得到第一比对结果和第二比对结果。

在一些可选的实施方式中，所述患者的术前检测结果包括所述患者的医学影像数据和/或血管造影结果。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

基于所述患者的术前检测结果，获取所述患者的手术目的信息。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

利用所述扩展现实设备将所述初步手术路径规划结果在所述患者的三维模型中进行可视化展示。

在一些可选的实施方式中，所述检测结果还用于指示每个对象的位置信息；

所述处理器被配置成采用以下方式利用所述扩展现实设备显示多个所述虚拟对象：

基于所述扩展现实设备的位置信息和姿态信息以及每个对象的位置信息，确定多个待显示的所述虚拟对象；

利用多个待显示的所述虚拟对象及其位置信息，渲染得到显示图像；

利用所述扩展现实设备显示所述显示图像。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

将当前时刻的所述物品检测模型和所述人物检测模型对应的检测结果与上一时刻的所述物品检测模型和所述人物检测模型对应的检测结果进行比对，判断是否存在新进入所述预设区域的危险对象；

如果存在所述危险对象，则将所述危险对象的位置信息所对应的区域作为危险区域，并当所述显示图像包括所述危险区域的部分或全部时，利用所述扩展现实设备在显示所述危险区域的部分或全部的同时显示第一提示信息，所述第一提示信息用于指示有危险对象闯入。

在一些可选的实施方式中，所述视觉检测数据中包括多个所述医护人员；

所述处理器还被配置成实现以下步骤：

基于多个所述医护人员的位置信息，获取所述目标人员和预设对象之间的最小距离；所述预设对象包括其他人员和/或运动机器；

当所述最小距离不大于预设距离阈值时，利用所述扩展现实设备显示第二提示信息，所述第二提示信息用于指示可能与所述预设对象发生碰撞。

参见图10，图10示出了本申请实施例提供的一种医疗辅助设备200的结构框图。

医疗辅助设备200例如可以包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。

存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。

其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220实现上述任一项医疗辅助方法的步骤。

存储器210还可以包括具有至少一个程序模块215的实用工具214，这样的程序模块215包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例的每一个或某种组合中可能包括网络环境的实现。

相应的，处理器220可以执行上述计算机程序，以及可以执行实用工具214。

处理器220可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

总线230可以为表示几类总线结构的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构的任意总线结构的局域总线。

医疗辅助设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该医疗辅助设备200交互的设备通信，和/或与使得该医疗辅助设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且，医疗辅助设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与医疗辅助设备200的其它模块通信。应当明白，尽管图中未示出，可以结合医疗辅助设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

实施例三

本申请实施例还提供了一种手术路径规划方法，所述方法包括：

将输入信息输入至手术路径规划模型，以获取初步手术路径规划结果；所述输入信息包括以下一种或多种信息：手术难度信息、主刀医生的技术水平信息以及患者的手术目的信息、第一比对结果、第二比对结果、身体状态信息、病灶周围组织信息、手术影响范围信息和术后恢复信息。

本申请实施例对手术路径规划模型不作限定，其例如可以利用预设的深度学习模型训练得到。其训练过程例如可以采用监督学习、半监督学习或者无监督学习的方式，本申请不对此设限。

患者的身体状态信息例如可以表示为很差、差、一般、好、很好等。患者的病灶周围组织信息例如可以包括病灶周围的组织名称、组织轮廓、组织尺寸等。患者的手术影响范围信息例如可以包括影响组织名称、影响区域轮廓、影响区域尺寸等。术后恢复信息例如可以包括术后恢复时长、术后恢复方案、术后恢复水平、术后恢复器材、术后恢复费用等。

在一些可选的实施方式中，所述患者的手术目的信息的获取过程如下：

基于所述患者的术前检测结果，获取所述患者的手术目的信息；所述患者的术前检测结果包括所述患者的医学影像数据和/或血管造影结果。

作为一个示例，可以利用患者的目标部位对应的医学影像数据和血管造影结果来进行综合分析，规划得到手术路径，所规划的手术路径具有高精确度。

患者的手术目的信息例如可以是“切除肿瘤”或者“不使用拐杖行走”。

综合分析时，还可以将患者的基本信息、疾病类型、病史信息、预先录制视频信息、实时视频信息、音视频记录等考虑在内。患者的基本信息可以包括患者的年龄、性别等。

在一些可选的实施方式中，所述第一比对结果和所述第二比对结果的获取过程如下：

将所述患者的术前检测结果分别与健康人大数据库、手术医疗大数据库进行比对，以得到所述患者的第一比对结果和第二比对结果。

作为一个示例，健康人大数据库中可以存储多个健康人员的检测结果，手术医疗大数据库中可以存储多个患者的术前检测结果。

在一个实际应用中，第一比对结果用于指示健康人大数据库中与该患者的检测结果相似度最高的健康人员A65#，第二比对结果用于指示手术医疗大数据库中与该患者的术前检测结果相似度最高的患者B32#。

在另一个实际应用中，第一比对结果用于指示健康人大数据库中与该患者的检测结果相似度最高的健康人员A65#及其健康评分88，第二比对结果用于指示手术医疗大数据库中与该患者的术前检测结果相似度最高的患者B32#及其手术方案、术后预后结果。

在一些可选的实施方式中，所述方法还可以包括：

利用扩展现实设备将所述初步手术路径规划结果在所述患者的三维模型中进行可视化展示。

在一些可选的实施方式中，获取所述患者的三维模型的过程如下：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

将所述患者的医学影像数据输入至器官分割模型和/或组织分割模型，以得到所述患者的各部位的器官分割结果和/或组织分割结果；

基于所述器官分割结果和/或所述组织分割结果，对所述患者的器官和/或组织进行三维重建与渲染，以得到第一重建结果；

将所述第一重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，获取所述患者的三维模型的过程还包括：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到第二重建结果；

将所述第二重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，获取所述患者的三维模型的过程还包括：

在所述患者的三维模型上划分血管危险等级。

在一些可选的实施方式中，获取所述患者的实例分割结果的过程如下：

将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型，以得到所述物品检测模型和所述人物检测模型对应的检测结果；所述检测结果包括每个对象的分类结果，所述视觉检测数据中包括以下所述对象的至少一种：多个物品、患者以及一个或多个医护人员；

基于各所述对象的检测结果，将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果。

由此，利用综合信息来规划手术路径，所规划的手术路径具有高精确度。

其中，综合信息例如可以包括手术操作方面、医生方面、患者方面的信息：

手术本身难度不同、所规划的手术路径不同；

医生技术水平不同、所规划的手术路径不同；

患者术前术后情况不同、与健康人大数据库和手术医疗大数据库的比对结果不同、身体状态不同、病灶周围组织情况不同、手术影响范围不同这些因素也会导致所规划的手术路径不同。

也就是说，本申请所规划得到的手术路径综合考虑到了上述三个方面的影响因素中的部分或者全部，有助于规划得到符合医生技术水平、符合患者具体情况的手术路径。

传统的手术路径规划，非常依赖医生的经验，并且需要医生具备非常丰富的专业知识，要求一名外科医生对全科的内容都要非常清楚，包括从哪里入手，涉及哪些血管、器官，每一步会造成什么影响，如何在对病人损伤最小的情况下高质量的完成手术等等。在现实生活中，一般的主刀医生都是非常高年资(年龄、资历)的主任医师，极大地限制了医疗技术的下沉。但是在XR手术室中，通过对患者的实时建模，可以以3D(即三维)形式精确重建出患者的身体结构(例如每一块骨骼、每一条血管、每一个器官)，同时借助医学影像数据对病人的所有数据都进行数字化，根据术前的检查结果初步确定手术目的，并与健康人的大数据情况以及手术医疗大数据库的数据做比较，结合病人的整体身体状况，以及病灶周围组织情况，手术影响范围，术后的恢复，以及手术难易程度，主刀医生技术水平，得到初步手术路径规划结果。

将初步手术路径规划结果在患者的三维模型中进行可视化展示(例如是以绿色线条或者多个红色箭头等方式)，作为手术路径提示，就能够有效指导医护人员的手术操作。上述手术路径规划方式极大地减少了手术过程中对于医生经验的依赖，使得低年资的医生可以获得更多的手术机会，减轻了大型手术人员严重不足的问题，使得更多的医疗技术可以下沉到更多需要的地方。

在一些可选的实施方式中，所述方法还可以包括：

利用所述扩展现实设备显示预设手术工具所在位置对应的患者的生理信息；所述生理信息包括以下一种或多种信息：组织类别信息；组织活性信息；供血状态信息；病变状态信息；与所述预设手术工具所在位置相关联的一个或多个组织的实例分割结果。

其中，预设手术工具例如可以是手术刀、剪刀、镊子、钳子、纱布、绷带、手术缝合线、缝针、血管针、血管夹等。

由此，将预设手术工具所在位置(通常也是佩戴XR设备的目标人员的视野)对应的患者的生理信息(组织类别，组织活性，供血情况，病变情况，与其相关联的重要组织等)投射到医护人员(尤其是主刀医生)的XR设备上，以供医护人员参考。

在一些可选的实施方式中，所述方法还可以包括：

基于实时变化的所述患者的三维模型，实时预测出所述患者的实时术后预后结果；

当检测到所述目标人员的手术操作偏离所述初步手术路径规划结果时，执行以下一种或多种操作：利用所述扩展现实设备进行预警提示；利用所述扩展现实设备进行实时术后预后结果的提示；利用所述扩展现实设备进行用药提示。

其中，进行提示的方式例如可以包括以下一种或多种：显示文本；播放音频；播放视频。

在一个实施应用中，采用播放音频的方式进行预警提示，采用播放视频的方式进行实时术后预后结果的提示，采用显示文本的方式进行用药提示。所播放的音频例如可以是智能合成的、内容为“您已偏离最佳手术路径”的音频，所播放的视频例如可以是智能合成的、3D卡通人物无法正常行走的视频，所显示的文本例如可以是“请通过静脉滴注止血敏注射液100毫升”的文本。

在一些可选的实施方式中，所述方法还可以包括：

当接收到重新规划操作时，利用所述扩展现实设备显示一种或多种备选手术路径规划结果。

其中，接收重新规划操作的过程例如可以包括：

利用所述扩展现实设备播放音频以询问所述目标人员是否需要重新规划手术路径；

利用所述扩展现实设备接收所述目标人员的语音信息；

对所述语音信息进行语音识别以得到语音识别结果；

基于所述语音识别结果，确定是否接收到所述重新规划操作。

在一个实际应用中，目标人员的语音信息的语音识别结果是“重新规划”，确定接收到所述重新规划操作。在另一个实际应用中，语音识别结果是“No”，确定未接收到所述重新规划操作。

在一些可选的实施方式中，利用所述扩展现实设备显示多种风险等级对应的备选手术路径规划结果。

其中，多种风险等级例如可以包括低风险等级、中风险等级和高风险等级。或者，多种风险等级例如可以包括第一风险等级、第二风险等级、第三风险等级、第四风险等级和第五风险等级等。

手术之中的情况千变万化，无法在事前完全预测。在XR手术室中，精确的监控患者的实时身体状况，以及医生的每一个操作产生的结果，并结合数字化的结果，通过AI算法包能够实时预测患者术后的预后结果。当医生的操作偏离初步手术路径规划结果时，可以利用扩展现实设备向医护人员发出警示并给出操作结果提示以及用药提示，供医生选择接受与否，同时根据风险等级给出1～3种手术路径备选方案，并实时更正最佳手术路径规划推荐，在很大程度上不再依赖医生的经验与手感。

例如在血管造影结果发现较大程度血管狭窄或闭塞、需要处理时，可以结合医学影像数据(例如可以是CT数据、MR数据、X光数据、PET数据等透射数据)规划手术路径，佩戴扩展现实设备的目标人员可以借助导管、导丝等设备开通狭窄、闭塞血管，或放置支架疏通血管，对患者来说能及时有效地改善供血，提高生活质量。

本申请实施例中，所规划的手术路径可应用的医疗手术范围包括但不限于穿刺、植入电极以及取活检等需要机器人辅助的手术。该手术路径对应的待操作对象可以是患者待手术的患病部位，比如颅内、五脏六腑等任意患病部位。手术路径的起点例如可以是在患者病灶区域对应的人体皮肤表面上确定的手术起点，比如穿刺点、植入点或入颅点等；手术路径的终点，即靶点，可以是在患者病灶区域确定的治疗点，亦指手术医疗器械到达的治疗目的地。手术路径可以根据临床需求在三维影像模型上基于选定的手术起点和靶点生成，手术路径的数量根据实际临床需求确定。需要说明的是，一般这些手术路径是根据临床需求制定，未考虑机器人是否能全部规划出来，即有可能存在机器人无法全部执行这些手术路径的情况，比如机器人末端装置的长度不够、位姿无法达到或者有医疗设备挡住等情况下，则出现机器人无法规划手术路径的情况。需要说明的是，机器人末端装置可以为穿刺设备或其他执行设备。

相应地，本申请实施例还提供了一种手术路径规划设备，所述手术路径规划设备包括存储器和处理器，所述处理器被配置成实现以下步骤：

将输入信息输入至手术路径规划模型，以获取初步手术路径规划结果；所述输入信息包括以下一种或多种信息：手术难度信息、主刀医生的技术水平信息以及患者的手术目的信息、第一比对结果、第二比对结果、身体状态信息、病灶周围组织信息、手术影响范围信息和术后恢复信息。

在一些可选的实施方式中，所述患者的手术目的信息的获取过程如下：

基于所述患者的术前检测结果，获取所述患者的手术目的信息；所述患者的术前检测结果包括所述患者的医学影像数据和/或血管造影结果。

在一些可选的实施方式中，所述第一比对结果和所述第二比对结果的获取过程如下：

将所述患者的术前检测结果分别与健康人大数据库、手术医疗大数据库进行比对，以得到所述患者的第一比对结果和第二比对结果。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

利用扩展现实设备将所述初步手术路径规划结果在所述患者的三维模型中进行可视化展示。

在一些可选的实施方式中，获取所述患者的三维模型的过程如下：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

将所述患者的医学影像数据输入至器官分割模型和/或组织分割模型，以得到所述患者的各部位的器官分割结果和/或组织分割结果；

基于所述器官分割结果和/或所述组织分割结果，对所述患者的器官和/或组织进行三维重建与渲染，以得到第一重建结果；

将所述第一重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，获取所述患者的三维模型的过程还包括：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到第二重建结果；

将所述第二重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，获取所述患者的三维模型的过程还包括：

在所述患者的三维模型上划分血管危险等级。

在一些可选的实施方式中，获取所述患者的实例分割结果的过程如下：

将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型，以得到所述物品检测模型和所述人物检测模型对应的检测结果；所述检测结果包括每个对象的分类结果，所述视觉检测数据中包括以下所述对象的至少一种：多个物品、患者以及一个或多个医护人员；

基于各所述对象的检测结果，将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

利用所述扩展现实设备显示预设手术工具所在位置对应的患者的生理信息；所述生理信息包括以下一种或多种信息：组织类别信息；组织活性信息；供血状态信息；病变状态信息；与所述预设手术工具所在位置相关联的一个或多个组织的实例分割结果。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

基于实时变化的所述患者的三维模型，实时预测出所述患者的实时术后预后结果；

当检测到所述目标人员的手术操作偏离所述初步手术路径规划结果时，执行以下一种或多种操作：利用所述扩展现实设备进行预警提示；利用所述扩展现实设备进行实时术后预后结果的提示；利用所述扩展现实设备进行用药提示。

其中，进行提示的方式例如可以包括以下一种或多种：显示文本；播放音频；播放视频。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

当接收到重新规划操作时，利用所述扩展现实设备显示一种或多种备选手术路径规划结果。

其中，接收重新规划操作的过程例如可以包括：

利用所述扩展现实设备播放音频以询问所述目标人员是否需要重新规划手术路径；

利用所述扩展现实设备接收所述目标人员的语音信息；

对所述语音信息进行语音识别以得到语音识别结果；

基于所述语音识别结果，确定是否接收到所述重新规划操作。

在一些可选的实施方式中，利用所述扩展现实设备显示多种风险等级对应的备选手术路径规划结果。

实施例四

本申请实施例还提供了一种医学影像分割方法，所述方法包括：

将患者的医学影像数据输入至器官分割模型，以得到所述患者的各部位的器官分割结果；

将目标部位的器官分割结果输入至所述目标部位对应的组织分割模型，获得正常组织与病变组织的组织分割结果，所述目标部位是各所述部位的其中一个。

在一些可选的实施方式中，所述方法还包括：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

基于所述目标部位的组织分割结果，对所述患者的目标部位进行三维重建与渲染，以得到部位重建结果；

将所述部位重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，所述方法还包括：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到血管重建结果；

将所述血管重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，所述方法还包括：

在所述患者的三维模型上划分血管危险等级。

相应地，本申请实施例还提供了一种医学影像分割设备，所述医学影像分割设备包括存储器和处理器，所述处理器被配置成实现以下步骤：

将患者的医学影像数据输入至器官分割模型，以得到所述患者的各部位的器官分割结果；

将目标部位的器官分割结果输入至所述目标部位对应的组织分割模型，获得正常组织与病变组织的组织分割结果，所述目标部位是各所述部位的其中一个。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

基于所述目标部位的组织分割结果，对所述患者的目标部位进行三维重建与渲染，以得到部位重建结果；

将所述部位重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到血管重建结果；

将所述血管重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

在所述患者的三维模型上划分血管危险等级。

实施例五

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项医疗辅助方法、手术路径规划方法或医学影像分割方法的步骤或者实现上述任一项医疗辅助设备、手术路径规划设备或医学影像分割设备的功能，其具体实施方式与上述实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

参见图11，图11示出了本申请实施例提供的一种程序产品的结构示意图。

所述程序产品用于实现上述任一项方法。程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本申请以上的说明书及说明书附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。

Claims (10)

1.一种医疗辅助设备，其特征在于，所述医疗辅助设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置成执行所述计算机程序时实现以下步骤：

将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型，以得到所述物品检测模型和所述人物检测模型对应的检测结果；所述检测结果包括每个对象的分类结果，所述视觉检测数据中包括以下所述对象的至少一种：多个物品、患者以及一个或多个医护人员；

基于各所述对象的检测结果，将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果；

利用各所述对象的实例分割结果，分别对各所述对象进行三维建模，以得到各所述对象的三维模型；

对各所述对象的三维模型进行体渲染，以获得各所述对象对应的虚拟对象；

基于实时获取的目标人员佩戴的扩展现实设备的位置信息和姿态信息，利用所述扩展现实设备显示多个所述虚拟对象，以辅助所述目标人员执行手术操作；所述目标人员是一个或多个所述医护人员的其中一个。

2.根据权利要求1所述的医疗辅助设备，其特征在于，所述处理器被配置成采用以下方式获取所述医护人员的三维模型：

基于所述医护人员的实例分割结果，对所述医护人员进行姿态估计，以得到姿态估计结果；

基于所述姿态估计结果，对所述医护人员进行三维建模，以得到所述医护人员的三维模型。

3.根据权利要求1所述的医疗辅助设备，其特征在于，所述处理器被配置成采用以下方式获取所述患者的三维模型：

基于所述患者的实例分割结果，对所述患者进行三维建模，以得到所述患者的中间模型；

将所述患者的医学影像数据输入至器官分割模型和/或组织分割模型，以得到所述患者的各部位的器官分割结果和/或组织分割结果；

基于所述器官分割结果和/或所述组织分割结果，对所述患者的器官和/或组织进行三维重建与渲染，以得到第一重建结果；

将所述第一重建结果与所述中间模型进行匹配，以得到所述患者的三维模型。

4.根据权利要求1或3所述的医疗辅助设备，其特征在于，所述处理器还被配置成实现以下步骤：

将所述患者的医学影像数据输入至血管分割模型，以得到所述患者的血管分割结果；

基于所述血管分割结果，对所述患者的血管进行三维重建，以得到第二重建结果；

将所述第二重建结果与所述患者的血管造影结果进行匹配，以得到所述患者的血管匹配结果；

将所述患者的血管匹配结果在所述患者的三维模型上进行实时重建，以模拟血流方向与血管路径。

5.根据权利要求3所述的医疗辅助设备，其特征在于，所述处理器还被配置成实现以下步骤：

将输入信息输入至手术路径规划模型，以获取初步手术路径规划结果；所述输入信息包括以下一种或多种信息：手术难度信息、主刀医生的技术水平信息以及所述患者的手术目的信息、第一比对结果、第二比对结果、身体状态信息、病灶周围组织信息、手术影响范围信息和术后恢复信息；

其中，所述第一比对结果和所述第二比对结果是将所述患者的术前检测结果分别与健康人大数据库、手术医疗大数据库进行比对得到的。

6.根据权利要求1所述的医疗辅助设备，其特征在于，所述检测结果还用于指示每个对象的位置信息；

所述处理器被配置成采用以下方式利用所述扩展现实设备显示多个所述虚拟对象：

基于所述扩展现实设备的位置信息和姿态信息以及每个对象的位置信息，确定多个待显示的所述虚拟对象；

利用多个待显示的所述虚拟对象及其位置信息，渲染得到显示图像；

利用所述扩展现实设备显示所述显示图像。

7.根据权利要求6所述的医疗辅助设备，其特征在于，所述处理器还被配置成实现以下步骤：

将当前时刻的所述物品检测模型和所述人物检测模型对应的检测结果与上一时刻的所述物品检测模型和所述人物检测模型对应的检测结果进行比对，判断是否存在新进入所述预设区域的危险对象；

如果存在所述危险对象，则将所述危险对象的位置信息所对应的区域作为危险区域，并当所述显示图像包括所述危险区域的部分或全部时，利用所述扩展现实设备在显示所述危险区域的部分或全部的同时显示第一提示信息，所述第一提示信息用于指示有危险对象闯入。

8.根据权利要求1所述的医疗辅助设备，其特征在于，所述视觉检测数据中包括多个所述医护人员；

所述处理器还被配置成实现以下步骤：

基于多个所述医护人员的位置信息，获取所述目标人员和预设对象之间的最小距离；所述预设对象包括其他人员和/或运动机器；

当所述最小距离不大于预设距离阈值时，利用所述扩展现实设备显示第二提示信息，所述第二提示信息用于指示可能与所述预设对象发生碰撞。

9.一种医疗辅助方法，其特征在于，所述方法包括：

将实时获取的预设区域的视觉检测数据分别输入至物品检测模型和人物检测模型，以得到所述物品检测模型和所述人物检测模型对应的检测结果；所述检测结果包括每个对象的分类结果，所述视觉检测数据中包括以下所述对象的至少一种：多个物品、患者以及一个或多个医护人员；

基于各所述对象的检测结果，将所述视觉检测数据分别输入至各所述对象对应的实例分割模型，以得到各所述对象的实例分割结果；

利用各所述对象的实例分割结果，分别对各所述对象进行三维建模，以得到各所述对象的三维模型；

对各所述对象的三维模型进行体渲染，以获得各所述对象对应的虚拟对象；

基于实时获取的目标人员佩戴的扩展现实设备的位置信息和姿态信息，利用所述扩展现实设备显示多个所述虚拟对象，以辅助所述目标人员执行手术操作；所述目标人员是一个或多个所述医护人员的其中一个。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述医疗辅助设备的功能或者实现权利要求9所述医疗辅助方法的步骤。

Images