CN116912430B - 用于构建远程介入手术室的三维数字孪生系统的装置 - Google Patents

Abstract

本申请涉及用于构建远程介入手术室的三维数字孪生系统的装置，装置包括处理器和多个图像采集设备，多个图像采集设备配置为：实时地采集手术室内的不同角度的实景图像，并实时地将实景图像发送给处理器，其中，手术室中包含待进行远程介入手术的患者；处理器配置为：基于实景图像构建手术室的三维数字孪生系统，其中，三维数字孪生系统中包括基于待进行远程介入手术的患者而构建的三维患者模型，三维患者模型包含与人体部位相关联的多个关键点信息；基于三维患者模型，结合关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在三维患者模型对应的部分。因此能够增加用户的真实感和临场感，能够更好地做出判断，提高手术成功率和准确率。

Description

用于构建远程介入手术室的三维数字孪生系统的装置

技术领域

本申请涉及血管介入手术技术领域，更具体地，涉及用于构建远程介入手术室的三维数字孪生系统的装置。

背景技术

传统的心脑血管介入手术是由用户手动将导管、导丝以及支架等器械送入病患体内来完成治疗的过程。但是在传统的血管介入手术进行过程中，由于手术室内的DSA设备（数字减影血管造影机）会发出X射线，可能使得处于手术室内的医生体力下降较快，注意力及稳定性也会下降，可能会导致操作精度下降，容易发生因推送力不当引起的血管内膜损伤、血管穿孔破裂等事故，导致病人生命危险。其次，长期电离辐射的积累伤害也会大幅地增加用户患白血病、癌症以及急性白内障的几率。由于医生经常从事介入手术，导致不断积累射线的现象，已经成为损害医生职业生命和制约介入手术发展的不可忽视的问题。

通过借助机器人技术能够有效应对上述问题，可以大幅提高手术操作的精度与稳定性，同时能够有效降低放射线对介入用户的伤害，降低术中事故的发生几率。借助机器人的血管介入手术中，机器人位于手术室内，医生位于手术室外，医生在远端可以通过远程控制介入机器人和DSA进行异地远程手术。但在异地远程手术中，用户无法得知病人和各个医疗设备之间的位置关系，缺少空间概念，难以进行准确操作，因此在操作DSA或机器人的过程中，对于患者和医护人员没有保护措施，有可能误碰到病人或助手，严重的可能造成医疗事故。而且因为在异地远程手术中，在远端的医生对导管室环境和病人、医疗设备等信息无法实时、充分地掌握，临床体验感较差，操作过程需要非常谨慎，由此可能导致手术效率降低。

发明内容

提供了本申请以解决现有技术中存在的上述问题。需要用于构建远程介入手术室的三维数字孪生系统的装置，能够使得远程的介入手术医生实时、准确地获知手术室内的环境、医疗设备和人员的动态变化，并且在执行手术时能够真实地感受到与患者手术部位的准确关联，由此避免由于手术操作产生医疗设备与手术室内的医疗人员或患者误碰撞而导致的不良影响，提高远程介入手术操作的安全性，减轻手术医生的心理负担，降低医疗事故率，同时增强用户在远程手术操作时的真实感和临床体验感，提高手术成功率和效率，缩短手术时间。

根据本申请的第一方案，提供了用于构建远程介入手术室的三维数字孪生系统的装置，所述数字孪生系统包括处理器和多个图像采集设备。所述多个图像采集设备配置为：实时地采集手术室内的不同角度的实景图像，并实时地将所述实景图像发送给所述处理器，其中，所述手术室中包含待进行远程介入手术的患者。所述处理器配置为：基于所述实景图像构建所述手术室的三维数字孪生系统，其中，所述三维数字孪生系统中包括基于待进行远程介入手术的患者而构建的三维患者模型，所述三维患者模型包含与人体部位相关联的多个关键点信息。所述处理器还配置为：获取所述患者的DSA三维重建图像的感兴趣区域；基于所述三维患者模型，结合所述关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在所述三维患者模型对应的部分。

根据本申请的第二方案，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时实现如下步骤：基于实景图像构建手术室的三维数字孪生系统，其中，所述实景图像由多个图像采集设备对手术室内的不同角度的实景图像实时采集并发送到所述处理器，所述三维数字孪生系统中包括基于手术室中待进行远程介入手术的患者而构建的三维患者模型，所述三维患者模型包含与人体部位相关联的多个关键点信息；获取所述患者的DSA三维重建图像的感兴趣区域；基于所述三维患者模型，结合所述关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在所述三维患者模型对应的部分。

本申请各个实施例提供的用于构建远程介入手术室的三维数字孪生系统的装置，根据手术室内的实景图像构建手术室的三维数字孪生系统，且三维数字孪生系统中包括三维患者模型，使得所述三维数字孪生系统能够真实呈现手术室内的环境，用户能够实时地和准确地掌握手术室内的环境、医疗设备和人员的动态变化，得到病人和各个医疗设备之间的位置关系，并且三维患者模型上融合显示感兴趣区域部分的DSA三维重建图像，有利于用户的更加准确地进行手术操作，减轻手术医生的心理负担，减少误碰到患者或医护人员的概率，提高血管介入手术的安全性。用户能够直接在三维患者模型上看到感兴趣区域的血管影像和介入器械目前的情况，增强用户对手术操作的真实感和临床体验感，提高手术成功率和效率，缩短手术时间，保证手术医生在手术过程中的体力和注意力，减少因推送力不当等引起的血管内膜损伤、血管穿孔破裂等危险状况的发生概率。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。

图1示出根据本申请实施例的用于构建远程介入手术室的三维数字孪生系统的装置的组成结构图；

图2示出根据本申请实施例的手术室内的整体结构示意图；

图3示出根据本申请实施例的摄像头的结构示意图；

图4示出根据本申请实施例的处理器的处理过程示意图；

图5示出根据本申请实施例的三维患者模型的示意图；

图6示出根据本申请实施例的DSA设备的结构示意图；

图7示出根据本申请实施例的感兴趣区域部分的DSA三维重建图像与三维患者模型融合的流程图；

图8示出根据本申请实施例的基于实景图像提取关键点信息和体型信息的流程图；

图9示出根据本申请实施例的基于实景图像构建手术室的三维数字孪生系统的流程图；

图10示出根据本申请实施例的基于实景图像进行目标检测的方法的流程图；以及

图11示出根据本申请实施例的远端的控制区的整体示意图。

具体实施方式

为使本领域技术人员更好的理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述，但不作为对本申请的限定。

本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。

图1示出根据本申请实施例的用于构建远程介入手术室的三维数字孪生系统的装置的组成结构图。装置100包括处理器112和多个图像采集设备111。图像采集设备111配置为实时地采集手术室内的各个角度的实景图像，并实时地将所述实景图像发送给处理器112，其中，所述手术室中包含待进行远程介入手术的患者。

处理器112可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元（CPU）、图形处理单元（GPU）等。更具体地，该处理器可以是复杂指令集计算（CISC）微处理器、精简指令集计算（RISC）微处理器、超长指令字（VLIW）微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备，诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、数字信号处理器（DSP）、片上系统（SoC）等。

图2示出根据本申请实施例的手术室内的整体结构示意图。图像采集设备111可以是安装于手术室102内的摄像头101，具体的，摄像头可以如图3所示的结构。如图2所示，摄像头101的数量为8组，可以将8组摄像头101安装在手术室102的房顶的4个角落和4边墙的中点上，调整好初始角度，使得他们的镜头对准手术室102内的导管床110，患者104躺于导管床110上。这样便于采集到各个角度的图像信息，无论手术室102内各个物体如何移动，都可以检测到。另外手术室102还设有铅玻璃窗103，通过铅玻璃窗103能够看到手术室内的情况，还能起到隔离的作用。

图4示出根据本申请实施例的处理器的处理过程示意图。处理器112配置为如下步骤。在步骤401，基于所述实景图像构建所述手术室的三维数字孪生系统，其中，所述三维数字孪生系统中包括基于待进行远程介入手术的患者而构建的三维患者模型，所述三维患者模型包含与人体部位相关联的多个关键点信息。其中三维患者模型能够体现患者实际的位置和体型等比较相符的情况，基于实景图像建立的三维数字孪生系统，能够实时地和准确地反映手术室内的环境、医疗设备和人员的动态变化。这样，用户位于手术室外，能够实时通过三维数字孪生系统，直接了解到手术室内患者和设备之间的位置关系，例如患者与设备的距离大小以及方位等。这样能够增加用户在血管介入手术过程中的临床体验感。还能够提升用户在操作的准确率，在查看到的条件合适的情况下，减轻用户的心理负担，提高手术效率，缩短手术时间。在判断将要触碰到的情况下，用户可以更加谨慎，减少误碰到患者或医护人员的概率，提高血管介入手术的安全性和操作效率。

在步骤402，获取所述患者的DSA三维重建图像的感兴趣区域。DSA三维重建图像是基于利用DSA设备得到的二维DSA图像通过三维重建得到的，DSA三维重建图像能够显示对应区域的血管粗细以及血管走势等的情况。DSA三维重建图像的感兴趣区域可能是用户比较关注的DSA三维重建图像上的部分区域，例如，血管介入手术涉及到的主要区域。在步骤403，基于所述三维患者模型，结合所述关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在所述三维患者模型对应的部分。例如，心脏部位的感兴趣区域与三维患者模型的心脏位置相融合，头部感兴趣区域与三维患者模型的头部位置相融合。因此，能够让用户可以直接观察到对应位置的影像信息，看到手术部位的血管等的情况，使得手术操作更加真实，进一步增加用户的身临其境的感觉，提供用户血管介入手术过程的参照，能够让用户更好地做出判断，提高血管介入手术的成功率和效率，缩短手术时间，保证手术医生在整个手术过程中的体力和注意力，减少因推送力不当等引起的血管内膜损伤、血管穿孔破裂等危险状况的发生概率。

图5示出本申请实施例的三维患者模型的示意图。其中三维患者模型的关键点信息包括SMPL（Skinned Multi-Person Linear Model）模型中涉及的24个关键点信息，24个关键点包括24个人体的关节点，例如下颌关节点15、颈关节点12、左胸关节点13、右胸关节点14、左肩关节点16、右肩关节点17、左肘关节点18、右肘关节点21、左腕关节点20、右腕关节点19、左手关节点22、右手关节点23、胸关节点9、脊柱关节点6、腹部关节点3、骨盆关节点0、左髋关节点1、右髋关节点2、左膝关节点4、右膝关节点5、左脚踝关节点7、右脚踝关节点8、左脚趾关节点10和右脚趾关节点11。基于关键点信息可以更好地拟合人体。

在一些实施例中，基于DSA三维重建图像，感兴趣区域可以通过ROI（region ofinterest）等方法进行计算得到。结合图5所示的三维患者模型，如下分别为心脏部位、头部和腹部感兴趣区域的计算公式。

心脏部位的感兴趣区域计算公式（1）为：

公式（1）

头部感兴趣区域计算公式（2）为：

公式（2）

腹部感兴趣区域计算公式（3）为：

公式（3）

其中，上述公式中P代表人体的关键点，P的数字下标代表关键点的编号，x或者y下标代表该点的x坐标或者y坐标，center表示感兴趣区域的中心位置，width表示感兴趣区域的宽度，height表示感兴趣区域的高度。

在一些实施例中，处理器112进一步配置为：响应于用户调整所述DSA三维重建图像的感兴趣区域的第一操作，基于所述三维患者模型，结合所述关键点信息，将调整后的感兴趣区域部分的DSA三维重建图像重新融合显示在所述三维患者模型对应的部分。用户可以为在远端输出手术操作的医生。第一操作可以是用户基于所述三维数字孪生系统进行的操作，在用户认为融合的位置不正确时，通过在三维数字孪生系统上进行移动感兴趣区域部分的DSA三维重建图像的第一操作，就能够对感兴趣区域部分的DSA三维重建图像的位置进行调整，方便用户的观察和手术操作。感兴趣区域部分的DSA三维重建图像的位置发生变化，需要根据用户移动后的位置的关键点信息重新计算感兴趣区域，然后将重新计算的感兴趣区域与三维患者模型的用户移动后的位置进行融合。这样用户通过三维数字孪生系统就能够看到重新融合后的三维数字孪生系统，方便医生很快对DSA三维重建图像的感兴趣区域进行纠正，提高手术的效率，增加真实感。

在一些实施例中，处理器112进一步配置为：响应于用户对DSA三维重建图像的感兴趣区域的放缩操作，对应放缩三维患者模型和三维数字孪生系统。这样用户能够看到更清晰的或范围更大的感兴趣区域部分的DSA三维重建图像，便于正确地输出相关操作，提供更好的真实感和临床体验感。

在一些实施例中，处理器112进一步配置为：响应于用户旋转所述DSA三维重建图像角度的第二操作，对应地调整所述三维数字孪生系统的呈现角度，使得所述三维患者模型的感兴趣区域部分以对应旋转后的角度向用户呈现。以便满足用户在血管介入手术过程中，观察其它角度的DSA三维重建图像的需求，能够更好地辨别交叠的血管的真实连接情况等。用户可以直接基于所述三维数字孪生系统进行DSA三维重建图像的旋转操作。同时，整体的三维数字孪生系统也可以旋转同样的角度，用户能够对应看到其它角度的三维数字孪生系统的情况，增加用户的临床体验感和真实感，能够让用户更好地做出判断，以便增加用户在新角度下的手术操作的成功率和效率，同时还能够更准确地判断其对各种仪器设备进行操作时可能与周围的设备和人员的碰撞风险，由此进一步提高手术操作的安全性。

在一些实施例中，同图2所示，所述手术室中还包括DSA设备105和介入手术机器人109，具体的，DSA设备105可以如图6所示，所述处理器112进一步配置为：基于所述实景图像构建包括DSA设备105和介入手术机器人109在内的三维数字孪生系统；响应于用户远程调整所述DSA设备105和/或所述介入手术机器人109设备的角度的第三操作，对应地调整所述三维数字孪生系统的呈现角度，使得所述三维患者模型104的感兴趣区域部分以对应调整后的角度向用户呈现。在血管介入手术中，用户为了DSA设备105和介入手术机器人109的位置与三维患者模型104的位置相互配合，以便更好地进行相关的操作等的需求下，可以做出旋转DSA设备105和/或旋转介入手术机器人109的操作指令，使得三维数字孪生系统中的DSA设备105和/或介入手术机器人109的角度发生改变，同时对应地调整三维数字孪生系统整体的呈现角度以及三维数字孪生系统中的感兴趣区域部分的呈现角度。以便用户以调整后的角度观察整体的三维数字孪生系统，增加用户的临床体验感，能够让用户更好地做出判断，减少误碰到患者或医护人员的概率，提高手术成功率和效率。

图7示出根据本申请实施例的感兴趣区域部分的DSA三维重建图像与三维患者模型融合的流程图。在步骤701，基于所述感兴趣区域对应的关键点信息，调整感兴趣区域的DSA三维重建图像的体位，使其与三维患者模型的体位相匹配。这样，使得感兴趣区域的DSA三维重建图像与三维患者模型更加匹配，便于用户的观察，提升用户的真实感，提高手术操作的准确性。

在步骤702，将所述三维患者模型上与所述感兴趣区域对应的位置抠空，得到抠空后的三维患者模型。可以根据ROI方法计算的感兴趣区域的范围将三维患者模型的对应的位置抠空。

在步骤703，将所述感兴趣区域的三维重建图像填充至所述抠空后的三维患者模型的感兴趣区域的位置，得到融合显示后的三维患者模型。这样，用户就能通过观察三维患者模型对应的位置，看到人体相应位置的三维血管情况，便于进行血管介入手术，提高血管介入手术的真实感，提高手术的成功率。而且能够给用户血管介入手术提供警示作用，例如看到血管狭窄位置等，便于用户更加谨慎地输出操作。

在一些实施例中，同图2所示，所述手术室中还包括医护人员（106和107），所述处理器112进一步配置为：基于所述实景图像构建包括所述医护人员（106和107）在内的三维数字孪生系统；响应于所述第三操作，基于所述DSA设备105和/或介入手术机器人设备109在所述第三操作下的运动轨迹、患者104的三维人体模型和所述医护人员（106和107）的位置信息，预测所述DSA设备105和/或介入手术机器人109与患者104之间的第一间距，以及预测所述DSA设备105和/或介入手术机器人109与医护人员（106和107）之间的第二间距，并在所述第一间距和/或第二间距小于对应的阈值的情况下，发出碰撞预警信息。阈值可以根据安全性的要求进行设置，在小于阈值时，用户能够收到碰撞预警信息，及时地避免误碰到患者104和/或医护人员（106和107），提高血管介入手术的安全性。其中，第一间距和第二间距的对应的阈值可以是不同的，按需设置即可，本申请对此不做限定。

在一些实施例中，上述碰撞预警信息可以是声音、语音的告警提示信息，独立地或附加地，也可以在三维数字孪生系统中进行文字、图形、符号等视觉告警提示，并且，声音或视觉的告警提示信息可以随着碰撞风险的程度（即，第一间距和/或第二间距小于对应的阈值的程度）而变化，例如告警提示声音的频率随风险提高而逐渐增高，告警符号闪烁的速度随风险提高而逐渐加快，等等，本申请在此不一一列举。

更具体地，在所述第一间距小于对应的阈值的情况下，还可以在所述三维数字孪生系统中对所关联的所述DSA设备105和/或介入手术机器人109以及患者104进行突出显示。独立地或附加地，在所述第二间距小于对应的阈值的情况下，可以在所述三维数字孪生系统中对所关联的所述DSA设备105和/或介入手术机器人109以及医护人员（106和107）进行突出显示。由此可以使得医生用户在碰撞发生之前，预先直观地获知可能发生的碰撞风险，包括碰撞可能发生的位置、所关联的设备和人员以及当前风险的程度等，操作者可以据此调整其对DSA设备105和/或介入手术机器人109的操作，并根据碰撞预警信息的变化趋势及时获知调整操作后碰撞风险的发展趋势，例如风险是否降低或消失等。

因此，通过第一间距和第二间距对应阈值的设置，使得执行远程介入手术的医生用户不仅可以在三位数字孪生系统中通过自主观察其所操作的介入手术机器人109和DSA设备105等彼此之间，及其与手术室内的医护人员（106和107）或患者104之间的空间位置关系来判断是否存在碰撞危险，还能够从三维数字孪生系统中预先得到可以信赖的碰撞预警信息，换句话说，在第一间距和第二间距大于或等于对应的阈值时，用户不会收到碰撞预警信息，而在未收到碰撞预警信息的情况下，医生用户可以认为其操作处于安全范围内，没有与周围的仪器设备、医护人员（106和107）或患者104发生碰撞的风险，可以放心操作，由此可以帮助手术医生减轻心理负担，提高手术效率，缩短手术时间。

在一些实施例中，所述处理器112进一步配置为：响应于用户调整所述三维数字孪生系统的视角的旋转和/或平移的第四操作，对应调整所述三维数字孪生系统中的所述DSA设备和/或介入手术机器人设备以及所述三维患者模型和所述患者的DSA三维重建图像的呈现视角，使得所述三维数字孪生系统以对应调整的视角向用户呈现。这样用户可以根据自身需求，从各个不同的角度观察三维数字孪生系统，以便用户能更加全面和准确的了解手术室内的情况，从而做出正确的判断，能够让用户以更可靠的方式执行手术中的各种操作。

在一些实施例中，所述处理器112进一步配置为构建三维患者模型，具体包括：基于所述实景图像，利用深度学习神经网络得到患者的关键点信息和体型信息；基于关键点信息和体型信息，利用SMPL模型进行三维人体重建得到三维患者模型。具体的，基于实景图像能够得到24个人体的关键点参数和10个体型参数，体型参数能够描述人体的形状。利用SMPL模型得到的三维患者模型能够更好地拟合人体的形状和不同姿态。

图8示出根据本申请实施例的基于实景图像提取关键点信息和体型信息的流程图。在步骤801，将所述实景图像输入特征提取神经网络，得到具有不同感受的初级特征图集。对实景图像进行初次提取的特征提取神经网络包括U型神经网络，U型网络通过编码-解码结构提取图像的语义信息，U型网络具体可以为EfficentNet网络等。

在步骤802，将具有不同感受的初级特征图集和所述实景图像输入特征提取神经网络，得到保留图像纹理信息的初级特征图像集。进行第二次提取的特征提取神经网络包括全卷积网络，全卷积网络部分融合U型网络解码器和编码器部分所提取的特征并关注于图像的纹理信息。全卷积网络的处理过程中涉及到ReLu激活函数和Sigmod激活函数。

在步骤803，将所述具有不同感受的初级特征图集和所述保留图像纹理信息的初级特征图像集输入特征融合神经网络，得到融合特征图集。特征融合网络将U型网络解码器输出的特征与全卷积网络输出的特征进行融合，特征融合网络具体可以为BiFPN网络等。

在步骤804，基于融合特征图集通过关键点检测分支神经网络，得到包含关键点信息的人体概率图。关键点检测分支在融合后特征图的基础上进一步提取特征并获得24个身体关键点的概率图。关键点检测分支神经网的处理过程包括卷积提取、通道注意力处理和Sigmod激活函数处理的过程。

在步骤805，基于人体概率图，利用最小外包矩形算法，得到人体的关键点信息。将人体概率图的最小外包矩形作为掩码，计算掩码内的关键点位置，便可得到图像中患者的关键点信息。

在步骤806，基于融合特征图集通过体型检测分支神经网络，得到体型信息。体型检测分支通过卷积网络进一步提取特征并最终获得1*10的向量，向量分别编码SMPL的体型参数。体型检测分支神经网络的处理过程包括卷积提取、通道注意力处理、自适应均值池化处理和全卷积处理的过程。

图9示出根据本申请实施例的基于实景图像构建手术室的三维数字孪生系统的流程图。在步骤901，基于所述实景图像利用目标检测网络得到医护人员以及DSA设备和/或所述介入手术机器人的位置信息和深度信息。以便三维数字孪生系统中更好地和准确地体现患者、医护人员、DSA设备和/或介入手术机器人之间的位置关系。

在步骤902，基于所述医护人员以及DSA设备和/或所述介入手术机器人设备的位置信息和深度信息，构建所述医护人员以及DSA设备和/或所述介入手术机器人的预设模型。通过医护人员以及DSA设备和/或所述介入手术机器人设备的位置信息和深度信息能得到医护人员、DSA设备和/或介入手术机器人的尺寸，以便构建与医护人员、DSA设备和/或介入手术机器人的尺寸相适配的医护人员以及DSA设备和/或介入手术机器人的预设模型，能够增加用户的临床体验感和真实感，减少误碰到患者或医护人员的概率。

在步骤903，将所述三维患者模型和所述医护人员以及DSA设备和/或所述介入手术机器人的预设模型放入所述手术室的三维虚拟场景中构建手术室的三维数字孪生系统。这样，用户通过三维数字孪生系统能够直接得到患者、医护人员、DSA设备和/或介入手术机器人之间的位置关系，提高真实感和临场感，减少操作DSA设备和/或介入手术机器人过程中误碰到患者或医护人员的概率。

图10示出根据本申请实施例的基于实景图像进行目标检测的方法的流程图。基于所述实景图像利用目标检测神经网络得到各个目标物的空间位置信息和深度信息具体包括如下步骤。在步骤1001，将所述实景图像输入特征提取神经网络，得到不同尺度的特征图集。在步骤1002，将所述不同尺度的特征图集输入多尺度特征融合神经网络，得到融合特征图。在步骤1003，将所述融合特征图输入位置分支神经网络，得到每个像素点的目标框。在步骤1004，将所述融合特征图输入类别分支神经网络，得到每个目标框的目标类别。在步骤1005，将所述融合特征图输入深度预测神经网络，得到每个目标框的深度。在步骤1006，将所述目标框、目标类别和目标框的深度输入非极大抑制处理模块进行筛选后得到目标对象的空间位置信息和深度信息。特征提取神经网络具体可以为EfficentNet网络，特征融合神经网络具体可以为BiFPN网络。融合特征图的每一个像素点可以单独预测九个不同的目标框以及相应类别与深度信息，经过非极大抑制处理，消除冗余的目标框，获得最终目标检测结果。

图11示出根据本申请实施例的远端的控制区的整体示意图。所述装置100还包括位于手术室外的孪生系统显示器1103，所述处理器112与所述孪生系统显示器1103连接，所述处理器112配置为将所述手术室的三维数字孪生系统发送给所述孪生系统显示器1103。位于远端的用户可以直观地通过孪生系统显示器1103直接得到手术室内的情况，便于用户做出对应的操作。远端的控制区位于手术室外，远端的控制区可以作为医生的操作区。进一步，装置100还包括设有处理器112的工作站。工作站可以为设于如图11所示的远端的控制区的第一工作站1104，或设置于如图2所示的手术室102内第二工作站108。以第一工作站1104为例，第一工作站1104得到图像采集设备的数据后，经过处理后得到三维数字孪生系统，然后可以将三维数字孪生系统相关的数据通过线缆、无线网络或移动通信等向孪生系统显示器1103进行传输。装置100还包括位于远端的控制区的DSA显示器1102，机器人显示器1101和控制盒1105，DSA显示器1102用于查看DSA影像，机器人显示器1101用于查看介入手术机器人的情况，孪生系统显示器1103、DSA显示器1102，机器人显示器1101和控制盒1105可以放置于工作台1106。

另外，所述数字孪生系统还可以包括位于手术室内的麦克风，以便采集手术室内的声音信息，用户从远端也可以及时与手术室内的患者和/或医护人员进行语音沟通，增加用户的临床体验感。

在一些实施例中，所述处理器112进一步配置为：基于所述不同角度的实景图像获得目标物的与所述不同角度的实景图像一一对应的初始位置信息，所述目标物包括患者、医护人员、DSA设备和/或介入手术机器人；在多个所述初始位置信息中刨除异常的位置信息，并利用其余的初始位置信息进行融合得到目标物的目标位置信息。基于实景图像通过视觉算法可以得到各个目标物的空间坐标。在多个图像采集设备时，不同的采集设备的位置不同，采集到的目标物的初始位置信息可能是不同的，所以综合各个图像采集设备的初始位置信息时，刨除异常的数据值，剩余的数据值可以进行求取平均值，作为目标物的目标位置信息，以提高位置信息的准确性。

根据本申请实施例还提供一种计算机可读存储介质，其上存储有的计算机可执行指令，所述计算机可执行指令由处理器执行时实现如下步骤。基于实景图像构建手术室的三维数字孪生系统，其中，所述实景图像由多个图像采集设备对手术室内的不同角度的实景图像实时采集并发送到所述处理器，所述三维数字孪生系统中包括基于手术室中待进行远程介入手术的患者而构建的三维患者模型，所述三维患者模型包含与人体部位相关联的多个关键点信息。获取所述患者的DSA三维重建图像的感兴趣区域。基于所述三维患者模型，结合所述关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在所述三维患者模型对应的部分。因此，能够使得远程的介入手术医生实时、准确地获知手术室内的环境、医疗设备和人员的动态变化，并且在执行手术时能够真实地感受到与患者手术部位的准确关联，由此避免由于手术操作产生医疗设备与手术室内的医疗人员或患者误碰撞而导致的不良影响，提高远程介入手术操作的安全性，减轻手术医生的心理负担，降低医疗事故率，同时增强用户在远程手术操作时的真实感和临床体验感，提高手术成功率和效率，缩短手术时间。

此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本申请的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由权利要求以及其等同物的全部范围所指示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本申请。这不应解释为一种不要求保护的申请的特征对于任一权利要求是必要的意图。相反，本申请的主题可以少于特定的申请的实施例的全部特征。从而，权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

以上实施例仅为本申请的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (11)

1.一种用于构建远程介入手术室的三维数字孪生系统的装置，其特征在于，所述装置包括处理器和多个图像采集设备，所述多个图像采集设备配置为：实时地采集手术室内的不同角度的实景图像，并实时地将所述实景图像发送给所述处理器，其中，所述手术室中包含待进行远程介入手术的患者；

所述处理器配置为：

基于所述实景图像构建所述手术室的三维数字孪生系统，具体包括：基于所述实景图像利用目标检测网络得到医护人员以及DSA设备和/或介入手术机器人的位置信息和深度信息；基于所述医护人员以及DSA设备和/或所述介入手术机器人的位置信息和深度信息，构建所述医护人员以及DSA设备和/或所述介入手术机器人的预设模型；将基于待进行远程介入手术的患者而构建的三维患者模型和所述医护人员以及DSA设备和/或所述介入手术机器人的预设模型放入所述手术室的三维虚拟场景中构建手术室的三维数字孪生系统，其中，所述三维患者模型包含与人体部位相关联的多个关键点信息；

获取所述患者的DSA三维重建图像的感兴趣区域；

基于所述三维患者模型，结合所述关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在所述三维患者模型对应的部分，具体包括：基于所述感兴趣区域对应的关键点信息，调整感兴趣区域的DSA三维重建图像的体位，使其与三维患者模型的体位相匹配；将所述三维患者模型上与所述感兴趣区域对应的位置抠空，得到抠空后的三维患者模型；将所述感兴趣区域的三维重建图像填充至所述抠空后的三维患者模型的感兴趣区域的位置，得到融合显示后的三维患者模型。

2.根据权利要求1所述的装置，其特征在于，所述处理器进一步配置为：

响应于用户调整所述DSA三维重建图像的感兴趣区域的第一操作，基于所述三维患者模型，结合所述关键点信息，将调整后的感兴趣区域部分的DSA三维重建图像重新融合显示在所述三维患者模型对应的部分。

3.根据权利要求1所述的装置，其特征在于，所述处理器进一步配置为：

响应于用户旋转所述DSA三维重建图像角度的第二操作，对应地调整所述三维数字孪生系统的呈现角度，使得所述三维患者模型的感兴趣区域部分以对应旋转后的角度向用户呈现。

4.根据权利要求1-3中任一项所述的装置，其特征在于，所述手术室中还包括DSA设备和介入手术机器人，所述处理器进一步配置为：

基于所述实景图像构建包括DSA设备和介入手术机器人在内的三维数字孪生系统；

响应于用户远程调整所述DSA设备和/或所述介入手术机器人的角度的第三操作，对应地调整所述三维数字孪生系统的呈现角度，使得所述三维患者模型的感兴趣区域部分以对应调整后的角度向用户呈现。

5.根据权利要求4所述的装置，其特征在于，所述手术室中还包括医护人员，所述处理器进一步配置为：

基于所述实景图像构建包括所述医护人员在内的三维数字孪生系统；

响应于所述第三操作，基于所述DSA设备和/或介入手术机器人设备在所述第三操作下的运动轨迹、患者的三维人体模型和所述医护人员的位置信息，预测所述DSA设备和/或介入手术机器人与患者之间的第一间距，以及预测所述DSA设备和/或介入手术机器人与医护人员之间的第二间距，并在所述第一间距和/或第二间距小于对应的阈值的情况下，发出碰撞预警信息。

6.根据权利要求5所述的装置，其特征在于，在所述第一间距和/或第二间距小于对应的阈值的情况下，发出碰撞预警信息具体包括：

在所述第一间距小于对应的阈值的情况下，在所述三维数字孪生系统中对所关联的所述DSA设备和/或介入手术机器人以及患者进行突出显示；和/或

在所述第二间距小于对应的阈值的情况下，在所述三维数字孪生系统中对所关联的所述DSA设备和/或介入手术机器人以及医护人员进行突出显示。

7.根据权利要求4所述的装置，其特征在于，所述处理器进一步配置为：

响应于用户调整所述三维数字孪生系统的视角的旋转和/或平移的第四操作，对应调整所述三维数字孪生系统中的所述DSA设备和/或介入手术机器人设备以及所述三维患者模型和所述患者的DSA三维重建图像的呈现视角，使得所述三维数字孪生系统以对应调整的视角向用户呈现。

8.根据权利要求1-3中任一项所述的装置，其特征在于，所述处理器进一步配置为构建三维患者模型，具体包括：

基于所述实景图像，利用深度学习神经网络得到患者的关键点信息和体型信息；

基于关键点信息和体型信息，利用SMPL模型进行三维人体重建得到三维患者模型。

9.根据权利要求8所述的装置，其特征在于，基于所述实景图像，利用深度学习神经网络得到患者的关键点信息和体型信息具体包括：

将所述实景图像输入特征提取神经网络，得到具有不同感受的初级特征图集；

将具有不同感受的初级特征图集和所述实景图像输入特征提取神经网络，得到保留图像纹理信息的初级特征图像集；

将所述具有不同感受的初级特征图集和所述保留图像纹理信息的初级特征图像集输入特征融合神经网络，得到融合特征图集；

基于融合特征图集通过关键点检测分支神经网络，得到包含关键点信息的人体概率图；

基于人体概率图，利用最小外包矩形算法，得到人体的关键点信息；

基于融合特征图集通过体型检测分支神经网络，得到体型信息。

10.根据权利要求1-3中任一项所述的装置，其特征在于，所述数字孪生系统还包括位于手术室外的孪生系统显示器，所述处理器与所述孪生系统显示器连接，所述处理器配置为将所述手术室的三维数字孪生系统发送给所述孪生系统显示器。

11.一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时实现如下步骤：

基于实景图像构建手术室的三维数字孪生系统，具体包括：基于所述实景图像利用目标检测网络得到医护人员以及DSA设备和/或介入手术机器人的位置信息和深度信息；基于所述医护人员以及DSA设备和/或所述介入手术机器人的位置信息和深度信息，构建所述医护人员以及DSA设备和/或所述介入手术机器人的预设模型；将基于待进行远程介入手术的患者而构建的三维患者模型和所述医护人员以及DSA设备和/或所述介入手术机器人的预设模型放入所述手术室的三维虚拟场景中构建手术室的三维数字孪生系统；其中，所述实景图像由多个图像采集设备对手术室内的不同角度的实景图像实时采集并发送到所述处理器，所述三维患者模型包含与人体部位相关联的多个关键点信息；

获取所述患者的DSA三维重建图像的感兴趣区域；

基于所述三维患者模型，结合所述关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在所述三维患者模型对应的部分，具体包括：基于所述感兴趣区域对应的关键点信息，调整感兴趣区域的DSA三维重建图像的体位，使其与三维患者模型的体位相匹配；将所述三维患者模型上与所述感兴趣区域对应的位置抠空，得到抠空后的三维患者模型；将所述感兴趣区域的三维重建图像填充至所述抠空后的三维患者模型的感兴趣区域的位置，得到融合显示后的三维患者模型。