CN109717957A - 基于混合现实的控制系统 - Google Patents

Abstract

本发明提供一种基于混合现实的控制系统，该系统包括：导航设备和混合现实设备，其中，所述导航设备与所述混合现实设备连接；所述导航设备，用于获取病人的待处理部位的第一位姿信息，并将所述第一位姿信息发送给所述混合现实设备；所述混合现实设备，用于接收所述第一位姿信息，根据所述第一位姿信息调整待处理部位的三维全息模型，得到并显示调整后的三维全息模型。本方案能够准确的体现出病人的待处理部位的实际情况，便于医生进行手术指导或手术操作，减少手术操作的失误。

Description

基于混合现实的控制系统

技术领域

本发明涉及医疗技术领域，尤其涉及一种基于混合现实的控制系统。

背景技术

为给病人提供好的就医服务，目前，医生可以进行远程指导或者远程手术。

现有技术中，在远程指导或是远程手术的过程中，可以获取到远程传输的二维图像，其中，二维图像是可以由相机等设备针对病人的待处理部位进行不同角度的拍摄而得到的。然后医生可以根据二维图像观看病人的待处理部位的情况，然后进行手术指导和操作。

但是现有技术中，一幅二维图像只能显示出病人的待处理部位的部分情况，医生需要人工的结合多幅二维图像在脑海中想象出病人的待处理部位的实际情况以及发病的实际部位；从而，二维图像无法准确的体现出病人的待处理部位的实际情况，不便于医生进行手术的指导或手术操作，容易导致手术操作的失误。

发明内容

本发明提供一种基于混合现实的控制系统，能够准确的体现出病人的待处理部位的实际情况，便于医生进行手术的指导或手术操作，减少手术操作的失误。

本发明提供一种基于混合现实的控制系统，包括：

导航设备和混合现实设备，其中，所述导航设备与所述混合现实设备连接；

所述导航设备，用于获取病人的待处理部位的第一位姿信息，并将所述第一位姿信息发送给所述混合现实设备；

所述混合现实设备，用于接收所述第一位姿信息，根据所述第一位姿信息调整待处理部位的三维全息模型，得到并显示调整后的三维全息模型。

进一步地，所述系统还包括：远程手术机器人；

所述远程手术机器人，用于获取远程控制指令，并根据所述远程控制指令对所述待处理部位进行手术操作。

进一步地，所述系统还包括控制设备，其中，所述控制设备与所述远程手术机器人连接；

所述控制设备，用于接收用户控制指令，根据所述用户控制指令生成所述远程控制指令，并将所述远程控制指令发送给所述远程手术机器人。

进一步地，所述控制设备设置在所述混合现实设备中；

所述控制设备，具体用于接收所述用户控制指令，根据所述用户控制指令对所述调整后的三维全息模型进行调整，以生成所述远程控制指令，其中，所述远程控制指令包括运动路径，所述运动路径用于指示对所述调整后的三维全息模型的调整过程；并将所述远程控制指令发送给所述远程手术机器人；

所述远程手术机器人，具体用于控制所述远程手术机器人的机械臂按照所述远程控制指令中的运动路径，对所述待处理部位进行手术操作，其中，所述机械臂设置在所述待处理部位上。

进一步地，所述用户控制指令为以下的至少一种：语音指令、手势指令、触碰指令。

进一步地，所述远程手术机器人上设置有三维投影设备，所述三维投影设备与所述控制设备连接；

所述三维投影设备，用于接收所述控制设备发送的所述调整后的三维全息模型，并显示所述调整后的三维全息模型。

进一步地，所述导航设备，包括感光小球、感光装置和控制装置，其中，所述感光小球设置在所述待处理部位上，所述感光装置与所述控制装置连接；

所述感光装置，用于识别所述感光小球的第二位姿信息，其中，所述感光小球随着所述待处理部位的移动而移动；根据所述第二位姿信息确定所述待处理部位的第一位姿信息，并将所述第一位姿信息通过所述控制装置发送给所述混合现实设备。

进一步地，所述混合现实设备，还用于：

获取所述待处理部位的三维模型，其中，三维模型是根据所述待处理部位的电子计算机断层扫描(Computed Tomography，简称CT)数据或磁共振成像(Magnetic ResonanceImaging，简称MRI)数据进行三维重建而生成的；

根据所述三维模型，生成初始的三维全息模型。

进一步地，所述混合现实设备，具体用于：

将所述第一位姿信息转换到所述待处理部位的三维全息模型所位于的坐标系下，以得到坐标系转换后的第一坐姿信息，并根据所述坐标系转换后的第一坐姿信息调整待处理部位的三维全息模型。

进一步地，所述第一位姿信息包括：三维位置信息和/或角度值。

本发明提供了一种基于混合现实的控制系统，该系统包括：导航设备和混合现实设备，其中，导航设备和混合现实设备连接，导航设备用于获取病人待处理部位的第一位姿信息，并将第一位姿信息发送给混合现实设备，而混合现实设备在接收到第一位姿信息之后，便根据该第一位姿信息对当前显示的待处理部位的三维全息模型进行位姿调整，以得到并显示与当前第一位姿信息对应的三维全息模型。本方案通过调整后的待处理部位的三维全息模型，能够向医生直接展示待处理部位实时的实际情况，从而无需再由医生根据多个二维图像在脑海中想象待处理部位的实际情况，通过本方案，便于医生根据当前展示的三维全息模型进行手术指导或者是手术操作，提高了手术操作的准确度，极大避免了手术操作的失误。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种基于混合现实的控制系统的结构示意图一；

图2为本发明实施例一提供的一种基于混合现实的控制系统的结构示意图二；

图3为本发明实施例二提供的一种基于混合现实的控制系统的结构示意图；

图4为本发明实施例三提供的一种基于混合现实的控制系统的结构示意图一；

图5为本发明实施例三提供的一种基于混合现实的控制系统的结构示意图二。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。需要说明的是，本文中的“第一”、“第二”仅用于区分，其并未对先后顺序进行限定。

图1为本发明实施例一提供的一种基于混合现实的控制系统的结构示意图一，如图1所示，该系统包括：

导航设备101和混合现实设备102，其中，所述导航设备101与所述混合现实设备102连接；

所述导航设备101，用于获取病人的待处理部位的第一位姿信息，并将所述第一位姿信息发送给所述混合现实设备102；

所述混合现实设备102，用于接收所述第一位姿信息，根据所述第一位姿信息调整待处理部位的三维全息模型，得到并显示调整后的三维全息模型。

其中，上述所指的连接包括物理上的有线连接，也包括无线连接，以进行数据传输。

在本实施例中，混合现实设备102在第一次接收导航设备101发送的第一位姿信息之前，可显示待处理部位初始的三维全息模型，其中，混合现实设备102生成初始的三维全息模型的一种实现方式可如下：

混合现实设备102还用于：

获取所述待处理部位的三维模型，其中，三维模型是根据所述待处理部位的CT数据进行三维重建而生成的；

根据所述三维模型，生成初始的三维全息模型。

那么，混合现实设备102在接收到导航设备101发送的第一位姿信息后，便可根据本次接收到的第一位姿信息对当前显示的待处理部位的三维全息模型进行调整，以向医生展示病人待处理部位实时的实际情况。

具体的，导航设备101的一种定位方式为磁学定位，磁学定位的原理是：一般包含三个磁场发生器和一个磁场探测器，每个磁场发生器线圈定义空间的一个方向，探测器线圈检测由磁场发生器发射并通过空气或软组织的低频磁场，由各发生器间的相对位置和接收到的信号就可以确定探测器的空间位置，从而实现对目标的定位，其定位精度可达2mm。这种定位方法造价低，方便灵活，探测器与发生器之间没有光路遮挡问题。

导航设备101的另一种定位方式为超声波定位，其原理是超声测距，这类系统一般由超声波发射器、接收器、手术器械和计算机组成。发射器安装在标架上，接收器安装在手术器械上，以固定声速计算发射器和接收器之间的相对距离，然后以发射器为中心，相对距离为半径作球面，球面的交点就是接收器的空间位置。采用阵列接收器，通过时间平移、缩放以及智能求和回波能量，可以构建高清晰度的图像。在严格的实验室条件下，超声波定位的精度可达到0.4mm。超声波定位的缺点是易受环境噪声的干扰，而且因为系统假设超声波在空气中的传播速度是常数，所以空气温度、气流和非均匀性都会影响系统精度。

导航设备101的再一种定位方式为光学定位，其中，采用光学定位获取第一位姿信息的实现方式可如下：

如图2所示，图2为本发明实施例一提供的一种基于混合现实的控制系统的结构示意图二，导航设备101，包括：

感光小球1011、感光装置1012和控制装置1013，其中，感光小球1011设置在待处理部位上，感光装置1012与控制装置1013连接；

所述感光装置1012，用于识别所述感光小球1011的第二位姿信息，其中，所述感光小球1011随着待处理部位的移动而移动；根据第二位姿信息确定待处理部位的第一位姿信息，并将第一位姿信息通过所述控制装置1013发送给所述混合现实设备102。

采用光学定位的方式，获得的数据精度较高，应用灵活方便，而且通过在不同的待处理部位上设置不同的感光小球能够跟踪多个目标。

其中，通过感光小球的固定装置与待处理部位形成刚性连接，进而感光小球的位姿变化可与待处理部位的位姿变化同步，从而通过感光小球的第二位姿信息确定待处理部位的第一位姿信息。

以病人腿部骨折举例来说：感光小球1011分别连接在骨折的两个断端上，感光装置1012设置在能够识别到感光小球的位置上，当骨折断端移动时，感光小球1011随着骨折断端的移动而移动，从而感光装置1012能够识别到感光小球1011的第二位姿信息，并根据第二位姿信息确定骨折断端的第一位姿信息，并通过控制装置1013将第一位姿信息发送给混合现实设备102，混合现实设备102则根据本次接收到的骨折断端的第一位姿信息，对当前已展示给医生的骨折的三维全息模型进行位姿调整，以向医生展示骨折断端的实际位姿情况。

当混合现实设备102向医生展示如骨折断端的实际位姿情况之后，一方面，医生可根据骨折断端的实际位姿情况进行手术指导，另一方面，医生可根据该骨折断端的实际位姿情况控制远程机器人进行手术操作，以通过远程手术机器人对病人的骨折断端进行复位。

另外，混合现实设备102具体用于：

将所述第一位姿信息转换到所述待处理部位的三维全息模型所位于的坐标系下，以得到坐标系转换后的第一坐姿信息，并根据所述坐标系转换后的第一坐姿信息调整待处理部位的三维全息模型。

例如，导航设备101获取到的病人待处理部位的第一位姿信息包括三维位置信息(x，y，z)和角度值α，其中，三维位置信息(x，y，z)和角度值α均是以导航设备101的坐标系为参考的，那么为向医生展示待处理部位的实际情况，则混合现实设备102应对三维位置信息(x，y，z)和角度值α进行坐标系转换以将第一位姿信息转换到待处理部位的三维全息模型所在的坐标系下，得到三维位置信息(x1，y1，z1)和角度值β，然后再利用三维位置信息(x1，y1，z1)和角度值β对待处理部位的三维全息模型进行调整，以得到三维位置信息(x1，y1，z1)和角度值β所对应的三维全息模型。

其中，第一位姿信息包括：三维位置信息和/或角度值，其中，三维位置信息表征待处理部位的位置，而角度值表征待处理部位的姿势。

本实施例提供了一种基于混合现实的控制系统，该系统包括：导航设备和混合现实设备，其中，导航设备和混合现实设备连接，导航设备用于获取病人待处理部位的第一位姿信息，并将第一位姿信息发送给混合现实设备，而混合现实设备在接收到第一位姿信息之后，便根据该第一位姿信息对当前显示的待处理部位的三维全息模型进行位姿调整，以得到并显示与当前第一位姿信息对应的三维全息模型。本方案通过调整后的待处理部位的三维全息模型，能够向医生直接展示待处理部位实时的实际情况，从而无需再由医生根据多个二维图像人工判断待处理部位的实际情况，通过本方案，便于医生根据当前展示的三维全息模型进行手术指导或者是手术操作，提高了手术操作的准确度，极大避免了手术操作的失误。

图3为本发明实施例二提供的一种基于混合现实的控制系统的结构示意图，在实施例一的基础上，如图3所示，该系统还包括：

远程手术机器人201和控制设备202，其中，所述控制设备202与所述远程手术机器人201连接；

所述控制设备202，用于接收用户控制指令，根据所述用户控制指令生成所述远程控制指令，并将所述远程控制指令发送给所述远程手术机器人201；

所述远程手术机器人201，用于获取远程控制指令，并根据所述远程控制指令对所述待处理部位进行手术操作。

其中，用户控制指令为以下的至少一种：语音指令、手势指令、触碰指令；控制设备202可以是控制远程手术机器人201的操控柄/设备，另外，控制设备202还可以是设置在混合现实设备102内的以控制虚拟的三维全息模型的控制器。

同样以病人腿部骨折举例来说：混合现实设备102向医生展示骨折断端的实际位姿情况之后，医生可根据看到的骨折断端的实际情况，操控控制设备201，以通过控制设备201控制远程手术机器人201对骨折断端进行手术复位。例如，以控制设备202为操控柄为例，医生通过远程手术机器人201实现手动的手术复位，也即，医生根据看到的骨折断端的实际情况，利用远程手术机器人201代替自己对骨折断端进行手动操作，具体的，比如，操控柄接收到触碰指令后，将触碰指令转换为相应的抓取、向左等远程控制指令，控制远端的远程手术机器人201的机械臂进行抓取或者是向左移动等，以对骨折断端进行手术复位，并且，在手术过程中，导航设备101将实时采集骨折断端的第一位姿信息，并发送给混合现实设备102，以通过混合现实设备102对骨折的三维全息模型的位姿信息按照实际情形进行调整并显示，然后医生基于当前显示的骨折的三维全息模型，再控制操控柄来控制远程手术机器人201进行下一步的手术操作，直至骨折断端复位完成。

以病人某骨头上有病灶举例来说：感光小球1011设置在该骨头上，感光装置1012能够识别到感光小球1011的第二位姿信息，并根据第二位姿信息确定该骨头的第一位姿信息，且通过导航设备101中的控制装置1013发送给混合现实设备102，混合现实设备102根据该第一位姿信息对当前显示的该骨头的三维全息模型进行调整，得到并显示调整后的该骨头的三维全息模型，医生通过混合现实设备102看到调整后的三维全息模型后，能够直观看到该骨头上的病灶的实际情况，从而操控控制设备202，以控制远程手术机器人201对病灶进行手术切除，并且，在手术过程中，导航设备101也会实时采集该骨头的第一位姿信息，并发送给混合现实设备101，以通过混合现实设备102对该骨头的三维全息模型按照实际情形进行调整并显示，以向医生直观展示该骨头当前的实际情况，从而便于控制远程手术机器人201对病灶进行下一步的手术切除操作。

本实施例中在进行手术操作时，医生可基于混合现实设备显示的待处理部位的三维全息模型，操控控制设备控制远程手术机器人对待处理部位进行手术操作，从而为病人提供好的就医服务，而且提高了手术操作的准确度，极大避免了手术操作的失误。

图4为本发明实施例三提供的一种基于混合现实的控制系统的结构示意图一，在实施例二的基础上，如图4所示，所述控制设备201设置在所述混合现实设备102中；

所述控制设备201，具体用于接收所述用户控制指令，根据所述用户控制指令对所述调整后的三维全息模型进行调整，以生成所述远程控制指令，其中，所述远程控制指令包括运动路径，所述运动路径用于指示对所述调整后的三维全息模型的调整过程；并将所述远程控制指令发送给所述远程手术机器人201；

所述远程手术机器人201，具体用于控制所述远程手术机器人201的机械臂按照所述远程控制指令中的运动路径，对所述待处理部位进行手术操作，其中，所述机械臂设置在所述待处理部位上。

在本实施例中，控制设备202是设置在混合现实设备102内的以控制虚拟的三维全息模型的控制器，具体的，医生可对混合现实设备102展示的三维全息模型进行虚拟的手术操作，从而该控制器可根据医生对虚拟的三维全息模型的手术操作，确定出运动路径。

同样以病人腿部骨折举例来说：混合现实设备102向医生展示骨折断端的三维全息模型之后，医生可在展示的骨折断端的三维全息模型上进行虚拟手术操作，例如，医生对骨折的三维全息模型中的虚拟骨头进行了移动，完成了虚拟骨头的复位，那么设置在混合现实设备102中的控制设备201便可根据医生对虚拟骨头的移动过程，生成包括有该过程所对应的运动路径的远程控制指令，并将该远程控制指令发送给远程手术机器人201，由于远程手术机器人201的机械臂是固定在骨折断端上，从而远程手术机器人201在接收到远程控制指令之后，可控制其机械臂按照该运动路径进行手术操作，以此自动完成实际的骨头复位，并且，机械臂按照运动路径进行手术操作之后，导航设备101会将当前骨头的第一位姿信息发送给混合现实设备102，混合现实设备102基于当前的第一位姿信息展示骨头断端的三维全息模型，以供医生查看机械臂复位的效果。

进一步地，如图5所示，图5为本发明实施例三提供的一种基于混合现实的控制系统的结构示意图二，远程手术机器人201上设置有三维投影设备301，所述三维投影设备301与所述控制设备202连接；

所述三维投影设备301，用于接收所述控制设备202发送的调整后的三维全息模型，并显示调整后的三维全息模型。

在进行远程的手术操作时，也可将调整后的三维全息模型通过远程手术机器人展示给病人侧的医生，以便两地医生进行交流和学习。

本方案中的混合现实设备102可采用穿戴设备，如头盔式显示装置。医生通过穿戴设备在视野中观察到远端手术场景。

本实施例中，在进行手术之前，远程手术机器人的机械臂设置在待处理部位上，混合现实设备中设置有能够确定运动路径的控制设备，那么在进行手术操作时，医生可通过混合现实设备102在视野中呈现的三维全息模型进行虚拟的手术操作，即，对三维全息模型中虚拟的待处理部位进行手术操作，这样，设置在混合现实设备中的控制设备可根据医生进行的虚拟手术操作，得到整个过程的运动路径，从而使得设置在待处理部位上的机械臂按照此运动路径自动进行手术操作，提高了手术完成的效果和效率。本方案除了应用于远程指导或远程手术之外，还可应用于本地指导和本地手术。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种基于混合现实的控制系统，其特征在于，包括：

导航设备和混合现实设备，其中，所述导航设备与所述混合现实设备连接；

所述导航设备，用于获取病人的待处理部位的第一位姿信息，并将所述第一位姿信息发送给所述混合现实设备；

所述混合现实设备，用于接收所述第一位姿信息，根据所述第一位姿信息调整待处理部位的三维全息模型，得到并显示调整后的三维全息模型。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：远程手术机器人；

所述远程手术机器人，用于获取远程控制指令，并根据所述远程控制指令对所述待处理部位进行手术操作。

3.根据权利要求2所述的系统，其特征在于，所述系统还包括控制设备，其中，所述控制设备与所述远程手术机器人连接；

所述控制设备，用于接收用户控制指令，根据所述用户控制指令生成所述远程控制指令，并将所述远程控制指令发送给所述远程手术机器人。

4.根据权利要求3所述的系统，其特征在于，所述控制设备设置在所述混合现实设备中；

所述控制设备，具体用于接收所述用户控制指令，根据所述用户控制指令对所述调整后的三维全息模型进行调整，以生成所述远程控制指令，其中，所述远程控制指令包括运动路径，所述运动路径用于指示对所述调整后的三维全息模型的调整过程；并将所述远程控制指令发送给所述远程手术机器人；

所述远程手术机器人，具体用于控制所述远程手术机器人的机械臂按照所述远程控制指令中的运动路径，对所述待处理部位进行手术操作，其中，所述机械臂设置在所述待处理部位上。

5.根据权利要求4所述的系统，其特征在于，所述用户控制指令为以下的至少一种：语音指令、手势指令、触碰指令。

6.根据权利要求4所述的系统，其特征在于，所述远程手术机器人上设置有三维投影设备，所述三维投影设备与所述控制设备连接；

所述三维投影设备，用于接收所述控制设备发送的所述调整后的三维全息模型，并显示所述调整后的三维全息模型。

7.根据权利要求1所述的系统，其特征在于，所述导航设备，包括感光小球、感光装置和控制装置，其中，所述感光小球设置在所述待处理部位上，所述感光装置与所述控制装置连接；

所述感光装置，用于识别所述感光小球的第二位姿信息，其中，所述感光小球随着所述待处理部位的移动而移动；根据所述第二位姿信息确定所述待处理部位的第一位姿信息，并将所述第一位姿信息通过所述控制装置发送给所述混合现实设备。

8.根据权利要求1-7任一项所述的系统，其特征在于，所述混合现实设备，还用于：

获取所述待处理部位的三维模型，其中，三维模型是根据所述待处理部位的电子计算机断层扫描CT数据或磁共振成像MRI数据进行三维重建而生成的；

根据所述三维模型，生成初始的三维全息模型。

9.根据权利要求1-7任一项所述的系统，其特征在于，所述混合现实设备，具体用于：

将所述第一位姿信息转换到所述待处理部位的三维全息模型所位于的坐标系下，以得到坐标系转换后的第一坐姿信息，并根据所述坐标系转换后的第一坐姿信息调整待处理部位的三维全息模型。

10.根据权利要求1-7任一项所述的系统，其特征在于，所述第一位姿信息包括：三维位置信息和/或角度值。