CN117672488A - 一种增强现实的远程超声系统 - Google Patents

Abstract

本发明公开了一种增强现实远程超声系统，在使用前线对四目相机模块和超声探头分别进行标定，然后利用双目红外相机对超声探头上的红外标记球进行跟踪和定位，实时获得各红外标记球在O₁下的三维坐标；根据各红外标记球在O₁、O₂下的坐标，实时计算O₂到O₁的坐标变换矩阵；从超声探头实时获取人体2D超声扫描图像，然后计算图像中各像素点投影到双目可见光相机左、右图像上对应的像素坐标，并用像素坐标值实时替代双目可见光相机在左图像和右图像处的像素值，得到增强现实处理后的双目可见光图像，并将其传输给主端PC机。

Description

一种增强现实的远程超声系统

技术领域

本发明属于医疗器械技术领域，更为具体地讲，涉及一种增强现实的远程超声系统。

背景技术

随着技术的发展，超声模块不再仅仅应用在诊断疾病和病变上，其高效的实时性和多维成像能力被广泛应用于超声导航系统当中。在外科手术当中，超声导航可以帮助定位器官、血管等目标结构；在介入中，为了达到较高的精度要求，可以使用超声导航辅助穿刺针的插入。但是在实现导航的过程中，还需要一些其他技术进行辅助，例如三维重建。在超声图像的获取过程中，由于超声无法通过空气传播，通常会添加一些耦合剂来达到理想的效果。但是超声图像导航的质量高度依赖于操作医生，其力度与方向都会影像超声图像的显示结果。除此之外，超声进行扫描时，其扫描面是一个扇面，扇面在解剖结构中的具体位置是无法具体获得的，对于同一位置的扫描，不同的操作者可能会产生不同质量的图像，解读出来的结果有时也会有所不同，因此有时医生会通过对某一区域多方位的扫描才能获得更为准确的结果，导致操作时效率不高。

超声导航是利用超声波技术获取的图像引导医生进行诊断、手术或治疗的过程。目前超声导航设备主要包括超声机，探头，图像处理和导航模块组成。在传统的超声扫描过程中，医生通常是与患者在同一空间下，医生手持超声探头对部位进行扫描，与此同时不停观察显示器上的超声图像，导致效率较低。除此之外，当遇到特殊情况需要多个医生共同观察时，在单一空间下的超声扫描会极不方便。

发明内容

本发明的目的在于克服现有技术的不足，提供一种增强现实远程超声系统，通过增强现实技术来远程获取患者现场超声图像，并通过AR可视化实现遥操作远程超声诊断。

为实现上述发明目的，本发明一种增强现实远程超声系统，其特征在于，包括：主端设备和从端设备，其中，主端设备包括：遥操作手柄、主端PC机和AR眼镜；从端设备包括：四目相机模块、超声探头、机械臂和从端PC机。

所述四目相机模块包括一个双目可见光相机和一个双目红外定位相机，两个双目相机之间刚性连接；其中，双目红外相机用于对超声探头上的红外标记球进行跟踪和定位，双目可见光相机用于捕获从端的实时图像；四目相机模块捕获的标记球位置数据和从端实时图像上传从端PC机；

所述超声探头上固定有多个红外标记球，用于对位于从端人体进行超声扫描，将扫描的超声图像上传从端PC机；

所述从端PC基于超声图像对双目可见光相机捕获的从端实时图像进行增强现实处理，并将处理后的图像传输给主端PC；

所述AR眼镜，包含两个镜片，每个镜片中央为微型显示屏，用于显示主端PC收到的增强现实处理后的从端双目实时影像。

所述机械臂的末端夹持超声探头，从端机械臂和主端遥操作手柄通过从端PC机和主端PC机进行通讯，组成一套主从遥操作系统；机械臂将位姿信息通过从端PC机传递给主端PC；主端PC机实时读取遥操作手柄的位姿数据，将位姿数据传输给从端PC，由后者控制机械臂做相应的姿态调整，实现主端操作者对从端超声探头位姿的远程控制；

本发明还提供基于超声图像引导的医疗远程操作系统，从端PC基于超声图像对双目可见光相机捕获的从端实时图像进行增强现实处理，包括以下步骤：

(1)、系统使用前对四目相机模块和超声探头分别进行标定，记双目红外定位相机上的测量坐标系为O₁，相机标定后可得到各相机的内部参数及在O₁下的外部参数；在超声探头上定义器械坐标系O₂，超声探头标定后可得到红外标记球在O₂下的坐标，以及超声图像坐标系与O₂坐标系之间的变换关系；

(2)、利用双目红外相机对超声探头上的红外标记球进行跟踪和定位，实时获得各红外标记球在O₁下的三维坐标；

(3)、根据各红外标记球在O₁下的坐标以及步骤(1)得到的各标记球在O₂下的坐标，实时计算O₂到O₁的坐标变换矩阵；

(4)、从超声探头实时获取人体2D超声扫描图像，记超声图像各像素点坐标为{m_i}_{i＝1,2,...,N}，计算这些像素点投影到双目可见光相机左、右图像上对应的像素坐标，具体过程如下：首先利用步骤(1)得到的超声图像坐标系与O₂坐标系之间的变换关系，计算{m_i}_{i＝1,2,...,N}在O₂下的三维坐标；然后利用步骤(3)得到的O₂到O₁的变换矩阵，计算其在O₁下的三维坐标，最后利用步骤(1)得到的相机标定参数，将O₁下的三维坐标变换到双目可见光相机的左、右图像坐标系下，将相应的像素坐标分别记为

(5)、用超声图像{m_i}_{i＝1,2,...,N}处的像素值实时替代双目可见光相机在左图像处和右图像/>处的像素值，得到增强现实处理后的双目可见光图像；并将其传输给主端PC机。

本发明的发明目的是这样实现的：

本发明一种增强现实远程超声系统，包括主端设备和从端设备；主端设备包括遥操作手柄、主端PC机和AR眼镜；从端设备包括四目相机模块、超声探头、机械臂和从端PC机；从端的四目相机模块由双目红外定位相机和双目可见光相机组成；超声探头上固定有多个红外标记球；系统使用前对四目相机模块和超声探头分别进行标定，记双目红外定位相机的测量坐标系为O1，相机标定后可得到各相机的内部参数及在O1下的外部参数；在超声探头上定义器械坐标系O₂，超声探头标定后可得到红外标记球在O₂下的坐标，以及超声图像坐标系与O₂坐标系之间的变换关系；利用双目红外相机对超声探头上的红外标记球进行跟踪和定位，实时获得各红外标记球在O₁下的三维坐标；根据各红外标记球在O₁下的坐标以及前面步骤得到的各标记球在O₂下的坐标，实时计算O₂到O₁的坐标变换矩阵；从超声探头实时获取人体2D超声扫描图像，然后计算图像中各像素点投影到双目可见光相机左、右图像上对应的像素坐标，并用像素坐标值实时替代双目可见光相机在左图像和右图像处的像素值，得到增强现实处理后的双目可见光图像，并将其传输给主端PC机。

同时，本发明增强现实远程超声系统还具有以下有益效果：

(1)、对超声探头打出的扇面在空间中的位置有更为准确的认识，传统技术中，操作者无法根据超声图像判断出打出的扇面在空间中的位置，而通过增强现实技术，扇面被投影到可见光图像的对应位置，视觉上更为直观。

(2)、在远程超声或穿刺等一些介入手术中，极大地方便医生的操作，并能清楚感知穿刺针等一些器械在进入人体后的具体位置，在基于超声模块的条件下做出更为精确的诊断。

(3)、当无法满足医生现场诊断的条件时，该系统提供了很好地解决方案，使得医生能够远程进行医疗诊断，提高了诊断的效率。

附图说明

图1是本发明增强现实远程超声系统架构图；

图2是本发明增强现实远程超声系统进行远程操作的流程图。

图3是本发明增强现实远程超声系统实际操作效果图

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明增强现实远程超声系统架构图。

在本实施例中，如图1所示，本发明一种增强现实远程超声系统，包括：主端设备和从端设备，其中，主端设备又包括：遥操作手柄、主端PC机和AR眼镜；从端设备包括：四目相机模块、超声探头、机械臂和从端PC机；

四目相机模块包括一个双目可见光相机和一个双目红外定位相机，并共用一个底座，两个双目相机之间刚性连接，两侧为双目红外相机，内测为双目可见光相机；其中，双目红外相机用于对超声探头上的红外标记球进行跟踪和定位，双目可见光相机用于捕获从端的实时图像；双目可见光相机的基线大小与人眼双眼宽度相近，视场范围与人眼视野范围相近，以确保通过AR眼镜观察时拥有更好的视觉质量；双目红外定位相机的基线要大于双目可见光相机的基线，确保具有较高的空间定位精度；四目相机模块捕获的标记球位置数据和从端实时图像上传从端PC机；

超声探头上固定有至少4个红外标记球，用于对人体进行超声扫描，将扫描的超声图像实时上传从端PC机；

所述从端PC基于超声图像对双目可见光相机捕获的从端实时图像进行增强现实处理，并将处理后的图像传输给主端PC；

AR眼镜，包含两个镜片，每个镜片中央为微型显示屏，具体型号可以选用爱默生BT-40AR；在医疗远程操作过程中，AR眼镜用于显示由双目可见光相机采集并经过从端PC增强现实处理后的从端实时影像。

机械臂的末端夹持超声探头，从端机械臂和主端遥操作手柄通过从端PC机和主端PC机进行通讯，组成一套主从遥操作系统；机械臂放置在与四目相机模块异侧的位置，防止因机械臂的移动而影响相机对视觉信息的采集；主端PC机实时读取遥操作手柄的位姿数据，将位姿数据传给从端PC，由后者控制机械臂做出相应的姿态调整，实现主端操作者对从端超声探头位姿的远程控制；

下面我们对基于超声图像引导的医疗远程操作系统进行远程操作方法进行详细说明，包括以下步骤：

(1)、系统使用前对四目相机模块和超声探头分别进行标定，记双目红外定位相机的测量坐标系为O1，相机标定后可得到各相机的内部参数及在O1下的外部参数；在超声探头上定义器械坐标系O₂，超声探头标定后可得到红外标记球在O₂下的坐标，以及超声图像坐标系与O₂坐标系之间的变换关系；

在本实施例中，相机的标定可采用(但不限于)Zhengyou Zhang在文献《Aflexible new technique for camera calibration》中提出的相机标定技术；超声探头的标定技术可采用(但不限于)李文骏等人在文献《基于n线模型的超声探头自动标定方法》中提出的超声探头标定方法。

(2)、利用双目红外相机对超声探头上的红外标记球进行跟踪和定位，实时获得各红外标记求在O₁下的三维坐标；

(3)、根据各红外标记球在O₁下的坐标以及步骤(1)得到的各标记球在O₂下的坐标，实时计算O₂到O₁的坐标变换矩阵；

在本实施例中，具体配准技术可采用(但不限于)杨凡在文献《三维坐标转换方法研究》中提出的配准技术。

(4)、从超声探头实时获取人体2D超声扫描图像，记超声图像各像素点坐标为{m_i}_{i＝1,2,…,N}，N为像素点的个数；然后计算这些像素点投影到双目可见光相机左、右图像上对应的像素坐标，具体过程如下：首先利用步骤(1)得到的超声图像坐标系与O₂坐标系之间的变换关系，计算{m_i}_{i＝1,2,...,N}在O₂下的三维坐标；然后利用步骤(3)得到的O₂到O₁的变换矩阵，计算其在O₁下的三维坐标；最后利用步骤(1)得到的相机标定参数，将O₁下的三维坐标变换到双目可见光相机的左、右图像坐标系下，将相应的像素坐标分别记为

(5)、用超声图像{m_i}_{i＝1,2,...,N}处的像素值实时替代双目可见光相机左图像处和右图像/>处的像素值，得到增强现实处理后的双目可见光图像；并将其传输给主端PC机。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种增强现实远程超声系统，其特征在于，包括：主端设备和从端设备，其中，主端设备包括：遥操作手柄、主端PC机和AR眼镜；从端设备包括：四目相机模块、超声探头、机械臂和从端PC机；

所述四目相机模块包括一个双目可见光相机和一个双目红外定位相机，两个双目相机之间刚性连接；其中，双目红外相机用于对超声探头上的红外标记球进行跟踪和定位，双目可见光相机用于捕获从端的实时图像；四目相机模块捕获的标记球位置数据和从端实时图像上传从端PC机；

所述超声探头上固定有多个红外标记球，用于对从端人体进行超声扫描，将扫描的超声图像实时上传从端PC机；

所述从端PC基于超声图像对双目可见光相机捕获的从端实时图像进行增强现实处理，并将处理后的图像传输给主端PC；

所述AR眼镜，包含两个镜片，每个镜片中央为微型显示屏，用于显示主端PC收到的增强现实处理后的从端双目实时影像。

所述机械臂的末端夹持超声探头，机械臂和遥操作手柄通过从端PC机和主端PC机进行通讯，组成一套主从遥操作系统，主端PC实时读取遥操作手柄的位姿数据，将其传输给从端PC，由后者控制机械臂做相应的姿态调整，实现主端操作者对从端超声探头位姿的远程控制。

2.根据权利要求1所述的增强现实远程超声系统，其特征在于，所述超声探头上固定有至少4个红外标记球。

3.根据权利要求1所述的增强现实远程超声系统，其特征在于，所述双目可见光相机的基线大小与人体双眼间距相近，双目红外定位相机的基线大于双目可见光相机的基线。

4.根据权利要求1所述的增强现实远程超声系统，从端PC基于超声图像对双目可见光相机捕获的从端实时图像进行增强现实处理，包括以下步骤：

(1)、系统使用前对四目相机模块和超声探头分别进行标定，记双目红外定位相机的测量坐标系为O1，相机标定后可得到各相机的内部参数及在O1下的外部参数；在超声探头上定义器械坐标系O₂，超声探头标定后可得到红外标记球在O₂下的坐标，以及超声图像坐标系与O₂坐标系之间的变换关系；

(2)、利用双目红外相机对超声探头上的红外标记球进行跟踪和定位，实时获得各红外标记球在O₁下的三维坐标；

(3)、根据各红外标记球在O₁下的坐标以及步骤(1)得到的各标记球在O₂下的坐标，实时计算O₂到O₁的坐标变换矩阵；

(4)、从超声探头实时获取人体2D超声扫描图像，记超声图像各像素点坐标为{m_i}_{i＝1,2,…,N}，N为像素点的个数；然后计算这些像素点投影到双目可见光相机左、右图像上对应的像素坐标，具体过程如下：首先利用步骤(1)得到的超声图像坐标系与O₂坐标系之间的变换关系，计算{m_i}_{i＝1,2,...,N}在O₂下的三维坐标；然后利用步骤(3)得到的O₂到O₁的变换矩阵，计算其在O₁下的三维坐标；最后利用步骤(1)得到的相机标定参数，将O₁下的三维坐标变换到双目可见光相机的左、右图像坐标系下，将相应的像素坐标分别记为

(5)、用超声图像{m_i}_{i＝1,2,...,N}处的像素值实时替代双目可见光相机左图像处和右图像/>处的像素值，得到增强现实处理后的双目可见光图像；并将其传输给主端PC机。