CN110051434A - Ar与内窥镜结合手术导航方法及终端 - Google Patents

Abstract

本发明公开了AR与内窥镜结合手术导航方法及终端，接收内窥镜返回的二维器官图像，通过二维图像识别算法识别出二维器官图像的器官类型；获取器官类型的三维器官模型，根据三维器官模型生成并显示器官类型的解剖结构模型；本发明通过二维器官图像生成三维虚拟的解剖结构模型，一方面医生可以看到由二维器官图像呈现的真实画面，另一方面也可以看到由解剖结构模型所构成的虚拟画面，即采用了虚实对照的技术，以使得医生对内窥镜的周围情况能够有更加直观的了解，从而起到手术导航的效果。

Description

AR与内窥镜结合手术导航方法及终端

技术领域

本发明涉及医疗技术领域，特别涉及AR与内窥镜结合手术导航方法及终端。

背景技术

内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学以及软件等一体的检测仪器。它包括图像传感器、光学镜头、光源照明、机械装置等，它可以经口腔进入胃内或经其他天然孔道进入体内，也可以是经手术做的小切口进入人体内。在现代医学中，通过内窥镜可以看到X射线不能显示的病变，比如借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案。

现在市面上的内窥镜基本为二维图片展示，无法直观的了解内窥镜的周围情况。

发明内容

本发明所要解决的技术问题是：提供一种AR与内窥镜结合手术导航方法及终端，对内窥镜的周围情况能够有更加直观的了解。

为了解决上述技术问题，本发明采用的技术方案为：

AR与内窥镜结合手术导航方法，包括步骤：

S1、接收内窥镜返回的二维器官图像，通过二维图像识别算法识别出所述二维器官图像的器官类型；

S2、匹配所述器官类型的三维器官模型，根据所述三维器官模型生成并显示所述器官类型的解剖结构模型。

为了解决上述技术问题，本发明采用的另一种技术方案为：

AR与内窥镜结合手术导航终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、接收内窥镜返回的二维器官图像，通过二维图像识别算法识别出所述二维器官图像的器官类型；

S2、匹配所述器官类型的三维器官模型，根据所述三维器官模型生成并显示所述器官类型的解剖结构模型。

本发明的有益效果在于：AR与内窥镜结合手术导航方法及终端，接收内窥镜返回的二维器官图像，通过二维图像识别算法识别出二维器官图像的器官类型，根据目标病人CT图像分割重建的虚拟且具有解剖结构的三维器官模型以进行匹配，根据三维器官模型生成并显示器官类型的解剖结构模型，一方面医生可以看到由二维器官图像呈现的真实画面，另一方面也可以看到由解剖结构模型所构成的虚拟画面，即采用了虚实对照的技术，以使得医生对内窥镜的周围情况能够有更加直观的了解，从而起到手术导航的效果。

附图说明

图1为本发明实施例的AR与内窥镜结合手术导航方法的流程示意图；

图2为本发明实施例涉及的生成病人虚拟的三维器官模型的流程示意图；

图3为本发明实施例涉及的生成与二维器官图像相对应的解剖结构模型的流程示意图；

图4为本发明实施例的AR与内窥镜结合手术导航终端的结构示意图；

图5为本发明实施例的AR与内窥镜结合手术导航终端与其他设备配合的结构示意图。

标号说明：

1、AR与内窥镜结合手术导航终端；2、处理器；3、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：通过二维图像识别算法识别出内窥镜上返回的二维器官图像的器官类型；匹配器官类型的三维器官模型，根据三维器官模型生成并显示器官类型的解剖结构模型。

在此之前，为了便于理解本发明的技术方案，对于本发明中涉及的英文缩写、设备等进行说明如下：

(1)、AR：在本发明中为Augmented Reality的缩写，其中文解释为增强现实技术，它是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

(2)、CT：在本发明中为Computed Tomography的缩写，其中文解释为电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。

请参照图1至图3，AR与内窥镜结合手术导航方法，包括步骤：

S1、接收内窥镜返回的二维器官图像，通过二维图像识别算法识别出所述二维器官图像的器官类型；

S2、匹配所述器官类型的三维器官模型，根据所述三维器官模型生成并显示所述器官类型的解剖结构模型。

从上述描述可知，本发明的有益效果在于：通过二维器官图像生成三维虚拟的解剖结构模型，一方面医生可以看到由二维器官图像呈现的真实画面，另一方面也可以看到由解剖结构模型所构成的虚拟画面，即采用了虚实对照的技术，以使得医生对内窥镜的周围情况能够有更加直观的了解，从而起到手术导航的效果。

进一步地，所述步骤S2之前包括：

接收已标注好器官特征的CT样本图像，得到CT样本数据，提取所有CT样本数据中目标器官特征的特征值；

通过深度学习算法对所述CT样本数据进行样本训练，得到包括所述特征值的CT影像识别算法；

通过CT影像识别算法对目标病人CT图像进行图像分割，以得到不同器官的目标病人CT子图像；

根据所述目标病人CT子图像建立起虚拟且具有解剖结构的三维器官模型。

从上述描述可知，通过大量的CT样本图像去训练，以得到包括特征值的CT影像识别算法，通过CT影像识别算法对目标病人CT图像进行图像分割以得到病人不同器官的三维器官模型，从而在后续的生成过程中，对二维器官图像识别出器官后即可展示出相关的三维器官模型，为医生提供直观的可视化效果以及临床手术指导。

进一步地，所述步骤S1中接收内窥镜返回的二维器官图像之后还包括：

从所述二维器官图像中找到与器官特征相对应的器官识别点。

从上述描述可知，器官之间的差异可以通过器官识别点来区分，可以有效的减轻识别的难度，从而提高识别速度。

进一步地，所述步骤S2中根据所述三维器官模型生成并显示所述器官类型的解剖结构模型具体为：

从所述二维器官图像中获取所述内窥镜在器官中的位置和方向，根据所述内窥镜在器官中的位置和方向，调取所述器官的关键组织的解剖结构模型。

从上述描述可知，医生可以直观的查看内窥镜的位置和方向，从而直接定位到内窥镜在人体的当前位置，从而对内窥镜的周围情况有更加直观的了解。

进一步地，所述步骤S2之后还包括：

S3、同时显示所述二维器官图像和所述解剖结构模型，在所述解剖结构模型所在的界面上显示所述内窥镜在器官中的位置和方向；

S4、获取操作指令，根据所述操作指令对所述解剖结构模型进行操作，所述操作包括移动、整体缩放、透明控制以及一键还原。

从上述描述可知，医生通过外部设备对虚拟器官进行旋转、透明、移动以及缩放等操作，从而进一步提高医生对内窥镜的周围情况的了解。

请参照图4及图5，AR与内窥镜结合手术导航终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1、接收内窥镜返回的二维器官图像，通过二维图像识别算法识别出所述二维器官图像的器官类型；

S2、匹配所述器官类型的三维器官模型，根据所述三维器官模型生成并显示所述器官类型的解剖结构模型。

从上述描述可知，本发明的有益效果在于：通过二维器官图像生成三维虚拟的解剖结构模型，一方面医生可以看到由二维器官图像呈现的真实画面，另一方面也可以看到由解剖结构模型所构成的虚拟画面，即采用了虚实对照的技术，以使得医生对内窥镜的周围情况能够有更加直观的了解，从而起到手术导航的效果。

进一步地，所述步骤S2之前，所述处理器执行所述计算机程序时还实现以下步骤：

接收已标注好器官特征的CT样本图像，得到CT样本数据，提取所有CT样本数据中目标器官特征的特征值；

通过深度学习算法对所述CT样本数据进行样本训练，得到包括所述特征值的CT影像识别算法；

通过CT影像识别算法对目标病人CT图像进行图像分割，以得到不同器官的目标病人CT子图像；

根据所述目标病人CT子图像建立起虚拟且具有解剖结构的三维器官模型。

从上述描述可知，通过大量的CT样本图像去训练，以得到包括特征值的CT影像识别算法，通过CT影像识别算法对目标病人CT图像进行图像分割以得到病人不同器官的三维器官模型，从而在后续的生成过程中，对二维器官图像识别出器官后即可展示出相关的三维器官模型，为医生提供直观的可视化效果以及临床手术指导。

进一步地，所述步骤S1中接收内窥镜返回的二维器官图像之后，所述处理器执行所述计算机程序时还实现以下步骤：

从所述二维器官图像中找到与器官特征相对应的器官识别点。

从上述描述可知，器官之间的差异可以通过器官识别点来区分，可以有效的减轻识别的难度，从而提高识别速度。

进一步地，所述步骤S2中根据所述三维器官模型生成并显示所述器官类型的解剖结构模型具体为：

从所述二维器官图像中获取所述内窥镜在器官中的位置和方向，根据所述内窥镜在器官中的位置和方向，调取所述器官的关键组织的解剖结构模型。

从上述描述可知，医生可以直观的查看内窥镜的位置和方向，从而直接定位到内窥镜在人体的当前位置，从而对内窥镜的周围情况有更加直观的了解。

进一步地，所述步骤S2之后，所述处理器执行所述计算机程序时还实现以下步骤：

S3、同时显示所述二维器官图像和所述解剖结构模型，在所述解剖结构模型所在的界面上显示所述内窥镜在器官中的位置和方向；

S4、获取操作指令，根据所述操作指令对所述解剖结构模型进行操作，所述操作包括移动、整体缩放、透明控制以及一键还原。

从上述描述可知，医生通过外部设备对虚拟器官进行旋转、透明、移动以及缩放等操作，从而进一步提高医生对内窥镜的周围情况的了解。

请参照图1至图3，本发明的实施例一为：

AR与内窥镜结合手术导航方法，包括步骤：

S1、接收内窥镜返回的二维器官图像，通过二维图像识别算法识别出二维器官图像的器官类型；

其中，步骤S1中接收内窥镜返回的二维器官图像之后还包括：从二维器官图像中找到与器官特征相对应的器官识别点；

S2、获取器官类型的三维器官模型，根据三维器官模型生成并显示器官类型的解剖结构模型；

其中，步骤S2中根据三维器官模型生成并显示器官类型的解剖结构模型具体为：

从二维器官图像中获取内窥镜在器官中的位置和方向，根据内窥镜在器官中的位置和方向，调取器官的关键组织的解剖结构模型。

如图2所示，步骤S2之前包括：

接收已标注好器官特征的CT样本图像，得到CT样本数据，提取所有CT样本数据中目标器官特征的特征值；

通过深度学习算法对CT样本数据进行样本训练，得到包括特征值的CT影像识别算法；

通过CT影像识别算法对目标病人CT图像进行图像分割，以得到不同器官的目标病人CT子图像；

根据目标病人CT子图像建立起虚拟且具有解剖结构的三维器官模型。

其中，CT样本图像的器官特征由人工标签完成，对于本实施例来说，CT样本数据越多，则得到的三维器官模型越加的精准。

请参照图1至图3，本发明的实施例二为：

AR与内窥镜结合手术导航方法，在上述实施例一的基础上，步骤S2之后还包括步骤：

S3、同时显示二维器官图像和解剖结构模型，在解剖结构模型所在的界面上显示内窥镜在器官中的位置和方向；

S4、获取操作指令，根据操作指令对解剖结构模型进行操作，操作包括移动、整体缩放、透明控制以及一键还原。

在本实施例中，可通过键盘对虚拟器官进行操作，其中，Q键为对虚拟模型位置进行移动；S键为对虚拟模型进行整体缩放；A键为对虚拟模型的部位进行透明控制；R键为对虚拟模型的操作一键还原。

请参照图4以及图5，本发明的实施例三为：

AR与内窥镜结合手术导航终端1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，处理器2执行计算机程序时实现上述实施例一中的步骤。

如图5所述，AR与内窥镜结合手术导航终端1优选的使用Zspace显示屏，在Zspace显示屏内安装有一套通过unity所开发的软件，以实现上述实施例一中的步骤。在Zspace显示屏上配置好参数，通过USB接口与内窥镜连接，打开软件后，选择要查看的内窥镜型号，此时，Zspace显示屏就可以接收到内窥镜上所看到的二维器官图像，同时也可以和电视连接，对Zspace显示屏的显示界面进行投射。

请参照图4以及图5，本发明的实施例四为：

AR与内窥镜结合手术导航终端1，在上述实施例三的基础上，处理器2执行计算机程序时实现上述实施例二中的步骤。

综上所述，本发明提供的AR与内窥镜结合手术导航方法及终端，根据二维器官图像生成并显示器官类型的解剖结构模型，一方面医生可以看到由二维器官图像呈现的真实画面，另一方面也可以看到由解剖结构模型所构成的虚拟画面，即采用了虚实对照的技术，使得医生可以直观的查看内窥镜的位置和方向，从而直接定位到内窥镜在人体的当前位置；同时，医生通过外部设备对虚拟器官进行旋转、透明、移动以及缩放等操作，从而使得医生对内窥镜的周围情况能够有更加直观的了解，起到了手术导航的效果，从而为医生提供直观的可视化效果以及临床手术指导。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.AR与内窥镜结合手术导航方法，其特征在于，包括步骤：

S1、接收内窥镜返回的二维器官图像，通过二维图像识别算法识别出所述二维器官图像的器官类型；

S2、匹配所述器官类型的三维器官模型，根据所述三维器官模型生成并显示所述器官类型的解剖结构模型。

2.根据权利要求1所述的AR与内窥镜结合手术导航方法，其特征在于，所述步骤S2之前包括：

接收已标注好器官特征的CT样本图像，得到CT样本数据，提取所有CT样本数据中目标器官特征的特征值；

通过深度学习算法对所述CT样本数据进行样本训练，得到包括所述特征值的CT影像识别算法；

通过CT影像识别算法对目标病人CT图像进行图像分割，以得到不同器官的目标病人CT子图像；

根据所述目标病人CT子图像建立起虚拟且具有解剖结构的三维器官模型。

3.根据权利要求1所述的AR与内窥镜结合手术导航方法，其特征在于，所述步骤S1中接收内窥镜返回的二维器官图像之后还包括：

从所述二维器官图像中找到与器官特征相对应的器官识别点。

4.根据权利要求1所述的AR与内窥镜结合手术导航方法，其特征在于，所述步骤S2中根据所述三维器官模型生成并显示所述器官类型的解剖结构模型具体为：

从所述二维器官图像中获取所述内窥镜在器官中的位置和方向，根据所述内窥镜在器官中的位置和方向，调取所述器官的关键组织的解剖结构模型。

5.根据权利要求4所述的AR与内窥镜结合手术导航方法，其特征在于，所述步骤S2之后还包括：

S3、同时显示所述二维器官图像和所述解剖结构模型，在所述解剖结构模型所在的界面上显示所述内窥镜在器官中的位置和方向；

S4、获取操作指令，根据所述操作指令对所述解剖结构模型进行操作，所述操作包括移动、整体缩放、透明控制以及一键还原。

6.AR与内窥镜结合手术导航终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1、接收内窥镜返回的二维器官图像，通过二维图像识别算法识别出所述二维器官图像的器官类型；

S2、匹配所述器官类型的三维器官模型，根据所述三维器官模型生成并显示所述器官类型的解剖结构模型。

7.根据权利要求6所述的AR与内窥镜结合手术导航终端，其特征在于，所述步骤S2之前，所述处理器执行所述计算机程序时还实现以下步骤：

接收已标注好器官特征的CT样本图像，得到CT样本数据，提取所有CT样本数据中目标器官特征的特征值；

通过深度学习算法对所述CT样本数据进行样本训练，得到包括所述特征值的CT影像识别算法；

通过CT影像识别算法对目标病人CT图像进行图像分割，以得到不同器官的目标病人CT子图像；

根据所述目标病人CT子图像建立起虚拟且具有解剖结构的三维器官模型。

8.根据权利要求6所述的AR与内窥镜结合手术导航终端，其特征在于，所述步骤S1中接收内窥镜返回的二维器官图像之后，所述处理器执行所述计算机程序时还实现以下步骤：

从所述二维器官图像中找到与器官特征相对应的器官识别点。

9.根据权利要求6所述的AR与内窥镜结合手术导航终端，其特征在于，所述步骤S2中根据所述三维器官模型生成并显示所述器官类型的解剖结构模型具体为：

从所述二维器官图像中获取所述内窥镜在器官中的位置和方向，根据所述内窥镜在器官中的位置和方向，调取所述器官的关键组织的解剖结构模型。

10.根据权利要求6所述的AR与内窥镜结合手术导航终端，其特征在于，所述步骤S2之后，所述处理器执行所述计算机程序时还实现以下步骤：

S3、同时显示所述二维器官图像和所述解剖结构模型，在所述解剖结构模型所在的界面上显示所述内窥镜在器官中的位置和方向；

S4、获取操作指令，根据所述操作指令对所述解剖结构模型进行操作，所述操作包括移动、整体缩放、透明控制以及一键还原。