CN107049210B - 一种基于增强现实的腔镜显示控制系统 - Google Patents

Abstract

本发明公开基于增强现实的腔镜显示控制系统。其中该系统包括眼镜主体，其上安装有主控制器，主控制器与摄像头相连；摄像头固定在镜头底座，镜头底座固定于人体腔体内；摄像头外还设置有眼珠形保护罩，镜头底座内设置有微处理器；微处理器与三轴驱动机构相连，三轴驱动机构与摄像头相连；眼镜主体上还设置有眼睛动作采集模块；主控制器用于接收摄像头采集的不同颜色光源照射下的腔体内的图像，并将所述图像进行融合增强处理，再根据融合增强处理后的图像进行重建得到三维深度图像；所述主控制器还与显示模块相连，所述显示模块安装在眼镜主体上，用于显示重建后的三维深度图像。该系统节省了腔镜系统的占用面积，使得该系统结构简单且便携。

Description

一种基于增强现实的腔镜显示控制系统

技术领域

本发明属于医用设备领域，尤其涉及一种基于增强现实的腔镜显示控制系统。

背景技术

腔镜显示控制系统与电子胃镜类似，是一种带有微型摄像头的器械系统，比如：腹腔镜手术就是利用腹腔镜及其相关器械进行的手术：使用冷光源提供照明，将腹腔镜镜头(直径为3～10mm)插入腹腔内，运用数字摄像技术使腹腔镜镜头拍摄到的图像通过光导纤维传导至后级信号处理系统，并且实时显示在专用监视器上。然后医生通过监视器屏幕上所显示患者器官不同角度的图像且运用特殊的腹腔镜器械进行手术。

但是，现有的腔镜显示控制系统存在以下不足之处：

(1)由于现有的腔镜显示控制系统需要有服务器以及与服务器相连的显示器，这样使得现有的腔镜显示控制系统的结构复杂、庞大，必须有专人维护和操作，而且该系统价格昂贵，难以在资金和医疗人员匮乏的社区及乡村医疗机构进行推广，达不到实现医疗资源优化配置，节省医疗经费支出的目标；

(2)现有的腔镜显示控制系统的显示器上所显示的图像是二维图像，没有自由度，不能调节视角和焦距，而且现有技术中虽然有利用3D眼镜将二维图像转化为三维图像，但是三维图像的显示效果并不理想，并不能360度全景无死角显示图像，而且也不能放大局部图像来清晰显示血管、神经等组织结构信息，这样可能在手术过程中，误伤血管、神经等重要结构而降低了腔镜显示控制系统使用的精准性；

(3)而且目前腔镜显示控制系统都是手工操作，人工调节的准确性差，必须是有经验的操作者才能实施，为了查看多个角度或腔镜内多个部位的图像可能还需要额外的摄像头，造成人力和物力浪费，而且调节的灵敏度差；

(4)现有的腔镜显示控制系统在使用过程中镜头容易受到人体组织液或血液的污染，使得镜头受到外面模糊不清，影响镜头拍摄的效果，目前只能将镜头拿到外面清洗后再伸入至病人腔体内继续工作，影响腔镜显示控制系统中摄像头的工作效率。

(5)现有腔镜系统是一个封闭式操作平台，不能从术者的视角实现远程实时、实景演示，无远程会诊功能。

发明内容

为了解决现有技术中腔镜显示控制系统占用空间大以及工作效率低的缺点，本发明的第一目的是提供一种基于增强现实的腔镜显示控制系统。该基于增强现实的腔镜显示控制系统不需要显示器和服务器，节省了腔镜系统的占用面积，使得该系统结构简单且便携；无需专人操控摄像头，节约了人力资源，增加了手术操作空间，使操作更加灵活便利。

本发明的一种基于增强现实的腔镜显示控制系统，包括眼镜主体，所述眼镜主体上安装有主控制器，所述主控制器与摄像头相连；所述摄像头固定在镜头底座，所述镜头底座固定于人体腔体内；所述摄像头外还设置有眼珠形保护罩，所述镜头底座内设置有微处理器；所述微处理器与三轴驱动机构相连，三轴驱动机构与摄像头相连；

所述眼镜主体上还设置有眼睛动作采集模块，其用于实时采集眼睛动作信息并传送至微处理器，再由微处理器控制三轴驱动机构来驱动摄像头360度无死角地实时采集人体腔体内的图像信息；所述摄像头周围还设置有光源模块，其包括至少三种颜色光源；所述光源模块与微处理器相连，由微处理器来控制光源模块交替发光以照射至人体腔体内；

所述主控制器，还用于接收所述摄像头采集的不同颜色光源照射下的腔体内的图像，并将所述图像进行融合增强处理，再根据融合增强处理后的图像进行重建得到三维深度图像；所述主控制器还与显示模块相连，所述显示模块安装在眼镜主体上，用于显示重建后的三维深度图像。

进一步的，所述光源模块还包括白光光源，其用于为摄像头提供照明光源，所述摄像头在白光光源下采集腔体内的二维图像。本发明增加白光光源对应普通图像呈现模式，用于普通操作。

进一步的，所述主控制器还与云端服务器相连，所述云端服务器与远程监控终端相连。

该系统还与云端服务器相连，这样使得腔镜系统可以实现手术者的视角进行远程实时、实景演示，同时具备远程会诊功能。

进一步的，所述眼珠形保护罩两侧还设置有第一睑式外壳和第二睑式外壳，眼珠形保护罩的外侧面光滑且分别与第一睑式外壳和第二睑式外壳的内侧面贴合，所述第一睑式外壳和第二睑式外壳安装于镜头底座上。

进一步的，所述第一睑式外壳和第二睑式外壳分别与睑式外壳驱动机构相连；所述睑式外壳驱动机构与微处理器相连，所述微处理器用于通过睑式外壳驱动机构来控制第一睑式外壳和第二睑式外壳同速反向运动，实现第一睑式外壳和第二睑式外壳的开闭运动。

本发明还设计第一睑式外壳和第二睑式外壳来仿生眼睛，能够保护眼珠形保护罩，避免摄像头进入人体腔体过程中受到血液或组织液的污染。

进一步的，所述第一睑式外壳或/和第二睑式外壳上还开设有液体腔，所述液体腔与液体箱相连通，所述液体箱内设有清洗液且安装有泵体，所述泵体与微处理器相连，所述微处理器用于同步向泵体与睑式外壳驱动机构发送驱动信号，使得第一睑式外壳和第二睑式外壳在开闭运动的同时，液体腔内通入清洗液并喷射至眼珠形保护罩上以达到自动清洗镜头的目的。

进一步的，所述第一睑式外壳和第二睑式外壳均为眼珠形保护罩的1/4。

这样使得第一睑式外壳和第二睑式外壳两者闭合能够充分覆盖眼珠形保护罩裸漏的面积，以达到全面清洗眼珠形保护罩的目的，最终保证了镜头的清洁性。

进一步的，所述第一睑式外壳和第二睑式外壳转动的角度小于或等于60度。

这样尽量保证第一睑式外壳和第二睑式外壳的空间利用率，节省镜头清洁的时间，提高镜头清洁的效率。

进一步的，所述主控制器还与语音采集模块相连，所述语音采集模块用于采集用户语音信息并传送至主控制器，所述主控制器对接收到的语音信息进行解析并获取相应摄像头操作指令来控制摄像头产生相应动作。

本发明的该系统在操作上增加语音采集模块，通过主控制器解析并获取相应摄像头操作指令，避免旁人干扰。

进一步的，所述眼珠形保护罩为透明玻璃罩。这样摄像头能够采集到腔体内清晰的图像。

进一步的，所述清洗液为蒸馏水。这样能够在清洗摄像头的同时，避免清洗液泄漏而对腔体造成损害。

本发明的有益效果为：

(1)本发明的该基于增强现实的腔镜显示控制系统不需要专门配置服务器，只需将主控制器和显示模块安装在眼镜主体上即可，节省了腔镜系统的占用面积，使得该系统结构简单且便携；无需专人操控摄像头，节约了人力资源，增加了手术操作空间，使操作更加灵活便利，这样能够实现该腔镜显示控制系统在社区乡村推广，提高医疗资源优化配置率。

(2)本发明利用主控制器对摄像头在不同颜色光源照射下采集的腔体内的图像，并将这些图像进行融合增强处理，再根据融合增强处理后的图像进行重建得到三维深度图像，而且主控制器还与显示模块相连，利用显示模块显示重建后的三维深度图像，这样能够获得360度全景无死角的三维图像，而且能够放大局部图像来清晰显示血管、神经与周围组织结构的解剖关系信息，能够清楚显示观察部位的体积、位置信息，进而得到观察部位的准确坐标，这样在手术过程中，降低了误伤重要组织结构的概率，使腔镜手术操作的精确性更高，创伤更小，更加符合精准医疗的宗旨。

(3)本发明的该系统还与云端服务器相连，可以实现从术者的视角进行远程实时、实景演示，可以更好的教学及交流；同时具备远程会诊功能，实现优质医疗资源的扁平化配置，更能惠及社区及乡村等基层医疗机构。

(4)本发明的该系统还设置有摄像头的自动清洗结构，利用微处理器同步向泵体与睑式外壳驱动机构发送驱动信号，使得第一睑式外壳和第二睑式外壳在开闭运动的同时，液体腔内通入清洗液并喷射至眼珠形保护罩上以达到自动清洗镜头的目的，提高了拍摄图像的清晰度，进而提高了整个腔镜显示控制系统的工作效率。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是一种基于增强现实的腔镜显示控制系统结构实施例一示意图。

图2是一种基于增强现实的腔镜显示控制系统结构实施例二示意图。

具体实施方式

下面结合附图与实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。

在本发明的描述中，需要说明的是，术语“上”、“下”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面描述的本发明不同实施例方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明的第一睑式外壳和第二睑式外壳均为仿生眼睛的眼皮，可采用橡胶材料或TPU、TPE、TPR、TPV、CPE来实现。

为了解决现有技术中腔镜显示控制系统占用空间大以及工作效率低的缺点，本发明提供一种如图1所示的基于增强现实的腔镜显示控制系统。

如图1所示的该基于增强现实的腔镜显示控制系统，包括眼镜主体，所述眼镜主体上安装有主控制器，所述主控制器与摄像头相连；所述摄像头固定在镜头底座，所述镜头底座固定于人体腔体内；所述摄像头外还设置有眼珠形保护罩，所述镜头底座内设置有微处理器；所述微处理器与三轴驱动机构相连，三轴驱动机构与摄像头相连；

眼镜主体上还设置有眼睛动作采集模块，其用于实时采集眼睛动作信息并传送至微处理器，再由微处理器控制三轴驱动机构来驱动摄像头360度无死角地实时采集人体腔体内的图像信息；所述摄像头周围还设置有光源模块，其包括至少三种颜色光源；所述光源模块与微处理器相连，由微处理器来控制光源模块交替发光以照射至人体腔体内；

主控制器，还用于接收所述摄像头采集的不同颜色光源照射下的腔体内的图像，并将所述图像进行融合增强处理，再根据融合增强处理后的图像进行重建得到三维深度图像；主控制器还与显示模块相连，显示模块安装在眼镜主体上，用于显示重建后的三维深度图像。

本发明利用主控制器对摄像头在不同颜色光源照射下采集的腔体内的图像，并将这些图像进行融合增强处理，再根据融合增强处理后的图像进行重建得到三维深度图像，而且主控制器还与显示模块相连，利用显示模块显示重建后的三维深度图像，这样能够获得360度全景无死角的三维图像，而且能够放大局部图像来清晰显示血管和组织结构信息，能够清楚显示观察部位的面积大小信息，进而得到观察部位的准确坐标，这样在手术过程中，降低了误伤神经结构的概率，提高了腔镜显示控制系统使用的精准性。

以光源模块包括红绿蓝三种颜色光源为例：

具体地，主控制器对图像进行融合增强处理包括对红绿蓝这三种光照下的图像进行小波变换，得到低频和高频图像，然后在不同的频道通道内，依据小波系数的不同采用不同的融合准则对小波系数进行处理，处理后的新的小波系数完好地保存了更多的频带特征，最后对新的小波系数进行小波逆变换得到融合后的图像。

其中，眼睛动作信息包括眼睛眨动、挤眼或眼球转动信息。

微处理器用于接收眼睛动作信息并进行解析得到相应摄像头的操作指令，比如控制摄像头的转向及拍照、录像动作。

例如：眼球转动信息包括转动方向和转动的角度，微处理这些眼球主动信息来控制摄像头进行相应的转动，从而达到方便控制摄像头转动的目的。

挤眼信息为选定腔体内特定部位并采集其放大图像。

在本实施例中，眼睛动作采集模块可以采用微型摄像头来实现。

其中，显示模块可为硅基液晶投影模组和显示棱镜模组组成。

在一个实施例中，主控制器还与云端服务器相连，云端服务器与远程监控终端相连。

该系统还与云端服务器相连，这样使得腔镜系统达到远程会诊的目的。

其中，云端服务器内还预存有CT或MRI影像学三维重建图像，云端服务器可将主控制器传送来的三维深度图像与预存的CT或MRI影像学三维重建图像比较，以精准定位病变位置。增强现实的腔镜显示控制系统得到的三维深度图像能够准确且清晰显示人体各个组织结构，进而避免术中损伤。

在另一实施例中，如图2所示，基于增强现实的腔镜显示控制系统，除了图1所示的结构之外，在眼珠形保护罩两侧还设置有第一睑式外壳和第二睑式外壳，眼珠形保护罩的外侧面光滑且分别与第一睑式外壳和第二睑式外壳的内侧面贴合，所述第一睑式外壳和第二睑式外壳安装于镜头底座上，所述第一睑式外壳和第二睑式外壳分别与睑式外壳驱动机构相连；所述睑式外壳驱动机构与微处理器相连，所述微处理器用于通过睑式外壳驱动机构来控制第一睑式外壳和第二睑式外壳同速反向运动，实现第一睑式外壳和第二睑式外壳的开闭运动。

本发明还设计第一睑式外壳和第二睑式外壳来仿生眼睛，能够保护眼珠形保护罩，避免摄像头进入人体腔体过程中受到血液或组织液的污染。

在另一实施例中，第一睑式外壳或/和第二睑式外壳上还开设有液体腔，所述液体腔与液体箱相连通，所述液体箱内设有清洗液且安装有泵体，所述泵体与微处理器相连，所述微处理器用于同步向泵体与睑式外壳驱动机构发送驱动信号，使得第一睑式外壳和第二睑式外壳在开闭运动的同时，液体腔内通入清洗液并喷射至眼珠形保护罩上以达到自动清洗镜头的目的。

具体地，在镜头底座上安装有第一睑式外壳和第二睑式外壳分别相当于仿生的上眼睑和下眼睑，在第一睑式外壳和第二睑式外壳之间设置的眼珠形保护罩相等于仿生眼球。当基于瞬目仿生的镜头清洗装置工作时，微处理器同步向泵体与睑式外壳驱动机构发送驱动信号，使得贴合在保护罩外侧面的第一睑式外壳和第二睑式外壳在开闭运动的同时，液体腔内通入清洗液并喷射至眼珠形保护罩上，这样用来仿生眼睛眨眼动作以及泪腺润滑和清洗眼球的动作，最终达到自动清洗镜头的目的。

本发明的该系统还设置有摄像头的自动清洗结构，利用微处理器同步向泵体与睑式外壳驱动机构发送驱动信号，使得贴合在保护罩外侧面的第一睑式外壳和第二睑式外壳在开闭运动的同时，液体腔内通入清洗液并喷射至眼珠形保护罩上以达到自动清洗镜头的目的，提高了拍摄图像的清晰度，进而提高了整个腔镜显示控制系统的工作效率。

在本实施例中，眼珠形保护罩为透明材质，比如：石英玻璃和有机玻璃。

液体腔内的清洗液，可以为蒸馏水或添加有去污有机物的蒸馏水。

睑式外壳驱动机构包括第一微型电机，第一微型电机的输出轴与第一睑式外壳相连，使得所述第一睑式外壳随着所述输出轴的转动而上下开合。

其中，第一微型电机可采用步进电机来实现，利用电机的输出轴与第一睑式外壳连接，在微处理器的控制下，通过电机来驱动第一睑式外壳转动。

睑式外壳驱动机构还包括第二微型电机，第二微型电机的输出轴与第二睑式外壳相连，使得所述第二睑式外壳随着所述输出轴的转动而上下开合。

其中，第二微型电机可采用步进电机来实现，利用电机的输出轴与第二睑式外壳连接，在微处理器的控制下，通过电机来驱动第二睑式外壳转动。

优选地，第一睑式外壳和第二睑式外壳均为眼珠形保护罩的1/4。

这样使得第一睑式外壳和第二睑式外壳两者闭合能够充分覆盖眼珠形保护罩裸漏的面积，以达到全面清洗眼珠形保护罩的目的，最终保证了镜头的清洁性。

优选地，第一睑式外壳和第二睑式外壳转动的角度小于或等于60度。

这样尽量保证第一睑式外壳和第二睑式外壳的空间利用率，节省镜头清洁的时间，提高镜头清洁的效率。

进一步的，所述主控制器还与语音采集模块相连，所述语音采集模块用于采集用户语音信息并传送至主控制器，所述主控制器对接收到的语音信息进行解析并获取相应摄像头操作指令来控制摄像头产生相应动作。

本发明的该系统在操作上增加语音采集模块，通过主控制器解析并获取相应摄像头操作指令，避免旁人干扰。

本实施例的基于增强现实的腔镜显示控制系统不需要专门配置服务器，只需将主控制器和显示模块安装在眼镜主体上即可，节省了腔镜系统的占用面积，使得该系统结构简单且便携；无需专人操控摄像头，节约了人力资源，增加了手术操作空间，使操作更加灵活便利，这样能够实现该腔镜显示控制系统在社区乡村推广，提高医疗资源优化配置率。

本实施例的基于增强现实的腔镜显示控制系统利用主控制器对摄像头在不同颜色光源照射下采集的腔体内的图像，并将这些图像进行融合增强处理，再根据融合增强处理后的图像进行重建得到三维深度图像，而且主控制器还与显示模块相连，利用显示模块显示重建后的三维深度图像，这样能够获得360度全景无死角的三维图像，而且能够放大局部图像来清晰显示血管和组织结构信息，能够清楚显示观察部位的面积大小信息，进而得到观察部位的准确坐标，这样在手术过程中，降低了误伤神经结构的概率，提高了腔镜显示控制系统使用的精准性。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种基于增强现实的腔镜显示控制系统，其特征在于，包括眼镜主体，所述眼镜主体上安装有主控制器，所述主控制器与摄像头相连；所述摄像头固定在镜头底座，所述镜头底座固定于人体腔体内；所述摄像头外还设置有眼珠形保护罩，所述镜头底座内设置有微处理器；所述微处理器与三轴驱动机构相连，三轴驱动机构与摄像头相连；

所述眼镜主体上还设置有眼睛动作采集模块，其用于实时采集眼睛动作信息并传送至微处理器，再由微处理器控制三轴驱动机构来驱动摄像头360度无死角地实时采集人体腔体内的图像信息；所述摄像头周围还设置有光源模块，其包括至少三种颜色光源；所述光源模块与微处理器相连，由微处理器来控制光源模块交替发光以照射至人体腔体内；

所述主控制器，还用于接收所述摄像头采集的不同颜色光源照射下的腔体内的图像，并将所述图像进行融合增强处理，再根据融合增强处理后的图像进行重建得到三维深度图像；所述主控制器还与显示模块相连，所述显示模块安装在眼镜主体上，用于显示重建后的三维深度图像；

所述主控制器还与云端服务器相连，所述云端服务器与远程监控终端相连；

云端服务器内还预存有CT或MRI影像学三维重建图像，云端服务器可将主控制器传送来的三维深度图像与预存的CT或MRI影像学三维重建图像比较，以精准定位病变位置；

所述眼珠形保护罩两侧还设置有第一睑式外壳和第二睑式外壳，眼珠形保护罩的外侧面光滑且分别与第一睑式外壳和第二睑式外壳的内侧面贴合，所述第一睑式外壳和第二睑式外壳安装于镜头底座上；

所述第一睑式外壳和第二睑式外壳分别与睑式外壳驱动机构相连；所述睑式外壳驱动机构与微处理器相连，所述微处理器用于通过睑式外壳驱动机构来控制第一睑式外壳和第二睑式外壳同速反向运动，实现第一睑式外壳和第二睑式外壳的开闭运动来模拟眼睛眨眼动作；

所述第一睑式外壳或/和第二睑式外壳上还开设有液体腔，所述液体腔与液体箱相连通，所述液体箱内设有清洗液且安装有泵体，所述泵体与微处理器相连，所述微处理器用于同步向泵体与睑式外壳驱动机构发送驱动信号，使得第一睑式外壳和第二睑式外壳在开闭运动的同时，液体腔内通入清洗液并喷射至眼珠形保护罩上以达到自动清洗镜头的目的。

2.如权利要求1所述的一种基于增强现实的腔镜显示控制系统，其特征在于，所述第一睑式外壳和第二睑式外壳均为眼珠形保护罩的1/4。

3.如权利要求1所述的一种基于增强现实的腔镜显示控制系统，其特征在于，所述第一睑式外壳和第二睑式外壳转动的角度小于或等于60度。

4.如权利要求1所述的一种基于增强现实的腔镜显示控制系统，其特征在于，所述主控制器还与语音采集模块相连，所述语音采集模块用于采集用户语音信息并传送至主控制器，所述主控制器对接收到的语音信息进行解析并获取相应摄像头操作指令来控制摄像头产生相应动作。

5.如权利要求1所述的一种基于增强现实的腔镜显示控制系统，其特征在于，所述眼珠形保护罩为透明玻璃罩。

6.如权利要求1所述的一种基于增强现实的腔镜显示控制系统，其特征在于，所述清洗液为蒸馏水。