CN107280774A - 一种用于实时显示输尿管位置的内窥镜系统及方法 - Google Patents

Abstract

本发明公开的用于实时显示输尿管位置的内窥镜系统及方法，其系统包括图像采集单元、辅助检测单元、图像处理单元和图像显示单元；图像采集单元包括照明光源、内窥镜摄像机和内窥镜，在照明光源下通过内窥镜摄像机和内窥镜采集的图像信息；辅助检测单元包括导光管、指示光源和信号监控器，通过信号监控器实时检测指示光源的亮暗状态；图像处理单元图像序列选择模块、图像去噪模块和图像增强模块，根据图像采集单元采集到的图像和信号监控器的信号来选择图像序列，并对这些序列进行去噪和图像增强处理来实时的显示出输尿管的位置信息；图像显示单元主要包括显示器和图像显示软件，用于把处理好的图像实时的显示在显示器上。

Description

一种用于实时显示输尿管位置的内窥镜系统及方法

技术领域

本发明属于医学内窥镜成像技术领域，更具体地，涉及一种的用于实时显示输尿管位置的内窥镜系统及方法。

背景技术

目前，在妇产科、肛肠科以及泌尿外科的微创手术中，有可能出现由于无法准确定位输尿管位置而导致输尿管被误切或误扎的医疗事故。一般输尿管损伤不易鉴别，如果处理不当容易发生严重的手术并发症，给患者带来极大的痛苦，严重者会危及患者的生命。

现有技术公开了一种发光导光管，进行手术时在患者输尿管中插入发光导光管，通过其发出的光来指示输尿管；在开放性手术中可以采用这类方法指示输尿管的位置，但在微创手术中很难应用该类方法来实时指示输尿管的位置；因为在微创手术中，医生是根据内窥镜在患者内部采集的、并在显示设备上实时显示的图像进行手术；一方面，导光管发出的光在透过包覆输尿管的人体组织时，导光管所发出的光穿过这些组织后透射出来的光减弱，而内窥镜工作在较强的光照条件下，较强的光照可能会湮没发光导光管所发出的微弱光，使得导光管不能准确指示输尿管位置；另一方面，由于考虑到患者舒适度以及手术所涉及的部位，不同情况下所采用的内窥镜的光圈不同，不同光圈的内窥镜感光能力不同，光圈小的内窥镜不能很好的采集到发光导光管所发出的弱光，因此不能准确指示输尿管的位置。

公开号为CN 105942960A的中国专利公开了“一种可指示输尿管位置的内窥镜系统及方法”，通过在明暗交替的光源下采集亮图像和暗图像，并对采集到的亮图像和暗图像进行融合处理来获得输尿管的位置信息；该发明在对输尿管显示的过程中，由于每帧图像融合的亮度可能存在差异，因此处理得到的视频流存在微小的闪烁情况。

发明内容

针对已有技术的不足和改进需求，本发明提供了一种用于实时显示输尿管位置的内窥镜系统及方法，其目的在于解决在微创手术中输尿管位置难以检测并准确显示，以及现有技术显示输尿管位置的画面存在闪烁的问题。

为实现上述目的，按照本发明的一个方面，提供了一种用于实时显示输尿管位置的内窥镜系统，包括图像采集单元、辅助检测单元、图像处理单元和图像显示单元；

其中，图像采集单元用于在恒定光照下采集指示光下的输尿管图像；

辅助检测单元用于提供可编码的亮暗交替的指示光以实时标记输尿管的位置，并用于实时监控指示光的亮暗状态，根据指示光的亮暗状态生成数字信号；

图像处理单元用于根据采集到的输尿管图像与上述数字信号生成明暗交替的图像序列，并将图像序列中在亮指示下的采集的图像进行去噪和图像增强，使图像中输尿管的位置更加明显，并将增强后的图像放回原图像序列中，生成新的图像序列；图像显示单元则用于将新的图像序列进行显示。

优选的，上述的内窥镜系统，其图像采集单元包括照明光源、内窥镜摄像机和内窥镜；在照明光源提供的恒定光照下，内窥镜摄像机和内窥镜配合采集亮、暗两种指示光照条件下的图像。

优选的，上述的内窥镜系统，其辅助检测单元包括指示光源、信号监控器和导光管；指示光源用于给导光管提供可编码的明暗交替的窄带光源，使得导光管按照设定频率闪烁；导光管在使用中被插入到输尿管内用于实时标记输尿管的位置信息；信号监控器用于实时监控指示光源的发光状态并根据其发光状态生成数字信号；

具体地，当指示光源提供亮光源，内窥镜摄像机采集到的图像为亮图像，信号监控器生成数字信号1；当指示光源提供暗光源，内窥镜摄像机采集到的图像为暗图像，信号监控器生成数字信号0。

优选的，上述的内窥镜系统，其图像处理单元包括图像处理器，基于图像处理器实现图像序列选择模块、图像去噪模块和图像增强模块；

其中，图像序列选择模块用于从图像采集单元采集到的亮、暗两种指示光照条件下的图像中选出亮暗状态下的输尿管图像，结合辅助检测单元输出的数字信号生成明暗交替的图像序列；并对图像序列中同周期内相连的亮暗状态下的两帧图像进行差分处理，获得差分图像；

图像去噪单元用于对差分图像进行去噪处理；图像增强单元用于对去噪后的图像进行增强处理，使图像中发光管的位置更加明显，并将增强后的图像放回原图像序列中。

优选的，上述的内窥镜系统，其图像显示单元包括显示器和图像显示软件，用于将图像处理单元输出的图像通过图像显示软件显示在显示器上。

优选的，上述的内窥镜系统，其指示光源用于给导光管提供窄带光，使导光管呈现闪烁的状态；指示光源的输出端带有滤光片，可根据需求为导光管提供不同频段的光源；且指示光源的亮、暗强度可调节，开关频率可调节，亮、暗的占空比可调节。

优选地，上述的内窥镜系统，信号监控器通过实时检测指示光源的使能端信号来监控指示光源的亮暗状态。

优选地，上述的内窥镜系统，图像显示软件可以实时的显示内窥镜摄像机拍摄的原始图像和图像处理单元输出的图像，通过图像显示软件的界面按钮可灵活切换显示界面，也可以抓取单帧图像或者录取某一段视频。上述的内窥镜系统，其图像处理单元和图像显示单元可基于计算机实现。

为实现本发明目的，按照本发明的另一方面，提供了一种用于实时显示输尿管位置的方法，具体包括如下步骤：

(1)从内窥镜系统在恒定照明光、亮暗交替指示光下采集获得的视频流中获取图像帧，并根据从视频流中获得的数字信号来识别图像帧是暗图像还是亮图像；

(2)对同周期内的亮、暗图像进行图像差分处理，得到包含输尿管位置信息的差分图像；

(3)对差分图像进行去噪和图像增强处理，使输尿管的位置信息更明显；

(4)根据去噪和增强后图像中的输尿管位置信息，在内窥镜系统采集到的原视频流中准确地指示出输尿管的位置，并实时地显示。

优选地，上述指示输尿管位置的方法，其步骤(1)包括如下子步骤：

(1.1)将上位机通过信号监控器连接到指示光源的使能端，指示光源发出亮光时，信号监控器向上位机发送信号1，指示光源发出暗光时，信号监控器向上位机发送信号0；

(1.2)当内窥镜摄像机进行图像采集的时候，上位机从图像采集接收一串连续的图像帧，同时接收到与指示光源亮暗状态相关的一串0、1相间的数字信号；将与数字信号0同步接收到的图像判定为暗图像，将与数字信号1同步接收到的图像判定为亮图像。

优选地，上述指示输尿管位置的方法，其步骤(2)包括如下子步骤：

(2.1)对同一周期内的亮暗图像的R、G、B三个通道的像素值分别做差并取绝对值，作为差分图像对应坐标的像素值；

(2.2)遍历差分图像，选出RGB通道其中某一个颜色分量中像素值平均值最大、而其他两个颜色通道像素值平均值相对很小的像素点，作为输尿管上的像素点；其中，所选取的颜色分量为红、绿、蓝中的一种，具体选取哪一种与指示光源所采用的滤光片相关。

优选地，上述指示输尿管位置的方法，当滤光片颜色为绿色时，其步骤(2.2)中选取像素点的方法为：

将满足条件G＞T&&B＜G&&R＜G的像素点判定为输尿管上的点；其中T为给定的灰度阈值；R、G、B为坐标(i,j)处的红、绿、蓝三个颜色通道像素值；其中，&&是指逻辑与，表示3个条件均需满足。

优选地，上述指示输尿管位置的方法，其步骤(2.2)中，以窄带光选用绿色时，选取像素点的方法为：将满足条件G＞αB+βR的像素点判定为输尿管上的点；其中，R、G、B为坐标(i,j)处的红、绿、蓝三个颜色通道像素值，α是B通道的倍数参数，β是R通道的倍数参数。α与β在(0.5～1)之间取值；优选地，α取0.6，β取0.8。

当指示光源采用其他颜色滤光片时，其步骤(2.2)中选取像素点的方法与上述方法相同；灰度阈值参数T可调，参数α和β可调。

优选地，上述指示输尿管位置的方法，其步骤(3)包括如下子步骤：

(3.1)根据步骤(2)得到的含有输尿管位置信息的差分图像求灰度直方图，确定第一像素阈值T1和第二像素阈值T2；

第一像素阈值T1和第二像素阈值T2是根据差分图像的灰度直方图的波峰和波谷对应的灰度值确定，如果差分图像的灰度直方图存在多个波峰和波谷，取最高的波峰及其相邻的波谷对应的灰度值来确定阈值T1及T2；

(3.2)根据第一像素阈值T1和第二像素阈值T2对图像的所有像素值进行灰度对比度拉伸；

(3.3)对于拉伸后的图像，根据像素点密度消除随机噪声。

优选地，上述指示输尿管位置的方法，根据像素点密度消除随机噪声的方法如下：采用固定模板遍历图像，统计模板中心为(i,j)的模板内亮像素点个数N(i,j)，如果N(i,j)<N，则认为该点为随机噪声点，予以剔除；其中，N据模板内像素点个数来确定的；当模板内像素点总个数为N(max)，则N在0.25*N(max)～0.45*N(max)范围内取值。

优选地，上述指示输尿管位置的方法，其步骤(3)包括如下子步骤：

(3.1)对步骤(2)得到的含有输尿管位置信息的差分图像进行傅里叶变换，并对变换后的图像进行滤波，包括带通滤波和低通滤波；

(3.2)对滤波后的图像放大M倍后进行傅里叶反变换；其中，放大M倍是指将图像对应的灰度值全部乘以一个倍数M，以实现图像增强的效果；

(3.3)对傅里叶反变换后的图像进行去噪处理。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的这种用于实时显示输尿管位置的系统及方法，在稳定光照条件下，通过将采集到的导光管处于亮状态和暗状态的两幅图像进行差分来确定导光管的位置，通过对含有该位置信息的图像进行图像去噪和图像增强处理后，融合到同周期的亮图像上来实时的获取输尿管的位置信息；

在妇产科、肛肠科和泌尿外科等微创手术中，医生无法用肉眼直观地观察到输尿管的位置，也不能用手感知器官来识别输尿管；本发明提供的这种可指示输尿管位置的内窥镜系统及方法，其内窥镜图像可在手术过程中实时反应输尿管的位置信息，为手术提供极大便利，在提高手术效率的同时，可降低因输尿管位置不便观察导致医疗事故的发生概率，极大程度的避免病人因输尿管损伤的医疗事故而承受的痛苦；

与公开号为CN 105942960A的中国专利所公开的“一种可指示输尿管位置的内窥镜系统及方法”相比，本发明采用的照明光源是稳定、不闪烁的，在确定输尿管的位置之后，只需要在视频流中标记出位置即可，因此显示的是稳定光源下采集的视频流；相比较而言，本发明的成像质量要高，最终显示出来的画面不会存在闪烁的问题；而公开号为CN105942960A的专利技术中，由于光源是闪烁的，每次融合使用的亮图像的亮度是不一样的，最终显示的是亮图像序列，在视觉效果上会让使用者感觉画面在闪烁；而若显示输尿管的画面闪烁会影响医生手术的视觉效果，时间久了会造成视觉疲劳；采用本发明所提供的这种系统及方法则解决了该问题。

(2)本发明提供的这种可指示输尿管位置的内窥镜系统及方法，不仅可以应用在微创性手术中，在开放性手术中同样适用。

附图说明

图1是本发明实施例提供的用于实时显示输尿管位置的内窥镜系统的示意图；

图2是本发明实施例中的图像序列选择的原理示意图；

图3是本发明实施例中的图像去噪原理的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1所示，是实施例提供的用于实时显示输尿管的内窥镜的系统功能框图；实施例提供的这种内窥镜系统包括图像采集单元、辅助检测单元、图像处理单元和图像显示单元；

图像采集单元用于采集导光管分别为亮光和暗光两种条件下的两种图像，每个周期采集一张暗图像，一张亮图像。实施例中，为了保障图像质量，提高图像处理效率，每个周期内分别采集2～3帧亮图像和暗图像，由此既可以获得满足需求的亮、暗图像，也能保证较高的实时处理速度。

辅助检测单元包括指示光源、信号监控器和导光管；指示光源用于为导光管提供编码的明暗交替的光源，使得导光管按照设定的频率闪烁。导光管在使用者被插入到输尿管内用于实时标记输尿管的位置信息。信号监控器用于检测指示光源的亮暗状态；譬如：当指示光源提供亮光源，内窥镜摄像机采集到的图像为亮图像，信号监控器生成数字信号1；当指示光源提供暗光源，内窥镜摄像机采集到的图像为暗图像，信号监控器生成数字信号0。指示光源与导光管连接处设有不同带宽的滤光片，滤光片用于将指示光源发出的白色光虑成滤光片的波段光分量，将滤出的光提供给导光管。

实施例中，指示光源根据编码提供明暗交替的光，用于使导光管呈现闪烁状态，导光管是透明的塑料光纤，指示光源与塑料光纤之间设有滤光片，实施例中采用绿色滤光片，采用LED冷光源作为指示光源。

指示光源发出的指示为窄带光，可采用上述实施例中的在LED光源的输出口设置具有带宽的滤光片实现，还可直接通过窄带光源实现。

如图2所示，图像处理单元将内窥镜采集到的图像和信号监控器生成的数字信号进行处理获得导光管明暗交替的图像序列；其中，数字信号通过信号监控器实时的检测指示光源的使能端信号获得，根据需求从内窥镜摄像机视频流中连续抽取亮图像和暗图像。

如图3所示，对抽取的亮图像进行去噪处理。坐标(i,j)处的红、绿、蓝三个颜色通道像素值分别为R、G、B，将满足条件G>T&&B<G&&R<G的像素点判定为输尿管上的点，其中T为给定灰度阈值；或者将满足条件G>αB+βR的像素点判定为输尿管上的点；实施例中，α取0.6，β取0.8；在对图像进行去噪处理之后，再对图像进行增强处理。图像处理单元用于对每周期内采集到的亮暗图像进行差分处理，通过对各分量像素值变化的判断来得到输尿管的位置信息，将含有输尿管位置信息的图像进行去噪和图像增强之后生成能准确指示输尿管位置的内窥镜图像。

本发明提供的用于实时显示输尿管位置的内窥镜系统及方法，可以实时准确的指示输尿管的位置信息，将其应用于手术中，则可以避免误伤输尿管，具有极大的价值。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于实时显示输尿管位置的内窥镜系统，其特征在于，包括图像采集单元、辅助检测单元、图像处理单元和图像显示单元；

所述图像采集单元用于在恒定光照下采集亮暗交替的指示光下的输尿管图像；

所述辅助检测单元用于提供可编码的亮暗交替的指示光以实时标记输尿管的位置，并用于实时监控指示光的亮暗状态，根据指示光的亮暗状态生成数字信号；

所述图像处理单元用于根据采集到的输尿管图像与所述数字信号生成明暗交替的图像序列，并将图像序列中在亮指示下的采集的图像进行去噪和图像增强，使图像中输尿管的位置更明显，并将增强后的图像放回原图像序列中，生成新的图像序列；图像显示单元用于将新的图像序列进行显示。

2.如权利要求1所述的内窥镜系统，其特征在于，所述图像采集单元包括照明光源、内窥镜摄像机和内窥镜；在照明光源提供的恒定光照下，内窥镜摄像机和内窥镜配合采集亮、暗两种指示光照条件下的图像。

3.如权利要求1或2所述的内窥镜系统，其特征在于，所述辅助检测单元包括指示光源、信号监控器和导光管；

所述指示光源用于提供可编码的明暗交替的窄带光源，使导光管按照设定频率闪烁；导光管在使用中被插入到输尿管内用于实时标记输尿管的位置信息；信号监控器用于实时监控指示光源的发光状态并根据其发光状态生成数字信号。

4.如权利要求1或2所述的内窥镜系统，其特征在于，所述图像处理单元包括图像处理器，基于图像处理器实现图像序列选择模块、图像去噪模块和图像增强模块；

所述图像序列选择模块用于从图像采集单元采集到的亮、暗两种指示光照条件下的图像中选出亮暗状态下的输尿管图像，结合辅助检测单元输出的数字信号生成明暗交替的图像序列；并对图像序列中同周期内相连的亮暗状态下的两帧图像进行差分处理，获得差分图像；

所述图像去噪单元用于对差分图像进行去噪处理；图像增强单元用于对去噪后的图像进行增强处理，使图像中发光管的位置更明显，并将增强后得到的输尿管位置信息显示在所述图像序列中。

5.如权利要求1或2所述的内窥镜系统，其特征在于，所述指示光源的输出端带有滤光片，可为导光管提供不同频段的光源；且指示光源的亮、暗强度可调节，开关频率可调节，亮、暗的占空比可调节。

6.一种基于权利要求1～5任一项所述的用于实时显示输尿管位置的系统的实时显示输尿管位置方法，其特征在于，包括如下步骤：

(1)从所述内窥镜系统在恒定照明光、亮暗交替指示光下采集获得的视频流中获取图像帧，并根据信号监控器获得的实时的数字信号来识别图像帧是暗图像还是亮图像；

(2)对同周期内的亮、暗图像进行图像差分处理，得到包含输尿管位置信息的差分图像；

(3)对所述差分图像进行去噪和图像增强处理，使输尿管的位置信息更明显；

(4)根据去噪和增强后图像中的输尿管位置信息，在原视频流中准确地指示出输尿管的位置，并实时地显示。

7.如权利要求6所述的实时显示输尿管位置方法，其特征在于，所述步骤(1)包括如下子步骤：

(1.1)将外部上位机通过信号监控器连接到指示光源的使能端，指示光源发出亮光时，信号监控器向上位机发送信号1，指示光源发出暗光时，信号监控器向上位机发送信号0；

(1.2)当内窥镜摄像机进行图像采集的时候，上位机从图像采集接收一串连续的图像帧，同时接收到与指示光源亮暗状态相关的0、1相间的数字信号；将与数字信号0同步接收到的图像判定为暗图像，将与数字信号1同步接收到的图像判定为亮图像。

8.如权利要求6所述的实时显示输尿管位置方法，其特征在于，所述步骤(2)包括如下子步骤：

(2.1)对同一周期内的亮、暗图像的R、G、B三个通道的像素值分别对应地做差并取绝对值，作为差分图像对应坐标的像素值；

(2.2)遍历差分图像，选取RGB通道中某一个颜色分量中像素值平均值最大、而其他两个颜色通道像素值平均值相对很小的像素点，作为输尿管上的像素点。

9.如权利要求8所述的实时显示输尿管位置方法，其特征在于，当滤光片颜色为绿色时，步骤(2.2)中选取像素点的方法为：

将满足条件G＞T&&B＜G&&R＜G的像素点判定为输尿管上的点；其中T为给定的灰度阈值；R、G、B为坐标(i,j)处的红、绿、蓝三个颜色通道像素值。

10.如权利要求8所述的实时显示输尿管位置方法，其特征在于，当窄带光选用绿色时，步骤(2.2)中选取像素点的方法为：将满足条件G＞αB+βR的像素点判定为输尿管上的点；其中，R、G、B为坐标(i,j)处的红、绿、蓝三个颜色通道像素值，α是B通道的倍数参数，β是R通道的倍数参数。