CN117179684A - 一种自适应主动调光的内窥照明方法 - Google Patents

Abstract

本发明公开了一种自适应主动调光的内窥照明方法，根据动态内窥实时成像状况调整并自适应照明强度分布，根据探测信号强度，采用反馈算法快速调整数字微镜器件每个像素所对应不同成像位置的激光强度，能够有效改善位于近处的腔道表面很容易由于强烈镜面反射使探测信号达到饱和，位于腔道深处的信号由于被多次散射吸收导致强度太弱的缺陷，获得自适应高动态范围成像。本发明有利于清晰、无盲区的观察血管和内壁组织细节信息，有效提高全视野的图像分辨率和信噪比，从而提高诊断的准确性和时效性。同时，本发明也有望应用至其他种类内窥成像系统中，诸如共聚焦内窥成像系统，工业内窥成像系统。

Description

一种自适应主动调光的内窥照明方法

技术领域

本发明涉及内窥技术领域，尤其涉及一种自适应主动调光的内窥照明方法。

背景技术

随着计算机技术、微电子技术和激光技术的飞速发展，其应用领域不断向多学科渗透，并与周边学科紧密结合，促进了医学成像诊断方法的快速进步。同时，以信号获取、采集、传输、处理、显示为主要内容的信息技术的蓬勃发展，给医学成像诊断方法带来了新的发展机遇。微创或无创医疗诊断技术正逐渐成为人类战胜疾病的利器。集传统光学内窥镜技术与计算机技术、微电子技术、激光技术等高新技术于一身的医用显微内窥镜已经成为体内病变探察、诊断和微创手术的必需设备，在临床医学的各个领域广泛应用，其诊疗优势已被医学界所共识。

在体内的成像诊断中，常常面对着高动态(High Dynamic Range，HDR)场景带来的挑战，具体体现在，获取到的医学影像存在严重的过曝与过暗交替，一方面内腔组织表面复杂三维形貌和散射特性导致局部照明严重不足而看不清细节，另一方面金属手术工具可能的镜面反射导致画面部分严重饱和而丢失信息，极大影响图像的正确解读和准确诊断。在实际体内腔道内窥诊断时，位于近处的腔道表面很容易由于强烈镜面反射使探测信号达到饱和，而位于腔道深处的信号由于被多次散射吸收导致强度太弱。目前市面上主流内窥产品的通常做法是，增大全视野照明光强度或者增加探测器的整体积分时间，虽然能够增强弱信号区域的图像细节，但同时也扩大过曝导致的图像信息丢弃区域；反之，减少照明光强度或者降低整体积分时间，有助于提高过曝区域的细节，但局部过暗区域则被扩大造成视野盲区。

另一类解决方案是利用HDR技术，比较常见的方法分为两步：多次曝光和多曝光图像融合。首先对同一场景做多次曝光得到一系列图像之后进行合成，然后通过某个非线性的响应函数将传感器器件的曝光值映射为像素图元。接着利用多曝光图像融合方法对一系列多曝光图像的同位置像素求平均，然后利用直方图均衡的方法将平均图像映射到新的强度上。现有的HDR技术具有各种缺点。通常，组合不同曝光下的图像的算法需要在每个图像的瞬时动态范围中设置一定量的重叠。由于与高光或金属工具相关联的光强度可能比周围组织亮许多数量级，想要跨越这些极端区域，因此可能需要获取跨越这些极端区域的在相邻曝光中具有足够的重叠的不合理数量的图像。同时，这些方法的软件处理需在计算机上执行，实时性较差，且难以移植到嵌入式系统上。

综上所示，增加/减少曝光时间或者照明强度，以及多次曝光与多曝光图像融合的方法均不能解决内窥影像局部过曝与过暗问题，特别是当拍摄场景的动态范围远大于探测器的动态范围时。因此，本发明提出了一种能够提供自适应调光的内窥照明系统。根据探测器收集到的内窥图像信号，采用实时反馈算法快速增加或减少局部视野的光照强度，从而有效改善过暗和过曝区域的图像细节。通过主动改变照明强度分布，获得自适应的高动态范围的内窥图像，有利于清晰、无盲区的观察血管和内壁组织细节信息，有效提高全视野的图像分辨率和信噪比，从而提高诊断的准确性和时效性。

美国专利(No.7668450B2“ENDOSCOPE WITH INTEGRATED LIGHT SOURCE”)设计了一种基于LED光源单元的内窥镜成像系统，由多个光源单元为内窥镜提供不同的照明。该光源单元由安装到导热基板的LED阵列组成，集成到至内窥镜的近端，其照明光强直接耦合进光纤。多个这样的光源单元集成到内窥镜的壳体中，从每个光源单元发出的光被引导到内窥镜出射端口不同区域，医生可以在外科手术期间控制每个个体光源单元的光输出。然而，该设计需要手动控制多个光源单元的强度和色温。这将导致医生在使用内窥镜期间需要更繁琐的操作，为内窥检查与手术带来额外的负担。

美国专利(No.20090149713A1“OTOSCOPE WITHCONTROLLED ILLUMINATION”)和美国专利(No.20090149713A1“ENDOSCOPE APPARATUS”)均采用多个照明单元(LED或者其他小型光源)覆盖不同的区域。这些照射器围绕镜头布置用来照明应用场景，通过调节不同照明单元来调节不同区域内的照明光强。由于不同照明单元对整体光照的影像并非简单的叠加，在使用前，均需要使用平面目标来校准系统，以获得对应照明系统所映射的光强度矩阵。然而，本技术没有考虑或描述当照射区可能重叠时如何执行照明反馈控制，以及如何控制重叠的多个照明单元，或者这种重叠的细节将如何根据场景几何形状而变化。此外，近景和远景对于光强的反射和散射完全不同，它们在整个视野中的复杂分布，导致场景明暗部分在不断变化而且有及其复杂的组合。因此，通过多组照明单元的简单组合无法完全自适应调节复杂场景下照明过暗和过曝的情形。

发明内容

为解决现有技术存在的局限和缺陷，本发明提供一种自适应主动调光的内窥照明方法，所述内窥照明方法使用内窥照明系统，所述内窥照明系统包括光源、第一透镜、数字微镜器件、透镜组、光纤束、光纤束保护套、光纤束端口；所述数字微镜器件包括互补金属氧化物半导体基底，所述互补金属氧化物半导体基底上设置有多个微镜单元，所有微镜单元的分布设置形成高速数字光反射开关阵列结构和电寻址空间光调制器结构，所述数字微镜器件用于通过偏置电压控制反射镜，使得所述微镜单元的旋转角度为正或负的预设角度；

所述光源发出的光束经过所述第一透镜准直，由发散光束转化为平行光束，经过所述第一透镜的平行光束照射在所述数字微镜器件上，所述数字微镜器件对所述平行光束进行反射，通过控制所述微镜的光反射量，调制形成对应的照明图案，所述透镜组对调制完成的光束进行缩束，使得缩束后的光束耦合进入所述光纤束，所述光纤束根据传像原理对所述照明图案进行传输。

可选的，所述光纤束的入射端口由多个光纤以六边形堆积排列组成，所述光纤束保护套对所述光纤束进行集成，所述照明图案由所述光纤束端口射出，映射在被检测物体上。

可选的，所述内窥照明系统还包括柔性内窥镜体、图像收集透镜组、光信号探测器、相机、现场可编程门阵列；

所述图像收集透镜组用于采集光信号，所述被检测物体的表面反射后的照明光经过所述图像采集透镜组采集后，汇聚至所述光信号探测器，所述光信号探测器将光信号转化为电信号；

将所述电信号传递至所述相机，所述相机生成被检测物体的表面图像，将所述表面图像同时传递至显示装置以及所述现场可编程门阵列，所述现场可编程门阵列用于判断图像视野之内的被检测物体是否存在信号饱和区域和信号缺乏区域，进一步判断照明光是否过曝；

若判断结果为图像出现过曝，所述数字微镜器件对应区域减小光反射量，使得所述照明图案中对应的过曝区域部分光强减弱，获得自适应照明成像。

可选的，在驱动信号作用下，所述数字微镜器件的每个微镜单元以各自的铰链为旋转轴旋转±12°，若信号为1，所述微镜单元旋转至+12°，处于状态ON，若信号为0，所述微镜单元旋转至-12°，处于状态OFF；

处于状态ON的微镜单元将光线反射至透镜，使得光线耦合进入光纤束之中，处于状态OFF的微镜单元将光线反射至消光器件，使得光线无法进入光纤束之中，光照强度由控制信号的占空比和持续时间决定。

可选的，将所述相机的输出信号u(x,y)分别输入至所述现场可编程门阵列和显示装置，所述现场可编程门阵列根据每个像素不同的输出值，对输出信号u(x,y)进行调节，使得输出信号u(x,y)转变为输出信号f(x,y)，输出信号f(x,y)传输至所述数字微镜器件，所述数字微镜器件根据输出信号f(x,y)对输入的图像进行调制，然后所述相机开始读取下一帧图像，形成闭环反馈系统。

可选的，所述柔性内窥镜体的出射端口结构包括光纤束端口和图像收集透镜组，所述光纤束端口设置在所述出射端口结构的非中心位置，所述图像收集透镜组设置在所述光纤束端口的外部；或者

所述柔性内窥镜体的出射端口结构包括光纤束端口和图像收集透镜组，所述光纤束端口设置在所述出射端口结构的中心位置，所述图像收集透镜组设置在所述光纤束端口的中心位置。

可选的，所述光源为LED光源或氙灯光源。

本发明具有下述有益效果：

本发明提供一种自适应主动调光的内窥照明方法，根据动态内窥实时成像状况调整并自适应照明强度分布，根据探测信号强度，采用反馈算法快速调整数字微镜器件每个像素所对应不同成像位置的激光强度，能够有效改善位于近处的腔道表面很容易由于强烈镜面反射使探测信号达到饱和，位于腔道深处的信号由于被多次散射吸收导致强度太弱的缺陷，获得自适应高动态范围成像。本发明有利于清晰、无盲区的观察血管和内壁组织细节信息，有效提高全视野的图像分辨率和信噪比，从而提高诊断的准确性和时效性。同时，本发明也有望应用至其他种类内窥成像系统中，诸如共聚焦内窥成像系统，工业内窥成像系统。

附图说明

图1为本发明实施例一提供的内窥镜成像系统的结构示意图。

图2为本发明实施例一提供的调光元器件的结构示意图。

图3为本发明实施例一提供的加入主动调光的内窥照明系统的结构示意图。

图4为本发明实施例一提供的主动调光流程图。

图5为本发明实施例一提供的图像与主动调光元器件之间的函数关系示意图。

图6为本发明实施例一提供的内窥图像与照明强度调节分布示意图。

图7为本发明实施例一提供的柔性内窥镜插入部的出射端口结构的一种结构示意图。

图8为本发明实施例一提供的柔性内窥镜插入部的出射端口结构的另一种结构示意图。

其中，附图标记为：光源2、第一透镜3、数字微镜器件4、透镜组5、光纤束6、光纤束保护套7、光纤束端口8、柔性内窥镜体9、图像收集透镜组10、光信号探测器11、相机12、现场可编程门阵列13。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的自适应主动调光的内窥照明方法进行详细描述。

实施例一

本实施例提供一种用于提供自适应调光的内窥照明系统，其最大的特点是能够根据动态内窥实时成像状况调整并自适应照明强度分布。根据探测信号强度，采用反馈算法快速调整数字微镜器件每个像素所对应不同成像位置的激光强度，能够有效改善位于近处的腔道表面很容易由于强烈镜面反射使探测信号达到饱和，而位于腔道深处的信号由于被多次散射吸收导致强度太弱的缺陷，获得自适应高动态范围成像。有利于清晰、无盲区的观察血管和内壁组织细节信息，有效提高全视野的图像分辨率和信噪比，从而提高诊断的准确性和时效性。同时，该发明也有望应用至其他种类内窥成像系统中去，诸如共聚焦内窥成像系统，工业内窥成像系统等。

本实施例提出了一种能够提供自适应照明的内窥成像系统，能够克服当前内窥成像中普遍面临的图像局部严重过暗或者过曝的问题，以下对本实施例具体技术路线进行介绍。

图1展示了根据本实施例的实施方式提供的用于内窥镜成像系统的照明系统100，所述照明系统包括，LED光源或氙灯光源2、第一透镜3、数字微镜器件(DigitalMicromirror Devices，DMD)4、透镜组5、光纤束6、光纤束保护套7、光纤束端口8构成。在照明系统中，LED光源或氙灯光源发出的光束经过透镜3准直，由发散光束转化成平行光束。平行光束经过透镜3后，照射在数字微镜器件4上，由数字微镜器件将光束调制成需要的照明图案。DMD微镜是一种基于半导体制造技术、由高速数字光反射开关阵列组成的器件，其核心是在CMOS基底上加上了很多小到十几微米见方的微镜，一个DMD芯片上有几十万到几百万个微镜，每个微镜的结构如图2所示。DMD是电寻址空间光调制器结构，通过在反射镜上加偏置电压，微镜可旋转到+/-a角度(在具体实施中，a＝12°)，将图像输入到DMD上显示后，由其对光线进行反射，通过控制光反射量，即可调制出对应的照明图案。调制完成的光束经透镜组5缩束，使缩束后的光束能够耦合进光纤束6，利用光纤束传像原理对照明图案进行传输。光纤束6入射端口如图2所示，其由多个光纤以六边形最密堆积排列组成，并由光纤束保护套7进行集成。因为光纤之间的耦合度很小；每根光纤代表图像的一个像素，照明图案最终由光纤束端口8射出，并映射在检测物体上。

图3展示了根据本实施例的实施方式提供的能够提供自适应照明的内窥成像系统200。所述自适应照明内窥成像系统包括，LED光源或氙灯光源2、第一透镜3、数字微镜器件4、透镜组5、光纤束6、柔性内窥镜体9、图像收集透镜组10、光信号探测器11、相机12、现场可编程门阵列13构成。自适应照明内窥成像系统集成了自适应照明系统，如前所述，光源经自适应照明系统调制后，获得了照明图案，并通过光纤束传输映射至探测物体表面。图像收集透镜组10被用来采集光信号，被探测物体表面反射后的照明光经图像采集透镜组10采集后，汇聚至光信号探测器11处由光信号转化为电信号。然后，所产生的电信号传递至相机，由相机生成被探测物体表面图像。图像被同时传递至显示装置中显示及现场可编辑门阵列中用于判断图像视野内的被探测物体是否存在信号饱和区域及信号较弱区域，进一步判断照明光是否适当地照明。如果图像中出现过曝，则控制数字微镜器件对应区域减小光反射量，从而使照明图案中对应过曝区域部分光强减弱，获得自适应照明成像。

具体技术路线如图4所示，通过调节DMD以获得自适应照明，具体技术路径如下。在驱动信号作用下，每个微镜单元以各自的铰链为旋转轴旋转±12°，若信号为1，微镜单元旋转至+12°，为ON状态，若信号为0，微镜单元旋转至-12°，为状态OFF。只有ON状态的微镜才能将光源反射至透镜，并被成功耦合进光纤束中。光照强度由控制信号的占空比和持续时间决定，而OFF状态的微镜将光源反射至消光器件，无法进入光纤束对被测进行照明。普通DMD器件，控制信号的占空比可达到以上1000：1以上，即照明强度可在很大的范围内进行调制，因此可显著增大内窥图像的动态范围，实现高质量的在体诊断。

进一步地，自适应内窥成像系统利用一套自适应反馈过程来优化照明，具体过程如图5所示。将相机传感器的输出信号u(x,y)分别输入至现场可编程门阵列和显示单元，现场可编程门阵列根据每个像素输出值的不同，对u(x,y)进行调节使其转变为f(x,y)输出到DMD对输入的图像进行调制，接着相机传感器开始读取下一帧图像，形成一个闭环反馈系统，内窥图像与DMD照明强度对应关系如图6所示。

图7展示了柔性内窥镜体9出射端口结构，其结构由光纤束端口8和图像收集透镜组10构成。除图示外，该出射端口也可以按照镜头放置于出射端口中心，光纤束分布于镜头四周进行布局，如图8所示。通过将光纤束端口和收集透镜组紧密地集成于一体，使光纤束端口和收集透镜组的光轴几乎重合，避免了传统投影中需要将照明图案与采集图像进行区域配准的问题，结构紧凑，性能优越，节省了配准所带来的额外时间，提高整体系统成像速率。

本实施例提供了一种用于提供自适应调光的内窥照明系统，其最大的特点是能够根据动态内窥实时成像状况调整并自适应照明强度分布。根据探测信号强度，采用反馈算法快速调整数字微镜器件每个像素所对应不同成像位置的激光强度，能够有效改善位于近处的腔道表面很容易由于强烈镜面反射使探测信号达到饱和，而位于腔道深处的信号由于被多次散射吸收导致强度太弱的缺陷，获得自适应高动态范围成像。有利于清晰、无盲区的观察血管和内壁组织细节信息，有效提高全视野的图像分辨率和信噪比，从而提高诊断的准确性和时效性。同时，该发明也有望应用至其他种类内窥成像系统中去，诸如共聚焦内窥成像系统，工业内窥成像系统等。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (7)

1.一种自适应主动调光的内窥照明方法，其特征在于，所述内窥照明方法使用内窥照明系统，所述内窥照明系统包括光源、第一透镜、数字微镜器件、透镜组、光纤束、光纤束保护套、光纤束端口；所述数字微镜器件包括互补金属氧化物半导体基底，所述互补金属氧化物半导体基底上设置有多个微镜单元，所有微镜单元的分布设置形成高速数字光反射开关阵列结构和电寻址空间光调制器结构，所述数字微镜器件用于通过偏置电压控制反射镜，使得所述微镜单元的旋转角度为正或负的预设角度；

所述光源发出的光束经过所述第一透镜准直，由发散光束转化为平行光束，经过所述第一透镜的平行光束照射在所述数字微镜器件上，所述数字微镜器件对所述平行光束进行反射，通过控制所述微镜的光反射量，调制形成对应的照明图案，所述透镜组对调制完成的光束进行缩束，使得缩束后的光束耦合进入所述光纤束，所述光纤束根据传像原理对所述照明图案进行传输。

2.根据权利要求1所述的自适应主动调光的内窥照明方法，其特征在于，所述光纤束的入射端口由多个光纤以六边形堆积排列组成，所述光纤束保护套对所述光纤束进行集成，所述照明图案由所述光纤束端口射出，映射在被检测物体上。

3.根据权利要求2所述的自适应主动调光的内窥照明方法，其特征在于，所述内窥照明系统还包括柔性内窥镜体、图像收集透镜组、光信号探测器、相机、现场可编程门阵列；

所述图像收集透镜组用于采集光信号，所述被检测物体的表面反射后的照明光经过所述图像采集透镜组采集后，汇聚至所述光信号探测器，所述光信号探测器将光信号转化为电信号；

将所述电信号传递至所述相机，所述相机生成被检测物体的表面图像，将所述表面图像同时传递至显示装置以及所述现场可编程门阵列，所述现场可编程门阵列用于判断图像视野之内的被检测物体是否存在信号饱和区域和信号缺乏区域，进一步判断照明光是否过曝；

若判断结果为图像出现过曝，所述数字微镜器件对应区域减小光反射量，使得所述照明图案中对应的过曝区域部分光强减弱，获得自适应照明成像。

4.根据权利要求3所述的自适应主动调光的内窥照明方法，其特征在于，在驱动信号作用下，所述数字微镜器件的每个微镜单元以各自的铰链为旋转轴旋转±12°，若信号为1，所述微镜单元旋转至+12°，处于状态ON，若信号为0，所述微镜单元旋转至-12°，处于状态OFF；

处于状态ON的微镜单元将光线反射至透镜，使得光线耦合进入光纤束之中，处于状态OFF的微镜单元将光线反射至消光器件，使得光线无法进入光纤束之中，光照强度由控制信号的占空比和持续时间决定。

5.根据权利要求4所述的自适应主动调光的内窥照明方法，其特征在于，将所述相机的输出信号u(x,y)分别输入至所述现场可编程门阵列和显示装置，所述现场可编程门阵列根据每个像素不同的输出值，对输出信号u(x,y)进行调节，使得输出信号u(x,y)转变为输出信号f(x,y)，输出信号f(x,y)传输至所述数字微镜器件，所述数字微镜器件根据输出信号f(x,y)对输入的图像进行调制，然后所述相机开始读取下一帧图像，形成闭环反馈系统。

6.根据权利要求5所述的自适应主动调光的内窥照明方法，其特征在于，所述柔性内窥镜体的出射端口结构包括光纤束端口和图像收集透镜组，所述光纤束端口设置在所述出射端口结构的非中心位置，所述图像收集透镜组设置在所述光纤束端口的外部；或者

所述柔性内窥镜体的出射端口结构包括光纤束端口和图像收集透镜组，所述光纤束端口设置在所述出射端口结构的中心位置，所述图像收集透镜组设置在所述光纤束端口的中心位置。

7.根据权利要求6所述的自适应主动调光的内窥照明方法，其特征在于，所述光源为LED光源或氙灯光源。