CN104103053B - 一种电子内窥镜图像增强的方法和装置 - Google Patents

Abstract

本发明提供了一种电子内窥镜图像增强的方法和装置，该方法通过改变摄像机相邻两帧图像成像时的光源输出照明亮度，然后将两帧图像合成，实现内窥镜高动态范围图像增强，克服增加曝光时间导致的运动目标成像模糊。根据本发明方法，提供一种实现图像动态范围提高的电子内窥镜装置。

Description

一种电子内窥镜图像增强的方法和装置

技术领域

本发明涉及医疗电子内窥镜成像技术领域，尤其涉及一种电子内窥镜图像增强的方法及装置，以及采用这种图像增强装置的电子内窥镜。

背景技术

在医疗领域，检查脏器内部病变时使用电子内窥镜系统，内窥镜系统的组成包括出射照明光的光源装置、前端装配有摄像单元、导光光缆的挠性插入镜体、对摄像单元驱动控制及对拍摄到的图像进行处理增强的图像处理装置、显示处理后图像的显示器。

在内窥镜的成像过程中，由于摄像装置和被检器官的相对运动、电子噪声、干扰等因素的影响，获取的内镜图像不可避免的出现降质和退化，为了改善图像的视觉效果，抑制噪声，突出图像中的有用信息，同时削弱或去除某些不需要的信息，使处理后的图像更适合医生的观察和诊断，在内镜图像处理器中加入图像增强算法，以改善内镜图像的成像质量，如轮廓增强、对比度增强、亮度补偿、色彩增强等方法，这些方法在图像照明亮度比较均匀时有较好的增强效果。

但是，内窥镜检查对象不是光滑平面，而是大肠等内壁有突起的管腔状被摄体，而且受内镜插入部管径不能过大的限制，内镜照明的结构方案受到空间限制，无法针对不同观测对象特征提供亮度一致的均匀全视场照明，在这种照明条件下，内窥镜获取的图像整幅画面往往明暗不均，内窥镜系统根据图像明亮区域调整照明光亮度，则较暗区域会被摄成全黑，反之，内窥镜系统根据图像较暗区域调整照明光亮度，则图像较亮区域过度曝光，图像亮度饱和发白。以上两种图像均会因失去部分图像区域细节信息而影响内窥镜观察效果。解决这种问题的有效方法是增加图像的动态范围，使摄像装置对明暗区域均能清晰成像，现在已有超过100dB的宽动态范围摄像头，但受到摄像头体积和成本限制，无法应用到电子内窥镜系统中。

在医疗内窥镜成像及以外的摄像技术领域，有一些通过电子控制和算法合成等途径提高摄像头成像动态范围的方法，诸如以下文献。

专利文献1：CN102708549A

专利文献2：CN102572245A

专利文献3:WO2013069644

文献1采用多个摄像头拍摄同一物体对象，对多幅图像进行数据融合、滤波、匹配等处理，使不清晰的单一图像得到明显增强。文献2采用一个摄像头两次曝光的方式，通过短曝光获取亮区域图像信息，长曝光获取暗区域图像信息，将长短曝光的两幅图像进行数据融合，从而达到提高图像动态范围的目的。文献3采用LED照明光源，通过电路控制，改变摄像机相邻两帧曝光照明亮度，通过图像融合达到提高图像动态范围的目的。

上述方法应用在医疗电子内窥镜成像领域，均有一定不足，文献1的方法受到内窥镜尺寸的限制，完全不适用于医疗电子内窥镜成像领域，文献2的方法可以应用在医疗电子内窥镜成像领域，但由于内窥镜摄像头和被检器官存在相对运动，增加曝光时间必然会降低运动目标摄像的清晰度，图像融合后的成像质量相应降低，达不到图像增强的目的。文献3采用LED光源作为照明光，由于LED光源的光谱特性相对于氙灯等光源，与自然光照明的差异较大，LED照明的彩色成像效果也不如氙灯等光源的照明成像效果，因此目前医用内窥镜光源均采用氙灯光源，而文献3的亮度调节方法用于氙灯等金属灯源时，会极大降低灯源寿命并对周边产生电磁辐射干扰。

发明内容

本发明目的是针对医疗电子内窥镜采集图像亮度不均匀的问题，克服现有摄像装置动态范围有限造成的整幅图像局部不清晰问题，提供一种提高电子内窥镜图像动态范围和改变光源照明亮度输出的方法，该方法通过改变摄像机相邻两帧图像成像时的光源输出照明亮度，然后将两帧图像合成，实现内窥镜高动态范围图像增强，克服增加曝光时间导致的运动目标成像模糊。根据本发明方法，提供一种实现图像动态范围提高的电子内窥镜装置。

根据本发明实施例的一个方面，本发明提供一种提升电子内窥镜图像动态范围的图像增强方法，包括：图像特征获取步骤，根据采集的图像计算图像区域亮度分布特征；照明光亮度输出变化获取步骤，根据图像的亮度区域分布特征，计算相邻两帧图像成像时输出光亮度变化量；执行照明光调节参量获取步骤，根据照明光输出亮度变化量和亮度变化调节方式，计算亮度调节机构在相邻两幅图像成像时的调节量；照明与摄像头曝光同步输出步骤，根据摄像头的曝光采集时序，同步控制照明光在每帧曝光时的光输出；图像融合步骤，将两幅不同照明亮度的曝光图像合成，获取大动态范围的图像。

根据本发明实施例的另一个方面，本发明提供一种提升电子内窥镜图像动态范围的图像增强装置，包括：图像特征获取模块，完成图像区域亮度分布特征计算功能；照明光亮度变化获取模块，完成相邻两帧图像照明光输出变化量计算功能；照明光亮度调节机构，不改变灯源的输出亮度，通过光圈等方法，执行输出光亮度变化调节功能；照明与曝光同步控制模块，获取摄像头曝光时序信号，控制光源亮度调节机构，使输出光与曝光同步；图像融合模块，执行两幅图像的数据合成功能。

根据本发明实施例的又一个方面，本发明提供一种高动态范围成像的电子内窥镜系统，包括：内镜，完成插入脏器内腔获取图像功能；图像处理器，完成系统控制、摄像头驱动、图像采集、滤波增强、亮度分布特征计算、相邻两帧图像数据融合功能；照明光源装置，完成输出光亮度与内镜摄像头曝光同步输出、同步变化控制功能；显示器，显示图像处理器处理后的内镜图像。

本发明的有益效果是：不改变电子内窥镜摄像头的电子增益和曝光时间，即不降低单帧图像的成像质量，不提高摄像头的性能，针对氙灯等灯源，不改变驱动电路电流或电压，通过光阑、转轮等机构实现照明光亮度调整，通过改变照明光亮度的策略，分别对被摄像亮区域和暗区域清晰成像，通过数据融合，提高电子内窥镜成像的动态范围，既达到内窥镜图像增强效果，又不降低灯源寿命、增加光源电磁辐射干扰。

附图说明

图1为一种实施例的提升成像动态范围电子内窥镜系统组成示意图；

图2为一种实施例的灯部及亮度调节部件结构示意图；

图3为一种实施例的输出光调制模组机构示意图；

图4为一种实施例的光源照明输出与摄像头曝光成像时序示意图；

图5为一种实施例的提升成像动态范围电子内窥镜系统工作流程示意图。

具体实施方式

下面，参照附图详细说明本发明的实施方式。

图1为一种实施例的提升成像动态范围电子内窥镜系统组成示意图。

在图1中，内窥镜系统具备：内窥镜镜体1，其具有将光源输出光导入到内镜前端部进行照明的导光光缆部件5，拍摄脏器内腔的微型摄像头6。光源装置2，为电子内窥镜系统提供照明光，具有电源部件7，为光源各部件提供电力；灯部及亮度调节部件8，向内镜导光部5提供亮度变化可控的照明光；同步控制部件9，控制照明光亮度调节与摄像头6曝光时序同步；通讯接口部件10，接收图像处理器传来的图像亮度特征信息；处理器部件11，管理控制光源装置，控制灯源输出亮度可调照明光。图像处理器装置3，内窥镜系统摄像头驱动、图像处理、系统控制及图像视频信号合成输出单元，具有摄像头成像传感器驱动控制模组12，控制摄像头曝光成像，图像电信号的放大、A/D采集存储；图像处理模组13，图像滤波去噪，轮廓增强等算法处理，计算单帧图像亮度区域分布特征；图像合成模组14，对相邻两帧强弱照明条件下的图像数据融合；视频转换模组15，将图像数据转换为标准视频信号，输出至显示器显示处理后内镜图像，处理器部件16，管理图像处理器的工作及外设接口设备通讯。显示器4，显示内镜采集、处理的图像，供医生观察诊断。

图2表示一种实施例的灯部及亮度调节部件结构示意图，相当于图1中光源装置2灯部及亮度调节部件8。

在图2中，灯部及亮度调节部件8具备：主照明灯17，为电子内窥镜系统提供照明光，在摄像头所有帧曝光时工作，可选用氙灯、LED灯、卤素灯等金属灯；辅助照明灯18，为电子内窥镜系统需克服照明不均匀而提高动态范围时，在主照明灯工作的基础上，提供第二帧高亮度曝光成像的增加亮度部分照明光，辅助照明灯可选用氙灯、LED灯、卤素灯等金属灯；主照明灯、辅助照明灯光阑19、20，调节主、辅助照明灯的输出光亮度，光源装置处理器11根据图像处理器中图像处理模组13计算的图像亮度，控制光阑19、20，调节主、辅照明光亮度；反光镜21，将辅助照明光反射转向，使辅助照明光能够入射至导光光缆5；主照明灯、辅助照明灯聚光镜组22、23，将主照明灯、辅助照明灯发出的光汇聚至导光光缆5；输出光调制模组24，由同步控制部件9控制，调制模组24有两个位置，当处于A位置时，控制主照明光以脉冲形式输出，辐照明光无输出，当处于B位置时，根据图像亮度分布特征，控制主照明光以脉冲形式输出的同时，控制辅助照明灯18以脉冲光形式叠加在主照明光上隔帧输出；

图3为一种实施例的输出光调制模组机构示意图，相当于图2中输出光调制模组24结构及工作示意图。

在图3中，输出光调制模组24具备：调制模板25，模板为圆形金属板，上面开C、D两种孔，C孔两个，为C1、C2孔，对称分布在模板圆盘上，D孔一个，位于两C1、C2孔中心线上，开孔布局如图3所示。模板使照明光以脉冲形式输出，模板与主照明光光轴垂直；旋转驱动电机26，调制模板25安装在驱动电机26输出轴上，带动调制模板25与摄像头6曝光时序同步旋转，电机26由同步控制部件9控制，电机可选用步进电机或直流电机。

在图3中，主照明光光斑位于C1、C2孔阑内，可以向导光光缆部件5输出脉冲式照明光，而辐照明光光斑位于孔阑D内，调制模板25旋转一周，辐照明光向导光光缆部件5输出一个脉冲照明光，主照明光输出间隔180°的两个照明光脉冲。

如图3所示，当内窥镜系统工作于普通光照明成像模式，光源装置2只输出亮度稳定的照明光，则光源装置2关闭辅助照明灯18，只有主照明灯17工作，当内窥镜系统工作于两帧强弱照明合成增加动态范围工作模式时，光源装置2点亮辅助照明灯18，光源装置输出亮度间隔变化的脉冲照明光。

图4为一种实施例的光源照明输出与摄像头曝光成像时序示意图，表示图3中调制模板25调制后主照明光、辅助照明光脉冲输出与摄像头6曝光采集时序关系。

在图4中，a视图表示辅助照明灯关闭时，主照明光脉冲输出与摄像头6曝光采集时序关系。此时，内窥镜系统工作于普通观察模式，图像采集视场内照明较均匀，不需通过增加图像动态范围也能全视场清晰成像，同步控制部件9根据摄像头6曝光采集时序，同步控制电机26匀速旋转，电机26每秒钟转动圈数是摄像头6曝光采集频率的二分之一，同时严格控制C1、C2脉冲光与摄像头6曝光时序的相位差，使光脉冲能够在摄像头6曝光时输出，保障摄像头6每一帧的照明曝光成像。此时辐照明光无照明脉冲光输出。

在图4中，b视图表示辅助照明灯点亮时，主、辅助照明光脉冲输出与摄像头6曝光采集时序关系。此时，内窥镜系统工作于两帧强弱照明合成增加动态范围工作模式，图像采集视场内照明不均匀，需通过增加图像动态范围实现全视场清晰成像，同步控制部件9根据摄像头6曝光采集时序，同步控制电机26匀速旋转，电机26每秒钟转动圈数是摄像头6曝光采集频率的二分之一，每转动一圈，主照明光输出间隔180°的两个照明光脉冲，辐照明光输出一个照明光脉冲，同时严格控制C1、C2脉冲光与摄像头6曝光时序的相位差，使光脉冲能够在摄像头6曝光时输出，保障摄像头6每一帧的照明曝光成像。此时，在奇数曝光周期，主照明光有照明脉冲光输出，辐照明光无照明脉冲光输出，摄像头6在弱光照明下成像，在偶数曝光周期，主、辅照明光同时有照明脉冲光输出，摄像头6在强光照明下成像。将奇、偶曝光图像合成，实现图像动态范围增加。

图5为一种实施例的提升成像动态范围电子内窥镜系统工作流程示意图，下面参照图5说明可提高图像动态范围电子内窥镜工作流程。

在步骤S1中，图像处理装置3首先将电子内窥镜系统设置为初始工作模式，光源装置2点亮主照明灯17，同步控制部件9控制电机26匀速旋转，光源装置输出亮度一致的脉冲光，图像处理装置3控制、驱动摄像头6成像，并采集存储处理。

在步骤S2中，图像处理装置3通过图像特征获取模块，计算图像区域亮度分布特征，获取采集图像的总体亮度和区域分布亮度。

在步骤S3中，图像处理装置3根据图像总体亮度判断主照明光亮度是否需要调节，如需要，步骤S4计算主照明光亮度调节量，传送至关光源装置2，处理器部件11控制主照明灯光阑19，调节主照明光亮度。

在步骤S4中，图像处理装置3根据图像区域亮度分布特征判断内窥镜系统成像视场照明是否均匀，判断内窥镜系统是否需要通过增加图像动态范围对图像进行增强处理，如不需要图像增强，程序返回S1做普通模式成像观察，如需要图像增强，程序进入下一步骤S6。

在步骤S5中，图像处理装置3计算辅助照明光需输出亮度，传送至关光源装置2，光源装置2点亮辅助照明灯，控制辅照明灯光阑20，调节辅照明光亮度，同步控制部件9控制电机26匀速旋转，并与摄像头6曝光时序同步，光源装置输出亮度明暗相间的脉冲光。

在步骤S6中，图像处理装置3序列采集存储明暗照明条件相邻两帧的图像，并进行图像数据融合，将两幅不同照明亮度的曝光图像合成，获取大动态范围的图像。

在步骤S7中，图像处理装置3将处理后的图像合成视频信号，传输至显示器显示内镜检查图像。

根据本实施例，内窥镜系统光源装置采用主、辅两个照明灯，图像处理器装置根据采集图像的亮度分布特征，可任意切换系统工作模式，即采用主灯单一照明工作模式，或主、辅灯同时工作，明暗相间照明的提升图像动态范围工作模式，不需采用高动态范围摄像头，不会因长曝光而降低运动对象图像采集清晰度，通过图像融合，获得高动态范围图像，达到内窥镜系统图像增强目的。在本实施例中，内窥镜系统光源装置采用旋转调制模板的机构，使光源输出一系列照明脉冲光，并通过调制模板电机控制与摄像头曝光同步，使内镜前端部摄像头曝光工作时，照明光恰好发射脉冲光照亮被检体，摄像头不曝光做数据采集存储时，照明光不入射到内镜前端部，最大效率的利用照明光脉冲，减少照明光入射到内镜前端部的时间，降低因照明而产生的内镜前端部温度提升，从而避免因内镜前端部温度升高而对被检体的灼烧，避免因内镜前端部温度升高而对摄像头影响而产生热噪声，提升摄像头成像质量。

Claims (7)

1.一种提升电子内窥镜图像动态范围的图像增强方法，包括：

图像特征获取步骤，采用普通光照明成像模式进行图像采集，根据采集的图像计算图像区域亮度分布特征；在普通光照明成像模式，所述内窥镜的光源关闭辅助照明灯，只有主照明灯工作；

照明光输出亮度变化量获取步骤，根据图像区域亮度分布特征，计算相邻两帧图像成像时照明光输出亮度变化量；

执行照明光调节参量获取步骤，根据照明光输出亮度变化量和亮度变化调节方式，计算亮度调节机构在相邻两幅图像成像时的调节量；

照明与摄像头曝光同步输出步骤，根据摄像头的曝光采集时序，同步控制照明光在每帧曝光时的光输出；

图像融合步骤，将两幅不同照明亮度的曝光图像合成，获取大动态范围的图像；

其特征在于，所述电子内窥镜的照明光源装置包括主照明灯、辅助照明灯和输出光调制模组；

所述主照明灯为电子内窥镜提供照明光；

所述辅助照明灯为电子内窥镜需克服照明不均匀而提高动态范围时，在主照明灯工作的基础上，提供第二帧高亮度曝光成像的增加亮度部分照明光；

所述输出光调制模组包括：

调制模板，使照明光以脉冲形式输出；所述调制模板为与主照明灯的光轴垂直的圆形遮光板，上面开有用于使主照明灯的光通过的第一透光孔与使辅助照明灯的光通过的第二透光孔；

驱动电机，所述调制模板安装在所述驱动电机的输出轴上，带动调制模板与摄像头曝光采集时序同步旋转；

所述第一透光孔有两个，对称分布在所述调制模板上；所述第二透光孔有一个，位于两个第一透光孔中心线上偏离圆心的位置；

同步控制部件根据摄像头曝光采集时序，同步控制电机匀速旋转，电机每秒钟转动圈数是摄像头曝光采集频率的二分之一，每转动一圈，主照明灯输出间隔180°的两个照明光脉冲，辅助照明灯的光输出一个照明光脉冲，同时严格控制第一透光孔的脉冲光与摄像头曝光时序的相位差，使光脉冲能够在摄像头曝光时输出，保障摄像头每一帧的照明曝光成像；此时，在奇数曝光周期，主照明灯有照明脉冲光输出，辅助照明灯的光无照明脉冲光输出，摄像头在弱光照明下成像，在偶数曝光周期，主照明灯、辅助照明灯的光同时有照明脉冲光输出，摄像头在强光照明下成像；将奇、偶曝光图像合成，实现图像动态范围增加。

2.根据权利要求1所述的方法，其特征在于，所述图像区域亮度分布特征包括采集图像的总体亮度和区域分布亮度。

3.根据权利要求1或2所述的方法，其特征在于，所述照明光输出亮度变化量获取步骤中，根据图像区域亮度分布特征判断内窥镜系统成像视场照明是否均匀，判断内窥镜系统是否需要通过增加图像动态范围对图像进行增强处理，如不需要图像增强，则做普通模式成像观察，如需要图像增强，则进入两帧强弱照明合成增加动态范围工作模式。

4.一种提升电子内窥镜图像动态范围的图像增强装置，包括：

用于图像特征获取的装置，采用普通光照明成像模式进行图像采集，完成图像区域亮度分布特征计算功能；在普通光照明成像模式，所述内窥镜的光源关闭辅助照明灯，只有主照明灯工作；

用于照明光输出亮度变化量获取的装置，完成相邻两帧图像照明光输出亮度变化量计算功能；

用于执行照明光调节参量获取的装置，根据照明光输出亮度变化量和亮度变化调节方式，计算亮度调节机构在相邻两幅图像成像时的调节量；照明光亮度调节机构不改变灯源的输出亮度，通过调节光圈的方法，执行输出光亮度变化调节功能；

用于照明与摄像头曝光同步输出的装置，根据摄像头的曝光采集时序，同步控制照明光在每帧曝光时的光输出；

用于图像融合的装置，将两幅不同照明亮度的曝光图像合成，获取大动态范围的图像；

其特征在于，所述电子内窥镜的照明光源装置包括主照明灯、辅助照明灯和输出光调制模组；

所述主照明灯为电子内窥镜提供照明光；

所述辅助照明灯为电子内窥镜需克服照明不均匀而提高动态范围时，在主照明灯工作的基础上，提供第二帧高亮度曝光成像的增加亮度部分照明光；

所述输出光调制模组包括：

调制模板，使照明光以脉冲形式输出；所述调制模板为与主照明灯的光轴垂直的圆形遮光板，上面开有用于使主照明灯的光通过的第一透光孔与使辅助照明灯的光通过的第二透光孔；

驱动电机，所述调制模板安装在所述驱动电机的输出轴上，带动调制模板与摄像头曝光采集时序同步旋转；

所述第一透光孔有两个，对称分布在所述调制模板上；所述第二透光孔有一个，位于两个第一透光孔中心线上偏离圆心的位置；

同步控制部件根据摄像头曝光采集时序，同步控制电机匀速旋转，电机每秒钟转动圈数是摄像头曝光采集频率的二分之一，每转动一圈，主照明灯输出间隔180°的两个照明光脉冲，辅助照明灯的光输出一个照明光脉冲，同时严格控制第一透光孔的脉冲光与摄像头曝光时序的相位差，使光脉冲能够在摄像头曝光时输出，保障摄像头每一帧的照明曝光成像；此时，在奇数曝光周期，主照明灯有照明脉冲光输出，辅助照明灯的光无照明脉冲光输出，摄像头在弱光照明下成像，在偶数曝光周期，主照明灯、辅助照明灯的光同时有照明脉冲光输出，摄像头在强光照明下成像；将奇、偶曝光图像合成，实现图像动态范围增加。

5.根据权利要求4所述的图像增强装置，其特征在于，所述图像区域亮度分布特征包括采集图像的总体亮度和区域分布亮度。

6.根据权利要求4或5所述的图像增强装置，其特征在于，所述用于照明光输出亮度变化量获取的装置根据图像区域亮度分布特征判断内窥镜系统成像视场照明是否均匀，判断内窥镜系统是否需要通过增加图像动态范围对图像进行增强处理，如不需要图像增强，则做普通模式成像观察，如需要图像增强，则进入两帧强弱照明合成增加动态范围工作模式。

7.一种高动态范围成像的电子内窥镜系统，包括摄像模组、图像处理器、照明光源装置和显示器，其中所述照明光源装置能够输出亮度可控的光；

所述图像处理器能够执行以下步骤：

图像特征获取步骤，采用普通光照明成像模式进行图像采集，根据采集的图像计算图像区域亮度分布特征；在普通光照明成像模式，所述内窥镜的光源关闭辅助照明灯，只有主照明灯工作；

照明光输出亮度变化量获取步骤，根据图像区域亮度分布特征，计算相邻两帧图像成像时照明光输出亮度变化量；

执行照明光调节参量获取步骤，根据照明光输出亮度变化量和亮度变化调节方式，计算亮度调节机构在相邻两幅图像成像时的调节量；

照明与摄像头曝光同步输出步骤，根据摄像头的曝光采集时序，同步控制照明光在每帧曝光时的光输出；

图像融合步骤，将两幅不同照明亮度的曝光图像合成，获取大动态范围的图像；

其特征在于，所述照明光源装置包括主照明灯、辅助照明灯和输出光调制模组；

所述主照明灯为电子内窥镜提供照明光；

所述辅助照明灯为电子内窥镜需克服照明不均匀而提高动态范围时，在主照明灯工作的基础上，提供第二帧高亮度曝光成像的增加亮度部分照明光；

所述输出光调制模组包括：

调制模板，使照明光以脉冲形式输出；所述调制模板为与主照明灯的光轴垂直的圆形遮光板，上面开有用于使主照明灯的光通过的第一透光孔与使辅助照明灯的光通过的第二透光孔；

驱动电机，所述调制模板安装在所述驱动电机的输出轴上，带动调制模板与摄像头曝光采集时序同步旋转；

所述第一透光孔有两个，对称分布在所述调制模板上；所述第二透光孔有一个，位于两个第一透光孔中心线上偏离圆心的位置；

同步控制部件根据摄像头曝光采集时序，同步控制电机匀速旋转，电机每秒钟转动圈数是摄像头曝光采集频率的二分之一，每转动一圈，主照明灯输出间隔180°的两个照明光脉冲，辅助照明灯的光输出一个照明光脉冲，同时严格控制第一透光孔的脉冲光与摄像头曝光时序的相位差，使光脉冲能够在摄像头曝光时输出，保障摄像头每一帧的照明曝光成像；此时，在奇数曝光周期，主照明灯有照明脉冲光输出，辅助照明灯的光无照明脉冲光输出，摄像头在弱光照明下成像，在偶数曝光周期，主照明灯、辅助照明灯的光同时有照明脉冲光输出，摄像头在强光照明下成像；将奇、偶曝光图像合成，实现图像动态范围增加。