CN105282454A

CN105282454A - 一种内窥镜成像系统及成像方法

Info

Publication number: CN105282454A
Application number: CN201510763110.8A
Authority: CN
Inventors: 宋恩民; 余锋; 程宁; 刘宏; 余玛俐
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2015-11-11
Filing date: 2015-11-11
Publication date: 2016-01-27
Anticipated expiration: 2035-11-11
Also published as: CN105282454B

Abstract

本发明提供了一种内窥镜图像成像系统，包括光源装置、图像采集装置、图像处理装置和图像显示装置，其中：所述光源装置，用于产生明暗交替的光照；所述图像采集装置，用于在明暗交替的光照阶段下采集图像，得到亮图像和暗图像；所述图像处理装置，用于对所述亮图像和暗图像进行融合处理，得到亮度均衡图像。所述图像显示装置，用于实时显示最终生成的数字图像。本发明提供的内窥镜成像系统采集到的图像是亮度均衡的图像，不会在图像中的某个区域形成亮斑。亮度均衡的图像能清晰的反映出人体内部的情况，让医生能够精确的对人体内部状况进行检查、分析，帮组医生完成诊断决策。

Description

一种内窥镜成像系统及成像方法

技术领域

本发明涉及内窥镜成像技术领域，特别涉及一种内窥镜成像系统及成像方法。

背景技术

目前医用内窥镜(如尿道镜)由于使用阶段的空间限制，图像采集镜头小，且照明光集中，被采集物体不平坦，还可能伴有各种光反射现象，常常会出现所获得的图像中的某些部分出现较亮的区域，从而使得采集图像的亮度并不均匀，图像不够清晰，影响使用者对图像的判断。

发明内容

针对现有技术中的上述技术问题，本发明目的是针对医疗电子内窥镜采集图像亮度不均匀的问题，提供一种亮度均衡的内窥镜成像的方法，该方法通过对光源进行编码来产生明暗交替的光照，从而获得相连的明暗交替的图像，然后对两幅图像进行融合，最后获得亮度均衡的图像，使内窥镜能清晰的显示拍摄的图像信息。

为了实现上述目的，本发明提供了的内窥镜成像系统主要包括光源部分、图像采集部分、图像处理部分和图像显示部分。其中光源部分采用了LED光源和光源编码器。图像采集部分是在编码光源的条件下采集明暗图像。图像处理部分是对图像采集部分的明暗交替的图像进行融合来获得亮度均衡的内窥镜成像。图像显示部分是实时显示最终生成的数字图像。光源部分，通过光源编码器对LED光源编码，使图像采集部分可以采集到符合条件的明暗图像。在光源编码器的实现过程中，我们通过对LED光源进行编码来获得一个明暗交替的光源。

图像采集部分，在结合光源和编码器的频率下，在每个状态下(明或暗)，至少可以采集到一张符合要求的亮图像或者暗图像。为了提高图像处理的运行效率，在每个状态下采集的帧数也不易太高，也不易太低，一般正好可以采集到2帧或略高于2帧(不高于3帧)，这样既可以获得满足需求的明暗图像，也提高保证较高的实时处理速度。

图像处理部分，在采集到相连的明暗交替的图像之后，图像处理部分对亮图像和暗图像进行融合。在LED光源处于亮状态下时，至少可以获得一张较亮的图像，这张图像中会有亮斑，除亮斑外的其他部分比较清晰。在LED光源处于暗状态下时，至少可以获得一张较暗的图像，这张图像整体亮度比较低，但是在之前亮斑位置的信息比较清晰。这个时候把两幅图像对应的位置进行加权融合处理。

与现有技术相比，本发明具有以下有益效果：

(1)在目前的内窥镜手术中，采集到的图像中容易形成亮斑。根据本发明提供的内窥镜成像系统采集到的图像是亮度均衡的图像，不会在图像中的某个区域形成亮斑，所获得的图像质量更好。

(2)亮度均衡的图像能清晰的反映出人体内部的情况，让医生能够精确的对人体内部状况进行检查、分析，帮组医生完成诊断决策。一般情况下，内窥镜采集到的图像如果某个区域有亮斑，医生在手术过程中会看不清该区域的组织病变状况，会出现漏诊和误判的情况，轻者会耽误患者治疗，重者会危及患者生命。

附图说明

图1是本发明实施例中内窥镜成像系统的结构示意图；

图2是本发明实施例中光源输出示意图；

图3是本发明实施例中图像采集示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是本发明系统的总体结构示意图。系统包括光源装置、图像采集装置、图像处理装置和图像显示装置。其中：

光源装置用于产生明暗交替的光照，具体地，如图2所示，为获得明暗交替的光照，所述光源装置包括光源编码器和LED光源，所述光源编码器用于对LED光源进行编码，从而使所述LED光源产生明暗交替的光照，即亮光和暗光。具体地，所述光源编码器可以为单片机，通过单片机给LED光源的使能引脚一个信号，从而使LED光源产生明暗交替的光照。对于不同的图像采集装置，可以给出不同的信号，最终获得最佳的明暗交替的图像。

如图3所示，图像采集装置(例如内窥镜摄像机)用于在明暗交替的光照阶段下采集图像。具体地，在明暗交替的光照阶段下，通过设置图像采集周期及光源明暗编码周期，使得在一个光源明暗编码周期(即包含亮光和暗光阶段)内可以采集到一帧亮图像和一帧暗图像。

具体地，图像采集周期及光源明暗编码周期具体为，图像采集周期t与光源明暗编码周期T需满足：

T≥4t

其中，图像采集周期为t，即每t秒拍摄一帧图像；光源明暗编码周期为T，在一个周期内，有T时间段为亮光阶段，T时间内为暗光阶段。当光源明暗编码周期T和图像采集周期t满足以上条件时，即可以保证至少在每个状态下可以采集到一张符合条件的亮图像或者暗图像。

图像处理装置用于对图像采集装置采集到的图像进行融合处理，生成亮度均衡的图像。

将在亮光阶段下采集到N帧图像中，帧内像素平均灰度值最高的图像作为亮图像；将在暗光阶段下采集到N帧图像中，帧内像素平均灰度值最低的图像作为暗图像。其中，在亮图像中，需要保证除亮斑区域外，其他区域的图像清晰可见。在暗图像中，需要保证在上一帧亮图像中亮斑区域对应位置的图像清晰可见。

设在亮光阶段下，采集到N帧(例如三帧)图像IA、IB、IC，三帧图像的平均灰度值分别为X，Y，Z。取三幅图像中帧内像素平均灰度值最高的图像作为亮图像，即若Y>X且Y>Z，则选取图像IB作为亮图像。

设在暗光下，采集到N帧(例如三帧)图像Ia，Ib，Ic，三帧图像的帧内像素平均灰度值分别为x，y，z。若y<x且y<z，则选取图像Ib作为暗图像。

首先将IB和Ib两幅图像的RGB三个通道取出，表示为RB，GB，BB和Rb，Gb，Bb。再将两幅图像转换到HSV色彩空间，并提取出V通道，记为VB和Vb。

对VB和Vb用较大的模板分别进行均值滤波，得到亮度模板Background_B和Background_b。

最终亮度均衡图像中的该点亮度则由其在亮图像和暗图像得亮度背景中的权重W_B(i,j)和W_b(i,j)决定。

权重的计算方法由下式指出：

\begin{matrix} W_{B} (i, j) \\ = \frac{\max [Im a x - B a c k g r o u n d_B (i, j), 0]}{\max [Im a x - B a c k g r o u n d_B (i, j), 0] + \max [B a c k g r o u n d_b (i, j) - Im i n, 0]} \end{matrix}

\begin{matrix} W_{b} (i, j) \\ = \frac{\max [B a c k g r o u n d_b (i, j) - Im i n, 0]}{\max [Im a x - B a c k g r o u n d_B (i, j), 0] + \max [B a c k g r o u n d_b (i, j) - Im i n, 0]} \end{matrix}

其中Imax、Imin为指定的能产生良好效果的两个阈值。

则某一点P(i,j)的最终值由亮图像的三通道值R_B(i,j)、G_B(i,j)、B_B(i,j)和暗图像所分离出来的三通道值R_b(i,j)、G_b(i,j)、B_b(i,j)通道中该点的对应值分别乘以权重并求和以计算出新的图像的三个通道值R_new＝W_B(i,j)*R_B(i,j)+W_b(i,j)*R_b(i,j)，W_B(i,j)*G_B(i,j)+W_b(i,j)*G_b(i,j)和W_B(i,j)*B_B(i,j)+W_b(i,j)*B_b(i,j)将得到的R_new，G_new和B_new合成为图像I_new，则I_new即为满足亮度均衡要求的一帧图像。

进一步地，本发明内窥镜图像成像系统还包含有图像显示装置，当经过融合处理得到亮度均衡图像后，可以输出到显示装置。

进一步地，本发明还提供了一种内窥镜成像方法，包括：

在明暗交替的光照阶段下采集图像，得到亮图像和暗图像；

对所述亮图像和暗图像进行融合处理，得到亮度均衡图像，具体为：

首先将亮图像和暗图像在RBG色彩空间中的R、G、B通道分离出来，之后将亮图像和暗图像分别转换到HSV色彩空间，并取出V通道；

对亮图像和暗图像的V通道分别使用较大的模板进行均值滤波，得到两个能够反映每一个像素点在亮图像和暗图像中一定区域亮度的背景图像，记为Background_B和Background_b。最终亮度均衡图像中的该点亮度则由其在亮图像和暗图像得亮度背景中的权重W_B(i,j)和W_b(i,j)决定；

权重的计算方法由下式指出：

\begin{matrix} W_{B} (i, j) \\ = \frac{\max [Im a x - B a c k g r o u n d_B (i, j), 0]}{\max [Im a x - B a c k g r o u n d_B (i, j), 0] + \max [B a c k g r o u n d_b (i, j) - Im i n, 0]} \end{matrix}

\begin{matrix} W_{b} (i, j) \\ = \frac{\max [B a c k g r o u n d_b (i, j) - Im i n, 0]}{\max [Im a x - B a c k g r o u n d_B (i, j), 0] + \max [B a c k g r o u n d_b (i, j) - Im i n, 0]} \end{matrix}

具体地，所述在明暗交替的光照阶段下采集图像，得到亮图像和暗图像具体为：

在明暗交替的光照阶段下，通过设置图像采集周期及光源明暗编码周期，使得在一个光源明暗编码周期内可以采集到一帧亮图像和一帧暗图像，所述光源明暗编码周期包含一个亮光阶段和一个暗光阶段。

进一步地，图像采集周期及光源明暗编码周期具体为，图像采集周期t与光源明暗编码周期T需满足：

T≥4t

优选地，将在亮光阶段下采集到N帧图像中，帧内像素平均灰度值最高的图像作为亮图像；将在暗光阶段下采集到N帧图像中，帧内像素平均灰度值最低的图像作为暗图像；其中在亮图像中，需要保证除亮斑区域外，其他区域的图像清晰可见；在暗图像中，需要保证在上一帧亮图像中亮斑区域对应位置的图像清晰可见。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种内窥镜图像成像系统，其特征在于，包括光源装置、图像采集装置和图像处理装置，其中：

所述光源装置，用于产生明暗交替的光照；

所述图像采集装置，用于在明暗交替的光照阶段下采集图像，得到亮图像和暗图像；

所述图像处理装置，用于对所述亮图像和暗图像进行融合处理，得到亮度均衡图像；

所述图像显示装置，用于实时显示最终生成的数字图像。

2.如权利要求1所述的内窥镜图像成像系统，其特征在于，所述光源装置包括光源编码器和LED光源，所述光源编码器用于对LED光源进行编码，从而使所述LED光源产生明暗交替的光照，即亮光和暗光。

3.如权利要求1或2所述的内窥镜图像成像系统，其特征在于，所述图像采集装置具体用于，在明暗交替的光照阶段下，通过设置图像采集周期及光源明暗编码周期，使得在一个光源明暗编码周期内至少可以采集到一帧亮图像和一帧暗图像，所述光源明暗编码周期包含一个亮光阶段和一个暗光阶段。

4.如权利要求3所述的内窥镜图像成像系统，其特征在于，所述设置图像采集周期及光源明暗编码周期具体为，图像采集周期t与光源明暗编码周期T需满足：

T≥4t

其中，图像采集周期为t，即每t秒拍摄一帧图像；光源明暗编码周期为T，在一个周期内，有T时间段为亮光阶段，T时间内为暗光阶段；在明暗交替的光照阶段下，通过设置图像采集周期及光源明暗编码周期，使得在一个光源明暗编码周期内可以采集到至少一帧亮图像和至少一帧暗图像，所述光源明暗编码周期包含一个亮光阶段和一个暗光阶段。

5.如权利要求4所述的内窥镜图像成像系统，其特征在于，所述图像采集装置，将在亮光阶段采集到的N帧图像中，帧内像素平均灰度值最高的那帧图像作为亮图像；将在暗光阶段采集到的N帧图像中，帧内像素平均灰度值最低的那帧图像作为暗图像；其中，在亮图像中，需要保证除亮斑区域外，其他区域的图像清晰可见；在暗图像中，需要保证在上一帧亮图像中亮斑区域对应位置的图像清晰可见。

6.如权利要求1或2所述的内窥镜图像成像系统，其特征在于，所述图像采集装置对所述亮图像和暗图像进行融合处理，具体为：

对亮图像和暗图像的V通道分别使用设定模板进行均值滤波，分别得到两个能够反映每一个像素点在亮图像和暗图像中一定区域亮度的背景图像，记为Background_B和Background_b；最终亮度均衡图像中的该点亮度则由其在亮图像和暗图像得亮度背景中的权重W_B(i,j)和W_b(i,j)决定；

权重的计算方法由下式指出：

\begin{matrix} W_{B} (i, j) \\ = \frac{\max [Im a x - B a c k g r o u n d_B (i, j), 0]}{\max [Im a x - B a c k g r o u n d_B (i, j), 0] + \max [B a c k g r o u n d_b (i, j) - Im i n, 0]} \end{matrix}

\begin{matrix} W_{b} (i, j) \\ = \frac{\max [B a c k g r o u n d_b (i, j) - Im i n, 0]}{\max [Im a x - B a c k g r o u n d_B (i, j), 0] + \max [B a c k g r o u n d_b (i, j) - Im i n, 0]} \end{matrix}

其中Imax、Imin为指定的两个阈值；

7.一种内窥镜成像方法，其特征在于，所述方法包括：

在明暗交替的光照阶段下采集图像，得到亮图像和暗图像；

权重的计算方法由下式指出：

\begin{matrix} W_{B} (i, j) \\ = \frac{\max [Im a x - B a c k g r o u n d_B (i, j), 0]}{\max [Im a x - B a c k g r o u n d_B (i, j), 0] + \max [B a c k g r o u n d_b (i, j) - Im i n, 0]} \end{matrix}

\begin{matrix} W_{b} (i, j) \\ = \frac{\max [B a c k g r o u n d_b (i, j) - Im i n, 0]}{\max [Im a x - B a c k g r o u n d_B (i, j), 0] + \max [B a c k g r o u n d_b (i, j) - Im i n, 0]} \end{matrix}

其中Imax、Imin为指定的两个阈值；

8.如权利要求7所述的方法，其特征在于，在明暗交替的光照阶段下采集图像，得到亮图像和暗图像，具体为：

在明暗交替的光照阶段下，通过设置图像采集周期及光源明暗编码周期，使得在一个光源明暗编码周期内至少可以采集到一帧亮图像和一帧暗图像，所述光源明暗编码周期包含一个亮光阶段和一个暗光阶段。

9.如权利要求3所述的内窥镜图像成像系统，其特征在于，所述设置图像采集周期及光源明暗编码周期具体为，图像采集周期t与光源明暗编码周期T需满足：

T≥4t

10.如权利要求9所述的方法，其特征在于，将在亮光阶段下采集到N帧图像中，帧内像素平均灰度值最高的图像作为亮图像；将在暗光阶段下采集到N帧图像中，帧内像素平均灰度值最低的图像作为暗图像；其中在亮图像中，需要保证除亮斑区域外，其他区域的图像清晰可见；在暗图像中，需要保证在上一帧亮图像中亮斑区域对应位置的图像清晰可见。