CN105282454B - 一种内窥镜成像系统及成像方法 - Google Patents

一种内窥镜成像系统及成像方法 Download PDF

Info

Publication number
CN105282454B
CN105282454B CN201510763110.8A CN201510763110A CN105282454B CN 105282454 B CN105282454 B CN 105282454B CN 201510763110 A CN201510763110 A CN 201510763110A CN 105282454 B CN105282454 B CN 105282454B
Authority
CN
China
Prior art keywords
image
light
bright
dark
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510763110.8A
Other languages
English (en)
Other versions
CN105282454A (zh
Inventor
宋恩民
余锋
程宁
刘宏
余玛俐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201510763110.8A priority Critical patent/CN105282454B/zh
Publication of CN105282454A publication Critical patent/CN105282454A/zh
Application granted granted Critical
Publication of CN105282454B publication Critical patent/CN105282454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Endoscopes (AREA)

Abstract

本发明提供了一种内窥镜图像成像系统,包括光源装置、图像采集装置、图像处理装置和图像显示装置,其中:所述光源装置,用于产生明暗交替的光照;所述图像采集装置,用于在明暗交替的光照阶段下采集图像,得到亮图像和暗图像;所述图像处理装置,用于对所述亮图像和暗图像进行融合处理,得到亮度均衡图像。所述图像显示装置,用于实时显示最终生成的数字图像。本发明提供的内窥镜成像系统采集到的图像是亮度均衡的图像,不会在图像中的某个区域形成亮斑。亮度均衡的图像能清晰的反映出人体内部的情况,让医生能够精确的对人体内部状况进行检查、分析,帮组医生完成诊断决策。

Description

一种内窥镜成像系统及成像方法
技术领域
本发明涉及内窥镜成像技术领域,特别涉及一种内窥镜成像系统及成像方法。
背景技术
目前医用内窥镜(如尿道镜)由于使用阶段的空间限制,图像采集镜头小,且照明光集中,被采集物体不平坦,还可能伴有各种光反射现象,常常会出现所获得的图像中的某些部分出现较亮的区域,从而使得采集图像的亮度并不均匀,图像不够清晰,影响使用者对图像的判断。
发明内容
针对现有技术中的上述技术问题,本发明目的是针对医疗电子内窥镜采集图像亮度不均匀的问题,提供一种亮度均衡的内窥镜成像的方法,该方法通过对光源进行编码来产生明暗交替的光照,从而获得相连的明暗交替的图像,然后对两幅图像进行融合,最后获得亮度均衡的图像,使内窥镜能清晰的显示拍摄的图像信息。
为了实现上述目的,本发明提供了的内窥镜成像系统主要包括光源部分、图像采集部分、图像处理部分和图像显示部分。其中光源部分采用了LED光源和光源编码器。图像采集部分是在编码光源的条件下采集明暗图像。图像处理部分是对图像采集部分的明暗交替的图像进行融合来获得亮度均衡的内窥镜成像。图像显示部分是实时显示最终生成的数字图像。光源部分,通过光源编码器对LED光源编码,使图像采集部分可以采集到符合条件的明暗图像。在光源编码器的实现过程中,我们通过对LED光源进行编码来获得一个明暗交替的光源。
图像采集部分,在结合光源和编码器的频率下,在每个状态下(明或暗),至少可以采集到一张符合要求的亮图像或者暗图像。为了提高图像处理的运行效率,在每个状态下采集的帧数也不易太高,也不易太低,一般正好可以采集到2帧或略高于2帧(不高于3帧),这样既可以获得满足需求的明暗图像,也提高保证较高的实时处理速度。
图像处理部分,在采集到相连的明暗交替的图像之后,图像处理部分对亮图像和暗图像进行融合。在LED光源处于亮状态下时,至少可以获得一张较亮的图像,这张图像中会有亮斑,除亮斑外的其他部分比较清晰。在LED光源处于暗状态下时,至少可以获得一张较暗的图像,这张图像整体亮度比较低,但是在之前亮斑位置的信息比较清晰。这个时候把两幅图像对应的位置进行加权融合处理。
与现有技术相比,本发明具有以下有益效果:
(1)在目前的内窥镜手术中,采集到的图像中容易形成亮斑。根据本发明提供的内窥镜成像系统采集到的图像是亮度均衡的图像,不会在图像中的某个区域形成亮斑,所获得的图像质量更好。
(2)亮度均衡的图像能清晰的反映出人体内部的情况,让医生能够精确的对人体内部状况进行检查、分析,帮组医生完成诊断决策。一般情况下,内窥镜采集到的图像如果某个区域有亮斑,医生在手术过程中会看不清该区域的组织病变状况,会出现漏诊和误判的情况,轻者会耽误患者治疗,重者会危及患者生命。
附图说明
图1是本发明实施例中内窥镜成像系统的结构示意图;
图2是本发明实施例中光源输出示意图;
图3是本发明实施例中图像采集示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1是本发明系统的总体结构示意图。系统包括光源装置、图像采集装置、图像处理装置和图像显示装置。其中:
光源装置用于产生明暗交替的光照,具体地,如图2所示,为获得明暗交替的光照,所述光源装置包括光源编码器和LED光源,所述光源编码器用于对LED光源进行编码,从而使所述LED光源产生明暗交替的光照,即亮光和暗光。具体地,所述光源编码器可以为单片机,通过单片机给LED光源的使能引脚一个信号,从而使LED光源产生明暗交替的光照。对于不同的图像采集装置,可以给出不同的信号,最终获得最佳的明暗交替的图像。
如图3所示,图像采集装置(例如内窥镜摄像机)用于在明暗交替的光照阶段下采集图像。具体地,在明暗交替的光照阶段下,通过设置图像采集周期及光源明暗编码周期,使得在一个光源明暗编码周期(即包含亮光和暗光阶段)内可以采集到一帧亮图像和一帧暗图像。
具体地,图像采集周期及光源明暗编码周期具体为,图像采集周期t与光源明暗编码周期T需满足:
T≥4t
其中,图像采集周期为t,即每t秒拍摄一帧图像;光源明暗编码周期为T,在一个周期内,有T时间段为亮光阶段,T时间内为暗光阶段。当光源明暗编码周期T和图像采集周期t满足以上条件时,即可以保证至少在每个状态下可以采集到一张符合条件的亮图像或者暗图像。
图像处理装置用于对图像采集装置采集到的图像进行融合处理,生成亮度均衡的图像。
将在亮光阶段下采集到N帧图像中,帧内像素平均灰度值最高的图像作为亮图像;将在暗光阶段下采集到N帧图像中,帧内像素平均灰度值最低的图像作为暗图像。其中,在亮图像中,需要保证除亮斑区域外,其他区域的图像清晰可见。在暗图像中,需要保证在上一帧亮图像中亮斑区域对应位置的图像清晰可见。
设在亮光阶段下,采集到N帧(例如三帧)图像IA、IB、IC,三帧图像的平均灰度值分别为X,Y,Z。取三幅图像中帧内像素平均灰度值最高的图像作为亮图像,即若Y>X且Y>Z,则选取图像IB作为亮图像。
设在暗光下,采集到N帧(例如三帧)图像Ia,Ib,Ic,三帧图像的帧内像素平均灰度值分别为x,y,z。若y<x且y<z,则选取图像Ib作为暗图像。
首先将IB和Ib两幅图像的RGB三个通道取出,表示为RB,GB,BB和Rb,Gb,Bb。再将两幅图像转换到HSV色彩空间,并提取出V通道,记为VB和Vb。
对VB和Vb用较大的模板分别进行均值滤波,得到亮度模板Background_B和Background_b。
最终亮度均衡图像中的该点亮度则由其在亮图像和暗图像得亮度背景中的权重WB(i,j)和Wb(i,j)决定。
权重的计算方法由下式指出:
其中Imax、Imin为指定的能产生良好效果的两个阈值。
则某一点P(i,j)的最终值由亮图像的三通道值RB(i,j)、GB(i,j)、BB(i,j)和暗图像所分离出来的三通道值Rb(i,j)、Gb(i,j)、Bb(i,j)通道中该点的对应值分别乘以权重并求和以计算出新的图像的三个通道值Rnew=WB(i,j)*RB(i,j)+Wb(i,j)*Rb(i,j),WB(i,j)*GB(i,j)+Wb(i,j)*Gb(i,j)和WB(i,j)*BB(i,j)+Wb(i,j)*Bb(i,j)将得到的Rnew,Gnew和Bnew合成为图像Inew,则Inew即为满足亮度均衡要求的一帧图像。
进一步地,本发明内窥镜图像成像系统还包含有图像显示装置,当经过融合处理得到亮度均衡图像后,可以输出到显示装置。
进一步地,本发明还提供了一种内窥镜成像方法,包括:
在明暗交替的光照阶段下采集图像,得到亮图像和暗图像;
对所述亮图像和暗图像进行融合处理,得到亮度均衡图像,具体为:
首先将亮图像和暗图像在RBG色彩空间中的R、G、B通道分离出来,之后将亮图像和暗图像分别转换到HSV色彩空间,并取出V通道;
对亮图像和暗图像的V通道分别使用较大的模板进行均值滤波,得到两个能够反映每一个像素点在亮图像和暗图像中一定区域亮度的背景图像,记为Background_B和Background_b。最终亮度均衡图像中的该点亮度则由其在亮图像和暗图像得亮度背景中的权重WB(i,j)和Wb(i,j)决定;
权重的计算方法由下式指出:
则某一点P(i,j)的最终值由亮图像的三通道值RB(i,j)、GB(i,j)、BB(i,j)和暗图像所分离出来的三通道值Rb(i,j)、Gb(i,j)、Bb(i,j)通道中该点的对应值分别乘以权重并求和以计算出新的图像的三个通道值Rnew=WB(i,j)*RB(i,j)+Wb(i,j)*Rb(i,j),WB(i,j)*GB(i,j)+Wb(i,j)*Gb(i,j)和WB(i,j)*BB(i,j)+Wb(i,j)*Bb(i,j)将得到的Rnew,Gnew和Bnew合成为图像Inew,则Inew即为满足亮度均衡要求的一帧图像。
具体地,所述在明暗交替的光照阶段下采集图像,得到亮图像和暗图像具体为:
在明暗交替的光照阶段下,通过设置图像采集周期及光源明暗编码周期,使得在一个光源明暗编码周期内可以采集到一帧亮图像和一帧暗图像,所述光源明暗编码周期包含一个亮光阶段和一个暗光阶段。
进一步地,图像采集周期及光源明暗编码周期具体为,图像采集周期t与光源明暗编码周期T需满足:
T≥4t
其中,图像采集周期为t,即每t秒拍摄一帧图像;光源明暗编码周期为T,在一个周期内,有T时间段为亮光阶段,T时间内为暗光阶段。当光源明暗编码周期T和图像采集周期t满足以上条件时,即可以保证至少在每个状态下可以采集到一张符合条件的亮图像或者暗图像。
优选地,将在亮光阶段下采集到N帧图像中,帧内像素平均灰度值最高的图像作为亮图像;将在暗光阶段下采集到N帧图像中,帧内像素平均灰度值最低的图像作为暗图像;其中在亮图像中,需要保证除亮斑区域外,其他区域的图像清晰可见;在暗图像中,需要保证在上一帧亮图像中亮斑区域对应位置的图像清晰可见。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种内窥镜图像成像系统,其特征在于,包括光源装置、图像采集装置、图像处理装置和图像显示装置,其中:
所述光源装置,用于产生明暗交替的光照;
所述图像采集装置,用于在明暗交替的光照阶段下,通过设置图像采集周期及光源明暗编码周期,使得在一个光源明暗编码周期内至少可以采集到一帧亮图像和一帧暗图像,所述光源明暗编码周期包含一个亮光阶段和一个暗光阶段;其中,在亮图像中,需要保证除亮斑区域外,其他区域的图像清晰可见;在暗图像中,需要保证在上一帧亮图像中亮斑区域对应位置的图像清晰可见;
所述图像处理装置,用于对所述亮图像和暗图像进行融合处理,得到亮度均衡图像;
所述图像显示装置,用于实时显示最终生成的数字图像;
所述图像采集装置对所述亮图像和暗图像进行融合处理,具体为:
首先将亮图像和暗图像在RBG色彩空间中的R、G、B通道分离出来,之后将亮图像和暗图像分别转换到HSV色彩空间,并取出V通道;
对亮图像和暗图像的V通道分别使用设定模板进行均值滤波,分别得到两个能够反映每一个像素点在亮图像和暗图像中一定区域亮度的背景图像,记为Background_B和Background_b;最终亮度均衡图像中的该点亮度则由其在亮图像和暗图像得亮度背景中的权重WB(i,j)和Wb(i,j)决定;
权重的计算方法由下式指出:
其中Imax、Imin为指定的两个阈值;
max[Imax-Background_B(i,j),0]指的是Imax-Background_B(i,j)与0之间取最大值,max[Background_b(i,j)-Imin,0]指的是Background_b(i,j)-Imin与0之间取最小值;Background_B(i,j)为亮图像的象素点坐标,Background_b(i,j)为暗图像的象素点坐标;
则某一点P(i,j)的最终值由亮图像的三通道值RB(i,j)、GB(i,j)、BB(i,j)和暗图像所分离出来的三通道值Rb(i,j)、Gb(i,j)、Bb(i,j)通道中该点的对应值分别乘以权重并求和以计算出新的图像的三个通道值Rnew=WB(i,j)*RB(i,j)+Wb(i,j)*Rb(i,j),WB(i,j)*GB(i,j)+Wb(i,j)*Gb(i,j)和WB(i,j)*BB(i,j)+Wb(i,j)*Bb(i,j)将得到的Rnew,Gnew和Bnew合成为图像Inew,则Inew即为满足亮度均衡要求的一帧图像。
2.如权利要求1所述的内窥镜图像成像系统,其特征在于,所述光源装置包括光源编码器和LED光源,所述光源编码器用于对LED光源进行编码,从而使所述LED光源产生明暗交替的光照,即亮光和暗光。
3.如权利要求1所述的内窥镜图像成像系统,其特征在于,所述设置图像采集周期及光源明暗编码周期具体为,图像采集周期t与光源明暗编码周期T需满足:
T≥4t
其中,图像采集周期为t,即每t秒拍摄一帧图像;光源明暗编码周期为T,在一个周期内,有时间段为亮光阶段,时间内为暗光阶段;在明暗交替的光照阶段下,通过设置图像采集周期及光源明暗编码周期,使得在一个光源明暗编码周期内可以采集到至少一帧亮图像和至少一帧暗图像,所述光源明暗编码周期包含一个亮光阶段和一个暗光阶段。
4.如权利要求3所述的内窥镜图像成像系统,其特征在于,所述图像采集装置,将在亮光阶段采集到的N帧图像中,帧内像素平均灰度值最高的那帧图像作为亮图像;将在暗光阶段采集到的N帧图像中,帧内像素平均灰度值最低的那帧图像作为暗图像。
5.一种内窥镜成像方法,其特征在于,所述方法包括:
在明暗交替的光照阶段下采集图像,得到亮图像和暗图像;
对所述亮图像和暗图像进行融合处理,得到亮度均衡图像,具体为:
首先将亮图像和暗图像在RBG色彩空间中的R、G、B通道分离出来,之后将亮图像和暗图像分别转换到HSV色彩空间,并取出V通道;
对亮图像和暗图像的V通道分别使用设定模板进行均值滤波,分别得到两个能够反映每一个像素点在亮图像和暗图像中一定区域亮度的背景图像,记为Background_B和Background_b;最终亮度均衡图像中的该点亮度则由其在亮图像和暗图像得亮度背景中的权重WB(i,j)和Wb(i,j)决定;
权重的计算方法由下式指出:
其中Imax、Imin为指定的两个阈值;
max[Imax-Background_B(i,j),0]指的是Imax-Background_B(i,j)与0之间取最大值,max[Background_b(i,j)-Imin,0]指的是Background_b(i,j)-Imin与0之间取最小值;Background_B(i,j)为亮图像的象素点坐标,Background_b(i,j)为暗图像的象素点坐标;
则某一点P(i,j)的最终值由亮图像的三通道值RB(i,j)、GB(i,j)、BB(i,j)和暗图像所分离出来的三通道值Rb(i,j)、Gb(i,j)、Bb(i,j)通道中该点的对应值分别乘以权重并求和以计算出新的图像的三个通道值Rnew=WB(i,j)*RB(i,j)+Wb(i,j)*Rb(i,j),WB(i,j)*GB(i,j)+Wb(i,j)*Gb(i,j)和WB(i,j)*BB(i,j)+Wb(i,j)*Bb(i,j)将得到的Rnew,Gnew和Bnew合成为图像Inew,则Inew即为满足亮度均衡要求的一帧图像。
6.如权利要求5所述的方法,其特征在于,在明暗交替的光照阶段下采集图像,得到亮图像和暗图像,具体为:
在明暗交替的光照阶段下,通过设置图像采集周期及光源明暗编码周期,使得在一个光源明暗编码周期内至少可以采集到一帧亮图像和一帧暗图像,所述光源明暗编码周期包含一个亮光阶段和一个暗光阶段。
7.如权利要求6所述的方法,其特征在于,所述设置图像采集周期及光源明暗编码周期具体为,图像采集周期t与光源明暗编码周期T需满足:
T≥4t;
其中,图像采集周期为t,即每t秒拍摄一帧图像;光源明暗编码周期为T,在一个周期内,有时间段为亮光阶段,时间内为暗光阶段;在明暗交替的光照阶段下,通过设置图像采集周期及光源明暗编码周期,使得在一个光源明暗编码周期内可以采集到至少一帧亮图像和至少一帧暗图像,所述光源明暗编码周期包含一个亮光阶段和一个暗光阶段。
8.如权利要求7所述的方法,其特征在于,将在亮光阶段下采集到N帧图像中,帧内像素平均灰度值最高的图像作为亮图像;将在暗光阶段下采集到N帧图像中,帧内像素平均灰度值最低的图像作为暗图像;其中在亮图像中,需要保证除亮斑区域外,其他区域的图像清晰可见;在暗图像中,需要保证在上一帧亮图像中亮斑区域对应位置的图像清晰可见。
CN201510763110.8A 2015-11-11 2015-11-11 一种内窥镜成像系统及成像方法 Active CN105282454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510763110.8A CN105282454B (zh) 2015-11-11 2015-11-11 一种内窥镜成像系统及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510763110.8A CN105282454B (zh) 2015-11-11 2015-11-11 一种内窥镜成像系统及成像方法

Publications (2)

Publication Number Publication Date
CN105282454A CN105282454A (zh) 2016-01-27
CN105282454B true CN105282454B (zh) 2018-09-25

Family

ID=55150688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510763110.8A Active CN105282454B (zh) 2015-11-11 2015-11-11 一种内窥镜成像系统及成像方法

Country Status (1)

Country Link
CN (1) CN105282454B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105942960B (zh) * 2016-07-01 2017-06-16 华中科技大学 一种可指示输尿管位置的内窥镜系统及方法
CN107280774B (zh) * 2017-08-02 2020-08-11 华中科技大学 一种用于实时显示输尿管位置的内窥镜系统及方法
CN107569285B (zh) * 2017-09-30 2020-08-11 华中科技大学 一种红外探测输尿管位置的内窥镜系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069644A1 (ja) * 2011-11-07 2013-05-16 オリンパスメディカルシステムズ株式会社 撮像装置
CN103190881A (zh) * 2012-01-04 2013-07-10 清华大学 胶囊式内窥镜及其图像处理方法
CN104103053A (zh) * 2013-11-25 2014-10-15 北京华科创智健康科技股份有限公司 一种电子内窥镜图像增强的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069644A1 (ja) * 2011-11-07 2013-05-16 オリンパスメディカルシステムズ株式会社 撮像装置
CN103781398A (zh) * 2011-11-07 2014-05-07 奥林巴斯医疗株式会社 摄像装置
CN103190881A (zh) * 2012-01-04 2013-07-10 清华大学 胶囊式内窥镜及其图像处理方法
CN104103053A (zh) * 2013-11-25 2014-10-15 北京华科创智健康科技股份有限公司 一种电子内窥镜图像增强的方法和装置

Also Published As

Publication number Publication date
CN105282454A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
CN102316247B (zh) 图像处理装置
EP2992805B1 (en) Electronic endoscope system
JP5814698B2 (ja) 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
EP2587988B1 (en) Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US20160206204A1 (en) Organ Imaging Device
US20120274754A1 (en) Image processing device, endoscope system, information storage device, and image processing method
KR101998595B1 (ko) 이미지 기반 황달 진단 방법 및 장치
CN109219385A (zh) 内窥镜系统、图像处理装置、图像处理方法以及程序
CN108055452A (zh) 图像处理方法、装置及设备
US9635343B2 (en) Stereoscopic endoscopic image processing apparatus
JP2004304718A (ja) 近接領域画像抽出装置及び近接領域画像抽出方法
CN108289590A (zh) 内窥镜系统、图像处理装置、图像处理方法和程序
CN105282454B (zh) 一种内窥镜成像系统及成像方法
CN107847117A (zh) 图像处理装置、方法及程序
CN108836236A (zh) 内窥镜手术裸眼3d图像显示系统与显示方法
JPWO2019130964A1 (ja) 内視鏡画像取得システム及び方法
CN110893095A (zh) 一种用于可见光和激发荧光实时成像的系统和方法
JP2014504938A (ja) 血液を含む組織の画像形成方法と装置
CN108553073A (zh) 内窥镜手术裸眼3d图像显示系统与显示方法
CN116172493A (zh) 用于内窥镜系统的成像及显示方法和内窥镜系统
JP6218709B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
CN116158718A (zh) 用于内窥镜系统的成像及显示方法和内窥镜系统
Murai et al. Improving color appearance of organ in surgery by optimally designed LED illuminant
CN109152520A (zh) 图像信号处理装置、图像信号处理方法以及图像信号处理程序
CN107405050A (zh) 内窥镜系统以及评价值计算装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant