CN109767395A - 一种胶囊内窥镜图像处理方法及装置 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种胶囊内窥镜图像处理方法及装置，所述方法包括：获取胶囊内窥镜拍摄的原始图像；将所述原始图像由RGB空间转换到XYZ色彩空间，获得亮度分量Y以及色度分量X、Z；对所述亮度分量Y进行亮度调整和锐化处理，获得新亮度分量Y_new；对所述色度分量X、Z进行颜色扩展处理，获得新色度分量X_new、Z_new；将所述新亮度分量Y_new以及所述新色度分量X_new、Z_new转换到RGB空间，获得处理后的图像，从而增加图像的对比度，提高了病灶的检出率。

Description

一种胶囊内窥镜图像处理方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种胶囊内窥镜图像处理方法及装置。

背景技术

胶囊内窥镜是一种如吞服胶囊大小的用于检查人体消化道的微型摄像装置，其具有检查方便、无创伤、无导线、无痛苦、无交叉感染、不影响患者的正常工作等优点，扩展了消化道检查的视野，克服了传统的插入式内镜检查所具有的耐受性差、不适用于年老体弱和病情危重等缺陷，已经广泛应用于消化道临床诊断中。胶囊内窥镜常见的胃肠道内的病灶有溃疡、息肉、血管扩张、鹅卵石黏膜、出血、癌症等，这些病灶在常规的白光条件下与周围正常的黏膜组织颜色差异比较细微，难以发现其存在，会造成病灶的漏检给病人带来风险。

专利公开号为US8467603B2的美国专利，公开了一种体内图像对比度增强技术，该技术采用颜色空间扩展分布可以增强病灶与正常黏膜的颜色对比度，一定程度上提高了病灶的检出率。但是在胶囊内窥镜图像采集过程中，由于照明、拍摄分辨率、运动模糊、硬件传输等原因造成图像存在着亮度不均匀，局部对比度低以及细节不清晰，而上述方案只是增强了病灶与正常黏膜的颜色对比度，没有涉及图像存在的亮度以及细节轮廓处理问题，因而无法得到真实清晰的病灶图像。

发明内容

本发明实施例提供一种胶囊内窥镜图像处理方法及装置，旨在解决现有技术无法得到真实清晰的病灶图像，降低病灶的检出率。

本发明实施例是这样实现的，所述胶囊内窥镜图像处理方法包括以下步骤：

获取胶囊内窥镜拍摄的原始图像；

将所述原始图像由RGB空间转换到XYZ色彩空间，获得亮度分量Y以及色度分量X、Z；

对所述亮度分量Y进行亮度调整和锐化处理，获得新亮度分量Y_new；

对所述色度分量X、Z进行颜色扩展处理，获得新色度分量X_new、Z_new；

将所述新亮度分量Y_new以及所述新色度分量X_new、Z_new转换到RGB空间，获得处理后的图像。

进一步地，所述亮度分量Y以及色度分量X、Z的转换公式为：

X＝0.412453·R+0.357580·G+0.180423·B

Y＝0.212671·R+0.715160·G+0.072169·B

Z＝0.019334·R+0.119193·G+0.950227·B；

其中，R、G、B分别为红、绿、蓝的颜色值。

进一步地，所述对所述亮度分量Y进行亮度调整和锐化处理，获得新亮度分量Y_new，具体包括：

基于小波同态滤波方法，对所述亮度分量Y进行亮度调整，获得调整后的亮度分量Y′；

基于引导滤波的锐化方法，对所述调整后的亮度分量Y′进行细节轮廓的增强，获得新亮度分量Y_new。

进一步地，所述基于引导滤波的锐化方法，对所述调整后的亮度分量Y′进行细节轮廓的增强，获得新亮度分量Y_new，具体包括：

对所述原始图像进行引导滤波处理，获得保留局部细节的模糊图像的亮度分量Y_blu；

根据所述亮度分量Y′、所述亮度分量Y_blu和增强因子λ，计算获得新亮度分量Y_new；其中，计算公式为Y_new＝Y′+λ(Y′-Y_blu)。

进一步地，所述对所述色度分量X、Z进行颜色扩展处理，获得新色度分量X_new、Z_new，具体包括：

将所述原始图像由XYZ色彩空间转换到LUV色彩空间，获得色度系数u′、v′；

采用自适应颜色空间扩展公式，对所述色度系数u′、v′进行颜色扩展处理，获得新色度系数u′_new和v′_new；

将所述新色度系数u′_new和v′_new转换到XYZ色彩空间，获得新色度分量X_new、Z_new。

进一步地，所述色度系数u′、v′的转换公式为：

进一步地，所述自适应颜色空间扩展公式为：

u′_new＝(u′-Mean_u′)×Scale+New_Mean_u′；

v′_new＝(v′-Mean_v′)×Scale+New_Mean_v′；

其中，Mean_u′、Mean_v′分别为色度系数u′、v′的原始平均值，Scale为颜色空间扩展系数，New_Mean_u′、New_Mean_v′分别为预先设置的颜色空间的平均值。

进一步地，所述新色度分量X_new、Z_new的转换公式为：

进一步地，所述RGB空间的转换公式为：

R＝3.240479·X_new-1.537150·Y_new-0.498535·Z_new；

G＝-0.969256·X_new+1.875992·Y_new+0.041556·Z_new；

B＝0.055648·X_new-0.204043·Y_new+1.057311·Z_new。

本发明实施例还提供一种胶囊内窥镜图像处理装置，能够实现上述胶囊内窥镜图像处理方法，所述装置包括：

图像获取模块，用于获取胶囊内窥镜拍摄的原始图像；

色彩空间转换模块，用于将所述原始图像由RGB空间转换到XYZ色彩空间，获得亮度分量Y以及色度分量X、Z；

调整模块，用于对所述亮度分量Y进行亮度调整和锐化处理，获得新亮度分量Y_new；

扩展模块，用于对所述色度分量X、Z进行颜色扩展处理，获得新色度分量X_new、Z_new；

色彩空间反转换模块，用于将所述新亮度分量Y_new以及所述新色度分量X_new、Z_new转换到RGB空间，获得处理后的图像。

在本发明实施例中，将胶囊内窥镜拍摄的原始图像由RGB空间转换到XYZ色彩空间，以对亮度分量Y进行亮度调整和锐化处理，对色度分量X、Z进行颜色扩展处理，以增加图像的对比度，并对图像的细节轮廓进行增强处理，使处理后的图像中病灶组织清晰可辨，视觉效果好，有利于医生对病灶的准确判断，提高了病灶的检出率。

附图说明

图1是本发明实施例一提供的胶囊内窥镜图像处理方法的实现流程图；

图2是本发明实施例一提供的胶囊内窥镜图像处理方法中小波同态滤波方法的原理图；

图3是本发明实施例二提供的胶囊内窥镜图像处理方法的流程示意图；

图4是本发明实施例提供的胶囊内窥镜图像处理方法与现有技术的处理效果图；

图5是本发明实施例提供的胶囊内窥镜图像处理方法与现有技术的另一处理效果图；

图6是本发明实施例提供的胶囊内窥镜图像处理方法与现有技术的再一处理效果图；

图7是本发明实施例提供的胶囊内窥镜图像处理方法与现有技术的又一处理效果图；

图8是本发明实施例三提供的胶囊内窥镜图像处理装置的优选结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明通过对图像的整体亮度和细节轮廓进行增强处理，解决现有技术无法得到真实清晰的病灶图像，降低病灶的检出率的问题。

实施例一

图1示出了本发明实施例一提供的胶囊内窥镜图像处理方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

101、获取胶囊内窥镜拍摄的原始图像。

在本发明实施例中，获取的原始图像为RGB图像。

102、将所述原始图像由RGB空间转换到XYZ色彩空间，获得亮度分量Y以及色度分量X、Z。

在本发明实施例中，将RGB图像按照以下公式(1)、(2)和(3)转化到XYZ色彩空间，转化公式为：

X＝0.412453·R+0.357580·G+0.180423·B (1)

Y＝0.212671·R+0.715160·G+0.072169·B (2)

Z＝0.019334·R+0.119193·G+0.950227·B (3)

其中，R、G、B分别为红、绿、蓝的颜色值。

103、对所述亮度分量Y进行亮度调整和锐化处理，获得新亮度分量Y_new。

在本发明实施例中，胶囊内窥镜拍摄的原始图像由于照明等原因而使得原始图像亮度不均匀，局部对比度较低，因此需提高原始图像的整体亮度，增强图像的对比度。另外，原始图像由于运动模糊以及分辨率问题会使得图像细节不清晰，因此需对原始图像的细节轮廓进行增强。

具体地，步骤103包括：

基于小波同态滤波方法，对所述亮度分量Y进行亮度调整，获得调整后的亮度分量Y′；

基于引导滤波的锐化方法，对所述调整后的亮度分量Y′进行细节轮廓的增强，获得新亮度分量Y_new。

需要说明的是，先采用基于小波同态滤波方法提高XYZ色彩空间的亮度分量Y的整体亮度，增强其图像的对比度，得到亮度分量Y′。

其中，小波同态滤波方法为：

一幅图像f(x,y)可以由两个特征量来表征：入射到观察场景的光源总量和场景中物体反射光的总量，也称为入射分量i(x,y)和反射分量r(x,y)，关系如下：

f(x,y)＝i(x,y)r(x,y)

在图像的空间频域中，入射光占据低频段，反射光占据高频段比较宽的范围。

对f(x,y)进行对数变换，将其乘性分量变为加性分量，即：

z(x,y)＝lnf(x,y)＝lni(x,y)+lnr(x,y)

通过小波变换将z(x,y)从空间域变换到频率域，z(x,y)可以分解表示为：

式中，等式右边第一项是低频带图像，第二项是不同频带的子图像，和φ(x,y)分别为二维小波函数和尺度函数，A_j-1为低频系数，D_n,j为高频系数。

为了得到合理的图像增强效果，可以采用以下的非线性函数对低频系数A_j-1和高频系数D_n,j进行调整，衰减低频信息，增强高频信息，其函数如下：

式中，j为小波分解级数，a控制系数整体增益(图像的整体亮度)的幅度，b则用来调节每一级分解系数的之间增益相差的幅度，即图像局部对比度。

将调整后的小波系数A′_j-1和D′_n,j，小波函数和尺度函数φ(x,y)进行小波逆变换，得到空间域图像s(x,y)，然后对图像s(x,y)进行指数变换，得到最后的处理图像g(x,y)，具体为：

g(x,y)＝exp(s(x,y))

基于小波变换的同态滤波算法，其原理如图2所示，其中WTn代表n级小波变换，IWTn代表对应的小波逆变换，G代表小波系数的非线性增强，C_j和C′_j为调整前后对应的小波系数。

进而，采用基于引导滤波的锐化方法对亮度调整后的亮度分量Y′细节轮廓进行增强。具体地，对所述原始图像进行引导滤波处理，获得保留局部细节的模糊图像的亮度分量Y_blu；根据所述亮度分量Y′、所述亮度分量Y_blu和增强因子λ，计算获得新亮度分量Y_new。其中，λ的值越大，则图像的锐化程度越大。

新亮度分量Y_new的计算公式为：

Y_new＝Y′+λ(Y′-Y_blu) (4)

其中，引导滤波的锐化方法为：

图像引导滤波是一种局部线性图像滤波器，其在平滑滤波的同时还能具有良好的边缘保持性能，其滤波过程包括引导图像I、输入图像p和输出图像q，其中I和p是可以相同的，二者都为输入图像，引导滤波的关键是对于引导图像I和输出图像q之间是局部线性关系，所以输出图像q是引导图像I在窗口为ω_k、以k为中心的线性变换，即

式中：q_i为像素i的输出图像；I_i为像素i的引导图像，a_k、b_k为窗口中心为k时该线性函数的系数；系数a_k和b_k可通过求取引导图像I和输入图像p的最小化差值确定，即：

使E(a_k,b_k)达到最小，其中ε为归整化因子，用于防止a_k过大，求解上式得：

式中：m为窗口ω_k中像素的个数；μ_k、分别为引导图像I在窗口ω_k的均值和方差；为输入图像p在窗口ω_k的平均值。

由于每个像素点会包含在多个邻域窗口ω_k中，在不同的窗口ω_k计算时，得到q_i的值时不同的，需要对q_i进行平均处理，通过计算所有窗口中的a_k、b_k，得到滤波输出为：

其中，为包含像素i的所有窗口的平均系数，ω_i为以像素i为中心的窗口。

104、对所述色度分量X、Z进行颜色扩展处理，获得新色度分量X_new、Z_new。

具体地，步骤104包括：

将所述原始图像由XYZ色彩空间转换到LUV色彩空间，获得色度系数u′、v′；

采用自适应颜色空间扩展公式，对所述色度系数u′、v′进行颜色扩展处理，获得新色度系数u′_new和v′_new；

将所述新色度系数u′_new和v′_new转换到XYZ色彩空间，获得新色度分量X_new、Z_new。

在本发明实施例中，先将原始图像由XYZ色彩空间转换到LUV色彩空间，其中，L表示物体亮度，U和V是色度系数，转换公式如下：

进而，使用自适应颜色空间扩展公式(7)和(8)得到新色度系数u′_new和v′_new：

u′_new＝(u′-Mean_u′)×Scale+New_Mean_u′ (7)

v′_new＝(v′-Mean_v′)×Scale+New_Mean_v′ (8)

其中，Mean_u′、Mean_v′分别为色度系数u′、v′的原始平均值，Scale为颜色空间扩展系数，New_Mean_u′、New_Mean_v′分别为预先设置的颜色空间的平均值。

进而，将处理后的LUV色彩空间中的色度系数u′_new和v′_new按照以下公式(9)和(10)转到XYZ色彩空间，得到新色度分量X_new和Z_new：

105、将所述新亮度分量Y_new以及所述新色度分量X_new、Z_new转换到RGB空间，获得处理后的图像。

在本发明实施例中，将Y_new、X_new和Z_new分量按照公式(11)、(12)和(13)转化到RGB空间，得到对比度增强后的RGB图像。其中的转化公式为：

R＝3.240479·X_new-1.537150·Y_new-0.498535·Z_new (11)

G＝-0.969256·X_new+1.875992·Y_new+0.041556·Z_new (12)

B＝0.055648·X_new-0.204043·Y_new+1.057311·Z_new (13)

在本发明实施例中，将胶囊内窥镜拍摄的原始图像由RGB空间转换到XYZ色彩空间，以对亮度分量Y进行亮度调整和锐化处理，对色度分量X、Z进行颜色扩展处理，以增加图像的对比度，并对图像的细节轮廓进行增强处理，使处理后的图像中病灶组织清晰可辨，视觉效果好，有利于医生对病灶的准确判断，提高了病灶的检出率。

实施例二

图3示出了本发明实施例二提供的胶囊内窥镜图像处理方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

201、获取原始RGB图像。

需要说明的是，获取的原始RGB图像即为胶囊内窥镜拍摄的原始图像。

202、RGB空间转XYZ空间。

需要说明的是，RGB空间转XYZ空间后，输出Y、X、Z。其中，Y为亮度分量，X、Z为色度分量。

203、XYZ空间转LUV空间。

需要说明的是，XYZ空间转LUV空间后，输出u′、v′。其中，L为物体亮度，U、V为色度系数。

204、自适应颜色空间扩展。

需要说明的是，对u′、v′进行自适应颜色空间扩展，输出u′_new、v′_new。

205、亮度调整。

需要说明的是，对Y进行亮度调整。

206、锐化。

需要说明的是，对亮度调整后的Y进行锐化处理，输出Y_new。

207、LUV空间转XYZ空间。

需要说明的是，根据Y_new、u′_new、v′_new，将LUV空间转换为XYZ空间，输出Y_new、X_new和Z_new。

208、XYZ空间转RGB空间。

需要说明的是，将Y_new、X_new和Z_new由XYZ空间转换为RGB空间。

209、输出RGB图像。

需要说明的是，输出的RGB图像即为处理后的图像。

在实际应用中，图4至7中的左侧图像为胶囊内窥镜拍摄的原始图像，分别采用现有技术和本发明实施例提供的胶囊内窥镜图像处理方法对原始图像进行处理。图4至7中的中间图像为现有技术的处理效果图，图4至7中的右侧图像为本发明实施例提供的胶囊内窥镜图像处理方法的处理效果图。可以看出，现有技术对病灶与周围正常黏膜组织的对比度处理效果不佳，其处理后的图像整体亮度偏暗，而且无法判断病灶的大小以及边界，视觉效果不佳。而本发明实施例提供的胶囊内窥镜图像处理方法使病灶与周围正常黏膜对比度明显，处理后的图像中病灶组织清晰可辨，视觉效果好。

本实施例能够将胶囊内窥镜拍摄的原始图像由RGB空间转换到XYZ色彩空间，以对亮度分量Y进行亮度调整和锐化处理，对色度分量X、Z进行颜色扩展处理，以增加图像的对比度，并对图像的细节轮廓进行增强处理，使处理后的图像中病灶组织清晰可辨，视觉效果好，有利于医生对病灶的准确判断，提高了病灶的检出率。

实施例三

图8示出了本发明实施例三提供的胶囊内窥镜图像处理装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：图像获取模块31、色彩空间转换模块32、调整模块33、扩展模块34和色彩空间反转换模块35，其中：

图像获取模块31，用于获取胶囊内窥镜拍摄的原始图像。

色彩空间转换模块32，用于将所述原始图像由RGB空间转换到XYZ色彩空间，获得亮度分量Y以及色度分量X、Z。

调整模块33，用于对所述亮度分量Y进行亮度调整和锐化处理，获得新亮度分量Y_new。

扩展模块34，用于对所述色度分量X、Z进行颜色扩展处理，获得新色度分量X_new、Z_new。

色彩空间反转换模块35，用于将所述新亮度分量Y_new以及所述新色度分量X_new、Z_new转换到RGB空间，获得处理后的图像。

另外，所述装置还包括图像显示模块，用于显示处理后的图像。

需要说明的是，本发明提供的胶囊内窥镜图像处理装置能够实现实施例一和二中的胶囊内窥镜图像处理方法的所有流程，在此不再详细赘述。

本实施例采用颜色空间扩展分布可以增强病灶与正常黏膜的颜色对比度，并同时采用基于小波同态滤波方法提高图像的整体亮度，增强其图像的对比度，采用基于引导滤波的锐化方法对亮度调整后图像的细节轮廓进行增强操作，处理后的图像中病灶组织清晰可辨，视觉效果好，有利于医生对病灶的准确判断，提高了病灶的检出率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种胶囊内窥镜图像处理方法，其特征在于，所述方法包括：

获取胶囊内窥镜拍摄的原始图像；

将所述原始图像由RGB空间转换到XYZ色彩空间，获得亮度分量Y以及色度分量X、Z；

对所述亮度分量Y进行亮度调整和锐化处理，获得新亮度分量Y_new；

对所述色度分量X、Z进行颜色扩展处理，获得新色度分量X_new、Z_new；

将所述新亮度分量Y_new以及所述新色度分量X_new、Z_new转换到RGB空间，获得处理后的图像。

2.如权利要求1所述的胶囊内窥镜图像处理方法，其特征在于，所述亮度分量Y以及色度分量X、Z的转换公式为：

X＝0.412453·R+0.357580·G+0.180423·B

Y＝0.212671·R+0.715160·G+0.072169·B

Z＝0.019334·R+0.119193·G+0.950227·B；

其中，R、G、B分别为红、绿、蓝的颜色值。

3.如权利要求1所述的胶囊内窥镜图像处理方法，其特征在于，所述对所述亮度分量Y进行亮度调整和锐化处理，获得新亮度分量Y_new，具体包括：

基于小波同态滤波方法，对所述亮度分量Y进行亮度调整，获得调整后的亮度分量Y′；

基于引导滤波的锐化方法，对所述调整后的亮度分量Y′进行细节轮廓的增强，获得新亮度分量Y_new。

4.如权利要求3所述的胶囊内窥镜图像处理方法，其特征在于，所述基于引导滤波的锐化方法，对所述调整后的亮度分量Y′进行细节轮廓的增强，获得新亮度分量Y_new，具体包括：

对所述原始图像进行引导滤波处理，获得保留局部细节的模糊图像的亮度分量Y_blu；

根据所述亮度分量Y′、所述亮度分量Y_blu和增强因子λ，计算获得新亮度分量Y_new；其中，计算公式为Y_new＝Y′+λ(Y′-Y_blu)。

5.如权利要求1所述的胶囊内窥镜图像处理方法，其特征在于，所述对所述色度分量X、Z进行颜色扩展处理，获得新色度分量X_new、Z_new，具体包括：

将所述原始图像由XYZ色彩空间转换到LUV色彩空间，获得色度系数u′、v′；

采用自适应颜色空间扩展公式，对所述色度系数u′、v′进行颜色扩展处理，获得新色度系数u′_new和v′_new；

将所述新色度系数u′_new和v′_new转换到XYZ色彩空间，获得新色度分量X_new、Z_new。

6.如权利要求5所述的胶囊内窥镜图像处理方法，其特征在于，所述色度系数u′、v′的转换公式为：

7.如权利要求5所述的胶囊内窥镜图像处理方法，其特征在于，所述自适应颜色空间扩展公式为：

u′_new＝(u′-Mean_u′)×Scale+New_Mean_u′；

v′_new＝(v′-Mean_v′)×Scale+New_Mean_v′；

其中，Mean_u′、Mean_v′分别为色度系数u′、v′的原始平均值，Scale为颜色空间扩展系数，New_Mean_u′、New_Mean_v′分别为预先设置的颜色空间的平均值。

8.如权利要求5所述的胶囊内窥镜图像处理方法，其特征在于，所述新色度分量X_new、Z_new的转换公式为：

9.如权利要求1所述的胶囊内窥镜图像处理方法，其特征在于，所述RGB空间的转换公式为：

R＝3.240479·X_new-1.537150·Y_new-0.498535·Z_new；

G＝-0.969256·X_new+1.875992·Y_new+0.041556·Z_new；

B＝0.055648·X_new-0.204043·Y_new+1.057311·Z_new。

10.一种胶囊内窥镜图像处理装置，能够实现如权利要求1至9任一项所述的胶囊内窥镜图像处理方法，其特征在于，所述装置包括：

图像获取模块，用于获取胶囊内窥镜拍摄的原始图像；

色彩空间转换模块，用于将所述原始图像由RGB空间转换到XYZ色彩空间，获得亮度分量Y以及色度分量X、Z；

调整模块，用于对所述亮度分量Y进行亮度调整和锐化处理，获得新亮度分量Y_new；

扩展模块，用于对所述色度分量X、Z进行颜色扩展处理，获得新色度分量X_new、Z_new；

色彩空间反转换模块，用于将所述新亮度分量Y_new以及所述新色度分量X_new、Z_new转换到RGB空间，获得处理后的图像。