CN106204599A - 用于消化道内图像的自动分段系统和方法 - Google Patents

用于消化道内图像的自动分段系统和方法 Download PDF

Info

Publication number
CN106204599A
CN106204599A CN201610552999.XA CN201610552999A CN106204599A CN 106204599 A CN106204599 A CN 106204599A CN 201610552999 A CN201610552999 A CN 201610552999A CN 106204599 A CN106204599 A CN 106204599A
Authority
CN
China
Prior art keywords
image
value
color
digestive tract
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610552999.XA
Other languages
English (en)
Other versions
CN106204599B (zh
Inventor
袁文金
张皓
张行
王新宏
段晓东
肖国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANKON PHOTOELECTRIC TECHNOLOGY (WUHAN) Co Ltd
Original Assignee
ANKON PHOTOELECTRIC TECHNOLOGY (WUHAN) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANKON PHOTOELECTRIC TECHNOLOGY (WUHAN) Co Ltd filed Critical ANKON PHOTOELECTRIC TECHNOLOGY (WUHAN) Co Ltd
Priority to CN201610552999.XA priority Critical patent/CN106204599B/zh
Publication of CN106204599A publication Critical patent/CN106204599A/zh
Application granted granted Critical
Publication of CN106204599B publication Critical patent/CN106204599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Abstract

本发明所设计的用于消化道内图像的自动分段系统,它包括图像预处理模块、特征提取模块和图像分段模块,所述图像预处理模块的信号输出端连接特征提取模块的信号输入端,特征提取模块的信号输出端连接图像分段模块的信号输入端。本发明能减少医生搜索不同部位消化道图像时间,减少工作量,提高工作效率。

Description

用于消化道内图像的自动分段系统和方法
技术领域
本发明涉及计算机辅助检测技术领域,具体地指一种用于消化道内图像的自动分段系统和方法。
技术背景
无线胶囊内窥镜是一个大小与形状与普通胶囊相似的微型摄像机,通过人口服进入消化道内,消化道蠕动为其提供动力使之能够在消化道内运动,胶囊内窥镜拍摄消化道内图像,并通过无线传输系统传输到体外进行显示。
消化道可以分为食道、胃部、小肠、结肠等,每个部位有各自特有的病症,如食道有反流性食管炎、胃部有胃窦炎性增生、小肠有克罗恩氏病等。一个有经验的阅片医生,需要花费较多时间来对消化道图像进行辨别分类,才能针对性的完成对消化道图像的诊断,这样极大的影响了工作效率。
针对上述技术问题,文献《Wireless Capsule Endoscopy ImagesClassification Based on Vector Sparse Coding》中使用具有旋转尺度不变性的SIFT(Scale-invariant feature transform)特征来描述消化道各部位图像的特征,然后对SIFT特征进行稀疏编码,利用支持向量机SVM(Support Vector Machine)对稀疏后的SIFT特征进行分类,从而将消化道图像分类为食道、胃部、小肠、结肠。该方法使用SIFT算法,算法复杂、计算量大,并且该方法仅使用了图像的纹理信息,而没有使用图像的颜色信息。
另外,文献《A Novel Method for Capsule Endoscopy Video AutomaticSegmentation》,该文献使用2个阶段来对消化道图像进行分段。在第一个阶段使用Lab颜色空间各颜色的均值、方差来初步区分消化道不同部位。在第二阶段对胃部/小肠采用HSV空间HS直方图进行区分、对小肠/大肠采用CULBP(Color Uniform Local Binary Pattern)进行区分。该方法第一阶段仅使用颜色一阶矩及二阶矩,没有充分利用图像其他信息;第二阶段对胃部/小肠也仅用了颜色信息,对于胃部出现胆汁反流情况效果较差。
发明内容
本发明的目的就是要提供一种用于消化道内图像的自动分段系统和方法,该系统和方法能减少医生搜索不同部位消化道图像时间,减少工作量,提高工作效率。
为实现此目的,本发明所设计的用于消化道内图像的自动分段系统,其特征在于:它包括图像预处理模块、特征提取模块和图像分段模块,所述图像预处理模块的信号输出端连接特征提取模块的信号输入端,特征提取模块的信号输出端连接图像分段模块的信号输入端;
所述图像预处理模块用于排除灰度均值超过预设阈值的无效图像,去除图像中无效区域,以减少需要处理的图像,所述图像中无效区域包括食物残渣区域、气泡区域、粘液区域和图像中灰度均值超过预设阈值的区域;
所述特征提取模块用于对去除无效区域后的消化道图像进行特征计算得到图像纹理特征值、形状特征值和颜色特征值;
所述图像分段模块用于利用图像纹理特征值、形状特征值、颜色特征值计算得到支持向量机(SVM,Support Vector Machine)训练模型,并利用支持向量机训练模型对提取的图像纹理特征值、形状特征值、颜色特征值进行分类,从而确定消化道图像在消化道内的具体分段位置。
一种利用上述系统的消化道内图像的自动分段方法,它包括如下步骤:
步骤1:利用图像预处理模块排除灰度均值超过预设阈值的无效图像;
步骤2:利用图像预处理模块去除图像中无效区域,以减少需要处理的图像,所述图像中无效区域包括食物残渣区域、气泡区域、粘液区域和图像中灰度均值超过预设阈值的区域;
步骤3:利用特征提取模块计算颜色特征值,所述颜色特征值包括图像绿色通道的颜色值减去图像蓝色通道的颜色值后的均值m、HSV颜色空间各颜色通道的Hu矩阵以及可伸缩颜色直方图;
所述图像绿色通道的颜色值减去图像蓝色通道的颜色值后的均值m的计算公式为:其中,x、y为像素位置,N为图像预处理后有效区域像素个数,gb(x,y)为图像绿色通道的颜色值减去图像蓝色通道的特征值处理后的图像颜色值;
所述HSV颜色空间各颜色通道的Hu矩阵计算方法为:
Hu[0]=η2002
Hu[1]=(η2002)2+4η11
Hu[2]=(η30-3η12)2+(3η2103)2
Hu[3]=(η3012)2+(η2103)2
Hu[4]=(η30-3η12)(η3012)[(η3012)2-3(η2103)2]
+(3η2103)(η2103)[3(η3012)2-(η2103)2]
Hu[5]=(η2002)[(η3012)2-(η2103)2]
+4η113012)(η2103)
Hu[6]=(3η2103)(η3012)[(η3012)2-3(η2103)2]
+(3η1230)(η2103)[3(η3012)2-(η2103)2]
其中,pq为矩阵的阶数,ηpq为pq阶中心矩,μ00为图像所有像素和,p和q的取值范围均为[0,3],为灰度质心坐标,f(x,y)为HSV空间各颜色通道(x,y)位置处的像素值;
所述可伸缩颜色直方图的具体计算方式为:将色调H、饱和度S、明度V各颜色通道值分别量化到Hbin、Sbin、Vbin,Hbin为色调H通道的颜色特征量化极值,Sbin为饱和度S通道的颜色特征量化极值,Vbin为明度V通道的颜色特征量化极值,然后统计直方图,得到可伸缩颜色直方图SC,可伸缩颜色直方图SC的计算方式为:
SC(H(x,y)*Sbin*Vbin+S(x,y)*Vbin+V(x,y))
=SC(H(x,y)*Sbin*Vbin+S(x,y)*Vbin+V(x,y))+1
其中,H(x,y)表示像素坐标x,y对应像素中的色调H通道量化到Hbin后的数据,S(x,y)表示像素坐标x,y对应像素中的饱和度S通道量化到Sbin后的数据,V(x,y)表示像素坐标x,y对应像素中的明度V通道量化到Vbin后的数据;
利用特征提取模块计算图像纹理特征值,图像纹理特征值包含CLBP(CompletedLocal Binary Pattern,完整局部二值模式)直方图和图像去除气泡区域后的Gabor纹理特征g(x,y);
步骤4:利用Zernike矩提取消化道图像的形状特征值,消化道图像的形状特征值Zn1m1定义为:
其中,f1(x,y)为消化道图像的灰度值,在计算时需将消化道图像转化到极坐标系,Vn1m1 *(ρ,θ)=Rn1m1(ρ)e-jm1θ,ρ称为极径,θ称为极角,e为自然常数,j是虚数单位,Vn1m1为图像数据转化到极坐标系的值,x、y为消化道图像像素坐标,n1m1为矩阵的阶数;
R n 1 m 1 ( ρ ) = Σ s = 0 n 1 - | m 1 | 2 ( - 1 ) s ( n 1 - s ) ! s ! ( 1 2 ( n 1 + | m 1 | ) - s ) ! ( 1 2 ( n 1 - | m | 1 ) - s ) ! ρ n 1 - 2 s
步骤5:利用图像绿色通道的颜色值减去图像蓝色通道的颜色值,得到所有消化道图像的均值m序列,通过判断序列中m值的变化值,即相邻消化道图像之间m值之差,当m值的变化值超过设定阈值tm时,此处消化道图像的位置即为初步分段的位置;
步骤6:在初步分段位置前后对称的选取连续的W张消化道图像,即初步分段位置前选取连续的W/2张,初步分段位置后选取连续的W/2张;对连续的W张消化道图像利用步骤3和步骤4的方法计算每张消化道图像的纹理特征值、形状特征值和颜色特征值;
步骤7:在图像分段模块中利用预先训练好的支持向量机训练模型对步骤6提取的图像纹理特征值、形状特征值、颜色特征值进行分类,从而确定消化道图像在消化道内的具体分段位置,预先训练好的支持向量机训练模型通过步骤3和步骤4得到的图像纹理特征值、形状特征值、颜色特征值单独训练得到。
本发明具有如下有益效果:
1、本发明可以全自动地实现对消化道不同部位图像分段;
2、本发明可以帮助医生区分不同部位图像,减少医生阅读图像数量,方便医生有针对性的查阅消化道图像;
3、本发明采用了两步分段方法,与参考文献比较,第一步特征少,计算量少;第二步计算数据量少(图像数量减少很多),这样本发明明显减少了计算量,并提高了分段精度。
附图说明
图1为本发明的结构及逻辑框图;
图2为本发明中CLBP计算示例。
图中,1—图像预处理模块、2—特征提取模块、3—图像分段模块。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明:
一种用于消化道内图像的自动分段系统,如图1所述,它包括图像预处理模块1、特征提取模块2和图像分段模块3,所述图像预处理模块1的信号输出端连接特征提取模块2的信号输入端,特征提取模块2的信号输出端连接图像分段模块3的信号输入端;
所述图像预处理模块1用于排除灰度均值超过预设阈值的无效图像,去除图像中无效区域,以减少需要处理的图像,所述图像中无效区域包括食物残渣区域、气泡区域、粘液区域和图像中灰度均值超过预设阈值的区域;
所述特征提取模块2用于对去除无效区域后的消化道图像进行特征计算得到图像纹理特征值、形状特征值和颜色特征值;
所述图像分段模块3用于利用图像纹理特征值、形状特征值、颜色特征值计算得到支持向量机训练模型,并利用支持向量机训练模型对提取的图像纹理特征值、形状特征值、颜色特征值进行分类,从而确定消化道图像在消化道内的具体分段位置。
一种利用上述系统的消化道内图像的自动分段方法,它包括如下步骤:
步骤1:利用图像预处理模块1排除灰度均值超过预设阈值(灰度均值超过220或低于40的图像认为是无效图象)的无效图像(通过对大量临床图像统计,选择出人眼觉得太亮或者太暗图像,以其均值作为阈值来判断图像过亮或者过暗);
步骤2:利用图像预处理模块1去除图像中无效区域,以减少需要处理的图像,所述图像中无效区域包括食物残渣区域、气泡区域、粘液区域和图像中灰度均值超过预设阈值(灰度均值超过220或低于40)的区域(由于消化道环境复杂度较高,胶囊从消化道采集到的大量图像存在过亮或过暗、腔道气泡干扰等图像,该设计能减少计算量并且剔除干扰);
步骤3:利用特征提取模块2计算颜色特征值,所述颜色特征值包括图像绿色(G)通道的颜色值减去图像蓝色(B)通道的颜色值后的均值m(G-B处理)、HSV(Hue,Saturation,Value色调(H),饱和度(S),明度(V))颜色空间各颜色通道的Hu矩阵以及可伸缩颜色(Scalable Color)直方图;
所述图像绿色通道的颜色值减去图像蓝色通道的颜色值后的均值m的计算公式为:其中,x、y为像素位置,N为图像预处理后有效区域像素个数,gb(x,y)为图像绿色通道的颜色值减去图像蓝色通道的颜色值处理后的图像颜色值;
所述HSV颜色空间各颜色通道的Hu矩阵计算方法为:
Hu[0]=η2002
Hu[1]=(η2002)2+4η11
Hu[2]=(η30-3η12)2+(3η2103)2
Hu[3]=(η3012)2+(η2103)2
Hu[4]=(η30-3η12)(η3012)[(η3012)2-3(η2103)2]
+(3η2103)(η2103)[3(η3012)2-(η2103)2]
Hu[5]=(η2002)[(η3012)2-(η2103)2]
+4η113012)(η2103)
Hu[6]=(3η2103)(η3012)[(η3012)2-3(η2103)2]
+(3η1230)(η2103)[3(η3012)2-(η2103)2]
其中,pq为矩阵的阶数,ηpq为pq阶中心矩,μ00为图像所有像素和,p和q的取值范围均为[0,3],为灰度质心坐标,f(x,y)为HSV空间各颜色通道(x,y)位置处的像素值;
所述可伸缩颜色直方图的具体计算方式为:将色调H、饱和度S、明度V各颜色通道值分别量化到Hbin、Sbin、Vbin,Hbin为色调H通道的颜色特征量化极值,Sbin为饱和度S通道的颜色特征量化极值,Vbin为明度V通道的颜色特征量化极值,然后统计直方图,得到可伸缩颜色直方图SC,可伸缩颜色直方图SC的计算方式为:
SC(H(x,y)*Sbin*Vbin+S(x,y)*Vbin+V(x,y))
=SC(H(x,y)*Sbin*Vbin+S(x,y)*Vbin+V(x,y))+1
其中,H(x,y)表示像素坐标x,y对应像素中的色调H通道量化到Hbin后的数据,S(x,y)表示像素坐标x,y对应像素中的饱和度S通道量化到Sbin后的数据,V(x,y)表示像素坐标x,y对应像素中的明度V通道量化到Vbin后的数据;
利用特征提取模块2计算图像纹理特征值,图像纹理特征值包含CLBP直方图和图像去除气泡区域后的Gabor纹理特征g(x,y);
图像去除气泡区域后的Gabor纹理特征g(x,y)的具体算法为:
g ( x , y ) = k 2 σ 2 e - k 2 ( x 2 + y 2 ) 2 σ 2 [ e i k x y - e - σ 2 2 ]
其中,σ表示滤波器的标准差,u和v分别表示Gabor滤波器的方向和尺度,K为滤波器总的方向数,x、y表示像素坐标位置,e为自然常数,i是虚数单位;
CLBP直方图由符号CLBPS和幅度CLBPM构成,计算公式为:
CLBPS P 1 , R = &Sigma; p 2 = 0 P 1 - 1 s ( g P 2 - g c ) 2 p 2 , s ( x 1 ) = 1 , x 1 &GreaterEqual; 0 0 , x 1 < 0
CLBPM P 1 , R = &Sigma; p 2 = 0 P 1 - 1 t ( v p 2 , c ) 2 p 2 , t ( x 2 , c ) = 1 , x 2 &GreaterEqual; c 0 , x 2 < c
其中,P1为当前像素半径为R的邻域内需要使用的像素的个数,p2为[0,P1-1],gc为当前需要处理的像素值,gp2为当前像素周围的像素值,gp2的位置为(Rcos(2π*p2/P1),Rsin(2π*p2/P1)),vp2=|gp2-gc|为当前像素与邻域像素gp2差的绝对值,体现了幅度变化,c为整幅图像中vp2的均值,s(x1)为符号比较函数,t(x2,c)为幅度比较函数,x1=gP2-gc,x2=vp2;图2给出了P=8、R=1时的计算实例;图2中的a为图像中一个像素及其周围邻域,利用公式可以得到符号图c和幅度图d;以左上角作为起始顺序,则该像素的符号LBP为[0,0,0,0,0,1,1,1]=8;计算出全图的Vp2均值c=8,则该像素的幅度LBP为[0,0,1,1,0,0,0,0]=32;这样得到全图的符号LBP图像和幅度LBP图像,然后统计直方图,得到CLBP直方图特征;
步骤4:利用Zernike矩提取消化道图像的形状特征值,消化道图像的形状特征值Zn1m1定义为:
其中,f1(x,y)为消化道图像的灰度值,在计算时需将消化道图像转化到极坐标系,Vn1m1 *(ρ,θ)=Rn1m1(ρ)e-jm1θ,ρ称为极径,θ称为极角,e为自然常数,j是虚数单位,Vn1m1为图像数据转化到极坐标系的值,x、y为消化道图像像素坐标,n1m1为矩阵的阶数;
R n 1 m 1 ( p ) = &Sigma; s = 0 n 1 - | m 1 | 2 ( - 1 ) s ( n 1 - s ) ! s ! ( 1 2 ( n 1 + | m 1 | ) - s ) ! ( 1 2 ( n 1 - | m | 1 ) - s ) ! &rho; n 1 - 2 s
步骤5:利用图像绿色通道的颜色值减去图像蓝色通道的颜色值,得到所有消化道图像的均值m序列,通过判断序列中m值的变化值,即相邻消化道图像之间m值之差,当m值的变化值超过10(设定阈值tm=10)时,此处消化道图像的位置即为初步分段的位置;
步骤6:在初步分段位置前后对称的选取连续的W张消化道图像,即初步分段位置前选取连续的W/2张,初步分段位置后选取连续的W/2张;对连续的W张消化道图像利用步骤3和步骤4的方法计算每张消化道图像的纹理特征值、形状特征值和颜色特征值;
步骤7:在图像分段模块3中利用预先训练好的支持向量机训练模型对步骤6提取的图像纹理特征值、形状特征值、颜色特征值进行分类,从而确定消化道图像在消化道内的具体分段位置,预先训练好的支持向量机训练模型通过步骤3和步骤4得到的图像纹理特征值、形状特征值、颜色特征值单独训练得到。
上述技术方案中,所述步骤6中消化道图像张数W的取值范围为200~2000,优选为1000。
上述技术方案中,所述步骤2中,图像预处理模块1利用Gabor滤波器来确定图像中气泡干扰的位置及大小,并将其删除。
上述技术方案中,特征提取是学习分类的关键,本发明选取的颜色、纹理和形状特征能够充分反映消化道图像特性,并且具有较强的稳定的性和适应性:G-B处理后可以消除光照不均匀影响;Hu矩阵具有旋转、平移和缩放不变性;可伸缩颜色直方图可以较好地描述图像颜色特征方便检索;CLBP及Gabor具有较好的纹理描述特性;Zernike矩同样具有旋转、平移和缩放不变性,且具有较好的形状描述特性。
上述技术方案中,消化道图像数量较大,且情况复杂,为了快速准确区分不同部位消化道图像,本发明采用2个步骤来进行处理:第一步采用计算量小处理速度快的方法进行初步分段,找到初始分段位置;第二步在第一步的基础上,在初始分段位置附近选取W张图像,W远小于消化道图像数量,计算特征进行分类,得到精确分段位置。
上述技术方案中,图像绿色通道的颜色值减去图像蓝色通道的颜色值得到均值m,是预处理后保存下来的有效区域,排除了消化道内杂物的干扰,且G-B处理可以消除光照不均匀影响;
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种用于消化道内图像的自动分段系统,其特征在于:它包括图像预处理模块(1)、特征提取模块(2)和图像分段模块(3),所述图像预处理模块(1)的信号输出端连接特征提取模块(2)的信号输入端,特征提取模块(2)的信号输出端连接图像分段模块(3)的信号输入端;
所述图像预处理模块(1)用于排除灰度均值超过预设阈值的无效图像,去除图像中无效区域,以减少需要处理的图像,所述图像中无效区域包括食物残渣区域、气泡区域、粘液区域和图像中灰度均值超过预设阈值的区域;
所述特征提取模块(2)用于对去除无效区域后的消化道图像进行特征计算得到图像纹理特征值、形状特征值和颜色特征值;
所述图像分段模块(3)用于利用图像纹理特征值、形状特征值、颜色特征值计算得到支持向量机训练模型,并利用支持向量机训练模型对提取的图像纹理特征值、形状特征值、颜色特征值进行分类,从而确定消化道图像在消化道内的具体分段位置。
2.一种利用权利要求1所述系统的消化道内图像的自动分段方法,其特征在于,它包括如下步骤:
步骤1:利用图像预处理模块(1)排除灰度均值超过预设阈值的无效图像;
步骤2:利用图像预处理模块(1)去除图像中无效区域,以减少需要处理的图像,所述图像中无效区域包括食物残渣区域、气泡区域、粘液区域和图像中灰度均值超过预设阈值的区域;
步骤3:利用特征提取模块(2)计算颜色特征值,所述颜色特征值包括图像绿色通道的颜色值减去图像蓝色通道的颜色值后的均值m、HSV颜色空间各颜色通道的Hu矩阵以及可伸缩颜色直方图;
所述图像绿色通道的颜色值减去图像蓝色通道的颜色值后的均值m的计算公式为:其中,x、y为像素位置,N为图像预处理后有效区域像素个数,gb(x,y)为图像绿色通道的颜色值减去图像蓝色通道的颜色值处理后的图像颜色值;
所述HSV颜色空间各颜色通道的Hu矩阵计算方法为:
Hu[0]=η2002
Hu[1]=(η2002)2+4η11
Hu[2]=(η30-3η12)2+(3η2103)2
Hu[3]=(η3012)2+(η2103)2
Hu[4]=(η30-3η12)(η3012)[(η3012)2-3(η2103)2]
+(3η2103)(η2103)[3(η3012)2-(η2103)2]
Hu[5]=(η2002)[(η3012)2-(η2103)2]
+4η113012)(η2103)
Hu[6]=(3η2103)(η3012)[(η3012)2-3(η2103)2]
+(3η1230)(η2103)[3(η3012)2-(η2103)2]
其中,pq为矩阵的阶数,ηpq为pq阶中心矩,μ00为图像所有像素和,p和q的取值范围均为[0,3],为灰度质心坐标,f(x,y)为HSV空间各颜色通道(x,y)位置处的像素值;
所述可伸缩颜色直方图的具体计算方式为:将色调H、饱和度S、明度V各颜色通道值分别量化到Hbin、Sbin、Vbin,Hbin为色调H通道的颜色特征量化极值,Sbin为饱和度S通道的颜色特征量化极值,Vbin为明度V通道的颜色特征量化极值,然后统计直方图,得到可伸缩颜色直方图SC,可伸缩颜色直方图SC的计算方式为:
SC(H(x,y)*Sbin*Vbin+S(x,y)*Vbin+V(x,y))
=SC(H(x,y)*Sbin*Vbin+S(x,y)*Vbin+V(x,y))+1
其中,H(x,y)表示像素坐标x,y对应像素中的色调H通道量化到Hbin后的数据,S(x,y)表示像素坐标x,y对应像素中的饱和度S通道量化到Sbin后的数据,V(x,y)表示像素坐标x,y对应像素中的明度V通道量化到Vbin后的数据;
利用特征提取模块(2)计算图像纹理特征值,图像纹理特征值包含CLBP直方图和图像去除气泡区域后的Gabor纹理特征g(x,y);
步骤4:利用Zernike矩提取消化道图像的形状特征值,消化道图像的形状特征值Zn1m1定义为:
其中,f1(x,y)为消化道图像的灰度值,在计算时需将消化道图像转化到极坐标系,Vn1m1 *(ρ,θ)=Rn1m1(ρ)e-jm1θ,ρ称为极径,θ称为极角,e为自然常数,j是虚数单位,Vn1m1为图像数据转化到极坐标系的值,x、y为消化道图像像素坐标,n1m1为矩阵的阶数;
R n 1 m 1 ( &rho; ) = &Sigma; s = 0 n 1 - | m 1 | 2 ( - 1 ) s ( n 1 - s ) ! s ! ( 1 2 ( n 1 + | m 1 | ) - s ) ! ( 1 2 ( n 1 - | m | 1 ) - s ) ! &rho; n 1 - 2 s
步骤5:利用图像绿色通道的颜色值减去图像蓝色通道的颜色值,得到所有消化道图像的均值m序列,通过判断序列中m值的变化值,即相邻消化道图像之间m值之差,当m值的变化值超过设定阈值tm时,此处消化道图像的位置即为初步分段的位置;
步骤6:在初步分段位置前后对称的选取连续的W张消化道图像,即初步分段位置前选取连续的W/2张,初步分段位置后选取连续的W/2张;对连续的W张消化道图像利用步骤3和步骤4的方法计算每张消化道图像的纹理特征值、形状特征值和颜色特征值;
步骤7:在图像分段模块(3)中利用预先训练好的支持向量机训练模型对步骤6提取的图像纹理特征值、形状特征值、颜色特征值进行分类,从而确定消化道图像在消化道内的具体分段位置,预先训练好的支持向量机训练模型通过步骤3和步骤4得到的图像纹理特征值、形状特征值、颜色特征值单独训练得到。
3.根据权利要求2所述消化道内图像的自动分段方法,其特征在于:所述步骤6中消化道图像张数W的取值范围为200~2000。
4.根据权利要求2所述消化道内图像的自动分段方法,其特征在于:所述步骤2中,图像预处理模块(1)利用Gabor滤波器来确定图像中气泡干扰的位置及大小,并将其删除。
5.根据权利要求2所述消化道内图像的自动分段方法,其特征在于:所述步骤3中,图像去除气泡区域后的Gabor纹理特征g(x,y)的具体算法为:
g ( x , y ) = k 2 &sigma; 2 e - k 2 ( x 2 + y 2 ) 2 &sigma; 2 &lsqb; e i k x y - e - &sigma; 2 2 &rsqb;
其中,σ表示滤波器的标准差,u和v分别表示Gabor滤波器的方向和尺度,K为滤波器总的方向数,x、y表示像素坐标位置,e为自然常数,i是虚数单位。
6.根据权利要求2所述消化道内图像的自动分段方法,其特征在于:所述步骤3中,CLBP直方图由符号CLBPS和幅度CLBPM构成,计算公式为:
CLBPS P 1 , R = &Sigma; p 2 = 0 P 1 - 1 s ( g P 2 - g c ) 2 p 2 , s ( x 1 ) = 1 , x 1 &GreaterEqual; 0 0 , x 1 < 0
CLBPM P 1 , R = &Sigma; p 2 = 0 P 1 - 1 t ( v p 2 , c ) 2 p 2 , t ( x 2 , c ) = 1 , x 2 &GreaterEqual; c 0 , x 2 < c
其中,P1为当前像素半径为R的邻域内需要使用的像素的个数,p2为[0,P1-1],gc为当前需要处理的像素值,gp2为当前像素周围的像素值,gp2的位置为(Rcos(2π*p2/P1),Rsin(2π*p2/P1)),vp2=|gp2-gc|为当前像素与邻域像素gp2差的绝对值,体现了幅度变化,c为整幅图像中vp2的均值,s(x1)为符号比较函数,t(x2,c)为幅度比较函数,x1=gP2-gc,x2=vp2
7.根据权利要求2所述消化道内图像的自动分段方法,其特征在于:所述步骤5中,利用m值变化进行消化道图像位置初步分段,当m的变化超过阈值tm时,当前图像为初步分段位置,m的计算公式为:
其中,x、y为像素位置,N为图像预处理后有效区域像素个数,gb(x,y)为图像绿色通道的颜色值减去图像蓝色通道的颜色值后的图像颜色值。
CN201610552999.XA 2016-07-14 2016-07-14 用于消化道内图像的自动分段系统和方法 Active CN106204599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610552999.XA CN106204599B (zh) 2016-07-14 2016-07-14 用于消化道内图像的自动分段系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610552999.XA CN106204599B (zh) 2016-07-14 2016-07-14 用于消化道内图像的自动分段系统和方法

Publications (2)

Publication Number Publication Date
CN106204599A true CN106204599A (zh) 2016-12-07
CN106204599B CN106204599B (zh) 2019-04-26

Family

ID=57474930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610552999.XA Active CN106204599B (zh) 2016-07-14 2016-07-14 用于消化道内图像的自动分段系统和方法

Country Status (1)

Country Link
CN (1) CN106204599B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146221A (zh) * 2017-04-18 2017-09-08 重庆金山医疗器械有限公司 基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法
CN107145840A (zh) * 2017-04-18 2017-09-08 重庆金山医疗器械有限公司 内镜专家诊断知识嵌入的计算机辅助 wce 序列图像数据识别模型
CN107240091A (zh) * 2017-04-21 2017-10-10 安翰光电技术(武汉)有限公司 胶囊内窥镜图像预处理系统及方法
CN110084280A (zh) * 2019-03-29 2019-08-02 广州思德医疗科技有限公司 一种确定分类标签的方法及装置
US10537720B2 (en) 2018-04-09 2020-01-21 Vibrant Ltd. Method of enhancing absorption of ingested medicaments for treatment of parkinsonism
CN111554383A (zh) * 2020-04-24 2020-08-18 浙江杜比医疗科技有限公司 一种用于乳腺肿瘤检测的神经网络及其检测系统
US10814113B2 (en) 2019-01-03 2020-10-27 Vibrant Ltd. Device and method for delivering an ingestible medicament into the gastrointestinal tract of a user
US10888277B1 (en) 2017-01-30 2021-01-12 Vibrant Ltd Method for treating diarrhea and reducing Bristol stool scores using a vibrating ingestible capsule
US10905378B1 (en) 2017-01-30 2021-02-02 Vibrant Ltd Method for treating gastroparesis using a vibrating ingestible capsule
US11020018B2 (en) 2019-01-21 2021-06-01 Vibrant Ltd. Device and method for delivering a flowable ingestible medicament into the gastrointestinal tract of a user
US11052018B2 (en) 2019-02-04 2021-07-06 Vibrant Ltd. Temperature activated vibrating capsule for gastrointestinal treatment, and a method of use thereof
US11478401B2 (en) 2016-09-21 2022-10-25 Vibrant Ltd. Methods and systems for adaptive treatment of disorders in the gastrointestinal tract
US11504024B2 (en) 2018-03-30 2022-11-22 Vibrant Ltd. Gastrointestinal treatment system including a vibrating capsule, and method of use thereof
US11510590B1 (en) 2018-05-07 2022-11-29 Vibrant Ltd. Methods and systems for treating gastrointestinal disorders
US11638678B1 (en) 2018-04-09 2023-05-02 Vibrant Ltd. Vibrating capsule system and treatment method
EP4201296A4 (en) * 2020-08-18 2024-01-10 Ankon Technologies Co Ltd IMAGE-BASED DETECTION METHOD, ELECTRONIC DEVICE AND READABLE STORAGE MEDIUM

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657580A (zh) * 2015-12-30 2016-06-08 北京工业大学 一种胶囊内镜视频摘要生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657580A (zh) * 2015-12-30 2016-06-08 北京工业大学 一种胶囊内镜视频摘要生成方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
RAN ZHOU 等: "A novel method for capsule endoscopy video automatic segmentation", 《2013 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
TAO MA 等: "Wireless capsule Endoscopy Image Classification Based on Vector Sparse Coding", 《IEEE CHINA SUMMIT & INTERNATIONAL CONFERENCE ON SIGNAL & INFORMATION PROCESSING》 *
付延安: "无线胶囊内窥镜图像处理技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *
周明全 等: "《基于内容图像检索技术》", 13 July 2007 *
张非: "胶囊内窥镜图像特征提取和选取算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
查宇飞 等: "《视频目标跟踪方法》", 31 July 2015 *
田云: "基于二次分割的多特征图像分类方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈炳权 等: "基于颜色纹理和形状特征相结合的图像检索系统", 《湖南文理学院学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11478401B2 (en) 2016-09-21 2022-10-25 Vibrant Ltd. Methods and systems for adaptive treatment of disorders in the gastrointestinal tract
US10888277B1 (en) 2017-01-30 2021-01-12 Vibrant Ltd Method for treating diarrhea and reducing Bristol stool scores using a vibrating ingestible capsule
US10905378B1 (en) 2017-01-30 2021-02-02 Vibrant Ltd Method for treating gastroparesis using a vibrating ingestible capsule
CN107145840A (zh) * 2017-04-18 2017-09-08 重庆金山医疗器械有限公司 内镜专家诊断知识嵌入的计算机辅助 wce 序列图像数据识别模型
CN107146221A (zh) * 2017-04-18 2017-09-08 重庆金山医疗器械有限公司 基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法
CN107146221B (zh) * 2017-04-18 2020-04-21 重庆金山医疗器械有限公司 基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法
CN107145840B (zh) * 2017-04-18 2020-04-21 重庆金山医疗器械有限公司 内镜专家诊断知识嵌入的计算机辅助wce序列图像数据识别方法
CN107240091A (zh) * 2017-04-21 2017-10-10 安翰光电技术(武汉)有限公司 胶囊内窥镜图像预处理系统及方法
CN107240091B (zh) * 2017-04-21 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像预处理系统及方法
US11504024B2 (en) 2018-03-30 2022-11-22 Vibrant Ltd. Gastrointestinal treatment system including a vibrating capsule, and method of use thereof
US10537720B2 (en) 2018-04-09 2020-01-21 Vibrant Ltd. Method of enhancing absorption of ingested medicaments for treatment of parkinsonism
US10543348B2 (en) 2018-04-09 2020-01-28 Vibrant Ltd. Method of enhancing absorption of ingested medicaments for treatment of an an ailment of the GI tract
US11638678B1 (en) 2018-04-09 2023-05-02 Vibrant Ltd. Vibrating capsule system and treatment method
US11510590B1 (en) 2018-05-07 2022-11-29 Vibrant Ltd. Methods and systems for treating gastrointestinal disorders
US10814113B2 (en) 2019-01-03 2020-10-27 Vibrant Ltd. Device and method for delivering an ingestible medicament into the gastrointestinal tract of a user
US11020018B2 (en) 2019-01-21 2021-06-01 Vibrant Ltd. Device and method for delivering a flowable ingestible medicament into the gastrointestinal tract of a user
US11052018B2 (en) 2019-02-04 2021-07-06 Vibrant Ltd. Temperature activated vibrating capsule for gastrointestinal treatment, and a method of use thereof
CN110084280A (zh) * 2019-03-29 2019-08-02 广州思德医疗科技有限公司 一种确定分类标签的方法及装置
CN111554383A (zh) * 2020-04-24 2020-08-18 浙江杜比医疗科技有限公司 一种用于乳腺肿瘤检测的神经网络及其检测系统
CN111554383B (zh) * 2020-04-24 2023-09-05 浙江杜比医疗科技有限公司 一种用于乳腺肿瘤检测的神经网络及其检测系统
EP4201296A4 (en) * 2020-08-18 2024-01-10 Ankon Technologies Co Ltd IMAGE-BASED DETECTION METHOD, ELECTRONIC DEVICE AND READABLE STORAGE MEDIUM

Also Published As

Publication number Publication date
CN106204599B (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN106204599A (zh) 用于消化道内图像的自动分段系统和方法
CN106097335B (zh) 消化道病灶图像识别系统及识别方法
Seguí et al. Generic feature learning for wireless capsule endoscopy analysis
Ribeiro et al. Colonic polyp classification with convolutional neural networks
Cong et al. Deep sparse feature selection for computer aided endoscopy diagnosis
CN101966071B (zh) 图像处理装置以及图像处理方法
CN101150977B (zh) 图像处理装置
CN109934276B (zh) 基于迁移学习的胶囊内窥镜图像分类系统及方法
US8705818B2 (en) Image processing device, computer readable storage medium storing image processing program, and image processing method
CN110705440B (zh) 一种基于神经网络特征融合的胶囊内镜图像识别模型
WO2019184851A1 (zh) 图像处理方法和装置及神经网络模型的训练方法
CN106464849A (zh) 图像处理装置、内窥镜系统以及图像处理方法
CN105657580A (zh) 一种胶囊内镜视频摘要生成方法
Yuan et al. Automatic bleeding frame detection in the wireless capsule endoscopy images
Gueye et al. Automatic detection of colonoscopic anomalies using capsule endoscopy
Chen et al. Ulcer detection in wireless capsule endoscopy video
CN113793301A (zh) 基于稠密卷积网络模型的眼底影像分析模型的训练方法
CN105118070A (zh) 基于时间序列的无线胶囊内窥镜视频中的出血段定位方法
Karargyris et al. Identification of ulcers in wireless capsule endoscopy videos
Vasilakakis et al. DINOSARC: Color features based on selective aggregation of chromatic image components for wireless capsule endoscopy
KahsayGebreslassie et al. Automated gastrointestinal disease recognition for endoscopic images
Vu et al. Boundary delineation of reflux esophagitis lesions from endoscopic images using color and texture
Valério et al. Lesions multiclass classification in endoscopic capsule frames
Gadermayr et al. Getting one step closer to fully automatized celiac disease diagnosis
Ruiz et al. Automatic polyp detection from a regional appearance model and a robust dense Hough coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 430075 666 new high tech Avenue, East Lake New Technology Development Zone, Wuhan, Hubei

Applicant after: Anhan Science and Technology (Wuhan) Co., Ltd.

Address before: 430075 666 new high tech Avenue, East Lake New Technology Development Zone, Wuhan, Hubei

Applicant before: Ankon Photoelectric Technology (Wuhan) Co., Ltd.

GR01 Patent grant
GR01 Patent grant