CN106373137A - 用于胶囊内窥镜的消化道出血图像检测方法 - Google Patents

用于胶囊内窥镜的消化道出血图像检测方法 Download PDF

Info

Publication number
CN106373137A
CN106373137A CN201610714982.XA CN201610714982A CN106373137A CN 106373137 A CN106373137 A CN 106373137A CN 201610714982 A CN201610714982 A CN 201610714982A CN 106373137 A CN106373137 A CN 106373137A
Authority
CN
China
Prior art keywords
mask
image
doubtful
ratio
hemorrhage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610714982.XA
Other languages
English (en)
Other versions
CN106373137B (zh
Inventor
张行
张皓
袁文金
王新宏
段晓东
肖国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhan Science and Technology (Wuhan) Co., Ltd.
Original Assignee
ANKON PHOTOELECTRIC TECHNOLOGY (WUHAN) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANKON PHOTOELECTRIC TECHNOLOGY (WUHAN) Co Ltd filed Critical ANKON PHOTOELECTRIC TECHNOLOGY (WUHAN) Co Ltd
Priority to CN201610714982.XA priority Critical patent/CN106373137B/zh
Publication of CN106373137A publication Critical patent/CN106373137A/zh
Application granted granted Critical
Publication of CN106373137B publication Critical patent/CN106373137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种用于胶囊内窥镜的消化道出血图像检测方法,它包括如下步骤:步骤1:患者吞服胶囊内窥镜后,胶囊内窥镜在消化道内采集图像,并将图像通过无线通信送入计算机,计算机对消化道图像进行数据预处理;步骤2:对预处理后的消化道图像分别进行点状出血检测和面状出血检测,确定消化道内是否存在出血,并对点状出血区域和面状出血区域进行标识,本发明可有效识别出图像出血,提高了医生的工作效率。

Description

用于胶囊内窥镜的消化道出血图像检测方法
技术领域
本发明涉及图像识别技术领域,具体地指一种用于胶囊内窥镜的消化道出血图像检测方法。
背景技术
胃肠道疾病如胃癌、肠癌、急慢性胃炎、溃疡病等,多为常见病、多发病,它对人类的健康有很大的威胁,胶囊型内窥镜系统由于其高安全性、高可靠性等优点,作为判断消化道病症的有效手段目前已被大家认可,并广泛应用于消化道检查中。而消化道疾病中很多疾病都伴随有出血。通过将计算机技术和图像识别技术相结合,精确的检测出图像序列中的出血图像,能够在胶囊型内窥镜系统进行消化道检查中辅助医生进行诊断,提高诊断的效率,减轻医生的工作量。出血颜色有鲜红、暗红甚至近乎黑色,出血区域的形状大小各异,有很小的点,也有成片的区域,消化道所处的环境也十分复杂,图像还会受到光照、阴影、消化道褶皱、消化液、食物残渣等多种因素的影响,这就给出血图像检测带来了很大的困难,现有技术《基于支持向量机的无线胶囊内窥镜图像出血检测研究》(宋新颖,硕士学位论文),提出了一种基于二值向量的出血检测方法,该方法提取HSV空间的色调-饱和度直方图,并对其进行二值化操作得到一个二值向量特征,将该特征送入SVM分类器进行分类。该技术利用的是图像整体的颜色直方图信息,对于出血区域很小的点状出血图像,该图像的色调-饱和度直方图和正常图像的色调-饱和度直方图并没有明显差异,因此提取的二值向量特征并不能区分点状出血图像和正常图像,这就会使得分类出现错误,降低识别率。
现有技术,专利申请号为201510654145.8的中国专利《基于时间序列的无线胶囊内窥镜视频中的出血段定位方法》,该专利中先使用超像素分割得到多个图像块,然后提取图像块在RGB空间的R分量和B分量的比值以及CIELab空间的a分量的均值共两个特征,将这两个特征送入预先训练好的SVM分类模型中进行分类,判断是否出血。该技术在判断是否是出血图像时只利用了红色信息(出血一般是红色),没有利用任何的纹理特征。而实际的胶囊内窥镜的出血图像中存在陈旧性出血点,这种类型的出血在颜色上并不是明显的红色,而是近乎暗红色,甚至黑色,该技术无法很好的识别。
现有技术,《无线胶囊内窥镜系统及内窥图像中出血智能识别研究》(潘国兵,博士学位论文),文中提出了利用颜色向量相似性系数的出血识别方法和基于神经网络的出血识别方法,论文中提到的两个方法都只用到了颜色信息,仅利用颜色信息并不能很好的识别陈旧性出血点。
参考文献:
《基于时间序列的无线胶囊内窥镜视频中的出血段定位方法》(专利申请号:201510654145.8)。
《基于支持向量机的无线胶囊内窥镜图像出血检测研究》(宋新颖,硕士学位论文)
《无线胶囊内窥镜系统及内窥图像中出血智能识别研究》(潘国兵,博士学位论文)
发明内容
本发明的目的就是要解决上述现有技术存在的不足,提供一种用于胶囊内窥镜的消化道出血图像检测方法,该检测方法可有效识别出图像出血,提高了医生的工作效率。
本发明为实现该目的,提供了一种用于胶囊内窥镜的消化道出血图像检测方法,其特征在于,它包括如下步骤:
步骤1:患者吞服胶囊内窥镜后,胶囊内窥镜在消化道内采集图像,并将图像通过无线通信送入计算机,然后计算机对采集到的消化道图像进行数据预处理;
步骤2:对预处理后的消化道图像分别进行点状出血检测和面状出血检测,确定消化道内是否存在出血,并对点状出血区域和面状出血区域进行标识;
所述点状出血检测的具体步骤为:
步骤201:采用基于Haar特征或LBP特征或Hog特征的Adaboost级联算法训练一个级联分类器,用该级联分类器来对预处理后的消化道图像进行扫描,找出预处理后的消化道图像中的疑似点状出血区域;
步骤202:对得到的这些疑似点状出血区域采用疑似点状出血区域过滤算法进行排除,排除掉非点状出血区域;
步骤203:对疑似点状出血区域中没有被步骤202排除的区域采用疑似点状出血区域分类算法进行分类,分类为点状出血块和非点状出血块,并将点状出血块进行标记;
所述面状出血检测的具体步骤为:
步骤2001:对预处理后的消化道图像进行超像素分割得到多个超像素图像块,超像素分割采用简单线性迭代聚类算法(SLIC,simple linear iterative clustering),得到的超像素图像块的个数与初始设置的种子数有关;
步骤2002:计算每个超像素图像块在RGB颜色空间内的R分量均值meanR、G分量均值meanG和B分量均值meanB,另外,还计算出比值F1、比值F2和比值F3,其中,比值F1=meanR/meanG,比值F2=meanR/meanB,比值F3=meanR/(meanR+meanG+meanB);
步骤2003:计算每个超像素图像块在HSI颜色空间内H分量均值meanH、S分量均值meanS、I分量均值meanI,另外,还计算出比值F4、比值F5和比值F6,其中,比值F4=meanS/meanH,比值F5=meanS/meanI,比值F6=meanS/(meanH+meanS+meanI);
步骤2004:如果上述均值meanR小于阈值TmeanR或比值F1小于阈值TF1或比值F2小于阈值TF2,那么直接判定该超像素图像块不是出血超像素块,否则,该超像素图像块为疑似出血超像素块;
步骤2005:对于疑似出血超像素图像块利用已训练好的支持向量机模型(SVM,Support Vector Machine),输入比值F1、比值F2、比值F3、比值F4、比值F5、比值F6以及均值meanR、均值meanG、均值meanB进行出血超像素块与非出血超像素块的分类,并将出血超像素块进行标记。
本发明具有如下有益效果:
1、本发明可以对胶囊内窥镜采集到的消化道图像进行智能出血的判断,能够辅助医生进行疾病的诊断,减少了医生的工作量。
2、目前还没有针对胃部图像的出血检测方法。现有的出血图像检测都是针对小肠图像的,小肠空间较小,胶囊内窥镜贴着小肠壁拍摄到的病灶部位比较大,较明显。然而胃部空腔体积大,胶囊内窥镜采集到的图像因为拍摄距离的原因,病灶部位有时会比较小,现有的方法难以识别。本发明结合点状出血检测和面状出血检测,可以同时检测小面积的出血和大面积的出血,提高了出血检测的识别率,增强了图像检测方法的适应性。
附图说明
图1为本发明的流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明:
本发明的一种用于胶囊内窥镜的消化道出血图像检测方法,它包括如下步骤:
步骤1:患者吞服胶囊内窥镜后,胶囊内窥镜在消化道内采集图像,并将图像通过无线通信送入计算机,然后计算机对采集到的消化道图像进行数据预处理;
步骤2:对预处理后的消化道图像分别进行点状出血检测和面状出血检测,确定消化道内是否存在出血,并对点状出血区域和面状出血区域进行标识;
所述点状出血检测的具体步骤为:
步骤201:采用基于Haar特征或LBP特征或Hog特征的Adaboost级联算法训练一个级联分类器,用该级联分类器来对预处理后的消化道图像进行扫描,找出预处理后的消化道图像中的疑似点状出血区域;
步骤202:对得到的这些疑似点状出血区域采用疑似点状出血区域过滤算法进行排除,排除掉非点状出血区域;
步骤203:对疑似点状出血区域中没有被步骤202排除的区域采用疑似点状出血区域分类算法进行分类,分类为点状出血块和非点状出血块,并将点状出血块进行标记;
所述面状出血检测的具体步骤为:
步骤2001:对预处理后的消化道图像进行超像素分割得到多个超像素图像块,超像素分割采用简单线性迭代聚类算法,得到的超像素图像块的个数与初始设置的种子数有关;
步骤2002:计算每个超像素图像块在RGB颜色空间内的R分量均值meanR、G分量均值meanG和B分量均值meanB,另外,还计算出比值F1、比值F2和比值F3,其中,比值F1=meanR/meanG,比值F2=meanR/meanB,比值F3=meanR/(meanR+meanG+meanB);
步骤2003:计算每个超像素图像块在HSI颜色空间内H分量均值meanH、S分量均值meanS、I分量均值meanI,另外,还计算出比值F4、比值F5和比值F6,其中,比值F4=meanS/meanH,比值F5=meanS/meanI,比值F6=meanS/(meanH+meanS+meanI);
步骤2004:如果上述均值meanR小于阈值TmeanR或比值F1小于阈值TF1或比值F2小于阈值TF2,那么直接判定该超像素图像块不是出血超像素块,否则,该超像素图像块为疑似出血超像素块;上述阈值TmeanR的取值范围为40~80,阈值TF1的取值范围为1.0~1.6,阈值TF2的取值范围为1.0~1.6;
步骤2005:对于疑似出血超像素图像块利用已训练好的支持向量机模型(SVM,Support Vector Machine),输入比值F1、比值F2、比值F3、比值F4、比值F5、比值F6以及均值meanR、均值meanG、均值meanB进行出血超像素块与非出血超像素块的分类,并将出血超像素块进行标记。
上述技术方案的步骤202中的疑似点状出血区域过滤算法为:将疑似点状出血区域的图像转换到灰度空间,计算灰度图像的灰度均值,如果灰度均值小于阈值Tgray(阈值Tgray取值范围为40~60),判定该矩形区域为非点状出血区域,并对该非点状出血区域进行排除;
如果灰度均值不小于阈值Tgray,那么对疑似点状出血区域进行进一步的过滤排除,方法为:在RGB颜色空间下,分别获得消化道图像的单个颜色通道分量,即R、G和B分量,计算图像R分量与G分量的比值得到rg,R分量与B分量的比值得到rb,并计算rg的均值rgMean和rb的均值rbMean;
分别根据rg与rgMean和rb与rbMean得到两个掩膜图rgMask和rbMask,计算方法如下:
r g M a s k = 1 , i f r g M e a n &le; 1.4 a n d r g M e a n + 0.18 1 , i f 1.4 < r g M e a n < 1.9 a n d r g > r g M e a n + 0.25 1 , i f r g M e a n &GreaterEqual; 1.9 a n d r g > r g M e a n + 0.2 0 , o t h e r .
r b M a s k = 1 , i f r b M e a n &le; 2.5 a n d r b > r b M e a n + 0.3 1 , i f r b M e a n > 2.5 a n d r b > 3 0 , o t h e r .
将掩膜图rgMask和rbMask作与运算得到两个掩膜相交的区域,如果相交区域为空,那么判定该矩形区域为非点状出血区域,实现了对疑似出血矩形区域中非出血区域的进一步排除。
上述技术方案的步骤203:对疑似点状出血区域中没有被步骤202排除的区域采用疑似点状出血区域分类算法进行分类的具体方法为:利用人类视觉系统理论算法(HumanVisual System,HVS)求取人类视觉系统掩膜Mask(HVS)(Mask(HVS)由五个子掩膜共同组成),并利用人类视觉系统掩膜对疑似点状出血区域进行分割,产生前景数据和背景数据,图像中被人类视觉系统掩膜Mask(HVS)覆盖到的部分称为前景数据,未覆盖到的部分称为背景数据,然后对分割后的疑似点状出血区域进行特征提取,提取的特征包括前景区所占的面积比特征f_arearatio、对比度特征f_contrast、偏心率特征f_eccentricity、颜色特征f_rgb和形态学特征f_morpho,然后将上述前景区所占的面积比特征f_arearatio、对比度特征f_contrast、偏心率特征f_eccentricity、颜色特征f_rgb和形态学特征f_morpho送入已训练好的SVM模型中进行分类,将疑似点状出血区域中没有被步骤202排除的区域分类为点状出血区域和非点状出血区域。
上述技术方案中,所述人类视觉系统掩膜Mask(HVS)包括R/G掩膜Mask(R/G)、R/B掩膜Mask(R/B)、边缘掩膜Mask(edge)、轮廓掩膜Mask(outline)和强度掩膜Mask(Intensity),其中,R/G掩膜Mask(R/G)中R和G分别为彩色RGB图像的R分量和G分量,二者相除得到Map(R/G),然后对Map(R/G)进行二值化,二值化计算的阈值设为Map(R/G)的中值,得到R/G掩膜,具体计算公式为:
Map ( R / G ) = R G ,
Mask ( R / G ) = 1 , i f Map ( R / G ) > = m e d i a n ( Map ( R / G ) ) 0 , i f Map ( R / G ) < m e d i a n ( Map ( R / G ) ) .
其中median(Map(R/G))是指求取Map(R/G)的中值;
所述R/B掩膜Mask(R/B)中R和B分别为彩色RGB图像的R分量和B分量,二者相除得到Map(R/B),然后对Map(R/B)进行二值化,二值化计算的阈值设为Map(R/B)的中值,得到R/B掩膜,具体计算公式为:
Map ( R / B ) = R B ,
Mask ( R / B ) = 1 , i f Map ( R / B ) > = m e d i a n ( Map ( R / B ) ) 0 , i f Map ( R / B ) < m e d i a n ( Map ( R / B ) ) .
其中median(Map(R/B))是指求取Map(R/B)的中值;
所述边缘掩膜Mask(edge)用四个滤波核与疑似点状出血区域图像进行卷积操作得到四个边缘图,对每个像素点取四个边缘图中的最大值作为疑似点状出血区域图像的边缘edge_I,然后对疑似点状出血区域图像的边缘edge_I,利用视觉显著度理论求取显著的边缘得到边缘掩膜Mask(edge),具体计算公式为:
Mask ( e d g e ) = 1 , i f 1 - exp &lsqb; - e d g e _ I m e d i a n ( e d g e _ I + 0.05 * s t d ( e d g e _ I ) ) &rsqb; > 0.632 0 , o t h e r ,
其中median是求中值的函数,std是求标准差的函数;
所述轮廓掩膜Mask(outline),通过添加一个半径为图像宽度的一半的圆形掩膜,去掉四周的边界信息得到;
所述强度掩膜Mask(Intensity)的具体计算公式为:
Mask ( I n t e n s i t y ) = 1 , i f I < = &lsqb; m e a n ( I ) + s t d ( I ) &rsqb; 0 , o t h e r ,
其中I=(R+G+B)/3,R、G、B分别为彩色RGB图像的R分量、G分量和B分量,mean为求均值的函数,std为求标准差的函数;
所述的人类视觉系统掩膜Mask(HVS)由五个子掩膜Mask(R/G)、Mask(R/B)、Mask(edge)、Mask(outline)和Mask(Intensity)相交得到,具体计算公式为:
Mask(HVS)=Mask(R/G)∩Mask(R/B)∩Mask(edge)∩Mask(outline)∩Mask(Intensity).。
上述技术方案中对分割后的疑似点状出血区域进行特征提取,前景区所占的面积比特征f_arearatio、对比度特征f_contrast、偏心率特征f_eccentricity、颜色特征f_rgb和形态学特征f_morpho的具体计算方法为:
所述前景区所占的面积比特征f_arearatio的计算公式为:
f _ a r e a r a t i o = a r e a ( f o r e g r o u n d ) w i d t h * h e i g h t
其中area函数为求取区域面积的函数;area(foreground)为前景区的面积,即人类视觉系统掩膜Mask(HVS)的面积;width和height分别为疑似点状出血区域图像的宽和高。
对比度特征f_contrast的计算公式为:
f _ c o n t r a s t = a b s ( m e a n ( f o r e g r o u n d ) - m e a n ( b a c k g r o u n d ) m a x ( I _ g r a y ) - m i n ( I _ g r a y ) )
其中I_gray为疑似点状出血区域图像的灰度值,max和min分别为求取最大值和最小值的函数,mean表示求均值函数,mean(foreground)表示前景区域的均值,mean(background)表示背景区域的均值,abs表示求绝对值;
偏心率特征f_eccentricity的获取方法为先得到人类视觉系统掩膜Mask(HVS)中面积最大的连通区域,然后求取这个最大连通区域的偏心率;
颜色特征f_rgb由r_mean、rg_mean、rb_mean三个特征组成,其中r_mean,rg_mean,rb_mean的计算公式分别为:
r_mean=mean(R)
r g _ m e a n = m e a n ( R ) m e a n ( G )
r b _ m e a n = m e a n ( R ) m e a n ( B )
其中,mean(R)、mean(G)和mean(B)分别表示R、G、B三个分量的均值;
所述形态学特征f_morpho的获取方式为,先求取人类视觉系统掩膜Mask(HVS)内所有点到区域中心(centerX,centerY)的归一化距离dist,其计算公式为:
d i s t = s q r t &lsqb; ( Mask ( H V S ) ( x ) - c e n t e r X ) 2 + ( Mask ( H V S ) ( y ) - c e n t e r Y ) 2 &rsqb; s q r t &lsqb; width 2 + height 2 &rsqb; .
Mask(HVS)(x)表示人类视觉系统掩膜的横坐标,Mask(HVS)(y)表示人类视觉系统掩膜的纵坐标,width表示疑似点状出血区域图像的宽,height表示疑似点状出血区域图像的高,sqrt表示表示开方运算;
求归一化距离dist的最小值dist_min,最大值dist_max,均值dist_mean、标准差dist_std以及归一化后直方图的熵dist_h,其计算公式如下:
dist_min=min(dist)
dist_max=max(dist)
dist_mean=mean(dist)
mean为求均值的函数
dist_std=std(dist)
std表示求标准差的函数
d i s t _ h = - s u m ( p * log 2 p )
其中hist为求直方图的函数,sum为求和的函数;形态学特征f_morpho是将上述特征进行组合:
f_morpho=[dist_min,1-dist_max,1-dist_mean,dist_std,dist_h].
上述技术方案的步骤201中,采用基于Haar特征或LBP特征或Hog特征的Adaboost级联算法训练一个级联分类器,用该级联分类器来对预处理后的消化道图像进行扫描,找出预处理后的消化道图像中的疑似点状出血区域的具体方法为:先选取Haar特征或LBP特征或Hog特征,然后利用带有标签的样本(带有标签的意思是已知样本的类别,如出血样本、非出血样本)训练Adaboost级联分类器,得到一个训练好的分类模型,然后利用这个训练好的分类模型在消化道图像中找疑似点状出血矩形区域。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (8)

1.一种用于胶囊内窥镜的消化道出血图像检测方法,其特征在于,它包括如下步骤:
步骤1:患者吞服胶囊内窥镜后,胶囊内窥镜在消化道内采集图像,并将图像通过无线通信送入计算机,然后计算机对采集到的消化道图像进行数据预处理;
步骤2:对预处理后的消化道图像分别进行点状出血检测和面状出血检测,确定消化道内是否存在出血,并对点状出血区域和面状出血区域进行标识;
所述点状出血检测的具体步骤为:
步骤201:采用基于Haar特征或LBP特征或Hog特征的Adaboost级联算法训练一个级联分类器,用该级联分类器来对预处理后的消化道图像进行扫描,找出预处理后的消化道图像中的疑似点状出血区域;
步骤202:对得到的这些疑似点状出血区域采用疑似点状出血区域过滤算法进行排除,排除掉非点状出血区域;
步骤203:对疑似点状出血区域中没有被步骤202排除的区域采用疑似点状出血区域分类算法进行分类,分类为点状出血块和非点状出血块,并将点状出血块进行标记;
所述面状出血检测的具体步骤为:
步骤2001:对预处理后的消化道图像进行超像素分割得到多个超像素图像块,超像素分割采用简单线性迭代聚类算法,得到的超像素图像块的个数与初始设置的种子数有关;
步骤2002:计算每个超像素图像块在RGB颜色空间内的R分量均值meanR、G分量均值meanG和B分量均值meanB,另外,还计算出比值F1、比值F2和比值F3,其中,比值F1=meanR/meanG,比值F2=meanR/meanB,比值F3=meanR/(meanR+meanG+meanB);
步骤2003:计算每个超像素图像块在HSI颜色空间内H分量均值meanH、S分量均值meanS、I分量均值meanI,另外,还计算出比值F4、比值F5和比值F6,其中,比值F4=meanS/meanH,比值F5=meanS/meanI,比值F6=meanS/(meanH+meanS+meanI);
步骤2004:如果上述均值meanR小于阈值TmeanR或比值F1小于阈值TF1或比值F2小于阈值TF2,那么直接判定该超像素图像块不是出血超像素块,否则,该超像素图像块为疑似出血超像素块;
步骤2005:对于疑似出血超像素图像块利用已训练好的支持向量机模型,输入比值F1、比值F2、比值F3、比值F4、比值F5、比值F6以及均值meanR、均值meanG、均值meanB进行出血超像素块与非出血超像素块的分类,并将出血超像素块进行标记。
2.根据权利要求1所述的用于胶囊内窥镜的消化道出血图像检测方法,其特征在于:所述步骤202中的疑似点状出血区域过滤算法为:将疑似点状出血区域的图像转换到灰度空间,计算灰度图像的灰度均值,如果灰度均值小于阈值Tgray,判定该矩形区域为非点状出血区域,并对该非点状出血区域进行排除;
如果灰度均值不小于阈值Tgray,那么对疑似点状出血区域进行进一步的过滤排除,方法为:在RGB颜色空间下,分别获得消化道图像的单个颜色通道分量,即R、G和B分量,计算图像R分量与G分量的比值得到rg,R分量与B分量的比值得到rb,并计算rg的均值rgMean和rb的均值rbMean;
分别根据rg与rgMean和rb与rbMean得到两个掩膜图rgMask和rbMask,计算方法如下:
r g M a s k = 1 , i f r g M e a n &le; 1.4 a n d r g > r g M e a n + 0.18 1 , i f 1.4 < r g M e a n < 1.9 a n d r g > r g M e a n + 0.25 1 , i f r g M e a n &GreaterEqual; 1.9 a n d r g > r g M e a n + 0.2 0 , o t h e r .
r b M a s k = 1 , i f r b M e a n &le; 2.5 a n d r b > r b M e a n + 0.3 1 , i f r b M e a n > 2.5 a n d r b > 3 0 , o t h e r .
将掩膜图rgMask和rbMask作与运算得到两个掩膜相交的区域,如果相交区域为空,那么判定该矩形区域为非点状出血区域,实现了对疑似点状出血区域中非出血区域的进一步排除。
3.根据权利要求1所述的用于胶囊内窥镜的消化道出血图像检测方法,其特征在于:所述步骤203:对疑似点状出血区域中没有被步骤202排除的区域采用疑似点状出血区域分类算法进行分类的具体方法为:利用人类视觉系统理论算法求取人类视觉系统掩膜Mask(HVS),并利用人类视觉系统掩膜对疑似点状出血区域进行分割,产生前景数据和背景数据,图像中被人类视觉系统掩膜Mask(HVS)覆盖到的部分称为前景数据,未覆盖到的部分称为背景数据,然后对分割后的疑似点状出血区域进行特征提取,提取的特征包括前景区所占的面积比特征f_arearatio、对比度特征f_contrast、偏心率特征f_eccentricity、颜色特征f_rgb和形态学特征f_morpho,然后将上述前景区所占的面积比特征f_arearatio、对比度特征f_contrast、偏心率特征f_eccentricity、颜色特征f_rgb和形态学特征f_morpho送入已训练好的SVM模型中进行分类,将疑似点状出血区域中没有被步骤202排除的区域分类为点状出血区域和非点状出血区域。
4.根据权利要求3所述的用于胶囊内窥镜的消化道出血图像检测方法,其特征在于:所述人类视觉系统掩膜Mask(HVS)包括R/G掩膜Mask(R/G)、R/B掩膜Mask(R/B)、边缘掩膜Mask(edge)、轮廓掩膜Mask(outline)和强度掩膜Mask(Intensity),其中,R/G掩膜Mask(R/G)中R和G分别为彩色RGB图像的R分量和G分量,二者相除得到Map(R/G),然后对Map(R/G)进行二值化,二值化计算的阈值设为Map(R/G)的中值,得到R/G掩膜,具体计算公式为:
Map ( R / G ) = R G ,
Mask ( R / G ) = 1 , i f Map ( R / G ) > = m e d i a n ( Map ( R / G ) ) 0 , i f Map ( R / G ) < m e d i a n ( Map ( R / G ) ) .
其中median(Map(R/G))是指求取Map(R/G)的中值;
所述R/B掩膜Mask(R/B)中R和B分别为彩色RGB图像的R分量和B分量,二者相除得到Map(R/B),然后对Map(R/B)进行二值化,二值化计算的阈值设为Map(R/B)的中值,得到R/B掩膜,具体计算公式为:
Map ( R / B ) = R B ,
Mask ( R / B ) = 1 , i f Map ( R / B ) > = m e d i a n ( Map ( R / B ) ) 0 , i f Map ( R / B ) < m e d i a n ( Map ( R / B ) ) .
其中median(Map(R/B))是指求取Map(R/B)的中值;
所述边缘掩膜Mask(edge)用四个滤波核与疑似点状出血区域图像进行卷积操作得到四个边缘图,对每个像素点取四个边缘图中的最大值作为疑似点状出血区域图像的边缘edge_I,然后对疑似点状出血区域图像的边缘edge_I,利用视觉显著度理论求取显著的边缘得到边缘掩膜Mask(edge),具体计算公式为:
Mask ( e d g e ) = 1 , i f 1 - exp &lsqb; - e d g e _ I m e d i a n ( e d g e _ I + 0.05 * s t d ( e d g e _ I ) ) &rsqb; > 0.632 0 , o t h e r ,
其中median是求中值的函数,std是求标准差的函数;
所述轮廓掩膜Mask(outline),通过添加一个半径为图像宽度的一半的圆形掩膜,去掉四周的边界信息得到;
所述强度掩膜Mask(Intensity)的具体计算公式为:
Mask ( I n t e n s i t y ) = 1 , i f I < = &lsqb; m e a n ( I ) + s t d ( I ) &rsqb; 0 , o t h e r ,
其中I=(R+G+B)/3,R、G、B分别为彩色RGB图像的R分量、G分量和B分量,mean为求均值的函数,std为求标准差的函数;
所述的人类视觉系统掩膜Mask(HVS)由五个子掩膜Mask(R/G)、Mask(R/B)、Mask(edge)、Mask(outline)和Mask(Intensity)相交得到,具体计算公式为:
Mask(HVS)=Mask(R/G)∩Mask(R/B)∩Mask(edge)∩Mask(outline)∩Mask(Intensity).。
5.根据权利要求3所述的用于胶囊内窥镜的消化道出血图像检测方法,其特征在于:对分割后的疑似点状出血区域进行特征提取,前景区所占的面积比特征f_arearatio、对比度特征f_contrast、偏心率特征f_eccentricity、颜色特征f_rgb和形态学特征f_morpho的具体计算方法为:
所述前景区所占的面积比特征f_arearatio的计算公式为:
f _ a r e a r a t i o = a r e a ( f o r e g r o u n d ) w i d t h * h e i g h t
其中area函数为求取区域面积的函数;area(foreground)为前景区的面积,即人类视觉系统掩膜Mask(HVS)的面积;width和height分别为疑似点状出血区域图像的宽和高;
对比度特征f_contrast的计算公式为:
f _ c o n t r a s t = a b s ( m e a n ( f o r e g r o u n d ) - m e a n ( b a c k g r o u n d ) m a x ( I _ g r a y ) - m i n ( I _ g r a y ) )
其中I_gray为疑似点状出血区域图像的灰度值,max和min分别为求取最大值和最小值的函数,mean表示求均值函数,mean(foreground)表示前景区域的均值,mean(background)表示背景区域的均值,abs表示求绝对值;
偏心率特征f_eccentricity的获取方法为先得到人类视觉系统掩膜Mask(HVS)中面积最大的连通区域,然后求取这个最大连通区域的偏心率;
颜色特征f_rgb由r_mean、rg_mean、rb_mean三个特征组成,其中r_mean,rg_mean,rb_mean的计算公式分别为:
r_mean=mean(R)
r g _ m e a n = m e a n ( R ) m e a n ( G )
r b _ m e a n = m e a n ( R ) m e a n ( B )
其中,mean(R)、mean(G)和mean(B)分别表示R、G、B三个分量的均值;
所述形态学特征f_morpho的获取方式为,先求取人类视觉系统掩膜Mask(HVS)内所有点到区域中心(centerX,centerY)的归一化距离dist,其计算公式为:
d i s t = s q r t &lsqb; ( Mask ( H V S ) ( x ) - c e n t e r X ) 2 + ( Mask ( H V S ) ( y ) - c e n t e r Y ) 2 &rsqb; s q r t &lsqb; width 2 + height 2 &rsqb;
Mask(HVS)(x)表示人类视觉系统掩膜的横坐标,Mask(HVS)(y)表示人类视觉系统掩膜的纵坐标,width表示疑似点状出血区域图像的宽,height表示疑似点状出血区域图像的高,sqrt表示表示开方运算;
求归一化距离dist的最小值dist_min,最大值dist_max,均值dist_mean、标准差dist_std以及归一化后直方图的熵dist_h,其计算公式如下:
dist_min=min(dist)
dist_max=max(dist)
dist_mean=mean(dist)
mean为求均值的函数
dist_std=std(dist)
std表示求标准差的函数
d i s t _ h = - s u m ( p * log 2 p )
其中hist为求直方图的函数,sum为求和的函数;形态学特征f_morpho是将上述特征进行组合:
f_morpho=[dist_min,1-dist_max,1-dist_mean,dist_std,dist_h]。
6.根据权利要求1所述的用于胶囊内窥镜的消化道出血图像检测方法,其特征在于:所述步骤201中,采用基于Haar特征或LBP特征或Hog特征的Adaboost级联算法训练一个级联分类器,用该级联分类器来对预处理后的消化道图像进行扫描,找出预处理后的消化道图像中的疑似点状出血区域的具体方法为:先选取Haar特征或LBP特征或Hog特征,然后利用带有标签的样本训练Adaboost级联分类器,得到一个训练好的分类模型,然后利用这个训练好的分类模型在消化道图像中找疑似点状出血矩形区域。
7.根据权利要求2所述的用于胶囊内窥镜的消化道出血图像检测方法,其特征在于:所述步骤202中阈值Tgray的取值范围为40~60。
8.根据权利要求2所述的用于胶囊内窥镜的消化道出血图像检测方法,其特征在于:所述步骤2004中阈值TmeanR的取值范围为40~80,阈值TF1的取值范围为1.0~1.6,阈值TF2的取值范围为1.0~1.6。
CN201610714982.XA 2016-08-24 2016-08-24 用于胶囊内窥镜的消化道出血图像检测方法 Active CN106373137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610714982.XA CN106373137B (zh) 2016-08-24 2016-08-24 用于胶囊内窥镜的消化道出血图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610714982.XA CN106373137B (zh) 2016-08-24 2016-08-24 用于胶囊内窥镜的消化道出血图像检测方法

Publications (2)

Publication Number Publication Date
CN106373137A true CN106373137A (zh) 2017-02-01
CN106373137B CN106373137B (zh) 2019-01-04

Family

ID=57879144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610714982.XA Active CN106373137B (zh) 2016-08-24 2016-08-24 用于胶囊内窥镜的消化道出血图像检测方法

Country Status (1)

Country Link
CN (1) CN106373137B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133941A (zh) * 2017-04-18 2017-09-05 重庆金山医疗器械有限公司 一种无线胶囊内窥镜图像突出血管奇变以及凸起部位的显示方法
CN107240091A (zh) * 2017-04-21 2017-10-10 安翰光电技术(武汉)有限公司 胶囊内窥镜图像预处理系统及方法
CN107369242A (zh) * 2017-06-15 2017-11-21 深圳怡化电脑股份有限公司 一种纸币识别方法、装置、终端设备及可读存储介质
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法
CN108734708A (zh) * 2018-05-23 2018-11-02 平安科技(深圳)有限公司 胃癌识别方法、装置及存储介质
CN109241963A (zh) * 2018-08-06 2019-01-18 浙江大学 基于Adaboost机器学习的胶囊胃镜图像中出血点智能识别方法
CN109345503A (zh) * 2018-08-06 2019-02-15 浙江大学 一种基于图像多特征融合的胶囊胃镜图像出血点识别方法
CN110110750A (zh) * 2019-03-29 2019-08-09 广州思德医疗科技有限公司 一种原始图片的分类方法及装置
US10537720B2 (en) 2018-04-09 2020-01-21 Vibrant Ltd. Method of enhancing absorption of ingested medicaments for treatment of parkinsonism
US10814113B2 (en) 2019-01-03 2020-10-27 Vibrant Ltd. Device and method for delivering an ingestible medicament into the gastrointestinal tract of a user
US10888277B1 (en) 2017-01-30 2021-01-12 Vibrant Ltd Method for treating diarrhea and reducing Bristol stool scores using a vibrating ingestible capsule
US10905378B1 (en) 2017-01-30 2021-02-02 Vibrant Ltd Method for treating gastroparesis using a vibrating ingestible capsule
CN112567474A (zh) * 2018-08-07 2021-03-26 第一百欧有限公司 利用多重颜色模型和神经网络的疾病诊断系统和方法
CN112651959A (zh) * 2020-12-31 2021-04-13 山东众阳健康科技集团有限公司 基于动态地图损失神经网络的ct颅内出血检测系统
US11020018B2 (en) 2019-01-21 2021-06-01 Vibrant Ltd. Device and method for delivering a flowable ingestible medicament into the gastrointestinal tract of a user
US11052018B2 (en) 2019-02-04 2021-07-06 Vibrant Ltd. Temperature activated vibrating capsule for gastrointestinal treatment, and a method of use thereof
CN113421231A (zh) * 2021-06-08 2021-09-21 杭州海康威视数字技术股份有限公司 一种出血点检测方法、装置及系统
CN113870218A (zh) * 2021-09-27 2021-12-31 泰州市华达机电设备有限公司 基于光学数据采集的肠道疾病判断平台
CN114565608A (zh) * 2022-04-26 2022-05-31 华伦医疗用品(深圳)有限公司 一种内窥镜Ai图像识别方法及系统
US11478401B2 (en) 2016-09-21 2022-10-25 Vibrant Ltd. Methods and systems for adaptive treatment of disorders in the gastrointestinal tract
US11504024B2 (en) 2018-03-30 2022-11-22 Vibrant Ltd. Gastrointestinal treatment system including a vibrating capsule, and method of use thereof
US11510590B1 (en) 2018-05-07 2022-11-29 Vibrant Ltd. Methods and systems for treating gastrointestinal disorders
WO2023029407A1 (zh) * 2021-08-31 2023-03-09 上海商汤智能科技有限公司 用于车辆的向紧急呼叫中心发送信息的方法及装置
US11638678B1 (en) 2018-04-09 2023-05-02 Vibrant Ltd. Vibrating capsule system and treatment method
WO2024037581A1 (zh) * 2022-08-18 2024-02-22 上海市内分泌代谢病研究所 一种结膜充血的量化评估方法、装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325909A (zh) * 2005-12-07 2008-12-17 皇家飞利浦电子股份有限公司 电子胃肠筛查
US20090286237A1 (en) * 2005-10-21 2009-11-19 Medical Research Council Diagnostic Kits and Methods for Oesophageal Abnormalities
US20120078053A1 (en) * 2009-05-29 2012-03-29 Soo Jay Louis Phee Robotic system for flexible endoscopy
US20120316421A1 (en) * 2009-07-07 2012-12-13 The Johns Hopkins University System and method for automated disease assessment in capsule endoscopy
CN105118070A (zh) * 2015-10-12 2015-12-02 西南交通大学 基于时间序列的无线胶囊内窥镜视频中的出血段定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090286237A1 (en) * 2005-10-21 2009-11-19 Medical Research Council Diagnostic Kits and Methods for Oesophageal Abnormalities
CN101325909A (zh) * 2005-12-07 2008-12-17 皇家飞利浦电子股份有限公司 电子胃肠筛查
US20120078053A1 (en) * 2009-05-29 2012-03-29 Soo Jay Louis Phee Robotic system for flexible endoscopy
US20120316421A1 (en) * 2009-07-07 2012-12-13 The Johns Hopkins University System and method for automated disease assessment in capsule endoscopy
CN105118070A (zh) * 2015-10-12 2015-12-02 西南交通大学 基于时间序列的无线胶囊内窥镜视频中的出血段定位方法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11478401B2 (en) 2016-09-21 2022-10-25 Vibrant Ltd. Methods and systems for adaptive treatment of disorders in the gastrointestinal tract
US10905378B1 (en) 2017-01-30 2021-02-02 Vibrant Ltd Method for treating gastroparesis using a vibrating ingestible capsule
US10888277B1 (en) 2017-01-30 2021-01-12 Vibrant Ltd Method for treating diarrhea and reducing Bristol stool scores using a vibrating ingestible capsule
CN107133941A (zh) * 2017-04-18 2017-09-05 重庆金山医疗器械有限公司 一种无线胶囊内窥镜图像突出血管奇变以及凸起部位的显示方法
CN107240091B (zh) * 2017-04-21 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像预处理系统及方法
CN107240091A (zh) * 2017-04-21 2017-10-10 安翰光电技术(武汉)有限公司 胶囊内窥镜图像预处理系统及方法
CN107369242A (zh) * 2017-06-15 2017-11-21 深圳怡化电脑股份有限公司 一种纸币识别方法、装置、终端设备及可读存储介质
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法
US11504024B2 (en) 2018-03-30 2022-11-22 Vibrant Ltd. Gastrointestinal treatment system including a vibrating capsule, and method of use thereof
US10537720B2 (en) 2018-04-09 2020-01-21 Vibrant Ltd. Method of enhancing absorption of ingested medicaments for treatment of parkinsonism
US10543348B2 (en) 2018-04-09 2020-01-28 Vibrant Ltd. Method of enhancing absorption of ingested medicaments for treatment of an an ailment of the GI tract
US11638678B1 (en) 2018-04-09 2023-05-02 Vibrant Ltd. Vibrating capsule system and treatment method
US11510590B1 (en) 2018-05-07 2022-11-29 Vibrant Ltd. Methods and systems for treating gastrointestinal disorders
CN108734708A (zh) * 2018-05-23 2018-11-02 平安科技(深圳)有限公司 胃癌识别方法、装置及存储介质
CN108734708B (zh) * 2018-05-23 2021-02-19 平安科技(深圳)有限公司 胃癌识别方法、装置及存储介质
CN109241963A (zh) * 2018-08-06 2019-01-18 浙江大学 基于Adaboost机器学习的胶囊胃镜图像中出血点智能识别方法
CN109345503A (zh) * 2018-08-06 2019-02-15 浙江大学 一种基于图像多特征融合的胶囊胃镜图像出血点识别方法
CN112567474A (zh) * 2018-08-07 2021-03-26 第一百欧有限公司 利用多重颜色模型和神经网络的疾病诊断系统和方法
US10814113B2 (en) 2019-01-03 2020-10-27 Vibrant Ltd. Device and method for delivering an ingestible medicament into the gastrointestinal tract of a user
US11020018B2 (en) 2019-01-21 2021-06-01 Vibrant Ltd. Device and method for delivering a flowable ingestible medicament into the gastrointestinal tract of a user
US11052018B2 (en) 2019-02-04 2021-07-06 Vibrant Ltd. Temperature activated vibrating capsule for gastrointestinal treatment, and a method of use thereof
CN110110750A (zh) * 2019-03-29 2019-08-09 广州思德医疗科技有限公司 一种原始图片的分类方法及装置
CN112651959A (zh) * 2020-12-31 2021-04-13 山东众阳健康科技集团有限公司 基于动态地图损失神经网络的ct颅内出血检测系统
CN112651959B (zh) * 2020-12-31 2023-08-15 众阳健康科技集团有限公司 基于动态地图损失神经网络的ct颅内出血检测系统
CN113421231A (zh) * 2021-06-08 2021-09-21 杭州海康威视数字技术股份有限公司 一种出血点检测方法、装置及系统
CN113421231B (zh) * 2021-06-08 2023-02-28 杭州海康威视数字技术股份有限公司 一种出血点检测方法、装置及系统
WO2023029407A1 (zh) * 2021-08-31 2023-03-09 上海商汤智能科技有限公司 用于车辆的向紧急呼叫中心发送信息的方法及装置
CN113870218A (zh) * 2021-09-27 2021-12-31 泰州市华达机电设备有限公司 基于光学数据采集的肠道疾病判断平台
CN114565608A (zh) * 2022-04-26 2022-05-31 华伦医疗用品(深圳)有限公司 一种内窥镜Ai图像识别方法及系统
WO2024037581A1 (zh) * 2022-08-18 2024-02-22 上海市内分泌代谢病研究所 一种结膜充血的量化评估方法、装置和存储介质

Also Published As

Publication number Publication date
CN106373137B (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN106373137B (zh) 用于胶囊内窥镜的消化道出血图像检测方法
CN106097335B (zh) 消化道病灶图像识别系统及识别方法
Xia et al. Automatic identification and counting of small size pests in greenhouse conditions with low computational cost
CN109635871B (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
CN106056588A (zh) 胶囊内窥镜图像数据去冗余方法
CN103325128B (zh) 一种智能识别阴道镜所采集的图像特征的方法及装置
CN103971126A (zh) 一种交通标志识别方法和装置
CN106023151B (zh) 一种开放环境下中医舌象目标检测方法
EP2237190A2 (en) Computerized image analysis for a acetic acid induced cervical intraepithelial neoplasia
Yuan et al. A novel feature for polyp detection in wireless capsule endoscopy images
CN108320289B (zh) 一种基于稀疏表示和形态学操作的骨髓细胞分割方法
CN107316311A (zh) 细胞核图像轮廓捕获设备及其方法
CN109145708A (zh) 一种基于rgb和d信息融合的人流量统计方法
CN106483130B (zh) 一种水稻病害的检测方法及其自动检测装置
CN106845328A (zh) 一种基于双摄像头的智能人脸识别方法及系统
Mathew et al. Transform based bleeding detection technique for endoscopic images
Yuan et al. Automatic bleeding frame detection in the wireless capsule endoscopy images
CN110390678B (zh) 一种结直肠癌ihc染色图像的组织类型分割方法
CN109145746A (zh) 一种基于图像处理的信号灯检测方法
Ghosh et al. Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy
Sun et al. Removal of non-informative frames for wireless capsule endoscopy video segmentation
CN103377375A (zh) 一种胃窥镜图像的处理方法
Cheng et al. Colorectal polyps detection using texture features and support vector machine
Van Der Sommen et al. Computer-aided detection of early cancer in the esophagus using HD endoscopy images
CN109816667A (zh) 一种基于ct影像的肺结节分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 430075 666 new high tech Avenue, East Lake New Technology Development Zone, Wuhan, Hubei

Patentee after: Anhan Science and Technology (Wuhan) Co., Ltd.

Address before: 430075 666 new high tech Avenue, East Lake New Technology Development Zone, Wuhan, Hubei

Patentee before: Ankon Photoelectric Technology (Wuhan) Co., Ltd.