CN105701833B - 消化道胶囊内窥镜视频钩虫图像计算机自动检测方法 - Google Patents
消化道胶囊内窥镜视频钩虫图像计算机自动检测方法 Download PDFInfo
- Publication number
- CN105701833B CN105701833B CN201610097448.9A CN201610097448A CN105701833B CN 105701833 B CN105701833 B CN 105701833B CN 201610097448 A CN201610097448 A CN 201610097448A CN 105701833 B CN105701833 B CN 105701833B
- Authority
- CN
- China
- Prior art keywords
- image
- hookworm
- edge
- region
- middle line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241001465677 Ancylostomatoidea Species 0.000 title claims abstract description 82
- 239000002775 capsule Substances 0.000 title claims abstract description 36
- 238000012360 testing method Methods 0.000 title claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000003708 edge detection Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 18
- 239000011521 glass Substances 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000003902 lesion Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 2
- 210000004347 intestinal mucosa Anatomy 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010022653 Intestinal haemorrhages Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000007502 anemia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种消化道胶囊内窥镜视频钩虫图像计算机自动检测方法。通过将图像进行双匹配滤波，检测出可疑钩虫形状的区域，同时，将不同尺度的匹配滤波检测出的可疑钩虫区域进行多尺度乘积，去除噪声，然后对可疑钩虫区域进行边缘检测，并对检测到的边缘进行平行曲线和中线检测，再根据中线垂直切取可疑钩虫区域及周边黏膜区域并拼接成拉伸管状区域，对拉伸管状区域提取灰度累计直方图特征之后，最终采用Rusboost将可疑钩虫区域区分出钩虫，气泡以及肠道褶皱，从而检测出钩虫图像，通过上述方式，本发明能够通过计算机自动准确检测出肠道内的钩虫，提高医生对消化道胶囊内窥镜视频的诊断效率，减少医生工作量。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种消化道胶囊内窥镜视频钩虫图像计算机自动检测方法。
背景技术
胶囊内窥镜是一种胶囊形状的用于检查人体肠道的微型摄像装置。患者从吞服该胶囊内窥镜到排出体外，拍摄大约5万帧左右图像。胶囊内窥镜图像目前依靠人工检查检查，不仅耗费时间长，而且劳动强度大，并且医生疲劳后容易造成漏诊。因此，采用计算机辅助诊断的方法来对胶囊镜图像进行病变检测有广泛的市场需求。
目前，胶囊内窥镜计算机辅助钩虫病变检测方法尚属空白，由于钩虫病变感染人数众多，引起人的肠道出血和贫血，营养不良。同时会在人畜间传播，危害大。因此本发明提供一种消化道胶囊内窥镜视频钩虫图像计算机自动检测方法。该方法提高胶囊内窥镜图像中钩虫病变诊断效率。
发明内容
鉴于现有技术的如上不足，本发明主要解决的技术问题是提供一种消化道胶囊内窥镜视频钩虫图像计算机自动检测方法，能够准确显示消化道的整体状况。
为解决上述技术问题，本发明采用的一个技术方案是：
一种消化道胶囊内窥镜视频钩虫图像计算机自动检测方法，将内窥镜视频图像进行双匹配滤波，检测出可疑钩虫形状的区域，同时，将不同尺度的匹配滤波检测出的可疑钩虫区域进行多尺度乘积，去除噪声，然后对可疑钩虫区域进行边缘检测，并对检测到的边缘进行平行曲线和中线检测，再根据中线垂直切取可疑钩虫区域及周边黏膜区域并拼接成拉伸管状区域，对拉伸管状区域提取灰度累计直方图特征之后，最终采用Rusboost将可疑钩虫区域区分出钩虫，气泡以及肠道褶皱，从而检测出钩虫图像，包括如下具体步骤：
S1：将视频的每一帧图像变换到灰度图像后，进行多尺度双匹配滤波，产生多个尺度的双匹配滤波正响应图像和负响应图像；
S2：将多个尺度双匹配滤波的正响应图像进行多尺度乘积，得到多尺度正响应图像，将多个尺度双匹配滤波的负响应图像进行多尺度乘积，得到多尺度负响应图像；
S3：对多尺度正响应图像和多尺度负响应图像分别用最大类间方差法二值化，得到正响应二值化图像和负响应二值化图像；
S4：分别对正响应二值化图像和负响应二值化图像做Canny边缘检测，得到正边缘图像和负边缘图像；
S5：对正响应二值化图像中的每一个二值区域寻找正边缘图像对应的边缘，并对该边缘用分段线性化平行线检测法做平行曲线检测和中线检测,以及对负响应二值化图像中的每一个二值区域寻找负边缘图像对应的边缘，并对该边缘用分段线性化平行线检测法做平行曲线检测和中线检测；
S6：将正响应检测到的平行线和中线以及负响应检测到的平行线和中线合并，去除重复的平行线和中线，得到多组平行曲线和中线；
S7：对每一条中线，将一个旋转矩形的中心沿着中线从一端移动往另一端移动，其旋转角度等于中线经过的点的倾角，同时截取每个旋转矩形区域的窥镜图像块，并将截取的图像块旋转回水平位置，然后将这些旋转回水平位置的矩形图像块拼接到一起，最后将拼接得到的图像块变换到同样的大小，形成拉伸管状区域图像块；
S8：对拉伸管状区域图像块的每一行像素的亮度求平均值，每行亮度平均值最后形成平均亮度直方图；
S9：拉伸管状区域图像块主要包括钩虫，气泡和肠道褶皱，选取钩虫，气泡和肠道褶皱拉伸管状区域图像块的平均亮度直方图作为特征,并采用Rusboost算法训练识别模型，用于识别钩虫，气泡和褶皱；
S10：如果一张胶囊内镜图中检测到的拉伸管状区域图像块被识别为钩虫类，则这张图像被识别为钩虫图像，否则为非钩虫图像。
优选地，所述单个双匹配滤波器计算公式为：
其中，σ为尺度参数，x和y为滤波器的像素坐标，L的值为9。
优选地，所述多尺度双匹配滤波器响应图像计算公式为：
ri(x,y)＝mi(x,y)*f(x,y)
其中，f(x,y)为胶囊内镜图像，ri(x,y)是尺度i的匹配滤波器组卷积并平均得到的响应图像，当进行正匹配滤波时，滤波器计算公式取+号K+(x,y)，负匹的配滤波时取-号,K-(x,y)，其中mi(x,y)为尺度i下的一组匹配滤波器，这一组匹配滤波器有多个旋转匹配滤波器组合得到，每个旋转匹配滤波器由单个匹配滤波器绕图像中心点旋转得到，旋转计算公式为：
其中，x和y为单个未旋转的匹配滤波器上每个像素的横坐标和纵坐标，x＇和y＇为旋转θ度后的匹配滤波器上的点的横坐标和纵坐标，其中θ从0度以15度为一个间隔递增要180度。优选地，在进行均值滤波时，滤波窗口的大小与矩形色度图像块或矩形亮度图像块的宽度相同。
优选地，所述多尺度乘积计算公式为：
Pi,j(x,y)＝ri(x,y)·rj(x,y)
其中ri(x,y)为尺度i下的相应图像,rj(x,y)为尺度j下的响应图像，Pi,j(x,y)为两个尺度i和j下多尺度乘积，尺度参数为1.2到2之间。
优选地，所述分段显性化平行线和中线检测具体步骤为：搜索正响应二值化图像中每一个二值化区域对应的正边缘图像中的边缘；将每个二值化区域中的边缘线两两组合成一组，如果两条边缘线长度差异大，则去除该组边缘线；对每组边缘，选取其中一条为参考线，另一条为对应参考线的假定平行线，做参考线和假定平行线做平行检测；对每组边缘，以一个旋转矩形的中心从参考线一端往另一端移动，旋转矩形的旋转角度等于所在参考线当前像素点切线的倾角,这里每次移动的距离为1～3个像素点,矩形框宽为9个像素，长为25个像素；每次移动旋转矩形框后，根据矩形框内的假定平行线的像素点的坐标计算假定平行线的倾角；在每次移动的旋转矩形框内，如果假定平行线的倾角和参考线的倾角度数相差在12度以内，则两条线平行，同时计算两条平行线对应点的中点，中点组合为中线；将每次旋转矩形框移动检测到平行线和中线组合到一起并去除重复的像素点，组合后的边缘线即是参考线的平行线和中线；负响应二值化图像中的边缘线和中线检测步骤与上述步骤相同。
优选地，所述边缘线倾角的计算公式为：
其中Xi和Yi为旋转矩形框内参考线或假定平行线中各个像素的横坐标和纵坐标，和为旋转矩形框内参考线或假定平行线中各个像素的横坐标和纵坐标的平均值。
优选地，所述旋转矩形框区域的计算公式为：
其中，x和y为矩形框中心在平面直角坐标时矩形区域各个像素点的横坐标和纵坐标，tx和ty为旋转矩形中心在参考线上的点的横坐标和纵坐标，θ为旋转倾角，x′和y′为旋转矩形区域旋转后各个像素点的横坐标和纵坐标。
优选地，所述拉伸管状区域图像块生成过程中的矩形框大小,以及旋转矩形框计算公式与分段显性平行线和中线检测处理方式相同，拉伸管状区域图像块每行为25像素，每列为75像素。
区别于现有技术的情况，本发明的有益效果是：可以通过计算机自动检测胶囊内镜视频中的钩虫，提高医生对消化道胶囊内窥镜视频的诊断效率。
附图说明
图1是本发明实施例消化道胶囊内窥镜视频钩虫图像计算机自动检测方法的流程示意图。
图2是应用本发明实施例的双匹配滤波得到正响应图像以及负响应图像的示意图，其中图2(a)是一张含有亮钩虫的胶囊内镜图片，图2(b)和图2(c)分别是图2(a)正响应和负响应图像，其中图2(d)是一张含有暗钩虫的胶囊内镜图片，图2(e)和图2(f)分别是图2(d)正响应和负响应图像。
图3是应用本发明实施例的对一张钩虫图像两个尺度正响应图像多尺度乘积的示意图，其中图3(a)是一张含有钩虫的胶囊内镜图片，图3(b)和图3(c)分别是图3(a)在不同尺度下的响应图像，图3(d)是图3(b)和图3(c)响应乘积图像。
图4是应用本发明实施例的对正负边缘图像做分段线性化平行线和中线检测的示意图。
图5是应用本发明实施例的从平行线和中线生成拉伸管状区域图像块生成过程的示意图。
图6是应用本发明实施例的对拉伸管状区域的平均亮度直方图生成过程的示意图。
图7是应用本发明实施例的钩虫，气泡和肠道褶皱拉伸管状区域以及对应的平均亮度直方图的示意图，图7(a)是亮钩虫拉伸管状区域以及对应的平均亮度直方图，图7(b)是暗钩虫拉伸管状区域以及对应的平均亮度直方图，图7(c)是气泡拉伸管状区域以及对应的平均亮度直方图，图7(d)是肠道褶皱拉伸管状区域以及对应的平均亮度直方图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明实施例消化道胶囊内窥镜视频钩虫图像计算机自动检测方法的流程示意图。本实施例的纵览图生成方法包括以下步骤：
S1：将视频的每一帧图像变换到灰度图像后，进行多尺度双匹配滤波，产生多个尺度的双匹配滤波响应图像。
其中，胶囊内窥镜视频的钩虫图像分为2类，一类是虫体亮度比肠道黏膜亮，另一类虫体亮度比肠道黏膜暗，双匹配滤波包含了正匹配滤波和负匹配滤波，正匹配滤波能检测到亮钩虫虫体区域而负匹配滤波能检测到暗钩虫虫体区域，图2(a)是一张亮钩虫的图像，其中图2(b)是对图2(a)做了正匹配滤波得到的响应图像，图2(c)是对图2(a)做了负匹配滤波得到的响应图像，从图中可以看出图2(b)能够更好的检测到虫体区域，同理，图2(d)为一张暗钩虫的图像，图2(e)和图2(f)分别为图2(d)的正负匹配滤波图像，图2(f)能够更好的检测到暗钩虫虫体区域。
单个尺度的正匹配滤波器或负匹配滤波器是由一组不同旋转角度的匹配滤波器组成，没有经过旋转的匹配滤波器计算公式为：
将此公式计算得到的匹配滤波器模版从0到180度旋转，每隔15度得到的一个滤波器模版作为一组滤波器中的一个，因此，一组正匹配滤波器或一组负匹配滤波器都包含12个不同方向的匹配滤波器，从未旋转的匹配滤波器到旋转的匹配滤波器计算公司为：
其中，x和y为单个未旋转的匹配滤波器上每个像素的横坐标和纵坐标，x′和y′为旋转θ度后的匹配滤波器上的点的横坐标和纵坐标。
S2：将多个尺度双匹配滤波的正响应图像进行多尺度乘积，得到多尺度正响应图像，将多个尺度双匹配滤波的负响应图像进行多尺度乘积，得到多尺度负响应图像。
其中，不同的匹配滤波器尺度参数σ产生不同的正负匹配滤波器组，不同尺度参数的滤波器对图像产生的响应不同，如图3(a)是一张亮钩虫图像，图3(b)和图3(c)是对图3(a)的不同尺度参数的正匹配滤波的响应图像，图3(d)是图3(b)和图3(c)的尺度乘积图像，可以看到图3(d)能完好的保留钩虫响应区域，同时噪声比3(b)和图3(c)大大降低，对于负匹配滤波的都尺度乘积过程同理。
S3：对多尺度正响应图像和多尺度负响应图像分别用最大类间方差法二值化，得到正响应二值化图像和负响应二值化图像。
其中，对于窥镜图像做多尺度双匹配滤波后都会得到如图3(d)滤波响应图像，这些图像灰度偏亮的区域都为可疑的钩虫区域，因为在后续钩虫检测和处理中，只对这些区域进行处理，因此将这些亮的区域用最大类间方差法进行二值化。
S4：分别对正响应二值化图像和负响应二值化图像做Canny边缘检测，得到正边缘图像和负边缘图像。
其中，钩虫的虫体在图像中具有平行的轮廓，因此做平行边缘检测有利于检测钩虫，同时也能去除没有平行边缘的可疑钩虫区域，因此先对S3得到的二值化亮的区域进行边缘检测。
S5：对正响应二值化图像中的每一个二值区域寻找正边缘图像对应的边缘，并对该边缘用分段线性化平行线检测法做平行曲线检测和中线检测,以及对负响应二值化图像中的每一个二值区域寻找负边缘图像对应的边缘，并对该边缘用分段线性化平行线检测法做平行曲线检测和中线检测。
其中，正响应图像的平行边缘和中线检测与负响应图像的检测方法相同，对于步骤S3中检测到的每一个二值联通区域，都会检测到若干边缘，如图4所示，在这些边缘中检测平行曲线和中线的具体步骤为：
将上述边缘线两两组合成一组，如果两条边缘线长度差异大，则去除该组边缘线；
对每组边缘，选取其中一条为参考线图4中CurveA，另一条为对应参考线的假定平行线图4中CurveB，做参考线和假定平行线做平行检测；
对每组边缘，以一个旋转矩形图4中SW的中心(tx,ty)从参考线一端往另一端移动，旋转矩形的旋转角度等于所在参考线当前像素点切线的倾角,这里每次移动的距离为1～3个像素点,矩形框宽L为9个像素，长Wh为25个像素,这里参考线当前像素点为(tx,ty),计算倾角依靠(tx,ty)以及领域的点(Xai,Yai)完成，计算公式为
其中，(Xi,Yi)为旋转矩形框内参考线各个像素的坐标(Xai,Yai)，和为(Xi,Yi)的横坐标和纵坐标的平均值，θ即为计算出来的倾角，矩形SW中每个像素点在图中对应的坐标计算公式为：
其中(x,y)为矩形SW在坐标圆点时各个点的坐标，(x’,y’)为SW中心点在(tx,ty)时各个点的坐标；
每次移动旋转矩形框后，根据矩形框内的假定平行线CurveB的像素点的坐标计算假定平行线的倾角,该倾角的计算方法同参考线倾角计算方法相同，用CurveB在SW中的像素点(Xbi,Ybi)来完成；
在每次移动的旋转矩形框内，如果假定平行线的倾角和参考线的倾角度数相差在12度以内，则两条线平行，同时计算两条平行线对应点的中点，中点组合为中线；
将每次旋转矩形框移动检测到平行线和中线组合到一起并去除重复的像素点，组合后的边缘线即是参考线的平行线和中线。
S6：将正响应检测到的平行线和中线以及负响应检测到的平行线和中线合并，去除重复的平行线和中线，最终得到多组平行曲线和中线。
S7：对于每一条中线，将一个旋转矩形中心沿着中线每个点移动，其中旋转矩形的旋转角度等于中线每个点的倾角，同时截取每个旋转矩形区域的图像，并旋转回水平位置，然后将这些旋转回水平位置的矩形图像块拼接到一起，最后将拼接得到的图像块变换到同样的大小，形成拉伸管状区域图像块。
该步骤的处理过程参见图5,由步骤S5合并得到多组平行线和中线，每组平行线和中线代表一条可疑钩虫，以步骤S5相同的矩形区域沿着每条钩虫的中线旋转移动，旋转矩形的旋转方向为中线的倾角，矩形每移动一次就切取一小块矩形区域，最后将这些小块旋转回水平位置，并合并到一起，形成拉伸管状区域，可选地，矩形每次沿中线移动的步长为1到3个像素，拉伸管状区域为25像素列，75像素行。
S8：对拉伸管状区域图像块的每一行像素的亮度求平均值，每行亮度平均值最后形成平均亮度直方图。
该步骤如图6所以，步骤S7所得到的拉伸管状区域为25行75列的图像块，将该图像块变换为灰度图像，每一行的平均亮度值作为直方图的一个柱，最后形成25维的平均亮度直方图，图7反映了亮钩虫图7(a)，暗钩虫图7(b)，气泡图7(c)和肠道褶皱图7(d)的拉伸管状区域图像块和对应的平均亮度直方图。
S9：拉伸管状区域图像块主要包括钩虫，气泡和肠道褶皱，选取钩虫，气泡和肠道褶皱拉伸管状区域图像块的平均亮度直方图作为特征,并采用Rusboost算法训练识别模型，用于识别钩虫，气泡和褶皱；
S10：如果一张胶囊内镜图中检测到的拉伸管状区域图像块被识别为钩虫类，则这张图像被识别为钩虫图像，否则为非钩虫图像。
本领域的普通技术人员显然清楚并且理解，本发明方法所举的以上实施例仅用于说明本发明方法，而并不用于限制本发明方法。虽然通过实施例有效描述了本发明，本发明存在许多变化而不脱离本发明的精神。在不背离本发明方法的精神及其实质的情况下，本领域技术人员当可根据本发明方法做出各种相应的改变或变形，但这些相应的改变或变形均属于本发明方法要求的保护范围。
Claims (8)
1.一种消化道胶囊内窥镜视频钩虫图像计算机自动检测方法，将内窥镜视频图像进行双匹配滤波，检测出可疑钩虫形状的区域，同时，将不同尺度的匹配滤波检测出的可疑钩虫区域进行多尺度乘积，去除噪声，然后对可疑钩虫区域进行边缘检测，并对检测到的边缘进行平行曲线和中线检测，再根据中线垂直切取可疑钩虫区域及周边黏膜区域并拼接成拉伸管状区域，对拉伸管状区域提取灰度累计直方图特征之后，最终采用Rusboost将可疑钩虫区域区分出钩虫，气泡以及肠道褶皱，从而检测出钩虫图像，包括如下具体步骤：
S1：将视频的每一帧图像变换到灰度图像后，利用多尺度双匹配滤波器响应图像计算公式进行多尺度双匹配滤波，产生多个尺度参数的双匹配滤波正响应图像和负响应图像；
S2：将多个尺度双匹配滤波的正响应图像进行多尺度乘积，得到多尺度正响应图像，将多个尺度双匹配滤波的负响应图像进行多尺度乘积，得到多尺度负响应图像；
S3：对多尺度正响应图像和多尺度负响应图像分别用最大类间方差法二值化，得到正响应二值化图像和负响应二值化图像；
S4：分别对正响应二值化图像和负响应二值化图像做Canny边缘检测，得到正边缘图像和负边缘图像；
S5：对正响应二值化图像中的每一个二值区域寻找正边缘图像对应的边缘，并对该边缘用分段线性化平行线检测法做平行曲线检测和中线检测,以及对负响应二值化图像中的每一个二值区域寻找负边缘图像对应的边缘，并对该边缘用分段线性化平行线检测法做平行曲线检测和中线检测；
S6：将正响应检测到的平行线和中线以及负响应检测到的平行线和中线合并，去除重复的平行线和中线，得到多组平行曲线和中线；
S7：对每一条中线，将一个旋转矩形的中心沿着中线从一端往另一端移动，其旋转角度等于中线经过的点的倾角，同时截取每个旋转矩形区域的窥镜图像块，并将截取的图像块旋转回水平位置，然后将这些旋转回水平位置的矩形图像块拼接到一起，最后将拼接得到的图像块变换到同样的大小，形成拉伸管状区域图像块；
S8：对拉伸管状区域图像块的每一行像素的亮度求平均值，每行亮度平均值最后形成平均亮度直方图；
S9：拉伸管状区域图像块主要包括钩虫，气泡和肠道褶皱，选取钩虫，气泡和肠道褶皱拉伸管状区域图像块的平均亮度直方图作为特征,并采用Rusboost算法训练识别模型，用于识别钩虫，气泡和褶皱；
S10：如果一张胶囊内镜图中检测到的拉伸管状区域图像块被识别为钩虫类，则这张图像被识别为钩虫图像，否则为非钩虫图像。
2.根据权利要求1所述的消化道胶囊内窥镜视频钩虫图像计算机自动检测方法，其特征在于，所述多尺度双匹配滤波处理中，单个双匹配滤波器计算公式为：
其中，σ为尺度参数，x和y为滤波器的像素坐标，L的值为9。
3.根据权利要求2所述的消化道胶囊内窥镜视频钩虫图像计算机自动检测方法，其特征在于，所述多尺度双匹配滤波器响应图像计算公式为：
ri(x，y)＝mi(x，y)*f(x，y)
其中，f(x，y)为胶囊内镜图像，ri(x，y)是尺度i的匹配滤波器组卷积并平均得到的响应图像，当进行正匹配滤波时，匹配滤波器响应图像计算公式取正号K+(x，y)，负匹配滤波时取负号,K-(x，y)，其中mi(x，y)为尺度i下的一组匹配滤波器，这一组匹配滤波器有多个旋转匹配滤波器组合得到，每个旋转匹配滤波器由单个匹配滤波器绕图像中心点旋转得到，旋转计算公式为：
其中，x和y为单个未旋转的匹配滤波器上每个像素的横坐标和纵坐标，x＇和y＇为旋转θ度后的匹配滤波器上的点的横坐标和纵坐标，其中θ从0度以15度为间隔递增到180度。
4.根据权利要求2所述的消化道胶囊内窥镜视频钩虫图像计算机自动检测方法，其特征在于，所述多尺度乘积计算公式为：
Pi，j(x，y)＝ri(x，y)·rj(x，y)
其中ri(x，y)为尺度i下的响 应图像,rj(x，y)为尺度j下的响应图像，Pi，j(x，y)为两个尺度i和j下多尺度乘积，尺度参数为1.2到2之间。
5.根据权利要求1所述的消化道胶囊内窥镜视频钩虫图像计算机自动检测方法，其特征在于，所述分段线性化平行线和中线检测具体步骤为：
搜索正响应二值化图像中每一个二值化区域对应的正边缘图像中的边缘；
将每个二值化区域中的边缘线两两组合成一组，如果两条边缘线长度差异大，则去除该组边缘线，这里长度比例为1/10到1/5；
对每组边缘，选取其中一条为参考线，另一条为对应参考线的假定平行线，对参考线和假定平行线做平行检测；
对每组边缘，以一个旋转矩形的中心从参考线一端往另一端移动，旋转矩形的旋转角度等于所在参考线当前像素点切线的倾角,这里每次移动的距离为1～3个像素点,矩形框宽为9个像素，长为25个像素；
每次移动旋转矩形框后，根据矩形框内的假定平行线的像素点的坐标计算假定平行线的倾角；在每次移动的旋转矩形框内，如果假定平行线的倾角和参考线的倾角度数相差在12度以内，则两条线平行，同时计算两条平行线对应点的中点，中点组合为中线；将每次旋转矩形框移动检测到的平行线和中线组合到一起并去除重复的像素点，组合后的边缘线即是参考线的平行线和中线；负响应二值化图像中的边缘线和中线检测步骤与上述步骤相同。
6.根据权利要求5所述的消化道胶囊内窥镜视频钩虫图像计算机自动检测方法，其特征在于，对假定平行线倾角的计算公式为：
其中Xi和Yi为旋转矩形框内参考线或假定平行线中各个像素的横坐标和纵坐标，和为旋转矩形框内参考线或假定平行线中各个像素的横坐标和纵坐标的平均值。
7.根据权利要求6所述的消化道胶囊内窥镜视频钩虫图像计算机自动检测方法，
其特征在于，所述旋转矩形框的计算公式为：
其中，x和y为矩形框中心在平面直角坐标时矩形区域各个像素点的横坐标和纵坐标，tx和ty为旋转矩形中心在参考线上的点的横坐标和纵坐标，θ为旋转倾角，x和y′为旋转矩形区域旋转后各个像素点的横坐标和纵坐标。
8.根据权利要求7所述的消化道胶囊内窥镜视频钩虫图像计算机自动检测方法其特征在于，所述拉伸管状区域图像块生成过程中的矩形框大小以及旋转矩形框计算公式与分段线性化平行线和中线检测中处理方式相同，拉伸管状区域图像块每行为25像素，每列为75像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610097448.9A CN105701833B (zh) | 2016-02-22 | 2016-02-22 | 消化道胶囊内窥镜视频钩虫图像计算机自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610097448.9A CN105701833B (zh) | 2016-02-22 | 2016-02-22 | 消化道胶囊内窥镜视频钩虫图像计算机自动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105701833A CN105701833A (zh) | 2016-06-22 |
| CN105701833B true CN105701833B (zh) | 2018-11-20 |
Family
ID=56223252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610097448.9A Active CN105701833B (zh) | 2016-02-22 | 2016-02-22 | 消化道胶囊内窥镜视频钩虫图像计算机自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105701833B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108615037A (zh) * | 2018-05-31 | 2018-10-02 | 武汉大学人民医院（湖北省人民医院） | 基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法 |
| CN109741305B (zh) * | 2018-12-26 | 2020-11-27 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 一种胶囊内窥镜成像损坏图像的检测方法 |
| CN112022066A (zh) * | 2020-09-25 | 2020-12-04 | 电子科技大学 | 一种基于深度学习的消化道钩虫发现方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008022005A3 (en) * | 2006-08-09 | 2008-12-31 | Fotonation Vision Ltd | Detection and correction of flash artifacts from airborne particulates |
| CN101984916A (zh) * | 2010-11-17 | 2011-03-16 | 哈尔滨工程大学 | 基于数字图像处理技术的血管管径测量方法 |
| CN102842136A (zh) * | 2012-07-19 | 2012-12-26 | 湘潭大学 | 一种综合血管分布和视盘外观特性的视盘投影定位方法 |
-
2016
- 2016-02-22 CN CN201610097448.9A patent/CN105701833B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008022005A3 (en) * | 2006-08-09 | 2008-12-31 | Fotonation Vision Ltd | Detection and correction of flash artifacts from airborne particulates |
| CN101984916A (zh) * | 2010-11-17 | 2011-03-16 | 哈尔滨工程大学 | 基于数字图像处理技术的血管管径测量方法 |
| CN102842136A (zh) * | 2012-07-19 | 2012-12-26 | 湘潭大学 | 一种综合血管分布和视盘外观特性的视盘投影定位方法 |
Non-Patent Citations (3)
| Title |
|---|
| Automatic hookworm image detection for wireless capsule endoscopy using hybrid color gradient and contourlet transform;Honghan Chen et al.;《International Conference on Biomedical Engineering & Informatics》;20131231;全文 * |
| Automatic polyp detection for wireless capsule endoscopy images;B Li et al.;《Expert Systems with Applications》;20121231;第39卷(第12期);全文 * |
| Polyp detection in Wireless Capsule Endoscopy images by using region-based active contour model;H Eskandari et al.;《Biomedical Engineering》;20131231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105701833A (zh) | 2016-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mamonov et al. | Automated polyp detection in colon capsule endoscopy | |
| US10098537B2 (en) | Image processing apparatus image processing method and program | |
| CN105608671B (zh) | 一种基于surf算法的图像拼接方法 | |
| CN107941808A (zh) | 基于机器视觉的3d打印成型质量检测系统及方法 | |
| CN105701833B (zh) | 消化道胶囊内窥镜视频钩虫图像计算机自动检测方法 | |
| CN107657639A (zh) | 一种快速定位目标的方法和装置 | |
| CN111710012B (zh) | 一种基于两维复合配准的octa成像方法与装置 | |
| CN105147311A (zh) | 用于ct系统中的可视化设备辅助扫描定位方法和系统 | |
| CN110363719A (zh) | 一种细胞分层图像处理方法及系统 | |
| CN104732520A (zh) | 一种胸部数字影像的心胸比测量算法及系统 | |
| CN112669959B (zh) | 一种基于图像的白癜风病情自动评估方法 | |
| CN106682678A (zh) | 一种基于支撑域的图像角点检测和分类方法 | |
| CN111257329A (zh) | 一种智能手机摄像头缺陷检测方法以及检测系统 | |
| CN109766784A (zh) | 基于单目图像的胶囊机器人交互控制方法 | |
| WO2020224508A1 (zh) | 一种对实时影像中图像的物体轮廓进行加强的方法 | |
| CN106778660A (zh) | 一种人脸姿态校正方法及装置 | |
| CN104573635B (zh) | 一种基于三维重建的微小高度识别方法 | |
| Kolar et al. | Registration and fusion of the autofluorescent and infrared retinal images | |
| CN109143393B (zh) | 瓶装透明药液异物检测同步跟踪视觉补偿方法 | |
| CN109087357A (zh) | 扫描定位方法、装置、计算机设备及计算机可读存储介质 | |
| EP3861524B1 (en) | Method for automatic shape quantification of an optic nerve head | |
| Poletti et al. | Segmentation of vessels through supervised classification in wide-field retina images of infants with retinopathy of prematurity | |
| JPH10234674A (ja) | 眼底画像の経時変化有無判定法 | |
| CN116051541A (zh) | 基于频闪光源的轴承端面平缓磨伤检测方法及装置 | |
| CN115456974A (zh) | 基于人脸关键点的斜视检测系统、方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |