发明内容
本发明的目的是提供一种筛选胶囊内镜拍摄的图像的方法,用以解决传统筛除胶囊内镜拍摄的相似图像的方法误差较大的问题。
为解决上述技术问题,本发明提供了一种筛选胶囊内镜拍摄的图像的方法,包括:
获取胶囊内镜拍摄的多个目标图像;
分别提取所述目标图像的图像特征,确定图像特征序列;
遍历所述图像特征序列,依次选取所述图像特征序列中的所述图像特征作为当前图像特征;
将所述当前图像特征分别与所述图像特征序列中除所述当前图像特征之外的各个所述图像特征进行匹配,确定匹配值;
判断所述匹配值是否超过预设阈值;
若所述匹配值超过预设阈值,则删除与所述匹配值对应的所述目标图像。
其中,所述若所述匹配值超过预设阈值,则删除与所述匹配值对应的所述目标图像包括:
若所述匹配值超过预设阈值,则判断删除次数是否超过预设次数;
若所述删除次数超过预设次数,则将与所述匹配值对应的所述目标图像作为所述当前图像,并重置所述删除次数;
若所述删除次数未超过预设次数,则删除与所述匹配值对应的所述目标图像,并更新所述删除次数。
其中,所述图像特征序列包括多个按照拍摄时间先后顺序排列的所述图像特征;
将所述当前图像特征分别与所述图像特征序列中除所述当前图像特征之外的各个所述图像特征进行匹配,确定匹配值包括:
将所述当前图像特征分别与所述图像特征序列中在所述当前图像特征之后的各个所述图像特征进行匹配,确定匹配值。
其中,在所述判断所述匹配值是否超过预设阈值之后,还包括:
若所述匹配值未超过所述预设阈值,则选取所述图像特征序列中所述当前图像特征之后的第一个图像特征作为所述当前图像特征。
其中,在所述获取胶囊内镜拍摄的多个目标图像之前,还包括:
获取胶囊内镜拍摄的多个原始图像,所述原始图像包括目标图像与非目标图像;
预先利用所述目标图像训练图像筛选模型,通过所述图像筛选模型从所述原始图像中筛选出多个所述目标图像。
其中,所述预先利用所述目标图像训练图像筛选模型,通过所述图像筛选模型从所述原始图像中筛选出多个所述目标图像包括:
获取所述目标图像的HIS颜色直方特征;
获取所述目标图像的Hog特征;
将所述HIS颜色直方特征与所述Hog特征输入支持向量机SVM;
通过所述支持向量机SVM从所述原始图像中筛选出多个所述目标图像。
本发明还提供了一种筛选胶囊内镜拍摄的图像的装置,包括:
目标图像获取模块:用于获取胶囊内镜拍摄的多个目标图像;
图像特征序列确定模块:用于分别提取所述目标图像的图像特征,确定图像特征序列;
当前图像特征选取模块:用于遍历所述图像特征序列,依次选取所述图像特征序列中的所述图像特征作为当前图像特征;
匹配值确定模块:用于将所述当前图像特征分别与所述图像特征序列中除所述当前图像特征之外的各个所述图像特征进行匹配,确定匹配值;
匹配值判断模块:用于判断所述匹配值是否超过预设阈值;
目标图像删除模块:用于若所述匹配值超过预设阈值,则删除与所述匹配值对应的所述目标图像。
其中,所述装置还包括:
原始图像获取模块:用于获取胶囊内镜拍摄的多个原始图像,所述原始图像包括目标图像与非目标图像;
目标图像筛选模块:用于预先利用所述目标图像训练图像筛选模型,通过所述图像筛选模型从所述原始图像中筛选出多个所述目标图像。
此外,本发明还提供了一种筛选胶囊内镜拍摄的图像的设备,包括:
存储器:用于存储计算机程序;
处理器:用于执行所述计算机程序以实现如上所述的筛选胶囊内镜拍摄的图像的方法的步骤。
最后,本发明还提供了一种计算机存储介质,所述计算机存储介质上保存有计算机程序,所述计算机程序被处理器执行时实现如上所述的筛选胶囊内镜拍摄的图像的方法的步骤。
本发明所提供的一种筛选胶囊内镜拍摄的图像的方法,通过获取胶囊内镜拍摄的多个目标图像,得到对应的图像特征序列,依次选取图像特征序列中的图像特征作为当前图像特征,然后将当前图像特征分别与各个图像特征进行匹配,最后得到匹配值并通过判断匹配值是否超过预设阈值来判断两个图像是否为相似图像,如果是,就删除该目标图像。可见,本发明有效的通过利用了各个目标图像之间的关联性,通过对各个目标图像之间的图像特征来判断是否为相似图像,进而对相似图像进行筛除,在一定程度上减小了筛除相似图像的误差,提高了筛除相似图像的准确性。
此外,本发明还提供了一种筛选胶囊内镜拍摄的图像的装置、设备以及一种计算机可读存储介质,其作用与上述方法的作用相对应,这里不再赘述。
具体实施方式
本发明的核心是提供一种筛选胶囊内镜拍摄的图像的方法、装置、设备以及一种计算机可读存储介质,在一定程度上减小了筛除相似图像的误差,提高了筛除相似图像的准确性。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面对本发明提供的筛选胶囊内镜拍摄的图像的方法实施例一进行介绍,参见图1,实施例一包括:
步骤S101:获取胶囊内镜拍摄的多个目标图像。
胶囊内镜在开机后,会拍摄一系列图像,这里获取胶囊内镜拍摄的多个目标图像,优选的,多个目标图像可以按照拍摄时间的先后顺序进行排列。
步骤S102:分别提取所述目标图像的图像特征,确定图像特征序列。
步骤S103:遍历所述图像特征序列,依次选取所述图像特征序列中的所述图像特征作为当前图像特征。
步骤S104:将所述当前图像特征分别与所述图像特征序列中除所述当前图像特征之外的各个所述图像特征进行匹配,确定匹配值。
具体的,可以采用SURF算法,全称Speeded Up Robust Features加速稳健的局部特征点检测和描述算法,因为使用了积分图和降维特征描述子,所以SURF的效率特别高,可以达到实时检测速度。具体的,可以分为9步:
1、将彩色RGB图像进行灰度化,SURF检测主要是检测图像的精准特征,所以为了进一步提高效率。
2、将转换后的灰度图像进行增强。由于胶囊内镜在体内拍摄图像,受身体内复杂环境的影响,容易出现模糊或者光线较暗的图片,所以要,具体的可以采用直方图均衡来实现图像的增强效果。
3、构建Hessian矩阵,对灰度图进行特征点提取,找出图像的对比比较大的边缘点、突变点。
4、因为对图像进行卷积复卷积计算很费时,所以这里可以使用积分图计算。
5、构建尺度空间。SURF使用的是不同尺度的滤波模板来处理同一张图,本实施例中可以按照4个尺度,每个尺度为4层的结构,第一层从9*9开始,由于响应长度每次要增加两个像素来计算微积分,分别为3、5、7、9,可以推算出滤波模板第一层尺寸取值为9、15、21、27,第二层15、27、39、51,第三层27、51、75、99,第四层51、99、147、195。
6、经过Hessian矩阵提取到特征点,再使用了3×3×3邻域非最大值抑制法,在不同尺寸中定位关键点,去掉小于预设极值的,只会留下有几个最强特征点。检测过程中使用与该尺度层图像解析度相对应大小的滤波器进行检测,以3×3的滤波器为例,该尺度层图像中有9个像素,去掉自身1个像素余8个像素点,加上上下两个尺度层各9个点共26个点,进行比较。滤除错误定位和能量比较弱的关键点,留下稳定的特征点。
7、对于特征点的主方向分配,在特征点为圆心邻域内,统计60度扇形内所有点的水平、垂直harr小波特征总和,同时考虑特征值的贡献,给这些响应值赋高斯权重系数,离特征点近权重系数就大,离的远,特征系数就小,然后扇形以0.2弧度大小的间隔进行旋转,遍历整个圆形区域,再次统计该区域内harr小波特征值之后,选择最长矢量的方向作为该特征点的主方向。
8、特征点主动方向求好后,计算特征向量,在特征点周围取一个4*4的矩形区域。再对每个区域统计25个像素的水平方向和垂直方向的haar小波特征,这里的水平和垂直方向都是相对特征点的主方向。然后分别以水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值,这4个值作为每个子块区域的特征向量,所以surf一共有4*4*4=64维特征向量。
9、采用最近邻匹配法,在获取当前帧和对比帧的特征点以后,为了加速匹配的过程,可以借助Laplacian的符号,根据正、负把特征点分成两块,正号的特征点互相计算,负号的特征点互相计算。
步骤S105:判断所述匹配值是否超过预设阈值。
具体的,可以取当前帧中的特征点的坐标p1(x,y)和对比帧中获取的每一个特征点进行计算欧式距离,并设定预设阈值dt1,当有1个以上特征点小于阈值dt1时,则取最小值点d1和次小值点d2,计算d1和d2的比值,如果小于阈值dt2,则表示d1和d2的差距比较大,反之则认为两个特征点存在干扰或为相似。
步骤S106:若所述匹配值超过预设阈值,则删除与所述匹配值对应的所述目标图像。
在确定所述匹配值超过预设阈值之后,且在删除与匹配值对应的目标图像之前,还可以进一步判断删除次数是否超过预设次数。若所述删除次数超过预设次数,则将与所述匹配值对应的所述图像特征作为所述当前图像特征,并重置所述删除次数。若所述删除次数未超过预设次数,则删除与所述匹配值对应的所述目标图像,并更新所述删除次数。通过这种方式,可以有效防止删除大量图片,避免因一次性删除太多导致图片失去了胶囊内镜工作上时间连续性。
本实施例所提供一种筛选胶囊内镜拍摄的图像的方法,通过获取胶囊内镜拍摄的多个目标图像,得到对应的图像特征序列,依次选取图像特征序列中的图像特征作为当前图像特征,然后将当前图像特征分别与各个图像特征进行匹配,最后得到匹配值并通过判断匹配值是否超过预设阈值来判断两个图像是否为相似图像,如果是,就删除该目标图像。可见,本发明有效的通过利用了各个目标图像之间的关联性,通过对各个目标图像之间的图像特征来判断是否为相似图像,进而对相似图像进行筛除,在一定程度上减小了筛除相似图像的误差,提高了筛除相似图像的准确性。
实施例一实现了减小筛除相似图像的误差,提高筛除相似图像的准确性的目的,但是我们知道在胶囊内镜开机之后,就开始拍摄图像,从开机到真正拍摄到我们所需要的目标图像,例如食道内部的图像之间,胶囊内镜会拍摄很多无用的图像,造成图像冗余,浪费存储空间。基于此,本发明还提供了一种筛选胶囊内镜拍摄的图像的方法实施例二。
下面开始详细介绍本发明提供的筛选胶囊内镜拍摄的图像的方法实施例二,参见图2,实施例二具体包括:
步骤S201:获取胶囊内镜拍摄的多个原始图像,所述原始图像包括目标图像与非目标图像。
步骤S202:预先利用所述目标图像训练图像筛选模型,通过所述图像筛选模型从所述原始图像中筛选出多个目标图像。
步骤S203:分别提取所述目标图像的图像特征,确定图像特征序列,所述图像特征序列包括多个按照拍摄时间先后顺序排列的所述图像特征。
步骤S204:遍历所述图像特征序列,依次选取所述图像特征序列中的所述图像特征作为当前图像特征。
步骤S205:将所述当前图像特征分别与所述图像特征序列中在所述当前图像特征之后的各个所述图像特征进行匹配,确定匹配值。
步骤S206:判断所述匹配值是否超过预设阈值,若未超过,进入步骤S207,否则进入步骤S208。
步骤S207:选取所述图像特征序列中所述当前图像特征之后的第一个图像特征作为所述当前图像特征。
步骤S208:判断删除次数是否超过预设次数,若超过,进入步骤S209,否则进入步骤S210。
步骤S209:将与匹配值对应的所述图像特征作为所述当前图像特征,并重置所述删除次数。
步骤S210:删除与所述匹配值对应的所述目标图像,并更新所述删除次数。
具体的,相对于每一个当前图像特征,可以每删除一次图像特征为删除次数加1。
对于步骤S202中训练图像筛选模型的过程,参见图3,可以经过以下几步训练所述图像筛选模型:
步骤S301:获取所述目标图像的HIS颜色直方特征。
步骤S302:获取所述目标图像的Hog特征。
步骤S303:将所述HIS颜色直方特征与所述Hog特征输入支持向量机SVM;
步骤S304:通过所述支持向量机SVM从所述原始图像中筛选出多个目标图像。
具体的,首先选取训练样本图片,可以从500个检测样本选取,每个检测样本就是每次检测者的胶囊从开机到最后检测完成,所拍摄的所有图片,按照不同的检测需求,胶囊采集的图片从2万到5万张不等。对每个样本大概选取20张食道前图像,20张食道中和食道后的图片,这样就形成了各10000张两种样本图片,用于后面的SVM训练,对于样本的图片的选取,尽量选择具有代表性,且尽量选取所有类型,不同角度,不同内容的图片。
然后,对于SVM的图片特征提取和识别流程,具体如下:
(1)读取原图RGB数据,RGB色彩模式是工业界的一种颜色标准,该模式为图像中每一个像素的RGB分量分配一个0~255范围内的强度值,最终通过对红R、绿G、蓝B三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。将RGB数据转成HIS颜色空间,具体转换公式如下:
(2)统计HIS颜色空间直方图。
(3)将RGB图像转灰度图像。按如下公式转换:
Gray=0.3*R+0.59*G+0.11*B
(4)采用Gamma校正法对灰度图像进行归一化。
(5)计算图像每个像素点的横坐标和纵坐标方向的梯度,并据此计算每个像素位置的梯度方向值。像素点H(x,y)的梯度计算公式如下:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
式中Gx(x,y),Gy(x,y),G(x,y),α(x,y)分别表示水平方向梯度、竖直方向梯度、梯度幅值和梯度方向。使用[-1,0,1]梯度算子对灰度图做卷积,得到Gx(x,y),使用[1,0-,T1]梯度算子对图像做卷积运算得到Gy(x,y)。
(6)将图像划分成很多6*6像素大小的cell,然后采用9个bin的直方图来统计每个cell的梯度直方图。
(7)将2*2个cell组成一个block,一个block内所有cell的特征。将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image的HOG特征f={x1,x2,x3,………xn}了。这个就是最终的可供分类使用的特征向量了。
(8)将Hog特征和HIS直方图特征输入到支持向量机SVM进行识别。
(9)识别出食道中的图片以后,跳出svm识别的循环,将识别到的食道图标记为相似检测的第一张,同时取下一帧作为对比帧,进入下一步SURF检测。
可见,本实施例提供的筛选胶囊内镜拍摄的图像的方法,在实施例一的基础上,预先通过图像筛选模型筛除原始图像中的非目标图像,因此相对于实施例一进一步筛除了胶囊内镜拍摄的图像,节省了存储空间。
下面对本发明实施例提供的筛选胶囊内镜拍摄的图像的装置进行介绍,下文描述的筛选胶囊内镜拍摄的图像的装置与上文描述的筛选胶囊内镜拍摄的图像的方法可相互对应参照。
图4为本发明实施例提供的筛选胶囊内镜拍摄的图像的装置的结构框图,该装置具体包括:
目标图像获取模块401:用于获取胶囊内镜拍摄的多个目标图像;
图像特征序列确定模块402:用于分别提取所述目标图像的图像特征,确定图像特征序列;
当前图像特征选取模块403:用于遍历所述图像特征序列,依次选取所述图像特征序列中的所述图像特征作为当前图像特征;
匹配值确定模块404:用于将所述当前图像特征分别与所述图像特征序列中除所述当前图像特征之外的各个所述图像特征进行匹配,确定匹配值;
匹配值判断模块405:用于判断所述匹配值是否超过预设阈值;
目标图像删除模块406:用于若所述匹配值超过预设阈值,则删除与所述匹配值对应的所述目标图像。
其中,所述装置还包括:
原始图像获取模块:用于获取胶囊内镜拍摄的多个原始图像,所述原始图像包括目标图像与非目标图像;
目标图像筛选模块:用于预先利用所述目标图像训练图像筛选模型,通过所述图像筛选模型从所述原始图像中筛选出多个所述目标图像。
本实施例的筛选胶囊内镜拍摄的图像的装置用于实现前述的筛选胶囊内镜拍摄的图像的方法,因此该装置中的具体实施方式可见前文中的筛选胶囊内镜拍摄的图像的方法的实施例部分,例如,目标图像获取模块401、图像特征序列确定模块402、当前图像特征选取模块403、匹配值确定模块404、匹配值判断模块405、目标图像删除模块406,分别用于实现上述筛选胶囊内镜拍摄的图像的方法中步骤S101,S102,S103,S104,S105,S106。所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再展开介绍。
另外,由于本实施例的筛选胶囊内镜拍摄的图像的装置用于实现前述的筛选胶囊内镜拍摄的图像的方法,因此其作用与上述方法的作用相对应,这里不再赘述。
此外,本发明还提供了一种筛选胶囊内镜拍摄的图像的设备,包括:
存储器:用于存储计算机程序;
处理器:用于执行所述计算机程序以实现如上所述的筛选胶囊内镜拍摄的图像的方法的步骤。
最后本发明还提供了一种计算机存储介质,所述计算机存储介质上保存有计算机程序,所述计算机程序被处理器执行时实现如上所述的筛选胶囊内镜拍摄的图像的方法的步骤。
由于本实施例的筛选胶囊内镜拍摄的图像的设备以及计算机可读存储介质用于实现前述的筛选胶囊内镜拍摄的图像的方法,因此其作用与上述方法的作用相对应,这里不再赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的筛选胶囊内镜拍摄的图像的方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。