CN109934276A - 基于迁移学习的胶囊内窥镜图像分类系统及方法 - Google Patents

基于迁移学习的胶囊内窥镜图像分类系统及方法 Download PDF

Info

Publication number
CN109934276A
CN109934276A CN201910165108.9A CN201910165108A CN109934276A CN 109934276 A CN109934276 A CN 109934276A CN 201910165108 A CN201910165108 A CN 201910165108A CN 109934276 A CN109934276 A CN 109934276A
Authority
CN
China
Prior art keywords
image
capsule endoscope
module
endoscope image
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910165108.9A
Other languages
English (en)
Other versions
CN109934276B (zh
Inventor
袁文金
张皓
张行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhan Science And Technology (wuhan) Co Ltd
Original Assignee
Anhan Science And Technology (wuhan) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhan Science And Technology (wuhan) Co Ltd filed Critical Anhan Science And Technology (wuhan) Co Ltd
Priority to CN201910165108.9A priority Critical patent/CN109934276B/zh
Publication of CN109934276A publication Critical patent/CN109934276A/zh
Priority to US16/810,812 priority patent/US11361418B2/en
Application granted granted Critical
Publication of CN109934276B publication Critical patent/CN109934276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明所设计的基于迁移学习的胶囊内窥镜图像分类系统,图像预处理模块用于去除图像亮度均值在预设图像亮度阈值以外的胶囊内窥镜图像,并利用图像亮度标准差和图像亮度梯度去除没有细节的胶囊内窥镜图像;相似图像去除模块用于对预处理后的胶囊内窥镜图像利用光流方法去除相似性图像;图像分类模块用于将经上述两个模块处理后的胶囊内窥镜图像按对应的解剖学结构进行图片分类,并得到按时间顺序排列的分类后的胶囊内窥镜图像序列;关键图像定位模块用于在胶囊内窥镜图像序列中确定并标记各个特定解剖学结构图像第一张出现的位置。本发明能快速去除冗余图像、去除无细节图像减少了医生需要查看的图像数量。

Description

基于迁移学习的胶囊内窥镜图像分类系统及方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于迁移学习的胶囊内窥镜图像分类系统及方法。
技术背景
现有胶囊内窥镜做完一次检查,会得到大量的图像数据(约50000张),而在图像数据中有特定的解剖学结构(如贲门、幽门、十二指肠等)的图像占整个图像数据的比例很小,从大量数据中挑选出需要的图像数据是非常困难的,加大了医生工作的难度。因此,需要一种方法能够去除冗余图像数据并能够将图像数据按特定的消化道解剖学结构分类,从而降低医生的工作难度,提高医生的工作效率。
发明内容
本发明的目的在于提供一种基于迁移学习的胶囊内窥镜图像分类系统及方法,本发明能快速去除冗余图像、去除无细节图像减少了医生需要查看的图像数量,减少了医生的工作量,将图像快速定位到消化道各个部位,提高了医生的工作效率。
为实现上述发明目的,本发明所设计的基于迁移学习的胶囊内窥镜图像分类系统,包括图像预处理模块、相似图像去除模块、图像分类模块和关键图像定位模块;
所述图像预处理模块用于去除图像亮度均值在预设图像亮度阈值以外的胶囊内窥镜图像,并利用图像亮度标准差和图像亮度梯度去除没有细节的胶囊内窥镜图像;
所述相似图像去除模块用于对预处理后的胶囊内窥镜图像利用光流方法去除相似性图像;
所述图像分类模块用于将经所述图像预处理模块和所述相似图像去除模块处理后的胶囊内窥镜图像按对应的解剖学结构进行图片分类,并得到按时间顺序排列的分类后的胶囊内窥镜图像序列;
所述关键图像定位模块用于在按时间顺序排列的分类后的胶囊内窥镜图像序列中确定并标记各个特定解剖学结构图像第一张出现的位置。
作为本发明的进一步改进,所述图像预处理模块用于计算胶囊内窥镜图像中图像有效区域内的亮度均值M,当所述图像亮度均值M小于图像亮度过暗阈值Low时,判定对应的胶囊内窥镜图像过暗,将其去除;当所述图像亮度均值M大于图像亮度过亮阈值High时,判定对应的胶囊内窥镜图像过亮,将其去除。
作为本发明的进一步改进,所述图像预处理模块还用于计算胶囊内窥镜图像有效区域内的图像亮度标准差S和图像亮度梯度G,并统计所述图像亮度梯度G满足条件的像素个数B,当所述图像亮度标准差S小于图像亮度标准差阈值Std、或所述像素个数B小于有效梯度个数阈值GradNum时,判定对应的胶囊内窥镜图像没有细节,将其排除。作为本发明的进一步改进,所述相似图像去除模块对预处理后的胶囊内窥镜图像利用光流方法去除相似性图像的具体方法为:
在当前胶囊内窥镜图像的图像有效区域内设置K个特征点;
对下一张胶囊内窥镜图像的亮度进行调整,将其亮度均值调整到与所述当前胶囊内窥镜图像的亮度均值相同;
在上述下一张胶囊内窥镜图像的图像有效区域内,将所述当前胶囊内窥镜图像的特征点位置设为初始位置,利用光流方法,在所述初始位置周围寻找所述当前胶囊内窥镜图像中每个特征点的最佳匹配位置;
给每个特征点的最佳匹配位置分配一个权值,统计所有特征点的最佳匹配位置的权值和,该权值和为图像匹配权值W,利用所述图像匹配权值W去除相似性图像。
作为本发明的进一步改进,所述图像分类模块包括预置图像数据模型模块、迁移学习模型模块和人工特征提取模块;
经过所述图像预处理模块和所述相似图像去除模块处理后的胶囊内窥镜图像,通过预置图像数据模型模块得到第一图像数据特征,所述第一图像数据特征经所述迁移学习模型模块得到第二图像数据特征,同时通过人工特征提取模块得到第三图像数据特征,将所述第二图像数据特征与所述第三图像数据特征融合得到图像分类数据特征,并对所述图像分类数据特征按特定的解剖学结构进行图像分类。
作为本发明的进一步改进,所述关键图像定位模块采用滤波的方法去除按时间顺序排列的分类后的胶囊内窥镜图像序列中的干扰数据;然后寻找滤波后胶囊内窥镜图像序列中的各个解剖学结构第一张出现的位置。
一种基于迁移学习的胶囊内窥镜图像分类方法,其特征在于,包括如下步骤:
步骤1:通过图像预处理模块(1)去除图像亮度均值在预设图像亮度阈值以外的胶囊内窥镜图像,并利用图像亮度标准差和图像亮度梯度去除没有细节的图像;
步骤2:通过相似图像去除模块(2)对预处理后的胶囊内窥镜图像利用光流方法去除相似性图像;
步骤3:通过图像分类模块(3)对经所述步骤1和步骤2处理后的胶囊内窥镜图像按对应的解剖学结构进行图片分类,并得到按时间顺序排列的分类后的胶囊内窥镜图像序列;
步骤4:通过关键图像定位模块(4)在按时间顺序排列的分类后的胶囊内窥镜图像序列中确定并标记各个特定解剖学结构图像第一张出现的位置。
本发明具有如下有益效果:
1、本发明利用图像亮度均值与预设图像亮度阈值的比较,去除图像亮度过亮和过暗的图像;并利用图像亮度标准差和图像亮度梯度去除无细节的图像(有特定解剖学结构的胶囊图像都是细节较丰富的),大量减少了需要分类的图像,提高了分类效率;
2、本发明利用光流法很好地去除了相似性图像,减少了需要分类的图像,提高了分类效率;
3、本发明结合人工特征和深度学习得到的特征,大大提高了图像分类效果;
附图说明
图1是本发明胶囊内窥镜图像分类系统的结构示意图;
图2是本发明图像有效区域的结构示意图;
图3是本发明光流法相似性判断的流程示意图;
图4是本发明光流法特征点匹配的示意图;
图5是本发明迁移学习的流程示意图。
其中,1—图像预处理模块、2—相似图像去除模块、3—图像分类模块、4—关键图像定位模块。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明:
本发明设计的一种基于迁移学习的胶囊内窥镜图像分类系统,如图1所示,该胶囊内窥镜图像分类系统包括图像预处理模块1、相似图像去除模块2、图像分类模块3和关键图像定位模块4。所述图像预处理模块1用于将各个胶囊内窥镜图像中图像有效区域内的亮度均值与预设图像亮度阈值进行比较,去除亮度在预设图像亮度阈值范围外的过亮和过暗的图像;所述图像预处理模块1还用于统计各个胶囊内窥镜图像的图像有效区域内的亮度标准差和图像亮度梯度,利用图像亮度标准差和图像亮度梯度去除没有细节的图像(有特定解剖学结构的胶囊图像都是细节较丰富的);所述相似图像去除模块2用于对预处理后的胶囊内窥镜图像利用光流方法去除相似性图像,光流方法可以克服图像旋转造成的不利影响,同时对图像亮度进行调整,克服光照造成的不利影响,具有较好的效果;所述图像分类模块3用于将经过上述两个模块处理后的胶囊内窥镜图像按对应的解剖学结构进行图片分类,并得到按时间顺序排列的分类后的胶囊内窥镜图像序列;所述关键图像定位模块4用于在按时间顺序排列的分类后的胶囊内窥镜图像序列中确定并标记各个特定解剖学结构图像第一张出现的位置。
所述图像有效区域是指以图像中心位置为中心的区域,该区域的形状可以根据胶囊内窥镜采集到的图像进行调整,可以为矩形、圆形、椭圆、多边形等;该区域的大小也可以根据胶囊内窥镜采集到的图像进行调整,当区域大小超过图像大小时,则采用原始图像;一般地,所述图像有效区域大小为(α×Width)×(α×Height),其中,Width、Height分别为图像的宽、高,α为区域大小系数,其取值范围为:α=[0.2,1],在本较佳实施例中,所述有效区域的形状采用矩形,α=0.7,如图2所示。
由于消化道环境复杂,尤其在胃部,因其空腔较大,在胶囊内窥镜检查过程中,会得到较多过亮和过暗的图像,同时,会得到较多光滑的胃壁图像,而光滑的胃壁图像并不包含有用信息,却大大增加了图像的数量,进而影响胶囊图像的处理。图像预处理模块1对胶囊内窥镜获取的消化道图像进行预处理,去除图像亮度过亮和过暗的图像,并去除没有细节的图像。具体来说,所述图像预处理模块1用于计算得到各个胶囊内窥镜图像中图像有效区域内的亮度均值,并利用预设的图像亮度阈值去除过亮和过暗图像。
具体地,所述图像亮度均值M通过以下公式计算:
其中,N为有效区域内图像像素的个数,Ii为有效区域内第i个像素的灰度值;
当M<Low时,判定对应的胶囊内窥镜图像亮度过暗,将其去除;当M>High时,判定对应的胶囊内窥镜图像亮度过亮,将其去除;
其中,Low为图像亮度过暗阈值,High为图像亮度过亮阈值,皆通过对实际图像的亮度统计得到的。一般地,图像亮度过暗阈值Low的取值范围为:Low=[30,80],图像亮度过亮阈值High的取值范围为:High=[180,240]。在本较佳实施例中,Low=50,High=220。
所述图像预处理模块1还用于计算得到各个胶囊内窥镜图像中图像有效区域内的亮度标准差和梯度,并利用所述图像亮度标准差和图像亮度梯度去除没有细节的图像。
具体地,所述图像亮度标准差S通过以下公式计算:
其中,N为有效区域内图像像素的个数,Ii为有效区域内第i个像素的灰度值,M为图像亮度均值;
所述图像预处理模块1去除没有细节的图像的具体方法为:
首先,利用sobel算子得到胶囊内窥镜图像的水平和垂直方向的亮度梯度fx和fy,则亮度梯度为
然后,统计上述图像亮度梯度G满足条件的像素的个数B为:
当S<Std或者B<GradNum时,判定对应的胶囊内窥镜图像无细节,将其去除;
其中,Gi为有效区域内第i个像素的梯度,S为胶囊内窥镜图像的图像有效区域内的亮度标准差,N为有效区域内图像像素的个数,Grad为图像梯度是否有效阈值,Std为图像亮度标准差阈值,GradNum为有效梯度的个数阈值。
当有效区域内第i个像素的梯度Gi超过Grad时,则认为是有效亮度梯度;一般地,Grad的取值范围为:Grad=[10,5000],在本较佳实施例中,Grad=1100。
此外,一般地,Std的取值范围为:Std=[0,100],GradNum的取值范围为:GradNum=[10,1000];在本较佳实施例中,Std=20,GradNum=300。
对于特定的解剖学结构,胶囊内窥镜在拍摄图像时,会连续拍摄多张图像,从而导致图像冗余,影响医生查阅图像的工作效率。所述相似性图像去除模块2用于去除这些冗余的图像,从而提升医生的工作效率。这里采用光流方法来去除相似性图像,光流方法可以克服图像旋转造成的不利影响,同时对图像亮度进行调整,克服光照造成的不利影响,具有较好的效果。
如图3所示,为利用光流法进行图像相似性判断的流程示意图,具体步骤如下:
S21,在当前胶囊内窥镜图像的图像有效区域内设置K个特征点;
S22,对下一张胶囊内窥镜图像的亮度进行调整,将其亮度均值调整到与所述当前胶囊内窥镜图像的亮度均值相同,以减小光照影响;其中,图像亮度的具体调整方法为:Inext=Inext-Mnext+Mcurrent,其中,Inext为下一张图像所有像素的灰度值,Mnext为下一张图像的亮度均值,Mcurrent为当前图像的亮度均值;
S23,在上述下一张胶囊内窥镜图像的图像有效区域内,将所述当前胶囊内窥镜图像的特征点位置设为初始位置,利用光流方法,在所述初始位置周围寻找当前胶囊内窥镜图像中每个特征点的最佳匹配位置;
S24,给每个特征点的最佳匹配位置分配一个权值,统计所有特征点的最佳匹配位置的权值和,该权值和为图像匹配权值,利用所述图像匹配权值去除相似性图像。
由于胶囊内窥镜图像的特点,利用sift方法获得的特征点较少,为克服这一缺点,上述步骤S21可以为在当前胶囊内窥镜图像的图像有效有效区域内均匀设置K个特征点,如图4所示,一般地,K=[9,2500],在本较佳实施例中,K=100。
进而,为了去除平坦区域对图像匹配权值的影响,对图像细节处特征点的权值进行了调整,上述步骤S24中,利用图像匹配权值判定图像相似性的具体方法为:
首先,通过以下公式计算图像匹配权值W:
其中,P为匹配的特征点的个数,Si为当前图像的第i个特征点邻域(Asize×Asize)内的图像亮度标准差(其计算方法可参阅图像预处理模块1中图像亮度标准差S的计算方法,于此不再赘述),AStd为邻域(Asize×Asize)内是否有细节阈值,Asize为邻域大小,一般地,Asize=[3,21],AStd=[1,10],在本较佳实施例中,Asize=9,AStd=5;
然后,判定图像特征点领域内是否有细节,当Si>AStd时,判定第i个特征点邻域有细节,则第i个特征点的匹配权值为u;否则,第i个特征点的匹配权值为v。一般地,u=[2,20],v=[0,2];在本较佳实施例中,u=10,v=1;
最后,判定图像是否相似,当图像匹配权值W<Wth或者P<Pth时,判定对应的胶囊内窥镜图像不相似;否则,判定对应的胶囊内窥镜图像相似。其中,Pth为特征点匹配的个数阈值,Wth为图像匹配权值阈值。一般地,Wth=[0,K×u],Pth=[0,K];在本较佳实施例中,图像匹配权值阈值Wth=70,特征点匹配的个数阈值Pth=30。
由此可见,当图像特征点领域内的细节越多,则该特征点的匹配权值越高;反之,则匹配权值越低。当图像匹配权值W越高,则对应的胶囊内窥镜图像越相似;反之,则越不相似。当匹配的特征点个数P越多,则对应的胶囊内窥镜图像越相似;反之,则越不相似。
如图5所示,为图像分类模块3利用迁移学习进行消化道图像分类的流程示意图。所述图像分类模块3包括:预置图像数据模型模块、迁移学习模型模块和人工特征提取模块。通过所述图像分类模块3对经过图像预处理模块1和相似图像去除模块2处理后的胶囊内窥镜图像进行分类的具体步骤如下:
S31,提取预置图像数据模型模块中的第一图像数据特征;
S32,将上述所得的第一图像数据特征利用迁移学习模型模块进行特征提取得到第二图像数据特征;
S33,通过人工特征提取模块,采用人工提取的方式提取第三图像数据特征;所述第三图像数据特征包括图像颜色、纹理、梯度等特征;
S34,将上述所得的第二图像数据特征和第三图像数据特征融合,得到图像分类数据特征,对所述图像数据分类特征按特定的解剖学结构进行分类。
上述步骤S31、S32和S33是同时进行的。
所述预置图像数据模型可以是其它领域已训练好的模型,如在自然图像领域效果好的模型、其它医学图像中分类较好的模型等;在本较佳实施例中,预置图像数据模型为在自然图像上效果好的模型inception-v3。
上述步骤S31中,所述第一图像数据特征的参数可以全部训练调整、部分训练调整、或不进行调整;在本较佳实施例中,所述第一图像数据特征的参数不进行调整。
上述步骤S32中,所述第二图像数据特征可以根据情况调整模型卷积和参数、增加或减少卷积层,同时调整全连接层;在本较佳实施例中,对所述第二图像数据特征增加了1层卷积层,并调整了全连接参数。
上述步骤S33中,通过人工提取的胶囊内窥镜图像的颜色、纹理和梯度等特征,所述颜色特征通过计算HSV各个通道的Hu矩阵得到;
所述纹理特征为CLBP(Completed Local Binary Pattern)直方图,包含符号CLBP_S和幅度CLBP_M,具体计算方式为:
其中,2l表示当前像素的权值,s为比较操作,s(x)判断灰度差x是否>0,t(x,c)判断灰度差x是否>阈值c,L为当前像素半径为的R的邻域内需要使用的像素的个数,gc为当前需要处理的像素的G(绿色)通道减去B(蓝色)通道的值,gl为当前像素周围像素的G通道减去B通道的值,gl的位置为(Rcos(2πl/L),Rsin(2πl/L)),Vl=|gl-gc|为当前像素与邻域像素的差的绝对值,阈值c为有效区域内Vl的均值。
上述步骤S34中,所述图像数据特征的融合,如将第二图像数据特征20维与第三图像数据特征30维(颜色特征10维、纹理特征15维、梯度特征5维)融合,得到图像分类数据特征50维。在本较佳实施例中,根据得到的图像分类数据特征,将消化道图像分类为食道、胃壁褶皱、贲门、幽门、胃底、胃窦、胃角、十二指肠、空肠、回肠、盲肠、结肠、直肠。
所述关键图像定位模块4对分类后的胶囊内窥镜图像序列进行处理,对于分类后的图像序列中的干扰采用滤波方法进行处理,在滤波过程中需要不断调整滤波器参数,直到干扰完全滤除;然后寻找滤波后胶囊内窥镜图像序列中的各个解剖学结构第一张出现的位置。
所述关键图像定位模块4对分类后的胶囊内窥镜图像序列进行处理,得到各个解剖学结构第一张出现的位置,方便医生快速查看。在寻找关键图像时,将胃部图像(胃壁褶皱、贲门、幽门、胃底、胃窦、胃角)归为1类;在消化道图像内,胃部图像数量和肠道图像(十二指肠、空肠、回肠、盲肠、结肠、直肠)数量较多,而食道图像则很少,而查找第一张胃部图像和第一张肠道图像需要使用不同的方法。定位消化道第一张肠道图像的具体实现方法为:
S41,对分类后的序列List,查找出现的第一张Posf和最后一张Posl肠道图像位置,确认Posf和Posl之间是否出现其它图像,若有,则需要进行滤波处理,直到找到的Posf和Posl中间没有其他图像,则Posf即为出现的第一张肠道图像位置。
上述步骤S41中,所述滤波处理可以采用任何滤波方式在本较佳实施例中,滤波方式采用中值滤波;
在滤波过程中,需要不断调整滤波器参数,具体的调整方法为:设定滤波器窗口初始宽度,其取值范围为Win=[3,101],每次滤波后,通过Wini=Wini-1+dWin增加滤波器窗口宽度,其中,Wini表示第i次滤波器窗口宽度,Wini-1表示第i-1次,即前一次的滤波器窗口宽度;dWin为每次滤波后滤波器窗口宽度的增加值,其取值范围为dWin=[2,500],在本较佳实施例中,Win=51,dWin=50。
消化道中肠道图像(十二指肠、空肠、回肠、盲肠、结肠、直肠)各关键位置的寻找方法相同,同时肠道图像各解剖学结构是按照十二指肠、空肠、回肠、盲肠、结肠、直肠顺序出现的,因而在处理过程中,可以通过不断调整需要处理的图像序列长度,减小序列干扰,具体方法为:
Locali+1=find(List(Locali:T-1)),
其中,T为分类后序列的总长度,List(Locali:T-1)表示为序列List截取从位置Locali到位置T-1后的部分序列,find()表示步骤S41寻找第一张关键图像出现位置的过程,Local0=0,Local1、Local2、Local3、Local4、Local5、Local6分别代表十二指肠、空肠、回肠、盲肠、结肠、直肠第一张图像出现的位置。
对于第一张出现胃部图像的位置,需要采用与第一张出现肠道图像位置不同的方法,即需要调整滤波器参数,由于食道图像相比于胃部图像和肠道图像,食道图像数量很小,需减小滤波器窗口宽度防止食道图像在滤波过程中被滤除了。定位第一张胃部图像的具体方法为:
S42,截取肠道图像以前的分类序列List(0:Local1)进行滤波处理,滤波处理时需要调整滤波器初始窗口参数Win′和滤波器宽度增加值dWin′,执行num次滤波后,查找第一张胃部图像的位置为需要查找的胃部图像关键位置;
对于胃部关键图像位置,滤波器窗口宽度不能太大,一般地,Win′=[3,15],dWin′=[2,10],在本较佳实施例中,滤波器窗口初始宽度Win′=9,滤波器增加值dWin′=3,且仅执行num次滤波,num取值范围为[1,5],在本较佳实施例中,num=3。
本发明还提供了一种基于迁移学习的胶囊内窥镜图像分类方法,具体包括如下步骤:
步骤1:通过图像预处理模块1去除图像亮度均值在预设图像亮度阈值以外的胶囊内窥镜图像,并利用图像亮度标准差和图像亮度梯度去除没有细节的图像;
步骤2:通过相似图像去除模块2对预处理后的胶囊内窥镜图像利用光流方法去除相似性图像;
步骤3:通过图像分类模块3对经所述步骤1和步骤2处理后的胶囊内窥镜图像按对应的解剖学结构进行图片分类,并得到按时间顺序排列的分类后的胶囊内窥镜图像序列;
步骤4:通过关键图像定位模块4在按时间顺序排列的分类后的胶囊内窥镜图像序列中确定并标记各个特定解剖学结构图像第一张出现的位置。
本发明提供的基于迁移学习的胶囊内窥镜图像分类系统中其他具体的方法步骤均可以用于基于迁移学习的胶囊内窥镜图像分类方法,于此不再赘述。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (11)

1.一种基于迁移学习的胶囊内窥镜图像分类系统,其特征在于:包括图像预处理模块(1)、相似图像去除模块(2)、图像分类模块(3)和关键图像定位模块(4);
所述图像预处理模块(1)用于去除图像亮度均值在预设图像亮度阈值以外的胶囊内窥镜图像,并利用图像亮度标准差和图像亮度梯度去除没有细节的胶囊内窥镜图像;
所述相似图像去除模块(2)用于对预处理后的胶囊内窥镜图像利用光流方法去除相似性图像;
所述图像分类模块(3)用于将经所述图像预处理模块(1)和所述相似图像去除模块(2)处理后的胶囊内窥镜图像按对应的解剖学结构进行图片分类,并得到按时间顺序排列的分类后的胶囊内窥镜图像序列;
所述关键图像定位模块(4)用于在按时间顺序排列的分类后的胶囊内窥镜图像序列中确定并标记各个特定解剖学结构图像第一张出现的位置。
2.根据权利要求1所述的胶囊内窥镜图像分类系统,其特征在于:所述图像预处理模块(1)用于计算胶囊内窥镜图像中图像有效区域内的亮度均值M,当所述图像亮度均值M小于图像亮度过暗阈值Low时,判定对应的胶囊内窥镜图像过暗,将其去除;当所述图像亮度均值M大于图像亮度过亮阈值High时,判定对应的胶囊内窥镜图像过亮,将其去除。
3.根据权利要求1所述的胶囊内窥镜图像分类系统,其特征在于,所述图像预处理模块(1)还用于计算胶囊内窥镜图像有效区域内的图像亮度标准差S和图像亮度梯度G,并统计所述图像亮度梯度G满足条件的像素个数B,当所述图像亮度标准差S小于图像亮度标准差阈值Std、或所述像素个数B小于有效梯度个数阈值GradNum时,判定对应的胶囊内窥镜图像没有细节,将其排除。
4.根据权利要求1所述的胶囊内窥镜图像分类系统,其特征在于:所述相似图像去除模块(2)对预处理后的所有图像利用光流方法去除相似性图像的具体方法为:
在当前胶囊内窥镜图像的图像有效区域内设置K个特征点;
对下一张胶囊内窥镜图像的亮度进行调整,将其亮度均值调整到与所述当前胶囊内窥镜图像的亮度均值相同;
在所述下一张胶囊内窥镜图像的图像有效区域内,将所述当前胶囊内窥镜图像的特征点位置设为初始位置,利用光流方法,在所述初始位置周围寻找所述当前胶囊内窥镜图像中每个特征点的最佳匹配位置;
给每个特征点的最佳匹配位置分配一个权值,统计所有特征点的最佳匹配位置的权值和,该权值和为图像匹配权值W,利用所述图像匹配权值W去除相似性图像。
5.根据权利要求4所述的胶囊内窥镜图像分类系统,其特征在于,所述相似图像去除模块(2)在当前胶囊内窥镜图像有效区域内设置的K个特征点是均匀设置的。
6.根据权利要求4所述的胶囊内窥镜图像分类系统,其特征在于,当所述图像匹配权值W小于图像匹配权值阈值Wth、或找到最佳匹配位置的特征点个数P小于特征点匹配个数阈值Pth时,判定对应的胶囊内窥镜图像不相似,否则判定对应的胶囊内窥镜图像相似。
7.根据权利要求4所述的胶囊内窥镜图像分类系统,其特征在于,当所述当前胶囊内窥镜图像的第i个特征点领域内的标准差Si大于领域内是否有细节阈值AStd时,判定第i个特征点领域内有细节,则第i个特征点的匹配权值为u;否则,第i个特征点的匹配权值为v。
8.根据权利要求1所述的胶囊内窥镜图像分类系统,其特征在于:所述图像分类模块(3)包括预置图像数据模型模块、迁移学习模型模块和人工特征提取模块;
经过所述图像预处理模块(1)和所述相似图像去除模块(2)处理后的胶囊内窥镜图像,通过预置图像数据模型模块得到第一图像数据特征,所述第一图像数据特征经所述迁移学习模型模块得到第二图像数据特征,同时通过人工特征提取模块得到第三图像数据特征,将所述第二图像数据特征与所述第三图像数据特征融合得到图像分类数据特征,并对所述图像分类数据特征按特定的解剖学结构进行图像分类。
9.根据权利要求8所述的胶囊内窥镜图像分类系统,其特征在于,所述第三图像数据特征包含图像颜色、纹理和梯度特征,所述图像颜色特征利用HSV各个通道的Hu矩阵计算得到,所述图像纹理特征利用CLPB直方图计算得到。
10.根据权利要求1所述的胶囊内窥镜图像分类系统,其特征在于:所述关键图像定位模块(4)采用滤波的方法去除按时间顺序排列的分类后胶囊内窥镜图像序列中的干扰数据;然后寻找滤波后胶囊内窥镜图像序列中的各个解剖学结构第一张出现的位置。
11.一种基于迁移学习的胶囊内窥镜图像分类方法,其特征在于,包括如下步骤:
步骤1:通过图像预处理模块(1)去除图像亮度均值在预设图像亮度阈值以外的胶囊内窥镜图像,并利用图像亮度标准差和图像亮度梯度去除没有细节的胶囊内窥镜图像;
步骤2:通过相似图像去除模块(2)对预处理后的胶囊内窥镜图像利用光流方法去除相似性图像;
步骤3:通过图像分类模块(3)对经所述步骤1和步骤2处理后的胶囊内窥镜图像按对应的解剖学结构进行图片分类,并得到按时间顺序排列的分类后的胶囊内窥镜图像序列;
步骤4:通过关键图像定位模块(4)在按时间顺序排列的分类后的胶囊内窥镜图像序列中确定并标记各个特定解剖学结构图像第一张出现的位置。
CN201910165108.9A 2019-03-05 2019-03-05 基于迁移学习的胶囊内窥镜图像分类系统及方法 Active CN109934276B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910165108.9A CN109934276B (zh) 2019-03-05 2019-03-05 基于迁移学习的胶囊内窥镜图像分类系统及方法
US16/810,812 US11361418B2 (en) 2019-03-05 2020-03-05 Transfer learning based capsule endoscopic images classification system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910165108.9A CN109934276B (zh) 2019-03-05 2019-03-05 基于迁移学习的胶囊内窥镜图像分类系统及方法

Publications (2)

Publication Number Publication Date
CN109934276A true CN109934276A (zh) 2019-06-25
CN109934276B CN109934276B (zh) 2020-11-17

Family

ID=66986367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910165108.9A Active CN109934276B (zh) 2019-03-05 2019-03-05 基于迁移学习的胶囊内窥镜图像分类系统及方法

Country Status (2)

Country Link
US (1) US11361418B2 (zh)
CN (1) CN109934276B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110367913A (zh) * 2019-07-29 2019-10-25 杭州电子科技大学 无线胶囊内窥镜图像幽门和回盲瓣定位方法
CN111026799A (zh) * 2019-12-06 2020-04-17 安翰科技(武汉)股份有限公司 胶囊内窥镜检查报告文本结构化方法、设备及介质
CN111275104A (zh) * 2020-01-16 2020-06-12 重庆金山医疗技术研究院有限公司 一种模型训练方法、装置、服务器及存储介质
WO2022048540A1 (zh) * 2020-09-01 2022-03-10 安翰科技(武汉)股份有限公司 胃肠标记物自动识别方法及识别方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2615477A (en) 2020-11-19 2023-08-09 Digestaid Artificial Intelligence Dev Lda Automatic detection of erosions and ulcers in Crohn's capsule endoscopy
US20230410295A1 (en) 2020-11-19 2023-12-21 Digestaid - Artificial Intelligence Development, Lda Automatic detection of colon lesions and blood in colon capsule endoscopy
GB2618003A (en) 2021-02-25 2023-10-25 Digestaid Artificial Intelligence Dev Lda Automatic detection and differentiation of biliary lesions in cholangioscopy images
US11989806B2 (en) * 2021-09-01 2024-05-21 Adobe Inc. Continuous curve textures
CN115270997B (zh) * 2022-09-20 2022-12-27 中国人民解放军32035部队 基于迁移学习的火箭目标姿态稳定判别方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584571A (zh) * 2009-06-15 2009-11-25 无锡骏聿科技有限公司 一种胶囊内镜辅助读片方法
CN105469383A (zh) * 2014-12-30 2016-04-06 北京大学深圳研究生院 基于多特征融合的无线胶囊内窥镜冗余图像筛除方法
CN107240091A (zh) * 2017-04-21 2017-10-10 安翰光电技术(武汉)有限公司 胶囊内窥镜图像预处理系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751622B2 (en) * 2005-08-22 2010-07-06 Carestream Health, Inc. Method and system for detection of undesirable images
JP5281826B2 (ja) * 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
WO2011005865A2 (en) * 2009-07-07 2011-01-13 The Johns Hopkins University A system and method for automated disease assessment in capsule endoscopy
US20110135170A1 (en) * 2009-12-09 2011-06-09 Capso Vision, Inc. System and method for display speed control of capsule images
US8682142B1 (en) * 2010-03-18 2014-03-25 Given Imaging Ltd. System and method for editing an image stream captured in-vivo
US9060673B2 (en) * 2010-04-28 2015-06-23 Given Imaging Ltd. System and method for displaying portions of in-vivo images
US20130002842A1 (en) * 2011-04-26 2013-01-03 Ikona Medical Corporation Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
WO2014193670A2 (en) * 2013-05-29 2014-12-04 Capso Vision, Inc. Reconstruction of images from an in vivo multi-camera capsule
WO2015092904A1 (ja) * 2013-12-19 2015-06-25 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6177458B2 (ja) * 2015-07-03 2017-08-09 オリンパス株式会社 画像処理装置及び内視鏡システム
CN108292366B (zh) * 2015-09-10 2022-03-18 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101584571A (zh) * 2009-06-15 2009-11-25 无锡骏聿科技有限公司 一种胶囊内镜辅助读片方法
CN105469383A (zh) * 2014-12-30 2016-04-06 北京大学深圳研究生院 基于多特征融合的无线胶囊内窥镜冗余图像筛除方法
CN107240091A (zh) * 2017-04-21 2017-10-10 安翰光电技术(武汉)有限公司 胶囊内窥镜图像预处理系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAO JIA等: "Gastrointestinal Bleeding Detection in Wireless Capsule Endoscopy Images Using Handcrafted and CNN Features", 《2017 39TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY》 *
XIULI LI等: "Exploring Transfer Learning for Gastrointestinal Bleeding Detection on Small-size Imbalanced Endoscopy Images", 《2017 39TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY》 *
刘小燕等: "基于 SURF 算法的胶囊内镜冗余图像快速筛除", 《中国生物医学工程学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110367913A (zh) * 2019-07-29 2019-10-25 杭州电子科技大学 无线胶囊内窥镜图像幽门和回盲瓣定位方法
CN110367913B (zh) * 2019-07-29 2021-09-28 杭州电子科技大学 无线胶囊内窥镜图像幽门和回盲瓣定位方法
CN111026799A (zh) * 2019-12-06 2020-04-17 安翰科技(武汉)股份有限公司 胶囊内窥镜检查报告文本结构化方法、设备及介质
CN111026799B (zh) * 2019-12-06 2023-07-18 安翰科技(武汉)股份有限公司 胶囊内窥镜检查报告文本结构化方法、设备及介质
CN111275104A (zh) * 2020-01-16 2020-06-12 重庆金山医疗技术研究院有限公司 一种模型训练方法、装置、服务器及存储介质
WO2022048540A1 (zh) * 2020-09-01 2022-03-10 安翰科技(武汉)股份有限公司 胃肠标记物自动识别方法及识别方法

Also Published As

Publication number Publication date
CN109934276B (zh) 2020-11-17
US11361418B2 (en) 2022-06-14
US20200286219A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
CN109934276A (zh) 基于迁移学习的胶囊内窥镜图像分类系统及方法
CN106097335B (zh) 消化道病灶图像识别系统及识别方法
CN106934799B (zh) 胶囊内窥镜图像辅助阅片系统及方法
CN106204599B (zh) 用于消化道内图像的自动分段系统和方法
CN107240091B (zh) 胶囊内窥镜图像预处理系统及方法
CN110516576B (zh) 基于深度神经网络的近红外活体人脸识别方法
CN106651883B (zh) 基于机器视觉的粪便形态识别方法
CN103413120B (zh) 基于物体整体性和局部性识别的跟踪方法
CN107507172A (zh) 融合红外可见光的特高压线路绝缘子串深度学习识别方法
CN110367913B (zh) 无线胶囊内窥镜图像幽门和回盲瓣定位方法
US8374403B2 (en) Methods and apparatus for efficient, automated red eye detection
US7831067B2 (en) Methods and apparatus for automated, multi-level red eye correction
CN110490802A (zh) 一种基于超分辨率的卫星影像飞机目标型号识别方法
US20050047678A1 (en) Image change detection systems, methods, and articles of manufacture
CN107256552A (zh) 息肉图像识别系统及方法
CN107292347A (zh) 一种胶囊内窥镜图像识别方法
CN110738655B (zh) 影像报告生成方法、装置、终端及存储介质
CN110189303B (zh) 一种基于深度学习和图像增强的nbi图像处理方法及其应用
CN106056588A (zh) 胶囊内窥镜图像数据去冗余方法
CN109635871A (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
CN104463215A (zh) 基于视网膜图像处理的微小动脉瘤发生风险预测系统
CN104658014A (zh) 一种检测活体内色度异常的方法
Junjun et al. Diabetic retinopathy detection based on deep convolutional neural networks for localization of discriminative regions
CN111080639A (zh) 基于人工智能的多场景消化道内镜图像识别方法及系统
CN110176295A (zh) 一种胃肠镜下部位和病灶的实时探测方法及其探测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant