CN115564712A - 基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法 - Google Patents

基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法 Download PDF

Info

Publication number
CN115564712A
CN115564712A CN202211091243.1A CN202211091243A CN115564712A CN 115564712 A CN115564712 A CN 115564712A CN 202211091243 A CN202211091243 A CN 202211091243A CN 115564712 A CN115564712 A CN 115564712A
Authority
CN
China
Prior art keywords
images
capsule endoscope
image
twin network
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211091243.1A
Other languages
English (en)
Other versions
CN115564712B (zh
Inventor
涂继辉
刘琛
邱威
王云龙
江堃
张庆
郑欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze University
Original Assignee
Yangtze University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze University filed Critical Yangtze University
Priority to CN202211091243.1A priority Critical patent/CN115564712B/zh
Publication of CN115564712A publication Critical patent/CN115564712A/zh
Application granted granted Critical
Publication of CN115564712B publication Critical patent/CN115564712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，包括以下步骤：S1、选取连续的三帧图像，利用孪生网络模型获取每帧图像的特征图；S2、计算各个特征图之间的欧式距离；S3、利用逻辑回归模型根据欧式距离判断图像之间的相似性，从相似的图像中仅保留一张，或者保留不相似的图像；S4、从去除冗余后的图像中选择帧数在后的图像和新的连续帧图像，执行步骤S1~S3；通过以上步骤实现将胶囊内窥镜视频图像冗余帧删除。与现有技术相比，能够可靠的去除胶囊内窥镜视频图像冗余帧，而且能够避免丢失用于给医师辅助诊断的关键的图像信息。经测算，本发明中，每张图片的处理速度为0.017秒，能够满足实时处理的需求。

Description

基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法
技术领域
本发明涉及医疗图像处理领域，特别是一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法。
背景技术
消化道疾病，如溃疡、出血和肿瘤等极大地危害着人们的健康，根据《2021年中国癌症数据报告》，我国恶性肿瘤新发病例数约为380.4万例，相当于平均每分钟有7个人被确诊为癌症，其中食管、胃、结肠癌约占40％。造成消化系统癌症多发的最主要原因仍然是早期诊断率低，传统检测手段是依靠机械推入式的内窥镜很难到达胃肠道的理想位置，诊断过程中因其舒适性差会对患者身体造成伤害和痛苦，使得患者产生畏惧心理，从而放弃检查，错失了最佳治疗时机。无线胶囊内窥镜(Wireless Capsule Endoscopy,WCE)技术具有无痛、无创、无不适、无需麻醉等优点，同时还能深入到传统推入式内窥镜难以到达的小肠部分区域进行检查，为消化道疾病提供了一种新的检测手段。随着第一粒胶囊问世以来，胶囊内窥镜在临床应用得到了快速的增长。截至2021年，全球有超过500万粒胶囊投入到临床中使用，我国的金山科技集团作为国内最有影响的胶囊厂商，已经将800万粒胶囊应用到临床诊断中。人的消化道较长，胶囊内窥镜在体内工作时间长达8小时左右，在此期间，胶囊内窥镜会产生每秒12-24帧的视频，即每位患者会有5-6万张24位的海量彩色图像，但病变图像所占比例不到整个图像的1％，为了减少漏诊和误诊，医生往往要重复检查，工作量极大，识别效率极低。此外，这些图像里还包含20％无效干扰内容，例如气泡、食物残渣和胆汁等，审阅这些图片会浪费医生大量的时间。由于人工判读效率低下，会直接影响到胶囊内窥镜大规模的使用，不利于胶囊内窥镜的推广与长期发展。因此需要迫切寻找一种低误检、低漏检、高效率且顾及到对海量的内窥镜图像冗余帧去除的方法。中国专利文献CN101584571A记载了一种胶囊内镜辅助读片方法，其中记载了训练一个病灶部位分类器，为识别病灶部位做准备，并记载了应用模式识别技术，删除内镜图片序列中相似度较高的冗余帧。即其采用了先识别病灶再去除冗余帧的方案，但是其并未记载具体的方案，因此并不足以进行实施。
发明内容
本发明所要解决的技术问题是提供一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，能够有效的去除胶囊内窥镜视频图像冗余帧，避免丢失用于辅助医师诊断病情的关键数据，且去除冗余帧的速度较快，效率较高。
为解决上述技术问题，本发明所采用的技术方案是：一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，包括以下步骤：
S1、选取连续的三帧图像，利用孪生网络模型获取每帧图像的特征图；
S2、计算各个特征图之间的欧式距离；
S3、利用逻辑回归模型根据欧式距离判断图像之间的相似性，从相似的图像中仅保留一张，或者保留不相似的图像；
S4、从去除冗余后的图像中选择帧数在后的图像和新的连续帧图像，执行步骤S1～S3；
通过以上步骤实现将胶囊内窥镜视频图像冗余帧删除。
优选的方案中，还包括孪生网络模型的训练步骤：
S01、在孪生网络模型的训练数据集中，选择一张胶囊内窥镜图片作为锚样本，再选择一张与锚样本相似的图片作为正样本和一张与锚样本不相似的图片作为负样本；
S02、使用ResNet-50模型提取步骤S01中选择的三张胶囊内窥镜图像特征；
S03，计算锚样本与正样本之间的欧式距离和锚样本与负样本之间的欧式距离；
S04，利用逻辑回归算法判定锚样本与正样本和锚样本与负样本之间的相似性；
通过以上步骤得到孪生网络模型。
优选的方案中，步骤S01中，将锚样本、正样本和负样本三张图片组成一个三元组(Ia，Ip，In)，并进行归一化处理。
优选的方案中，步骤S02中，将步骤S01中归一化处理后的三元组(Ia，Ip，In)，采用孪生网络模型进行特征提取得到3个特征图(FA，FP，FN)；
其中，FA∈RC×H×W，FA∈RC×H×W，FA∈RC×H×W，C代表通道数，H代表特征图的高，W代表特征图的宽。
优选的方案中，步骤S03中，提取图像特征欧式距离的步骤为：
设锚样本Ia与正样本Ip的欧式距离为D(A，P)，锚样本Ia与负样本In的欧式距离为D(A，N)，采用以下公式计算：
Figure BDA0003837308550000031
Figure BDA0003837308550000032
其中，FA(k，i，j)、FN(k，i，j)和FP(k，i，j)分别表示锚样本、负样本和正样本的特征图在第k个通道，行为i，列为j处的像素值。
优选的方案中，设三元损失函数(Tripletloss)为LTri(FA，FP，FN)，损失函数的表达式为：
LTri(FA，FP，FN)＝max(D(A，P)-D(A，N)+margin，0)；
其中，参数margin表示D(A，P)和D(A，N)之间间隔的程度；margin越大，就越容易区分D(A，P)和D(A，N)。
优选的方案中，取margin＝0.5。
优选的方案中，利用逻辑回归算法判定图像之间的相似性，具体流程如下：
设2m张序列图像相似性的标签为Y，1表示相似，0表示不相似，即Y∈{0，1}，两张图像之间的相似度为D＝{d0，d1，d2，...dm-1}，对应的标签为Y＝{y0，y1，y2，...ym-1}，逻辑回归模型的公式为：
Y＝g(D)；
其中，g为逻辑回归sigmoid函数，sigmoid函数的计算公式为：
Figure BDA0003837308550000033
逻辑回归算法使用交叉熵(Cross Entropy)作为损失函数，设为LCE(g(di)，yi)，如以下公式：
Figure BDA0003837308550000034
其中，lg表示以10为底的对数。
优选的方案如步骤S3中：设w张胶囊内窥镜视频图像序列为V：{V0，V1，V2...Vw-1}，去冗余帧后的胶囊内窥镜视频图像序列为V′：{V′0，V′1，V′2…}，具体流程如下：
S11、选取连续的三帧胶囊内窥镜图像{Vi，Vi+1，Vi+2}，得到每帧胶囊内窥镜的特征图F′：{F′i，F′i+1，F′i+2}，初始i＝0；
S12、计算F′i与F′i+1的欧式距离和F′i+1与F′i+2的欧式距离D′：{D′(F′i，F′i+1)，D′(F′i+1，F′i+2)}；
S13、将D′：{D′(F′i，F′i+1)，D′(F′i+1，F′i+2)}输入训练好的逻辑回归模型中判定图片的相似性Y′：{g(D′(F′i，F′i+1))，g(D′(F′i+1，F′i+2))}，得到3种相似性的情况Y′∈{Y′0，Y′1，Y′2}；
Figure BDA0003837308550000041
其中，Y′0＝{1，1}表示选取的3张内窥镜图像中Vi与Vi+1相似、Vi+1与Vi+2相似，Y′1＝{0，1}表示选取的3张内窥镜图像中Vi与Vi+1不相似、Vi+1与Vi+2相似，Y′2＝{1，0}表示选取的3张内窥镜图像中Vi与Vi+1相似、Vi+1与Vi+2不相似；
根据Y′的3种情况(Y′0，Y′1，Y′2)，得到以下3种的去冗余帧的方法：
Figure BDA0003837308550000042
其中，B0＝{Vi}表示选取的3张内窥镜图像中当Vi与Vi+1相似、Vi+1与Vi+2相似时，去除Vi+1与Vi+2，保留Vi；B1＝{Vi，Vi+1}表示选取的3张内窥镜图像中当Vi与Vi+1不相似，Vi+1与Vi+2相似时，去除Vi+2，保留Vi与Vi+1；B2＝{Vi，Vi+2}表示选取的3张内窥镜图像中当Vi与Vi+1相似、Vi+1与Vi+2不相似时，去除Vi+1，保留Vi与Vi+2。
优选的方案如步骤S4中还包括以下步骤：
S21、判断此时是否处理结束，即i+2是小于w-1还是等于w-1；若(i+2)＜(w-1)，则表示未处理结束，跳转至步骤S21；
若(i+2)＝(w-1)，则表示处理结束，跳转至S33。
S22、根据步骤S13中的3种的去冗余帧的方法，来选取新一轮的三张内窥镜图像；
选取规则为：若去冗余输出为B0＝{Vi}，则将图像Vi放入去冗余帧后的胶囊内窥镜视频图像序列V′中，并选取图像Vi、图像Vi+3和图像Vi+4作为新一轮的三张内窥镜图像；若去冗余输出为B1＝{Vi，Vi+1}，将图像Vi和Vi+1放入去冗余帧的胶囊内窥镜视频图像序列V′中，并选取图像Vi+1、图像Vi+3和图像Vi+4作为新一轮的三张内窥镜图像；若去冗余输出为B2＝{Vi，Vi+2}，则将图像Vi和Vi+2放入去冗余帧的胶囊内窥镜视频图像序列V′中，并选取图像Vi+2、图像Vi+3和图像Vi+4作为新一轮的三张内窥镜图像；
将选取的新一轮三张内窥镜图像重复步骤s21～s22；
S23、处理结束，生成去冗余帧后的胶囊内窥镜视频图像序列V′：{V′0，V′1，V′2…}。
本发明提供了一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，与现有技术相比，能够可靠的去除胶囊内窥镜视频图像冗余帧，而且能够避免丢失用于给医师辅助诊断的关键的图像信息。经测算，本发明中，每张图片的处理速度为0.017秒，能够满足实时处理的需求，测试服务器采用的GPU为英伟达2080ti芯片。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的图像特征提取流程图。
图2为本发明的总体流程图。
图3为胶囊内窥镜视频图像连续帧的图像。
图4为本发明去除冗余帧后的图片。
具体实施方式
一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，包括以下步骤：
如图1中所示，S1、选取连续的三帧图像，利用孪生网络模型获取每帧图像的特征图；
S2、计算各个特征图之间的欧式距离；
S3、利用逻辑回归模型根据欧式距离判断图像之间的相似性，从相似的图像中仅保留一张，或者保留不相似的图像；
S4、从去除冗余后的图像中选择帧数在后的图像和新的连续帧图像，执行步骤S1～S3，直至完成对全部胶囊内窥镜视频图像的比较；
通过以上步骤实现将胶囊内窥镜视频图像冗余帧删除。
优选的方案如图2中，还包括孪生网络模型的训练步骤：
S01、在孪生网络模型的训练数据集中，选择一张胶囊内窥镜图片作为锚样本，再选择一张与锚样本相似的图片作为正样本和一张与锚样本不相似的图片作为负样本；
S02、如图1中所示，优选使用ResNet-50网络模型提取步骤S01中选择的三张胶囊内窥镜图像特征；另可选的方案中，也可以采用VGG16、InceptionV3、Xception网络模型，但是经过比较，本项目中ResNet-50网络模型具有更高准确率，对最终的结果的准确率贡献较高。
S03，计算锚样本与正样本之间的欧式距离和锚样本与负样本之间的欧式距离；
S04，利用逻辑回归算法判定锚样本与正样本和锚样本与负样本之间的相似性；
通过以上步骤得到孪生网络模型。
优选的方案中，步骤S01中，将锚样本、正样本和负样本三张图片组成一个三元组(Ia，Ip，In)，优选的，将选择的锚样本、正样本和负样本比例缩放为224×224并转化为张量形式，并进行归一化处理。
Figure BDA0003837308550000061
Figure BDA0003837308550000062
Figure BDA0003837308550000063
其中，IA表示锚样本处理后的数据，Ia表示锚样本的张量形式，Iamin表示锚样本像素点的最小值，Iamax表示锚样本像素点的最大值；IP表示正样本处理后的数据，Ip表示正样本的张量形式，Ipmin表示正样本像素点的最小值，Ipmax表示正样本像素点的最大值；IN表示负样本处理后的数据，In表示负样本的张量形式，Inmin表示负样本像素点的最小值，Inmax表示负样本像素点的最大值。
优选的方案中，步骤S02中，将步骤S01中归一化处理后的三元组(Ia，Ip，In)，采用孪生网络模型进行特征提取得到3个特征图(FA，FP，FN)；
其中，FA∈RC×H×W，FA∈RC×H×W，FA∈RC×H×W，C代表通道数，优选的本例取值为2048，H代表特征图的高，本例中取值7，W代表特征图的宽，本例中取值7。
优选的方案中，步骤S03中，提取图像特征欧式距离的步骤为：
设锚样本Ia与正样本Ip的欧式距离为D(A，P)，锚样本Ia与负样本In的欧式距离为D(A，N)，采用以下公式计算：
Figure BDA0003837308550000064
Figure BDA0003837308550000065
其中，FA(k，i，j)、FN(k，i，j)和FP(k，i，j)分别表示锚样本、负样本和正样本的特征图在第k个通道，行为i，列为j处的像素值。
优选的方案中，设三元损失函数(Tripletloss)为LTri(FA，FP，FN)，损失函数的表达式为：
LTri(FA，FP，FN)＝max(D(A，P)-D(A，N)+margin，0) (6)；
其中，参数margin表示D(A，P)和D(A，N)之间间隔的程度；margin越大，就越容易区分D(A，P)和D(A，N)。
优选的方案中，本例取margin＝0.5。
优选的方案中，利用逻辑回归算法判定图像之间的相似性，具体流程如下：
设2m张序列图像相似性的标签为Y，1表示相似，0表示不相似，即Y∈{0，1}，两张图像之间的相似度为D＝{d0，d1，d2，...dm-1}，对应的标签为Y＝{y0，y1，y2，...ym-1}，逻辑回归模型的公式为：
Y＝g(D) (7)；
其中，g为逻辑回归sigmoid函数，sigmoid函数的计算公式为：
Figure BDA0003837308550000071
逻辑回归算法使用交叉熵(Cross Entropy)作为损失函数，设为LCE(g(di)，yi)，如以下公式：
Figure BDA0003837308550000072
其中，lg表示以10为底的对数。
优选的方案如步骤S1～S3中：设w张胶囊内窥镜视频图像序列为V：{V0，V1，V2…Vw-1}，去冗余帧后的胶囊内窥镜视频图像序列为V′：{V′0，V′1，V′2…}，具体流程如下：
S11、选取连续的三帧胶囊内窥镜图像{Vi，Vi+1，Vi+2}，得到每帧胶囊内窥镜的特征图F′：{F′i，F′i+1，F′i+2}，初始i＝0；
S12、计算F′i与F′i+1的欧式距离和F′i+1与F′i+2的欧式距离D′：{D′(F′i，F′i+1)，D′(F′i+1，F′i+2)}；
S13、将D′：{D′(F′i，F′i+1)，D′(F′i+1，F′i+2)}输入训练好的逻辑回归模型中判定图片的相似性Y′：{g(D′(F′i，F′i+1))，g(D′(F′i+1，F′i+2))}，得到3种相似性的情况Y′∈{Y′0，Y′1，Y′2}；
Figure BDA0003837308550000081
其中，Y′0＝{1，1}表示选取的3张内窥镜图像中Vi与Vi+1相似、Vi+1与Vi+2相似，Y′1＝{0，1}表示选取的3张胶囊内窥镜图像中Vi与Vi+1不相似、Vi+1与Vi+2相似，Y′2＝{1，0}表示选取的3张内窥镜图像中Vi与Vi+1相似、Vi+1与Vi+2不相似；
根据Y′的3种情况(Y′0，Y′1，Y′2)，得到以下3种的去冗余帧的方法：
Figure BDA0003837308550000082
其中，B0＝{Vi}表示选取的3张胶囊内窥镜图像中当Vi与Vi+1相似、Vi+1与Vi+2相似时，去除Vi+1与Vi+2，保留Vi；B1＝{Vi，Vi+1}表示选取的3张胶囊内窥镜图像中当Vi与Vi+1不相似，Vi+1与Vi+2相似时，去除Vi+2，保留Vi与Vi+1；B2＝{Vi，Vi+2}表示选取的3张内窥镜图像中当Vi与Vi+1相似、Vi+1与Vi+2不相似时，去除Vi+1，保留Vi与Vi+2。
优选的方案如步骤S4中还包括以下步骤：
S21、判断此时是否处理结束，即i+2是小于w-1还是等于w-1；若(i+2)＜(w-1)，则表示未处理结束，跳转至步骤S21；
若(i+2)＝(w-1)，则表示处理结束，跳转至S23。
S22、根据步骤S13中的3种的去冗余帧的方法，来选取新一轮的三张胶囊内窥镜图像；
选取规则为：若去冗余输出为B0＝{Vi}，则将图像Vi放入去冗余帧后的胶囊内窥镜视频图像序列V′中，并选取图像Vi、图像Vi+3和图像Vi+4作为新一轮的三张胶囊内窥镜图像；若去冗余输出为B1＝{Vi，Vi+1}，将图像Vi和Vi+1放入去冗余帧的胶囊内窥镜视频图像序列V′中，并选取图像Vi+1、图像Vi+3和图像Vi+4作为新一轮的三张内窥镜图像；若去冗余输出为B2＝{Vi，Vi+2}，则将图像Vi和Vi+2放入去冗余帧的胶囊内窥镜视频图像序列V′中，并选取图像Vi+2、图像Vi+3和图像Vi+4作为新一轮的三张胶囊内窥镜图像；
将选取的新一轮三张内窥镜图像重复步骤s21～s22；
S23、处理结束，生成去冗余帧后的胶囊内窥镜视频图像序列V′：{V′0，V′1，V′2…}。如图4中所示。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (10)

1.一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是包括以下步骤：
S1、选取连续的三帧图像，利用孪生网络模型获取每帧图像的特征图；
S2、计算各个特征图之间的欧式距离；
S3、利用逻辑回归模型根据欧式距离判断图像之间的相似性，从相似的图像中仅保留一张，或者保留不相似的图像；
S4、从去除冗余后的图像中选择帧数在后的图像和新的连续帧图像，执行步骤S1～S3；
通过以上步骤实现将胶囊内窥镜视频图像冗余帧删除。
2.根据权利要求1所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是：还包括孪生网络模型的训练步骤：
S01、在孪生网络模型的训练数据集中，选择一张胶囊内窥镜图片作为锚样本，再选择一张与锚样本相似的图片作为正样本和一张与锚样本不相似的图片作为负样本；
S02、使用ResNet-50模型提取步骤S01中选择的三张胶囊内窥镜图像特征；
S03，计算锚样本与正样本之间的欧式距离和锚样本与负样本之间的欧式距离；
S04，利用逻辑回归算法判定锚样本与正样本和锚样本与负样本之间的相似性；
通过以上步骤得到孪生网络模型。
3.根据权利要求2所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是：步骤S01中，将锚样本、正样本和负样本三张图片组成一个三元组(Ia，Ip，In)，并进行归一化处理。
4.根据权利要求3所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是：步骤S02中，将步骤S01中归一化处理后的三元组(Ia，Ip，In)，采用孪生网络模型进行特征提取得到3个特征图(FA，FP，FN)；
其中，FA∈RC×H×W，FA∈RC×H×W，FA∈RC×H×W，C代表通道数，H代表特征图的高，W代表特征图的宽。
5.根据权利要求3所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是：步骤S03中，提取图像特征欧式距离的步骤为：
设锚样本Ia与正样本Ip的欧式距离为D(A，P)，锚样本Ia与负样本In的欧式距离为D(A，N)，采用以下公式计算：
Figure FDA0003837308540000021
Figure FDA0003837308540000022
其中，FA(k，i，j)、FN(k，i，j)和FP(k，i，j)分别表示锚样本、负样本和正样本的特征图在第k个通道，行为i，列为j处的像素值。
6.根据权利要求5所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是：设三元损失函数(Tripletloss)为LTri(FA，FP，FN)，损失函数的表达式为：
LTri(FA，FP，FN)＝max(D(A，P)-D(A，N)+margin，0)；
其中，参数margin表示D(A，P)和D(A，N)之间间隔的程度；margin越大，就越容易区分D(A，P)和D(A，N)。
7.根据权利要求6所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是：取margin＝0.5。
8.根据权利要求6或7所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是：利用逻辑回归算法判定图像之间的相似性，具体流程如下：
设2m张序列图像相似性的标签为Y，1表示相似，0表示不相似，即Y∈{0，1}，两张图像之间的相似度为D＝{d0，d1，d2，...dm-1}，对应的标签为Y＝{y0，y1，y2，...ym-1}，逻辑回归模型的公式为：
Y＝g(D)；
其中，g为逻辑回归sigmoid函数，sigmoid函数的计算公式为：
Figure FDA0003837308540000023
逻辑回归算法使用交叉熵(Cross Entropy)作为损失函数，设为LCE(g(di)，yi)，如以下公式：
Figure FDA0003837308540000024
其中，lg表示以10为底的对数。
9.根据权利要求1所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是步骤S3中：设w张胶囊内窥镜视频图像序列为V：{V0，V1，V2...Vw-1}，去冗余帧后的胶囊内窥镜视频图像序列为V′：{V′0，V′1，V′2...}，具体流程如下：
S11、选取连续的三帧胶囊内窥镜图像{Vi，Vi+1，Vi+2}，得到每帧胶囊内窥镜的特征图F′：{F′i，F′i+1，F′i+2}，初始i＝0；
S12、计算F′i与F′i+1的欧式距离和F′i+1与F′i+2的欧式距离D′：{D′(F′i，F′i+1)，D′(F′i+1，F′i+2)}；
S13、将D′：{D′(F′i，F′i+1)，D′(F′i+1，F′i+2)}输入训练好的逻辑回归模型中判定图片的相似性Y′：{g(D′(F′i，F′i+1))，g(D′(F′i+1，F′i+2))}，得到3种相似性的情况Y′∈{Y′0，Y′1，Y′2}；
Figure FDA0003837308540000031
其中，Y′0＝{1，1}表示选取的3张内窥镜图像中Vi与Vi+1相似、Vi+1与Vi+2相似，Y′1＝{0，1}表示选取的3张内窥镜图像中Vi与Vi+1不相似、Vi+1与Vi+2相似，Y′2＝{1，0}表示选取的3张内窥镜图像中Vi与Vi+1相似、Vi+1与Vi+2不相似；
根据Y′的3种情况(Y′0，Y′1，Y′2)，得到以下3种的去冗余帧的方法：
Figure FDA0003837308540000032
其中，B0＝{Vi}表示选取的3张内窥镜图像中当Vi与Vi+1相似、Vi+1与Vi+2相似时，去除Vi+1与Vi+2，保留Vi；B1＝{Vi，Vi+1}表示选取的3张内窥镜图像中当Vi与Vi+1不相似，Vi+1与Vi+2相似时，去除Vi+2，保留Vi与Vi+1；B2＝{Vi，Vi+2}表示选取的3张内窥镜图像中当Vi与Vi+1相似、Vi+1与Vi+2不相似时，去除Vi+1，保留Vi与Vi+2。
10.根据权利要求9所述的一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是步骤S4中还包括以下步骤：
S21、判断此时是否处理结束，即i+2是小于w-1还是等于w-1；若(i+2)＜(w-1)，则表示未处理结束，跳转至步骤S21；
若(i+2)＝(w-1)，则表示处理结束，跳转至S33；
S22、根据步骤S13中的3种的去冗余帧的方法，来选取新一轮的三张内窥镜图像；
选取规则为：若去冗余输出为B0＝{Vi}，则将图像Vi放入去冗余帧后的胶囊内窥镜视频图像序列V′中，并选取图像Vi、图像Vi+3和图像Vi+4作为新一轮的三张内窥镜图像；若去冗余输出为B1＝{Vi，Vi+1}，将图像Vi和Vi+1放入去冗余帧的胶囊内窥镜视频图像序列V′中，并选取图像Vi+1、图像Vi+3和图像Vi+4作为新一轮的三张内窥镜图像；若去冗余输出为B2＝{Vi，Vi+2}，则将图像Vi和Vi+2放入去冗余帧的胶囊内窥镜视频图像序列V′中，并选取图像Vi+2、图像Vi+3和图像Vi+4作为新一轮的三张内窥镜图像；
将选取的新一轮三张内窥镜图像重复步骤s21～s22；
S23、处理结束，生成去冗余帧后的胶囊内窥镜视频图像序列V′：{V′0，V′1，V′2...}。
CN202211091243.1A 2022-09-07 2022-09-07 基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法 Active CN115564712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211091243.1A CN115564712B (zh) 2022-09-07 2022-09-07 基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211091243.1A CN115564712B (zh) 2022-09-07 2022-09-07 基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法

Publications (2)

Publication Number Publication Date
CN115564712A true CN115564712A (zh) 2023-01-03
CN115564712B CN115564712B (zh) 2023-07-18

Family

ID=84739695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211091243.1A Active CN115564712B (zh) 2022-09-07 2022-09-07 基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法

Country Status (1)

Country Link
CN (1) CN115564712B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116866089A (zh) * 2023-09-05 2023-10-10 鹏城实验室 基于孪生胶囊网络的网络流量检测方法及其装置
CN117221494A (zh) * 2023-10-07 2023-12-12 杭州讯意迪科技有限公司 基于物联网和大数据的音视频综合管控平台

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090171148A1 (en) * 2007-12-27 2009-07-02 Shih-Chieh Lu Capsule endoscope system having a sensing and data discriminating device and discrimination method thereof
CN101584571A (zh) * 2009-06-15 2009-11-25 无锡骏聿科技有限公司 一种胶囊内镜辅助读片方法
US20100165088A1 (en) * 2008-12-29 2010-07-01 Intromedic Apparatus and Method for Displaying Capsule Endoscope Image, and Record Media Storing Program for Carrying out that Method
CN103747270A (zh) * 2013-12-19 2014-04-23 中山大学 一种胶囊内窥镜视频图像的去冗余方法及系统
CN106056588A (zh) * 2016-05-25 2016-10-26 安翰光电技术（武汉）有限公司 胶囊内窥镜图像数据去冗余方法
CN108596870A (zh) * 2018-03-06 2018-09-28 重庆金山医疗器械有限公司 基于深度学习的胶囊内镜图像筛除方法、装置及设备
US20180308235A1 (en) * 2017-04-21 2018-10-25 Ankon Technologies Co., Ltd. SYSTEM and METHOAD FOR PREPROCESSING CAPSULE ENDOSCOPIC IMAGE
CN111506773A (zh) * 2020-03-24 2020-08-07 中国科学院大学 一种基于无监督深度孪生网络的视频去重方法
CN113469253A (zh) * 2021-07-02 2021-10-01 河海大学 一种基于三元组孪生网络的窃电检测方法
US20210326639A1 (en) * 2020-10-23 2021-10-21 Beijing Baidu Netcom Science and Technology Co., Ltd Image recognition method, electronic device and storage medium
CN113850299A (zh) * 2021-09-01 2021-12-28 浙江爱达科技有限公司 一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法
CN114120008A (zh) * 2021-10-26 2022-03-01 中南民族大学 胶囊内镜图像序列关键帧确定方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090171148A1 (en) * 2007-12-27 2009-07-02 Shih-Chieh Lu Capsule endoscope system having a sensing and data discriminating device and discrimination method thereof
US20100165088A1 (en) * 2008-12-29 2010-07-01 Intromedic Apparatus and Method for Displaying Capsule Endoscope Image, and Record Media Storing Program for Carrying out that Method
CN101584571A (zh) * 2009-06-15 2009-11-25 无锡骏聿科技有限公司 一种胶囊内镜辅助读片方法
CN103747270A (zh) * 2013-12-19 2014-04-23 中山大学 一种胶囊内窥镜视频图像的去冗余方法及系统
CN106056588A (zh) * 2016-05-25 2016-10-26 安翰光电技术（武汉）有限公司 胶囊内窥镜图像数据去冗余方法
US20180308235A1 (en) * 2017-04-21 2018-10-25 Ankon Technologies Co., Ltd. SYSTEM and METHOAD FOR PREPROCESSING CAPSULE ENDOSCOPIC IMAGE
CN108596870A (zh) * 2018-03-06 2018-09-28 重庆金山医疗器械有限公司 基于深度学习的胶囊内镜图像筛除方法、装置及设备
CN111506773A (zh) * 2020-03-24 2020-08-07 中国科学院大学 一种基于无监督深度孪生网络的视频去重方法
US20210326639A1 (en) * 2020-10-23 2021-10-21 Beijing Baidu Netcom Science and Technology Co., Ltd Image recognition method, electronic device and storage medium
CN113469253A (zh) * 2021-07-02 2021-10-01 河海大学 一种基于三元组孪生网络的窃电检测方法
CN113850299A (zh) * 2021-09-01 2021-12-28 浙江爱达科技有限公司 一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法
CN114120008A (zh) * 2021-10-26 2022-03-01 中南民族大学 胶囊内镜图像序列关键帧确定方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIN CHEN ET AL.: "Wireless capsule endoscopy video summarization: A learning approach based on Siamese neural network and support vector machine", pages 1303 - 1308 *
VRUSHALI RAUT ET AL.: "Transfer learning based video summarization in wireless capsule endoscopy", vol. 14, pages 2183 - 2190 *
詹昌飞: "无线胶囊内窥镜图像检索及视频摘要方法研究与系统实现", pages 138 - 1699 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116866089A (zh) * 2023-09-05 2023-10-10 鹏城实验室 基于孪生胶囊网络的网络流量检测方法及其装置
CN116866089B (zh) * 2023-09-05 2024-01-30 鹏城实验室 基于孪生胶囊网络的网络流量检测方法及其装置
CN117221494A (zh) * 2023-10-07 2023-12-12 杭州讯意迪科技有限公司 基于物联网和大数据的音视频综合管控平台

Also Published As

Publication number Publication date
CN115564712B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN115564712A (zh) 基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法
KR102210806B1 (ko) 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
US8295566B2 (en) Medical image processing device and medical image processing method
CN107767365A (zh) 一种内窥镜图像处理方法及系统
JP4615963B2 (ja) カプセル型内視鏡装置
WO2008023491A1 (fr) dispositif et procédé de traitement d'images à usage médical
CN107145840B (zh) 内镜专家诊断知识嵌入的计算机辅助wce序列图像数据识别方法
JP4602825B2 (ja) 画像表示装置
JP2002165757A (ja) 診断支援装置
JP7218432B2 (ja) リアルタイムに取得される胃内視鏡イメージに基づいて胃病変を診断する内視鏡装置及び方法
US20210256701A1 (en) System and method for diagnosing severity of gastritis
JPWO2019198637A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2020215810A1 (zh) 一种基于图像识别的结肠镜手术中窄带成像检测方法
CN113420826A (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN111341441A (zh) 一种肠胃科病模型构建方法及诊断系统
CN116206741A (zh) 一种消化科医疗信息处理系统及方法
JPWO2020188682A1 (ja) 診断支援装置、診断支援方法及びプログラム
KR102095730B1 (ko) 딥러닝 기반의 대장 병변 검출 방법
JPWO2020184257A1 (ja) 医用画像処理装置及び方法
US11704794B2 (en) Filing device, filing method, and program
CN114049934B (zh) 辅助诊断方法、装置、系统、设备和介质
CN116188466A (zh) 医疗器械体内停留时长确定方法和装置
Kumar et al. Automated recognition of dental caries using K-Means and PCA based algorithm
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
US20230274528A1 (en) System and method for assisting with the diagnosis of otolaryngologic diseases from the analysis of images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant