CN115187591B - 一种病灶检测方法、系统、设备及存储介质 - Google Patents
一种病灶检测方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN115187591B CN115187591B CN202211092052.7A CN202211092052A CN115187591B CN 115187591 B CN115187591 B CN 115187591B CN 202211092052 A CN202211092052 A CN 202211092052A CN 115187591 B CN115187591 B CN 115187591B
- Authority
- CN
- China
- Prior art keywords
- module
- picture
- focus
- image
- capsule endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 133
- 239000002775 capsule Substances 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000013508 migration Methods 0.000 claims abstract description 28
- 230000005012 migration Effects 0.000 claims abstract description 28
- 238000002627 tracheal intubation Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000003780 insertion Methods 0.000 claims abstract description 12
- 230000037431 insertion Effects 0.000 claims abstract description 12
- 238000011897 real-time detection Methods 0.000 claims abstract description 5
- 230000003902 lesion Effects 0.000 claims description 50
- 230000007246 mechanism Effects 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000001000 micrograph Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 3
- 238000001839 endoscopy Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 9
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 208000037062 Polyps Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
Abstract
本发明公布了一种病灶检测方法，其特征在于，包括以下步骤：获取插管电镜病灶图片；获取胶囊内窥镜病灶图片；基于风格迁移模型进行胶囊内窥镜病灶图片增强；训练并生成插管电镜图片病灶检测模型；固定检测模型特征提取层参数；利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数；生成胶囊内窥镜增强图片病灶检测模型；对胶囊内窥镜图片进行病灶实时检测。本发明还提供一种病灶检测系统、设备及存储介质，采用本发明的病灶检测方法，结合插管电镜和胶囊内窥镜的各自优势，运用深度学习方法，提升病灶图像自动检测的精度。
Description
技术领域
本发明涉及医疗器械领域，具体涉及到一种可用于消化道检查的胶囊内窥镜。
背景技术
现有的磁控胶囊内窥镜由于硬件限制，拍摄的图像在光照强度、色彩处理及对比度等方面无法达到插管电镜拍摄的图像成像效果，导致医生需要花费大量时间和精力判定拍摄图片中是否存在病灶。业界因此寻求图像自动检测方法，但是，由于原始图片的病灶特征不明显，导致现有的图像自动检测方法的检测精度较低，无法达到临床应用。
特别的，由于磁控胶囊内窥镜在硬件方面的局限性，拍摄的胃部病灶区域成像不清晰，且病灶区域的特征不明显，从而导致现有的深度学习目标检测模型的检测精度低下。
因此，有必要开发一种病灶检测方法及系统，结合插管电镜和胶囊内窥镜的各自优势，运用深度学习方法，提升病灶图像自动检测的精度。
发明内容
为了解决现有技术的不足，提升病灶图像识别的准确度，本发明提出一种病灶检测方法和系统。
第一方面，本发明提供一种病灶检测方法，包括以下步骤：
获取插管电镜病灶图片；
获取胶囊内窥镜病灶图片；
基于风格迁移模型进行胶囊内窥镜病灶图片增强；
训练并生成插管电镜图片病灶检测模型；
固定检测模型特征提取层参数；
利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数；
生成胶囊内窥镜增强图片病灶检测模型；
对胶囊内窥镜图片病灶实时检测。
进一步的，所述的基于风格迁移模型进行胶囊内窥镜病灶图片增强采用图像增强模型架构，所述图像增强模型架构进一步包括UNet编码器，AdaIN风格迁移层及解码器，所述AdaIN风格迁移层分别连接UNet编码器和解码器。
进一步的，所述的UNet编码器由四个不同数量特征图的下采样模块组成，每个下采样模块包含两个3x3的卷积层和一个ReLU层。
进一步的，所述AdaIN风格迁移层处理后的图像特征
与风格迁移前的图像特征
具有如下公式一所示的关系式：
其中
表示图像y的风格迁移至x后生成的图像，
表示均值，
表示方差。
进一步的，所述插管电镜图片病灶检测模型进一步包括特征提取模块、注意力机制模块、多尺度特征融合模块、小目标检测头、中目标检测头及大目标检测头，所述注意力机制模块分别连接特征提取模块和多尺度特征融合模块，所述多尺度特征融合模块分别连接小目标检测头、中目标检测头及大目标检测头。
进一步的，所述特征提取模块进一步包括一个Focus模块、四个Conv模块、四个BottleNeckCSP模块和一个SPP模块，所述Focus模块将输入的图片分成多个切片，再将多个切片并排起来输入到Conv模块中，所述Conv模块进一步包括卷积conv、样本正则化BN和激活函数Leaky ReLU。
进一步的，所述注意力机制模块至少为三个。
进一步的，所述利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数具体包括：
首先固定检测模型特征提取层参数，然后将增强后的胶囊内窥镜图片作为训练集，利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数，其中第一个和第二个注意力机制模块参数固定，第三个注意力机制模块的参数不固定。
第二方面，本发明提供一种病灶检测系统，所述病灶检测系统包括：
插管电镜病灶图片获取模块；
胶囊内窥镜病灶图片获取模块；
胶囊内窥镜病灶图片增强模块；
插管电镜图片病灶检测模型训练模块；
特征提取层网络参数固定模块；
胶囊内窥镜图片训练模块；
胶囊内窥镜增强图片病灶检测模型生成模块；
胶囊内窥镜图片病灶实时检测模块。
进一步的，所述胶囊内窥镜病灶图片增强模块采用图像增强模型架构，所述图像增强模型架构进一步包括UNet编码器，AdaIN风格迁移层及解码器，所述AdaIN风格迁移层分别连接UNet编码器和解码器。
进一步的，所述的UNet编码器由四个不同数量特征图的下采样模块组成，每个下采样模块包含两个3x3的卷积层和一个ReLU层。
进一步的，所述插管电镜图片病灶检测模型进一步包括特征提取模块、注意力机制模块、多尺度特征融合模块、小目标检测头、中目标检测头及大目标检测头，所述注意力机制模块分别连接特征提取模块和多尺度特征融合模块，所述多尺度特征融合模块分别连接小目标检测头、中目标检测头及大目标检测头。
进一步的，所述特征提取模块进一步包括一个Focus模块、四个Conv模块、四个BottleNeckCSP模块和一个SPP模块，所述Focus模块将输入的图片分成多个切片，再将多个切片并排起来输入到Conv模块中，所述Conv模块进一步包括卷积conv、样本正则化BN和激活函数Leaky ReLU。
进一步的，所述注意力机制模块至少为三个。
第三方面，本发明提供一种病灶检测设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如第一方面任一项所述的病灶检测方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的病灶检测方法的步骤。
本发明技术方案结合插管电镜和胶囊内窥镜的各自优势，运用深度学习方法，提升病灶图像自动检测的精度。
附图说明
图1：本发明病灶检测方法流程图。
图2：图像增强模型架构图。
图3：本发明插管电镜病灶检测模型架构图。
图4：本发明的息肉检测结果对比表。
图5：本发明病灶检测系统组成示意图。
图6：本发明病灶检测设备组成示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明技术方案从图像增强、注意力检测模型构建以及检测模型迁移学习三个方面切入，解决磁控胶囊内窥镜图像病灶识别精度低这一关键问题，本发明技术方案提供一种基于深度学习的磁控胶囊内窥镜病灶检测方法，该方法首先利用插管电镜图片，采用对抗生成网络方法从图片亮度、对比度及色彩强度三个方面对磁控胶囊内窥镜图片进行增强处理，生成增强胶囊内窥镜图片；进一步利用插管电镜图片训练病灶检测模型，生成插管电镜图片病灶检测模型；进一步固定检测模型特征提取层网络参数，利用增强胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数，生成胶囊内窥镜增强图片病灶检测模型，从而实现磁控胶囊内窥镜图片病灶的实时检测。
以下对本发明的技术方案进行详细说明。
请参考图1本发明病灶检测方法流程图，该病灶检测方法包括以下步骤：步骤101：获取插管电镜病灶图片；
步骤102：获取胶囊内窥镜病灶图片；
步骤103：基于风格迁移模型进行胶囊内窥镜病灶图片增强，进一步参考图2图像增强模型架构图，该图像增强模型架构包含UNet编码器1031，AdaIN风格迁移层1032及解码器1033，由于UNet编码器1031由四个不同数量特征图的下采样模块（图中未示出）组成，每个下采样模块包含两个3x3的卷积层和一个ReLU层，AdaIN风格迁移层1032能够实现一张图片上的风格迁移到另外一张图片上，由于网络层的数据分布特征（即：
和
，
表示均值，
表示方差）与风格密切相关，通过图像特征的重新分布，风格迁移后的图像特征
与风格迁移前的图像特征
和具有如下关系式（公式一）：
其中
表示图像y的风格迁移至x后生成的图像，胶囊内窥镜图像与插管电镜图像先经过UNet编码器1031编码到特征图空间中，然后AdaIN风格迁移层1032将插管电镜图像的特征图分布特点施加到胶囊内窥镜图像的特征空间上，生成兼有插管电镜图像风格与胶囊内窥镜图像内容的特征图，进一步将特征图通过解码器1033解码生成风格迁移后的胶囊内窥镜图片。
胶囊内窥镜图像增强模型训练方法定义如下：设内容图像为
风格图像为
迁移后生成的图像为
由公式二定义，设UNet编码器为
解码器函数为
则
训练时，损失
由内容损失
和风格损失
组成，内容损失定义为公式三：
风格损失由公式四定义：
其中i表示为UNet中卷积层的下标，因此，损失
由以下公式五定义：
步骤104：训练并生成插管电镜图片病灶检测模型，进一步参考图3本发明插管电镜病灶检测模型架构图，该插管电镜图片病灶检测模型基于Yolov5模型，包括特征提取模块1041、注意力机制模块1042、多尺度特征融合模块1043、小目标检测头1044、中目标检测头1045及大目标检测头1046，其中特征提取模块1041进一步包括1个Focus模块（未示出）、4个Conv模块（未示出）、4个BottleNeckCSP模块（未示出）和1个SPP模块（未示出），其中Focus模块是Yolov5模型新加入的结构，其功能是将输入的图片分成多个切片，再并排起来输入到Conv模块中。以Yolov5模型为例，原始
的图像输入Focus模块，采用slice切片操作，先变成
的特征图，再经过一次80个卷积核的卷积操作，最终变成
的特征图。
Yolov5模型中进一步包括第一BottleNeckCSP模块（未示出），第一BottleNeckCSP模块应用于特征提取模块1041，第二BottleNeckCSP模块（未示出）应用于多尺度特征融合模块1043，其主要解决推理运算量过大的问题，先将基础层的特征映射分为两部分，然后通过跨阶段层次结构将它们合并，在减少计算量的同时保证准确率。
进一步的，所述Conv模块由卷积conv（未示出）、样本正则化BN（未示出）和激活函数Leaky ReLU（未示出）构成，其中每一个卷积核的大小均为3*3，步长stride均为2，因此可以起到下采样的作用，SPP模块采用
的最大池化方式，再将不同尺度的特征图进行合并排列操作，这里的最大池化采用了填充padding操作，移动的步长stride为1，填充的大小根据池化核大小而定，例如：13*13的输入特征图，使用5*5大小的池化核池化，padding = 2，从而池化后的特征图大小依旧为13*13。相比使用固定单一的K*K最大池化方法，Yolov5模型使用的SPP模块可以更有效的增加主干特征的接收范围，显著的分离了最重要的上下文特征。
由于病灶图片中各类病灶大小和位置各不相同，为了使整个病灶检测模型学习过程更加专注于病灶部位的特征学习，提高病灶检测精度，本方案在病灶检测模型中引入注意力机制模块1042，所述注意力机制模块1042至少为3个，对输入的每个元素考虑不同的权重参数，从而突出关键特征对病灶检测结果的重要程度，同时抑制其它无用的信息，从BottleNeckCSP模块输出的特征图组被输入到注意力机制模块1042中，所述至少3个注意力机制模块1042分别位于特征提取部分的第2、第3和第4个BottleNeckCSP模块与多尺度特征融合模块1043的第1、第2和第4个Conv模块连接处。
具体而言，从BottleNeckCSP输出的特征图组被划分成2份等数量的特征图组
分别输入到注意力机制模块1042的
层中，然后经过BN层分别生成
经过相减相加操作后进一步输入到
中，随后链接BN层经过ReLU函数作用后执行特征点级联操作，随后通过Sigmoid函数
的作用计算得到特征图权重
最后
与特征图
相乘得到最终的输出结果，并作为对应的多尺度特征融合模块1043中Conv层输入，假设注意力机制模块1042计算得到的特征图权重为
其中表示点乘。
步骤105：固定检测模型特征提取层参数，当采用插管电镜病灶图片训练集训练得到插管电镜图片病灶检测模型之后，该插管电镜图片病灶检测模型能够实现插管电镜图片病灶高精度检测，然而由于胶囊内窥镜图像增强模型在模型训练方面的误差，若直接将插管电镜图片病灶检测模型用于胶囊内窥镜图像病灶检测，则会造成检测精度低下。因此，为进一步挖掘胶囊内窥镜图像病灶特征，提高检测精度，本方案采用迁移学习方法对检测模型进行进一步训练。具体操作步骤为：首先将检测模型Yolov5+注意力机制模块的特征提取模块1041的网络层参数固定，然后将增强后的胶囊内窥镜图片作为训练集，步骤106利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数，其中第1和第2个注意力机制模块参数固定，第3个注意力机制模块的参数不固定，步骤107最终生成胶囊内窥镜增强图片病灶检测模型，步骤108对胶囊内窥镜图片病灶实时检测，实现本发明的发明目的。
图4是本发明的息肉检测结果对比表，精确率和召回率的定义如下：
召回率（Recall）=TP/(TP+FN)
精确率（Precision）=TP/(TP+FP)
其中TP是True positive，FN是False negative，FP是False positive，对于每一类的真实标签（包括正常图片），召回率为被正确预测的数量占真实标签数量的百分比；精确率为被预测为某种病灶中真实为该种病灶的百分比。以早癌图像识别为例，真实的标注框体数为201个，模型预测出176个，而正确的预测有162个，由此计算可得：召回率=162/201=80.6%，精确率=162/176=92.0%。
本发明技术方案只对息肉病灶检测进行实验，使用的胶囊内窥镜息肉病灶图片数量为2431，训练集、验证集和测试集划分比例为8:1:1，由此可得各数据集的数量分别为1945、243和243，对比实验为直接采用Yolov5模型进行胶囊内窥镜图像息肉病灶检测，数据集和本方案病灶检测方法实验数据集一致，对比试验结果如图4所示，实验结果表明，本方案所提出的胶囊内窥镜图片病灶检测方法在准确度和召回率均高于Yolov5模型，尤其是召回率，本方案检测方法的召回率超Yolov5模型方法7%。
请参考图5本发明病灶检测系统组成示意图，本发明的病灶检测系统包括插管电镜病灶图片获取模块401、胶囊内窥镜病灶图片获取模块402、胶囊内窥镜病灶图片增强模块403、插管电镜图片病灶检测模型训练模块404、特征提取层网络参数固定模块405、胶囊内窥镜图片训练模块406、胶囊内窥镜增强图片病灶检测模型生成模块407及胶囊内窥镜图片病灶实时检测模块408，该病灶检测系统对应于图1所示的病灶检测方法，其工作原理相同，本发明对此不再赘述。
图6是本发明病灶检测设备组成示意图，本发明还提供一种病灶检测设备及存储介质，所述病灶检测设备10包括一个或多个处理器30及存储器20，其中所述一个或多个计算机程序被存储在所述存储器20中，并且被配置成由所述一个或多个处理器30执行，所述处理器30执行所述计算机程序时实现病灶检测方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccessMemory)、磁盘或光盘等。
采用本发明的病灶检测技术方案结合插管电镜和胶囊内窥镜的各自优势，运用深度学习方法，提升病灶图像自动检测的精度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种病灶检测方法，其特征在于，包括以下步骤：
获取插管电镜病灶图片；
获取胶囊内窥镜病灶图片；
基于风格迁移模型进行胶囊内窥镜病灶图片增强，采用图像增强模型架构进一步包括UNet编码器，AdaIN风格迁移层及解码器，所述AdaIN风格迁移层分别连接UNet编码器和解码器，所述AdaIN风格迁移层处理后的图像特征μ(y)和σ(y)与风格迁移前的图像特征μ(x)和σ(x)具有如下公式一所示的关系式：
其中x′表示图像y的风格迁移至x后生成的图像，μ表示均值，σ表示方差，设置内容图像为Ic，风格图像为Is，迁移后生成的图像为It由公式二定义，设置UNet编码器为f(·)，解码器函数为g9·)，则It＝g(AdaIN(f(Ic),f(Is)))，(公式二)，所述AdaIN风格迁移层将插管电镜图像的特征图分布特点施加到胶囊内窥镜图像的特征空间上，生成兼有插管电镜图像风格与胶囊内窥镜图像内容的特征图，进一步将特征图通过解码器解码生成风格迁移后的胶囊内窥镜图片；
训练时，损失
由内容损失
和风格损失
组成，内容损失定义为公式三：
风格损失由公式四定义：
其中i表示为UNet中卷积层的下标，因此，损失
由以下公式五定义：
训练并生成插管电镜图片病灶检测模型；
固定检测模型特征提取层参数；
利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数；
生成胶囊内窥镜增强图片病灶检测模型；
对胶囊内窥镜图片病灶实时检测。
2.如权利要求1所述的病灶检测方法，其特征在于，所述的UNet编码器由四个不同数量特征图的下采样模块组成，每个下采样模块包含两个3x3的卷积层和一个ReLU层。
3.如权利要求1所述的病灶检测方法，其特征在于，所述插管电镜图片病灶检测模型进一步包括特征提取模块、注意力机制模块、多尺度特征融合模块、小目标检测头、中目标检测头及大目标检测头，所述注意力机制模块分别连接特征提取模块和多尺度特征融合模块，所述多尺度特征融合模块分别连接小目标检测头、中目标检测头及大目标检测头。
4.如权利要求3所述的病灶检测方法，其特征在于，所述特征提取模块进一步包括一个Focus模块、四个Conv模块、四个BottleNeckCSP模块和一个SPP模块，所述Focus模块将输入的图片分成多个切片，再将多个切片并排起来输入到Conv模块中，所述Conv模块进一步包括卷积conv、样本正则化BN和激活函数Leaky ReLU。
5.如权利要求3所述的病灶检测方法，其特征在于，所述注意力机制模块至少为三个。
6.如权利要求3所述的病灶检测方法，其特征在于，所述利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数具体包括：
首先固定检测模型特征提取层参数，然后将增强后的胶囊内窥镜图片作为训练集，利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数，其中第一个和第二个注意力机制模块参数固定，第三个注意力机制模块的参数不固定。
7.一种病灶检测系统，其特征在于，所述病灶检测系统包括：
插管电镜病灶图片获取模块；
胶囊内窥镜病灶图片获取模块；
胶囊内窥镜病灶图片增强模块，采用图像增强模型架构进一步包括UNet编码器，AdaIN风格迁移层及解码器，所述AdaIN风格迁移层分别连接UNet编码器和解码器，所述AdaIN风格迁移层处理后的图像特征μ(y)和σ(y)与风格迁移前的图像特征μ(x)和σ(x)具有如下公式一所示的关系式：
其中x′表示图像y的风格迁移至x后生成的图像，μ表示均值，σ表示方差，设置内容图像为Ic，风格图像为Is，迁移后生成的图像为It由公式二定义，设置UNet编码器为f9·)，解码器函数为g(·)，则
It＝g(AdaIN(f(Ic),f(Is)))， (公式二)
训练时，损失
由内容损失
和风格损失
组成，内容损失定义为公式三：
风格损失由公式四定义：
其中i表示为UNet中卷积层的下标，因此，损失
由以下公式五定义：
插管电镜图片病灶检测模型训练模块；
特征提取层网络参数固定模块；
胶囊内窥镜图片训练模块；
胶囊内窥镜增强图片病灶检测模型生成模块；
胶囊内窥镜图片病灶实时检测模块。
8.如权利要求7所述的病灶检测系统，其特征在于，所述胶囊内窥镜病灶图片增强模块采用图像增强模型架构，所述图像增强模型架构进一步包括UNet编码器，AdaIN风格迁移层及解码器，所述AdaIN风格迁移层分别连接UNet编码器和解码器。
9.如权利要求8所述的病灶检测系统，其特征在于，所述的UNet编码器由四个不同数量特征图的下采样模块组成，每个下采样模块包含两个3x3的卷积层和一个ReLU层。
10.如权利要求7所述的病灶检测系统，其特征在于，所述插管电镜图片病灶检测模型进一步包括特征提取模块、注意力机制模块、多尺度特征融合模块、小目标检测头、中目标检测头及大目标检测头，所述注意力机制模块分别连接特征提取模块和多尺度特征融合模块，所述多尺度特征融合模块分别连接小目标检测头、中目标检测头及大目标检测头。
11.如权利要求10所述的病灶检测系统，其特征在于，所述特征提取模块进一步包括一个Focus模块、四个Conv模块、四个BottleNeckCSP模块和一个SPP模块，所述Focus模块将输入的图片分成多个切片，再将多个切片并排起来输入到Conv模块中，所述Conv模块进一步包括卷积conv、样本正则化BN和激活函数Leaky ReLU。
12.如权利要求10所述的病灶检测系统，其特征在于，所述注意力机制模块至少为三个。
13.一种病灶检测设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的病灶检测方法的步骤。
14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的病灶检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211092052.7A CN115187591B (zh) | 2022-09-08 | 2022-09-08 | 一种病灶检测方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211092052.7A CN115187591B (zh) | 2022-09-08 | 2022-09-08 | 一种病灶检测方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115187591A CN115187591A (zh) | 2022-10-14 |
| CN115187591B true CN115187591B (zh) | 2023-04-18 |
Family
ID=83523883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211092052.7A Active CN115187591B (zh) | 2022-09-08 | 2022-09-08 | 一种病灶检测方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115187591B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140651A (zh) * | 2021-12-09 | 2022-03-04 | 深圳市资福医疗技术有限公司 | 胃部病灶识别模型训练方法、胃部病灶识别方法 |
| CN114187296A (zh) * | 2021-11-09 | 2022-03-15 | 元化智能科技(深圳)有限公司 | 胶囊内窥镜图像病灶分割方法、服务器及系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10318889B2 (en) * | 2017-06-26 | 2019-06-11 | Konica Minolta Laboratory U.S.A., Inc. | Targeted data augmentation using neural style transfer |
| CN108852268A (zh) * | 2018-04-23 | 2018-11-23 | 浙江大学 | 一种消化内镜图像异常特征实时标记系统及方法 |
| CN109635835A (zh) * | 2018-11-08 | 2019-04-16 | 深圳蓝韵医学影像有限公司 | 一种基于深度学习与迁移学习的乳腺病变区域检测方法 |
| CN110517759B (zh) * | 2019-08-29 | 2022-03-25 | 腾讯医疗健康(深圳)有限公司 | 一种待标注图像确定的方法、模型训练的方法及装置 |
| CN112561792B (zh) * | 2020-12-25 | 2023-10-03 | 北京百度网讯科技有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
| US20220277472A1 (en) * | 2021-02-19 | 2022-09-01 | Nvidia Corporation | Single-stage category-level object pose estimation |
| CN114145694A (zh) * | 2022-01-12 | 2022-03-08 | 焦作天裕精密光学有限公司 | 一种可脱落式胶囊内窥镜 |
| CN114581408A (zh) * | 2022-03-04 | 2022-06-03 | 桂林医学院 | 一种基于yolov5的胃镜息肉检测方法 |
| CN114782355B (zh) * | 2022-04-18 | 2024-05-14 | 华南理工大学 | 基于改进vgg16网络的胃癌数字病理切片检测方法 |
| CN114581356B (zh) * | 2022-05-09 | 2022-10-11 | 南京理工大学 | 基于风格迁移数据增广的图像增强模型泛化方法 |
-
2022
- 2022-09-08 CN CN202211092052.7A patent/CN115187591B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114187296A (zh) * | 2021-11-09 | 2022-03-15 | 元化智能科技(深圳)有限公司 | 胶囊内窥镜图像病灶分割方法、服务器及系统 |
| CN114140651A (zh) * | 2021-12-09 | 2022-03-04 | 深圳市资福医疗技术有限公司 | 胃部病灶识别模型训练方法、胃部病灶识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115187591A (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210406591A1 (en) | Medical image processing method and apparatus, and medical image recognition method and apparatus | |
| Jha et al. | Nanonet: Real-time polyp segmentation in video capsule endoscopy and colonoscopy | |
| Kalinin et al. | Medical image segmentation using deep neural networks with pre-trained encoders | |
| CN107273657A (zh) | 影像诊断图文报告的生成方法及存储设备 | |
| CN111091559A (zh) | 基于深度学习的小肠镜下淋巴瘤辅助诊断系统 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| Zhang et al. | Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN117078692B (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及系统 | |
| CN114187296B (zh) | 胶囊内窥镜图像病灶分割方法、服务器及系统 | |
| CN113436173A (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| CN116997928A (zh) | 使用诊断图像生成解剖模型的方法和设备 | |
| Guo | CSGNet: Cascade semantic guided net for retinal vessel segmentation | |
| CN117350979A (zh) | 一种基于医疗超声影像的任意病灶分割和追踪系统 | |
| CN117689949A (zh) | 一种基于少样本学习的消化道内镜图像分类算法 | |
| Murase et al. | How can CNNs use image position for segmentation? | |
| You et al. | Vocal cord leukoplakia classification using deep learning models in white light and narrow band imaging endoscopy images | |
| Yue et al. | Benchmarking polyp segmentation methods in narrow-band imaging colonoscopy images | |
| Bano et al. | Placental vessel segmentation and registration in fetoscopy: literature review and MICCAI FetReg2021 challenge findings | |
| CN116503506B (zh) | 一种图像重建方法、系统、装置及存储介质 | |
| CN113538363A (zh) | 一种基于改进U-Net的肺部医学影像分割方法及装置 | |
| CN117635625A (zh) | 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法 | |
| CN115187591B (zh) | 一种病灶检测方法、系统、设备及存储介质 | |
| CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
| Diamantis et al. | This Intestine Does Not Exist: Multiscale Residual Variational Autoencoder for Realistic Wireless Capsule Endoscopy Image Generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |