CN115187591A - 一种病灶检测方法、系统、设备及存储介质 - Google Patents

一种病灶检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115187591A
CN115187591A CN202211092052.7A CN202211092052A CN115187591A CN 115187591 A CN115187591 A CN 115187591A CN 202211092052 A CN202211092052 A CN 202211092052A CN 115187591 A CN115187591 A CN 115187591A
Authority
CN
China
Prior art keywords
module
picture
focus
capsule endoscope
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211092052.7A
Other languages
English (en)
Other versions
CN115187591B (zh
Inventor
吴炯
吴良信
张鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jifu Medical Technology Co ltd
Original Assignee
Shenzhen Jifu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jifu Medical Technology Co ltd filed Critical Shenzhen Jifu Medical Technology Co ltd
Priority to CN202211092052.7A priority Critical patent/CN115187591B/zh
Publication of CN115187591A publication Critical patent/CN115187591A/zh
Application granted granted Critical
Publication of CN115187591B publication Critical patent/CN115187591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明公布了一种病灶检测方法，其特征在于，包括以下步骤：获取插管电镜病灶图片；获取胶囊内窥镜病灶图片；基于风格迁移模型进行胶囊内窥镜病灶图片增强；训练并生成插管电镜图片病灶检测模型；固定检测模型特征提取层参数；利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数；生成胶囊内窥镜增强图片病灶检测模型；对胶囊内窥镜图片进行病灶实时检测。本发明还提供一种病灶检测系统、设备及存储介质，采用本发明的病灶检测方法，结合插管电镜和胶囊内窥镜的各自优势，运用深度学习方法，提升病灶图像自动检测的精度。

Description

一种病灶检测方法、系统、设备及存储介质
技术领域
本发明涉及医疗器械领域，具体涉及到一种可用于消化道检查的胶囊内窥镜。
背景技术
现有的磁控胶囊内窥镜由于硬件限制，拍摄的图像在光照强度、色彩处理及对比度等方面无法达到插管电镜拍摄的图像成像效果，导致医生需要花费大量时间和精力判定拍摄图片中是否存在病灶。业界因此寻求图像自动检测方法，但是，由于原始图片的病灶特征不明显，导致现有的图像自动检测方法的检测精度较低，无法达到临床应用。
特别的，由于磁控胶囊内窥镜在硬件方面的局限性，拍摄的胃部病灶区域成像不清晰，且病灶区域的特征不明显，从而导致现有的深度学习目标检测模型的检测精度低下。
因此，有必要开发一种病灶检测方法及系统，结合插管电镜和胶囊内窥镜的各自优势，运用深度学习方法，提升病灶图像自动检测的精度。
发明内容
为了解决现有技术的不足，提升病灶图像识别的准确度，本发明提出一种病灶检测方法和系统。
第一方面，本发明提供一种病灶检测方法，包括以下步骤：
获取插管电镜病灶图片；
获取胶囊内窥镜病灶图片；
基于风格迁移模型进行胶囊内窥镜病灶图片增强；
训练并生成插管电镜图片病灶检测模型；
固定检测模型特征提取层参数；
利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数；
生成胶囊内窥镜增强图片病灶检测模型；
对胶囊内窥镜图片病灶实时检测。
进一步的，所述的基于风格迁移模型进行胶囊内窥镜病灶图片增强采用图像增强模型架构，所述图像增强模型架构进一步包括UNet编码器，AdaIN风格迁移层及解码器，所述AdaIN风格迁移层分别连接UNet编码器和解码器。
进一步的，所述的UNet编码器由四个不同数量特征图的下采样模块组成，每个下采样模块包含两个3x3的卷积层和一个ReLU层。
进一步的，所述AdaIN风格迁移层处理后的图像特征
Figure 708721DEST_PATH_IMAGE001
与风格迁移前的图像特征
Figure 422599DEST_PATH_IMAGE002
具有如下公式一所示的关系式：
Figure 999074DEST_PATH_IMAGE003
（公式一）
其中
Figure 419781DEST_PATH_IMAGE004
表示图像y的风格迁移至x后生成的图像，
Figure 765312DEST_PATH_IMAGE005
表示均值，
Figure 118933DEST_PATH_IMAGE006
表示方差。
进一步的，所述插管电镜图片病灶检测模型进一步包括特征提取模块、注意力机制模块、多尺度特征融合模块、小目标检测头、中目标检测头及大目标检测头，所述注意力机制模块分别连接特征提取模块和多尺度特征融合模块，所述多尺度特征融合模块分别连接小目标检测头、中目标检测头及大目标检测头。
进一步的，所述特征提取模块进一步包括一个Focus模块、四个Conv模块、四个BottleNeckCSP模块和一个SPP模块，所述Focus模块将输入的图片分成多个切片，再将多个切片并排起来输入到Conv模块中，所述Conv模块进一步包括卷积conv、样本正则化BN和激活函数Leaky ReLU。
进一步的，所述注意力机制模块至少为三个。
进一步的，所述利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数具体包括：
首先固定检测模型特征提取层参数，然后将增强后的胶囊内窥镜图片作为训练集，利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数，其中第一个和第二个注意力机制模块参数固定，第三个注意力机制模块的参数不固定。
第二方面，本发明提供一种病灶检测系统，所述病灶检测系统包括：
插管电镜病灶图片获取模块；
胶囊内窥镜病灶图片获取模块；
胶囊内窥镜病灶图片增强模块；
插管电镜图片病灶检测模型训练模块；
特征提取层网络参数固定模块；
胶囊内窥镜图片训练模块；
胶囊内窥镜增强图片病灶检测模型生成模块；
胶囊内窥镜图片病灶实时检测模块。
进一步的，所述胶囊内窥镜病灶图片增强模块采用图像增强模型架构，所述图像增强模型架构进一步包括UNet编码器，AdaIN风格迁移层及解码器，所述AdaIN风格迁移层分别连接UNet编码器和解码器。
进一步的，所述的UNet编码器由四个不同数量特征图的下采样模块组成，每个下采样模块包含两个3x3的卷积层和一个ReLU层。
进一步的，所述插管电镜图片病灶检测模型进一步包括特征提取模块、注意力机制模块、多尺度特征融合模块、小目标检测头、中目标检测头及大目标检测头，所述注意力机制模块分别连接特征提取模块和多尺度特征融合模块，所述多尺度特征融合模块分别连接小目标检测头、中目标检测头及大目标检测头。
进一步的，所述特征提取模块进一步包括一个Focus模块、四个Conv模块、四个BottleNeckCSP模块和一个SPP模块，所述Focus模块将输入的图片分成多个切片，再将多个切片并排起来输入到Conv模块中，所述Conv模块进一步包括卷积conv、样本正则化BN和激活函数Leaky ReLU。
进一步的，所述注意力机制模块至少为三个。
第三方面，本发明提供一种病灶检测设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如第一方面任一项所述的病灶检测方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的病灶检测方法的步骤。
本发明技术方案结合插管电镜和胶囊内窥镜的各自优势，运用深度学习方法，提升病灶图像自动检测的精度。
附图说明
图1：本发明病灶检测方法流程图。
图2：图像增强模型架构图。
图3：本发明插管电镜病灶检测模型架构图。
图4：本发明的息肉检测结果对比表。
图5：本发明病灶检测系统组成示意图。
图6：本发明病灶检测设备组成示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明技术方案从图像增强、注意力检测模型构建以及检测模型迁移学习三个方面切入，解决磁控胶囊内窥镜图像病灶识别精度低这一关键问题，本发明技术方案提供一种基于深度学习的磁控胶囊内窥镜病灶检测方法，该方法首先利用插管电镜图片，采用对抗生成网络方法从图片亮度、对比度及色彩强度三个方面对磁控胶囊内窥镜图片进行增强处理，生成增强胶囊内窥镜图片；进一步利用插管电镜图片训练病灶检测模型，生成插管电镜图片病灶检测模型；进一步固定检测模型特征提取层网络参数，利用增强胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数，生成胶囊内窥镜增强图片病灶检测模型，从而实现磁控胶囊内窥镜图片病灶的实时检测。
以下对本发明的技术方案进行详细说明。
请参考图1本发明病灶检测方法流程图，该病灶检测方法包括以下步骤：步骤101：获取插管电镜病灶图片；
步骤102：获取胶囊内窥镜病灶图片；
步骤103：基于风格迁移模型进行胶囊内窥镜病灶图片增强，进一步参考图2图像增强模型架构图，该图像增强模型架构包含UNet编码器1031，AdaIN风格迁移层1032及解码器1033，由于UNet编码器1031由四个不同数量特征图的下采样模块（图中未示出）组成，每个下采样模块包含两个3x3的卷积层和一个ReLU层，AdaIN风格迁移层1032能够实现一张图片上的风格迁移到另外一张图片上，由于网络层的数据分布特征（即：
Figure 917124DEST_PATH_IMAGE005
和
Figure 397915DEST_PATH_IMAGE006
，
Figure 332373DEST_PATH_IMAGE005
表示均值，
Figure 122475DEST_PATH_IMAGE006
表示方差）与风格密切相关，通过图像特征的重新分布，风格迁移后的图像特征
Figure 142383DEST_PATH_IMAGE001
与风格迁移前的图像特征
Figure 659821DEST_PATH_IMAGE002
和具有如下关系式（公式一）：
Figure 245523DEST_PATH_IMAGE003
（公式一）
其中
Figure 488417DEST_PATH_IMAGE004
表示图像y的风格迁移至x后生成的图像，胶囊内窥镜图像与插管电镜图像先经过UNet编码器1031编码到特征图空间中，然后AdaIN风格迁移层1032将插管电镜图像的特征图分布特点施加到胶囊内窥镜图像的特征空间上，生成兼有插管电镜图像风格与胶囊内窥镜图像内容的特征图，进一步将特征图通过解码器1033解码生成风格迁移后的胶囊内窥镜图片。
胶囊内窥镜图像增强模型训练方法定义如下：设内容图像为
Figure 792359DEST_PATH_IMAGE007
风格图像为
Figure 864221DEST_PATH_IMAGE008
迁移后生成的图像为
Figure 87785DEST_PATH_IMAGE009
由公式二定义，设UNet编码器为
Figure 954110DEST_PATH_IMAGE010
解码器函数为
Figure 230501DEST_PATH_IMAGE011
则
Figure 840474DEST_PATH_IMAGE012
（公式二）
训练时，损失
Figure 869610DEST_PATH_IMAGE013
由内容损失
Figure 687262DEST_PATH_IMAGE014
和风格损失
Figure 434639DEST_PATH_IMAGE015
组成，内容损失定义为公式三：
Figure 395772DEST_PATH_IMAGE016
（公式三）
风格损失由公式四定义：
Figure 810573DEST_PATH_IMAGE018
（公式四）
其中i表示为UNet中卷积层的下标，因此，损失
Figure 549859DEST_PATH_IMAGE013
由以下公式五定义：
Figure 36729DEST_PATH_IMAGE019
（公式五），其中
Figure 988504DEST_PATH_IMAGE020
为权重参数。
步骤104：训练并生成插管电镜图片病灶检测模型，进一步参考图3本发明插管电镜病灶检测模型架构图，该插管电镜图片病灶检测模型基于Yolov5模型，包括特征提取模块1041、注意力机制模块1042、多尺度特征融合模块1043、小目标检测头1044、中目标检测头1045及大目标检测头1046，其中特征提取模块1041进一步包括1个Focus模块（未示出）、4个Conv模块（未示出）、4个BottleNeckCSP模块（未示出）和1个SPP模块（未示出），其中Focus模块是Yolov5模型新加入的结构，其功能是将输入的图片分成多个切片，再并排起来输入到Conv模块中。以Yolov5模型为例，原始
Figure 992232DEST_PATH_IMAGE021
的图像输入Focus模块，采用slice切片操作，先变成
Figure 387573DEST_PATH_IMAGE022
的特征图，再经过一次80个卷积核的卷积操作，最终变成
Figure 640699DEST_PATH_IMAGE023
的特征图。
Yolov5模型中进一步包括第一BottleNeckCSP模块（未示出），第一BottleNeckCSP模块应用于特征提取模块1041，第二BottleNeckCSP模块（未示出）应用于多尺度特征融合模块1043，其主要解决推理运算量过大的问题，先将基础层的特征映射分为两部分，然后通过跨阶段层次结构将它们合并，在减少计算量的同时保证准确率。
进一步的，所述Conv模块由卷积conv（未示出）、样本正则化BN（未示出）和激活函数Leaky ReLU（未示出）构成，其中每一个卷积核的大小均为3*3，步长stride均为2，因此可以起到下采样的作用，SPP模块采用
Figure 911013DEST_PATH_IMAGE025
的最大池化方式，再将不同尺度的特征图进行合并排列操作，这里的最大池化采用了填充padding操作，移动的步长stride为1，填充的大小根据池化核大小而定，例如：13*13的输入特征图，使用5*5大小的池化核池化，padding = 2，从而池化后的特征图大小依旧为13*13。相比使用固定单一的K*K最大池化方法，Yolov5模型使用的SPP模块可以更有效的增加主干特征的接收范围，显著的分离了最重要的上下文特征。
由于病灶图片中各类病灶大小和位置各不相同，为了使整个病灶检测模型学习过程更加专注于病灶部位的特征学习，提高病灶检测精度，本方案在病灶检测模型中引入注意力机制模块1042，所述注意力机制模块1042至少为3个，对输入的每个元素考虑不同的权重参数，从而突出关键特征对病灶检测结果的重要程度，同时抑制其它无用的信息，从BottleNeckCSP模块输出的特征图组被输入到注意力机制模块1042中，所述至少3个注意力机制模块1042分别位于特征提取部分的第2、第3和第4个BottleNeckCSP模块与多尺度特征融合模块1043的第1、第2和第4个Conv模块连接处。
具体而言，从BottleNeckCSP输出的特征图组被划分成2份等数量的特征图组
Figure 34826DEST_PATH_IMAGE026
分别输入到注意力机制模块1042的
Figure 115915DEST_PATH_IMAGE027
层中，然后经过BN层分别生成
Figure 607070DEST_PATH_IMAGE028
经过相减相加操作后进一步输入到
Figure 166228DEST_PATH_IMAGE029
中，随后链接BN层经过ReLU函数作用后执行特征点级联操作，随后通过Sigmoid函数
Figure 131166DEST_PATH_IMAGE006
的作用计算得到特征图权重
Figure 55260DEST_PATH_IMAGE030
最后
Figure 735509DEST_PATH_IMAGE030
与特征图
Figure 98357DEST_PATH_IMAGE031
相乘得到最终的输出结果，并作为对应的多尺度特征融合模块1043中Conv层输入，假设注意力机制模块1042计算得到的特征图权重为
Figure DEST_PATH_IMAGE032
，注意力机制表达式定义如下：
Figure DEST_PATH_IMAGE034
，
其中表示点乘。
步骤105：固定检测模型特征提取层参数，当采用插管电镜病灶图片训练集训练得到插管电镜图片病灶检测模型之后，该插管电镜图片病灶检测模型能够实现插管电镜图片病灶高精度检测，然而由于胶囊内窥镜图像增强模型在模型训练方面的误差，若直接将插管电镜图片病灶检测模型用于胶囊内窥镜图像病灶检测，则会造成检测精度低下。因此，为进一步挖掘胶囊内窥镜图像病灶特征，提高检测精度，本方案采用迁移学习方法对检测模型进行进一步训练。具体操作步骤为：首先将检测模型Yolov5+注意力机制模块的特征提取模块1041的网络层参数固定，然后将增强后的胶囊内窥镜图片作为训练集，步骤106利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数，其中第1和第2个注意力机制模块参数固定，第3个注意力机制模块的参数不固定，步骤107最终生成胶囊内窥镜增强图片病灶检测模型，步骤108对胶囊内窥镜图片病灶实时检测，实现本发明的发明目的。
图4是本发明的息肉检测结果对比表，精确率和召回率的定义如下：
召回率（Recall）=TP/(TP+FN)
精确率（Precision）=TP/(TP+FP)
其中TP是True positive，FN是False negative，FP是False positive，对于每一类的真实标签（包括正常图片），召回率为被正确预测的数量占真实标签数量的百分比；精确率为被预测为某种病灶中真实为该种病灶的百分比。以早癌图像识别为例，真实的标注框体数为201个，模型预测出176个，而正确的预测有162个，由此计算可得：召回率=162/201=80.6%，精确率=162/176=92.0%。
本发明技术方案只对息肉病灶检测进行实验，使用的胶囊内窥镜息肉病灶图片数量为2431，训练集、验证集和测试集划分比例为8:1:1，由此可得各数据集的数量分别为1945、243和243，对比实验为直接采用Yolov5模型进行胶囊内窥镜图像息肉病灶检测，数据集和本方案病灶检测方法实验数据集一致，对比试验结果如图4所示，实验结果表明，本方案所提出的胶囊内窥镜图片病灶检测方法在准确度和召回率均高于Yolov5模型，尤其是召回率，本方案检测方法的召回率超Yolov5模型方法7%。
请参考图5本发明病灶检测系统组成示意图，本发明的病灶检测系统包括插管电镜病灶图片获取模块401、胶囊内窥镜病灶图片获取模块402、胶囊内窥镜病灶图片增强模块403、插管电镜图片病灶检测模型训练模块404、特征提取层网络参数固定模块405、胶囊内窥镜图片训练模块406、胶囊内窥镜增强图片病灶检测模型生成模块407及胶囊内窥镜图片病灶实时检测模块408，该病灶检测系统对应于图1所示的病灶检测方法，其工作原理相同，本发明对此不再赘述。
图6是本发明病灶检测设备组成示意图，本发明还提供一种病灶检测设备及存储介质，所述病灶检测设备10包括一个或多个处理器30及存储器20，其中所述一个或多个计算机程序被存储在所述存储器20中，并且被配置成由所述一个或多个处理器30执行，所述处理器30执行所述计算机程序时实现病灶检测方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccessMemory)、磁盘或光盘等。
采用本发明的病灶检测技术方案结合插管电镜和胶囊内窥镜的各自优势，运用深度学习方法，提升病灶图像自动检测的精度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种病灶检测方法，其特征在于，包括以下步骤：
获取插管电镜病灶图片；
获取胶囊内窥镜病灶图片；
基于风格迁移模型进行胶囊内窥镜病灶图片增强；
训练并生成插管电镜图片病灶检测模型；
固定检测模型特征提取层参数；
利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数；
生成胶囊内窥镜增强图片病灶检测模型；
对胶囊内窥镜图片病灶实时检测。
2.如权利要求1所述的病灶检测方法，其特征在于，所述的基于风格迁移模型进行胶囊内窥镜病灶图片增强采用图像增强模型架构，所述图像增强模型架构进一步包括UNet编码器，AdaIN风格迁移层及解码器，所述AdaIN风格迁移层分别连接UNet编码器和解码器。
3.如权利要求2所述的病灶检测方法，其特征在于，所述的UNet编码器由四个不同数量特征图的下采样模块组成，每个下采样模块包含两个3x3的卷积层和一个ReLU层。
4.如权利要求2所述的病灶检测方法，其特征在于，所述AdaIN风格迁移层处理后的图像特征
Figure 512364DEST_PATH_IMAGE001
和与风格迁移前的图像特征
Figure 40297DEST_PATH_IMAGE002
和具有如下公式一所示的关系式：
Figure 33661DEST_PATH_IMAGE003
（公式一）
其中
Figure 256832DEST_PATH_IMAGE004
表示图像y的风格迁移至x后生成的图像，
Figure 852898DEST_PATH_IMAGE005
表示均值，
Figure 110704DEST_PATH_IMAGE006
表示方差。
5.如权利要求1所述的病灶检测方法，其特征在于，所述插管电镜图片病灶检测模型进一步包括特征提取模块、注意力机制模块、多尺度特征融合模块、小目标检测头、中目标检测头及大目标检测头，所述注意力机制模块分别连接特征提取模块和多尺度特征融合模块，所述多尺度特征融合模块分别连接小目标检测头、中目标检测头及大目标检测头。
6.如权利要求5所述的病灶检测方法，其特征在于，所述特征提取模块进一步包括一个Focus模块、四个Conv模块、四个BottleNeckCSP模块和一个SPP模块，所述Focus模块将输入的图片分成多个切片，再将多个切片并排起来输入到Conv模块中，所述Conv模块进一步包括卷积conv、样本正则化BN和激活函数Leaky ReLU。
7.如权利要求5所述的病灶检测方法，其特征在于，所述注意力机制模块至少为三个。
8.如权利要求5所述的病灶检测方法，其特征在于，所述利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数具体包括：
首先固定检测模型特征提取层参数，然后将增强后的胶囊内窥镜图片作为训练集，利用增强后的胶囊内窥镜图片训练插管电镜图片病灶检测模型网络参数，其中第一个和第二个注意力机制模块参数固定，第三个注意力机制模块的参数不固定。
9.一种病灶检测系统，其特征在于，所述病灶检测系统包括：
插管电镜病灶图片获取模块；
胶囊内窥镜病灶图片获取模块；
胶囊内窥镜病灶图片增强模块；
插管电镜图片病灶检测模型训练模块；
特征提取层网络参数固定模块；
胶囊内窥镜图片训练模块；
胶囊内窥镜增强图片病灶检测模型生成模块；
胶囊内窥镜图片病灶实时检测模块。
10.如权利要求9所述的病灶检测系统，其特征在于，所述胶囊内窥镜病灶图片增强模块采用图像增强模型架构，所述图像增强模型架构进一步包括UNet编码器，AdaIN风格迁移层及解码器，所述AdaIN风格迁移层分别连接UNet编码器和解码器。
11.如权利要求10所述的病灶检测系统，其特征在于，所述的UNet编码器由四个不同数量特征图的下采样模块组成，每个下采样模块包含两个3x3的卷积层和一个ReLU层。
12.如权利要求9所述的病灶检测系统，其特征在于，所述插管电镜图片病灶检测模型进一步包括特征提取模块、注意力机制模块、多尺度特征融合模块、小目标检测头、中目标检测头及大目标检测头，所述注意力机制模块分别连接特征提取模块和多尺度特征融合模块，所述多尺度特征融合模块分别连接小目标检测头、中目标检测头及大目标检测头。
13.如权利要求12所述的病灶检测系统，其特征在于，所述特征提取模块进一步包括一个Focus模块、四个Conv模块、四个BottleNeckCSP模块和一个SPP模块，所述Focus模块将输入的图片分成多个切片，再将多个切片并排起来输入到Conv模块中，所述Conv模块进一步包括卷积conv、样本正则化BN和激活函数Leaky ReLU。
14.如权利要求12所述的病灶检测系统，其特征在于，所述注意力机制模块至少为三个。
15.一种病灶检测设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的病灶检测方法的步骤。
16.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的病灶检测方法的步骤。
CN202211092052.7A 2022-09-08 2022-09-08 一种病灶检测方法、系统、设备及存储介质 Active CN115187591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211092052.7A CN115187591B (zh) 2022-09-08 2022-09-08 一种病灶检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211092052.7A CN115187591B (zh) 2022-09-08 2022-09-08 一种病灶检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115187591A true CN115187591A (zh) 2022-10-14
CN115187591B CN115187591B (zh) 2023-04-18

Family

ID=83523883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211092052.7A Active CN115187591B (zh) 2022-09-08 2022-09-08 一种病灶检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115187591B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
US20180373999A1 (en) * 2017-06-26 2018-12-27 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN112561792A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 图像风格迁移方法、装置、电子设备及存储介质
US20220036135A1 (en) * 2019-08-29 2022-02-03 Tencent Technology (Shenzhen) Company Limited Method and apparatus for determining image to be labeled and model training method and apparatus
CN114140651A (zh) * 2021-12-09 2022-03-04 深圳市资福医疗技术有限公司 胃部病灶识别模型训练方法、胃部病灶识别方法
CN114145694A (zh) * 2022-01-12 2022-03-08 焦作天裕精密光学有限公司 一种可脱落式胶囊内窥镜
CN114187296A (zh) * 2021-11-09 2022-03-15 元化智能科技(深圳)有限公司 胶囊内窥镜图像病灶分割方法、服务器及系统
CN114581408A (zh) * 2022-03-04 2022-06-03 桂林医学院 一种基于yolov5的胃镜息肉检测方法
CN114581356A (zh) * 2022-05-09 2022-06-03 南京理工大学 基于风格迁移数据增广的图像增强模型泛化方法
CN114782355A (zh) * 2022-04-18 2022-07-22 华南理工大学 基于改进vgg16网络的胃癌数字病理切片检测方法
US20220277472A1 (en) * 2021-02-19 2022-09-01 Nvidia Corporation Single-stage category-level object pose estimation

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180373999A1 (en) * 2017-06-26 2018-12-27 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
US20220036135A1 (en) * 2019-08-29 2022-02-03 Tencent Technology (Shenzhen) Company Limited Method and apparatus for determining image to be labeled and model training method and apparatus
CN112561792A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 图像风格迁移方法、装置、电子设备及存储介质
US20220277472A1 (en) * 2021-02-19 2022-09-01 Nvidia Corporation Single-stage category-level object pose estimation
CN114187296A (zh) * 2021-11-09 2022-03-15 元化智能科技(深圳)有限公司 胶囊内窥镜图像病灶分割方法、服务器及系统
CN114140651A (zh) * 2021-12-09 2022-03-04 深圳市资福医疗技术有限公司 胃部病灶识别模型训练方法、胃部病灶识别方法
CN114145694A (zh) * 2022-01-12 2022-03-08 焦作天裕精密光学有限公司 一种可脱落式胶囊内窥镜
CN114581408A (zh) * 2022-03-04 2022-06-03 桂林医学院 一种基于yolov5的胃镜息肉检测方法
CN114782355A (zh) * 2022-04-18 2022-07-22 华南理工大学 基于改进vgg16网络的胃癌数字病理切片检测方法
CN114581356A (zh) * 2022-05-09 2022-06-03 南京理工大学 基于风格迁移数据增广的图像增强模型泛化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TIANWEI LIN等: ""Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer"", 《2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Also Published As

Publication number Publication date
CN115187591B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US20210406591A1 (en) Medical image processing method and apparatus, and medical image recognition method and apparatus
CN108648172B (zh) 一种基于3D-Unet的CT图肺结节检测系统
Aggarwal et al. COVID-19 image classification using deep learning: Advances, challenges and opportunities
CN107492071B (zh) 医学图像处理方法及设备
JP2021513435A (ja) 胃腸腫瘍を診断するシステム及び方法
CN107273657A (zh) 影像诊断图文报告的生成方法及存储设备
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN110110808B (zh) 一种对图像进行目标标注的方法、装置及计算机记录介质
Droste et al. Ultrasound image representation learning by modeling sonographer visual attention
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
Zhang et al. Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN114445431B (zh) 一种医学三维影像任意切割的方法与装置
CN114187296B (zh) 胶囊内窥镜图像病灶分割方法、服务器及系统
CN111340209A (zh) 网络模型训练方法、图像分割方法、病灶定位方法
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
Guo CSGNet: Cascade semantic guided net for retinal vessel segmentation
US20220230303A1 (en) Methods and apparatuses for generating anatomical models using diagnostic images
You et al. Vocal cord leukoplakia classification using deep learning models in white light and narrow band imaging endoscopy images
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
CN115187591B (zh) 一种病灶检测方法、系统、设备及存储介质
CN115274099B (zh) 一种人与智能交互的计算机辅助诊断系统与方法
Yin et al. Endoscopy artefact detection by deep transfer learning of baseline models
Diamantis et al. This Intestine Does Not Exist: Multiscale Residual Variational Autoencoder for Realistic Wireless Capsule Endoscopy Image Generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant