CN114581375A - 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质 - Google Patents

一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质 Download PDF

Info

Publication number
CN114581375A
CN114581375A CN202210103187.2A CN202210103187A CN114581375A CN 114581375 A CN114581375 A CN 114581375A CN 202210103187 A CN202210103187 A CN 202210103187A CN 114581375 A CN114581375 A CN 114581375A
Authority
CN
China
Prior art keywords
focus
detection
image
images
wireless capsule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210103187.2A
Other languages
English (en)
Inventor
孙箫宇
于丹
张宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Neusoft Education Technology Group Co ltd
Original Assignee
Dalian Neusoft Education Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Neusoft Education Technology Group Co ltd filed Critical Dalian Neusoft Education Technology Group Co ltd
Priority to CN202210103187.2A priority Critical patent/CN114581375A/zh
Publication of CN114581375A publication Critical patent/CN114581375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质。方法主要包括：将视频文件转换为带时间戳的图像序列，通过关键帧专家标注和相似区间序列的目标跟踪，得到带标注的数据集；通过卷积神经网络训练病灶检测模型，加载训练后模型预测待检测视频的病灶检测结果，包括所有带病灶图像的时间戳、病灶位置、病灶类别和置信度；获取专家对于检测结果中的“难例”样本的人工修正结果，得到错检区域；将错检区域经变换后与背景重新合成新数据集，微调原模型以逐步优化模型效果。本发明在尽可能少的专家标注数据情况下，获得高性能病灶检测模型，以辅助专家完成病灶自动检测，提高阅片效率和检测性能。

Description

一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质
技术领域
本发明涉及图像处理及智能疾病诊断技术领域，具体而言，尤其涉及一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质。
背景技术
无线胶囊内窥镜(Wireless Capsule Endoscopy,WCE)，是一种用于窥探人体肠胃和食道部位异常情况的仪器。通过微型胶囊进入人体，随胃肠肌肉运动沿消化方向运行并拍照图像，再把图像传输至影像工作站，由医生对受检者消化道疾患进行诊断。
目前临床使用无线胶囊内窥镜进行诊断主要依赖于医生人工阅片方式，然而，一个受检者采集视频可达8-12小时，采集图片约为12万张，专家人工筛查主观性强、耗时耗力，且易发生漏检或误检情况。也有研究采用深度学习方法对无线胶囊内窥镜病灶自动诊断，但与临床实际需求与应用还有一定差距，主要存在以下缺陷与技术挑战：
第一，难以获得大量标注数据集用于训练。在医学任务中，病灶标注依赖于专家知识，甚至需要综合多位专家结论才能获得正确标注，标注成本耗时且昂贵，难以满足模型训练对大型标注数据集的要求。
第二，正例数量少、病灶区域目标小。对目标检测任务而言，包含病灶的正例样本量少，且病灶区域相对整个图像所占区域小，容易漏检。
第三，图像多样性强且背景复杂，病灶检测精度较低。无线胶囊内窥镜拍摄照片易受残渣、气泡等影响，可能造成误检，降低病灶检测的准确率。
发明内容
为了在尽可能少的专家标注数据情况下，获得高性能病灶检测模型，本发明提供一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质，为医生提供相对精确病灶检测支持。
本发明采用的技术手段如下：
一种无线胶囊内窥镜病灶自动检测方法，其特征在于，包括以下步骤：
S1、获取无线胶囊采集的视频文件，将所述视频文件转换为带有时间戳的图像序列，并对所述带有时间戳的图像序列进行关键帧识别，获取专家对于关键帧的标注结果，并采用自动跟踪的方法获取非关键帧的标注结果，从而得到标注后的数据集；
S2、将标注后的数据集作为训练数据训练病灶检测模型，获取待检测无线胶囊内窥镜视频，基于训练完成的病灶检测模型对待检测无线胶囊内窥镜视频进行病灶检测，得到的病灶检测结果包括所有带病灶图像的时间戳、病灶位置、病灶类别和置信度，所述置信度表示带病灶图像属于对应病灶类别的概率；
S3、根据所述待检测无线胶囊内窥镜视频的病灶检测结果，将所有带病灶图像按置信度从小到大排序，将置信度小于一定阈值范围的图像作为“难例”样本，获取专家对于“难例”样本的修正结果，得到“漏检”的病灶信息和“误检”的病灶信息，进而生成“漏检库”和“误检库”，同时基于专家对于“难例”样本的修正结果对所述病灶检测模型进行主动学习；
S4、对所述“漏检库”和“误检库”中的数据进行合成处理，从而生成新的合成数据集，基于所述合成数据集对所述病灶检测模型进行迭代优化，从而微调病灶检测模型权重。
进一步地，S1中将所述视频文件转换为带有时间戳的图像序列，包括：
S111、按预设的视频帧计数间隔频率将视频转换成图像；
S112、基于OCR技术自动提取图像中的拍摄时间，从而得到带时间戳的图像序列。
进一步地，S1中对所述带有时间戳的图像序列进行关键帧识别，包括：
S121、对所述带有时间戳的图像序列中的每帧图像进行特征提取，从而获得图像特征；
S122、基于所述图像特征计算相邻两帧图像特征的相似度，当相似度小于设定阈值时，则将当前帧图像作为关键帧；否则，将当前帧图像作为前一个关键帧的相似帧，移到下一帧；
S123、重复执行相似度计算和比较步骤，直至遍历整个图像序列，从而获得关键帧和相似区间序列。
进一步地，S1中采用自动跟踪的方法获取非关键帧的标注结果，包括：
S131、基于专家对于关键帧的标注结果，筛选出带病灶的关键帧；
S132、针对每个带病灶的关键帧，采用目标跟踪算法，在相似区间序列中自动匹配关键帧的所有病灶区域，从而实现所有相似区间的病灶自动标注。
进一步地，S2中基于训练好的病灶检测模型对取待检测无线胶囊内窥镜视频进行病灶检测，包括：
S211、将所述待检测无线胶囊内窥镜视频按照S1中所述方式转换为带有时间戳的待检测图像序列；
S212、加载训练好的病灶检测模型，对所述待检测图像序列中的所有图像进行病灶检测，然后输出仅带有病灶图像的检测结果作为待检测无线胶囊内窥镜视频的病灶检测结果，所述带病灶图像的检测结果包括图像时间戳、病灶位置、病灶类别和置信度。
进一步地，S3中获取专家对于“难例”样本的修正结果，得到“漏检”的病灶信息和“误检”的病灶信息，进而生成“漏检库”和“误检库”，包括：
S311、提取“漏检”的病灶信息，按病灶位置坐标将图像对应区域进行裁剪存入“漏检库”，所述“漏检”的病灶信息包括由专家人工标注的病灶位置和病灶类别；
S312、提取“误检”的病灶信息，按病灶位置坐标将图像对应区域进行裁剪存入“误检库”，所述“误检”的病灶信息包括由病灶检测模型预测出的病灶位置。
进一步地，S4中对所述“漏检库”和“误检库”中的数据进行合成处理，从而生成新的合成数据集，包括：
S411、由所述待检测图像序列随机选择一张图像作为背景图；
S412、由“漏检库”中随机选择M张图像并由“误检库”中随机选择N张图像，生成目标图；
S413、对所述目标图进行随机数据增强，其中数据增强方式采用缩放、翻转或者旋转；
S414、通过色彩空间转换的方式在所述背景图中确定满足亮度要求的可用合成区域，在所述可用合成区域中随机选择合成位置；
S415、采用图像融合的方法将所述目标图融合到背景图中生成合成图，所述合成图的标签包括背景图原有的病灶以及从“漏检库”中新融入的病灶信息；
S416、重复执行S411至S415K次，即可得到K张图像组成的合成数据集。
本发明还公开了一种无线胶囊内窥镜病灶自动检测装置，用于实现上述任意一项所述的自动检测方法，包括：
前处理模块，其用于获取无线胶囊采集的视频文件，将所述视频文件转换为带有时间戳的图像序列，并对所述带有时间戳的图像序列进行关键帧识别，获取专家对于关键帧的标注结果，并采用自动跟踪的方法获取非关键帧的标注结果，从而得到标注后的数据集；
病灶检测模块，其用于将标注后的数据集作为训练数据训练病灶检测模型，获取待检测无线胶囊内窥镜视频，基于训练完成的病灶检测模型对待检测无线胶囊内窥镜视频进行病灶检测，得到的病灶检测结果包括所有带病灶图像的时间戳、病灶位置、病灶类别和置信度，所述置信度表示带病灶图像属于对应病灶类别的概率；
主动学习模块，其用于根据所述待检测无线胶囊内窥镜视频的病灶检测结果，将所有带病灶图像按置信度从小到大排序，将置信度小于一定阈值范围的图像作为“难例”样本，获取专家对于“难例”样本的修正结果，得到“漏检”的病灶信息和“误检”的病灶信息，进而生成“漏检库”和“误检库”，同时基于专家对于“难例”样本的修正结果对所述病灶检测模型进行主动学习；
数据合成模块，对所述“漏检库”和“误检库”中的数据进行合成处理，从而生成新的合成数据集，基于所述合成数据集对所述病灶检测模型进行迭代优化，从而微调病灶检测模型权重。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如上述任意一项所述的一种无线胶囊内窥镜病灶自动检测方法。
较现有技术相比，本发明具有以下优点：
1、本发明提供无线胶囊内窥镜病灶自动检测方法，能辅助专家完成病灶自动检测，提高阅片效率和检测性能。
2、本发明采用关键帧识别技术除冗余图像，解决视频转换后的图像数量大、相邻帧之间相似度高的问题；在此基础上，利用专家标注关键帧与自动跟踪相似区间相结合方式，实现以较少的专家标注成本，获得较大样本量的标注数据集。
3、本发明采用深度学习端到端训练得到病灶检测模型，通过模型的迭代优化，能以高精度定位出病灶位置及病灶类型。
4、本发明利用主动学习挑选出“难例”样本由专家修正预测结果，为后续数据合成提供样本支持，以逐步提升模型性能。
5、本发明设计数据合成方法，解决训练样本正例少、目标区域小问题，同时合成后图像用于重新训练并微调网络权重，极大降低模型漏检率和误检率，提高检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明无线胶囊内窥镜病灶自动检测方法流程图。
图2为实施例中自动检测方法整体执行流程图。
图3为实施例中关键帧识别方法示意图。
图4为实施例中YOLO v4网络结构示意图。
图5为实施例中训练集loss曲线。
图6为实施例中验证集loss曲线。
图7为实施例中测试集ground-truth示意图。
图8为实施例中测试集预测TP、FP示意图。
图9为实施例中测试集mAP示意图。
图10a为实施例中易分样本示例1。
图10b为实施例中易分样本示例2。
图10c为实施例中易分样本示例3。
图11a为实施例中漏检样本示例1。
图11b为实施例中漏检样本示例2。
图11c为实施例中漏检样本示例3。
图12a中为实施例中误检样本示例1。
图12b中为实施例中误检样本示例2。
图12c中为实施例中误检样本示例3。
图13a为实施例中背景图示例。
图13b为实施例中目标图示例。
图14为实施例中背景图V通道二值化示例。
图15为实施例中合成后图像示例。
图16为实施例中合成数据集样本示例。
图17为实施例中加载微调后模型检测结果展示。
图18为实施例中微调模型后测试集mAP示意图。
图19为本发明无线胶囊内窥镜病灶自动检测装置结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，本发明公开了一种无线胶囊内窥镜病灶自动检测方法，包括以下步骤：
一种无线胶囊内窥镜病灶自动检测方法，包括以下步骤：
S1、获取无线胶囊采集的视频文件，将所述视频文件转换为带有时间戳的图像序列，并对所述带有时间戳的图像序列进行关键帧识别，获取专家对于关键帧的标注结果，并采用自动跟踪的方法获取非关键帧的标注结果，从而得到标注后的数据集。
本步骤主要用于将视频转带时间戳的图像序列、进行关键帧识别和数据标注。具体来说：
将视频转为带时间戳的图像序列包括以下步骤：
S111、读取视频与帧率，按一定的视频帧计数间隔频率将视频转换成图像；
S112、然后应用OCR技术，自动提取图像中的拍摄时间，得到带时间戳的图像序列。
进一步地，由于视频转换后的图像数据量大且图像间相似度高，因此，需通过关键帧识别去除冗余帧，而保留下的具有代表性的序列作为视频的关键帧，与关键帧相似度高的图像集合称之为该关键帧的相似区间。关键帧识别包括以下步骤：
S121、对所述带有时间戳的图像序列中的每帧图像进行特征提取，从而获得图像特征。可选的，提取每帧图像特征，可通过计算图像Hash值，或使用预训练卷积神经网络等方式提取图像特征；
S122、基于所述图像特征计算相邻两帧图像特征的相似度，当相似度小于设定阈值时，则将当前帧图像作为关键帧；否则，将当前帧图像作为前一个关键帧的相似帧，移到下一帧。可选的，相似度度量方式可以是差异哈希算法(DHash)、余弦距离(CosineDistance)、欧式距离(Euclidean Distance)、皮尔逊相关系数(Pearson Correlation)等；
S123、重复执行相似度计算和比较步骤，直至遍历整个图像序列，从而获得关键帧和相似区间序列。
更进一步地，本申请设计采用“专家标注+自动跟踪”方法得到标注后的数据集，目的是以较少的专家标注成本，来获得较大价值的标注数据。该数据集包括所有带病灶的图像以及对应标签文件，标签文件包括带病灶图像名称、病灶位置坐标与病灶类别。具体标注步骤如下：
S131、基于前述方法进行关键帧识别。然后进行关键帧的专家标注，基于专家对于关键帧的标注结果，筛选出带病灶的关键帧。具体来说，针对关键帧序列，采用“专家标注”方式人工标注病灶信息。其中，病灶信息包括病灶区域位置坐标、病灶类别；
S132、相似区间序列自动跟踪。针对每个带病灶的关键帧，采用目标跟踪算法，在相似区间序列中自动匹配关键帧的所有病灶区域，进而实现所有相似区间的病灶自动标注。其中，目标跟踪算法可以是模板匹配算法、深度网络端到端目标跟踪算法等。
输出标注后的数据集。将所有带病灶的图像与对应标签保存下来，得到标注数据集。
S2、将标注后的数据集作为训练数据训练病灶检测模型，获取待检测无线胶囊内窥镜视频，基于训练完成的病灶检测模型对待检测无线胶囊内窥镜视频进行病灶检测，得到的病灶检测结果包括所有带病灶图像的时间戳、病灶位置、病灶类别和置信度，所述置信度表示带病灶图像属于对应病灶类别的概率。
其中，基于训练好的病灶检测模型对取待检测无线胶囊内窥镜视频进行病灶检测，包括：
S211、将所述待检测无线胶囊内窥镜视频按照S1中所述方式转换为带有时间戳的待检测图像序列；
S212、加载训练好的病灶检测模型，对所述待检测图像序列中的所有图像进行病灶检测，然后输出仅带有病灶图像的检测结果作为待检测无线胶囊内窥镜视频的病灶检测结果，所述带病灶图像的检测结果包括图像时间戳、病灶位置、病灶类别和置信度。
具体来说，S2的作用是训练病灶检测模型并输出待检测无线胶囊内窥镜视频的病灶检测结果。病灶检测可定义为目标检测问题，用于检测图像的病灶信息，包括病灶位置、病灶类别和置信度。训练采用的目标检测模型可以是单阶段目标检测算法(如YOLO，SSD等)，也可以是两阶段目标检测算法(如R-CNN，FastR-CNN，FasterR-CNN，Mask R-CNN等)。
模型训练完成后，输入待检测无线胶囊内窥镜拍摄视频，按前处理所述方法，将视频转换成带时间戳的图像序列；其次，加载病灶检测模型，预测全部图像序列的病灶信息；最后，仅输出带病灶图像的检测结果，包括时间戳、病灶位置、病灶类别和置信度。
S3、根据所述待检测无线胶囊内窥镜视频的病灶检测结果，将所有带病灶图像按置信度从小到大排序，将置信度小于一定阈值范围的图像作为“难例”样本，获取专家对于“难例”样本的修正结果，得到“漏检”的病灶信息和“误检”的病灶信息，进而生成“漏检库”和“误检库”，同时基于专家对于“难例”样本的修正结果对所述病灶检测模型进行主动学习。
具体来说，步骤S3的作用是标记少量的样本使得模型的性能收益最大化。即通过置信度排序获取“难例”样本，并交由专家修正标记，进而得到由“漏检”和“误检”区域组成的漏检库和误检库。
根据病灶检测结果，将所有带病灶图像按置信度从小到大排序，置信度越小代表预测该目标框为某种病灶的概率越小，预测结果的不确定性越强。因此，将置信度小于一定阈值范围的图像作为“难例”样本，并交由专家人工修正。
专家人工修正“难例”样本的标注，当专家判定病灶检测模型预测有误时，主要存在以下两种错检情况：第一是“漏检”，即专家判定为病灶的区域，但模型没有检测出来)；第二是“误检”，即模型误将残渣、气泡等非病灶区域识别为病灶。对于这两种情况，将“漏检”的病灶信息(由专家人工标注的病灶位置和病灶类别)和“误检”的病灶信息(由病灶检测模型预测出的病灶位置)记录下来，并按病灶位置坐标将图像对应区域进行裁剪，分别得到“漏检库”和“误检库”。本申请中“漏检库”和“误检库”的获取步骤包括：
S311、提取“漏检”的病灶信息，按病灶位置坐标将图像对应区域进行裁剪存入“漏检库”，所述“漏检”的病灶信息包括由专家人工标注的病灶位置和病灶类别；
S312、提取“误检”的病灶信息，按病灶位置坐标将图像对应区域进行裁剪存入“误检库”，所述“误检”的病灶信息包括由病灶检测模型预测出的病灶位置。
S4、对所述“漏检库”和“误检库”中的数据进行合成处理，从而生成新的合成数据集，基于所述合成数据集对所述病灶检测模型进行迭代优化，从而微调病灶检测模型权重。通过迭代优化微调模型权重，不断降低漏检率和误检率，进而提高模型性能。
具体来说，步骤S4主要用于扩充带标注的样本数量，从而解决目标检测正例少、目标区域小的问题。合成数据集的生成步骤如下：
S411、选择背景图。从原图像序列中随机选择一张图像作为背景图；
S412、选择目标图。从漏检库中随机选择M张图像，从误检库中随机选择N张图像，作为目标图；
S413、目标图数据增强的步骤。将目标图进行随机数据增强，数据增强方式可采用缩放、翻转、旋转等；
S414、确定合成位置的步骤。为了利于目标检测模型对目标区域的识别，应避免将目标图合成到亮度过暗的背景区域。因此，先将背景图从RGB颜色空间转换为HSV颜色空间，并提取V通道，因为V参数表示亮度value，即色彩的明亮程度。通过亮度二值化处理，可以去除背景图中亮度较低的区域，而剩下背景图中亮度较高的区域，则作为可用合成区域。目标图在背景图中随机选择合成位置，只需保证目标图完全在可用区域范围内；
S415、图像融合。在将目标图合成到背景图过程中，为了使合成后图像更自然、合成边界保持无缝，因此，本发明采用图像融合的方法，实现图像之间的平滑过渡。图像融合算法可以是泊松融合(Poisson Blend)、拉普拉斯金字塔(Laplacian Pyramid)融合等。其中，合成图的标签除了包括背景图原有的病灶外，应加入从漏检库中新合成的病灶信息；
S416、获取合成数据集。重复步骤S411到步骤S415，重复次数为K，可得到由K张图像组成的合成数据集。合成数据集将重新用于病灶检测模型的训练，通过迭代优化微调模型权重，不断降低漏检率和误检率，进而提高模型性能。
下面通过具体的应用实例对本发明的方案做进一步说明。
如图2所示，为实施例的总体执行流程。主要包括前处理阶段、病灶检测模型的训练与预测阶段、主动学习与数据合成阶段以及微调病灶检测模型阶段。具体说明如下：
前处理阶段主要包括：
步骤一，视频转带时间戳的图像序列。先读取输入视频文件，获取视频帧率FPS＝15，设定时间间隔interval＝1/15s，采用OpenCV提供的VideoCapture类，将视频转换成图像序列。再将图像转换成灰度图，调用Pytesseract库自动识别图像中的拍摄时间，得到带时间戳的图像序列共120000张。
步骤二，关键帧识别。本实施例采用感知哈希算法之一平均哈希(Average Hash)提取图像特征，为每张图像产生的是一个8字节的哈希值。设定第一张图像为关键帧，通过计算相邻帧的平均哈希值差值，度量图像间的相似度，与关键帧相似的图像称为该关键帧的相似区间。如图3所示关键帧识别方法，共识别关键帧序列735张。
步骤三，数据标注。针对关键帧序列，由专家标注出病灶位置坐标和病灶类别。标注工具采用LabelMe，每张带病灶图像会生成一个.json文件，文件中label和points信息用来记录病灶位置坐标和病灶类别。其中，病灶位置坐标bbox以矩形框形式标记，第i个bbox格式为列表bboxi＝[xmini,ymini,xmaxi,ymaxi]，xmini和ymini表示第i个矩形框左上角坐标，xmaxi和ymaxi表示第i个矩形框右下角坐标。批量提取.json文件病灶信息，最终输出全部带病灶关键帧图像的.txt标注文件，每行记录格式为[img_name,[bbox1],lesion_cls1,...,[bboxi],lesion_clsi]。其中，img_name表示图像名称，bboxi和lesion_clsi表示第i个病灶位置坐标和对应的病灶类型。在本实例中，数据集包含的病灶类别主要为溃疡，因此lesion_clsi＝1，表示病灶类型为溃疡。
针对相似区间序列，当对应关键帧带病灶时，采用模板匹配(Template Matching)的目标跟踪算法，在相似区间序列中寻找与关键帧病灶最匹配的区域，从而实现相似区间的病灶自动标注。具体地，原图像I(x,y)为相似区间序列中图像，模板T(x',y')为关键帧病灶区域，通过滑动方式，将T覆盖在I的每一个位置，将模板和覆盖图像的比较计算结果存储在矩阵图像R(x,y)中，R中的每个位置(x,y)的值表示以该点为左上角覆盖图像与模板像素计算后的匹配度量值。匹配度量方法采用标准化差值平方和匹配，如式(1)。值越接近0，说明匹配度越高。
Figure BDA0003493099140000121
综上，通过专家标注和自动跟踪相结合的方式，完成关键帧序列和相似区间序列的标注，最终得到标注好的数据集，共3883张图像。
病灶检测模型的训练与预测阶段主要包括：
步骤一，病灶检测模型训练。本实施例中，采集数据量为3883，按8:1:1比例随机划分数据集，得到训练集样本数量3105，验证集样本数量389和测试集样本数量389。病灶检测模型采用单阶段目标检测算法YOLO v4，网络结构如图4所示。输入图像大小为416×416×3，YOLO v4架构的三个主要组件包括：
(1)Backbone：选择CSPDarkNet53作为主干网络提取特征；
(2)Neck：采用SPP和PANet。通过SPP(Spatial Pyramid Pooling)结构参杂在对CSPdarknet53的最后一个特征层的卷积里，利用不同大小的池化核(13×13、9×9、5×5、1×1)，进行多尺度融合。同时，对特征层使用PANet(Path aggregation network)结构，利用特征金字塔对特征反复提取，并传递到预测层；
(3)Head：采用YOLO v3分类回归层对图像特征进行预测，生成边界框和预测类别。
图5和图6分别表示模型训练过程中训练集和验证集的loss曲线变化，迭代次数Epoch＝100。
步骤二，病灶检测。测试集样本量389张图像，ground-truth包含真实病灶框543个，病灶类别均为溃疡(ulcer)。在测试集验证病灶检测模型性能，得到mAP(mean averageprecision)＝64.71％，TP(True Positive)＝384，FP(False Positive)＝71，如图7-9所示。
主动学习与数据合成阶段主要包括：
步骤一，置信度排序。对模型预测置信度进行排序，将置信度大于0.5的样本作为易分样本，如图10所示，图中模型自动检测出的病灶结果与专家标注的病灶结果基本相同，表示模型输出预测结果的置信度较高，即容易正确检测出的样本，这类样本不会显著提升模型性能，因此，对于高置信度的易分样本，无需进行专家干预。
步骤二，专家修正。对于置信度小于等于0.5的样本将作为难分样本，需要专家对预测结果进行修正，以提高模型性能。如图11和图12分别表示专家修正后的误检样本和漏检样本示例，其中图11a、图11c以及图11b中右侧的方框区域为专家修正的真实结果，图11b中左侧的方框区域既为专家修正的真实结果，同时也为模型自动预测结果。图12b、图12c以及图12a中左侧的方框区域为模型自动预测结果，图12a中右侧的方框区域既为专家修正的真实结果，同时也为模型自动预测结果。按框的位置进行裁剪，分别得到“漏检库”和“误检库”。
步骤三，合成数据集。以原图作为背景图，以“漏检库”和“误检库”中图像作为目标图，图像合成操作过程如下：
(1)随机选择背景图和目标图，如图13(a)和图13(b)所示；
(2)将目标图以p＝0.5概率进行随机数据增强，数据增强方式包括水平翻转、垂直翻转、宽、高随机缩放0.8～2.0倍；
(3)将背景图转换为HSV颜色空间，并提取亮度V通道做二值化处理V[V>150]＝255，V[V<＝150]＝0，即将亮度值大于150置为白色255，其他区域置为黑色0，如图14所示。其中白色区域为映射回原背景图的可用合成区域；
(4)将数据增强后的目标图与原背景图可用区域进行合成，并采用泊松融合算法，通过Poisson方程对图像无缝融合，目标是使边界处梯度变化最小，如式(2)所示。
Figure BDA0003493099140000131
其中，Ω表示原图，v表示原图梯度，
Figure BDA0003493099140000141
表示原图边界，f和
Figure BDA0003493099140000142
分别表示融合后图像及其梯度，f*表示目标图像；
(5)合成后图像如图15所示，矩形框表示合成后新增的病灶框，将其位置坐标和病灶类别加入到原图标签中，获得新的标注数据。
图16表示合成数据集的样本示例。其中，实线框为原病灶，虚线框为合成后的漏检框，虚实线框为合成后的误检框。特别地，仅实线框和虚线框代表正例，即病灶区域，其位置坐标和病灶类型将作为合成图像的标签。因此，合成数据集将极大地增加正例样本的数量和多样性。
微调病灶检测模型阶段主要包括：
合成后数据集用于微调原病灶检测模型权重，图17所示加载微调后模型，对部分样本的检测结果展示。图中包括两个方框区域，其中一个方框区域和框上文本信息表示模型预测病灶框位置，预测病灶类型和置信度；另一个方框区域和框上文本信息表示病灶ground-truth的病灶框位置和病灶类型。经过重训练后得到的模型在测试集上评估指标mAP＝74.02％，相对于原模型mAP＝64.71％，模型性能提升14.39％，如图18所示。微调后模型不仅能正确检测出目标小、不明显的病灶，同时对残渣等负例的误判率也有所降低，极大提高检测精度，进一步证明了本发明提出方法的有益效果。
本发明还公开了一种无线胶囊内窥镜病灶自动检测装置，如图19所示，包括：
前处理模块，其用于获取无线胶囊采集的视频文件，将所述视频文件转换为带有时间戳的图像序列，并对所述带有时间戳的图像序列进行关键帧识别，获取专家对于关键帧的标注结果，并采用自动跟踪的方法获取非关键帧的标注结果，从而得到标注后的数据集；
病灶检测模块，其用于将标注后的数据集作为训练数据训练病灶检测模型，通过训练好的病灶检测模型对待检测图像序列进行检测得到待检测图像序列的病灶信息，所述待检测图像序列为由无线胶囊内窥镜拍摄视频转换得到的带有时间戳的图像序列，所述病灶检测模型输出带病灶图像的检测结果，所述带病灶图像的检测结果包括所有带病灶图像的时间戳、病灶位置、病灶类别和置信度，所述置信度表示带病灶图像属于对应病灶类别的概率；
主动学习模块，其用于根据检测结果，将所有带病灶图像按置信度从小到大排序，将置信度小于一定阈值范围的图像作为“难例”样本，获取专家对于“难例”样本的修正结果，得到“漏检”的病灶信息和“误检”的病灶信息，进而生成“漏检库”和“误检库”；
数据合成模块，其用于基于“漏检库”和“误检库”中的数据生成合成数据集，基于所述合成数据集重新训练所述病灶检测模型，通过迭代优化微调模型权重。
对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如上述任一项所述的一种无线胶囊内窥镜病灶自动检测方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种无线胶囊内窥镜病灶自动检测方法，其特征在于，包括以下步骤：
S1、获取无线胶囊采集的视频文件，将所述视频文件转换为带有时间戳的图像序列，并对所述带有时间戳的图像序列进行关键帧识别，获取专家对于关键帧的标注结果，并采用自动跟踪的方法获取非关键帧的标注结果，从而得到标注后的数据集；
S2、将标注后的数据集作为训练数据训练病灶检测模型，获取待检测无线胶囊内窥镜视频，基于训练完成的病灶检测模型对待检测无线胶囊内窥镜视频进行病灶检测，得到的病灶检测结果包括所有带病灶图像的时间戳、病灶位置、病灶类别和置信度，所述置信度表示带病灶图像属于对应病灶类别的概率；
S3、根据所述待检测无线胶囊内窥镜视频的病灶检测结果，将所有带病灶图像按置信度从小到大排序，将置信度小于一定阈值范围的图像作为“难例”样本，获取专家对于“难例”样本的修正结果，得到“漏检”的病灶信息和“误检”的病灶信息，进而生成“漏检库”和“误检库”，同时基于专家对于“难例”样本的修正结果对所述病灶检测模型进行主动学习；
S4、对所述“漏检库”和“误检库”中的数据进行合成处理，从而生成新的合成数据集，基于所述合成数据集对所述病灶检测模型进行迭代优化，从而微调病灶检测模型权重。
2.根据权利要求1所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S1中将所述视频文件转换为带有时间戳的图像序列，包括：
S111、按预设的视频帧计数间隔频率将视频转换成图像；
S112、基于OCR技术自动提取图像中的拍摄时间，从而得到带时间戳的图像序列。
3.根据权利要求1所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S1中对所述带有时间戳的图像序列进行关键帧识别，包括：
S121、对所述带有时间戳的图像序列中的每帧图像进行特征提取，从而获得图像特征；
S122、基于所述图像特征计算相邻两帧图像特征的相似度，当相似度小于设定阈值时，则将当前帧图像作为关键帧；否则，将当前帧图像作为前一个关键帧的相似帧，移到下一帧；
S123、重复执行相似度计算和比较步骤，直至遍历整个图像序列，从而获得关键帧和相似区间序列。
4.根据权利要求3所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S1中采用自动跟踪的方法获取非关键帧的标注结果，包括：
S131、基于专家对于关键帧的标注结果，筛选出带病灶的关键帧；
S132、针对每个带病灶的关键帧，采用目标跟踪算法，在相似区间序列中自动匹配关键帧的所有病灶区域，从而实现所有相似区间的病灶自动标注。
5.根据权利要求1所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S2中基于训练好的病灶检测模型对取待检测无线胶囊内窥镜视频进行病灶检测，包括：
S211、将所述待检测无线胶囊内窥镜视频按照S1中所述方式转换为带有时间戳的待检测图像序列；
S212、加载训练好的病灶检测模型，对所述待检测图像序列中的所有图像进行病灶检测，然后输出仅带有病灶图像的检测结果作为待检测无线胶囊内窥镜视频的病灶检测结果，所述带病灶图像的检测结果包括图像时间戳、病灶位置、病灶类别和置信度。
6.根据权利要求1所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S3中获取专家对于“难例”样本的修正结果，得到“漏检”的病灶信息和“误检”的病灶信息，进而生成“漏检库”和“误检库”，包括：
S311、提取“漏检”的病灶信息，按病灶位置坐标将图像对应区域进行裁剪存入“漏检库”，所述“漏检”的病灶信息包括由专家人工标注的病灶位置和病灶类别；
S312、提取“误检”的病灶信息，按病灶位置坐标将图像对应区域进行裁剪存入“误检库”，所述“误检”的病灶信息包括由病灶检测模型预测出的病灶位置。
7.根据权利要求1所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S4中对所述“漏检库”和“误检库”中的数据进行合成处理，从而生成新的合成数据集，包括：
S411、由所述待检测图像序列随机选择一张图像作为背景图；
S412、由“漏检库”中随机选择M张图像并由“误检库”中随机选择N张图像，生成目标图；
S413、对所述目标图进行随机数据增强，其中数据增强方式采用缩放、翻转或者旋转；
S414、通过色彩空间转换的方式在所述背景图中确定满足亮度要求的可用合成区域，在所述可用合成区域中随机选择合成位置；
S415、采用图像融合的方法将所述目标图融合到背景图中生成合成图，所述合成图的标签包括背景图原有的病灶以及从“漏检库”中新融入的病灶信息；
S416、重复执行S411至S415K次，即可得到K张图像组成的合成数据集。
8.一种无线胶囊内窥镜病灶自动检测装置，用于实现如权利要求1-7中任意一项所述的自动检测方法，其特征在于，包括：
前处理模块，其用于获取无线胶囊采集的视频文件，将所述视频文件转换为带有时间戳的图像序列，并对所述带有时间戳的图像序列进行关键帧识别，获取专家对于关键帧的标注结果，并采用自动跟踪的方法获取非关键帧的标注结果，从而得到标注后的数据集；
病灶检测模块，其用于将标注后的数据集作为训练数据训练病灶检测模型，获取待检测无线胶囊内窥镜视频，基于训练完成的病灶检测模型对待检测无线胶囊内窥镜视频进行病灶检测，得到的病灶检测结果包括所有带病灶图像的时间戳、病灶位置、病灶类别和置信度，所述置信度表示带病灶图像属于对应病灶类别的概率；
主动学习模块，其用于根据所述待检测无线胶囊内窥镜视频的病灶检测结果，将所有带病灶图像按置信度从小到大排序，将置信度小于一定阈值范围的图像作为“难例”样本，获取专家对于“难例”样本的修正结果，得到“漏检”的病灶信息和“误检”的病灶信息，进而生成“漏检库”和“误检库”，同时基于专家对于“难例”样本的修正结果对所述病灶检测模型进行主动学习；
数据合成模块，对所述“漏检库”和“误检库”中的数据进行合成处理，从而生成新的合成数据集，基于所述合成数据集对所述病灶检测模型进行迭代优化，从而微调病灶检测模型权重。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如权利要求1-7任一项所述的一种无线胶囊内窥镜病灶自动检测方法。
CN202210103187.2A 2022-01-27 2022-01-27 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质 Pending CN114581375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210103187.2A CN114581375A (zh) 2022-01-27 2022-01-27 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210103187.2A CN114581375A (zh) 2022-01-27 2022-01-27 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114581375A true CN114581375A (zh) 2022-06-03

Family

ID=81769232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210103187.2A Pending CN114581375A (zh) 2022-01-27 2022-01-27 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114581375A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049655A (zh) * 2022-08-15 2022-09-13 汕头大学·香港中文大学联合汕头国际眼科中心 一种小鼠模型视网膜病灶分布分析方法
CN116030247A (zh) * 2023-03-20 2023-04-28 之江实验室 一种医学图像样本生成方法、装置、存储介质及电子设备
CN116681715A (zh) * 2023-08-04 2023-09-01 杭州脉流科技有限公司 基于像素值变化的血管分割方法、装置、设备和存储介质
CN116758058A (zh) * 2023-08-10 2023-09-15 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) 一种数据处理方法、装置、计算机及存储介质
CN117437635A (zh) * 2023-12-21 2024-01-23 杭州海康慧影科技有限公司 一种生物组织类图像的预标注方法、装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049655A (zh) * 2022-08-15 2022-09-13 汕头大学·香港中文大学联合汕头国际眼科中心 一种小鼠模型视网膜病灶分布分析方法
CN115049655B (zh) * 2022-08-15 2022-11-11 汕头大学·香港中文大学联合汕头国际眼科中心 一种小鼠模型视网膜病灶分布分析方法
US11839428B1 (en) 2022-08-15 2023-12-12 Joint Shantou International Eye Center of Shantou University and the Chinese University of Hong Kong Method for analyzing distribution of retinal lesions in mouse model
CN116030247A (zh) * 2023-03-20 2023-04-28 之江实验室 一种医学图像样本生成方法、装置、存储介质及电子设备
CN116681715A (zh) * 2023-08-04 2023-09-01 杭州脉流科技有限公司 基于像素值变化的血管分割方法、装置、设备和存储介质
CN116681715B (zh) * 2023-08-04 2023-10-10 杭州脉流科技有限公司 基于像素值变化的血管分割方法、装置、设备和存储介质
CN116758058A (zh) * 2023-08-10 2023-09-15 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) 一种数据处理方法、装置、计算机及存储介质
CN116758058B (zh) * 2023-08-10 2023-11-03 泰安市中心医院(青岛大学附属泰安市中心医院、泰山医养中心) 一种数据处理方法、装置、计算机及存储介质
CN117437635A (zh) * 2023-12-21 2024-01-23 杭州海康慧影科技有限公司 一种生物组织类图像的预标注方法、装置
CN117437635B (zh) * 2023-12-21 2024-04-05 杭州海康慧影科技有限公司 一种生物组织类图像的预标注方法、装置

Similar Documents

Publication Publication Date Title
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN114581375A (zh) 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质
Li et al. A comprehensive review of computer-aided whole-slide image analysis: from datasets to feature extraction, segmentation, classification and detection approaches
US10607346B2 (en) Method for characterizing images acquired through a video medical device
CN107591200B (zh) 基于深度学习及影像组学的骨龄标记识别评估方法及系统
CN111160367B (zh) 图像分类方法、装置、计算机设备和可读存储介质
CN113379693B (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN111144271B (zh) 一种内镜下自动识别活检部位及活检数量的方法及系统
CN112466466B (zh) 基于深度学习的消化道辅助检测方法、装置和计算设备
CN113743463B (zh) 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
CN111080639A (zh) 基于人工智能的多场景消化道内镜图像识别方法及系统
CN113011450B (zh) 青光眼识别的训练方法、训练装置、识别方法及识别系统
Ma et al. Polyp detection in colonoscopy videos by bootstrapping via temporal consistency
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
Tashk et al. An innovative polyp detection method from colon capsule endoscopy images based on a novel combination of RCNN and DRLSE
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
CN116228660A (zh) 胸部正片异常部位检测方法及装置
Arnold et al. Indistinct frame detection in colonoscopy videos
CN112734707B (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质
CN113450381A (zh) 一种图像分割模型的准确度评价系统及方法
CN115690092B (zh) 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置
KR102502418B1 (ko) 신경망 기반 의료 영상 처리 장치 및 방법
CN115690518A (zh) 一种肠化生严重程度分类系统
CN116051508A (zh) 一种基于相邻切片推理的脑肿瘤弱监督分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination