CN111144271A - 一种内镜下自动识别活检部位及活检数量的方法及系统 - Google Patents

一种内镜下自动识别活检部位及活检数量的方法及系统 Download PDF

Info

Publication number
CN111144271A
CN111144271A CN201911342816.1A CN201911342816A CN111144271A CN 111144271 A CN111144271 A CN 111144271A CN 201911342816 A CN201911342816 A CN 201911342816A CN 111144271 A CN111144271 A CN 111144271A
Authority
CN
China
Prior art keywords
biopsy
endoscope
biopsy forceps
taking
forceps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911342816.1A
Other languages
English (en)
Other versions
CN111144271B (zh
Inventor
李�真
冯建
左秀丽
阿迪莱
李延青
杨晓云
赖永航
邵学军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Medcare Digital Engineering Co ltd
Qilu Hospital of Shandong University
Original Assignee
Qingdao Medcare Digital Engineering Co ltd
Qilu Hospital of Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Medcare Digital Engineering Co ltd, Qilu Hospital of Shandong University filed Critical Qingdao Medcare Digital Engineering Co ltd
Priority to CN201911342816.1A priority Critical patent/CN111144271B/zh
Publication of CN111144271A publication Critical patent/CN111144271A/zh
Application granted granted Critical
Publication of CN111144271B publication Critical patent/CN111144271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/04—Endoscopic instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/06—Biopsy forceps, e.g. with cup-shaped jaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种内镜下自动识别活检部位及活检数量的方法及系统，所述方法包括以下步骤：获取内镜检查过程中实时采集的视频帧；基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。本发明可以准确检测和跟踪活检钳并确定取活检部位，同时精确推断取活检场景并统计取活检次数，为规范的病理报告提供了保障。

Description

一种内镜下自动识别活检部位及活检数量的方法及系统
技术领域
本发明属于人工智能技术领域，尤其涉及一种内镜下自动识别活检部 位及活检数量的方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构 成在先技术。
内镜活检是目前消化系统疾病早期诊治不可缺少的手段，内镜检查过 程中发现可疑病变时，为了明确病变的性质、分布范围以及程度，往往需 要在胃肠道黏膜多个部位进行多块活检，其不仅为疾病诊断提供线索，还 能了解疾病发展趋势判断预后。
根据活检申请规范化书写要求，内镜医师应向病理医师准确提供送检 标本的部位、数量及内镜所见，目前对于活检部位及块数均为人工统计并 记录，不仅存在易混淆取材部位等风险，还增加内镜医师的负担。
发明内容
为克服上述现有技术的不足，本发明提供了一种判断消化内窥镜检查 是否染色的方法及系统。能够准确的自动记录取活检部位和数量，有助于 自动化诊疗报告的生成及内镜疾病诊断结果的准确分析。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种内镜下自动识别活检部位及活检数量的方法，包括以下步骤：
获取内镜检查过程中实时采集的视频帧；
基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；
若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检 的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续 视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。
进一步地，所述方法还包括：记录所述内镜检查的部位和各部位对应 的取活检次数。
进一步地，所述活检钳检测模型和内镜部位识别模型均采用卷积神经 网络进行训练。
进一步地，所述取活检动作识别模型采用3D卷积神经网络进行训练。
进一步地，所述对活检钳进行跟踪采用活检钳检测模型；获取活检钳 一直存在或活检钳消失的时间小于k帧的连续视频帧，基于该视频帧进行 取活检动作识别。
一个或多个实施例提供了一种内镜下自动识别活检部位及活检数量的 系统，包括：
图像获取模块，获取内镜检查过程中实时采集的视频帧；
活检钳检测模块，基于预先训练的活检钳检测模型，逐帧检测是否存 在活检钳；
活检部位识别模块，用于在存在活检钳时，基于预先训练的内镜部位 识别模型，确定当前取活检的内镜部位；
取活检动作识别模块，用于在存在活检钳时，对活检钳进行跟踪，得 到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型， 确定是否进行取活检。
一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储 在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序 时实现所述内镜下自动识别活检部位及活检数量的方法。
一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算 机程序，该程序被处理器执行时实现所述内镜下自动识别活检部位及活检 数量的方法。
以上一个或多个技术方案存在以下有益效果：
本发明提供了一种通用的实时内镜下自动识别活检部位及活检数量的 方法和系统，可以准确检测和跟踪活检钳并确定取活检部位，同时精确推 断取活检场景并统计取活检次数，这不仅为规范的病理报告提供保障，并 且对自动化诊断报告的生成有积极和高效的推动作用。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解， 本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不 当限定。
图1为本发明一个或多个实施例中内镜下自动识别活检部位及活检数 量的检测方法流程图；
图2为本发明一个或多个实施例中内镜活检图像标注示意图；
图3为本发明一个或多个实施例中检测结果显示示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的 说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属 技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非 意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文 另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的 是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、 步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组 合。
实施例一
如图1所示，本实施例公开了一种内镜下自动识别活检部位及活检数 量的检测方法，包括训练阶段和推断阶段。
(一)训练阶段
步骤1：获取内镜活检钳采集视频片段，并进行图像采样和标注处理。
步骤101：基于视频采集卡开发接口人工实时采集活检采集视频片段和 带有活检钳的内镜图像，同时采集等数量的无活检采集的视频片段；
步骤102：将采集的视频片段经过视频分帧均匀采样n帧(16帧)
步骤103：对于内镜活检图像不做任何数据增强或处理，仅对图像缩放 至300X300，其标注样式如图2所示，对于分帧采样后的内镜活检视频片段 将其每一帧图像经过去黑边算法后去掉内镜图像多余的边界仅保留ROI区 域，然后缩放至112X112和299X299并按照采样顺序排列。
步骤2：构建内镜活检钳检测模型。
步骤201：活检钳训练集准备。
具体地，采集卡采集的经label Img活检钳标注图像原图及xml文件组 成训练集，xml文件中保存了该图像对应的标注信息，解析xml文件获取每 张训练图片的标注框信息和对应的标签(0:无，1：活检钳)。
步骤202：采用活检钳训练集训练卷积神经网络,得到活检钳检测模型。
该卷积网络SSD300的backbone基于VGG16,在此基础上去掉了全连接 层而增加了5层卷积网络。为了对于小目标和大目标的均衡识别，SSD网络 中引入了FPN(特征金字塔)的思想，该网络采用任意大小的单尺度图像作 为输入，并以全卷积的方式输出多个级别的按比例大小的特征图。在不同 的特征图上分别做检测，并且每个特征图选取的候选框的大小存在差异， 这样既可以增加目标检测中候选框的选取，又可以针对于不同大小的目标进行检测。
除此之外训练过程中采用了负难样例挖掘(OHEM)和非极大值抑制 (NMS)。其中，负难样例挖掘核心思想为：用分类器对样本进行分类，把 其中错误分类的样本(hardnegative)放入负样本集合再继续训练分类器。 非极大值抑制的目的是在多个可能又重叠的候选框中找出最优的。
训练SSD的过程中采用Focal Loss和smooth L2损失函数,该损失函 数可以很好的处理正负样本不均衡的问题。
步骤203：训练完成的活检钳检测模型写入本地二进制文件。
步骤3：构建内镜部位识别模型。
所述内镜部位识别模型用于在活检钳检测模型推断有活检钳存在时， 判断当前取活检的内镜部位，比如胃镜会预测胃的部位，肠镜会预测肠镜 的部位。所述步骤3具体包括：
步骤301：根据步骤1采集训练集的方式，采集内镜部位图像，将采集 的图像按照部位和视频来源命名，作为训练集保存。
步骤302：采用内镜部位训练集训练卷积神经网络，得到部位识别模型。
所述内镜部位识别模型采用卷积神经网络Incetion-ResNet-V2。训练 过程中批尺寸(batch size)为16表示每次迭代反向传播梯度计算的样本 数量，网络结构中大量使用了Inception结构和残差块(Residual Block)， 可以很好的提取内镜部位的抽象特征。
因为训练集数量有限，本实施例采用迁移学习，使用在ImageNet数据 集上训练的模型，并且只加载softmax之前的层的参数作为初始化的参数， 然后进行全网络的后向传播训练，，模型训练的初始学习率为0.001，采用 指数平滑方式逐步减小学习率，损失函数采用交叉熵损失，优化器采用 RMSProp优化器算法。经过250的epoch迭代训练，训练过程中使用早停法 (early stopping)提前终止训练。实验证明，这种方法可以使得在训练 集数据量较小的情况下，模型收敛速度和泛化能力更强。
步骤303：将训练完成的内镜部位识别模型写入本地二进制文件。
步骤4：构建取活检动作识别模型。
所述取活检动作识别模型的目的是检测到活检钳的存在后，统计取活 检过程中成功的次数，这就需要跟踪活检钳并确定取活检动作场景。所述 步骤4具体包括：
步骤401：构建取活检动作训练集。
按照步骤1中采集取活检动作视频片段的方法构建训练集，每个 训练集的样本由n(16帧)帧图像构成，每一帧图像的大小缩放至 112X112，并记录该视频片段的标签(0:非取活检过程，1：成功取活 检过程),依次构建训练集。
步骤402：采用取活检动作训练集训练3D卷积神经网络，得到取活检 动作识别模型。
摒弃了传统目标跟踪算法的对形变物体跟踪的非准确性，本发明实例 采用3D卷积判断视频场景结合SSD300目标检测的方法对形变的单目标进 行准确跟踪。采用C3D作为取活检视频场景识别的算法，该网络同样基于 VGG16完成，只是把VGG16中的2D卷积全部替换为3D卷积，在特征卷积操 作时不仅要融合本帧图像的特征，还融合了时间维度上的不同帧的特征， 其训练过程和VGG16网络的训练过程完全相同。
步骤403：训练完成的取活检动作识别模型保存到本地二进制文件。
(二)推断阶段
步骤5：获取内镜检查过程中实时采集的视频帧；
获取采集卡采集的每一帧的图像，然后并行对该帧图像做300X300的 缩放和采样，对采样得到的视频帧进行去黑边算法和112X112的缩放及 299X299的缩放。
步骤6：基于活检钳识别模型，逐帧进行活检钳检测；
输入给SSD300的是单帧的内镜原图像，SSD300经过300X300的缩放后 预测活检钳及活检钳在300X300图像上的标注框坐标，需要将该坐标按照 缩放比例映射到原图像，然后将预测结果标注到系统显示界面。
步骤7：若检测到活检钳，基于内镜部位识别模型，判断当前内镜所检 查的部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续视 频片段，根据取活检动作识别模型，确定是否进行取活检。
具体地，当SSD300检测到活检钳的存在时会调用Inception-ResNet-V2 网络进行部位的预测，推断结果将提供推断的内镜部位和对应的概率取值。
同时，还启动对活检钳的跟踪，并进行取活检动作的识别，从而确定 取活检次数。
本实施例结合活检钳识别模型(SSD300)对活检钳进行跟踪，具 体地，采用在采用活检钳识别模型检测到当前视频帧中存在活检钳后， 对后续的视频帧进行持续检测，若检测到活检钳一直存在或活检钳过 程消失的时间小于k帧(k＝10)，则认为该活检钳是同一个活检钳， 持续跟踪活检钳。此时采集卡将对该检测的内镜视频进行采样和图像 处理工作,当SSD300网络检测到活检钳彻底消失后，将视频片段延迟 m帧(m＝10)保存，此时采集卡采用图片结束，得到的采样帧图像作为 推断的图像，经过步骤1中的图像处理后input到C3D网络，该网络 会判断该视频片段采样数据对应的场景类别(0：非取活检过程，1： 成功取活检过程)及对应的概率预测值,后台同时会实时统计取活检 的次数。
步骤8：记录所述内镜检查的部位和各部位对应的取活检次数。
进一步地，还将自动记录的取活检部位、次数和相应视频帧写入结构 化报告，供病理医师进行分析。
实施例二
本实施例的目的是提供一种内镜下自动识别活检部位及活检数量的系 统。
一种内镜下自动识别活检部位及活检数量的系统，包括：
图像获取模块，获取内镜检查过程中实时采集的视频帧；
活检钳检测模块，基于预先训练的活检钳检测模型，逐帧检测是否存 在活检钳；
活检部位识别模块，用于在存在活检钳时，基于预先训练的内镜部位 识别模型，确定当前取活检的内镜部位；
取活检动作识别模块，用于在存在活检钳时，对活检钳进行跟踪，得 到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型， 确定是否进行取活检；
识别结果记录模块，记录所述内镜检查的部位和各部位对应的取活检 次数；
数据显示模块，输出并显示实时采集的视频帧，并对识别出的取活检 场景及相应的部位进行标注。具体地，如图3所示，显示内镜视频相关的 帧率，检查时间等视频信息，同时标注跟踪到的活检钳及对应的部位都将 渲染并输出，C3D识别的取活检场景统计也会同时渲染到系统界面，同时后 台会保存一些重要的活检图像，作为检查报告采图的一部分。
实施例三
本实施例的目的是提供一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器 上运行的计算机程序，所述处理器执行所述程序时实现以下步骤，包括：
获取内镜检查过程中实时采集的视频帧；
基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；
若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检 的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续 视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。
实施例四
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器 执行时执行以下步骤：
获取内镜检查过程中实时采集的视频帧；
基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；
若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检 的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续 视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。
以上实施例二、三和四中涉及的各步骤与方法实施例一相对应，具体 实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质” 应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解 为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行 的指令集并使处理器执行本发明中的任一方法。
以上一个或多个实施例具有以下技术效果：
本发明提供了一种通用的实时内镜下自动识别活检部位及活检数量的 方法和系统，可以准确检测和跟踪活检钳并确定取活检部位，同时精确推 断取活检场景并统计取活检次数，这不仅为规范的病理报告提供保障，并 且对自动化诊断报告的生成有积极和高效的推动作用。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用 的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来 实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它 们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成 单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于 本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精 神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明 的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本 发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案 的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或 变形仍在本发明的保护范围以内。

Claims (8)

1.一种内镜下自动识别活检部位及活检数量的方法，其特征在于，包括以下步骤：
获取内镜检查过程中实时采集的视频帧；
基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；
若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。
2.如权利要求1所述的内镜下自动识别活检部位及活检数量的方法，其特征在于，所述方法还包括：记录所述内镜检查的部位和各部位对应的取活检次数。
3.如权利要求1所述的内镜下自动识别活检部位及活检数量的方法，其特征在于，所述活检钳检测模型和内镜部位识别模型均采用卷积神经网络进行训练。
4.如权利要求1所述的内镜下自动识别活检部位及活检数量的方法，其特征在于，所述取活检动作识别模型采用3D卷积神经网络进行训练。
5.如权利要求1所述的内镜下自动识别活检部位及活检数量的方法，其特征在于，所述对活检钳进行跟踪采用活检钳检测模型；获取活检钳一直存在或活检钳消失的时间小于k帧的连续视频帧，基于该视频帧进行取活检动作识别。
6.一种内镜下自动识别活检部位及活检数量的系统，其特征在于，包括：
图像获取模块，获取内镜检查过程中实时采集的视频帧；
活检钳检测模块，基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；
活检部位识别模块，用于在存在活检钳时，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；
取活检动作识别模块，用于在存在活检钳时，对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述内镜下自动识别活检部位及活检数量的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述内镜下自动识别活检部位及活检数量的方法。
CN201911342816.1A 2019-12-23 2019-12-23 一种内镜下自动识别活检部位及活检数量的方法及系统 Active CN111144271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911342816.1A CN111144271B (zh) 2019-12-23 2019-12-23 一种内镜下自动识别活检部位及活检数量的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911342816.1A CN111144271B (zh) 2019-12-23 2019-12-23 一种内镜下自动识别活检部位及活检数量的方法及系统

Publications (2)

Publication Number Publication Date
CN111144271A true CN111144271A (zh) 2020-05-12
CN111144271B CN111144271B (zh) 2021-02-05

Family

ID=70519535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911342816.1A Active CN111144271B (zh) 2019-12-23 2019-12-23 一种内镜下自动识别活检部位及活检数量的方法及系统

Country Status (1)

Country Link
CN (1) CN111144271B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580437A (zh) * 2020-11-26 2021-03-30 复旦大学附属中山医院 一种测量目标大小的方法、装置
CN113469032A (zh) * 2021-06-30 2021-10-01 东北大学 基于改进YOLOv4-Tiny算法的铁矿石品位识别方法
CN114005022A (zh) * 2021-12-30 2022-02-01 四川大学华西医院 一种手术器械使用的动态预测方法及系统
CN116596927A (zh) * 2023-07-17 2023-08-15 浙江核睿医疗科技有限公司 一种内镜视频处理方法、系统及装置
WO2024008100A1 (zh) * 2022-07-06 2024-01-11 杭州堃博生物科技有限公司 活检穿刺位置定位方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327907A (zh) * 2011-01-17 2013-09-25 皇家飞利浦电子股份有限公司 用于在图像引导的活检中检测针部署的系统和方法
CN107451528A (zh) * 2017-07-04 2017-12-08 山东师范大学 基于深度学习的地表覆盖图片自动识别方法及系统
CN108055454A (zh) * 2017-12-08 2018-05-18 合肥工业大学 医用内窥镜人工智能芯片的体系架构及图像处理方法
CN108257674A (zh) * 2018-01-24 2018-07-06 龙马智芯（珠海横琴）科技有限公司 疾病预测方法和装置、设备、计算机可读存储介质
CN108388841A (zh) * 2018-01-30 2018-08-10 浙江大学 基于多特征深度神经网络的宫颈活检区域识别方法及装置
CN109190540A (zh) * 2018-06-06 2019-01-11 腾讯科技（深圳）有限公司 活检区域预测方法、图像识别方法、装置和存储介质
US20190065897A1 (en) * 2017-08-28 2019-02-28 Boe Technology Group Co., Ltd. Medical image analysis method, medical image analysis system and storage medium
CN109446627A (zh) * 2018-10-22 2019-03-08 青岛美迪康数字工程有限公司 内窥镜图像识别方法及装置
CN110097105A (zh) * 2019-04-22 2019-08-06 上海珍灵医疗科技有限公司 一种基于人工智能的消化内镜检查质量自动评估方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327907A (zh) * 2011-01-17 2013-09-25 皇家飞利浦电子股份有限公司 用于在图像引导的活检中检测针部署的系统和方法
CN107451528A (zh) * 2017-07-04 2017-12-08 山东师范大学 基于深度学习的地表覆盖图片自动识别方法及系统
US20190065897A1 (en) * 2017-08-28 2019-02-28 Boe Technology Group Co., Ltd. Medical image analysis method, medical image analysis system and storage medium
CN108055454A (zh) * 2017-12-08 2018-05-18 合肥工业大学 医用内窥镜人工智能芯片的体系架构及图像处理方法
CN108257674A (zh) * 2018-01-24 2018-07-06 龙马智芯（珠海横琴）科技有限公司 疾病预测方法和装置、设备、计算机可读存储介质
CN108388841A (zh) * 2018-01-30 2018-08-10 浙江大学 基于多特征深度神经网络的宫颈活检区域识别方法及装置
CN109190540A (zh) * 2018-06-06 2019-01-11 腾讯科技（深圳）有限公司 活检区域预测方法、图像识别方法、装置和存储介质
CN109446627A (zh) * 2018-10-22 2019-03-08 青岛美迪康数字工程有限公司 内窥镜图像识别方法及装置
CN110097105A (zh) * 2019-04-22 2019-08-06 上海珍灵医疗科技有限公司 一种基于人工智能的消化内镜检查质量自动评估方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李真等: "胃癌癌前病变光学活检的临床应用", 《现代消化及介入诊疗》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580437A (zh) * 2020-11-26 2021-03-30 复旦大学附属中山医院 一种测量目标大小的方法、装置
CN113469032A (zh) * 2021-06-30 2021-10-01 东北大学 基于改进YOLOv4-Tiny算法的铁矿石品位识别方法
CN114005022A (zh) * 2021-12-30 2022-02-01 四川大学华西医院 一种手术器械使用的动态预测方法及系统
WO2024008100A1 (zh) * 2022-07-06 2024-01-11 杭州堃博生物科技有限公司 活检穿刺位置定位方法、装置及存储介质
CN116596927A (zh) * 2023-07-17 2023-08-15 浙江核睿医疗科技有限公司 一种内镜视频处理方法、系统及装置
CN116596927B (zh) * 2023-07-17 2023-09-26 浙江核睿医疗科技有限公司 一种内镜视频处理方法、系统及装置

Also Published As

Publication number Publication date
CN111144271B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN111144271B (zh) 一种内镜下自动识别活检部位及活检数量的方法及系统
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
Du et al. Review on the applications of deep learning in the analysis of gastrointestinal endoscopy images
WO2021093448A1 (zh) 图像处理方法、装置、服务器、医疗图像处理设备及存储介质
Pogorelov et al. Deep learning and hand-crafted feature based approaches for polyp detection in medical videos
Cho et al. Comparison of convolutional neural network models for determination of vocal fold normality in laryngoscopic images
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
Guo et al. Deep learning for assessing image focus for automated cervical cancer screening
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
CN111968091A (zh) 一种临床图像中病变区域的检测和分类方法
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
Zhang et al. Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation
CN114581375A (zh) 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质
CN117671573B (zh) 基于胃镜图像的幽门螺旋杆菌的感染状态识别方法和装置
CN112991280B (zh) 视觉检测方法、系统及电子设备
CN114399465B (zh) 良恶性溃疡识别方法及系统
CN111080639A (zh) 基于人工智能的多场景消化道内镜图像识别方法及系统
CN112801958A (zh) 超声内镜、人工智能辅助鉴别方法、系统、终端、介质
CN115082448A (zh) 肠道清洁度评分方法、装置和计算机设备
CN113222957A (zh) 一种基于胶囊镜图像的多类别病灶高速检测方法及系统
CN117350979A (zh) 一种基于医疗超声影像的任意病灶分割和追踪系统
CN114332033A (zh) 基于人工智能的内窥镜图像处理方法、装置、介质及设备
van der Putten et al. Informative frame classification of endoscopic videos using convolutional neural networks and hidden Markov models
Yue et al. Benchmarking polyp segmentation methods in narrow-band imaging colonoscopy images
Arnold et al. Indistinct frame detection in colonoscopy videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Zhen

Inventor after: Feng Jian

Inventor after: Zuo Xiuli

Inventor after: A Dilai

Inventor after: Li Yanqing

Inventor after: Yang Xiaoyun

Inventor after: Lai Yonghang

Inventor after: Shao Xuejun

Inventor before: Li Zhen

Inventor before: Feng Jian

Inventor before: Zuo Xiuli

Inventor before: A Dilai

Inventor before: Li Yanqing

Inventor before: Yang Xiaoyun

Inventor before: Lai Yonghang

Inventor before: Shao Xuejun

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant