CN115082448A - 肠道清洁度评分方法、装置和计算机设备 - Google Patents

肠道清洁度评分方法、装置和计算机设备 Download PDF

Info

Publication number
CN115082448A
CN115082448A CN202210880819.6A CN202210880819A CN115082448A CN 115082448 A CN115082448 A CN 115082448A CN 202210880819 A CN202210880819 A CN 202210880819A CN 115082448 A CN115082448 A CN 115082448A
Authority
CN
China
Prior art keywords
intestinal
cleanliness
frame
score
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210880819.6A
Other languages
English (en)
Other versions
CN115082448B (zh
Inventor
冯健
邵学军
康健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Medcare Digital Engineering Co ltd
Original Assignee
Qingdao Medcare Digital Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Medcare Digital Engineering Co ltd filed Critical Qingdao Medcare Digital Engineering Co ltd
Priority to CN202210880819.6A priority Critical patent/CN115082448B/zh
Publication of CN115082448A publication Critical patent/CN115082448A/zh
Application granted granted Critical
Publication of CN115082448B publication Critical patent/CN115082448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，提供了一种肠道清洁度评分方法、装置和计算机设备，所述方法包括：将采集到的肠道医学影像进行逐帧采样，得到肠道的多个图像帧；调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分，获得各个图像帧的肠道清洁度评分；根据各个图像帧之间的相似度将图像帧划分到不同的帧集合；计算每一帧集合中的所有图像帧的肠道清洁度评分的平均评分得到帧集合评分；对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分。本发明能够客观地实现肠道清洁度评分，准确率和可信度高，准确地评估结肠镜肠道的准备情况，对于指导临床操作具有重要意义。

Description

肠道清洁度评分方法、装置和计算机设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种肠道清洁度评分方法、装置和计算机设备。
背景技术
在采用结肠镜对患者进行肠道检查时，由于医护人员沉重的工作压力、缺乏专业性或者缺乏实用工具，造成在肠道检查中出现对肠道准备质量评分（即肠道清洁度评分）记录出现5%-20%的缺失或误判，从而导致10.3%的癌症漏检率。而且现有技术中，每次采样仅采集一帧图像作为评判依据，这会导致误判率的极大提升。如果这帧图片因移动或反光导致了模糊，则很难针对该帧图片对肠道清洁度给出有效地评分。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题的一种肠道清洁度评分方法、装置和计算机设备。
本发明的一个方面，提供了一种肠道清洁度评分方法，所述方法包括：
将采集到的肠道医学影像进行逐帧采样，得到肠道的多个图像帧；
调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分，获得各个图像帧的肠道清洁度评分；
根据各个图像帧之间的相似度将图像帧划分到不同的帧集合；
计算每一帧集合中的所有图像帧的肠道清洁度评分的平均评分得到帧集合评分；
对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分。
进一步地，所述根据各个图像帧之间的相似度将图像帧划分到不同的帧集合包括：
获取各个图像帧的特征向量；
使用余弦相似度算法计算不同图像帧的特征向量之间的帧相似度；
将帧相似度大于预设的相似度阈值的图像帧划分到同一帧集合。
进一步地，所述对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分包括：
确定所述帧集合表征的肠道医学影像所属的肠道区段；
根据所述帧集合表征的肠道医学影像所属的肠道区段确定所述帧集合的权重；
根据各个帧集合的权重和所述各个帧集合对应的帧集合评分对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分
进一步地，所述根据所述帧集合表征的肠道医学影像所属的肠道区段确定所述帧集合的权重包括：
根据不同所述肠道区段发现病灶的概率值，确定表征各个所述肠道区段的帧集合的权重。
进一步地，所述获取所述图像帧的特征向量包括：
采用预设的特征提取网络模型提取所述图像帧的三维特征向量；
对所述图像帧的三维特征向量进行拉直处理获得二维特征向量，得到图像帧的特征向量。
进一步地，所述肠道清洁度评分网络模型包括肠道波士顿评分识别模型和二级模糊评分输出模型；
所述肠道波士顿评分识别模型用于对所述图像帧进行肠道清洁度识别，以得到所述图像帧的肠道清洁度识别为不同波士顿评分的概率值；
所述二级模糊评分输出模型用于根据所述图像帧的肠道清洁度识别为不同波士顿评分的概率值和相对应的波士顿评分进行模糊评分计算，以获得所述图像帧的肠道清洁度评分。
进一步地，在调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分之前，所述方法还包括：
搭建用于对肠道清洁度进行波士顿评分的深度学习神经网络模型；
获取预设的肠道清洁度评分的训练集，所述训练集包括多个设置有肠道清洁度波士顿评分标签的肠道图片的训练样本；
将所述肠道图片的训练样本输入到所述深度学习神经网络模型的输入层，经过训练得到所述肠道波士顿评分识别模型。
进一步地，在调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分时，所述方法还包括：采用轻量化模型和tensorRT模型对所述肠道清洁度评分网络模型的识别速率进行加速处理。
本发明的另一个方面，提供了一种肠道清洁度评分装置，所述装置包括：
采样模块，用于将采集到的肠道医学影像进行逐帧采样，得到肠道的多个图像帧；
评分模块，用于调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分，获得各个图像帧的肠道清洁度评分；
集合划分模块，用于根据各个图像帧之间的相似度将图像帧划分到不同的帧集合；
帧集合评分模块，用于计算每一帧集合中的所有图像帧的肠道清洁度评分的平均评分得到帧集合评分；
最终评分确定模块，用于对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分。
本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如上任一项所述的肠道清洁度评分方法的步骤。
本申请实施例提供的一种肠道清洁度评分方法、装置和计算机设备，在整个医学影像采集过程中对各个图像帧都进行肠道清洁度评分，避免了因为采用单帧图片造成的误判情况的发生。采用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分其评分结果客观、准确率和可信度高。此外，本申请根据图像帧之间的相似度将图像帧划分到不同的帧集合并计算每一帧集合中的所有图像帧的肠道清洁度评分的平均评分得到帧集合评分，并根据帧集合评分进行加权平均计算得到肠道医学影像的最终评分，避免因医护人员在肠道某一评分较低画面停留观察病灶时，因为采集很多帧评分较低画面造成肠道清洁度评分过低的误判情况的发生。本申请的肠道清洁度评分方法，能够客观地实现肠道清洁度评分，记录结果准确率和可信度高，不仅能够准确地评估结肠镜肠道的准备情况，还可节省人力物力，便于推广，指导临床操作。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1为本发明实施例的一种肠道清洁度评分方法的流程图；
图2为肠道清洁度波士顿评分中不同评分对应的肠道医学影像特征；
图3为本发明实施例的一种肠道清洁度评分装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
实施例一
本发明实施例提供了一种肠道清洁度评分方法，如图1所示，该肠道清洁度评分方法，包括以下步骤：
S1、将采集到的肠道医学影像进行逐帧采样，得到肠道的多个图像帧；
在本发明实施例中，在医生采用结肠镜对肠道进行检查时，结肠镜会获得肠道的实时医学影像，该实时医学影像记录了结肠镜在进入肠道过程中采集到的肠道医学影像。在本发明的一个具体实施例中，获得的肠道的医学影像视频为15fps，即每秒包含15帧肠道图片，即在本发明实施例中，每秒肠道医学影像中能够采样出15帧肠道医学影像的图像帧。
S2、调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分，获得各个图像帧的肠道清洁度评分；
在本发明实施例中，肠道清洁度评分网络模型包括肠道波士顿评分识别模型和二级模糊评分输出模型；肠道波士顿评分识别模型用于对肠道医学影像的图像帧进行肠道清洁度识别，以得到肠道医学影像的图像帧的肠道清洁度识别为不同波士顿评分的概率值；二级模糊评分输出模型用于根据肠道医学影像的图像帧的肠道清洁度识别为不同波士顿评分的概率值和相对应的波士顿评分进行模糊评分计算，以获得所述图像帧的肠道清洁度评分。
具体的，二级模糊评分输出模型用于提取肠道波士顿评分识别模型输出的最大概率值对应的肠道清洁度的波士顿评分T_max1和最大概率值P_max1、第二概率值对应的肠道清洁度的波士顿评分T_max2和第二概率值P_max2；
二级模糊评分计算的计算公式为：
R= 1-P_max1/(P_max1+P_max2)
score= T_max1- R（T_max1- T_max2）
其中， R为调整比例，score为最终获得的所述图像帧的肠道清洁度评分。
进一步的，在本发明实施例中，在调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分之前，所述方法还包括：搭建用于对肠道清洁度进行波士顿评分的深度学习神经网络模型；获取预设的肠道清洁度评分的训练集，所述训练集包括多个设置有肠道清洁度波士顿评分标签的肠道图片的训练样本；将所述肠道图片的训练样本输入到所述深度学习神经网络模型的输入层，经过训练得到所述肠道波士顿评分识别模型。
需要说明的是，多个设置有肠道清洁度波士顿评分标签的肠道图片的训练样本为在对深度学习神经网络模型进行训练之前由人为对肠道图片进行肠道清洁度波士顿评分，其中波士顿（BBPS）的评分机制将肠道清洁度评分划分为0-3分，如图2所示，节段评分为0表示：“未准备好的结肠段，由于固体大便无法清除，黏膜不清晰”。节段评分1表示：“结肠段黏膜部分可见，但结肠其他区域因染色、粪便残留和/或不透明液体而不清晰”。节段评分为2表示：“少量残留染色，粪便小碎片和/或不透明液体，但结肠段黏膜可见良好”。节段评分为3表示：“结肠段的整个黏膜可见，无残留染色，粪便小碎片和/或不透明液体”。
进一步的，在实际对肠道图片进行标签设定时，由于对每名医生来说他们给出的分值具有较大的主观性，给训练样本的数据收集带来了一定的影响，另外由于每个人的差异性，使得模型推断出的评分数值对实际使用的医生的观感不是特别友好。考虑到这些情况，本发明实施例采用二级模糊评分对肠道清洁度进行模糊评分，以将整数评分替换为采用二级模糊评分，以提高输出的准确性。
S3、根据各个图像帧之间的相似度将图像帧划分到不同的帧集合。
在本发明实施例中，根据各个图像帧之间的相似度将图像帧划分到不同的帧集合具体为：获取各个图像帧的特征向量；使用余弦相似度算法计算不同图像帧的特征向量之间的帧相似度；将帧相似度大于预设的相似度阈值的图像帧划分到同一帧集合。其中采用余弦相似度（cosine similarity）比较不同帧之间的相似度为现有技术，对此不做过多介绍。相似度阈值的设定为根据需要由操作人员设定，相似度阈值大小的设定直接影响了帧集合的个数，当相似度阈值设置过大时，划分到同一帧集合的图像帧便多；当相似度阈值设置过小时，划分到同一帧集合的图像帧便少。
进一步的，在本发明实施例中，获取图像帧的特征向量包括：采用预设的特征提取网络模型提取所述图像帧的三维特征向量；对所述图像帧的三维特征向量进行拉直处理获得二维特征向量，得到图像帧的特征向量。
其中特征提取网络模型可以为预设设定的用来提取图像帧的三维特征向量的网络模型，也可以为在肠道清洁度评分网络模型中分支出来的提取图像帧的三维特征向量的网络模型。
当特征提取网络模型为在肠道清洁度评分网络模型中分支出来的提取图像帧的三维特征向量的网络模型时，在调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分的同时，在肠道清洁度评分网络模型的全连接层之前提取图像帧的三维特征向量。本发明的一个优选实施例为在肠道清洁度评分网络模型的全连接层之前的最后一个激活层提取所述图像帧的三维特征向量。
S4、计算每一帧集合中的所有图像帧的肠道清洁度评分的平均评分得到帧集合评分；
在本发明实施例中，考虑到医护人员在对肠道进行检查时，会针对病灶位置进行停留观察，此时获得的肠道的医学影像的多个图像帧为针对同一肠道位置的图片，此时若将多个针对同一肠道位置对应的评分计入肠道清洁度评分的平均运算中，必然会影响评分的计算结果。因而本发明实施例还包括，针对每一帧集合中的所有图像帧的肠道清洁度评分的平均评分得到帧集合评分，避免因医护人员在病灶位置停留造成的肠道清洁度评分不准确的问题。
S5、对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分。
在本发明的一个实施例中，可以对获得的各个帧集合评分进行加权平均运算直接获得肠道医学影像的最终评分，即各个帧结合在进行加权平均计算时的权重都为1。
在本发明的另一个实施例中，考虑到肠道的不同区段发现病灶的概率不同，还可以对各个帧集合设定相应的权重，以便获得更为准确的肠道医学影像的最终评分。因而本发明实施例的一种肠道清洁度评分方法还包括附图中未示出的如下步骤：
S21、确定所述帧集合表征的肠道医学影像所属的肠道区段；
在本发明实施例中通过预设的图像识别模型对帧集合中的图像帧进行图像识别，获得该帧集合所表征的肠道医学影像所属的肠道区段，其中肠道区段为根据肠道不同解剖结构位置对肠道划分的不同区段，包括升截肠、横截肠和降截肠等。
S22、根据所述帧集合表征的肠道医学影像所属的肠道区段确定所述帧集合的权重；
在本发明实施例中，根据所述帧集合表征的肠道医学影像所属的肠道区段确定所述帧集合的权重包括：根据不同所述肠道区段发现病灶的概率值，确定表征各个所述肠道区段的帧集合的权重。其中肠道区段发现病灶的概率越大，属于该肠道区段的帧集合的权重也越大。
S23、根据各个帧集合的权重和所述各个帧集合对应的帧集合评分对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分
在本发明实施例中同肠道区段的权重的引入进一步提高了肠道清洁度评分的准确性，有助于医生对用肠道病灶的准确判断。
进一步的，由于本发明是针对整个肠道医学影像进行评分判断，为了提高评分速率，本发明实施例在调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分时，所述方法还包括型采用轻量化模型（EfficientNet）和tensorRT模型对所述肠道清洁度评分网络模型的识别速率进行加速处理。其中轻量化模型（EfficientNet）和tensorRT模型为现有技术，在此不做过多介绍。
具体的，经过加速之后，使用肠道清洁度评分网络模型对图像帧的识别耗时为不到4ms，使得肠道清洁度评分网络模型对图像帧的评分速度获得极大提升，进而使对整个肠道医学影像计算逐帧图片识别结果成为可能。具体的肠道医学影像为15fps，即一秒内有15个图像帧，即每个图像帧的时间间隔为66.66ms，而单帧图片的识别耗时为不到4ms，可见轻量化模型（EfficientNet）和tensorRT模型的引入，使得在现场检查过程中对肠道进行实时评分成为可能。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例二
图3示意性的示出了本发明实施例提供一种肠道清洁度评分装置的结构示意图，参照图3，本发明实施例的一种肠道清洁度评分装置具体包括采样模块301、评分模块302、集合划分模块303、帧集合评分模块304以及最终评分确定模块305，其中
采样模块301，用于将采集到的肠道医学影像进行逐帧采样，得到肠道的多个图像帧；
评分模块302，用于调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分，获得各个图像帧的肠道清洁度评分；
集合划分模块303，用于根据各个图像帧之间的相似度将图像帧划分到不同的帧集合；
帧集合评分模块305，用于计算每一帧集合中的所有图像帧的肠道清洁度评分的平均评分得到帧集合评分；
最终评分确定模块305，用于对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分。
进一步地，集合划分模块303具体包括特征向量获取单元、相似度计算单元和划分单元，其中，
特征向量获取单元，用于获取各个图像帧的特征向量；
相似度计算单元，用于使用余弦相似度算法计算不同图像帧的特征向量之间的帧相似度；
划分单元，用于将帧相似度大于预设的相似度阈值的图像帧划分到同一帧集合。
进一步的，本发明实施例的肠道清洁度评分装置的最终评分确定模块305具体包括图像识别单元、权重确定单元和最终评分计算单元，其中，
图像识别单元，用于确定所述帧集合表征的肠道医学影像所属的肠道区段；
权重确定单元，用于根据所述帧集合表征的肠道医学影像所属的肠道区段确定所述帧集合的权重；
最终评分计算单元，用于根据各个帧集合的权重和所述各个帧集合对应的帧集合评分对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分。
进一步的，本发明实施例的肠道清洁度评分装置的特征向量获取单元具体包括三维特征向量提取子单元和特征向量拉直子单元，其中，
三维特征向量提取子单元，用于采用预设的特征提取网络模型提取所述图像帧的三维特征向量；
特征向量拉直子单元，用于对所述图像帧的三维特征向量进行拉直处理获得二维特征向量，得到图像帧的特征向量。
进一步的，本发明实施例的肠道清洁度评分装置还包括加速计算模块，用于在调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分时，采用轻量化模型和tensorRT模型对所述肠道清洁度评分网络模型的识别速率进行加速处理。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例提供的一种肠道清洁度评分方法、装置，在整个医学影像采集过程中对各个图像帧都进行肠道清洁度评分，避免了因为采用单帧图片造成的误判情况的发生。采用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分其评分结果客观、准确率和可信度高。此外，本申请根据图像帧之间的相似度将图像帧划分到不同的帧集合并计算每一帧集合中的所有图像帧的肠道清洁度评分的平均评分得到帧集合评分，并根据帧集合评分进行加权平均计算得到肠道医学影像的最终评分，避免因医护人员在肠道某一评分较低画面停留观察病灶时，因为采集很多帧评分较低画面造成肠道清洁度评分过低的误判情况的发生。本申请的肠道清洁度评分方法，能够客观地实现肠道清洁度评分，准确率和可信度高，对于肠道清洁度评分的临床应用具有非常有益的效果。
实施例三
本发明实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个肠道清洁度评分方法实施例中的步骤，例如图1所示的步骤。或者，所述处理器执行所述计算机程序时实现上述各肠道清洁度评分装置或网关系统实施例中各模块/单元的功能，例如图3所示的采样模块301、评分模块302、集合划分模块303、帧集合评分模块304以及最终评分确定模块305。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在对应肠道清洁度评分装置或网关系统中的执行过程。
所述系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述系统并不构成对系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述系统还可以包括输入输出系统、网络接入系统、总线等。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述系统的控制中心，利用各种接口和线路连接整个系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本发明实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性或其它的形式。
本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在上述的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种肠道清洁度评分方法，其特征在于，所述方法包括：
将采集到的肠道医学影像进行逐帧采样，得到肠道的多个图像帧；
调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分，获得各个图像帧的肠道清洁度评分；
根据各个图像帧之间的相似度将图像帧划分到不同的帧集合；
计算每一帧集合中的所有图像帧的肠道清洁度评分的平均评分得到帧集合评分；
对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分。
2.根据权利要求1所述的方法，其特征在于，所述根据各个图像帧之间的相似度将图像帧划分到不同的帧集合包括：
获取各个图像帧的特征向量；
使用余弦相似度算法计算不同图像帧的特征向量之间的帧相似度；
将帧相似度大于预设的相似度阈值的图像帧划分到同一帧集合。
3.根据权利要求1所述的方法，其特征在于，所述对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分包括：
确定所述帧集合表征的肠道医学影像所属的肠道区段；
根据所述帧集合表征的肠道医学影像所属的肠道区段确定所述帧集合的权重；
根据各个帧集合的权重和所述各个帧集合对应的帧集合评分对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分。
4.根据权利要求3所述的方法，其特征在于，所述根据所述帧集合表征的肠道医学影像所属的肠道区段确定所述帧集合的权重包括：
根据不同所述肠道区段发现病灶的概率值，确定表征各个所述肠道区段的帧集合的权重。
5.根据权利要求2所述的方法，其特征在于，所述获取所述图像帧的特征向量包括：
采用预设的特征提取网络模型提取所述图像帧的三维特征向量；
对所述图像帧的三维特征向量进行拉直处理获得二维特征向量，得到图像帧的特征向量。
6.根据权利要求1所述的方法，其特征在于，所述肠道清洁度评分网络模型包括肠道波士顿评分识别模型和二级模糊评分输出模型；
所述肠道波士顿评分识别模型用于对所述图像帧进行肠道清洁度识别，以得到所述图像帧的肠道清洁度识别为不同波士顿评分的概率值；
所述二级模糊评分输出模型用于根据所述图像帧的肠道清洁度识别为不同波士顿评分的概率值和相对应的波士顿评分进行模糊评分计算，以获得所述图像帧的肠道清洁度评分。
7.根据权利要求6所述的方法，其特征在于，在调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分之前，所述方法还包括：
搭建用于对肠道清洁度进行波士顿评分的深度学习神经网络模型；
获取预设的肠道清洁度评分的训练集，所述训练集包括多个设置有肠道清洁度波士顿评分标签的肠道图片的训练样本；
将所述肠道图片的训练样本输入到所述深度学习神经网络模型的输入层，经过训练得到所述肠道波士顿评分识别模型。
8.根据权利要求1所述的方法，其特征在于，在调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分时，所述方法还包括：采用轻量化模型和tensorRT模型对所述肠道清洁度评分网络模型的识别速率进行加速处理。
9.一种肠道清洁度评分装置，其特征在于，所述装置包括：
采样模块，用于将采集到的肠道医学影像进行逐帧采样，得到肠道的多个图像帧；
评分模块，用于调用预先训练好的肠道清洁度评分网络模型对所述图像帧依次进行肠道清洁度评分，获得各个图像帧的肠道清洁度评分；
集合划分模块，用于根据各个图像帧之间的相似度将图像帧划分到不同的帧集合；
帧集合评分模块，用于计算每一帧集合中的所有图像帧的肠道清洁度评分的平均评分得到帧集合评分；
最终评分确定模块，用于对各个帧集合评分进行加权平均计算得到肠道医学影像的最终评分。
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如权利要求1-8中任一项所述的肠道清洁度评分方法。
CN202210880819.6A 2022-07-26 2022-07-26 肠道清洁度评分方法、装置和计算机设备 Active CN115082448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210880819.6A CN115082448B (zh) 2022-07-26 2022-07-26 肠道清洁度评分方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210880819.6A CN115082448B (zh) 2022-07-26 2022-07-26 肠道清洁度评分方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN115082448A true CN115082448A (zh) 2022-09-20
CN115082448B CN115082448B (zh) 2023-05-23

Family

ID=83243944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210880819.6A Active CN115082448B (zh) 2022-07-26 2022-07-26 肠道清洁度评分方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN115082448B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977253A (zh) * 2022-12-29 2023-10-31 开立生物医疗科技(武汉)有限公司 用于内窥镜的清洁度检测方法及装置、电子设备和介质
CN117528131A (zh) * 2024-01-05 2024-02-06 青岛美迪康数字工程有限公司 一种医学影像的ai一体化显示系统及方法
CN117575862A (zh) * 2023-12-11 2024-02-20 广州番禺职业技术学院 一个基于知识图谱的学生个性化实训指导方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN110020610A (zh) * 2019-03-16 2019-07-16 复旦大学 基于深度学习的肠镜质量检查控制系统
CN110070299A (zh) * 2019-04-29 2019-07-30 成都盯盯科技有限公司 一种商品货架整洁度评分方法及系统
CN110335241A (zh) * 2019-05-09 2019-10-15 河南萱闱堂医疗信息科技有限公司 肠镜检查后对肠道准备自动进行评分的方法
CN110916606A (zh) * 2019-11-15 2020-03-27 武汉楚精灵医疗科技有限公司 一种基于人工智能的实时肠道清洁度评分系统和方法
CN111000633A (zh) * 2019-12-20 2020-04-14 山东大学齐鲁医院 一种内镜诊疗操作过程的监控方法及系统
CN111127426A (zh) * 2019-12-23 2020-05-08 山东大学齐鲁医院 一种基于深度学习的胃黏膜清洁度评价方法及系统
CN111340756A (zh) * 2020-02-13 2020-06-26 北京深睿博联科技有限责任公司 一种医学图像病变检出合并方法、系统、终端及存储介质
CN111768377A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 图像色彩评估方法、装置、电子设备及存储介质
US20200364859A1 (en) * 2019-05-16 2020-11-19 The Regents Of The University Of Michigan Automated Anatomic And Regional Location Of Disease Features In Colonoscopy Videos
CN113012162A (zh) * 2021-03-08 2021-06-22 重庆金山医疗器械有限公司 一种内窥镜检查区域的清洁度检测方法、装置及相关设备
CN114080644A (zh) * 2019-11-08 2022-02-22 (株)英特麦迪 用于诊断小肠清洁度的系统和方法
CN114119511A (zh) * 2021-11-12 2022-03-01 福州大学 基于EfficientNet结构的结肠镜图像评价方法及系统
CN114511558A (zh) * 2022-04-18 2022-05-17 武汉楚精灵医疗科技有限公司 肠道清洁度的检测方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN110020610A (zh) * 2019-03-16 2019-07-16 复旦大学 基于深度学习的肠镜质量检查控制系统
CN110070299A (zh) * 2019-04-29 2019-07-30 成都盯盯科技有限公司 一种商品货架整洁度评分方法及系统
CN110335241A (zh) * 2019-05-09 2019-10-15 河南萱闱堂医疗信息科技有限公司 肠镜检查后对肠道准备自动进行评分的方法
US20200364859A1 (en) * 2019-05-16 2020-11-19 The Regents Of The University Of Michigan Automated Anatomic And Regional Location Of Disease Features In Colonoscopy Videos
CN114080644A (zh) * 2019-11-08 2022-02-22 (株)英特麦迪 用于诊断小肠清洁度的系统和方法
CN110916606A (zh) * 2019-11-15 2020-03-27 武汉楚精灵医疗科技有限公司 一种基于人工智能的实时肠道清洁度评分系统和方法
CN111000633A (zh) * 2019-12-20 2020-04-14 山东大学齐鲁医院 一种内镜诊疗操作过程的监控方法及系统
CN111127426A (zh) * 2019-12-23 2020-05-08 山东大学齐鲁医院 一种基于深度学习的胃黏膜清洁度评价方法及系统
CN111340756A (zh) * 2020-02-13 2020-06-26 北京深睿博联科技有限责任公司 一种医学图像病变检出合并方法、系统、终端及存储介质
CN111768377A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 图像色彩评估方法、装置、电子设备及存储介质
CN113012162A (zh) * 2021-03-08 2021-06-22 重庆金山医疗器械有限公司 一种内窥镜检查区域的清洁度检测方法、装置及相关设备
CN114119511A (zh) * 2021-11-12 2022-03-01 福州大学 基于EfficientNet结构的结肠镜图像评价方法及系统
CN114511558A (zh) * 2022-04-18 2022-05-17 武汉楚精灵医疗科技有限公司 肠道清洁度的检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGGANG CHEN等: "A two-stage deep generative adversarial quality enhancement network for real-world 3D CT images", 《EXPERT SYSTEMS WITH APPLICATIONS》 *
宿敬然: "基于人工智能的结肠镜质量控制模型研发及应用研究", 《中国博士学位论文全文数据库 医药卫生科技辑》 *
潘国兵等: "胶囊内窥图像出血识别的BP神经网络算法", 《北京生物医学工程》 *
黄仲奎等: "《医学影像检查操作技术》", 31 October 2009, 北京：人民军医出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977253A (zh) * 2022-12-29 2023-10-31 开立生物医疗科技(武汉)有限公司 用于内窥镜的清洁度检测方法及装置、电子设备和介质
CN116977253B (zh) * 2022-12-29 2024-03-19 开立生物医疗科技(武汉)有限公司 用于内窥镜的清洁度检测方法及装置、电子设备和介质
CN117575862A (zh) * 2023-12-11 2024-02-20 广州番禺职业技术学院 一个基于知识图谱的学生个性化实训指导方法及系统
CN117575862B (zh) * 2023-12-11 2024-05-24 广州番禺职业技术学院 一个基于知识图谱的学生个性化实训指导方法及系统
CN117528131A (zh) * 2024-01-05 2024-02-06 青岛美迪康数字工程有限公司 一种医学影像的ai一体化显示系统及方法
CN117528131B (zh) * 2024-01-05 2024-04-05 青岛美迪康数字工程有限公司 一种医学影像的ai一体化显示系统及方法

Also Published As

Publication number Publication date
CN115082448B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN109146884B (zh) 内窥镜检查监控方法及装置
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN115082448A (zh) 肠道清洁度评分方法、装置和计算机设备
JP6656357B2 (ja) 学習方法、画像認識装置およびプログラム
CN109920518B (zh) 医学影像分析方法、装置、计算机设备和存储介质
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN113379693B (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN109523535B (zh) 一种病变图像的预处理方法
CN111144271B (zh) 一种内镜下自动识别活检部位及活检数量的方法及系统
CN110310289A (zh) 基于深度学习的肺部组织图像分割方法
CN111227864A (zh) 使用超声图像利用计算机视觉进行病灶检测的方法与装置
WO2017009812A1 (en) System and method for structures detection and multi-class image categorization in medical imaging
CN109460717B (zh) 消化道共聚焦激光显微内镜病变图像识别方法及装置
CN111214255A (zh) 一种医学超声图像计算机辅助诊断方法
CN111798425A (zh) 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
CN111767958A (zh) 基于随机森林算法的肠镜退镜时间的实时监测方法
CN113222064A (zh) 一种图像目标对象实时检测方法、系统、终端及存储介质
CN115063592B (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN114569043A (zh) 一种基于人工智能的内窥镜辅助检查方法及装置
CN117671573B (zh) 基于胃镜图像的幽门螺旋杆菌的感染状态识别方法和装置
CN115019049A (zh) 基于深度神经网络的骨显像骨病灶分割方法、系统及设备
CN114078137A (zh) 一种基于深度学习的阴道镜图像筛选方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant