CN115797348A - 内窥镜下目标结构评估系统、方法、设备及存储介质 - Google Patents
内窥镜下目标结构评估系统、方法、设备及存储介质 Download PDFInfo
- Publication number
- CN115797348A CN115797348A CN202310069871.8A CN202310069871A CN115797348A CN 115797348 A CN115797348 A CN 115797348A CN 202310069871 A CN202310069871 A CN 202310069871A CN 115797348 A CN115797348 A CN 115797348A
- Authority
- CN
- China
- Prior art keywords
- endoscope
- target
- feature map
- image
- under
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 210000001035 gastrointestinal tract Anatomy 0.000 claims abstract description 103
- 238000001839 endoscopy Methods 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 230000008014 freezing Effects 0.000 claims abstract description 30
- 238000007710 freezing Methods 0.000 claims abstract description 30
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 28
- 230000002496 gastric effect Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000008030 elimination Effects 0.000 claims description 11
- 238000003379 elimination reaction Methods 0.000 claims description 11
- 238000005096 rolling process Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000003902 lesion Effects 0.000 abstract description 9
- 238000005259 measurement Methods 0.000 abstract description 9
- 238000001574 biopsy Methods 0.000 abstract description 8
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000022131 polyp of large intestine Diseases 0.000 description 2
- 208000003200 Adenoma Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000002758 colorectal adenoma Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002550 fecal effect Effects 0.000 description 1
- 231100001014 gastrointestinal tract lesion Toxicity 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Endoscopes (AREA)
Abstract
本发明涉及一种内窥镜下目标结构评估系统、方法、设备及存储介质。所述内窥镜下目标结构评估系统包括：冻结画面检测模块，用于从退镜操作前的内窥镜检查图像和所述退镜操作后的内窥镜检查图像中，分别冻结消化道内窥镜下目标结构的图像，分别获得第一冻结图像和第二冻结图像；消化道内窥镜下目标测量模块，用于根据第一冻结图像的第一长轴距、第二冻结图像的第二长轴距、退镜的距离、单像素所占的长度和第一长轴距的像素点数量，确定所述消化道内窥镜下目标结构的长度。本发明有效解决了目测法和活检钳对比测量法存在的问题，有助于提高医生对病变尺寸估测的准确性。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种内窥镜下目标结构评估系统、方法、设备及存储介质。
背景技术
消化道内窥镜检查作为观察消化道内的目标情况，特别是消化道病变诊断和治疗的主要手段得到广泛应用，但是其对有些消化道内窥镜下目标（例如结直肠息肉、腺瘤等）存在较高漏诊率，人工智能的辅助可以大大降低漏诊率。消化道内窥镜检查发现消化道内窥镜下目标后，医生需要观察目标形态，测量目标尺寸，消化道内窥镜下目标尺寸是消化道内窥镜下目标危险分级和治疗方式选择的主要依据之一。
消化道内窥镜下目标尺寸的估测主要方法有目测法和活检钳对比测量法。目测法是医生根据自身经验对消化道内窥镜下目标尺寸进行估算，主观性较强，由于医生操作习惯和经验不同，不同医生对同一消化道内窥镜下目标尺寸的估计差异较大。活检钳对比测量法是指在内窥镜检查过程中，置入活检钳等内窥镜器械，与消化道内窥镜下目标尺寸进行对比，达到辅助测量的目的。该种方法需要在检查过程中置入内窥镜器械，对于检查过程中不需要置入器械的检查性（非治疗性）内窥镜检查不适用；并且器械的摆放位置和角度会对消化道内窥镜下目标尺寸的测量产生较大误差，综合以上两点，活检钳对比测量法有一定局限性。
因此，现有技术中医生的操作习惯和经验、内窥镜的镜头的形态和角度，都是影响病变尺寸测量的主要因素。如何提高医生对病变尺寸估测的准确性，并建立统一的标准，现有技术中亟待改进。
发明内容
本发明实施例中提供一种内窥镜下目标结构评估系统、方法、设备及存储介质，用以至少部分解决上述问题。
在本发明中，上述消化道内窥镜下目标可以为正常生理状态下的目标，例如，包括但不限于，肿物、异物、血管、粪块；也可以为病理状态下的目标，例如，包括但不限于，结直肠息肉、腺瘤。
第一方面，本发明提供一种内窥镜下目标结构评估系统，所述内窥镜下目标结构评估系统包括：
冻结画面检测模块，用于从退镜操作前的内窥镜检查图像和所述退镜操作后的内窥镜检查图像中，分别冻结消化道内窥镜下目标结构的图像，分别获得第一冻结图像和第二冻结图像；
消化道内窥镜下目标测量模块，用于根据第一冻结图像的第一长轴距、第二冻结图像的第二长轴距、退镜的距离、单像素所占的长度和第一长轴距的像素点数量，确定所述消化道内窥镜下目标结构的长度。
可选地，所述消化道内窥镜下目标测量模块采用下式确定所述消化道内窥镜下目标结构的长度B：
其中，
表示第一冻结图像的第一长轴距，
表示第二冻结图像的第二长轴距，
表示退镜的距离，
表示单像素所占的长度，
表示第一长轴距的像素点数量；
其中，
的确定方式为，将预先设置好的精密度卡尺放置于水平桌面，令镜头距离卡尺
距离远，拍摄一张照片，通过看图软件测量1mm所占像素宽度，进而求得单像素所占长度。
可选地，所述消化道内窥镜下目标识别模块，还用于调用预先训练得到的基于多尺度融合Transformer的消化道内窥镜下目标检测神经网络识别所述第一冻结图像的第一消化道内窥镜下目标冻结区域和所述第二冻结图像的第二消化道内窥镜下目标冻结区域，对所述第一消化道内窥镜下目标冻结区域和所述第二消化道内窥镜下目标冻结区域进行关键点检测，得到消除畸变对齐后的第一消化道内窥镜下目标冻结区域和第二消化道内窥镜下目标冻结区域；并根据消除畸变对齐后的第一消化道内窥镜下目标冻结区域检测所述第一长轴距以及根据消除畸变对齐后的第二消化道内窥镜下目标冻结区域检测所述第二长轴距。
可选地，其中退镜的距离由单像素所占的长度决定。
可选地，所述内窥镜下目标结构评估系统还包括客户端模块；
客户端模块，用于在消化道内窥镜下目标识别模块从内窥镜检查影像中识别出消化道内窥镜下目标结构的情况下，进行退镜操作提示；
所述消化道内窥镜下目标测量模块，还用于通过图像处理方式生成辅助定位框，并触发所述客户端模块绘制显示辅助定位框，以进行将消化道内窥镜下目标结构移动到辅助定位框内的操作提示。
可选地，所述消化道内窥镜下目标识别模块在从内窥镜检查影像中识别出消化道内窥镜下目标结构时，具体用于调用预先训练得到的基于多尺度融合Transformer的消化道内窥镜下目标检测神经网络从内窥镜检查影像中识别出所述消化道内窥镜下目标结构。
可选地，所述基于多尺度融合Transformer的消化道内窥镜下目标检测神经网络包含主特征提取部分、特征融合部分和预测头部分；
所述主特征提取部分包含归一化层、由3组标准残差卷积块串联的第一特征提取模块、由6组标准残差卷积块串联的第二特征提取模块、由9组标准残差卷积块串联的第三特征提取模块以及由空间金字塔池化模块与Transformer模块串联的第四特征提取模块；
所述归一化层，用于根据预设的缩放尺寸缩放内窥镜检查影像；所述第一特征提取模块，用于将缩放的内窥镜检查影像经过运算输出第一特征图；所述第二特征提取模块，用于将所述第一特征图经过运算输出第二特征图；所述第三特征提取模块，用于将所述第二特征图经过运算输出第三特征图；所述第四特征提取模块，用于将所述第三特征图经过运算得到第四特征图；
所述特征融合部分，主要用于对第一、第二、第三和第四特征图进行注意力加权，分别得到第一、第二、第三和第四注意力加权特征图；使用第一Transformer模块，对第一注意力加权特征图进行计算，得到第一融合特征图；使用第二Transformer模块，对第二注意力加权特征图进行计算并与第一注意力加权特征图进行拼接，得到第二融合特征图；使用第三Transformer模块，对第三注意力加权特征图进行计算并与第二注意力加权特征图进行拼接，得到第三融合特征图；使用第四Transformer模块，对第四注意力加权特征图进行计算并与第三注意力加权特征图进行拼接，得到第四融合特征图；
所述预测头部分，主要用于对第一、第二、第三和第四融合特征图，利用预先设置好的先验框进行网格搜索预测，识别出所述消化道内窥镜下目标结构。
第二方面，本发明提供一种内窥镜下目标结构评估方法，所述内窥镜下目标结构评估方法，包括：
在从内窥镜检查影像中识别出消化道内窥镜下目标结构的情况下，进行退镜操作提示；
从退镜操作前的内窥镜检查图像和退镜操作后的内窥镜检查图像中，分别冻结消化道内窥镜下目标结构的图像，获得第一冻结图像和第二冻结图像；
根据第一冻结图像的第一长轴距、第二冻结图像的第二长轴距、退镜的距离、单像素所占的长度和第一长轴距的像素点数量，确定所述消化道内窥镜下目标结构的长度。
第三方面，本发明提供一种电子设备，所述电子设备包括：存储器、控制器及存储在所述存储器上并可在所述控制器上运行的计算机程序；
所述计算机程序被所述控制器执行时，实现如上所述的内窥镜下目标结构评估方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有内窥镜下目标结构评估程序，所述内窥镜下目标结构评估程序被控制器执行时，实现如上所述的内窥镜下目标结构评估方法的步骤。
本发明各个实施例从冻结退镜操作前的内窥镜检查图像和退镜操作后的内窥镜检查图像中，分别冻结消化道内窥镜下目标结构的图像，获得第一冻结图像和第二冻结图像；根据第一冻结图像的第一长轴距、第二冻结图像的第二长轴距、退镜的距离、单像素所占的长度和第一长轴距的像素点数量，确定所述消化道内窥镜下目标结构的长度，从而有效解决了目测法和活检钳对比测量法存在的问题，有助于提高医生对病变尺寸估测的准确性，并建立统一的标准，进一步有效解决了常规内窥镜下肉眼检查病变的漏诊问题，避免了内窥镜下无法精准测量病变大小的问题。
附图说明
图1是根据本发明实施例的内窥镜下目标结构评估系统框图；
图2是根据本发明实施例的内窥镜下目标结构评估方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细描述，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：本发明实施例提供一种内窥镜下目标结构评估系统，如图1所示，所述内窥镜下目标结构评估系统包括：
客户端模块，用于在消化道内窥镜下目标识别模块从内窥镜检查影像中识别出消化道内窥镜下目标结构的情况下，进行退镜操作提示；
冻结画面检测模块，用于从所述退镜操作前的内窥镜检查图像和所述退镜操作后的内窥镜检查图像中，分别冻结消化道内窥镜下目标结构的图像，分别获得第一冻结图像和第二冻结图像；
消化道内窥镜下目标测量模块，用于根据第一冻结图像的第一长轴距、第二冻结图像的第二长轴距、退镜的距离、单像素所占的长度和第一长轴距的像素点数量，确定所述消化道内窥镜下目标结构的长度。
本发明实施例的内窥镜下目标结构评估系统包括客户端模块、冻结画面检测模块、消化道内窥镜下目标测量模块，通过客户端模块在消化道内窥镜下目标识别模块从内窥镜检查影像中识别出消化道内窥镜下目标结构的情况下，进行退镜操作提示；冻结画面检测模块从所述退镜操作前的内窥镜检查图像和所述退镜操作后的内窥镜检查图像中，分别冻结消化道内窥镜下目标结构的图像，分别获得第一冻结图像和第二冻结图像；消化道内窥镜下目标测量模块根据第一冻结图像的第一长轴距、第二冻结图像的第二长轴距、退镜的距离、单像素所占的长度和第一长轴距的像素点数量，确定所述消化道内窥镜下目标结构的长度，有效解决了目测法和活检钳对比测量法存在的问题，有助于提高医生对病变尺寸估测的准确性，并建立统一的标准，进一步有效解决了常规内窥镜下肉眼检查病变的漏诊问题，避免了内窥镜下无法精准测量病变大小的问题。
在一些实施方式中，所述内窥镜下目标结构评估系统还可以包括视频获取模块，详细地，本具体实施方式提供的内窥镜下目标结构评估系统包括：
一、S1-视频获取模块
用于读取内窥镜设备输出的视频信号，得到视频帧图像。具体可以利用视频采集卡，将HDMI、DVI、SDI、S-Video等数字/模拟视频信号传到计算机内，通过opencv读取视频信号，逐帧转码成RGB图像格式，得到内窥镜检查影像。
二、S2-消化道内窥镜下目标识别模块
主要用于从内窥镜检查影像中识别出消化道内窥镜下目标结构，以及调用预先训练得到的基于多尺度融合Transformer的消化道内窥镜下目标检测神经网络识别所述第一冻结图像的第一消化道内窥镜下目标冻结区域和所述第二冻结图像的第二消化道内窥镜下目标冻结区域，对所述第一消化道内窥镜下目标冻结区域和所述第二消化道内窥镜下目标冻结区域进行关键点检测，得到消除畸变对齐后的第一消化道内窥镜下目标冻结区域和第二消化道内窥镜下目标冻结区域；并根据消除畸变对齐后的第一消化道内窥镜下目标冻结区域检测所述第一长轴距以及根据消除畸变对齐后的第二消化道内窥镜下目标冻结区域检测所述第二长轴距。详细地：
（一）构建人工智能消化道内窥镜下目标检测神经网络，本发明实施例中采用基于多尺度融合Transformer的消化道内窥镜下目标检测神经网络。
i.构建消化道内窥镜下目标检测神经网络架构，包含主特征提取部分、特征融合部分、预测头部分。
ii.首先，主特征提取部分使用了包含跨阶段卷积神经网络结构，包含归一化层、由3组标准残差卷积块串联的第一特征提取模块、由6组标准残差卷积块串联的第二特征提取模块、由9组标准残差卷积块串联的第三特征提取模块以及由空间金字塔池化模块与Transformer模块串联的第四特征提取模块；
具体地，其结构功能包括：
1.归一化层，用于根据预设的缩放尺寸缩放内窥镜检查影像，例如将图像输入尺寸缩放到640*640。
2.第一特征提取模块，其内部由3组标准残差卷积块串联，经过运算输出第一特征图。
3.第二特征提取模块，其内部由6组标准残差卷积块串联，经过运算输出第二特征图。
4.第三特征提取模块，其内部由9组标准残差卷积块串联，经过运算输出第三特征图。
5.第四特征提取模块，其内部由一个空间金字塔池化模块与一个Transformer模块串联，该模块用于加强第三特征图中的显性高级特征，通过运算得到第四特征图。
iii.其次，所述特征融合部分，其主要功能结构包括：
1.对所述第一、第二、第三、第四特征图进行注意力加权，具体地，首先经过3组残差卷积运算，再进行空间注意力加权（可以使用CBAM、ECA、RFB、BAM等公开的空间注意力模块），本发明实施例选用ECA模块完成空间注意力加权，得到第一、第二、第三、第四注意力加权特征图。
2.使用第一Transformer模块，对第一注意力加权特征图进行计算，得到第一融合特征图。
3.使用第二Transformer模块，对第二注意力加权特征图进行计算，并与第一注意力加权特征图进行拼接，得到第二融合特征图。
4.使用第三Transformer模块，对第三注意力加权特征图进行计算，并与第二注意力加权特征图进行拼接，得到第三融合特征图。
5.使用第四Transformer模块，对第四注意力加权特征图进行计算，并与第三注意力加权特征图进行拼接，得到第四融合特征图。
iv.最后，预测头部分，其主要功能结构为：
1.对所述第一、第二、第三、第四融合特征图，利用预先设置好的先验框进行网格搜索预测，识别出所述识别出消化道内窥镜下目标结构，预测结果包含中心点坐标、长、宽、类别id、类别置信度；
2.对输出预测结构利用非极大抑制技术进行重复结果剔除，最终得到网络预测消化道内窥镜下目标的中心点坐标、长、宽、类别id、类别置信度。
（二）消化道内窥镜下目标检测神经网络训练，使网络模型具备消化道内窥镜下目标识别能力。
i.构建消化道内窥镜下目标标注数据集，根据预设数据集训练网络模型，其种类包含：隆起型消化道内窥镜下目标、平坦型消化道内窥镜下目标、凹陷型消化道内窥镜下目标。
ii.对所述数据集图像按批次输入网络模型中，利用交叉熵损失计算网络模型输出与数据真值的误差，根据反向传播更新参数。
iii.重复上述步骤，直至模型精度达到预设或损失值达到1e-5时停止训练，得到预先构建好的人工智能消化道内窥镜下目标检测神经网络。
c)利用上述训练好的消化道内窥镜下目标检测神经网络模型，对获取到的逐帧图像进行识别，最终经过预测层的预测，得到识别结果。将识别结果以坐标形式利用websocket技术推动到客户端，运用canvas绘图技术绘制矩形识别框。
三、S3-冻结画面检测模块，用于从退镜操作前的内窥镜检查图像和退镜操作后的内窥镜检查图像中，分别冻结消化道内窥镜下目标结构的图像，获得第一冻结图像和第二冻结图像；详细地：
a)当视频帧图像出现消化道内窥镜下目标识别结果时，提示用户开启消化道内窥镜下目标测量功能；利用客户端模块在帧图像画面中央显示辅助定位框，引导操作用户将消化道内窥镜下目标移动到辅助定位框内，进行图像冻结。
b)利用矩阵对比方式，对得到的帧图像序列进行识别，得到第一冻结图像，并根据消化道内窥镜下目标识别结果，得到第一消化道内窥镜下目标检测坐标，即，第一消化道内窥镜下目标冻结区域。
c)识别到第一冻结图像后，利用客户端模块提示用户第一次退镜厘米(本发明实施例取0.5 cm)后再次冻结图像；利用矩阵对比方式，对得到的帧图像序列进行识别，得到第二冻结图像，并根据消化道内窥镜下目标识别结果，得到第二消化道内窥镜下目标检测坐标，即，第二消化道内窥镜下目标冻结区域。
四、S4-消化道内窥镜下目标测量模块，用于根据第一冻结图像的第一长轴距、第二冻结图像的第二长轴距、退镜的距离、单像素所占的长度和第一长轴距的像素点数量，确定所述消化道内窥镜下目标结构的长度，详细地：
a)利用图像处理技术自动生成辅助定位框，引导操作用户将消化道内窥镜下目标移动到辅助定位框内，进行图像冻结。
b)当冻结画面检测模块检测到冻结，同时消化道内窥镜下目标识别模块得到识别结果时，自动保存第一冻结图像，并根据消化道内窥镜下目标识别模块的预测结果，得到第一消化道内窥镜下目标检测坐标。
c)识别到第一冻结图像后，利用客户端模块提示用户第一次退镜厘米(本实施例中退镜的距离由单像素所占的长度决定，比如测量时是距离卡尺1cm，那么δ就是诊断1cm下的像素比例，那退镜L必须也要1cm；如果测量师距离卡尺2cm。退镜范围可以为0.4-1厘米，优选取1 cm)后再次冻结图像；利用冻结画面检测模块，得到第二冻结图像，并根据消化道内窥镜下目标识别模块预测结果，得到第二消化道内窥镜下目标检测坐标。
d)消除“退镜厘米”操作带来的消化道内窥镜下目标消化道内窥镜下目标畸变，具体地，运用OBR关键点检测技术，对第一消化道内窥镜下目标检测坐标和第二消化道内窥镜下目标检测坐标区域进行关键点提取与匹配，对匹配后的关键点执行RANSAC粗差剔除，进而利用匹配关键点进行透视变换，得到消除畸变对齐后的第一消化道内窥镜下目标坐标和第二消化道内窥镜下目标坐标。
e)运用凸包算法检测第一、第二消化道内窥镜下目标坐标的长轴距，得到第一长轴距
、第二长轴距
。
f)利用转换公式，计算得到消化道内窥镜下目标长度B。所述转换公式如下：
其中，
表示第一冻结图像的第一长轴距，
表示第二冻结图像的第二长轴距，
表示退镜的距离，
表示单像素所占的长度，
表示第一长轴距的像素点数量。
五、S5-客户端模块，用于：
a)在消化道内窥镜下目标识别模块从内窥镜检查影像中识别出消化道内窥镜下目标结构的情况下，进行退镜操作提示。
b)根据消化道内窥镜下目标识别模块的识别结果，在视频帧图像中绘制检测框。
c)根据消化道内窥镜下目标测量模块绘制消化道内窥镜下目标辅助定位框。
d)根据消化道内窥镜下目标测量模块的检测结果显示消化道内窥镜下目标大小。
本实施方式提出了一种消化道内窥镜下目标结构测量方法，特别适用于息肉测量，运用内窥镜测量镜头像素点映射长度、冻结检测、人工智能消化道内窥镜下目标检测、长度转换公式等多项组合技术，弥补了临床上精准测量病灶的问题。另外，基于多尺度融合Transformer的消化道内窥镜下目标检测网络，该网络有四层尺度的融合，同时由于运用了Transformer和空间注意力双加持，使消化道内窥镜下目标提取能力大大提升，同时也降低了假阳性的出现。有效解决了目测法和活检钳对比测量法存在的问题，有助于提高医生对消化道内窥镜下目标尺寸估测的准确性，并建立统一的标准，进一步有效解决了常规内窥镜下肉眼检查消化道内窥镜下目标的漏诊问题，避免了内窥镜下无法精准测量消化道内窥镜下目标大小的问题。
实施例二：本发明实施例提供一种内窥镜下目标结构评估方法，如图2所示，所述内窥镜下目标结构评估方法，包括：
S101，在从内窥镜检查影像中识别出消化道内窥镜下目标结构的情况下，进行退镜操作提示；
S102，从退镜操作前的内窥镜检查图像和退镜操作后的内窥镜检查图像中，分别冻结消化道内窥镜下目标结构的图像，获得第一冻结图像和第二冻结图像；
S103，根据第一冻结图像的第一长轴距、第二冻结图像的第二长轴距、退镜的距离、单像素所占的长度和第一长轴距的像素点数量，确定所述消化道内窥镜下目标结构的长度。
在一些实施方式中，采用下式确定所述消化道内窥镜下目标结构的长度B：
其中，
表示第一冻结图像的第一长轴距，
表示第二冻结图像的第二长轴距，
表示退镜的距离，
表示单像素所占的长度，
表示第一长轴距的像素点数量。
在一些实施方式中，调用预先训练得到的基于多尺度融合Transformer的消化道内窥镜下目标检测神经网络识别所述第一冻结图像的第一消化道内窥镜下目标冻结区域和所述第二冻结图像的第二消化道内窥镜下目标冻结区域，对所述第一消化道内窥镜下目标冻结区域和所述第二消化道内窥镜下目标冻结区域进行关键点检测，得到消除畸变对齐后的第一消化道内窥镜下目标冻结区域和第二消化道内窥镜下目标冻结区域；并根据消除畸变对齐后的第一消化道内窥镜下目标冻结区域检测所述第一长轴距以及根据消除畸变对齐后的第二消化道内窥镜下目标冻结区域检测所述第二长轴距。
可选地，其中退镜的距离范围为0.4-1厘米。
在一些实施方式中，所述内窥镜下目标结构评估方法还包括：通过图像处理方式生成辅助定位框，并触发所述客户端模块绘制显示辅助定位框，以进行将消化道内窥镜下目标结构移动到辅助定位框内的操作提示。
在一些实施方式中，所述从内窥镜检查影像中识别出消化道内窥镜下目标结构包括：预先训练得到的基于多尺度融合Transformer的消化道内窥镜下目标检测神经网络从内窥镜检查影像中识别出所述消化道内窥镜下目标结构。
实施例三：本发明实施例提供一种电子设备，所述电子设备包括：存储器、控制器及存储在所述存储器上并可在所述控制器上运行的计算机程序；
所述计算机程序被所述控制器执行时，实现如实施例二中所述的内窥镜下目标结构评估方法的步骤。
实施例四：本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有内窥镜下目标结构评估程序，所述内窥镜下目标结构评估程序被控制器执行时，实现如实施例二中所述的内窥镜下目标结构评估方法的步骤。
实施例二至实施例四在具体实现过程中，可以参阅实施例一，具有相应的技术效果。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种内窥镜下目标结构评估系统，其特征在于，所述内窥镜下目标结构评估系统包括：
冻结画面检测模块，用于从退镜操作前的内窥镜检查图像和所述退镜操作后的内窥镜检查图像中，分别冻结消化道内窥镜下目标结构的图像，分别获得第一冻结图像和第二冻结图像；
消化道内窥镜下目标测量模块，用于根据第一冻结图像的第一长轴距、第二冻结图像的第二长轴距、退镜的距离、单像素所占的长度和第一长轴距的像素点数量，确定所述消化道内窥镜下目标结构的长度。
2.根据权利要求1所述的内窥镜下目标结构评估系统，其特征在于，所述消化道内窥镜下目标测量模块采用下式确定所述消化道内窥镜下目标结构的长度B：
3.根据权利要求2所述的内窥镜下目标结构评估系统，其特征在于，其中退镜的距离由单像素所占的长度决定。
4.根据权利要求1所述的内窥镜下目标结构评估系统，其特征在于，所述消化道内窥镜下目标识别模块，还用于调用预先训练得到的基于多尺度融合Transformer的消化道内窥镜下目标检测神经网络识别所述第一冻结图像的第一消化道内窥镜下目标冻结区域和所述第二冻结图像的第二消化道内窥镜下目标冻结区域，对所述第一消化道内窥镜下目标冻结区域和所述第二消化道内窥镜下目标冻结区域进行关键点检测，得到消除畸变对齐后的第一消化道内窥镜下目标冻结区域和第二消化道内窥镜下目标冻结区域；并根据消除畸变对齐后的第一消化道内窥镜下目标冻结区域检测所述第一长轴距以及根据消除畸变对齐后的第二消化道内窥镜下目标冻结区域检测所述第二长轴距。
5.根据权利要求1所述的内窥镜下目标结构评估系统，其特征在于，所述内窥镜下目标结构评估系统还包括客户端模块；
客户端模块，用于在消化道内窥镜下目标识别模块从内窥镜检查影像中识别出消化道内窥镜下目标结构的情况下，进行退镜操作提示；
所述消化道内窥镜下目标测量模块，还用于通过图像处理方式生成辅助定位框，并触发所述客户端模块绘制显示辅助定位框，以进行将消化道内窥镜下目标结构移动到辅助定位框内的操作提示。
6.根据权利要求1-5中任一项所述的内窥镜下目标结构评估系统，其特征在于，所述消化道内窥镜下目标识别模块在从内窥镜检查影像中识别出消化道内窥镜下目标结构时，具体用于调用预先训练得到的基于多尺度融合Transformer的消化道内窥镜下目标检测神经网络从内窥镜检查影像中识别出所述消化道内窥镜下目标结构。
7.根据权利要求6所述的内窥镜下目标结构评估系统，其特征在于，所述基于多尺度融合Transformer的消化道内窥镜下目标检测神经网络包含主特征提取部分、特征融合部分和预测头部分；
所述主特征提取部分包含归一化层、由3组标准残差卷积块串联的第一特征提取模块、由6组标准残差卷积块串联的第二特征提取模块、由9组标准残差卷积块串联的第三特征提取模块以及由空间金字塔池化模块与Transformer模块串联的第四特征提取模块；
所述归一化层，用于根据预设的缩放尺寸缩放内窥镜检查影像；所述第一特征提取模块，用于将缩放的内窥镜检查影像经过运算输出第一特征图；所述第二特征提取模块，用于将所述第一特征图经过运算输出第二特征图；所述第三特征提取模块，用于将所述第二特征图经过运算输出第三特征图；所述第四特征提取模块，用于将所述第三特征图经过运算得到第四特征图；
所述特征融合部分，主要用于对第一、第二、第三和第四特征图进行注意力加权，分别得到第一、第二、第三和第四注意力加权特征图；使用第一Transformer模块，对第一注意力加权特征图进行计算，得到第一融合特征图；使用第二Transformer模块，对第二注意力加权特征图进行计算并与第一注意力加权特征图进行拼接，得到第二融合特征图；使用第三Transformer模块，对第三注意力加权特征图进行计算并与第二注意力加权特征图进行拼接，得到第三融合特征图；使用第四Transformer模块，对第四注意力加权特征图进行计算并与第三注意力加权特征图进行拼接，得到第四融合特征图；
所述预测头部分，主要用于对第一、第二、第三和第四融合特征图，利用预先设置好的先验框进行网格搜索预测，识别出所述消化道内窥镜下目标结构。
8.一种内窥镜下目标结构评估方法，其特征在于，所述内窥镜下目标结构评估方法，包括：
在从内窥镜检查影像中识别出消化道内窥镜下目标结构的情况下，进行退镜操作提示；
从退镜操作前的内窥镜检查图像和退镜操作后的内窥镜检查图像中，分别冻结消化道内窥镜下目标结构的图像，获得第一冻结图像和第二冻结图像；
根据第一冻结图像的第一长轴距、第二冻结图像的第二长轴距、退镜的距离、单像素所占的长度和第一长轴距的像素点数量，确定所述消化道内窥镜下目标结构的长度。
9.一种电子设备，其特征在于，所述电子设备包括：存储器、控制器及存储在所述存储器上并可在所述控制器上运行的计算机程序；
所述计算机程序被所述控制器执行时，实现如权利要求8中所述的内窥镜下目标结构评估方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有内窥镜下目标结构评估程序，所述内窥镜下目标结构评估程序被控制器执行时，实现如权利要求8中所述的内窥镜下目标结构评估方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310069871.8A CN115797348B (zh) | 2023-02-07 | 2023-02-07 | 内窥镜下目标结构评估系统、方法、设备及存储介质 |
| PCT/CN2024/075039 WO2024164912A1 (zh) | 2023-02-07 | 2024-01-31 | 内窥镜下目标结构评估系统、方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310069871.8A CN115797348B (zh) | 2023-02-07 | 2023-02-07 | 内窥镜下目标结构评估系统、方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115797348A true CN115797348A (zh) | 2023-03-14 |
| CN115797348B CN115797348B (zh) | 2023-04-28 |
Family
ID=85430097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310069871.8A Active CN115797348B (zh) | 2023-02-07 | 2023-02-07 | 内窥镜下目标结构评估系统、方法、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115797348B (zh) |
| WO (1) | WO2024164912A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024164912A1 (zh) * | 2023-02-07 | 2024-08-15 | 天津御锦人工智能医疗科技有限公司 | 内窥镜下目标结构评估系统、方法、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180213207A1 (en) * | 2015-10-16 | 2018-07-26 | CapsoVision, Inc. | Endoscope employing structured light providing physiological feature size measurement |
| CN113034500A (zh) * | 2021-05-25 | 2021-06-25 | 紫东信息科技(苏州)有限公司 | 基于多通道结构的消化道内窥镜图片病灶识别系统 |
| CN115002447A (zh) * | 2022-05-25 | 2022-09-02 | 上海微创医疗机器人（集团）股份有限公司 | 一种内窥镜评估方法、系统及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739007B (zh) * | 2020-06-22 | 2024-01-26 | 中南民族大学 | 内窥镜图像识别方法、设备、存储介质及装置 |
| CN113240726B (zh) * | 2021-05-20 | 2022-10-14 | 南开大学 | 一种内窥镜下光学目标尺寸实时测量方法 |
| CN114419381B (zh) * | 2022-04-01 | 2022-06-24 | 城云科技（中国）有限公司 | 一种语义分割方法及应用其的道路积水检测方法和装置 |
| CN115797348B (zh) * | 2023-02-07 | 2023-04-28 | 天津御锦人工智能医疗科技有限公司 | 内窥镜下目标结构评估系统、方法、设备及存储介质 |
-
2023
- 2023-02-07 CN CN202310069871.8A patent/CN115797348B/zh active Active
-
2024
- 2024-01-31 WO PCT/CN2024/075039 patent/WO2024164912A1/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180213207A1 (en) * | 2015-10-16 | 2018-07-26 | CapsoVision, Inc. | Endoscope employing structured light providing physiological feature size measurement |
| CN113034500A (zh) * | 2021-05-25 | 2021-06-25 | 紫东信息科技(苏州)有限公司 | 基于多通道结构的消化道内窥镜图片病灶识别系统 |
| CN115002447A (zh) * | 2022-05-25 | 2022-09-02 | 上海微创医疗机器人（集团）股份有限公司 | 一种内窥镜评估方法、系统及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024164912A1 (zh) * | 2023-02-07 | 2024-08-15 | 天津御锦人工智能医疗科技有限公司 | 内窥镜下目标结构评估系统、方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115797348B (zh) | 2023-04-28 |
| WO2024164912A1 (zh) | 2024-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102247118B (zh) | 医疗用图像处理装置 | |
| EP1994878B9 (en) | Medical image processing device and medical image processing method | |
| EP1997074B1 (en) | Device, system and method for automatic detection of contractile activity in an image frame | |
| US20090051695A1 (en) | Image processing apparatus, computer program product, and image processing method | |
| Szczypiński et al. | A model of deformable rings for interpretation of wireless capsule endoscopic videos | |
| CN110288653B (zh) | 一种多角度超声图像融合方法、系统及电子设备 | |
| WO2024164912A1 (zh) | 内窥镜下目标结构评估系统、方法、设备及存储介质 | |
| CN113017702B (zh) | 超声内镜小探头伸出长度的识别方法、系统及存储介质 | |
| JP2017522072A (ja) | 信頼度マッチング付き生体内マルチカメラカプセルからの画像の再構築 | |
| Zimmer et al. | Placenta segmentation in ultrasound imaging: Addressing sources of uncertainty and limited field-of-view | |
| CN116958147B (zh) | 基于深度图像特征的目标区域确定方法、装置和设备 | |
| CN116542883B (zh) | 一种磁控胶囊胃镜影像病灶粘膜增强系统 | |
| US9386908B2 (en) | Navigation using a pre-acquired image | |
| CN112734707B (zh) | 一种3d内窥镜辅助检测方法、系统、装置及存储介质 | |
| WO2023042273A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| Figueiredo et al. | Dissimilarity measure of consecutive frames in wireless capsule endoscopy videos: a way of searching for abnormalities | |
| JP2008093213A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
| WO2024084578A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| CN114785948B (zh) | 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质 | |
| WO2022239518A1 (ja) | プログラム、情報処理方法及び内視鏡システム | |
| WO2023187886A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| CN112580437B (zh) | 一种测量目标大小的方法、装置 | |
| US20240038391A1 (en) | Method and system for endoscopic diagnosis support | |
| WO2023275974A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| CN118780980A (zh) | 一种放大内镜图像处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40083937 Country of ref document: HK |