CN115294191B - 基于电子内镜的标志物尺寸测量方法、装置、设备及介质 - Google Patents

基于电子内镜的标志物尺寸测量方法、装置、设备及介质 Download PDF

Info

Publication number
CN115294191B
CN115294191B CN202211229284.2A CN202211229284A CN115294191B CN 115294191 B CN115294191 B CN 115294191B CN 202211229284 A CN202211229284 A CN 202211229284A CN 115294191 B CN115294191 B CN 115294191B
Authority
CN
China
Prior art keywords
marker
image
depth
focal length
electronic endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211229284.2A
Other languages
English (en)
Other versions
CN115294191A (zh
Inventor
田攀
胡珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN202211229284.2A priority Critical patent/CN115294191B/zh
Publication of CN115294191A publication Critical patent/CN115294191A/zh
Application granted granted Critical
Publication of CN115294191B publication Critical patent/CN115294191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Abstract

本申请实施例提供了一种基于电子内镜的标志物尺寸测量方法、装置、设备及介质，该方法获取包含同一肠道标志物的电子内镜图像序列，针对每张电子内镜图像，进行标志物定位，得到多张标志物图像，根据标志物图像对应的肠3D模型中的相机毫米焦距、传感器孔径及预测框的尺寸，确定标志物图像对应的相机像素焦距，根据相机像素焦距、预测距离和预测框的尺寸，利用小孔成像原理计算各个标志物图像对应的参考尺寸，根据多个参考尺寸确定肠道标志物的实际尺寸，采用本实施例，通过深度预测模型进行肠道标志物的深度预测，实现了自动化确定肠道标志物的深度，提高了测量的广泛适应性，提高了肠道标志物实际尺寸测量的精准性和测量效率。

Description

基于电子内镜的标志物尺寸测量方法、装置、设备及介质
技术领域
本申请涉及计算机技术领域，具体涉及一种基于电子内镜的标志物尺寸测量方法、装置、设备及介质。
背景技术
在消化道内镜检查过程中常需要进行标志物尺寸测量，以用于对标志物危险进行分级。以结肠息肉为例，通过对结肠息肉的尺寸测量，确定息肉的危险等级。现有技术中，一方面是内镜医师对内镜下的观察到的图片中的息肉尺寸进行估计，该测量方法不仅导致息肉尺寸的结果存在高度主观性，使得预估息肉尺寸与病理科医师测量的息肉尺寸有较大出入；另一方面是通过测量工具，例如，带刻度的活检钳放在被测息肉附近来测量，该方法有很大的弊端，因为不是每个息肉需要放置活检钳取活检，且会给患者带来一定痛苦，还需要借助工具，测量繁琐，降低了标志物尺寸测量的准确性和测量效率。
发明内容
本申请实施例提供一种基于电子内镜的标志物尺寸测量方法、装置、计算机设备及存储介质，以解决人工预估标志物尺寸存在精准度低下的技术问题。
一方面，本申请提供一种基于电子内镜的标志物尺寸测量方法，包括：
获取包含同一肠道标志物的电子内镜图像序列，所述电子内镜图像序列包括多张电子内镜图像；
针对每张所述电子内镜图像，分别进行标志物定位，确定预测框，按照所述预测框在所述电子内镜图像进行裁剪，得到多张标志物图像；
根据所述标志物图像对应的肠3D模型中的相机毫米焦距、传感器孔径及所述预测框的尺寸，确定所述标志物图像对应的相机像素焦距，其中，所述肠3D模型是基于所述标志物图像预先渲染建立得到；
将所述标志物图像输入已训练的深度预测模型进行深度预测，输出各个所述标志物图像中的标志物与所述相机的之间的预测距离；
根据所述相机像素焦距、所述预测距离和所述预测框的尺寸，利用小孔成像原理计算各个所述标志物图像对应的参考尺寸；
根据多个所述参考尺寸确定所述电子内镜图像序列中肠道标志物的实际尺寸。
一方面，本申请提供一种基于电子内镜的标志物尺寸测量装置，包括：
获取模块，用于获取包含同一肠道标志物的电子内镜图像序列，所述电子内镜图像序列包括多张电子内镜图像；
定位模块，用于针对每张所述电子内镜图像，分别进行标志物定位，确定预测框，按照所述预测框在所述电子内镜图像进行裁剪，得到多张标志物图像；
第一确定模块，用于根据所述标志物图像对应的肠3D模型中的相机毫米焦距、传感器孔径及所述预测框的尺寸，确定所述标志物图像对应的相机像素焦距，其中，所述肠3D模型是基于所述标志物图像预先渲染建立得到；
预测模块，用于将所述标志物图像输入已训练的深度预测模型进行深度预测，输出各个所述标志物图像中的标志物与所述相机的之间的预测距离；
计算模块，用于根据所述相机像素焦距、所述预测距离和所述预测框的尺寸，利用小孔成像原理计算各个所述标志物图像对应的参考尺寸；
第二确定模块，用于根据多个所述参考尺寸确定所述电子内镜图像序列中肠道标志物的实际尺寸。
一方面，本申请提供一种计算机设备，计算机设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于电子内镜的标志物尺寸测量方法中的步骤。
一方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于电子内镜的标志物尺寸测量方法中的步骤。
本申请实施例提供了一种基于电子内镜的标志物尺寸测量方法、装置、设备及介质，该方法先获取包含同一肠道标志物的电子内镜图像序列，然后，针对每张电子内镜图像，分别进行标志物定位，确定预测框，按照预测框在电子内镜图像进行裁剪，得到多张标志物图像，接着，根据标志物图像对应的肠3D模型中的相机毫米焦距、传感器孔径及预测框的尺寸，确定所述标志物图像对应的相机像素焦距，根据相机像素焦距、预测距离和预测框的尺寸，利用小孔成像原理计算各个标志物图像对应的参考尺寸，最后，根据多个参考尺寸确定电子内镜图像序列中肠道标志物的实际尺寸，采用本实施例，通过深度预测模型进行肠道标志物的深度预测，无需深度相机，实现了自动化确定肠道标志物的深度，提高了测量的广泛适应性，且由于已训练的深度预测模型具有泛化性，使得预测距离更加准确，同时，参考尺寸通过小孔原理计算得到，使得参考尺寸更加准确和便捷，通过对多个参考尺寸进行综合分析确定实际尺寸，提高了肠道标志物实际尺寸测量的精准性和测量效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中基于电子内镜的标志物尺寸测量方法的流程图；
图2为一个实施例中包含有息肉的电子内镜图像的示意图；
图3为一个实施例中标识有矩形框的电子内镜图像的示意图；
图4(a)、4(b)分别为一个实施例中大小不同的两个息肉的示意图；
图5为一个实施例中肠3D模型的示意图；
图6(a)、6(b)分别为一个实施例中的RGB图的示意图和Depth图的示意图；
图7为一个实施例中DenseDepth模型的网络结构示意图；
图8(a)、8(b)分别为一个实施例中标识了预测框的电子内镜图像的示意图和深度图像的示意图；
图9为一个实施例中基于电子内镜的标志物尺寸测量装置的结构框图；
图10为一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在一个实施例中，提供了一种基于电子内镜的标志物尺寸测量方法，该基于电子内镜的标志物尺寸测量方法可以应用于终端，也可以应用于服务器，本实施例以应用于服务器举例说明。该基于电子内镜的标志物尺寸测量方法具体包括以下步骤：
步骤102，获取包含同一肠道标志物的电子内镜图像序列，电子内镜图像序列包括多张电子内镜图像。
其中，电子内镜图像是指通过电子内镜对消化道中的存在异常的区域进行扫描后采集的图像，该图像为RGB图像，其中的肠道标志物可以是病灶或者其他异物，例如吞咽的异物、消化道内的息肉等，如图2所示，为一个包含有息肉的电子内镜图像的示意图。电子内镜图像序列是指包含有相同肠道标志物的多张电子内镜图像组成，具体地，可以利用目标跟踪算法，如基于搜索方法的Kalman滤波、粒子滤波算法等，对实时的内镜视频连续解帧，跟踪同一个肠道标志物（如，息肉），获取到电子内镜图像序列。可以理解地，本实施例中通过多张电子内镜图像，使得进行测量的电子内镜图像的样本量更加丰富，有利于提高后续测量的精准性。
步骤104，针对每张电子内镜图像，分别进行标志物定位，确定预测框，按照预测框在电子内镜图像进行裁剪，得到多张标志物图像。
其中，标志物图像是指电子内镜图像中，存在标志物的区域图像，具体地，可以通过预先训练分类模型对电子内镜图像进行分类，输出包含有标志物的标注信息，根据标注信息确定标志物区域，接着，采用通过预先训练的标志物区域检测模型，对标志物区域进行目标检测，得到标志物区域的预测框，且该预测框为矩形框，按照预测框在电子内镜图像进行裁剪，得到标志物图像，具体地，通过对yoloV3或者SSD 的目标检测模型进行训练，得到该标志物区域检测模型。如图3所示，为标识有矩形框的电子内镜图像的示意图，其中的矩形框I为标志物图像的示意图，a为预测框的左上角坐标点，其坐标为a(xmin,ymin)，b为预测框的右下角坐标点，其坐标为b(xmax,ymax)。
值得说明的是，本实施例中，还可以通过预先训练的标志物区域分割模型，如DeeplabV3+或者unet++的语义分割模型，对标志物区域进行分割，得到标志物区域，选取标志物区域的最大直径和最小直径分别作为预测框的宽度和预测框的高度。
步骤106，根据标志物图像对应的肠3D模型中的相机毫米焦距、传感器孔径及预测框的尺寸，确定所述标志物图像对应的相机像素焦距，其中，肠3D模型是基于标志物图像预先渲染建立得到。
其中，肠3D模型是基于标志物图像预先渲染建立得到，通过使用blender软件建成与真实肠环境一致的3D模型，用于导出电子内镜图像对应的深度图像，其具体渲染建立过程如下：
S1：根据真实内镜环境里面的肠道环境图片，贴肠壁渲染出与真实场景类似的3D模型；
S2：为了确保模型在预测息肉深度有较高的准确性，将blender软件里面相机（摄像头）参数如焦距,传感器孔径大小、灯光强度调整到跟主流内镜镜头奥巴和宾利一致；
S3：根据医学上的统计，对于标志物为息肉的情形，其大小主要集中在1mm-15mm之间，因此渲染出了不同形状、大小在1mm-15mm的息肉，并且放置在肠道的不同地方，如图4(a)、4(b)所示，为大小不同的两个息肉的示意图，如图5所示，为肠3D模型的示意图；
S4：利用blender软件渲染功能自动导出整个肠3D模型的RGB图和Depth图，如图6(a)、6(b)所示，分别为RGB图的示意图和Depth图（深度图）的示意图，其中深度图中的每个点的值代表与摄像头之间的距离。
相机像素焦距是指blender软件中虚拟相机的焦距，包括相机像素焦距宽和相机像素焦距。具体地，可以根据传感器孔径及预测框的尺寸，与焦距之间的比例计算得到相机像素焦距，也可以利用内镜镜头拍摄不同角度的棋盘格图片，提取相机像素焦距。
值得说明的是，由于肠腔内不适合直接采集深度图数据，为了获取到更加准确的肠腔内深度数据，本实施例中采用肠3D模型，提高了Depth图的精准性和获取效率，无需深度相机采集，提高了相机像素焦距的精准性和便利性。
需要进一步说明的是，肠3D模型中的相机毫米焦距可以设置为与采集电子内镜图像对应的电子内镜的镜头焦距一致，进而实现对真实环境的标志物的尺寸的测量。
步骤108，将标志物图像输入已训练的深度预测模型进行深度预测，输出各个标志物图像中的标志物与相机的之间的预测距离。
其中，预测距离是指标志物图像中的标志物与相机之间的物理距离，如15mm。已训练的深度预测模型是一种用于预测标志物的各个像素点与相机之间的距离，具体地，该已训练的深度预测模型可以是通过DenseDepth模型实现，如图7所示，为DenseDepth模型的网络结构示意图。也可以基于DenseDepth模型，对其中的Encoder模块中的Densenet169网络基础上增加注意力机制CBAM和空洞卷积并进行知识蒸馏和剪枝操作的网络模型，以提高DenseDepth模型预测的准确性和速度。本实施例中，通过采用基于深度学习的深度预测模型确定标志物与相机之间的预测距离，实现了对标志物的深度的预测，由于是采用已训练的深度预测模型进行自动化预测，保证了预测距离的精准性，并且无需借助深度相机，简单便捷，有利于提高标志物尺寸测量的效率，降低了测量的繁琐程度。
步骤110，根据相机像素焦距、预测距离和预测框的尺寸，利用小孔成像原理计算各个标志物图像对应的参考尺寸。
其中，参考尺寸是指一张标志物图像中的标志物的尺寸，包括标志物宽度和标志物高度，具体的，小孔成像原理是指成的像与物体大小之比为小孔到成像屏的距离除以小孔到物体的距离，在本实施例中，也即参考尺寸/相机像素焦距的比值等于预测框的尺寸/相机像素焦距，通过小孔成像原理计算参考尺寸，无需借助测量工具，且计算逻辑精准，提高了参考尺寸计算的准确性和便捷性。
在一具体实施方式中，预测框的尺寸包括预测框的宽度bbox_w和高度bbox_h,预测距离d, 相机像素焦距宽fx,相机像素焦距宽fy,则标志物宽度w= d *bbox_w/ fx、标志物高度h = d *bbox_h / fy，根据标志物宽度w和标志物高度h，采用聚合计算的方法，例如，均值计算、取最大值、最小值等确定一张标志物图像对应的参考尺寸，优选地，采用均值法计算即参考尺寸size= (w+h)/2，使得计算结果更具统计性和精准性。可以理解地，本实施例中，通过计算标志物的两个维度的尺寸，即标志物宽度和标志物高度，然后进行综合处理，提高了参考尺寸的准确性。
步骤112，根据多个参考尺寸确定电子内镜图像序列中肠道标志物的实际尺寸。
其中，实际尺寸是指电子内镜图像序列中的同一肠道标志物的尺寸。具体地，将多 张标志物图像各自对应的参考尺寸
Figure 476605DEST_PATH_IMAGE001
（第i张标志物图像中肠道标志物的参考尺寸，(i =1...n)），可以根据
Figure 556556DEST_PATH_IMAGE002
的大小，从中剔除掉大于上限阈值、小于下线阈值的参考尺寸， 然后，对剩下的
Figure 663839DEST_PATH_IMAGE002
进行聚合计算，如计算均值、取中位数等，作为电子内镜图像序列中 肠道标志物的实际尺寸。可以理解地，本实施例中通过对电子内镜图像序列中的各个标志 物的参考尺寸均是通过采用方法计算得到，且无需借助测量工具、深度相机，使得参考尺寸 的计算更加简单便捷，通过对多个参考尺寸进行综合分析确定实际尺寸，提高了对肠道标 志物实际尺寸测量的精准性和测量效率。
上述基于电子内镜的标志物尺寸测量方法中，先获取包含同一肠道标志物的电子内镜图像序列，然后，针对每张电子内镜图像，分别进行标志物定位，确定预测框，按照预测框在电子内镜图像进行裁剪，得到多张标志物图像，接着，根据标志物图像对应的肠3D模型中的相机毫米焦距、传感器孔径及预测框的尺寸，确定所述标志物图像对应的相机像素焦距，根据相机像素焦距、预测距离和预测框的尺寸，利用小孔成像原理计算各个标志物图像对应的参考尺寸，最后，根据多个参考尺寸确定电子内镜图像序列中肠道标志物的实际尺寸，采用本实施例，通过深度预测模型进行肠道标志物的深度预测，无需深度相机，实现了自动化确定肠道标志物的深度，提高了测量的广泛适应性，且由于已训练的深度预测模型具有泛化性，使得预测距离更加准确，同时，参考尺寸通过小孔原理计算得到，使得参考尺寸更加准确和便捷，通过对多个参考尺寸进行综合分析确定实际尺寸，提高了肠道标志物实际尺寸测量的精准性和测量效率。
在一个实施例中，传感器孔径包括传感器孔径宽和传感器孔径高，预测框的尺寸包括预测框的高度和宽度，相机像素焦距包括相机像素焦距宽和相机像素焦距高；根据肠3D模型中的相机毫米焦距、传感器孔径及预测框的尺寸，确定标志物图像对应的相机像素焦距的步骤，包括：求取预测框的高度和宽度中的最大值作为焦距参考值；根据焦距参考值、毫米焦距及传感器孔径宽确定标志物图像对应的相机像素焦距宽；根据焦距参考值、毫米焦距及传感器孔径高确定标志物图像对应的相机像素焦距高。
具体地，根据相机毫米焦距F(focal length，单位mm)、传感器孔径Sw、Sh(sensorsize，单位mm)、预测框的尺寸中的宽度bbox_w、高度bbox_h，计算相机像素焦距宽fx、相机像素焦距高fy,公式如下:
fx = max(bbox_w, bbox_h) * F / Sw；
fy = max(bbox_w, bbox_h) * F / Sh；
其中，max(bbox_w, bbox_h)为焦距参考值。本实施例中，通过对相机毫米焦距、传感器孔径及预测框的尺寸进行计算，充分考虑了预测框的对相机像素焦距的影响，实现了对相机像素焦距的精准计算，且无需进行多次拍摄图像确定，提高了相机像素焦距的计算效率。
在一个实施例中，已训练的深度预测模型包括深度估计子模型和深度预测子模型；将标志物图像输入已训练的深度预测模型进行深度预测，输出各个标志物图像中的标志物与相机的之间的预测距离，包括：将标志物图像输入深度估计子模型，输出对应的深度图像；将深度图像和标志物图像输入深度预测子模型，输出预测距离。
其中，深度估计子模型是一种用于将RGB图像转换为深度图像的学习模型，例如，Dense Depth模型。深度预测子模型是一种用于对RGB图和深度图叠加后，进行分析，确定深度的模型，例如，逻辑回归模型、决策树等。具体地，将标志物图像即RGB图，输入深度估计子模型，输出对应的深度图像，即一个标志物图像对应一个深度图像，将深度图像和标志物图像输入深度预测子模型，对标志物图像和对应的深度图像进行叠加，即在标志物图像上的位置，转化到深度图像上的位置，得到叠加图像，对叠加图像进行深度分析，输出预测距离。
在一个实施例中，深度估计子模型是基于Dense Depth模型训练得到，DenseDepth模型包括编码网络和解码网络，编码网络包括注意力机制子网络、空洞卷积子网络；将标志物图像输入深度估计子模型，输出对应的深度图像的步骤，包括：通过注意力机制子网络对标志物图像进行特征提取，得到第一特征；通过空洞卷积子网络对第一特征进行卷积处理，得到第二特征；利用知识蒸馏子网络对编码网络进行知识蒸馏处理，得到缩小网络；对缩小网络进行剪枝操作，得到目标网络；利用目标网络对第二特征进行编码处理，得到标志物图像的特征图；利用解码网络对特征图进行解码处理，生成深度图像。
具体地，DenseDepth模型，由Encoder和Decoder模块组成，即编码网络和解码网络，其中Encoder模块由Densenet网络组成，Decoder模块由一系列非线性插值的上采样组成，本实施例中，在编码网络中增加注意力机制子网络、空洞卷积子网络，以使得深度估计子模型有更快的速度、更高的精度，具体工作为：在Encoder模块中的Densenet169网络基础上增加注意力机制子网络CBAM,使网络可用提取到更加积极且有效的特征；通过空洞卷积子网络，由于原始的Encoder模块由连续的下采样组成，而连续的下采样会导致图片的分辨率大幅下降，从而损失了原始信息，上采样过程中难以恢复，通过空洞卷积子网络可用在尽可能的保证分辨率的情况下，扩大感受域，例如，修改后的网络表示为Densenet201_CBAM_Atros；采用知识蒸馏，使用大的Teacher 网络蒸馏出较小Student网络，Teacher 网络采用Densenet201_CBAM_Atros网络,Student网络采用resnet18_CBAM_Atros网络；由于网络相邻神经元存在大量的冗余,因此对蒸馏后的resnet18_CBAM_Atros网络进行剪枝操作得到resnet18_CBAM_Atros_pruning网络；将剪枝出来的resnet18_CBAM_Atros_pruning网络和Densenet201_CBAM_At，再次进行知识蒸馏，得到最终的网络resnet18_CBAM_Atros_pruning。因此，通过注意力机制子网络对标志物图像进行特征提取，得到第一特征，通过空洞卷积子网络对第一特征进行卷积处理，得到第二特征，利用知识蒸馏子网络对编码网络进行知识蒸馏处理，得到缩小网络，对缩小网络进行剪枝操作，得到目标网络，利用目标网络对第二特征进行编码处理，得到标志物图像的特征图，利用解码网络对特征图进行解码处理，生成深度图像，本实施例中，通过对深度估计子模型进行网络的调整和优化，且对网络进行剪枝，缩小了网络，使得深度估计子模型更加高效精准，提高了深度图像的精准性。
值得说明的是，还可以对Decoder模块做相应的调整,反卷积替代DenseDepth中原有的非线性插值，将调整的网络表示为CapNetDepth网络，如表1所示，为CapNetDepth网络和DenseDepth网络推理时间和准确率的对比表。
表1 CapNetDepth网络和DenseDepth网络推理时间和准确率的对比表
网络名 推理时间 平均准确率
DenseDepth 33ms 91.3%
CapNetDepth 16ms 95.6%
通过对比CapNetDepth网络和DenseDepth网络，在推理时间减少一半的情况下，平均准确率有3个点提升。如图8(a)、8(b)所示，分别为标识了预测框的电子内镜图像的示意图和深度图像的示意图，
在一个实施例中，将深度图像和标志物图像输入深度预测子模型，输出预测距离的步骤，包括：根据标志物图像的各个像素点与对应的深度图像的相应的像素点位置，确定标志物图像的各个像素点的深度值；对深度值按照预设的规则进行统计分析，得到预测距离。
具体地，根据标志物图像的各个像素点与对应的深度图像的相应的像素点位置，确定标志物图像的各个像素点的深度值，预测的规则具体如下：从整张标志物图像中的所有像素点对应的深度值中，选取最大的深度值dmax和最小的深度值dmin，根据二者的差值，对所有深度值进行分区。例如，step= (dmax-dmin)/50，然后，对每个分区的深度值的个数进行统计,并对个数进行排序，取前N个分区,然后计算这N个分区深度值的平均值，将该平均值作为预测距离d。可以理解地，本实施例中，通过根据标志物图像的各个像素点与对应的深度图像的相应的像素点位置，确定标志物图像的各个像素点的深度值，实现了对所有像素点的深度值的精准预测，并且对所有深度值进行统计分析，进一步提高了预测距离计算的合理性和准确性。
在一个实施例中，在将标志物图像输入深度估计子模型，输出对应的深度图像之前，还包括：获取多张样本图像，分别通过肠3D模型确定样本图像对应的多张样本深度图；将样本图像作为输入图像，对应的样本深度图作为期望的输出，对Dense Depth模型进行训练，得到训练完成的深度估计子模型。
其中，样本图像对应的标签为深度图，且深度图是通过肠3D模型导出，简单快捷，且无需深度相机，提高了训练样本的丰富性和准确性，将样本图像作为输入图像，对应的样本深度图作为期望的输出，对Dense Depth模型进行训练，得到训练完成的深度估计子模型，提高了深度估计子模型的训练效率。
在一个实施例中，根据相机像素焦距、预测距离和预测框的尺寸，利用小孔成像原理计算各个标志物图像对应的参考尺寸的步骤，包括：根据预测距离、相机像素焦距宽及宽度确定标志物宽度；根据预测距离、相机像素焦距高及高度确定标志物高度；根据标志物高度和标志物宽度确定参考尺寸。
具体地，预测框的宽度bbox_w和高度bbox_h,预测距离d, 相机像素焦距宽fx,相机像素焦距宽fy,则标志物宽度w= d *bbox_w/ fx、标志物高度h = d *bbox_h / fy，可以理解地，通过小孔成像原理，计算标志物宽度和标志物高度，计算合理且简单便捷，然后，对标志物高度和标志物宽度进行综合处理，例如，计算均值，作为参考尺寸。
如图9所示，在一个实施例中，提出了一种基于电子内镜的标志物尺寸测量装置，包括：
获取模块902，用于获取包含同一肠道标志物的电子内镜图像序列，所述电子内镜图像序列包括多张电子内镜图像；
定位模块904，用于针对每张所述电子内镜图像，分别进行标志物定位，确定预测框，按照所述预测框在所述电子内镜图像进行裁剪，得到多张标志物图像；
第一确定模块906，用于根据所述标志物图像对应的肠3D模型中的相机毫米焦距、传感器孔径及所述预测框的尺寸，确定所述标志物图像对应的相机像素焦距，其中，所述肠3D模型是基于所述标志物图像预先渲染建立得到；
预测模块908，用于将所述标志物图像输入已训练的深度预测模型进行深度预测，输出各个所述标志物图像中的标志物与所述相机的之间的预测距离；
计算模块910，用于根据所述相机像素焦距、所述预测距离和所述预测框的尺寸，利用小孔成像原理计算各个所述标志物图像对应的参考尺寸；
第二确定模块912，用于根据多个所述参考尺寸确定所述电子内镜图像序列中肠道标志物的实际尺寸。
在一个实施例中，所述传感器孔径包括传感器孔径宽和传感器孔径高，所述预测框的尺寸包括预测框的高度和宽度，所述相机像素焦距包括相机像素焦距宽和相机像素焦距高；第一确定模块包括：
取值单元，用于求取所述预测框的高度和宽度中的最大值作为焦距参考值；
第一确定单元，用于根据所述焦距参考值、所述毫米焦距及所述传感器孔径宽确定所述相机像素焦距宽；
第二确定单元，用于根据所述焦距参考值、所述毫米焦距及所述传感器孔径高确定所述相机像素焦距高。
在一个实施例中，所述已训练的深度预测模型包括深度估计子模型和深度预测子模型；预测模块包括：
第一输出单元，用于将所述标志物图像输入所述深度估计子模型，输出对应的深度图像；
第二输出单元，用于将所述深度图像和所述标志物图像输入所述深度预测子模型，输出所述预测距离。
在一个实施例中，所述深度估计子模型是基于所述Dense Depth模型训练得到，所述Dense Depth模型包括编码网络和解码网络，所述编码网络包括注意力机制子网络、空洞卷积子网络，第一输出单元包括：
提取子单元，用于通过所述注意力机制子网络对所述标志物图像进行特征提取，得到第一特征；
卷积子单元，用于通过所述空洞卷积子网络对所述标志物特征进行卷积处理，得到第二特征；
蒸馏子单元，用于利用所述知识蒸馏子网络对所述编码网络进行知识蒸馏处理，得到缩小网络；
剪枝子单元，用于对所述缩小网络进行剪枝操作，得到目标网络；
编码子单元，用于利用所述目标网络对所述第二特征进行编码处理，得到所述标志物图像的特征图；
解码子单元，用于利用所述解码网络对所述特征图进行解码处理，生成所述深度图像。
在一个实施例中，第二输出单元包括：
确定子单元，用于根据所述标志物图像的各个像素点与对应的所述深度图像的相应的像素点位置，确定所述标志物图像的各个像素点的深度值；
统计子单元，用于对所述深度值按照预设的规则进行统计分析，得到所述预测距离。
在一个实施例中，基于电子内镜的标志物尺寸测量装置还包括：
第三确定模块，用于获取多张样本图像，分别通过所述肠3D模型确定所述样本图像对应的多张样本深度图；
训练模块，用于将所述样本图像作为输入图像，对应的所述样本深度图作为期望的输出，对所述Dense Depth模型进行训练，得到训练完成的深度估计子模型。
在一个实施例中，计算模块包括：
第三确定单元，用于根据所述预测距离、所述相机像素焦距宽及所述宽度确定所述标志物宽度；
第四确定单元，用于根据所述预测距离、所述相机像素焦距高及所述高度确定所述标志物高度；
第五确定单元，用于根据所述标志物高度和标志物宽度确定所述参考尺寸。
图10示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器，所述服务器包括但不限于高性能计算机和高性能计算机集群。如图10所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于电子内镜的标志物尺寸测量方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于电子内镜的标志物尺寸测量方法。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的基于电子内镜的标志物尺寸测量方法可以实现为一种计算机程序的形式，计算机程序可在如图10所示的计算机设备上运行。计算机设备的存储器中可存储组成基于电子内镜的标志物尺寸测量装置的各个程序模板。比如，获取模块902，定位模块904，第一确定模块906，预测模块908，计算模块910，第二确定模块912。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于电子内镜的标志物尺寸测量方法中的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于电子内镜的标志物尺寸测量方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于电子内镜的标志物尺寸测量方法，其特征在于，包括：
获取包含同一肠道标志物的电子内镜图像序列，所述电子内镜图像序列包括多张电子内镜图像；
针对每张所述电子内镜图像，分别进行标志物定位，确定预测框，按照所述预测框在所述电子内镜图像进行裁剪，得到多张标志物图像；
根据所述标志物图像对应的肠3D模型中的相机毫米焦距、传感器孔径及所述预测框的尺寸，确定所述标志物图像对应的相机像素焦距，其中，所述肠3D模型是基于所述标志物图像预先渲染建立得到，所述肠3D模型中的相机毫米焦距与采集电子内镜图像对应的电子内镜的镜头焦距一致；
将所述标志物图像输入已训练的深度预测模型进行深度预测，输出各个所述标志物图像中的标志物与所述相机的之间的预测距离；
根据所述相机像素焦距、所述预测距离和所述预测框的尺寸，利用小孔成像原理计算各个所述标志物图像对应的参考尺寸；
根据多个所述参考尺寸确定所述电子内镜图像序列中肠道标志物的实际尺寸。
2.如权利要求1所述的基于电子内镜的标志物尺寸测量方法，其特征在于，所述传感器孔径包括传感器孔径宽和传感器孔径高，所述预测框的尺寸包括预测框的高度和宽度，所述相机像素焦距包括相机像素焦距宽和相机像素焦距高；
根据所述肠3D模型中的相机毫米焦距、传感器孔径及所述预测框的尺寸，确定所述标志物图像对应的相机像素焦距的步骤，包括：
求取所述预测框的高度和宽度中的最大值作为焦距参考值；
根据所述焦距参考值、所述相机毫米焦距及所述传感器孔径宽确定所述相机像素焦距宽；
根据所述焦距参考值、所述相机毫米焦距及所述传感器孔径高确定所述相机像素焦距高。
3.如权利要求1所述的基于电子内镜的标志物尺寸测量方法，其特征在于，所述已训练的深度预测模型包括深度估计子模型和深度预测子模型；
所述将所述标志物图像输入已训练的深度预测模型进行深度预测，输出各个所述标志物图像中的标志物与所述相机的之间的预测距离，包括：
将所述标志物图像输入所述深度估计子模型，输出对应的深度图像；
将所述深度图像和所述标志物图像输入所述深度预测子模型，输出所述预测距离。
4.如权利要求3所述的基于电子内镜的标志物尺寸测量方法，其特征在于，所述深度估计子模型是基于Dense Depth模型训练得到，所述Dense Depth模型包括编码网络和解码网络，所述编码网络包括注意力机制子网络、空洞卷积子网络；
所述将所述标志物图像输入所述深度估计子模型，输出对应的深度图像的步骤，包括：
通过所述注意力机制子网络对所述标志物图像进行特征提取，得到所述标志物图像的第一特征；
通过所述空洞卷积子网络对所述第一特征进行卷积处理，得到所述标志物图像的第二特征；
利用知识蒸馏子网络对所述编码网络进行知识蒸馏处理，得到缩小网络；
对所述缩小网络进行剪枝操作，得到目标网络；
利用所述目标网络对所述第二特征进行编码处理，得到所述标志物图像的特征图；
利用所述解码网络对所述特征图进行解码处理，生成所述深度图像。
5.如权利要求3所述的基于电子内镜的标志物尺寸测量方法，其特征在于，所述将所述深度图像和所述标志物图像输入所述深度预测子模型，输出所述预测距离的步骤，包括：
根据所述标志物图像的各个像素点与对应的所述深度图像的相应的像素点位置，确定所述标志物图像的各个像素点的深度值；
对所述深度值按照预设的规则进行统计分析，得到所述预测距离。
6.如权利要求4所述的基于电子内镜的标志物尺寸测量方法，其特征在于，在所述将所述标志物图像输入所述深度估计子模型，输出对应的深度图像之前，还包括：
获取多张样本图像，分别通过所述肠3D模型确定所述样本图像对应的多张样本深度图；
将所述样本图像作为输入图像，对应的所述样本深度图作为期望的输出，对所述DenseDepth模型进行训练，得到训练完成的深度估计子模型。
7.如权利要求2所述的基于电子内镜的标志物尺寸测量方法，其特征在于，所述根据所述相机像素焦距、所述预测距离和所述预测框的尺寸，利用小孔成像原理计算各个所述标志物图像对应的参考尺寸的步骤，包括：
根据所述预测距离、所述相机像素焦距宽及所述预测框的宽度确定所述标志物宽度；
根据所述预测距离、所述相机像素焦距高及所述预测框的高度确定所述标志物高度；
根据所述标志物高度和标志物宽度确定所述参考尺寸。
8.一种基于电子内镜的标志物尺寸测量装置，其特征在于，包括：
获取模块，用于获取包含同一肠道标志物的电子内镜图像序列，所述电子内镜图像序列包括多张电子内镜图像；
定位模块，用于针对每张所述电子内镜图像，分别进行标志物定位，确定预测框，按照所述预测框在所述电子内镜图像进行裁剪，得到多张标志物图像；
第一确定模块，用于根据所述标志物图像对应的肠3D模型中的相机毫米焦距、传感器孔径及所述预测框的尺寸，确定所述标志物图像对应的相机像素焦距，其中，所述肠3D模型是基于所述标志物图像预先渲染建立得到，所述肠3D模型中的相机毫米焦距与采集电子内镜图像对应的电子内镜的镜头焦距一致；
预测模块，用于将所述标志物图像输入已训练的深度预测模型进行深度预测，输出各个所述标志物图像中的标志物与所述相机的之间的预测距离；
计算模块，用于根据所述相机像素焦距、所述预测距离和所述预测框的尺寸，利用小孔成像原理计算各个所述标志物图像对应的参考尺寸；
第二确定模块，用于根据多个所述参考尺寸确定所述电子内镜图像序列中肠道标志物的实际尺寸。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于电子内镜的标志物尺寸测量方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于电子内镜的标志物尺寸测量方法的步骤。
CN202211229284.2A 2022-10-08 2022-10-08 基于电子内镜的标志物尺寸测量方法、装置、设备及介质 Active CN115294191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211229284.2A CN115294191B (zh) 2022-10-08 2022-10-08 基于电子内镜的标志物尺寸测量方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211229284.2A CN115294191B (zh) 2022-10-08 2022-10-08 基于电子内镜的标志物尺寸测量方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115294191A CN115294191A (zh) 2022-11-04
CN115294191B true CN115294191B (zh) 2022-12-27

Family

ID=83819208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211229284.2A Active CN115294191B (zh) 2022-10-08 2022-10-08 基于电子内镜的标志物尺寸测量方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115294191B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578385B (zh) * 2022-12-01 2023-03-14 武汉楚精灵医疗科技有限公司 肠镜下病灶信息获取方法、装置、电子设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2938077A1 (en) * 2013-03-15 2014-09-18 Bio-Tree Systems, Inc. Methods and system for linking geometry obtained from images
EP3737922A4 (en) * 2018-01-11 2021-10-20 Centre for Eye Research Australia Limited METHOD AND SYSTEM FOR QUANTIFICATION OF A TISSUE BIOMARKER
CA3003032A1 (en) * 2018-04-27 2019-10-27 Nanostics Inc. Methods of diagnosing disease using microflow cytometry
EP3803687A4 (en) * 2018-05-27 2022-03-23 Elucid Bioimaging Inc. METHODS AND SYSTEMS FOR USING QUANTITATIVE IMAGING
AU2020248416A1 (en) * 2019-03-26 2021-10-07 Tempus Ai, Inc. Determining biomarkers from histopathology slide images
US10646156B1 (en) * 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities
EP3792871A1 (en) * 2019-09-13 2021-03-17 Siemens Healthcare GmbH Method and data processing system for providing a prediction of a medical target variable
EP3826024A1 (en) * 2019-11-19 2021-05-26 Koninklijke Philips N.V. Apparatus for diagnostic image acquisition determination
WO2021177771A1 (ko) * 2020-03-06 2021-09-10 주식회사 루닛 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템
WO2021248253A1 (en) * 2020-06-12 2021-12-16 Campbell Melanie Cw Methods and apparatus for imaging, analysing images and classifying presumed protein deposits in the retina
CN113313742A (zh) * 2021-05-06 2021-08-27 Oppo广东移动通信有限公司 图像深度估计方法、装置、电子设备及计算机存储介质
CN114121226A (zh) * 2021-12-02 2022-03-01 中国科学院自动化研究所 基于Unet模型的生物标志物预测系统、方法、设备

Also Published As

Publication number Publication date
CN115294191A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN110490212B (zh) 钼靶影像处理设备、方法和装置
CN111161290B (zh) 一种图像分割模型的构建方法、图像分割方法及系统
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN111091562B (zh) 一种消化道病灶大小测量方法及系统
CN110992377B (zh) 图像分割方法、装置、计算机可读存储介质和设备
CN114037637B (zh) 一种图像数据增强方法、装置、计算机设备和存储介质
CN110929728B (zh) 一种图像感兴趣区域划分方法、图像分割方法及装置
CN111862044A (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN112380926B (zh) 一种田间除草机器人除草路径规划系统
CN115294191B (zh) 基于电子内镜的标志物尺寸测量方法、装置、设备及介质
CN111292318A (zh) 内窥镜系统及内窥镜图像识别方法、设备、可存储介质
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN112464802B (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
TW201942868A (zh) 用於辨識組織病徵影像的系統及方法
CN113222064A (zh) 一种图像目标对象实时检测方法、系统、终端及存储介质
US20240005494A1 (en) Methods and systems for image quality assessment
CN114549462A (zh) 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN115205520A (zh) 胃镜图像智能目标检测方法、系统、电子设备及存储介质
CN115797929A (zh) 基于双注意力机制的小型农田图像分割方法、装置
CN114511749A (zh) 图像处理方法、装置、计算机设备及存储介质
CN112215878B (zh) 一种基于surf特征点的x光图像配准方法
CN113237881A (zh) 一种特定细胞的检测方法、装置和病理切片检测系统
CN110738658B (zh) 图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20221104

Assignee: Shanghai Chuxian Medical Technology Co.,Ltd.

Assignor: Wuhan Chujingling Medical Technology Co.,Ltd.

Contract record no.: X2023420000041

Denomination of invention: Method, device, equipment, and medium for measuring the size of markers based on electronic endoscope

Granted publication date: 20221227

License type: Common License

Record date: 20230321

EE01 Entry into force of recordation of patent licensing contract