CN112508854B - 一种基于unet的肾小管检测分割方法 - Google Patents

一种基于unet的肾小管检测分割方法 Download PDF

Info

Publication number
CN112508854B
CN112508854B CN202011273059.XA CN202011273059A CN112508854B CN 112508854 B CN112508854 B CN 112508854B CN 202011273059 A CN202011273059 A CN 202011273059A CN 112508854 B CN112508854 B CN 112508854B
Authority
CN
China
Prior art keywords
picture
renal
pixel points
pathological
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011273059.XA
Other languages
English (en)
Other versions
CN112508854A (zh
Inventor
汪太平
张敏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yipai Intelligent Technology Co ltd
Original Assignee
Hangzhou Yipai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yipai Intelligent Technology Co ltd filed Critical Hangzhou Yipai Intelligent Technology Co ltd
Priority to CN202011273059.XA priority Critical patent/CN112508854B/zh
Publication of CN112508854A publication Critical patent/CN112508854A/zh
Application granted granted Critical
Publication of CN112508854B publication Critical patent/CN112508854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于UNET的肾小管检测分割方法，用于将采集到的病理图像中的肾小管组织所在区域检测并分割出来，所述检测分割方法包括训练阶段和推理阶段，其中训练阶段用于标记肾小管数据，训练UNET模型，所述推理阶段将训练好的UNET模型用于将病理图像中肾小管组织的检测和分割。本发明的分割方法能够针对病理条图像中肾小管组织所对应的区域进行准确的识别并能够很好地将相邻肾小管组织分开，便于数字化读片，有利于提高数字化读片的自动化和准确性。

Description

一种基于UNET的肾小管检测分割方法
技术领域
本发明涉及图像检测识别分割技术领域，更具体的说，它涉及一种病理条中某个具有特征的病理区域的识别和分离方法。
背景技术
病理检查是用以检查机体器官、组织或细胞中的病理改变的病理形态学方法。为探讨器官、组织或细胞所发生的疾病过程，可采用某种病理形态学检查的方法，检查他们所发生的病变，探讨病变产生的原因、发病机理、病变的发生发展过程，最后做出病理诊断。病理形态学的检查方法，首先观察大体标本的病理改变，然后切取一定大小的病变组织，用病理组织学方法制成病理切片，用显微镜进一步检查病变。
数字切片系统能够将整个载玻片全信息、全方位快速扫描，使传统物质化的载玻片变成新一代数字化病理切片，是对病理诊断技术实现划时代的变革。可使病理医生脱离显微镜，随时随地通过网络解决病理诊断，实现全球在线同步远程会诊或离线远程会诊，由于提供全切片信息，使诊断价值等同显微镜观察，其时间空间穿插传递优势具有重大意义。还实现病理切片多层三维重建，病理切片管理数字化。该系统可广泛用于病理临床诊断、病理教学、组织学细胞成像、荧光分析、免疫组化数字成像。
但是，数字切片系统能否完整清晰地再现病理条的原状，是数字读片的一个技术难点，此外，对于不同病灶是否能够准确定位到病理条上所对应的区域也是数字读片需要解决的问题。例如，众所周知，UNET算法在医学图像分割中的表现非常的优秀，也是数字化读片的优选分割方法之一。
肾小管是与肾小囊壁层相连的一条长为30～50mm的细长上皮性小管，具有重吸收和排泌功能，在排泄代谢产物、维持机体体液平衡及酸碱平衡方面起关键作用，从结构上来说，肾小管主要包括近曲小管、髓袢和远曲小管三部分，除此之外，肾小管还包括集合管，通常来说，缺血、感染和毒物可引起肾小管上皮细胞变性坏死，导致肾功能障碍，某些药物和激素，如醛固酮、抗利尿激素、心房钠尿肽(心钠素)、甲状旁腺激素等也可导致肾小管功能改变，通常来说，对肾小管的检验可采集相应部位的组织进行显微观察，在数字读片方式中，肾小管相应部位的组织切片被采集为图像后，在图像中通常表现为粘连、重叠等形式。因此，在数字读片的应用场景中，仅通过传统的图像识别和模型算法无法很好地将同一个图像内的肾小管片区分割开来。
在现有技术中也鲜见这方面的针对性文献报道，在现有技术中的研究主要集中在成像方面的研究，例如中国专利申请CN 108885204A公开了一种用于预测具有不同化学结构的异生物的细胞类型特异性毒性的基于高通量成像的方法，该方法提供了一种预测可溶性或粒子化合物的体内近端肾小管、支气管上皮和肺泡细胞特异性毒性的方法，实际上并未提及关于肾小管在图像分割中的相关内容，对于本发明的背景技术中所提到的问题没有技术意义。
发明内容
本发明所要解决的技术问题是：针对数字读片的不足，提供一种基于UNET的肾小管检测分割方法。
本发明解决上述技术问题所采用的技术方案是：
一种基于UNET的肾小管检测分割方法，所述检测分割方法用于对采集到的病理图像中的肾小管区域进行检测并将病理图像中的肾小管组织分割开来；所述检测分割方法包括训练阶段和推理阶段，其中训练阶段用于标记肾小管数据，训练UNET模型，所述推理阶段将训练好的UNET模型用于肾小管区域和肾小管组织的检测和分割。
在本发明中，所述的肾小管组织主要是指采样到可读片的载体上的肾小管的组织或者细胞组织，例如肾小管组织切片、肾小管上皮细胞采样切片等，不仅是狭义上的肾小管组织，也可以是细胞组织，这些肾小管组织都是微观状态，需要通过显微镜进行观察，因此在数字读片的时候也需要采用带有显微结构的图片采集装置，本发明不涉及设备结构的改进，主要是读片方法的改进，对于显微结构和采集设备方面本发明可以采用现有技术中的方案。
进一步地，所述检测分割方法还包括采集包含肾小管区域的病理图像的步骤，该步骤具体包括：
(2.1)病理图像的获得：将载有包含了肾小管组织的待检测物的载体放置在图像采集区域，通过显微镜和摄像头采集载体上的包含肾小管组织区域的病理图像；
(2.2)清晰度调整：对目标图像进行分析处理，获得足够清晰度的病理图像。
进一步地，所述检测分割方法还包括对采集到的病理图像进行肾小管区域定位的步骤，该步骤具体包括：
(3.1)病理图像的二值化：将采集到的病理图像进行扫描，获取每个像素点的灰度值并进行统计，根据设定的阈值，对所有像素点进行二值化；
(3.2)连通区域的处理：将二值化后的病理图像通过八连通区域判断连通范围，找到病理片区；
(3.3)病理区域的定位：通过FPN特征金字塔网络将二值化后的病理图像缩放成多个比例，每个比例单独进行特征提取，通过连通分析去除干扰区域，获得肾小管组织所在的病理区域的位置。
进一步地，所述的训练阶段具体包括以下步骤：
(4.1)搜集素材：搜集一定量的已知包含肾小管组织的病理图片，并将原图标记为I；
(4.2)标记轮廓：用开源标注工具Labelme标记原图I中的肾小管，获得每个肾小管的轮廓；
(4.3)获取像素：建立图片输出，根据肾小管组织的轮廓和建立的图片输出获得肾小管组织内的像素点、肾小管组织边缘上的像素点以及肾小管组织外的像素点；
(4.4)建模训练：用PyTorch搭建训练环境，选择UNET模型，设置模型的训练损失函数为：
L＝w1L1+w2L2+w3L3；
其中，为L1、L2、L3为3个图片输出上像素点的交叉熵损失，w1、w2、w3为对应的权重；
将原图I和3个图片输出代入模型进行训练。
进一步地，所述肾小管组织内的像素点的获得具体包括以下步骤：
(5.1)新建一张与原图I尺寸相同大小的单通道图片，记为图片B，对图片B用0值填充；
(5.2)用OpenCV的drawContours函数，将肾小管组织的轮廓用值255绘制到图片B上，线条宽度设为2像素；
(5.3)新建一张与原图I相同大小的单通道图片C，记为图片C，对图片C用0值填充；
(5.4)用OpenCV的drawContours函数，将肾小管组织的轮廓用值255绘制到图片C上，线条宽度设为-1像素；
(5.5)从图片C中去除图片B对应的部分，得到剩余图片上的像素点即为肾小管组织内的像素点。
进一步地，所述肾小管组织边缘上的像素点的获得具体包括以下步骤：
(6.1)新建一张与原图I相同大小的单通道图片，记为图片B，对图片B用0值填充；
(6.2)用OpenCV的drawContours函数，将肾小管组织的轮廓用值255绘制到图片B上，线条宽度设为2像素；
(6.3)统计图片B上线条所占据的像素点，即为肾小管组织边缘上的像素点。
进一步地，所述肾小管组织外的像素点的获得具体包括以下步骤：
(7.1)新建一张与原图I尺寸相同大小的单通道图片，记为图片B，对图片B用0值填充；
(7.2)用OpenCV的drawContours函数，将肾小管组织的轮廓用值255绘制到图片B上，线条宽度设为2像素；
(7.3)新建一张与原图I相同大小的单通道图片，记为图片C，对图片C用0值填充；
(7.4)用OpenCV的drawContours函数，将肾小管组织的轮廓用值255绘制到图片C上，线条宽度设为-1像素；
(7.5)新建一张与原图I相同大小的单通道图片，记为图片D，对图片D用值255填充；
(7.6)从图片D中去除图片B和图片C对应的部分，得到剩余图片上的像素点即为得到肾小管组织外的像素点：
进一步地，在所述建模训练过程中，输入为原图I，输出的GroundTruth分别为图片B、图片C和图片D，从而将每个原图I上的像素点分为三类：肾小管组织内的像素点、肾小管组织边缘上的像素点和肾小管组织外的像素点。
进一步地，所述的推理阶段具体包括以下步骤：
(9.1)将待处理的图片输入训练好的UNET模型，分别得到图片输出；
(9.2)图片输出中图Cp用阈值0.5进行二值化，通过四连通区域判断连通范围，每个连通范围即表示一个完整的肾小管组织对应在病理图像中的区域，从而找到每个肾小管组织内部的像素点；
(9.3)对每个肾小管组织内部的像素点进行膨胀处理；获取每个肾小管组织完整的轮廓。
进一步地，所述的推理阶段还包括对轮廓进行验证的步骤，该验证的步骤具体包括：
(10.1)用OpenCV的findContours函数找到小管的外轮廓像素点；
(10.2)从对应肾小管边缘上的像素点的图片输出中获取这些外轮廓像素点的像素值；
(10.3)取这些像素值的平均值，作为该肾小管的置信度得分；
(10.4)判断肾小管的置信度得分是否符合设定置信度得分值，将低于设定置信度得分值的肾小管交由人工核查。
作为本发明的发明内容之一，本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器在执行所述计算机程序时能够实现上述的肾小管检测分割方法的步骤。
作为本发明的发明内容之一，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述的肾小管检测分割方法的步骤。
本发明的有益效果是：
本发明的分割方法能够针对病理条图像中肾小管所对应的区域进行准确的识别并能够很好地将相邻肾小管分开，便于数字化读片，有利于提高数字化读片的自动化和准确性。
附图说明
图1是本发明的整体流程图。
图2是搜集到的已知包含肾小管组织的病理图片示例，即文中的原图I。
图3是经过用开源标注工具Labelme标记过的原图I。
图4是训练阶段所建立的单通道图片B。
图5是训练阶段所建立的单通道图片C。
图6是训练阶段所建立的单通道图片D。
图7是推理阶段的输出图片Bp。
图8是推理阶段的输出图片Cp。
图9是推理阶段的输出图片Dp。
图10是本发明的计算机设备的结构框图。
具体实施方式
为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
实施例1，参照附图1-9。
本发明提供了一种基于UNET的肾小管检测分割方法，所述检测分割方法用于将采集到的病理图像中的肾小管区域检测并分割出来，所述检测分割方法包括训练阶段和推理阶段，其中训练阶段用于标记肾小管数据，训练UNET模型，所述推理阶段将训练好的UNET模型用于肾小管区域的检测和分割。
具体来说，如图1所示，本发明的检测分割方法包括以下步骤：
S1，搜集200张的包含肾小管组织的病理图像，将原图均标记为I，如图2所示，为了方便描述，下文均以其中一个原图I为例进行说明。
S2，用开源标注工具Labelme标记原图I中的肾小管，获得每个肾小管的轮廓，如图3所示。
S3，新建一张与原图I相同大小的单通道图片B，对单通道图片B用0值填充；用OpenCV的drawContours函数，将肾小管的轮廓用值255绘制到单通道图片B上，线条宽度设为2像素，获得如图4所示的单通道图片B。
S4，统计单通道图片B上线条所占据的像素点，记为肾小管边缘上的像素点。
S5，新建一张与原图I相同大小的单通道图片C，对单通道图片C用0值填充，用OpenCV的drawContours函数，将肾小管的轮廓用值255绘制到单通道图片C上，线条宽度设为-1像素，获得如图5所示的单通道图片C。
S6，从单通道图片C中去除单通道图片B对应的部分，得到剩余图片上的像素点记为肾小管内的像素点。
S7，新建一张与原图I相同大小的单通道图片D，对单通道图片D用值255填充，获得如图6所示的单通道图片D。
S8，从单通道图片D中去除单通道图片B和单通道图片C对应的部分，得到剩余图片上的像素点即为得到肾小管外的像素点。
综上，得到训练模型所需的素材，包括：输入为原图I、输出的GroundTruth分别为单通道图片B、单通道图片C和单通道图片D，根据单通道图片B、单通道图片C和单通道图片D，将每个原图I上的像素点分为三类：肾小管内的像素点、肾小管边缘上的像素点和肾小管外的像素点，每张原图I都可以有对应的单通道图片B、单通道图片C和单通道图片D，这些图片和像素点的合集形成了训练样本合集。
S9，用PyTorch搭建训练环境，选择UNET模型，将原图I和单通道图片B、单通道图片C和单通道图片D输出代入UNET模型进行训练，设置模型的训练损失函数为：
L＝wBLB+wCLC+wDLD；
其中，为LB、LC、LD为单通道图片作为图片输出时其上像素点的交叉熵损失，wB、wC、wD为对应的权重。
经过一定量的样本训练后得到训练完成的改进型UNET模型。
获得了训练完成的模型后进入推理阶段。
S10，将载有待检测物的载体放置在图像采集区域，通过显微镜和摄像头采集载体上的包含待检测物区域的病理图像，这里也可以认为是新的原图I’，当原图I被识别后，也可以作为后续的训练或矫正模型的样本；
在步骤S10中，载有待检测物的载体可以是满足载有肾小管组织或者上皮细胞切片的载玻片，载玻片已经经过刮片处理，满足检测条件，也可以是其他形式的载体，通常来说，在数字读片的场景下，这种载体是可以被平面采集的。
此外由于组织切片需要放大观察，为了使数字切片所采集到的图像可以被识别或者直接观察，因此在摄像头拍摄的同时需配合显微镜来进行采集，通过显微镜和摄像头来采集图像是现有技术当中的数字切片仪可以实现的技术，本发明在这方面可以采用已知的方式。
S11，对采集到的病理图像进行清晰度调整。
为了病理图像的准确读片，对所采集的病理图像的清晰度有较高的要求，在现有技术中的普通单图采集通常达不到清晰度的要求，在本发明中可以采用多图采集和拼接的方式来对图像不清楚的部分进行弥补和替换，从而使整个图像上所有的区域都满足数字读片的清晰度条件。
S12，对所采集到的病理图像进行肾小管区域的初步定位。
初步定位主要用于对病理图像上的区域进行粗定位，大致区分肾小管所在的区域，初步定位可以采用现有技术中的普通图像识别和区分的方式来实现，例如通过前景和背景的区分，获得作为前景的初步定为区域，也可以采用以下方式进行：
(1)病理图像的二值化：将采集到的病理图像进行扫描，获取每个像素点的灰度值并进行统计，根据设定的阈值，对所有像素点进行二值化；
(2)连通区域的处理：将二值化后的病理图像通过八连通区域判断连通范围，找到病理片区；
(3)病理区域的定位：通过FPN特征金字塔网络将图片缩放成多个比例，每个比例单独进行特征提取，通过连通分析去除干扰区域，获得病理区域的位置。
S13，将待分割的原图I’(也可以是初步定位后针对肾小管区域裁剪后的图片I”)输入训练好的UNET模型，分别得到如图7所示的图片输出Bp、如图8所示的图片输出Cp和如图9所示的图片输出Dp；
S14，对图片输出Cp用阈值0.5进行二值化，通过四连通区域判断连通范围，从而找到每个肾小管组织内部的像素点；
在本发明中，图像Bp和图像Cp都是确实是肾小管轮廓的输出，但是图像Bp的轮廓是比较细的，很容易出现轮廓中的某些点断掉，或者多个肾小管组织的轮廓相连的问题。而图像Cp是肾小管内的像素点，即使缺失了一些像素，对于整体的影响还是比较小的，所以在这步中我们选图像Cp。
S15，对每个肾小管内部的像素点进行膨胀处理；获取每个肾小管完整的轮廓。
S16，对轮廓进行验证的步骤，该验证的步骤具体包括：
(1)用OpenCV的findContours函数找到小管的外轮廓像素点；
(2)从对应肾小管边缘上的像素点的图片输出中获取这些外轮廓像素点的像素值；
(3)取这些像素值的平均值，作为该肾小管的置信度得分；
(4)判断肾小管的置信度得分是否符合设定的置信度得分值，例如目前可以设定的比较高的置信度得分阈值可以为0.9，将低于设定置信度得分值的肾小管交由人工核查。
实施例2，参照附图10。
在本实施例中，提供了一种计算机设备100，包括存储器101、处理器102及存储在存储器101上并可在处理器102上运行的计算机程序103，处理器102执行计算机程序103时能够实现上述实施例1所提供的检测分割方法中的步骤。
实施例3。
在本实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时能够实现上述各个实施例所提供的检测分割方法中的步骤。
在本实施例中，所述计算机程序可以是实施例2中的计算机程序。
在本实施例中，所述计算机可读存储介质可以被实施例2中的计算机设备所运行。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例的所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (11)

1.一种基于UNET的肾小管检测分割方法，其特征在于，所述检测分割方法用于对采集到的病理图像中的肾小管区域进行检测并将病理图像中的肾小管组织分割开来；所述检测分割方法包括训练阶段和推理阶段，其中训练阶段用于标记肾小管数据，训练UNET模型，所述推理阶段将训练好的UNET模型用于肾小管区域和肾小管组织的检测和分割；
所述检测分割方法还包括对采集到的病理图像进行肾小管组织所在区域定位的步骤，该步骤具体包括：
（1.1）病理图像的二值化：将采集到的病理图像进行扫描，获取每个像素点的灰度值并进行统计，根据设定的阈值，对所有像素点进行二值化；
（1.2）连通区域的处理：将二值化后的病理图像通过八连通区域判断连通范围，找到包含肾小管组织的所有病理片区；
（1.3）病理区域的定位：通过FPN特征金字塔网络将病理图像缩放成多个比例，每个比例单独进行特征提取，通过连通分析去除干扰区域，获得肾小管组织所在的连续的病理区域的位置。
2.根据权利要求1所述的一种基于UNET的肾小管检测分割方法，其特征在于，所述检测分割方法还包括采集包含有肾小管组织的病理图像的步骤，该步骤具体包括：
（2.1）病理图像的获得：将载有包含肾小管组织的待检测物的载体放置在图像采集区域，通过显微镜和摄像头采集载体上的包含肾小管组织的病理图像；
（2.2）清晰度调整：对目标图像进行分析处理，获得足够清晰度的病理图像。
3.根据权利要求1所述的一种基于UNET的肾小管检测分割方法，其特征在于，所述的训练阶段具体包括以下步骤：
（4.1）搜集素材：搜集一定量的已知包含肾小管组织的病理图片，并将原图标记为I；
（4.2）标记轮廓：用开源标注工具Labelme标记原图I中的肾小管组织，获得每个肾小管组织的轮廓；
（4.3）获取像素：建立3个图片输出，根据肾小管组织的轮廓和建立的图片输出获得肾小管组织内的像素点、肾小管组织边缘上的像素点以及肾小管组织外的像素点；
（4.4）建模训练：用PyTorch搭建训练环境，选择UNET模型，设置模型的训练损失函数为：
L=w 1 L 1 +w 2 L 2 +w 3 L 3 ；
其中， L 1 、L 2 和L 3 分别为3个图片输出上像素点的交叉熵损失，w 1 、w 2 、w 3 为对应的权重；
将原图I和3个图片输出代入模型进行训练。
4.根据权利要求3所述的一种基于UNET的肾小管检测分割方法，其特征在于，所述肾小管组织内的像素点的获得具体包括以下步骤：
（5.1）新建一张与原图I尺寸相同大小的单通道图片，记为图片B，对图片B用0值填充；
（5.2）用OpenCV的drawContours函数，将肾小管组织的轮廓用值255绘制到图片B上，线条宽度设为2像素；
（5.3）新建一张与原图I相同大小的单通道图片C，记为图片C，对图片C用0值填充；
（5.4）用OpenCV的drawContours函数，将肾小管的轮廓用值255绘制到图片C上，线条宽度设为-1像素；
（5.5）从图片C中去除图片B对应的部分，得到剩余图片上的像素点即为肾小管组织内的像素点。
5.根据权利要求3所述的一种基于UNET的肾小管检测分割方法，其特征在于，所述肾小管组织边缘上的像素点的获得具体包括以下步骤：
（6.1）新建一张与原图I相同大小的单通道图片，记为图片B，对图片B用0值填充；
（6.2）用OpenCV的drawContours函数，将肾小管组织的轮廓用值255绘制到图片B上，线条宽度设为2像素；
（6.3）统计图片B上线条所占据的像素点，即为肾小管组织边缘上的像素点。
6.根据权利要求3所述的一种基于UNET的肾小管检测分割方法，其特征在于，所述肾小管组织外的像素点的获得具体包括以下步骤：
（7.1）新建一张与原图I尺寸相同大小的单通道图片，记为图片B，对图片B用0值填充；
（7.2）用OpenCV的drawContours函数，将肾小管组织的轮廓用值255绘制到图片B上，线条宽度设为2像素；
（7.3）新建一张与原图I相同大小的单通道图片，记为图片C，对图片C用0值填充；
（7.4）用OpenCV的drawContours函数，将肾小管组织的轮廓用值255绘制到图片C上，线条宽度设为-1像素；
（7.5）新建一张与原图I相同大小的单通道图片，记为图片D，对图片D用值255填充；
（7.6）从图片D中去除图片B和图片C对应的部分，得到剩余图片上的像素点即为得到肾小管组织外的像素点。
7.根据权利要求3-6中任一项所述的一种基于UNET的肾小管检测分割方法，其特征在于，在所述建模训练过程中，输入为原图I，输出的GroundTruth分别为图片B、图片C和图片D，从而将每个原图I上的像素点分为三类：肾小管组织内的像素点、肾小管组织边缘上的像素点和肾小管组织外的像素点。
8.根据权利要求1所述的一种基于UNET的肾小管检测分割方法，其特征在于，所述的推理阶段具体包括以下步骤：
（9.1）将待处理的图片输入训练好的UNET模型，分别得到图片输出；
（9.2）将图片输出中的图Cp用阈值0.5进行二值化，通过四连通区域判断连通范围，每个连通范围就表示一个肾小管组织，从而找到每个肾小管组织内部的像素点；
（9.3）对每个肾小管内部的像素点进行膨胀处理；获取每个肾小管组织完整的轮廓。
9.根据权利要求1或8所述的一种基于UNET的肾小管检测分割方法，其特征在于，所述的推理阶段还包括对轮廓进行验证的步骤，该验证的步骤具体包括：
（10.1）用OpenCV的findContours函数找到肾小管组织的外轮廓像素点；
（10.2）从对应肾小管组织边缘上的像素点的图片输出中获取这些外轮廓像素点的像素值；
（10.3）取这些像素值的平均值，作为该肾小管组织的轮廓的置信度得分；
（10.4）判断所述的置信度得分是否符合设定置信度得分值，将低于设定置信度得分值的肾小管组织交由人工核查。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时能够实现如权利要求1至9中任一项所述的肾小管检测分割方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能够实现如权利要求1至9中任一项所述的肾小管检测分割方法的步骤。
CN202011273059.XA 2020-11-13 2020-11-13 一种基于unet的肾小管检测分割方法 Active CN112508854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011273059.XA CN112508854B (zh) 2020-11-13 2020-11-13 一种基于unet的肾小管检测分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011273059.XA CN112508854B (zh) 2020-11-13 2020-11-13 一种基于unet的肾小管检测分割方法

Publications (2)

Publication Number Publication Date
CN112508854A CN112508854A (zh) 2021-03-16
CN112508854B true CN112508854B (zh) 2022-03-22

Family

ID=74957696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011273059.XA Active CN112508854B (zh) 2020-11-13 2020-11-13 一种基于unet的肾小管检测分割方法

Country Status (1)

Country Link
CN (1) CN112508854B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313685B (zh) * 2021-05-28 2022-11-29 太原理工大学 一种基于深度学习的肾小管萎缩区域识别方法与系统
CN114140639A (zh) * 2021-11-04 2022-03-04 杭州医派智能科技有限公司 一种基于深度学习的图像中肾脏血管极尿极分类方法、计算机设备及计算机可读存储介质
CN114119541B (zh) * 2021-11-24 2023-05-30 杭州医派智能科技有限公司 一种肾小球球囊基膜增厚的检测方法、设备及存储介质
CN114463249B (zh) * 2021-11-24 2024-04-05 杭州医派智能科技有限公司 一种基于深度学习的用于评估肾小球周围组织纤维化的辅助方法、计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793902A (zh) * 2012-10-26 2014-05-14 西门子医疗保健诊断公司 管型识别方法和装置、以及尿液分析仪
KR20170000189A (ko) * 2015-06-23 2017-01-02 한국과학기술연구원 인 비트로 섬유증 모델, 그의 제조방법 및 용도
CN109961059A (zh) * 2019-04-10 2019-07-02 杭州智团信息技术有限公司 检测肾脏感兴趣组织区域的方法及系统
CN111627024A (zh) * 2020-05-14 2020-09-04 辽宁工程技术大学 一种改进U-net的肾脏肿瘤分割方法
CN111798416A (zh) * 2019-06-20 2020-10-20 太原理工大学 基于病理图像与深度学习的肾小球智能检测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8410248B2 (en) * 1999-03-12 2013-04-02 Human Genome Sciences Inc. HWBAO62 polypeptides
CN106485700A (zh) * 2016-09-23 2017-03-08 电子科技大学 一种基于卷积神经网络的肾小管上皮细胞的自动检测方法
CN111476794B (zh) * 2019-01-24 2023-10-20 武汉兰丁智能医学股份有限公司 一种基于unet的宫颈病理组织分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793902A (zh) * 2012-10-26 2014-05-14 西门子医疗保健诊断公司 管型识别方法和装置、以及尿液分析仪
KR20170000189A (ko) * 2015-06-23 2017-01-02 한국과학기술연구원 인 비트로 섬유증 모델, 그의 제조방법 및 용도
CN109961059A (zh) * 2019-04-10 2019-07-02 杭州智团信息技术有限公司 检测肾脏感兴趣组织区域的方法及系统
CN111798416A (zh) * 2019-06-20 2020-10-20 太原理工大学 基于病理图像与深度学习的肾小球智能检测方法及系统
CN111627024A (zh) * 2020-05-14 2020-09-04 辽宁工程技术大学 一种改进U-net的肾脏肿瘤分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DEEP LEARNING TO PREDICT DEGREE OF INTERSTITIAL FIBROSIS AND TUBULAR ATROPHY FROM KIDNEY ULTRASOUND IMAGES – AN ARTIFICIAL INTELLIGENCE APPROACH;Ambarish M. Athavale 等;《medRXiv》;20200821;第1-30页 *
Joint segmentation scheme for renal tubular image;Hu Dong 等;《Proceedings of SPIE - The International Society for Optical Engineering》;20021231;第4875卷;第354-358页 *
一种肾小管病理图像分割算法;傅明建 等;《第十四届全国图象图形学学术会议》;20130630;第183-185页 *
基于深度学习的OCT医学图像研究进展;杨德圆 等;《中国激光医学杂志》;20200228;第29卷(第1期);第33-39页 *

Also Published As

Publication number Publication date
CN112508854A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112508854B (zh) 一种基于unet的肾小管检测分割方法
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US9355445B2 (en) Breast cancer pathological image diagnosis support system, breast cancer pathological image diagnosis support method, and recording medium recording breast cancer pathological image diagnosis support program
CA2966555C (en) Systems and methods for co-expression analysis in immunoscore computation
US11226280B2 (en) Automated slide assessments and tracking in digital microscopy
López et al. Digital image analysis in breast cancer: an example of an automated methodology and the effects of image compression
US20240079116A1 (en) Automated segmentation of artifacts in histopathology images
CN112750121B (zh) 用于病理玻片数字图像质量检测的系统及其方法
EP4196889A1 (en) Machine learning models for cell localization and classification learned using repel coding
US20230360208A1 (en) Training end-to-end weakly supervised networks at the specimen (supra-image) level
US20230162485A1 (en) Digital analysis of preanalytical factors in tissues used for histological staining
US9785848B2 (en) Automated staining and segmentation quality control
Razavi et al. An automated and accurate methodology to assess ki-67 labeling index of immunohistochemical staining images of breast cancer tissues
US20220260825A1 (en) Scanning/pre-scanning quality control of slides
CN112233123B (zh) 病理图片中肿瘤间质分类方法、装置、计算机设备及存储介质
Seminowich et al. Segmentation of cell nuclei in images of renal biopsy samples
CN117315649A (zh) 病理图片的解读方法及装置、设备及存储介质
Jurgas et al. Artifact Augmentation for Learning-based Quality Control of Whole Slide Images
Blahova et al. Blood Smear Leukocyte Identification Using an Image Segmentation Approach
Seminowich et al. Segmentation of the effective area of images of renal biopsy samples
Heindl et al. Towards a versatile automated cell-detection system for science and diagnostics
STRZODA et al. TUMOR DETECTION ON HE-STAINED HISTOPATHOLOGICAL IMAGES USING DEEP LEARNING METHODS: CHALLENGES AND SOLUTIONS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant