CN112330687A - 基于ai技术肾脏病理图像分割模型、方法及系统 - Google Patents
基于ai技术肾脏病理图像分割模型、方法及系统 Download PDFInfo
- Publication number
- CN112330687A CN112330687A CN202011119567.2A CN202011119567A CN112330687A CN 112330687 A CN112330687 A CN 112330687A CN 202011119567 A CN202011119567 A CN 202011119567A CN 112330687 A CN112330687 A CN 112330687A
- Authority
- CN
- China
- Prior art keywords
- image
- kidney
- image segmentation
- sampling
- kidney pathology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003734 kidney Anatomy 0.000 title claims abstract description 134
- 238000003709 image segmentation Methods 0.000 title claims abstract description 129
- 230000001575 pathological effect Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000005516 engineering process Methods 0.000 title claims description 27
- 230000007170 pathology Effects 0.000 claims abstract description 88
- 238000013528 artificial neural network Methods 0.000 claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 208000017169 kidney disease Diseases 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims description 94
- 238000004364 calculation method Methods 0.000 claims description 42
- 230000001537 neural effect Effects 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000002372 labelling Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000011161 development Methods 0.000 claims description 8
- 230000018109 developmental process Effects 0.000 claims description 8
- 230000000295 complement effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 210000005239 tubule Anatomy 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 210000001519 tissue Anatomy 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011862 kidney biopsy Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000005156 Dehydration Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000005084 renal tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明通过构建U‑net全卷积神经网络作为肾脏病理图像分割基础模型，对肾脏病理图像分割基础模型进行AI训练，得到至少3个预期肾脏病理图像分割模型；采用肾脏病理图像分割基础模型构建的U‑net全卷积神经网络集，进行投票获得最优二值图；对最优二值图进行处理，将最优二值图还原成原始图片等步骤最终得到了分割结果的肾脏病病理图。本发明方法以及依据本发明方法的系统能够将肾脏病病理图的AI分割，以此辅助诊断医生对肾脏病病理图像进行识别。
Description
技术领域
本发明涉及医学图像处理技术，具体的说是一种基于AI技术的肾脏病理图像分割模型、方法及系统。
背景技术
临床上，医院对肾病患者进行肾脏活检。首先，从患者体内采用医疗器械穿刺取出部分肾脏组织；然后对组织进行脱水、透明、浸蜡、包埋、切片、染色医学处理；接着，将处理好的组织放到显微镜下，进行病理图片拍摄，得到肾脏活检病理电子图像。通过病理切片表征获得患者病理的类型，从而确诊患者肾脏病属于哪一种肾脏病，然后进一步制定治疗方案进行治疗。
诊断医生对图像进行识别，人工识别图像中是否存在某种病理特征，依此来判断是否患有包含此种特征的疾病。临床上，因为电子图像中有非常多的组织，如何找到某种病理特征，不仅需要专业的经验，还需要花费较多的时间，如同现在流行的找不同、找茬游戏一样，例如：在一张满是各种儿童玩具的图像中，寻找一个身上有五角星的娃娃一样，非常困难，诊断医生需要对一份活检样本所有的组织部位进行观测，找到所有的病变部位，从而综合临床指标进行肾脏病理分型判别。而一份活检样本中包含着大量的组织部位，不仅需要诊断医生具有专业的经验，还需要花费较多的时间，更需要耐心和细心。由此，在该环节中，因为人为主观因素，会造成判定差异性，甚至是误判情况的发生。
发明内容
为了解决上述技术问题，本发明提出一种基于AI技术肾脏病理图像分割模型，所述模型为U-net全卷积神经网络，所述U-net全卷积神经网络包括网络神经参数表，所述网络神经参数表为使得U-net全卷积神经网络计算出来的像素准确率能够达到设定预期值的网络神经参数表；所述U-net全卷积神经网络采用Python开发语言keras库中的CNN全卷积神经网络构建而成。
本发明还提出一种基于AI技术构建肾脏病理图像分割模型的方法，所述模型为U-net全卷积神经网络，所述U-net全卷积神经网络采用Python开发语言keras库中的CNN全卷积神经网络构建而成，包括如下步骤：
第一阶段：图像特征提取
步骤1，先搭建2个CNN全卷积神经网络，利用搭建的2个CNN全卷积神经网络对原图片进行连续卷积计算，得到卷积计算结果，卷积计算结果为图像特征；
步骤2，搭建最大池化层，压缩图像特征，得到一个下采样层；
由步骤1和步骤2构成一个下采样层；
步骤3，重复步骤1和步骤2，得到至少3个下采样层，采用最大池化层将输入的图像特征连续逐层压缩；得到压缩图像特征；
通过卷积计算不断抽象图像特征，可以更准确的提取图像的高维特征。
第二阶段：图像上采样
步骤4，搭建2个CNN全卷积神经网络，对压缩压缩图像特征进行连续卷积计算，得到卷积计算结果；
步骤5，搭建上采样层，步骤4卷积计算结果进行上采样，得到更高分辨率的图片特征；步骤4和步骤5构成一个上采样特征，更高分辨率的图片特征即上采样特征；
步骤6，上采样特征，将上采样特征所对应的下采样层的下采样特征，裁剪成与上采样特征相同大小的下采样特征；
步骤7，将步骤6裁剪后的下采样特征，和步骤5得到的上采样特征拼接，以补足一些图片的信息，得到一个上采样层；
步骤8，重复步骤4到步骤7，将步骤3得到的压缩图像特征逐层放大，最终获得与输入图片像素相同大小的二值图；
第三步：通过步骤1-8构建出U-net全卷积神经网络作为肾脏病理图像分割基础模型。
进一步的，还包括步骤9，对肾脏病理图像分割基础模型进行AI训练的步骤；具体如下，
S91、人工处理原始病理图像的步骤：
采用人工标注的方式进行原始病理图像进行标注；使用现有标注工具labelme，对原始病理图像进行待分割区域的标注，标注所得三张图片：原始图片、原图片+标注结果图片、标注结果二值化图片；
S92、将图片输入肾脏病理图像分割基础模型进行训练，获得预期肾脏病理图像分割模型的步骤：
将原始图片进行直方图均衡化处理，得到均衡化处理图像，将均衡化处理图像输入肾脏病理图像分割基础模型；
同时将标注结果二值化图片作为结果输入肾脏病理图像分割基础模型；
肾脏病理图像分割基础模型进行内部运算，对均衡化处理图像进行运算，给出二值图，与此同时，肾脏病理图像分割基础模型将二值图与输入的标注结果二值化图片进行比对，给出像素准确率；
人工对像素准确率进行判断，当像素准确率未达到预期值，重复上述过程，将均衡化处理图像输入肾脏病理图像分割基础模型，同时，再次将标注结果二值化图片作为结果输入肾脏病理图像分割基础模型，肾脏病理图像分割基础模型再次进行内部运算，对均衡化处理图像再次进行运算，给出二次二值图，肾脏病理图像分割基础模型将二次二值图与输入的标注结果二值化图片进行比对，再次给出像素准确率；直至像素准确率达到预期值；
将像素准确率达到预期值的肾脏病理图像分割基础模型保存，该肾脏病理图像分割基础模型，由此得到预期肾脏病理图像分割模型；
所述预期肾脏病理图像分割模型包括网络神经参数表，该网络神经参数表使得计算出来的像素准确率能够达到预期值；
S93、得到多个预期肾脏病理图像分割模型的步骤
至少重复3次步骤S92，得到至少3个预期肾脏病理图像分割模型。
进一步的，本发明基于AI技术构建肾脏病理图像分割模型的方法中，所述肾脏病理图像分割基础模型采用U-net全卷积神经网络作为基础模型，该模型具有自动调整参数表实现不同输出结果的功能，该U-net全卷积神经网络具有根据优化函数自动调整网络神经参数表的功能，通过调整网络神经参数表使优化函数不断趋于零，从而使得多频次输入原始图片，像素准确率总体不断提升，直到像素准确率达到预期值。
进一步的，本发明基于AI技术构建肾脏病理图像分割模型的方法，步骤S91中所述待分割区域为肾小球、新月体、肾小管病理部位。
进一步的，本发明基于AI技术构建肾脏病理图像分割模型的方法，所述均衡化处理图像包括如下步骤：
采用OpenCV库中的equalizeHist方法对原图进行直方图均衡化，对原始图像的像素灰度做映射变换, 使变换后图像灰度的概率密度呈均匀分布，以提升图片对比度。
进一步的，所述均衡化处理图像包括如下步骤：采用直方图均衡化，对原图像进行非线性拉伸，重新分配图像象元值，使一定灰度范围内象元值的数量大致相等；这样,原来直方图中间的峰顶部分对比度得到增强,而两侧的谷底部分对比度降低,输出图像的直方图是一个较平的分段直方图，如果输出数据分段值较小的话,会产生粗略分类的视觉效果。
本发明还提出一种应用肾脏病理图像分割模型进行肾脏病理图像分割的方法，包括如下步骤；
第一阶段：图像特征提取：
步骤1，先搭建2个CNN全卷积神经网络，利用搭建的2个CNN全卷积神经网络对原图片进行连续卷积计算，得到卷积计算结果，卷积计算结果为图像特征；
步骤2，搭建最大池化层，压缩图像特征，得到一个下采样层；
由步骤1和步骤2构成一个下采样层；
步骤3，重复步骤1和步骤2，得到至少3个下采样层，采用最大池化层将输入的图像特征连续逐层压缩；得到压缩图像特征；
通过卷积计算不断抽象图像特征，可以更准确的提取图像的高维特征；
第二阶段：图像上采样：
步骤4，搭建2个CNN全卷积神经网络，对压缩压缩图像特征进行连续卷积计算，得到卷积计算结果；
步骤5，搭建上采样层，步骤4卷积计算结果进行上采样，得到更高分辨率的图片特征；步骤4和步骤5构成一个上采样特征，更高分辨率的图片特征即上采样特征；
步骤6，上采样特征，将上采样特征所对应的下采样层的下采样特征，裁剪成与上采样特征相同大小的下采样特征；
步骤7，将步骤6裁剪后的下采样特征，和步骤5得到的上采样特征拼接，以补足一些图片的信息，得到一个上采样层；
步骤8，重复步骤4到步骤7，将步骤3得到的压缩图像特征逐层放大，最终获得与输入图片像素相同大小的二值图；
通过步骤1-8构建出U-net全卷积神经网络作为肾脏病理图像分割基础模型；
步骤9，对肾脏病理图像分割基础模型进行AI训练，得到至少3个预期肾脏病理图像分割模型；
第三阶段：采用为肾脏病理图像分割基础模型构建U-net全卷积神经网络集，进行投票获得最优二值图；
将至少3个预期肾脏病理图像分割模型，构建成肾脏病理图像分割模型集，分别将肾脏病理原图进行均衡化处理，得到均衡化处理图像，将均衡化处理图像输入每个肾脏病理图像分割基础模型，分别得到二值图，二值图中每个像素点的值称为二值像素；
采用投票法对每张二值图中的每一个同一位置的像素点进行投票；
所述投票法包括设定阈值，投票结果超过阈值的即为1，否则为0，作为该像素点的最终结果；
新建一张和二值图相同大小的图片，将该像素点的最终结果存入新图片对应像素点的位置，当将每一个像素点的最终结果存入新图片对应像素点的位置后，最终得到最优二值图；
第四阶段：对最优二值图进行处理，将最优二值图还原成原始图片；
在原图上，找到与每一个最优二值图相对应的，最优二值图中二值像素值为1的位置所代表的像素值，将该该像素值填入最优二值图中相应位置，替换掉该像素点的二值像素；
最终得到完成分割结果的肾脏病病理图。
本发明还提出一种基于AI技术肾脏病理图像分割的系统，所述系统采用的模型为U-net全卷积神经网络，所述U-net全卷积神经网络包括网络神经参数表，所述网络神经参数表为使得U-net全卷积神经网络计算出来的像素准确率能够达到设定预期值的网络神经参数表；所述U-net全卷积神经网络采用Python开发语言keras库中的CNN全卷积神经网络构建而成。
本发明还一种基于AI技术肾脏病理图像分割的系统，所述系统采用本发明应用肾脏病理图像分割模型进行肾脏病理图像分割的方法。
有益效果：
本发明通过构建U-net全卷积神经网络作为肾脏病理图像分割基础模型，对肾脏病理图像分割基础模型进行AI训练，得到至少3个预期肾脏病理图像分割模型；采用肾脏病理图像分割基础模型构建的U-net全卷积神经网络集，进行投票获得最优二值图；对最优二值图进行处理，将最优二值图还原成原始图片等步骤最终得到了分割结果的肾脏病病理图。本发明方法以及依据本发明方法的系统能够将肾脏病病理图的AI分割，以此辅助诊断医生对肾脏病病理图像进行识别。
附图说明
图1为原始图片示例图；
图2为原图片+标注结果图片示例图；
图3为标注结果二值化图片示例图；
图4为原始图片示例图，
图5为对图4进行直方图均衡化处理后得到的示例图
图6为模型一所得结果示例图；
图7为模型二所得结果示例图；
图8为模型三所得结果示例图；
图9为模型最终结果示例图，即最优二值图；
图10为原始图片示例图；
图11为分割结果的肾脏病病理图示例图。
具体实施方式
实施例1：
本发明提出一种基于AI技术肾脏病理图像分割模型，所述模型为U-net全卷积神经网络，所述U-net全卷积神经网络包括网络神经参数表，所述网络神经参数表为使得U-net全卷积神经网络计算出来的像素准确率能够达到设定预期值的网络神经参数表；所述U-net全卷积神经网络采用Python开发语言keras库中的CNN全卷积神经网络构建而成。
全卷积神经网络卷积取代了全连接层，全连接层必须固定图像大小而卷积不用，使得全卷积神经网络使得可以输入任意尺寸的图片，而且输出也是图片，所以这是一个端到端的网络。
进一步的，本发明采用全卷积神经网络，U-net全卷积神经网络卷积对于FCN的重要改进是上采样部分有大量的特征通道，使得传播语义信息到高分辨率层。结果，扩展层或多或少对称于收缩层，产生了一个u型的结构。该网络没有任何的全连接层，每个像素都利用了输入图像的full context。该方法允许任意大图片的无缝分割通过一个overlap-tile策略。为了预测框中图像，缺失区域通过镜像输入图像扩张。这种tiling方法对于应用网络到大图像很重要，因为否则结果会被gpu内存限制。
实施例2：
本发明还提出一种基于AI技术构建肾脏病理图像分割模型的方法，所述模型为U-net全卷积神经网络，所述U-net全卷积神经网络采用Python开发语言keras库中的CNN全卷积神经网络构建而成，包括如下步骤：
第一阶段：图像特征提取
步骤1，先搭建2个CNN全卷积神经网络，利用搭建的2个CNN全卷积神经网络对原图片进行连续卷积计算，得到卷积计算结果，卷积计算结果为图像特征；
步骤2，搭建最大池化层，压缩图像特征，得到一个下采样层；
由步骤1和步骤2构成一个下采样层；
步骤3，重复步骤1和步骤2，得到至少3个下采样层，采用最大池化层将输入的图像特征连续逐层压缩；得到压缩图像特征；
通过卷积计算不断抽象图像特征，可以更准确的提取图像的高维特征。
第二阶段：图像上采样
步骤4，搭建2个CNN全卷积神经网络，对压缩压缩图像特征进行连续卷积计算，得到卷积计算结果；
步骤5，搭建上采样层，步骤4卷积计算结果进行上采样，得到更高分辨率的图片特征；步骤4和步骤5构成一个上采样特征，更高分辨率的图片特征即上采样特征；
步骤6，上采样特征，将上采样特征所对应的下采样层的下采样特征，裁剪成与上采样特征相同大小的下采样特征；
步骤7，将步骤6裁剪后的下采样特征，和步骤5得到的上采样特征拼接，以补足一些图片的信息，得到一个上采样层；
步骤8，重复步骤4到步骤7，将步骤3得到的压缩图像特征逐层放大，最终获得与输入图片像素相同大小的二值图。
第三步：通过步骤1-8构建出U-net全卷积神经网络作为肾脏病理图像分割基础模型。
进一步的，还包括步骤9，对肾脏病理图像分割基础模型进行AI训练的步骤；具体如下，
S91、人工处理原始病理图像的步骤：
采用人工标注的方式进行原始病理图像进行标注；使用现有标注工具labelme，对原始病理图像进行待分割区域（肾小球、新月体、肾小管等病理类型）的标注，标注所得三张图片：原始图片、原图片+标注结果图片、标注结果二值化图片；
原始图片示例如图1所示；
原图片+标注结果图片示例如图2所示；
标注结果二值化图片示例如图3所示；
S92、将图片输入肾脏病理图像分割基础模型进行训练，获得预期肾脏病理图像分割模型的步骤：
将原始图片进行直方图均衡化处理，得到均衡化处理图像，将均衡化处理图像输入肾脏病理图像分割基础模型；
同时将标注结果二值化图片作为结果输入肾脏病理图像分割基础模型；
肾脏病理图像分割基础模型进行内部运算，对均衡化处理图像进行运算，给出二值图，与此同时，肾脏病理图像分割基础模型将二值图与输入的标注结果二值化图片进行比对，给出像素准确率；
人工对像素准确率进行判断，当像素准确率未达到预期值，重复上述过程，将均衡化处理图像输入肾脏病理图像分割基础模型，同时，再次将标注结果二值化图片作为结果输入肾脏病理图像分割基础模型，肾脏病理图像分割基础模型再次进行内部运算，对均衡化处理图像再次进行运算，给出二次二值图，肾脏病理图像分割基础模型将二次二值图与输入的标注结果二值化图片进行比对，再次给出像素准确率；直至像素准确率达到预期值；
将像素准确率达到预期值的肾脏病理图像分割基础模型保存，该肾脏病理图像分割基础模型，由此得到预期肾脏病理图像分割模型；
所述预期肾脏病理图像分割模型包括网络神经参数表，该网络神经参数表使得计算出来的像素准确率能够达到预期值；
S93、得到多个预期肾脏病理图像分割模型的步骤
至少重复3次步骤S92，得到至少3个预期肾脏病理图像分割模型。
进一步的，本发明基于AI技术构建肾脏病理图像分割模型的方法中，所述肾脏病理图像分割基础模型采用U-net全卷积神经网络作为基础模型，该模型具有自动调整参数表实现不同输出结果的功能，该U-net全卷积神经网络具有根据优化函数自动调整网络神经参数表的功能，通过调整网络神经参数表使优化函数不断趋于零，从而使得多频次输入原始图片，像素准确率总体不断提升，直到像素准确率达到预期值。
进一步的，本发明基于AI技术构建肾脏病理图像分割模型的方法，步骤S91中所述待分割区域为肾小球、新月体、肾小管病理部位。
进一步的，本发明基于AI技术构建肾脏病理图像分割模型的方法，所述均衡化处理图像包括如下步骤：
采用OpenCV库中的equalizeHist方法对原图进行直方图均衡化，对原始图像的像素灰度做映射变换, 使变换后图像灰度的概率密度呈均匀分布，以提升图片对比度。
进一步的，所述均衡化处理图像包括如下步骤：采用直方图均衡化，对原图像进行非线性拉伸，重新分配图像象元值，使一定灰度范围内象元值的数量大致相等；这样,原来直方图中间的峰顶部分对比度得到增强,而两侧的谷底部分对比度降低,输出图像的直方图是一个较平的分段直方图，如果输出数据分段值较小的话,会产生粗略分类的视觉效果。
本发明图像直方图均衡化目的是为了提升图片的对比度以凸显图片中待分割区域的边界。本发明直方图均衡化，是对图像进行非线性拉伸，重新分配图像象元值，使一定灰度范围内象元值的数量大致相等。这样,原来直方图中间的峰顶部分对比度得到增强,而两侧的谷底部分对比度降低,输出图像的直方图是一个较平的分段直方图:如果输出数据分段值较小的话,会产生粗略分类的视觉效果。本发明直方图是表示数字图像中每一灰度出现频率的统计关系。直方图能给出图像灰度范围、每个灰度的频度和灰度的分布、整幅图像的平均明暗和对比度等概貌性描述。灰度直方图是灰度级的函数, 反映的是图像中具有该灰度级像素的个数, 其横坐标是灰度级r, 纵坐标是该灰度级出现的频率( 即像素的个数) pr( r) , 整个坐标系描述的是图像灰度级的分布情况, 由此可以看出图像的灰度分布特性, 即若大部分像素集中在低灰度区域, 图像呈现暗的特性; 若像素集中在高灰度区域, 图像呈现亮的特性。总体思想是对原始图像的像素灰度做映射变换,使变换后图像灰度的概率密度呈均匀分布。这就意味着图像灰度的动态范围得到了增加, 提高了图像的对比度。如图4、5所示，图4为原始图片，对图4进行直方图均衡化处理后，得到图5，从图5中可以看出，图片中待分割区域的边界凸显。
实施例3：
本发明还提出一种应用肾脏病理图像分割模型进行肾脏病理图像分割的方法，包括如下步骤；
第一阶段：图像特征提取：
步骤1，先搭建2个CNN全卷积神经网络，利用搭建的2个CNN全卷积神经网络对原图片进行连续卷积计算，得到卷积计算结果，卷积计算结果为图像特征；
步骤2，搭建最大池化层，压缩图像特征，得到一个下采样层；
由步骤1和步骤2构成一个下采样层；
步骤3，重复步骤1和步骤2，得到至少3个下采样层，采用最大池化层将输入的图像特征连续逐层压缩；得到压缩图像特征；
通过卷积计算不断抽象图像特征，可以更准确的提取图像的高维特征；
第二阶段：图像上采样：
步骤4，搭建2个CNN全卷积神经网络，对压缩压缩图像特征进行连续卷积计算，得到卷积计算结果；
步骤5，搭建上采样层，步骤4卷积计算结果进行上采样，得到更高分辨率的图片特征；步骤4和步骤5构成一个上采样特征，更高分辨率的图片特征即上采样特征；
步骤6，上采样特征，将上采样特征所对应的下采样层的下采样特征，裁剪成与上采样特征相同大小的下采样特征；
步骤7，将步骤6裁剪后的下采样特征，和步骤5得到的上采样特征拼接，以补足一些图片的信息，得到一个上采样层；
步骤8，重复步骤4到步骤7，将步骤3得到的压缩图像特征逐层放大，最终获得与输入图片像素相同大小的二值图；
通过步骤1-8构建出U-net全卷积神经网络作为肾脏病理图像分割基础模型；
步骤9，对肾脏病理图像分割基础模型进行AI训练，得到至少3个预期肾脏病理图像分割模型；
第三阶段：采用为肾脏病理图像分割基础模型构建U-net全卷积神经网络集，进行投票获得最优二值图；
将至少3个预期肾脏病理图像分割模型，构建成肾脏病理图像分割模型集，分别将肾脏病理原图进行均衡化处理，得到均衡化处理图像，将均衡化处理图像输入每个肾脏病理图像分割基础模型，分别得到二值图，二值图中每个像素点的值称为二值像素；
采用投票法对每张二值图中的每一个同一位置的像素点进行投票；
所述投票法包括设定阈值，投票结果超过阈值的即为1，否则为0，作为该像素点的最终结果；
新建一张和二值图相同大小的图片，将该像素点的最终结果存入新图片对应像素点的位置，当将每一个像素点的最终结果存入新图片对应像素点的位置后，最终得到最优二值图；
本发明采用投票法，因为单个分割模型在不同类型的病理图片分割效果不同，普遍存在单个分割模型在某部分病理图片分割效果好，同时也在另外一部分病理图片表现欠佳，所以采用投票法（vote）对多个模型的预测结果进行精确到像素点的投票，得到最终多模型的投票分割结果。
投票法示例如下：
通过多次对U-net模型进行训练，分别取每次的最优模型，如此重复三次，得到三个有效u-net模型如图6-8。
图6为模型一所得结果示例图；
图7为模型二所得结果示例图；
图8为模型三所得结果示例图。
分别对需要分割的图片进行图像分割。
确定一个颜色阈值，新建一个等同于原图片大小的像素点矩阵，分别对三个模型的结果图片进行像素点的遍历，如果该像素点满足阈值要求，则在新建的矩阵对应的像素点记为1否则记为0，如此类推。每一个像素点在三个模型结果中，满足阈值的模型结果个数大于等于2 则判断为有效分割。
新建一张和二值图相同大小的图片，将该像素点的最终结果存入新图片对应像素点的位置，当将每一个像素点的最终结果存入新图片对应像素点的位置后，最终得到最优二值图即模型最终结果，如图9所示；
图9为模型最终结果示例图，即最优二值图。
如图6-8所示，模型一、二、三所得的结果中存在很大的噪声数据，单个模型不能对病理图片进行有效切割，但是通过针对每个像素点的投票法得到的最优二值图可以消除单个模型对图片分割的误判。
第四阶段：对最优二值图进行处理，将最优二值图还原成原始图片；
图10为原始图片示例图。在原图即原始图片上，找到与每一个最优二值图相对应的，最优二值图中二值像素值为1的位置所代表的像素值，将该像素值填入最优二值图中相应位置，替换掉该像素点的二值像素；
最终得到完成分割结果的肾脏病病理图，分割结果的肾脏病病理图如图11所示。图11为分割结果的肾脏病病理图示例图。
具体而言，对投票结果进行处理，设定一个颜色阈值，遍历模型最终结果图片每一个像素点，记录每一个满足阈值的像素点的坐标位置，对应到原始图片，取出原始图片中的对应位置的像素点，得到最终的分割结果，实现病理图片的AI分割。
本发明通过构建U-net全卷积神经网络作为肾脏病理图像分割基础模型，对肾脏病理图像分割基础模型进行AI训练，得到至少3个预期肾脏病理图像分割模型；采用肾脏病理图像分割基础模型构建的U-net全卷积神经网络集，进行投票获得最优二值图；对最优二值图进行处理，将最优二值图还原成原始图片等步骤最终得到了分割结果的肾脏病病理图。本发明方法以及依据本发明方法的系统能够将肾脏病病理图的AI分割，以此辅助诊断医生对肾脏病病理图像进行识别。
实施例4：
本发明还提出一种基于AI技术肾脏病理图像分割的系统，所述系统采用的模型为U-net全卷积神经网络，所述U-net全卷积神经网络包括网络神经参数表，所述网络神经参数表为使得U-net全卷积神经网络计算出来的像素准确率能够达到设定预期值的网络神经参数表；所述U-net全卷积神经网络采用Python开发语言keras库中的CNN全卷积神经网络构建而成。
实施例5：
本发明还提出一种基于AI技术肾脏病理图像分割的系统，所述系统采用本发明应用肾脏病理图像分割模型进行肾脏病理图像分割的方法。
Claims (10)
1.一种基于AI技术肾脏病理图像分割模型，其特征在于：所述模型为U-net全卷积神经网络，所述U-net全卷积神经网络包括网络神经参数表，所述网络神经参数表为使得U-net全卷积神经网络计算出来的像素准确率能够达到设定预期值的网络神经参数表；所述U-net全卷积神经网络采用Python开发语言keras库中的CNN全卷积神经网络构建而成。
2.一种基于AI技术构建肾脏病理图像分割模型的方法，其特征在于：所述模型为U-net全卷积神经网络，所述U-net全卷积神经网络采用Python开发语言keras库中的CNN全卷积神经网络构建而成，包括如下步骤：
第一阶段：图像特征提取
步骤1，先搭建2个CNN全卷积神经网络，利用搭建的2个CNN全卷积神经网络对原图片进行连续卷积计算，得到卷积计算结果，卷积计算结果为图像特征；
步骤2，搭建最大池化层，压缩图像特征，得到一个下采样层；
由步骤1和步骤2构成一个下采样层；
步骤3，重复步骤1和步骤2，得到至少3个下采样层，采用最大池化层将输入的图像特征连续逐层压缩；得到压缩图像特征；
通过卷积计算不断抽象图像特征，可以更准确的提取图像的高维特征；
第二阶段：图像上采样
步骤4，搭建2个CNN全卷积神经网络，对压缩压缩图像特征进行连续卷积计算，得到卷积计算结果；
步骤5，搭建上采样层，步骤4卷积计算结果进行上采样，得到更高分辨率的图片特征；步骤4和步骤5构成一个上采样特征，更高分辨率的图片特征即上采样特征；
步骤6，上采样特征，将上采样特征所对应的下采样层的下采样特征，裁剪成与上采样特征相同大小的下采样特征；
步骤7，将步骤6裁剪后的下采样特征，和步骤5得到的上采样特征拼接，以补足一些图片的信息，得到一个上采样层；
步骤8，重复步骤4到步骤7，将步骤3得到的压缩图像特征逐层放大，最终获得与输入图片像素相同大小的二值图；
第三步：通过步骤1-8构建出U-net全卷积神经网络作为肾脏病理图像分割基础模型。
3.根据权利要求2所述的基于AI技术构建肾脏病理图像分割模型的方法，其特征在于：还包括步骤9对肾脏病理图像分割基础模型进行AI训练的步骤；具体如下，
S91、人工处理原始病理图像的步骤：
采用人工标注的方式进行原始病理图像进行标注；使用现有标注工具labelme，对原始病理图像进行待分割区域的标注，标注所得三张图片：原始图片、原图片+标注结果图片、标注结果二值化图片；
S92、将图片输入肾脏病理图像分割基础模型进行训练，获得预期肾脏病理图像分割模型的步骤：
将原始图片进行直方图均衡化处理，得到均衡化处理图像，将均衡化处理图像输入肾脏病理图像分割基础模型；
同时将标注结果二值化图片作为结果输入肾脏病理图像分割基础模型；
肾脏病理图像分割基础模型进行内部运算，对均衡化处理图像进行运算，给出二值图，与此同时，肾脏病理图像分割基础模型将二值图与输入的标注结果二值化图片进行比对，给出像素准确率；
人工对像素准确率进行判断，当像素准确率未达到预期值，重复上述过程，将均衡化处理图像输入肾脏病理图像分割基础模型，同时，再次将标注结果二值化图片作为结果输入肾脏病理图像分割基础模型，肾脏病理图像分割基础模型再次进行内部运算，对均衡化处理图像再次进行运算，给出二次二值图，肾脏病理图像分割基础模型将二次二值图与输入的标注结果二值化图片进行比对，再次给出像素准确率；直至像素准确率达到预期值；
将像素准确率达到预期值的肾脏病理图像分割基础模型保存，该肾脏病理图像分割基础模型，由此得到预期肾脏病理图像分割模型；
所述预期肾脏病理图像分割模型包括网络神经参数表，该网络神经参数表使得计算出来的像素准确率能够达到预期值；
S93、得到多个预期肾脏病理图像分割模型的步骤；
至少重复3次步骤S92，得到至少3个预期肾脏病理图像分割模型。
4.根据权利要求3所述的基于AI技术构建肾脏病理图像分割模型的方法，其特征在于：
所述肾脏病理图像分割基础模型采用U-net全卷积神经网络作为基础模型，该模型具有自动调整参数表实现不同输出结果的功能，该U-net全卷积神经网络具有根据优化函数自动调整网络神经参数表的功能，通过调整网络神经参数表使优化函数不断趋于零，从而使得多频次输入原始图片，像素准确率总体不断提升，直到像素准确率达到预期值。
5.根据权利要求3所述的基于AI技术构建肾脏病理图像分割模型的方法，其特征在于：步骤S91中所述待分割区域为肾小球、新月体、肾小管病理部位。
6.根据权利要求3所述的基于AI技术构建肾脏病理图像分割模型的方法，其特征在于：所述均衡化处理图像包括如下步骤：
采用OpenCV库中的equalizeHist方法对原图进行直方图均衡化，对原始图像的像素灰度做映射变换, 使变换后图像灰度的概率密度呈均匀分布，以提升图片对比度。
7.根据权利要求3所述的基于AI技术构建肾脏病理图像分割模型的方法，其特征在于：所述均衡化处理图像包括如下步骤：采用直方图均衡化，对原图像进行非线性拉伸，重新分配图像象元值，使一定灰度范围内象元值的数量大致相等；这样,原来直方图中间的峰顶部分对比度得到增强,而两侧的谷底部分对比度降低,输出图像的直方图是一个较平的分段直方图，如果输出数据分段值较小的话,会产生粗略分类的视觉效果。
8.一种应用肾脏病理图像分割模型进行肾脏病理图像分割的方法，其特征在于：
第一阶段：图像特征提取：
步骤1，先搭建2个CNN全卷积神经网络，利用搭建的2个CNN全卷积神经网络对原图片进行连续卷积计算，得到卷积计算结果，卷积计算结果为图像特征；
步骤2，搭建最大池化层，压缩图像特征，得到一个下采样层；
由步骤1和步骤2构成一个下采样层；
步骤3，重复步骤1和步骤2，得到至少3个下采样层，采用最大池化层将输入的图像特征连续逐层压缩；得到压缩图像特征；
通过卷积计算不断抽象图像特征，可以更准确的提取图像的高维特征；
第二阶段：图像上采样：
步骤4，搭建2个CNN全卷积神经网络，对压缩压缩图像特征进行连续卷积计算，得到卷积计算结果；
步骤5，搭建上采样层，步骤4卷积计算结果进行上采样，得到更高分辨率的图片特征；步骤4和步骤5构成一个上采样特征，更高分辨率的图片特征即上采样特征；
步骤6，上采样特征，将上采样特征所对应的下采样层的下采样特征，裁剪成与上采样特征相同大小的下采样特征；
步骤7，将步骤6裁剪后的下采样特征，和步骤5得到的上采样特征拼接，以补足一些图片的信息，得到一个上采样层；
步骤8，重复步骤4到步骤7，将步骤3得到的压缩图像特征逐层放大，最终获得与输入图片像素相同大小的二值图；
通过步骤1-8构建出U-net全卷积神经网络作为肾脏病理图像分割基础模型；
步骤9，对肾脏病理图像分割基础模型进行AI训练，得到至少3个预期肾脏病理图像分割模型；
第三阶段：采用为肾脏病理图像分割基础模型构建U-net全卷积神经网络集，进行投票获得最优二值图；
将至少3个预期肾脏病理图像分割模型，构建成肾脏病理图像分割模型集，分别将肾脏病理原图进行均衡化处理，得到均衡化处理图像，将均衡化处理图像输入每个肾脏病理图像分割基础模型，分别得到二值图，二值图中每个像素点的值称为二值像素；
采用投票法对每张二值图中的每一个同一位置的像素点进行投票；
所述投票法包括设定阈值，投票结果超过阈值的即为1，否则为0，作为该像素点的最终结果；
新建一张和二值图相同大小的图片，将该像素点的最终结果存入新图片对应像素点的位置，当将每一个像素点的最终结果存入新图片对应像素点的位置后，最终得到最优二值图；
第四阶段：对最优二值图进行处理，将最优二值图还原成原始图片；
在原图上，找到与每一个最优二值图相对应的，最优二值图中二值像素值为1的位置所代表的像素值，将该该像素值填入最优二值图中相应位置，替换掉该像素点的二值像素；
最终得到完成分割结果的肾脏病病理图。
9.一种基于AI技术肾脏病理图像分割的系统，其特征在于：所述系统采用权利要求1所述基于AI技术肾脏病理图像分割模型。
10.一种基于AI技术肾脏病理图像分割的系统，其特征在于：所述系统采用权利要求8所述的应用肾脏病理图像分割模型进行肾脏病理图像分割的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011119567.2A CN112330687B (zh) | 2020-10-19 | 2020-10-19 | 基于ai技术肾脏病理图像分割模型、方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011119567.2A CN112330687B (zh) | 2020-10-19 | 2020-10-19 | 基于ai技术肾脏病理图像分割模型、方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330687A true CN112330687A (zh) | 2021-02-05 |
| CN112330687B CN112330687B (zh) | 2022-10-28 |
Family
ID=74314066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011119567.2A Active CN112330687B (zh) | 2020-10-19 | 2020-10-19 | 基于ai技术肾脏病理图像分割模型、方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330687B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256582A (zh) * | 2021-05-21 | 2021-08-13 | 兰州兰石检测技术有限公司 | 一种基于U-net网络马氏体金相中原奥氏体晶界识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
| CN110570431A (zh) * | 2019-09-18 | 2019-12-13 | 东北大学 | 一种基于改进的卷积神经网络的医学图像分割方法 |
| CN110853038A (zh) * | 2019-10-15 | 2020-02-28 | 哈尔滨工程大学 | 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法 |
| CN111612799A (zh) * | 2020-05-15 | 2020-09-01 | 中南大学 | 面向人脸数据对不完整的网纹人脸修复方法、系统及存储介质 |
| CN111627024A (zh) * | 2020-05-14 | 2020-09-04 | 辽宁工程技术大学 | 一种改进U-net的肾脏肿瘤分割方法 |
-
2020
- 2020-10-19 CN CN202011119567.2A patent/CN112330687B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
| CN110570431A (zh) * | 2019-09-18 | 2019-12-13 | 东北大学 | 一种基于改进的卷积神经网络的医学图像分割方法 |
| CN110853038A (zh) * | 2019-10-15 | 2020-02-28 | 哈尔滨工程大学 | 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法 |
| CN111627024A (zh) * | 2020-05-14 | 2020-09-04 | 辽宁工程技术大学 | 一种改进U-net的肾脏肿瘤分割方法 |
| CN111612799A (zh) * | 2020-05-15 | 2020-09-01 | 中南大学 | 面向人脸数据对不完整的网纹人脸修复方法、系统及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| XIUZHEN XIE 等: "SERU: A cascaded SE-ResNeXT U-Net for kidney and tumor segmentation", 《CONCURRENCY AND COMPUTATION: PRACTICE AND EXPERIENCE》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256582A (zh) * | 2021-05-21 | 2021-08-13 | 兰州兰石检测技术有限公司 | 一种基于U-net网络马氏体金相中原奥氏体晶界识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330687B (zh) | 2022-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN109712165B (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
| CN111260055A (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
| CN111127484A (zh) | 基于深度学习神经网络的肝脏ct图像分割方法及装置 | |
| CN110009656B (zh) | 目标对象的确定方法、装置、存储介质及电子装置 | |
| CN111275712B (zh) | 一种面向大尺度图像数据的残差语义网络训练方法 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN111583385B (zh) | 一种可变形数字人解剖学模型的个性化变形方法及系统 | |
| CN111369574A (zh) | 一种胸腔器官的分割方法及装置 | |
| CN113077419A (zh) | 用于髋关节ct影像识别的信息处理方法及装置 | |
| CN112330687B (zh) | 基于ai技术肾脏病理图像分割模型、方法及系统 | |
| CN112037212A (zh) | 一种基于深度学习的肺结核dr影像识别方法 | |
| CN115527657A (zh) | 基于医学数字成像和通信的影像、图像多模态重建、成像及标注 | |
| CN116452618A (zh) | 一种三输入脊柱ct图像分割方法 | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| CN113128517A (zh) | 色调映射图像混合视觉特征提取模型建立及质量评价方法 | |
| CN112927215A (zh) | 一种消化道活检病理切片自动分析方法 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN111209946A (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| CN116071373A (zh) | 一种基于融合PCA的U-net模型舌体自动分割方法 | |
| CN114898096A (zh) | 一种人物图像的分割和标注方法及系统 | |
| CN115018864A (zh) | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 | |
| CN113643263A (zh) | 一种上肢骨定位与前臂骨融合畸形的识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Model, Method, and System for Renal Pathology Image Segmentation Based on AI Technology Granted publication date: 20221028 Pledgee: Nanjing Bank Co.,Ltd. Nanjing North Branch Pledgor: Shentai Health Technology (Nanjing) Co.,Ltd. Registration number: Y2024980005062 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |