CN111709929B - 一种肺部癌变区域分割与分类检测系统 - Google Patents
一种肺部癌变区域分割与分类检测系统 Download PDFInfo
- Publication number
- CN111709929B CN111709929B CN202010541649.XA CN202010541649A CN111709929B CN 111709929 B CN111709929 B CN 111709929B CN 202010541649 A CN202010541649 A CN 202010541649A CN 111709929 B CN111709929 B CN 111709929B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- picture
- segmentation model
- region
- fine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 231
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 210000004072 lung Anatomy 0.000 title claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 69
- 238000005520 cutting process Methods 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 206010058467 Lung neoplasm malignant Diseases 0.000 claims description 16
- 201000005202 lung cancer Diseases 0.000 claims description 16
- 208000020816 lung neoplasm Diseases 0.000 claims description 16
- 238000012805 post-processing Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 13
- 206010028980 Neoplasm Diseases 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 5
- 230000017105 transposition Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- MXWJVTOOROXGIU-UHFFFAOYSA-N atrazine Chemical compound CCNC1=NC(Cl)=NC(NC(C)C)=N1 MXWJVTOOROXGIU-UHFFFAOYSA-N 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- RXKJFZQQPQGTFL-UHFFFAOYSA-N dihydroxyacetone Chemical compound OCC(=O)CO RXKJFZQQPQGTFL-UHFFFAOYSA-N 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000002626 targeted therapy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种肺部癌变区域分割与分类检测系统，先利用预分割模型进行初步的预分割，筛选预分割区域，之后对预分割区域进行梯度计算，得到误诊断区域的主要集中部位，即组织区域边缘，对于这些边缘区域，再利用高精度的精细分割模型进行计算，实现癌变区域的精确分割，由于精细分割算法只涉及边缘区域，因此，与现有方法对全组织区域进行精细分割相比，本发明的计算量显著减少，可以实现检测的快速性与准确性的平衡。本发明结合预分割模型的快速性与精细分割模型的精确性，可以实现能够满足实际应用水平的癌变区域分割算法，该算法能够应用于实际的社会生产过程中，有效减轻检测工作量，加快诊断速度。
Description
技术领域
本发明涉及生物医学工程、医学影像和人工智能技术领域，尤其涉及一种肺部癌变区域分割与分类检测系统。
背景技术
肺癌是当前死亡率最高的癌症之一，癌症的确诊首先需要对其进行癌变区域定位然后判别类型。其中，组织病理学图像分析可作为肺癌诊断的金标准。
癌症类型的分类和程度评估对于靶向治疗至关重要。在临床实践中，经验丰富的病理学家通过将H&E染色的组织玻片扫描为全视野数字切片(Whole Slide Image,WSI)并观察确诊来鉴定癌症，由于该影像数据规模极大，正常区域与癌变区域比较相似，因此，这是一项费时费力的工作，例如，需要经验丰富的组织病理学家检查大约15分钟到半小时才能检查一张完整的WSI。因此，计算机辅助诊断(Computer Aided Diagnosis,CAD)系统对病理学领域的自动化分析技术提出了很高的要求，要求该技术能够大大减轻工作量，加快诊断速度，以有助于及时治疗。
当前的癌变区域分割方法主要有如下几种：将图像分割为切块之后对该切块进行分类的方法、将图像分割为切块之后对切块进行分割的方法、以及将图像放缩分辨率之后对低分辨率图像直接分割的方法。这些方法都有一定的局限性，将图像分割为切块之后对该切块进行分类来实现分割的方法，分割精度往往达不到要求并且运算时间过长；将图像分割为切块之后对切块进行分割的方法，对计算资源的要求较高并且边缘误差较大；将图像放缩分辨率之后对低分辨率图像直接分割的方法，误诊率太高。
发明内容
有鉴于此，本发明提供了一种肺部癌变区域分割与分类检测系统，用以迅速准确地实现全视野数字切片中癌变区域的检测分割。
因此，本发明提供了一种肺部癌变区域分割与分类检测系统，包括：检测数据生成模块、预分割模块、预分割后处理模块以及精细分割模块；其中，
所述检测数据生成模块，用于将待检测图片添加偏移后切分成多个切块，并对切分成的各切块进行预处理；
所述预分割模块，用于利用预先训练好的预分割模型对预处理后的各切块进行预分割处理；
所述预分割后处理模块，用于提取预分割成的各图片的中心区域，将提取的各中心区域拼接为完整图像，对拼接成的完整图像进行形态学处理和关键点筛选；
所述精细分割模块，用于在待检测图片中，以每个关键点在待检测图片中的映射位置为中心切割出多个切块，利用预先训练好的精细分割模型对切割出的各切块进行精细化分割，根据精细化分割结果中是否存在癌变区域，确定待检测图片是否为癌变图片。
在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，所述检测数据生成模块，用于将待检测图片添加偏移后切分成多个切块，具体包括：
所述检测数据生成模块，用于在预分割模型的输入图像尺寸为N*N的情况下，在待检测图片上添加横向±N/3、横向0、纵向±N/3以及纵向0的偏移，形成9个不同的偏移图像；将每个偏移图像从左上角开始切分为N*N的切块，对于不满足N*N的边缘区域，以边缘为底线向边缘对侧拓展成N*N的切块；其中，N为不小于512且不大于1024的整数。
在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，所述预分割后处理模块，用于提取预分割成的各图片的中心区域，将提取的各中心区域拼接为完整图像，对拼接成的完整图像进行形态学处理和关键点筛选；具体包括：
所述预分割后处理模块，用于在预分割成的各图片的中心提取(N/3)*N*3区域，遍历9个偏移图像后，将提取的所有中心区域拼接成完整图像，对拼接成的完整图像进行膨胀腐蚀形态学处理，对形态学处理后的图像进行梯度计算，得到梯度热力图；所述梯度热力图上的梯度按由大到小的顺序排列，获取前M个梯度的位置作为关键点；其中，M为不小于100且不大于1000的整数。
在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，所述精细分割模块，用于在待检测图片中，以每个关键点在待检测图片中的映射位置为中心切割出多个切块，利用预先训练好的精细分割模型对切割出的各切块进行精细化分割，具体包括：
所述精细分割模块，用于将所述梯度热力图上各关键点的位置映射回待检测图片；以每个关键点在待检测图片中的映射位置为中心，对应切割出一个N*N的切块，以每个关键点对应的切块为中心，对应切割出呈三行三列排列的9个切块；将每个关键点对应的9个切块输入预先训练好的精细分割模型，计算得到各关键点属于癌变区域的置信度；将待检测图片中各关键点属于癌变区域的原始置信度替换为计算得到的各关键点属于癌变区域的置信度。
在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，所述预分割后处理模块，还用于对替换置信度后的新图像进行梯度计算，得到新梯度热力图；所述新梯度热力图上的梯度按由大到小的顺序排列，获取前M个梯度的位置作为新关键点；其中，M为不小于100且不大于1000的整数；
所述精细分割模块，还用于将所述新梯度热力图上各新关键点的位置映射回待检测图片；以每个新关键点在待检测图片中的映射位置为中心，对应切割出一个N*N的切块，以每个新关键点对应的切块为中心，对应切割出呈三行三列排列的9个切块；将每个新关键点对应的9个切块输入预先训练好的精细分割模型，计算得到各新关键点属于癌变区域的置信度；将待检测图片中各新关键点属于癌变区域的原始置信度替换为计算得到的各新关键点属于癌变区域的置信度。
在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，还包括：预分割模型训练数据生成模块；
所述预分割模型训练数据生成模块，用于对训练图片进行下采样，利用大津阈值分割算法在下采样后的图片中分离出组织区域与背景区域；将所述组织区域的位置映射回训练图片中，将所述组织区域在训练图片中的映射位置切分成符合预分割模型输入图像尺寸的切块；根据训练图片的第一标签数据判断每个切块所属区域，并根据所属区域的类别储存在对应的文件夹中；将切分成的各切块输入ACD预处理模型，得到色调调整后的图片，对色调调整后的图片进行归一化处理，得到预分割模型训练数据；其中，所述第一标签数据包括癌变区域和正常区域。
在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，还包括：预分割模型训练模块；
所述预分割模型训练模块，用于搭建预分割模型的网络架构，包括用于提取特征的残差网络模型和用于分割癌变区域的双注意力机制；利用初始化函数对预分割模型的参数进行初始化，将预分割模型参数的初始值设为符合正态分布的随机值；将所述预分割模型训练数据输入预分割模型，利用前向传播算法计算损失函数，通过后向传播算法更新参数权重值；经过多次迭代计算，优化预分割模型参数，得到训练好的预分割模型并保存。
在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，还包括：精细分割模型训练数据生成模块；
所述精细分割模型训练数据生成模块，用于对训练图片进行下采样，利用大津阈值分割算法在下采样后的图片中分离出组织区域与背景区域；将所述组织区域的位置映射回训练图片中，将所述组织区域在训练图片中的映射位置切分成符合精细分割模型输入图像尺寸的切块；根据训练图片的第二标签数据判断每个切块所属区域，并根据所属区域的类别储存在对应的文件夹中；将切分成的各切块输入ACD预处理模型，得到色调调整后的图片，对色调调整后的图片进行归一化处理，得到精细分割模型训练数据；其中，所述第二标签数据包括有癌变和无癌变。
在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，还包括：精细分割模型训练模块；
所述精细分割模型训练模块，用于搭建基于残差网络的精细分割模型的网络架构；利用初始化函数对精细分割模型的参数进行初始化，将精细分割模型参数的初始值设为符合正态分布的随机值；将精细分割模型训练数据输入精细分割模型，利用前向传播算法计算损失函数，将所述精细分割模型训练数据中的每张图片分成9个区域，利用残差分类模型对每个区域进行分类，每张图片对应得到9个类别值及9个特征向量，使用条件随机场算法对每张图片对应的9个类别值进行修正；通过后向传播算法更新参数权重值；经过多次迭代计算，优化精细分割模型参数，得到训练好的精细分割模型并保存。
本发明提供的上述肺部癌变区域分割与分类检测系统，先利用预分割模型进行初步的预分割，筛选预分割区域，之后对预分割区域进行梯度计算，得到误诊断区域的主要集中部位，即组织区域边缘，对于这些边缘区域，再利用高精度的精细分割模型进行计算，实现癌变区域的精确分割，由于精细分割算法只涉及边缘区域，因此，与现有方法对全组织区域进行精细分割相比，本发明的计算量显著减少，可以实现检测的快速性与准确性的平衡。预分割模型能够利用语义分割的快速性特点，实现癌变区域的快速预分割，精细分割模型能够利用语义分割的高准确率特点，实现癌变区域的精确分割，本发明结合预分割模型的快速性与精细分割模型的精确性，可以实现能够满足实际应用水平的癌变区域分割算法，该算法能够应用于实际的社会生产过程中，有效减轻检测工作量，加快诊断速度。
附图说明
图1为采用本发明提供的一种肺部癌变区域分割与分类检测系统进行癌变区域分割的流程示意图；
图2为本发明提供的一种肺部癌变区域分割与分类检测系统中生成模型训练数据的流程示意图；
图3为本发明提供的一种肺部癌变区域分割与分类检测系统中预分割模型的结构示意图；
图4a为本发明提供的一种肺部癌变区域分割与分类检测系统中预分割模型中的位置注意力机制的结构示意图；
图4b为本发明提供的一种肺部癌变区域分割与分类检测系统中预分割模型中的色彩注意力机制的结构示意图；
图5为本发明提供的一种肺部癌变区域分割与分类检测系统中精确分割模型的结构示意图；
图6为本发明提供的一种肺部癌变区域分割与分类检测系统中预分割模型处理图像所得结果图；
图7为本发明提供的一种肺部癌变区域分割与分类检测系统处理图像最终所得结果图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。
采用现有方法中低分辨率语义分割方法一般可以满足快速性但是无法满足精度需求，采取现有方法中精细化分割或者高分辨率语义分割方法往往存在着计算量过大，计算速度过慢的问题。针对现有方法存在的精度与速度无法平衡的问题，本发明提供一种肺部癌变区域分割与分类检测系统，包括：检测数据生成模块、预分割模块、预分割后处理模块以及精细分割模块；其中，
检测数据生成模块，用于将待检测图片添加偏移后切分成多个切块，并对切分成的各切块进行预处理；
预分割模块，用于利用预先训练好的预分割模型对预处理后的各切块进行预分割处理；
预分割后处理模块，用于提取预分割成的各图片的中心区域，将提取的各中心区域拼接为完整图像，对拼接成的完整图像进行形态学处理和关键点筛选；
精细分割模块，用于在待检测图片中，以每个关键点在待检测图片中的映射位置为中心切割出多个切块，利用预先训练好的精细分割模型对切割出的各切块进行精细化分割，根据精细化分割结果中是否存在癌变区域，确定待检测图片是否为癌变图片。
在利用本发明提供的上述肺部癌变区域分割与分类检测系统对待检测图片进行癌变区域分割与分类检测之前，需要先利用本发明提供的上述肺部癌变区域分割与分类检测系统，生成预分割模型的训练数据并训练预分割模型，且生成精细分割模型的训练数据并训练精细分割模型。
(1)预分割模型训练数据生成模块
具体地，预分割模型训练数据生成模块可以以自动化癌症检测与分类(AutomaticCancer Detection and Classification,ACDC)数据库为基础，对训练图片进行下采样(例如，以1/64的采样率重新采样生成低分辨率的新图像，即图1中的下采样以及图2中的level0-level6，其中每一层level代表分辨率降低了2倍)，利用大津阈值分割算法(OTSU)在下采样后的图片中分离出组织区域与背景区域；将组织区域的位置映射回训练图片中，将组织区域在训练图片中的映射位置切分成符合预分割模型输入图像尺寸的切块，如图2所示；根据训练图片的第一标签数据(包括癌变区域和正常区域)判断每个切块所属区域，并根据所属区域的类别储存在对应的文件夹中；将切分成的各切块输入ACD预处理模型，得到色调调整后的图片，对色调调整后的图片进行归一化处理，得到预分割模型训练数据。
具体地，ACD预处理模型是预先建立好的，具体建立过程如下：搭建ACD预处理模型，初始化中间参数，通过前向传播算法计算损失函数，通过解算得到中间参数矩阵，中间参数矩阵用于各切块的计算。
(2)预分割模型训练模块
具体地，预分割模型训练模块可以根据研究目标以及待检测图片数据特点，搭建预分割模型的网络架构(结构如图3所示)，包括用于提取特征的残差网络模型和用于分割癌变区域的双注意力机制，具体地，在基础的特征提取之后，得到特征A(数据维度为C*H*W)，在特征A的色彩通道和位置通道两个维度上增加注意力机制，将上述图像增加注意力机制后的色彩通道与位置通道两个维度上的两种输出进行融合(即合并后求均值)，得到最终的输出，如图3所示。
对于位置注意力机制力，首先通过3个卷积层对特征A进行处理，得到3个特征图X、Y、Z，然后将特征图X和Y进行转置操作，特征图X变换为数据维度是N*C的数据，特征图Z变换为数据维度是C*N的数据，N＝H*W，转置操作之后的Y与转置操作之后的X相乘再通过softmax函数得到空间注意力图S(数据维度为N*N)，接着把S的转置与Z做乘积再乘以尺度系数α之后与A相加得到最后的输出E，如图4a所示。
对于色彩注意力机制，首先通过3个卷积层对特征A进行处理，得到3个特征图X、Y、Z，然后将特征图X和Y进行转置操作，特征图X变换为数据维度是C*N的数据，特征图Z变换为数据维度是N*C的数据，N＝H*W，转置操作之后的Y与转置操作之后的X相乘再通过softmax函数得到空间注意力图S(数据维度为N*N)，接着把S的转置与Z做乘积再乘以尺度系数α之后与A相加得到最后的输出E，如图4b所示。
使用偏向于假阳性的损失函数来优化参数；损失函数为：
Loss＝LossSASC+λRecall
其中，LossSASC为
其中，LossSASC表示预分割模型输出与第一标签数据输出之间的差异，o[i]表示预分割模型输出的第i个位置的像素值，t[i]表示第一标签数据输出的第i个位置的像素值，n表示待检测图片中像素值总数，λ为设定参数，一般为0.5，Recall表示召回率，TP表示待检测图片中癌变区域预测正确的像素，FP表示待检测图片中癌变区域被预测为非癌变区域的像素；利用初始化函数对预分割模型的参数进行初始化，将预分割模型参数的初始值设为符合正态分布的随机值，具体地，可以设定迭代次数epoch＝100，设定批量值batch＝256，设定学习速率α＝0.01；将预分割模型训练数据输入预分割模型，利用前向传播算法计算损失函数，通过后向传播算法更新参数权重值；经过多次迭代计算，优化预分割模型参数，待预分割模型的分割精度达到一个较高值(90％以上)且不再有明显的变化时，即得到训练好的预分割模型并保存。
(3)精细分割模型训练数据生成模块
具体地，精细分割模型训练数据生成模块可以以ACDC数据库为基础，对训练图片进行下采样(例如，以1/64的采样率重新采样生成低分辨率的新图像，即图1中的下采样以及图2中的level0-level6，其中每一层level代表分辨率降低了2倍)，利用大津阈值分割算法(OTSU)在下采样后的图片中分离出组织区域与背景区域；将组织区域的位置映射回训练图片中，将组织区域在训练图片中的映射位置切分成符合精细分割模型输入图像尺寸的切块，如图2所示；根据训练图片的第二标签数据(包括有癌变和无癌变，有癌变为1，无癌变为0)判断每个切块所属区域，并根据所属区域的类别储存在对应的文件夹中；将切分成的各切块输入ACD预处理模型，得到色调调整后的图片，对色调调整后的图片进行归一化处理，得到精细分割模型训练数据。
(4)精细分割模型训练模块
具体地，精细分割模型训练模块可以根据研究目标以及待检测图片数据特点，搭建基于残差网络的精细分割模型的网络架构；利用初始化函数对精细分割模型的参数进行初始化，将精细分割模型参数的初始值设为符合正态分布的随机值；将精细分割模型训练数据输入精细分割模型，利用前向传播算法计算损失函数，将精细分割模型训练数据中的每张图片分成9个区域，利用残差分类模型对每个区域进行分类，每张图片对应得到9个类别值及9个特征向量，使用条件随机场算法对每张图片对应的9个类别值进行修正，如图5所示；通过后向传播算法更新参数权重值；经过多次迭代计算，优化精细分割模型参数，待精细分割模型的分割精度达到一个较高值(97％以上)且不再有明显的变化时，即得到训练好的精细分割模型并保存。
在得到训练好的预分割模型和精细分割模型之后，可以利用本发明提供的上述肺部癌变区域分割与分类检测系统，对待检测图片进行癌变区域分割与分类检测。
(5)检测数据生成模块
具体地，检测数据生成模块可以在预分割模型的输入图像尺寸为N*N的情况下，在待检测图片上添加横向±N/3、横向0、纵向±N/3以及纵向0的偏移，形成9个不同的偏移图像，包括横向N/3纵向N/3、横向N/3纵向-N/3、横向N/3纵向0、横向-N/3纵向N/3、横向-N/3纵向-N/3、横向-N/3纵向0、横向0纵向N/3、横向0纵向-N/3、横向0纵向0(即不发生偏移)；将每个偏移图像从左上角开始切分为N*N的切块，对于不满足N*N的边缘区域，以边缘为底线向边缘对侧拓展成N*N的切块；其中，N为不小于512且不大于1024的整数。具体地，N根据服务器显卡内存确定。优选地，N取512。对待检测图片进行添加偏移、切块，可以增加数据的泛化性，提高模型的稳定性。
(6)预分割模块
具体地，可以将预处理后的各切块输入预先训练好的预分割模型，进行预分割处理。预分割模块能够利用语义分割的快速性特点，实现癌变区域的快速预分割。
(7)预分割后处理模块
具体地，预分割后处理模块可以在预分割成的各图片的中心提取(N/3)*N*3区域，遍历9个偏移图像后，将提取的所有中心区域拼接成完整图像，如图6所示；对拼接成的完整图像进行膨胀腐蚀形态学处理，对形态学处理后的图像进行梯度计算，得到梯度热力图；梯度热力图上的梯度按由大到小的顺序排列，获取前M个梯度的位置作为关键点；其中，M为不小于100且不大于1000的整数。例如，可以获取前100个梯度的位置作为关键点。预分割后处理为后续进行精细分割做准备。
(8)精细分割模块
具体地，精细分割模块可以将梯度热力图上各关键点的位置映射回待检测图片；以每个关键点在待检测图片中的映射位置为中心，对应切割出一个N*N的切块，以每个关键点对应的切块为中心，对应切割出呈三行三列排列的9个切块，这是将一个中心全部包围的最小邻域数，即1个周围有8个；将每个关键点对应的9个切块输入预先训练好的精细分割模型，计算得到各关键点属于癌变区域的置信度；将待检测图片中各关键点属于癌变区域的原始置信度替换为计算得到的各关键点属于癌变区域的置信度。精细分割模块能够利用语义分割的高准确率特点，实现癌变区域的精确分割。本发明通过结合预分割模块的快速性与精确分割模块的精确性，可以实现能够满足实际应用水平的癌变区域分割算法，使该分割算法能够应用于实际的社会生产过程中，有效减轻检测工作量，加快诊断速度。
较佳地，为了进一步地提高模型的稳定性，可以通过多次重复迭代预分割后处理和精细分割操作，得到最终的处理图像。具体地，预分割后处理模块可以对替换置信度后的新图像再次进行梯度计算，得到新梯度热力图，新梯度热力图上的梯度按由大到小的顺序排列，获取前M个梯度的位置作为新关键点，其中，M为不小于100且不大于1000的整数；精细分割模块可以将新梯度热力图上各新关键点的位置映射回待检测图片，以每个新关键点在待检测图片中的映射位置为中心，对应切割出一个N*N的切块，以每个新关键点对应的切块为中心，对应切割出呈三行三列排列的9个切块，将每个新关键点对应的9个切块输入预先训练好的精细分割模型，计算得到各新关键点属于癌变区域的置信度，将待检测图片中各新关键点属于癌变区域的原始置信度替换为计算得到的各新关键点属于癌变区域的置信度。上述预分割后处理和精细分割重复多次之后，即可得到最终的处理图像，如图7所示。
本发明提供的上述肺部癌变区域分割与分类检测系统，先利用预分割模型进行初步的预分割，筛选预分割区域，之后对预分割区域进行梯度计算，得到误诊断区域的主要集中部位，即组织区域边缘，对于这些边缘区域，再利用高精度的精细分割模型进行计算，实现癌变区域的精确分割，由于精细分割算法只涉及边缘区域，因此，与现有方法对全组织区域进行精细分割相比，本发明的计算量显著减少，可以实现检测的快速性与准确性的平衡。预分割模型能够利用语义分割的快速性特点，实现癌变区域的快速预分割，精细分割模型能够利用语义分割的高准确率特点，实现癌变区域的精确分割，本发明结合预分割模型的快速性与精细分割模型的精确性，可以实现能够满足实际应用水平的癌变区域分割算法，该算法能够应用于实际的社会生产过程中，有效减轻检测工作量，加快诊断速度。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种肺部癌变区域分割与分类检测系统，其特征在于，包括：检测数据生成模块、预分割模块、预分割后处理模块以及精细分割模块；其中，
所述检测数据生成模块，用于将待检测图片添加偏移后切分成多个切块，并对切分成的各切块进行预处理；
所述预分割模块，用于利用预先训练好的预分割模型对预处理后的各切块进行预分割处理；
所述预分割后处理模块，用于提取预分割成的各图片的中心区域，将提取的各中心区域拼接为完整图像，对拼接成的完整图像进行形态学处理和关键点筛选；
所述精细分割模块，用于在待检测图片中，以每个关键点在待检测图片中的映射位置为中心切割出多个切块，利用预先训练好的精细分割模型对切割出的各切块进行精细化分割，根据精细化分割结果中是否存在癌变区域，确定待检测图片是否为癌变图片；
所述检测数据生成模块，用于将待检测图片添加偏移后切分成多个切块，具体包括：
所述检测数据生成模块，用于在预分割模型的输入图像尺寸为N*N的情况下，在待检测图片上添加横向±N/3、横向0、纵向±N/3以及纵向0的偏移，形成9个不同的偏移图像；将每个偏移图像从左上角开始切分为N*N的切块，对于不满足N*N的边缘区域，以边缘为底线向边缘对侧拓展成N*N的切块；其中，N为不小于512且不大于1024的整数；
所述预分割后处理模块，用于提取预分割成的各图片的中心区域，将提取的各中心区域拼接为完整图像，对拼接成的完整图像进行形态学处理和关键点筛选；具体包括：
所述预分割后处理模块，用于在预分割成的各图片的中心提取(N/3)*N*3区域，遍历9个偏移图像后，将提取的所有中心区域拼接成完整图像，对拼接成的完整图像进行膨胀腐蚀形态学处理，对形态学处理后的图像进行梯度计算，得到梯度热力图；所述梯度热力图上的梯度按由大到小的顺序排列，获取前M个梯度的位置作为关键点；其中，M为不小于100且不大于1000的整数。
2.如权利要求1所述的肺部癌变区域分割与分类检测系统，其特征在于，所述精细分割模块，用于在待检测图片中，以每个关键点在待检测图片中的映射位置为中心切割出多个切块，利用预先训练好的精细分割模型对切割出的各切块进行精细化分割，具体包括：
所述精细分割模块，用于将所述梯度热力图上各关键点的位置映射回待检测图片；以每个关键点在待检测图片中的映射位置为中心，对应切割出一个N*N的切块，以每个关键点对应的切块为中心，对应切割出呈三行三列排列的9个切块；将每个关键点对应的9个切块输入预先训练好的精细分割模型，计算得到各关键点属于癌变区域的置信度；将待检测图片中各关键点属于癌变区域的原始置信度替换为计算得到的各关键点属于癌变区域的置信度。
3.如权利要求2所述的肺部癌变区域分割与分类检测系统，其特征在于，所述预分割后处理模块，还用于对替换置信度后的新图像进行梯度计算，得到新梯度热力图；所述新梯度热力图上的梯度按由大到小的顺序排列，获取前M个梯度的位置作为新关键点；其中，M为不小于100且不大于1000的整数；
所述精细分割模块，还用于将所述新梯度热力图上各新关键点的位置映射回待检测图片；以每个新关键点在待检测图片中的映射位置为中心，对应切割出一个N*N的切块，以每个新关键点对应的切块为中心，对应切割出呈三行三列排列的9个切块；将每个新关键点对应的9个切块输入预先训练好的精细分割模型，计算得到各新关键点属于癌变区域的置信度；将待检测图片中各新关键点属于癌变区域的原始置信度替换为计算得到的各新关键点属于癌变区域的置信度。
4.如权利要求1～3任一项所述的肺部癌变区域分割与分类检测系统，其特征在于，还包括：预分割模型训练数据生成模块；
所述预分割模型训练数据生成模块，用于对训练图片进行下采样，利用大津阈值分割算法在下采样后的图片中分离出组织区域与背景区域；将所述组织区域的位置映射回训练图片中，将所述组织区域在训练图片中的映射位置切分成符合预分割模型输入图像尺寸的切块；根据训练图片的第一标签数据判断每个切块所属区域，并根据所属区域的类别储存在对应的文件夹中；将切分成的各切块输入ACD预处理模型，得到色调调整后的图片，对色调调整后的图片进行归一化处理，得到预分割模型训练数据；其中，所述第一标签数据包括癌变区域和正常区域。
5.如权利要求4所述的肺部癌变区域分割与分类检测系统，其特征在于，还包括：预分割模型训练模块；
所述预分割模型训练模块，用于搭建预分割模型的网络架构，包括用于提取特征的残差网络模型和用于分割癌变区域的双注意力机制；利用初始化函数对预分割模型的参数进行初始化，将预分割模型参数的初始值设为符合正态分布的随机值；将所述预分割模型训练数据输入预分割模型，利用前向传播算法计算损失函数，通过后向传播算法更新参数权重值；经过多次迭代计算，优化预分割模型参数，得到训练好的预分割模型并保存。
6.如权利要求1～3任一项所述的肺部癌变区域分割与分类检测系统，其特征在于，还包括：精细分割模型训练数据生成模块；
所述精细分割模型训练数据生成模块，用于对训练图片进行下采样，利用大津阈值分割算法在下采样后的图片中分离出组织区域与背景区域；将所述组织区域的位置映射回训练图片中，将所述组织区域在训练图片中的映射位置切分成符合精细分割模型输入图像尺寸的切块；根据训练图片的第二标签数据判断每个切块所属区域，并根据所属区域的类别储存在对应的文件夹中；将切分成的各切块输入ACD预处理模型，得到色调调整后的图片，对色调调整后的图片进行归一化处理，得到精细分割模型训练数据；其中，所述第二标签数据包括有癌变和无癌变。
7.如权利要求6所述的肺部癌变区域分割与分类检测系统，其特征在于，还包括：精细分割模型训练模块；
所述精细分割模型训练模块，用于搭建基于残差网络的精细分割模型的网络架构；利用初始化函数对精细分割模型的参数进行初始化，将精细分割模型参数的初始值设为符合正态分布的随机值；将精细分割模型训练数据输入精细分割模型，利用前向传播算法计算损失函数，将所述精细分割模型训练数据中的每张图片分成9个区域，利用残差分类模型对每个区域进行分类，每张图片对应得到9个类别值及9个特征向量，使用条件随机场算法对每张图片对应的9个类别值进行修正；通过后向传播算法更新参数权重值；经过多次迭代计算，优化精细分割模型参数，得到训练好的精细分割模型并保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010541649.XA CN111709929B (zh) | 2020-06-15 | 2020-06-15 | 一种肺部癌变区域分割与分类检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010541649.XA CN111709929B (zh) | 2020-06-15 | 2020-06-15 | 一种肺部癌变区域分割与分类检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111709929A CN111709929A (zh) | 2020-09-25 |
| CN111709929B true CN111709929B (zh) | 2023-01-20 |
Family
ID=72540095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010541649.XA Active CN111709929B (zh) | 2020-06-15 | 2020-06-15 | 一种肺部癌变区域分割与分类检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709929B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241766B (zh) * | 2020-10-27 | 2023-04-18 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
| CN113177955B (zh) * | 2021-05-10 | 2022-08-05 | 电子科技大学成都学院 | 一种基于改进图像分割算法的肺癌影像病变区域划分方法 |
| CN114708362B (zh) * | 2022-03-02 | 2023-01-06 | 北京透彻未来科技有限公司 | 一种基于web的人工智能预测结果的展示方法 |
| CN115082743B (zh) * | 2022-08-16 | 2022-12-06 | 之江实验室 | 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 |
| CN115908459B (zh) * | 2023-03-10 | 2023-05-05 | 中科慧远视觉技术(北京)有限公司 | 一种图像分割方法、装置、计算机设备和可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824295A (zh) * | 2014-03-03 | 2014-05-28 | 天津医科大学 | 一种肺部ct图像中粘连血管型肺结节的分割方法 |
| CN104899851A (zh) * | 2014-03-03 | 2015-09-09 | 天津医科大学 | 一种分割肺结节图像的方法 |
| CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
| CN110930421A (zh) * | 2019-11-22 | 2020-03-27 | 电子科技大学 | 一种用于cbct牙齿图像的分割方法 |
| CN111141208A (zh) * | 2019-01-09 | 2020-05-12 | 银河水滴科技（北京）有限公司 | 一种平行线检测方法及装置 |
-
2020
- 2020-06-15 CN CN202010541649.XA patent/CN111709929B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824295A (zh) * | 2014-03-03 | 2014-05-28 | 天津医科大学 | 一种肺部ct图像中粘连血管型肺结节的分割方法 |
| CN104899851A (zh) * | 2014-03-03 | 2015-09-09 | 天津医科大学 | 一种分割肺结节图像的方法 |
| CN111141208A (zh) * | 2019-01-09 | 2020-05-12 | 银河水滴科技（北京）有限公司 | 一种平行线检测方法及装置 |
| CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
| CN110930421A (zh) * | 2019-11-22 | 2020-03-27 | 电子科技大学 | 一种用于cbct牙齿图像的分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于精细化残差U－Net的新生儿局灶性脑白质损伤分割模型;刘亚龙 等;《计算机应用》;20191210;第39卷(第12期);全文 * |
| 深度学习图像分割算法在胃癌病理切片中的可行性分析;梁桥康 等;《第二军医大学学报》;20180831;第39卷(第8期);摘要，序言，第1-3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111709929A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709929B (zh) | 一种肺部癌变区域分割与分类检测系统 | |
| CN111325203B (zh) | 一种基于图像校正的美式车牌识别方法及系统 | |
| CN111080660B (zh) | 一种图像分割方法、装置、终端设备及存储介质 | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN111369581B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111145181B (zh) | 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法 | |
| CN110096994B (zh) | 一种基于模糊标签语义先验的小样本PolSAR图像分类方法 | |
| CN112800964B (zh) | 基于多模块融合的遥感影像目标检测方法及系统 | |
| CN111652217A (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
| CN112132166B (zh) | 一种数字细胞病理图像智能分析方法、系统及装置 | |
| CN112036231B (zh) | 一种基于车载视频的车道线和路面指示标志检测与识别方法 | |
| CN111738295B (zh) | 图像的分割方法及存储介质 | |
| CN112435214B (zh) | 基于先验框线性缩放的花粉检测方法、装置和电子设备 | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN114842478A (zh) | 文本区域的识别方法、装置、设备及存储介质 | |
| CN114037720A (zh) | 基于半监督学习的病理图像分割与分类的方法及装置 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN110348339B (zh) | 一种基于实例分割的手写文档文本行的提取方法 | |
| CN114111602B (zh) | 一种基于图像技术的桥梁表面裂缝宽度计算方法 | |
| CN108154107B (zh) | 一种确定遥感图像归属的场景类别的方法 | |
| CN112232102A (zh) | 一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统 | |
| CN113012167B (zh) | 一种细胞核与细胞质的联合分割方法 | |
| CN114708591A (zh) | 基于单字连接的文档图像中文字符检测方法 | |
| CN114565631A (zh) | 一种基于双层卷积网络和掩码细化的植物叶片精细分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |