CN113706493B - 基于dct频率自适应选择的数字病理全切片分割方法 - Google Patents
基于dct频率自适应选择的数字病理全切片分割方法 Download PDFInfo
- Publication number
- CN113706493B CN113706493B CN202110962248.6A CN202110962248A CN113706493B CN 113706493 B CN113706493 B CN 113706493B CN 202110962248 A CN202110962248 A CN 202110962248A CN 113706493 B CN113706493 B CN 113706493B
- Authority
- CN
- China
- Prior art keywords
- dct
- frequency
- full
- coding
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000011218 segmentation Effects 0.000 title claims abstract description 34
- 230000007170 pathology Effects 0.000 title claims description 14
- 238000007906 compression Methods 0.000 claims abstract description 36
- 230000006835 compression Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000013145 classification model Methods 0.000 claims abstract description 28
- 230000001575 pathological effect Effects 0.000 claims abstract description 26
- 230000008707 rearrangement Effects 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000003044 adaptive effect Effects 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 10
- 238000013139 quantization Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013144 data compression Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 27
- 238000004458 analytical method Methods 0.000 description 13
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 206010014733 Endometrial cancer Diseases 0.000 description 3
- 206010014759 Endometrial neoplasm Diseases 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Discrete Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于DCT频率自适应选择的数字病理全切片分割方法，包括以下步骤：基于CNN‑based网络架构将训练样本中的所有全切片分别分割成若干个图像块，并对每个图像块进行JPEG解码操作，得到DCT编码；对DCT编码进行数据重排和频率自适应选择得到DCT压缩编码块；利用DCT压缩编码块对预先构建的CNN分类模型进行训练；基于训练好的CNN分类模型对待检测全切片中所有图像块的DCT压缩编码块进行分类预测，得到待检测全切片范围的预测结果图。本发明利用JPEG压缩图像解码过程的中间结果离散余弦(DCT)编码块，经过自适应的频率选择得到DCT压缩编码块代替原图像块进行网络的训练、预测，使输入数据量得到大幅度削减，使所需的分类模型的尺寸更小、推理速度更快。
Description
技术领域
本发明涉及数字病理全切片图像处理技术领域，更具体的说是涉及一种基于DCT频率自适应选择的数字病理全切片分割方法。
背景技术
癌症是现代人类健康的重要威胁，在医学领域，基于组织切片的病理学诊断是癌症诊断的“金标准”。随着扫描仪成像技术的发展，数字病理全切片图像因其易于保存、易于传输等优点被迅速普及，加速了癌症远程诊断的发展，与此同时基于深度学习的计算机辅助诊断算法也逐渐成为了该领域的一个研究热点。
与自然图像有所区别，数字病理全切片图像本身具有的超高像素尺寸，使其在处理过程中受限于计算机硬件水平。如图1所示，现有算法对数字病理全切片图像的分割主要分为两种主流思路，一者先将其分割为若干个图像块分别利用卷积神经网络(convolutional neural network,CNN)进行特征提取以获得局部特征进行标签预测，而后按原空间顺序排布单张图像块的标签配合适当的上采样形成分割掩膜结果。而此种方法只能生成图像块级别的分割结果使得边界较为模糊，同时又需对成千上万张图像块进行预测，CPUs与GPUs传输间的带宽限制分析的速度。另一者则利用全卷积网络(fullyconvolutional network，FCN)采用滑窗法对每一窗口的图像进行像素级别的预测，直接能够得到和输入尺寸大小相同的分割掩膜图。但由于此种方法需要通过大量的交叠区域来保证窗口边界分割的平滑和准确，进而造成计算的冗余和耗时的增加。
图1中的框架是现有解决数字病理全切片图像分割中最为高效的一种方法，该方案主要问题描述如下：在整个自动分析流程中，基于CNN的数字病理全切片图像分块预测，其产生的成千上万个图像块在CPUs上预处理后传输到GPUs上进行加速预测的过程中受到带宽的极大限制，实际工程中严重拖慢了计算机自动分析的时间，使现有方法的运行效率远不能满足医生使用需要；为了尽量缩减分析时长，现有算法大多依赖GPU计算，使得自动分析应用部署成本居高不下，难以在医疗经济落后的地区广泛普及。因此，如何提高计算机的分析速度是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于DCT频率自适应选择的数字病理全切片分割方法，在CNN-based分割思路下，利用JPEG压缩图像解码过程的中间结果离散余弦(DCT)编码块，经过自适应的频率选择得到DCT压缩编码块代替原图像块进行网络的训练、预测，使输入数据量得到大幅度削减，使所需的分类模型的尺寸更小、推理速度更快。
为了实现上述目的，本发明采用如下技术方案：
一种基于DCT频率自适应选择的数字病理全切片分割方法，包括以下步骤：
基于CNN-based网络架构将训练样本中的所有全切片分别分割成若干个图像块，并对每个图像块进行JPEG解码操作，得到DCT编码；
对DCT编码进行数据重排和频率自适应选择得到DCT压缩编码块；
利用DCT压缩编码块对预先构建的CNN分类模型进行训练；
基于训练好的CNN分类模型对待检测全切片中所有图像块的DCT压缩编码块进行分类预测，得到待检测全切片范围的预测结果图。
可选的，在上述一种基于DCT频率自适应选择的数字病理全切片分割方法中，所述对每个图像块进行JPEG解码操作，得到DCT编码，包括以下步骤：
从云端下载得到每个图像块的JPEG二进制码流数据；
从JPEG二进制码流数据中提取出霍夫曼编码表和量化表；
以霍夫曼编码表为基础进行反编码操作，得到Zigzag编码块；以量化表为基础对Zigzag编码块进行反量化操作，得到DCT编码。
优选的，在上述一种基于DCT频率自适应选择的数字病理全切片分割方法中，所述对DCT编码进行数据重排，包括以下步骤：
按照4:1:1的采样格式对DCT编码的Y、Cb、Cr三个通道进行数据重排操作，得到对应三个通道的DCT编码，每个通道的DCT编码的表达式如下：
其中，W、H分别表示原RGB格式图像块的高、宽；/>表示8×8分块的DCT编码中第i行第j列的内容，其含义是图像块中对应8×8位置通道c的DCT变换，M、N分别为Dc包含DCT编码块的行数和列数；/>中由0至63个编号的位置，分别代表64个从低到高的频率分量信息，其中0代表直流分量，低频段集中在左上角，高频段集中在右下角；
将三个通道的DCT编码中每一个8×8分块的DCT编码块中相同频率按照原空间位置关系组成一个通道，即将/>拉伸为1×1×64维度的向量，按其原来所在行列排布，得到转换后的DCT编码/>
将D'Cb和D'Cr上采样2倍后与D'Y拼接，得到DCT频率块D'，其中，
优选的，在上述一种基于DCT频率自适应选择的数字病理全切片分割方法中，所述对DCT编码进行频率自适应选择，包括以下步骤：
基于SENet通道注意力方法构建频率自适应选择模型；
在对频率自适应选择模型的训练阶段，设置一个维度为1×192、固定值初始化的向量，并使该向量依次经过全连接层、Relu激活层和全连接层映射到隐空间的1×192维度连续值向量G；
对1×192维度连续值向量G进行二值化处理，得到1×192维度的0-1值阀门”G'；利用0-1值阀门”G'控制该频率通道保留与否，其中0值代表舍弃该频率分量，1值代表保留该频率分量；
将0-1保阀门”G'与DCT频率块D'相作用，得到DCT压缩编码块F，DCT压缩编码块F的表达式如下：
其中，C为保留下的频率数量，压缩率为C/192，由DCT压缩编码块F代替原图像块作为预先构建的CNN分类模型训练过程的输入数据。
优选的，在上述一种基于DCT频率自适应选择的数字病理全切片分割方法中，在对频率自适应选择模型的训练阶段，还包括以下步骤：
利用回归损失函数L1Loss对0-1o阀门”G'进行稀疏化处理，以加大数据压缩率，其表达式如下所示：
其中，x'表示1×192维度连续值向量G，x表示1×192维度的“阀门”期望值，xi表示x中第i个元素；xi'表示x'中第i个元素；
采用分类交叉熵损失函数CELoss对分类效果进行验证，其表达式如下所示：
其中，y'表示样本属于该类别的预测概率，y表示预测类别与真实类别是否相同的指示变量，yi表示y中第i个元素，yi'表示y’中第i个元素；
按照下式确定训练过程的loss值：
Loss＝CELoss+β*L1Loss；
其中，超参数β用来控制0-1“阀门”G'的稀疏化程度，其可影响保留的频率数量C。
可选的，在上述一种基于DCT频率自适应选择的数字病理全切片分割方法中，β和C的取值如下：β＝0.03，C＝3；或β＝0.01，C＝5；或β＝0.007，C＝8；或β＝0.005，C＝10。
优选的，在上述一种基于DCT频率自适应选择的数字病理全切片分割方法中，所述基于训练好的CNN分类模型对待检测全切片中所有图像块的DCT压缩编码块进行分类预测，得到待检测全切片范围的预测结果图，包括以下步骤：
利用训练好的CNN分类模型对待检测全切片中所有图像块的DCT压缩编码块F进行预测，得到一系列标签；
将得到的一系列标签按照原图像块的空间位置进行聚合和上采样，得到待检测全切片范围的预测结果图。
优选的，在上述一种基于DCT频率自适应选择的数字病理全切片分割方法中，所述将得到的一系列标签按照原图像块的空间位置进行聚合和上采样，得到待检测全切片范围的预测结果图，包括：
初始化一张全黑掩膜图其中Iw,Ih为待检测全切片的高和宽，W,H为图像块的高和宽；
将每一张图像块得到的标签作为全黑掩膜图MASK在该图像块所在全切片中位置处的像素值；
分别以倍率进行上采样，得到与全切片图像大小相同的分割掩膜结果图。
可选的，在上述一种基于DCT频率自适应选择的数字病理全切片分割方法中，所述CNN分类模型的主体架构为ResNet，DenseNet或EfficientNet。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于DCT频率自适应选择的数字病理全切片分割方法，以JPEG图像解码过程中产生的DCT编码进行数据重排、频率自适应选择得到的DCT压缩编码块代替原图像块对CNN分类模型进行训练和推理，由于其大幅削减的数据量使得分类模型具备轻量化、对GPUs依赖低、批处理数量大等特点，提高了数字病理全切片图像的分割速度，减轻了计算机癌症辅助诊断的部署成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的现有技术中面向数字病理云平台的全切片分割方法的典型框架；
图2附图为本发明提供的基于DCT频率自适应选择的数字病理全切片分割方法的流程图；
图3附图为本发明提供的频率组适应选择的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图2所示，本发明实施例公开了一种基于DCT频率自适应选择的数字病理全切片分割方法，包括以下步骤：
步骤一：基于CNN-based网络架构将训练样本中的所有全切片分别分割成若干个图像块，并对每个图像块进行JPEG解码操作，得到DCT编码；
步骤二：对DCT编码进行数据重排和频率自适应选择得到DCT压缩编码块；
步骤三：利用DCT压缩编码块对预先构建的CNN分类模型进行训练；
步骤四：基于训练好的CNN分类模型对待检测全切片中所有图像块的DCT压缩编码块进行分类预测，得到待检测全切片范围的预测结果图。
下面对上述各步骤进行详细描述：
步骤一：数据获取与解压
以表示组成该切片的第p行第q列的图像块，W、H分别表示图像块的高、宽。图像块在云端以JPEG压缩编码形式存储。
采用基于CNN-based的分割思路，对所有全切片中所有图像块的操作都完全相同。
为了便于表述，令T＝Ipq表示全切片中的任一图像块。首先从云端下载得到图像块T的JPEG二进制码流数据，然后从中提取出霍夫曼编码表和量化表，以霍夫曼编码表为基础进行反编码，而后又根据标准Zigzag表进行Zigzag反编码，得到Zigzag编码块；再按照从JPEG二进制码流数据中提取出的量化表对Zigzag编码块进行反量化等操作便可得到离散余弦变换(DCT)编码,该部分的计算完全依照标准JPEG压缩格式进行，使用libJPEG等公开算法库即可完成DCT编码的解析。
步骤二：DCT编码重排
实际应用中，解析得到的DCT编码呈现3个通道，其存储的内容分别来自于YCbCr颜色空间的Y、Cb、Cr通道，受到JPEG图像采样率一般为4:1:1的影响，来自Y通道的DCT编码与原图大小相同，是Cb、Cr通道的四倍，分别用表示，W、H分别表示原RGB格式图像块的高、宽，如图3(b)DCT编码所示，三个通道的DCT编码的表达式如下所示：
其中，表示8×8分块DCT编码中第i行第j列的内容，其含义是图像块T中对应8×8位置通道c的DCT变换，M、N分别为Dc包含编码块的行数和列数。如图3(a)Zigzag编码所示，/>中由0至63个编号的位置，分别代表64个从低到高的频率分量信息，其中0代表直流分量，低频段集中在左上角，而高频段集中在右下角。对于3个DCT编码块，首先经过如图3的数据重排操作，将每一个8×8分块DCT编码块/>中相同频率按照原空间位置关系组成一个通道，即将/>拉伸为1×1×64维度的向量，按其原来所在行列排布，得到转换后的DCT编码/> 而后将D'Cb、D'Cr上采样2倍后与D'Y拼接(通道拼接)得到最后DCT频率块/>如图3(c)所示。
DCT编码频率自适应选择：
上述得到的DCT编码D'由来自于YCbCr颜色空间的共192个频率分量组成，其数据量与图像块T相同。前期实验可知，低频分量所含关键模式信号远多于高频分量，因此为了达到数据量压缩的目的，本发明采用一种类似于SENet通道注意力的方法构建频率自适应选择模型。在对频率自适应选择模型的训练阶段，如图3(d)所示，首先设置一个维度为1×192、固定值初始化的向量，此192维度对应于全部共192个频率分量的抉择与否，再经过全连接层、Relu激活层、全连接层映射到隐空间的1×192维度连续值向量 而后二值化得到1×192维度的0-1“阀门”/>来控制该频率通道保留与否，其中0值代表舍弃该频率分量，1值代表保留该频率分量。然后将其与DCT频率块D'相作用，可得图3(e)离散余弦特征块(DCT压缩编码块)F，其表达式如下所示：
其中，C为保留下的频率数量，压缩率为C/192,后续网络中则由DCT压缩编码快F代替原图像块作为输入数据，完成对CNN分类模型的训练和推理。
为了加大数据压缩率，在对频率自适应选择模型的训练阶段，采用回归损失函数L1Loss使该0-1“阀门”稀疏化(即0值占比)，
其中，x'表示频率选择模块产生的G，x表示1×192维度的“阀门”期望值，xi'表示x'中第i个元素；xi表示x中第i个元素；n表示输入向量的维度，此处n＝192，实验中为取最少频率数，设置为1×192维度的全0向量。
采用分类交叉熵损失(CELoss)来保证分类效果，
其中，y'表示样本属于该类别的预测概率，y表示预测类别与真是类别是否相同的指示变量，yi'表示y'中第i个元素，yi表示y中第i个元素。具体训练Loss值如下
Loss＝CELoss+β*L1Loss
其中，超参数β用来控制“阀门”的稀疏化程度，即可影响保留的频率数量C，即超参数β取值越大，稀疏化程度越大，则保留的频率数量C越少，反之亦然。为使该频率自适应选择模型快速稳定，保证训练达到一定轮次后频率通道选择跳动幅度较小，本发明实施例设计了两个优化器分别对频率自适应选择模型和CNN分类模型的学习率采用不同的衰减速度，能够使频率自适应选择模型较早稳定，以便后续进一步训练CNN分类模型。
在一个具体实施例中，设置最终训练轮次epoch为40次，初始学习率learningrate均为0.01，频率自适应选择模型在每经过7轮训练后，学习率降为原1/10，而CNN分类模块则在每经过15轮训练后，学习率降为原1/10。
在对频率自适应选择模型的测试阶段，固定频率自适应选择模型取得最高精度的最佳通道选择“阀门”G'，对于测试的每一个图像块，以该方案选择频率分量。频率自适应选择模型的参数与数据集分布特点相关，与单张图像块数据无关，因此，对于每一数据集，有其相适应的最佳频率选择方案。
上述DCT编码频率自适应选择的压缩率取值可按照工程需要选取。压缩率越高，切片分析精度越低；反之亦然。
在一个具体实施例中，推荐取值β＝0.03，可控制C＝3；取值β＝0.01可控制C＝5；取值β＝0.007可控制C＝8；取值β＝0.005可控制C＝10。
步骤三：CNN分类模型的训练
对数字病理全切片图像中所包含的所有图像块Ipq实现压缩编码得到的DCT压缩编码块F可代替原图像块用作XNN分类模型的训练以及推理。由于只涉及幅面大小和通道数目的改变，后续使用的CNN分类模型的卷积核会自动适应该尺寸的输入，可用基础模型包括但不限于ResNet，DenseNet，EfficientNet等。
步骤四：全切片图像快速分割
利用训练好的CNN分类模型对全切片所有图像块的DCT压缩编码块F预测得到一系列标签；初始化一张全黑掩模图，其中Iw,Ih为全切片图像的高和宽，W,H为图像块的大小。将每一张图像块得到的标签序号作为MASK在该图像块所在全切片中位置处的像素值；而后，经过长宽分别上采样/>倍率得到与全切片图像大小相同的分割掩膜结果。
本发明以JPEG图像解码过程中产生的DCT编码进行数据重排、频率自适应选择得到的DCT压缩编码快F代替原图像块进行CNN分类模型的训练和推理，由于其大幅削减的数据量使得CNN分类模型轻量化、GPUs依赖低、批处理数量大等特点，提高了数字病理全切片图像的分割速度，减轻了计算机癌症辅助诊断的部署成本。以C＝8为例，其压缩率达到1/24，能够达到与以RGB为输入的基准网络相近的分割精度。
实验验证：
本发明方法在子宫内膜癌病理数据集中进行了验证，选取EfficientNet-b0为基础分类模型，在使用本发明分类与以RGB输入的基础模型的分类精度对比结果如表1所示：
表1子宫内膜癌病理数据集分类精度对比
| 方法 | 输入尺寸、格式 | 分类精度 | 输入比 |
| 本发明 | 28×28×8DCT | 91.42 | 0.04 |
| EfficientNet-b0 | 224×224×3RGB | 92.60 | 1.0 |
本发明方法和以RGB输入的基础模型在数字病理全切片图像上的分割速度对比结果如表2所示：
表2子宫内膜癌病理数据集分割速度对比
| 方法 | 输入尺寸、格式 | DSC | Accuracy | GPUs占用 | 分析时间 |
| 本发明 | 28×28×8DCT | 0.811 | 0.810 | 3470M | 11s |
| EfficientNet-b0 | 224×224×3RGB | 0.832 | 0.811 | 17200M | 23s |
实验结果表明，采用本发明的分割方法，频率自适应选择的索引是Y通道的[0,1]频率分量、Cb通道的[0,5]频率分量、Cr通道的[0,5,6,7]频率分量，精度与基于RGB图像的分割方法十分接近，但速度提高50％以上，且对GPUs依赖较小。
本发明从JPEG压缩原理出发，对提取出的DCT编码特征进行频率自适应选择来压缩数据量，在保证相近分析精度的同时，大幅削减了计算量，同时也减少了全切片自动分析框架对GPU计算的依赖。这一优势意味着搭载本发明全切片压缩编码模块的分析算法无需在专门搭建的高性能GPU计算服务器(包括云服务器)上运行，取而代之可以在多元化个人终端，包括手机、平板电脑、个人办公计算机等轻量化硬件中运行，实现计算的去中心化，使该领域产品的服务方式更加灵活多变。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于DCT频率自适应选择的数字病理全切片分割方法，其特征在于，包括以下步骤：
基于CNN-based网络架构将训练样本中的所有全切片分别分割成若干个图像块，并对每个图像块进行JPEG解码操作，得到DCT编码；
对DCT编码进行数据重排和频率自适应选择得到DCT压缩编码块；
利用DCT压缩编码块对预先构建的CNN分类模型进行训练；
基于训练好的CNN分类模型对待检测全切片中所有图像块的DCT压缩编码块进行分类预测，得到待检测全切片范围的预测结果图；
对DCT编码进行频率自适应选择，包括以下步骤：
基于SENet通道注意力方法构建频率自适应选择模型；
在对频率自适应选择模型的训练阶段，设置一个维度为1×192、固定值初始化的向量，并使该向量依次经过全连接层、Relu激活层和全连接层映射到隐空间的1×192维度连续值向量G；
对1×192维度连续值向量G进行二值化处理，得到1×192维度的0-1值“阀门”G'；利用0-1值“阀门”G'控制该频率通道保留与否，其中0值代表舍弃该频率分量，1值代表保留该频率分量；
将0-1值“阀门”G'与DCT频率块D'相作用，得到DCT压缩编码块F，DCT压缩编码块F的表达式如下：
其中，C为保留下的频率数量，压缩率为C/192，由DCT压缩编码块F代替原图像块作为预先构建的CNN分类模型训练过程的输入数据；W、H分别表示原RGB格式图像块的高、宽，C为保留下的频率数量，T表示图像块。
2.根据权利要求1所述的一种基于DCT频率自适应选择的数字病理全切片分割方法，其特征在于，所述对每个图像块进行JPEG解码操作，得到DCT编码，包括以下步骤：
从云端下载得到每个图像块的JPEG二进制码流数据；
从JPEG二进制码流数据中提取出霍夫曼编码表和量化表；
以霍夫曼编码表为基础进行反编码操作，得到Zigzag编码块；以量化表为基础对Zigzag编码块进行反量化操作，得到DCT编码。
3.根据权利要求1所述的一种基于DCT频率自适应选择的数字病理全切片分割方法，其特征在于，所述对DCT编码进行数据重排，包括以下步骤：
按照4:1:1的采样格式对DCT编码的Y、Cb、Cr三个通道进行数据重排操作，得到对应三个通道的DCT编码，每个通道的DCT编码的表达式如下：
其中，表示8×8分块DCT编码中第i行第j列的内容，其含义是图像块中对应8×8位置通道c的DCT变换，M、N分别为Dc包含DCT编码块的行数和列数；/>中由0至63个编号的位置，分别代表64个从低到高的频率分量信息，其中0代表直流分量，低频段集中在左上角，高频段集中在右下角；
将三个通道的DCT编码中每一个8×8分块的DCT编码块中相同频率按照原空间位置关系组成一个通道，即将/>拉伸为1×1×64维度的向量，按其原来所在行列排布，得到转换后的DCT编码/>
将和/>上采样2倍后与D'Y拼接，得到DCT频率块D'，其中，/>
4.根据权利要求1所述的一种基于DCT频率自适应选择的数字病理全切片分割方法，其特征在于，在对频率自适应选择模型的训练阶段，还包括以下步骤：
利用回归损失函数L1Loss对0-1o阀门”G'进行稀疏化处理，以加大数据压缩率，其表达式如下所示：
其中，x'表示1×192维度连续值向量G，x表示1×192维度的“阀门”期望值，xi表示x中第i个元素；xi'表示x'中第i个元素；
采用分类交叉熵损失函数CELoss对分类效果进行验证，其表达式如下所示：
其中，y'表示样本属于该类别的预测概率，y表示预测类别与真实类别是否相同的指示变量，yi表示y中第i个元素，yi'表示y'中第i个元素；
按照下式确定训练过程的loss值：
Loss＝CELoss+β*L1Loss；
其中，超参数β用来控制0-1“阀门”G'的稀疏化程度，其影响保留的频率数量C。
5.根据权利要求4所述的一种基于DCT频率自适应选择的数字病理全切片分割方法，其特征在于，β和C的取值如下：β＝0.03，C＝3；或β＝0.01，C＝5；或β＝0.007，C＝8；或β＝0.005，C＝10。
6.根据权利要求4所述的一种基于DCT频率自适应选择的数字病理全切片分割方法，其特征在于，所述基于训练好的CNN分类模型对待检测全切片中所有图像块的DCT压缩编码块进行分类预测，得到待检测全切片范围的预测结果图，包括以下步骤：
利用训练好的CNN分类模型对待检测全切片中所有图像块的DCT压缩编码块F进行预测，得到一系列标签；
将得到的一系列标签按照原图像块的空间位置进行聚合和上采样，得到待检测全切片范围的预测结果图。
7.根据权利要求6所述的一种基于DCT频率自适应选择的数字病理全切片分割方法，其特征在于，所述将得到的一系列标签按照原图像块的空间位置进行聚合和上采样，得到待检测全切片范围的预测结果图，包括：
初始化一张全黑掩膜图其中Iw,Ih为待检测全切片的高和宽，W,H为图像块的高和宽；
将每一张图像块得到的标签作为全黑掩膜图MASK在该图像块所在全切片中位置处的像素值；
分别以倍率进行上采样，得到与全切片图像大小相同的分割掩膜结果图。
8.根据权利要求1所述的一种基于DCT频率自适应选择的数字病理全切片分割方法，其特征在于，所述CNN分类模型的主体架构为ResNet，DenseNet或EfficientNet。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962248.6A CN113706493B (zh) | 2021-08-20 | 2021-08-20 | 基于dct频率自适应选择的数字病理全切片分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962248.6A CN113706493B (zh) | 2021-08-20 | 2021-08-20 | 基于dct频率自适应选择的数字病理全切片分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706493A CN113706493A (zh) | 2021-11-26 |
| CN113706493B true CN113706493B (zh) | 2024-03-22 |
Family
ID=78654112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110962248.6A Active CN113706493B (zh) | 2021-08-20 | 2021-08-20 | 基于dct频率自适应选择的数字病理全切片分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706493B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101107838A (zh) * | 2005-01-26 | 2008-01-16 | 索尼株式会社 | 编码装置、编码方法与编码程序以及摄像装置 |
| CN105430416A (zh) * | 2015-12-04 | 2016-03-23 | 四川大学 | 一种基于自适应稀疏域编码的指纹图像压缩方法 |
| CN105612744A (zh) * | 2013-10-01 | 2016-05-25 | 索尼公司 | 视频数据编码和解码 |
| WO2020057182A1 (zh) * | 2018-09-19 | 2020-03-26 | 华为技术有限公司 | 一种图像压缩的方法及装置 |
| CN112509094A (zh) * | 2020-12-22 | 2021-03-16 | 西安交通大学 | 一种基于级联残差编解码网络的jpeg图像压缩伪影消除算法 |
| CN112767503A (zh) * | 2021-01-15 | 2021-05-07 | 北京航空航天大学 | 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法 |
| CN113255571A (zh) * | 2021-06-16 | 2021-08-13 | 中国科学院自动化研究所 | 抗jpeg压缩的伪造图像检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7239748B2 (en) * | 2003-08-12 | 2007-07-03 | International Business Machines Corporation | System and method for segmenting an electronic image |
-
2021
- 2021-08-20 CN CN202110962248.6A patent/CN113706493B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101107838A (zh) * | 2005-01-26 | 2008-01-16 | 索尼株式会社 | 编码装置、编码方法与编码程序以及摄像装置 |
| CN105612744A (zh) * | 2013-10-01 | 2016-05-25 | 索尼公司 | 视频数据编码和解码 |
| CN105430416A (zh) * | 2015-12-04 | 2016-03-23 | 四川大学 | 一种基于自适应稀疏域编码的指纹图像压缩方法 |
| WO2020057182A1 (zh) * | 2018-09-19 | 2020-03-26 | 华为技术有限公司 | 一种图像压缩的方法及装置 |
| CN112509094A (zh) * | 2020-12-22 | 2021-03-16 | 西安交通大学 | 一种基于级联残差编解码网络的jpeg图像压缩伪影消除算法 |
| CN112767503A (zh) * | 2021-01-15 | 2021-05-07 | 北京航空航天大学 | 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法 |
| CN113255571A (zh) * | 2021-06-16 | 2021-08-13 | 中国科学院自动化研究所 | 抗jpeg压缩的伪造图像检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于小波变换的遥感图像无损压缩算法研究;刘芬;杨济安;;通信技术;20070710(07);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706493A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7438108B2 (ja) | 画像処理方法、処理装置及び処理デバイス | |
| Nash et al. | Generating images with sparse representations | |
| US11461639B2 (en) | Image processing method, image processing device, and training method of neural network | |
| CN109949255B (zh) | 图像重建方法及设备 | |
| Cui et al. | Image compressed sensing using non-local neural network | |
| CN110321920A (zh) | 图像分类方法、装置、计算机可读存储介质和计算机设备 | |
| CN110163267A (zh) | 一种图像生成模型的训练方法和生成图像的方法 | |
| CN104574336B (zh) | 基于自适应亚模字典选择的超分辨率图像重建系统 | |
| CN110348515A (zh) | 图像分类方法、图像分类模型训练方法及装置 | |
| CN108629772A (zh) | 图像处理方法及装置、计算机设备和计算机存储介质 | |
| CN110322402A (zh) | 基于稠密混合注意力网络的医学图像超分辨率重建方法 | |
| CN111881920B (zh) | 一种大分辨率图像的网络适配方法及神经网络训练装置 | |
| Chouhan et al. | Enhancement of low-contrast images by internal noise-induced Fourier coefficient rooting | |
| Cao et al. | Acceleration of histogram‐based contrast enhancement via selective downsampling | |
| CN116168197A (zh) | 一种基于Transformer分割网络和正则化训练的图像分割方法 | |
| Lu et al. | A novel 3D medical image super-resolution method based on densely connected network | |
| CN117201693B (zh) | 一种物联网图像压缩方法、装置、终端设备及介质 | |
| CN112767503B (zh) | 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法 | |
| CN113706493B (zh) | 基于dct频率自适应选择的数字病理全切片分割方法 | |
| CN116612004A (zh) | 基于双路径融合的高光谱图像重建方法 | |
| Yang et al. | A study of sine–cosine oscillation heterogeneous PCNN for image quantization | |
| Gao et al. | Sinco: A novel structural regularizer for image compression using implicit neural representations | |
| CN116155873A (zh) | 一种云边协同的图像处理方法、系统、设备及介质 | |
| Kong et al. | Full-reference IPTV image quality assessment by deeply learning structural cues | |
| CN115082840A (zh) | 基于数据组合和通道相关性的动作视频分类方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |