CN112767503A - 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法 - Google Patents

一种基于jpeg压缩编码的数字病理全切片图像快速分析方法 Download PDF

Info

Publication number
CN112767503A
CN112767503A CN202110054684.3A CN202110054684A CN112767503A CN 112767503 A CN112767503 A CN 112767503A CN 202110054684 A CN202110054684 A CN 202110054684A CN 112767503 A CN112767503 A CN 112767503A
Authority
CN
China
Prior art keywords
coding
full
slice
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110054684.3A
Other languages
English (en)
Other versions
CN112767503B (zh
Inventor
郑钰山
罗伟
姜志国
张浩鹏
谢凤英
赵丹培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110054684.3A priority Critical patent/CN112767503B/zh
Publication of CN112767503A publication Critical patent/CN112767503A/zh
Application granted granted Critical
Publication of CN112767503B publication Critical patent/CN112767503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,首先对从远端获取的图像块的JPEG压缩编码进行解码,获得DCT编码矩阵;然后对DCT编码矩阵依次进行空间下采样和频域下采样从而获得全切片图像压缩编码矩阵,最后采用全切片图像压缩编码矩阵构建全切片分析模型,利用构建好的全切片分析模型即可实现数字病理全切片的自动分析。本发明直接利用JPEG压缩图像解码过程的中间结果生成图片压缩编码矩阵,大幅削减了全切片分块特征提取的计算量,提高了分析速度。

Description

一种基于JPEG压缩编码的数字病理全切片图像快速分析方法
技术领域
本发明涉及图像分析技术领域,更具体的说是涉及一种基于JPEG压缩编码的数字病理全切片图像快速分析方法。
背景技术
目前,癌症是人类健康的一大威胁,在医学领域,对于数字病理图像的诊断是癌症诊断过程中至关重要的步骤。医生通过对组织切片扫描得到的数字病理图像进行查看来对癌症进行诊断,并且通过数字病理图像中癌症区域的面积、占比等指标对患者指定相应的治疗方案。随着计算机与显微成像技术的快速发展,数字病理图像的获取更加便捷与快速,适用于数字病理全切片图像的计算机自动分析算法成为近年来该方向的一个研究热点。
在算法方面,数字病理图像分辨率远高于自然场景图像,现有计算机视觉算法难以直接处理整张病理图像。现有算法为了处理整张切片,大多采用全切片图像分块处理的方式获取局部特征,达到数据压缩的目的,然后在局部特征的基础上建立模型形成全切片级别的分析结果。其中最常用的局部信息提取模型是卷积神经网络(convolutionalneural network,CNN)。
在应用场景方面,切片数字化技术的不断成熟,基于互联网云平台的数字病理切片会诊、交流平台快速发展,也迫使数字病理计算机自动分析算法向适用于大数据云平台的方向转型。受云端与客户端通信效率限制,当前数字病理切片在云端以图像分块(Tile)配合JPEG压缩编码的形式存储,这也为基于分块CNN的自动算法提供了便利。现有计算机硬件条件无法直接用单一CNN模型直接处理高分辨率数字病理全切片图像,图像块首先以JPEG编码形式下载到服务器中,然后进行JPEG解码获取RGB格式图像块,其中包括霍夫曼反编码、ZigZag反变换、反量化、反离散余弦变换变换(IDCT),YCbCr到RGB颜色空间反变换几个步骤,然后将RGB格式图像块输入到CNN特征提取网络提取该图像块的特征。使用以上流程提取全切片图像中所有图像块的特征后,按照图像块在全切片中的空间顺序排列成特征矩阵F,最后将F输入到全切片分析模型,完成对全切片的自动分析。
但是,在上述整个自动分析流程中,基于CNN的图像块特征提取环节(图1b)的计算量远大于全切片分析模型(图1d)的计算量,实际工程使用中前者的运行时间占全部分析时间的95%~99%左右,该部分产生的高算量严重拖慢了计算机自动分析的时间,使现有方法的运行效率远不能满足医生使用需要,而为了尽量缩减分析时长,现有算法大多依赖GPU计算,但同时大幅提高了自动分析应用部署成本。
因此,如何实现减少全切片分块特征提取的计算量,提高分析速度是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,直接利用JPEG压缩图像解码过程的中间结果,生成全切片图像压缩编码矩阵,代替基于CNN的全切片特征矩阵作为后续全切片分析模型的输入,从而大幅削减全切片分块特征提取的计算量,提高分析速度。
为了实现上述目的,本发明采用如下技术方案:
一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,包括以下步骤:
步骤1:获取病理全切片图像,对所述病理全切片图像进行分块获得图像块T=Ipq,并将所述图像块以JPEG压缩编码的形式存储至云端,其中
Figure BDA0002900486410000021
表示一张像素分辨率为w×h的RGB三通道病理全切片图像;
Figure BDA0002900486410000022
表示组成所述病理全切片图像的第p行第q列的所述图像块,t表示所述图像块的边长;实体切片经过全自动显微镜扫描形成数字全切片图像;数字全切片图像分块,每一块独立压缩成JPEG格式;将JPEG格式的图像快上传到云端存储;
步骤2:获取所述病理全切片图像块
Figure BDA0002900486410000023
的JPEG压缩编码,所述JPEG压缩编码依次经过霍夫曼反编码、Zigzag反编码和反量化操作解码至离散余弦变换编码阶段,获得DCT编码矩阵
Figure BDA0002900486410000024
其中,首先对所述JPEG压缩编码J0采用霍夫曼反编码算法,获得Zigzag编码J1;然后对所述Zigzag编码J1使用Zigzag反编码算法获得DCT量化编码J2;最后对所述DCT量化编码J2使用DCT反量化算法,获得DCT编码矩阵D;
所述DCT编码矩阵空间尺寸与所述图像块T相同,包含三个通道,存储内容依次为YCbCr颜色空间的Y、Cb和Cr通道的8×8分块DCT编码矩阵;其中,Y、Cb和Cr数据分别表示为
Figure BDA0002900486410000031
Figure BDA0002900486410000032
表示第c个通道的8×8分块DCT编码矩阵,其中,c表示通道类型;
Figure BDA0002900486410000033
表示通道c的8×8分块DCT编码矩阵中第i行第j列的DCT编码块,是所述图像块T中对应8×8位置通道c的DCT变换结果;M=t/8,N=t/8分别为所述8×8分块DCT编码矩阵Dc中包含编码块的行数和列数;
步骤3:对所述DCT编码矩阵进行空域下采样,获得下采样DCT编码矩阵
Figure BDA0002900486410000034
所述DCT编码矩阵D的数据量与所述图像块T相同,为达到数据压缩目的,在空间上对所述DCT编码块进行下采样,下采样操作的目的是将Dc中相邻的4个8×8DCT编码块降采样为1个8×8DCT编码块,最大限度保留有效信息;令
Figure BDA0002900486410000035
分别表示Dc中第i行第j列的编码块、第i行第j+1列的编码块、第i+1行第j列的编码块、第i+1行第j+1列的编码块,也即相邻的4个8×8DCT编码块,
Figure BDA0002900486410000036
为下采样后的通道c的8×8DCT编码块,所述空域下采样具体过程如下:
步骤31:计算16×16DCT变换矩阵
Figure BDA0002900486410000037
和8×8DCT变换矩阵
Figure BDA0002900486410000038
公式为:
Figure BDA0002900486410000039
分别将R=16和R=8代入公式,获得所述16×16的DCT变换矩阵Z16和苏搜狐8×8DCT变换矩阵Z8,将所述16×16的DCT变换矩阵Z16拆分为四个子矩阵:
Figure BDA0002900486410000041
其中
Figure BDA0002900486410000042
是z16的全低频子矩阵,
Figure BDA0002900486410000043
是z16的低高频子矩阵,
Figure BDA0002900486410000044
是z16的高低频子矩阵、
Figure BDA0002900486410000045
是z16的全高频子矩阵,空域压缩过程只使用全低频子矩阵
Figure BDA0002900486410000046
和低高频子矩阵
Figure BDA0002900486410000047
步骤32:根据8×8分块DCT编码块
Figure BDA0002900486410000048
和全低频子矩阵
Figure BDA0002900486410000049
和低高频子矩阵
Figure BDA00029004864100000410
计算辅助算子P、Q、E、F、U、V,公式如下:
Figure BDA00029004864100000411
其中
Figure BDA00029004864100000412
为8×8DCT变换矩阵z8的转置矩阵;
步骤33:根据所述辅助算子计算空域下采样DCT编码矩阵
Figure BDA00029004864100000413
中通道c的第
Figure BDA00029004864100000414
行第
Figure BDA00029004864100000415
列的8×8DCT编码块
Figure BDA00029004864100000416
Figure BDA00029004864100000417
其中
Figure BDA00029004864100000418
Figure BDA00029004864100000419
为下采样后的DCT分块编码中的第
Figure BDA00029004864100000420
行和
Figure BDA00029004864100000421
列的编码块,8×8DCT编码块
Figure BDA00029004864100000422
是通过对所述DCT编码矩阵使用滑窗法进行下采样后得到;
步骤34:根据所述步骤31-步骤33对所有满足
Figure BDA00029004864100000423
j=1,2,...,N/2的第i行第j列的编码块
Figure BDA00029004864100000424
第i行第j+1列的编码块
Figure BDA00029004864100000425
第i+1行第j列的编码块
Figure BDA00029004864100000426
第i+1行第j+1列的编码块
Figure BDA00029004864100000427
进行处理,获得对应的8×8DCT编码块
Figure BDA00029004864100000428
并按照空域下采样后的DCT编码矩阵表示为:
Figure BDA00029004864100000429
Figure BDA0002900486410000051
分别表示下采样DCT编码矩阵
Figure BDA0002900486410000052
中包含8×8DCT编码块的行数和列数;
步骤35:对步骤31-步骤34的下采样过程可循环执行n次,n的取值范围是n=1,2,...,[log2(t/8)],其中[*]表示向下取整计算;
步骤4:对空域下采样后的DCT编码矩阵
Figure BDA0002900486410000053
进行频域下采样,进一步压缩数据量,获得频域下采样DCT编码矩阵
Figure BDA0002900486410000054
在进行上述DCT编码空域下采样后
Figure BDA0002900486410000055
的数据量为原始DCT编码矩阵D的数据量的1/2n,其中n为循环执行次数;采用关键频率抽取的方式,进行频域下采样,进一步压缩
Figure BDA0002900486410000056
的数据量,具体过程如下:
步骤41:将第c个通道的空域下采样后的DCT编码矩阵
Figure BDA0002900486410000057
中的8×8编码块
Figure BDA0002900486410000058
中的元素按照代表的频率由低到高重新排列为向量
Figure BDA0002900486410000059
Figure BDA00029004864100000510
经重新排列后表示为三维张量
Figure BDA00029004864100000511
其中
M′=M/2n=t/2n+3
N′=N/2n=t/2n+3
步骤42:令
Figure BDA00029004864100000512
表示所述三维张量
Figure BDA00029004864100000513
中第i行第j列第k维的数据,对所述三维张量
Figure BDA00029004864100000514
按照从低频到高频进行依次采样,所述图像块T的DCT编码阵列经空域、频域下采样后的压缩编码表示为三维张量
Figure BDA00029004864100000515
其中第i行第j列的定义如下:
Figure BDA00029004864100000516
其中,KY,KCb,KCr分别表示Y,Cb,Cr通道中采用的低频通道的数量,K=KY+KCb+KCr为采样频率通道数总和,KY,KCb,KCr取值越小,切片的压缩率越高,但同时图像信息损失越大、切片分析精度越难保证;反之,KY,KCb,KCr取值越大,切片的压缩率越低,但同时图像信息损失越小、切片分析精度越高;
步骤5:根据所述三维张量C组建的训练集,利用卷积神经网络训练构建全切片分析模型;
步骤6:将待分析数字病理全切片图像输入所述全切片分析模型,实现自动分析,获得分析结果。
优选的,步骤3中还可以采用平均池化、最大池化和加权平均等算法对所述DCT编码矩阵进行下采样。
优选的,KY,KCb,KCr的最优选值为KY=4,KCb=2,KCr=2。
优选的,所述步骤42中,对所述三维张量
Figure BDA0002900486410000061
进行间隔采样,所述图像块T的DCT编码阵列经空域、频域下采样后的压缩编码表示为三维张量
Figure BDA0002900486410000062
所述间隔采样包括等间隔采样、不等间隔采样或随机采样。
优选的,所述步骤4中还包括步骤43,对经空域、频域下采样后的压缩编码进行扁平化处理,重排为向量
Figure BDA0002900486410000063
其中,df为编码长度,df=M′N′K=t2/22n+6×K;经空域、频域下采样后的压缩编码C与向量
Figure BDA0002900486410000064
所包含的信息等价,将向量
Figure BDA0002900486410000065
输入所述步骤5中构建全切片分析模型。
优选的,所述全切片分析模型包括基于CNN的全切片分类模型、基于FCN的全切片图像分割模型、基于Hash的检索模型、多实例学习模型、自监督学习模型或图卷积网络模型等;基于CNN的全切片分类模型,采用的卷积神经网络包括AlexNet、VGG、ResNet、InceptionNet、DenseNet、EfficientNet或RegNet等;基于FCN的全切片图像分割模型,采用的全卷积神经网络包括U-Net、RefineNet、DeepLab或HRNet等。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,首先对从远端获取的图像块的JPEG压缩编码进行解码,然后进行离散余弦变换编码,获得DCT编码矩阵;然后对DCT编码矩阵依次进行空间下采样和频域下采样从而获得全切片图像压缩编码矩阵,最后采用全切片图像压缩编码矩阵构建全切片分析模型,利用构建好的全切片分析模型即可实现数字病理全切片的自动分析。采用基于DCT编码的数字病理全切片图像压缩编码方法,通过JPEG压缩格式图像解码过程的中间结果(即DCT)实现图像块的信息压缩解码,以生成的全切片图像压缩编码矩阵代替传统框架中使用CNN特征矩阵作为全切片分析的基础,免除使用CNN提取图像块特征的计算量,实际使用中可降低95%左右的处理时间,大幅提高了全切片的分析速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的基于JPEG压缩编码的数字病理全切片图像快速分析流程示意图;
图2附图为本发明提供的病理全切片图像分块存储示意图;
图3附图为本发明提供的DCT编码矩阵下采样流程图示意图;
图4附图为本发明提供的病理全切片图像编码结果示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,包括以下步骤:
S1:获取病理全切片图像,对病理全切片图像进行分块获得图像块T=Ipq,并将图像块以JPEG压缩编码的形式存储至云端,其中
Figure BDA0002900486410000071
表示一张像素分辨率为w×h的RGB三通道病理全切片图像;
Figure BDA0002900486410000072
表示组成病理全切片图像的第P行第q列的图像块,t表示图像块的边长;
S2:获取病理全切片图像的JPEG压缩编码,JPEG压缩编码依次经过霍夫曼反编码、Zigzag反编码和反量化操作解码至离散余弦变换编码阶段,获得DCT编码矩阵
Figure BDA0002900486410000073
DCT编码矩阵空间尺寸与图像块T相同,包含三个通道,存储内容依次为YCbCr颜色空间的Y、Cb和Cr通道的8×8分块DCT编码矩阵;其中,Y、Cb和Cr数据分别表示为
Figure BDA0002900486410000074
Figure BDA0002900486410000081
表示第c个通道的8×8分块DCT编码矩阵,其中,c表示通道类型;
Figure BDA0002900486410000082
表示通道c的8×8分块DCT编码矩阵中第i行第j列的DCT编码块,是图像块T中对应8×8位置通道c的DCT变换结果;M=t/8,N=t/8分别为8×8分块DCT编码矩阵Dc中包含编码块的行数和列数;
S3:对DCT编码矩阵进行空域下采样;
DCT编码矩阵D的数据量与图像块T相同,为达到数据压缩目的,在空间上对DCT编码块进行下采样,下采样操作的目的是将Dc中相邻的4个8×8分块DCT分块编码块降采样为1个8×8分块DCT分块编码块,最大限度保留有效信息,令
Figure BDA0002900486410000083
分别表示Dc中第i行第j列的编码块、第i行第j+1列的编码块、第i+1行第j列的编码块、第i+1行第j+1列的编码块,也即相邻的4个8×8DCT编码块,
Figure BDA0002900486410000084
为下采样后的通道c的8×8DCT编码块;具体过程如下:
S31:计算16×16DCT变换矩阵
Figure BDA0002900486410000085
和8×8DCT变换矩阵
Figure BDA0002900486410000086
公式为:
Figure BDA0002900486410000087
分别将R=16和R=8代入公式,获得16×16的DCT变换矩阵Z16和苏搜狐8×8DCT变换矩阵Z8,将16×16的DCT变换矩阵Z16拆分为四个子矩阵:
Figure BDA0002900486410000088
其中
Figure BDA0002900486410000089
是z16的全低频子矩阵,
Figure BDA00029004864100000810
是z16的低高频子矩阵,
Figure BDA00029004864100000811
是z16的高低频子矩阵、
Figure BDA00029004864100000812
是z16的全高频子矩阵,空域压缩过程只使用全低频子矩阵
Figure BDA00029004864100000813
和低高频子矩阵
Figure BDA00029004864100000814
S32:根据8×8分块DCT编码块
Figure BDA00029004864100000815
和全低频子矩阵
Figure BDA00029004864100000816
和低高频子矩阵
Figure BDA00029004864100000817
计算辅助算子P、Q、E、F、U、V,公式如下:
Figure BDA00029004864100000818
Figure BDA0002900486410000091
其中
Figure BDA0002900486410000092
为8×8DCT变换矩阵z8的转置矩阵;
S33:根据辅助算子计算空域下采样DCT编码矩阵
Figure BDA0002900486410000093
中通道c的第
Figure BDA0002900486410000094
行第
Figure BDA0002900486410000095
列的8×8DCT编码块
Figure BDA0002900486410000096
Figure BDA0002900486410000097
其中
Figure BDA0002900486410000098
Figure BDA0002900486410000099
为下采样后的DCT分块编码中的第
Figure BDA00029004864100000910
行和
Figure BDA00029004864100000911
列的编码块,8×8DCT编码块
Figure BDA00029004864100000912
是通过对DCT编码矩阵使用滑窗法进行下采样后得到;
S34:循环S31-S33,对所有满足
Figure BDA00029004864100000913
j=1,2,...,N/2的第i行第j列的编码块
Figure BDA00029004864100000914
第i行第j+1列的编码块
Figure BDA00029004864100000915
第i+1行第j列的编码块
Figure BDA00029004864100000916
第i+1行第j+1列的编码块
Figure BDA00029004864100000917
进行处理,获得对应的8×8DCT编码块
Figure BDA00029004864100000918
并按照空域下采样后的DCT编码矩阵表示为:
Figure BDA00029004864100000919
Figure BDA00029004864100000920
分别表示下采样DCT编码矩阵
Figure BDA00029004864100000921
中包含8×8DCT编码块的行数和列数;
S35:上述S31-S34下采样过程可循环执行n次;
视图像具体尺寸和精度需要情况,下采样操作可以进行多次,每次下采样像素分辨率数值w和h变为原来的一半,下采样n次的DCT编码矩阵表示为
Figure BDA00029004864100000922
其中t′=t/2n,n的取值范围是n=1,2,...,[log2(t/8)],其中[*]表示向下取整计算;
S4:对下采样后的DCT编码矩阵
Figure BDA00029004864100000923
进行频域下采样,进一步压缩数据量,获得三维张量C;
在进行上述DCT编码下采样后
Figure BDA00029004864100000924
的数据量为原始DHT编码矩阵D的数据量的1/2n,其中n为上述循环执行次数,但其压缩率仍不能满足全切片分析的需求,为了进一步压缩编码,采用关键频率抽取的方式,进行频域下采样,进一步压缩
Figure BDA0002900486410000101
的数据量,具体过程如下:
S41:将
Figure BDA0002900486410000102
中的8×8编码块
Figure BDA0002900486410000103
中的元素按照代表的频率由低到高重新排列为向量
Figure BDA0002900486410000104
Figure BDA0002900486410000105
中元素的具体排列顺序如图3中(c)所示,按照从左上角到右下角折返的顺序排列,
Figure BDA0002900486410000106
经重新排列后表示为三维张量
Figure BDA0002900486410000107
其中
M′=M/2n=t/2n+3
N′=N/2n=t/2n+3
S42:通过实验验证发现病理图像在DCT频域的有效信息集中在低频部分,因此通过保留低频分量,舍弃高频分量的方式实现频域下采样,具体令
Figure BDA0002900486410000108
表示三维张量
Figure BDA0002900486410000109
中第i行第j列第k维的数据,对三维张量
Figure BDA00029004864100001010
按照从低频到高频进行依次采样,图像块T的DCT编码阵列经空域、频域下采样后的压缩编码表示为三维张量
Figure BDA00029004864100001011
其中第i行第j列的定义如下:
Figure BDA00029004864100001012
其中,KY,KCb,KCr分别表示Y,Cb,Cr通道中采用的低频通道的数量,K=KY+KCb+KCr为采样频率通道数总和,KY,KCb,KCr的取值可按照工程需要选取,KY,KCb,KCr取值越小,切片的压缩率越高,但同时图像信息损失越大、切片分析精度越难保证;反之亦然;
S5:根据三维张量C组建的训练集,利用卷积神经网络训练构建全切片分析模型;
S6:将待分析数字病理全切片图像输入全切片分析模型,实现自动分析,获得分析结果。
为了进一步优化上述技术方案,还可以采用平均池化、最大池化和加权平均等算法对DCT编码矩阵进行下采样。
为了进一步优化上述技术方案,KY,KCb,KCr的最优选值为KY=4,KCb=2,KCr=2。
为了进一步优化上述技术方案,S42中,对三维张量
Figure BDA0002900486410000111
进行间隔采样,图像块T的DCT编码阵列经空域、频域下采样后的压缩编码表示为三维张量
Figure BDA0002900486410000112
间隔采样包括等间隔采样、不等间隔采样或随机采样。
即每个颜色通到采样频段的数值取值为(0,2,4,6,…)、(1,3,5,7…)、(0,1,3,6,7,…)或(7,5,3,1,8,6,4,2,…)。
为了进一步优化上述技术方案,S4中还包括S43,对经空域、频域下采样后的压缩编码进行扁平化处理,重排为向量
Figure BDA0002900486410000113
其中,df为编码长度,df=M′N′K=t2/22n+6×K;重排的顺序没有特别限制,实施时可根据后续全切片分析的需要规定重排顺序,经空域、频域下采样后的压缩编码C与向量
Figure BDA0002900486410000114
所包含的信息等价,将向量
Figure BDA0002900486410000115
输入S5中构建全切片分析模型,根据三维张量
Figure BDA0002900486410000116
组建的训练集,利用卷积神经网络训练构建全切片分析模型。
为了进一步优化上述技术方案,全切片分析模型包括基于CNN的全切片分类模型、基于FCN的全切片图像分割模型、基于Hash的检索模型、多实例学习模型、自监督学习模型或图卷积网络模型等;基于CNN的全切片分类模型,采用的卷积神经网络包括AlexNet、VGG、ResNet、InceptionNet、DenseNet、EfficientNet或RegNet等;基于FCN的全切片图像分割模型,采用的全卷积神经网络包括U-Net、RefineNet、DeepLab或HRNet等。
实施例
本发明的采用基于DCT编码的数字病理全切片图像压缩编码方法,以生成的全切片图像压缩编码矩阵
Figure BDA0002900486410000117
代替传统框架中使用CNN特征矩阵F作为全切片分析的基础,可免除使用CNN提取图像块特征的计算量,实际使用中可降低95%左右的处理时间,大幅提高了全切片的分析速度。在压缩率方面,主流CNN网络可将尺寸为256×256的图像块压缩为1024至2048维的特征向量;使用本发明中的压缩编码方法时,取t=256,n=1,KY=4,KCb=2,KCr=2,带入公式df=M′N′K=t2/22n+6×K中,可得df=2048,即将图像压缩为2048的特征向量,压缩率与CNN模型相当。
在子宫内膜癌病理数据集(共有1270张切片)中进行验证,选取基于EfficientNet-b0结构的全切片分类网络作为全切片分析模型,在使用本发明压缩编码与CNN压缩编码的对比结果如表1所示:
表1子宫内膜癌病理数据集分类平均精度对比
Figure BDA0002900486410000121
结果表明,采用本发明的压缩编码方法进行全切片分类时,精度与基于CNN特征的分析方法十分接近,但是速度可提升两个数量级,具有较快的处理速度。
本发明舍弃了传统框架中使用CNN提取图像块特征的步骤,在大幅削减了计算量的同时,减少了全切片自动分析框架对GPU计算的依赖,因此搭载本发明全切片压缩编码模块的分析算法无需在专门搭建的高性能GPU计算服务器(包括云服务器)上运行,可以在多元化个人终端,包括手机、平板电脑、个人办公计算机等轻量化硬件中运行,实现计算的去中心化,使该领域产品的服务方式更加灵活多变。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,其特征在于,包括以下步骤:
步骤1:获取病理全切片图像,对所述病理全切片图像进行分块获得图像块T=Ipq,并将所述图像块以JPEG压缩编码的形式存储至云端,其中
Figure FDA0002900486400000011
表示一张像素分辨率为w×h的RGB三通道病理全切片图像;
Figure FDA0002900486400000012
表示组成所述病理全切片图像的第p行第q列的所述图像块,t表示所述图像块的边长;
步骤2:获取所述病理全切片图像的JPEG压缩编码,所述JPEG压缩编码依次经过霍夫曼反编码、Zigzag反编码和反量化操作解码至离散余弦变换编码阶段,获得DCT编码矩阵
Figure FDA0002900486400000013
步骤3:对所述DCT编码矩阵进行空域下采样,获得下采样DCT编码矩阵
Figure FDA0002900486400000014
步骤4:对所述下采样DCT编码矩阵
Figure FDA0002900486400000015
进行频域下采样,获得三维张量C;
步骤5:根据所述三维张量C组建的训练集,利用卷积神经网络训练构建全切片分析模型;
步骤6:将待分析数字病理全切片图像输入所述全切片分析模型,实现自动分析,获得分析结果。
2.根据权利要求1所述的一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,其特征在于,所述步骤2中,所述DCT编码矩阵空间尺寸与所述图像块T相同,包含三个通道,存储内容依次为YCbCr颜色空间的Y、Cb和Cr通道的8×8分块DCT编码矩阵;其中,Y、Cb和Cr数据分别表示为
Figure FDA0002900486400000016
Figure FDA0002900486400000017
其中,c表示通道类型;
Figure FDA0002900486400000018
表示通道c的8×8分块DCT编码矩阵中第i行第j列的内容,是所述图像块T中对应8×8位置通道c的DCT变换结果;M=t/8,N=t/8分别为8×8分块DCT编码矩阵Dc中包含编码块的行数和列数。
3.根据权利要求2所述的一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,其特征在于,所述步骤3中所述DCT编码矩阵的数据量与所述图像块T相同,在空间上对DCT编码块进行下采样,下采样将所述8×8分块DCT编码矩阵Dc中相邻的4个8×8分块DCT编码块降采样为1个8×8分块DCT编码块,令
Figure FDA0002900486400000021
分别表示所述8×8分块DCT编码矩阵Dc中4个相邻的8×8分块DCT编码块,其中,i表示行,j表示列,令
Figure FDA0002900486400000022
表示下采样DCT编码矩阵
Figure FDA0002900486400000023
中通道c的第
Figure FDA0002900486400000024
行第
Figure FDA0002900486400000025
列的8×8DCT编码块;空域下采样具体过程如下:
步骤31:计算16×16DCT变换矩阵
Figure FDA0002900486400000026
和8×8DCT变换矩阵
Figure FDA0002900486400000027
公式为:
Figure FDA0002900486400000028
分别将R=16和R=8代入公式,获得所述16×16的DCT变换矩阵Z16和苏搜狐8×8DCT变换矩阵Z8,将所述16×16的DCT变换矩阵Z16拆分为四个子矩阵:
Figure FDA0002900486400000029
其中
Figure FDA00029004864000000210
是z16的全低频子矩阵,
Figure FDA00029004864000000211
是z16的低高频子矩阵,
Figure FDA00029004864000000212
是z16的高低频子矩阵、
Figure FDA00029004864000000213
是z16的全高频子矩阵;
步骤32:根据8×8分块DCT编码块
Figure FDA00029004864000000214
和全低频子矩阵
Figure FDA00029004864000000215
和低高频子矩阵
Figure FDA00029004864000000216
计算辅助算子P、Q、E、F、U、V,公式如下:
Figure FDA00029004864000000217
E=(P+Q)/2,F=(P-Q)/2,
Figure FDA00029004864000000218
Figure FDA00029004864000000219
步骤33:根据所述辅助算子计算空域下采样DCT编码矩阵
Figure FDA00029004864000000220
中通道c的第
Figure FDA00029004864000000221
行第
Figure FDA00029004864000000222
列的8×8DCT编码块
Figure FDA00029004864000000223
Figure FDA00029004864000000224
步骤34:根据所述步骤31-步骤33对所有满足
Figure FDA00029004864000000225
的第i行第j列的编码块
Figure FDA00029004864000000226
第i行第j+1列的编码块
Figure FDA00029004864000000227
第i+1行第j列的编码块
Figure FDA00029004864000000228
第i+1行第j+1列的编码块
Figure FDA00029004864000000229
进行处理,获得对应的8×8DCT编码块
Figure FDA00029004864000000230
并按照空域下采样后的DCT编码矩阵表示为:
Figure FDA0002900486400000031
Figure FDA0002900486400000032
分别表示下采样DCT编码矩阵
Figure FDA0002900486400000033
中包含8×8DCT编码块的行数和列数;
步骤35:循环执行n次所述步骤31-步骤34,n的取值范围是n=1,2,...,[log2(t/8)],其中[*]表示向下取整计算。
4.根据权利要求3所述的一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,其特征在于,步骤4的具体实现过程如下:
步骤41:将下采样DCT编码矩阵
Figure FDA0002900486400000034
中的8×8编码块
Figure FDA0002900486400000035
中的元素按照代表的频率由低到高重新排列为向量
Figure FDA0002900486400000036
Figure FDA0002900486400000037
经重新排列后表示为三维张量
Figure FDA0002900486400000038
其中
M′=M/2n=t/2n+3
N′=N/2n=t/2n+3
步骤42:令
Figure FDA0002900486400000039
表示所述三维张量
Figure FDA00029004864000000310
中第i行第j列第k维的数据,对所述三维张量
Figure FDA00029004864000000311
按照从低频到高频进行依次采样,所述图像块T的DCT编码阵列经空域、频域下采样后的压缩编码表示为三维张量
Figure FDA00029004864000000312
其中第i行第j列的定义如下:
Figure FDA00029004864000000313
其中,KY,KCb,KCr分别表示Y,Cb,Cr通道中采用的低频通道的数量,K=KY+KCb+KCr为采样频率通道数总和,KY,KCb,KCr取值越小,切片的压缩率越高,同时图像信息损失越大、切片分析精度越难保证;反之亦然。
5.根据权利要求1所述的一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,其特征在于,所述步骤3中采用平均池化、最大池化或加权平均算法对所述DCT编码矩阵进行下采样。
6.根据权利要求4所述的一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,其特征在于,KY,KCb,KCr的最优选值为KY=4,KCb=2,KCr=2。
7.根据权利要求4所述的一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,其特征在于,所述步骤42中,对所述三维张量
Figure FDA0002900486400000041
进行间隔采样,所述图像块T的DCT编码阵列经空域、频域下采样后的压缩编码表示为三维张量
Figure FDA0002900486400000042
所述间隔采样包括等间隔采样、不等间隔采样或随机采样。
8.根据权利要求4所述的一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,其特征在于,所述步骤4中还包括步骤43,对经空域和频域下采样后的压缩编码进行扁平化处理,重排为向量
Figure FDA0002900486400000043
其中,df为编码长度,df=M′N′K=t2/22n+6×K;经空域、频域下采样后的压缩编码C与向量
Figure FDA0002900486400000044
所包含的信息等价,将向量
Figure FDA0002900486400000045
输入所述步骤5中构建全切片分析模型。
9.根据权利要求1所述的一种基于JPEG压缩编码的数字病理全切片图像快速分析方法,其特征在于,所述全切片分析模型包括基于CNN的全切片分类模型、基于FCN的全切片图像分割模型、基于Hash的检索模型、多实例学习模型、自监督学习模型或图卷积网络模型;基于CNN的全切片分类模型,采用的卷积神经网络包括AlexNet、VGG、ResNet、InceptionNet、DenseNet、EfficientNet或RegNet;基于FCN的全切片图像分割模型,采用的全卷积神经网络包括U-Net、RefineNet、DeepLab或HRNet。
CN202110054684.3A 2021-01-15 2021-01-15 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法 Active CN112767503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110054684.3A CN112767503B (zh) 2021-01-15 2021-01-15 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110054684.3A CN112767503B (zh) 2021-01-15 2021-01-15 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法

Publications (2)

Publication Number Publication Date
CN112767503A true CN112767503A (zh) 2021-05-07
CN112767503B CN112767503B (zh) 2022-08-12

Family

ID=75701824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110054684.3A Active CN112767503B (zh) 2021-01-15 2021-01-15 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法

Country Status (1)

Country Link
CN (1) CN112767503B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706493A (zh) * 2021-08-20 2021-11-26 北京航空航天大学 基于dct频率自适应选择的数字病理全切片分割方法
WO2023130653A1 (zh) * 2022-01-06 2023-07-13 苏州浪潮智能科技有限公司 用于图像压缩的数据处理方法、装置、设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070292036A1 (en) * 2006-06-19 2007-12-20 Sharp Kabushiki Kaisha Image compressing apparatus and image reading apparatus including the same, image processing apparatus including image compressing apparatus and image forming apparatus including the same, image compression processing method, computer program thereof, and recording medium
CN101267566A (zh) * 2008-04-30 2008-09-17 华为技术有限公司 图像编码方法和装置
CN106446004A (zh) * 2016-07-30 2017-02-22 北京航空航天大学 数字病理全切片图像检索方法
US9832475B1 (en) * 2016-09-15 2017-11-28 Dropbox, Inc. Digital image recompression
CN108629777A (zh) * 2018-04-19 2018-10-09 麦克奥迪(厦门)医疗诊断系统有限公司 一种数字病理全切片图像病变区域自动分割方法
CN109922339A (zh) * 2017-12-12 2019-06-21 四川大学 结合多采样率下采样和超分辨率重建技术的图像编码框架
CN110348487A (zh) * 2019-06-13 2019-10-18 武汉大学 一种基于深度学习的高光谱图像压缩方法及装置
CN110727819A (zh) * 2019-10-10 2020-01-24 北京航空航天大学 一种尺度自适应病理全切片图像数据库检索方法
CN110796251A (zh) * 2019-10-28 2020-02-14 天津大学 基于卷积神经网络的图像压缩优化方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070292036A1 (en) * 2006-06-19 2007-12-20 Sharp Kabushiki Kaisha Image compressing apparatus and image reading apparatus including the same, image processing apparatus including image compressing apparatus and image forming apparatus including the same, image compression processing method, computer program thereof, and recording medium
CN101267566A (zh) * 2008-04-30 2008-09-17 华为技术有限公司 图像编码方法和装置
CN106446004A (zh) * 2016-07-30 2017-02-22 北京航空航天大学 数字病理全切片图像检索方法
US9832475B1 (en) * 2016-09-15 2017-11-28 Dropbox, Inc. Digital image recompression
CN109922339A (zh) * 2017-12-12 2019-06-21 四川大学 结合多采样率下采样和超分辨率重建技术的图像编码框架
CN108629777A (zh) * 2018-04-19 2018-10-09 麦克奥迪(厦门)医疗诊断系统有限公司 一种数字病理全切片图像病变区域自动分割方法
CN110348487A (zh) * 2019-06-13 2019-10-18 武汉大学 一种基于深度学习的高光谱图像压缩方法及装置
CN110727819A (zh) * 2019-10-10 2020-01-24 北京航空航天大学 一种尺度自适应病理全切片图像数据库检索方法
CN110796251A (zh) * 2019-10-28 2020-02-14 天津大学 基于卷积神经网络的图像压缩优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孔繁锵 等: "基于卷积神经网络的端到端多光谱图像压缩方法", 《中国激光》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706493A (zh) * 2021-08-20 2021-11-26 北京航空航天大学 基于dct频率自适应选择的数字病理全切片分割方法
CN113706493B (zh) * 2021-08-20 2024-03-22 北京航空航天大学 基于dct频率自适应选择的数字病理全切片分割方法
WO2023130653A1 (zh) * 2022-01-06 2023-07-13 苏州浪潮智能科技有限公司 用于图像压缩的数据处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN112767503B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN110163370A (zh) 深度神经网络的压缩方法、芯片、电子设备及介质
CN104574336B (zh) 基于自适应亚模字典选择的超分辨率图像重建系统
CN112767503B (zh) 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法
CN110087092A (zh) 基于图像重构卷积神经网络的低码率视频编解码方法
CN108012157A (zh) 用于视频编码分数像素插值的卷积神经网络的构建方法
CN104641643A (zh) 在分层层级中信号编码、解码和重构期间残差数据的分解
Sun et al. Reduction of JPEG compression artifacts based on DCT coefficients prediction
JP2002335542A (ja) デジタル画像の圧縮方法
CN106204670B (zh) 一种基于优化下采样算法和压缩感知理论的图像压缩方法
Ororbia et al. Learned neural iterative decoding for lossy image compression systems
Latha et al. Collective compression of images using averaging and transform coding
CN111881920B (zh) 一种大分辨率图像的网络适配方法及神经网络训练装置
CN116547969A (zh) 基于机器学习的图像译码中色度子采样格式的处理方法
Xiao et al. Invertible rescaling network and its extensions
CN114978189A (zh) 一种数据编码方法以及相关设备
CN113962882B (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
CN112750175B (zh) 基于八度卷积和语义分割的图像压缩方法及系统
CN112150356A (zh) 基于级联框架的单幅压缩图像超分辨率重建方法
CN110084750A (zh) 基于多层岭回归的单幅图像超分辨率方法
CN107146259A (zh) 一种基于压缩感知理论的新型图像压缩方法
Gao et al. Deep enhancement for 3D HDR brain image compression
AbuBaker et al. Comparison study of different lossy compression techniques applied on digital mammogram images
Shukla et al. Medical images Compression using convolutional neural network with LWT
Divakara et al. High speed modular systolic array-based DTCWT with parallel processing architecture for 2D image transformation on FPGA
CN108989812B (zh) 一种基于图像压缩的去块效应方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant