CN110727819B - 一种尺度自适应病理全切片图像数据库检索方法 - Google Patents
一种尺度自适应病理全切片图像数据库检索方法 Download PDFInfo
- Publication number
- CN110727819B CN110727819B CN201910959732.6A CN201910959732A CN110727819B CN 110727819 B CN110727819 B CN 110727819B CN 201910959732 A CN201910959732 A CN 201910959732A CN 110727819 B CN110727819 B CN 110727819B
- Authority
- CN
- China
- Prior art keywords
- pathological
- image
- image block
- database
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000010586 diagram Methods 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000007170 pathology Effects 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000003902 lesion Effects 0.000 claims description 10
- 230000008520 organization Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 5
- 238000003745 diagnosis Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种尺度自适应病理全切片图像数据库检索方法,包括以下步骤:利用切片扫描仪将病理切片扫描到电子计算机中,得到数字病理图像,将所述数字病理图像在RGB空间中进行表示,生成数字病理全切片图像数据库;根据所述数字病理全切片图像数据库和预先训练好的基于卷积神经网络的病理图像块特征提取模型构建病理组织区域结构图;利用所述病理组织区域结构图训练图卷积神经网络,形成数据库索引;根据数据库索引进行尺度自适应在线检索。本发明检索框架能适应查询区域尺寸变化,可使单一检索模型满足不同尺寸、不同形状的查询图像的检索需求,且检索准确率高。
Description
技术领域
本发明涉及医学影像处理与分析技术领域,更具体的说是涉及一种尺度自适应病理全切片图像数据库检索方法。
背景技术
数字病理全切片是通过专用的扫描成像系统将病理切片转换为可供计算机显示、传输及处理的高倍率大规模数字图像。随着数字病理图像成像技术不断成熟,数字病理图像自动分析方法发展迅速。基于内容的病理图像检索是其中的新兴研究方向,该方法利用计算机算法提取病理图像特征,以“图搜图”的形式在病理切片数据库中查找与医生感兴趣的图像最相似的病变区域,返回给医生查看,帮助医生快速收集与感兴趣图像相关的历史病例信息、快速积累病理学知识。
经数字化后的病理全切片图像(Whole slide image,WSI)像素分辨率远高于自然场景图像,通常能达到50000×50000像素以上的规模,而医生在发起检索时选取的感兴趣域(Region ofinterest,ROI)远小于全切片图像,且区域的尺寸与形状因肿瘤组织形态的差异存在较大变化,解决不规则查询ROI在病理全切片中的检索问题是将病理图像检索技术推向实际应用的关键。
现有病理图像检索方法大多仅适用于矩形ROI的检索情形,医生无法根据组织形态分布自主规定需要考虑的区域,且ROI尺寸固定,与实际应用仍有较大差距。
因此,如何提供一种尺度自适应病理全切片图像数据库检索方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种尺度自适应病理全切片图像数据库检索方法,本发明检索框架能适应查询区域尺寸变化,可使单一检索模型满足不同尺寸、不同形状的查询图像的检索需求,且检索准确率高。
为了实现上述目的,本发明采用如下技术方案:
一种尺度自适应病理全切片图像数据库检索方法,包括以下步骤:
步骤1:将数字病理全切片图像在RGB空间中进行表示,生成数字病理全切片图像数据库;
步骤2:根据所述数字病理全切片图像数据库和预先训练好的基于卷积神经网络的病理图像块特征提取模型构建病理组织区域结构图;
步骤3:利用所述病理组织区域结构图训练图卷积神经网络,形成数据库索引;
步骤4:根据所述数据库索引进行尺度自适应在线检索。
进一步,所述步骤1具体为:
获取多张所述数字病理全切片图像中每个像素点在RGB三个通道的像素值,得到所述数字病理全切片图像数据库D,其计算公式为:
D={sw|w=1,2,...,W} (1)
进一步,训练基于卷积神经网络的病理图像块特征提取模型具体包括以下步骤:
A、使用闭合曲线对所述数字病理全切片图像数据库D中所有病变区域按照病变所属类型进行明确标记,所述类型为0,1,...,C,其中C表示所述预先存储的数据库中包含的病变类型总数;
B、利用滑窗法对所述数字病理全切片图像数据库D中的区域进行采样,生成大小相同的病理图像块样本训练集,计算公式为:
Xtrain={(xi,yi)|i=1,...,Ntrain} (2)
其中,xi∈{0,1,...,255}224×224×3表示病理图像块样本训练集中第i个图像块,Ntrain表示病理图像块样本训练集中图像块的数量,yi∈{0,1,...,C}表示xi的标签,其取值方法为:
C、利用所述病理图像块样本训练集训练卷积神经网络,训练完成后,将所述卷积神经网络末端的平均池化层的输出作为病理图像特征,表示为:
fi=DenseNet(xi) (4)
其中,DenseNet(·)表示训练后的病理图像块特征提取模型。
进一步,所述卷积神经网络为DenseNet卷积神经网络。
进一步,所述步骤2具体包括以下步骤:
步骤21:将所述数字病理全切片图像数据库D中的数字病理全切片图像sw分割成大小为224×224像素的图像块,得到图像块集合Xw,表示为:
Xw={xi|i=1,...,Nw} (5)
其中,Nw表示数字病理全切片图像sw包含的图像块数量,xi∈{0,1,...,255}224×224×3,表示图像块集合中第i个图像块;
步骤22:利用所述病理图像块特征提取模型提取所述图像块集合Xw中所有图像块特征Fw,其计算公式为:
步骤23:利用邻接矩阵Aw建立所述数字病理全切片图像包含的图像块之间的邻接关系,其中表示所述数字病理全切片图像数据库D中第w个数字病理全切片图像包含的图像块之间的邻接关系,当第i行第j列的元素aij=1时表示第i个图像块xi和第j个图像块xj空间上相邻,aij=0表示第i个图像块xi和第j个图像块xj空间上不相邻;
步骤24:利用所述图像块特征Fw和所述邻接矩阵Aw计算所述数字病理全切片图像数据库D中所有相邻图像块之间的相似度,利用分级聚类算法依次合并最相似的图像块,生成连接区域;将所述连接区域中包含的图像块看作顶点,图像块之间的邻接关系看作边,将对应的所述图像块特征Fw看作顶点的属性,形成所述病理组织区域结构图。
进一步,所述步骤3具体包括以下步骤:
步骤31:利用所述病理组织区域结构图建立训练集Gtrain,其计算公式为:
Gtrain={(gk,lk)|k=1,...,n} (7)
其中,Gtrain表示数字病理全切片图像数据库D中所有数字病理全切片图像包含的病理组织区域结构图的集合,其中n表示病理组织区域结构图的总量,gk表示训练集中第k个病理组织区域结构图,lk表示第k个病理组织区域结构图的标签,根据gk中顶点对应的图像块标签最大数投标规则确定;
步骤32:利用所述训练集Gtrain训练所述图卷积神经网络,具体采用DiffPool模型,利用DiffPool模型对所有所述病理组织区域结构图进行编码,得到病理组织区域结构图的量化表示ri:
ri=DiffPool(gi) (8)
步骤33:通过病理组织区域结构图的量化表示ri,形成所述数据库索引R,表示为
R={ri|i=1,2,...,n} (9)
其中,n表示病理组织区域结构图的总量。
进一步,所述步骤4具体包括以下步骤:
步骤41:病理医生浏览需要诊断的数字病理图像时,勾画感兴趣区域;
步骤42:利用滑窗法将所述感兴趣区域划分图像块,得到图像块集合Xq,表示为:
Xq={xi|i=1,...,Nq} (10)
其中,Nq表示感兴趣区域中包含图像块的数量;
步骤43:利用所述病理图像块特征提取模型提取所述图像块集合Xq中所有图像块特征Fq,其计算公式为:
步骤45:根据所述邻接矩阵Aq和所述图像块特征Fq建立查询组织图gq;
步骤46:利用所述步骤32获得的DiffPool模型对所述查询组织图gq进行编码,获得感兴趣区域的量化表示rq,其计算公式为:
rq=DiffPool(gq) (12)
步骤47:逐一计算所述感兴趣区域的量化表示rq与所述病理组织区域结构图的量化表示ri的相似性,将相似性从大到小排序,并按照相似性从大到小的顺序,将所述病理组织区域结构图对应的病理区域返回给病理医生,完成检索。
进一步,所述感兴趣区域的尺寸和形状没有限制。
进一步,所述步骤47中相似性计算为欧式距离、余弦距离、卡方距离或汉明距离。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种尺度自适应病理全切片图像数据库检索方法,本发明检索框架能适应查询区域尺寸变化,可使单一检索模型满足不同尺寸、不同形状的查询图像的检索需求,且检索准确率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的一种尺度自适应病理全切片图像数据库检索方法流程图。
图2附图为本发明提供的病理全切片图像组织结构信息量化编码与检索技术路线图。
图3附图为本发明提供的病理全切片病变区域标记示意图。
图4附图为本发明提供的病理组织区域结构图生成示意图,其中(a)为一张全切片图像的缩略图,(b)为使用步骤24所提组织区域生成方法确定的连接区域,其中每个颜色块代表一个连接区域,(c)为在连接区域内建立的TG的二维空间分布图,(d)为其中一个TG与组织的对应关系,途中红色点代表TG的顶点,同时是图像块的中心,黑色线段表示TG的边。
图5附图为本发明提供的使用本发明方法进行检索的示意图,其中最左侧一列为查询区域,右侧为返回结果(从左到右按相似性从高到低排序),返回结果中与查询图像属于同一类别(即检索正确)的区域用绿色框标记,属于不同类别(检索错误)的区域用红色标记。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种尺度自适应病理全切片图像数据库检索方法,本发明针对现有方法的不足,提出基于图卷积神经网络(Graph Convolution Network,GCN)的组织排布信息量化方法,以及相应的面向检索的WSI编码方法。方法流程如图2所示,在基于图像分块与CNN(卷积神经网络)的病理全切片图像编码方法基础上,综合考虑图像块的空间近邻关系与图像块特征相似关系,在切片内部建立组织区域结构图,并以组织区域结构图为单位定义WSI中的检索可返回对象;然后,将组织区域结构图顶点(Vertex)的CNN特征以及边(Edge)的权重信息作为GCN的输入,将编码层作为GCN网络的输出层,用于组织图结构的量化编码,从而建立检索数据库索引。
具体包括以下步骤,结合图1,
步骤1:用切片扫描仪将病理切片扫描到电子计算机中,将图像在RGB颜色空间中进行表示;
数字病理切片是由专用的切片扫描仪将病理切片扫描并存储在计算机中的数字病理图像,并通过通道分解获取图像每个像素点在红(R)、绿(G)、蓝(B)三个通道的像素值,从而获得数字病理图像的数据信息,这些数据信息是病理图像辅助诊断方法的基础,数字WSI数据库表示为D={sw|w=1,2,...,W},其中表示一张像素分辨率为lw×mw的3通道数字病理全切片图像,W为数据库中包含数字病理全切片图像的数量。
步骤2:训练基于卷积神经网络的病理图像块特征提取模型;
本发明涉及的组织排布信息量化技术基于WSI分块和特征提取,具体采用基于CNN的病理图像块图像特征提取模型。CNN病理图像块特征提取模型的建立包括以下三个步骤:
步骤21、由病理专家使用闭合曲线对预先存储的数字病理全切片图像数据库D中的切片中所有病变区域按照病变所属类别进行明确标记,类别量化为数字0,1,...,C,其中C表示数据库中包含的病变类型总数,标记结果示意图如图3所示;
步骤22、使用滑窗法对全切片中的区域进行采样,生成大小相同的病理图像块样本训练集,表示为Xtrain={(xi,yi)|i=1,...,Ntrain},其中xi∈{0,1,...,255}224×224×3表示训练集中第i个图像块,Ntrain表示训练集中包含图像块的数量,yi∈{0,1,...,C}表示xi的标签,其取值确定方法如下:
步骤23、使用所建立的数据集训练DenseNet卷积神经网络结构,训练完成后,将卷积神经网络末端的平均池化层的输出用作病理图像特征,表示为:
fi=DenseNet(xi)
其中DenseNet(·)表示训练后的病理图像块特征提取模型。
步骤3:构建病理组织区域结构图;
步骤31、数字病理全切片图像分块:使用滑窗法将数字病理全切片图像数据库D中的数字病理全切片图像sw在20×物镜倍率下分割成大小为224×224像素的图像块,滑窗步长为224像素,数字病理全切片图像sw中所有图像块表示为集合Xw={xi|i=1,...,Nw},其中Nw表示数字病理全切片图像sw中包含图像块的数量;
步骤34、分级聚类生成组织区域结构图(Tissue Graph,TG):以切片中图像块特征fi之间的余弦距离为度量,以邻接矩阵Aw为依据,计算所有相邻图像块之间的相似度;然后使用分级聚类算法依次合并最相似的图像块,生成连接区域,合并过程中限定连接区域中包含图像块的最大数量;将连接区域中包含图像块看作TG的顶点,图像块的邻接关系看作TG的边,将对应的图像块特征看作顶点的属性,从而构造病理组织区域结构图,该步骤示意图见图4。
这里需要说明的是,具体实现中采用了欧式距离度量相邻图像块的相似度,但也可以使用余弦距离、卡方距离。
步骤4、训练图卷积网络(Graph convolutional network,GCN),并对数字病理全切片图像数据库编码;
采用图卷积网络DiffPool结构对上述组织区域图进行编码,具体包含以下三个步骤:
步骤41、建立训练集:使用Gtrain={(gk,lk)|k=1,...,n}表示数字病理全切片图像数据库D中所有数字病理全切片图像包含的TG的集合,其中n表示数据库中包含TG的总量,gk表示训练集中第k个TG,lk表示第k个TG的标签,根据gk中顶点对应的图像块标签最大数投标规则确定;
步骤42、训练DiffPool网络结构:训练图嵌入与分类模型,训练完成后,将网络末端的平均池化层的输出用作TG量化表示,生成DiffPool模型,利用DiffPool模型对所有病理组织区域结构图进行编码,得到病理组织区域结构图的量化表示ri,表示为:
ri=DiffPool(gi)
步骤43、建立数据库索引:通过病理组织区域结构图的量化表示ri形成数据库索引,表示为R={ri|i=1,2,...,n},其中,n表示病理组织区域结构图的总量,本发明涉及使用图卷积网络对TG进行编码包含二进制编码或哈希编码。
步骤5、尺度自适应在线检索应用;
数据库索引建立完成后,即可对病理医生提供的查询区域进行检索。在线检索分为以下步骤:
步骤51、病理医生浏览需要诊断的切片时勾画感兴趣区域,感兴趣区域的尺寸和形状没有限制;
步骤52、使用224×224的滑动窗口,以224像素为步长,将感兴趣区域在20×物镜倍率下划分为图像块,得到图像块集合Xq,表示为Xq={xi|i=1,...,Nq},其中Nq表示感兴趣区域中包含图像块的数量;
步骤55、根据邻接矩阵Aq和图像块特征Fq建立查询组织图gq;具体构建过程为:gq中包含Nq个节点;根据Aq确定gq中节点的相邻关系,从而定义组织图的边;将图像块特征fi∈Fq定义为gq中第i个节点的特征表示。
步骤56、使用步骤42中获得的DiffPool网络结构对查询组织图gq进行编码,获得感兴趣区域的量化表示rq:rq=DiffPool(gq)
步骤57、逐一计算感兴趣区域的量化表示rq与数据库索引R中TG量化表示ri之间的相似性,将相似性从大到小排序,并按照相似性从大到小的顺序,将数据库索引R中TG对应的病理图像区域返回给医生,完成检索。此处的相似性度量可使用但不限于欧式距离、余弦距离、卡方距离,以及针对二值编码的汉明距离等。
通过图5可知,可见本发明方法能够准确的在数据库检索返回与查询图像相关的病理图像区域,且对查询区域的尺寸和形状有较强的适应性,检索准确率高。
为了验证本发明的效果,在公开数据集上与现有方法进行了对比,结果如表1所示。可见本发明在检索精度上均高于现有方法,检索速度上与现有方法中最优效果相当。
表1本发明病理图像检索结果与现有检索结果指标对比
表中依次给出了检索返回前50、200个结果的精度(P@50/200)和平均精度(MAP@50/200),以及单次检索的平均时间。
本发明在基于图像分块与CNN的病理全切片图像特征提取的基础上,综合利用了图像块的空间近邻关系与图像块特征相似关系,在切片内部建立组织区域结构图,并以组织区域结构图为单位定义WSI中的检索可返回对象;然后,将组织区域结构图顶点(Vertex)的CNN特征以及边(Edge)的权重信息作为GCN的输入,获得图结构的嵌入编码,从而建立病理图像检索数据库索引。
该检索框架相比于传统方法具有以下优势:1)病理图像组织区域的排布信息被嵌入到检索索引中,使检索模型能把握病理图像结构上的相似性,使返回结果与查询区域更为相似;
2)研究采用GCN模型对输入图的顶点数量有较强的适应能力,使检索框架能适应查询区域尺寸变化,可使单一检索模型满足不同尺寸、不同形状的查询图像的检索需求;
3)解决了现有方法通常使用全局池化的方式提取ROI特征表示,难以对组织病理学中需要考虑组织区域近邻关系进行描述,检索精度有限。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种尺度自适应病理全切片图像数据库检索方法,其特征在于,包括以下步骤:
步骤1:将数字病理全切片图像在RGB空间中进行表示,生成数字病理全切片图像数据库;
步骤2:根据所述数字病理全切片图像数据库和预先训练好的基于卷积神经网络的病理图像块特征提取模型构建病理组织区域结构图;
训练基于卷积神经网络的病理图像块特征提取模型具体包括以下步骤:
A、使用闭合曲线对所述数字病理全切片图像数据库D中所有病变区域按照病变所属类型进行明确标记,所述类型为0,1,...,C,其中C表示数据库D中包含的病变类型总数;
B、利用滑窗法对所述数字病理全切片图像数据库D中的区域进行采样,生成大小相同的病理图像块样本训练集,计算公式为:
Xtrain={(xi,yi)|i=1,...,Ntrain} (2)
其中,xi∈{0,1,...,255}224×224×3表示病理图像块样本训练集中第i个图像块,Ntrain表示病理图像块样本训练集中图像块的数量,yi∈{0,1,...,C}表示xi的标签,其取值方法为:
C、利用所述病理图像块样本训练集训练卷积神经网络,训练完成后,将所述卷积神经网络末端的平均池化层的输出作为病理图像特征,表示为:
fi=DenseNet(xi) (4)
其中,DenseNet(·)表示训练后的病理图像块特征提取模型;
所述步骤2具体包括以下步骤:
步骤21:将所述数字病理全切片图像数据库D中的数字病理全切片图像sw分割成大小为224×224像素的图像块,得到图像块集合Xw,表示为:
Xw={xi|i=1,...,Nw} (5)
其中,Nw表示数字病理全切片图像sw包含的图像块数量,xi∈{0,1,...,255}224×224×3,表示图像块集合中第i个图像块;
步骤22:利用所述病理图像块特征提取模型提取所述图像块集合Xw中所有图像块特征Fw,其计算公式为:
步骤23:利用邻接矩阵Aw建立所述数字病理全切片图像包含的图像块之间的邻接关系,其中表示所述数字病理全切片图像数据库D中第w个数字病理全切片图像包含的图像块之间的邻接关系,当第i行第j列的元素aij=1时表示第i个图像块xi和第j个图像块xj空间上相邻,aij=0表示第i个图像块xi和第j个图像块xj空间上不相邻;
步骤24:利用所述图像块特征Fw和所述邻接矩阵Aw计算所述数字病理全切片图像数据库D中所有相邻图像块之间的相似度,利用分级聚类算法依次合并最相似的图像块,生成连接区域;将所述连接区域中包含的图像块看作顶点,图像块之间的邻接关系看作边,将对应的所述图像块特征Fw看作顶点的属性,形成所述病理组织区域结构图;
步骤3:利用所述病理组织区域结构图训练图卷积神经网络,形成数据库索引;
步骤4:根据所述数据库索引进行尺度自适应在线检索。
3.根据权利要求2所述的一种尺度自适应病理全切片图像数据库检索方法,其特征在于,所述卷积神经网络为DenseNet卷积神经网络。
4.根据权利要求3所述的一种尺度自适应病理全切片图像数据库检索方法,其特征在于,所述步骤3具体包括以下步骤:
步骤31:利用所述病理组织区域结构图建立训练集Gtrain,其公式为:
Gtrain={(gk,lk)|k=1,...,n} (7)
其中,Gtrain表示数字病理全切片图像数据库D中所有数字病理全切片图像包含的病理组织区域结构图的集合,其中n表示病理组织区域结构图的总量,gk表示训练集中第k个病理组织区域结构图,lk表示第k个病理组织区域结构图的标签,根据gk中顶点对应的图像块标签最大数投标规则确定;
步骤32:利用所述训练集Gtrain训练所述图卷积神经网络,具体采用DiffPool模型,利用DiffPool模型对所有所述病理组织区域结构图进行编码,得到病理组织区域结构图的量化表示ri:
ri=DiffPool(gi) (8)
步骤33:通过病理组织区域结构图的量化表示ri形成所述数据库索引R,表示为
R={ri|i=1,2,...,n} (9)
其中,n表示病理组织区域结构图的总量。
5.根据权利要求4所述的一种尺度自适应病理全切片图像数据库检索方法,其特征在于,所述步骤4具体包括以下步骤:
步骤41:病理医生浏览需要诊断的数字病理图像时,勾画感兴趣区域;
步骤42:利用滑窗法将所述感兴趣区域划分图像块,得到图像块集合Xq,表示为:
Xq={xi|i=1,...,Nq} (10)
其中,Nq表示感兴趣区域中包含图像块的数量;
步骤43:利用所述病理图像块特征提取模型提取所述图像块集合Xq中所有图像块特征Fq,其计算公式为:
步骤45:根据所述邻接矩阵Aq和所述图像块特征Fq建立查询组织图gq;
步骤46:利用所述步骤32获得的DiffPool模型对所述查询组织图gq进行编码,获得感兴趣区域的量化表示rq,其计算公式为:
rq=DiffPool(gq) (12)
步骤47:逐一计算所述感兴趣区域的量化表示rq与所述病理组织区域结构图的量化表示ri的相似性,将相似性从大到小排序,并按照相似性从大到小的顺序,将所述病理组织区域结构图对应的病理区域返回给病理医生,完成检索。
6.根据权利要求5所述的一种尺度自适应病理全切片图像数据库检索方法,其特征在于,所述感兴趣区域的尺寸和形状没有限制。
7.根据权利要求5所述的一种尺度自适应病理全切片图像数据库检索方法,其特征在于,所述步骤47中相似性计算为欧式距离、余弦距离、卡方距离或汉明距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910959732.6A CN110727819B (zh) | 2019-10-10 | 2019-10-10 | 一种尺度自适应病理全切片图像数据库检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910959732.6A CN110727819B (zh) | 2019-10-10 | 2019-10-10 | 一种尺度自适应病理全切片图像数据库检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110727819A CN110727819A (zh) | 2020-01-24 |
CN110727819B true CN110727819B (zh) | 2020-05-29 |
Family
ID=69219876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910959732.6A Active CN110727819B (zh) | 2019-10-10 | 2019-10-10 | 一种尺度自适应病理全切片图像数据库检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110727819B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932549B (zh) * | 2020-06-28 | 2023-03-24 | 山东师范大学 | 一种基于sp-fcn的mri脑肿瘤图像分割系统及方法 |
CN112101451B (zh) * | 2020-09-14 | 2024-01-05 | 北京联合大学 | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 |
CN112767503B (zh) * | 2021-01-15 | 2022-08-12 | 北京航空航天大学 | 一种基于jpeg压缩编码的数字病理全切片图像快速分析方法 |
CN115455227B (zh) * | 2022-09-20 | 2023-07-18 | 上海弘玑信息技术有限公司 | 图形界面的元素搜索方法及电子设备、存储介质 |
CN117408997B (zh) * | 2023-12-13 | 2024-03-08 | 安徽省立医院(中国科学技术大学附属第一医院) | 非小细胞肺癌组织学图像egfr基因突变的辅助检测系统 |
CN118097093B (zh) * | 2024-01-29 | 2024-08-20 | 北京透彻未来科技有限公司 | 基于病理大模型在数字病理切片数据集上的以图搜图系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106446004A (zh) * | 2016-07-30 | 2017-02-22 | 北京航空航天大学 | 数字病理全切片图像检索方法 |
CN106874489A (zh) * | 2017-02-21 | 2017-06-20 | 烟台中科网络技术研究所 | 一种基于卷积神经网络的肺结节图像块检索方法及装置 |
CN107886127A (zh) * | 2017-11-10 | 2018-04-06 | 深圳市唯特视科技有限公司 | 一种基于卷积神经网络的组织病理学图像分类方法 |
CN108229576A (zh) * | 2018-01-23 | 2018-06-29 | 北京航空航天大学 | 一种跨倍率病理图像特征学习方法 |
CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101373479A (zh) * | 2008-09-27 | 2009-02-25 | 华中科技大学 | 一种乳腺x线摄片计算机图像检索方法及系统 |
JP5896084B2 (ja) * | 2013-08-01 | 2016-03-30 | パナソニック株式会社 | 類似症例検索装置、類似症例検索装置の制御方法、およびプログラム |
US9940575B2 (en) * | 2015-06-04 | 2018-04-10 | Yahoo Holdings, Inc. | Image searching |
CN105447190B (zh) * | 2015-12-18 | 2019-03-15 | 小米科技有限责任公司 | 基于卷积神经网络的图片检索方法、装置和服务器 |
CN105740378B (zh) * | 2016-01-27 | 2020-07-21 | 北京航空航天大学 | 一种数字病理全切片图像检索方法 |
CN109215017B (zh) * | 2018-08-16 | 2020-06-02 | 腾讯科技(深圳)有限公司 | 图片处理方法、装置、用户终端、服务器及存储介质 |
-
2019
- 2019-10-10 CN CN201910959732.6A patent/CN110727819B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106446004A (zh) * | 2016-07-30 | 2017-02-22 | 北京航空航天大学 | 数字病理全切片图像检索方法 |
CN106874489A (zh) * | 2017-02-21 | 2017-06-20 | 烟台中科网络技术研究所 | 一种基于卷积神经网络的肺结节图像块检索方法及装置 |
CN107886127A (zh) * | 2017-11-10 | 2018-04-06 | 深圳市唯特视科技有限公司 | 一种基于卷积神经网络的组织病理学图像分类方法 |
CN108229576A (zh) * | 2018-01-23 | 2018-06-29 | 北京航空航天大学 | 一种跨倍率病理图像特征学习方法 |
CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
Non-Patent Citations (1)
Title |
---|
基于内容的数字病理切片检索技术研究;姜志国 等;《第八届全国生物医学体视学学术会议、第十一届全军军事病理学学术会议、第七届全军定量病理学学术会议》;20120808;第26页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110727819A (zh) | 2020-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110727819B (zh) | 一种尺度自适应病理全切片图像数据库检索方法 | |
CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
CN108229576B (zh) | 一种跨倍率病理图像特征学习方法 | |
CN106446004B (zh) | 数字病理全切片图像检索方法 | |
CN107169425A (zh) | 一种商品属性的识别方法及装置 | |
CN108765280A (zh) | 一种高光谱图像空间分辨率增强方法 | |
CN102662949A (zh) | 一种基于多特征融合的指定目标检索方法及系统 | |
CN110992366B (zh) | 一种图像语义分割方法、装置及存储介质 | |
CN101930461A (zh) | 通信网络的数字图像可视化管理和检索 | |
CN109213886B (zh) | 基于图像分割和模糊模式识别的图像检索方法及系统 | |
CN110188217A (zh) | 图像查重方法、装置、设备和计算机可读储存介质 | |
CN109978897B (zh) | 一种多尺度生成对抗网络的异源遥感图像配准方法及装置 | |
CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
CN114119993A (zh) | 一种基于自注意力机制的显著目标检测方法 | |
CN113988147A (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
Sadique et al. | Content-based image retrieval using color layout descriptor, gray-level co-occurrence matrix and k-nearest neighbors | |
CN109299295B (zh) | 蓝印花布图像数据库搜索方法 | |
CN113077438B (zh) | 针对多细胞核彩色图像的细胞核区域提取方法及成像方法 | |
CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
CN117746079A (zh) | 一种高光谱图像的聚类预测方法、系统、存储介质及设备 | |
CN109740405B (zh) | 一种非对齐相似车辆前窗差异信息检测方法 | |
CN116758005A (zh) | 一种面向pet/ct医学图像的检测方法 | |
CN116469172A (zh) | 一种多时间尺度下的骨骼行为识别视频帧提取方法及系统 | |
Ghodhbani et al. | Depth-based color stereo images retrieval using joint multivariate statistical models | |
CN106570910B (zh) | 基于自编码特征和近邻模型的图像自动标注方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |