CN111784637B - 一种预后特征可视化方法、系统、设备和存储介质 - Google Patents
一种预后特征可视化方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN111784637B CN111784637B CN202010498137.XA CN202010498137A CN111784637B CN 111784637 B CN111784637 B CN 111784637B CN 202010498137 A CN202010498137 A CN 202010498137A CN 111784637 B CN111784637 B CN 111784637B
- Authority
- CN
- China
- Prior art keywords
- image
- pathological
- prognostic
- activation
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007794 visualization technique Methods 0.000 title claims abstract description 11
- 230000001575 pathological effect Effects 0.000 claims abstract description 50
- 238000004393 prognosis Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012502 risk assessment Methods 0.000 claims abstract description 17
- 230000007170 pathology Effects 0.000 claims abstract description 16
- 238000012800 visualization Methods 0.000 claims abstract description 15
- 230000004083 survival effect Effects 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 12
- 206010028980 Neoplasm Diseases 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 201000011510 cancer Diseases 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明提供一种预后特征可视化方法,系统、设备和存储介质,提供了分辨率高、细粒度特征多的预后特征可视化图像,用热图显示的方式直观的显示了病人生存风险相关的特征,增强了预后分析的可解释性,本方法包括以下步骤:获取患者病理图像,所述病理图像包括在不同组织区域随机采样的局部切片图像;将随机采样的病理图像输入经过训练的预后风险分析模型,获取与病理图像对应的具有预后风险特征的热图;将所述热图叠加到病理图像上生成具有可视化预后风险特征的图像。
Description
技术领域
本发明涉及医学图像处理技术领域,具体涉及一种预后特征可视化方法,系统、设备和存储介质。
背景技术
随着全切片扫描仪技术的出现,大量的组织切片被扫描成数字图像,使得原来的组织切片能够以数字化的形式表达和存储。通过计算机图像分析方法,可以从影像和常规的组织病理切片中识别亚视觉图像特征更好地描述疾病,同时运用适当图像可视化技术可以更好地预测患者的疾病的预后效果,从而发现更多的预后相关的细粒度特征。
目前,癌症的病理诊断主要通过专业医生对病理图像进行分析来完成,由于病理图像包含信息量大,医生很难注意到相关的细粒度特征。而且影响癌症预后的因素很多,医生对于患者预后情况的判断需要考虑许多因素,情况比较复杂,对于医生来说从一张癌症病理图像中发现并分析病人预后的相关信息是十分困难的。
发明内容
本发明的目的是提供一种预后特征可视化方法,系统、设备和存储介质,以实现分析病理图像细粒度预后特征的高分辨率热图生成。
为了达到上述目的,本发明一方面提供一种预后特征可视化方法,包括以下步骤:
获取患者病理图像,所述病理图像包括在不同组织区域随机采样的局部切片图像;
将随机采样的病理图像输入经过训练的预后风险分析模型,获取与病理图像对应的具有预后风险特征的热图;
将所述热图叠加到病理图像上生成具有可视化预后风险特征的图像。
进一步的,所述预后风险分析模型包括卷积神经网络和Cox模型,其中:
所述卷积神经网络对病理图像中不同组织区域随机采样的局部切片图像进行分析,获取病理图像中的细粒度特征;
所述Cox模型作为卷积神经网络的隐藏层,用以模拟患者一段时间内的生存概率。
进一步的,还包括卷积神经网络对病理图像的分析过程中,包括以下步骤:
基于卷积神经网络中多层卷积块对病理图像进行卷积计算,基于卷积计算结果提取预后风险特征并输出特征图;
基于卷积神经网络中全连接层的权重和特征图相乘以获取激活图;
采用最大最小归一化算法对激活图进行归一化计算,以排除激活图中异常值的影响;
采用线性差值算法将激活图放大,通过opencv中COLORMAP_JET方法将激活图转化为具有不同颜色分布的热图。
进一步的,所述激活图的计算过程包括:
其中,fk(x,y)代表特征图的第k层,wk代表第k层对应的权重,S为激活图。
进一步的,,所述激活图的归一化计算过程中,包括:
根据激活图进行直方图计算,根据直方图计算结果确定归一化的上限值和下限值,归一化计算的具体计算过程包括:
x*=1,when x*>1;x*=0,when x*<0
进一步的,,所述线性差值算法对激活图进行放大计算的具体过程,包括:
其中,Q_11=(x_1,y_1),Q_21=(x_2,y_1),Q_12=(x_1,y_2),Q_22=(x_2,y_2)为图像中相邻的4个已知点。
进一步的,,在所述热图的叠加过程中,包括以下步骤:
将所述热图映射到对应组织区域的局部切片图像;
将热图进行透明化处理以在病理图像上显示预后风险特征。
另一方面,本发明还提供一种预后特征可视化系统,包括:
图像获取模块,用以获取患者病理图像,所述病理图像包括在不同组织区域随机采样的局部切片图像;
热图生成模块,用以将将随机采样的病理图像输入经过训练的预后风险分析模型,获取与病理图像对应的具有预后风险特征的热图;
可视化生成模块,用以将将述热图叠加到病理图像上生成具有可视化预后风险特征的图像。
另一方面,本发明还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述方法的步骤。
另一方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如上述方法的步骤。
本发明提供一种预后特征可视化方法,系统、设备和存储介质,提供了分辨率高、细粒度特征多的预后特征可视化图像,用热图显示的方式直观的显示了病人生存风险相关的特征,增强了预后分析的可解释下,本方法包括以下步骤:获取患者病理图像,所述病理图像包括在不同组织区域随机采样的局部切片图像;将随机采样的病理图像输入经过训练的预后风险分析模型,获取与病理图像对应的具有预后风险特征的热图;将所述热图叠加到病理图像上生成具有可视化预后风险特征的图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的预后特征可视化方法的方法流程图。
图2为本发明一个实施例的卷积神经网络的网络结构图。
图3是本发明一个实施例的预后特征可视化系统的系统架构图。
图4是本发明一个实施例的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
图1是本发明一个实施例的预后特征可视化方法的方法流程图,如图1所示,本发明的预后特征可视化方法包括以下步骤:
S100获取患者病理图像,所述病理图像包括在不同组织区域随机采样的局部切片图像。
具体的,病理图像的采样采用随机选取的方式,分别在病理图像中的肿瘤组织区域、癌旁组织区域以及间质区域进行随机选取,采样图像分辨率为256*256像素大小。在选取过程中,三类组织的局部切片图像每类数量不少于30张。如果病理图像中不全包含这三类组织的局部切片图像,则只提取肿瘤组织区域的局部切片图像且局部切片图像的提取数量不少于30张。
S200将随机采样的病理图像输入经过训练的预后风险分析模型,获取与病理图像对应的具有预后风险特征的热图。
具体的,在预后风险分析模型的构建过程中,首先将患者的预后信息分为训练集和测试集。训练集用以训练预后风险分析模型,测试集用以对后风险分析模型的分类结果进行验证。
在一个实施例中,构建预后风险分析模型共采集893名患者的预后信息,其中515名患者的预后信息作为训练集,将378名患者作为测试集,每位患者至少有一张病理切片图像,共计2106张病理切片,其中1313张用于训练,793张用于测试。
预后风险分析模型通过卷积神经网络和Cox模型构建,卷积神经网络用以提取病理局部切片图像的特征,Cox模型作为卷积神经网络的最后一个隐藏层,用于模拟一段时间患者内的生存概率。在模型训练过程中,每位患者作为样本,以生存时间为标签,从每位患者的肿瘤,间质和癌旁中取出至少10个局部切片作为模型输入。
卷积神经网络用以对患者的一组不同区域的病理图像局部切片进行分析,通过对病理图像局部切片进行高分辨率的可视化处理分析细粒度特征。
图2为本发明一个实施例的卷积神经网络的网络结构图。如图2所示,本实施例的本实施例的卷积神经网络采用ResNet-50网络,共有4层结构。前三层卷积块提取局部切片图像中的风险特征,最后一层卷积块输出n*16*16*1024像素的特征图(n代表预测这个病人风险所使用的局部切片数量)。
具体的,卷积神经网络使用网络全连接层权重和特征图相乘来获取具有风险特征的激活图,其具体计算过程如下:
fk(x,y)代表特征图的第k层,wk代表第k层对应的权重,通过这样一个加权线性和来得到最终的这个病人的n*16*16像素的激活图S。
在生成热图的过程中,为了排除激活图中的异常值的影响,对激活图进行直方图归一化处理。直方图归一化的原理在于针对激活图中的像素点的灰度范围存在异常,造成图像不清晰的问题,通过灰度变换的方式改变像素点的灰度值,增加图像的清晰度。
具体的,本实施例对验证集的所有病人的风险激活图上的灰度值做了直方图,通过直方图我们选择了所有值的95分位数和5分位数作为灰度范围的上限和下限,采用最大最小归一化的方法来归一化激活图的值,其具体计算过程如下:
x*=1,when x*>1;x*=0,when x*<0
具体的,对于归一化后激活图像使用线性插值方法将激活图放大,由16*16放大到256*256像素大小,其中新的坐标点的值由它原图像中相邻的4个点的值计算得出:
其中Q_11=(x_1,y_1),Q_21=(x_2,y_1),Q_12=(x_1,y_2),Q_22=(x_2,y_2)为图像中相邻的4个已知点。
将放大后得到的新激活图上的所有值乘上255得到激活图在颜色上的分布,通过opencv中的COLORMAP_JET方法,转化为具有不同颜色分布的热图。
S300将所述热图叠加到病理图像上生成具有可视化预后风险特征的图像。
具体的,热图首先进行透明化处理,然后通过映射的方式叠加到对于的病理图像局部切片之上,以便观察预后风险特征。在可视化热图中,,颜色越趋于红色的位置代表与病人生存风险高相关的特征,颜色越区域蓝色的位置代表与病人生存风险低相关的特征。
图3是本发明一个实施例的预后特征可视化系统的系统架构图。如图3所示,本发明的预后特征可视化系统,该系统实现预后特征可视化的步骤如上述方法所示,包括:
图像获取模块1,用以获取患者病理图像,所述病理图像包括在不同组织区域随机采样的局部切片图像;
热图生成模块2,用以将将随机采样的病理图像输入经过训练的预后风险分析模型,获取与病理图像对应的具有预后风险特征的热图;
可视化生成模块3,用以将将述热图叠加到病理图像上生成具有可视化预后风险特征的图像。
图4是本发明一个实施例的一种电子设备的结构示意图。如图4所示,本发明一个实施例的一种电子设备包括一个或多个输入设备1000、一个或多个输出设备1000、一个或多个处理器3000和存储器4000。
在本发明一个实施例中,处理器1000、输入设备2000、输出设备3000和存储器4000可以通过总线或其它方式连接。输入设备2000、输出设备3000可以是标准的有线或无线通信接口。
处理器1000可以是中央处理模块(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器4000可以是高速RAM存储器,也可为非不稳定的存储器,例如磁盘存储器。存储器4000用于存储一组计算机程序,输入设备2000、输出设备3000和处理器1000可以调用存储器4000中存储的程序代码。
存储器4000存储的计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如上述实施例中所述专利价值评估方法的步骤。
本发明的一个实施例还提供一种计算机可读存储介质。该计算机可读存储介质可以是高速RAM存储器,也可为非不稳定的存储器,例如磁盘存储器。该计算机可读存储介质可通过外部计算设备或网络进行连接,以读取该计算机可读存储介质所存储的一组计算机程序。该计算机可读存储介质存储的计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如上述实施例中所述专利价值评估方法的步骤。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种预后特征可视化方法,其特征在于,包括以下步骤:
获取患者病理图像,所述病理图像包括在不同组织区域随机采样的局部切片图像;
将随机采样的病理图像输入经过训练的预后风险分析模型,获取与病理图像对应的具有预后风险特征的热图,所述预后风险分析模型对病理图像的分析过程中,包括以下步骤:
基于卷积神经网络中多层卷积块对病理图像进行卷积计算,基于卷积计算结果提取预后风险特征并输出特征图;
基于卷积神经网络中全连接层的权重和特征图相乘以获取激活图;
采用最大最小归一化算法对激活图进行归一化计算,以排除激活图中异常值的影响;
采用线性插值算法将激活图放大,通过opencv中COLORMAP_JET方法将激活图转化为具有不同颜色分布的热图;
将所述热图叠加到病理图像上生成具有可视化预后风险特征的图像。
2.如权利要求1所述的一种预后特征可视化方法,其特征在于,所述预后风险分析模型包括卷积神经网络和Cox模型,其中:
所述卷积神经网络对病理图像中不同组织区域随机采样的局部切片图像进行分析,获取病理图像中的细粒度特征;
所述Cox模型作为卷积神经网络的隐藏层,用以模拟患者一段时间内的生存概率,以每位患者为样本,以生存时间为标签,从每位患者的肿瘤,间质和癌旁中取出至少10个局部切片作为模型输入。
3.如权利要求1所述的一种预后特征可视化方法,其特征在于,所述激活图的计算过程包括:
其中,fk(x,y)代表特征图的第k层,wk代表第k层对应的权重,S为激活图。
4.如权利要求1所述的一种预后特征可视化方法,其特征在于,所述激活图的归一化计算过程中,包括:
根据激活图进行直方图计算,根据直方图计算结果确定归一化的上限值和下限值,归一化计算的具体计算过程包括:
x*=1,when x*>1;x*=0,when x*<0。
5.如权利要求1所述的一种预后特征可视化方法,其特征在于,所述线性插值算法对激活图进行放大计算的具体过程,包括:
其中,Q_11=(x_1,y_1),Q_21=(x_2,y_1),Q_12=(x_1,y_2),Q_22=(x_2,y_2)为图像中相邻的4个已知点。
6.如权利要求1所述的一种预后特征可视化方法,其特征在于,在所述热图的叠加过程中,包括以下步骤:
将所述热图映射到对应组织区域的局部切片图像;
将热图进行透明化处理以在病理图像上显示预后风险特征。
7.一种预后特征可视化系统,其特征在于,包括:
图像获取模块,用以获取患者病理图像,所述病理图像包括在不同组织区域随机采样的局部切片图像;
热图生成模块,用以将随机采样的病理图像输入经过训练的预后风险分析模型,获取与病理图像对应的具有预后风险特征的热图,所述预后风险分析模型对病理图像的分析过程中,包括以下步骤:
基于卷积神经网络中多层卷积块对病理图像进行卷积计算,基于卷积计算结果提取预后风险特征并输出特征图;
基于卷积神经网络中全连接层的权重和特征图相乘以获取激活图;
采用最大最小归一化算法对激活图进行归一化计算,以排除激活图中异常值的影响;
采用线性插值算法将激活图放大,通过opencv中COLORMAP_JET方法将激活图转化为具有不同颜色分布的热图;
可视化生成模块,用以将将述热图叠加到病理图像上生成具有可视化预后风险特征的图像。
8.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1至5中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010498137.XA CN111784637B (zh) | 2020-06-04 | 2020-06-04 | 一种预后特征可视化方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010498137.XA CN111784637B (zh) | 2020-06-04 | 2020-06-04 | 一种预后特征可视化方法、系统、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111784637A CN111784637A (zh) | 2020-10-16 |
CN111784637B true CN111784637B (zh) | 2024-06-14 |
Family
ID=72753325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010498137.XA Active CN111784637B (zh) | 2020-06-04 | 2020-06-04 | 一种预后特征可视化方法、系统、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111784637B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115083574B (zh) * | 2022-08-22 | 2022-12-06 | 四川大学华西医院 | 癌症预后生存预测方法、系统、计算机设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564567A (zh) * | 2018-03-15 | 2018-09-21 | 中山大学 | 一种超高分辨率病理图像癌变区域可视化方法 |
US11756667B2 (en) * | 2018-05-30 | 2023-09-12 | Siemens Healthcare Gmbh | Decision support system for medical therapy planning |
WO2020077552A1 (zh) * | 2018-10-17 | 2020-04-23 | 上海允英医疗科技有限公司 | 一种肿瘤预后预测的方法和系统 |
CN110010198B (zh) * | 2019-02-14 | 2022-12-20 | 辽宁省肿瘤医院 | 一种基于全转录组的肝细胞癌可变剪切事件系统分析的方法及预后模型应用 |
CN109859801B (zh) * | 2019-02-14 | 2023-09-19 | 辽宁省肿瘤医院 | 一种含有七个基因作为生物标志物预测肺鳞癌预后的模型及建立方法 |
CN110232974B (zh) * | 2019-04-22 | 2021-10-01 | 福建医科大学附属第一医院 | 多发性骨髓瘤综合风险评分方法 |
CN110705565A (zh) * | 2019-09-09 | 2020-01-17 | 西安电子科技大学 | 淋巴结肿瘤区域识别方法与装置 |
CN110993106A (zh) * | 2019-12-11 | 2020-04-10 | 深圳市华嘉生物智能科技有限公司 | 一种结合病理图像和临床信息的肝癌术后复发风险预测方法 |
-
2020
- 2020-06-04 CN CN202010498137.XA patent/CN111784637B/zh active Active
Non-Patent Citations (2)
Title |
---|
"A Fully Automatic Deep Learning System for 1 COVID-19 Diagnostic and Prognostic Analysis";Shuo Wang 等;《Europe PMC》;第1-31页 * |
"Survival Patterns for Patients with Resected N2 Non–Small Cell Lung Cancer and Postoperative Radiotherapy: A Prognostic Scoring Model and Heat Map Approach";Weiye Deng 等;《Elsevier》;第1968-1974页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111784637A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
CN111161275B (zh) | 医学图像中目标对象的分割方法、装置和电子设备 | |
CN111310841B (zh) | 医学图像分类方法、装置、设备、计算机设备和存储介质 | |
US20190057504A1 (en) | Image Processor, Image Processing Method, And Image Processing Program | |
CN111325739A (zh) | 肺部病灶检测的方法及装置,和图像检测模型的训练方法 | |
CN107133933B (zh) | 基于卷积神经网络的乳腺x线图像增强方法 | |
CN111292324B (zh) | 一种针对臂丛神经超声图像的多目标识别方法及系统 | |
US11684333B2 (en) | Medical image analyzing system and method thereof | |
JP2019028887A (ja) | 画像処理方法 | |
CN111951272A (zh) | 脑部影像的分割方法、装置、计算机设备和可读存储介质 | |
CN113889238B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
CN115359066B (zh) | 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 | |
CN108171694A (zh) | 基于卷积神经网络的结节检测方法、系统及设备 | |
JP2013103023A (ja) | 画像診断支援装置および画像診断支援方法 | |
CN113576508A (zh) | 一种基于神经网络的脑出血辅助诊断系统 | |
CN111784637B (zh) | 一种预后特征可视化方法、系统、设备和存储介质 | |
CN110517771B (zh) | 一种医学图像处理方法、医学图像识别方法及装置 | |
CN110503114B (zh) | 图像特征提取方法、装置、肿瘤识别系统及存储介质 | |
CN113379687A (zh) | 网络训练方法、图像检测方法和介质 | |
CN111339993A (zh) | 一种x射线图像金属检测方法和系统 | |
Kipele et al. | Poisson noise reduction with nonlocal-pca hybrid model in medical x-ray images | |
CN113963427B (zh) | 一种快速活体检测的方法与系统 | |
US20230005148A1 (en) | Image analysis method, image analysis device, image analysis system, control program, and recording medium | |
CN113962958A (zh) | 一种征象检测方法及装置 | |
CN113724237A (zh) | 齿痕识别方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |