CN112434172A - 一种病理图像预后特征权重计算方法及系统 - Google Patents
一种病理图像预后特征权重计算方法及系统 Download PDFInfo
- Publication number
- CN112434172A CN112434172A CN202011183176.7A CN202011183176A CN112434172A CN 112434172 A CN112434172 A CN 112434172A CN 202011183176 A CN202011183176 A CN 202011183176A CN 112434172 A CN112434172 A CN 112434172A
- Authority
- CN
- China
- Prior art keywords
- image
- pathological image
- pathological
- features
- prognosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 177
- 238000004393 prognosis Methods 0.000 title claims abstract description 62
- 238000004364 calculation method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 230000007170 pathology Effects 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 230000004083 survival effect Effects 0.000 claims abstract description 10
- 238000010191 image analysis Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 210000004940 nucleus Anatomy 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 210000003855 cell nucleus Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010827 pathological analysis Methods 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 12
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种病理图像预后特征权重计算方法及系统，通过对待处理数字病理图像进行分析得到待处理数字病理图像特征，将相似度高的病理图文数据相对应的病理报告与临床信息，并将病理图文数据转化为文本数据，基于图卷积网络建立预后特征抽取模型，利用预后特征抽取模型从病理图文数据转化的文本数据中得到预后特征及预后特征对应的属性值；最后对后特征及预后特征对应的属性值进行生存分析或进行风险指数计算得到病理图像预后特征权重值，从而可以为每一个待处理数字病理图像寻找与其相似的病理图像的各项病理以及临床特征赋予权重，提高病理分析效率。
Description
技术领域
本发明属于数字化病理图像处理领域，涉及一种病理图像预后特征权重计算方法及系统。
背景技术
随着数字病理切片图像的广泛普及与应用，自动计算的组织病理图象分析系统逐步推广已用于病理图像的分析中，组织病理学图像为分期和预后提供了重要信息，并且病理学家在临床实践中已广泛应用。在医学领域，病理分析准确确定病理特征是医学分析过程的“金标准”，是医生对病人进行正确分析的基石，病理报告中有很多不同的病理特征，比如癌症类型、癌症亚型、解剖部位、肿瘤大小、分级、TNM分期。这些特征对于病理学图像的预后与临床治疗有着关键的作用，对于不同的病人，不同的病理特征在分析以及预后有着不一样的影响。而目前一些病理学图像的分析方法往往缺乏明确的病理检验结果为依据，仅仅基于证据不全的推测，主要依靠病理专家的个人经验推测，无法与已有的病理图像结果经验结合，仅仅依靠经历专家的经验，结果误差大，且时间长；培养一个优秀的病理医生需要很长时间，一个经历丰富的病理专家需要很多不同种类的病理分析的积累，难度高，而目前已有的众多病理分析结果，依靠人工分析，无法快速高准确的从病理图像中获取准确的病理特征信息，且计算分析结果准确度低。
发明内容
本发明的目的在于提供一种病理图像预后特征权重计算方法，以克服现有技术的不足。
为达到上述目的，本发明采用如下技术方案：
一种病理图像预后特征权重计算方法，包括以下步骤：
步骤1)、对待处理数字病理图像进行分析得到待处理数字病理图像特征；
步骤2)、基于待处理数字病理图像特征从病理图文数据库中搜索查找与待处理数字病理图像相似度高的病理图文数据，并将获取的相似度高的病理图文数据转化为文本数据；
步骤3)、基于图卷积网络(GCN)建立预后特征抽取模型，利用预后特征抽取模型从病理图文数据转化的文本数据中得到预后特征及预后特征对应的属性值；
步骤4)、对后特征及预后特征对应的属性值进行生存分析或进行风险指数计算得到病理图像预后特征权重值。
进一步的，病理图文数据库包括已确诊病理图像以及与该病理图像对应的病理报告和临床信息。
进一步的，采用基于深度学习的相似图片搜索方法或计算图像特征相似度的搜索方法从病理图文数据库中搜索查找与待处理数字病理图像相似度高的病理图文数据。
进一步的，采用基于深度排名网络的卷积神经网络体系结构的方法建立图像分析模型，采用已知病理图像作为训练集，将训练集中的三个图像为一组传入图像分析模型中，其中两个图像来自同一个分类，另一个图像与另外两个图像分类不同，计算三个图像中两两图像之间的嵌入距离并进行比较得到两个图像之间的相似度，采用多组不同图像对图像分析模型进行训练得到能够进行图像分析处理的图像分析模型，将待处理数字病理图像输入图像分析模型压缩为固定长度的矢量，经过图像分析模型得到与待处理数字病理图像相似度高的病理图文数据。
进一步的，在图像分析模型训练过程中，对每个图像进行四个九十度的旋转和镜像处理。
进一步的，从待处理数字病理图像上选取8-10个大小为512*512像素的区域，然后采用分割算法从选定的图像区域中分割细胞核，提取不同类型的组织学图像特征；将获取的组织学图像特征与病理图文数据库每一张病理图像特征进行比对计算两者的欧氏距离，选取欧氏距离最高的前1000张图像作为似度高的病理图文数据。
进一步的，待处理数字病理图像特征包括形态特征、强度特征和纹理特征；形态特征描述细胞核的形状和大小变化；强度特征描述了细胞核中颜色变化的分布；纹理特征定量描述像素值的图案和纹理。
进一步的，纹理特征包括基于共现的特征和基于游程长度的特征；基于共现的特征包括相关性、聚类阴影、聚类突出、能量、熵、相关性、惯性和逆差矩；基于游程长度的功能包括灰度不均匀，游程长度不均匀，低和高灰度等级强调，短期低和高灰度等级强调以及长期低和高灰度等级。
进一步的，基于图卷积网络建立多个GCN层堆叠的预后特征抽取模型，通过堆叠多个GCN层来合并高阶邻域信息：
其中j表示层号，L(0)＝X，其中
是归一化对称邻接矩阵，L(j)为特征矩阵，Wj是权重矩阵；
对预后特征抽取模型的每一层分别进行图内传播和图间传播，将不同注意力的权重相乘并相加，在图卷积网络的最后一层中，完成图间传播后，在图上执行平均池化，以获得文档节点的最终表示形式，从而实现分类，从文本数据中得到预后特征及预后特征对应的属性值。
进一步的，在比例风险模型中设t是时间；h(t,X)是当前时间为t，客观因素为X的时候的危险率，则：
h(t,X)＝λ0(t)exp(β·X)
对公式进行对数运算得到：
ln(h(t,X))＝β·X+ln(λ0(t))
设共有N个事件，第i个事件的风险特征为X(i)，发生的时间为ti，由此得到极大似然函数为：
对数似然函数为：
梯度为：
最后采用梯度下降法对参数进行估计从而得到预后特征的权重。
一种病理图像预后特征权重计算系统，包括病理图像特征提取模块、相似图像匹配模块、预后特征抽取模块和预后特征权重计算模块，
病理图像特征用于获取待处理数字病理图像的病理图像特征，并传输至相似图像匹配模块，相似图像匹配模块从病理图文数据库中搜索查找与待处理数字病理图像相似度高的病理图文数据，并将病理图文数据转化为文本数据；预后特征抽取模块根据从病理图文数据转化的文本数据中得到预后特征及预后特征对应的属性值；预后特征权重计算模块对后特征及预后特征对应的属性值进行生存分析或进行风险指数计算得到病理图像预后特征权重值。
与现有技术相比，本发明具有以下有益的技术效果：
本发明一种病理图像预后特征权重计算方法，通过对待处理数字病理图像进行分析得到待处理数字病理图像特征，基于待处理数字病理图像特征从病理图文数据库中搜索查找与待处理数字病理图像相似度高的病理图文数据，根据与这些相似度高的病理图文数据相对应的病理报告与临床信息，并将病理图文数据转化为文本数据，基于图卷积网络建立预后特征抽取模型，利用预后特征抽取模型从病理图文数据转化的文本数据中得到预后特征及预后特征对应的属性值；最后对预后特征及预后特征对应的属性值进行生存分析或进行风险指数计算得到病理图像预后特征权重值，从而能够准确得到与待处理数字病理图像最接近的各项病理以及临床特征，以更好更准确的赋予每个数字病理图像医学特征权重，提高病理分析效率。
进一步的，利用基于深度学习的图像搜索方法或基于图像特征之间距离的图片搜索方法对病理图像进行相似图像搜索，有效提高了图像对比搜索精度。
本发明一种病理图像预后特征权重计算系统，可以自动为每个待处理数字病理图像的重要医学特征权重的预测模型，实现为不同待处理数字病理图像进行个性化定制病理报告的自动预测模型，结构简单，速度快，准确度高。
附图说明
图1是本发明实施例中方法流程图。
图2是本发明实施例中查找相似的病理图像方法示意图。
图3是本发明实施例中抽取结构化预后特征的流程图。
图4是本发明实施例中通过结构化预后信息计算预后特征权重的示意图。
具体实施方式
下面结合具体实施例和附图，对本发明做进一步的详细说明。所述内容是对本发明的解释而不是限定。
如图1所示，一种病理图像预后特征权重计算方法，包括以下步骤：
步骤1)、对待处理数字病理图像进行分析得到待处理数字病理图像特征；
待处理数字病理图像特征包括形态特征、强度特征和纹理特征；形态特征描述细胞核的形状和大小变化；强度特征(一阶统计特征)描述了细胞核中颜色变化的分布，计算了五个一阶统计特征：平均值，中位数，标准偏差，偏度和峰度；纹理特征(二阶统计特征)定量描述像素值的图案和纹理。
步骤2)、基于待处理数字病理图像特征从病理图文数据库中搜索查找与待处理数字病理图像相似度高的病理图文数据，并将病理图文数据转化为文本数据；
病理图文数据库包括已确诊病理图像以及与该病理图像对应的病理报告和临床信息。
具体的，本申请采用基于深度学习的相似图片搜索方法或计算图像特征相似度的搜索方法从病理图文数据库中搜索查找与待处理数字病理图像相似度高的病理图文数据；
基于深度学习的相似图片搜索方法，采用基于深度排名网络的卷积神经网络体系结构的方法建立图像分析模型，将待处理数字病理图像输入图像分析模型(尺寸为宽度x高度x通道)压缩为固定长度的矢量，经过图像分析模型得到与待处理数字病理图像相似度高的病理图文数据。
具体的，建立图像分析模型，采用已知病理图像作为训练集，将训练集中的三个图像为一组传入图像分析模型中，其中两个图像来自同一个分类，另一个图像与另外两个图像分类不同，计算三个图像中两两图像之间的嵌入距离并进行比较得到两个图像之间的相似度，采用多组不同图像对图像分析模型进行训练得到能够进行图像分析处理的图像分析模型。
由于组织病理学图像不依赖方向，在图像分析模型训练过程中，对每个图像进行四个九十度的旋转和镜像处理。在图像数据库中查询匹配项中，模型首先计算所选中的查询图像的嵌入，然后将他与数据库中存储的其余图像的嵌入进行计算，选取嵌入距离最高的也就是相似度最高的前1000张图像。
本申请采用不同类别的五千万张自然图像对图像分析模型进行训练，得到完成训练的图像分析模型，利用训练后的图像分析模型对输入图像进行分析处理得到与待处理数字病理图像相似度高的病理图文数据。
计算图像特征相似度搜索方法：需要抽取每张病理图像的图像特征，病理图像特征提取流程包括以下两个步骤：细胞核分割以及细胞水平的图像特征提取。具体的，从待处理数字病理图像上选取8-10个大小为512*512像素的区域，然后采用分割算法从选定的图像区域中分割细胞核，提取不同类型的组织学图像特征；将获取的组织学图像特征与病理图文数据库每一张病理图像特征进行比对计算两者的欧氏距离，选取欧氏距离最高(相似度最高)的前1000张图像；在这里，为了提高计算的速度减少计算复杂度，采用FASII相似性搜索库，使得根据病理特征矩阵搜索相似的病理图像速度得到提升。
具体的，共提取31种不同类型的组织学图像特征：10个形态特征，5个强度特征和16个纹理特征，形态特征描述细胞核的形状和大小变化；强度特征(一阶统计特征)描述了细胞核中颜色变化的分布，计算了五个一阶统计特征(平均值，中位数，标准偏差，偏度和峰度)；纹理特征(二阶统计特征)定量描述像素值的图案和纹理。纹理特征包括基于共现的特征和基于游程长度的特征；基于共现的特征包括相关性、聚类阴影、聚类突出、能量、熵、相关性、惯性和逆差矩；基于游程长度的功能包括灰度不均匀，游程长度不均匀，低和高灰度等级强调，短期低和高灰度等级强调以及长期低和高灰度等级。
步骤3)、基于图卷积网络(GCN)建立预后特征抽取模型，利用预后特征抽取模型从病理图文数据转化的文本数据中得到预后特征及预后特征对应的属性值；
通过上述方法得到相似度最高的病理图文数据之后，并根据病理图文数据中的病理报告以及临床报告的对应关系依次找到这些病理图文数据所对应的医学信息，并将病理报告以及临床报告转换为结构化的文本数据，从结构化的文本数据中得到有关病理报告和临床报告中每个预后特征和预后特征对应的属性值。
如图3所示，是从病理报告和临床信息进行结构化信息中抽取得到预后特征的功能模型示意图。
基于图卷积网络(GCN)建立预后特征抽取模型：图卷积网络是一个多层神经网络，直接在图上运行，并根据节点的邻域诱导节点的嵌入向量；形式上，图G＝(V,E)，其中V是边的集合，E是图的节点的集合。设每个节点都连接到自身。令
为包含所有n个节点及其特征的矩阵，其中m为特征向量的维数。图G的邻接矩阵A及其度矩阵D，其中Dii＝∑jAij，邻接矩阵A的对角元素设置为1。
GCN只能捕获具有一层卷积的直接邻居的信息。当堆叠多个GCN层时，将集成有关较大邻域的信息。对于单层GCN，新的k维节点特征矩阵L(1)计算为：
其中
是归一化对称邻接矩阵，W0是权重矩阵，ρ是激活函数。
通过堆叠多个GCN层来合并高阶邻域信息：
其中j表示层号，L(0)＝X。
基于图卷积网络建立的预后特征抽取模型，即用于文本分类的图形卷积网络，其中语料库中的文档和词汇表中的唯一词为图形的节点，基于这些节点，基于文档中单词出现和单词同时出现来构建边。
从三个角度在语料库上构建了三个图：基于语义的图，基于句法的图和基于顺序的图，这三个图的节点相同，但是边缘的权重不同。
在文本图卷积网络中，仅将特征矩阵X＝I设置为恒等矩阵，这意味着每个单词或文档都被表示为一个热向量，将热向量作为图卷积网络的输入，文档节点和单词节点之间的边缘权重是术语频率反文档频率(TF-IDF)，其中术语频率是单词在文档中出现的次数，使用TF-IDF权重比仅使用词频。为每个图构造单词节点之间的边和权重：
基于语义的图：对于每个文档，从经过训练的时间递归神经网络(LSTM)输出中获取每个单词的语义特征/嵌入，并计算单词之间的余弦相似度；如果相似度值超过预定义的阈值，则意味着这两个词在当前文档中具有语义关系；计算每对单词在整个语料库中具有语义关系的次数。
基于语法的图：对于语料库中的每个文档，首先使用解析器提取单词之间的无方向依赖性,计算每对单词在整个语料库中具有句法依赖性的次数，并计算每对单词的边缘权重；
基于序列的图：序列上下文描述了单词之间的语言属性，两个单词之间的边的权重是两个单词的点向互信息(PMI)，使用PMI比使用单词共现计数能获得更好的结果。
上面的预后特征抽取模型将所有图放在相同的表示空间中，并将它们放在图中，对于模型的每一层，执行两种传播学习：首先是图内传播，然后是图间传播：
图内传播学习是从图中每个节点的邻居收集信息，这与卷积运算没有太大区别，但是又增加了一个维度。图间传播学习是在张量中的不同图之间交换信息，以便来自不同图的异类信息可以逐渐合并为一致的信息。由于张量图中的所有图实际上共享相同的节点集，因此将图张量中的每个图的对应节点连接起来。由于不同层中的权重代表不同的含义，因此无法直接执行简单的合并。将不同注意力的权重相乘并相加，在图卷积网络的最后一层中，完成图间传播后，在图上执行平均池化，以获得文档节点的最终表示形式，从而实现分类，从文本数据中得到预后特征及预后特征对应的属性值。
步骤4)、对后特征及预后特征对应的属性值进行生存分析或进行风险指数计算得到病理图像预后特征权重值。
如图4，本发明中通过结构化预后信息计算预后特征权重的结果：
建立了一个单变量的生存分析Kaplan-Meier曲线模型以及多变量的比例风险回归模型Proportional hazards model，根据得到的相似对最高的病理图文数据对应的预后特征及预后特征的属性值来计算该病理图像的风险指数以及为该病理图像的医学特征赋予权重，采用不同的特征对该病理图像对应生存时间及预后进行预测，属性的预后预测越准确，该属性的权值就相对应的越高。
根据对于比例风险回归模型，在比例风险模型中设t是时间；h(t,X)是当前时间为t，客观因素为X的时候的危险率，则：
h(t,X)＝λ0(t)exp(β·X)
对公式进行对数运算得到：
ln(h(t,X))＝β·X+ln(λ0(t))
设共有N个事件，第i个事件的风险特征为X(i)，发生的时间为ti，由此得到极大似然函数为：
对数似然函数为：
梯度为：
最后采用梯度下降法对参数进行估计从而得到预后特征的权重。
本发明通过对于待处理数字病理图像进行分析，利用计算每张图像的病理图像特征(形态特征、强度特征和纹理特征)之间的距离以查找相似图片以及基于深度学习的图片搜索方法对病理图像进行相似图像搜索，寻找与该待处理数字病理图像最相似的1000张图像。接着待处理数字病理图像与预后信息相对应，将获取的相似度高的病理图像相对应的病理报告与临床信息转化为文本数据作为预后特征，对这些预后特征进行生存分析或者进行风险指数计算每个预后特征的权重，从而得到待处理数字病理图像的预后特征权重值，可以为每一个待处理数字病理图像的各项病理以及临床特征赋予权重。通过图片相似搜索直观的解释预测流程，病理学家和临床医生在对病理切片进行复查的时候有助于他们理解这些重要的医学特征的权重预测，可以帮助病理医生更快的熟悉更多的病例，增加自己的实践经验。
Claims (10)
1.一种病理图像预后特征权重计算方法，其特征在于，包括以下步骤：
步骤1)、对待处理数字病理图像进行分析得到待处理数字病理图像特征；
步骤2)、基于待处理数字病理图像特征从病理图文数据库中搜索查找与待处理数字病理图像相似度高的病理图文数据，并将获取的相似度高的病理图文数据转化为文本数据；
步骤3)、基于图卷积网络(GCN)建立预后特征抽取模型，利用预后特征抽取模型从病理图文数据转化的文本数据中得到预后特征及预后特征对应的属性值；
步骤4)、对后特征及预后特征对应的属性值进行生存分析或进行风险指数计算得到病理图像预后特征权重值。
2.根据权利要求1所述的一种病理图像预后特征权重计算方法，其特征在于，病理图文数据库包括已确诊病理图像以及与该病理图像对应的病理报告和临床信息。
3.根据权利要求1所述的一种病理图像预后特征权重计算方法，其特征在于，采用基于深度学习的相似图片搜索方法或计算图像特征相似度的搜索方法从病理图文数据库中搜索查找与待处理数字病理图像相似度高的病理图文数据。
4.根据权利要求3所述的一种病理图像预后特征权重计算方法，其特征在于，采用基于深度排名网络的卷积神经网络体系结构的方法建立图像分析模型，采用已知病理图像作为训练集，将训练集中的三个图像为一组传入图像分析模型中，其中两个图像来自同一个分类，另一个图像与另外两个图像分类不同，计算三个图像中两两图像之间的嵌入距离并进行比较得到两个图像之间的相似度，采用多组不同图像对图像分析模型进行训练得到能够进行图像分析处理的图像分析模型，将待处理数字病理图像输入图像分析模型压缩为固定长度的矢量，经过图像分析模型得到与待处理数字病理图像相似度高的病理图文数据，在图像分析模型训练过程中，对每个图像进行四个九十度的旋转和镜像处理。
5.根据权利要求1的一种病理图像预后特征权重计算方法，其特征在于，从待处理数字病理图像上选取8-10个大小为512*512像素的区域，然后采用分割算法从选定的图像区域中分割细胞核，提取不同类型的组织学图像特征；将获取的组织学图像特征与病理图文数据库每一张病理图像特征进行比对计算两者的欧氏距离，选取欧氏距离最高的前1000张图像作为似度高的病理图文数据。
6.根据权利要求1所述的一种病理图像预后特征权重计算方法，其特征在于，待处理数字病理图像特征包括形态特征、强度特征和纹理特征；形态特征描述细胞核的形状和大小变化；强度特征描述了细胞核中颜色变化的分布；纹理特征定量描述像素值的图案和纹理。
7.根据权利要求6所述的一种病理图像预后特征权重计算方法，其特征在于，纹理特征包括基于共现的特征和基于游程长度的特征；基于共现的特征包括相关性、聚类阴影、聚类突出、能量、熵、相关性、惯性和逆差矩；基于游程长度的功能包括灰度不均匀，游程长度不均匀，低和高灰度等级强调，短期低和高灰度等级强调以及长期低和高灰度等级。
8.根据权利要求7所述的一种病理图像预后特征权重计算方法，其特征在于，基于图卷积网络建立多个GCN层堆叠的预后特征抽取模型，通过堆叠多个GCN层来合并高阶邻域信息：
其中j表示层号，L(0)＝X，其中
是归一化对称邻接矩阵，L(j)为特征矩阵，Wj是权重矩阵；
对预后特征抽取模型的每一层分别进行图内传播和图间传播，将不同注意力的权重相乘并相加，在图卷积网络的最后一层中，完成图间传播后，在图上执行平均池化，以获得文档节点的最终表示形式，从而实现分类，从文本数据中得到预后特征及预后特征对应的属性值。
9.根据权利要求1所述的一种病理图像预后特征权重计算方法，其特征在于，在比例风险模型中设t是时间；h(t，X)是当前时间为t，客观因素为X的时候的危险率，则：
h(t，X)＝λ0(t)exp(β·X)
对公式进行对数运算得到：
ln(h(t，X))＝β·X+ln(λ0(t))
设共有N个事件，第i个事件的风险特征为X(i)，发生的时间为ti，由此得到极大似然函数为：
对数似然函数为：
梯度为：
最后采用梯度下降法对参数进行估计从而得到预后特征的权重。
10.一种病理图像预后特征权重计算系统，其特征在于，包括病理图像特征提取模块、相似图像匹配模块、预后特征抽取模块和预后特征权重计算模块，
病理图像特征用于获取待处理数字病理图像的病理图像特征，并传输至相似图像匹配模块，相似图像匹配模块从病理图文数据库中搜索查找与待处理数字病理图像相似度高的病理图文数据，并将病理图文数据转化为文本数据；预后特征抽取模块根据从病理图文数据转化的文本数据中得到预后特征及预后特征对应的属性值；预后特征权重计算模块对后特征及预后特征对应的属性值进行生存分析或进行风险指数计算得到病理图像预后特征权重值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011183176.7A CN112434172A (zh) | 2020-10-29 | 2020-10-29 | 一种病理图像预后特征权重计算方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011183176.7A CN112434172A (zh) | 2020-10-29 | 2020-10-29 | 一种病理图像预后特征权重计算方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112434172A true CN112434172A (zh) | 2021-03-02 |
Family
ID=74696497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011183176.7A Pending CN112434172A (zh) | 2020-10-29 | 2020-10-29 | 一种病理图像预后特征权重计算方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112434172A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077021A (zh) * | 2021-06-07 | 2021-07-06 | 广州天鹏计算机科技有限公司 | 基于机器学习的电子病历多维挖掘方法 |
| CN113269724A (zh) * | 2021-04-28 | 2021-08-17 | 西安交通大学 | 一种细粒度癌症亚型分类方法 |
| CN113868374A (zh) * | 2021-09-15 | 2021-12-31 | 西安交通大学 | 基于多头注意力机制的图卷积网络生物医学信息提取方法 |
| CN113947607A (zh) * | 2021-09-29 | 2022-01-18 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
| CN116682576A (zh) * | 2023-08-02 | 2023-09-01 | 浙江大学 | 一种基于双层图卷积神经网络的肝癌病理预后系统及装置 |
| CN118627471A (zh) * | 2024-08-14 | 2024-09-10 | 山东省大数据中心 | 基于依赖注意力图卷积的政务数据自动标注方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012179336A (ja) * | 2011-03-02 | 2012-09-20 | Stat Lab:Kk | 病理画像診断支援装置 |
| CN105550651A (zh) * | 2015-12-14 | 2016-05-04 | 中国科学院深圳先进技术研究院 | 一种数字病理切片全景图像自动分析方法及系统 |
| CN105975793A (zh) * | 2016-05-23 | 2016-09-28 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于数字病理图像的癌症辅助诊断方法 |
| CN106446004A (zh) * | 2016-07-30 | 2017-02-22 | 北京航空航天大学 | 数字病理全切片图像检索方法 |
| CN109036524A (zh) * | 2018-10-16 | 2018-12-18 | 武汉轻工大学 | 动物疫病的诊断系统 |
| CN109961847A (zh) * | 2019-03-20 | 2019-07-02 | 武汉千屏影像技术有限责任公司 | 一种图片、文字和语音结合的病理智能诊断系统 |
| CN110101361A (zh) * | 2019-04-23 | 2019-08-09 | 深圳市新产业眼科新技术有限公司 | 基于大数据在线智能诊断平台及其运行方法和存储介质 |
| CN110717057A (zh) * | 2019-09-04 | 2020-01-21 | 杭州憶盛医疗科技有限公司 | 一种数字病理全切片图像检索方法 |
| CN111370128A (zh) * | 2020-03-05 | 2020-07-03 | 上海市肺科医院（上海市职业病防治院） | 一种肺癌患者预后预测系统及方法 |
| CN111462042A (zh) * | 2020-03-03 | 2020-07-28 | 西北工业大学 | 癌症预后分析方法及系统 |
-
2020
- 2020-10-29 CN CN202011183176.7A patent/CN112434172A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012179336A (ja) * | 2011-03-02 | 2012-09-20 | Stat Lab:Kk | 病理画像診断支援装置 |
| CN105550651A (zh) * | 2015-12-14 | 2016-05-04 | 中国科学院深圳先进技术研究院 | 一种数字病理切片全景图像自动分析方法及系统 |
| CN105975793A (zh) * | 2016-05-23 | 2016-09-28 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于数字病理图像的癌症辅助诊断方法 |
| CN106446004A (zh) * | 2016-07-30 | 2017-02-22 | 北京航空航天大学 | 数字病理全切片图像检索方法 |
| CN109036524A (zh) * | 2018-10-16 | 2018-12-18 | 武汉轻工大学 | 动物疫病的诊断系统 |
| CN109961847A (zh) * | 2019-03-20 | 2019-07-02 | 武汉千屏影像技术有限责任公司 | 一种图片、文字和语音结合的病理智能诊断系统 |
| CN110101361A (zh) * | 2019-04-23 | 2019-08-09 | 深圳市新产业眼科新技术有限公司 | 基于大数据在线智能诊断平台及其运行方法和存储介质 |
| CN110717057A (zh) * | 2019-09-04 | 2020-01-21 | 杭州憶盛医疗科技有限公司 | 一种数字病理全切片图像检索方法 |
| CN111462042A (zh) * | 2020-03-03 | 2020-07-28 | 西北工业大学 | 癌症预后分析方法及系统 |
| CN111370128A (zh) * | 2020-03-05 | 2020-07-03 | 上海市肺科医院（上海市职业病防治院） | 一种肺癌患者预后预测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 仝宗和: "图卷积神经网络理论与应用", 《信息技术与信息化》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269724A (zh) * | 2021-04-28 | 2021-08-17 | 西安交通大学 | 一种细粒度癌症亚型分类方法 |
| CN113077021A (zh) * | 2021-06-07 | 2021-07-06 | 广州天鹏计算机科技有限公司 | 基于机器学习的电子病历多维挖掘方法 |
| CN113868374A (zh) * | 2021-09-15 | 2021-12-31 | 西安交通大学 | 基于多头注意力机制的图卷积网络生物医学信息提取方法 |
| CN113868374B (zh) * | 2021-09-15 | 2024-04-12 | 西安交通大学 | 基于多头注意力机制的图卷积网络生物医学信息提取方法 |
| CN113947607A (zh) * | 2021-09-29 | 2022-01-18 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
| CN113947607B (zh) * | 2021-09-29 | 2023-04-28 | 电子科技大学 | 一种基于深度学习的癌症病理图像生存预后模型构建方法 |
| CN116682576A (zh) * | 2023-08-02 | 2023-09-01 | 浙江大学 | 一种基于双层图卷积神经网络的肝癌病理预后系统及装置 |
| CN116682576B (zh) * | 2023-08-02 | 2023-12-19 | 浙江大学 | 一种基于双层图卷积神经网络的肝癌病理预后系统及装置 |
| CN118627471A (zh) * | 2024-08-14 | 2024-09-10 | 山东省大数据中心 | 基于依赖注意力图卷积的政务数据自动标注方法及系统 |
| CN118627471B (zh) * | 2024-08-14 | 2024-10-18 | 山东省大数据中心 | 基于依赖注意力图卷积的政务数据自动标注方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Deep feature learning for medical image analysis with convolutional autoencoder neural network | |
| Nawaz et al. | A deep feature-based real-time system for Alzheimer disease stage detection | |
| CN112434172A (zh) | 一种病理图像预后特征权重计算方法及系统 | |
| CN108898160B (zh) | 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法 | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN110969626B (zh) | 基于3d神经网络的人脑核磁共振影像的海马体提取方法 | |
| WO2022001623A1 (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
| CN112784778B (zh) | 生成模型并识别年龄和性别的方法、装置、设备和介质 | |
| CN110889853A (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| CN105931226A (zh) | 基于深度学习的自适应椭圆拟合细胞自动检测分割方法 | |
| CN110321805B (zh) | 一种基于时序关系推理的动态表情识别方法 | |
| Syam et al. | An effective similarity measure via genetic algorithm for content based image retrieval with extensive features. | |
| CN108898269A (zh) | 基于度量的电力图像环境影响评估方法 | |
| CN113628197A (zh) | 一种基于对比学习的弱监督全切片组织病理图像分类方法 | |
| CN113192076A (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN114581698A (zh) | 一种基于空间交叉注意力机制特征融合的目标分类方法 | |
| CN116310466A (zh) | 基于局部无关区域筛选图神经网络的小样本图像分类方法 | |
| CN118430790A (zh) | 一种基于多模态图神经网络的乳腺肿瘤bi-rads分级方法 | |
| CN110827963A (zh) | 针对病理图像的语义分割方法和电子设备 | |
| CN110728352A (zh) | 一种基于深度卷积神经网络的大规模图像分类方法 | |
| CN117994587A (zh) | 一种基于深度学习两阶段推理网络的病理图像分类方法 | |
| Hadid et al. | Semantic Image Retrieval Analysis Based on Deep Learning and Singular Value Decomposition | |
| CN108304546B (zh) | 一种基于内容相似度和Softmax分类器的医学图像检索方法 | |
| Wang et al. | Feature enhancement: predict more detailed and crisper edges |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210302 |