CN116344070A - 一种病理特征与临床信息融合方法及系统 - Google Patents
一种病理特征与临床信息融合方法及系统 Download PDFInfo
- Publication number
- CN116344070A CN116344070A CN202310253487.3A CN202310253487A CN116344070A CN 116344070 A CN116344070 A CN 116344070A CN 202310253487 A CN202310253487 A CN 202310253487A CN 116344070 A CN116344070 A CN 116344070A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- clinical
- neural network
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 54
- 238000007500 overflow downdraw method Methods 0.000 title description 3
- 238000000605 extraction Methods 0.000 claims abstract description 98
- 239000013598 vector Substances 0.000 claims abstract description 94
- 238000002546 full scan Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims description 28
- 230000003902 lesion Effects 0.000 claims description 22
- 238000003062 neural network model Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 230000007170 pathology Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 230000036285 pathological change Effects 0.000 claims description 4
- 231100000915 pathological change Toxicity 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000010827 pathological analysis Methods 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000013145 classification model Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000001613 neoplastic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种病理特征与临床信息融合方法及系统，包括：分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；通过全连接神经网络对融合后的特征进行学习，获得全扫描图像的预测结果。结合病理特征和临床信息的深度学习方法，能够通过神经网络自动化融合两种不同信息源的数据，输出全扫描图像的预测概率，还通过临床特征辅助病理分析模型做出更好的预测。
Description
技术领域
本发明涉及特征处理技术，尤其涉及一种病理特征与临床信息融合方法及系统。
背景技术
病理学是通过分析病人的组织、细胞或者体液样本来诊断疾病的过程，被称为医学的“金标准”，是所有肿瘤类疾病诊断最重要的依据。病理科的诊断水平是医院整体诊断和治疗水平的重要参考指标。随着远程诊断的不断发展，数字病理扫描仪开始进入病理科，越来越多的病理切片被数字化，存储为全扫描图像。伴随着人工智能病理的不断发展，医生通过全扫描图像能够获得机器的辅助诊断结果。
由于全扫描图像尺寸较大，深度学习模型通常在一定放大倍数下，截取图像块对其进行学习和预测。因此在预测过程中，需要对图像块/像素级别的预测结果和概率进行整合，输出整张全扫描图像的预测概率。
而现有技术方案是对于图像块分类模型，研究人员通常对图像块的预测概率进行倒排，取其中的前若干个(比如100个)图像块，并取其预测概率的平均值作为全扫描图像的预测概率。对于像素级预测模型，研究人员通常对所有像素的预测概率进行倒排，取其中的某个(比如第1000个)位置的概率作为全扫描图像的预测概率。对于图像块分类模型，也有研究人员通过其预测结果，构建图像特征集，进行通过这些特征训练支持向量机模型完成全扫描图像的预测模型的建立。但现有技术存在通过统计学的方法，将图像块/像素级的预测映射到全扫描图像级的预测没有病理学依据；仅使用了预测结果来构造病理特征，没有对照全扫描图像；仅考虑了病理的特征，没有考虑临床特征；现有的方法基于支持向量机这一传统机器学习算法，当数据量增加时，模型的预测能力将产生瓶颈。
发明内容
本发明提供了一种病理特征与临床信息融合方法及系统，以解决现有技术中存在的现有技术存在通过统计学的方法，将图像块/像素级的预测映射到全扫描图像级的预测没有病理学依据；仅使用了预测结果来构造病理特征，没有对照全扫描图像；仅考虑了病理的特征，没有考虑临床特征；现有的方法基于支持向量机这一传统机器学习算法，当数据量增加时，模型的预测能力将产生瓶颈的上述问题。
为了达到上述目的，本发明提供如下技术方案：
一种病理特征与临床信息融合方法，包括：
S101：分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；
S102：对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；
S103：通过全连接神经网络对融合后的特征进行学习，获取全扫描图像的预测结果。
其中，所述S101步骤包括：
S1011：基于RGB三个通道构建全扫描图像缩略图，基于反映病变概率的灰阶图像构建预测结果缩略图，其中反映病变概率的灰阶图像有四个通道；
S1012：将全扫描图像缩略图与预测结果缩略图进行叠加处理，再分别对叠加处理后的图像及临床信息文本数据进行特征提取操作；
S1013：叠加处理后的图像作为卷积神经网络的输入，图像通过卷积神经网络进行特征提取，获取病理特征，临床信息文本通过特征加工的方式进行特征提取，获取临床特征。
其中，所述S102步骤包括：
S1021：基于病理特征和临床特征获取图像特征向量和临床特征向量；
S1022：将图像特征向量与临床特征向量进行拼接，形成设定长度的向量；
S1023：基于设定长度的向量，获取融合后的特征。
其中，所述S103步骤包括：
S1031：基于数据库中若干融合后的特征数据，训练全连接神经网络；
S1032：将全扫描图像的真实病变情况作为标签，构建成本函数；
S1033：对全连接神经网络参数进行优化，再基于优化后的全连接神经网络参数和成本函数，获取最终的全扫描图像的预测结果。
其中，所述S1013步骤中临床特征包括：化验数据、影像特征、临床病史数据，临床特征以文本的形式存储，通过对临床信息文本进行特征加工，以适应全连接神经网络的训练需要；在对临床信息文本进行特征加工过程中，将数值型数据作为特征，通过独热编码罗列类数据，构造对应的数学向量。
其中，临床特征以文本的形式存储包括：基于数据库对临床信息文本数据进行抽取与编码操作；
在对临床信息文本数据进行抽取与编码操作过程中，通过临床信息语料库确定待抽取的临床信息并制定语料库构建规范，然后通过数据标注构建临床信息语料库；构建临床信息抽取模型，先分析信息抽取现状，选定设定标准的信息抽取模型，通过设置不同的模型参数反复计算确定最优临床信息抽取模型；将需要抽取的临床信息的目标数据转换成模型输入的格式，利用构建好的临床信息抽取模型抽取信息，形成临床信息集；根据对应信息编码标准对临床信息进行编码，形成临床信息代码集。
其中，所述S1031步骤包括：
通过训练全连接神经网络构建全连接神经网络模型，全连接神经网络模型包括输入层、隐藏层、输出层，其中，通过输入层输入特征向量，输入层神经元选取病理特征和临床特征，隐藏层神经元根据经验公式获取初始节点数，再根据扩张法、删除法来确定最终全连接神经网络模型的隐藏层节点数，输出层由设定目标确定，输出为全扫描图像的预测结果。
其中，一种病理特征与临床信息融合系统，包括：
特征提取单元用于分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；
特征融合单元用于对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；
全扫描图像预测单元用于通过全连接神经网络对融合后的特征进行学习，获取全扫描图像的预测结果。
其中，所述特征提取单元包括：
第一特征提取子单元用于基于RGB三个通道构建全扫描图像缩略图，基于反映病变概率的灰阶图像构建预测结果缩略图，其中反映病变概率的灰阶图像有四个通道；
第二特征提取子单元用于将全扫描图像缩略图与预测结果缩略图进行叠加处理，再分别对叠加处理后的图像及临床信息文本数据进行特征提取操作；
第三特征提取子单元用于叠加处理后的图像作为卷积神经网络的输入，图像通过卷积神经网络进行特征提取，获取病理特征，临床信息文本通过特征加工的方式进行特征提取，获取临床特征。
其中，所述特征融合单元包括：
第一特征融合子单元用于基于病理特征和临床特征获取图像特征向量和临床特征向量；
第二特征融合子单元用于将图像特征向量与临床特征向量进行拼接，形成设定长度的向量；
第三特征融合子单元用于基于设定长度的向量，获取融合后的特征。
与现有技术相比，本发明具有以下优点：
一种病理特征与临床信息融合方法，包括：分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；通过全连接神经网络对融合后的特征进行学习，获得全扫描图像的预测结果。结合病理特征和临床信息的深度学习方法，能够通过神经网络自动化融合两种不同信息源的数据，输出全扫描图像的预测概率，还通过临床特征辅助病理分析模型做出更好的预测。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种病理特征与临床信息融合方法的流程图；
图2为本发明实施例中分别对图像及文本数据进行特征提取操作的流程图；
图3为本发明实施例中获得融合后的特征的流程图；
图4为本发明实施例中一种病理特征与临床信息融合方法的系统架构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种病理特征与临床信息融合方法，请参见图1至图4，包括：
S101：分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；
S102：对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；
S103：通过全连接神经网络对融合后的特征进行学习，获得全扫描图像的预测结果。
上述技术方案的工作原理为：首先分别对图像及文本数据进行加工，图像通过卷积神经网络进行特征提取，文本通过特征加工获得其数学表达式(即向量)，然后将两部分的向量进行拼接，获得融合后的特征，最后通过全连接神经网络对融合特征进行学习，获得全扫描图像的预测结果。
上述技术方案的有益效果为：分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；通过全连接神经网络对融合后的特征进行学习，获得全扫描图像的预测结果。结合病理特征和临床信息的深度学习方法，能够通过神经网络自动化融合两种不同信息源的数据，输出全扫描图像的预测概率，还通过临床特征辅助病理分析模型做出更好的预测。
在另一实施例中，所述S101步骤包括：
S1011：基于RGB三个通道构建全扫描图像缩略图，基于反映病变概率的灰阶图像构建预测结果缩略图，其中反映病变概率的灰阶图像有四个通道；
S1012：将全扫描图像缩略图与预测结果缩略图进行叠加处理，再分别对叠加处理后的图像及临床信息文本数据进行特征提取操作；
S1013：叠加处理后的图像作为卷积神经网络的输入，图像通过卷积神经网络进行特征提取，临床信息文本通过特征加工的方式进行特征提取。
上述技术方案的工作原理为：卷积神经网络的输入为全扫描图像与预测结果的缩略图叠加后的图像，全扫描图像为RGB三个通道，预测结果为反映病变概率的灰阶图像(每个像素的值为概率乘以255)，输入图像共计四个通道。可采用任意的卷积神经网络结构，通过全扫描图像的真实病变情况作为标签(比如有病变为1，没有病变为0)，构造成本函数(比如交叉熵)，对网络参数进行优化。图像特征定义为倒数第二个全连接层，一般为1024维。
上述技术方案的有益效果为：基于RGB三个通道构建全扫描图像缩略图，基于反映病变概率的灰阶图像构建预测结果缩略图，其中反映病变概率的灰阶图像有四个通道；将全扫描图像缩略图与预测结果缩略图进行叠加处理，再分别对叠加处理后的图像及临床信息文本数据进行特征提取操作；叠加处理后的图像作为卷积神经网络的输入，图像通过卷积神经网络进行特征提取，获取病理特征，临床信息文本通过特征加工的方式进行特征提取，获取临床特征。在病理特征方面，模型能够同时输入全扫描图像与预测结果，通过卷积神经网络进行分析，得到整合后的病理特征。
在另一实施例中，所述S102步骤包括：
S1021：基于病理特征和临床特征获取图像特征向量和临床特征向量；
S1022：将图像特征向量与临床特征向量进行拼接，形成设定长度的向量；
S1023：基于设定长度的向量，获取融合后的特征。
上述技术方案的工作原理为：基于病理特征和临床特征获取图像特征向量和临床特征向量，将图像特征向量与临床特征向量进行拼接，形成更长的向量，基于设定长度的向量，获取融合后的特征。
上述技术方案的有益效果为：基于病理特征和临床特征获取图像特征向量和临床特征向量；将图像特征向量与临床特征向量进行拼接，形成设定长度的向量；基于设定长度的向量，获取融合后的特征。在病理特征方面，模型能够同时输入全扫描图像与预测结果，通过卷积神经网络进行分析，得到整合后的病理特征。
在另一实施例中，所述S103步骤包括：
S1031：基于数据库中若干融合后的特征数据，训练全连接神经网络；
S1032：将全扫描图像的真实病变情况作为标签，构建成本函数；
S1033：对全连接神经网络参数进行优化，再基于优化后的全连接神经网络参数和成本函数，获取最终的全扫描图像的预测结果。
上述技术方案的工作原理为：通过大量数据，训练全连接神经网络，通过全扫描图像的真实病变情况作为标签(比如有病变为1，没有病变为0)，构造成本函数(比如交叉熵)，对网络参数进行优化，获得最终的预测模型。
其中，全扫描图像是指：通过全自动显微镜或光学放大系统扫描采集得到高分辨数字图像，通过计算机进行高精度多视野无缝隙拼接和处理，从而获得的多层级可视化的图像。
上述技术方案的有益效果为：基于数据库中若干融合后的特征数据，训练全连接神经网络；将全扫描图像的真实病变情况作为标签，构建成本函数；对全连接神经网络参数进行优化，再基于优化后的全连接神经网络参数和成本函数，获取最终的全扫描图像的预测结果。结合病理特征和临床信息的深度学习方法，能够通过神经网络自动化融合两种不同信息源的数据，输出全扫描图像的预测概率，还通过临床特征辅助病理分析模型做出更好的预测。
在另一实施例中，所述S1013步骤中临床特征包括：化验数据、影像特征、临床病史数据，临床特征以文本的形式存储，通过对临床信息文本进行特征加工，以适应全连接神经网络的训练需要；在对临床信息文本进行特征加工过程中，将数值型数据作为特征，通过独热编码罗列类数据，构造对应的数学向量。
上述技术方案的工作原理为：临床特征包括但不限于化验、影像特征、临床病史等，由于这些信息在系统中一般以文本的形式存储，需要对其进行特征加工，以适应模型训练的需要。一般地，将数值型数据直接作为特征，罗列类数据使用独热编码，构造出数学向量。
上述技术方案的有益效果为：临床特征包括：化验数据、影像特征、临床病史数据，临床特征以文本的形式存储，通过对临床信息文本进行特征加工，以适应全连接神经网络的训练需要；在对临床信息文本进行特征加工过程中，将数值型数据作为特征，通过独热编码罗列类数据，构造对应的数学向量。结合病理特征和临床信息的深度学习方法，能够通过神经网络自动化融合两种不同信息源的数据，输出全扫描图像的预测概率，还通过临床特征辅助病理分析模型做出更好的预测。
在另一实施例中，临床特征以文本的形式存储包括：基于数据库对临床信息文本数据进行抽取与编码操作；
在对临床信息文本数据进行抽取与编码操作过程中，通过临床信息语料库确定待抽取的临床信息并制定语料库构建规范，然后通过数据标注构建临床信息语料库；构建临床信息抽取模型，先分析信息抽取现状，选定设定标准的信息抽取模型，通过设置不同的模型参数反复计算确定最优临床信息抽取模型；将需要抽取的临床信息的目标数据转换成模型输入的格式，利用构建好的临床信息抽取模型抽取信息，形成临床信息集；根据对应信息编码标准对临床信息进行编码，形成临床信息代码集。
上述技术方案的工作原理为：临床信息抽取与编码分为四个阶段：
(1)构建临床信息语料库
此阶段的主要任务是确定需要抽取的信息并制定语料库构建规范，然后进行数据标注完成语料库构建。
(2)构建临床信息抽取模型
首先分析信息抽取研究现状，选定几个较好的信息抽取模型，通过设置不同的模型参数反复实验，确定最优模型。
(3)临床信息抽取
将需要抽取信息的目标数据转换成模型输入的格式，利用构建好的模型抽取信息，形成临床信息集。
(4)中医临床症状信息编码
根据相关信息编码标准对临床信息进行编码，形成临床信息代码集。
上述技术方案的有益效果为：在对临床信息文本数据进行抽取与编码操作过程中，通过临床信息语料库确定待抽取的临床信息并制定语料库构建规范，然后通过数据标注构建临床信息语料库；构建临床信息抽取模型，先分析信息抽取现状，选定设定标准的信息抽取模型，通过设置不同的模型参数反复计算确定最优临床信息抽取模型；将需要抽取的临床信息的目标数据转换成模型输入的格式，利用构建好的临床信息抽取模型抽取信息，形成临床信息集；根据对应信息编码标准对临床信息进行编码，形成临床信息代码集。便于数据存储和分析。
在另一实施例中，所述S1031步骤包括：
通过训练全连接神经网络构建全连接神经网络模型，全连接神经网络模型包括输入层、隐藏层、输出层，其中，通过输入层输入特征向量，输入层神经元选取病理特征和临床特征，隐藏层神经元根据经验公式获取初始节点数，再根据扩张法、删除法来确定最终全连接神经网络模型的隐藏层节点数，输出层由设定目标确定，输出为全扫描图像的预测结果。
上述技术方案的工作原理为：通过训练全连接神经网络构建全连接神经网络模型，全连接神经网络模型包括输入层、隐藏层、输出层，其中，通过输入层输入特征向量Si＝{QPF1,QIF1,QPF2,QIF2,QPF3,QIF3}，其中i＝1,2,...,n，输入层神经元选取病理特征和临床特征，隐藏层神经元根据经验公式获取初始节点数，再根据扩张法、删除法来确定最终全连接神经网络模型的隐藏层节点数，输出层由设定目标确定，输出为全扫描图像的预测结果。
其中，经验公式表示为：
H表示为初始节点数，F表示为输入层节点数，M表示为输出层节点数，α表示为隐藏层节点数。根据公式获取初始节点数。
通过输出的全扫描图像的预测结果对全连接神经网络模型进行评估，对模型预测的准确率公式表示为：
其中，P表示为预测值与真实值差值平方的期望，n表示有n个全扫描图像组合，pi表示全连接神经网络模型预测出的全扫描图像i的预测值，yi表示为全扫描图像i运行中的真实值。P值越接近于0，预测值与真实值之间的差异越小，预测值越逼近真实值。
上述技术方案的有益效果为：通过训练全连接神经网络构建全连接神经网络模型，全连接神经网络模型包括输入层、隐藏层、输出层，其中，通过输入层输入特征向量，输入层神经元选取病理特征和临床特征，隐藏层神经元根据经验公式获取初始节点数，再根据扩张法、删除法来确定最终全连接神经网络模型的隐藏层节点数，输出层由设定目标确定，输出为全扫描图像的预测结果。通过该方法提高全连接神经网络模型预测准确率，使输出的全扫描图像的预测结果更准确。
在另一实施例中，一种病理特征与临床信息融合系统，包括：
特征提取单元用于分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；
特征融合单元用于对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；
全扫描图像预测单元用于通过全连接神经网络对融合后的特征进行学习，获取全扫描图像的预测结果。
上述技术方案的工作原理为：特征提取单元用于分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；特征融合单元用于对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；全扫描图像预测单元用于通过全连接神经网络对融合后的特征进行学习，获取全扫描图像的预测结果。
上述技术方案的有益效果为：特征提取单元用于分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；特征融合单元用于对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；全扫描图像预测单元用于通过全连接神经网络对融合后的特征进行学习，获取全扫描图像的预测结果。结合病理特征和临床信息的深度学习方法，能够通过神经网络自动化融合两种不同信息源的数据，输出全扫描图像的预测概率，还通过临床特征辅助病理分析模型做出更好的预测。
在另一实施例中，所述特征提取单元包括：
第一特征提取子单元用于基于RGB三个通道构建全扫描图像缩略图，基于反映病变概率的灰阶图像构建预测结果缩略图，其中反映病变概率的灰阶图像有四个通道；
第二特征提取子单元用于将全扫描图像缩略图与预测结果缩略图进行叠加处理，再分别对叠加处理后的图像及临床信息文本数据进行特征提取操作；
第三特征提取子单元用于叠加处理后的图像作为卷积神经网络的输入，图像通过卷积神经网络进行特征提取，获取病理特征，临床信息文本通过特征加工的方式进行特征提取，获取临床特征。
上述技术方案的工作原理为：第一特征提取子单元用于基于RGB三个通道构建全扫描图像缩略图，基于反映病变概率的灰阶图像构建预测结果缩略图，其中反映病变概率的灰阶图像有四个通道；第二特征提取子单元用于将全扫描图像缩略图与预测结果缩略图进行叠加处理，再分别对叠加处理后的图像及临床信息文本数据进行特征提取操作；第三特征提取子单元用于叠加处理后的图像作为卷积神经网络的输入，图像通过卷积神经网络进行特征提取，获取病理特征，临床信息文本通过特征加工的方式进行特征提取，获取临床特征。
上述技术方案的有益效果为：第一特征提取子单元用于基于RGB三个通道构建全扫描图像缩略图，基于反映病变概率的灰阶图像构建预测结果缩略图，其中反映病变概率的灰阶图像有四个通道；第二特征提取子单元用于将全扫描图像缩略图与预测结果缩略图进行叠加处理，再分别对叠加处理后的图像及临床信息文本数据进行特征提取操作；第三特征提取子单元用于叠加处理后的图像作为卷积神经网络的输入，图像通过卷积神经网络进行特征提取，获取病理特征，临床信息文本通过特征加工的方式进行特征提取，获取临床特征。结合病理特征和临床信息的深度学习方法，能够通过神经网络自动化融合两种不同信息源的数据，输出全扫描图像的预测概率，还通过临床特征辅助病理分析模型做出更好的预测。
在另一实施例中，所述特征融合单元包括：
第一特征融合子单元用于基于病理特征和临床特征获取图像特征向量和临床特征向量；
第二特征融合子单元用于将图像特征向量与临床特征向量进行拼接，形成设定长度的向量；
第三特征融合子单元用于基于设定长度的向量，获取融合后的特征。
上述技术方案的工作原理为：第一特征融合子单元用于基于病理特征和临床特征获取图像特征向量和临床特征向量；第二特征融合子单元用于将图像特征向量与临床特征向量进行拼接，形成设定长度的向量；第三特征融合子单元用于基于设定长度的向量，获取融合后的特征。
上述技术方案的有益效果为：第一特征融合子单元用于基于病理特征和临床特征获取图像特征向量和临床特征向量；第二特征融合子单元用于将图像特征向量与临床特征向量进行拼接，形成设定长度的向量；第三特征融合子单元用于基于设定长度的向量，获取融合后的特征。在病理特征方面，模型能够同时输入全扫描图像与预测结果，通过卷积神经网络进行分析，得到整合后的病理特征。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种病理特征与临床信息融合方法，其特征在于，包括：
S101：分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；
S102：对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；
S103：通过全连接神经网络对融合后的特征进行学习，获取全扫描图像的预测结果。
2.根据权利要求1所述的一种病理特征与临床信息融合方法，其特征在于，所述S101步骤包括：
S1011：基于RGB三个通道构建全扫描图像缩略图，基于反映病变概率的灰阶图像构建预测结果缩略图，其中反映病变概率的灰阶图像有四个通道；
S1012：将全扫描图像缩略图与预测结果缩略图进行叠加处理，再分别对叠加处理后的图像及临床信息文本数据进行特征提取操作；
S1013：叠加处理后的图像作为卷积神经网络的输入，图像通过卷积神经网络进行特征提取，获取病理特征，临床信息文本通过特征加工的方式进行特征提取，获取临床特征。
3.根据权利要求1所述的一种病理特征与临床信息融合方法，其特征在于，所述S102步骤包括：
S1021：基于病理特征和临床特征获取图像特征向量和临床特征向量；
S1022：将图像特征向量与临床特征向量进行拼接，形成设定长度的向量；
S1023：基于设定长度的向量，获取融合后的特征。
4.根据权利要求1所述的一种病理特征与临床信息融合方法，其特征在于，所述S103步骤包括：
S1031：基于数据库中若干融合后的特征数据，训练全连接神经网络；
S1032：将全扫描图像的真实病变情况作为标签，构建成本函数；
S1033：对全连接神经网络参数进行优化，再基于优化后的全连接神经网络参数和成本函数，获取最终的全扫描图像的预测结果。
5.根据权利要求2所述的一种病理特征与临床信息融合方法，其特征在于，所述S1013步骤中临床特征包括：化验数据、影像特征、临床病史数据，临床特征以文本的形式存储，通过对临床信息文本进行特征加工，以适应全连接神经网络的训练需要；在对临床信息文本进行特征加工过程中，将数值型数据作为特征，通过独热编码罗列类数据，构造对应的数学向量。
6.根据权利要求5所述的一种病理特征与临床信息融合方法及系统，其特征在于，临床特征以文本的形式存储包括：基于数据库对临床信息文本数据进行抽取与编码操作；
在对临床信息文本数据进行抽取与编码操作过程中，通过临床信息语料库确定待抽取的临床信息并制定语料库构建规范，然后通过数据标注构建临床信息语料库；构建临床信息抽取模型，先分析信息抽取现状，选定设定标准的信息抽取模型，通过设置不同的模型参数反复计算确定最优临床信息抽取模型；将需要抽取的临床信息的目标数据转换成模型输入的格式，利用构建好的临床信息抽取模型抽取信息，形成临床信息集；根据对应信息编码标准对临床信息进行编码，形成临床信息代码集。
7.根据权利要求4所述的一种病理特征与临床信息融合方法及系统，其特征在于，所述S1031步骤包括：
通过训练全连接神经网络构建全连接神经网络模型，全连接神经网络模型包括输入层、隐藏层、输出层，其中，通过输入层输入特征向量，输入层神经元选取病理特征和临床特征，隐藏层神经元根据经验公式获取初始节点数，再根据扩张法、删除法来确定最终全连接神经网络模型的隐藏层节点数，输出层由设定目标确定，输出为全扫描图像的预测结果。
8.一种病理特征与临床信息融合系统，其特征在于，包括：
特征提取单元用于分别对图像及文本数据进行特征提取操作，其中，图像通过卷积神经网络进行特征提取；
特征融合单元用于对提取的特征进行加工处理，获取图像及文本数据的特征对应向量，再将图像及文本的特征对应向量进行拼接，获得融合后的特征；
全扫描图像预测单元用于通过全连接神经网络对融合后的特征进行学习，获取全扫描图像的预测结果。
9.根据权利要求8所述的一种病理特征与临床信息融合系统，其特征在于，所述特征提取单元包括：
第一特征提取子单元用于基于RGB三个通道构建全扫描图像缩略图，基于反映病变概率的灰阶图像构建预测结果缩略图，其中反映病变概率的灰阶图像有四个通道；
第二特征提取子单元用于将全扫描图像缩略图与预测结果缩略图进行叠加处理，再分别对叠加处理后的图像及临床信息文本数据进行特征提取操作；
第三特征提取子单元用于叠加处理后的图像作为卷积神经网络的输入，图像通过卷积神经网络进行特征提取，获取病理特征，临床信息文本通过特征加工的方式进行特征提取，获取临床特征。
10.根据权利要求8所述的一种病理特征与临床信息融合系统，其特征在于，所述特征融合单元包括：
第一特征融合子单元用于基于病理特征和临床特征获取图像特征向量和临床特征向量；
第二特征融合子单元用于将图像特征向量与临床特征向量进行拼接，形成设定长度的向量；
第三特征融合子单元用于基于设定长度的向量，获取融合后的特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310253487.3A CN116344070B (zh) | 2023-03-16 | 2023-03-16 | 一种病理特征与临床信息融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310253487.3A CN116344070B (zh) | 2023-03-16 | 2023-03-16 | 一种病理特征与临床信息融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116344070A true CN116344070A (zh) | 2023-06-27 |
| CN116344070B CN116344070B (zh) | 2024-02-13 |
Family
ID=86878397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310253487.3A Active CN116344070B (zh) | 2023-03-16 | 2023-03-16 | 一种病理特征与临床信息融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116344070B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117116436A (zh) * | 2023-09-11 | 2023-11-24 | 北京透彻未来科技有限公司 | 一种条目化数字病理切片诊断系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223742A (zh) * | 2019-06-14 | 2019-09-10 | 中南大学 | 中文电子病历数据的临床表现信息抽取方法和设备 |
| CN112133441A (zh) * | 2020-08-21 | 2020-12-25 | 广东省人民医院 | 一种mh术后裂孔状态预测模型的建立方法和终端 |
| CN114638292A (zh) * | 2022-03-10 | 2022-06-17 | 中国医学科学院北京协和医院 | 一种基于多尺度分析的人工智能病理辅助诊断系统 |
| WO2022268102A1 (zh) * | 2021-06-22 | 2022-12-29 | 安翰科技(武汉)股份有限公司 | 基于深度学习的癌症预后生存预测方法、设备及存储介质 |
| CN115797284A (zh) * | 2022-11-29 | 2023-03-14 | 元码基因科技（北京）股份有限公司 | 预测肿瘤突变负荷的多模态模型构建方法及电子设备 |
-
2023
- 2023-03-16 CN CN202310253487.3A patent/CN116344070B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223742A (zh) * | 2019-06-14 | 2019-09-10 | 中南大学 | 中文电子病历数据的临床表现信息抽取方法和设备 |
| CN112133441A (zh) * | 2020-08-21 | 2020-12-25 | 广东省人民医院 | 一种mh术后裂孔状态预测模型的建立方法和终端 |
| WO2022268102A1 (zh) * | 2021-06-22 | 2022-12-29 | 安翰科技(武汉)股份有限公司 | 基于深度学习的癌症预后生存预测方法、设备及存储介质 |
| CN114638292A (zh) * | 2022-03-10 | 2022-06-17 | 中国医学科学院北京协和医院 | 一种基于多尺度分析的人工智能病理辅助诊断系统 |
| CN115797284A (zh) * | 2022-11-29 | 2023-03-14 | 元码基因科技（北京）股份有限公司 | 预测肿瘤突变负荷的多模态模型构建方法及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 张娅楠;赵涓涓;赵鑫;张小龙;王三虎;: "多模态融合下长时程肺部病灶良恶性预测方法", 计算机工程与应用, no. 10 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117116436A (zh) * | 2023-09-11 | 2023-11-24 | 北京透彻未来科技有限公司 | 一种条目化数字病理切片诊断系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116344070B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102153920B1 (ko) | 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법 | |
| CN113314205B (zh) | 一种高效的医学影像标注与学习系统 | |
| CN116344070B (zh) | 一种病理特征与临床信息融合方法及系统 | |
| WO2023204944A1 (en) | Training of text and image models | |
| CN115223715A (zh) | 一种基于多模态信息融合的癌症预测方法与系统 | |
| Li et al. | Vispi: Automatic visual perception and interpretation of chest x-rays | |
| CN113888470A (zh) | 基于卷积神经网络和多模态医学影像的诊断方法和装置 | |
| CN113988274B (zh) | 一种基于深度学习的文本智能生成方法 | |
| CN115908800A (zh) | 医学图像分割方法 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| Zhao et al. | Deeply supervised active learning for finger bones segmentation | |
| CN117393098A (zh) | 基于视觉先验和跨模态对齐网络的医疗影像报告生成方法 | |
| CN111383222A (zh) | 一种基于深度学习的椎间盘mri图像智能诊断系统 | |
| CN113707278B (zh) | 一种基于空间编码的脑ct医学报告生成方法 | |
| CN114417836A (zh) | 一种基于深度学习的中文电子病历文本语义分割方法 | |
| CN112216379A (zh) | 一种基于智能联合学习的疾病诊断系统 | |
| CN116958693A (zh) | 图像分析方法、装置、设备、存储介质和程序产品 | |
| Nguyen-Duc et al. | Deep EHR spotlight: a framework and mechanism to highlight events in electronic health records for explainable predictions | |
| CN116933135A (zh) | 基于跨模态融合级联的癌症分期预测模型建模系统及方法 | |
| CN117541668A (zh) | 虚拟角色的生成方法、装置、设备及存储介质 | |
| CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
| CN116486156A (zh) | 融合多尺度特征上下文的全视野数字切片图像分类方法 | |
| CN116525052A (zh) | 结合句子级对比学习的层级式影像报告生成方法和装置 | |
| US20210174027A1 (en) | Assertion Detection in Multi-Labelled Clinical Text using Scope Localization | |
| CN114359194A (zh) | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |