CN112801168A - 一种肿瘤影像的病灶区域预测分析方法、系统及终端设备 - Google Patents
一种肿瘤影像的病灶区域预测分析方法、系统及终端设备 Download PDFInfo
- Publication number
- CN112801168A CN112801168A CN202110097268.1A CN202110097268A CN112801168A CN 112801168 A CN112801168 A CN 112801168A CN 202110097268 A CN202110097268 A CN 202110097268A CN 112801168 A CN112801168 A CN 112801168A
- Authority
- CN
- China
- Prior art keywords
- network model
- image
- convolution
- layer
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 40
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 230000004927 fusion Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000003902 lesion Effects 0.000 claims abstract description 14
- 238000003745 diagnosis Methods 0.000 claims abstract description 10
- 230000006866 deterioration Effects 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000004614 tumor growth Effects 0.000 claims abstract description 6
- 230000004913 activation Effects 0.000 claims description 35
- 238000010606 normalization Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 208000024891 symptom Diseases 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000003862 health status Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000002591 computed tomography Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 229930195730 Aflatoxin Natural products 0.000 description 1
- XWIYFDMXXLINPU-UHFFFAOYSA-N Aflatoxin G Chemical compound O=C1OCCC2=C1C(=O)OC1=C2C(OC)=CC2=C1C1C=COC1O2 XWIYFDMXXLINPU-UHFFFAOYSA-N 0.000 description 1
- FMMWHPNWAFZXNH-UHFFFAOYSA-N Benz[a]pyrene Chemical compound C1=C2C3=CC=CC=C3C=C(C=C3)C2=C2C3=CC=CC2=C1 FMMWHPNWAFZXNH-UHFFFAOYSA-N 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 206010073069 Hepatic cancer Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000005409 aflatoxin Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- QKSKPIVNLNLAAV-UHFFFAOYSA-N bis(2-chloroethyl) sulfide Chemical compound ClCCSCCCl QKSKPIVNLNLAAV-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000711 cancerogenic effect Effects 0.000 description 1
- 231100000315 carcinogenic Toxicity 0.000 description 1
- 239000003183 carcinogenic agent Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- HKYGSMOFSFOEIP-UHFFFAOYSA-N dichloro(dichloromethoxy)methane Chemical compound ClC(Cl)OC(Cl)Cl HKYGSMOFSFOEIP-UHFFFAOYSA-N 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 239000011777 magnesium Substances 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 239000011490 mineral wool Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种肿瘤影像的病灶区域预测分析方法、系统及终端设备，属于深度学习领域。该病灶区域预测分析方法包括：影像数据、诊断文本以及病史数据的采集和肿瘤病灶区域预测分析，具体为：对采集的数据进行预处理，通过构建的融合加权提取网络模型提取图像特征；通过将病人的病史特征‑年龄、性别、卡氏性能状态、表观肿瘤生长速度和功能恶化速度，构建一维向量并使用构建的动态卷积核的文本特征提取网络模型提取其病史特征；将使用CBOW网络模型得到的文本特征与病史特征、图像特征融合后，经过构建的双层加权预测分析网络模型进行病灶区域预测分析。本发明能显著提高肿瘤影像的分类预测效果。
Description
技术领域
本发明属于深度学习领域，具体涉及一种肿瘤影像的病灶区域预测分析方法、系统及终端设备。
背景技术
近年来人们患病呈现出上升趋势，而现代人们患病的主要原因分为三大类：一是由于人们心理因素导致的，由于人们工作压力逐渐增大、情绪波动异常导致的内分泌失调，免疫力的降低从而导致人们患病；二是由于物理学要素造成的，如生活作息不规律经常性熬夜、不健康的生活习惯如抽烟喝酒、大自然或工业生产医药学造成的电离辐射等，都会引起恶性肿瘤的发生；三是由于有机化学要素造成的，如烟草中的苯并芘，就具备明显的致癌物质功效，黄曲梅毒素可造成肺癌，还可以造成皮肤病、肝癌，现阶段堪称有机化学致癌物质也有岩棉、玻镁、镍、铬，芥子气，矿物质机油，二氯甲醚这些都会增加得病概率。
由于人们对于身体引起的症状不加以重视，因此当人们发现身体异常时通常处于中后期，从而大大提高了治疗的难度。无论是对前期的预防筛查还是对于后期的治疗，最有效的方法是通过医生观察电子计算机断层扫描(Computed tomography，CT)获得病灶区域的影像信息，再做出判断。但是由于肿瘤的数目大小不一，多为一个，有时也可为多个，并且由于临近器官组织的相似性，对比度等原因，造成良性、恶性肿瘤很难区别判断，加上传统的癌症诊断方式依靠医生肉眼进行观察判断，工作量大时不免造成误诊。因此采用计算机的方式来辅助医生进行判断。传统的基于计算机方法的医学图像分类方法主要是使用机器学习方法，该方法首先要运用贝叶斯、支持向量机、决策树等方法通过研究病灶区域图像的统计量特征，然后人为的进行特征筛选和降维，最后根据挑选出的优异特征来进行分类。近年来卷积神经网络的兴起摒弃了传统复杂特征的人为筛选，通过网络自动学习特征再进行分类预测，不但降低了工作量，还提升了工作量效率。卷积神经网络的输入主要是图像，再经过卷积之间的相关运算获取图像的特征，其中不但包括大小、形状和纹理特征等低级特征，还能够自动获取机器学习获取不到的高级特征及语义信息。然而，无论是通过使用何种网络结构，都是通过图像这个单一数据源进行分类，但是由于病人个体差异等很难通过单向数据源进行判断，因此目前的分类预测效果并不理想。
发明内容
针对现有技术中存在不足，本发明提供了一种肿瘤影像的病灶区域预测分析方法、系统及终端设备，克服现有技术中通过单向数据源进行判断的缺陷，提高分类预测效果。
本发明是通过以下技术手段实现上述技术目的的。
一种肿瘤影像的病灶区域预测分析方法，具体为：
采集数据：包括CT影像采集、规范命名及存储，诊断文本注释采集存储，根据病人信息获取评价指标-年龄、性别、卡氏性能状态、表观肿瘤生长速度和功能恶化速度；
预测分析：对采集的数据进行预处理，设计融合加权特征提取网络模型、动态卷积文本特征提取网络模型，分别用于提取图像和病史特征；利用CBOW网络模型提取诊断文本特征；最后构建双层融合加权网络模型，对病灶区域预测分析。
进一步地，所述融合加权特征提取网络模型具体为：
(1)训练一个生成器和判别器
生成器的输入是1×64×64的随机图像，生成器共分为11层，依次为5个下采样层、一个全连接层和5个上采样层；所述下采样层由3×3卷积+激活函数+最大池化组成，所述上采样层由3×3的反卷积+激活函数组成；
判别器的输入包括生成器的生成图像和原始图像，判别器由5个3×3的卷积+激活函数构成；
(2)通过特征块来提取原始图像的图像及语义信息，每一个特征块由批归一化层+激活函数+1×1卷积层+批归一化+激活函数+3×3卷积层构成；
(3)将生成器提取到的特征图与最后一个特征块得到的特征图进行融合，并经过加权块，加权块由全局平均池化+1×1卷积+批归一化+激活函数构成；将通过全局平均池化和卷积后获得的权重通过激活函数归一化到[0，1]，并加权到全局平均池化前所得到的特征图上，用于关注病灶区域最具有代表性的图像特征；
(4)病灶区域最具有代表性的图像特征经输出组输出，所述输出组由两个全连接层构成。
进一步地，所述动态卷积文本特征提取网络模型具体为：
所述动态卷积文本特征提取网络模型输入所述评价指标，经动态卷积文本特征提取网络模型中间的若干隐藏层，隐藏层中的卷积核的大小分别设置为1、2、3、4、5，通过不同大小的卷积核提取出不同维度的特征后，进行特征拼接，最后通过一个卷积核大小为11的卷积层进行输出。
进一步地，所述双层融合加权网络模型包括融合组、特征提取组以及输出组；
所述融合组对诊断文本特征以及病史特征进行融合操作，并经过1×3卷积+批归一化层+激活函数提取主要特征，再通过全局平均池化+1×1卷积+批归一化+激活函数获取特征图权重，并将权重加权到未经过全局平均池化前的特征图上，学习到两种文本特征中最具有代表性的文本特征；
所述特征提取组由16个特征块构成，每一个特征块由批归一化层+激活函数+1×1卷积层+批归一化+激活函数+1×3卷积层构成，使用特征块对融合后的特征进行特征提取；
所述输出组由由全局平均池化+全连接层+分类函数构成，通过输出组进行分类预测输出结果。
更进一步地，所述输出组分类函数公式为：
其中：z表示f(zj)的输入，维度为m。
进一步地，所述卡氏性能状态根据病人的身体健康状态由医生进行判断并记录获得。
进一步地，所述表观肿瘤生长速度由肿瘤切片上的肿瘤体积除以医生诊断时的症状持续时间获得。
进一步地，所述功能恶化速度由卡氏性能状态除以诊断时的症状持续时间获得。
一种病灶区域预测分析系统，包括：
数据采集模块，用于采集影像数据、诊断文本和病史数据，并分别建立影像数据库、诊断文本数据库以及病史数据库；
预测分析模块，用于构建融合加权特征提取网络模型、动态卷积文本特征提取网络模型和双层融合加权网络模型，所述融合加权特征提取网络模型、动态卷积文本特征提取网络模型，分别用于提取图像和病史特征；所述双层融合加权网络模型，用于对病灶区域预测分析。
一种终端设备，包括处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行计算机程序时，实现上述病灶区域预测分析方法。
本发明的有益效果为：
(1)本发明采用双层融合加权网络模型结合诊断文本信息、病人病史以及肿瘤影像来对病灶区域进行预测分析，避免了人工提取筛查复杂特征的过程，充分融合三类不同方向的特征。
(2)本发明设计了融合加权特征提取网络模型，通过将特征块提取的低层特征与生成器获得的高层特征进行融合，来提取更加丰富的信息，实现特征增强；将融合特征进行加权处理，能够去除图像数据冗余特征，突出重要特征。
(3)本发明设计了动态卷积文本特征提取网络模型，通过采用不同大小的卷积核来充分利用病史信息下每个评价指标下的信息以及加强各类指标间的联系。
(4)本发明设计了双层融合加权网络模型，通过两次融合并加权处理，能够在去除相同媒体特征存在冗余的同时实现不同媒体特征融合，最后提取最佳特征并进行分类预测，显著提高肿瘤影像的分类预测效果。
(5)利用本发明输出的结果，使用者可以对肿瘤病灶区域进行更为精准的预测判断，能够发现早期症状并对预后提供最佳治疗方案。
附图说明
图1为本发明所述基于不同模态临床数据特征的肿瘤影像的病灶区域预测分析法流程图；
图2为本发明所述融合加权图像特征提取网络模型结构图；
图3为本发明所述CBOW网络模型结构图；
图4为本发明所述动态卷积文本特征提取网络模型结构图；
图5为本发明所述双层融合加权网络模型结构图。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
如图1所示，一种肿瘤影像的病灶区域预测分析方法，具体步骤如下：
步骤(1)，采集影像数据、诊断文本和病史数据，建立影像、诊断文本以及病史数据库
1)影像数据从医院获取，由精密的、高质量的计算机断层扫描(CT)得到肿瘤影像切片；影像数据应包括不同病例、不同病灶类型以及应来自不同医院的数据；对获取得到肿瘤影像切片，每一张切片都必须以规范的名称进行命名，名称应为病灶类型_时期_序号.dcm，例如转移性肝腺癌的平扫期序号为32的切片，则命名为MET_PS_32.dcm；命名后形成影像数据库。
2)诊断文本信息由专业医师使用医学主题词表来对每一张影像切片进行注释以及诊断描述，并导入到文本文档(.txt)中，形成诊断文本数据库。
3)病史数据则是根据病人的病历本以及就诊记录，从医院数据库中进行获取；病史数据包括年龄、性别(男性用1表示，女性用0表示)，再根据病人的身体健康状态由医生进行判断并记录，从而获得卡氏性能状态(KPS)；根据切片上的肿瘤体积(TV)除以医生诊断时的症状持续时间(SD)，获取到表观肿瘤生长速度(ATGR)，利用卡氏性能状态(KPS)除以诊断时的症状持续时间(SD)得到功能恶化速度(SFSD)，将这些评价指标下得到的数据存入到excel中，形成病史数据数据库；
其中：每一张影像数据和每一个存放诊断文本信息的.txt文件以及excel中每一条数据必须一一对应。
步骤(2)，对采集的数据进行预处理，并设计融合加权特征提取网络模型(FWNet)、动态卷积文本特征提取网络模型(CMNet)，分别用于提取图像和文本特征；最后构建双层融合加权网络模型(DFWNet)，对病灶区域预测分析，流程结构如图1所示。
1)对影像数据进行预处理
针对采集到的CT影像，需要提取病灶区域，具体方法则是需要由专业医师在不改变文件格式以及文件内容的前提下将CT图像的病灶区域勾勒出来，然后进行图像预处理；由于CT值的单位是Hounsfield，简称为HU，范围是(-1024，3071)，而通过计算机断层扫描得到的文件类型是DICOM图像(.dcm)，范围是(0，4096)，因此需要通过如下公式进行转换：
HU＝pixel_value×rescale_slope+rescale_intercept
其中pixel_value表示像素值，rescale_slope和rescale_intercept则是通过读取每一张CT影像的头文件获取。
接下来将得到的HU进行范围限制，以便将病灶区域清晰显现(若为肝脏，则将范围限制为[-100，400]HU)；最后将所有勾勒出的病灶区域统一成64*64像素尺寸，并通过平移、旋转等操作对病灶区域图像进行数据增强。
2)对诊断文本信息进行分词预处理以及对病史特征进行向量化处理，具体过程为：
将存放在文本文档中的i类文本首先进行关键字分词，再利用空格隔开文本，变成字符串后移除停用词的同时去掉在该文本中只出过一次的词汇；其次是将分词过后的.txt文档用向量来进行表示，该表示法的数学表达式为：
其中：Wj表示词项tj所获得的权重，词项tj对i类文本的重要性程度越高，Wj权重越大；count(tj)表示词项tj在该文本中出现的次数，idf(tj)表示词项tj在该文本中出现的逆文档频率；
然后通过二维矩阵a[i][j]来存放词语j在i类文本中的Wj权重，最终获取得到文本向量。
3)根据所获得的病史数据，将其规范化表示；将excel的每一行输入用(年龄，性别，KPS，ATGR，SFSD)来进行表示，其中年龄、KPS、ATGR、SFSD需要填入具体数值，性别1表示男性、0表示女性。
4)构建融合加权特征提取网络模型(Fusion Weighting Network，简称FWNet)，来提取图像特征
为了能够提取图像更加丰富的信息，实现特征增强，因此通过将特征块提取的低层特征与生成器获得的高层特征进行融合。
如图2所示，具体方法是：首先训练一个生成器和判别器；生成器的输入是1×64×64的随机图像，1表示通道数，64表示图像大小，生成器一共分为11层，从左往右分别为5个下采样层、一个全连接层、5个上采样层，其中下采样层由3×3卷积+激活函数+最大池化组成，上采样层由3×3的反卷积+激活函数组成；影响图像经过生成器所形成的特征图大小分别为1×64×64、64×32×32、126×16×16、256×8×8、512×4×4、32768、512×4×4、256×8×8、126×16×16、64×32×32、1×64×64。在生成器中加入了短连接来提升性能，防止梯度消失。判别器由6个块构成，由5个3×3的卷积+激活函数构成，判别器的输入分为两部分：生成器的生成图像和原始图像；经过判别器所得到的特征图大小分别为1×64×64、64×32×32、128×16×16、256×8×8、512×4×4、32768。生成器通过自身的学习，使得输出的图像更加接近与原始图像，然后将生成的图像与原始图像一起送入到判别器中进行判别，然后生成器通过判别的结果不断进行优化生成更加真实的数据，当训练结束后，生成器中已经学习到了深层次图像的特征，因此将生成器作为特征提取器送入到后续网络中进行融合。
其次通过特征块来提取原始图像的图像及语义信息，每一个特征块由批归一化层+激活函数+1×1卷积层+批归一化+激活函数+3×3卷积层构成，特征块之间加入了短连接，来利用之前未经过该特征块的原始特征图的特征，实现特征重用的同时加强图像特征表达。由于增加了短连接，导致后面特征块的输入会很大，所以在特征块中使用1×1能够降低参数量；通过使用批归一化能够有效防止梯度消失；而线性变化在深层次神经网络中的表达能力通常较差，因此引入激活函数来提升网络表达能力；特征块能够得到病灶区域的语义特征的同时加速网络收敛速度，提升网络的稳定性。
将特征提取器提取到的特征图与最后一个特征块得到的特征图进行融合，并经过加权块，加权块由全局平均池化+1×1卷积+批归一化+激活函数构成；将通过全局平均池化和卷积后获得的权重通过激活函数归一化到[0，1]，并通过直连的通道加权到全局平均池化前所得到的特征图上，用于关注病灶区域最具有代表性的图像特征；其中所使用的激活函数公式为：
其中：x表示输入，a∈(0，1)。
输出组由两个全连接层构成，第一层用于图像特征的组合，第二层是为了对图像特征进行非线性变换，提升网络非线性表达能力和模型的学习能力，输出的维度即为所提取的特征，如图2所示。
利用融合加权特征提取网络模型提取图像特征使用交叉熵损失函数，公式如下所示：
其中：K表示种类数量；y为标签，若类别为i，则yi＝1，否为则为0；P是神经网络的输出，也就是指类别是i的概率。
5)通过运用连续词汇学习模型(Continuous Bag-of-Words，简称CBOW)来提取文本特征
如图3所示，首先将输入向量通过V×N维的权重矩阵W，再连接到隐藏层，然后再通过一个N×V的权重矩阵W′后得到输出层；计算隐藏层h的输出公式表达如下：
其中xi表示输入，c表示窗口大小；然后计算输出层中每一个结点的输入，公式表达如下所示：
其中
是输出权重矩阵W′的第j列；最后通过计算输出层得到输出yj，公式表达如下：
其中p表示概率，w表示每一结点的权重。
通过连续词汇学习模型，从而获取到训练好的文本特征。
6)通过构建动态卷积文本特征提取网络模型(Concatenation Muti-kernelNetwork，简称CMNet)来提取病史特征
如图4所示，为了能够充分利用每个评价指标下的信息以及加强各类指标间的联系，因此采用了动态卷积拼接提取特征的方法，将一维病史特征作为输入；该网络输入为一维临床向量，中间设有若干隐藏层，最后输出的临床特征大小与输入特征维度相同；隐藏层中的卷积核的大小分别设置为1、2、3、4、5，通过不同大小的卷积核提取出不同维度的特征后，再进行特征拼接，提取出的特征图维度分别为5、4、3、2、1，将其拼接后形成的维度为15；通过动态卷积文本特征提取网络模型，能够获得不同维度的特征，所得到的特征具有不同大小的感受野，其次将不同维度的特征进行拼接，能够从不同角度获得到病史特征，从而对每一部分的特征都进行了加强，最后通过一个卷积核大小为11的卷积层进行输出。
7)通过构建双层融合加权网络模型(Double Fusion Weighting Network，简称DFWNet)来对病灶区域进行预测分析
为了去除相同媒体特征存在冗余及实现不同媒体特征融合，设计了双层融合加权预测网络模型来对病灶区域进行预测分析，如图5所示，双层融合加权预测网络模型分为三个部分，融合组、特征提取组以及输出组。
由于诊断文本特征以及病史特征都为文本特征，其中会有一些重复的文本特征，因此首先将这两种特征先进行融合操作，并经过1×3卷积+批归一化层+激活函数来提取其主要特征，再通过全局平均池化+1×1卷积+批归一化+激活函数来获取特征图权重，且限制在[0，1]之间，并将权重加权到未经过全局平均池化前的特征图上，从而消除融合后重复文本特征的影响，更能学习到两种文本特征中最具有代表性的文本特征。将图像特征与加权后所得到最具有代表性的文本特征进行融合，使用特征块对融合后的特征进行特征提取，特征提取组由16个特征块构成，每一个特征块由批归一化层+激活函数+1×1卷积层+批归一化+激活函数+1×3卷积层构成。由于特征块之间存在短连接，文本与图像之间的信息能够更有效的利用，将最后一个特征块的输出与第一个特征块的输入进行相加，降低资源消耗，防止过拟合的同时解决梯度消失。
通过输出组进行分类预测输出结果，输出组由由全局平均池化+全连接层+分类函数构成，其中输出组分类函数公式表达如下：
其中z表示上一层的输出，即f(zj)的输入，维度为m。通过全局平均池化来解决网络模型中所存在的参数量较大的问题，而全连接层则是获得非线性变换，提升网络表达能力。
通过双层融合加权网络模型能够实现对于病灶区域的精准分类预测分析，最后通过该网络对所判断出的高概率类别进行高亮显示。
8)训练融合加权特征提取网络模型、动态卷积文本特征提取网络模型和双层融合加权网络模型
在Ubuntu16.04、NVIDIA GeForce GTX 1060Ti GPU的系统下采用Pytorch框架，将采集到的数据按照7：3的比例分为训练集和测试集这两大类，并采用随机梯度下降法训练网络，训练时每一批次值设置为32、初始学习率设置为0.001、总计迭代150次。训练过程中采用前向传播结合反向传播，对网络权值进行初始化后，将输入的数据经过网络后得到输出值，并求出该数据输入与输出值之间的误差，当误差大于期望值，通过反向传播算法更新权值，最后经过迭代后得到最终结果，此时模型训练结束。通过微调训练时的参数，以及在不同学习率和不同的损失函数来重复模型训练，最后选择效果最好的模型进行保存。
9)测试融合加权特征提取网络模型、动态卷积文本特征提取网络模型和双层融合加权网络模型
将所构建的测试集输入到所保存的效果最好的模型中进行输出。
一种肿瘤影像的病灶区域预测分析系统，包括数据采集模块和预测分析模块。数据采集模块，用于采集影像数据、诊断文本和病史数据，并分别建立影像数据库、诊断文本数据库以及病史数据库；预测分析模块，用于构建融合加权特征提取网络模型、动态卷积文本特征提取网络模型和双层融合加权网络模型。
上述肿瘤影像的病灶区域预测分析方法可以实现为一种计算机程序的形式，该计算机程序可以在计算机设备上运行，该计算机设备可以是服务器或终端。其中，服务器可以为独立的服务器，也可以为服务器集群；该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器；非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种肿瘤影像的病灶区域预测分析方法。处理器用于提供计算和控制能力，支撑整个计算机设备的运行。存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种肿瘤影像的病灶区域预测分析方法。该网络接口用于进行网络通信，如发送分配的任务等。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。
Claims (10)
1.一种肿瘤影像的病灶区域预测分析方法，其特征在于：
采集数据：包括CT影像采集、规范命名及存储，诊断文本注释采集存储，根据病人信息获取评价指标-年龄、性别、卡氏性能状态、表观肿瘤生长速度和功能恶化速度；
预测分析：对采集的数据进行预处理，设计融合加权特征提取网络模型、动态卷积文本特征提取网络模型，分别用于提取图像和病史特征；利用连续词汇学习模型提取诊断文本特征；最后构建双层融合加权网络模型，对病灶区域预测分析。
2.根据权利要求1所述的病灶区域预测分析方法，其特征在于，所述融合加权特征提取网络模型具体为：
(1)训练一个生成器和判别器
生成器的输入是1×64×64的随机图像，生成器共分为11层，依次为5个下采样层、一个全连接层和5个上采样层；所述下采样层由3×3卷积+激活函数+最大池化组成，所述上采样层由3×3的反卷积+激活函数组成；
判别器的输入包括生成器的生成图像和原始图像，判别器由5个3×3的卷积+激活函数构成；
(2)通过特征块来提取原始图像的图像及语义信息，每一个特征块由批归一化层+激活函数+1×1卷积层+批归一化+激活函数+3×3卷积层构成；
(3)将生成器提取到的特征图与最后一个特征块得到的特征图进行融合，并经过加权块，加权块由全局平均池化+1×1卷积+批归一化+激活函数构成；将通过全局平均池化和卷积后获得的权重通过激活函数归一化到[0，1]，并加权到全局平均池化前所得到的特征图上，用于关注病灶区域最具有代表性的图像特征；
(4)病灶区域最具有代表性的图像特征经输出组输出，所述输出组由两个全连接层构成。
3.根据权利要求1所述的病灶区域预测分析方法，其特征在于，所述动态卷积文本特征提取网络模型具体为：
所述动态卷积文本特征提取网络模型输入所述评价指标，经动态卷积文本特征提取网络模型中间的若干隐藏层，隐藏层中的卷积核的大小分别设置为1、2、3、4、5，通过不同大小的卷积核提取出不同维度的特征后，进行特征拼接，最后通过一个卷积核大小为11的卷积层进行输出。
4.根据权利要求1所述的病灶区域预测分析方法，其特征在于，所述双层融合加权网络模型包括融合组、特征提取组以及输出组；
所述融合组对诊断文本特征以及病史特征进行融合操作，并经过1×3卷积+批归一化层+激活函数提取主要特征，再通过全局平均池化+1×1卷积+批归一化+激活函数获取特征图权重，并将权重加权到未经过全局平均池化前的特征图上，学习到两种文本特征中最具有代表性的文本特征；
所述特征提取组由16个特征块构成，每一个特征块由批归一化层+激活函数+1×1卷积层+批归一化+激活函数+1×3卷积层构成，使用特征块对融合后的特征进行特征提取；
所述输出组由由全局平均池化+全连接层+分类函数构成，通过输出组进行分类预测输出结果。
5.根据权利要求4所述的病灶区域预测分析方法，其特征在于，所述输出组分类函数公式为：
其中：z表示f(zj)的输入，维度为m。
6.根据权利要求1所述的病灶区域预测分析方法，其特征在于，所述卡氏性能状态根据病人的身体健康状态由医生进行判断并记录获得。
7.根据权利要求1所述的病灶区域预测分析方法，其特征在于，所述表观肿瘤生长速度由肿瘤切片上的肿瘤体积除以医生诊断时的症状持续时间获得。
8.根据权利要求1所述的病灶区域预测分析方法，其特征在于，所述功能恶化速度由卡氏性能状态除以诊断时的症状持续时间获得。
9.一种根据权利要求1-8任一项所述的病灶区域预测分析方法的病灶区域预测分析系统，其特征在于，包括：
数据采集模块，用于采集影像数据、诊断文本和病史数据，并分别建立影像数据库、诊断文本数据库以及病史数据库；
预测分析模块，用于构建融合加权特征提取网络模型、动态卷积文本特征提取网络模型和双层融合加权网络模型，所述融合加权特征提取网络模型、动态卷积文本特征提取网络模型，分别用于提取图像和病史特征；所述双层融合加权网络模型，用于对病灶区域预测分析。
10.一种终端设备，其特征在于，包括处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行计算机程序时，实现如权利要求1-8任一项所述的病灶区域预测分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110097268.1A CN112801168B (zh) | 2021-01-25 | 2021-01-25 | 一种肿瘤影像的病灶区域预测分析方法、系统及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110097268.1A CN112801168B (zh) | 2021-01-25 | 2021-01-25 | 一种肿瘤影像的病灶区域预测分析方法、系统及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112801168A true CN112801168A (zh) | 2021-05-14 |
| CN112801168B CN112801168B (zh) | 2024-10-08 |
Family
ID=75811578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110097268.1A Active CN112801168B (zh) | 2021-01-25 | 2021-01-25 | 一种肿瘤影像的病灶区域预测分析方法、系统及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801168B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469962A (zh) * | 2021-06-24 | 2021-10-01 | 江苏大学 | 一种面向癌症病变检测的特征提取和图文融合方法及系统 |
| CN113469049A (zh) * | 2021-06-30 | 2021-10-01 | 平安科技（深圳）有限公司 | 一种疾病信息识别方法、系统、装置及存储介质 |
| CN113989297A (zh) * | 2021-09-23 | 2022-01-28 | 杭州电子科技大学 | 多模态眼睑肿瘤数据融合进行肿瘤区域分割的方法 |
| CN114171187A (zh) * | 2021-12-06 | 2022-03-11 | 浙江大学 | 一种基于多模态深度学习的胃癌tnm分期预测系统 |
| CN114431836A (zh) * | 2022-04-11 | 2022-05-06 | 中南大学湘雅医院 | 基于人工智能的甲黑线良恶性预测系统 |
| CN115089292A (zh) * | 2022-06-09 | 2022-09-23 | 北京三春晖医疗器械有限公司 | 一种布针控制系统、方法及肿瘤治疗仪 |
| CN115240844A (zh) * | 2022-07-15 | 2022-10-25 | 北京医准智能科技有限公司 | 辅助诊断模型的训练方法、装置、电子设备及存储介质 |
| CN115274119A (zh) * | 2022-09-30 | 2022-11-01 | 中国医学科学院北京协和医院 | 一种融合多影像组学特征的免疫治疗预测模型的构建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047594A (zh) * | 2019-11-06 | 2020-04-21 | 安徽医科大学 | 肿瘤mri弱监督学习分析建模方法及其模型 |
| CN112102321A (zh) * | 2020-08-07 | 2020-12-18 | 深圳大学 | 一种基于深度卷积神经网络的病灶图像分割方法及系统 |
-
2021
- 2021-01-25 CN CN202110097268.1A patent/CN112801168B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047594A (zh) * | 2019-11-06 | 2020-04-21 | 安徽医科大学 | 肿瘤mri弱监督学习分析建模方法及其模型 |
| CN112102321A (zh) * | 2020-08-07 | 2020-12-18 | 深圳大学 | 一种基于深度卷积神经网络的病灶图像分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 唐思源 等: "基于卷积神经网络的胰腺癌检测方法的研究", 软件, vol. 41, no. 05, 15 May 2020 (2020-05-15), pages 87 - 90 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469962A (zh) * | 2021-06-24 | 2021-10-01 | 江苏大学 | 一种面向癌症病变检测的特征提取和图文融合方法及系统 |
| CN113469962B (zh) * | 2021-06-24 | 2024-05-14 | 江苏大学 | 一种面向癌症病变检测的特征提取和图文融合方法及系统 |
| CN113469049A (zh) * | 2021-06-30 | 2021-10-01 | 平安科技（深圳）有限公司 | 一种疾病信息识别方法、系统、装置及存储介质 |
| CN113469049B (zh) * | 2021-06-30 | 2024-05-10 | 平安科技（深圳）有限公司 | 一种疾病信息识别方法、系统、装置及存储介质 |
| CN113989297A (zh) * | 2021-09-23 | 2022-01-28 | 杭州电子科技大学 | 多模态眼睑肿瘤数据融合进行肿瘤区域分割的方法 |
| CN114171187A (zh) * | 2021-12-06 | 2022-03-11 | 浙江大学 | 一种基于多模态深度学习的胃癌tnm分期预测系统 |
| CN114431836A (zh) * | 2022-04-11 | 2022-05-06 | 中南大学湘雅医院 | 基于人工智能的甲黑线良恶性预测系统 |
| CN115089292A (zh) * | 2022-06-09 | 2022-09-23 | 北京三春晖医疗器械有限公司 | 一种布针控制系统、方法及肿瘤治疗仪 |
| CN115240844A (zh) * | 2022-07-15 | 2022-10-25 | 北京医准智能科技有限公司 | 辅助诊断模型的训练方法、装置、电子设备及存储介质 |
| CN115274119A (zh) * | 2022-09-30 | 2022-11-01 | 中国医学科学院北京协和医院 | 一种融合多影像组学特征的免疫治疗预测模型的构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112801168B (zh) | 2024-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801168B (zh) | 一种肿瘤影像的病灶区域预测分析方法、系统及终端设备 | |
| Gaur et al. | Explanation-driven deep learning model for prediction of brain tumour status using MRI image data | |
| Wang et al. | Breast cancer detection using extreme learning machine based on feature fusion with CNN deep features | |
| El Houby et al. | Malignant and nonmalignant classification of breast lesions in mammograms using convolutional neural networks | |
| Nahid et al. | Histopathological breast cancer image classification by deep neural network techniques guided by local clustering | |
| CN110534192B (zh) | 一种基于深度学习的肺结节良恶性识别方法 | |
| US20200303072A1 (en) | Method and system for supporting medical decision making | |
| CN113077434B (zh) | 基于多模态信息的肺癌识别方法、装置及存储介质 | |
| Sannasi Chakravarthy et al. | Multi-deep CNN based experimentations for early diagnosis of breast cancer | |
| Tsivgoulis et al. | An improved SqueezeNet model for the diagnosis of lung cancer in CT scans | |
| Chen et al. | Automatic whole slide pathology image diagnosis framework via unit stochastic selection and attention fusion | |
| Alfifi et al. | Enhanced artificial intelligence system for diagnosing and predicting breast cancer using deep learning | |
| Elayaraja et al. | An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach | |
| Ding et al. | SCNET: A novel UGI cancer screening framework based on semantic-level multimodal data fusion | |
| Zhai et al. | Retinal vessel image segmentation algorithm based on encoder-decoder structure | |
| Kumar et al. | Diabetic Retinopathy Detection using Deep Learning Methodology | |
| Ramalakshmi et al. | Enhanced prediction using deep neural network-based image classification | |
| Yu et al. | M3U-CDVAE: Lightweight retinal vessel segmentation and refinement network | |
| Fahad et al. | Enhancing cervical cancer diagnosis with graph convolution network: AI-powered segmentation, feature analysis, and classification for early detection | |
| Rajput et al. | Automated detection of colon cancer using deep learning | |
| CN115547502A (zh) | 基于时序数据的血透病人风险预测装置 | |
| Princy Magdaline et al. | Detection of lung cancer using novel attention gate residual U-Net model and KNN classifier from computer tomography images | |
| Fettah et al. | Deep learning model for magnetic resonance imaging brain tumor recognition | |
| Song et al. | Medical image classification: knowledge transfer via residual U-Net and vision transformer-based teacher-student model with knowledge distillation | |
| Agarwal | A Multimodal Machine Learning Approach to Diagnosis, Prognosis, and Treatment Prediction for Neurodegenerative Diseases and Cancer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |