CN113205504A - 基于知识图谱的人工智能肾肿瘤预测系统 - Google Patents
基于知识图谱的人工智能肾肿瘤预测系统 Download PDFInfo
- Publication number
- CN113205504A CN113205504A CN202110518477.9A CN202110518477A CN113205504A CN 113205504 A CN113205504 A CN 113205504A CN 202110518477 A CN202110518477 A CN 202110518477A CN 113205504 A CN113205504 A CN 113205504A
- Authority
- CN
- China
- Prior art keywords
- module
- tumor
- data
- knowledge
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000008839 Kidney Neoplasms Diseases 0.000 title claims abstract description 39
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 36
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 110
- 238000003745 diagnosis Methods 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 36
- 238000011282 treatment Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 34
- 238000013135 deep learning Methods 0.000 claims description 29
- 238000002372 labelling Methods 0.000 claims description 29
- 238000007781 pre-processing Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 25
- 238000012216 screening Methods 0.000 claims description 25
- 230000001364 causal effect Effects 0.000 claims description 24
- 238000005065 mining Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000007418 data mining Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 201000010099 disease Diseases 0.000 claims description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013178 mathematical model Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000002512 chemotherapy Methods 0.000 claims description 5
- 238000001959 radiotherapy Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 238000009169 immunotherapy Methods 0.000 claims description 4
- 238000011160 research Methods 0.000 claims description 4
- 238000011269 treatment regimen Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000003902 lesion Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010008 shearing Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 claims 1
- 238000003759 clinical diagnosis Methods 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 208000006265 Renal cell carcinoma Diseases 0.000 description 5
- 230000008676 import Effects 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 4
- 206010038389 Renal cancer Diseases 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 201000010982 kidney cancer Diseases 0.000 description 3
- 201000009030 Carcinoma Diseases 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013154 diagnostic monitoring Methods 0.000 description 2
- 230000002327 eosinophilic effect Effects 0.000 description 2
- 230000017074 necrotic cell death Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000026292 Cystic Kidney disease Diseases 0.000 description 1
- 206010024612 Lipoma Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 206010038423 Renal cyst Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 201000010240 chromophobe renal cell carcinoma Diseases 0.000 description 1
- 208000009060 clear cell adenocarcinoma Diseases 0.000 description 1
- 201000010276 collecting duct carcinoma Diseases 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002079 cooperative effect Effects 0.000 description 1
- 208000014747 cystic renal cell carcinoma Diseases 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000008821 health effect Effects 0.000 description 1
- 201000010205 kidney benign neoplasm Diseases 0.000 description 1
- 238000011862 kidney biopsy Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 210000002464 muscle smooth vascular Anatomy 0.000 description 1
- 238000013059 nephrectomy Methods 0.000 description 1
- 210000000885 nephron Anatomy 0.000 description 1
- 201000010279 papillary renal cell carcinoma Diseases 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 201000010174 renal carcinoma Diseases 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 210000004926 tubular epithelial cell Anatomy 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Probability & Statistics with Applications (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术领域，具体地说，涉及基于知识图谱的人工智能肾肿瘤预测系统。包括基础数库单元、训练学习单元、辅助诊断单元和功能应用单元；基础数库单元用于对海量的实例数据进行处理分析并构建知识库；训练学习单元用于搭建知识图谱及训练模型并对训练模型进行深度学习；辅助诊断单元用于通过对肿瘤检查图像进行识别预测；功能应用单元用于通过增加多种应用服务来完善系统的功能性。本发明设计基于知识图谱和人工智能算法建立全谱系的肾肿瘤关联图，依据知识图谱进行肿瘤的分类及特征提取，并对肿瘤位置进行检测、标注，用于辅助影像诊断，使得肿瘤的预测能够有效、准确，从而指导临床诊疗决策，避免不必要的手术，使患者从中获益。
Description
技术领域
本发明涉及人工智能技术领域，具体地说，涉及基于知识图谱的人工智能肾肿瘤预测系统。
背景技术
肾细胞癌(RCC)占肾脏恶性肿瘤的85％，全球每年新发病例达到65000。在缺少组织学诊断的情况下，影像学诊断为肾癌的肾肿瘤即达到了手术切除的指征，这导致了许多良性肾肿瘤的过度诊疗。据报道，大约20％的手术切除的肾脏肿瘤术后被证实是良性的，这对所有可疑病变手术的必要性提出了挑战，因为患者暴露于同时存在的风险和发病率。无创术前影像技术，如超声、CT和MRI，被广泛应用于肾脏肿瘤的表征。但CT和MRI在鉴别良性、无痛性肿瘤(如嗜酸细胞瘤和血管平滑肌脂肪瘤(AML))与侵袭性恶性肾脏肿瘤方面的敏感性和特异性有限。经皮肾穿刺活检术的漏诊率达20％，另有10％的病人因为误诊而造成不必要的切除。尤其是对于体积的肾肿瘤，影像学的诊断远远无法满足需求。其中，增强CT检查是肾脏肿瘤患者术前的常规检查手段，有助于临床医生评估肿瘤大小、内部分化程度、肿瘤进展程度等，但当前依据人眼进行鉴别的准确率仍较低，造成了患者的健康财产损失。
目前，深度学习算法已广泛应用于医学领域，为解决临床医师和影像科医师的培训周期和工作量问题提供了可靠的方法。而知识图谱能够同时表示描述型数据和实例型数据，为利用大数据和人工智能的非结构化和半结构化数据的挖掘分析提供了条件。然而，在知识图谱的应用方面，大多用于简单的关联分析，使用范围的局限性较大，尚未纳入贝叶斯网络有向图的模型和马尔可夫随机场的无向图的模型，即现有的知识图谱的广度和深度都有待提高。另外，目前尚无基于知识图谱的人工智能肾肿瘤预测系统及检测方法。
发明内容
本发明的目的在于提供了基于知识图谱的人工智能肾肿瘤预测系统，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供了基于知识图谱的人工智能肾肿瘤预测系统，包括
基础数库单元、训练学习单元、辅助诊断单元和功能应用单元；所述基础数库单元的信号输出端与所述训练学习单元的信号输入端连接，所述训练学习单元的信号输出端与所述辅助诊断单元的信号输入端连接，所述辅助诊断单元的信号输出端与所述功能应用单元的信号输入端连接；所述基础数库单元用于获取海量的实例数据并对数据进行处理分析，将各种肿瘤相关的影像数据构建知识库；所述训练学习单元用于以数据库为基础搭建知识图谱及训练模型并通过对训练模型的深度学习来提高识别模型的判识准确概率；所述辅助诊断单元用于通过识别模型的智能算法来对肿瘤检查图像进行识别预测以实现辅助诊断的功能；所述功能应用单元用于通过增加多种应用服务来完善系统的功能性；
所述基础数库单元包括数据采集模块、数据预处理模块、信息挖掘模块和知识融合模块；
所述训练学习单元包括知识图谱模块、模型训练模块、深度学习模块和场景应用模块；
辅助诊断单元包括图像预处理模块、特征标注模块、类型预测模块和识别输出模块；
所述功能应用单元包括决策支持模块、诊断监测模块和病历存档模块。
作为本技术方案的进一步改进，所述数据采集模块的信号输出端与所述数据预处理模块的信号输入端连接，所述数据预处理模块的信号输出端与所述信息挖掘模块的信号输入端连接，所述信息挖掘模块的信号输出端与所述知识融合模块的信号输入端连接；所述数据采集模块用于采集获取各医疗机构公开的大量肿瘤病症实例及对应的增强CT检查图像信息；所述数据预处理模块用于对采集的数据进行清洗、分类、语义转换、剪切、合并、标注等处理；所述信息挖掘模块用于采用知识图谱挖掘的方法对这些影像数据信息进行挖掘，从而给知识图谱构建提供充分的数据基础；所述知识融合模块用于通过本体对齐和实体匹配的方法将基础数据与挖掘出的肿瘤知识数据进行融合。
作为本技术方案的进一步改进，所述知识图谱模块的信号输出端与所述模型训练模块的信号输入端连接，所述模型训练模块的信号输出端与所述深度学习模块的信号输入端连接，所述深度学习模块的信号输出端与所述场景应用模块的信号输入端连接；所述知识图谱模块用于进行知识图谱的建库并建立数据挖掘和知识图谱结构之间的逻辑关系和数学模型，以便从知识图谱中提取潜在性的有用的信息发现，进而得到近似的推理结果；所述模型训练模块用于搭建学习训练模型来训练数据库中存储的肿瘤数据；所述深度学习模块用于搭建人工智能深度学习算法并引入各种人工智能算法来对训练模型进行深度学习；所述场景应用模块用于根据应用场景的不同对知识图谱进行检测分类并设定不同的预测结果的展示方式。
其中，知识图谱是通过患者肿瘤图像、病历数据等完成目标分类，以各种分类标签来对目标进行标注，再对患者进行肿瘤CT图像、以往病历文档数据及其他相似患者的图像特征和联系进行关联，知识图谱就能够通过不同的肿瘤特征对其进行聚类与关联分析。
其中，知识图谱的建库分为两部分，第一部分就是知识库搭建和影像数据应用场景，是基于知识图谱的搜索和分析引擎，对结构化和非结构化的数据源进行整理和分析，对各种肿瘤进行标注；第二部分是将已知的数据按知识图谱特性分类概述并整理，进而建立一个数据挖掘和知识图谱的系统框架。
其中，搭建人工智能深度学习算法FasterRCNN训练肿瘤数据，主要分为三个过程：(1)通过使用卷积神经网络提取图像特征，对已标注肿瘤病例的连续CT增强图像进行特征提取，包括动脉期、静脉期和延迟期；(2)通过RPN引入锚点，映射到原始图像，通过锚点框进行训练，进行二分类，判别候选框内容是前景还是背景，留下前景的候选框，抛弃背景候选框，并通过回归微调前景的BBox与标注真实框接近；(3)通过ROI池化、分类和回归，得到检测框的具体位置(ROI池化主要是为了抽取目标物体的代表性特征)；然后一方面通过全连接层和softmax计算，对各个候选区域属于各个类别的概率，输出分类类别，另一方面利用回归获得候选框的位置信息，得到检测框的最终精确位置。
作为本技术方案的进一步改进，所述模型训练模块包括时序模型模块、关系模型模块、因果关系模块和近似推理模块；所述时序模型模块、所述关系模型模块与所述因果关系模块并列运行，所述时序模型模块、所述关系模型模块、所述因果关系模块的信号输出端均与所述近似推理模块的信号输入端连接；所述时序模型模块用于通过马尔科夫网络算法来建立时序模型以对训练数据的时序属性进行标记及对比；所述关系模型模块用于通过马尔科夫网络算法来建立关系模型以对训练数据的相关性进行分析；所述因果关系模块用于通过贝叶斯网络算法来建立因果关系模型以对训练数据的因果关系进行相关性分析及计算其相关概率；所述近似推理模块用于结合训练数据的时序、关系、因果关系等属性，通过近似推理的方法，获取预测识别的支持依据。
作为本技术方案的进一步改进，所述因果关系模块中，计算相关性概率时采用朴素贝叶斯算法，其计算公式为：
其中，X为给定集，P(Ci|X)为X属于类Ci的后验概率，P(X|Ci)为按条件独立的属性归类的概率。
作为本技术方案的进一步改进，所述图像预处理模块的信号输出端与所述特征标注模块的信号输入端连接，所述特征标注模块的信号输出端与所述类型预测模块的信号输入端连接，所述类型预测模块的信号输出端与所述识别输出模块的信号输入端连接；所述图像预处理模块用于通过全域直方图均衡方法来对获取的患者增强CT图像进行灰度均衡、对比增强等预处理操作来实现图像的直方图均衡；所述特征标注模块用于对处理后的肿瘤增强CT图像上可能存在病变的部位进行标注处理；所述类型预测模块用于将经标注处理后的增强CT图像导入预先训练好的FasterRCNN识别模型以生产肿瘤预测结果；所述识别输出模块用于根据肿瘤预测结果进行肿瘤识别并输出结果以便辅助诊断。
其中，预测识别模型包括特征提取网络、RPN网络、Roi Align网络、分类回归网络和C-NMS网络，具体地，特征提取网络优选为Resnet50全卷积网络。
作为本技术方案的进一步改进，所述类型预测模块包括特征提取模块、识别推荐模块、映射池化模块、分类回归模块和筛选处理模块；所述特征提取模块的信号输出端与所述识别推荐模块的信号输入端连接，所述识别推荐模块的信号输出端与所述映射池化模块的信号输入端连接，所述映射池化模块的信号输出端与所述分类回归模块的信号输入端连接，所述分类回归模块的信号输出端与所述筛选处理模块的信号输入端连接；所述特征提取模块用于将标注好的肿瘤增强CT图像导入到特征提取网络进行特征提取、获取特征图；所述识别推荐模块用于将特征图导入到RPN网络进行识别及筛选处理、获取推荐框；所述映射池化模块用于将特征图及推荐框导入到Roi Align网络进行映射及池化处理，获得推荐特征图；所述分类回归模块用于将推荐特征图导入到分类回归网络进行分类回归处理，获得预测框的初始坐标、初始类别及初始置信度；所述筛选处理模块用于将预测框的初始坐标、初始类别及初始置信度导入到C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度。
其中，通过C-NMS网络进行筛选处理的方法步骤为：将预测框的初始坐标、初始类别及初始置信度输入到C-NMS网络；将初始置信度最大的预测框作为基准预测框；根据初始坐标分别计算每一预测框与基准预测框的重叠比；将重叠比大于或等于预设置信度阈值的预测框作为待调整预测框；根据待调整预测框与基准预测框的重叠比及面积比更新待调整预测框的初始置信度；预测框将初始坐标作为目标坐标，将初始类别作为目标类别，将更新后的初始置信度作为目标置信度。
作为本技术方案的进一步改进，所述筛选处理模块中，对预测框的置信度计算表达式如下：
si＝sif(iou(M，bi)，ar(M，bi))；
根据上式更新待调整预测框的初始置信度；
式中，si为初始置信度，f为分值惩罚函数且
其中，a＝iou(M，bi)，iou(M，bi)为待调整预测框bi与基准预测框M的重叠比；
其中，b＝ar(M，bi)，ar(M，bi)为待调整预测框bi与基准预测框M的面积比。
作为本技术方案的进一步改进，所述决策支持模块、所述诊断监测模块与所述病历存档模块依次通过以太网通讯连接并独立运行；所述决策支持模块用于通过多种知识来源给肿瘤诊断提供决策的依据支持；所述诊断监测模块用于通过智能算法对患者的肿瘤图像进行预测识别以作为医生直接进行病情诊断的监测对照；所述病历存档模块用于通过将该系统与医院的信息管理系统连接以便直接将对患者的病情诊断直接更新到患者的电子病历中并及时进行存档。
其中，决策支持的知识来源包括但不限于专家经验、预测结果及专家知识库等。
本发明的目的之二在于，提供了基于知识图谱的人工智能肾肿瘤预测系统的应用方法，包括如下步骤：
S1、获取海量医疗行业的大数据，从海量数据中进行处理和挖掘得到大量肿瘤实例及其对应的检查影像图像资料，将各种肿瘤相关的影像数据构建知识库，并在此基础上形成肿瘤的研究平台和应用开发平台；
S2、搭建知识图谱，基于知识图谱的搜索和分析引擎，对结构化和非结构化的数据源进行整理和分析，对各种肿瘤进行标注；将已知的数据按知识图谱特性分类概述并整理；
S3、将知识图谱和人工智能深度学习算法结合提取肿瘤影像数据的特征并实现分类，建立一个知识图谱和人工智能算法的系统框架，并建立智能知识和传统知识结构之间的逻辑关系；
S4、建立数据挖掘与智能知识内在联系的数学模型，用此模型解释由数量分析结果产生的智能知识特征，发现预测的结果，从海量数据中提取隐藏性、潜在性的有用的信息，以便有效地发现智能知识，结合专家经验及专家知识库，为肿瘤预测提供决策支持；
S5、获取待诊断患者的病灶处增强CT检查影像图像信息，通过全域直方图均衡方法对图像进行预处理，并对预处理后的图像进行标注处理；
S6、将标注处理后的图像导入预先训练好的FasterRCNN识别模型，依次通过特征提取、识别推荐、映射池化、分类回归及筛选处理后，获取肿瘤类型预测结果；
S7、根据类型预测结果进行肿瘤识别并输出结果，医生依据自身的经验，结合其他专家经验及识别结果，对患者的病情及肿瘤状况进行诊断，并及时制定对应的诊疗策略，如手术的入路方式及切术术式、术前是否采用新辅助放化疗、是否需要接受免疫治疗等；
S8、诊断结果输出后，系统通过与医院的信息管理系统连接，直接将诊疗过程、检查报告及诊断结果更新到患者对应的电子病历中并自动进行存档；
S9、系统通过多次预测识别操作，对医生的诊断结果进行验证监测，并定时根据后续治疗的反馈来统计诊断的准确率。
本发明的目的之三在于，提供了基于知识图谱的人工智能肾肿瘤预测系统的运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的基于知识图谱的人工智能肾肿瘤预测系统。
本发明的目的之四在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的基于知识图谱的人工智能肾肿瘤预测系统。
与现有技术相比，本发明的有益效果：该基于知识图谱的人工智能肾肿瘤预测系统中，该系统主要由三个部分组成：第一部分是肿瘤患者CT影像数据的获取，第二部分是知识图谱分析和深度学习算法检测，第三部分是构建智能知识体系，为肿瘤预测提供决策支持；本发明基于知识图谱和人工智能算法FasterRCNN在肿瘤增强CT中对肿瘤区域进行自动鉴别，建立起一个全谱系的肿瘤关联图，将其直接关联、间接关联的各种实体、概念相联系，并依据知识图谱进行肿瘤的分类，通过肿瘤的图像特征等来进行特征提取，并对肿瘤的位置进行检测和自动标注，综合利用知识图谱的概率图模型，用于辅助影像诊断，使得肿瘤的预测能够有效、准确，从而指导临床诊疗决策，避免不必要的手术，显著延长患者生存时间，使患者从中获益，并极大的帮助医生、学生及其他各种参与者了解并把握肿瘤的深度关联，进而还可自动学习并抽取肿瘤的特征，快速传递并汇总肿瘤的分类监测，以提高术前预测的准确度，且可以加强肿瘤研究的透明度。
附图说明
图1为本发明的整体架构流程框图；
图2为本发明的整体系统装置结构图；
图3为本发明的局部系统装置结构图之一；
图4为本发明的局部系统装置结构图之二；
图5为本发明的局部系统装置结构图之三；
图6为本发明的局部系统装置结构图之四；
图7为本发明的局部系统装置结构图之五；
图8为本发明的局部系统装置结构图之六；
图9为本发明的示例性计算机程序产品结构图。
图中各个标号意义为：
100、基础数库单元；101、数据采集模块；102、数据预处理模块；103、信息挖掘模块；104、知识融合模块；
200、训练学习单元；201、知识图谱模块；202、模型训练模块；2021、时序模型模块；2022、关系模型模块；2023、因果关系模块；2024、近似推理模块；203、深度学习模块；204、场景应用模块；
300、辅助诊断单元；301、图像预处理模块；302、特征标注模块；303、类型预测模块；3031、特征提取模块；3032、识别推荐模块；3033、映射池化模块；3034、分类回归模块；3035、筛选处理模块；304、识别输出模块；
400、功能应用单元；401、决策支持模块；402、诊断监测模块；403、病历存档模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-图8所示，本实施例提供了基于知识图谱的人工智能肾肿瘤预测系统，包括
基础数库单元100、训练学习单元200、辅助诊断单元300和功能应用单元400；基础数库单元100的信号输出端与训练学习单元200的信号输入端连接，训练学习单元200的信号输出端与辅助诊断单元300的信号输入端连接，辅助诊断单元300的信号输出端与功能应用单元400的信号输入端连接；基础数库单元100用于获取海量的实例数据并对数据进行处理分析，将各种肿瘤相关的影像数据构建知识库；训练学习单元200用于以数据库为基础搭建知识图谱及训练模型并通过对训练模型的深度学习来提高识别模型的判识准确概率；辅助诊断单元300用于通过识别模型的智能算法来对肿瘤检查图像进行识别预测以实现辅助诊断的功能；功能应用单元400用于通过增加多种应用服务来完善系统的功能性；
基础数库单元100包括数据采集模块101、数据预处理模块102、信息挖掘模块103和知识融合模块104；
训练学习单元200包括知识图谱模块201、模型训练模块202、深度学习模块203和场景应用模块204；
辅助诊断单元300包括图像预处理模块301、特征标注模块302、类型预测模块303和识别输出模块304；
功能应用单元400包括决策支持模块401、诊断监测模块402和病历存档模块403。
本实施例中，数据采集模块101的信号输出端与数据预处理模块102的信号输入端连接，数据预处理模块102的信号输出端与信息挖掘模块103的信号输入端连接，信息挖掘模块103的信号输出端与知识融合模块104的信号输入端连接；数据采集模块101用于采集获取各医疗机构公开的大量肿瘤病症实例及对应的增强CT检查图像信息；数据预处理模块102用于对采集的数据进行清洗、分类、语义转换、剪切、合并、标注等处理；信息挖掘模块103用于采用知识图谱挖掘的方法对这些影像数据信息进行挖掘，从而给知识图谱构建提供充分的数据基础；知识融合模块104用于通过本体对齐和实体匹配的方法将基础数据与挖掘出的肿瘤知识数据进行融合。
其中，数据采集的示例性过程包括如下流程(以肾肿瘤病例数据为例)；
Step1、获取2012年1月至2020年1月青岛大学附属医院收治的800余例行根治性肾切除术或保留肾单位手术治疗的原发性肾肿瘤患者的增强CT影响资料；
Step2、获取来自国内其他4家医学中心的经病理确认的肾肿瘤患者下腹部增强CT图像共80例，作为外部验证集；
Step3、根据患者仅行平扫CT或增强CT各期图像不全、图像存在伪影或质量不佳术前接受了新辅助放化疗、术后病理结果不明确、存在远处转移者等排除原则筛选病人；
Step4、保留符合纳入标准的患者，包括透明细胞癌、嫌色细胞癌、乳头状细胞癌、多房囊性肾细胞癌、肾囊肿、集合管癌、Mit家族转位肾癌、肾错位瘤、嗜酸细胞瘤等；
Step5、按照4:1的比例划分训练集与测试集，各组之间保持等比例；
Step6、对训练集、测试集、外部验证集图像的肿瘤区域进行勾画，建立肾肿瘤图像数据库。
目前实现的知识图谱以肾肿瘤为核心，不同病理类型的肾肿瘤往往有不同的组织学来源和生物学特征，如乳头状肾细胞癌起源于肾近曲、远曲小管上皮细胞，肿瘤常位于肾皮质或皮髓交界区，病变出血、坏死、囊变多见；肾嫌色细胞癌起源于肾皮质的肾小管上皮的插入细胞，肿瘤密度或信号均匀，可有坏死，出血少见。以往的文献多集中讨论肾肿瘤在CT中的大体表现(包括大小、边界、强化是否均匀等)，缺乏客观性及量化指标，进而导致检查结果的临床指导意义降低，各肾癌亚型在影像学表现上存在着一定程度的重叠，在临床实践中仍无有效的术前诊断鉴别方法，而本系统可以通过对癌症肿瘤影像学上的重叠比或面积比进行预测识别。
其中，依据知识图谱建立的肾肿瘤之间的关系与其他肿瘤之间的距离，进行肾肿瘤类别的预测与划分，每个大类中肿瘤的相关性高，类别与类别之间的相关性低。
本实施例中，知识图谱模块201的信号输出端与模型训练模块202的信号输入端连接，模型训练模块202的信号输出端与深度学习模块203的信号输入端连接，深度学习模块203的信号输出端与场景应用模块204的信号输入端连接；知识图谱模块201用于进行知识图谱的建库并建立数据挖掘和知识图谱结构之间的逻辑关系和数学模型，以便从知识图谱中提取潜在性的有用的信息发现，进而得到近似的推理结果；模型训练模块202用于搭建学习训练模型来训练数据库中存储的肿瘤数据；深度学习模块203用于搭建人工智能深度学习算法并引入各种人工智能算法来对训练模型进行深度学习；场景应用模块204用于根据应用场景的不同对知识图谱进行检测分类并设定不同的预测结果的展示方式。
其中，知识图谱是通过患者肿瘤图像、病历数据等完成目标分类，以各种分类标签来对目标进行标注，再对患者进行肿瘤CT图像、以往病历文档数据及其他相似患者的图像特征和联系进行关联，知识图谱就能够通过不同的肿瘤特征对其进行聚类与关联分析。
其中，知识图谱的建库分为两部分，第一部分就是知识库搭建和影像数据应用场景，是基于知识图谱的搜索和分析引擎，对结构化和非结构化的数据源进行整理和分析，对各种肿瘤进行标注；第二部分是将已知的数据按知识图谱特性分类概述并整理，进而建立一个数据挖掘和知识图谱的系统框架。
其中，搭建人工智能深度学习算法FasterRCNN训练肿瘤数据，主要分为三个过程：(1)通过使用卷积神经网络提取图像特征，对已标注肿瘤病例的连续CT增强图像进行特征提取，包括动脉期、静脉期和延迟期；(2)通过RPN引入锚点，映射到原始图像，通过锚点框进行训练，进行二分类，判别候选框内容是前景还是背景，留下前景的候选框，抛弃背景候选框，并通过回归微调前景的BBox与标注真实框接近；(3)通过ROI池化、分类和回归，得到检测框的具体位置(ROI池化主要是为了抽取目标物体的代表性特征)；然后一方面通过全连接层和softmax计算，对各个候选区域属于各个类别的概率，输出分类类别，另一方面利用回归获得候选框的位置信息，得到检测框的最终精确位置。
进一步地，模型训练模块202包括时序模型模块2021、关系模型模块2022、因果关系模块2023和近似推理模块2024；时序模型模块2021、关系模型模块2022与因果关系模块2023并列运行，时序模型模块2021、关系模型模块2022、因果关系模块2023的信号输出端均与近似推理模块2024的信号输入端连接；时序模型模块2021用于通过马尔科夫网络算法来建立时序模型以对训练数据的时序属性进行标记及对比；关系模型模块2022用于通过马尔科夫网络算法来建立关系模型以对训练数据的相关性进行分析；因果关系模块2023用于通过贝叶斯网络算法来建立因果关系模型以对训练数据的因果关系进行相关性分析及计算其相关概率；近似推理模块2024用于结合训练数据的时序、关系、因果关系等属性，通过近似推理的方法，获取预测识别的支持依据。
具体地，因果关系模块2023中，计算相关性概率时采用朴素贝叶斯算法，其计算公式为：
其中，X为给定集，P(Ci|X)为X属于类Ci的后验概率，P(X|Ci)为按条件独立的属性归类的概率。
其中，依据贝叶斯网络的理论，若已知其“因”变量下，某些结点会与其“因”变量条件独立，只有与“因”变量有关的结点才会有条件概率的存在。进行肿瘤分类预测种类，阈值决定了检测框的准确度概率，通过知识图谱的构建能够将肾肿瘤的分类准确度提升到95％，远高于单独的人工预测能力，(具有10年阅片经验的影像医师和15年工作经验的泌尿外科医师准确率约在50％-70％)，为肿瘤的术前预测等提供了决策支持。
本实施例中，图像预处理模块301的信号输出端与特征标注模块302的信号输入端连接，特征标注模块302的信号输出端与类型预测模块303的信号输入端连接，类型预测模块303的信号输出端与识别输出模块304的信号输入端连接；图像预处理模块301用于通过全域直方图均衡方法来对获取的患者增强CT图像进行灰度均衡、对比增强等预处理操作来实现图像的直方图均衡；特征标注模块302用于对处理后的肿瘤增强CT图像上可能存在病变的部位进行标注处理；类型预测模块303用于将经标注处理后的增强CT图像导入预先训练好的FasterRCNN识别模型以生产肿瘤预测结果；识别输出模块304用于根据肿瘤预测结果进行肿瘤识别并输出结果以便辅助诊断。
其中，预测识别模型包括特征提取网络、RPN网络、Roi Align网络、分类回归网络和C-NMS网络，具体地，特征提取网络优选为Resnet50全卷积网络。
进一步地，类型预测模块303包括特征提取模块3031、识别推荐模块3032、映射池化模块3033、分类回归模块3034和筛选处理模块3035；特征提取模块3031的信号输出端与识别推荐模块3032的信号输入端连接，识别推荐模块3032的信号输出端与映射池化模块3033的信号输入端连接，映射池化模块3033的信号输出端与分类回归模块3034的信号输入端连接，分类回归模块3034的信号输出端与筛选处理模块3035的信号输入端连接；特征提取模块3031用于将标注好的肿瘤增强CT图像导入到特征提取网络进行特征提取、获取特征图；识别推荐模块3032用于将特征图导入到RPN网络进行识别及筛选处理、获取推荐框；映射池化模块3033用于将特征图及推荐框导入到Roi Align网络进行映射及池化处理，获得推荐特征图；分类回归模块3034用于将推荐特征图导入到分类回归网络进行分类回归处理，获得预测框的初始坐标、初始类别及初始置信度；筛选处理模块3035用于将预测框的初始坐标、初始类别及初始置信度导入到C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度。
其中，通过C-NMS网络进行筛选处理的方法步骤为：将预测框的初始坐标、初始类别及初始置信度输入到C-NMS网络；将初始置信度最大的预测框作为基准预测框；根据初始坐标分别计算每一预测框与基准预测框的重叠比；将重叠比大于或等于预设置信度阈值的预测框作为待调整预测框；根据待调整预测框与基准预测框的重叠比及面积比更新待调整预测框的初始置信度；预测框将初始坐标作为目标坐标，将初始类别作为目标类别，将更新后的初始置信度作为目标置信度。
具体地，筛选处理模块3035中，对预测框的置信度计算表达式如下：
si＝sif(iou(M，bi)，ar(M，bi))；
根据上式更新待调整预测框的初始置信度；
式中，si为初始置信度，f为分值惩罚函数且
其中，a＝iou(M，bi)，iou(M，bi)为待调整预测框bi与基准预测框M的重叠比；
其中，b＝ar(M，bi)，ar(M，bi)为待调整预测框bi与基准预测框M的面积比。
本实施例中，决策支持模块401、诊断监测模块402与病历存档模块403依次通过以太网通讯连接并独立运行；决策支持模块401用于通过多种知识来源给肿瘤诊断提供决策的依据支持；诊断监测模块402用于通过智能算法对患者的肿瘤图像进行预测识别以作为医生直接进行病情诊断的监测对照；病历存档模块403用于通过将该系统与医院的信息管理系统连接以便直接将对患者的病情诊断直接更新到患者的电子病历中并及时进行存档。
其中，决策支持的知识来源包括但不限于专家经验、预测结果及专家知识库等。
此外，外科医生可以根据预测的肾肿瘤的分类来制定诊疗策略，诸如手术的入路方式及切术术式、术前是否采用新辅助放化疗、是否需要接受免疫治疗等，避免了不必要的手术，肾肿瘤的准确预测也能为患者日常的生活指导提供支持。通过知识图谱与挖掘学习实体之间的隐含关系来发现潜在的关联与协同动作，当检测到患者的肿瘤分类时，可以依据肿瘤的分类结果，在知识图谱的位置追溯其异动产生的根源，医生可据此及时调整治疗方案。
本实施例还提供了基于知识图谱的人工智能肾肿瘤预测系统的应用方法，包括如下步骤：
S1、获取海量医疗行业的大数据，从海量数据中进行处理和挖掘得到大量肿瘤实例及其对应的检查影像图像资料，将各种肿瘤相关的影像数据构建知识库，并在此基础上形成肿瘤的研究平台和应用开发平台；
S2、搭建知识图谱，基于知识图谱的搜索和分析引擎，对结构化和非结构化的数据源进行整理和分析，对各种肿瘤进行标注；将已知的数据按知识图谱特性分类概述并整理；
S3、将知识图谱和人工智能深度学习算法结合提取肿瘤影像数据的特征并实现分类，建立一个知识图谱和人工智能算法的系统框架，并建立智能知识和传统知识结构之间的逻辑关系；
S4、建立数据挖掘与智能知识内在联系的数学模型，用此模型解释由数量分析结果产生的智能知识特征，发现预测的结果，从海量数据中提取隐藏性、潜在性的有用的信息，以便有效地发现智能知识，结合专家经验及专家知识库，为肿瘤预测提供决策支持；
S5、获取待诊断患者的病灶处增强CT检查影像图像信息，通过全域直方图均衡方法对图像进行预处理，并对预处理后的图像进行标注处理；
S6、将标注处理后的图像导入预先训练好的FasterRCNN识别模型，依次通过特征提取、识别推荐、映射池化、分类回归及筛选处理后，获取肿瘤类型预测结果；
S7、根据类型预测结果进行肿瘤识别并输出结果，医生依据自身的经验，结合其他专家经验及识别结果，对患者的病情及肿瘤状况进行诊断，并及时制定对应的诊疗策略，如手术的入路方式及切术术式、术前是否采用新辅助放化疗、是否需要接受免疫治疗等；
S8、诊断结果输出后，系统通过与医院的信息管理系统连接，直接将诊疗过程、检查报告及诊断结果更新到患者对应的电子病历中并自动进行存档；
S9、系统通过多次预测识别操作，对医生的诊断结果进行验证监测，并定时根据后续治疗的反馈来统计诊断的准确率。
如图9所示，本实施例还提供了基于知识图谱的人工智能肾肿瘤预测系统的运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
处理器包括一个或一个以上处理核心，处理器通过总线与处理器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于知识图谱的人工智能肾肿瘤预测系统。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供了计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于知识图谱的人工智能肾肿瘤预测系统。
可选的，本发明还提供了包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于知识图谱的人工智能肾肿瘤预测系统。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.基于知识图谱的人工智能肾肿瘤预测系统，其特征在于：包括
基础数库单元(100)、训练学习单元(200)、辅助诊断单元(300)和功能应用单元(400)；所述基础数库单元(100)的信号输出端与所述训练学习单元(200)的信号输入端连接，所述训练学习单元(200)的信号输出端与所述辅助诊断单元(300)的信号输入端连接，所述辅助诊断单元(300)的信号输出端与所述功能应用单元(400)的信号输入端连接；所述基础数库单元(100)用于获取海量的实例数据并对数据进行处理分析，将各种肿瘤相关的影像数据构建知识库；所述训练学习单元(200)用于以数据库为基础搭建知识图谱及训练模型并通过对训练模型的深度学习来提高识别模型的判识准确概率；所述辅助诊断单元(300)用于通过识别模型的智能算法来对肿瘤检查图像进行识别预测以实现辅助诊断的功能；所述功能应用单元(400)用于通过增加多种应用服务来完善系统的功能性；
所述基础数库单元(100)包括数据采集模块(101)、数据预处理模块(102)、信息挖掘模块(103)和知识融合模块(104)；
所述训练学习单元(200)包括知识图谱模块(201)、模型训练模块(202)、深度学习模块(203)和场景应用模块(204)；
辅助诊断单元(300)包括图像预处理模块(301)、特征标注模块(302)、类型预测模块(303)和识别输出模块(304)；
所述功能应用单元(400)包括决策支持模块(401)、诊断监测模块(402)和病历存档模块(403)。
2.根据权利要求1所述的基于知识图谱的人工智能肾肿瘤预测系统，其特征在于：所述数据采集模块(101)的信号输出端与所述数据预处理模块(102)的信号输入端连接，所述数据预处理模块(102)的信号输出端与所述信息挖掘模块(103)的信号输入端连接，所述信息挖掘模块(103)的信号输出端与所述知识融合模块(104)的信号输入端连接；所述数据采集模块(101)用于采集获取各医疗机构公开的大量肿瘤病症实例及对应的增强CT检查图像信息；所述数据预处理模块(102)用于对采集的数据进行清洗、分类、语义转换、剪切、合并、标注等处理；所述信息挖掘模块(103)用于采用知识图谱挖掘的方法对这些影像数据信息进行挖掘，从而给知识图谱构建提供充分的数据基础；所述知识融合模块(104)用于通过本体对齐和实体匹配的方法将基础数据与挖掘出的肿瘤知识数据进行融合。
3.根据权利要求1所述的基于知识图谱的人工智能肾肿瘤预测系统，其特征在于：所述知识图谱模块(201)的信号输出端与所述模型训练模块(202)的信号输入端连接，所述模型训练模块(202)的信号输出端与所述深度学习模块(203)的信号输入端连接，所述深度学习模块(203)的信号输出端与所述场景应用模块(204)的信号输入端连接；所述知识图谱模块(201)用于进行知识图谱的建库并建立数据挖掘和知识图谱结构之间的逻辑关系和数学模型，以便从知识图谱中提取潜在性的有用的信息发现，进而得到近似的推理结果；所述模型训练模块(202)用于搭建学习训练模型来训练数据库中存储的肿瘤数据；所述深度学习模块(203)用于搭建人工智能深度学习算法并引入各种人工智能算法来对训练模型进行深度学习；所述场景应用模块(204)用于根据应用场景的不同对知识图谱进行检测分类并设定不同的预测结果的展示方式。
4.根据权利要求3所述的基于知识图谱的人工智能肾肿瘤预测系统，其特征在于：所述模型训练模块(202)包括时序模型模块(2021)、关系模型模块(2022)、因果关系模块(2023)和近似推理模块(2024)；所述时序模型模块(2021)、所述关系模型模块(2022)与所述因果关系模块(2023)并列运行，所述时序模型模块(2021)、所述关系模型模块(2022)、所述因果关系模块(2023)的信号输出端均与所述近似推理模块(2024)的信号输入端连接；所述时序模型模块(2021)用于通过马尔科夫网络算法来建立时序模型以对训练数据的时序属性进行标记及对比；所述关系模型模块(2022)用于通过马尔科夫网络算法来建立关系模型以对训练数据的相关性进行分析；所述因果关系模块(2023)用于通过贝叶斯网络算法来建立因果关系模型以对训练数据的因果关系进行相关性分析及计算其相关概率；所述近似推理模块(2024)用于结合训练数据的时序、关系、因果关系等属性，通过近似推理的方法，获取预测识别的支持依据。
5.根据权利要求4所述的基于知识图谱的人工智能肾肿瘤预测系统，其特征在于：所述因果关系模块(2023)中，计算相关性概率时采用朴素贝叶斯算法，其计算公式为：
其中，X为给定集，P(Ci|X)为X属于类Ci的后验概率，P(X|Ci)为按条件独立的属性归类的概率。
6.根据权利要求1所述的基于知识图谱的人工智能肾肿瘤预测系统，其特征在于：所述图像预处理模块(301)的信号输出端与所述特征标注模块(302)的信号输入端连接，所述特征标注模块(302)的信号输出端与所述类型预测模块(303)的信号输入端连接，所述类型预测模块(303)的信号输出端与所述识别输出模块(304)的信号输入端连接；所述图像预处理模块(301)用于通过全域直方图均衡方法来对获取的患者增强CT图像进行灰度均衡、对比增强等预处理操作来实现图像的直方图均衡；所述特征标注模块(302)用于对处理后的肿瘤增强CT图像上可能存在病变的部位进行标注处理；所述类型预测模块(303)用于将经标注处理后的增强CT图像导入预先训练好的FasterRCNN识别模型以生产肿瘤预测结果；所述识别输出模块(304)用于根据肿瘤预测结果进行肿瘤识别并输出结果以便辅助诊断。
7.根据权利要求6所述的基于知识图谱的人工智能肾肿瘤预测系统，其特征在于：所述类型预测模块(303)包括特征提取模块(3031)、识别推荐模块(3032)、映射池化模块(3033)、分类回归模块(3034)和筛选处理模块(3035)；所述特征提取模块(3031)的信号输出端与所述识别推荐模块(3032)的信号输入端连接，所述识别推荐模块(3032)的信号输出端与所述映射池化模块(3033)的信号输入端连接，所述映射池化模块(3033)的信号输出端与所述分类回归模块(3034)的信号输入端连接，所述分类回归模块(3034)的信号输出端与所述筛选处理模块(3035)的信号输入端连接；所述特征提取模块(3031)用于将标注好的肿瘤增强CT图像导入到特征提取网络进行特征提取、获取特征图；所述识别推荐模块(3032)用于将特征图导入到RPN网络进行识别及筛选处理、获取推荐框；所述映射池化模块(3033)用于将特征图及推荐框导入到Roi Align网络进行映射及池化处理，获得推荐特征图；所述分类回归模块(3034)用于将推荐特征图导入到分类回归网络进行分类回归处理，获得预测框的初始坐标、初始类别及初始置信度；所述筛选处理模块(3035)用于将预测框的初始坐标、初始类别及初始置信度导入到C-NMS网络进行筛选处理，获得预测框的目标坐标、目标类别及目标置信度。
8.根据权利要求7所述的基于知识图谱的人工智能肾肿瘤预测系统，其特征在于：所述筛选处理模块(3035)中，对预测框的置信度计算表达式如下：
si＝sif(iou(M，bi)，ar(M，bi))；
根据上式更新待调整预测框的初始置信度；
式中，si为初始置信度，f为分值惩罚函数且
其中，a＝iou(M，bi)，iou(M，bi)为待调整预测框bi与基准预测框M的重叠比；
其中，b＝ar(M，bi)，ar(M，bi)为待调整预测框bi与基准预测框M的面积比。
9.根据权利要求1所述的基于知识图谱的人工智能肾肿瘤预测系统，其特征在于：所述决策支持模块(401)、所述诊断监测模块(402)与所述病历存档模块(403)依次通过以太网通讯连接并独立运行；所述决策支持模块(401)用于通过多种知识来源给肿瘤诊断提供决策的依据支持；所述诊断监测模块(402)用于通过智能算法对患者的肿瘤图像进行预测识别以作为医生直接进行病情诊断的监测对照；所述病历存档模块(403)用于通过将该系统与医院的信息管理系统连接以便直接将对患者的病情诊断直接更新到患者的电子病历中并及时进行存档。
10.根据权利要求1所述的基于知识图谱的人工智能肾肿瘤预测系统，其特征在于：所述系统的应用方法包括如下步骤：
S1、获取海量医疗行业的大数据，从海量数据中进行处理和挖掘得到大量肿瘤实例及其对应的检查影像图像资料，将各种肿瘤相关的影像数据构建知识库，并在此基础上形成肿瘤的研究平台和应用开发平台；
S2、搭建知识图谱，基于知识图谱的搜索和分析引擎，对结构化和非结构化的数据源进行整理和分析，对各种肿瘤进行标注；将已知的数据按知识图谱特性分类概述并整理；
S3、将知识图谱和人工智能深度学习算法结合提取肿瘤影像数据的特征并实现分类，建立一个知识图谱和人工智能算法的系统框架，并建立智能知识和传统知识结构之间的逻辑关系；
S4、建立数据挖掘与智能知识内在联系的数学模型，用此模型解释由数据分析结果产生的智能知识特征，发现预测的结果，从海量数据中提取隐藏性、潜在性的有用的信息，以便有效地发现智能知识，结合专家经验及专家知识库，为肿瘤预测提供决策支持；
S5、获取待诊断患者的病灶处增强CT检查影像图像信息，通过全域直方图均衡方法对图像进行预处理，并对预处理后的图像进行标注处理；
S6、将标注处理后的图像导入预先训练好的FasterRCNN识别模型，依次通过特征提取、识别推荐、映射池化、分类回归及筛选处理后，获取肿瘤类型预测结果；
S7、根据类型预测结果进行肿瘤识别并输出结果，医生依据自身的经验，结合其他专家经验及识别结果，对患者的病情及肿瘤状况进行诊断，并及时制定对应的诊疗策略，如手术的入路方式及切术术式、术前是否采用新辅助放化疗、是否需要接受免疫治疗等；
S8、诊断结果输出后，系统通过与医院的信息管理系统连接，直接将诊疗过程、检查报告及诊断结果更新到患者对应的电子病历中并自动进行存档；
S9、系统通过多次预测识别操作，对医生的诊断结果进行验证监测，并定时根据后续治疗的反馈来统计诊断的准确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110518477.9A CN113205504B (zh) | 2021-05-12 | 2021-05-12 | 基于知识图谱的人工智能肾肿瘤预测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110518477.9A CN113205504B (zh) | 2021-05-12 | 2021-05-12 | 基于知识图谱的人工智能肾肿瘤预测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113205504A true CN113205504A (zh) | 2021-08-03 |
| CN113205504B CN113205504B (zh) | 2022-12-02 |
Family
ID=77031906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110518477.9A Active CN113205504B (zh) | 2021-05-12 | 2021-05-12 | 基于知识图谱的人工智能肾肿瘤预测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113205504B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628325A (zh) * | 2021-08-10 | 2021-11-09 | 海盐县南北湖医学人工智能研究院 | 一种小器官肿瘤演化的模型建立方法及计算机可读存储介质 |
| CN113672092A (zh) * | 2021-08-26 | 2021-11-19 | 南京邮电大学 | 一种vr实景教学模型大数据教学知识挖掘方法及系统 |
| CN113707311A (zh) * | 2021-09-06 | 2021-11-26 | 浙江海心智惠科技有限公司 | 一种基于知识图谱的诊疗方案搜索确定系统 |
| CN113835375A (zh) * | 2021-09-18 | 2021-12-24 | 上海市精神卫生中心（上海市心理咨询培训中心） | 一种辅助治疗焦虑障碍的人工智能系统 |
| CN113867263A (zh) * | 2021-08-27 | 2021-12-31 | 大唐互联科技(武汉)有限公司 | 一种基于云边协同及机器学习的智能刀具管理系统 |
| CN113962992A (zh) * | 2021-12-21 | 2022-01-21 | 青岛大学附属医院 | 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法 |
| CN114724682A (zh) * | 2022-06-08 | 2022-07-08 | 成都与睿创新科技有限公司 | 用于微创手术的辅助决策方法及装置 |
| CN114822852A (zh) * | 2022-05-20 | 2022-07-29 | 神州医疗科技股份有限公司 | 一种基于知识图谱的肝癌术后复发风险的预测方法及装置 |
| CN115148330A (zh) * | 2022-05-24 | 2022-10-04 | 中国医学科学院北京协和医院 | Pop治疗方案形成方法及系统 |
| CN115938592A (zh) * | 2023-03-09 | 2023-04-07 | 成都信息工程大学 | 一种基于局部增强图卷积网络的癌症预后预测方法 |
| CN115985491A (zh) * | 2023-03-21 | 2023-04-18 | 安徽通灵仿生科技有限公司 | 一种介入式心室导管泵的医学信息处理系统 |
| WO2023098288A1 (zh) * | 2021-12-01 | 2023-06-08 | 浙江大学 | 一种基于含因果性医学知识图谱的疾病辅助鉴别诊断系统 |
| CN117476110A (zh) * | 2023-10-10 | 2024-01-30 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 基于人工智能的多尺度生物标记物发现系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160314245A1 (en) * | 2014-06-17 | 2016-10-27 | Genepeeks, Inc. | Device, system and method for assessing risk of variant-specific gene dysfunction |
| CN106776711A (zh) * | 2016-11-14 | 2017-05-31 | 浙江大学 | 一种基于深度学习的中文医学知识图谱构建方法 |
| CN107016212A (zh) * | 2017-04-21 | 2017-08-04 | 中国电子科技集团公司第五十四研究所 | 基于动态贝叶斯网络的意图分析方法 |
| CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
| CN110728239A (zh) * | 2019-10-14 | 2020-01-24 | 青岛大学 | 一种利用深度学习的胃癌增强ct图像自动识别系统 |
| CN110837859A (zh) * | 2019-11-01 | 2020-02-25 | 越亮传奇科技股份有限公司 | 一种融合多维度医疗数据的肿瘤精细分类系统及方法 |
| CN110956254A (zh) * | 2019-11-12 | 2020-04-03 | 浙江工业大学 | 一种基于动态知识表示学习的案件推理方法 |
| CN111340130A (zh) * | 2020-03-09 | 2020-06-26 | 江西省人民医院 | 一种基于深度学习和影像组学的泌尿结石检测分类方法 |
| CN111538845A (zh) * | 2020-04-03 | 2020-08-14 | 肾泰网健康科技(南京)有限公司 | 一种构建肾病专科医学知识图谱的方法、模型及系统 |
-
2021
- 2021-05-12 CN CN202110518477.9A patent/CN113205504B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160314245A1 (en) * | 2014-06-17 | 2016-10-27 | Genepeeks, Inc. | Device, system and method for assessing risk of variant-specific gene dysfunction |
| CN106776711A (zh) * | 2016-11-14 | 2017-05-31 | 浙江大学 | 一种基于深度学习的中文医学知识图谱构建方法 |
| CN107016212A (zh) * | 2017-04-21 | 2017-08-04 | 中国电子科技集团公司第五十四研究所 | 基于动态贝叶斯网络的意图分析方法 |
| CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
| CN110728239A (zh) * | 2019-10-14 | 2020-01-24 | 青岛大学 | 一种利用深度学习的胃癌增强ct图像自动识别系统 |
| CN110837859A (zh) * | 2019-11-01 | 2020-02-25 | 越亮传奇科技股份有限公司 | 一种融合多维度医疗数据的肿瘤精细分类系统及方法 |
| CN110956254A (zh) * | 2019-11-12 | 2020-04-03 | 浙江工业大学 | 一种基于动态知识表示学习的案件推理方法 |
| CN111340130A (zh) * | 2020-03-09 | 2020-06-26 | 江西省人民医院 | 一种基于深度学习和影像组学的泌尿结石检测分类方法 |
| CN111538845A (zh) * | 2020-04-03 | 2020-08-14 | 肾泰网健康科技(南京)有限公司 | 一种构建肾病专科医学知识图谱的方法、模型及系统 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628325B (zh) * | 2021-08-10 | 2024-03-26 | 海盐县南北湖医学人工智能研究院 | 一种小器官肿瘤演化的模型建立方法及计算机可读存储介质 |
| CN113628325A (zh) * | 2021-08-10 | 2021-11-09 | 海盐县南北湖医学人工智能研究院 | 一种小器官肿瘤演化的模型建立方法及计算机可读存储介质 |
| CN113672092A (zh) * | 2021-08-26 | 2021-11-19 | 南京邮电大学 | 一种vr实景教学模型大数据教学知识挖掘方法及系统 |
| CN113867263A (zh) * | 2021-08-27 | 2021-12-31 | 大唐互联科技(武汉)有限公司 | 一种基于云边协同及机器学习的智能刀具管理系统 |
| CN113707311A (zh) * | 2021-09-06 | 2021-11-26 | 浙江海心智惠科技有限公司 | 一种基于知识图谱的诊疗方案搜索确定系统 |
| CN113835375A (zh) * | 2021-09-18 | 2021-12-24 | 上海市精神卫生中心（上海市心理咨询培训中心） | 一种辅助治疗焦虑障碍的人工智能系统 |
| WO2023098288A1 (zh) * | 2021-12-01 | 2023-06-08 | 浙江大学 | 一种基于含因果性医学知识图谱的疾病辅助鉴别诊断系统 |
| CN113962992A (zh) * | 2021-12-21 | 2022-01-21 | 青岛大学附属医院 | 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法 |
| CN114822852A (zh) * | 2022-05-20 | 2022-07-29 | 神州医疗科技股份有限公司 | 一种基于知识图谱的肝癌术后复发风险的预测方法及装置 |
| CN115148330A (zh) * | 2022-05-24 | 2022-10-04 | 中国医学科学院北京协和医院 | Pop治疗方案形成方法及系统 |
| CN115148330B (zh) * | 2022-05-24 | 2023-07-25 | 中国医学科学院北京协和医院 | Pop治疗方案形成方法及系统 |
| CN114724682B (zh) * | 2022-06-08 | 2022-08-16 | 成都与睿创新科技有限公司 | 用于微创手术的辅助决策装置 |
| CN114724682A (zh) * | 2022-06-08 | 2022-07-08 | 成都与睿创新科技有限公司 | 用于微创手术的辅助决策方法及装置 |
| CN115938592B (zh) * | 2023-03-09 | 2023-05-05 | 成都信息工程大学 | 一种基于局部增强图卷积网络的癌症预后预测方法 |
| CN115938592A (zh) * | 2023-03-09 | 2023-04-07 | 成都信息工程大学 | 一种基于局部增强图卷积网络的癌症预后预测方法 |
| CN115985491A (zh) * | 2023-03-21 | 2023-04-18 | 安徽通灵仿生科技有限公司 | 一种介入式心室导管泵的医学信息处理系统 |
| CN117476110A (zh) * | 2023-10-10 | 2024-01-30 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 基于人工智能的多尺度生物标记物发现系统 |
| CN117476110B (zh) * | 2023-10-10 | 2024-04-02 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 基于人工智能的多尺度生物标记物发现系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113205504B (zh) | 2022-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113205504B (zh) | 基于知识图谱的人工智能肾肿瘤预测系统 | |
| Farhat et al. | Deep learning applications in pulmonary medical imaging: recent updates and insights on COVID-19 | |
| Jiang et al. | Deep learning for computational cytology: A survey | |
| US11688065B2 (en) | Lesion detection artificial intelligence pipeline computing system | |
| US10176408B2 (en) | Systems and methods for analyzing pathologies utilizing quantitative imaging | |
| Wang et al. | UD-MIL: uncertainty-driven deep multiple instance learning for OCT image classification | |
| US11587236B2 (en) | Refining lesion contours with combined active contour and inpainting | |
| CN107582097A (zh) | 一种基于多模态超声组学的智能辅助决策系统 | |
| US11749401B2 (en) | Seed relabeling for seed-based segmentation of a medical image | |
| US11688063B2 (en) | Ensemble machine learning model architecture for lesion detection | |
| CN112598661B (zh) | 一种基于机器学习的踝骨折及韧带损伤诊断方法 | |
| US11688517B2 (en) | Multiple operating point false positive removal for lesion identification | |
| US20220138933A1 (en) | Logistic Model to Determine 3D Z-Wise Lesion Connectivity | |
| Li et al. | Hierarchical deep network with uncertainty-aware semi-supervised learning for vessel segmentation | |
| CN114463248A (zh) | 用于医学图像的基于种子的分割的种子重新标记 | |
| AbdulMoniem et al. | Artificial intelligence in hypospadiology: role, applications, and benefits | |
| Nagao et al. | Detection of abnormal candidate regions on temporal subtraction images based on DCNN | |
| Weng et al. | Enhancing point annotations with superpixel and confident learning guided for improving semi-supervised OCT fluid segmentation | |
| Chen et al. | MSA-MIL: A deep residual multiple instance learning model based on multi-scale annotation for classification and visualization of glomerular spikes | |
| Zhang et al. | Lesion detection with deep aggregated 3D contextual feature and auxiliary information | |
| TWI792751B (zh) | 醫學影像專案管理平台 | |
| JP2022074092A (ja) | 医用画像のシードに基づくセグメント化のシードの再ラベル付けのための方法、コンピュータ・プログラムおよび装置（医用画像のシードに基づくセグメント化のシードの再ラベル付け） | |
| Guruprasad et al. | A Closer Look at Weak Supervision’s Limitations in WSI Recurrence Score Prediction | |
| Qu et al. | Remote Pulmonary Nodule Detection Based on 6G Network Information System and 3D Visual Transformation | |
| Kumar et al. | BIRD SQUIRREL OPTIMIZATION WITH DEEP RECURRENT NEURAL NETWORK FOR PROSTATE CANCER DETECTION |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |