CN111584046A - 一种医学影像数据ai处理方法 - Google Patents
一种医学影像数据ai处理方法 Download PDFInfo
- Publication number
- CN111584046A CN111584046A CN202010410865.0A CN202010410865A CN111584046A CN 111584046 A CN111584046 A CN 111584046A CN 202010410865 A CN202010410865 A CN 202010410865A CN 111584046 A CN111584046 A CN 111584046A
- Authority
- CN
- China
- Prior art keywords
- image data
- model
- clinical
- data
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 47
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 238000013179 statistical model Methods 0.000 claims abstract description 26
- 201000010099 disease Diseases 0.000 claims abstract description 25
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 31
- 238000012216 screening Methods 0.000 claims description 23
- 238000003745 diagnosis Methods 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 20
- 238000013145 classification model Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000003902 lesion Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 208000024891 symptom Diseases 0.000 claims description 5
- 238000003748 differential diagnosis Methods 0.000 abstract description 10
- 238000003759 clinical diagnosis Methods 0.000 abstract description 8
- 208000020816 lung neoplasm Diseases 0.000 description 21
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 19
- 201000005202 lung cancer Diseases 0.000 description 19
- 238000011160 research Methods 0.000 description 13
- 206010054107 Nodule Diseases 0.000 description 12
- 210000004072 lung Anatomy 0.000 description 11
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 11
- 238000010276 construction Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 9
- 201000008827 tuberculosis Diseases 0.000 description 9
- 206010028980 Neoplasm Diseases 0.000 description 8
- 206010056342 Pulmonary mass Diseases 0.000 description 8
- 230000002354 daily effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000003211 malignant effect Effects 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 208000019693 Lung disease Diseases 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000002685 pulmonary effect Effects 0.000 description 3
- 206010010071 Coma Diseases 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 2
- 208000009956 adenocarcinoma Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000000227 grinding Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 208000037841 lung tumor Diseases 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 229910052750 molybdenum Inorganic materials 0.000 description 2
- 239000011733 molybdenum Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000010507 Adenocarcinoma of Lung Diseases 0.000 description 1
- 208000004434 Calcinosis Diseases 0.000 description 1
- 208000014882 Carotid artery disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 201000004933 in situ carcinoma Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 201000005249 lung adenocarcinoma Diseases 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 238000000968 medical method and process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000005813 organ abnormality Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007119 pathological manifestation Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003934 vacuole Anatomy 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种医学影像数据AI处理方法，先获取患者的预诊断部位的影像数据和临床数据，再对获取的影像数据和临床数据进行预处理，以获取预处理后的影像数据和临床数据，然后构建人工智能模型和统计学模型，对预处理后的影像数据和临床数据进行分析处理，最后，基于人工智能模型和统计学模型的处理结果，对患者的预诊断部位的疾病进行分类，从而实现快速有效的对相关影像数据中的病灶特性进行分析。可以有效而快速的辅助影像科医生的的日常临床诊断和鉴别诊断工作。
Description
技术领域
本发明属于医学领域，涉及一种医学影像数据AI处理方法。
背景技术
在中国，肺癌是目前发病率和死亡率最高的恶性肿瘤之一，男性肺癌发病率和死亡率占所有恶性肿瘤的第一位，而女性肺癌的发病率和死亡率为第二位。近年来，肺腺癌的发病率显著升高，广泛见于非吸烟人群。随着美国国家肺癌筛查试验(National LungScreening Trail,NLST)发现采用低剂量CT(Low-dose CT)对肺癌高危人群进行筛查，能够有效地早期发现肺癌并降低了人群的肺癌相关死亡率约20％以来，CT检出的肺结节及确诊的早期肺癌越来越多，由此CT检查成为了肺癌早期发现、诊断和鉴别诊断过程中的一个重要环节。
作为同样能危及人类生命的肺部疾病，结核病是严重危害人民群众健康的呼吸道传染病。WHO《2017年全球结核病报告》发布，2016年，在世界范围内有1040万例结核病新发病例，约有170万人死于结核病，七个国家占到总负担的64％，印度首当其冲，其次是印度尼西亚和中国等，因此，结核病仍然是头号传染病杀手。中国是全球第三个结核病高负担国家，其结核病防治工作仍存在诸多薄弱环节，如预防和治疗不衔接，患者发现、诊疗等不到位，耐药肺结核防治薄弱，学校等重点场所聚集性疫情时有发生，形势依然严峻。作为结核病诊断的重要组成部分，CT影像学诊断在结核病分级诊疗中的地位和作用不言而喻。在肺结核与肺癌的鉴别诊断中CT影像中不仅能更清晰地显示各种原发病灶的影像学改变，增强CT对纵隔内的非正常性淋巴结、肿物的鉴别也有重要提示意义。
由此可见医学影像数据在肺癌和肺结核的临床诊断和鉴别诊断中发挥着重要的分析、鉴别和佐证作用。但是，我国每天产生的影像数据以PB计算，医学影像数据快速积累，占到医疗行业数据的90％，传统医学影像数据大多需要影像科医生进行人工分析。人工分析的缺点很明显，第一是不精准，几乎完全依靠参差不齐的临床经验去判断，很容易误判。根据中国医学会的统计数据资料显示，中国临床医疗每年的误诊人数约为5700万人，总误诊率为27.8％，器官异位误诊率为60％，恶性肿瘤平均误诊率为40％；第二是缺口大，目前我国医学影像数据的年增长率约为30％，而放射科医师数量的年增长率约为4.1％，放射科医师数量增长远不及影像数据增长，放射科医师在未来处理影像数据的压力会越来越大，甚至远远超过医生能够承担的最大负荷。因此，医学影像学科迫切需要更智能化技术和系统来辅助影像科医生的的日常临床诊断和鉴别诊断工作。
基于此，亟需一种医学影像数据AI处理方法，以辅助影像科医生的的日常临床诊断和鉴别诊断工作。
发明内容
发明人研究发现，人工智能是一个以哲学、数学、心理学、语言学、计算机工程和神经科学等为基础的交叉领域科学。在其半个多世纪的发展历程中，由于受到智能算法、计算速度、存储水平等多方面因素的影响，人工智能技术和应用发展经历了多次高潮和低谷。近年来，在大数据、云计算、物联网、脑科学等新理论新技术以及经济社会发展强烈需求的共同驱动下，人工智能加速发展，呈现出跨界融合、人机协同等特征，其迅速发展正深刻改变人类的社会生活。加之近年来各个国家已将人工智能技术纳为重点发展领域，并出台相关政策和计划来扶持，加速了人工智能和医学大数据在整个医学领域的普及和应用，带动了智能医疗从算法研究逐步走向临床应用，并在提高诊断效率、辅助临床决策等方面显示出了巨大的潜力。
在医学影像产业，国内已出现一大批医学影像智能领域的创业公司，并取得了较醒目的技术和产业化成果。科大讯飞研发了人工智能医学影像辅助诊断系统，实现了肺结节检出率达到三甲医院医生水平，目前该平台已学习了2万张乳腺钼靶影像资料和约20万张的颅脑磁共振影像资料；汇医慧影自主研发的人工智能集中在辅助筛查，以降低医生的漏检率，目前基层医生影像诊断的漏检率在30％左右，而汇医慧影系统的漏检率可以降低到10％以下，其人工智能辅助筛查系统在胸部X光、肺部CT、以及乳腺钼靶三领域已经有了相对成熟的应用。
国外众多相关研究机构也在面向重大疾病的智能化医学影像领域开展积极的探索研究。美国HeartFlow公司采用GPU加速的深度学习技术来探索用于冠心病影像诊断的解决方案，并有望减少60％的患者进行血管造影，从而将医疗保健系统的成本降低25％；IBM研究构建了一体化知识基础架构平台的解决方案，为医疗行业引入人工智能的辅助决策与支持，将深度学习结合医学影像的应用场景，依靠行业专家的建议与经验，实现带标签训练以及对测试数据的模拟与记录，最终通过认知实现医学影像特征的辅助识别，帮助医生与患者体验更好的医疗流程。
人工智能技术在影像医学领域的研究方向主要集中于影像识别预处理。高校、研究机构与公司所推出的实验算法面临高质量标注数据少、模型性能不高等问题。追溯其原因：(1)首先标注成本高是其中的重要因素。据不完全统计，国内42家“人工智能+医学影像”的公司中，有27家提供癌症病灶识别与标注服务，但影像科医生在日常读片过程中并不会进行病灶标注，这使得这些公司需要花费较大成本邀请专业的影像医生在工作之余进行标注。不仅是公司如此，各高校与研究机构的相关标注在大量文献中都是借助如ITK-SNAP、3D-Slicer等工具全手工完成的。可见，研发一个高效的可融入医生日常工作流程的半自动标注工具具有重要的意义；(2)另外一个主要原因是获取的影像数据量少且不均衡，学校、科研机构和公司主要以科研合作的方式从医院获取影像数据，但是训练模型所需要的影像数据量大，且所给出的数据在不同分类标签下的数量严重不均衡，这些因素都严重影响训练出来模型的质量。因此，如何有效的扩增数据并且训练出更精准的模型成为了本课题的另一关注点。
影像报告是影像科医生每日工作的另外一个重点环节，传统的手工报告输入方式耗费大量时间，同时手动输入的报告后续需要经过大量的人工处理或者自然语言处理(NLP)结构化后才能用于后续的研究与分析。因此若在医生日常填写报告前根据已有的影像信息、病人信息、实验室信息等自动产生结构化的建议性报告，可以在节省医生大量时间，并为后续的分析提供方便。
一份完整的影像报告需要包含病人信息、病灶的影像学表现、周围相关征象的影像学表现、疾病的鉴别、病理亚型的判断和进一步的诊断建议等。以计算机视觉(ComputerVision)为基础的人工智能影像处理技术由于在影像分类、目标检测、图像分割和图像检索等相比其它方法有着一定领先地位，故人工智能在医学影像上的主要应用在疾病筛查、关注区域(ROI)勾画、脏器三维成像、病理分析等。然而对于病理亚型的判断方面，由于AI不具有相关的专业知识，且无法解释病理亚型的判断原因，所以影像学征象、影像组学参数、统计学模型等需同时引入辅助计算机完成其判断与解释过程。例如肺结节的亚型判断中，病灶的形态学特点对鉴别其良、恶性具有重要意义，且肺结节的大小、密度、空气支气管征等其他形态学特征，与其病理表现密切相关。同时，肺恶性结节的内、外部特征以及与周围组织的关系、纹理特征，有助于影像科医生判断其病理亚型，如原位癌(adenocarcinoma insitu，AIS)、微浸润腺癌(minimally invasive adenocarcinoma，MIA)和浸润性腺癌(invasive adenocarcinoma，IAC)，并且对临床以不同手术方式切除为主的治疗具有重要指导意义。
影像组学(Radiomics)参数是对医学影像图像中病灶影像信息的统计学描述方法，主要包含以下6种类型：First order features、Shape features、Gray level co-occurrence matrix(GLCM)features、Gray level size zone matrix(GLSZM)features、Gray level run length matrix(GLRLM)features、Gray level dependence matrix(GLDM)features。其自从2012年被提出以来，由于这类参数在辅助诊断、肿瘤预测、治疗方案选择等领域有着巨大的价值与潜力而备受关注。然而影像组学参数中的一部分参数对于外界环境的细微改变过于敏感，使其整体有效性及可重复性受到了不少文献的质疑，可见使用影像组学参数建模过程中，需运用多中心多设备来源影像数据来进行筛选、验证影像组学参数的可靠性，这也将是本项目必不可少的关键步骤之一。
在疾病分类、亚型分类以及生存期预测模型构建方面，伴随着大数据和众多机器学习方法的发展，越来越多的相关问题开始尝试使用机器学习的方法去解决。相比于传统的专业医生的判断和病理学方法，有许多先前的研究得到了相近甚至更优的效果。而针对肺癌和肺结核，已经有研究运用有监督学习、无监督学习、深度学习等各类机器学习方法来实现肺癌的早期筛查与预测、肺结核的分型等问题，也有许多成功的案例。然而，随着医疗技术的提高，数据结构越来越复杂，单一的模型已经很难适应数据的变化，也就产生了多模型建模的方法，其中比较有代表性的是混合专家系统。该模型利用分而治之的想法，将许多简单的专家模型结合起来解决复杂的问题，其中每个专家模型在解决自己擅长的问题时会有更大的权重。此前有研究用混合专家系统来提高眼内和颈内动脉疾病诊断的准确性时，最终得到的分类准确率达到0.963，优于单个神经网络模型。
临床上，目前国内、外对CT发现肺结节的诊断处理原则，主要遵循FleischnerSociety、ACCP以及BTS等指南进行。若要自动根据影像信息形成相关的诊断处理意见，则需要计算机能够“记住”并“运用”以上相关指南。同样属于AI领域下面的知识库有别于传统的数据库，它主要的作用是对于知识的管理、存储和表达。知识图谱，可以将知识库中的实体和实体之间的关联通过图形化的方式展示出来，同时揭示知识的结构关系与发展进程，并具有可挖掘性。近年来，国外已建立起一批知识库系统运用于医学领域，例如Redlex、SNOMED CT、LOINC等。不少基于知识库的智能系统由此受益，医疗决策支持系统就是其中的一员。IBM Watson虽然近年来颇有争议，但是作为医疗决策支持系统的代表性产品对医疗行业也造成过不小的震动。由此可见结构化指南与知识图谱的构建是完成自动诊断的关键步骤。
本发明提供了一种医学影像数据AI处理方法，以辅助影像科医生的的日常临床诊断和鉴别诊断工作，用于对患者的影像数据进行处理，包括：
S101、获取患者的预诊断部位的影像数据和临床数据；
S103、对获取的影像数据和临床数据进行预处理，以获取预处理后的影像数据和临床数据；
S105、构建人工智能模型和统计学模型，对预处理后的影像数据和临床数据进行分析处理；
S107、基于人工智能模型和统计学模型的处理结果，对患者的预诊断部位的疾病进行分类。
优选的，在S103中，所述预处理包括：
S201、对所述影像数据运用GAN与旋转方法进行扩增；
S202、对扩增后的数据进行一点式半自动标注，获得征象标注工具；
S203、使用所述征象标注工具对所述影像数据进行标注；
S204、对标注后的影像数据进行提取，获取关注区域的影像组学参数。
优选的，采用wGAN对整幅影像数据进行扩增，采用cGAN对局部病灶的影像数据进行扩增。
优选的，所述影像组学参数的获取包括：
对关注区域分割结果提取出基本信息；
使用滤镜扩增影像，提取关注区域影像组学参数；
通过多组对比，筛选出稳定的影像组学参数。
优选的，构建人工智能模型和统计学模型，对预处理后的影像数据和临床数据进行分析处理，包括：
运用标注后的影像数据构建和训练预诊断部位的疾病分类模型；
运用标注后的影像数据构建和训练预诊断部位的病灶筛查模型。
优选的，还包括：根据所述关注区域的影像组学参数和临床数据，构建预诊断部位的疾病及亚型分类的统计学模型。
优选的，包括：根据统计学模型针对患者的预诊断部位的影像出具结构化报告。
优选的，基于人工智能模型和统计学模型的处理结果，对患者的预诊断部位的疾病进行分类包括：
利用疾病分类模型、病灶筛查模型完成对患者的预诊断部位的影像进行分类。
本发明提供的一种医学影像数据AI处理方法中，先获取患者的预诊断部位的影像数据和临床数据，再对获取的影像数据和临床数据进行预处理，以获取预处理后的影像数据和临床数据，然后构建人工智能模型和统计学模型，对预处理后的影像数据和临床数据进行分析处理，最后，基于人工智能模型和统计学模型的处理结果，对患者的预诊断部位的疾病进行分类，从而实现快速有效的对相关影像数据中的病灶特性进行分析。可以有效而快速的辅助影像科医生的的日常临床诊断和鉴别诊断工作。
附图说明
图1为本发明说明书中一实施例中医学影像数据AI处理方法的流程图。
具体实施方式
下面结合具体实施方式对本发明作进一步详细说明。
本发明实施例提供了一种医学影像数据AI处理方法，用于对患者的影像数据进行处理，如图1所示，包括：
S101、获取患者的预诊断部位的影像数据和临床数据；
S103、对获取的影像数据和临床数据进行预处理，以获取预处理后的影像数据和临床数据；
S105、构建人工智能模型和统计学模型，对预处理后的影像数据和临床数据进行分析处理；
S107、基于人工智能模型和统计学模型的处理结果，对患者的预诊断部位的疾病进行分类。
通过上述方案可实现快速有效的对相关影像数据中的病灶特性进行分析。
其中，在S103中，所述预处理包括：
S201、对所述影像数据运用GAN与旋转方法进行扩增；
S202、对扩增后的数据进行一点式半自动标注，获得征象标注工具；
S203、使用所述征象标注工具对所述影像数据进行标注；
S204、对标注后的影像数据进行提取，获取关注区域的影像组学参数。
在本实施例中，所述影像组学参数的获取包括：
对关注区域分割结果提取出基本信息；
使用滤镜扩增影像，提取关注区域影像组学参数；
通过多组对比，筛选出稳定的影像组学参数。
本实施例中提供的医学影像数据AI处理方法，先获取患者的预诊断部位的影像数据和临床数据，再对获取的影像数据和临床数据进行预处理，以获取预处理后的影像数据和临床数据，然后构建人工智能模型和统计学模型，对预处理后的影像数据和临床数据进行分析处理，最后，基于人工智能模型和统计学模型的处理结果，对患者的预诊断部位的疾病进行分类，从而实现快速有效的对相关影像数据中的病灶特性进行分析。可以有效而快速的辅助影像科医生的的日常临床诊断和鉴别诊断工作。
具体的，在本实施例中，以肺部疾病为例。
步骤S101，获取患者的预诊断部位的影像数据和临床数据。
主要是对影像与临床数据的处理与存储，具体而言，包括收集整理从合作医院收集到的相关影像与临床信息。
步骤S103，获取的影像数据和临床数据进行预处理，以获取预处理后的影像数据和临床数据。
具体而言对影像数据运用生成式对抗网络(GAN)与常规的旋转等方法进行相应的扩增，再应用扩增后的数据进行一点式半自动标注方法的研发，从而开发出肺癌、肺结核病灶及征象标注工具，并使用此工具对影像数据进行标注，标注完成后对相应的关注区域或病灶进行影像组学参数的提取，与此同时借鉴已有的本体语义网、分解指南、参考相关文献完成肺部影像知识库的构建。
首先，基于所述临床数据，对所述影像数据进行扩增，获取扩增后的影像数据。
具体的，在生成式对抗网络(GAN)的构建过程中，将分别构建两种生成式对抗网络分别用于整张CT影像的扩增与局部病灶的影像扩增。生成式对抗网络的基本结构主要包含一个生成器和一个辨别器。Wasserstein GAN(wGAN)的优点在于其解决的传统GAN训练不稳定的问题，这里将主要用于对整幅CT影像的扩增；Conditional GAN(cGAN)可以控制生成数据的一些属性，例如大小和位置等，因此在项目中被用于局部病灶的影像扩增。
然后，对扩增后的影像数据进行标注，获取标注后的影像数据。
肺部影像标注工具提供包括肺癌与肺结核相关的20多种影像学征象的选择与标注，例如：磨玻璃结节、实性结节、混合磨玻璃结节、毛刺、深分叶、浅分叶、空洞、空泡、钙化、液化坏死、瘤肺界面是否清晰、解破学位置、5型支气管异常、胸膜凹陷征、血管集束、血管膨大、树芽征、纵膈淋巴结肿大、肺门淋巴结肿大等。标注方式提供直线、矩形、圆形、箭头、曲线、多边形等图形方式勾勒图中关注区域，同时还提供基于区域生长的一点式标注方法。一点式标注方式的主要意义在于无需医生在一张一张的对病灶进行标注，算法能自动通过对病灶区域的统计学分析对上下相关联的病灶区域进行三维自动分割，从而减轻医生的标注压力。
最后，标注后的影像数据进行提取，获取关注区域的影像组学参数。
这部分主要分成三个子部分，第一部分是对关注区域的分割结果提取出相关的基本信息，例如病灶的长径、短径、平均径、平均CT值、四分之一CT值、四分之三CT值等；第二部分是提取关注区域的影像组学参数，首先我们将用滤镜扩增影像，使用的滤镜包括square、square root、logarithm、exponential、wavelet和Laplacian of Gaussian(LoG)等，然后我们运用开源代码PyRadiomics对影像数据进行First order statistics、Shapedescriptors、Texture classes gray level co-occurrence matrix、Gray level runlength matrix和Gray level size zone matrix等五类影像组学参数的提取，总共提取1120个组学参数；第三部分是组学参数的筛选，这个环节我们设计了一个以多中心多设备来源影像数据为核心的筛选方式，来遴选出稳定性较高的参数并进行验证。这个实验主要租用日本Kyotokagaku公司的X线/CT胸部影像检查模型(包含15个不同CT值与大小的肿瘤模型)PH-1来进行。CT机使用复旦大学附属中山医院的SIEMENS SOMATOM Definition AS和Cannon Aquilion，以及复旦大学附属上海市公共卫生临床中心的Philips Brillance 64、Hitachi Medical Corporation SCENARIA和Cannon Aquilion。通过调整相关机器和后处理参数设定(包括SpiralPitchFactor、Rotation time、KVP、XRayTubeCurrent、迭代算法、Columns、PixelAspectRatio、Field of view、Slice Thickness、SpacingBetweenSlices和ConvolutionKernel等)来获取有些许差异CT影像数据，再利用标注工具分割出关注区域，提取影像组学参数，最终通过观测选择在不用CT机与不同机器参数设置下较为稳定的影像组学参数，为后续模型构建打下坚实基础。
需要说明的是，还包括肺部CT影像知识图谱的构建。
具体的，主要由五个步骤组成。
步骤一：医学影像本体的建立，本体的类别包括解剖结构、影像征象、成像模式、危险因素、诊断、管理、病人。具体还包括，分析构建医学影像本体的目的，明确本体的概念范围，参考已有的医学本体、教科书、医学文献、医学影像图谱，咨询医学影像专家，全面收集医学影像本体的概念和术语，完成医学影像本体的资源收集，定义本体内所有概念的意义及概念之间的关系，以树状层次结构显示类别之间的上下位关系，初步建立起医学影像本体框架。
步骤二：以已建本体中的术语对非结构化的文本资源进行实体识别和标注，通过句法分析和关系抽提进一步获得概念之间的关系，将关系存储入已构建的本体进行本体的扩充。
步骤三，临床指南的分解，临床指南是针对特定的临床情况，经系统研究后制定发布，用以帮助临床医生和患者做出恰当处理的指导性文件。以临床指南为依据，按照指南的诊疗思路构建诊疗语义规则，并加入本体模型中。
步骤四，为定义好的类创建具体的实例，并进行规则推理，由此形成医学影像本体知识库。
步骤五，医学图像信息存储在DICOM为标准的医学图像和文本中，将DICOM中的患者信息作为实例，根据本体术语提取实例的相关信息，动态导入知识库，运行规则后推理获结果，辅助临床决策。
步骤S105，构建人工智能模型和统计学模型，对预处理后的影像数据和临床数据进行分析处理。
具体的，包括运用标注后的CT影像数据训练肺部疾病的三分类模型与肺部病灶的筛查模型，同时融合由第一部分提取的影像组学参数和影像文件中记录的相关临床信息，使用混合专家建模方法构建疾病及亚型分类的相关统计学模型。
主要包括肺癌、肺结核与健康影像分类系统构建和肺结节、肺肿块自动筛查系统的构建。
进一步的，针对肺癌、肺结核与健康影像分类系统构建，收集并整理肺癌、肺结核与体检中的健康CT影像数据，通过数据扩增方法使三类数据达到均衡，运用ConvolutionalNeural Network(CNN)对数据进行训练形成三分类模型，用于在医生阅片前给予一定的病种分类建议。CNN包含局部感知、权值共享和池化三大核心思想，因此此处的核心工作在于设计合理的卷积神经网络结构，以提取具有高区分度的高维视觉特征向量。主要包括：神经网络中卷积层的数量，每个层次卷积和的数量和大小，卷积操作的步长，池化操作的尺度大小和步长，全连接层的数量及每个全连接层神经元的个数等，使所提取的视觉特征尽可能保持足够小的信息损失，具有足够强的表达能力和区分能力。
针对肺结节、肺肿块自动筛查系统的构建，肺结节筛查经过近几年的发展，其技术已经相对成熟，这里我们使用通用的肺结节与肿块的筛查流程与方法构成筛查系统。首先在数据预处理部分，通过分析CT影像的阈值变化获取肺部及较暗部分的mask，再运用连通性分析去除30mm一下的及离心率大于0.99的部分，然后在三维中保留容积在0.68-7.5L之间的部分，从而提取肺部区域。然后建立3D-Unet网络结构，该分割网络主要功能是提取意思候选结节，最大化敏感度，降低漏检率。最后在获得的候选结节中，引入3D-CNN对候选结节进行分类，去除假阳性结节提高检测精度。
步骤S107，基于人工智能模型和统计学模型的处理结果，对患者的预诊断部位的疾病进行分类。
通过构建的影像分类模型、病灶筛查模型、疾病亚型分类模型与第一部分搭建的肺部CT影像知识库，开发完成包含疾病分类系统、筛查系统与自动化结构化报告系统的全流程肺癌、肺结核影像智能辅助诊断系统。
具体而言，即为自动化结构化报告系统的构建。为了完成一份完整的结构化报告，这里需要提取四方面的信息，第一个方面是关于病人的基本信息，通过DICOM文件的解析便可以获得其结构化结果；第二方面是根据影像所得到的观察信息，由前面介绍的标注工具与自动测量模块即可获得；第三方面是对病灶及其周边相关征象的分型分类，这里我们采用混合专家建模方式融合影像组学参数、影像学征象等相关信息所形成的分类模型对病灶及病灶亚型进行分类预测；第四方面是针对疾病及相关信息提出后续治疗建议，肺部CT影像知识库正好可以提供这方面的信息。最终融合这四个方面的内容形成结构化报告供医生参考、修改。
在本发明提供的一种医学影像数据AI处理方法中，先获取患者的预诊断部位的影像数据和临床数据，再对获取的影像数据和临床数据进行预处理，以获取预处理后的影像数据和临床数据，然后构建人工智能模型和统计学模型，对预处理后的影像数据和临床数据进行分析处理，最后，基于人工智能模型和统计学模型的处理结果，对患者的预诊断部位的疾病进行分类，从而实现快速有效的对射频无源器件在大功率下的特性进行分析。可以有效而快速的辅助影像科医生的的日常临床诊断和鉴别诊断工作。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (8)
1.一种医学影像数据AI处理方法，用于对患者的影像数据进行处理，其特征在于，包括：
S101、获取患者的预诊断部位的影像数据和临床数据；
S103、对获取的影像数据和临床数据进行预处理，以获取预处理后的影像数据和临床数据；
S105、构建人工智能模型和统计学模型，对预处理后的影像数据和临床数据进行分析处理；
S102、基于人工智能模型和统计学模型的处理结果，对患者的预诊断部位的疾病进行分类。
2.如权利要求1所述的医学影像数据AI处理方法，其特征在于，在S103中，所述预处理包括：
S201、对所述影像数据运用GAN与旋转方法进行扩增；
S202、对扩增后的数据进行一点式半自动标注，获得征象标注工具；
S203、使用所述征象标注工具对所述影像数据进行标注；
S204、对标注后的影像数据进行提取，获取关注区域的影像组学参数。
3.如权利要求2所述的医学影像数据AI处理方法，其特征在于，采用wGAN对整幅影像数据进行扩增，采用cGAN对局部病灶的影像数据进行扩增。
4.如权利要求2所述的医学影像数据AI处理方法，其特征在于，所述影像组学参数的获取包括：
对关注区域分割结果提取出基本信息；
使用滤镜扩增影像，提取关注区域影像组学参数；
通过多组对比，筛选出稳定的影像组学参数。
5.如权利要求2所述的医学影像数据AI处理方法，其特征在于，构建人工智能模型和统计学模型，对预处理后的影像数据和临床数据进行分析处理，包括：
运用标注后的影像数据构建和训练预诊断部位的疾病分类模型；
运用标注后的影像数据构建和训练预诊断部位的病灶筛查模型。
6.如权利要求5的医学影像数据AI处理方法，其特征在于，还包括：根据所述关注区域的影像组学参数和临床数据，构建预诊断部位的疾病及亚型分类的统计学模型。
7.权利要求5的医学影像数据AI处理方法，其特征在于，包括：根据统计学模型针对患者的预诊断部位的影像出具结构化报告。
8.权利要求5的医学影像数据AI处理方法，其特征在于，基于人工智能模型和统计学模型的处理结果，对患者的预诊断部位的疾病进行分类包括：
利用疾病分类模型、病灶筛查模型完成对患者的预诊断部位的影像进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410865.0A CN111584046B (zh) | 2020-05-15 | 2020-05-15 | 一种医学影像数据ai处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410865.0A CN111584046B (zh) | 2020-05-15 | 2020-05-15 | 一种医学影像数据ai处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111584046A true CN111584046A (zh) | 2020-08-25 |
| CN111584046B CN111584046B (zh) | 2023-10-27 |
Family
ID=72114729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010410865.0A Active CN111584046B (zh) | 2020-05-15 | 2020-05-15 | 一种医学影像数据ai处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111584046B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102925A (zh) * | 2020-09-11 | 2020-12-18 | 高容科技(上海)有限公司 | 一种辅助微创手术人工智能中台 |
| CN112560927A (zh) * | 2020-12-08 | 2021-03-26 | 上海市胸科医院 | 一种肺腺癌浸润性影像组学分类模型的构建方法 |
| CN112735568A (zh) * | 2021-01-26 | 2021-04-30 | 杭州联众医疗科技股份有限公司 | 一种基于医学影像和临床需求的人工智能辅助诊断平台 |
| CN113053523A (zh) * | 2021-04-23 | 2021-06-29 | 广州易睿智影科技有限公司 | 一种持续自我学习多模型融合超声乳腺肿块精准鉴别系统 |
| TWI792751B (zh) * | 2021-12-08 | 2023-02-11 | 國立成功大學 | 醫學影像專案管理平台 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101857624B1 (ko) * | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 |
| WO2019103912A2 (en) * | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
| CN110021431A (zh) * | 2019-04-11 | 2019-07-16 | 上海交通大学 | 人工智能辅助诊断系统、诊断方法 |
| CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
| WO2019241155A1 (en) * | 2018-06-11 | 2019-12-19 | Arterys Inc. | Simulating abnormalities in medical images with generative adversarial networks |
| CN110853051A (zh) * | 2019-10-24 | 2020-02-28 | 北京航空航天大学 | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 |
| CN112365973A (zh) * | 2020-11-02 | 2021-02-12 | 太原理工大学 | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 |
-
2020
- 2020-05-15 CN CN202010410865.0A patent/CN111584046B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101857624B1 (ko) * | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 |
| WO2019103912A2 (en) * | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
| WO2019241155A1 (en) * | 2018-06-11 | 2019-12-19 | Arterys Inc. | Simulating abnormalities in medical images with generative adversarial networks |
| US20210249142A1 (en) * | 2018-06-11 | 2021-08-12 | Arterys Inc. | Simulating abnormalities in medical images with generative adversarial networks |
| CN110021431A (zh) * | 2019-04-11 | 2019-07-16 | 上海交通大学 | 人工智能辅助诊断系统、诊断方法 |
| CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
| CN110853051A (zh) * | 2019-10-24 | 2020-02-28 | 北京航空航天大学 | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 |
| CN112365973A (zh) * | 2020-11-02 | 2021-02-12 | 太原理工大学 | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102925A (zh) * | 2020-09-11 | 2020-12-18 | 高容科技(上海)有限公司 | 一种辅助微创手术人工智能中台 |
| CN112560927A (zh) * | 2020-12-08 | 2021-03-26 | 上海市胸科医院 | 一种肺腺癌浸润性影像组学分类模型的构建方法 |
| CN112735568A (zh) * | 2021-01-26 | 2021-04-30 | 杭州联众医疗科技股份有限公司 | 一种基于医学影像和临床需求的人工智能辅助诊断平台 |
| CN113053523A (zh) * | 2021-04-23 | 2021-06-29 | 广州易睿智影科技有限公司 | 一种持续自我学习多模型融合超声乳腺肿块精准鉴别系统 |
| TWI792751B (zh) * | 2021-12-08 | 2023-02-11 | 國立成功大學 | 醫學影像專案管理平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111584046B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fuhrman et al. | A review of explainable and interpretable AI with applications in COVID‐19 imaging | |
| Perumal et al. | Detection of COVID-19 using CXR and CT images using Transfer Learning and Haralick features | |
| CN111584046A (zh) | 一种医学影像数据ai处理方法 | |
| Ueda et al. | Technical and clinical overview of deep learning in radiology | |
| Xu et al. | DeepLN: a framework for automatic lung nodule detection using multi-resolution CT screening images | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断系统 | |
| CN108171692A (zh) | 一种肺部影像检索方法及装置 | |
| Avola et al. | Multimodal feature fusion and knowledge-driven learning via experts consult for thyroid nodule classification | |
| CN106203488A (zh) | 一种基于受限玻尔兹曼机的乳腺图像特征融合方法 | |
| Behura | The cluster analysis and feature selection: Perspective of machine learning and image processing | |
| Guo et al. | DeepLN: an artificial intelligence-based automated system for lung cancer screening | |
| Mehrotra et al. | Diagnosis of hypercritical chronic pulmonary disorders using dense convolutional network through chest radiography | |
| Qiu et al. | Automatic prostate gleason grading using pyramid semantic parsing network in digital histopathology | |
| Tian et al. | Radiomics and Its Clinical Application: Artificial Intelligence and Medical Big Data | |
| CN110288577A (zh) | 一种3d实现多器官病灶整合的控制方法及控制装置 | |
| Guptha et al. | Earth mover's distance-based CBIR using adaptive regularised Kernel fuzzy C-means method of liver cirrhosis histopathological segmentation | |
| Xu et al. | Identification of benign and malignant lung nodules in CT images based on ensemble learning method | |
| Meng et al. | MSMFN: an ultrasound based multi-step modality fusion network for identifying the histologic subtypes of metastatic cervical lymphadenopathy | |
| Duvieusart et al. | Multimodal cardiomegaly classification with image-derived digital biomarkers | |
| Oniga et al. | Applications of ai and hpc in the health domain | |
| Pradhan | An early diagnosis of lung nodule using CT images based on hybrid machine learning techniques | |
| Javed et al. | Deep learning techniques for diagnosis of lungs cancer | |
| Alshayeji et al. | Lung cancer classification and identification framework with automatic nodule segmentation screening using machine learning | |
| LAGHMATI et al. | Segmentation of Breast Cancer on Ultrasound Images using Attention U-Net Model | |
| Essaf et al. | Review on deep learning methods used for computer-aided lung cancer detection and diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |