CN113762285A - 一种分析和处理医学影像的系统及方法 - Google Patents

一种分析和处理医学影像的系统及方法 Download PDF

Info

Publication number
CN113762285A
CN113762285A CN202111060397.XA CN202111060397A CN113762285A CN 113762285 A CN113762285 A CN 113762285A CN 202111060397 A CN202111060397 A CN 202111060397A CN 113762285 A CN113762285 A CN 113762285A
Authority
CN
China
Prior art keywords
medical image
classification
module
images
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111060397.XA
Other languages
English (en)
Inventor
程明霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111060397.XA priority Critical patent/CN113762285A/zh
Publication of CN113762285A publication Critical patent/CN113762285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/259Fusion by voting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供一种分析和处理医学影像的系统及方法,用于对疾病诊断以及治疗相关人体部位时进行自动分类识别和处理,其特征在于,包括:医学影像获取单元,用于采集原始医学影像;以及网络单元,其中,网络单元包括医学影像预处理模块、医学影像抽样组合模块、医学影像分类模块、结果融合模块、以及输出模块,医学影像预处理模块对原始医学影像进行预处理,医学影像抽样组合模块对预处理后的原始医学影像进行抽样组合,得到待分类医学影像,医学影像分类模块为训练好的身体分类模型,用于对待分类医学影像进行分类,结果融合模块用于对分类的结果进行融合确定最终分类结果,输出模块用于输出与待分类医学影像对应的最终分类结果。

Description

一种分析和处理医学影像的系统及方法
技术领域
本发明属于影像分析和处理技术领域,涉及一种分析和处理医学影像的系统及方法。
背景技术
基于深度学习(例如深度卷积神经网络)的人工智能辅助诊疗越多越多的被应用到疾病诊断、病灶尺寸测量、外科手术规划或介入手术规划、放疗靶区勾画和计划设计等中来。人工智能辅助诊疗能提升医生工作效率,减轻工作负担,并且能提升基层医院的医疗质量。
在人工智能辅助诊疗的应用中,如何精准地自动识别待处理的医学影像所在的身体部位,并以此为依据自动进行相应数据处理、自动调用相关的算法模型,变得越来越重要。以人工智能辅助诊断为例,在全身CT(如PETCT)上自动进行人工智能对肺结节的识别时,首先需要准确自动识别出人体胸部的CT,然后由人工智能模块在胸部CT上检测和识别肺结节。如果不能精准的分类识别出胸部CT,肺结节识别模型需要对全身CT进行识别,这非常浪费时间,且可能导致更多的识别错误;或者需要人通过肉眼识别胸部CT,做出标记或剪裁,然后由人工智能模块在胸部CT上进行肺结节识别,这也是对人力资源的极大浪费。
人工智能辅助治疗也常常碰到类似的情况。以肿瘤放疗靶区自动勾画为例,虽然都是人体脊髓,但由于周边解剖结构的不同,颈部脊髓的勾画和胸部脊髓的勾画使用的临床规范不一致,分别对应着不同的自动勾画模型,需要提前区分开是颈部CT还是胸部CT,然后调用不同的自动勾画模型,才能进行高效精准的脊髓自动勾画操作。
除了日常诊疗之外,当进行医学影像相关科研和基于医学影像的产品研发时,也都面临着对已获取或即将获取的大量医学影像自动进行分类筛选和后续处理的工作。人工进行分类筛选和处理的效率低,准确度差;如果依赖高度专业化的医学人员来进行分类和处理,成本会很高,效率也无法得到保障。
目前对医学影像自动进行部位识别的方法总体而言精准度较低,并且往往只能识别单个身体部位(例如胸部),无法进行复杂的多个身体部位(例如胸部+上腹部的组合)的自动识别。例如有些方法试图通过图像融合比对来进行身体部位识别,但因为不同人体解剖结构的差异,通过刚性配准来进行身体部位分类的准确度较低。有些方法试图通过对影像横断面上身体不同部位的内外部设定虚拟标记的方式来区分不同身体部位,但这种人工设计的特征提取(虚拟标记)不能很好的提取身体部位所有的图像特征,精准度也比较差,也只能大致区分胸部、腹部和盆腔部位。有些方式试图通过对身体部位的某个标志性器官的识别来判断,例如通过识别心脏来识别胸部,通过识别肝脏来识别腹部等,这种方式自身受限于单个器官识别的准确度,也没有提取和运用身体部位更多的差异化特征,准确度较差。
发明内容
为解决问题,提供一种对医学影像进行精准自动的身体部位分类识别方法,本发明采用了如下技术方案:
本发明提供了一种分析和处理医学影像的系统,用于对疾病诊断以及治疗相关人体部位时进行自动分类识别和处理,其特征在于,包括:医学影像获取单元,用于采集原始医学影像;以及网络单元,其中,网络单元包括医学影像预处理模块、医学影像抽样组合模块、医学影像分类模块、结果融合模块、以及输出模块,医学影像预处理模块对原始医学影像进行预处理,医学影像抽样组合模块对预处理后的原始医学影像进行抽样组合,得到待分类医学影像,医学影像分类模块为训练好的身体分类模型,用于对待分类医学影像进行分类,结果融合模块用于对分类的结果进行融合确定最终分类结果,输出模块用于输出与待分类医学影像对应的最终分类结果。
本发明提供的一种分析和处理医学影像的系统,还可以具有这样的技术特征,其中,身体分类模型基于多个经过分类标注的、不同身体部位的样本医学影像训练得到,包括以下步骤:步骤T1,获取多个原始医学影像数据;步骤T2,对原始医学影像数据进行筛选和脱敏处理;步骤T3,对脱敏后的原始医学影像数据进行人工分类标注;步骤T4,基于已完成人工分类标注的原始医学影像数据中的各身体部位影像进行预处理;步骤T5,对完成预处理的原始医学影像数据进行数据扩增,并进行抽样组合得到训练影像;步骤T6,基于训练影像对预设的神经网络进行训练得到身体分类模型,身体分类模型能够根据输入的医学影像输出相应的身体部位分类结果。
本发明提供的一种分析和处理医学影像的系统,还可以具有这样的技术特征,其中,身体分类模型基于高维度特征自动提取的特点对已完成人工分类标注的医学影像中的各个身体部位的横断面、矢状面以及冠状面中的至少一个断面的特征进行提取。
本发明提供的一种分析和处理医学影像的系统,还可以具有这样的技术特征,其中,抽样组合中,最小抽样单位为1张影像,最大抽样单位为横断面、矢状面或冠状面上所有影像,最小组合数为1,最大组合数为预处理后待分类医学影像相关断面的最大数量。
本发明提供的一种分析和处理医学影像的系统,还可以具有这样的技术特征,其中,基于原始医学影像的类别和设定的不同,预处理包括对原始医学影像进行降噪、插值、磁共振偏场校正、磁共振数据标准化、尺寸缩放以及图像归一,预处理还包括根据预设算法生成特定断面的图像,以及进行不同断面图像在同一平面或空间上的拼接,预处理还包括根据预设算法生成特定CT值范围或MR强度值范围的影像用于分类识别,例如仅保留CT图像中CT值较高的骨骼用于分类识别。
本发明提供的一种分析和处理医学影像的系统,还可以具有这样的技术特征,其中,网络单元还可以获取分类结果的预测概率,结果融合模块对分类结果进行融合的方式包括对多个分类结果进行投票、加权平均、阈值判定以及基于预测概率得到的累加概率来确定,投票为基于每种分类结果的数量确定最终分类结果,以及选择数量最多的分类结果确定最终分类结果。
本发明还提供一种分析和处理医学影像的方法,其特征在于,包括以下步骤:步骤S1,获取多张原始医学影像的原始数据;步骤S2,对原始数据做预处理;步骤S3,将完成预处理的原始医学影像进行抽样和组合,得到待分类医学影像;步骤S4,基于训练好的身体分类模型对待分类医学影像进行分类,得到与待分类医学影像对应的分类结果;步骤S5,基于分类结果,对待分类医学影像的分类结果进行融合,得到最终分类结果,其中,训练好的身体分类模型能够根据输入的医学影像输出相应的身体部位分类结果。
本发明还提供一种计算机可读的存储介质,用于存储计算机程序,其特征在于,计算机程序被配置成执行时实现的一种分析和处理医学影像的方法的步骤。
发明作用与效果
根据本发明的一种分析和处理医学影像的系统及方法,在获取原始医学影像后,由医学影像抽样组合模块对经过预处理的原始医学影像进行抽样组合得到待分类医学影像,然后通过医学影像分类模块对待分类医学影像进行分类得到对应的分类结果,该医学影像分类模块为基于对预设的神经网络进行由根据需求设定而分类标注的身体各个部位的医学影像进行训练得到的身体分类模型,而该身体分类模型基于深度学习强大的高维度特征自动提取的优点,能够对医学影像中的身体部位基于各类特征进行精准提取并分类,不仅避免了传统方式手工特征提取较为主观、不够精准的问题,而且还能够实现根据应用场景对身体各部位进行符合场景需求的任意分类或者分类组合功能,从而表现出了相对于其他分类方式更为卓越的性能。最后由结果融合模块基于分类结果进行融合确定最终分类结果,通过对分类结果进行融合的方式实现了对医学影像中的身体各部位的分类。
本发明的一种分析和处理医学影像的系统及方法在对医学影像进行身体各部位进行分类时,具有高精度识别、高准确分类、分类有效性以及广泛应用的普适性特点,且在与AI自动辅助诊疗进行结合的实际应用时,还达到了提升AI自动辅助诊疗的效率。
附图说明
图1是本发明实施例中的分析和处理医学影像的系统结构示意图;
图2是本发明实施例中的网络单元的架构示意图;
图3是本发明实施例中的待分类医学影像的影像位面示意图;
图4是本发明实施例中的一种分析和处理医学影像的系统工作流程图;
图5是本发明实施例中的一种分析和处理医学影像的方法流程图;
图6是本发明变形例待分类医学影像预处理后不同位面拼接示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下结合实施例及附图对本发明的一种分析和处理医学影像的系统及方法作具体阐述。
<实施例>
图1是本发明实施例中的一种分析和处理医学影像的系统结构示意图。
如图1所示,分析和处理医学影像的系统10包括医学影像获取单元1、医学影像存储单元2、传输单元3以及网络单元4。
医学影像获取单元1,用于获取CT、MRI、PETCT或3D超声等原始医学影像。
医学影像存储单元2用于对获取到的原始医学影像进行存储。
传输单元3用于将原始医学影像传输至医学影像存储单元进行储存,以及将存储的原始医学影像传输至网络单元。
本实施例中,医学影像存储单元2以及传输单元3的原始医学影像既可以与医学影像获取单元1通信通过CT扫描仪、MRI扫描仪等影像扫描仪得到,也可以和其他设备进行通信连接得到。
网络单元4用于对接收到的原始医学影像分析处理后完成分类,并输出分类结果。
图2是本发明实施例中的网络单元的架构示意图。
如图1及图2所示,网络单元4包括医学影像预处理模块401、医学影像抽样组合模块402、医学影像分类模块403、结果融合模块404以及输出模块405。具体地:
医学影像预处理模块401用于对原始医学影像进行预处理。
本实施例中,采用预设算法对原始医学影像进行预处理,根据原始医学影像的类别和设定的不同,预处理包括对原始医学影像进行降噪、插值、磁共振偏场校正、磁共振数据标准化、尺寸缩放以及图像归一等,预设尺寸可根据实际应用的需求进行设置,例如“256X 256”。
其中预处理还包括根据预设算法生成特定断面的图像,包括横断面、中心矢状面、中心冠状面的图像,以及进行不同断面图像的组合应用、或不同端面在同一平面或空间上的拼接。具体地:
将横断面、中心矢状面、中心冠状面的2个或3个断面组合或将横断面、中心矢状面、中心冠状面两两或三个断面在平面上或在空间上进行立体拼接。
医学影像抽样组合模块402用于对预处理后的原始医学影像进行抽样组合,得到待分类医学影像。
本实施例中,抽样组合对完成预处理的原始医学影像进行抽样并组合。具体地:
最小抽样单位为1张图像,最大抽样单位为该医学影像中的横断面、矢状面、或冠状面上所有图像,最小组合数为1,最大组合数为预处理后待分类医学影像相关断面的最大数量。
抽样组合方式有多种,根据具体需求而定,可随机抽样,也可以矢状面图像中心轴左右、冠状面图像前后、横断面图像上下进行对称随机抽样,或按从左到右、从上到下、从前往后等方式抽样组合。
本实施例中,抽样组合模式采用对矢状面按从左到右的顺序每次抽样5张进行组合,共计抽样3次,得到3组待分类识别的影像。
当只采用1种类型的身体分类模型进行分类,例如只采用重建后的中心矢状面进行下一步的分类识别,抽样3次的话,那么总计抽样1X3=3组数据。
当同时采用3种类型(横断面、中心矢状面、中心冠状面)的身体分类模型进行分类,抽样3次的话,那么总计抽样3X3=9组数据。
医学影像分类模块403为训练好的身体分类模型,用于对待分类医学影像进行分类。
如图2所示,该身体分类模型基于高维度特征自动提取的特点能够对已完成人工分类标注的医学影像中的各个身体部位的横断面、矢状面以及冠状面中的至少一个断面的特征进行提取。具体地:
本实施例中,该身体分类模型利用不同身体部位解剖结构上的自然的差异化特征、不同解剖部位的整体特征,以及不同身体部位在横断面、矢状面、冠状面上随不同解剖层次推进的固有的模式特征进行特征提取。
本实施例中,身体分类模型基于多个经过分类标注的、不同身体部位的样本医学影像训练得到,包括以下步骤:
步骤T1,获取多个原始医学影像数据。
步骤T2,对原始医学影像数据进行筛选和脱敏处理。
步骤T3,对脱敏后的原始医学影像数据进行人工分类标注。
本实施例中,进行人工分类标注时,类别划分由身体自动分类后的需求和任务而定,例如,如果身体自动分类是为了便于分类后自动进行肿瘤放疗的靶区勾画,那么依据靶区勾画模块的设定,可将人体分为头颈部、胸部、上腹部、男性盆腔和女性盆腔5个分类或更多个分类。
依据人体解剖部位的逻辑和身体自动分类后的涉及AI辅助诊疗任务的不同,类别可为单个器官、解剖结构临近的一组器官、自定义的多组器官、或完整的人体等。
步骤T4,基于已完成人工分类标注的原始医学影像数据中的各身体部位影像进行预处理。
本实施例中,对原始医学影像采用2D方式进行分类,而医学影像的预处理和使用分类的影像位面和影像位面组合有关。具体地:
当不需要对影像位面组合时,无需将横断面重建为中心矢状面或中心冠状面;
当需要对影像位面进行组合使用身体横断面、冠状面以及矢状面进行身体部位分类时,则需要将原始医学影像(通常为横断面)重建为中心矢状面(如程序设定需要)和中心冠状面(如程序设定需要)。
图3是本发明实施例中的待分类医学影像的影像位面示意图。
如图3所示,(a)行的三个图从左至右依次为头颈部横断面、头颈部重建中心矢状面、头颈部重建中心冠状面示意图;(b)行的三个图从左至右依次为胸部横断面、胸部重建中心矢状面、胸部重建中心冠状面示意图;(c)行的三个图从左至右依次为上腹部横断面、上腹部重建中心矢状面、上腹部重建中心冠状面示意图;(d)行的三个图从左至右依次为男性盆腔横断面、男性盆腔重建中心矢状面、男性盆腔重建中心冠状面示意图;(e)行的三个图从左至右依次为女性盆腔横断面、女性盆腔重建中心矢状面、女性盆腔重建中心冠状面示意图。
步骤T5,对完成预处理的原始医学影像进行数据扩增,并进行抽样组合得到训练影像。
本实施例中,数据扩增方式包括扭曲、旋转、平移、裁剪等,也可结合基于特定任务的数据扩增方式。
步骤T6,基于训练影像对预设的神经网络进行训练得到身体分类模型。
本实施例中,将各个身体部位的样本影像如头颈部、胸部、腹部、男性盆腔以及女性盆腔输入至身体分类模型中进行分类,得到预测的分类结果,例如“头颈部”,将该预测的分类结果和实际标注的分类结果进行对比,使得预测的分类结果和标注的分类结果之间的误差最小化,即可完成一次训练,依次类推进行多次训练,直至所有身体样本影像训练完毕,即可得到最终能够根据输入的医学影像输出相应身体部位的身体分类模型。
结果融合模块404用于对分类的结果进行融合确定最终分类结果。
对分类结果进行融合的方式包括对多个分类结果进行投票、加权平均以及阈值判定等。
本实施例中,采用投票方式对分类结果进行融合,即,基于每种分类结果的数量来确定最终分类结果,以及基于数量最多的分类结果确定为最终分类结果。具体地:
身体分类模型将所有医学影像分为头颈部、胸部、腹部、男性盆腔、女性盆腔这5类,且具有排他性(即待分类医学影像只能属于一种分类,例如腹部,不能是分类组合,例如胸部+腹部)。
当有n个抽样组合的分类结果时,则对该分类结果进行融合并获得最终分类结果的过程如下:
首先,获取n个抽样组合中分类结果为“头颈部”的第一结果数量、分类结果为“胸部”的第二结果数量、分类结果为“腹部”的第三结果数量、分类结果为“男性盆腔”的第四结果数量、分类结果为“女性盆腔”的第五结果数量;
然后,根据第一结果数量、第二结果数量、第三结果数量、第四结果数量以及第五结果数量,确定最终的分类结果。
例如,当第一结果数量最大时,确定最终分类结果为“头颈部”;当第三结果数量最大时,确定最终分类结果为“腹部”。
输出模块405用于输出与待分类医学影像对应的最终分类结果。
图4是本发明实施例中的一种分析和处理医学影像的系统工作流程图。
如图4所示,分析和处理医学影像的系统10的工作流程包括以下步骤:
步骤A1,医学影像获取单元1获取原始医学影像;
步骤A2,医学影像存储单元2将原始医学影像进行存储;
步骤A3,传输单元3将存储的原始医学影像传输至网络单元4;
步骤A4,网络单元4对接收到的原始医学影像进行分析处理后完成分类并输出最终分类结果。
本实施例中,步骤A4的子步骤包括以下步骤:
步骤B1,医学影像预处理模块401对原始医学影像的原始数据进行预处理;
步骤B2,医学影像抽样组合模块402对预处理后的原始医学影像进行抽样组合,得到待分类医学影像;
步骤B3,医学影像分类模块403基于训练好的身体分类模型对待分类医学影像进行分类,得到与待分类医学影像对应的分类结果;
步骤B4,结果融合模块404对分类结果进行融合确定最终分类结果;
步骤B5,输出模块405输出最终分类结果。
图5是本发明实施例中的一种分析和处理医学影像的方法流程图。
如图5所示,一种分析和处理医学影像的方法包括以下步骤:
步骤S1,获取多张原始医学影像的原始数据。
步骤S2,对原始数据做预处理。
步骤S3,将完成预处理的原始医学影像进行抽样和组合,得到待分类医学影像。
步骤S4,基于训练好的身体分类模型对待分类医学影像进行分类,得到与待分类医学影像对应的分类结果。
本实施例中,训练好的身体分类模型能够根据输入的医学影像输出相应的身体部位分类结果。
步骤S5,基于分类结果,对待分类医学影像的分类结果进行融合,得到最终分类结果。
如上,本实施例提供了一种分析和处理医学影像的方法,上述方法还可以配置成计算机程序并存储在计算机存储介质中,该计算机程序用于使计算机执行上述分析和处理医学影像的方法的步骤。
实施例作用与效果
根据本实施例提供的一种分析和处理医学影像的系统及方法,在获取原始医学影像后,由医学影像抽样组合模块对经过预处理的原始医学影像进行抽样组合得到待分类医学影像,然后通过医学影像分类模块对待分类医学影像进行分类得到对应的分类结果,最后由结果融合模块基于分类结果进行融合确定与原始医学影像对应的最终分类结果。本实施例的一种分析和处理医学影像的系统及方法在对医学影像进行身体各部位进行分类时,具有高精度识别、高准确分类、分类有效性以及广泛应用的普适性特点,且在与AI自动辅助诊疗进行结合的实际应用时,还达到了提升AI自动辅助诊疗的效率的效果。
实施例中,由于身体分类模型通过采用人工分类标注好的身体各个部位的医学影像对预设的神经网络进行训练得到,因此该身体分类模型基于强大的高维度特征自动提取的优点,利用不同身体部位解剖结构上的自然的差异化特征、不同解剖部位的整体特征,以及不同身体部位在横断面、矢状面、冠状面上随不同解剖层次推进的固有的模式特征,能够对医学影像中的身体部位基于各类特征进行精准提取并分类,不仅避免了传统方式手工特征提取较为主观、不够精准的问题,而且还能够实现根据应用场景对身体各部位进行符合场景需求的任意分类或者分类组合功能,从而表现出了相对于其他分类方式更为卓越的性能。
<变形例一>
本变形例一与实施例的不同点在于网络单元4具有获取最终分类结果的预测概率的功能。
为便于表述,在本变形例一中对于与实施例相同的结构,赋予同样的符号并省略相同的说明。
在本变形例一中,网络单元4还可以获取分类结果的预测概率,然后输出最终分类结果和预测概率。
由此,结果融合模块404对分类结果进行融合的方式还可以是基于分类结果的预测概率来确定最终分类结果。具体地:
首先,医学影像分类模块403基于训练好的身体分类模型对待分类医学影像进行分类,得到与待分类医学影像对应的分类结果并输出与该分类结果所对应的预测概率。
然后,结果融合模块404根据预测概率对待分类医学影像的分类结果进行融合,得到最终分类结果。
在本变形例一中,基于预测概率进行融合从而确定最终分类结果的方式为,将相同类型的分类结果的预测概率进行累加得到累加概率,基于累加概率中最大的分类结果确定为最终分类结果。具体地:
根据具体任务将身体分为5类:头颈部、胸部、腹部、男性盆腔、女性盆腔,且具有排他性,则确定最终分类结果的过程如下:
首先,获取所有抽样组合分类结果对应的头颈部预测概率,将所有预测概率进行累加,得到头颈部预测的累加概率;
获取所有抽样组合分类结果对应的胸部预测概率,将所有预测概率进行累加,得到胸部预测的累加概率;
获取所有抽样组合分类结果对应的腹部预测概率,将所有预测概率进行累加,得到腹部预测的累加概率;
获取所有抽样组合分类结果对应的男性盆腔预测概率,将所有预测概率进行累加,得到男性盆腔预测的累加概率;
获取所有抽样组合分类结果对应的女性盆腔预测概率,将所有预测概率进行累加,得到女性盆腔预测的累加概率;
然后,根据各部位分类对应的累加概率,确定最终的分类结果。
例如,如果待分类医学影像累加概率最大的身体部位即为最终的分类结果。例如,如果女性盆腔的累加概率最大,那么可以确定最终身体分类结果为女性盆腔。
在本变形例一中,将该分析和处理医学影像的系统与AI自动辅助诊疗模型结合应用于实际场景时,例如,在肺结节筛查中,当身体部位分类显示待分类医学影像属于胸部的概率为94%,则自动调用AI辅助肺结节筛查模型;当身体部位分类显示待分类医学影像属于胸部的概率为5%,则不调用AI辅助肺结节筛查模型。
根据本变形例一的网络单元,在具有与实施例相同的技术效果的基础上,还能够提供最终分类结果的预测概率供医生参考,例如,预测该身体部位为头颈部的概率为80%,或者根据该预测概率自动调用相应的自动辅助诊疗程序。
<变形例二>
本变形例二与实施例的不同点在于对原始医学影像进行3D拼接预处理。
为便于表述,在本变形例二中对于与实施例相同的结构,赋予同样的符号并省略相同的说明。
本变形例二中,对不同的影像位面进行3D立体拼接预处理的过程具体如下:
当需要使用医学影像的矢状面进行分类识别时,则预处理包括将基于横断面(水平面)的各分类对应的医学影像重建为中心矢状面图像;
当需要使用医学影像的冠状面进行分类识别时,则预处理包括将基于横断面(水平面)的各分类对应的医学影像重建为中心冠状面图像。
基于身体分类模型进行2个断面或3个断面图像的3D拼接,并以此进行抽样组合,该3D拼接可以采用垂直拼接,也可以采用其他不同角度的拼接。
图6是本发明变形例二中待分类医学影像预处理后不同位面拼接示意图。
如图6所示的头颈部冠状面和矢状面正交拼接的MRI图,本变形例二通过对不同断面图像进行3D拼接的方式进行预处理,不仅同样能够实现与实施例一样的技术效果,而且其直观的视觉效果还能够使得身体分类模型在分类时更加精准。
上述实施例和变形例仅用于举例说明本发明的具体实施方式,而本发明不限于实施例和变形例的描述范围。
在实施例和变形例一中,对分类结果进行融合确定最终分类结果的方式为投票方式以及对预测概率进行累加确定的方式,在本发明的其他方案中,该确定最终分类结果的方式还可以是阈值判定,即,设定为当分类结果大于预设的阈值,或分类概率大于预设概率时,来确定最终结果,预设的阈值或预设概率根据实际需求而定。例如,当所有抽样组合分类结果对应的预测值累加后,只有男性盆腔累加值为9,大于预设的阈值5,那么最终分类结果为男性盆腔。又例如,获取所有抽样组合分类结果对应的平均预测概率,只有女性盆腔平均预测概率大于预设概率,那么最终分类结果为女性盆腔。
或者,上述确定最终分类结果的阈值判定方式还可以是以其中1至2种身体分类模型为主,剩余其他分类方式为辅。例如当主要采用身体矢状面模型进行分类时,如果矢状面分类结果融合时结果明确,例如矢状面分类结果显示胸部累加值为10,远大于预设阈值5,那么流程结束,输出分类结果为胸部;如果矢状面分类结果融合时结果不明确,例如所有身体部位累加值都低于阈值,可调用冠状面分类模型进行辅助决策。
另外,上述确定最终分类结果的方式还可以是加权平均,即,将1至多种身体分类模型(例如横断面、矢状面、或冠状面)的结果赋予同样或不同的权重,如实施例中的投票方式和变形例预测概率累加等方式所示。
在实施例中,身体分类模型基于卷积神经网络CNN这一经典网络架构构建而成,在本发明的其他方案中,该身体分类模型也可使用多层感知机MLP、Transformer等深度学习的模型架构或这些模型架构的变体或这些模型架构的组合来进行身体部位的分类。
在实施例中,预处理包括根据预设算法对原始医学影像进行降噪、插值等处理以及生成断面图像并对其进行组合或拼接,在本发明的其他方案中,预处理还可以是根据预设算法生成特定CT值范围或MR强度值范围的影像用于分类识别,例如仅保留CT图像中CT值较高的骨骼用于分类识别。
在实施例中,分析和处理医学影像的系统的各单元及模块的划分仅仅作为一种逻辑功能划分,在本发明的其他方案中,该分析和处理医学影像的系统在实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者集成到另一系统,或一些特征可以忽略,或不执行。其中,所显示或所讨论的相互之间的耦合或通信连接可以通过一些接口、模块或单元的间接耦合或通信连接。
在实施例中,分析和处理医学影像的系统的医学影像获取模块、医学影像预处理模块、医学影像抽样组合模块、医学影像分类模块、结果融合模块以及输出模块集成在网络单元中,在本发明的其他方案中,这些模块也可以作为该系统的单元独立存在,也可以是两个或以上模块集成在一个单元中,可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
在实施例中,分析和处理医学影像的系统为独立存在,在本发明的其他方案中,该系统还可以集成在网络设备中,该网络设备可以是终端或服务器等设备,其中,该终端可以包括平板电脑、笔记本电脑或个人计算机等。

Claims (8)

1.一种分析和处理医学影像的系统,用于对疾病诊断以及治疗相关人体部位时进行自动分类识别和处理,其特征在于,包括:
医学影像获取单元,用于采集原始医学影像;以及
网络单元,
其中,所述网络单元包括医学影像预处理模块、医学影像抽样组合模块、医学影像分类模块、结果融合模块、以及输出模块,
所述医学影像预处理模块对所述原始医学影像进行预处理,
所述医学影像抽样组合模块对预处理后的所述原始医学影像进行抽样组合,得到待分类医学影像,
所述医学影像分类模块为训练好的身体分类模型,用于对所述待分类医学影像进行分类,
所述结果融合模块用于对分类的结果进行融合确定最终分类结果,
所述输出模块用于输出与所述待分类医学影像对应的所述最终分类结果。
2.根据权利要求1所述的一种分析和处理医学影像的系统,其特征在于:
其中,所述身体分类模型基于多个经过分类的、不同身体部位的样本医学影像训练得到,包括以下步骤:
步骤T1,获取多个原始医学影像数据;
步骤T2,对所述原始医学影像数据进行筛选和脱敏处理;
步骤T3,对脱敏后的原始医学影像数据进行人工分类标注;
步骤T4,基于已完成所述人工分类标注的原始医学影像数据中的各身体部位影像进行预处理;
步骤T5,对完成所述预处理的原始医学影像数据进行数据扩增,并进行抽样组合得到训练影像;
步骤T6,基于所述训练影像对预设的神经网络进行训练得到身体分类模型,
所述身体分类模型能够根据输入的医学影像输出相应的身体部位分类结果。
3.根据权利要求2所述的一种分析和处理医学影像的系统,其特征在于:
其中,所述身体分类模型基于高维度特征自动提取的特点对所述已完成人工分类标注的医学影像中的各个身体部位的横断面、矢状面以及冠状面中的至少一个断面的特征进行提取。
4.根据权利要求3所述的一种分析和处理医学影像的系统,其特征在于:
其中,所述抽样组合中,最小抽样单位为1张影像,最大抽样单位为所述横断面、所述矢状面或所述冠状面上所有影像,最小组合数为1,最大组合数为预处理后的所述待分类医学影像相关断面的最大数量。
5.根据权利要求1所述的一种分析和处理医学影像的系统,其特征在于:
其中,基于所述原始医学影像的类别和设定的不同,所述预处理包括对所述原始医学影像进行降噪、插值、磁共振偏场校正、磁共振数据标准化、尺寸缩放以及图像归一,
所述预处理还包括根据预设算法生成特定断面的图像,以及进行不同断面图像的组合应用、或不同断面在同一平面或空间上的拼接,
所述预处理还包括根据预设算法生成特定CT值范围或MR强度值范围的影像。
6.根据权利要求1所述的一种分析和处理医学影像的系统,其特征在于:
其中,所述网络单元还可以获取所述分类结果的预测概率,
所述结果融合模块对所述分类结果进行融合的方式包括对多个所述分类结果进行投票、加权平均、阈值判定以及基于所述预测概率得到的累加概率来确定,
所述投票为基于每种所述分类结果的数量确定所述最终分类结果,以及选择数量最多的所述分类结果确定所述最终分类结果。
7.一种分析和处理医学影像的方法,用于对疾病诊断以及治疗相关人体部位时进行自动分类识别和处理,其特征在于,包括以下步骤:
步骤S1,获取多张原始医学影像的原始数据;
步骤S2,对所述原始数据做预处理;
步骤S3,将完成所述预处理的所述原始医学影像进行抽样和组合,得到待分类医学影像;
步骤S4,基于训练好的身体分类模型对所述待分类医学影像进行分类,得到与所述待分类医学影像对应的分类结果;
步骤S5,基于所述分类结果,对所述待分类医学影像的所述分类结果进行融合,得到最终分类结果,
其中,所述训练好的身体分类模型能够根据输入的医学影像输出相应的身体部位分类结果。
8.一种计算机可读的存储介质,用于存储计算机程序,其特征在于,所述计算机程序被配置成执行时实现权利要求7所述的一种分析和处理医学影像的方法的步骤。
CN202111060397.XA 2021-09-10 2021-09-10 一种分析和处理医学影像的系统及方法 Pending CN113762285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111060397.XA CN113762285A (zh) 2021-09-10 2021-09-10 一种分析和处理医学影像的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111060397.XA CN113762285A (zh) 2021-09-10 2021-09-10 一种分析和处理医学影像的系统及方法

Publications (1)

Publication Number Publication Date
CN113762285A true CN113762285A (zh) 2021-12-07

Family

ID=78794619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111060397.XA Pending CN113762285A (zh) 2021-09-10 2021-09-10 一种分析和处理医学影像的系统及方法

Country Status (1)

Country Link
CN (1) CN113762285A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114974522A (zh) * 2022-07-27 2022-08-30 中国医学科学院北京协和医院 医学影像处理方法、装置、电子设备及存储介质
CN116741350A (zh) * 2023-08-16 2023-09-12 枣庄市山亭区妇幼保健院 一种用于医院x射线影像的档案管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718952A (zh) * 2016-01-22 2016-06-29 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的方法
CN109117890A (zh) * 2018-08-24 2019-01-01 腾讯科技(深圳)有限公司 一种图像分类方法、装置和存储介质
CN109461495A (zh) * 2018-11-01 2019-03-12 腾讯科技(深圳)有限公司 一种医学图像的识别方法、模型训练的方法及服务器
CN110363760A (zh) * 2019-07-22 2019-10-22 广东工业大学 用于识别医学图像的计算机系统
KR20190137283A (ko) * 2018-06-01 2019-12-11 연세대학교 산학협력단 의료 영상 생성 방법 및 디바이스
CN110689521A (zh) * 2019-08-15 2020-01-14 福建自贸试验区厦门片区Manteia数据科技有限公司 一种医学影像所属人体部位的自动识别方法及系统
KR102097740B1 (ko) * 2019-07-25 2020-04-06 주식회사 딥노이드 인공지능을 활용한 의료영상 자동 분류 및 표준화 시스템 및 그 구동방법
WO2020215557A1 (zh) * 2019-04-24 2020-10-29 平安科技(深圳)有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN112037164A (zh) * 2019-06-03 2020-12-04 睿传数据股份有限公司 医学影像中身体部位识别方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718952A (zh) * 2016-01-22 2016-06-29 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的方法
KR20190137283A (ko) * 2018-06-01 2019-12-11 연세대학교 산학협력단 의료 영상 생성 방법 및 디바이스
CN109117890A (zh) * 2018-08-24 2019-01-01 腾讯科技(深圳)有限公司 一种图像分类方法、装置和存储介质
CN109461495A (zh) * 2018-11-01 2019-03-12 腾讯科技(深圳)有限公司 一种医学图像的识别方法、模型训练的方法及服务器
WO2020215557A1 (zh) * 2019-04-24 2020-10-29 平安科技(深圳)有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN112037164A (zh) * 2019-06-03 2020-12-04 睿传数据股份有限公司 医学影像中身体部位识别方法及装置
CN110363760A (zh) * 2019-07-22 2019-10-22 广东工业大学 用于识别医学图像的计算机系统
KR102097740B1 (ko) * 2019-07-25 2020-04-06 주식회사 딥노이드 인공지능을 활용한 의료영상 자동 분류 및 표준화 시스템 및 그 구동방법
CN110689521A (zh) * 2019-08-15 2020-01-14 福建自贸试验区厦门片区Manteia数据科技有限公司 一种医学影像所属人体部位的自动识别方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114974522A (zh) * 2022-07-27 2022-08-30 中国医学科学院北京协和医院 医学影像处理方法、装置、电子设备及存储介质
CN116741350A (zh) * 2023-08-16 2023-09-12 枣庄市山亭区妇幼保健院 一种用于医院x射线影像的档案管理系统
CN116741350B (zh) * 2023-08-16 2023-10-31 枣庄市山亭区妇幼保健院 一种用于医院x射线影像的档案管理系统

Similar Documents

Publication Publication Date Title
Singh et al. Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN113506334B (zh) 基于深度学习的多模态医学图像融合方法及系统
CN112001925B (zh) 图像的分割方法、放射治疗系统、计算机设备和存储介质
US20230342918A1 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
WO2021186592A1 (ja) 診断支援装置及びモデル生成装置
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN110363760B (zh) 用于识别医学图像的计算机系统
Chen et al. Fast and accurate craniomaxillofacial landmark detection via 3D faster R-CNN
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
CN110390665B (zh) 基于深度学习多通道与图嵌法的膝关节病症超声诊断方法
CN117218453B (zh) 一种不完备多模态医学影像学习方法
CN113762285A (zh) 一种分析和处理医学影像的系统及方法
Whitehead et al. A deep learning approach to spine segmentation using a feed-forward chain of pixel-wise convolutional networks
Lang et al. Localization of craniomaxillofacial landmarks on CBCT images using 3D mask R-CNN and local dependency learning
CN111192660B (zh) 一种影像报告分析方法、设备及计算机存储介质
CN116030325A (zh) 基于深度混合学习框架的肺结节ct图像识别方法
CN112950648A (zh) 确定磁共振图像中的正中矢状平面的方法和设备
CN115206478A (zh) 医学报告生成方法以及装置、电子设备、可读存储介质
CN118230038A (zh) 基于影像分析的眼眶淋巴增生病分类鉴别方法及系统
Zhou et al. Automatic multi‐label temporal bone computed tomography segmentation with deep learning
Verma et al. Role of deep learning in classification of brain MRI images for prediction of disorders: a survey of emerging trends
CN117352164A (zh) 基于人工智能的多模态肿瘤检测诊断平台及其处理方法
Mahapatra Multimodal generalized zero shot learning for gleason grading using self-supervised learning
Xu et al. Correlation via synthesis: End-to-end image generation and radiogenomic learning based on generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination