CN111476772B - 基于医学影像的病灶分析方法和装置 - Google Patents

基于医学影像的病灶分析方法和装置 Download PDF

Info

Publication number
CN111476772B
CN111476772B CN202010259844.3A CN202010259844A CN111476772B CN 111476772 B CN111476772 B CN 111476772B CN 202010259844 A CN202010259844 A CN 202010259844A CN 111476772 B CN111476772 B CN 111476772B
Authority
CN
China
Prior art keywords
focus
lesion
sample
machine learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010259844.3A
Other languages
English (en)
Other versions
CN111476772A (zh
Inventor
尹思源
张欢
王瑜
赵朝炜
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202010259844.3A priority Critical patent/CN111476772B/zh
Publication of CN111476772A publication Critical patent/CN111476772A/zh
Application granted granted Critical
Publication of CN111476772B publication Critical patent/CN111476772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种医学影像的病灶分析方法、装置、电子设备和计算机可读存储介质，解决了现有技术对医学影像中的病灶分析不够全面不够精准的问题。该基于医学影像的病灶分析方法包括：基于医学影像数据提取病灶表征数据；基于病灶表征数据提取病灶特征信息；将所述病灶特征信息输入第一机器学习模型，以获得第一病灶特征向量；将所述医学影像数据和所述病灶表征数据输入第二机器学习模型，以获得第二病灶特征向量；合并所述第一病灶特征向量和所述第二病灶特征向量，获得与所述病灶对应的融合特征向量；以及根据所述融合特征向量获取所述病灶的分析结果。

Description

基于医学影像的病灶分析方法和装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种基于医学影像的病灶分析方法、装置、电子设备和计算机可读存储介质。
背景技术
肺炎是一种常见的呼吸道炎症疾病，主要指由细菌、病毒等引起的肺部感染，早期的肺炎，CT(Computed Tomography)影像上呈现的病灶区域较小，并不明显，医生在观察的时候，需要花费大量时间来寻找相应的病灶。最近新型冠状病毒肺炎肆虐，CT影像作为判断新型冠状病毒肺炎的重要指标之一，使影像科医生的工作负荷大大增加。
目前，现有技术中采用神经网络对医学影像中的病灶进行检测，提取病灶特征信息，采用标记框的形式获取病灶区域，对病灶进行识别和标记，由于采用标记框的形式，病灶的具体形态无法表示，只能确定病灶的位置，无法对病灶进行更加全面的分析。采用人工智能网络识别分析医学图像中病灶特征，并将其与数据库中医学图像的病灶特征进行对比，根据比对结果识别病灶，由于病灶的形态多样化，只是将病灶与数据库中的病灶进行对比，而不是针对病灶本身进行分析，使得识别结果不够准确。由此可见，如何对CT影像中的病灶进行全面的特征提取和精确的分析，使病灶的分析结果更加全面精准是现今急需解决的重要问题。
发明内容
为了解决现有技术中存在的上述问题，本申请实施例提供了一种基于医学影像的病灶分析方法、装置、电子设备和计算机可读存储介质。
根据本发明实施例的一方面，提供一种基于医学影像的病灶分析方法，包括：基于医学影像数据提取病灶表征数据；基于病灶表征数据提取病灶特征信息；将所述病灶特征信息输入第一机器学习模型，以获得第一病灶特征向量；将所述医学影像数据和所述病灶表征数据输入第二机器学习模型，以获得第二病灶特征向量；合并所述第一病灶特征向量和所述第二病灶特征向量，获得与所述病灶对应的融合特征向量；以及根据所述融合特征向量获取所述病灶的分析结果。
在本申请的一个实施例中，上述根据所述融合特征向量获取所述病灶的分析结果包括：将所述融合特征向量，输入第三机器学习模型以获得所述病灶的分析结果。
在本申请的一个实施例中，上述将所述融合特征向量，输入第三机器学习模型以获得所述病灶的分析结果包括：将所述融合特征向量，输入第三机器学习模型以获得所述病灶的类别和/或严重度。
在本申请的一个实施例中，上述在将所述融合特征向量，输入第三机器学习模型以获得所述病灶的类别和/或严重度之后，还包括：根据所述病灶的类别和/或严重度，发出预警。
在本申请的一个实施例中，上述基于医学影像数据提取病灶表征数据包括：将所述医学影像数据输入第四机器学习模以获取病灶表征数据；其中，所述病灶表征数据包括以下几项中的一种或多种组合：病灶轮廓、病灶所在器官的结构单元的轮廓、病灶所在器官的整体轮廓。
在本申请的一个实施例中，上述病灶特征信息包括以下一种或多种组合：所述病灶在所述病灶的器官中的占比、所述病灶所在器官的结构单元的感染数量。
在本申请的一个实施例中，上述病灶包括肺炎；其中，所述肺炎的类型包括：细菌性肺炎、新型冠状病毒肺炎、除新型冠状病毒肺炎外的其他病毒性肺炎、支原体肺炎、衣原体肺炎、真菌性肺炎、原虫性肺炎；和/或，其中，所述肺炎的严重度包括：轻度、中度和重度。
在本申请的一个实施例中，上述肺炎的严重度还包括：所述新型冠状病毒肺炎的概率值。
在本申请的一个实施例中，上述病灶包括肺炎；其中，所述根据所述病灶的类别和/或严重度，发出预警包括：当所述肺炎的严重度为中度时，发出低级预警；当所述肺炎的严重度为重度时，发出中级预警；当所述肺炎的类别为新型冠状病毒肺炎时，发出高级预警。
在本申请的一个实施例中，上述基于肺部医学影像数据提取肺炎病灶表征数据包括：将所述肺部医学影像输入第四机器学习模型以获取肺炎病灶表征数据；其中，所述第四机器学习模型包括肺炎分割模型、肺部分割模型、肺叶分割模型；所述肺炎病灶表征数据包括：肺炎轮廓、肺叶轮廓、肺部轮廓。
根据本发明实施例的另一方面，提供一种基于医学影像的病灶分析装置，包括：第一提取模块，配置为基于医学影像数据提取病灶表征数据；第二提取模块，配置为基于病灶表征数据提取病灶特征信息；第一病灶特征提取模块，配置为将所述病灶特征信息输入第一机器学习模型，以获取第一病灶特征向量；第二病灶特征提取模块，配置为将所述医学影像数据和所述病灶表征数据输入第二机器学习模型，以获取第二病灶特征向量；合并模块，配置为合并所述第一病灶特征向量和所述第二病灶特征向量，以获得与所述病灶对应的融合特征向量；以及分析模块，配置为根据所述融合特征向量获取所述病灶的分析结果。
在本申请的一个实施例中，分析模块进一步配置为：将所述融合特征向量，输入第三机器学习模型以获得所述病灶的分析结果。
在本申请的一个实施例中，分析模块进一步配置为：将所述融合特征向量，输入第三机器学习模型以获得所述病灶的类别和/或严重度。
在本申请的一个实施例中，装置还包括：预警模块，根据所述病灶的类别和/或严重度，发出预警。
在本申请的一个实施例中，第一提取模块进一步配置为：将所述医学影像数据输入第四机器学习模型以获取病灶表征数据；其中，所述病灶表征数据包括以下几项中的一种或多种组合：病灶轮廓、病灶所在器官的结构单元的轮廓、病灶所在器官的整体轮廓。
在本申请的一个实施例中，上述基于医学影像的病灶分析装置包括基于肺部医学影像的病灶分析装置，包括：第一肺炎病灶提取模块，配置为基于肺部医学影像数据提取肺炎病灶表征数据；第二肺炎病灶提取模块，配置为基于肺炎病灶表征数据提取肺炎病灶特征信息；第一肺炎病灶特征提取模块，配置为将所述肺炎病灶特征信息输入第一机器学习模型，以获取第一肺炎病灶特征向量；第二肺炎病灶特征提取模块，配置为将所述肺部医学影像数据和所述肺炎病灶表征数据输入第二机器学习模型，以获取第二肺炎病灶特征向量；肺炎病灶合并模块，配置为合并所述第一肺炎病灶特征向量和所述第二肺炎病灶特征向量，以获得与所述肺炎病灶对应的融合特征向量；以及肺炎病灶分析模块，配置为根据所述融合特征向量获取所述肺炎病灶的分析结果。
在本申请的一个实施例中，上述病灶包括肺炎；其中，所述肺炎的类型包括：细菌性肺炎、新型冠状病毒肺炎、除新型冠状病毒肺炎外的其他病毒性肺炎、支原体肺炎、衣原体肺炎、真菌性肺炎、原虫性肺炎；和/或，其中，所述肺炎的严重度包括：轻度、中度和重度。
在本申请的一个实施例中，上述肺炎的严重度还包括：所述新型冠状病毒肺炎的概率值。
在本申请的一个实施例中，肺炎病灶分析模块进一步配置为：将所述融合特征向量，输入第三机器学习模型以获得所述肺炎的分析结果。
在本申请的一个实施例中，肺炎病灶分析模块进一步配置为：将所述融合特征向量，输入第三机器学习模型以获得所述肺炎的类别和/或严重度。
在本申请的一个实施例中，装置还包括：肺炎病灶预警模块，根据所述肺炎的类别和/或严重度，发出预警。
在本申请的一个实施例中，所述病灶包括肺炎；其中，肺炎病灶预警模块进一步配置：当所述肺炎的严重度为中度时，发出低级预警；当所述肺炎的严重度为重度时，发出中级预警；当所述肺炎的类别为新型冠状病毒肺炎时，发出高级预警。
在本申请的一个实施例中，第一肺炎病灶提取模块进一步配置为：将所述肺部医学影像输入第四机器学习模型以获取肺炎病灶表征数据；其中，所述第四机器学习模型包括肺炎分割模型、肺部分割模型、肺叶分割模型；所述肺炎病灶表征数据包括：肺炎轮廓、肺叶轮廓、肺部轮廓。
根据本申请实施例的另一方面，提供一种网络模型训练方法，包括：将样本医学影像数据输入第四机器学习模型以获取样本病灶表征数据，其中，所述样本医学影像数据包括标记数据；基于所述样本病灶表征数据提取样本病灶特征信息；将所述样本病灶特征信息输入第一机器学习模型，以获得第一病灶特征向量样本；将所述样本医学影像数据和所述样本病灶表征数据输入第二机器学习模型，以获得第二病灶特征向量样本；合并所述第一病灶特征向量样本和所述第二病灶特征向量样本，获得与所述病灶对应的融合特征向量样本；将所述融合特征向量样本输入第三机器学习模型，以获取所述病灶的样本分析结果；以及根据所述样本分析结果与所述标记数据的差异，调整所述第一机器学习模型、所述第二机器学习模型、所述第三机器学习模型以及所述第四机器学习模型的网络参数。
根据本申请实施例的另一方面，提供一种网络模型训练装置，其特征在于，包括：第一样本提取模块，配置为将样本医学影像数据输入第四机器学习模型以获取样本病灶表征数据，其中，所述样本医学影像数据包括标记数据；第二样本提取模块，配置为基于所述样本病灶表征数据提取样本病灶特征信息；第一样本病灶特征提取模块，配置为将所述样本病灶特征信息输入第一机器学习模型，以获得第一病灶特征向量样本；第二样本病灶特征提取模块，配置为将所述样本医学影像数据和所述样本病灶表征数据输入第二机器学习模型，以获得第二病灶特征向量样本；样本合并模块，配置为合并所述第一病灶特征向量样本和所述第二病灶特征向量样本，获得与所述病灶对应的融合特征向量样本；样本分析模块，配置为将所述融合特征向量样本输入第三机器学习模型，以获取所述病灶的样本分析结果；以及参数调整模块，配置为根据所述样本分析结果与所述标记数据的差异，调整所述第一机器学习模型、所述第二机器学习模型、所述第三机器学习模型以及所述第四机器学习模型的网络参数。
根据本申请实施例的另一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如前任一所述的基于医学影像的病灶分析方法。
根据本申请实施例的另一方面，提供一种电子设备，包括：处理器；存储器，其中，所述存储器用于存储所述处理器可执行的指令；当所述处理器执行所述指令时，实现上述任一所述的基于医学影像的病灶分析方法。
由此可见，本申请实施例提供的一种基于医学影像的病灶分析方法、装置、电子设备和计算机可读存储介质，通过在病灶表征数据中提取病灶特征信息，实现了基于预设提取规则和统计方式提取出病灶的属性特征，并将病灶特征信息输入第一机器学习模型以获取第一病灶特征向量，这样，所获得的第一病灶特征向量中包括了基于预设提取规则和统计方式所获得的特征信息，可有效避免过拟合；同时，将医学影像数据和病灶表征数据直接输入第二机器学习模型以获取第二病灶特征向量，这样获取的第二病灶特征向量中便包括了直接通过医学影像数据和病灶表征数据抽象出来的特征信息，可包括基于预设提取规则和统计方式而无法获取到的特征信息；然后，通过两个病灶特征向量进行融合得到融合特征向量，在融合特征向量中实现了第一病灶特征向量和第二病灶特征向量的信息互补，可以更加全面的表述病灶的特征信息，根据融合特征向量获取对病灶的分析结果，病灶的特征信息更加全面，可显著提高病灶分析结果的准确率。
附图说明
图1所示为本申请一实施例提供的一种基于医学影像的病灶分析方法的流程图。
图2所示为本申请另一实施例提供的一种基于医学影像的病灶分析预警方法的流程图。
图3所示为本申请另一实施例提供的一种基于肺部医学影像的肺炎病灶分析方法的流程图。
图4所示为本申请一实施例提供的一种基于医学影像的病灶分析装置的结构示意图。
图5所示为本申请另一实施例提供的一种基于医学影像的病灶分析预警装置的结构示意图。
图6所示为本申请另一实施例提供的一种基于肺部医学影像的肺炎病灶分析装置的结构示意图。
图7所示为本申请一实施例提供的网络模型训练方法的流程示意图。
图8所示为本申请一实施例提供的网络模型训练装置的结构示意图。
图9所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
如上所述，现有对于医学影像中病灶的分析，仅仅将病灶的位置应用标记框的形式框出来，而对于框出来的病灶并未进行后续的分析，或是将医学影像中的病灶特征与数据库中的病灶特征进行对比，而不是针对医学影像中的病灶本身进行分析，所获得病灶的分析结果不够全面且不够精准。针对上述的技术问题，本申请提供了一种基于医学影像的病灶分析方法，将医学影像数据和基于医学影像数据提取的病灶表征数据输入机器学习模型获取病灶特征向量，将基于病灶表征数据获取的病灶特征信息输入另一机器学习模型，获取另一病灶特征向量，合并两个病灶特征向量，并根据合并结果获取病灶的分析结果，由于第一病灶特征向量是通过预设提取规则和统计方式对病灶表征数据分析而获取的，第二病灶特征向量是通过机器学习模型对医学影像数据本身和病灶的表征数据，即病灶的基本属性特征进行分析而获取的，所以将两个向量融合后的特征向量可以更加全面的具体的表述病灶信息。相比单一的标记出医学影像中的病灶位置信息，或是将病灶特征与数据库中的病灶特征作对比的方式，本申请实施例所获得的病灶的分析结果则更加全面，并且由于其采用不同机器学习模型对病灶进行特征向量的提取，使最终的分析结果更加准确。
应当理解，该方法可以具体由本地的电子设备的处理器执行(例如本地的医疗设备或其他计算机设备)，也可以由云端的服务器执行，本地的电子设备通过与云端的服务器通信交互以获取病灶分析结果。本申请对该基于医学影像的病灶分析方法的具体应用硬件场景并不做严格限定。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性病灶分析方法
图1所示为本申请一实施例提供的基于医学影像的病灶分析方法的流程示意图。如图1所示，该病灶分析方法包括如下步骤：
步骤110：基于医学影像数据提取病灶表征数据。
医学影像数据的来源可以是电子计算机断层成像(Computed Tomography，CT)、核磁共振成像(Magnetic Resonance Imaging，MRI)、计算机放射成像(ComputedRadiography，CR)或数字放射成像(Digital radiography，DR)等医学影像，本申请对此不做具体限定。医学影像数据可以是直接从CT、MRI等相应的仪器上提取，也可以从医院的数据库获取。
此外，医学影像本身的内容可根据实际的应用场景需求而调整，例如可为神经外科的脑部检查场景下的透射影像，或者胸外科的肺部检查场景下的透射影像。病灶表征数据是医学影像中病灶的属性特征，可以是一个特征或是多个特征的组合。例如，病灶轮廓、病灶所在器官的结构单元的轮廓、病灶所在器官的整体轮廓等。又例如，医学影像数据包括肺部医学影像数据，病灶表征数据包括肺炎病灶表征数据，进一步包括肺炎轮廓、肺叶轮廓、肺部轮廓等。并申请对此不做具体限定。
步骤120：基于病灶表征数据提取病灶特征信息。
病灶特征信息是根据预设提取规则和统计方式对病灶表征数据进行处理，而获得的病灶的信息，包括：病灶在病灶所在器官中的占比、病灶所在器官的结构单元的感染数量、病灶所在器官的结构单元感染的最大面积、不同的病灶所在器官的结构单元中病灶区域的HU(Hounsfiled Unit)值分布情况等。例如，医学影像数据可以是CT影像，通过计算每层医学影像中病灶的面积，结合每层医学影像的层间距，计算病灶的体积和病灶所在器官的体积，从而计算出病灶在所属器官中的占比。又例如，当病灶是肺炎时，通过CT影像获取的肺炎病灶表征数据可以计算出肺炎的全肺占比和肺叶的感染数量。
步骤130：将病灶特征信息输入第一机器学习模型，以获得第一病灶特征向量。
第一机器学习模型用于对病灶表征数据中提取出的病灶特征信息进行分析，可采用卷积神经网络架构、全连接神经网络架构等，通过预先的训练过程建立。
需要说明的是，上述第一机器学习模型可替换为专家系统对病灶特征信息进行分析处理，以获取第一病灶特征向量，专家系统包括存储有关问题域的所有知识和专家经验的知识库，由算法或决策策略与知识库内各项知识进行推论的推理机，专家系统可以模拟人类专家解决领域问题，下述的第二机器学习模型、第三机器学习模型等机器学习模型均可替换为专家系统。
步骤140：将医学影像数据和病灶表征数据输入第二机器学习模型，以获得第二病灶特征向量；
其中，第二机器学习模型同样可采用卷积神经网络架构、全连接神经网络架构等，其具体的类别和架构可根据实际应用场景的需求而调整，本申请对第二机器学习模型的具体类别和架构不做严格限定。
步骤150：合并第一病灶特征向量和第二病灶特征向量，获得与病灶对应的融合特征向量。
第一病灶特征向量是通过预设规则和统计方式分析病灶特征信息，得到的第一病灶特征向量，第二病灶特征向量是对医学影像数据和病灶表征数据的特征提取结果，将第一病灶特征向量和第二病灶特征向量进行合并，可综合病灶特征信息、医学影像数据、病灶表征数据，为后续获取病灶的分析结果提供更加全面的数据支持。当第一病灶特征向量和第二病灶特征向量的长度不同时，可以以并联的方式进行拼接，得到融合特征向量。当第一病灶特征向量和第二病灶特征向量长度相同时，可以将第一病灶特征向量和第二病灶特征向量直接相加，或者进行加权拼接处理，或者进行加权相加处理，两个病灶特征向量可带有不同的权重，从而使得获得的融合特征向量对病灶的表述性更强，以增加后续分析结果的准确性。然而第一病灶特征向量和第二病灶特征向量的具体融合方式，这里不做具体限定。
步骤160：根据融合特征向量获取病灶的分析结果。
该融合特征向量包含了病灶特征信息、医学影像数据、病灶表征数据，根据该融合特征向量对所属的病灶进行分析。例如，可分析病灶的类别，病灶的严重度等。应当理解，该病灶分析结果是基于医学影像数据得到的对病灶分析的中间数据结果，该中间数据结果可用于辅助医生对患者进行诊断，医生可以根据该病灶分析结果并结合其他指标对患者进行诊断，例如，当医学影像数据是肺部医学影像数据时，对病灶进行分析得到的病灶分析结果可以是肺癌病灶分析结果，但医生在诊断时其实肯定还需要对患者进行气管镜、肺穿刺或是基因检测等检查，综合考虑上述所有检查的结果，对患者是否患病进行判断，本申请实施例所提供的病灶分析结果可用于辅助医生诊断。
由此可见，本申请实施例提供的一种基于医学影像的病灶分析方法，通过在病灶表征数据中提取病灶特征信息，实现了基于预设提取规则和统计方式提取出病灶的属性特征，并将病灶特征信息输入第一机器学习模型以获取第一病灶特征向量，这样，所获得的第一病灶特征向量中包括了基于预设提取规则和统计方式所获得的特征信息，可有效避免过拟合；同时，将医学影像数据和病灶表征数据直接输入第二机器学习模型以获取第二病灶特征向量，这样获取的第二病灶特征向量中便包括了直接通过医学影像数据和病灶表征数据抽象出来的特征信息，可包括基于预设提取规则和统计方式而无法获取到的特征信息；然后，通过两个病灶特征向量进行融合得到融合特征向量，在融合特征向量中实现了第一病灶特征向量和第二病灶特征向量的信息互补，可以更加全面的表述病灶的特征信息，根据融合特征向量获取对病灶的分析结果，病灶的特征信息更加全面，可显著提高病灶分析结果的准确率。
在本申请的另一实施例中，可采用机器学习模型对病灶的融合特征向量进行分析，具体而言，根据融合特征向量获取病灶的分析结果包括：将融合特征向量，输入第三机器学习模型以获得病灶分析结果。
第三机器学习模型可包括一个或多个机器学习子模型的组合，可由卷积神经网络模型操作实现，例如，对病灶的融合特征向量进行分析，若仅获取病灶的类别，采用一个机器学习子模型对病灶的融合特征向量进行处理，分析出病灶的类别。若需要获取病灶的严重度，采用一个机器学习子模型对病灶的融合特征向量进行处理，分析出病灶的严重度。当需要获取病灶的类别和病灶的严重度时，采用两个机器学习子模型分别获取病灶的类别和病灶的严重度。
病灶的严重度可以是第三机器学习模型中事先训练好的，例如，病灶的严重度是机器学习模型事先训练好的，分为轻度、中度、重度等，对病灶的融合特征进行分析，输出病灶的严重度。也可以是设定好的0-1区间中数值，再由阈值进行划分，例如，通过第三机器学习模型对病灶的融合特征向量进行分析，输出0-1区间的中的一个数值，严重度的阈值可以设定为0、0.25、0.50、0.75、1，使病灶的严重度分为四个等级，对于病灶的严重度的表达方式，本申请不做具体限定。
此外，由于融合特征向量中包含大量的特征信息，是高维度的特征向量，采用机器学习模型的方式对融合特征向量进行分析，可加快分析速度。此外，根据对病灶分析的需求不同，第三机器学习模型可以相应的采用不同的机器学习子模型以分别实现不同的需求，使病灶的分析结果更加全面。
在本申请的另一实施例中，为了对病灶更加全面的分析，将融合特征向量，输入第三机器学习模型以获得病灶分析结果包括：将融合特征向量，输入第三机器学习模型以获得病灶的类别和/或严重度。
具体地，根据融合特征向量中对于病灶的特征的各种表述，将病灶划分到所属的病灶的类别中，和/或病灶的严重度。例如当病灶的类别包括肺炎病灶时，肺炎病灶按照病因分为：细菌性肺炎病灶、病毒性肺炎病灶、支原体肺炎病灶、衣原体肺炎病灶、真菌性肺炎病灶、原虫性肺炎病灶等，每种肺炎病灶的严重度可分为轻度、中度、重度等，如此，将病灶详细划分到对应的病灶的类别和/或病灶的严重度，医生可根据分析出的病灶的类别和/或病灶的严重度进行进一步诊断，降低医生工作负荷量。
在本申请另一实施例中，如图2所示，考虑到对医学影像中的病灶进行分析，得到病灶的类别和/或严重度，可以辅助医生对患者进行快速诊断，并且可以根据患者患病的类别和/或严重度，进行相应的诊断治疗，所以，将医学影像中病灶的分析结果及时反馈给医生，便于医生针对患者进行相应的诊断治疗。具体而言，在获得融合特征向量之后，还包括如下步骤：
步骤200：将融合特征向量，输入第三机器学习模型以获得病灶的类别和/或严重度。
步骤210：根据病灶的类别和/或严重度，发出预警。
当根据医学影像分析出病灶的类别和/或严重度后，将分析结果反馈给医生，以保证病情严重的患者可以及时进行诊断治疗，或者当患者的病灶的类别对应的是传染性的病灶时，通过预警，医生可以及时诊断并将患者进行隔离，避免传染他人。其中，预警的方式可以是计算机上的程序指令，也可以是邮件推送或移动终端短信推送等，将预警信息告知医生，本申请对预警的方式不做具体限定。在本申请的另一实施例中，病灶表征数据基于医学影像数据获取的可以表述病灶基本特征的数据，可以采用机器学习模型进行获取操作。具体而言，基于医学影像数据提取病灶表征数据包括：将医学影像数据输入第四机器学习模型以获取病灶表征数据；其中，病灶表征数据包括以下几项中的一种或多种组合：病灶轮廓、病灶所在器官的结构单元的轮廓、病灶所在器官的整体轮廓。
具体地，第四机器学习模型可以是一种或多种机器学习子模型组合而成，根据病灶表征数据的不同，而选用不同形式的机器学习子模型，例如，当病灶表征数据包括病灶轮廓时，第四机器学习模型包括病灶轮廓分割模型。又例如，当病灶表征数据包括病灶轮廓、病灶所在器官的结构单元的轮廓、病灶所在器官的整体轮廓时，第四机器学习模型包括病灶轮廓分割模型、病灶所在器官的结构单元的轮廓分割模型、病灶所在器官的整体轮廓分割模型。应当理解，第四机器学习模型包括一种或多种机器学习子模型，根据医学影像数据中需要提取的病灶表征数据而确定机器学习子模型，本申请对此不做具体限定。
其中，第四机器学习模型可采用U-Net(一种可以对二维图像进行图像分割的神经网络)、FCN(Fully Convolutional Network，全卷积神经网络)等分割网络，还可以采用ResNet(残差神经网络)等架构进行优化。
例如，上述第四机器学习模型可以采用U-Net图像分割网络框架，通过对样本医学影像数据进行预处理去除噪声，并对图像进行数据增强处理后，得到样本医学影像数据的训练集，将各位图样本的训练集输入医学影像的U-Net模型，以训练医学影像的U-Net模型。应当理解，本申请中的机器学习模型均是预先训练好的模型，通过医学影像的U-Net模型对医学影像进行图像分割，以获取病灶轮廓、病灶所在器官的结构单元的轮廓、病灶所在器官的整体轮廓等。
在本申请的另一实施例中，如前所述病灶特征信息是根据预设提取规则和统计方式对病灶表征数据进行处理，而获得的病灶的信息，具体而言，病灶特征信息包括以下一种或多种组合：病灶在病灶所在的器官中的占比、病灶所在器官的结构单元的感染数量。
为了进一步清楚地阐述技术方案，下面以病灶为肺炎为例进一步阐述本申请的技术方案。然而应当理解，本申请所提供的方法适用于各种基于医学影像的病灶分析过程，本申请对病灶的具体类别并不做严格限定。
在本申请的另一实施例中，医学影像数据包括肺部医学影像数据，基于肺部医学影像数据提取肺炎病灶表征数据，基于肺炎病灶表征数据提取肺炎病灶特征信息，将肺炎病灶特征信息输入第一机器学习模型，以获得第一肺炎病灶特征向量，将肺部医学影像数据和肺炎病灶表征数据输入第二机器学习模型，以获得第二肺炎病灶特征向量，合并第一肺炎病灶特征向量和第二肺炎病灶特征向量，获得与肺炎病灶对应的融合特征向量，以及根据融合特征向量获取肺炎病灶的分析结果。
在本申请的另一实施例中，病灶包括肺炎；其中，肺炎的类型包括：细菌性肺炎、新型冠状病毒肺炎、除新型冠状病毒肺炎外的其他病毒性肺炎、支原体肺炎、衣原体肺炎、真菌性肺炎、原虫性肺炎；和/或，其中，肺炎的严重度包括：轻度、中度和重度。对肺炎病灶对应的融合特征向量进行分析以获取肺炎病灶的分析结果，具体地，将融合特征向量，输入第三机器学习模型以获得肺炎的类别和/或严重度。
在本申请另一实施例中，肺炎的严重度还包括：新型冠状病毒肺炎的概率值。具体地，在训练样本数据中，新型冠状病毒肺炎的训练样本，通过医生的标注带有不同的标签，再对机器学习模型进行训练，使得训练好的机器学习模型可以对新型冠状病毒肺炎的病灶分析的更加全面，这样通过上述方法对肺部医学影像数据进行分析时，就可获得病灶是新型冠状病毒肺炎的概率。
在本申请的另一实施例中，在将融合特征向量，输入第三机器学习模型以获得肺炎的类别和/或严重度之后，还包括：根据肺炎的类别和/或严重度，发出预警。
由于肺炎具有一定的传染性，其中，病毒性肺炎为吸入性感染，咳嗽期间易将病毒传染给他人，所以在判断出肺炎的类别和/或严重度后，进行预警，提醒医生，以便对患者进行进一步的诊断并判断是否需要对患者进行隔离。
在本申请另一实施例中，由于肺炎的类别和/或严重度不同，可以根据不同的肺炎类别和/或严重度进行不同的预警，具体而言，如图3所示，病灶包括肺炎；其中，根据病灶的类别和/或严重度发出预警的方式可具体包括：
步骤320：当肺炎的严重度为中度时，发出低级预警；
步骤330：当肺炎的严重度为重度时，发出中级预警；
步骤340：当肺炎的类别为新型冠状病毒肺炎时，发出高级预警。
当病灶的分析结果为除新型冠状病毒肺炎之外的肺炎时，按照肺炎严重度进行预警，包括肺炎的严重度为中级时发出低级预警，肺炎的严重度为高级时发出中级预警。当病灶的分析结果为新型冠状病毒肺炎时，无论肺炎是新型冠状病毒肺炎的概率是多少，都直接发出高级预警。由于新型冠状病毒肺炎通过飞沫、接触等传播，传染性极强，患者在等待就诊的过程中，极易传染他人，所以分析出肺炎类型为新型冠状病毒肺炎后，发出高级预警，提醒医护人员，及时对患者进行隔离，避免传染他人。
在本申请另一实施例中，上述基于肺部医学影像数据提取肺炎病灶表征数据包括：将肺部医学影像输入第四机器学习模型以获取肺炎病灶表征数据；其中，第四机器学习模型包括肺炎分割模型、肺部分割模型、肺叶分割模型；肺炎病灶表征数据包括：肺炎轮廓、肺叶轮廓、肺部轮廓。
通过预先训练好的肺炎分割模型、肺部分割模型、肺叶分割模型对医学影像分别进行肺炎分割、肺叶分割、肺部分割。例如，肺叶分割模型，在全肺上进行肺叶的提取，包括每个肺叶的轮廓，可以采用U-Net图像分割网络模型等深度学习分割网络模型，肺炎分割模型和肺部分割模型原理相同，这里不再赘述。
示例性病灶分析装置
下述为本申请病灶分析装置实施例，可以执行本申请病灶分析方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请病灶分析方法实施例。
图4所示为本申请一实施例提供的基于医学影像的病灶分析装置40的结构示意图。如图4所示，病灶分析装置40包括：
第一提取模块410，配置为基于医学影像数据提取病灶表征数据。
第二提取模块420，配置为基于病灶表征数据提取病灶特征信息。
第一病灶特征提取模块430，配置为将病灶特征信息输入第一机器学习模型，以获取第一病灶特征向量。
第二病灶特征提取模块440，配置为将医学影像数据和病灶表征数据输入第二机器学习模型，以获取第二病灶特征向量。
合并模块450，配置为合并第一病灶特征向量和第二病灶特征向量，以获得与病灶对应的融合特征向量。
分析模块460，配置为根据融合特征向量获取病灶的分析结果。
在本申请的另一实施例中，分析模块460进一步配置为：将融合特征向量，输入第三机器学习模型以获得病灶分析结果。
在本申请的另一实施例中，分析模块460进一步配置为：将融合特征向量，输入第三机器学习模型以获得病灶的类别和/或严重度。
图5所示为本申请另一实施例提供的基于医学影像的病灶分析装置50的结构示意图。如图5所示，装置50还包括：预警模块570，根据病灶的类别和/或严重度，发出预警。
在本申请的另一实施例中，第一提取模块410配置为：将医学影像数据输入第四机器学习模型以获取病灶表征数据；其中，病灶表征数据包括以下几项中的一种或多种组合：病灶轮廓、病灶所在器官的结构单元的轮廓、病灶所在器官的整体轮廓。
在本申请的一实施例中，基于医学影像的病灶分析装置40包括基于肺部医学影像的肺炎病灶分析装置60，如图6所示，装置60包括：第一肺炎病灶提取模块610，配置为基于肺部医学影像数据提取肺炎病灶表征数据；第二肺炎病灶提取模块620，配置为基于肺炎病灶表征数据提取肺炎病灶特征信息；第一肺炎病灶特征提取模块630，配置为将肺炎病灶特征信息输入第一机器学习模型，以获取第一肺炎病灶特征向量；第二肺炎病灶特征提取模块640，配置为将肺部医学影像数据和肺炎病灶表征数据输入第二机器学习模型，以获取第二肺炎病灶特征向量；肺炎病灶合并模块650，配置为合并第一肺炎病灶特征向量和第二肺炎病灶特征向量，以获得与肺炎病灶对应的融合特征向量；以及肺炎病灶分析模块660，配置为根据融合特征向量获取肺炎病灶的分析结果。
在本申请的一个实施例中，上述病灶包括肺炎；其中，肺炎的类型包括：细菌性肺炎、新型冠状病毒肺炎、除新型冠状病毒肺炎外的其他病毒性肺炎、支原体肺炎、衣原体肺炎、真菌性肺炎、原虫性肺炎；和/或，其中，肺炎的严重度包括：轻度、中度和重度。
在本申请的一个实施例中，上述肺炎的严重度还包括：新型冠状病毒肺炎的概率值。
在本申请的一个实施例中，肺炎病灶分析模块660进一步配置为：将融合特征向量，输入第三机器学习模型以获得肺炎的分析结果。
在本申请的一个实施例中，肺炎病灶分析模块660进一步配置为：将融合特征向量，输入第三机器学习模型以获得肺炎的类别和/或严重度。
在本申请的一个实施例中，装置60还包括：肺炎病灶预警模块670，根据肺炎的类别和/或严重度，发出预警。
在本申请的一个实施例中，病灶包括肺炎；其中，肺炎病灶预警模块670进一步配置为：
低级预警单元601：当肺炎的严重度为中度时，发出低级预警；
中级预警单元602：当肺炎的严重度为重度时，发出中级预警；
高级预警单元603：当肺炎的类别为新型冠状病毒肺炎时，发出高级预警。
在本申请的一个实施例中，第一肺炎病灶提取模块610进一步配置为：将肺部医学影像输入第四机器学习模型以获取肺炎病灶表征数据；其中，第四机器学习模型包括肺炎分割模型、肺部分割模型、肺叶分割模型；肺炎病灶表征数据包括：肺炎轮廓、肺叶轮廓、肺部轮廓。
上述基于医学影像的病灶分析装置40和基于肺部医学影像的肺炎病灶分析装置60中的各个模块的具体功能和操作已经在上面参考图1至图3描述的基于医学影像的病灶分析方法中进行了详细介绍，因此，这里将省略其重复描述。
需要说明的是，根据本申请实施例的基于医学影像的病灶分析装置可以作为一个软件模块和/或硬件模块而集成到电子设备中，换言之，该电子设备可以包括该基于医学影像的病灶分析装置。例如，该基于医学影像的病灶分析装置可以是该电子设备的操作系统中的一个软件模块，或者可以是针对其所开发的一个应用程序；当然，该基于医学影像的病灶分析装置同样可以是该电子设备的众多硬件模块之一。
在本申请另一实施例中，该基于医学影像的病灶分析装置与该电子设备也可以是分立的设备(例如，服务器)，并且该基于医学影像的病灶分析装置可以通过有线和/或无线网络连接到该电子设备，并且按照约定的数据格式来传输交互信息。
示例性网络模型训练方法
图7所示为本申请一实施例提供的网络模型训练方法的流程示意图。如图7所示，网络模型训练方法包括如下步骤：
步骤710：将样本医学影像数据输入第四机器学习模型以获取样本病灶表征数据，其中，样本医学影像数据包括标记数据。
具体地，样本病灶表征数据包括以下的一种或多种的组合：样本病灶轮廓、样本病灶所在器官的结构单元的轮廓、样本病灶所在器官的整体轮廓。第四机器学习模型可以是一种或多种机器学习子模型组合而成，根据样本病灶表征数据的不同，而选用不同形式的机器学习子模型。第四机器学习模型可以选用U-Net(一种可以对二维图像进行图像分割的神经网络)、FCN(Fully Convolutional Network，全卷积神经网络)等分割网络，还可以采用ResNet(残差神经网络)等架构进行优化。
其中，标记数据是预先标记好的，可以是医生根据经验或医学数据对医学影像数据进行标记，也可以是计算机通过对存储在计算机上或网络上的病灶信息进行计算而对医学影像数据进行标记，这里不作具体限定。
步骤720：基于样本病灶表征数据提取样本病灶特征信息。
具体而言，样本病灶特征信息是根据预设提取规则和统计方式对样本病灶表征数据进行处理，而获得的样本病灶的信息，样本病灶特征信息包括：样本病灶在样本病灶所在器官中的占比、样本病灶所在器官的结构单元的感染数量、样本病灶所在器官的结构单元感染的最大面积、不同的样本病灶所在器官的结构单元中病灶区域的HU(HounsfiledUnit)值分布情况等。
步骤730：将样本病灶特征信息输入第一机器学习模型，以获得第一病灶特征向量样本。
第一机器学习模型用于对样本病灶表征数据中提取的样本病灶特征信息进行训练分析，可以选用卷积神经网络架构、全连接神经网络架构等，第二机器学习模型和第三机器学习模型选用的网络架构与第一机器学习模型的相同，这里不再赘述。
步骤740：将样本医学影像数据和样本病灶表征数据输入第二机器学习模型，以获得第二病灶特征向量样本。
步骤750：合并第一病灶特征向量样本和第二病灶特征向量样本，获得病灶对应的融合特征向量样本。
当第一样本病灶特征向量和第二样本病灶特征向量的长度不同时，可以以并联的方式进行拼接，得到融合特征向量。当第一样本病灶特征向量和第二样本病灶特征向量长度相同时，可以将第一样本病灶特征向量和第二样本病灶特征向量直接相加，或者进行加权拼接处理，或者进行加权相加处理，两个样本病灶特征向量可带有不同的权重，从而使得获得的融合特征向量对病灶的表述性更强，以增加后续分析结果的准确性。然而第一样本病灶特征向量和第二样本病灶特征向量的具体融合方式，这里不做具体限定。
步骤760：将融合特征向量样本输入第三机器学习模型，以获取样本病灶的样本分析结果。
该融合特征向量包含了样本病灶特征信息、样本医学影像数据、样本病灶表征数据，根据该融合特征向量对所属的病灶进行分析。例如，可分析病灶的类别，病灶的严重度等。
步骤770：根据样本分析结果与标记数据的差异，调整第一机器学习模型、第二机器学习模型、第三机器学习模型以及第四机器学习模型的网络参数。
具体地，样本分析结果是通过各个机器学习模型对医学影像数据处理得到的，而医学影像数据中包含的标记数据是预先人为或计算机标记好的，通过样本分析结果与标记数据之间的损失函数的计算，调整第一机器学习模型、第二机器学习模型、第三机器学习模型以及第四机器学习模型的网络参数，当网络参数不再变动或在预设范围内波动时，训练结束，即第一机器学习模型、第二机器学习模型、第三机器学习模型以及第四机器学习模型此时为训练好的模型。
示例性网络模型训练装置
下述为本申请网络模型训练装置实施例，可以执行本申请网络模型训练方法的实施例。对于本申请装置实施例中未披露的细节，请参照本申请网络模型训练方法实施例。
图8所示为本申请一实施例提供的网络模型训练装置80的结构示意图。如图8所示，网络模型训练装置80包括：
第一样本提取模块810，配置为将样本医学影像数据输入第四机器学习模型以获取样本病灶表征数据，其中，样本医学影像数据包括标记数据。
第二样本提取模块820，配置为基于样本病灶表征数据提取样本病灶特征信息。
第一样本病灶特征提取模块830，配置为将样本病灶特征信息输入第一机器学习模型，以获得第一病灶特征向量样本。
第二样本病灶特征提取模块840，配置为将样本医学影像数据和样本病灶表征数据输入第二机器学习模型，以获得第二病灶特征向量样本。
样本合并模块850，配置为合并第一病灶特征向量样本和第二病灶特征向量样本，获得与病灶对应的融合特征向量样本。
样本分析模块860，配置为将融合特征向量样本输入第三机器学习模型，以获取病灶的样本分析结果。
参数调整模块870，配置为根据样本分析结果与标记数据的差异，调整第一机器学习模型、第二机器学习模型、第三机器学习模型以及第四机器学习模型的网络参数。
上述网络模型训练装置80中的各个模块的具体功能和操作已经在上面参考图7描述的网络模型训练方法中进行了详细介绍，因此，这里将省略其重复描述。
需要说明的是，根据本申请实施例的网络模型训练装置可以作为一个软件模块和/或硬件模块而集成到电子设备中，换言之，该电子设备可以包括该网络模型训练装置。例如，该网络模型训练装置可以是该电子设备的操作系统中的一个软件模块，或者可以是针对其所开发的一个应用程序；当然，该网络模型训练装置同样可以是该电子设备的众多硬件模块之一。
在本申请另一实施例中，该网络模型训练装置与该电子设备也可以是分立的设备(例如，服务器)，并且该网络模型训练装置可以通过有线和/或无线网络连接到该电子设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
图9为本申请的其他示例性实施例所提供的电子设备90的结构示意图。如图9所示，该电子设备90包括：一个或多个处理器910；存储器920，以及存储在存储器920中的计算机程序指令，当一个或多个处理器910执行一个或多个计算机程序指令时，实现如上述任一实施例的基于医学影像的病灶分析方法和网络模型的训练方法。
处理器910可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。
存储器920可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(Cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器910可以运行程序指令，以实现上文的本申请的各个实施例的基于医学影像的病灶分析方法中的步骤和网络模型训练方法中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。
电子设备90还可以包括：输入装置930和输出装置940，这些组件通过总线系统和/或其他形式的连接机构(图9中未示出)互连。
例如，在电子设备90是单机设备时，该输入装置930可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入装置930还可以包括例如键盘、鼠标、麦克风等等。
该输出装置940可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该电子设备90中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。
示例性计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的基于医学影像的病灶分析方法和网络模型训练方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一实施例的基于医学影像的病灶分析方法和网络模型训练方法。计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请中涉及的器件、装置、设备、系统的方结构示意图仅作为例示性的例子并且不意图要求或暗示必须按照方结构示意图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用，应当理解，本申请实施例中提到的第一、第二、第三等限定词，仅仅为了更清楚地描述本申请实施例的技术方案使用，并不能用以限制本申请的保护范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本申请的具体实施例，显然本申请不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本申请公开的内容直接导出或联想到的所有变形，均应属于本申请的保护范围。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于医学影像的病灶分析方法，其特征在于，包括：
基于医学影像数据提取病灶表征数据；
基于病灶表征数据提取病灶特征信息；
将所述病灶特征信息输入第一机器学习模型，以获得第一病灶特征向量；
将所述医学影像数据和所述病灶表征数据输入第二机器学习模型，以获得第二病灶特征向量；
合并所述第一病灶特征向量和所述第二病灶特征向量，获得与所述病灶对应的融合特征向量；以及
根据所述融合特征向量获取所述病灶的分析结果；
其中，所述病灶表征数据包括以下几项中的一种或多种组合：病灶轮廓、病灶所在器官的结构单元的轮廓、病灶所在器官的整体轮廓；
所述病灶特征信息包括以下几项中的一种或多种组合：所述病灶在所述病灶的器官中的占比、所述病灶所在器官的结构单元的感染数量、所述病灶所在器官的结构单元感染的最大面积、不同的病灶所在器官的结构单元中病灶区域的HU值分布情况；
所述第一机器学习模型以及所述第二机器学习模型分别选用卷积神经网络架构和/或全连接神经网络架构。
2.根据权利要求1所述的方法，其特征在于，所述根据所述融合特征向量获取所述病灶分析结果包括：将所述融合特征向量，输入第三机器学习模型以获得所述病灶分析结果，其中，所述第三机器学习模型选用卷积神经网络架构和/或全连接神经网络架构。
3.根据权利要求2所述的方法，其特征在于，所述将所述融合特征向量，输入第三机器学习模型以获得所述病灶分析结果包括：将所述融合特征向量，输入第三机器学习模型以获得所述病灶的类别和/或严重度。
4.根据权利要求3所述的方法，其特征在于，在将所述融合特征向量，输入第三机器学习模型以获得所述病灶的类别和/或严重度之后，还包括：根据所述病灶的类别和/或严重度，发出预警。
5.根据权利要求4所述的方法，其特征在于，所述基于医学影像数据提取病灶表征数据包括：
将所述医学影像数据输入第四机器学习模型以获取病灶表征数据；
其中，所述第四机器学习模型采用U-Net和/或全卷积神经网络分割网络。
6.根据权利要求5所述的方法，其特征在于，所述病灶包括肺炎；
其中，所述肺炎的类型包括：细菌性肺炎、新型冠状病毒肺炎、除新型冠状病毒肺炎外的其他病毒性肺炎、支原体肺炎、衣原体肺炎、真菌性肺炎、原虫性肺炎；和/或，
其中，所述肺炎的严重度包括：轻度、中度和重度。
7.根据权利要求6所述的方法，其特征在于，所述肺炎的严重度还包括：所述新型冠状病毒肺炎的概率值。
8.根据权利要求7所述的方法，其特征在于，所述病灶包括肺炎；
其中，所述根据所述病灶的类别和/或严重度，发出预警包括：
当所述肺炎的严重度为中度时，发出低级预警；
当所述肺炎的严重度为重度时，发出中级预警；
当所述肺炎的类别为新型冠状病毒肺炎时，发出高级预警。
9.根据权利要求8所述的方法，其特征在于，所述基于肺部医学影像数据提取肺炎病灶表征数据包括：将所述肺部医学影像输入第四机器学习模型以获取肺炎病灶表征数据；其中，
所述第四机器学习模型包括肺炎分割模型、肺部分割模型、肺叶分割模型；
所述肺炎病灶表征数据包括：肺炎轮廓、肺叶轮廓、肺部轮廓。
10.一种基于医学影像的病灶分析装置，其特征在于，包括：
第一提取模块，配置为基于医学影像数据提取病灶表征数据；
第二提取模块，配置为基于病灶表征数据提取病灶特征信息；
第一病灶特征提取模块，配置为将所述病灶特征信息输入第一机器学习模型，以获取第一病灶特征向量；
第二病灶特征提取模块，配置为将所述医学影像数据和所述病灶表征数据输入第二机器学习模型，以获取第二病灶特征向量；
合并模块，配置为合并所述第一病灶特征向量和所述第二病灶特征向量，以获得与所述病灶对应的融合特征向量；以及
分析模块，配置为根据所述融合特征向量获取所述病灶的分析结果；
其中，所述病灶表征数据包括以下几项中的一种或多种组合：病灶轮廓、病灶所在器官的结构单元的轮廓、病灶所在器官的整体轮廓；
所述病灶特征信息包括以下几项中的一种或多种组合：所述病灶在所述病灶的器官中的占比、所述病灶所在器官的结构单元的感染数量、所述病灶所在器官的结构单元感染的最大面积、不同的病灶所在器官的结构单元中病灶区域的HU值分布情况；
所述第一机器学习模型以及所述第二机器学习模型分别选用卷积神经网络架构和/或全连接神经网络架构。
11.一种网络模型训练方法，其特征在于，包括：
将样本医学影像数据输入第四机器学习模型以获取样本病灶表征数据，其中，所述样本医学影像数据包括标记数据；
基于所述样本病灶表征数据提取样本病灶特征信息；
将所述样本病灶特征信息输入第一机器学习模型，以获得第一病灶特征向量样本；
将所述样本医学影像数据和所述样本病灶表征数据输入第二机器学习模型，以获得第二病灶特征向量样本；
合并所述第一病灶特征向量样本和所述第二病灶特征向量样本，获得与所述病灶对应的融合特征向量样本；
将所述融合特征向量样本输入第三机器学习模型，以获取所述病灶的样本分析结果；以及
根据所述样本分析结果与所述标记数据的差异，调整所述第一机器学习模型、所述第二机器学习模型、所述第三机器学习模型以及所述第四机器学习模型的网络参数；
其中，所述样本病灶表征数据包括以下几项中的一种或多种的组合：样本病灶轮廓、样本病灶所在器官的结构单元的轮廓、样本病灶所在器官的整体轮廓；
所述样本病灶特征信息包括以下几项中的一种或多种组合：所述样本病灶在所述病灶的器官中的占比、所述样本病灶所在器官的结构单元的感染数量、所述样本病灶所在器官的结构单元感染的最大面积、不同的样本病灶所在器官的结构单元中病灶区域的HU值分布情况；
所述第一机器学习模型、所述第二机器学习模型以及所述第三机器学习模型分别选用卷积神经网络架构和/或全连接神经网络架构；
所述第四机器学习模型采用U-Net和/或全卷积神经网络分割网络。
12.一种网络模型训练装置，其特征在于，包括：
第一样本提取模块，配置为将样本医学影像数据输入第四机器学习模型以获取样本病灶表征数据，其中，所述样本医学影像数据包括标记数据；
第二样本提取模块，配置为基于所述样本病灶表征数据提取样本病灶特征信息；
第一样本病灶特征提取模块，配置为将所述样本病灶特征信息输入第一机器学习模型，以获得第一病灶特征向量样本；
第二样本病灶特征提取模块，配置为将所述样本医学影像数据和所述样本病灶表征数据输入第二机器学习模型，以获得第二病灶特征向量样本；
样本合并模块，配置为合并所述第一病灶特征向量样本和所述第二病灶特征向量样本，获得与所述病灶对应的融合特征向量样本；
样本分析模块，配置为将所述融合特征向量样本输入第三机器学习模型，以获取所述病灶的样本分析结果；以及
参数调整模块，配置为根据所述样本分析结果与所述标记数据的差异，调整所述第一机器学习模型、所述第二机器学习模型、所述第三机器学习模型以及所述第四机器学习模型的网络参数；
其中，所述样本病灶表征数据包括以下几项中的一种或多种的组合：样本病灶轮廓、样本病灶所在器官的结构单元的轮廓、样本病灶所在器官的整体轮廓；
所述样本病灶特征信息包括以下几项中的一种或多种组合：所述样本病灶在所述病灶的器官中的占比、所述样本病灶所在器官的结构单元的感染数量、所述样本病灶所在器官的结构单元感染的最大面积、不同的样本病灶所在器官的结构单元中病灶区域的HU值分布情况；
所述第一机器学习模型、所述第二机器学习模型以及所述第三机器学习模型分别选用卷积神经网络架构和/或全连接神经网络架构；
所述第四机器学习模型采用U-Net和/或全卷积神经网络分割网络。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9中任一所述的基于医学影像的病灶分析方法。
14.一种电子设备，其特征在于，包括：
处理器；
存储器，其中，所述存储器用于存储所述处理器可执行的指令；
当所述处理器执行所述指令时，实现上述权利要求1-9中任一所述的基于医学影像的病灶分析方法。
CN202010259844.3A 2020-04-03 2020-04-03 基于医学影像的病灶分析方法和装置 Active CN111476772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010259844.3A CN111476772B (zh) 2020-04-03 2020-04-03 基于医学影像的病灶分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010259844.3A CN111476772B (zh) 2020-04-03 2020-04-03 基于医学影像的病灶分析方法和装置

Publications (2)

Publication Number Publication Date
CN111476772A CN111476772A (zh) 2020-07-31
CN111476772B true CN111476772B (zh) 2023-05-26

Family

ID=71749692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010259844.3A Active CN111476772B (zh) 2020-04-03 2020-04-03 基于医学影像的病灶分析方法和装置

Country Status (1)

Country Link
CN (1) CN111476772B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112071421A (zh) * 2020-09-01 2020-12-11 深圳高性能医疗器械国家研究院有限公司 一种深度学习预估方法及其应用
CN112807008A (zh) * 2021-01-27 2021-05-18 山东大学齐鲁医院 基于影像组学的鉴别实性小儿肺炎支原体肺炎与肺炎链球菌肺炎的方法和系统
CN113052831B (zh) * 2021-04-14 2024-04-23 清华大学 脑部医学影像异常检测方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376558A (zh) * 2018-01-24 2018-08-07 复旦大学 一种多模态核磁共振影像病历报告自动生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9801597B2 (en) * 2014-09-24 2017-10-31 General Electric Company Multi-detector imaging system with x-ray detection
CN107025369B (zh) * 2016-08-03 2020-03-10 北京推想科技有限公司 一种对医疗图像进行转换学习的方法和装置
CN107203995A (zh) * 2017-06-09 2017-09-26 合肥工业大学 内窥镜影像智能分析方法及系统
CN107633515A (zh) * 2017-09-19 2018-01-26 西安电子科技大学 一种影像医师视觉识别能力量化方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376558A (zh) * 2018-01-24 2018-08-07 复旦大学 一种多模态核磁共振影像病历报告自动生成方法

Also Published As

Publication number Publication date
CN111476772A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
Das et al. Automatic COVID-19 detection from X-ray images using ensemble learning with convolutional neural network
CN111476772B (zh) 基于医学影像的病灶分析方法和装置
Giuste et al. Explainable artificial intelligence methods in combating pandemics: A systematic review
Selvan et al. Lung segmentation from chest X-rays using variational data imputation
Rajan et al. Fog computing employed computer aided cancer classification system using deep neural network in internet of things based healthcare system
CN111956212B (zh) 基于频域滤波-多模态深度神经网络的组间房颤识别方法
CN105956386B (zh) 基于健康人胸片的健康指标指数分类系统和方法
US20210327055A1 (en) Systems and methods for detection of infectious respiratory diseases
Gao et al. Chest X-ray image analysis and classification for COVID-19 pneumonia detection using Deep CNN
CN111080624B (zh) 精子运动状态的分类方法、装置、介质及电子设备
CN116848588A (zh) 医学图像中的健康状况特征的自动标注
Cho et al. Detection of the location of pneumothorax in chest X-rays using small artificial neural networks and a simple training process
CN111524109A (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
Zeng et al. Machine Learning-Based Medical Imaging Detection and Diagnostic Assistance
CN111226287B (zh) 用于分析医学成像数据集的方法、系统、程序产品和介质
Zhang et al. Clinical applicable AI system based on deep learning algorithm for differentiation of pulmonary infectious disease
Magrelli et al. Classification of lung disease in children by using lung ultrasound images and deep convolutional neural network
Kavuran et al. COVID-19 and human development: An approach for classification of HDI with deep CNN
Iqbal et al. AD-CAM: Enhancing Interpretability of Convolutional Neural Networks with a Lightweight Framework-From Black Box to Glass Box
CN114283140A (zh) 基于特征融合的肺部X-Ray图像分类方法、系统及存储介质
CN111275558B (zh) 用于确定保险数据的方法和装置
CN111080625B (zh) 肺部影像条索检测模型的训练方法及其训练装置
CN111476775B (zh) Dr征象识别装置和方法
Rifa'i et al. Analysis for diagnosis of pneumonia symptoms using chest X-Ray based on Resnet-50 models with different epoch
Vinisha et al. A Novel Framework for Brain Tumor Segmentation using Neuro Trypetidae Fruit Fly-Based UNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co.,Ltd.

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant before: INFERVISION

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant