CN110335259B - 一种医学影像识别方法、装置和存储介质 - Google Patents
一种医学影像识别方法、装置和存储介质 Download PDFInfo
- Publication number
- CN110335259B CN110335259B CN201910555451.4A CN201910555451A CN110335259B CN 110335259 B CN110335259 B CN 110335259B CN 201910555451 A CN201910555451 A CN 201910555451A CN 110335259 B CN110335259 B CN 110335259B
- Authority
- CN
- China
- Prior art keywords
- medical image
- feature
- features
- information
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Abstract
本发明实施例公开了一种医学影像识别方法、装置和存储介质,具体为在获取待识别医学影像组之后,分别对所述多个显影的时段的医学影像进行特征提取,并融合提取到的特征,根据融合后特征对目标区域进行识别,得到初始识别结果,然后,采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息,最后,基于所述初始识别结果和所述评估信息,生成所述待识别医学影像组对应的识别结果;该方案可以提高模型识别的准确性。
Description
技术领域
本发明涉及通信技术领域,具体涉及一种医学影像识别方法、装置和存储介质。
背景技术
随着人工智能(AI,Artificial Intelligence)的发展,AI在医疗领域上的应用也越来越为广泛。其中AI技术中的深度学习在医学影像识别上的应用越来越多,但是深度学习的核心是模型的参数和拟合度非常高的判定结果。在医疗领域中,要想提高模型识别的准确性,需要了解模型究竟从数据中学到了那些知识(以人类可以理解的方式表达的),在现有技术中,采用基于遮挡和热图的方式展示模型的学习方式,来提高模型识别的准确性。
在对现有技术的研究和实践过程中,本发明的发明人发现,采用基于遮挡和热图的方式,仍然需要人为对遮挡区域和热图进行总结和分析,得到模型所学习到的特征,由于存在人为因素的影响,导致模型识别的准确性不足。
发明内容
本发明实施例提供一种医学影像识别方法、装置和存储介质,可以提高模型识别医学影像的准确性。
本发明实施例提供一种医学影像识别方法,包括:
获取待识别医学影像组,所述待识别医学影像组包括多个显影时段的医学影像;
分别对所述多个显影的时段的医学影像进行特征提取,并融合提取到的特征;
根据融合后特征对目标区域进行识别,得到初始识别结果;
采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息;
基于所述初始识别结果和所述评估信息,生成所述待识别医学影像组对应的识别结果。
相应的,本发明实施例提供一种医学影像识别装置,包括获取单元、提取单元、识别单元、评估单元和生成单元,如下:
获取单元,用于获取待识别医学影像组,所述待识别医学影像组包括多个显影时段的医学影像;
提取单元,用于分别对所述多个显影的时段的医学影像进行特征提取,并融合提取到的特征;
识别单元,用于采用融合后特征对目标区域进行识别,得到初始识别结果;
评估单元,用于基于融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息;
生成单元,用于根据所述初始识别结果和所述评估信息,生成所述待识别医学影像组对应的识别结果。
可选的,在一些实施例中,所述评估单元,具体用于提取融合后特征的第一特征信息,第一特征信息包括多个特征,基于预设关键信息,利用分类器对第一特征信息中各个特征的类型进行预测,得到第一特征信息的预测值,第一特征信息的预测值包括多个特征对应的预测值,利用第一特征信息的预测值与关键特征信息的变量值对所述训练后并行卷积神经网络的可解释性参数进行评估,得到评估信息。
可选的,在一些实施例中,所述评估单元,具体用于,将第一特征信息中多个特征对应的预测值分别于预设关键特征信息中多个关键特征的变量值进行对比,根据对比结果从第一特征信息中筛选符合关键特征特性的特征,得到训练后并行卷积神经网络的可解释性参数,基于可解释性参数生产评估信息。
可选的,在一些实施例中,所述评估单元,具体用于,获取所述可解释性参数的属性信息,并统计可解释性参数的数量,根据属性信息和所述可解释性参数的数量生成评估信息。
可选的,在一些实施例中,所述多个显影时段的医学影像包括第一时段医学影像、第二显影时段医学影像和第三显影时段医学影像,则:
所述提取单元,具体用于,采用训练后并行卷积神经网络分别对第一显影时段医学影像、第二显影时段医学影像和第三显影时段医学影像进行特征提取,得到第一显影时段特征、第二显影时段特征和第三显影时段特征,将第一显影时段特征、第二显影时段特征和第三显影时段特征进行融合。
可选的,在一些实施例中,所述训练后并行卷积神经网络包括并行的第一卷积网络模块、第二卷积网络模块、第三网络模块,则所述提取单元,具体可以用于采用第一卷积网络模块对所述第一显影时段医学影像进行特征提取,得到第一时段特征,采用第二卷积网络模块对所述第二显影时段医学影像进行特征提取,得到第二时段特征,采用第三卷积网络模块对所述第三显影时段医学影像进行特征提取,得到第三时段特征。
可选的,在一些实施例中,所述训练后并行卷积神经网络包括全局信息融合模块,则所述提取单元,具体可以用于采用全局信息融合模块将所第一显影时段特征、第二显影时段特征和第三显影时段特征进行融合,得到所述融合后特征。
可选的,在一些实施例中,所述识别单元,具体用于采用分类网络模块对所述融合后特征的类型进行分类,根据分类结果,筛选符合目标区域特征类型的融合后特征,得到候选特征集,基于所述候选特征集对所述待识别医学影像的目标区域进行识别,得到所述初始识别结果。
可选的,在一些实施例中,所述医学影像识别装置还可以包括第一采集单元和筛选单元,如下:
所述第一采集单元,具体用于获取已标注的第一医学影像样本,对第一医学影像样本进行特征提取,得到第一影像组学特征,收集第一医学影像样本的病灶特性描述信息和检验结果,得到第二影像组学特征,根据第一影像组学特征和所述第二影像组学特征,生成所述第一样本特征信息;
所述筛选单元,具体用于根据第一样本特征信息,利用预设识别模型对所述目标区域进行识别,根据所诉识别结果,在所述第一样本特征信息中筛选关键特征信息。
可选的,在一些实施例中,所述医学影像识别装置还可以包括第二采集单元和训练单元,如下:
所述第二采集单元,具体用于采集多个第一样本医学影像组,所述第一样本医学影像组包括已标注的所述多个显影时段的医学影像;
所述训练单元,具体用于采用预设并行卷积神经网络对第一样本医学影像组学中目标区域进行预测,得到预测值,根据预测值与标注对预设并行卷积神经网络进行收敛,得到训练后并行卷积神经网络。
此外,本发明实施例还提供一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种医学影像识别方法中的步骤。
本发明实施例采用获取待识别医学影像组,分别对所述多个显影的时段的医学影像进行特征提取,并融合提取到的特征,根据融合后特征对目标区域进行识别,得到初始识别结果,然后,采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息,最后,基于所述初始识别结果和所述评估信息,生成所述待识别医学影像组对应的识别结果;由于该方案采用融合后特征与预设关键特征对模型识别过程的准确性进行评估,根据评估信息最终得出模型的识别结果,提高了模型识别的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的医学影像识别方法的场景示意图;
图2是本发明实施例提供的医学影像识别方法的流程图;
图3是本发明实施例提供的并行卷积神经网络的结构示例图;
图4是本发明实施例提供的分类网络模块的结构示例图;
图5是本发明实施例提供的医学影像样本二次标记示意图;
图6是本发明实施例提供的XGBoost识别模型输出的重要特征排序图;
图7是本发明实施例提供的医学影像识别方法的另一流程图;
图8是本发明实施例提供的XGBoost识别模型输出重要特征的流程图;
图9是本发明实施例提供的医学影像识别装置的结构示意图;
图10是本发明实施例提供的评估单元的结构示意图;
图11是本发明实施例提供的医学影像识别装置的另一结构示意图;
图12是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种医学影像识别方法、装置和存储介质。其中,该医学影像识别装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
例如,参见图1,以该医学影像识别装置集成在电子设备中为例,首先,可以通过各种医学影像采集设备,比如电子计算机断层扫描仪(CT,Computed Tomography)或核磁共振成像仪等对同一个人在显影剂流过不同器官的显影时段的医学影像进行采集,然后,将采集到的多个显影时段医学影像(比如第一显影时段医学影像、第二显影时段图像……,第N显影时段医学影像等)添加至同一集合,得到待识别医学影像组,并将该待识别医学影像组提供给电子设备。电子设备在接收到该待识别医学影像组后,一方面,可以分别对该多个显影的时段的医学影像进行特征提取,并融合提取到的特征,根据融合后特征对目标区域进行识别,得到初始识别结果,另一方面,采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息,然后,再基于初始识别结果和所述评估信息,生成待识别医学影像组对应的识别结果。由于该方案采用融合后特征与预设关键特征对模型识别过程的准确性进行评估,根据评估信息最终得出模型的识别结果,提高了模型识别的准确性。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
在本实施例中,将从医学影像识别装置的角度进行描述,该医学影像识别装置具体可以集成在电子设备如终端或服务器等设备中,该终端具体可以个人计算机(PC,Personal Computer)、笔记本电脑、或各种医学设备如医学影像采集设备或医学检测设备等。
一种医学影像识别方法,包括:获取待识别医学影像组,该待识别医学影像组包括多个显影时段的医学影像;
分别对多个显影的时段的医学影像进行特征提取,并融合提取到的特征,根据融合后特征对目标区域进行识别,得到初始识别结果,根据融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息,根据该初始识别结果和评估信息,生成该待识别医学影像组对应的识别结果。
如图2所示,该医学影像识别装置的具体流程可以如下:
101、获取待识别医学影像组。
例如,具体可以接收各医学影像采集设备,比如电子计算机断层扫描仪(CT,Computed Tomography)、或核磁共振成像仪等发送的待识别医学影像组。每一组待识别医学影像组,可以通过各医学影像采集设备对同一对象,比如对同一个人的身体器官进行采集来得到。
其中,待识别医学图影像指的是需要进行识别的医学影像,所谓医学影像,指的是通过医学影像采集设备对生命体的某组成部分,比如人体的大脑、心脏、脾、肠胃或阴道等进行影像采集所得到的影像。而生命体指的是有生命形态的,且能对外界刺激做出相应反应的独立个体,比如人、猫或狗等。
其中,待识别医学影像组指的是需要进行识别的医学影像的集合,其具体可以包括显影剂流过不同器官的显影时段的医学影像,比如,可以包括用于显示流入动脉后表现特点的第一显影时段医学影像(如核磁共振扫描时的动脉期医学影像)、用于显示流入肝脏门静脉时所表现特点的第二显影时段医学影像(如核磁共振扫描时的门静脉期医学影像)以及用于显示流入其他区域或器官时所表现特点的第三显影时段医学影像(如核磁共振扫描时的延迟期医学影像),等等。
其中,动脉期,门静脉期和延迟期是核磁共振扫描时用的专业术语,在增强扫描过程中,通常是将造影剂静脉注入血管后,造影剂随血液的流动流向各器官和病灶,它具体指的是造影剂显影的3个时段。动脉期指造影剂流入动脉后所表现出来的特点,门静脉期是在动脉期后40s左右血液经过肝脏门静脉时所表现出的特点,延迟期是在这两个时期之后所表现出的特点。
102、分别对多个显影时段的医学影像进行特征提取,并融合提取到的特征。
例如,具体可以采用训练后并行卷积神经网络分别对第一显影时段的医学影像、第二显影时段医学影像和第三显影时段医学影像进行特征提取,得到第一显影时段特征、第二显影时段特征和第三显影时段特征,将第一显影时段特征、第二显影时段特征和第三显影时段特征进行融合,得到融合后特征,如图3所示。
若训练后并行卷积神经网络可以包括第一卷积网络模块、第二卷积网络模块和第三卷积网络模块和其对应的全局信息融合模块。
比如,针对第一显影时段医学影像、第二显影时段医学影像和第三显影时段医学影像数据,从病灶的中心区域(40%-60%)随机裁剪16×64×64大小的块作为深度学习的输入。将三个显影时段医学影像的深度学习的输入块经过3个并行的共享参数的卷积神经网络进行特征提取,并融合提取到的特征。具体过程如下:
(1)采用第一卷积网络模块对第一显影时段医学影像进行特征提取,第一卷积网络模块可以包括至少一个由卷积层、激活层和池化层构成的特征提取模块。将第一显影时段医学影像的输入块通过卷积层进行卷积处理,通过非线性激活层对卷积结果进行处理,采用池化层对激活层的处理结果进行池化处理。将得到的池化处理结果依次通过卷积层、非线性激活层和池化层再次处理,得到处理后的结果,将处理后的结果通过全局信息融合层进行融合,得到第一显影时段医学影像的初始融合后特征,将初始融合后特征再次通过特征提取模块进行处理,将处理后的结果通过全局信息融合层再次进行融合,以此类推,通过这样利用多个不同尺寸的特征提取模块和全局信息融合层进行特征提取和融合操作后,得到第一显影时段医学影像的融合后特征。
(2)在第一卷积网络模块对第一显影时段医学影像进行特征提取的同时,采用第二卷积网络模块对第二显影时段医学影像进行特征提取,第三卷积网络模块对第三显影时段医学影像进行特征提取,第一卷积网络模块、第二卷积网络模块和第三卷积网络模块在结构上属于并行关系,且三个卷积网络模块共享参数。因此,第二卷积网络模块和第三卷积网络模块分别对第二显影时段医学影像和第三显影时段医学影像进行特征提取的过程与第一卷积网络模块对第一显影时段医学影像进行特征提取的过程一样。第二卷积网络模块和第三卷积网络模块分别对第二显影时段医学影像和第三显影时段医学影像通过特征提取模块进行特征提取,并通过全局信息融合层将提取到的特征进行融合,得到第二显影时段医学影像的融合后特征和第三显影时段医学影像的融合后特征。
其中,在第一卷积网络模块、第二卷积网络模块和第三卷积网络模块中,可以根据实际应用需求增加或减少特征提取模块和全局信息融合层的数量,针对全局信息融合层的位置也可以根据实际应用需求进行设置,但需要说明的是在卷积网络模块中全局信息融合层的之前至少包括一个特征提取模块,其中特征提取模块可以包括卷积层、激活层和池化层等。
(3)对第一显影时段医学影像的融合后特征、第二显影时段医学影像的融合后特征和第三显影时段医学影像的融合后特征进行融合,得到融合后特征。
其中,具体的融合方式可以有多种,比如,可以通过特征相加、特征拼接或特征选择(降维)等方式来对第一显影时段医学影像的融合后特征、第二显影时段医学影像的融合后特征和第三显影时段医学影像的融合后特征进行融合,得到融合后特征。
其中,训练后并行卷积神经网络可以由多个第一样本医学影像训练而成,具体可以由其他设备进行训练后,提供给该医学影像识别装置,或者,也可以由该医学影像识别装置自行进行训练,即步骤“采用训练后并行卷积神经网络分别对第一显影时段医学影像、第二显影时段医学影像和第三显影时段医学影像进行特征提取”之前,该医学影像识别方法还可以包括:
采集多个第一样本医学影像组,该第一样本医学影像组包括已标注的多个显影时段的医学影像,采用预设并行卷积神经网络对第一样本医学影像组中第一显影时段医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本进行特征提取,融合提取到的特征,并对融合后特征进行分类,得到类型预测值,获取第一样本医学影像组中已标注的真实值,采用交叉熵损失函数,根据该预测值和真实值对该并行卷积神经网络进行收敛,得到训练后并行卷积神经网络。
比如,具体可以采集多张多个显影时段的医学影像作为原始数据集,然后对该原始数据集里的影像进行预处理,比如去重、裁剪、旋转和/或翻转等操作,以得到满足该预设并行卷积神经网络的输入标准的医学影像,然后,对这些预处理后的医学影像进行病灶类型和区域的标注,并将属于同一显影时段的医学影像添加至同一个医学影像集合中,使得每个显影时段对应一个医学影像集合,其中,这些医学影像集合在本发明实施例中,即称为第一样本图像组。
103、根据融合后特征对目标区域进行识别,得到初始识别结果。
例如,具体可以采用分类网络模块对该融合后特征的类型进行分类,根据分类结果,筛选符合目标区域特征类型的融合后特征,得到候选特征集,基于该候选特征集对待识别医学影像的目标区域进行识别,得到初始识别结果。
若训练后并行卷积神经网络还可以包括分类网络模块,采用分类网络模块对融合后特征进行分类,基于分类结果对多个显影时段的医学影像的目标区域进行识别,得到初始识别结果。
比如,可以根据分类结果将属于“微血管侵犯(MVI)”类型的融合后特征添加至同一集合,并基于该集合进行识别,即可得到待识别医学影像的目标区域是否为MVI。
其中MVI为是一个病理学概念,在显微镜下,MVI表现为在内皮细胞衬覆的血管腔内的癌细胞巢团。当脉管腔内出现悬浮癌细胞数目≥50个时,即可计为MVI,等等。
例如,如图4所示,以该分类网络模块包括三个不同尺寸的全连接层和两个不同尺寸的非线性激活层为例,一个全连接层加一个非线性激活层可以构成分类网络子模块,则该对融合后特征进行分类,根据分类结果,筛选符合目标区域特征类型的融合后特征,得到候选特征集,基于该候选特征集对待识别医学影像的目标区域进行识别,得到初始识别结果的流程如下:
采用全连接层对融合后特征进行分类处理,将分类处理后的结果导入非线性激活层进行处理,得到处理结果后,然后,将通过非线性激活层的处理结果再次导入分类网络子模块的全连接层中,全连接层对非线性激活层处理的结果进行再次分类处理,将分类处理后的结果导入非线性激活层进行处理,依次类推,通过至少一个分类网络子模块处理后,全连接层对处理后的数据进行分类识别,得到初始识别结果。其中分类网络子模块的数量可以根据实际应用需求来进行添加或减少,但是分类网络模块中至少包括一个分类网络子模块和一个全连接层。
104、根据融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息。
例如,具体可以包括,提取融合后特征的第一特征信息,该第一特征信息包括多个特征,基于预设关键信息,利用分类器对第一特征信息中各个特征的类型进行预测,得到第一特征信息的预测值,该第一特征信息的预测值包括多个特征对应的预测值,利用第一特征信息的预测值与关键特征信息的变量值对训练后并行卷积神经网络的可解释性参数进行评估,得到评估信息。
其中,可解释性可以包括,广义上的可解释性指在需要了解或解决一件事情的时候,可以获得所需要的足够的可以理解的信息,而具体到机器学习领域来说,以决策树模型为例,模型每作出一个决策都会通过一个决策序列来向用户展示模型的决策依据:比如男性&未婚&博士&秃头的条件对应“不感兴趣”这个决策,而且决策树模型自带的基于信息理论的筛选变量标准也有助于帮助用户理解在模型决策产生的过程中哪些变量起到了显著的作用,所以在一定程度上,用户认为决策树模型是一个具有比较好的可解释性的模型。具体到训练后并行卷积神经网络的可解释性可以包括训练后并行卷积神经网络在对待识别医学影像进行识别,得到识别结果的过程中,训练后并行卷积神经网络通过学习到或关注到哪些特征信息来得出识别结果。如果训练后并行卷积神经网络在识别过程中展现的学习到或关注到的特征信息越多越清楚,则说明训练后并行卷积神经网络的可解释性越高。
其中,提取融合后特征的第一特征信息,该第一特征信息可以包括多个特征,比如,可以从分类网络模块多个全连接层之后提取出第一特征信息。例如在图4所示的分类网络模块中,可以从第一个分类网络子模块的输出特征值中提取第一特征信息,也可以从第二个分类网络子模块的输出特征值中提取第一特征信息,根据实际应用需求,选择合适的分类网络子模块的输出特征值用来提取第一特征信息,需要强调的是,不能从最后一个全连接层的输出值中提取第一特征信息,至少需要在最后一个全连接层之前,选在分类网络子模块的特征输出值提取第一特征信息。
其中,提取出的第一特征信息可以包括至少一个并行卷积神经网络候选学习到或关注到的特征。
比如,利用该第一特征信息的预测值与关键特征信息的变量值对训练后并行卷积神经网络的可解释性参数进行评估,得到评估信息,其具体过程可以包括将该第一特征信息中多个特征对应的预测值分别于预设关键特征信息中多个关键特征的变量值进行对比,根据对比结果从第一特征信息中筛选符合所述关键特征特性的特征,得到训练后并行卷积神经网络的可解释性参数,获取可解释性参数的属性信息,并统计该可解释性参数的数量,根据该可解释性参数的数量确定评估等级,将该可解释性参数的属性信息和所述评估等级导入预设模板中,得到评估信息。
其中,将第一特征信息中多个特征对应的预测值分别于预设关键特征信息中多个关键特征的变量值进行对比,具体可以包括:
(1)将第一特征信息导入预设分类器进行分类预测。
比如,将第一特征信息中的多个候选学习特征导入预设分类器中进行分类预测,以预测MVI为例,将第一特征中的候选特征信息A1、A2和A3导入训练后SVM分类器中,按照预设策略输出候选特征信息A1、A2和A3对应的二元变量的预测值M1、M2和M3。其中预测值表示在待识别的医学影像组中,针对候选特征A1、A2和A3对目标区域进行识别,得出候选特征A1、A2和A3对MVI的预测值。其中SVM分类器的预测值输出为二元变量,即M1、M2和M3的值为二元变量,比如0和1,0表示待识别医学影像目标区域不存在MVI,1表示存在MVI。
(2)将第一特征信息中多个特征对应的预测值分别与预设关键特征信息中多个关键特征的变量值进行对比。
其中,预设关键特征信息可以包括采用预设识别模型针对待识别医学影像组对目标区域的MVI进行判定,输出影响MVI判定结果的多个重要特征。
例如,具体可以采用XGBoost模型对待识别医学影像组的目标区域进行MVI判定,输出影响MVI判定结果的多个重要特征,并对多个重要特征进行排序,具体过程如下:
A1、获取已标注的第一医学影像样本。
例如,采集多例目标器官的第一医学影像样本组,比如肝脏的CT的扫描数据,其中,每例数据中都包含第一显影时段、第二显影时段和第三显影时段的数据。采集到的数据由医生对目标区域进行标注,并经过脱敏处理。
A2、对第一医学影像样本进行特征提取,得到第一影像组学特征。
例如,对第一医学影像样本进行特征的提取的方式可以由多种,比如采用开源软件库、卷积神经网络等方式。在对第一医学影像样本进行特征提取之前,可以根据实际应用需要扩大标注区域,比如,在原始标注的基础上分别向外扩充一定距离,得到包含瘤周区域的新标注,其中扩充的距离为一个定值,这个定值可以为任意值,比如1cm、2cm等,二次标注后的区域如图5所示。对第一医学影像样本进行特征提取时可以包括分别基于原始病灶区域标注和包含瘤周区域标注进行特征提取,将两个标注区域的特征进行组合得到第一影像组学特征,组合方式可以包括相加、合并等。
A3、收集第一医学影像样本的病灶特性描述信息和检验结果,得到第二影像组学特征。
例如,收集医生对病灶特性描述信息,比如肿瘤边缘是否光滑、有无包膜等信息。也可以收集一些病灶区域的检验结果,比如肿瘤的大小,肿瘤的位置或肿瘤的类型等结果。收集到上述信息后,得到第二影像组学特征。
A4、根据第一影像组学特征和第二影像组学特征,生成第一样本特征信息。
例如,将提取到的第一影像组学特征和收集到的第二影像组学特征进行组合,生成第一样本特征信息,其中第一样本特征信息可以包括多个特征,组合的方式也可以有多种,比如合并、相加或拼接等。
A5、根据第一样本特征信息,利用预设识别模型对目标区域进行识别。
例如,可以采用XGBoost识别模型对目标区域进行识别,基于第一样本特征信息,利用XGBoost识别模型在目标区域对MVI进行判定,比如,第一样本特征信息中存在多个特征,其多个特征为B1、B2、B3等。将特征B1、B2、B3分别导入XGBoost识别模型中,在病灶区域对MVI进行判定和识别,得到识别结果。其中,采用测试集的接受者操作特性曲线(receiveroperating characteristic curve,ROC)的曲线下面积(area under the curve,AUC)的大小代表XGBoost的分类(识别)性能。
可选的,XGBoost识别模型可以由多个第二样本医学影像训练而成,具体可以由其他设备进行训练后,提供给该医学影像识别装置,或者,也可以由该医学影像识别装置自行进行训练,即步骤“根据第一样本特征信息,利用预设识别模型对目标区域进行识别”之前,该医学影像识别方法还可以包括:
采集多个第二样本医学影像组,该第二样本医学影像组包括已标注的多个显影时段的医学影像,采用预设XGBoost识别模型对第二样本医学影像组中第一显影时段医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本进行特征提取,融合提取到的特征,并对融合后特征进行分类,得到类型预测值,获取第二样本医学影像组中已标注的真实值,采用交叉熵损失函数,根据该预测值和真实值对该XGBoost识别模型进行收敛,得到训练后XGBoost识别模型。
比如,具体可以采集多张多个显影时段的医学影像作为原始数据集,然后对该原始数据集里的影像进行预处理,比如去重、裁剪、旋转和/或翻转等操作,以得到满足该预设并行卷积神经网络的输入标准的医学影像,然后,对这些预处理后的医学影像进行病灶类型和区域的标注,并将属于同一显影时段的医学影像添加至同一个医学影像集合中,使得每个显影时段对应一个医学影像集合,其中,这些医学影像集合在本发明实施例中,即称为第二样本图像组。
A6、根据识别结果,在第一样本特征信息中筛选关键特征信息。
例如,根据第一样本特征信息在病灶区域对MVI的识别结果,筛选出第一特征信息中的关键特征信息。其中,在得到识别结果之前,XGBoost识别模型对每个特征识别重要性得出一个对应的重要性值,并对每个特征的重要性值进行排序。比如,导入XGBoost识别模型的多个特征B1、B2和B3,在目标区域的MVI进行识别的过程中,XGBoost识别模型根据识别过程中特征的重要性进行赋值,得到多个特征B1、B2和B3对应的重要性值X1、X2和X3。比较X1、X2和X3值的大小,按照预设策略进行排序,比如可以从小到大,也可以从大到小。排序完成后,XGBoost识别模型输出重要的多个特征信息的排序表,如图6所示。其中排序表中包含了第一样本特征信息中XGBoost识别模型认为的重要的特征。根据最重要的多个特征信息的排序表,从第一样本特征信息中选取排名一定排序范围的特征作为预设关键特征信息,比如,选取排序表中前二十或者前三十的重要特征作为预设关键特征信息。
A7、将第一特征信息中多个特征对应的预测值分别于预设关键特征信息中多个关键特征的变量值进行对比。
其中,一个特征信息种多个特征对应的预测值输出为二元变量,而预设的关键特征信息分为连续性变量和离散型变量,需要将预设关键特征信息的数值处理为二元变量。比如,对预设关键特征信息中离线型变量根据其数值将其归类为二元变量,二元变量可以为0或1。对于预设关键特征信息中连续型变量进行处理,比如先去除离群点(如分布在10分位数和90分位数之外的),然后,计算剩下数据的均值,最后计算每个特征与均值的大小关系,令大于等于为1,小于的为0。
例如,将第一特征信息中多个特征对应的预测值分别于预设关键特征信息中多个特征的变量值进行对比,首先,筛选出第一特征信息和预设关键特征信息中相同的特征,比如,如果第一特征信息中存在特征1,预设关键特征信息中也存在特征信息1,则筛选出特征1。同理,将第一特征信息和预设关键特征信息中所有相同的特征筛选出,得到候选学习特征集。然后,在候选特征集中,将候选学习特征进行分类,分为第一特征信息与预设关键特征信息对应的特征值相同的特征和特征值不相同的特征,其中对应的特征值为二元变量,比如0或1。比如,在候选特征集中存在多个特征,但是多个特征在第一特征信息和预设关键特征信息中的特征值不一定相同,假如,第一特征信息中特征1的特征值为0,而预设关键特征信息中特征1的特征值可以为0也可以为1。将特征值相同的特征和特征值不相同的特征进行分类,得到分类结果。其中,分类结果可以包括有哪些特征的特征值相同和不同,数量有多少。
(3)根据对比结果从第一特征信息中筛选符合关键特征特性的特征,得到训练后并行卷积神经网络的可解释性参数。
其中,可解释性参数可以包括训练后并行卷积神经网络中学习到的可视化特征,训练后并行卷积神经网络学习到的可视化的特征越多,可视化的程度越高,其可解释性就越强,识别结果就越准确。比如,训练后并行卷积神经网络在对待识别医学影像中的目标区域的识别过程中,通过学习到或者关注到某些特征之后,输出的识别结果,当训练后并行卷积神经网络在识别过程中,通过一些特定方式将学习到或关注的一个或多个特征显示出来,此时显示出来的一个或者多个特征,就称之为可视化特征。
例如,根据候选特征集的分类结果,得到第一特征信息和预设关键特征信息中共同存在的且特征相同的一个或多个特征。比如,在第一特征信息和预设关键特征信息中共同存在特征1、特征2和特征3,其中特征1在第一特征信息和预设关键特征信息中的特征值都为1,特征2和特征3在第一特征信息中的特征值为0,特征2和特征3在预设关键特征信息中的特征值为1,则训练后并行卷积神经网络的可视化特征为特征1,说明了训练后并行卷积神经网络的可解释性参数为特征1,此处需要说明的是,可解释性参数由一个或多个可视化特征构成。
(4)基于可解释性参数生产评估信息。
其中,评估信息反映了训练后并行卷积神经网络总体结构的可解释性,可以包括可解释性参数的数量、属性信息和评估等级等信息。
例如,获取可解释性参数的属性信息,比如可视化特征的名称、类型或特征值,统计可解释性参数的数量,根据可解释性参数的数量确定评估等级,比如,以划分三个评估等级为例,可视化特征的数量在20个以上,设为一类评估等级,可视化特征的数量在10个至20个之间,设为二类评估等级,可视化特征的数量在10个一下,设为三类评估等级。在这里需要说明的是,评估等级可以根据实际应用需求来设定,评估等级设定的越多,相应的评估信息就越准确,但相应的计算难度就越大。将可解释性参数的属性信息和评估等级导入预设模板中,得到评估信息,比如,预先设定可视化特征属性和评估等级的权重,根据不同属性信息和评估等级进行加权,得到训练后并行卷积神经网络的评估信息,该评估信息可以包括训练后并行卷积神经网络的可解释性程度值。
例如,按照可视化特征属性的重要程度和评估等级的高低进行加权,比如,将可视化特征的类型的加权系数预设为M1,将可视化特征的特征值的加权系数预设为M2,将评估等级的加权系数预设为M3。对可视化特征的类型进行赋值,比如类型1赋值为1,类型2赋值为2,依次类推。同理,对评估等级也进行赋值,比如一类评估等级赋值为1,二类评估等级赋值为2,三类评估等级赋值为3,等等,依次类推。在此需要说明的是,对可视化特征的类型和评估等级进行赋值时,按实际应用需要进行赋值。其中加权系数M1、M2和M3之和为1。将可视化特征类型对应的值、可视化特征值和评估等级对应的值分别乘以各自的加权系数,得到加权值,此时,得到的加权值为训练后并行卷积神经网络的可解释性程度值,也为训练后并行卷积神经网络的评估信息。
105、根据初始识别结果和评估信息,生成待识别医学影像组对应的识别结果。
例如,根据训练后并行卷积神经网络的可解释性程度值,对初始识别结果进行补充,生成待识别医学影像组对应的识别结果。其中,训练后并行卷积神经网络的可解释性程度值越高,说明训练后并行卷积神经网络的可解释性越强,识别结果的准确性就越高。比如,对可解释性程度值进行等级划分,根据可解释性程度值对应的等级不同,对初始识别结果的准确性的判断对应也不相同。比如,以划分三个等级为例,当可解释性程度值大于0小于等于Y1时,设为可解释性第一等级,当可解释性程度值大于Y1小于等于Y2时设为可解释性第二等级,当可解释性程度值大于Y2时,设为可解释性第三等级。可以预设可解释性第三等级对应的识别准确率90%-95%,可解释性第二等级对应的识别准确率为80%-90%,可解释性第一等级对应的识别准确率为70%-80%。此时,初始识别结果结合可解释性程度值对应的识别准确率,生成待识别医学影像对应的识别结果。比如,初始识别结果为目标区域存在MVI,识别准确率为90%-95%,则生成的待识别医学影像对应的识别结果为目标区域存在MVI,且可以提示用户识别较为准确,准确率为90%-95%,若对应的识别准确率为70%-80%,可以提示用户识别不太准确,建议调整参数或者模型类型。
由上可知,本实施例在获取待识别医学影像组之后,分别对多个显影的时段的医学影像进行特征提取,并融合提取到的特征,根据融合后特征对目标区域进行识别,得到初始识别结果,然后,采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息,最后,基于初始识别结果和所述评估信息,生成待识别医学影像组对应的识别结果;由于该方案采用融合后特征与预设关键特征对模型识别过程的准确性进行评估,根据评估信息最终得出模型的识别结果,提高了模型识别的准确性。
根据上一个实施例所描述的方法,以下就举例作进一步详细说明。
在本实施例中,将以该医学影像识别装置具体集成在电子设备,且第一显影时段医学影像具体为动脉期医学影像、门静脉期医学影像和延迟期医学影像,其目标区域具体为肝部区域,目标对象具体为肝部区域的MVI识别为例进行说明。
(一)并行卷积神经网络的训练。
首先,电子设备可以采集多张关于肝和肝部MVI的三个时期(动脉期、门静脉期和延迟期)的医学影像,比如从数据库或网络等获取多张关于肝和肝部MVI的三个时期的医学影像,然后对这些医学影像进行预处理,比如进行去重、裁剪、旋转、脱敏和/或翻转等操作,以得到满足预设并行卷积神经网络的输入标准的图像,然后,在这些预处理后的影像中,标注出肝和肝部MVI的部位,即可得到多张标注了肝和肝部MVI部位的医学影像样本。
其次,电子设备可以将医学影像样本输入至预设的并行卷积神经网络,通过卷积网络模块对医学影像样本进行特征提取,得到三个时期的特征信息,通过全局信息融合模块对提取到的三个时期的特征信息进行融合,得到融合后特征,根据融合后特征对肝部区域的MVI进行识别,得到预测的初始识别结果。
再者,电子设备通过插值损失函数,根据该医学影像样本的标注和该预测的识别结果对该并行卷积神经网络进行收敛,得到训练后并行卷积神经网络。比如,具体可以采用交叉熵损失函数,根据该医学影像的标注和该预测的识别结果对该并行卷积神经网络中用于像素分类的参数进行调整,已经通过插值损失函数,根据该医学影像样本的标注和该预测的识别结果对该冰箱卷积神经网络中用于识别的参数进行调整,得到训练后并行卷积神经网络。
(二)通过训练后并行卷积神经网络,便可以对待识别医学影像组进行识别。
其中,该训练后并行卷积神经网络包括第一卷积网络模块第二卷积网络模块和第三网络模块以及对应的全局信息融合模块。
如图7所示,一种医学影像识别方法,具体流程可以如下:
201、电子设备获取关于肝的待识别医学影像组。
例如,具体可以由各医学影像采集设备,如CT或核磁共振成像仪等设备对需要进行肝部检测的病人的肝部进行医学影像采集,然后,将采集到的关于肝部的三个时期的医学影像,如动脉期医学影像、门静脉期影像和延迟期影像等,作为一待识别医学影像组提供给该电子设备。
202、电子设备对待识别医学影像进行特征提取,并融合提取到的特征。
例如,电子设备具体可以采用训练后并行卷积神经网络分别对动脉期医学影像、门静脉期医学影像和延迟期医学影像进行特征提取,得到动脉期特征、门静脉期特征和延迟期特征,将动脉期特征、门静脉期特征和延迟期特征进行融合,得到融合后特征。
例如,训练后并行卷积神经网络可以包括第一卷积网络模块、第二卷积网络模块和第三卷积网络模块和其对应的全局信息融合模块。
比如,针对动脉期医学影像、门静脉期医学影像和延迟期医学影像数据,电子设备从肝部病灶的中心区域(40%-60%)随机裁剪16×64×64大小的块作为深度学习的输入。将三个时期医学影像的深度学习的输入块经过3个并行的共享参数的卷积神经网络进行特征提取,并融合提取到的特征。具体过程如下:
(1)采用第一卷积网络模块对动脉期医学影像进行特征提取,第一卷积网络模块可以包括至少一个由卷积层、激活层和池化层构成的特征提取模块。将第一显影时段医学影像的输入块通过卷积层进行卷积处理,通过非线性激活层对卷积结果进行处理,采用池化层对激活层的处理结果进行池化处理。将得到的池化处理结果依次通过卷积层、非线性激活层和池化层再次处理,得到处理后的结果,将处理后的结果通过全局信息融合层进行融合,得到动脉期医学影像的初始融合后特征,将初始融合后特征再次通过特征提取模块进行处理,将处理后的结果通过全局信息融合层再次进行融合,以此类推,通过这样利用多个不同尺寸的特征提取模块和全局信息融合层进行特征提取和融合操作后,得到动脉期医学影像的融合后特征。
(2)在第一卷积网络模块对动脉期医学影像进行特征提取的同时,采用第二卷积网络模块对门静脉期医学影像进行特征提取,第三卷积网络模块对延迟期医学影像进行特征提取,第一卷积网络模块、第二卷积网络模块和第三卷积网络模块在结构上属于并行关系,且三个卷积网络模块共享参数。因此,第二卷积网络模块和第三卷积网络模块分别对门静脉期医学影像和延迟期医学影像进行特征提取的过程与第一卷积网络模块对动脉期医学影像进行特征提取的过程一样。第二卷积网络模块和第三卷积网络模块分别对门静脉期医学影像和延迟期医学影像通过特征提取模块进行特征提取,并通过全局信息融合层将提取到的特征进行融合,得到门静脉期医学影像的融合后特征和延迟期医学影像的融合后特征。
其中,在第一卷积网络模块、第二卷积网络模块和第三卷积网络模块中,可以根据实际应用需求增加或减少特征提取模块和全局信息融合层的数量,针对全局信息融合层的位置也可以根据实际应用需求进行设置,但需要说明的是在卷积网络模块中全局信息融合层的之前至少包括一个特征提取模块,其中特征提取模块可以包括卷积层、激活层和池化层等。
(3)对动脉期医学影像的融合后特征、门静脉期医学影像的融合后特征和延迟期医学影像的融合后特征进行融合,得到融合后特征。
其中,具体的融合方式可以有多种,比如,可以通过特征相加、特征拼接或特征选择(降维)等方式来对动脉期医学影像的融合后特征、门静脉期医学影像的融合后特征和延迟期医学影像的融合后特征进行融合,得到融合后特征。
203.电子设备根据融合后特征对肝部区域进行识别,得到初始识别结果。
例如,电子设备具体可以采用分类网络模块对所述融合后特征的类型进行分类,根据分类结果,电子设备筛选符合肝部区域特征类型的融合后特征,得到候选特征集,基于所述候选特征集对所述待识别医学影像的肝部区域进行识别,得到所述初始识别结果。
电子设备的训练后并行卷积神经网络还可以包括分类网络模块,采用分类网络模块对融合后特征进行分类,基于分类结果对三期(动脉期、门静脉期和延迟期)的医学影像中的肝部区域进行识别,得到初始识别结果。
比如,可以根据分类结果将属于“微血管侵犯(MVI)”类型的融合后特征添加至同一集合,并基于该集合进行识别,即可得到待识别医学影像的肝部区域是否存在MVI。
例如,以该电子设备的分类网络模块包括三个不同尺寸的全连接层和两个不同尺寸的非线性激活层为例,一个全连接层加一个非线性激活层可以构成分类网络子模块,则该对融合后特征进行分类,根据分类结果,筛选符合肝部区域特征类型的融合后特征,得到候选特征集,基于候选特征集对所述待识别医学影像的肝部区域进行识别,得到初始识别结果的流程如下:
采用全连接层对融合后特征进行分类处理,将分类处理后的结果导入非线性激活层进行处理,得到处理结果后,然后,将通过非线性激活层的处理结果再次导入分类网络子模块的全连接层中,全连接层对非线性激活层处理的结果进行再次分类处理,将分类处理后的结果导入非线性激活层进行处理,依次类推,通过至少一个分类网络子模块处理后,全连接层对处理后的数据进行分类识别,得到初始识别结果。其中分类网络子模块的数量可以根据实际应用需求来进行添加或减少,但是分类网络模块中至少包括一个分类网络子模块和一个全连接层。
204、电子设备在融合后特征中提取第一特征信息。
其中,电子设备提取融合后特征的第一特征信息,所述第一特征信息可以包括多个特征,比如,可以从分类网络模块多个全连接层之后提取出第一特征信息。例如在图4所示的分类网络模块中,可以从第一个分类网络子模块的输出特征值中提取第一特征信息,也可以从第二个分类网络子模块的输出特征值中提取第一特征信息,根据实际应用需求,选择合适的分类网络子模块的输出特征值用来提取第一特征信息,需要强调的是,不能从最后一个全连接层的输出值中提取第一特征信息,至少需要在最后一个全连接层之前,选在分类网络子模块的特征输出值提取第一特征信息。
其中,提取出的第一特征信息可以包括至少一个并行卷积神经网络候选学习到或关注到的特征。
205、电子设备将第一特征信息导入预设分类器中进行分类预测。
比如,将第一特征信息中的多个候选学习特征导入预设分类器中进行分类预测,以预测MVI为例,将第一特征中的候选特征信息A1、A2和A3导入训练后SVM分类器中,按照预设策略输出候选特征信息A1、A2和A3对应的二元变量的预测值M1、M2和M3。其中预测值表示在待识别的医学影像组中,针对候选特征A1、A2和A3对目标区域进行识别,得出候选特征A1、A2和A3对MVI的预测值。其中SVM分类器的预测值输出为二元变量,即M1、M2和M3的值为二元变量,比如0和1,0表示待识别医学影像的肝部区域不存在MVI,1表示存在MVI。
206、电子设备将第一特征信息中多个特征对应的预测值分别与预设关键特征信息中多个关键特征的变量值进行对比。
其中,预设关键特征信息可以包括采用预设识别模型针对待识别医学影像组对目标区域的MVI进行判定,输出影响MVI判定结果的多个重要特征。
例如,具体可以采用XGBoost模型对待识别医学影像组的目标区域进行MVI判定,输出影响MVI判定结果的多个重要特征,并对多个重要特征进行排序,具体过程流程图8所示。
S1、电子设备获取已标注的第一医学影像样本。
例如,电子设备采集多例肝脏的第一医学影像样本组,比如肝脏的CT的扫描数据,其中,每例数据中都包含动脉期、门静脉期和延迟期的数据。采集到的数据由医生对目标区域进行标注,并经过脱敏处理。
S2、电子设备对第一医学影像样本进行特征提取,得到第一影像组学特征。
例如,对第一医学影像样本进行特征的提取的方式可以由多种,比如采用开源软件库、卷积神经网络等方式。在对第一医学影像样本进行特征提取之前,可以根据实际应用需要扩大标注区域,比如,在原始标注区域的基础上分别向外扩充一定距离,得到包含瘤周区域的新标注区域,其中扩充的距离为一个定值,这个定值可以为任意值,比如1cm、2cm等,二次标注后的区域如图5所示。对第一医学影像样本进行特征提取时可以包括分别基于原始病灶区域标注和包含瘤周区域标注进行特征提取,将两个标注区域的特征进行组合得到第一影像组学特征,组合方式可以包括相加、合并等。
S3、电子设备收集第一医学影像样本的病灶特性描述信息和检验结果,得到第二影像组学特征。
例如,收集医生对病灶特性描述信息,比如肿瘤边缘是否光滑、有无包膜等信息。也可以收集一些病灶区域的检验结果,比如肿瘤的大小,肿瘤的位置或肿瘤的类型等结果。收集到上述信息后,得到第二影像组学特征。
S4、电子设备根据第一影像组学特征和第二影像组学特征,生成第一样本特征信息。
例如,将提取到的第一影像组学特征和收集到的第二影像组学特征进行组合,生成第一样本特征信息,其中第一样本特征信息可以包括多个特征,组合的方式也可以有多种,比如合并、相加或拼接等。
S5、电子设备根据第一样本特征信息,利用预设识别模型对目标区域进行识别。
例如,可以采用XGBoost识别模型对肝部区域进行识别,基于第一样本特征信息,利用XGBoost识别模型在肝部区域对MVI进行判定,比如,第一样本特征信息中存在多个特征,其多个特征为B1、B2、B3等。将特征B1、B2、B3分别导入XGBoost识别模型中,在肝部的病灶区域对MVI进行判定和识别,得到识别结果。其中,采用测试集的接受者操作特性曲线(receiver operating characteristic curve,ROC)的曲线下面积(area under thecurve,AUC)的大小代表XGBoost的分类(识别)性能。
可选的,XGBoost识别模型可以由多个第二样本医学影像训练而成,具体可以由其他设备进行训练后,提供给该医学影像识别装置,或者,也可以由该医学影像识别装置自行进行训练,即步骤“根据第一样本特征信息,利用预设识别模型对目标区域进行识别”之前,该医学影像识别方法还可以包括:
采集多个第二样本医学影像组,该第二样本医学影像组包括已标注的肝部三期(动脉期、门静脉期和延迟期)的医学影像,采用预设XGBoost识别模型对第二样本医学影像组中第一显影时段医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本进行特征提取,融合提取到的特征,并对融合后特征进行分类,得到类型预测值,获取第三样本医学影像组中已标注的真实值,采用交叉熵损失函数,根据该预测值和真实值对该XGBoost识别模型进行收敛,得到训练后XGBoost识别模型。
比如,具体可以采集多张三期(动脉期、门静脉期和延迟期)的医学影像作为原始数据集,然后对该原始数据集里的影像进行预处理,比如去重、裁剪、旋转和/或翻转等操作,以得到满足该预设并行卷积神经网络的输入标准的医学影像,然后,对这些预处理后的医学影像进行病灶类型和区域的标注,并将属于同一显影时段的医学影像添加至同一个医学影像集合中,使得每个显影时段对应一个医学影像集合,其中,这些医学影像集合在本发明实施例中,即称为第二样本图像组。
S6、电子设备根据识别结果,在第一样本特征信息中筛选关键特征信息。
例如,根据第一样本特征信息在肝部病灶区域对MVI的识别结果,筛选出第一特征信息中的关键特征信息。其中,在得到识别结果之前,XGBoost识别模型对每个特征识别重要性得出一个对应的重要性值,并对每个特征的重要性值进行排序。比如,导入XGBoost识别模型的多个特征B1、B2和B3,在肝部区域的MVI进行识别的过程中,XGBoost识别模型根据识别过程中特征的重要性进行赋值,得到多个特征B1、B2和B3对应的重要性值X1、X2和X3。比较X1、X2和X3值的大小,按照预设策略进行排序,比如可以从小到大,也可以从大到小。排序完成后,XGBoost识别模型输出最重要的多个特征信息的排序表,如图6所示。其中排序表中包含了第一样本特征信息中XGBoost识别模型认为的重要的特征。根据最重要的多个特征信息的排序表,从第一样本特征信息中选取排名一定排序范围的特征作为预设关键特征信息,比如,选取排序表中前二十或者前三十的重要特征作为预设关键特征信息。
S7、电子设备将第一特征信息中多个特征对应的预测值分别于预设关键特征信息中多个关键特征的变量值进行对比。
其中,一个特征信息种多个特征对应的预测值输出为二元变量,而预设的关键特征信息分为连续性变量和离散型变量,需要将预设关键特征信息的数值处理为二元变量。比如,对预设关键特征信息中离线型变量根据其数值将其归类为二元变量,二元变量可以为0或1。对于预设关键特征信息中连续型变量进行处理,比如先去除离群点(如分布在10分位数和90分位数之外的),然后,计算剩下数据的均值,最后计算每个特征与均值的大小关系,令大于等于为1,小于的为0。
例如,将第一特征信息中多个特征对应的预测值分别于预设关键特征信息中多个特征的变量值进行对比,首先,筛选出第一特征信息和预设关键特征信息中相同的特征,比如,如果第一特征信息中存在特征1,预设关键特征信息中也存在特征信息1,则筛选出特征1。同理,将第一特征信息和预设关键特征信息中所有相同的特征筛选出,得到候选学习特征集。然后,在候选特征集中,将候选学习特征进行分类,分为第一特征信息与预设关键特征信息对应的特征值相同的特征和特征值不相同的特征,其中对应的特征值为二元变量,比如0或1。比如,在候选特征集中存在多个特征,但是多个特征在第一特征信息和预设关键特征信息中的特征值不一定相同,假如,第一特征信息中特征1的特征值为0,而预设关键特征信息中特征1的特征值可以为0也可以为1。将特征值相同的特征和特征值不相同的特征进行分类,得到分类结果。其中,分类结果可以包括有哪些特征的特征值相同和不同,数量有多少。
207、电子设备根据对比结果从第一特征信息中筛选符合关键特征特性的特征,得到训练后并行卷积神经网络的可解释性参数。
其中,可解释性参数可以包括训练后并行卷积神经网络中学习到的可视化特征,训练后并行卷积神经网络学习到的可视化的特征越多,可视化的程度越高,其可解释性就越强,识别结果就越准确。比如,训练后并行卷积神经网络在对待识别医学影像中的肝部区域的识别过程中,通过学习到或者关注到某些特征之后,输出的识别结果,当训练后并行卷积神经网络在识别过程中,通过一些特定方式将学习到或关注的一个或多个特征显示出来,此时显示出来的一个或者多个特征,就称之为可视化特征。
例如,根据候选特征集的分类结果,电子设备得到第一特征信息和预设关键特征信息中共同存在且特征值相同的一个或多个特征。比如,在第一特征信息和预设关键特征信息中共同存在特征1、特征2和特征3,其中特征1在第一特征信息和预设关键特征信息中的特征值都为1,特征2和特征3在第一特征信息中的特征值为0,特征2和特征3在预设关键特征信息中的特征值为1,则训练后并行卷积神经网络的可视化特征为特征1,说明了训练后并行卷积神经网络的可解释性参数为特征1,此处需要说明的是,可解释性参数由一个或多个可视化特征构成。
208、电子设备基于所述可解释性参数生产评估信息。
其中,评估信息反映了训练后并行卷积神经网络总体结构的可解释性,可以包括可解释性参数的数量、属性信息和评估等级等信息。
例如,电子设备获取可解释性参数的属性信息,比如可视化特征的名称、类型或特征值,统计可解释性参数的数量,根据可解释性参数的数量确定评估等级,比如,以划分三个评估等级为例,可视化特征的数量在20个以上,设为一类评估等级,可视化特征的数量在10个至20个之间,设为二类评估等级,可视化特征的数量在10个一下,设为三类评估等级。在这里需要说明的是,评估等级可以根据实际应用需求来设定,评估等级设定的越多,相应的评估信息就越准确,但相应的计算难度就越大。将可解释性参数的属性信息和评估等级导入预设模板中,得到评估信息,比如,预先设定可视化特征属性和评估等级的权重,根据不同属性信息和评估等级进行加权,得到训练后并行卷积神经网络的评估信息,该评估信息可以包括训练后并行卷积神经网络的可解释性程度值。
例如,按照可视化特征属性的重要程度和评估等级的高低进行加权,比如,将可视化特征的类型的加权系数预设为M1,将可视化特征的特征值的加权系数预设为M2,将评估等级的加权系数预设为M3。对可视化特征的类型进行赋值,比如类型1赋值为1,类型2赋值为2,依次类推。同理,对评估等级也进行赋值,比如一类评估等级赋值为1,二类评估等级赋值为2,三类评估等级赋值为3,等等,依次类推。在此需要说明的是,对可视化特征的类型和评估等级进行赋值时,按实际应用需要进行赋值。其中加权系数M1、M2和M3之和为1。将可视化特征类型对应的值、可视化特征值和评估等级对应的值分别乘以各自的加权系数,得到加权值,此时,得到的加权值为训练后并行卷积神经网络的可解释性程度值,也为训练后并行卷积神经网络的评估信息。
209、电子设备根据初始识别结果和评估信息,生成待识别医学影像组对应的识别结果。
例如,根据训练后并行卷积神经网络的可解释性程度值,电子设备对初始识别结果进行补充,生成待识别医学影像组对应的识别结果。其中,训练后并行卷积神经网络的可解释性程度值越高,说明训练后并行卷积神经网络的可解释性越强,识别结果的准确性就越高。比如,对可解释性程度值进行等级划分,根据可解释性程度值对应的等级不同,对初始识别结果的准确性的判断对应也不相同。比如,以划分三个等级为例,当可解释性程度值大于0小于等于Y1时,设为可解释性第一等级,当可解释性程度值大于Y1小于等于Y2时设为可解释性第二等级,当可解释性程度值大于Y2时,设为可解释性第三等级。可以预设可解释性第三等级对应的识别准确率90%-95%,可解释性第二等级对应的识别准确率为80%-90%,可解释性第一等级对应的识别准确率为70%-80%。此时,初始识别结果结合可解释性程度值对应的识别准确率,生成待识别医学影像对应的识别结果。比如,初始识别结果为肝部区域存在MVI,识别准确率为90%-95%,则生成的待识别医学影像对应的识别结果为肝部区域存在MVI,且可以提示用户识别较为准确,准确率为90%-95%,若对应的识别准确率为70%-80%,可以提示用户识别不太准确,建议调整参数或者模型类型。
由上可知,本实施例在获取待识别医学影像组之后,分别对多个显影的时段的医学影像进行特征提取,并融合提取到的特征,根据融合后特征对目标区域进行识别,得到初始识别结果,然后,采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息,最后,基于初始识别结果和评估信息,生成待识别医学影像组对应的识别结果;由于该方案采用融合后特征与预设关键特征对模型识别过程的准确性进行评估,根据评估信息最终得出模型的识别结果,提高了模型识别的准确性。
为了更好的实施以上办法,本发明实施例还提供一种医学影像识别装置,该医学影像识别装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
例如,如图9所示,该医学影像识别装置可以包括获取单元301、提取单元302、识别单元303、评估单元304和生成单元305,如下:
(1)获取单元301;
获取单元301,用于获取待识别医学影像组,该待识别医学影像组包括多个显影时段的医学影像。
例如,获取单元301,具体可用于接收各医学影像采集设备,比如CT或核磁共振成像仪等发送的待识别医学影像组。每一组待识别医学影像组,可以通过各医学影像采集设备对同一对象,比如对同一个人的身体器官进行采集来得到。
(2)提取单元302;
提取单元302,用于分别对多个显影的时段的医学影像进行特征提取,并融合提取到的特征。
提取单元302,具体用于分别对第一显影时段的医学影像、第二显影时段医学影像和第三显影时段医学影像进行特征提取,并融合提取到的特征。
例如,在一些实施例中,该提取单元303,具体可用于通过采用训练后并行卷积神经网络分别对第一显影时段的医学影像、第二显影时段医学影像和第三显影时段医学影像进行特征提取,得到第一显影时段特征、第二显影时段特征和第三显影时段特征,将第一显影时段特征、第二显影时段特征和第三显影时段特征进行融合,得到融合后特征。
(3)识别单元303;
识别单元303,用于根据融合后特征对目标区域进行识别,得到初始识别结果。
例如,识别单元303,具体用于通过采用分类网络模块对所述融合后特征的类型进行分类,根据分类结果,筛选符合目标区域特征类型的融合后特征,得到候选特征集,基于候选特征集对待识别医学影像的目标区域进行识别,得到初始识别结果。
例如,在一些实施例中,识别单元303,具体可以用于通过采用分类网络模块对融合后特征进行分类,基于分类结果对多个显影时段的医学影像的目标区域进行识别,得到初始识别结果。
(4)评估单元304;
评估单元304,用于采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息。
例如,该评估单元304,具体可以用于提取融合后特征的第一特征信息,第一特征信息包括多个特征,基于预设关键信息,利用分类器对所述第一特征信息中各个特征的类型进行预测,得到第一特征信息的预测值,该第一特征信息的预测值包括多个特征对应的预测值,利用第一特征信息的预测值与关键特征信息的变量值对训练后并行卷积神经网络的可解释性参数进行评估,得到评估信息。
其中,该评估单元304,还可以包括提取子单元3041、分类子单元3042、对比子单元3043、筛选子单元3044和生成子单元3045等子单元,如图10所示。
C1、提取子单元3041;
提取子单元3041,用于提取融合后特征的第一特征信息,该第一特征信息可以包括多个特征。
比如,提取子单元3041,具体可以从分类网络模块多个全连接层之后提取出第一特征信息。可以从第一个分类网络子模块的输出特征值中提取第一特征信息,也可以从第二个分类网络子模块的输出特征值中提取第一特征信息,根据实际应用需求,选择合适的分类网络子模块的输出特征值用来提取第一特征信息,需要强调的是,不能从最后一个全连接层的输出值中提取第一特征信息,至少需要在最后一个全连接层之前,选在分类网络子模块的特征输出值提取第一特征信息。
其中,提取出的第一特征信息可以包括至少一个并行卷积神经网络候选学习到或关注到的特征。
C2、分类子单元3042;
分类子单元3042,用于将第一特征信息中的多个候选学习特征导入预设分类器中进行分类预测。
例如,分类子单元3042,具体用于以预测MVI为例,将第一特征中的候选特征信息A1、A2和A3导入训练后SVM分类器中,按照预设策略输出候选特征信息A1、A2和A3对应的二元变量的预测值M1、M2和M3。其中预测值表示在待识别的医学影像组中,针对候选特征A1、A2和A3对目标区域进行识别,得出候选特征A1、A2和A3对MVI的预测值。其中SVM分类器的预测值输出为二元变量,即M1、M2和M3的值为二元变量,比如0和1,0表示待识别医学影像目标区域不存在MVI,1表示存在MVI。
C3、对比子单元3043;
对比子单元3043,用于将第一特征信息中多个特征对应的预测值分别与预设关键特征信息中多个关键特征的变量值进行对比。
例如,对比子单元3043,具体用于,具体可以采用XGBoost模型对待识别医学影像组的目标区域进行MVI判定,输出影响MVI判定结果的多个重要特征,并对多个重要特征进行排序。
C4、筛选子单元3044;
筛选子单元3044,用于根据对比结果从第一特征信息中筛选符合关键特征特性的特征,得到训练后并行卷积神经网络的可解释性参数。
例如,筛选子单元3044,具体用于,根据候选特征集的分类结果,得到第一特征信息和预设关键特征信息中共同存在的且特征相同的一个或多个特征。
C5、生成子单元3045;
生成子单元3045,用于基于可解释性参数生成评估信息,其中,评估信息反映了训练后并行卷积神经网络总体结构的可解释性,可以包括可解释性参数的数量、属性信息和评估等级等信息。
例如,生成子单元3045,具体用于获取可解释性参数的属性信息,比如可视化特征的名称、类型或特征值,统计可解释性参数的数量,根据可解释性参数的数量确定评估等级,获取可解释性参数的属性信息,根据可解释性参数的数量确定评估等级,将可视化特征类型对应的值、可视化特征值和评估等级对应的值分别乘以各自的加权系数,得到加权值,此时,得到的加权值为训练后并行卷积神经网络的可解释性程度值,也为训练后并行卷积神经网络的评估信息。
(5)生成单元305;
生成单元305,用于基于初始识别结果和所述评估信息,生成所述待识别医学影像组对应的识别结果。
例如,生成单元305,具体用于根据训练后并行卷积神经网络的可解释性程度值,对初始识别结果进行补充,生成待识别医学影像组对应的识别结果。其中,训练后并行卷积神经网络的可解释性程度值越高,说明训练后并行卷积神经网络的可解释性越强,识别结果的准确性就越高。
可选的,训练后并行卷积神经网络可以由多个第一样本医学影像组训练而成,具体可以由其他设备进行训练后,提供给该医学影像识别装置,或者,也可以由该医学影像识别装置自行进行训练;即如图11所示,该医学影像识别装置还可以包括第一采集单元306和第一训练单元307,如下:
该第一采集单元306,可以用于采集多个第一样本医学影像组,其中,该第一样本医学影像组可以包括第一显影时段的医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本。
该第一训练单元307,可以用于采用预设并行卷积神经网络对第一样本医学影像组中第一显影时段医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本进行特征提取,融合提取到的特征,并对融合后特征进行分类,得到类型预测值,获取第一样本医学影像组中已标注的真实值,采用交叉熵损失函数,根据该预测值和真实值对该并行卷积神经网络进行收敛,得到训练后并行卷积神经网络。
同理,可选的,XGBoost识别模型可以由多个第二样本医学影像组训练而成,具体可以由其他设备进行训练后,提供给该医学影像识别装置,或者,也可以由该医学影像识别装置自行进行训练;即如图11所示,该医学影像识别装置还可以包括第二采集单元308和第二训练单元309,如下:
该第二采集单元308,可以用于采集多个第二样本医学影像组,其中,该第二样本医学影像组可以包括第一显影时段的医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本。
该第二训练单元309,可以用于采用预设并行卷积神经网络对第二样本医学影像组中第一显影时段医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本进行特征提取,融合提取到的特征,并对融合后特征进行分类,得到类型预测值,获取第二样本医学影像组中已标注的真实值,采用交叉熵损失函数,根据该预测值和真实值对该并行卷积神经网络进行收敛,得到训练后并行卷积神经网络。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例在获取单元301获取待识别医学影像组之后,提取单元302分别对多个显影的时段的医学影像进行特征提取,并融合提取到的特征,识别单元303根据融合后特征对目标区域进行识别,得到初始识别结果,然后,评估单元304采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息,最后,生成单元305基于初始识别结果和评估信息,生成待识别医学影像组对应的识别结果;由于该方案采用融合后特征与预设关键特征对模型识别过程的准确性进行评估,根据评估信息最终得出模型的识别结果,提高了模型识别的准确性。
本发明实施例还提供一种电子设备,如图12所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图12中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个服务器的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取待识别医学影像组之后,分别对多个显影的时段的医学影像进行特征提取,并融合提取到的特征,根据融合后特征对目标区域进行识别,得到初始识别结果,然后,采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息,最后,基于所述初始识别结果和所述评估信息,生成待识别医学影像组对应的识别结果。
例如,具体可以采用训练后并行卷积神经网络分别对第一显影时段的医学影像、第二显影时段医学影像和第三显影时段医学影像进行特征提取,得到第一显影时段特征、第二显影时段特征和第三显影时段特征,将第一显影时段特征、第二显影时段特征和第三显影时段特征进行融合,得到融合后特征。具体可以采用分类网络模块对所述融合后特征的类型进行分类,根据分类结果,筛选符合目标区域特征类型的融合后特征,得到候选特征集,基于该候选特征集对所述待识别医学影像的目标区域进行识别,得到初始识别结果。
可选的,训练后并行卷积神经网络可以由多个第一样本医学影像组训练而成,具体可以由其他设备进行训练后,提供给该医学影像识别装置,或者,也可以由该医学影像识别装置自行进行训练;即处理器401还可以运行存储在存储器402中的应用程序,从而实现以下功能:
采集多个第一样本医学影像组,该第一样本医学影像组包括已标注的多个显影时段的医学影像,采用预设并行卷积神经网络对第一样本医学影像组中第一显影时段医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本进行特征提取,融合提取到的特征,并对融合后特征进行分类,得到类型预测值,获取第一样本医学影像组中已标注的真实值,采用交叉熵损失函数,根据该预测值和真实值对该并行卷积神经网络进行收敛,得到训练后并行卷积神经网络。
可选的,XGBoost识别模型可以由多个第二样本医学影像训练而成,具体可以由其他设备进行训练后,提供给该医学影像识别装置,或者,也可以由该医学影像识别装置自行进行训练。
可选的,采集多个第二样本医学影像组,该第二样本医学影像组包括已标注的多个显影时段的医学影像,采用预设XGBoost识别模型对第二样本医学影像组中第一显影时段医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本进行特征提取,融合提取到的特征,并对融合后特征进行分类,得到类型预测值,获取第二样本医学影像组中已标注的真实值,采用交叉熵损失函数,根据该预测值和真实值对该XGBoost识别模型进行收敛,得到训练后XGBoost识别模型。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例在获取待识别医学影像组之后,分别述多个显影的时段的医学影像进行特征提取,并融合提取到的特征,根据融合后特征对目标区域进行识别,得到初始识别结果,然后,采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息,最后,基于初始识别结果和评估信息,生成待识别医学影像组对应的识别结果;由于该方案采用融合后特征与预设关键特征对模型识别过程的准确性进行评估,根据评估信息最终得出模型的识别结果,提高了模型识别的准确性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种医学影像识别方法中的步骤。例如,该指令可以执行如下步骤:
获取待识别医学影像组之后,分别对多个显影的时段的医学影像进行特征提取,并融合提取到的特征,根据融合后特征对目标区域进行识别,得到初始识别结果,然后,采用融合后特征与预设关键特征信息对识别的准确性进行评估,得到评估信息,最后,基于初始识别结果和评估信息,生成待识别医学影像组对应的识别结果。
例如,具体可以采用训练后并行卷积神经网络分别对第一显影时段的医学影像、第二显影时段医学影像和第三显影时段医学影像进行特征提取,得到第一显影时段特征、第二显影时段特征和第三显影时段特征,将第一显影时段特征、第二显影时段特征和第三显影时段特征进行融合,得到融合后特征。具体可以采用分类网络模块对所述融合后特征的类型进行分类,根据分类结果,筛选符合目标区域特征类型的融合后特征,得到候选特征集,基于所述候选特征集对所述待识别医学影像的目标区域进行识别,得到所述初始识别结果。
可选的,训练后并行卷积神经网络可以由多个第一样本医学影像组训练而成,具体可以由其他设备进行训练后,提供给该医学影像识别装置,或者,也可以由该医学影像识别装置自行进行训练;即处理器401还可以运行存储在存储器402中的应用程序,从而实现以下功能:
采集多个第一样本医学影像组,该第一样本医学影像组包括已标注的多个显影时段的医学影像,采用预设并行卷积神经网络对第一样本医学影像组中第一显影时段医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本进行特征提取,融合提取到的特征,并对融合后特征进行分类,得到类型预测值,获取第一样本医学影像组中已标注的真实值,采用交叉熵损失函数,根据该预测值和真实值对该并行卷积神经网络进行收敛,得到训练后并行卷积神经网络。
可选的,XGBoost识别模型可以由多个第二样本医学影像训练而成,具体可以由其他设备进行训练后,提供给该医学影像识别装置,或者,也可以由该医学影像识别装置自行进行训练。
可选的,采集多个第二样本医学影像组,该第二样本医学影像组包括已标注的多个显影时段的医学影像,采用预设XGBoost识别模型对第二样本医学影像组中第一显影时段医学影像样本、第二显影时段医学影像样本和第三显影时段医学影像样本进行特征提取,融合提取到的特征,并对融合后特征进行分类,得到类型预测值,获取第二样本医学影像组中已标注的真实值,采用交叉熵损失函数,根据该预测值和真实值对该XGBoost识别模型进行收敛,得到训练后XGBoost识别模型。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种医学影像识别方法中的步骤,因此,可以实现本发明实施例所提供的任一种医学影像识别方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种医学影像识别方法、装置和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种医学影像识别方法,其特征在于,包括:
获取待识别医学影像组,所述待识别医学影像组包括多个显影时段的医学影像;
分别对所述多个显影时段的医学影像进行特征提取,并融合提取到的特征;
根据融合后特征对目标区域进行识别,得到初始识别结果;
采用融合后特征与预设关键特征信息对训练后并行卷积神经网络的可解释性参数进行评估,得到评估信息,所述可解释性参数包括所述训练后并行卷积神经网络中学习到的可视化特征;
基于所述初始识别结果和所述评估信息,生成所述待识别医学影像组对应的识别结果。
2.根据权利要求1所述的医学影像识别方法,其特征在于,所述根据融合后特征对目标区域进行识别,得到初始识别结果,包括:
根据融合后特征,采用所述训练后并行卷积神经网络对目标区域进行识别,得到初始识别结果。
3.根据权利要求1所述的医学影像识别方法,其特征在于,所述采用所述融合后特征与预设关键特征信息对所述训练后并行卷积神经网络的可解释性参数进行评估,得到评估信息,包括:
提取所述融合后特征的第一特征信息,所述第一特征信息包括多个特征;
基于所述预设关键特征信息,利用分类器对所述第一特征信息中各个特征的类型进行预测,得到所述第一特征信息的预测值,所述第一特征信息的预测值包括多个特征对应的预测值;
利用所述第一特征信息的预测值与所述关键特征信息的变量值对所述训练后并行卷积神经网络的可解释性参数进行评估,得到评估信息。
4.根据权利要求3所述的医学影像识别方法,其特征在于,利用所述第一特征信息的预测值与所述关键特征信息的变量值对所述训练后并行卷积神经网络的可解释性参数进行评估,得到评估信息,包括:
将所述第一特征信息中多个特征对应的预测值分别与预设关键特征信息中多个关键特征的变量值进行对比;
根据对比结果从所述第一特征信息中筛选符合所述关键特征特性的特征,得到所述训练后并行卷积神经网络的可解释性参数;
基于所述可解释性参数生成评估信息。
5.根据权利要求4所述的医学影像识别方法,其特征在于,基于所述可解释性参数生产评估信息,包括:
获取所述可解释性参数的属性信息,并统计所述可解释性参数的数量;
根据所述属性信息和所述可解释性参数的数量生成评估信息。
6.根据权利要求5所述的医学影像识别方法,其特征在于,根据所述可解释性参数的属性信息和所述可解释性参数的数量生成评估信息,包括:
根据所述可解释性参数的数量确定评估等级;
将所述可解释性参数的属性信息和所述评估等级导入预设模板中,得到评估信息。
7.根据权利要求1至6任一项所述的医学影像识别方法,其特征在于,根据融合后特征与预设关键特征信息对识别的准确性进行评估之前,包括:
采集多个第一样本特征信息;
根据所述第一样本特征信息,利用预设识别模型对所述目标区域进行识别;
根据所述识别结果,在所述第一样本特征信息中筛选关键特征信息。
8.根据权利要求7所述的医学影像识别方法,其特征在于,采集多个第一样本特征信息,包括:
获取已标注的第一医学影像样本;
对所述第一医学影像样本进行特征提取,得到第一影像组学特征;
收集所述第一医学影像样本的病灶特性描述信息和检验结果,得到第二影像组学特征;
根据所述第一影像组学特征和所述第二影像组学特征,生成所述第一样本特征信息。
9.根据权利要求1至6任一项所述的医学影像识别方法,其特征在于,所述多个显影时段的医学影像包括第一显影时段医学影像、第二显影时段医学影像和第三显影时段医学影像;
所述分别对多个显影时段的医学影像进行特征提取,并融合提取到的特征包括:
采用训练后并行卷积神经网络分别对所述第一显影时段医学影像、第二显影时段医学影像和第三显影时段医学影像进行特征提取,得到第一显影时段特征、第二显影时段特征和第三显影时段特征;
将所述第一显影时段特征、第二显影时段特征和第三显影时段特征进行融合。
10.根据权利要求9所述的医学影像识别方法,其特征在于,所述训练后并行卷积神经网络包括并行的第一卷积网络模块、第二卷积网络模块和第三卷积网络模块,所述采用训练后并行卷积神经网络分别对所述第一显影时段医学影像、第二显影时段医学影像和第三显影时段医学影像进行特征提取,得到第一显影时段特征、第二显影时段特征和第三显影时段特征,包括:
采用所述第一卷积网络模块对所述第一显影时段医学影像进行特征提取,得到第一时段特征;
采用所述第二卷积网络模块对所述第二显影时段医学影像进行特征提取,得到第二时段特征;
采用所述第三卷积网络模块对所述第三显影时段医学影像进行特征提取,得到第三时段特征。
11.根据权利要求9所述的医学影像识别方法,其特征在于,所述训练后并行卷积神经网络包括全局信息融合模块,将所述第一显影时段特征、第二显影时段特征和第三显影时段特征进行融合,包括:
采用全局信息融合模块将所述第一显影时段特征、第二显影时段特征和第三显影时段特征进行融合,得到所述融合后特征。
12.根据权利要求9所述的医学影像识别方法,其特征在于,采用训练后并行卷积神经网络分别对所述第一显影时段医学影像、第二显影时段医学影像和第三显影时段医学影像进行特征提取之前,还包括:
采集多个第一样本医学影像组,所述第一样本医学影像组包括已标注的所述多个显影时段的医学影像;
采用预设并行卷积神经网络对所述第一样本医学影像组中目标区域进行预测,得到预测值;
根据所述预测值与标注对所述预设并行卷积神经网络进行收敛,得到训练后并行卷积神经网络。
13.根据权利要求1至6任一项所述的医学影像识别方法,其特征在于,据融合后特征对目标区域进行识别,得到初始识别结果,包括:
采用分类网络模块对所述融合后特征的类型进行分类;
根据分类结果,筛选符合目标区域特征类型的融合后特征,得到候选特征集;
基于所述候选特征集对所述待识别医学影像的目标区域进行识别,得到所述初始识别结果。
14.一种医学影像识别装置,其特征在于,包括:
获取单元,用于获取待识别医学影像组,所述待识别医学影像组包括多个显影时段的医学影像;
提取单元,用于分别对所述多个显影时段的医学影像进行特征提取,并融合提取到的特征;
识别单元,用于根据融合后特征对目标区域进行识别,得到初始识别结果;
评估单元,用于采用融合后特征与预设关键特征信息对训练后并行卷积神经网络的可解释性参数进行评估,得到评估信息,所述可解释性参数包括所述训练后并行卷积神经网络中学习到的可视化特征;
生成单元,用于基于所述初始识别结果和所述评估信息,生成所述待识别医学影像组对应的识别结果。
15.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至13任一项所述的医学影像识别中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910555451.4A CN110335259B (zh) | 2019-06-25 | 2019-06-25 | 一种医学影像识别方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910555451.4A CN110335259B (zh) | 2019-06-25 | 2019-06-25 | 一种医学影像识别方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110335259A CN110335259A (zh) | 2019-10-15 |
CN110335259B true CN110335259B (zh) | 2021-08-31 |
Family
ID=68142403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910555451.4A Active CN110335259B (zh) | 2019-06-25 | 2019-06-25 | 一种医学影像识别方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110335259B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751203A (zh) * | 2019-10-16 | 2020-02-04 | 山东浪潮人工智能研究院有限公司 | 一种基于深度标志物学习的特征提取方法及系统 |
CN110827275B (zh) * | 2019-11-22 | 2023-12-22 | 吉林大学第一医院 | 基于树莓派和深度学习的肝脏核磁动脉期影像质量分级方法 |
CN111178196B (zh) * | 2019-12-19 | 2024-01-23 | 东软集团股份有限公司 | 一种细胞分类的方法、装置及设备 |
CN111339828B (zh) * | 2020-01-19 | 2021-04-30 | 华中科技大学同济医学院附属协和医院 | 基于红外影像和超声多普勒结合的静脉显影识别方法 |
CN111507381B (zh) * | 2020-03-31 | 2024-04-02 | 上海商汤智能科技有限公司 | 图像识别方法及相关装置、设备 |
CN111709906A (zh) * | 2020-04-13 | 2020-09-25 | 北京深睿博联科技有限责任公司 | 医学图像的质量评估方法和装置 |
CN111583249B (zh) * | 2020-05-12 | 2023-12-01 | 上海深至信息科技有限公司 | 一种医学图像的质量监控系统及方法 |
CN112215804B (zh) * | 2020-09-15 | 2021-10-15 | 数坤(北京)网络科技股份有限公司 | 一种数据处理方法、设备和计算机存储介质 |
CN112420150B (zh) * | 2020-12-02 | 2023-11-14 | 沈阳东软智能医疗科技研究院有限公司 | 医学影像报告的处理方法、装置、存储介质及电子设备 |
CN112766314A (zh) * | 2020-12-31 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 解剖结构的识别方法、电子设备及存储介质 |
CN113222887A (zh) * | 2021-03-03 | 2021-08-06 | 复旦大学附属华山医院 | 基于深度学习的纳米铁标记神经干细胞示踪的方法 |
CN114974522A (zh) * | 2022-07-27 | 2022-08-30 | 中国医学科学院北京协和医院 | 医学影像处理方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103593674A (zh) * | 2013-11-19 | 2014-02-19 | 太原理工大学 | 一种颈部淋巴结超声图像特征选择方法 |
CN107767928A (zh) * | 2017-09-15 | 2018-03-06 | 深圳市前海安测信息技术有限公司 | 基于人工智能的医学影像报告生成系统及方法 |
CN109325517A (zh) * | 2018-08-14 | 2019-02-12 | 浙江大学 | 一种基于Attention的循环神经网络模型的图分类方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8160323B2 (en) * | 2007-09-06 | 2012-04-17 | Siemens Medical Solutions Usa, Inc. | Learning a coarse-to-fine matching pursuit for fast point search in images or volumetric data using multi-class classification |
US20130044927A1 (en) * | 2011-08-15 | 2013-02-21 | Ian Poole | Image processing method and system |
CN108986115B (zh) * | 2018-07-12 | 2020-12-18 | 佛山生物图腾科技有限公司 | 医学图像分割方法、装置及智能终端 |
CN111242948B (zh) * | 2020-04-29 | 2020-09-01 | 腾讯科技(深圳)有限公司 | 图像处理、模型训练方法、装置、设备和存储介质 |
-
2019
- 2019-06-25 CN CN201910555451.4A patent/CN110335259B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103593674A (zh) * | 2013-11-19 | 2014-02-19 | 太原理工大学 | 一种颈部淋巴结超声图像特征选择方法 |
CN107767928A (zh) * | 2017-09-15 | 2018-03-06 | 深圳市前海安测信息技术有限公司 | 基于人工智能的医学影像报告生成系统及方法 |
CN109325517A (zh) * | 2018-08-14 | 2019-02-12 | 浙江大学 | 一种基于Attention的循环神经网络模型的图分类方法 |
Non-Patent Citations (1)
Title |
---|
"A Phase Congruency and Local Laplacian Energy Based Multi-Modality Medical Image Fusion Method in NSCT Domain";Zhiqin Zhu.et al;《IEEE Access》;20190207;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110335259A (zh) | 2019-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110335259B (zh) | 一种医学影像识别方法、装置和存储介质 | |
CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
CN111899245A (zh) | 图像分割、模型的训练方法及装置,电子设备及存储介质 | |
CN111369576B (zh) | 图像分割模型的训练方法、图像分割方法、装置及设备 | |
JP7406758B2 (ja) | 人工知能モデルを使用機関に特化させる学習方法、これを行う装置 | |
US10586330B2 (en) | Detection of outlier lesions based on extracted features from skin images | |
JP7191443B2 (ja) | 機械学習に基づくターゲットオブジェクト属性予測方法、関連機器及びコンピュータプログラム | |
US20220036561A1 (en) | Method for image segmentation, method for training image segmentation model | |
KR20190114384A (ko) | 신경망을 기반으로 하는 피부 병변 진단 장치 및 방법 | |
CN112330624A (zh) | 医学图像处理方法和装置 | |
US11302044B2 (en) | Method of determining contrast phase of a computerized tomography image | |
WO2024074921A1 (en) | Distinguishing a disease state from a non-disease state in an image | |
Cao et al. | Supervised contrastive pre-training formammographic triage screening models | |
CN114203300A (zh) | 一种健康状态评估方法及系统、服务端、存储介质 | |
CN112418299B (zh) | 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置 | |
CN113705595A (zh) | 异常细胞转移程度的预测方法、装置和存储介质 | |
CN113763331A (zh) | 冠状动脉优势型判定方法、装置、存储介质及电子设备 | |
CN113486925A (zh) | 模型训练方法、眼底图像生成方法、模型评估方法及装置 | |
CN109830300A (zh) | 甲状腺结节分析方法、装置、计算机设备及可读存储介质 | |
Xian et al. | Automatic tongue image quality assessment using a multi-task deep learning model | |
CN111598144B (zh) | 图像识别模型的训练方法和装置 | |
CN113901764A (zh) | 一种内容排版方法、装置、电子设备和存储介质 | |
CN111598870A (zh) | 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法 | |
JP6253962B2 (ja) | 情報処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |