CN115910264A - 一种基于ct与医学报告的医学图像分类方法、装置和系统 - Google Patents
一种基于ct与医学报告的医学图像分类方法、装置和系统 Download PDFInfo
- Publication number
- CN115910264A CN115910264A CN202211406424.9A CN202211406424A CN115910264A CN 115910264 A CN115910264 A CN 115910264A CN 202211406424 A CN202211406424 A CN 202211406424A CN 115910264 A CN115910264 A CN 115910264A
- Authority
- CN
- China
- Prior art keywords
- classification
- medical
- image
- report
- decisive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种基于CT与医学报告的医学图像分类方法、装置和系统,方法包括以下步骤:获取医学报告,从医学报告中提取出病症与对应的属性,构建报告向量,并输入预先构建并训练好的分类模型中,根据分类结果得到决定性病症;获取CT图像,并输入预先构建并训练好的分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。与现有技术相比,本发明利用医学报告挖掘对于肺癌诊断具有决定性因素的重要病症,以此作为依据选取CT分割模型CT图像分割的特征分割标准,具有说服力;减少了传统医学图像分类技术难以解释的特性带来的应用场景的阻碍。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种基于CT与医学报告的医学图像分类方法、装置和系统。
背景技术
CT图像有利于而尽早地发觉患者潜在的病灶并及时地进行早期干预治疗,对于患者整个治疗以及愈后效果起着决定性作用。然而在实际诊断时,医生仅仅依赖于患者CT上的影像学特征进行病灶的发现。此过程极大地依赖于医生的专业技能。然而专业技能的训练需要大量的时间与精力成本。在医疗资源有限的情况下,很难大规模地训练专业的医生。而很多病症的早期症状在CT图像内相对并不明显,这对提前发现病情起到了进一步的阻碍。
在此背景之下,AI一次训练多次部署的特性,大大减少了专业医生培训的负担,成为了有效的病症检测的辅助手段。然而现有的人工智能辅助技术,对于内部原理的解释并不充分,无法有效诠释最终结果得出的依据。而医学强调诊断的原因,人工智能难以解释的特性,使得相关项目的落地应用受到了相应的阻碍。
发明内容
本发明的目的就是为了克服上述现有技术存在仅根据图像进行网络分类,但对于内部原理的解释并不充分,无法有效诠释最终结果得出的依据的缺陷而提供一种基于CT与医学报告的医学图像分类方法、装置和系统。
本发明的目的可以通过以下技术方案来实现:
一种基于CT与医学报告的医学图像分类方法,包括以下步骤:
S1:获取医学报告,从医学报告中提取出病症与对应的属性,构建报告向量,并输入预先构建并训练好的分类模型中,根据分类结果得到决定性病症;
S2:获取CT图像,并输入预先构建并训练好的分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。
进一步地,步骤S1具体包括以下步骤:
S101:获取医学报告,从医学报告中提取出病症与对应的属性;
S102:对提取的病症和属性进行归一化,得到定量指标;
S103:根据所述定量指标将医学报告映射至报告向量,并输入多个预先构建并训练好的分类模型中;
S104:根据各个分类模型的预测结果,计算各个病症的重要性,从而提取出决定性病症;
S105:根据各个分类模型对所述报告向量的预测结果,筛选最优的分类模型,用于步骤S2进行图像分类。
进一步地,步骤S102中对病症和属性进行归一化的过程具体为:
令wi代表病症与属性实体,M(w)代表病症与属性实体对应的嵌入向量,则衡量实体wi与实体wj的相似度的方法具体为:
当wi与实体wj的相似度大于预设的相似阈值时,判定两者为同一实体。
进一步地,各个病症的重要性的计算过程具体为:
进一步地,分类模型的筛选过程具体为:
令ci(Ej)表示预测模型ci对于报告向量Ej的预测概率,则最终的预测结果为:
C(Ej)=f(∑aici(Ej))
其中ai代表模型ci对应的权重;
各个分类模型的评分计算表达式为:
选取评分最高的预测模型作为最优的分类模型,用于步骤S2进行图像分类。
进一步地,步骤S2具体包括以下步骤:
获取用于训练的CT数据集,根据步骤S1获取的决定性病症,对所述CT数据集进行标注,得到病症分割数据集;
将所述病症分割数据集输入预先构建的分割网络中进行训练,得到训练好的分割网络;
获取待分类的CT图像,并输入所述分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。
本发明还提供一种基于CT与医学报告的医学图像分类装置,包括:
决定性病症提取模块,被配置为:获取医学报告,从医学报告中提取出病症与对应的属性,构建报告向量,并输入预先构建并训练好的分类模型中,根据分类结果得到决定性病症;
图像分类模块,被配置为:获取CT图像,并输入预先构建并训练好的分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。
进一步地,所述决定性病症提取模块具体包括:
病症提取子模块,被配置为:获取医学报告,从医学报告中提取出病症与对应的属性;
归一化子模块,被配置为:对提取的病症和属性进行归一化,得到定量指标;
分类子模块,被配置为:根据所述定量指标将医学报告映射至报告向量,并输入多个预先构建并训练好的分类模型中;
决定性病症提取子模块,被配置为:根据各个分类模型的预测结果,计算各个病症的重要性,从而提取出决定性病症;
分类模型筛选子模块,被配置为:根据各个分类模型对所述报告向量的预测结果,筛选最优的分类模型,用于图像分类模块进行图像分类。
进一步地,所述图像分类模块具体包括:
病症分割数据集获取子模块,被配置为:获取用于训练的CT数据集,根据步骤S1获取的决定性病症,对所述CT数据集进行标注,得到病症分割数据集;
分割网络训练子模块,被配置为:将所述病症分割数据集输入预先构建的分割网络中进行训练,得到训练好的分割网络;
图像分类子模块,被配置为:获取待分类的CT图像,并输入所述分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。
本发明还提供一种基于CT与医学报告的医学图像分类系统,包括存储器和处理器,所述存储器存储有计算机程序,处理器调用所述计算机程序执行如上所述的方法的步骤。
与现有技术相比,本发明具有以下优点:
(1)本发明利用医学报告挖掘对于肺癌诊断具有决定性因素的重要病症,以此作为依据选取CT分割模型CT图像分割的特征分割标准,具有说服力。此外,从CT图像中分割出决定性特征,以此作为特征输入至分类网络中,可明确CT图像当中存在哪些病症促使分类模型做出检测结果,具有医学依据。减少了传统人工智能医学图像分类技术难以解释的特性带来的应用场景的阻碍。
(2)本发明对于CT图像进行特征分割,再根据分割结果进行医学图像分类的流程与现实生活中医生进行诊断的结果相一致。因而可直接应用于现实医疗场景中。无需额外的技术手段以应用部署模型至现实情景中。而分割与诊断分离的设计也使得对中间结果的解释与调试变得十分便利。
附图说明
图1为本发明实施例中提供的一种基于CT与医学报告的医学图像分类方法的流程示意图;
图2为本发明实施例中提供的一种基于CT与医学报告的医学图像分类方法的详细流程示意图;
图3为本发明实施例中提供的一种模型应用推理步骤流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
实施例1
如图1所示,本实施例提供一种基于CT与医学报告的医学图像分类方法,包括以下步骤:
S1:获取医学报告,从医学报告中提取出病症与对应的属性,构建报告向量,并输入预先构建并训练好的分类模型中,根据分类结果得到决定性病症;
S2:获取CT图像,并输入预先构建并训练好的分割网络中,得到决定性病症集合,将该决定性病症集合输入分类模型中,得到图像分类结果。
步骤S1具体包括以下步骤:
S101:获取医学报告,从医学报告中提取出病症与对应的属性;
S102:对提取的病症和属性进行归一化,得到定量指标;
S103:根据定量指标将医学报告映射至报告向量,并输入多个预先构建并训练好的分类模型中;
S104:根据各个分类模型的预测结果,计算各个病症的重要性,从而提取出决定性病症;
S105:根据各个分类模型对报告向量的预测结果,筛选最优的分类模型,用于步骤S2进行图像分类,避免消融实验导致的大量计算。
步骤S102中,对病症和属性进行归一化的过程具体为:
因在医学报告中,语义相同的实体具有不同的写法,故需进行实体的归一。令wi代表病症与属性实体,M(w)代表病症与属性实体对应的嵌入向量,则衡量实体wi与实体wj的相似度的方法具体为:
当wi与实体wj的相似度大于预设的相似阈值时,判定两者为同一实体。
步骤S104中,各个病症的重要性的计算过程具体为:
步骤S105中,分类模型的筛选过程具体为:
令ci(Ej)表示预测模型ci对于报告向量Ej的预测概率,则最终的预测结果为:
C(Ej)=f(∑aici(Ej))
其中ai代表模型ci对应的权重;
各个分类模型的评分计算表达式为:
选取评分最高的预测模型作为最优的分类模型,用于步骤S2进行图像分类。
步骤S2具体包括以下步骤:
获取用于训练的CT数据集,根据步骤S1获取的决定性病症,对CT数据集进行标注,得到病症分割数据集;
将病症分割数据集输入预先构建的分割网络中进行训练,得到训练好的分割网络;结合CT图像分割网络与分类模型,构建端到端医学图像分类技术;
获取待分类的CT图像,并输入分割网络中,得到决定性病症集合,将该决定性病症集合输入分类模型中,得到图像分类结果。
构建端到端医学图像分类方法如下:
PI=C(S(I))
其中S表示病症分割网络。
上述图像分类方法可以用于目标病症的图像分类,如注入含结节的医学图像、癌症医学图像等。本实施例以对肺癌医学图像进行分类为例进行说明。
首先对端到端模型训练与推理定义:
定义1:病症E。肺癌病症是对肺部结节、炎症以及淋巴的影像学描述,是归一化后的集合。
定义2:病症嵌入矩阵M。病症嵌入矩阵将病症实体映射至多维向量,以进行语义相似度的计算与模型的推理。
定义3:推理模型f。将病症向量输入至推理模型后,输出患者具有恶性结节的概率。
定义4:CT图像I。CT图像包含了患者病情的影像学特征,需分割模型挖掘潜在的病症。
定义5:分割模型S。对输入的CT图像挖掘潜在的病症,形成结构化的报告向量。
下面,给出利用本发明的一种基于CT和医学报告的可解释性肺癌检测技术,如图2所示,包括:
模型训练的流程实例:
Step1:输入患者医学报告,例如“右肺部多发小结节,密度均匀”。
Step2:对医学报告进行病症与属性的提取,如图所示,提取出描述患者病症的特征。
Step4:对提取出的实体进行归一,得到统一的患者肺癌报告向量。
Step5:归一化后的报告向量输入分类模型,得到患者患有恶性结节的概率。
Step6:利用模型可解释性技术,对分类模型进行重要病症的挑选。
Step7:对挑选出的重要病症,训练分割网络,以对输入的CT图像挖掘出潜在的病症。
如图3所示,模型推理流程实例如下所示:
Step1:输入患者CT图像。
Step2:通过分割模型,挖掘CT图像内的重要病症,形成病症向量。
Step3:将病症向量输入至分类模型,得到患者具有恶性肺结节的概率。
综上所述,分割与分类技术的联合使用,能够更好地诠释模型做出病情判断的病症依据,在强调因果推断的医学领域,能够更好地适应落地应用的情景。从而对肺癌诊断领域,提供更具解释性的人工智能辅助诊断技术。
以上是关于方法实施例的介绍,以下通过装置实施例,对本发明所述方案进行进一步说明。
本实施例还涉及一种一种基于CT与医学报告的医学图像分类装置,包括:
决定性病症提取模块,被配置为:获取医学报告,从医学报告中提取出病症与对应的属性,构建报告向量,并输入预先构建并训练好的分类模型中,根据分类结果得到决定性病症;
图像分类模块,被配置为:获取CT图像,并输入预先构建并训练好的分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。
可选地,所述决定性病症提取模块具体包括:
病症提取子模块,被配置为:获取医学报告,从医学报告中提取出病症与对应的属性;
归一化子模块,被配置为:对提取的病症和属性进行归一化,得到定量指标;
分类子模块,被配置为:根据所述定量指标将医学报告映射至报告向量,并输入多个预先构建并训练好的分类模型中;
决定性病症提取子模块,被配置为:根据各个分类模型的预测结果,计算各个病症的重要性,从而提取出决定性病症;
分类模型筛选子模块,被配置为:根据各个分类模型对所述报告向量的预测结果,筛选最优的分类模型,用于图像分类模块进行图像分类。
可选地,所述图像分类模块具体包括:
病症分割数据集获取子模块,被配置为:获取用于训练的CT数据集,根据步骤S1获取的决定性病症,对所述CT数据集进行标注,得到病症分割数据集;
分割网络训练子模块,被配置为:将所述病症分割数据集输入预先构建的分割网络中进行训练,得到训练好的分割网络;
图像分类子模块,被配置为:获取待分类的CT图像,并输入所述分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。
需要说明的是,本申请的装置具体内容和有益效果可参见上述方法实施例,在此不再赘述。
本实施例还提供一种基于CT与医学报告的医学图像分类系统,包括存储器和处理器,所述存储器存储有计算机程序,处理器调用所述计算机程序执行如上所述的基于CT与医学报告的医学图像分类方法的步骤。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于CT与医学报告的医学图像分类方法,其特征在于,包括以下步骤:
S1:获取医学报告,从医学报告中提取出病症与对应的属性,构建报告向量,并输入预先构建并训练好的分类模型中,根据分类结果得到决定性病症;
S2:获取CT图像,并输入预先构建并训练好的分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。
2.根据权利要求1所述的一种基于CT与医学报告的医学图像分类方法,其特征在于,步骤S1具体包括以下步骤:
S101:获取医学报告,从医学报告中提取出病症与对应的属性;
S102:对提取的病症和属性进行归一化,得到定量指标;
S103:根据所述定量指标将医学报告映射至报告向量,并输入多个预先构建并训练好的分类模型中;
S104:根据各个分类模型的预测结果,计算各个病症的重要性,从而提取出决定性病症;
S105:根据各个分类模型对所述报告向量的预测结果,筛选最优的分类模型,用于步骤S2进行图像分类。
6.根据权利要求1所述的一种基于CT与医学报告的医学图像分类方法,其特征在于,步骤S2具体包括以下步骤:
获取用于训练的CT数据集,根据步骤S1获取的决定性病症,对所述CT数据集进行标注,得到病症分割数据集;
将所述病症分割数据集输入预先构建的分割网络中进行训练,得到训练好的分割网络;
获取待分类的CT图像,并输入所述分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。
7.一种基于CT与医学报告的医学图像分类装置,其特征在于,包括:
决定性病症提取模块,被配置为:获取医学报告,从医学报告中提取出病症与对应的属性,构建报告向量,并输入预先构建并训练好的分类模型中,根据分类结果得到决定性病症;
图像分类模块,被配置为:获取CT图像,并输入预先构建并训练好的分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。
8.根据权利要求7所述的一种基于CT与医学报告的医学图像分类装置,其特征在于,所述决定性病症提取模块具体包括:
病症提取子模块,被配置为:获取医学报告,从医学报告中提取出病症与对应的属性;
归一化子模块,被配置为:对提取的病症和属性进行归一化,得到定量指标;
分类子模块,被配置为:根据所述定量指标将医学报告映射至报告向量,并输入多个预先构建并训练好的分类模型中;
决定性病症提取子模块,被配置为:根据各个分类模型的预测结果,计算各个病症的重要性,从而提取出决定性病症;
分类模型筛选子模块,被配置为:根据各个分类模型对所述报告向量的预测结果,筛选最优的分类模型,用于图像分类模块进行图像分类。
9.根据权利要求7所述的一种基于CT与医学报告的医学图像分类装置,其特征在于,所述图像分类模块具体包括:
病症分割数据集获取子模块,被配置为:获取用于训练的CT数据集,根据步骤S1获取的决定性病症,对所述CT数据集进行标注,得到病症分割数据集;
分割网络训练子模块,被配置为:将所述病症分割数据集输入预先构建的分割网络中进行训练,得到训练好的分割网络;
图像分类子模块,被配置为:获取待分类的CT图像,并输入所述分割网络中,得到决定性病症集合,将该决定性病症集合输入所述分类模型中,得到图像分类结果。
10.一种基于CT与医学报告的医学图像分类系统,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,处理器调用所述计算机程序执行如权利要求1至6任一所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211406424.9A CN115910264A (zh) | 2022-11-10 | 2022-11-10 | 一种基于ct与医学报告的医学图像分类方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211406424.9A CN115910264A (zh) | 2022-11-10 | 2022-11-10 | 一种基于ct与医学报告的医学图像分类方法、装置和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115910264A true CN115910264A (zh) | 2023-04-04 |
Family
ID=86481712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211406424.9A Pending CN115910264A (zh) | 2022-11-10 | 2022-11-10 | 一种基于ct与医学报告的医学图像分类方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115910264A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117636099A (zh) * | 2024-01-23 | 2024-03-01 | 数据空间研究院 | 一种医学图像和医学报告配对训练模型 |
-
2022
- 2022-11-10 CN CN202211406424.9A patent/CN115910264A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117636099A (zh) * | 2024-01-23 | 2024-03-01 | 数据空间研究院 | 一种医学图像和医学报告配对训练模型 |
CN117636099B (zh) * | 2024-01-23 | 2024-04-12 | 数据空间研究院 | 一种医学图像和医学报告配对训练模型 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10929708B2 (en) | Deep learning network for salient region identification in images | |
US10929420B2 (en) | Structured report data from a medical text report | |
EP3806745B1 (en) | Second reader | |
CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
KR20220064395A (ko) | 이미지들 및 전문 지식으로부터 피부 상태들을 수집하고 식별하기 위한 시스템 | |
KR102097740B1 (ko) | 인공지능을 활용한 의료영상 자동 분류 및 표준화 시스템 및 그 구동방법 | |
US20220019870A1 (en) | Verification of classification decisions in convolutional neural networks | |
US20220254022A1 (en) | Method and system for automatic multiple lesion annotation of medical images | |
Ahmed et al. | Lung cancer classification using data mining and supervised learning algorithms on multi-dimensional data set | |
JP7350582B2 (ja) | モデル学習用のシステム、装置、及び学習方法 | |
EP3696821A1 (en) | Computer-implemented method for medical image processing | |
CN115063425B (zh) | 基于读片知识图谱的结构化检查所见生成方法及系统 | |
McEvoy et al. | Deep transfer learning can be used for the detection of hip joints in pelvis radiographs and the classification of their hip dysplasia status | |
CN115910264A (zh) | 一种基于ct与医学报告的医学图像分类方法、装置和系统 | |
CN111898528B (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
GB2579244A (en) | Second reader | |
CN116611071A (zh) | 一种基于多模态的函数级漏洞检测的方法 | |
US20230334868A1 (en) | Surgical phase recognition with sufficient statistical model | |
CN116525075A (zh) | 基于少样本学习的甲状腺结节计算机辅助诊断方法及系统 | |
Ankireddy | Assistive diagnostic tool for brain tumor detection using computer vision | |
de Barros et al. | Computer aided diagnosis of neurodevelopmental disorders and genetic syndromes based on facial images-A systematic literature review | |
US10910098B2 (en) | Automatic summarization of medical imaging studies | |
Salini et al. | ViT: Quantifying Chest X-Ray Images Using Vision Transformer & XAI Technique | |
Kaya et al. | Deep learning-based COVID-19 detection using lung parenchyma CT scans | |
JP2015510408A (ja) | バイオイメージンググリッド |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |