CN114494263A - 融合临床信息的医学影像病变检测方法、系统及设备 - Google Patents

融合临床信息的医学影像病变检测方法、系统及设备 Download PDF

Info

Publication number
CN114494263A
CN114494263A CN202210407155.1A CN202210407155A CN114494263A CN 114494263 A CN114494263 A CN 114494263A CN 202210407155 A CN202210407155 A CN 202210407155A CN 114494263 A CN114494263 A CN 114494263A
Authority
CN
China
Prior art keywords
medical image
samples
positive
predicted value
diagnosed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210407155.1A
Other languages
English (en)
Other versions
CN114494263B (zh
Inventor
汤进
黄莉莉
李传富
赵海峰
谷宗运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202210407155.1A priority Critical patent/CN114494263B/zh
Publication of CN114494263A publication Critical patent/CN114494263A/zh
Application granted granted Critical
Publication of CN114494263B publication Critical patent/CN114494263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明属于计算机技术和智能医疗领域，尤其涉及一种融合临床信息的医学影像病变检测方法、系统及设备，方法包括：获取待诊医学影像数据；将待诊医学影像输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值；当预测值位于所述指定区间以内时，将预测值与修正系数相乘，并将相乘后的结果作为病变检测结果为阳性的最终概率。本发明利用被检查对象性别年龄的统计先验信息，通过贝叶斯决策的思想在医学影像深度学习模型预测阶段对输出的概率进行调整，解决低维额外信息与高维影像特征融合后被淹没的问题，从而融入除放射影像之外的先验知识并提升深度学习模型的分类效果。

Description

融合临床信息的医学影像病变检测方法、系统及设备
技术领域
本发明属于计算机技术和智能医疗领域，尤其涉及一种融合临床信息的医学影像病变检测方法、系统及设备。
背景技术
随着深度学习技术的不断发展，深度学习模型逐渐被应用于医学领域期望能减轻医生的工作负担。目前，利用深度学习解决医学影像分类的主流方法都是将医学影像输入到现有的深度学习模型中，通过不断地卷积操作得到对应影像的特征，然后直接将输出特征输入到简单的分类器中得到对应的预测概率。在这一过程中，输出的结果概率分布仅仅依靠输入的影像，但是在临床上，医生不仅要观察影像细节，更要结合病人的临床信息（例如：年龄、性别、既往病史等）进行正确诊断，所以深度学习模型中也应该融合临床信息。
上述问题的现有解决方法一般都是：先将临床信息编码到高维特征空间，再将编码后的临床信息与影像特征信息投影到相同特征空间进行融合，最后将融合特征输入分类器中得到预测概率。这种方法的主体思想就是在特征层面影响模型的输出概率，当拥有的临床信息比较充分的时候，这种方法显然是有效的，但是在临床信息很少（例如只有性别、年龄信息）的情况下，临床信息的编码可能只有很低的维度（甚至只有一个数字），这会导致其在特征层面上并不能与影像提取得到的高维特征很好的融合，换言之，编码后的临床信息会被大量的影像特征信息淹没。
发明内容
鉴于以上现有技术中的不足之处，本发明的目的在于提供一种融合临床信息的医学影像病变检测方法、系统及设备，能够根据临床信息在过往病例中影响权重，对病变预测结果进行修正，从而提高病变概率预测的准确性。
为实现上述目的及其他相关目的，本发明提供一种融合临床信息的医学影像病变检测方法，包括：
获取待诊医学影像数据，所述待诊医学影像数据至少包括待诊医学影像和临床信息，所述临床信息至少包括年龄；
将所述待诊医学影像输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值；
将所述预测值与指定区间进行对比，当所述预测值位于所述指定区间以内时，采用预设的所述待诊医学影像对应年龄段的修正系数对所述预测值进行修正，并将修正后的结果作为病变检测结果为阳性的最终概率；当所述预测值位于所述指定区间以外时，将所述预测值作为病变检测结果为阳性的最终概率；所述修正系数根据医学影像样本中各个年龄段阳性样本数量在总阳性样本中的占比以及各个年龄段样本数量在总样本中的占比来确定。
在本发明的一可选实施例中，所述修正系数采用如下方法获得：
获取所述医学影像样本；
分别统计所述医学影像样本中各个年龄段阳性样本数量在总阳性样本中的占比；
分别统计所述医学影像样本中各个年龄段样本数量在总样本中的占比；
计算每个年龄段阳性样本数量在总阳性样本中的占比与该年龄段样本数量在总样本中的占比之间的比值，记为乘子；
根据所述乘子生成响应函数；
以所述乘子为底数，以所述响应函数为指数进行幂运算，得到的结果作为所述修正系数。
在本发明的一可选实施例中，所述临床信息还包括性别。
在本发明的一可选实施例中，在对所述医学影像样本进行统计时，将所述医学影像样本按性别进行分类，分别统计不同性别下各个年龄段阳性样本数量在总阳性样本中的占比，以及不同性别下各个年龄段样本数量在总样本中的占比，并分别计算不同性别下各年龄段对应的所述修正系数。
在本发明的一可选实施例中，所述当所述预测值位于所述指定区间以内时，则将所述预测值与预设的所述待诊医学影像对应年龄段的修正系数相乘，并将相乘后的结果作为病变检测结果为阳性的最终概率，包括：
当所述预测值位于所述指定区间以内时，将所述预测值与预设的所述待诊医学影像对应性别和年龄段的修正系数相乘，并将相乘后的结果作为病变检测结果为阳性的最终概率。
在本发明的一可选实施例中，所述响应函数是以所述乘子为变量的高斯函数。
在本发明的一可选实施例中，所述指定区间为0.4-0.6。
在本发明的一可选实施例中，所述将所述待诊医学影像输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值，包括：
读取所述待诊医学影像；
通过降采样或升采样的方式将所述待诊医学影像转换为具有指定像素值的标准医学影像；
对所述标准医学影像的各像素进行归一化处理，得到医学影像特征；
将所述医学影像特征输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值。
为实现上述目的及其他相关目的，本发明还提供一种医学影像病变检测系统，包括：
数据获取模块，用于获取待诊医学影像数据，所述待诊医学影像数据至少包括待诊医学影像和临床信息，所述临床信息至少包括年龄；
概率预测模块，用于将所述待诊医学影像输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值；
数据处理模块，用于将所述预测值与指定区间进行对比，当所述预测值位于所述指定区间以内时，采用预设的所述待诊医学影像对应年龄段的修正系数对所述预测值进行修正，并将修正后的结果作为病变检测结果为阳性的最终概率；当所述预测值位于所述指定区间以外时，将所述预测值作为病变检测结果为阳性的最终概率；所述修正系数根据医学影像样本中各个年龄段阳性样本数量在总阳性样本中的占比以及各个年龄段样本数量在总样本中的占比来确定。
为实现上述目的及其他相关目的，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明的技术效果在于：本发明利用被检查对象性别年龄的统计先验信息，通过贝叶斯决策的思想在医学影像深度学习模型预测阶段对输出的概率进行调整，解决低维额外信息与高维影像特征融合后被淹没的问题，从而融入除放射影像之外的先验知识并提升深度学习模型的分类效果。
附图说明
图1是本发明的实施例所提供的融合临床信息的医学影像病变检测方法的流程图；
图2是本发明的实施例所提供的修正系数获取方法的流程图；
图3是本发明的实施例所提供的待诊医学影像预处理方法的流程图；
图4是本发明的实施例所提供的医学影像病变检测系统的功能模块结构图；
图5是本发明的实施例所提供的电子设备的结构框图；
图6是本发明的实施例所提供的男性样本乘子的分布曲线图，图中横坐标为年龄，纵坐标为乘子；
图7是本发明的实施例所提供的女性样本乘子的分布曲线图，图中横坐标为年龄，纵坐标为乘子；
图8是本发明的实施例所提供的乘子的响应函数曲线图，图中横坐标为乘子，纵坐标为响应函数；
图9是融合低维临床信息前的输出概率分布图，图中横坐标为最终输出概率，纵坐标为样本占比；
图10是本发明的实施例所提供的融合低维临床信息后的输出概率分布图，图中横坐标为最终输出概率，纵坐标为样本占比。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1至图10。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
图1示出了本发明的融合临床信息的医学影像病变检测方法的较佳实施例的流程图。
所述融合临床信息的医学影像病变检测方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理（Personal Digital Assistant，PDA）、游戏机、交互式网络电视（Internet Protocol Television，IPTV）、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络（Virtual Private Network，VPN）等。
下面将结合图1来详细阐述本发明的融合临床信息的医学影像病变检测方法，该融合临床信息的医学影像病变检测方法例如可应用于智能医疗诊断系统中的医学影像检测报告的自动生成。
请参阅图1至图3所示，本发明的一种融合临床信息的医学影像病变检测方法，包括如下步骤：
S1：获取待诊医学影像数据，所述待诊医学影像数据至少包括待诊医学影像和临床信息，所述临床信息至少包括年龄；进一步的，所述临床信息例如还可以包括性别。
S2：将所述待诊医学影像输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值。
请参阅图3所示，具体的，所述步骤S2包括：
S21：读取所述待诊医学影像；
S22：通过降采样或升采样的方式将所述待诊医学影像转换为具有指定像素值的标准医学影像；
S23：对所述标准医学影像的各像素进行归一化处理，得到所述医学影像特征；
S24：将所述医学影像特征输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值。
S3：将所述预测值与指定区间进行对比，以判断是否需要对所述预测值进行修正；在一具体实施例中，所述指定区间为0.4-0.6。
S4：当所述预测值位于所述指定区间以外时，将所述预测值作为病变检测结果为阳性的最终概率。
S5：当所述预测值位于所述指定区间以内时，则将所述预测值与预设的所述待诊医学影像对应年龄段的修正系数相乘，并将相乘后的结果作为病变检测结果为阳性的最终概率；所述修正系数根据医学影像样本中各个年龄段阳性样本数量在总阳性样本中的占比以及各个年龄段样本数量在总样本中的占比来确定，在预设年龄范围内，每个年龄段分别对应一个修正系数。
请参阅图2所示，在一具体实施例中，所述修正系数采用如下方法获得：
S51：获取所述医学影像样本；
S52：分别统计所述医学影像样本中各个年龄段阳性样本数量在总阳性样本中的占比；
S53：分别统计所述医学影像样本中各个年龄段样本数量在总样本中的占比；
S54：计算每个年龄段阳性样本数量在总阳性样本中的占比与该年龄段样本数量在总样本中的占比之间的比值，记为乘子；
S55：根据所述乘子生成响应函数；需要说明的是，所述响应函数是根据医学影像样本中不同年龄段乘子对患病概率的影响程度来确定的，例如当乘子在某个区间内，医学影像样本明显表现出较高的患病概率时，则选择的响应函数应当在这个区间内表现出明显增强的趋势，可以理解的是，对于不同类型的疾病，其对应的响应函数也有可能不同，在一具体实施例中，所述响应函数例如可以是以所述乘子为变量的高斯函数。
S56：以所述乘子为底数，以所述响应函数为指数进行幂运算，得到的结果作为所述修正系数。
进一步的，在对所述医学影像样本进行统计时，将所述医学影像样本按性别进行分类，分别统计不同性别下各个年龄段阳性样本数量在总阳性样本中的占比，以及不同性别下各个年龄段样本数量在总样本中的占比，并分别计算不同性别下各年龄段对应的所述修正系数。
基于上述在性别维度的区分，所述步骤S5具体包括：
当所述预测值位于所述指定区间以内时，将所述预测值与预设的所述待诊医学影像对应性别和年龄段的修正系数相乘，并将相乘后的结果作为病变检测结果为阳性的最终概率。
以下对本发明的技术方案做进一步更加详尽的说明：
本发明根据医生的临床诊断步骤与思维方法，引入贝叶斯决策的思想，在分析大量的数据后分别得到男女的不同年龄与疾病之间的先验概率分布，将先验概率与模型输出的预测概率融合得到后验概率，即在已知性别、年龄两个临床信息的情况下，利用条件概率模型达到通过少量的临床信息修正模型的预测概率。假设事件A为样本患病，则样本患病的概率（即先验概率）记为P（A）；事件Bij为样本性别为
Figure 463364DEST_PATH_IMAGE001
、年龄为
Figure 883981DEST_PATH_IMAGE002
，则其概率记为P（Bij），通过大量数据统计得到的在样本患病条件下性别年龄概率（即似然概率）记为
Figure 356551DEST_PATH_IMAGE003
，在已知样本性别年龄条件下患病的概率（即后验概率）记为
Figure 532318DEST_PATH_IMAGE004
，则
Figure 457548DEST_PATH_IMAGE005
的计算可以被形式化的表达为以下公式：
Figure 681856DEST_PATH_IMAGE006
其中，
Figure 743353DEST_PATH_IMAGE004
为后验概率，表示在性别为i年龄为j的条件下样本患病的条件概率，需要注意的是，由于男女区分，P（B0j）与
Figure 27704DEST_PATH_IMAGE007
、
Figure 253280DEST_PATH_IMAGE008
与
Figure 281279DEST_PATH_IMAGE009
分别来自男女两个不同的分布。
本实施例中，修正系数的计算方法如下：
步骤1：获取医学影像样本（包括但不限于影像、疾病标签、临床信息）。
获取已标注的医学影像样本集，样本集包含医学图像以及与之一一对应的诊断标签，诊断标签应该明确标识对应医学影像在指定疾病上的状态，即阴性（0）或者阳性（1）。将数据划分为训练集、验证集和测试集用于后续分类模型的训练和测试。
所述医学影像样本及其对应的诊断标签可以但不限于从历史档案的数据库中获取，也可以从网络开源的数据库获取。在该实施例中，假设一张医学影像样本其对应的诊断标签为：胸廓正常，气管正常，肺纹理异常，肋膈角正常。则其标签为：0，0，1，0(阳性为异常，阴性为正常)。
步骤2：分别统计不同性别下，各个年龄段阳性样本数量在总阳性样本中的占比
Figure 462861DEST_PATH_IMAGE007
、
Figure 652534DEST_PATH_IMAGE009
；即统计似然概率。需要注意的是统计阶段需要对男女样本进行分开统计，后续使用男性样本进行举例说明，女性样本与男性样本的处理过程一致。筛选步骤1处理后的数据中所有性别为男性并且指定疾病表现为阳性的样本，预先定义年龄采样区间，本实例只统计年龄处于18-90区间的样本，其中每一个整数年龄为一个采样点。依照采样区间对筛选数据进行统计得到患病男性样本中不同年龄患病的概率，记为
Figure 552357DEST_PATH_IMAGE009
，其中下标1表示性别为男性，下标j表示处于采样区间的采样点，对于所有不属于采样区间的样本，其似然概率记为1。
步骤3：分别统计不同性别下，各个年龄段样本数量在总样本中的占比，
Figure 180785DEST_PATH_IMAGE010
、
Figure 482453DEST_PATH_IMAGE011
；即统计年龄概率分布。与步骤2相同，此阶段需要区分性别，后续使用男性样本进行举例说明，女性样本处理方法一致。筛选步骤1处理后的数据中所有性别为男性的样本，采样区间与步骤2保持一致，本实例中为18-90，每一个整数年龄为一个采样点。依照采样点在筛选后的数据中统计各个采样点样本数量，计算男性样本中不同年龄的样本数量占比，得到年龄概率分布，记为
Figure 843027DEST_PATH_IMAGE012
。
步骤4：根据统计得到的
Figure 230146DEST_PATH_IMAGE007
、
Figure 599948DEST_PATH_IMAGE010
和
Figure 303593DEST_PATH_IMAGE009
、
Figure 100647DEST_PATH_IMAGE012
，计算每个样本比值得到用于计算后验概率的乘子，记为α；
Figure 709483DEST_PATH_IMAGE013
其中，
Figure 882976DEST_PATH_IMAGE014
分别表示女性和男性，
Figure 893657DEST_PATH_IMAGE015
为来自步骤2统计得到的似然概率，
Figure 923930DEST_PATH_IMAGE016
为来自步骤3统计得到的年龄概率分布，对αij进行拟合得到不同性别的乘子α函数α0、α1，本实例中男性样本的乘子α函数α1如图6所示，女性样本的乘子α函数α0如图7所示，图6、图7中，星点表示原始数据，曲线表示拟合数据。
步骤5：设计乘子α的响应函数f（α），设计原则为根据各个年龄段阳性样本的α的值域规定响应函数f（α）的响应域，响应域范围之内的α的响应将会以幂增长速度被放大影响，此时输出概率中先验概率的影响会增大，模型预测概率影响会减小；反之，范围之外的α的响应会被置为零，输出概率只依靠模型的预测概率。
乘子α表明了先验信息对于分类模型输出概率以及最终输出概率影响大小，但是在实际过程中，对于不同年龄的样本，乘子α的影响大小并不相同，因此需要设计一个能够根据样本不同年龄调整乘子α影响因子的响应函数f（α），函数的设计原则需要根据具体的情况进行调整，本实例使用了振幅为4，均值为1，方差为0.05的高斯分布，其图像如图8所示。
本实例在步骤5中针对肺纹理进行分析，挑选模型预测概率与实际样本标签偏差较大的区间增大乘子α的影响因子，具体区间为0.4-0.6，对于分类模型预测概率在区间外的样本，认为卷积模型已经能够根据影响很好区分阴性、阳性，因此不再对其进行概率调整；对于区间之内的样本，认为卷积模型并不能够根据影像很好的分类样本，因此按照响应函数f（α）增大或抑制乘子α的影响辅助修正最终预测概率。
本实施例中，影像分类模型的训练方法如下：
步骤a：预处理操作，对每张医学影像样本统一裁剪到224*224大小的矩阵并进行矩阵值的正则化，得到影像特征。
具体的，读取数据集中的医学影像，先将尺寸降采样至224*224大小并对矩阵进行归一化得到影像标准的矩阵形式作为分类模型输入，再进行反转或者旋转操作用于提高模型鲁棒性。本实例采用中心裁剪的方式将影像降采样至224*224，单张医学影像以50%的概率经过翻转操作，使用ImageNet提供的参数进行归一化。
需要说明的是，本发明中待诊医学影像的预处理过程与医学影像样本的预处理过程大致相同，但在处于待诊医学影像时无需对医学影像进行旋转或翻转。
步骤b：将影像特征输入到影像分类深度模型中，得到阳性概率预测值，记为P（A）。
医学影像分类网络模型使用主流自然图像分类模型作为预训练模型，加载预训练模型参数，然后在医学影像样本集上进行参数微调作为预测模型。主流自然图像分类模型包括但不限于VGG，GoogleNet，ResNet，DenseNet，VisionTransformer，SwinTransformer等，不同预训练模型对应不同模型架构，需要依据实际进行模型修改。本实例使用ResNet101作为预训练模型，加载参数后在肺纹理数据集上进行微调作为预测模型。
步骤c：计算平均损失loss，反向传播，更新参数。
按照如下公式计算本次训练的平均损失值loss：
Figure 20062DEST_PATH_IMAGE017
其中，n为医学影像总样本数，yi为第i张医学影像的疾病标签，
Figure 731666DEST_PATH_IMAGE018
为模型预测第i张医学影像为阳性的概率值，即P（A）。将loss反向传播用于更新模型参数。
步骤b中模型构建完成以后，加载预训练模型参数，在步骤1划分得到的医学影像训练数据集和验证数据集上进行微调，需要将数据按照模型要求封装输入，输入包括影像特征和影像对应标签，初始影像特征输入至分类模型，经过多次卷积操作得到抽象影像特征进入分类器中输出模型预测概率。将预测概率和真实标签值输入损失值计算公式得到单样本模型损失，累加所有单样本损失求平均得到模型平均损失，回传梯度更新模型中可训练参数完成一次训练。
步骤d：不断重复步骤b、c，直至loss收敛到小于阈值时结束模型训练。
重复训练过程中仅仅使用训练数据集更新模型参数，模型参数更新以后紧接着在验证数据集上进行一次验证测试，计算评价模型优良程度的指标，记录模型平均loss和评价指标，最终在loss收敛以后选择评价指标最好的模型参数用于后续使用。本实例的模型评价指标为AUC指标和模型预测所有样本的概率分布曲线。
本实施例中，待诊医学影像的阳性概率预测方法为：
步骤I：获取待诊医学影像，并进行步骤a、b，得到模型对于待诊医学影像的阳性预测值P（A）。
在预测过程中，需要预设预测概率阈值将模型预测概率分到0，1两类中，用于分别表示阴性和阳性。本实例设置阈值为0.5，因此概率大于0.5的样本预测为阳性，小于0.5的样本预测为阴性。
步骤II：计算后验概率，根据的响应函数f（α）的设计原则，如果P（A）的值处于指定区间，则根据当前待诊医学影像的乘子α和下述公式：
Figure 596854DEST_PATH_IMAGE019
得到后验概率作为最终输出概率；否则直接输出模型预测概率P（A）作为最终预测概率，最终根据输出概率和阈值给出待诊医学影像的分类。
依照步骤4计算得到的乘子α，计算后验概率
Figure 735711DEST_PATH_IMAGE020
的公式可以表示为以下形式：
Figure 132188DEST_PATH_IMAGE021
其中i表示性别，j表示年龄，
Figure 381904DEST_PATH_IMAGE022
表示在样本性别年龄确定的情况下，疾病呈现阳性的概率。依照步骤5定义的响应函数f（α），需要增加乘子α的响应比，因此
Figure 367178DEST_PATH_IMAGE020
的计算公式为以下形式：
Figure 676936DEST_PATH_IMAGE023
本实例中当预测值处于预设区间0.4-0.6时，此时依据年龄不同分别会出现两种情况：其一是样本实际年龄偏小或偏大，此时影像特征较明显，模型能够判断其特征并正确分类，因此响应比f（α）较小，即使乘子α修正力度较大，经过公式计算以后在后验概率中先验信息影响依然很小；其二是样本实际年龄处于图6、图7中的中间年龄段，此时影像特征较为复杂，单依靠模型分类困惑度较高，同时依据统计先验信息其乘子α基本在1上下浮动，修正力度较小，但其响应比f（α）非常大，在公式中乘子α将会以幂指数形式增大或减小，以此提高乘子α的修正力度，导致后验概率中先验信息影响变大，达到修正最终预测概率的目的。
本实例在肺纹理疾病上，融合低维临床信息前后输出概率的结果对比如图9、图10所示，其中横轴为最终输出概率；纵轴为各输出概率对应的阳性样本数在总阳性样本数中的占比，点线为阴性的概率分布曲线；虚线为阳性概率分布曲线，以0.5为分界线，点线越集中在左侧表示预测效果越好，同样的虚线越集中在右侧表示预测效果越好。
步骤5中的响应函数f（α）可替换成其他函数；步骤b-d中的医学影像分类模型可以由其他模型替代；步骤II中根据实际情况改变乘子α响应比影响策略可以替换成其他方案达到相应目的，比如针对另外之指定区间的样本进行乘子α响应比增强。
需要说明的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
如图4所示，是本发明的融合临床信息的医学影像病变检测系统的较佳的实施例的功能模块图。所述融合临床信息的医学影像病变检测装置包括：数据获取模块10、概率预测模块20、数据处理模块30。所述本发明所称的模块是指一种能够被处理器100所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器200中。
所述数据获取模块10用于获取待诊医学影像数据；
所述概率预测模块20用于将所述待诊医学影像输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值；
所述数据处理模块30用于将所述预测值与指定区间进行对比，当所述预测值位于所述指定区间以内时，采用预设的所述待诊医学影像对应年龄段的修正系数对所述预测值进行修正，并将修正后的结果作为病变检测结果为阳性的最终概率；当所述预测值位于所述指定区间以外时，将所述预测值作为病变检测结果为阳性的最终概率；所述修正系数根据医学影像样本中各个年龄段阳性样本数量在总阳性样本中的占比以及各个年龄段样本数量在总样本中的占比来确定。
需要说明的是，本实施例的融合临床信息的医学影像病变检测装置是与上述融合临床信息的医学影像病变检测方法相对应的装置，融合临床信息的医学影像病变检测装置中的功能模块或者分别对应融合临床信息的医学影像病变检测方法中的相应步骤。本实施例的融合临床信息的医学影像病变检测装置可与融合临床信息的医学影像病变检测方法相互相配合实施。相应地，本实施例的融合临床信息的医学影像病变检测装置中提到的相关技术细节也可应用在上述融合临床信息的医学影像病变检测方法中。
需要说明的是，上述的各功能模块实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的部分或全部步骤，或以上的各功能模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
如图5所示，是本发明实现融合临床信息的医学影像病变检测方法的较佳实施例的电子设备的结构示意图。
所述电子设备可以包括存储器、处理器和总线，还可以包括存储在所述存储器中并可在所述处理器上运行的计算机程序，例如融合临床信息的医学影像病变检测程序。
其中，存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。存储器在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card, SMC）、安全数字（Secure Digital, SD）卡、闪存卡（Flash Card）等。进一步地，存储器还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器不仅可以用于存储安装于电子设备的应用软件及各类数据，例如融合临床信息的医学影像病变检测程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器内的程序或者模块（例如执行融合临床信息的医学影像病变检测程序等），以及调用存储在所述存储器内的数据，以执行电子设备的各种功能和处理数据。
所述处理器执行所述电子设备的操作系统以及安装的各类应用程序。所述处理器执行所述应用程序以实现上述各个融合临床信息的医学影像病变检测方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备中的执行过程。例如，所述计算机程序可以被分割成数据获取模块、概率预测模块和数据处理模块。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、计算机设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述融合临床信息的医学影像病变检测方法的部分功能。
总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图4中仅用一根直线表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器以及至少一个处理器等之间的连接通信。
综上所述，本发明利用被检查对象性别年龄的统计先验信息，通过贝叶斯决策的思想在医学影像深度学习模型预测阶段对输出的概率进行调整，解决低维额外信息与高维影像特征融合后被淹没的问题，从而融入除放射影像之外的先验知识并提升深度学习模型的分类效果。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种融合临床信息的医学影像病变检测方法，其特征在于，包括：
获取待诊医学影像数据，所述待诊医学影像数据至少包括待诊医学影像和临床信息，所述临床信息至少包括年龄；
将所述待诊医学影像输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值；
将所述预测值与指定区间进行对比，当所述预测值位于所述指定区间以内时，采用预设的所述待诊医学影像对应年龄段的修正系数对所述预测值进行修正，并将修正后的结果作为病变检测结果为阳性的最终概率；当所述预测值位于所述指定区间以外时，将所述预测值作为病变检测结果为阳性的最终概率；所述修正系数根据医学影像样本中各个年龄段阳性样本数量在总阳性样本中的占比以及各个年龄段样本数量在总样本中的占比来确定。
2.根据权利要求1所述的融合临床信息的医学影像病变检测方法，其特征在于，所述修正系数采用如下方法获得：
获取所述医学影像样本；
分别统计所述医学影像样本中各个年龄段阳性样本数量在总阳性样本中的占比；
分别统计所述医学影像样本中各个年龄段样本数量在总样本中的占比；
计算每个年龄段阳性样本数量在总阳性样本中的占比与该年龄段样本数量在总样本中的占比之间的比值，记为乘子；
根据所述乘子生成响应函数；
以所述乘子为底数，以所述响应函数为指数进行幂运算，得到的结果作为所述修正系数。
3.根据权利要求2所述的融合临床信息的医学影像病变检测方法，其特征在于，所述临床信息还包括性别。
4.根据权利要求3所述的融合临床信息的医学影像病变检测方法，其特征在于，
在对所述医学影像样本进行统计时，将所述医学影像样本按性别进行分类，分别统计不同性别下各个年龄段阳性样本数量在总阳性样本中的占比，以及不同性别下各个年龄段样本数量在总样本中的占比，并分别计算不同性别下各年龄段对应的所述修正系数。
5.根据权利要求4所述的融合临床信息的医学影像病变检测方法，其特征在于，当所述预测值位于所述指定区间以内时，则将所述预测值与预设的所述待诊医学影像对应年龄段的修正系数相乘，并将相乘后的结果作为病变检测结果为阳性的最终概率，包括：
当所述预测值位于所述指定区间以内时，将所述预测值与预设的所述待诊医学影像对应性别和年龄段的修正系数相乘，并将相乘后的结果作为病变检测结果为阳性的最终概率。
6.根据权利要求2所述的融合临床信息的医学影像病变检测方法，其特征在于，所述响应函数是以所述乘子为变量的高斯函数。
7.根据权利要求1所述的融合临床信息的医学影像病变检测方法，其特征在于，所述指定区间为0.4-0.6。
8.根据权利要求1所述的融合临床信息的医学影像病变检测方法，其特征在于，所述将所述待诊医学影像输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值，包括：
读取所述待诊医学影像；
通过降采样或升采样的方式将所述待诊医学影像转换为具有指定像素值的标准医学影像；
对所述标准医学影像的各像素进行归一化处理，得到医学影像特征；
将所述医学影像特征输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值。
9.一种医学影像病变检测系统，其特征在于，包括：
数据获取模块，用于获取待诊医学影像数据，所述待诊医学影像数据至少包括待诊医学影像和临床信息，所述临床信息至少包括年龄；
概率预测模块，用于将所述待诊医学影像输入到经过训练的影像分类模型中，获得病变检测结果为阳性的概率的预测值；
数据处理模块，用于将所述预测值与指定区间进行对比，当所述预测值位于所述指定区间以内时，采用预设的所述待诊医学影像对应年龄段的修正系数对所述预测值进行修正，并将修正后的结果作为病变检测结果为阳性的最终概率；当所述预测值位于所述指定区间以外时，将所述预测值作为病变检测结果为阳性的最终概率；所述修正系数根据医学影像样本中各个年龄段阳性样本数量在总阳性样本中的占比以及各个年龄段样本数量在总样本中的占比来确定。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
CN202210407155.1A 2022-04-19 2022-04-19 融合临床信息的医学影像病变检测方法、系统及设备 Active CN114494263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210407155.1A CN114494263B (zh) 2022-04-19 2022-04-19 融合临床信息的医学影像病变检测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210407155.1A CN114494263B (zh) 2022-04-19 2022-04-19 融合临床信息的医学影像病变检测方法、系统及设备

Publications (2)

Publication Number Publication Date
CN114494263A true CN114494263A (zh) 2022-05-13
CN114494263B CN114494263B (zh) 2022-06-17

Family

ID=81489467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210407155.1A Active CN114494263B (zh) 2022-04-19 2022-04-19 融合临床信息的医学影像病变检测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN114494263B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062165A (zh) * 2022-08-18 2022-09-16 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的医学影像诊断方法及装置
CN117649565A (zh) * 2024-01-30 2024-03-05 安徽大学 一种模型训练方法、训练装置及医学影像分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260178A1 (en) * 2003-06-23 2004-12-23 Kahn Robert D. Method and system for simultaneously displaying relationships of measurements of features associated with a medical image
JP2008259682A (ja) * 2007-04-12 2008-10-30 Fujifilm Corp 部位認識結果修正装置、方法、およびプログラム
CN101976303A (zh) * 2010-10-21 2011-02-16 中山大学 一种乳腺肿块、钙化良恶自动识别及定量化影像评价系统
CN107273925A (zh) * 2017-06-12 2017-10-20 太原理工大学 一种基于局部感受野和半监督深度自编码的肺结节诊断方法
JP2017196410A (ja) * 2016-04-26 2017-11-02 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像診断装置
CN109948667A (zh) * 2019-03-01 2019-06-28 桂林电子科技大学 用于对头颈部癌症远端转移预测的图像分类方法及装置
US20210137500A1 (en) * 2019-11-08 2021-05-13 Samsung Medison Co., Ltd. Medical image displaying apparatus and method of displaying medical image using the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260178A1 (en) * 2003-06-23 2004-12-23 Kahn Robert D. Method and system for simultaneously displaying relationships of measurements of features associated with a medical image
JP2008259682A (ja) * 2007-04-12 2008-10-30 Fujifilm Corp 部位認識結果修正装置、方法、およびプログラム
CN101976303A (zh) * 2010-10-21 2011-02-16 中山大学 一种乳腺肿块、钙化良恶自动识别及定量化影像评价系统
JP2017196410A (ja) * 2016-04-26 2017-11-02 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像診断装置
CN107273925A (zh) * 2017-06-12 2017-10-20 太原理工大学 一种基于局部感受野和半监督深度自编码的肺结节诊断方法
CN109948667A (zh) * 2019-03-01 2019-06-28 桂林电子科技大学 用于对头颈部癌症远端转移预测的图像分类方法及装置
US20210137500A1 (en) * 2019-11-08 2021-05-13 Samsung Medison Co., Ltd. Medical image displaying apparatus and method of displaying medical image using the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062165A (zh) * 2022-08-18 2022-09-16 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的医学影像诊断方法及装置
CN115062165B (zh) * 2022-08-18 2022-12-06 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的医学影像诊断方法及装置
CN117649565A (zh) * 2024-01-30 2024-03-05 安徽大学 一种模型训练方法、训练装置及医学影像分类方法
CN117649565B (zh) * 2024-01-30 2024-05-28 安徽大学 一种模型训练方法、训练装置及医学影像分类方法

Also Published As

Publication number Publication date
CN114494263B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
Elangovan et al. Glaucoma assessment from color fundus images using convolutional neural network
Xu et al. A deep convolutional neural network for classification of red blood cells in sickle cell anemia
Singh et al. DMENet: diabetic macular edema diagnosis using hierarchical ensemble of CNNs
CN114494263B (zh) 融合临床信息的医学影像病变检测方法、系统及设备
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
US11488309B2 (en) Robust machine learning for imperfect labeled image segmentation
Yüzkat et al. Multi-model CNN fusion for sperm morphology analysis
US11120297B2 (en) Segmentation of target areas in images
Vij et al. A novel deep transfer learning based computerized diagnostic Systems for Multi-class imbalanced diabetic retinopathy severity classification
Nahiduzzaman et al. Detection of various lung diseases including COVID-19 using extreme learning machine algorithm based on the features extracted from a lightweight CNN architecture
Yi et al. Multi-label softmax networks for pulmonary nodule classification using unbalanced and dependent categories
Bakır et al. Detection of pneumonia from x-ray images using deep learning techniques
CN113486925A (zh) 模型训练方法、眼底图像生成方法、模型评估方法及装置
Lakshmi et al. Exploration of AI-powered DenseNet121 for effective diabetic retinopathy detection
CN110414562B (zh) X光片的分类方法、装置、终端及存储介质
Dhingra Classification of Diabetic Retinopathy Disease with Improved Transfer Learning Techniques using EfficientNets
Syed et al. A diagnosis model for detection and classification of diabetic retinopathy using deep learning
CN115526882A (zh) 一种医学图像的分类方法、装置、设备及存储介质
Sünkel et al. Hybrid quantum machine learning assisted classification of COVID-19 from computed tomography scans
Wang et al. Robust propensity score computation method based on machine learning with label-corrupted data
Rashid et al. Early-Stage Segmentation and Characterization of Brain Tumor.
CN114649092A (zh) 基于半监督学习和多尺度特征融合的辅助诊断方法及装置
CN114565617A (zh) 基于剪枝U-Net++的乳腺肿块图像分割方法及系统
CN112668668A (zh) 一种术后医学影像评估方法、装置、计算机设备及存储介质
Brown et al. Deep learning for computer-aided diagnosis in ophthalmology: a review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant