CN109949271B - 一种基于医学图像的检测方法、模型训练的方法及装置 - Google Patents

一种基于医学图像的检测方法、模型训练的方法及装置 Download PDF

Info

Publication number
CN109949271B
CN109949271B CN201910116648.8A CN201910116648A CN109949271B CN 109949271 B CN109949271 B CN 109949271B CN 201910116648 A CN201910116648 A CN 201910116648A CN 109949271 B CN109949271 B CN 109949271B
Authority
CN
China
Prior art keywords
calcification
malignant
label
calcified
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910116648.8A
Other languages
English (en)
Other versions
CN109949271A (zh
Inventor
田宽
江铖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910116648.8A priority Critical patent/CN109949271B/zh
Priority to CN201910728690.5A priority patent/CN110473186B/zh
Publication of CN109949271A publication Critical patent/CN109949271A/zh
Application granted granted Critical
Publication of CN109949271B publication Critical patent/CN109949271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于医学图像的检测方法,包括:通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,钙化概率标签用于表示医学图像中存在钙化情况的概率;若钙化概率标签满足钙化条件,则从待检测医学图像中提取钙化区域;通过第二神经网络模型获取钙化区域的恶性钙化概率标签,其中,恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,第二神经网络模型与第一神经网络模型均属于医学图像检测模型;根据恶性钙化概率标签生成恶性钙化定位结果。本发明还公开了相关装置。本发明可以利用神经网络模型对任意的医学图像进行钙化检测,且针对有钙化的区域进一步进行良恶性检测,从而提升检测的准确性和便利性。

Description

一种基于医学图像的检测方法、模型训练的方法及装置
技术领域
本发明涉及医疗技术领域,尤其涉及一种基于医学图像的检测方法、模型训练的方法及装置。
背景技术
乳腺钼靶是目前诊断乳腺疾病的首选,也是最简便且最可靠的无创性检测手段,痛苦相对较小,简便易行,且分辨率高,重复性好,留取的图像可供前后对比,不受年龄和体形的限制,目前已作为常规的检查。
钙化是乳腺癌诊断的最重要线索之一,钙化的形态、大小和分布不一,局部通常表现为高亮斑点样。目前,疑似恶性钙化病灶定位技术主要分为两步,分别为钙化探测技术和良恶性分类技术。钙化探测技术主要根据钙化病灶的先验特征进行疑似病灶检测,钙化良恶性分类技术先使用特征提取技术提取特征,然后根据经验阈值对特征进行良恶性分类,特征提取依赖于人工经验。
然而,由于不同的医院往往采用不同的医疗设备来提取钼靶图像。考虑到硬件环境对钼靶图像的影响,因此,难以针对多样化的钼靶图像设定统一的经验阈值,从而导致不同的医院需要分别学习经验阈值,无法到达经验阈值通用化的效果。
发明内容
本发明实施例提供了一种基于医学图像的检测方法、模型训练的方法及装置,可以利用神经网络模型对任意的医学图像进行钙化检测,且针对有钙化的区域进一步进行良恶性检测,无需考虑硬件环境对医学图像的影响,且无需设定经验阈值来判断病变情况,从而提升了检测的准确性和便利性。
有鉴于此,本发明第一方面提供一种基于医学图像的检测方法,包括:
通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,所述钙化概率标签用于表示医学图像中存在钙化情况的概率;
若所述钙化概率标签满足钙化条件,则从所述待检测医学图像中提取钙化区域;
通过第二神经网络模型获取所述钙化区域的恶性钙化概率标签,其中,所述恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,所述第二神经网络模型与所述第一神经网络模型均属于医学图像检测模型;
根据所述恶性钙化概率标签生成恶性钙化定位结果。
本发明第二方面提供一种模型训练的方法,包括:
获取待训练医学图像集合,其中,所述待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,所述钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,所述恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本;
采用所述钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型;
采用所述恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型;
根据所述第一神经网络模型以及所述第二神经网络模型生成医学图像检测模型。
本发明第三方面提供一种医学图像检测装置,包括:
获取模块,用于通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,所述钙化概率标签用于表示医学图像中存在钙化情况的概率;
提取模块,用于若所述获取模块获取的所述钙化概率标签满足钙化条件,则从所述待检测医学图像中提取钙化区域;
所述获取模块,还用于通过第二神经网络模型获取所述提取模块提取的所述钙化区域的恶性钙化概率标签,其中,所述恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,所述第二神经网络模型与所述第一神经网络模型均属于医学图像检测模型;
生成模块,用于根据所述获取模块获取的所述恶性钙化概率标签生成恶性钙化定位结果。
在一种可能的设计中,在本发明实施例的第三方面的第一种实现方式中,所述医学图像检测装置还包括处理模块;
所述获取模块,还用于通过第一神经网络模型获取待检测医学图像的钙化概率标签之前,获取待处理医学图像;
所述处理模块,用于对所述获取模块获取的所述待处理医学图像进行图像预处理,得到所述待检测医学图像,其中,所述图像预处理包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理。
在一种可能的设计中,在本发明实施例的第三方面的第二种实现方式中,
所述处理模块,具体用于对所述待处理医学图像进行归一化处理,得到归一化图像,其中,所述归一化图像的灰度值范围为0至255;
采用二值化方式从所述归一化图像中提取目标组织区域;
通过直方图均衡对所述目标组织区域进行处理,得到均衡化图像;
采用滑动窗口从所述均衡化图像中提取所述待检测医学图像。
在一种可能的设计中,在本发明实施例的第三方面的第三种实现方式中,所述医学图像检测装置还包括确定模块;
所述确定模块,用于所述获取模块通过第一神经网络模型获取待检测医学图像的钙化概率标签之后,若所述钙化概率标签为第一概率标签,则确定所述钙化概率标签满足所述满足钙化条件,并执行所述从所述待检测医学图像中提取钙化区域的步骤;
所述确定模块,还用于所述获取模块通过第一神经网络模型获取待检测医学图像的钙化概率标签之后,若所述钙化概率标签为第二概率标签,则确定所述待检测医学图像不满足所述满足钙化条件,并完成对所述待检测医学图像的检测。
在一种可能的设计中,在本发明实施例的第三方面的第四种实现方式中,
所述提取模块,具体用于若所述待检测医学图像中包括多个钙化点,则获取第一钙化点与第二钙化点之间的目标距离,其中,所述第一钙化点属于所述多个钙化点中的任意一个钙化点,所述第二钙化点属于所述多个钙化点中的任意一个钙化点,且所述第一钙化点与所述第二钙化点属于两个不同的钙化点;
判断所述第一钙化点与所述第二钙化点之间的所述目标距离是否在预设距离范围内;
若所述目标距离在所述预设距离范围内,则根据所述第一钙化点以及所述第二钙化点提取目标钙化区域,其中,所述目标钙化区域包括所述第一钙化点以及所述第二钙化点;
若所述目标距离未在所述预设距离范围内,则根据所述第一钙化点提取第一钙化区域,根据所述第二钙化点提取第二钙化区域。
在一种可能的设计中,在本发明实施例的第三方面的第五种实现方式中,所述医学图像检测装置还包括确定模块;
所述确定模块,还用于所述获取模块通过第二神经网络模型获取所述钙化区域的恶性钙化概率标签之后,若所述恶性钙化概率标签第三概率标签,则确定所述钙化区域为恶性钙化区域;
所述确定模块,还用于所述获取模块通过第二神经网络模型获取所述钙化区域的恶性钙化概率标签之后,若所述恶性钙化概率标签第四概率标签,则确定所述钙化区域为良性钙化区域。
在一种可能的设计中,在本发明实施例的第三方面的第六种实现方式中,
所述生成模块,具体用于若所述钙化区域包括多个钙化区域,则获取第一钙化区域与第二钙化区域的目标重叠度,其中,所述第一钙化区域属于所述多个钙化区域中的任意一个钙化区域,所述第二钙化区域属于所述多个钙化区域中的任意一个钙化区域,且所述第一钙化区域与所述第二钙化区域属于两个不同的钙化区域;
判断所述第一钙化区域与所述第二钙化区域的所述目标重叠度是否大于或等于预置重叠度阈值;
若所述目标重叠度大于或等于所述预置重叠度阈值,则根据恶性钙化概率确定所述第一钙化区域或者所述第二钙化区域为所述恶性钙化定位结果;
若所述目标重叠度小于所述预置重叠度阈值,则确定所述第一钙化区域以及所述第二钙化区域均为所述恶性钙化定位结果。
本发明第四方面提供一种模型训练装置,包括:
获取模块,用于获取待训练医学图像集合,其中,所述待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,所述钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,所述恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本;
训练模块,用于采用所述获取模块获取的所述钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型;
所述训练模块,还用于采用所述获取模块获取的所述恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型;
生成模块,用于根据所述训练模块训练得到的所述第一神经网络模型以及所述第二神经网络模型生成医学图像检测模型。
在一种可能的设计中,在本发明实施例的第四方面的第一种实现方式中,所述模型训练装置还包括处理模块;
所述获取模块,还用于获取待训练医学图像集合之前,获取待处理医学图像集合,其中,所述待处理医学图像集合包括待处理钙化样本集合以及待处理恶性钙化样本集合,所述待处理钙化样本集合包括至少一个待处理钙化正样本以及至少一个待处理钙化负样本,所述待处理恶性钙化样本集合包括至少一个待处理恶性钙化正样本以及至少一个待处理恶性钙化负样本;
所述处理模块,用于对所述获取模块获取的所述待处理医学图像集合中的每个图像进行图像预处理,得到所述待训练医学图像,其中,所述图像预处理包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理。
在一种可能的设计中,在本发明实施例的第四方面的第二种实现方式中,
所述训练模块,具体用于获取所述第一待训练模型;
通过所述第一待训练模型,获取所述钙化样本集合中每个钙化正样本的第一预测标签,以及每个钙化负样本的第二预测标签;
获取所述钙化样本集合中每个钙化正样本的第一真实标签,以及每个钙化负样本的第二真实标签;
对所述每个钙化正样本的所述第一预测标签和所述第一真实标签,以及所述每个钙化负样本的所述第二预测标签和所述第二真实标签进行训练,得到第一模型参数;
根据所述第一模型参数生成所述第一神经网络模型。
在一种可能的设计中,在本发明实施例的第四方面的第三种实现方式中,
所述训练模块,具体用于获取所述第二待训练模型;
通过所述第二待训练模型,获取所述恶性钙化样本集合中每个恶性钙化正样本的第三预测标签,以及每个恶性钙化负样本的第四预测标签;
获取所述恶性钙化样本集合中每个恶性钙化正样本的第三真实标签,以及每个恶性钙化负样本的第四真实标签;
对所述每个恶性钙化正样本的所述第三预测标签和所述第三真实标签,以及所述每个恶性钙化负样本的所述第四预测标签和所述第四真实标签进行训练,得到第二模型参数;
根据所述第二模型参数生成所述第二神经网络模型。
本发明第五方面提供一种医疗检测设备,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,所述钙化概率标签用于表示医学图像中存在钙化情况的概率;
若所述钙化概率标签满足钙化条件,则从所述待检测医学图像中提取钙化区域;
通过第二神经网络模型获取所述钙化区域的恶性钙化概率标签,其中,所述恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,所述第二神经网络模型与所述第一神经网络模型均属于医学图像检测模型;
根据所述恶性钙化概率标签生成恶性钙化定位结果;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本发明第六方面提供一种服务器,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待训练医学图像集合,其中,所述待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,所述钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,所述恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本;
采用所述钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型;
采用所述恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型;
根据所述第一神经网络模型以及所述第二神经网络模型生成医学图像检测模型;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
本发明的第七方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
本发明第八方面提供一种医学图像检测系统,所述医学图像检测系统包括图像扫描设备图像处理设备;
图像扫描设备用于扫描医学图像,并向所述图像处理设备发送所述医学图像;
图像处理设备用于执行第一方面中任一项所述的方法,或者执行如第二方面中任一项所述的方法。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,提供了一种基于医学图像的检测方法,首先通过第一神经网络模型获取待检测医学图像的钙化概率标签,若钙化概率标签满足钙化条件,则从待检测医学图像中提取钙化区域,然后通过第二神经网络模型获取钙化区域的恶性钙化概率标签,最后根据恶性钙化概率标签生成恶性钙化定位结果。通过上述方式,可以利用神经网络模型对任意的医学图像进行钙化检测,且针对有钙化的区域进一步进行良恶性检测,无需考虑硬件环境对医学图像的影响,且无需设定经验阈值来判断病变情况,从而提升了检测的准确性和便利性。
附图说明
图1为本发明实施例中医学图像检测系统的一个架构示意图;
图2为本发明实施例中生成恶性钙化定位结果的一个示意图;
图3为本发明实施例中基于医学图像的检测方法一个实施例示意图;
图4为本发明实施例中医学图像检测的一个流程示意图;
图5为本发明实施例中医学图像预处理的一个流程示意图;
图6为本发明实施例中钙化检测的一个流程示意图;
图7为本发明实施例中区域块过滤的一个实施例示意图;
图8为本发明实施例中良恶性分类的一个流程示意图;
图9为本发明实施例中定位恶性钙化区域的一个实施例示意图;
图10为本发明应用场景中生成恶性钙化定位结果的一个示意图;
图11为本发明实施例中模型训练的方法一个实施例示意图;
图12为本发明实施例中医学图像检测装置一个实施例示意图;
图13为本发明实施例中医学图像检测装置另一个实施例示意图;
图14为本发明实施例中医学图像检测装置另一个实施例示意图;
图15为本发明实施例中模型训练装置一个实施例示意图;
图16为本发明实施例中模型训练装置另一个实施例示意图;
图17为本发明实施例中医疗检测设备一个结构示意图;
图18为本发明实施例中服务器一个结构示意图。
具体实施方式
本发明实施例提供了一种基于医学图像的检测方法、模型训练的方法以及装置,可以利用神经网络模型对任意的医学图像进行钙化检测,且针对有钙化的区域进一步进行良恶性检测,无需考虑硬件环境对医学图像的影响,且无需设定经验阈值来判断病变情况,从而提升了检测的准确性和便利性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本发明主要应用于医疗诊断场景,具体用于对输入的医学图像进行检测和分析,即采用医学图像检测模型输出医学图像的分析结果,使得医护人员或者研究人员能够得到更准确的诊断结果。具体地,请参阅图1,图1为本发明实施例中医学图像检测系统的一个架构示意图,如图所示,通过医疗检测设备可以获取大量的医学图像,需要说明的是,医学图像包含但不仅限于计算机断层扫描(computed tomography,CT)图像、核磁共振成像(magnetic resonance imaging,MRI)图像、超声(ultrasonic,US)图像以及钼靶图像。
其中,CT图像是由一定数目由黑到白不同灰度的像素按矩阵排列所构成。这些像素反映的是相应体素的X线吸收系数。CT图像是以不同的灰度来表示,反映器官和组织对X线的吸收程度。因此,与X线图像所示的黑白影像一样,黑影表示低吸收区,即低密度区,如含气体多的肺部;白影表示高吸收区,即高密度区,如骨骼。但是CT图像与X线图像相比,CT的密度分辨力高,即有高的密度分辨力。因此,CT图像可以更好地显示由软组织构成的器官,如脑、脊髓、纵隔、肺、肝、胆、胰以及盆部器官等,并在良好的解剖图像背景上显示出病变的影像。
MRI图像已应用于全身各系统的成像诊断。效果最佳的是颅脑、脊髓、心脏大血管、关节骨骼、软组织及盆腔等。对心血管疾病不但可以观察各腔室、大血管及瓣膜的解剖变化,而且可作心室分析,进行定性及半定量的诊断,可作多个切面图,空间分辨率较高,显示心脏及病变全貌,及其与周围结构的关系,优于其他X线成像、二维超声、核素及CT检查。在对脑脊髓病变诊断时,可作冠状、矢状及横断面像。
US图像是反映介质中声学参数的差异,可得到不同于光学、X射线以及γ射线等的信息。超声对人体软组织有良好的分辨能力,有利于识别生物组织的微小病变。超声图像显示活体组织时不用染色处理,即可获得所需图像。
钼靶图像是传统放射技术与现代计算机技术相结合的一种数字化影像新技术,它最终将普通X线摄影的模拟图像转化为可被量化处理的数字化图像,使传统X线拍片技术及图像质量发生质的飞跃,使放射科医师更易于发现乳腺摄片中的可疑恶性病变,被认为是一有助于提高乳腺癌早期检出率的方法。本发明主要以检测乳腺的钼靶图像为例进行介绍。
医疗检测设备将医学图像发送至服务器,通过服务器中训练得到的医学图像检测模型可以对这些医学图像进行检测,如果检测到医学图像中存在钙化的区域,则提取该区域后进一步判断钙化为恶性还是良性的,如果是恶性钙化的情况,则会生成恶性钙化定位结果,由服务器将恶性钙化定位结果发送至终端设备,终端设备可以根据恶性钙化定位结果生成报告并打印出来,也可以直接在显示屏幕上展示恶性钙化定位结果。为了便于理解,请参阅图2,图2为本发明实施例中生成恶性钙化定位结果的一个示意图,如图所示,本发明所提供的医学图像检测方法可以作为软件接口的方式提供服务,用户输入乳腺的钼靶图像,通过医学图像检测模型输出带有疑似恶性钙化标记的结果,即得到恶性钙化定位结果。
需要说明的是,终端设备包含但不仅限于掌上电脑、手机、打印机、个人电脑、笔记本电脑以及平板电脑。
可以理解的是,医学图像检测系统所包括的医疗检测设备、服务器以及终端设备可以为三台独立的设备,也可以是集成与同一个系统内,此处不做限定。应理解,本发明具体可以应用于乳腺癌早期筛查项目的数据筛选,以及医疗影像中心对医学图像数据进行数据归档确认,又或者是对历史数据的整理。
下面将从医疗检测设备的角度,对本发明中基于医学图像的检测方法进行介绍,请参阅图3,本发明实施例中基于医学图像的检测方法一个实施例包括:
101、通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,钙化概率标签用于表示医学图像中存在钙化情况的概率;
本实施例中,获取预先训练好的医学图像检测模型,该医学图像检测模型包括两个部分,一个部分为第一神经网络模型,第一神经网络模型主要用于检测是否包括钙化区域,另一个部分为第二神经网络模型,第二神经网络模型主要用于检测钙化是属于良性的还是恶性的。首先将待检测医学图像输入至第一神经网络模型,由第一神经网络模型输出钙化概率标签,钙化概率标签用于表示医学图像中存在钙化情况的概率,通常情况下,钙化情况的概率大于0.5时,认为疑似包含钙化病灶。
需要说明的是,待检测医学图像可以为乳腺的钼靶图像。而钼靶图像上的钙化情况通常有片状钙化、簇状钙化以及细点状微小钙化等。乳腺钼靶X线影像的计算机辅助检测微小钙化点已成为乳癌早期诊断的研究热点。这主要是因为细小的且颗粒状的成簇的微钙化点是乳癌的一个重要的早期表现。统计资料表明,占30%至50%的乳腺恶性肿瘤伴有微钙化。
102、若钙化概率标签满足钙化条件,则从待检测医学图像中提取钙化区域;
本实施例中,如果钙化概率标签满足钙化条件,那么需要从该待检测医学图像中提取钙化区域,再进一步对钙化区域进行分析。可以理解的是,在实际应用中,待检测医学图像中可能包括不止一个钙化点,可以根据每个钙化点的具体位置提取相应的钙化区域。
可以理解的是,钙化点也就是指身体内的钙化组织。人体常见的有胸腔钙化点、冠状动脉钙化点、肺部钙化点、乳房钙化点、腹部钙化点、肝脏钙化点以及肢骨钙化点等。钙化点有多种因素形成的,有的钙化点是属于良性的,患者可以放心;但有的则是一些疾病的病症。值得注意的是,有些钙化点属于良性的现象,患者可以不必放在心上。但也有不少钙化点是某些慢性或急性疾病的病征等,因此,还需要对钙化区域做进一步的检测。
103、通过第二神经网络模型获取钙化区域的恶性钙化概率标签,其中,恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,第二神经网络模型与第一神经网络模型均属于医学图像检测模型;
本实施例中,将钙化区域的图像输入至第二神经网络模型,由第二神经网络模型输出恶性钙化概率标签,恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,通常情况下,恶性钙化情况的概率大于0.5时,认为疑似包含恶性钙化病灶。
104、根据恶性钙化概率标签生成恶性钙化定位结果。
本实施例中,如果确定钙化区域包含恶性钙化病灶,那么可以输出相应的恶性钙化定位结果,如果确定钙化区域包含良性钙化病灶,则通常情况下就无需输出定位结果。
为了便于理解,请参阅图4,图4为本发明实施例中医学图像检测的一个流程示意图,如图所示,在步骤A1中,首先获取乳腺的钼靶图像。在步骤A2中,对获取到的钼靶图像进行预处理。在步骤A3中,对处理后得到的钼靶图像进行钙化区域的检测。在步骤A4中,根据钙化区域的检测结果确定是属于恶性钙化还是良性钙化。
本发明实施例中,提供了一种基于医学图像的检测方法,首先通过第一神经网络模型获取待检测医学图像的钙化概率标签,若钙化概率标签满足钙化条件,则从待检测医学图像中提取钙化区域,然后通过第二神经网络模型获取钙化区域的恶性钙化概率标签,最后根据恶性钙化概率标签生成恶性钙化定位结果。通过上述方式,可以利用神经网络模型对任意的医学图像进行钙化检测,且针对有钙化的区域进一步进行良恶性检测,无需考虑硬件环境对医学图像的影响,且无需设定经验阈值来判断病变情况,从而提升了检测的准确性和便利性。
可选地,在上述图3对应的实施例的基础上,本发明实施例提供的基于医学图像的检测方法第一个可选实施例中,通过第一神经网络模型获取待检测医学图像的钙化概率标签之前,还可以包括:
获取待处理医学图像;
对待处理医学图像进行图像预处理,得到待检测医学图像,其中,图像预处理包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理。
本实施例中,将介绍一种对医学图像进行预处理的方法,预处理的对象可以钼靶图像,经过预处理之后的钼靶图像会去除大量的噪声,并且提取核心的区域。如果要进行乳房部位的检测,则提取的区域块主要为乳房的部分区域。如果要进行肺部的检测,则提取的区域块主要为肺部的部分区域。如果要进行肾脏部位的检测,则提取的区域块主要为肾脏的部分区域。
具体地,为了便于理解,请参阅图5,图5为本发明实施例中医学图像预处理的一个流程示意图,如图所示,
在步骤B1中,首先对待处理医学图像进行归一化处理,通过线性拉伸将待处理医学图像的灰度范围拉伸到固定范围,这样可以提升后续处理的鲁棒性。在步骤B2中,使用形态学开操作和二值化提取乳房区域,去除标签等背景。开操作可以去除细碎组织和噪声,分割过程可以有效地提取乳房组织区域,在步骤B3中,由于不同钙化灶的亮度不一致,因此需要通过直方图均衡提供后续处理的鲁棒性。在步骤B4中,使用固定尺寸的滑动窗口对待处理医学图像(如钼靶图像)进行区域块提取,从而得到待检测医学图像。可以理解的是,待检测医学图像可以包含至少一个区域块。
其次,本发明实施例中,介绍了一种对医学图像进行预处理的方法,主要包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理,这四种方式。通过上述方式,能够有效地去除钼靶图像中的一些噪声,将处理区域聚焦到目标区域,比如乳房区域或者肝脏区域,从而实现对图像的增强和优化处理,有利于提升后续预测的效果。
可选地,在上述图3对应的第一个实施例的基础上,本发明实施例提供的基于医学图像的检测方法第二个可选实施例中,对待处理医学图像进行图像预处理,得到待检测医学图像,可以包括:
对待处理医学图像进行归一化处理,得到归一化图像,其中,归一化图像的灰度值范围为0至255;
采用二值化方式从归一化图像中提取目标组织区域;
通过直方图均衡对目标组织区域进行处理,得到均衡化图像;
采用滑动窗口从均衡化图像中提取待检测医学图像。
本实施例中,将从四个方面具体介绍如何对医学图像进行预处理。首先,需要对待处理医学图像进行归一化处理,得到归一化图像,归一化处理是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为标量。本发明需要进行灰度归一化,使得图像的灰度值范围在0至255内,在红绿蓝(red green blue,RGB)色彩模式中,当R=G=B=255时,则图像为白色,当R=G=B=0时,则图像为黑色。不同的医学成像因素造成相同性质的组织在图像灰度信息上的不一致。灰度归一化就是在保留具有诊断价值的灰度差异的同时,减小甚至消除图像中灰度不一致而进行的图像转换方法,以便计算机自动分析处理。
然后,需要采用二值化方式从归一化图像中提取目标组织区域,具体地,先采用开操作去除归一化图像中的噪声和细碎组织。其中,当背景区域为黑,前景区域为白,且关心前景区域时采用开操作,开操作是一般使对象的轮廓变得光滑,断开狭窄的间断和消除细的突出物。分割过程采用的二值化方式具体可以是大津分割法。大津分割法可以根据图像灰度值的特性,将图像分成背景区域和前景区域两个部分。背景区域和前景区域之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景区域错分背景区域或者背景区域错分为前景区域的时候,会导致两部分的方差变小。因此,类间方差最大意味着错分概率最小。
接下来,需要通过直方图均衡对目标组织区域进行处理,得到均衡化图像。其中,直方图均衡化又称直方图平坦化,实质上是对图像进行非线性拉伸,重新分配图像象元值,使一定灰度范围内象元值的数量大致相等。这样,原来直方图中间的峰顶部分对比度得到增强,而两侧的谷底部分对比度降低,输出图像的直方图是一个较平的分段直方图。如果输出数据分段值较小的话,会产生粗略分类的视觉效果。直方图是表示数字图像中每一灰度出现频率的统计关系。直方图能给出图像灰度范围、每个灰度的频度和灰度的分布以及整幅图像的平均明暗和对比度等概貌性描述。灰度直方图是灰度级的函数,反映的是图像中具有该灰度级像素的个数。即若大部分像素集中在低灰度区域,图像呈现暗的特性,若像素集中在高灰度区域,图像呈现亮的特性。
最后,使用固定尺寸的滑动窗口对均衡化图像进行区域块提取,并在块提取的过程保证一定程度的块重叠。假设每个滑动窗口的像素个数为128*128,每次移动步长为64个像素,这样就可以保证均衡化图像中所有区域都能够被识别出来,从而得到待检测医学图像。
再次,本发明实施例中,介绍了对待处理医学图像进行图像预处理的具体过程,即对待处理医学图像进行归一化处理,得到归一化图像,其中,归一化图像的灰度值范围为0至255,然后采用二值化方式从归一化图像中提取目标组织区域,再通过直方图均衡对目标组织区域进行处理,得到均衡化图像,最后采用滑动窗口从均衡化图像中提取待检测医学图像。通过上述方式,经过灰度归一化处理后能够解决由于设备参数不同,而导致拍摄效果差异的情况。采用大津分割进行二值化处理能够更准确地提取完整的部位图像。采用直方图均衡可以让不同亮度的图像在灰度分布上更均衡,从而提升后续处理的鲁棒性。而使用滑动窗口提取区域块,并在提取过程中保证一定程度的块重叠,能保证图像中的所有区域都能够被识别。
可选地,在上述图3以及图3对应的第一个或第二个实施例的基础上,本发明实施例提供的基于医学图像的检测方法第三个可选实施例中,通过第一神经网络模型获取待检测医学图像的钙化概率标签之后,还可以包括:
若钙化概率标签为第一概率标签,则确定钙化概率标签满足钙化条件,并执行从待检测医学图像中提取钙化区域的步骤;
若钙化概率标签为第二概率标签,则确定待检测医学图像不满足钙化条件,并完成对待检测医学图像的检测。
本实施例中,介绍了一种待检测医学图像是否符合钙化条件的方法。为了便于理解,请参阅图6,图6为本发明实施例中钙化检测的一个流程示意图,如图所示,具体地,在步骤C1中,获取待检测医学图像,该待检测医学图像可以是钼靶图像,比如乳房的钼靶图像。在步骤C2中,将待检测医学图像输入至第一神经网络模型,其中,第一神经网络模型是提前训练好的。在步骤C3中,通过第一神经网络模型可以输出该待检测医学图像的钙化概率标签,其中,钙化概率标签通常可以分为第一概率标签和第二概率标签,假设通过第一神经网络确定该待检测医学图像的钙化概率为大于或等于0且小于0.5,那么可以认为属于这个钙化概率范围的标签为第二概率标签,即输出第二概率标签“0”,此时确定待检测医学图像不满足钙化条件,那就不需要进行后续的钙化区域提取操作。类似地,假设通过第一神经网络确定该待检测医学图像的钙化概率为大于或等于0.5且小于或等于1,那么可以认为属于这个钙化概率范围的标签为第一概率标签,即输出第一概率标签“1”,此时确定待检测医学图像满足钙化条件,那就需要进行后续的钙化区域提取操作。
进一步地,本发明实施例中,在检测过程中,通过第一神经网络模型获取待检测医学图像的钙化概率标签,如果钙化概率标签为第一概率标签,则确定钙化概率标签满足钙化条件,如果钙化概率标签为第二概率标签,则确定待检测医学图像不满足钙化条件,并完成对待检测医学图像的检测。通过上述方式,可以根据输出的钙化概率标签确定是否需要进行良恶性钙化的检测,对于无钙化区域的情况,可以省去进一步判断钙化性质的步骤,从而提升了检测效率。
可选地,在上述图3对应的第三个实施例的基础上,本发明实施例提供的基于医学图像的检测方法第四个可选实施例中,从待检测医学图像中提取钙化区域,可以包括:
若待检测医学图像中包括多个钙化点,则获取第一钙化点与第二钙化点之间的目标距离,其中,第一钙化点属于多个钙化点中的任意一个钙化点,第二钙化点属于多个钙化点中的任意一个钙化点,且第一钙化点与第二钙化点属于两个不同的钙化点;
判断第一钙化点与第二钙化点之间的目标距离是否在预设距离范围内;
若目标距离在预设距离范围内,则根据第一钙化点以及第二钙化点提取目标钙化区域,其中,目标钙化区域包括第一钙化点以及第二钙化点;
若目标距离未在预设距离范围内,则根据第一钙化点提取第一钙化区域,根据第二钙化点提取第二钙化区域。
本实施例中,将介绍一种从待检测医学图像中提取钙化区域的方法。为了便于理解,请参阅图7,图7为本发明实施例中区域块过滤的一个实施例示意图,如图所示,首先通过第一神经网络模型获取待检测医学图像中的钙化概率标签,对于钙化概率标签为第一概率标签的情况,将提取对应的钙化点所在的区域,假设待检测医学图像中包括三个钙化点,每个钙化点对应于一个钙化区域,如图7中S1、S2以及S3所指示的区域。假设第一钙化点为S1区域所包含的钙化点,第二钙化点为S2区域所包含的钙化点,则需要先获取这两个钙化点之间的目标距离。假设目标距离为0.01毫米,则需要判断目标距离是否在预设距离范围内,预设距离范围可以设置为大于0毫米且小于或等于0.1毫米。由此可见,0.01毫米在预设距离范围内,因此,这两个钙化点所对应的区域只输出其中一个作为目标钙化区域即可。假设第一钙化点对应的钙化概率为0.8,第二钙化点对应的钙化概率为0.7,那么输出钙化概率为较大的钙化点所对应的区域,也就是将第一钙化点对应的钙化区域作为目标钙化区域。
假设第一钙化点为S1区域所包含的钙化点,第二钙化点为S3区域所包含的钙化点,则需要先获取这两个钙化点之间的目标距离。假设目标距离为0.2毫米,则需要判断目标距离是否在预设距离范围内,预设距离范围可以设置为大于0毫米且小于或等于0.1毫米。由此可见,0.2毫米不在预设距离范围内,因此,这两个钙化点所对应的区域需要分别输出,即根据第一钙化点提取第一钙化区域,根据第二钙化点提取第二钙化区域。
可以理解的是,在实际情况下,也可以通过判断两个钙化点所对应的钙化区域是否有重叠,如果重叠,则将其中一个钙化区域作为目标钙化区域即可。反之,如果不重叠,则分别输出两个钙化区域。
更进一步地,本发明实施例中,介绍了一种从待检测医学图像中提取钙化区域的过程,即若待检测医学图像中包括多个钙化点,则获取第一钙化点与第二钙化点之间的目标距离,如果目标距离在预设距离范围内,则根据第一钙化点以及第二钙化点提取目标钙化区域,如果目标距离未在预设距离范围内,则根据第一钙化点提取第一钙化区域,根据第二钙化点提取第二钙化区域。通过上述方式,对于检测得到的钙化点还可以将位置相近的钙化区域进行合并,从而形成大小不一的钙化区域,这样的钙化区域更贴近实际情况,同时提升后续检测的鲁棒性。
可选地,在上述图3以及图3对应的第一个或第二个实施例的基础上,本发明实施例提供的基于医学图像的检测方法第五个可选实施例中,通过第二神经网络模型获取钙化区域的恶性钙化概率标签之后,还可以包括:
若恶性钙化概率标签第三概率标签,则确定钙化区域为恶性钙化区域;
若恶性钙化概率标签第四概率标签,则确定钙化区域为良性钙化区域。
本实施例中,介绍了一种待检测医学图像是否符合恶性钙化的方法。为了便于理解,请参阅图8,图8为本发明实施例中良恶性分类的一个流程示意图,如图所示,具体地,在步骤D1中,获取钙化区域,该钙化区域可以上述实施例中提到的第一钙化区域或者第二钙化区域,此处不作限定。在步骤D2中,将钙化区域输入至第二神经网络模型,其中,第二神经网络模型是提前训练好的。在步骤D3中,通过第二神经网络模型可以输出该钙化区域的恶性钙化概率标签,其中,恶性钙化概率标签通常可以分为第三概率标签和第四概率标签,假设通过第二神经网络确定该钙化区域的恶性钙化概率为大于或等于0且小于0.5,那么可以认为属于这个恶性钙化概率范围的标签为第四概率标签,即输出第四概率标签“0”,此时确定钙化区域不满足恶性钙化条件,那就直接确定钙化区域为良性钙化区域。类似地,假设通过第二神经网络确定该钙化区域的恶性钙化概率为大于或等于0.5且小于或等于1,那么可以认为属于这个恶性钙化概率范围的标签为第三概率标签,即输出第三概率标签“1”,此时确定钙化区域满足钙化条件,此时确定钙化区域满足恶性钙化条件。
进一步地,本发明实施例中,在检测过程中,通过第一神经网络模型获取待检测医学图像的钙化概率标签,如果钙化概率标签为第一概率标签,则确定钙化概率标签满足钙化条件,进而通过第二神经网络模型获取钙化区域的恶性钙化概率标签,如果恶性钙化概率标签第三概率标签,则确定钙化区域为恶性钙化区域,如果恶性钙化概率标签第四概率标签,则确定钙化区域为良性钙化区域。通过上述方式,可以根据输出的恶性钙化概率标签确定是否为恶性情况,无需人工提取图像特征以及人工分析钙化区域的情况,从而提升方案的实用性和可操作性。
可选地,在上述图3对应的第五个实施例的基础上,本发明实施例提供的基于医学图像的检测方法第六个可选实施例中,根据恶性钙化概率标签生成恶性钙化定位结果,可以包括:
若钙化区域包括多个钙化区域,则获取第一钙化区域与第二钙化区域的目标重叠度,其中,第一钙化区域属于多个钙化区域中的任意一个钙化区域,第二钙化区域属于多个钙化区域中的任意一个钙化区域,且第一钙化区域与第二钙化区域属于两个不同的钙化区域;
判断第一钙化区域与第二钙化区域的目标重叠度是否大于或等于预置重叠度阈值;
若目标重叠度大于或等于预置重叠度阈值,则根据恶性钙化概率确定第一钙化区域或者第二钙化区域为恶性钙化定位结果;
若目标重叠度小于预置重叠度阈值,则确定第一钙化区域以及第二钙化区域均为恶性钙化定位结果。
本实施例中,将介绍一种根据恶性钙化概率标签生成恶性钙化定位结果的方法。具体地,请参阅图9,图9为本发明实施例中定位恶性钙化区域的一个实施例示意图,如图所示,假设待检测医学图像中存在多个钙化区域,如图中U1和U2所指示的钙化区域,那么需要获取这两个钙化区域的目标重叠度。可以理解的是,在实际应用中,待检测医学图像中还可能会存在三个或三个以上的钙化区域,处理方式与本发明介绍的方式类似,可以对两两钙化区域做重叠度的计算。当然,如果待检测医学图像中只有一个钙化区域,就不需要去除重叠的钙化区域了。
继续以U1所示的第一钙化区域和U2所示的第二钙化区域为例,由图可知,两者的目标重叠度为100%,于是需要判断目标重叠度是否大于或等于预置重叠度阈值。假设预置重叠度阈值为50%,由于100%大于50%,因此,只需要输出一个钙化区域。这个时候需要考虑第一钙化区域和第二钙化区域的恶性钙化概率(也可以认为是置信度),假设第一钙化区域的恶性钙化概率为0.8,第二钙化区域的恶性钙化概率为0.6,则最终确定第一钙化区域为恶性钙化定位结果。
对于判断为疑似恶性钙化的区域,使用非极大值抑制(Non-MaximumSuppression,NMS)方法去除重叠的区域,将预置重叠度阈值设置为50%主要目的是降低误报率,同时可以提高疑似恶性钙化定位的准确性。
为了便于理解,请参阅图10,图10为本发明应用场景中生成恶性钙化定位结果的一个示意图,如图所示,采用本发明所提供的基于医学图像的检测方法,能够检测各种乳房类型的钼靶图像,并且显示出恶性钙化定位结果,具体可以参阅图10中的(a)、(b)、(c)、(d)、(e)和(f)。
更进一步地,本发明实施例中,介绍了一种生成恶性钙化定位结果的方法,即如果钙化区域包括多个钙化区域,则获取第一钙化区域与第二钙化区域的目标重叠度,如果目标重叠度大于或等于预置重叠度阈值,则根据恶性钙化概率确定第一钙化区域或者第二钙化区域为恶性钙化定位结果,如果目标重叠度小于预置重叠度阈值,则确定第一钙化区域以及第二钙化区域均为恶性钙化定位结果。通过上述方式,对于判断疑似恶性钙化的区域,可以去除重叠区域,并且设定重叠度阈值,这样可以降低误报率,与此同时,还可以提高疑似恶性钙化定位的准确度。
下面将从服务器的角度,对本发明中模型训练的方法进行介绍,请参阅图11,本发明实施例中模型训练的方法一个实施例包括:
201、获取待训练医学图像集合,其中,待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本;
本实施例中,首先需要获取待训练医学图像集合,这里的待训练医学图像集合包括了两个大类的图像集合,其一是钙化样本集合,另一是恶性钙化样本集合。其中,钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本。
202、采用钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型;
本实施例中,在实际应用中,可以分别对钙化样本集合和恶性钙化样本集合进行训练,首先获取初始的第一待训练模型,然后对钙化样本集合中的至少一个钙化正样本以及至少一个钙化负样本进行训练,得到第一神经网络模型,该第一神经网络模型可以预测钼靶图像中是否存在钙化区域。
203、采用恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型;
本实施例中,首先获取初始的第二待训练模型,然后对恶性钙化样本集合中的至少一个恶性钙化正样本以及至少一个恶性钙化负样本进行训练,得到第二神经网络模型,该第二神经网络模型可以预测钼靶图像中是否存在恶性钙化区域。
需要说明的是,步骤202与步骤203之间没有先后执行顺序,可以先执行步骤202再执行步骤203,也可以先执行步骤203再执行步骤202,还可以同时执行步骤202与步骤203,此处不做限定。
204、根据第一神经网络模型以及第二神经网络模型生成医学图像检测模型。
本实施例中,最后将训练好的第一神经网络模型以及第二神经网络模型进行拼接,从而形成用于预测的医学图像检测模型。
本发明实施例中,提供了一种模型训练的方法,首先获取待训练医学图像集合,其中,待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本,然后采用钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型,并且采用恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型,最后根据第一神经网络模型以及第二神经网络模型生成医学图像检测模型。通过上述方式,生成可直接用于预测的医学图像检测模型,通过该医学图像检测模型即可预测钙化情况,无需考虑硬件环境对医学图像的影响,且无需设定经验阈值来判断病变情况,从而提升了检测的准确性和便利性。
可选地,在上述图11对应的实施例的基础上,本发明实施例提供的模型训练的方法第一个可选实施例中,获取待训练医学图像集合之前,还可以包括:
获取待处理医学图像集合,其中,待处理医学图像集合包括待处理钙化样本集合以及待处理恶性钙化样本集合,待处理钙化样本集合包括至少一个待处理钙化正样本以及至少一个待处理钙化负样本,待处理恶性钙化样本集合包括至少一个待处理恶性钙化正样本以及至少一个待处理恶性钙化负样本;
对待处理医学图像集合中的每个图像进行图像预处理,得到待训练医学图像,其中,图像预处理包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理。
本实施例中,首先需要对待处理医学图像集合中的每个待处理医学图像进行预处理,从而得到待训练医学图像。具体地,将从四个方面具体介绍如何对医学图像进行预处理。首先,需要对待处理医学图像进行归一化处理,得到归一化图像,归一化处理是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为标量。本发明需要进行灰度归一化,使得图像的灰度值范围在0至255内。然后,需要采用二值化方式从归一化图像中提取目标组织区域。接下来,需要通过直方图均衡对目标组织区域进行处理,得到均衡化图像。最后,使用固定尺寸的滑动窗口对均衡化图像进行区域块的提取,并在块提取的过程保证一定程度的块重叠。假设每个滑动窗口的像素个数为128*128,每次移动步长为64个像素,这样就可以保证均衡化图像中所有区域都能够被识别出来,从而得到待训练医学图像,可以理解的是,待训练医学图像包括至少一个区域块。
其次,本发明实施例中,介绍了一种对医学图像进行预处理的方法,主要包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理,这四种方式。通过上述方式,能够有效地去除钼靶图像中的一些噪声,将处理区域聚焦到目标区域,比如乳房区域或者肝脏区域,从而实现对图像的增强和优化处理,有利于提升后续训练的效果。
可选地,在上述图11对应的实施例的基础上,本发明实施例提供的模型训练的方法第二个可选实施例中,采用钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型,可以包括:
获取第一待训练模型;
通过第一待训练模型,获取钙化样本集合中每个钙化正样本的第一预测标签,以及每个钙化负样本的第二预测标签;
获取钙化样本集合中每个钙化正样本的第一真实标签,以及每个钙化负样本的第二真实标签;
对每个钙化正样本的第一预测标签和第一真实标签,以及每个钙化负样本的第二预测标签和第二真实标签进行训练,得到第一模型参数;
根据第一模型参数生成第一神经网络模型。
本实施例中,将介绍如何训练得到第一神经网络模型。具体地,先获取钙化样本集合,钙化样本集合包含大量(比如5000个以上)的标注数据,可以使用国内医院的图像数据,且聘请专家标注这些图像数据。其中,钙化样本集合包括钙化正样本和钙化负样本,钙化正样本中包含钙化病灶,钙化负样本中不包含钙化病灶。对这些钙化样本集合中的图像进行增强处理,由于是钼靶图片,主要进行翻转和剪裁即可,可以不进行颜色空间的数据增强。其中,翻转表示对图像数据进行翻转,假设有1000张图像,经过翻转后每张图像可以有正反两个面,从而得到2000张图像,还可以对这1000张图像进行剪裁,截取目标区域,这样就能增加训练图像的数据量。
可以理解的是,第一待训练模型可以是牛津大学发布的视觉几何群网络(VisualGeometry Group Network,VGG)模型,或者残差神经网络(Residual Neural Network,ResNet)模型,或者初始(Inception)V3网络模型,或者统一(unity net,Unet)网络模型,此处以VGG模型为例进行介绍。钙化样本集合作为训练数据输入至VGG模型,VGG模型输出类别数量重新设置为2,其中,VGG模型的权重值初始化可以先使用ImageNet的数据集,接着使用公开的数据集乳腺X线摄影数字化数据库(digital database for screeningmammography,DDSM,最后使用钙化样本集合进行迁移学习得到最后的第一神经网络模型,需要说明的是,下降算法可以使用自适应矩估计(adaptive moment estimation,Adam),批处理大小为512,初始学习率为0.001,最大迭代次数为10000,这些参数并不应理解为对本发明的限定。
通过第一待训练模型获取钙化样本集合中每个钙化正样本的第一预测标签,以及每个钙化负样本的第二预测标签,并且获取每个钙化正样本的第一真实标签,以及每个钙化负样本的第二真实标签。根据每个钙化正样本的第一预测标签和第一真实标签,以及每个钙化负样本的第二预测标签和第二真实标签,利用损失函数计算得到最小值,从而得到第一模型参数。根据第一模型参数可以生成第一神经网络模型。
其次,本发明实施例中,介绍了一种训练得到第一神经网络模型的方法,即通过第一待训练模型,通过第一待训练模型,获取钙化样本集合中每个钙化正样本的第一预测标签,以及每个钙化负样本的第二预测标签,并且获取钙化样本集合中每个钙化正样本的第一真实标签,以及每个钙化负样本的第二真实标签,然后对每个钙化正样本的第一预测标签和第一真实标签,以及每个钙化负样本的第二预测标签和第二真实标签进行训练,得到第一模型参数,最后根据第一模型参数生成第一神经网络模型。通过上述方式,可以针对疑似钙化的情况设计出一个检测模型,无需人工判断是否存在钙化的情况,从而提升方案的实用性。
可选地,在上述图11以及图11对应的第一个或第二个实施例的基础上,本发明实施例提供的模型训练的方法第三个可选实施例中,采用恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型,可以包括:
获取第二待训练模型;
通过第二待训练模型,获取恶性钙化样本集合中每个恶性钙化正样本的第三预测标签,以及每个恶性钙化负样本的第四预测标签;
获取恶性钙化样本集合中每个恶性钙化正样本的第三真实标签,以及每个恶性钙化负样本的第四真实标签;
对每个恶性钙化正样本的第三预测标签和第三真实标签,以及每个恶性钙化负样本的第四预测标签和第四真实标签进行训练,得到第二模型参数;
根据第二模型参数生成第二神经网络模型。
本实施例中,将介绍如何训练得到第二神经网络模型。具体地,先获取恶性钙化样本集合,恶性钙化样本集合包含大量(比如7000个以上)的标注数据,可以使用国内医院的图像数据,且聘请专家标注这些图像数据。其中,恶性钙化样本集合包括恶性钙化正样本和恶性钙化负样本,恶性钙化正样本中包含疑似恶性钙化的区域,钙化负样本中包含明显良性钙化的区域。对这些恶性钙化样本集合中的图像进行增强处理,由于是钼靶图片,主要进行翻转和剪裁即可,可以不进行颜色空间的数据增强。其中,翻转表示对图像数据进行翻转,假设有1000张图像,经过翻转后每张图像可以有正反两个面,从而得到2000张图像,还可以对这1000张图像进行剪裁,截取目标区域,这样就能增加训练图像的数据量。
可以理解的是,第二待训练模型可以是牛津大学发布的VGG模型,或者ResNet模型,或者InceptionV3网络模型,或者Unet网络模型,此处以InceptionV3模型为例进行介绍。恶性钙化样本集合作为训练数据输入至InceptionV3模型,InceptionV3模型输出类别数量重新设置为2,其中,InceptionV3模型的权重值初始化可以先使用ImageNet的数据集,接着使用公开的数据集DDSM,最后使用恶性钙化样本集合进行迁移学习得到最后的第二神经网络模型,需要说明的是,下降算法可以使用均方根误差(root mean square prop,RMSprop),批处理大小为64,初始学习率为0.01,最大迭代次数为15000,这些参数并不应理解为对本发明的限定。
通过第二待训练模型获取恶性钙化样本集合中每个恶性钙化正样本的第三预测标签,以及每个恶性钙化负样本的第四预测标签,并且获取每个恶性钙化正样本的第三真实标签,以及每个恶性钙化负样本的第四真实标签。根据每个恶性钙化正样本的第三预测标签和第三真实标签,以及每个恶性钙化负样本的第四预测标签和第四真实标签,利用损失函数计算得到最小值,从而得到第二模型参数。根据第二模型参数可以生成第二神经网络模型。
再次,本发明实施例中,介绍了一种训练得到第二神经网络模型的方法,即通过第二待训练模型,获取恶性钙化样本集合中每个恶性钙化正样本的第三预测标签,以及每个恶性钙化负样本的第四预测标签,然后获取恶性钙化样本集合中每个恶性钙化正样本的第三真实标签,以及每个恶性钙化负样本的第四真实标签,对每个恶性钙化正样本的第三预测标签和第三真实标签,以及每个恶性钙化负样本的第四预测标签和第四真实标签进行训练,得到第二模型参数,最后根据第二模型参数生成第二神经网络模型。通过上述方式,可以针对恶性钙化的情况设计出一个检测模型,无需人工判断钙化区域的良恶性,从而提升方案的实用性。
下面对本发明中一个实施例所对应的医学图像检测装置进行详细描述,请参阅图12,图12为本发明实施例中医学图像检测装置一个实施例示意图,医学图像检测装置30包括:
获取模块301,用于通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,所述钙化概率标签用于表示医学图像中存在钙化情况的概率;
提取模块302,用于若所述获取模块301获取的所述钙化概率标签满足钙化条件,则从所述待检测医学图像中提取钙化区域;
所述获取模块301,还用于通过第二神经网络模型获取所述提取模块302提取的所述钙化区域的恶性钙化概率标签,其中,所述恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,所述第二神经网络模型与所述第一神经网络模型均属于医学图像检测模型;
生成模块303,用于根据所述获取模块301获取的所述恶性钙化概率标签生成恶性钙化定位结果。
本实施例中,获取模块301通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,所述钙化概率标签用于表示医学图像中存在钙化情况的概率,若所述获取模块301获取的所述钙化概率标签满足钙化条件,则提取模块302从所述待检测医学图像中提取钙化区域,所述获取模块301通过第二神经网络模型获取所述提取模块302提取的所述钙化区域的恶性钙化概率标签,其中,所述恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,所述第二神经网络模型与所述第一神经网络模型均属于医学图像检测模型,生成模块303根据所述获取模块301获取的所述恶性钙化概率标签生成恶性钙化定位结果。
本发明实施例中,提供了一种医学图像检测装置,首先医学图像检测装置通过第一神经网络模型获取待检测医学图像的钙化概率标签,若钙化概率标签满足钙化条件,则从待检测医学图像中提取钙化区域,然后通过第二神经网络模型获取钙化区域的恶性钙化概率标签,最后医学图像检测装置根据恶性钙化概率标签生成恶性钙化定位结果。通过上述方式,可以利用神经网络模型对任意的医学图像进行钙化检测,且针对有钙化的区域进一步进行良恶性检测,无需考虑硬件环境对医学图像的影响,且无需设定经验阈值来判断病变情况,从而提升了检测的准确性和便利性。
可选地,在上述图12所对应的实施例的基础上,请参阅图13,本发明实施例提供的医学图像检测装置30的另一实施例中,医学图像检测装置30包括处理模块304;
所述获取模块301,还用于通过第一神经网络模型获取待检测医学图像的钙化概率标签之前,获取待处理医学图像;
所述处理模块304,用于对所述获取模块301获取的所述待处理医学图像进行图像预处理,得到所述待检测医学图像,其中,所述图像预处理包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理。
其次,本发明实施例中,介绍了一种对医学图像进行预处理的方法,主要包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理,这四种方式。通过上述方式,能够有效地去除钼靶图像中的一些噪声,将处理区域聚焦到目标区域,比如乳房区域或者肝脏区域,从而实现对图像的增强和优化处理,有利于提升后续预测的效果。
可选地,在上述图12所对应的实施例的基础上,请参阅图13,本发明实施例提供的医学图像检测装置30的另一实施例中,
所述处理模块304,具体用于对所述待处理医学图像进行归一化处理,得到归一化图像,其中,所述归一化图像的灰度值范围为0至255;
采用二值化方式从所述归一化图像中提取目标组织区域;
通过直方图均衡对所述目标组织区域进行处理,得到均衡化图像;
采用滑动窗口从所述均衡化图像中提取所述待检测医学图像。
再次,本发明实施例中,介绍了对待处理医学图像进行图像预处理的具体过程,即对待处理医学图像进行归一化处理,得到归一化图像,其中,归一化图像的灰度值范围为0至255,然后采用二值化方式从归一化图像中提取目标组织区域,再通过直方图均衡对目标组织区域进行处理,得到均衡化图像,最后采用滑动窗口从均衡化图像中提取待检测医学图像。通过上述方式,经过灰度归一化处理后能够解决由于设备参数不同,而导致拍摄效果差异的情况。采用大津分割进行二值化处理能够更准确地提取完整的部位图像。采用直方图均衡可以让不同亮度的图像在灰度分布上更均衡,从而提升后续处理的鲁棒性。而使用滑动窗口提取区域块,并在提取过程中保证一定程度的块重叠,能保证图像中的所有区域都能够被识别。
可选地,在上述图12或图13所对应的实施例的基础上,请参阅图14,本发明实施例提供的医学图像检测装置30的另一实施例中,所述医学图像检测装置30还包括确定模块305;
所述确定模块305,用于所述获取模块301通过第一神经网络模型获取待检测医学图像的钙化概率标签之后,若所述钙化概率标签为第一概率标签,则确定所述钙化概率标签满足所述满足钙化条件,并执行所述从所述待检测医学图像中提取钙化区域的步骤;
所述确定模块305,还用于所述获取模块301通过第一神经网络模型获取待检测医学图像的钙化概率标签之后,若所述钙化概率标签为第二概率标签,则确定所述待检测医学图像不满足所述满足钙化条件,并完成对所述待检测医学图像的检测。
进一步地,本发明实施例中,在检测过程中,通过第一神经网络模型获取待检测医学图像的钙化概率标签,如果钙化概率标签为第一概率标签,则确定钙化概率标签满足钙化条件,如果钙化概率标签为第二概率标签,则确定待检测医学图像不满足钙化条件,并完成对待检测医学图像的检测。通过上述方式,可以根据输出的钙化概率标签确定是否需要进行良恶性钙化的检测,对于无钙化区域的情况,可以省去进一步判断钙化性质的步骤,从而提升了检测效率。
可选地,在上述图12、图13或图14所对应的实施例的基础上,本发明实施例提供的医学图像检测装置30的另一实施例中,
所述提取模块302,具体用于若所述待检测医学图像中包括多个钙化点,则获取第一钙化点与第二钙化点之间的目标距离,其中,所述第一钙化点属于所述多个钙化点中的任意一个钙化点,所述第二钙化点属于所述多个钙化点中的任意一个钙化点,且所述第一钙化点与所述第二钙化点属于两个不同的钙化点;
判断所述第一钙化点与所述第二钙化点之间的所述目标距离是否在预设距离范围内;
若所述目标距离在所述预设距离范围内,则根据所述第一钙化点以及所述第二钙化点提取目标钙化区域,其中,所述目标钙化区域包括所述第一钙化点以及所述第二钙化点;
若所述目标距离未在所述预设距离范围内,则根据所述第一钙化点提取第一钙化区域,根据所述第二钙化点提取第二钙化区域。
更进一步地,本发明实施例中,介绍了一种从待检测医学图像中提取钙化区域的过程,即若待检测医学图像中包括多个钙化点,则获取第一钙化点与第二钙化点之间的目标距离,如果目标距离在预设距离范围内,则根据第一钙化点以及第二钙化点提取目标钙化区域,如果目标距离未在预设距离范围内,则根据第一钙化点提取第一钙化区域,根据第二钙化点提取第二钙化区域。通过上述方式,对于检测得到的钙化点还可以将位置相近的钙化区域进行合并,从而形成大小不一的钙化区域,这样的钙化区域更贴近实际情况,同时提升后续检测的鲁棒性。
可选地,在上述图14所对应的实施例的基础上,本发明实施例提供的医学图像检测装置30的另一实施例中,所述医学图像检测装置30还包括确定模块305;
所述确定模块305,还用于所述获取模块301通过第二神经网络模型获取所述钙化区域的恶性钙化概率标签之后,若所述恶性钙化概率标签第三概率标签,则确定所述钙化区域为恶性钙化区域;
所述确定模块305,还用于所述获取模块301通过第二神经网络模型获取所述钙化区域的恶性钙化概率标签之后,若所述恶性钙化概率标签第四概率标签,则确定所述钙化区域为良性钙化区域。
进一步地,本发明实施例中,在检测过程中,通过第一神经网络模型获取待检测医学图像的钙化概率标签,如果钙化概率标签为第一概率标签,则确定钙化概率标签满足钙化条件,进而通过第二神经网络模型获取钙化区域的恶性钙化概率标签,如果恶性钙化概率标签第三概率标签,则确定钙化区域为恶性钙化区域,如果恶性钙化概率标签第四概率标签,则确定钙化区域为良性钙化区域。通过上述方式,可以根据输出的恶性钙化概率标签确定是否为恶性情况,无需人工提取图像特征以及人工分析钙化区域的情况,从而提升方案的实用性和可操作性。
可选地,在上述图12、图13或14所对应的实施例的基础上,本发明实施例提供的医学图像检测装置30的另一实施例中,
所述生成模块303,具体用于若所述钙化区域包括多个钙化区域,则获取第一钙化区域与第二钙化区域的目标重叠度,其中,所述第一钙化区域属于所述多个钙化区域中的任意一个钙化区域,所述第二钙化区域属于所述多个钙化区域中的任意一个钙化区域,且所述第一钙化区域与所述第二钙化区域属于两个不同的钙化区域;
判断所述第一钙化区域与所述第二钙化区域的所述目标重叠度是否大于或等于预置重叠度阈值;
若所述目标重叠度大于或等于所述预置重叠度阈值,则根据恶性钙化概率确定所述第一钙化区域或者所述第二钙化区域为所述恶性钙化定位结果;
若所述目标重叠度小于所述预置重叠度阈值,则确定所述第一钙化区域以及所述第二钙化区域均为所述恶性钙化定位结果。
更进一步地,本发明实施例中,介绍了一种生成恶性钙化定位结果的方法,即如果钙化区域包括多个钙化区域,则获取第一钙化区域与第二钙化区域的目标重叠度,如果目标重叠度大于或等于预置重叠度阈值,则根据恶性钙化概率确定第一钙化区域或者第二钙化区域为恶性钙化定位结果,如果目标重叠度小于预置重叠度阈值,则确定第一钙化区域以及第二钙化区域均为恶性钙化定位结果。通过上述方式,对于判断疑似恶性钙化的区域,可以去除重叠区域,并且设定重叠度阈值,这样可以降低误报率,与此同时,还可以提高疑似恶性钙化定位的准确度。
下面对本发明中一个实施例所对应的模型训练装置进行详细描述,请参阅图15,图15为本发明实施例中模型训练装置一个实施例示意图,模型训练装置40包括:
获取模块401,用于获取待训练医学图像集合,其中,所述待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,所述钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,所述恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本;
训练模块402,用于采用所述获取模块401获取的所述钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型;
所述训练模块402,还用于采用所述获取模块401获取的所述恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型;
生成模块403,用于根据所述训练模块402训练得到的所述第一神经网络模型以及所述第二神经网络模型生成医学图像检测模型。
本实施例中,获取模块401获取待训练医学图像集合,其中,所述待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,所述钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,所述恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本,训练模块402采用所述获取模块401获取的所述钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型,所述训练模块402采用所述获取模块401获取的所述恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型,生成模块403根据所述训练模块402训练得到的所述第一神经网络模型以及所述第二神经网络模型生成医学图像检测模型。
本发明实施例中,提供了一种模型训练装置,首先获取待训练医学图像集合,其中,待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本,然后采用钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型,并且采用恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型,最后根据第一神经网络模型以及第二神经网络模型生成医学图像检测模型。通过上述方式,生成可直接用于预测的医学图像检测模型,通过该医学图像检测模型即可预测钙化情况,无需考虑硬件环境对医学图像的影响,且无需设定经验阈值来判断病变情况,从而提升了检测的准确性和便利性。
可选地,在上述图15所对应的实施例的基础上,请参阅图16,本发明实施例提供的模型训练装置40的另一实施例中,所述模型训练装置40还包括处理模块404;
所述获取模块401,还用于获取待训练医学图像集合之前,获取待处理医学图像集合,其中,所述待处理医学图像集合包括待处理钙化样本集合以及待处理恶性钙化样本集合,所述待处理钙化样本集合包括至少一个待处理钙化正样本以及至少一个待处理钙化负样本,所述待处理恶性钙化样本集合包括至少一个待处理恶性钙化正样本以及至少一个待处理恶性钙化负样本;
所述处理模块404,用于对所述获取模块401获取的所述待处理医学图像集合中的每个图像进行图像预处理,得到所述待训练医学图像,其中,所述图像预处理包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理。
其次,本发明实施例中,介绍了一种对医学图像进行预处理的方法,主要包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理,这四种方式。通过上述方式,能够有效地去除钼靶图像中的一些噪声,将处理区域聚焦到目标区域,比如乳房区域或者肝脏区域,从而实现对图像的增强和优化处理,有利于提升后续训练的效果。
可选地,在上述图15或图16所对应的实施例的基础上,本发明实施例提供的模型训练装置40的另一实施例中,
所述训练模块402,具体用于获取所述第一待训练模型;
通过所述第一待训练模型,获取所述钙化样本集合中每个钙化正样本的第一预测标签,以及每个钙化负样本的第二预测标签;
获取所述钙化样本集合中每个钙化正样本的第一真实标签,以及每个钙化负样本的第二真实标签;
对所述每个钙化正样本的所述第一预测标签和所述第一真实标签,以及所述每个钙化负样本的所述第二预测标签和所述第二真实标签进行训练,得到第一模型参数;
根据所述第一模型参数生成所述第一神经网络模型。
其次,本发明实施例中,介绍了一种训练得到第一神经网络模型的方法,即通过第一待训练模型,通过第一待训练模型,获取钙化样本集合中每个钙化正样本的第一预测标签,以及每个钙化负样本的第二预测标签,并且获取钙化样本集合中每个钙化正样本的第一真实标签,以及每个钙化负样本的第二真实标签,然后对每个钙化正样本的第一预测标签和第一真实标签,以及每个钙化负样本的第二预测标签和第二真实标签进行训练,得到第一模型参数,最后根据第一模型参数生成第一神经网络模型。通过上述方式,可以针对疑似钙化的情况设计出一个检测模型,无需人工判断是否存在钙化的情况,从而提升方案的实用性。
可选地,在上述图15或图16所对应的实施例的基础上,本发明实施例提供的模型训练装置40的另一实施例中,
所述训练模块402,具体用于获取所述第二待训练模型;
通过所述第二待训练模型,获取所述恶性钙化样本集合中每个恶性钙化正样本的第三预测标签,以及每个恶性钙化负样本的第四预测标签;
获取所述恶性钙化样本集合中每个恶性钙化正样本的第三真实标签,以及每个恶性钙化负样本的第四真实标签;
对所述每个恶性钙化正样本的所述第三预测标签和所述第三真实标签,以及所述每个恶性钙化负样本的所述第四预测标签和所述第四真实标签进行训练,得到第二模型参数;
根据所述第二模型参数生成所述第二神经网络模型。
再次,本发明实施例中,介绍了一种训练得到第二神经网络模型的方法,即通过第二待训练模型,获取恶性钙化样本集合中每个恶性钙化正样本的第三预测标签,以及每个恶性钙化负样本的第四预测标签,然后获取恶性钙化样本集合中每个恶性钙化正样本的第三真实标签,以及每个恶性钙化负样本的第四真实标签,对每个恶性钙化正样本的第三预测标签和第三真实标签,以及每个恶性钙化负样本的第四预测标签和第四真实标签进行训练,得到第二模型参数,最后根据第二模型参数生成第二神经网络模型。通过上述方式,可以针对恶性钙化的情况设计出一个检测模型,无需人工判断钙化区域的良恶性,从而提升方案的实用性。
本发明实施例还提供了另一种学图像检测装置,如图17所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant,PDA)、销售终端(point of sales,POS)、车载电脑等任意终端设备,以终端为医疗检测设备为例:
图17示出的是与本发明实施例提供的终端相关的医疗检测设备的部分结构的框图。参考图17,医疗检测设备包括:射频(radio frequency,RF)电路510、存储器520、输入单元530、显示单元540、传感器550、音频电路560、无线保真(wireless fidelity,WiFi)模块570、处理器580、以及电源590等部件。本领域技术人员可以理解,图17中示出的医疗检测设备结构并不构成对医疗检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图17对医疗检测设备的各个构成部件进行具体的介绍:
RF电路510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器580处理;另外,将设计上行的数据发送给基站。通常,RF电路510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器520可用于存储软件程序以及模块,处理器580通过运行存储在存储器520的软件程序以及模块,从而执行医疗检测设备的各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据医疗检测设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元530可用于接收输入的数字或字符信息,以及产生与医疗检测设备的用户设置以及功能控制有关的键信号输入。具体地,输入单元530可包括触控面板531以及其他输入设备532。触控面板531,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板531上或在触控面板531附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板531可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器580,并能接收处理器580发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板531。除了触控面板531,输入单元530还可以包括其他输入设备532。具体地,其他输入设备532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及医疗检测设备的各种菜单。显示单元540可包括显示面板541,可选的,可以采用液晶显示器(liquidcrystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板541。进一步的,触控面板531可覆盖显示面板541,当触控面板531检测到在其上或附近的触摸操作后,传送给处理器580以确定触摸事件的类型,随后处理器580根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图17中,触控面板531与显示面板541是作为两个独立的部件来实现医疗检测设备的输入和输入功能,但是在某些实施例中,可以将触控面板531与显示面板541集成而实现医疗检测设备的输入和输出功能。
医疗检测设备还可包括至少一种传感器550,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板541的亮度,接近传感器可在医疗检测设备移动到耳边时,关闭显示面板541和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别医疗检测设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于医疗检测设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路560、扬声器561,传声器562可提供用户与医疗检测设备之间的音频接口。音频电路560可将接收到的音频数据转换后的电信号,传输到扬声器561,由扬声器561转换为声音信号输出;另一方面,传声器562将收集的声音信号转换为电信号,由音频电路560接收后转换为音频数据,再将音频数据输出处理器580处理后,经RF电路510以发送给比如另一医疗检测设备,或者将音频数据输出至存储器520以便进一步处理。
WiFi属于短距离无线传输技术,医疗检测设备通过WiFi模块570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图17示出了WiFi模块570,但是可以理解的是,其并不属于医疗检测设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器580是医疗检测设备的控制中心,利用各种接口和线路连接整个医疗检测设备的各个部分,通过运行或执行存储在存储器520内的软件程序和/或模块,以及调用存储在存储器520内的数据,执行医疗检测设备的各种功能和处理数据,从而对医疗检测设备进行整体监控。可选的,处理器580可包括一个或多个处理单元;可选的,处理器580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器580中。
医疗检测设备还包括给各个部件供电的电源590(比如电池),可选的,电源可以通过电源管理系统与处理器580逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,医疗检测设备还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本发明实施例中,该医疗检测设备所包括的处理器580还具有以下功能:
通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,所述钙化概率标签用于表示医学图像中存在钙化情况的概率;
若所述钙化概率标签满足钙化条件,则从所述待检测医学图像中提取钙化区域;
通过第二神经网络模型获取所述钙化区域的恶性钙化概率标签,其中,所述恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,所述第二神经网络模型与所述第一神经网络模型均属于医学图像检测模型;
根据所述恶性钙化概率标签生成恶性钙化定位结果。
可选地,处理器580还用于执行如下功能:
获取待处理医学图像;
对所述待处理医学图像进行图像预处理,得到所述待检测医学图像,其中,所述图像预处理包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理。
可选地,处理器580具体用于执行如下功能:
对所述待处理医学图像进行归一化处理,得到归一化图像,其中,所述归一化图像的灰度值范围为0至255;
采用二值化方式从所述归一化图像中提取目标组织区域;
通过直方图均衡对所述目标组织区域进行处理,得到均衡化图像;
采用滑动窗口从所述均衡化图像中提取所述待检测医学图像。
可选地,处理器580还用于执行如下功能:
若所述钙化概率标签为第一概率标签,则确定所述钙化概率标签满足所述满足钙化条件,并执行所述从所述待检测医学图像中提取钙化区域的步骤;
若所述钙化概率标签为第二概率标签,则确定所述待检测医学图像不满足所述满足钙化条件,并完成对所述待检测医学图像的检测。
可选地,处理器580具体用于执行如下功能:
若所述待检测医学图像中包括多个钙化点,则获取第一钙化点与第二钙化点之间的目标距离,其中,所述第一钙化点属于所述多个钙化点中的任意一个钙化点,所述第二钙化点属于所述多个钙化点中的任意一个钙化点,且所述第一钙化点与所述第二钙化点属于两个不同的钙化点;
判断所述第一钙化点与所述第二钙化点之间的所述目标距离是否在预设距离范围内;
若所述目标距离在所述预设距离范围内,则根据所述第一钙化点以及所述第二钙化点提取目标钙化区域,其中,所述目标钙化区域包括所述第一钙化点以及所述第二钙化点;
若所述目标距离未在所述预设距离范围内,则根据所述第一钙化点提取第一钙化区域,根据所述第二钙化点提取第二钙化区域。
可选地,处理器580还用于执行如下功能:
若所述恶性钙化概率标签第三概率标签,则确定所述钙化区域为恶性钙化区域;
若所述恶性钙化概率标签第四概率标签,则确定所述钙化区域为良性钙化区域。
可选地,处理器580具体用于执行如下功能:
若所述钙化区域包括多个钙化区域,则获取第一钙化区域与第二钙化区域的目标重叠度,其中,所述第一钙化区域属于所述多个钙化区域中的任意一个钙化区域,所述第二钙化区域属于所述多个钙化区域中的任意一个钙化区域,且所述第一钙化区域与所述第二钙化区域属于两个不同的钙化区域;
判断所述第一钙化区域与所述第二钙化区域的所述目标重叠度是否大于或等于预置重叠度阈值;
若所述目标重叠度大于或等于所述预置重叠度阈值,则根据恶性钙化概率确定所述第一钙化区域或者所述第二钙化区域为所述恶性钙化定位结果;
若所述目标重叠度小于所述预置重叠度阈值,则确定所述第一钙化区域以及所述第二钙化区域均为所述恶性钙化定位结果。
图18是本发明实施例提供的一种服务器结构示意图,该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)622(例如,一个或一个以上处理器)和存储器632,一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器622可以设置为与存储介质630通信,在服务器600上执行存储介质630中的一系列指令操作。
服务器600还可以包括一个或一个以上电源626,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口658,和/或,一个或一个以上操作系统641,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图18所示的服务器结构。
在本发明实施例中,该服务器所包括的CPU 622还具有以下功能:
获取待训练医学图像集合,其中,所述待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,所述钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,所述恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本;
采用所述钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型;
采用所述恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型;
根据所述第一神经网络模型以及所述第二神经网络模型生成医学图像检测模型。
可选地,CPU 622还用于执行如下功能:
获取待处理医学图像集合,其中,所述待处理医学图像集合包括待处理钙化样本集合以及待处理恶性钙化样本集合,所述待处理钙化样本集合包括至少一个待处理钙化正样本以及至少一个待处理钙化负样本,所述待处理恶性钙化样本集合包括至少一个待处理恶性钙化正样本以及至少一个待处理恶性钙化负样本;
对所述待处理医学图像集合中的每个图像进行图像预处理,得到所述待训练医学图像,其中,所述图像预处理包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理。
可选地,CPU 622具体用于执行如下功能:
获取所述第一待训练模型;
通过所述第一待训练模型,获取所述钙化样本集合中每个钙化正样本的第一预测标签,以及每个钙化负样本的第二预测标签;
获取所述钙化样本集合中每个钙化正样本的第一真实标签,以及每个钙化负样本的第二真实标签;
对所述每个钙化正样本的所述第一预测标签和所述第一真实标签,以及所述每个钙化负样本的所述第二预测标签和所述第二真实标签进行训练,得到第一模型参数;
根据所述第一模型参数生成所述第一神经网络模型。
可选地,CPU 622具体用于执行如下功能:
获取所述第二待训练模型;
通过所述第二待训练模型,获取所述恶性钙化样本集合中每个恶性钙化正样本的第三预测标签,以及每个恶性钙化负样本的第四预测标签;
获取所述恶性钙化样本集合中每个恶性钙化正样本的第三真实标签,以及每个恶性钙化负样本的第四真实标签;
对所述每个恶性钙化正样本的所述第三预测标签和所述第三真实标签,以及所述每个恶性钙化负样本的所述第四预测标签和所述第四真实标签进行训练,得到第二模型参数;
根据所述第二模型参数生成所述第二神经网络模型。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种基于医学图像的检测方法,其特征在于,包括:
通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,所述钙化概率标签用于表示医学图像中存在钙化情况的概率,所述第一神经网络模型为通过采用钙化样本集合中每个钙化正样本的第一预测标签和第一真实标签以及每个钙化负样本的第二预测标签和第二真实标签对第一待训练模型进行训练得到;
若所述钙化概率标签满足钙化条件,则根据目标距离和预设距离范围确定钙化区域,从所述待检测医学图像中提取所述钙化区域,其中,所述目标距离为所述待检测医学图像中不同钙化点之间的距离;
通过第二神经网络模型获取所述钙化区域的恶性钙化概率标签,其中,所述恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,所述第二神经网络模型与所述第一神经网络模型均属于医学图像检测模型,所述第二神经网络模型为通过采用所述恶性钙化样本集合中每个所述恶性钙化正样本的第三预测标签和第三真实标签以及每个所述恶性钙化负样本的第四预测标签和第四真实标签对第二待训练模型进行训练得到;
当所述恶性钙化概率标签表示所述钙化区域为疑似恶性钙化时,则根据目标重叠度和预置重叠度阈值,使用非极大值抑制方法去除重叠的区域,生成恶性钙化定位结果,其中,所述目标重叠度为多个所述钙化区域的重叠程度。
2.根据权利要求1所述的检测方法,其特征在于,所述通过第一神经网络模型获取待检测医学图像的钙化概率标签之前,所述方法还包括:
获取待处理医学图像;
对所述待处理医学图像进行图像预处理,得到所述待检测医学图像,其中,所述图像预处理包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理。
3.根据权利要求2所述的检测方法,其特征在于,所述对所述待处理医学图像进行图像预处理,得到所述待检测医学图像,包括:
对所述待处理医学图像进行归一化处理,得到归一化图像,其中,所述归一化图像的灰度值范围为0至255;
采用二值化方式从所述归一化图像中提取目标组织区域;
通过直方图均衡对所述目标组织区域进行处理,得到均衡化图像;
采用滑动窗口从所述均衡化图像中提取所述待检测医学图像。
4.根据权利要求1至3中任一项所述的检测方法,其特征在于,所述通过第一神经网络模型获取待检测医学图像的钙化概率标签之后,所述方法还包括:
若所述钙化概率标签为第一概率标签,则确定所述钙化概率标签满足所述满足钙化条件,并执行所述从所述待检测医学图像中提取钙化区域的步骤;
若所述钙化概率标签为第二概率标签,则确定所述待检测医学图像不满足所述满足钙化条件,并完成对所述待检测医学图像的检测。
5.根据权利要求4所述的检测方法,其特征在于,所述从所述待检测医学图像中提取钙化区域,包括:
若所述待检测医学图像中包括多个钙化点,则获取第一钙化点与第二钙化点之间的目标距离,其中,所述第一钙化点属于所述多个钙化点中的任意一个钙化点,所述第二钙化点属于所述多个钙化点中的任意一个钙化点,且所述第一钙化点与所述第二钙化点属于两个不同的钙化点;
判断所述第一钙化点与所述第二钙化点之间的所述目标距离是否在预设距离范围内;
若所述目标距离在所述预设距离范围内,则根据所述第一钙化点以及所述第二钙化点提取目标钙化区域,其中,所述目标钙化区域包括所述第一钙化点以及所述第二钙化点;
若所述目标距离未在所述预设距离范围内,则根据所述第一钙化点提取第一钙化区域,根据所述第二钙化点提取第二钙化区域。
6.根据权利要求1至3中任一项所述的检测方法,其特征在于,所述通过第二神经网络模型获取所述钙化区域的恶性钙化概率标签之后,所述方法还包括:
若所述恶性钙化概率标签第三概率标签,则确定所述钙化区域为恶性钙化区域;
若所述恶性钙化概率标签第四概率标签,则确定所述钙化区域为良性钙化区域。
7.根据权利要求1所述的检测方法,其特征在于,所述当所述恶性钙化概率标签表示所述钙化区域为疑似恶性钙化时,则根据目标重叠度和预置重叠度阈值,使用非极大值抑制方法去除重叠的区域,生成恶性钙化定位结果,包括:
若所述钙化区域包括多个钙化区域,则获取第一钙化区域与第二钙化区域的目标重叠度,其中,所述第一钙化区域属于所述多个钙化区域中的任意一个钙化区域,所述第二钙化区域属于所述多个钙化区域中的任意一个钙化区域,且所述第一钙化区域与所述第二钙化区域属于两个不同的钙化区域;
判断所述第一钙化区域与所述第二钙化区域的所述目标重叠度是否大于或等于预置重叠度阈值;
若所述目标重叠度大于或等于所述预置重叠度阈值,则根据恶性钙化概率确定所述第一钙化区域或者所述第二钙化区域为所述恶性钙化定位结果;
若所述目标重叠度小于所述预置重叠度阈值,则确定所述第一钙化区域以及所述第二钙化区域均为所述恶性钙化定位结果。
8.一种模型训练的检测方法,其特征在于,包括:
获取待训练医学图像集合,其中,所述待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,所述钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,所述恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本;
采用所述钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型,其中,所述采用所述钙化样本集合对第一待训练模型进行训练包括:采用所述钙化样本集合中每个所述钙化正样本的第一预测标签和第一真实标签以及每个所述钙化负样本的第二预测标签和第二真实标签对第一待训练模型进行训练,得到第一神经网络模型,所述第一神经网络模型用来获取待检测医学图像的钙化概率标签;
采用所述恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型,其中,所述采用所述恶性钙化样本集合对第二待训练模型进行训练包括:采用所述恶性钙化样本集合中每个所述恶性钙化正样本的第三预测标签和第三真实标签以及每个所述恶性钙化负样本的第四预测标签和第四真实标签对第二待训练模型进行训练,得到第二神经网络模型,所述第二神经网络模型用来获取钙化区域的恶性钙化概率标签;
根据所述第一神经网络模型以及所述第二神经网络模型生成医学图像检测模型,其中,所述医学图像检测模型用来在当所述第一神经网络模型获取到的所述钙化概率标签满足钙化条件时,根据目标距离与预设距离范围确定钙化区域,当所述第二神经网络获取到的所述恶性钙化概率标签表示所述钙化区域为疑似恶性钙化时,根据目标重叠度和预置重叠度阈值,使用非极大值抑制方法去除重叠的区域,生成恶性钙化定位结果,所述目标距离为所述待检测医学图像中不同钙化点之间的距离,所述目标重叠度为多个所述钙化区域的重叠程度。
9.根据权利要求8所述的方法,其特征在于,所述获取待训练医学图像集合之前,所述方法还包括:
获取待处理医学图像集合,其中,所述待处理医学图像集合包括待处理钙化样本集合以及待处理恶性钙化样本集合,所述待处理钙化样本集合包括至少一个待处理钙化正样本以及至少一个待处理钙化负样本,所述待处理恶性钙化样本集合包括至少一个待处理恶性钙化正样本以及至少一个待处理恶性钙化负样本;
对所述待处理医学图像集合中的每个图像进行图像预处理,得到所述待训练医学图像,其中,所述图像预处理包括归一化处理、区域分割处理、直方图均衡处理以及区域块提取处理。
10.根据权利要求8所述的方法,其特征在于,所述采用所述钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型,包括:
获取所述第一待训练模型;
通过所述第一待训练模型,获取所述钙化样本集合中每个钙化正样本的第一预测标签,以及每个钙化负样本的第二预测标签;
获取所述钙化样本集合中每个钙化正样本的第一真实标签,以及每个钙化负样本的第二真实标签;
对所述每个钙化正样本的所述第一预测标签和所述第一真实标签,以及所述每个钙化负样本的所述第二预测标签和所述第二真实标签进行训练,得到第一模型参数;
根据所述第一模型参数生成所述第一神经网络模型。
11.根据权利要求8至10中任一项所述的方法,其特征在于,所述采用所述恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型,包括:
获取所述第二待训练模型;
通过所述第二待训练模型,获取所述恶性钙化样本集合中每个恶性钙化正样本的第三预测标签,以及每个恶性钙化负样本的第四预测标签;
获取所述恶性钙化样本集合中每个恶性钙化正样本的第三真实标签,以及每个恶性钙化负样本的第四真实标签;
对所述每个恶性钙化正样本的所述第三预测标签和所述第三真实标签,以及所述每个恶性钙化负样本的所述第四预测标签和所述第四真实标签进行训练,得到第二模型参数;
根据所述第二模型参数生成所述第二神经网络模型。
12.一种医学图像检测装置,其特征在于,包括:
获取模块,用于通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,所述钙化概率标签用于表示医学图像中存在钙化情况的概率,所述第一神经网络模型为通过采用钙化样本集合中每个钙化正样本的第一预测标签和第一真实标签以及每个钙化负样本的第二预测标签和第二真实标签对第一待训练模型进行训练得到;
提取模块,用于若所述获取模块获取的所述钙化概率标签满足钙化条件,则根据目标距离和预设距离范围确定钙化区域,从所述待检测医学图像中提取所述钙化区域,其中,所述目标距离为所述待检测医学图像中不同钙化点之间的距离;
所述获取模块,还用于通过第二神经网络模型获取所述提取模块提取的所述钙化区域的恶性钙化概率标签,其中,所述恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,所述第二神经网络模型与所述第一神经网络模型均属于医学图像检测模型,所述第二神经网络模型为通过采用所述恶性钙化样本集合中每个所述恶性钙化正样本的第三预测标签和第三真实标签以及每个所述恶性钙化负样本的第四预测标签和第四真实标签对第二待训练模型进行训练得到;
生成模块,用于当所述恶性钙化概率标签表示所述钙化区域为疑似恶性钙化时,则根据目标重叠度和预置重叠度阈值,使用非极大值抑制方法去除重叠的区域,生成恶性钙化定位结果,其中,所述目标重叠度为多个所述钙化区域的重叠程度。
13.一种模型训练装置,其特征在于,包括:
获取模块,用于获取待训练医学图像集合,其中,所述待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,所述钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,所述恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本;
训练模块,用于采用所述获取模块获取的所述钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型,其中,所述采用所述钙化样本集合对第一待训练模型进行训练包括:采用所述钙化样本集合中每个所述钙化正样本的第一预测标签和第一真实标签以及每个所述钙化负样本的第二预测标签和第二真实标签对第一待训练模型进行训练,得到第一神经网络模型,所述第一神经网络模型用来获取待检测医学图像的钙化概率标签;
所述训练模块,还用于采用所述获取模块获取的所述恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型,其中,所述采用所述恶性钙化样本集合对第二待训练模型进行训练包括:采用所述恶性钙化样本集合中每个所述恶性钙化正样本的第三预测标签和第三真实标签以及每个所述恶性钙化负样本的第四预测标签和第四真实标签对第二待训练模型进行训练,得到第二神经网络模型,所述第二神经网络模型用来获取钙化区域的恶性钙化概率标签;
生成模块,用于根据所述训练模块训练得到的所述第一神经网络模型以及所述第二神经网络模型生成医学图像检测模型,其中,所述医学图像检测模型用来在当所述第一神经网络模型获取到的所述钙化概率标签满足钙化条件时,根据目标距离与预设距离范围确定钙化区域,当所述第二神经网络获取到的所述恶性钙化概率标签表示所述钙化区域为疑似恶性钙化时,根据目标重叠度和预置重叠度阈值,使用非极大值抑制方法去除重叠的区域,生成恶性钙化定位结果,所述目标距离为所述待检测医学图像中不同钙化点之间的距离,所述目标重叠度为多个所述钙化区域的重叠程度。
14.一种医疗检测设备,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
通过第一神经网络模型获取待检测医学图像的钙化概率标签,其中,所述钙化概率标签用于表示医学图像中存在钙化情况的概率,所述第一神经网络模型为通过采用钙化样本集合中每个钙化正样本的第一预测标签和第一真实标签以及每个钙化负样本的第二预测标签和第二真实标签对第一待训练模型进行训练得到;
若所述钙化概率标签满足钙化条件,则根据目标距离和预设距离范围确定钙化区域,从所述待检测医学图像中提取所述钙化区域,其中,所述目标距离为所述待检测医学图像中不同钙化点之间的距离;
通过第二神经网络模型获取所述钙化区域的恶性钙化概率标签,其中,所述恶性钙化概率标签用于表示钙化区域中存在恶性钙化情况的概率,所述第二神经网络模型与所述第一神经网络模型均属于医学图像检测模型,所述第二神经网络模型为通过采用所述恶性钙化样本集合中每个所述恶性钙化正样本的第三预测标签和第三真实标签以及每个所述恶性钙化负样本的第四预测标签和第四真实标签对第二待训练模型进行训练得到;
当所述恶性钙化概率标签表示所述钙化区域为疑似恶性钙化时,则根据目标重叠度和预置重叠度阈值,使用非极大值抑制方法去除重叠的区域,生成恶性钙化定位结果,其中,所述目标重叠度为多个所述钙化区域的重叠程度;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
15.一种服务器,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,包括如下步骤:
获取待训练医学图像集合,其中,所述待训练医学图像集合包括钙化样本集合以及恶性钙化样本集合,所述钙化样本集合包括至少一个钙化正样本以及至少一个钙化负样本,所述恶性钙化样本集合包括至少一个恶性钙化正样本以及至少一个恶性钙化负样本;
采用所述钙化样本集合对第一待训练模型进行训练,得到第一神经网络模型,其中,所述采用所述钙化样本集合对第一待训练模型进行训练包括:采用所述钙化样本集合中每个所述钙化正样本的第一预测标签和第一真实标签以及每个所述钙化负样本的第二预测标签和第二真实标签对第一待训练模型进行训练,得到第一神经网络模型,所述第一神经网络模型用来获取待检测医学图像的钙化概率标签;
采用所述恶性钙化样本集合对第二待训练模型进行训练,得到第二神经网络模型,其中,所述采用所述恶性钙化样本集合对第二待训练模型进行训练包括:采用所述恶性钙化样本集合中每个所述恶性钙化正样本的第三预测标签和第三真实标签以及每个所述恶性钙化负样本的第四预测标签和第四真实标签对第二待训练模型进行训练,得到第二神经网络模型,所述第二神经网络模型用来获取钙化区域的恶性钙化概率标签;
根据所述第一神经网络模型以及所述第二神经网络模型生成医学图像检测模型,其中,所述医学图像检测模型用来在当所述第一神经网络模型获取到的所述钙化概率标签满足钙化条件时,根据目标距离与预设距离范围确定钙化区域,当所述第二神经网络获取到的所述恶性钙化概率标签表示所述钙化区域为疑似恶性钙化时,根据目标重叠度和预置重叠度阈值,使用非极大值抑制方法去除重叠的区域,生成恶性钙化定位结果,所述目标距离为所述待检测医学图像中不同钙化点之间的距离,所述目标重叠度为多个所述钙化区域的重叠程度;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序,所述程序用于实现如权利要求1~7任一项所述的基于医学图像的检测方法的步骤和如权利要求8-11任一项所述的模型训练的检测方法的步骤。
CN201910116648.8A 2019-02-14 2019-02-14 一种基于医学图像的检测方法、模型训练的方法及装置 Active CN109949271B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910116648.8A CN109949271B (zh) 2019-02-14 2019-02-14 一种基于医学图像的检测方法、模型训练的方法及装置
CN201910728690.5A CN110473186B (zh) 2019-02-14 2019-02-14 一种基于医学图像的检测方法、模型训练的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910116648.8A CN109949271B (zh) 2019-02-14 2019-02-14 一种基于医学图像的检测方法、模型训练的方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910728690.5A Division CN110473186B (zh) 2019-02-14 2019-02-14 一种基于医学图像的检测方法、模型训练的方法及装置

Publications (2)

Publication Number Publication Date
CN109949271A CN109949271A (zh) 2019-06-28
CN109949271B true CN109949271B (zh) 2021-03-16

Family

ID=67007953

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910116648.8A Active CN109949271B (zh) 2019-02-14 2019-02-14 一种基于医学图像的检测方法、模型训练的方法及装置
CN201910728690.5A Active CN110473186B (zh) 2019-02-14 2019-02-14 一种基于医学图像的检测方法、模型训练的方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910728690.5A Active CN110473186B (zh) 2019-02-14 2019-02-14 一种基于医学图像的检测方法、模型训练的方法及装置

Country Status (1)

Country Link
CN (2) CN109949271B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136809B (zh) 2019-05-22 2022-12-27 腾讯科技(深圳)有限公司 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN110390671B (zh) * 2019-07-10 2021-11-30 杭州依图医疗技术有限公司 一种乳腺钙化检出的方法及装置
CN112397196A (zh) * 2019-08-16 2021-02-23 北京大数医达科技有限公司 生成影像检查推荐模型的方法和装置
CN110765908A (zh) * 2019-10-14 2020-02-07 三江学院 基于深度学习的级联式癌细胞检测系统
CN112749593A (zh) * 2019-10-31 2021-05-04 通用电气精准医疗有限责任公司 医学成像系统、识别检测对象的体位的方法、存储介质
CN111145188B (zh) * 2019-12-25 2023-06-06 西安电子科技大学 一种基于ResNet与UNet模型的图像分割方法
CN111524113A (zh) * 2020-04-17 2020-08-11 中冶赛迪重庆信息技术有限公司 提升链异常识别方法、系统、设备及介质
CN111598870B (zh) * 2020-05-15 2023-09-15 北京小白世纪网络科技有限公司 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法
CN111986165B (zh) * 2020-07-31 2024-04-09 北京深睿博联科技有限责任公司 一种乳房图像中的钙化检出方法及装置
CN112085113B (zh) * 2020-09-14 2021-05-04 四川大学华西医院 一种重症肿瘤影像识别系统及方法
CN112883795B (zh) * 2021-01-19 2023-01-31 贵州电网有限责任公司 一种基于深度神经网络的表格快速自动提取方法
CN112949654A (zh) * 2021-02-25 2021-06-11 上海商汤智能科技有限公司 图像检测方法及相关装置、设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095837A (zh) * 2014-05-15 2015-11-25 Tcl集团股份有限公司 一种台标识别方法和系统
CN108061735A (zh) * 2017-12-01 2018-05-22 工业互联网创新中心(上海)有限公司 零部件表面缺陷的识别方法和装置
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN108509958A (zh) * 2018-03-30 2018-09-07 北京金山安全软件有限公司 缺陷类型检测方法、装置、电子设备及介质
CN108510482A (zh) * 2018-03-22 2018-09-07 姚书忠 基于阴道镜图像的宫颈癌检测方法、装置、设备及介质
CN108664989A (zh) * 2018-03-27 2018-10-16 北京达佳互联信息技术有限公司 图像标签确定方法、装置及终端

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040122787A1 (en) * 2002-12-18 2004-06-24 Avinash Gopal B. Enhanced computer-assisted medical data processing system and method
US7451122B2 (en) * 2006-03-29 2008-11-11 Honeywell International Inc. Empirical design of experiments using neural network models
CN102332162A (zh) * 2011-09-19 2012-01-25 西安百利信息科技有限公司 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法
US10571408B2 (en) * 2016-03-10 2020-02-25 Mitsubishi Electric Research Laboratories, Inc. System and method for determining structure of material
US10037601B1 (en) * 2017-02-02 2018-07-31 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images
CN107871318B (zh) * 2017-11-16 2018-11-09 吉林大学 一种基于模型迁移的冠状动脉钙化斑块检测方法
CN108171698B (zh) * 2018-02-12 2020-06-09 数坤(北京)网络科技有限公司 一种自动检测人体心脏冠脉钙化斑块的方法
CN109285147B (zh) * 2018-08-30 2020-12-29 杭州深睿博联科技有限公司 用于乳腺钼靶钙化检测的图像处理方法及装置、服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095837A (zh) * 2014-05-15 2015-11-25 Tcl集团股份有限公司 一种台标识别方法和系统
CN108061735A (zh) * 2017-12-01 2018-05-22 工业互联网创新中心(上海)有限公司 零部件表面缺陷的识别方法和装置
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN108510482A (zh) * 2018-03-22 2018-09-07 姚书忠 基于阴道镜图像的宫颈癌检测方法、装置、设备及介质
CN108664989A (zh) * 2018-03-27 2018-10-16 北京达佳互联信息技术有限公司 图像标签确定方法、装置及终端
CN108509958A (zh) * 2018-03-30 2018-09-07 北京金山安全软件有限公司 缺陷类型检测方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN110473186A (zh) 2019-11-19
CN110473186B (zh) 2021-02-09
CN109949271A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN109949271B (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
CN110414631B (zh) 基于医学图像的病灶检测方法、模型训练的方法及装置
CN111539930B (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN108573490B (zh) 一种针对肿瘤影像数据的智能读片系统
CN110738263B (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
WO2022151755A1 (zh) 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
CN112561908B (zh) 乳腺图像病灶匹配方法、装置及存储介质
US9277902B2 (en) Method and system for lesion detection in ultrasound images
CN111091127A (zh) 一种图像检测方法、网络模型训练方法以及相关装置
CN111462036A (zh) 基于深度学习的病理图像处理方法、模型训练方法及装置
CN109934220B (zh) 一种影像兴趣点的展示方法、装置及终端
US9014456B2 (en) Computer aided diagnostic system incorporating appearance analysis for diagnosing malignant lung nodules
CN107133638B (zh) 基于两分类器的多参数mri前列腺癌cad方法及系统
US10405832B2 (en) Ultrasound diagnosis apparatus and method
JP2021106901A (ja) 画像処理装置、医用画像診断装置、及びプログラム
WO1998009247A1 (en) System and method for staging regional lymph nodes using quantitative analysis of endoscopic ultrasound images
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
CN112508884A (zh) 一种癌变区域综合检测装置及方法
WO2022033598A1 (zh) 乳房x射线图像获取方法、装置、计算机设备和存储介质
Kumar et al. A Novel Approach for Breast Cancer Detection by Mammograms
CN114159099A (zh) 乳腺超声成像方法及设备
US12051195B2 (en) Method and system to assess medical images for suitability in clinical interpretation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant