CN115760851A - 基于机器学习的超声图像数据处理方法及其系统 - Google Patents
基于机器学习的超声图像数据处理方法及其系统 Download PDFInfo
- Publication number
- CN115760851A CN115760851A CN202310014789.5A CN202310014789A CN115760851A CN 115760851 A CN115760851 A CN 115760851A CN 202310014789 A CN202310014789 A CN 202310014789A CN 115760851 A CN115760851 A CN 115760851A
- Authority
- CN
- China
- Prior art keywords
- image
- cdh
- lung
- sample
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于机器学习的超声图像数据处理方法、系统、设备和计算机可读存储介质,方法其包括:获取CDH样本的影像图像;将影像图像输入肺面积计算模型计算肺面积;基于肺面积获得肺头比,输出CDH样本的CDH严重程度结果;肺面积计算模型计算肺面积的方法为:获取四腔心平面图像:采用目标检测算法检测影像图像的关键点,选择同时含有关键点的影像图像,得到四腔心平面图像;关键点包括二尖瓣,三尖瓣,房、室间隔十字交叉;获取肺静脉平面图像:选择具有肺静脉的影像图像,得到肺静脉平面图像;选择同时含有四腔心平面图像和肺静脉平面图像的图像,利用胸腔脏器分割模型生成的肺部分割图像,结合像素比例尺信息,计算获取肺面积。
Description
技术领域
本发明涉及医学分析领域,更具体地,涉及基于机器学习的超声图像数据处理方法及其系统。
背景技术
先天性膈疝(congenital diaphragmatic hernia,CDH)是一种先天性膈肌发育畸形,其主要成因是单侧或双侧胎儿膈肌发育不完整,使得腹腔内脏器进入胸腔,致使肺发育不良和肺动脉高压,从而引起一系列病理生理变化的先天性疾病,并常伴有其他畸形和心肺发育异常,重症 CDH 患者病死率达 70%,是较常见的新生儿危重症。
CDH 的产前影像学诊断十分重要,早期准确诊断和精准评估对于指导产前咨询,围生期处理,产后的治疗和具体手术时机、手术方案的选择具有重要意义。目前B超是诊断CDH 的金标准,但它受到技术上的挑战和医生熟练程度的限制;约 60% 的 CDH 患者在产前经常规超声检查(平均发现胎龄为 24.2 周)得到诊断。磁共振成像(magneticresonance imaging,MRI)可以更好地分辨胎儿的解剖结构,识别肝脏位置,评估肺功能并检测其他相关异常,是常用的辅助检查手段。胎儿超声心动图检查可以排除相关心脏异常,并评估是否存在左室发育不全。肺动脉内多普勒超声( intra-pulmonary-arteryDoppler,IPaD)是一种用于评估肺动脉高压的测量方法,较高的 IPaD 搏动指数被证实与CDH 死亡率增加相关,胎儿核型分析和微阵列分析有助于排除染色体异常。
基于详细的影像学检查及胎儿核型分析的产前诊断方法是 CDH 主要的结局预测指标。肺面积 /头围比( lung-to-head ratio,LHR)被用于评估肺发育不全严重程度以及CDH 胎儿的预后,而评估肺发育不全严重程度以及 CDH 胎儿的预后的过程依赖于医师手动分割图像获取肺头比等参数,及其耗时耗力,且存在观察者间差异大,准确性、一致性欠缺的关键问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提供一种基于机器学习的超声图像数据处理方法及其系统;本方法通过利用机器学习的方法训练模型,建立标准面自动搜索系统提取产前超声影像的关键帧,并在此基础上通过多个模型实现对肺头比、膈肌缺损面积等参数的自动测算,实现对超声影像图像和/或CDH图像的智能化处理。
本申请第一方面公开一种基于机器学习的超声图像数据处理方法,包括:
获取CDH样本的影像图像;
将所述影像图像输入肺面积计算模型计算肺面积;
基于所述肺面积获得肺头比,输出CDH样本的CDH严重程度结果;
所述肺面积计算模型计算肺面积的方法为:
获取四腔心平面图像:采用目标检测算法检测所述影像图像的关键点,选择同时含有所述关键点的影像图像,得到四腔心平面图像;所述关键点包括二尖瓣,三尖瓣,房、室间隔十字交叉;
获取肺静脉平面图像:采用目标检测算法选择具有肺静脉的影像图像,得到肺静脉平面图像;
选择同时含有四腔心平面图像和肺静脉平面图像的图像,利用胸腔脏器分割模型生成的肺部分割图像,结合像素比例尺信息,计算获取肺面积。
所述利用胸腔脏器分割模型生成的肺部分割图像,结合像素比例尺信息,计算获取肺面积的方法包括:
将所述四腔心平面图像中的关键点与标准肺部分割图像匹配,得到基于所述关键点对齐后的四腔心平面作为标准面;
计算所述利用胸腔脏器分割模型生成的肺部分割图像在所述标准面中健侧肺面积占超声影像像素点的比例;提取比例尺对应的像素点,采用测量直径或面积的方式计算肺面积。
所述方法还包括:
将所述CDH样本的影像图像输入到疝入物判断模型中,得到是否肝疝入或有2种及2种以上的器官疝入的结果;
基于所述肺头比、是否肝疝入或有2种及2种以上的器官疝入的结果,输出CDH样本的CDH严重程度结果;
或所述方法还包括:将所述CDH样本的影像图像输入到体表水肿分类模型中,得到体表是否水肿的分类结果;基于所述肺头比、是否水肿的分类结果,输出CDH样本的CDH严重程度结果;
或所述方法还包括:将所述CDH样本的影像图像输入到脏器水肿分类模型中,得到每个腹部脏器和肺部是否水肿的分类结果;基于所述肺头比、每个腹部脏器和肺部是否水肿的分类结果,输出CDH样本的CDH严重程度结果。
本申请第二方面公开一种基于机器学习的超声图像数据处理方法,包括:
获取待测样本的影像图像;
采用胸腔分割模型从所述影像图像中分割得到胸腔目标区域;
采用胸腔脏器分割模型从所述影像图像中分割得到心脏、左肺、右肺三种胸腔脏器目标区域;
采用腹部脏器分割模型从所述影像图像中分割得到肝、胆、脾、胃、肠、肾、肾上腺七种腹部脏器目标区域;
基于所述胸腔目标区域和所述腹部脏器目标区域是否存在交集判断是否有疝入物;
当判断结果为有疝入物,输出待测样本为CDH的分类结果;
当判断结果为无疝入物,将所述胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果。
所述基于所述胸腔目标区域和所述腹部脏器目标区域是否存在交集判断是否有疝入物的方法包括:
当所述胸腔目标区域和所述腹部脏器目标区域之间有交集,且交集位于胸腔边缘且交集占腹部脏器面积比率高于第一阈值的定义为有疝入物;当所述胸腔目标区域和所述腹部脏器目标区域之间无交集,或者有交集但交集位于胸腔边缘且交集占腹部脏器面积比率低于第一阈值的定义为无疝入物;
可选的,所述将所述胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果的方法包括:
当所述心脏或纵膈为重度移位,输出待测样本为是CDH的结果;当所述心脏或纵膈为轻度或无移位的分类结果时,输出待测样本为非CDH的结果。
所述方法还包括:采用连通区域搜索算法提取胸腔目标区域和/或胸腔脏器目标区域和/或腹部脏器目标区域中的连通区域,根据连通区域的数量、大小和/或形状的特征对所述胸腔目标区域和/或胸腔脏器目标区域和/或腹部脏器目标区域进行过滤,得到经后处理的胸腔目标区域和/或胸腔脏器目标区域和/或腹部脏器目标区域;基于所述经后处理的胸腔目标区域和所述腹部脏器目标区域是否存在交集判断是否有疝入物;当判断结果为有疝入物,输出待测样本为CDH的分类结果;当判断结果为无疝入物,将所述经后处理的胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果。
本申请第三方面公开一种基于机器学习的超声图像数据处理方法,包括:
获取待测样本的影像图像;
基于本申请第二方面所述的方法分析所述待测样本的影像图像输出是否为CDH的分类结果;
当所述待测样本为CDH,基于本申请第一方面所述的方法分析所述待测样本的影像图像输出待测样本的CDH严重程度结果。
一种基于机器学习的超声图像数据处理系统,包括:
获取单元,用于CDH样本的影像图像;
第一处理单元,用于将所述影像图像输入肺面积计算模型计算肺面积;
第二处理单元,用于基于所述肺面积获得肺头比,输出CDH样本的CDH严重程度结果;
所述肺面积计算模型计算肺面积的方法为:
获取四腔心平面图像:采用目标检测算法检测所述影像图像的关键点,选择同时含有所述关键点的影像图像,得到四腔心平面图像;所述关键点包括二尖瓣,三尖瓣,房、室间隔十字交叉;
获取肺静脉平面图像:采用目标检测算法选择具有肺静脉的影像图像,得到肺静脉平面图像;
选择同时含有四腔心平面图像和肺静脉平面图像的图像,利用胸腔脏器分割模型生成的肺部分割图像,结合像素比例尺信息,计算获取肺面积。
一种基于机器学习的超声图像数据处理设备,所述设备包括:存储器和处理器;所述存储器用于存储程序指令;所述处理器用于调用程序指令,当程序指令被执行时,用于执行上述的基于机器学习的超声图像数据处理方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于机器学习的超声图像数据处理方法。
本申请具有以下有益效果:
1、本申请创新性的公开一种基于机器学习的超声图像数据处理方法,该方法利用机器学习的方法训练模型,建立标准面自动搜索系统提取产前超声影像的关键帧,并在此基础上通过多个模型实现对肺头比、膈肌缺损面积等参数的自动测算,实现对超声影像图像和/或CDH图像的智能化处理,从深层次智能化挖掘隐含在数据背后的规律,从肺面积、是否有疝入物、是否水肿信息等多个维度深度分析,大大提高数据分析的精度和深度;
2、本申请创新性的基于四强心平面图像和肺静脉平面图像计算样本影像图像的肺面积,基于肺面积获得肺头比,并输出CDH样本的CDH严重程度结果;优选地,在肺面积的基础上,融合是否有疝入物的结果、体表是否水肿的结果、脏器是否水肿的结果,得到特征集,利用特征集得到CDH样本的CDH严重程度结果;
3、本申请创新性的利用分割模型对影响图像进行分割,得到胸腔目标区域、胸腔脏器目标区域和腹腔脏器目标区域的3个目标区域,再根据胸腔目标区域和腹腔脏器目标区域之间是否有交集判断是否有疝入物,从而得出是否为CDH的结果;再根据判断结果进一步基于心脏或纵膈的移位程度判断样本是否为CDH的结果。针对是CDH的影像图像,利用CDH严重程度评估模型判断CDH的严重程度评估结果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的基于机器学习的超声图像数据处理方法的流程图;
图2是本发明实施例提供的基于机器学习的超声图像数据处理设备示意图;
图3是本发明实施例提供的基于机器学习的超声图像数据处理系统示意流程图;
图4是本发明实施例第三方面提供的基于机器学习的超声图像数据处理方法示意流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获取的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例提供的基于机器学习的超声图像数据处理方法示意流程图,具体地,本申请第一方面公开的所述方法包括如下步骤:
101:获取CDH样本的影像图像;
在一个实施例中,影像图像包括但不限于以下方式获得:X线成像、计算机断层成像(CT)、磁共振成像(MRI)、超声成像(US)、核医学成像(ECT)。CDH样本的影像图像为医学诊断上已确定患有先天性膈疝的影像图像。
102:将影像图像输入肺面积计算模型计算肺面积;
在一个实施例中,肺面积计算模型计算肺面积的方法为:
获取四腔心平面图像:采用目标检测算法检测影像图像的关键点,选择同时含有关键点的影像图像,得到四腔心平面图像;关键点包括二尖瓣,三尖瓣,房、室间隔十字交叉;目标检测算法包括:关键点检测算法;关键点检测算法包括:DeepPose、DUNet、ViTPose等。具体地,四腔心平面图像为:心脏可以分为4个腔,分别是左心房、右心房、左心室和右心室,称为四腔心。进行心脏彩超时,要做的切面是四腔心切面,可以从宏观上看清楚心房、心室,以及心房、心室内部是否存在结构异常。
获取肺静脉平面图像:采用目标检测算法选择具有肺静脉的影像图像,得到肺静脉平面图像;目标检测算法为目标检测模型,包括:Faster RCNN、SSD、YOLO、EfficientDet等;
选择同时含有四腔心平面图像和肺静脉平面图像的图像,利用胸腔脏器分割模型生成的肺部分割图像,结合像素比例尺信息,计算获取肺面积。其中,四腔心平面图像的获取步骤和肺静脉平面图像的获取步骤可以是同时获取,即并行获取;也可以是先获取四腔心平面图像或肺静脉平面图像,再获取肺静脉平面图像或四腔心平面图像。
在一个实施例中,利用胸腔脏器分割模型生成的肺部分割图像,结合像素比例尺信息,计算获取肺面积的方法包括:
将四腔心平面图像中的关键点与标准肺部分割图像匹配,得到基于关键点对齐后的四腔心平面作为标准面;
计算利用胸腔脏器分割模型生成的肺部分割图像在标准面中健侧肺面积占超声影像像素点的比例;提取比例尺对应的像素点,采用测量直径或面积的方式计算肺面积。
103:基于肺面积获得肺头比,输出CDH样本的CDH严重程度结果;
在一个实施例中,基于肺头比获得CDH样本的CDH严重程度结果是基于CDH严重程度评估模型得到;其中,CDH严重程度评估模型为回归模型,包括:线性回归、逻辑回归、多项式回归、逐步回归、岭回归。肺头比为肺面积/头围比( lung-to-head ratio,LHR)。肺面积/头围比( lung-to-head ratio,LHR)被用于评估肺发育不全严重程度以及 CDH 胎儿的预后。LHR<1.0提示预后不良。由于不同胎龄胎儿肺和头部的生长发育程度不同,因此,根据LHR正常胎儿预期值与测量值的百分比( observed-to-expected lung-to-head ratio,O/E LHR),可将CDH进一步分为极重度(O/E LHR<15%)、重度(O/E LHR 15%~25%)、中度(O/E LHR 26%~35%)和轻度(O /E LHR 36%~45%)。其中,头围可在超声仪上用椭圆测量法测量;在测量双顶径和枕额径之后,也可用公式法计算头围,许多机器都是直接测得。
在一个实施例中,方法还包括:
将CDH样本的影像图像输入到疝入物判断模型中,得到是否肝疝入或有2种及2种以上的器官疝入的结果;基于肺头比、是否肝疝入或有2种及2种以上的器官疝入的结果,输出CDH样本的CDH严重程度结果;具体地,分别提取肺头比、是否肝疝入或有2种及2种以上的器官疝入的结果作为特征,进行特征融合处理,得到第一特征集,将第一特征集输入构建好的CDH严重程度评估模型中,得到CDH严重程度评估结果;或者,基于肺头比、是否肝疝入或有2种及2种以上的器官疝入的结果进行加权处理,得到CDH严重程度评估结果。
或方法还包括:将CDH样本的影像图像输入到体表水肿分类模型中,得到体表是否水肿的分类结果;基于肺头比、体表是否水肿的分类结果,输出CDH样本的CDH严重程度结果;具体地,分别提取肺头比、体表是否水肿的分类结果作为特征,进行特征融合处理,得到第二特征集,将第二特征集输入构建好的CDH严重程度评估模型中,得到CDH严重程度评估结果;或者,基于肺头比、体表是否水肿的分类结果进行加权处理,得到CDH严重程度评估结果。
或方法还包括:将CDH样本的影像图像输入到脏器水肿分类模型中,得到每个腹部脏器和肺部是否水肿的分类结果;基于肺头比、每个腹部脏器和肺部是否水肿的分类结果,输出CDH样本的CDH严重程度结果。其中,采用胸腔脏器分割模型从CDH样本的影像图像中分割得到肺部分割图像,采用腹部脏器分割模型从CDH样本的影像图像中分割得到腹部脏器分割图像;将腹部脏器分割图像和肺部分割图像分别输入到脏器水肿分类模型中,得到每个腹部脏器和肺部是否水肿的分类结果;具体地,分别提取肺头比、每个腹部脏器和肺部是否水肿的分类结果作为特征,进行特征融合处理,得到第三特征集,将第三特征集输入构建好的CDH严重程度评估模型中,得到CDH严重程度评估结果;或者,基于肺头比、每个腹部脏器和肺部是否水肿的分类结果进行加权处理,得到CDH严重程度评估结果。
在一个实施例中,基于肺头比,和以下任意一种或两种或三种指标结果(是否肝疝入或有2种及2种以上的器官疝入的结果,体表是否水肿的分类结果,每个腹部脏器和肺部是否水肿的分类结果),得到CDH严重程度结果。具体地,分别提取肺头比、是否肝疝入或有2种及2种以上的器官疝入的结果、体表是否水肿的分类结果、每个腹部脏器和肺部是否水肿的分类结果作为特征,并将肺头比的特征,以及上述任意一种或两种或三种指标结果的特征进行特征融合处理,得到第三特征集;将第三特征集输入构建好的CDH严重程度评估模型中,得到CDH严重程度评估结果;或者,基于肺头比,以及上述任意一种或两种或三种指标结果进行加权处理,得到CDH严重程度结果。
在一个实施例中,体表水肿分类模型和脏器水肿分类模型包括ResNet、ResNeXt、Inception、EfficientNet、ViT等。
本发明第二方面提出一种基于机器学习的超声图像数据处理方法,包括:
获取待测样本的影像图像;
采用胸腔分割模型从影像图像中分割得到胸腔目标区域;
采用胸腔脏器分割模型从影像图像中分割得到心脏、左肺、右肺三种胸腔脏器目标区域;
采用腹部脏器分割模型从影像图像中分割得到肝、胆、脾、胃、肠、肾、肾上腺七种腹部脏器目标区域;胸腔分割模型、胸腔脏器分割模型和腹部脏器分割模型包括:UNet、UNet++、Deeplab、Segmenter等;胸腔分割模型为单标签分割模型;由于胸腔脏器分割模型和腹部脏器分割模型比较特殊,可能会面临脏器重叠的情况,因此,胸腔脏器分割模型和腹部脏器分割模型为多标签分割模型;胸腔分割模型和脏器分割模型主要有以下两个区别:损失函数的区别,预测结果的区别;脏器分割模型的损失函数为BCE(BinaryCrossEntropy)Loss,公式如下所示:
其中n为类别数,t为真实标签,o为模型预测结果。在预测结果方面,与仅需将模型输出的每个像素点对应最高概率的类别作为该点类别的单标签分割不同,多标签分割需要对每个类别设定阈值,将所有高于阈值的预测都作为成为该点的类别。
基于胸腔目标区域和腹部脏器目标区域是否存在交集判断是否有疝入物;
当判断结果为有疝入物,输出待测样本为CDH的分类结果;当判断结果为无疝入物,将胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果。其中,心脏受压检测模型为判断心脏或纵膈移位的分类模型,包括:ResNet、ResNeXt、Inception、EfficientNet、ViT等。
在一个实施例中,基于胸腔目标区域和腹部脏器目标区域是否存在交集判断是否有疝入物的方法包括:
当胸腔目标区域和腹部脏器目标区域之间有交集,且交集位于胸腔边缘且交集占腹部脏器面积比率高于第一阈值的定义为有疝入物;当胸腔目标区域和腹部脏器目标区域之间无交集,或者有交集但交集位于胸腔边缘且交集占腹部脏器面积比率低于第一阈值的定义为无疝入物;
可选的,将胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果的方法包括:
当心脏或纵膈为重度移位,输出待测样本为是CDH的结果;当心脏或纵膈为轻度或无移位的分类结果时,输出待测样本为非CDH的结果。
在一个实施例中,方法还包括:采用连通区域搜索算法提取胸腔目标区域和/或胸腔脏器目标区域和/或腹部脏器目标区域中的连通区域,根据连通区域的数量、大小和/或形状的特征对胸腔目标区域和/或胸腔脏器目标区域和/或腹部脏器目标区域进行过滤,得到经后处理的胸腔目标区域和/或胸腔脏器目标区域和/或腹部脏器目标区域;基于经后处理的胸腔目标区域和腹部脏器目标区域是否存在交集判断是否有疝入物;当判断结果为有疝入物,输出待测样本为CDH的分类结果;当判断结果为无疝入物,将经后处理的胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果;后处理主要为滤除错误干扰分割结果。
其中,对于胸腔,考虑到它的唯一性和规则性,首先通过连通区域搜索算法获取胸腔连通区域,连通区域搜索算法可以为两遍扫描算法或分水岭算法;如果有复数连通区域,则先将面积小于最大连通区域一定预设面积比例的区域滤除;对于剩余复数大面积连通区域,通过计算连通区域面积和标准面积范围的差异以及连通区域形状标准程度加权进行过滤,其中形状标准程度计算主要通过计算连通区域在经过腐蚀和膨胀后区域像素的变化差异来获取。对于其他脏器,则主要滤除较小以及极不规则连通区域。
本发明第三方面提出一种基于机器学习的超声图像数据处理方法,包括:
获取待测样本的影像图像;
基于本申请第二方面的方法分析待测样本的影像图像输出是否为CDH的分类结果;
当待测样本为CDH,基于本申请第一方面的方法分析待测样本的影像图像输出待测样本的CDH严重程度结果。
图2是本发明实施例提供的基于机器学习的超声图像数据处理设备,设备包括:存储器和处理器;存储器用于存储程序指令;处理器用于调用程序指令,当程序指令被执行时,用于执行上述的基于机器学习的超声图像数据处理方法。
图3是本发明实施例提供的一种基于机器学习的超声图像数据处理系统,具体的,本申请第一方面公开的系统包括:
获取单元301,用于CDH样本的影像图像;
第一处理单元302,用于将影像图像输入肺面积计算模型计算肺面积;
第二处理单元303,用于基于肺面积获得肺头比,输出CDH样本的CDH严重程度结果;
肺面积计算模型计算肺面积的方法为:
获取四腔心平面图像:采用目标检测算法检测影像图像的关键点,选择同时含有关键点的影像图像,得到四腔心平面图像;关键点包括二尖瓣,三尖瓣,房、室间隔十字交叉;
获取肺静脉平面图像:采用目标检测算法选择具有肺静脉的影像图像,得到肺静脉平面图像;
选择同时含有四腔心平面图像和肺静脉平面图像的图像,利用胸腔脏器分割模型生成的肺部分割图像,结合像素比例尺信息,计算获取肺面积。
本发明实施例提供的基于机器学习的超声图像数据处理系统,包括:
第一获取单元,用于获取CDH样本的影像图像;
第一处理单元,用于将影像图像输入肺面积计算模型计算肺面积;基于肺面积获得肺头比;
第二获取单元,用于将CDH样本的影像图像输入到疝入物判断模型中,得到是否肝疝入或有2种及2种以上的器官疝入的结果;
第二处理单元,基于肺头比、是否肝疝入或有2种及2种以上的器官疝入的结果,输出CDH样本的CDH严重程度结果;
或者,本系统还包括:
第三获取单元,用于将CDH样本的影像图像输入到体表水肿分类模型中,得到体表是否水肿的分类结果;
第三处理单元,用于基于肺头比、是否水肿的分类结果,输出CDH样本的CDH严重程度结果;
或者,本系统还包括:
第四获取单元,用于将CDH样本的影像图像输入到脏器水肿分类模型中,得到每个腹部脏器和肺部是否水肿的分类结果;
第四处理单元,基于肺头比、每个腹部脏器和肺部是否水肿的分类结果,输出CDH样本的CDH严重程度结果。
或者,本系统还包括:
第五处理单元,基于肺头比、是否肝疝入或有2种及2种以上的器官疝入的结果、体表是否水肿的分类结果、每个腹部脏器和肺部是否水肿的分类结果,得到CDH严重程度结果。
本发明实施例第二方面提供的基于机器学习的超声图像数据处理系统,包括:
第一获取单元,用于获取待测样本的影像图像;
第一处理单元,用于采用胸腔分割模型从影像图像中分割得到胸腔目标区域;
第二处理单元,用于采用胸腔脏器分割模型从影像图像中分割得到心脏、左肺、右肺三种胸腔脏器目标区域;
第三处理单元,用于采用腹部脏器分割模型从影像图像中分割得到肝、胆、脾、胃、肠、肾、肾上腺七种腹部脏器目标区域;
第四处理单元,用于基于胸腔目标区域和腹部脏器目标区域是否存在交集判断是否有疝入物;
分类单元,当判断结果为有疝入物,输出待测样本为CDH的分类结果;当判断结果为无疝入物,将胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果。
本发明实施例第三方面提供的基于机器学习的超声图像数据处理系统,包括:
获取单元,用于获取待测样本的影像图像;
第一处理单元,基于本申请第二方面的方法分析待测样本的影像图像输出是否为CDH的分类结果;
第二处理单元,当待测样本为CDH,基于本申请第一方面的方法分析待测样本的影像图像输出待测样本的CDH严重程度结果。
图4是本发明实施例第三方面提供的基于机器学习的超声图像数据处理方法示意流程图,具体地,方法包括如下步骤:
获取待测样本的影像图像,将待测样本的影像图像分别输入到胸腔分割模型、胸腔脏器分割模型和腹部脏器分割模型,采用胸腔分割模型从影像图像中分割得到胸腔目标区域,采用胸腔脏器分割模型从影像图像中分割得到心脏、左肺、右肺三种胸腔脏器目标区域,采用腹部脏器分割模型从影像图像中分割得到肝、胆、脾、胃、肠、肾、肾上腺七种腹部脏器目标区域;中间可分别对胸腔目标区域、胸腔脏器目标区域和腹部脏器目标区域进行后处理,得到经后处理的胸腔目标区域、胸腔脏器目标区域和腹部脏器目标区域;根据胸腔目标区域和腹部脏器目标区域是否存在交集判断是否有疝入物;当判断结果为有疝入物,输出待测样本为CDH的分类结果;当判断结果为无疝入物,将胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果。
当待测样本的分类结果为CDH时,将已确定为CDH的待测样本的影像图像输入肺面积计算模型计算肺面积;基于肺面积获得肺头比,输出已确定为CDH的待测样本的CDH严重程度结果;或者,将已确定为CDH的待测样本的影像图像输入到疝入物判断模型中,得到是否肝疝入或有2种及2种以上的器官疝入的结果;基于肺头比、是否肝疝入或有2种及2种以上的器官疝入的结果,得到CDH严重程度结果。或者,将已确定为CDH的待测样本的影像图像输入到体表水肿分类模型中,得到体表是否水肿的分类结果;将腹部脏器分割图像和肺部分割图像分别输入到脏器水肿分类模型中,得到每个腹部脏器和肺部是否水肿的分类结果;基于肺头比,体表是否水肿的分类结果和/或每个腹部脏器和肺部是否水肿的分类结果,得到CDH严重程度结果。或者,基于肺头比、是否肝疝入或有2种及2种以上的器官疝入的结果、体表是否水肿的分类结果、每个腹部脏器和肺部是否水肿的分类结果,得到CDH严重程度结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于机器学习的超声图像数据处理方法。
本验证实施例的验证结果表明,为适应症分配固有权重相对于默认设置来说可以适度改善本方法的性能。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.基于机器学习的超声图像数据处理方法,包括:
获取CDH样本的影像图像;
将所述影像图像输入肺面积计算模型计算肺面积;
基于所述肺面积获得肺头比,输出CDH样本的CDH严重程度结果;
所述肺面积计算模型计算肺面积的方法为:
获取四腔心平面图像:采用目标检测算法检测所述影像图像的关键点,选择同时含有所述关键点的影像图像,得到四腔心平面图像;所述关键点包括二尖瓣,三尖瓣,房、室间隔十字交叉;
获取肺静脉平面图像:采用目标检测算法选择具有肺静脉的影像图像,得到肺静脉平面图像;
选择同时含有四腔心平面图像和肺静脉平面图像的图像,利用胸腔脏器分割模型生成的肺部分割图像,结合像素比例尺信息,计算获取肺面积。
2.根据权利要求1所述的基于机器学习的超声图像数据处理方法,其特征在于,所述利用胸腔脏器分割模型生成的肺部分割图像,结合像素比例尺信息,计算获取肺面积的方法包括:
将所述四腔心平面图像中的关键点与标准肺部分割图像匹配,得到基于所述关键点对齐后的四腔心平面作为标准面;
计算所述利用胸腔脏器分割模型生成的肺部分割图像在所述标准面中健侧肺面积占超声影像像素点的比例;提取比例尺对应的像素点,采用测量直径或面积的方式计算肺面积。
3.根据权利要求1所述的基于机器学习的超声图像数据处理方法,其特征在于,所述方法还包括:
将所述CDH样本的影像图像输入到疝入物判断模型中,得到是否肝疝入或有2种及2种以上的器官疝入的结果;
基于所述肺头比、是否肝疝入或有2种及2种以上的器官疝入的结果,输出CDH样本的CDH严重程度结果;
或所述方法还包括:将所述CDH样本的影像图像输入到体表水肿分类模型中,得到体表是否水肿的分类结果;基于所述肺头比、是否水肿的分类结果,输出CDH样本的CDH严重程度结果;
或所述方法还包括:将所述CDH样本的影像图像输入到脏器水肿分类模型中,得到每个腹部脏器和肺部是否水肿的分类结果;基于所述肺头比、每个腹部脏器和肺部是否水肿的分类结果,输出CDH样本的CDH严重程度结果。
4.基于机器学习的超声图像数据处理方法,包括:
获取待测样本的影像图像;
采用胸腔分割模型从所述影像图像中分割得到胸腔目标区域;
采用胸腔脏器分割模型从所述影像图像中分割得到心脏、左肺、右肺三种胸腔脏器目标区域;
采用腹部脏器分割模型从所述影像图像中分割得到肝、胆、脾、胃、肠、肾、肾上腺七种腹部脏器目标区域;
基于所述胸腔目标区域和所述腹部脏器目标区域是否存在交集判断是否有疝入物;
当判断结果为有疝入物,输出待测样本为CDH的分类结果;
当判断结果为无疝入物,将所述胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果。
5.根据权利要求4所述的基于机器学习的超声图像数据处理方法,其特征在于,所述基于所述胸腔目标区域和所述腹部脏器目标区域是否存在交集判断是否有疝入物的方法包括:
当所述胸腔目标区域和所述腹部脏器目标区域之间有交集,且交集位于胸腔边缘且交集占腹部脏器面积比率高于第一阈值的定义为有疝入物;当所述胸腔目标区域和所述腹部脏器目标区域之间无交集,或者有交集但交集位于胸腔边缘且交集占腹部脏器面积比率低于第一阈值的定义为无疝入物;
可选的,所述将所述胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果的方法包括:
当所述心脏或纵膈为重度移位,输出待测样本为是CDH的结果;当所述心脏或纵膈为轻度或无移位的分类结果时,输出待测样本为非CDH的结果。
6.根据权利要求4所述的基于机器学习的超声图像数据处理方法,其特征在于,所述方法还包括:采用连通区域搜索算法提取所述胸腔目标区域和/或胸腔脏器目标区域和/或腹部脏器目标区域中的连通区域,根据连通区域的数量、大小和/或形状的特征对所述胸腔目标区域和/或胸腔脏器目标区域和/或腹部脏器目标区域进行过滤,得到经后处理的胸腔目标区域和/或胸腔脏器目标区域和/或腹部脏器目标区域;基于所述经后处理的胸腔目标区域和所述腹部脏器目标区域是否存在交集判断是否有疝入物;当判断结果为有疝入物,输出待测样本为CDH的分类结果;当判断结果为无疝入物,将所述经后处理的胸腔脏器目标区域输入心脏受压检测模型,基于心脏或纵膈的移位程度,输出待测样本是否为CDH的分类结果。
7.基于机器学习的超声图像数据处理方法,包括:
获取待测样本的影像图像;
基于权利要求4-6任一项所述的方法分析所述待测样本的影像图像输出是否为CDH的分类结果;
当所述待测样本为CDH,基于权利要求1-3任一项所述的方法分析所述待测样本的影像图像输出待测样本的CDH严重程度结果。
8.一种基于机器学习的超声图像数据处理系统,包括:
获取单元,用于CDH样本的影像图像;
第一处理单元,用于将所述影像图像输入肺面积计算模型计算肺面积;
第二处理单元,用于基于所述肺面积获得肺头比,输出CDH样本的CDH严重程度结果;
所述肺面积计算模型计算肺面积的方法为:
获取四腔心平面图像:采用目标检测算法检测所述影像图像的关键点,选择同时含有所述关键点的影像图像,得到四腔心平面图像;所述关键点包括二尖瓣,三尖瓣,房、室间隔十字交叉;
获取肺静脉平面图像:采用目标检测算法选择具有肺静脉的影像图像,得到肺静脉平面图像;
选择同时含有四腔心平面图像和肺静脉平面图像的图像,利用胸腔脏器分割模型生成的肺部分割图像,结合像素比例尺信息,计算获取肺面积。
9.一种基于机器学习的超声图像数据处理设备,所述设备包括:存储器和处理器;所述存储器用于存储程序指令;所述处理器用于调用程序指令,当程序指令被执行时,用于执行权利要求1-7任意一项所述的基于机器学习的超声图像数据处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的权利要求1-7任意一项所述的基于机器学习的超声图像数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310014789.5A CN115760851B (zh) | 2023-01-06 | 2023-01-06 | 一种基于机器学习的超声图像数据处理设备、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310014789.5A CN115760851B (zh) | 2023-01-06 | 2023-01-06 | 一种基于机器学习的超声图像数据处理设备、系统及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115760851A true CN115760851A (zh) | 2023-03-07 |
CN115760851B CN115760851B (zh) | 2023-05-09 |
Family
ID=85348227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310014789.5A Active CN115760851B (zh) | 2023-01-06 | 2023-01-06 | 一种基于机器学习的超声图像数据处理设备、系统及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115760851B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116808101A (zh) * | 2023-06-30 | 2023-09-29 | 首都儿科研究所附属儿童医院 | 治疗或改善过敏性紫癜的中药组合物及其方法和应用 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732520A (zh) * | 2015-01-31 | 2015-06-24 | 西安华海盈泰医疗信息技术有限公司 | 一种胸部数字影像的心胸比测量算法及系统 |
US20170105700A1 (en) * | 2015-06-23 | 2017-04-20 | Hemonitor Medical Ltd | Continuous ultrasonic monitoring |
CN106649487A (zh) * | 2016-10-09 | 2017-05-10 | 苏州大学 | 基于兴趣目标的图像检索方法 |
CN109925002A (zh) * | 2019-01-15 | 2019-06-25 | 胡秋明 | 人工智能超声心动图数据采集系统及其数据采集方法 |
CN112155602A (zh) * | 2020-09-24 | 2021-01-01 | 广州爱孕记信息科技有限公司 | 一种胎儿最优标准切面的确定方法及装置 |
CN112348780A (zh) * | 2020-10-26 | 2021-02-09 | 首都医科大学附属北京安贞医院 | 一种胎儿心脏的测量方法及装置 |
CN114494157A (zh) * | 2022-01-06 | 2022-05-13 | 三峡大学 | 胎儿心脏四腔心超声切面图像质量自动评测方法 |
CN114521914A (zh) * | 2020-11-23 | 2022-05-24 | 深圳迈瑞生物医疗电子股份有限公司 | 超声参数测量方法和超声参数测量系统 |
CN114699106A (zh) * | 2020-12-28 | 2022-07-05 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像处理方法及设备 |
CN115482190A (zh) * | 2021-11-10 | 2022-12-16 | 中山大学附属第七医院(深圳) | 一种胎儿心脏结构分割测量方法、装置及计算机存储介质 |
-
2023
- 2023-01-06 CN CN202310014789.5A patent/CN115760851B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732520A (zh) * | 2015-01-31 | 2015-06-24 | 西安华海盈泰医疗信息技术有限公司 | 一种胸部数字影像的心胸比测量算法及系统 |
US20170105700A1 (en) * | 2015-06-23 | 2017-04-20 | Hemonitor Medical Ltd | Continuous ultrasonic monitoring |
CN106649487A (zh) * | 2016-10-09 | 2017-05-10 | 苏州大学 | 基于兴趣目标的图像检索方法 |
CN109925002A (zh) * | 2019-01-15 | 2019-06-25 | 胡秋明 | 人工智能超声心动图数据采集系统及其数据采集方法 |
CN112155602A (zh) * | 2020-09-24 | 2021-01-01 | 广州爱孕记信息科技有限公司 | 一种胎儿最优标准切面的确定方法及装置 |
CN112348780A (zh) * | 2020-10-26 | 2021-02-09 | 首都医科大学附属北京安贞医院 | 一种胎儿心脏的测量方法及装置 |
CN114521914A (zh) * | 2020-11-23 | 2022-05-24 | 深圳迈瑞生物医疗电子股份有限公司 | 超声参数测量方法和超声参数测量系统 |
CN114699106A (zh) * | 2020-12-28 | 2022-07-05 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像处理方法及设备 |
CN115482190A (zh) * | 2021-11-10 | 2022-12-16 | 中山大学附属第七医院(深圳) | 一种胎儿心脏结构分割测量方法、装置及计算机存储介质 |
CN114494157A (zh) * | 2022-01-06 | 2022-05-13 | 三峡大学 | 胎儿心脏四腔心超声切面图像质量自动评测方法 |
Non-Patent Citations (2)
Title |
---|
谢稳: ""人工智能在先天性心脏病学中的应用"", 《中国胸心血管外科临床杂志》 * |
钟华: ""二维超声对胎儿肺部发育规律的研究"" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116808101A (zh) * | 2023-06-30 | 2023-09-29 | 首都儿科研究所附属儿童医院 | 治疗或改善过敏性紫癜的中药组合物及其方法和应用 |
CN116808101B (zh) * | 2023-06-30 | 2024-03-08 | 首都儿科研究所附属儿童医院 | 治疗或改善过敏性紫癜的中药组合物及其方法和应用 |
Also Published As
Publication number | Publication date |
---|---|
CN115760851B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7672491B2 (en) | Systems and methods providing automated decision support and medical imaging | |
CN110197713B (zh) | 一种医疗影像的处理方法、装置、设备和介质 | |
Nurmaini et al. | Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation | |
US20150003706A1 (en) | Probability mapping for visualisation and analysis of biomedical images | |
US11864945B2 (en) | Image-based diagnostic systems | |
CN102920477A (zh) | 医学影像的目标区域边界确定装置和方法 | |
Yaqub et al. | Automatic detection of local fetal brain structures in ultrasound images | |
CN116681958B (zh) | 基于机器学习的胎儿肺脏超声影像成熟度预测方法 | |
US9905002B2 (en) | Method and system for determining the prognosis of a patient suffering from pulmonary embolism | |
CN111508004B (zh) | 基于深度学习的室壁运动异常超声处理方法、系统和设备 | |
CN111311626A (zh) | 基于ct图像的颅骨骨折自动检测方法及电子介质 | |
CN115760851B (zh) | 一种基于机器学习的超声图像数据处理设备、系统及计算机可读存储介质 | |
CN117547306A (zh) | 基于m型超声的左心室射血分数测量方法、系统及装置 | |
CN116580819B (zh) | 用于自动化地确定图像序列中的检查结果的方法和系统 | |
CN113112473B (zh) | 一种人体扩张型心肌病的自动诊断系统 | |
CN115330732A (zh) | 一种确定胰腺癌的方法及装置 | |
Lacerda et al. | A parallel method for anatomical structure segmentation based on 3d seeded region growing | |
CN114511564A (zh) | 基于dce-mri对乳腺癌残存肿瘤负荷的影像分析方法 | |
Zhang et al. | Advances in the Application of Artificial Intelligence in Fetal Echocardiography | |
Qayyum et al. | Assessment of Left Atrium Motion Deformation Through Full Cardiac Cycle | |
Mithila et al. | U-net Based Autonomous Fetal Segmentation From 2D and 3D Ultrasound Images | |
JP2023013947A (ja) | モデル訓練装置およびモデル訓練方法 | |
Begimov | EXTRACTING TAGGING FROM EXOCARDIOGRAPHIC IMAGES VIA MACHINE LEARNING ALGORITHMICS | |
CN116309528A (zh) | 胎儿心脏超声图像处理方法、装置和计算机设备 | |
TW201529043A (zh) | 血管三維結構重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |