CN112348780A - 一种胎儿心脏的测量方法及装置 - Google Patents
一种胎儿心脏的测量方法及装置 Download PDFInfo
- Publication number
- CN112348780A CN112348780A CN202011156565.0A CN202011156565A CN112348780A CN 112348780 A CN112348780 A CN 112348780A CN 202011156565 A CN202011156565 A CN 202011156565A CN 112348780 A CN112348780 A CN 112348780A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- result
- segmented
- result image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 210000002458 fetal heart Anatomy 0.000 title claims abstract description 66
- 230000011218 segmentation Effects 0.000 claims abstract description 197
- 238000005259 measurement Methods 0.000 claims abstract description 36
- 238000003745 diagnosis Methods 0.000 claims abstract description 35
- 230000000747 cardiac effect Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 40
- 238000005070 sampling Methods 0.000 claims description 39
- 238000003708 edge detection Methods 0.000 claims description 24
- 210000003754 fetus Anatomy 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 13
- 238000004393 prognosis Methods 0.000 claims description 9
- 238000011161 development Methods 0.000 claims description 8
- 230000018109 developmental process Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 7
- 238000010837 poor prognosis Methods 0.000 claims description 6
- 230000001605 fetal effect Effects 0.000 abstract description 7
- 208000002330 Congenital Heart Defects Diseases 0.000 abstract description 6
- 208000028831 congenital heart disease Diseases 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 5
- 208000019622 heart disease Diseases 0.000 description 5
- 208000032170 Congenital Abnormalities Diseases 0.000 description 4
- 206010010356 Congenital anomaly Diseases 0.000 description 4
- 230000007698 birth defect Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000000265 homogenisation Methods 0.000 description 3
- 210000005246 left atrium Anatomy 0.000 description 3
- 210000005240 left ventricle Anatomy 0.000 description 3
- 210000005245 right atrium Anatomy 0.000 description 3
- 210000005241 right ventricle Anatomy 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003793 prenatal diagnosis Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010019273 Heart disease congenital Diseases 0.000 description 1
- 208000032754 Infant Death Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000002376 aorta thoracic Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000013020 embryo development Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004971 interatrial septum Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000000591 tricuspid valve Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000000596 ventricular septum Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Computational Biology (AREA)
- Physiology (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Gynecology & Obstetrics (AREA)
- Pregnancy & Childbirth (AREA)
- Cardiology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请提供了一种胎儿心脏的测量方法及装置,其中,方法包括:获取待测量的胎儿心脏超声心动四腔心切面图像,得到待分割图像;将待分割图像输入完成训练的分割模型,得到分割结果图像;分别对分割结果图像中的每个分割区域的大小进行自动测量。本申请实现对待分割图像中胎儿心脏的各结构的精确分割。并分别对分割结果图像中的每个分割区域的大小进行测量,实现自动测量,从而避免了现有技术中由于测量过程繁琐且存在操作个体仅依赖等不规范导致的测量结果的准确性低的问题,进而可以保证测量结果的准确性,使得专家依据自动测量结果进行快速准确诊断,进而为专家的能力惠及到更多的患者和地区提供了条件,进而,提高胎儿先天心脏病的产前检出率。
Description
技术领域
本申请涉及医学图像处理领域,尤其涉及一种胎儿心脏的测量方法及装置。
背景技术
胎儿先天性心脏病(FHD)是全世界范围内最常见、最严重的先天畸形,居出生缺陷之首。FHD的发病率及死亡率在中国更是高居第一位长达12年之久,同时也是新生儿死亡的第一要素。已有研究报道46%的先天畸形婴儿死亡是FHD导致的。尽管在FHD的诊断和管理方面有很大的进步,但是FHD仍然是新生儿第一年内最常见的死因。因此,有效产前诊断及防控会影响FHD新生儿的结局,降低出生缺陷和死亡率。
胎儿超声心动图检查目前依然是确定胎儿心脏畸形最有效的方法。其中,超声心动图的四腔心切面是胎儿超声心动图最重要的平面,可以诊断70%的心脏畸形。因此,基于四腔心切面的诊断工作对产前诊断有重要价值。一方面,对于FHD的明确诊断和预后判断需要对胎儿心脏的结构实现定量测量,但是由于测量过程繁琐且存在不规范的情况,导致测量结果的准确性低。另一方面,基于测量结果,对FHD疾病分型的准确识别,及疾病在不同胚胎发育阶段表现出来的异常,是否预示着出生后的畸形,这需要长期对疾病发生和发展过程和结局有专业认知的要求。
我国人口基数大,胎儿心脏病患病率高,需要筛查诊断的胎儿心脏病患者数量巨大,即便通过政府推广、专家培训等措施,能够准确进行FHD筛查诊断的从业者数量仍然难以覆盖全部患者群体,且地域“非同质化”严重。因此,胎儿先天性心脏病的产前检出率低。
发明内容
本申请提供了一种胎儿心脏的测量方法及装置,目的在于解决胎儿先天性心脏病的产前检出率低的问题。
为了实现上述目的,本申请提供了以下技术方案:
本申请提供了一种胎儿心脏的测量方法,包括:
获取待测量的胎儿心脏超声心动四腔心切面图像,得到待分割图像;
将所述待分割图像输入完成训练的分割模型,得到分割结果图像;所述分割结果图像包括胎儿心脏各结构的分割区域;所述完成训练的分割模型是对预设分割模型进行训练得到;所述预设分割模型采用unet分割网络;在所述unet分割网络的下采样过程中对最大池化结果进行densenet块处理,并将得到的densenet块处理结果输出给对应的上采样过程;在所述unet分割网络的上采样过程中对Concat结果进行所述densenet块处理,并对得到的densenet块处理结果进行向上卷积;
分别对所述分割结果图像中的每个所述分割区域的大小进行测量。
可选的,所述分别对所述分割结果图像中的每个所述分割区域的大小进行测量,包括:
分别确定所述分割结果图像中每个所述分割区域的外边界信息;
依据所述外边界信息,分别确定每个所述分割区域的最小外接矩形;
分别对每个所述分割区域的最小外接矩形进行测量,得到每个所述分割区域的大小。
可选的,所述分别确定所述分割结果图像中每个所述分割区域的外边界信息,包括:
对所述分割结果图像进行去噪,得到去噪后的分割结果图像;
对所述去噪后的分割结果图像进行边缘检测,得到边缘检测图像;
对所述边缘检测图像进行二值化,得到每个所述分割区域的外边界信息。
可选的,对所述预设分割模型进行训练,得到所述完成训练的分割模型的过程,包括:
采用BCELoss函数和multiclass函数的加权和作为损失函数,以预设样本为训练样本,对所述预设分割模型进行训练,得到所述完成训练的分割模型。
可选的,在所述分别对所述分割结果图像中的每个所述分割区域的大小进行测量之后,还包括:
依据每个所述分割区域的测量结果和预设的诊断参考数据,确定所述待分割图像指示的胎儿心脏的诊断结果;所述诊断参考数据包括:胎儿心脏的正常生长发育曲线、产前-产后验证队列的预后良好胎儿心脏影像及参数特征,以及基于产前-产后出生验证队列的预后不良胎儿心脏影像及参数特征。
本申请还提供了一种胎儿心脏的测量装置,包括:
获取模块,用于获取待测量的胎儿心脏超声心动四腔心切面图像,得到待分割图像;
输入模块,用于将所述待分割图像输入完成训练的分割模型,得到分割结果图像;所述分割结果图像包括胎儿心脏各结构的分割区域;所述完成训练的分割模型是对预设分割模型进行训练得到;所述预设分割模型采用unet分割网络;在所述unet分割网络的下采样过程中对最大池化结果进行densenet块处理,并将得到的densenet块处理结果输出给对应的上采样过程;在所述unet分割网络的上采样过程中对Concat结果进行所述densenet块处理,并对得到的densenet块处理结果进行向上卷积;
测量模块,用于分别对所述分割结果图像中的每个所述分割区域的大小进行测量。
可选的,所述测量模块,用于分别对所述分割结果图像中的每个所述分割区域的大小进行测量,包括:
所述测量模块,具体用于分别确定所述分割结果图像中每个所述分割区域的外边界信息;依据所述外边界信息,分别确定每个所述分割区域的最小外接矩形;分别对每个所述分割区域的最小外接矩形进行测量,得到每个所述分割区域的大小。
可选的,所述测量模块,用于分别确定所述分割结果图像中每个所述分割区域的外边界信息,包括:
所述测量模块,具体用于对所述分割结果图像进行去噪,得到去噪后的分割结果图像;对所述去噪后的分割结果图像进行边缘检测,得到边缘检测图像;对所述边缘检测图像进行二值化,得到每个所述分割区域的外边界信息。
可选的,还包括:
训练模块,用于对所述预设分割模型进行训练,得到所述完成训练的分割模型的过程,包括:
所述训练模块,具体用于采用BCELoss函数和multiclass函数的加权和作为损失函数,以预设样本为训练样本,对所述预设分割模型进行训练,得到所述完成训练的分割模型。
可选的,还包括:
诊断模块,用于在所述测量模块分别对所述分割结果图像中的每个所述分割区域的大小进行测量之后,依据每个所述分割区域的测量结果和预设的诊断参考数据,确定所述待分割图像指示的胎儿心脏的诊断结果;所述诊断参考数据包括:胎儿心脏的正常生长发育曲线、产前-产后验证队列的预后良好胎儿心脏影像及参数特征,以及基于产前-产后出生验证队列的预后不良胎儿心脏影像及参数特征。
本申请所述的胎儿心脏的测量方法及装置中,获取待测量的胎儿心脏超声心动四腔心切面图像,得到待分割图像;将该待分割图像输入完成训练的分割模型,得到分割结果图像;该分割结果图像包括胎儿心脏各结构的分割区域;分别对该分割结果图像中的每个分割区域的大小进行测量。
一方面,在本申请中,该完成训练的分割模型是对预设分割模型进行训练得到,并且,该预设分割模型采用unet分割网络,由于unet分割网络将下采样过程提取的特征融合到上采样过程中,使得上采样过程可以得到更精细的细节信息,从而提升分割结果的精度。
另一方面,在本申请中,在该unet分割网络的下采样过程中对最大池化结果进行densenet块处理,并将得到的densenet块处理结果输出给对应的上采样过程;在该unet分割网络的上采样过程中对Concat结果进行该densenet块处理,并对得到的densenet块处理结果进行向上卷积。由于densenet块可有效降低梯度弥散带来的不良影响,从而,可以提高分割精度。
综上所述,本申请可以实现对待分割图像中胎儿心脏的各结构的精确分割,使得分割结果的准确性更高。
在本申请中,分别对分割结果图像中的每个分割区域的大小进行测量,实现自动测量,从而避免了现有技术中由于测量过程繁琐且存在不规范导致的测量结果的准确性低的问题,进而,本申请可以保证测量结果的准确性,使得专家只需依据测量结果进行诊断,进而为专家的能力惠及到更多的患者和地区提供了条件,进而,提高胎儿先天心脏病的产前检出率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种分割模型的训练过程的示意图;
图2为本申请实施例公开的一种预设分割模型的结构示意图;
图3为本申请实施例公开的一种胎儿心脏的测量方法的流程图;
图4(a)为本申请实施例公开的待分割图像的示意图;
图4(b)为本申请实施例公开的医生标注的分割结果图像的示意图;
图4(c)为本申请实施例公开的分割模型输出的分割结果图像的示意图;
图4(d)为本申请实施例公开的多值化分割结果图像的示意图
图5为本申请实施例公开的胎儿心脏的部分结构的测量结果示意图;
图6为本申请实施例公开的一种胎儿心脏的测量装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种分割模型的训练过程,可以包括以下步骤:
S101、获取训练样本。
在本实施例中,获取的训练样本包括预先获取的胎儿心脏超声心动四腔心切面图像,以及人工标注的分割结果图像。
S102、采用训练样本,对预设的分割模型进行训练,得到完成训练的分割模型。
在本实施例中,预设分割模型采用unet分割网络,包括下采样过程和上采样过程。在本实施例中,在unet分割网络的下采样过程中对最大池化结果进行densenet块处理,并将得到的densenet块处理结果输出给对应的上采样过程。以及,在unet分割网络的上采样过程中对Concat结果进行densenet块处理,并对得到的densenet块处理结果进行向上卷积。本实施例提供的预设的分割模型的结构,如图2所示。
在图2中,“Densenet-block”表示densenet块结构;“Max pool 2*2”表示2×2最大池化;“Up-conv 2*2”表示2×2向上卷积;“Copy and crop”表示复制和截取关键区域;“Concat”表示合并多个卷积;“Conv 3*3”表示3×3卷积。
对于输入该分割模型的任一图像,该分割模型对该图像的处理过程可以包括:输入的该图像是单通道图像,对该单通道图像进行“Conv 3*3”处理,得到第一结果图像,该第一结果图像为8通道图像。对该第一结果图像进行“Conv 3*3”处理,得到第二结果图像,该第二结果图像为8通道图像。
对第二结果图像进行“Max pool 2*2”处理,得到第三结果图像,该第三结果图像进行densenet块处理,得到第四结果图像,该第四结果图像是16通道图像。
对该第四结果图像进行“Max pool 2*2”处理,得到第五结果图像,并对该第五结果图像进行densenet块处理,得到第六结果图像,该第六结果图像是32通道图像。
对该第六结果图像进行“Max pool 2*2”处理,得到第七结果图像,并对第七结果图像densenet块处理,得到第八结果图像,该第八结果图像是64通道图像。
对该第八结果图像进行“Max pool 2*2”处理,得到第九结果图像,该第九结果图像是128通道图像。
对该第九结果图像进行“Up-conv 2*2”处理,得到第十结果图像。将该第十结果图像和第八结果图像构成了128通道的图像,为了描述方便,称为第一结合图像,并对第一结合图像进行“Concat”处理,得到第一上采样结果图像,并对该第一上采样结果图像进行densenet块处理,得到第二上采样结果图像。
对该第二上采样结果图像进行“Up-conv 2*2”处理,得到第三上采样结果图像。
对第六结果图像进行“Copy and crop”,并将第六结果图像与第三上采样结果图像构成第二结合图像。对第二结合图像进行“Concat”处理,得到第四上采样结果图像,对第四上采样结果图像进行densenet块处理,得到第五上采样结果图像。
对第五上采样结果图像进行“Up-conv 2*2”处理,得到第六上采样结果图像。
对第四结果图像进行“Copy and crop”,并将第四结果图像与第六上采样结果图像构成第三结合图像。对第三结合图像进行“Concat”处理,得到第七上采样结果图像,对第七上采样结果图像进行densenet块处理,得到第八上采样结果图像。
对第八上采样结果图像进行“Up-conv 2*2”处理,得到第九上采样结果图像。
对第二结果图像进行“Copy and crop”,并将第二结果图像与第九上采样结果图像构成第四结合图像。对第四结合图像进行“Concat”处理,得到第十上采样结果图像,对第十上采样结果图像进行densenet块处理,得到预设模型的输出图像。
在本实施例中,对预设的分割模型输出的图像与标注图像,依据损失函数计算损失值,依据损失值对分割模型的参数进行调整。
其中,在本实施例中,损失函数为BCELoss函数和multiclass函数的加权和,其中,BCELoss函数和multiclass函数分别对应的权值可以都为1,本实施例不对这两个函数的权值的具体取值作限定。
在本步骤中,依据计算得到的损失值对分割模型的参数进行调整的过程为现有技术,这里不再赘述。
在本实施例中,在得到参数调整后的分割模型后,采用训练样本和损失函数,对参数调整后的分割模型进行训练,依次循环,直至达到预设条件的情况下,结束训练,得到完成训练的分割模型。
在本实施例中,由于损失函数中的两个函数分别计算的是训练样本的全局信息的损失量和特征提取区域提取到的信息的损失量,因此,本实施例提供的损失函数计算的损失量更全面,因此,计算得到损失值更准确,从而,可以更好的指导分割模型的参数调整过程,进而,可以有利于分割模型的收敛精度和收敛速度。
图3为本申请实施例提供的一种胎儿心脏的测量方法,可以包括以下步骤:
S301、获取待测量的胎儿心脏超声心动四腔心切面图像,得到待分割图像。
在本实施例中,待测量的胎儿心脏超声心动四腔心切面图像的获取方式为现有技术,这里不再赘述。
S302、将该待分割图像输入完成训练的分割模型,得到分割结果图像。
在本实施例中,分割结果图像包括胎儿心脏各结构的分割区域。其中,胎儿心脏的结构可以包括:左心室,左心房,右心室,右心房,降主动脉,二尖瓣,三尖瓣,房间隔,室间隔和心外膜等。
在本步骤中,完成训练的分割模型为图1对应的实施例得到的完成训练的分割模型。
为了直观对比从待分割图像到分割结果图像过程中的各图像,本实施例给出了图4(a)~图4(d)所示的图像。其中,图4(a)为待分割图像,图4(b)为医生标注的分割结果图像,图4(c)为分割模型输出的分割结果图像,图4(d)为多值化分割结果图像。
S303、分别对该分割结果图像中的每个分割区域的大小进行测量。
在本实施例中,分别对该分割结果图像中的每个分割区域的大小进行测量的过程可以包括以下步骤A1~步骤A3:
A1、分别确定该分割结果图像中每个所述分割区域的外边界信息。
本步骤的具体实现过程可以包括以下步骤B1~步骤B3:
B1、对该分割结果图像进行去噪,得到去噪后的分割结果图像。
在本步骤中,可以通过高斯滤波进行平滑性处理,实现对分割结果图像的去噪。
具体的,对分割结果图像进行高斯滤波的过程可以包括:对于分割结果图像中每个像素点均执行以下操作,以任意一个像素点为例进行介绍。即通过对该像素点的八邻域内的像素点的像素值和该像素点的像素值进行加权平均,并采用加权平均结果更新该像素点的像素值。
B2、对去噪后的分割结果图像进行边缘检测,得到边缘检测图像。
在本步骤中,对去噪后的分割结果图像进行边缘检测。
可选的,由于Sobel算子的计算效率高,所以本实施例中,边缘检测过程可以使用Sobel算子,Sobel算子在水平和垂直两个方向上求导,得到去噪后的分割结果图像的梯度图像。具体的,Sobel算子含有两组3*3的滤波器,分别对应水平方向和垂直方向,将两组滤波器与去噪后的分割结果图像做卷积操作之后,即可得到两个方向的梯度图像。
对两个方向的梯度图像中相同位置的像素点的像素值分别计算平方值,对两个平方值求和,再开方,即可得到该像素点的灰度值,从而,得到边缘检测图像。
B3、对边缘检测图像进行二值化,得到边缘检测图像中每个分割区域的外边界信息。
在本实施例中,对边缘检测图像进行二值化的具体实现过程为现有技术,这里不再赘述。
需要说明的是,在实际中,对于边缘检测结果中的伪边缘信息,需要进行修正。具体的修正方式可以包括:对于小范围的噪音区域,予以抹除,即选取最大面积的区域作为待测量区域,略去面积小的其他区域。
A2、依据外边界信息,分别确定每个分割区域的最小外接矩形。
在实际中,分割区域一般为不规则区域,为了便于测量分割区域的大小,在本步骤中,分别确定每个分割区域的最小外接矩形。其中,确定每个分割区域的最小外接矩形的具体实现过程为现有技术,这里不再赘述。
A3、分别对每个分割区域的最小外接矩形进行测量,得到每个分割区域的大小。
在本步骤中,分别测量每个分割区域的最小外接矩形的长和宽,对于任一分割区域,将该分割区域的最小外接矩形的长和宽作为该分割区域的测量结果。
图5为申请实施例提供的胎儿心脏的右心室、左心室、右心房和左心房的测量结果。其中,从第一行到第四行依次为右心室、左心室、右心房和左心房。在每行中,第一个图像表示待分割图像,第二个表示基于分割结果图像得到的测量结果,第三个图像是基于标注图像得到的测量结果。其中,测量结果中的测量数值均表示像素距离。
在本实施例中,在测量得到胎儿心脏各结构的测量结果后,还可以依据预设的诊断参考数据,确定待分割图像指示的胎儿心脏的诊断结果。其中,诊断结果可以包括良好和不良中的一种。
在本实施例中,诊断参考数据可以包括:胎儿心脏的正常生长发育曲线、产前-产后验证队列的预后良好胎儿心脏影像及参数特征,以及基于产前-产后出生验证队列的预后不良胎儿心脏影像及参数特征。其中,该诊断参考数据、所表示的含义为现有技术,这里不再赘述。
在本实施例中,依据胎儿心脏各结构的测量结果和诊断参考数据,确定胎儿心脏的诊断结果的具体实现过程可以包括:将胎儿心脏各结构的测量结果与诊断参考数据进行对比,从预设的诊断参考数据中确定与胎儿心脏各结构的测量结果相匹配的参考数据,得到匹配参考数据,并将匹配参考数据指示的诊断结果,作为胎儿心脏的诊断结果。例如,匹配参考数据产前-产后验证队列的预后良好胎儿心脏影像及参数特征,则胎儿心脏的诊断结果为良好。
本实施例具有以下有益效果:
有益效果一:
我国人口基数大,胎儿心脏病患病率高,目前主要依赖人工诊断,医生资源供需失衡,需要诊断的胎儿心脏病患者数量巨大,而目前具备FHD准确诊断能力的从业者数量难以覆盖患者群体。出生人口和可以诊断的医生比例为2000万出生人口:5000的诊断医生。因此亟需解决人工无法覆盖的胎儿心脏病患者、从业人员少、开展单位有限的问题。通过本申请实施例提供的胎儿心脏的测量方案,可以准确测量出胎儿的心脏各结构的测量结果,从而只需专业的医生依据测量结果进行诊断即可,可利用当下的互联网时代迅速推广至基层,解决供需失衡问题。
有益效果二:
现有技术中FHD的准确诊断存在严重的地域“非均质化”的问题。本申请实施例可实现对胎儿心脏各结构的测量,以及确定诊断结果,从而,提高诊断水平较低地区的FHD产前早期诊断准确率,解决地域“非均质化”的问题。
有益效果三:
现有技术中基于胎儿先心病的诊疗模式工作效率低下,且经济成本较高。通过本申请实施例的智能测量及智能诊断能够将此医疗模式推广,减少人力成本。覆盖基层医院从而提高诊断准确率,降低严重出生缺陷胎儿及新生儿死亡率。
有益效果四:
本申请实施例对胎儿心脏各结构实现自动测量,并实现自动确定诊断结果,因此,本申请实施例可以快速判断疾病及预后。
图6为本申请实施例提供的一种胎儿心脏的测量装置,可以包括:
获取模块601,用于获取待测量的胎儿心脏超声心动四腔心切面图像,得到待分割图像;
输入模块602,用于将所述待分割图像输入完成训练的分割模型,得到分割结果图像;所述分割结果图像包括胎儿心脏各结构的分割区域;所述完成训练的分割模型是对预设分割模型进行训练得到;所述预设分割模型采用unet分割网络;在所述unet分割网络的下采样过程中对最大池化结果进行densenet块处理,并将得到的densenet块处理结果输出给对应的上采样过程;在所述unet分割网络的上采样过程中对Concat结果进行所述densenet块处理,并对得到的densenet块处理结果进行向上卷积;
测量模块603,用于分别对所述分割结果图像中的每个所述分割区域的大小进行测量。
可选的,所述测量模块603,用于分别对所述分割结果图像中的每个所述分割区域的大小进行测量,包括:
所述测量模块603,具体用于分别确定所述分割结果图像中每个所述分割区域的外边界信息;依据所述外边界信息,分别确定每个所述分割区域的最小外接矩形;分别对每个所述分割区域的最小外接矩形进行测量,得到每个所述分割区域的大小。
可选的,所述测量模块603,用于分别确定所述分割结果图像中每个所述分割区域的外边界信息,包括:
所述测量模块603,具体用于对所述分割结果图像进行去噪,得到去噪后的分割结果图像;对所述去噪后的分割结果图像进行边缘检测,得到边缘检测图像;对所述边缘检测图像进行二值化,得到每个所述分割区域的外边界信息。
可选的,还包括:
训练模块,用于对所述预设分割模型进行训练,得到所述完成训练的分割模型的过程,包括:
所述训练模块,具体用于采用BCELoss函数和multiclass函数的加权和作为损失函数,以预设样本为训练样本,对所述预设分割模型进行训练,得到所述完成训练的分割模型。
可选的,还包括:
诊断模块,用于在所述测量模块分别对所述分割结果图像中的每个所述分割区域的大小进行测量之后,依据每个所述分割区域的测量结果和预设的诊断参考数据,确定所述待分割图像指示的胎儿心脏的诊断结果;所述诊断参考数据包括:胎儿心脏的正常生长发育曲线、产前-产后验证队列的预后良好胎儿心脏影像及参数特征,以及基于产前-产后出生验证队列的预后不良胎儿心脏影像及参数特征。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种胎儿心脏的测量方法,其特征在于,包括:
获取待测量的胎儿心脏超声心动四腔心切面图像,得到待分割图像;
将所述待分割图像输入完成训练的分割模型,得到分割结果图像;所述分割结果图像包括胎儿心脏各结构的分割区域;所述完成训练的分割模型是对预设分割模型进行训练得到;所述预设分割模型采用unet分割网络;在所述unet分割网络的下采样过程中对最大池化结果进行densenet块处理,并将得到的densenet块处理结果输出给对应的上采样过程;在所述unet分割网络的上采样过程中对Concat结果进行所述densenet块处理,并对得到的densenet块处理结果进行向上卷积;
分别对所述分割结果图像中的每个所述分割区域的大小进行测量。
2.根据权利要求1所述的方法,其特征在于,所述分别对所述分割结果图像中的每个所述分割区域的大小进行测量,包括:
分别确定所述分割结果图像中每个所述分割区域的外边界信息;
依据所述外边界信息,分别确定每个所述分割区域的最小外接矩形;
分别对每个所述分割区域的最小外接矩形进行测量,得到每个所述分割区域的大小。
3.根据权利要求2所述的方法,其特征在于,所述分别确定所述分割结果图像中每个所述分割区域的外边界信息,包括:
对所述分割结果图像进行去噪,得到去噪后的分割结果图像;
对所述去噪后的分割结果图像进行边缘检测,得到边缘检测图像;
对所述边缘检测图像进行二值化,得到每个所述分割区域的外边界信息。
4.根据权利要求1所述的方法,其特征在于,对所述预设分割模型进行训练,得到所述完成训练的分割模型的过程,包括:
采用BCELoss函数和multiclass函数的加权和作为损失函数,以预设样本为训练样本,对所述预设分割模型进行训练,得到所述完成训练的分割模型。
5.根据权利要求1~4任意一项所述的方法,其特征在于,在所述分别对所述分割结果图像中的每个所述分割区域的大小进行测量之后,还包括:
依据每个所述分割区域的测量结果和预设的诊断参考数据,确定所述待分割图像指示的胎儿心脏的诊断结果;所述诊断参考数据包括:胎儿心脏的正常生长发育曲线、产前-产后验证队列的预后良好胎儿心脏影像及参数特征,以及基于产前-产后出生验证队列的预后不良胎儿心脏影像及参数特征。
6.一种胎儿心脏的测量装置,其特征在于,包括:
获取模块,用于获取待测量的胎儿心脏超声心动四腔心切面图像,得到待分割图像;
输入模块,用于将所述待分割图像输入完成训练的分割模型,得到分割结果图像;所述分割结果图像包括胎儿心脏各结构的分割区域;所述完成训练的分割模型是对预设分割模型进行训练得到;所述预设分割模型采用unet分割网络;在所述unet分割网络的下采样过程中对最大池化结果进行densenet块处理,并将得到的densenet块处理结果输出给对应的上采样过程;在所述unet分割网络的上采样过程中对Concat结果进行所述densenet块处理,并对得到的densenet块处理结果进行向上卷积;
测量模块,用于分别对所述分割结果图像中的每个所述分割区域的大小进行测量。
7.根据权利要求6所述的装置,其特征在于,所述测量模块,用于分别对所述分割结果图像中的每个所述分割区域的大小进行测量,包括:
所述测量模块,具体用于分别确定所述分割结果图像中每个所述分割区域的外边界信息;依据所述外边界信息,分别确定每个所述分割区域的最小外接矩形;分别对每个所述分割区域的最小外接矩形进行测量,得到每个所述分割区域的大小。
8.根据权利要求7所述的装置,其特征在于,所述测量模块,用于分别确定所述分割结果图像中每个所述分割区域的外边界信息,包括:
所述测量模块,具体用于对所述分割结果图像进行去噪,得到去噪后的分割结果图像;对所述去噪后的分割结果图像进行边缘检测,得到边缘检测图像;对所述边缘检测图像进行二值化,得到每个所述分割区域的外边界信息。
9.根据权利要求6所述的装置,其特征在于,还包括:
训练模块,用于对所述预设分割模型进行训练,得到所述完成训练的分割模型的过程,包括:
所述训练模块,具体用于采用BCELoss函数和multiclass函数的加权和作为损失函数,以预设样本为训练样本,对所述预设分割模型进行训练,得到所述完成训练的分割模型。
10.根据权利要求6~9任意一项所述的装置,其特征在于,还包括:
诊断模块,用于在所述测量模块分别对所述分割结果图像中的每个所述分割区域的大小进行测量之后,依据每个所述分割区域的测量结果和预设的诊断参考数据,确定所述待分割图像指示的胎儿心脏的诊断结果;所述诊断参考数据包括:胎儿心脏的正常生长发育曲线、产前-产后验证队列的预后良好胎儿心脏影像及参数特征,以及基于产前-产后出生验证队列的预后不良胎儿心脏影像及参数特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011156565.0A CN112348780A (zh) | 2020-10-26 | 2020-10-26 | 一种胎儿心脏的测量方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011156565.0A CN112348780A (zh) | 2020-10-26 | 2020-10-26 | 一种胎儿心脏的测量方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112348780A true CN112348780A (zh) | 2021-02-09 |
Family
ID=74358338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011156565.0A Pending CN112348780A (zh) | 2020-10-26 | 2020-10-26 | 一种胎儿心脏的测量方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112348780A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114494157A (zh) * | 2022-01-06 | 2022-05-13 | 三峡大学 | 胎儿心脏四腔心超声切面图像质量自动评测方法 |
CN114469176A (zh) * | 2021-12-31 | 2022-05-13 | 深圳度影医疗科技有限公司 | 一种胎儿心脏超声图像的检测方法及相关装置 |
CN115482190A (zh) * | 2021-11-10 | 2022-12-16 | 中山大学附属第七医院(深圳) | 一种胎儿心脏结构分割测量方法、装置及计算机存储介质 |
CN115760851A (zh) * | 2023-01-06 | 2023-03-07 | 首都儿科研究所附属儿童医院 | 基于机器学习的超声图像数据处理方法及其系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200065969A1 (en) * | 2018-08-27 | 2020-02-27 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
CN111062948A (zh) * | 2019-11-18 | 2020-04-24 | 北京航空航天大学合肥创新研究院 | 一种基于胎儿四腔心切面图像的多组织分割方法 |
CN111275721A (zh) * | 2020-02-14 | 2020-06-12 | 北京推想科技有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
WO2020119679A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳先进技术研究院 | 三维左心房分割方法、装置、终端设备及存储介质 |
-
2020
- 2020-10-26 CN CN202011156565.0A patent/CN112348780A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200065969A1 (en) * | 2018-08-27 | 2020-02-27 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
WO2020119679A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳先进技术研究院 | 三维左心房分割方法、装置、终端设备及存储介质 |
CN111062948A (zh) * | 2019-11-18 | 2020-04-24 | 北京航空航天大学合肥创新研究院 | 一种基于胎儿四腔心切面图像的多组织分割方法 |
CN111275721A (zh) * | 2020-02-14 | 2020-06-12 | 北京推想科技有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
周小雪 等: "人工智能技术在胎儿超声心动图四腔心切面筛查中的应用", 《中华超声影像学杂志》 * |
王尚丽等: "基于三维密集网络的肺结节检测方法", 《中国生物医学工程学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115482190A (zh) * | 2021-11-10 | 2022-12-16 | 中山大学附属第七医院(深圳) | 一种胎儿心脏结构分割测量方法、装置及计算机存储介质 |
CN114469176A (zh) * | 2021-12-31 | 2022-05-13 | 深圳度影医疗科技有限公司 | 一种胎儿心脏超声图像的检测方法及相关装置 |
CN114469176B (zh) * | 2021-12-31 | 2024-07-05 | 深圳度影医疗科技有限公司 | 一种胎儿心脏超声图像的检测方法及相关装置 |
CN114494157A (zh) * | 2022-01-06 | 2022-05-13 | 三峡大学 | 胎儿心脏四腔心超声切面图像质量自动评测方法 |
CN115760851A (zh) * | 2023-01-06 | 2023-03-07 | 首都儿科研究所附属儿童医院 | 基于机器学习的超声图像数据处理方法及其系统 |
CN115760851B (zh) * | 2023-01-06 | 2023-05-09 | 首都儿科研究所附属儿童医院 | 一种基于机器学习的超声图像数据处理设备、系统及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112348780A (zh) | 一种胎儿心脏的测量方法及装置 | |
WO2021169128A1 (zh) | 眼底视网膜血管识别及量化方法、装置、设备及存储介质 | |
CN109480780B (zh) | 一种脑卒中预警系统的评估方法及系统 | |
JP2019500110A (ja) | 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化 | |
CN109859168A (zh) | 一种x射线胸片图像质量确定方法及装置 | |
JP2019500110A5 (zh) | ||
EP3528261A1 (en) | Prediction model for grouping hepatocellular carcinoma, prediction system thereof, and method for determining hepatocellular carcinoma group | |
CN107292835B (zh) | 一种眼底图像视网膜血管自动矢量化的方法及装置 | |
CN103348359A (zh) | 使用光学相干断层照相的3d视网膜破裂检测 | |
CN113744183B (zh) | 肺结节检测方法及系统 | |
WO2022062459A1 (zh) | 一种胎儿结构特征的自动测量方法及装置 | |
WO2021116909A1 (en) | Method for determining severity of skin disease based on percentage of body surface area covered by lesions | |
CN111462049A (zh) | 一种乳腺超声造影视频中病灶区形态自动标注方法 | |
CN111481233B (zh) | 胎儿颈项透明层厚度测量方法 | |
CN116309615A (zh) | 一种多模态mri脑肿瘤图像分割方法 | |
US20130222767A1 (en) | Methods and systems for detecting peripapillary atrophy | |
WO2020140380A1 (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
CN114266774A (zh) | 一种基于平扫ct图像诊断肺栓塞的方法、设备及系统 | |
Lazar et al. | A novel approach for the automatic detection of microaneurysms in retinal images | |
Song et al. | Fully automatic ultrasound fetal heart image detection and segmentation based on texture analysis | |
CN112766333B (zh) | 医学影像处理模型训练方法、医学影像处理方法及装置 | |
Zhou et al. | Computer aided diagnosis for diabetic retinopathy based on fundus image | |
CN113409275B (zh) | 基于超声图像确定胎儿颈后透明层厚度的方法及相关装置 | |
CN111210436B (zh) | 晶状体分割方法、装置及存储介质 | |
US20220284571A1 (en) | Method and system for automatic calcium scoring from medical images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210811 Address after: Room 01, 1201, 12th floor, No. 35 Anding Road, Chaoyang District, Beijing 100020 Applicant after: Baijia kangran (Beijing) Technology Co.,Ltd. Address before: 100029 Beijing city Chaoyang District anzhen Road No. 2 Applicant before: BEIJING ANZHEN HOSPITAL AFFILIATED TO CAPITAL MEDICAL University |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210209 |