CN117197020A - 二尖瓣开口间距检测方法、电子设备和存储介质 - Google Patents
二尖瓣开口间距检测方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117197020A CN117197020A CN202210566954.3A CN202210566954A CN117197020A CN 117197020 A CN117197020 A CN 117197020A CN 202210566954 A CN202210566954 A CN 202210566954A CN 117197020 A CN117197020 A CN 117197020A
- Authority
- CN
- China
- Prior art keywords
- valve
- mitral valve
- profiles
- pixel
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004115 mitral valve Anatomy 0.000 title claims abstract description 253
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 230000000747 cardiac effect Effects 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 71
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 238000003745 diagnosis Methods 0.000 abstract description 10
- 230000004069 differentiation Effects 0.000 abstract description 6
- 238000011156 evaluation Methods 0.000 abstract description 4
- 208000006887 mitral valve stenosis Diseases 0.000 abstract description 2
- 238000011176 pooling Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 30
- 230000007704 transition Effects 0.000 description 28
- 230000011218 segmentation Effects 0.000 description 27
- 238000012549 training Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 9
- 238000010606 normalization Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002592 echocardiography Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 208000018578 heart valve disease Diseases 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 208000020128 Mitral stenosis Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000005246 left atrium Anatomy 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 208000004124 rheumatic heart disease Diseases 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Veterinary Medicine (AREA)
- General Engineering & Computer Science (AREA)
- Public Health (AREA)
- Mathematical Physics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Surgery (AREA)
- Dentistry (AREA)
- Heart & Thoracic Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种二尖瓣开口间距检测方法、电子设备和存储介质,所述检测方法包括根据所获取的当前帧心动图像,获取二尖瓣感兴趣区域的位置信息;根据所述二尖瓣感兴趣区域的位置信息,采用瓣叶分割模型对所述当前帧心动图像所对应的二尖瓣感兴趣区域进行分割,以获取二尖瓣瓣叶掩膜图像;对所述二尖瓣瓣叶掩膜图像进行连通域分析,并根据所述连通域的分析结果,获取所述当前帧心动图像所对应的二尖瓣开口间距。本发明能够自动进行二尖瓣开口间距的检测,为二尖瓣是否狭窄的诊断提供评估依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种二尖瓣开口间距检测方法、电子设备和存储介质。
背景技术
二尖瓣狭窄是心脏瓣膜病中最常见的疾病并且该发病率逐年上升,主要见于风湿性心脏病、先天性畸形和老年人。是由于各种原因致心脏二尖瓣结构改变,导致二尖瓣开放幅度变小、开放受限或梗阻,引起左心房血流受阻,左心室回心血量减少等一系列心脏结构和功能的异常改变。目前,医学界对该疾病的诊断流程中较无创新性的进展,因此,利用医学影像深入分析二尖瓣结构异常,对于瓣膜性心脏病的预防和诊断具有重要意义。
随着软件技术和硬件效能的不断提升,计算机辅助诊断技术在医学领域的应用越来越广泛。通过将人体二尖瓣长轴瓣叶可视化并提供瓣尖最窄处的开口间距和动态频谱图,能够帮助医师获得更多的诊断信息。因此,对二尖瓣长轴瓣叶最窄处的开口间距的测量显得尤为重要。
需要说明的是,公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种二尖瓣开口间距检测方法、电子设备和存储介质,可以自动进行二尖瓣长轴瓣叶最窄处的开口间距的检测,为二尖瓣是否狭窄的诊断提供依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题,进而可以更好地辅助医生提高诊断效率。
为达到上述目的,本发明提供一种二尖瓣开口间距检测方法,包括:
根据所获取的当前帧心动图像,获取二尖瓣感兴趣区域的位置信息;
根据所述二尖瓣感兴趣区域的位置信息,采用瓣叶分割模型对所述当前帧心动图像所对应的二尖瓣感兴趣区域进行分割,以获取二尖瓣瓣叶掩膜图像;
对所述二尖瓣瓣叶掩膜图像进行连通域分析,若所述连通域的分析结果为所述二尖瓣瓣叶掩膜图像中存在两个像素面积大于第一预设阈值的连通域,则根据这两个像素面积大于所述第一预设阈值的连通域,提取出两个瓣叶轮廓,并根据两个所述瓣叶轮廓上的各个像素点的坐标,获取所述当前帧心动图像所对应的二尖瓣开口间距。
可选的,所述根据两个所述瓣叶轮廓上的各个像素点的坐标,获取所述当前帧心动图像所对应的二尖瓣开口间距,包括:
根据两个所述瓣叶轮廓上的各个像素点的坐标,计算两个所述瓣叶轮廓之间的最小像素距离:
根据所述最小像素距离以及预先获取的像素距离与物理距离之间的对应关系,获取所述当前帧心动图像所对应的二尖瓣开口间距。
可选的,所述根据两个所述瓣叶轮廓上的各个像素点的坐标,计算两个所述瓣叶轮廓之间的最小像素距离,包括:
步骤A、根据两个所述瓣叶轮廓上的各个像素点的坐标,分别在两个所述瓣叶轮廓上各确定出一个像素点作为起始点;
步骤B、以所确定出的两个起始点作为一条直径的两个端点作圆;
步骤C、判断所作出的圆是否与两个所述瓣叶轮廓存在新交点,若否,则执行步骤D,若是,则执行步骤E;
步骤D、将所作出的圆的直径作为两个所述瓣叶轮廓之间的最小像素距离;
步骤E、判断所述新交点的个数是否大于或等于2,若是,则执行步骤E1,若否,则执行步骤E2;
步骤E1、以位于不同瓣叶轮廓上的两个所述新交点作为一条新直径的两个端点作圆,并返回执行步骤C;
步骤E2、以所述新交点和位于另一个瓣叶轮廓上的原交点作为一条新直径的两个端点作圆,并返回执行步骤C。
可选的,针对步骤E1,所述方法还包括:
判断位于不同瓣叶轮廓上的两个所述新交点之间的距离与当前所作出的圆的直径之间的差值的绝对值是否小于第二预设阈值;
若是,则将两个所述新交点之间的距离作为两个所述瓣叶轮廓之间的最小像素距离;
若否,则以两个所述新交点作为一条新直径的两个端点作圆;
针对步骤E2,所述方法还包括:
判断所述新交点和位于另一个瓣叶轮廓上的原交点之间的距离与当前所作出的圆的直径之间的差值的绝对值是否小于所述第二预设阈值;
若是,则将所述新交点和位于另一个所述瓣叶轮廓上的原交点之间的距离作为两个所述瓣叶轮廓之间的最小像素距离;
若否,则以所述新交点和位于另一个瓣叶轮廓上的原交点作为一条新直径的两个端点作圆。
可选的,所根据两个所述瓣叶轮廓上的各个像素点的坐标,分别在两个所述瓣叶轮廓上各确定出一个像素点作为起始点,包括:
针对每一所述瓣叶轮廓,根据该所述瓣叶轮廓上的各个像素点的坐标,将位于最左侧的像素点作为该瓣叶轮廓上的起始点;或者
针对每一所述瓣叶轮廓,根据该所述瓣叶轮廓上的各个像素点的坐标,将X坐标、Y坐标之和最小的像素点作为该瓣叶轮廓上的起始点。
可选的,所述根据两个所述瓣叶轮廓上的各个像素点的坐标,计算两个所述瓣叶轮廓之间的最小像素距离,包括:
根据两个所述瓣叶轮廓上的各个像素点的坐标,利用支持向量机确定出用于区分两个所述瓣叶轮廓的决策边界以及位于各个所述瓣叶轮廓上的支持向量,所述支持向量为所述瓣叶轮廓上的距离所述决策边界最近的像素点;
针对每一所述支持向量,以该支持向量为起点向所述决策边界作垂线,若所述垂线与另一个所述瓣叶轮廓存在交点,则将该支持向量作为目标支持向量;
针对每一所述目标支持向量,计算该目标支持向量与对应的所述交点之间的像素距离;
将计算出的最小的像素距离作为两个所述瓣叶轮廓之间的最小像素距离。
可选的,所述确定各个所述瓣叶轮廓上的决策向量及各个所述瓣叶轮廓上的支持向量包括:
对两个瓣叶轮廓上的各个像素点进行二元分类,获取位于上瓣叶轮廓上的像素点及位于下瓣叶轮廓上的像素点,以确定决策边界;
将所述上瓣叶轮廓上的距离所述决策边界最近的像素点作为上瓣叶轮廓上的支持向量,以及,将所述下瓣叶轮廓上的距离所述决策边界最近的像素点作为下瓣叶轮廓上的支持向量。
可选的,在获取所有帧心动图像所对应的二尖瓣开口间距后,所述方法还包括:
在最大二尖瓣开口间距所对应的心动图像上绘制出两个所述瓣叶轮廓、二尖瓣开口间距径线以及所述最大二尖瓣开口间距的文本内容并输出。
可选的,所述方法还包括:
根据各帧心动图像所对应的时序及二尖瓣开口间距,绘制用于表征帧数与二尖瓣开口间距之间的对应关系的开口间距频谱图。
可选的,述根据当前帧心动图像,获取二尖瓣感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取二尖瓣感兴趣区域的位置信息。
为达到上述目的,本发明还提供一种电子设备,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现上文所述的二尖瓣开口间距检测方法。
为达到上述目的,本发明还提供一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上文所述的二尖瓣开口间距检测方法。
与现有技术相比,本发明提供的二尖瓣开口间距检测方法、电子设备和存储介质具有以下优点:
本发明通过先根据所获取的当前帧心动图像,获取二尖瓣感兴趣区域的位置信息;再根据所述二尖瓣感兴趣区域的位置信息,采用瓣叶分割模型对所述当前帧心动图像所对应的二尖瓣感兴趣区域进行分割,以获取二尖瓣瓣叶掩膜图像;最后再对所述二尖瓣瓣叶掩膜图像进行连通域分析,并在所述连通域的分析结果为所述二尖瓣瓣叶掩膜图像中存在两个像素面积大于第一预设阈值的连通域时,根据这两个像素面积大于所述第一预设阈值的连通域,提取出两个瓣叶轮廓,并根据两个所述瓣叶轮廓上的各个像素点的坐标,获取所述当前帧心动图像所对应的二尖瓣开口间距。由此可见,本发明能够自动进行二尖瓣开口间距的检测,为二尖瓣是否狭窄的诊断提供评估依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题,进而可以更好地辅助医生提高诊断效率,有效降低现有技术中利用超声心动图进行二尖瓣异常分析过程中因误诊而引起的风险。
附图说明
图1为本发明一实施方式提供的二尖瓣开口间距检测方法的流程示意图;
图2为本发明一具体示例提供的心动图像中的候选二尖瓣感兴趣区域和最终的二尖瓣感兴趣区域的示意图;
图3为本发明一具体示例提供的心动图像中的二尖瓣感兴趣区域的标注示意图;
图4为对图3所示的心动图像中的二尖瓣感兴趣区域进行分割所得到的二尖瓣瓣叶掩膜图像;
图5为本发明一具体示例提供的医生勾画出二尖瓣开口间距径线的示意图;
图6为本发明一具体示例提供的间距径线的边框的绘制示意图;
图7为本发明第一种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的具体流程示意图;
图8为本发明第一种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的原理示意图;
图9为本发明第一种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的结果示意图;
图10为本发明第一种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的迭代过程示意图;
图11为本发明第二种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的具体流程示意图;
图12为本发明第二种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的原理示意图;
图13为本发明一具体示例提供的开口间距频谱图;
图14为本发明一具体示例提供的最大二尖瓣开口间距所对应的心动图像的绘制示意图;
图15为本发明一具体示例提供的目标检测模型的结构示意图;
图16a为本发明一具体示例提供的第一残差模块的结构示意图;
图16b为本发明一具体示例提供的第二残差模块的结构示意图;
图16c为本发明一具体示例提供的第三残差模块的结构示意图;
图16d为本发明一具体示例提供的第四残差模块的结构示意图;
图17为本发明一具体示例提供的标注好的样本心动图像;
图18为本发明一具体示例提供的密集连接块的结构示意图;
图19为本发明一具体示例提供的瓣叶分割模型的结构示意图;
图20为本发明一具体示例提供的瓶颈层的结构示意图;
图21为本发明一具体示例提供的过渡块的结构示意图;
图22为本发明一具体示例提供的向上过渡块的结构示意图;
图23为本发明一实施方式提供的电子设备的方框结构示意图。
其中,附图标记如下:
处理器-101;通信接口-102;存储器-103;通信总线-104。
具体实施方式
以下结合附图和具体实施方式对本发明提出的二尖瓣开口间距检测方法、电子设备和存储介质作进一步详细说明。根据下面说明,本发明的优点和特征将更清楚。需要说明的是,附图采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂,请参阅附图。须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明实施的限定条件,任何结构的修饰、比例关系的改变或大小的调整,在与本发明所能产生的功效及所能达成的目的相同或近似的情况下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素,术语“多个”包括两个的情形。
此外,在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
本发明的核心思想在于提供一种二尖瓣开口间距检测方法、电子设备和存储介质,可以自动进行二尖瓣长轴瓣叶最窄处的开口间距的检测,为二尖瓣是否狭窄的诊断提供依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题,进而可以更好地辅助医生提高诊断效率。
需要说明的是,本发明实施方式的二尖瓣开口间距检测方法可应用于本发明实施方式的电子设备上,其中,该电子设备可以是个人计算机、移动终端等,该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。
为实现上述思想,本发明提供一种二尖瓣开口间距检测方法,请参考图1,其示意性地给出了本发明一实施方式提供的二尖瓣开口间距检测方法的流程示意图,如图1所示,所述二尖瓣开口间距检测方法包括如下步骤:
步骤S100、根据所获取的当前帧心动图像,获取二尖瓣感兴趣区域的位置信息。
步骤S200、根据所述二尖瓣感兴趣区域的位置信息,采用瓣叶分割模型对所述当前帧心动图像所对应的二尖瓣感兴趣区域进行分割,以获取二尖瓣瓣叶掩膜图像。
步骤S300、对所述二尖瓣瓣叶掩膜图像进行连通域分析,若所述连通域的分析结果为所述二尖瓣瓣叶掩膜图像中存在两个像素面积大于第一预设阈值的连通域,则根据这两个像素面积大于所述第一预设阈值的连通域,提取出两个瓣叶轮廓,并根据两个所述瓣叶轮廓上的各个像素点的坐标,获取所述当前帧心动图像所对应的二尖瓣开口间距。
由此可见,本发明能够自动进行二尖瓣开口间距的检测,为二尖瓣是否狭窄的诊断提供评估依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题,进而可以更好地辅助医生提高诊断效率,有效降低现有技术中利用超声心动图进行二尖瓣异常分析过程中因误诊而引起的风险。
具体地,所述当前帧心动图像是从所获取的超声心动视频(含有若干个心动周期)中提取得到的。超声心动视频的分辨率可以根据具体情况进行设置,例如600×800,所述超声心动视频具体为超声设备采集的psax-av切面影像。需要说明的是,如本领域技术人员所能理解的,所述当前帧为动态变化的,即所述当前帧心动图像是随着时间而改变的,在完成当前帧心动图像的二尖瓣开口间距检测后,继续提取下一帧心动图像作为新的当前帧心动图像继续进行二尖瓣开口间距的检测,直至完成所有帧的心动图像的二尖瓣开口间距的检测。此外,需要说明的是,虽然本发明是以超声心动图为例进行说明,但是如本领域技术人员所能理解的,所述心动图还可以为采用除超声设备以外的其它医学设备(例如心脏内窥镜)采集的心动图,本发明对此并不进行限定。
需要说明的是,如本领域技术人员所能理解的,当所述当前帧心动图像的采集时刻为二尖瓣关闭时,则所述当前帧心动图像所对应的二尖瓣瓣叶掩膜图像中只存在一个像素面积大于所述第一预设阈值的连通域,由于二尖瓣关闭时,开口间距为0,因此若所述二尖瓣瓣叶掩膜图像的分析结果为只存在一个像素面积大于所述第一预设阈值的连通域,则说明所述当前帧心动图像所对应的二尖瓣开口间距为0。当所述当前帧心动图像的采集时刻为二尖瓣张开时,则所述当前帧心动图像所对应的二尖瓣瓣叶掩膜图像中存在两个像素面积大于所述第一预设阈值的连通域,这两个连通域所限定的区域即为二尖瓣的两个瓣叶,因此,通过提取出这两个连通的外轮廓即可提取出两个瓣叶轮廓,从而根据所提取出的两个瓣叶轮廓上的各个像素点的坐标,即可获取所述当前帧心动图像所对应的二尖瓣开口间距。
在一种示范性的实施方式中,所述根据当前帧心动图像,获取二尖瓣感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取二尖瓣感兴趣区域的位置信息。
由此,通过采用预先训练好的目标检测模型对所述当前帧心动图像进行检测,可以获取当前帧心动图像所对应的二尖瓣感兴趣区域所在位置的预测结果。具体可以以预测出的二尖瓣感兴趣区域的边框的左上角的像素点的坐标以及右下角的像素点的坐标表示所预测出的二尖瓣感兴趣区域的位置信息。
进一步地,所述采用目标检测模型对所述当前帧心动图像进行检测,以获取二尖瓣感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取候选二尖瓣感兴趣区域的位置信息;
根据所述候选二尖瓣感兴趣区域的位置信息,计算放大预设倍数后的二尖瓣感兴趣区域的位置信息;
将放大预设倍数后的所述候选二尖瓣感兴趣区域的位置信息作为最终的所述二尖瓣感兴趣区域的位置信息。
由于采用目标检测模型虽然可以在当前帧心动图像中检测出二尖瓣感兴趣区域,为后续的瓣叶分割模型提供初步定位,但是也会造成二尖瓣周围组织等细节信息的丢失,由此本发明通过根据所述候选二尖瓣感兴趣区域的位置信息,计算放大预设倍数后的候选二尖瓣感兴趣区域的位置信息,即将目标检测模型检测得到的候选二尖瓣感兴趣区域的原始边框(bounding box)放大预设倍数,例如1.3倍,以得到放大后的边框,该放大后的边框所限定的区域即为最终的二尖瓣感兴趣区域,由于该放大后的边框所限定的区域包括的二尖瓣周围组织等细节信息,由此可以进一步提高后续瓣叶分割模型的分割精度。需要说明的是,如本领域技术人员所能理解的,放大后的边框的中心位置与原始边框的中心位置一致。请参考图2,其示意性地给出了本发明一具体示例提供的心动图像中的候选二尖瓣感兴趣区域和最终的二尖瓣感兴趣区域的示意图。如图2所示,图中的虚线边框所限定的区域即为候选二尖瓣感兴趣区域;图中的实线边框限定的区域即为通过对候选二尖瓣感兴趣区域(即虚线边框)进行放大所得到的最终的二尖瓣感兴趣区域。
在一种示范性的实施方式中,在采用目标检测模型对所获取的当前帧心动图像进行检测,以获取二尖瓣感兴趣区域的位置信息之后,所述方法还包括:
根据所述当前帧心动图像所对应的时序,对所述二尖瓣感兴趣区域的位置信息进行修正。
由此,通过对由目标检测模型所得到的二尖瓣感兴趣区域的位置信息进行修正,可以进一步提高二尖瓣感兴趣区域的提取精度,进一步保证后续瓣叶分割的准确性。具体地,可以采用光流法对所述二尖瓣感兴趣区域的位置信息进行修正,以获取修正后的二尖瓣感兴趣区域的位置信息。需要说明的是,如本领域技术人员所能理解的,光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。
在一种示范性的实施方式中,所述根据所述二尖瓣感兴趣区域的位置信息,采用瓣叶分割模型对所述当前帧心动图像所对应的二尖瓣感兴趣区域进行分割,以获取二尖瓣瓣叶掩膜图像,包括:
根据所述二尖瓣感兴趣区域的位置信息,在所述当前帧心动图像上裁剪出对应的区域,以获取二尖瓣感兴趣区域图像;
采用瓣叶分割模型对所述二尖瓣感兴趣区域图像进行分割,以获取二尖瓣瓣叶掩膜图像。
由此,通过先在所述当前帧心动图像上裁剪出二尖瓣感兴趣区域,以获取二尖瓣感兴趣区域图像,再采用瓣叶分割模型对所述二尖瓣感兴趣区域图像进行分割,可以进一步减少瓣叶分割模型的计算量,进而可以进一步提高计算效率。请参考图3和图4,其中图3示意性地给出了本发明一具体示例提供的心动图像中的二尖瓣感兴趣区域的标注示意图,图3中的实线边框所限定的区域即为二尖瓣感兴趣区域;图4示意性地给出了对图3所示的心动图像中的二尖瓣感兴趣区域进行分割所得到的二尖瓣瓣叶掩膜图像,图中的两条白色曲线轮廓为医生勾画出的二尖瓣瓣叶轮廓。如图3和图4所示,通过对所述当前帧心动图像所对应的二尖瓣感兴趣区域进行分割,可以准确地获取二尖瓣瓣叶掩膜图像,从而为后续的二尖瓣开口间距的计算奠定良好的基础。
在一种示范性的实施方式中,在采用瓣叶分割模型对所述二尖瓣感兴趣区域图像进行分割之前,所述方法还包括:
将所述二尖瓣感兴趣区域图像的尺寸调整至预设尺寸。
对应地,所述采用瓣叶分割模型对所述二尖瓣感兴趣区域图像进行分割,包括:
采用瓣叶分割模型对调整至预设尺寸的所述二尖瓣感兴趣区域图像进行分割。
当所述瓣叶分割模型为神经网络模型时,由于神经网络模型需要统一大小的图像作为输入,由此通过将所述二尖瓣感兴趣区域图像的尺寸调整至预设尺寸,可以满足瓣叶分割模型的输入需要。具体地,所述预设尺寸可以根据具体情况进行设置。作为一种优选,在所述预设尺寸中,图像的长度方向尺寸与宽度方向相一致,即调整至预设尺寸后的图像为方形图像,例如所述预设尺寸为320*320。由此,通过将预设尺寸中的长度方向尺寸和宽度方向设置为一致,可以更加便于将所述二尖瓣感兴趣区域图像的尺寸调整至所述预设尺寸。
在一种示范性的实施方式中,所述根据两个所述瓣叶轮廓上的各个像素点的坐标,获取所述当前帧心动图像所对应的二尖瓣开口间距,包括:
根据两个所述瓣叶轮廓上的各个像素点的坐标,计算两个所述瓣叶轮廓之间的最小像素距离:
根据所述最小像素距离以及预先获取的像素距离与物理距离之间的对应关系,获取所述当前帧心动图像所对应的二尖瓣开口间距。
具体地,可以以所述二尖瓣瓣叶掩膜图像的左上角上的像素点为原点,以所述二尖瓣瓣叶掩膜图像的宽度方向为X轴(其中向右的方向为X轴的正方向),以所述二尖瓣瓣叶掩膜图像的高度方向为Y轴(其中向下的方向为Y轴的正方向),创建图像坐标系,即可获取两个所述瓣叶轮廓上的各个像素点在所述图像坐标系下的坐标,进而根据两个所述瓣叶轮廓上的各个像素点的坐标,即可计算出两个所述瓣叶轮廓之间的最小像素距离;再根据所计算出的最小像素距离以及预先获取的像素距离与物理距离之间的对应关系,即可获取两个所述瓣叶轮廓之间的最小物理距离,也即所述当前帧心动图像所对应的二尖瓣开口间距。
具体地,可以根据医生事先勾画出的二尖瓣开口间距径线,进行间距径线的边框的绘制,以获取所述边框的左上角的像素点的坐标以及所述边框的长和宽,并以此计算所述边框的对角线的像素长度,所述边框的对角线的像素长度即为两个瓣叶之间的像素距离,再根据医生所测量出的两个瓣叶之间的真实距离(即物理距离),即可获取像素距离与物理距离之间的对应关系。请参考图5和图6,其中,图5示意性地给出了本发明一具体示例提供的医生勾画出二尖瓣开口间距径线的示意图;图6为本发明一具体示例提供的间距径线的边框的绘制示意图。如图5和图6所示,图5和图6中的白色实线表示二尖瓣开口间距径线,图6中的虚线框表示所绘制出的间距径线的边框。
请参考图7,其示意性地给出了本发明第一种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的具体流程示意图。如图7所示,在本实施方式中,所述根据两个所述瓣叶轮廓上的各个像素点的坐标,计算两个所述瓣叶轮廓之间的最小像素距离,包括:
步骤A、根据两个所述瓣叶轮廓上的各个像素点的坐标,分别在两个所述瓣叶轮廓上各确定出一个像素点作为起始点;
步骤B、以所确定出的两个起始点作为一条直径的两个端点作圆;
步骤C、判断所作出的圆是否与两个所述瓣叶轮廓存在新交点,若否,则执行步骤D,若是,则执行步骤E;
步骤D、将所作出的圆的直径作为两个所述瓣叶轮廓之间的最小像素距离;
步骤E、判断所述新交点的个数是否大于或等于2,若是,则执行步骤E1,若否,则执行步骤E2;
步骤E1、以位于不同瓣叶轮廓上的两个所述新交点作为一条新直径的两个端点作圆,并返回执行步骤C;
步骤E2、以所述新交点和位于另一个瓣叶轮廓上的原交点作为一条新直径的两个端点作圆,并返回执行步骤C。
本实施方式主要是采用圆切点几何方法来计算二尖瓣开口间距,具体地,请参考图8,其示意性地给出了本发明第一种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的原理示意图。如图8所示,上瓣叶轮廓上确定出的起始点为点A、下瓣叶轮廓上确定出的起始点为点B,以点A和点B为直径的两个端点所作的圆与上瓣叶轮廓存在一个新交点C,与下瓣叶轮廓存在一个新交点D,由于以点A和点B为直径的两个端点所作的圆与上瓣叶轮廓和下瓣叶轮廓这两个瓣叶轮廓共存在2个新交点,则接下来需要再以点C和点D这两个新交点作为新直径的两个端点继续作圆,若以点C和点D这两个新交点作为新直径的两个端点所作的圆与上瓣叶轮廓和下瓣叶轮廓均不存在新交点(即以点C和点D这两个新交点作为新直径的两个端点所作的圆与上瓣叶轮廓和下瓣叶轮廓相切),则以点C和点D之间的距离作为上瓣叶轮廓和下瓣叶轮廓之间的最小像素距离。若以点C和点D这两个新交点作为新直径的两个端点所作的圆与上瓣叶轮廓存在至少一个新交点,与下瓣叶轮廓存在至少一个新交点,则分别以位于上瓣叶轮廓上的其中一个新交点以及位于下瓣叶轮廓上的其中一个新交点作为新直径的两个端点继续作圆;若以点C和点D这两个新交点作为新直径的两个端点所作的圆只与上瓣叶轮廓存在一个新交点,则以该新交点和点D(原交点)作为新直径的两个端点继续作圆;若以点C和点D这两个新交点作为新直径的两个端点所作的圆只与下瓣叶轮廓存在一个新交点,则以该新交点和点C(原交点)作为新直径的两个端点继续作圆;若所作的圆与上瓣叶轮廓和下瓣叶轮廓这两个瓣叶轮廓还存在新交点,则根据新交点继续作圆,直至所作的圆与上瓣叶轮廓和下瓣叶轮廓均相切。请继续参考图9,其示意性地给出了本发明第一种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的结果示意图,图中的白色直线的像素长度即为上瓣叶轮廓和下瓣叶轮廓之间的最小像素距离。如图9所示,当所作的圆与上瓣叶轮廓和下瓣叶轮廓均不存在新的交点(即相切)时,则停止作圆,并以该圆的直径作为上瓣叶轮廓和下瓣叶轮廓之间的最小像素距离。需要说明的是,如本领域技术人员所能理解的,以某一直径作圆后,可以求出所作圆的轮廓上的各像素点的坐标,圆上各像素点的坐标以集合M表示,两个瓣叶轮廓上的各像素点的坐标以集合N表示,集合M和集合N的并集即为圆与两个瓣叶轮廓的交点的坐标集合,也即根据集合M和集合N的并集即可求出圆与两个瓣叶轮廓的所有交点(包括直径上的两个端点在内),若集合M和集合N的并集所对应的交点个数大于2,则继续进行下一次迭代;若集合M和集合N的并集所对应的交点个数等于2,则停止迭代,所作圆的直径即为上瓣叶轮廓和下瓣叶轮廓之间的最小像素距离。请继续参考图10,其示意性地给出了本发明第一种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的迭代过程示意图。如图10所示,图中的灰色圆轮廓为持续迭代中所构建的圆,白色实线为图中的直径较小的圆与上瓣叶轮廓的新交点以及与下瓣叶轮廓的新交点所构成的径线,也即下一个迭代圆的直径。
进一步地,所根据两个所述瓣叶轮廓上的各个像素点的坐标,分别在两个所述瓣叶轮廓上各确定出一个像素点作为起始点,包括:
针对每一所述瓣叶轮廓,根据该所述瓣叶轮廓上的各个像素点的坐标,将位于最左侧的像素点作为该瓣叶轮廓上的起始点;或者
针对每一所述瓣叶轮廓,根据该所述瓣叶轮廓上的各个像素点的坐标,将X坐标、Y坐标之和最小的像素点作为该瓣叶轮廓上的起始点。
由此,针对每一个瓣叶轮廓,通过将位于该瓣叶轮廓最左侧的像素点或者将该瓣叶轮廓上的X坐标、Y坐标之和最小的像素点作为起始点,可以有效减少迭代次数,从而能够更加快速地计算出两个瓣叶轮廓之间的最小像素距离,提高二尖瓣开口间距的计算效率。具体地,针对每一所述瓣叶轮廓,将该瓣叶轮廓上的所有像素点的X坐标进行排序,则X坐标最小的像素点即为位于该瓣叶轮廓最左侧的像素点。
更进一步地,针对步骤E1,所述方法还包括:
判断位于不同瓣叶轮廓上的两个所述新交点之间的距离与当前所作出的圆的直径之间的差值的绝对值是否小于第二预设阈值;
若是,则将两个所述新交点之间的距离作为两个所述瓣叶轮廓之间的最小像素距离;
若否,则以两个所述新交点作为一条新直径的两个端点作圆;
针对步骤E2,所述方法还包括:
判断所述新交点和位于另一个瓣叶轮廓上的原交点之间的距离与当前所作出的圆的直径之间的差值的绝对值是否小于所述第二预设阈值;
若是,则将所述新交点和位于另一个所述瓣叶轮廓上的原交点之间的距离作为两个所述瓣叶轮廓之间的最小像素距离;
若否,则以所述新交点和位于另一个瓣叶轮廓上的原交点作为一条新直径的两个端点作圆。
由此,针对新交点的个数大于或等于2的情况,只有在位于不同瓣叶轮廓上的两个所述新交点之间的距离与当前所作出的圆的直径之间的差值的绝对值大于或等于所述第二预设阈值时,才继续以这两个新交点作为一条新直径的两个端点继续作圆;针对新交点的个数等于1的情况,只有在所述新交点和位于另一个瓣叶轮廓上的原交点之间的距离与当前所作出的圆的直径之间的差值的绝对值大于或等于所述第二预设阈值时,才继续以这个新交点和位于另一个瓣叶轮廓上的原交点作为一条新直径的两个端点继续作圆,从而可以有效减少迭代次数,进一步提高二尖瓣开口间距的检测效率。
请继续参考图11,其示意性地给出了本发明第二种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的具体流程示意图。如图11所示,所述根据两个所述瓣叶轮廓上的各个像素点的坐标,计算两个所述瓣叶轮廓之间的最小像素距离,包括:
根据两个所述瓣叶轮廓上的各个像素点的坐标,利用支持向量机确定出用于区分两个所述瓣叶轮廓的决策边界以及位于各个所述瓣叶轮廓上的支持向量,所述支持向量为所述瓣叶轮廓上的距离所述决策边界最近的像素点;
针对每一所述支持向量,以该支持向量为起点向所述决策边界作垂线,若所述垂线与另一个所述瓣叶轮廓存在交点,则将该支持向量作为目标支持向量;
针对每一所述目标支持向量,计算该目标支持向量与对应的所述交点之间的像素距离;
将计算出的最小的像素距离作为两个所述瓣叶轮廓之间的最小像素距离。
具体地,请参考图12,其示意性地给出了本发明第二种实施方式提供的计算两个瓣叶轮廓之间的最小像素距离的原理示意图。如图12所示,通过采用支持向量机可以实现对瓣叶轮廓上的各个像素点进行二元分类(即区分哪些像素点是位于上瓣叶轮廓上的,哪些像素点是位于下瓣叶轮廓上的),其中灰色实线为确定出的决策边界,两条虚线为两个瓣叶轮廓的上下边界,位于上边界以上的像素点为上瓣叶轮廓上的像素点,位于下边界以下的像素点为下瓣叶轮廓上的像素点,位于所述上边界上的像素点(即所述上瓣叶轮廓上的距离所述决策边界最近的像素点)即为上瓣叶轮廓上的支持向量,位于下边界上的像素点(即所述下瓣叶轮廓上的距离所述决策边界最近的像素点)即为下瓣叶轮廓上的支持向量。在确定出决策边界和支持向量后,针对上瓣叶轮廓上的每一个支持向量,以该支持向量为起点向所述决策边界作垂线,若所作垂线与下瓣叶轮廓存在交点,则将该支持向量作为目标支持向量,并计算该目标支持向量与该交点之间的像素距离(若存在多个交点,则分别计算该目标支持向量与每一个交点之间的像素距离,或者只计算距离该目标支持向量最近的交点与该目标支持向量之间的像素距离);同理,针对下瓣叶轮廓上的每一个支持向量,以该支持向量为起点向所述决策边界作垂线,若所作垂线与上瓣叶轮廓存在交点,则将该支持向量作为目标支持向量,并计算该目标支持向量与该交点之间的像素距离(若存在多个交点,则分别计算该目标支持向量与每一个交点之间的像素距离,或者只计算距离该目标支持向量最近的交点与该目标支持向量之间的像素距离)。最后,对所计算出的各个像素距离进行排序,计算出的最小的像素距离即为上瓣叶轮廓与下瓣叶轮廓之间的最小像素距离。
进一步地,所述确定各个所述瓣叶轮廓上的决策向量及各个所述瓣叶轮廓上的支持向量包括:
对两个瓣叶轮廓上的各个像素点进行二元分类,获取位于上瓣叶轮廓上的像素点及位于下瓣叶轮廓上的像素点,以确定决策边界;
将所述上瓣叶轮廓上的距离所述决策边界最近的像素点作为上瓣叶轮廓上的支持向量,以及,将所述下瓣叶轮廓上的距离所述决策边界最近的像素点作为下瓣叶轮廓上的支持向量。
具体地,可以使用支持向量机(SupportVector Machine,SVM)对瓣叶轮廓各点坐标进行二元分类。由于各像素点所在的特征空间存在决策边界,即是将像素点按上瓣叶轮廓和下瓣叶轮廓划分的分类边界,如图12所示,所有在决策边界(分类边界)上方的像素点属于上瓣叶轮廓,在边界下方的坐标点属于下瓣叶轮廓,此分类边界(决策边界)需要使各侧的边缘最大化,以减小分类的差错率。
其中,决策边界的公式可表示为:
WTX+b=0
式中,W为特征权重向量即为决策边界的法向量,b为偏差值即为决策边界的截距,X为各像素点的坐标所构成的集合。满足边缘最大化的决策边界构成了2个平行的上下边界,其中上边界的公式可以表示为:
WTX+b=1
下边界的公式可以表示为:
WTx+b=-1
其中,位于上边界上的像素点即为上瓣叶轮廓上的支持向量,位于下边界上的像素点即为下瓣叶轮廓上的支持向量。在确定出上瓣叶轮廓上的支持向量和下瓣叶轮廓上的支持向量后,针对上瓣叶轮廓上的每一个支持向量,以该支持向量为起点向所述决策边界作垂线,若所作垂线与下瓣叶轮廓存在交点,则将该支持向量作为目标支持向量,并计算该目标支持向量与该交点之间的像素距离;同理,针对下瓣叶轮廓上的每一个支持向量,以该支持向量为起点向所述决策边界作垂线,若所作垂线与上瓣叶轮廓存在交点,则将该支持向量作为目标支持向量,并计算该目标支持向量与该交点之间的像素距离。最后,对所计算出的各个像素距离进行排序,计算出的最小的像素距离即为上瓣叶轮廓与下瓣叶轮廓之间的最小像素距离。
在一种示范性的实施方式中,所述方法还包括:
根据各帧心动图像所对应的时序及二尖瓣开口间距,绘制用于表征帧数与二尖瓣开口间距之间的对应关系的开口间距频谱图。
请参考图13,其示意性地给出了本发明一具体示例提供的开口间距频谱图。如图13所示,所述开口间距频谱图的横轴为帧数,纵轴为二尖瓣开口间距,由此,通过绘制所述开口间距频谱图,可以显示出每一帧心动图像所对应的二尖瓣开口间距,从而更加便于医生查看检测结果。
在一种示范性的实施方式中,在获取所有帧心动图像所对应的二尖瓣开口间距后,所述方法还包括:
在最大二尖瓣开口间距所对应的心动图像上绘制出两个所述瓣叶轮廓、二尖瓣开口间距径线以及所述最大二尖瓣开口间距的文本内容并输出。
请继续参考图14,其示意性地给出了本发明一具体示例提供的最大二尖瓣开口间距所对应的心动图像的绘制示意图。如图14所示,图中的矩形框所限定的区域即为二尖瓣感兴趣区域,图中的两条白色曲线表示两个瓣叶轮廓,图中的白色直线即为二尖瓣开口间距径线,图中左上文的文字“dist=2.82”(单位为cm)即为最大二尖瓣开口间距。由此,通过在最大二尖瓣开口间距所对应的心动图像上绘制出两个所述瓣叶轮廓、二尖瓣开口间距径线以及所述最大二尖瓣开口间距的文本内容,可以便于医生更加直观地查看检测结果,以使得医生能够根据该最大二尖瓣开口间距对患者的二尖瓣是否狭窄作出诊断,更有利于提高医生诊断的准确率。
在一种示范性的实施方式中,在最大二尖瓣开口间距所对应的心动图像上绘制出两个所述瓣叶轮廓、二尖瓣开口间距径线以及所述最大二尖瓣开口间距的文本内容后,所述方法还包括:
对所述心动图像进行去噪处理,以滤除所述心动图像上的噪声。
具体地,可以采用中值滤波法将所述心动图像中的每一像素点的灰度值设置为该像素点的邻域窗口内的所有像素点的灰度值的中值,其中滤波内核的尺寸参数可以根据具体情况进行设置,例如设置为5×5,由此通过采用中值滤波法可以有效去除所述心动图像中的椒盐噪声。需要说明的是,如本领域技术人员所能理解的,在其它一些实施方式中,还可以采用除中值滤波法以外的其它滤波法对所述心动图像进行滤波处理,本发明对此并不进行限定。
在一种示范性的实施方式中,所述目标检测模型为ResNet50神经网络模型。由于ResNet中使用了跳跃连接(或称捷径),它将某一层的网络层激活值,直接传递给网络的更深层,另外跳跃连接只传递数据,通过跳跃连接,反向传播时信号可以无衰减地传递,不用担心梯度会发生改变,能够向上一层传递有效的梯度,由此,通过跳跃连接能够有效的缓解因为加深网络层而导致的梯度消失问题,通过Residual block(残差模块)的堆叠,可以构建非常深的网络模型,使深的网络层次也能进行有效的训练。
进一步地,所述目标检测模型包括第一卷积层、第一池化层、多个级联的残差子网络、第二池化层和全连接层,其中,所述第一卷积层用于对输入的所述当前帧心动图像进行二尖瓣特征的提取,所述第一池化层用于对所述第一卷积层的输出进行池化操作,所述残差子网络用于对所述第一池化层的输出或上一级所述残差子网络的输出进行二尖瓣特征的提取,所述第二池化层用于对最后一级所述残差子网络的输出进行池化操作,所述全连接层用于对所述第二池化层的输出进行非线性映射回归,以获取二尖瓣感兴趣区域的位置信息。
更进一步地,每一所述残差子网络包括多个级联的残差模块,每一所述残差模块包括多个级联的第二卷积层,其中,第一级所述第二卷积层的输入与最后一级所述第二卷积层的输出相加后作为所述残差模块的输出。
进一步地,位于第一级的所述第二卷积层的卷积核的尺寸和位于最后一级的所述第二卷积层的卷积核的尺寸均为1×1。
具体地,请参考图15,其示意性地给出了本发明一具体示例提供的目标检测模型的结构示意图。如图15所示,在本示例中,所述目标检测模型包括第一卷积层、第一池化层、第一残差子网络、第二残差子网络、第三残差子网络、第四残差子网络、第二池化层和全连接层。其中,所述第一卷积层用于对输入的所述当前帧心动图像进行二尖瓣特征的提取,所述第一池化层用于对所述第一卷积层的输出进行池化操作,所述第一残差子网络用于对所述第一池化层的输出进行二尖瓣特征的提取,所述第二残差子网络用于对所述第一残差子网络的输出进行二尖瓣特征的提取,所述第三残差子网络用于对所述第二残差子网络的输出进行二尖瓣特征的提取,所述第四残差子网络用于对所述第三残差子网络的输出进行二尖瓣特征的提取,所述第二池化层用于对所述第四残差子网络的输出进行池化操作,所述全连接层用于对所述第二池化层的输出进行非线性映射回归,以获取二尖瓣感兴趣区域的位置信息。进一步地,所述第一池化层为最大池化层,所述第二池化层为平均池化层。
进一步地,所述第一残差子网络包括3个级联的第一残差模块,所述第二残差子网络包括4个级联的第二残差模块,所述第三残差子网络包括6个级联的残差模块C1,所述第四残差子网络包括3个级联的第四残差模块。请继续参考图16a,其示意性地给出了本发明一具体示例提供的第一残差模块的结构示意图。如图16a所示,所述第一残差模块包括3个级联的第二卷积层,分别为第二卷积层A1、第二卷积层A2和第二卷积层A3,其中第二卷积层A1的卷积核的尺寸为1×1,输出通道数为64,步长为1,第二卷积层A2的卷积核的尺寸为3×3,输出通道数为64,步长为1,第二卷积层A3的卷积核的尺寸为1×1,输出通道数为256,步长为1,所述第二卷积层A1的输入的恒等映射与所述第二卷积层A3的输出相加后作为所述第一残差模块的输出。请继续参考图16b,其示意性地给出了本发明一具体示例提供的第二残差模块的结构示意图,如图16b所示,所述第二残差模块包括3个级联的第二卷积层,分别为第二卷积层B1、第二卷积层B2和第二卷积层B3,其中第二卷积层B1的卷积核的尺寸为1×1,输出通道数为128,步长为1,第二卷积层B2的卷积核的尺寸为3×3,输出通道数为128,步长为2,第二卷积层B3的卷积核的尺寸为1×1,输出通道数为512,步长为1,所述第二卷积层B1的输入的恒等映射与所述第二卷积层B3的输出相加后作为所述第二残差模块的输出。请继续参考图16c,其示意性地给出了本发明一具体示例提供的第三残差模块的结构示意图,如图16c所示,所述第三残差模块包括3个级联的第二卷积层,分别为第二卷积层C1、第二卷积层C2和第二卷积层C3,其中第二卷积层C1的卷积核的尺寸为1×1,输出通道数为256,步长为1,第二卷积层C2的卷积核的尺寸为3×3,输出通道数为256,步长为2,第二卷积层C3的卷积核的尺寸为1×1,输出通道数为1024,步长为1,所述第二卷积层C1的输入的恒等映射与所述第二卷积层C3的输出相加后作为所述第三残差模块的输出。请继续参考图16d,其示意性地给出了本发明一具体示例提供的第四残差模块的结构示意图,如图16d所示,所述第四残差模块包括3个级联的第二卷积层,分别为第二卷积层D1、第二卷积层D2和第二卷积层D3,其中第二卷积层D1的卷积核的尺寸为1×1,输出通道数为512,步长为1,第二卷积层D2的卷积核的尺寸为3×3,输出通道数为512,步长为2,第二卷积层D3的卷积核的尺寸为1×1,输出通道数为2048,步长为1,所述第二卷积层D1的输入的恒等映射与所述第二卷积层D3的输出相加后作为所述第四残差模块的输出。
由于所述第二卷积层A1与所述第二卷积层A3之间的跳跃连接、所述第二卷积层B1与所述第二卷积层B3之间的跳跃连接、所述第二卷积层C1与所述第二卷积层C3之间的跳跃连接以及所述第二卷积层D1与所述第二卷积层D3之间的跳跃连接均采用恒等映射连接,由此可以在不增加额外参数和计算量的基础上,加快目标检测模型的训练速度,提升目标检测模型的训练效果。
进一步地,所述目标检测模型训练过程中所采用的样本为已标注出二尖瓣感兴趣区域的样本心动图像。具体地,可以根据医生事先已勾画出感兴趣区域的样本心动图像,采用阈值分割法对该样本心动图像中的感兴趣区域进行分割,以提取出所有层级的轮廓特征(包括二尖瓣瓣叶的外轮廓和内轮廓),并获取各个轮廓的边框的左上角的像素点的坐标以及右下角的像素点的坐标(左上角的像素点的X坐标加上边框的宽即为右下角的像素点的X坐标,左上角的像素点的Y坐标加上边框的长即为右下角的像素点的Y坐标),将坐标总值(X坐标和Y坐标之和)最小的左上角的像素点的坐标作为二尖瓣感兴趣区域的外接框的左上角的像素点的坐标,将坐标总值(X坐标和Y坐标之和)最大的右下角的像素点的坐标作为二尖瓣感兴趣区域的外接框的右下角的像素点的坐标,从而根据二尖瓣感兴趣区域的外接框的左上角和右下角的像素点的坐标即可在医生事先勾画的样本心动图像中标注出二尖瓣感兴趣区域,以获取目标检测模型训练所需的样本。请参考图17,其示意性的给出了本发明一具体示例提供的标注好的样本心动图像。如图17所示,图中的实线框所限定的区域为医生事先勾画出的二尖瓣感兴趣区域,图中的虚线框所限定的区域为最终标注出的二尖瓣感兴趣区域,最终标注出的二尖瓣感兴趣区域的位置信息由虚线框的左上角的像素点A和右下角的像素点B的坐标表示。
需要说明的是,如本领域技术人员所能理解的,由于目标检测模型需要统一大小的图像作为输入,因此需要将已标注出二尖瓣感兴趣区域的样本心动图像转换至预设尺寸,例如320×320。
在一种示范性的实施方式中,所述目标检测模型在训练过程中采用的损失函数为Focal Loss,Focal Loss的公式如下所示:
FL(Pt)=-(1-Pt)γlog(Pt)
式中,Pt表示预测概率,(1-Pt)γ是可调节因子,γ是可调节的聚焦参数。
由此,本发明通过采用引入了(1-Pt)γ作为可调节因子的Focal Loss函数作为模型训练过程中的损失函数,可以调节易分类样本权重的降低程度,更加便于模型的训练。
目标检测模型的模型参数包括两类:特征参数和超参数。特征参数是是神经网络模型不断迭代学习的,用于学习图像特征,例如二尖瓣特征。特征参数包括权重参数和偏置参数。超参数是在训练时人为设置的参数,只有设置合适的超参数才能从样本中学到特征参数。超参数可以包括学习率、隐藏层个数、卷积核大小、训练迭代次数,每次迭代批次大小。在具体训练时,将训练样本加载到预先构建的神经网络模型中,然后对网络模型中的参数进行初始设置,然后进行网络初始化,最后运行网络模型进行训练,训练一定的时间判断损失函数是否收敛,如果不收敛则继续训练,直至损失函数收敛为止,则训练过程完成,保存此时对应的权重参数。训练过程中,可采用随机梯度下降法更新网络的权重参数。作为示例,本发明将学习率设置为1e-5(即0.00001)并使用回调函数来更新学习率,在发现验证集的损失函数在2个epoch(训练周期)之后不再降低时,将学习率除以10,同时设置EarlyStopping(早停法)在监控平均精度均值(mAP)15个epoch(训练周期)后,截取保存结果最优的参数模型,以防止过拟合。其中,平均精度均值(mAP)的计算公式如下所示:
式中,P为准确率,R为召回率。
进一步地,本发明还采用测试集对训练好的目标检测模型进行测试,以评价目标检测模型的算法精度。具体地,可以通过计算所述目标检测模型的预测边框(预测的二尖瓣感兴趣区域的边框)与真实边框(真实的二尖瓣感兴趣区域的边框)的交并比IOU,以评价目标检测模型的算法精度。其中,交并比IOU的计算公式如下所示:
式中,A为测试集中的测试样本经目标检测模型检测后输出的预测边框,B为标注出的实际边框(即真实边框)。
在一种示范性的实施方式中,所述瓣叶分割模型为DenseNet神经网络模型,由于DenseNet神经网络模型是一种具有密集连接的卷积神经网络,每一层的输入来自前面所有层的输出,这种神经网络结构加强了特征的传递,更有效利用了特征,另外DenseNet神经网络模型具有较好的抗过拟合性能,尤其适合于训练数据相对匮乏的应用。因此,采用DenseNet神经网络模型作为本发明中的瓣叶分割模型,可以有效提高二尖瓣的分割效率和分割准确率。具体地,DenseNet神经网络模型由多个密集连接块通过过渡块连接组成,即任意相邻的两个密集连接块之间通过一过渡块相连,且密集连接块内的卷积输出通道的数量是一致的,以便于能够将每一层的特征信息进行叠加。
密集连接块中的一层称为瓶颈层,DenseNet中的密集连接将一个密集连接块中的每层与之后的所有层进行连接,实现特征复用。请参考图18,其示意性地给出了本发明一具体示例提供的密集连接块的结构示意图。如图18所示,假设一个密集连接块有L层瓶颈层,X0为密集连接块的输入(定义为第0层的输出),第l层将之前所有层的输出X0,……,XL-1作为输入,即第l层的输入与之前所有层的输出之间满足如下关系式:
Xl=HL([X0,X1,…XL-1])
其中,[X0,X1,…XL-1]表示将第0层到第L-1层的输出经过组合连接后作为第L层瓶颈层的输入,HL表示第L层瓶颈层的所有操作。具体地,每个所述瓶颈层都包含多种操作:批量归一化BN、ReLU激活函数和3×3卷积。
请继续参考图19,其示意性地给出了本发明一具体示例提供的瓣叶分割模型的结构示意图。如图19所示,在本示例中,所述瓣叶分割模型包括依次连接的第三卷积层、第三池化层、第一密集连接块、第一过渡块、第二密集连接块、第二过渡块、第三密集连接块、第三过渡块、第四密集连接块、第一向上过渡块、第二向上过渡块以及第四卷积层,所述第三池化层优选为最大池化层。其中,所述第三卷积层用于对输入的图像(即当前帧心动图像所对应的二尖瓣感兴趣区域图像)进行二尖瓣特征的提取,所述第三池化层用于对所述第三卷积层的输出进行池化操作,以去掉图像中的不必要的冗余信息,所述第一密集连接块用于对所述第三池化层的输出进行二尖瓣特征的提取,所述第一过渡块用于对所述第一密集连接块的输出进行压缩操作,以降低所述第一密集连接块所输出的特征图的尺寸,所述第二密集连接块用于对所述第一过渡块的输出进行二尖瓣特征的提取,所述第二过渡块用于对所述第二密集连接块的输出进行压缩操作,以降低所述第二密集连接块所输出的特征图的尺寸,所述第三密集连接块用于对所述第二过渡块的输出进行二尖瓣特征的提取,所述第三过渡块用于对所述第三密集连接块的输出进行压缩操作,以降低所述第三密集连接块所输出的特征图的尺寸,所述第一向上过渡块用于对所述第四密集连接块的输出进行反卷积操作,以增大所述第四密集连接块所输出的特征图的尺寸,所述第二向上过渡块用于对所述第一向上过渡块的输出进行反卷积操作,以增大所述第一向上过渡块所输出的特征图的尺寸,所述第四卷积层用于对所述第二向上过渡块的输出进行非线性映射回归,以获取二尖瓣瓣叶的分割结果。
具体地,所述第四卷积层可通过sigmoid函数对所述第二向上过渡块的输出进行非线性映射回归,sigmoid函数的公式如下所示:
由上式可知,Sigmoid函数可以将任意的输入实数映射到实数映射区间(0,1)内,当输入值x较大时,输出值g趋向于1,输入值x较小时,输出值g趋向于0。
需要说明的是,如本领域技术人员所能理解的,所述第一密集连接块、所述第二密集连接块、所述第三密集连接块和所述第四密集连接块均包括多个瓶颈层,且所述第一密集连接块、所述第二密集连接块、所述第三密集连接块和所述第四密集连接块所具有的瓶颈层的数目可以相同也可以不同,其具体数目可以根据实际需要进行设置,本发明对此并不进行限定,例如,所述第一密集连接块中可设有6层瓶颈层,所述第二密集连接块中可设有12层瓶颈层,所述第三密集连接块中可设有24层瓶颈层,所述第四密集连接块中可设有16层瓶颈层。
请继续参考图20,其示意性地给出了本发明一具体示例提供的瓶颈层的结构示意图。如图20所示,所述瓶颈层包括依次连接的第一批量归一化层A、第一激活层A、第五卷积层A、第一批量归一化层B、第一激活层B和第五卷积层B,其中、第五卷积层A的卷积核的尺寸为1×1,第五卷积层B的卷积核的尺寸为3×3。由此,本发明通过在瓶颈层的3×3的卷积之前加入1×1的卷积可以减少特征映射图的数量和降低每张特征映射图的维度,以减少计算量,还能够融合各个通道的特征。此外,由于所述瓶颈层在执行1×1和3×3的卷积操作之前均进行批量归一化BN操作和ReLU激活操作,由此可以进一步提升训练速度和收敛效率。
请继续参考图21,其示意性地给出了本发明一具体示例提供的过渡块的结构示意图。如图21所示,所述第一过渡块、所述第二过渡块和所述第三过渡块均包括依次连接的第二批量归一化层、第二激活层、第六卷积层和第四池化层,所述第四池化层优选为平均池化层。其中,所述第五卷积层的卷积核的尺寸为1×1。由此,通过所述第五卷积层的卷积操作能够对特征映射图进行降维,通过第四池化层的平均池化操作可以解决特征映射图的通道数过多的问题,防止过多的密集连接块导致的模型复杂化问题。此外,由于每一过渡块在进行1×1的卷积操作之前还进行批量归一化BN操作和ReLU激活操作,由此可以进一步压缩参数数量。
请继续参考图22,其示意性地给出了本发明一具体示例提供的向上过渡块的结构示意图。如图22所示,所述第一向上过渡块和所述第二向上过渡块均包括依次连接的第三批量归一化层A、第三激活层A、第七卷积层A、第三批量归一化层B、第三激活层B、第七卷积层B、第三批量归一化层C、第三激活层C和反卷积层,其中,所述第七卷积层A和所述第七卷积层B的卷积核的尺寸均为3×3。
进一步地,所述瓣叶分割模型训练过程中所采用的样本为二尖瓣感兴趣区域样本图像以及与所述二尖瓣感兴趣区域样本图像对应的二尖瓣瓣叶掩膜图像。具体地,可以采用OpenCV轮廓提取算法,在所述二尖瓣感兴趣区域样本图像中查找二尖瓣轮廓,以分割出二尖瓣瓣叶掩膜图像。
需要说明的是,如本领域技术人员所能理解的,由于瓣叶分割模型需要统一大小的图像作为输入,因此需要将二尖瓣感兴趣区域样本图像以及与所述二尖瓣感兴趣区域样本图像对应的二尖瓣瓣叶掩膜图像均转换至预设尺寸,例如320×320。
在一种示范性的实施方式中,所述瓣叶分割模型在训练过程中采用的损失函数为binary_crossentropy交叉熵损失函数,binary_crossentropy交叉熵损失函数的公式如下所示:
/>
式中,yi为真实标签,为预测结果。
进一步地,在完成瓣叶分割模型的训练后本发明还采用Dice coefficient公式对所述瓣叶分割模型的算法精度进行评价,Dice coefficient公式如下所示:
式中,X为预测结果,Y为真实标签。
作为一种示例,在瓣叶分割模型的训练过程中,设置学习率为1e-3(即0.001),并使用Adam(adaptive moment estimation)为优化器,利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率,并在优化器的参数中增加clipnorm=0.001用于对梯度进行裁剪。
基于同一发明构思,本发明还提供一种电子设备,请参考图23,示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图23所示,所述电子设备包括处理器101和存储器103,所述存储器103上存储有计算机程序,所述计算机程序被所述处理器101执行时,实现上文所述的二尖瓣开口间距检测方法。由于本发明提供的电子设备与上文所述的二尖瓣开口间距检测方法属于同一发明构思,因此本发明提供的电子设备具有上文所述的二尖瓣开口间距检测方法的所有优点,故不再对本发明提供的电子设备所具有的优点一一进行赘述。
如图23所示,所述电子设备还包括通信接口102和通信总线104,其中所述处理器101、所述通信接口102、所述存储器103通过通信总线104完成相互间的通信。所述通信总线104可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,EISA)总线等。该通信总线104可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。所述通信接口102用于上述电子设备与其他设备之间的通信。
本发明中所称处理器101可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器101是所述电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
所述存储器103可用于存储所述计算机程序,所述处理器101通过运行或执行存储在所述存储器103内的计算机程序,以及调用存储在存储器103内的数据,实现所述电子设备的各种功能。
所述存储器103可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明还提供了一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时可以实现上文所述的二尖瓣开口间距检测方法。由于本发明提供的可读存储介质与上文所述的二尖瓣开口间距检测方法属于同一发明构思,因此本发明提供的可读存储介质具有上文所述的二尖瓣开口间距检测方法的所有优点,故不再对本发明提供的可读存储介质所具有的优点一一进行赘述。
本发明实施方式的可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述,与现有技术相比,本发明提供的二尖瓣开口间距检测方法、电子设备和存储介质具有以下优点:
本发明通过先根据所获取的当前帧心动图像,获取二尖瓣感兴趣区域的位置信息;再根据所述二尖瓣感兴趣区域的位置信息,采用瓣叶分割模型对所述当前帧心动图像所对应的二尖瓣感兴趣区域进行分割,以获取二尖瓣瓣叶掩膜图像;最后再对所述二尖瓣瓣叶掩膜图像进行连通域分析,并根据所述连通域的分析结果,获取所述当前帧心动图像所对应的二尖瓣开口间距。由此可见,本发明能够自动进行二尖瓣开口间距的检测,为二尖瓣是否狭窄的诊断提供评估依据,不仅可以提高整体算法准确率,还可以减少人为因素可能产生的差异化问题,进而可以更好地辅助医生提高诊断效率,有效降低现有技术中利用超声心动图进行二尖瓣异常分析过程中因误诊而引起的风险。
应当注意的是,在本文的实施方式中所揭露的装置和方法,也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的,例如,附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用于执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
上述描述仅是对本发明较佳实施方式的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于本发明的保护范围。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若这些修改和变型属于本发明及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。
Claims (12)
1.一种二尖瓣开口间距检测方法,其特征在于,包括:
根据所获取的当前帧心动图像,获取二尖瓣感兴趣区域的位置信息;
根据所述二尖瓣感兴趣区域的位置信息,采用瓣叶分割模型对所述当前帧心动图像所对应的二尖瓣感兴趣区域进行分割,以获取二尖瓣瓣叶掩膜图像;
对所述二尖瓣瓣叶掩膜图像进行连通域分析,若所述连通域的分析结果为所述二尖瓣瓣叶掩膜图像中存在两个像素面积大于第一预设阈值的连通域,则根据这两个像素面积大于所述第一预设阈值的连通域,提取出两个瓣叶轮廓,并根据两个所述瓣叶轮廓上的各个像素点的坐标,获取所述当前帧心动图像所对应的二尖瓣开口间距。
2.根据权利要求1所述的二尖瓣开口间距检测方法,其特征在于,所述根据两个所述瓣叶轮廓上的各个像素点的坐标,获取所述当前帧心动图像所对应的二尖瓣开口间距,包括:
根据两个所述瓣叶轮廓上的各个像素点的坐标,计算两个所述瓣叶轮廓之间的最小像素距离:
根据所述最小像素距离以及预先获取的像素距离与物理距离之间的对应关系,获取所述当前帧心动图像所对应的二尖瓣开口间距。
3.根据权利要求2所述的二尖瓣开口间距检测方法,其特征在于,所述根据两个所述瓣叶轮廓上的各个像素点的坐标,计算两个所述瓣叶轮廓之间的最小像素距离,包括:
步骤A、根据两个所述瓣叶轮廓上的各个像素点的坐标,分别在两个所述瓣叶轮廓上各确定出一个像素点作为起始点;
步骤B、以所确定出的两个起始点作为一条直径的两个端点作圆;
步骤C、判断所作出的圆是否与两个所述瓣叶轮廓存在新交点,若否,则执行步骤D,若是,则执行步骤E;
步骤D、将所作出的圆的直径作为两个所述瓣叶轮廓之间的最小像素距离;
步骤E、判断所述新交点的个数是否大于或等于2,若是,则执行步骤E1,若否,则执行步骤E2;
步骤E1、以位于不同瓣叶轮廓上的两个所述新交点作为一条新直径的两个端点作圆,并返回执行步骤C;
步骤E2、以所述新交点和位于另一个瓣叶轮廓上的原交点作为一条新直径的两个端点作圆,并返回执行步骤C。
4.根据权利要求3所述的二尖瓣开口间距检测方法,其特征在于,针对步骤E1,所述方法还包括:
判断位于不同瓣叶轮廓上的两个所述新交点之间的距离与当前所作出的圆的直径之间的差值的绝对值是否小于第二预设阈值;
若是,则将两个所述新交点之间的距离作为两个所述瓣叶轮廓之间的最小像素距离;
若否,则以两个所述新交点作为一条新直径的两个端点作圆;
针对步骤E2,所述方法还包括:
判断所述新交点和位于另一个瓣叶轮廓上的原交点之间的距离与当前所作出的圆的直径之间的差值的绝对值是否小于所述第二预设阈值;
若是,则将所述新交点和位于另一个所述瓣叶轮廓上的原交点之间的距离作为两个所述瓣叶轮廓之间的最小像素距离;
若否,则以所述新交点和位于另一个瓣叶轮廓上的原交点作为一条新直径的两个端点作圆。
5.根据权利要求3所述的二尖瓣开口间距检测方法,其特征在于,所述根据两个所述瓣叶轮廓上的各个像素点的坐标,分别在两个所述瓣叶轮廓上各确定出一个像素点作为起始点,包括:
针对每一所述瓣叶轮廓,根据该所述瓣叶轮廓上的各个像素点的坐标,将位于最左侧的像素点作为该瓣叶轮廓上的起始点;或者
针对每一所述瓣叶轮廓,根据该所述瓣叶轮廓上的各个像素点的坐标,将X坐标、Y坐标之和最小的像素点作为该瓣叶轮廓上的起始点。
6.根据权利要求1所述的二尖瓣开口间距检测方法,其特征在于,所述根据两个所述瓣叶轮廓上的各个像素点的坐标,计算两个所述瓣叶轮廓之间的最小像素距离,包括:
根据两个所述瓣叶轮廓上的各个像素点的坐标,确定出用于区分两个所述瓣叶轮廓的决策边界以及位于各个所述瓣叶轮廓上的支持向量,所述支持向量为所述瓣叶轮廓上的距离所述决策边界最近的像素点;
针对每一所述支持向量,以该支持向量为起点向所述决策边界作垂线,若所述垂线与另一个所述瓣叶轮廓存在交点,则将该支持向量作为目标支持向量;
针对每一所述目标支持向量,计算该目标支持向量与对应的所述交点之间的像素距离;
将计算出的最小的像素距离作为两个所述瓣叶轮廓之间的最小像素距离。
7.根据权利要求6所述的二尖瓣开口间距检测方法,其特征在于,所述确定各个所述瓣叶轮廓上的决策向量及各个所述瓣叶轮廓上的支持向量包括:
对两个瓣叶轮廓上的各个像素点进行二元分类,获取位于上瓣叶轮廓上的像素点及位于下瓣叶轮廓上的像素点,以确定决策边界;
将所述上瓣叶轮廓上的距离所述决策边界最近的像素点作为上瓣叶轮廓上的支持向量,以及,将所述下瓣叶轮廓上的距离所述决策边界最近的像素点作为下瓣叶轮廓上的支持向量。
8.根据权利要求1所述的二尖瓣开口间距检测方法,其特征在于,在获取所有帧心动图像所对应的二尖瓣开口间距后,所述方法还包括:
在最大二尖瓣开口间距所对应的心动图像上绘制出两个所述瓣叶轮廓、二尖瓣开口间距径线以及所述最大二尖瓣开口间距的文本内容并输出。
9.根据权利要求1所述的二尖瓣开口间距检测方法,其特征在于,所述方法还包括:
根据各帧心动图像所对应的时序及二尖瓣开口间距,绘制用于表征帧数与二尖瓣开口间距之间的对应关系的开口间距频谱图。
10.根据权利要求1所述的二尖瓣开口间距检测方法,其特征在于,所述根据当前帧心动图像,获取二尖瓣感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取二尖瓣感兴趣区域的位置信息。
11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1至10中任一项所述的二尖瓣开口间距检测方法。
12.一种可读存储介质,其特征在于,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至10中任一项所述的二尖瓣开口间距检测方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210566954.3A CN117197020A (zh) | 2022-05-23 | 2022-05-23 | 二尖瓣开口间距检测方法、电子设备和存储介质 |
PCT/CN2023/093929 WO2023226793A1 (zh) | 2022-05-23 | 2023-05-12 | 二尖瓣开口间距检测方法、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210566954.3A CN117197020A (zh) | 2022-05-23 | 2022-05-23 | 二尖瓣开口间距检测方法、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117197020A true CN117197020A (zh) | 2023-12-08 |
Family
ID=88918427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210566954.3A Pending CN117197020A (zh) | 2022-05-23 | 2022-05-23 | 二尖瓣开口间距检测方法、电子设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117197020A (zh) |
WO (1) | WO2023226793A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8715183B2 (en) * | 2010-06-29 | 2014-05-06 | General Electric Company | Methods and apparatus for automated measuring of the interventricular septum thickness |
US10902598B2 (en) * | 2017-01-27 | 2021-01-26 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
CN109492608B (zh) * | 2018-11-27 | 2019-11-05 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN111275755B (zh) * | 2020-04-28 | 2020-09-15 | 中国人民解放军总医院 | 基于人工智能的二尖瓣瓣口面积检测方法、系统和设备 |
CN113592802B (zh) * | 2021-07-26 | 2024-02-02 | 东北大学 | 一种基于超声图像的二尖瓣环位移自动检测系统 |
-
2022
- 2022-05-23 CN CN202210566954.3A patent/CN117197020A/zh active Pending
-
2023
- 2023-05-12 WO PCT/CN2023/093929 patent/WO2023226793A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023226793A1 (zh) | 2023-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
CN111325739B (zh) | 肺部病灶检测的方法及装置,和图像检测模型的训练方法 | |
US10096108B2 (en) | Medical image segmentation method and apparatus | |
WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
CN110599505A (zh) | 一种器官图像分割方法、装置、电子设备和存储介质 | |
CN111709485B (zh) | 医学影像处理方法、装置和计算机设备 | |
CN112308846B (zh) | 血管分割方法、装置及电子设备 | |
CN111325266A (zh) | 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备 | |
CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
EP2178047A2 (en) | Ribcage segmentation | |
US20220092790A1 (en) | Digital Image Boundary Detection | |
CN108364289B (zh) | Ivoct图像易损斑块自动检测方法 | |
CN116416221A (zh) | 一种超声图像分析方法 | |
CN117197020A (zh) | 二尖瓣开口间距检测方法、电子设备和存储介质 | |
CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
KR20230139257A (ko) | 기계 학습 모델 기반의 ct 영상을 분류 및 분할하기 위한 방법 및 장치 | |
CN111539926B (zh) | 一种图像检测方法及装置 | |
CN115546089A (zh) | 医学图像分割方法、病理图像处理方法、装置、设备 | |
CN112862785A (zh) | Cta影像数据识别方法、装置及存储介质 | |
CN112766332A (zh) | 医学影像检测模型训练方法、医学影像检测方法及装置 | |
KR20210145359A (ko) | 신부전증의 진단에 대한 정보 제공 방법 및 이를 이용한 디바이스 | |
CN116168047A (zh) | 心脏瓣膜脱垂距离检测方法、电子设备和存储介质 | |
CN117635691A (zh) | 心脏瓣膜开口面积检测方法、电子设备和存储介质 | |
CN117115697A (zh) | 医学视频分类方法、电子设备和存储介质 | |
CN116167961A (zh) | 心脏瓣膜参数获取方法、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |