CN116167961A - 心脏瓣膜参数获取方法、电子设备和存储介质 - Google Patents
心脏瓣膜参数获取方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116167961A CN116167961A CN202111395395.6A CN202111395395A CN116167961A CN 116167961 A CN116167961 A CN 116167961A CN 202111395395 A CN202111395395 A CN 202111395395A CN 116167961 A CN116167961 A CN 116167961A
- Authority
- CN
- China
- Prior art keywords
- heart valve
- current frame
- image
- target heart
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Geometry (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供了一种心脏瓣膜参数获取方法、电子设备和存储介质,所述方法包括根据当前帧心动图像,获取目标心脏瓣膜感兴趣区域的位置信息;根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜内轮廓掩膜图像;根据所述当前帧目标心脏瓣膜内轮廓掩膜图像,获取所述当前帧心动图像所对应的开口面积。本发明能够实现端到端的算法流程,能够自动计算心脏瓣膜参数,有效减少人为因素可能产生的差异化问题。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种心脏瓣膜参数获取方法、电子设备和存储介质。
背景技术
主动脉瓣疾病是一种常见、危险的心血管疾病,严重危害着人类的身体健康。超声心动图是目标心脏瓣膜病的诊断并评估其严重程度的首选方法。目标心脏瓣膜开口面积测量、主动脉瓣叶数目及形态是心脏功能分析的重要手段。
目前,目标心脏瓣膜开口面积测量主要采用获得的超声心动图像,由经过特殊培训的医务人员或医学专家对心脏图像进行分析处理,确定勾画开口面积的图像帧并手工进行目标心脏瓣膜开口面积的勾画。手动勾画对专家知识和经验要求很高,而且耗时。因此,利用医学影像深入分析主动脉瓣结构异常,对于瓣膜性心脏病的预防和诊断具有重要意义。
需要说明的是,公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种心脏瓣膜参数获取方法、电子设备和存储介质,可以自动实现目标心脏瓣膜的识别、分割以及开口面积计算,不仅整体算法准确率高,而且可以有效减少人机交互的繁琐操作。
为达到上述目的,本发明提供一种心脏瓣膜参数获取方法,包括:
根据当前帧心动图像,获取目标心脏瓣膜感兴趣区域的位置信息;
根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜内轮廓掩膜图像;
根据所述当前帧目标心脏瓣膜内轮廓掩膜图像,获取所述当前帧心动图像所对应的开口面积。
可选的,所述根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,包括:
根据所述目标心脏瓣膜感兴趣区域的位置信息,在所述当前帧心动图像上裁剪出对应的区域,以获取当前帧目标心脏瓣膜感兴趣区域图像;
采用第一分割模型对所述当前帧目标心脏瓣膜感兴趣区域图像进行分割。
可选的,在采用第一分割模型对所述当前帧目标心脏瓣膜感兴趣区域图像进行分割之前,所述方法还包括:
将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸。
可选的,所述将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸,包括:
以所述当前帧目标心脏瓣膜感兴趣区域图像的长度方向尺寸为目标边长尺寸;
沿宽度方向对所述当前帧目标心脏瓣膜感兴趣区域图像进行填充,以将所述当前帧目标心脏瓣膜感兴趣区域图像的宽度方向尺寸调整至所述目标边长尺寸;
将宽度方向尺寸调整至所述目标边长尺寸的当前帧目标心脏瓣膜感兴趣区域图像放大或缩小,以将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸。
可选的,所述根据所述当前帧目标心脏瓣膜内轮廓掩膜图像,获取所述当前帧心动图像所对应的开口面积,包括:
对所述当前帧目标心脏瓣膜内轮廓掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的目标心脏瓣膜开口面积。
可选的,所述对所述当前帧目标心脏瓣膜内轮廓掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的目标心脏瓣膜开口面积,包括:
对所述当前帧目标心脏瓣膜内轮廓掩膜图像进行连通域分析,以获取最大连通域;
根据所述最大连通域的像素数量,获取所述最大连通域的像素面积;
根据所述最大连通域的像素面积以及预先获取的像素面积与实际面积之间的对应关系,获取所述当前帧心动图像所对应的目标心脏瓣膜开口面积。
可选的,所述方法还包括:
根据各帧所述心动图像所对应的时序以及目标心脏瓣膜开口面积,绘制用于表征帧数与开口面积之间的对应关系的开口面积图;
根据所述开口面积图,获取最终的目标心脏瓣膜开口面积。
可选的,所述根据所述开口面积图,获取最终的目标心脏瓣膜开口面积,包括:
对所述开口面积图进行滤波处理,以获取开口面积曲线图;
根据所述开口面积曲线图,确定每一心动周期下的开口面积峰值;
将所有的开口面积峰值的均值作为最终的目标心脏瓣膜开口面积。
可选的,所述对所述开口面积图进行滤波处理,以获取开口面积曲线图,包括:
将所述开口面积图由时域转换至频域,以获取频率幅值图;
对所述频率幅值图进行滤波处理,以滤除所述频率幅值图中的频率高于预设阈值的部分;
将滤波处理后的所述频率幅值图由频域转换至时域,以获取开口面积曲线图。
可选的,所述方法还包括:
根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜外轮廓掩膜图像;
根据所述当前帧目标心脏瓣膜内轮廓掩膜图像和所述当前帧目标心脏瓣膜外轮廓掩膜图像,获取所述当前帧心动图像所对应的目标心脏瓣膜的位置信息。
可选的,在根据当前帧心动图像,获取目标心脏瓣膜感兴趣区域的位置信息之后,所述方法还包括:
根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第二分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜瓣叶掩膜图像。
可选的,所述根据当前帧心动图像,获取目标心脏瓣膜感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息。
可选的,所述采用目标检测模型对所述当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的候选位置信息;
根据所述目标心脏瓣膜感兴趣区域的候选位置信息,计算放大预设倍数后的目标心脏瓣膜感兴趣区域的位置信息;
将放大预设倍数后的目标心脏瓣膜感兴趣区域的位置信息作为所述目标心脏瓣膜感兴趣区域的位置信息。
可选的,在采用目标检测模型对所获取的当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息之后,所述方法还包括:
根据所述当前帧心动图像所对应的时序,对所述目标心脏瓣膜感兴趣区域的位置信息进行修正。
为达到上述目的,本发明还提供一种电子设备,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现上文所述的心脏瓣膜参数获取方法。
为达到上述目的,本发明还提供一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上文所述的心脏瓣膜参数获取方法。
与现有技术相比,本发明提供的心脏瓣膜参数获取方法、电子设备和存储介质具有以下优点:本发明通过先根据所获取的当前帧心动图像,获取当前帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息;再根据所获取的目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像中的对应区域进行分割,以获取当前帧目标心脏瓣膜内轮廓掩膜图像;再根据所述当前帧目标心脏瓣膜内轮廓掩膜图像,即可获取所述当前帧心动图像所对应的开口面积。可见,本发明能够实现端到端的算法流程,不仅能够自动计算心脏瓣膜参数,有效减少人为因素可能产生的差异化问题,可以更好地辅助医生提高诊断的准确率,为心脏瓣膜的异常分析提供依据,而且还可以减少人机交互的繁琐操作。
附图说明
图1为本发明一实施方式中的心脏瓣膜参数获取方法的流程示意图;
图2a为本发明一具体示例中的心动图像;
图2b为从图2a中的心动图像中裁剪下来的目标心脏瓣膜(主动脉瓣)感兴趣区域图像;
图2c为对图2b进行填充后的目标心脏瓣膜(主动脉瓣)感兴趣区域图像;
图3a为本发明一具体示例中的心室舒张期的目标心脏瓣膜(主动脉瓣)感兴趣区域图像;
图3b为对图3a进行分割所得到的目标心脏瓣膜(主动脉瓣)外轮廓掩膜图像;
图3c为对图3a进行分割所得到的目标心脏瓣膜(主动脉瓣)内轮廓掩膜图像;
图3d为本发明一具体示例中的心室收缩期的目标心脏瓣膜(主动脉瓣)感兴趣区域图像;
图3e为对图3d进行分割所得到的目标心脏瓣膜(主动脉瓣)外轮廓掩膜图像;
图3f为对图3d进行分割所得到的目标心脏瓣膜(主动脉瓣)内轮廓掩膜图像;
图4a为本发明一具体示例中的开口面积图;
图4b为对图4a所示的开口面积图进行变换所得到的频率幅值图;
图4c为对图4b所示的频率幅值图进行滤波处理所得到的频率幅值图;
图4d为对图4c所示的滤波处理后的频率幅值图进行反向变换所得到的开口面积曲线图;
图5为本发明一具体示例中的绘制有外轮廓、内轮廓和开口面积的心动图像;
图6a为对图3a进行分割所得到的目标心脏瓣膜(主动脉瓣)瓣叶掩膜图像;
图6b为对图3d进行分割所得到的目标心脏瓣膜(主动脉瓣)瓣叶掩膜图像;
图7为本发明一具体示例中的目标检测模型的结构示意图;
图8a为本发明一具体示例中的第一残差模块的结构示意图;
图8b为本发明一具体示例中的第二残差模块的结构示意图;
图8c为本发明一具体示例中的第三残差模块的结构示意图;
图8d为本发明一具体示例中的第四残差模块的结构示意图;
图9为一具体示例中的密集连接块的结构示意图;
图10为本发明一具体示例中的第一分割模型的结构示意图;
图11为本发明一具体示例中的瓶颈层的结构示意图;
图12为本发明一具体示例中的过渡块的结构示意图;
图13为本发明一具体示例中的向上过渡块的结构示意图;
图14为本发明一实施方式提供的电子设备的方框结构示意图。
其中,附图标记如下:
处理器-101;通信接口-102;存储器-103;通信总线-104。
具体实施方式
以下结合附图和具体实施方式对本发明提出的心脏瓣膜参数获取方法、电子设备和存储介质作进一步详细说明。根据下面说明,本发明的优点和特征将更清楚。需要说明的是,附图采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂,请参阅附图。须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明实施的限定条件,任何结构的修饰、比例关系的改变或大小的调整,在与本发明所能产生的功效及所能达成的目的相同或近似的情况下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外,在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
本发明的核心思想在于提供一种心脏瓣膜参数获取方法、电子设备和存储介质,可以自动实现目标心脏瓣膜的识别、分割以及开口面积计算,不仅整体算法准确率高,而且可以有效减少人机交互的繁琐操作。
需要说明的是,本发明实施方式的心脏瓣膜参数获取方法可应用于本发明实施方式的电子设备上,其中,该电子设备可以是个人计算机、移动终端等,该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。此外,需要说明的是,虽然本文是以超声心动图为例进行说明,但是如本领域技术人员所能理解的,所述心动图还可以为除超声设备以外的其它设备(例如心脏内窥镜)采集的心动图,本发明对此并不进行限定。另外,需要说明的是,虽然本文是以主动脉瓣作为目标心脏瓣膜为例进行说明,但是如本领域技术人员所能理解的,所述目标心脏瓣膜还可以为二尖瓣、三尖瓣、肺动脉瓣等,本发明对此并不进行限定。还需要说明的是,本文中定义图像的长边方向为长度方向,定义图像的短边方向为宽度方向。
为实现上述思想,本发明提供一种心脏瓣膜参数获取方法,请参考图1,示意性地给出了本发明一实施方式提供的心脏瓣膜参数获取方法的流程图。如图1所示,所述心脏瓣膜参数获取方法包括如下步骤:
步骤S100、根据当前帧心动图像,获取目标心脏瓣膜感兴趣区域的位置信息。
步骤S200、根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜内轮廓掩膜图像。
步骤S300、根据所述当前帧目标心脏瓣膜内轮廓掩膜图像,获取所述当前帧心动图像所对应的开口面积。
具体地,所述当前帧目标心脏瓣膜内轮廓掩膜图像中的目标心脏瓣膜内轮廓的面积即为所述当前帧心动图像所对应的目标心脏瓣膜开口面积。由此,本发明能够实现端到端的算法流程,不仅能够自动计算心脏瓣膜参数(例如心脏瓣膜开口面积),有效减少人为因素可能产生的差异化问题,可以更好地辅助医生提高诊断的准确率,为心脏瓣膜的异常分析提供依据,有效降低现有技术中利用超声心动图进行心脏瓣膜异常分析过程中的误诊而引起的风险,而且还可以减少人机交互的繁琐操作。
具体地,所述当前帧心动图像是从所获取的超声心动视频(每个视频含有多个心动周期)中提取得到的,视频分辨率可以根据具体情况进行设置,例如600×800,所述超声心动视频具体为超声设备采集的psax-av切面影像。需要说明的是,如本领域技术人员所能理解的,所述当前帧为动态变化的,即所述当前帧心动图像是随着时间而改变的,在完成当前帧心动图像的心脏瓣膜参数的获取后,继续提取下一帧心动图像作为新的当前帧心动图像继续进行心脏瓣膜参数的获取,直至完成所有帧的心动图像的心脏瓣膜参数的获取。
在一种示范性的实施方式中,所述方法还包括:
根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜外轮廓掩膜图像;
根据所述当前帧目标心脏瓣膜内轮廓掩膜图像和所述当前帧目标心脏瓣膜外轮廓掩膜图像,获取所述当前帧心动图像所对应的目标心脏瓣膜的位置信息。
由于外轮廓是目标心脏瓣膜外边缘的包络区域,即外轮廓与内轮廓之间的区域即为目标心脏瓣膜所在区域,因此将所述当前帧目标心脏瓣膜内轮廓掩膜图像和所述当前帧目标心脏瓣膜外轮廓掩膜图像进行差操作,即可获取所述当前帧心动图像所对应的目标心脏瓣膜的位置信息。需要说明的是,如本领域技术人员所能理解的,本发明中的第一分割模型具有两个输出层,其中一个输出层用于输出目标心脏瓣膜内轮廓图像,另一个输出层用于输出目标心脏瓣膜外轮廓图像,也即通过采用本发明中的第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,可以同时获取目标心脏瓣膜内轮廓图像和目标心脏瓣膜外轮廓图像。
在一种示范性的实施方式中,所述根据当前帧心动图像,获取目标心脏瓣膜感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息。
进一步地,所述采用目标检测模型对所述当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的候选位置信息;
根据所述目标心脏瓣膜感兴趣区域的候选位置信息,计算放大预设倍数后的目标心脏瓣膜感兴趣区域的位置信息;
将放大预设倍数后的目标心脏瓣膜感兴趣区域的位置信息作为所述目标心脏瓣膜感兴趣区域的位置信息。
由于采用目标检测模型虽然可以在当前帧心动图像中检测出目标心脏瓣膜感兴趣区域,为后续的分割模型提供初步定位,但是也会造成目标心脏瓣膜周围组织等细节信息的丢失,由此本发明通过根据所述目标心脏瓣膜感兴趣区域的候选位置信息,计算放大预设倍数后的目标心脏瓣膜感兴趣区域的位置信息,即将目标检测模型检测得到的目标心脏瓣膜感兴趣区域的原始边框(boundingbox)放大预设倍数,例如1.3倍,以得到放大后的边框,该放大后的边框所限定的区域即为最终的目标心脏瓣膜感兴趣区域,由于该放大后的边框所限定的区域包括目标心脏瓣膜周围组织等细节信息,由此可以进一步提高后续分割模型的分割精度。需要说明的是,如本领域技术人员所能理解的,放大后的边框的中心位置与原始边框的中心位置一致。
在一种示范性的实施方式中,在采用目标检测模型对所获取的当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息之后,所述方法还包括:
根据所述当前帧心动图像所对应的时序,对所述目标心脏瓣膜感兴趣区域的位置信息进行修正。
由此,通过对由目标检测模型所得到的目标心脏瓣膜感兴趣区域的位置信息进行修正,可以又进一步提高目标心脏瓣膜感兴趣区域提取精度的准确性,进一步保证后续分割的准确性。具体地,可以采用光流法对所述目标心脏瓣膜感兴趣区域的位置信息进行修正,以获取修正后的目标心脏瓣膜感兴趣区域的位置信息。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。
在一种示范性的实施方式中,所述根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,包括:
根据所述目标心脏瓣膜感兴趣区域的位置信息,在所述当前帧心动图像上裁剪出对应的区域,以获取当前帧目标心脏瓣膜感兴趣区域图像;
采用第一分割模型对所述当前帧目标心脏瓣膜感兴趣区域图像进行分割。
由此,通过先在所述当前帧心动图像上裁剪出目标心脏瓣膜感兴趣区域,以获取目标心脏瓣膜感兴趣区域,再采用第一分割模型对所述当前帧目标心脏瓣膜感兴趣区域图像进行分割,可以进一步减少分割模型的计算量,进而可以进一步提高计算效率。具体地,请参考图2a和图2b,其中图2a示意性地给出了一具体示例中的心动图像,图2b示意性地给出了从图2a中的心动图像中裁剪下来的目标心脏瓣膜(主动脉瓣)感兴趣区域图像。
在一种示范性的实施方式中,在采用第一分割模型对所述当前帧目标心脏瓣膜感兴趣区域图像进行分割之前,所述方法还包括:
将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸。
当所述第一分割模型为神经网络模型时,由于神经网络模型需要统一大小的图像作为输入,由此通过将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸,可以满足第一分割模型的输入需要。具体地,所述预设尺寸可以根据具体情况进行设置。作为一种优选,在所述预设尺寸中,图像的长度方向尺寸与宽度方向相一致,即调整至预设尺寸后的图像为方形图像,例如所述预设尺寸为320*320。由此,通过将预设尺寸中的长度方向尺寸和宽度方向设置为一致,可以更加便于将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至所述预设尺寸。
对应地,采用第一分割模型对所述当前帧目标心脏瓣膜感兴趣区域图像进行分割,包括:
采用第一分割模型对调整至预设尺寸的所述当前帧目标心脏瓣膜感兴趣区域图像进行分割。
由于在本实施方式中,所述当前帧目标心脏瓣膜内轮廓掩膜图像和所述当前帧目标心脏瓣膜外轮廓掩膜图像是基于对调整至预设尺寸的当前帧目标心脏瓣膜感兴趣区域图像进行分割得到,因此,根据所述当前帧目标心脏瓣膜内轮廓掩膜图像和当前帧目标心脏瓣膜外轮廓掩膜图像,直接获取的是与调整至预设尺寸的当前帧目标心脏瓣膜感兴趣区域图像对应的心脏瓣膜参数(包括开口面积、目标心脏瓣膜的位置信息等),因此需要对与调整至预设尺寸的当前帧目标心脏瓣膜感兴趣区域图像对应的心脏瓣膜参数进行调整,以获取与调整前的当前帧目标心脏瓣膜感兴趣区域图像相对应的心脏瓣膜参数。需要说明的是,如本领域技术人员所能理解的,在其它一些实施方式中,也可以先将对调整至预设尺寸的所述当前帧目标心脏瓣膜感兴趣区域图像进行分割所得到的当前帧目标心脏瓣膜内轮廓掩膜图像和当前帧目标心脏瓣膜外轮廓掩膜图像的尺寸调整至所述当前帧目标心脏瓣膜感兴趣区域图像的原始尺寸,再根据调整至原始尺寸的当前帧目标心脏瓣膜内轮廓掩膜图像和当前帧目标心脏瓣膜外轮廓掩膜图像,即可直接获取所述当前帧心动图像所对应的心脏瓣膜参数。
在一种示范性的实施方式中,所述将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸,包括:
以所述当前帧目标心脏瓣膜感兴趣区域图像的长度方向尺寸为目标边长尺寸;
沿宽度方向对所述当前帧目标心脏瓣膜感兴趣区域图像进行填充,以将所述当前帧目标心脏瓣膜感兴趣区域图像的宽度方向尺寸调整至所述目标边长尺寸;
将宽度方向尺寸调整至所述目标边长尺寸的当前帧目标心脏瓣膜感兴趣区域图像放大或缩小,以将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸。
具体地,请参考图2b和图2c,其中图2c示意性地给出了对图2b进行填充后的目标心脏瓣膜(主动脉瓣)感兴趣区域图像。如图2b和图2c所示,可以沿宽度方向,以黑色像素(像素值为0)对所述当前帧目标心脏瓣膜感兴趣区域图像进行填充,以将所述当前帧目标心脏瓣膜感兴趣区域图像的宽度方向尺寸调整至与长度方向尺寸相一致的尺寸,即将所述当前帧目标心脏瓣膜感兴趣区域图像调整为方形图像,再将调整至方形的当前帧目标心脏瓣膜感兴趣区域图像放大或缩小一定倍数,即可将所述当前帧心动图像的尺寸调整至预设尺寸。需要说明的是,如本领域技术人员所能理解的,若调整至方形的当前帧目标心脏瓣膜感兴趣区域图像放大R倍后达到预设尺寸,则将根据所述当前帧目标心脏瓣膜内轮廓掩膜图像和/或当前帧目标心脏瓣膜外轮廓掩膜图像计算得到的心脏瓣膜参数除以R(即缩小R倍),即可得到所述当前帧心动图像实际所对应的心脏瓣膜参数。
请继续参考图3a至图3f,其中图3a示意性地给出了本发明一具体示例中的心室舒张期的目标心脏瓣膜(主动脉瓣)感兴趣区域图像;图3b示意性地给出了对图3a进行分割所得到的目标心脏瓣膜(主动脉瓣)外轮廓掩膜图像,其中的白色区域表示外轮廓所限定的区域;图3c示意性地给出了对图3a进行分割所得到的目标心脏瓣膜(主动脉瓣)内轮廓掩膜图像,其中的白色区域表示内轮廓所限定的区域;图3d示意性地给出了本发明一具体示例中的心室收缩期的目标心脏瓣膜(主动脉瓣)感兴趣区域图像;图3e示意性地给出了对图3d进行分割所得到的目标心脏瓣膜(主动脉瓣)外轮廓掩膜图像,其中的白色区域表示外轮廓所限定的区域;图3f示意性地给出了对图3d进行分割所得到的目标心脏瓣膜(主动脉瓣)内轮廓掩膜图像。如图3a至图3f所示,当心室处于舒张期时,目标心脏瓣膜(主动脉瓣)的开口面积不为0,当心室处于收缩期时,目标心脏瓣膜(主动脉瓣)的开口面积为0,即内轮廓不存在,所获取的目标心脏瓣膜(主动脉瓣)的内轮廓掩膜图像为纯黑色。
在一种示范性的实施方式中,所述根据所述当前帧目标心脏瓣膜内轮廓掩膜图像,获取所述当前帧心动图像所对应的开口面积,包括:
对所述当前帧目标心脏瓣膜内轮廓掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的目标心脏瓣膜开口面积。
在一种示范性的实施方式中,所述对所述当前帧目标心脏瓣膜内轮廓掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的目标心脏瓣膜开口面积,包括:
对所述当前帧目标心脏瓣膜内轮廓掩膜图像进行连通域分析,以获取最大连通域;
根据所述最大连通域的像素数量,获取所述最大连通域的像素面积;
根据所述最大连通域的像素面积以及预先获取的像素面积与实际面积之间的对应关系,获取所述当前帧心动图像所对应的目标心脏瓣膜开口面积。
由于第一分割模型的分割精度的影响,分割出的当前帧目标心脏瓣膜内轮廓掩膜图像上可能会存在干扰区域,而干扰区域的面积是小于内轮廓的面积的,由此通过对所述当前帧目标心脏瓣膜内轮廓掩膜图像进行连通域分析,以获取最大连通域,可以有效避免干扰区域的影响,所提取出的最大连通域即为目标心脏瓣膜内轮廓所限定的区域,因此,根据所述最大连通域,即可获取所述当前帧心动图像所对应的目标心脏瓣膜开口面积。具体地,可以根据心动图像采集时的面积标尺(即每平方厘米包含的像素数量)获取像素面积与实际面积之间的对应关系,由此根据所述最大连通域的像素面积以及预先获取的像素面积与实际面积之间的对应关系,即可获取所述当前帧心动图像所实际对应的目标心脏瓣膜开口面积(单位为平方厘米)。
在一种示范性的实施方式中,所述方法还包括:
根据各帧所述心动图像所对应的时序以及目标心脏瓣膜开口面积,绘制用于表征帧数与开口面积之间的对应关系的开口面积图;
根据所述开口面积图,获取最终的目标心脏瓣膜开口面积。
请参考图4a,其示意性地给出了本发明一具体示例中的开口面积图,其中纵轴表示开口面积,横纵表示帧数。如图4a所示,通过根据各帧所述心动图像所对应的时序以及目标心脏瓣膜开口面积,绘制用于表征帧数与开口面积之间的对应关系的开口面积图,可以便于医生更加直观地观测到每一帧心动图像所对应的开口面积值,从而更加便于医生进行诊断。此外,通过根据所述开口面积图,获取最终的目标心脏瓣膜开口面积,可以进一步便于医生根据所获取的最终的目标心脏瓣膜开口面积进行目标心脏瓣膜异常情况的诊断,例如医生可以根据最终的主动脉瓣的开口面积判断患者的主动脉瓣是否狭窄。
在一种示范性的实施方式中,所述根据所述开口面积图,获取最终的目标心脏瓣膜开口面积,包括:
对所述开口面积图进行滤波处理,以获取开口面积曲线图;
根据所述开口面积曲线图,确定每一心动周期下的开口面积峰值;
将所有的开口面积峰值的均值作为最终的目标心脏瓣膜开口面积。
本发明通过先对所述开口面积图进行滤波处理,可以有效滤除噪音信息,再将滤波处理所得到的开口面积曲线图上的每一心动周期下的所有峰值点的开口面积值(即面积峰值)取平均值以得到最终的目标心脏瓣膜开口面积,可见,本发明在计算开口面积时,充分考虑了图像采集设备、模型精度等可能造成的数值波动的问题,可以有效提高最终所获得的目标心脏瓣膜开口面积的准确性,进而可以进一步提高医生诊断的准确性。
在一种示范性的实施方式中,所述对所述开口面积图进行滤波处理,以获取开口面积曲线图,包括:
将所述开口面积图由时域转换至频域,以获取频率幅值图;
对所述频率幅值图进行滤波处理,以滤除所述频率幅值图中的频率高于预设阈值的部分;
将滤波处理后的所述频率幅值图由频域转换至时域,以获取开口面积曲线图。
请继续参考图4b至图4d,其中图4b示意性地给出了对图4a所示的开口面积图进行变换所得到的频率幅值图;图4c示意性地给出了对图4b所示的频率幅值图进行滤波处理所得到的频率幅值图;图4d示意性地给出了对图4c所示的滤波处理后的频率幅值图进行反向变换所得到的开口面积曲线图。如图4b至图4d所示,通过对所述开口面积图进行时域到频域的变换,例如快速傅里叶变换,可以将开口面积信号从原始域(时域)转换至频域;通过对所获取的频率幅值图进行滤波处理,可以将所述频率幅值图中的幅值较小的频率高于预设阈值(例如频率高于0.1)的部分(即高频部分)滤除,例如可以通过将幅值较小的高频部分(例如频率高于0.1的部分)的幅值设置为0;通过对滤波处理后的频率幅值图进行反向变换,例如反向快速傅里叶变换可以将面积信号从频域转换至时域,从而得到去除高频部分后的开口面积随图像帧变化的曲线图,即开口面积曲线图,进而根据所获取的开口面积曲线图上的每一心动周期下的开口面积峰值,并取均值,即可获取目标心脏瓣膜开口面积的最终数值。如图4d所示的开口面积曲线图中,共存在三个峰值点(一个心动周期对应一个峰值点),即共存在3个面积峰值。需要说明的是,如本领域技术人员所能理解的,在确定峰值点时,只考虑既有开口面积上升期又有开口面积下降期的心动周期下的峰值点。
在一种示范性的实施方式中,在获取当前帧帧心动图像所对应的开口面积后,所述方法还包括:
在所述当前帧心动图像上绘制出目标心脏瓣膜的外轮廓、内轮廓以及开口面积的文本内容并输出。
请继续参考图5,其示意性地给出了本发明一具体示例中的绘制有外轮廓、内轮廓和开口面积的心动图像,其中位于外侧的曲线为外轮廓,位于内侧的曲线为内轮廓。如图5所示,该示例中的心动图像所对应的开口面积为3.91平方厘米。由此,通过在每一帧心动图像上绘制出目标心脏瓣膜的外轮廓、内轮廓以及开口面积的文本内容,可以便于医生更加直观地查看检测结果,更有利于提高医生诊断的准确率。
进一步地,在所述当前帧心动图像上绘制出目标心脏瓣膜的外轮廓、内轮廓以及开口面积的文本内容之后,所述方法还包括:
对所述当前帧心动图像进行去噪处理,以滤除所述心动图像上的噪声。
具体地,可以采用中值滤波法将所述当前帧心动图像中的每一像素点的灰度值设置为该像素点的邻域窗口内的所有像素点的灰度值的中值,其中滤波内核的尺寸参数可以根据具体情况进行设置,例如设置为5×5,由此通过采用中值滤波法可以有效去除所述当前帧心动图像中的椒盐噪声。需要说明的是,如本领域技术人员所能理解的,在其它一些实施方式中,还可以采用除中值滤波法以外的其它滤波法对所述当前帧心动图像进行滤波处理,本发明对此并不进行限定。
在一种示范性的实施方式中,在采用目标检测模型频率幅值图对所获取的当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息之后,所述方法还包括:
根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第二分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜瓣叶掩膜图像。
具体地,也可以如前文所述的那样,先根据所述目标心脏瓣膜感兴趣区域的位置信息,获取当前帧目标心脏瓣膜感兴趣区域图像,再将调整至预设尺寸的当前帧目标心脏瓣膜感兴趣区域图像输入至预先训练好的第二分割模型中进行分割,以得到当前帧目标心脏瓣膜瓣叶掩膜图像,由此根据各帧目标心脏瓣膜瓣叶掩膜图像,可以直观形象地展示出瓣叶的形态及轮廓,从而能够更好地辅助医生进行临床诊断(例如诊断主动脉瓣是否存在二瓣化畸形、四瓣化畸形等问题),降低临床诊断的经验要求和误诊的可能性。请继续参考图6a和图6b,其中图6a示意性地给出了对图3a进行分割所得到的目标心脏瓣膜(主动脉瓣)瓣叶掩膜图像;其中图6b示意性地给出了对图3d进行分割所得到的目标心脏瓣膜(主动脉瓣)瓣叶掩膜图像。如图6a和6b所示,在本示例中,主动脉瓣为正常的三叶瓣,不存在二瓣化畸形、四瓣化畸形等问题。
进一步地,为了直观显示,还可以在所述当前帧心动图像上绘制出目标心脏瓣膜(例如主动脉瓣)瓣叶的轮廓,并采用中值滤波法将所述当前帧心动图像中的每一像素点的灰度值设置为该像素点的邻域窗口内的所有像素点的灰度值的中值,其中滤波内核的尺寸参数可以根据具体情况进行设置,例如设置为5×5,由此通过采用中值滤波法可以有效去除所述当前帧心动图像中的椒盐噪声。需要说明的是,如本领域技术人员所能理解的,在其它一些实施方式中,还可以采用除中值滤波法以外的其它滤波法对所述当前帧心动图像进行滤波处理,本发明对此并不进行限定。
在一种示范性的实施方式中,所述目标检测模型为ResNet50神经网络模型。由于ResNet中使用了跳跃连接(或称捷径),它将某一层的网络层激活值,直接传递给网络的更深层,另外跳跃连接只传递数据,通过跳跃连接,反向传播时信号可以无衰减地传递,不用担心梯度会发生改变,能够向上一层传递有效的梯度,由此,通过跳跃连接能够有效的缓解因为加深网络层而导致的梯度消失问题,通过Residual block(残差模块)的堆叠,可以构建非常深的网络模型,使深的网络层次也能进行有效的训练。
进一步地,所述目标检测模型包括第一卷积层、第一池化层、多个级联的残差子网络、第二池化层和全连接层,其中,所述第一卷积层用于对输入的所述当前帧心动图像进行目标心脏瓣膜(例如主动脉瓣膜)特征的提取,所述第一池化层用于对所述第一卷积层的输出进行池化操作,所述残差子网络用于对所述第一池化层的输出或上一级所述残差子网络的输出进行目标心脏瓣膜(例如主动脉瓣膜)特征提取,所述第二池化层用于对最后一级所述残差子网络的输出进行池化操作,所述全连接层用于对所述第二池化层的输出进行非线性映射回归,以获取目标心脏瓣膜感兴趣区域的位置信息。
更进一步地,每一所述残差子网络包括多个级联的残差模块,每一所述残差模块包括多个级联的第二卷积层,其中,第一级所述第二卷积层的输入与最后一级所述第二卷积层的输出相加后作为所述残差模块的输出。
进一步地,位于第一级的所述第二卷积层的卷积核的尺寸和位于最后一级的所述第二卷积层的卷积核的尺寸均为1×1。
具体地,请参考图7,其示意性地给出了本发明一具体示例中的目标检测模型的结构示意图。如图7所示,在本示例中,所述目标检测模型包括第一卷积层、第一池化层、第一残差子网络、第二残差子网络、第三残差子网络、第四残差子网络、第二池化层和全连接层。其中,所述第一卷积层用于对输入的所述当前帧心动图像进行目标心脏瓣膜(例如主动脉瓣膜)特征的提取,所述第一池化层用于对所述第一卷积层的输出进行池化操作,所述第一残差子网络用于对所述第一池化层的输出进行目标心脏瓣膜(例如主动脉瓣膜)特征提取,所述第二残差子网络用于对所述第一残差子网络的输出进行目标心脏瓣膜(例如主动脉瓣膜)特征提取,所述第三残差子网络用于对所述第二残差子网络的输出进行目标心脏瓣膜(例如主动脉瓣膜)特征提取,所述第四残差子网络用于对所述第三残差子网络的输出进行目标心脏瓣膜(例如主动脉瓣膜)特征提取,所述第二池化层用于对所述第四残差子网络的输出进行池化操作,所述全连接层用于对所述第二池化层的输出进行非线性映射回归,以获取目标心脏瓣膜感兴趣区域的位置信息。进一步地,所述第一池化层为最大池化层,所述第二池化层为平均池化层。
进一步地,所述第一残差子网络包括3个级联的第一残差模块,所述第二残差子网络包括4个级联的第二残差模块,所述第三残差子网络包括6个级联的残差模块C1,所述第四残差子网络包括3个级联的第四残差模块。请继续参考图8a,其示意性地给出了本发明一具体示例中的第一残差模块的结构示意图。如图8a所示,所述第一残差模块包括3个级联的第二卷积层,分别为第二卷积层A1、第二卷积层A2和第二卷积层A3,其中第二卷积层A1的卷积核的尺寸为1×1,输出通道数为64,步长为1,第二卷积层A2的卷积核的尺寸为3×3,输出通道数为64,步长为1,第二卷积层A3的卷积核的尺寸为1×1,输出通道数为256,步长为1,所述第二卷积层A1的输入的恒等映射与所述第二卷积层A3的输出相加后作为所述第一残差模块的输出。请继续参考图8b,其示意性地给出了本发明一具体示例中的第二残差模块的结构示意图,如图8b所示,所述第二残差模块包括3个级联的第二卷积层,分别为第二卷积层B1、第二卷积层B2和第二卷积层B3,其中第二卷积层B1的卷积核的尺寸为1×1,输出通道数为128,步长为1,第二卷积层B2的卷积核的尺寸为3×3,输出通道数为128,步长为2,第二卷积层B3的卷积核的尺寸为1×1,输出通道数为512,步长为1,所述第二卷积层B1的输入的恒等映射与所述第二卷积层B3的输出相加后作为所述第二残差模块的输出。请继续参考图8c,其示意性地给出了本发明一具体示例中的第三残差模块的结构示意图,如图8c所示,所述第三残差模块包括3个级联的第二卷积层,分别为第二卷积层C1、第二卷积层C2和第二卷积层C3,其中第二卷积层C1的卷积核的尺寸为1×1,输出通道数为256,步长为1,第二卷积层C2的卷积核的尺寸为3×3,输出通道数为256,步长为2,第二卷积层C3的卷积核的尺寸为1×1,输出通道数为1024,步长为1,所述第二卷积层C1的输入的恒等映射与所述第二卷积层C3的输出相加后作为所述第三残差模块的输出。请继续参考图8d,其示意性地给出了本发明一具体示例中的第四残差模块的结构示意图,如图8d所示,所述第四残差模块包括3个级联的第二卷积层,分别为第二卷积层D1、第二卷积层D2和第二卷积层D3,其中第二卷积层D1的卷积核的尺寸为1×1,输出通道数为512,步长为1,第二卷积层D2的卷积核的尺寸为3×3,输出通道数为512,步长为2,第二卷积层D3的卷积核的尺寸为1×1,输出通道数为2048,步长为1,所述第二卷积层D1的输入的恒等映射与所述第二卷积层D3的输出相加后作为所述第四残差模块的输出。
由于所述第二卷积层A1与所述第二卷积层A3之间的跳跃连接、所述第二卷积层B1与所述第二卷积层B3之间的跳跃连接、所述第二卷积层C1与所述第二卷积层C3之间的跳跃连接以及所述第二卷积层D1与所述第二卷积层D3之间的跳跃连接均采用恒等映射连接,由此可以在不增加额外参数和计算量的基础上,加快目标检测模型的训练速度,提升目标检测模型的训练效果。
在一种示范性的实施方式中,所述第一分割模型为DenseNet神经网络模型,由于DenseNet神经网络模型是一种具有密集连接的卷积神经网络,每一层的输入来自前面所有层的输出,这种神经网络结构加强了特征的传递,更有效利用了特征,另外DenseNet神经网络模型具有较好的抗过拟合性能,尤其适合于训练数据相对匮乏的应用。因此,采用DenseNet神经网络模型作为本发明中的第一分割模型,可以有效提高目标心脏瓣膜(例如主动脉瓣)的内轮廓和外轮廓的分割效率和分割准确率。具体地,DenseNet神经网络模型由多个密集连接块通过过渡块连接组成,即任意相邻的两个密集连接块之间通过一过渡块相连,且密集连接块内的卷积输出通道的数量是一致的,以便于能够将每一层的特征信息进行叠加。
密集连接块中的一层称为瓶颈层,DenseNet中的密集连接至至将一个密集连接块中的每层与之后的所有层进行连接,实现特征复用。请参考图9,其示意性地给出了一具体示例中的密集连接块的结构示意图。如图9所示,假设一个密集连接块有L层瓶颈层,X0为密集连接块的输入(定义为第0层的输出),第l层将之前所有层的输出X0,……,XL-1作为输入,即第l层的输入与之前所有层的输出之间满足如下关系式:
Xl=HL([X0,X1,…XL-1])
其中,[X0,X1,…XL-1]表示将第0层到第L-1层的输出经过组合连接后作为第L层瓶颈层的输入,HL表示第L层瓶颈层的所有操作。具体地,每个所述瓶颈层都包含多种操作:批量归一化BN、ReLU激活函数和3×3卷积。
请继续参考图10,其示意性地给出了本发明一具体示例中的第一分割模型的结构示意图。如图10所示,在本示例中,所述分割模型包括依次连接的第三卷积层、第三池化层(优选为最大池化层)、第一密集连接块、第一过渡块、第二密集连接块、第二过渡块、第三密集连接块、第三过渡块、第四密集连接块、第一向上过渡块、第二向上过渡块以及卷积块,所述卷积块包括两个卷积核尺寸为1×1的第四卷积层。其中,所述第三卷积层用于对输入的图像进行目标心脏瓣膜(例如主动脉瓣膜)特征的提取,所述第三池化层用于对所述第三卷积层的输出进行池化操作,以去掉图像中的不必要的冗余信息,所述第一密集连接块用于对所述第三池化层的输出进行目标心脏瓣膜(例如主动脉瓣膜)特征的提取,所述第一过渡块用于对所述第一密集连接块的输出进行压缩操作,以降低所述第一密集连接块所输出的特征图的尺寸,所述第二密集连接块用于对所述第一过渡块的输出进行目标心脏瓣膜(例如主动脉瓣膜)特征的提取,所述第二过渡块用于对所述第二密集连接块的输出进行压缩操作,以降低所述第二密集连接块所输出的特征图的尺寸,所述第三密集连接块用于对所述第二过渡块的输出进行目标心脏瓣膜(例如主动脉瓣膜)特征的提取,所述第三过渡块用于对所述第三密集连接块的输出进行压缩操作,以降低所述第三密集连接块所输出的特征图的尺寸,所述第四密集连接块用于对所述第三过渡块的输出进行目标心脏瓣膜(例如主动脉瓣膜)特征的提取,所述第一向上过渡块用于对所述第四密集连接块的输出进行反卷积操作,以增大所述第四密集连接块所输出的特征图的尺寸,所述第二向上过渡块用于对所述第一向上过渡块的输出进行反卷积操作,以增大所述第一向上过渡块所输出的特征图的尺寸,所述卷积块用于对所述第二向上过渡块的输出进行非线性映射回归,以获取目标心脏瓣膜(例如主动脉瓣)的外轮廓和内轮廓的分割结果。具体地,所述卷积块中的第四卷积层A用于对所述第二向上过渡块的输出进行非线性映射回归,以获取目标心脏瓣膜(例如主动脉瓣)的外轮廓的分割结果,所述卷积块中的第四卷积层B用于对所述第二向上过渡块的输出进行非线性映射回归,以获取目标心脏瓣膜(例如主动脉瓣)的内轮廓的分割结果。
具体地,所述第四卷积层A和所述第四卷积层B可通过sigmoid函数对所述第二向上过渡块的输出进行非线性映射回归,sigmoid函数的公式如下所示:
由上式可知,Sigmoid函数可以将任意的输入实数映射到实数映射区间(0,1)内,当输入值x较大时,输出值g趋向于1,输入值x较小时,输出值g趋向于0。
需要说明的是,如本领域技术人员所能理解的,所述第一密集连接块、所述第二密集连接块、所述第三密集连接块和所述第四密集连接块均包括多个瓶颈层,且所述第一密集连接块、所述第二密集连接块、所述第三密集连接块和所述第四密集连接块所具有的瓶颈层的数目可以相同也可以不同,其具体数目可以根据实际需要进行设置,本发明对此并不进行限定,例如,所述第一密集连接块中可设有6层瓶颈层,所述第二密集连接块中可设有12层瓶颈层,所述第三密集连接块中可设有24层瓶颈层,所述第四密集连接块中可设有16层瓶颈层。
请继续参考图11,其示意性地给出了本发明一具体示例中的瓶颈层的结构示意图。如图11所示,所述瓶颈层包括依次连接的第一批量归一化层A、第一激活层A、第五卷积层A、第一批量归一化层B、第一激活层B和第五卷积层B,其中,第五卷积层A的卷积核的尺寸为1×1,第五卷积层B的卷积核的尺寸为3×3。由此,本发明通过在瓶颈层的3×3的卷积之前加入1×1的卷积可以减少特征映射图的数量和降低每张特征映射图的维度,以减少计算量,还能够融合各个通道的特征。此外,由于所述瓶颈层在执行1×1和3×3的卷积操作之前均进行批量归一化BN操作和ReLU激活操作,由此可以进一步提升训练速度和收敛效率。
请继续参考图12,其示意性地给出了本发明一具体示例中的过渡块的结构示意图。如图12所示,所述第一过渡块、所述第二过渡块、所述第三过渡块均包括依次连接的第二批量归一化层、第二激活层、第六卷积层和第四池化层(优选为平均池化层),其中,所述第六卷积层的卷积核的尺寸为1×1。由此,通过所述第六卷积层的卷积操作能够对特征映射图进行降维,通过第四池化层的平均池化操作可以解决特征映射图的通道数过多的问题,防止过多的密集连接块导致的模型复杂化问题。此外,由于每一过渡块在进行1×1的卷积操作之前还进行批量归一化BN操作和ReLU激活操作,由此可以进一步压缩参数数量。
请继续参考图13,其示意性地给出了本发明一具体示例中的向上过渡块的结构示意图。如图13所示,所述第一向上过渡块和所述第二向上过渡块均包括依次连接的第三批量归一化层A、第三激活层A、第七卷积层A、第三批量归一化层B、第三激活层B、第七卷积层B、第三批量归一化层C、第三激活层C和反卷积层,其中,所述第七卷积层A和所述第七卷积层B的卷积核的尺寸均为3×3。
在一种示范性的实施方式中,所述第一分割模型在训练过程中采用的损失函数为binary_crossentropy交叉熵损失函数,binary_crossentropy交叉熵损失函数的公式如下所示:
进一步地,在完成第一分割模型的训练后本发明还采用Dice coefficient公式对所述第一分割模型的算法精度进行评价,Dice coefficient公式如下所示:
式中,X为预测结果,Y为真实标签。
Dice的取值范围是0到1,Dice值越接近1说明第一分割模型的分割精度越高。
作为一种示例,在第一分割模型的训练过程中,设置学习率为1e-3(即0.001),并使用Adam(adaptive moment estimation)为优化器,利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率,并在优化器的参数中增加clipnorm=0.001用于对梯度进行裁剪。
在一种示范性的实施方式中,所述第二分割模型也为Densenet神经网络模型,所述第二分割模型的结构与所述第一分割模型的结构大体相同,所不同的是,所述第二分割模型只包括一个1×1的第四卷积层,所述第四卷积层用于对所述第二向上过渡块的输出进行非线性映射回归,以获取目标心脏瓣膜(例如主动脉瓣)瓣叶的分割结果。
基于同一发明构思,本发明还提供一种电子设备,请参考图14,示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图14所示,所述电子设备包括处理器101和存储器103,所述存储器103上存储有计算机程序,所述计算机程序被所述处理器101执行时,实现上文所述的心脏瓣膜参数获取方法。由于本发明提供的电子设备与上文所述的心脏瓣膜参数获取方法属于同一发明构思,因此本发明提供电子设备具有上文所述的心脏瓣膜参数获取方法的所有优点,故对此不再进行赘述。
如图14所示,所述电子设备还包括通信接口102和通信总线104,其中所述处理器101、所述通信接口102、所述存储器103通过通信总线104完成相互间的通信。所述通信总线104可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线104可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。所述通信接口102用于上述电子设备与其他设备之间的通信。
本发明中所称处理器101可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器101是所述电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
所述存储器103可用于存储所述计算机程序,所述处理器101通过运行或执行存储在所述存储器103内的计算机程序,以及调用存储在存储器103内的数据,实现所述电子设备的各种功能。
所述存储器103可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明还提供了一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时可以实现上文所述的心脏瓣膜参数获取方法。由于本发明提供的可读存储介质与上文所述的心脏瓣膜参数获取方法属于同一发明构思,因此本发明提供的可读存储介质具有上文所述的心脏瓣膜参数获取方法的所有优点,故对此不再进行赘述。
本发明实施方式的可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述,与现有技术相比,本发明提供的心脏瓣膜参数获取方法、电子设备和存储介质具有以下优点:本发明通过先根据所获取的当前帧心动图像,获取当前帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息;再根据所获取的目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像中的对应区域进行分割,以获取当前帧目标心脏瓣膜内轮廓掩膜图像;再根据所述当前帧目标心脏瓣膜内轮廓掩膜图像,即可获取所述当前帧心动图像所对应的开口面积)。可见,本发明能够实现端到端的算法流程,不仅能够自动计算心脏瓣膜参数,有效减少人为因素可能产生的差异化问题,可以更好地辅助医生提高诊断的准确率,为心脏瓣膜的异常分析提供依据,而且还可以减少人机交互的繁琐操作。
应当注意的是,在本文的实施方式中所揭露的装置和方法,也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的,例如,附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用于执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
上述描述仅是对本发明较佳实施方式的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于本发明的保护范围。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若这些修改和变型属于本发明及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。
Claims (16)
1.一种心脏瓣膜参数获取方法,其特征在于,包括:
根据当前帧心动图像,获取目标心脏瓣膜感兴趣区域的位置信息;
根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜内轮廓掩膜图像;
根据所述当前帧目标心脏瓣膜内轮廓掩膜图像,获取所述当前帧心动图像所对应的开口面积。
2.根据权利要求1所述的心脏瓣膜参数获取方法,其特征在于,所述根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,包括:
根据所述目标心脏瓣膜感兴趣区域的位置信息,在所述当前帧心动图像上裁剪出对应的区域,以获取当前帧目标心脏瓣膜感兴趣区域图像;
采用第一分割模型对所述当前帧目标心脏瓣膜感兴趣区域图像进行分割。
3.根据权利要求2所述的心脏瓣膜参数获取方法,其特征在于,在采用第一分割模型对所述当前帧目标心脏瓣膜感兴趣区域图像进行分割之前,所述方法还包括:
将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸。
4.根据权利要求3所述的心脏瓣膜参数获取方法,其特征在于,所述将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸,包括:
以所述当前帧目标心脏瓣膜感兴趣区域图像的长度方向尺寸为目标边长尺寸;
沿宽度方向对所述当前帧目标心脏瓣膜感兴趣区域图像进行填充,以将所述当前帧目标心脏瓣膜感兴趣区域图像的宽度方向尺寸调整至所述目标边长尺寸;
将宽度方向尺寸调整至所述目标边长尺寸的当前帧目标心脏瓣膜感兴趣区域图像放大或缩小,以将所述当前帧目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸。
5.根据权利要求1所述的心脏瓣膜参数获取方法,其特征在于,所述根据所述当前帧目标心脏瓣膜内轮廓掩膜图像,获取所述当前帧心动图像所对应的开口面积,包括:
对所述当前帧目标心脏瓣膜内轮廓掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的目标心脏瓣膜开口面积。
6.根据权利要求5所述的心脏瓣膜参数获取方法,其特征在于,所述对所述当前帧目标心脏瓣膜内轮廓掩膜图像进行连通域分析,以获取所述当前帧心动图像所对应的目标心脏瓣膜开口面积,包括:
对所述当前帧目标心脏瓣膜内轮廓掩膜图像进行连通域分析,以获取最大连通域;
根据所述最大连通域的像素数量,获取所述最大连通域的像素面积;
根据所述最大连通域的像素面积以及预先获取的像素面积与实际面积之间的对应关系,获取所述当前帧心动图像所对应的目标心脏瓣膜开口面积。
7.根据权利要求1所述的心脏瓣膜参数获取方法,其特征在于,所述方法还包括:
根据各帧所述心动图像所对应的时序以及目标心脏瓣膜开口面积,绘制用于表征帧数与开口面积之间的对应关系的开口面积图;
根据所述开口面积图,获取最终的目标心脏瓣膜开口面积。
8.根据权利要求7所述的心脏瓣膜参数获取方法,其特征在于,所述根据所述开口面积图,获取最终的目标心脏瓣膜开口面积,包括:
对所述开口面积图进行滤波处理,以获取开口面积曲线图;
根据所述开口面积曲线图,确定每一心动周期下的开口面积峰值;
将所有的开口面积峰值的均值作为最终的目标心脏瓣膜开口面积。
9.根据权利要求8所述的心脏瓣膜参数获取方法,其特征在于,所述对所述开口面积图进行滤波处理,以获取开口面积曲线图,包括:
将所述开口面积图由时域转换至频域,以获取频率幅值图;
对所述频率幅值图进行滤波处理,以滤除所述频率幅值图中的频率高于预设阈值的部分;
将滤波处理后的所述频率幅值图由频域转换至时域,以获取开口面积曲线图。
10.根据权利要求1所述的心脏瓣膜参数获取方法,其特征在于,所述方法还包括:
根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第一分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜外轮廓掩膜图像;
根据所述当前帧目标心脏瓣膜内轮廓掩膜图像和所述当前帧目标心脏瓣膜外轮廓掩膜图像,获取所述当前帧心动图像所对应的目标心脏瓣膜的位置信息。
11.根据权利要求1所述的心脏瓣膜参数获取方法,其特征在于,在采用目标检测模型对所获取的当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息之后,所述方法还包括:
根据所述目标心脏瓣膜感兴趣区域的位置信息,采用第二分割模型对所述当前帧心动图像所对应的目标心脏瓣膜感兴趣区域进行分割,以获取当前帧目标心脏瓣膜瓣叶掩膜图像。
12.根据权利要求1所述的心脏瓣膜参数获取方法,其特征在于,所述根据当前帧心动图像,获取目标心脏瓣膜感兴趣区域的位置信息,包括:
采用目标检测模型对所述当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息。
13.根据权利要求12所述的心脏瓣膜参数获取方法,其特征在于,所述采用目标检测模型对所述当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息,包括:
采用目标检测模型对所获取的当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的候选位置信息;
根据所述目标心脏瓣膜感兴趣区域的候选位置信息,计算放大预设倍数后的目标心脏瓣膜感兴趣区域的位置信息;
将放大预设倍数后的目标心脏瓣膜感兴趣区域的位置信息作为所述目标心脏瓣膜感兴趣区域的位置信息。
14.根据权利要求12所述的心脏瓣膜参数获取方法,其特征在于,在采用目标检测模型对所述当前帧心动图像进行检测,以获取目标心脏瓣膜感兴趣区域的位置信息之后,所述方法还包括:
根据所述当前帧心动图像所对应的时序,对所述目标心脏瓣膜感兴趣区域的位置信息进行修正。
15.一种电子设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1至14中任一项所述的方法。
16.一种可读存储介质,其特征在于,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111395395.6A CN116167961A (zh) | 2021-11-23 | 2021-11-23 | 心脏瓣膜参数获取方法、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111395395.6A CN116167961A (zh) | 2021-11-23 | 2021-11-23 | 心脏瓣膜参数获取方法、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116167961A true CN116167961A (zh) | 2023-05-26 |
Family
ID=86416829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111395395.6A Pending CN116167961A (zh) | 2021-11-23 | 2021-11-23 | 心脏瓣膜参数获取方法、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116167961A (zh) |
-
2021
- 2021-11-23 CN CN202111395395.6A patent/CN116167961A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
JP7112519B2 (ja) | 画像処理方法、装置、コンピュータプログラム、並びにコンピュータ機器 | |
CN111325739B (zh) | 肺部病灶检测的方法及装置,和图像检测模型的训练方法 | |
Kumamaru et al. | Diagnostic accuracy of 3D deep-learning-based fully automated estimation of patient-level minimum fractional flow reserve from coronary computed tomography angiography | |
CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
CN111524109B (zh) | 头部医学影像的评分方法和装置、电子设备及存储介质 | |
CN112950737B (zh) | 基于深度学习的眼底荧光造影图像生成方法 | |
Kumari et al. | Blood vessel extraction using wiener filter and morphological operation | |
CN109003280B (zh) | 一种双通道血管内超声影像的血管中内膜分割方法 | |
WO2024087359A1 (zh) | 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 | |
CN112690813A (zh) | 基于分形理论的肿瘤异质性分析方法、系统、终端及介质 | |
CN113299363A (zh) | 一种基于yolov5的皮肤科非处方药售药方法 | |
Muneeswaran et al. | Automatic segmentation of gallbladder using intuitionistic fuzzy based active contour model | |
CN113192067B (zh) | 基于图像检测的智能预测方法、装置、设备及介质 | |
LU500798A1 (en) | Full-Automatic Segmentation Method for Coronary Artery Calcium Lesions Based on Non-Contrast Chest CT | |
WO2021152603A1 (en) | System and method for classification of strain echocardiograms | |
CN111339993A (zh) | 一种x射线图像金属检测方法和系统 | |
CN116167961A (zh) | 心脏瓣膜参数获取方法、电子设备和存储介质 | |
CN111161240A (zh) | 血管分类方法、计算机设备和可读存储介质 | |
Biradar et al. | Speckle noise reduction in echocardiographic images of aortic valve and cardiac chambers | |
Nageswari et al. | Preserving the border and curvature of fetal heart chambers through TDyWT perspective geometry wrap segmentation | |
CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
KR20230139257A (ko) | 기계 학습 모델 기반의 ct 영상을 분류 및 분할하기 위한 방법 및 장치 | |
Lal | TC-SegNet: robust deep learning network for fully automatic two-chamber segmentation of two-dimensional echocardiography | |
CN117635691A (zh) | 心脏瓣膜开口面积检测方法、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |