CN113749690B - 血管的血流量测量方法、装置及存储介质 - Google Patents

血管的血流量测量方法、装置及存储介质 Download PDF

Info

Publication number
CN113749690B
CN113749690B CN202111120961.2A CN202111120961A CN113749690B CN 113749690 B CN113749690 B CN 113749690B CN 202111120961 A CN202111120961 A CN 202111120961A CN 113749690 B CN113749690 B CN 113749690B
Authority
CN
China
Prior art keywords
blood vessel
image block
vessel
sample image
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111120961.2A
Other languages
English (en)
Other versions
CN113749690A (zh
Inventor
龚栋梁
李璐
陈建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chison Medical Technologies Co ltd
Original Assignee
Chison Medical Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chison Medical Technologies Co ltd filed Critical Chison Medical Technologies Co ltd
Priority to CN202111120961.2A priority Critical patent/CN113749690B/zh
Publication of CN113749690A publication Critical patent/CN113749690A/zh
Application granted granted Critical
Publication of CN113749690B publication Critical patent/CN113749690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Hematology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请涉及一种血管的血流量测量方法、装置及存储介质,属于医学影像技术领域,该方法包括:从超声设备在第一工作模式下采集的超声图像中确定目标超声图像,目标超声图像为包括血管的期望截面的超声图像;在确定出目标超声图像的情况下,控制超声设备在第二工作模式下探测血管的血流速度信息;获取目标超声图像中期望截面指示的血管直径;基于血管直径和血流速度信息,确定血管的血流量信息;可以解决现有的血流量测量的结果可能不准确的问题;由于目标超声图像反映的血管直径更加贴近真实值,从而保证血流量测量的准确性。

Description

血管的血流量测量方法、装置及存储介质
【技术领域】
本申请涉及一种血管的血流量测量方法、设备及存储介质,属于医学影像技术领域。
【背景技术】
血流量是判断病人循环功能状态的重要指标,血流量的测量在临床中广泛使用。
传统的血流量测量方法包括:通过超声设备发射多普勒光束扫描目标对象的血管,得到血管中血流速度信息;然后,计算血管当前位置的血管直径,并基于血管直径与血流速度信息确定血流量。
然而,医护人员在测量血流量时,往往是对血管的任意位置进行扫描,而该扫描位置扫描到的血管直径可能与血管的真实直径存在差异,此时,会导致血流量测量不准确的问题。
【发明内容】
本申请提供了一种血管的血流量测量方法、设备及存储介质,可以解决对血管的任意位置进行扫描并计算血流量时,血流量测量的结果可能不准确的问题。本申请提供如下技术方案:
第一方面,提供一种血管的血流量测量方法,所述方法包括:
响应于超声设备在第一工作模式工作的指令,获取所述超声设备在所述第一工作模式下采集的超声图像,所述第一工作模式用于探测组织形态得到所述超声图像;
从所述超声图像中确定目标超声图像,所述目标超声图像为包括血管的期望截面的超声图像;
在确定出所述目标超声图像的情况下,
控制所述超声设备在第二工作模式下探测所述血管的血流速度信息;
获取所述目标超声图像中所述期望截面指示的血管直径;
基于所述血管直径和所述血流速度信息,确定所述血管的血流量信息。
可选地,在确定出所述目标超声图像的情况下,所述方法还包括:输出位置提示信息;所述位置提示信息用于指示采集所述目标超声图像的位置为血流量测量的期望位置。
可选地,所述从所述超声图像中确定目标超声图像,包括:
对于多张超声图像中的每张超声图像,识别所述超声图像中的血管截面,得到截面直径;
确定所述截面直径是否满足预设条件,以确定所述血管截面是否为所述期望截面;
在所述截面直径满足所述预设条件的情况下,确定所述血管截面为所述期望截面,将所述超声图像确定为所述目标超声图像。
可选地,所述预设条件包括:所述截面直径为各张超声图像对应的截面直径中的最大值。
可选地,所述控制所述超声设备在第二工作模式下探测所述血管的血流速度信息之前,还包括:
基于所述目标超声图像确定所述血管的血管位置、血管角度和所述血管直径;
基于所述血管位置、所述血管角度和所述血管直径,在所述目标超声图像上自动生成取样门,以在所述第二工作模式下探测所述取样门区域指示的血流速度信息。
可选地,所述基于所述目标超声图像确定所述血管的血管位置、血管角度和所述血管直径,包括:
将所述目标超声图像输入预先训练的第一网络模型,得到所述血管角度和所述血管位置;所述第一网络模型包括特征提取网络、图像块提取网络和结果预测网络,所述特征提取网络用于提取所述目标超声图像的图像特征,得到特征图;所述图像块提取网络用于在所述输出特征图上提取第一数量的图像块,并记录每个图像块在所述输出特征图上的位置信息;所述结果预测网络用于基于所述第一数量的图像块计算所述血管角度和所述血管位置;
基于所述血管位置计算所述血管直径。
可选地,所述基于所述目标超声图像确定所述血管的血管位置、血管角度和所述血管直径,包括:
在所述目标超声图像上提取第二数量的图像块;
将所述第二数量的图像块输入预先训练的第二网络模型,得到所述血管角度;
将所述第二数量的图像块输入预先训练的第三网络模型,得到所述血管位置和所述血管直径。
可选地,所述基于所述血管直径和所述血流速度信息,确定所述血管的血流量信息,包括:
使用所述血管直径计算所述血管的横截面面积;
基于所述横截面面积和所述血流速度信息,计算所述血流量信息;所述血流速度信息包括在预设探测周期内的平均血流速度,相应地,所述血流量信息包括所述预设探测周期内的平均血流量;和/或,所述血流速度信息包括在预设探测周期内的最大血流速度,相应地,所述血流量信息包括所述预设探测周期内的最大血流量。
可选地,所述期望截面是在所述血管的纵切方向上的期望截面。
第二方面,提供一种血管的血流量测量装置,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现第一方面提供的血管的血流量测量方法。
第三方面,提供一种计算机可读存储介质,所述存储介质中存储有程序,所述程序被处理器执行时用于实现第一方面提供的血管的血流量测量方法。
本申请的有益效果至少包括:通过响应于超声设备在第一工作模式工作的指令,获取超声设备在第一工作模式下采集的超声图像;从超声图像中确定目标超声图像,目标超声图像为包括血管的期望截面的超声图像;在确定出目标超声图像的情况下,控制超声设备在第二工作模式下探测血管的血流速度信息;获取目标超声图像中期望截面指示的血管直径;基于血管直径和血流速度信息,确定血管的血流量信息;可以解决对血管的任意位置进行扫描并计算血流量时,血流量测量的结果可能不准确的问题;由于可以从超声图像中选择包括血管的期望截面的目标超声图像,并自动切换至第二工作模式下探测该血管位置的血流速度信息;之后再根据血管直径和血流速度信息,确定血管的血流量信息,可以保证采集到的血管直径更加贴近真实值,从而保证血流量测量的准确性。
另外,在确定出目标超声图像的情况下,输出位置提示信息;位置提示信息用于指示采集目标超声图像的位置为血流量测量的期望位置,可以提示操作人员在确定出目标超声图像的情况下,保持采集该目标超声图像的位置不变,从而保证采集到的血流速度信息为期望截面的血流速度信息,保证血流量测量的准确性。
另外,通过在超声图像的显示界面显示血流量测量控件来实现第一工作模式和第二工作模式的切换,可以提高工作模式切换的效率。
另外,通过在第二工作模式下探测所述血管的血流速度信息之前,自动根据目标超声图像生成取样门,而无需操作人员人工调整取样门的姿态,可以提高取样门的确定效率,提高血流量测量效率。
另外,通过使用第一网络模型从目标超声图像的特征图中提取预测概率最高的结果,提高确定血管角度和血管位置的准确性。
另外,由于血管位置和直径数值范围远大于第二网络模型输出的各预测概率值,如果将第二网络模型和第三网络模型混到一个神经网络模型中实现,会造成损失函数由血管位置和宽度的误差做主导,不容易对血管角度进行准确预测。因此,通过额外引入第三网络模型来计算血管位置和血管直径,可以提高计算血管位置和血管直径的准确性。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合附图详细说明如后。
【附图说明】
图1是本申请一个实施例提供的血管的血流量测量方法的流程图;
图2是本申请一个实施例提供的确定超声图像的示意图;
图3是本申请一个实施例提供的采集超声图像的过程的示意图;
图4是本申请一个实施例提供的超声图像的显示界面的示意图;
图5是本申请一个实施例提供的取样门的示意图;
图6是本申请一个实施例提供的第一网络模型计算血管角度和血管位置的示意图;
图7是本申请一个实施例提供的血管位置的示意图;
图8是本申请一个实施例提供的第二网络模型计算血管角度、第三网络模型计算血管直径和血管位置的示意图;
图9是本申请一个实施例提供的血管的血流量测量装置的框图;
图10是本申请一个实施例提供的超声设备的框图。
【具体实施方式】
下面结合附图和实施例,对本申请的具体实施方式做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
首先,对本申请涉及的若干名词进行介绍。
B模式:或称主成像模式,一种超声波采集模式。B模式下,超声探头发射超声波给目标组织,记录目标组织的内部结构的回波,将回波进行处理形成灰度图像,以反映组织的内部结构。组织的内部结构的回声或亮度取决于反射信号的强度,强度不同的反射信号转变成强弱不同的光点后,得到平面图形,该平面图像可以显示组织的具体情况。
D模式:用于检测血液流动和器官活动的超声波采集模式。多普勒类型分为彩色多普勒成像(color Doppler flow imaging,CBFI)、频谱多普勒(spectral Doppler)和组织多普勒成像(tissue Doppler imageing,TDI)。其中频谱多普勒又包括脉冲多普勒(pulsedwave Doppler,PW)和连续多普勒(continous wave Doppler,CW)。本申请中,以采用脉冲多普勒(pulsed wave Doppler,PW)检测血流为例进行说明。在D模式下,可以在B模式下采集的超声图像上覆盖彩色图,以显示血流速度。
可选地,本申请以各个实施例提供的血管的血流量测量方法用于血管的血流量测量装置中为例进行说明,该测量装置可以是超声设备,或者与超声设备相连的其它设备,本实施例不对该测量装置的类型作限定。本申请中,超声设备同时支持第一工作模式和第二工作模式。第一工作模式用于探测组织形态得到超声图像;第二工作模式用于探测血管的血流速度信息。示意性地,第一工作模式为B模式,第二工作模式为D模式。
图1是本申请一个实施例提供的血管的血流量测量方法的流程图,该方法至少包括以下几个步骤:
步骤101,响应于超声设备在第一工作模式工作的指令,获取超声设备在第一工作模式下采集的超声图像。
第一工作模式用于探测组织形态得到超声图像。本实施例中,第一工作模式用于探测血管的超声图像。其中,血管可以是颈动脉血管,也可以是内瘘部位血管,本实施例不对血流量测量的场景作限定。
在第一工作模式下获取到的超声图像为灰度图像,比如:第一工作模式下采集的超声图像参考图2所示。
在一个示例中,超声设备设置有第一工作模式的启动运行控件。相应地,在接收到作用于该启动运行控件的触发操作时,超声设备生成在第一工作模式工作的指令,响应于该指令超声设备在第一工作模式下工作。
可选地,启动运行控件可以为物理按键,或者是通过超声设备的显示屏显示的虚拟控件,本实施例不对启动运行控件的实现方式作限定。
在另一示例中,超声设备开机后默认在第一工作模式下工作。此时,超声设备在开机后即生成在第一工作模式工作的指令,响应于该指令超声设备在第一工作模式下工作。
在其它实施例中,在第一工作模式工作的指令也可以是其它设备发送至超声设备的,本实施例不对在第一工作模式工作的指令的生成方式作限定。
示意性地,测量装置实时获取在第一工作模式下采集的超声图像,或者,在超声设备对血管所属的目标对象扫查完成后,获取扫查过程中采集的超声图像,本实施例不对超声图像的获取时机作限定。由于实时获取超声图像,可以在扫查过程即可进行血流量测量,因此,本实施例中,以测量装置实时获取在第一工作模式下采集的超声图像为例进行说明。
步骤102,从超声图像中确定目标超声图像,该目标超声图像为包括血管的期望截面的超声图像。
期望截面是指用户期望进行血流量测量的血管位置对应的截面。可选地,期望截面可以是在血管的纵切方向(或者说是长度方向)上的期望截面;或者也可以是在血管的横切方向(或者说是直径方向)上的期望截面。由于横切方向上的截面容易受到血管压迫的影响,而相对于横切方向上的截面来说,纵切方向上的截面受到血管压迫的影响较小,因此,本实施例中,以期望截面是在血管的纵切方向上的期望截面为例进行说明。
在一个示例中,期望截面是通过血管截面的截面直径确定的。此时,从超声图像中确定目标超声图像,包括:对于多张超声图像中的每张超声图像,识别超声图像中的血管截面,得到截面直径;确定截面直径是否满足预设条件,以确定血管截面是否为期望截面;在截面直径满足预设条件的情况下,确定血管截面为期望截面,将超声图像确定为目标超声图像。
其中,预设条件包括:截面直径大于预设阈值;和/或,截面直径为各张超声图像对应的截面直径中的最大值。
可选地,测量装置使用人工智能(Artificial Intelligence,AI)算法识别超声图像中的血管截面,得到截面直径。具体地,可以使用下文中的第一网络模型识别得到,或者使用下文中的第二网络模型和第三网络模型识别得到,具体描述详见下述实施例,本实施例在此不再赘述。或者,在其它实施例中,也可以使用目标分类算法对超声图像中的图像内容进行分类,得到血管所在区域,之后,计算血管所在区域在血管直径方向上的最大距离,得到截面直径。其中,目标分类算法可以为语义分割算法,或者是目标检测算法,本实施例不对目标分类算法的实现方式作限定。
在其它示例中,期望截面也可以是操作人员根据经验判断得到的,此时,目标超声图像为操作人员人工选择的一张超声图像,本实施例不对目标超声图像的获取方式作限定。
步骤103,在确定出目标超声图像的情况下,控制超声设备在第二工作模式下探测血管的血流速度信息。
在一个示例中,在确定出目标超声图像的情况下,超声设备还可以输出位置提示信息;该位置提示信息用于指示采集目标超声图像的位置为血流量测量的期望位置。这样,操作人员基于该位置提示信息可以控制超声设备切换至第二工作模式,并在第二工作模式下探测血管的血流速度信息。
在其它示例中,在确定出目标超声图像的情况下,超声设备也可以自动切换至第二工作模式,并在第二工作模式下探测血管的血流速度信息。
可选地,位置提示信息包括文字提示,此时,该位置提示信息可以在超声图像的显示界面上显示。位置提示信息可以显示在超声图像的上方或者下方,本实施例不对位置提示信息的显示位置作限定。
和/或,位置提示信息包括音频提示,此时,该音频提示通过测量装置的音频播放器播放。
和/或,位置提示信息包括灯光提示,此时,灯光提示通过测量装置的指示灯闪烁播放。
比如:参考图3,超声设备采集到一张超声图像31,则识别该超声图像31中的血管截面(超声图像31中矩形框所示),得到血管截面的截面直径;确定该截面直径是否满足预设条件;若不满足,则不输出位置提示信息,以使操作人员继续移动采集超声图像的位置(或者说是探头位置);在采集到另一张超声图像32之后,再次识别该超声图像中的血管截面(超声图像32中矩形框所示),得到血管截面的截面直径;确定该截面直径是否满足预设条件;若满足,则输出位置提示信息。
在一个示例中,控制超声设备在第二工作模式下探测血管的血流速度信息,包括:在超声图像的显示界面显示血流量测量控件;在接收到作用于血流量测量控件的触发操作的情况下,控制超声设备在第二工作模式下探测血管的血流速度信息。
超声图像的显示界面是指显示超声图像的用户界面,该显示界面包括显示超声图像的区域,还可以包括显示其它内容的区域;或者,该显示界面整体显示超声图像,其它内容均覆盖在超声图像之上显示;本实施例不对超声图像的显示界面的实现方式作限定。
可选地,血流量测量控件可以在确定出目标超声图像的情况下显示在超声图像的显示界面;或者,也可以在第一工作模式运行期间一直显示在超声图像的显示界面,本实施例不对血流量测量控件的显示时机作限定。
可选地,血流量测量控件可以显示在超声图像的显示界面的下方,或者显示在超声图像的显示界面的上方,本实施例不对血流量测量控件的显示位置作限定。
比如:参考图4,在超声图像的显示界面41中显示有超声图像42和血流量测量控件43。
本实施例中,在接收到作用于血流量测量控件的触发操作的情况下,可以自动控制超声设备切换至第二工作模式工作。
由于在测量血流速度信息时,需要测量血管收缩期峰值流速。基于此,在进入第二工作模式工作之前,往往需要确定第二工作模式下的取样门的姿态。
其中,取样门的姿态可以通过操作人员人工调整,比如:调整多普勒角度(也就是取样门的角度),范围一般为正负30°之间;再调整平行四边形取样门的宽度,取样门的宽度一般取血管直径的1/3。然而,人工调整取样门的姿态的效率较低。基于此,本实施例中,测量装置基于目标超声图像自动生成取样门,从而提高生成取样门的效率。
具体地,控制超声设备在第二工作模式下探测血管的血流速度信息之前,还包括:基于目标超声图像确定血管的血管位置、血管角度和血管直径;基于血管位置、血管角度和血管直径,在目标超声图像上自动生成取样门,以在第二工作模式下探测取样门区域指示的血流速度信息。
其中,在目标超声图像上自动生成取样门,包括:将取样门的中心设置在目标超声图像中血管位置的中心点;将取样门的角度设置为血管角度;将取样门的宽度设置为小于或等于血管直径。
这样,取样门可以位于血管位置的中间区域,由此血流取样更准确;取样门的宽度可以为血管直径的1/3~1/2,从而使得血流取样在最佳的一个区域。
比如:测量装置确定出的取样门参考图5所示,根据图5可知,取样门51的中心设置在目标超声图像中血管位置的中心点;取样门的角度为血管角度;取样门的宽度小于或等于血管直径。
在一个示例中,基于目标超声图像确定血管的血管位置、血管角度和血管直径,包括:将目标超声图像输入预先训练的第一网络模型,得到血管角度和血管位置;基于血管位置计算血管直径。
其中,第一网络模型包括特征提取网络、图像块提取网络和结果预测网络,特征提取网络用于提取目标超声图像的图像特征,得到特征图;图像块提取网络用于在输出特征图上提取第一数量的图像块,并记录每个图像块在输出特征图上的位置信息;结果预测网络用于基于第一数量的图像块计算血管角度和血管位置。
其中,关于第一网络模型的相关描述详见图6所示的实施例,本实施例在此不作赘述。
在另一个示例中,基于目标超声图像确定血管的血管位置、血管角度和血管直径,包括:在目标超声图像上提取第二数量的图像块;将第二数量的图像块输入预先训练的第二网络模型,得到血管角度;将第二数量的图像块输入预先训练的第三网络模型,得到血管位置和血管直径。
其中,第二数量与第一数量相同或不同,本实施例不对第一数量和第二数量的取值作限定。
其中,关于第二网络模型和第三网络模型的相关描述详见图8所示的实施例,本实施例在此不作赘述。
在确定出取样门后,控制超声设备在第二工作模式下探测血管的血流速度信息,包括:采用PW方式采集PW频谱,在预设时长后图像自动冻结;包络PW频谱采集血流速度信息。
其中,预设时长可以为3s或者2s等,本实施例不对PW频谱的采集时长作限定。
本实施例中,在采集到血流速度信息后,测量装置会在目标超声图像中的血管位置上覆盖彩色图像,该彩色图像用于指示该血管位置的血流速度信息。
步骤104,获取目标超声图像中期望截面指示的血管直径。
本实施例中,将期望截面的截面直径确定为血管直径。由于在确定目标超声图像时,测量装置已确定出期望截面的截面直径,因此,测量装置读取该截面直径,即可得到血管直径。
步骤105,基于血管直径和血流速度信息,确定血管的血流量信息。
基于血管直径和血流速度信息,确定血管的血流量信息,包括:使用血管直径计算血管的横截面面积;基于横截面面积和血流速度信息,计算血流量信息。
可选地,血流速度信息包括在预设探测周期内的平均血流速度,相应地,血流量信息包括预设探测周期内的平均血流量;和/或,血流速度信息包括在预设探测周期内的最大血流速度,相应地,血流量信息包括预设探测周期内的最大血流量。
比如:平均血流速度为TAMEAN,单位为cm/s;血管直径为Diam,单位为cm;则使用血管直径计算得到的血管的横截面面积Area=3.1415926/4×Diam2,单位为cm2。基于横截面面积和血流速度信息,计算平均血流量通过下式表示:
平均血流量=Area×TAMAX×60;单位为:ml/min。
又比如:最大血流速度为TAMAX,单位为cm/s;血管直径为Diam,单位为cm;则使用血管直径计算得到的血管的横截面面积Area=3.1415926/4×Diam2,单位为cm2。基于横截面面积和血流速度信息,计算平均血流量通过下式表示:
最大血流量=Area×TAMAX×60;单位为:ml/min。
比如:以图5所示的取样门进行血流量测量后,得到的平均血流速度为TAMEAN为19.31cm/s;对应的平均血流量为285.25ml/min。
综上所述,本实施例提供的血管的血流量测量方法,通过响应于超声设备在第一工作模式工作的指令,获取超声设备在第一工作模式下采集的超声图像;从超声图像中确定目标超声图像,目标超声图像为包括血管的期望截面的超声图像;在确定出目标超声图像的情况下,控制超声设备在第二工作模式下探测血管的血流速度信息;获取目标超声图像中期望截面指示的血管直径;基于血管直径和血流速度信息,确定血管的血流量信息;可以解决对血管的任意位置进行扫描并计算血流量时,血流量测量的结果可能不准确的问题;由于可以从超声图像中选择包括血管的期望截面的目标超声图像,并提示操作人员保持采集该目标超声图像的位置不变,自动切换至第二工作模式下探测该血管位置的血流速度信息;之后再根据血管直径和血流速度信息,确定血管的血流量信息,可以保证采集到的血管直径更加贴近真实值,从而保证血流量测量的准确性。
另外,在确定出目标超声图像的情况下,输出位置提示信息;位置提示信息用于指示采集目标超声图像的位置为血流量测量的期望位置,可以提示操作人员在确定出目标超声图像的情况下,保持采集该目标超声图像的位置不变,从而保证采集到的血流速度信息为期望截面的血流速度信息,保证血流量测量的准确性。
另外,通过在超声图像的显示界面显示血流量测量控件来实现第一工作模式和第二工作模式的切换,可以提高工作模式切换的效率。
另外,通过在第二工作模式下探测所述血管的血流速度信息之前,自动根据目标超声图像生成取样门,而无需操作人员人工调整取样门的姿态,可以提高取样门的确定效率,提高血流量测量效率。
下面对上述实施例中使用第一网络模型确定血管角度和血管位置的方式进行介绍。
可选地,第一网络模型是基于卷积神经网络建立的。参考图6第一网络模型包括特征提取网络61、图像块提取网络62和结果预测网络63。特征提取网络用于提取目标超声图像的图像特征,得到特征图;图像块提取网络用于在输出特征图上提取第一数量的图像块,并记录每个图像块在输出特征图上的位置信息;结果预测网络用于基于第一数量的图像块计算血管角度和血管位置。
其中,特征提取网络包括多组包含卷积层、池化层、批归一化层和激活函数层的层组,在最后一个层组的激活函数层得到输出特征图。提取特征包括提取血管边缘特征、纹理特征和全局结构特征;因此能够对超声图像提取更全面的特征。
图像块提取网络在输出特征图上提取第一数量的图像块,包括:在输出特征图上进行滑动窗口操作,基于像素位置提取图像块;基于像素位置提取图像块包括:以像素位置为中心,遍历输出特征图上每一个像素提取图像块或在输出特征图上每隔数个像素提取图像块;上述图像块的提取过程可以确保至少一个图像块中存在血管的一段;具体可以提取多种不同大小、不同预设长宽比的图像块;
具体地,结果预测网络基于第一数量的图像块计算血管角度,包括:对每个图像块输出包含多个血管角度预测概率的第一预测输出向量;确定所有第一预测输出向量中血管角度预测概率最高的图像块;将血管角度预测概率最高的图像块的第一预测输出向量中血管角度预测概率最高的类别对应的血管角度作为颈动脉超声图像中的血管角度。
具体地,结果预测网络基于第一数量的图像块计算血管角度和血管位置,包括:对每个图像块输出包含预测的血管位置的第二预测输出向量;将血管角度预测概率最高的图像块在输出特征图上的位置还原到颈动脉超声图像上,并结合该图像块中预测的血管位置得到颈动脉超声图像中的血管位置。
以上第一网络模型的处理过程,能够获得更为准确的处理结果。
具体地,第一网络模型输出的目标超声图像中的血管位置可以用一个血管预测矩形框表示。
在一个实施例中,基于血管位置计算得到血管直径,包括:基于血管的位置,经过血管直径方向的中点,生成一条与血管长度方向垂直的直线;从血管中点往直线一个方向用索贝尔算子计算直线上每个像素点的梯度值;在累计第一数量的像素点的梯度值大于预设阈值时,确定第一次满足时的第一数量的像素点中第一个像素点作为血管的一侧边缘点;获取血管中点到一侧边缘点的距离;根据血管中点到一侧边缘点的距离计算得到血管直径,血管中点到一侧边缘点的距离的二倍即血管直径;
其中,索贝尔算子计算的是血管垂直方向的梯度,索贝尔算子为:
一个像素点(x,y)处的梯度值的计算公式为:
梯度=1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)+
0*f(x-1,y)+0*f(x,y)+0*f(x+1,y)+
(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)
f()表示取像素点的像素值;
在另一个实施例中,基于血管位置计算得到血管直径,包括:基于血管的位置,经过血管直径方向的中点,生成一条与所血管长度方向垂直的直线;从血管中点往下遍历计算直线上相邻两个像素点像素值的欧式距离;在相邻两个像素点像素值的欧式距离大于设定阈值时,将相邻两个像素点的后一个像素点作为血管的候选后壁点;在血管中点与候选后壁点之间不存在连续设定个数的像素点中有任意预设个数的像素点的像素值大于固定值时,将候选后壁点确定为血管的边缘点;获取血管中点到边缘点的距离;根据血管中点到边缘点的距离确定血管的宽度。
在一个具体实例中,以超声图像为颈动脉超声图像为例进行说明。首先获取颈动脉超声图像(比如:图2所示的超声图像),颈动脉超声图像优选为颈动脉超声长轴图像;在该图像的中间偏上区域可见深黑色的颈动脉血管(大致呈横向走向);将颈动脉超声图像输入第一网络模型,第一网络模型通过多组包含卷积层、池化层、批归一化层和激活函数层的层组对其提取特征,在最后一个层组的激活函数层得到输出特征图;在输出特征图上进行滑动窗口操作,基于像素位置提取图像块;基于像素位置提取图像块包括:以像素位置为中心,遍历输出特征图上每一个像素提取图像块或在输出特征图上每隔数个像素提取图像块;之后对每个图像块输出包含多个血管角度预测概率的第一预测输出向量,例如[0.02,0.8,0.1,......,0,0.01],该第一预测输出向量包括14个类别,负样本图像块作为第0个类别,-30°、-25°、-20°、-15°、-10°、-5°、0°、5°、10°、15°、20°、25°、30°这13个血管角度作为其余13个类别;在该第一预测输出向量中,负样本图像块预测概率为0.02,-30°血管角度预测概率为0.8,-25°血管角度预测概率为0.1......25°血管角度预测概率为0,30°血管角度预测概率为0.01,所有预测概率之和为1;假设其它一些第一预测输出向量中的最大预测概率都小于0.8,那么就可以确定第一预测输出向量为[0.02,0.8,0.1,......,0,0.01]的图像块;然后将该图像块的第一预测输出向量中血管角度预测概率为0.8的类别对应的-30°血管角度作为得到的颈动脉超声图像中的血管角度;再对每个图像块输出包含预测的血管位置的第二预测输出向量;将血管角度预测概率最高的图像块在输出特征图上的位置还原到颈动脉超声图像上,并结合该图像块中预测的血管位置得到颈动脉超声图像中的血管位置;得到的颈动脉超声图像中血管位置可以用一个血管预测矩形框(如图7中较大的那个矩形框)表示;图7中较大的那个矩形框表示血管预测矩形框,较小的那个矩形框表示取样门;第二预测输出向量采用4维向量来表示图像块中预测的血管位置;血管预测矩形框并非一定需要显示,也可以隐藏,只需要有四个位置数值进行表示即可;再根据得到的血管位置计算血管直径,计算方法如前文;最后基于得到的血管角度、血管位置和血管直径,在颈动脉超声图像上自动生成取样门;具体将取样门的中心设置在颈动脉超声图像中血管位置的中心点;取样门的角度为得到的血管角度;取样门的宽度为得到的血管直径的1/2。
以下将介绍如何训练得到第一网络模型;第一网络模型通过如下方式训练得到:
首先获取样本超声图像,应收集尽可能全面的样本超声图像,比如不同图像深度,不同采集对象的样本超声图像等;样本超声图像标记有血管角度信息、血管位置标记;具体可通过图像标注人员对收集的样本超声图像进行标记工作,首先对样本超声图像标记血管角度信息,例如一共分13类,分为-30°、-25°、-20°、-15°、-10°、-5°、0°、5°、10°、15°、20°、25°、30°;再对样本超声图像标记血管位置标记,即将样本超声图像中一段完整的血管用血管标记矩形框标出;
接着将样本超声图像输入第一网络模型提取特征,得到样本输出特征图;具体可通过多组包含卷积层、池化层、批归一化层和激活函数层的层组对样本超声图像提取特征,在最后一个层组的激活函数层得到输出特征图;
然后在样本输出特征图上进行滑动窗口操作,基于像素位置提取样本图像块;基于像素位置提取样本图像块包括:以像素位置为中心,遍历样本输出特征图上每一个像素提取样本图像块或在样本输出特征图上每隔数个像素提取样本图像块;并记录每个样本图像块在样本输出特征图上的位置信息;
再将样本图像块根据预定规则划分为正样本图像块和负样本图像块,包括:计算每个样本图像块与对应的样本超声图像中血管位置标记的血管交并比,交并比为交集与并集的比值;将交并比大于设定阈值0.8的样本图像块作为正样本图像块,否则作为负样本图像块;
根据正样本图像块和负样本图像块训练第一网络模型,包括:将正样本图像块和负样本图像块输入第一网络模型;通过第一网络模型对每个样本图像块输出包含多个血管角度预测概率的第一预测输出向量;计算用于血管角度预测的第一损失函数;通过第一网络模型对每个图像块输出包含预测的血管位置的第二预测输出向量;计算用于血管位置预测的第二损失函数;
第一损失函数如公式(1)所示,
Loss(prob1,prob2)=max(0,-β(prob1-prob2)+margin) (1)
其中,prob1,prob2为两个样本图像块在一个血管角度类别上的预测概率;当要求第一网络模型输出第一个样本图像块的一个血管角度类别上的预测概率prob1要大于第二个样本图像块的一个血管角度类别上的预测概率prob2时,β取值为1,否则取值为-1;margin为超参数,取值为0.5;当两个预测概率prob1,prob2满足期望的样本差异时,第一损失函数为0,否则大于0。
作为优选,第一损失函数的每次输入为一对正样本图像块和和负样本图像块;以获得更好的训练效果。
第二损失函数如公式(2)所示,
其中,out表示输出的第二预测输出向量,truth表示真实的血管位置(也就是样本超声图像中标记的血管标记矩形框的位置信息)。
将第一损失函数的函数值和第二损失函数的函数值反向传播回第一网络模型进行更新迭代,得到训练好的第一网络模型。
本申请在一个第一网络模型中采用两个不同的损失函数,能够提高预测精度;其中的第一损失函数是一种排序的损失函数,这种损失函数不受类别不均衡的影响。
作为优选,第一网络模型采用金字塔结构,包括三组包含卷积层、池化层、批归一化层和激活函数层的层组;以便结合第一网络模型中的中低层的细节信息和高层的抽象信息,得到更好的检测能力;在金字塔结构的第一网络模型中,第一个激活函数层输出的低层特征上采样后和第二个激活函数层输出的中层特征相加,得到一个融合低层和中层的特征,再将融合低层和中层的特征上采样后和第三个激活函数层输出的高层特征相加,得到一个融合了低层、中层和高层的特征。
综上所述,本实施例中,通过使用第一网络模型从目标超声图像的特征图中提取预测概率最高的结果,提高确定血管角度和血管位置的准确性。
下面对上述实施例中使用第二网络模型和第三网络模型确定血管角度、血管位置和血管直径的方式进行介绍。
本实施例中,第二网络模型和第三网络模型均基于卷积神经网络建立。
本实施例中,在目标超声图像上提取第二数量的图像块,包括:按照预设提取标准在目标超声图像上提取第二数量的图像块,每个图像块记录有在目标超声图像上的位置信息;该预设提取标准包括:图像块的长宽比为一种或多种预设长宽比,和/或,提取长度为预设长度且宽度为预设宽度。这样,可以使得基于各图像块进行得到超声图像中的血管角度、血管位置和血管宽度时获得更为准确的结果。
参考图8,提取到第二数量的图像块后,第二数量的图像块输入第二网络模型81,得到血管角度;第二数量的图像块输入第三网络模型82,得到血管位置和血管直径。
具体地,将第二数量的图像块输入第二网络模型,得到目标超声图像中的血管角度,包括:通过第二网络模型对每个图像块输出包含多个血管角度预测概率的第一预测输出向量;确定所有第一预测输出向量中血管角度预测概率最高的图像块;将血管角度预测概率最高的图像块的第一预测输出向量中血管角度预测概率最高的类别对应的血管角度作为目标超声图像中的血管角度。
具体地,将第二数量的图像块输入第三网络模型,得到目标超声图像中的血管位置和血管宽度,包括:通过第三网络模型对每个图像块输出包含预测的血管位置和血管宽度的第二预测输出向量;将血管角度预测概率最高的图像块还原到超声图像上,并结合该图像块中预测的血管位置和血管宽度得到目标超声图像中的血管位置和血管宽度;
以上第二网络模型、第三网络模型的处理过程,既存在各自独立的处理过程,又存在相互配合的处理过程,能够获得更为准确的处理结果。
目标超声图像中的血管位置可以用一个血管预测矩形框表示。
以下结合实例对超声自动多普勒方法的自动化过程进行说明。首先获取超声图像,图2显示了一幅获取的超声长轴图像,在该图像的中间偏上区域可见深黑色的血管(大致呈横向走向),然后在超声图像上按照预设提取标准随机提取第二数量的图像块并记录各图像块在超声图像上的位置信息;预设提取标准包括:图像块的长宽比为一种或多种预设长宽比,例如2:1、3:1、4:1、5:1等等,和/或,提取长度为预设长度且宽度为预设宽度;图2示例性地显示了三个提取的图像块;由于是随机性提取且数量较多,因此能够保证至少一个图像块能够包含血管完整的某一段;接着将第二数量的各图像块分别输入第二网络模型和第三网络模型;通过第二网络模型对每一个图像块输出包含负样本图像块预测概率和图像块多个血管角度预测概率的第一预测输出向量,例如[0.02,0.8,0.1,......,0,0.01],该第一预测输出向量包括14个类别,负样本图像块作为第0个类别,-30°、-25°、-20°、-15°、-10°、-5°、0°、5°、10°、15°、20°、25°、30°这13个血管角度作为其余13个类别;在该第一预测输出向量中,负样本图像块预测概率为0.02,-30°血管角度预测概率为0.8,-25°血管角度预测概率为0.1......25°血管角度预测概率为0,30°血管角度预测概率为0.01,所有预测概率之和为1;假设其它一些第一预测输出向量中的最大预测概率都小于0.8,那么就可以确定第一预测输出向量为[0.02,0.8,0.1,......,0,0.01]的图像块;然后将该图像块的第一预测输出向量中血管角度预测概率为0.8的类别(第2个类别)对应的-30°血管角度作为得到的超声图像中的血管角度;通过第三网络模型对每个图像块输出包含预测的血管位置和血管宽度的第二预测输出向量;上述图像块确定后,该血管角度预测概率最高的图像块还原到超声图像上,并结合该图像块中预测的血管位置得到超声图像中的血管位置,该图像块中预测的血管宽度作为得到的超声图像中的血管宽度。在本实施例中,图像块中预测的血管位置用一个血管预测矩形框表示,那么得到的超声图像中的血管位置也就用一个血管预测矩形框表示。图7中显示了两个矩形框,图像块中预测的血管位置已经变换至超声图像中,其中较大的那个矩形框表示血管预测矩形框,较小的那个矩形框表示取样门;第三网络模型输出的第二预测输出向量采用5维向量来表示图像块中预测的血管位置和血管宽度;第二预测输出向量中的前4维表示血管预测矩形框的位置信息,第5维表示预测的血管宽度信息;第二预测输出向量的表示方式可以有两种,例如,一个第二预测输出向量[100,100,200,200,20]中,第一个数值和第二个数值表示血管预测矩形框的左上角的坐标,第三个数值和第四个数值表示血管预测矩形框的右下角的坐标,第五个数值表示预测的血管宽度为20个像素;又如,另一个第二预测输出向量[150,150,50,50,20]中,第一个数值和第二个数值表示血管预测矩形框的中心的坐标,第三个数值和第四个数值表示血管预测矩形框的长度和宽度,第五个数值表示预测的血管宽度为20个像素;
最后,基于得到的血管角度、血管位置和血管宽度,在超声图像上自动生成取样门;取样门位置设于得到的血管位置(血管预测矩形框)内,如图7中较小的那个矩形框(取样门)位于较大的那个矩形框(血管预测矩形框)内所示;当然血管预测矩形框并非一定需要显示,也可以隐藏,只需要有四个位置数值进行表示即可;取样门的角度为得到的血管角度,取样门的宽度小于或等于预测得到的血管宽度;作为优选,取样门的中心点设置为得到的超声图像中血管位置的中心点,以便取样门位于血管预测矩形框的中间区域,由此血流取样更准确;取样门的宽度优选为得到的超声长轴图像中血管宽度的1/3,可以使得血流取样在最佳的一个区域;
以下将介绍如何训练得到第二网络模型、第三网络模型。第二网络模型和第三网络模型通过如下方式训练得到:
获取样本超声图像,应收集尽可能全面的样本超声图像,比如不同图像深度,不同采集对象的样本超声图像等;样本超声图像标记有血管角度信息、血管位置标记,血管宽度信息;具体可通过图像标注人员对收集的样本超声图像进行标记工作,首先对样本超声图像标记血管角度信息,例如一共分13类,分为-30°、-25°、-20°、-15°、-10°、-5°、0°、5°、10°、15°、20°、25°、30°;再对样本超声图像标记血管位置标记,即将样本超声图像中一段完整的血管用血管标记矩形框标出;再将血管标记矩形框的两条长边上的两个对应点的距离计算并标记为血管宽度。
接着,在样本超声图像上随机提取第二数量的样本图像块,并记录各样本图像块在超声图像上的位置信息,得到每个样本超声图像对应的样本图像块;作为优选,可按照预设提取标准在样本超声图像上提取第二数量的图像块,预设提取标准包括:样本图像块的长宽比为一种或多种预设长宽比,例如2:1、3:1、4:1、5:1等等,和/或,提取长度为预设长度且宽度为预设宽度;提取的样本图像块的长、宽均需要分别小于原始的样本超声图像的长、宽;
将样本图像块根据预定规则划分为正样本图像块和负样本图像块;正样本图像块的血管角度取该正样本图像块所对应的样本超声图像标记的血管角度;将样本图像块根据预定规则划分为正样本图像块和负样本图像块,具体包括:计算每个样本图像块与对应的样本超声图像中血管位置标记的血管交并比,将交并比大于设定阈值0.8的样本图像块作为正样本图像块,否则作为负样本图像块;交并比为血管交集与并集的比值;以上操作会导致正样本图像块数量远少于负样本图像块数量,这样不利于第二网络模型和/或第三网络模型的训练,因此,在训练第二网络模型和/或第三网络模型前,随机保留设定数量的负样本图像块,其余舍弃;例如,设正样本图像块数量为N1,随机保留2N1~3N1个负样本图像块;
接着根据正样本图像块和负样本图像块训练第二网络模型;根据正样本图像块和负样本图像块训练第三网络模型;
(1)根据正样本图像块和负样本图像块训练第二网络模型的具体过程如下:
将正样本图像块和负样本图像块输入第二网络模型;在第二网络模型中为每一个样本图像块设定相应的样本类别向量,样本类别向量中包括负样本类别和预先定义的样本图像块多个血管角度类别;例如,样本类别向量中第0个类别为负样本类别,其余13个类别为-30°、-25°、-20°、-15°、-10°、-5°、0°、5°、10°、15°、20°、25°、30血管角度类别;样本类别向量[0,0,0,0,0,0,1,0,0,0,0,0,0,0]表示这是一个-5°血管角度的正样本图像块,样本类别向量[1,0,0,0,0,0,0,0,0,0,0,0,0,0]表示这是一个负样本图像块;
将正样本图像块和负样本图像块固定到统一像素尺寸,经过若干卷积层、批归一化层和激活函数层构成的第一层组处理,再连接全局池化层,最后连接一个全连接层,第二网络模型中各层之间通过权重参数相连接,输出第一预测输出向量,第一预测输出向量中的每个维度的数值表示输入的样本图像块对应该维度的预测概率,预测概率包括样本图像块的血管角度预测概率;例如第一预测输出向量中第一个维度的数值代表样本图像块对应负样本类别的预测概率,第一预测输出向量中第二个维度的数值代表样本图像块对应-30°血管角度的预测概率;第一层组中卷积层的步长选择为1时,需要配合最大池化层一起使用,即第一层组的结构为卷积层、最大池化层、批归一化层和激活函数层;在训练过程中,采用0.001的学习率,输入图像块样本的饱和度、色调、亮度随机变化。
在得到预测概率后,计算第二网络模型中的第一损失函数,公式为:
Loss=α(1-y’)r(-logy’) (1)
其中,α和r为超参数,取值为0.25和2;y’表示输出的第一预测输出向量中数值最大的预测概率;α(1-y’)r是整个第一损失函数的比重,如果y’越大,则它在第一损失函数中占的比重越小;相反,如果预测概率越小,则该样本图像块在第一损失函数中的比重越大,这样能有效抑制大量简单样本对神经网络的影响,使第二网络模型专注于分辨难度更大的样本;(-logy’)是一个样本图像块产生的误差损失,y’的取值范围为0~1,当预测概率越小,产生的误差损失越大,即第二网络模型最终能以较高的概率判断一个样本图像块的血管角度。
最后,计算第一损失函数相对于每个权重参数的偏导数数值,将偏导数数值反向传播回第二网络模型进行更新迭代,得到训练好的第二网络模型;
(2)根据正样本图像块和负样本图像块训练第三网络模型的具体过程如下:
将正样本图像块和负样本图像块输入第三网络模型;
将正样本图像块和负样本图像块固定到统一像素尺寸,经过若干卷积层、批归一化层、激活函数层构成的第二层组处理,再连接全局池化层,最后再连接一个全连接层,输出第二预测输出向量,第二预测输出向量包含对样本图像块预测的血管位置信息和血管宽度信息,例如,一个5维的第二预测输出向量,其中的前4维表示血管预测矩形框的位置信息,第5维表示血管宽度信息;其中,底层卷积层能提取到血管的边缘特征,中层卷积层能提取到血管的纹理特征,高层卷积层能提取到血管的全局形状特征。
计算第三网络模型中的第二损失函数,公式为:
其中,out表示第三网络模型的第二预测输出向量,truth表示真实的血管位置和血管宽度(也就是超声长轴图像样本中标记的血管标记矩形框的位置信息和血管宽度),该第二损失函数计算第二预测输出向量中每个维度的平方误差,指导神经网络训练;
将第二损失函数的函数值反向传播回第三网络模型进行更新迭代,得到训练好的第三网络模型。
本实施例之所以采用第二个神经网络模型即第三网络模型并采用另一个损失函数,是因为血管位置和直径数值范围远大于第二网络模型输出的各预测概率值,如果混到一个神经网络模型中实现,会造成损失函数由血管位置和宽度的误差做主导,不容易对血管角度进行准确预测。因此,通过额外引入第三网络模型来计算血管位置和血管直径,可以提高计算血管位置和血管直径的准确性。
图9是本申请一个实施例提供的血管的血流量测量装置的框图。该装置至少包括以下几个模块:图像采集模块910、图像选择模块920、流速探测模块930、直径获取模块940和流量测量模块950。
图像采集模块910,用于响应于超声设备在第一工作模式工作的指令,获取所述超声设备在所述第一工作模式下采集的超声图像,所述第一工作模式用于探测组织形态得到所述超声图像;
图像选择模块920,用于从所述超声图像中确定目标超声图像,所述目标超声图像为包括血管的期望截面的超声图像;
流速探测模块930,用于在确定出所述目标超声图像的情况下,控制所述超声设备在第二工作模式下探测所述血管的血流速度信息;
直径获取模块940,用于获取所述目标超声图像中所述期望截面指示的血管直径;
流量测量模块950,用于基于所述血管直径和所述血流速度信息,确定所述血管的血流量信息。
相关细节参考上述方法实施例。
需要说明的是:上述实施例中提供的血管的血流量测量装置在进行血管的血流量测量时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将血管的血流量测量装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的血管的血流量测量装置与血管的血流量测量方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参阅图10,图10是本发明可选实施例提供的一种超声设备的结构示意图,该超声设备可以为上述实施例中的目标组织的测量装置。如图10所示,该超声设备可以包括:超声探头、至少一个处理器101,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口103,存储器104,至少一个通信总线102。其中,通信总线102用于实现这些组件之间的连接通信。其中,通信接口103可以包括显示屏(Display)、键盘(Keyboard),可选通信接口103还可以包括标准的有线接口、无线接口。存储器104可以是高速RAM存储器(RandomAccess Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器104可选的还可以是至少一个位于远离前述处理器101的存储装置。其中处理器101可以结合图7所描述的装置,存储器104中存储应用程序,且处理器101调用存储器104中存储的程序代码,以用于执行上述任一方法步骤。
超声探头:由压电元件、连接器和支撑结构组成。超声探头在发射模式中将电能转换成机械能,产生的机械波向介质传播。在接收模式中,接收反射的机械波形并由超声探头转换成电信号。
其中,通信总线102可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(e10tended industry standardarchitecture,简称EISA)总线等。通信总线102可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器104可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器104还可以包括上述种类的存储器的组合。
其中,处理器101可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器101还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:comple10 programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器104还用于存储程序指令。处理器101可以调用程序指令,实现如本申请图1实施例中所示的血管的血流量测量方法。
可选的,超声设备中还可以包括如下部件:
波形发生器:用于产生数据信号,以便脉冲发生器根据该数据信号产生发射脉冲。
发射波束合成器:用于实现电子聚焦和控制多阵元超声探头的声束。并针对每个阵元适当地延迟发送的信号,以使得发射器信号同时到达目标并在目标处产生最高声强,也即获取最强回波信号。
脉冲发生器:用于产生发射脉冲。
T/R开关:发射接收开关,用于控制超声探头当前处于发射模式或者接收模式。
TGC增益:控制放大器增益随探测深度的增加而加大,以补偿超声信号随传播距离的衰减。
模数转换器:用于将模拟信号转换成数字信号。
接收波束合成器:与发射波束合成器类似,用于实现电子聚焦和控制多阵元超声探头的声束。并通过对接收到的回波应用适当的延迟,以实现线性叠加来自多个阵元的回波信号,实现最高灵敏度。
匹配滤波器:和发射编码相匹配的滤波器实现编码的压缩。
横向滤波器:用于对接收到的信号做距离旁瓣抑制。
带通滤波器:用于从接收到的信号中选择过滤出期望的频带。
幅值检测器:用于检测得到接收到的信号的幅值。
扫描转换/显示:用于执行数据转换,进而做超声图像的展示。
当然实际实现时,超声设备可以包括更多或者更少的部件,本实施例对此并不做限定。
可选地,本申请还提供有一种计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的血管的血流量测量方法。
可选地,本申请还提供有一种计算机产品,该计算机产品包括计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的血管的血流量测量方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种血管的血流量测量方法,其特征在于,所述方法包括:
响应于超声设备在第一工作模式工作的指令,获取所述超声设备在所述第一工作模式下实时采集的超声图像,所述第一工作模式用于探测组织形态得到所述超声图像;
从所述超声图像中确定目标超声图像,所述目标超声图像为包括血管的期望截面的超声图像;
在确定出所述目标超声图像的情况下,控制所述超声设备在第二工作模式下探测所述血管的血流速度信息;
获取所述目标超声图像中所述期望截面指示的血管直径;
基于所述血管直径和所述血流速度信息,确定所述血管的血流量信息;
所述控制所述超声设备在第二工作模式下探测所述血管的血流速度信息之前,还包括:
基于所述目标超声图像确定所述血管的血管位置、血管角度和所述血管直径;
基于所述血管位置、所述血管角度和所述血管直径,在所述目标超声图像上自动生成取样门,以在所述第二工作模式下探测所述取样门区域指示的血流速度信息,在所述目标超声图像上自动生成取样门包括:将取样门的中心设置在目标超声图像中血管位置的中心点;将取样门的角度设置为血管角度;将取样门的宽度设置为小于或等于血管直径;
所述基于所述目标超声图像确定所述血管的血管位置、血管角度包括:
将所述目标超声图像输入预先训练的第一网络模型,得到所述血管角度和所述血管位置;所述第一网络模型包括特征提取网络、图像块提取网络和结果预测网络,所述特征提取网络用于提取所述目标超声图像的图像特征,得到特征图;所述图像块提取网络用于在输出特征图上提取第一数量的图像块,并记录每个图像块在所述输出特征图上的位置信息;所述结果预测网络用于基于所述第一数量的图像块计算所述血管角度和所述血管位置;
所述第一网络模型通过如下方式训练得到:获取样本超声图像,样本超声图像标记有血管角度信息、血管位置标记,将样本超声图像输入第一网络模型提取特征,得到样本输出特征图,在样本输出特征图上进行滑动窗口操作,基于像素位置提取样本图像块;基于像素位置提取样本图像块包括:以像素位置为中心,遍历样本输出特征图上每一个像素提取样本图像块或在样本输出特征图上每隔数个像素提取样本图像块;并记录每个样本图像块在样本输出特征图上的位置信息;将样本图像块根据预定规则划分为正样本图像块和负样本图像块,包括:计算每个样本图像块与对应的样本超声图像中血管位置标记的血管交并比,交并比为交集与并集的比值;将交并比大于设定阈值0.8的样本图像块作为正样本图像块,否则作为负样本图像块;根据正样本图像块和负样本图像块训练第一网络模型,包括:将正样本图像块和负样本图像块输入第一网络模型;通过第一网络模型对每个样本图像块输出包含多个血管角度预测概率的第一预测输出向量;计算用于血管角度预测的第一损失函数;通过第一网络模型对每个图像块输出包含预测的血管位置的第二预测输出向量;计算用于血管位置预测的第二损失函数;
第一损失函数下公式所示,
Loss(prob1,prob2)=max(0,-β(prob1-prob2)+margin)
其中,prob1,prob2为两个样本图像块在一个血管角度类别上的预测概率;当要求第一网络模型输出第一个样本图像块的一个血管角度类别上的预测概率prob1要大于第二个样本图像块的一个血管角度类别上的预测概率prob2时,β取值为1,否则取值为-1;margin为超参数,取值为0.5;当两个预测概率prob1,prob2满足期望的样本差异时,第一损失函数为0,否则大于0;
第一损失函数的每次输入为一对正样本图像块和和负样本图像块;
第二损失函数如下公式所示,
其中,out表示输出的第二预测输出向量,truth表示真实的血管位置;将第一损失函数的函数值和第二损失函数的函数值反向传播回第一网络模型进行更新迭代,得到训练好的第一网络模型。
2.根据权利要求1所述的方法,其特征在于,在确定出所述目标超声图像的情况下,所述方法还包括:
输出位置提示信息;所述位置提示信息用于指示采集所述目标超声图像的位置为血流量测量的期望位置。
3.根据权利要求1所述的方法,其特征在于,所述从所述超声图像中确定目标超声图像,包括:
对于多张超声图像中的每张超声图像,识别所述超声图像中的血管截面,得到截面直径;
确定所述截面直径是否满足预设条件,以确定所述血管截面是否为所述期望截面;
在所述截面直径满足所述预设条件的情况下,确定所述血管截面为所述期望截面,将所述超声图像确定为所述目标超声图像。
4.根据权利要求3所述的方法,其特征在于,所述预设条件包括:所述截面直径为各张超声图像对应的截面直径中的最大值。
5.根据权利要求1所述的方法,其特征在于,基于所述血管位置计算所述血管直径,包括:基于血管的位置,经过血管直径方向的中点,生成一条与血管长度方向垂直的直线;从血管中点往直线一个方向用索贝尔算子计算直线上每个像素点的梯度值;在累计第一数量的像素点的梯度值大于预设阈值时,确定第一次满足时的第一数量的像素点中第一个像素点作为血管的一侧边缘点;获取血管中点到一侧边缘点的距离;根据血管中点到一侧边缘点的距离计算得到血管直径,血管中点到一侧边缘点的距离的二倍即血管直径;
其中,索贝尔算子计算的是血管垂直方向的梯度,索贝尔算子为:
一个像素点(x,y)处的梯度值的计算公式为:
梯度=1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)+
0*f(x-1,y)+0*f(x,y)+0*f(x+1,y)+
(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)
f()表示取像素点的像素值。
6.根据权利要求5所述的方法,其特征在于,所述基于血管位置计算所述血管直径还包括:基于血管的位置,经过血管直径方向的中点,生成一条与所血管长度方向垂直的直线;从血管中点往下遍历计算直线上相邻两个像素点像素值的欧式距离;在相邻两个像素点像素值的欧式距离大于设定阈值时,将相邻两个像素点的后一个像素点作为血管的候选后壁点;在血管中点与候选后壁点之间不存在连续设定个数的像素点中有任意预设个数的像素点的像素值大于固定值时,将候选后壁点确定为血管的边缘点;获取血管中点到边缘点的距离;根据血管中点到边缘点的距离确定血管的宽度。
7.根据权利要求1所述的方法,其特征在于,所述基于所述目标超声图像确定所述血管的血管位置、血管角度和所述血管直径,包括:
在所述目标超声图像上提取第二数量的图像块;
将所述第二数量的图像块输入预先训练的第二网络模型,得到所述血管角度;
将所述第二数量的图像块输入预先训练的第三网络模型,得到所述血管位置和所述血管直径;
第二网络模型和第三网络模型通过如下方式训练得到:获取样本超声图像,样本超声图像标记有血管角度信息、血管位置标记,血管宽度信息;对样本超声图像标记血管角度信息,对样本超声图像标记血管位置标记,将血管标记矩形框的两条长边上的两个对应点的距离计算并标记为血管宽度;在样本超声图像上随机提取第二数量的样本图像块,并记录各样本图像块在超声图像上的位置信息,得到每个样本超声图像对应的样本图像块;提取的样本图像块的长、宽均需要分别小于原始的样本超声图像的长、宽;
将样本图像块根据预定规则划分为正样本图像块和负样本图像块;正样本图像块的血管角度取该正样本图像块所对应的样本超声图像标记的血管角度;将样本图像块根据预定规则划分为正样本图像块和负样本图像块;
根据正样本图像块和负样本图像块训练第二网络模型;根据正样本图像块和负样本图像块训练第三网络模型;根据正样本图像块和负样本图像块训练第二网络模型的具体过程如下:
将正样本图像块和负样本图像块输入第二网络模型;在第二网络模型中为每一个样本图像块设定相应的样本类别向量,样本类别向量中包括负样本类别和预先定义的样本图像块多个血管角度类别;将正样本图像块和负样本图像块固定到统一像素尺寸,经过若干卷积层、批归一化层和激活函数层构成的第一层组处理,再连接全局池化层,最后连接一个全连接层,第二网络模型中各层之间通过权重参数相连接,输出第一预测输出向量,第一预测输出向量中的每个维度的数值表示输入的样本图像块对应该维度的预测概率,预测概率包括样本图像块的血管角度预测概率;
在得到预测概率后,计算第二网络模型中的第一损失函数,公式为:
Loss=α(1-y’)r(-logy’)
其中,α和r为超参数,取值为0.25和2;y’表示输出的第一预测输出向量中数值最大的预测概率;α(1-y’)r是整个第一损失函数的比重,如果y’越大,则它在第一损失函数中占的比重越小;相反,如果预测概率越小,则该样本图像块在第一损失函数中的比重越大,(-logy’)是一个样本图像块产生的误差损失,y’的取值范围为0~1,当预测概率越小,产生的误差损失越大;
计算第一损失函数相对于每个权重参数的偏导数数值,将偏导数数值反向传播回第二网络模型进行更新迭代,得到训练好的第二网络模型;
根据正样本图像块和负样本图像块训练第三网络模型的具体过程如下:将正样本图像块和负样本图像块输入第三网络模型;将正样本图像块和负样本图像块固定到统一像素尺寸,经过若干卷积层、批归一化层、激活函数层构成的第二层组处理,再连接全局池化层,最后再连接一个全连接层,输出第二预测输出向量,第二预测输出向量包含对样本图像块预测的血管位置信息和血管宽度信息;
计算第三网络模型中的第二损失函数,公式为:
其中,out表示第三网络模型的第二预测输出向量,truth表示真实的血管位置和血管宽度,该第二损失函数计算第二预测输出向量中每个维度的平方误差,指导神经网络训练;将第二损失函数的函数值反向传播回第三网络模型进行更新迭代,得到训练好的第三网络模型。
8.根据权利要求1所述的方法,其特征在于,所述基于所述血管直径和所述血流速度信息,确定所述血管的血流量信息,包括:
使用所述血管直径计算所述血管的横截面面积;
基于所述横截面面积和所述血流速度信息,计算所述血流量信息;所述血流速度信息包括在预设探测周期内的平均血流速度,相应地,所述血流量信息包括所述预设探测周期内的平均血流量;和/或,所述血流速度信息包括在预设探测周期内的最大血流速度,相应地,所述血流量信息包括所述预设探测周期内的最大血流量。
9.一种血管的血流量测量装置,其特征在于,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现如权利要求1至8任一项所述的血管的血流量测量方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有程序,所述程序被处理器执行时用于实现如权利要求1至8任一项所述的血管的血流量测量方法。
CN202111120961.2A 2021-09-24 2021-09-24 血管的血流量测量方法、装置及存储介质 Active CN113749690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111120961.2A CN113749690B (zh) 2021-09-24 2021-09-24 血管的血流量测量方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111120961.2A CN113749690B (zh) 2021-09-24 2021-09-24 血管的血流量测量方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113749690A CN113749690A (zh) 2021-12-07
CN113749690B true CN113749690B (zh) 2024-01-30

Family

ID=78797370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111120961.2A Active CN113749690B (zh) 2021-09-24 2021-09-24 血管的血流量测量方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113749690B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838028A (zh) * 2021-09-24 2021-12-24 无锡祥生医疗科技股份有限公司 一种颈动脉超声自动多普勒方法、超声设备及存储介质
CN114869335B (zh) * 2022-04-07 2023-12-08 皖南医学院第一附属医院(皖南医学院弋矶山医院) 一种局部血流指数的测定方法及设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107874782A (zh) * 2017-11-10 2018-04-06 苏州掌声医疗科技有限公司 一种多普勒超声自动定位取样框的方法
CN110136157A (zh) * 2019-04-09 2019-08-16 华中科技大学 一种基于深度学习的三维颈动脉超声图像血管壁分割方法
CN110428417A (zh) * 2019-08-13 2019-11-08 无锡祥生医疗科技股份有限公司 颈动脉斑块的性质判别方法、存储介质及超声装置
CN111161216A (zh) * 2019-12-09 2020-05-15 杭州脉流科技有限公司 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质
CN111340789A (zh) * 2020-02-29 2020-06-26 平安科技(深圳)有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质
CN111626350A (zh) * 2020-05-25 2020-09-04 腾讯科技(深圳)有限公司 目标检测模型训练方法、目标检测方法及装置
CN112017185A (zh) * 2020-10-30 2020-12-01 平安科技(深圳)有限公司 病灶分割方法、装置及存储介质
CN112037163A (zh) * 2019-05-17 2020-12-04 深圳市理邦精密仪器股份有限公司 一种基于超声图像的血流量自动测量方法和装置
CN112184647A (zh) * 2020-09-22 2021-01-05 清华大学深圳国际研究生院 基于迁移卷积网络对眼底图像进行血管病变分级识别方法
WO2021042298A1 (zh) * 2019-09-04 2021-03-11 深圳迈瑞生物医疗电子股份有限公司 一种vti测量装置及方法
CN112704515A (zh) * 2019-10-25 2021-04-27 深圳迈瑞生物医疗电子股份有限公司 多普勒参数的调节方法及相关设备
CN112785565A (zh) * 2021-01-15 2021-05-11 上海商汤智能科技有限公司 目标检测方法及装置、电子设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018001099A1 (zh) * 2016-06-30 2018-01-04 上海联影医疗科技有限公司 一种血管提取方法与系统
US11589924B2 (en) * 2017-08-01 2023-02-28 Siemens Healthcare Gmbh Non-invasive assessment and therapy guidance for coronary artery disease in diffuse and tandem lesions

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107874782A (zh) * 2017-11-10 2018-04-06 苏州掌声医疗科技有限公司 一种多普勒超声自动定位取样框的方法
CN110136157A (zh) * 2019-04-09 2019-08-16 华中科技大学 一种基于深度学习的三维颈动脉超声图像血管壁分割方法
CN112037163A (zh) * 2019-05-17 2020-12-04 深圳市理邦精密仪器股份有限公司 一种基于超声图像的血流量自动测量方法和装置
CN110428417A (zh) * 2019-08-13 2019-11-08 无锡祥生医疗科技股份有限公司 颈动脉斑块的性质判别方法、存储介质及超声装置
WO2021042298A1 (zh) * 2019-09-04 2021-03-11 深圳迈瑞生物医疗电子股份有限公司 一种vti测量装置及方法
CN112704515A (zh) * 2019-10-25 2021-04-27 深圳迈瑞生物医疗电子股份有限公司 多普勒参数的调节方法及相关设备
CN111161216A (zh) * 2019-12-09 2020-05-15 杭州脉流科技有限公司 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质
CN111340789A (zh) * 2020-02-29 2020-06-26 平安科技(深圳)有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质
CN111626350A (zh) * 2020-05-25 2020-09-04 腾讯科技(深圳)有限公司 目标检测模型训练方法、目标检测方法及装置
CN112184647A (zh) * 2020-09-22 2021-01-05 清华大学深圳国际研究生院 基于迁移卷积网络对眼底图像进行血管病变分级识别方法
CN112017185A (zh) * 2020-10-30 2020-12-01 平安科技(深圳)有限公司 病灶分割方法、装置及存储介质
CN112785565A (zh) * 2021-01-15 2021-05-11 上海商汤智能科技有限公司 目标检测方法及装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Automatic Diagnosis of Familial Exudative Vitreoretinopathy Using a Fusion Neural Network for Wide-Angle Retinal Images;Ye, Y;《IEEE ACCESS》;全文 *
基于卷积神经网络的医学图像分割算法研究;徐婷宜;《中国优秀硕士学位论文全文数据库》;全文 *
彩色双功能高频超声对颈动脉粥样硬化的诊断价值;陈建军;《临床超声医学杂志》;全文 *

Also Published As

Publication number Publication date
CN113749690A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113749690B (zh) 血管的血流量测量方法、装置及存储介质
US6406430B1 (en) Ultrasound image display by combining enhanced flow imaging in B-mode and color flow mode
US6126605A (en) Ultrasound color flow display optimization by adjusting dynamic range
US8094893B2 (en) Segmentation tool for identifying flow regions in an image system
JP4424707B2 (ja) Bモード超音波イメージングにおける自動送信波形最適化のための方法及び装置
US9687212B2 (en) Ultrasonic diagnosis apparatus, ultrasonic image processing apparatus, ultrasonic image processing method, and ultrasonic image processing program
EP1793343A1 (en) Image processing system and method of enhancing the quality of an ultrasound image
EP2995259A1 (en) Ultrasound optimization method and ultrasonic medical device therefor
EP0952458B1 (en) Method and apparatus for ultrasound imaging using adaptive gray mapping
US7738685B2 (en) Image processing system and method for controlling gains for color flow images
US20130096429A1 (en) Ultrasonic diagnosis apparatus, operation method of the same, and computer readable recording medium
US10664977B2 (en) Apparatus and method for image-based control of imaging system parameters
US6176828B1 (en) Method and apparatus for optimal data mapping of power doppler images
US6059729A (en) Method and apparatus for edge enhancement in ultrasound imaging
US20190298298A1 (en) Ultrasound imaging method
US6500125B1 (en) Ultrasound b/color priority threshold calculation
CN113570594A (zh) 超声图像中目标组织的监测方法、装置及存储介质
US20230225705A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
EP4006832A1 (en) Predicting a likelihood that an individual has one or more lesions
US6045504A (en) Method and apparatus for polynomial approximation of nonlinear operations in medical ultrasound imaging
JP3267739B2 (ja) 超音波カラードプラ診断装置
JP2000300555A (ja) 超音波画像処理装置
EP1006369A2 (en) Method and apparatus for adaptive filtering by counting acoustic sample zeroes in ultrasound imaging
US11810294B2 (en) Ultrasound imaging system and method for detecting acoustic shadowing
US11468573B2 (en) Method and system for enhanced visualization of color flow ultrasound

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant