CN113313715B - 心脏动脉血管的分割方法、分割装置、设备和介质 - Google Patents

心脏动脉血管的分割方法、分割装置、设备和介质 Download PDF

Info

Publication number
CN113313715B
CN113313715B CN202110587055.7A CN202110587055A CN113313715B CN 113313715 B CN113313715 B CN 113313715B CN 202110587055 A CN202110587055 A CN 202110587055A CN 113313715 B CN113313715 B CN 113313715B
Authority
CN
China
Prior art keywords
blood vessel
centerline
determining
heart
coronary artery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110587055.7A
Other languages
English (en)
Other versions
CN113313715A (zh
Inventor
尹思源
张欢
王瑜
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202110587055.7A priority Critical patent/CN113313715B/zh
Publication of CN113313715A publication Critical patent/CN113313715A/zh
Application granted granted Critical
Publication of CN113313715B publication Critical patent/CN113313715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种心脏动脉血管的分割方法、分割装置、设备和介质,所述方法包括:根据获取的心脏原始图像,确定出主动脉识别结果和动静脉识别结果;根据所述心脏原始图像、所述主动脉识别结果和所述动静脉识别结果,确定出第一血管中心线;对所述第一血管中心线中的断开切口进行延长,得到冠脉中心线;基于所述冠脉中心线,确定出冠脉识别结果;将所述主动脉识别结果和所述冠脉识别结果合并,得到心脏动脉血管分割结果。

Description

心脏动脉血管的分割方法、分割装置、设备和介质
技术领域
本申请涉及图像处理领域,具体而言,涉及一种心脏动脉血管的分割方法、分割装置、设备和介质。
背景技术
心脏病变是人类疾病中的常见病,对心脏病变的筛查或者确诊,心脏CTA是重要手段之一。基于心脏CTA的动脉三维重建技术可以辅助医生对心脏有更全面清晰的认知,对于避免漏诊误诊有着重要作用。
而现有技术中,对心脏CAT进行动脉分割处理,得到的动脉分割结果会存在静脉假阳的情况,没有办法保证动脉分割结果中冠脉的连通性。
发明内容
有鉴于此,本申请的目的在于提供一种心脏动脉血管的分割方法、分割装置、设备和介质,用于解决现有技术中心脏动脉血管分割不准确的问题。
第一方面,本申请实施例提供了一种心脏动脉血管的分割方法,包括:
根据获取的心脏原始图像,确定出主动脉识别结果和动静脉识别结果;
根据所述心脏原始图像、所述主动脉识别结果和所述动静脉识别结果,确定出第一血管中心线;
对所述第一血管中心线中的断开切口进行延长,得到冠脉中心线;
基于所述冠脉中心线,确定出冠脉识别结果;
将所述主动脉识别结果和所述冠脉识别结果合并,得到心脏动脉血管分割结果。
可选的,根据所述心脏原始图像、所述主动脉识别结果和所述动静脉识别结果,确定出第一血管中心线,包括:
根据所述心脏原始图像和所述主动脉识别结果,确定出第二血管中心线;
根据所述动静脉识别结果,在所述血管中心线中确定出第一血管中心线。
可选的,根据所述心脏原始图像和所述主动脉识别结果,确定出血管中心线,包括:
根据所述心脏原始图像和所述主动脉识别结果,在所述心脏原始图像中确定出种子点的位置;
将所述心脏原始图像中所述种子点的位置所对应的预测区域图像输入至血管中心线预测模型,确定出所述预测区域图像中所述种子点对应的血管的延伸方向;
基于所述延伸方向,在所述心脏原始图像中确定新的预测区域图像和新的预测种子点的位置;
将所述新的预测区域图像中的新的预测种子点的位置和所述新的预测区域图像的上一预测区域图像中的种子点的位置进行连接,得到中心点连线;
将所述新的预测区域图像作为预测区域图像、所述新的预测种子点作为种子点,重新执行步骤将所述心脏原始图像中所述种子点的位置所对应的预测区域图像输入至血管中心线预测模型,确定出所述预测区域图像中所述种子点对应的血管的延伸方向,直至所述预测区域图像中所述种子点对应的血管停止延伸,将所述中心点连线确定为第二血管中心线。
可选的,对所述第一血管中心线中的切口进行延长,得到冠脉中心线,包括:
判断所述第一血管中心线是否存在断开切口;
若所述第一血管中心线存在至少一个所述断开切口,基于每一个所述断开切口的延长结果,得到所述冠脉中心线。
可选的,基于每一个所述断开切口的延长结果,得到所述冠脉中心线,包括:
针对每一个所述断开切口,对所述断开切口进行延长,得到延长中心线;
针对每一个所述断开切口,若所述延长中心线与其他断开切口连接,则所述延长结果为保留所述延长中心线;
针对每一个所述断开切口,若所述延长中心线与其他断开切口不连接,则所述延长结果为不保留所述延长中心线;
根据每一个所述断开切口的延长结果,得到所述冠脉中心线。
可选的,基于所述冠脉中心线,确定出冠脉识别结果,包括:
对所述冠脉中心线进行像素膨胀,得到加粗冠脉中心线;
将所述加粗冠脉中心线输入至冠脉构建模型,得到所述冠脉识别结果。
第二方面,本申请实施例提供了一种心脏动脉血管的分割装置,包括:
第一确定模块,用于根据获取的心脏原始图像,确定出主动脉识别结果和动静脉识别结果;
第二确定模块,用于根据所述心脏原始图像、所述主动脉识别结果和所述动静脉识别结果,确定出第一血管中心线;
延长模块,用于对所述第一血管中心线中的断开切口进行延长,得到冠脉中心线;
第三确定模块,用于基于所述冠脉中心线,确定出冠脉识别结果;
合并模块,用于将所述主动脉识别结果和所述冠脉识别结果合并,得到心脏动脉血管分割结果。
可选的,所述第二确定模块,包括:
第一确定单元,用于根据所述心脏原始图像和所述主动脉识别结果,确定出第二血管中心线;
第二确定单元,用于根据所述动静脉识别结果,在所述血管中心线中确定出第一血管中心线。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述方法的步骤。
本申请实施例提供的心脏动脉血管的分割方法,首先,根据获取的心脏原始图像,确定出主动脉识别结果和动静脉识别结果;然后,根据所述心脏原始图像、所述主动脉识别结果和所述动静脉识别结果,确定出第一血管中心线;其次,对所述第一血管中心线中的断开切口进行延长,得到冠脉中心线;再次,基于所述冠脉中心线,确定出冠脉识别结果;最后,将所述主动脉识别结果和所述冠脉识别结果合并,得到心脏动脉血管分割结果。
在某些实施例中,利用动静脉识别结果确定出心脏中血管中心线中的动脉中心线(也就是第一中心线),为了减少第一中心线中可能会存在静脉类别的血管中心线的情况,通过对血管中心线的断开切口进行延长的手段,进一步的去除了心脏的血管中心线中的静脉类别的血管中心线,得到冠脉中心线,使得根据冠脉中心线确定的冠脉识别结果中不存在静脉类别的血管,减少了静脉假阳的情况,提高了确定心脏动脉血管分割结果的准确性。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种心脏动脉血管的分割方法的流程示意图;
图2为本申请实施例提供的一种主动脉识别结果的示意图;
图3为本申请实施例提供的一种预测血管延伸方向的示意图;
图4为本申请实施例提供的一种心脏动脉血管的分割装置的结构示意图;
图5为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
对心脏原始图像的心脏动脉血管分割技术主要包括传统区域生长方案和深度学习方案,区域增长方案是基于部分图像信息,如灰度、对比度、纹理特征等,从冠脉根部开始进行生长,直到满足停止条件停止,鲁棒性较低。深度学习方案有直接分割方案,输入原始的CTA图像,输出冠脉分割,其缺点是存在静脉假阳,且无法保证冠脉的连通性。
基于上述缺陷,本申请实施例提供了一种心脏动脉血管的分割方法,如图1所示,包括以下步骤:
S101,根据获取的心脏原始图像,确定出主动脉识别结果和动静脉识别结果;
S102,根据所述心脏原始图像、所述主动脉识别结果和所述动静脉识别结果,确定出第一血管中心线;
S103,对所述第一血管中心线中的断开切口进行延长,得到冠脉中心线;
S104,基于所述冠脉中心线,确定出冠脉识别结果;
S105,将所述主动脉识别结果和所述冠脉识别结果合并,得到心脏动脉血管分割结果。
在上述步骤S101中,心脏原始图像是冠状动脉血管造影(CTA,CTangiography),是一种三维成像。主动脉识别结果是基于心脏主动脉血管在心脏原始图像中识别的结果,动静脉识别结果用于区别心脏原始图像中各个血管的血管类别,血管类别包括静脉类别和动脉类别,静脉类别的血管是静脉血管,动脉类别的血管是动脉血管。
具体实施中,在获取到心脏原始图像后,心脏原始图像中每个像素的大小在坐标系的各个坐标轴的方向上是不同的,为了保证对图像切割的准确性,对心脏原始图像进行调整,使心脏原始图像中每个像素的大小在坐标系中各个坐标轴所对应的方向是相同的,将心脏原始图像输入到主动脉识别模型中,可以识别出心脏原始图像中心脏的主动脉部分,得到主动脉识别结果,如图2所示,图2中不规则的圆柱图形就是主动脉识别结果。将心脏原始图像输入到动静脉识别模型,可以识别出心脏原始图像中的动静脉识别结果。
主动脉识别模型可以用于识别心脏原始图像中的主动脉对应的区域图像。主动脉识别模型可以是3D分割深度学习模型,主动脉识别模型是基于3D分割深度学习模型训练得到的,主动脉识别模型的训练过程包括如下步骤:
获取第一训练样本集合;所述第一训练样本集合中包括至少一个训练样本,每一个训练样本中包括第一训练数据(也就是心脏原始图像)和第一标签(也就是心脏原始图像中主动脉对应的标签);
针对每一个训练样本,将第一训练数据作为待训练的3D分割深度学习模型的输入,将标签作为待训练的3D分割深度学习模型的输出,对待训练的3D分割深度学习模型进行训练,以得到训练好的主动脉识别模型。
采用与主动脉识别模型相似的训练标记方法,对动静脉识别模型进行训练。动静脉识别模型的训练过程包括如下步骤:
获取第二训练样本集合;所述第二训练样本集合中包括至少一个训练样本,每一个训练样本中包括第二训练数据(也就是心脏原始图像)和第二标签(也就是心脏原始图像中动脉和静脉分别对应的标签);
针对每一个训练样本,将第二训练数据作为待训练的3D分割深度学习模型的输入,将第二标签作为待训练的3D分割深度学习模型的输出,对待训练的3D分割深度学习模型进行训练,以得到训练好的动静脉识别模型。
在上述步骤S102中,第二血管中心线是在心脏原始图像中确定出心脏中除了主动脉之外的其他血管的血管中心线。第一血管中心线是第二血管中心线中动脉类别的血管的血管中心线,第一血管中心线也是基于动静脉识别结果在第二血管中心线中去除掉静脉类别的血管之后得到的剩余血管中心线,因此,在第一血管中心线中可能会存在两个动脉血管中心线之间断开的情况。
具体实施中,根据主动脉识别结果在心脏原始图像中确定出与心脏中其他血管与主动脉连接的连接点,将连接点作为第一个种子点,利用第一个种子点和冠脉识别模型,在心脏原始图像中确定出心脏中除了主动脉之外的其他血管的血管中心线,也就是第二血管中心线。在基于动静脉识别结果在第二血管中心线中确定出第一血管中心线(动脉血管的中心线)。其中,第二血管中心线是心脏中除了主动脉之外的其他血管的所有横截面的中心点组成的。通过动静脉识别结果对第二血管中心线进行区分,保留动脉中心线(也就是第一血管中心线),减少了静脉中心线的干扰,提高了得到心脏动脉血管分割结果的准确性。其中,第一个种子点是心脏中其他血管与主动脉连接处的横截面的中心点。
在上述步骤S103中,冠脉中心线是心脏中除了主动脉之外的动脉血管(冠脉血管)对应的血管中心线,其中,冠脉中心线中两个动脉血管中心线之间不存在断开的情况。第一血管中心线中的断开切口指的是第二血管中心线中静脉类别的血管中心线与动脉类别的血管中心线的连接点。
具体实施中,为了减少心脏动脉血管分割结果出现静脉假阳的情况,还需要对得到的第一血管中心线中的动脉血管进一步进行验证,以去除掉静脉类别的血管中心线,只保留动脉类别的血管中心线。如果在第一血管中心线中对断开切口进行延长之后,可以与另一个断开切口连接,则该断开切口对应的血管中心线和另一个断开切口对应的血管中心线均是动脉类别的血管中心线。如果对第一血管中心线中所有断开切口均进行延长后,仍存在与其他断开切口均不连接的血管中心线,则将与其他断开切口均不连接的血管中心线确定为静脉类别的血管中心线,并去除静脉类别的血管中心线,得到冠脉中心线。
在上述步骤S104中,在得到冠脉中心线后,将冠脉中心线输入至冠脉构建模型,就可以得到冠脉识别结果。冠脉识别结果可以根据冠脉中心线确定出冠脉中心线所对应的冠脉的真实血管图像,也就是冠脉识别结果。
在上述步骤S105中,将主动脉识别结果和冠脉识别结果进行拼接后,就可以得到主动脉与冠脉组成的心脏的动脉血管分割结果。
在本申请实施例中,通过上述五个步骤,利用动静脉识别结果确定出心脏中血管中心线中的动脉中心线(也就是第一血管中心线),为了减少第一血管中心线中可能会存在静脉类别的血管中心线的情况,通过对第一血管中心线的断开切口进行延长的手段,进一步的减少心脏的血管中心线中的动脉类别的血管中心线被识别成静脉类别的血管中心线的情况,得到冠脉中心线,使得根据冠脉中心线确定的冠脉识别结果中降低静脉类别的血管的数量,减少了静脉假阳的情况,提高了确定心脏动脉血管分割结果的准确性。
本申请中所要分割的是心脏原始图像的动脉血管图像,需要在心脏原始图像中确定出动脉血管所在位置,因此,步骤S102,包括:
步骤1021,根据所述心脏原始图像和所述主动脉识别结果,确定出第二血管中心线;
步骤1022,根据所述动静脉识别结果,在所述血管中心线中确定出第一血管中心线。
在上述步骤1021中,根据主动脉识别结果,在心脏原始图像中确定出心脏中除了主动脉之外的其他血管与主动脉连接的位置,将其他血管与主动脉连接的位置确定为种子点的位置,通过冠脉中线识别模型和种子点的位置在心脏原始图像确定出除了主动脉之外的其他血管所对应的血管中心线,血管中心线是其他血管的横截面所对应的中心线组成的,也就是确定出第二血管中心线。
为了详细的了解,冠脉中线识别模型和种子点在心脏原始图像确定出除了主动脉之外的其他血管所对应的血管中心线,本申请步骤,1021,具体包括:
步骤10211,根据所述心脏原始图像和所述主动脉识别结果,在所述心脏原始图像中确定出种子点的位置;
步骤10212,将所述心脏原始图像中所述种子点的位置所对应的预测区域图像输入至血管中心线预测模型,确定出所述预测区域图像中所述种子点对应的血管的延伸方向;
步骤10213,基于所述延伸方向,在所述心脏原始图像中确定新的预测区域图像和新的预测种子点的位置;
步骤10214,将所述新的预测区域图像中的新的预测种子点的位置和所述新的预测区域图像的上一预测区域图像中的种子点的位置进行连接,得到中心点连线;
步骤10215,将所述新的预测区域图像作为预测区域图像、所述新的预测种子点作为种子点,重新执行步骤将所述心脏原始图像中所述种子点的位置所对应的预测区域图像输入至血管中心线预测模型,确定出所述预测区域图像中所述种子点对应的血管的延伸方向,直至所述预测区域图像中所述种子点对应的血管停止延伸,将所述中心点连线确定为第二血管中心线。
在上述步骤10211中,根据主动脉识别结果,在心脏原始图像中确定出心脏中除了主动脉之外的其他血管与主动脉连接的位置,将其他血管与主动脉连接的位置确定为种子点的位置。
如图2所示,在图片中包括主动脉和其他血管,直径较粗的为主动脉,直径较细的为其他血管,而主动脉与其他血管的连接处的横截面的中心点为种子点。
在上述步骤10212中,以种子点为中心,按照预设区域大小在心脏原始图像中截取预测区域图像。将预测区域图像输入至血管中心线预测模型中,可以确定出预测区域图像中血管的延伸方向。预设区域大小是人为设置的,比如19×19×19像素。其中,血管中心线预测模型在对预测区域图像中的血管延伸方向进行预测的过程中,会对该血管的延伸方向、是否停止延伸和分叉数量按照预测优先级顺序进行预测,其中,是否停止延伸的预测优先级大于分叉数量的预测优先级,分叉数量的预测优先级大于延伸方向的预测优先级。也就是,在确定出当前预测区域图像中的血管是停止延伸的,则不再继续预测是否分叉和延伸方向,如果确定出当前预测区域图像中的血管不是停止延伸的,则对当前预测区域图像中的血管的分叉数量进行预测,在确定出当前预测区域图像中的血管的分叉数量后,在基于当前预测区域图像预测得到的血管的候选延伸方向中,根据分叉数量确定血管的目标延伸方向。目标延伸方向中可能会包括与上一种子点的延伸方向相反的延伸方向,在目标延伸方向中将与上一种子点的延伸方向相反的延伸方向去除,可以得到当前预测区域图像中的血管的实际延伸方向(如图3所示,在预测区域图像中,圆圈的中心点为种子点,基于该种子点可以预测得到三个分叉,进而可以确定该预测区域图像中的血管包括三个延伸方向,其中一个向上的延伸方向是与上一种子点的延伸方向相反,因此,需要将向上的延伸方向去除,只保留向下的两个延伸方向)。血管中心线预测模型对血管的延伸方向、是否停止延伸和分叉数量结果的预测,是基于血管的延伸方向、是否停止延伸和分叉数量分别对应的输出概率确定的。针对血管是否停止延伸,血管中心线预测模型会输出一个0至1范围内的第一预测概率,若血管中心线预测模型输出的第一预测概率大于第一概率阈值,则说明血管中心线中当前种子点不存在延伸方向,确定血管停止延伸;若血管中心线预测模型输出的第一预设概率不大于第一预设概率,则确定血管中心线中当前种子点存在延伸方向。在确定血管中心线中当前种子点存在延伸方向后,针对当前种子点的分叉数量,血管中心线预测模型会输出5个不同分叉数量分别对应的第二预测概率,在五个第二预测概率中将数值最大的第二预测概率所对应的分叉数量N,确定为当前种子点的分叉数量。在确定当前种子点的分叉数量N后,针对当前种子点的延伸方向,血管中心线预测模型会输出M个不同候选延伸方向分别对应的第三预测概率,根据数值大小,在M个候选延伸方向对应的第三预测概率中选择前N个第三预测概率,并将前N个第三预测概率分别对应的延伸方向确定为目标延伸方向,目标延伸方向中包括与上一种子点的延伸方向相反的延伸方向,在目标延伸方向中将与上一种子点的延伸方向相反的延伸方向去除,可以得到当前预测区域图像中的当前种子点的实际延伸方向。在心脏血管中血管的分叉数量有限,依现有技术对心脏血管的了解,血管的分叉数量最多为5个,因此,血管中心线预测模型会输出5个不同分叉数量分别对应的第二预测概率。延伸方向的数量是人为设定的,这里的M可以是1000。N是血管中心线预测模型预测得到的血管的分叉数量。
需要注意的是为了减少其他对管对当前预测血管的影响,需要采用多级视野来采集预测区域图像(一般是在3个级别的视野下,分别采集预测图像),将多个级别视野下采集的预测区域图像同时输入至血管中心线预测模型,可以得到血管的预测结果。多级视野指的是心脏原始图像中像素间隔不同。在多个级别视野下采集的预测区域图像,指的是基于同一个种子点,以该种子点为中心采集预设区域大小的预测区域图像。
在上述步骤10213中,在确定出延伸方向后,沿着延伸方向在当前种子点的基础上通过预设距离确定下一种子点,下一种子点就是新的预测种子点,基于预测种子点和预设区域大小在心脏原始图像中截取新的预测区域图像。
在上述步骤10214中,将新的预测种子点的位置与上一预测区域图像中种子点的位置连接,可以得到多个种子点对应的血管的中心点的连线。
在上述步骤10215中,每得到一个新的预测区域图像和新的预测种子点,就需要进新一轮的预测,确定出新的预测区域图像中的血管的延伸方向,因此,需要将新的预测区域图像作为预测区域图像、新的预测种子点作为种子点,重新执行步骤10212,直至所述预测区域图像中所述种子点对应的血管停止延伸,将所述中心点连线确定为第二血管中心线。
在上述步骤1022中,通过动静脉识别结果可以在其他血管所对应的第二血管中心线中确定动脉类别的血管中心线,也就是第一血管中心线。
在第二血管中心线中包括静脉类别的血管中心线与动脉类别的血管中心线,通过动静脉识别结果在第二血管中心线中确定第一血管中心线时,需要将第二血管中心线中静脉类别的血管中心线去除,这样就可能导致剩余的动脉类别的血管中心线(第一血管中心线)中存在断开切口,如果第一血管中心线中存在断开切口,为了使第一血管中心线中的血管中心线能够连续,以能够正确的表征心脏中动脉类别的血管的真实情况,需要对断开切口进行延长,是的断开的动脉类别的血管重新连接。步骤S103,包括:
步骤1031,判断所述第一血管中心线是否存在断开切口;
步骤1032,若所述第一血管中心线存在至少一个所述断开切口,基于每一个所述断开切口的延长结果,得到所述冠脉中心线。
在上述步骤1031中,判断所述第一血管中心线是否存在断开切口,也就是,在第一血管中心线中确定是否存在去除静脉类别的血管中心线之前与静脉类别的血管中心线连接的连接点。如果第一血管中心线中存在与静脉类别的血管中心线连接的连接点,则说明第一血管中心线存在断开切口;如果第一血管中心线中不存在与静脉类别的血管中心线连接的连接点,则说明第一血管中心线不存在断开切口。
在上述步骤1032中,断开切口的延长结果包括保留断开切口的延长中心线和不保留断开切口的延长中心线两种情况。
具体实施中,针对不同的断开切口,根据实际情况可能是不同的延长结果,因此,需要根据每一个断开切口的延长结果,会得到一个新的第一血管中心线,在新的第一血管中心线中包括断开切口延长后的血管中心线,将新的第一血管中心线确定为冠脉中心线。
具体的,在确定冠脉中心线的过程中,步骤1032,包括:
步骤10321,针对每一个所述断开切口,对所述断开接口进行延长,得到延长中心线;
步骤10322,针对每一个所述断开切口,若所述延长中心线与其他断开切口连接,则所述延长结果为保留所述延长中心线;
步骤10323,针对每一个所述断开切口,若所述延长中心线与其他断开切口不连接,则所述延长结果为不保留所述延长中心线;
步骤10324,根据每一个所述断开切口的延长结果,得到所述冠脉中心线。
在上述步骤10321中,为了提高第一血管中心线中动脉类型的血管中心线的连贯性,需要对存在断开切口的血管中心线进行延长,以使心脏中的动脉类型的血管中心线能够连通,减少血管中心线断开的情况。
具体的,对存在断开切口的血管中心线进行延长的步骤可以参考上述步骤10212至步骤10215,也就是,将断开切口的中心点位置作为种子点位置,将断开切口的中心点位置对应的预测区域图像作为种子点的位置所对应的预测区域图像,执行步骤10212。当然对于断开切口的延长并不是无限制的,需要通过延伸次数来对此进行限制,可以是每执行一次步骤10212,就进行一次累加计数,若计数结果达到预设计数,且延长中心线与其他断开切口不连接,则不再对断开切口进行延伸。若计数结果未达到预设计数,且延长中心线与其他断开切口已连接,则也不再对断开切口进行延伸。其中预设计数可以是3。
在上述步骤10322和步骤10323中,这针对每一个断开切口,通过对断开切口的延长,可以确定出该断开切口对应的血管中心线是否为动脉类型的血管中心线。如果是动脉类型的血管中心线,则需要保留对断开切口进行延长,得到延长中心线;如果是静脉类型的血管中心线,则不需要保留对断开切口进行延长,得到延长中心线。因为静脉类型的血管中心线与动脉类型的血管中心线是完全不可能连接的两个血管,因此,如果在对静脉类型的断开切口进行延长后,能够与其他断开切口连接的可能性很小。如果断开切口的延长中心线与其他断开切口不连接,则断开切口对应的血管中心线可能是静脉类型的血管中心线,则不需要保留该断开切口对应的延长中心线。
在上述步骤10324中,根据每一个断开切口的延长结果,得到冠脉中心线,也就是,将保留的延长中心线与未对断开切口进行延长的第一血管中心线进行组合,得到新的第一血管中心线,将新的第一血管中心线确定为冠脉中心线。
当然,新的第一血管中心线中可能会存下与动脉类型的血管中心线完全不连接的静脉类型的血管中心线,因此,可以采用最大连通区域在新的第一血管中心线中确定出冠脉中心线。在包含有新的第一血管中心线的图像中,确定血管中心线所对应的连通区域,由于可能会存在血管不连贯的情况,在包含有新的第一血管中心线的图像中可能包括多个连通区域,心脏中动脉类型的血管是连续的,因此,在包含有新的第一血管中心线的图像中最大连通区域对应的血管中心线就是冠脉中心线。为了减少静脉类型的血管中心线对冠脉中心线的影响,可以在图像中删除掉除了最大连通区域之外的其他连通区域对应的血管中心线。
冠脉中心线仅仅是一堆比较复杂的线条,无法反映出心脏中血管的真实效果,对医生更全面的了解心脏的情况帮助有限,因此,需要基于冠脉中心线来构建较为真实的冠脉血管。步骤S105,包括:
步骤1051,对所述冠脉中心线进行像素膨胀,得到加粗冠脉中心线;
步骤1052,将所述加粗冠脉中心线输入至冠脉构建模型,得到所述冠脉识别结果。
在上述步骤1051中,像素膨胀是在冠脉中心线对应的图像边缘增加像素值,使得冠脉中心线的像素值扩张。
具体实施中,通过对冠脉中心线进行像素膨胀,使冠脉中心线的图像边缘增加像素值,进而可以得到加粗之后的冠脉中心线,加粗之后的冠脉中心线更加清晰,线条更加连贯,图像更加完整。
在上述步骤1052中,冠脉构建模型可以基于冠脉中心线构建冠脉对应的血管图像,也就是冠脉识别结果。冠脉识别结果是能够反映真实的冠脉血管的图像。冠脉构建模型是一种3D深度学习模型,通过对3D深度学习模型进行训练可以得到训练好的冠脉构建模型。
具体实施中,冠脉构建模型是基于大量的训练样本训练得到的,训练样本中包括心脏原始图像样本和冠脉中心线样本,因此,通过冠脉构建模型对冠脉识别结果进行构建时,除了将加粗的冠脉中心线输入至冠脉构建模型之外,还需要将心脏原始图像输入至冠脉构建模型,也就是,将加粗的冠脉中心线和心脏原始图像同时输入至冠脉构建模型,冠脉构建模型输出能够真实反映冠脉血管的图像,即冠脉识别结果。
本申请实施例提供了一种心脏动脉血管的分割装置,如图4所示,包括:
第一确定模块401,用于根据获取的心脏原始图像,确定出主动脉识别结果和动静脉识别结果;
第二确定模块402,用于根据所述心脏原始图像、所述主动脉识别结果和所述动静脉识别结果,确定出第一血管中心线;
延长模块403,用于对所述第一血管中心线中的断开切口进行延长,得到冠脉中心线;
第三确定模块404,用于基于所述冠脉中心线,确定出冠脉识别结果;
合并模块405,用于将所述主动脉识别结果和所述冠脉识别结果合并,得到心脏动脉血管分割结果。
可选的,所述第二确定模块,包括:
第一确定单元,用于根据所述心脏原始图像和所述主动脉识别结果,确定出第二血管中心线;
第二确定单元,用于根据所述动静脉识别结果,在所述血管中心线中确定出第一血管中心线。
可选的,所述第一确定单元,包括:
第一确定子单元,用于根据所述心脏原始图像和所述主动脉识别结果,在所述心脏原始图像中确定出种子点的位置;
第二确定子单元,用于将所述心脏原始图像中所述种子点的位置所对应的预测区域图像输入至血管中心线预测模型,确定出所述预测区域图像中所述种子点对应的血管的延伸方向;
第三确定子单元,用于基于所述延伸方向,在所述心脏原始图像中确定新的预测区域图像和新的预测种子点的位置;
第四确定子单元,用于将所述新的预测区域图像中的新的预测种子点的位置和所述新的预测区域图像的上一预测区域图像中的种子点的位置进行连接,得到中心点连线;
第五确定子单元,用于将所述新的预测区域图像作为预测区域图像、所述新的预测种子点作为种子点,重新执行步骤将所述心脏原始图像中所述种子点的位置所对应的预测区域图像输入至血管中心线预测模型,确定出所述预测区域图像中所述种子点对应的血管的延伸方向,直至所述预测区域图像中所述种子点对应的血管停止延伸,将所述中心点连线确定为第二血管中心线。
可选的,所述延长模块,包括:
判断模块,用于判断所述第一血管中心线是否存在断开切口;
第三确定单元,用于若所述第一血管中心线存在至少一个所述断开切口,基于每一个所述断开切口的延长结果,得到所述冠脉中心线。
可选的,第三确定单元,包括:
第六确定子单元,用于针对每一个所述断开切口,对所述断开切口进行延长,得到延长中心线;
第七确定子单元,用于针对每一个所述断开切口,若所述延长中心线与其他断开切口连接,则所述延长结果为保留所述延长中心线;
第八确定子单元,用于针对每一个所述断开切口,若所述延长中心线与其他断开切口不连接,则所述延长结果为不保留所述延长中心线;
第九确定子单元,用于根据每一个所述断开切口的延长结果,得到所述冠脉中心线。
可选的,所述第三确定模块,包括:
膨胀单元,用于对所述冠脉中心线进行像素膨胀,得到加粗冠脉中心线;
构建单元,用于将所述加粗冠脉中心线输入至冠脉构建模型,得到所述冠脉识别结果。
对应于图1中的心脏动脉血管的分割方法,本申请实施例还提供了一种计算机设备500,如图5所示,该设备包括存储器501、处理器502及存储在该存储器501上并可在该处理器502上运行的计算机程序,其中,上述处理器502执行上述计算机程序时实现上述心脏动脉血管的分割方法。
具体地,上述存储器501和处理器502能够为通用的存储器和处理器,这里不做具体限定,当处理器502运行存储器501存储的计算机程序时,能够执行上述心脏动脉血管的分割方法,解决了现有技术中心脏动脉血管分割不准确的问题。
对应于图1中的心脏动脉血管的分割方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述心脏动脉血管的分割方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述心脏动脉血管的分割方法,解决了现有技术中心脏动脉血管分割不准确的问题,本申请利用动静脉识别结果确定出心脏中血管中心线中的动脉中心线(也就是第一中心线),为了减少第一中心线中可能会存在静脉类别的血管中心线的情况,通过对血管中心线的断开切口进行延长的手段,进一步的去除了心脏的血管中心线中的静脉类别的血管中心线,得到冠脉中心线,使得根据冠脉中心线确定的冠脉识别结果中不存在静脉类别的血管,减少了静脉假阳的情况,提高了确定心脏动脉血管分割结果的准确性。
在本申请所提供的实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种心脏动脉血管的分割方法,其特征在于,包括:
根据获取的心脏原始图像,确定出主动脉识别结果和动静脉识别结果;
根据所述心脏原始图像、所述主动脉识别结果和所述动静脉识别结果,确定出第一血管中心线;第一血管中心线是第二血管中心线中动脉类别的血管的血管中心线;第二血管中心线是在心脏原始图像中确定出心脏中除了主动脉之外的其他血管的血管中心线;
对所述第一血管中心线中的断开切口进行延长,得到冠脉中心线;第一血管中心线中的断开切口指的是第二血管中心线中静脉类别的血管中心线与动脉类别的血管中心线的连接点;
基于所述冠脉中心线,确定出冠脉识别结果;
将所述主动脉识别结果和所述冠脉识别结果合并,得到心脏动脉血管分割结果;
根据所述心脏原始图像、所述主动脉识别结果和所述动静脉识别结果,确定出第一血管中心线,包括:
根据所述心脏原始图像和所述主动脉识别结果,确定出第二血管中心线;
根据所述动静脉识别结果,在所述第二血管中心线中确定出第一血管中心线。
2.根据权利要求1所述的分割方法,其特征在于,根据所述心脏原始图像和所述主动脉识别结果,确定出第二血管中心线,包括:
根据所述心脏原始图像和所述主动脉识别结果,在所述心脏原始图像中确定出种子点的位置;
将所述心脏原始图像中所述种子点的位置所对应的预测区域图像输入至血管中心线预测模型,确定出所述预测区域图像中所述种子点对应的血管的延伸方向;
基于所述延伸方向,在所述心脏原始图像中确定新的预测区域图像和新的预测种子点的位置;
将所述新的预测区域图像中的新的预测种子点的位置和所述新的预测区域图像的上一预测区域图像中的种子点的位置进行连接,得到中心点连线;
将所述新的预测区域图像作为预测区域图像、所述新的预测种子点作为种子点,重新执行步骤将所述心脏原始图像中所述种子点的位置所对应的预测区域图像输入至血管中心线预测模型,确定出所述预测区域图像中所述种子点对应的血管的延伸方向,直至所述预测区域图像中所述种子点对应的血管停止延伸,将所述中心点连线确定为第二血管中心线。
3.根据权利要求1所述的分割方法,其特征在于,对所述第一血管中心线中的断开切口进行延长,得到冠脉中心线,包括:
判断所述第一血管中心线是否存在断开切口;
若所述第一血管中心线存在至少一个所述断开切口,基于每一个所述断开切口的延长结果,得到所述冠脉中心线。
4.根据权利要求3所述的分割方法,其特征在于,基于每一个所述断开切口的延长结果,得到所述冠脉中心线,包括:
针对每一个所述断开切口,对所述断开切口进行延长,得到延长中心线;
针对每一个所述断开切口,若所述延长中心线与其他断开切口连接,则所述延长结果为保留所述延长中心线;
针对每一个所述断开切口,若所述延长中心线与其他断开切口不连接,则所述延长结果为不保留所述延长中心线;
根据每一个所述断开切口的延长结果,得到所述冠脉中心线。
5.根据权利要求1所述的分割方法,其特征在于,基于所述冠脉中心线,确定出冠脉识别结果,包括:
对所述冠脉中心线进行像素膨胀,得到加粗冠脉中心线;
将所述加粗冠脉中心线输入至冠脉构建模型,得到所述冠脉识别结果。
6.一种心脏动脉血管的分割装置,其特征在于,包括:
第一确定模块,用于根据获取的心脏原始图像,确定出主动脉识别结果和动静脉识别结果;
第二确定模块,用于根据所述心脏原始图像、所述主动脉识别结果和所述动静脉识别结果,确定出第一血管中心线;第一血管中心线是第二血管中心线中动脉类别的血管的血管中心线;第二血管中心线是在心脏原始图像中确定出心脏中除了主动脉之外的其他血管的血管中心线;
延长模块,用于对所述第一血管中心线中的断开切口进行延长,得到冠脉中心线;第一血管中心线中的断开切口指的是第二血管中心线中静脉类别的血管中心线与动脉类别的血管中心线的连接点;
第三确定模块,用于基于所述冠脉中心线,确定出冠脉识别结果;
合并模块,用于将所述主动脉识别结果和所述冠脉识别结果合并,得到心脏动脉血管分割结果;
所述第二确定模块,包括:
第一确定单元,用于根据所述心脏原始图像和所述主动脉识别结果,确定出第二血管中心线;
第二确定单元,用于根据所述动静脉识别结果,在所述第二血管中心线中确定出第一血管中心线。
7.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1-5中任一项所述的方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1-5中任一项所述的方法的步骤。
CN202110587055.7A 2021-05-27 2021-05-27 心脏动脉血管的分割方法、分割装置、设备和介质 Active CN113313715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110587055.7A CN113313715B (zh) 2021-05-27 2021-05-27 心脏动脉血管的分割方法、分割装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110587055.7A CN113313715B (zh) 2021-05-27 2021-05-27 心脏动脉血管的分割方法、分割装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113313715A CN113313715A (zh) 2021-08-27
CN113313715B true CN113313715B (zh) 2022-04-22

Family

ID=77375781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110587055.7A Active CN113313715B (zh) 2021-05-27 2021-05-27 心脏动脉血管的分割方法、分割装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113313715B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359208B (zh) * 2021-12-29 2022-11-01 推想医疗科技股份有限公司 头颈血管分割方法及装置、可读存储介质及电子设备
CN114782366B (zh) * 2022-04-22 2023-08-22 推想医疗科技股份有限公司 心脏支架检测方法和装置、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765363A (zh) * 2018-03-24 2018-11-06 语坤(北京)网络科技有限公司 一种基于人工智能的冠脉cta自动后处理系统
CN110458847A (zh) * 2019-07-05 2019-11-15 心医国际数字医疗系统(大连)有限公司 基于cta影像的自动冠脉分割及中心线提取方法
CN111768411A (zh) * 2020-05-29 2020-10-13 深圳睿心智能医疗科技有限公司 冠脉中心线提取方法、装置、计算机设备和存储介质
CN112017167A (zh) * 2020-08-24 2020-12-01 杭州深睿博联科技有限公司 一种基于双向冠脉血管跟踪的冠脉中心线生成方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129417B2 (en) * 2012-02-21 2015-09-08 Siemens Aktiengesellschaft Method and system for coronary artery centerline extraction
EP3726460B1 (en) * 2019-04-06 2023-08-23 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765363A (zh) * 2018-03-24 2018-11-06 语坤(北京)网络科技有限公司 一种基于人工智能的冠脉cta自动后处理系统
CN110458847A (zh) * 2019-07-05 2019-11-15 心医国际数字医疗系统(大连)有限公司 基于cta影像的自动冠脉分割及中心线提取方法
CN111768411A (zh) * 2020-05-29 2020-10-13 深圳睿心智能医疗科技有限公司 冠脉中心线提取方法、装置、计算机设备和存储介质
CN112017167A (zh) * 2020-08-24 2020-12-01 杭州深睿博联科技有限公司 一种基于双向冠脉血管跟踪的冠脉中心线生成方法及装置

Also Published As

Publication number Publication date
CN113313715A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN110298844B (zh) X光造影图像血管分割与识别方法及装置
CN113313715B (zh) 心脏动脉血管的分割方法、分割装置、设备和介质
CN109924956B (zh) 一种颅内动脉瘤图像的形态学参数的测量方法及装置
CN111696089A (zh) 一种动静脉确定方法、装置、设备和存储介质
CN112883962B (zh) 眼底图像识别方法、装置、设备、存储介质以及程序产品
CN111178420B (zh) 一种二维造影图像上冠脉段标注方法及系统
CN116236150A (zh) 基于眼底图像的动静脉血管图像分割方法
Kang et al. AVNet: A retinal artery/vein classification network with category-attention weighted fusion
CN110176013B (zh) 血管分割方法、装置、电子设备及存储介质
CN113628193B (zh) 血管狭窄率确定方法、装置、系统及存储介质
US7103203B2 (en) Medical imaging station with a function of extracting a path within a ramified object
CN112967284A (zh) 血管图像分段分析方法、装置、设备及存储介质
CN115578783B (zh) 基于眼部图像进行眼部疾病识别的装置、方法及相关产品
CN111797900B (zh) 一种oct-a图像的动静脉分类方法及装置
CN110522449B (zh) 一种斑块分型方法、装置、电子设备及可读存储介质
CN109978796B (zh) 眼底血管图片生成方法、装置及存储介质
CN113792740B (zh) 眼底彩照的动静脉分割方法、系统、设备及介质
CN115908418A (zh) 一种主动脉ct图像中心线确定方法、系统、设备及介质
CN113902689A (zh) 一种血管中心线提取方法、系统、终端以及存储介质
JP2023521188A (ja) ユーザ入力に基づいて血管映像を処理する方法及び装置
CN113610841A (zh) 一种血管异常图像识别方法、装置、电子设备和存储介质
CN117495951B (zh) 颅内动脉瘤定位方法、装置、计算机设备及存储介质
WO2020054019A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN115880494A (zh) 血管图像分割方法、装置、电子设备以及存储介质
CN113487616B (zh) 一种使用连续多帧图像构建完整结构血管树结构的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant