CN112884792B - 肺部图像分割的方法、装置、电子设备及存储介质 - Google Patents

肺部图像分割的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112884792B
CN112884792B CN202110145565.9A CN202110145565A CN112884792B CN 112884792 B CN112884792 B CN 112884792B CN 202110145565 A CN202110145565 A CN 202110145565A CN 112884792 B CN112884792 B CN 112884792B
Authority
CN
China
Prior art keywords
type
connected domain
lung
image
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110145565.9A
Other languages
English (en)
Other versions
CN112884792A (zh
Inventor
李其花
田广野
刘于豪
吴乙荣
王佳
陈永健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Medical Equipment Co Ltd
Original Assignee
Qingdao Hisense Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Medical Equipment Co Ltd filed Critical Qingdao Hisense Medical Equipment Co Ltd
Priority to CN202110145565.9A priority Critical patent/CN112884792B/zh
Publication of CN112884792A publication Critical patent/CN112884792A/zh
Application granted granted Critical
Publication of CN112884792B publication Critical patent/CN112884792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明是关于一种肺部图像分割的方法、装置、电子设备及存储介质,涉及医疗图像处理技术领域,本发明包括:识别肺部图像中物体的连通域以及物体的类型;若肺部图像中确定的连通域数量超过设定阈值,则根据连通域的大小,从同类型物体的连通域中选择一个连通域作为类型对应的基础连通域;针对任意一种类型,对除所有类型的基础连通域之外的其他连通域进行膨胀处理;根据类型对应的目标连通域和类型对应的基础连通域,得到类型的物体新的连通域,其中目标连通域为其他连通域中,膨胀处理后与类型对应的基础连通域有交集的连通域。由于本发明实施例将识别出的连通域多于设定阈值后,将同类型的多个连通域进行合并,提高了分割的准确率。

Description

肺部图像分割的方法、装置、电子设备及存储介质
技术领域
本发明涉及医疗图像处理技术领域,尤其涉及一种肺部图像分割的方法、装置、电子设备及存储介质。
背景技术
随着科技的进步,医生在治疗肺部疾病的过程中,通常会操作设备采集肺部CT影像(Computed Tomography),并利用图像处理算法分析CT影像,直观的展示左右肺实质三维解剖结构,是实现肺实质分叶、分段及制作肺部手术方案的基础,从肺部CT影像中精准的提取出肺实质是十分重要的,直接影响后续的分析过程。
然而实现精准的左右肺实质分割存在一定的难度,主要体现在以下两个方面:一是左右肺实质位置相邻,结构相似,极易出现错分情况;二是肺部结构因人而异,特别是肺部发生病变时,差异更加明显。所以在识别过程中往往会将同一个部位识别出多个肺部连通域,从而导致识别错误。
综上可知,现有技术中肺部识别时,识别错误率比较高。
发明内容
本发明提供一种肺部图像分割的方法、装置、电子设备及存储介质,解决现有技术中肺部识别错误率高的问题。
第一方面,本发明实施例提供的一种肺部图像分割的方法,包括:
识别肺部图像中物体的连通域以及物体的类型;
若所述肺部图像中确定的连通域数量超过设定阈值,则根据连通域的大小,从同类型物体的连通域中选择一个连通域作为所述类型对应的基础连通域;
针对任意一种类型,对除所有类型的基础连通域之外的其他连通域进行膨胀处理;
根据所述类型对应的目标连通域和所述类型对应的基础连通域,得到所述类型的物体新的连通域,其中所述目标连通域为其他连通域中,膨胀处理后与所述类型对应的基础连通域有交集的连通域。
上述方法,能够初始识别到的肺部图像中物体的连通域后,当肺部图像中连通域数量超过设定阈值,则说明识别到的肺部图像中将同一片连通域识别出多个连通域的情况,本发明实施例针对每个类型,能够选择出一个基础连通域,然后将其他连通域不分类型的情况下连通到基础连通域中,对同一部件经过分割得到多个连通域的情况进行修正,同时由于本发明在膨胀过程中对除去基础连通域外的其他连通域均进行膨胀处理,所以纠正了因为识别类型错误而导致不能跟同类型的连通域进行连通的情况,提高了识别的准确率。
在一种可能的实现方式中,所述识别肺部图像中物体的连通域以及物体的类型,包括:
提取肺部图像的图像特征;
根据所述图像特征确定所述肺部图像中物体的类型,以及确定每种类型的物体对应的图像特征的像素点;
根据每种类型的物体对应的图像特征的像素点,确定所述肺部图像中每种类型的物体的连通域。
上述方法,能够从包含像素点的肺部图像中提取图像特征,分析出物体的类型,然后反过来,找出每种类型的图像对应的图像特征的像素点,然后根据像素点在肺部图像中的位置,确定肺部图像中每种类型的物体的连通域,从而实现了识别肺部图像中不同类型的物体的过程。
在一种可能的实现方式中,在通过分割网络,识别肺部图像中物体的连通域以及物体的类型之前,所述方法还包括:
若所述肺部图像为三维图像,则将三维图像中每个体素的空间大小调整到预设空间大小;或
若所述肺部图像为二维图像,则将二维图像中每个像素点的面积大小调整到预设面积大小。
上述方法,能够将三维图像中的体素的空间大小调整为预设空间大小,或者二维图像中的像素点的面积大小调整为预设面积大小,使得后面分割的流程中均能够对每个体素相同空间大小的三维图像、每个像素点相同面积大小的二维图像进行处理,避免因为处理不同体素的图片而导致处理效果鲁棒性比较低,从而提高了处理效果的鲁棒性。
在一种可能的实现方式中,根据所述类型对应的目标连通域和所述类型对应的基础连通域,得到所述类型的物体新的连通域,包括:
将所述类型对应的目标连通域和所述类型对应的基础连通域组成的连通域作为所述类型的物体新的连通域。
上述方法,能够将属于基础连通域的范围内的类型识别错的连通域,加入到基础连通域中,从而能够起到纠正上述过程中识别类型错的连通域,并将其加入到类型识别正确的连通域中,得到该类型新的连通域,提高了识别的准确率。
在一种可能的实现方式中,在识别肺部图像中物体的连通域以及物体的类型之后,所述方法还包括:
去除物体的类型为非肺部的连通域。
上述方法,能够通过去除非肺部的连通域,从而避免非肺部连通域与肺部连通域混淆,降低的错误率。
第二方面,本发明实施例提供的一种肺部图像分割的装置,包括:
识别模块,用于识别肺部图像中物体的连通域以及物体的类型;
选择模块,用于若所述肺部图像中确定的连通域数量超过设定阈值,则根据连通域的大小,从同类型物体的连通域中选择一个连通域作为所述类型对应的基础连通域;
膨胀模块,用于针对任意一种类型,对除所有类型的基础连通域之外的其他连通域进行膨胀处理;
形成模块,用于根据所述类型对应的目标连通域和所述类型对应的基础连通域,得到所述类型的物体新的连通域,其中所述目标连通域为其他连通域中,膨胀处理后与所述类型对应的基础连通域有交集的连通域。
在一种可能的实现方式中,所述识别模块,具体用于:
提取肺部图像的图像特征;
根据所述图像特征确定所述肺部图像中物体的类型,以及确定每种类型的物体对应的图像特征的像素点;
根据每种类型的物体对应的图像特征的像素点,确定所述肺部图像中每种类型的物体的连通域。
在一种可能的实现方式中,所述装置还包括:
调整模块,用于若所述肺部图像为三维图像,则将三维图像中每个体素的空间大小调整到预设空间大小;或若所述肺部图像为二维图像,则将二维图像中每个像素点的面积大小调整到预设面积大小。
在一种可能的实现方式中,所述形成模块,具体用于:
将所述类型对应的目标连通域和所述类型对应的基础连通域组成的连通域作为所述类型的物体新的连通域。
在一种可能的实现方式中,所述装置还包括:
预处理模块,用于去除物体的类型为非肺部的连通域。
第三方面,本申请还提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如第一方面任一项所述的肺部图像分割的方法。
第四方面,本申请还提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如第一方面中任一项所述的肺部图像分割的方法。
另外,第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理,并不构成对本发明的不当限定。
图1是本发明实施例提供的一种肺部图像分割的方法的流程图;
图2是本发明实施例提供的一种实际肺部拍摄的图像与作业后的效果图;
图3是本发明实施例提供的一种基于分割网络的分割方法的示意图;
图4是本发明实施例提供的一种作业后的肺部图像的示意图;
图5是本发明实施例提供的一种后处理方法的示意图;
图6是本发明实施例提供的一种肺部图像分割的装置的结构图;
图7是本发明实施例提供的一种电子设备的结构图;
图8是本发明实施例提供的一种肺部分割应用场景的示意图。
具体实施方式
为了使本领域普通人员更好地理解本发明的技术方案,下面将结合附图,对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本发明的说明书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本发明的描述中,除非另有说明,“多个”的含义。
现有技术中由于每个人肺部的结构均不同,很容易对肺部划分时划分出多个连通域,容易识别错误。
以下结合附图对本方案进行详细阐述。
结合图1所示,本发明实施例提供了一种肺部图像分割的方法,具体包括:
S100:识别肺部图像中物体的连通域以及物体的类型。
其中,肺部图像中物体的类型可以为左肺、右肺、背景。在识别肺部图像中物体的连通域时,可以通过肺部图像的坐标进行记录物体的连通域。
S101:若肺部图像中确定的连通域数量超过设定阈值,则根据连通域的大小,从同类型物体的连通域中选择一个连通域作为类型对应的基础连通域。
其中设定阈值可以为用户设定的,当用户需要分割左右肺时,可以设定阈值为2,那么当肺部图像中确定连通域的数量超过两个时,会根据连通域的大小,从同类型物体的连通域中选择一个连通域作为该类型对应的基础连通域。
例如,识别出左肺11、左肺12、左肺13、右肺21、右肺22;识别出的连通域为5个,超过设定阈值2个,则需要根据左肺的连通域的大小,从左肺11、左肺12、左肺13中选择一个连通域作为左肺对应的基础连通域,同时,根据右肺的连通域的大小,从右肺21、右肺22中选择一个连通域作为右肺对应的基础连通域。
S102:针对任意一种类型,对除所有类型的基础连通域之外的其他连通域进行膨胀处理;
S103:根据类型对应的目标连通域和类型对应的基础连通域,得到类型的物体新的连通域,其中目标连通域为其他连通域中,膨胀处理后与类型对应的基础连通域有交集的连通域。
在实际应用过程中,步骤102和步骤103具体执行过程为:根据预设膨胀条件,对除去每种类型对应的基础连通域之外的其他连通域进行膨胀处理,针对每个膨胀处理后的其他连通域,检测膨胀处理后的该连通域是否与每种类型对应的基础连通域有交集,若与基础连通域有交集,则根据与该连通域有交集的基础连通域、以及该连通域,得到新的连通域;若与所有的基础连通域均没有交集,那么继续处理下一个其他连通域。针对每个膨胀处理后的其他连通域均执行完上述过程后,得到每种类型对应的新的连通域;然后针对剩下的其他连通域,再进行膨胀处理,判断膨胀处理后的连通域与新的连通域是否有交集,直到针对剩下的其他连通域中,再也没有检测到与上一轮得到的新的连通域有交集后,停止处理。
其中,可以根据预先设定的膨胀条件对其他连通域进行膨胀处理,例如最多向外膨胀5个像素点。那么在检测是否有交集时,其他连通域先膨胀1个像素点,检测是否与每种类型对应的基础连通域有交集,如果有,则停止膨胀处理,继续后续得到新的连通域的步骤;如果没有,再膨胀2个像素点,检测是否与每种类型对应的基础连通域有交集,如果有,则停止膨胀处理,继续后续得到新的连通域的步骤;以此类推,如果膨胀到5个像素点后,依然没有交集,则说明该连通域没有与基础连通域有交集,进行下一个其他连通域的膨胀处理。
举一个示例,如图2所示,连通域C41、连通域C42、连通域C43、连通域C44均为左肺的连通域,连通域C45、连通域C46均为右肺的连通域,根据连通域C41、连通域C42、连通域C43、连通域C44这四个连通域的大小,选择左肺的连通域C41为左肺对应的基础连通域,根据连通域C45、连通域C46这两个连通域的大小,选择右肺的连通域C46为右肺对应的基础连通域。
对于左肺这种类型,对除去连通域C41、连通域C46之外,对连通域C42、连通域C43、连通域C44、连通域C45均进行膨胀处理,结合图2所示,由于膨胀处理后的连通域C43、连通域C44、连通域C42与连通域C41均没有交集,而膨胀处理后的连通域C45与连通域C41有交集,所以,根据连通域C45与连通域C41,确定左肺对应的新的连通域;再次对剩余的连通域进行膨胀处理,判断膨胀处理后的连通域C43、连通域C44、连通域C42是否与左肺对应的新的连通域有交集,如图2所示,这些膨胀处理后的连通域与由连通域C45与连通域C41组成的新的连通域均比较远,没有交集,那么由连通域C45与连通域C41组成的新的连通域即为最后的左肺的连通域。
针对右肺这种类型,再结合图2所示,对连通域C43、连通域C44、连通域C42进行膨胀处理,判断膨胀处理后的连通域C43、连通域C44、连通域C42是否与连通域C46有交集,确定膨胀处理后的连通域C42与连通域C46有交集,膨胀处理后的连通域C43、连通域C44与连通域C46没有交集,那么根据连通域C46和与连通域C46有交集的连通域C42,确定右肺的新的连通域,对剩下的连通域C43、连通域C44再进行膨胀处理,判断膨胀处理后的连通域C43、连通域C44与右肺的新的连通域是否有交集,如果没有,则停止判断,将由连通域C46和连通域C42组成的右肺的新的连通域作为右肺最终的连通域。
上述方法中,能够在识别出的连通域比需要的连通域的数量多时,采用膨胀处理的过程,使得连通域进行合并,解决了现有技术中同一类型的物体被划分出多个连通域的问题,提高了分割的准确率。
针对步骤100,本发明实施例提供了以下方式实现:
提取肺部图像的图像特征;
根据图像特征确定肺部图像中物体的类型,以及确定每种类型的物体对应的图像特征的像素点;
根据每种类型的物体对应的图像特征的像素点,确定肺部图像中每种类型的物体的连通域。
若在本申请中,如果识别出的类型为左肺、右肺的话,提取肺部图像的图像特征;
根据图像特征确定肺部图像中的左肺、右肺、背景,以及确定左肺对应的图像特征的像素点、右肺对应的图像特征的像素点、背景对应的图像特征的像素点;
根据左肺对应的图像特征的像素点,确定肺部图像中左肺的连通域;
根据右肺对应的图像特征的像素点,确定肺部图像中右肺的连通域。
在实际应用过程中,可以通过分割网络实现,分割网络包括编码器和解码器;编码器主要包括下采样技术以及分类器技术,解码器主要包括上采样技术。在编码器中,通过下采样技术提取肺部图像的图像特征,然后通过分类器技术,根据提取到的图像特征确定肺部图像中物体的类型,最后,确定肺部图像中每种类型的物体对应的图像特征的像素点,其中,图像特征映射到原肺部图像的像素点是比较稀疏的,所以,每种类型的物体的连通域也是不平滑的。在解码器中,通过上采样技术,将每种类型的物体的连通域变得平滑,从而得到最后的每种类型的物体的连通域。
结合图2所示,将最左边的图输入到分割网络时,得到第三张的三维的肺部图,连通域C41、连通域C42、连通域C43、连通域C44均为左肺的连通域,连通域C45、连通域C46均为右肺的连通域,连通域C47为背景部分,由于第三种图像为除去背景部分的图,为了了解背景部分,可以参考第三张的三维的肺部图中从轴向位某层切面分割得到二维图,即中间的图。可以看出本发明实施例提供的分割网络能够分割出左肺、右肺、背景区,但是通过该图识别出的每种类型的物体具有多个连通域,例如左肺识别出4个连通域,右肺识别出2个连通域。同时在连通域C41包围的肺部图像内会有类型识别错的连通域,例如,连通域C41包围的肺部图像内有一块连通域C45识别的类型错的,然后对识别到的连通域进行膨胀处理,得到两个大的连通域,一个为左肺,一个为右肺。
本发明实施例提出的分割网络采用以下方式进行训练,将样本图像作为输入,将样本图像中所有类型的物体的连通域以及类型作为输出,对基础网络进行训练,得到分割网络。
为了能够获取更好的训练效果,本发明实施例将样本图像分成训练集和测试集,训练集用于对基础网络进行训练,测试集用于对分割网络进行测试。其中,在训练时,为了提升分割网络性能的稳定性,选择K折交叉验证的方式,对基础网络进行训练。
其中,该基础网络可以为分割模型3D U-net深度神经网络,其中,3D U-net,是指3维U-net网络。
在本发明实施例中,还可以对上述网络进行优化处理,例如:损失函数的设计,每次训练输出的损失函数(Loss Function)受分类交叉熵和Dice系数的约束,数学表达式如式1所示。
Figure BDA0002930104740000101
其中yi
Figure BDA0002930104740000102
分别表示像素i标准结果和预测结果。
优化器的选择:采用Ranger优化器作为优化算子,Ranger优化器是RectifiedAdam(RAdam)与LookAhead的协同组合,兼得二者优点。其中,RAdam是经典Adam优化器的一个新变种,在自动的、动态的调整自适应学习率的基础上,考虑了训练期间的变化和动量的影响。
学习率的设置和学习策略:学习率的初始值设为1*10-4,采用学习率热身(warmup)优化策略,训练了一些epoches(轮)或者steps(步骤),再修改为预先设置的学习来进行训练。
为了增加样本图像的数量,在本发明实施例中提出了以下方式对样本图像的数量进行增加:
方式1:对样本图像旋转预设角度,例如30度、60度、90度、180度等等;
方式2:对样本图像进行灰度拉升变化;
方式3:对样本图像进行翻转操作。
为了提高识别肺部图像中物体的连通域以及物体的类型的准确率,本发明实施例中还提出了在识别之前进行预处理过程,其中预处理过程包括:若肺部图像为三维图像,则将三维图像中每个像素点的空间大小调整到预设空间大小;或若肺部图像为二维图像,则将二维图像中每个像素点的面积大小调整到预设面积大小。
在实际应用过程中采用插值算法,将三维图像中每个像素点的空间大小调整到预设空间大小,以及采用插值算法,将二维图像中每个像素点的面积大小调整到预设面积大小。
其中,在训练之前,对于样本图像来说,也会确定肺部样本图像为三维图像时,将三维图像中每个像素点的空间大小调整到预设空间大小;或若肺部样本图像为二维图像,则将二维图像中每个像素点的面积大小调整到预设面积大小。
举一个实际应用的例子,通常对肺部图像进行分割的原图像为CT影像。该例子以CT影像为例。首先获取受检者薄层胸腔CT原始DICOM(Digital Imaging andCommunications in Medicine,医学数字成像和通信)影像,临床专家在原始CT影像中逐层标注肺实质,左右肺采用不同的标签;基于受检者原始的胸腔CT影像及临床专家在原始图像上人工标注掩膜(称为人工标注标签),将CT原始DICOM影像像素的灰度值按照(式2)转换成HU值,按照临床肺窗(窗位-450—-600HU,窗宽1500—2000HU)的要求处理为适用于观察肺部结构的图像;
HU=pixel_value*RescaleSlope+RescaleIntercept (式2)
式2中:pixel_value为CT原始DICOM影像中每个像素的灰度值,RescaleSlope和RescaleIntercept取自DICOM影像头文件信息。
然后根据人工标注标签和对应的样本图像,训练基础网络。训练具体过程参考上述内容。
根据上述介绍的分割网络部分,本发明实施例提供了一种分割整体方案,结合图3所示,包括:
S300:获取人体胸腔CT原始DICOM数据;
S301:将胸腔CT原始DICOM数据转换为NIFITI格式数据。其中,NIFITI(Neuroimaging Informatics Technology Initiative)是一种医学图像保存格式,其中,格式数据的文件扩展名可以为.nii或.img/.hdr。
S302:对样本图像进行预处理,例如,将样本图像中每个体素的空间大小调整为预设空间大小;对样本图像进行数量增大处理,例如,角度旋转、颜色改变等过程,可以参考上述数量增大的方式。
S303:将样本图像划分为训练数据集和测试数据集;
S304:将样本图像中物体的类型进行打标签处理;
S305:根据训练数据集和打完标签处理后的样本图像,对基础网络进行训练,得到分割网络;
S306:采用测试数据集对分割网络进行测试;
S307:将获取到的人体的CT图像输入到测试通过后的分割网络中,识别肺部图像中物体的连通域以及物体的类型;
S308:根据识别到的肺部图像中物体的连通域以及物体的类型,对肺部图像进行后处理;其中后处理的过程为图1中步骤101~步骤103的过程。
S309:输出后处理结束的结果。即得到分割后的肺部图像。
为了避免进行膨胀处理的连通域比较多,同时为了提高处理速度,本发明实施例在膨胀处理之前,识别肺部图像中物体的连通域以及物体的类型之后,对识别出的连通域进行预处理,剔除掉用户不想要的类型的连通域,详细来讲,本发明实施例主要是对肺实质进行识别,所以,在识别肺部图像中物体的连通域以及物体的类型后,去除物体的类型为非肺部的连通域,去除之后,可以剩下左肺和右肺的连通域。
结合图2所示,连通域C41、连通域C42、连通域C43、连通域C44均为左肺的连通域,连通域C45、连通域C46均为右肺的连通域,连通域C47为背景部分;由于C47为背景部分,非肺部的连通域,所以将C47剔除,这样修改后需要处理的连通域从7个连通域缩减为6个连通域,同时还可以使得之后膨胀处理的连通域均为肺实质的连通域,降低了错误率。
为了提高分割效果,本发明实施例中实现从同类型物体的连通域中选择一个连通域作为所述类型对应的基础连通域的方式,具体可以为以下方式:
方式1:根据连通域内像素点的个数,即连通域的大小,从同类型物体的连通域中选择一个连通域作为所述类型对应的基础连通域;
例如,从同类型物体的连通域中选择像素点的个数最多的连通域作为所述类型对应的基础连通域。
方式2:根据连通域的图像位置,从同类类型物体的连通域中选择一个连通域作为所述类型对应的基础连通域;
详细来讲,选择的基础连通域为对应的图像位置在预设图像位置处的连通域;其中,图像位置为在肺部图像中的位置,预设图像位置为连通域中物体的类型对应的位置。
例如,选择左肺对应的基础连通域时,预设图像位置为图像的左侧,所以,左肺对应的基础连通域为在图像的左侧的连通域。
同样的,选择右肺对应的基础连通域时,预设图像位置为图像的右侧,所以,右肺对应的基础连通域为在图像的右侧的连通域。
当然由于上述方式并非百分百能够确定每种类型准确的基础连通域,在选择时,可以通过两种方式综合选择基础连通域。
其中,根据所述类型对应的目标连通域和所述类型对应的基础连通域,得到所述类型的物体新的连通域,其中所述目标连通域为其他连通域中,膨胀处理后与所述类型对应的基础连通域有交集的连通域,具体来说,将所述类型对应的目标连通域和所述类型对应的基础连通域组成的连通域,作为所述类型的物体新的连通域。
以左肺为例,将膨胀处理后的左肺对应的目标连通域和左肺对应的基础连通域组成的连通域,作为左肺新的连通域。
当然,上述情况适用于在基础连通域的图像范围内包含目标连通域的情况,如图4所示,连通域C41为左肺对应的基础连通域,连通域C46为右肺对应的基础连通域,则由于连通域C45膨胀后,与连通域C41有交集,所以,将连通域C41和连通域C45,组成新的连通域,如图4所示的左肺。同样的,由于连通域C42膨胀后,与连通域C46有交集,所以,将连通域C46和连通域C42组成新的连通域,如图4所示的右肺。
针对上述提供的技术支持,本发明实施例提供了一种肺部图像中左肺和右肺分割的方法。
结合图5所示,该方法包括:
S500:将肺部图像输入到分割网络后,得到肺部图像中每个像素点的预测结果;预测结果为左肺、右肺、或者背景;
其中,将CT影像中每个体素的空间大小调整到预设空间大小;并将调整空间大小后的CT影像输入到之前训练好的分割网络中,得到肺部图像中每个像素点的预测结果;该分割网络由分割模型3D U-net深度神经网络作为基础网络进行训练得到的。
在进行预测后,将预测结果保存在同一文件中,将文件命名为pred_01,以便后续调取使用。
S501:根据相邻的同一类型的像素点组成连通域,并为组成的多个连通域添加不同的值;
其中,在执行S501时,即可调用文件名称pred_01中的预测结果。
S502:去除类型为非肺的连通域;从而能够使得后续处理的连通域均为干净的肺实质的连通域;
S503:选择连通域内包含的像素点数量第一多和第二多的连通域C1、连通域C2;
S504:对除去连通域C1、连通域C2之外的其他连通域逐一进行膨胀处理,并检测是否与连通域C1、或连通域C2有交集;
S505:根据与连通域C1有交集的其他连通域和连通域C1,得到新的连通域C1’;
S506:根据与连通域C2有交集的其他连通域和连通域C2,得到新的连通域C2’。
需要说明的是,为了方便医生查看左肺和右肺的不同连通域,可以将左肺和右肺分别使用不同的颜色填充,例如左肺填充红色,右肺填充绿色。在识别出左肺的连通域后,为左肺的连通域填充红色,在识别出右肺的连通域后,为右肺的连通域填充绿色,如果识别出标错的连通域后,例如,识别得到的连通域为左肺的连通域,然而在膨胀处理后,该连通域为右肺的连通域,则重新给该连通域填充绿色。同样的,识别得到的连通域为右肺的连通域,然而在膨胀处理后,该连通域为左肺的连通域,则重新给该连通域填充红色。
当然,还可以对连通域C1’和连通域C2’的中间点位置添加标签。一个标签标注左肺实质,一个标签标注右肺实质。
对于步骤504到步骤506具体来说:对所有的连通域按照所包含的像素点数目从大到小进行排序,最大的两个连通域(C1、C2)标签不变,然后依次将其他的连通域进行膨胀处理,具体膨胀过程如上述所示,判断膨胀之后的连通域与连通域C1、连通域C2哪个存在交集,从而判定该连通域属于连通域C1对应类型的物体的部分或者连通域C2对应类型的物体的部分,然后将对应连通域的标签改为所对应的连通域C1或者连通域C2的标签,得到新的代表正确肺实质的连通域C1’和C2’,从而完成肺部分割的结果。
结合图6所示,本发明实施例还提供了一种肺部图像分割的装置,包括:
识别模块601,用于识别肺部图像中物体的连通域以及物体的类型;
选择模块602,用于若所述肺部图像中确定的连通域数量超过设定阈值,则根据连通域的大小,从同类型物体的连通域中选择一个连通域作为所述类型对应的基础连通域;
膨胀模块603,用于针对任意一种类型,对除所有类型的基础连通域之外的其他连通域进行膨胀处理;
形成模块604,用于根据所述类型对应的目标连通域和所述类型对应的基础连通域,得到所述类型的物体新的连通域,其中所述目标连通域为其他连通域中,膨胀处理后与所述类型对应的基础连通域有交集的连通域。
可选的,所述识别模块601,具体用于:
提取肺部图像的图像特征;
根据所述图像特征确定所述肺部图像中物体的类型,以及确定每种类型的物体对应的图像特征的像素点;
根据每种类型的物体对应的图像特征的像素点,确定所述肺部图像中每种类型的物体的连通域。
可选的,所述装置还包括:
调整模块,用于若所述肺部图像为三维图像,则将三维图像中每个体素的空间大小调整到预设空间大小;或若所述肺部图像为二维图像,则将二维图像中每个像素点的面积大小调整到预设面积大小。
可选的,所述形成模块604,具体用于:
将所述类型对应的目标连通域和所述类型对应的基础连通域组成的连通域作为所述类型的物体新的连通域。
可选的,所述装置还包括:
预处理模块,用于去除物体的类型为非肺部的连通域。
结合图7所示,本发明实施例提供一种电子设备700,该电子设备700包括处理器701和用于存储所述处理器可执行指令的存储器702。所述处理器701被配置为执行所述指令,以实现如上述任一项所述的肺部图像分割的方法。
需要说明的是,本发明实施例中术语“电子设备”是指由集成电路、晶体管、电子管等电子元器件组成,应用电子技术(包括)软件发挥作用的设备,包括电子计算机以及由电子计算机控制的机器人、数控或程控系统等。该电子设备可以为对肺部图像处理的设备。该电子设备具有获取肺部图像的功能。
处理器701具体用于识别肺部图像中物体的连通域以及物体的类型;若肺部图像中确定的连通域数量超过设定阈值,则根据连通域的大小,从同类型物体的连通域中选择一个连通域作为类型对应的基础连通域;针对任意一种类型,对除所有类型的基础连通域之外的其他连通域进行膨胀处理;根据所述类型对应的目标连通域和所述类型对应的基础连通域,得到所述类型的物体新的连通域,其中所述目标连通域为其他连通域中,膨胀处理后与所述类型对应的基础连通域有交集的连通域。
综上可知,本发明实施例的电子设备700,能够将识别出肺部图像中物体的连通域以及物体的类型,且,识别出的连通域超过设定阈值,然后启动后处理过程,即针对任意一种类型,从该类型的连通域中选择一个基础连通域,再确定膨胀处理后与该类型的基础连通域有交集的目标连通域,最后将目标连通域和类型对应的基础连通域组成的连通域作为该类型的物体的新的连通域,从而将多个连通域组合,解决了现有技术中同一类型的物体被划分出多个连通域的问题,提高了分割的准确率。
其中,具体识别肺部图像中物体的类型可以由用户确定,例如,用户可以规定从肺部图像中物体的类型为左肺、右肺。
那么处理器701的功能为:识别肺部图像中左肺和右肺的连通域;若左肺的连通域数量超过设定阈值,则根据左肺的连通域的大小,从左肺的连通域中选择一个连通域作为左肺对应的基础连通域;若右肺的连通域数量超过设定阈值,则根据右肺的连通域的大小,从右肺的连通域中选择一个连通域作为右肺对应的基础连通域;确定根据预设膨胀条件进行膨胀处理后,与左肺对应的基础连通域有交集的目标连通域,将目标连通域和左肺对应的基础连通域组成的连通域作为左肺的物体新的连通域;确定根据预设膨胀条件进行膨胀处理后,与右肺对应的基础连通域有交集的目标连通域,将该目标连通域和右肺对应的基础连通域组成的连通域作为右肺的物体新的连通域。
本发明能够从肺部图像中将左肺和右肺分离出来,并对初始识别到的左肺和右肺的连通域进行后处理,将除去左肺对应的基础连通域和右肺对应的基础连通域的其他识别到的连通域加入到上述两个基础连通域中,得到最终的一个左肺的连通域和一个右肺的连通域,从而提高了识别的准确率。
上述电子设备700还可以包括获取单元,获取单元可以包括第一通信单元。具体场景为:电子设备可以通过获取单元中的第一通信单元与拍摄装置相连,拍摄装置能够拍摄肺部图像,并将肺部图像发送给电子设备,电子设备通过第一通信单元接收到肺部图像,并发送给电子设备的处理器,处理器进行上述处理。
获取单元,可以包括输入器件。具体场景为,用户通过电子设备的输入器件将肺部图像输入到处理器701中,处理器701能够进行上述处理。
进一步的,为了能够使得医生能够查看分割情况,电子设备还包括有显示单元,显示单元用于显示分割后的肺部图像,即处理器处理后的肺部图像。
当然,为了实现医生能够查看分割后的肺部图像,电子设备700还包括第二通信单元,电子设备通过第二通信单元与显示器连接,电子设备能够通过第二通信单元将处理器处理后的肺部图像发送给显示器,显示器接收到处理器发送的经过处理器处理后的肺部图像后进行显示。
结合图8所示,电子设备700分别与拍摄装置800和显示器900相连,拍摄装置800采集肺部图像,然后将肺部图像发送给电子设备700,电子设备700对肺部图像进行分割处理,将分割后的肺部图像发送给显示器,显示器进行显示。
其中,本发明实施例提供的拍摄装置800的功能、显示器900的功能也可以为电子设备中的元件,这样电子设备独立完成,拍摄、分割处理、以及显示。
需要说明的是,对于上述功能的描述,还可以有其他变型的设备,也在本发明包含的范围内,对此本发明就不一一进行描述。
可选的,所述处理器701,具体用于:
提取肺部图像的图像特征;
根据所述图像特征确定所述肺部图像中物体的类型,以及确定每种类型的物体对应的图像特征的像素点;
根据每种类型的物体对应的图像特征的像素点,确定所述肺部图像中每种类型的物体的连通域。
可选的,所述处理器701,还用于:
若所述肺部图像为三维图像,则将三维图像中每个体素的空间大小调整到预设空间大小;或
若所述肺部图像为二维图像,则将二维图像中每个像素点的面积大小调整到预设面积大小。
可选的,所述处理器701,具体用于:
将所述类型对应的目标连通域和所述类型对应的基础连通域组成的连通域作为所述类型的物体新的连通域。
可选的,所述处理器701,还用于:
去除物体的类型为非肺部的连通域。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器,上述指令可由电子设备的处理器701执行以完成上述肺部图像分割的方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明实施例还提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本发明实施例上述任意一项肺部图像分割的方法。
本领域技术人员在考虑说明书及实践这里发明的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.一种肺部图像分割的方法,其特征在于,包括:
识别肺部图像中物体的连通域以及物体的类型;其中,所述物体的类型包括所述肺部图像中的左肺、右肺和背景;
若所述肺部图像中确定的连通域数量超过设定阈值,则根据连通域的大小,从同类型物体的连通域中选择一个连通域作为所述类型对应的基础连通域;
针对任意一种类型,对除所有类型的基础连通域之外的其他连通域进行膨胀处理;
根据所述类型对应的目标连通域和所述类型对应的基础连通域,得到所述类型的物体新的连通域,其中所述目标连通域为其他连通域中,膨胀处理后与所述类型对应的基础连通域有交集的连通域;其中,根据所述类型对应的目标连通域和所述类型对应的基础连通域,得到所述类型的物体新的连通域,包括:将所述类型对应的目标连通域和所述类型对应的基础连通域组成的连通域作为所述类型的物体新的连通域;
根据所述类型的物体新的连通域,对所述肺部图像进行分割。
2.根据权利要求1所述的肺部图像分割的方法,其特征在于,所述识别肺部图像中物体的连通域以及物体的类型,包括:
提取肺部图像的图像特征;
根据所述图像特征确定所述肺部图像中物体的类型,以及确定每种类型的物体对应的图像特征的像素点;
根据每种类型的物体对应的图像特征的像素点,确定所述肺部图像中每种类型的物体的连通域。
3.根据权利要求2所述的肺部图像分割的方法,其特征在于,在通过分割网络,识别肺部图像中物体的连通域以及物体的类型之前,所述方法还包括:
若所述肺部图像为三维图像,则将三维图像中每个体素的空间大小调整到预设空间大小;或
若所述肺部图像为二维图像,则将二维图像中每个像素点的面积大小调整到预设面积大小。
4.根据权利要求1~3任一项所述的肺部图像分割的方法,其特征在于,在识别肺部图像中物体的连通域以及物体的类型之后,所述方法还包括:
去除物体的类型为非肺部的连通域。
5.一种肺部图像分割的装置,其特征在于,包括:
识别模块,用于识别肺部图像中物体的连通域以及物体的类型;其中,所述物体的类型包括所述肺部图像中的左肺、右肺和背景;
选择模块,用于若所述肺部图像中确定的连通域数量超过设定阈值,则根据连通域的大小,从同类型物体的连通域中选择一个连通域作为所述类型对应的基础连通域;
膨胀模块,用于针对任意一种类型,对除所有类型的基础连通域之外的其他连通域进行膨胀处理;
形成模块,用于根据所述类型对应的目标连通域和所述类型对应的基础连通域,得到所述类型的物体新的连通域;根据所述类型的物体新的连通域,对所述肺部图像进行分割;其中所述目标连通域为其他连通域中,膨胀处理后与所述类型对应的基础连通域有交集的连通域;其中,根据所述类型对应的目标连通域和所述类型对应的基础连通域,得到所述类型的物体新的连通域,包括:将所述类型对应的目标连通域和所述类型对应的基础连通域组成的连通域作为所述类型的物体新的连通域。
6.根据权利要求5所述的肺部图像分割的装置,其特征在于,所述识别模块,具体用于:
提取肺部图像的图像特征;
根据所述图像特征确定所述肺部图像中物体的类型,以及确定每种类型的物体对应的图像特征的像素点;
根据每种类型的物体对应的图像特征的像素点,确定所述肺部图像中每种类型的物体的连通域。
7.根据权利要求6所述的肺部图像分割的装置,其特征在于,所述装置还包括:
调整模块,用于若所述肺部图像为三维图像,则将三维图像中每个体素的空间大小调整到预设空间大小;或若所述肺部图像为二维图像,则将二维图像中每个像素点的面积大小调整到预设面积大小。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至权利要求4中任一项所述的肺部图像分割的方法。
9.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至权利要求4中任一项所述的肺部图像分割的方法。
CN202110145565.9A 2021-02-02 2021-02-02 肺部图像分割的方法、装置、电子设备及存储介质 Active CN112884792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145565.9A CN112884792B (zh) 2021-02-02 2021-02-02 肺部图像分割的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145565.9A CN112884792B (zh) 2021-02-02 2021-02-02 肺部图像分割的方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112884792A CN112884792A (zh) 2021-06-01
CN112884792B true CN112884792B (zh) 2022-10-25

Family

ID=76056102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145565.9A Active CN112884792B (zh) 2021-02-02 2021-02-02 肺部图像分割的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112884792B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409333B (zh) * 2021-06-16 2022-07-22 青岛海信医疗设备股份有限公司 一种三维图像的切割方法及电子设备
TWI802309B (zh) * 2022-03-04 2023-05-11 長庚醫療財團法人高雄長庚紀念醫院 臨床相片智能分類與導正的方法及影像處理裝置、電腦可讀取的記錄媒體

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415340A (zh) * 2020-03-17 2020-07-14 中国人民解放军国防科学技术大学 一种面向大面积高密度影ct图像的脏器分割方法及装置
CN111898657A (zh) * 2020-07-14 2020-11-06 海纳医信(北京)软件科技有限责任公司 图像的匹配方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558045B (zh) * 2016-10-20 2019-07-19 上海联影医疗科技有限公司 一种肺组织分割方法、装置,医学图像处理系统
CN106780497B (zh) * 2016-11-28 2019-09-24 重庆大学 一种基于统计信息的器官血管树自动提取方法
CN107230204B (zh) * 2017-05-24 2019-11-22 东北大学 一种从胸部ct图像中提取肺叶的方法及装置
WO2019000455A1 (zh) * 2017-06-30 2019-01-03 上海联影医疗科技有限公司 图像分割的方法及系统
WO2019041262A1 (en) * 2017-08-31 2019-03-07 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE SEGMENTATION
CN111582004A (zh) * 2019-02-15 2020-08-25 阿里巴巴集团控股有限公司 一种地面图像中的目标区域分割方法及装置
CN111986206A (zh) * 2019-05-24 2020-11-24 深圳市前海安测信息技术有限公司 基于UNet网络的肺叶分割方法、装置及计算机可读存储介质
CN110473207B (zh) * 2019-07-30 2022-05-10 赛诺威盛科技(北京)股份有限公司 一种交互式分割肺叶的方法
CN110648338B (zh) * 2019-09-25 2023-02-17 上海微创卜算子医疗科技有限公司 图像分割方法、可读存储介质及图像处理装置
CN110766713A (zh) * 2019-10-30 2020-02-07 上海微创医疗器械(集团)有限公司 肺部图像分割方法、装置和肺部病变区域识别设备
CN111369623B (zh) * 2020-02-27 2022-11-15 复旦大学 一种基于深度学习3d目标检测的肺部ct图像识别方法
CN111127466B (zh) * 2020-03-31 2021-06-11 上海联影智能医疗科技有限公司 医学图像检测方法、装置、设备及存储介质
CN112101135A (zh) * 2020-08-25 2020-12-18 普联国际有限公司 一种运动目标检测方法、装置及终端设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415340A (zh) * 2020-03-17 2020-07-14 中国人民解放军国防科学技术大学 一种面向大面积高密度影ct图像的脏器分割方法及装置
CN111898657A (zh) * 2020-07-14 2020-11-06 海纳医信(北京)软件科技有限责任公司 图像的匹配方法及装置

Also Published As

Publication number Publication date
CN112884792A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
US11514573B2 (en) Estimating object thickness with neural networks
JP6947759B2 (ja) 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
CN110337669B (zh) 一种用于多标签分割医学图像中的解剖结构的管线方法
US20200327721A1 (en) Autonomous level identification of anatomical bony structures on 3d medical imagery
CN108198184B (zh) 造影图像中血管分割的方法和系统
Al Arif et al. Shape-aware deep convolutional neural network for vertebrae segmentation
EP3660785A1 (en) Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
CN112884792B (zh) 肺部图像分割的方法、装置、电子设备及存储介质
CN112885453A (zh) 用于标识后续医学图像中的病理变化的方法和系统
JP2007044485A (ja) 脳内出血部位セグメンテーション方法および装置
CN109816666B (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
CN103942780B (zh) 基于改进模糊连接度算法的丘脑及其子结构分割方法
CN107274406A (zh) 一种检测敏感区域的方法及装置
US20090060332A1 (en) Object segmentation using dynamic programming
WO2022086910A1 (en) Anatomically-informed deep learning on contrast-enhanced cardiac mri
CN111932467A (zh) 一种图像处理方法及装置
WO2019220825A1 (ja) 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法
KR20200046775A (ko) Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법
CN108447066B (zh) 胆道图像分割方法、终端、存储介质
JP2005511177A (ja) 体の構造の孤立した視覚化されたものを形成する方法及び装置
CN115880358A (zh) 定位模型的构建方法、影像标志点的定位方法及电子设备
EP3989172A1 (en) Method for use in generating a computer-based visualization of 3d medical image data
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant