CN110929728A - 一种图像感兴趣区域划分方法、图像分割方法及装置 - Google Patents

一种图像感兴趣区域划分方法、图像分割方法及装置 Download PDF

Info

Publication number
CN110929728A
CN110929728A CN202010096550.3A CN202010096550A CN110929728A CN 110929728 A CN110929728 A CN 110929728A CN 202010096550 A CN202010096550 A CN 202010096550A CN 110929728 A CN110929728 A CN 110929728A
Authority
CN
China
Prior art keywords
pixel point
image
segmentation
region
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010096550.3A
Other languages
English (en)
Other versions
CN110929728B (zh
Inventor
张玲玲
滕忠照
沈金花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Jingsan Medical Technology Co ltd
Original Assignee
Nanjing Jingsan Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Jingsan Medical Technology Co ltd filed Critical Nanjing Jingsan Medical Technology Co ltd
Priority to CN202010096550.3A priority Critical patent/CN110929728B/zh
Publication of CN110929728A publication Critical patent/CN110929728A/zh
Application granted granted Critical
Publication of CN110929728B publication Critical patent/CN110929728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Abstract

本发明公开了一种图像感兴趣区域划分方法、图像分割方法及装置,该方法包括:获取目标图像内的所有像素点的信号强度值,得到信号强度集;提取信号强度集中的若干个连续大小的信号强度值,形成信号强度集的一个子集;提取信号强度集的若干个子集所对应的像素点,形成若干个像素点集;若干个子集均为不同的子集;对各个像素点集中的像素点进行连通区域标记,得到若干个连通像素点集;根据各个连通像素点集的中心点之间的距离判断连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集;将合并后的连通像素点集对应的区域作为目标图像的感兴趣区域。通过实施本发明,能够得到目标图像包含分割对象的感兴趣区域。

Description

一种图像感兴趣区域划分方法、图像分割方法及装置
技术领域
本发明涉及图像检测技术领域,尤其涉及到一种图像感兴趣区域划分方法、图像分割方法及装置。
背景技术
医学影像中的血管分割问题是影像分析诊断的基础前提,是定位血管病变区域与定性定量分析正常组织和病灶的必要手段,其目的是从图像数据中分离出医生感兴趣的血管腔、血管壁边界及其他斑块成分,对辅助医生临床诊断、评估疾病风险、决策治疗方案等显示出越来越重要的临床价值。但是,医学图像的血管分割是一项非常具有挑战性的任务。
近年来已经提出并使用了多种不同的方法,从大的方向上主要分为两大类:一是将深度学习、机器学习等AI算法引入进来;二是目前经典的基于区域、水平集等其他分割算法的扩展和改进。但总体来说,第一类解决方案需要大量已准确标注的图像数据去训练,由于缺乏对血管诊断有经验的影像医生,导致精确标注过的血管图像是一个非常紧缺的资源,这无疑限制了基于样本训练的分割算法的应用性。而由于不同影像数据及不同部位血管的图像存在较大差异,第二类解决方案则很难得到一个统一的标准图像分割方法来解决不同影像数据及不同部位血管的图像分割问题,为了解决该问题,目前比较常见的做法为通过划分图像中的感兴趣区域,以减少图像中除了血管区域以外的各种干扰因素对分割算法的分割准确性的影响,但是,由于普通业务人员不能较准确的确定何为血管区域而一般会选择划定所有可能范围,得到的感兴趣区域仍保留大部分源于图像本身的差异,感兴趣区域的准确划分仍然依赖于对血管诊断有经验的影像医生。
因此,如何实现对图像中的感兴趣区域的准确划定,以减小图片中的干扰因素对后续血管分割准确性的影响成为亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供了一种图像感兴趣区域划分方法、图像分割方法及装置,以解决现有图像分割中的感兴趣区域的划定仍完全基于人为划定,划定准确性完全依赖于业务人员的专业性的问题。
根据第一方面,本发明实施例提供了一种图像感兴趣区域划分方法,包括如下步骤:获取目标图像内的所有像素点的信号强度值,得到信号强度集;提取信号强度集中的若干个连续大小的信号强度值,形成信号强度集的一个子集;提取信号强度集的若干个子集所对应的像素点,形成若干个像素点集;若干个子集均为不同的子集;对各个像素点集中的像素点进行连通区域标记,得到若干个连通像素点集;根据各个连通像素点集的中心点之间的距离判断连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集;将合并后的连通像素点集对应的区域作为目标图像的感兴趣区域。
由于发明人发现,一些图像中的诸如血管管腔、血管管壁以及血管内斑块等分割对象内部的信号强度是较为平稳的,也即,包含此类分割对象的感兴趣区域中的信号强度值的大小一般随着图像区域的延伸平稳变化,因此,本发明通过获取目标图像中的像素点的信号强度值形成的信号强度集,并以提取信号强度集中的若干连续大小的信号强度值形成一个子集的方式,形成若干个不同的子集,从而使这些子集对应的像素点形成的区域,有较大可能性包括分割对象,且当子集的数量较多时,可以认为这些子集对应的像素点形成的区域中一定存在包含分割对象的区域,也即通过执行该方法,能够得到包含分割对象的感兴趣区域;而最终通过根据各个连通像素点集的中心点之间的距离判断连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集,能够合并在目标图像中属于相似位置处的,有较大可能性属于同一对象的连通像素点集,从而能够合理有效的得到数量较少的感兴趣区域,减小后续进行分割时的分割工作量。
此外,通过对各个像素点集中的像素点进行连通区域标记,能够消除像素点集中的孤立点或者较小的孔洞,能够提高连通像素点集中的像素点成区域分布的可能性,从而能够减小最终得到的感兴趣区域中存在独立像素点或者较小孔洞的可能性。
根据第一方面,在第一方面第一实施方式中,若干个子集的最小值均为信号强度集的最小值,若干个子集的最大值按预设差值逐渐增大。
根据第一方面,在第一方面第二实施方式中,根据各个连通像素点集的中心点之间的距离判断连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集的步骤,包括:选取至少一个连通像素点集作为初始合并集,并依次计算各个其他连通像素点集与各个初始合并集的中心点之间的距离;任意两个初始合并集的中心点的距离均大于或者等于预设距离;当一个其他连通像素点集与一个初始合并集的中心点之间的距离小于预设距离时,确定对应的其他连通像素点集和初始合并集属于同一区域,并将对应的其他连通像素点集和初始合并集合并,对初始合并集进行更新;当一个其他连通像素点集与所有初始合并集的中心点之间的距离均大于或者等于预设距离时,将其他连通像素点集也作为一个初始合并集;重复上述步骤,直至完成所有连通像素点集的合并。
根据第一方面,在第一方面第三实施方式中,在根据各个连通像素点集的中心点之间的距离判断连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集的步骤之前,还包括:根据预设筛选规则对若干个连通像素点集进行筛选;预设筛选规则包括预设大小筛选规则、预设位置筛选规则以及预设信号强度稳定性筛选规则中的至少一种。
通过在进行连通像素点集的合并之前先根据预设筛选规则对若干个连通像素点集进行筛选,能够排除若干个连通像素点集中明显不是包含分割对象的区域的连通像素点集,从而能够减小进行合并时的运算量。
根据第二方面,本发明实施例提供了图像分割方法,包括如下步骤:获取包含血管区域的待分割图像,使用第一方面或者第一方面的任意一种实施方式所述的图像感兴趣区域划分方法对待分割图像进行划分,得到待分割图像的若干个感兴趣区域;使用预设分割算法对若干个感兴趣区域进行分割,得到若干个分割结果;基于预设评价指标对分割结果进行评价,得到最优图像分割结果。
通过使用第一方面或者第一方面的任意一种实施方式所述的图像感兴趣区域划分方法对待分割图像进行划分,能够得到若干个感兴趣区域,且该若干个感兴趣区域中存在包含分割对象(也即血管区域)的感兴趣区域,而使用预设分割算法对若干个感兴趣区域进行分割,得到若干个分割结果,然后基于预设评价指标对分割结果进行评价,得到最优图像分割结果,实现了对包含血管区域的待分割图像的自动分割,且由于感兴趣区域为多个,其中包括血管区域的大小不同的感兴趣区域也为多个,其中有一个或多个适于使用预设分割算法进行分割的感兴趣区域的可能性较大,因此,通过对上述感兴趣区域的分割和评价得到的最优图像结果为较为准确的血管分割结果的可能性较大。
根据第二方面,在第二方面第一实施方式中,使用预设分割算法对若干个感兴趣区域进行分割,得到若干个分割结果的步骤,包括:获取预设分割算法中的向量参数的可取值范围;在可取值范围内进行若干次取样,得到若干个向量参数值;依次将各个向量参数值作为预设分割算法的向量参数,对若干个感兴趣区域进行分割,得到若干个分割结果;分割结果的数量为向量参数值的个数与感兴趣区域的个数的乘积。
通过获取预设分割算法中的向量参数的可取值范围,并在可取值范围内进行若干次取样,得到若干个向量参数值后,依次将各个向量参数值作为预设分割算法的向量参数,形成若干个分割算法,并依次使用各个分割算法对各个感兴趣区域进行分割,能够进一步提高存在能够分割出准确的血管区域的分割算法和感兴趣区域的组合的可能性,从而,能够提高该图像分割方法的分割准确性。
根据第二方面第一实施方式,在第二方面第二实施方式中,基于预设评价指标对分割结果进行评价,得到最优图像分割结果的步骤,包括:基于预设评价指标对分割结果进行评价,得到第一最优分割结果;根据第一最优分割结果生成包含第一最优分割结果对应的第一最优向量参数值的最优向量参数范围;最优向量参数范围小于可取值范围;在最优向量参数范围内进行若干次取样,得到若干个第二最优向量参数值;依次将各个第二最优向量参数值作为预设分割算法的向量参数,对若干个感兴趣区域进行分割,得到若干个第二最优分割结果;第二最优分割结果的数量为第二最优向量参数值的个数与感兴趣区域的个数的乘积;基于预设评价指标对第二最优分割结果进行评价,得到最优图像分割结果。
通过将一次评价后得到第一最优分割结果对应的第一最优向量参数值作为标准,在该第一最优向量参数值周围进行二次取值得到若干个第二最优向量参数值,并在依次将各个第二最优向量参数值作为预设分割算法的向量参数,对若干个感兴趣区域进行分割得到若干个第二最优分割结果后进行二次评价,得到最优图像分割结果,从而使最终得到的最优分割结果为对第一最优分割结果的再次优化结果,因而能够进一步提高该图像分割方法的分割准确性。
根据第三方面,本发明实施例提供了一种图像感兴趣区域划分装置,其特征在于,包括:信号强度集获取模块,用于获取目标图像内的所有像素点的信号强度值,得到信号强度集;子集提取模块,用于提取信号强度集中的若干个连续大小的信号强度值,形成信号强度集的一个子集;像素点集提取模块,用于提取信号强度集的若干个子集所对应的像素点,形成若干个像素点集;若干个子集均为不同的子集;连通区域标记模块,用于对各个像素点集中的像素点进行连通区域标记,得到若干个连通像素点集;感兴趣区域生成模块,用于根据各个连通像素点集的中心点之间的距离判断连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集;将合并得到的连通像素点集对应的区域作为目标图像的感兴趣区域。
根据第四方面,本发明实施例提供了一种图像分割装置,包括:感兴趣区域划分模块,用于获取包含血管区域的待分割图像,并将待分割图像作为目标图像,使用第一方面或者第一方面的任意一种实施方式所述的图像感兴趣区域划分方法对待分割图像进行划分,得到待分割图像的若干个感兴趣区域;感兴趣区域分割模块,用于使用预设分割算法对若干个感兴趣区域进行分割,得到若干个分割结果;分割结果评价模块,用于基于预设评价指标对分割结果进行评价,得到最优图像分割结果。
根据第五方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的图像感兴趣区域划分方法以及第二方面或者第二方面的任意一种实施方式中所述的图像分割方法。
根据第六方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的图像感兴趣区域划分方法以及第二方面或者第二方面的任意一种实施方式中所述的图像分割方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种图像感兴趣区域划分方法的一种方法流程图;
图2为本发明实施例1提供的一种图像感兴趣区域划分方法的另一种方法流程图;
图3本发明实施例2提供的一种图像分割方法的一种方法流程图;
图4为图3中步骤S302的一种具体实施方法流程图;
图5为图3中步骤S303的一种具体实施方法流程图;
图6为本发明实施例3提供的一种图像感兴趣区域划分装置的原理框图;
图7为本发明实施例4提供的一种图像分割装置的原理框图;
图8为本发明实施例5提供的一种电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
实施例1
图1示出了本发明实施例的图像感兴趣区域划分方法的流程图,如图1所示,该方法可以包括如下步骤:
S101:获取目标图像内的所有像素点的信号强度值,得到信号强度集。
在本发明实施例中,为了减小数据量,一般可以先获取目标图像中的初始感兴趣区域中的信号强度值形成信号强度集,该初始感兴趣区域可以为人为划分区域,且需要说明的是,基于本发明实施例中的方法是为了实现对目标图像中的感兴趣区域的划分,因此,此处的初始感兴趣区域并不要求有较高的划分精度,仅要求能够排除普通用户也能分辨的目标图像中明显不属于分割对象的部分即可。
在本发明实施例中,像素点的信号强度值是指像素点的亮度值。
S102:提取信号强度集中的若干个连续大小的信号强度值,形成信号强度集的一个子集。
在本发明实施例中,信号强度集中的若干个连续大小的信号强度值是指,将信号强度集中的所有信号强度值进行从小到大或者从大到小的排序后,其中的若干个连续的信号强度值。
S103:提取信号强度集的若干个子集所对应的像素点,形成若干个像素点集。
在本发明实施例中,若干个子集均为不同的子集,且若干个子集中的每一个子集均可以采用步骤S102中的子集形成方式形成,具体地,若干个子集中的信号强度值的数量可以相同也可以不同,且只要任意两个子集中的信号强度值不完全相同即可,也即,该若干个子集中的一个子集也可以为另一个子集的非空真子集。
在本发明实施例中,提取信号强度集的若干个子集所对应的像素点主要是指,提取信号强度集的若干个子集中的各个信号强度值所对应的像素点的位置信息,具体地,该位置信息是指像素点在目标图像中的位置坐标。
作为本发明实施例的一种可选的实施方式,若干个子集的最小值均为信号强度集 的最小值,若干个子集的最大值按预设差值逐渐增大。具体地,预设差值可以根据信号强度 集的最大值和最小值以及子集的个数进行设置:若信号强度集的最大值为
Figure 561047DEST_PATH_IMAGE001
,最小值 为
Figure 9346DEST_PATH_IMAGE002
,子集的个数为L,则其中的第
Figure 54662DEST_PATH_IMAGE003
个子集(
Figure 715451DEST_PATH_IMAGE004
)的最小值为
Figure 559516DEST_PATH_IMAGE002
,最大值为
Figure 647558DEST_PATH_IMAGE005
,其中,
Figure 180171DEST_PATH_IMAGE006
S104:对各个像素点集中的像素点进行连通区域标记,得到若干个连通像素点集。
在本发明实施例中,可以对各个像素点集中的像素点进行4连通区域标记,也可以进行8连通区域标记。
S105:根据各个连通像素点集的中心点之间的距离判断连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集。在本发明实施例中,将合并得到的连通像素点集对应的区域作为目标图像的感兴趣区域。
在本发明实施例中,连通像素点集的中心点可以通过计算连通像素点集中的所有像素点的位置信息的平均值得到。
在本发明实施例中,可以根据各个连通像素点集的中心点之间的距离是否小于预设距离,判断连通像素点集是否为属于同一区域的像素点集,具体地,当两个连通像素点集的中心点之间的距离小于预设阈值时,该两个连通像素点集为属于同一区域的像素点集,该两个连通像素点集可以合并为一个连通像素点集。在本发明实施例中,预设距离的具体数值可以根据实际应用场景进行设置,在此不做任何限制。
具体地,可以具体通过以下步骤实现步骤S105:
步骤A:选取至少一个连通像素点集作为初始合并集,并依次计算各个其他连通像素点集与各个初始合并集的中心点之间的距离。在本发明实施例中,任意两个初始合并集的中心点的距离均大于或者等于预设距离,也即,初始合并集均为不属于同一区域的连通像素点集。
步骤B:当一个其他连通像素点集与一个初始合并集的中心点之间的距离小于预设距离时,确定对应的其他连通像素点集和初始合并集属于同一区域,并将对应的其他连通像素点集和初始合并集合并,对初始合并集进行更新。
在本发明实施例中,对应的其他连通像素点集和初始合并集是指,中心点之间的 距离小于预设距离的其他连通像素点集(假设为集合
Figure 910229DEST_PATH_IMAGE007
)和初 始合并集(假设为集合
Figure 844687DEST_PATH_IMAGE008
),相应地,对初始合并集进行更新是指,将对应 的其他连通像素点集
Figure 103630DEST_PATH_IMAGE007
和初始合并集
Figure 123539DEST_PATH_IMAGE009
进 行合并,并得到新的初始合并集
Figure 391709DEST_PATH_IMAGE010
(替代原初始合并及
Figure 180674DEST_PATH_IMAGE009
),当然,上述新的初始合并集
Figure 141676DEST_PATH_IMAGE010
仅是为了便于本领域技术人员理 解所举的一个具体示例,本领域技术人员应当可以理解,两个像素点集合并后的集合并不 是两个像素点集的和值,而是若其中存在相同的像素点,则需要对该相同的像素点也进行 合并。
步骤C:当一个其他连通像素点集与所有初始合并集的中心点之间的距离均大于或者等于预设距离时,将其他连通像素点集也作为一个初始合并集。
重复上述步骤A-步骤C,直至完成所有连通像素点集的合并,则最终得到的初始合并集即为合并后的连通像素点集,也即感兴趣区域。
由于发明人发现,一些图像中的诸如血管管腔、血管管壁以及血管内斑块等分割对象内部的信号强度是较为平稳的,也即,包含此类分割对象的感兴趣区域中的信号强度值的大小一般随着图像区域的延伸平稳变化,因此,在本发明实施例中,通过获取目标图像中的像素点的信号强度值形成的信号强度集,并以提取信号强度集中的若干连续大小的信号强度值形成一个子集的方式,形成若干个不同的子集,从而使这些子集对应的像素点形成的区域,有较大可能性包括分割对象,且当子集的数量较多时,可以认为这些子集对应的像素点形成的区域中一定存在包含分割对象的区域,也即通过执行该方法,能够得到包含分割对象的感兴趣区域;而最终通过根据各个连通像素点集的中心点之间的距离判断连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集,能够合并在目标图像中属于相似位置处的,有较大可能性属于同一对象的连通像素点集,从而能够合理有效的得到数量较少的感兴趣区域,减小后续进行分割时的分割工作量。
此外,通过对各个像素点集中的像素点进行连通区域标记,能够消除像素点集中的孤立点或者较小的孔洞,能够提高连通像素点集中的像素点成区域分布的可能性,从而能够减小最终得到的感兴趣区域中存在独立像素点或者较小孔洞的可能性。
作为本发明实施例的一种可选实施方式,如图2所示,在步骤S105之前,本发明实施例的图像感兴趣区域划分方法还包括如下步骤:
S106:根据预设筛选规则对若干个连通像素点集进行筛选。在本发明实施例中,预设筛选规则包括预设大小筛选规则、预设位置筛选规则以及预设信号强度稳定性筛选规则中的至少一种。
在本发明实施例中,以分割对象为血管区域为例,则预设大小筛选规则可以为:若连通像素点集对应的区域小于预设大小或者形状与圆形有较大差异,则排除该连通像素点集;基于在采集目标图像时,一般不会将分割对象置于图像的边缘处,则预设位置筛选规则还可以为:若连通像素点集对应的区域位于目标区域的边缘处(也即其中像素点的位置坐标属于靠近图像边缘的坐标),则排除该连通像素点集;基于血管管腔、血管管壁以及血管内斑块等分割对象内部的信号强度是较为平稳的,也即,包含此类分割对象的感兴趣区域中的信号强度值的大小一般随着图像区域的延伸平稳变化,预设信号强度稳定性筛选规则可以为:若连通像素点集对应的区域中存在较小的孔洞,则排除该连通像素点集;当然,上述筛选规则的具体示例仅为对应的筛选规则中的一种可能情况,筛选规则的具体内容可以根据实际应用场景的需要进行设置。
在本发明实施例中,通过在进行连通像素点集的合并之前先根据预设筛选规则对若干个连通像素点集进行筛选,能够排除若干个连通像素点集中明显不是包含分割对象的区域的连通像素点集,从而能够减小进行合并时的运算量。
实施例2
图3示出了本发明实施例的图像分割方法的流程图,如图3所示,该方法可以包括如下步骤:
S301:获取包含血管区域的待分割图像,使用图像感兴趣区域划分方法对待分割图像进行划分,得到待分割图像的若干个感兴趣区域。
该步骤中的图像感兴趣区域划分方法即为实施例1或实施例1任意一种实施方式所述的图像感兴趣区域划分方法,其具体内容可以参照实施例1来理解,在此不再赘述。
S302:使用预设分割算法对若干个感兴趣区域进行分割,得到若干个分割结果。
在本发明实施例中,预设分割算法可以为基于区域的分割算法及其衍生,如,区域生长和分水岭分割等,以及基于水平集的分割算法及其衍生,如,阈值水平集分割、Canny水平集和Snake主动轮廓分割等现有分割算法中的任意一种,具体使用何种分割算法可以根据实际应用场景进行确定,在此不做任何限制。
S303:基于预设评价指标对分割结果进行评价,得到最优图像分割结果。
在本发明实施例中,预设评价指标可以为包括面积评价指标、周长评价指标、角二阶矩评价指标、方差和评价指标、逆差矩评价指标、熵和评价指标、熵评价指标以及形状模板匹配性评价指标等评价指标中的一种或多种,基于各种评价指标如何进行具体评价均为现有技术,在此不做任何限制,此外,若待分割图像为序列血管图像,则评价指标中还可以包括血管轮廓基于图像序列的变化连续性指标。
在本发明实施例中,若评价指标为多种,则最终的评价结果可以根据各种评价指标下的评价结果的加权和值。
在本发明实施例中,通过使用第一方面或者第一方面的任意一种实施方式所述的图像感兴趣区域划分方法对待分割图像进行划分,能够得到若干个感兴趣区域,且该若干个感兴趣区域中存在包含分割对象(也即血管区域)的感兴趣区域,而使用预设分割算法对若干个感兴趣区域进行分割,得到若干个分割结果,然后基于预设评价指标对分割结果进行评价,得到最优图像分割结果,实现了对包含血管区域的待分割图像的自动分割,且由于感兴趣区域为多个,其中包括血管区域的大小不同的感兴趣区域也为多个,其中有一个或多个适于使用预设分割算法进行分割的感兴趣区域的可能性较大,因此,通过对上述感兴趣区域的分割和评价得到的最优图像结果为较为准确的血管分割结果的可能性较大。
作为本发明实施例的一种可选实施方式,如图4所示,步骤S302可以包括如下步骤:
S401:获取预设分割算法中的向量参数的可取值范围。
S402:在可取值范围内进行若干次取样,得到若干个向量参数值。
在本发明实施例中,可以在可取值范围内进行若干次随机取样,得到若干个向量参数值,具体地,随机取样算法可以采用序贯蒙特卡罗算法。
S403:依次将各个向量参数值作为预设分割算法的向量参数,对若干个感兴趣区域进行分割,得到若干个分割结果。
在本发明实施例中,分割结果的数量为向量参数值的个数与感兴趣区域的个数的乘积。
在本发明实施例中,通过获取预设分割算法中的向量参数的可取值范围,并在可取值范围内进行若干次取样,得到若干个向量参数值后,依次将各个向量参数值作为预设分割算法的向量参数,形成若干个分割算法,并依次使用各个分割算法对各个感兴趣区域进行分割,能够进一步提高存在能够分割出准确的血管区域的分割算法和感兴趣区域的组合的可能性,从而,能够提高该图像分割方法的分割准确性。
作为本发明实施例的一种可选实施方式,仍以步骤S302包括步骤S401-S403为例对本发明实施例进行描述,则如图5所示,步骤S303可以包括如下步骤:
S501:基于预设评价指标对分割结果进行评价,得到第一最优分割结果。该步骤的具体内容可以参照上述步骤S303的具体内容来理解,在此不再赘述。
S502:根据第一最优分割结果生成包含第一最优分割结果对应的第一最优向量参数值的最优向量参数范围。在本发明实施例中,最优向量参数范围小于可取值范围。
在本发明实施例中,可以将第一最优向量参数值作为最优向量参数范围的中值,最优向量参数范围的大小可以等于步骤S402中向量参数值的平均间隔的大小,具体地,步骤S402中向量参数值的平均间隔的大小,可以通过计算可取值范围与步骤S402中取样得到的向量参数值的个数的商得到。
S503:在最优向量参数范围内进行若干次取样,得到若干个第二最优向量参数值。
在本发明实施例中,同样可以通过序贯蒙特卡罗算法等随机采样算法在最优向量参数范围进行若干次随机取样,得到若干个第二最优向量参数值。
S504:依次将各个第二最优向量参数值作为预设分割算法的向量参数,对若干个感兴趣区域进行分割,得到若干个第二最优分割结果。在本发明实施例中,第二最优分割结果的数量为第二最优向量参数值的个数与感兴趣区域的个数的乘积。
S505:基于预设评价指标对第二最优分割结果进行评价,得到最优图像分割结果。该步骤的具体内容可以参照上述步骤S303的具体内容来理解,在此不再赘述。
在本发明实施例中,通过将一次评价后得到第一最优分割结果对应的第一最优向量参数值作为标准,在该第一最优向量参数值周围进行二次取值得到若干个第二最优向量参数值,并在依次将各个第二最优向量参数值作为预设分割算法的向量参数,对若干个感兴趣区域进行分割得到若干个第二最优分割结果后进行二次评价,得到最优图像分割结果,从而使最终得到的最优分割结果为对第一最优分割结果的再次优化结果,因而能够进一步提高该图像分割方法的分割准确性。
实施例3
图6示出了本发明实施例的一种图像感兴趣区域划分装置的原理框图,该装置可以用于实现实施例1或者其任意可选实施方式所述的图像感兴趣区域划分方法,已经叙述过的在此不再赘述。如图6所示,该装置包括:信号强度集获取模块10,子集提取模块20,像素点集提取模块30,连通区域标记模块40和感兴趣区域生成模块50。其中,
信号强度集获取模块10用于获取目标图像内的所有像素点的信号强度值,得到信号强度集。详细内容可参见上述方法实施例的步骤S101的相关描述。
子集提取模块20用于提取信号强度集中的若干个连续大小的信号强度值,形成信号强度集的一个子集。详细内容可参见上述方法实施例的步骤S102的相关描述。
像素点集提取模块30用于提取信号强度集的若干个子集所对应的像素点,形成若干个像素点集。在本发明实施例中,若干个子集均为不同的子集。详细内容可参见上述方法实施例的步骤S103的相关描述。
连通区域标记模块40用于对各个像素点集中的像素点进行连通区域标记,得到若干个连通像素点集。详细内容可参见上述方法实施例的步骤S104的相关描述。
感兴趣区域生成模块50用于根据各个连通像素点集的中心点之间的距离判断连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集。在本发明实施例中,将合并得到的连通像素点集对应的区域作为目标图像的感兴趣区域。详细内容可参见上述方法实施例的步骤S105的相关描述。
在本发明实施例中,通过执行上述模块对应的程序或者指令,能够得到包含分割对象的感兴趣区域,且到数量较少的感兴趣区域,从而后续进行分割时的分割工作量较少;此外,通过对各个像素点集中的像素点进行连通区域标记,能够消除像素点集中的独立点或者较小的孔洞,能够提高连通像素点集中的像素点成区域分布的可能性,从而能够减小最终得到的感兴趣区域中存在独立像素点或者较小孔洞的可能性。
实施例4
图7示出了本发明实施例的一种图像分割装置的原理框图,该装置可以用于实现实施例2或者其任意可选实施方式所述的图像分割方法,已经叙述过的在此不再赘述。如图7所示,该装置包括:感兴趣区域划分模块60,感兴趣区域分割模块70和分割结果评价模块80。其中,
感兴趣区域划分模块60用于获取包含血管区域的待分割图像,并将待分割图像作为目标图像,使用实施例1或者实施例1的任意一种实施方式所述的图像感兴趣区域划分方法对待分割图像进行划分,得到待分割图像的若干个感兴趣区域。详细内容可参见上述方法实施例的步骤S201的相关描述。
感兴趣区域分割模块70用于使用预设分割算法对若干个感兴趣区域进行分割,得到若干个分割结果。详细内容可参见上述方法实施例的步骤S202的相关描述。
分割结果评价模块80用于基于预设评价指标对分割结果进行评价,得到最优图像分割结果。详细内容可参见上述方法实施例的步骤S203的相关描述。
在本发明实施例中,通过执行上述模块对应的程序或者指令,实现了对包含血管区域的待分割图像的自动分割,且由于用以进行分割的感兴趣区域为多个,其中包括血管区域的大小不同的感兴趣区域也为多个,其中有一个或多个适于使用预设分割算法进行分割的感兴趣区域的可能性较大,因此,通过对上述感兴趣区域的分割和评价得到的最优图像结果为较为准确的血管分割结果的可能性较大。
实施例5
本发明实施例提供了一种电子设备,如图8所示,该电子设备可以包括处理器81和存储器82,其中处理器81和存储器82可以通过总线或者其他方式连接,图8中以通过总线连接为例。
处理器81可以为中央处理器(Central Processing Unit,CPU)。处理器81还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器82作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例1中的图像感兴趣区域划分方法以及实施例2中的图像分割方法对应的程序指令/模块。处理器81通过运行存储在存储器82中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的图像感兴趣区域划分方法和/或图像分割方法。
存储器82可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器81所创建的数据等。此外,存储器82可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器82可选包括相对于处理器81远程设置的存储器,这些远程存储器可以通过网络连接至处理器81。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器82中,当被所述处理器81执行时,执行如图1-图2所示实施例中的图像感兴趣区域划分方法,和/或,图3-图5所示实施例中的图像分割方法。
上述电子设备具体细节可以对应参阅图1至图5所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (11)

1.一种图像感兴趣区域划分方法,其特征在于,包括如下步骤:
获取目标图像内的所有像素点的信号强度值,得到信号强度集;
提取所述信号强度集中的若干个连续大小的信号强度值,形成所述信号强度集的一个子集;
提取所述信号强度集的若干个子集所对应的像素点,形成若干个像素点集;所述若干个子集均为不同的子集;
对各个所述像素点集中的像素点进行连通区域标记,得到若干个连通像素点集;
根据各个所述连通像素点集的中心点之间的距离判断所述连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集;将合并后的连通像素点集对应的区域作为所述目标图像的感兴趣区域。
2.根据权利要求1所述的图像感兴趣区域划分方法,其特征在于,所述若干个子集的最小值均为所述信号强度集的最小值,所述若干个子集的最大值按预设差值逐渐增大。
3.根据权利要求1所述的图像感兴趣区域划分方法,其特征在于,所述根据各个所述连通像素点集的中心点之间的距离判断所述连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集的步骤,包括:
选取至少一个连通像素点集作为初始合并集,并依次计算各个其他连通像素点集与各个所述初始合并集的中心点之间的距离;任意两个所述初始合并集的中心点的距离均大于或者等于预设距离;
当一个所述其他连通像素点集与一个所述初始合并集的中心点之间的距离小于所述预设距离时,确定对应的其他连通像素点集和初始合并集属于同一区域,并将所述对应的其他连通像素点集和初始合并集合并,对所述初始合并集进行更新;
当一个其他连通像素点集与所有初始合并集的中心点之间的距离均大于或者等于所述预设距离时,将所述其他连通像素点集也作为一个初始合并集;
重复上述步骤,直至完成所有连通像素点集的合并。
4.根据权利要求1所述的图像感兴趣区域划分方法,其特征在于,在所述根据各个所述连通像素点集的中心点之间的距离判断所述连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集的步骤之前,还包括:
根据预设筛选规则对所述若干个连通像素点集进行筛选;所述预设筛选规则包括预设大小筛选规则、预设位置筛选规则以及预设信号强度稳定性筛选规则中的至少一种。
5.一种图像分割方法,其特征在于,包括如下步骤:
获取包含血管区域的待分割图像,使用权利要求1-4任一项所述的图像感兴趣区域划分方法对所述待分割图像进行划分,得到所述待分割图像的若干个感兴趣区域;
使用预设分割算法对所述若干个感兴趣区域进行分割,得到若干个分割结果;
基于预设评价指标对所述分割结果进行评价,得到最优图像分割结果。
6.根据权利要求5所述的图像分割方法,其特征在于,所述使用预设分割算法对所述若干个感兴趣区域进行分割,得到若干个分割结果的步骤,包括:
获取所述预设分割算法中的向量参数的可取值范围;
在所述可取值范围内进行若干次取样,得到若干个向量参数值;
依次将各个所述向量参数值作为所述预设分割算法的向量参数,对所述若干个感兴趣区域进行分割,得到所述若干个分割结果;所述分割结果的数量为所述向量参数值的个数与所述感兴趣区域的个数的乘积。
7.根据权利要求6所述的图像分割方法,其特征在于,所述基于预设评价指标对所述分割结果进行评价,得到最优图像分割结果的步骤,包括:
基于预设评价指标对所述分割结果进行评价,得到第一最优分割结果;
根据所述第一最优分割结果生成包含所述第一最优分割结果对应的第一最优向量参数值的最优向量参数范围;所述最优向量参数范围小于所述可取值范围;
在所述最优向量参数范围内进行若干次取样,得到若干个第二最优向量参数值;
依次将各个所述第二最优向量参数值作为所述预设分割算法的向量参数,对所述若干个感兴趣区域进行分割,得到若干个第二最优分割结果;所述第二最优分割结果的数量为所述第二最优向量参数值的个数与所述感兴趣区域的个数的乘积;
基于所述预设评价指标对所述第二最优分割结果进行评价,得到所述最优图像分割结果。
8.一种图像感兴趣区域划分装置,其特征在于,包括:
信号强度集获取模块,用于获取目标图像内的所有像素点的信号强度值,得到信号强度集;
子集提取模块,用于提取所述信号强度集中的若干个连续大小的信号强度值,形成所述信号强度集的一个子集;
像素点集提取模块,用于提取所述信号强度集的若干个子集所对应的像素点,形成若干个像素点集;所述若干个子集均为不同的子集;
连通区域标记模块,用于对各个所述像素点集中的像素点进行连通区域标记,得到若干个连通像素点集;
感兴趣区域生成模块,用于根据各个所述连通像素点集的中心点之间的距离判断所述连通像素点集是否为属于同一区域的像素点集,并合并属于同一区域的连通像素点集;将合并得到的连通像素点集对应的区域作为所述目标图像的感兴趣区域。
9.一种图像分割装置,其特征在于,包括:
感兴趣区域划分模块,用于获取包含血管区域的待分割图像,并将所述待分割图像作为目标图像,使用权利要求1-4任一项所述的图像感兴趣区域划分方法对所述待分割图像进行划分,得到所述待分割图像的若干个感兴趣区域;
感兴趣区域分割模块,用于使用预设分割算法对所述若干个感兴趣区域进行分割,得到若干个分割结果;
分割结果评价模块,用于基于预设评价指标对所述分割结果进行评价,得到最优图像分割结果。
10.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-7任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-7任一项所述的方法。
CN202010096550.3A 2020-02-18 2020-02-18 一种图像感兴趣区域划分方法、图像分割方法及装置 Active CN110929728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010096550.3A CN110929728B (zh) 2020-02-18 2020-02-18 一种图像感兴趣区域划分方法、图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010096550.3A CN110929728B (zh) 2020-02-18 2020-02-18 一种图像感兴趣区域划分方法、图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN110929728A true CN110929728A (zh) 2020-03-27
CN110929728B CN110929728B (zh) 2020-05-12

Family

ID=69854855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010096550.3A Active CN110929728B (zh) 2020-02-18 2020-02-18 一种图像感兴趣区域划分方法、图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN110929728B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767920A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 感兴趣区域的提取方法、装置、电子设备及存储介质
CN112232178A (zh) * 2020-10-13 2021-01-15 重庆紫光华山智安科技有限公司 基于人像聚档的区域落脚点判定方法、系统、设备及介质
CN113344842A (zh) * 2021-03-24 2021-09-03 同济大学 一种超声图像的血管标注方法
CN114638774A (zh) * 2020-12-01 2022-06-17 珠海碳云智能科技有限公司 图像数据处理方法及装置、非易失性存储介质
CN114880731A (zh) * 2022-07-08 2022-08-09 南京欧格节能环保科技有限公司 适用于pvc智能生产线的数据处理方法及装置
WO2023280197A1 (zh) * 2021-07-07 2023-01-12 上海商汤智能科技有限公司 图像处理方法及相关装置、电子设备、存储介质和程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360495A (zh) * 2011-10-19 2012-02-22 西安电子科技大学 基于平均密度投影和平移高斯模型的肺结节分割方法
CN109377481A (zh) * 2018-09-27 2019-02-22 上海联影医疗科技有限公司 图像质量评价方法、装置、计算机设备和存储介质
CN109934126A (zh) * 2019-02-25 2019-06-25 北方工业大学 车辆尾烟检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360495A (zh) * 2011-10-19 2012-02-22 西安电子科技大学 基于平均密度投影和平移高斯模型的肺结节分割方法
CN109377481A (zh) * 2018-09-27 2019-02-22 上海联影医疗科技有限公司 图像质量评价方法、装置、计算机设备和存储介质
CN109934126A (zh) * 2019-02-25 2019-06-25 北方工业大学 车辆尾烟检测方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767920A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 感兴趣区域的提取方法、装置、电子设备及存储介质
CN111767920B (zh) * 2020-06-30 2023-07-28 北京百度网讯科技有限公司 感兴趣区域的提取方法、装置、电子设备及存储介质
CN112232178A (zh) * 2020-10-13 2021-01-15 重庆紫光华山智安科技有限公司 基于人像聚档的区域落脚点判定方法、系统、设备及介质
CN114638774A (zh) * 2020-12-01 2022-06-17 珠海碳云智能科技有限公司 图像数据处理方法及装置、非易失性存储介质
CN114638774B (zh) * 2020-12-01 2024-02-02 珠海碳云智能科技有限公司 图像数据处理方法及装置、非易失性存储介质
CN113344842A (zh) * 2021-03-24 2021-09-03 同济大学 一种超声图像的血管标注方法
WO2023280197A1 (zh) * 2021-07-07 2023-01-12 上海商汤智能科技有限公司 图像处理方法及相关装置、电子设备、存储介质和程序
CN114880731A (zh) * 2022-07-08 2022-08-09 南京欧格节能环保科技有限公司 适用于pvc智能生产线的数据处理方法及装置
CN114880731B (zh) * 2022-07-08 2022-09-16 南京欧格节能环保科技有限公司 适用于pvc智能生产线的数据处理方法及装置

Also Published As

Publication number Publication date
CN110929728B (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN110929728B (zh) 一种图像感兴趣区域划分方法、图像分割方法及装置
CN111127466B (zh) 医学图像检测方法、装置、设备及存储介质
CN109741346B (zh) 感兴趣区域提取方法、装置、设备及存储介质
CN108010021B (zh) 一种医学图像处理系统和方法
Tang et al. A two-stage approach for automatic liver segmentation with Faster R-CNN and DeepLab
CN110472616B (zh) 图像识别方法、装置、计算机设备及存储介质
CN107045721B (zh) 一种从胸部ct图像中提取肺血管的方法及装置
EP3635682B1 (en) Systems and methods for analysis of heterotopic ossification in 3d images
CN107480644B (zh) 眼底图像中视盘的定位与分割方法、装置和存储介质
CN111598853B (zh) 针对肺炎的ct影像评分方法、装置及设备
US7394933B2 (en) Region competition via local watershed operators
Hiremath et al. Automatic detection of follicles in ultrasound images of ovaries using edge based method
CN105389821B (zh) 一种基于云模型和图割相结合的医学图像分割方法
Ribeiro et al. Handling inter-annotator agreement for automated skin lesion segmentation
CN115760858B (zh) 基于深度学习的肾脏病理切片细胞识别方法及系统
CN114332132A (zh) 图像分割方法、装置和计算机设备
WO2022247573A1 (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
CN102419864B (zh) 一种提取脑部ct图像骨骼方法及装置
Cao et al. Automatic segmentation of pathological glomerular basement membrane in transmission electron microscopy images with random forest stacks
CN111401102B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
Ratheesh et al. Advanced algorithm for polyp detection using depth segmentation in colon endoscopy
CN104835155A (zh) 基于分形的早期乳腺癌钙化点计算机辅助检测方法
CN113537408A (zh) 一种超声图像处理方法、装置、设备及存储介质
Purnama et al. Follicle detection on the usg images to support determination of polycystic ovary syndrome

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant