CN111968728B - 一种图像的处理方法和处理设备 - Google Patents

一种图像的处理方法和处理设备 Download PDF

Info

Publication number
CN111968728B
CN111968728B CN201910419065.2A CN201910419065A CN111968728B CN 111968728 B CN111968728 B CN 111968728B CN 201910419065 A CN201910419065 A CN 201910419065A CN 111968728 B CN111968728 B CN 111968728B
Authority
CN
China
Prior art keywords
image
points
images
network
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910419065.2A
Other languages
English (en)
Other versions
CN111968728A (zh
Inventor
石磊
倪浩
郑永升
魏子昆
华铱炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yitu Healthcare Technology Co ltd
Original Assignee
Hangzhou Yitu Healthcare Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yitu Healthcare Technology Co ltd filed Critical Hangzhou Yitu Healthcare Technology Co ltd
Priority to CN201910419065.2A priority Critical patent/CN111968728B/zh
Publication of CN111968728A publication Critical patent/CN111968728A/zh
Application granted granted Critical
Publication of CN111968728B publication Critical patent/CN111968728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及一种图像的处理方法和处理设备,所述处理方法包括:获取第一组图像,第一组图像能够用于重建包括关注对象的3D图像;将第一组图像转换为第二图像,第二图像为2D图像且包括所述关注对象;在显示界面上的不同区域中分别同时显示第一组图像中的至少一幅图像和第二图像,并在至少一幅图像和第二图像中的对应的指定部位处呈现相同标记。本公开所提供的图像的处理方法和处理设备能够自动、准确的根据能够用于重建包括关注对象的3D图像的第一组图像生成2D图像,并且在显示界面的不同区域分别同时显示第一组图像中的图像和第二图像,使得医生能够清晰且直观的察看关注对象的情况,提高了医生的诊断效率和诊断准确率。

Description

一种图像的处理方法和处理设备
技术领域
本公开大体涉及图像处理和分析。更具体地,本公开涉及一种图像的处理方法和处理设备。
背景技术
在根据图像诊断骨折的过程中,快速发现并定位骨折位置是非常重要的,例如,根据肋骨图像查看发生骨折的是第几肋骨并定位骨折的相对位置。
目前,从一系列具有空间对应关系的2D图像(例如2D的CT切片图像、MR切片图像)视图在3D维度上上观察骨折情况需要逐帧观察图像,并细数骨头序号,过程较为繁琐,耗费的时间较长,使得医生的诊断效率较低。
提出了本公开的技术方案以解决以上问题。
发明内容
本公开意图提供一种图像的处理方法和处理设备,其能够自动、准确的根据能够用于重建包括关注对象的3D图像的第一组图像生成2D图像,并且在显示界面的不同区域分别同时显示第一组图像中的图像和第二图像,使得医生能够清晰、直观且多层次地察看关注对象的情况,提高了医生的诊断效率和诊断准确率。
根据本公开的第一方案,提供一种图像的处理方法,所述处理方法包括:获取第一组图像,所述第一组图像能够用于重建包括关注对象的3D图像;将所述第一组图像转换为第二图像,所述第二图像为2D图像且包括所述关注对象;在显示界面上的不同区域中分别同时显示所述第一组图像中的至少一幅图像和所述第二图像,并在所述至少一幅图像和所述第二图像中的对应的指定部位处呈现相同标记。
在一些实施例中,将所述第一组图像转换为第二图像包括:获取第一组图像中的关注对象的一组定位点;基于所述关注对象的一组定位点初始化包络网;对所述包络网进行迭代计算,以得到目标包络网,使得所述目标包络网包裹住所述一组定位点的第一预设比例,并且所述一组定位点中第二预设比例的定位点每个被所述目标包络网上的至少一个点贴合;确定所述第一组图像中与所述目标包络网上的点对应的像素,基于所述第一组图像中的对应像素所在区域的强度值,来确定所述目标包络网上的点的强度值;基于所述目标包络网与第二图像之间的映射关系和所述目标包络网上的各个点的强度值来获得所述第二图像,所述第二图像为2D图像。
在一些实施例中,基于所述关注对象的一组定位点初始化包络网包括:基于所述关注对象的定位点确定中心轴;以所述中心轴上的各个点为圆心建立第一圆,所述第一圆的半径基于相应切面中的定位点来确定,使得所述相应切面中的各个定位点均位于所述第一圆内;在所述第一圆上设置数个初始点;连接相邻的初始点。
在一些实施例中,对所述包络网进行迭代计算包括:基于所述包络网上的各个点和所述关注对象的一组定位点确定相对偏移向量;利用所述相对偏移向量将所述包络网上的各个点向所述关注对象的各个定位点进行偏移;在迭代至包络网上的各个点的偏移距离小于预设阈值时,得到目标包络网。
在一些实施例中,基于所述包络网上的各个点和所述关注对象的一组定位点确定相对偏移向量包括:
基于所述包络网上的点和与所述点的距离最小的所述关注对象的定位点确定第一相对偏移向量;基于所述包络网上的点和与所述点相邻的各个点确定重心,基于所述重心和所述包络网上的点确定第二相对偏移向量;将所述第一相对偏移向量和所述第二相对偏移向量叠加以得到所述相对偏移向量。
在一些实施例中,所述处理方法还包括:接收对于指定部位的用户输入,其中,所述关注对象包括肋骨,所述指定部位包括第n对肋骨和肋骨上的第m个病变点中的至少一个,n为1到12中的任何一个自然数,m为自然数,所述病变点包括骨折点。
在一些实施例中,所述处理方法还包括:接收用户对所显示的所述第二图像中指定部位的选中操作;基于所选中的指定部位,在所述第一图像组中确定所述至少一幅图像中的相应图像以供显示。
根据本公开的第二方案,提供了一种图像的处理设备,所述图像的处理设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器执行所述计算机可执行指令时,实现根据本公开中任何一项所述的图像的处理方法。
根据本公开的第三方案,还提供了一种图像的处理设备,所述处理设备包括:获取单元,其配置为获取第一组图像,所述第一组图像能够用于重建包括关注对象的3D图像;转换单元,其配置为将所述第一组图像转换为第二图像,所述第二图像为2D图像且包括所述关注对象;呈现单元,其配置为在显示界面上的不同区域中分别同时显示所述第一组图像中的至少一幅图像和所述第二图像,并在所述至少一幅图像和所述第二图像中的对应的指定部位处呈现相同标记。
在一些实施例中,所述获取单元包括:定位点获取单元,其配置为获取第一组图像中的关注对象的一组定位点;所述转换单元包括:初始化单元:其配置为基于所述关注对象的一组定位点初始化包络网;迭代计算单元:其配置为对所述包络网进行迭代计算,以得到目标包络网,使得所述目标包络网包裹住所述一组定位点的第一预设比例,并且所述一组定位点中第二预设比例的定位点每个被所述目标包络网上的至少一个点贴合;像素确定单元,其配置为确定所述第一组图像中与所述目标包络网上的点对应的像素,基于所述第一组图像中的对应像素所在区域的强度值,来确定所述目标包络网上的点的强度值;图像获取单元,其配置为于所述目标包络网与第二图像之间的映射关系和所述目标包络网上的各个点的强度值来获得所述第二图像,所述第二图像为2D图像。
本公开的各种实施例的图像的处理方法和处理设备,能够自动、准确的根据能够用于重建包括关注对象的3D图像的第一组图像生成2D图像,并且在显示界面的不同区域分别同时显示第一组图像中的图像和第二图像,使得医生能够清晰、直观且多层次地察看关注对象的情况,提高了医生的诊断效率和诊断准确率。
应当理解,前面的大体描述以及后续的详细描述只是例示性的和说明性的,并非对所要求保护的本发明的限制。
附图说明
在未必按照比例绘制的附图中,不同视图中相似的附图标记可以表示相似的构件。具有字母后缀的相似附图标记或具有不同字母后缀的相似附图标记可以表示相似构件的不同实例。附图通常作为示例而非限制地图示各种实施例,并且与说明书和权利要求书一起用于解释所公开的实施例。
图1示出根据本公开实施例的图像的处理方法的流程图;
图2示出根据本公开实施例的显示界面的示意图;
图3示出根据本公开实施例的将第一组图像转换为第二图像的方法的流程图;
图4(a)-4(d)示出了利用根据本公开实施例的处理方法对一组肋骨的2D切片图像进行处理后得到一张肋骨的2D图像的过程的示意图;
图5示出根据本公开实施例的初始化包络网的方法的流程图;
图6示出根据本公开实施例的初始化后的包络网的结构示意图;
图7示出根据本公开的对包络网进行迭代计算的方法的一个具体实施例的流程图;
图8(a)-8(c)示出根据本公开实施例的对包络网进行迭代计算的过程的示意图;
图9示出根据本公开实施例的图像的处理设备的框图;
图10示出根据本公开实施例的图像的处理设备的示意性框图;
图11示出根据本公开的图像的处理设备的一个具体实施例的框图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外定义,本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
为了保持本公开实施例的以下说明清楚且简明,本公开省略了已知功能和已知部件的详细说明。
图1示出根据本公开实施例的图像的处理方法的流程图,在本文中,第一组图像可以包括但不限于一组2D的CT切片图像、2D的MR切片图像等,其中,第一组图像中的各个图像之间具有一定空间位置关系,以使能够根据第一组图像重建包括关注对象的3D图像。关注对象可以包括但不限于肋骨、腰椎、颈椎等。本公开的实施例以第一组图像为一组肋骨的2D切片图像为例,但本公开不限于此。
如图1所示,本公开提供了一种图像的处理方法,该处理方法始于步骤S101,获取第一组图像,第一组图像能够用于重建包括关注对象的3D图像。在一些实施例中,可以利用现有的医学成像设备来获取第一组图像,例如计算机断层扫描成像设备(CT)、核磁共振成像设备(MRI)等。在一些实施例中,也可以经由通信接口来获取由所述医学成像设备所采集的所述第一组图像,等等。
在步骤S102,将第一组图像转换为第二图像,第二图像为2D图像且包括关注对象。具体是说来,根据第一组图像中的各个图像之间的空间位置关系以及各个图像上的像素的强度值,可以将第一组图像转换为一张包含关注对象的2D的第二图像,例如将一系列的肋骨的CT切片图像转换成一张肋骨的2D图像,得到的肋骨的2D图像上包含一系列的肋骨的CT切片图像上的所有肋骨。可以采用各种不同方式来实现步骤S102。在下文中给出了经由包络网来将第一组图像转换为第二图像的示例(在此暂不赘述),但并不限于此。在一些实施例中,可以根据第一组图像中的各个图像以及各个图像之间的空间位置关系来建立像素的三维空间数组,可以利用计算机视觉中的例如透视投影变换来将第一组图像转换成2D的第二图像。步骤S102可以避免现有技术中通常基于所述第一组图像的3D重建,不依赖于3D重建,而是由2D的第二图像来呈现关注对象的全景,从而在减少资源消耗、加快运算速度乃至降低对显示硬件的要求(可以无需3D渲染)的同时,能够让医师能方便直观地查看关注对象的状况。
在步骤S103,在显示界面上的不同区域中分别同时显示第一组图像中的至少一幅图像和第二图像,并在至少一幅图像和第二图像中的对应的指定部位处呈现相同标记。如此,可以使医生能够在第二图像上清晰且直观的观察到关注对象的全局情况,例如标记出的骨折大致位于第几肋。在一些实施例中,显示界面的另一区域同时显示的第一组图像中的至少一幅图像可以为与第二图像中标记的指定部位对应的图像,例如该指定部位所涉及的图像,如此,医生可以根据该图像察看到该指定部位的局部的详细情况,以提高医生的诊断准确率。
图2示出根据本公开实施例的显示界面的示意图,如图2所示,第一组图像为一组肋骨的CT切片图像,第二图像为根据一组肋骨的CT切片图像转换得到的一张肋骨的2D图像。在显示界面中的第一区域中显示肋骨的2D图像,而在显示界面中与第一区域不同的第二区域中显示至少一幅肋骨的CT切片图像。医生可以在显示界面的第一区域显示的第二图像上察看到第二对肋骨上例如以圆形标记的骨折位置,在第二区域显示的与第二对肋骨对应的一张肋骨CT切片图像上察看到同样以圆形标记所标记的该骨折位置处的具体情况。在一些实施例中,在显示界面的主要区域中仅仅显示肋骨的2D图像和与相应骨折位置关联的肋骨的CT切片图像,而其他CT切片图像则可以以缩略图的形式显示在侧部,以供医生进一步选择和参考。如此可以提高对显示界面的利用效率,在向医生提供与骨折位置相关的肋骨的多层次(全局层次和局部层次)信息的同时,也提供了相应操作灵活度,以便医生按需手动引入并呈现肋骨的CT切片图像以进行人工复核。
本公开的实施例所提供的图像的处理方法能够自动、准确的根据能够用于重建包括关注对象的3D图像的第一组图像生成2D图像,并且在显示界面的不同区域分别同时显示第一组图像中的图像和第二图像,使得医生能够清晰、直观且多层次地察看关注对象的情况,提高了医生的诊断效率和诊断准确率。
图3示出根据本公开实施例的将第一组图像转换为第二图像的方法的流程图,如图3所示,该方法始于步骤S301,获取第一组图像中的关注对象的一组定位点。第一组图像中的各个图像之间具有一定空间位置关系,可以根据第一组图像重建包括关注对象的3D图像,获取的关注对象的一组定位点至少能够在三维空间中描绘出关注对象的大致形状。
在步骤S302,基于关注对象的一组定位点初始化包络网。具体说来,初始化包络网包括:首先基于关注对象的定位点确定中心轴,然后根据确定的中心轴和一组定位点确定包络网上的各个点,连接相邻的各个点,点和连接边构成初始化后的包络网,初始化后的包络网至少包裹住一组定位点中的部分定位点,并且初始化后的包络网上的各个点与包裹住的定位点之间存在一定的距离。具体的,初始化包络网的方法有多种,初始化后的包络网的形状可以为圆柱体、长方体、锥形体等,在此不做具体限定。
在步骤S303,对包络网进行迭代计算,以得到目标包络网,使得目标包络网包裹住一组定位点的第一预设比例(下文中也称为“第一组定位点”),并且所述一组定位点中第二预设比例的定位点(下文中也称为“第二组定位点”)每个被目标包络网上的至少一个点贴合。具体的,对包络网进行迭代计算,使得包络网上的各个点向距离各个点最近的关注对象的定位点逐渐偏移,经过迭代计算后得到的目标包络网包裹住这组定位点中第一预设比例的定位点,并且在这组定位点中第二预设比例的定位点中的每个定位点被目标包络网上的至少一个点贴合,如此,使得可以根据目标包络网准确的绘制出关注对象。具体说来,第一预设比例和第二预设比例可以为数值也可以为数值范围,第一预设比例和第二预设比例可以是相同的比例或同一比率,且可以由用户自行设定和/或调整。例如,第一预设比例可以设置为90%以上,第二预设比例可以设置为85%以上,等等。
在步骤S304,确定第一组图像中与目标包络网上的点对应的像素,基于第一组图像中的对应像素所在区域的强度值,来确定目标包络网上的点的强度值。具体说来,可以根据第一组图像中的各个图像以及各个图像之间的空间位置关系来建立像素的三维空间数组,第一组图像中的各个像素的坐标值均为整数,目标包络网上的各个点的坐标值可能为整数,也可能为非整数,在一些实施例中,如目标包络网上的点的坐标值为非整数,可以将所建立的像素的三维空间数组中与该点距离最小的像素作为与该点对应的像素,也可以对所建立的像素的三维空间数组进行处理,以得到与该点对应的像素。具体的,在确定第一组图像中与目标包络网上的各个点对应的像素后,根据确定的对应像素划定区域,该区域可以为根据对应像素划定的二维空间上的区域,也可以为根据对应像素和所建立的像素的三维空间数组划定的三维空间上的区域,基于该区域内的各个像素的强度值来确定与对应像素对应的目标包络网上的点的强度值,其中,确定目标包络网上的各个点的强度值的方法有多种,在此不做具体限定。
在步骤S305,基于目标包络网与第二图像之间的映射关系和目标包络网上的各个点的强度值来获得第二图像,第二图像为2D图像,如此,不需要对第一组图像进行三维重建来察看关注对象的情况,耗时较短,且节省资源。在一些实施例中,可以对目标包络网进行平铺,根据目标包络网上的各个点的强度值对平铺后的目标包络网进行绘制,得到第二图像,第二图像的像素与目标包络网上的点一一对应。在一些实施例中,还可以在根据目标包络网上的各个点的强度值对平铺后的目标包络网进行绘制后,将绘制后的图像乘以一个映射矩阵,以得到不同尺寸的第二图像。在一些实施例中,还可以通过插值算法对绘制后的图像上的各个像素进行插值,以得到较大尺寸的第二图像。具体说来,用户可以根据实际的显示需求来确定第二图像的尺寸。
图4(a)-4(d)示出了利用根据本公开实施例的处理方法对一组肋骨的2D切片图像进行处理后得到一张肋骨的2D图像的过程的示意图,图4(a)为根据一组肋骨的2D切片图像获取的肋骨的一组定位点,图4(b)为对包络网进行初始化,对初始化后的包络网进行迭代计算后得到目标包络网(如图4(c)所示),最后,在根据第一组图像中的对应像素所在区域的强度值确定目标包络网上的各个点的强度值后,基于目标包络网与第二图像之间的映射关系和目标包络网上的各个点的强度值对第二图像进行绘制,得到一张肋骨的2D图像(如图4(d)所示),从肋骨的2D图像上,医生能够清晰且直观的观察到各个肋骨的情况以及发生骨折的位置(如图4(d)中的圆圈所示),相较于目前的从一组肋骨的2D切片图像上逐帧观察肋骨的情况,花费的时间较少,能够提高医生的诊断效率。
图5示出根据本公开实施例的初始化包络网的方法的流程图,如图5所示,初始化包络网的方法始于步骤S501,基于关注对象的定位点确定中心轴。具体说来,基于关注对象的定位点确定中心轴的方法有多种。在一些实施例中,可以将关注对象的一组定位点全部投影在XY平面上,计算投影定位点的平均值,确定各个投影定位点中与该平均值的距离较大的投影定位点,选取与该平均值的距离最大的三个投影定位点并基于这三个投影定位点建立外接圆柱,将该外接圆柱的中心轴作为包络网的中心轴。在一些实施例中,还可以选取与该平均值的距离最大的四个投影定位点并基于这四个投影定位点建立外接长方体,将外接长方体的中心轴作为包络网的中心轴。在一些实施例中,还可以计算各个定位点在XY平面上的坐标和,对坐标和求平均,基于平均后的坐标对应的点建立将所有定位点包裹在内的几何体(例如但不限于包络网的外接圆柱、外接长方体等)的中心轴,作为包络网的中心轴。
在步骤S502,以中心轴上的各个点为圆心建立第一圆,第一圆的半径基于相应切面中的定位点来确定,使得相应切面中的各个定位点均位于第一圆内。具体说来,中心轴为Z轴方向上的轴,首先,可以在中心轴上等距离的设置数个点,将各个点分别作为数个第一圆的圆心,找到中心轴上的各个点所在的XY平面上的定位点,选取各个定位点中与第一圆的圆心距离较大的定位点来确定第一圆的半径。在一些实施例中,可以选取与第一圆的圆心距离最大的三个定位点,并基于这三个定位点建立外接圆,将该外接圆的半径作为第一圆的半径。在一些实施例中,还可以选取各个定位点中与第一圆的圆心距离较大的几个定位点来建立其他几何图形,只要保证在该圆心所在的XY轴方向上的相应切面上的所有定位点均位于所建立的第一圆内即可。
在步骤S503,在第一圆上设置数个初始点。具体的,可以在第一圆上等距离的设置数个初始点,其中,初始点的个数至少大于位于第一圆内的定位点的数量。
在步骤S504,连接相邻的初始点。具体的,将与各个点上下相邻以及左右相邻的点分别与各个点进行连接,点和连接边构成初始化后的包络网。
图6示出根据本公开实施例的初始化后的包络网的结构示意图,如图6所示,初始化后的包络网(网格状图形)基本包裹住整个关注对象且与关注对象存在一定的距离,第一组定位点位于初始化的包络网上或以内。
在一些实施例中,对包络网进行迭代计算,包括:基于包络网上的各个点和关注对象的一组定位点确定相对偏移向量;利用相对偏移向量将包络网上的各个点向关注对象的各个定位点进行偏移;在迭代至包络网上的各个点的偏移距离小于预设阈值时,得到目标包络网。具体说来,相对偏移向量用于将包络网上的点向与该点距离最小的关注对象上的定位点进行偏移,并且,在偏移过程中,相对偏移向量能够保持包络网上的各个点之间的相对位置关系,不会造成包络网的结构在迭代计算的过程中出现严重扭曲、折叠等情况。
图7示出根据本公开的对包络网进行迭代计算的方法的一个具体实施例的流程图,如图7所示,对包络网进行迭代计算的方法始于步骤S701,基于初始化后的包络网上的点和与该点的距离最小的关注对象的定位点确定第一相对偏移向量,具体说来,第一相对偏移向量用于引导包络网上的点向与该点的距离最小的关注对象的定位点靠近。
在步骤S702,基于初始化后的包络网上的点和与该点相邻的各个点确定重心,基于重心和初始化后的包络网上的点确定第二相对偏移向量。具体说来,可以根据包括初始化后的包络网上的点在内和与该点左右相邻以及上下相邻的各个点确定重心,然后计算该点向与其对应的重心偏移的第二相对偏移向量,具体的,第二相对偏移向量用于保持包络网上的各个点之间的相对位置关系,以防止在包络网上的点向与该点的距离最小的关注对象的定位点进行偏移的过程中,包络网的结构出现严重扭曲、折叠等情况。
在步骤S703,对第一相对偏移向量和第二相对偏移向量进行叠加,以获得相对偏移向量。具体说来,还可以在第一相对偏移向量和第二相对偏移向量进行叠加的过程中,分别给第一相对偏移向量和第二相对偏移向量赋予相应的系数,以使包络网上的各个点能够较好的收敛,从而得到目标包络网。
在步骤S704,利用相对偏移向量将初始化后的包络网上的点向一组定位点中与该点的距离最小的定位点进行偏移,得到第二包络网。
在步骤S705,判断第二包络网上的点的偏移距离是否小于预设阈值,如否,则重复步骤S701至S704,如是,则进入步骤S706。
在步骤S706,停止迭代计算,得到目标包络网。
具体的,可以根据相对偏移向量确定包络网上的点的偏移距离,在一些实施例中,可以对计算出的包络网上的各个点的偏移距离进行平均,在偏移距离的平均值小于预设阈值时,停止对包络网进行迭代计算,得到目标包络网。具体说来,所设定的预设阈值较小,以使一组定位点中的每个定位点至少被目标包络网上的至少一个点贴合。
图7所示的流程仅仅作为示例,在其他实施例中图7中的一些步骤可以被省去或者替代。例如,相对偏移向量可以采用第一相对偏移向量和第二相对偏移向量的叠加来计算,也可以采用其他的计算方法,例如但不限于直接采用第一相对偏移向量,也可以对所述第二相对偏移向量乘以系数以进行调整,等等。再例如,步骤S704中,也可以调整每次偏移的步长,以避免包络网的不当变形,例如扭曲、折叠等情况。
图8(a)-8(c)示出根据本公开实施例的对包络网进行迭代计算的过程的示意图,网格状图形表示包络网,图8(a)为初始化后的包络网,通过迭代计算,使得包络网上的点向与该点距离最小的关注对象上的定位点逐渐偏移,在迭代至包络网上的点的偏移距离小于预设阈值时,停止迭代计算,得到目标包络网(如图8(c)所示),其中,第二组定位点中的每个定位点被目标包络网上的至少一个点贴合,使得可以根据目标包络网绘制出关注对象。
在一些实施例中,可以通过对基于第一组图像所建立的像素三维空间数组中的各个像素进行处理,来确定与目标包络网上的各个点对应的像素,处理方法包括多种,例如插值。具体说来,基于第一组图像中的对应像素所在区域的强度值来确定目标包络网上的点的强度值的方法可以有多种,在此不做具体限定。
在一些实施例中,处理方法还可以包括:接收对于指定部位的用户输入,其中,关注对象包括肋骨,指定部位包括第n对肋骨和肋骨上的第m个病变点中的至少一个,n为1到12中的任何一个自然数,m为自然数,病变点包括骨折点。具体说来,第二图像为肋骨的2D图像,在得到第二图像后对图像中的各对肋骨进行序号标记,并标记出骨折位置,如图2所示,用户可以通过显示界面上经由菜单、虚拟按键的方式,来选择要察看的指定部位,例如第几对肋骨、发生骨折的位置等。显示界面可以响应对于指定部位的用户输入,在第二区域显示第一组图像中包含该指定部位的至少一幅图像,且在第二区域显示的图像上标记出对应的指定部位,用户可以在第二图像上察看到指定部位的全局大致情况,并在第二区域显示的图像上察看到指定部位的局部的详细情况,以便作出更准确的诊断结果。
在一些实施例中,处理方法还包括:接收用户对所显示的第二图像中指定部位的选中操作;基于所选中的指定部位,在第一图像组中确定至少一幅图像中的相应图像以供显示。具体说来,用户可以在显示的第二图像中自行选择想要察看的指定部位,例如可以通过选择框拖曳、或者点击操作等来执行该选择操作。可以根据用户的选择操作所选中的指定部位,在第一图像中确定出与该指定部位对应的至少一幅图像,并在显示界面的第二区域显示确定出的图像。如此,提供用户友好度更高的交互操作,提升用户的使用体验,同时向用户更针对性地呈现其所需的关注对象的多层次信息。
图9示出根据本公开实施例的图像的处理设备900的框图,如图9所示,本公开还提供了一种图像的处理设备900,该图像处理设备包括存储器910和处理器920,存储器910上存储有计算机可执行指令,处理器执行计算机可执行指令时,实现根据本公开中任何一项所述的图像的处理方法。具体说来,图像的处理设备900还包括通信接口930,通信接口930配置为接收第一组图像,第一组图像可以为从任何成像设备(例如CT、MRI等)获取的一系列的2D切片图像,并且第一组图像包括关注对象,第一组图像能够用于重建包括该关注对象的3D图像。
在一些实施例中,处理器920可以是包括一个以上通用处理设备的处理设备,诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,该处理器920可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器920还可以是一个以上专用处理设备,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器920可以通信地耦合到存储器910并且被配置为执行存储在其上的计算机可执行指令,以执行诸如根据本公开各种实施例的图像的处理方法。
在一些实施例中,存储器910可以是非暂时性计算机可读的介质,诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备,或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。
在一些实施例中,通信接口930可以包括网络适配器、电缆连接器、串行连接器,USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB 3.0、雷电接口等)、无线网络适配器(诸如WiFi适配器)、电信(3G、4G/LTE等)适配器等。处理设备900可以通过通信接口930连接到其他构件,例如医学图像数据库、CT系统等。
在一些实施例中,计算机可执行指令可以实现为多个程序模块,多个程序模块共同实现根据本公开中任何一项所述的图像的处理方法。
在一些实施例中,上述处理设备900可以采用各种方式整合在图像的现有处理平台上。例如,可以在肋骨图像的现有处理平台上利用开发接口编写上述程序模块,从而实现与现有处理平台的兼容及对其的更新,从而降低实现该处理方法的硬件成本,更有助于该处理方法和装置的推广和应用。
图10示出根据本公开实施例的图像的处理设备100的框图,如图10所示,本公开还提供了一种图像的处理设备100,该处理设备100包括:获取单元110,其配置为获取第一组图像,第一组图像能够用于重建包括关注对象的3D图像;转换单元120,其配置为将第一组图像转换为第二图像,第二图像为2D图像且包括关注对象;呈现单元130,其配置为在显示界面上的不同区域中分别同时显示第一组图像中的至少一幅图像和第二图像,并在至少一幅图像和第二图像中的对应的指定部位处呈现相同标记。具体说来,转换单元120在将第一组图像转换成第二图像后,还对第二图像上的关注对象进行标记,例如标记出骨折位置,呈现单元130在显示界面上的不同区域分别同时显示第二图像和第一组图像中的图像,其中,第一组图像可以为与第二图像中的标记出的指定部位对应的图像,并且在第二区域显示的第一组图像中的图像上也呈现出对指定部位的相同标记,以使医生可以根据显示界面上显示的图像作出更准确的诊断结果。
本公开的实施例所提供的图像的处理设备100能够自动、准确的根据能够用于重建包括关注对象的3D图像的第一组图像生成2D图像,并且在显示界面的不同区域分别同时显示第一组图像中的图像和第二图像,使得医生能够清晰、直观且多层次地察看关注对象的情况,提高了医生的诊断效率和诊断准确率。
在一些实施例中,如图11所示,获取单元110包括:定位点获取单元111,其配置为获取第一组图像中的关注对象的一组定位点,其中,获取的关注对象的一组定位点至少能够在三维空间中描绘出关注对象的大致形状;转换单元120包括:初始化单元121,其配置为基于关注对象的一组定位点初始化包络网,初始化后的包络网至少包裹住一组定位点中的部分定位点;迭代计算单元122,其配置为对包络网进行迭代计算,以得到目标包络网,使得目标包络网包裹住一组定位点的第一预设比例,并且所述一组定位点中第二预设比例的定位点每个被目标包络网上的至少一个点贴合,以使可以根据目标包络网准确的绘制出关注对象;像素确定单元123,其配置为确定第一组图像中与目标包络网上的点对应的像素,基于第一组图像中的对应像素所在区域的强度值,来确定目标包络网上的点的强度值,其中,对应像素所在区域可以为根据对应像素划定的二维空间上的区域,也可以为根据对应像素和所建立的像素的三维空间数组划定的三维空间上的区域;图像获取单元124,其配置为于目标包络网与第二图像之间的映射关系和目标包络网上的各个点的强度值来获得第二图像,第二图像为2D图像。第一预设比例和第二预设比例的定义和范围参见图1的相应描述,在此不赘述。
本公开描述了各种操作或功能,其可以实现为软件代码或指令或者定义为软件代码或指令。图10和图11中所示的各个单元可以实现为在存储器上存储的软件代码或指令模块,其由处理器执行时可以实现相应的步骤和方法。
这样的内容可以是可以直接执行(“对象”或“可执行”形式)的源代码或差分代码(“delta”或“patch”代码)。这里描述的实施例的软件实现可以通过其上存储有代码或指令的制品提供,或者通过操作通信接口以通过通信接口发送数据的方法提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作,并且包括以可由机器(例如,计算装置、电子系统等)访问的形式存储信息的任何机制,例如可记录/不可记录介质(例如,只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)。通信接口包括与硬连线、无线、光学等介质中的任何一种接口以与其他装置通信的任何机制,例如存储器总线接口、处理器总线接口、因特网连接、磁盘控制器等。通信接口可以通过提供配置参数和/或发送信号来配置以准备通信接口,以提供描述软件内容的数据信号。可以通过向通信接口发送一个或多个命令或信号来访问通信接口。
本公开的实施例的计算机可执行指令可以组织成一个或多个计算机可执行组件或模块。可以用这类组件或模块的任何数量和组合来实现本公开的各方面。例如,本公开的各方面不限于附图中示出的和本文描述的特定的计算机可执行指令或特定组件或模块。其他实施例可以包括具有比本文所示出和描述的更多或更少功能的不同的计算机可执行指令或组件。
以上描述旨在是说明性的而不是限制性的。例如,上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外,在上述具体实施方式中,各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反,本公开的主题可以少于特定的公开的实施例的全部特征。从而,以下权利要求书作为示例或实施例在此并入具体实施方式中,其中每个权利要求独立地作为单独的实施例,并且考虑这些实施例可以以各种组合或排列彼此组合。本公开的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本公开的示例性实施例,不用于限制本公开,本公开的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内,对本公开做出各种修改或等同替换,这种修改或等同替换也应视为落在本公开的保护范围内。

Claims (6)

1.一种图像的处理方法,其特征在于,所述处理方法包括:
获取第一组图像,所述第一组图像能够用于重建包括关注对象的3D图 像;
将所述第一组图像转换为第二图像,所述第二图像为2D图像且包括所 述关注对象;
在显示界面上的不同区域中分别同时显示所述第一组图像中的至少一幅图像和所述第二图像,并在所述至少一幅图像和所述第二图像中的对应的指定部位处呈现相同标记;
将所述第一组图像转换为第二图像包括:
获取第一组图像中的关注对象的一组定位点;
基于所述关注对象的一组定位点初始化包络网;
对所述包络网进行迭代计算,以得到目标包络网,使得所述目标包络网包裹住所述一组定位点的第一预设比例,并且所述一组定位点中第二预设比例的定位点每个被所述目标包络网上的至少一个点贴合;
确定所述第一组图像中与所述目标包络网上的点对应的像素,基于所述第一组图像中的对应像素所在区域的强度值,来确定所述目标包络网上的点的强度值;
基于所述目标包络网与第二图像之间的映射关系和所述目标包络网上的
各个点的强度值来获得所述第二图像,所述第二图像为2D图像;
对所述包络网进行迭代计算包括:
基于所述包络网上的各个点和所述关注对象的一组定位点确定相对偏移
向量;
利用所述相对偏移向量将所述包络网上的各个点向所述关注对象的各个定位点进行偏移;
在迭代至包络网上的各个点的偏移距离小于预设阈值时,得到目标包络网;
基于所述包络网上的各个点和所述关注对象的一组定位点确定相对偏移
向量包括:
基于所述包络网上的点和与所述点的距离最小的所述关注对象的定位点确定第一相对偏移向量;
基于所述包络网上的点和与所述点相邻的各个点确定重心,基于所述重心和所述包络网上的点确定第二相对偏移向量;
将所述第一相对偏移向量和所述第二相对偏移向量叠加以得到所述相对偏移向量。
2.根据权利要求1 所述的处理方法,其特征在于,基于所述关注对象的一组定位点初始化包络网包括:
基于所述关注对象的定位点确定中心轴;
以所述中心轴上的各个点为圆心建立第一圆,所述第一圆的半径基于相应切面中的定位点来确定,使得所述相应切面中的各个定位点均位于所述第一圆内;
在所述第一圆上设置数个初始点;
连接相邻的初始点。
3.根据权利要求1 所述的处理方法,其特征在于,所述处理方法还包括:
接收对于指定部位的用户输入,其中,所述关注对象包括肋骨,所述指定部位包括第n对肋骨和肋骨上的第m 个病变点中的至少一个,n 为1到12中的任何一个自然数,m 为自然数,所述病变点包括骨折点。
4.根据权利要求3 所述的处理方法,其特征在于,所述处理方法还包括:
接收用户对所显示的所述第二图像中指定部位的选中操作;
基于所选中的指定部位,在所述第一组图像中确定所述至少一幅图像中的相应图像以供显示。
5.一种图像的处理设备,其特征在于,所述处理设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器执行所述计算机可执行指令时,实现根据权利要求1-4中任何一项所述的图像的处理方法。
6.一种图像的处理设备,其特征在于,所述处理设备包括:
获取单元,其配置为获取第一组图像,所述第一组图像能够用于重建包括关注对象的3D图像;
转换单元,其配置为将所述第一组图像转换为第二图像,所述第二图像为2D图像且包括所述关注对象;
呈现单元,其配置为在显示界面上的不同区域中分别同时显示所述第一组图像中的至少一幅图像和所述第二图像,并在所述至少一幅图像和所述第二图像中的对应的指定部位处呈现相同标记;
所述获取单元包括:定位点获取单元,其配置为获取第一组图像中的关注对象的一组定位点;
所述转换单元包括:
初始化单元:其配置为基于所述关注对象的一组定位点初始化包络网;
迭代计算单元:其配置为对所述包络网进行迭代计算,以得到目标包络网,使得所述目标包络网包裹住所述一组定位点的第一预设比例,并且所述一组定位点中第二预设比例的定位点每个被所述目标包络网上的至少一个点贴合;
像素确定单元,其配置为确定所述第一组图像中与所述目标包络网上的点对应的像素,基于所述第一组图像中的对应像素所在区域的强度值,来确定所述目标包络网上的点的强度值;
图像获取单元,其配置为于所述目标包络网与第二图像之间的映射关系和所述目标包络网上的各个点的强度值来获得所述第二图像,所述第二图像为2D图像;
对所述包络网进行迭代计算包括:
基于所述包络网上的各个点和所述关注对象的一组定位点确定相对偏移向量;
利用所述相对偏移向量将所述包络网上的各个点向所述关注对象的各个定位点进行偏移;
在迭代至包络网上的各个点的偏移距离小于预设阈值时,得到目标包络网;
基于所述包络网上的各个点和所述关注对象的一组定位点确定相对偏移向量包括:
基于所述包络网上的点和与所述点的距离最小的所述关注对象的定位点确定第一相对偏移向量;
基于所述包络网上的点和与所述点相邻的各个点确定重心,基于所述重心和所述包络网上的点确定第二相对偏移向量;
将所述第一相对偏移向量和所述第二相对偏移向量叠加以得到所述相对偏移向量。
CN201910419065.2A 2019-05-20 2019-05-20 一种图像的处理方法和处理设备 Active CN111968728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910419065.2A CN111968728B (zh) 2019-05-20 2019-05-20 一种图像的处理方法和处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910419065.2A CN111968728B (zh) 2019-05-20 2019-05-20 一种图像的处理方法和处理设备

Publications (2)

Publication Number Publication Date
CN111968728A CN111968728A (zh) 2020-11-20
CN111968728B true CN111968728B (zh) 2024-03-08

Family

ID=73358168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910419065.2A Active CN111968728B (zh) 2019-05-20 2019-05-20 一种图像的处理方法和处理设备

Country Status (1)

Country Link
CN (1) CN111968728B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466312A (zh) * 2006-06-12 2009-06-24 株式会社日立医药 图像诊断辅助装置及图像诊断辅助程序
CN107154038A (zh) * 2016-04-22 2017-09-12 孔德兴 一种肋骨可视化的肋骨骨折辅助诊断方法
WO2017188559A1 (en) * 2016-04-29 2017-11-02 Im Technology.Co.,Ltd Method of image reconstruction in computed tomography
CN108038862A (zh) * 2017-12-11 2018-05-15 深圳市图智能科技有限公司 一种交互式医学图像智能分割建模方法
CN108320314A (zh) * 2017-12-29 2018-07-24 北京优视魔方科技有限公司 一种基于ct横断图像的图像处理方法和装置、肋骨图像显示系统
CN108520519A (zh) * 2018-04-11 2018-09-11 上海联影医疗科技有限公司 一种图像处理方法、装置及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577752B2 (en) * 2001-06-15 2003-06-10 Arch Development Corporation Automated method and system for the delineation of the chest wall in computed tomography scans for the assessment of pleural disease
EP2886057B1 (en) * 2013-10-24 2020-01-01 Samsung Electronics Co., Ltd Medical imaging apparatus and method of reconstructing medical image
JP6528386B2 (ja) * 2014-11-04 2019-06-12 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10796464B2 (en) * 2017-08-25 2020-10-06 Siemens Healthcare Gmbh Selective image reconstruction
WO2019041262A1 (en) * 2017-08-31 2019-03-07 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE SEGMENTATION

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466312A (zh) * 2006-06-12 2009-06-24 株式会社日立医药 图像诊断辅助装置及图像诊断辅助程序
CN107154038A (zh) * 2016-04-22 2017-09-12 孔德兴 一种肋骨可视化的肋骨骨折辅助诊断方法
WO2017188559A1 (en) * 2016-04-29 2017-11-02 Im Technology.Co.,Ltd Method of image reconstruction in computed tomography
CN108038862A (zh) * 2017-12-11 2018-05-15 深圳市图智能科技有限公司 一种交互式医学图像智能分割建模方法
CN108320314A (zh) * 2017-12-29 2018-07-24 北京优视魔方科技有限公司 一种基于ct横断图像的图像处理方法和装置、肋骨图像显示系统
CN108520519A (zh) * 2018-04-11 2018-09-11 上海联影医疗科技有限公司 一种图像处理方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN111968728A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
US8939892B2 (en) Endoscopic image processing device, method and program
US10692272B2 (en) System and method for removing voxel image data from being rendered according to a cutting region
US8659602B2 (en) Generating a pseudo three-dimensional image of a three-dimensional voxel array illuminated by an arbitrary light source by a direct volume rendering method
JP2007537770A (ja) 内視鏡画像内の管腔状構造のディスプレイ最適化のための動的なクロップボックス決定方法
US20050237336A1 (en) Method and system for multi-object volumetric data visualization
CN108717700B (zh) 一种检测结节长短径长度的方法及装置
US8736609B2 (en) Method and device for visualizing surface-like structures in volumetric data sets
US9192339B2 (en) Scanning system and image display method
CN110807770A (zh) 医学影像的处理、识别、显示方法及存储介质
CN102573640B (zh) 医用图像处理装置及医用图像处理方法
MX2014000639A (es) Metodo y sistema para llevar a cabo una representacion.
EP2266457B1 (en) Intermediate image generating method, device, and program
CN111968728B (zh) 一种图像的处理方法和处理设备
JP7013849B2 (ja) コンピュータプログラム、画像処理装置及び画像処理方法
CN111968069B (zh) 一种图像的处理方法、处理装置和计算机可读存储介质
JP2008067915A (ja) 医用画像表示装置
CN109035353A (zh) 一种基于ct图像多平面重建的血管拉直曲面重组方法
JP2019145015A (ja) コンピュータプログラム、画像処理装置及び画像処理方法
CN114299096A (zh) 一种轮廓勾画方法、装置、设备及存储介质
JP7131080B2 (ja) ボリュームレンダリング装置
JP2006000126A (ja) 画像処理方法および装置並びにプログラム
JP6443574B1 (ja) レイキャスティングプログラム、探索制御データ、探索制御データ生成方法、レイキャスティング装置
CN106296707A (zh) 医学图像处理方法及装置
JP2012221448A (ja) ボリュームデータセット内の表面様構造を可視化するための方法及び装置
JP2006178772A (ja) 画像処理方法および装置並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant