CN101357067A - 超声图像中的边缘检测 - Google Patents

超声图像中的边缘检测 Download PDF

Info

Publication number
CN101357067A
CN101357067A CNA2008101287111A CN200810128711A CN101357067A CN 101357067 A CN101357067 A CN 101357067A CN A2008101287111 A CNA2008101287111 A CN A2008101287111A CN 200810128711 A CN200810128711 A CN 200810128711A CN 101357067 A CN101357067 A CN 101357067A
Authority
CN
China
Prior art keywords
image
edge
closed contour
fragment
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101287111A
Other languages
English (en)
Other versions
CN101357067B (zh
Inventor
D·祖尔
D·梅奇利什
Z·帕特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Inc
Original Assignee
Biosense Webster Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Inc filed Critical Biosense Webster Inc
Publication of CN101357067A publication Critical patent/CN101357067A/zh
Application granted granted Critical
Publication of CN101357067B publication Critical patent/CN101357067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Abstract

本发明涉及超声图像中的边缘检测。本发明的实施例改进了二维图像数据中的边缘检测,其可以在最小限度用户介入下自动地执行。本发明通过使用图像处理技术而自动地执行,该图像处理技术使得产生分割的边缘轮廓,然后该分割的边缘轮廓可以用于三维重构和分割。

Description

超声图像中的边缘检测
相关申请的交叉引用
本申请要求2007年5月1日提交的、申请系列号为No.US60/915152的美国临时专利申请的优先权,其通过引用结合在此。
技术领域
本发明涉及医学成像。更具体地,本发明涉及超声图像中体内(intrabody)结构的边缘检测的改进。
背景技术
超声成像现被广泛确定为对诸如心脏的体内结构进行成像的方式。例如美国专利号No.6066096描述了用于容积腔内超声成像(volumetricintraluminal ultrasound imaging)的成像探头,其公开的内容通过引用结合在此。该配置为放置在患者体内的探头包括具有近端和远端的伸长主体。超声换能器相控阵列连接并放置在该伸长主体的远端上。放置该超声换能器相控阵列以从伸长主体的远端发射和接收用于容积向前扫描(volumetric forward scanning)的超声能量。该超声换能器相控阵列包括多个被超声换能器元件占据的位点。
为了找到三维轮廓的超声图像的分割仍然是一项困难的任务,通常需要很多的用户介入。
发明内容
本发明的实施例改进了例如超声图像数据的二维图像数据中的边缘检测,其可以在最小限度用户介入下自动地执行。依照这些实施例的边缘检测方法近乎自动地执行,采用使得产生分割的边缘轮廓的图像处理技术,然后该分割的边缘轮廓可用于三维重构和分割。
本发明的一个实施例提供了一种界定图像上的结构的计算机辅助方法,该方法通过获得目标结构的图像、在图像上的结构中建立种子点、检测图像中的边缘以产生具有在其上示出的计算的边缘的经过部分处理的图像、从种子点辐射地延伸出多条射线与计算的边缘相交于各个相交点、以及连接这些相交点以形成其中各个片段连接相邻相交点的初始闭合轮廓来执行。该方法进一步通过计算图像中感兴趣的区域中的变形力梯度、响应于变形力梯度使闭合轮廓变形以界定变形的闭合轮廓、以及从变形的闭合轮廓上删除满足预先定义的不合需要标准的片段来执行。
该方法的一个方面包括计算对抗变形力梯度的内力,其中响应于变形力梯度和内力的分辨率(resolution of internal forces anddeforming force gradients)使闭合轮廓变形。
依照该方法的一个方面,该图像是超声图像。
该方法的另一方面包括在检测边缘之前平滑图像。
依照该方法的又一方面,检测边缘通过Canny边缘检测执行。
依照该方法的还有另一方面,射线具有不超过5°的角分辨率。
依然是该方法的另一方面,包括朝种子点收缩该闭合轮廓。
该方法的一个附加的方面包括计算变形的闭合轮廓的各边缘点处的亮度梯度。其亮度梯度小于预先确定的分割阈值的边缘片段满足不合需要标准。
依照该方法的一个方面,该不合需要标准包括其中具有折叠的片段。
本发明其它的实施例提供了用来执行上述方法的计算机软件产品和设备。
附图说明
为了更好地理解本发明,参考以举例的方式的、结合附图阅读的本发明的详细说明,附图中相同的部件给予了相同的附图标记,其中:
图1形象地示出了依照本发明一公开实施例的获取和处理图像的系统;
图2是依照本发明一公开实施例的图像中的边缘检测方法的流程图;
图3是心脏的一部分的二维超声图像,适合于依照现有技术的图像处理;
图4示出了在图3所示的图像上执行的Canny边缘检测,其中已经依照本发明一公开实施例确定了初始边缘;
图5示出了图4所示的图像,其中依照本发明一公开实施例,一系列射线从种子点辐射;
图6示出了依照本发明一公开实施例,图5的图像上的闭合轮廓;以及
图7是一系列图解,示出了依照本发明一公开实施例的图像中的间隙删除。
具体实施方式
在以下的描述中,为了提供对本发明彻底的理解,阐明了很多特定细节。然而,对本领域技术人员显然的是,可以无需这些特定细节而实施本发明。在其它情况下,为了不让本发明不必要地模糊,没有详细地说明公知的电路、控制逻辑、以及常规算法和处理的计算机程序指令的细节。
体现本发明的方面的软件程序码典型地保存在像计算机可读介质的永久储存器中。在客户端/服务器环境中,这样的软件程序码可以保存在客户端或服务器上。该软件程序码可以体现在与数据处理系统一同使用的多种已知的有形介质的任何一个上,例如磁盘、硬盘驱动器或CD-ROM。该程序码可以被分配到这些介质上,或者可以从一个计算机系统的存储器或储存器经由某种类型的网络到供其它计算机系统的用户所使用的这些其它计算机系统的储存器装置而分配给用户。
系统总览
现在转到附图,首先参考附图1,其图示了依照本发明一公开实施例的系统20,该系统20用于超声成像并可选地用于方便活的患者体内的诊断以及治疗程序。如图1所示,正在进行患者心脏的导管插入。这是示例性的,并且系统20可以用于涉及人体许多器官的不同程序。可选地,超声图像可以使用常规的成像设备非侵入性地获得。该系统包括导管28,该导管由外科医生经皮地插入人体,在此为插入心脏的心室或脉管结构。
系统20典型地包括定位子系统,该子系统测量具有高达六个自由度的导管28的三维位置信息和取向坐标。在整个本专利申请中,术语“位置”指的是导管的空间坐标,而术语“取向”指的是它的角坐标。术语“定位”指的是导管的整个定位信息,包括位置和取向坐标。然而,不借助于定位子系统而实施这里所公开的该成像程序是可能的。实际上,在一些实施例中,该定位子系统可以被省略。
在一个实施例中,定位子系统包括确定导管28的位置和取向的磁定位跟踪系统。该定位子系统在其附近预定的工作容积内产生磁场,并用导管上的一个或多个定位传感器感应这些磁场。该定位子系统典型地包括一组外部辐射器,例如场生成线圈30,它们位于患者外部固定的、已知的位置。线圈30在心脏24附近产生场,典型地为电磁场。
在可选的实施例中,导管中的辐射器,例如线圈,产生被患者体外的传感器(未显示)接收的电磁场。
定位传感器响应于感应到的场而经由贯穿导管的电缆33将与定位相关的电信号传输到控制台34。可选地,定位传感器可以通过无线链接传输信号到控制台34。控制台34包括定位处理器36,根据导管中的位置传感器(未显示)发送的信号计算导管28的位置和取向。定位处理器36典型地对来自导管28的信号进行接收、放大、过滤、数字化及其他处理。由系统20产生的图像显示在监视器44上。
为了超声图像的产生,系统20可以使用美国专利号No.6716166和No.6773402中公开的导管,以获得用于接近实时显示的超声图像,这些公开内容通过引用结合在此。可以在相同或不同的期间并且以多种不同的组合与部署导管的定位的图像或表示一起获得或显示超声图像。这种导管具有声学换能器,适于发射声波并接收来自心脏中的回声生成界面(echogenic interface)的反射。接着分析该反射以构成心脏的二维和三维图像。
系统20包括超声驱动器39,当导管28作为超声成像导管工作时驱动导管28的超声换能器。可以用于这个目的的适合的超声驱动器的一个例子是由Analogic Corporation,8 Centennial Drive,Peabody,MA 01960生产的AN2300TM超声系统。超声驱动器39可以支持不同的成像模式,例如本领域公知的B模式、M模式、CW多普勒以及彩色血流多普勒(color flow Doppler)。
系统20中的图像处理由计算机执行,该计算机可以是一般用途的计算机,或专用的设备。该计算机的处理器访问存储器,该存储器存储描述目标结构的图像的图像数据,并存储包括边缘检测和平滑程序的可执行对象。操作者能够通过监视器44上的图形化用户界面与图像处理状态交互。系统20可以实现为结合SOUNDSTARTM三维诊断超声导管的版本为V9(或更高)的CARTOTM XP EP Navigation系统,这些都可以从Biosense-Webster Inc.3333 Diamond Canyon Road,Diamond Bar,CA91765获得。
操作
现在参考图2,其为依照本发明一公开实施例的图像边缘检测方法的流程图。在初始步骤50,例如用系统20(图1)获得目标体内结构的一幅或多幅灰度超声图像。初始步骤50的其余部分由操作者交互式地执行。操作者标识要在目标结构上对其应用边缘检测过程的超声图像。在步骤51,操作者试探地指出将对其应用图像处理的感兴趣的结构,通常是腔或室。操作者在该结构或腔的中心标记“种子点”。种子点的目的将通过下面的公开内容中变得明显。由操作者选择手工或自动阈值检测。
当在步骤51选择了手工阈值检测时,那么在步骤54操作者选择阈值。这涉及操作者对图像特性例如噪声以及图像上呈现的边缘清晰度的判断。
在从步骤52开始的替代方法的顺序中,操作者可以定义完全包括在目标结构中的矩形,例如包括在较之其周边更加透声(moresonolucent)的腔或解剖结构中。该矩形应该包含腔中噪声最大的区域,除非这些多噪声的区域在显示器上比边缘区域自身“更亮”,这种情况下如果可能应当将它们排除。仅需要的是从矩形的中心看大部分的边缘周长没有被这些多噪声的区域的插入所阻挡。当选择了这一替代方法,在步骤53应用自动阈值确定。矩形的几何中心成为种子点,而由矩形界定的区域内的噪声被用于确定将被自动使用的阈值。这一步骤的细节在下面描述。通常,相对“多噪声”的图像要求比具有鲜明对比的图像更高的阈值。
在步骤55,为了在边缘检测之前减少图像中的噪声,采用高斯平滑算子对选择的图像进行平滑。高斯平滑本质上是采用二维高斯函数定义的遮罩(mask)对图像亮度(intensity)的平滑。这个过程是本领域所公知的。平滑可以通过用7×7位遮罩(bit mask)与图像卷积来完成,该7×7位遮罩包含了σ=3的二维高斯函数的实例。如图1所示,步骤53、54可以在步骤55的高斯平滑之前执行。或者,步骤55可以先于步骤53、54。
接着,在步骤58,执行产生初始二进制边缘图的程序。该程序应用在步骤53或步骤54中确定的阈值使用Canny边缘检测。在步骤53、54中根据情况阈值都被设置在其中Canny边缘检测例程将不能找到矩形内部或种子点的区域中的边缘的水平。Canny边缘检测是公知的,并且在文献A Computational Approach to Edge Detection,F.J.Canny,IEEE Trans PAMI,8(6):679-698,1986中作了描述,其通过引用结合在此。像在上面提到的Canny文献中描述的那样,计算检测到的边缘中每个像素处的亮度梯度。亮度梯度的使用在下面标题为“不需要片断的删除”的部分中作了描述。
现在参考图3,其是心脏的一部分的常规二维超声图像,示出了适合于依照本发明一公开实施例的图像处理的、由实性组织构成的实性壁区域59。现在参考图4,显示了对图3所示的图像执行Canny边缘检测的结果,其中已经依照本发明一公开实施例确定了初始边缘60。边缘60对应于壁区域59和内部区域62之间的解剖学分界面,壁区域59对应于心肌层,内部区域62对应于心腔的内部,其在图3和图4的公共图像平面中由壁区域59部分地包围。在这个图像中,Canny边缘检测过程中使用的阈值可以根据是否选择了步骤53或是步骤54(图2)而自动地或是人工地确定。
返回到图2,在步骤58通过从种子点向外延伸射线直到射线与边缘图中的边缘相交来定位要确定的边缘或边界,典型地为腔的内部边缘。射线间的角分辨率(angular resolution)不超过5°是满意的。现在参考图5,其示出了图4所示的图像,其中依照本发明一公开实施例从种子点66辐射一系列的射线68与边缘69相交。
再次参考图2,在步骤61,相邻的、在步骤58中确定的相交点(依照它们各自射线的角度顺序)被自动地连接以形成闭合轮廓。或者,边缘可以由操作者手工连接。为了确保边缘是在腔的内部,将该闭合边缘朝种子点收缩20%。建立该闭合轮廓的细节在标题“初始轮廓”下进一步详细描述。收缩的边缘包围的闭合空间的边界被称作“初始边缘”。
步骤61以定义感兴趣的矩形区域继续,其包括感兴趣的结构,典型地是腔,以及它的周围边缘。现在参考图6,其示出了图4和图5中所示结构的图像。已经依照本发明一公开实施例、对应于关于步骤61(图2)所描述的连接操作绘制了闭合轮廓92,其包围感兴趣的室94。示出了任选的感兴趣的矩形区域104,其包围室94、室94的边缘90、以及实际上整个闭合轮廓92。示出了超声扇区的外侧射线67。使用感兴趣的区域104以便通过只处理图像的相关部分节约计算量。
再次参考图2,接下来在步骤64,对每个像素计算距离变换。在使用感兴趣的区域104(图6)的实施例中,计算被限制在感兴趣的区域104。否则,该计算被应用于整幅图像或至少闭合轮廓92中的区域。这一变换在感兴趣的区域中测定(map)从像素到边缘图上的边缘上最接近的点的距离。结果用于计算每个像素的距离梯度。该计算的细节在下面在标题“距离变换”下介绍。
接下来,在步骤70,依照可变形模型(有时也称作snakes)的理论采用动力参数化公式推导(parametric formulation with dynamicforce)执行初始边缘的变形。可变形模型可从文献“Image SegmentationUsing Deformable Models,”Chenyang Xu,Dzung Pham,and JerryPrince,Handbook of Medical Imaging,Volume 2:Medical ImageProcessing and Analysis,pp.129-174,SPIE Press,May 2000中了解,其通过引用结合在此。该计算的概要在下面在标题“变形和插值”下给出。
现在控制前进到判定步骤72,在这里确定停止标准是否成立。边缘的变形当方程式2(在下面描述)右侧的导数变为零时停止。或者,在预定数量的迭代之后或是直到不再观测到边缘的扩张时,不管哪个先发生,该算法都可以停止。在后一情形中,边缘包含的像素数量不再增加,表示稳定的状态。
如果在判定步骤72的决定为否定,那么控制返回到步骤70。
如果在判定步骤72的决定为肯定,那么控制前进到步骤74,在这里删除不需要的或是不合格的片段。不需要的片段有几种类型。步骤74的细节在下面在标题“不需要片段的删除”下给出。
现在控制前进到判定步骤76,在这里确定在步骤74中删除不需要的片段之后留下的片段是否产生可接受的轮廓。这一确定通常由操作者作出。该轮廓可以被自动地修正以便正确地除去假片段和间隙。或者,该轮廓可以被手工修正。
如果在判定步骤76的决定为否定,那么控制前进到步骤78。当交互地执行时,用户可以协助处理、编辑结果、以及变更算法的参数。在步骤78,用户改变边缘检测的阈值。控制返回到步骤58,用新的阈值重复边缘检测。
如果在判定步骤76的决定为肯定,那么控制前进到判定步骤80,由操作者决定是否需要自动边缘的追加的交互式修正。
如果在判定步骤80的决定为肯定,那么控制前进到步骤82。以手工模式编辑边缘。在手工模式中,用户具有用图形笔和橡皮在图像上手工修正边缘的选项。通过这一选项,操作者可以修正或删除在步骤74中的间隙删除期间被不正确地保留的片段。
在完成步骤82之后,或如果在判定步骤80的决定为否定时,控制前进到判定步骤84。这是质量控制步骤,其中作出到目前为止得到的结果是否可接受的决定。
如果在判定步骤84的决定为否定,那么控制前进到最终步骤86。该轮廓被拒绝。
如果在判定步骤84的决定为肯定,那么控制前进到最终步骤88。现在已经划分和接受了该轮廓。
初始轮廓
闭合轮廓(步骤61,图2)如下产生:从最靠近种子点的相交点开始,相继地确定剩下的相交点与种子点之间的距离。如果两个连续的相交点之间离开种子点的距离的差异超过了预先确定的阈值,那么忽略更远的相交点。该阈值一个适合的值是15个像素。然后,从最近的相交点开始用线性插值连接这些点,形成初始的边缘片段。接着,假定被删去的相交点超出预定长度的长序列是被错误地删去,该预定长度目前为35度或7条射线。采用较低的阈值,目前为在前阈值的2/3,对这些序列重复该扫描算法。如果在前忽略的相交点现在被认可,将它们连接形成附加的片段。重复这一过程,直到不再有比预定值大的被取消的序列。然后连接认可的片段之间的所有间隙以形成闭合的边缘轮廓。最终,为了保证该边缘在腔内,保持种子点作为该轮廓的几何中心将该闭合空间体积缩减20%。
距离变换
如方程1所给出的,距离梯度对应于边缘上的变形“力”,并且有时被称为“变形力梯度”。这里任意地使用的术语“力”表示梯度对图像上结构的轮廓的影响程度。另外,该术语没有关于被处理的图像的物理含义。
DF(x,y)=▽DT(x,y)=(xDT(x,y),yDT(x,y)) (1)
计算以下列的方式完成:首先计算图像中每个像素与初始边缘图上最接近的像素之间的欧氏距离,初始边缘图即在步骤61中界定的闭合轮廓。这一阶段被称为“距离变换”并且产生包括每个像素的最小距离的距离图。然后,对于每个像素,在前一阶段产生的该距离图上计算梯度:
然后将梯度作为“外力”迭代地应用,以使闭合轮廓92(图6)变形,直到找到该轮廓与边缘图中的边缘的一个子集(通常为一内部子集)之间的最佳匹配。这典型为最靠近种子点的边缘的子集。
变形和插值
变形计算示出于方程式2中:
γ X t F int ( X ) + F ext ( X ) - - - ( 2 ) ,
其中X是边缘点的集合(从初始边缘开始),而g是阻尼系数。Fint(X)类似于内部物理力,其在例如闭合轮廓92(图6)的边缘点上起作用,采用方程式3计算:
Figure A20081012871100132
这里α是张力参数,其阻碍伸长并使得变形的边缘表现如弹性绳。β是刚性参数,其阻碍弯曲并使得变形的边缘表现如刚性杆。内力Fint(X)对抗外力,外力是步骤64(图2)中计算的梯度。该梯度具有局部吸引和变形边缘的总体效应。依照内力的分解(resolution)和梯度执行实际的变形。每五次迭代在边缘点上执行线性插值以增加新的边缘点并消除任何由过于稀疏的边缘点分布产生的局部扩张。
不需要片段的删除
符合不合需要的标准的边缘片段被删除。第一类包括达到超声图像上超声扇区的外部射线的边缘片段。这些被删除。由于这些外部射线的坐标被转移到该算法,这简单的通过将平行于并非常接近扇区外的射线的两个虚边缘增加到边缘图来实现。删除每个与射线相交并接到虚边缘上的边缘片段。
另一种类型的不需要的片段是折叠的或成环的片段。这样的片段在沿一边缘的两个不连续的点彼此位置非常接近时被探测到。为了这一过程的目的,在图像上彼此位于2个像素之内,但当沿着该边缘测量时相隔至少5个像素的两个点被认为构成了环或折叠。在这种情形下,这两个点之间的所有点被删除。
最后,使得删除表示解剖学间隙的区域的过程被应用到图像上。只有具有足够的信噪比的闭合轮廓上的那些点被保留。对于最终边缘中的每个像素,Canny边缘检测程序(步骤58,图2)计算亮度梯度,经过平滑的原始图像以该亮度梯度被投影在(project on)垂直于那个点处的边缘的线上。得到的值是在那个点处的边缘的重要性的度量。为克服噪声影响,重要性值的序列(依照该边缘的点的顺序)被平滑。然后依照预先定义的“分割阈值”分割曲线。具有超过该阈值的重要性值的边缘点被匀出(spare),其它的被删除。然后通过重新连接新的相邻相交点将间隙桥接以改良闭合轮廓。适合的分割阈值是最高值的40%。
现在参考图7,其为一系列的图解,示出了依照本发明一公开实施例的图像中的间隙删除。在图7的顶部,视图110,目标结构112的闭合轮廓是感兴趣的。
在视图114中,计算垂直于目标结构112的轮廓上每个点的边缘的亮度梯度。代表性的亮度梯度以箭头116表示。
曲线图118是亮度梯度相对于按顺序的像素的曲线。在曲线图120中,对曲线图118所示的数据应用了平滑操作。平滑具有消除异常局部值的作用。显示了阈值122。只有那些具有超过阈值122的亮度梯度的点被保留在最终结果中,以轮廓124表示。排除的点表示为间隙126、128,对应于间隔130、132。
对于本领域技术人员来说可以认识到本发明并不局限于在上文所特定显示和描述的内容。实际上,本发明的范围包括上文所描述的不同特征的结合和子结合,以及本领域技术人员在阅读在前的描述时将做出的、不在先前技术中的变化和修正。

Claims (22)

1.一种在图像上定义结构的计算机辅助方法,包括步骤:
获得用于对其进行边缘检测的目标结构的图像;
在所述图像上的所述结构中建立种子点;
在所述图像中检测边缘以产生具有在其上示出的计算的边缘的、所述结构的经过部分处理的图像;
从所述种子点辐射地延伸多个射线,与所述计算的边缘相交于各个相交点;
连接所述相交点形成初始闭合轮廓,该初始闭合轮廓具有连接相邻的所述相交点的各个片段;
在所述图像中感兴趣的区域中计算变形力梯度;
响应所述变形力梯度使所述闭合轮廓变形以定义变形的闭合轮廓;以及
从所述变形的闭合轮廓中删除所述片段中满足预先定义的不合需要标准的片段。
2.依照权利要求1所述的方法,进一步包括计算对抗所述变形力梯度的内力的步骤,其中所述变形的步骤是响应所述变形力梯度和所述内力的分辨率来执行的。
3.依照权利要求1所述的方法,其中所述图像是超声图像。
4.依照权利要求1所述的方法,进一步包括在检测所述边缘之前平滑所述图像的步骤。
5.依照权利要求1所述的方法,其中检测所述边缘包括Canny边缘检测。
6.依照权利要求1所述的方法,其中所述射线具有不超过5°的角分辨率。
7.依照权利要求1所述的方法,进一步包括朝所述种子点收缩所述闭合轮廓的步骤。
8.依照权利要求1所述的方法,进一步包括计算所述变形的闭合轮廓的各个边缘点处的亮度梯度的步骤,所述不合需要标准包括其中其所述边缘点的所述亮度梯度比预先定义的分割阈值小的片段。
9.依照权利要求1所述的方法,其中所述不合需要标准包括其中具有折叠的片段。
10.一种在图像上定义结构的计算机软件产品,包括存储计算机程序指令的计算机存储介质,所述指令在被计算机执行时,使计算机:
接受描述用来对其进行边缘检测的目标结构的图像的数据;
在所述图像上的所述结构中建立种子点;
执行边缘检测程序以产生具有在其上示出的计算的边缘的、所述结构的经过部分处理的图像;
从所述种子点辐射地延伸多个射线与所述计算的边缘相交于各个相交点;
连接所述相交点形成初始闭合轮廓,该初始闭合轮廓具有连接相邻的所述相交点的各个片段;
计算所述闭合轮廓上各个位置处的变形力梯度;
响应所述变形力梯度使所述闭合轮廓变形以定义变形的闭合轮廓;以及
删除所述变形的闭合轮廓上所述片段中满足预先定义的不合需要标准的片段。
11.依照权利要求10所述的计算机软件产品,其中所述计算机进一步被指示计算对抗所述变形力梯度的内力,响应所述变形力梯度和所述内力的分辨率使所述闭合轮廓变形。
12.依照权利要求10所述的计算机软件产品,其中所述图像是超声图像。
13.依照权利要求10所述的计算机软件产品,其中所述计算机进一步被指示在执行所述边缘检测程序之前执行平滑程序以平滑所述图像。
14.依照权利要求10所述的计算机软件产品,其中所述边缘检测程序包括Canny边缘检测。
15.依照权利要求10所述的计算机软件产品,其中所述射线具有不超过5°的角分辨率。
16.依照权利要求10所述的计算机软件产品,其中所述计算机进一步被指示朝所述种子点收缩所述闭合轮廓。
17.依照权利要求10所述的计算机软件产品,其中所述计算机进一步被指示计算所述变形闭合轮廓的各个边缘点处的亮度梯度,所述不合需要标准包括其中其所述边缘点的所述亮度梯度比预先定义的分割阈值小的片段。
18.依照权利要求10所述的计算机软件产品,其中所述不合需要标准包括其中具有折叠的片段。
19.一种在图像上定义结构的系统,包括:
显示器;
存储器,存储描述目标结构的图像的数据,并存储包括边缘检测程序的可执行对象;以及
链接到所述存储器的处理器,并且所述处理器运行来处理所述数据,以:在所述图像上的所述结构中建立种子点;执行所述边缘检测程序以产生具有在其上示出的计算的边缘的、所述结构的经过部分处理的图像;从所述种子点辐射地延伸多个射线与所述计算的边缘相交于各个相交点;连接所述相交点形成具有连接相邻的所述相交点的各个片段的初始闭合轮廓;计算所述闭合轮廓上各个位置处的变形力梯度;响应所述变形力梯度使所述闭合轮廓变形以定义变形的闭合轮廓;删除所述变形的闭合轮廓上所述片段中满足预先定义的不合需要标准的片段以定义经过处理的图像;以及在所述显示器上呈现所述经过处理的图像。
20.依照权利要求19所述的系统,其中所述图像是超声图像。
21.依照权利要求19所述的系统,其中所述处理器运行以计算所述变形的闭合轮廓的各个边缘点处的亮度梯度,所述不合需要标准包括其中其所述边缘点的所述亮度梯度比预先定义的分割阈值小的片段。
22.依照权利要求19所述的系统,其中所述不合需要标准包括其中具有折叠的片段。
CN2008101287111A 2007-05-01 2008-04-30 超声图像中的边缘检测 Active CN101357067B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US91515207P 2007-05-01 2007-05-01
US60/915152 2007-05-01
US12/028,210 US20090080738A1 (en) 2007-05-01 2008-02-08 Edge detection in ultrasound images
US12/028210 2008-02-08

Publications (2)

Publication Number Publication Date
CN101357067A true CN101357067A (zh) 2009-02-04
CN101357067B CN101357067B (zh) 2012-05-30

Family

ID=39672013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101287111A Active CN101357067B (zh) 2007-05-01 2008-04-30 超声图像中的边缘检测

Country Status (13)

Country Link
US (1) US20090080738A1 (zh)
EP (1) EP1988507B1 (zh)
JP (1) JP5717942B2 (zh)
KR (1) KR20080097346A (zh)
CN (1) CN101357067B (zh)
AT (1) ATE482437T1 (zh)
AU (1) AU2008201894B2 (zh)
BR (1) BRPI0801246A2 (zh)
CA (1) CA2629958C (zh)
DE (1) DE602008002630D1 (zh)
HK (1) HK1125724A1 (zh)
IL (1) IL191048A (zh)
MX (1) MX2008005808A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901342A (zh) * 2009-05-27 2010-12-01 深圳迈瑞生物医疗电子股份有限公司 影像目标区域的提取方法和装置
CN101919707A (zh) * 2009-06-09 2010-12-22 株式会社东芝 超声波诊断装置、医用图像处理装置以及图像处理方法
CN102509286A (zh) * 2011-09-28 2012-06-20 清华大学深圳研究生院 一种医学图像目标区域勾画方法
CN103458798A (zh) * 2011-04-14 2013-12-18 株式会社日立医疗器械 超声波诊断装置和超声波图像描绘方法
CN104182984A (zh) * 2014-09-01 2014-12-03 云南大学 动态超声影像中的血管边缘形态快速自动采集方法及系统
CN104825133A (zh) * 2015-05-04 2015-08-12 河南理工大学 基于彩色多普勒3d成像的准静态心室-心脏磁场模型
CN107169978A (zh) * 2017-05-10 2017-09-15 飞依诺科技(苏州)有限公司 超声图像边缘检测方法及系统
CN110570394A (zh) * 2019-08-01 2019-12-13 深圳先进技术研究院 医学图像分割方法、装置、设备及存储介质
CN110659683A (zh) * 2019-09-20 2020-01-07 杭州智团信息技术有限公司 图像处理方法、装置及电子设备

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8784336B2 (en) 2005-08-24 2014-07-22 C. R. Bard, Inc. Stylet apparatuses and methods of manufacture
US10449330B2 (en) 2007-11-26 2019-10-22 C. R. Bard, Inc. Magnetic element-equipped needle assemblies
ES2651898T3 (es) 2007-11-26 2018-01-30 C.R. Bard Inc. Sistema integrado para la colocación intravascular de un catéter
US9649048B2 (en) 2007-11-26 2017-05-16 C. R. Bard, Inc. Systems and methods for breaching a sterile field for intravascular placement of a catheter
US10751509B2 (en) 2007-11-26 2020-08-25 C. R. Bard, Inc. Iconic representations for guidance of an indwelling medical device
US9521961B2 (en) 2007-11-26 2016-12-20 C. R. Bard, Inc. Systems and methods for guiding a medical instrument
US8781555B2 (en) * 2007-11-26 2014-07-15 C. R. Bard, Inc. System for placement of a catheter including a signal-generating stylet
US9456766B2 (en) 2007-11-26 2016-10-04 C. R. Bard, Inc. Apparatus for use with needle insertion guidance system
US10524691B2 (en) 2007-11-26 2020-01-07 C. R. Bard, Inc. Needle assembly including an aligned magnetic element
US8926511B2 (en) * 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
EP2313143B1 (en) 2008-08-22 2014-09-24 C.R. Bard, Inc. Catheter assembly including ecg sensor and magnetic assemblies
US9532724B2 (en) 2009-06-12 2017-01-03 Bard Access Systems, Inc. Apparatus and method for catheter navigation using endovascular energy mapping
EP2464407A4 (en) 2009-08-10 2014-04-02 Bard Access Systems Inc DEVICES AND METHODS FOR ENDOVASCULAR ELECTROGRAPHY
US8472685B2 (en) * 2009-08-12 2013-06-25 The Regents Of The University Of California Apparatus and method for surface capturing and volumetric analysis of multidimensional images
EP2531953B1 (en) * 2010-02-01 2018-07-11 Covidien LP Region-growing algorithm
JP2013518676A (ja) 2010-02-02 2013-05-23 シー・アール・バード・インコーポレーテッド カテーテルナビゲーションおよびチップの位置を特定するための装置および方法
US8805035B2 (en) * 2010-05-03 2014-08-12 Mim Software, Inc. Systems and methods for contouring a set of medical images
US8693744B2 (en) 2010-05-03 2014-04-08 Mim Software, Inc. Systems and methods for generating a contour for a medical image
CN103037762B (zh) 2010-05-28 2016-07-13 C·R·巴德股份有限公司 用于与针插入引导系统一起使用的装置
MX338127B (es) 2010-08-20 2016-04-04 Bard Inc C R Reconfirmacion de colocacion de una punta de cateter asistida por ecg.
US10524765B2 (en) * 2010-12-27 2020-01-07 St. Jude Medical, Atrial Fibrillation Division, Inc. Refinement of an anatomical model using ultrasound
US20120259224A1 (en) * 2011-04-08 2012-10-11 Mon-Ju Wu Ultrasound Machine for Improved Longitudinal Tissue Analysis
US10043052B2 (en) * 2011-10-27 2018-08-07 Synaptics Incorporated Electronic device packages and methods
US8989515B2 (en) * 2012-01-12 2015-03-24 Kofax, Inc. Systems and methods for mobile image capture and processing
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US20150342560A1 (en) * 2013-01-25 2015-12-03 Ultrasafe Ultrasound Llc Novel Algorithms for Feature Detection and Hiding from Ultrasound Images
US9025823B2 (en) * 2013-03-12 2015-05-05 Qualcomm Incorporated Tracking texture rich objects using rank order filtering
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
ES2811323T3 (es) 2014-02-06 2021-03-11 Bard Inc C R Sistemas para el guiado y la colocación de un dispositivo intravascular
US9999402B2 (en) 2014-07-21 2018-06-19 International Business Machines Corporation Automatic image segmentation
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10973584B2 (en) 2015-01-19 2021-04-13 Bard Access Systems, Inc. Device and method for vascular access
US10362965B2 (en) 2015-04-22 2019-07-30 Acclarent, Inc. System and method to map structures of nasal cavity
US10349890B2 (en) 2015-06-26 2019-07-16 C. R. Bard, Inc. Connector interface for ECG-based catheter positioning system
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US11000207B2 (en) 2016-01-29 2021-05-11 C. R. Bard, Inc. Multiple coil system for tracking a medical device
US10503997B2 (en) 2016-06-22 2019-12-10 Abbyy Production Llc Method and subsystem for identifying document subimages within digital images
US10366469B2 (en) 2016-06-28 2019-07-30 Abbyy Production Llc Method and system that efficiently prepares text images for optical-character recognition
RU2628266C1 (ru) 2016-07-15 2017-08-15 Общество с ограниченной ответственностью "Аби Девелопмент" Способ и система подготовки содержащих текст изображений к оптическому распознаванию символов
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
EP3852622A1 (en) 2018-10-16 2021-07-28 Bard Access Systems, Inc. Safety-equipped connection systems and methods thereof for establishing electrical connections
WO2022249217A1 (en) * 2021-05-23 2022-12-01 Jordan University Of Science And Technology A system and method for detecting varicocele using ultrasound images in supine position
CN116596954B (zh) * 2023-07-12 2023-11-10 北京大学 病变细胞图像分割方法、装置、设备及存储介质

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5311600A (en) * 1992-09-29 1994-05-10 The Board Of Trustees Of The Leland Stanford Junior University Method of edge detection in optical images using neural network classifier
DE69429743T2 (de) * 1993-06-29 2002-10-02 Koninkl Philips Electronics Nv Verfahren und Gerät zur Bestimmung einer Kontur in einem durch eine Dichteverteilung gekennzeichneten Raum
JPH07255703A (ja) * 1994-03-22 1995-10-09 Shimadzu Corp 左心室、左心房輪郭の自動抽出方法
JP3248344B2 (ja) * 1994-04-07 2002-01-21 富士写真光機株式会社 体内挿入型超音波診断装置
JPH08206117A (ja) * 1994-05-27 1996-08-13 Fujitsu Ltd 超音波診断装置
JP3626974B2 (ja) * 1994-09-28 2005-03-09 ソニー株式会社 医療診断用画像処理装置
US6040139A (en) * 1995-09-19 2000-03-21 Bova; G. Steven Laser cell purification system
JP3409655B2 (ja) * 1997-07-24 2003-05-26 富士写真光機株式会社 経内視鏡的に挿入される超音波診断装置
US6066096A (en) * 1998-05-08 2000-05-23 Duke University Imaging probes and catheters for volumetric intraluminal ultrasound imaging and related systems
JP3330090B2 (ja) * 1998-09-30 2002-09-30 松下電器産業株式会社 臓器境界抽出方法および装置
JP3668629B2 (ja) * 1999-01-29 2005-07-06 株式会社東芝 画像診断装置及び画像処理方法
US6385332B1 (en) * 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
US6807286B1 (en) * 2000-04-13 2004-10-19 Microsoft Corporation Object recognition using binary image quantization and hough kernels
US6716166B2 (en) * 2000-08-18 2004-04-06 Biosense, Inc. Three-dimensional reconstruction using ultrasound
US6980682B1 (en) * 2000-11-22 2005-12-27 Ge Medical Systems Group, Llc Method and apparatus for extracting a left ventricular endocardium from MR cardiac images
US7113617B2 (en) * 2000-12-12 2006-09-26 Hewlett-Packard Development Company, L.P. Method of computing sub-pixel Euclidean distance maps
JP4614548B2 (ja) * 2001-01-31 2011-01-19 パナソニック株式会社 超音波診断装置
US6773402B2 (en) * 2001-07-10 2004-08-10 Biosense, Inc. Location sensing with real-time ultrasound imaging
US20030086596A1 (en) * 2001-11-07 2003-05-08 Medical Metrics, Inc. Method, computer software, and system for tracking, stabilizing, and reporting motion between vertebrae
US7003161B2 (en) * 2001-11-16 2006-02-21 Mitutoyo Corporation Systems and methods for boundary detection in images
WO2003067904A2 (en) * 2002-02-06 2003-08-14 University Of North Carolina At Chapel Hill High-throughput cell identification and isolation method and apparatus
US6774624B2 (en) * 2002-03-27 2004-08-10 Ge Medical Systems Global Technology Company, Llc Magnetic tracking system
US7015907B2 (en) * 2002-04-18 2006-03-21 Siemens Corporate Research, Inc. Segmentation of 3D medical structures using robust ray propagation
US7450746B2 (en) * 2002-06-07 2008-11-11 Verathon Inc. System and method for cardiac imaging
JP3944034B2 (ja) * 2002-09-05 2007-07-11 日立ソフトウエアエンジニアリング株式会社 区画データ作成方法、装置
JP3872424B2 (ja) * 2002-12-20 2007-01-24 アロカ株式会社 超音波診断装置
US7391893B2 (en) * 2003-06-27 2008-06-24 Siemens Medical Solutions Usa, Inc. System and method for the detection of shapes in images
US20050025383A1 (en) * 2003-07-02 2005-02-03 Celartem Technology, Inc. Image sharpening with region edge sharpness correction
JP4388326B2 (ja) * 2003-08-14 2009-12-24 アロカ株式会社 画像処理装置
US20050203410A1 (en) * 2004-02-27 2005-09-15 Ep Medsystems, Inc. Methods and systems for ultrasound imaging of the heart from the pericardium
US7856136B2 (en) * 2004-04-14 2010-12-21 Drvision Technologies Llc Analysis of patterns among objects of a plurality of classes
US7388973B2 (en) * 2004-06-01 2008-06-17 General Electric Company Systems and methods for segmenting an organ in a plurality of images
US8064670B2 (en) * 2004-09-29 2011-11-22 Northrop Grumman Systems Corporation Analysis of multidimensional data
US7430320B2 (en) * 2004-11-15 2008-09-30 Drvision Technologies Llc Region-guided boundary refinement method
JP4652780B2 (ja) * 2004-11-17 2011-03-16 アロカ株式会社 超音波診断装置
JP4423557B2 (ja) * 2004-11-19 2010-03-03 ソニー株式会社 認証装置、認証方法及びプログラム並びに認証情報登録装置
US20060126909A1 (en) * 2004-11-26 2006-06-15 Julian Marshall Monitoring and control of mammographic computer-aided detection processing
US7466872B2 (en) * 2005-06-20 2008-12-16 Drvision Technologies Llc Object based boundary refinement method
US7835785B2 (en) * 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
US20070116357A1 (en) * 2005-11-23 2007-05-24 Agfa-Gevaert Method for point-of-interest attraction in digital images
DE102006021036B4 (de) * 2006-04-28 2010-04-08 Image Diagnost International Gmbh Vorrichtung und Verfahren zur computergestützten Analyse von Mammogrammen

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901342A (zh) * 2009-05-27 2010-12-01 深圳迈瑞生物医疗电子股份有限公司 影像目标区域的提取方法和装置
CN101901342B (zh) * 2009-05-27 2014-05-07 深圳迈瑞生物医疗电子股份有限公司 影像目标区域的提取方法和装置
CN101919707B (zh) * 2009-06-09 2012-11-07 株式会社东芝 超声波诊断装置、医用图像处理装置以及图像处理方法
CN101919707A (zh) * 2009-06-09 2010-12-22 株式会社东芝 超声波诊断装置、医用图像处理装置以及图像处理方法
CN103458798A (zh) * 2011-04-14 2013-12-18 株式会社日立医疗器械 超声波诊断装置和超声波图像描绘方法
CN102509286A (zh) * 2011-09-28 2012-06-20 清华大学深圳研究生院 一种医学图像目标区域勾画方法
CN102509286B (zh) * 2011-09-28 2014-04-09 清华大学深圳研究生院 一种医学图像目标区域勾画方法
CN104182984A (zh) * 2014-09-01 2014-12-03 云南大学 动态超声影像中的血管边缘形态快速自动采集方法及系统
CN104182984B (zh) * 2014-09-01 2017-02-01 云南大学 动态超声影像中的血管边缘形态快速自动采集方法及系统
CN104825133A (zh) * 2015-05-04 2015-08-12 河南理工大学 基于彩色多普勒3d成像的准静态心室-心脏磁场模型
CN104825133B (zh) * 2015-05-04 2017-10-17 河南理工大学 基于彩色多普勒3d成像的准静态心室‑心脏磁场模型
CN107169978A (zh) * 2017-05-10 2017-09-15 飞依诺科技(苏州)有限公司 超声图像边缘检测方法及系统
CN107169978B (zh) * 2017-05-10 2020-04-14 飞依诺科技(苏州)有限公司 超声图像边缘检测方法及系统
CN110570394A (zh) * 2019-08-01 2019-12-13 深圳先进技术研究院 医学图像分割方法、装置、设备及存储介质
CN110659683A (zh) * 2019-09-20 2020-01-07 杭州智团信息技术有限公司 图像处理方法、装置及电子设备

Also Published As

Publication number Publication date
JP5717942B2 (ja) 2015-05-13
CN101357067B (zh) 2012-05-30
CA2629958C (en) 2016-10-04
CA2629958A1 (en) 2008-11-01
US20090080738A1 (en) 2009-03-26
AU2008201894A1 (en) 2008-11-20
EP1988507B1 (en) 2010-09-22
IL191048A0 (en) 2008-12-29
MX2008005808A (es) 2009-03-02
DE602008002630D1 (de) 2010-11-04
JP2009000509A (ja) 2009-01-08
KR20080097346A (ko) 2008-11-05
EP1988507A2 (en) 2008-11-05
IL191048A (en) 2011-08-31
ATE482437T1 (de) 2010-10-15
BRPI0801246A2 (pt) 2008-12-16
AU2008201894B2 (en) 2013-03-21
HK1125724A1 (en) 2009-08-14
EP1988507A3 (en) 2008-12-03

Similar Documents

Publication Publication Date Title
CN101357067B (zh) 超声图像中的边缘检测
CN102763135B (zh) 用于自动分割和时间跟踪的方法
EP3080778B1 (en) Imaging view steering using model-based segmentation
US7155042B1 (en) Method and system of measuring characteristics of an organ
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
EP1469778B1 (en) Method and apparatus for semi-automatic aneurysm measurement and stent planning using volume image data
US8036436B2 (en) System and method for segmenting a region in a medical image
CN105407811B (zh) 用于超声图像的3d获取的方法和系统
RU2653274C2 (ru) Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях
US20160007974A1 (en) Sensor coordinate calibration in an ultrasound system
US20030160786A1 (en) Automatic determination of borders of body structures
EP2293245A1 (en) Providing a 2-dimensional CT image corresponding to a 2-dimensional ultrasound image
EP1681654A2 (en) Ultrasound diagnostic system for automatically detecting a boundary of a target object and method of using the same
US20090136108A1 (en) Method for automated delineation of contours of tissue in medical images
CN102067170A (zh) 在存在金属伪影的情况下用于分割的不确定性图
CN107106128B (zh) 用于分割解剖目标的超声成像装置和方法
CN103229210A (zh) 图像配准装置
JP6400725B2 (ja) 関心領域を区分化するための画像処理機器及び方法
CN108830852B (zh) 三维超声肿瘤辅助测量系统及方法
CN107708550A (zh) 用于检测和测量解剖异常的分段回声结构的表面建模
US20130195335A1 (en) Automatic quantification of mitral valve dynamics with real-time 3d ultrasound
US20080275351A1 (en) Model-based pulse wave velocity measurement method
CN101505663B (zh) 用于测量左心室扭转的系统和方法
Schalk et al. 3D surface-based registration of ultrasound and histology in prostate cancer imaging
US20120070068A1 (en) Four dimensional reconstruction and characterization system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant