CN105938628B - 源自图像的生物标志的直接计算 - Google Patents

源自图像的生物标志的直接计算 Download PDF

Info

Publication number
CN105938628B
CN105938628B CN201610227977.6A CN201610227977A CN105938628B CN 105938628 B CN105938628 B CN 105938628B CN 201610227977 A CN201610227977 A CN 201610227977A CN 105938628 B CN105938628 B CN 105938628B
Authority
CN
China
Prior art keywords
image data
interested
biological marker
model
voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610227977.6A
Other languages
English (en)
Other versions
CN105938628A (zh
Inventor
S·拉帕卡
P·沙尔马
A·P·基拉利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN105938628A publication Critical patent/CN105938628A/zh
Application granted granted Critical
Publication of CN105938628B publication Critical patent/CN105938628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/503—Clinical applications involving diagnosis of heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/507—Clinical applications involving determination of haemodynamic parameters, e.g. perfusion CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

一种用于计算源自图像的生物标志的方法包括：接收图像数据，所述图像数据定义表示感兴趣的解剖区域的三维图像容积。使用强度模型来识别表征图像数据中局部强度变化的特征。使用所述特征对图像数据直接执行一个或多个建模计算，以得出与感兴趣的生物标志相关的信息。

Description

源自图像的生物标志的直接计算
技术领域
本公开一般地涉及使用直接应用于图像数据的模型计算生物标志。例如，可以将公开的系统、方法和装置应用于基于3D图像数据的生物标志建模。
背景技术
传统上，医学成像聚焦于提供正被成像的解剖结构的精确几何描述。最近的研究将医学图像作用的重点移到获得器官行为的功能量化。一些著名的示例是从图像非介入性地计算血压的能力，计算生物组织和模型中的应变和应力以检测心律失常中电信号传播的不规则性的能力。这些模型把从医学图像获得的解剖信息与从物理学得出的模型组合，以提供对病人病理的重要洞察。
上述传统技术的弊端在于：必须将详细的器官分割用作输入来计算相关的生物标志。典型地，分割操作作为成像和建模之间的中间步骤来执行。在该操作期间，基于成像数据创建分割网孔。然后，该网孔用作进入计算模型中的输入。该分割操作经常是很多不确定性及用户间可变性的来源。另外，它典型地是需要很多关注的努力密集型过程。例如，执行分割操作所需的时间通常等于(如果不大于的话)执行计算模型所需的时间。因此，期望创建一种用于在不需要先期分割的情况下得出生物标志的技术。
发明内容
本发明的实施例通过提供与在不需要先期分割的情况下建模技术向图像数据的直接应用相关的方法、系统和装置来解决和克服一个或多个上述缺点和弊端。例如，可以使用所提出的方案来减少涉及得出模型结果的处理时间。
根据一些实施例，用于计算源自图像的生物标志的方法包括接收图像数据，该图像数据定义表示感兴趣的解剖区域的三维图像容积。例如，该图像数据可以包括体素并且在每个体素基础上识别表征局部强度变化的特征。在一些实施例中，感兴趣的解剖区域包括心血管结构。使用强度模型来识别图像数据中表征局部强度变化的特征。使用该特征来直接对该图像数据执行一个或多个建模计算，以得出与感兴趣的生物标志相关的信息。在一些实施例中，这些建模计算提供心血管结构中流体动态特性的度量。例如，流体动态特性的度量可以对应于心血管结构中的压力差或者部分流储备量。在一些实施例中，使用表征局部强度变化的特征得出与多个体素相对应的多个加权值，并且所述多个加权值被合并到建模计算中。
在上述方法的一些实施例中，基于执行一个或多个建模计算的结果产生感兴趣的解剖区域的近似分割。在一些实施例中，该分割是二值掩码(binary mask)。在其它实施例中，该近似分割是灰阶掩码(gray-level mask)，表示感兴趣的解剖区域的分割准确度。在一个实施例中，该近似分割包括三维图像容积中的特定像素属于感兴趣的解剖区域的概率。例如，可以使用该近似分割来直接对图像数据迭代地执行一个或多个建模计算以得出与感兴趣的生物标志相关的信息。在一些实施例中，基于一个或多个建模计算的结果，在每次迭代期间细化该近似分割。
根据其它实施例，用于计算源自图像的生物标志的第二方法包括接收图像数据，该图像数据包括多个体素，所述多个体素定义表示感兴趣的解剖区域的三维图像容积。例如，通过基于医学条件(例如，由用户输入所指定的)选择解剖结构和感兴趣的生物标志来确定与感兴趣的生物标志相关的解剖结构。基于与感兴趣的生物标志相关的解剖结构选择强度模型。例如，在一个实施例中，基于来自其他病人的过去历史的数据库以及针对不同强度值如何对应于解剖结构的存在的注释模型来选择强度模型。使用该强度模型来确定多个加权值，其中每一个相应加权值对应于包括在该图像数据中的相应体素。使用该多个加权值对该图像数据应用计算模型，以得出与感兴趣的生物标志相关的信息。
在上述第二方法中，可以添加、加强、和/或细化各个特征。例如，在一些实施例中，在确定加权值时，由该强度模型确定并使用一个或多个研究特定输入值，该研究特定输入值定义针对强度模型的种子点。在一个实施例中，基于与解剖结构相关的先前研究，自动选择该研究特定输入值。在另一个实施例中，基于通过图形用户界面(GUI)的用户输入，确定该研究特定输入值。在一些实施例中，基于将计算模型应用于图像数据的结果，产生该解剖结构的近似分割。例如，该近似分割可以是二值掩码或者灰阶掩码，表示感兴趣的解剖区域的分割准确度。在一些实施例中，使用该近似分割来将该计算模型迭代地应用到图像数据。基于将该计算模型应用到图像数据的结果，可以在每次迭代期间细化该近似分割。
根据其它实施例，用于计算源自图像的生物标志的系统包括扫描器设备和计算机。该扫描器设备被配置为获取图像数据，该图像数据定义表示感兴趣的解剖区域的三维图像容积。该计算机可操作地与该扫描器设备耦合，并且配置为使用强度模型识别图像数据中的强度差别，并且使用所述图像数据中的强度差别直接对图像数据应用计算模型，以得出与感兴趣的生物标志相关的信息。
根据以下参照附图进行的说明性实施例的详细描述，本发明的附加特征和优点将变得显而易见。
附图说明
根据以下的详细描述，在结合附图阅读时，更好理解本发明的前述和其它方面。出于说明本发明的目的，在附图中示出了目前优选的实施例，然而要理解，本发明不限于所公开的特定手段。附图中包括了以下图：
图1提供了根据本发明的一些实施例向图像数据直接应用建模技术而不需要先期分割的高层级图示。
图2提供了根据本发明的一些实施例的流程图，图示了直接使用3D图像数据来计算生物标志的过程。
图3图示了示例性计算环境，本发明的实施例可以在此环境中实现；以及
图4提供了根据一些实施例的并行处理平台400的图示，并行处理平台400可以被用于加速计算模型的执行。
具体实施方式
下面的公开根据涉及用于通过直接作用于图像(如经由体素网格)而不需要创建分割网孔的中间步骤来计算相关生物标志的方法、系统和装置的几个实施例描述本发明。简单地说，使用强度模型来识别图像数据中的感兴趣的区域。然后跨该图像应用该计算模型，使用该强度模型的输出来指导与生物标志相关的计算。在概念上，这可以被视为围绕感兴趣的区域(例如，扭曲的动脉)绘制一个框，并跨整个框执行计算。传统的模型首先尝试取得血管本身的形状，并且然后在血管内运行模型。然而，在此处所描述的各种实施例的情况下，血管不是分离的，而是跨整个框应用该建模方程，并且基于框的特定区域是否显现为血管，对计算模型的方程进行不同加权。在一些实施例中，用户可以指定一些特征，诸如但不限于，血管网络中的感兴趣的起点和终点、或者瓣膜附近的区域，该区域需要完整的应力或应变信息。在一些实施例中，也可以使用源于图像的量来计算额外的参数。各种方法、系统和装置尤其适用于心脏应用，其中建模分析传统上需要心脏分割。然而，应当理解的是，此处所描述的技术可一般应用于任何类型的解剖结构分析。
图1提供根据本发明的一些实施例的建模技术向图像数据直接应用而不需要先期分割的高层级图示。使用一个或多个本领域已知的成像设备(例如，核磁共振成像(MRI)或者计算机断层(CT)扫描器)来获取3D图像容积105。应当注明的是，可以直接在成像设备上或者在工作站作为后处理步骤应用此处讨论的一般技术。因此，在一些实施例中，作为成像设备一部分(即，可操作地耦合到获取成像数据的扫描仪)的计算机可被配置为执行此处描述的技术。在其它实施例中，该3D图像容积105可以存储在数据库(图1中未示出)上，并且可以在成像后的任何时间在工作站取回。在图1的示例中，该3D图像容积105提供了心脏的表示。本示例中的用户期望通过分析一个或多个生物标志来分析包括在心脏内的血管105A中的潜在堵塞。在本公开的这个情境中，术语“生物标志”指任何可测量的解剖物质或行为，该解剖物质或行为可以指示一种现象(例如疾病、感染或者环境暴露)的严重性或存在性。
强度模型110基于在图像容积105的个体体素之间图像强度的区别及其变化识别该3D图像容积105中的感兴趣的区域，在该感兴趣的区域中预期存在生物标志。该强度模型110的结果是引入在未进行先期分割的情况下内部边界效果的齐性近似值。可以跨该3D图像容积105的体素应用该强度模型110从而指定每个体素属于与生物标志有关的解剖特征的可能性。在一些实施例中，在每个体素基础上应用该强度模型110，而在其它实施例中，它表征比如整个组织切片的宽阔区域。由该强度模型110所分析的数据可以包括，例如，3D图像容积105中的局部图像强度、梯度、和/或相关结构。例如，可以使用一种或多种本领域已知的机器学习技术来实现该强度模型110。例如，在一个实施例中，使用先前获取的图像数据中存在的强度特征和/或空间特征来训练贝叶斯分类器。然后，可以使用这个贝叶斯分类器来识别该3D图像容积105中的特征。在图1中，通过具有感兴趣的区域115A的3D图像容积105图示该强度模型110的输出。
应当注明的是，该强度模型110只是可以应用于识别感兴趣的区域115A的模型的一个示例。在一些实施例中，除了该强度模型之外(或者作为该模型的替代)，可以使用其它的成像模态。例如，在3D空间中，可以使用诸如组织强度和/或硬度之类的其它功能信息作为建模分析的一部分。
一旦已识别出感兴趣的区域115A，就使用获得的定义感兴趣的区域115A的参数直接对3D图像容积115起动计算模型120模型。计算模型120所使用的方程包括与感兴趣的区域115A的特征相对应的加权项(下面更详细地描述)，该加权项允许在整个体素网格上运行该方程。
作为示例，考虑如下实施例：在该实施例中该计算模型120被设计用于使用计算流体动态特性进行血液动力流建模。对用户来说将不必分割血管壁。该模型利用局部图像强度及其变化来将计算引导到期望的生物标志。一个这样的模型可以依据局部图像强度变化使用作用于流体流的力。这是齐性表示，该齐性表示对未建模的壁的存在的曳引效应进行建模并且防止血液从流体域泄漏。由计算模型120应用的流体流的数学公式可以由下式确定：
其中，u是血液速度，p是血压，ρ和μ分别是血液密度和黏度。项F是应用曳引效应的力，允许不进行先期分割而对该区域建模。例如，这个力F可以由下面的方程建模：
其中α和C2表示局部有效材料属性，该属性依靠图像强度及其局部变化。可以选择项α和C2以确立大多数流位于血管网络中。该力被采取为在速度方面是负的，因为该力起作用以阳滞流，充当曳引项。例如，如果C2的值小，则存在小的曳引(例如，在血管中)。替代地，如果C2大，则存在大量的曳引(如，在组织中)。在上面呈现的F的表示中，可以只使用该力模型的线性部分(达西定律)、或仅使用二次项(福希海默尔定律)、或者这全部两项的组合。
虽然上面陈述的方程1和方程2涉及测量流量，但是可以把该一般概念延伸到其它临床应用。例如，如果分析心脏上的电传播，则如此为组织设计电属性，以使得潜在驱动心脏运动的动作不会超出心肌组织之外。另外，如果可获得近似分割(例如，作为二值或灰阶掩码，或者作为近似网孔)，则该计算模型120可以利用该信息来指导建模计算。注意该掩码可以是统计学上的，传达分割正确的可能性。另外，应当注意的是，方程1和方程2仅仅是由计算模型120所应用的针对流体流的数学公式的一个示例。在不同的实施例中在不使用分割的情况下例如可以使用其它的方程。
在一些实施例中，使用此处描述的技术生成的预测可以用于指导分割。因而，可以结合依赖于用于输入的分割网孔的现有模型来使用此处所讨论的各个实施例。例如，借助于使用此处所描述的技术获得的通过特定血管的流速度和其它血液动力量的量值，比借助于仅仅单独分析血管的形状，能够更加精确地在分割网孔中识别和描绘血管的特征(例如，壁的位置)。如图1中的箭头125所图示，可通过迭代应用计算模型120来细化解剖特征来细化这个分割。这提供了此处所描述的技术与传统技术之间的一个差别，传统技术假定分割的几何形状是完全精确的，并且在过程中不存在虑及校正的反馈。例如，是否迭代执行计算的选择可以取决于对于用于进一步处理的组织的准确几何形状的需要(例如，在支架计划的情况中)。在每次迭代期间，分析建模的值(例如，压力)以确定它们改变了多少。一旦迭代之间的改变低于阈值，就可以停止迭代。然而，迭代数量的标准也可以(或替代地)取决于特定于该问题的其它条件。而且，如果主要目标是为了取得分割，则人们不需要准确地求解流量。例如，在一些实施例中，可以使用具有简化方程的简化模型，以允许更快速地执行建模过程的迭代。
在一些实施例中，可以组合多个图像(来自单一模态或者来自多种模态)以确定用于由计算模型120所执行的物理计算中的图像特征/属性。例如，可以组合MR和CT图像，以获得软组织的属性，该软组织的属性随后由计算模型120在执行物理计算中使用。
还应当注明的是，虽然以上描述的示例涉及血液动力流建模，但是此处所描述的技术可一般地应用于各种类型和形式的解剖行为的建模。例如，考虑可以对心脏成像数据执行的各种建模。可以使用电生理学模型来分析心脏上的电传导模式，以确定这些模式是否以同步方式进行操作，或者确定是否正发生某种潜在的心脏缺陷。可以使用机械模型来分析心脏上的各种应力和应变，并确定心脏泵送得有多好。另外，可以使用模型来捕获血管中血流的动态特性。在所有这些情况中，可以使用此处所描述的技术来对相关数据进行建模，而无需分割形式中心脏的准确形状。更确切地，该模型可以直接作用于底层组件(例如，心房、心室、血管等)的体素数据、掩码、或者概率表示，而不创建器官的分割形状。
图2示出了图示根据此处所描述的一些实施例的用于计算生物标记的过程200的流程图。在一些实施例中，在图像重建期间或之后在成像设备上执行该过程200。在其它实施例中，该过程200在工作站作为成像完成后的后处理步骤被执行。在205，包括体素网格的3D图像数据从成像设备直接或间接接收。本领域已知的任何类型的成像设备(包括但不限于各种类型的MRI和CT设备)可用于获取图像数据。
在210开始，执行映射过程以将预定强度模型应用到所获取的3D图像数据。在210，基于例如用户输入，接收正测量什么解剖结构的指示。例如，继续上面提供的血液动力流建模示例，用户可以指出他或她期望测量跨特定心脏血管的压力。替代地，用户可简单地指定医学条件，并且可基于例如预定信息自动识别感兴趣的解剖区域(任何相关生物标记)，该预定信息把医学条件与解剖和生物标记数据相关联。
接下来，在图2中的215，基于感兴趣的解剖结构选择强度模型。强度模型以其最简单的形式基于在所接收的3D图像容积中呈现的不同图像强度值，仅告诉人们建模的活动(例如流)预期在哪里发生。在一些实施例中，该强度模型动态地得出，而在其他实施例中，它是预定的，并且从数据库取回。例如，在一些实施例中，基于来自其他病人的过去历史的数据库以及针对不同强度值如何对应于血管的存在或不存在的注释模型来选择强度模型。另外，在一些实施例中，病人的医学记录可用于识别找出什么类型的特征用于建模。例如，如果病人正在胸疼，则强度模型的选择可以被设计为识别潜在堵塞，并关注该区域以查看在那里如何最好地适配模型。
继续参考图2，在220，确定强度模型的一个或多个研究特定输入值。例如，如果用户正在执行血管压力研究，则这些附加输入可以包括边界区域，边界区域定义正测量的流的入口和出口种子点。在一些实施例中，这些种子点基于涉及类似参数的过去的生物标记计算来确定。例如，继续研究通过血管的压力的示例，种子点可基于针对在过去对相同病人或其他病人所应用的类似研究所使用的信息来选择。在其他实施例中，种子点可使用由诸如美国心脏协会(AHA)之类的组织所提供的准则来得出。例如，AHA准则可以定义血管的平均位置，并且种子点可通过在该位置周围减去特定值(例如以厘米或毫米定义的)来定义。替代地，或者如果其他数据不可获取，可以在具有或不具有来自用户的额外输入的情况下来估计种子点。例如，在一些实施例中，用户与图形用户界面(GUI)交互，以点击种子点来定义感兴趣的区域。另外，应当理解的是，之前所提到的用于定义种子点的技术还可结合使用。例如，在一些实施例中，种子点可基于AHA准则被自动确定。然后这些种子点可由用户通过与GUI交互来调整。除了定义边界条件的输入值之外，也可确定其他输入以提供针对研究的其他指导。例如模型的另一输入可以是经过血管的流量(例如5ml/sec)。这可例如基于已知流量范围、血管自身估计尺寸和/或其他病人数据来确定。
一旦强度模型被选择并且其输入值被确定，那么在225，使用强度模型计算多个权重。权重可依赖于所使用的模型在每个体素或每个顶点的基础上来计算。在一些实施例中，与特定体素(或顶点)相关联的权重基于与特定体素相关联的数据以及相邻和更高阶信息二者确定。例如，考虑每个体素为0或1(即黑和白图像)的最简单情况。数据包括如下事实：特定体素为1，它还可以包括如下指示：有多少相邻体素为1、对于值为1的体素存在什么样的曲率、图像梯度的方向等。使用这种信息，可确定反映特定体素在感兴趣的解剖结构里面或外面的概率的值。
在230，所计算的权重用于对3D图像容积直接应用计算模型。原理上，模型计算跨整个3D图像容积被执行。但是，由模型使用的方程被设计为使用权重以确保几乎没有建模的活动(例如流)发生在由在220得出的种子点所定义的区域之外。例如，在一些实施例中，权重可用于定义力值，如果流正经过显现为血管的物体时，力值强，并且在显现为组织的区域中，该力值针对流提供大量阻力。这样，即使流遍及整个区域开始，也几乎没有流经过组织，因为存在太大的力无法克服。
图2中所示的过程200可以包括一个或多个循环(未在图2中示出)以对3D图像容积直接迭代地应用计算模型。在一些实施例中，感兴趣的解剖区域的近似分割基于在230处所应用的计算模型的结果。该近似分割可以例如是二值掩码或灰阶掩码，表示感兴趣的解剖区域的分割精确度。近似分割可以用于基于计算模型结果在每个迭代期间细化近似分割。还应当注意，近似分割可用于与模型不相关的额外计算过程。因此，过程200可结合依赖于用于执行的分割图像的传统过程一起使用。
在一些实施例中，过程200可以被细化减少模型的处理时间。例如，种子点外部的组织也可以从流计算排除，或者在230处应用计算模型之前在过程200的任何点处，可以裁剪3D图像容积以仅仅包括感兴趣的区域。
图3图示了示例性计算环境300，其中可实现本发明的实施例。例如，该计算环境300可用于实现图2中所描述的过程200。计算环境300可以包括计算机系统310，其是计算系统的一个示例，在其上可实现本发明的实施例。计算机和计算环境(诸如计算机系统310和计算环境300)对本领域技术人员来说是已知的，并且因此在此处简单描述。
如图3中所示，计算机系统310可以包括通信机构，诸如总线321或用于与计算机系统310进行信息通信的其他通信机构。计算机系统310还包括与总线321耦合的一个或多个处理器320，用于处理信息。处理器320可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或者本领域中已知的任何其他处理器。
计算机系统310还包括耦合到总线321的系统存储器330，用于存储信息和指令以由处理器320执行。系统存储器330可以包括易失性和/或非易失性存储器形式的计算机可读存储介质，诸如只读存储器(ROM)331和/或随机访问存储器(RAM)332。系统存储器RAM332可以包括(一个或多个)其他动态存储设备(例如动态RAM、静态RAM、和同步DRAM)。系统存储器ROM331可以包括(一个或多个)其它静态存储设备(例如可编程ROM、可擦除PROM和电可擦除PROM)。另外，系统存储器330可用于存储在处理器320执行指令期间的暂时变量或其他中间信息。包含基本例程的基本输入/输出系统333(BIOS)可以存储在ROM331中，基本例程诸如在启动期间在计算机系统310内的元件之间帮助传送信息。RAM332可以包含可即时访问和/或目前正由处理器320对其进行操作的数据和/或程序模块。系统存储器330还可以包括，例如，操作系统334、应用程序335、其他程序模块336和程序数据337。
计算机系统310还包括耦合到总线321的盘控制器340，用于控制存储信息和指令的一个或多个存储设备，诸如硬盘341和可移动介质驱动器342(例如软盘驱动器、光盘驱动器、磁带驱动器和/或固态驱动器)。存储设备可使用适当的设备接口(例如小型计算机系统接口(SCSI)、集成电路设备(IDE)、通用串行总线(USB)或火线(FireWire))添加到计算机系统310。
计算机系统310还可以包括耦合到总线321的显示控制器365，用于控制显示器366(诸如阴极射线管(CRT)或液晶显示器(LCD))以向计算机用户显示信息。计算机系统包括输入接口360和一个或多个输入设备，诸如键盘362和指示设备361，用于与计算机用户交互，并提供信息给处理器320。指示设备361例如可以是鼠标、轨迹球、或指示杆，用于向处理器320传送方向信息和命令选择，并且用于在显示器366上控制光标移动。显示器366可提供触摸屏接口，触摸屏接口允许输入补充或替代由指示设备361进行的方向信息以及命令选择的传送。
响应于处理器320执行包含在存储器(诸如系统存储器330)中的具有一条或多条指令的一个或多个序列，计算机系统310可执行本发明实施例的一部分或所有处理步骤。这种指令可从另一计算机可读介质(诸如硬盘341或可移动介质驱动器342)读取到系统存储器330中。硬盘341可以包含由本发明实施例所使用的一个或多个数据存储区以及数据文件。数据存储区内容和数据文件可被加密以提高安全性。处理器320还可以在多重处理布置中被采用，以执行包含在系统存储器330中的一个或多个序列的指令。在替代实施例中，硬连接电路可代替软件指令或与软件指令结合使用。因此，实施例不限于硬件电路和软件的任何特定组合。
如上所述，计算机系统310可包括至少一个计算机可读介质或存储器，用于保存根据本发明实施例编程的指令以及用于包含数据结构、表格、记录、或此处所描述的其他数据。此处所使用的术语“计算机可读介质”指代参与提供指令给处理器320用于执行的任何介质。计算机可读介质可以采用许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘、和磁光盘，诸如硬盘341或可移动介质驱动器342。易失性介质的非限制性示例包括动态存储器，诸如系统存储器330。传输介质的非限制性示例包括同轴电缆、铜线和光纤，包括制成总线321的线。传输介质还可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间所产生的那些。
计算环境300还可包括在联网环境中进行操作的、使用到一个或多个远程计算机(诸如远程计算机380)的逻辑连接的计算机系统310。远程计算机380可以是个人计算机(膝上或桌上型计算机)、移动设备、服务器、路由器、网络PC、点对点设备或其它一般网络节点，并且典型地包括以上所描述的与计算机系统310相关的很多或所有元件。当在联网环境中使用时，计算机系统310可包括调制解调器372，用于建立通过网络371(诸如因特网)的通信。调制解调器372可通过用户网络接口370或通过另一合适的机构连接到总线321。
网络371可以是本领域中通常已知的任何网络或系统，包括因特网、企业网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或一系列连接、蜂窝电话网络、或能够促进计算机系统310和其他计算机(例如远程计算机380)之间通信的任何其他网络或介质。网络371可以是有线的、无线的或其组合。有线连接可使用以太网、通用串行总线(USB)、RJ-11或本领域中通常已知的任何其他有线连接来实现。无线连接可使用Wi-Fi、WiMAX、以及蓝牙、红外、蜂窝网络、卫星或本领域中通常已知的任何其它无线连接方法来实现。另外，几个网络可单独工作或彼此通信地工作以促进网络371中的通信。
图4提供了根据一些实施例的并行处理平台400的图示，并行处理平台400可用于加速执行计算模型(见例如图1中的计算模型120)。该平台400可用于例如实现本发明，其中使用NVIDIATMCUDA(或者类似的并行计算平台)。图4中所示的架构包括通过总线415(例如PCIe总线)连接的主计算单元(“主机”)405和GPU设备(“设备”)410。主机405包括CPU(在图4中未示出)和CPU可访问的主存储器425。图形处理设备410包括GPU和其关联的存储器420，此处称为设备存储器。图形处理设备存储器420可以包括各种类型的存储器，每个针对不同的存储器用途被优化。例如，在一些实施例中，图形处理设备存储器包括全局存储器、常量存储器和纹理存储器。应用的并行部分可以在平台400上作为“设备核”或简称“核””被执行。核包括参数化代码，参数化代码被配置为执行特定程序。并行计算平台被配置为基于由用户提供的参数、设置和其它选择跨平台400以最佳方式执行这些核。另外，在一些实施例中，并行计算平台可以包括附加功能以允许在由用户提供的最少输入的情况下以最佳方式自动处理核。
通过线程块网格执行每个核所需的处理。使用并行核执行，流以及与轻量级事件同步，图4的平台400(或类似架构)可用于并行化涉及求解计算模型的各种操作。图形处理设备410包括一个或多个线程块430，线程块430表示图形处理设备的计算单元。术语线程块指代一组线程，该组线程可以通过共享存储器协作并且同步它们的执行以协调存储器访问。例如，在图4中，线程440、445和450在线程块430中进行操作，并且访问共享存储器435。依赖于所使用的并行计算平台，线程块可以按照网格结构来组织。一个计算或一系列计算可随后被映射到该网格上。例如，在利用CUDA的实施例中，计算可被映射到一维、二维、或三维网格。每个网格包含多个线程块，并且每个线程块包含多个线程。例如，在图4中，线程块430以具有m+1行和n+1列的二维网格结构组织。一般地，在同一网格的不同线程块中的线程不能彼此通信或同步。但是，同一网格中的线程块可以在同一时间在GPU内的同一多重处理器上运行。每个线程块中的线程数量可以受到硬件或软件约束的限制。
继续参考图4，寄存器455、460和465表示线程块430可用的快速存储器。每个寄存器仅可由单一线程访问。因此，例如，寄存器455仅可由线程440访问。相反，每个线程块分配共享存储器，因此，块中的所有线程可以访问同一共享存储器。这样，共享存储器435被设计为由线程块430中的每个线程440、445和450并行访问。线程能够访问由同一线程块(例如线程块430)中的其他线程从设备存储器420加载的共享存储器435中的数据。图形处理设备存储器420由网格的所有块访问，并且可使用例如动态随机访问存储器(DRAM)来实现。
本公开的实施例可利用硬件和软件的任何结合来实现。另外，本公开的实施例可被包括于制品(例如一个或多个计算程序产品)中，该制品具有例如计算机可读、非易失性介质。介质已在其中具体化例如计算机可读程序代码，该程序代码用于提供和促进本公开的实施例的机制。制品可作为计算机系统的一部分被包括或被单独出售。
虽然此处已公开了各个方面和实施例，但是其他方面和实施例对本领域技术人员来说将是显而易见的。此处所公开的各个方面和实施例是为了说明的目的，并且不意图限制，其中由所附的权利要求指出真实范围和精神。
如此处所用的可执行应用包括代码或机器可读指令，该代码或机器可读指令用于例如响应于用户命令或输入调节处理器以实现预定功能，诸如操作系统、情境数据获取系统或其他信息处理系统的那些。可执行过程是代码或机器可读指令的一段、子例程、或代码的其它不同区段，或用于执行一个或多个特定过程的可执行应用的一部分。这些过程可包括接收输入数据和/或参数、对接收到的输入数据执行操作和/或响应于所接收到的输入参数来执行功能、以及提供结果输出数据和/或参数。
此处所用的图形用户界面(GUI)包括由显示处理器产生的一个或多个显示图像，并且实现用户与处理器或其它设备的交互以及关联数据获取和处理功能。GUI还包括可执行过程或可执行应用。可执行过程或可执行应用调节显示处理器产生表示GUI显示图像的信号。这些信号被提供给显示设备，显示设备显示图像供用户查看。处理器，在可执行过程或可执行应用的控制下，响应于从输入设备接收的信号操纵GUI显示图像。以这种方式，用户可使用输入设备与显示图像交互，实现用户与处理器或其他设备的交互。
此处的功能和过程步骤可自动执行或者完全或部分地响应于用户命令执行。自动执行的活动(包括步骤)响应于一个或多个可执行指令或设备操作来执行，而不需要用户直接发起该活动。
附图的系统和过程不是排它性的。可根据本发明的原理得出完成相同目标的其他系统、过程和菜单。虽然本发明参考特定实施例来描述，但是要理解的是，此处所示并描述的实施例和变形仅仅是为了说明的目的。本领域技术人员可在不脱离本发明范围的情况下实现对目前设计的修改。如此处所描述的，各种系统、子系统、代理、管理器和过程可使用硬件组件、软件组件、和/或它们的组合来实现。除非权利要求元素明确使用短语“用于……的装置”来记载，否则此处没有权利要求元素在35U.S.C.112第6款的条款下被理解。

Claims (21)

1.一种用于计算源自图像的生物标志的方法，所述方法包括：
接收图像数据，所述图像数据定义表示感兴趣的解剖区域的三维图像容积；
跨三维图像容积在每个体素的基础上应用强度模型以为每个体素指定加权值，所述加权值指示所述体素包括与感兴趣的生物标志有关的解剖特征的可能性，其中所述强度模型是使用先前获取的图像数据的强度特征训练的机器学习模型；以及
在不提前从所述图像数据创建分割网孔的情况下通过直接对所述图像数据执行一个或多个建模计算来得出与所述感兴趣的生物标志相关的信息，其中所述加权值用于将所述建模计算限制到包括与所述感兴趣的生物标志有关的解剖特征的体素。
2.根据权利要求1的方法，还包括：
基于执行所述一个或多个建模计算的结果，产生所述感兴趣的解剖区域的近似分割。
3.根据权利要求2的方法，其中所述近似分割是二值掩码。
4.根据权利要求2的方法，其中所述近似分割是灰阶掩码，所述灰阶掩码表示所述感兴趣的解剖区域的分割精确度。
5.根据权利要求2的方法，其中所述近似分割包括三维图像容积中的特定像素属于感兴趣的解剖区域的概率。
6.根据权利要求2的方法，还包括：
使用所述近似分割来直接对图像数据迭代地执行所述一个或多个建模计算，以得出与感兴趣的生物标志相关的信息。
7.根据权利要求6的方法，还包括：
基于所述一个或多个建模计算的结果，在每次迭代期间细化所述近似分割。
8.根据权利要求1的方法，其中所述感兴趣的解剖区域包括心血管结构，并且所述一个或多个建模计算提供对心血管结构内的流体动态特性的度量。
9.根据权利要求8的方法，其中流体动态特性的度量是心血管结构内的压力差。
10.根据权利要求8的方法，其中流体动态特性的度量是心血管结构内的部分流储备量。
11.一种用于计算源自图像的生物标志的方法，所述方法包括：
接收图像数据，所述图像数据包括多个体素，所述多个体素定义表示感兴趣的解剖区域并且包括多个体素的三维图像容积；
确定与感兴趣的生物标志相关的解剖结构；
基于与感兴趣的生物标志相关的解剖结构选择强度模型，其中所述强度模型是使用先前获取的图像数据的强度特征训练的机器学习模型；
跨三维图像容积在每个体素的基础上应用强度模型以为每个体素指定加权值，所述加权值指示所述体素包括所述解剖结构的一部分的可能性；以及
在不提前从所述图像数据创建分割网孔的情况下通过直接对所述图像数据执行一个或多个建模计算来得出与所述感兴趣的生物标志相关的信息，其中所述加权值用于将所述建模计算限制到包括与所述感兴趣的生物标志有关的解剖特征的体素。
12.根据权利要求11的方法，其中确定与感兴趣的生物标志相关的解剖结构包括：
接收用户输入，所述用户输入定义医学条件；以及
基于所述医学条件选择所述解剖结构和感兴趣的生物标志。
13.根据权利要求11的方法，其中基于来自其他病人的过去历史的数据库以及针对不同强度值如何对应于解剖结构的存在的注释模型来选择强度模型。
14.根据权利要求11的方法，还包括：
确定一个或多个研究特定输入值，所述研究特定输入值定义针对所述强度模型的种子点，
其中，在确定所述多个加权值时，所述强度模型使用所述一个或多个研究特定输入值。
15.根据权利要求14的方法，其中基于与所述解剖结构相关的先前研究自动选择所述一个或多个研究特定输入值。
16.根据权利要求14的方法，其中基于通过图形用户界面（GUI）的用户输入确定所述一个或多个研究特定输入值。
17.根据权利要求11的方法，还包括：
基于对图像数据应用计算模型的结果，产生所述解剖结构的近似分割。
18.根据权利要求17的方法，其中所述近似分割是二值掩码。
19.根据权利要求17的方法，其中所述近似分割是灰阶掩码，灰阶掩码表示所述感兴趣的解剖区域的分割精确度。
20.根据权利要求17的方法，还包括：
使用所述近似分割对所述图像数据迭代地应用所述计算模型；以及
基于对图像数据应用所述计算模型的结果，在每次迭代期间细化所述近似分割。
21.一种用于计算源自图像的生物标志的系统，所述系统包括：
扫描器设备，配置为获取图像数据，所述图像数据定义表示感兴趣的解剖区域并且包括多个体素的三维图像容积；以及
计算机，可操作地耦合到所述扫描器设备，并配置为：
应用强度模型以为每个体素指定加权值，所述加权值指示所述体素包括与感兴趣的生物标志有关的解剖特征的可能性，其中所述强度模型是使用先前获取的图像数据的强度特征训练的机器学习模型，以及
在不提前从所述图像数据创建分割网孔的情况下通过直接对所述图像数据执行一个或多个建模计算来得出与所述感兴趣的生物标志相关的信息，其中所述加权值用于将所述建模计算限制到包括与所述感兴趣的生物标志有关的解剖特征的体素。
CN201610227977.6A 2015-03-05 2016-03-04 源自图像的生物标志的直接计算 Active CN105938628B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/639,189 US10002419B2 (en) 2015-03-05 2015-03-05 Direct computation of image-derived biomarkers
US14/639189 2015-03-05

Publications (2)

Publication Number Publication Date
CN105938628A CN105938628A (zh) 2016-09-14
CN105938628B true CN105938628B (zh) 2019-07-12

Family

ID=56096442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610227977.6A Active CN105938628B (zh) 2015-03-05 2016-03-04 源自图像的生物标志的直接计算

Country Status (3)

Country Link
US (1) US10002419B2 (zh)
EP (1) EP3117771B1 (zh)
CN (1) CN105938628B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11213220B2 (en) 2014-08-11 2022-01-04 Cubisme, Inc. Method for determining in vivo tissue biomarker characteristics using multiparameter MRI matrix creation and big data analytics
US9922433B2 (en) 2015-05-29 2018-03-20 Moira F. Schieke Method and system for identifying biomarkers using a probability map
US11071501B2 (en) 2015-08-14 2021-07-27 Elucid Bioiwaging Inc. Quantitative imaging for determining time to adverse event (TTE)
US11087459B2 (en) 2015-08-14 2021-08-10 Elucid Bioimaging Inc. Quantitative imaging for fractional flow reserve (FFR)
US11094058B2 (en) 2015-08-14 2021-08-17 Elucid Bioimaging Inc. Systems and method for computer-aided phenotyping (CAP) using radiologic images
US11676359B2 (en) 2015-08-14 2023-06-13 Elucid Bioimaging Inc. Non-invasive quantitative imaging biomarkers of atherosclerotic plaque biology
US10176408B2 (en) 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging
US11113812B2 (en) 2015-08-14 2021-09-07 Elucid Bioimaging Inc. Quantitative imaging for detecting vulnerable plaque
GB2542114B (en) * 2015-09-03 2018-06-27 Heartfelt Tech Limited Method and apparatus for determining volumetric data of a predetermined anatomical feature
US10776963B2 (en) 2016-07-01 2020-09-15 Cubismi, Inc. System and method for forming a super-resolution biomarker map image
US11232853B2 (en) 2017-04-21 2022-01-25 Cubisme, Inc. System and method for creating, querying, and displaying a MIBA master file
US10474917B2 (en) * 2017-09-26 2019-11-12 Siemens Healthcare Gmbh Smart editing of image-processing results
US20200202622A1 (en) * 2018-12-19 2020-06-25 Nvidia Corporation Mesh reconstruction using data-driven priors
EP3899864A4 (en) 2019-08-05 2022-08-31 Elucid Bioimaging Inc. COMBINED EVALUATION OF MORPHOLOGICAL AND PERIVASCULAR PATHOLOGY MARKERS
US11854281B2 (en) 2019-08-16 2023-12-26 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for processing brain images and extracting neuronal structures
CA3187931A1 (en) * 2020-08-13 2022-02-17 Christopher Kanan Systems and methods to process electronic images for continuous biomarker prediction

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100481096C (zh) * 2003-06-25 2009-04-22 美国西门子医疗解决公司 心脏成像的自动区域心肌评定的方法
WO2005114229A2 (en) 2004-05-14 2005-12-01 The General Hospital Corporation Perfusion weighted mri with local arterial input functions
US9679389B2 (en) * 2009-05-19 2017-06-13 Algotec Systems Ltd. Method and system for blood vessel segmentation and classification
US8315812B2 (en) 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
US8958618B2 (en) * 2012-06-28 2015-02-17 Kabushiki Kaisha Toshiba Method and system for identification of calcification in imaged blood vessels

Also Published As

Publication number Publication date
EP3117771B1 (en) 2023-11-29
CN105938628A (zh) 2016-09-14
EP3117771A3 (en) 2017-03-15
EP3117771A2 (en) 2017-01-18
US10002419B2 (en) 2018-06-19
US20160260208A1 (en) 2016-09-08

Similar Documents

Publication Publication Date Title
CN105938628B (zh) 源自图像的生物标志的直接计算
EP3382642B1 (en) Highly integrated annotation and segmentation system for medical imaging
Trebeschi et al. Deep learning for fully-automated localization and segmentation of rectal cancer on multiparametric MR
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US20190370969A1 (en) Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium
Wen et al. A novel statistical cerebrovascular segmentation algorithm with particle swarm optimization
Lafata et al. Radiomics: a primer on high-throughput image phenotyping
Zhang et al. Semi-supervised assessment of incomplete LV coverage in cardiac MRI using generative adversarial nets
EP3043318A1 (en) Analysis of medical images and creation of a report
US20170032090A1 (en) Virtual biopsy techniques for analyzing diseases
Menze et al. Analyzing magnetic resonance imaging data from glioma patients using deep learning
US20210319879A1 (en) Method and system for computer aided detection of abnormalities in image data
JP2022519678A (ja) マルチモーダル画像化及びアンサンブル機械学習モデルを使用する自動化された標的及び組織のセグメンテーションのための方法及び装置
US11893729B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US11508063B2 (en) Non-invasive measurement of fibrous cap thickness
US20230310085A1 (en) Systems and methods for estimation of blood flow using response surface and reduced order modeling
Gsaxner et al. Exploit fully automatic low-level segmented PET data for training high-level deep learning algorithms for the corresponding CT data
Nishio et al. Lung cancer segmentation with transfer learning: usefulness of a pretrained model constructed from an artificial dataset generated using a generative adversarial network
US10762636B2 (en) Systems and methods for volumetric segmentation of structures in planar medical images
Sharif et al. Artificial neural network-based system for PET volume segmentation
Egger Refinement-cut: user-guided segmentation algorithm for translational science
Liang et al. Residual convolutional neural networks with global and local pathways for classification of focal liver lesions
Bai et al. A proof-of-concept study of artificial intelligence–assisted contour editing
Mata et al. MedicalSeg: a medical GUI application for image segmentation management
JP2017189394A (ja) 情報処理装置および情報処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant