CN110838173A - 基于三维纹理特征的个体化脑共变网络构建方法 - Google Patents
基于三维纹理特征的个体化脑共变网络构建方法 Download PDFInfo
- Publication number
- CN110838173A CN110838173A CN201911115878.9A CN201911115878A CN110838173A CN 110838173 A CN110838173 A CN 110838173A CN 201911115878 A CN201911115878 A CN 201911115878A CN 110838173 A CN110838173 A CN 110838173A
- Authority
- CN
- China
- Prior art keywords
- brain
- gray
- matrix
- texture
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 167
- 238000010276 construction Methods 0.000 title claims description 16
- 239000011159 matrix material Substances 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 38
- 210000005013 brain tissue Anatomy 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 210000004884 grey matter Anatomy 0.000 claims description 16
- 210000001519 tissue Anatomy 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 210000001175 cerebrospinal fluid Anatomy 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 210000004885 white matter Anatomy 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 7
- 241000282414 Homo sapiens Species 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 6
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 5
- 210000003710 cerebral cortex Anatomy 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000002600 positron emission tomography Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000000547 structure data Methods 0.000 description 4
- 238000005481 NMR spectroscopy Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 102100026933 Myelin-associated neurite-outgrowth inhibitor Human genes 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 230000001054 cortical effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004660 morphological change Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000003012 network analysis Methods 0.000 description 2
- 238000002610 neuroimaging Methods 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 101100025360 Arabidopsis thaliana MYB56 gene Proteins 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 102100021852 Neuronal cell adhesion molecule Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明为基于三维纹理特征的个体化脑共变网络构建方法,该方法的步骤是:1)利用组织分割将脑结构图像分割为各脑组织成分浓度图,再将各脑组织成分浓度图配准至标准空间模板,得到标准化后的脑结构图像;2)通过不少于两种的灰度特征提取方式,对标准化后的脑结构图像在体素水平提取图像相应的三维纹理特征,并获得各纹理特征的空间分布图;3)定义脑区图谱作为网络节点,从灰度矩阵纹理特征数据集中,提取个体被试每个脑区的纹理特征,计算任意两脑区纹理特征向量的皮尔逊相关性,构建脑区间纹理特征的协共变矩阵。该方法能够利用个体受试自身脑影像数据,把脑区间纹理特征向量的相似性作为脑网络边的度量,进而构建个体被试的脑共变网络。
Description
技术领域
本发明设计了一种基于三维纹理特征的个体化脑共变网络构建方法。
背景技术
随着计算机科学和医学影像技术的高速发展,新的成像技术和脑影像分析方法层出不穷。其中,磁共振成像(magnetic resonance imaging,MRI)能够通过非侵入方式反映人体内部组织(例如,大脑皮层)结构及功能的生理状态,而基于图论的复杂网络分析能为评价脑区皮层结构的共变关系提供了有效的方法。因此,上述两种方法的结合已逐渐成为医学研究、临床诊疗中的重要工具。
传统的脑结构共变网络主要利用大脑皮层形态学信息进行衡量,其主要依据受试者之间大脑灰质体积或皮层厚度在脑区间的相关性来评价脑区之间的连接程度(He,Y.etal.,The segregated connectome of late-life depression:a combined corticalthickness and structural covariance analysis.,Cerebral Cortex,2007,17(10):2407-2419.)。上述连接的强弱能够反映大脑内脑区之间是否具有形态学变化的协同性,而这些协同性也能够在一定程度上反映脑区间在功能上的信息流动(Mak,E.et al.,Thesegregated connectome of late-life depression:a combined cortical thicknessand structural covariance analysis.,Neurobiology of aging,2016,48:212-221.)。然而,上述结构共变网络分析方法也有其不可避免的缺点。传统脑共变网络一般是把个体作为时间序列中的一个样本,跨受试者构建脑网络,所以该方法衡量跨受试者间大脑形态学变化的协同性。上述方法反映的是脑区间跨被试影像指标的相似性,即仅考虑受试者群体效应,而忽略受试者间脑结构的个体差异,不能反映脑网络拓扑属性的个体异质性。另外,上述方法会受到受试者数目的影响,只有基于大样本受试者脑影像数据,才能获得较为稳定的脑共变网络。
传统的纹理分析是对二维图像的不同灰度级在空间分布模式上的描述,其解算的纹理特征能够在感兴趣区水平反映二维图像的灰度分布信息。随着医学影像获取手段的发展,纹理分析也从二维图像拓展到高维空间分辨率的三维医学图像的数据化描述,进而通过描述三维图像的特征反映局部感兴趣区的纹理结构,主要涉及领域包括:肺肿瘤(Aerts,H.J.W.L.et al.,Decoding tumour phenotype by noninvasive imaging using aquantitative radiomics approach.,Nature Communication,2014,5:4006)、脑肿瘤(Herlidou-Même,S.et al.,MRI texture analysis on texture test objects,normalbrain and intracranial tumors.,AJNR Am J Neuroradiol,2003,21:989-993)、局部病变脑组织(De Oliveira M.et al.,MR imaging texture analysis of the corpuscallosum and thalamus in amnestic mild cognitive impairment and mildAlzheimer disease.,AJNR Am J Neuroradiol,2011,32:60-66)等。在最新的脑MRI研究中,Rouzbeh Maani将上述基于感兴趣区水平的纹理分析方法进一步优化,提出了一种基于全脑体素(不依赖感兴趣区勾画的先验信息)水平构建灰度共生矩阵(gray-level co-occurrence matrix,GLCM)的纹理特征提取方法,进而通过数据驱动方法获得能量、自相关、同质性、异质性、相关性等八种纹理特征的脑空间分布图(Maani,R.et al.,Voxel-based texture analysis of the brain.,Plos One,2015,10(3):e0117759)。由于该方法利用三维影像中的体素信息描述生理组织结构和细微结构差异,所以在医学图像处理和分析有着非常广泛的应用。然而,上述研究提取纹理特征数目有限,不能完全描述图像的信息,具有一定的局限性。
综上,本发明设计创新性地提出一种基于三维纹理特征的个体化脑共变网络构建方法。本发明设计融合灰度共生矩阵(gray-level co-occurrence matrix,GLCM)、灰度游程长度矩阵(gray-level run-length matrix,GLRLM)、灰度区域大小矩阵(gray-levelsize-zone matrix,GLSZM)和领域灰度差分矩阵(neighborhood gray-tone differencematrix,NGTDM)多种三维纹理特征提取方法,提取出60余种独立的纹理特征。进而利用脑区间纹理特征的相似性作为脑网络边的度量,构建每个被试的脑共变网络。
发明内容
本发明的主旨是提出一种新的脑共变网络构建方法,与传统基于跨受试者的结构共变网络方法相比,能够利用个体受试自身脑影像数据,并结合多种方法提取纹理特征,把脑区间纹理特征向量的相似性作为脑网络边的度量,进而构建个体被试的脑共变网络。
本发明的核心创新点为首次利用三维纹理特征信息来构建脑网络,即把脑区间高维度纹理特征向量的相似性(通过皮尔逊相关获得)作为脑网络边的度量,证明了脑区间纹理特征的分布也具有脑网络属性。经测试该发明能有效刻画脑网络拓扑属性的个体差异,为研究人脑认知个体异质性,以及神经/精神疾病的个体化诊疗提供了潜在的生物学标记。另外,该项发明不局限于脑核磁结构图像,还可简便地拓展至其它脑影像数据(例如T2WI(T2加权像),BOLD fMRI(功能磁共振成像),ASL(磁共振灌注成像中动脉自旋标记),dMRI(动态磁共振),CT图像,PET(正电子发射断层成像)等,以及这些多模态数据的联合)。本发明有望获得可观的社会效益有望获得客观的社会效益。
为实现上述目的,本发明具体采用的技术方案是:
一种基于三维纹理特征的个体化脑共变网络构建方法,该方法的步骤是:
1)数据采集和预处理:利用脑影像采集设备获取个体被试自身三维脑结构图像数据,然后对获取的三维脑结构图像数据进行预处理,即利用组织分割将脑结构图像分割为各脑组织成分浓度图,再将各脑组织成分浓度图配准至标准空间模板,得到标准化后的脑结构图像;
2)体素水平三维纹理特征的提取:通过不少于两种的灰度特征提取方式,对标准化后的脑结构图像在体素水平提取图像相应的三维纹理特征,并获得各纹理特征的空间分布图,得到灰度矩阵纹理特征数据集;
3)构建个体化脑共变网络:定义经典脑区图谱作为网络节点,从上述灰度矩阵纹理特征数据集中,提取个体被试每个脑区的纹理特征,计算任意两脑区纹理特征向量的皮尔逊相关性,构建脑区间纹理特征的协共变矩阵。
所述灰度特征提取方式为四种,包括灰度共生矩阵、灰度游程长度矩阵、灰度区域大小矩阵和领域灰度差分矩阵。
灰度共生矩阵纹理特征提取过程是:设三维灰度图像I(x,y,z),x∈[1,…,Nx[,y∈[1,…,Ny],z∈[1,…,Nz]为在坐标为(x,y,z)位置的灰度强度值,并且以某一体素V(x,y,z)作为圆心,半径定义为R,R为一个体素大小,标定感兴趣区MR(V),图像的灰度值范围为[1,Ng];标定感兴趣区MR(V)用公式(1-1)表示:
在与某个灰度值直接连接的体空间内,具有某种灰度值i的体素与周围26个相邻的距离为d(d=1)的条件下,统计整个三维图像里移动某一体素中重复出现灰度值j概率p(i,j),按照公式(1-2)得到Ng×Ng的灰度共生矩阵PGLCM(i,j)
灰度游程长度矩阵的纹理特征过程是:设游程长度值范围为[1,Lr],通过在公式(1-1)获得的标定感兴趣区MR(V)内,利用公式(1-3)计算四个方向角度θ∈[0°,45°,90°,135°]的特征,得到一个大小为Ng×Lr的灰度游程长度矩阵PGLRLM(i,j),
灰度区域大小矩阵中的值等于灰度级对应区域大小的数量,灰度区域大小矩阵行数固定等于灰度值,灰度区域大小矩阵列数等于最大区域的大小,即设图像的区域值范围为[1,Lz];通过在公式(1-1)获得的标定感兴趣区MR(V)内,利用公式(1-4)计算得到一个大小为Ng×Lz的灰度区域大小矩阵PGLSZM(i,j),
领域灰度差分矩阵是以上述标定感兴趣区MR(V)内,描述某灰度值i的所有体素与它们周围26个相邻体素灰度平均值之间差异的度量p(i),p(i)按照公式(1-5)计算:
步骤1)中预处理的过程是:
通过图像分割技术提取全脑灰质、白质和脑脊液成分;
通过线性仿射变换法,将组织分割后的各脑组织成分浓度图粗配准到相应的MNI标准空间模板,该步骤只将各脑组织成分的轮廓与标准空间模板进行对齐;
采用DARTEL技术,将仿射变换后的各脑组织成分浓度图进行非线性高阶配准,将分割后的各脑组织成分浓度图细配准至MNI标准空间;
对标准化的图像进行重采样,得到空间分辨率为3mm×3mm×3mm的除去非脑组织的原始脑结构图,该图只包括标准化后的灰质、白质和脑脊液成分。
与现有技术相比,本发明的有益效果是:
本发明提出的基于三维纹理特征的个体化脑共变网络构建方法,其核心创新点是利用三维纹理特征信息来构建脑网络,即定义脑区间三维纹理特征向量的相关性作为脑网络边的度量。该发明具有以下几个方面的有益效果:
1.能刻画个体被试脑网络拓扑属性的差异。传统脑共变网络的构建方法是以人群的某个脑指标作为特征向量,即把每个被试的脑指标作为向量的一个元素,然后计算脑区间特征向量的相关性,构建脑网络的边。因此传统方法反映的是脑区间跨被试影像指标的相似性,即仅考虑受试者群体效应,而忽略受试者间脑结构的个体差异,该方法不能反映脑网络拓扑属性的个体异质性。本发明基于脑影像的纹理信息构建超高维度的特征向量,并定义脑区间这些特征向量的相关性作为脑网络边的度量,从而实现了在个体被试水平构建脑网络。经测试该发明能够有效刻画脑网络拓扑属性的个体差异。
2.为刻画脑网络提供了新的定量指标。传统脑共变网络的构建一般基于单个经典脑影像指标,比如皮层厚度、皮层面积、灰质体积和脑血流等。尚无报道利用脑影像的三维纹理特征构建脑网络。本研究通过整合多种纹理特征构建脑网络,具有以下优势:其一,纹理特征的提取是纯数据驱动的过程,本身不依赖于传统脑指标的特定假设,因此理论上其技术受限程度较低;其二,本发明不是基于某个特定的指标,而是数十个纹理指标的组合,因此理论上能更好地刻画脑网络的个体化信息。
3.拓展性强,实现简单易行。本发明的技术流程仅以T1WI脑核磁结构像为示例介绍了实现过程。事实上,该项发明不仅局限于T1WI脑核磁结构图像,还可简便地拓展至其它脑影像数据,例如三维高分辨T2加权成像(T2WI)、功能磁共振成像(BOLD fMRI)、动脉自旋标记成像(ASL)、弥散成像(dMRI)、计算机断层成像(CT)、和正电子发射计算机断层成像(PET)等多模态脑影像数据,以及这些多模态数据的联合。因此本发明能大大丰富个体化脑网络特征。
综上,本发明具有能够反映脑网络拓扑属性的个体差异,为刻画脑网络提供了新的定量指标,拓展性强,实现简单等优点。本发明为研究人脑认知行为的个体异质性,以及为神经/精神疾病的个体化诊疗提供了新的潜在生物学标记,有望获得可观的经济效益和社会效益。
附图说明
图1:本发明基于三维纹理特征的个体化脑共变网络构建方法的流程示意图。
图2:脑结构图像(灰质)空间配准计算示意图。从左至右,依次是个体脑T1加权像,个体空间的灰质密度图,标准空间的灰质密度图。
具体实施方式
下面结合实施例及附图进一步解释本发明,但并不以此作为对本申请保护范围的限定。
本发明设计了一种基于三维纹理特征的个体化脑共变网络构建方法。构建方法流程如图1所示,该方法主要包括脑影像数据预处理,基于体素水平的三维纹理特征提取,以及个体化脑共变网络构建。首先,利用核磁共振设备三维T1加权序列获得高空间分辨率的脑结构图像;其次,对采集脑结构数据进行预处理,通过组织分割和空间配准等方法将每个脑结构图像配准至标准空间模板,以减少个体解剖位置差异对结果的影像;然后,通过灰度共生矩阵、灰度游程长度矩阵、灰度区域大小矩阵和领域灰度差分矩阵四种特征提取方法,对标准化后的脑结构图像在体素水平提取图像相应的三维纹理特征,并获得各纹理特征的空间分布图;最后,采用经典脑区模板作为网络节点,从上一步纹理特征数据集中提取个体被试每个脑区的纹理特征,计算任意两脑区纹理特征向量的相关性,构成的脑区间纹理特征的协共变矩阵,最后基于图论原理构建个体化脑共变网络。下面结合示意图进行详细说明。
(1)磁共振数据采集和预处理:利用核磁共振设备三维T1加权序列(比如GE公司的BRAVO序列,或者Siemens的MPRAGE序列)获得高空间分辨率的脑结构图像。对采集脑结构数据进行预处理,通过现有组织分割和空间配准等方法(Good,C.D.et al.,A voxel-basedmorphometric study of ageing in 465normal adult human brains.,Neuroimage,2001,14(1Pt 1):21-36.)将每个脑组织成分浓度图像配准至标准空间模板,以减少个体解剖位置差异对结果的影像。
脑结构数据预处理,主要包括组织分割和空间配准:
脑结构数据预处理核心是通过图像分割技术提取全脑灰质、白质和脑脊液等组织成分,再将其配准至标准空间(以灰质为例),如图2所示。
组织分割:在分割算法中,最大后验概率技术(maximum a posterior technique)和部分容积评估(partial volume estimation)被用来评估每个体素可能属于灰质、白质、脑脊液和非脑组织(包括颅骨和头皮等)等组织的概率(Ashburner,J.,Friston,K.J.,Voxel-based morphometry--the methods.,Neuroimage,2000,11(6Pt 1):805-21.)。其中,某个成分(例如,灰质)中每个体素值就表示该体素属于当前成分的概率,即灰质浓度。
空间配准:把所有受试者的脑结构核磁共振图像配准到同一维度立体空间,标准化后的图像内每个体素理论上对应的解剖位置相同。本发明所应用的标准空间为蒙特利尔神经研究所(Montreal Neurological Institute,MNI)提供MNI标准空间的DARTEL模板,该模板源于IXI数据集中的550名正常人脑结构图像(Good,C.D.et al.,A voxel-basedmorphometric study of ageing in 465 normal adult human brains.,Neuroimage,2001,14(1Pt 1):21-36.)。
具体步骤如下:
通过线性仿射变换方法,将组织分割后的各脑组织成分浓度图(例如,灰质浓度、白质浓度和脑脊液浓度)粗配准到相应的MNI标准空间模板,该步骤只将各脑组织成分的轮廓与标准空间模板进行对齐;
由于粗配准的误差易导致的分割偏差,为提高配准的精确度,本发明采用DARTEL技术,将仿射变换后的各脑组织成分浓度图进行非线性高阶配准(6阶),将分割后的各脑组织成分浓度图细配准至MNI标准空间;
对标准化的图像进行重采样,得到空间分辨率为3mm×3mm×3mm的除去非脑组织的原始脑结构图,该图只包括标准化后的灰质、白质和脑脊液成分。
(2)体素水平三维纹理特征的提取:通过灰度共生矩阵(GLCM)、灰度游程长度矩阵(GLRLM)、灰度区域大小矩阵(GLSZM)和领域灰度差分矩阵(NGTDM)四种特征提取方法,对标准化后的脑结构图像在体素水平提取图像相应的三维纹理特征,并获得各纹理特征的空间分布图。
纹理特征是在图像中的组成方式和重复出现某种显著的灰度结构及规律,是对一定区域内的像素/体素灰度分布、邻域关系等进行统计,所以纹理特征是对图像进行量化处理应用中最为广泛的方法之一。本发明采用基于统计学的灰度纹理特征提取方法,其包括灰度共生矩阵(GLCM)、灰度游程长度矩阵(GLRLM)、灰度区域大小矩阵(GLSZM)和领域灰度差分矩阵(NGTDM)四种特征提取方法,
2.1)基于灰度共生矩阵的纹理特征
灰度共生矩阵是一种经典的基于统计学的纹理特征提取方法,该方法利用不同角度下像素/体素之间的位置关系来反映纹理特征(Haralick,R.M.,Shanmugam,K.,Dinstein,I.Textural Features for Image Classification.,IEEE Trans Syst ManCybern.,1973,3:610–621.)。其计算方法如下:设图像的灰度值范围为[1,Ng],通过计算灰度共生矩阵,得到一个大小为Ng×Ng的特征纹理矩阵。而且,在该方法中有两个非常重要的参数:距离d和角度θ。因此,选择不同的θ与d就会获得不同的特征纹理矩阵。
在角度θ的定义方面,假设二维灰度图像I(x,y),x∈[1,…,Nx],y∈[1,…,Ny]为在坐标为(x,y)位置的灰度强度值,并且某一像素与周围8个相邻像素的距离为d的条件下,产生四种情况:
(1)角度0°:I(x,y),I(x+d,y)和I(x-d,y)三个像素的角度为0°;
(2)角度45°:I(x,y),I(x+d,y+d)和I(x-d,y-d)三个像素的角度为45°;
(3)角度90°:I(x,y),I(x,y+d)和I(x,y-d)三个像素的角度为90°;
(4)角度135°:I(x,y),I(x-d,y+d)和I(x+d,y-d)三个像素的角度为135°。
取图像(N×N,N为像素)中任何一点(x,y)及另一个角度(x+a,y+b),按照上述角度和距离,统计整个图像矩形里移动某一像素中重复出现某种灰度概率,最终得到(Ng+1)×(Ng+1)的灰度共生矩阵。
本发明将上述计算方法应用到三维图像灰度共生矩阵。与二维图像相比,本发明设三维灰度图像I(x,y,z),x∈[1,…,Nx],y∈[1,…,Ny],z∈[1,…,Nz]为在坐标为(x,y,z)位置的灰度强度值,并且以某一体素V(x,y,z)作为圆心,半径定义为R(R为一个体素大小)标定感兴趣区MR(V),公式(1-1)如下所示:
在该范围内,具有某种灰度值i的体素V(Vx,Vy,Vz)与周围26个相邻体素的距离为d(d=1)的条件下,统计整个三维图像里移动某一像素中重复出现灰度值j概率p(i,j),最终得到Ng×Ng的灰度共生矩阵PGLCM(i,j),公式(1-2)所示。
2.2)基于灰度游程长度矩阵的纹理特征
游程长度能度量图像中量化灰度级的游程,也是纹理特征的重要方法之一,其反映图像的灰度分布关于方向和局部邻域变化信息(Galloway,M.M.,Texture analysisusing gray level run lengths.,Computer Graphics and Image Processing,1975;4(2):172-179.)。一个灰度级的游程被定义为具有相同灰度或某个灰度范围且空间位置连续的体素数量。在粗糙纹理中,由于灰度变化平缓,所以长游程就较多,而总游程数则较少;反之,在细微纹理中,灰度值突变较多,短游程则较多,导致总游程较多。其计算方法与灰度共生矩阵相似,方法描述如下:设图像的灰度值范围为[1,Ng],游程长度值范围为[1,Lr],通过在上述标定感兴趣区MR(V)内,计算灰度游程长度矩阵PGLRLM(i,j),得到一个大小为Ng×Lr的特征纹理矩阵。灰度游程矩阵同样可以计算四个方向角度θ∈[0°,45°,90°,135°]的特征,其公式(1-3)所示。
2.3)基于灰度区域大小矩阵的纹理特征
灰度区域大小矩阵源于Thibault矩阵(Thibault,G.et al.,Texture indexesand gray level size zone matrix.Application to cell nuclei classification.InPattern Recognition and Information Processing.Minsk,Belarus,2009,140-145.),是纹理特征的高级统计矩阵,用于描述图像灰度分布的二元条件概率密度函数的估计。图像纹理越均匀,矩阵宽度越大,越平坦。灰度区域大小矩阵与灰度游程长度矩阵和灰度共生矩阵不同,不需要进行多个角度方向计算。其计算方法如下:灰度区域大小矩阵中的值等于灰度级对应区域大小的数量。矩阵行数固定等于灰度值,列数等于最大区域的大小,即设图像的灰度值范围为[1,Ng],区域值范围为[1,Lz]。通过在上述标定感兴趣区MR(V)内,计算灰度区域大小矩阵PGLSZM(i,j),得到一个大小为Ng×Lz的特征纹理矩阵,其公式(1-4)所示。
2.4)领域灰度差分矩阵
领域灰度差分矩阵是以上述标定感兴趣区MR(V)内,描述某灰度值i的所有体素与它们周围26个相邻体素灰度平均值之间差异的度量p(i)(Amadasun,M.and King,R.,Textural features corresponding to textural properties.IEEE Transactions onSystems,Man,and Cybernetics,1989,19(5),1264-1274),其公式如下:
表1所示为上述四种纹理特征提取方式获得的纹理矩阵的详细信息。
表1纹理特征矩阵的详细信息
(3)构建个体化脑共变网络:定义经典脑区图谱(如Brainnetome Atlas含246个连接上独立的脑区,Fan,L.et al.,The Human Brainnetome Atlas:A New Brain AtlasBased on Connectional Architecture.,Cerebral Cortex,2016,26(8):3508-3526.)作为网络节点。从上述四种灰度矩阵纹理特征数据集中,提取个体被试每个脑区的纹理特征(62个),计算任意两脑区纹理特征向量的皮尔逊相关性,构建脑区间纹理特征的协共变矩阵。
最后基于图论原理解算个体化脑共变网络,计算全局和局部脑区的脑网络拓扑属性(Sporns,O.,The human connectome:a complex network.,Ann N Y Acad Sci.,2011,1224:109-125.)。
基于三维纹理特征的个体化脑共变网络构建方法主要考虑每个脑区的三维纹理特征的相关性衡量脑区间的共变连接。首先,按照预先划定脑图谱模板(如BrainnetomeAtlas 246个脑区模板),提取每个受试者每个脑区的三维纹理特征均值。然后,本发明基于两个脑区的纹理特征向量计算Pearson相关性,用于评估任意两个脑区间连接强度。而且,通过Fisherr-to-z变化将所有共变系数进行z变换,使得共变矩阵服从正态分布。随后,本发明选用稀疏度(阈值)衡量任意两个脑区间相关的显著性。如果两个脑区间相关性超过特定阈值(阈值在[-1,1]中取值,也可以根据统计学结果进行设定),那么两者是邻居节点,且表征邻接关系的矩阵单元即为ωij。反之,如果两个脑区间相关性低于阈值不相连,则表示上述节点不是邻居节点,表征邻接关系的矩阵单元即为0,进而获得每名受试者的加权对称的246×246的连接矩阵。再根据相关性得到脑区间纹理特征的协共变矩阵,即得到个体脑共变网络构。最后基于图论原理解算个体化共变网络,计算全局和局部脑区的脑网络属性。
本实施例可以根据多维度的三维纹理特征信息,在个体脑水平上构建共变网络,所获得脑共变网络可反映出个体脑的差异性。
另外,本发明不局限于脑核磁结构图像,其可拓展至其它脑影像数据(例如T2WI,BOLD fMRI,ASL,dMRI,CT,PET图像等)以及这些多模态数据的联合,有望获得可观的社会效益。
本发明未述及之处适用于现有技术。
Claims (5)
1.一种基于三维纹理特征的个体化脑共变网络构建方法,该方法的步骤是:
1)数据采集和预处理:利用脑影像采集设备获取个体被试自身三维脑结构图像数据,然后对获取的三维脑结构图像数据进行预处理,即利用组织分割将脑结构图像分割为各脑组织成分浓度图,再将各脑组织成分浓度图配准至标准空间模板,得到标准化后的脑结构图像;
2)体素水平三维纹理特征的提取:通过不少于两种的灰度特征提取方式,对标准化后的脑结构图像在体素水平提取图像相应的三维纹理特征,并获得各纹理特征的空间分布图,得到灰度矩阵纹理特征数据集;
3)构建个体化脑共变网络:定义经典脑区图谱作为网络节点,从上述灰度矩阵纹理特征数据集中,提取个体被试每个脑区的纹理特征,计算任意两脑区纹理特征向量的皮尔逊相关性,构建脑区间纹理特征的协共变矩阵。
2.根据权利要求1所述的构建方法,其特征在于,所述脑结构图像数据为脑核磁结构图像、T2WI、BOLDfMRI、ASL、dMRI、CT或PET图像中的任意一种或多种的联合。
3.根据权利要求1所述的构建方法,其特征在于,所述灰度特征提取方式为四种,包括灰度共生矩阵、灰度游程长度矩阵、灰度区域大小矩阵和领域灰度差分矩阵。
4.根据权利要求3所述的构建方法,其特征在于,灰度共生矩阵纹理特征提取过程是:设三维灰度图像I(x,y,z),x∈[1,…,Nx],y∈[1,…,Ny],z∈[1,…,Nz]为在坐标为(x,y,z)位置的灰度强度值,并且以某一体素V(x,y,z)作为圆心,半径定义为R,R为一个体素大小,标定感兴趣区MR(V),图像的灰度值范围为[1,Ng];标定感兴趣区MR(V)用公式(1-1)表示:
在与某个灰度值直接连接的体空间内,具有某种灰度值i的体素与周围26个相邻的距离为d(d=1)的条件下,统计整个三维图像里移动某一体素中重复出现灰度值j概率p(i,j),按照公式(1-2)得到Ng×Ng的灰度共生矩阵PGLCM(i,j)
灰度游程长度矩阵的纹理特征过程是:设游程长度值范围为[1,Lr],通过在公式(1-1)获得的标定感兴趣区MR(V)内,利用公式(1-3)计算四个方向角度θ∈[0°,45°,90°,135°]的特征,得到一个大小为Ng×Lr的灰度游程长度矩阵PGLRLM(i,j),
灰度区域大小矩阵中的值等于灰度级对应区域大小的数量,灰度区域大小矩阵行数固定等于灰度值,灰度区域大小矩阵列数等于最大区域的大小,即设图像的区域值范围为[1,Lz];通过在公式(1-1)获得的标定感兴趣区MR(V)内,利用公式(1-4)计算得到一个大小为Ng×Lz的灰度区域大小矩阵PGLSZM(i,j),
领域灰度差分矩阵是以上述标定感兴趣区MR(V)内,描述某灰度值i的所有体素与它们周围26个相邻体素灰度平均值之间差异的度量p(i),p(i)按照公式(1-5)计算:
5.根据权利要求1所述的构建方法,其特征在于,步骤1)中预处理的过程是:
通过图像分割技术提取全脑灰质、白质和脑脊液成分;
通过线性仿射变换法,将组织分割后的各脑组织成分浓度图粗配准到相应的MNI标准空间模板,该步骤只将各脑组织成分的轮廓与标准空间模板进行对齐;
采用DARTEL技术,将仿射变换后的各脑组织成分浓度图进行非线性高阶配准,将分割后的各脑组织成分浓度图细配准至MNI标准空间;
对标准化的图像进行重采样,得到空间分辨率为3mm×3mm×3mm的除去非脑组织的原始脑结构图,该图只包括标准化后的灰质、白质和脑脊液成分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911115878.9A CN110838173B (zh) | 2019-11-15 | 2019-11-15 | 基于三维纹理特征的个体化脑共变网络构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911115878.9A CN110838173B (zh) | 2019-11-15 | 2019-11-15 | 基于三维纹理特征的个体化脑共变网络构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110838173A true CN110838173A (zh) | 2020-02-25 |
CN110838173B CN110838173B (zh) | 2023-06-02 |
Family
ID=69575075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911115878.9A Active CN110838173B (zh) | 2019-11-15 | 2019-11-15 | 基于三维纹理特征的个体化脑共变网络构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110838173B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111583217A (zh) * | 2020-04-30 | 2020-08-25 | 深圳开立生物医疗科技股份有限公司 | 一种肿瘤消融疗效预测方法、装置、设备及计算机介质 |
CN111863244A (zh) * | 2020-07-28 | 2020-10-30 | 中国人民解放军国防科技大学 | 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统 |
CN112002428A (zh) * | 2020-08-24 | 2020-11-27 | 天津医科大学 | 以独立成分网络为参照的全脑个体化脑功能图谱构建方法 |
CN112364844A (zh) * | 2021-01-12 | 2021-02-12 | 北京三维天地科技股份有限公司 | 一种基于计算机视觉技术的数据采集方法及系统 |
CN113344984A (zh) * | 2021-06-11 | 2021-09-03 | 四川九洲电器集团有限责任公司 | 一种三维模型配准方法、设备及存储介质 |
CN113506248A (zh) * | 2021-06-24 | 2021-10-15 | 电子科技大学 | 一种融合mri形态学多指标的方法 |
CN113554663A (zh) * | 2021-06-08 | 2021-10-26 | 浙江大学 | 一种基于ct结构图像自动化分析多巴胺转运体pet图像的系统 |
WO2022126581A1 (zh) * | 2020-12-18 | 2022-06-23 | 深圳先进技术研究院 | Pet图像的重建方法、装置及设备 |
CN117292232A (zh) * | 2023-11-24 | 2023-12-26 | 烟台大学 | T1加权成像的多维空间特征获取方法、系统和设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509113A (zh) * | 2011-11-08 | 2012-06-20 | 浙江大学 | 一种脑瘤mib-1指数范围检测方法 |
CN102622749A (zh) * | 2012-02-22 | 2012-08-01 | 中国科学院自动化研究所 | 三维磁共振图像脑子结构自动分割的方法 |
CN104881680A (zh) * | 2015-05-25 | 2015-09-02 | 电子科技大学 | 一种基于二维特征和三维特征融合的阿尔茨海默病及轻度认知功能障碍识别方法 |
CN105931281A (zh) * | 2016-04-14 | 2016-09-07 | 中国人民解放军国防科学技术大学 | 基于网络特征熵定量刻画脑功能网络的方法 |
CN106251379A (zh) * | 2016-07-25 | 2016-12-21 | 太原理工大学 | 一种基于随机分块模型的脑结构网络连接优化方法 |
CN106683081A (zh) * | 2016-12-17 | 2017-05-17 | 复旦大学 | 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测系统 |
CN107507162A (zh) * | 2017-06-29 | 2017-12-22 | 南京航空航天大学 | 一种基于多模态脑影像的基因型分析方法 |
CN107909117A (zh) * | 2017-09-26 | 2018-04-13 | 电子科技大学 | 一种基于脑功能网络特征对早晚期轻度认知障碍的分类方法及装置 |
WO2018160512A1 (en) * | 2017-02-28 | 2018-09-07 | Board Of Trustees Of Michigan State University | Method and system for determining brain-state dependent functional areas of unitary pooled activity and associated dynamic networks with functional magnetic resonance imaging |
CN108898135A (zh) * | 2018-06-30 | 2018-11-27 | 天津大学 | 一种大脑边缘系统图谱构建方法 |
CN109840554A (zh) * | 2018-12-26 | 2019-06-04 | 贵州联科卫信科技有限公司 | 一种基于svm-rfe-mrmr算法的阿兹海默症mri图像分类方法 |
-
2019
- 2019-11-15 CN CN201911115878.9A patent/CN110838173B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509113A (zh) * | 2011-11-08 | 2012-06-20 | 浙江大学 | 一种脑瘤mib-1指数范围检测方法 |
CN102622749A (zh) * | 2012-02-22 | 2012-08-01 | 中国科学院自动化研究所 | 三维磁共振图像脑子结构自动分割的方法 |
CN104881680A (zh) * | 2015-05-25 | 2015-09-02 | 电子科技大学 | 一种基于二维特征和三维特征融合的阿尔茨海默病及轻度认知功能障碍识别方法 |
CN105931281A (zh) * | 2016-04-14 | 2016-09-07 | 中国人民解放军国防科学技术大学 | 基于网络特征熵定量刻画脑功能网络的方法 |
CN106251379A (zh) * | 2016-07-25 | 2016-12-21 | 太原理工大学 | 一种基于随机分块模型的脑结构网络连接优化方法 |
CN106683081A (zh) * | 2016-12-17 | 2017-05-17 | 复旦大学 | 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测系统 |
WO2018160512A1 (en) * | 2017-02-28 | 2018-09-07 | Board Of Trustees Of Michigan State University | Method and system for determining brain-state dependent functional areas of unitary pooled activity and associated dynamic networks with functional magnetic resonance imaging |
CN107507162A (zh) * | 2017-06-29 | 2017-12-22 | 南京航空航天大学 | 一种基于多模态脑影像的基因型分析方法 |
CN107909117A (zh) * | 2017-09-26 | 2018-04-13 | 电子科技大学 | 一种基于脑功能网络特征对早晚期轻度认知障碍的分类方法及装置 |
CN108898135A (zh) * | 2018-06-30 | 2018-11-27 | 天津大学 | 一种大脑边缘系统图谱构建方法 |
CN109840554A (zh) * | 2018-12-26 | 2019-06-04 | 贵州联科卫信科技有限公司 | 一种基于svm-rfe-mrmr算法的阿兹海默症mri图像分类方法 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111583217A (zh) * | 2020-04-30 | 2020-08-25 | 深圳开立生物医疗科技股份有限公司 | 一种肿瘤消融疗效预测方法、装置、设备及计算机介质 |
CN111863244A (zh) * | 2020-07-28 | 2020-10-30 | 中国人民解放军国防科技大学 | 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统 |
CN111863244B (zh) * | 2020-07-28 | 2022-12-16 | 中国人民解放军国防科技大学 | 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统 |
CN112002428B (zh) * | 2020-08-24 | 2022-03-08 | 天津医科大学 | 以独立成分网络为参照的全脑个体化脑功能图谱构建方法 |
CN112002428A (zh) * | 2020-08-24 | 2020-11-27 | 天津医科大学 | 以独立成分网络为参照的全脑个体化脑功能图谱构建方法 |
US12020351B2 (en) | 2020-12-18 | 2024-06-25 | Shenzhen Institutes Of Advanced Technology | Method, device and equipment for reconstructing PET images |
WO2022126581A1 (zh) * | 2020-12-18 | 2022-06-23 | 深圳先进技术研究院 | Pet图像的重建方法、装置及设备 |
CN112364844B (zh) * | 2021-01-12 | 2021-05-18 | 北京三维天地科技股份有限公司 | 一种基于计算机视觉技术的数据采集方法及系统 |
CN112364844A (zh) * | 2021-01-12 | 2021-02-12 | 北京三维天地科技股份有限公司 | 一种基于计算机视觉技术的数据采集方法及系统 |
CN113554663A (zh) * | 2021-06-08 | 2021-10-26 | 浙江大学 | 一种基于ct结构图像自动化分析多巴胺转运体pet图像的系统 |
CN113554663B (zh) * | 2021-06-08 | 2023-10-31 | 浙江大学 | 一种基于ct结构图像自动化分析多巴胺转运体pet图像的系统 |
CN113344984A (zh) * | 2021-06-11 | 2021-09-03 | 四川九洲电器集团有限责任公司 | 一种三维模型配准方法、设备及存储介质 |
CN113506248A (zh) * | 2021-06-24 | 2021-10-15 | 电子科技大学 | 一种融合mri形态学多指标的方法 |
CN113506248B (zh) * | 2021-06-24 | 2023-05-23 | 电子科技大学 | 一种融合mri形态学多指标的方法 |
CN117292232A (zh) * | 2023-11-24 | 2023-12-26 | 烟台大学 | T1加权成像的多维空间特征获取方法、系统和设备 |
CN117292232B (zh) * | 2023-11-24 | 2024-02-06 | 烟台大学 | T1加权成像的多维空间特征获取方法、系统和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110838173B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110838173A (zh) | 基于三维纹理特征的个体化脑共变网络构建方法 | |
Iftekharuddin et al. | Fractal-based brain tumor detection in multimodal MRI | |
Hu et al. | Brain tumor segmentation using multi-cascaded convolutional neural networks and conditional random field | |
Antel et al. | Automated detection of focal cortical dysplasia lesions using computational models of their MRI characteristics and texture analysis | |
Liu | A few thoughts on brain ROIs | |
Sabuncu et al. | Image-driven population analysis through mixture modeling | |
CN103942781B (zh) | 一种基于脑影像的脑网络构造方法 | |
US9730615B2 (en) | Automated surface-based anatomical analysis based on atlas-based segmentation of medical imaging | |
Guo et al. | Globally optimal co-segmentation of three-dimensional pulmonary 1H and hyperpolarized 3He MRI with spatial consistence prior | |
Saad et al. | Review of brain lesion detection and classification using neuroimaging analysis techniques | |
Kavita et al. | Study of image fusion optimization techniques for medical applications | |
Qayyum et al. | Automatic segmentation using a hybrid dense network integrated with an 3D-atrous spatial pyramid pooling module for computed tomography (CT) imaging | |
Ding et al. | M4fnet: Multimodal medical image fusion network via multi-receptive-field and multi-scale feature integration | |
Chen et al. | Self-learning based medical image representation for rigid real-time and multimodal slice-to-volume registration | |
Kim et al. | NEOCIVET: Extraction of cortical surface and analysis of neonatal gyrification using a modified CIVET pipeline | |
Studholme | Dense feature deformation morphometry: Incorporating DTI data into conventional MRI morphometry | |
Anwar et al. | Image processing technique for brain abnormality detection | |
Yang et al. | Adaptive zero-learning medical image fusion | |
Fu et al. | Sparse deformation prediction using Markove Decision Processes (MDP) for Non-rigid registration of MR image | |
Röttger et al. | Distance-based tractography in high angular resolution diffusion MRI | |
Katyal et al. | Gaussian intensity model with neighborhood cues for fluid-tissue categorization of multisequence MR brain images | |
Zhang et al. | Graph-based whole body segmentation in fetal MR images | |
Konopleva et al. | Robust intra-individual estimation of structural connectivity by Principal Component Analysis | |
Hari Prasath et al. | Brain Tumor Segmentation of Contrast Material Applied MRI Using Enhanced Fuzzy C-Means Clustering | |
Wang et al. | Multi-subject connectivity-based parcellation of the human IPL using Gaussian mixture models and hidden Markov random fields |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
OL01 | Intention to license declared | ||
OL01 | Intention to license declared |