CN116030259B - 一种腹部ct图像多器官分割方法、装置及终端设备 - Google Patents

一种腹部ct图像多器官分割方法、装置及终端设备 Download PDF

Info

Publication number
CN116030259B
CN116030259B CN202310293665.5A CN202310293665A CN116030259B CN 116030259 B CN116030259 B CN 116030259B CN 202310293665 A CN202310293665 A CN 202310293665A CN 116030259 B CN116030259 B CN 116030259B
Authority
CN
China
Prior art keywords
scale
dimensional image
transducer
overlapping
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310293665.5A
Other languages
English (en)
Other versions
CN116030259A (zh
Inventor
敖宇
蒋振刚
师为礼
赵家石
苗语
冯冠元
何飞
秦俊
何巍
张丽媛
曲峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202310293665.5A priority Critical patent/CN116030259B/zh
Publication of CN116030259A publication Critical patent/CN116030259A/zh
Application granted granted Critical
Publication of CN116030259B publication Critical patent/CN116030259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本申请提供腹部CT图像多器官分割方法、装置及终端设备,适用图像处理技术领域,包括:对待分割的腹部CT图像进行预处理以及数据增强,得多个非重叠三维图像块;将多个非重叠三维图像块依次输入到预设的基于多尺度Transformer的编码器‑解码器网络模型,得多个非重叠三维图像块的分割结果;将多个非重叠三维图像块的分割结果进行拼接处理,得待分割的腹部CT图像的多器官分割结果。本申请通过多尺度Transformer的编码器‑解码器网络模型进行上采样下采样捕获多尺度的语义信息,充分考虑了腹部多器官分割中目标器官所具有的多尺度性,能够从多个尺度充分捕获腹部CT图像中多器官特征,实现腹部各个器官的精准分割。

Description

一种腹部CT图像多器官分割方法、装置及终端设备
技术领域
本申请属于图像处理技术领域,尤其涉及腹部CT图像多器官分割方法、装置及终端设备。
背景技术
腹部CT图像是医生进行腹部疾病临床诊断、制定治疗计划(放疗、消融、手术术前规划)及定量分析(消融效果评估、手术切除效果评估)的重要手段。在进行上述工作时,需要由医生先准确的分割出患者腹部CT图像中的器官。虽然医生手动分割能够获得准确的器官分割结果,但是由于手动分割需要耗费医生大量精力且易受医生临床经验等因素制约进而影响分割精度。
为此学者们提出了很多腹部CT图像多器官分割方法,用于减轻医生工作负担、提升医生工作效率。目前腹部多器官分割方法大体上可以分为传统方法和深度学习方法。传统的腹部器官分割方法主要以采用图像配准来实现器官分割的统计形状模型和图谱模型为代表。这两种模型通常计算复杂度高,耗时大,鲁棒性有限。主要是因为目前形变图像配准精度有限,而腹部器官存在软组织形变且个体差异较大,也就使得传统的腹部器官分割方法分割精度不能够得到很好的保证。随着深度学习在医学图像分割领域展现出巨大潜力,有很多学者将深度学习方法用于腹部多器官分割。目前的深度学习方法大体可分为基于卷积神经网络的模型和基于视觉Transformer的模型。基于卷积神经网络的模型有着良好的分割性能,但是由于卷积运算的局部性限制导致模型很难学习到感受野以外图像中长距离依赖关系。使基于卷积神经网络的模型对图像中纹理、形状和尺寸变化明显的目标结构语义分割性能较弱。基于视觉Transformer的模型采用自注意力机制能够对图像全局信息进行建模,但是目前基于视觉Transformer的模型计算自注意力时忽略了腹部医学图像多器官的多尺度性,使得基于视觉Transformer的模型针对腹部医学图像多器官的分割性能不足。
发明内容
有鉴于此,本申请实施例提供了一种腹部CT图像多器官分割方法、装置及终端设备,可以解决基于视觉Transformer的模型针对腹部医学图像多器官的分割性能不足的问题。
本申请实施例的第一方面提供了一种腹部CT图像多器官分割方法,包括:
获取待分割的腹部CT图像;
对所述待分割的腹部CT图像进行预处理以及数据增强,得到多个非重叠三维图像块;
将多个非重叠三维图像块依次输入到预设的基于多尺度Transformer的编码器-解码器网络模型,得到所述基于多尺度Transformer的编码器-解码器网络模型依次输出的所述多个非重叠三维图像块的分割结果;所述预设的多尺度Transformer的编码器-解码器网络模型是由包含有多个腹部CT图像样本的数据集训练得到;所述数据集中的腹部CT图像均以上述预处理以及数据增强处理后经滑动窗口方法裁剪成多个非重叠三维图像块;
将所述多个非重叠三维图像块的分割结果进行拼接处理,得到所述待分割的腹部CT图像的多器官分割结果。
本申请实施例的第二方面提供了一种腹部CT图像多器官分割装置,包括:
图像获取模块,用于获取待分割的腹部CT图像;
图像预处理模块,用于对所述待分割的腹部CT图像进行预处理以及数据增强,得到多个非重叠三维图像块;
分割结果获得模块,用于将多个非重叠三维图像块依次输入到预设的基于多尺度Transformer的编码器-解码器网络模型,得到所述基于多尺度Transformer的编码器-解码器网络模型将依次输出的所述多个非重叠三维图像块的分割结果;所述预设的多尺度Transformer的编码器-解码器网络模型是由包含有多个腹部CT图像样本的数据集训练得到;所述数据集中的腹部CT图像均以上述预处理以及数据增强处理后经滑动窗口方法裁剪成多个非重叠三维图像块;以及
多器官分割结果获得模块,用于将所述多个非重叠三维图像块的分割结果进行拼接处理,得到所述待分割的腹部CT图像的多器官分割结果。
本申请实施例的第三方面提供了一种终端设备,其特征在于,所述终端设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面中所述腹部CT图像多器官分割方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,包括:存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中所述腹部CT图像多器官分割方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中所述腹部CT图像多器官分割方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:本申请中多尺度Transformer编码器-解码器模型具有多尺度的全局语义特征提取能力。不但能像传统编码器-解码器网络模型进行上采样下采样捕获多尺度的语义信息,而且在单个多尺度Transformer编码块、解码块中也具有多尺度信息感知能力,充分增强捕捉腹部CT图像中器官多尺度信息的能力,有助于提升腹部器官的分割精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种腹部CT图像多器官分割方法的实现流程示意图;
图2是本申请实施例提供的另一种腹部CT图像多器官分割方法的实现流程示意图;
图3是本申请实施例提供的构建基于多尺度Transformer的编码器-解码器网络模型的逻辑结构图;
图4是本申请实施例提供的单个多尺度Transformer编码块的逻辑结构图;
图5是本申请实施例提供的单个多尺度Transformer解码块的逻辑结构图;
图6是本申请实施例提供的腹部CT图像多器官分割装置的结构示意图;
图7是本申请实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
目前基于视觉Transformer的模型计算自注意力时忽略了腹部医学图像多器官的多尺度性,进而影响基于视觉Transformer的模型的分割性能,本申请提供了一种多尺度的Transformer编码器-解码器模型用于腹部CT图像多器官分割方法。该多尺度的Transformer编码器-解码器模型充分考虑了腹部多器官分割中目标器官所具有的多尺度性,能够从多个尺度充分捕获腹部CT图像中多器官特征,实现腹部各个器官的精准分割。另外,该多尺度的Transformer编码器-解码器模型用于腹部CT图像多器官分割方法,具体可以用于分割脾脏、肝脏、肾脏、胆囊、胃、胰腺、主动脉、下腔静脉等器官。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
图1示出了本申请实施例一提供的腹部CT图像多器官分割方法的实现流程图,详述如下:
步骤S102,获取待分割的腹部CT图像。
步骤S104,对所述待分割的腹部CT图像进行预处理以及数据增强,得到多个非重叠三维图像块。
在本申请实施例中,所述对所述待分割的腹部CT图像进行预处理以及数据增强,利用滑动窗口方法将待分割腹部CT图像裁剪成的多个非重叠三维图像块的步骤,具体为:对所述待分割的腹部CT图像预处理操作为体素间距重采样、归一化及体积裁剪处理;将处理后的腹部CT图像进行数据增强操作为随机旋转及随机翻转处理; 然后统计预处理后数据集中CT图像尺寸范围确定图像裁剪的尺寸,利用滑动窗口方法将CT图像裁剪成尺寸为的多个非重叠三维图像块,并将三维图像块作为预设的多尺度Transformer的编码器-解码器网络模型的输入。
步骤S106,将多个非重叠三维图像块依次输入到预设的基于多尺度Transformer的编码器-解码器网络模型,得到所述基于多尺度Transformer的编码器-解码器网络模型依次输出的所述多个非重叠三维图像块的分割结果。
在本申请实施例中,所述预设的多尺度Transformer的编码器-解码器网络模型是由包含有多个腹部CT图像样本的数据集训练得到;将腹部CT图像数据集分成训练集和验证集,对基于多尺度Transformer的编码器-解码器网络模型进行训练,直到模型收敛,保存验证阶段分割精度最优的模型参数作为最终模型训练的最终参数。
可选地,所述预设的多尺度Transformer的编码器-解码器网络模型是由包含有多个腹部CT图像样本的数据集训练得到,包括:获取多个腹部CT图像样本;对所述腹部CT图像进行预处理以及数据增强,利用滑动窗口方法将待分割腹部CT图像裁剪成的多个非重叠三维图像块;针对每一个非重叠三维图像块,将非重叠三维图像块输入至含有可变参数的多尺度Transformer的编码器-解码器网络模型,得到所述含有可变参数的多尺度Transformer的编码器-解码器网络模型输出的所述非重叠三维图像块对应的分割结果;获取各个非重叠三维图像块对应的分割结果以及与所述各个非重叠三维图像块对应的目标分割结果之间的各个损失差异;判断所述各个非重叠三维图像块的各个损失差异是否满足预设的收敛条件;当判断所述各个非重叠三维图像块的各个损失差异不满足预设的收敛条件时,调整所述多尺度Transformer的编码器-解码器网络模型中的可变参数,并返回至所述将三维图像块输入至含有可变参数的多尺度Transformer的编码器-解码器网络模型,得到所述含有可变参数的多尺度Transformer的编码器-解码器网络模型输出的所述非重叠三维图像块对应的分割结果的步骤;当判断所述各个非重叠三维图像块的各个损失差异满足预设的收敛条件时,将当前所述含有可变参数的多尺度Transformer的编码器-解码器网络模型确定为预设的多尺度Transformer的编码器-解码器网络模型。
可选地,在进行模型训练时,采用Dice损失函数和交叉熵损失函数作为损失,并利用AdamW优化算法进行参数更新直到模型收敛。
步骤S108,将所述多个非重叠三维图像块的分割结果进行拼接处理,得到所述待分割的腹部CT图像的多器官分割结果。
在本申请一个实施例中,所述多尺度Transformer的编码器-解码器网络模型是由块编码模块、多尺度Transformer编码器、多尺度Transformer解码器以及输出模块组成;所述多尺度Transformer编码器和多尺度Transformer解码器之间通过跳跃连接相连;所述多尺度Transformer编码器的包含多个阶段,每个阶段中有多个依次相连的多尺度Transformer编码块;所述多尺度Transformer解码器的包含多个阶段,每个阶段中有多个依次相连的多尺度Transformer解码块如图2所示,所述步骤S104,包括:
步骤S202,针对每一个非重叠三维图像块,将所述非重叠三维图像块输入至所述块编码模块中,以对所述非重叠三维图像块进行维度调整处理并转换成序列数据。
在本申请实施例中,所述的多尺度Transformer的编码器-解码器网络模型对于尺寸为的三维图像块,会先输入块编码模块中转换成序列/>形式,其中序列长度/>,/>表示序列维度。多尺度Transformer编码器第一阶段以转换后的序列作为输入。例如,对所有的腹部CT图像进行预处理操作将体素间距重采样成(1.5,1.5,2.0)。将对CT图像HU值在[-200,200]范围内的归一化到[0,1]之间,并将CT图像中不包含人体部分的背景裁减掉。然后以CT图像的三个坐标轴分别做随机旋转90°和随机翻转,利用滑动窗口将CT图像裁剪成尺寸为/>多个非重叠的三维图像块(、/>、/>取值均为128),并将三维图像块作为模型输入。
步骤S204,将所述序列数据输入至所述多尺度Transformer编码器中,通过所述多尺度Transformer编码器的多个阶段中的每个阶段对所述序列数据提取不同尺度的特征信息;所述多尺度Transformer编码器的每个阶段中的多尺度Transformer编码块可以感知不同尺度的特征,以从不同尺度充分提取所述序列数据中的特征信息。
在本申请实施例中,所述的多尺度Transformer编码器中的单个多尺度Transformer编码块包含两个层归一化、一个多尺度编码自注意力层及一个多层感知机,单个多尺度Transformer编码块的计算公式如下:
其中表示当前多尺度Transformer编码块的输出,/>表示多尺度Transformer编码块的多尺度编码自注意力层,/>表示多层感知机,/>表示层归一化,表示一个阶段中多尺度Transformer编码块的总数。
在本申请实施例中,多尺度编码自注意力层在进行多头自注意力计算时,对于输入序列,其多头总数为/>,将会分为两个组,第一组多头总数为/>,第一组多头获取/>根据以下公式:
其中分别表示多头自注意力计算所需的三个矩阵,/>表示经过多尺度编码自注意力层的层归一化后的输入序列/>,/>表示对/>进行/>倍下采样,/>分别为/>的线性映射矩阵。第一组多头获取的/>、/>、/>,其中/>
第二组多头总数为,第二组多头获取/>根据以下公式:
其中分别表示多头自注意力计算所需的三个矩阵,/>表示经过多尺度编码自注意力层的层归一化后的输入序列/>,/>表示对/>进行/>倍下采样,/>分别为/>的线性映射矩阵。
第二组多头获取的、/>、/>,其中/>
每组多头自注意力计算根据以下公式:
其中表示/>的维度。然后将拼接两组多头自注意力的结果作为多尺度编码自注意力层最终的输出结果。
在本申请实施例中,多尺度Transformer编码器第阶段/>的输入特征图维度为/>。多尺度Transformer解码器第/>阶段/>的输入特征图维度为/>
多尺度Transformer编码器每个阶段最后一个多尺度Transformer编码块所产生不同尺度的将会分别作为后续两个阶段的输入。其中多尺度Transformer编码器第二阶段仅有一个前序阶段,所以仅将第一阶段的输出作为输入。其中第五阶段仅将第一组多头产生的/>输出。剩余阶段均以其前两个阶段的输出拼接后作为输入,并且每阶段均有一个卷积层来调节输入特征图的维度。
步骤S206,将所述特征信息输入至多尺度Transformer解码器中进行不同尺度特征解码,得到所述三维图像块对应的多尺度分割特征;所述多尺度Transformer解码器的多个阶段中的每个阶段将解码不同尺度的特征,所述多尺度Transformer解码器的每个阶段中的多尺度Transformer解码块可以解码不同尺度的特征。
在本申请实施例中,所述的多尺度Transformer解码器中的多尺度Transformer解码块包含两个层归一化、一个多尺度解码自注意力层及一个多层感知机,单个多尺度Transformer解码块的计算公式如下:
其中表示当前多尺度Transformer解码块的输出,/>表示多尺度Transformer解码块的多尺度解码自注意力层,/>表示多层感知机,/>表示层归一化,/>表示一个阶段中多尺度Transformer编码块的总数。
多尺度解码自注意力层在进行多头自注意力计算时,对于输入序列,其多头总数为/>,将会分为两个组,第一组多头总数为/>,第一组多头获取/>根据以下公式:
其中分别表示多头自注意力计算所需的三个矩阵,/>表示经过多尺度解码自注意力层的层归一化后的输入序列/>,/>表示对/>进行/>倍上采样,/>分别为/>的线性映射矩阵。第一组多头获取的/>、/>、/>,其中
第二组多头总数为,第二组多头获取/>根据以下公式:
其中分别表示多头自注意力计算所需的三个矩阵,/>表示经过多尺度解码自注意力层的层归一化后的输入序列/>,/>表示对/>进行/>倍上采样,/>分别为/>的线性映射矩阵。
第二组多头获取的、/>、/>,其中/>
每组多头自注意力计算根据以下公式:
其中表示/>的维度。然后将拼接两组多头自注意力的结果作为多尺度解码自注意力层最终的输出结果。
在本申请实施例中,多尺度Transformer编码器每阶段通过跳跃连接分别与多尺度Transformer解码器的第二阶段及其后续阶段相连。多尺度Transformer编码器每阶段通过跳跃连接输出的特征图尺寸与每阶段输入特征图尺寸相同。
在本申请实施例中,所述的多尺度Transformer解码器最后一个阶段将输出最终的分割结果,多尺度Transformer解码器的其余每个阶段最后一个多尺度Transformer解码块所产生不同尺度的将会分别作为后续两个阶段的输入。多尺度Transformer解码器第一阶段仅以多尺度Transformer编码器的最后两个阶段的输出作为输入,并且输入的特征图将会先通过一个卷积层来调节维度。多尺度Transformer解码器第二阶段将以第一阶段的输出及多尺度Transformer编码器对应阶段跳跃连接的输出作为输入。多尺度Transformer解码器剩余阶段均以其前两个阶段的输出及多尺度Transformer编码器对应阶段跳跃连接的输出作为输入,并且输入的特征图将先通过卷积层调节维度。
步骤S208,将所述三维图像块对应的多尺度分割特征经输出模块处理,得到所述三维图像块的分割结果。
可选地,构建基于多尺度Transformer的编码器-解码器网络模型的逻辑结构图如图3所示,模型由块编码模块、多尺度Transformer编码器、多尺度Transformer解码器、输出模块四部分组成。块编码模块主要由一个三维卷积层和一个层归一化组成。E1、E2、E3、E4、E5分别表示多尺度Transformer编码器第一到第五阶段,多尺度Transformer编码器的第个阶段/>中有/>个多尺度Transformer编码块,并且此阶段中单个多尺度Transformer编码块的多尺度编码自注意力层多头总数/>取值为/>。多尺度Transformer编码器所有阶段的多尺度Transformer编码块第一组多头的下采样倍数/>取值均为2。除第五阶段的多尺度Transformer编码块第二组多头的下采样倍数/>取值为1,其余阶段的多尺度Transformer编码块第二组多头的下采样倍数/>取值均为4。单个多尺度Transformer编码块的逻辑结构如图4所示。D1、D2、D3、D4、D5、D6分别表示多尺度Transformer解码器的第一到第六阶段,多尺度Transformer解码器第/>阶段/>中有/>个多尺度Transformer解码块,并且此阶段中单个多尺度Transformer解码块的多尺度解码自注意力层多头总数/>取值为/>。多尺度Transformer解码器前四阶段的多尺度Transformer解码块第一组多头的上采样倍数/>取值均为2,第二组多头的上采样倍数/>取值均为4。第五阶段的多尺度Transformer解码块两组多头的上采样倍数/>、/>取值均为2。第六阶段的多尺度Transformer解码块两组多头的上采样倍数/>、/>取值均为1。单个多尺度Transformer解码块的逻辑结构如图5所示。输出模块由两个三维卷积层和一个softmax层组成。
通过将经预处理以及数据增强处理后的三维图像块输入至构建的基于多尺度Transformer的编码器-解码器网络模型,在进行该基于多尺度Transformer的编码器-解码器网络模型训练时,采用Dice损失函数和交叉熵损失函数作为损失,并利用AdamW优化算法进行参数更新直至模型收敛。在模型中,输入的三维图像块先通过块编码模块将维度调整为(/>取值为16),然后将三维图像块转为序列/>。序列/>将用作为多尺度Transformer编码器的初始输入。多尺度Transformer编码器每个阶段的多尺度Transformer编码块将从不同尺度充分提取序列中的特征。这些特征将送入多尺度Transformer的解码器每个阶段的多尺度Transformer解码块进行不同尺度特征解码,多尺度Transformer解码器末端将会输出与输入序列/>相同尺寸的分割特征。分割特征将维度将从/>恢复为/>形式,通过输出模块产生的输入此三维图像块的多分割结果。
本申请实施例提供的腹部CT图像多器官分割方法,对所述待分割的腹部CT图像进行预处理以及数据增强,利用滑动窗口方法将待分割腹部CT图像裁剪成的多个非重叠三维图像块,以三维图像块作为多尺度Transformer的编码器-解码器网络模型的输入,经多尺度Transformer编码器-解码器模型通过上采样下采样捕获多尺度的语义信息,得到三维图像块的分割结果,进而将待分割腹部CT图像的多个非重叠三维图像块的分割结果进行拼接处理,得到所述待分割的腹部CT图像的多器官分割结果;本申请通过多尺度Transformer的编码器-解码器网络模型进行上采样下采样捕获多尺度的语义信息,而且在单个多尺度Transformer编码块、解码块中也具有多尺度信息感知能力,充分增强捕捉腹部CT图像中器官多尺度信息的能力,有助于提升腹部器官的分割精度。
本申请实施例提供的多尺度的Transformer编码器-解码器模型由多个阶段组成,模型不但在每个阶段具有多尺度特征感知能力,而且不同阶段产生的多尺度特征能够在后续阶段相互融合,进一步增强模型多尺度特征提取能力。使模型能够充分捕获腹部CT图像中多器官的多尺度特征,实现腹部各个器官的精准分割。
对应于上文实施例的方法,图6示出了本申请实施例提供的腹部CT图像多器官分割装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。图6示例的腹部CT图像多器官分割装置可以是前述实施例提供的腹部CT图像多器官分割方法的执行主体。
参照图6,该腹部CT图像多器官分割装置包括:
图像获取模块620,用于获取待分割的腹部CT图像;
图像预处理模块640,用于对所述待分割的腹部CT图像进行预处理以及数据增强,得到多个非重叠三维图像块;
分割结果获得模块660,用于将多个非重叠三维图像块依次输入到预设的基于多尺度Transformer的编码器-解码器网络模型,得到所述基于多尺度Transformer的编码器-解码器网络模型依次输出的所述多个非重叠三维图像块的分割结果;所述预设的多尺度Transformer的编码器-解码器网络模型是由包含有多个腹部CT图像样本的数据集训练得到;所述数据集中的腹部CT图像均以上述预处理以及数据增强处理后经滑动窗口方法裁剪成多个非重叠三维图像块;
多器官分割结果获得模块680,用于将所述多个非重叠三维图像块的分割结果进行拼接处理,得到所述待分割的腹部CT图像的多器官分割结果。
本申请实施例提供的腹部CT图像多器官分割装置中各模块实现各自功能的过程,具体可参考前述图1所示实施例的描述,此处不再赘述。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。还应理解的是,虽然术语“第一”、“第二”等在文本中在一些本申请实施例中用来描述各种元素,但是这些元素不应该受到这些术语的限制。这些术语只是用来将一个元素与另一元素区分开。例如,第一表格可以被命名为第二表格,并且类似地,第二表格可以被命名为第一表格,而不背离各种所描述的实施例的范围。第一表格和第二表格都是表格,但是它们不是同一表格。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例提供的腹部CT图像多器官分割方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等终端设备上,本申请实施例对终端设备的具体类型不作任何限制。
例如,所述终端设备可以是WLAN中的站点(STAION,ST),可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol,SIP)电话、无线本地环路(WirelessLocal Loop,WLL)站、个人数字处理(Personal Digital Assistant,PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(set top box,STB)、用户驻地设备(customer premise equipment,CPE)和/或用于在无线系统上进行通信的其它设备以及下一代通信系统,例如,5G网络中的移动终端或者未来演进的公共陆地移动网络(Public Land Mobile Network,PLMN)网络中的移动终端等。
图7是本申请一实施例提供的终端设备的结构示意图。如图7所示,该实施例的终端设备7包括:至少一个处理器70(图7中仅示出一个)、存储器71,所述存储器71中存储有可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个腹部CT图像多器官分割方法实施例中的步骤,例如图1所示的步骤102至108。或者,所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能,例如图6所示模块620至680的功能。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图7仅仅是终端设备7的示例,并不构成对终端设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入发送设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元,例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备,例如所述终端设备7上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经发送或者将要发送的数据。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本申请实施例还提供了一种终端设备,所述终端设备包括至少一个存储器、至少一个处理器以及存储在所述至少一个存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使所述终端设备实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、电载波信号、电信信号以及软件分发介质等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使对应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (7)

1.一种腹部CT图像多器官分割方法,其特征在于,包括:
获取待分割的腹部CT图像;
对所述待分割的腹部CT图像进行预处理以及数据增强,得到多个非重叠三维图像块;
将多个非重叠三维图像块依次输入到预设的基于多尺度Transformer的编码器-解码器网络模型,得到所述基于多尺度Transformer的编码器-解码器网络模型依次输出的所述多个非重叠三维图像块的分割结果;所述预设的多尺度Transformer的编码器-解码器网络模型是由包含有多个腹部CT图像样本的数据集训练得到;所述数据集中的腹部CT图像均以上述预处理以及数据增强处理后经滑动窗口方法裁剪成多个非重叠三维图像块;
将所述多个非重叠三维图像块的分割结果进行拼接处理,得到所述待分割的腹部CT图像的多器官分割结果;
所述多尺度Transformer的编码器-解码器网络模型是由块编码模块、多尺度Transformer编码器、多尺度Transformer解码器以及输出模块组成;所述多尺度Transformer编码器和多尺度Transformer解码器之间通过跳跃连接相连;所述多尺度Transformer编码器包含多个阶段,每个阶段中有多个依次相连的多尺度Transformer编码块;所述多尺度Transformer解码器包含多个阶段,每个阶段中有多个依次相连的多尺度Transformer解码块;
根据将多个非重叠三维图像块依次输入到预设的基于多尺度Transformer的编码器-解码器网络模型,得到所述基于多尺度Transformer的编码器-解码器网络模型依次输出的所述多个非重叠三维图像块的分割结果,包括:
针对每一个非重叠三维图像块,将所述非重叠三维图像块输入至所述块编码模块中,以对所述非重叠三维图像块进行维度调整处理并转换成序列数据;
将所述序列数据输入至所述多尺度Transformer编码器中,通过所述多尺度Transformer编码器的多个阶段中的每个阶段对所述序列数据提取不同尺度的特征信息;所述多尺度Transformer编码器的每个阶段中的多尺度Transformer编码块可以感知不同尺度的特征,以从不同尺度充分提取所述序列数据中的特征信息;
将所述特征信息输入至多尺度Transformer解码器中进行不同尺度特征解码,得到所述三维图像块对应的多尺度分割特征;所述多尺度Transformer解码器的多个阶段中的每个阶段将解码不同尺度的特征,所述多尺度Transformer解码器的每个阶段中的多尺度Transformer解码块可以解码不同尺度的特征;
将所述三维图像块对应的多尺度分割特征经输出模块处理,得到所述三维图像块的分割结果;
所述多尺度Transformer编码器中的单个多尺度Transformer编码块包括两个层归一化、一个多尺度编码自注意力层及一个多层感知机,所述单个多尺度Transformer编码块的计算公式如下:
其中表示当前多尺度Transformer编码块输出的中间值,/>表示当前多尺度Transformer编码块的输出,/>表示多尺度Transformer编码块的多尺度编码自注意力层,/>表示多层感知机,/>表示层归一化,/>表示一个阶段中多尺度Transformer编码块的总数;
所述多尺度Transformer解码器中的单个多尺度Transformer解码块包括两个层归一化、一个多尺度解码自注意力层及一个多层感知机,所述单个多尺度Transformer解码块的计算公式如下:
其中表示当前多尺度Transformer解码块输出的中间值,/>表示当前多尺度Transformer解码块的输出,/>表示多尺度Transformer解码块的多尺度解码自注意力层,/>表示多层感知机,/>表示层归一化,/>表示一个阶段中多尺度Transformer编码块的总数。
2.如权利要求1所述的腹部CT图像多器官分割方法,其特征在于,所述对所述待分割的腹部CT图像进行预处理以及数据增强,利用滑动窗口方法将待分割腹部CT图像裁剪成的多个非重叠三维图像块的步骤,具体为:
对所述待分割的腹部CT图像进行体素间距重采样、归一化及体积裁剪处理;
将处理后的腹部CT图像进行数据增强操作为随机旋转及随机翻转处理;
根据处理后的腹部CT图像以及预设的滑动窗口尺寸,利用滑动窗口方法得到多个非重叠三维图像块。
3.如权利要求1所述的腹部CT图像多器官分割方法,其特征在于,所述块编码模块包括一个三维卷积层和一个层归一化;所述输出模块包括两个三维卷积层和一个softmax层。
4.如权利要求1所述的腹部CT图像多器官分割方法,其特征在于,所述预设的多尺度Transformer的编码器-解码器网络模型是由包含有多个腹部CT图像样本的数据集训练得到,包括:
获取多个腹部CT图像样本;
对所述腹部CT图像进行预处理以及数据增强,利用滑动窗口方法将待分割腹部CT图像裁剪成的多个非重叠三维图像块;
针对每一个非重叠三维图像块,将非重叠三维图像块输入至含有可变参数的多尺度Transformer的编码器-解码器网络模型,得到所述含有可变参数的多尺度Transformer的编码器-解码器网络模型输出的所述非重叠三维图像块对应的分割结果;
获取各个非重叠三维图像块对应的分割结果以及与所述各个非重叠三维图像块对应的目标分割结果之间的各个损失差异;
判断所述各个非重叠三维图像块的各个损失差异是否满足预设的收敛条件;
当判断所述各个非重叠三维图像块的各个损失差异不满足预设的收敛条件时,调整所述多尺度Transformer的编码器-解码器网络模型中的可变参数,并返回至所述将三维图像块输入至含有可变参数的多尺度Transformer的编码器-解码器网络模型,得到所述含有可变参数的多尺度Transformer的编码器-解码器网络模型输出的所述非重叠三维图像块对应的分割结果的步骤;
当判断所述各个非重叠三维图像块的各个损失差异满足预设的收敛条件时,将当前所述含有可变参数的多尺度Transformer的编码器-解码器网络模型确定为预设的多尺度Transformer的编码器-解码器网络模型。
5.一种腹部CT图像多器官分割装置,其特征在于,包括:
图像获取模块,用于获取待分割的腹部CT图像;
图像预处理模块,用于对所述待分割的腹部CT图像进行预处理以及数据增强,得到多个非重叠三维图像块;
分割结果获得模块,用于将多个非重叠三维图像块依次输入到预设的基于多尺度Transformer的编码器-解码器网络模型,得到所述基于多尺度Transformer的编码器-解码器网络模型依次输出的所述多个非重叠三维图像块的分割结果;所述预设的多尺度Transformer的编码器-解码器网络模型是由包含有多个腹部CT图像样本的数据集训练得到;所述数据集中的腹部CT图像均以上述预处理以及数据增强处理后经滑动窗口方法裁剪成多个非重叠三维图像块;以及
多器官分割结果获得模块,用于将所述多个非重叠三维图像块的分割结果进行拼接处理,得到所述待分割的腹部CT图像的多器官分割结果;
所述多尺度Transformer的编码器-解码器网络模型是由块编码模块、多尺度Transformer编码器、多尺度Transformer解码器以及输出模块组成;所述多尺度Transformer编码器和多尺度Transformer解码器之间通过跳跃连接相连;所述多尺度Transformer编码器包含多个阶段,每个阶段中有多个依次相连的多尺度Transformer编码块;所述多尺度Transformer解码器包含多个阶段,每个阶段中有多个依次相连的多尺度Transformer解码块;
根据将多个非重叠三维图像块依次输入到预设的基于多尺度Transformer的编码器-解码器网络模型,得到所述基于多尺度Transformer的编码器-解码器网络模型依次输出的所述多个非重叠三维图像块的分割结果,包括:
针对每一个非重叠三维图像块,将所述非重叠三维图像块输入至所述块编码模块中,以对所述非重叠三维图像块进行维度调整处理并转换成序列数据;
将所述序列数据输入至所述多尺度Transformer编码器中,通过所述多尺度Transformer编码器的多个阶段中的每个阶段对所述序列数据提取不同尺度的特征信息;所述多尺度Transformer编码器的每个阶段中的多尺度Transformer编码块可以感知不同尺度的特征,以从不同尺度充分提取所述序列数据中的特征信息;
将所述特征信息输入至多尺度Transformer解码器中进行不同尺度特征解码,得到所述三维图像块对应的多尺度分割特征;所述多尺度Transformer解码器的多个阶段中的每个阶段将解码不同尺度的特征,所述多尺度Transformer解码器的每个阶段中的多尺度Transformer解码块可以解码不同尺度的特征;
将所述三维图像块对应的多尺度分割特征经输出模块处理,得到所述三维图像块的分割结果;
所述多尺度Transformer编码器中的单个多尺度Transformer编码块包括两个层归一化、一个多尺度编码自注意力层及一个多层感知机,所述单个多尺度Transformer编码块的计算公式如下:
其中表示当前多尺度Transformer编码块输出的中间值,/>表示当前多尺度Transformer编码块的输出,/>表示多尺度Transformer编码块的多尺度编码自注意力层,/>表示多层感知机,/>表示层归一化,/>表示一个阶段中多尺度Transformer编码块的总数;
所述多尺度Transformer解码器中的单个多尺度Transformer解码块包括两个层归一化、一个多尺度解码自注意力层及一个多层感知机,所述单个多尺度Transformer解码块的计算公式如下:
其中表示当前多尺度Transformer解码块输出的中间值,/>表示当前多尺度Transformer解码块的输出,/>表示多尺度Transformer解码块的多尺度解码自注意力层,/>表示多层感知机,/>表示层归一化,/>表示一个阶段中多尺度Transformer编码块的总数。
6.一种终端设备,其特征在于,所述终端设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述腹部CT图像多器官分割方法的步骤。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述腹部CT图像多器官分割方法的步骤。
CN202310293665.5A 2023-03-24 2023-03-24 一种腹部ct图像多器官分割方法、装置及终端设备 Active CN116030259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310293665.5A CN116030259B (zh) 2023-03-24 2023-03-24 一种腹部ct图像多器官分割方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310293665.5A CN116030259B (zh) 2023-03-24 2023-03-24 一种腹部ct图像多器官分割方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN116030259A CN116030259A (zh) 2023-04-28
CN116030259B true CN116030259B (zh) 2024-01-12

Family

ID=86089493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310293665.5A Active CN116030259B (zh) 2023-03-24 2023-03-24 一种腹部ct图像多器官分割方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN116030259B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912488B (zh) * 2023-06-14 2024-02-13 中国科学院自动化研究所 基于多目相机的三维全景分割方法及装置
CN116580133B (zh) * 2023-07-14 2023-09-22 北京大学 图像合成方法、装置、电子设备和存储介质
CN117036832B (zh) * 2023-10-09 2024-01-05 之江实验室 一种基于随机多尺度分块的图像分类方法、装置及介质
CN118429651A (zh) * 2024-07-08 2024-08-02 常熟市第一人民医院 一种腹部ct图像多器官分割方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487536A (zh) * 2021-06-01 2021-10-08 上海联影智能医疗科技有限公司 图像分割方法、计算机设备和存储介质
CN113947680A (zh) * 2021-10-12 2022-01-18 哈尔滨理工大学 一种基于级联多尺度视觉Transformer的图像语义分割方法
CN114418931A (zh) * 2021-11-23 2022-04-29 东北大学 术后剩余肺叶的提取方法及装置、电子设备和存储介质
CN114519718A (zh) * 2022-02-21 2022-05-20 云南大学 一种腹部多器官ct图像分割方法及系统
CN114742802A (zh) * 2022-04-19 2022-07-12 江南大学 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN114972746A (zh) * 2022-04-13 2022-08-30 湖南大学 一种基于多分辨率重叠注意力机制的医学影像分割方法
CN115239637A (zh) * 2022-06-28 2022-10-25 中国科学院深圳先进技术研究院 一种ct胰腺肿瘤自动分割方法、系统、终端以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487536A (zh) * 2021-06-01 2021-10-08 上海联影智能医疗科技有限公司 图像分割方法、计算机设备和存储介质
CN113947680A (zh) * 2021-10-12 2022-01-18 哈尔滨理工大学 一种基于级联多尺度视觉Transformer的图像语义分割方法
CN114418931A (zh) * 2021-11-23 2022-04-29 东北大学 术后剩余肺叶的提取方法及装置、电子设备和存储介质
CN114519718A (zh) * 2022-02-21 2022-05-20 云南大学 一种腹部多器官ct图像分割方法及系统
CN114972746A (zh) * 2022-04-13 2022-08-30 湖南大学 一种基于多分辨率重叠注意力机制的医学影像分割方法
CN114742802A (zh) * 2022-04-19 2022-07-12 江南大学 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN115239637A (zh) * 2022-06-28 2022-10-25 中国科学院深圳先进技术研究院 一种ct胰腺肿瘤自动分割方法、系统、终端以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multi-Scale Self-Attention for Text Classification;Qipeng Guo等;《arXiv》;正文第1-4页 *

Also Published As

Publication number Publication date
CN116030259A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN116030259B (zh) 一种腹部ct图像多器官分割方法、装置及终端设备
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
US10515456B2 (en) Synthesizing hair features in image content based on orientation data from user guidance
CN111881926A (zh) 图像生成、图像生成模型的训练方法、装置、设备及介质
CN110598714A (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN113012155A (zh) 髋关节图像中骨骼分割方法、电子设备及存储介质
CA3235419A1 (en) Method and system for image processing based on convolutional neural network
CN110974294A (zh) 超声扫描方法及装置
CN111369574B (zh) 一种胸腔器官的分割方法及装置
EP3973508A1 (en) Sampling latent variables to generate multiple segmentations of an image
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
CN112150470A (zh) 图像分割方法、装置、介质及电子设备
CN112750137B (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN111046893B (zh) 图像相似性确定方法和装置、图像处理方法和装置
CN112241955B (zh) 三维图像的碎骨分割方法、装置、计算机设备及存储介质
CN115115772A (zh) 基于三维影像的关键结构重建方法、装置和计算机设备
CN112348819A (zh) 模型训练方法、图像处理及配准方法以及相关装置、设备
CN113658326A (zh) 三维毛发的重建方法及装置
CN113192067B (zh) 基于图像检测的智能预测方法、装置、设备及介质
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
CN116740081A (zh) Ct图像中肺血管分割方法、装置、终端设备及介质
CN116630634A (zh) 一种图像处理方法、装置、设备及存储介质
CN113177938B (zh) 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant