CN113378929B - 一种肺结节生长预测方法和计算机设备 - Google Patents

一种肺结节生长预测方法和计算机设备 Download PDF

Info

Publication number
CN113378929B
CN113378929B CN202110651608.0A CN202110651608A CN113378929B CN 113378929 B CN113378929 B CN 113378929B CN 202110651608 A CN202110651608 A CN 202110651608A CN 113378929 B CN113378929 B CN 113378929B
Authority
CN
China
Prior art keywords
image
images
lung
prediction
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110651608.0A
Other languages
English (en)
Other versions
CN113378929A (zh
Inventor
周富
赵英琦
罗飞
刘峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110651608.0A priority Critical patent/CN113378929B/zh
Publication of CN113378929A publication Critical patent/CN113378929A/zh
Application granted granted Critical
Publication of CN113378929B publication Critical patent/CN113378929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种肺结节生长预测方法和计算机设备,肺结节生长预测方法包括:获取若干肺部CT图像,得到若干标注图像;将若干标注图像输入编码器得到若干初始特征图像;将若干初始特征图像输入级联convLSTM网络得到若干初始预测特征图像;将若干初始预测特征图像输入解码器得到若干候选预测特征图像;基于若干候选预测特征图像和分类器得到若干预测图像。本发明中,根据过去多个时间点的若干肺部CT图像,采用级联convLSTM网络确定肺结节在未来多个时间点的预测图像,不需要测量肺部CT图像中的大量数字特征,也不需要筛选肺结节生成因素,整个过程减少了大量人力资源,操作步骤更为简单,可以快速得到质量较高的预测图像。

Description

一种肺结节生长预测方法和计算机设备
技术领域
本申请涉及图像处理领域,特别是涉及一种肺结节生长预测方法和计算机设备。
背景技术
肺结节(Pulmonary Nodule, PN)是指人体肺部中直径小于或等于3cm的类圆形或不规则形病灶,其CT影像学表现为密度增高的阴影,可单发或多发,边界清晰或不清晰的病灶。
在传统的肺结节生长预测方法中,为了实现对肺结节生长规律的精确预测,必须先判断影响肺结节生长的影响因子,之后建立肺结节生长预测模型对未来一段时间的肺结节状态进行预测。这需要对病患大量的肺部CT图像中的肺结节区域进行标注,然后测量肺结节的直径、体积等数字特征。从整个过程来看,传统的预测方法过于繁琐,包括分析、建模、测量等多个步骤,并且每一步都需要耗费一定的人力资源,无法快速、有效地对肺结节生长情况进行预测。除此以外,在建立预测模型的步骤中,现有的方法大多采用线性或者指数型的生长模型,这一方法要求在提前筛选肺结节生长因素的基础上进行建模,预测的准确度主要由影响因子和模型选择决定,然而现有肺结节建模方法的准确率并没有达到理想的结果。
因此,现有技术有待改进。
发明内容
本发明所要解决的技术问题是,现有技术需要测量大量肺结节的数字特征,在提前筛选肺结节生长因素的基础上进行建模,过程繁琐,得到的预测结果质量不高。因此,本发明提出了一种肺结节生长预测方法和计算机设备,采用级联convLSTM网络确定肺结节在未来多个时间点的预测图像,整个过程更为简单,可以快速得到质量较高的预测图像。
第一方面,本发明实施例提供了一种肺结节生长预测方法,应用于肺结节生长预测模型,所述肺结节生长预测模型包括编码器、级联convLSTM网络、解码器和分类器;所述肺结节生长预测方法包括:
获取若干肺部CT图像,并对所述若干肺部CT图像进行标注,得到若干标注图像;
将所述若干标注图像输入所述编码器,得到若干初始特征图像;
将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图像;
将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像;
基于所述若干候选预测特征图像和所述分类器得到若干预测图像,其中,所述若干预测图像各自分别对应不同的时间点,且每张预测图像对应的时间点均晚于任意一张肺部CT图像对应的时间点。
作为进一步的改进技术方案,所述编码器包括依次连接的:第一卷积模块、第一激活模块、第一池化层、第二卷积模块、第二激活模块和第二池化层;所述将所述若干标注图像输入所述编码器,得到若干初始特征图像,具体包括:
对于每张标注图像,将该标注图像输入所述第一卷积模块,得到第一图像;
将所述第一图像输入所述第一激活模块,得到第一激活图像;
将所述第一激活图像输入所述第一池化层,得到第一池化图像;
将所述第一池化图像输入所述第二卷积模块,得到第二图像;
将所述第二图像输入所述第二激活模块,得到第二激活图像;
将所述第二激活图像输入所述第二池化层,得到该标注图像对应的初始特征图像。
作为进一步的改进技术方案,所述级联convLSTM网络包括若干级联的convLSTM模块,所述若干初始特征图像包括若干精细预测特征图像和若干粗略预测特征图像,所述若干级联的convLSTM模块与所述若干精细预测特征图像一一对应;每个convLSTM模块的输入项均包括所述若干特征图像;每个convLSTM模块的输出项均包括该convLSTM模块对应的精细预测特征图像。
作为进一步的改进技术方案,所述级联convLSTM网络包括级联的第一convLSTM模块、第二convLSTM模块和第三convLSTM模块,所述若干精细预测特征图像包括:第一精细预测特征图像、第二精细预测特征图像和第三精细预测特征图像,所述若干粗略预测特征图像包括:若干第一粗略预测特征图像和第二粗略预测特征图像;所述将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图像,具体包括:
将所述若干特征图像输入所述第一convLSTM模块,得到第一精细预测特征图像和若干第一粗略预测特征图像;
将所述第一精细预测特征图像和所述若干特征图像输入所述第二convLSTM模块,得到第二精细预测特征图像和第二粗略预测特征图像;
将所述第一精细预测特征图像、所述第二精细预测特征图像和所述若干特征图像输入所述第三convLSTM模块,得到第三精细预测特征图像。
作为进一步的改进技术方案,所述解码器包括:第一上采样模块、第三激活模块、第三卷积模块、第二上采样模块、第四激活模块和第四卷积模块;所述将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像,具体包括:
对于每张初始预测特征图像,将该初始预测特征图像输入所述第一上采样模块,得到第一上采样图像;
将所述第一上采样图像输入所述第三激活模块,得到第三激活图像;
将所述第三激活图像输入所述第三卷积模块,得到第三图像;
将所述第三图像输入所述第二上采样模块,得到第二上采样图像;
将所述第二上采样图像输入所述第四激活模块,得到第四激活图像;
将所述第四激活图像输入所述第四卷积模块,得到该初始预测特征图像对应的候选预测特征图像。
作为进一步的改进技术方案,所述基于所述若干候选预测特征图像和所述分类器得到若干预测图像,具体包括:
对于每张候选预测特征图像,将该候选预测特征图像进行降维处理,得到该候选预测特征图像对应的热图;
基于所述若干候选预测特征图像各自分别对应的热图确定热图序列;
将所述热图序列输入所述分类器,得到若干预测图像。
作为进一步的改进技术方案,所述对所述若干肺部CT图像进行标注,得到若干标注图像,具体包括:
对于每张肺部CT图像,确定该肺部CT图像的肺结节区域和肺部区域;
采用第一标识标注所述肺结节区域的边界,采用第二标识标注所述肺部区域的边界,采用第三标识标注其他区域,得到该肺部CT图像对应的标注图像,其中,所述其他区域是所述肺部CT图像中未被所述第一标识和所述第二标识标记的区域。
作为进一步的改进技术方案,所述肺结节生长预测模型,是基于标注训练集和优化器对预设网络模型进行训练得到的,所述标注训练集包括:多个已标注的肺部CT训练图像组,以及每个肺部CT训练图像组对应的真实图像组;所述预设网络模型的模型结构与所述肺结节生长预测模型的模型结构相同。
第二方面,本发明提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取若干肺部CT图像,并对所述若干肺部CT图像进行标注,得到若干标注图像;
将所述若干标注图像输入所述编码器,得到若干初始特征图像;
将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图像;
将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像;
基于所述若干候选预测特征图像和所述分类器得到若干预测图像,其中,所述若干预测图像各自分别对应不同的时间点,且每张预测图像对应的时间点均晚于任意一张肺部CT图像对应的时间点。
第三方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取若干肺部CT图像,并对所述若干肺部CT图像进行标注,得到若干标注图像;
将所述若干标注图像输入所述编码器,得到若干初始特征图像;
将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图像;
将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像;
基于所述若干候选预测特征图像和所述分类器得到若干预测图像,其中,所述若干预测图像各自分别对应不同的时间点,且每张预测图像对应的时间点均晚于任意一张肺部CT图像对应的时间点。
与现有技术相比,本发明实施例具有以下优点:
在本发明实施例中,获取若干肺部CT图像,并对所述若干肺部CT图像进行标注,得到若干标注图像;将所述若干标注图像输入所述编码器,得到若干初始特征图像;将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图像;将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像;基于所述若干候选预测特征图像和所述分类器得到若干预测图像,其中,所述若干预测图像各自分别对应不同的时间点,且每张预测图像对应的时间点均晚于任意一张肺部CT图像对应的时间点。本发明中,肺结节生长预测模型包括级联convLSTM网络,根据过去多个时间点的若干肺部CT图像,采用级联convLSTM网络确定肺结节在未来多个时间点的预测图像,不需要测量肺部CT图像中的大量数字特征,也不需要筛选肺结节生成因素,整个过程减少了大量人力资源,操作步骤更为简单,可以快速得到质量较高的预测图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种肺结节生长预测方法的流程示意图;
图2为本发明实施例中编码器的结构示意图;
图3为本发明实施例中具体实施时,级联convLSTM网络的结构示意图;
图4为本发明实施例中解码器的结构示意图;
图5为本发明实施例中一种计算机设备的内部结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
发明人经过研究发现,肺结节(Pulmonary Nodule, PN)是指人体肺部中直径小于或等于3cm的类圆形或不规则形病灶,其CT影像学表现为密度增高的阴影,可单发或多发,边界清晰或不清晰的病灶。
对肺结节的早期诊疗以防止其恶化为肺癌是当前预防医学、临床医学、医学影像学、外科学等多学科共同关注的一个热门课题。虽然肺结节不会直接对人体造成损害,但是随着时间的推移肺结节的体积会逐渐增大,如果不加以及时地诊断和治疗将导致潜藏的肺结节最终演变为致命的肺癌。在高危人群中进行肺结节筛查,进一步对肺结节的生长规律和演变趋势进行准确预测有助于医务人员对患者肺部状况进行整体的把握,对有风险演变为肺癌的肺结节进行及时地治疗,减少肺癌的发病率。总体而言,肺结节演变趋势的预测对肺癌防控和治疗有着很重要的实际意义,帮助医务人员在未来的临床实践中基于现有的完整技术支撑做出正确的诊疗方案和预防手段。
在传统的肺结节生长预测方法中,为了实现对肺结节生长规律的精确预测,必须先判断影响肺结节生长的影响因子,之后建立肺结节生长预测模型对未来一段时间的肺结节状态进行预测。这需要对病患大量的肺部CT图像中的肺结节区域进行标注,然后测量肺结节的直径、体积等数字特征。从整个过程来看,传统的预测方法过于繁琐,包括分析、建模、测量等多个步骤,并且每一步都需要耗费一定的人力资源,无法快速、有效地对肺结节生长情况进行预测。除此以外,在建立预测模型的步骤中,现有的方法大多采用线性或者指数型的生长模型,这一方法要求在提前筛选肺结节生长因素的基础上进行建模,预测的准确度主要由影响因子和模型选择决定,然而现有肺结节建模方法的准确率并没有达到理想的结果。
为了解决上述问题,本发明获取若干肺部CT图像,并对所述若干肺部CT图像进行标注,得到若干标注图像;将所述若干标注图像输入所述编码器,得到若干初始特征图像;将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图像;将所述若干初始预测特征图像输入解码器,得到若干候选预测特征图像;基于所述若干候选预测特征图像和所述分类器得到若干预测图像,其中,所述若干预测图像各自分别对应不同的时间点,且每张预测图像对应的时间点均晚于任意一张肺部CT图像对应的时间点。本发明中,肺结节生长预测模型包括级联convLSTM网络,根据过去多个时间点的若干肺部CT图像,采用级联convLSTM网络确定肺结节在未来多个时间点的预测图像,不需要测量肺部CT图像中的大量数字特征,也不需要筛选肺结节生成因素,整个过程减少了大量人力资源,操作步骤更为简单,可以快速得到质量较高的预测图像。
本申请提供的一种肺结节生长预测方法应用于肺结节生长预测模型,也就是说通过肺结节生长预测模型实现所述肺结节生长预测方法,所述肺结节生长预测模型包括编码器、级联convLSTM网络、解码器和分类器。所述肺结节生长预测模型可以转移到电子设备中使用,所述电子设备可以以各种形式来实现,例如,PC机、服务器、手机、平板电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)等。另外,该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,所述电子设备至少包括处理器和存储介质。
下面结合附图,详细说明本发明的各种非限制性实施方式。
参见图1,示出了本发明实施例中的一种肺结节生长预测方法,包括以下步骤:
S1、获取若干肺部CT图像,并对所述若干肺部CT图像进行标注,得到若干标注图像。
在本发明实施例中,所述若干肺部CT图像均为同一人体的肺部CT图像,并且所述若干肺部CT图像是该人体在不同时间下的肺部CT图像。对所述若干肺部CT图像进行标注的过程包括:对于每张肺部CT图像,确定该肺部CT图像的肺结节区域和肺部区域;采用第一标识标注所述肺结节区域的边界,采用第二标识标注所述肺部区域的边界,采用第三标识标注其他区域,得到该肺部CT图像对应的标注图像,其中,所述其他区域是所述肺部CT图像中未被所述第一标识和所述第二标识标记的区域。
在本发明实施例中,肺部CT图像的图像包括三类,第一类为肺部区域,第二类为肺结节区域,第三类为其他区域,所述第一标识、第二标识和第三标识互不相同,采用第一标识标注所述肺结节区域的边界,采用第二标识标注所述肺部区域的边界,采用第三标识标注其他区域,以得到掩码图像,即肺部CT图像对应的标注图像。
S2、将所述若干标注图像输入所述编码器,得到若干初始特征图像。
在本发明实施例中,所述若干标注图像组成序列标注图像
Figure 73188DEST_PATH_IMAGE001
,其中,
Figure 879339DEST_PATH_IMAGE002
为若干标注图像,将序列表述图像输入所述编码器中,以降低若干标注图像的分辨 率并提取图像特征,通过编码器得到初始特征图像。所述编码器是由一系列具有可学习参 数的卷积层和批量正则化层堆叠构成,在每个批量正则化层后均与一个Relu激活函数层相 连,从而为模型提供非线性建模的能力并提高模型的泛化性能,并使用最大池化层汇聚图 像特征生成初始特征图像。
在本发明实施例中,参见图2,所述编码器包括依次连接的:第一卷积模块101、第一激活模块102、第一池化层103、第二卷积模块104、第二激活模块105和第二池化层106。
具体的,对于每张标注图像,将该标注图像输入所述第一卷积模块,得到第一图 像;将所述第一图像输入所述第一激活模块,得到第一激活图像;将所述第一激活图像输入 所述第一池化层,得到第一池化图像;将所述第一池化图像输入所述第二卷积模块,得到第 二图像;将所述第二图像输入所述第二激活模块,得到第二激活图像,将所述第二激活图像 输入所述第二池化层,得到该标注图像对应的初始特征图像。通过所述编码器得到每张标 注图像各自分别对应的初始特征图像,即将若干标注图像
Figure 615214DEST_PATH_IMAGE003
输入编码器,得到若 干初始特征图像
Figure 548535DEST_PATH_IMAGE004
S3、将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图像。
在本发明实施例中,级联convLSTM网络不仅具有LSTM的时序建模能力,而且还能像CNN一样刻画局部特征。级联convLSTM网络包括级联的若干convLSTM模块。所述若干初始特征图像包括若干精细预测特征图像和若干粗略预测特征图像,所述若干级联的convLSTM模块与所述若干精细预测特征图像一一对应,也就是说,不同的convLSTM模块用于预测不同时间点的精细预测特征图像。
每个convLSTM模块的输入项均包括所述若干特征图像。每个convLSTM模块的输出项均包括该convLSTM模块对应的精细预测特征图像。按照级联的顺序,第一级convLSTM模块用于预测第一个时间点对应的精细预测特征图像,第二级convLSTM模块用于预测第二个时间点对应的精细预测特征图像,第二时间点晚于第一个时间点。
在本发明实施例中,对于除了第一级convLSTM模块以外的每个convLSTM模块,该convLSTM模块的输入项包括:级联在该convLSTM模块前每个convLSTM模块输出的精细预测特征图像。
在一个具体实施例中,参见图3,所述级联convLSTM网络包括级联的第一convLSTM模块201、第二convLSTM模块202和第三convLSTM模块203。可以预测三个不同时间点的精细预测特征图像。所述若干精细预测特征图像包括:第一精细预测特征图像、第二精细预测特征图像和第三精细预测特征图像,所述若干粗略预测特征图像包括:若干第一粗略预测特征图像和第二粗略预测特征图像。
具体的,步骤S3包括:
S31、将所述若干特征图像输入所述第一convLSTM模块,得到第一精细预测特征图像和若干第一粗略预测特征图像。
在此具体实施例中,第一精细预测特征图像Mt11,是第一convLSTM模块201对第一时间点对应的预测特征图像进行精细预测得到的,若干第一粗略预测特征图包括:第二时间点对应的Mt12和第三时间点对应的Mt13,由于第二时间点和第三时间点相较于第一时间点较远,因此第一convLSTM模块201预测得到的第二时间点和第三时间点分别对应的预测特征图像均是粗略预测特征图像,也就是说,Mt12是第一convLSTM模块201对第二时间点对应的预测特征图像进行粗略预测得到的,Mt13是第一convLSTM模块201对第三时间点对应的预测特征图像进行粗略预测得到的。
S32、将所述第一精细预测特征图像和所述若干特征图像输入所述第二convLSTM模块,得到第二精细预测特征图像和第二粗略预测特征图像。
在此具体实施例中,第二精细预测特征图像Mt22,是第二convLSTM模块202对第二时间点对应的预测特征图像进行精细预测得到的,相较于Mt21,第二精细预测特征图像Mt22是质量更好的预测特征图像。所述第二粗略预测特征图像可以记为Mt23,Mt23是第二convLSTM模块202预测得到的第三时间点对应的第二粗略预测特征图像。
S33、将所述第一精细预测特征图像、所述第二精细预测特征图像和所述若干特征图像输入所述第三convLSTM模块,得到第三精细预测特征图像。
在此具体实施例中,第三精细预测特征图像Mt33,是第三convLSTM模块203对第三时间点对应的预测特征图像进行精细预测得到,相较于Mt23,第三精细预测特征图像Mt33是质量更好的预测特征图像。
在此具体实施例中,第二convLSTM模块只利用了第一convLSTM模块输出的精细的预测结果(第一精细预测特征图像),第一convLSTM模块输出的两个粗预测结果(若干第一粗略预测特征图像)用于计算整体的损失函数,这是由于时序预测问题对先后顺序较为敏感,因此每一级结果只产生一个精细的预测结果。通过级联结构,不断吸收转化新产生的预测结果可以有效地对后续时间点的预测结果进行优化。考虑到预测精确会随着时序长度的增加而大幅降低,包含三个级联的convLSTM模块可以达到较好的预测结果。
在此具体实施例中,第一convLSTM模块的处理过程可以通过公式表示为:Mt11, Mt12, Mt12=convLSTM(M);第二convLSTM模块的处理过程可以通过公式表示为:Mt22, Mt23=convLSTM(M, Mt11);第三convLSTM模块的处理过程可以通过公式表示为:Mt33=convLSTM(M, Mt11, Mt22);其中,M可以包括:
Figure 951834DEST_PATH_IMAGE005
也就是说,所述若干特征图像可 以是5张特征图像。
举例说明,将若干初始特征图像M输入第一convLSTM模块,第一convLSTM模块对时间点t1的CT图像进行精确预测得到Mt11,对时间点t2和t3的CT图像进行粗预测,得到Mt12和Mt13;将若干初始特征图像M和Mt11输入第二convLSTM模块,第二convLSTM模块对时间点t2的CT图像进行精确预测得到Mt22,对时间点t3的CT图像进行粗预测,得到Mt23;将若干初始特征图像M、Mt11和Mt22输入第三convLSTM模块,通过第三convLSTM模块对时间点t3的CT图像进行精确预测得到Mt33。
上述给出了所述级联convLSTM网络包括级联的三个convLSTM模块的具体实施时的实现方式,可以想到,在实际使用时,所述级联convLSTM网络也可以包括级联的四个convLSTM模块,或者,级联的五个convLSTM模块。
S4、将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像。
在本发明实施例中,所述解码器用于提高初始预测特征图像的分辨率,同时提取出特征进行解码,为后续分类提供支撑。参见图4,所述解码器包括:第一上采样模块301、第三激活模块302、第三卷积模块303、第二上采样模块304、第四激活模块305和第四卷积模块306。将初始预测特征图像Mt输入解码器得到候选预测特征图像Pt。
具体的,步骤S4包括:
S41、对于每张初始预测特征图像,将该初始预测特征图像输入所述第一上采样模块,得到第一上采样图像;
S42、将所述第一上采样图像输入所述第三卷积模块,得到第三图像;
S43、将所述第三图像输入所述第三激活模块,得到第三激活图像;
S44、将所述第三激活图像输入所述第二上采样模块,得到第二上采样图像;
S45、将所述第二上采样图像输入所述第四激活模块,得到第四激活图像;
S46、将所述第四激活图像输入所述第四卷积模块,得到该初始预测特征图像对应的候选预测特征图像。
在本发明实施例中,所述第一上采样模块用于实现双线性上采样,首先通过双线性上采样恢复初始预测特征图像的分辨率,所述第一上采样模块也可以替换为反卷积层,第一上采样模块和反卷积层的区别在于,第一上采样模块不需要进行学习且结构简单。通过第三激活模块实现正则化处理,以规范数据分布提高模型的稳健性,以及实现激活作用。所述第三卷积模块包括三个堆叠的3*3卷积层,所述第二上采样模块用于实现双线性上采样,所述第四激活模块与第三激活模块的作用相同。通过步骤S4生成与肺部CT图像尺寸相同,但是通道不同的候选预测特征图像。对每张初始预测特征图像进行步骤S4的处理,可以得到包括高级图像特征的多张候选预测特征图像。
S5、基于所述若干候选预测特征图像和所述分类器得到若干预测图像,其中,所述若干预测图像各自分别对应不同的时间点,且每张预测图像对应的时间点均晚于任意一张肺部CT图像对应的时间点。
在本发明实施例中,所述候选预测特征图像具有较为庞大的通道数,首先对所述候选预测特征图像进行降维处理,使得其通道数达到一个合适的值,得到热图,进而依据热图进行分类,得到预测图像。具体的,步骤S5包括:
S51、对于每张候选预测特征图像,将该候选预测特征图像进行降维处理,得到该候选预测特征图像对应的热图。
在本发明实施例中,可以采用1*1的卷积层对候选预测特征图像进行降维处理,例如,将通道数为128的候选预测特征图像降维处理为3通道的热图。
S52、基于所述若干候选预测特征图像各自分别对应的热图确定热图序列;
S53、将所述热图序列输入所述分类器,得到若干预测图像。
在本发明实施例中,每个热图包括若干通道图像,分类器用于确定每个通道图像的预测概率值,并将预测概率值最高的通道图像作为该热图对应的预测图像。所述若干预测图像与所述若干候选预测特征图像一一对应,又因为若干候选预测特征图像又是不同的时间点对应的特征图像,因此,所述若干预测图像是不同时间点下的预测图像。所述若干预测图像可以反映肺部CT图像中的肺结节的生长情况。
在本发明实施例中,所述分类器使用softmax激活函数对单个热图进行处理,将解码并降维后的热图归一化为权重分布,根据公式(1)所示。
Figure 679619DEST_PATH_IMAGE006
其中,
Figure 168369DEST_PATH_IMAGE007
为热图,
Figure 718430DEST_PATH_IMAGE008
是热图的第c个通道中,坐标为(i , j)的像素点的像素值,C 为热图的总通道值,
Figure 976236DEST_PATH_IMAGE009
Figure 140501DEST_PATH_IMAGE010
对应的预测图像。
在一个具体实现方式中,当所述若干特征图像包括5张特征图像,所述级联convLSTM网络包括:第一convLSTM模块、第二convLSTM模块和第三convLSTM模块,以预测肺结节在未来三个时间点对应的预测图像时,所述肺结节生长预测模型中每个模块的输入项和输出项的图像尺寸如表1所示。
表1
网络结构 输入尺寸 输出尺寸
编码器 5*3*512*512 5*128*128*128
第一convLSTM模块 5*128*128*128 3*128*128*128
第二convLSTM模块 6*128*128*128 2*128*128*128
第三convLSTM模块 7*128*128*128 1*128*128*128
解码器 6*128*128*128 6*128*512*512
分类器 6*128*512*512 6*3*512*512
接下来介绍所述肺结节生长预测模型的训练过程。
所述肺结节生长预测模型,是基于标注训练集和优化器对预设网络模型进行训练得到的。所述标注训练集包括:多个已标注的肺部CT训练图像组,以及每个肺部CT训练图像组对应的真实图像组;所述预设网络模型的模型结构与所述肺结节生长预测模型的结构相同。
在本发明实施例中,每个已标注的肺部CT训练图像组包括同一人体在过去多个时间点各自对应的多张已标注的肺部CT训练图像,所述已标注的肺部CT训练图像,是对肺部CT训练图像进行标注得到,对肺部CT训练图像进行标注的过程与步骤S1中的所介绍的标注过程相同,因此,对肺部CT训练图像进行标注的过程可以参加步骤S1的说明。
已标注的肺部CT训练图像组对应的真实图像组,包括所述已标注的肺部CT训练图像组对应的多张真实图像,所述真实图像是不同时间点对应的真实的肺结节生长图像。
在本发明实施例中,对于每个已标注的肺部CT训练图像组,根据预设网络模型确定所述已标注的肺部CT训练图像组对应的预测训练图像组。所述预设网络模型的模型结构与所述肺结节生长预测模型的模型结构相同,根据预设网络模型确定所述已标注的肺部CT训练图像组对应的预测训练图像组的过程与步骤S2至步骤S5的过程一致,因此,根据预设网络模型确定所述已标注的肺部CT训练图像组对应的预测训练图像组的过程可以参见步骤S2至步骤S5的说明,在此不赘述了。
在本发明实施例中,确定已标注的肺部CT训练图像组对应的预测训练图像组后,根据该已标注的肺部CT训练图像组对应的真实图像组和所述预测训练图像组,采用交叉熵损失函数确定损失函数值,进而通过损失函数值修改所述预设网络模型的模型参数,并继续进行迭代训练,直至满足训练条件,得到肺结节生长预测模型。
进一步地,该已标注的肺部CT训练图像组对应的真实图像组包括时间点不同的多张真实图像,该已标注的肺部CT训练图像组对应的预测训练图像组包括时间点不同的多张预测训练图像,所述多张真实图像和所述多张预测训练图像一一对应;根据该已标注的肺部CT训练图像组对应的真实图像组和所述预测训练图像组,采用交叉熵损失函数确定损失函数值,具体包括:
对于每张真实图像,根据交叉熵损失函数确定该真实图像与该真实图像对应的预测训练图像之间的初始损失值;根据每张真实图像各自对应的预设权重值和初始损失值确定损失函数值。
具体的,根据公式(2)计算初始损失值。
Figure 850968DEST_PATH_IMAGE011
其中,
Figure 860513DEST_PATH_IMAGE012
表示预测训练图像
Figure 986207DEST_PATH_IMAGE013
对应的初始损失值,
Figure 55794DEST_PATH_IMAGE014
是预测训练图像中坐标 为(i,j)的像素点对应的概率值,由预设网络模型得到,
Figure 519137DEST_PATH_IMAGE015
是真实图像中坐标为(i,j)的像 素点对应的标签值。
根据公式(3)计算损失函数值。
Figure 332372DEST_PATH_IMAGE016
其中,
Figure 299191DEST_PATH_IMAGE017
是损失函数值,
Figure 805259DEST_PATH_IMAGE018
所对应的预设权重值,
Figure 490318DEST_PATH_IMAGE019
恒等于1,考虑到 时序预测任务对时间先后顺序较为敏感,一般而言第一个时间点的预测结果最为准确并随 时间增加开始降低,所以在k的增加过程中其权重值
Figure 356512DEST_PATH_IMAGE020
也逐渐降低。m是真实图像组中真实 图像的数量(预测训练图像组中预测训练图像的数量)。
在本发明实施例中,通过损失函数值修改所述预设网络模型的模型参数,并继续进行迭代训练,直至满足训练条件,得到肺结节生长预测模型。所述训练条件包括:迭代次数达到预设次数,或者预设网络模型收敛。
在本发明实施例中,选取合适的优化器对模型进行训练,不同的优化器性能有所差异,考虑到以往实验的经验,采用最为广泛且性能优异的Adam优化器,优化器的学习率固定为0.001,beta的参数值设置为(0.8,0.9),训练过程不使用权重衰减策略。
在本发明实施例中,获取若干肺部CT图像,并对所述若干肺部CT图像进行标注,得到若干标注图像;将所述若干标注图像输入所述编码器,得到若干初始特征图像;将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图;将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像;基于所述若干候选预测特征图像和所述分类器得到若干预测图像,其中,所述若干预测图像各自分别对应不同的时间点,且每张预测图像对应的时间点均晚于任意一张肺部CT图像对应的时间点。本发明中,肺结节生长预测模型包括级联convLSTM网络,根据过去多个时间点的若干肺部CT图像,采用级联convLSTM网络确定肺结节在未来多个时间点的预测图像,不需要测量肺部CT图像中的大量数字特征,也不需要筛选肺结节生成因素,整个过程减少了大量人力资源,操作步骤更为简单,可以快速得到质量较高的预测图像。
本发明实施例还提供了一种计算机设备,该设备可以是终端,内部结构如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种肺结节生长预测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5所示的仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本发明实施例还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取若干肺部CT图像,并对所述若干肺部CT图像进行标注,得到若干标注图像;
将所述若干标注图像输入所述编码器,得到若干初始特征图像;
将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图;
将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像;
基于所述若干候选预测特征图像和所述分类器得到若干预测图像,其中,所述若干预测图像各自分别对应不同的时间点,且每张预测图像对应的时间点均晚于任意一张肺部CT图像对应的时间点。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取若干肺部CT图像,并对所述若干肺部CT图像进行标注,得到若干标注图像;
将所述若干标注图像输入所述编码器,得到若干初始特征图像;
将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图;
将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像;
基于所述若干候选预测特征图像和所述分类器得到若干预测图像,其中,所述若干预测图像各自分别对应不同的时间点,且每张预测图像对应的时间点均晚于任意一张肺部CT图像对应的时间点。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

Claims (8)

1.一种肺结节生长预测方法,其特征在于,应用于肺结节生长预测模型,所述肺结节生长预测模型包括编码器、级联convLSTM网络、解码器和分类器;所述肺结节生长预测方法包括:
获取同一人体在不同时间点的若干肺部CT图像,并对所述若干肺部CT图像进行标注,得到若干标注图像;
将所述若干标注图像输入所述编码器,得到若干初始特征图像;
将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图像;
将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像;
基于所述若干候选预测特征图像和所述分类器得到若干预测图像,其中,所述若干预测图像各自分别对应不同的时间点,且每张预测图像对应的时间点均晚于获取的所述若干肺部CT图像的任意一张图像对应的时间点;
所述级联convLSTM网络包括若干级联的convLSTM模块,所述若干初始预测特征图像包括若干精细预测特征图像和若干粗略预测特征图像,所述若干级联的convLSTM模块与所述若干精细预测特征图像一一对应;
所述级联convLSTM网络包括级联的第一convLSTM模块、第二convLSTM模块和第三convLSTM模块,所述若干精细预测特征图像包括:第一精细预测特征图像、第二精细预测特征图像和第三精细预测特征图像,所述若干粗略预测特征图像包括:若干第一粗略预测特征图像和第二粗略预测特征图像;所述将所述若干初始特征图像输入所述级联convLSTM网络,得到若干初始预测特征图像,具体包括:
将所述若干初始特征图像输入所述第一convLSTM模块,得到第一精细预测特征图像和若干第一粗略预测特征图像;
将所述第一精细预测特征图像和所述若干初始特征图像输入所述第二convLSTM模块,得到第二精细预测特征图像和第二粗略预测特征图像;
将所述第一精细预测特征图像、所述第二精细预测特征图像和所述若干初始特征图像输入所述第三convLSTM模块,得到第三精细预测特征图像。
2.根据权利要求1所述的肺结节生长预测方法,其特征在于,所述编码器包括依次连接的:第一卷积模块、第一激活模块、第一池化层、第二卷积模块、第二激活模块和第二池化层;所述将所述若干标注图像输入所述编码器,得到若干初始特征图像,具体包括:
对于每张标注图像,将该标注图像输入所述第一卷积模块,得到第一图像;
将所述第一图像输入所述第一激活模块,得到第一激活图像;
将所述第一激活图像输入所述第一池化层,得到第一池化图像;
将所述第一池化图像输入所述第二卷积模块,得到第二图像;
将所述第二图像输入所述第二激活模块,得到第二激活图像;
将所述第二激活图像输入所述第二池化层,得到该标注图像对应的初始特征图像。
3.根据权利要求1所述的肺结节生长预测方法,其特征在于,所述解码器包括:第一上采样模块、第三激活模块、第三卷积模块、第二上采样模块、第四激活模块和第四卷积模块;所述将所述若干初始预测特征图像输入所述解码器,得到若干候选预测特征图像,具体包括:
对于每张初始预测特征图像,将该初始预测特征图像输入所述第一上采样模块,得到第一上采样图像;
将所述第一上采样图像输入所述第三激活模块,得到第三激活图像;
将所述第三激活图像输入所述第三卷积模块,得到第三图像;
将所述第三图像输入所述第二上采样模块,得到第二上采样图像;
将所述第二上采样图像输入所述第四激活模块,得到第四激活图像;
将所述第四激活图像输入所述第四卷积模块,得到该初始预测特征图像对应的候选预测特征图像。
4.根据权利要求1所述的肺结节生长预测方法,其特征在于,所述基于所述若干候选预测特征图像和所述分类器得到若干预测图像,具体包括:
对于每张候选预测特征图像,将该候选预测特征图像进行降维处理,得到该候选预测特征图像对应的热图;
基于所述若干候选预测特征图像各自分别对应的热图确定热图序列;
将所述热图序列输入所述分类器,得到若干预测图像。
5.根据权利要求1至4中任一所述的肺结节生长预测方法,其特征在于,所述对所述若干肺部CT图像进行标注,得到若干标注图像,具体包括:
对于每张肺部CT图像,确定该肺部CT图像的肺结节区域和肺部区域;
采用第一标识标注所述肺结节区域的边界,采用第二标识标注所述肺部区域的边界,采用第三标识标注其他区域,得到该肺部CT图像对应的标注图像,其中,所述其他区域是所述肺部CT图像中未被所述第一标识和所述第二标识标记的区域。
6.根据权利要求1至4中任一所述的肺结节生长预测方法,其特征在于,所述肺结节生长预测模型,是基于标注训练集和优化器对预设网络模型进行训练得到的,所述标注训练集包括:多个已标注的肺部CT训练图像组,以及每个肺部CT训练图像组对应的真实图像组;所述预设网络模型的模型结构与所述肺结节生长预测模型的模型结构相同。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任意一项所述的肺结节生长预测方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任意一项所述的肺结节生长预测方法。
CN202110651608.0A 2021-06-11 2021-06-11 一种肺结节生长预测方法和计算机设备 Active CN113378929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110651608.0A CN113378929B (zh) 2021-06-11 2021-06-11 一种肺结节生长预测方法和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110651608.0A CN113378929B (zh) 2021-06-11 2021-06-11 一种肺结节生长预测方法和计算机设备

Publications (2)

Publication Number Publication Date
CN113378929A CN113378929A (zh) 2021-09-10
CN113378929B true CN113378929B (zh) 2022-08-30

Family

ID=77573943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110651608.0A Active CN113378929B (zh) 2021-06-11 2021-06-11 一种肺结节生长预测方法和计算机设备

Country Status (1)

Country Link
CN (1) CN113378929B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758755B (zh) * 2022-06-14 2022-08-16 数聚(山东)医疗科技有限公司 基于大数据分析的医疗数据协同管理平台

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829495B (zh) * 2019-01-29 2023-04-07 南京信息工程大学 基于lstm和dcgan的时序性图像预测方法
CN111768382B (zh) * 2020-06-30 2023-08-15 重庆大学 一种基于肺结节生长形态的交互式分割方法
CN112734748B (zh) * 2021-01-21 2022-05-17 广东工业大学 一种肝胆管及胆道结石的图像分割系统
CN112819831B (zh) * 2021-01-29 2024-04-19 北京小白世纪网络科技有限公司 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN112906631B (zh) * 2021-03-17 2022-07-29 南京邮电大学 一种基于视频的危险驾驶行为检测方法和检测系统

Also Published As

Publication number Publication date
CN113378929A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
WO2021179205A1 (zh) 医学图像分割方法、医学图像分割装置及终端设备
CN111126574B (zh) 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质
WO2020215672A1 (zh) 医学图像病灶检测定位方法、装置、设备及存储介质
CN112395423B (zh) 递归的时序知识图谱补全方法和装置
Thian et al. Deep learning systems for pneumothorax detection on chest radiographs: a multicenter external validation study
CN111583199B (zh) 样本图像标注方法、装置、计算机设备和存储介质
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN113539408B (zh) 一种医学报告生成方法、模型的训练方法、装置及设备
CN109146891B (zh) 一种应用于mri的海马体分割方法、装置及电子设备
CN112419321A (zh) X射线图像识别方法、装置、计算机设备及存储介质
CN113378929B (zh) 一种肺结节生长预测方法和计算机设备
Wang et al. A cell phone app for facial acne severity assessment
Bao et al. Using segmentation with multi-scale selective kernel for visual object tracking
Zhang et al. Human-centric image cropping with partition-aware and content-preserving features
CN115631847B (zh) 基于多组学特征的早期肺癌诊断系统、存储介质及设备
CN111583264A (zh) 图像分割网络的训练方法、图像分割方法和存储介质
CN112509052B (zh) 黄斑中心凹的检测方法、装置、计算机设备和存储介质
CN115457635A (zh) 人脸关键点检测模型训练方法、直播图像处理方法及装置
CN113077440A (zh) 病理图像的处理方法、装置、计算机设备和存储介质
CN111326227A (zh) 病例报告生成方法、装置、设备及存储介质
CN111523379A (zh) 一种3d人体姿态估计模型训练方法
CN115578370B (zh) 一种基于脑影像的代谢区域异常检测方法及装置
CN113159100B (zh) 电路故障诊断方法、装置、电子设备和存储介质
CN114093504A (zh) 信息生成方法、装置、电子设备及存储介质
Li et al. Improved 3D Multiscale V-Net Network-based Segmentation of Lung Nodules

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant