CN115995289A - 基于神经网络模型对医学图像的勾画方法和装置 - Google Patents
基于神经网络模型对医学图像的勾画方法和装置 Download PDFInfo
- Publication number
- CN115995289A CN115995289A CN202310267958.6A CN202310267958A CN115995289A CN 115995289 A CN115995289 A CN 115995289A CN 202310267958 A CN202310267958 A CN 202310267958A CN 115995289 A CN115995289 A CN 115995289A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- target
- medical image
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请公开了一种基于神经网络模型对医学图像的勾画方法和装置。该方法包括:获取待勾画的目标医学图像;将所述待勾画的目标医学图像输入到目标神经网络模型中,通过所述目标神经网络模型得到所述待勾画的目标医学图像对应的勾画结果,其中,所述目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到。通过本申请,解决了相关技术中通过带有临床医生手动标注得到的样本图像训练得到的神经网络模型泛化能力低,导致对医学图像勾画的准确度比较低的问题。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种基于神经网络模型对医学图像的勾画方法和装置。
背景技术
在机器学习与深度学习中通常存在训练数据和实际应用中的数据存在差异的现象,这种现象会导致神经网络模型表现不佳的问题,同时神经网络模型还会受到在实际应用中一些变化的影响,例如,还可能会受到天气、传感器型号等方面的影响。在医学领域中,医学图像由于采集设备的型号、患者姿态以及患者形态存在很大的差异性,这也进一步地加剧了现有神经网络模型在医学图像勾画上表现不佳的问题。
针对相关技术中通过带有临床医生手动标注得到的样本图像训练得到的神经网络模型泛化能力低,导致对医学图像勾画的准确度比较低的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于神经网络模型对医学图像的勾画方法和装置,以解决相关技术中通过带有临床医生手动标注得到的样本图像训练得到的神经网络模型泛化能力低,导致对医学图像勾画的准确度比较低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种基于神经网络模型对医学图像的勾画方法。该方法包括:获取待勾画的目标医学图像;将所述待勾画的目标医学图像输入到目标神经网络模型中,通过所述目标神经网络模型得到所述待勾画的目标医学图像对应的勾画结果,其中,所述目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到。
进一步地,在将所述待勾画的目标医学图像输入到目标神经网络模型中之前,所述方法还包括:获取所述初始神经网络模型;获取第一训练样本集,其中,所述第一训练样本集中至少包括多个未进行图像勾画的训练样本医学图像;依据所述训练样本医学图像对所述初始神经网络模型进行优化训练,得到所述目标神经网络模型。
进一步地,依据所述训练样本医学图像对所述神经网络模型进行优化训练,得到所述目标神经网络模型包括:通过所述初始神经网络模型对所述训练样本医学图像进行勾画,得到预测勾画结果;依据所述预测勾画结果进行熵值计算,得到熵最小化函数;依据所述熵最小化函数对所述初始神经网络模型进行优化,得到所述目标神经网络模型。
进一步地,通过所述预测勾画结果进行熵值计算,得到熵最小化函数包括:获取对所述初始神经网络模型进行优化训练的优化次数;依据所述优化次数进行计算,得到目标权重值;依据所述预测勾画结果和所述目标权重值进行熵值计算,得到所述熵最小化函数。
进一步地,在通过所述预测勾画结果进行熵值计算,得到熵最小化函数之后,所述方法还包括:依据当前的预测勾画结果对应的熵最小化函数进行计算,得到目标损失值;依据所述目标损失值对所述当前的预测勾画结果对应的熵最小化函数进行平滑处理,得到平滑后的熵最小化函数;依据所述熵最小化函数对所述初始神经网络模型进行优化,得到所述目标神经网络模型包括:依据所述平滑后的熵最小化函数对所述初始神经网络模型进行优化,得到所述目标神经网络模型。
进一步地,所述熵最小化函数为:,其中,所述为所述熵最小化函数,为所述预测勾画结果,i为第i个训练样本医学图像,t为所述目标权重值;所述目标权重值计算公式为:,其中,s为所述优化次数。
进一步地,依据所述目标损失值对所述当前的预测勾画结果对应的熵最小化函数进行平滑处理对应的计算公式为:,其中,D为平滑后的熵最小化函数,为所述目标损失值。
进一步地,依据所述训练样本医学图像对所述神经网络模型进行优化训练,得到所述目标神经网络模型包括:若所述初始神经网络模型中包括归一化层,则依据所述训练样本医学图像对所述初始神经网络模型中的归一化层进行优化训练,得到所述目标神经网络模型;若所述初始神经网络模型中不包括归一化层,则依据所述训练样本医学图像对所述初始神经网络模型中的偏置层进行优化训练,得到所述目标神经网络模型。
进一步地,获取所述初始神经网络模型包括:获取第二训练样本集,其中,所述第二训练样本集中至少包括多个训练样本图像和每个训练样本图像对应的真实标签;依据所述多个训练样本图像和每个训练样本图像对应的真实标签进行模型训练得到所述初始神经网络模型。
为了实现上述目的,根据本申请的另一方面,提供了一种基于神经网络模型对医学图像的勾画装置。该装置包括:第一获取单元,用于获取待勾画的目标医学图像;输出单元,用于将所述待勾画的目标医学图像输入到目标神经网络模型中,通过所述目标神经网络模型得到所述待勾画的目标医学图像对应的勾画结果,其中,所述目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到。
进一步地,所述装置还包括:第二获取单元,用于在将所述待勾画的目标医学图像输入到目标神经网络模型中之前,获取所述初始神经网络模型;第三获取单元,用于获取第一训练样本集,其中,所述第一训练样本集中至少包括多个未进行图像勾画的训练样本医学图像;训练单元,用于依据所述训练样本医学图像对所述初始神经网络模型进行优化训练,得到所述目标神经网络模型。
进一步地,所述训练单元包括:勾画模块,用于通过所述初始神经网络模型对所述训练样本医学图像进行勾画,得到预测勾画结果;计算模块,用于依据所述预测勾画结果进行熵值计算,得到熵最小化函数;优化模块,用于依据所述熵最小化函数对所述初始神经网络模型进行优化,得到所述目标神经网络模型。
进一步地,所述计算模块包括:获取子模块,用于获取对所述初始神经网络模型进行优化训练的优化次数;第一计算子模块,用于依据所述优化次数进行计算,得到目标权重值;第二计算子模块,用于依据所述预测勾画结果和所述目标权重值进行熵值计算,得到所述熵最小化函数。
进一步地,所述装置还包括:计算单元,用于在通过所述预测勾画结果进行熵值计算,得到熵最小化函数之后,依据当前的预测勾画结果对应的熵最小化函数进行计算,得到目标损失值;平滑单元,用于依据所述目标损失值对所述当前的预测勾画结果对应的熵最小化函数进行平滑处理,得到平滑后的熵最小化函数;优化模块还用于依据所述平滑后的熵最小化函数对所述初始神经网络模型进行优化,得到所述目标神经网络模型。
进一步地,所述熵最小化函数为:,其中,所述为所述熵最小化函数,为所述预测勾画结果,i为第i个训练样本医学图像,t为所述目标权重值;所述目标权重值计算公式为:,其中,s为所述优化次数。
进一步地,依据所述目标损失值对所述当前的预测勾画结果对应的熵最小化函数进行平滑处理对应的计算公式为:,其中,D为平滑后的熵最小化函数,为所述目标损失值。
进一步地,所述训练单元包括:第一训练模块,用于若所述初始神经网络模型中包括归一化层,则依据所述训练样本医学图像对所述初始神经网络模型中的归一化层进行优化训练,得到所述目标神经网络模型;第二训练模块,用于若所述初始神经网络模型中不包括归一化层,则依据所述训练样本医学图像对所述初始神经网络模型中的偏置层进行优化训练,得到所述目标神经网络模型。
进一步地,所述第二获取单元包括:获取模块,用于获取第二训练样本集,其中,所述第二训练样本集中至少包括多个训练样本图像和每个训练样本图像对应的真实标签;第三训练模块,用于依据所述多个训练样本图像和每个训练样本图像对应的真实标签进行模型训练得到所述初始神经网络模型。
为了实现上述目的,根据本申请的另一方面,还提供了一种计算机可读存储介质,所述存储介质存储程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的基于神经网络模型对医学图像的勾画方法。
为了实现上述目的,根据本申请的一个方面,提供了一种电子设备,电子设备包括一个或多个处理器和存储器,存储器用于存储一个或多个处理器实现上述任意一项所述的基于神经网络模型对医学图像的勾画方法。
通过本申请,采用以下步骤:获取待勾画的目标医学图像;将待勾画的目标医学图像输入到目标神经网络模型中,通过目标神经网络模型得到待勾画的目标医学图像对应的勾画结果,其中,目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到,解决了相关技术中通过带有临床医生手动标注得到的样本图像训练得到的神经网络模型泛化能力低,导致对医学图像勾画的准确度比较低的问题。在本方案中,在对医学图像进行勾画之前,通过没有进行过图像勾画的训练样本医学图像对神经网络模型进行优化,得到目标神经网络模型,然后再通过目标神经网络模型对目标医学图像进行勾画,通过没有进行过图像勾画的训练样本医学图像对神经网络模型进行优化,能够有效提升神经网络模型对医学图像的适应能力和泛化能力,进而达到了提高对医学图像勾画的准确度的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的基于神经网络模型对医学图像的勾画方法的流程图;
图2是根据本申请实施例提供的可选的基于神经网络模型对医学图像的勾画方法的流程图;
图3是根据本申请实施例提供的基于神经网络模型对医学图像的勾画装置的示意图;
图4是根据本申请实施例提供的基于神经网络模型对医学图像的勾画系统的示意图;
图5是根据本申请实施例提供的电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据、医学图像等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
下面结合优选的实施步骤对本发明进行说明,图1是根据本申请实施例提供的基于神经网络模型对医学图像的勾画方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,获取待勾画的目标医学图像;
步骤S102,将待勾画的目标医学图像输入到目标神经网络模型中,通过目标神经网络模型得到待勾画的目标医学图像对应的勾画结果,其中,目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到。
具体地,获取需要进行勾画的目标医学图像,需要说明的是,目标医学图像可以是电子计算机断层扫描图像(CT图像),也可以是核磁共振成像图像(MR图像)。然后,获取目标神经网络模型,需要说明的是,目标神经网络模型是通过已经训练好的初始神经网络模型进行优化得到的。可以采用未经过专家标注的训练样本医学图像对已经训练过的初始神经网络模型进行优化训练,以得到上述的目标神经网络模型。需要说明的是,初始神经网络模型是已经在验证样本集上具有一定图像识别能力,但是泛化性不足的网络模型。通过未经过专家标注的训练样本医学图像对初始神经网络模型进行训练,能够有效提升神经网络模型勾画医学图像的准确性。
将需要进行勾画的目标医学图像输入到目标神经网络模型中,目标神经网络模型通过对目标医学图像进行图像特征提取,进而根据图像特征得到目标医学图像的勾画结果。
综上所述,通过没有进行过图像勾画的训练样本医学图像对神经网络模型进行优化,能够有效提升神经网络模型对医学图像的适应能力和泛化能力,提高了对医学图像勾画的准确度。
如何优化得到目标神经网络模型是至关重要的,因此,在本申请实施例提供的基于神经网络模型对医学图像的勾画方法中,在将待勾画的目标医学图像输入到目标神经网络模型中之前,该方法还包括:获取初始神经网络模型;获取第一训练样本集,其中,第一训练样本集中至少包括多个未进行图像勾画的训练样本医学图像;依据训练样本医学图像对初始神经网络模型进行优化训练,得到目标神经网络模型。
具体地,先获取初始神经网络模型,初始神经网络模型是已经在验证样本集上具有一定图像识别能力,但是泛化性不足的网络模型。初始神经网络模型可以是通过一些带有专家标注的医学图像训练得到。
在得到初始神经网络模型之后,获取未经过专家标注的样本医学图像,并通过这些样本医学图像组建第一训练样本集,最后利用第一训练样本集对初始神经网络模型进行优化训练,以得到目标神经网络模型。
综上所述,通过样本医学图像对初始神经网络模型进行优化,能够有效提升神经网络模型的泛化能力。
更进一步地,在本申请实施例提供的基于神经网络模型对医学图像的勾画方法中,依据训练样本医学图像对神经网络模型进行优化训练,得到目标神经网络模型包括以下步骤:通过初始神经网络模型对训练样本医学图像进行勾画,得到预测勾画结果;依据预测勾画结果进行熵值计算,得到熵最小化函数;依据熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型。
具体地,直接将第一训练样本集中的多个训练样本医学图像输入到初始神经网络模型中,初始神经网络模型对每个训练样本医学图像进行勾画预测,得到预测勾画结果,然后通过预测勾画结果进行熵值计算得到熵最小化函数。熵表示的一组数据中的不确定度,即当初始神经网络模型输出的预测勾画结果的不确定度越高,则熵值越大。因此,可以通过熵最小化函数作为初始神经网络模型的损失函数以提高初始神经网络模型输出的预测勾画结果的置信度。
由于随着神经网络模型的适应性优化,神经网络模型的优化梯度会越来越小,即优化空间变小,因此,为了更一步地提升神经网络模型的勾画的准确性,在本申请实施例提供的基于神经网络模型对医学图像的勾画方法中,通过预测勾画结果进行熵值计算,得到熵最小化函数还包括以下步骤:获取对初始神经网络模型进行优化训练的优化次数;依据优化次数进行计算,得到目标权重值;依据预测勾画结果和目标权重值进行熵值计算,得到熵最小化函数。
具体地,为了更一步地提升神经网络模型的勾画的准确性,上述的熵最小化函数为动态熵最小化函数,首先获取预设的对初始神经网络模型进行优化训练的优化次数,例如,优化次数设置为100次,然后,通过优化次数与预设数值(例如,10)进行计算,得到目标权重值,最后,根据预测勾画结果和目标权重值进行熵值计算,得到动态熵最小化函数。
在一可选的实施例中,熵最小化函数为:,其中,为熵最小化函数,为预测勾画结果,i为第i个训练样本医学图像,t为目标权重值;目标权重值计算公式为:,其中,s为优化次数。
综上所述,通过设置动态熵最小化函数能够随着优化的推进进行动态调整,进一步地提升神经网络模型的勾画的准确性和鲁棒性。
为了防止初始神经网络模型出现“崩塌”的现象,在本申请实施例提供的基于神经网络模型对医学图像的勾画方法中,在通过预测勾画结果进行熵值计算,得到熵最小化函数之后,该方法还包括:依据当前的预测勾画结果对应的熵最小化函数进行计算,得到目标损失值;依据目标损失值对当前的预测勾画结果对应的熵最小化函数进行平滑处理,得到平滑后的熵最小化函数;依据熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型包括:依据平滑后的熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型。
具体地,在通过预测勾画结果进行熵值计算,得到熵最小化函数之后,根据当前的预测勾画结果对应的熵最小化函数进行计算得到目标损失值,例如,计算得到初始神经网络模型第一次输出的预测勾画结果对应的熵最小化函数,然后通过熵最小化函数乘以预设比例(例如,0.8)计算得到目标损失值。在得到目标损失值之后,利用这个目标损失值对当前的预测勾画结果对应的熵最小化函数进行平滑处理,主要针对的是熵最小化函数中损失值较低的部分进行平滑处理,进而能够提高初始神经网络模型域适应的效率。
在一可选的实施例中,依据目标损失值对当前的预测勾画结果对应的熵最小化函数进行平滑处理对应的计算公式为:,其中,D为平滑后的熵最小化函数,为目标损失值。
通过平滑后的熵最小化函数对初始神经网络模型进行优化,能够有效防止初始神经网络模型出现“崩塌”的现象,并且还可以有效提升初始神经网络模型域的训练效率。
为了提高优化的效率和效果,在本申请实施例提供的基于神经网络模型对医学图像的勾画方法中,依据训练样本医学图像对神经网络模型进行优化训练,得到目标神经网络模型包括:若初始神经网络模型中包括归一化层,则依据训练样本医学图像对初始神经网络模型中的归一化层进行优化训练,得到目标神经网络模型;若初始神经网络模型中不包括归一化层,则依据训练样本医学图像对初始神经网络模型中的偏置层进行优化训练,得到目标神经网络模型。
具体地,在神经网络模型的归一化层(BatchNorm层)中,主要保存神经网络模型在训练过程中学习到的均值与方差,而不同的图像对应的分布不同(即数据的方差与均值存在差异),如果直接通过当前的BatchNorm层强制将不同的图像对应数据扭正,则会导致神经网络模型的性能降低;因此,为了提高模型的泛化能力,可以直接对BatchNorm层的参数进行优化,使BatchNorm层学习到其他图像的特征。
因此,如果在申请实施例提供的基于神经网络模型对医学图像的勾画方法中使用的神经网络模型包括归一化层,则对应的直接通过熵最小化函数对归一化层的参数进行优化更新。
在神经网络模型的偏置层中也存有学习得到的参数,也就是训练数据中的分布情况,因此,如果选择使用的初始神经网络模型不包括归一化层,那么对应的直接通过熵最小化函数对偏置层的参数进行优化更新。
综上所述,通过对初始神经网络模型的归一化层或者偏置层进行优化,提高了对神经网络模型优化的效率和效果。
最后,在本申请实施例提供的基于神经网络模型对医学图像的勾画方法中,可以通过以下步骤来获取初始神经网络模型:获取第二训练样本集,其中,第二训练样本集中至少包括多个训练样本图像和每个训练样本图像对应的真实标签;依据多个训练样本图像和每个训练样本图像对应的真实标签进行模型训练得到初始神经网络模型。
具体地,获取由多个训练样本图像组成的第二训练样本集,需要说明的是,第二训练样本集中的样本图像可以是带有专家标注的医学图像。通过第二训练样本集进行模型训练得到初始神经网络模型。
在一可选的实施例中,可以采用如图2所示的流程图实现对医学图像的勾画,获取初始神经网络模型,获取未经过专家标注的医学图像数据,输入到初始神经网络模型当中,进行域适应优化,在适应过程中仅更新初始神经网络模型中的BatchNorm层,如果初始神经网络模型未使用BatchNorm层,则更新初始神经网络模型中卷积层的偏置层。其中,更新初始神经网络模型的损失函数为动态熵最小化函数,并且在优化的过程中对动态熵最小化函数进行平滑化处理,最终得到目标神经网络模型,通过目标神经网络模型对目标医学图像进行勾画,得到勾画结果。
本申请实施例提供的基于神经网络模型对医学图像的勾画方法,通过获取待勾画的目标医学图像;将待勾画的目标医学图像输入到目标神经网络模型中,通过目标神经网络模型得到待勾画的目标医学图像对应的勾画结果,其中,目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到,解决了相关技术中通过带有临床医生手动标注得到的样本图像训练得到的神经网络模型泛化能力低,导致对医学图像勾画的准确度比较低的问题。在本方案中,在对医学图像进行勾画之前,通过没有进行过图像勾画的训练样本医学图像对神经网络模型进行优化,得到目标神经网络模型,然后再通过目标神经网络模型对目标医学图像进行勾画,通过没有进行过图像勾画的训练样本医学图像对神经网络模型进行优化,能够有效提升神经网络模型对医学图像的适应能力和泛化能力,进而达到了提高对医学图像勾画的准确度的效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种基于神经网络模型对医学图像的勾画装置,需要说明的是,本申请实施例的基于神经网络模型对医学图像的勾画装置可以用于执行本申请实施例所提供的用于基于神经网络模型对医学图像的勾画方法。以下对本申请实施例提供的基于神经网络模型对医学图像的勾画装置进行介绍。
图3是根据本申请实施例的基于神经网络模型对医学图像的勾画装置的示意图。如图3所示,该装置包括:第一获取单元301和输出单元302。
第一获取单元301,用于获取待勾画的目标医学图像;
输出单元302,用于将待勾画的目标医学图像输入到目标神经网络模型中,通过目标神经网络模型得到待勾画的目标医学图像对应的勾画结果,其中,目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到。
本申请实施例提供的基于神经网络模型对医学图像的勾画装置,通过第一获取单元301获取待勾画的目标医学图像;输出单元302将待勾画的目标医学图像输入到目标神经网络模型中,通过目标神经网络模型得到待勾画的目标医学图像对应的勾画结果,其中,目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到,解决了相关技术中通过带有临床医生手动标注得到的样本图像训练得到的神经网络模型泛化能力低,导致对医学图像勾画的准确度比较低的问题。在本方案中,在对医学图像进行勾画之前,通过没有进行过图像勾画的训练样本医学图像对神经网络模型进行优化,得到目标神经网络模型,然后再通过目标神经网络模型对目标医学图像进行勾画,通过没有进行过图像勾画的训练样本医学图像对神经网络模型进行优化,能够有效提升神经网络模型对医学图像的适应能力和泛化能力,进而达到了提高对医学图像勾画的准确度的效果。
可选地,在本申请实施例提供的基于神经网络模型对医学图像的勾画装置中,该装置还包括:第二获取单元,用于在将待勾画的目标医学图像输入到目标神经网络模型中之前,获取初始神经网络模型;第三获取单元,用于获取第一训练样本集,其中,第一训练样本集中至少包括多个未进行图像勾画的训练样本医学图像;训练单元,用于依据训练样本医学图像对初始神经网络模型进行优化训练,得到目标神经网络模型。
可选地,在本申请实施例提供的基于神经网络模型对医学图像的勾画装置中,训练单元包括:勾画模块,用于通过初始神经网络模型对训练样本医学图像进行勾画,得到预测勾画结果;计算模块,用于依据预测勾画结果进行熵值计算,得到熵最小化函数;优化模块,用于依据熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型。
可选地,在本申请实施例提供的基于神经网络模型对医学图像的勾画装置中,计算模块包括:获取子模块,用于获取对初始神经网络模型进行优化训练的优化次数;第一计算子模块,用于依据优化次数进行计算,得到目标权重值;第二计算子模块,用于依据预测勾画结果和目标权重值进行熵值计算,得到熵最小化函数。
可选地,在本申请实施例提供的基于神经网络模型对医学图像的勾画装置中,该装置还包括:计算单元,用于在通过预测勾画结果进行熵值计算,得到熵最小化函数之后,依据当前的预测勾画结果对应的熵最小化函数进行计算,得到目标损失值;平滑单元,用于依据目标损失值对当前的预测勾画结果对应的熵最小化函数进行平滑处理,得到平滑后的熵最小化函数;优化模块还用于依据平滑后的熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型。
可选地,在本申请实施例提供的基于神经网络模型对医学图像的勾画装置中,熵最小化函数为:,其中,为熵最小化函数,为预测勾画结果,i为第i个训练样本医学图像,t为目标权重值;目标权重值计算公式为:,其中,s为优化次数。
可选地,在本申请实施例提供的基于神经网络模型对医学图像的勾画装置中,依据目标损失值对当前的预测勾画结果对应的熵最小化函数进行平滑处理对应的计算公式为:,其中,D为平滑后的熵最小化函数,为目标损失值。
可选地,在本申请实施例提供的基于神经网络模型对医学图像的勾画装置中,训练单元包括:第一训练模块,用于若初始神经网络模型中包括归一化层,则依据训练样本医学图像对初始神经网络模型中的归一化层进行优化训练,得到目标神经网络模型;第二训练模块,用于若初始神经网络模型中不包括归一化层,则依据训练样本医学图像对初始神经网络模型中的偏置层进行优化训练,得到目标神经网络模型。
可选地,在本申请实施例提供的基于神经网络模型对医学图像的勾画装置中,第二获取单元包括:获取模块,用于获取第二训练样本集,其中,第二训练样本集中至少包括多个训练样本图像和每个训练样本图像对应的真实标签;第三训练模块,用于依据多个训练样本图像和每个训练样本图像对应的真实标签进行模型训练得到初始神经网络模型。
基于神经网络模型对医学图像的勾画装置包括处理器和存储器,上述的第一获取单元301和输出单元302等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现对医学图像的勾画。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种基于神经网络模型对医学图像的勾画系统,如图4所示,该勾画系统包括:采集模块,神经网络模型模块、加载模型权重模块、模型适应模块和结果输出模块。采集模块用于获取未经过专家标注的医学图像数据,神经网络模型模块和加载模型权重模块用于获取初始神经网络模型,模型适应模块用于对初始神经网络模型进行域适应优化,得到目标神经网络模型,结果输出模块用于通过目标神经网络模型对目标医学图像进行勾画,得到勾画结果。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现基于神经网络模型对医学图像的勾画方法。
本发明实施例提供了一种处理器,处理器用于运行程序,其中,程序运行时执行基于神经网络模型对医学图像的勾画方法。
如图5所示,本发明实施例提供了一种电子设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获取待勾画的目标医学图像;将待勾画的目标医学图像输入到目标神经网络模型中,通过目标神经网络模型得到待勾画的目标医学图像对应的勾画结果,其中,目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到。
可选地,在将待勾画的目标医学图像输入到目标神经网络模型中之前,该方法还包括:获取初始神经网络模型;获取第一训练样本集,其中,第一训练样本集中至少包括多个未进行图像勾画的训练样本医学图像;依据训练样本医学图像对初始神经网络模型进行优化训练,得到目标神经网络模型。
可选地,依据训练样本医学图像对神经网络模型进行优化训练,得到目标神经网络模型包括:通过初始神经网络模型对训练样本医学图像进行勾画,得到预测勾画结果;依据预测勾画结果进行熵值计算,得到熵最小化函数;依据熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型。
可选地,通过预测勾画结果进行熵值计算,得到熵最小化函数包括:获取对初始神经网络模型进行优化训练的优化次数;依据优化次数进行计算,得到目标权重值;依据预测勾画结果和目标权重值进行熵值计算,得到熵最小化函数。
可选地,在通过预测勾画结果进行熵值计算,得到熵最小化函数之后,该方法还包括:依据当前的预测勾画结果对应的熵最小化函数进行计算,得到目标损失值;依据目标损失值对当前的预测勾画结果对应的熵最小化函数进行平滑处理,得到平滑后的熵最小化函数;依据熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型包括:依据平滑后的熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型。
可选地,熵最小化函数为:,其中,为熵最小化函数,为预测勾画结果,i为第i个训练样本医学图像,t为目标权重值;目标权重值计算公式为:,其中,s为优化次数。
可选地,依据目标损失值对当前的预测勾画结果对应的熵最小化函数进行平滑处理对应的计算公式为:,其中,D为平滑后的熵最小化函数,为目标损失值。
可选地,依据训练样本医学图像对神经网络模型进行优化训练,得到目标神经网络模型包括:若初始神经网络模型中包括归一化层,则依据训练样本医学图像对初始神经网络模型中的归一化层进行优化训练,得到目标神经网络模型;若初始神经网络模型中不包括归一化层,则依据训练样本医学图像对初始神经网络模型中的偏置层进行优化训练,得到目标神经网络模型。
可选地,获取初始神经网络模型包括:获取第二训练样本集,其中,第二训练样本集中至少包括多个训练样本图像和每个训练样本图像对应的真实标签;依据多个训练样本图像和每个训练样本图像对应的真实标签进行模型训练得到初始神经网络模型。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取待勾画的目标医学图像;将待勾画的目标医学图像输入到目标神经网络模型中,通过目标神经网络模型得到待勾画的目标医学图像对应的勾画结果,其中,目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到。
可选地,在将待勾画的目标医学图像输入到目标神经网络模型中之前,该方法还包括:获取初始神经网络模型;获取第一训练样本集,其中,第一训练样本集中至少包括多个未进行图像勾画的训练样本医学图像;依据训练样本医学图像对初始神经网络模型进行优化训练,得到目标神经网络模型。
可选地,依据训练样本医学图像对神经网络模型进行优化训练,得到目标神经网络模型包括:通过初始神经网络模型对训练样本医学图像进行勾画,得到预测勾画结果;依据预测勾画结果进行熵值计算,得到熵最小化函数;依据熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型。
可选地,通过预测勾画结果进行熵值计算,得到熵最小化函数包括:获取对初始神经网络模型进行优化训练的优化次数;依据优化次数进行计算,得到目标权重值;依据预测勾画结果和目标权重值进行熵值计算,得到熵最小化函数。
可选地,在通过预测勾画结果进行熵值计算,得到熵最小化函数之后,该方法还包括:依据当前的预测勾画结果对应的熵最小化函数进行计算,得到目标损失值;依据目标损失值对当前的预测勾画结果对应的熵最小化函数进行平滑处理,得到平滑后的熵最小化函数;依据熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型包括:依据平滑后的熵最小化函数对初始神经网络模型进行优化,得到目标神经网络模型。
可选地,熵最小化函数为:,其中,为熵最小化函数,为预测勾画结果,i为第i个训练样本医学图像,t为目标权重值;目标权重值计算公式为:,其中,s为优化次数。
可选地,依据目标损失值对当前的预测勾画结果对应的熵最小化函数进行平滑处理对应的计算公式为:,其中,D为平滑后的熵最小化函数,为目标损失值。
可选地,依据训练样本医学图像对神经网络模型进行优化训练,得到目标神经网络模型包括:若初始神经网络模型中包括归一化层,则依据训练样本医学图像对初始神经网络模型中的归一化层进行优化训练,得到目标神经网络模型;若初始神经网络模型中不包括归一化层,则依据训练样本医学图像对初始神经网络模型中的偏置层进行优化训练,得到目标神经网络模型。
可选地,获取初始神经网络模型包括:获取第二训练样本集,其中,第二训练样本集中至少包括多个训练样本图像和每个训练样本图像对应的真实标签;依据多个训练样本图像和每个训练样本图像对应的真实标签进行模型训练得到初始神经网络模型。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种基于神经网络模型对医学图像的勾画方法,其特征在于,包括:
获取待勾画的目标医学图像;
将所述待勾画的目标医学图像输入到目标神经网络模型中,通过所述目标神经网络模型得到所述待勾画的目标医学图像对应的勾画结果,其中,所述目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到。
2.根据权利要求1所述的方法,其特征在于,在将所述待勾画的目标医学图像输入到目标神经网络模型中之前,所述方法还包括:
获取所述初始神经网络模型;
获取第一训练样本集,其中,所述第一训练样本集中至少包括多个未进行图像勾画的训练样本医学图像;
依据所述训练样本医学图像对所述初始神经网络模型进行优化训练,得到所述目标神经网络模型。
3.根据权利要求2所述的方法,其特征在于,依据所述训练样本医学图像对所述神经网络模型进行优化训练,得到所述目标神经网络模型包括:
通过所述初始神经网络模型对所述训练样本医学图像进行勾画,得到预测勾画结果;
依据所述预测勾画结果进行熵值计算,得到熵最小化函数;
依据所述熵最小化函数对所述初始神经网络模型进行优化,得到所述目标神经网络模型。
4.根据权利要求3所述的方法,其特征在于,通过所述预测勾画结果进行熵值计算,得到熵最小化函数包括:
获取对所述初始神经网络模型进行优化训练的优化次数;
依据所述优化次数进行计算,得到目标权重值;
依据所述预测勾画结果和所述目标权重值进行熵值计算,得到所述熵最小化函数。
5.根据权利要求3所述的方法,其特征在于,
在通过所述预测勾画结果进行熵值计算,得到熵最小化函数之后,所述方法还包括:
依据当前的预测勾画结果对应的熵最小化函数进行计算,得到目标损失值;
依据所述目标损失值对所述当前的预测勾画结果对应的熵最小化函数进行平滑处理,得到平滑后的熵最小化函数;
依据所述熵最小化函数对所述初始神经网络模型进行优化,得到所述目标神经网络模型包括:
依据所述平滑后的熵最小化函数对所述初始神经网络模型进行优化,得到所述目标神经网络模型。
6.根据权利要求4所述的方法,其特征在于,
所述熵最小化函数为:,其中,所述为所述熵最小化函数,为所述预测勾画结果,i为第i个训练样本医学图像,t为所述目标权重值;
所述目标权重值计算公式为:,其中,s为所述优化次数。
7.根据权利要求5所述的方法,其特征在于,依据所述目标损失值对所述当前的预测勾画结果对应的熵最小化函数进行平滑处理对应的计算公式为:
,其中,D为平滑后的熵最小化函数,为所述目标损失值。
8.根据权利要求2所述的方法,其特征在于,依据所述训练样本医学图像对所述神经网络模型进行优化训练,得到所述目标神经网络模型包括:
若所述初始神经网络模型中包括归一化层,则依据所述训练样本医学图像对所述初始神经网络模型中的归一化层进行优化训练,得到所述目标神经网络模型;
若所述初始神经网络模型中不包括归一化层,则依据所述训练样本医学图像对所述初始神经网络模型中的偏置层进行优化训练,得到所述目标神经网络模型。
9.根据权利要求2所述的方法,其特征在于,获取所述初始神经网络模型包括:
获取第二训练样本集,其中,所述第二训练样本集中至少包括多个训练样本图像和每个训练样本图像对应的真实标签;
依据所述多个训练样本图像和每个训练样本图像对应的真实标签进行模型训练得到所述初始神经网络模型。
10.一种基于神经网络模型对医学图像的勾画装置,其特征在于,包括:
第一获取单元,用于获取待勾画的目标医学图像;
输出单元,用于将所述待勾画的目标医学图像输入到目标神经网络模型中,通过所述目标神经网络模型得到所述待勾画的目标医学图像对应的勾画结果,其中,所述目标神经网络模型由未进行图像勾画的训练样本医学图像对初始神经网络模型进行优化得到。
11.一种计算机可读存储介质,其特征在于,所述存储介质存储程序,其中,所述程序执行权利要求1至9中任意一项所述的基于神经网络模型对医学图像的勾画方法。
12.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至9中任意一项所述的基于神经网络模型对医学图像的勾画方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310267958.6A CN115995289B (zh) | 2023-03-20 | 2023-03-20 | 基于神经网络模型对医学图像的勾画方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310267958.6A CN115995289B (zh) | 2023-03-20 | 2023-03-20 | 基于神经网络模型对医学图像的勾画方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115995289A true CN115995289A (zh) | 2023-04-21 |
CN115995289B CN115995289B (zh) | 2023-06-30 |
Family
ID=85990588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310267958.6A Active CN115995289B (zh) | 2023-03-20 | 2023-03-20 | 基于神经网络模型对医学图像的勾画方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115995289B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428475A (zh) * | 2019-06-21 | 2019-11-08 | 腾讯科技(深圳)有限公司 | 一种医学图像的分类方法、模型训练方法和服务器 |
CN112116989A (zh) * | 2020-09-11 | 2020-12-22 | 海创时代(深圳)医疗科技有限公司 | 一种多器官勾画方法及装置 |
US20210312614A1 (en) * | 2020-04-01 | 2021-10-07 | Wistron Corp. | Medical image recognition method and medical image recognition device |
CN113539402A (zh) * | 2021-07-14 | 2021-10-22 | 广州柏视医疗科技有限公司 | 多模态影像自动勾画模型迁移方法 |
CN114446440A (zh) * | 2022-01-28 | 2022-05-06 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 放疗计划的确定方法和装置、存储介质及处理器 |
-
2023
- 2023-03-20 CN CN202310267958.6A patent/CN115995289B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428475A (zh) * | 2019-06-21 | 2019-11-08 | 腾讯科技(深圳)有限公司 | 一种医学图像的分类方法、模型训练方法和服务器 |
US20210312614A1 (en) * | 2020-04-01 | 2021-10-07 | Wistron Corp. | Medical image recognition method and medical image recognition device |
CN112116989A (zh) * | 2020-09-11 | 2020-12-22 | 海创时代(深圳)医疗科技有限公司 | 一种多器官勾画方法及装置 |
CN113539402A (zh) * | 2021-07-14 | 2021-10-22 | 广州柏视医疗科技有限公司 | 多模态影像自动勾画模型迁移方法 |
CN114446440A (zh) * | 2022-01-28 | 2022-05-06 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 放疗计划的确定方法和装置、存储介质及处理器 |
Also Published As
Publication number | Publication date |
---|---|
CN115995289B (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107622240B (zh) | 人脸检测方法和装置 | |
JP7125562B2 (ja) | 目標追跡方法、コンピュータプログラム、及び電子機器 | |
US20190057320A1 (en) | Data processing apparatus for accessing shared memory in processing structured data for modifying a parameter vector data structure | |
CN110147806A (zh) | 图像描述模型的训练方法、装置及存储介质 | |
CN111444807B (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
CN112668608B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
CN109902588B (zh) | 一种手势识别方法、装置及计算机可读存储介质 | |
CN113326851B (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
CN111914878A (zh) | 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质 | |
CN114446440A (zh) | 放疗计划的确定方法和装置、存储介质及处理器 | |
CN113689938B (zh) | 医学影像的勾画方法、装置、存储介质及处理器 | |
CN116912923B (zh) | 一种图像识别模型训练方法和装置 | |
CN115995289B (zh) | 基于神经网络模型对医学图像的勾画方法和装置 | |
CN113256651B (zh) | 模型训练方法及装置、图像分割方法及装置 | |
CN112990440B (zh) | 用于神经网络模型的数据量化方法、可读介质和电子设备 | |
CN111062477B (zh) | 一种数据处理方法、装置及存储介质 | |
CN114418059A (zh) | 一种信息处理方法及装置 | |
CN114170481A (zh) | 用于图像处理的方法、设备、存储介质和程序产品 | |
CN116071375B (zh) | 图像分割方法和装置、存储介质及电子设备 | |
CN110910362A (zh) | 一种影像序列的标注方法、装置、处理器及存储介质 | |
CN116013475B (zh) | 多模态医学图像的勾画方法和装置、存储介质及电子设备 | |
US11790655B2 (en) | Video sampling method and apparatus using the same | |
CN116610308B (zh) | 代码管理方法及装置、电子设备及存储介质 | |
CN117934855A (zh) | 医学图像分割方法和装置、存储介质及电子设备 | |
CN116012899A (zh) | 人脸识别模型训练方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |