CN113723523A - 医学影像的处理方法、装置、计算机设备及存储介质 - Google Patents
医学影像的处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113723523A CN113723523A CN202111017440.4A CN202111017440A CN113723523A CN 113723523 A CN113723523 A CN 113723523A CN 202111017440 A CN202111017440 A CN 202111017440A CN 113723523 A CN113723523 A CN 113723523A
- Authority
- CN
- China
- Prior art keywords
- nodule
- feature
- feature vector
- risk level
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 8
- 239000013598 vector Substances 0.000 claims abstract description 300
- 230000003211 malignant effect Effects 0.000 claims abstract description 102
- 238000000605 extraction Methods 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 44
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 36
- 201000011510 cancer Diseases 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 206010054107 Nodule Diseases 0.000 abstract description 42
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 20
- 238000011156 evaluation Methods 0.000 description 15
- 238000003745 diagnosis Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 210000000481 breast Anatomy 0.000 description 3
- 210000001685 thyroid gland Anatomy 0.000 description 3
- 206010006272 Breast mass Diseases 0.000 description 2
- 208000009453 Thyroid Nodule Diseases 0.000 description 2
- 208000024770 Thyroid neoplasm Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 201000002994 Dyschromatosis symmetrica hereditaria Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种医学影像的处理方法、装置、计算机设备及存储介质,涉及信息技术领域,主要在于能够提高结节良恶性的预测精度。其中方法包括:获取待预测的医学影像;将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;基于所述良恶性特征向量,预测所述结节对应的良恶性结果。本发明涉及人工智能及数字医疗领域。
Description
技术领域
本发明涉及人工智能领域,尤其涉及一种医学影像的处理方法、装置、计算机设备及存储介质。
背景技术
医学影像能够对人体内部组织进行显示,通过医学影像设备以非侵入的方式对人体内部组织数据进行采集,以此得到人体内部组织对应的医学影像。
目前,通常根据采集的医学影像,直接对病灶区域进行预测。然而,由于这种方式在预测的过程中并没有考虑国际风险级别评估标准,即无法保证预测结果满足国际风险级别评估标准,从而导致对病灶区域的预测精度不高。
发明内容
本发明提供了一种医学影像的处理方法、装置、计算机设备及存储介质,主要在于能够保证预测结果满足国际风险级别标准,从而能够提高病灶区域的预测精度。
根据本发明第一个方面,提供了一种医学影像的处理方法,包括:
获取待预测的医学影像;
将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;
将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;
利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;
基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
根据本发明第二个方面,提供了一种医学影像的处理装置,该装置包括:
获取单元,用于获取待预测的医学影像;
提取单元,用于将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;
拼接单元,用于将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;
约束单元,用于利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;
预测单元,用于基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
根据本发明的第三个方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:
获取待预测的医学影像;
将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;
将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;
利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;
基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
根据本发明的第四个方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
获取待预测的医学影像;
将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;
将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;
利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;
基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
本发明提供的一种医学影像的处理方法、装置、计算机设备及存储介质,与目前根据超声影像直接预测结节的良恶性结果的方式相比,本申请通过获取待预测的医学影像;并将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;与此同时,将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;并利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;最终基于所述良恶性特征向量,预测所述结节对应的良恶性结果,由于残差注意力网络在训练的过程中受到国际风险级别评估标准的约束,因此通过该残差注意力网络生成的风险级别特征向量是满足该国际标准的,利用该风险级别特征向量在结节良恶性特征向量生成的过程中对其进行约束,能够保证依据该良恶性特征向量预测的结节良恶性结果也满足国际风险级别评估标准,从而能够提高结节的良恶性预测精度,更好地辅助医生进行诊断。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了本发明实施例提供的一种医学影像的处理方法流程图;
图2示出了本发明实施例提供的另一种医学影像的处理方法流程图;
图3示出了本发明实施例提供的一种医学影像的处理装置的结构示意图;
图4示出了本发明实施例提供的另一种医学影像的处理装置的结构示意图;
图5示出了本发明实施例提供的一种计算机设备的实体结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
目前,在预测结节良恶性的过程中,并没有考虑国际的风险级别评估标准,即无法保证预测的结节良恶性结果满足国际的风险级别标准,从而导致结节良恶性结果的预测精度不高。
为了解决上述问题,本发明实施例提供了一种医学影像的处理方法,如图1所示,所述方法包括:
101、获取待预测的医学影像。
其中,医学影像可以为患者在超声检测过程中的超声影像,该超声影像具体可以为甲状腺超声影像或者乳腺超声影像,医生通过该甲状腺超声影像或者乳腺超声影像可以对患者的甲状腺结节或者乳腺结节进行良恶性诊断,需要说明的是本发明实施例中的医学影像并不局限于超声影像,也可以为其他类型的医学影像。为了克服现有技术中预测的结节良恶性结果可能不满足国际风险级别评估标准,进而导致结节良恶性的预测精度较低的缺陷,本发明实施利用多个残差注意力网络生成结节的风险级别特征向量,并利用该风险级别特征向量在结节良恶性特征向量生成的过程中对其进行约束,从而能够保证最终预测的结节良恶性结果满足国际标准,进而提高了结节良恶性的预测精度。本发明实施例主要适用于预测结节良恶性结果的场景。本发明实施例的执行主体为能够对结节的良恶性进行预测的装置或者设备,具体可以设置在服务器一侧。
对于本发明实施例,患者在就诊的过程中,会去做超声检测,在超声扫查时,超声科医生会定位出异常区域,由此可以获取患者针对该异常区域的超声影像,医生根据该超声影像能够对病灶区域进行诊断。
102、将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量。
其中,预设图像特征提取模型包括多个首尾相连的残差注意力网络,残差注意力网络的数量可以根据实际的业务需求进行设定,如预设图像特征提取模型包括三个首尾相连的残差注意力网络,每个残差注意力网络中包含三个残差模块,每个残差模块中包含三层卷积核,经历每个残差注意力网络后,输出的长和宽都会变成输入的一半,而通道数变为输入的2倍。
对于本发明实施例,将医学影像输入至首尾相连的多个残差注意力网络中,第一个残差注意力网络中每个残差模块中的卷积层会提取医学影像中结节对应的特征向量,并将第一残差注意力网络最终输出的结节特征向量作为输入向量,输入至下一个残差注意力网络中进行特征提取,与此同时,第一个残差注意力网络最终输出的结节特征向量经过全局平均池化处理,得到一个低维度的特征向量,从而通过全局平均池化处理能够抽取每个残差注意力网络输出的结节特征向量,以便基于该抽取的结节特征向量,确定结节对应的风险级别特征向量
103、将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量。
其中,医学影像中的结节可以为甲状腺结节或者乳腺结节,对于本发明实施例,将提取的每个残差注意力网络的结节特征向量进行横向拼接,生成一个高维度的结节特征向量,该高维度的结节特征向量分别经过全连接层和sigmoid激活层的处理后,得到医学影像中结节对应的风险特征向量,例如,预设图像特征提取模型中包含三个残差注意力网络,对每个残差注意力网络输出的特征向量进行全局平均池化处理,即降维处理,得到每个残差注意力为网络对应的20维结节特征向量,之后将三个20维结节特征向量进行横向拼接,得到一个60维的结节特征向量,该60维的结节特征向量经过全连接层和sigmoid激活层的处理后,得到30维的结节特征向量,将该30维的结节特征向量确定为结节对应的风险级别特征向量。
104、利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量。
对于本发明实施例,由于风险级别特征向量可综合描述结节的形状、生长方位、回声水位等属性,该风险级别特征向量中聚集了多尺度信息,因此可本发明实施例可以利用生成的风险级别特征向量协助结节的良恶性分类,从而使预测的结节良恶性结果满足国际标准,提高结节良恶性结果的预测精度。
具体地,在最后一个残差注意力网络后面连接有两个全连接层和一个softmax激活层,将最后一个残差注意力网络输出的结节特征向量输入至全连接层,获取经过全连接层处理且在输入softmax激活层之前的特征向量,并将该特征向量与生成的风险级别特征向量进行点乘,得到医学影像中结节对应的良恶性特征向量。例如,生成的风险级别特征向量是一个30维的特征向量,经过全连接层处理后的结节特征向量也是一个30维的特征向量,将风险级别特征向量和经过全连接层处理后的结节特征向量中相应的分量进行点乘,得到良恶性特征向量,且该良恶性特征向量也是一个30维的特征向量。由此按照上述方式能够利用风险级别特征向量在生成良恶性特征向量的过程中对其进行约束,以确保得到的结节良恶性预测结果满足国际风险级别评估标准,从而能够提高结节良恶性的预测精度。
105、基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
对于本发明实施例,为了预测结节的良恶性结果,将生成的良恶性特征向量输入至全连接层后面的softmax层进行分类,softmax层输出的是一个长度为2的向量,softmax层输出的向量实质上是一个概率分布,分别代表结节属于良性结节的概率和结节属于恶性结节的概率,如果结节属于良性结节的概率大于结节属于恶性结节的概率,则确定医学影像中的结节属于良性;如果结节属于良性结节的概率小于或者等于结节属于恶性结节的概率,则确定医学影像中的结节属于恶性。医生基于医学影像的处理结果,能够为患者进行诊断。
本发明实施例提供的一种医学影像的处理方法,与目前根据超声影像直接预测结节的良恶性结果的方式相比,本申请通过获取待预测的医学影像;并将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;与此同时,将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;并利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;最终基于所述良恶性特征向量,预测所述结节对应的良恶性结果,由于残差注意力网络在训练的过程中受到国际风险级别评估标准的约束,因此通过该残差注意力网络生成的风险级别特征向量是满足该国际标准的,利用该风险级别特征向量在结节良恶性特征向量生成的过程中对其进行约束,能够保证依据该良恶性特征向量预测的结节良恶性结果也满足国际风险级别评估标准,从而能够提高结节的良恶性预测精度,更好地辅助医生进行诊断。
进一步的,为了更好的说明上述预测结节良恶性的过程,作为对上述实施例的细化和扩展,本发明实施例提供了另一种医学影像的处理方法,如图2所示,所述方法包括:
201、获取待预测的医学影像。
对于本发明实施例,医生在为患者进行诊断的过程中,可以在装置侧选择或者上传患者相应病灶区域的医学影像,如超声影像,装置侧在接收到预测指令后,通过提取超声影像中结节对应的风险级别特征向量和良恶性特征向量,能够预测结节的风险级别和良恶性结果,并将结节的风险级别和良恶性预测结果一同展示给医生,从而能够更好地辅助医生进行诊断。
202、将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量。
对于本发明实施例,为了获取多个残差注意力网络分别输出的结节特征向量,步骤202具体包括:将所述医学影像输入至所述预设图像特征提取模型中的第一个残差注意力网络,利用所述第一个残差注意力网络的主干分支和掩膜分支分别提取所述结节对应的主干分支特征和掩膜分支特征;将所述主干分支特征中的各个特征分量与所述掩膜分支特征中的各个特征分量对应相乘,得到所述结节对应的选择特征,并将所述选择特征中的各个特征分量与所述主干分支特征中的各个特征分量对应相加,得到所述第一个残差注意力网络输出的结节特征向量;;将所述第一个残差注意力网络输出的结节特征向量输入至与所述第一个残差注意力网络相连接的第二个残差注意力网络进行特征提取,得到所述第二个残差注意力网络输出的结节特征向量;继续将所述第二个残差注意力网络输出的结节特征向量输入至与所述第二个残差注意力网络相连接的第三个残差注意力网络进行特征提取,直至得到所述最后一个残差注意力网络输出的结节特征向量。
具体地,每个残差注意力网络由多个残差模块堆叠而成,如每个残差注意力网络包含3个残差模块,每个残差模块包含两部分,分别是主干分支和掩膜分支,主干分支用于进行特征处理,主要利用残差模块中的多层卷积核完成图像主干分支特征T(x)的提取,掩膜分支采用bottom-up和top-down注意力相结合的方式,学习得到一个与主干输出大小相同的掩膜分支特征M(x),M(x)相当于T(x)的权重,针对掩膜分支,对输入的医学影像先执行几次max pooling以实现经过少量Residual Units之后快速增加感受野,通过一个对称的网络结构将特征放大回去,即在Residual Units之后使用线性插值,使用的线性插值数量与最大池化数量一致,之后接两个卷积层,最后接一个Sigmoid层将输出归一化到[0,1],进而得到掩膜分支特征M(x),(1+M(x))*T(x)即为残差注意力网络输出的结节特征向量,由于每个残差注意力网络的结构完全一样,因此按照上述方式能够得到每个残差注意力网络输出的特征向量,之后对每个残差注意力网络输出的特征向量进行全局平均池化处理,即降维处理,得到每个残差注意力网络对应的结节特征向量,如分别提取三个首尾相连的残差注意力网络对应的20维结节特征向量。
203、将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量。
例如,将三个20维结节特征向量进行横向拼接,得到一个60维的结节特征向量,该60维的结节特征向量经过全连接层和sigmoid激活层处理后,得到30维的结节特征向量,将该30维的结节特征向量确定为结节对应的风险级别特征向量,以便利用该风险级别特征协助结节的良恶性分类,提高结节的良恶性预测精度。
204、基于所述风险级别特征向量,预测所述结节对应的风险级别。
对于本发明实施例,如果在实际的诊断场景中,仅提供给医生结节的良恶性预测结果,医生无法确定该良恶性预测结果是否满足国际风险等级的评估标准,即医生无法确定该良恶性预测结果是否可用,因此本发明实施例在预测结节良恶性结果的同时,还对结节的风险级别进行预测,并将结节的良恶性预测结果和风险级别预测结果一同提供给医生,医生如果看到结节的风险级别预测结果相对于良恶性预测结果比较合理,便可以相信该预测结果,从而能够更好地辅助医生进行诊断。
针对预测结节风险级别的具体过程,步骤204具体包括:确定国际标准中不同风险级别对应的中心向量;分别计算所述风险级别特征向量与所述不同风险级别对应的中心向量之间的散度;根据所述不同风险级别对应的散度,确定最小散度对应的风险级别为所述结节对应的风险级别。进一步地,所述确定不同风险级别对应的中心向量,包括:利用正态分布初始化每个所述不同风险级别对应的分量;对每个所述不同风险级别对应的分量进行归一化处理,得到所述不同风险级别对应的中心向量。
具体地,国际风险级别评估标准中最常用的BI-RADS和TI-RAD风险级别包括2级、3级、4A级、4B级、4C级和5级,共6个风险级别,在本发明实施例中,为了预测结节对应的风险级别,首先确定国际标准中上述风险级别对应的中心向量,并用散度代表生成的风险级别特征向量与国际标准中不同风险级别对应的中心向量之间的距离,生成的风险级别特征向量与国际标准中某一风险级别对应的中心向量之间的散度越小,代表两者之间的距离越小,即越相近,相反生成的风险级别特征向量与国际标准中某一风险级别对应的中心向量之间的散度越大,代表两者之间的距离越大,即越不相近。由此通过计算风险级别特征向量与国际标准中不同风险级别对应的中心向量,能够预测结节对应的风险级别。
在确定国际标准中不同风险级别对应的中心向量时,由于结节对应的风险级别特征向量是一个长度为N维的特征向量,而国际标准中共存在6个风险级别,因此可以假设每N/6个相邻的分量代表一个特定风险级别所需的信息,例如,风险级别特征向量是一个长度为30维的特征向量,由于国际标准中共存在6个风险级别,因此可以假设第0个到第4个分量代表2级风险级别所需的信息,第5个分量到第9个分量代表3级风险级别所需的信息,第10个分量到第14个分量代表4A级风险级别所需的信息,以此类推,进一步地,利用正太分布初始化国际标准中不同风险级别对应的各个分量,具体公式如下:
其中,假设风险分级特征向量是一个30维的特征向量,x代表风险分级特征向量的下标,i是一个从0到5之间的整数,分别代表2级、3级、4A级、4B级、4C级和5级这6个风险级别,由此按照上述公式能够初始化国际标准中不同风险级别对应的各个分量gi(x),进一步地,由于不同的医生针对同一个结节的判断可能会有不同,因此为模拟不同医生的判断,在初始化不同风险级别对应的各个分量之后,在不同风险级别对应的各个分量上加上一个高斯随机数,之后对不同风险级别对应的各个分量进行归一化处理,得到不同风险级别对应的中心向量,具体公式如下:
其中,fi(x)代表国际标准中第i个风险级别对应的归一化后的各个分量,根据不同风险分级别对应的归一化后的各个分量,能够确定不同风险级别对应的中心向量,之后计算实际生成的风险级别特征向量与不同风险级别对应的中心向量之间的散度,散度的具体计算公式如下:
其中,L代表生成的风险分级特征向量与某个风险级别对应的中心向量之间的散度,q(x)代表实际生成的风险分级特征向量,由此通过上述公式能够计算出生成的风险分级特征向量与国际标准中不同风险级别对应的中心向量之间的散度,散度越小,代表两者越相近,因此选取最小散度对应的风险级别,并将其确定为结节对应的风险级别,以实现对结节风险级别的预测。
205、利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量。
对于本发明实施例,为了使结节的良恶性预测结果满足国际风险级别评估标准,需要在良恶性特征向量生成的过程中利用风险级别特征对其进行约束,针对该过程,步骤205具体包括:将所述最后一个残差注意力网络输出的结节特征向量输入至全连接层,得到经过全连接层处理的结节特征向量;将所述经过全连接层处理的结节特征向量与所述风险级别特征向量进行点乘,得到所述结节对应的良恶性特征向量。
例如,经过全连接层处理后且在输入softmax激活层之前的结节特征向量是一个30维的特征向量,生成的风险级别特征向量也是一个30维的特征向量,将风险级别特征向量和经过全连接层处理后的结节特征向量中相应的分量进行点乘,得到良恶性特征向量,该良恶性特征向量也是一个30维的特征向量。
206、基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
对于本发明实施例,根据良恶性特征向量,预测结节对应的连恶性结果的过程与步骤105完全相同,在此不再赘述。
进一步地,根据结节对应的两种预测结果,辅助进行诊断,例如,针对甲状腺超声结节,当风险级别为4B或者4B以上,且良恶性结果为恶性时,建议该病人进行活检;针对乳腺超声结节,当风险级别为4B或者4B以上,且良恶性结果为恶性时,建议该病人进行活检;当风险级别为4A或者4A以上,且良恶性结果为良性时,无论是甲状腺超声结节还是乳腺超声结节,均认为该病人不需要进行穿刺。
进一步地,本发明实施例在对结节的良恶性和风险级别进行预测之前,需要构建预设图像特征提取模型,针对该模型构建过程,所述方法包括:将所述样本医学影像输入至初始图像特征提取模型中进行特征提取,得到所述样本医学影像中结节对应的样本风险级别特征向量和样本良恶性特征向量;确定所述实际风险等级对应的中心向量,并基于所述实际风险等级对应的中心向量和所述样本风险级别特征向量,构建结节风险级别损失函数;根据所述样本良恶性特征向量,确定所述样本医学影像中结节对应的预测良恶性结果,并基于所述预测良恶性结果和所述实际良恶性结果,构建结节良恶性损失函数;根据所述结节风险级别损失函数和所述结节良恶性损失函数,共同对所述初始图像特征提取模型进行训练,构建所述预设图像特征提取模型。
具体地,收集大量患者的样本医学影像,该样本医学影像预先标注有结节的实际良恶性结果,同时根据国际风险等级评估标准确定结节对应的风险等级,并基于该评估的风险等级对样本医学影像进行标注,进一步地,将多个初始残差注意力网络首尾相连,构建初始图像特征提取模型,之后将样本医学影像输入至初始图像特征提取模型中进行特征提取,得到样本医学影像中结节对应的样本风险级别特征向量和样本良恶性特征向量,之后根据样本医学影像对应的实际风险级别,确定该实际风险级别对应的中心向量,接着计算样本风险级别特征向量和该中心向量之间的散度,由此能够计算出所有样本医学影像中结节对应的散度,将其相加构建结节风险级别损失函数,进一步地,根据样本良性特征向量输入至softmax层,得到样本医学影像中结节对应的预测良恶性结果,基于该预测良恶性结果和实际良恶性结果,构建结节良恶性损失函数,进一步地,利用该结节风险级别损失函数和结节良恶性损失函数,共同对初始残差注意力网络进行训练,得到图像特征提取模型。
本发明提供的另一种医学影像的处理方法,与目前根据超声影像直接预测结节的良恶性结果的方式相比,本发明实施例利用生成的风险级别特征向量在良恶性特征向量生成的过程中对其进行约束,能够保证依据该良恶性特征向量,预测的结节良恶性结果满足国际风险级别评估标准,从而能够提高结节良恶性的预测精度,与此同时,本发明实施例能够同时预测结节的良恶性结果和风险级别,医生依据该风险级别的合理性,能够判定是否可以使用给该预测结果,从而能够更好地辅助医生进行诊断。
进一步地,作为图1的具体实现,本发明实施例提供了一种医学影像的处理装置,如图3所示,所述装置包括获取单元31、提取单元32、拼接单元33、约束单元34和预测单元35。
所述获取单元31,可以用于获取待预测的医学影像。
所述提取单元32,可以用于将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量。
所述拼接单元33,可以用于将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量。
所述约束单元34,可以用于利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量。
所述预测单元35,可以用于基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
在具体应用场景中,为了提取多个残差注意力网络对应的结节特征向量,所述提取单元32,如图4所示,包括:提取模块321和确定模块322。
所述提取模块321,可以用于将所述医学影像输入至所述预设图像特征提取模型中的第一个残差注意力网络,利用所述第一个残差注意力网络的主干分支和掩膜分支分别提取所述结节对应的主干分支特征和掩膜分支特征。
所述确定模块322,可以用于将所述主干分支特征中的各个特征分量与所述掩膜分支特征中的各个特征分量对应相乘,得到所述结节对应的选择特征,并将所述选择特征中的各个特征分量与所述主干分支特征中的各个特征分量对应相加,得到所述第一个残差注意力网络输出的结节特征向量。
所述提取模块321,还可以用于将所述第一个残差注意力网络输出的结节特征向量输入至与所述第一个残差注意力网络相连接的第二个残差注意力网络进行特征提取,得到所述第二个残差注意力网络输出的结节特征向量。
所述提取模块321,还可以用于继续将所述第二个残差注意力网络输出的结节特征向量输入至与所述第二个残差注意力网络相连接的第三个残差注意力网络进行特征提取,直至得到所述最后一个残差注意力网络输出的结节特征向量。
在具体应用场景中,为了获取结节对应的良恶性特征向量,所述约束单元34,包括:处理模块341和相乘模块342。
所述处理模块341,可以用于将所述最后一个残差注意力网络输出的结节特征向量输入至全连接层,得到经过全连接层处理的结节特征向量。
所述相乘模块342,可以用于将所述经过全连接层处理的结节特征向量与所述风险级别特征向量进行点乘,得到所述结节对应的良恶性特征向量。
在具体应用场景中,所述预测单元35,还可以用于基于所述风险级别特征向量,预测所述结节对应的风险级别。
进一步地,为了预测结节对应的风险级别,所述预测单元35,包括:确定模块351和计算模块352。
所述确定模块351,可以用于确定国际标准中不同风险级别对应的中心向量。
所述计算模块352,可以用于分别计算所述风险级别特征向量与所述不同风险级别对应的中心向量之间的散度。
所述确定模块351,还可以用于根据所述不同风险级别对应的散度,确定最小散度对应的风险级别为所述结节对应的风险级别。
进一步地,为了获取国际标准中不同风险级别对应的中心向量,所述确定模块351,包括:初始化子模块和归一化子模块。
所述初始化子模块,可以用于利用正态分布初始化每个所述不同风险级别对应的分量。
所述归一化子模块,可以用于对每个所述不同风险级别对应的分量进行归一化处理,得到所述不同风险级别对应的中心向量。
在具体应用场景中,为了构建预设图像特征提取模型,所述装置还包括:构建单元36和训练单元37。
所述获取单元31,还可以用于获取样本医学影像中结节对应的实际良恶性结果和实际风险等级。
所述提取单元32,还可以用于将所述样本医学影像输入至初始图像特征提取模型中进行特征提取,得到所述样本医学影像中结节对应的样本风险级别特征向量和样本良恶性特征向量。
所述构建单元36,可以用于确定所述实际风险等级对应的中心向量,并基于所述实际风险等级对应的中心向量和所述样本风险级别特征向量,构建结节风险级别损失函数。
所述构建单元36,还可以用于根据所述样本良恶性特征向量,确定所述样本医学影像中结节对应的预测良恶性结果,并基于所述预测良恶性结果和所述实际良恶性结果,构建结节良恶性损失函数。
所述训练单元37,可以用于根据所述结节风险级别损失函数和所述结节良恶性损失函数,共同对所述初始图像特征提取模型进行训练,构建所述预设图像特征提取模型。
需要说明的是,本发明实施例提供的一种医学影像的处理装置所涉及各功能模块的其他相应描述,可以参考图1所示方法的对应描述,在此不再赘述。
基于上述如图1所示方法,相应的,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:获取待预测的医学影像;将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
基于上述如图1所示方法和如图3所示装置的实施例,本发明实施例还提供了一种计算机设备的实体结构图,如图5所示,该计算机设备包括:处理器41、存储器42、及存储在存储器42上并可在处理器上运行的计算机程序,其中存储器42和处理器41均设置在总线43上所述处理器41执行所述程序时实现以下步骤:获取待预测的医学影像;将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
通过本发明的技术方案,能够获取待预测的医学影像;并将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;与此同时,将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;并利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;最终基于所述良恶性特征向量,预测所述结节对应的良恶性结果,由于残差注意力网络在训练的过程中受到国际风险级别评估标准的约束,因此通过该残差注意力网络生成的风险级别特征向量是满足该国际标准的,利用该风险级别特征向量在结节良恶性特征向量生成的过程中对其进行约束,能够保证依据该良恶性特征向量预测的结节良恶性结果也满足国际风险级别评估标准,从而能够提高结节的良恶性预测精度,更好地辅助医生进行诊断。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (10)
1.一种医学影像的处理方法,其特征在于,包括:
获取待预测的医学影像;
将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;
将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;
利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;
基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量,包括:
将所述医学影像输入至所述预设图像特征提取模型中的第一个残差注意力网络,利用所述第一个残差注意力网络的主干分支和掩膜分支分别提取所述结节对应的主干分支特征和掩膜分支特征;
将所述主干分支特征中的各个特征分量与所述掩膜分支特征中的各个特征分量对应相乘,得到所述结节对应的选择特征,并将所述选择特征中的各个特征分量与所述主干分支特征中的各个特征分量对应相加,得到所述第一个残差注意力网络输出的结节特征向量;
将所述第一个残差注意力网络输出的结节特征向量输入至与所述第一个残差注意力网络相连接的第二个残差注意力网络进行特征提取,得到所述第二个残差注意力网络输出的结节特征向量;
继续将所述第二个残差注意力网络输出的结节特征向量输入至与所述第二个残差注意力网络相连接的第三个残差注意力网络进行特征提取,直至得到所述最后一个残差注意力网络输出的结节特征向量。
3.根据权利要求1所述的方法,其特征在于,所述利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量,包括:
将所述最后一个残差注意力网络输出的结节特征向量输入至全连接层,得到经过全连接层处理的结节特征向量;
将所述经过全连接层处理的结节特征向量与所述风险级别特征向量进行点乘,得到所述结节对应的良恶性特征向量。
4.根据权利要求1所述的方法,其特征在于,在所述将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量之后,所述方法还包括:
基于所述风险级别特征向量,预测所述结节对应的风险级别。
5.根据权利要求4所述的方法,其特征在于,所述基于所述风险级别特征向量,预测所述结节对应的风险级别,包括:
确定国际标准中不同风险级别对应的中心向量;
分别计算所述风险级别特征向量与所述不同风险级别对应的中心向量之间的散度;
根据所述不同风险级别对应的散度,确定最小散度对应的风险级别为所述结节对应的风险级别。
6.根据权利要求5所述的方法,其特征在于,所述确定不同风险级别对应的中心向量,包括:
利用正态分布初始化每个所述不同风险级别对应的分量;
对每个所述不同风险级别对应的分量进行归一化处理,得到所述不同风险级别对应的中心向量。
7.根据权利要求4所述的方法,其特征在于,在所述获取待预测的医学影像之前,所述方法还包括:
获取样本医学影像中结节对应的实际良恶性结果和实际风险等级;
将所述样本医学影像输入至初始图像特征提取模型中进行特征提取,得到所述样本医学影像中结节对应的样本风险级别特征向量和样本良恶性特征向量;
确定所述实际风险等级对应的中心向量,并基于所述实际风险等级对应的中心向量和所述样本风险级别特征向量,构建结节风险级别损失函数;
根据所述样本良恶性特征向量,确定所述样本医学影像中结节对应的预测良恶性结果,并基于所述预测良恶性结果和所述实际良恶性结果,构建结节良恶性损失函数;
根据所述结节风险级别损失函数和所述结节良恶性损失函数,共同对所述初始图像特征提取模型进行训练,构建所述预设图像特征提取模型。
8.一种医学影像的处理装置,其特征在于,包括:
获取单元,用于获取待预测的医学影像;
提取单元,用于将所述医学影像输入至预设图像特征提取模型中,提取所述预设图像特征提取模型中多个首尾相连的残差注意力网络分别输出的结节特征向量;
拼接单元,用于将多个所述结节特征向量进行拼接,得到所述医学影像中结节对应的风险级别特征向量;
约束单元,用于利用所述风险级别特征向量对所述预设图像特征提取模型中的最后一个残差注意力网络输出的结节特征向量进行约束,得到所述结节对应的良恶性特征向量;
预测单元,用于基于所述良恶性特征向量,预测所述结节对应的良恶性结果。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111017440.4A CN113723523B (zh) | 2021-08-31 | 2021-08-31 | 医学影像的处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111017440.4A CN113723523B (zh) | 2021-08-31 | 2021-08-31 | 医学影像的处理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113723523A true CN113723523A (zh) | 2021-11-30 |
CN113723523B CN113723523B (zh) | 2024-05-10 |
Family
ID=78680220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111017440.4A Active CN113723523B (zh) | 2021-08-31 | 2021-08-31 | 医学影像的处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113723523B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109523521A (zh) * | 2018-10-26 | 2019-03-26 | 复旦大学 | 基于多切片ct图像的肺结节分类和病灶定位方法和系统 |
CN109902682A (zh) * | 2019-03-06 | 2019-06-18 | 太原理工大学 | 一种基于残差卷积神经网络的乳腺x线图像检测方法 |
CN110309860A (zh) * | 2019-06-06 | 2019-10-08 | 昆明理工大学 | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 |
CN112232433A (zh) * | 2020-10-27 | 2021-01-15 | 河北工业大学 | 一种基于双通路网络的肺结节良恶性分类方法 |
CN112785592A (zh) * | 2021-03-10 | 2021-05-11 | 河北工业大学 | 基于多重扩张路径的医学影像深度分割网络 |
CN112927217A (zh) * | 2021-03-23 | 2021-06-08 | 内蒙古大学 | 一种基于目标检测的甲状腺结节侵袭性预测方法 |
-
2021
- 2021-08-31 CN CN202111017440.4A patent/CN113723523B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109523521A (zh) * | 2018-10-26 | 2019-03-26 | 复旦大学 | 基于多切片ct图像的肺结节分类和病灶定位方法和系统 |
CN109902682A (zh) * | 2019-03-06 | 2019-06-18 | 太原理工大学 | 一种基于残差卷积神经网络的乳腺x线图像检测方法 |
CN110309860A (zh) * | 2019-06-06 | 2019-10-08 | 昆明理工大学 | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 |
CN112232433A (zh) * | 2020-10-27 | 2021-01-15 | 河北工业大学 | 一种基于双通路网络的肺结节良恶性分类方法 |
CN112785592A (zh) * | 2021-03-10 | 2021-05-11 | 河北工业大学 | 基于多重扩张路径的医学影像深度分割网络 |
CN112927217A (zh) * | 2021-03-23 | 2021-06-08 | 内蒙古大学 | 一种基于目标检测的甲状腺结节侵袭性预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113723523B (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Reddy et al. | A novel computer-aided diagnosis framework using deep learning for classification of fatty liver disease in ultrasound imaging | |
CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
CN110033019B (zh) | 人体部位的异常检测方法、装置和存储介质 | |
WO2021186592A1 (ja) | 診断支援装置及びモデル生成装置 | |
Morís et al. | Data augmentation approaches using cycle-consistent adversarial networks for improving COVID-19 screening in portable chest X-ray images | |
CN112435341B (zh) | 三维重建网络的训练方法及装置、三维重建方法及装置 | |
CN111325714B (zh) | 感兴趣区域的处理方法、计算机设备和可读存储介质 | |
CN113436173B (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
CN114298234B (zh) | 脑部医学影像分类方法、装置、计算机设备和存储介质 | |
CN111476796A (zh) | 一种结合多种网络的半监督冠状动脉分割系统及分割方法 | |
CN114863225B (zh) | 图像处理模型训练方法、生成方法、装置、设备及介质 | |
CN111383259A (zh) | 图像分析方法、计算机设备和存储介质 | |
CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
Gheorghiță et al. | Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data | |
CN111340794A (zh) | 冠状动脉狭窄的量化方法及装置 | |
CN118230038A (zh) | 基于影像分析的眼眶淋巴增生病分类鉴别方法及系统 | |
CN111281387B (zh) | 基于人工神经网络的左心房与心房瘢痕的分割方法及装置 | |
CN113723523B (zh) | 医学影像的处理方法、装置、计算机设备及存储介质 | |
CN110992312A (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
CN114649092A (zh) | 基于半监督学习和多尺度特征融合的辅助诊断方法及装置 | |
CN110853012B (zh) | 获得心脏参数的方法、装置及计算机存储介质 | |
CN110147830B (zh) | 训练影像数据生成网络的方法、影像数据分类方法及装置 | |
CN115311188A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
CN111598870A (zh) | 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |