CN116580396B - 细胞水平识别方法、装置、设备及存储介质 - Google Patents
细胞水平识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116580396B CN116580396B CN202310851584.2A CN202310851584A CN116580396B CN 116580396 B CN116580396 B CN 116580396B CN 202310851584 A CN202310851584 A CN 202310851584A CN 116580396 B CN116580396 B CN 116580396B
- Authority
- CN
- China
- Prior art keywords
- feature
- attention
- feature map
- order
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000011176 pooling Methods 0.000 claims abstract description 74
- 238000001914 filtration Methods 0.000 claims abstract description 52
- 230000007246 mechanism Effects 0.000 claims abstract description 49
- 238000005096 rolling process Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000004807 localization Effects 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 97
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 7
- 210000003743 erythrocyte Anatomy 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 210000000265 leukocyte Anatomy 0.000 description 4
- 210000000663 muscle cell Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000003946 white muscle cell Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本发明公开一种细胞水平识别方法、装置、设备及存储介质，该方法包括：对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合；当特征图集合中特征图的数量小于预设值时，从特征图集合中获取n阶特征图，对n阶特征图进行卷积和/或池化后，得到n+1阶特征图并加入特征图集合，将n的值加一，其中，n初始值为1；当特征图集合中特征图的数量达到预设值时，根据预设注意力机制对特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图；基于特征图进行细胞的定位和分类。注意力模块对提取的多个特征进行融合，提升模型在图像识别方面的准确性。解决了现有的细胞水平图像识别的方法信息利用不充分，易出现小尺寸细胞漏检的技术问题。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种细胞水平识别方法、装置、设备及存储介质。
背景技术
近年来，病理学标本大都以全景数字切片图像（whole slide images，WSIs）的形式存储，对此可以通过计算机辅助识别的方法，提高病理识别准确性和效率。
目前许多研究使用深度学习算法对WSIs进行辅助识别，但由于算法的问题其泛化能力受限，在细胞水平上进行图像识别的方法，仅利用卷积神经网络的单一水平特征，信息利用不充分，易出现小尺寸细胞漏检，模型检测性能有待进一步提升。实际难以达到理想的效果。因此，亟待对相关的算法进行研究，给出识别准确度更高、泛化能力更好的自动识别方法。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种细胞水平识别方法、装置、设备及存储介质，旨在解决现有的细胞水平上进行图像识别的方法信息利用不充分，易出现小尺寸细胞漏检的技术问题。
为实现上述目的，本发明提供了一种细胞水平识别方法，所述方法包括以下步骤：
对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合；
当所述特征图集合中特征图的数量小于预设值时，从所述特征图集合中获取n阶特征图，对所述n阶特征图进行卷积和/或池化后，得到n+1阶特征图并加入特征图集合，将n的值加一，其中，n大于或等于1且初始值为1；
当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图；
基于所述注意力过滤后的特征图进行细胞的定位和分类。
可选的，所述当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图的步骤，包括：
当所述特征图集合中特征图的数量达到预设值时，将所述特征图集合中阶数最大的特征图之外的特征图作为目标特征图；
基于预设通道注意力机制，对阶数比所述目标特征图阶数大1的特征图进行通道注意力过滤，得到通道注意力权重；
根据所述通道注意力权重对所述目标特征图进行加权，得到通道注意力结果；
基于预设空间注意力机制，对所述通道注意力结果进行空间注意力过滤，得到空间注意力权重；
根据所述空间注意力权重对所述通道注意力结果进行加权，得到空间注意力结果；
对所述阶数比所述目标特征图阶数大1的特征图进行上采样后与所述空间注意力结果结合，得到注意力过滤后的特征图。
可选的，所述基于预设通道注意力机制，对阶数比所述目标特征图阶数大1的特征图进行通道注意力过滤，得到通道注意力权重的步骤，包括：
对阶数比所述目标特征图阶数大1的特征图分别进行平均池化和最大池化；
将所述平均池化的结果和所述最大池化的结果分别输入预设全连接神经网络，并把得到的结果相加，得到通道注意力权重。
可选的，所述基于预设空间注意力机制，对所述通道注意力结果进行空间注意力过滤，得到空间注意力权重的步骤，包括：
对所述通道注意力结果分别进行平均池化和最大池化；
将所述平均池化的结果与所述最大池化的结果级联，得到级联结果；
对所述级联结果进行卷积，得到空间注意力权重。
可选的，所述当所述特征图集合中特征图的数量达到预设值时，将所述特征图集合中阶数最大的特征图之外的特征图作为目标特征图的步骤之后，还包括：
对所述特征图集合中阶数最大的特征图进行池化；
将所述池化的结果和所述特征图集合中阶数最大的特征图作为注意力过滤后的特征图。
可选的，所述基于所述注意力过滤后的特征图进行细胞的定位和分类的步骤，包括：
基于所述注意力过滤后的特征图得到感兴趣区域；
根据所述注意力过滤后的特征图和所述感兴趣区域进行感兴趣区域对齐，得到感兴趣区域特征；
获取预设区域卷积神经网络；
基于预设区域卷积神经网络对所述感兴趣区域特征进行处理，得到细胞的定位和分类。
可选的，所述基于所述注意力过滤后的特征图得到感兴趣区域的步骤，包括：
获取预设区域生成网络；
基于预设区域生成网络对所述注意力过滤后的特征图进行处理，得到感兴趣区域。
此外，为实现上述目的，本发明还提出一种细胞水平识别装置，所述细胞水平识别装置包括：
细胞图卷积模块，用于对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合；
特征图获取模块，用于当所述特征图集合中特征图的数量小于预设值时，从所述特征图集合中获取n阶特征图，对所述n阶特征图进行卷积和/或池化后，得到n+1阶特征图并加入特征图集合，将n的值加一，其中，n大于或等于1且初始值为1；
特征图过滤模块，用于当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图；
细胞图定位模块，用于基于所述注意力过滤后的特征图进行细胞的定位和分类。
此外，为实现上述目的，本发明还提出一种细胞水平识别设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的细胞水平识别程序，所述细胞水平识别程序配置为实现如上文所述的细胞水平识别方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有细胞水平识别程序，所述细胞水平识别程序被处理器执行时实现如上文所述的细胞水平识别方法的步骤。
本发明通过对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合；当所述特征图集合中特征图的数量小于预设值时，从所述特征图集合中获取n阶特征图，对所述n阶特征图进行卷积和/或池化后，得到n+1阶特征图并加入特征图集合，将n的值加一，其中，n大于或等于1且初始值为1；当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图；基于所述注意力过滤后的特征图进行细胞的定位和分类。引入注意力模块对卷积神经网络提取的多个特征进行融合，能够显著提升模型在数字病理图像识别方面的准确性。解决了现有的细胞水平上进行图像识别的方法信息利用不充分，易出现小尺寸细胞漏检的技术问题。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的细胞水平识别设备结构示意图；
图2为本发明细胞水平识别方法第一实施例的流程示意图；
图3为本发明细胞水平识别方法第二实施例的流程示意图；
图4为本发明细胞水平识别方法注意力机制的示意图；
图5为本发明细胞水平识别方法第三实施例的流程示意图；
图6为本发明细胞水平识别方法使用的模型整体结构示意图；
图7为本发明细胞水平识别方法细胞标注过程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的细胞水平识别设备结构示意图。
如图1所示，该细胞水平识别设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对细胞水平识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及细胞水平识别程序。
在图1所示的细胞水平识别设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明细胞水平识别设备中的处理器1001、存储器1005可以设置在细胞水平识别设备中，所述细胞水平识别设备通过处理器1001调用存储器1005中存储的细胞水平识别程序，并执行本发明实施例提供的细胞水平识别方法。
本发明实施例提供了一种细胞水平识别方法，参照图2，图2为本发明细胞水平识别方法第一实施例的流程示意图。
本实施例中，所述细胞水平识别方法包括以下步骤：
步骤S10：对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合。
需要说明的是，本实施例方法的执行主体可以是具有图像识别以及细胞图像的定位和分类的计算服务设备，例如服务器、平板电脑、个人电脑等；也可以是具有相同或相似功能的上述细胞水平识别设备。本实施例及下述各实施例将以细胞水平识别设备（以下简称“识别设备”）为例进行说明。
可以理解的是，所述输入细胞图像可以是能够清晰区分不同细胞的显微图像，例如全景数字切片图像等。
需要说明的是，所述一阶特征图可以是输入细胞图像经过卷积等特征提取操作后，得到的体现所述输入细胞图像特征的信息，一般以矩阵的形式表示。
需要说明的是，所述特征图集合可以是包含有某一张输入细胞图像的所有特征图的集合。
在具体实现中，使用模型中预设的卷积核对输入细胞图像进行卷积，将卷积完成后的卷积结果作为一阶特征图并加入到特征图集合中。
步骤S20：当所述特征图集合中特征图的数量小于预设值时，从所述特征图集合中获取n阶特征图，对所述n阶特征图进行卷积和/或池化后，得到n+1阶特征图并加入特征图集合，将n的值加一，其中，n大于或等于1且初始值为1。
需要说明的是，所述n阶特征图，n大于或等于1，例如一阶特征图、二阶特征图、三阶特征图等。n为所述n阶特征图的阶数。不同阶数的特征图表示所述输入细胞图像在不同尺度上的特征。
在具体实现中，例如，将特征图的数量设置为5，在对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合后，所述特征图集合中有1张一阶特征图，所述特征图集合中特征图的数量小于预设值。n的初始值为1，则从所述特征图集合中获取一阶特征图，对其进行卷积和/或池化。卷积和池化操作的次数以及卷积核与池化核的选择可以根据具体情况设置，例如进行一次2×2的池化、进行一次3×3的卷积、进行一次3×3的卷积后再进行一次2×2的池化等。在本实施例中，以进行一次1×1的卷积后再进行一次2×2的池化为例，对所述一阶特征图进行了卷积和池化后，得到的结果为n+1阶特征图，也就是二阶特征图，并将n的值加一，也就是此时n的值为2。这时所述特征图集合中特征图的数量为2，依然小于预设值5，因为此时n的值为2，则再对二阶特征图进行上述操作，得到三阶特征图。如此迭代进行，直到得到五阶特征图，也就是所述特征图集合中特征图的数量为5，等于预设值5。
步骤S30：当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图。
可以理解的是，所述注意力机制可以是用来自动学习和计算输入数据对输出数据的贡献大小的机制。具体来说，深度学习主要使用额外的神经网络构建注意力模块，通过模型的训练过程同步更新注意力模块对应的神经网络的参数，然后将其输出作为一种掩码，给输入的不同部分分配不同的权重，将图像数据中的关键部位识别出来，从而让卷积神经网络学习到图像中需要重点关注的区域。
可以理解的是，所述注意力过滤就是使用注意力机制进行数据处理的过程。
在具体实现中，例如，所述特征图集合中特征图的数量为5，达到预设值。使用预设的注意力机制，如空间域注意力方法、自注意力机制、非局部注意力机制、通道域注意力方法、混合域注意力方法等，对所述特征图集合中所有的特征图进行注意力过滤，得到注意力过滤后的5张特征图。
步骤S40：基于所述注意力过滤后的特征图进行细胞的定位和分类。
在具体实现中，使用经过训练的，可对所述注意力过滤后的特征图进行处理的机器学习模型，如支持向量机、神经网络模型等，基于所述注意力过滤后的特征图进行细胞的定位和分类。例如，进行细胞水平识别是为了识别图像中的红细胞，将注意力过滤后的5张特征图输入到预设用于识别红细胞的神经网络模型中，经过所述神经网络模型处理后得到了红细胞在输入细胞图像中的坐标，实现了细胞的定位和分类。可以理解的是，所述机器学习模型可以训练用于其他目的，例如识别白细胞、肌肉细胞等。也可以训练用于识别多种细胞，例如同时识别红细胞和白细胞。也可以用多个机器学习模型进行识别，例如分别使用识别白细胞的机器学习模型和识别红细胞的机器学习模型对所述注意力过滤后的特征图进行识别。
本实施例通过对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合；当所述特征图集合中特征图的数量小于预设值时，从所述特征图集合中获取n阶特征图，对所述n阶特征图进行卷积和/或池化后，得到n+1阶特征图并加入特征图集合，将n的值加一，其中，n大于或等于1且初始值为1；当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图；基于所述注意力过滤后的特征图进行细胞的定位和分类。引入注意力模块对卷积神经网络提取的多个特征进行融合，能够显著提升模型在数字病理图像识别方面的准确性。解决了现有的细胞水平上进行图像识别的方法信息利用不充分，易出现小尺寸细胞漏检的技术问题。
参考图3，图3为本发明细胞水平识别方法第二实施例的流程示意图。
基于上述第一实施例，本实施例中，为了在多个层面上应用注意力机制，得到更加丰富的特征信息，本实施例上述步骤S30，包括：
步骤S301：当所述特征图集合中特征图的数量达到预设值时，将所述特征图集合中阶数最大的特征图之外的特征图作为目标特征图。
可以理解的是，所述阶数最大的特征图即为所述特征图集合中的n阶特征图中n最大的特征图。例如，上文所述的特征图的数量为5的特征图集合中，阶数最大的特征图为五阶特征图。
在具体实现中，例如，上文所述的特征图的数量为5的特征图集合中，可以将一阶特征图、二阶特征图、三阶特征图、四阶特征图作为目标特征图。
步骤S302：基于预设通道注意力机制，对阶数比所述目标特征图阶数大1的特征图进行通道注意力过滤，得到通道注意力权重。
需要说明的是，所述预设通道注意力机制可以是给特征图的各个通道分配对应的权重来表示不同通道特征图重要性的机制。
可以理解的是，所述通道注意力权重可以是使用预设通道注意力机制后得到的特征图各个通道的权重。
参考图4，图4为本发明细胞水平识别方法注意力机制的示意图。图中的表示对应元素相乘，即哈达马积（Hadamard product）；/>表示对应元素相加，/>表示级联（Concatenation）操作，/>表示使用Sigmoid函数进行处理。
在具体实现中，对所有的目标特征图，获取比其阶数大1的特征图进行通道注意力过滤，得到通道注意力权重。例如以上文所述的一阶特征图，则会将二阶特征图进行通道注意力过滤，得到通道注意力权重。
步骤S303：根据所述通道注意力权重对所述目标特征图进行加权，得到通道注意力结果。
在具体实现中，将所述通道注意力权重与所述目标特征图的对应元素相乘，得到通道注意力结果。
步骤S304：基于预设空间注意力机制，对所述通道注意力结果进行空间注意力过滤，得到空间注意力权重。
需要说明的是，所述预设空间注意力机制可以是给特征图空间维度上的各个部分分配对应的权重来表示不同部分重要性的机制。
可以理解的是，所述空间注意力权重可以是使用预设空间注意力机制后得到的特征图各个部分的权重。
在具体实现中，对获得的通道注意力结果按照预设空间注意力机制进行处理，得到空间注意力权重。
步骤S305：根据所述空间注意力权重对所述通道注意力结果进行加权，得到空间注意力结果。
在具体实现中，将所述空间注意力权重与所述通道注意力结果的对应元素相乘，得到空间注意力结果。
步骤S306：对所述阶数比所述目标特征图阶数大1的特征图进行上采样后与所述空间注意力结果结合，得到注意力过滤后的特征图。
可以理解的是，所述上采样可以是对原特征图进行放大的操作。例如，双线性插值、反卷积、反池化等。
可以理解的是，一般来说阶数越高的特征图数据量越少，为在后续计算的进行，需要对比所述目标特征图阶数大1的特征图进行上采样。
在具体实现中，对所述阶数比所述目标特征图阶数大1的特征图进行上采样，使上采样后的所述特征图与所述目标特征图的大小一致。将上述的两个特征图的对应元素相加，得到的结果即为注意力过滤后的特征图。
本实施例通过当所述特征图集合中特征图的数量达到预设值时，将所述特征图集合中阶数最大的特征图之外的特征图作为目标特征图；基于预设通道注意力机制，对阶数比所述目标特征图阶数大1的特征图进行通道注意力过滤，得到通道注意力权重；根据所述通道注意力权重对所述目标特征图进行加权，得到通道注意力结果；基于预设空间注意力机制，对所述通道注意力结果进行空间注意力过滤，得到空间注意力权重；根据所述空间注意力权重对所述通道注意力结果进行加权，得到空间注意力结果；对所述阶数比所述目标特征图阶数大1的特征图进行上采样后与所述空间注意力结果结合，得到注意力过滤后的特征图。使用双注意力机制，在通道和空间两个层面上应用注意力机制，得到了更加丰富的特征信息。
进一步的，为了进行准确的通道注意力过滤，本实施例上述步骤S302，包括：
步骤S3021：对阶数比所述目标特征图阶数大1的特征图分别进行平均池化和最大池化。
可以理解的是，所述平均池化可以是对池化核中所有数据求平均值的池化。
可以理解的是，所述最大池化可以是对池化核中所有数据求最大值的池化。
在具体实现中，对阶数比所述目标特征图阶数大1的特征图分别进行平均池化和最大池化，平均池化的池化核大小与最大池化的池化核大小可以根据实际情况决定，本实施例对此不加以限制。
步骤S3022：将所述平均池化的结果和所述最大池化的结果分别输入预设全连接神经网络，并把得到的结果相加，得到通道注意力权重。
在具体实现中，将所述平均池化的结果和所述最大池化的结果输入预设全连接神经网络使其进行特征提取之后，将得到的结果对应元素相加后使用Sigmoid函数进行归一化，得到通道注意力权重。
本实施例的上述方式通过对阶数比所述目标特征图阶数大1的特征图分别进行平均池化和最大池化；将所述平均池化的结果和所述最大池化的结果分别输入预设的两层全连接神经网络，并把得到的结果相加，得到通道注意力权重。可以进行准确的通道注意力过滤。
进一步的，为了进行准确的空间注意力过滤，本实施例上述步骤S304，包括：
步骤S3041：对所述通道注意力结果分别进行平均池化和最大池化。
在具体实现中，对所述通道注意力结果分别进行平均池化和最大池化，平均池化的池化核大小与最大池化的池化核大小可以根据实际情况决定，本实施例对此不加以限制。
步骤S3042：将所述平均池化的结果与所述最大池化的结果级联，得到级联结果。
在具体实现中，将所述平均池化的结果与所述最大池化的结果级联，得到级联结果。
步骤S3043：对所述级联结果进行卷积，得到空间注意力权重。
在具体实现中，使用经过训练的，大小为7×7的卷积核对所述级联结果进行卷积，卷积之后得到的结果即为空间注意力权重。
本实施例的上述方式通过对所述通道注意力结果分别进行平均池化和最大池化；将所述平均池化的结果与所述最大池化的结果级联，得到级联结果；对所述级联结果进行卷积，得到空间注意力权重。可以进行准确的空间注意力过滤。
进一步的，为了利用所述特征图集合中阶数最大的特征图包含的信息，本实施例上述步骤S301之后，还包括：
步骤S311：对所述特征图集合中阶数最大的特征图进行池化。
需要说明的是，因为没有比所述特征图集合中阶数最大的特征图阶数更大的特征图，所以无法对所述阶数最大的特征图使用如上文所述的注意力机制。需要有不同的方法来利用所述阶数最大的特征图中包含的信息。
在具体实现中，对所述特征图集合中阶数最大的特征图进行池化。所述池化的方式可以是平均池化、最大池化等，池化核的大小可以根据实际情况进行选择，本实施例对此不加以限制。
步骤S312：将所述池化的结果和所述特征图集合中阶数最大的特征图作为注意力过滤后的特征图。
在具体实现中，将所述池化的结果和所述特征图集合中阶数最大的特征图作为注意力过滤后的特征图。
本实施例的上述方式通过对所述特征图集合中阶数最大的特征图进行池化；将所述池化的结果和所述特征图集合中阶数最大的特征图作为注意力过滤后的特征图。可以利用所述特征图集合中阶数最大的特征图包含的信息，提高了最终结果的准确性。
参考图5，图5为本发明细胞水平识别方法第三实施例的流程示意图。
基于上述第一实施例，本实施例中，为了降低计算量，本实施例上述步骤S40，包括：
步骤S401：基于所述注意力过滤后的特征图得到感兴趣区域。
可以理解的是，所述感兴趣区域可以是图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。
在具体实现中，所述注意力过滤后的特征图中包含有输入细胞图像的特征信息，可以根据其中的特征信息，确定需要处理区域的位置。例如，要识别宫颈细胞病理图像中的异常细胞，在使用训练过的机器学习模型对注意力过滤后的特征图进行处理后，根据其中的特征信息得到感兴趣区域。
步骤S402：根据所述注意力过滤后的特征图和所述感兴趣区域进行感兴趣区域对齐，得到感兴趣区域特征。
需要说明的是，所述感兴趣区域对齐可以是将大小不同的感兴趣区域的大小进行统一的操作。
需要说明的是，所述感兴趣区域特征可以是进行了感兴趣区域对齐后得到的特征信息。
在具体实现中，例如，进行感兴趣区域对齐时，感兴趣区域的大小统一为3×3。则根据待处理的每个感兴趣区域的长和宽的三分之一将所述感兴趣区域划分为大小相等的9个部分，对其中每一个部分中获取若干个采样点，对其中每一个采样点使用双线性差值公式计算采样值，将这个部分所有采样点的最大值作为这个部分的取值。获得所有9个部分的取值之后，则将待处理的感兴趣区域变为了3×3大小的感兴趣区域。在所有的感兴趣区域都进行了感兴趣区域对齐后，得到感兴趣区域特征。
步骤S403：获取预设区域卷积神经网络。
需要说明的是，所述区域卷积神经网络可以是使用卷积神经网络进行目标检测的算法。
在具体实现中，获取根据具体目的所训练的快速区域卷积神经网络（FastRegion-based Convolutional Neural Network,Fast RCNN）。
步骤S404：基于预设区域卷积神经网络对所述感兴趣区域特征进行处理，得到细胞的定位和分类。
在具体实现中，将所述感兴趣区域特征输入至所述预设区域卷积神经网络中，得到细胞的定位和分类。
本实施例通过基于所述注意力过滤后的特征图得到感兴趣区域；根据所述注意力过滤后的特征图和所述感兴趣区域进行感兴趣区域对齐，得到感兴趣区域特征；获取预设区域卷积神经网络；基于预设区域卷积神经网络对所述感兴趣区域特征进行处理，得到细胞的定位和分类。在进行感兴趣区域对齐后再统一使用预设区域卷积神经网络进行处理，降低了计算量。
进一步的，为了提高获得感兴趣区域的速度，本实施例上述步骤S401，包括：
步骤S4011：获取预设区域生成网络。
参考图6，图6为本发明细胞水平识别方法使用的模型整体结构示意图。
需要说明的是，所述预设区域生成网络可以是用于输出一系列矩形候选区域的全卷积网络。
步骤S4012：基于预设区域生成网络对所述注意力过滤后的特征图进行处理，得到感兴趣区域。
在具体实现中，所述预设区域生成网络首先将所述特征图缩放至固定大小，再经过3x3卷积，分别生成正锚点(positive anchors)和对应的边框回归(bounding boxregression)偏移量，然后计算出候选框(proposals)，得到感兴趣区域。
本实施例的上述方式通过获取预设区域生成网络；基于预设区域生成网络对所述注意力过滤后的特征图进行处理，得到感兴趣区域。提高了获得感兴趣区域的速度。
可以理解的是，在上述步骤之前，还需要预先根据需要处理的任务对细胞水平识别的机器学习模型进行训练。例如，识别癌症或其他会导致细胞发生变化的疾病中的癌变或病变细胞，识别白细胞、红细胞、肌肉细胞等人体内不同的细胞。以识别肌肉细胞为例，训练过程包括以下步骤：
参考图7，图7为本发明细胞水平识别方法细胞标注过程示意图。
采集不同人的多个肌肉细胞采样，用巴氏染色法对细胞进行染色。使用光学显微镜对细胞进行拍摄，得到多张2048×2048像素的图像块。将不符合要求的图像块剔除，即无细胞存在或者模糊的图像块。
人工在图像块上标注出肌肉细胞的外接矩形框。在标注完成后，将所述图像块按照8:1:1的比例随机划分为训练集、验证集和测试集，同时确保同一个人的图像块不会分散在不同的数据集中，训练集被用于模型训练，验证集被用于选择最优模型，测试集被用于测试模型效果。
为了降低过拟合风险，对图像进行了数据增强，具体包括图像随机水平翻转、垂直翻转、旋转、亮度变化和高斯模糊，这些仿射变换有助于模型更好地适应图像的各种变异情况，其中旋转所采用的角度为90，180，270，亮度变化所采用的参数范围为[0.5,1.5]，高斯模糊的参数范围设置为[0,5]。使用随机梯度下降更新模型参数。
此外，为实现上述目的，本发明还提出一种细胞水平识别装置，所述细胞水平识别装置包括：
细胞图卷积模块，用于对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合；
特征图获取模块，用于当所述特征图集合中特征图的数量小于预设值时，从所述特征图集合中获取n阶特征图，对所述n阶特征图进行卷积和/或池化后，得到n+1阶特征图并加入特征图集合，将n的值加一，其中，n大于或等于1且初始值为1；
特征图过滤模块，用于当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图；
细胞图定位模块，用于基于所述注意力过滤后的特征图进行细胞的定位和分类。
本实施例通过对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合；当所述特征图集合中特征图的数量小于预设值时，从所述特征图集合中获取n阶特征图，对所述n阶特征图进行卷积和/或池化后，得到n+1阶特征图并加入特征图集合，将n的值加一，其中，n大于或等于1且初始值为1；当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图；基于所述注意力过滤后的特征图进行细胞的定位和分类。引入注意力模块对卷积神经网络提取的多个特征进行融合，能够显著提升模型在数字病理图像识别方面的准确性。解决了现有的细胞水平上进行图像识别的方法信息利用不充分，易出现小尺寸细胞漏检的技术问题。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有细胞水平识别程序，所述细胞水平识别程序被处理器执行时实现如上文所述的细胞水平识别方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、 方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种细胞水平识别方法，其特征在于，所述细胞水平识别方法包括：
对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合；
当所述特征图集合中特征图的数量小于预设值时，从所述特征图集合中获取n阶特征图，对所述n阶特征图进行卷积和/或池化后，得到n+1阶特征图并加入特征图集合，将n的值加一，其中，n大于或等于1且初始值为1；
当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图，所述预设注意力机制包括预设通道注意力机制和预设空间注意力机制；
基于所述注意力过滤后的特征图进行细胞的定位和分类。
2.如权利要求1所述的细胞水平识别方法，其特征在于，所述当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图的步骤，包括：
当所述特征图集合中特征图的数量达到预设值时，将所述特征图集合中阶数最大的特征图之外的特征图作为目标特征图；
基于预设通道注意力机制，对阶数比所述目标特征图阶数大1的特征图进行通道注意力过滤，得到通道注意力权重；
根据所述通道注意力权重对所述目标特征图进行加权，得到通道注意力结果；
基于预设空间注意力机制，对所述通道注意力结果进行空间注意力过滤，得到空间注意力权重；
根据所述空间注意力权重对所述通道注意力结果进行加权，得到空间注意力结果；
对所述阶数比所述目标特征图阶数大1的特征图进行上采样后与所述空间注意力结果结合，得到注意力过滤后的特征图。
3.如权利要求2所述的细胞水平识别方法，其特征在于，所述基于预设通道注意力机制，对阶数比所述目标特征图阶数大1的特征图进行通道注意力过滤，得到通道注意力权重的步骤，包括：
对阶数比所述目标特征图阶数大1的特征图分别进行平均池化和最大池化；
将所述平均池化的结果和所述最大池化的结果分别输入预设全连接神经网络，并把得到的结果相加，得到通道注意力权重。
4.如权利要求2所述的细胞水平识别方法，其特征在于，所述基于预设空间注意力机制，对所述通道注意力结果进行空间注意力过滤，得到空间注意力权重的步骤，包括：
对所述通道注意力结果分别进行平均池化和最大池化；
将所述平均池化的结果与所述最大池化的结果级联，得到级联结果；
对所述级联结果进行卷积，得到空间注意力权重。
5.如权利要求2所述的细胞水平识别方法，其特征在于，所述当所述特征图集合中特征图的数量达到预设值时，将所述特征图集合中阶数最大的特征图之外的特征图作为目标特征图的步骤之后，还包括：
对所述特征图集合中阶数最大的特征图进行池化；
将所述池化的结果和所述特征图集合中阶数最大的特征图作为注意力过滤后的特征图。
6.如权利要求1所述的细胞水平识别方法，其特征在于，所述基于所述注意力过滤后的特征图进行细胞的定位和分类的步骤，包括：
基于所述注意力过滤后的特征图得到感兴趣区域；
根据所述注意力过滤后的特征图和所述感兴趣区域进行感兴趣区域对齐，得到感兴趣区域特征；
获取预设区域卷积神经网络；
基于预设区域卷积神经网络对所述感兴趣区域特征进行处理，得到细胞的定位和分类。
7.如权利要求6所述的细胞水平识别方法，其特征在于，所述基于所述注意力过滤后的特征图得到感兴趣区域的步骤，包括：
获取预设区域生成网络；
基于预设区域生成网络对所述注意力过滤后的特征图进行处理，得到感兴趣区域。
8.一种细胞水平识别装置，其特征在于，所述细胞水平识别装置包括：
细胞图卷积模块，用于对输入细胞图像进行卷积，得到一阶特征图并加入特征图集合；
特征图获取模块，用于当所述特征图集合中特征图的数量小于预设值时，从所述特征图集合中获取n阶特征图，对所述n阶特征图进行卷积和/或池化后，得到n+1阶特征图并加入特征图集合，将n的值加一，其中，n大于或等于1且初始值为1；
特征图过滤模块，用于当所述特征图集合中特征图的数量达到预设值时，根据预设注意力机制对所述特征图集合中的特征图进行注意力过滤，得到注意力过滤后的特征图，所述预设注意力机制包括预设通道注意力机制和预设空间注意力机制；
细胞图定位模块，用于基于所述注意力过滤后的特征图进行细胞的定位和分类。
9.一种细胞水平识别设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的细胞水平识别程序，所述细胞水平识别程序配置为实现如权利要求1至7中任一项所述的细胞水平识别方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有细胞水平识别程序，所述细胞水平识别程序被处理器执行时实现如权利要求1至7中任一项所述的细胞水平识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310851584.2A CN116580396B (zh) | 2023-07-12 | 2023-07-12 | 细胞水平识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310851584.2A CN116580396B (zh) | 2023-07-12 | 2023-07-12 | 细胞水平识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116580396A CN116580396A (zh) | 2023-08-11 |
| CN116580396B true CN116580396B (zh) | 2023-09-22 |
Family
ID=87538198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310851584.2A Active CN116580396B (zh) | 2023-07-12 | 2023-07-12 | 细胞水平识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116580396B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215117A (zh) * | 2020-09-30 | 2021-01-12 | 北京博雅智康科技有限公司 | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 |
| CN113743353A (zh) * | 2021-05-10 | 2021-12-03 | 合肥工业大学 | 空间、通道和尺度注意力融合学习的宫颈细胞分类方法 |
| CN114529963A (zh) * | 2020-11-23 | 2022-05-24 | 中兴通讯股份有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
| CN115170876A (zh) * | 2022-06-30 | 2022-10-11 | 北京大学深圳研究生院 | 一种基于因果干涉注意力的图像识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3155956A1 (en) * | 2021-04-16 | 2022-10-16 | Hamid Reza Tizhoosh | Systems and methods for automatically identifying features of a cytology specimen |
-
2023
- 2023-07-12 CN CN202310851584.2A patent/CN116580396B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215117A (zh) * | 2020-09-30 | 2021-01-12 | 北京博雅智康科技有限公司 | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 |
| CN114529963A (zh) * | 2020-11-23 | 2022-05-24 | 中兴通讯股份有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
| CN113743353A (zh) * | 2021-05-10 | 2021-12-03 | 合肥工业大学 | 空间、通道和尺度注意力融合学习的宫颈细胞分类方法 |
| CN115170876A (zh) * | 2022-06-30 | 2022-10-11 | 北京大学深圳研究生院 | 一种基于因果干涉注意力的图像识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多级深度特征融合的RGB-T图像显著性目标检测;姚琳;《中国优秀硕士论文电子期刊网（信息科技辑）》;全文 * |
| 基于深度学习结合解剖学注意力机制的肺结节良恶性分类;刘雲;王一达;张成秀;杨光;王成龙;《中国医学物理学杂志》;第39卷(第11期);第1441-1447页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116580396A (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106778928B (zh) | 图像处理方法及装置 | |
| CN111126258B (zh) | 图像识别方法及相关装置 | |
| CN109583449A (zh) | 字符识别方法及相关产品 | |
| CN109448007B (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN111935479B (zh) | 一种目标图像确定方法、装置、计算机设备及存储介质 | |
| CN111783779B (zh) | 图像处理方法、装置和计算机可读存储介质 | |
| CN111597884A (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
| CN111160114B (zh) | 手势识别方法、装置、设备及计算机可读存储介质 | |
| CN111274999B (zh) | 数据处理、图像处理方法、装置及电子设备 | |
| CN110245621B (zh) | 人脸识别装置及图像处理方法、特征提取模型、存储介质 | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| CN111028923A (zh) | 数字病理图像染色归一化方法、电子装置及存储介质 | |
| CN110163250A (zh) | 基于分布式调度的图像脱敏处理系统、方法以及装置 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN111275126A (zh) | 样本数据集生成方法、装置、设备及存储介质 | |
| CN115272691A (zh) | 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备 | |
| CN116740362B (zh) | 一种基于注意力的轻量化非对称场景语义分割方法及系统 | |
| CN116580396B (zh) | 细胞水平识别方法、装置、设备及存储介质 | |
| CN110532971B (zh) | 图像处理及装置、训练方法以及计算机可读存储介质 | |
| CN112435214A (zh) | 基于先验框线性缩放的花粉检测方法、装置和电子设备 | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
| EP4293628A1 (en) | Image processing method and related apparatus | |
| CN113255667B (zh) | 文本图像相似度评估方法、装置、电子设备及存储介质 | |
| CN111126177B (zh) | 人数统计的方法及装置 | |
| CN112069885A (zh) | 人脸属性识别方法、装置及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |