CN111178507A - 图谱卷积神经网络数据处理方法及装置 - Google Patents
图谱卷积神经网络数据处理方法及装置 Download PDFInfo
- Publication number
- CN111178507A CN111178507A CN201911368298.0A CN201911368298A CN111178507A CN 111178507 A CN111178507 A CN 111178507A CN 201911368298 A CN201911368298 A CN 201911368298A CN 111178507 A CN111178507 A CN 111178507A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- filter
- nodes
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 16
- 238000003672 processing method Methods 0.000 title claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 94
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 6
- 230000008707 rearrangement Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 14
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000003595 spectral effect Effects 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000011231 Crohn disease Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000007788 roughening Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种图谱卷积神经网络数据处理方法及装置，方法包括：对图谱中各节点进行聚类合并处理，得到粗化图；根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络；本申请能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率。
Description
技术领域
本申请涉及数据处理领域，具体涉及一种图谱卷积神经网络数据处理方法及装置。
背景技术
图或网络广泛存在于日常生活中，是抽象现实世界中对象与对象之间关系的一种重要数据结构。如作者之间的引用关系、个人之间的社交关系、城市之间的物流和交通关系、蛋白质之间的交互关系等数据都可以通过图或网络进行抽象地表达。对这类数据的分析和建模能够挖掘丰富的潜在信息，可广泛应用于节点分类、社区发现、链接预测、推荐系统等任务。
传统的网络表示(如邻接矩阵)存在结构稀疏和维度过高的问题，难以有效地学习。而手动抽取网络的结构特征(如共同邻居数)需要丰富的领域知识，根据网络特点人工选择有效的特征，因此不具有普适性。直觉上来看，在网络中拓扑结构相似的节点也应该具有相近的向量表示。
最近，研究者尝试将卷积神经网络用于图数据的处理，进行了图卷积网络机器学习范式的研究，并已取得阶段性的成果。CNN具有自动抽取高阶语义和自动编码降维的优势，在图像分类、目标检测等图像处理任务中表现突出。图像数据具有规则的栅格结构，CNN通过固定的卷积核扫描整幅图像，获得卷积核覆盖范围内的局部信息，通过训练获得卷积核参数，实现特征的自动抽取。然而，图数据一般不具备规则的空间结构，每个节点的连接数量不尽相同，因此CNN的平移不变性在图上不再适用，需要为待编码节点选择固定数量且有序的近邻节点，以满足传统卷积的输入要求。
在深度学习领域，用于处理图这种非欧几里得数据的CNNs称之为图卷积神经网络(GCN)。这种方法的做法通常是将标准的CNNs应用与图数据特征学习，相对于在图像上的卷积，在图上的卷积需要考虑其空间结构。有学者提出一种图神经网络框架，他利用循环神经网络将每个节点嵌入到欧氏空间中，并将这些嵌入作为节点或图的分类与回归特征，然而这种算法的引入参数较多，效率比较低。
为了减少学习参数的数量，有学者引入了构建局部感受器的概念。这种方法的思想是将基于相似性度量的特性组合在一起，例如在两个连续层之间选择有限数量的连接。虽然该模型利用局部性假设减少了参数的数量，但并没有试图利用任何平稳性，即没有权值共享策略。后来，有人将这一思想用于图CNNs的空间表示(空间规划)。他们使用加权图来定义局部邻域，并为池操作计算图的多尺度聚类。然而，在空间结构中诱导权重共享是具有挑战性的，因为当缺少特定于问题的排序(空间、时间或其他)时，需要选择和排序邻域。后来，又提出了一种从数据中学习图形结构的策略，并将该模型应用于图像识别、文本分类和生物信息学。然而，由于需要与图的傅里叶基相乘，这种方法并没有扩大。
图卷积神经网络提供了在大规模和高维度数据高效地提取有价值的统计特征。CNN具备学习静态的局部结构特征，通过多次的计算，已经在图像、视觉、语音识别方向获得重大突破。CNN提取输入数据局部的属性或者局部特征释放的信号，利用卷积核在这些数据上的学习能力，能够识别出相似的特征。卷积核的转移和不变性意味着能够独立地在空间域识别输入的特征。过滤器的尺寸远小于输入数据的维度。
社交数据、电信数据、日志数据或者文本数据都是一些重要的、不规则的、非欧式空间领域数据。这些数据可以通过知识图谱表示，它是一种异质实体关系的表示方式。图谱能够编码复杂的拓扑关系。通常的卷积神经网络不能直接利用卷积层和池化层对图谱网络进行操作，这在理论和实践上都存在一定的挑战性。
发明内容
针对现有技术中的问题，本申请提供一种图谱卷积神经网络数据处理方法及装置，能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率。
为了解决上述问题中的至少一个，本申请提供以下技术方案：
第一方面，本申请提供一种图谱卷积神经网络数据处理方法，包括：
对图谱中各节点进行聚类合并处理，得到粗化图；
根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络。
进一步地，在所述根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤之前，包括：
预先定义卷积神经网络中的节点、边、权重以及所述节点的特征数据；
根据傅里叶基算法对拉普拉斯矩阵进行对角化处理，根据傅里叶基算法中的卷积算子对所述节点的特征数据进行转化，得到非参过滤器，并根据参数化多项式对所述非参过滤器进行表示；
对拉普拉斯矩阵进行标准化处理，并利用反向传播算法训练所述卷积神经网络的卷积层参数；
根据所述非参过滤器和训练后的所述卷积层参数进行预测，将得到的卷积层的输出结果设定为池化层的输入数据。
进一步地，在所述根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤之后，包括：
创建平衡二叉树；
对图谱中各节点进行重新排列。
进一步地，所述对图谱中各节点进行聚类合并处理，包括：
根据多层次聚类算法对图谱中各节点进行聚类合并处理。
第二方面，本申请提供一种图谱卷积神经网络数据处理装置，包括：
图谱粗化处理模块，用于对图谱中各节点进行聚类合并处理，得到粗化图；
图谱结构池化模块，用于根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络。
进一步地，还包括：
第一过滤器构建单元，用于预先定义卷积神经网络中的节点、边、权重以及所述节点的特征数据；
第二过滤器构建单元，用于根据傅里叶基算法对拉普拉斯矩阵进行对角化处理，根据傅里叶基算法中的卷积算子对所述节点的特征数据进行转化，得到非参过滤器，并根据参数化多项式对所述非参过滤器进行表示；
第三过滤器构建单元，用于对拉普拉斯矩阵进行标准化处理，并利用反向传播算法训练所述卷积神经网络的卷积层参数；
第四过滤器构建单元，用于根据所述非参过滤器和训练后的所述卷积层参数进行预测，将得到的卷积层的输出结果设定为池化层的输入数据。
进一步地，还包括：
二叉树创建单元，用于创建平衡二叉树；
重新排列单元，用于对图谱中各节点进行重新排列。
进一步地，所述图谱粗化处理模块包括：
多层聚类单元，用于根据多层次聚类算法对图谱中各节点进行聚类合并处理。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的图谱卷积神经网络数据处理方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的图谱卷积神经网络数据处理方法的步骤。
由上述技术方案可知，本申请提供一种图谱卷积神经网络数据处理方法及装置，通过对图谱中各节点进行聚类合并处理，得到粗化图；根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络，本申请能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的图谱卷积神经网络数据处理方法的流程示意图；
图2为本申请实施例中的图谱卷积神经网络数据处理装置的结构图；
图3为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到通常的卷积神经网络不能直接利用卷积层和池化层对图谱网络进行操作的问题，本申请提供一种图谱卷积神经网络数据处理方法及装置，通过对图谱中各节点进行聚类合并处理，得到粗化图；根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络，本申请能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率。
为了能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率，本申请提供一种图谱卷积神经网络数据处理方法的实施例，参见图1，所述图谱卷积神经网络数据处理方法具体包含有如下内容：
步骤S101：对图谱中各节点进行聚类合并处理，得到粗化图。
具体地，卷积操作针对的对象是整张图，也就意味着要将所有结点放入内存/显存中，才能进行卷积操作。但对实际场景中的大规模图而言，整个图上的卷积操作并不现实。我们需要对其中的节点进行聚类合并处理。由于图聚类属于非确定性多项式，必须使用估算的方式。当前存在很多的聚类方法，我们采用多层次聚类方法，该方法产生多个粗化图反映不同的数据特征。精确的控制粗化和池化过滤器的大小能够有效降低图的大小。在本专利中，我们应用了适用于大型网络图谱的Graclus多层聚类算法。
步骤S102：根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络。
可选地，有两种方式定义卷积过滤器：一种是空间方法，另一种是谱方法。空间方法构建是通过构造一个有限大小的卷积核，但是它面临着邻居节点的匹配问题。因此，图卷积在空间域中的应用没有形成统一明确的观点。另一方面，谱方法是指通过谱域的克罗内克函数定义一个图局部化卷积操作的方法。然而，在谱域中定义的过滤器不能局部化，而且利用傅里叶基进行相乘的计算复杂度较高。本专利通过将邻接矩阵的运算转化为多项式策略解决了两者存在的问题。
从上述描述可知，本申请实施例提供的图谱卷积神经网络数据处理方法，能够通过对图谱中各节点进行聚类合并处理，得到粗化图；根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络，本申请能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率。
为了能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率，在本申请的图谱卷积神经网络数据处理方法的一实施例中，还可以具体包含如下内容：
步骤S201：预先定义卷积神经网络中的节点、边、权重以及所述节点的特征数据。
步骤S202：根据傅里叶基算法对拉普拉斯矩阵进行对角化处理，根据傅里叶基算法中的卷积算子对所述节点的特征数据进行转化，得到非参过滤器，并根据参数化多项式对所述非参过滤器进行表示。
步骤S203：对拉普拉斯矩阵进行标准化处理，并利用反向传播算法训练所述卷积神经网络的卷积层参数。
步骤S204：根据所述非参过滤器和训练后的所述卷积层参数进行预测，将得到的卷积层的输出结果设定为池化层的输入数据。
为了能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率，在本申请的图谱卷积神经网络数据处理方法的一实施例中，还可以具体包含如下内容：
步骤S301：创建平衡二叉树。
步骤S302：对图谱中各节点进行重新排列。
为了能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率，在本申请的图谱卷积神经网络数据处理方法的一实施例中，还可以具体包含如下内容：
根据多层次聚类算法对图谱中各节点进行聚类合并处理。
为了能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率，本申请提供一种用于实现所述图谱卷积神经网络数据处理方法的全部或部分内容的图谱卷积神经网络数据处理装置的实施例，参见图2，所述图谱卷积神经网络数据处理装置具体包含有如下内容：
图谱粗化处理模块10，用于对图谱中各节点进行聚类合并处理，得到粗化图。
图谱结构池化模块20，用于根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络。
从上述描述可知，本申请实施例提供的图谱卷积神经网络数据处理装置，能够通过对图谱中各节点进行聚类合并处理，得到粗化图；根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络，本申请能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率。
为了能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率，在本申请的图谱卷积神经网络数据处理装置的一实施例中，还具体包含有如下内容：
第一过滤器构建单元31，用于预先定义卷积神经网络中的节点、边、权重以及所述节点的特征数据。
第二过滤器构建单元32，用于根据傅里叶基算法对拉普拉斯矩阵进行对角化处理，根据傅里叶基算法中的卷积算子对所述节点的特征数据进行转化，得到非参过滤器，并根据参数化多项式对所述非参过滤器进行表示。
第三过滤器构建单元33，用于对拉普拉斯矩阵进行标准化处理，并利用反向传播算法训练所述卷积神经网络的卷积层参数。
第四过滤器构建单元34，用于根据所述非参过滤器和训练后的所述卷积层参数进行预测，将得到的卷积层的输出结果设定为池化层的输入数据。
为了能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率，在本申请的图谱卷积神经网络数据处理装置的一实施例中，还具体包含有如下内容：
二叉树创建单元41，用于创建平衡二叉树。
重新排列单元42，用于对图谱中各节点进行重新排列。
为了能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率，在本申请的图谱卷积神经网络数据处理装置的一实施例中，所述图谱粗化处理模块10包括：
多层聚类单元11，用于根据多层次聚类算法对图谱中各节点进行聚类合并处理。
为了更进一步说明本方案，本申请还提供一种应用上述图谱卷积神经网络数据处理装置实现图谱卷积神经网络数据处理方法的具体应用实例，具体包含有如下内容：
1，图谱粗化处理，将相似节点聚合在一起，降低网络节点规模，便于卷积过滤器的卷积操作。
2，设计图谱局部卷积过滤器，构建卷积层。
3，构建池化层，利用池化层对卷积层的结果进行均值聚合。
具体地，(1)图粗化处理。卷积操作针对的对象是整张图，也就意味着要将所有结点放入内存/显存中，才能进行卷积操作。但对实际场景中的大规模图而言，整个图上的卷积操作并不现实。我们需要对其中的节点进行聚类合并处理。由于图聚类属于非确定性多项式，必须使用估算的方式。当前存在很多的聚类方法，我们采用多层次聚类方法，该方法产生多个粗化图反映不同的数据特征。精确的控制粗化和池化过滤器的大小能够有效降低图的大小。在本专利中，我们应用了适用于大型网络图谱的Graclus多层聚类算法。
(2)设计和应用卷积过滤器。有两种方式定义卷积过滤器：一种是空间方法，另一种是谱方法。空间方法构建是通过构造一个有限大小的卷积核，但是它面临着邻居节点的匹配问题。因此，图卷积在空间域中的应用没有形成统一明确的观点。另一方面，谱方法是指通过谱域的克罗内克函数定义一个图局部化卷积操作的方法。然而，在谱域中定义的过滤器不能局部化，而且利用傅里叶基进行相乘的计算复杂度较高。本专利通过将邻接矩阵的运算转化为多项式策略解决了两者存在的问题。
1)傅里叶转换。在数据处理的过程中定义节点、边、权重以及节点的特征数据。在图谱中的基础算子是拉普拉斯矩阵(拉普拉斯矩阵定义为邻接矩阵的行求和生成的对角矩阵减去邻接矩阵)和标准化后的拉普拉斯矩阵。拉普拉斯矩阵是一个半正定实对称矩阵，所以有一组非负的特征值及其对应的特征向量，这些特征值为节点的重要性衡量。利用傅里叶基对拉普拉斯矩阵进行对角化，然后利用傅里叶基对节点的特征进行转化，利用傅里叶基的卷积算子对节点的特征进行转化，生成非参过滤器。
2)将局部过滤器利用多项式表示。对于非参过滤器存在两个局限性：无法空间局部化和高维度数据的学习过程复杂性。于是，本专利采用多项式过滤器来解决这个问题。通过克罗内克函数将卷积核进行局部化，生成局部过滤器，降低卷积的复杂度，它的复杂度仅与过滤器的尺寸相关。
3)快速过滤器的循环表示。当学习局部化过滤器的参数时，由于傅里叶基的原因，其计算的复杂度仍然较高，将拉普拉斯矩阵进行标准化，使其标准化的特征根位于-1和1之间。然后，过滤器以递归方式计算，再次降低计算的复杂度。
4)过滤器的学习。利用反向传播算法训练卷积层的参数，梯度下降的反向传播算法最终归结为稀疏矩阵的相乘和稠密矩阵的相乘，可以采用并行的方式进行高效的计算。
5)过滤器的应用。利用过滤器学习的参数进行预测，得出卷积层的输出结果，将卷积层输出结果作为池化层的输入。
(3)图谱结构快速池化。池化的过程需要多次计算，存在效率问题。由于第一步图粗化处理，卷积操作的图中节点没有按照有特定的方式重新排列，因此，直接池化的过程需要存储很多节点。这会导致计算机内存的无效利用、速度慢、无法并行等问题。为了让池化的过程更有效率，我们通过以下两步骤对图谱中节点进行重新排列：
1)创建平衡二叉树；
2)重新排列节点。这种对图进行重新排列的操作使得计算均值更加高效，更好的利用GPU并行运算。
由上述内容可知，本申请至少还可以实现如下有益效果：
(1)将结构化规整数据处理与图数据处理之间架起一座桥梁，将结构数据与非结构化的结合起来进行数据分析。常规的规整数据操作(卷积，转化、过滤、填充、采样)不能在图数据结构中应用，因此，需要重新定义初始的卷积操作。在本专利中通过采用金字塔式多层结构对图谱关系进行重构，对过滤器的概念进行延伸。我们的专利方法同样适用于文本分类的表现，其与经典的卷积神经网络具有同样的模型效果，方法有较好的泛化能力。
(2)采用局部过滤器参数化的方法，通过克罗内克函数将卷积核进行局部化，同时降低卷积的复杂度，它的复杂度仅与过滤器的尺寸相关，解决了图谱结构在高维数据应用中的局限性问题。
(3)计算拉普拉斯矩阵需要进行两次矩阵分解，包括前向传播和反馈传播，本专利避免显式使用傅里叶基，降低了计算复杂性，提高了运行效率，同时，可以对局部过滤器进行精确地控制，这更便于对模型进行调参优化。
(4)对权重图谱中的节点的应用了适用于大型网络的多层次聚类方法，然后对粗化后的网络进行池化操作，引入节点平衡二叉树的构建方法，这种对节点进行重新排列的池化操作使得计算更加高效，更好地利用GPU并行运算。
从硬件层面来说，为了能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率，本申请提供一种用于实现所述图谱卷积神经网络数据处理方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现图谱卷积神经网络数据处理装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的图谱卷积神经网络数据处理方法的实施例，以及图谱卷积神经网络数据处理装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，图谱卷积神经网络数据处理方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图3为本申请实施例的电子设备9600的系统构成的示意框图。如图3所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图3是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，图谱卷积神经网络数据处理方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤S101：对图谱中各节点进行聚类合并处理，得到粗化图。
步骤S102：根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络。
从上述描述可知，本申请实施例提供的电子设备，通过对图谱中各节点进行聚类合并处理，得到粗化图；根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络，本申请能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率。
在另一个实施方式中，图谱卷积神经网络数据处理装置可以与中央处理器9100分开配置，例如可以将图谱卷积神经网络数据处理装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现图谱卷积神经网络数据处理方法功能。
如图3所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图3中所示的所有部件；此外，电子设备9600还可以包括图3中没有示出的部件，可以参考现有技术。
如图3所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的图谱卷积神经网络数据处理方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的图谱卷积神经网络数据处理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤S101：对图谱中各节点进行聚类合并处理，得到粗化图。
步骤S102：根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过对图谱中各节点进行聚类合并处理，得到粗化图；根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络，本申请能够有效解决非参数化在高维数据应用中的局限性，提升应用泛化能力，降低计算复杂性并提高运行效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图谱卷积神经网络数据处理方法，其特征在于，所述方法包括：
对图谱中各节点进行聚类合并处理，得到粗化图；
根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络。
2.根据权利要求1所述的图谱卷积神经网络数据处理方法，其特征在于，在所述根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤之前，包括：
预先定义卷积神经网络中的节点、边、权重以及所述节点的特征数据；
根据傅里叶基算法对拉普拉斯矩阵进行对角化处理，根据傅里叶基算法中的卷积算子对所述节点的特征数据进行转化，得到非参过滤器，并根据参数化多项式对所述非参过滤器进行表示；
对拉普拉斯矩阵进行标准化处理，并利用反向传播算法训练所述卷积神经网络的卷积层参数；
根据所述非参过滤器和训练后的所述卷积层参数进行预测，将得到的卷积层的输出结果设定为池化层的输入数据。
3.根据权利要求1所述的图谱卷积神经网络数据处理方法，其特征在于，在所述根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤之后，包括：
创建平衡二叉树；
对图谱中各节点进行重新排列。
4.根据权利要求1所述的图谱卷积神经网络数据处理方法，其特征在于，所述对图谱中各节点进行聚类合并处理，包括：
根据多层次聚类算法对图谱中各节点进行聚类合并处理。
5.一种图谱卷积神经网络数据处理装置，其特征在于，包括：
图谱粗化处理模块，用于对图谱中各节点进行聚类合并处理，得到粗化图；
图谱结构池化模块，用于根据预设卷积过滤器对卷积神经网络中的非结构化图谱进行过滤，得到经过所述过滤后的卷积神经网络。
6.根据权利要求5所述的图谱卷积神经网络数据处理装置，其特征在于，还包括：
第一过滤器构建单元，用于预先定义卷积神经网络中的节点、边、权重以及所述节点的特征数据；
第二过滤器构建单元，用于根据傅里叶基算法对拉普拉斯矩阵进行对角化处理，根据傅里叶基算法中的卷积算子对所述节点的特征数据进行转化，得到非参过滤器，并根据参数化多项式对所述非参过滤器进行表示；
第三过滤器构建单元，用于对拉普拉斯矩阵进行标准化处理，并利用反向传播算法训练所述卷积神经网络的卷积层参数；
第四过滤器构建单元，用于根据所述非参过滤器和训练后的所述卷积层参数进行预测，将得到的卷积层的输出结果设定为池化层的输入数据。
7.根据权利要求5所述的图谱卷积神经网络数据处理装置，其特征在于，还包括：
二叉树创建单元，用于创建平衡二叉树；
重新排列单元，用于对图谱中各节点进行重新排列。
8.根据权利要求5所述的图谱卷积神经网络数据处理装置，其特征在于，所述图谱粗化处理模块包括：
多层聚类单元，用于根据多层次聚类算法对图谱中各节点进行聚类合并处理。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述的图谱卷积神经网络数据处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述的图谱卷积神经网络数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911368298.0A CN111178507B (zh) | 2019-12-26 | 2019-12-26 | 图谱卷积神经网络数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911368298.0A CN111178507B (zh) | 2019-12-26 | 2019-12-26 | 图谱卷积神经网络数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111178507A true CN111178507A (zh) | 2020-05-19 |
| CN111178507B CN111178507B (zh) | 2024-05-24 |
Family
ID=70654038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911368298.0A Active CN111178507B (zh) | 2019-12-26 | 2019-12-26 | 图谱卷积神经网络数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111178507B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754199A (zh) * | 2020-06-29 | 2020-10-09 | 金电联行（北京）信息技术有限公司 | 一种业务本体驱动的企业信用关系图粗化方法 |
| CN111812450A (zh) * | 2020-06-01 | 2020-10-23 | 复旦大学 | 一种电网危险故障的识别方法 |
| CN112085127A (zh) * | 2020-10-26 | 2020-12-15 | 安徽大学 | 一种混合高低阶邻居信息的半监督分类方法 |
| CN112380351A (zh) * | 2021-01-18 | 2021-02-19 | 上海旻浦科技有限公司 | 一种文本分类方法、系统、终端以及存储介质 |
| CN112651487A (zh) * | 2020-12-21 | 2021-04-13 | 广东交通职业技术学院 | 基于图坍缩卷积神经网络的数据推荐方法、系统及介质 |
| CN112766609A (zh) * | 2021-02-05 | 2021-05-07 | 国网安徽省电力有限公司合肥供电公司 | 一种基于云计算的用电量预测方法 |
| CN114036607A (zh) * | 2021-11-03 | 2022-02-11 | 清华大学 | 多模态输入深度神经网络、框架结构梁柱设计方法及装置 |
| CN115240006A (zh) * | 2022-07-29 | 2022-10-25 | 南京航空航天大学 | 目标检测的卷积神经网络优化方法、装置及网络结构 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194404A (zh) * | 2017-04-13 | 2017-09-22 | 哈尔滨工程大学 | 基于卷积神经网络的水下目标特征提取方法 |
| CN107256414A (zh) * | 2017-06-27 | 2017-10-17 | 哈尔滨工业大学 | 基于空域特征图谱的极化sar图像卷积神经网络分类方法 |
| US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
| CN108052989A (zh) * | 2018-02-07 | 2018-05-18 | 深圳市唯特视科技有限公司 | 一种基于样条卷积神经网络的图像分类方法 |
| US20190164047A1 (en) * | 2017-11-27 | 2019-05-30 | Technische Universiteit Eindhoven | Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering |
| CN109887282A (zh) * | 2019-03-05 | 2019-06-14 | 中南大学 | 一种基于层级时序图卷积网络的路网交通流预测方法 |
| CN110059191A (zh) * | 2019-05-07 | 2019-07-26 | 山东师范大学 | 一种文本情感分类方法及装置 |
| CN110321967A (zh) * | 2019-07-11 | 2019-10-11 | 南京邮电大学 | 基于卷积神经网络的图像分类改进算法 |
-
2019
- 2019-12-26 CN CN201911368298.0A patent/CN111178507B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
| CN107194404A (zh) * | 2017-04-13 | 2017-09-22 | 哈尔滨工程大学 | 基于卷积神经网络的水下目标特征提取方法 |
| CN107256414A (zh) * | 2017-06-27 | 2017-10-17 | 哈尔滨工业大学 | 基于空域特征图谱的极化sar图像卷积神经网络分类方法 |
| US20190164047A1 (en) * | 2017-11-27 | 2019-05-30 | Technische Universiteit Eindhoven | Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering |
| CN108052989A (zh) * | 2018-02-07 | 2018-05-18 | 深圳市唯特视科技有限公司 | 一种基于样条卷积神经网络的图像分类方法 |
| CN109887282A (zh) * | 2019-03-05 | 2019-06-14 | 中南大学 | 一种基于层级时序图卷积网络的路网交通流预测方法 |
| CN110059191A (zh) * | 2019-05-07 | 2019-07-26 | 山东师范大学 | 一种文本情感分类方法及装置 |
| CN110321967A (zh) * | 2019-07-11 | 2019-10-11 | 南京邮电大学 | 基于卷积神经网络的图像分类改进算法 |
Non-Patent Citations (4)
| Title |
|---|
| 徐冰冰;岑科廷;黄俊杰;沈华伟;程学旗;: "图卷积神经网络综述", no. 05 * |
| 李昌华;崔李扬;李智杰;: "用于非精确图匹配的改进GCN模型", no. 08 * |
| 杨国亮;王志元;张雨;: "一种改进的深度卷积神经网络的精细图像分类", no. 05 * |
| 陈可佳;杨泽宇;刘峥;鲁浩;: "基于邻域选择策略的图卷积网络模型", 计算机应用, no. 12 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111812450A (zh) * | 2020-06-01 | 2020-10-23 | 复旦大学 | 一种电网危险故障的识别方法 |
| CN111812450B (zh) * | 2020-06-01 | 2022-03-18 | 复旦大学 | 一种电网危险故障的识别方法 |
| CN111754199A (zh) * | 2020-06-29 | 2020-10-09 | 金电联行（北京）信息技术有限公司 | 一种业务本体驱动的企业信用关系图粗化方法 |
| CN112085127A (zh) * | 2020-10-26 | 2020-12-15 | 安徽大学 | 一种混合高低阶邻居信息的半监督分类方法 |
| CN112651487A (zh) * | 2020-12-21 | 2021-04-13 | 广东交通职业技术学院 | 基于图坍缩卷积神经网络的数据推荐方法、系统及介质 |
| CN112651487B (zh) * | 2020-12-21 | 2021-07-27 | 广东交通职业技术学院 | 基于图坍缩卷积神经网络的数据推荐方法、系统及介质 |
| CN112380351A (zh) * | 2021-01-18 | 2021-02-19 | 上海旻浦科技有限公司 | 一种文本分类方法、系统、终端以及存储介质 |
| CN112380351B (zh) * | 2021-01-18 | 2021-04-06 | 上海旻浦科技有限公司 | 一种文本分类方法、系统、终端以及存储介质 |
| CN112766609A (zh) * | 2021-02-05 | 2021-05-07 | 国网安徽省电力有限公司合肥供电公司 | 一种基于云计算的用电量预测方法 |
| CN114036607A (zh) * | 2021-11-03 | 2022-02-11 | 清华大学 | 多模态输入深度神经网络、框架结构梁柱设计方法及装置 |
| CN115240006A (zh) * | 2022-07-29 | 2022-10-25 | 南京航空航天大学 | 目标检测的卷积神经网络优化方法、装置及网络结构 |
| CN115240006B (zh) * | 2022-07-29 | 2023-09-19 | 南京航空航天大学 | 目标检测的卷积神经网络优化方法、装置及网络结构 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111178507B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178507B (zh) | 图谱卷积神经网络数据处理方法及装置 | |
| Zhou et al. | Edge intelligence: Paving the last mile of artificial intelligence with edge computing | |
| US11875268B2 (en) | Object recognition with reduced neural network weight precision | |
| US11307864B2 (en) | Data processing apparatus and method | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| US11586903B2 (en) | Method and system of controlling computing operations based on early-stop in deep neural network | |
| CN116415654A (zh) | 一种数据处理方法及相关设备 | |
| CN109034206A (zh) | 图像分类识别方法、装置、电子设备及计算机可读介质 | |
| US11423307B2 (en) | Taxonomy construction via graph-based cross-domain knowledge transfer | |
| WO2024041479A1 (zh) | 一种数据处理方法及其装置 | |
| US20230080230A1 (en) | Method for generating federated learning model | |
| CN112906721B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN107832794A (zh) | 一种卷积神经网络生成方法、车系识别方法及计算设备 | |
| CN116368796A (zh) | 数据处理方法和装置 | |
| WO2022111387A1 (zh) | 一种数据处理方法及相关装置 | |
| CN113536970A (zh) | 一种视频分类模型的训练方法及相关装置 | |
| WO2024175079A1 (zh) | 一种模型的量化方法以及相关设备 | |
| CN117422961A (zh) | 图像处理方法及装置、芯片、电子设备及存储介质 | |
| CN116433491A (zh) | 一种图像处理方法、装置、设备、存储介质及产品 | |
| CN113139490B (zh) | 一种图像特征匹配方法、装置、计算机设备及存储介质 | |
| CN110929118A (zh) | 网络数据处理方法、设备、装置、介质 | |
| Hasanaj et al. | Cooperative edge deepfake detection | |
| KR20200027085A (ko) | 전자 장치 및 그 제어 방법 | |
| CN118333106B (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| CN116798052B (zh) | 文本识别模型的训练方法和装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |