CN112487201A - 一种使用共享参数卷积神经网络的知识图谱表示方法 - Google Patents

一种使用共享参数卷积神经网络的知识图谱表示方法 Download PDF

Info

Publication number
CN112487201A
CN112487201A CN202011347873.1A CN202011347873A CN112487201A CN 112487201 A CN112487201 A CN 112487201A CN 202011347873 A CN202011347873 A CN 202011347873A CN 112487201 A CN112487201 A CN 112487201A
Authority
CN
China
Prior art keywords
entity
vector
representation
matrix
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011347873.1A
Other languages
English (en)
Other versions
CN112487201B (zh
Inventor
王震
杜昊桐
朱培灿
王榕
姚权铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202011347873.1A priority Critical patent/CN112487201B/zh
Publication of CN112487201A publication Critical patent/CN112487201A/zh
Application granted granted Critical
Publication of CN112487201B publication Critical patent/CN112487201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种使用共享参数卷积神经网络的知识图谱表示方法；包括如下步骤：将实体表示向量变换成二维的实体表示矩阵；将关系表示向量设置为卷积层的参数；将实体表示矩阵通过两层卷积层，再通过一层全连接层，得到特征向量；将特征向量与实体嵌入层的参数做点积，得到分类概率。本发明使用的共享参数方法，在两层卷积网络中使用了相同的参数，降低了空间资源开销，相比于两层不同参数的卷积网络，使得参数得到充分训练，提升了表示效果，并提高了使用本发明生成的表示向量进行关系预测任务的准确率。

Description

一种使用共享参数卷积神经网络的知识图谱表示方法
技术领域
本发明属于人工智能领域；尤其涉及一种使用共享参数卷积神经网络的知识图谱表示方法。
背景技术
随着互联网和大数据时代的到来，信息的爆炸式增长带来了海量的信息冗余，这种从信息缺失到信息过剩的转变，给人们快速高效地获取知识带来了干扰。2012年，谷歌将知识图谱技术融合到其搜索引擎中，从海量网页中抽取命名实体及其属性，并提取它们之间的关系，进行重新整合，大大提升了其搜索效率，知识图谱的热度也随之上升。
知识图谱是描述现实世界概念、实体及其关系的知识库，它采用三元组来表示知识，其构成形式为(实体a，关系，实体b)。实体指的是抽象的概念或具体的实例，关系指的是实体之间存在的某种联系。这样的关系使其可以基于图的结构来表示：其中图的节点表示实体或概念，节点之间的边表示实体或概念之间的关系。也可以这样说，知识图谱是一种描述知识的语义网络。
现有大型知识图谱，诸如Wikidata、Yago、DBpedia，富含海量世界知识，但在其构建过程注定会使其中包含的知识不具有完整性,即知识库无法包含全部的已知知识.此时知识图谱补全技术就显得尤为重要,任何现有的知识图谱都需要通过补全来不断完善知识本身,甚至可以推理出新的知识。
近年来，表示学习在知识图谱上的运用获得了巨大成功，显著提高了知识图谱的表示与自动补全性能。表示学习使用分布式表示方法，将实体与关系映射到低维连续向量空间中，解决了之前知识图谱表示学习中的稀疏性问题，同时也提高了效率。但是，现有的知识图谱表示学习方法会初始化两种维度的关系表示矩阵，往往面临参数量过多，空间复杂度高，训练效率低下的问题，无法应用到实际场景。因此本发明使用参数共享卷积的表示学习方法，将关系表示作为卷积核参数，直接与实体表示进行卷积运算交互，输出的结果作为知识图谱补全的依据。
发明内容
本发明的目的是提供了一种使用共享参数卷积神经网络的知识图谱表示方法。
本发明是通过以下技术方案实现的：
本发明涉及一种使用共享参数卷积神经网络的知识图谱表示方法，包括如下步骤：
将实体表示向量变换成二维的实体表示矩阵；将关系表示向量设置为卷积层的参数；将实体表示矩阵通过两层卷积层，再通过一层全连接层，得到特征向量；将特征向量与实体嵌入层的参数做点积，得到分类概率。
具体步骤为：
数据预处理：
本发明使用的示例数据集是FB15k-237，该数据集中共包含14541个实体，237个关系，其中训练集中包含141442个三元组，验证集中包含17535个三元组，测试集中包含20466个三元组。针对该数据集，数据预处理如下：构造一个实体词典，一个关系词典，对数据集中每一个元组进行遍历，如果元组中的头实体没有在实体词典中出现过，就将该头实体放入实体词典中，并从0开始给予其一个数字ID表示，尾实体同上；对于元组中的关系，如果没有在关系词典中出现过，就将该关系放入关系词典中，并从0开始给予其一个数字ID表示，它的反关系R_reverse，并将该关系放入关系词典中，给予其一个数字ID表示。如果数据集中存在<e1,R,e2>这样的元组，与之对应构造出一个<e2,R_reverse,e1>元组，这样做的目的是用来扩充数据。根据以上做法将237个关系扩充为474个关系，并用数字0-473来表示。这样，就可以使用给定的数字ID去表示数据集中的元组，例如：e1在实体词典中用23来表示，R在关系词典中用76表示，e2在实体词典中用173来表示，那么，对于<e1,R,e2>这样的元组，可以使用<23,76,173>这样的元组来等价表示。
经过预处理之后，获得了若干组由数字表示的三元组，这些三元组将作为本发明技术的输入数据。
利用实体嵌入层生成一个维度为14541×200的实体表示矩阵，对于这474个关系，利用关系嵌入层生成一个维度为474×288的矩阵，并都对矩阵进行随机初始化；矩阵的某一行，代表的是某个实体或某个关系的表示向量；
每一组输入数据都对应了三个向量，分别是200维的头实体表示向量，288维的关系实体表示向量，200维的尾实体表示向量；将1×200维的头实体表示向量变形成为10×20维的矩阵A，将288维的关系向量变形成为32个3×3维的矩阵B，将矩阵A与矩阵B做卷积操作，获得32个8×18维的特征矩阵C，再将C与B做卷积操作，得到1024个6×16维的特征矩阵D，将特征矩阵D变形成为1个1×98304维的特征向量E，通过全连接神经网络，将该特征向量的维度由98304维降为200维，得到特征向量F，将该特征向量与实体表示矩阵的转置相乘，上述过程可以用如下评分函数来表示：
Figure BDA0002800482870000041
其中，
Figure BDA0002800482870000042
表示变形成二维矩阵的头实体，vec表示矩阵的向量化，vec-1表示向量的矩阵化。
再通过sigmod函数，得到每个实体可能作为输入头实体与关系对应的尾实体的概率值p，p的公式表示如下。
p＝σ(f(s,r,o))
其中，σ(·)表示sigmod函数。
本发明方法最小化二元交叉熵损失函数，通过随机梯度下降方法对参数进行不断更新，二元交叉熵公式如下：
Figure BDA0002800482870000051
其中，t为标签向量，ti表示第i个实体是否是尾实体，ti＝1表示该实体是尾实体，0表示不是，pi表示方法预测出来的第i个实体为尾实体的概率。
本发明具有以下优点：
(1)本发明使用共享参数卷积神经网络的知识图谱表示方法，在两层卷积网络中使用了相同的参数，降低了空间资源开销，相比于两层不同参数的卷积网络，使得参数得到充分训练，提升了表示效果，并提高了使用本发明生成的表示向量进行关系预测任务的准确率。
(2)本发明使用共享参数卷积神经网络的知识图谱表示方法，将卷积核参数固定为唯一维度的关系表示向量，减少空间资源开销，并使关系表示与实体表示进行充分交互，提升交互效率，获得更加高效、鲁棒的表示向量，使用该表示向量提升知识图谱补全任务、知识图谱元组分类任务的准确率。
(3)本发明没有使用ReLU激活函数，ReLU激活函数会将负值变为0值，影响实体表示与关系表示的稳定分布，从而影响利用本发明得到的表示向量进行的链接预测、元组分类等问题的准确率。
(4)本发明使用共享参数卷积神经网络的知识图谱表示方法，只生成单一维度的关系表示向量，在减少空间开销的情况下同时提升了表示效果；本发明使用较少参数就可以达到很高的准确率，生成表示向量的速度较快，具有很大的应用前景。
附图说明
图1是本发明的总体流程图；
图2是本发明的模型示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。应当指出的是，以下的实施实例只是对本发明的进一步说明，但本发明的保护范围并不限于以下实施例。
实施例
本实施例涉及一种使用共享参数卷积神经网络的知识图谱表示方法，如图1和图2所示：包括如下步骤：
将实体表示向量变换成二维的实体表示矩阵；将关系表示向量设置为卷积层的参数；将实体表示矩阵通过两层卷积层，再通过一层全连接层，得到特征向量；将特征向量与实体嵌入层的参数做点积，得到分类概率。
具体步骤为：
数据预处理：
本发明使用的示例数据集是FB15k-237，该数据集中共包含14541个实体，237个关系，其中训练集中包含141442个三元组，验证集中包含17535个三元组，测试集中包含20466个三元组。针对该数据集，数据预处理如下：构造一个实体词典，一个关系词典，对数据集中每一个元组进行遍历，如果元组中的头实体没有在实体词典中出现过，就将该头实体放入实体词典中，并从0开始给予其一个数字ID表示，尾实体同上；对于元组中的关系，如果没有在关系词典中出现过，就将该关系放入关系词典中，并从0开始给予其一个数字ID表示，它的反关系R_reverse，并将该关系放入关系词典中，给予其一个数字ID表示。如果数据集中存在<e1,R,e2>这样的元组，与之对应构造出一个<e2,R_reverse,e1>元组，这样做的目的是用来扩充数据。根据以上做法将237个关系扩充为474个关系，并用数字0-473来表示。这样，就可以使用给定的数字ID去表示数据集中的元组，例如：e1在实体词典中用23来表示，R在关系词典中用76表示，e2在实体词典中用173来表示，那么，对于<e1,R,e2>这样的元组，可以使用<23,76,173>这样的元组来等价表示。
经过预处理之后，获得了若干组由数字表示的三元组，这些三元组将作为本发明技术的输入数据。
利用实体嵌入层生成一个维度为14541×200的实体表示矩阵，对于这474个关系，利用关系嵌入层生成一个维度为474×288的矩阵，并都对矩阵进行随机初始化；矩阵的某一行，代表的是某个实体或某个关系的表示向量；
每一组输入数据都对应了三个向量，分别是200维的头实体表示向量，288维的关系实体表示向量，200维的尾实体表示向量；将1×200维的头实体表示向量变形成为10×20维的矩阵A，将288维的关系向量变形成为32个3×3维的矩阵B，将矩阵A与矩阵B做卷积操作，获得32个8×18维的特征矩阵C，再将C与B做卷积操作，得到1024个6×16维的特征矩阵D，将特征矩阵D变形成为1个1×98304维的特征向量E，通过全连接神经网络，将该特征向量的维度由98304维降为200维，得到特征向量F，将该特征向量与实体表示矩阵的转置相乘，上述过程可以用如下评分函数来表示：
Figure BDA0002800482870000081
其中，
Figure BDA0002800482870000082
表示变形成二维矩阵的头实体，vec表示矩阵的向量化，vec-1表示向量的矩阵化。
再通过sigmod函数，得到每个实体可能作为输入头实体与关系对应的尾实体的概率值p，p的公式表示如下。
p＝σ(f(s,r,o))
其中，σ(·)表示sigmod函数。
本发明方法最小化二元交叉熵损失函数，通过随机梯度下降方法对参数进行不断更新，二元交叉熵公式如下：
Figure BDA0002800482870000083
其中，t为标签向量，ti表示第i个实体是否是尾实体，ti＝1表示该实体是尾实体，0表示不是，pi表示方法预测出来的第i个实体为尾实体的概率。
与现有技术相比，本发明具有以下优点：
(1)本发明使用共享参数卷积神经网络的知识图谱表示方法，在两层卷积网络中使用了相同的参数，降低了空间资源开销，相比于两层不同参数的卷积网络，使得参数得到充分训练，提升了表示效果，并提高了使用本发明生成的表示向量进行关系预测任务的准确率。
(2)本发明使用共享参数卷积神经网络的知识图谱表示方法，将卷积核参数固定为唯一维度的关系表示向量，减少空间资源开销，并使关系表示与实体表示进行充分交互，提升交互效率，获得更加高效、鲁棒的表示向量，使用该表示向量提升知识图谱补全任务、知识图谱元组分类任务的准确率。
(3)本发明没有使用ReLU激活函数，ReLU激活函数会将负值变为0值，影响实体表示与关系表示的稳定分布，从而影响利用本发明得到的表示向量进行的链接预测、元组分类等问题的准确率。
(4)本发明使用共享参数卷积神经网络的知识图谱表示方法，只生成单一维度的关系表示向量，在减少空间开销的情况下同时提升了表示效果；本发明使用较少参数就可以达到很高的准确率，生成表示向量的速度较快，具有很大的应用前景。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质。

Claims (2)

1.一种使用共享参数卷积神经网络的知识图谱表示方法，其特征在于，包括如下步骤：
将实体表示向量变换成二维的实体表示矩阵；将关系表示向量设置为卷积层的参数；将实体表示矩阵通过两层卷积层，再通过一层全连接层，得到特征向量；将特征向量与实体嵌入层的参数做点积，得到分类概率。
2.如权利要求1所述的使用共享参数卷积神经网络的知识图谱表示方法，其特征在于，具体步骤为：对于一个实体个数为ne，关系个数为nr的待表示的知识库，利用实体嵌入层生成一个维度为ne×de的实体表示矩阵，其中de为实体表示向量的长度，对于这nr个关系，利用关系嵌入层生成一个维度为nr×dr的矩阵，其中dr为关系表示向量的长度，一般设置dr的数值为9×nf，nf为卷积神经网络中的卷积核个数，并都对矩阵进行随机初始化；矩阵的某一行，代表的是某个实体或某个关系的表示向量；
每一组输入数据都对应了三个向量，分别是长度为de的头实体表示向量，长度为dr的关系实体表示向量，长度为de的尾实体表示向量；将实体表示向量变形成为二维实体表示矩阵A，将关系向量变形成为nf个3×3的卷积核ω，将矩阵A与卷积核ω做卷积操作，获得特征矩阵F1，再将F1与卷积核ω做卷积操作，得到特征矩阵F2，将特征矩阵F2变形成为中间向量，将其通过全连接神经网络，将该中间向量的维度降为de，得到特征向量，将该特征向量与实体表示矩阵的转置相乘，再通过sigmod函数，得到每个实体作为输入头实体与关系对应的尾实体的概率值，其中Sigmod函数由下列公式定义
Figure FDA0002800482860000021
CN202011347873.1A 2020-11-26 2020-11-26 一种使用共享参数卷积神经网络的知识图谱表示方法 Active CN112487201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011347873.1A CN112487201B (zh) 2020-11-26 2020-11-26 一种使用共享参数卷积神经网络的知识图谱表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011347873.1A CN112487201B (zh) 2020-11-26 2020-11-26 一种使用共享参数卷积神经网络的知识图谱表示方法

Publications (2)

Publication Number Publication Date
CN112487201A true CN112487201A (zh) 2021-03-12
CN112487201B CN112487201B (zh) 2022-05-10

Family

ID=74935136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011347873.1A Active CN112487201B (zh) 2020-11-26 2020-11-26 一种使用共享参数卷积神经网络的知识图谱表示方法

Country Status (1)

Country Link
CN (1) CN112487201B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305543A (zh) * 2016-04-22 2017-10-31 富士通株式会社 对实体词的语义关系进行分类的方法和装置
CN107844599A (zh) * 2017-11-23 2018-03-27 北京天广汇通科技有限公司 关系强度确定方法和装置
CN107944559A (zh) * 2017-11-24 2018-04-20 国家计算机网络与信息安全管理中心 一种实体关系自动识别方法及系统
CN108009512A (zh) * 2017-12-14 2018-05-08 西北工业大学 一种基于卷积神经网络特征学习的人物再识别方法
CN108875053A (zh) * 2018-06-28 2018-11-23 国信优易数据有限公司 一种知识图谱数据处理方法及装置
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN110196955A (zh) * 2018-05-28 2019-09-03 腾讯科技（深圳）有限公司 信息处理方法、装置及存储介质
CN110969005A (zh) * 2018-09-29 2020-04-07 航天信息股份有限公司 一种确定实体语料之间的相似性的方法及装置
CN111538848A (zh) * 2020-04-29 2020-08-14 华中科技大学 一种融合多源信息的知识表示学习方法
CN111597352A (zh) * 2020-05-18 2020-08-28 中国人民解放军国防科技大学 结合本体概念和实例的网络空间知识图谱推理方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305543A (zh) * 2016-04-22 2017-10-31 富士通株式会社 对实体词的语义关系进行分类的方法和装置
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN107844599A (zh) * 2017-11-23 2018-03-27 北京天广汇通科技有限公司 关系强度确定方法和装置
CN107944559A (zh) * 2017-11-24 2018-04-20 国家计算机网络与信息安全管理中心 一种实体关系自动识别方法及系统
CN108009512A (zh) * 2017-12-14 2018-05-08 西北工业大学 一种基于卷积神经网络特征学习的人物再识别方法
CN110196955A (zh) * 2018-05-28 2019-09-03 腾讯科技（深圳）有限公司 信息处理方法、装置及存储介质
CN108875053A (zh) * 2018-06-28 2018-11-23 国信优易数据有限公司 一种知识图谱数据处理方法及装置
CN110969005A (zh) * 2018-09-29 2020-04-07 航天信息股份有限公司 一种确定实体语料之间的相似性的方法及装置
CN111538848A (zh) * 2020-04-29 2020-08-14 华中科技大学 一种融合多源信息的知识表示学习方法
CN111597352A (zh) * 2020-05-18 2020-08-28 中国人民解放军国防科技大学 结合本体概念和实例的网络空间知识图谱推理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG LI FANG，等: "FRS: A simple knowledge graph embedding model for entity prediction", 《MATHEMATICAL BIOSCIENCES AND ENGINEERING》 *
刘婧: "面向信息质量的社会媒体关系抽取方法研究", 《中国博士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN112487201B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN109271522B (zh) 基于深度混合模型迁移学习的评论情感分类方法及系统
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
CN111832546B (zh) 一种轻量级自然场景文本识别方法
CN113344188A (zh) 基于通道注意力模块的轻量级神经网络模型
CN111950594A (zh) 基于子图采样的大规模属性图上的无监督图表示学习方法和装置
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN111581401A (zh) 一种基于深度相关性匹配的局部引文推荐系统及方法
CN112862015A (zh) 一种基于超图神经网络的论文分类方法及系统
CN114491039B (zh) 基于梯度改进的元学习少样本文本分类方法
CN110889282A (zh) 一种基于深度学习的文本情感分析方法
CN114780748A (zh) 基于先验权重增强的知识图谱的补全方法
Yang A CNN-based broad learning system
CN111144500A (zh) 基于解析高斯机制的差分隐私深度学习分类方法
Li et al. A novel gaussian–bernoulli based convolutional deep belief networks for image feature extraction
CN112925904A (zh) 一种基于Tucker分解的轻量级文本分类方法
CN113836319B (zh) 融合实体邻居的知识补全方法及系统
CN117056459B (zh) 一种向量召回方法和装置
CN113743079A (zh) 一种基于共现实体交互图的文本相似度计算方法及装置
CN112487201B (zh) 一种使用共享参数卷积神经网络的知识图谱表示方法
CN116311455A (zh) 一种基于改进Mobile-former的表情识别方法
CN115131605A (zh) 一种基于自适应子图的结构感知图对比学习方法
CN112001431B (zh) 一种基于梳状卷积的高效图像分类方法
CN114565029A (zh) 无属性网络中融合图嵌入和结构增强的分类方法及系统
CN116090538A (zh) 一种模型权重获取方法以及相关系统
Chen et al. Model selection-knowledge distillation framework for model compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant