CN113222775B - 融合多模态信息及权重张量的用户身份关联方法 - Google Patents
融合多模态信息及权重张量的用户身份关联方法 Download PDFInfo
- Publication number
- CN113222775B CN113222775B CN202110607064.8A CN202110607064A CN113222775B CN 113222775 B CN113222775 B CN 113222775B CN 202110607064 A CN202110607064 A CN 202110607064A CN 113222775 B CN113222775 B CN 113222775B
- Authority
- CN
- China
- Prior art keywords
- user
- users
- modal
- matching
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 31
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 9
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及融合多模态信息及权重张量的用户身份关联方法,属于机器学习领域。主要为了解决目前用户身份关联方法中使用的用户信息单一,忽略其他模态信息和需要大量的标注数据的问题。本发明收集用户多模态特征信息并进行预处理,构建社交网络用户数据集;然后,使用规则匹配方法获得初始用户匹配矩阵和候选集过滤器;最后通过Transformer编码器和改进的基于权重张量分解的张量融合方法得到用户多模态特征的联合嵌入,使用Triplet Network结构迭代更新Transformer编码器权值,根据两个用户的联合嵌入表示相似性和设定的阈值判断两个用户是否匹配,输出最终用户匹配矩阵。
Description
技术领域
本发明涉及融合多模态信息及权重张量的用户身份关联方法,属于机器学习领域。
背景技术
大数据时代,众多社交网络应运而生,提供丰富和便捷的服务,以满足用户不同的社交需求。由于服务的差异性,网络用户通常会在不同的社交平台建立虚拟账户,账户产生的海量信息映射出用户真实的生活状态。关联不同社交网络中的虚拟用户身份可以帮助完善用户信息,更精确地推荐好友和提供个性化服务。
网络虚拟用户身份关联主要分为基于用户属性信息、基于网络拓扑结构和基于用户生成内容。
1.基于用户属性信息
这类方法是将用户的用户名、生日和性别等档案信息转换成一个多维的向量形式,用来表征特定社交网络中的用户身份信息。用户的多属性信息可以转换成多维向量,用于表征用户在特定序列号上的身份。但目前多数社交平台的用户属性信息缺失严重并且真实性难以保证。
2.基于网络拓扑信息
这类方法是将用户好友关系等效成网络拓扑结构进行节点之间的相似度匹配,大多数采用有监督学习的方式进行用户身份识别,需要大量标注数据。
3.基于用户生成内容
这类方法将用户发表在各大社交网络上的内容作为文本数据集进行处理,挖掘与用户相关的行为信息来识别不同社交网络上用户的身份信息。但是由于用户发布的文本信息数量大,含有大量无效信息,难以提取用户的个体特征。
综上所述,近年来用户身份关联大多基于用户属性、网络拓扑等单模态信息,然而网络虚拟用户数据实际上包含多模态信息,比如图片模态、文本模态,简单的对单种模态进行建模可能会导致忽略一些关键信息。除此之外,现有的方法中所需信息可能难以在两个网络中同时获取,或者需要大量的标注数据给身份关联任务带来困难。
发明内容
本发明的目的是针对目前用户身份关联方法中使用的用户信息单一,忽略其他模态信息和需要大量的标注数据的问题,提出了一种融合多模态信息及权重张量的用户身份关联方法。
本发明的设计原理为:首先,收集用户多模态特征信息并进行预处理,构建社交网络用户数据集;然后,使用规则匹配方法获得初始用户匹配矩阵和候选集过滤器;最后通过Transformer编码器和改进的基于权重张量分解的张量融合方法得到用户多模态特征的联合嵌入,使用Triplet Network结构迭代更新Transformer编码器权值,根据两个用户的联合嵌入表示相似度和设定的阈值判断两个用户是否匹配,输出最终用户匹配矩阵。
本发明的技术方案是通过如下步骤实现的:
步骤1,收集用户多模态特征信息并进行预处理,构建社交网络用户数据集。
步骤1.1,收集源社交网络和目标社交网络的用户数据,包括用户头像、用户公开的属性信息、用户发布的文本内容三种模态信息。
步骤1.2,对于每个用户,根据用户发布文本信息生成每月兴趣变化标签向量作为用户的个人兴趣模态特征。
步骤1.3,对齐两社交网络的属性,取属性交集。
步骤1.4,定义社交网络数据结构表示和输出用户匹配矩阵。
步骤2,使用规则匹配方法获得初始用户匹配矩阵和候选集过滤器。
步骤3,通过Transformer编码器和改进的张量融合方法得到用户多模态特征的联合嵌入。
步骤4,根据用户匹配矩阵构建训练所需的三元组样本,使用Triplet Network结构迭代更新Transformer编码器权值,根据两个用户的联合嵌入表示相似度和设定的阈值判断两个用户是否匹配,输出最终用户匹配矩阵。
步骤4.1,按照迭代次数分批处理样本数据,每一次迭代,根据用户匹配矩阵选取训练所需的三元组样本。
步骤4.2,使用定义的损失函数公式更新迭代编码器权值。
步骤4.3,一次迭代后,使用用户头像、用户公开的属性信息、用户发布的文本内容三种模态信息使用余弦相似度计算公式计算源社交网络待匹配用户和目标社交网络用户集候选集的候选用户之间的联合嵌入表示相似度,根据设定的阈值判断两个用户是否匹配。
步骤4.4,将输出结果加入到选取用户匹配矩阵,继续进行下一次迭代,直到损失函数稳定在一个低值且不再有新用户匹配对出现。
步骤4.5,输出最终用户匹配矩阵,查询特定用户时,使用节点图绘制每个用户的内部网络关系和匹配用户关系,并显示数据集中该用户的多模态信息。
有益效果
相比于基于用户发布信息的进行文本相似度比较的方法,本发明根据用户发布文本的时间戳,以一个月为粒度构建每月兴趣变化标签向量,在大量多而杂文本信息中的提取信息,更直观反应用户的个体特征。
相比于用户属性单模态的用户身份关联方法,本发明利用用户多模态信息联合嵌入,计算综合相似度进行用户匹配,使用改进的基于权重张量分解的张量融合方法让用户多模态信息相互补充,避免用户单个属性缺失或伪造产生的误差,进一步提高了用户匹配准确率。
相比于需要大量标注数据的方法,本发明利用Triplet Network结构,采用三元组样本形式,同时训练相似性和差异性,降低了对标注样本的需求。同时使用规则匹配方法建立初始匹配矩阵,迭代训练时更新用户匹配矩阵,有效利用了历史配对信息。
附图说明
图1为本发明融合多模态信息及权重张量的用户身份关联方法原理图。
具体实施方式
为了更好的说明本发明的目的和优点,下面结合实例对本发明方法的实施方式做进一步详细说明。
具体流程为:
步骤1,收集用户多模态特征信息并进行预处理,构建社交网络用户数据集。
步骤1.1,收集源社交网络和目标社交网络的用户数据,包括用户头像、用户公开的属性信息、用户发布的文本内容三种模态信息。
步骤1.2,对于每个用户,根据用户发布的文本的时间戳,以一个月为粒度划分发布的文本内容,使用LDA主题模型计算用户的h月的兴趣标签,构建用户的h维的每月兴趣变化标签向量,作为用户的个人兴趣模态特征。
步骤1.3,对于两个异构网络,用户的属性种类不同,收集属性信息后,将两社交网络的属性进行对齐,取两个网络的属性交集,获得用户属性数量d。
步骤1.4,设定社交网络为G={V,E,P,A,W}。其中表示用户节点的集合;表示网络之间用户的关系;表示用户的头像集合,Pi表示vi用户的头像;A为N×d的矩阵表示用户的属性,d为属性数量;W为N×h的矩阵表示每月兴趣变化标签向量,h为标签向量维度。存在Gs={Vs,Es,Ps,As,Ws}为源社交网络数据集,Gt={Vt,Et,Pt,At,Wt}为目标社交网络数据集,设定输出的用户匹配矩阵为若与为同一个人,Qij=1。
步骤2,使用规则匹配方法获得初始用户匹配矩阵Q和候选集过滤器。
步骤2.1,根据用户公开的唯一性属性信息,即手机号、邮箱,在现有的源社交网络数据集和目标社交网络数据集中进行匹配,将匹配的用户加入构建初始用户匹配矩阵Q。
步骤2.2,若两个用户名相同且用户名在两个网络中唯一存在,则认为两个用户匹配,加入构建初始用户匹配对Q。
步骤2.3,定义候选过滤器Filter的规则:对于存在互斥性的属性,例如性别,在候选集中删除与该属性互斥的用户;对于个人特点鲜明的属性,例如职业、地址等,在候选集中删除不匹配属性的用户,具体规则按照收集的社交网络用户属性确定,获得vs的候选集R(vs)=Filter(vt)。
步骤3,使用Transformer编码器和改进的基于权重张量分解的张量融合方法得到用户多模态特征的联合嵌入。
步骤3.1,每个用户样本使用预训练的VGG-NET16模型提取用户的头像图片特征,使用Bi-LSTM提取用户的属性向量和每月兴趣变化标签向量的语义特征。
步骤3.2,每个用户样本提取的特征使用Transformer编码器获得多模态特征嵌入,通过改进的基于权重张量分解的张量融合的方法获得三种模态z1、z2、z3的联合嵌入e,其中改进的基于权重张量分解的张量融合公式如下:
步骤4,根据用户匹配矩阵构建训练所需的三元组样本,使用Triplet Network结构迭代更新Transformer编码器权值,根据两个用户的联合嵌入表示相似度和设定的阈值判断两个用户是否匹配,输出最终用户匹配矩阵。
步骤4.1,按照迭代次数分批处理样本数据,每一次迭代,选取用户匹配矩阵Q中的一个用户匹配对(vs,vt),选取源社交网络用户vs作为Triplet Network的锚样本,目标社交网络用户vt作为triplet network的正样本,每一组锚样本-正样本都在vs候选集R(vs)中进行k次的随机负样本vt-选取,这样就获得了k个训练所需的三元组样本。
步骤4.2,用triplet loss损失函数公式更新迭代Transformer编码器权值,其公式为:
triplet_loss=max(0,M+s(es,et)-s(es,et-))
其中,es表示锚样本vs的多模态联合嵌入,et表示正样本vt的多模态联合嵌入,et-表示负样本vt-的多模态联合嵌入,M为设定边界值,s(·,·)为余弦相似度计算公式:
步骤4.3,一次迭代后,将源社交网络用户集中的待匹配用户vs和目标社交网络的用户集候选集R(vs)=Filter(vt)的候选用户vt的多模态特征输入编码器得到用户的联合嵌入表示,模型使用余弦相似度计算公式计算两个用户的联合嵌入表示的相似度,根据设定的阈值判断两个用户是否匹配。
步骤4.4,将输出结果加入到用户匹配矩阵Q,继续进行下一次迭代,直到tripletloss稳定在一个低值且不再有新用户匹配对出现。
步骤4.5,输出最终用户匹配矩阵Q,查询特定用户时,使用节点图绘制每个用户的内部网络关系和匹配用户关系,并显示用户的多模态信息。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.融合多模态信息及权重张量的用户身份关联方法,其特征在于所述方法包括如下步骤:
步骤1,收集源社交网络和目标社交网络中包括用户头像、用户公开的属性信息、用户发布的文本内容三种模态信息并进行预处理,构建社交网络用户数据集;
步骤2,使用规则匹配方法,定义初始匹配规则获得初始用户匹配矩阵,定义候选匹配规则获得候选集过滤器;
步骤3,提取用户多模态特征后,通过Transformer编码器和改进的张量融合方法得到用户多模态特征的联合嵌入;
步骤3.1,每个用户样本使用预训练的VGG-NET16模型提取用户的头像图片特征,使用Bi-LSTM提取用户的属性向量和每月兴趣变化标签向量的语义特征;
步骤3.2,每个用户样本提取的特征使用Transformer编码器获得多模态特征嵌入,通过改进的基于权重张量分解的张量融合的方法获得三种模态z1、z2、z3的联合嵌入e,其中改进的基于权重张量分解的张量融合公式如下:
步骤4,根据用户匹配矩阵构建训练所需的三元组样本,使用Triplet Network结构迭代更新Transformer编码器权值,根据两个用户的联合嵌入表示相似性和设定的阈值判断两个用户是否匹配,输出最终用户匹配矩阵;
步骤4.1,按照迭代次数分批处理样本数据,每一次迭代,选取用户匹配矩阵Q中的一个用户匹配对(vs,vt),选取源社交网络用户vs作为Triplet Network的锚样本,目标社交网络用户vt作为triplet network的正样本,每一组锚样本-正样本都在vs候选集R(vs)中进行k次的随机负样本vt-选取,这样就获得了k个训练所需的三元组样本;
步骤4.2,用triplet loss损失函数公式更新迭代Transformer编码器权值,其公式为:
triplet_loss=max(0,M+s(es,et)-s(es,et-))
其中,es表示锚样本vs的多模态联合嵌入,et表示正样本vt的多模态联合嵌入,et-表示负样本vt-的多模态联合嵌入,M为设定边界值,s(·,·)为余弦相似度计算公式:
步骤4.3,一次迭代后,将源社交网络用户集中的待匹配用户vs和目标社交网络的用户集候选集R(vs)=Filter(vt)的候选用户vt的多模态特征输入编码器得到用户的联合嵌入表示,模型使用余弦相似度计算公式计算两个用户的联合嵌入表示的相似度,根据设定的阈值判断两个用户是否匹配;
步骤4.4,将输出结果加入到用户匹配矩阵Q,继续进行下一次迭代,直到triplet loss稳定在一个低值且不再有新用户匹配对出现;
步骤4.5,输出最终用户匹配矩阵Q,查询特定用户时,使用节点图绘制每个用户的内部网络关系和匹配用户关系,并显示用户的多模态信息。
2.根据权利要求1所述的融合多模态信息及权重张量的用户身份关联方法,其特征在于:步骤1中根据用户发布的文本的时间戳,以一个月为粒度划分发布的文本内容,构建用户的h维的每月兴趣变化标签向量作为用户的个人兴趣模态特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110607064.8A CN113222775B (zh) | 2021-05-28 | 2021-05-28 | 融合多模态信息及权重张量的用户身份关联方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110607064.8A CN113222775B (zh) | 2021-05-28 | 2021-05-28 | 融合多模态信息及权重张量的用户身份关联方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113222775A CN113222775A (zh) | 2021-08-06 |
CN113222775B true CN113222775B (zh) | 2022-08-05 |
Family
ID=77082088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110607064.8A Active CN113222775B (zh) | 2021-05-28 | 2021-05-28 | 融合多模态信息及权重张量的用户身份关联方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113222775B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113722567B (zh) * | 2021-08-24 | 2022-04-19 | 北京半人科技有限公司 | 一种基于多目标融合的实体关系抽取方法 |
CN114238439B (zh) * | 2021-12-14 | 2023-03-28 | 四川大学 | 一种基于联合嵌入的任务驱动关系型数据视图推荐方法 |
CN114338385B (zh) * | 2021-12-31 | 2024-05-17 | 上海商汤智能科技有限公司 | 网络配置方法及系统、电子设备和存储介质 |
CN114880407B (zh) * | 2022-05-30 | 2024-06-21 | 上海九方云智能科技有限公司 | 基于强弱关系网络的用户智能识别方法和系统 |
CN116758386A (zh) * | 2023-05-29 | 2023-09-15 | 国网江苏省电力有限公司南京供电分公司 | 一种电缆隧道渗水检测方法、装置、设备和存储介质 |
CN117076957B (zh) * | 2023-10-16 | 2024-06-28 | 湖南智警公共安全技术研究院有限公司 | 一种基于多模态信息的人员身份关联方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110188742A1 (en) * | 2010-02-02 | 2011-08-04 | Jie Yu | Recommending user image to social network groups |
CN111340103B (zh) * | 2020-02-24 | 2023-08-25 | 安徽大学 | 一种基于图嵌入典型相关分析的特征层融合方法及其装置 |
CN112131970A (zh) * | 2020-09-07 | 2020-12-25 | 浙江师范大学 | 一种基于多通道时空网络和联合优化损失的身份识别方法 |
CN112069484A (zh) * | 2020-11-10 | 2020-12-11 | 中国科学院自动化研究所 | 基于多模态交互式的信息采集方法及系统 |
CN112836139B (zh) * | 2021-02-03 | 2022-04-01 | 杭州师范大学钱江学院 | 融合用户特征和嵌入学习的跨社交网络用户身份关联方法 |
-
2021
- 2021-05-28 CN CN202110607064.8A patent/CN113222775B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113222775A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113222775B (zh) | 融合多模态信息及权重张量的用户身份关联方法 | |
CN110825881B (zh) | 一种建立电力知识图谱的方法 | |
JP7468929B2 (ja) | 地理知識取得方法 | |
CN110163220B (zh) | 图片特征提取模型训练方法、装置和计算机设备 | |
CN106776711B (zh) | 一种基于深度学习的中文医学知识图谱构建方法 | |
CN112215837B (zh) | 多属性图像语义分析方法和装置 | |
CN110457404B (zh) | 基于复杂异质网络的社交媒体账户分类方法 | |
CN110232186A (zh) | 融合实体描述、层次化类型和文本关系信息的知识图谱表示学习方法 | |
CN104834679B (zh) | 一种行为轨迹的表示、查询方法及装置 | |
CN111143672B (zh) | 基于知识图谱的专业特长学者推荐方法 | |
WO2024099037A1 (zh) | 数据处理、实体链接方法、装置和计算机设备 | |
CN108304424B (zh) | 文本关键词提取方法及文本关键词提取装置 | |
CN109522416A (zh) | 一种金融风险控制知识图谱的构建方法 | |
CN111858940A (zh) | 一种基于多头注意力的法律案例相似度计算方法及系统 | |
CN109492027B (zh) | 一种基于弱可信数据的跨社群潜在人物关系分析方法 | |
CN113987155B (zh) | 一种融合知识图谱与大规模用户日志的会话式检索方法 | |
CN109117891B (zh) | 融合社交关系和命名特征的跨社交媒体账户匹配方法 | |
CN109408578A (zh) | 一种针对异构环境监测数据融合方法 | |
CN111368066B (zh) | 获取对话摘要的方法、装置和计算机可读存储介质 | |
CN114581254A (zh) | 一种多特征融合的跨社交网络用户身份关联方法 | |
CN110674313B (zh) | 一种基于用户日志动态更新知识图谱的方法 | |
CN110458466B (zh) | 基于数据挖掘和异构知识关联的专利估值方法、估值系统 | |
CN115204171A (zh) | 基于超图神经网络的文档级事件抽取方法及系统 | |
CN107423294A (zh) | 一种社群图像检索方法及系统 | |
Xiong et al. | TDCTFIC: a novel recommendation framework fusing temporal dynamics, CNN-based text features and item correlation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |