CN110866118B - 一种深度学习模型的超参数调优方法 - Google Patents

一种深度学习模型的超参数调优方法 Download PDF

Info

Publication number
CN110866118B
CN110866118B CN201911053421.XA CN201911053421A CN110866118B CN 110866118 B CN110866118 B CN 110866118B CN 201911053421 A CN201911053421 A CN 201911053421A CN 110866118 B CN110866118 B CN 110866118B
Authority
CN
China
Prior art keywords
text data
model
loss function
length
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911053421.XA
Other languages
English (en)
Other versions
CN110866118A (zh
Inventor
傅啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Qibeijia Information Technology Co ltd
Hangzhou Shentu Intelligent Technology Co.,Ltd.
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911053421.XA priority Critical patent/CN110866118B/zh
Publication of CN110866118A publication Critical patent/CN110866118A/zh
Application granted granted Critical
Publication of CN110866118B publication Critical patent/CN110866118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种深度学习模型的超参数调优方法。本发明步骤如下：步骤1：文本数据的预处理，对文本数据进行标注；步骤2：构建深度学习模型；步骤3：对深度学习模型进行训练，通过增加模型深度的方式使得模型在训练集上对数据过拟合，利用过拟合模型来保证对训练数据充分利用，并逐步减少模型深度来微调模型，最后根据测试集上的表现选择最优的模型深度；步骤4、模型预测；对需要预测的文本内容，利用步骤3训练好的深度学习模型，得到文本数据标记的预测值，可以说明文本内容与业务的相关程度。本发明能够有效检验深度学习模型架构选择的正确性。

Description

一种深度学习模型的超参数调优方法
技术领域
本发明涉及深度学习模型的一种深度学习模型的超参数调优方法，主要是深度学习模型训练的超参数调优方法。
背景技术
目前深度学习模型的超参数调整方法主要是通过网格搜索方法对超参数进行搜索。在深度学习模型训练过程中，每一次超参数的调整，都需要耗费大量算力对模型重新进行训练，同时也需要更长的时间去等待超参数调节后的结果来进行验证。目前，越来越多的模型使用经验的方式固定超参数，不断增加正则化损失来提高测试集上的性能，或者在训练过程中同时观测测试集上损失，当损失开始增加时停止训练。但是上述两种方式都没有对训练数据进行充分利用。
发明内容
本发明旨在解决深度学习模型中超参数调节的训练效率问题。提供一种深度学习模型的超参数调优方法。
本发明的实施方法首先对文本数据进行标注，其次构建深度学习模型，然后通过增加模型深度的方式使得模型在训练集上对数据过拟合，利用过拟合模型来保证对训练数据充分利用，并逐步减少模型深度来微调模型，最后根据测试集上的表现选择最优的模型深度。
本发明解决其技术问题所采用的技术方案如下：
步骤1：文本数据的预处理，对文本数据进行标注；
步骤2：构建深度学习模型；
步骤3：对深度学习模型进行训练，通过增加模型深度的方式使得模型在训练集上对数据过拟合，利用过拟合模型来保证对训练数据充分利用，并逐步减少模型深度来微调模型，最后根据测试集上的表现选择最优的模型深度；
步骤4、模型预测；
对需要预测的文本内容，利用步骤3训练好的深度学习模型，得到文本数据标记的预测值，可以说明文本内容与业务的相关程度。
所述的步骤1具体实现如下：
1-1.收集文本数据集X＝{x1,x2,…xN}，N为总的训练样本数量；其中，xi∈{x1,x2,…xN}，xi表示第i个待处理的文本数据；
1-2.利用人工对文本数据进行标记，针对文本数据集中每一个文本数据xi，标记对应的yi，yi∈{0,1}；标记文本数据的目的在于根据业务需要利用人工经验对文本数据进行分析，其中，1表示和业务相关，0表示不相关；
1-3.利用Jieba分词器对文本数据集X进行分词，汇总得到所有文本数据的词表W，W＝{w1,w2…,wD}，其中D为词表的总长度；wk表示词表中第k个词；则文本数据xi可以表示为
Figure BDA0002255919930000021
其中kn表示文本数据xi中第n个词在词表W中的序号，从而可用词表序号重新表示文本数据xi＝{k1,k2…,kn}。
所述的步骤2具体实现如下：
2-1.对文本数据
Figure BDA0002255919930000022
的长度进行固定；
当文本数据的长度小于预设的固定长度时，使用“PAD”进行填充达到固定长度；
当文本数据的长度大于预设的固定长度时，丢弃超过预设的固定长度的部分；
如果文本数据中的词不在词表W中，使用“UNK”代替；
2-2.建立每个词的embedding向量；将词表W中的所有词转化为预设的固定长度的稠密向量，比如用128维向量；
2-3.获取一维卷积block；使用多个不同宽度的卷积核同时对embedding向量进行卷积；将每个卷积核的卷积结果进行拼接，得到一维卷积block，每次卷积后保证序列长度不变；
2-4.多次叠加一维卷积；
利用2-3定义的一维卷积block对wide特征进行处理，得到新的embedding向量，在每次卷积后使用窗口大小为4，步长为4的最大池化；每一次最大池化操作后长度缩小1/4；反复进行4次卷积和最大池化操作；获取最终序列长度变为64，特征长度为8；
2-5.文本表示；将序列长度为64，特征长度为8的向量拉直成一个序列长度为512维的向量，得到整个文本序列的512维特征向量的表示；
2-6.构建损失函数；使用全连接层将512维特征向量映射成2维的向量，再通过softmax函数，得到两个文本数据标注yi的预测概率值；构建损失函数为：
loss＝yilogpi+(1-yi)log(1-pi)；
其中，yi为文本数据标记，pi为文本数据标记yi的预测概率值，i为数据标记的索引，表示第i个文本数据。
所述的步骤3具体实现如下：
3-1.利用梯度下降算法，求解步骤2-6中的损失函数，使得其最小化来训练模型；
3-2.利用上述深度学习模型对测试集上数据进行测试，如果测试集上的损失函数值和训练集上的损失函数值的拟合相对误差小于5％，则跳转到步骤2-4，并增加一个卷积block，然后重新执行步骤2-4到3-1；直到深度学习模型在训练集上的损失函数值比测试集上的损失函数值的拟合相对误差大于等于5％，即模型达到过拟合状态，则进入步骤3-3；
测试集上的损失函数为
Figure BDA0002255919930000031
训练集上的损失函数为
Figure BDA0002255919930000032
拟合相对误差为
Figure BDA0002255919930000033
其中，Dtrain表示训练样本集，Ddev表示测试集，n表示n个卷积block；
3-3.以步骤3-2中训练的模型参数为初始值，再跳转到步骤2-4，去掉最顶层的卷积block，然后继续训练模型，执行步骤2-4到3-1后跳过步骤3-2，直接进入步骤3-3；
3-4.如果测试集上的损失函数值和训练集上的损失函数值的拟合相对误差大于等于5％，则跳转到步骤3-3；如果测试集上的损失函数值和训练集上的损失函数值的拟合相对误差小于5％，则模型训练完成。
本发明有益效果如下：
本发明能够有效检验深度学习模型架构选择的正确性，如果无法实现过拟合，说明该模型不能对数据进行建模。
在过拟合数据的过程中，越接近输出层，其数据加工越严重，其泛化性能越低。因为在越偏底层的数据中包含了更多的原始信息，所以模型能过拟合训练数据说明模型包含了训练数据集中所需要的完整信息。通过逐步减小模型，利用过拟合的参数作为初始化可以得到更优的深度学习模型。
不同宽度的卷积核卷积后，可以通过一次卷积block获得不同距离上的信息，这有助于模型提升模型性能，同时减少调整不同卷积核的时间，通过模型学习，自动适应不同的卷积核宽度。
附图说明
图1为本发明整体结构框架；
图2为本发明训练模块的工作流程图；
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
一种深度学习模型的超参数调优方法。
本发明的实施方法首先对文本数据进行标注，其次构建深度学习模型，然后通过增加模型深度的方式使得模型在训练集上对数据过拟合，利用过拟合模型来保证对训练数据充分利用，并逐步减少模型深度来微调模型，最后根据测试集上的表现选择最优的模型深度。
本发明解决其技术问题所采用的技术方案如下：
步骤1：文本数据的预处理。
1-1.收集文本数据集X＝{x1,x2,…xN}，N为总的训练样本数量。其中，xi∈{x1,x2,…xN}，xi表示第i个待处理的文本数据。
1-2.利用人工对文本数据进行标记，针对文本数据集中每一个文本数据xi，标记对应的yi，yi∈{0,1}。标记文本数据的目的在于根据业务需要利用人工经验对文本数据进行分析，其中，1表示和业务相关，0表示不相关。
1-3.利用Jieba分词器对文本数据集X进行分词，汇总得到所有文本数据的词表W，W＝{w1,w2…,wD}，其中D为词表的总长度。wk表示词表中第k个词。则文本数据xi可以表示为
Figure BDA0002255919930000051
其中kn表示文本数据xi中第n个词在词表W中的序号，从而可用词表序号重新表示文本数据xi＝{k1,k2…,kn}。
步骤2：构建深度学习模型。具体过程如下：
2-1.对文本数据
Figure BDA0002255919930000052
的长度进行固定；
当文本数据的长度小于预设的固定长度时，使用“PAD”进行填充达到固定长度。
当文本数据的长度大于预设的固定长度时，丢弃超过预设的固定长度的部分；
如果文本数据中的词不在词表W中，使用“UNK”代替。
比如预设的固定长度为1024个词，如果原始词序列小于1024个，则使用“PAD”进行填充，如果长度超过1024则丢弃超过长度的部分。
2-2.建立每个词的embedding向量。将词表W中的所有词转化为预设的固定长度的稠密向量，比如用128维向量。
2-3.获取一维卷积block。使用多个不同宽度的卷积核同时对embedding向量进行卷积。将每个卷积核的卷积结果进行拼接，得到一维卷积block，每次卷积后保证序列长度不变。
比如使用宽度为1*128，3*128，5*128，7*128的卷积核，同时对embedding向量进行卷积；
2-4.多次叠加一维卷积。
利用2-3定义的一维卷积block对wide特征进行处理，得到新的embedding向量，在每次卷积后使用窗口大小为4，步长为4的最大池化。每一次最大池化操作后长度缩小1/4；反复进行4次卷积和最大池化操作；获取最终序列长度变为64，特征长度为8。
2-5.文本表示。将序列长度为64，特征长度为8的向量拉直成一个序列长度为512维的向量，得到整个文本序列的512维特征向量的表示。
2-6.构建损失函数。使用全连接层将512维特征向量映射成2维的向量，再通过softmax函数，得到两个文本数据标注yi的预测概率值。构建损失函数为：
loss＝yilogpi+(1-yi)log(1-pi)。
其中，yi为文本数据标记，pi为文本数据标记yi的预测概率值，i为数据标记的索引，表示第i个文本数据。
步骤3：模型训练。
3-1.利用梯度下降算法，求解步骤2-6中的损失函数，使得其最小化来训练模型。
3-2.利用上述深度学习模型对测试集上数据进行测试，如果测试集上的损失函数值和训练集上的损失函数值的拟合相对误差小于5％，则跳转到步骤2-4，并增加一个卷积block，然后重新执行步骤2-4到3-1。直到深度学习模型在训练集上的损失函数值比测试集上的损失函数值的拟合相对误差大于等于5％，即模型达到过拟合状态，则进入步骤3-3。
测试集上的损失函数为
Figure BDA0002255919930000061
训练集上的损失函数为
Figure BDA0002255919930000062
拟合相对误差为
Figure BDA0002255919930000063
其中，Dtrain表示训练样本集，Ddev表示测试集，n表示n个卷积block。
3-3.以步骤3-2中训练的模型参数为初始值，再跳转到步骤2-4，去掉最顶层的卷积block，然后继续训练模型，执行步骤2-4到3-1后跳过步骤3-2，直接进入步骤3-3。
3-4.如果测试集上的损失函数值和训练集上的损失函数值的拟合相对误差大于等于5％，则跳转到步骤3-3；如果测试集上的损失函数值和训练集上的损失函数值的拟合相对误差小于5％，则模型训练完成。
步骤4、模型预测。
对需要预测的文本内容，利用步骤3训练好的深度学习模型，得到文本数据标记yi的预测值，可以说明文本内容与业务的相关程度。
本发明包括2个部分，如图1所示，其中，第一个模块为数据整理，主要是收集和清洗与任务相关的数据。第二个模块为模型训练，根据训练数据完成给定任务的训练。
本发明的核心训练模块包含两个阶段，如图2所示：第一个阶段为过拟合训练模块，通过构建一个参数量比较大的模型对训练数据过拟合，然后将过拟合的较低层参数共享给微调阶段。第二个模块为微调阶段，其结合过拟合模型的底层参数，以及部分随机初始化的参数，通过在测试集上的最优表现选取得到最优的结构。并且，需要注意的是微调阶段使用的模型要比过拟合阶段使用的模型参数量小得多。

Claims (1)

1.一种深度学习模型的超参数调优方法，其特征在于包括如下步骤：
步骤1：文本数据的预处理，对文本数据进行标注；
步骤2：构建深度学习模型；
步骤3：对深度学习模型进行训练，通过增加模型深度的方式使得模型在训练集上对数据过拟合，利用过拟合模型来保证对训练数据充分利用，并逐步减少模型深度来微调模型，最后根据测试集上的表现选择最优的模型深度；
步骤4、模型预测；
对需要预测的文本内容，利用步骤3训练好的深度学习模型，得到文本数据标记的预测值；
步骤1具体实现如下：
1-1.收集文本数据集X＝{x1,x2,…xN}，N为总的训练样本数量；其中，xi∈{x1,x2,…xN}，xi表示第i个待处理的文本数据；
1-2.利用人工对文本数据进行标记，针对文本数据集中每一个文本数据xi，标记对应的yi，yi∈{0,1}；标记文本数据的目的在于根据业务需要利用人工经验对文本数据进行分析，其中，1表示和业务相关，0表示不相关；
1-3.利用Jieba分词器对文本数据集X进行分词，汇总得到所有文本数据的词表W，W＝{w1,w2…,wD}，其中D为词表的总长度；wk表示词表中第k个词；则文本数据xi可以表示为
Figure FDA0003424163970000011
其中kn表示文本数据xi中第n个词在词表W中的序号，从而可用词表序号重新表示文本数据xi＝{k1,k2…,kn}；
步骤2具体实现如下：
2-1.对文本数据
Figure FDA0003424163970000012
的长度进行固定；
当文本数据的长度小于预设的固定长度时，使用“PAD”进行填充达到固定长度；
当文本数据的长度大于预设的固定长度时，丢弃超过预设的固定长度的部分；
如果文本数据中的词不在词表W中，使用“UNK”代替；
2-2.建立每个词的embedding向量；将词表W中的所有词转化为预设的固定长度的稠密向量，优选用128维向量；
2-3.获取一维卷积block；使用多个不同宽度的卷积核同时对embedding向量进行卷积；将每个卷积核的卷积结果进行拼接，得到一维卷积block，每次卷积后保证序列长度不变；
2-4.多次叠加一维卷积；
利用2-3定义的一维卷积block对wide特征进行处理，得到新的embedding向量，在每次卷积后使用窗口大小为4，步长为4的最大池化；每一次最大池化操作后长度缩小1/4；反复进行4次卷积和最大池化操作；获取最终序列长度变为64，特征长度为8；
2-5.文本表示；将序列长度为64，特征长度为8的向量拉直成一个序列长度为512维的向量，得到整个文本序列的512维特征向量的表示；
2-6.构建损失函数；使用全连接层将512维特征向量映射成2维的向量，再通过softmax函数，得到两个文本数据标注yi的预测概率值；构建损失函数为：
loss＝yilog pi+(1-yi)log(1-pi)；
其中，yi为文本数据标记，pi为文本数据标记yi的预测概率值，i为数据标记的索引，表示第i个文本数据；
步骤3具体实现如下：
3-1.利用梯度下降算法，求解步骤2-6中的损失函数，使得其最小化来训练模型；
3-2.利用上述深度学习模型对测试集上数据进行测试，如果测试集上的损失函数值和训练集上的损失函数值的拟合相对误差小于5％，则跳转到步骤2-4，并增加一个卷积block，然后重新执行步骤2-4到3-1；直到深度学习模型在训练集上的损失函数值比测试集上的损失函数值的拟合相对误差大于等于5％，即模型达到过拟合状态，则进入步骤3-3；
测试集上的损失函数为
Figure FDA0003424163970000031
训练集上的损失函数为
Figure FDA0003424163970000032
拟合相对误差为
Figure FDA0003424163970000033
其中，Dtrain表示训练样本集，Ddev表示测试集，n表示n个卷积block；
3-3.以步骤3-2中训练的模型参数为初始值，再跳转到步骤2-4，去掉最顶层的卷积block，然后继续训练模型，执行步骤2-4到3-1后跳过步骤3-2，直接进入步骤3-3；
3-4.如果测试集上的损失函数值和训练集上的损失函数值的拟合相对误差大于等于5％，则跳转到步骤3-3；如果测试集上的损失函数值和训练集上的损失函数值的拟合相对误差小于5％，则模型训练完成。
CN201911053421.XA 2019-10-31 2019-10-31 一种深度学习模型的超参数调优方法 Active CN110866118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911053421.XA CN110866118B (zh) 2019-10-31 2019-10-31 一种深度学习模型的超参数调优方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911053421.XA CN110866118B (zh) 2019-10-31 2019-10-31 一种深度学习模型的超参数调优方法

Publications (2)

Publication Number Publication Date
CN110866118A CN110866118A (zh) 2020-03-06
CN110866118B true CN110866118B (zh) 2022-02-18

Family

ID=69654722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911053421.XA Active CN110866118B (zh) 2019-10-31 2019-10-31 一种深度学习模型的超参数调优方法

Country Status (1)

Country Link
CN (1) CN110866118B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613318B (zh) * 2020-12-31 2022-10-14 上海交通大学 实体名称归一化系统及其方法、计算机可读介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910185B (zh) * 2017-01-13 2019-01-01 陕西师范大学 一种基于cnn深度学习的dbcc分类模型构建方法
US11080764B2 (en) * 2017-03-14 2021-08-03 Adobe Inc. Hierarchical feature selection and predictive modeling for estimating performance metrics
CN109472274B (zh) * 2017-09-07 2022-06-28 富士通株式会社 深度学习分类模型的训练装置和方法

Also Published As

Publication number Publication date
CN110866118A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN111414942B (zh) 一种基于主动学习和卷积神经网络的遥感图像分类方法
CN110209823B (zh) 一种多标签文本分类方法及系统
CN111897908B (zh) 融合依存信息和预训练语言模型的事件抽取方法及系统
CN108170736B (zh) 一种基于循环注意力机制的文档快速扫描定性方法
CN111145181B (zh) 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN113674334B (zh) 基于深度自注意力网络和局部特征编码的纹理识别方法
CN111461025B (zh) 一种自主进化的零样本学习的信号识别方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN104966105A (zh) 一种鲁棒机器错误检索方法与系统
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN110188827B (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN109871379B (zh) 一种基于数据块学习的在线哈希最近邻查询方法
CN111126401A (zh) 一种基于上下文信息的车牌字符识别方法
CN114742211B (zh) 一种面向微控制器的卷积神经网络部署和优化方法
CN112507114A (zh) 一种基于词注意力机制的多输入lstm_cnn文本分类方法及系统
CN115049952A (zh) 一种基于多尺度级联感知深度学习网络的幼鱼肢体识别方法
CN110866118B (zh) 一种深度学习模型的超参数调优方法
CN115457332A (zh) 基于图卷积神经网络和类激活映射的图像多标签分类方法
CN117253122B (zh) 玉米种子近似品种筛选方法、装置、设备及存储介质
CN114299326A (zh) 一种基于转换网络与自监督的小样本分类方法
CN117333887A (zh) 一种基于深度学习的甲骨文字体分类方法
CN116521863A (zh) 一种基于半监督学习的标签抗噪文本分类方法
CN113192076B (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
CN113011163A (zh) 基于深度学习模型的复合文本多分类方法及系统
CN114067165A (zh) 一种含噪声标记分布的图像筛选和学习方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231109

Address after: Room 219, West Zone, Building A, No. 525 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province, 310000

Patentee after: Hangzhou Shentu Intelligent Technology Co.,Ltd.

Address before: Room 5558, Building C, No. 525 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province, 310000

Patentee before: Hangzhou Qibeijia Information Technology Co.,Ltd.

Effective date of registration: 20231109

Address after: Room 5558, Building C, No. 525 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province, 310000

Patentee after: Hangzhou Qibeijia Information Technology Co.,Ltd.

Address before: 310018 No. 2 street, Xiasha Higher Education Zone, Hangzhou, Zhejiang

Patentee before: HANGZHOU DIANZI University

TR01 Transfer of patent right