CN109446332A - 一种基于特征迁移和自适应学习的人民调解案例分类系统及方法 - Google Patents
一种基于特征迁移和自适应学习的人民调解案例分类系统及方法 Download PDFInfo
- Publication number
- CN109446332A CN109446332A CN201811590326.9A CN201811590326A CN109446332A CN 109446332 A CN109446332 A CN 109446332A CN 201811590326 A CN201811590326 A CN 201811590326A CN 109446332 A CN109446332 A CN 109446332A
- Authority
- CN
- China
- Prior art keywords
- data
- people
- mediation
- auxiliary
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 24
- 238000013508 migration Methods 0.000 title claims abstract description 21
- 230000005012 migration Effects 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 claims abstract description 35
- 239000000284 extract Substances 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 238000013480 data collection Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000013526 transfer learning Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000004321 preservation Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims 1
- 238000013145 classification model Methods 0.000 abstract description 3
- 230000007423 decrease Effects 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Technology Law (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于特征迁移和自适应学习的人民调解案例分类系统及方法，本发明系统包括数据采集模块、特征提取模块、特征迁移模块、网络训练模块，系统结构简单，应用范围广；本发明方法包括构造字符向量表，辅助数据向量化处理，人民调解数据向量化处理，将向量化后的辅助数据输入到神经网络中，提取辅助数据特征，将提取的辅助数据通用特征迁移到新的神经网络中，向量化后的人民调解数据输入到此神经网络中，训练分类模型。本发明方法可以有效的对所有文本进行转换，不会忽略低频词，维度下降明显，训练速度快，便于后续的在线迭代优化；同时解决了人民调解领域与辅助领域之间的差异性，满足了特定领域的个性化需求。
Description
技术领域
本发明涉及数据处理分类技术领域，尤其涉及一种基于特征迁移 和自适应学习的人民调解案例分类系统及方法。
背景技术
目前，我国每年调解纠纷900多万件，现有的纠纷类型却只有 20多类，随着经济社会的发展，案件的数量增加和案件的类型呈现 出多样化，如何快速的将案件进行准确的分类并及时增添新的案件类 型，提高调解工作的效率，是人民调解工作面临的严峻问题。当前人 民调解案件类型存在以下不足：1、已存的案件类型数目少，无法涵 盖所有纠纷；2、不能及时将新增的纠纷类型与已存的纠纷类型区分 开；3、现存的纠纷类型下子目未细化，不能准确体现出纠纷要点。
人民调解案件类型细分种类繁多，文本分类技术可以帮助人们准 确地从海量数据中提取类型特征实现自动分类功能。现有的人民调解 数据主要以短文本为主，短文本存在稀疏性、实时性、海量性和不规 范性等特点。短文本的这些特点使文本分类面临以下难点：1、短文 本特征词少，用传统的基于词条的向量空间模型表示，会造成向量空 间的稀疏，另外词频、词共现频率等信息不能得到充分利用，会丢失 掉词语间潜在的语义关联关系；2、短文本的不规范性，使文本中出 现不规则特征词和分词词典无法识别的未登录词，导致传统文本预处 理和文本表示方法不够准确；3、短文本数据的规模巨大，在分类算 法的选择上往往更倾向于非惰性的学习方法，惰性的学习方法会造成 过高的时间复杂度。
随着短文本数据的大量产生，人们针对短文本的分类技术做了大 量探索和实践。但在人民调解领域(专业性强的短文本)中该技术的 应用仍属空白。专利申请号CN201710686945.7提出了一种组合类降 维算法和加权欠采样SVM算法相结合的短文本分类方法，解决了文本 分类中高纬度稀疏性和类别不平衡的问题，但在多分类准确度上效果不佳。专利申请号CN201510271672.0公开了一种基于卷积神经网络 的短文本分类方法，通过预训练的词表示向量对短文本进行语义扩 展，利用卷积神经网络提取定长的语义特征向量，使其语义特征向量 化表示得到进一步增强，并最终使其分类任务的性能得以改善。但该 方法在垂直领域，很难根据外部辅助数据对语料进行扩充。
发明内容
本发明为克服上述的不足之处，目的在于提供一种基于特征迁移 和自适应学习的人民调解案例分类系统及方法，本发明系统包括数据 采集模块、特征提取模块、特征迁移模块、网络训练模块，系统结构 简单，应用范围广；本发明方法包括构造字符向量表，辅助数据向量 化处理，人民调解数据向量化处理，将向量化后的辅助数据输入到神 经网络中，提取辅助数据特征，将提取的辅助数据通用特征迁移到新 的神经网络中，向量化后的人民调解数据输入到此神经网络中，训练 分类模型。本发明方法可以有效的对所有文本进行转换，不会忽略低 频词，维度下降明显，训练速度快，便于后续的在线迭代优化；同时 解决了人民调解领域与辅助领域之间的差异性，满足了特定领域的个 性化需求。
本发明是通过以下技术方案达到上述目的：一种基于特征迁移和 自适应学习的人民调解案例分类系统，包括：数据采集模块、特征提 取模块、特征迁移模块、网络训练模块；所述的数据采集模块用于采 集人民调解数据与辅助数据，并对采集得到的人民调解数据与辅助数 据进行数据清洗、去重预处理操作，形成辅助数据集和人民调解数据 集；特征提取模块，采用卷积神经网络提取辅助数据特征和人民调解 数据特征，并对特征进行卷积运算获取人民调解数据特定的特征；特 征迁移模块用于将辅助数据通用特征迁移到新的神经网络中，将其应 用在人民调解案例分类中；网络训练模块用于对卷积神经网络的训练，获得最终的训练模型。
一种基于特征迁移和自适应学习的人民调解案例分类方法，包括 如下步骤：
(1)收集人民调解数据与辅助数据，并对人民调解数据和辅助数据 进行预处理得到辅助数据集A、人民调解数据集B；
(2)构造字符向量表，对辅助数据进行向量化处理，将向量化后的 辅助数据输入到卷积神经网络中，提取辅助数据特征；同时对卷积神 经网络重新训练获得辅助领域模型，并将辅助领域模型的网络结构图 保存为.meta文件，网络参数保存为.checkpoint文件；
(3)利用迁移学习技术将提取的辅助数据特征迁移到新的神经网络 中；其中，该新神经网络为基于辅助领域模型的网络图重建的神经网 络，并在该新神经网络中决定自适应层；
(4)对人民调解数据进行向量化处理，将向量化后的人民调解数据 输入到步骤(3)得到的卷积神经网络中，提取人民调解数据特定的 特征，并训练分类器模型，得到并保存最终的人民调解分类模型；采 用该人民调解分类模型对人民调解案例进行分类。
作为优选，所述步骤(1)具体如下：
(1.1)收集辅助数据：收集与领域相关的长文本数据作为辅助领域数 据；
(1.2)收集人民调解数据：收集近年的人民调解数据，根据专家经验 将人民调解数据打上小类标签；
(1.3)数据清洗：将收集的辅助数据进行清洗，删除文本中的干扰字 符，删除过短的数据；将收集的人民调解数据进行清洗，删除质量差 和过短的数据，删除文本中的干扰字符；
(1.4)数据去重：基于清洗后的数据，采用余弦夹角算法、欧式距离、 Jaccard相似度、最长公共子串、编辑距离方法中的任意一种或多种 方法删除重复和相似数据；
(1.5)将清洗和去重后的数据存入到数据仓库中，获得辅助数据集A、 人民调解数据集B。
作为优选，所述步骤(2)具体如下：
(2.1)构造字符向量表：将辅助数据集A和人民调解数据集B的文本 切分成单个字符，每个字符赋予一个ID；对字符集构造字符向量表；
(2.2)文本嵌入：假设一个文本的字符序列为[s1,s2,s3,…,sn]，sn为文本 中第n个字符，则根据字符序列和字符向量表构造文本向量为 [e1,e2,e3,…,en]，其中en对应的是sn的ID；利用WordEmbedding函数给 每个字符分配一个固定长度为m的向量表示，辅助数据集A文本嵌入 后最终输出文本向量空间I∈R|L|×|n*m|,m为字符向量长度，L为辅助数据 集A的总数；
(2.3)将输出的文本向量空间I输入到卷积计算层中，其中卷积计 算层(共K层)；第一层卷积层：利用滤波器对文本矩阵做卷积计算， 若滤波器大小为h×m，其中h为卷积核窗口中的字符数量，则卷积操 作后输出特征ti为：
ti＝f(W·Si:i+h-1+b)
其中b∈R为偏差项，W∈Rh×m为卷积核的权重矩阵，f是卷积核函数； 该滤波器应用于一个文本{S1:h,S2:h+1,…,Sn-h+1}得到特征T为：
T＝[t1,t2,t3,t4,…,tn-h+1]
其中t∈Rn-h+1；同理得第K层卷积得到的特征为T'＝[t′1,t'2,…,t'n-Kh+K]； 通过max-pooling池化层对特征进行下采样，保留最重要的特征
则全连接层的特征向量V为：
其中k为卷积核的个数；通过Softmax层进行归一化；
(2.4)基于辅助数据集A对卷积神经网络重新训练获得辅助领域模 型，并将辅助领域模型的网络结构图保存为.meta文件，网络参数保 存为.checkpoint文件。
作为优选，所述步骤(2.4)在训练过程中，基于交叉熵训练目 标函数，即采用的训练目标函数是最小化目标概率分布和实际概率分 布的交叉熵，其中训练目标函数J(θ)的定义式为：
其中，l是训练样本数目，α是正则化因子，是样本xi的正确类别； 基于所述的训练目标函数，通过梯度下降算法计算样本的误差，并使 用反馈传播的方式更新网络结构的超参数的集合θ，更新公式为：
其中，λ是学习率。
作为优选，所述训练得到辅助领域模型的方法为：
(i)将辅助数据集A划分为P等份，依次抽取若干等份数据作为训 练集，剩下的若干等份数据作为验证集，进行交叉验证，将平均值作 为辅助数据集A的准确度，准确度最高的一次训练模型保存下来，作 为模型M1；
(ii)利用混淆矩阵，错分矩阵记录模型M1预测辅助数据集A类别 混淆的数据和每个类别错分的次数，分析后若发现存在数据质量问题 则进一步进行半人工清洗数据，清洗后作为数据集D；其中混淆矩阵 的每一列代表预测值，每一行代表的是实际的类别；
(iii)数据集D根据卷积神经网络重新训练，输出分类结果较好的 辅助领域模型。
作为优选，所述步骤(3)利用迁移学习技术迁移辅助数据特征 的具体步骤如下：
(3.1)构造网络图：根据保存的.meta文件重建神经网络,网络层分 别为嵌入层embedding，卷积层(共K层)，池化层gmp，全连接层 fc1、fc2，sofmax层；
(3.2)决定自适应层：人民调解数据在辅助领域模型网络层逐层固 定的状态下进行迁移学习，依次获得K+3个模型精确度，第一次精确 度下降时，神经网络开始人民调解数据自适应学习，故此神经网络的 前q层为辅助领域模型的通用特征提取层；
(3.3)特征迁移：根据保存的.checkpoint文件初始化参数，将辅 助领域模型通用特征层(前q层)迁移到步骤(3.1)重建输出的神 经网络中。
作为优选，所述在特征迁移过程中，判断辅助数据数据集A与人 民调解数据集B的类别数量是否一致：如果两者类别数量一致，则根 据保存的.checkpoint文件将模型参数初始化；如果两者类别数量不 一致，则根据保存的.checkpoint文件，更新softmax参数，并将模 型参数初始化。
作为优选，所述步骤(4)具体如下：
(4.1)根据字符向量表对人民调解数据集B进行向量化处理，将向 量化后的人民调解数据输入到步骤(3)输出的神经网络中，前q层 提取了人民调解数据与辅助数据共有特征对共有特征卷积计算 得到人民调解数据特征T，初始化q到K+3-q层神经网络权重，提取 人民调解数据特定的特征，训练分类器模型；
(4.2)反复迭代循环训练网络至损失值不再减小为止，得到并保存 最终的人民调解分类模型；，可作为下次迁移学习的辅助领域模型； 最后，采用该人民调解分类模型对人民调解案例进行分类。
作为优选，所述辅助数据，是指裁判文书数据。
本发明的有益效果在于：(1)本发明采用字符级卷积神经网络文 本分类方法，能有效的对所有文本进行转换，不会忽略低频词，维度 下降明显，训练速度快，便于后续的在线迭代优化；(2)本发明采用 迁移学习方法可以将辅助领域数据的通用特征迁移到人民调解数据 特征上，解决了短文本特征提取困难的问题，同时提高模型的泛化能 力；(3)本发明采用深层卷积神经网络，进行自适应的学习，解决了 人民调解领域与辅助领域之间的差异性，满足特定领域的个性化需 求；(4)本发明实现的技术方案针对人民调解领域具有一定的灵活性， 人民调解纠纷是不断演变的，对于后续出现的新纠纷，本发明能够快 速的迁移和应用。
附图说明
图1是本发明方法的流程示意图；
图2是本发明实施例的字符向量表示意图；
图3是本发明实施例中给每个字符分配固定长度为m＝128的向量表 示的结果示意图；
图4是本发明采用的的混淆矩阵示例图；
图5是本发明迁移学习的的框架流程图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护 范围并不仅限于此：
实施例：一种基于特征迁移和自适应学习的人民调解案例分类系 统，包括：数据采集模块、特征提取模块、特征迁移模块、网络训练 模块；所述的数据采集模块用于采集人民调解数据与辅助数据，并对 采集得到的人民调解数据与辅助数据进行数据清洗、去重预处理操 作，形成辅助数据集和人民调解数据集；特征提取模块，采用卷积神 经网络提取辅助数据特征和人民调解数据特征，并对特征进行卷积运 算获取人民调解数据特定的特征；特征迁移模块用于将辅助数据通用 特征迁移到新的神经网络中，将其应用在人民调解案例分类中；网络 训练模块用于对卷积神经网络的训练，获得最终的训练模型。
如图1所示，一种基于特征迁移和自适应学习的人民调解案例分 类方法，包括如下步骤：
(1)人民调解数据和辅助数据预处理：
(1.1)收集辅助数据：收集与领域相关的数据(长文本)作为辅 助领域数据；本实施例采集了近10万条的裁判文书数据作为辅助数 据，其中裁判文书类型为20类。
(1.2)收集人民调解数据：本实施例采集了近3年人民调解案件6 万余条，根据专家经验将人民调解案件打上小类标签，小类标签共计 88类。
(1.3)数据清洗：将收集的辅助领域数据进行清洗，删除文本中 的干扰字符，删除过短的数据；将收集的人民调解数据进行清洗，删 除质量差和过短的数据，删除文本中的干扰字符。本实施例利用正则 表达式删除裁判文书数据中时间、日期、数字、特殊符号(\n,*)等干 扰字符，删除裁判文书数据中内容小于30字符的数据；利用专家判 断删除人民调解案件类型不明确的数据，利用正则表达式删除人民调 解数据中时间、日期、身份证号、地址、联系电话、银行卡号等干扰 字符，删除人民调解数据中内容小于15字符的数据。
(1.4)数据去重：根据步骤(1.3)清洗后的数据，可用余弦夹角 算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等方法 删除重复和相似的数据，本实施例采用Jaccard相似度算法删除裁判 文书中相似系数大于0.8的数据，以及人民调解案件中相似系数大于 0.9的数据。
(1.5)将清洗和去重后的数据存入到数据仓库中，获得裁判文书 数据集A与人民调解数据集B。
(2)利用卷积神经网络提取辅助领域特征：
(2.1)构造字符向量表：将裁判文书数据集A和人民调解数据集B 的句子切分成单个字符，字符去重复，一行一个字符保存在vocab.txt 文件，行号就是每个字符的ID；在本实施例中，C＝5000为数据中所 用的字符集(包括不在字符向量表里的未知字符<PAD>填充),构造一 个字符向量表如图2所示：
(2.2)文本嵌入：在本实施例中，将每条数据固定长度设为300， 大于300的数据会被截断，小于300的数据填充统一的字符<PAD>。 假设一个文本的字符序列为[s1,s2,s3,…,sn](0≤n≤300)，sn为文本中第n 个字符，则根据字符序列和字符向量表构造文本向量为[e1,e2,e3,…,en]， 其中en对应的是sn的ID,利用WordEmbedding矩阵给每个字符分配一 个固定长度为m＝128的向量表示，如图3所示，则文本向量空间为 S∈R300×128。以此类推，对于裁判文书数据集A文本嵌入最终输出文本 向量空间I∈R|L|×|300*128|,L为裁判文书数据集A的总数。
(2.3)本发明所使用的网络结构如下表1所示：
| 名称 | embedding | filter | kernel size | hidden_dim | out size |
| Embedding | 128 | [300×128] | |||
| Conv1 | 256 | 3×128 | 128 | [298×1×256] | |
| Conv2 | 256 | 3×128 | 128 | [296×1×256] | |
| Conv3 | 256 | 3×128 | 128 | [294×1×256] | |
| Conv4 | 256 | 3×128 | 128 | [292×1×256] | |
| Conv5 | 256 | 3×128 | 128 | [290×1×256] | |
| MaxPool | [256×1] | ||||
| Dropout | [256×1] | ||||
| Fc | [20×1]或[88×1] | ||||
| Softmax | [20×1]或[88×1] |
表1
根据步骤(2.2)输出的文本向量空间I通过卷积计算层(共K层) 进行卷积计算，
第一层卷积层：利用滤波器对文本矩阵做卷积计算，若滤波器大小为 h×m，其中h为卷积核窗口中的字符数量，则卷积操作后输出特征ti为：
ti＝f(W·Si:i+h-1+b)
其中b∈R为偏差项，W∈Rh×m为卷积核的权重矩阵，f是卷积核函数； 该滤波器应用于一个文本{S1:h,S2:h+1,…,Sn-h+1}得到特征T为：
T＝[t1,t2,t3,t4,…,tn-h+1]
其中t∈Rn-h+1；同理得第K层卷积层得到的特征通过max-pooling池化层对特征进行下采样，保留最重要的特征
则全连接层的特征向量V为：
其中k为卷积核的个数；通过Softmax层进行归一化，Softmax函 数形式如下：
其中，xi是所述输入短文本，zj是第j个类别，θ是所述卷积神经 网络中需要估计的超参数集合，Z是训练样本预定义的类别集合， ∮j(xi，θ)是所述网络结构对样本xi在类别zj上的评分，即通过多类逻辑 斯特回归分类器将所述评分映射为关于所有预定义类别的概率分布 向量，该概率向量的维度与所述预定义的类别集合大小一致。
本实施例经过多轮测试，当卷积层数为五层、卷积核窗口中的字 符数量h＝3时效果最佳，生成特征T'为：
T'＝[t′1,t'2,…,t'290]
其中，t'∈R290；使用max-pooling池化层从每个向量中取出最大 值，最大值代表着最重要的信号，这种Pooling方式可以解决可变长 度的句子输入问题，最终池化层的输出为卷积计算层中的最大值。
为了防止梯度消失，本实施例在全连接第一层引入Relu激活函 数，经过测试，Relu得到的SGD的收敛速度会比sigmoid/tanh快很 多，它的数学表达式如下所示：
f(x)＝1(x＜0)(ax)+1(x＞＝0)(x)
其中a是一个很小的常数。这样既修正了数据分布，又保留了一 些负轴的值，使得负轴信息不会全部丢失；同时为了防止模型过拟合， 本实施例引入Dropout技术，经过交叉验证，隐含节点dropout率等 于0.5的时候效果最好，0.5的时候dropout随机生成的网络结构最 多。在全连接第二层使用Softmax进行归一化，显示裁判文书在20 类上的概率分布。
(2.4)基于辅助数据集A对卷积神经网络重新训练获得辅助领 域模型，并将辅助领域模型的网络结构图保存为.meta文件，网络参 数保存为.checkpoint文件。
在循环迭代训练过程中，本实施例采用的训练目标函数是最小化 目标概率分布和实际概率分布的交叉熵，训练目标函数J(θ)的定义式 为：
其中，l是训练样本数目，α是正则化因子，是样本xi的正确类别。 基于所述训练目标函数，通过梯度下降算法计算批量样本的误差，并 使用反馈传播(Back Propagation，BP)的方式更新所述网络结构的 超参数的集合θ，具体的更新公式为：
其中，λ是学习率，本实施例中经过测试当α＝0.3，λ＝1×e-3时效 果最佳。
(2.5)将裁判文书数据集A划分10等份，依次抽取9等份数据 作为训练集，1等份数据作为验证集，进行交叉验证，将平均值作为 裁判文书数据集A的准确度，准确度最高的一次训练模型保存下来， 作为模型M1。
(2.6)利用混淆矩阵(矩阵的每一列代表预测值，每一行代表的 是实际的类别)，错分矩阵记录模型M1预测裁判文书数据集A类别混 淆的数据和每个类别错分的次数，分析后发现存在数据质量问题(如： 裁判文书类别标注错误，裁判文书类别不明确)，进一步进行半人工 清洗数据作为裁判文书数据集D，混淆矩阵如图4所示。
(2.7)数据集D根据卷积神经网络重新训练，输出分类结果较好 (准确度大于90％)的裁判文书模型，此模型作为辅助领域模型M2。
(2.8)将模型M2的网络图保存为my_model.meta，网络参数保存 为my_model.checkpoint。
(3)利用迁移学习技术，将辅助数据通用特征应用在人民调解案 例分类中，流程如图5所示：
(3.1)构造网络图：根据保存的my_model.meta文件，重建神经 网络(与裁判文书数据神经网络结构相同),网络层分别为嵌入层 embedding，卷积层Conv1、Conv2、Conv3、Conv4、Conv5，池化层 gmp，全连接层fc1、fc2，sofmax层。
(3.2)决定自适应层：人民调解数据在辅助模型网络层逐层固定 的状态下，进行迁移学习，依次获得8个模型精确度，第一次精确度 下降时，网络开始了人民调解数据自适应学习，故此网络的前q层为 辅助模型的通用特征提取层。在本实施例中，对模型M2的Conv1,Conv2,Conv3，Conv4,Conv5，gmp，fc1，fc2逐层进行微调实 验，得出前三层模型M2学习到的是通用的特征，随着网络层次的加 深，后面的网络更偏重于裁判文书领域的特征，即本实施例将模型M2参数Conv1,Conv2,Conv3迁移到此神经网络中，Conv4,Conv5，gmp，fc1，fc2，softmax初始化不加载。
(3.3)判断裁判文书数据集A与人民调解数据集B的类别数量是 否一致：如果两者类别数量一致，则执行步骤(3.4)；如果两者类别 数量不一致，则执行步骤(3.5)。
(3,4)根据步骤(2.4)保存的.checkpoint文件将模型参数初 始化，将模型M2参数Conv1,Conv2,Conv3迁移到此神经网络中， Conv4,Conv5，gmp，fc1，fc2，softmax初始化不加载。
(3.5)根据步骤(2.4)保存的.checkpoint文件，更新softmax 参数，模型参数初始化，将模型M2参数Conv1,Conv2,Conv3迁移到 此神经网络中，Conv4,Conv5，gmp，fc1，fc2，softmax初始化不加 载。
(4)利用卷积神经网络特征提取的能力进行自适应学习：
(4.1)根据步骤(2.1)、步骤(2.2)输出的字符向量表对人民 调解数据集B进行向量化处理，将向量化后的人民调解数据输入到步 骤(3)输出的神经网络中，前三层提取了人民调解数据与裁判文书 数据共有特征将共有特征经过2层卷积层(Conv4、Conv5)进行卷积计算，得到人民调解数据特征T，特征T经过max-pooling池 化层提取显著特征，通过全连接层获取最终的人民调解数据特定的特 征，训练分类器模型。
(4.2)反复迭代循环训练网络至损失值不再减小为止，保存人民 调解分类模型，作为下次迁移学习的辅助领域模型。
由于本实施例裁判文书类型数量与人民调解类型数量不一致，故 更新softmax参数(人民调解细分类型数class＝88)，恢复模型M2中 前三层卷积核的权重矩阵，根据步骤(2.1)、步骤(2.2)输出的字 符向量表对人民调解数据集B进行向量化处理，将向量化后的人民调 解数据输入到此卷积神经网络中，提取人民调解数据的特征，训练分 类模型，保存人民调解分类模型M3；采用该人民调解分类模型对人 民调解案例进行分类。
在人民调解信息化推广应用的过程中，会存在以下两种情况：
1、人民调解的数据会越来越多，同时短时间内，纠纷类型不会 发生变化；此时将模型M3的通用特征提取层迁移到新人民调解数据 中，提高分类的准确度。
2、人民调解信息化应用越趋成熟，人民调解的数据会越来越多， 同时可能会出现新的纠纷类型；此时将模型M3的通用特征提取层迁 移到新人民调解数据中，更新softmax参数(新人民调解类型数量)， 避免从头开始训练。
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依 本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附 图所涵盖的精神时，仍应属本发明的保护范围。
Claims (10)
1.一种基于特征迁移和自适应学习的人民调解案例分类方法，其特征在于包括如下步骤：
(1)收集人民调解数据与辅助数据，并对人民调解数据和辅助数据进行预处理得到辅助数据集A、人民调解数据集B；
(2)构造字符向量表，对辅助数据进行向量化处理，将向量化后的辅助数据输入到卷积神经网络中，提取辅助数据特征；同时对卷积神经网络重新训练获得辅助领域模型，并将辅助领域模型的网络结构图保存为.meta文件，网络参数保存为.checkpoint文件；
(3)利用迁移学习技术将提取的辅助数据特征迁移到新的神经网络中；其中，该新神经网络为基于辅助领域模型的网络图重建的神经网络，并在该新神经网络中决定自适应层；
(4)对人民调解数据进行向量化处理，将向量化后的人民调解数据输入到步骤(3)得到的卷积神经网络中，提取人民调解数据特定的特征，并训练分类器模型，得到并保存最终的人民调解分类模型；采用该人民调解分类模型对人民调解案例进行分类。
2.根据权利要求1所述的一种基于特征迁移和自适应学习的人民调解案例分类方法，其特征在于：所述步骤(1)具体如下：
(1.1)收集辅助数据：收集与领域相关的长文本数据作为辅助领域数据；
(1.2)收集人民调解数据：收集近年的人民调解数据，根据专家经验将人民调解数据打上小类标签；
(1.3)数据清洗：将收集的辅助数据进行清洗，删除文本中的干扰字符，删除过短的数据；将收集的人民调解数据进行清洗，删除质量差和过短的数据，删除文本中的干扰字符；
(1.4)数据去重：基于清洗后的数据，采用余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离方法中的任意一种或多种方法删除重复和相似数据；
(1.5)将清洗和去重后的数据存入到数据仓库中，获得辅助数据集A、人民调解数据集B。
3.根据权利要求1所述的一种基于特征迁移和自适应学习的人民调解案例分类方法，其特征在于：所述步骤(2)具体如下：
(2.1)构造字符向量表：将辅助数据集A和人民调解数据集B的文本切分成单个字符，每个字符赋予一个ID；对字符集构造字符向量表；
(2.2)文本嵌入：假设一个文本的字符序列为[s1,s2,s3,…,sn]，sn为文本中第n个字符，则根据字符序列和字符向量表构造文本向量为[e1,e2,e3,…,en]，其中en对应的是sn的ID；利用WordEmbedding函数给每个字符分配一个固定长度为m的向量表示，辅助数据集A文本嵌入后最终输出文本向量空间I∈R|L|×|n*m|,m为字符向量长度，L为辅助数据集A的总数；
(2.3)将输出的文本向量空间I输入到卷积计算层中，其中卷积计算层(共K层)；
第一层卷积层：利用滤波器对文本矩阵做卷积计算，若滤波器大小为h×m，其中h为卷积核窗口中的字符数量，则卷积操作后输出特征ti为：
ti＝f(W·Si:i+h-1+b)
其中b∈R为偏差项，W∈Rh×m为卷积核的权重矩阵，f是卷积核函数；该滤波器应用于一个文本{S1:h,S2:h+1,…,Sn-h+1}得到特征T为：
T＝[t1,t2,t3,t4,…,tn-h+1]
其中t∈Rn-h+1；同理得第K层卷积层得到的特征通过max-pooling池化层对特征进行下采样，保留最重要的特征
则全连接层的特征向量V为：
其中k为卷积核的个数；通过Softmax层进行归一化；
(2.4)基于辅助数据集A对卷积神经网络重新训练获得辅助领域模型，并将辅助领域模型的网络结构图保存为.meta文件，网络参数保存为.checkpoint文件。
4.根据权利要求3所述的一种基于特征迁移和自适应学习的人民调解案例分类方法，其特征在于：所述步骤(2.4)在训练过程中，基于交叉熵训练目标函数，即采用的训练目标函数是最小化目标概率分布和实际概率分布的交叉熵，其中训练目标函数J(θ)的定义式为：
其中，l是训练样本数目，α是正则化因子，是样本xi的正确类别；基于所述的训练目标函数，通过梯度下降算法计算样本的误差，并使用反馈传播的方式更新网络结构的超参数的集合θ，更新公式为：
其中，λ是学习率。
5.根据权利要求1所述的一种基于特征迁移和自适应学习的人民调解案例分类方法，其特征在于：所述训练得到辅助领域模型的方法为：
(i)将辅助数据集A划分为P等份，依次抽取若干等份数据作为训练集，剩下的若干等份数据作为验证集，进行交叉验证，将平均值作为辅助数据集A的准确度，准确度最高的一次训练模型保存下来，作为模型M1；
(ii)利用混淆矩阵，错分矩阵记录模型M1预测辅助数据集A类别混淆的数据和每个类别错分的次数，分析后若发现存在数据质量问题则进一步进行半人工清洗数据，清洗后作为数据集D；其中混淆矩阵的每一列代表预测值，每一行代表的是实际的类别；
(iii)数据集D根据卷积神经网络重新训练，输出分类结果较好的辅助领域模型。
6.根据权利要求1所述的一种基于特征迁移和自适应学习的人民调解案例分类方法，其特征在于：所述步骤(3)利用迁移学习技术迁移辅助数据特征的具体步骤如下：
(3.1)构造网络图：根据保存的.meta文件重建神经网络,网络层分别为嵌入层embedding，卷积层(共K层)，池化层gmp，全连接层fc1、fc2，sofmax层；
(3.2)决定自适应层：人民调解数据在辅助领域模型网络层逐层固定的状态下进行迁移学习，依次获得K+3个模型精确度，第一次精确度下降时，神经网络开始人民调解数据自适应学习，故此神经网络的前q层为辅助领域模型的通用特征提取层；
(3.3)特征迁移：根据保存的.checkpoint文件初始化参数，将辅助领域模型通用特征层(前q层)迁移到步骤(3.1)重建输出的神经网络中。
7.根据权利要求1所述的一种基于特征迁移和自适应学习的人民调解案例分类方法，其特征在于：所述在特征迁移过程中，判断辅助数据数据集A与人民调解数据集B的类别数量是否一致：如果两者类别数量一致，则根据保存的.checkpoint文件将模型参数初始化；如果两者类别数量不一致，则根据保存的.checkpoint文件，更新softmax参数，并将模型参数初始化。
8.根据权利要求1所述的一种基于特征迁移和自适应学习的人民调解案例分类方法，其特征在于：所述步骤(4)具体如下：
(4.1)根据字符向量表对人民调解数据集B进行向量化处理，将向量化后的人民调解数据输入到步骤(3)输出的神经网络中，前q层提取了人民调解数据与辅助数据共有特征对共有特征卷积计算得到人民调解数据特征T，初始化q到K+3-q层神经网络权重，提取人民调解数据特定的特征，训练分类器模型；
(4.2)反复迭代循环训练网络至损失值不再减小为止，得到并保存最终的人民调解分类模型；，可作为下次迁移学习的辅助领域模型；最后，采用该人民调解分类模型对人民调解案例进行分类。
9.根据权利要求1-8任意一项所述的一种基于特征迁移和自适应学习的人民调解案例分类方法，其特征在于：所述辅助数据，是指裁判文书数据。
10.一种基于特征迁移和自适应学习的人民调解案例分类系统，其特征在于包括：数据采集模块、特征提取模块、特征迁移模块、网络训练模块；所述的数据采集模块用于采集人民调解数据与辅助数据，并对采集得到的人民调解数据与辅助数据进行数据清洗、去重预处理操作，形成辅助数据集和人民调解数据集；特征提取模块，采用卷积神经网络提取辅助数据特征和人民调解数据特征，并对特征进行卷积运算获取人民调解数据特定的特征；特征迁移模块用于将辅助数据通用特征迁移到新的神经网络中，将其应用在人民调解案例分类中；网络训练模块用于对卷积神经网络的训练，获得最终的训练模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811590326.9A CN109446332B (zh) | 2018-12-25 | 2018-12-25 | 一种基于特征迁移和自适应学习的人民调解案例分类系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811590326.9A CN109446332B (zh) | 2018-12-25 | 2018-12-25 | 一种基于特征迁移和自适应学习的人民调解案例分类系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109446332A true CN109446332A (zh) | 2019-03-08 |
| CN109446332B CN109446332B (zh) | 2023-08-25 |
Family
ID=65535335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811590326.9A Active CN109446332B (zh) | 2018-12-25 | 2018-12-25 | 一种基于特征迁移和自适应学习的人民调解案例分类系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109446332B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110085A (zh) * | 2019-04-24 | 2019-08-09 | 中电海康集团有限公司 | 基于字符级神经网络与svm的交通事故文本分类方法和系统 |
| CN110196911A (zh) * | 2019-06-06 | 2019-09-03 | 申林森 | 一种民生数据自动分类管理系统 |
| CN110362677A (zh) * | 2019-05-31 | 2019-10-22 | 平安科技（深圳）有限公司 | 文本数据类别的识别方法及装置、存储介质、计算机设备 |
| CN110688487A (zh) * | 2019-09-29 | 2020-01-14 | 中国建设银行股份有限公司 | 一种文本分类的方法和装置 |
| CN110704619A (zh) * | 2019-09-24 | 2020-01-17 | 支付宝(杭州)信息技术有限公司 | 文本分类方法、装置及电子设备 |
| CN110825872A (zh) * | 2019-09-11 | 2020-02-21 | 成都数之联科技有限公司 | 一种提取和分类诉讼请求信息的方法及系统 |
| CN111144112A (zh) * | 2019-12-30 | 2020-05-12 | 广州广电运通信息科技有限公司 | 文本相似度分析方法、装置和存储介质 |
| CN111753137A (zh) * | 2020-06-29 | 2020-10-09 | 四川长虹电器股份有限公司 | 一种基于语音特征的视频搜索方法 |
| CN112115264A (zh) * | 2020-09-14 | 2020-12-22 | 中国科学院计算技术研究所苏州智能计算产业技术研究院 | 面向数据分布变化的文本分类模型调整方法 |
| CN112347738A (zh) * | 2020-11-04 | 2021-02-09 | 平安直通咨询有限公司上海分公司 | 基于裁判文书的双向编码器表征量模型优化方法和装置 |
| CN113052851A (zh) * | 2019-12-27 | 2021-06-29 | 上海昕健医疗技术有限公司 | 基于深度学习的医学图像处理方法、系统以及计算机设备 |
| CN113869053A (zh) * | 2021-09-30 | 2021-12-31 | 上海银江智慧智能化技术有限公司 | 一种面向司法文本命名实体识别的方法及系统 |
| CN114332129A (zh) * | 2021-12-30 | 2022-04-12 | 推想医疗科技股份有限公司 | 模型训练方法和装置、图像分割方法和装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150206309A1 (en) * | 2014-01-21 | 2015-07-23 | University Of Rochester | System and method for real-time image registration |
| CN104834747A (zh) * | 2015-05-25 | 2015-08-12 | 中国科学院自动化研究所 | 基于卷积神经网络的短文本分类方法 |
| CN106777011A (zh) * | 2016-12-07 | 2017-05-31 | 中山大学 | 一种基于深度多任务学习的文本分类方法 |
| US20170161633A1 (en) * | 2015-12-07 | 2017-06-08 | Xerox Corporation | Transductive adaptation of classifiers without source data |
| CN107967253A (zh) * | 2017-10-27 | 2018-04-27 | 北京大学 | 一种基于迁移学习的低资源领域分词器训练方法及分词方法 |
| US20180165604A1 (en) * | 2016-12-09 | 2018-06-14 | U2 Science Labs A Montana | Systems and methods for automating data science machine learning analytical workflows |
| CN108229651A (zh) * | 2017-11-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络模型迁移方法和系统、电子设备、程序和介质 |
| CN108376267A (zh) * | 2018-03-26 | 2018-08-07 | 天津大学 | 一种基于类别转移的零样本分类方法 |
| CN108629772A (zh) * | 2018-05-08 | 2018-10-09 | 上海商汤智能科技有限公司 | 图像处理方法及装置、计算机设备和计算机存储介质 |
| CN108647741A (zh) * | 2018-05-18 | 2018-10-12 | 湖北工业大学 | 一种基于迁移学习的图像分类方法和系统 |
| CN108805137A (zh) * | 2018-04-17 | 2018-11-13 | 平安科技（深圳）有限公司 | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 |
-
2018
- 2018-12-25 CN CN201811590326.9A patent/CN109446332B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150206309A1 (en) * | 2014-01-21 | 2015-07-23 | University Of Rochester | System and method for real-time image registration |
| CN104834747A (zh) * | 2015-05-25 | 2015-08-12 | 中国科学院自动化研究所 | 基于卷积神经网络的短文本分类方法 |
| US20170161633A1 (en) * | 2015-12-07 | 2017-06-08 | Xerox Corporation | Transductive adaptation of classifiers without source data |
| CN106777011A (zh) * | 2016-12-07 | 2017-05-31 | 中山大学 | 一种基于深度多任务学习的文本分类方法 |
| US20180165604A1 (en) * | 2016-12-09 | 2018-06-14 | U2 Science Labs A Montana | Systems and methods for automating data science machine learning analytical workflows |
| CN107967253A (zh) * | 2017-10-27 | 2018-04-27 | 北京大学 | 一种基于迁移学习的低资源领域分词器训练方法及分词方法 |
| CN108229651A (zh) * | 2017-11-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络模型迁移方法和系统、电子设备、程序和介质 |
| CN108376267A (zh) * | 2018-03-26 | 2018-08-07 | 天津大学 | 一种基于类别转移的零样本分类方法 |
| CN108805137A (zh) * | 2018-04-17 | 2018-11-13 | 平安科技（深圳）有限公司 | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 |
| CN108629772A (zh) * | 2018-05-08 | 2018-10-09 | 上海商汤智能科技有限公司 | 图像处理方法及装置、计算机设备和计算机存储介质 |
| CN108647741A (zh) * | 2018-05-18 | 2018-10-12 | 湖北工业大学 | 一种基于迁移学习的图像分类方法和系统 |
Non-Patent Citations (7)
| Title |
|---|
| JEREMY HOWARD 等: "Universal Language Model Fine-tuning for Text Classification" * |
| OKI SAPUTRA JAYA 等: "Analysis of Convolution Neural Network for Transfer Learning of Sentiment Analysis in Indonesian Tweets", 《DSIT "18: PROCEEDINGS OF THE 2018 INTERNATIONAL CONFERENCE ON DATA SCIENCE AND INFORMATION TECHNOLOGY》 * |
| SHUN MORIYA 等: "Transfer Learning Method for Very Deep CNN for Text Classification and Methods for its Evaluation", 《2018 IEEE 42ND ANNUAL COMPUTER SOFTWARE AND APPLICATIONS CONFERENCE (COMPSAC)》 * |
| TUSHAR SEMWAL 等: "A Practitioners’ Guide to Transfer Learning for Text Classification using Convolutional Neural Networks", 《PROCEEDINGS OF THE 2018 SIAM INTERNATIONAL CONFERENCE ON DATA MINING（SDM）》 * |
| 夏彬彬: "基于Web文本挖掘的情感分析研究" * |
| 金佳佳: "基于深度学习的短文本分类算法研究及应用", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 陈钊: "面向中文文本的情感分析方法研究", 《万方数据知识服务平台》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110085A (zh) * | 2019-04-24 | 2019-08-09 | 中电海康集团有限公司 | 基于字符级神经网络与svm的交通事故文本分类方法和系统 |
| CN110362677A (zh) * | 2019-05-31 | 2019-10-22 | 平安科技（深圳）有限公司 | 文本数据类别的识别方法及装置、存储介质、计算机设备 |
| CN110196911B (zh) * | 2019-06-06 | 2022-04-22 | 申林森 | 一种民生数据自动分类管理系统 |
| CN110196911A (zh) * | 2019-06-06 | 2019-09-03 | 申林森 | 一种民生数据自动分类管理系统 |
| CN110825872B (zh) * | 2019-09-11 | 2023-05-23 | 成都数之联科技股份有限公司 | 一种提取和分类诉讼请求信息的方法及系统 |
| CN110825872A (zh) * | 2019-09-11 | 2020-02-21 | 成都数之联科技有限公司 | 一种提取和分类诉讼请求信息的方法及系统 |
| CN110704619A (zh) * | 2019-09-24 | 2020-01-17 | 支付宝(杭州)信息技术有限公司 | 文本分类方法、装置及电子设备 |
| CN110688487A (zh) * | 2019-09-29 | 2020-01-14 | 中国建设银行股份有限公司 | 一种文本分类的方法和装置 |
| CN113052851A (zh) * | 2019-12-27 | 2021-06-29 | 上海昕健医疗技术有限公司 | 基于深度学习的医学图像处理方法、系统以及计算机设备 |
| CN111144112A (zh) * | 2019-12-30 | 2020-05-12 | 广州广电运通信息科技有限公司 | 文本相似度分析方法、装置和存储介质 |
| CN111144112B (zh) * | 2019-12-30 | 2023-07-14 | 广州广电运通信息科技有限公司 | 文本相似度分析方法、装置和存储介质 |
| CN111753137A (zh) * | 2020-06-29 | 2020-10-09 | 四川长虹电器股份有限公司 | 一种基于语音特征的视频搜索方法 |
| CN111753137B (zh) * | 2020-06-29 | 2022-05-03 | 四川长虹电器股份有限公司 | 一种基于语音特征的视频搜索方法 |
| CN112115264A (zh) * | 2020-09-14 | 2020-12-22 | 中国科学院计算技术研究所苏州智能计算产业技术研究院 | 面向数据分布变化的文本分类模型调整方法 |
| CN112115264B (zh) * | 2020-09-14 | 2024-03-22 | 中科苏州智能计算技术研究院 | 面向数据分布变化的文本分类模型调整方法 |
| CN112347738A (zh) * | 2020-11-04 | 2021-02-09 | 平安直通咨询有限公司上海分公司 | 基于裁判文书的双向编码器表征量模型优化方法和装置 |
| CN112347738B (zh) * | 2020-11-04 | 2023-09-15 | 平安直通咨询有限公司上海分公司 | 基于裁判文书的双向编码器表征量模型优化方法和装置 |
| CN113869053A (zh) * | 2021-09-30 | 2021-12-31 | 上海银江智慧智能化技术有限公司 | 一种面向司法文本命名实体识别的方法及系统 |
| CN114332129A (zh) * | 2021-12-30 | 2022-04-12 | 推想医疗科技股份有限公司 | 模型训练方法和装置、图像分割方法和装置 |
| CN114332129B (zh) * | 2021-12-30 | 2024-08-27 | 推想医疗科技股份有限公司 | 模型训练方法和装置、图像分割方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109446332B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109446332A (zh) | 一种基于特征迁移和自适应学习的人民调解案例分类系统及方法 | |
| CN109726287A (zh) | 一种基于迁移学习和深度学习的人民调解案例分类系统及方法 | |
| CN109947963A (zh) | 一种基于深度学习的多尺度哈希检索方法 | |
| CN110442684A (zh) | 一种基于文本内容的类案推荐方法 | |
| CN108984745A (zh) | 一种融合多知识图谱的神经网络文本分类方法 | |
| CN108364028A (zh) | 一种基于深度学习的互联网网站自动分类方法 | |
| CN107861951A (zh) | 智能客服中的会话主题识别方法 | |
| CN107169504B (zh) | 一种基于扩展非线性核残差网络的手写字符识别方法 | |
| CN108710894A (zh) | 一种基于聚类代表点的主动学习标注方法和装置 | |
| CN110019839A (zh) | 基于神经网络和远程监督的医学知识图谱构建方法和系统 | |
| CN106991374A (zh) | 基于卷积神经网络和随机森林的手写数字识别方法 | |
| CN110674305A (zh) | 一种基于深层特征融合模型的商品信息分类方法 | |
| CN110110335A (zh) | 一种基于层叠模型的命名实体识别方法 | |
| CN109766277A (zh) | 一种基于迁移学习与dnn的软件故障诊断方法 | |
| CN108121975A (zh) | 一种联合原始数据和生成数据的人脸识别方法 | |
| CN110413783A (zh) | 一种基于注意力机制的司法文本分类方法及系统 | |
| CN109840322A (zh) | 一种基于强化学习的完形填空型阅读理解分析模型及方法 | |
| CN105975916A (zh) | 基于多输出卷积神经网络和有序回归的年龄估计方法 | |
| CN109710768A (zh) | 一种基于mimo递归神经网络的纳税人行业两层级分类方法 | |
| CN113761218A (zh) | 一种实体链接的方法、装置、设备及存储介质 | |
| CN104657466B (zh) | 一种基于论坛帖子特征的用户兴趣识别方法及装置 | |
| CN107480723B (zh) | 基于局部二进制阈值学习网络的纹理识别方法 | |
| CN108846047A (zh) | 一种基于卷积特征的图片检索方法及系统 | |
| CN109886161A (zh) | 一种基于可能性聚类和卷积神经网络的道路交通标识识别方法 | |
| CN107947921A (zh) | 基于递归神经网络和概率上下文无关文法的密码生成系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 310012 1st floor, building 1, 223 Yile Road, Hangzhou City, Zhejiang Province Applicant after: Yinjiang Technology Co.,Ltd. Address before: Floor 1, building 1, 223 Yile Road, Hangzhou, Zhejiang 310000 Applicant before: ENJOYOR Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |