CN113806532B - 比喻句式判断模型的训练方法、装置、介质及设备 - Google Patents
比喻句式判断模型的训练方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN113806532B CN113806532B CN202110998207.2A CN202110998207A CN113806532B CN 113806532 B CN113806532 B CN 113806532B CN 202110998207 A CN202110998207 A CN 202110998207A CN 113806532 B CN113806532 B CN 113806532B
- Authority
- CN
- China
- Prior art keywords
- sentence
- metaphor
- model
- judging
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请实施例提供一种比喻句式判断模型的训练方法、装置、存储介质及终端设备,该方法包括:通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到输入语句的第一判断结果;当第一判断结果指示输入语句是比喻句式时,对输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;通过比喻句式判断模型判断扩充语句是否为比喻句式,得到扩充语句的第二判断结果;基于第二判断结果对扩充语句设置标签,将设置标签的扩充语句作为比喻句式判断模型新增的训练样本,以迭代训练比喻句式判断模型。本申请实施例能够训练出一种比喻句式判断模型具备自动识别输入语句是否为比喻句式的功能,且模型的鲁棒性和准确性更强。
Description
技术领域
本申请涉及电子通信技术领域,尤其涉及一种比喻句式判断模型训练技术领域,特别涉及一种比喻句式判断模型的训练方法、装置、介质及设备。
背景技术
比喻句式在文学和诗歌中有着非常广泛的应用,可以激发读者的想象力,因此,如果能够从大数据中挖掘出比喻句式将具有一定的价值,例如给学生作文打分,挖掘文学作品中的比喻句式,尤其是一些优美的比喻句式。
目前,有基于神经网络模型设计的比喻句式检测系统,但是,在真实的应用场景中,经常会遇到训练样本不足的情况,但是训练模型又需要大量设置有标签的训练样本,为了解决该问题,通常会采用一种数据增强的方式来进行训练样本的扩充,提升训练样本的数量。但是现有的比喻句式检测系统中采用的数据增强方式有一定的概率改变原始数据的标签,导致数据增强的结果不一定是带有比较词的比喻句式或者不一定是按照正确比喻句式构建规则生成的比喻句式,导致现有比喻句式检测系统无法获取足够多的正样本数据,同样会影响比喻句式检测系统的检测准确性。
发明内容
本申请实施例提供一种比喻句式判断模型的训练方法、装置、介质及设备,能够一定程度上解决数据增强改变比喻句标签的问题,从而训练出一种鲁棒性和准确性更强的比喻句式判断模型。
本申请实施例一方面提供了一种比喻句式判断模型的训练方法,包括:
通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;
当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;
通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;
基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。
在本申请实施例所述的比喻句式判断模型的训练方法中,在所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果之前,所述方法还包括:
获取待训练的比喻句式判断模型初始的训练样本,所述训练样本包括设置有标签的语句,所述标签用于指示所述语句是否为比喻句式;
通过所述待训练的比喻句式判断模型对所述训练样本中的语句进行特征提取,得到与所述语句对应的文本特征向量;
通过所述待训练的比喻句式判断模型,基于所述文本特征向量判断所述训练样本中的语句是否为比喻句式,得到与所述语句对应的第三判断结果;
基于所述第三判断结果及所述训练样本的标签,调整所述待训练的比喻句式判断模型的参数,得到预训练的比喻句式判断模型。
在本申请实施例所述的比喻句式判断模型的训练方法中,所述基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型,包括:
基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本;
基于新增的训练样本和所述初始的训练样本,对所述预训练的比喻句式判断模型进行训练;
获取新的输入语句,返回执行所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果的步骤,直到满足模型训练结束条件为止;
将模型训练结束时得到的比喻句式判断模型,确定为训练完成的比喻句式判断模型。
在本申请实施例所述的比喻句式判断模型的训练方法中,所述获取待训练的比喻句式判断模型初始的训练样本,包括:
对预先构建的比喻句式语句基于比喻句式构建规则进行数据增强处理得到所述初始的训练样本。
在本申请实施例所述的比喻句式判断模型的训练方法中,所述对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句,包括:
提取所述输入语句中位于预设关键词之前和/或之后的语句段;
通过预先训练好的语句构建模型,对所述语句段基于比喻句式构建规则进行扩写,生成完整的扩充语句。
在本申请实施例所述的比喻句式判断模型的训练方法中,所述基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的语句作为所述比喻句式判断模型新增的训练样本,包括:
给所述第二判断结果中指示为比喻句式的输入语句设置第一标签,将设置所述第一标签的输入语句作为所述比喻句式判断模型新增的正样本;
给所述第二判断结果中指示为非比喻句式的输入语句设置第二标签,将设置所述第二标签的输入语句作为所述比喻句式判断模型新增的负样本。
在本申请实施例所述的比喻句式判断模型的训练方法中,在所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式之前,所述方法还包括:
根据预设的数据过滤规则,将符合所述数据过滤规则要求的原始语句进行筛除,得到筛除后的所述输入语句。
相应的,本申请实施例另一方面还提供了一种比喻句式判断方法,采用如上所述的训练完成的比喻句识别模型进行比喻句识别,所述方法包括:
接收待识别的输入语句;
基于所述比喻句式判断模型,提取所述输入语句的文本特征;
根据所述文本特征判断所述输入语句是否为比喻句式。
相应的,本申请实施例另一方面还提供了一种比喻句式判断模型训练装置,包括:
第一判断模块,用于通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;
数据增强模块,用于当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;
第二判断模块,用于通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;
模型迭代模块,用于基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。
相应的,本申请实施例另一方面还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行如上所述的比喻句式判断模型的训练方法。
相应的,本申请实施例另一方面还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行如上所述的比喻句式判断方法。
相应的,本申请实施例另一方面还提供了一种终端设备,包括处理器和存储器,所述存储器存储有多条指令,所述处理器加载所述指令以执行如上所述的比喻句式判断模型的训练方法。
相应的,本申请实施例另一方面还提供了一种终端设备,包括处理器和存储器,所述存储器存储有多条指令,所述处理器加载所述指令以执行如上所述的比喻句式判断方法。
本申请实施例提供了一种比喻句式判断模型的训练方法、装置、介质及设备,该方法通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。本申请实施例能够训练出一种比喻句式判断模型具备自动识别输入语句是否为比喻句式的功能,并在实现自动判断输入语句是否为比喻句式的同时,可以在不改变输入语句的标签的前提下,自动根据被判断为比喻句式的输入语句进行语句扩充,得到扩充语句,并对扩充语句进行正负样本的区分后打上对应的标签,并自动将打上标签的扩充语句作为比喻句式判断模型新增的训练样本,以迭代训练比喻句式判断模型,使得通过本申请提供的方法训练得到的比喻句式判断模型能够不断更新迭代,提升模型自身的鲁棒性和准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的比喻句式判断模型的训练方法的流程示意图。
图2为本申请实施例提供的比喻句式判断方法的流程示意图。
图3为本申请实施例提供的比喻句式判断模型训练装置的结构示意图。
图4为本申请实施例提供的比喻句式判断模型训练装置的另一种结构示意图。
图5为本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请的保护范围。
本申请实施例提供一种比喻句式判断模型的训练方法,所述比喻句式判断模型的训练方法可以应用于终端设备中。所述终端设备可以是智能手机、平板电脑等设备。
比喻句式在文学和诗歌中有着非常广泛的应用,可以激发读者的想象力,因此,如果能够从大数据中挖掘出比喻句式将具有一定的价值,例如给学生作文打分,挖掘文学作品中的比喻句式,尤其是一些优美的比喻句式。目前的比喻句式挖掘方式大多停留在依赖人工判断某个句子是否为比喻句式,该方式效率极低。而且,通常比喻句式分为明喻和暗喻,比喻句式通常有着比较明显的比较词以及比较对象,例如“八月份的天气就像一个大火炉”,该句子是一个比喻句式,拥有比较明显的比较词“像”。但是,并不是所有的带有“像”的比较词都是比喻句式,比如:“他长得像他爸爸”,在这个句子中虽然带有比较词“像”,却不是比喻句式。因此,为了提升比喻句式的检测准确性还需要具备一定文字功底的人才能够胜任这项工作。
目前,也有基于神经网络模型设计的比喻句式检测系统,但是,在真实的应用场景中,经常会遇到训练样本不足的情况,但是训练模型又需要大量设置有标签的训练样本,为了解决该问题,通常会采用一种数据增强的方式来进行训练样本的扩充,提升训练样本的数量。因此数据增强是一种增强模型泛化能力的一种技术,通常采用各种各样的方式来对训练样本进行改变,从而训练模型的泛化能力。传统的数据增强方式主要包括同义词替换、随机交换、随机插入、随机删除。
但是,在现有的解决方案中,不管是采用哪种数据扩充方式,对于比喻句式的检测来说都可能改变原始数据的标签,而数据增强的核心是不能改变原始数据的标签。因此现有的比喻句式检测系统中采用的数据增强方式有一定的概率改变原始数据的标签,导致数据增强的结果不一定是带有比较词的比喻句式或者不一定是按照正确比喻句式构建规则生成的比喻句式,导致现有比喻句式检测系统无法获取足够多的正样本数据,同样会影响比喻句式检测系统的检测准确性。
为了解决上述技术问题,本申请实施例提供一种比喻句式判断模型的训练方法。利用本申请实施例提供的比喻句式判断模型的训练方法,能够训练出一种比喻句式判断模型具备自动识别输入语句是否为比喻句式的功能,并在实现自动判断输入语句是否为比喻句式的同时,可以在不改变输入语句的标签的前提下,自动根据被判断为比喻句式的输入语句进行语句扩充,得到扩充语句,并对扩充语句进行正负样本的区分后打上对应的标签,并自动将打上标签的扩充语句作为比喻句式判断模型新增的训练样本,以迭代训练比喻句式判断模型,使得通过本申请提供的方法训练得到的比喻句式判断模型能够不断更新迭代,提升模型自身的鲁棒性和准确性。
请参阅图1,图1为本申请实施例提供的比喻句式判断模型的训练方法的流程示意图。所述比喻句式判断模型的训练方法,应用于终端设备中,所述方法可以包括以下步骤:
步骤101,通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果。
在本实施例中,输入语句指的是无标签数据,即不明确是否为比喻句式的语句,通过预训练的比喻句式判断模型来判断输入语句是否为比喻句式,并根据得到的第一判断结果来获取其中为比喻句式的输入语句。
具体地,预训练的比喻句式判断模型的训练过程发生在判断输入语句是否为比喻句式之前,预训练的比喻句式判断模型的训练过程包括以下步骤:
获取待训练的比喻句式判断模型初始的训练样本,所述训练样本包括设置有标签的语句,所述标签用于指示所述语句是否为比喻句式;
通过所述待训练的比喻句式判断模型对所述训练样本中的语句进行特征提取,得到与所述语句对应的文本特征向量;
通过所述待训练的比喻句式判断模型,基于所述文本特征向量判断所述训练样本中的语句是否为比喻句式,得到与所述语句对应的第三判断结果;
基于所述第三判断结果及所述训练样本的标签,调整所述待训练的比喻句式判断模型的参数,得到预训练的比喻句式判断模型。
其中,初始的训练样本来源于对预先构建的比喻句式语句基于比喻句式构建规则进行数据增强处理得到,也可以是直接从现有语料库中获取。
步骤102,当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句。
在本实施例中,当第一判断结果指示输入语句是比喻句式时,说明该输入语句可以作为数据增强的参照语句,通过对输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句。需要说明的是,比喻句式构建规则为:包含一个主体和至少一个喻体,主体可以理解为主语,通常是一个名词词组、或者称为逻辑对象,例如“云朵”。喻体是指主体的比较对象,通常也是名词词组,例如“棉花糖”。除了主体与喻体之外,还包含比较词,例如“像”、“仿佛”等将主体与喻体关联起来的词语。按照比喻句式构建规则生成的比喻句式可以是:“云朵像棉花糖”。
具体地,上述将输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句的过程包括以下步骤:
提取输入语句中位于预设关键词之前和/或之后的语句段,其中,预设冠关键词指的是比较词,即“像”或“仿佛”等词语,继续以比喻句式“云朵像棉花糖”为例,提取到的语句段为“云朵”或“棉花糖”;
在提取到语句段后,通过预先训练好的语句构建模型,对语句段基于比喻句式构建规则进行扩写,生成完整的扩充语句。
其中,语句构建模型可以基于GPT(Generative Pre-Training)模型,使用基于GPT模型训练得到的语句构建模型能够基于一个句子的前半段来预测下一个词/字,进而生成包含语句段的完整语句,即上述完整的扩充语句。
步骤103,通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果。
在本实施例中,经过数据增强处理后得到的扩充语句,由于无法直接确定扩充语句是否为真正的比喻句式,因此,需要对扩充语句做比喻句式判断,具体通过比喻句式判断模型来进行判断。在本实施例中,通过比喻句式判断模型对扩充语句的句式进行判断,除了能够确定出是比喻句式的扩充语句外,同时能够将非比喻句式的扩充语句作为训练样本中的负样本,实现训练样本的扩充。
步骤104,基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。
在本实施例中,得到扩充语句后,根据第二判断结果区分扩充语句中的比喻句式和非比喻句式,并给对应的扩充语句设置不同的标签(包括比喻句式和非比喻句式),将设置标签的扩充语句作为比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。
具体地,基于第二判断结果对扩充语句设置标签,将设置标签的语句作为比喻句式判断模型新增的训练样本的过程包括以下步骤:
给第二判断结果中指示为比喻句式的输入语句设置第一标签,将设置第一标签的输入语句作为比喻句式判断模型新增的正样本;
给第二判断结果中指示为非比喻句式的输入语句设置第二标签,将设置第二标签的输入语句作为比喻句式判断模型新增的负样本。
在一些实施例中,在所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果之前,所述方法还包括:
获取待训练的比喻句式判断模型初始的训练样本,所述训练样本包括设置有标签的语句,所述标签用于指示所述语句是否为比喻句式;
通过所述待训练的比喻句式判断模型对所述训练样本中的语句进行特征提取,得到与所述语句对应的文本特征向量;
通过所述待训练的比喻句式判断模型,基于所述文本特征向量判断所述训练样本中的语句是否为比喻句式,得到与所述语句对应的第三判断结果;
基于所述第三判断结果及所述训练样本的标签,调整所述待训练的比喻句式判断模型的参数,得到预训练的比喻句式判断模型。
在一些实施例中,在所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式之前,所述方法还包括:
根据预设的数据过滤规则,将符合所述数据过滤规则要求的原始语句进行筛除,得到筛除后的所述输入语句。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
具体实施时,本申请不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
由上可知,本申请实施例提供的比喻句式判断模型的训练方法通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。本申请实施例能够训练出一种比喻句式判断模型具备自动识别输入语句是否为比喻句式的功能,并在实现自动判断输入语句是否为比喻句式的同时,可以在不改变输入语句的标签的前提下,自动根据被判断为比喻句式的输入语句进行语句扩充,得到扩充语句,并对扩充语句进行正负样本的区分后打上对应的标签,并自动将打上标签的扩充语句作为比喻句式判断模型新增的训练样本,以迭代训练比喻句式判断模型,使得通过本申请提供的方法训练得到的比喻句式判断模型能够不断更新迭代,提升模型自身的鲁棒性和准确性。
本申请实施例还提供一种比喻句式判断方法,请参阅图2,图2为本申请实施例提供的比喻句式判断方法的流程示意图。所述比喻句式判断方法,应用于终端设备中,所述方法可以包括以下步骤:
步骤201,接收待识别的输入语句;
步骤202,基于所述比喻句式判断模型,提取所述输入语句的文本特征;
步骤203,根据所述文本特征判断所述输入语句是否为比喻句式。
在本实施例中,采用上述比喻句式判断模型判断待识别的输入语句是否为比喻句式,不仅得到的判断结果更加准确,且能够将识别后的输入语句根据判断结果来确定为正样本或负样本来作为比喻句式判断模型新增的训练样本,进而迭代比喻句式判断模型,使得比喻句式判断模型不断更新迭代,鲁棒性和准确性不断提升。
本申请实施例还提供一种比喻句式判断模型训练装置,所述比喻句式判断模型训练装置可以集成在终端设备中。所述终端设备可以是智能手机、平板电脑等设备。
请参阅图3,图3为本申请实施例提供的比喻句式判断模型训练装置的结构示意图。比喻句式判断模型训练装置30可以包括:
第一判断模块31,用于通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;
数据增强模块32,用于当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;
第二判断模块33,用于通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;
模型迭代模块34,用于基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。
在一些实施例中,所述装置还包括预训练模块,用于获取待训练的比喻句式判断模型初始的训练样本,所述训练样本包括设置有标签的语句,所述标签用于指示所述语句是否为比喻句式;通过所述待训练的比喻句式判断模型对所述训练样本中的语句进行特征提取,得到与所述语句对应的文本特征向量;通过所述待训练的比喻句式判断模型,基于所述文本特征向量判断所述训练样本中的语句是否为比喻句式,得到与所述语句对应的第三判断结果;基于所述第三判断结果及所述训练样本的标签,调整所述待训练的比喻句式判断模型的参数,得到预训练的比喻句式判断模型。
在一些实施例中,所述模型迭代模块34,用于基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本;基于新增的训练样本和所述初始的训练样本,对所述预训练的比喻句式判断模型进行训练;获取新的输入语句,返回执行所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果的步骤,直到满足模型训练结束条件为止;将模型训练结束时得到的比喻句式判断模型,确定为训练完成的比喻句式判断模型。
在一些实施例中,所述数据增强模块32,用于提取所述输入语句中位于预设关键词之前和/或之后的语句段;通过预先训练好的语句构建模型,对所述语句段基于比喻句式构建规则进行扩写,生成完整的扩充语句。
在一些实施例中,所述模型迭代模块34,用于给所述第二判断结果中指示为比喻句式的输入语句设置第一标签,将设置所述第一标签的输入语句作为所述比喻句式判断模型新增的正样本;给所述第二判断结果中指示为非比喻句式的输入语句设置第二标签,将设置所述第二标签的输入语句作为所述比喻句式判断模型新增的负样本。
在一些实施例中,所述数据过滤模块,用于根据预设的数据过滤规则,将符合所述数据过滤规则要求的原始语句进行筛除,得到筛除后的所述输入语句。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现。
由上可知,本申请实施例提供的比喻句式判断模型训练装置30,通过第一判断模块31通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;数据增强模块32当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;第二判断模块33通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;模型迭代模块34基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。
请参阅图4,图4为本申请实施例提供的比喻句式判断模型训练装置的另一结构示意图,振动比喻句式判断模型训练装置30包括存储器120、一个或多个处理器180、以及一个或多个应用程序,其中该一个或多个应用程序被存储于该存储器120中,并配置为由该处理器180执行;该处理器180可以包括第一判断模块31,数据增强模块32,第二判断模块33,以及模型迭代模块34。
例如,以上各个部件的结构和连接关系可以如下:
存储器120可用于存储应用程序和数据。存储器120存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器180通过运行存储在存储器120的应用程序,从而执行各种功能应用以及数据处理。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器120还可以包括存储器控制器,以提供处理器180对存储器120的访问。
处理器180是装置的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器120内的应用程序,以及调用存储在存储器120内的数据,执行装置的各种功能和处理数据,从而对装置进行整体监控。可选的,处理器180可包括一个或多个处理核心;优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等。
具体在本实施例中,处理器180会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器120中,并由处理器180来运行存储在存储器120中的应用程序,从而实现各种功能:
第一判断模块31,用于通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;
数据增强模块32,用于当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;
第二判断模块33,用于通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;
模型迭代模块34,用于基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。
在一些实施例中,所述装置还包括预训练模块,用于获取待训练的比喻句式判断模型初始的训练样本,所述训练样本包括设置有标签的语句,所述标签用于指示所述语句是否为比喻句式;通过所述待训练的比喻句式判断模型对所述训练样本中的语句进行特征提取,得到与所述语句对应的文本特征向量;通过所述待训练的比喻句式判断模型,基于所述文本特征向量判断所述训练样本中的语句是否为比喻句式,得到与所述语句对应的第三判断结果;基于所述第三判断结果及所述训练样本的标签,调整所述待训练的比喻句式判断模型的参数,得到预训练的比喻句式判断模型。
在一些实施例中,所述模型迭代模块34,用于基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本;基于新增的训练样本和所述初始的训练样本,对所述预训练的比喻句式判断模型进行训练;获取新的输入语句,返回执行所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果,当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句,通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果,基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型的步骤,直到满足模型训练结束条件为止;将模型训练结束时得到的比喻句式判断模型,确定为训练完成的比喻句式判断模型。
在一些实施例中,所述数据增强模块32,用于提取所述输入语句中位于预设关键词之前和/或之后的语句段;通过预先训练好的语句构建模型,对所述语句段基于比喻句式构建规则进行扩写,生成完整的扩充语句。
在一些实施例中,所述模型迭代模块34,用于给所述第二判断结果中指示为比喻句式的输入语句设置第一标签,将设置所述第一标签的输入语句作为所述比喻句式判断模型新增的正样本;给所述第二判断结果中指示为非比喻句式的输入语句设置第二标签,将设置所述第二标签的输入语句作为所述比喻句式判断模型新增的负样本。
在一些实施例中,所述数据过滤模块,用于根据预设的数据过滤规则,将符合所述数据过滤规则要求的原始语句进行筛除,得到筛除后的所述输入语句。
本申请实施例还提供一种终端设备。所述终端设备可以是智能手机、电脑、平板电脑等设备。
请参阅图5,图5示出了本申请实施例提供的终端设备的结构示意图,该终端设备可以用于实施上述实施例中提供的比喻句式判断模型的训练方法。该终端设备1200可以为智能手机或平板电脑。
如图5所示,终端设备1200可以包括RF(Radio Frequency,射频)电路110、包括有一个或一个以上(图中仅示出一个)计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、传输模块170、包括有一个或者一个以上(图中仅示出一个)处理核心的处理器180以及电源190等部件。本领域技术人员可以理解,图5中示出的终端设备1200结构并不构成对终端设备1200的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路110用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯。RF电路110可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路110可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。
存储器120可用于存储软件程序以及模块,如上述实施例中比喻句式判断模型的训练方法对应的程序指令/模块,处理器180通过运行存储在存储器120内的软件程序以及模块,从而执行各种功能应用以及数据处理,可以根据终端设备所处的当前场景来自动选择振动提醒模式来进行比喻句式判断模型训练,既能够保证会议等场景不被打扰,又能保证用户可以感知来电,提升了终端设备的智能性。存储器120可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器120可进一步包括相对于处理器180远程设置的存储器,这些远程存储器可以通过网络连接至电子设备1200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入单元130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131,输入单元130还可以包括其他输入设备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端设备1200的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141,可选的,可以采用LCD(Liquid CrystalDisplay,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的,触敏表面131可覆盖显示面板141,当触敏表面131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图4中,触敏表面131与显示面板141是作为两个独立的部件来实现输入和输出功能,但是在某些实施例中,可以将触敏表面131与显示面板141集成而实现输入和输出功能。
终端设备1200还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板141的亮度,接近传感器可在终端设备1200移动到耳边时,关闭显示面板141和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端设备1200还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路160、扬声器161,传声器162可提供用户与终端设备1200之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一终端,或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔,以提供外设耳机与终端设备1200的通信。
终端设备1200通过传输模块170(例如Wi-Fi模块)可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图4示出了传输模块170,但是可以理解的是,其并不属于终端设备1200的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是终端设备1200的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行终端设备1200的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器180可包括一个或多个处理核心;在一些实施例中,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。
终端设备1200还包括给各个部件供电的电源190,在一些实施例中,电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实现管理放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端设备1200还可以包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等,在此不再赘述。具体在本实施例中,终端设备1200的显示单元140是触摸屏显示器,终端设备1200还包括有存储器120,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器120中,且经配置以由一个或者一个以上处理器180执行一个或者一个以上程序包含用于进行以下操作的指令:
第一判断指令,用于通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;
数据增强指令,用于当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;
第二判断指令,用于通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;
模型迭代指令,用于基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。
在一些实施例中,所述装置还包括预训练指令,用于获取待训练的比喻句式判断模型初始的训练样本,所述训练样本包括设置有标签的语句,所述标签用于指示所述语句是否为比喻句式;通过所述待训练的比喻句式判断模型对所述训练样本中的语句进行特征提取,得到与所述语句对应的文本特征向量;通过所述待训练的比喻句式判断模型,基于所述文本特征向量判断所述训练样本中的语句是否为比喻句式,得到与所述语句对应的第三判断结果;基于所述第三判断结果及所述训练样本的标签,调整所述待训练的比喻句式判断模型的参数,得到预训练的比喻句式判断模型。
在一些实施例中,所述模型迭代指令,用于基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本;基于新增的训练样本和所述初始的训练样本,对所述预训练的比喻句式判断模型进行训练;获取新的输入语句,返回执行所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果的步骤,直到满足模型训练结束条件为止;将模型训练结束时得到的比喻句式判断模型,确定为训练完成的比喻句式判断模型。
在一些实施例中,所述数据增强指令,用于提取所述输入语句中位于预设关键词之前和/或之后的语句段;通过预先训练好的语句构建模型,对所述语句段基于比喻句式构建规则进行扩写,生成完整的扩充语句。
在一些实施例中,所述模型迭代指令,用于给所述第二判断结果中指示为比喻句式的输入语句设置第一标签,将设置所述第一标签的输入语句作为所述比喻句式判断模型新增的正样本;给所述第二判断结果中指示为非比喻句式的输入语句设置第二标签,将设置所述第二标签的输入语句作为所述比喻句式判断模型新增的负样本。
在一些实施例中,所述数据过滤指令,用于根据预设的数据过滤规则,将符合所述数据过滤规则要求的原始语句进行筛除,得到筛除后的所述输入语句。
本申请实施例还提供一种终端设备。所述终端设备可以是智能手机、平板电脑等设备。
由上可知,本申请实施例提供了一种终端设备1200,所述终端设备1200执行以下步骤:通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型。本申请实施例能够训练出一种比喻句式判断模型具备自动识别输入语句是否为比喻句式的功能,并在实现自动判断输入语句是否为比喻句式的同时,可以在不改变输入语句的标签的前提下,自动根据被判断为比喻句式的输入语句进行语句扩充,得到扩充语句,并对扩充语句进行正负样本的区分后打上对应的标签,并自动将打上标签的扩充语句作为比喻句式判断模型新增的训练样本,以迭代训练比喻句式判断模型,使得通过本申请提供的方法训练得到的比喻句式判断模型能够不断更新迭代,提升模型自身的鲁棒性和准确性。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,所述计算机执行上述任一实施例所述的比喻句式判断模型的训练方法。
需要说明的是,对本申请所述比喻句式判断模型的训练方法而言,本领域普通测试人员可以理解实现本申请实施例所述比喻句式判断模型的训练方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读存储介质中,如存储在终端设备的存储器中,并被该终端设备内的至少一个处理器执行,在执行过程中可包括如所述比喻句式判断模型的训练方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)等。
对本申请实施例的所述比喻句式判断模型训练装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的比喻句式判断模型的训练方法、装置、计算机可读存储介质及终端设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种比喻句式判断模型的训练方法,其特征在于,所述方法包括下述步骤:
通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;
当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;
通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;
基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型;
所述基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的语句作为所述比喻句式判断模型新增的训练样本,包括:
给所述第二判断结果中指示为比喻句式的输入语句设置第一标签,将设置所述第一标签的输入语句作为所述比喻句式判断模型新增的正样本;
给所述第二判断结果中指示为非比喻句式的输入语句设置第二标签,将设置所述第二标签的输入语句作为所述比喻句式判断模型新增的负样本。
2.如权利要求1所述的比喻句式判断模型的训练方法,其特征在于,在所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果之前,所述方法还包括:
获取待训练的比喻句式判断模型初始的训练样本,所述训练样本包括设置有标签的语句,所述标签用于指示所述语句是否为比喻句式;
通过所述待训练的比喻句式判断模型对所述初始的训练样本中的语句进行特征提取,得到与所述语句对应的文本特征向量;
通过所述待训练的比喻句式判断模型,基于所述文本特征向量判断所述训练样本中的语句是否为比喻句式,得到与所述语句对应的第三判断结果;
基于所述第三判断结果及所述训练样本的标签,调整所述待训练的比喻句式判断模型的参数,得到预训练的比喻句式判断模型。
3.如权利要求2所述的比喻句式判断模型的训练方法,其特征在于,所述基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型,包括:
基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本;
基于新增的训练样本和所述初始的训练样本,对所述待训练的比喻句式判断模型进行训练,得到预训练的比喻句式判断模型;
获取新的输入语句,返回执行所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果的步骤,直到满足模型训练结束条件为止,得到训练完成的比喻句式判断模型。
4.如权利要求2所述的比喻句式判断模型的训练方法,其特征在于,所述获取待训练的比喻句式判断模型初始的训练样本,包括:
对预先构建的比喻句式语句基于比喻句式构建规则进行数据增强处理得到所述初始的训练样本。
5.如权利要求1所述的比喻句式判断模型的训练方法,其特征在于,所述对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句,包括:
提取所述输入语句中位于预设关键词之前和/或之后的语句段;
通过预先训练好的语句构建模型,对所述语句段基于比喻句式构建规则进行扩写,生成完整的扩充语句。
6.如权利要求1所述的比喻句式判断模型的训练方法,其特征在于,在所述通过预训练的比喻句式判断模型判断输入语句是否为比喻句式之前,所述方法还包括:
根据预设的数据过滤规则,将符合所述数据过滤规则要求的原始语句进行筛除,得到筛除后的所述输入语句。
7.一种比喻句式判断方法,其特征在于,采用如权利要求1-6任一项所述的训练完成的比喻句识别模型进行比喻句识别,所述方法包括:
接收待识别的输入语句;
基于所述比喻句式判断模型,提取所述输入语句的文本特征;
根据所述文本特征判断所述输入语句是否为比喻句式。
8.一种比喻句式判断模型训练装置,其特征在于,包括:
第一判断模块,用于通过预训练的比喻句式判断模型判断输入语句是否为比喻句式,得到与所述输入语句对应的第一判断结果;
数据增强模块,用于当所述第一判断结果指示所述输入语句是比喻句式时,对所述输入语句基于比喻句式构建规则进行数据增强处理,得到扩充语句;
第二判断模块,用于通过所述比喻句式判断模型判断所述扩充语句是否为比喻句式,得到与所述扩充语句对应的第二判断结果;
模型迭代模块,用于基于所述第二判断结果对所述扩充语句设置标签,将所述设置标签的扩充语句作为所述比喻句式判断模型新增的训练样本,以迭代训练所述比喻句式判断模型;
所述模型迭代模块,用于给所述第二判断结果中指示为比喻句式的输入语句设置第一标签,将设置所述第一标签的输入语句作为所述比喻句式判断模型新增的正样本;给所述第二判断结果中指示为非比喻句式的输入语句设置第二标签,将设置所述第二标签的输入语句作为所述比喻句式判断模型新增的负样本。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至6任一项所述的比喻句式判断模型的训练方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求7所述的比喻句式判断方法。
11.一种终端设备,其特征在于,包括处理器和存储器,所述存储器存储有多条指令,所述处理器加载所述指令以执行权利要求1至6任一项所述的比喻句式判断模型的训练方法。
12.一种终端设备,其特征在于,包括处理器和存储器,所述存储器存储有多条指令,所述处理器加载所述指令以执行权利要求7所述的比喻句式判断方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110998207.2A CN113806532B (zh) | 2021-08-27 | 2021-08-27 | 比喻句式判断模型的训练方法、装置、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110998207.2A CN113806532B (zh) | 2021-08-27 | 2021-08-27 | 比喻句式判断模型的训练方法、装置、介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113806532A CN113806532A (zh) | 2021-12-17 |
CN113806532B true CN113806532B (zh) | 2023-08-08 |
Family
ID=78894259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110998207.2A Active CN113806532B (zh) | 2021-08-27 | 2021-08-27 | 比喻句式判断模型的训练方法、装置、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113806532B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2827253A1 (en) * | 2013-07-17 | 2015-01-21 | Deja vu Security, LLC | Metaphor based language fuzzing of computer code |
CN113111664A (zh) * | 2021-04-30 | 2021-07-13 | 网易(杭州)网络有限公司 | 文本的生成方法、装置、存储介质及计算机设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9256650B2 (en) * | 2013-01-23 | 2016-02-09 | International Business Machines Corporation | Using metaphors to present concepts across different intellectual domains |
US11526808B2 (en) * | 2019-05-29 | 2022-12-13 | The Board Of Trustees Of The Leland Stanford Junior University | Machine learning based generation of ontology for structural and functional mapping |
-
2021
- 2021-08-27 CN CN202110998207.2A patent/CN113806532B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2827253A1 (en) * | 2013-07-17 | 2015-01-21 | Deja vu Security, LLC | Metaphor based language fuzzing of computer code |
CN113111664A (zh) * | 2021-04-30 | 2021-07-13 | 网易(杭州)网络有限公司 | 文本的生成方法、装置、存储介质及计算机设备 |
Non-Patent Citations (1)
Title |
---|
基于隐喻词扩展的短文本聚类算法;王烨;左万利;王英;;吉林大学学报(理学版)(06);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113806532A (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10956771B2 (en) | Image recognition method, terminal, and storage medium | |
CN111274777B (zh) | 思维导图显示方法及电子设备 | |
CN110764666B (zh) | 一种显示控制方法及电子设备 | |
RU2612598C2 (ru) | Способ, и аппаратура, и терминальное устройство выбора символов | |
CN108984066B (zh) | 一种应用程序图标显示方法及移动终端 | |
CN109063076B (zh) | 一种图片生成方法及移动终端 | |
CN111292727B (zh) | 一种语音识别方法及电子设备 | |
CN111144065B (zh) | 一种显示控制方法及电子设备 | |
CN110826098B (zh) | 一种信息处理方法及电子设备 | |
CN111459356A (zh) | 界面显示方法及电子设备 | |
CN110932964A (zh) | 一种信息的处理方法及装置 | |
CN111027406B (zh) | 图片识别方法、装置、存储介质及电子设备 | |
CN113806532B (zh) | 比喻句式判断模型的训练方法、装置、介质及设备 | |
CN111026315B (zh) | 一种文本选取方法及电子设备 | |
CN113806533B (zh) | 比喻句式特征词语提取方法、装置、介质及设备 | |
WO2020220702A1 (zh) | 生成自然语言 | |
CN113569043A (zh) | 一种文本类别确定方法和相关装置 | |
CN111753047A (zh) | 一种文本处理方法及装置 | |
CN110909190B (zh) | 数据搜索方法、装置、电子设备及存储介质 | |
CN117057345B (zh) | 一种角色关系的获取方法及相关产品 | |
CN115841181B (zh) | 剩余油分布预测方法、装置、设备及存储介质 | |
CN109857293B (zh) | 显示方法及终端设备 | |
CN109614483B (zh) | 一种信息分类方法及终端设备 | |
CN109522071B (zh) | 一种照片管理方法及终端设备 | |
CN109829167B (zh) | 一种分词处理方法和移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |