CN112434165B - 一种古诗词分类方法、装置、终端设备及存储介质 - Google Patents
一种古诗词分类方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN112434165B CN112434165B CN202011496486.4A CN202011496486A CN112434165B CN 112434165 B CN112434165 B CN 112434165B CN 202011496486 A CN202011496486 A CN 202011496486A CN 112434165 B CN112434165 B CN 112434165B
- Authority
- CN
- China
- Prior art keywords
- ancient poetry
- classification label
- sample
- ancient
- poetry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000013519 translation Methods 0.000 claims abstract description 198
- 238000012549 training Methods 0.000 claims abstract description 79
- 239000013598 vector Substances 0.000 claims description 151
- 230000006870 function Effects 0.000 claims description 117
- 238000001914 filtration Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012552 review Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims 1
- 230000014616 translation Effects 0.000 description 166
- 238000004458 analytical method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 235000007516 Chrysanthemum Nutrition 0.000 description 2
- 244000189548 Chrysanthemum x morifolium Species 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 244000082204 Phyllostachys viridis Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本发明公开了一种古诗词分类方法、装置、终端设备及存储介质。方法包括:获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析中的一种或多种;将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;根据所述目标分类标签确定所述待分类古诗词数据的分类结果。利用该方法能够提升古诗词分类的精准度。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种古诗词分类方法、装置、终端设备及存储介质。
背景技术
古诗词,是中国传统文化的一颗璀璨的明珠。其用精简美妙的语言表达了诗人对于美景、生活、仕途甚至人生的诸多感悟。精炼的语言,丰富的想象,真挚的情感,让诸多古诗词流传至今,经久不衰。
在古诗词的学习、保护和研究过程中,古诗词的类别标签具有重要的意义。常见的类别标签有主题类的,如写景、抒情、咏物、送别、思乡、怀古、边塞,更有更细粒度的,如爱国、离别、爱情、励志、哲理等。给古诗词打上这些类别标签首先有助于我们传承、保护以及了解中国古诗词文化;其次,这样的分类标签也有助于帮助学生更好的了解诗词的意境,进而根据古诗词的标签帮助他们归纳记忆,更进一步理解或者背诵古诗词的内容。
目前,市面上也有一些自动预测古诗词标签的方案:一、首先确定古诗词的风格类别,如婉约派、豪放派、田园派、现实派、浪漫派、咏史派,边塞派,并事先通过人为的方式建立古诗词的风格与其想表达的思想感情,如婉约派对应了思想,豪放派对应了豪迈、战争等。然后对古诗词进行中文分词,并利用卡方检验的方式检验某些词汇与对应风格的关联度,如一首古诗里出现了“菊花”,其与“田园派”卡方检验的关联度较高。将这首古诗词中出现的词汇与类别的关联度高的类别确定为这首古诗的风格。进一步的,每个诗人的风格和流派,由他创作的所有古诗的词的关联度的乘积获得。二、人为创建一些古诗词类别与一些意向的关联关系,如“松”、“竹”、“莲”等。具体操作上,首先对于古诗词内容进行分词,然后剔除其中的虚词部分,并使用算法对于分词后的结果进行词性标注,挑选出名词词组,然后看这些名词词组在事先准备好的古诗词类别意向的关联关系中是否存在,以及大部分词组属于哪一个类别下,将出现最多的类别作为这首诗的分类结果。
以上两种方案,都有一个共同的缺点,就是需要人为去维护一些映射表,如风格、思想感情、类别以及意向。这个过程首先需要大量的人为干预,相对更加费时费力,其次,人为整理这些映射关系难免会有一些遗漏,尤其是一些冷门的意向更容易出现如上的问题。并且,如果要新增一个古诗词分类,就需要专门的人整理这个古诗词分类的映射表,可拓展性较差。
此外,上述两种方案对于分类的方式都比较粗糙,基本的核心思想都是这首古诗提到的哪些类别的关键词比较多就认为他属于这一类,但是,面对中国历史上大量的古诗词,存在着大量不同人创作的不同风格的古诗,使用了某个意向或者某个关键词可能是要表达非主流的情感,对于这种类别的古诗词分类,通过以上的两种方法得到的分类结果是不准确的。
发明内容
本发明实施例提供了一种古诗词分类方法、装置、终端设备及存储介质,能够提升古诗词分类的精准度。
第一方面,本发明实施例提供了一种古诗词分类方法,包括:
获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析中的一种或多种;
将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
根据所述目标分类标签确定所述待分类古诗词数据的分类结果。
进一步的,所述多任务学习模型的训练方法,包括:
获取古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
根据所述古诗词内容样本、古诗词翻译样本和古诗词赏析样本生成综合古诗词向量样本;
将所述综合古诗词向量样本输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签;
根据所述第一预测分类标签、所述古诗词内容样本对应的分类标签、所述第二预测分类标签、所述古诗词翻译样本对应的分类标签所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成的目标函数训练所述待训练的多任务学习模型的模型结构和模型参数;
返回执行将所述综合古诗词向量输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签的操作,直至得到多任务学习模型。
进一步的,获取古诗词内容样本、古诗词翻译样本和古诗词赏析样本,包括:
利用网络爬虫技术,从网络上爬取古诗词内容、古诗词翻译和古诗词赏析;
对所述古诗词内容、古诗词翻译和古诗词赏析进行分词处理;
对分词处理后的古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤,得到古诗词文本;
根据所述古诗词文本确定古诗词内容样本、古诗词翻译样本和古诗词赏析样本。
进一步的,根据所述古诗词内容样本、古诗词翻译样本和古诗词赏析样本生成综合古诗词向量样本,包括:
将所述古诗词内容样本中的词输入语音模型,得到内容词向量;
根据古诗词内容样本中的句子中每个词的内容词向量的平均值得到内容句向量;
将所述古诗词翻译样本中的词输入语音模型,得到翻译词向量;
根据古诗词翻译样本中的句子中每个词的翻译词向量的平均值得到翻译句向量;
将所述古诗词赏析样本中的词输入语音模型,得到赏析词向量;根据古诗词赏析样本中的句子中每个词的赏析词向量的平均值得到赏析句向量;
根据所述内容句向量、翻译句向量和赏析句向量生成综合古诗词向量样本。
进一步的,对分词处理后的古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤,包括:
根据古汉语停用词表对所述古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤;
根据现代汉语停用词表对过滤后的古诗词翻译和古诗词赏析进行停用词过滤。
进一步的,所述待训练的多任务学习模型包括:共享Bi-LSTM层、第一Bi-LSTM层、第二Bi-LSTM层、第三Bi-LSTM层、第一softmax层、第二softmax层和第三softmax层,所述共享Bi-LSTM层和所述第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层相连,所述第一Bi-LSTM层、第二Bi-LSTM层、第三Bi-LSTM层各自单独训练,所述第一Bi-LSTM层和所述第一softmax层相连,所述第二Bi-LSTM层和所述第二softmax层相连,所述第三Bi-LSTM层和所述第三softmax层相连;
相应的,将所述综合古诗词向量样本输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签,包括:
将所述综合古诗词向量样本输入共享Bi-LSTM层,并将所述共享Bi-LSTM层的输出作为第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层的输入;
将所述第一Bi-LSTM层的输出作为第一softmax层的输入,将所述第二Bi-LSTM层的输出作为第二softmax层的输入和第三Bi-LSTM层的输出作为第三softmax层的输入;
根据所述第一softmax层的输出得到第一预测分类标签,根据所述第二softmax层的输出得到第二预测分类标签,根据所述第三softmax层的输出得到第三预测分类标签。
进一步的,根据所述第一预测分类标签、所述古诗词内容样本对应的分类标签、所述第二预测分类标签、所述古诗词翻译样本对应的分类标签所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成的目标函数训练所述待训练的多任务学习模型的模型结构和模型参数,包括:
根据所述第一预测分类标签和所述古诗词内容样本对应的分类标签形成第一函数;
根据所述第二预测分类标签和所述古诗词翻译样本对应的分类标签形成第二函数;
根据所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成第三函数;
根据所述第一函数、第二函数和第三函数生成目标函数;
根据所述目标函数训练所述待训练的多任务学习模型的模型结构和模型参数。
进一步的,根据第一函数、第二函数和第三函数生成目标函数,包括:
基于如下公式生成目标函数:
Ltotal=αLcontent+βLtranslation+γLanalysis;
其中,Lcontent为第一函数,Ltranslation为第二函数,Lanalysis为第三函数,Ltotal为目标函数,α为第一函数的权重,β为第二函数的权重,γ为第三函数的权重。
进一步的,所述目标分类标签包括第一目标分类标签、第二目标分类标签和第三目标分类标签;
相应的,根据所述目标分类标签确定所述待分类古诗词数据的分类结果,包括:
将所述第一目标分类标签、第二目标分类标签和所述第三目标分类标签中至少两个相同的目标分类标签确定为所述待分类古诗词数据的分类结果。
进一步的,所述目标分类标签包括第一目标分类标签、第二目标分类标签和第三目标分类标签;
相应的,根据所述目标分类标签确定所述待分类古诗词数据的分类结果,包括:
若所述第一目标分类标签、第二目标分类标签和第三目标分类标签均不相同,则获取所述第一目标分类标签对应的第一概率数据、第二目标分类标签对应的第二概率数据和第三目标分类标签对应的第三概率数据;
将所述第一概率数据、第二概率数据和第三概率数据中最大的概率数据对应的目标分类标签确定为所述待分类古诗词数据的分类结果。
第二方面,本发明实施例还提供了一种古诗词分类装置,包括:
获取模块,用于获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析中的一种或多种;
训练模块,用于将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
确定模块,用于根据所述目标分类标签确定所述待分类古诗词数据的分类结果。
进一步的,所述训练模块具体用于:
获取古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
根据所述古诗词内容样本、古诗词翻译样本和古诗词赏析样本生成综合古诗词向量样本;
将所述综合古诗词向量样本输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签;
根据所述第一预测分类标签、所述古诗词内容样本对应的分类标签、所述第二预测分类标签、所述古诗词翻译样本对应的分类标签所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成的目标函数训练所述待训练的多任务学习模型的模型结构和模型参数;
返回执行将所述综合古诗词向量输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签的操作,直至得到多任务学习模型。
进一步的,所述训练模块具体用于:
利用网络爬虫技术,从网络上爬取古诗词内容、古诗词翻译和古诗词赏析;
对所述古诗词内容、古诗词翻译和古诗词赏析进行分词处理;
对分词处理后的古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤,得到古诗词文本;
根据所述古诗词文本确定古诗词内容样本、古诗词翻译样本和古诗词赏析样本。
进一步的,所述训练模块具体用于:
将所述古诗词内容样本中的词输入语音模型,得到内容词向量;
根据古诗词内容样本中的句子中每个词的内容词向量的平均值得到内容句向量;
将所述古诗词翻译样本中的词输入语音模型,得到翻译词向量;
根据古诗词翻译样本中的句子中每个词的翻译词向量的平均值得到翻译句向量;
将所述古诗词赏析样本中的词输入语音模型,得到赏析词向量;根据古诗词赏析样本中的句子中每个词的赏析词向量的平均值得到赏析句向量;
根据所述内容句向量、翻译句向量和赏析句向量生成综合古诗词向量样本。
进一步的,所述训练模块还用于:
根据古汉语停用词表对所述古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤;
根据现代汉语停用词表对过滤后的古诗词翻译和古诗词赏析进行停用词过滤。
进一步的,所述待训练的多任务学习模型包括:共享Bi-LSTM层、第一Bi-LSTM层、第二Bi-LSTM层、第三Bi-LSTM层、第一softmax层、第二softmax层和第三softmax层,所述共享Bi-LSTM层和所述第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层相连,所述第一Bi-LSTM层、第二Bi-LSTM层、第三Bi-LSTM层各自单独训练,所述第一Bi-LSTM层和所述第一softmax层相连,所述第二Bi-LSTM层和所述第二softmax层相连,所述第三Bi-LSTM层和所述第三softmax层相连;
相应的,所述训练模块具体用于:
将所述综合古诗词向量样本输入共享Bi-LSTM层,并将所述共享Bi-LSTM层的输出作为第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层的输入;
将所述第一Bi-LSTM层的输出作为第一softmax层的输入,将所述第二Bi-LSTM层的输出作为第二softmax层的输入和第三Bi-LSTM层的输出作为第三softmax层的输入;
根据所述第一softmax层的输出得到第一预测分类标签,根据所述第二softmax层的输出得到第二预测分类标签,根据所述第三softmax层的输出得到第三预测分类标签。
进一步的,所述训练模块具体用于:
根据所述第一预测分类标签和所述古诗词内容样本对应的分类标签形成第一函数;
根据所述第二预测分类标签和所述古诗词翻译样本对应的分类标签形成第二函数;
根据所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成第三函数;
根据所述第一函数、第二函数和第三函数生成目标函数;
根据所述目标函数训练所述待训练的多任务学习模型的模型结构和模型参数。
进一步的,所述训练模块具体用于:
基于如下公式生成目标函数:
Ltotal=αLcontent+βLtranslation+γLanalysis;
其中,Lcontent为第一函数,Ltranslation为第二函数,Lanalysis为第三函数,Ltotal为目标函数,α为第一函数的权重,β为第二函数的权重,γ为第三函数的权重。
进一步的,所述目标分类标签包括第一目标分类标签、第二目标分类标签和第三目标分类标签;
相应的,所述确定模块具体用于:
将所述第一目标分类标签、第二目标分类标签和所述第三目标分类标签中至少两个相同的目标分类标签确定为所述待分类古诗词数据的分类结果。
进一步的,所述目标分类标签包括第一目标分类标签、第二目标分类标签和第三目标分类标签;
相应的,所述确定模块还用于:
若所述第一目标分类标签、第二目标分类标签和第三目标分类标签均不相同,则获取所述第一目标分类标签对应的第一概率数据、第二目标分类标签对应的第二概率数据和第三目标分类标签对应的第三概率数据;
将所述第一概率数据、第二概率数据和第三概率数据中最大的概率数据对应的目标分类标签确定为所述待分类古诗词数据的分类结果。
第三方面,本发明实施例还提供了一种终端设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的古诗词分类方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例提供的古诗词分类方法。
本发明实施例提供了一种古诗词分类方法、装置、终端设备及存储介质,获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析中的一种或多种;将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;根据所述目标分类标签确定所述待分类古诗词数据的分类结果。利用上述技术方案,能够提升古诗词分类的精准度。
附图说明
图1为本发明实施例一提供的一种古诗词分类方法的流程示意图;
图1a为本发明实施例一提供的另一种古诗词分类方法的流程示意图;
图2为本发明实施例二提供的一种古诗词分类装置的结构示意图;
图3为本发明实施例三提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
本发明使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
需要注意,本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分,并非用于限定顺序或者相互依存关系。
实施例一
图1为本发明实施例一提供的一种古诗词分类方法的流程示意图,该方法可适用于古诗词分类的情况,该方法可以由古诗词分类装置来执行,其中该古诗词分类装置可由软件和/或硬件实现,并一般集成在终端设备上,在本实施例中终端设备包括但不限于:电脑。
如图1所示,本发明实施例一提供的一种古诗词分类方法,包括如下步骤:
S110、获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析中的一种或多种。
其中,所述待分类古诗词数据可以为用户通过语音输入的待分类古诗词数据,也可以为用户通过外接设备输入的待分类古诗词数据,或者可以为用户通过触控方式输入的待分类古诗词数据,本发明实施例对此不进行限制。
其中,所述待分类古诗词翻译可以包括:待分类古诗词内容和待分类古诗词内容对应的翻译,也可以只包括待分类古诗词内容对应的翻译。
其中,所述待分类古诗词赏析可以包括:待分类古诗词内容和待分类古诗词内容对应的赏析,也可以只包括待分类古诗词内容对应的赏析。
其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析中的一种或多种。例如可以是,所述待分类古诗词数据可以为待分类古诗词内容,所述待分类古诗词数据可以包括:待分类古诗词内容和待分类古诗词翻译,所述待分类古诗词数据还可以包括:待分类古诗词内容和待分类古诗词赏析,所述待分类古诗词数据或者可以包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析,本发明实施例对此不进行限制。
S120、将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签。
其中,所述目标分类标签可以为写景、抒情、咏物、送别、思乡、怀古、边塞,更有更细粒度的,如爱国、离别、爱情、励志以及哲理中的一种或者多种,所述目标分类标签还可以包括分类对应的概率,例如可以是,写景70%,抒情30%,或者可以为,咏物30%,送别30%,思乡40%。
其中,所述目标分类标签可以为三个目标分类标签,也可以为一个目标分类标签,或者可以为两个目标分类标签,所述目标分类标签的个数和待分类古诗词数据有关。例如可以是,若待分类古诗词为待分类古诗词内容,则所述目标分类标签可以为一个目标分类标签,例如可以是,将待分类古诗词内容输入至多任务学习模型,得到与所述待分类古诗词内容对应的目标分类标签。所述目标分类标签也可以为3个目标分类标签,将待分类古诗词内容、随机选取的古诗词翻译和随机选取的古诗词赏析输入至多任务学习模型,得到待分类古诗词内容对应的目标分类标签、随机选取的古诗词翻译对应的目标分类标签和随机选取的古诗词赏析对应的目标分类标签,在确定待分类古诗词数据的分类结果时,以待分类古诗词内容对应的目标分类标签确定为待分类古诗词数据的分类结果。所述目标分类标签也可以为2个目标分类标签,将待分类古诗词内容和随机选取的古诗词赏析输入至多任务学习模型,得到待分类古诗词内容对应的目标分类标签和随机选取的古诗词赏析对应的目标分类标签,在确定待分类古诗词数据的分类结果时,以待分类古诗词内容对应的目标分类标签确定为待分类古诗词数据的分类结果。所述目标分类标签也可以为2个目标分类标签,将待分类古诗词内容和随机选取的古诗翻译析输入至多任务学习模型,得到待分类古诗词内容对应的目标分类标签和随机选取的古诗词翻译对应的目标分类标签,在确定待分类古诗词数据的分类结果时,以待分类古诗词内容对应的目标分类标签确定为待分类古诗词数据的分类结果。
示例性的,将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签的方式可以为:将待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的各个分类下的概率分布,根据待分类古诗词数据对应的各个分类下的概率分布确定目标分类标签。
S130、根据所述目标分类标签确定所述待分类古诗词数据的分类结果。
示例性的,若所述目标分类标签为一个,则直接将所述目标分类标签确定为所述待分类古诗词数据的分类结果。若所述目标分类标签大于两个,则根据所述目标分类标签确定所述待分类古诗词数据的分类结果的方式可以为将至少两个目标分类标签中至少两个相同的目标分类标签确定为待分类古诗词数据的分类结果。若至少两个目标分类标签中的目标分类标签不同,则根据至少两个目标分类标签对应的概率数据确定待分类古诗词数据的分类结果。
在一个实施例中,所述多任务学习模型的训练方法,包括:
获取古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
根据所述古诗词内容样本、古诗词翻译样本和古诗词赏析样本生成综合古诗词向量样本;
将所述综合古诗词向量样本输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签;
根据所述第一预测分类标签、所述古诗词内容样本对应的分类标签、所述第二预测分类标签、所述古诗词翻译样本对应的分类标签所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成的目标函数训练所述待训练的多任务学习模型的模型结构和模型参数;
返回执行将所述综合古诗词向量输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签的操作,直至得到多任务学习模型。
示例性的,获取古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签的方式可以为:利用网络爬虫技术,从网络上爬取古诗词的相关内容,具体包括古诗词的标题、作者、内容、翻译、赏析以及风格标签等信息,使用中文分词技术对古诗词内容、古诗词翻译和古诗词赏析分别进行中文分词,并使用停用词表过滤掉一些停用词。根据古汉语停用词表和现代汉语停用词表对古诗词的内容、翻译和赏析进行停用词过滤。从过滤后的数据中选取古诗词内容样本、古诗词翻译样本和古诗词赏析样本。并对选取的古诗词内容样本、古诗词翻译样本和古诗词赏析样本添加标签,得到古诗词内容样本携带的分类标签、古诗词翻译样本携带的分类标签和古诗词赏析样本携带的分类标签。
在一个实施例中,获取古诗词内容样本、古诗词翻译样本和古诗词赏析样本,包括:
利用网络爬虫技术,从网络上爬取古诗词内容、古诗词翻译和古诗词赏析;
对所述古诗词内容、古诗词翻译和古诗词赏析进行分词处理;
对分词处理后的古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤,得到古诗词文本;
根据所述古诗词文本确定古诗词内容样本、古诗词翻译样本和古诗词赏析样本。
示例性的,对分词处理后的古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤的方式与古诗词翻译和古诗词赏析的具体内容有关,若所述古诗词翻译包括:古诗词内容和古诗词内容对应的翻译,所述古诗词赏析包括:古诗词内容和古诗词内容对应的赏析,则先基于古汉语停用词表对所述古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤,再基于现代汉语停用词表对过滤后的古诗词翻译和古诗词赏析进行停用词过滤。若所述古诗词翻译包括:古诗词内容对应的翻译,所述古诗词赏析包括:古诗词内容对应的赏析,则基于古汉语停用词表对所述古诗词内容进行停用词过滤,基于现代汉语停用词表对古诗词翻译和古诗词赏析进行停用词过滤。
示例性的,利用网络爬虫技术,从网络上爬取古诗词的相关内容,具体包括古诗词的标题、作者、内容、翻译、赏析以及风格标签等信息,使用中文分词技术对于古诗词的内容、翻译、赏析分别进行中文分词,并使用停用词表过滤掉一些停用词,得到古诗词文本,从所述古诗词文本中选取古诗词内容样本、古诗词翻译样本和古诗词赏析样本。
在一个实施例中,根据所述古诗词内容样本、古诗词翻译样本和古诗词赏析样本生成综合古诗词向量样本,包括:
将所述古诗词内容样本中的词输入语音模型,得到内容词向量;
根据古诗词内容样本中的句子中每个词的内容词向量的平均值得到内容句向量;
将所述古诗词翻译样本中的词输入语音模型,得到翻译词向量;
根据古诗词翻译样本中的句子中每个词的翻译词向量的平均值得到翻译句向量;
将所述古诗词赏析样本中的词输入语音模型,得到赏析词向量;根据古诗词赏析样本中的句子中每个词的赏析词向量的平均值得到赏析句向量;
根据所述内容句向量、翻译句向量和赏析句向量生成综合古诗词向量样本。
示例性的,对于输入的文本使用ERNIE 2.0模型抽取出对应的词向量,然后对于句子里涉及的各个词向量求平均,进而可以获得古诗词内容句向量、古诗词翻译句向量和古诗词赏析句向量。例如可以是,将所述古诗词内容样本中的词输入ERNIE 2.0模型抽取出对应的内容词向量,根据古诗词内容样本中的句子中每个词的内容词向量的平均值得到内容句向量。将所述古诗词翻译样本中的词输入ERNIE 2.0模型抽取出对应的翻译词向量,根据古诗词翻译样本中的句子中每个词的翻译词向量的平均值得到翻译句向量。将所述古诗词赏析样本中的词输入ERNIE 2.0模型抽取出对应的赏析词向量,根据古诗词赏析样本中的句子中每个词的赏析词向量的平均值得到赏析句向量。根据所述内容句向量、翻译句向量和赏析句向量生成综合古诗词向量样本。
示例性的,基于处理后的古诗词内容、古诗词翻译和古诗词赏析,构建古诗词数据集。首先,使用ERNIE 2.0预训练语言模型,ERNIE 2.0预训练语言模型是一个基于百度百科等公开的数据进行预训练的语言模型,因此,ERNIE 2.0预训练语言模型对于通常的语义信息已经有初步的表征,但是,ERNIE 2.0预训练语言模型对于文本的表征向量并不是面向古诗词这个垂直领域的,因此,若直接用于标签的分类,效果较差。因此,使用ERNIE 2.0的预训练语言模型在该古诗词数据集上进行模型的调优,使得学习到的文本特征更偏向古诗词这个领域的特性,提升最后的分类效果。
示例性的,对于内容句向量、翻译句向量和赏析句向量,直接对内容句向量、翻译句向量和赏析句向量做拼接操作,获得综合古诗词向量样本。
xtotal=[xcontent,xtranslation,xanalysis]
其中,xcontent、xtranslation、xanalysis表示古诗词内容句向量、古诗词翻译句向量、古诗词赏析句向量,[·]表示拼接操作,xtotal表示最后得到的综合古诗词向量样本。
在一个实施例中,对分词处理后的古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤,包括:
根据古汉语停用词表对所述古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤;
根据现代汉语停用词表对过滤后的古诗词翻译和古诗词赏析进行停用词过滤。
示例性的,古诗词内容、古诗词翻译和古诗词赏析分别是古汉语以及现代汉语的表述,因此,其对于停用词的定义也不同。如“之”、“而”、“乃”等虚词在古汉语中本身往往没有实际的含义,且出现的频率较高,因此可以被认为是停用词。而对于现代汉语而言,像“我们”、“以上”、“例如”之类的词语虽然有实际的意义,但是由于出现的频率都较高,相对的语义信息较弱,因此在现代汉语中也会认为是停用词。根据古汉语停用词和现代汉语停用词对于古诗词的内容、翻译和赏析进行停用词的过滤。
在一个实施例中,所述待训练的多任务学习模型包括:共享Bi-LSTM层、第一Bi-LSTM层、第二Bi-LSTM层、第三Bi-LSTM层、第一softmax层、第二softmax层和第三softmax层,所述共享Bi-LSTM层和所述第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层相连,所述第一Bi-LSTM层、第二Bi-LSTM层、第三Bi-LSTM层各自单独训练,所述第一Bi-LSTM层和所述第一softmax层相连,所述第二Bi-LSTM层和所述第二softmax层相连,所述第三Bi-LSTM层和所述第三softmax层相连;
相应的,将所述综合古诗词向量样本输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签,包括:
将所述综合古诗词向量样本输入共享Bi-LSTM层,并将所述共享Bi-LSTM层的输出作为第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层的输入;
将所述第一Bi-LSTM层的输出作为第一softmax层的输入,将所述第二Bi-LSTM层的输出作为第二softmax层的输入和第三Bi-LSTM层的输出作为第三softmax层的输入;
根据所述第一softmax层的输出得到第一预测分类标签,根据所述第二softmax层的输出得到第二预测分类标签,根据所述第三softmax层的输出得到第三预测分类标签。
示例性的,如图1a所示,利用网络爬虫技术,从网络上爬取古诗词数据,使用中文分词技术对于古诗词内容、古诗词翻译和古诗词赏析分别进行中文分词,基于古汉语停用词表和现代汉语停用词表对于分词后的古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤处理,得到古诗词文本。根据古诗词文本确定古诗词内容样本、古诗词翻译样本和古诗词赏析样本,将古诗词内容样本、古诗词翻译样本和古诗词赏析样本输入ERNIE 2.0模型得到内容句向量、翻译句向量和赏析句向量,根据内容句向量、翻译句向量和赏析句向量生成综合古诗词向量样本。将综合古诗词向量样本输入共享Bi-LSTM层,将所述共享Bi-LSTM层的输出作为第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层的输入,将所述第一Bi-LSTM层的输出作为第一softmax层的输入,将所述第二Bi-LSTM层的输出作为第二softmax层的输入和第三Bi-LSTM层的输出作为第三softmax层的输入;根据所述第一softmax层的输出得到第一预测分类标签,根据所述第二softmax层的输出得到第二预测分类标签,根据所述第三softmax层的输出得到第三预测分类标签。根据所述第一预测分类标签、所述古诗词内容句向量对应的分类标签、所述第二预测分类标签、所述古诗词翻译向量对应的分类标签所述第三预测分类标签和所述古诗词赏析向量对应的分类标签形成的目标函数训练所述待训练的多任务学习模型的模型结构和模型参数;返回执行将所述综合古诗词向量输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签的操作,直至得到多任务学习模型。在训练得到多任务学习模型之后,根据待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析确定内容句向量、翻译句向量和赏析句向量,根据内容句向量、翻译句向量和赏析句向量生成综合古诗词向量,将综合古诗词向量输入共享Bi-LSTM层,并将所述共享Bi-LSTM层的输出作为第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层的输入;将所述第一Bi-LSTM层的输出作为第一softmax层的输入,将所述第二Bi-LSTM层的输出作为第二softmax层的输入和第三Bi-LSTM层的输出作为第三softmax层的输入;根据所述第一softmax层的输出得到第一目标分类标签,根据所述第二softmax层的输出得到第二目标分类标签,根据所述第三softmax层的输出得到第三目标分类标签,对所述第一目标分类标签、第二目标分类标签和第三目标分类标签进行投票,根据投票结果确定分类结果。
在一个实施例中,根据所述第一预测分类标签、所述古诗词内容样本对应的分类标签、所述第二预测分类标签、所述古诗词翻译样本对应的分类标签所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成的目标函数训练所述待训练的多任务学习模型的模型结构和模型参数,包括:
根据所述第一预测分类标签和所述古诗词内容样本对应的分类标签形成第一函数;
根据所述第二预测分类标签和所述古诗词翻译样本对应的分类标签形成第二函数;
根据所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成第三函数;
根据所述第一函数、第二函数和第三函数生成目标函数;
根据所述目标函数训练所述待训练的多任务学习模型的模型结构和模型参数。
在一个实施例中,根据第一函数、第二函数和第三函数生成目标函数,包括:
基于如下公式生成目标函数:
Ltotal=αLcontent+βLtranslation+γLanalysis;
其中,Lcontent为第一函数,Ltranslation为第二函数,Lanalysis为第三函数,Ltotal为目标函数,α为第一函数的权重,β为第二函数的权重,γ为第三函数的权重。
在一个实施例中,所述目标分类标签包括第一目标分类标签、第二目标分类标签和第三目标分类标签;
相应的,根据所述目标分类标签确定所述待分类古诗词数据的分类结果,包括:
将所述第一目标分类标签、第二目标分类标签和所述第三目标分类标签中至少两个相同的目标分类标签确定为所述待分类古诗词数据的分类结果。
在一个实施例中,所述目标分类标签包括第一目标分类标签、第二目标分类标签和第三目标分类标签;
相应的,根据所述目标分类标签确定所述待分类古诗词数据的分类结果,包括:
若所述第一目标分类标签、第二目标分类标签和第三目标分类标签均不相同,则获取所述第一目标分类标签对应的第一概率数据、第二目标分类标签对应的第二概率数据和第三目标分类标签对应的第三概率数据;
将所述第一概率数据、第二概率数据和第三概率数据中最大的概率数据对应的目标分类标签确定为所述待分类古诗词数据的分类结果。
在一个示例的例子中,通过共享Bi-LSTM对内容句向量、翻译句向量和赏析句向量进行特征学习。对于每个不同的句向量用各自的Bi-LSTM进行单独的学习。由于这整个过程当中,有各自的Bi-LSTM,因此能够学习到各自的特征;此外,由于共享Bi-LSTM对内容句向量、翻译句向量和赏析句向量进行学习,因此能够联合学习古诗词内容、古诗词翻译和古诗词赏析之间的一些共性特征。综合这部分信息来帮助最后的分类。在各自的Bi-LSTM之后,使用softmax作为激活函数,得到待分类古诗词数据在各个不同类别下的得分,选择softmax各个维度中得分最高的作为分类的结果。由于此处有三个不同的子模型进行学习,因此会得到三个结果,对于这三个结果,使用投票的方式,得到最后的分类结果。在损失函数的设计上,由于有三个部分的学习,因此损失函数如下所示:Ltotal=αLcontent+βLtranslation+γLanalysis,其中,Lcontent为第一函数,Ltranslation为第二函数,Lanalysis为第三函数,Ltotal为目标函数,α为第一函数的权重,β为第二函数的权重,γ为第三函数的权重。第一函数、第二函数和第三函数均为交叉熵损失函数。α,β和γ为一组先验给定的参数。根据下游任务的调参来辅助确定。
现有技术中只将古诗词内容作为古诗词分类的基础数据,在古诗词发展的过程中,涌现了许多不同的专家、学者和老师对于古诗词做了一些翻译、赏析等内容的补充。这部分内容由于是现代汉语的表达,因此其可读性更好,在很多场景下更容易看出古诗词表达的内容,若能够充分利用这部分的内容,势必能够提升古诗词分类的精准度。
本发明实施例不需要人为建立映射关系,可拓展性强,相比与其他方案需要人为建立风格、思想感情、类别以及意向表,需要大量的人为参与,本发明实施例可以直接对于古诗词的文本进行处理,大大节省人力成本。并且对于新增的分类标签,在模型整体架构不变的情况下仅需要有对应的数据集就可以进行新增标签的分类,拓展性较强。本发明实施例使用了深度神经网络进行学习,并且引入了外部的预训练语言模型,可以在学习的过程中自适应的调整参数,具有更强的学习能力和泛化能力。相比之前仅仅使用了古诗词内容本身的数据,本发明实施例利用了古诗词内容、古诗词翻译和古诗词赏析等内容,利用多任务学习的框架将这三个部分整合起来,在彼此独立学习的同时,又有共享的特征,能够将多种数据来源整合在一起提升最后模型的效果。
本发明通过获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析中的一种或多种;将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;根据所述目标分类标签确定所述待分类古诗词数据的分类结果。利用上述技术方案,能够提升古诗词分类的精准度。
实施例二
图2为本发明实施例二提供的一种古诗词分类装置的结构示意图,该装置可适用于古诗词分类的情况,其中该古诗词分类装置可由软件和/或硬件实现,并一般集成在终端设备上。
如图2所示,该古诗词分类装置包括:获取模块21、训练模块22和确定模块23。
其中,获取模块21,用于获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析中的一种或多种;
训练模块22,用于将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
确定模块23,用于根据所述目标分类标签确定所述待分类古诗词数据的分类结果。
可选的,所述训练模块具体用于:
获取古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
根据所述古诗词内容样本、古诗词翻译样本和古诗词赏析样本生成综合古诗词向量样本;
将所述综合古诗词向量样本输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签;
根据所述第一预测分类标签、所述古诗词内容样本对应的分类标签、所述第二预测分类标签、所述古诗词翻译样本对应的分类标签所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成的目标函数训练所述待训练的多任务学习模型的模型结构和模型参数;
返回执行将所述综合古诗词向量输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签的操作,直至得到多任务学习模型。
可选的,所述训练模块具体用于:
利用网络爬虫技术,从网络上爬取古诗词内容、古诗词翻译和古诗词赏析;
对所述古诗词内容、古诗词翻译和古诗词赏析进行分词处理;
对分词处理后的古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤,得到古诗词文本;
根据所述古诗词文本确定古诗词内容样本、古诗词翻译样本和古诗词赏析样本。
可选的,所述训练模块具体用于:
将所述古诗词内容样本中的词输入语音模型,得到内容词向量;
根据古诗词内容样本中的句子中每个词的内容词向量的平均值得到内容句向量;
将所述古诗词翻译样本中的词输入语音模型,得到翻译词向量;
根据古诗词翻译样本中的句子中每个词的翻译词向量的平均值得到翻译句向量;
将所述古诗词赏析样本中的词输入语音模型,得到赏析词向量;根据古诗词赏析样本中的句子中每个词的赏析词向量的平均值得到赏析句向量;
根据所述内容句向量、翻译句向量和赏析句向量生成综合古诗词向量样本。
可选的,所述训练模块还用于:
根据古汉语停用词表对所述古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤;
根据现代汉语停用词表对过滤后的古诗词翻译和古诗词赏析进行停用词过滤。
可选的,所述待训练的多任务学习模型包括:共享Bi-LSTM层、第一Bi-LSTM层、第二Bi-LSTM层、第三Bi-LSTM层、第一softmax层、第二softmax层和第三softmax层,所述共享Bi-LSTM层和所述第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层相连,所述第一Bi-LSTM层、第二Bi-LSTM层、第三Bi-LSTM层各自单独训练,所述第一Bi-LSTM层和所述第一softmax层相连,所述第二Bi-LSTM层和所述第二softmax层相连,所述第三Bi-LSTM层和所述第三softmax层相连;
相应的,所述训练模块具体用于:
将所述综合古诗词向量样本输入共享Bi-LSTM层,并将所述共享Bi-LSTM层的输出作为第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层的输入;
将所述第一Bi-LSTM层的输出作为第一softmax层的输入,将所述第二Bi-LSTM层的输出作为第二softmax层的输入和第三Bi-LSTM层的输出作为第三softmax层的输入;
根据所述第一softmax层的输出得到第一预测分类标签,根据所述第二softmax层的输出得到第二预测分类标签,根据所述第三softmax层的输出得到第三预测分类标签。
可选的,所述训练模块具体用于:
根据所述第一预测分类标签和所述古诗词内容样本对应的分类标签形成第一函数;
根据所述第二预测分类标签和所述古诗词翻译样本对应的分类标签形成第二函数;
根据所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成第三函数;
根据所述第一函数、第二函数和第三函数生成目标函数;
根据所述目标函数训练所述待训练的多任务学习模型的模型结构和模型参数。
可选的,所述训练模块具体用于:
基于如下公式生成目标函数:
Ltotal=αLcontent+βLtranslation+γLanalysis;
其中,Lcontent为第一函数,Ltranslation为第二函数,Lanalysis为第三函数,Ltotal为目标函数,α为第一函数的权重,β为第二函数的权重,γ为第三函数的权重。
可选的,所述目标分类标签包括第一目标分类标签、第二目标分类标签和第三目标分类标签;
相应的,所述确定模块具体用于:
将所述第一目标分类标签、第二目标分类标签和所述第三目标分类标签中至少两个相同的目标分类标签确定为所述待分类古诗词数据的分类结果。
可选的,所述目标分类标签包括第一目标分类标签、第二目标分类标签和第三目标分类标签;
相应的,所述确定模块还用于:
若所述第一目标分类标签、第二目标分类标签和第三目标分类标签均不相同,则获取所述第一目标分类标签对应的第一概率数据、第二目标分类标签对应的第二概率数据和第三目标分类标签对应的第三概率数据;
将所述第一概率数据、第二概率数据和第三概率数据中最大的概率数据对应的目标分类标签确定为所述待分类古诗词数据的分类结果。
上述古诗词分类装置可执行本发明任意实施例所提供的古诗词分类方法,具备执行方法相应的功能模块和有益效果。
实施例三
图3为本发明实施例三提供的一种终端设备的结构示意图。如图3所示,本发明实施例三提供的终端设备包括:一个或多个处理器31和存储装置32;该终端设备中的处理器31可以是一个或多个,图3中以一个处理器31为例;存储装置32用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器31执行,使得所述一个或多个处理器31实现如本发明实施例中任一项所述的古诗词分类方法。
所述终端设备还可以包括:输入装置33和输出装置34。
终端设备中的处理器31、存储装置32、输入装置33和输出装置34可以通过总线或其他方式连接,图3中以通过总线连接为例。
该终端设备中的存储装置32作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例一所提供古诗词分类方法对应的程序指令/模块(例如,附图2所示的古诗词分类装置中的模块,包括:获取模块21、训练模块22和确定模块23)。处理器31通过运行存储在存储装置32中的软件程序、指令以及模块,从而执行终端设备的各种功能应用以及数据处理,即实现上述方法实施例中古诗词分类方法。
存储装置32可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储装置32可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置32可进一步包括相对于处理器31远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可用于接收输入的数字或字符信息,以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。
并且,当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器31执行时,程序进行如下操作:
获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析中的一种或多种;
将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
根据所述目标分类标签确定所述待分类古诗词数据的分类结果。
实施例四
本发明实施例四提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行古诗词分类方法,该方法包括:
获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译和待分类古诗词赏析中的一种或多种;
将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
根据所述目标分类标签确定所述待分类古诗词数据的分类结果。
可选的,该程序被处理器执行时还可以用于执行本发明任意实施例所提供的古诗词分类方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、无线电频率(Radio Frequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如python,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种古诗词分类方法,其特征在于,包括:
获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译以及待分类古诗词赏析;
将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
根据所述目标分类标签确定所述待分类古诗词数据的分类结果;
所述多任务学习模型的训练方法,包括:
获取古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
根据所述古诗词内容样本、古诗词翻译样本和古诗词赏析样本生成综合古诗词向量样本;
将所述综合古诗词向量样本输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签;
根据所述第一预测分类标签、所述古诗词内容样本对应的分类标签、所述第二预测分类标签、所述古诗词翻译样本对应的分类标签、所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成的目标函数训练所述待训练的多任务学习模型的模型结构和模型参数;
返回执行将所述综合古诗词向量输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签的操作,直至得到多任务学习模型;
所述目标分类标签包括第一目标分类标签、第二目标分类标签和第三目标分类标签;
相应的,根据所述目标分类标签确定所述待分类古诗词数据的分类结果,包括:
将所述第一目标分类标签、第二目标分类标签和所述第三目标分类标签中至少两个相同的目标分类标签确定为所述待分类古诗词数据的分类结果;
若所述第一目标分类标签、第二目标分类标签和第三目标分类标签均不相同,则获取所述第一目标分类标签对应的第一概率数据、第二目标分类标签对应的第二概率数据和第三目标分类标签对应的第三概率数据,将所述第一概率数据、第二概率数据和第三概率数据中最大的概率数据对应的目标分类标签确定为所述待分类古诗词数据的分类结果。
2.根据权利要求1所述的方法,其特征在于,获取古诗词内容样本、古诗词翻译样本和古诗词赏析样本,包括:
利用网络爬虫技术,从网络上爬取古诗词内容、古诗词翻译和古诗词赏析;
对所述古诗词内容、古诗词翻译和古诗词赏析进行分词处理;
对分词处理后的古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤,得到古诗词文本;
根据所述古诗词文本确定古诗词内容样本、古诗词翻译样本和古诗词赏析样本。
3.根据权利要求2所述的方法,其特征在于,根据所述古诗词内容样本、古诗词翻译样本和古诗词赏析样本生成综合古诗词向量样本,包括:
将所述古诗词内容样本中的词输入语音模型,得到内容词向量;
根据古诗词内容样本中的句子中每个词的内容词向量的平均值得到内容句向量;
将所述古诗词翻译样本中的词输入语音模型,得到翻译词向量;
根据古诗词翻译样本中的句子中每个词的翻译词向量的平均值得到翻译句向量;
将所述古诗词赏析样本中的词输入语音模型,得到赏析词向量;根据古诗词赏析样本中的句子中每个词的赏析词向量的平均值得到赏析句向量;
根据所述内容句向量、翻译句向量和赏析句向量生成综合古诗词向量样本。
4.根据权利要求2所述的方法,其特征在于,对分词处理后的古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤,包括:
根据古汉语停用词表对所述古诗词内容、古诗词翻译和古诗词赏析进行停用词过滤;
根据现代汉语停用词表对过滤后的古诗词翻译和古诗词赏析进行停用词过滤。
5.根据权利要求1所述的方法,其特征在于,所述待训练的多任务学习模型包括:共享Bi-LSTM层、第一Bi-LSTM层、第二Bi-LSTM层、第三Bi-LSTM层、第一softmax层、第二softmax层和第三softmax层,所述共享Bi-LSTM层和所述第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层相连,所述第一Bi-LSTM层、第二Bi-LSTM层、第三Bi-LSTM层各自单独训练,所述第一Bi-LSTM层和所述第一softmax层相连,所述第二Bi-LSTM层和所述第二softmax层相连,所述第三Bi-LSTM层和所述第三softmax层相连;
相应的,将所述综合古诗词向量样本输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签,包括:
将所述综合古诗词向量样本输入共享Bi-LSTM层,并将所述共享Bi-LSTM层的输出作为第一Bi-LSTM层、第二Bi-LSTM层和第三Bi-LSTM层的输入;
将所述第一Bi-LSTM层的输出作为第一softmax层的输入,将所述第二Bi-LSTM层的输出作为第二softmax层的输入和第三Bi-LSTM层的输出作为第三softmax层的输入;
根据所述第一softmax层的输出得到第一预测分类标签,根据所述第二softmax层的输出得到第二预测分类标签,根据所述第三softmax层的输出得到第三预测分类标签。
6.根据权利要求1所述的方法,其特征在于,根据所述第一预测分类标签、所述古诗词内容样本对应的分类标签、所述第二预测分类标签、所述古诗词翻译样本对应的分类标签、所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成的目标函数训练所述待训练的多任务学习模型的模型结构和模型参数,包括:
根据所述第一预测分类标签和所述古诗词内容样本对应的分类标签形成第一函数;
根据所述第二预测分类标签和所述古诗词翻译样本对应的分类标签形成第二函数;
根据所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成第三函数;
根据所述第一函数、第二函数和第三函数生成目标函数;
根据所述目标函数训练所述待训练的多任务学习模型的模型结构和模型参数。
7.根据权利要求6所述的方法,其特征在于,根据第一函数、第二函数和第三函数生成目标函数,包括:
基于如下公式生成目标函数:
;
其中,为第一函数,/>为第二函数,/>为第三函数,/>为目标函数,/>为第一函数的权重,/>为第二函数的权重,/>为第三函数的权重。
8.一种古诗词分类装置,其特征在于,包括:
获取模块,用于获取待分类古诗词数据,其中,所述待分类古诗词数据包括:待分类古诗词内容、待分类古诗词翻译以及待分类古诗词赏析;
训练模块,用于将所述待分类古诗词数据输入多任务学习模型中,得到与所述待分类古诗词数据对应的目标分类标签,所述多任务学习模型根据训练样本训练得到,所述训练样本包括:古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
确定模块,用于根据所述目标分类标签确定所述待分类古诗词数据的分类结果;
所述训练模块具体用于:
获取古诗词内容样本、古诗词内容样本携带的分类标签、古诗词翻译样本、古诗词翻译样本携带的分类标签、古诗词赏析样本和古诗词赏析样本携带的分类标签;
根据所述古诗词内容样本、古诗词翻译样本和古诗词赏析样本生成综合古诗词向量样本;
将所述综合古诗词向量样本输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签;
根据所述第一预测分类标签、所述古诗词内容样本对应的分类标签、所述第二预测分类标签、所述古诗词翻译样本对应的分类标签、所述第三预测分类标签和所述古诗词赏析样本对应的分类标签形成的目标函数训练所述待训练的多任务学习模型的模型结构和模型参数;
返回执行将所述综合古诗词向量输入至待训练的多任务学习模型中,得到第一预测分类标签、第二预测分类标签和第三预测分类标签的操作,直至得到多任务学习模型;
所述目标分类标签包括第一目标分类标签、第二目标分类标签和第三目标分类标签;
相应的,所述确定模块具体用于:
将所述第一目标分类标签、第二目标分类标签和所述第三目标分类标签中至少两个相同的目标分类标签确定为所述待分类古诗词数据的分类结果;
若所述第一目标分类标签、第二目标分类标签和第三目标分类标签均不相同,则获取所述第一目标分类标签对应的第一概率数据、第二目标分类标签对应的第二概率数据和第三目标分类标签对应的第三概率数据,将所述第一概率数据、第二概率数据和第三概率数据中最大的概率数据对应的目标分类标签确定为所述待分类古诗词数据的分类结果。
9.一种终端设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011496486.4A CN112434165B (zh) | 2020-12-17 | 2020-12-17 | 一种古诗词分类方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011496486.4A CN112434165B (zh) | 2020-12-17 | 2020-12-17 | 一种古诗词分类方法、装置、终端设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112434165A CN112434165A (zh) | 2021-03-02 |
CN112434165B true CN112434165B (zh) | 2023-11-07 |
Family
ID=74696663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011496486.4A Active CN112434165B (zh) | 2020-12-17 | 2020-12-17 | 一种古诗词分类方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112434165B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116070643B (zh) * | 2023-04-03 | 2023-08-15 | 武昌理工学院 | 一种古文到英文的固定风格翻译方法及系统 |
CN116628256A (zh) * | 2023-05-22 | 2023-08-22 | 杭州晨星创文网络科技有限公司 | 一种用于数据库平台的诗词分类方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567424A (zh) * | 2010-12-31 | 2012-07-11 | 成都致远诺亚舟教育科技有限公司 | 一种诗词关联库系统及其实现方法和电子学习设备 |
CN107783960A (zh) * | 2017-10-23 | 2018-03-09 | 百度在线网络技术(北京)有限公司 | 用于抽取信息的方法、装置和设备 |
CN110717039A (zh) * | 2019-09-17 | 2020-01-21 | 平安科技(深圳)有限公司 | 文本分类方法和装置、电子设备、计算机可读存储介质 |
CN110825850A (zh) * | 2019-11-07 | 2020-02-21 | 哈尔滨工业大学(深圳) | 一种自然语言主题分类方法及装置 |
CN111522945A (zh) * | 2020-04-10 | 2020-08-11 | 南通大学 | 一种基于卡方检验的诗词风格分析方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017090051A1 (en) * | 2015-11-27 | 2017-06-01 | Giridhari Devanathan | A method for text classification and feature selection using class vectors and the system thereof |
-
2020
- 2020-12-17 CN CN202011496486.4A patent/CN112434165B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567424A (zh) * | 2010-12-31 | 2012-07-11 | 成都致远诺亚舟教育科技有限公司 | 一种诗词关联库系统及其实现方法和电子学习设备 |
CN107783960A (zh) * | 2017-10-23 | 2018-03-09 | 百度在线网络技术(北京)有限公司 | 用于抽取信息的方法、装置和设备 |
CN110717039A (zh) * | 2019-09-17 | 2020-01-21 | 平安科技(深圳)有限公司 | 文本分类方法和装置、电子设备、计算机可读存储介质 |
CN110825850A (zh) * | 2019-11-07 | 2020-02-21 | 哈尔滨工业大学(深圳) | 一种自然语言主题分类方法及装置 |
CN111522945A (zh) * | 2020-04-10 | 2020-08-11 | 南通大学 | 一种基于卡方检验的诗词风格分析方法 |
Non-Patent Citations (1)
Title |
---|
古诗词图谱的构建及分析研究;刘昱彤;吴斌;白婷;;计算机研究与发展(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112434165A (zh) | 2021-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110168535B (zh) | 一种信息处理方法及终端、计算机存储介质 | |
CN110516073A (zh) | 一种文本分类方法、装置、设备和介质 | |
CN105279495A (zh) | 一种基于深度学习和文本总结的视频描述方法 | |
CN112434165B (zh) | 一种古诗词分类方法、装置、终端设备及存储介质 | |
CN104809142A (zh) | 商标查询系统和方法 | |
EP2430568A1 (en) | Methods and systems for knowledge discovery | |
CN109635295B (zh) | 一种基于语义分析的诗词检索方法及系统 | |
CN108363691B (zh) | 一种用于电力95598工单的领域术语识别系统及方法 | |
CN115080694A (zh) | 一种基于知识图谱的电力行业信息分析方法及设备 | |
CN112800184B (zh) | 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法 | |
CN106682236A (zh) | 基于机器学习的专利数据处理方法及其处理系统 | |
CN109325120A (zh) | 一种分离用户和产品注意力机制的文本情感分类方法 | |
CN103853746A (zh) | 词库生成方法及其系统、输入法及输入系统 | |
CN107862069A (zh) | 一种分类数据库的构建方法以及图书分类的方法 | |
CN115935995A (zh) | 面向知识图谱生成的非遗丝织领域实体关系抽取方法 | |
Boncompagni | Elucidating forms of life. The evolution of a philosophical tool | |
Walha et al. | A Lexicon approach to multidimensional analysis of tweets opinion | |
Al-Sultany et al. | Enriching tweets for topic modeling via linking to the wikipedia | |
CN114417974B (zh) | 模型训练方法、信息处理方法、装置、电子设备和介质 | |
CN114970557A (zh) | 基于知识增强的跨语言结构化情感分析方法 | |
CN113298365B (zh) | 一种基于lstm的文化附加值评估方法 | |
CN101236615A (zh) | 一种智能发音学习语料生成方法 | |
Gaidienė | European Language Equality in the Digital Age: The Case of Lithuania | |
CN116226677B (zh) | 平行语料构建方法及装置、存储介质及电子设备 | |
CN109947930A (zh) | 摘要生成方法、装置、终端及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |