CN112214602A - 基于幽默度的文本分类方法、装置、电子设备及存储介质 - Google Patents
基于幽默度的文本分类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112214602A CN112214602A CN202011144840.7A CN202011144840A CN112214602A CN 112214602 A CN112214602 A CN 112214602A CN 202011144840 A CN202011144840 A CN 202011144840A CN 112214602 A CN112214602 A CN 112214602A
- Authority
- CN
- China
- Prior art keywords
- text
- training set
- standard
- original
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 233
- 238000013145 classification model Methods 0.000 claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 239000002699 waste material Substances 0.000 abstract description 2
- 235000012771 pancakes Nutrition 0.000 description 14
- 241001605685 Nepheronia Species 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 235000013305 food Nutrition 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及人工智能技术，可应用于数字医疗领域，揭露一种基于幽默度的文本分类方法，包括：利用替换词对集替换第一原始文本训练集中的部分词语，得到第二原始文本训练集；组合标准类别集及所述第一原始文本训练集得到第一标准文本训练集，及组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集；利用所述第一标准文本训练集、所述第二标准文本训练集训练文本分类模型；利用训练完成的所述文本分类模型对待分类文本进行文本分类。此外，本发明还揭露一种基于幽默度的文本分类装置、电子设备及存储介质。本发明还涉及区块链技术，第一原始文本训练集等可以从区块链中获取。本发明可以解决训练数据较为浪费，分类效果不好的问题。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于幽默度的文本分类方法、装置、电子设备及计算机可读存储介质。
背景技术
当下，数字医疗比较火热，如何让医疗行业最来越智能化成为当下的热点，比如，像自然语言处理等技术，越来越多的应用于数字医疗领域中。
随着深度学习的快速发展，自然语言处理领域不断被延伸，如当下火热的文本分类。现有的文本分类方法层出不穷，如以朴素贝叶斯、支持向量机为代表的机器学习，或以卷积神经网络、循环神经网络为代表的深度学习等，但每种方法的核心点均是识别出文本内关键字，并根据关键字完成分类工作，如识别出具有幽默度的关键字，并根据幽默度类关键字实现文本分类。
目前基于幽默度的文本分类方法，虽然可达到分类目的，但由于在分类前的训练阶段时，所使用的训练数据集内的训练数据互相独立，缺乏训练数据的对比训练，导致训练数据较为浪费，分类效果有待加强的问题。
发明内容
本发明提供一种基于幽默度的文本分类方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决训练数据较为浪费，分类效果不好的问题。
为实现上述目的，本发明提供的一种基于幽默度的文本分类方法，包括：
获取第一原始文本训练集、替换词对集及原始类别集，利用所述替换词对集替换所述第一原始文本训练集内的原始文本，得到第二原始文本训练集；
利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集；
组合所述标准类别集及所述第一原始文本训练集得到第一标准文本训练集，及组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集；
接收用户对所述第一标准文本训练集及所述第二标准文本训练集的幽默度评级，得到幽默度级别集；
利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型；
接收待分类文本，利用训练完成的所述文本分类模型对所述待分类文本进行类型评级，根据所述类型评级得到分类结果。
可选地，所述利用所述替换词对集替换所述第一原始文本训练集内的原始文本，得到第二原始文本训练集，包括：
在所述第一原始文本训练集内，查询在所述替换词对集中出现的词语，得到待替换词对集；
利用所述待替换词对集，对所述第一原始文本训练集中的词语执行替换操作，得到所述第二原始文本训练集。
可选地，所述利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集，之前还包括：
利用预构建的替换模板，生成与所述待替换词对集对应的替换日志集；
将所述替换日志集添加至所述第一原始文本训练集及所述第二原始文本训练集。
可选地，所述组合所述标准类别集及所述第一原始文本训练集得到第一标准文本训练集，及组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集，包括：
从所述标准类别集中查找所述待替换词对集的所属类别集，将所述所属类别集添加至所述替换日志集中；
将添加后的所述替换日志集，分别与所述第一原始文本训练集及所述第二原始文本训练集进行结合，得到所述第一标准文本训练集及所述第二标准文本训练集。
可选地，所述利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集，包括：
根据用户设置的聚类数，利用预设的聚类算法及所述替换词对集，对所述原始类别集进行聚类操作，得到所述标准类别集。
可选地，所述利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型之前，还包括：
利用双向编码器表征量构建向量转化模块；
利用所述双向编码器表征量改进预构建的文本匹配模型，得到幽默度评级模块；
组合所述向量转化模块及所述幽默度评级模块，得到所述文本分类模型。
可选地，所述利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型，包括：
利用所述向量转化模块，将所述第一标准文本训练集及所述第二标准文本训练集转化为第一文本向量训练集及第二文本向量训练；
利用所述幽默度评级模块，预测所述第一文本向量训练集及第二文本向量训练集的幽默度，得到预测幽默度集；
计算所述预测幽默度集与所述幽默度级别集的误差值，若所述误差值大于或等于预设的误差阈值，调整所述向量转化模块及所述幽默度评分模块的内部参数；
直至所述误差值小于所述误差阈值，得到训练完成的文本分类模型。
为了解决上述问题，本发明还提供一种基于幽默度的文本分类装置，所述装置包括：
原始训练文本生成模块，用于获取第一原始文本训练集、替换词对集及原始类别集，利用所述替换词对集替换所述第一原始文本训练集内的原始文本，得到第二原始文本训练集；
标准训练文本生成模块，用于利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集，组合所述标准类别集及所述第一原始文本训练集得到第一标准文本训练集，及组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集；
模型训练模块，用于接收用户对所述第一标准文本训练集及所述第二标准文本训练集的幽默度评级，得到幽默度级别集，利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型；
文本分类模块，用于接收待分类文本，利用训练完成的所述文本分类模型对所述待分类文本进行类型评级，根据所述类型评级得到分类结果。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于幽默度的文本分类方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，包括存储数据区和存储程序区，其中，所述存储数据区存储创建的数据，所述存储程序区存储有计算机程序；其中，所述计算机程序被处理器执行时实现上述所述的基于幽默度的文本分类方法。
本发明实施例先利用替换词对集替换第一原始文本训练集内的原始文本，得到第二原始文本训练集，同时将聚类得到的标准类别集及所述第一原始文本训练集进行组合得到第一标准文本训练集，并组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集，相比于传统的文本分类训练阶段仅利用第一原始文本训练集进行训练而言，本发明实施例将第一标准文本训练集及第二标准文本训练集均作为训练集训练模型，且由于第二标准文本训练集是根据所述替换词对集替换第一原始文本训练集而得来，因此第一标准文本训练集及第二标准文本训练集具有对应关系，在训练阶段，模型可将这两类训练集作为对比训练，从而加速并提高模型学习这俩类文本的异同点，进一步提高模型的文本分类能力，因此本发明提出的基于幽默度的文本分类方法、装置及计算机可读存储介质，可以解决训练数据较为浪费，分类效果有待加强的问题。
附图说明
图1为本发明一实施例提供的基于幽默度的文本分类方法的流程示意图；
图2为本发明一实施例提供的基于幽默度的文本分类方法中S1的详细流程示意图；
图3为本发明一实施例提供的基于幽默度的文本分类方法中S2的详细流程示意图；
图4为本发明一实施例提供的基于幽默度的文本分类装置的模块示意图；
图5为本发明一实施例提供的实现基于幽默度的文本分类方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于幽默度的文本分类方法。所述基于幽默度的文本分类方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于幽默度的文本分类方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的基于幽默度的文本分类方法的流程示意图。在本实施例中，所述基于幽默度的文本分类方法包括：
S1、获取第一原始文本训练集、替换词对集及原始类别集，利用所述替换词对集替换所述第一原始文本训练集内的原始文本，得到第二原始文本训练集。
本发明较佳实施例中，所述第一原始文本训练集包括用户预先收集或网络爬取的各种幽默相关的文本集合，如所述第一原始文本训练集中的原始文本A为：“I am done fedup with California,some conservatives look to texas”。
进一步地，所述替换词对集是由语言专家根据本国文化整理得到，包括具有相近含义的替换词对，如替换词对conservatives---vagrants，表示单词conservatives可以和单词vagrants互相代替；替换词对California---pancakes，表示单词California可以和单词pancakes互相代替。
详细地，所述原始类别集中记录了所述替换词对集中部分词语的所属类别。但由于替换词对集中替换词对数量多，为了节约人力，在原始类别集中只记录部分替换词的所属类别，如在原始类别集中记录单词vagrants的所属类别为roles，可能并未记录单词pancakes的所属类别为foods。
详细地，参阅图2所示，所述利用所述替换词对集替换所述第一原始文本训练集内的原始文本，得到第二原始文本训练集，包括：
S11、在所述第一原始文本训练集内，查询在所述替换词对集中出现的词语，得到待替换词对集。
S12、利用所述待替换词对集，对所述第一原始文本训练集中的词语执行替换操作，得到所述第二原始文本训练集。
如上述原始文本A为：“I am done fed up with California,someconservatives look to texas”，通过查询可知，California及conservatives在替换词对集中出现，因此California及conservatives即为待替换词对集中的待替换词语。
通过所述替换词对集进一步查询可知，California可被pancakes替换，conservatives可被vagrants替换，由此原始文本A通过替换词对集进行替换，可得到原始文本B：“I am done fed up with pancakes,some vagrants look to texas”。
S2、利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集。
本发明较佳实施例中，所述S2之前还包括：利用预构建的替换模板，生成与所述待替换词对集对应的替换日志集，将所述替换日志集添加至所述第一原始文本训练集及所述第二原始文本训练集。
通常，原始文本A可能包含了几千个单词的文本数据，当仅把原始文本A的某几个词进行替换，生成原始文本B时，如仅把California替换为pancakes，conservatives替换为vagrants，原始文本A及原始文本B的差异性会很小，不利于后续模型在训练时学习文本特征，为了突出第一原始文本训练集及第二原始文本训练集的差异性，本发明较佳实施例进一步利用预构建的替换模板生成与所述待替换词对集对应的替换日志，扩大两个训练集的差异性。其中，所述替换模板是根据替换词对集构建好的话术模板，如替换模板为：“wereplaced A with B”，其中A和B是所述替换词对集中的词对，所述替换日志是根据所述待替换词对集及所述替换模板生成的文本，如“we replaced conservatives withvagrants”、“we replaced California with pancakes”。
本发明实施例进一步地将所述替换日志集添加至所述第一原始文本训练集及所述第二原始文本训练集。如将替换日志““we replaced conservatives with vagrants”、“we replaced California with pancakes””添加到原始文本A“I am done fed up withCalifornia,some conservatives look to texas”中，得到：
“I am done fed up with California,some conservatives look to texas”
“we replaced conservatives with vagrants”
“we replaced California with pancakes”
将替换日志“we replaced conservatives with vagrants”、“we replacedCalifornia with pancakes”添加到原始文本B“I am done fed up with pancakes,somevagrants look to texas”中得到：
“I am done fed up with pancakes,some vagrants look to texas”
“we replaced conservatives with vagrants”
“we replaced California with pancakes”
由上所述可知，所述原始类别集中记录了所述替换词对集中部分词语的所属类别，但是还有部分替换词在所述原始类别集并未记录其所属类别，故需进行聚类操作，完善每个替换词的所属类别，详细地，所述S2包括根据用户设置的聚类数，利用预设的聚类算法及所述替换词对集，对所述原始类别集进行聚类操作，得到所述标准类别集。
如接收用户输入的聚类数，判断所述聚类数与所述原始类别集的类别数大小关系，若所述聚类数小于或等于所述类别数，重新接收用户输入的聚类数，若所述聚类数大于所述类别数，利用预设的聚类算法及所述替换词对集，对所述原始类别集进行聚类操作，得到所述标准类别集；
本发明所述聚类数即是所述标准类别集的所属类别数，如用户输入的聚类数为30，表示用户希望后续得到的所述标准类别集的所属类别数为30。若原始类别集的所属类别数为50个，而用户输入的聚类数为30个，因此不符合逻辑，需用户重新输入大于所属类别数50的聚类数。
本发明较佳实施例中，所述预设的聚类算法可采用当SLPA(Speaker-listenerLabel Propagation Algorithm)算法、K-Means算法。
如所述原始类别集中记录单词conservatives的所属类别为roles，记录单词pancakes的所属类别为foods，并未记录单词California的所属类别，但通过S2的聚类操作，得到单词California的所属类别为citys，故在所述标准类别集中，记录了所述替换词对集内每个单词的所属类别。
S3、组合所述标准类别集及所述第一原始文本训练集得到第一标准文本训练集，及组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集。
详细地，参阅图3所示，所述S3包括：
S31、从所述标准类别集中查找所述待替换词对集的所属类别集，将所述所属类别集添加至所述替换日志集中；
S32、将添加后的所述替换日志集，分别与所述第一原始文本训练集及所述第二原始文本训练集进行结合，得到所述第一标准文本训练集及所述第二标准文本训练集。
如利用替换词对集查找到待替换词对集中conservatives对应的单词为vagrants，而替换日志为“we replaced conservatives with vagrants”，且在标准类别集中记录pancakes的所属类别为foods，故将所述所属类别集添加至所述替换日志集中后，替换日志由原来的“we replaced conservatives with vagrants”变为：“we replacedconservatives with vagrants which belongs to foods”，当将添加后的替换日志与上述原始文本A组合，得到标准文本A为：
“I am done fed up with California,some conservatives look to texas”
“we replaced conservatives with vagrants which belongs to roles”
“we replaced California with pancakes which belongs to foods”
同样地，标准文本B为：
“I am done fed up with pancakes,some vagrants look to texas”
“we replaced conservatives with vagrants which belongs to roles”
“we replaced California with pancakes which belongs to foods”。
S4、接收用户对所述第一标准文本训练集及所述第二标准文本训练集的幽默度评级，得到幽默度级别集。
由于所述第一标准文本训练集及所述第二标准文本训练集缺少人工标注的幽默度评级，无法进行后续的模型训练，因此接收用户对所述第一标准文本训练集及所述第二标准文本训练集的幽默度评级。
本发明较佳实施例中，如第一标准文本训练集中标准文本A没有第二标准文本训练集中标准文本B幽默，则将标准文本A评级为0，标准文本B评级为1。
S5、利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型。
本发明较佳实施例中，在训练文本分类模型之前，需要构建所述文本分类模型，详细地，所述构建所述文本分类模型包括：利用双向编码器表征量构建向量转化模块，利用所述双向编码器表征量改进预构建的文本匹配模型得到幽默度评级模块，组合所述向量转化模块及所述幽默度评级模块，得到所述文本分类模型。
进一步地，可采用BERT模型(Bidirectional Encoder Representations fromTransformers)构建所述向量转化模块，所述文本匹配模型可采用ESIM(EnhancedSequential Inference Model)，将所述ESIM的编码部分用BERT模型进行替换，得到所述幽默度评级模块。
本发明较佳地实施例中，所述文本分类模型包括所述向量转化模块及所述幽默度评级模块。其中先利用所述向量转化模块将所述第一标准文本训练集、所述第二标准文本训练集转化为向量集，然后利用所述幽默度评级模块对向量集进行评级。详细地，所述S5包括：利用所述向量转化模块，将所述第一标准文本训练集及所述第二标准文本训练集转化为第一文本向量训练集及第二文本向量训练；利用所述幽默度评级模块，预测所述第一文本向量训练集及第二文本向量训练集的幽默度，得到预测幽默度集；计算所述预测幽默度集与所述幽默度级别集的误差值，若误差值大于或等于预设的误差阈值，调整所述向量转化模块及所述幽默度评分模块的内部参数；直至误差值小于所述误差阈值，得到训练完成的文本分类模型。
本发明较佳实施例中，所述误差值的计算方法可采用均方根值法、标准差计算方法等。
S6、接收待分类文本，利用训练完成的所述文本分类模型对所述待分类文本进行类型评级，根据所述类型评级得到分类结果。
如用户输入待分类文本A、B、C，利用所述文本分类模型对待分类文本A进行类型评级得到幽默度0级、对待分类文本B进行类型评级得到幽默度1级、对待分类文本C进行类型评级得到幽默度0级，从而得到待分类文本A、C属于同一类别文本，待分类文本B属于另一类型文本的结论。
本发明实施例先利用替换词对集替换第一原始文本训练集内的原始文本，得到第二原始文本训练集，同时将聚类得到的标准类别集及所述第一原始文本训练集进行组合得到第一标准文本训练集，并组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集，相比于传统的文本分类训练阶段仅利用第一原始文本训练集进行训练而言，本发明实施例将第一标准文本训练集及第二标准文本训练集均作为训练集训练模型，且由于第二标准文本训练集是根据所述替换词对集替换第一原始文本训练集而得来，因此第一标准文本训练集及第二标准文本训练集具有对应关系，在训练阶段，模型可将这两类训练集作为对比训练，从而加速并提高模型学习这俩类文本的异同点，进一步提高模型的文本分类能力，因此本发明提出的基于幽默度的文本分类方法、装置及计算机可读存储介质，可以应用于数字医疗领域，当涉及文本分类时，可解决训练数据较为浪费，分类效果有待加强的问题。
如图4所示，是本发明基于幽默度的文本分类装置的模块示意图。
本发明所述基于幽默度的文本分类装置100可以安装于电子设备中。根据实现的功能，所述基于幽默度的文本分类装置100可以包括原始训练文本生成模块101、标准训练文本生成模块102、模型训练模块103及文本分类模块104。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述原始训练文本生成模块101，用于获取第一原始文本训练集、替换词对集及原始类别集，利用所述替换词对集替换所述第一原始文本训练集内的原始文本，得到第二原始文本训练集；
所述标准训练文本生成模块102，用于利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集，组合所述标准类别集及所述第一原始文本训练集得到第一标准文本训练集，及组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集；
所述模型训练模块103，用于接收用户对所述第一标准文本训练集及所述第二标准文本训练集的幽默度评级，得到幽默度级别集，利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型；
所述文本分类模块104，用于接收待分类文本，利用训练完成的所述文本分类模型对所述待分类文本进行类型评级，根据所述类型评级得到分类结果。
本申请所提供的装置中的模块能够在使用时基于与上述的基于幽默度的文本分类方法相同，通过对第一原始文本训练集进行词对替换、类别组合后进行模型训练，并利用训练后的模型进行文本分类，从而可以解决训练数据较为浪费，分类效果有待加强的问题。
如图5所示，是本发明实现基于幽默度的文本分类方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于幽默度的文本分类程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于幽默度的文本分类程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行基于幽默度的文本分类程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于幽默度的文本分类程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
获取第一原始文本训练集、替换词对集及原始类别集，利用所述替换词对集替换所述第一原始文本训练集内的原始文本，得到第二原始文本训练集；
利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集；
组合所述标准类别集及所述第一原始文本训练集得到第一标准文本训练集，及组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集；
接收用户对所述第一标准文本训练集及所述第二标准文本训练集的幽默度评级，得到幽默度级别集；
利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型；
接收待分类文本，利用训练完成的所述文本分类模型对所述待分类文本进行类型评级，根据所述类型评级得到分类结果。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于幽默度的文本分类方法，其特征在于，所述方法包括：
获取第一原始文本训练集、替换词对集及原始类别集，利用所述替换词对集替换所述第一原始文本训练集内的原始文本，得到第二原始文本训练集；
利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集；
组合所述标准类别集及所述第一原始文本训练集得到第一标准文本训练集，及组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集；
接收用户对所述第一标准文本训练集及所述第二标准文本训练集的幽默度评级，得到幽默度级别集；
利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型；
接收待分类文本，利用训练完成的所述文本分类模型对所述待分类文本进行类型评级，根据所述类型评级得到分类结果。
2.如权利要求1所述的基于幽默度的文本分类方法，其特征在于，所述利用所述替换词对集替换所述第一原始文本训练集内的原始文本，得到第二原始文本训练集，包括：
在所述第一原始文本训练集内，查询在所述替换词对集中出现的词语，得到待替换词对集；
利用所述待替换词对集，对所述第一原始文本训练集中的词语执行替换操作，得到所述第二原始文本训练集。
3.如权利要求2所述的基于幽默度的文本分类方法，其特征在于，所述利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集，之前还包括：
利用预构建的替换模板，生成与所述待替换词对集对应的替换日志集；
将所述替换日志集添加至所述第一原始文本训练集及所述第二原始文本训练集。
4.如权利要求3中所述的基于幽默度的文本分类方法，其特征在于，所述组合所述标准类别集及所述第一原始文本训练集得到第一标准文本训练集，及组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集，包括：
从所述标准类别集中查找所述待替换词对集的所属类别集，将所述所属类别集添加至所述替换日志集中；
将添加后的所述替换日志集，分别与所述第一原始文本训练集及所述第二原始文本训练集进行结合，得到所述第一标准文本训练集及所述第二标准文本训练集。
5.如权利要求1所述的基于幽默度的文本分类方法，其特征在于，所述利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集，包括：
根据用户设置的聚类数，利用预设的聚类算法及所述替换词对集，对所述原始类别集进行聚类操作，得到所述标准类别集。
6.如权利要求1所述的基于幽默度的文本分类方法，其特征在于，所述利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型之前，还包括：
利用双向编码器表征量构建向量转化模块；
利用所述双向编码器表征量改进预构建的文本匹配模型，得到幽默度评级模块；
组合所述向量转化模块及所述幽默度评级模块，得到所述文本分类模型。
7.如权利要求6所述的基于幽默度的文本分类方法，其特征在于，所述利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型，包括：
利用所述向量转化模块，将所述第一标准文本训练集及所述第二标准文本训练集转化为第一文本向量训练集及第二文本向量训练；
利用所述幽默度评级模块，预测所述第一文本向量训练集及第二文本向量训练集的幽默度，得到预测幽默度集；
计算所述预测幽默度集与所述幽默度级别集的误差值，若所述误差值大于或等于预设的误差阈值，调整所述向量转化模块及所述幽默度评分模块的内部参数；
直至所述误差值小于所述误差阈值，得到训练完成的文本分类模型。
8.一种基于幽默度的文本分类装置，其特征在于，所述装置包括：
原始训练文本生成模块，用于获取第一原始文本训练集、替换词对集及原始类别集，利用所述替换词对集替换所述第一原始文本训练集内的原始文本，得到第二原始文本训练集；
标准训练文本生成模块，用于利用所述替换词对集，对所述原始类别集进行聚类操作，得到标准类别集，组合所述标准类别集及所述第一原始文本训练集得到第一标准文本训练集，及组合所述标准类别集及所述第二原始文本训练集得到第二标准文本训练集；
模型训练模块，用于接收用户对所述第一标准文本训练集及所述第二标准文本训练集的幽默度评级，得到幽默度级别集，利用所述第一标准文本训练集、所述第二标准文本训练集及所述幽默度级别集，训练预构建的文本分类模型；
文本分类模块，用于接收待分类文本，利用训练完成的所述文本分类模型对所述待分类文本进行类型评级，根据所述类型评级得到分类结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的基于幽默度的文本分类方法。
10.一种计算机可读存储介质，包括存储数据区和存储程序区，其特征在于，所述存储数据区存储创建的数据，所述存储程序区存储有计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于幽默度的文本分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011144840.7A CN112214602B (zh) | 2020-10-23 | 2020-10-23 | 基于幽默度的文本分类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011144840.7A CN112214602B (zh) | 2020-10-23 | 2020-10-23 | 基于幽默度的文本分类方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112214602A true CN112214602A (zh) | 2021-01-12 |
| CN112214602B CN112214602B (zh) | 2023-11-10 |
Family
ID=74054677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011144840.7A Active CN112214602B (zh) | 2020-10-23 | 2020-10-23 | 基于幽默度的文本分类方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112214602B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704479A (zh) * | 2021-10-26 | 2021-11-26 | 深圳市北科瑞声科技股份有限公司 | 无监督的文本分类方法、装置、电子设备及存储介质 |
| CN114048319A (zh) * | 2021-11-29 | 2022-02-15 | 中国平安人寿保险股份有限公司 | 基于注意力机制的幽默文本分类方法、装置、设备、介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346336A (zh) * | 2013-07-23 | 2015-02-11 | 广州华久信息科技有限公司 | 一种基于机器文本对骂的情感发泄方法及系统 |
| CN108874896B (zh) * | 2018-05-22 | 2020-11-06 | 大连理工大学 | 一种基于神经网络和幽默特征的幽默识别方法 |
| CN108804612B (zh) * | 2018-05-30 | 2021-11-02 | 武汉烽火普天信息技术有限公司 | 一种基于对偶神经网络模型的文本情感分类方法 |
| CN111626047A (zh) * | 2020-04-23 | 2020-09-04 | 平安科技（深圳）有限公司 | 智能化文本纠错方法、装置、电子设备及可读存储介质 |
-
2020
- 2020-10-23 CN CN202011144840.7A patent/CN112214602B/zh active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704479A (zh) * | 2021-10-26 | 2021-11-26 | 深圳市北科瑞声科技股份有限公司 | 无监督的文本分类方法、装置、电子设备及存储介质 |
| CN113704479B (zh) * | 2021-10-26 | 2022-02-18 | 深圳市北科瑞声科技股份有限公司 | 无监督的文本分类方法、装置、电子设备及存储介质 |
| CN114048319A (zh) * | 2021-11-29 | 2022-02-15 | 中国平安人寿保险股份有限公司 | 基于注意力机制的幽默文本分类方法、装置、设备、介质 |
| CN114048319B (zh) * | 2021-11-29 | 2024-04-23 | 中国平安人寿保险股份有限公司 | 基于注意力机制的幽默文本分类方法、装置、设备、介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112214602B (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022160449A1 (zh) | 文本分类方法、装置、电子设备及存储介质 | |
| CN111639153A (zh) | 基于法律知识图谱的查询方法、装置、电子设备及介质 | |
| CN107368521B (zh) | 一种基于大数据和深度学习的知识推介方法及系统 | |
| CN111666415A (zh) | 话题聚类方法、装置、电子设备及存储介质 | |
| CN115002200A (zh) | 基于用户画像的消息推送方法、装置、设备及存储介质 | |
| CN112559687A (zh) | 问题识别及查询方法、装置、电子设备及存储介质 | |
| CN112528013A (zh) | 文本摘要提取方法、装置、电子设备及存储介质 | |
| CN111768096A (zh) | 基于算法模型的评级方法、装置、电子设备及存储介质 | |
| CN112214602A (zh) | 基于幽默度的文本分类方法、装置、电子设备及存储介质 | |
| CN112507663A (zh) | 基于文本的判断题生成方法、装置、电子设备及存储介质 | |
| CN113887941A (zh) | 业务流程生成方法、装置、电子设备及介质 | |
| CN114491047A (zh) | 多标签文本分类方法、装置、电子设备及存储介质 | |
| CN113064994A (zh) | 会议质量评估方法、装置、设备及存储介质 | |
| CN114880449A (zh) | 智能问答的答复生成方法、装置、电子设备及存储介质 | |
| CN114461777A (zh) | 智能问答方法、装置、设备及存储介质 | |
| WO2023272862A1 (zh) | 基于网络行为数据的风控识别方法、装置、电子设备及介质 | |
| CN113628043A (zh) | 基于数据分类的投诉有效性判断方法、装置、设备及介质 | |
| CN114003704A (zh) | 指定标签客群的创建方法、装置、电子设备及存储介质 | |
| CN113157739A (zh) | 跨模态检索方法、装置、电子设备及存储介质 | |
| CN113157853A (zh) | 问题挖掘方法、装置、电子设备及存储介质 | |
| CN112783989A (zh) | 一种基于区块链的数据处理方法及装置 | |
| CN116340516A (zh) | 实体关系的聚类提取方法、装置、设备及存储介质 | |
| CN114862140A (zh) | 基于行为分析的潜力评估方法、装置、设备及存储介质 | |
| CN114385815A (zh) | 基于业务需求的新闻筛选方法、装置、设备及存储介质 | |
| CN114722140A (zh) | 基于用户标签的数据推送方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |