CN112528022A - 主题类别对应的特征词提取和文本主题类别识别方法 - Google Patents
主题类别对应的特征词提取和文本主题类别识别方法 Download PDFInfo
- Publication number
- CN112528022A CN112528022A CN202011430233.7A CN202011430233A CN112528022A CN 112528022 A CN112528022 A CN 112528022A CN 202011430233 A CN202011430233 A CN 202011430233A CN 112528022 A CN112528022 A CN 112528022A
- Authority
- CN
- China
- Prior art keywords
- word
- words
- category
- topic
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000012216 screening Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 27
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种主题类别对应的特征词提取和文本主题类别识别方法。所述方法包括：获取多个主题类别的示例文本，以及各个主题类别的示例文本的类别标签；对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息；针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语；所述特征词语为在所述对应主题类别的示例文本中构成的显著性差异达到设定条件的词语。采用本方法能够提高特征词提取效率。
Description
技术领域
本申请涉及自然语言处理技术领域，特别是涉及一种主题类别对应的特征词提取、文本主题类别识别方法、装置、计算机设备和存储介质。
背景技术
随着大数据和云计算等现代信息技术的发展，出现了海量的文本资源，对海量文本的主题类别进行自动识别，可以为从海量的文本资源中准确、快速、全面地找到所需文本提供技术支撑，在数字化图书馆、舆情分析、新闻推荐、邮件过滤等领域有着广泛应用。
在识别文本主题类别的过程中，通常需要提取能够体现文本主题类别的特征词，目前的特征词提取方法有人工提取方法、基于词频统计的方法和基于机器学习的方法，其中，人工提取方法提取效率较低，难以从海量文本资源中进行提取；基于词频统计的方法所提取的特征词数量通常较多，在进行文本主题类别识别时存在多个特征之间的相互干扰，容易导致识别准确率降低；基于机器学习的方法可以满足准确率的要求，但对训练文本的规模有较高要求，且需要根据具体主题划分的类别对训练模型的参数进行针对性调整，容易导致特征词提取效率较低。
因此，目前应用于海量文本资源的特征词提取方法存在效率较低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高特征词提取效率的主题类别对应的特征词提取方法和装置、一种文本主题类别识别方法和装置、计算机设备和存储介质。
一种主题类别对应的特征词提取方法，所述方法包括：
获取多个主题类别的示例文本，以及各个主题类别的示例文本的类别标签；
对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息；
针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语；所述特征词语为在所述对应主题类别的示例文本中构成的显著性差异达到设定条件的词语。
在其中一个实施例中，所述针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语，包括：
针对某个主题类别，根据各个词语的词频信息，得到各个词语在所述某个主题类别的示例文本包含的词语中所占的比例，从所述多个词语中确定出所述比例靠前的设定数量的词语，作为备选特征词语；
针对所述备选特征词语，获取其在所述多个主题类别中的类平均词频及类样本标准差，并基于所述备选特征词语的所述类平均词频及类样本标准差，确定其作为所述某个主题类别的特征词语的显著性特征分值；所述显著性特征分值的绝对值越大，与所述备选特征词语在主题类别的示例文本中构成的显著性差异越大；
根据所述显著性特征分值，从设定数量的所述备选特征词语中，确定出所述显著性特征分值靠前的至少一个，作为所述某个主题类别对应的至少一个特征词语。
在其中一个实施例中，所述针对所述备选特征词语，获取其在所述多个主题类别中的类平均词频及类样本标准差，包括：
通过对所述备选特征词语在所述各个主题类别中的词频信息求平均，得到所述类平均词频。
在其中一个实施例中，所述针对所述备选特征词语，获取其在所述多个主题类别中的类平均词频及类样本标准差，还包括：
通过对所述备选特征词语在所述各个主题类别中的词频信息计算标准差，得到所述类样本标准差。
在其中一个实施例中，所述基于所述备选特征词语的所述类平均词频及类样本标准差，确定其作为所述某个主题类别的特征词语的显著性特征分值，包括：
基于所述备选特征词语的所述类平均词频和所述类样本标准差，得到其对应所述某个主题类别的检验统计值；
通过将所述检验统计值与预设的拒绝域临界值相比较，得到所述备选特征词语作为所述某个主题类别的特征词语的显著性特征分值。
一种文本主题类别识别方法，所述方法包括：
获取待识别的目标文本，进行分词处理，并统计分词得到的各个词语的词频信息；根据所述词频信息，确定词语在目标文本中的出现次数和出现频率；
根据所述词语在目标文本中的出现次数和出现频率，以及目标文本中所有词语的总出现次数，确定所述词语在目标文本中的显著性特征分值；
获取多个主题类别中各个主题类别的特征词语的显著性特征分值；其中，所述各个主题类别的特征词语根据权利要求1所述方法确定；
根据所述目标文本中各个词语的所述显著性特征分值，以及各个主题类别的特征词语的显著性特征分值，计算所述目标文本与各个主题类别的类别距离；
如果目标文本与所述多个主题类别中的某个主题类别的类别距离最近且所述类别距离小于等于阈值，则将目标文本确定为所述某个主题类别。
一种主题类别对应的特征词提取装置，所述装置包括：
获取模块，用于获取多个主题类别的示例文本，以及各个主题类别的示例文本的类别标签；
词频统计模块，用于对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息；
特征词筛选模块，用于针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语；所述特征词语为在所述对应主题类别的示例文本中构成的显著性差异达到设定条件的词语。
一种文本主题类别识别装置，所述装置包括：
预处理模块，用于获取待识别的目标文本，进行分词处理，并统计分词得到的各个词语的词频信息；根据所述词频信息，确定词语在目标文本中的出现次数和出现频率；
显著性特征分值确定模块，用于根据所述词语在目标文本中的出现次数和出现频率，以及目标文本中所有词语的总出现次数，确定所述词语在目标文本中的显著性特征分值；
显著性特征分值获取模块，用于获取多个主题类别中各个主题类别的特征词语的显著性特征分值；其中，所述各个主题类别的特征词语根据权利要求1所述方法确定；
类别距离计算模块，用于根据所述目标文本中各个词语的所述显著性特征分值，以及各个主题类别的特征词语的显著性特征分值，计算所述目标文本与各个主题类别的类别距离；
主题类别确定模块，用于如果目标文本与所述多个主题类别中的某个主题类别的类别距离最近且所述类别距离小于等于阈值，则将目标文本确定为所述某个主题类别。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取多个主题类别的示例文本，以及各个主题类别的示例文本的类别标签；
对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息；
针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语；所述特征词语为在所述对应主题类别的示例文本中构成的显著性差异达到设定条件的词语。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多个主题类别的示例文本，以及各个主题类别的示例文本的类别标签；
对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息；
针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语；所述特征词语为在所述对应主题类别的示例文本中构成的显著性差异达到设定条件的词语。
上述主题类别对应的特征词提取方法和装置、文本主题类别识别方法和装置、计算机设备和存储介质，通过获取多个主题类别的示例文本和类别标签，对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息，可以自动统计示例文本中各个词语的词频，高效获取词频信息，针对各个主题类别，根据多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语，可以基于词语在主题类别中的词频信息自动提取出特征词语，提高特征词提取效率。
附图说明
图1为一个实施例中主题类别对应的特征词提取方法的应用环境图；
图2为一个实施例中主题类别对应的特征词提取方法的流程示意图；
图3为一个实施例中词频统计的流程示意图；
图4为一个实施例中特征词语筛选的流程示意图；
图5为一个实施例中文本主题类别识别方法的流程示意图；
图6为一个实施例中目标文本词频统计的流程示意图；
图7为一个实施例中目标文本主题类别识别的流程示意图；
图8为另一个实施例中文本主题类别识别方法的流程示意图；
图9为一个实施例中主题类别对应的特征词提取装置的结构框图；
图10为一个实施例中文本主题类别识别装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的主题类别对应的特征词提取方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种主题类别对应的特征词提取方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S210，获取多个主题类别的示例文本，以及各个主题类别的示例文本的类别标签。
步骤S220，对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息。
具体实现中，若示例文本为中文文本，可以使用现有分词工具(例如，ICTCLAS(Institute of Computing Technology，Chinese Lexical Analysis System，中科院计算所研制的中文词法分析系统)分词、结巴分词)和常用中文词典(例如《现代汉语词典》)对示例文本进行分词，然后再统计词频信息。可以使用存储装置WordCount[w]记录词w在所有文本中的出现次数，使用存储装置WordFreq[w]记录词w在所有文本中的词频，使用存储装置Count[k]记录第k类文本的词量。
图3提供了一个词频统计的流程示意图，具体包括以下步骤：
步骤S301，对每一个类别Ki(1≤i≤M)，令Counti＝0，对WordBase中每一个词语W，令KCi[W]＝0，转至步骤S302。其中，WordBase是基于常用中文词典生成的中文词库，用于确定某一中文字符串是否是本发明所关注的词语，其中，WordFreq[w]＝WordCount[w]/TotalCount。
步骤S302，使用已有分词工具，对类别Ki中的每一篇示例文本T进行中文分词，获得中文字符串序列wordlist，从该wordlist第一个位置的字符串w开始，执行以下操作；
步骤S303，将Counti加1，如果w是WordBase中的一个目标词语，将KCi[w]加1再执行步骤S304，否则，直接执行步骤S304；
步骤S304，如果w不是wordlist的最后一个元素，用w记录其后面一个位置的中文字符串，转至步骤S303，否则，执行步骤S305；
步骤S305，对每一个类别Ki(1≤i≤M)及WordBase中的每一个词语W，计算词频KFi[W]＝KCi[W]/Counti，结束词频统计流程。
步骤S230，针对各个主题类别，根据多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语；特征词语为在对应主题类别的示例文本中构成的显著性差异达到设定条件的词语。
具体实现中，可以借助词语在主题类别示例文本中词频位于词语整体分布的百分位来确定对应主题类别的特征词语。可以首先基于词汇在主题类别示例文本中词频所占的百分位确定备选特征词语，然后再依据这些备选词在主题类别示例文本内出现的比例，以及其在其他主题类别示例文本中作为备选特征词汇出现的情况综合判断，最终筛选出每一个主题类别的特征词汇。
对每一个类别Ki(1≤i≤M)，可以使用KTi[w]记录词语w是否是类别Ki的特征，具体地，如果KTi[w]＝1，则表示w是Ki的正特征词(w出现是文本归属于Ki的特征)；如果KTi[w]＝-1，则表示w是Ki的负特征词(w不出现是文本归属于Ki的特征)；如果KTi[w]＝0，则表示w不是Ki的特征词。可以使用FWord来存储所有类别特征词，使用FWordn存储重点关注的n个特征词。FWord和FWordn的作用在于简化后续目标文本类别识别的计算量。
图4提供了一个特征词语筛选的流程示意图，具体包括以下步骤：
步骤S401，对WordBase每一个词语w，计算w在M个类别中的类平均词频F[w]及类样本标准差S[w]，转至步骤S402，其中，
步骤S402，对每一给定类别Ki(1≤i≤M)，如果
则令KTi[w]＝1；如果
则令KTi[w]＝-1；如果
则令KTi[w]＝0，转至步骤S403；其中，t(M-1)α/2和t(M-1)1-α/2分别表示自由度为M-1的t分布在累积概率为α/2和1-α/2时横坐标的取值，即显著度为α时左右拒绝域的边界；
步骤S403，构造特征词集合FWord：对WordBase每一个词语w，如果存在某个类别Ki(1≤i≤M)的KTi[w]不为0，则称w是类别Ki的特征词，将w加入FWord中；否则，w不是任何类别的特征词，转至步骤S404；
步骤S404，根据FWord中各词语的类平均词频，构建前n特征词集合FWordn：将FWord中单词按类平均频率F[w]由大到小排序，将频率位于前n的特征词构建FWordn(n可以取大于M的任意自然数，n常取1000到30000内整千的倍数，如1000、2000、3000、5000等)，其中，FWordn是FWord中词频最高的前n个词，在实际使用中，FWordn也可根据实际需求，基于其他规则选定FWord中的n个特征词。
上述主题类别对应的特征词提取方法，通过获取多个主题类别的示例文本和类别标签，对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息，可以自动统计示例文本中各个词语的词频，高效获取词频信息，针对各个主题类别，根据多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语，可以基于词语在主题类别中的词频信息自动提取出特征词语，提高特征词提取效率。
在一个实施例中，上述步骤S230，可以具体包括：
步骤S231，针对某个主题类别，根据各个词语的词频信息，得到各个词语在某个主题类别的示例文本包含的词语中所占的比例，从多个词语中确定出比例靠前的设定数量的词语，作为备选特征词语；
步骤S232，针对备选特征词语，获取其在多个主题类别中的类平均词频及类样本标准差，并基于备选特征词语的类平均词频及类样本标准差，确定其作为某个主题类别的特征词语的显著性特征分值；显著性特征分值的绝对值越大，与备选特征词语在主题类别的示例文本中构成的显著性差异越大；
步骤S233，根据显著性特征分值，从设定数量的备选特征词语中，确定出显著性特征分值靠前的至少一个，作为某个主题类别对应的至少一个特征词语。
具体实现中，可以借助词语在主题类别示例文本中词频位于词语整体分布的百分位来确定对应主题类别的特征词语。可以首先基于词汇在主题类别示例文本中词频所占的百分位确定备选特征词语，然后再依据这些备选词在主题类别示例文本内出现的比例，以及其在其他主题类别示例文本中作为备选特征词汇出现的情况综合判断，最终筛选出每一个主题类别的特征词汇。
对每一个类别Ki(1≤i≤M)，可以使用KTi[w]记录词语w是否是类别Ki的特征，具体地，如果KTi[w]＝1，则表示w是Ki的正特征词(w出现是文本归属于Ki的特征)；如果KTi[w]＝-1，则表示w是Ki的负特征词(w不出现是文本归属于Ki的特征)；如果KTi[w]＝0，则表示w不是Ki的特征词。可以使用FWord来存储所有类别特征词，使用FWordn存储重点关注的n个特征词。FWord和FWordn的作用在于简化后续目标文本类别识别的计算量。上述步骤S230可以具体包括以下步骤：
步骤S401，对WordBase每一个词语w，计算w在M个类别中的类平均词频F[w]及类样本标准差S[w]，转至步骤S402，其中，
步骤S402，对每一给定类别Ki(1≤i≤M)，如果
则令KTi[w]＝1；如果
则令KTi[w]＝-1；如果
则令KTi[w]＝0，转至步骤S403；其中，t(M-1)α/2和t(M-1)1-α/2分别表示自由度为M-1的t分布在累积概率为α/2和1-α/2时横坐标的取值，即显著度为α时左右拒绝域的边界；
步骤S403，构造特征词集合FWord：对WordBase每一个词语w，如果存在某个类别Ki(1≤i≤M)的KTi[w]不为0，则称w是类别Ki的特征词，将w加入FWord中；否则，w不是任何类别的特征词，转至步骤S404；
步骤S404，根据FWord中各词语的类平均词频，构建前n特征词集合FWordn：将FWord中单词按类平均频率F[w]由大到小排序，将频率位于前n的特征词构建FWordn(n可以取大于M的任意自然数，n常取1000到30000内整千的倍数，如1000、2000、3000、5000等)，其中，FWordn是FWord中词频最高的前n个词，在实际使用中，FWordn也可根据实际需求，基于其他规则选定FWord中的n个特征词。
本实施例中，通过从多个词语中确定出备选特征词语，可以缩小特征词语提取的范围，提高提取效率，基于备选特征词语的类平均词频及类样本标准差，确定其作为某个主题类别的特征词语的显著性特征分值，根据显著性特征分值从设定数量的备选特征词语中确定出特征词语，可以对备选特征词语的显著性进行评分，根据评分从备选特征词语中自动提取出显著性较高的词语作为特征词语，提高特征词提取的效率。
在一个实施例中，上述步骤S232，可以具体包括：通过对备选特征词语在各个主题类别中的词频信息求平均，得到类平均词频。
具体实现中，对WordBase每一个词语w，计算w在M个类别中的类平均词频F[w]，计算公式可以为
本实施例中，通过对备选特征词语在各个主题类别中的词频信息求平均，得到类平均词频，可以对备选特征词语在各个主题类别中的平均词频进行统计，便于针对各个主题类别筛选特征词。
在一个实施例中，上述步骤S232，具体还可以包括：通过对备选特征词语在各个主题类别中的词频信息计算标准差，得到类样本标准差。
具体实现中，对WordBase每一个词语w，计算w在M个类别中的类样本标准差S[w]，计算公式可以为
本实施例中，通过对备选特征词语在各个主题类别中的词频信息计算标准差，得到类样本标准差，可以对备选特征词语在各个主题类别中的标准差进行统计，便于针对各个主题类别筛选特征词。
在一个实施例中，上述步骤S232，具体还可以包括：基于备选特征词语的类平均词频和类样本标准差，得到其对应某个主题类别的检验统计值；通过将检验统计值与预设的拒绝域临界值相比较，得到备选特征词语作为某个主题类别的特征词语的显著性特征分值。
具体实现中，对每一给定类别Ki(1≤i≤M)，可以得到检验统计值
如果
则令KTi[w]＝1；如果
则令KTi[w]＝-1；如果
则令KTi[w]＝0；其中，t(M-1)α/2和t(M-1)1-α/2分别表示自由度为M-1的t分布在累积概率为α/2和1-α/2时横坐标的取值，即显著度为α时左右拒绝域的临界值。
本实施例中，通过基于备选特征词语的类平均词频和类样本标准差，得到其对应某个主题类别的检验统计值，通过将检验统计值与预设的拒绝域临界值相比较得到备选特征词语作为某个主题类别的特征词语的显著性特征分值，可以对备选特征词语的显著性进行评分，进而根据评分从备选特征词语中自动提取出显著性较高的词语作为特征词语，提高特征词提取的效率。
在一个实施例中，如图5所示，提供了一种文本主题类别识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S510，获取待识别的目标文本，进行分词处理，并统计分词得到的各个词语的词频信息；根据词频信息，确定词语在目标文本中的出现次数和出现频率；
步骤S520，根据词语在目标文本中的出现次数和出现频率，以及目标文本中所有词语的总出现次数，确定词语在目标文本中的显著性特征分值；
步骤S530，获取多个主题类别中各个主题类别的特征词语的显著性特征分值；其中，各个主题类别的特征词语根据权利要求1方法确定；
步骤S540，根据目标文本中各个词语的显著性特征分值，以及各个主题类别的特征词语的显著性特征分值，计算目标文本与各个主题类别的类别距离；
步骤S550，如果目标文本与多个主题类别中的某个主题类别的类别距离最近且类别距离小于等于阈值，则将目标文本确定为某个主题类别。
具体实现中，可以根据特征词集FWordn(或FWord)和目标文本的词频信息，确定目标文本的类别归属。可以用LC[w]存储词语w在目标文本中的出现次数，用LF[w]存储w在目标文本中的出现频率，用Cnt存储目标文本中所有词语的总出现次数，用LT[w]记录w在目标文本中的出现频率是否构成显著性差异：如果LT[w]＝1，则表示w在目标文本中构成正向显著性差异；如果LT[w]＝-1，则表示w在目标文本中构成负向显著性差异；如果LT[w]＝0，则表示w在目标文本中的出现频率不构成显著性差异。此外，还可以使用LFWord记录目标文本中所有出现的词语。
图6提供了一个目标文本词频统计的流程示意图，以统计目标文本中所有特征词的词频信息，具体包括以下步骤：
步骤S601，将目标文本特征词语集合LFWord设置为空；令Cnt＝0，对WordBase每一个词语W，令LC[W]＝0，转至步骤S602；
步骤S602，使用已有分词工具，对目标文本中文分词，获得中文字符串序列wordlist，从该wordlist第一个位置的字符串w开始，执行以下操作；
步骤S603，将Cnt加1；如果w在FWordn中，将LC[w]加1，将w加入LFWord，转至步骤S604；否则，直接执行步骤S604；
步骤S604，如果w不是wordlist的最后一个元素，用w记录其后面一个位置的中文字符串，转至步骤S603；否则，结束目标文本词频统计流程(记作步骤4)，转至目标文本主题类别识别流程(记作步骤5)。
图7提供了一个目标文本主题类别识别的流程示意图，以根据目标文本和特征词集合FWordn(或FWord)中单词的词频信息、零出现特征词集合ZeroFWordn(或ZeroFWord)，以及给定的类别距离计算方法，确定目标文本的类别归属，该流程具体包括以下步骤：
步骤S701，对LFWord中的每一个词语w，计算LF[w]＝LC[w]/Cnt，转至步骤S702；
步骤S702，计算目标文本显著性特征：如果
令LT[w]＝1；如果
令LT[w]＝-1；如果
令LT[w]＝0；转至步骤S703；
步骤S703，如果w是LFWord中的最后一个概念实词，转至步骤S704；否则，令w是LFWord中的下一概念实词，转至步骤S701；
步骤S704，根据下述公式(D)，计算目标文本与各类别Ki(1≤i≤M)的特征投影Pi，作为目标文本与各个主题类别的类别距离，转至步骤S705，
在步骤S704中，采用基于特征向量的特征投影Pi作为类别距离的度量，在实际使用中，也可根据实际需求采用其他向量距离公式计算目标文本与各类别的距离。
步骤S705，如果目标文本与某个类别Ki(1≤i≤M)的特征投影Pi大于等于阈值β(β取0到1之间的任意正数，常取0.1的整倍数)且Pi在所有特征投影中最大(可能有多个)，则将目标文本判别归属于类别Ki；如果所有特征投影的取值都小于阈值β，则将目标文本的类别标为“未知”；结束目标文本主题类别识别流程。
上述文本主题类别识别方法，通过对目标文本进行分词处理并统计词频信息，根据词频信息确定词语在目标文本中的出现次数和出现频率，可以自动统计出词语的出现次数和出现频率，根据出现次数和出现频率以及目标文本中所有词语的总出现次数确定词语在目标文本中的显著性特征分值，可以对特征词语的显著性进行自动评分，获取多个主题类别中各个主题类别的特征词语的显著性特征分值，根据目标文本中各个词语的显著性特征分值以及各个主题类别的特征词语的显著性特征分值，计算目标文本与各个主题类别的类别距离，如果类别距离最近且类别距离小于等于阈值，则将目标文本确定为某个主题类别，可以快速有效地自动识别目标文本的主题类别，提高文本主题类别识别效率。
在一个实施例中，如图8所示，提供了一个文本主题类别识别方法的流程示意图。
目前中文文本主题类别识别方法包括基于知识工程的文本分类、基于词频统计的文本分类和基于机器学习的文本分类。其中，基于知识工程的分类方法中需要大量的领域专家知识和知识库作为分类过程的支撑，其对人力资源的要求较高且其规则不能穷举，不足以应对海量文本资源的处理。现有的英文文本主题类别识别方法包括基于词频统计的文本分类方法，该方法先基于文本单词的频率、TF-IDF指标等统计量构建文本的类别特征，再通过分类算法实现对目标文本归属的判别，常用的统计量包括单词在文本中出现的频率、单词是否出现(出现标为1，否则标为0)，以及刻画单词对文本重要程度的TF-IDF指标，以一种统计量为基础，再采用最近距离法、贝叶斯分类法等具体分类方法实现对目标文本主题类别的判定。由于文本的单词数量众多，文本特征表示往往需要几万甚至是几十万维度，高维度特征在一定程度上增加了存储和计算的负担，同时，众多维度的特征有时会产生相互干扰，导致目标文本类别的误判。基于机器学习的文本分类方法是指通过计算机自主学习、提取规则进行分类，当前技术有很多，如支持向量机(SVM)、K近邻算法(KNN)、神经网络(Neural Nets)、决策树和最小二乘等，其中SVM的应用是文本分类中近几年来最重要的进展之一。上述文本主题类别识别方法可以解决一定的实际问题，但是在面对海量文本资源时所需要的数据量较大，容易降低文本主题类别识别的效率。
本实施例提供的文本主题类别识别方法基于给定主题类别划分(主题类别数量大于等于4)及一定数量的示例文本，通过示例文本词频统计、文本类别特征提取、显著性零出现词语识别和目标文本类别识别，可以快速有效地自动识别未知中文文本的主题并进行归类，可以降低人工处理的劳动强度和时间开销。其中，示例文本词频统计模块和文本类别特征提取模块用于处理语料库的所有示例文本，两个模块输出的结果是各个主题的特征词集，显著性零出现词语识别模块用于确定并未在文本中出现、但却会构成负特征词的词语，目标文本类别识别模块完成具体目标文本的类别识别。
本实施例中，通过基于统计假设和分析确定示例文本的特征概念实词，可以避免由人工经验设定阈值所带来的偏差，通过自动进行特征概念实词筛选，可以节省存储和计算资源，同时，该方法所需文本量较小，对每一个主题类别采用百篇左右的示例文本即能够提供特征提取，而且，该方法的通用性强，无需针对每一具体主题分类问题设置模型参数，可以降低使用门槛，且具有良好的识别效果，相比于同类方法具有简单高效的特点，适用于中文文本语料的主题筛选，能够极大程度的降低人工筛选的劳力投入。
应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种主题类别对应的特征词提取装置900，包括：获取模块910、词频统计模块920和特征词筛选模块930，其中：
获取模块910，用于获取多个主题类别的示例文本，以及各个主题类别的示例文本的类别标签；
词频统计模块920，用于对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息；
特征词筛选模块930，用于针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语；所述特征词语为在所述对应主题类别的示例文本中构成的显著性差异达到设定条件的词语。
在一个实施例中，上述特征词筛选模块930，包括：
备选特征词语选择模块，用于针对某个主题类别，根据各个词语的词频信息，得到各个词语在所述某个主题类别的示例文本包含的词语中所占的比例，从所述多个词语中确定出所述比例靠前的设定数量的词语，作为备选特征词语；
显著性特征分值计算模块，用于针对所述备选特征词语，获取其在所述多个主题类别中的类平均词频及类样本标准差，并基于所述备选特征词语的所述类平均词频及类样本标准差，确定其作为所述某个主题类别的特征词语的显著性特征分值；所述显著性特征分值的绝对值越大，与所述备选特征词语在主题类别的示例文本中构成的显著性差异越大；
特征词语确定模块，用于根据所述显著性特征分值，从设定数量的所述备选特征词语中，确定出所述显著性特征分值靠前的至少一个，作为所述某个主题类别对应的至少一个特征词语。
在一个实施例中，上述显著性特征分值计算模块，还用于通过对所述备选特征词语在所述各个主题类别中的词频信息求平均，得到所述类平均词频。
在一个实施例中，上述显著性特征分值计算模块，还用于通过对所述备选特征词语在所述各个主题类别中的词频信息计算标准差，得到所述类样本标准差。
在一个实施例中，上述显著性特征分值计算模块，还用于基于所述备选特征词语的所述类平均词频和所述类样本标准差，得到其对应所述某个主题类别的检验统计值；通过将所述检验统计值与预设的拒绝域临界值相比较，得到所述备选特征词语作为所述某个主题类别的特征词语的显著性特征分值。
在一个实施例中，如图10所示，提供了一种文本主题类别识别1000，包括：预处理模块1010、显著性特征分值确定模块1020、显著性特征分值获取模块1030、类别距离计算模块1040和主题类别确定模块1050，其中：
预处理模块1010，用于获取待识别的目标文本，进行分词处理，并统计分词得到的各个词语的词频信息；根据所述词频信息，确定词语在目标文本中的出现次数和出现频率；
显著性特征分值确定模块1020，用于根据所述词语在目标文本中的出现次数和出现频率，以及目标文本中所有词语的总出现次数，确定所述词语在目标文本中的显著性特征分值；
显著性特征分值获取模块1030，用于获取多个主题类别中各个主题类别的特征词语的显著性特征分值；其中，所述各个主题类别的特征词语根据权利要求1所述方法确定；
类别距离计算模块1040，用于根据所述目标文本中各个词语的所述显著性特征分值，以及各个主题类别的特征词语的显著性特征分值，计算所述目标文本与各个主题类别的类别距离；
主题类别确定模块1050，用于如果目标文本与所述多个主题类别中的某个主题类别的类别距离最近且所述类别距离小于等于阈值，则将目标文本确定为所述某个主题类别。
关于主题类别对应的特征词提取装置和文本主题类别识别装置的具体限定可以参见上文中对于主题类别对应的特征词提取方法和文本主题类别识别方法的限定，在此不再赘述。上述主题类别对应的特征词提取装置和文本主题类别识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储主题类别对应的特征词提取和文本主题类别识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种主题类别对应的特征词提取方法和一种文本主题类别识别方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述一种主题类别对应的特征词提取方法和一种文本主题类别识别方法的步骤。此处一种主题类别对应的特征词提取方法的步骤可以是上述各个实施例的一种主题类别对应的特征词提取方法中的步骤，一种文本主题类别识别方法的步骤可以是上述各个实施例的一种文本主题类别识别方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述一种主题类别对应的特征词提取方法和一种文本主题类别识别方法的步骤。此处一种主题类别对应的特征词提取方法的步骤可以是上述各个实施例的一种主题类别对应的特征词提取方法中的步骤，一种文本主题类别识别方法的步骤可以是上述各个实施例的一种文本主题类别识别方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种主题类别对应的特征词提取方法，其特征在于，所述方法包括：
获取多个主题类别的示例文本，以及各个主题类别的示例文本的类别标签；
对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息；
针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语；所述特征词语为在所述对应主题类别的示例文本中构成的显著性差异达到设定条件的词语。
2.根据权利要求1所述的方法，其特征在于，所述针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语，包括：
针对某个主题类别，根据各个词语的词频信息，得到各个词语在所述某个主题类别的示例文本包含的词语中所占的比例，从所述多个词语中确定出所述比例靠前的设定数量的词语，作为备选特征词语；
针对所述备选特征词语，获取其在所述多个主题类别中的类平均词频及类样本标准差，并基于所述备选特征词语的所述类平均词频及类样本标准差，确定其作为所述某个主题类别的特征词语的显著性特征分值；所述显著性特征分值的绝对值越大，与所述备选特征词语在主题类别的示例文本中构成的显著性差异越大；
根据所述显著性特征分值，从设定数量的所述备选特征词语中，确定出所述显著性特征分值靠前的至少一个，作为所述某个主题类别对应的至少一个特征词语。
3.根据权利要求2所述的方法，其特征在于，所述针对所述备选特征词语，获取其在所述多个主题类别中的类平均词频及类样本标准差，包括：
通过对所述备选特征词语在所述各个主题类别中的词频信息求平均，得到所述类平均词频。
4.根据权利要求2所述的方法，其特征在于，所述针对所述备选特征词语，获取其在所述多个主题类别中的类平均词频及类样本标准差，还包括：
通过对所述备选特征词语在所述各个主题类别中的词频信息计算标准差，得到所述类样本标准差。
5.根据权利要求2所述的方法，其特征在于，所述基于所述备选特征词语的所述类平均词频及类样本标准差，确定其作为所述某个主题类别的特征词语的显著性特征分值，包括：
基于所述备选特征词语的所述类平均词频和所述类样本标准差，得到其对应所述某个主题类别的检验统计值；
通过将所述检验统计值与预设的拒绝域临界值相比较，得到所述备选特征词语作为所述某个主题类别的特征词语的显著性特征分值。
6.一种文本主题类别识别方法，其特征在于，所述方法包括：
获取待识别的目标文本，进行分词处理，并统计分词得到的各个词语的词频信息；根据所述词频信息，确定词语在目标文本中的出现次数和出现频率；
根据所述词语在目标文本中的出现次数和出现频率，以及目标文本中所有词语的总出现次数，确定所述词语在目标文本中的显著性特征分值；
获取多个主题类别中各个主题类别的特征词语的显著性特征分值；其中，所述各个主题类别的特征词语根据权利要求1所述方法确定；
根据所述目标文本中各个词语的所述显著性特征分值，以及各个主题类别的特征词语的显著性特征分值，计算所述目标文本与各个主题类别的类别距离；
如果目标文本与所述多个主题类别中的某个主题类别的类别距离最近且所述类别距离小于等于阈值，则将目标文本确定为所述某个主题类别。
7.一种主题类别对应的特征词提取装置，其特征在于，所述装置包括：
获取模块，用于获取多个主题类别的示例文本，以及各个主题类别的示例文本的类别标签；
词频统计模块，用于对各个主题类别的示例文本进行分词处理，并对分词处理得到的各个词语分别进行词频统计，得到各个主题类别对应的多个词语的词频信息；
特征词筛选模块，用于针对各个主题类别，根据所述多个词语在本主题类别中的词频信息，以及在多个主题类别中的分布情况，从所述多个词语中筛选出至少一个特征词语，作为对应主题类别的特征词语；所述特征词语为在所述对应主题类别的示例文本中构成的显著性差异达到设定条件的词语。
8.一种文本主题类别识别装置，其特征在于，所述装置包括：
预处理模块，用于获取待识别的目标文本，进行分词处理，并统计分词得到的各个词语的词频信息；根据所述词频信息，确定词语在目标文本中的出现次数和出现频率；
显著性特征分值确定模块，用于根据所述词语在目标文本中的出现次数和出现频率，以及目标文本中所有词语的总出现次数，确定所述词语在目标文本中的显著性特征分值；
显著性特征分值获取模块，用于获取多个主题类别中各个主题类别的特征词语的显著性特征分值；其中，所述各个主题类别的特征词语根据权利要求1所述方法确定；
类别距离计算模块，用于根据所述目标文本中各个词语的所述显著性特征分值，以及各个主题类别的特征词语的显著性特征分值，计算所述目标文本与各个主题类别的类别距离；
主题类别确定模块，用于如果目标文本与所述多个主题类别中的某个主题类别的类别距离最近且所述类别距离小于等于阈值，则将目标文本确定为所述某个主题类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011430233.7A CN112528022A (zh) | 2020-12-09 | 2020-12-09 | 主题类别对应的特征词提取和文本主题类别识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011430233.7A CN112528022A (zh) | 2020-12-09 | 2020-12-09 | 主题类别对应的特征词提取和文本主题类别识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112528022A true CN112528022A (zh) | 2021-03-19 |
Family
ID=74998592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011430233.7A Pending CN112528022A (zh) | 2020-12-09 | 2020-12-09 | 主题类别对应的特征词提取和文本主题类别识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528022A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114780668A (zh) * | 2022-04-22 | 2022-07-22 | 盐城金堤科技有限公司 | 业务标签的生成方法及其装置、计算机存储介质、电子终端 |
| CN115526173A (zh) * | 2022-10-12 | 2022-12-27 | 湖北大学 | 一种基于计算机信息技术的特征词提取方法及系统 |
| CN115587185A (zh) * | 2022-11-25 | 2023-01-10 | 平安科技（深圳）有限公司 | 文本分类方法、装置、电子设备及存储介质 |
| CN115759072A (zh) * | 2022-11-21 | 2023-03-07 | 时趣互动（北京）科技有限公司 | 一种特征词分类方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019200806A1 (zh) * | 2018-04-20 | 2019-10-24 | 平安科技（深圳）有限公司 | 文本分类模型的生成装置、方法及计算机可读存储介质 |
| CN111125355A (zh) * | 2018-10-31 | 2020-05-08 | 北京国双科技有限公司 | 一种信息处理方法及相关设备 |
| WO2020199591A1 (zh) * | 2019-03-29 | 2020-10-08 | 平安科技（深圳）有限公司 | 文本分类模型训练方法、装置、计算机设备及存储介质 |
| CN111859915A (zh) * | 2020-07-28 | 2020-10-30 | 北京林业大学 | 一种基于词频显著度水平的英文文本类别识别方法及系统 |
-
2020
- 2020-12-09 CN CN202011430233.7A patent/CN112528022A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019200806A1 (zh) * | 2018-04-20 | 2019-10-24 | 平安科技（深圳）有限公司 | 文本分类模型的生成装置、方法及计算机可读存储介质 |
| CN111125355A (zh) * | 2018-10-31 | 2020-05-08 | 北京国双科技有限公司 | 一种信息处理方法及相关设备 |
| WO2020199591A1 (zh) * | 2019-03-29 | 2020-10-08 | 平安科技（深圳）有限公司 | 文本分类模型训练方法、装置、计算机设备及存储介质 |
| CN111859915A (zh) * | 2020-07-28 | 2020-10-30 | 北京林业大学 | 一种基于词频显著度水平的英文文本类别识别方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114780668A (zh) * | 2022-04-22 | 2022-07-22 | 盐城金堤科技有限公司 | 业务标签的生成方法及其装置、计算机存储介质、电子终端 |
| CN114780668B (zh) * | 2022-04-22 | 2024-04-09 | 盐城天眼察微科技有限公司 | 业务标签的生成方法及其装置、计算机存储介质、电子终端 |
| CN115526173A (zh) * | 2022-10-12 | 2022-12-27 | 湖北大学 | 一种基于计算机信息技术的特征词提取方法及系统 |
| CN115759072A (zh) * | 2022-11-21 | 2023-03-07 | 时趣互动（北京）科技有限公司 | 一种特征词分类方法、装置、电子设备及存储介质 |
| CN115759072B (zh) * | 2022-11-21 | 2024-03-12 | 时趣互动（北京）科技有限公司 | 一种特征词分类方法、装置、电子设备及存储介质 |
| CN115587185A (zh) * | 2022-11-25 | 2023-01-10 | 平安科技（深圳）有限公司 | 文本分类方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108804641B (zh) | 一种文本相似度的计算方法、装置、设备和存储介质 | |
| CN110162593B (zh) | 一种搜索结果处理、相似度模型训练方法及装置 | |
| KR102056822B1 (ko) | 학습 서비스 제공 방법 및 그 장치 | |
| CN108376151B (zh) | 问题分类方法、装置、计算机设备和存储介质 | |
| CN108595695B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN110390006B (zh) | 问答语料生成方法、装置和计算机可读存储介质 | |
| CN109635296B (zh) | 新词挖掘方法、装置计算机设备和存储介质 | |
| CN112528022A (zh) | 主题类别对应的特征词提取和文本主题类别识别方法 | |
| CN110738247B (zh) | 一种基于选择性稀疏采样的细粒度图像分类方法 | |
| CN111309912A (zh) | 文本分类方法、装置、计算机设备及存储介质 | |
| CN108090216B (zh) | 一种标签预测方法、装置及存储介质 | |
| CN108376129B (zh) | 一种纠错方法及装置 | |
| CN111324713B (zh) | 对话自动回复方法、装置、存储介质和计算机设备 | |
| WO2020114100A1 (zh) | 一种信息处理方法、装置和计算机存储介质 | |
| CN111444723A (zh) | 信息抽取模型训练方法、装置、计算机设备和存储介质 | |
| CN110427612B (zh) | 基于多语言的实体消歧方法、装置、设备和存储介质 | |
| CN112163424A (zh) | 数据的标注方法、装置、设备和介质 | |
| CN110083832B (zh) | 文章转载关系的识别方法、装置、设备及可读存储介质 | |
| CN111708890B (zh) | 一种搜索词确定方法和相关装置 | |
| CN112699923A (zh) | 文档分类预测方法、装置、计算机设备及存储介质 | |
| CN113486664A (zh) | 文本数据可视化分析方法、装置、设备及存储介质 | |
| CN110968664A (zh) | 一种文书检索方法、装置、设备及介质 | |
| CN112613293A (zh) | 摘要生成方法、装置、电子设备及存储介质 | |
| CN112163415A (zh) | 针对反馈内容的用户意图识别方法、装置及电子设备 | |
| CN115858776B (zh) | 一种变体文本分类识别方法、系统、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |