CN110442708A - 一种基于粒度计算的信息分类方法 - Google Patents
一种基于粒度计算的信息分类方法 Download PDFInfo
- Publication number
- CN110442708A CN110442708A CN201910547137.1A CN201910547137A CN110442708A CN 110442708 A CN110442708 A CN 110442708A CN 201910547137 A CN201910547137 A CN 201910547137A CN 110442708 A CN110442708 A CN 110442708A
- Authority
- CN
- China
- Prior art keywords
- information
- classification
- vocabulary
- lexical set
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013459 approach Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 230000008676 import Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于粒度计算的信息分类方法，包括以下步骤：获取信息；进行分词处理并获得词汇集合；进行词性标注和词义标注；根据预先存储的各类别信息，从词汇集合中获得与其相匹配的类别词汇；基于粒度计算确定词汇集合中的每一个类别词汇的权重；确定词汇集合中包含的所有类别词汇所属的目标类别信息；基于粒度计算确定每一个目标类别信息的权重；根据每一个目标类别信息的权重，确定该信息所属的至少一个类目；判断该信息与各所属类目的概率是否大于预设阈值。本发明基于粒度计算来进行信息分类，优化了信息分类方法，操作简便，分类效率高，分类准确度高，省时省力。
Description
技术领域
本发明涉及信息分类技术领域，尤其涉及一种基于粒度计算的信息分类方法。
背景技术
伴随信息技术的飞速发展，特别是移动通信技术和计算机互联网技术飞速发展，移动通信网络已经发生了革命性的变革，信息中蕴含着巨大的信息内容和价值，面对信息的数据量增长等问题，人们提出了对信息进行分类的需求，以便对分类后的信息或与信息相对应的对象进行处理和分析，现有技术中，对信息的分类方法主要是更具人工定义好特定的短信模版，然后建立正则表达式处理，结构化出所需数据项，并对模版进行数据集的分类，具体来说，对信息的分类方法主要有两种，一种是根据关键词进行判断，即首先人工的对所有信息进行归类，然后在对每类信息提取特定的关键词作为入此数据集的标识，但是上述方法中，不同数据集的信息有可能都会匹配到同一个或一组关键词，造成分类不准确，另一种方法是对每个信息定义正则表达式，并对每一条正则表达式定义数据集，即为每一个信息都进行一次分类，但是上述方法中，需要对每一个信息定义正则表达式，随着信息量的不断增加，工作量激增，分类的效率不高；
但是现有的信息分类方法操作复杂，信息分类效率低，分类准确度低。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种基于粒度计算的信息分类方法，基于粒度计算来进行信息分类，优化了信息分类方法，操作简便，分类效率高，分类准确度高，省时省力。
(二)技术方案
为解决上述问题，本发明提出了一种基于粒度计算的信息分类方法，包括以下步骤：
S1、获取信息；
S2、对获取的信息进行分词处理，并获得词汇集合；
S3、对词汇集合中的词语进行词性标注和词义标注；
S4、根据预先存储的各类别信息，从词汇集合中获得与其相匹配的类别词汇；
S5、基于粒度计算确定词汇集合中的每一个类别词汇的权重；
S6、根据预先存储的各类别信息中各类别词汇的关联关系，确定词汇集合中包含的所有类别词汇所属的目标类别信息；
S7、根据目标类别信息和词汇集合中每一个类别词汇的权重，基于粒度计算确定每一个目标类别信息的权重；
S8、根据每一个目标类别信息的权重，确定该信息所属的至少一个类目；
S9、判断该信息与各所属类目的概率是否大于预设阈值；
若大于预设阈值，则将该信息分入指定类目下；若不大于预设阈值，则不将该信息分入指定类目下。
优选的，在S1中，信息的获取方式为爬虫获取、网上下载或批量导入。
优选的，在S2中，通过jieba工具对信息进行分词处理。
优选的，在S5中，权重用于表示网络信息与相应类别词汇的关联程度。
优选的，在S5中，其具体步骤如下:
根据词汇集合中包含的每一类别词汇在信息中出现的次数、出现的位置以及词汇集合中所有类别词汇所属目标类别信息的个数，与预先获得的每一目标类别信息的逆向文件频率中的一个或多个来计算每一类别词汇的权重。
优选的，每一目标类别信息的逆向文件频率为待分类的信息总数与包含相应目标类别信息的信息个数的商的对数。
优选的，在S9中，若信息与多个类目的概率均大于预设阈值，则将该信息分入概率最大的类目中，即将该信息归入与其相似度最高的类目中。
本发明的上述技术方案具有如下有益的技术效果：
本发明首先通过爬虫获取、网上下载或批量导入的方式获取信息，并通过 jieba工具对获取的信息进行分词处理，获得词汇集合，再对词汇集合中的词语进行词性标注和词义标注；然后根据预先存储的各类别信息，从词汇集合中获得与其相匹配的类别词汇；之后基于粒度计算确定词汇集合中的每一个类别词汇的权重；然后根据预先存储的各类别信息中各类别词汇的关联关系，确定词汇集合中包含的所有类别词汇所属的目标类别信息；之后根据目标类别信息和词汇集合中每一个类别词汇的权重，基于粒度计算确定每一个目标类别信息的权重；然后根据每一个目标类别信息的权重，确定该信息所属的至少一个类目；最后判断该信息与各所属类目的概率是否大于预设阈值并确定最终所属类目；
本发明基于粒度计算来进行信息分类，优化了信息分类方法，操作简便，分类效率高，分类准确度高，省时省力。
附图说明
图1为本发明提出的一种基于粒度计算的信息分类方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明提出的一种基于粒度计算的信息分类方法，包括以下步骤：
S1、获取信息；
S2、对获取的信息进行分词处理，并获得词汇集合；
S3、对词汇集合中的词语进行词性标注和词义标注；
S4、根据预先存储的各类别信息，从词汇集合中获得与其相匹配的类别词汇；
S5、基于粒度计算确定词汇集合中的每一个类别词汇的权重；
S6、根据预先存储的各类别信息中各类别词汇的关联关系，确定词汇集合中包含的所有类别词汇所属的目标类别信息；
S7、根据目标类别信息和词汇集合中每一个类别词汇的权重，基于粒度计算确定每一个目标类别信息的权重；
S8、根据每一个目标类别信息的权重，确定该信息所属的至少一个类目；
S9、判断该信息与各所属类目的概率是否大于预设阈值；
若大于预设阈值，则将该信息分入指定类目下；若不大于预设阈值，则不将该信息分入指定类目下。
在一个可选的实施例中，在S1中，信息的获取方式为爬虫获取、网上下载或批量导入。
在一个可选的实施例中，在S2中，通过jieba工具对信息进行分词处理。
在一个可选的实施例中，在S5中，权重用于表示网络信息与相应类别词汇的关联程度。
在一个可选的实施例中，在S5中，其具体步骤如下:
根据词汇集合中包含的每一类别词汇在信息中出现的次数、出现的位置以及词汇集合中所有类别词汇所属目标类别信息的个数，与预先获得的每一目标类别信息的逆向文件频率中的一个或多个来计算每一类别词汇的权重。
在一个可选的实施例中，每一目标类别信息的逆向文件频率为待分类的信息总数与包含相应目标类别信息的信息个数的商的对数。
在一个可选的实施例中，在S9中，若信息与多个类目的概率均大于预设阈值，则将该信息分入概率最大的类目中，即将该信息归入与其相似度最高的类目中。
本发明中，首先通过爬虫获取、网上下载或批量导入的方式获取信息，并通过jieba工具对获取的信息进行分词处理，获得词汇集合，再对词汇集合中的词语进行词性标注和词义标注；然后根据预先存储的各类别信息，从词汇集合中获得与其相匹配的类别词汇；之后基于粒度计算确定词汇集合中的每一个类别词汇的权重；然后根据预先存储的各类别信息中各类别词汇的关联关系，确定词汇集合中包含的所有类别词汇所属的目标类别信息；之后根据目标类别信息和词汇集合中每一个类别词汇的权重，基于粒度计算确定每一个目标类别信息的权重；然后根据每一个目标类别信息的权重，确定该信息所属的至少一个类目；最后判断该信息与各所属类目的概率是否大于预设阈值；若大于预设阈值，则将该信息分入指定类目下，若不大于预设阈值，则不将该信息分入指定类目下，若信息与多个类目的概率均大于预设阈值，则将该信息分入概率最大的类目中，即将该信息归入与其相似度最高的类目中；
本发明基于粒度计算来进行信息分类，优化了信息分类方法，操作简便，分类效率高，分类准确度高，省时省力。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (7)
1.一种基于粒度计算的信息分类方法，其特征在于，包括以下步骤：
S1、获取信息；
S2、对获取的信息进行分词处理，并获得词汇集合；
S3、对词汇集合中的词语进行词性标注和词义标注；
S4、根据预先存储的各类别信息，从词汇集合中获得与其相匹配的类别词汇；
S5、基于粒度计算确定词汇集合中的每一个类别词汇的权重；
S6、根据预先存储的各类别信息中各类别词汇的关联关系，确定词汇集合中包含的所有类别词汇所属的目标类别信息；
S7、根据目标类别信息和词汇集合中每一个类别词汇的权重，基于粒度计算确定每一个目标类别信息的权重；
S8、根据每一个目标类别信息的权重，确定该信息所属的至少一个类目；
S9、判断该信息与各所属类目的概率是否大于预设阈值；
若大于预设阈值，则将该信息分入指定类目下；若不大于预设阈值，则不将该信息分入指定类目下。
2.根据权利要求1所述的一种基于粒度计算的信息分类方法，其特征在于，在S1中，信息的获取方式为爬虫获取、网上下载或批量导入。
3.根据权利要求1所述的一种基于粒度计算的信息分类方法，其特征在于，在S2中，通过jieba工具对信息进行分词处理。
4.根据权利要求1所述的一种基于粒度计算的信息分类方法，其特征在于，在S5中，权重用于表示网络信息与相应类别词汇的关联程度。
5.根据权利要求1所述的一种基于粒度计算的信息分类方法，其特征在于，在S5中，其具体步骤如下:
根据词汇集合中包含的每一类别词汇在信息中出现的次数、出现的位置以及词汇集合中所有类别词汇所属目标类别信息的个数，与预先获得的每一目标类别信息的逆向文件频率中的一个或多个来计算每一类别词汇的权重。
6.根据权利要求5所述的一种基于粒度计算的信息分类方法，其特征在于，每一目标类别信息的逆向文件频率为待分类的信息总数与包含相应目标类别信息的信息个数的商的对数。
7.根据权利要求1所述的一种基于粒度计算的信息分类方法，其特征在于，在S9中，若信息与多个类目的概率均大于预设阈值，则将该信息分入概率最大的类目中，即将该信息归入与其相似度最高的类目中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910547137.1A CN110442708A (zh) | 2019-06-24 | 2019-06-24 | 一种基于粒度计算的信息分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910547137.1A CN110442708A (zh) | 2019-06-24 | 2019-06-24 | 一种基于粒度计算的信息分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110442708A true CN110442708A (zh) | 2019-11-12 |
Family
ID=68428972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910547137.1A Pending CN110442708A (zh) | 2019-06-24 | 2019-06-24 | 一种基于粒度计算的信息分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110442708A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128211A (zh) * | 2020-01-14 | 2021-07-16 | 北京京东振世信息技术有限公司 | 一种物品分类方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106777401A (zh) * | 2017-03-10 | 2017-05-31 | 北京搜狐新媒体信息技术有限公司 | 信息分类方法及装置 |
| CN109657697A (zh) * | 2018-11-16 | 2019-04-19 | 中山大学 | 基于半监督学习和细粒度特征学习的分类优化方法 |
-
2019
- 2019-06-24 CN CN201910547137.1A patent/CN110442708A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106777401A (zh) * | 2017-03-10 | 2017-05-31 | 北京搜狐新媒体信息技术有限公司 | 信息分类方法及装置 |
| CN109657697A (zh) * | 2018-11-16 | 2019-04-19 | 中山大学 | 基于半监督学习和细粒度特征学习的分类优化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周丹晨: "采用粒计算的属性权重确定方法", 《智能系统学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128211A (zh) * | 2020-01-14 | 2021-07-16 | 北京京东振世信息技术有限公司 | 一种物品分类方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108804512B (zh) | 文本分类模型的生成装置、方法及计算机可读存储介质 | |
| CN105389349B (zh) | 词典更新方法及装置 | |
| WO2022141861A1 (zh) | 情感分类方法、装置、电子设备及存储介质 | |
| CN103336766B (zh) | 短文本垃圾识别以及建模方法和装置 | |
| JP5165033B2 (ja) | 通信テキスト分類方法及び装置 | |
| CN105912716B (zh) | 一种短文本分类方法及装置 | |
| CN103294817A (zh) | 一种基于类别分布概率的文本特征抽取方法 | |
| CN109740154A (zh) | 一种基于多任务学习的在线评论细粒度情感分析方法 | |
| CN109471942B (zh) | 基于证据推理规则的中文评论情感分类方法及装置 | |
| CN110188192B (zh) | 一种多任务网络构建与多尺度的罪名法条联合预测方法 | |
| CN110427610A (zh) | 文本分析方法、装置、计算机装置及计算机存储介质 | |
| CN110377724A (zh) | 一种基于数据挖掘的语料库关键词自动抽取算法 | |
| CN102193936A (zh) | 一种数据分类的方法及装置 | |
| CN103995876A (zh) | 一种基于卡方统计和smo算法的文本分类方法 | |
| CN107704512A (zh) | 基于社交数据的金融产品推荐方法、电子装置及介质 | |
| CN101127042A (zh) | 一种基于语言模型的情感分类方法 | |
| CN111309910A (zh) | 文本信息挖掘方法及装置 | |
| CN110334209A (zh) | 文本分类方法、装置、介质及电子设备 | |
| CN106897290B (zh) | 一种建立关键词模型的方法及装置 | |
| CN104778283B (zh) | 一种基于微博的用户职业分类方法及系统 | |
| CN110321434A (zh) | 一种基于词义消歧卷积神经网络的文本分类方法 | |
| CN105912525A (zh) | 基于主题特征的半监督学习情感分类方法 | |
| CN112685374B (zh) | 日志分类方法、装置及电子设备 | |
| CN109101487A (zh) | 对话角色区分方法、装置、终端设备及存储介质 | |
| CN102360436B (zh) | 一种基于部件的联机手写藏文字符的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |