CN104408034B - 一种面向文本大数据的中文分词方法 - Google Patents
一种面向文本大数据的中文分词方法 Download PDFInfo
- Publication number
- CN104408034B CN104408034B CN201410711771.1A CN201410711771A CN104408034B CN 104408034 B CN104408034 B CN 104408034B CN 201410711771 A CN201410711771 A CN 201410711771A CN 104408034 B CN104408034 B CN 104408034B
- Authority
- CN
- China
- Prior art keywords
- key
- value
- word segmentation
- result
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000011218 segmentation Effects 0.000 title claims abstract description 80
- 230000006870 function Effects 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims description 36
- 238000005520 cutting process Methods 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 13
- 206010028916 Neologism Diseases 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 206010008190 Cerebrovascular accident Diseases 0.000 claims description 3
- 208000006011 Stroke Diseases 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 2
- 238000003058 natural language processing Methods 0.000 abstract description 4
- 238000000354 decomposition reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
Description
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410711771.1A CN104408034B (zh) | 2014-11-28 | 2014-11-28 | 一种面向文本大数据的中文分词方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410711771.1A CN104408034B (zh) | 2014-11-28 | 2014-11-28 | 一种面向文本大数据的中文分词方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104408034A CN104408034A (zh) | 2015-03-11 |
CN104408034B true CN104408034B (zh) | 2017-03-22 |
Family
ID=52645666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410711771.1A Active CN104408034B (zh) | 2014-11-28 | 2014-11-28 | 一种面向文本大数据的中文分词方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104408034B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105373529B (zh) * | 2015-10-28 | 2018-04-20 | 甘肃智呈网络科技有限公司 | 一种基于隐马尔科夫模型的智能分词方法 |
CN107977341A (zh) * | 2016-10-21 | 2018-05-01 | 北京航天爱威电子技术有限公司 | 大数据文本快速处理方法 |
CN106776544B (zh) * | 2016-11-24 | 2020-05-05 | 四川无声信息技术有限公司 | 人物关系识别方法及装置和分词方法 |
CN108241713B (zh) * | 2016-12-27 | 2021-12-28 | 南京烽火星空通信发展有限公司 | 一种基于多元切分的倒排索引检索方法 |
CN109683773B (zh) * | 2017-10-19 | 2021-01-22 | 北京国双科技有限公司 | 语料标注方法和装置 |
CN108664468A (zh) * | 2018-05-02 | 2018-10-16 | 武汉烽火普天信息技术有限公司 | 一种基于词典和语义消歧的人名识别方法和装置 |
CN110956036A (zh) * | 2018-09-25 | 2020-04-03 | 南京大学 | 面向领域的文本大数据快速分词方法 |
CN109614499B (zh) * | 2018-11-22 | 2023-02-17 | 创新先进技术有限公司 | 一种词典生成方法、新词发现方法、装置及电子设备 |
CN110619122B (zh) * | 2019-09-19 | 2023-08-22 | 中国联合网络通信集团有限公司 | 分词处理方法、装置、设备及计算机可读存储介质 |
CN111160024B (zh) * | 2019-12-30 | 2023-08-15 | 广州广电运通信息科技有限公司 | 基于统计的中文分词方法、系统、装置和存储介质 |
CN112131877B (zh) * | 2020-09-21 | 2024-04-09 | 民生科技有限责任公司 | 一种海量数据下的实时中文文本分词方法 |
CN117422061B (zh) * | 2023-12-19 | 2024-03-08 | 中南大学 | 一种文本词项多重分割结果合并标注方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102163226A (zh) * | 2011-04-12 | 2011-08-24 | 浙江大学 | 基于映射-化简和分词及邻接排序去重方法 |
CN102402606A (zh) * | 2011-11-28 | 2012-04-04 | 中国科学院计算机网络信息中心 | 一种高效的文本数据挖掘方法 |
CN102915365A (zh) * | 2012-10-24 | 2013-02-06 | 苏州两江科技有限公司 | 基于Hadoop的分布式搜索引擎构建方法 |
CN103279478A (zh) * | 2013-04-19 | 2013-09-04 | 国家电网公司 | 一种基于分布式互信息文档特征提取方法 |
CN104123289A (zh) * | 2013-04-24 | 2014-10-29 | 北京无限立通通讯技术有限责任公司 | 一种垃圾邮件关键词的查找方法及系统 |
-
2014
- 2014-11-28 CN CN201410711771.1A patent/CN104408034B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102163226A (zh) * | 2011-04-12 | 2011-08-24 | 浙江大学 | 基于映射-化简和分词及邻接排序去重方法 |
CN102402606A (zh) * | 2011-11-28 | 2012-04-04 | 中国科学院计算机网络信息中心 | 一种高效的文本数据挖掘方法 |
CN102915365A (zh) * | 2012-10-24 | 2013-02-06 | 苏州两江科技有限公司 | 基于Hadoop的分布式搜索引擎构建方法 |
CN103279478A (zh) * | 2013-04-19 | 2013-09-04 | 国家电网公司 | 一种基于分布式互信息文档特征提取方法 |
CN104123289A (zh) * | 2013-04-24 | 2014-10-29 | 北京无限立通通讯技术有限责任公司 | 一种垃圾邮件关键词的查找方法及系统 |
Non-Patent Citations (3)
Title |
---|
Hadoop云平台下Nutch中文分词的研究与实现;朱潜,吴辰铌,朱志良,刘洪娟;《小型微型计算机系统》;20131231;第34卷(第12期);第2772-2776页 * |
基于云计算的中文分词研究;张妍,许云峰,张立全;《河北科技大学学报》;20120630;第33卷(第3期);第267-268页 * |
基于多属性的海量Web数据关联存储及检索系统;罗芳,李春花,周可,黄永峰,廖正霜;《计算机工程与科学》;20140331;第36卷(第3期);第404-410页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104408034A (zh) | 2015-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104408034B (zh) | 一种面向文本大数据的中文分词方法 | |
Wang et al. | Mathdqn: Solving arithmetic word problems via deep reinforcement learning | |
CN111581949B (zh) | 学者人名的消歧方法、装置、存储介质及终端 | |
US8782051B2 (en) | System and method for text categorization based on ontologies | |
CN106096066B (zh) | 基于随机近邻嵌入的文本聚类方法 | |
US10579661B2 (en) | System and method for machine learning and classifying data | |
CN104699772B (zh) | 一种基于云计算的大数据文本分类方法 | |
CN111801674A (zh) | 通过处理使用数据来改进自然语言接口 | |
JP2018190188A (ja) | 要約生成装置、要約生成方法及びコンピュータプログラム | |
JP5881048B2 (ja) | 情報処理システム、及び、情報処理方法 | |
CN106874478A (zh) | 基于Spark的并行化随机标签子集多标签文本分类方法 | |
Zu et al. | Resume information extraction with a novel text block segmentation algorithm | |
CN112115716A (zh) | 一种基于多维词向量下文本匹配的服务发现方法、系统及设备 | |
Stoltzfus et al. | Phylotastic! Making tree-of-life knowledge accessible, reusable and convenient | |
JP2010044637A (ja) | データ処理装置、方法、及びプログラム | |
CN118779407A (zh) | 基于知识检索增强的特色农产品标准化文件内容生成方法 | |
CN103412878B (zh) | 基于领域知识地图社区结构的文档主题划分方法 | |
Banik et al. | Gru based named entity recognition system for bangla online newspapers | |
CN105975497A (zh) | 微博话题自动推荐方法及装置 | |
Al-Andoli et al. | Deep autoencoder-based community detection in complex networks with particle swarm optimization and continuation algorithms | |
US12242503B1 (en) | Copilot architecture: network of microservices including specialized machine learning tools | |
CN115422369A (zh) | 基于改进TextRank的知识图谱补全方法和装置 | |
CN116089592A (zh) | 一种开放域多答案问答的实现方法、设备及存储介质 | |
US7840503B2 (en) | Learning A* priority function from unlabeled data | |
CN115587192A (zh) | 关系信息抽取方法、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Xu Tao Inventor after: Zou Fuhao Inventor after: Zhou Ke Inventor after: Tang Xiaoman Inventor after: Zheng Sheng Inventor after: Zhang Sheng Inventor after: Chen Jincai Inventor after: Li Chunhua Inventor before: Zou Fuhao Inventor before: Zhou Ke Inventor before: Tang Xiaoman Inventor before: Zheng Sheng Inventor before: Zhang Sheng Inventor before: Chen Jincai Inventor before: Li Chunhua |
|
COR | Change of bibliographic data | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |