CN106709370B - 一种基于文本内容的长词识别方法及系统 - Google Patents

一种基于文本内容的长词识别方法及系统 Download PDF

Info

Publication number
CN106709370B
CN106709370B CN201611266756.6A CN201611266756A CN106709370B CN 106709370 B CN106709370 B CN 106709370B CN 201611266756 A CN201611266756 A CN 201611266756A CN 106709370 B CN106709370 B CN 106709370B
Authority
CN
China
Prior art keywords
document
feature
word
long word
priori
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611266756.6A
Other languages
English (en)
Other versions
CN106709370A (zh
Inventor
魏效征
王志海
喻波
张静
徐军帅
安鹏
牛立伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wondersoft Technology Co Ltd
Original Assignee
Beijing Wondersoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wondersoft Technology Co Ltd filed Critical Beijing Wondersoft Technology Co Ltd
Priority to CN201611266756.6A priority Critical patent/CN106709370B/zh
Publication of CN106709370A publication Critical patent/CN106709370A/zh
Application granted granted Critical
Publication of CN106709370B publication Critical patent/CN106709370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于文本内容的长词识别方法及系统，该方法包括以下步骤：对先验文档进行预处理，从中提取需要识别的文本内容；提取所述文本内容中的词语，对超过长度阈值的词语识别为特征长词；以选择出的所述特征长词为基准，获得特征长词组在每个先验文档中的出现频率，从而生成每个先验文档的特征长词频率向量，由多个先验文档的特征长词频率向量构成T‑D矩阵；计算所述向量间的距离，根据LSA的方法确定文档类别，对所述文档类别进行标记；选择出能代表所述文档的特征长词；用选择出的所述特征长词重新构造文档向量，将训练好的分类器判定新接收文档的类别。通过该发明的方案，提高了分档分类的效率和准确性，保证了文档的安全。

Description

一种基于文本内容的长词识别方法及系统
技术领域
本发明涉及数据安全领域，具体涉及一种基于文本内容的长词识别方法及系统。
背景技术
近年来，由于企业内部电子数据的格式及其存储形式的日益多样化，企业敏感数据泄露的风险急剧增加，因此企业对自有敏感数据或文档的防外泄工作日益重视。要实现对企业文档的有效防护，需要先对企业文档进行分类。企业文档数量大，只有适当的分类后，才能根据每类文档制定出合适的策略和规则。但是，文本分类的方法虽多种多样，分类结果的准确性却严重依赖于文本特征。如果选择出的文本特征区分度好，文本分类的结果不但类别数准确，属于每一类的文档边界也不容易产生重叠。因此，如何选择区分度好的文本特征，并使用这些特征进行分类或归类，是实现企业文档数据安全的核心内容。
现有技术中的专利技术：
专利文献1：《一种文本特征提取系统和方法》，申请号：201410491458.1，申请日：2014年09月24日；
专利文献2：《提取文本特征的装置和方法》，申请号：201510193912.X，申请日：2015年04月22日；
专利文献3：《一种短文本特征提取方法》，申请号：201510449415.1，申请日： 2015年07月28日。
专利文献1中，对于特征词库中的特征词Fi，根据预先建立的样本库中包含所述特征词Fi的样本中该特征词Fi的出现次数以及包含该特征词Fi的样本所具有的标签，确定该特征词Fi与标签库中的每个标签之间的互信息；对目标文档进行分词，获得所述目标文档中出现的所有特征词；基于目标文档中的每个特征词与每个标签之间的互信息，确定所述目标文档中的每个特征词对每个标签的权重，将所述目标文档中的所有特征词对同一个标签的权重进行加权，得到所述目标文档中的所有特征词对同一个标签的总权重；根据各个标签的所述总权重，从所述各个标签中确定出目标标签作为所述目标文档的文本特征。
专利文献2中，提到了一种提取文本特征的装置，包括：分词单元，被配置为对输入文档进行分词得到多个词、每个词的词性和每个词与其相邻词的词性组合；重要性计算单元，被配置为计算每个词的重要程度；词性权重计算单元，被配置为计算每个词的词性的权重；词性组合权重计算单元，被配置为计算每个词与其相邻词的词性组合的权重；以及文本特征提取单元，被配置为对于每个词，根据其重要程度、词性的权重以及词性组合的权重来提取该词的文本特征。
专利文献3中，基于知识库和句法分析方法对短文本进行特征提取，通过计算各个话题的权值，用话题向量作为短文本最终的特征向量，以解决短文本特征稀疏和短文本主题不明确的问题。
可见，目前现有的文本特征提取实现方案，能从词语的词性、语义、主题等方面来选择文本特征。不论是词性、语义还是主题分析，都是选定既定字典，对文本切词，按照词性、语义或者主题来计算词语的权值。
因此，现有技术存在以下技术问题：
(1)忽视长词在文本分类和归类中的显著作用。
(2)语义分析、词性分析、主题分析等方法的智能效果好，适合训练样本数量多，对分类和归类的精确度要求不高的场合，但不适合数据安全领域。在数据安全领域，需要归类和分类的文本种类少、样本规模小，但对精确度要求高。
(3)语义分析、词性分析、主题分析等方法实现难度大，在数据安全领域不好实现。因为数据安全领域的聚类、分类或归类，都是在相对封闭环境下进行，难以访问互联网，所涉及的主题或语义也很难从互联网获取到。但词语的长度，即词语短语的字节长度，易于计算并使用。
发明内容
为解决上述技术问题，本发明提供了一种基于文本内容的长词识别方法，包括以下步骤：
1)对多个先验文档进行预处理，从中提取需要识别的文本内容；
2)提取所述文本内容中的词语，对超过长度阈值的词语识别为特征长词，从而得到一组特征长词组；
3)以选择出的所述特征长词组为基准，获得所述特征长词组在每个先验文档中的出现频率，从而生成每个先验文档的特征长词频率向量，由多个先验文档的特征长词频率特征向量构成T-D矩阵；对所述T-D矩阵进行SVD(奇异值)分解实现降维；
4)根据对所述T-D矩阵分解后的结果，计算所述特征长词频率向量间的距离，根据LSA(潜在语义分析)的方法确定文档类别，对所述文档类别进行标记；
5)对所述特征长词按照词长进行排序，依次计算所述特征长词的权重值，按照特征词选择规则，选择出能代表所述先验文档的特征长词；
6)用选择出的所述特征长词重新构造文档向量，根据人工神经网络ANN或者支持向量机SVM方法训练分类器，确定分类器系数，将训练好的分类器判定新接收文档的类别。
优选的，所述对所述先验文档进行预处理包括：识别所述先验文档格式，提取所述先验文档的文本内容并进行统一编码转换。
优选的，在所述步骤2)提取所述文本内容中的词语具体包括：对所述文本内容进行切分，切分后根据词典进行验证，提取所述文本内容中的词语。
优选的，在所述步骤2)中对超过长度阈值的词语识别为特征长词之后还包括：判断所述特征长词是否可以继续切分，如果不能切分，并且该特征长词在所述先验文档中出现的频率大于某个阈值，选中该特征长词为最终的特征长词；如果能够切分，计算该特征长词在所述先验文档中出现的概率f1以及切分后的短词在所述先验文档中出现的概率f2，如果 f1>f2，选中该特征长词为最终的特征长词。
优选的，所述步骤)5中按照以下公式计算第k个特征长词的权重值：
其中，Length表示特征长词的长度，tfk，tfi表示词频，即第i,k个特征长词在当前先验文档中出现的次数，dfi表示文档频率，即第i个特征长词一共在多少个先验文档出现。
为解决上述技术问题，本发明提供了一种基于文本内容的长词识别装置，包括：
提取模块，对多个先验文档进行预处理，从中提取需要识别的文本内容；
长词识别模块，提取所述文本内容中的词语，对超过长度阈值的词语识别为特征长词，从而得到一组特征长词组；
聚类模块，以选择出的所述特征长词组为基准，获得所述特征长词组在每个先验文档中的出现频率，从而生成每个先验文档的特征长词频率向量，由多个先验文档的特征长词频率特征向量构成T-D矩阵；对所述T-D矩阵进行SVD(奇异值)分解实现降维；
类别标记模块，根据对所述T-D矩阵分解后的结果，计算所述特征长词频率向量间的距离，根据LSA(潜在语义分析)的方法确定文档类别，对所述文档类别进行标记；
特征选择模块，对所述特征长词按照词长进行排序，依次计算所述特征长词的权重值，按照特征词选择规则，选择出能代表所述先验文档的特征长词；
分类模块，用选择出的所述特征长词重新构造文档向量，根据人工神经网络ANN或者支持向量机SVM方法训练分类器，确定分类器系数，将训练好的分类器判定新接收文档的类别。
优选的，所述提取模块还包括：识别所述先验文档格式，提取所述先验文档的文本内容并进行统一编码转换。
优选的，所述长词识别模块还包括：判断所述特征长词是否可以继续切分，如果不能切分，并且该特征长词在所述先验文档中出现的频率大于某个阈值，选中该特征长词为最终的特征长词；如果能够切分，计算该特征长词在所述先验文档中出现的概率f1以及切分后的短词在所述先验文档中出现的概率f2，如果f1>f2，选中该特征长词为最终的特征长词。
优选的，所述特征选择模块按照以下公式计算第k个特征长词的权重值：
其中，Length表示特征长词的长度，tfk，tfi表示词频，即第i,k个特征长词在当前先验文档中出现的次数，dfi表示文档频率，即第i个特征长词一共在多少个先验文档出现。
为解决上述技术问题，本发明提供了一种文档安全保护装置，其包括上述之一的长词识别装置，当发现某个文档被访问时，判断该文档的类别，根据该文档的类别判断是否需要对用户的访问权限进行授权，如果需要，则对用户权限进行鉴权，如果鉴权通过，允许对该文档的访问，否则拒绝对该文档的访问。
通过本发明的技术方案取得了以下技术效果：能显著减少误报率；基于词语字节长度的特征提取方法和文档类型判定方法简单有效，应用方便。
附图说明
图1是本发明的总体框图
图2是本发明总体方法流程图
图3是本发明的长词生成流程图
图4是本发明特征词权重计算流程图
具体实施方式
名词解释：
DLP：Data leakage prevention，是通过一定的技术手段，防止企业的指定数据或信息资产以违反安全策略规定的形式流出企业的一种策略。
VSM：Vector Space Model，向量空间模型，把对文本内容的处理简化为向量空间中的向量运算，并且它以空间上的相似度表达语义的相似度，直观易懂。当文档被表示为文档空间的向量，就可以通过计算向量之间的相似性来度量文档间的相似性。
文件指纹：安装在计算机上的操作系统，供用户自由使用，可以不进行磁盘加密。
贝叶斯分析方法：一种计算假设概率的方法，这种方法是基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身而得出的。
现有技术没能足够重视词长在数据安全领域文本分类过程中的显著作用。本发明提出了在已有的字典条件下生成长词的方法，还提出了在文本分类过程中如何使用词长特征。本发明提出的文本分类方法，适合于数据安全领域的文本聚类分类和归类，准确度高且易于实施
附图1是本发明的系统框图。
本发明提出的系统包括：文本聚类模块、特征选取模块、文档归类模块。
本发明的分类流程图如如图2：
1)文本提取
文本聚类前，首先要使用文本提取工具识别先验文档的格式，提取先验文档的文本内容并进行编码转换，最终从先验文档中提取出需要的文本内容。
这些先验文档是训练用的文档，一般都是企业信息管理部门提供的历史文档，这些文档的类别信息能用来制定分类规则。后面新接收的文档，是分类规则确定好后，从企业员工的邮件或者U盘或者其他渠道实时抓取到的文件，并对这些新接收文档进行归类。
2)切词并生成长词
对文本内容进行机械切分，切分后根据词典进行验证，提取文本中的词语；对超过四个字长度的短语，如Figure3所示生成长词。
3)特征构建与聚类处理
根据卡方校验(比较一列值，上一个和下一个之间的相对变化量，把变化量最大的地方，设置成界限值。)选择初步的特征词语，以选择出的特征词语为基准，生成每个先验文档的特征向量，组成T-D(词频—文档频率)矩阵；对T-D阵进行SVD分解实现降维。
4)类别标记与确定
根据T-D阵分解后的结果，计算每个先验文档向量间的距离，根据LSA的方法获得先验文档类别。文档类别需要进行人工确认，确认后标记文档类别标签；
5)特征提取
对特征关键词按照词长进行排序，按照附图4所示，依次计算词语的权重值，按照特征词选择规则(这个选择规则，可以是卡方校验，也可以是互信息，信息增益，或皮尔森系数等，这些均属于现有技术，在此不做赘述)，确定特征词。
按照词的权重值(重要系数)对词排序后，采用卡方校验确定选择那些词，不选择那些词。卡方校验能分析排好序的系数，哪里的空隙最大，即相邻词的系数差异最明显的地方。这样我们就可以从差异最明显的地方，切割开来，选择卡方值以上的那些词。
6)文本分类
选择好词语特征后，用选定的词语，重新构造文档向量，根据人工神经网络ANN或者支持向量机svm方法训练分类器，分类器系数确定后，将分类器判定规则下发给数据安全软件。数据安全软件捕获到文档后，根据分类器判定规则进行判决。
图3是本发明的长词生成方法，具体包括：
1)对文本内容进行切词；
2)通过判断切词得到长词；
3)判断该长词是否能够继续切分；
4)如果不能切分，并且该长词在文档中出现的频率大于某个阈值，选中该长词为特征长词；
5)如果能够切分，计算长词在文档中出现的概率；
6)查询切分后的短词在文档中出现的概率(通过查询常用词频率表)；
7)如果长词出现概率>短词出现的概率，选中该长词为文档特征长词。
附图4是本发明的特征词权重计算流程，包括：
1)提取文本内容中的特征词；
2)计算特征词的词频和文档的频率；
3)计算特征词词长权重，ln(Length)；
4)计算第k个特征词的权重。
其中，Length表示特征长词的长度，tfk，tfi表示词频，即第i,k个特征长词在当前先验文档中出现的次数，dfi表示文档频率，即第i个特征长词一共在多少个先验文档出现。如果文档频率越大，说明是每个文档中都可能出现的词，说明区分度小，参考意义不大。词频越大，反而说明这个词，对这个文档的类别区分意义越高。
本发明还公开了一种文档安全保护装置，其包括长词识别装置，当发现某个文档被访问时，判断该文档的类别，根据该文档的类别判断是否需要对用户的访问权限进行授权，如果需要，则对用户权限进行鉴权，如果鉴权通过，允许对该文档的访问，否则拒绝对该文档的访问。
在具体应用该发明时，在企业实际的文档审计中，使用企业完整名称匹配到的文档准确高于使用企业简称得到的文档。如中爱立信命中的文档不如爱立信电信技术公司准确，华为命中的文档不如华为技术股份有限公司准确。因为企业完整名称是长词，一旦出现，匹配文档的准确度很高。
通过本发明，在数据安全领域，基于长词的文本类型识别，能显著减少误报率。基于词语字节长度的特征提取方法和文档类型判定方法简单有效，应用方便。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应保护在本发明的保护范围之内。

Claims (6)

1.一种基于企业内部文档的文本内容的长词识别方法，包括以下步骤：
1)对多个先验文档进行预处理，从中提取需要识别的文本内容；
2)提取所述文本内容中的词语，对超过长度阈值的词语识别为特征长词，从而得到一组特征长词组；
3)以选择出的所述特征长词组为基准，获得所述特征长词组在每个先验文档中的出现频率，从而生成每个先验文档的特征长词频率向量，由多个先验文档的特征长词频率特征向量构成T-D矩阵；对所述T-D矩阵进行奇异值分解SVD实现降维；
4)根据对所述T-D矩阵分解后的结果，计算所述特征长词频率向量间的距离，根据潜在语义分析LSA的方法确定文档类别，对所述文档类别进行标记；
5)对所述特征长词按照词长进行排序，依次计算所述特征长词的权重值，按照特征词选择规则，选择出能代表所述先验文档的特征长词；
6)用选择出的所述特征长词重新构造文档向量，根据人工神经网络ANN或者支持向量机SVM方法训练分类器，确定分类器系数，将训练好的分类器判定新接收文档的类别；
在所述步骤2)中对超过长度阈值的词语识别为特征长词之后还包括：判断所述特征长词是否可以继续切分，如果不能切分，并且该特征长词在所述先验文档中出现的频率大于某个阈值，选中该特征长词为最终的特征长词；如果能够切分，计算该特征长词在所述先验文档中出现的概率f1以及切分后的短词在所述先验文档中出现的概率f2，如果f1>f2，选中该特征长词为最终的特征长词；
所述步骤5)中按照以下公式计算第k个特征长词的权重值：
其中，Length表示特征长词的长度，tfk，tfi表示词频，即第k，i个特征长词在当前先验文档中出现的次数，dfi表示文档频率，即第i个特征长词一共在多少个先验文档出现。
2.根据权利要求1所述的方法，所述对多个先验文档进行预处理包括：识别所述先验文档格式，提取所述先验文档的文本内容并进行统一编码转换。
3.根据权利要求1所述的方法，在所述步骤2)提取所述文本内容中的词语具体包括：对所述文本内容进行切分，切分后根据词典进行验证，提取所述文本内容中的词语。
4.一种基于企业内部文档的文本内容的长词识别装置，包括：
提取模块，对多个先验文档进行预处理，从中提取需要识别的文本内容；
长词识别模块，提取所述文本内容中的词语，对超过长度阈值的词语识别为特征长词，从而得到一组特征长词组；
聚类模块，以选择出的所述特征长词组为基准，获得所述特征长词组在每个先验文档中的出现频率，从而生成每个先验文档的特征长词频率向量，由多个先验文档的特征长词频率特征向量构成T-D矩阵；对所述T-D矩阵进行奇异值分解SVD实现降维；
类别标记模块，根据对所述T-D矩阵分解后的结果，计算所述特征长词频率向量间的距离，根据LSA潜在语义分析LSA的方法确定文档类别，对所述文档类别进行标记；
特征选择模块，对所述特征长词按照词长进行排序，依次计算所述特征长词的权重值，按照特征词选择规则，选择出能代表所述先验文档的特征长词；
分类模块，用选择出的所述特征长词重新构造文档向量，根据人工神经网络ANN或者支持向量机SVM方法训练分类器，确定分类器系数，将训练好的分类器判定新接收文档的类别；
所述长词识别模块还包括：判断所述特征长词是否可以继续切分，如果不能切分，并且该特征长词在所述先验文档中出现的频率大于某个阈值，选中该特征长词为最终的特征长词；如果能够切分，计算该特征长词在所述先验文档中出现的概率f1以及切分后的短词在所述先验文档中出现的概率f2，如果f1>f2，选中该特征长词为最终的特征长词；
所述特征选择模块按照以下公式计算第k个特征长词的权重值：
其中，Length表示特征长词的长度，tfk，tfi表示词频，即第k，i个特征长词在当前先验文档中出现的次数，dfi表示文档频率，即第i个特征长词一共在多少个先验文档出现。
5.根据权利要求4所述的装置，所述提取模块还包括：识别所述先验文档格式，提取所述先验文档的文本内容并进行统一编码转换。
6.一种文档安全保护装置，其包括权利要求4-5之一的装置，当发现某个文档被访问时，判断该文档的类别，根据该文档的类别判断是否需要对用户的访问权限进行授权，如果需要，则对用户权限进行鉴权，如果鉴权通过，允许对该文档的访问，否则拒绝对该文档的访问。
CN201611266756.6A 2016-12-31 2016-12-31 一种基于文本内容的长词识别方法及系统 Active CN106709370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611266756.6A CN106709370B (zh) 2016-12-31 2016-12-31 一种基于文本内容的长词识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611266756.6A CN106709370B (zh) 2016-12-31 2016-12-31 一种基于文本内容的长词识别方法及系统

Publications (2)

Publication Number Publication Date
CN106709370A CN106709370A (zh) 2017-05-24
CN106709370B true CN106709370B (zh) 2019-10-29

Family

ID=58905618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611266756.6A Active CN106709370B (zh) 2016-12-31 2016-12-31 一种基于文本内容的长词识别方法及系统

Country Status (1)

Country Link
CN (1) CN106709370B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292193A (zh) * 2017-05-25 2017-10-24 北京北信源软件股份有限公司 一种实现数据泄露防护的方法和系统
CN109597982B (zh) * 2017-09-30 2022-11-22 北京国双科技有限公司 摘要文本识别方法及装置
CN108334494B (zh) * 2018-01-23 2022-01-25 创新先进技术有限公司 一种用户关系网络的构建方法和装置
CN112487181B (zh) * 2019-09-12 2024-02-13 北京国双科技有限公司 关键词确定方法和相关设备
CN111159404B (zh) * 2019-12-27 2023-09-19 海尔优家智能科技（北京）有限公司 文本的分类方法及装置
CN111242790B (zh) * 2020-01-02 2020-11-17 平安科技（深圳）有限公司 风险识别方法、电子装置及存储介质
CN112507714B (zh) * 2020-12-22 2023-06-23 北京百度网讯科技有限公司 文本的分割方法和装置
CN114936376A (zh) * 2022-06-14 2022-08-23 中国电信股份有限公司 文本定密方法及装置、非易失性存储介质、处理器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101847197A (zh) * 2009-03-24 2010-09-29 上海任登信息科技有限公司 一种文档访问权限的控制方法
CN103902570A (zh) * 2012-12-27 2014-07-02 腾讯科技（深圳）有限公司 一种文本分类特征提取方法、分类方法及装置
CN104408033A (zh) * 2014-11-25 2015-03-11 中国人民解放军国防科学技术大学 一种文本信息提取的方法及系统
CN105701084A (zh) * 2015-12-28 2016-06-22 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于互信息的文本分类的特征提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101847197A (zh) * 2009-03-24 2010-09-29 上海任登信息科技有限公司 一种文档访问权限的控制方法
CN103902570A (zh) * 2012-12-27 2014-07-02 腾讯科技（深圳）有限公司 一种文本分类特征提取方法、分类方法及装置
CN104408033A (zh) * 2014-11-25 2015-03-11 中国人民解放军国防科学技术大学 一种文本信息提取的方法及系统
CN105701084A (zh) * 2015-12-28 2016-06-22 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于互信息的文本分类的特征提取方法

Also Published As

Publication number Publication date
CN106709370A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106709370B (zh) 一种基于文本内容的长词识别方法及系统
CN111045847B (zh) 事件审计方法、装置、终端设备以及存储介质
Méndez et al. A comparative performance study of feature selection methods for the anti-spam filtering domain
CN106202561B (zh) 基于文本大数据的数字化应急管理案例库构建方法及装置
CN110826320B (zh) 一种基于文本识别的敏感数据发现方法及系统
CN103064987B (zh) 一种虚假交易信息识别方法
CN109872162B (zh) 一种处理用户投诉信息的风控分类识别方法及系统
CN109977222A (zh) 数据敏感行为的识别方法
CN105787025A (zh) 网络平台公共账号分类方法及装置
CN111428028A (zh) 基于深度学习的信息分类方法及相关设备
CN107368856A (zh) 恶意软件的聚类方法及装置、计算机装置及可读存储介质
CN113535959B (zh) 面向基层治理的事件自动分拨方法
CN104967558A (zh) 一种垃圾邮件的检测方法及装置
CN110909542A (zh) 智能语义串并分析方法及系统
CN112347254B (zh) 新闻文本的分类方法、装置、计算机设备和存储介质
Vanamala et al. Topic modeling and classification of Common Vulnerabilities And Exposures database
CN106095939A (zh) 账户权限的获取方法和装置
CN112651025A (zh) 一种基于字符级嵌入编码的webshell检测方法
CN113722492A (zh) 一种意图识别方法及装置
CN108280357A (zh) 基于语义特征提取的数据防泄漏方法、系统
CN108647497A (zh) 一种基于特征提取的api密钥自动识别系统
CN110245234A (zh) 一种基于本体和语义相似度的多源数据样本关联方法
CN109753798A (zh) 一种基于随机森林与FastText的Webshell检测模型
CN117573876A (zh) 一种业务数据分类分级方法及装置
CN106991171A (zh) 基于智慧校园信息服务平台的话题发现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant