CN114936376A - 文本定密方法及装置、非易失性存储介质、处理器 - Google Patents
文本定密方法及装置、非易失性存储介质、处理器 Download PDFInfo
- Publication number
- CN114936376A CN114936376A CN202210668329.XA CN202210668329A CN114936376A CN 114936376 A CN114936376 A CN 114936376A CN 202210668329 A CN202210668329 A CN 202210668329A CN 114936376 A CN114936376 A CN 114936376A
- Authority
- CN
- China
- Prior art keywords
- classified
- text
- texts
- feature
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 239000013598 vector Substances 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000013145 classification model Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009849 deactivation Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000546 chi-square test Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 240000005546 Piper methysticum Species 0.000 description 1
- 235000016787 Piper methysticum Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Storage Device Security (AREA)
Abstract
本申请公开了一种文本定密方法及装置、非易失性存储介质、处理器。其中，该方法包括：获取待分类文本集合；确定待分类文本集合中各待分类文本的特征向量；将各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定各待分类文本的涉密等级，其中，涉密等级分类模型是对各待分类文本的特征向量形成的特征向量空间进行训练得到的。本申请解决了由于无法对文本进行合理精准分类造成的文本定密效率较低与文本定密精确度较差的技术问题。
Description
技术领域
本申请涉及网络信息安全领域，具体而言，涉及一种文本定密方法及装置、非易失性存储介质、处理器。
背景技术
随着计算机网络等技术的高速发展，许多企业信息化建设不断推进，大量应用了信息处理、交流、存储和管理等软件，规范了操作流程和工作方式提高工作效率，却带来了信息泄露风险。因此，保密工作成为关键环节，保密工作中最关键的一点就是对确定涉密文本的秘密等级。相关技术中，确定文本秘密等级的算法技术依然存在定密效率低、定密精准度差的问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种文本定密方法及装置、非易失性存储介质、处理器，以至少解决由于无法对文本进行合理精准分类造成的文本定密效率较低与文本定密精确度较差的技术问题。
根据本申请实施例的一个方面，提供了一种文本定密方法，包括：获取待分类文本集合；确定待分类文本集合中各待分类文本的特征向量；将各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定各待分类文本的涉密等级，其中，涉密等级分类模型是对各待分类文本的特征向量形成的特征向量空间进行训练得到的。
可选地，确定待分类文本集合中各待分类文本的特征向量，包括：对各待分类文本进行预处理，得到各待分类文本对应的原始特征；对各待分类文本对应的原始特征进行处理，得到各待分类文本对应的概念特征；分别计算各待分类文本对应的概念特征的卡方值，得到各待分类文本对应的目标特征集合；计算目标特征集合中各特征的权重，得到各待分类文本对应的特征向量，其中，特征向量用于表示待分类文本。
可选地，分别计算各待分类文本对应的概念特征的卡方值，得到各待分类文本对应的目标特征集合，包括：对各待分类文本对应的概念特征的卡方值进行降序排列，得到各待分类文本对应的概念特征的卡方值序列；将卡方值序列中前N个卡方值对应的概念特征确定为目标特征集合，其中，N为大于0的自然数。
可选地，将各待分类文本的特征向量输入至涉密等级分类模型进行处理之前，方法还包括：对各待分类文本的特征向量进行计算，得到特征向量空间；将特征向量空间输入支持向量机进行训练，得到涉密等级分类模型。
可选地，对各待分类文本进行预处理，包括如下至少之一：分词处理以及去停用词处理；对各待分类文本对应的原始特征进行处理，包括如下至少之一：语义消歧、概念映射以及概念去重。
可选地，涉密等级包括以下之一：非密级、秘密级、机密级和绝密级。
根据本申请实施例的另一方面，还提供了一种文本定密装置，包括：获取模块，用于获取待分类文本集合；确定模块，用于确定待分类文本集合中各待分类文本的特征向量；处理模块，用于将各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定各待分类文本的涉密等级，其中，涉密等级分类模型是对各待分类文本的特征向量形成的特征向量空间进行训练得到的。
可选地，确定模块包括：第一处理单元，用于对各待分类文本进行预处理，得到各待分类文本对应的原始特征；第二处理单元，用于对各待分类文本对应的原始特征进行处理，得到各待分类文本对应的概念特征；第一计算单元，用于分别计算各待分类文本对应的概念特征的卡方值，得到各待分类文本对应的目标特征集合；第二计算单元，用于计算目标特征集合中各特征的权重，得到各待分类文本对应的特征向量，其中，特征向量用于表示待分类文本。
根据本申请实施例的再一方面，还提供了一种非易失性存储介质，存储介质包括存储的程序，其中，程序运行时控制存储介质所在的设备执行以上的文本定密方法。
根据本申请实施例的再一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行以上的文本定密方法。
在本申请实施例中，采用获取待分类文本集合；确定待分类文本集合中各待分类文本的特征向量；将各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定各待分类文本的涉密等级，其中，涉密等级分类模型是对各待分类文本的特征向量形成的特征向量空间进行训练得到的的方式，通过确定待分类文本集合中各待分类文本的特征向量；将各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定各待分类文本的涉密等级，从而实现了精准确定涉密文本的涉密等级的技术效果，进而解决了由于无法对文本进行合理精准分类造成的文本定密效率较低与文本定密精确度较差技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种文本定密方法的流程图；
图2是根据本申请实施例的另一种文本定密方法的流程图；
图3是根据本申请实施例的一种文本定密装置的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例，提供了一种文本定密的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种文本定密方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取待分类文本集合。
根据本申请的一个可选的实施例，待分类文本集合由待分类文本组成，其中待分类文本包括任何形式、任何语言的文本。待分类文本可以包括用户输入的电子文本，也可以包括自动从数据库中获取的电子文本。上述电子文本可以包括国有企业存储的电子文本，其可能包含国家机密，也可以包括私有企业存储的单子文本，其可能包含私有企业的核心技术等商业机密。
步骤S104，确定待分类文本集合中各待分类文本的特征向量。
作为本申请的一个可选的实施例，在对文本进行分类之前，需要将文本表示成计算机能够处理的形式，特征向量形成的特征向量空间模型是常用的文本表示模型，特征向量空间模型以特征项作为文本表示的基本单位，从而将文本表示成空间向量的形式。所以确定待分类文本集合中各待分类文本的特征向量是对文本进行分类所必不可少的步骤。
步骤S106，将各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定各待分类文本的涉密等级，其中，涉密等级分类模型是对各待分类文本的特征向量形成的特征向量空间进行训练得到的。
在本申请的一些可选的实施例，在实现定密工作之前，需要构建规则库，规则库用来提前约束待定密文件的所属行业领域。还需要根据规则库中的规则关系归纳整理定密规则结构图，并采用MAP的数据结构进行存取。定密处理时需要加载约束范文的关键词库，进行定密文本与规则库匹配。
通过上述步骤，通过确定待分类文本集合中各待分类文本的特征向量；将各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定各待分类文本的涉密等级，从而实现了精准确定涉密文本的涉密等级的技术效果，进而解决了由于无法对文本进行合理精准分类造成的文本定密效率较低与文本定密精确度较差技术问题。
根据本申请的另一个可选的实施例，确定待分类文本集合中各待分类文本的特征向量，可以包括以下步骤：对各待分类文本进行预处理，得到各待分类文本对应的原始特征；对各待分类文本对应的原始特征进行处理，得到各待分类文本对应的概念特征；分别计算各待分类文本对应的概念特征的卡方值，得到各待分类文本对应的目标特征集合；计算目标特征集合中各特征的权重，得到各待分类文本对应的特征向量，其中，特征向量用于表示待分类文本。
在本申请的实施例中，对各待分类文本进行预处理，得到各待分类文本对应的原始特征。文本特征可以分为原始特征和有效特征，其中原始特征通常有很大的冗余，如果直接将原始特征作为分类特征送入分类器，不仅会使分类器的计算量激增，还会使分类器的错误率增加，因此有必要减少特征数量，以获取少而精的分类特征。对待分类文本对应的原始特征进行处理可以得到各待分类文本对应的概念特征，此时的概念特征则具有如下特点：类内稳定，即类内差异小，同一类具有稳定性；类间差异大，即不同类间特征值差异会比较大；具有很好的可分性，具有很大识别信息量；具有可靠性，不是似是而非的、模棱两可的；强独立性，不重复，相关性弱。再计算出每一个概念特征的卡方值，则可以得到最优特征集合。利用TF-IDF对最优特征集合中的每一个特征进行计算，则可以得到特征向量。
在本申请的一些可选的实施例，分别计算各待分类文本对应的概念特征的卡方值，得到各待分类文本对应的目标特征集合，通过以下方法实现：对各待分类文本对应的概念特征的卡方值进行降序排列，得到各待分类文本对应的概念特征的卡方值序列；将卡方值序列中前N个卡方值对应的概念特征确定为目标特征集合，其中，N为大于0的自然数。
根据本申请的另一个可选的实施例，卡方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。例如，可以假设两个变量确实是独立的，然后观察实际值与理论值的偏差程度，如果偏差足够小，一般认为误差是很自然的样本误差，是测量手段不够精确所导致的或者偶然发生的，两个变量确实是独立的，此时接受原假设；但是如果偏差大到一定程度，使得这样的误差不太可能是偶然产生或者测量不准确导致的，则认为两者实际上是相关的，即否定原假设。卡方检验的缺点是：它只统计文本中是否出现某特定词，但是不考虑该特定词出现的次数。这会使得卡法检验对低频词的作用进行夸大。甚至会出现一种情况，即一个词在一类文章的每篇文档中都只出现了一次，其卡方值却大过了在该类文章99％的文档中出现了10次的词，但其实在该类文章99％的文档中出现了10次的词才是更具代表性的，但是因为它出现的文档数比在一类文章的每篇文档中都只出现了一次的词要少，在进行特征选择时，就可能筛掉了在该类文章99％的文档中出现了10次的词而保留在一类文章的每篇文档中都只出现了一次的词这一并没有很有代表性的词。根据卡方检验的缺点，引入TF-IDF以达到扬长避短的效果。
根据本申请的一个可选的实施例，计算目标特征集合中各特征的权重，包括以下步骤：通过以下加权计算公式计算目标特征集合中各特征的权重：tfidf'(t,dj)＝ftidf(t,dj)×s'(t)×Ei(t,ck)。
在本申请的一些可选的实施例，词频-逆文档频率(Term Frequency-InverseDocument Frequency，TF-IDF)是一种常用于文本处理的统计方法，可以评估一个词在一份文档中的重要程度。TF-IDF是一种特征加权算法，它结合词频和逆文档频来计算文本中特征词的权重。基本思想是文本中特征词的权重与其在当前文本中出现的频率成正比，并且与文本集中包含特征词的文本个数成反比。其计算公式如下：
其中，Wij为特征词ti在文中dj中的权重值，i＝1,2，…，n，tfi,j为特征词ti在文本dj中出现的频率，idfi为特征词ti的文本数量关于总文本数量逆文档频率，ni,j表示文本dj中特征词ti出现的次数，nk,j表示文本dj中第k个特征词tk出现的次数，N为文本语料库中文本的总数，n为文本语料库中包含特征词ti的文本数，k为一个文本中特征词的编号，j为文本编号。
作为本申请的一个可选的实施例，将各待分类文本的特征向量输入至涉密等级分类模型进行处理之前，还可以通过以下方法实现：对各待分类文本的特征向量进行计算，得到特征向量空间；将特征向量空间输入支持向量机进行训练，得到涉密等级分类模型。
在本申请的一些可选的实施例，支持向量机是监督学习中最有影响力的方法之一，其工作原理是将数据映射到高维持空间，这样即使数据不是线性可分的，也可以对该数据点进行分类。支持向量机的学习策略是在分类超平面的正负两边各找到一个离分类超平面最近的点，使得这两个点距离分类超平面的距离和最大。
根据本申请的另一个可选的实施例，对各待分类文本进行预处理，包括如下至少之一：分词处理以及去停用词处理；对各待分类文本对应的原始特征进行处理，包括如下至少之一：语义消歧、概念映射以及概念去重。
在上述步骤中，分词就是将连续的子序按照一定的规范重新组合成语义独立词序列的过程。停用词是指在信息检索中，为节省存储空间和提升搜索效率，在处理文本之前或之后会自动过滤掉的某些字或词。当进行分词后，句子中出现的词语都会被划分，而有些词语是没有实际意义的，对于后续的关键词提取就会加大工作量，并且可能提取的关键词是无效的。所以在分词处理之后，便会引用停用词去优化分词的结果。
在本申请的一些可选的实施例，涉密等级包括以下之一：非密级、秘密级、机密级和绝密级。
作为本申请的一个可选的实施例，《保密法》中规定，我国国家秘密的秘级分为“绝密”、“机密”、“秘密”三个等级。区分的原则标准是：“绝密”是最重要的国家秘密，泄露会使国家安全和利益遭受特别严重的损害；“机密”是重要的国家机密，泄露会使国家的安全和利益遭受严重的损害；“秘密”是一般的国家秘密，泄露会使国家的安全和利益遭受损害。在私有企业中，商业机密的秘级一般也分为上述三个等级。
图2是根据本申请实施例的另一种文本定密方法的流程图，如图2所示：
根据本申请的一个可选的实施例，采用ICTCLAS分词系统对训练文本集进行分词、去停用词。ICTCLAS汉语分词系统具有下述功能，英文混合分词功能：自动对中文英文信息进行分词与词性标注功能，涵盖了中文分词、英文分词、词性标注、未登录词识别与用户词典等功能；关键词提取功能：采用交叉信息熵的算法自动计算关键词，包括新词与已知词；新词识别与自适应分词功能：从较长的文本内容中，基于信息交叉熵自动发现新特征语言，并自适应测试语料的语言概率分布模型，实现自适应分词；用户专业词典功能：可以单条导入用户词典，也可以批量导入用户词典。如可以定“举报信敏感点”，其中举报信是用户词，敏感点是用户自定义的词性标记。
根据本申请的一个可选的实施例，采用HowNet对训练文本集进行消歧、去重。HowNet(知网)是一个以汉语和英语的词语所代表的概念为描述对象，以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库。词义消歧是指根据歧义词所处的特定上下文环境确定其具体词义，它是自然语言处理领域的一项基础性研究，对机器翻译、信息抽取、信息检索、文本分类、情感分析等上层应用有着直接影响。无论是中文还是英文等其他西方语言，一词多义的现象是普遍存在的。去重指去除文本中大量的重复内容。
通过上述步骤可以确定概念特征集，利用改进的卡方统计对概念特征集内的特征进行选择可以得到最优特征集，再利用改进的TF-IDF权重计算可以得到特征向量空间。
在本申请的一些可选的实施例，将特征向量空间输入SVM分类器即可得到涉密级别。
图3是根据本申请实施例的一种文本定密装置的结构图，如图3所示，该装置包括：
获取模块30，用于获取待分类文本集合；
确定模块32，用于确定待分类文本集合中各待分类文本的特征向量；
处理模块34，用于将各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定各待分类文本的涉密等级，其中，涉密等级分类模型是对各待分类文本的特征向量形成的特征向量空间进行训练得到的。
需要说明的是，图3所示实施例的优选实施方式可以参加图1所示实施例的相关描述，此处不再赘述。
作为一个可选的实施例，上述确定模块包括32：第一处理单元，用于对各待分类文本进行预处理，得到各待分类文本对应的原始特征；第二处理单元，用于对各待分类文本对应的原始特征进行处理，得到各待分类文本对应的概念特征；第一计算单元，用于分别计算各待分类文本对应的概念特征的卡方值，得到各待分类文本对应的目标特征集合；第二计算单元，用于计算目标特征集合中各特征的权重，得到各待分类文本对应的特征向量，其中，特征向量用于表示待分类文本。
在本申请的一个可选的实施例中，对各待分类文本进行预处理，得到各待分类文本对应的原始特征。文本特征可以分为原始特征和有效特征，其中原始特征通常有很大的冗余，如果直接将原始特征作为分类特征送入分类器，不仅会使分类器的计算量激增，还会使分类器的错误率增加，因此有必要减少特征数量，以获取少而精的分类特征。对待分类文本对应的原始特征进行处理可以得到各待分类文本对应的概念特征，此时的概念特征则具有如下特点：类内稳定，即类内差异小，同一类具有稳定性；类间差异大，即不同类间特征值差异会比较大；具有很好的可分性，具有很大识别信息量；具有可靠性，不是似是而非的、模棱两可的；强独立性，不重复，相关性弱。再计算出每一个概念特征的卡方值，则可以得到最优特征集合。利用TF-IDF对最优特征集合中的每一个特征进行计算，则可以得到特征向量。
本申请实施例还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，程序运行时控制存储介质所在的设备执行以上的文本定密方法。
非易失性存储介质执行以下功能的程序：获取待分类文本集合；确定待分类文本集合中各待分类文本的特征向量；将各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定各待分类文本的涉密等级，其中，涉密等级分类模型是对各待分类文本的特征向量形成的特征向量空间进行训练得到的。
处理器用于运行执行以下功能的程序：获取待分类文本集合；确定待分类文本集合中各待分类文本的特征向量；将各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定各待分类文本的涉密等级，其中，涉密等级分类模型是对各待分类文本的特征向量形成的特征向量空间进行训练得到的。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种文本定密方法，其特征在于，包括：
获取待分类文本集合；
确定所述待分类文本集合中各待分类文本的特征向量；
将所述各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定所述各待分类文本的涉密等级，其中，所述涉密等级分类模型是对所述各待分类文本的特征向量形成的特征向量空间进行训练得到的。
2.根据权利要求1所述的方法，其特征在于，确定所述待分类文本集合中各待分类文本的特征向量，包括：
对所述各待分类文本进行预处理，得到所述各待分类文本对应的原始特征；
对所述各待分类文本对应的原始特征进行处理，得到所述各待分类文本对应的概念特征；
分别计算所述各待分类文本对应的概念特征的卡方值，得到所述各待分类文本对应的目标特征集合；
计算所述目标特征集合中各特征的权重，得到所述各待分类文本对应的特征向量，其中，所述特征向量用于表示所述待分类文本。
3.根据权利要求2所述的方法，其特征在于，分别计算所述各待分类文本对应的概念特征的卡方值，得到所述各待分类文本对应的目标特征集合，包括：
对所述各待分类文本对应的概念特征的卡方值进行降序排列，得到所述各待分类文本对应的概念特征的卡方值序列；
将所述卡方值序列中前N个卡方值对应的所述概念特征确定为所述目标特征集合，其中，N为大于0的自然数。
4.根据权利要求1所述的方法，其特征在于，将所述各待分类文本的特征向量输入至涉密等级分类模型进行处理之前，所述方法还包括：
对所述各待分类文本的特征向量进行计算，得到所述特征向量空间；
将所述特征向量空间输入支持向量机进行训练，得到所述涉密等级分类模型。
5.根据权利要求2所述的方法，其特征在于，包括：
对所述各待分类文本进行预处理，包括如下至少之一：分词处理以及去停用词处理；
对所述各待分类文本对应的原始特征进行处理，包括如下至少之一：语义消歧、概念映射以及概念去重。
6.根据权利要求1所述的方法，其特征在于，所述涉密等级包括以下之一：非密级、秘密级、机密级和绝密级。
7.一种文本定密装置，其特征在于，包括：
获取模块，用于获取待分类文本集合；
确定模块，用于确定所述待分类文本集合中各待分类文本的特征向量；
处理模块，用于将所述各待分类文本的特征向量输入至涉密等级分类模型进行处理，确定所述各待分类文本的涉密等级，其中，所述涉密等级分类模型是对所述各待分类文本的特征向量形成的特征向量空间进行训练得到的。
8.根据权利要求7所述的装置，其特征在于，所述确定模块包括：
第一处理单元，用于对所述各待分类文本进行预处理，得到所述各待分类文本对应的原始特征；
第二处理单元，用于对所述各待分类文本对应的原始特征进行处理，得到所述各待分类文本对应的概念特征；
第一计算单元，用于分别计算所述各待分类文本对应的概念特征的卡方值，得到所述各待分类文本对应的目标特征集合；
第二计算单元，用于计算所述目标特征集合中各特征的权重，得到所述各待分类文本对应的特征向量，其中，所述特征向量用于表示所述待分类文本。
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至6中任意一项所述的文本定密方法。
10.一种处理器，其特征在于，所述处理器用于运行存储在存储器中的程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的文本定密方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210668329.XA CN114936376A (zh) | 2022-06-14 | 2022-06-14 | 文本定密方法及装置、非易失性存储介质、处理器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210668329.XA CN114936376A (zh) | 2022-06-14 | 2022-06-14 | 文本定密方法及装置、非易失性存储介质、处理器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114936376A true CN114936376A (zh) | 2022-08-23 |
Family
ID=82866009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210668329.XA Pending CN114936376A (zh) | 2022-06-14 | 2022-06-14 | 文本定密方法及装置、非易失性存储介质、处理器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114936376A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115935972A (zh) * | 2023-01-30 | 2023-04-07 | 北京亿赛通科技发展有限责任公司 | 一种计算机辅助文本定密方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617157A (zh) * | 2013-12-10 | 2014-03-05 | 东北师范大学 | 基于语义的文本相似度计算方法 |
| CN106095996A (zh) * | 2016-06-22 | 2016-11-09 | 量子云未来（北京）信息科技有限公司 | 用于文本分类的方法 |
| CN106709370A (zh) * | 2016-12-31 | 2017-05-24 | 北京明朝万达科技股份有限公司 | 一种基于文本内容的长词识别方法及系统 |
| CN108509421A (zh) * | 2018-04-04 | 2018-09-07 | 郑州大学 | 基于随机游走和粗糙决策置信度的文本情感分类方法 |
| CN112347779A (zh) * | 2020-11-23 | 2021-02-09 | 军工保密资格审查认证中心 | 一种涉密文本密级自动判定的方法和装置 |
-
2022
- 2022-06-14 CN CN202210668329.XA patent/CN114936376A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617157A (zh) * | 2013-12-10 | 2014-03-05 | 东北师范大学 | 基于语义的文本相似度计算方法 |
| CN106095996A (zh) * | 2016-06-22 | 2016-11-09 | 量子云未来（北京）信息科技有限公司 | 用于文本分类的方法 |
| CN106709370A (zh) * | 2016-12-31 | 2017-05-24 | 北京明朝万达科技股份有限公司 | 一种基于文本内容的长词识别方法及系统 |
| CN108509421A (zh) * | 2018-04-04 | 2018-09-07 | 郑州大学 | 基于随机游走和粗糙决策置信度的文本情感分类方法 |
| CN112347779A (zh) * | 2020-11-23 | 2021-02-09 | 军工保密资格审查认证中心 | 一种涉密文本密级自动判定的方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115935972A (zh) * | 2023-01-30 | 2023-04-07 | 北京亿赛通科技发展有限责任公司 | 一种计算机辅助文本定密方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Burger et al. | Discriminating gender on Twitter | |
| Verma et al. | A comparative analysis on Hindi and English extractive text summarization | |
| Pereira et al. | Using web information for author name disambiguation | |
| CN107368542B (zh) | 一种涉密数据的涉密等级评定方法 | |
| US20100082511A1 (en) | Joint ranking model for multilingual web search | |
| JP2008084064A (ja) | テキスト分類処理方法、テキスト分類処理装置ならびにテキスト分類処理プログラム | |
| Verma et al. | A novel approach for text summarization using optimal combination of sentence scoring methods | |
| Zhang et al. | A topic clustering approach to finding similar questions from large question and answer archives | |
| Budhiraja et al. | A supervised learning approach for heading detection | |
| Tao et al. | SVD‐CNN: A Convolutional Neural Network Model with Orthogonal Constraints Based on SVD for Context‐Aware Citation Recommendation | |
| Basmatkar et al. | An overview of contextual topic modeling using bidirectional encoder representations from transformers | |
| CN114936376A (zh) | 文本定密方法及装置、非易失性存储介质、处理器 | |
| Shang et al. | Improved feature weight algorithm and its application to text classification | |
| Sarwar et al. | Author verification of nahj al-balagha | |
| CN113591476A (zh) | 一种基于机器学习的数据标签推荐方法 | |
| Lin et al. | Indivec: An exploration of leveraging large language models for media bias detection with fine-grained bias indicators | |
| Weiß et al. | Optimal Stein‐type goodness‐of‐fit tests for count data | |
| Horasan et al. | Alternate Low‐Rank Matrix Approximation in Latent Semantic Analysis | |
| Sen et al. | Analysis of media bias in policy discourse in india | |
| CN110688559A (zh) | 一种检索方法及装置 | |
| Hamad et al. | Sentiment analysis of restaurant reviews in social media using naïve bayes | |
| Bharadwaj et al. | Extending the performance of extractive text summarization by ensemble techniques | |
| Mesquita | Clustering techniques for open relation extraction | |
| Sofianopoulos et al. | Studying the SPEA2 algorithm for optimising a pattern-recognition based machine translation system | |
| CN107622129B (zh) | 一种知识库的组织方法及装置、计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |