CN116384393B - 一种基于自然语言处理的运维数据处理系统及方法 - Google Patents
一种基于自然语言处理的运维数据处理系统及方法 Download PDFInfo
- Publication number
- CN116384393B CN116384393B CN202310470602.2A CN202310470602A CN116384393B CN 116384393 B CN116384393 B CN 116384393B CN 202310470602 A CN202310470602 A CN 202310470602A CN 116384393 B CN116384393 B CN 116384393B
- Authority
- CN
- China
- Prior art keywords
- text
- clustering
- feature
- data
- calculation formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 21
- 238000003058 natural language processing Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000012423 maintenance Methods 0.000 title claims description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000007621 cluster analysis Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 241000122205 Chamaeleonidae Species 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000003064 k means clustering Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Economics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- Operations Research (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Primary Health Care (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及运维数据处理技术领域，且公开了一种基于自然语言处理的运维数据处理系统及方法，包括非结构化数据采集模块、信息预处理模块、特征提取模块、向量化生成模块、文本聚类模块、检验模块以及指标对比模块，所述文本聚类模块包括首次聚类分析单元以及二次聚类分析单元，通过对聚类结果的有效性进行分析检测，若有效性未达标，则进行二次聚类分析，防止数据误差性与偶然性导致的数据不精准，同时在二次聚类分析都未满足有效性的情况下，对两次聚类分析进行差异化比较，通过比较不同方式的聚类分析结果差异，来判断是否为数据本身可用性原因导致有效性不满足要求，同时可作为数据参考的依据。
Description
技术领域
本发明涉及运维数据处理技术领域，更具体地涉及一种基于自然语言处理的运维数据处理系统及方法。
背景技术
随着我国高铁的发展，运维工作在高铁客运服务系统安全运营中起到越来越重要的作用，在客运服务系统中，会出现大量的非结构化的运维数据，特别是运维报表，这些信息都是人工填写的，由于每个人的语言习惯、知识水平不同，填入的内容往往五花八门，没有一定的规律和格式，这些往往都是自然语言的文本，因此引入自然语言技术处理此类运维数据尤为重要。
现有的客运服务系统的运维数据往往只注重结构化数据的处理，而忽视了非结构化的运维数据处理，即自然语言文本类数据，非结构化的运维数据经过处理分析，能够提取出诸多有价值的信息，极大地提高数据的利用率，现有的客运服务系统在利用非结构化运维数据对故障进行分类时，仅进行一次聚类分析，排除了数据的误差性与偶然性，同时未对聚类结果进行检验，无法为故障的诊断提供可靠的数据基础。
发明内容
为了克服现有技术的上述缺陷，本发明提供了一种基于自然语言处理的运维数据处理系统及方法，以解决上述背景技术中存在的问题。
本发明提供如下技术方案：一种基于自然语言处理的运维数据处理系统，包括：
非结构化数据采集模块：对客运服务系统中的非结构化数据进行采集；
信息预处理模块：对采集的非结构化数据进行清洗去噪，去除自然语言文本数据中的标点符号、分词以及停用词，将原始数据转变为算法所能够处理的规格形式；
特征提取模块：通过特征依赖度计算公式进行特征选择，选择出非结构化数据特征集合中最具有区分能力的特征子集对文本进行表示，通过卷积神经网络对非结构化数据中的关键特征进行提取；
向量化生成模块：通过构建向量空间模型对文本进行向量化，并通过隐式语义分析对其进行降维；
文本聚类模块：通过聚类算法对向量化的非结构化数据进行聚类，确定非结构化运维数据中的故障类别；
所述文本聚类模块包括：
首次聚类分析单元：基于卷积神经网络提取的特征，通过K-means聚类算法进行计算；
二次聚类分析单元：通过Chameleon算法对不符合聚类有效性指标的数据进行二次聚类分析；
检验模块：通过有效性指标计算公式对文本聚类模块的聚类结果进行检验，判断文本聚类模块聚类结果的有效性；
指标对比模块：将首次聚类分析单元与二次聚类分析单元的有效性指标进行对比，并通过差异指数计算公式计算聚类结果的可参考指数ζ。
优选的，所述特征依赖度计算公式为：，其中，wi为特征词，cj为文本类别。
优选的，所述向量空间模型对文本进行向量化包括以下步骤：
步骤S11：将文本d中的每一个文本特征均标记为ti，文本的特征维度标记为n，ti所对应的权重标记为ki；
步骤S12：通过权重计算公式计算出ki，并通过归一化因子计算公式计算出归一化因子M；
步骤S13：将第i个文本di表达为一个m维向量形式，即，定义文本矩阵形成矩阵A，并通过SVD分解公式对矩阵A进行分解；
步骤S14：通过降维公式对分解后的矩阵进行降维处理。
优选的，所述权重计算公式为：，其中，f(ti,di)为特征词在文本d中出现的频率，if(ti)为特征词的逆文档频率，/>，其中，nti为特征词在文本d中出现的次数，Nd为文本d中全部字词的总数量，/>，其中，N为文本数据库中文本的总数，nt为文本数据库中包含特征t的文本个数。
优选的，所述K-means算法进行聚类计算包括以下步骤：
步骤S21：将通过卷积神经网络进行特征提取后的文本特征向量集合标记为D={b1,b2……bn}，将聚类的类别个数标记为k；
步骤S22：从文本特征向量集合D中任意选取k个彼此间距离尽可能远的文本特征向量作为初始聚类质心，标记为x1,x2,x3……xn，通过余弦相似度距离算法公式计算出数据集合中剩余的各个文本特征量bi与每个初始聚类质心xj的距离dij；
步骤S23：将文本特征向量bi归并至与自身距离dij最小的聚类质心所属的类别cj中，形成以xj为中心的k个类别，通过聚类质心计算公式计算每一个类别中文本特征向量的平均值，以此确定新的聚类质心；
步骤S24：循环步骤S22至步骤S23，直至聚类质心保持不变时或达到完结条件时，输出c={c1,c2,c3……cn}，设定每一次聚类过程初始聚类质心x1,x2,x3……xn与类别个数k值不相同，取其均值。
优选的，所述Chameleon算法进行聚类计算包括以下步骤：
步骤S31：构造一个2k-最近邻图以及互k-最近邻图，将生成的子图作为初始簇；
步骤S32：利用相似度计算公式计算簇之间的相似度值，并选择最大的两个簇合并为一个新簇；
步骤S33：利用模块度计算公式计算此时的MC模块度；
步骤S34：重复步骤S32至步骤S33，直至合成为一个大簇时停止，并找出MC模块度最大的情况，此时为最终聚类结果。
优选的，所述有效性指标计算公式为：，其中，n为样本个数，u为样本对类别的隶属矩阵，v为各个类别的聚类中心。
优选的，所述差异指数计算公式为：。
一种基于自然语言处理的运维数据处理系统方法，包括以下步骤：
步骤S51：非结构化数据采集：对客运服务系统中的非结构化数据进行采集；
步骤S52：信息预处理：对采集的非结构化数据进行清洗去噪，去除自然语言文本数据中的标点符号、分词以及停用词，将原始数据转变为算法所能够处理的规格形式；
步骤S53：特征提取：通过特征依赖度计算公式进行特征选择，选择出非结构化数据特征集合中最具有区分能力的特征子集对文本进行表示，通过卷积神经网络对非结构化数据中的关键特征进行提取；
步骤S54：生成向量化数据：通过构建向量空间模型对文本进行向量化，并通过隐式语义分析对其进行降维；
步骤S55：首次文本聚类分析：基于卷积神经网络提取的特征，通过K-means聚类算法进行计算，确定非结构化运维数据中的故障类别；
步骤S56：有效性检验：通过有效性指标计算公式对文本聚类模块的聚类结果进行检验，判断文本聚类模块聚类结果的有效性，若有效性不符合要求，则执行步骤S57；
步骤S57：二次聚类分析：通过Chameleon算法对不符合聚类有效性指标的数据进行二次聚类分析，再次执行步骤S56，若仍不符合有效性要求，则执行步骤S58；
步骤S58：两次有效性指标对比：将首次聚类分析单元与二次聚类分析单元的有效性指标进行对比，并通过差异指数计算公式计算聚类结果的可参考指数ζ。
本发明的技术效果和优点：
本发明通过设有数据检验模块以及指标对比模块，有利于通过对聚类结果的有效性进行分析检测，若有效性未达标，则进行二次聚类分析，防止数据误差性与偶然性导致的数据不精准，同时在二次聚类分析都未满足有效性的情况下，对两次聚类分析进行差异化比较，通过比较不同方式的聚类分析结果差异，来判断是否为数据本身可用性原因导致有效性不满足要求，同时可作为数据参考的依据，但不可作为精准的数据基础。
附图说明
图1为本发明的基于自然语言处理的运维数据处理系统结构图。
图2为本发明的基于自然语言处理的运维数据处理方法流程图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整的描述，另外，在以下的实施方式中记载的各结构的形态只不过是例示，本发明所涉及的一种基于自然语言处理的运维数据处理系统及方法并不限定于在以下的实施方式中记载的各结构，在本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式都属于本发明保护的范围。
本发明提供了一种基于自然语言处理的运维数据处理系统，包括非结构化数据采集模块、信息预处理模块、特征提取模块、向量化生成模块、文本聚类模块、检验模块以及指标对比模块；
所述非结构化数据采集模块用于对客运服务系统中的非结构化数据进行采集，所述非结构化数据包括但不限于人工录入的自然语言的文本数据；
所述信息预处理模块用于对采集的非结构化数据进行清洗去噪，去除自然语言文本数据中的标点符号、分词以及停用词，将原始数据转变为算法所能够处理的规格形式；
所述特征提取模块用于通过特征依赖度计算公式进行特征选择，用以判断特征词对文本类别的区分能力，进而选择出非结构化数据特征集合中最具有区分能力的特征子集对文本进行表示，通过卷积神经网络对非结构化数据中的关键特征进行提取；
所述向量化生成模块用于通过构建向量空间模型对文本进行向量化，并通过隐式语义分析对其进行降维；
所述文本聚类模块用于通过聚类算法对向量化的非结构化数据进行聚类，确定非结构化运维数据中的故障类别；
所述文本聚类模块包括首次聚类分析单元以及二次聚类分析单元，所述首次聚类分析单元基于卷积神经网络提取的特征，通过K-means聚类算法进行计算，所述二次聚类分析单元通过Chameleon算法对不符合聚类有效性指标的数据进行二次聚类分析；
所述检验模块用于通过有效性指标计算公式对文本聚类模块的聚类结果进行检验，判断文本聚类模块聚类结果的有效性；
所述指标对比模块用于将首次聚类分析单元与二次聚类分析单元的有效性指标进行对比，并通过差异指数计算公式计算聚类结果的可参考指数ζ；
所述非结构化数据采集模块将采集后的非结构化数据传输至信息预处理模块，所述信息预处理模块对非结构化数据信息进行预处理，再将预处理后的数据传输至特征提取模块，所述特征提取模块对特征进行选取和提取后将数据信息传输至向量化生成模块，所述向量化生成模块将向量化数据传输至文本聚类模块，所述文本聚类模块将数据信息传输至检验模块进行检验，所述检验模块对于需要进行修正的聚类结果发送指令至文本聚类模块中的检验聚类分析单元进行二次聚类分析，并传输至对比模块进行指标差异对比。
本实施例中，需要具体说明的是，所述特征依赖度计算公式为：，其中，wi为特征词，cj为文本类别，当特征词wi与类别cj无关时，则有P(wi，cj)=P(wi)×P(cj)，此时Y(wi，cj)=0，即判定该特征词与类别相互独立，不具有依赖性，特征词wi不具备对类别cj的区分能力，当特征词wi大量存在于类别cj中，则有Y(wi，cj)＞0，Y(wi，cj)越大，特征词与差别的关系越密切，即特征词wi具备对类别cj的区分能力。
本实施例中，需要具体说明的是，所述向量空间模型对文本进行向量化包括以下步骤：
步骤S11：将文本d中的每一个文本特征均标记为ti，文本的特征维度标记为n，ti所对应的权重标记为ki，则由文本特征向量组成的向量集合为d={(t1,k1)，(t2,k2)……(tn,kn)}；
步骤S12：通过权重计算公式计算出ki，并通过归一化因子计算公式计算出归一化因子M；
所述权重计算公式为：，其中，f(ti,di)为特征词在文本d中出现的频率，if(ti)为特征词的逆文档频率，/>，其中，nti为特征词在文本d中出现的次数，Nd为文本d中全部字词的总数量，/>，其中，N为文本数据库中文本的总数，nt为文本数据库中包含特征t的文本个数；
所述归一化因子计算公式为：；
步骤S13：将第i个文本di表达为一个m维向量形式，即，定义文本矩阵形成矩阵A，并通过SVD分解公式对矩阵A进行分解；
所述矩阵A为：，所述SVD分解公式为：/>，其中，U为A的左奇异矩阵，V为A的右奇异矩阵，所述U、V均为正交矩阵；
步骤S14：通过降维公式对分解后的矩阵进行降维处理；
所述降维公式为：，其中，Ak为被降至k维的文本矩阵，Um×k为左奇异矩阵的前k列。
本实施例中，需要具体说明的是，所述K-means算法进行聚类计算包括以下步骤：
步骤S21：将通过卷积神经网络进行特征提取后的文本特征向量集合标记为D={b1,b2……bn}，将聚类的类别个数标记为k；
步骤S22：从文本特征向量集合D中任意选取k个彼此间距离尽可能远的文本特征向量作为初始聚类质心，标记为x1,x2,x3……xn，通过余弦相似度距离算法公式计算出数据集合中剩余的各个文本特征量bi与每个初始聚类质心xj的距离dij；
步骤S23：将文本特征向量bi归并至与自身距离dij最小的聚类质心所属的类别cj中，形成以xj为中心的k个类别，通过聚类质心计算公式计算每一个类别中文本特征向量的平均值，以此确定新的聚类质心；
所述聚类质心计算公式为：；
步骤S24：循环步骤S22至步骤S23，直至聚类质心保持不变时或达到完结条件时，输出c={c1,c2,c3……cn}，设定每一次聚类过程初始聚类质心x1,x2,x3……xn与类别个数k值不相同，取其均值。
本实施例中，需要具体说明的是，所述Chameleon算法进行聚类计算包括以下步骤：
步骤S31：构造一个2k-最近邻图以及互k-最近邻图，将生成的子图作为初始簇；
步骤S32：利用相似度计算公式计算簇之间的相似度值，并选择最大的两个簇合并为一个新簇；
所述相似度计算公式为：，其中，β为用户指定的参数，/>，其中，E(ci,cj)为簇ci与cj之间的边连接的权重之和，|E(ci,cj)|为簇ci与cj之间的连接边数，SE(ci)与SE(cj)分别为簇内的平均权重，/>，其中，为簇ci与cj之间的边连接的平均权重，|ci|与|cj|为各自簇内的对象数；
步骤S33：利用模块度计算公式计算此时的MC模块度；
所述模块度计算公式为：，其中，k为子图个数，/>为所有簇之间的平均耦合度；
步骤S34：重复步骤S32至步骤S33，直至合成为一个大簇时停止，并找出MC模块度最大的情况，此时为最终聚类结果。
本实施例中，需要具体说明的是，所述有效性指标计算公式为：，其中，n为样本个数，u为样本对类别的隶属矩阵，v为各个类别的聚类中心，所述V的值越小，则紧凑度越高，聚类效果越好。
本实施例中，需要具体说明的是，所述判断文本聚类模块聚类结果的有效性包括以下步骤：
步骤S41：取有效性指标分界值θ，所述；
步骤S42：将V的值与θ进行比较，当V＜θ时，执行步骤S43；
步骤S43：传输指令至二次聚类分析单元，进行二次聚类运算。
本实施例中，需要具体说明的是，所述差异指数计算公式为：，当ζ＜10%时，则说明该聚类结果具备参考性，可将任意一次聚类结果作为参考依据。
一种基于自然语言处理的运维数据处理系统及方法，包括以下步骤：
步骤S51：非结构化数据采集：对客运服务系统中的非结构化数据进行采集；
步骤S52：信息预处理：对采集的非结构化数据进行清洗去噪，去除自然语言文本数据中的标点符号、分词以及停用词，将原始数据转变为算法所能够处理的规格形式；
步骤S53：特征提取：通过特征依赖度计算公式进行特征选择，选择出非结构化数据特征集合中最具有区分能力的特征子集对文本进行表示，通过卷积神经网络对非结构化数据中的关键特征进行提取；
步骤S54：生成向量化数据：通过构建向量空间模型对文本进行向量化，并通过隐式语义分析对其进行降维；
步骤S55：首次文本聚类分析：基于卷积神经网络提取的特征，通过K-means聚类算法进行计算，确定非结构化运维数据中的故障类别；
步骤S56：有效性检验：通过有效性指标计算公式对文本聚类模块的聚类结果进行检验，判断文本聚类模块聚类结果的有效性，若有效性不符合要求，则执行步骤S57；
步骤S57：二次聚类分析：通过Chameleon算法对不符合聚类有效性指标的数据进行二次聚类分析，再次执行步骤S56，若仍不符合有效性要求，则执行步骤S58；
步骤S58：两次有效性指标对比：将首次聚类分析单元与二次聚类分析单元的有效性指标进行对比，并通过差异指数计算公式计算聚类结果的可参考指数ζ。
本实施例中，需要具体说明的是，本实施与现有技术的区别主要在于本实施例具备数据检验模块以及指标对比模块，通过对聚类结果的有效性进行分析检测，若有效性未达标，则进行二次聚类分析，防止数据误差性与偶然性导致的数据不精准，同时在二次聚类分析都未满足有效性的情况下，对两次聚类分析进行差异化比较，通过比较不同方式的聚类分析结果差异，来判断是否为数据本身可用性原因导致有效性不满足要求，同时可作为数据参考的依据，但不可作为精准的数据基础。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (4)
1.一种基于自然语言处理的运维数据处理系统，其特征在于：包括：
非结构化数据采集模块：对客运服务系统中的非结构化数据进行采集；
信息预处理模块：对采集的非结构化数据进行清洗去噪，去除自然语言文本数据中的标点符号、分词以及停用词，将原始数据转变为算法所能够处理的规格形式；
特征提取模块：通过特征依赖度计算公式进行特征选择，选择出非结构化数据特征集合中特征依赖度最大值的特征子集对文本进行表示，通过卷积神经网络对非结构化数据中的关键特征进行提取；
向量化生成模块：通过构建向量空间模型对文本进行向量化，并通过隐式语义分析对其进行降维；
文本聚类模块：通过聚类算法对向量化的非结构化数据进行聚类，确定非结构化运维数据中的故障类别；
所述文本聚类模块包括首次聚类分析单元以及二次聚类分析单元；
首次聚类分析单元：基于卷积神经网络提取的特征，通过K-means聚类算法进行计算；
二次聚类分析单元：通过Chameleon算法对不符合聚类有效性指标的数据进行二次聚类分析；
检验模块：通过有效性指标计算公式对文本聚类模块的聚类结果进行检验，判断文本聚类模块聚类结果的有效性，若首次文本聚类分析有效性不符合要求，则对不符合聚类有效性指标的数据进行二次聚类分析，再次进行检验；
指标对比模块：将首次聚类分析单元与二次聚类分析单元的有效性指标进行对比，并通过差异指数计算公式计算聚类结果的可参考指数ζ；
所述特征依赖度计算公式为：，其中，wi为特征词，cj为文本类别，当特征词wi与类别cj无关时，则有P(wi，cj)=P(wi)×P(cj)，此时Y(wi，cj)=0；
所述向量空间模型对文本进行向量化包括以下步骤：
步骤S11：将文本d中的每一个文本特征均标记为tx，文本的特征维度标记为m，tx所对应的权重标记为kx；
步骤S12：通过权重计算公式计算出kx，并通过归一化因子计算公式计算出归一化因子M；
步骤S13：将第x个文本dx表达为一个m维向量形式，即，定义文本矩阵形成矩阵A，并通过SVD分解公式对矩阵A进行分解；
步骤S14：通过降维公式对分解后的矩阵进行降维处理；
所述权重计算公式为：，其中，f(tx,dx)为特征词在文本d中出现的频率，if(tx)为特征词的逆文档频率，/>，其中，ntx为特征词在文本d中出现的次数，Nd为文本d中全部字词的总数量，/>，其中，N为文本数据库中文本的总数；
所述有效性指标计算公式为：，其中，n´为样本个数，u为样本对类别的隶属矩阵，v为各个类别的聚类中心；
所述差异指数计算公式为：。
2.根据权利要求1所述的一种基于自然语言处理的运维数据处理系统，其特征在于：所述K-means算法进行聚类计算包括以下步骤：
步骤S21：将通过卷积神经网络进行特征提取后的文本特征向量集合标记为D={b´1,b´2……b´L}，将聚类的类别个数标记为k；
步骤S22：从文本特征向量集合D中任意选取h个彼此间距离最远的文本特征向量作为初始聚类质心，标记为X1,X2,X3……Xh，通过余弦相似度距离算法公式计算出数据集合中剩余的各个文本特征量b´r与每个初始聚类质心Xo的距离dro；
步骤S23：将文本特征向量b´r归并至与自身距离dro最小的聚类质心所属的类别co中，形成以Xo为中心的k个类别，通过聚类质心计算公式计算每一个类别中文本特征向量的平均值，以此确定新的聚类质心；
步骤S24：循环步骤S22至步骤S23，直至聚类质心保持不变时或达到完结条件时，输出c={c1,c2,c3……ch}，设定每一次聚类过程初始聚类质心X1,X2,X3……Xh与类别个数k值不相同，取其均值。
3.根据权利要求1所述的一种基于自然语言处理的运维数据处理系统，其特征在于：所述Chameleon算法进行聚类计算包括以下步骤：
步骤S31：构造一个2k-最近邻图以及互k-最近邻图，将生成的子图作为初始簇；
步骤S32：利用相似度计算公式计算簇之间的相似度值，并选择最大的两个簇合并为一个新簇；
步骤S33：利用模块度计算公式计算此时的MC模块度；
所述模块度计算公式为：，其中，g为子图个数，/>为所有簇之间的平均耦合度；
步骤S34：重复步骤S32至步骤S33，直至合成为一个大簇时停止，并找出MC模块度最大的情况，此时为最终聚类结果。
4.一种基于自然语言处理的运维数据处理方法，其特征在于：包括以下步骤：
步骤S51：非结构化数据采集：对客运服务系统中的非结构化数据进行采集；
步骤S52：信息预处理：对采集的非结构化数据进行清洗去噪，去除自然语言文本数据中的标点符号、分词以及停用词，将原始数据转变为算法所能够处理的规格形式；
步骤S53：特征提取：通过特征依赖度计算公式进行特征选择，选择出非结构化数据特征集合中特征依赖度最大值的特征子集对文本进行表示，通过卷积神经网络对非结构化数据中的关键特征进行提取；
所述特征依赖度计算公式为：，其中，wi为特征词，cj为文本类别，当特征词wi与类别cj无关时，则有P(wi，cj)=P(wi)×P(cj)，此时Y(wi，cj)=0；
步骤S54：生成向量化数据：通过构建向量空间模型对文本进行向量化，并通过隐式语义分析对其进行降维；
所述向量空间模型对文本进行向量化包括以下步骤：
步骤S11：将文本d中的每一个文本特征均标记为tx，文本的特征维度标记为m，tx所对应的权重标记为kx；
步骤S12：通过权重计算公式计算出kx，并通过归一化因子计算公式计算出归一化因子M；
步骤S13：将第x个文本dx表达为一个m维向量形式，即，定义文本矩阵形成矩阵A，并通过SVD分解公式对矩阵A进行分解；
步骤S14：通过降维公式对分解后的矩阵进行降维处理；
所述权重计算公式为：，其中，f(tx,dx)为特征词在文本d中出现的频率，if(tx)为特征词的逆文档频率，/>，其中，ntx为特征词在文本d中出现的次数，Nd为文本d中全部字词的总数量，/>，其中，N为文本数据库中文本的总数；
步骤S55：首次文本聚类分析：基于卷积神经网络提取的特征，通过K-means聚类算法进行计算，确定非结构化运维数据中的故障类别；
步骤S56：有效性检验：通过有效性指标计算公式对文本聚类模块的聚类结果进行检验，判断文本聚类模块聚类结果的有效性，若有效性不符合要求，则执行步骤S57；
所述有效性指标计算公式为：，其中，n´为样本个数，u为样本对类别的隶属矩阵，v为各个类别的聚类中心；
步骤S57：二次聚类分析：通过Chameleon算法对不符合聚类有效性指标的数据进行二次聚类分析，再次执行步骤S56，若仍不符合有效性要求，则执行步骤S58；
步骤S58：两次有效性指标对比：将首次聚类分析单元与二次聚类分析单元的有效性指标进行对比，并通过差异指数计算公式计算聚类结果的可参考指数ζ；
所述差异指数计算公式为：。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310470602.2A CN116384393B (zh) | 2023-04-27 | 2023-04-27 | 一种基于自然语言处理的运维数据处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310470602.2A CN116384393B (zh) | 2023-04-27 | 2023-04-27 | 一种基于自然语言处理的运维数据处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116384393A CN116384393A (zh) | 2023-07-04 |
| CN116384393B true CN116384393B (zh) | 2023-11-21 |
Family
ID=86964244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310470602.2A Active CN116384393B (zh) | 2023-04-27 | 2023-04-27 | 一种基于自然语言处理的运维数据处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116384393B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118155792B (zh) * | 2024-05-10 | 2024-08-02 | 天津市肿瘤医院（天津医科大学肿瘤医院） | 一种基于结直肠非结构化数据库的特征提取方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110116481A (ko) * | 2010-04-19 | 2011-10-26 | 제주대학교 산학협력단 | 계층적 클러스터링을 위한 데이터 분할 방법, 장치 및 컴퓨터 시스템 |
| CN105022740A (zh) * | 2014-04-23 | 2015-11-04 | 苏州易维迅信息科技有限公司 | 非结构化数据的处理方法和装置 |
| CN111199252A (zh) * | 2019-12-30 | 2020-05-26 | 广东电网有限责任公司 | 一种电力通信网络智能运维系统的故障诊断方法 |
| CN111401420A (zh) * | 2020-03-06 | 2020-07-10 | 普迪飞半导体技术(上海)有限公司 | 晶圆测试的异常数据聚类方法、装置、电子设备与介质 |
| CN111611774A (zh) * | 2020-04-29 | 2020-09-01 | 国家电网有限公司 | 一种运维操作指令安全分析方法、系统及存储介质 |
| WO2022170985A1 (zh) * | 2021-02-09 | 2022-08-18 | 广州视源电子科技股份有限公司 | 选题方法、装置、计算机设备和存储介质 |
| CN115358430A (zh) * | 2022-09-14 | 2022-11-18 | 哈尔滨菲桐匠心科技有限公司 | 一种基于大数据的运维信息管理系统及方法 |
-
2023
- 2023-04-27 CN CN202310470602.2A patent/CN116384393B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110116481A (ko) * | 2010-04-19 | 2011-10-26 | 제주대학교 산학협력단 | 계층적 클러스터링을 위한 데이터 분할 방법, 장치 및 컴퓨터 시스템 |
| CN105022740A (zh) * | 2014-04-23 | 2015-11-04 | 苏州易维迅信息科技有限公司 | 非结构化数据的处理方法和装置 |
| CN111199252A (zh) * | 2019-12-30 | 2020-05-26 | 广东电网有限责任公司 | 一种电力通信网络智能运维系统的故障诊断方法 |
| CN111401420A (zh) * | 2020-03-06 | 2020-07-10 | 普迪飞半导体技术(上海)有限公司 | 晶圆测试的异常数据聚类方法、装置、电子设备与介质 |
| CN111611774A (zh) * | 2020-04-29 | 2020-09-01 | 国家电网有限公司 | 一种运维操作指令安全分析方法、系统及存储介质 |
| WO2022170985A1 (zh) * | 2021-02-09 | 2022-08-18 | 广州视源电子科技股份有限公司 | 选题方法、装置、计算机设备和存储介质 |
| CN115358430A (zh) * | 2022-09-14 | 2022-11-18 | 哈尔滨菲桐匠心科技有限公司 | 一种基于大数据的运维信息管理系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116384393A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111882446A (zh) | 一种基于图卷积网络的异常账户检测方法 | |
| CN109657011B (zh) | 一种筛选恐怖袭击事件犯罪团伙的数据挖掘系统 | |
| Mouchere et al. | Icfhr 2012 competition on recognition of on-line mathematical expressions (crohme 2012) | |
| CN116384393B (zh) | 一种基于自然语言处理的运维数据处理系统及方法 | |
| CN112367273B (zh) | 基于知识蒸馏的深度神经网络模型的流量分类方法及装置 | |
| CN112685324B (zh) | 一种生成测试方案的方法及系统 | |
| CN106326915A (zh) | 一种基于改进核Fisher的化工过程故障诊断方法 | |
| CN115937873A (zh) | 一种基于可辨识单字字符的在线笔迹验证系统及方法 | |
| CN109190698A (zh) | 一种网络数字虚拟资产的分类识别系统及方法 | |
| CN112949714A (zh) | 一种基于随机森林的故障可能性预估方法 | |
| CN110889451B (zh) | 事件审计方法、装置、终端设备以及存储介质 | |
| CN115758183A (zh) | 日志异常检测模型的训练方法及装置 | |
| CN116319033A (zh) | 网络入侵攻击检测方法、装置、设备及存储介质 | |
| CN113283901B (zh) | 一种面向区块链平台的基于字节码的诈骗合约检测方法 | |
| CN112699921B (zh) | 一种基于堆栈降噪自编码的电网暂态故障数据聚类清洗方法 | |
| CN117768618A (zh) | 一种基于视频图像分析人员违章的方法 | |
| CN112819003A (zh) | 一种提升体检报告ocr识别准确率的方法及装置 | |
| CN111031042A (zh) | 一种基于改进d-s证据理论的网络异常检测方法 | |
| CN106991171A (zh) | 基于智慧校园信息服务平台的话题发现方法 | |
| CN116126807A (zh) | 一种日志分析方法及相关装置 | |
| CN115795079A (zh) | 一种工程造价分析数据采集与处理方法、系统 | |
| CN114610882A (zh) | 一种基于电力短文本分类的异常设备编码检测方法和系统 | |
| CN115278752A (zh) | 一种5g通信系统异常日志ai检测方法 | |
| CN114383846A (zh) | 基于故障标签信息向量的轴承复合故障诊断方法 | |
| CN113535820A (zh) | 一种基于卷积神经网络的电气操作人员属性推测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |