CN116484053B - 智能数据分析平台 - Google Patents
智能数据分析平台 Download PDFInfo
- Publication number
- CN116484053B CN116484053B CN202310740139.9A CN202310740139A CN116484053B CN 116484053 B CN116484053 B CN 116484053B CN 202310740139 A CN202310740139 A CN 202310740139A CN 116484053 B CN116484053 B CN 116484053B
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- target
- unstructured
- data analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 claims abstract description 96
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 51
- 238000009826 distribution Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 14
- 238000007476 Maximum Likelihood Methods 0.000 claims description 8
- 230000001902 propagating effect Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012351 Integrated analysis Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了智能数据分析平台，涉及数据分析技术领域，所述平台包括：数据获取模块，用于获取目标数据，判断目标数据类型；混合型数据处理模块，用于当目标数据类型为混合型数据时，将目标数据进行数据分类操作，以得到混合型数据的结构数据和非结构数据；数据融合模块，配置用于当目标数据类型为混合型数据时，对混合型数据的结构数据和非结构数据进行数据融合，得到融合数据；数据分析模块，用于当目标数据类型为结构数据时，直接进行数据分析，得到结构数据分析结果。本发明能够高效处理混合型数据，自动进行特征学习和建模，提供准确的数据分析结果。
Description
技术领域
本发明涉及数据分析技术领域，特别涉及智能数据分析平台。
背景技术
随着信息时代的到来，大量的数据被生成和收集，给企业和组织带来了巨大的机会和挑战。这些数据涵盖了各个领域和行业，包括结构化数据（如数据库、表格数据）和非结构化数据（如文本、图像、音频）。这些数据蕴含着宝贵的信息和洞察力，对于企业的决策和业务发展具有重要意义。因此，开发一种高效、准确、全面的数据分析平台成为当今研究的热点。
在过去的几年中，已经涌现出许多数据分析和处理的方法和技术。其中，传统的数据分析方法主要针对结构化数据，如关系数据库和表格数据，可以使用SQL查询语言和统计分析方法来提取和分析数据。然而，这些方法在处理非结构化数据方面存在一定的局限性，无法充分挖掘文本、图像、音频等非结构化数据中蕴含的信息。
另一方面，针对非结构化数据的分析方法也得到了广泛研究和应用。例如，自然语言处理（NLP）技术可以对文本数据进行分词、情感分析、主题建模等。图像处理和计算机视觉技术可以实现图像识别、目标检测、图像分割等任务。音频信号处理可以实现语音识别、音乐分析等应用。这些方法在处理非结构化数据方面取得了一定的成果，但仍然存在一些问题。
首先，现有的数据分析方法往往是针对特定类型的数据，无法有效处理混合型数据。在现实场景中，往往会遇到同时包含结构化数据和非结构化数据的情况。传统的结构化数据分析方法无法处理非结构化数据，而非结构化数据分析方法则无法处理结构化数据。这导致在实际应用中，无法充分利用混合型数据的丰富信息和潜在价值。
其次，现有的数据分析方法在处理复杂的混合型数据时，缺乏综合性和整合性的能力。不同类型的数据分析方法往往是相互独立的，难以进行全面的数据融合和综合分析。这限制了对混合型数据的全面理解和综合性决策的能力。
此外，现有的数据分析方法在模型建立和参数优化方面也存在一些挑战。对于复杂的数据模式和关联关系，传统的统计分析方法可能无法很好地拟合和捕捉数据的非线性特征。这导致模型的准确性和预测能力有限。
综上所述，虽然已经存在一些数据分析方法和技术，但在处理混合型数据、综合分析能力、特征工程和模型建立方面仍然存在一些问题和挑战。因此，需要开发一种创新的数据分析平台，能够高效、准确地处理混合型数据，实现综合分析和融合，减少人工干预，提高数据分析的效率和准确性。
发明内容
本发明的目的是提供智能数据分析平台，能够高效处理混合型数据，自动进行特征学习和建模，提供准确的数据分析结果。
为解决上述技术问题，本发明提供智能数据分析平台，包括：
智能数据分析平台，所述平台包括：数据获取模块，用于获取目标数据，判断目标数据类型，所述目标数据类型包括：结构数据、非结构数据和混合型数据；混合型数据处理模块，用于当目标数据类型为混合型数据时，将目标数据进行数据分类操作，以得到混合型数据的结构数据和非结构数据，具体包括：将目标数据作为训练数据，使用深度信念网络对目标数据进行建模和特征学习，逐层初始化和训练深度信念网络，使用反向传播，优化深度信念网络的参数，在深度信念网络训练完成后，使用深度信念网络的中间层作为目标数据的特征表示，通过将目标数据输入到深度信念网络中，获得目标数据的低级抽象特征和高级抽象特征，使用混合数据分析模型对目标数据的低级抽象特征和高级抽象特征进行建模；使用最大似然估计算法或期望最大化算法对混合数据分析模型进行拟合，找到最优的混合数据分析模型分布参数，所述混合模型分布参数包括均值、协方差和混合系数，通过计算目标数据中每个数据属于混合数据分析模型分布的后验概率，来判断目标数据中的每个数据是属于结构化还是非结构化数据；数据融合模块，配置用于当目标数据类型为混合型数据时，对混合型数据的结构数据和非结构数据进行数据融合，得到融合数据；数据分析模块，用于当目标数据类型为结构数据时，直接进行数据分析，得到结构数据分析结果，当目标数据类型为非结构数据时，对非结构数据进行数据分析，得到非结构数据分析结果，当目标类型为混合型数据时，对融合数据进行数据分析，得到混合型数据分析结果。
进一步的，所述数据获取模块，判断目标数据类型的方法包括：遍历目标数据中的每个数据，针对每个数据，识别其数据文件的扩展名，根据扩展名，判断目标数据的类型，得到初步判断结果；在初步判断结果的基础上，根据扩展名，使用对应的文件类型识别方法，以判断初步判断结果是否准确，若准确，则得到判断结果，若不准确，则将该数据从目标数据中筛选出来，分别使用不同的文件类型识别方法对目标数据进行类型识别，得到判断结果；若目标数据中包含非结构数据和结构数据，则判断目标数据类型为混合型数据；若目标数据仅包含结构数据，则判断目标数据类型为结构数据；若目标数据仅包含非结构数据，则判断目标数据类型为非结构数据。
进一步的，所述数据分析模块，当目标数据类型为结构数据时，直接进行数据分析，使用聚类分析的方法对结构数据进行数据分析，得到聚类数据分析结果，作为结构数据分析结果。
进一步的，所述数据分析模块，当目标数据类型为非结构数据时，对非结构数据进行数据类型判断，得到非结构数据的数据类型；所述非结构数据的数据类型包括：文本数据、音频数据、图像数据；使用与非结构数据的数据类型相对应的数据分析方法对非结构数据进行数据分析，得到非结构数据分析结果。
进一步的，所述混合型数据处理模块逐层初始化和训练深度信念网络的过程，具体包括：
步骤A1：初始化深度信念网络中的受限玻尔兹曼机的可见层和隐藏层参数，包括：初始化可见层偏置：，其中/>是可见层单元的索引；初始化隐藏层偏置：/>，其中/>是隐藏层单元的索引；初始化权重矩阵：/>，其中/>是可见层单元的索引，/>是隐藏层单元的索引；
对受限玻尔兹曼机进行无监督训练，包括：将目标数据作为训练数据，将训练数据中的每个数据作为训练样本，对于每个训练样本，通过Gibbs采样从可见层开始，对可见层和隐藏层进行交替采样，以获得正样本的隐藏层状态/>；通过Gibbs采样从隐藏层开始，对隐藏层和可见层进行交替采样，以获得重构样本的可见层状态/>；
步骤A3：根据样本之间的差异调整权重和偏置，包括：
使用如下公式进行权重更新：
；
使用如下公式进行可见层偏置更新：
；
使用如下公式进行隐藏层偏置更新：
；
使用上述更新规则更新受限玻尔兹曼机的参数，其中是学习率，/>表示输入数据的可见层状态，/>表示通过Gibbs采样从可见层开始，对可见层和隐藏层进行交替采样得到的重构样本的隐藏层状态；将隐藏层的激活值作为下一层受限玻尔兹曼机的可见层输入，具体包括：将第/>层受限玻尔兹曼机的隐藏层的激活值作为第/>层受限玻尔兹曼机的可见层输入；
步骤A4：重复步骤A1至步骤A3，直到对所有层的受限玻尔兹曼机都进行了预训练，返回预训练完成的深度信念网络。
进一步的，所述混合型数据处理模块使用反向传播，优化深度信念网络的参数的方法包括:
步骤B1：初始化参数，包括：初始化整个深度信念网络的权重矩阵：，其中/>表示网络的层数；初始化整个深度信念网络的偏置向量：/>；
步骤B2：前向传播计算输出，包括：对于每个样本：将/>作为输入，通过整个深度信念网络进行前向传播；对于每一层/>，使用如下公式，计算该层的激活值：
；
步骤B3：计算输出层的梯度，包括：对于每个样本和对应的标签/>，使用如下公式计算输出层的梯度：
，其中/>，/>是损失函数；
步骤B4：反向传播计算隐藏层的梯度和参数更新，对于每一层，从输出层开始逐层计算梯度；
步骤B5：重复步骤B3和步骤B4，直到计算完所有层的梯度；
步骤B6：重复步骤B2至步骤B5，使用所有带标签的训练样本对深度信念网络进行训练，直到达到预定的停止条件；
步骤B7：返回微调后的深度信念网络。
进一步的，所述步骤B4具体包括：
使用如下公式计算隐藏层的梯度：
；
使用如下公式计算权重矩阵的梯度：
；
使用如下公式计算偏置向量的梯度：
；
使用如下公式更新权重矩阵：
，其中/>是学习率；
使用如下公式更新偏置向量：
，其中/>是学习率。
进一步的，所述混合数据分析模型为高斯混合模型；所述通过计算目标数据中每个数据属于混合数据分析模型分布的后验概率，来判断目标数据中的每个数据是属于结构化还是非结构化数据的方法包括：对于目标数据中的每个数据，即样本/>，使用如下公式计算其后验概率：/>；
其中，是样本/>属于第/>个高斯分布的后验概率；/>是第/>个高斯分布的混合系数，满足/>；/>是高斯分布的概率密度函数，表示样本/>在第/>个高斯分布中的概率；/>是第/>个高斯分布的均值向量；/>是第/>个高斯分布的协方差矩阵；根据后验概率的阈值，将样本分配给结构化或非结构化数据的类别；如果后验概率/>大于设定的阈值，则将样本划分为结构化数据；否则，将其划分为非结构化数据。
进一步的，所述数据融合模块，当目标数据类型为混合型数据时，对混合型数据的结构数据和非结构数据进行数据融合，得到融合数据的方法包括：
步骤C1：结构化数据特征提取，包括：对结构化数据应用特征提取方法，得到结构化数据的特征表示为；
步骤C2：非结构化数据特征提取，包括：对非结构化数据应用特征提取方法，得到非结构化数据的特征表示为；
步骤C3：数据融合，包括：将结构化数据的特征表示和非结构化数据的特征表示进行拼接或加权求和，得到融合特征表示/>；融合数据即为融合特征表示/>。
进一步的，所述平台包括数据解析模块，用于解析融合数据，以得到结构数据和非结构数据，具体包括：将融合数据进行解析，提取出融合特征表示；将融合特征表示/>分离为结构化数据特征表示/>和非结构化数据特征表示/>；对结构化数据特征表示/>进行逆特征提取，得到结构化数据；对非结构化数据特征表示/>进行逆特征提取和整理，得到非结构化数据。
本发明的智能数据分析平台，具有以下有益效果：
1.本发明的智能数据分析平台能够高效处理混合型数据。相比传统的数据分析方法，该平台不受数据类型限制，能够处理同时包含结构化数据和非结构化数据的混合型数据。通过数据获取模块，平台能够准确获取目标数据并判断其类型，从而进行相应的处理和分析。这种综合性的数据处理能力，使得企业和组织能够更全面地理解和利用数据，挖掘出更多的商业机会。
2.本发明的平台利用深度信念网络进行数据建模和特征学习，可以自动提取混合型数据的抽象特征。传统的数据分析方法常常依赖于人工特征工程，需要专业领域知识和经验来设计和选择特征。而智能数据分析平台通过深度信念网络的训练，能够自动学习数据的潜在模式和特征表示，避免了繁琐的人工特征工程过程。这大大提高了数据分析的效率和准确性，使得企业能够更快地获得有关数据的洞察力，并做出更明智的决策。
3.本发明的平台采用混合数据分析模型对数据进行建模和分布拟合，能够更好地捕捉数据的复杂模式和关联关系。混合模型具有灵活的分布形式和参数设置，能够适应不同类型的数据。通过对混合型数据的建模，平台可以准确地描述数据的概率分布情况，从而在数据分析和预测中提供更准确的结果。这对于企业的决策和规划具有重要意义，帮助其更好地理解和利用数据，做出更精准的预测和决策。
4.本发明的智能数据分析平台具备综合分析和决策能力。通过数据融合和解析的过程，平台能够将结构化数据和非结构化数据进行有效的分离和整合。这使得企业能够综合考虑不同类型数据的信息，从多个维度进行分析，获取更全面、准确的洞察力。同时，平台还提供了多种数据分析模型和算法，能够针对不同的数据类型进行相应的分析，例如针对结构化数据的聚类分析、非结构化数据的类型判断和特定类型数据的分析。这种综合分析和决策能力使得企业能够更全面地理解数据，发现数据中隐藏的关联和规律，并能够做出更具针对性的决策和战略规划。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的智能数据分析平台的平台结构示意图；
图2为本发明实施例提供的智能数据分析平台的数据融合的过程示意图；
图3为本发明实施例提供的智能数据分析平台的数据解析的过程示意图。
具体实施方式
本发明的核心是提供智能数据分析平台，它能够高效处理混合型数据，自动进行特征学习和建模，提供准确的数据分析结果。通过高斯混合模型的应用，平台能够更好地捕捉数据的复杂模式和关联关系。综合分析和决策能力使得企业能够更全面地理解数据，做出更明智的决策。平台的灵活性和可扩展性为企业提供了定制化的数据分析解决方案。总体而言，本发明的智能数据分析平台为企业提供了全面、高效、准确的数据分析能力，帮助企业从数据中获得洞察力，并为决策和业务发展提供支持。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，智能数据分析平台，所述平台包括：数据获取模块，用于获取目标数据，判断目标数据类型，所述目标数据类型包括：结构数据、非结构数据和混合型数据；结构数据指的是有明确定义的数据格式，如数据库表格；非结构数据指的是没有明确格式的数据，如文本、图像、音频等；混合型数据是结构数据和非结构数据的组合。数据获取模块通过识别目标数据的类型，为后续处理做准备。
混合型数据处理模块，用于当目标数据类型为混合型数据时，将目标数据进行数据分类操作，以得到混合型数据的结构数据和非结构数据，具体包括：将目标数据作为训练数据，使用深度信念网络对目标数据进行建模和特征学习，逐层初始化和训练深度信念网络，使用反向传播，优化深度信念网络的参数，在深度信念网络训练完成后，使用深度信念网络的中间层作为目标数据的特征表示，通过将目标数据输入到深度信念网络中，获得目标数据的低级抽象特征和高级抽象特征，使用混合数据分析模型对目标数据的低级抽象特征和高级抽象特征进行建模；使用最大似然估计算法或期望最大化算法对混合数据分析模型进行拟合，找到最优的混合数据分析模型分布参数，所述混合模型分布参数包括均值、协方差和混合系数，通过计算目标数据中每个数据属于混合数据分析模型分布的后验概率，来判断目标数据中的每个数据是属于结构化还是非结构化数据；深度信念网络（DeepBelief Network，DBN）是一种深度学习模型，通过逐层初始化和训练神经网络的方式进行学习。在训练完成后，深度信念网络的中间层可以用作目标数据的特征表示，提取数据的低级抽象特征和高级抽象特征。混合数据分析模型则利用这些特征对混合型数据进行建模。在深度信念网络中，每个隐藏层都学习到一组特征表示，这些特征表示可以逐渐提取数据的抽象程度。低级抽象特征指的是对输入数据进行初步编码，捕捉较为简单的特征和模式。随着数据在网络中向上传递，每个隐藏层的特征表示会变得更加抽象和高级。具体来说，深度信念网络通过逐层初始化和训练的方式学习数据的特征表示。在网络的初始层，特征表示可能对数据的局部细节和原始特征进行编码。随着数据在网络中传递到更深的隐藏层，特征表示会变得更加抽象，可以捕捉到更高层次的语义和概念。以图像数据为例，低级抽象特征可能包括基础的边缘、角点、颜色等局部特征。随着数据在网络中向上传递，高级抽象特征可能涉及更复杂的形状、纹理、对象等抽象概念。在混合型数据处理模块中，通过深度信念网络学习到的低级抽象特征和高级抽象特征可以用于表示目标数据的重要特征，进而支持数据的分类、分析和建模操作。这些抽象特征的提取过程利用了深度信念网络对数据的层次化特征学习能力，能够在复杂数据中发现更高层次的结构和关联。
采用最大似然估计算法或期望最大化算法进行拟合的目的是为了找到最优的混合模型分布参数，包括均值、协方差和混合系数。这些参数用于描述混合模型中各个分量的特征，并且能够在分类操作中计算数据点属于各个分量的后验概率。
期望最大化算法（Expectation-Maximization，EM）：期望最大化算法是一种迭代优化算法，用于估计含有隐变量的概率模型参数。在混合数据分析模型中，EM算法通过迭代的方式逐步优化混合模型的参数。算法的每次迭代包括两个主要步骤：E步骤（Expectationstep）和M步骤（Maximization step）。E步骤计算数据点属于每个分量的后验概率，M步骤更新模型参数以最大化似然函数。通过多次迭代，EM算法能够逐渐收敛到局部最优解。
最大似然估计算法（Maximum Likelihood Estimation，MLE）：最大似然估计算法是一种统计方法，通过寻找最大化观测数据的似然函数的参数值来估计模型参数。在混合数据分析模型中，通过最大似然估计算法，找到能够最大化观测数据生成概率的模型参数。该方法通过最大化数据的整体概率来拟合混合模型，以使生成的数据尽可能接近观测数据。
数据融合模块，配置用于当目标数据类型为混合型数据时，对混合型数据的结构数据和非结构数据进行数据融合，得到融合数据；数据分析模块，用于当目标数据类型为结构数据时，直接进行数据分析，得到结构数据分析结果，当目标数据类型为非结构数据时，对非结构数据进行数据分析，得到非结构数据分析结果，当目标类型为混合型数据时，对融合数据进行数据分析，得到混合型数据分析结果。
优选地，所述数据获取模块，判断目标数据类型的方法包括：遍历目标数据中的每个数据，针对每个数据，识别其数据文件的扩展名，根据扩展名，判断目标数据的类型，得到初步判断结果；在初步判断结果的基础上，根据扩展名，使用对应的文件类型识别方法，以判断初步判断结果是否准确，若准确，则得到判断结果，若不准确，则将该数据从目标数据中筛选出来，分别使用不同的文件类型识别方法对目标数据进行类型识别，得到判断结果；若目标数据中包含非结构数据和结构数据，则判断目标数据类型为混合型数据；若目标数据仅包含结构数据，则判断目标数据类型为结构数据；若目标数据仅包含非结构数据，则判断目标数据类型为非结构数据。
通过检查数据文件的扩展名或者文件头部信息，可以判断数据文件的类型。例如，文件扩展名为.csv、.xlsx、.json等通常表示结构化数据，而扩展名为.txt、.pdf、.jpg等可能表示非结构化数据。
对于文本数据，可以使用NLP技术来分析文本的语法、语义和上下文信息。例如，使用词法分析、句法分析和语义角色标注等技术，可以从文本中提取实体、关键词和关系，进而判断是否为非结构化数据。
对于图像数据，可以使用计算机视觉技术来处理和分析图像内容。例如，使用图像识别、目标检测和图像分割等算法，可以识别图像中的对象、场景和结构，并判断是否为非结构化数据。
对于数据文件，可以分析文件的元数据信息来判断其结构。例如，对于数据库表格或者电子表格文件，可以通过读取其列名、数据类型和索引等元数据信息来确定其为结构化数据。
优选地，所述数据分析模块，当目标数据类型为结构数据时，直接进行数据分析，使用聚类分析的方法对结构数据进行数据分析，得到聚类数据分析结果，作为结构数据分析结果。
优选地，所述数据分析模块，当目标数据类型为非结构数据时，对非结构数据进行数据类型判断，得到非结构数据的数据类型；所述非结构数据的数据类型包括：文本数据、音频数据、图像数据；使用与非结构数据的数据类型相对应的数据分析方法对非结构数据进行数据分析，得到非结构数据分析结果。
具体地，针对文本数据，可以使用文本分类或自然语言处理技术进行判断。针对音频数据，可以利用音频特征提取和分类方法进行判断。对于图像数据，可以使用图像处理和计算机视觉方法进行判断。根据非结构数据的具体类型，选择与之相对应的数据分析方法。例如，对于文本数据，可以使用文本挖掘、情感分析、主题建模等方法；对于音频数据，可以进行声音特征提取、语音识别、音频分类等分析方法；对于图像数据，可以使用图像特征提取、目标检测、图像分类等方法。
优选地，所述混合型数据处理模块逐层初始化和训练深度信念网络的过程，具体包括：
步骤A1：初始化深度信念网络中的受限玻尔兹曼机的可见层和隐藏层参数，包括：初始化可见层偏置：，其中/>是可见层单元的索引；初始化隐藏层偏置：/>，其中/>是隐藏层单元的索引；初始化权重矩阵：/>，其中/>是可见层单元的索引，/>是隐藏层单元的索引；
步骤A2：对受限玻尔兹曼机进行无监督训练，包括：将目标数据作为训练数据，将训练数据中的每个数据作为训练样本，对于每个训练样本，通过Gibbs采样从可见层开始，对可见层和隐藏层进行交替采样，以获得正样本的隐藏层状态/>；通过Gibbs采样从隐藏层开始，对隐藏层和可见层进行交替采样，以获得重构样本的可见层状态/>；
步骤A3：根据样本之间的差异调整权重和偏置，包括：
使用如下公式进行权重更新：
；
使用如下公式进行可见层偏置更新：
；
使用如下公式进行隐藏层偏置更新：
；
使用上述更新规则更新受限玻尔兹曼机的参数，其中是学习率，/>表示输入数据的可见层状态，/>表示通过Gibbs采样从可见层开始，对可见层和隐藏层进行交替采样得到的重构样本的隐藏层状态；将隐藏层的激活值作为下一层受限玻尔兹曼机的可见层输入，具体包括：将第/>层受限玻尔兹曼机的隐藏层的激活值作为第/>层受限玻尔兹曼机的可见层输入；
步骤A4：重复步骤A1至步骤A3，直到对所有层的受限玻尔兹曼机都进行了预训练，返回预训练完成的深度信念网络。
具体地，每个受限玻尔兹曼机在步骤 A2 中通过交替采样的方式进行训练。通过Gibbs 采样，从可见层开始，生成隐藏层的状态，然后再从隐藏层开始，重构可见层的状态。通过反复进行这样的采样过程，受限玻尔兹曼机能够学习到数据的概率分布，从而捕捉到数据中的重要特征。在步骤 A3 中，通过比较正样本和重构样本之间的差异，使用梯度下降法更新受限玻尔兹曼机的参数。权重矩阵和偏置项根据梯度方向进行微调，以最大程度地减小重构样本与正样本之间的差异。这个过程可以看作是一个自动编码器，通过重构样本的误差来迭代地调整参数，以提高模型的性能。在步骤 A4 中，重复执行步骤 A1 至 A3，逐层初始化和训练深度信念网络。每一层的受限玻尔兹曼机都以上一层的隐藏层状态作为输入，通过不断迭代调整参数，逐渐提取数据的抽象特征。最终，预训练完成的深度信念网络将用于后续的数据分析和建模任务。
优选地，所述混合型数据处理模块使用反向传播，优化深度信念网络的参数的方法包括:
步骤B1：初始化参数，包括：初始化整个深度信念网络的权重矩阵：，其中/>表示网络的层数；初始化整个深度信念网络的偏置向量：/>；
初始化整个深度信念网络的权重矩阵和偏置向量/>。这些参数是模型学习的关键，通过随机初始化的方式为网络提供一个起始点，以便在后续训练中进行调整和优化。
步骤B2：前向传播计算输出，包括：对于每个样本：将/>作为输入，通过整个深度信念网络进行前向传播；对于每一层/>，使用如下公式，计算该层的激活值：
；
对于每个样本，将/>作为输入，通过整个深度信念网络进行前向传播计算。这意味着从输入层开始，依次计算每一层的激活值。对于每一层/>，使用权重矩阵/>、偏置向量和激活函数（如 sigmoid 函数）对输入进行线性变换和非线性映射，得到该层的激活值。这个过程可以看作是信息在网络中的正向传播，每一层都将输入传递到下一层，并逐渐构建出数据的抽象表示。
步骤B3：计算输出层的梯度，包括：对于每个样本和对应的标签/>，使用如下公式计算输出层的梯度：
，其中/>，/>是损失函数；
对于每个样本和对应的标签/>，使用损失函数对网络的输出层计算梯度。损失函数度量了网络输出与真实标签之间的差距，梯度表示了损失函数关于网络输出的敏感度。梯度可以通过计算损失函数对输出层激活值/>的偏导数得到，记为/>。这个梯度可以告诉在输出层需要进行怎样的调整才能减小损失函数的值。
步骤B4：反向传播计算隐藏层的梯度和参数更新，对于每一层，从输出层开始逐层计算梯度；
步骤B5：重复步骤B3和步骤B4，直到计算完所有层的梯度；
在步骤 B4 中，计算了隐藏层的梯度并更新了网络的参数。然而，这仅仅是针对单个样本的计算和更新。在实际训练过程中，需要对所有带标签的训练样本进行计算和更新。
在步骤 B5 中，重复执行步骤 B3 和步骤 B4，通过遍历所有样本，计算并累积梯度，并根据累积的梯度更新网络的参数。
这个过程允许利用整个训练集的信息来更新网络的参数，使得网络能够更好地拟合训练数据。
步骤B6：重复步骤B2至步骤B5，使用所有带标签的训练样本对深度信念网络进行训练，直到达到预定的停止条件；
在步骤 B2 至步骤 B5 中，使用所有带标签的训练样本对深度信念网络进行训练。这意味着通过重复执行前向传播、计算梯度和更新参数的过程，不断优化网络的性能。
在训练过程中，可以设置停止条件，如达到最大迭代次数或损失函数的收敛。当满足停止条件时，可以认为网络已经学习到了训练数据的模式和特征，可以进行下一步的数据分析任务。
步骤B7：返回微调后的深度信念网络。
在完成训练后，得到了微调后的深度信念网络，其中的参数经过优化，以更好地拟合训练数据。
这个微调后的深度信念网络可以用于后续的数据分析任务，如数据聚类、特征提取、数据生成等。
返回微调后的网络意味着可以利用它对新的数据进行预测和分析，从而应用混合数据分析模型的能力。
通过反向传播算法和参数更新过程，混合型数据处理模块可以训练和优化深度信念网络，以更好地对混合型数据进行建模和分析。这个过程利用了大量的标签样本来调整网络的参数，以最小化损失函数并提高网络的性能。通过重复计算梯度和参数更新，网络逐渐优化自身，以更好地适应训练数据。最终，获得了一个微调后的深度信念网络，可以用于后续的数据分析任务。
优选地，所述步骤B4具体包括：
使用如下公式计算隐藏层的梯度：
；
使用如下公式计算权重矩阵的梯度：
；
使用如下公式计算偏置向量的梯度：
；
使用如下公式更新权重矩阵：
，其中/>是学习率；
使用如下公式更新偏置向量：
，其中/>是学习率。
具体地，使用公式计算隐藏层的梯度：
首先，通过将下一层的梯度与权重矩阵/>相乘得到当前隐藏层的梯度。然后，将当前隐藏层的梯度与经过 sigmoid 函数导数/>缩放，以考虑当前层的输出对损失函数的贡献。这个过程可以理解为梯度的反向传播，将上一层的梯度通过权重矩阵反向传播到当前隐藏层，并考虑当前层的非线性激活函数。
使用公式计算权重矩阵的梯度：
通过将当前隐藏层的梯度与上一层的输出/>相乘得到权重矩阵的梯度。这个梯度表示了当前隐藏层与前一层之间连接的权重对损失函数的贡献，用于指导权重的调整。
使用公式计算偏置向量的梯度：
当前隐藏层的梯度本身就是对偏置向量的梯度。这个梯度表示了当前隐藏层对损失函数的贡献，用于指导偏置的调整。
使用公式更新权重矩阵：
将学习率乘以权重矩阵的梯度，然后从当前的权重矩阵中减去这个乘积，以更新权重矩阵。这个更新过程朝着梯度下降的方向更新权重，使得网络能够朝着最优点移动。/>
使用公式更新偏置向量：
将学习率乘以偏置向量的梯度，然后从当前的偏置向量中减去这个乘积，以更新偏置向量。这个更新过程朝着梯度下降的方向更新偏置，使得网络能够朝着最优点移动。
步骤 B4 中的计算和参数更新过程是基于反向传播算法的。通过计算隐藏层的梯度，我们可以了解当前隐藏层对损失函数的贡献，同时根据梯度更新网络的权重矩阵和偏置向量。这个过程通过迭代更新参数，使得网络能够朝着损失函数下降的方向优化，并提高网络的性能。学习率控制了参数更新的步长，需要适当选择以平衡收敛速度和准确性。通过重复执行步骤 B4，我们可以在训练过程中不断调整网络的参数，从而使网络能够更好地拟合训练数据，并具备更好的泛化能力。
优选地，所述混合数据分析模型为高斯混合模型；所述通过计算目标数据中每个数据属于混合数据分析模型分布的后验概率，来判断目标数据中的每个数据是属于结构化还是非结构化数据的方法包括：对于目标数据中的每个数据，即样本/>，使用如下公式计算其后验概率：/>；
其中，是样本/>属于第/>个高斯分布的后验概率；/>是第/>个高斯分布的混合系数，满足/>；/>是高斯分布的概率密度函数，表示样本/>在第/>个高斯分布中的概率；/>是第/>个高斯分布的均值向量；/>是第/>个高斯分布的协方差矩阵；根据后验概率的阈值，将样本分配给结构化或非结构化数据的类别；如果后验概率/>大于设定的阈值，则将样本划分为结构化数据；否则，将其划分为非结构化数据。
具体的，混合数据分析模型的原理是将目标数据看作由多个高斯分布组成的混合物。每个高斯分布代表了数据的一个子集或一个潜在的模式。模型通过估计每个高斯分布的参数（均值、协方差和混合系数）来描述数据的分布。然后，使用后验概率计算每个数据属于不同高斯分布的可能性。
具体而言，混合数据分析模型通过计算每个数据点在每个高斯分布下的后验概率来判断其属于结构化或非结构化数据的类别。后验概率反映了数据点在不同分布中的相对权重，即数据点属于每个分布的可能性。通过设定一个阈值，我们可以将后验概率较高的数据点划分为结构化数据，而后验概率较低的数据点划分为非结构化数据。
使用混合数据分析模型的优势在于它能够灵活地适应不同的数据分布，特别适用于复杂的数据情况。由于混合数据分析模型采用多个高斯分布进行建模，可以更好地捕捉数据中的不同模式和聚类结构。通过对数据进行建模和分类，混合数据分析模型可以帮助我们理解数据的内在结构、发现隐藏的模式，并为进一步的数据分析提供基础。
因此，混合数据分析模型作为混合型数据处理模块中的一种方法，可以通过估计数据的分布参数和计算后验概率，对目标数据中的每个数据进行分类，进而实现对结构化和非结构化数据的判断和分析。这为混合型数据的处理和理解提供了一种有效的方法。
参考图2，优选地，所述数据融合模块，当目标数据类型为混合型数据时，对混合型数据的结构数据和非结构数据进行数据融合，得到融合数据的方法包括：
步骤C1：结构化数据特征提取，包括：对结构化数据应用特征提取方法，得到结构化数据的特征表示为；/>
步骤C2：非结构化数据特征提取，包括：对非结构化数据应用特征提取方法，得到非结构化数据的特征表示为；
步骤C3：数据融合，包括：将结构化数据的特征表示和非结构化数据的特征表示进行拼接或加权求和，得到融合特征表示/>；融合数据即为融合特征表示/>。
具体的，混合型数据通常包含不同类型的信息，如结构数据中的表格数据、非结构数据中的文本或图像数据等。通过数据融合，可以将这些不同类型的数据整合在一起，填补数据的空缺部分，提高数据的完整性，并确保数据之间的一致性。不同类型的数据可以提供不同的信息视角。结构化数据通常以表格形式呈现，提供了明确的字段和关系，而非结构化数据则包含更丰富的文本描述、图像或音频内容。通过融合这些不同类型的数据，可以获得更全面的信息视角，从而更好地理解和分析数据。
参考图3，优选地，所述平台包括数据解析模块，用于解析融合数据，以得到结构数据和非结构数据，具体包括：将融合数据进行解析，提取出融合特征表示；将融合特征表示/>分离为结构化数据特征表示/>和非结构化数据特征表示/>；对结构化数据特征表示/>进行逆特征提取，得到结构化数据；对非结构化数据特征表示/>进行逆特征提取和整理，得到非结构化数据。
具体的，混合型数据中还可能包含非结构化数据，如文本、图像、音频等。这些数据通常没有固定的格式和明确的字段结构。通过数据解析，可以对非结构化数据进行解析和分离，将其转化为可处理的形式。例如，可以将文本数据进行分词和标注，将图像数据进行特征提取，将音频数据进行声音信号处理等。结构化数据和非结构化数据具有不同的特点和分析需求。通过解析和分离融合数据中的结构数据和非结构数据，可以针对不同类型的数据应用专门的分析方法和技术。例如，可以使用统计分析和机器学习算法对结构数据进行建模和预测，使用自然语言处理和图像处理技术对非结构化数据进行文本挖掘和图像识别。
以上对本发明进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.智能数据分析平台，其特征在于，所述平台包括：数据获取模块，用于获取目标数据，判断目标数据类型，所述目标数据类型包括：结构数据、非结构数据和混合型数据；混合型数据处理模块，用于当目标数据类型为混合型数据时，将目标数据进行数据分类操作，以得到混合型数据的结构数据和非结构数据，具体包括：将目标数据作为训练数据，使用深度信念网络对目标数据进行建模和特征学习，逐层初始化和训练深度信念网络，使用反向传播，优化深度信念网络的参数，在深度信念网络训练完成后，使用深度信念网络的中间层作为目标数据的特征表示，通过将目标数据输入到深度信念网络中，获得目标数据的低级抽象特征和高级抽象特征，使用混合数据分析模型对目标数据的低级抽象特征和高级抽象特征进行建模；使用最大似然估计算法或期望最大化算法对混合数据分析模型进行拟合，找到最优的混合数据分析模型分布参数，所述混合数据分析模型分布参数包括均值、协方差和混合系数，通过计算目标数据中每个数据属于混合数据分析模型分布的后验概率，来判断目标数据中的每个数据是属于结构化还是非结构化数据；数据融合模块，配置用于当目标数据类型为混合型数据时，对混合型数据的结构数据和非结构数据进行数据融合，得到融合数据；数据分析模块，用于当目标数据类型为结构数据时，直接进行数据分析，得到结构数据分析结果，当目标数据类型为非结构数据时，对非结构数据进行数据分析，得到非结构数据分析结果，当目标类型为混合型数据时，对融合数据进行数据分析，得到混合型数据分析结果。
2.如权利要求1所述的智能数据分析平台，其特征在于，所述数据获取模块，判断目标数据类型的方法包括：遍历目标数据中的每个数据，针对每个数据，识别其数据文件的扩展名，根据扩展名，判断目标数据的类型，得到初步判断结果；在初步判断结果的基础上，根据扩展名，使用对应的文件类型识别方法，以判断初步判断结果是否准确，若准确，则得到判断结果，若不准确，则将该数据从目标数据中筛选出来，分别使用不同的文件类型识别方法对目标数据进行类型识别，得到判断结果；若目标数据中包含非结构数据和结构数据，则判断目标数据类型为混合型数据；若目标数据仅包含结构数据，则判断目标数据类型为结构数据；若目标数据仅包含非结构数据，则判断目标数据类型为非结构数据。
3.如权利要求1所述的智能数据分析平台，其特征在于，所述数据分析模块，当目标数据类型为结构数据时，直接进行数据分析，使用聚类分析的方法对结构数据进行数据分析，得到聚类数据分析结果，作为结构数据分析结果。
4.如权利要求1所述的智能数据分析平台，其特征在于，所述数据分析模块，当目标数据类型为非结构数据时，对非结构数据进行数据类型判断，得到非结构数据的数据类型；所述非结构数据的数据类型包括：文本数据、音频数据、图像数据；使用与非结构数据的数据类型相对应的数据分析方法对非结构数据进行数据分析，得到非结构数据分析结果。
5.如权利要求1所述的智能数据分析平台，其特征在于，所述混合型数据处理模块逐层初始化和训练深度信念网络的过程，具体包括：
步骤A1：初始化深度信念网络中的受限玻尔兹曼机的可见层和隐藏层参数，包括：初始化可见层偏置：，其中/>是可见层单元的索引；初始化隐藏层偏置：/>，其中/>是隐藏层单元的索引；初始化权重矩阵：/>；
步骤A2：对受限玻尔兹曼机进行无监督训练，包括：将目标数据作为训练数据，将训练数据中的每个数据作为训练样本，对于每个训练样本，通过Gibbs采样从可见层开始，对可见层和隐藏层进行交替采样，以获得正样本的隐藏层状态/>；通过Gibbs采样从隐藏层开始，对隐藏层和可见层进行交替采样，以获得重构样本的可见层状态/>；
步骤A3：根据样本之间的差异调整权重和偏置，包括：
使用如下公式进行权重更新：
；
使用如下公式进行可见层偏置更新：
；
使用如下公式进行隐藏层偏置更新：
；
使用上述更新规则更新受限玻尔兹曼机的参数，其中是学习率，/>表示输入数据的可见层状态，/>表示通过Gibbs采样从可见层开始，对可见层和隐藏层进行交替采样得到的重构样本的隐藏层状态；将隐藏层的激活值作为下一层受限玻尔兹曼机的可见层输入，具体包括：将第/>层受限玻尔兹曼机的隐藏层的激活值作为第/>层受限玻尔兹曼机的可见层输入；
步骤A4：重复步骤A1至步骤A3，直到对所有层的受限玻尔兹曼机都进行了预训练，返回预训练完成的深度信念网络。
6.如权利要求5所述的智能数据分析平台，其特征在于，所述混合型数据处理模块使用反向传播，优化深度信念网络的参数的方法包括:
步骤B1：初始化参数，包括：初始化整个深度信念网络的权重矩阵：，其中/>表示网络的层数；初始化整个深度信念网络的偏置向量：/>；
步骤B2：前向传播计算输出，包括：对于每个样本：将/>作为输入，通过整个深度信念网络进行前向传播；对于每一层/>，使用如下公式，计算该层的激活值：
；
步骤B3：计算输出层的梯度，包括：对于每个样本和对应的标签/>，使用如下公式计算输出层的梯度：
，其中/>，/>是损失函数；
步骤B4：反向传播计算隐藏层的梯度和参数更新，对于每一层，从输出层开始逐层计算梯度；
步骤B5：重复步骤B3和步骤B4，直到计算完所有层的梯度；
步骤B6：重复步骤B2至步骤B5，使用所有带标签的训练样本对深度信念网络进行训练，直到达到预定的停止条件；
步骤B7：返回微调后的深度信念网络。
7.如权利要求6所述的智能数据分析平台，其特征在于，所述步骤B4具体包括：
使用如下公式计算隐藏层的梯度：
；
使用如下公式计算权重矩阵的梯度：
；
使用如下公式计算偏置向量的梯度：
；
使用如下公式更新权重矩阵：
，其中/>是学习率；
使用如下公式更新偏置向量：
。
8.如权利要求7所述的智能数据分析平台，其特征在于，所述混合数据分析模型为高斯混合模型；所述通过计算目标数据中每个数据属于混合数据分析模型分布的后验概率，来判断目标数据中的每个数据是属于结构化还是非结构化数据的方法包括：对于目标数据中的每个数据，即样本/>，使用如下公式计算其后验概率：
；
其中，是样本/>属于第/>个高斯分布的后验概率；/>是第/>个高斯分布的混合系数，满足/>；/>是高斯分布的概率密度函数，表示样本/>在第/>个高斯分布中的概率；/>是第/>个高斯分布的均值向量；/>是第/>个高斯分布的协方差矩阵；根据后验概率的阈值，将样本分配给结构化或非结构化数据的类别；如果后验概率/>大于设定的阈值，则将样本划分为结构化数据；否则，将其划分为非结构化数据。
9.如权利要求8所述的智能数据分析平台，其特征在于，所述数据融合模块，当目标数据类型为混合型数据时，对混合型数据的结构数据和非结构数据进行数据融合，得到融合数据的方法包括：
步骤C1：结构化数据特征提取，包括：对结构化数据应用特征提取方法，得到结构化数据的特征表示为；
步骤C2：非结构化数据特征提取，包括：对非结构化数据应用特征提取方法，得到非结构化数据的特征表示为；
步骤C3：数据融合，包括：将结构化数据的特征表示和非结构化数据的特征表示/>进行拼接或加权求和，得到融合特征表示/>；融合数据即为融合特征表示/>。
10.如权利要求9所述的智能数据分析平台，其特征在于，所述平台包括数据解析模块，用于解析融合数据，以得到结构数据和非结构数据，具体包括：将融合数据进行解析，提取出融合特征表示；将融合特征表示/>分离为结构化数据特征表示/>和非结构化数据特征表示/>；对结构化数据特征表示/>进行逆特征提取，得到结构化数据；对非结构化数据特征表示/>进行逆特征提取和整理，得到非结构化数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310740139.9A CN116484053B (zh) | 2023-06-21 | 2023-06-21 | 智能数据分析平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310740139.9A CN116484053B (zh) | 2023-06-21 | 2023-06-21 | 智能数据分析平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116484053A CN116484053A (zh) | 2023-07-25 |
| CN116484053B true CN116484053B (zh) | 2023-09-12 |
Family
ID=87212239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310740139.9A Active CN116484053B (zh) | 2023-06-21 | 2023-06-21 | 智能数据分析平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116484053B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10127304B1 (en) * | 2015-03-27 | 2018-11-13 | EMC IP Holding Company LLC | Analysis and visualization tool with combined processing of structured and unstructured service event data |
| CN109215308A (zh) * | 2017-07-04 | 2019-01-15 | 北京航天长峰科技工业集团有限公司 | 一种基于深度学习算法的事件预警模型构建方法 |
| CN109582667A (zh) * | 2018-10-16 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种基于电力调控大数据的多数据库混合存储方法及系统 |
| CN110633368A (zh) * | 2019-09-12 | 2019-12-31 | 淮阴工学院 | 早期结直肠癌非结构化数据的深度学习分类方法 |
| CN111127888A (zh) * | 2019-12-23 | 2020-05-08 | 广东工业大学 | 一种基于多源数据融合的城市交通流预测方法 |
| KR102342055B1 (ko) * | 2021-05-28 | 2021-12-27 | 주식회사 애자일소다 | 정형 데이터와 비정형 데이터를 이용한 자연어 처리 장치 및 방법 |
| US11243989B1 (en) * | 2021-07-02 | 2022-02-08 | Noragh Analytics, Inc. | Configurable, streaming hybrid-analytics platform |
| CN114428855A (zh) * | 2021-12-24 | 2022-05-03 | 屠昊韡 | 用于分级体系和混合数据类型的业务记录分类方法 |
| CN115470773A (zh) * | 2022-08-22 | 2022-12-13 | 杭州数智政通科技有限公司 | 一种基于大数据的文本分析方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190392001A1 (en) * | 2018-06-15 | 2019-12-26 | Deep Insight Solutions, Inc. dba Lucd | Systems and Methods for an Artificial Intelligence Data Fusion Platform |
| WO2023081607A1 (en) * | 2021-11-08 | 2023-05-11 | Videoxrm Inc. | Organizing unstructured and structured data by node in a hierarchical database |
-
2023
- 2023-06-21 CN CN202310740139.9A patent/CN116484053B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10127304B1 (en) * | 2015-03-27 | 2018-11-13 | EMC IP Holding Company LLC | Analysis and visualization tool with combined processing of structured and unstructured service event data |
| CN109215308A (zh) * | 2017-07-04 | 2019-01-15 | 北京航天长峰科技工业集团有限公司 | 一种基于深度学习算法的事件预警模型构建方法 |
| CN109582667A (zh) * | 2018-10-16 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种基于电力调控大数据的多数据库混合存储方法及系统 |
| CN110633368A (zh) * | 2019-09-12 | 2019-12-31 | 淮阴工学院 | 早期结直肠癌非结构化数据的深度学习分类方法 |
| CN111127888A (zh) * | 2019-12-23 | 2020-05-08 | 广东工业大学 | 一种基于多源数据融合的城市交通流预测方法 |
| KR102342055B1 (ko) * | 2021-05-28 | 2021-12-27 | 주식회사 애자일소다 | 정형 데이터와 비정형 데이터를 이용한 자연어 처리 장치 및 방법 |
| US11243989B1 (en) * | 2021-07-02 | 2022-02-08 | Noragh Analytics, Inc. | Configurable, streaming hybrid-analytics platform |
| CN114428855A (zh) * | 2021-12-24 | 2022-05-03 | 屠昊韡 | 用于分级体系和混合数据类型的业务记录分类方法 |
| CN115470773A (zh) * | 2022-08-22 | 2022-12-13 | 杭州数智政通科技有限公司 | 一种基于大数据的文本分析方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 电力设备状态大数据分析的研究和应用;江秀臣;盛戈;;高电压技术(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116484053A (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929030B (zh) | 一种文本摘要和情感分类联合训练方法 | |
| CN105975573B (zh) | 一种基于knn的文本分类方法 | |
| CN111783474B (zh) | 一种评论文本观点信息处理方法、装置及存储介质 | |
| CN110598005B (zh) | 一种面向公共安全事件的多源异构数据知识图谱构建方法 | |
| CN110309514A (zh) | 一种语义识别方法及装置 | |
| CN111709518A (zh) | 一种基于社区感知和关系注意力的增强网络表示学习的方法 | |
| CN108038492A (zh) | 一种基于深度学习的感性词向量及情感分类方法 | |
| CN113204952B (zh) | 一种基于聚类预分析的多意图与语义槽联合识别方法 | |
| CN115239937B (zh) | 一种跨模态情感预测方法 | |
| CN109492678B (zh) | 一种集成浅层和深度学习的App分类方法 | |
| CN114998602B (zh) | 基于低置信度样本对比损失的域适应学习方法及系统 | |
| CN112487822A (zh) | 一种基于深度学习的跨模态检索方法 | |
| CN112395417A (zh) | 基于深度学习的网络舆情演化仿真方法及系统 | |
| CN114443899A (zh) | 视频分类方法、装置、设备及介质 | |
| CN115952292B (zh) | 多标签分类方法、装置及计算机可读介质 | |
| CN116521882A (zh) | 基于知识图谱的领域长文本分类方法及系统 | |
| CN115130591A (zh) | 一种基于交叉监督的多模态数据分类方法及装置 | |
| CN113886562A (zh) | 一种ai简历筛选方法、系统、设备和存储介质 | |
| CN115713072A (zh) | 一种基于提示学习和上下文感知的关系类别推断系统及方法 | |
| CN112417132A (zh) | 一种利用谓宾信息筛选负样本的新意图识别方法 | |
| CN117113982A (zh) | 一种基于嵌入模型的大数据主题分析方法 | |
| CN114048314A (zh) | 一种自然语言隐写分析方法 | |
| CN113920379A (zh) | 一种基于知识辅助的零样本图像分类方法 | |
| CN116522912B (zh) | 一种包装设计语言模型的训练方法、装置、介质及设备 | |
| CN116050419B (zh) | 一种面向科学文献知识实体的无监督识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |