CN117331996A - 大数据分析系统及方法 - Google Patents
大数据分析系统及方法 Download PDFInfo
- Publication number
- CN117331996A CN117331996A CN202311289927.7A CN202311289927A CN117331996A CN 117331996 A CN117331996 A CN 117331996A CN 202311289927 A CN202311289927 A CN 202311289927A CN 117331996 A CN117331996 A CN 117331996A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- real
- analysis
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000005012 migration Effects 0.000 claims abstract description 44
- 238000013508 migration Methods 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 35
- 230000010354 integration Effects 0.000 claims abstract description 35
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 238000010223 real-time analysis Methods 0.000 claims description 61
- 238000005516 engineering process Methods 0.000 claims description 56
- 238000013140 knowledge distillation Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 23
- 230000006978 adaptation Effects 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 14
- 238000005065 mining Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000013468 resource allocation Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 230000008602 contraction Effects 0.000 claims description 8
- 238000007418 data mining Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 8
- 238000007637 random forest analysis Methods 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 8
- 238000012300 Sequence Analysis Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000012098 association analyses Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000012731 temporal analysis Methods 0.000 claims 1
- 238000000700 time series analysis Methods 0.000 claims 1
- 238000012546 transfer Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及大数据分析系统技术领域，具体为大数据分析系统及方法，大数据分析系统是由数据源集成模块、实时分析与决策模块、数据预处理及挖掘模块、语义数据分析模块、自适应资源调度模块、模型迁移与知识共享模块组成。本发明中，通过流处理和实时机器学习算法实现大数据的即时处理和分析，提高了数据处理的时效性，多源数据集成模块有效处理并整合异构数据，提升数据集成和联合分析的效率和准确性，语义数据分析模块结合领域知识图谱进行精准查询和推理，提升数据分析结果的准确性和高效性，自适应资源调度模块动态分配计算和存储资源，模型迁移与知识共享模块跨领域迁移模型和共享知识，提高大数据分析的通用性和效率。
Description
技术领域
本发明涉及大数据分析系统技术领域，尤其涉及大数据分析系统及方法。
背景技术
大数据分析系统，是一种基于大数据处理和分析技术的软件系统，用于对大规模、复杂和多样化的数据进行收集、存储、处理和分析。它提供一套完整的工具和功能，能够有效地处理海量数据，并从中提取有价值的信息和洞察，以支持决策制定和业务优化。大数据分析系统由数据采集和存储、数据处理和预处理、分布式计算和处理、数据分析和挖掘、数据可视化和报告等多个组件和功能组成。它通过收集来自各种数据源的数据，并将其存储到适当的系统中。然后对数据进行清洗和预处理，以确保数据的质量和一致性。系统利用分布式计算和处理技术处理大规模数据集，以提高处理效率和性能。通过统计分析、机器学习和数据挖掘等技术，系统能够从数据中发现模式、关联、趋势和异常等信息，支持数据建模、预测、分类和推荐等应用。最后，系统提供数据可视化和报告功能，将分析结果以图表、仪表盘和报告的方式呈现，使用户能够更直观地理解和分析数据，并做出决策和行动。通过数据加密、权限控制、备份和灾难恢复等措施，系统保障数据的安全性和隐私保护。
在大数据分析系统的实际使用过程中，现有的大数据分析系统多针对离线数据进行处理和分析，对于实时数据处理的效率和时效性不高。现有系统在面对来自不同数据源的异构数据时，往往难以有效地进行数据整合，影响了数据的利用效率和分析的准确性。现有系统在数据分析过程中较少考虑数据的语义关系，影响了数据分析的深度和广度。现有系统在资源调度方面往往缺乏实时性和自适应性，无法最大化地利用系统资源。在现有系统中，不同的大数据分析任务往往需要独立进行，缺乏有效的模型迁移和知识共享机制，无法实现跨领域的数据分析。
发明内容
本发明的目的是解决现有技术中存在的缺点，而提出的大数据分析系统及方法。
为了实现上述目的，本发明采用了如下技术方案：大数据分析系统是由数据源集成模块、实时分析与决策模块、数据预处理及挖掘模块、语义数据分析模块、自适应资源调度模块、模型迁移与知识共享模块组成；
所述数据源集成模块负责处理多源数据，包括数据的异构性、数据的匹配和融合，通过数据集成策略，对所述多源数据进行联合，获取集成后的大数据集；
所述实时分析与决策模块基于流式处理和实时机器学习算法，从所述集成后的大数据集中即时提取有价值的信息，作为实时的分析结果，并根据所述实时的分析结果对数据提供决策建议；
所述数据预处理及挖掘模块运用基于深度学习和集成学习的增强型数据挖掘和预测算法，对所述实时的分析结果进行特征提取、模型训练和预测，获取关键特征数据集和预测结果数据；
所述语义数据分析模块结合领域知识图谱，利用实体和关系实现数据的集成、查询优化和语义推理，提供对所述关键特征数据集和预测结果数据进行更深入的语义分析，生成语义分析结果；
所述自适应资源调度模块结合负载预测、智能编排和自适应算法，根据所述语义分析结果的实时数据情况调整资源分配策略，进行动态分配计算和存储资源，生成最优资源调度策略；
所述模型迁移与知识共享模块通过迁移学习、领域适应和知识蒸馏技术，将源域中训练好的模型和知识迁移到目标域，根据所述最优资源调度策略，针对不同的大数据分析任务进行模型训练和优化过程，获取领域适应完成模型和轻量模型。
作为本发明的进一步方案，所述数据源集成模块包括数据异构处理子模块、数据匹配子模块、数据融合子模块；
所述实时分析与决策模块包括流式处理子模块、实时分析子模块、实时决策子模块；
所述数据预处理及挖掘模块包括特征提取子模块、模型训练子模块、数据预测子模块。
作为本发明的进一步方案，所述语义数据分析模块包括数据集成子模块、查询优化子模块、语义推理子模块；
所述自适应资源调度模块包括负载预测子模块、智能编排子模块、自适应调节子模块；
所述模型迁移与知识共享模块包括模型迁移子模块、领域适应子模块、知识蒸馏子模块。
作为本发明的进一步方案，所述数据异构处理子模块采用高级映射技术对多源数据的不同格式和结构进行转换，获取统一格式的数据集；
所述数据匹配子模块利用相似度计算和匹配算法，基于所述统一格式的数据集，生成匹配的数据对照表；
所述数据融合子模块采用融合算法，对所述匹配的数据对照表进行整合，得到集成后的大数据集。
作为本发明的进一步方案，所述流式处理子模块实时读取和处理集成后的大数据集，使用流处理技术确保数据的连续性，生成流式数据序列；
所述实时分析子模块对流式数据序列进行深度分析，使用随机森林算法、支持向量机，来进行分类、回归、聚类，生成实时分析报告；
实时决策子模块基于实时分析报告，采用决策树或神经网络模型，为业务决策提供实时决策建议。
作为本发明的进一步方案，所述特征提取子模块采用自编码器技术，基于实时分析报告提取关键特征，生成关键特征数据集；
所述模型训练子模块利用关键特征数据集进行模型的训练，通过深度神经网络、梯度增强算法，生成训练完成的模型；
所述数据预测子模块使用训练完成的模型进行数据预测，得到预测结果数据。
作为本发明的进一步方案，所述数据集成子模块结合领域知识图谱，对所述预测结果数据进行整合，生成整合语义数据集；
所述查询优化子模块利用高效的查询算法，优化对所述整合语义数据集的查询速度和准确性，得到优化查询结果集；
所述语义推理子模块基于优化查询结果集，使用RDF和SPARQL技术进行语义级别的关联分析和推理，生成语义推理报告。
作为本发明的进一步方案，所述负载预测子模块基于流式数据序列，通过历史数据和现有状态信息，采用时间序列分析或递归神经网络对资源使用情况进行预测，得到即将到来的负载预测报告；
所述智能编排子模块根据即将到来的负载预测报告，采用容器的自动扩展和收缩方法智能地安排和调整资源，生成最优资源调度策略；
所述自适应调节子模块监控系统的实时状态，如CPU、内存使用情况，根据所述最优资源调度策略自动进行资源分配调整，生成自适应资源分配图。
作为本发明的进一步方案，所述模型迁移子模块基于训练完成的模型，利用迁移学习技术，使得在源域上训练好的模型能在目标域上获得良好的性能，生成迁移后的模型；
所述领域适应子模块对迁移后的模型进行微量调整，得到领域适应完成模型；
所述知识蒸馏子模块基于领域适应完成模型，采用知识蒸馏技术，生成知识蒸馏完成的轻量模型，将所述轻量模型部署在资源受限的设备上。
大数据分析方法，包括以下步骤：
通过高级映射技术、相似度计算和匹配算法，以及数据融合算法，将多源数据转换、匹配并融合为集成后的大数据集；
利用流处理技术、随机森林算法、支持向量机、决策树或神经网络模型，实时处理所述集成后的大数据集，进行深度分析并生成实时分析报告和实时决策建议；
通过自编码器技术、深度神经网络、梯度增强算法，从所述实时分析报告中提取关键特征，训练模型并获取预测结果数据；
结合领域知识图谱、高效查询算法、RDF和SPARQL技术，整合所述预测结果数据进行优化查询并对结果进行语义推理，生成语义推理报告；
运用时间序列分析、递归神经网络、容器的自动扩展和收缩方法、迁移学习技术、知识蒸馏技术，预测负载，智能调度资源，进行模型迁移并优化，最后得到知识蒸馏完成的轻量模型。
与现有技术相比，本发明的优点和积极效果在于：
本发明中，通过流处理和实时机器学习算法对大量数据进行实时处理和分析，能够即时取得有价值的信息并做出决策，提升了数据处理的时效性。通过多源数据集成模块，系统能有效地处理和整合来自不同数据源的异构数据，提高数据集成和联合分析的效率和准确性。语义数据分析模块通过结合领域知识图谱进行深入的语义分析，实现对数据的精准查询和推理，使得数据分析的结果更加精确和高效。自适应资源调度模块根据实时数据情况调整资源分配策略，进行动态分配计算和存储资源，最大化系统性能和资源利用率。模型迁移与知识共享模块进行跨领域的模型迁移和知识共享，使得大数据分析任务在不同领域之间获得更高的通用性和效率。
附图说明
图1为本发明的主系统流程图；
图2为本发明的数据源集成模块流程图；
图3为本发明的实时分析与决策模块流程图；
图4为本发明的数据预处理及挖掘模块流程图；
图5为本发明的语义数据分析模块流程图；
图6为本发明的自适应资源调度模块流程图；
图7为本发明的模型迁移与知识共享模块流程图；
图8为本发明的方法步骤流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一
请参阅图1，本发明提供一种技术方案：大数据分析系统是由数据源集成模块、实时分析与决策模块、数据预处理及挖掘模块、语义数据分析模块、自适应资源调度模块、模型迁移与知识共享模块组成；
数据源集成模块负责处理多源数据，包括数据的异构性、数据的匹配和融合，通过数据集成策略，对多源数据进行联合，获取集成后的大数据集；
实时分析与决策模块基于流式处理和实时机器学习算法，从集成后的大数据集中即时提取有价值的信息，作为实时的分析结果，并根据实时的分析结果对数据提供决策建议；
数据预处理及挖掘模块运用基于深度学习和集成学习的增强型数据挖掘和预测算法，对实时的分析结果进行特征提取、模型训练和预测，获取关键特征数据集和预测结果数据；
语义数据分析模块结合领域知识图谱，利用实体和关系实现数据的集成、查询优化和语义推理，提供对关键特征数据集和预测结果数据进行更深入的语义分析，生成语义分析结果；
自适应资源调度模块结合负载预测、智能编排和自适应算法，根据语义分析结果的实时数据情况调整资源分配策略，进行动态分配计算和存储资源，生成最优资源调度策略；
模型迁移与知识共享模块通过迁移学习、领域适应和知识蒸馏技术，将源域中训练好的模型和知识迁移到目标域，根据最优资源调度策略，针对不同的大数据分析任务进行模型训练和优化过程，获取领域适应完成模型和轻量模型。
首先，数据源集成模块能够处理多源数据的异构性和融合问题，提供全面多元化的数据支持。其次，实时分析与决策模块基于流式处理和实时机器学习算法，能够及时提取有价值信息，并支持实时决策，提高决策的准确性与效率。此外，数据预处理及挖掘模块利用强化型数据挖掘和预测算法，深入挖掘数据规律与趋势，生成关键特征数据集和预测结果，为决策提供准确性与精确性。语义数据分析模块结合领域知识图谱，提供更深入的语义分析，帮助用户理解数据的含义和关联。自适应资源调度模块优化资源利用，提高系统性能和处理大规模数据的响应速度。最后，模型迁移与知识共享模块节省训练时间和资源，提供适应特定领域的高性能模型。综上所述，大数据分析系统能够处理大规模异构数据、支持实时决策、深入挖掘数据潜力、提供语义分析、优化资源利用，并迁移知识以获得高性能模型，从而为用户带来多重益处。
请参阅图1，数据源集成模块包括数据异构处理子模块、数据匹配子模块、数据融合子模块；
实时分析与决策模块包括流式处理子模块、实时分析子模块、实时决策子模块；
数据预处理及挖掘模块包括特征提取子模块、模型训练子模块、数据预测子模块；
语义数据分析模块包括数据集成子模块、查询优化子模块、语义推理子模块；
自适应资源调度模块包括负载预测子模块、智能编排子模块、自适应调节子模块；
模型迁移与知识共享模块包括模型迁移子模块、领域适应子模块、知识蒸馏子模块。
首先，数据源集成模块的数据异构处理子模块能够处理来自不同数据源的异构数据，使其能够被系统有效地处理和分析。数据匹配子模块能够将相关数据进行匹配，提高数据准确性和一致性。数据融合子模块将多源数据进行融合，提供更全面和完整的数据视图。
实时分析与决策模块的流式处理子模块能够实时处理数据流，使系统能够实时获取和分析数据。实时分析子模块利用实时机器学习算法对数据进行分析，帮助用户及时发现有价值的信息。实时决策子模块支持即时决策的制定，提高决策的准确性和效率。
数据预处理及挖掘模块的特征提取子模块能够从原始数据中提取出关键特征，为后续的数据分析和挖掘提供有用的输入。模型训练子模块利用各种机器学习算法对数据进行建模和训练，生成能够预测未来趋势的模型。数据预测子模块利用这些训练好的模型对未来的数据进行预测，帮助用户做出更准确的决策。
语义数据分析模块的数据集成子模块将不同领域的数据进行整合，建立起一个全面的语义知识图谱，帮助用户更好地理解数据之间的关系和含义。查询优化子模块能够优化查询操作，提高查询的效率和准确性。语义推理子模块能够通过推理机制发现数据之间的潜在关联和规律，为决策提供更深入的分析支持。
自适应资源调度模块的负载预测子模块能够根据历史数据和趋势预测系统未来的负载情况，从而合理分配资源，提高系统的性能和响应速度。智能编排子模块能够根据任务的特点和需求，智能地组织和调度任务的执行顺序，提高任务执行的效率。自适应调节子模块能够根据系统的实际情况自动进行参数调节和优化，以提供更好的性能和稳定性。
模型迁移与知识共享模块的模型迁移子模块能够将已训练好的模型应用于新的领域或问题，节省了重新训练模型的时间和资源。领域适应子模块能够将模型适应到特定的领域，提高模型在该领域的性能和准确性。知识蒸馏子模块能够将丰富的知识和经验从一个模型传递到另一个模型，提升后者的性能和泛化能力。
综上所述，这些模块的整合能够实现数据的集成、实时分析与决策、数据预处理及挖掘、语义数据分析、自适应资源调度和模型迁移与知识共享等功能，带来的有益效果包括数据的准确性和完整性、实时决策的准确性与效率、预测结果的准确性、数据关联和含义的理解、系统性能和响应速度的提升，以及模型的高性能和泛化能力的提升。
请参阅图2，数据异构处理子模块采用高级映射技术对多源数据的不同格式和结构进行转换，获取统一格式的数据集；
数据匹配子模块利用相似度计算和匹配算法，基于统一格式的数据集，生成匹配的数据对照表；
数据融合子模块采用融合算法，对匹配的数据对照表进行整合，得到集成后的大数据集。
首先，数据异构处理子模块通过采用高级映射技术，将多源数据的不同格式和结构进行转换，从而获取统一格式的数据集。这种统一格式的数据集使得后续的数据处理和分析更加方便和高效。通过数据异构处理，可以消除数据源之间的格式差异，减少数据处理的复杂性和困难，同时提高了数据的一致性和可比性。其次，数据匹配子模块利用相似度计算和匹配算法，基于统一格式的数据集，生成匹配的数据对照表。通过数据匹配，将来自不同数据源但具有相似特征的数据进行匹配和关联，识别出数据之间的关系和相互作用。这有助于发现数据中的潜在关联和依赖，为后续的数据分析和挖掘提供准确和全面的基础。最后，数据融合子模块采用融合算法，对匹配的数据对照表进行整合，得到集成后的大数据集。通过数据融合，将来自不同数据源的数据合并成一个一体化的数据集，提供更全面和完整的数据视图。这使得对大规模和复杂数据的分析和处理更加高效和准确，同时也为后续的实时分析、决策和预测提供了更可靠和全面的数据基础。
请参阅图3，流式处理子模块实时读取和处理集成后的大数据集，使用流处理技术确保数据的连续性，生成流式数据序列；
实时分析子模块对流式数据序列进行深度分析，使用随机森林算法、支持向量机，来进行分类、回归、聚类，生成实时分析报告；
实时决策子模块基于实时分析报告，采用决策树或神经网络模型，为业务决策提供实时决策建议。
首先，流式处理子模块实时读取和处理集成后的大数据集，使用流处理技术确保数据的连续性，生成流式数据序列。这种流式处理能够及时处理数据的到达，并保证数据的连续性和实时性，使数据处理和分析能够随着数据的不断涌入而实时进行。这种实时性能够帮助用户及时了解和回应数据的变化，并采取相应的行动。其次，实时分析子模块对流式数据序列进行深度分析，使用随机森林算法、支持向量机等机器学习算法进行分类、回归、聚类等任务，生成实时分析报告。通过对流式数据的实时分析，可以发现数据中的模式、趋势和异常情况等信息，将这些分析结果反馈给用户，帮助用户及时获得对数据的深入洞察，并支持实时决策的制定。最后，实时决策子模块基于实时分析报告，采用决策树或神经网络等模型，为业务决策提供实时决策建议。基于实时分析的结果，实时决策子模块能够结合具体的业务场景和需求，采用适当的决策模型来生成实时决策建议。这使得用户能够在面对不断变化的数据和环境中做出更准确和及时的决策，提高业务决策的效率和质量。
请参阅图4，特征提取子模块采用自编码器技术，基于实时分析报告提取关键特征，生成关键特征数据集；
模型训练子模块利用关键特征数据集进行模型的训练，通过深度神经网络、梯度增强算法，生成训练完成的模型；
数据预测子模块使用训练完成的模型进行数据预测，得到预测结果数据。
首先，特征提取子模块采用自编码器技术，基于实时分析报告提取关键特征，并生成关键特征数据集。通过自编码器技术，可以自动学习和提取数据中的最重要和最有代表性的特征，捕捉数据的内在结构和模式。这些关键特征能够更好地反映数据的本质，并减少冗余和噪音的影响，为后续的模型训练和数据预测提供更准确和高效的输入。其次，模型训练子模块利用关键特征数据集进行模型的训练，通过深度神经网络、梯度增强算法等进行训练，生成训练完成的模型。通过使用关键特征数据集进行训练，可以有效地提高模型的性能和泛化能力。深度神经网络和梯度增强算法等先进的机器学习算法能够更好地学习数据中的复杂模式和规律，从而生成具有强大预测能力的模型。最后，数据预测子模块利用训练完成的模型进行数据预测，得到预测结果数据。通过将训练好的模型应用于新的数据，可以快速而准确地预测未来的数据趋势和变化。这使得用户能够在实时场景中及时获得数据的预测结果，指导业务决策和行动。
请参阅图5，数据集成子模块结合领域知识图谱，对预测结果数据进行整合，生成整合语义数据集；
查询优化子模块利用高效的查询算法，优化对整合语义数据集的查询速度和准确性，得到优化查询结果集；
语义推理子模块基于优化查询结果集，使用RDF和SPARQL技术进行语义级别的关联分析和推理，生成语义推理报告。
首先，数据集成子模块结合领域知识图谱，对预测结果数据进行整合，生成整合语义数据集。领域知识图谱中融合了各种领域的知识，包括实体、属性和关系等。通过将预测结果数据与领域知识图谱进行整合，可以将数据与现有知识相结合，进一步丰富数据的语义信息和关联性，提供更全面和深入的数据视图。其次，查询优化子模块利用高效的查询算法，优化对整合语义数据集的查询速度和准确性，得到优化查询结果集。通过使用高效的查询算法，可以有效地减少查询时间和资源消耗，提高查询的准确性和效率。这使得用户能够快速获得对整合语义数据集的查询结果，以满足实时决策和分析的需求。最后，语义推理子模块基于优化查询结果集，使用RDF和SPARQL技术进行语义级别的关联分析和推理，生成语义推理报告。通过采用RDF表示数据、SPARQL进行查询和推理，可以实现对数据之间的语义关联和推理。这有助于发现数据之间的潜在关联、隐含规则和实体的隐含属性，提供更深入和全面的语义分析，为决策提供更有力的支持和指导。
请参阅图6，负载预测子模块基于流式数据序列，通过历史数据和现有状态信息，采用时间序列分析或递归神经网络对资源使用情况进行预测，得到即将到来的负载预测报告；
智能编排子模块根据即将到来的负载预测报告，采用容器的自动扩展和收缩方法智能地安排和调整资源，生成最优资源调度策略；
自适应调节子模块监控系统的实时状态，如CPU、内存使用情况，根据最优资源调度策略自动进行资源分配调整，生成自适应资源分配图。
首先，负载预测子模块基于流式数据序列，结合历史数据和现有状态信息，采用时间序列分析或递归神经网络等方法对资源使用情况进行预测，得到即将到来的负载预测报告。通过对资源负载进行预测，可以及时了解未来资源需求的趋势和变化。这使得系统管理员能够提前做出准确的资源调度和安排，避免资源短缺或浪费，优化系统性能和用户体验。其次，智能编排子模块根据即将到来的负载预测报告，采用容器的自动扩展和收缩方法智能地安排和调整资源，生成最优资源调度策略。通过根据负载预测报告自动进行容器的扩展和收缩，可以根据实际需求动态分配和释放资源，实现资源的动态调度和优化。这有助于提高系统的资源利用率和负载均衡，保证系统的可靠性和性能。最后，自适应调节子模块监控系统的实时状态，如CPU、内存使用情况，根据最优资源调度策略自动进行资源分配调整，生成自适应资源分配图。通过监控系统的实时状态并与最优资源调度策略结合，可以动态地调整资源分配，实现自适应的资源调节。这使得系统能够根据实时的负载情况和资源需求进行灵活和智能的资源分配，提高系统的性能和资源利用效率。
请参阅图7，模型迁移子模块基于训练完成的模型，利用迁移学习技术，使得在源域上训练好的模型能在目标域上获得良好的性能，生成迁移后的模型；
领域适应子模块对迁移后的模型进行微量调整，得到领域适应完成模型；
知识蒸馏子模块基于领域适应完成模型，采用知识蒸馏技术，生成知识蒸馏完成的轻量模型，将轻量模型部署在资源受限的设备上。
首先，模型迁移子模块基于在源域上训练好的模型，利用迁移学习技术将其应用于目标域，从而在目标域上获得良好的性能，生成迁移后的模型。迁移学习能够利用源域上的知识和经验，帮助目标域上的模型更快地学习和适应新的数据。这样，不需要从头开始训练模型，节省时间和资源，并且可以利用源域模型已经学到的特征和模式，快速适应新的任务和数据。其次，领域适应子模块对迁移后的模型进行微调和调整，得到在目标域上适应完成的模型。领域适应技术能够通过一定方式调整模型的参数，使其更好地适应目标域的特征和数据分布。这个微调过程有助于进一步提升模型在目标域上的性能和泛化能力，使其更符合目标任务的需求。最后，知识蒸馏子模块基于领域适应完成的模型，采用知识蒸馏技术，生成知识蒸馏完成的轻量模型，并将其部署在资源受限的设备上。知识蒸馏技术将复杂的模型知识转移给轻量模型，减少了轻量模型的计算复杂度和存储需求，使其能够在资源受限的设备上高效地运行。这使得在资源受限的环境中，仍可以使用高性能的深度学习模型进行推理和决策。
请参阅图8，大数据分析方法，包括以下步骤：
通过高级映射技术、相似度计算和匹配算法，以及数据融合算法，将多源数据转换、匹配并融合为集成后的大数据集。
数据异构处理子模块采用高级映射技术对多源数据的不同格式和结构进行转换，获取统一格式的数据集；
数据匹配子模块基于统一格式的数据集，生成匹配的数据对照表；
数据融合子模块整合匹配的数据对照表，得到集成后的大数据集。
利用流处理技术、随机森林算法、支持向量机、决策树或神经网络模型，实时处理集成后的大数据集，进行深度分析并生成实时分析报告和实时决策建议。
流式处理子模块读取集成后的大数据集，生成流式数据序列；
实时分析子模块对流式数据序列进行深度分析，生成实时分析报告；
实时决策子模块基于实时分析报告，为业务决策提供实时决策建议。
通过自编码器技术、深度神经网络、梯度增强算法，从实时分析报告中提取关键特征，训练模型并获取预测结果数据。
特征提取子模块采用自编码器技术，从实时分析报告中提取关键特征，生成关键特征数据集；
模型训练子模块利用关键特征数据集，生成训练完成的模型；
数据预测子模块使用训练完成的模型，得到预测结果数据。
结合领域知识图谱、高效查询算法、RDF和SPARQL技术，整合预测结果数据进行优化查询并对结果进行语义推理，生成语义推理报告。
数据集成子模块结合领域知识图谱，整合预测结果数据，生成整合语义数据集；
查询优化子模块优化对整合语义数据集的查询，得到优化查询结果集；
语义推理子模块基于优化查询结果集，进行语义级别的关联分析，生成语义推理报告。
运用时间序列分析、递归神经网络、容器的自动扩展和收缩方法、迁移学习技术、知识蒸馏技术，预测负载，智能调度资源，进行模型迁移并优化，最后得到知识蒸馏完成的轻量模型。
负载预测子模块基于流式数据序列，生成即将到来的负载预测报告；
智能编排子模块根据负载预测报告，生成最优资源调度策略；
模型迁移子模块基于训练完成的模型，生成迁移后的模型，并通过知识蒸馏子模块，得到知识蒸馏完成的轻量模型。
工作原理：
数据集成：通过高级映射技术、相似度计算、匹配算法和数据融合算法，将多源数据进行转换、匹配和融合，生成一个集成后的大数据集。数据异构处理子模块使用高级映射技术将多源数据转换为统一格式的数据集，数据匹配子模块生成匹配的数据对照表，而数据融合子模块整合数据对照表，得到集成后的大数据集。
实时分析和决策：利用流处理技术和机器学习算法(如随机森林、支持向量机、决策树或神经网络模型)，对集成后的大数据集进行实时处理和深度分析。流式处理子模块将大数据集转化为流式数据序列，实时分析子模块对流式数据序列进行深度分析生成实时分析报告，而实时决策子模块基于实时分析报告提供实时决策建议。
特征提取和预测：通过自编码器技术、深度神经网络和梯度增强算法，从实时分析报告中提取关键特征，然后使用这些特征训练模型并获取预测结果数据。特征提取子模块使用自编码器技术从实时分析报告提取关键特征生成关键特征数据集，模型训练子模块利用关键特征数据集训练模型，而数据预测子模块使用训练完成的模型进行数据预测。
语义推理和优化查询：结合领域知识图谱、高效查询算法、RDF和SPARQL技术，将预测结果数据进行整合，优化查询并进行语义推理，生成语义推理报告。数据集成子模块整合预测结果数据生成整合语义数据集，查询优化子模块优化查询得到优化查询结果集，语义推理子模块基于优化查询结果进行语义级别的关联分析生成语义推理报告。
模型迁移和知识蒸馏：通过时间序列分析、递归神经网络、容器的自动扩展和收缩方法、迁移学习技术和知识蒸馏技术，预测负载、智能调度资源，并进行模型迁移和优化，最终得到知识蒸馏完成的轻量模型。负载预测子模块基于流式数据序列生成负载预测报告，智能编排子模块根据负载预测报告生成最优资源调度策略，模型迁移子模块基于训练完成的模型生成迁移后的模型，并通过知识蒸馏子模块得到知识蒸馏完成的轻量模型。
以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (10)
1.大数据分析系统，其特征在于，所述大数据分析系统是由数据源集成模块、实时分析与决策模块、数据预处理及挖掘模块、语义数据分析模块、自适应资源调度模块、模型迁移与知识共享模块组成；
所述数据源集成模块负责处理多源数据，包括数据的异构性、数据的匹配和融合，通过数据集成策略，对所述多源数据进行联合，获取集成后的大数据集；
所述实时分析与决策模块基于流式处理和实时机器学习算法，从所述集成后的大数据集中即时提取有价值的信息，作为实时的分析结果，并根据所述实时的分析结果对数据提供决策建议；
所述数据预处理及挖掘模块运用基于深度学习和集成学习的增强型数据挖掘和预测算法，对所述实时的分析结果进行特征提取、模型训练和预测，获取关键特征数据集和预测结果数据；
所述语义数据分析模块结合领域知识图谱，利用实体和关系实现数据的集成、查询优化和语义推理，提供对所述关键特征数据集和预测结果数据进行更深入的语义分析，生成语义分析结果；
所述自适应资源调度模块结合负载预测、智能编排和自适应算法，根据所述语义分析结果的实时数据情况调整资源分配策略，进行动态分配计算和存储资源，生成最优资源调度策略；
所述模型迁移与知识共享模块通过迁移学习、领域适应和知识蒸馏技术，将源域中训练好的模型和知识迁移到目标域，根据所述最优资源调度策略，针对不同的大数据分析任务进行模型训练和优化过程，获取领域适应完成模型和轻量模型。
2.根据权利要求1所述的大数据分析系统，其特征在于，所述数据源集成模块包括数据异构处理子模块、数据匹配子模块、数据融合子模块；
所述实时分析与决策模块包括流式处理子模块、实时分析子模块、实时决策子模块；
所述数据预处理及挖掘模块包括特征提取子模块、模型训练子模块、数据预测子模块。
3.根据权利要求1所述的大数据分析系统，其特征在于，所述语义数据分析模块包括数据集成子模块、查询优化子模块、语义推理子模块；
所述自适应资源调度模块包括负载预测子模块、智能编排子模块、自适应调节子模块；
所述模型迁移与知识共享模块包括模型迁移子模块、领域适应子模块、知识蒸馏子模块。
4.根据权利要求2所述的大数据分析系统，其特征在于，所述数据异构处理子模块采用高级映射技术对多源数据的不同格式和结构进行转换，获取统一格式的数据集；
所述数据匹配子模块利用相似度计算和匹配算法，基于所述统一格式的数据集，生成匹配的数据对照表；
所述数据融合子模块采用融合算法，对所述匹配的数据对照表进行整合，得到集成后的大数据集。
5.根据权利要求2所述的大数据分析系统，其特征在于，所述流式处理子模块实时读取和处理集成后的大数据集，使用流处理技术确保数据的连续性，生成流式数据序列；
所述实时分析子模块对流式数据序列进行深度分析，使用随机森林算法、支持向量机，来进行分类、回归、聚类，生成实时分析报告；
实时决策子模块基于实时分析报告，采用决策树或神经网络模型，为业务决策提供实时决策建议。
6.根据权利要求2所述的大数据分析系统，其特征在于，所述特征提取子模块采用自编码器技术，基于实时分析报告提取关键特征，生成关键特征数据集；
所述模型训练子模块利用关键特征数据集进行模型的训练，通过深度神经网络、梯度增强算法，生成训练完成的模型；
所述数据预测子模块使用训练完成的模型进行数据预测，得到预测结果数据。
7.根据权利要求3所述的大数据分析系统，其特征在于，所述数据集成子模块结合领域知识图谱，对所述预测结果数据进行整合，生成整合语义数据集；
所述查询优化子模块利用高效的查询算法，优化对所述整合语义数据集的查询速度和准确性，得到优化查询结果集；
所述语义推理子模块基于优化查询结果集，使用RDF和SPARQL技术进行语义级别的关联分析和推理，生成语义推理报告。
8.根据权利要求3所述的大数据分析系统，其特征在于，所述负载预测子模块基于流式数据序列，通过历史数据和现有状态信息，采用时间序列分析或递归神经网络对资源使用情况进行预测，得到即将到来的负载预测报告；
所述智能编排子模块根据即将到来的负载预测报告，采用容器的自动扩展和收缩方法智能地安排和调整资源，生成最优资源调度策略；
所述自适应调节子模块监控系统的实时状态，如CPU、内存使用情况，根据所述最优资源调度策略自动进行资源分配调整，生成自适应资源分配图。
9.根据权利要求3所述的大数据分析系统，其特征在于，所述模型迁移子模块基于训练完成的模型，利用迁移学习技术，使得在源域上训练好的模型能在目标域上获得良好的性能，生成迁移后的模型；
所述领域适应子模块对迁移后的模型进行微量调整，得到领域适应完成模型；
所述知识蒸馏子模块基于领域适应完成模型，采用知识蒸馏技术，生成知识蒸馏完成的轻量模型，将所述轻量模型部署在资源受限的设备上。
10.大数据分析方法，其特征在于，包括以下步骤：
通过高级映射技术、相似度计算和匹配算法，以及数据融合算法，将多源数据转换、匹配并融合为集成后的大数据集；
利用流处理技术、随机森林算法、支持向量机、决策树或神经网络模型，实时处理所述集成后的大数据集，进行深度分析并生成实时分析报告和实时决策建议；
通过自编码器技术、深度神经网络、梯度增强算法，从所述实时分析报告中提取关键特征，训练模型并获取预测结果数据；
结合领域知识图谱、高效查询算法、RDF和SPARQL技术，整合所述预测结果数据进行优化查询并对结果进行语义推理，生成语义推理报告；
运用时间序列分析、递归神经网络、容器的自动扩展和收缩方法、迁移学习技术、知识蒸馏技术，预测负载，智能调度资源，进行模型迁移并优化，最后得到知识蒸馏完成的轻量模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311289927.7A CN117331996A (zh) | 2023-10-07 | 2023-10-07 | 大数据分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311289927.7A CN117331996A (zh) | 2023-10-07 | 2023-10-07 | 大数据分析系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117331996A true CN117331996A (zh) | 2024-01-02 |
Family
ID=89289905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311289927.7A Pending CN117331996A (zh) | 2023-10-07 | 2023-10-07 | 大数据分析系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117331996A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117912628A (zh) * | 2024-03-20 | 2024-04-19 | 深圳市五轮科技股份有限公司 | 电子烟使用数据分析系统 |
| CN117909507A (zh) * | 2024-03-19 | 2024-04-19 | 金盾检测技术股份有限公司 | 基于ai的数据分类系统 |
| CN117952226A (zh) * | 2024-01-31 | 2024-04-30 | 南京雀翼信息科技有限公司 | 基于人工智能辨识数据感知系统及其方法 |
-
2023
- 2023-10-07 CN CN202311289927.7A patent/CN117331996A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117952226A (zh) * | 2024-01-31 | 2024-04-30 | 南京雀翼信息科技有限公司 | 基于人工智能辨识数据感知系统及其方法 |
| CN117909507A (zh) * | 2024-03-19 | 2024-04-19 | 金盾检测技术股份有限公司 | 基于ai的数据分类系统 |
| CN117909507B (zh) * | 2024-03-19 | 2024-05-17 | 金盾检测技术股份有限公司 | 基于ai的数据分类系统 |
| CN117912628A (zh) * | 2024-03-20 | 2024-04-19 | 深圳市五轮科技股份有限公司 | 电子烟使用数据分析系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117331996A (zh) | 大数据分析系统及方法 | |
| CN109492002B (zh) | 一种智能电网大数据存储与分析系统及处理方法 | |
| CN107871164B (zh) | 一种雾计算环境个性化深度学习方法 | |
| US20200334777A1 (en) | Intelligent emergency decision support system for emergency communication | |
| CN106790718A (zh) | 服务调用链路分析方法及系统 | |
| CN104679828A (zh) | 一种基于规则的电网故障诊断智能系统 | |
| CN204883710U (zh) | 一种基于规则的电网故障诊断智能系统 | |
| CN113268486A (zh) | 智能工厂的一体化数据应用系统 | |
| CN108228683A (zh) | 一种基于云计算的分布式智能电网数据分析平台 | |
| CN112100800A (zh) | 面向地缘环境的时空信息智能分析体系架构设计方法 | |
| Chien et al. | A lightweight model with spatial–temporal correlation for cellular traffic prediction in Internet of Things | |
| CN115858829A (zh) | 一种基于算力网络的多源异构环境数据资产构建方法 | |
| CN114969047A (zh) | 一种数据处理系统及方法 | |
| CN112486676B (zh) | 一种基于边缘计算的数据共享分发装置 | |
| CN104834730A (zh) | 数据分析系统和方法 | |
| ur Rehman et al. | The concept of pattern based data sharing in big data environments | |
| CN111539465A (zh) | 一种基于机器学习的物联网非结构化大数据分析算法 | |
| Ikhlasse et al. | An overall statistical analysis of AI tools deployed in cloud computing and networking systems | |
| Ulusar et al. | Open source tools for machine learning with big data in smart cities | |
| Zeba et al. | Artificial Intelligence in Manufacturing: Bibliometric and Content Analysis | |
| CN110765173A (zh) | 一种大数据环境下的数据管理方法及系统 | |
| Shen et al. | Fusion effect of SVM in spark architecture for speech data mining in cluster structure | |
| Hitefield et al. | Co-Design of Streaming Workflows to Drive Experiments-in-the-Loop | |
| Li et al. | Research on heterogeneous computing resource scheduling mechanism for power information system operation | |
| Kyivska | MODERN INFORMATION TECHNOLOGIES IN CONSTRUCTION |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |