CN118035334B - 一种基于人工智能的数据要素分析整理方法及系统 - Google Patents
一种基于人工智能的数据要素分析整理方法及系统 Download PDFInfo
- Publication number
- CN118035334B CN118035334B CN202410436864.1A CN202410436864A CN118035334B CN 118035334 B CN118035334 B CN 118035334B CN 202410436864 A CN202410436864 A CN 202410436864A CN 118035334 B CN118035334 B CN 118035334B
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- value
- arrangement
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 218
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 238000011156 evaluation Methods 0.000 claims abstract description 48
- 238000009826 distribution Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000004806 packaging method and process Methods 0.000 claims abstract description 12
- 238000013480 data collection Methods 0.000 claims abstract description 11
- 238000013523 data management Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000012544 monitoring process Methods 0.000 claims description 19
- 241000700605 Viruses Species 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000010223 real-time analysis Methods 0.000 claims description 4
- 238000011897 real-time detection Methods 0.000 claims description 4
- 238000010252 digital analysis Methods 0.000 claims description 3
- 230000008451 emotion Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 abstract description 9
- 238000007726 management method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007730 finishing process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明属于数据管理技术领域，具体是一种基于人工智能的数据要素分析整理方法及系统，其中，数据要素分析整理系统包括服务器、数据收集打包模块、数据包分配模块和数据输出模块；本发明通过数据收集打包模块从多种数据源收集数据并形成数据包，数据包分配模块通过整理端多因素检测评估分析以确定优表整理端，优表整理端对数据包内的数据进行处理并利用机器学习或深度学习算法对处理后的数据进行要素分析，自动识别数据中的关键要素并进行价值信息提取，数据输出模块将整理后的信息输出至指定位置，实现对数据的高效准确整理，有利于保证数据分析整理过程的高效性和稳定性，智能化程度高。
Description
技术领域
本发明涉及数据管理技术领域，具体是一种基于人工智能的数据要素分析整理方法及系统。
背景技术
随着信息技术的快速发展，数据已成为现代社会的重要资源，数据分析整理主要通过人工操作或数据整理端来进行，然而数据的海量性、复杂性和多样性使得数据分析整理变得十分困难；
目前难以对数据进行高效准确整理，且无法将多种因素相结合以对数据整理端进行合理分析并自动选择出最适合进行当次分析整理操作的数据整理端，不利于保证数据分析整理过程的高效性和稳定性，智能化程度低；
针对上述的技术缺陷，现提出一种解决方案。
发明内容
本发明的目的在于提供一种基于人工智能的数据要素分析整理方法及系统，解决了现有技术难以对数据进行高效准确整理，且无法将多种因素相结合以对数据整理端进行合理分析并自动选择出最适合进行当次分析整理操作的数据整理端，智能化程度低的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于人工智能的数据要素分析整理系统，包括服务器、数据收集打包模块、数据包分配模块和数据输出模块；数据收集打包模块从多种数据源收集数据，并自动识别数据格式和类型，将所收集的数据进行打包以形成数据包，且将所形成的数据包经服务器发送至数据包分配模块；
数据包分配模块获取到所有进行数据整理的数据整理端，通过整理端多因素检测评估分析以确定最适合进行当次数据整理操作的数据整理端并将其标记为优表整理端，且将数据包发送至优表整理端；
优表整理端对所接收到数据包内的数据进行清洗、去重和格式化操作，消除数据中的噪声和异常值，并将不同格式的数据转换为统一格式，利用机器学习或深度学习算法对处理后的数据进行要素分析，自动识别数据中的关键要素并进行价值信息提取，以及将分析后的数据按照用户指定的格式进行整理并经服务器发送至数据输出模块，数据输出模块将整理后的信息输出至指定位置。
进一步的，整理端多因素检测评估分析的具体分析过程如下：
获取到相应数据整理端的析理检况值、网络监评值和运行险况值，以及将相应数据整理端的生产日期与当前日期的间隔时长标记为产隔时长，通过将析理检况值、网络监评值、运行险况值和产隔时长进行数值计算得到多因素检评值，按照多因素检评值的数值由大到小的顺序将所有数据整理端进行排序，将位于末位的数据整理端标记为优表整理端。
进一步的，数据包分配模块与整理流程追溯模块通信连接，整理流程追溯模块用于设定追溯时期，将相应数据整理端的分析整理过程进行全流程监控，通过分析以获取相应整理分析过程的析理检测值；
获取到追溯时期内相应数据整理端的所有析理检测值，将所有析理检测值进行均值计算得到析理评况值，以及将析理检测值与预设析理检测阈值进行数值比较，若析理检测值超过预设析理检测阈值，则将对应析理检测值标记为非良析理值，将非良析理值的数量与析理检测值的数量进行比值计算得到析理评占值，通过将析理评况值和析理评占值进行数值计算得到析理检况值，且将相应数据整理端的析理检况值发送至数据包分配模块。
进一步的，析理检测值的分析获取方法如下：
在相应分析整理过程中，采集到相应数据整理端接收到数据包的时刻并将其标记为数接时刻，以及采集到相应数据整理端完成分析整理的时刻并将其标记为数尾时刻，将数尾时刻与数接时刻进行时间差计算得到数析时长；
以及采集到分析整理过程中相应数据整理端分析整理过程发生停顿的次数并将其标记为析理停测值，并将每次停顿的时长标记为停顿单时值，将相应分析整理过程中的所有停顿单时值的和值标记为停顿时测值；
通过将数析时长、析理停测值和停顿时测值进行数值计算得到析理初评值，获取到相应分析整理过程所涉及的数据量，且将析理初评值与相应分析整理过程所涉及的数据量进行比值计算得到析理检测值。
进一步的，数据包分配模块与整理端网络监测模块通信连接，整理端网络监测模块将相应数据整理端的网络状况进行实时检测分析，通过分析获取到相应数据整理端的网络监评值，将相应数据整理端的网络监评值发送至数据包分配模块。
进一步的，网络监评值的分析获取方法如下：
在追溯时期中设定若干个检测时段，采集到检测时期内相应数据处理端受到网络攻击的次数和扫描出病毒的数量并将其分别标记为攻频值和毒检值，将攻频值和毒检值与预设攻频阈值和预设毒检阈值分别进行数值比较，若攻频值或毒检值超过对应预设阈值，则将相应检测时段标记为异表时段；
实时采集到相应数据整理端的丢包率数据、网络延迟数据和网络吞吐量数据，以及获取到追溯时期内异表时段的数量并将其标记为异表况析值，通过将丢包率数据、网络延迟数据、网络吞吐量数据和异表况析值进行数值计算得到网络监评值。
进一步的，数据包分配模块与整理端运险检测模块通信连接，整理端运险检测模块将相应数据整理端的运行风险进行检测分析，通过分析获取到相应数据整理端的运行险况值，将相应数据整理端的运行险况值发送至数据包分配模块。
进一步的，运行险况值的分析获取方法如下：
采集到相应数据整理端中需要进行监测的部位，将对应部位的实时温度与相应预设适宜温度范围进行数值比较，若实时温度未处于相应预设适宜温度范围内，则将对应部位标记为异表部位；
以及采集到相应数据处理端的运行振动数据和所产生的噪音数据并将其分别标记为数处振检值和数处噪检值，并将相应数据处理端中异表部位的数量标记为异表部检值，通过将数处振检值、数处噪检值和异表部检值进行数值计算以得到相应数据处理端的运行险况值。
进一步的，要素分析的具体分析过程如下：
特征提取与选择：特征提取是要素分析的关键步骤，利用各种特征提取技术从数据中提取出相应特征，包括文本中的关键词、图像中的边缘或纹理和时间序列数据中的趋势，以及根据特征的重要性进行选择，剔除对分析任务贡献小的特征；
要素自动识别与提取：利用机器学习或深度学习算法，自动识别数据中的关键要素，包括时间、地点、人物的实体，以及包括事件和情感的抽象概念；且根据数据的特性和分析任务的需求，选择相应的算法进行训练和优化；
自定义要素分析规则：支持自定义要素分析规则，用户根据自己的业务场景和分析目标，定义特定的要素提取规则或算法，其中，所制定的规则基于特定的关键词、短语、模式或逻辑条件。
进一步的，本发明还提出了一种基于人工智能的数据要素分析整理方法，包括以下步骤：
步骤一、数据收集打包模块从多种数据源收集数据，并自动识别数据格式和类型，将所收集的数据进行打包以形成数据包；
步骤二、数据包分配模块获取到所有进行数据整理的数据整理端，通过整理端多因素检测评估分析以确定最适合进行当次数据整理操作的数据整理端并将其标记为优表整理端；
步骤三、优表整理端将数据包内的数据进行清洗、去重和格式化操作，消除数据中的噪声和异常值，并将不同格式的数据转换为统一格式，利用机器学习或深度学习算法对处理后的数据进行要素分析，自动识别数据中的关键要素并进行价值信息提取；
步骤四、优表整理端将分析后的数据按照用户指定的格式进行整理并发送至数据输出模块，数据输出模块将整理后的信息输出至指定位置。
与现有技术相比，本发明的有益效果是：
1、本发明中，通过数据收集打包模块从多种数据源收集数据并形成数据包，数据包分配模块通过整理端多因素检测评估分析以确定优表整理端，优表整理端对数据包内的数据进行处理并利用机器学习或深度学习算法对处理后的数据进行要素分析，自动识别数据中的关键要素并进行价值信息提取，数据输出模块将整理后的信息输出至指定位置，实现对数据的高效准确整理，有利于保证数据分析整理过程的高效性和稳定性，智能化程度高；
2、本发明中，通过整理流程追溯模块将相应数据整理端的分析整理过程进行全流程监控，通过分析以获取相应数据整理端的析理检况值，整理端网络监测模块将相应数据整理端的网络状况进行实时检测分析以得到网络监评值，整理端运险检测模块将相应数据整理端的运行风险进行检测分析以得到运行险况值，将相应数据整理端的析理检况值、网络监评值和运行险况值发送至数据包分配模块，为数据包分配模块的分析过程提供数据支持，保证其分析结果的准确性，有利于选择最适合进行当次操作的数据整理端。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明；
图1为本发明中实施例一的第一系统框图；
图2为本发明中实施例一的第二系统框图；
图3为本发明中实施例二的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：如图1-2所示，本发明提出的一种基于人工智能的数据要素分析整理系统，包括服务器、数据收集打包模块、数据包分配模块和数据输出模块；数据收集打包模块从多种数据源收集数据，包括但不限于数据库、文件等，且具备智能识别功能，可自动识别数据格式和类型，为后续的数据处理提供便利，将所收集的数据进行打包以形成数据包，且将所形成的数据包经服务器发送至数据包分配模块；
数据包分配模块获取到所有进行数据整理的数据整理端，其中，数据整理端用于进行数据分析和整理；通过整理端多因素检测评估分析以确定最适合进行当次数据整理操作的数据整理端并将其标记为优表整理端，且将数据包发送至优表整理端，能够自动且合理选定最适合进行当次分析整理操作的数据整理端，保证其分析整理过程的稳定性和高效性，智能化程度高；整理端多因素检测评估分析的具体分析过程如下：
获取到相应数据整理端的析理检况值RK、网络监评值WY和运行险况值QX，以及将相应数据整理端的生产日期与当前日期的间隔时长标记为产隔时长PX，通过将析理检况值RK、网络监评值WY、运行险况值QX和产隔时长PX进行数值计算得到多因素检评值YF，其中，c1、c2、c3、c4为预设比例系数，c1、c2、c3、c4的取值均为正数；并且，多因素检评值YF的数值越大，表明综合而言相应数据整理端越不适合进行当次数据分析整理操作；按照多因素检评值的数值由大到小的顺序将所有数据整理端进行排序，将位于末位的数据整理端标记为优表整理端。
优表整理端对所接收到数据包内的数据进行清洗、去重和格式化操作，消除数据中的噪声和异常值，并将不同格式的数据转换为统一格式，利用机器学习或深度学习算法对处理后的数据进行要素分析，自动识别数据中的关键要素并进行价值信息提取，以及将分析后的数据按照用户指定的格式进行整理并经服务器发送至数据输出模块，能够满足不同用户的多样化需求，并为后续的数据分析和决策提供支持；
数据输出模块将整理后的信息输出至指定位置；需要说明的是，所涉及的指定位置是指根据用户的需求和设置，数据输出模块将整理好的信息输出到用户指定的存储位置或媒介，如本地文件夹、网络共享文件夹、数据库和云存储服务；并且，要素分析的具体分析过程如下：
特征提取与选择：特征提取是要素分析的关键步骤，利用各种特征提取技术（如自然语言处理中的词嵌入、图像处理中的卷积神经网络等）从数据中提取出相应特征（即有意义的特征，对分析任务贡献较大的特征），包括文本中的关键词、图像中的边缘或纹理和时间序列数据中的趋势等，以及根据特征的重要性进行选择，剔除对分析任务贡献小的特征，以提高分析效率和准确性；
要素自动识别与提取：利用机器学习或深度学习算法，自动识别数据中的关键要素，包括时间、地点、人物等实体，以及包括事件和情感等抽象概念；且根据数据的特性和分析任务的需求，选择相应的算法进行训练和优化，以便更准确地识别并提取出这些要素；
自定义要素分析规则：为了满足用户的多样化需求，数据要素分析模块支持自定义要素分析规则，用户根据自己的业务场景和分析目标，定义特定的要素提取规则或算法，其中，所制定的规则基于特定的关键词、短语、模式或逻辑条件等，使得分析更加贴合实际需求。
并且，数据包分配模块与整理流程追溯模块通信连接，整理流程追溯模块用于设定追溯时期，将相应数据整理端的分析整理过程进行全流程监控，通过分析以获取相应整理分析过程的析理检测值；析理检测值的分析获取方法具体为：在相应分析整理过程中，采集到相应数据整理端接收到数据包的时刻并将其标记为数接时刻，以及采集到相应数据整理端完成分析整理的时刻并将其标记为数尾时刻，将数尾时刻与数接时刻进行时间差计算得到数析时长；
以及采集到分析整理过程中相应数据整理端分析整理过程发生停顿的次数并将其标记为析理停测值，并将每次停顿的时长标记为停顿单时值，将相应分析整理过程中的所有停顿单时值的和值标记为停顿时测值；需要说明的是，析理停测值和停顿时测值的数值越大，表明相应分析整理过程越不稳定，数析时长的数值越大，表明相应分析整理过程的效率越低；
通过公式将数析时长XS、析理停测值XL和停顿时测值XK进行数值计算得到析理初评值XP，其中，a1、a2、a3为预设比例系数，a2＞a3＞a1＞0；获取到相应分析整理过程所涉及的数据量，且将析理初评值与相应分析整理过程所涉及的数据量进行比值计算得到析理检测值，并且，析理检测值的数值越大，表明相应分析整理过程的表现状况越差；
获取到追溯时期内相应数据整理端的所有析理检测值，将所有析理检测值进行均值计算得到析理评况值，以及将析理检测值与预设析理检测阈值进行数值比较，若析理检测值超过预设析理检测阈值，则将对应析理检测值标记为非良析理值，将非良析理值的数量与析理检测值的数量进行比值计算得到析理评占值；
通过公式RK=fg1*RY/fg2+fg2*RP将析理评况值RY和析理评占值RP进行数值计算得到析理检况值RK，其中，fg1、fg2为预设比例系数，fg2＞fg1＞0；并且，析理检况值RK的数值越大，表明追溯时期内相应数据整理端的分析整理性能越差；且将相应数据整理端的析理检况值RK发送至数据包分配模块，为数据包分配模块的分析过程提供数据支持，保证其分析结果的准确性，有利于选择最适合进行当次操作的数据整理端。
进一步而言，数据包分配模块与整理端网络监测模块通信连接，整理端网络监测模块将相应数据整理端的网络状况进行实时检测分析，通过分析获取到相应数据整理端的网络监评值，将相应数据整理端的网络监评值发送至数据包分配模块，为数据包分配模块的分析过程提供数据支持，保证其分析结果的准确性，有利于选择最适合进行当次操作的数据整理端；网络监评值的分析获取方法具体为：
在追溯时期中设定若干个检测时段，采集到检测时期内相应数据处理端受到网络攻击的次数和扫描出病毒的数量并将其分别标记为攻频值和毒检值，将攻频值和毒检值与预设攻频阈值和预设毒检阈值分别进行数值比较，若攻频值或毒检值超过对应预设阈值，表明相应检测时段的网络风险越大，则将相应检测时段标记为异表时段，获取到追溯时期内异表时段的数量并将其标记为异表况析值；
实时采集到相应数据整理端的丢包率数据、网络延迟数据和网络吞吐量数据，其中，丢包率数据是指在数据传输过程中丢失的数据包比例大小的数据量值，网络延迟数据是指数据传输所需时长大小的数据量值，网络吞吐量数据是表示单位时间内网络成功传输的数据量多少的数据量值；
通过公式WY=（kp1*WQ+kp2*WX+kp4*WS）/（kp3*WF+0.624）将丢包率数据WQ、网络延迟数据WX、网络吞吐量数据WF和异表况析值WS进行数值计算得到网络监评值WY；其中，kp1、kp2、kp3、kp4为预设比例系数，kp1、kp2、kp3、kp4的取值均为正数；并且，网络监评值WY的数值越大，表明相应数据整理端的网络表现状况越差。
再进一步而言，数据包分配模块与整理端运险检测模块通信连接，整理端运险检测模块将相应数据整理端的运行风险进行检测分析，通过分析获取到相应数据整理端的运行险况值，将相应数据整理端的运行险况值发送至数据包分配模块，为数据包分配模块的分析过程提供数据支持，保证其分析结果的准确性，有利于选择最适合进行当次操作的数据整理端；运行险况值的分析获取方法具体为：
采集到相应数据整理端中需要进行监测的部位，将对应部位的实时温度与相应预设适宜温度范围进行数值比较，若实时温度未处于相应预设适宜温度范围内，表明相应部位的温度表现状况较差，则将对应部位标记为异表部位；以及采集到相应数据处理端的运行振动数据（即振动频率和振动幅度两者和值）和所产生的噪音数据（即噪音分贝值）并将其分别标记为数处振检值和数处噪检值，并将相应数据处理端中异表部位的数量标记为异表部检值；
通过公式QX=（eq1*QP+eq2*QS+eq3*QY）/3将数处振检值QP、数处噪检值QS和异表部检值QY进行数值计算以得到相应数据处理端的运行险况值QX，其中，eq1、eq2、eq3为预设比例系数，eq1、eq2、eq3的取值均为正数；并且，运行险况值QX的数值越大，表明相应数据整理端的运行风险越大。
实施例二：本实施例与实施例1的区别在于，本发明提出的一种基于人工智能的数据要素分析整理方法，包括以下步骤：
步骤一、数据收集打包模块从多种数据源收集数据，并自动识别数据格式和类型，将所收集的数据进行打包以形成数据包；
步骤二、数据包分配模块获取到所有进行数据整理的数据整理端，通过整理端多因素检测评估分析以确定最适合进行当次数据整理操作的数据整理端并将其标记为优表整理端；
步骤三、优表整理端将数据包内的数据进行清洗、去重和格式化操作，消除数据中的噪声和异常值，并将不同格式的数据转换为统一格式，利用机器学习或深度学习算法对处理后的数据进行要素分析，自动识别数据中的关键要素并进行价值信息提取；
步骤四、优表整理端将分析后的数据按照用户指定的格式进行整理并发送至数据输出模块，数据输出模块将整理后的信息输出至指定位置。
本发明的工作原理：使用时，通过数据收集打包模块从多种数据源收集数据并形成数据包，数据包分配模块获取到所有进行数据整理的数据整理端，通过整理端多因素检测评估分析以确定最适合进行当次数据整理操作的数据整理端并将其标记为优表整理端，优表整理端对数据包内的数据进行清洗、去重和格式化操作，并将不同格式的数据转换为统一格式，利用机器学习或深度学习算法对处理后的数据进行要素分析，自动识别数据中的关键要素并进行价值信息提取，数据输出模块将整理后的信息输出至指定位置，实现对数据的高效准确整理，有利于保证数据分析整理过程的高效性和稳定性，智能化程度高。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (7)
1.一种基于人工智能的数据要素分析整理系统，其特征在于，包括服务器、数据收集打包模块、数据包分配模块和数据输出模块；数据收集打包模块从多种数据源收集数据，并自动识别数据格式和类型，将所收集的数据进行打包以形成数据包，且将所形成的数据包经服务器发送至数据包分配模块；
数据包分配模块获取到所有进行数据整理的数据整理端，通过整理端多因素检测评估分析以确定最适合进行当次数据整理操作的数据整理端并将其标记为优表整理端，且将数据包发送至优表整理端；
优表整理端对所接收到数据包内的数据进行清洗、去重和格式化操作，消除数据中的噪声和异常值，并将不同格式的数据转换为统一格式，利用机器学习或深度学习算法对处理后的数据进行要素分析，自动识别数据中的关键要素并进行价值信息提取，以及将分析后的数据按照用户指定的格式进行整理并经服务器发送至数据输出模块，数据输出模块将整理后的信息输出至指定位置；
整理端多因素检测评估分析的具体分析过程如下：
获取到相应数据整理端的析理检况值、网络监评值和运行险况值，以及将相应数据整理端的生产日期与当前日期的间隔时长标记为产隔时长，通过将析理检况值、网络监评值、运行险况值和产隔时长进行数值计算得到多因素检评值，按照多因素检评值的数值由大到小的顺序将所有数据整理端进行排序，将位于末位的数据整理端标记为优表整理端；
数据包分配模块与整理流程追溯模块通信连接，整理流程追溯模块用于设定追溯时期，将相应数据整理端的分析整理过程进行全流程监控，通过分析以获取相应整理分析过程的析理检测值；
获取到追溯时期内相应数据整理端的所有析理检测值，将所有析理检测值进行均值计算得到析理评况值，以及将析理检测值与预设析理检测阈值进行数值比较，若析理检测值超过预设析理检测阈值，则将对应析理检测值标记为非良析理值，将非良析理值的数量与析理检测值的数量进行比值计算得到析理评占值，通过将析理评况值和析理评占值进行数值计算得到析理检况值，且将相应数据整理端的析理检况值发送至数据包分配模块；
析理检测值的分析获取方法如下：
在相应分析整理过程中，采集到相应数据整理端接收到数据包的时刻并将其标记为数接时刻，以及采集到相应数据整理端完成分析整理的时刻并将其标记为数尾时刻，将数尾时刻与数接时刻进行时间差计算得到数析时长；
以及采集到分析整理过程中相应数据整理端分析整理过程发生停顿的次数并将其标记为析理停测值，并将每次停顿的时长标记为停顿单时值，将相应分析整理过程中的所有停顿单时值的和值标记为停顿时测值；
通过将数析时长、析理停测值和停顿时测值进行数值计算得到析理初评值，获取到相应分析整理过程所涉及的数据量，且将析理初评值与相应分析整理过程所涉及的数据量进行比值计算得到析理检测值。
2.根据权利要求1所述的一种基于人工智能的数据要素分析整理系统，其特征在于，数据包分配模块与整理端网络监测模块通信连接，整理端网络监测模块将相应数据整理端的网络状况进行实时检测分析，通过分析获取到相应数据整理端的网络监评值，将相应数据整理端的网络监评值发送至数据包分配模块。
3.根据权利要求2所述的一种基于人工智能的数据要素分析整理系统，其特征在于，网络监评值的分析获取方法如下：
在追溯时期中设定若干个检测时段，采集到检测时期内相应数据处理端受到网络攻击的次数和扫描出病毒的数量并将其分别标记为攻频值和毒检值，将攻频值和毒检值与预设攻频阈值和预设毒检阈值分别进行数值比较，若攻频值或毒检值超过对应预设阈值，则将相应检测时段标记为异表时段；
实时采集到相应数据整理端的丢包率数据、网络延迟数据和网络吞吐量数据，以及获取到追溯时期内异表时段的数量并将其标记为异表况析值，通过将丢包率数据、网络延迟数据、网络吞吐量数据和异表况析值进行数值计算得到网络监评值。
4.根据权利要求3所述的一种基于人工智能的数据要素分析整理系统，其特征在于，数据包分配模块与整理端运险检测模块通信连接，整理端运险检测模块将相应数据整理端的运行风险进行检测分析，通过分析获取到相应数据整理端的运行险况值，将相应数据整理端的运行险况值发送至数据包分配模块。
5.根据权利要求4所述的一种基于人工智能的数据要素分析整理系统，其特征在于，运行险况值的分析获取方法如下：
采集到相应数据整理端中需要进行监测的部位，将对应部位的实时温度与相应预设适宜温度范围进行数值比较，若实时温度未处于相应预设适宜温度范围内，则将对应部位标记为异表部位；
以及采集到相应数据处理端的运行振动数据和所产生的噪音数据并将其分别标记为数处振检值和数处噪检值，并将相应数据处理端中异表部位的数量标记为异表部检值，通过将数处振检值、数处噪检值和异表部检值进行数值计算以得到相应数据处理端的运行险况值。
6.根据权利要求1所述的一种基于人工智能的数据要素分析整理系统，其特征在于，要素分析的具体分析过程如下：
特征提取与选择：特征提取是要素分析的关键步骤，利用各种特征提取技术从数据中提取出相应特征，包括文本中的关键词、图像中的边缘或纹理和时间序列数据中的趋势，以及根据特征的重要性进行选择，剔除对分析任务贡献小的特征；
要素自动识别与提取：利用机器学习或深度学习算法，自动识别数据中的关键要素，包括时间、地点、人物的实体，以及包括事件和情感的抽象概念；且根据数据的特性和分析任务的需求，选择相应的算法进行训练和优化；
自定义要素分析规则：支持自定义要素分析规则，用户根据自己的业务场景和分析目标，定义特定的要素提取规则或算法，其中，所制定的规则基于特定的关键词、短语、模式或逻辑条件。
7.一种基于人工智能的数据要素分析整理方法，其特征在于，该方法采用如权利要求1-6任意一项所述的基于人工智能的数据要素分析整理系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410436864.1A CN118035334B (zh) | 2024-04-12 | 2024-04-12 | 一种基于人工智能的数据要素分析整理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410436864.1A CN118035334B (zh) | 2024-04-12 | 2024-04-12 | 一种基于人工智能的数据要素分析整理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118035334A CN118035334A (zh) | 2024-05-14 |
| CN118035334B true CN118035334B (zh) | 2024-06-11 |
Family
ID=90995499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410436864.1A Active CN118035334B (zh) | 2024-04-12 | 2024-04-12 | 一种基于人工智能的数据要素分析整理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118035334B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104488284A (zh) * | 2013-05-10 | 2015-04-01 | 华为技术有限公司 | 一种确定业务的质量的方法和网络节点 |
| CN105184455A (zh) * | 2015-08-20 | 2015-12-23 | 国家电网公司 | 一种面向城市电力数据分析的高维可视化分析方法 |
| CN109088750A (zh) * | 2018-07-23 | 2018-12-25 | 下代互联网重大应用技术（北京）工程研究中心有限公司 | 基于容器的网络态势感知系统设计与部署方法 |
| CN115982646A (zh) * | 2023-03-20 | 2023-04-18 | 西安弘捷电子技术有限公司 | 一种基于云平台的多源测试数据的管理方法及系统 |
-
2024
- 2024-04-12 CN CN202410436864.1A patent/CN118035334B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104488284A (zh) * | 2013-05-10 | 2015-04-01 | 华为技术有限公司 | 一种确定业务的质量的方法和网络节点 |
| CN105184455A (zh) * | 2015-08-20 | 2015-12-23 | 国家电网公司 | 一种面向城市电力数据分析的高维可视化分析方法 |
| CN109088750A (zh) * | 2018-07-23 | 2018-12-25 | 下代互联网重大应用技术（北京）工程研究中心有限公司 | 基于容器的网络态势感知系统设计与部署方法 |
| CN115982646A (zh) * | 2023-03-20 | 2023-04-18 | 西安弘捷电子技术有限公司 | 一种基于云平台的多源测试数据的管理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 云计算技术在计算机数据处理中的应用分析与发展策略;李海燕;欧晓勇;;激光杂志;20170425(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118035334A (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021189730A1 (zh) | 检测异常高密子图的方法、装置、设备及存储介质 | |
| CN109743356B (zh) | 工业互联网数据采集方法及装置、可读存储介质和终端 | |
| CN112367273B (zh) | 基于知识蒸馏的深度神经网络模型的流量分类方法及装置 | |
| CN111935063B (zh) | 一种终端设备异常网络访问行为监测系统及方法 | |
| CN110675395A (zh) | 输电线路智能在线监测方法 | |
| CN116594857A (zh) | 一种基于人工智能的办公软件智能交互管理平台 | |
| CN117113235B (zh) | 一种云计算数据中心能耗优化方法及系统 | |
| CN111191720A (zh) | 一种业务场景的识别方法、装置及电子设备 | |
| CN109547251B (zh) | 一种基于监控数据的业务系统故障与性能预测方法 | |
| CN110378618A (zh) | 基于在线烟丝表面缺陷检测的质量评价方法及系统 | |
| CN113409555B (zh) | 一种基于物联网的实时报警联动方法及系统 | |
| CN113887749A (zh) | 基于云边协同的电力物联网多维度监控处置方法、设备及平台 | |
| CN111162945B (zh) | 一种告警关联关系的确定方法、装置、设备及存储介质 | |
| CN115660288A (zh) | 一种基于互联网大数据的分析管理系统 | |
| KR102014234B1 (ko) | 무선 프로토콜 자동 분석 방법 및 그를 위한 장치 | |
| CN118035334B (zh) | 一种基于人工智能的数据要素分析整理方法及系统 | |
| CN117170979B (zh) | 一种大规模设备的能耗数据处理方法、系统、设备及介质 | |
| CN118035710A (zh) | 一种典型场景发电特征的提取方法 | |
| WO2024066720A1 (zh) | 指标阈值的确定方法、装置、存储介质及电子装置 | |
| CN112925964A (zh) | 基于云计算服务的大数据采集方法及大数据采集服务系统 | |
| CN112597139A (zh) | 基于工业互联网的数据信息采集方法 | |
| CN115426363A (zh) | 智能板材加工工厂的数据采集方法及终端 | |
| CN114925286A (zh) | 舆情数据处理方法及装置 | |
| CN106777313A (zh) | 基于全息时标量测电网数据计算值及计算值分量分析方法 | |
| CN117347791B (zh) | 基于大数据的电力电网故障在线识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |