CN116150288B - 一种基于计算机的网络数据分析处理系统 - Google Patents

一种基于计算机的网络数据分析处理系统 Download PDF

Info

Publication number
CN116150288B
CN116150288B CN202310401982.4A CN202310401982A CN116150288B CN 116150288 B CN116150288 B CN 116150288B CN 202310401982 A CN202310401982 A CN 202310401982A CN 116150288 B CN116150288 B CN 116150288B
Authority
CN
China
Prior art keywords
data
data analysis
classification
unit
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310401982.4A
Other languages
English (en)
Other versions
CN116150288A (zh
Inventor
张敬芳
张荣芝
张庆业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Engineering Vocational and Technical University
Original Assignee
Shandong Engineering Vocational and Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Engineering Vocational and Technical University filed Critical Shandong Engineering Vocational and Technical University
Priority to CN202310401982.4A priority Critical patent/CN116150288B/zh
Publication of CN116150288A publication Critical patent/CN116150288A/zh
Application granted granted Critical
Publication of CN116150288B publication Critical patent/CN116150288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种基于计算机的网络数据分析处理系统，所属领域为数据分析技术领域，所述系统包括：数据采集模块，用于基于当前数据分析任务获取网络数据提供方的待分析数据源文件，所述待分析数据源文件包括文件标识和文件内容；预处理模块，用于对所述待分析数据源文件进行预处理，得到第一数据源；存储模块，用于存储基于深度学习构建的数据分析模型；分析模块，用于根据所述数据分析模型对所述第一数据源进行分析，得到数据分析结果；可视化模块，用于对所述数据分析结果进行可视化展示，并根据可视化展示结果提取出关键数据。本申请能够自动提取出关键数据，提高了数据分析的效率以及准确性，进而对数据进行有效的自动化管理。

Description

一种基于计算机的网络数据分析处理系统
技术领域
本申请涉及数据分析技术领域，特别是涉及一种基于计算机的网络数据分析处理系统。
背景技术
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程，这一过程也是质量管理体系的支持过程，在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动，数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广，数据分析是数学与计算机科学相结合的产物。
当进行数据分析时，经常出现一类业务需要多种分析方法的情况，传统的计算机数据分析对数据的处理往往是各自独立的、以简易的图表或列示进行查询的方式，这些数据无法进行更好地关联，关键数据的提取与关联仍需依靠人工进行逐条甄别，随着数据分析目标的不断变化，业务部门需要多次这样反复这样的工作，时间周期长且不可控，缺乏有效的自动化数据管理方法，很难满足业务需要。
发明内容
基于此，有必要针对上述技术问题，提供一种基于计算机的网络数据分析处理系统，包括：数据采集模块、预处理模块、存储模块、分析模块、可视化模块；
所述数据采集模块，用于基于当前数据分析任务获取网络数据提供方的待分析数据源文件，所述待分析数据源文件包括文件标识和文件内容；
所述预处理模块，用于对所述待分析数据源文件进行预处理，得到第一数据源；
所述存储模块，用于存储基于深度学习构建的数据分析模型；
所述分析模块，用于根据所述数据分析模型对所述第一数据源进行分析，得到数据分析结果；
所述可视化模块，用于对所述数据分析结果进行可视化展示，并根据可视化展示结果提取出关键数据。
在其中一个实施例中，还包括：所述预处理模块包括解析单元、关联单元、分类模型构建单元和分类标记单元：
所述解析单元，用于对所述待分析数据源文件的文件内容进行解析，得到所述文件内容的属性信息，所述属性信息包括数据字段值、源端口号、数据报长度，所述数据字段值为请求值与返回值之和；
所述关联单元，用于将所述文件内容的属性信息与所述文件标识进行关联，生成源数据；
所述分类模型构建单元，用于根据分类任务信息建立分类模型；
所述分类标记单元，用于基于所述分类模型对所述源数据进行分类，获取每个类别中的数据报长度总值，按照总值的大小对分类结果进行标记，得到所述第一数据源。
在其中一个实施例中，还包括：所述分类模型构建单元包括：
分类规则构建单元，用于根据分类任务信息建立任务分类规则，所述分类任务信息包括属性信息关联度；
遍历单元，用于遍历所述源数据，获取所述源数据的特征点，根据所述任务分类规则对所述特征点进行两次分类并获得反例比例；
计算单元，用于计算两次特征点分类的反例比例的比值；
检测单元，用于响应于检测到所述反例比例的比值大于预设值时，判断所述分类模型无效，重新遍历所述源数据，响应于检测到所述反例比例的比值小于或等于预设值时，判断所述分类模型有效，对所述源数据进行分类，得到数据分类结果。
在其中一个实施例中，还包括：所述存储模块包括第一存储单元和第二存储单元，所述第一存储单元用于存储预构建的第一数据分析模型，所述第二存储单元用于存储预构建的第二数据分析模型，其中：
所述第一数据分析模型包括：
Figure SMS_1
其中，D表示第一输出值，P表示期望值，
Figure SMS_3
~/>
Figure SMS_4
表示数据样本y服从真实数据/>
Figure SMS_5
的数据分布，M、N皆表示迭代系数，m、n分别表示文件标识、分类标记，/>
Figure SMS_6
表示数据报长度，/>
Figure SMS_7
表示属性信息关联度，/>
Figure SMS_8
表示源端口号，/>
Figure SMS_9
表示数据字段值，/>
Figure SMS_2
表示各分类数据统计量；
所述各分类数据统计量的计算公式为：
Figure SMS_10
其中，a、b分别表示数据请求值和返回值，
Figure SMS_11
表示特征合并函数，i、j皆表示常数系数；
所述属性信息关联度的计算公式为：
Figure SMS_12
其中，
Figure SMS_13
表示目标分类h对应的数据统计量；所述第二数据分析模型包括：
Figure SMS_14
其中，
Figure SMS_15
表示第二输出值，/>
Figure SMS_16
表示耦合系数，/>
Figure SMS_17
表示校正函数，/>
Figure SMS_18
表示校正系数，/>
Figure SMS_19
表示常数。
在其中一个实施例中，还包括：所述分析模块包括第一分析单元和第二分析单元：
所述第一分析单元，用于根据从所述第一存储单元提取出的第一数据分析模型对所述第一数据源进行分析，得到第一输出值，即第一数据分析结果；
所述第二分析单元，用于根据从所述第二存储单元提取出的第二数据分析模型对所述第一数据分析结果进行校正，得到第二输出值，即第二数据分析结果。
在其中一个实施例中，还包括：所述可视化模块包括：
可视化展示单元，用于对所述数据分析结果进行可视化展示，所述数据分析结果包括所述第一数据分析结果和所述第二数据分析结果，包括：
将单个数据源对应的所述第一输出值和第二输出值置于同一纵坐标上；
将多个数据源对应的所述第一输出值和第二输出值分别进行横向连接，并在可视化界面进行可视化展示。
在其中一个实施例中，还包括：所述可视化模块还包括：
关键数据提取单元，用于根据可视化展示结果提取出关键数据，包括：
获取所述可视化展示结果中目标数据源对应的第一输出值和第二输出值的差值绝对值；
响应于检测到所述差值绝对值小于第一预设值时，提取所述目标数据源作为所述关键数据。
上述基于计算机的网络数据分析处理系统，所述系统包括：数据采集模块、预处理模块、存储模块、分析模块、可视化模块；所述数据采集模块，用于基于当前数据分析任务获取网络数据提供方的待分析数据源文件，所述待分析数据源文件包括文件标识和文件内容；所述预处理模块，用于对所述待分析数据源文件进行预处理，得到第一数据源；所述存储模块，用于存储基于深度学习构建的数据分析模型；所述分析模块，用于根据所述数据分析模型对所述第一数据源进行分析，得到数据分析结果；所述可视化模块，用于对所述数据分析结果进行可视化展示，并根据可视化展示结果提取出关键数据，本申请在数据分析过程中对数据进行关联，并通过第一数据分析模型和第二数据分析模型对数据进行分析并在可视化界面展示，从而能自动提取出关键数据，提高了数据分析的效率以及准确性，进而对数据进行有效的自动化管理。
附图说明
图1为一个实施例中基于计算机的网络数据分析处理系统的结构框图；
图2为一个实施例中基于计算机的网络数据分析处理系统的预处理模块结构框图；
图3为一个实施例中基于计算机的网络数据分析处理系统的分类模型构建单元结构框图；
图4为一个实施例中基于计算机的网络数据分析处理系统的存储模块结构框图；
图5为一个实施例中基于计算机的网络数据分析处理系统的分析模块结构框图；
图6为一个实施例中基于计算机的网络数据分析处理系统的可视化模块结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，在本申请的描述中，除非上下文明确要求，否则整个说明书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
还应当理解，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
需要注意的是，术语“S1”、“S2”等仅用于步骤的描述目的，并非特别指称次序或顺位的意思，亦非用以限定本申请，其仅仅是为了方便描述本申请的方法，而不能理解为指示步骤的先后顺序。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
请参阅图1-图6，图1为本发明实施例一提供的一种基于计算机的网络数据分析处理系统的结构框图，包括：
数据采集模块、预处理模块、存储模块、分析模块、可视化模块；
所述数据采集模块，用于基于当前数据分析任务获取网络数据提供方的待分析数据源文件，所述待分析数据源文件包括文件标识和文件内容，需要说明的是，数据分析任务包括例行任务和临时任务等，当前数据分析任务可以为开发人员提交的数据分析任务中的任意一种数据分析任务，每一种数据分析任务一般会有对应的数据源文件，因此，基于当前数据分析任务可以匹配到对应的待分析数据源文件，此外，文件标识可以是文件名或编号等，对文件标识进行相应的赋值，以用于后续的数据分析；
所述预处理模块，用于对所述待分析数据源文件进行预处理，得到第一数据源；
所述存储模块，用于存储基于深度学习构建的数据分析模型；
所述分析模块，用于根据所述数据分析模型对所述第一数据源进行分析，得到数据分析结果；
所述可视化模块，用于对所述数据分析结果进行可视化展示，并根据可视化展示结果提取出关键数据。
进一步的，如图2所示，所述预处理模块包括解析单元、关联单元、分类模型构建单元和分类标记单元：
所述解析单元，用于对所述待分析数据源文件的文件内容进行解析，得到所述文件内容的属性信息，所述属性信息包括数据字段值、源端口号、数据报长度，所述数据字段值为请求值与返回值之和；
所述关联单元，用于将所述文件内容的属性信息与所述文件标识进行关联，生成源数据；
所述分类模型构建单元，用于根据分类任务信息建立分类模型；
所述分类标记单元，用于基于所述分类模型对所述源数据进行分类，获取每个类别中的数据报长度总值，按照总值的大小对分类结果进行标记，得到所述第一数据源。
进一步的，如图3所示，所述分类模型构建单元包括：
分类规则构建单元，用于根据分类任务信息建立任务分类规则，所述分类任务信息包括属性信息关联度；
遍历单元，用于遍历所述源数据，获取所述源数据的特征点，根据所述任务分类规则对所述特征点进行两次分类并获得反例比例；
计算单元，用于计算两次特征点分类的反例比例的比值；
检测单元，用于响应于检测到所述反例比例比值大于预设值时，判断所述分类模型无效，重新遍历所述源数据，响应于检测到所述反例比例比值小于或等于预设值时，判断所述分类模型有效，对所述源数据进行分类，得到数据分类结果；
具体的，对所述待分析数据源文件的文件内容进行解析，得到所述文件内容的属性信息，所述属性信息包括数据字段值、源端口号、数据报长度，所述数据字段值为请求值与返回值之和，其中，请求值可以是维度主键(key)，返回值可以是标签值(value)，数据报最大长度为65535字节，源端口号在0~24525bits之间；
将所述文件内容的属性信息与所述文件标识进行关联，即形成一一映射关系，生成源数据；
根据分类任务信息建立分类模型；
基于所述分类模型对所述源数据进行分类，获取每个类别中的数据报长度总值，按照总值的大小对分类结果进行标记，得到所述第一数据源；
其中，所述分类模型的建立包括：
根据分类任务信息建立任务分类规则，所述分类任务信息包括属性信息关联度；
遍历所述源数据，获取所述源数据的特征点，根据所述任务分类规则对所述特征点进行两次分类并获得反例比例；
计算两次特征点分类的反例比例的比值；
若所述反例比例比值大于预设值，则所述分类模型无效，重新遍历所述源数据；
若所述反例比例比值小于或等于预设值，则所述分类模型有效，对所述源数据进行分类，得到数据分类结果。
其中，对数据进行关联及分类，以便于对同一类数据进行同批次分析，可以提高后续数据分析的效率。
进一步的，如图4所示，所述存储模块包括第一存储单元和第二存储单元，所述第一存储单元用于存储预构建的第一数据分析模型，所述第二存储单元用于存储预构建的第二数据分析模型，其中：
所述第一数据分析模型包括：
Figure SMS_20
其中，D表示第一输出值，P表示期望值，
Figure SMS_22
~/>
Figure SMS_23
表示数据样本y服从真实数据/>
Figure SMS_24
的数据分布，M、N皆表示迭代系数，m、n分别表示文件标识、分类标记，/>
Figure SMS_25
表示数据报长度，/>
Figure SMS_26
表示属性信息关联度，/>
Figure SMS_27
表示源端口号，/>
Figure SMS_28
表示数据字段值，/>
Figure SMS_21
表示各分类数据统计量；
所述各分类数据统计量的计算公式为：
Figure SMS_29
其中，a、b分别表示数据请求值和返回值，
Figure SMS_30
表示特征合并函数，i、j皆表示常数系数；
所述属性信息关联度的计算公式为：
Figure SMS_31
其中，
Figure SMS_32
表示目标分类h对应的数据统计量；所述第二数据分析模型包括：
Figure SMS_33
其中，
Figure SMS_34
表示第二输出值，/>
Figure SMS_35
表示耦合系数，/>
Figure SMS_36
表示校正函数，/>
Figure SMS_37
表示校正系数，/>
Figure SMS_38
表示常数。
进一步的，如图5所示，所述分析模块包括第一分析单元和第二分析单元：
所述第一分析单元，用于根据从所述第一存储单元提取出的第一数据分析模型对所述第一数据源进行分析，得到第一输出值，即第一数据分析结果；
所述第二分析单元，用于根据从所述第二存储单元提取出的第二数据分析模型对所述第一数据分析结果进行校正，得到第二输出值，即第二数据分析结果；
其中，将第一数据分析结果输入第二数据分析模型中，即可得到校正后的第二数据分析结果。
进一步的，如图6所示，所述可视化模块包括：
可视化展示单元，用于对所述数据分析结果进行可视化展示，所述数据分析结果包括所述第一数据分析结果和所述第二数据分析结果，包括：
将单个数据源对应的所述第一输出值和第二输出值置于同一纵坐标上；
将多个数据源对应的所述第一输出值和第二输出值分别进行横向连接，并在可视化界面进行可视化展示。
所述可视化模块还包括：
关键数据提取单元，用于根据可视化展示结果提取出关键数据，包括：
获取所述可视化展示结果中目标数据源对应的第一输出值和第二输出值的差值绝对值；
响应于检测到所述差值绝对值小于第一预设值时，提取所述目标数据源作为所述关键数据；
将所述关键数据发送至相关的用户终端，完成数据分析处理过程。
上述基于计算机的网络数据分析处理系统中，所述系统包括：数据采集模块、预处理模块、存储模块、分析模块、可视化模块；所述数据采集模块，用于基于当前数据分析任务获取网络数据提供方的待分析数据源文件，所述待分析数据源文件包括文件标识和文件内容；所述预处理模块，用于对所述待分析数据源文件进行预处理，得到第一数据源；所述存储模块，用于存储基于深度学习构建的数据分析模型；所述分析模块，用于根据所述数据分析模型对所述第一数据源进行分析，得到数据分析结果；所述可视化模块，用于对所述数据分析结果进行可视化展示，并根据可视化展示结果提取出关键数据，本申请在数据分析过程中对数据进行关联，并通过第一数据分析模型和第二数据分析模型对数据进行分析并在可视化界面展示，从而能自动提取出关键数据，提高了数据分析的效率以及准确性，进而对数据进行有效的自动化管理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (3)

1.一种基于计算机的网络数据分析处理系统，所述系统包括数据采集模块、预处理模块、存储模块、分析模块、可视化模块，其特征在于：
所述数据采集模块，用于基于当前数据分析任务获取网络数据提供方的待分析数据源文件，所述待分析数据源文件包括文件标识和文件内容；
所述预处理模块，用于对所述待分析数据源文件进行预处理，得到第一数据源；
所述存储模块，用于存储基于深度学习构建的数据分析模型；
所述分析模块，用于根据所述数据分析模型对所述第一数据源进行分析，得到数据分析结果；
所述可视化模块，用于对所述数据分析结果进行可视化展示，并根据可视化展示结果提取出关键数据；
其中，所述存储模块包括第一存储单元和第二存储单元，所述第一存储单元用于存储预构建的第一数据分析模型，所述第二存储单元用于存储预构建的第二数据分析模型，其中：
所述第一数据分析模型包括：
Figure QLYQS_1
其中，D表示第一输出值，P表示期望值，
Figure QLYQS_3
~/>
Figure QLYQS_4
表示数据样本y服从真实数据/>
Figure QLYQS_5
的数据分布，M、N皆表示迭代系数，m、n分别表示文件标识、分类标记，/>
Figure QLYQS_6
表示数据报长度，/>
Figure QLYQS_7
表示属性信息关联度，/>
Figure QLYQS_8
表示源端口号，/>
Figure QLYQS_9
表示数据字段值，/>
Figure QLYQS_2
表示各分类数据统计量；
所述各分类数据统计量的计算公式为：
Figure QLYQS_10
其中，a、b分别表示数据请求值和返回值，
Figure QLYQS_11
表示特征合并函数，i、j皆表示常数系数；
所述属性信息关联度的计算公式为：
Figure QLYQS_12
其中，
Figure QLYQS_13
表示目标分类h对应的数据统计量；所述第二数据分析模型包括：
Figure QLYQS_14
其中，
Figure QLYQS_15
表示第二输出值，/>
Figure QLYQS_16
表示耦合系数，/>
Figure QLYQS_17
表示校正函数，/>
Figure QLYQS_18
表示校正系数，/>
Figure QLYQS_19
表示常数；
所述分析模块包括第一分析单元和第二分析单元：
所述第一分析单元，用于根据从第一存储单元提取出的第一数据分析模型对所述第一数据源进行分析，得到第一输出值，即第一数据分析结果；
所述第二分析单元，用于根据从第二存储单元提取出的第二数据分析模型对所述第一数据分析结果进行校正，得到第二输出值，即第二数据分析结果；
所述可视化模块包括：
可视化展示单元，用于对所述数据分析结果进行可视化展示，所述数据分析结果包括所述第一数据分析结果和所述第二数据分析结果，包括：
将单个数据源对应的所述第一输出值和第二输出值置于同一纵坐标上；
将多个数据源对应的所述第一输出值和第二输出值分别进行横向连接，并在可视化界面进行可视化展示；
所述可视化模块还包括：
关键数据提取单元，用于根据可视化展示结果提取出关键数据，包括：
获取所述可视化展示结果中目标数据源对应的第一输出值和第二输出值的差值绝对值；
响应于检测到所述差值绝对值小于第一预设值时，提取所述目标数据源作为所述关键数据。
2.根据权利要求1所述的基于计算机的网络数据分析处理系统，其特征在于，所述预处理模块包括解析单元、关联单元、分类模型构建单元和分类标记单元：
所述解析单元，用于对所述待分析数据源文件的文件内容进行解析，得到所述文件内容的属性信息，所述属性信息包括数据字段值、源端口号、数据报长度，所述数据字段值为请求值与返回值之和；
所述关联单元，用于将所述文件内容的属性信息与所述文件标识进行关联，生成源数据；
所述分类模型构建单元，用于根据分类任务信息建立分类模型；
所述分类标记单元，用于基于所述分类模型对所述源数据进行分类，获取每个类别中的数据报长度总值，按照总值的大小对分类结果进行标记，得到所述第一数据源。
3.根据权利要求2所述的基于计算机的网络数据分析处理系统，其特征在于，所述分类模型构建单元包括：
分类规则构建单元，用于根据分类任务信息建立任务分类规则，所述分类任务信息包括属性信息关联度；
遍历单元，用于遍历所述源数据，获取所述源数据的特征点，根据所述任务分类规则对所述特征点进行两次分类并获得反例比例；
计算单元，用于计算两次特征点分类的反例比例的比值；
检测单元，用于响应于检测到所述反例比例的比值大于预设值时，判断分类模型无效，重新遍历所述源数据，响应于检测到所述反例比例的比值小于或等于预设值时，判断分类模型有效，对所述源数据进行分类，得到数据分类结果。
CN202310401982.4A 2023-04-17 2023-04-17 一种基于计算机的网络数据分析处理系统 Active CN116150288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310401982.4A CN116150288B (zh) 2023-04-17 2023-04-17 一种基于计算机的网络数据分析处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310401982.4A CN116150288B (zh) 2023-04-17 2023-04-17 一种基于计算机的网络数据分析处理系统

Publications (2)

Publication Number Publication Date
CN116150288A CN116150288A (zh) 2023-05-23
CN116150288B true CN116150288B (zh) 2023-07-07

Family

ID=86340998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310401982.4A Active CN116150288B (zh) 2023-04-17 2023-04-17 一种基于计算机的网络数据分析处理系统

Country Status (1)

Country Link
CN (1) CN116150288B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112684A (zh) * 2023-07-18 2023-11-24 河北信服科技有限公司 基于物联网的数字化可视化分析系统及方法
CN117291482A (zh) * 2023-07-27 2023-12-26 江苏原点信息科技有限公司 一种预决算数据处理系统与处理方法
CN116804993B (zh) * 2023-08-22 2023-12-08 北京龙德缘电力科技发展有限公司 一种具备时序数据特征的可视化表达方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101690A1 (zh) * 2014-12-22 2016-06-30 国家电网公司 基于时间序列分析的输变电设备的状态监测数据清洗方法
CN109492002A (zh) * 2018-10-19 2019-03-19 浙江大学华南工业技术研究院 一种智能电网大数据存储与分析系统及处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10238028B2 (en) * 2016-08-11 2019-03-26 The Climate Corporation Automatically detecting outlier values in harvested data
CN107086944B (zh) * 2017-06-22 2020-04-21 北京奇艺世纪科技有限公司 一种异常检测方法和装置
CN107332848B (zh) * 2017-07-05 2020-05-12 重庆邮电大学 一种基于大数据的网络流量异常实时监测系统
CN112884452A (zh) * 2021-03-17 2021-06-01 北京幂数科技有限公司 一种智能运维多源数据采集可视化分析系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101690A1 (zh) * 2014-12-22 2016-06-30 国家电网公司 基于时间序列分析的输变电设备的状态监测数据清洗方法
CN109492002A (zh) * 2018-10-19 2019-03-19 浙江大学华南工业技术研究院 一种智能电网大数据存储与分析系统及处理方法

Also Published As

Publication number Publication date
CN116150288A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN116150288B (zh) 一种基于计算机的网络数据分析处理系统
CN110795919B (zh) 一种pdf文档中的表格抽取方法、装置、设备及介质
CN111737493B (zh) 基于决策树的异常数据源输出方法、装置和计算机设备
CN113343342B (zh) 一种基于bim技术的建筑工程量分析管理方法、系统及计算机存储介质
CN109783785B (zh) 生成实验检测报告的方法、装置和计算机设备
CN108920677A (zh) 问卷调查方法、调查系统及电子设备
CN106570232A (zh) 一种检验规程的自动生成方法
CN110795524A (zh) 主数据映射处理方法、装置、计算机设备及存储介质
CN111291135A (zh) 知识图谱构建方法和装置、服务器、计算机可读存储介质
CN112381153A (zh) 票据分类的方法、装置和计算机设备
CN113837151A (zh) 表格图像处理方法、装置、计算机设备及可读存储介质
CN113919331A (zh) 环境培训课程推荐方法、装置、设备及存储介质
CN109408643B (zh) 基金相似度计算方法、系统、计算机设备和存储介质
CN112836041A (zh) 人员关系分析方法、装置、设备及存储介质
CN112836124A (zh) 一种画像数据获取方法、装置、电子设备及存储介质
Sabourin et al. Marginal standardization of upper semicontinuous processes. with application to max-stable processes
Chen Characteristic scales, scaling, and geospatial analysis
CN115562979A (zh) 一种基于人工智能的自动生成测试报告的方法
CN107203525B (zh) 数据库的处理方法和装置
CN110378481B (zh) 基于粗糙集的决策处理方法、装置、计算机和存储介质
CN114756671A (zh) 文章推荐方法、装置、计算机设备及存储介质
CN113642881A (zh) 舆情数据的风险识别方法、装置、计算机设备及存储介质
CN112948587A (zh) 一种基于地震行业的微博舆情分析方法、装置及电子设备
CN112287005A (zh) 一种数据处理方法、装置、服务器及介质
CN112507129A (zh) 配电网作业文件的内容变动处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant