CN114840590A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN114840590A
CN114840590A CN202210419675.4A CN202210419675A CN114840590A CN 114840590 A CN114840590 A CN 114840590A CN 202210419675 A CN202210419675 A CN 202210419675A CN 114840590 A CN114840590 A CN 114840590A
Authority
CN
China
Prior art keywords
data
module
abnormal
editing
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210419675.4A
Other languages
English (en)
Inventor
韩彧
苏树清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weiyan Technology Co ltd
Original Assignee
Shenzhen Weiyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Weiyan Technology Co ltd filed Critical Shenzhen Weiyan Technology Co ltd
Priority to CN202210419675.4A priority Critical patent/CN114840590A/zh
Publication of CN114840590A publication Critical patent/CN114840590A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据处理方法及装置，涉及计算机技术领域。本发明的数据收集模块：用于对整个数据处理装置的数据进行收集；用于对收集到的数据进行缓冲；用于对数据进行实时快速的分割，并对数据进行处理，在随着时间的推移经过窗口，出现在窗口内的数据就是要被计算的数据，即出现在滑动窗口之外的元组，其重要性为零，处在滑动窗口之内的元组，其重要性相等；用于对数据进行编辑、设置以及输出；用于对数据的存储。本发明采用滑动窗口技术起到了分段处理数据的作用，从而缩短数据处理时间，同时也提高了服务器内部其它模块的执行效率，同时也可通过数据编辑功能与参数设置功能可对多样性大容量数据的编辑，提高了对大容量数据的处理与传输功能。

Description

数据处理方法及装置
技术领域
本发明属于计算机技术领域，特别是涉及数据处理装置与数据处理方法。
背景技术
信息技术在不断发展，随之而来的是越来越多的试剂工程应用中需要处理一种海量数据，由其是在互联网络，比如网络流量监控、点击流量等以及无线通信网络。
现有的数据处理装置在处理处理数据时，在面对大量的数据时，其无法快速的作出反应，难以满足多样化大容量数据的高效处理与传输。因此，针对以上问题，提供数据处理方法及装置具有重要实际意义。
发明内容
本发明提供了数据处理方法及装置，解决了以上问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明的数据处理装置，服务器以端口的形式连接传输设备与接收设备，所述服务器的内部包括有数据收集模块、提取单元、滑动窗口模块、功能单元、保存模块与储存模块；
数据收集模块：用于对整个数据处理装置的数据进行收集，所述收集的数据通过服务器对数据进行处理；
缓冲单元：用于对收集到的数据进行缓冲，包括异常数据提取模块、异常数据对比模块与传输模块；所述异常数据提取模块对收集到的数据中的异常数据进行提取；所述异常数据对比模块是与数据中的异常数据进行对比；所述传输模块是对提取异常数据后的数据以及异常数据进行输送；
滑动窗口模块：用于对数据进行实时快速的分割，并对数据进行处理，在随着时间的推移经过窗口，出现在窗口内的数据就是要被计算的数据，即出现在滑动窗口之外的元组，其重要性为零，处在滑动窗口之内的元组，其重要性相等；
功能单元：用于对数据进行编辑、设置以及输出，包括驱动模块、数据编辑模块、参数设置模块与数据输出模块；所述驱动模块根据指令动态调用指令对应的驱动模块，将控制信号发送给模块部分实现信号的输出；所述数据编辑模块包含数据编辑与数据处理，所述数据编辑与数据处理是将编辑的深存储数据划分成多块数据，再组合成多个序列，对单个数据块可独立编辑；所述参数设置模块是对参数信息进行相关处理，实现各个功能模块中数据及控制资源的共享；所述数据输出模块是将数据编辑模块编辑后的数据与参数设置模块设置后的参数进行输送；
保存模块：用于对数据的保存，保存的数据包括编辑后的数据以与修改后的参数；
存储模块：用于对数据的存储，存储的数据包括正常数据与异常数据。
进一步的，所述滑动窗口模块包括基于时间的滑动窗口技术和基于序列的滑动窗口技术。
进一步的，所述基于序列的滑动窗口是大小固定的窗口，窗口模型以正整数N作为参数，只有数据达到一定数目之后才能做相应的处理，所述基于时间的滑动窗口是大小可变的窗口，窗口模型以时间间隔T作为参数，作为数据运行时间的计算周期。
进一步的，所述异常数据提取模块采用肖维勒计算法进行提取。
进一步的，所述参数设置模块的流程是：获取参数并进行有效判定，对于超过边界值的输入，给出符合范围的最近的值，对于非法输入给出相应的提示信息，直到用户输有效的参数之后才会运行后续的流程，对于有效的输入参数，根据实现功能获取与之关联的其他的参数值，将这些参数进行统一的格式化处理，并与对应的功能的指令进行合并，封装成一条带标号的字符串指令，在参数与功能指令合并的过程中需要逐条匹配指令，匹配成功后进行指令与参数的封装，将封装后的指令发给驱动调用层函数，并以指令的形式发送给仪器驱动软件，仪器驱动软件对封装的指令进行解析后，提取功能参数，将参数以控制字的形式发送给底层硬件。
进一步的，所述数据编辑模块可对波形图显示的数据与表格显示的数据进行编辑。
一种数据处理方法，采用一种数据处理装置实现，包括如下步骤：
S1、通过数据收集模块对数据进行获取，获取后的数据中含有异常数据，通过异常数据对比模块可与数据中的异常数据进行对比，通过异常数据提取模块将异常数据进行提取，在需要对异常数据进行保存时可通过传输模块传输到存储模块的内部，在不要对异常数据进行保存时可通过传输模块传输到功能单元进行编辑处理；
S2、提取异常数据后的数据将经过滑动窗口模型，滑动窗口模型可对数据进行实时快速的分割，并对数据进行处理，在随着时间的推移经过窗口，出现在窗口内的数据就是要被计算的数据，防止同一时间大量的数据对服务器进行冲刷，影响服务器的正常使用；
S3、在进入到窗口内的数据，通过驱动模块的工作，可使数据编辑模块与参数设置模块对数据进行编辑与设置，在编辑设置完成后通过数据输出模块与保存模块可将数据保存到存储模块的内部。
本发明相对于现有技术包括有以下有益效果：
本发明采用滑动窗口技术起到了分段处理数据的作用，从而缩短了数据处理时间，同时也提高了服务器内部其它模块的执行效率，同时也可通过数据编辑功能与参数设置功能可对多样性大容量数据的编辑，提高了对大容量数据的处理与传输功能。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的数据处理装置的结构框架图；
图2为本发明数据处理装置的流程图；
图3为本发明数据编辑功能的框架图；
图4为本发明数据编辑功能的流程图；
图5为本发明参数设置功能的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明的数据处理装置，服务器以端口的形式连接传输设备与接收设备，所述服务器的内部包括有数据收集模块、提取单元、滑动窗口模块、功能单元、保存模块与储存模块；
数据收集模块：用于对整个数据处理装置的数据进行收集，所述收集的数据通过服务器对数据进行处理；
缓冲单元：用于对收集到的数据进行缓冲，包括异常数据提取模块、异常数据对比模块与传输模块；所述异常数据提取模块对收集到的数据中的异常数据进行提取；所述异常数据对比模块是与数据中的异常数据进行对比；所述传输模块是对提取异常数据后的数据以及异常数据进行输送；
滑动窗口模块：用于对数据进行实时快速的分割，并对数据进行处理，在随着时间的推移经过窗口，出现在窗口内的数据就是要被计算的数据，即出现在滑动窗口之外的元组，其重要性为零，处在滑动窗口之内的元组，其重要性相等；
功能单元：用于对数据进行编辑、设置以及输出，包括驱动模块、数据编辑模块、参数设置模块与数据输出模块；所述驱动模块根据指令动态调用指令对应的驱动模块，将控制信号发送给模块部分实现信号的输出；所述数据编辑模块包含数据编辑与数据处理，所述数据编辑与数据处理是将编辑的深存储数据划分成多块数据，再组合成多个序列，对单个数据块可独立编辑；所述参数设置模块是对参数信息进行相关处理，实现各个功能模块中数据及控制资源的共享；所述数据输出模块是将数据编辑模块编辑后的数据与参数设置模块设置后的参数进行输送；
保存模块：用于对数据的保存，保存的数据包括编辑后的数据以与修改后的参数；
存储模块：用于对数据的存储，存储的数据包括正常数据与异常数据。
其中，所述滑动窗口模块包括基于时间的滑动窗口技术和基于序列的滑动窗口技术。
其中，所述基于序列的滑动窗口是大小固定的窗口，窗口模型以正整数N作为参数，只有数据达到一定数目之后才能做相应的处理，所述基于时间的滑动窗口是大小可变的窗口，窗口模型以时间间隔T作为参数，作为数据运行时间的计算周期，在滑动窗口模型中，对窗口的起始与结束都没有明确的定义，定义的是窗口的大小，设N是滑动窗口大小从计算时算起，向前追溯的N项数据要被纳入计算范围，在时刻t＝tN，数据集x有N项数据，而在时刻t＝tN+1，数据集x为0。换句话说，就是要计算最近的N项数据。由于数据流的数据是不断涌出的，所以直观的看，这种模式就像个不变的窗口。
其中，所述异常数据提取模块采用肖维勒计算法进行提取，肖维勒方法：在n次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。这实质上是规定不可能出现的概率即置信概率为1-1/2n，根据这一置信概率，可计算出肖维勒系数，也可从表中查出，当要求不很严格时，还可按下列近似公式计算ωn＝1+0.41n(n),如果某测量值与平均值之差的绝对值大于标准偏差与肖维勒系数之积，则该测量值xi被剔除，
Figure BDA0003607037600000071
肖维勒方法是一种等置信概率方法。肖维勒方法改善了达拉依方法，当n小时，ωn也变小，总保持着可剔除的概率。
如图5所示，所述参数设置模块的流程是：获取参数并进行有效判定，对于超过边界值的输入，给出符合范围的最近的值，对于非法输入给出相应的提示信息，直到用户输有效的参数之后才会运行后续的流程，对于有效的输入参数，根据实现功能获取与之关联的其他的参数值，将这些参数进行统一的格式化处理，并与对应的功能的指令进行合并，封装成一条带标号的字符串指令，在参数与功能指令合并的过程中需要逐条匹配指令，匹配成功后进行指令与参数的封装，将封装后的指令发给驱动调用层函数，并以指令的形式发送给仪器驱动软件，仪器驱动软件对封装的指令进行解析后，提取功能参数，将参数以控制字的形式发送给底层硬件。
如图4所示，所述数据编辑模块可对波形图显示的数据与表格显示的数据进行编辑。
如图2所示，一种数据处理方法，采用如上述的一种决策系统实现，包括如下步骤：
S1、通过数据收集模块对数据进行获取，获取后的数据中含有异常数据，通过异常数据对比模块可与数据中的异常数据进行对比，通过异常数据提取模块将异常数据进行提取，在需要对异常数据进行保存时可通过传输模块传输到存储模块的内部，在不要对异常数据进行保存时可通过传输模块传输到功能单元进行编辑处理；
S2、提取异常数据后的数据将经过滑动窗口模型，滑动窗口模型可对数据进行实时快速的分割，并对数据进行处理，在随着时间的推移经过窗口，出现在窗口内的数据就是要被计算的数据，防止同一时间大量的数据对服务器进行冲刷，影响服务器的正常使用；
S3、在进入到窗口内的数据，通过驱动模块的工作，可使数据编辑模块与参数设置模块对数据进行编辑与设置，在编辑设置完成后通过数据输出模块与保存模块可将数据保存到存储模块的内部。
有益效果：
本发明采用滑动窗口技术起到了分段处理数据的作用，从而缩短了数据处理时间，同时也提高了服务器内部其它模块的执行效率，同时也可通过数据编辑功能与参数设置功能可对多样性大容量数据的编辑，提高了对大容量数据的处理与传输功能。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.数据处理装置，服务器以端口的形式连接传输设备与接收设备，其特征在于，所述服务器的内部包括有数据收集模块、提取单元、滑动窗口模块、功能单元、保存模块与储存模块；
数据收集模块：用于对整个数据处理装置的数据进行收集，所述收集的数据通过服务器对数据进行处理；
缓冲单元：用于对收集到的数据进行缓冲，包括异常数据提取模块、异常数据对比模块与传输模块；所述异常数据提取模块对收集到的数据中的异常数据进行提取；所述异常数据对比模块是与数据中的异常数据进行对比；所述传输模块是对提取异常数据后的数据以及异常数据进行输送；
滑动窗口模块：用于对数据进行实时快速的分割，并对数据进行处理，在随着时间的推移经过窗口，出现在窗口内的数据就是要被计算的数据，即出现在滑动窗口之外的元组，其重要性为零，处在滑动窗口之内的元组，其重要性相等；
功能单元：用于对数据进行编辑、设置以及输出，包括驱动模块、数据编辑模块、参数设置模块与数据输出模块；所述驱动模块根据指令动态调用指令对应的驱动模块，将控制信号发送给模块部分实现信号的输出；所述数据编辑模块包含数据编辑与数据处理，所述数据编辑与数据处理是将编辑的深存储数据划分成多块数据，再组合成多个序列，对单个数据块可独立编辑；所述参数设置模块是对参数信息进行相关处理，实现各个功能模块中数据及控制资源的共享；所述数据输出模块是将数据编辑模块编辑后的数据与参数设置模块设置后的参数进行输送；
保存模块：用于对数据的保存，保存的数据包括编辑后的数据以与修改后的参数；
存储模块：用于对数据的存储，存储的数据包括正常数据与异常数据。
2.根据权利要求1所述的数据处理装置，其特征在于，所述滑动窗口模块包括基于时间的滑动窗口技术和基于序列的滑动窗口技术。
3.根据权利要求2所述的数据处理装置，其特征在于，所述基于序列的滑动窗口是大小固定的窗口，窗口模型以正整数N作为参数，只有数据达到一定数目之后才能做相应的处理，所述基于时间的滑动窗口是大小可变的窗口，窗口模型以时间间隔T作为参数，作为数据运行时间的计算周期。
4.根据权利要求1所述的数据处理装置，其特征在于，所述异常数据提取模块采用肖维勒计算法进行提取。
5.根据权利要求1所述的数据处理装置，其特征在于，所述参数设置模块的流程是：获取参数并进行有效判定，对于超过边界值的输入，给出符合范围的最近的值，对于非法输入给出相应的提示信息，直到用户输有效的参数之后才会运行后续的流程，对于有效的输入参数，根据实现功能获取与之关联的其他的参数值，将这些参数进行统一的格式化处理，并与对应的功能的指令进行合并，封装成一条带标号的字符串指令，在参数与功能指令合并的过程中需要逐条匹配指令，匹配成功后进行指令与参数的封装，将封装后的指令发给驱动调用层函数，并以指令的形式发送给仪器驱动软件，仪器驱动软件对封装的指令进行解析后，提取功能参数，将参数以控制字的形式发送给底层硬件。
6.根据权利要求1所述的数据处理装置，其特征在于，所述数据编辑模块可对波形图显示的数据与表格显示的数据进行编辑。
7.一种数据处理方法，其特征在于，采用如权1-6任一项所述的一种数据处理装置实现，包括如下步骤：
S1、通过数据收集模块对数据进行获取，获取后的数据中含有异常数据，通过异常数据对比模块可与数据中的异常数据进行对比，通过异常数据提取模块将异常数据进行提取，在需要对异常数据进行保存时可通过传输模块传输到存储模块的内部，在不要对异常数据进行保存时可通过传输模块传输到功能单元进行编辑处理；
S2、提取异常数据后的数据将经过滑动窗口模型，滑动窗口模型可对数据进行实时快速的分割，并对数据进行处理，在随着时间的推移经过窗口，出现在窗口内的数据就是要被计算的数据，防止同一时间大量的数据对服务器进行冲刷，影响服务器的正常使用；
S3、在进入到窗口内的数据，通过驱动模块的工作，可使数据编辑模块与参数设置模块对数据进行编辑与设置，在编辑设置完成后通过数据输出模块与保存模块可将数据保存到存储模块的内部。
CN202210419675.4A 2022-04-21 2022-04-21 数据处理方法及装置 Pending CN114840590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210419675.4A CN114840590A (zh) 2022-04-21 2022-04-21 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210419675.4A CN114840590A (zh) 2022-04-21 2022-04-21 数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN114840590A true CN114840590A (zh) 2022-08-02

Family

ID=82565223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210419675.4A Pending CN114840590A (zh) 2022-04-21 2022-04-21 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN114840590A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116582772A (zh) * 2023-03-29 2023-08-11 四川辰鳗科技有限公司 一种电能数据采集方法、系统、电子设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116582772A (zh) * 2023-03-29 2023-08-11 四川辰鳗科技有限公司 一种电能数据采集方法、系统、电子设备及介质
CN116582772B (zh) * 2023-03-29 2024-01-16 四川辰鳗科技有限公司 一种电能数据采集方法、系统、电子设备及介质

Similar Documents

Publication Publication Date Title
CN101902617B (zh) 一种用dsp和fpga实现视频结构化描述的装置及方法
CN102891852B (zh) 基于报文分析的协议格式自动推断方法
CN114281864A (zh) 一种面向电力网络告警信息的关联分析方法
CN114840590A (zh) 数据处理方法及装置
CN110427298A (zh) 一种分布式日志的自动特征提取方法
CN116416561A (zh) 一种视频图像处理方法和装置
CN113037567B (zh) 一种用于电网企业的网络攻击行为仿真系统的仿真方法
CN114817243A (zh) 数据库联合索引的建立方法、装置、设备及存储介质
CN115630277A (zh) 一种数据信号的处理方法
CN103699886A (zh) 一种视频实时比对方法
CN113627685B (zh) 一种考虑风电上网负荷限制的风力发电机功率预测方法
CN112104518B (zh) 一种比特数据特征挖掘方法、系统、设备及可读介质
CN106708876B (zh) 一种基于Lucene的相似视频检索方法及系统
CN111211939A (zh) 一种基于网络处理器实现流表高效计数的装置和方法
CN113079176B (zh) 一种适用于海量数据的高速网络流量异常检测系统
CN111800312B (zh) 一种基于报文内容分析的工控系统异常检测方法及系统
CN115545019A (zh) 日志模板提取方法、设备、存储介质及程序产品
CN113626511A (zh) 一种异构数据库融合接入系统
CN107992474B (zh) 一种流式数据主题挖掘方法及其系统
CN114422389B (zh) 一种基于哈希和硬件加速的高速实时网络数据监测方法
CN110232076A (zh) 一种时间序列数据的最长公共子串提取方法
CN114579805B (zh) 一种基于注意力机制的卷积神经网络相似视频检索方法
CN113590804B (zh) 视频主题生成的方法、装置及电子设备
CN107682225B (zh) 一种自动生成细粒度网络程序功能流量指纹的方法
CN112925689B (zh) 一种多路监控数据传输优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination