CN109408579A - 一种数据管理监控装置 - Google Patents

一种数据管理监控装置 Download PDF

Info

Publication number
CN109408579A
CN109408579A CN201811283386.6A CN201811283386A CN109408579A CN 109408579 A CN109408579 A CN 109408579A CN 201811283386 A CN201811283386 A CN 201811283386A CN 109408579 A CN109408579 A CN 109408579A
Authority
CN
China
Prior art keywords
data
component
pick
storage
parsing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811283386.6A
Other languages
English (en)
Inventor
鲁大军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Guanggu Lianzhongda Data Technology Co Ltd
Original Assignee
Wuhan Guanggu Lianzhongda Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Guanggu Lianzhongda Data Technology Co Ltd filed Critical Wuhan Guanggu Lianzhongda Data Technology Co Ltd
Priority to CN201811283386.6A priority Critical patent/CN109408579A/zh
Publication of CN109408579A publication Critical patent/CN109408579A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • G06F9/526—Mutual exclusion algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明数据网络数据管理技术领域，尤其涉及一种数据管理监控装置。本发明的数据管理监控装置，有效提高了数据管理以及监控的效率，通过状态信息的处置与缓存标志的处理方式降低了数据管理和监控的执行难度，便于实施；本发明的数据管理监控装置特别适用于高速网络环境中的数据抽取和监控，由于本发明的数据管理监控装置数据抽取过程基于优先级控制方式，且仅进行简单的过滤涮选，保证了数据抽取时不会占用过多的系统资源，降低其数据抽取的耗时，同时为后序数据解析与存储作业的提供更多系统资源。

Description

一种数据管理监控装置
技术领域
本发明数据网络数据管理技术领域，尤其涉及一种数据管理监控装置。
背景技术
在数据抽取、监控以及存储过程中，为便于数据的传输，降低降低网络资源的负担，原始数据在进行传递、运用和存储之前均会经过前置或者后置处理以实现压缩体积、提高传输效率等各种目的，由于数据种类多种多样，处理方式相异，且数据容量各不相同，在数据的抽取以及存储等各项作业流程中，各数据所需要的系统资源以及消耗的时间长短将在数据管理处理流程产生很大影响，因此有必要对数据抽取和管理作业流程中数据资源的占用以及分配等进行合理控制和管理，以提高系统资源的利用率，保证作业任务的顺利完成的进行。
发明内容
基于上述需求本，发明创造的目的在于，提供一种数据管理监控装置，其能够适应于高速数据管理及监控的需要，降低系统资源的消耗。
为实现上述目的，本发明创造采用如下技术方案。
本发明的一种数据管理监控装置，包括，数据处理模块、数据监控模块；
数据处理模块包括抽取组件、解析组件以及存储组件，其主要用于在网络中抽取和定位所需要的数据资源，并将相应的资源进行分类处理；
数据抽取组件用于抽取网络适配器接收到的数据内容，并对抽取得到的数据进行缓存，之后数据抽取组件将缓存储据传递给数据解析模块；数据解析模块用于对缓存储据进行解析，并将解析后结果发送至数据存储模块等待处理，数据存储模块根据不同解析结果将数据进行分类存储和/或备份；
数据抽取组件根据优先级程度对并发的主权去抽取任务进行依序抽取，高优先级的抽取流程优先执行后，同时该抽取流程在更高优先级的服务到达或者收到放弃指令之前持续占用CPU资源；数据抽取组件对数据包进行过滤和筛选以定位和精简数据容量，并将到来的数据包进行缓存，同时在缓存数据中加入数据包的抽取状态及其数据信息；数据抽取组件优先将数据缓存至内存，并在内存负载达到某阈值后存入硬盘；
当某一个数据抽取任务被执行，在收到停止指令之前，装置配置和启动数据抽取流程以抽取数据并将数据写入内存缓存之中，当内存缓存容量达到阈值后，则启动硬盘缓存步骤，以提高数据相应速度与数据处理效率，提高装置利用率。
解析组件和数据存储组件连接，解析组件包括含有互斥锁的多作业线程，各作业线程分别解析缓存的不同部分，同时记录各作业线程数据处理的实时状态，当某作业线程开始解析某缓存时抽取锁，在确定要解析的内容之后释放锁；存储组件使用存储解析组件解析后的数据，并分别针对不同数据建立存储表，存储表中包括相应的解析数据、相应的数据条目以及其抽取的时间标记。
数据缓存组件从数据库中抽取数据并判断缓存中是否存在数据，当缓存中没有数据时则根据缓存数据中抽取组件的工作状态判断后序是停止还是继续解析作业，即当缓存中无数据且数据抽取组件停止作业则停止解析作业，否则继续等待缓存数据并启动解析作业，解析作业过程中，解析组件根据数据的不同协议类型进行分别处理，并将相应的数据发送至存储系统。
在数据抽取组件抽取到可能存在危险的数据包时，该数据被送至解析组件特定部分进行解析并存储至存储组件中的特定位置，同时建立该特定位置的定位表；
基于上述基础，当主线程建各作业线程之后，数据抽取作业线程加入主线程保持作业持续运行，在数据抽取结束之后，数据分析以及数据存储线程加入至线程直至最终，以保证数据解析和存储作业全部完成。
数据监控模块包括数据监控组件及查询组件
监控组件监控网络中主机的流量信息，控制组件管理和控制数据抽取组件的工作状态，查询组件提供查询控制接口，包括对数据抽取组件的控制、数据的查询；
监控组件记录被监控设备数据的上下行、实时收发以及区间内平均收发量，定时对流量数据进行保存和清零；
其有益效果在于：
本发明的数据管理监控装置，有效提高了数据管理以及监控的效率，通过状态信息的处置与缓存标志的处理方式降低了数据管理和监控的执行难度，便于实施；
本发明的数据管理监控装置特别适用于高速网络环境中的数据抽取和监控，由于本发明的数据管理监控装置数据抽取过程基于优先级控制方式，且仅进行简单的过滤涮选，保证了数据抽取时不会占用过多的系统资源，降低其数据抽取的耗时，同时为后序数据解析与存储作业的提供更多系统资源；
附图说明
图1是本发明数据管理监控装置的结构原理示意图；
图2是数据抽取组件的工作流程示意图；
图3是数据解析组件的工作流程示意图；
图4是本发明的数据管理监控装置整体作业流程示意图。
具体实施方式
以下结合具体实施例对本发明创造作详细说明。
如图1所示，本发明的一种数据管理监控装置，包括，数据处理模块、数据监控模块；
1、数据处理模块包括抽取组件、解析组件以及存储组件，其主要用于在网络中抽取和定位所需要的数据资源，并将相应的资源进行分类处理；
如图2所示，数据抽取组件用于抽取网络适配器接收到的数据内容，并对抽取得到的数据进行缓存，之后数据抽取组件将缓存储据传递给数据解析模块；数据解析模块用于对缓存储据进行解析，并将解析后结果发送至数据存储模块等待处理，数据存储模块根据不同解析结果将数据进行分类存储和/或备份；
数据抽取组件根据优先级程度对并发的主权去抽取任务进行依序抽取，高优先级的抽取流程优先执行后，同时该抽取流程在更高优先级的服务到达或者收到放弃指令之前持续占用CPU资源；数据抽取组件对数据包进行过滤和筛选以定位和精简数据容量，并将到来的数据包进行缓存，同时在缓存数据中加入数据包的抽取状态及其数据信息；数据抽取组件优先将数据缓存至内存，并在内存负载达到某阈值后存入硬盘；
数据抽取组件的工作流程如图2所示，当某一个数据抽取任务被执行，在收到停止指令之前，装置配置和启动数据抽取流程以抽取数据并将数据写入内存缓存之中，当内存缓存容量达到阈值后，则启动硬盘缓存步骤，以提高数据相应速度与数据处理效率，提高装置利用率。
解析组件和数据存储组件连接，解析组件包括含有互斥锁的多作业线程，各作业线程分别解析缓存的不同部分，同时记录各作业线程数据处理的实时状态，当某作业线程开始解析某缓存时抽取锁，在确定要解析的内容之后释放锁；存储组件使用存储解析组件解析后的数据，并分别针对不同数据建立存储表，存储表中包括相应的解析数据、相应的数据条目以及其抽取的时间标记。
数据解析组件的工作流程如图3所示，数据缓存组件从数据库中抽取数据并判断缓存中是否存在数据，当缓存中没有数据时则根据缓存数据中抽取组件的工作状态判断后序是停止还是继续解析作业，即当缓存中无数据且数据抽取组件停止作业则停止解析作业，否则继续等待缓存数据并启动解析作业，解析作业过程中，解析组件根据数据的不同协议类型进行分别处理，并将相应的数据发送至存储系统。
在数据抽取组件抽取到可能存在危险的数据包时，该数据被送至解析组件特定部分进行解析并存储至存储组件中的特定位置，同时建立该特定位置的定位表；
基于上述基础，本发明的数据管理监控装置数据抽取与管理装置的工作线程可表示为如图4所示的方式，当主线程建各作业线程之后，数据抽取作业线程加入主线程保持作业持续运行，在数据抽取结束之后，数据分析以及数据存储线程加入至线程直至最终，以保证数据解析和存储作业全部完成。
2、数据监控模块包括数据监控组件及查询组件
监控组件监控网络中主机的流量信息，控制组件管理和控制数据抽取组件的工作状态，查询组件提供查询控制接口，包括对数据抽取组件的控制、数据的查询；
监控组件记录被监控设备数据的上下行、实时收发以及区间内平均收发量，定时对流量数据进行保存和清零；
基于上述基础，本发明的数据管理监控装置利用监控模块实现对数据管理模块的监控以及控制。
最后应当说明的是，以上实施例仅用以说明本发明创造的技术方案，而非对本发明创造保护范围的限制，尽管参照较佳实施例对本发明创造作了详细地说明，本领域的普通技术人员应当理解，可以对本发明创造的技术方案进行修改或者等同替换，而不脱离本发明创造技术方案的实质和范围。

Claims (5)

1.一种数据管理监控装置，其特征在于，包括，数据处理模块、数据监控模块；
数据抽取组件用于抽取网络适配器接收到的数据内容，并对抽取得到的数据进行缓存，之后数据抽取组件将缓存储据传递给数据解析模块；数据解析模块用于对缓存储据进行解析，并将解析后结果发送至数据存储模块等待处理，数据存储模块根据不同解析结果将数据进行分类存储和/或备份；
数据抽取组件根据优先级程度对并发的主权去抽取任务进行依序抽取，高优先级的抽取流程优先执行后，同时该抽取流程在更高优先级的服务到达或者收到放弃指令之前持续占用CPU资源；数据抽取组件对数据包进行过滤和筛选以定位和精简数据容量，并将到来的数据包进行缓存，同时在缓存数据中加入数据包的抽取状态及其数据信息；数据抽取组件优先将数据缓存至内存，并在内存负载达到某阈值后存入硬盘；
数据缓存组件从数据库中抽取数据并判断缓存中是否存在数据，当缓存中没有数据时则根据缓存数据中抽取组件的工作状态判断后序是停止还是继续解析作业，即当缓存中无数据且数据抽取组件停止作业则停止解析作业，否则继续等待缓存数据并启动解析作业，解析作业过程中，解析组件根据数据的不同协议类型进行分别处理，并将相应的数据发送至存储系统；
数据监控模块包括数据监控组件及查询组件；
监控组件监控网络中主机的流量信息，控制组件管理和控制数据抽取组件的工作状态，查询组件提供查询控制接口，包括对数据抽取组件的控制、数据的查询；
监控组件记录被监控设备数据的上下行、实时收发以及区间内平均收发量，定时对流量数据进行保存和清零。
2.根据权利要求1所述一种数据管理监控装置，其特征在于，当某一个数据抽取任务被执行，在收到停止指令之前，装置配置和启动数据抽取流程以抽取数据并将数据写入内存缓存之中，当内存缓存容量达到阈值后，则启动硬盘缓存步骤，以提高数据相应速度与数据处理效率，提高装置利用率。
3.根据权利要求1所述一种数据管理监控装置，其特征在于，当主线程建各作业线程之后，数据抽取作业线程加入主线程保持作业持续运行，在数据抽取结束之后，数据分析以及数据存储线程加入至线程直至最终，以保证数据解析和存储作业全部完成。
4.根据权利要求1所述一种数据管理监控装置，其特征在于，解析组件和数据存储组件连接，解析组件包括含有互斥锁的多作业线程，各作业线程分别解析缓存的不同部分，同时记录各作业线程数据处理的实时状态，当某作业线程开始解析某缓存时抽取锁，在确定要解析的内容之后释放锁；存储组件使用存储解析组件解析后的数据，并分别针对不同数据建立存储表，存储表中包括相应的解析数据、相应的数据条目以及其抽取的时间标记。
5.根据权利要求1所述一种数据管理监控装置，其特征在于，在数据抽取组件抽取到可能存在危险的数据包时，该数据被送至解析组件特定部分进行解析并存储至存储组件中的特定位置，同时建立该特定位置的定位表。
CN201811283386.6A 2018-10-31 2018-10-31 一种数据管理监控装置 Pending CN109408579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811283386.6A CN109408579A (zh) 2018-10-31 2018-10-31 一种数据管理监控装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811283386.6A CN109408579A (zh) 2018-10-31 2018-10-31 一种数据管理监控装置

Publications (1)

Publication Number Publication Date
CN109408579A true CN109408579A (zh) 2019-03-01

Family

ID=65470651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811283386.6A Pending CN109408579A (zh) 2018-10-31 2018-10-31 一种数据管理监控装置

Country Status (1)

Country Link
CN (1) CN109408579A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747060A (zh) * 2013-12-26 2014-04-23 惠州华阳通用电子有限公司 一种基于流媒体服务集群的分布式监控系统及方法
CN104185211A (zh) * 2013-05-27 2014-12-03 中国移动通信集团广东有限公司 一种数据处理方法、装置和终端
CN106815112A (zh) * 2015-11-27 2017-06-09 大唐软件技术股份有限公司 一种基于深度包检测的海量数据监控系统及方法
CN106878092A (zh) * 2017-03-28 2017-06-20 上海以弈信息技术有限公司 一种多源异构数据融合的网络运维实时监控与分析呈现平台
CN107562538A (zh) * 2017-08-22 2018-01-09 中国铁道科学研究院电子计算技术研究所 铁路运输统计中的数据抽取多任务管理方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185211A (zh) * 2013-05-27 2014-12-03 中国移动通信集团广东有限公司 一种数据处理方法、装置和终端
CN103747060A (zh) * 2013-12-26 2014-04-23 惠州华阳通用电子有限公司 一种基于流媒体服务集群的分布式监控系统及方法
CN106815112A (zh) * 2015-11-27 2017-06-09 大唐软件技术股份有限公司 一种基于深度包检测的海量数据监控系统及方法
CN106878092A (zh) * 2017-03-28 2017-06-20 上海以弈信息技术有限公司 一种多源异构数据融合的网络运维实时监控与分析呈现平台
CN107562538A (zh) * 2017-08-22 2018-01-09 中国铁道科学研究院电子计算技术研究所 铁路运输统计中的数据抽取多任务管理方法和系统

Similar Documents

Publication Publication Date Title
CN105892996A (zh) 一种批量数据处理的流水线作业方法及装置
CN109309631A (zh) 一种基于通用网络文件系统写入数据的方法及装置
CN107769992B (zh) 一种报文解析分流方法及装置
US20130275613A1 (en) Efficient multiple filter packet statistics generation
CN110222503A (zh) 一种大数据流负载下的数据库审计方法、系统与设备
CN110555019A (zh) 一种基于业务端的数据清洗方法
CN102752119A (zh) 一种智能网卡的接口实现方法
CN106375241A (zh) 批量数据处理方法、前端系统、主机及批量数据处理系统
CN110177146A (zh) 一种基于异步事件驱动的非阻塞Restful通信方法、装置和设备
CN110377486A (zh) 基于 kafka 实现稳定的高吞吐量的异步任务处理方法
CN110034970A (zh) 网络设备区分判别方法及装置
CN103560958B (zh) 一种数据包的规则匹配方法及装置
CN101853476B (zh) 一种金融业客户身份自动联网核查系统及方法
EP3101843A2 (en) Capturing network data to provide to a data analyser
CN109408579A (zh) 一种数据管理监控装置
CN103235754A (zh) 分布式文件系统中请求的处理方法和装置
CN110569238B (zh) 一种基于大数据的数据治理方法、系统、存储介质和服务端
CN105491158A (zh) 一种基于网络数据流的http内容还原方法及系统
CN105790978A (zh) 一种网管通讯报文的处理方法、装置、服务器及主控板
CN105187490B (zh) 一种物联网数据的中转处理方法
CN105786945B (zh) 一种基于数据通道的用电信息数据高效处理方法
CN105721342B (zh) 多进程设备的网络连接方法和系统
CN109446200A (zh) 一种数据处理的方法及装置
CN103647694B (zh) 一种电子邮件清理方法及装置
CN107205028A (zh) 一种服务分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301