CN108809716A - 一种采集数据审核的方法和装置 - Google Patents
一种采集数据审核的方法和装置 Download PDFInfo
- Publication number
- CN108809716A CN108809716A CN201810601385.5A CN201810601385A CN108809716A CN 108809716 A CN108809716 A CN 108809716A CN 201810601385 A CN201810601385 A CN 201810601385A CN 108809716 A CN108809716 A CN 108809716A
- Authority
- CN
- China
- Prior art keywords
- data
- audit
- gathered
- nuclear
- preliminary hearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明实施例公开了一种采集数据审核的方法和装置,所述方法包括:数据中心监控管理平台采集的数据进入预审核装置;所述预审核装置根据知识库对所述采集的数据进行初步判断,对数据的正确性进行审核;根据判断结果,将有问题的数据放入数据的待审核池以供再次审核。本发明实施例可以通过预审核机制减少需要审核装置的数据量,通过审核机制保证数据的准确性,从而保证数据中心的性能、告警等指标数据的准确性。
Description
技术领域
本发明涉及云计算技术,尤指一种采集数据审核的方法和装置。
背景技术
在云计算时代,大量的异构资源通过监控管理平台统一管理,监控管理平台通过主动采集、被动接收等方式进行硬件资源的数据采集,由于设备众多,因此数据的审核是一个需要面临的问题。
现有技术方案在数据采集过程中,数据直接进入存储装置,容易出现数据采集错误的问题,由于不能有效地对数据的正确性进行审核,数据的正确性差,不能保证硬件资源采集数据的准确性,无效的数据带来的工作量大,工作效率低。
发明内容
为了解决上述技术问题,本发明实施例提供了一种采集数据审核的方法和装置,可以通过预审核机制减少需要审核装置的数据量,通过审核机制保证数据的准确性,从而保证数据中心的性能、告警等指标数据的准确性。
为了达到本发明目的,一方面,本发明实施例提供了一种采集数据审核的方法,包括:
数据中心监控管理平台采集的数据进入预审核装置;
所述预审核装置根据知识库对所述采集的数据进行初步判断,对数据的正确性进行审核;
根据判断结果,将有问题的数据放入数据的待审核池以供再次审核。
进一步地,所述方法还包括:所述预审核装置将判断结果为正确的数据放入存储装置。
进一步地,所述方法还包括:
审核装置根据预先设置的审核策略,对所述待审核池中的数据进行再次审核,确定有问题的数据,直接丢弃。
进一步地,所述方法还包括:
所述审核装置根据预先设置的审核策略,将审核后确定为正确的数据放入所述存储装置。
进一步地,所述方法还包括:
所述知识库预先设置数据的性能指标的阈值,以符合所述阈值为判断数据正确的条件。
另一方面,本发明实施例还提供了一种采集数据审核的装置,包括:
采集模块,用于数据中心监控管理平台采集的数据进入预审核装置;
初步判断模块,用于所述预审核装置根据知识库对所述采集的数据进行初步判断,对数据的正确性进行审核;
待审核模块,用于根据判断结果,将有问题的数据放入数据的待审核池以供再次审核。
进一步地,所述初步判断模块还用于:
所述预审核装置将判断结果为正确的数据放入存储装置。
进一步地,所述装置还包括:
再次审核模块,用于审核装置根据预先设置的审核策略,对所述待审核池中的数据进行再次审核,确定有问题的数据,直接丢弃。
进一步地,所述再次审核模块还用于:所述审核装置根据预先设置的审核策略,将审核后确定为正确的数据放入所述存储装置。
进一步地,所述装置还包括:
所述知识库预先设置数据的性能指标的阈值,以符合所述阈值为判断数据正确的条件。
本发明实施例通过数据中心监控管理平台采集的数据进入预审核装置;所述预审核装置根据知识库对所述采集的数据进行初步判断,对数据的正确性进行审核;根据判断结果,将有问题的数据放入数据的待审核池以供再次审核。本发明实施例可以通过预审核机制减少需要审核装置的数据量,通过审核机制保证数据的准确性,从而保证数据中心的性能、告警等指标数据的准确性。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例采集数据审核的方法的流程图;
图2为本发明实施例采集数据审核的装置的原理图;
图3为本发明实施例采集数据审核的装置的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例采集数据审核的方法的流程图,如图1所示,本发明实施例的方法包括以下步骤:
步骤100:数据中心监控管理平台采集的数据进入预审核装置;
步骤101:所述预审核装置根据知识库对所述采集的数据进行初步判断,对数据的正确性进行审核;
步骤102:根据判断结果,将有问题的数据放入数据的待审核池以供再次审核。
进一步地,所述方法还包括:所述预审核装置将判断结果为正确的数据放入存储装置。
进一步地,所述方法还包括:
审核装置根据预先设置的审核策略,对所述待审核池中的数据进行再次审核,确定有问题的数据,直接丢弃。
进一步地,所述方法还包括:
所述审核装置根据预先设置的审核策略,将审核后确定为正确的数据放入所述存储装置。
进一步地,所述方法还包括:
所述知识库预先设置数据的性能指标的阈值,以符合所述阈值为判断数据正确的条件。
具体地,本发明实施例主要应用于数据中心监控管理平台的采集数据审核,通过所述方法进行采集数据的审核,实现数据的准确性。
本发明实施例技术方案就是解决在数据采集过程中,数据采集错误的问题,通过本策略,可以对数据的正确性进行审核,有疑问的数据,放入数据待审核池,确定有问题的数据,直接丢弃,供后续数据审核作为参考。本方法可以保证硬件资源采集数据的准确性,有效减少无效的数据带来的工作量,提高工作效率。
本发明实施例技术方案的详细阐述如下:
图2为本发明实施例采集数据审核的装置的原理图,如图2所示,本发明实施例提出的应用于数据中心监控管理平台采集据审核的方法包括:预审核装置、知识库、待审核池、审核装置、丢弃装置和存储装置。数据中心监控管理平台采集数据进入预审核装置,预审核装置可以根据知识库对数据进行初步判断,可以选择放入待审核池,或者入库进入存储装置;知识库负责维护问题数据的仓库,如性能指标的阈值,超过阈值、低于阈值,执行丢弃操作;丢弃装置根据丢弃条件执行数据的丢弃;审核装置由监控管理平台管理员对待审核池中的数据进行下一步操作,进入丢弃装置或者进入存储装置。
进一步地,采集数据进入监控管理平台,不是直接进入存储装置,而是进入预审核装置,通过知识库进行初步的判断,可以根据知识库的内容,将数据放入下一步操作,如进入待审核池、存储装置;
可以自定义知识库,并将知识库提供给预审核装置;
预审核装置可以根据知识库进行不同的处理操作,如放入待审核池、丢弃装置;
审核装置可以对待审核池中的数据进行审核,可以进行下一步操作,如进入丢弃装置、进入存储装置;
丢弃装置可以对数据进行丢弃操作;
存储装置可以将数据持久化存储。
本发明实施例技术实现的具体实施过程如下:
采集数据进入预审核装置,预审核装置根据知识库对数据进行处理,预审核装置可以直接丢弃数据、进入待审核池或者进入存储装置;
如果选择进入存储装置,此时数据将作为有效数据进入存储装置;
如果选择进入待审核池,数据将等待审核装置的处理;
处于待审核池中的数据,进入审核装置,由审核装置进行审核,可以进入丢弃装置、进入存储装置;
丢弃装置可以对数据进行丢弃操作,数据不可恢复;
存储装置可以将在预审核装置中选择存储的数据进行存储操作,也可以将审核装置中有效的数据进行存储操作;
本发明实施例使监控管理平台在数据采集时,通过预审核机制减少需要审核装置的数据量,通过审核机制保证数据的准确性,从而保证数据中心的性能、告警等指标数据的准确性。
本发明实施例通过设计合理的预审核策略、审核策略,进而保证数据中心性能指标的准确性,并可根据已审核的数据完善数据库的审核策略;
进一步地,通过将采集数据的预审核策略与审核策略相结合,从而保证采集数据的准确性,并可通过审核装置保证数据的有效性;
进一步地,数据中心监控管理平台采集数据审核的方法实现预审核装置、丢弃装置、审核装置和存储装置的有效组合,主要包括如下几个步骤:
步骤一.采集的数据,在进入预审核装置,如果判断为无效数据,则执行步骤二;如果选择有效数据执行步骤四;
步骤二.采集的数据进入待审核池,在审核装置,根据审核策略进行数据的二次审核,如果确认为无效数据,则执行步骤三,如果确认为有效数据,则执行步骤四;
步骤三.资源进入丢弃装置,采集的数据将被彻底删除;
步骤四.资源进入存储装置,此时采集的数据将被持久化存储。
图3为本发明实施例采集数据审核的装置的结构图,如图3所示,本发明实施例另一方面提供的一种采集数据审核的装置,包括:
采集模块301,用于数据中心监控管理平台采集的数据进入预审核装置;
初步判断模块302,用于所述预审核装置根据知识库对所述采集的数据进行初步判断,对数据的正确性进行审核;
待审核模块303,用于根据判断结果,将有问题的数据放入数据的待审核池以供再次审核。
进一步地,所述初步判断模块302还用于:
所述预审核装置将判断结果为正确的数据放入存储装置。
进一步地,所述装置还包括:
再次审核模块,用于审核装置根据预先设置的审核策略,对所述待审核池中的数据进行再次审核,确定有问题的数据,直接丢弃。
进一步地,所述再次审核模块还用于:所述审核装置根据预先设置的审核策略,将审核后确定为正确的数据放入所述存储装置。
进一步地,所述装置还包括:
所述知识库预先设置数据的性能指标的阈值,以符合所述阈值为判断数据正确的条件。
本发明实施例通过数据中心监控管理平台采集的数据进入预审核装置;所述预审核装置根据知识库对所述采集的数据进行初步判断,对数据的正确性进行审核;根据判断结果,将有问题的数据放入数据的待审核池以供再次审核。本发明实施例可以通过预审核机制减少需要审核装置的数据量,通过审核机制保证数据的准确性,从而保证数据中心的性能、告警等指标数据的准确性。
本发明实施例将采集数据的预审核策略和审核策略相结合,进而保证采集数据的准确性,从而保证性能与告警的准确性;
本发明实施例技术方案就是解决在数据采集过程中,数据采集错误的问题,通过本策略,可以对数据的正确性进行审核,有疑问的数据,放入数据待审核池,确定有问题的数据,直接丢弃,供后续数据审核作为参考。本发明实施例可以保证硬件资源采集数据的准确性,有效减少无效的数据带来的工作量,提高工作效率。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种采集数据审核的方法,其特征在于,包括:
数据中心监控管理平台采集的数据进入预审核装置;
所述预审核装置根据知识库对所述采集的数据进行初步判断,对数据的正确性进行审核;
根据判断结果,将有问题的数据放入数据的待审核池以供再次审核。
2.根据权利要求1所述的采集数据审核的方法,其特征在于,还包括:所述预审核装置将判断结果为正确的数据放入存储装置。
3.根据权利要求1所述的采集数据审核的方法,其特征在于,还包括:
审核装置根据预先设置的审核策略,对所述待审核池中的数据进行再次审核,确定有问题的数据,直接丢弃。
4.根据权利要求3所述的采集数据审核的方法,其特征在于,还包括:
所述审核装置根据预先设置的审核策略,将审核后确定为正确的数据放入所述存储装置。
5.根据权利要求1所述的采集数据审核的方法,其特征在于,还包括:
所述知识库预先设置数据的性能指标的阈值,以符合所述阈值为判断数据正确的条件。
6.一种采集数据审核的装置,其特征在于,包括:
采集模块,用于数据中心监控管理平台采集的数据进入预审核装置;
初步判断模块,用于所述预审核装置根据知识库对所述采集的数据进行初步判断,对数据的正确性进行审核;
待审核模块,用于根据判断结果,将有问题的数据放入数据的待审核池以供再次审核。
7.根据权利要求6所述的采集数据审核的装置,其特征在于,所述初步判断模块还用于:
所述预审核装置将判断结果为正确的数据放入存储装置。
8.根据权利要求6所述的采集数据审核的装置,其特征在于,还包括:
再次审核模块,用于审核装置根据预先设置的审核策略,对所述待审核池中的数据进行再次审核,确定有问题的数据,直接丢弃。
9.根据权利要求8所述的采集数据审核的装置,其特征在于,还包括:
再次审核模块,用于所述审核装置根据预先设置的审核策略,将审核后确定为正确的数据放入所述存储装置。
10.根据权利要求6所述的采集数据审核的装置,其特征在于,还包括:
所述知识库预先设置数据的性能指标的阈值,以符合所述阈值为判断数据正确的条件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810601385.5A CN108809716A (zh) | 2018-06-12 | 2018-06-12 | 一种采集数据审核的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810601385.5A CN108809716A (zh) | 2018-06-12 | 2018-06-12 | 一种采集数据审核的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108809716A true CN108809716A (zh) | 2018-11-13 |
Family
ID=64085365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810601385.5A Pending CN108809716A (zh) | 2018-06-12 | 2018-06-12 | 一种采集数据审核的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108809716A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882289A (zh) * | 2020-07-01 | 2020-11-03 | 国网河北省电力有限公司经济技术研究院 | 一种项目数据审核指标区间测算的装置和方法 |
CN112347072A (zh) * | 2020-09-30 | 2021-02-09 | 宁波三星医疗电气股份有限公司 | 一种电力采集终端数据的校验方法 |
CN113723819A (zh) * | 2021-08-31 | 2021-11-30 | 成都航空职业技术学院 | 一种基于物联网的教育考评数据传输方法及系统 |
CN113723819B (zh) * | 2021-08-31 | 2024-05-31 | 成都航空职业技术学院 | 一种基于物联网的教育考评数据传输方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160330086A1 (en) * | 2014-03-18 | 2016-11-10 | Hitachi, Ltd. | Data transfer monitor system, data transfer monitor method and base system |
CN106355924A (zh) * | 2016-09-06 | 2017-01-25 | 江苏智通交通科技有限公司 | 交通数据质量监控系统 |
CN107833600A (zh) * | 2017-10-25 | 2018-03-23 | 医渡云(北京)技术有限公司 | 医疗数据录入核查方法及装置、存储介质、电子设备 |
-
2018
- 2018-06-12 CN CN201810601385.5A patent/CN108809716A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160330086A1 (en) * | 2014-03-18 | 2016-11-10 | Hitachi, Ltd. | Data transfer monitor system, data transfer monitor method and base system |
CN106355924A (zh) * | 2016-09-06 | 2017-01-25 | 江苏智通交通科技有限公司 | 交通数据质量监控系统 |
CN107833600A (zh) * | 2017-10-25 | 2018-03-23 | 医渡云(北京)技术有限公司 | 医疗数据录入核查方法及装置、存储介质、电子设备 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882289A (zh) * | 2020-07-01 | 2020-11-03 | 国网河北省电力有限公司经济技术研究院 | 一种项目数据审核指标区间测算的装置和方法 |
CN111882289B (zh) * | 2020-07-01 | 2023-11-14 | 国网河北省电力有限公司经济技术研究院 | 一种项目数据审核指标区间测算的装置和方法 |
CN112347072A (zh) * | 2020-09-30 | 2021-02-09 | 宁波三星医疗电气股份有限公司 | 一种电力采集终端数据的校验方法 |
CN112347072B (zh) * | 2020-09-30 | 2023-07-04 | 宁波三星医疗电气股份有限公司 | 一种电力采集终端数据的校验方法 |
CN113723819A (zh) * | 2021-08-31 | 2021-11-30 | 成都航空职业技术学院 | 一种基于物联网的教育考评数据传输方法及系统 |
CN113723819B (zh) * | 2021-08-31 | 2024-05-31 | 成都航空职业技术学院 | 一种基于物联网的教育考评数据传输方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103902646B (zh) | 一种分布式任务管理系统与方法 | |
CN103684878B (zh) | 一种操作命令参数管控方法和设备 | |
CN109471845A (zh) | 日志管理方法、服务器及计算机可读存储介质 | |
CN107220123A (zh) | 一种解决Spark数据倾斜方法及系统 | |
CN107992415A (zh) | 一种交易系统的故障定位和分析方法及相关服务器 | |
CN108809716A (zh) | 一种采集数据审核的方法和装置 | |
CN107766730A (zh) | 一种针对大规模目标进行漏洞预警的方法 | |
CN106445639A (zh) | 监测虚拟机的方法及装置 | |
CN106354616A (zh) | 监测应用执行性能的方法、装置及高性能计算系统 | |
CN110096419A (zh) | 接口日志的获取方法、接口日志管理服务器及业务服务器 | |
CN110401697A (zh) | 一种并发处理http请求的方法、系统及设备 | |
CN106713396A (zh) | 服务器调度方法和系统 | |
CN106201917B (zh) | 一种数据处理系统和方法 | |
CN109240822A (zh) | 应用程序弹性伸缩的方法、装置和存储介质以及电子设备 | |
CN106445686A (zh) | 资源分配方法及装置 | |
CN111181800A (zh) | 测试数据处理方法、装置、电子设备及存储介质 | |
CN111224843A (zh) | 资源链路监控方法、装置、设备和存储介质 | |
CN110515938B (zh) | 基于kafka消息总线的数据汇聚存储方法、设备和存储介质 | |
CN106714189A (zh) | 一种小区过覆盖的分析方法及装置 | |
CN116257427A (zh) | 联邦学习任务的异构测试方法、系统、设备及存储介质 | |
US20190052540A1 (en) | Methods and systems for improved computer network analysis | |
CN109784634A (zh) | 服务区域划分方法、电子装置及可读存储介质 | |
CN107391866A (zh) | 一种基于多处理器的aadl模型的可调度性分析方法 | |
CN109766028B (zh) | 一种红外触摸屏触控分管系统和方法 | |
CN107229569A (zh) | 面向多执行技术的自动化测试集中调度执行方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181113 |