CN114116872A - 数据处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
数据处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114116872A CN114116872A CN202111434628.9A CN202111434628A CN114116872A CN 114116872 A CN114116872 A CN 114116872A CN 202111434628 A CN202111434628 A CN 202111434628A CN 114116872 A CN114116872 A CN 114116872A
- Authority
- CN
- China
- Prior art keywords
- data
- safety
- devices
- security
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 70
- 231100000279 safety data Toxicity 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims description 74
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/101—Access control lists [ACL]
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法、装置、电子设备及计算机可读存储介质。其中，该方法包括：采集多个安全设备的安全数据，其中，不同的安全设备的安全数据为不同类型的数据；采用多任务处理方式，对多个安全设备的安全数据进行处理，得到多个安全设备的安全数据的处理结果；将多个安全设备的安全数据的处理结果存储至数据库系统。本发明解决了相关技术中在进行多个安全设备的检测时，出现的难以对多个设备的数据进行联动异常检测的技术问题。
Description
技术领域
本发明涉及计算机领域，具体而言，涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网技术的发展以及电网数字化业务逐步推进，网络安全监测业务的重要性与日俱增，面向网络安全设备监测、业务系统安全监测、安全业务运维的场景不断增多，数据环境更加复杂，安全性要求更高，当前的网络安全监测能力已不能满足业务安全需求。为了更好的对网络安全进行监测，着手实施基于大数据平台的网络安全监测建设工作。
在相关技术的网络安全监测中，相关安全组件和系统，即多个安全设备的防护功能呈离散状态分布，难以快速聚焦主要问题进行处置，且需要占用相当数量的人员，用人成本提高，同时会产生人员之间沟通时效不足、信息偏差等问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法、装置、电子设备及计算机可读存储介质，以至少解决相关技术中在进行多个安全设备的检测时，出现的难以对多个设备的数据进行联动异常检测的技术问题。
根据本发明实施例的一个方面，提供了一种数据处理方法，包括：采集多个安全设备的安全数据，其中，不同的安全设备的安全数据为不同类型的数据；采用多任务处理方式，对所述多个安全设备的安全数据进行处理，得到所述多个安全设备的安全数据的处理结果；将所述多个安全设备的安全数据的处理结果存储至数据库系统。
可选地，所述采用多任务处理方式，对所述多个安全设备的安全数据进行处理，得到所述多个安全设备的安全数据的处理结果之前，还包括：对所述多个安全设备的安全数据进行数据预处理，其中，所述数据预处理包括以下至少之一：数据识别，数据去噪，数据去重，数据范式化。
可选地，所述采用多任务处理方式，对所述多个安全设备的安全数据进行处理，得到所述多个安全设备的安全数据的处理结果，包括：获取所述多个安全设备的安全数据分别对应的异常规则；在所述多任务处理方式为多线程的情况下，采用多线程分别依据对应的异常规则对所述多个安全设备的安全数据进行异常判断，得到所述多个安全设备的安全数据的异常处理结果。
可选地，所述将所述多个安全设备的安全数据的处理结果存储至数据库系统，包括：在所述多个安全设备的安全数据的异常处理结果中包括安全数据异常结果时，分别确定所述多个安全设备的安全数据异常结果是否存在于白名单中，其中，所述白名单中包括预先确定的多个异常数据；在所述多个安全设备的安全数据异常结果不存在于所述白名单中的情况下，将所述多个安全设备的安全数据异常结果存储至数据库系统中的异常数据库中。
可选地，所述分别确定所述多个安全设备的安全数据异常结果是否存在于白名单中之后，还包括：在所述多个安全设备的安全数据异常结果存在于所述白名单的情况下，对所述异常数据库中存储的与所述安全数据异常结果对应的异常数据的计数数量加一。
可选地，所述将所述多个安全设备的安全数据的处理结果存储至数据库系统之后，还包括：以预定周期删除所述数据库系统中所述多个安全设备的安全数据的处理结果。
根据本发明实施例的一个方面，提供了一种数据处理装置，包括：采集模块，用于采集多个安全设备的安全数据，其中，不同的安全设备的安全数据为不同类型的数据；获取模块，用于采用多任务处理方式，对所述多个安全设备的安全数据进行处理，得到所述多个安全设备的安全数据的处理结果；存储模块，用于将所述多个安全设备的安全数据的处理结果存储至数据库系统。
根据本发明实施例的一个方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任一项所述的数据处理方法。
根据本发明实施例的一个方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的数据处理方法。
根据本发明实施例的一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的数据处理方法。
在本发明实施例中，采集多个安全设备的不同类型的安全数据，采用多任务处理的方式对上述安全数据进行处理，以得到多个安全设备的安全数据的处理结果，并将该处理结果存储至数据库系统中，因为是采集了多个安全设备的安全数据，并采用多任务处理方式对安全数据进行处理的，达到了联动检测多个安全设备中的安全数据的目的，进而解决了相关技术中在进行多个安全设备的检测时，出现的难以对多个设备的数据进行联动异常检测的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的数据处理方法的流程图；
图2是本发明可选实施方式提供的数据处理方法的整体概括图；
图3是本发明可选实施方式提供的数据处理方法的流程图；
图4是本发明可选实施方式提供的数据处理方法中判断是否存在于白名单中的流程图；
图5是根据本发明实施例的数据处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
Esper：一个事件流处理和事件关联的引擎，作为实时事件驱动框架，当事件流中有事件条件发生时，Esper能够触发自定义动作。也是为了大量事件关联而设计。Esper是先编译语句，形成一个过滤层，实时过来的数据通过这个过滤层完成有效事件的筛选或形成有效事件。
Storm：分布式实时计算系统。
Port：一种接口，数据通过他在计算机和其他设备之间，网络之间，或和其他直接连接的计算机之间传递。
Kafka：开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。
Hive：是基于Hadoop的一个数据仓储工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
ES：ElasticSearch，一个高拓展和开源的全文搜索和分析引擎。
Webservice：一个软件接口，描述了一组可以在网络上通过标准化的XML消息传递访问的操作。
大数据平台：一种通过内容共享、资源共用、渠道共建和数据共通等形式来进行服务的网络平台。
实施例1
根据本发明实施例，提供了一种数据处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的数据处理方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，采集多个安全设备的安全数据，其中，不同的安全设备的安全数据为不同类型的数据；
步骤S104，采用多任务处理方式，对多个安全设备的安全数据进行处理，得到多个安全设备的安全数据的处理结果；
步骤S106，将多个安全设备的安全数据的处理结果存储至数据库系统。
通过上述步骤，采集多个安全设备的不同类型的安全数据，采用多任务处理的方式对上述安全数据进行处理，以得到多个安全设备的安全数据的处理结果，并将该处理结果存储至数据库系统中，因为是采集了多个安全设备的安全数据，并采用多任务处理方式对安全数据进行处理的，达到了联动检测多个安全设备中的安全数据的目的，进而解决了相关技术中在进行多个安全设备的检测时，出现的难以对多个设备的数据进行联动异常检测的技术问题。
作为一种可选的实施例，采集多个安全设备的安全数据，其中，不同的安全设备的安全数据为不同类型的数据。通过采集多个安全设备中的安全数据能够实现多种安全数据之间的联动，避免不同安全设备的不同监测人员之间因沟通问题产生的信息偏差，延误防守时机，同时可节省人力成本，提高工作效率。
作为一种可选的实施例，采用多任务处理方式，对多个安全设备的安全数据进行处理，得到多个安全设备的安全数据的处理结果，即能够同时对多个安全设备的数据进行实时分析与监测，以检测是否存在异常数据，并及时进行相应的处理。在得到多个安全设备的安全数据的处理结果之后，还可以将多个安全设备的安全数据的处理结果存储至数据库系统，以便于离线时也能够对数据进行查询与处理。需要说明的是，在将多个安全设备的安全数据的处理结果存储至数据库系统之后，还可以包括如下步骤：以预定周期删除数据库系统中多个安全设备的安全数据的处理结果，清除存储时间过长的数据，防止数据无限膨胀。
作为一种可选的实施例，采用多任务处理方式，对多个安全设备的安全数据进行处理，得到多个安全设备的安全数据的处理结果之前，还可以对采集的多个安全设备中的安全数据执行数据预处理操作，数据预处理包括以下至少之一：数据识别，数据去噪，数据去重，数据范式化。其中，数据识别可以确定出数据的数据类型；数据去噪可以将一些格式不合规，属性个数和要求的不一致的数据，将上述数据直接删除，提高数据质量；数据去重可以在指定的时间间隔内，将多次出现仅有时间不同其他属性相同的记录进行去重，则只保留该重复记录中的最后一条记录的数据；数据范式化则可以将不同表达方式的数据规范成统一的描述形式，例如，规范成多个字段数据。能够使得使用多任务处理方式处理的数据更加精准，更为有效，提高多任务处理的效率。
作为一种可选的实施例，采用多任务处理方式，对多个安全设备的安全数据进行处理，得到多个安全设备的安全数据的处理结果时，可以检测是否存在异常数据，具体地，可以采用如下方式：获取多个安全设备的安全数据分别对应的异常规则，在多任务处理方式为多线程的情况下，采用多线程分别依据对应的异常规则对多个安全设备的安全数据进行异常判断，得到多个安全设备的安全数据的异常处理结果。需要说明的是，在不同的线程中，所对应的异常规则是不同的，该异常规则可以是调取的通用的异常规则，也可以是根据该安全设备的场景，通过实际的经验与训练获得的。通过多线程同时对多个安全设备的安全数据进行处理，能够加快运行效率，更为及时有效的发现异常情况，以及时处理。
作为一种可选的实施例，将多个安全设备的安全数据的处理结果存储至数据库系统时，分为多种情况，在多个安全设备的安全数据的异常处理结果中包括安全数据异常结果时，分别确定多个安全设备的安全数据异常结果是否存在于白名单中，其中，白名单中包括预先确定的多个异常数据，在多个安全设备的安全数据异常结果不存在于白名单中的情况下，将多个安全设备的安全数据异常结果存储至数据库系统中的异常数据库中。在多个安全设备的安全数据异常结果存在于白名单的情况下，对异常数据库中存储的与安全数据异常结果对应的异常数据的计数数量加一。在异常数据库中存储异常数据没有与安全数据异常结果对应的情况下，将得到异常结果的安全数据存储于异常数据库中。其中，白名单为符合异常规则，但依旧不认为是异常数据的名单，该名单可以进行自主的设置。通过设置白名单，能够使得异常数据库中存储的数据是异常的数据，以便对异常数据库中存储的数据进行分析处理。
基于上述实施例及可选实施例，提供了一种可选实施方式，下面具体说明。
在相关技术中，存在多个安全设备缺少关联分析和策略联动，而且相关数据未进行集中采集和分析提炼，导致无法快速聚焦主要问题进行处置的问题。
鉴于此，本发明可选实施方式中提供了本发明可选实施方式提供了一种基于大数据计算平台的数据处理方法，图2是本发明可选实施方式提供的数据处理方法的整体概括图，如图2所示，其能够应用于大屏显示，指标计算，知识图谱等多个场景，对数据进行分析、计算、存储，能够提高数据处理的效率，而且能够实现对多个设备的数据进行联动处理的效果。图3是本发明可选实施方式提供的数据处理方法的流程图，如图3所示，下面对本发明可选实施方式提供的方法进行详细介绍：
S1，采集多个设备中的数据，其中，采集数据可以通过如下多种方式：系统日记或系统记录syslog，web服务webservice，网络安全监测装置数据采集软件agent探针，情报收集等；
S2，通过大数据平台对采集到的数据进行预处理；
将采集到的数据发送到kafka消息队列，通过Storm计算引擎将数据从kafka消息队列中取出，对数据进行数据预处理，例如，识别、去重、去噪、范式化等处理，将处理完的数据分别发送到数据分析队列。
在数据预处理的过程中，包括如下几个主要部分：
1)数据识别：对数据进行识别，根据数据的port值关联事先缓存的分类表，选取解决问题需要的数据识别码，确定数据类型。
2)数据去噪：从数据中将一些格式不合规，属性个数和要求的不一致的数据直接删除，提高数据质量。
3)数据去重：对数据进行去重，在指定的时间间隔内，如果多次出现仅有时间不同，其他属性相同的记录，则只保留该重复记录中的最后一条记录。
4)数据范式化：对数据进行范式化处理，范式化处理可以安排在对数据进行前述处理之后，将各种不同表达方式的数据转换成的统一的描述形式。分析人员不必再去熟悉不同数据，从而大大提升分析和审计工作效率。
需要说明的是，系统提供的范式化字段包括数据接收时间、数据产生时间、数据持续时间、用户名称、源地址、源地址、源端口、操作、目的地址、目的地址、目的端口、数据的事件名称、摘要、等级、原始等级、原始类型、网络协议、网络应用协议、设备地址、设备名称、设备类型等，除此之外系统还可以提供多个备用字段，供高级数据分析人员分析时使用，字段数量可以有几十个，并且可以根据管理人员的需要进行数量扩展，提供更强大的数据描述信息，使范式化后的数据详尽而易读，更能满足复杂的多维度统计分析和审计要求。技术人员还根据最佳实践和相关技术标准对每种数据进行了手工分类和分析工作，加入新的数据类型字段，丰富数据所蕴含的信息量，让枯燥的数据信息变得更可理解。
S2，对预处理后的数据进行多任务处理，供后续实时关联分析使用；
将数据分析队列中的数据进行分类，针对大部分数据，最终的分类为告警数据(EventWarning)，指标数据(IndicatorSingle)，心跳数据(DataQualityHeartBeat)。不同类型的数据放到不同的线程池的队列里，将最新的数据，交给线程来处理。
其中，数据可以先反序列化为对象，对象再转为Esper事件并发送到Esper，监测是否存在异常，将存在异常地Esper事件对应的异常数据入异常数据库。需要说明的是，该步骤为待监控数据源注册元数据，该元数据用于描述该待监控数据源的信息；然后该数据处理程序根据该元数据的属性定义该待监控数据源的异常规则，并将定义的过程翻译为Esper的类SQL语句；然后该数据处理程序监控该待监控数据源；当该待监控数据源触发该异常规则时，判断为异常数据的数据入异常数据库。
S3，将在数据进行多任务处理中判断为异常数据的数据入异常数据库；
图4是本发明可选实施方式提供的数据处理方法中判断是否存在于白名单中的流程图，如图4所示，通过计算引擎中的whiteListStream工具判断出判断为异常数据的数据是否在白名单列表中，预先在异常数据库中存储白名单，分别按照异常数据中的IP等字段来查询白名单，若在白名单中，则该异常数据不入库，继续读取下一条异常数据；否则对其进行入库操作。在入库操作过程中若异常数据库中不存在源IP相同、目的IP相同等，即与异常数据相同的预存异常数据，则直接插入异常数据库，否则将已有预存异常数据的计数数量加1。
S4，将多任务处理后的数据通过大数据平台存储，即为上述的数据库系统，供后续离线分析任务使用。
将数据通过大数据平台的Hive组件存储，其中，异常的数据存储入大数据平台的异常数据库中，不为异常的数据直接存储在大数据平台中，对于Hive组件存储的6个月之前的历史数据进行自动删除。大数据平台即为上述的数据库系统。
S5，将多任务处理后的数据发送给ES(ElasticSearch)。ES会对数据进行词元提取，并对提取的词元进行索引，实现对格式化字段和全文的索引，通过全文索引技术，系统可以为分析人员提供一个灵活方便的分析工具，大大提高使用系统的灵活便利性。
通过上述可选实施方式，可以达到至少以下几点有益效果：
(1)通过设计异常规则功能，将数据与异常规则相匹配后即可入异常数据库。
(2)对于多个安全设备，利用异常规则可以进行异常的综合分析，避免了安全设备的独立与离散。当多个安全设备监测到同种异常数据时，可对此类异常进行重点研判与关注，便于网络安全监测的聚焦与防守；
(3)可以同时对多个安全设备的异常数据做到实时分析与监测，避免监测人员之间因沟通问题产生的信息偏差，延误防守时机。同时可节省人力成本，提高工作效率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
实施例2
根据本发明实施例，还提供了一种用于实施上述数据处理方法的装置，图5是根据本发明实施例的数据处理装置的结构框图，如图5所示，该装置包括：采集模块502，获取模块504和存储模块506，下面对该装置进行详细说明。
采集模块502，用于采集多个安全设备的安全数据，其中，不同的安全设备的安全数据为不同类型的数据；获取模块504，连接于上述采集模块502，用于采用多任务处理方式，对多个安全设备的安全数据进行处理，得到多个安全设备的安全数据的处理结果；存储模块506，连接于上述获取模块504，用于将多个安全设备的安全数据的处理结果存储至数据库系统。
此处需要说明的是，上述采集模块502，获取模块504和存储模块506对应于实施数据处理方法中的步骤S102至步骤S106，多个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
实施例3
根据本发明实施例的另外一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器被配置为执行指令，以实现上述任一项的数据处理方法。
实施例4
根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项的数据处理方法。
实施例5
根据本发明实施例的另外一个方面，还提供了一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的数据处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
采集多个安全设备的安全数据，其中，不同的安全设备的安全数据为不同类型的数据；
采用多任务处理方式，对所述多个安全设备的安全数据进行处理，得到所述多个安全设备的安全数据的处理结果；
将所述多个安全设备的安全数据的处理结果存储至数据库系统。
2.根据权利要求1所述的方法，其特征在于，所述采用多任务处理方式，对所述多个安全设备的安全数据进行处理，得到所述多个安全设备的安全数据的处理结果之前，还包括：
对所述多个安全设备的安全数据进行数据预处理，其中，所述数据预处理包括以下至少之一：数据识别，数据去噪，数据去重，数据范式化。
3.根据权利要求1所述的方法，其特征在于，所述采用多任务处理方式，对所述多个安全设备的安全数据进行处理，得到所述多个安全设备的安全数据的处理结果，包括：
获取所述多个安全设备的安全数据分别对应的异常规则；
在所述多任务处理方式为多线程的情况下，采用多线程分别依据对应的异常规则对所述多个安全设备的安全数据进行异常判断，得到所述多个安全设备的安全数据的异常处理结果。
4.根据权利要求3所述的方法，其特征在于，所述将所述多个安全设备的安全数据的处理结果存储至数据库系统，包括：
在所述多个安全设备的安全数据的异常处理结果中包括安全数据异常结果时，分别确定所述多个安全设备的安全数据异常结果是否存在于白名单中，其中，所述白名单中包括预先确定的多个异常数据；
在所述多个安全设备的安全数据异常结果不存在于所述白名单中的情况下，将所述多个安全设备的安全数据异常结果存储至数据库系统中的异常数据库中。
5.根据权利要求4所述的方法，其特征在于，所述分别确定所述多个安全设备的安全数据异常结果是否存在于白名单中之后，还包括：
在所述多个安全设备的安全数据异常结果存在于所述白名单的情况下，对所述异常数据库中存储的与所述安全数据异常结果对应的异常数据的计数数量加一。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述将所述多个安全设备的安全数据的处理结果存储至数据库系统之后，还包括：
以预定周期删除所述数据库系统中所述多个安全设备的安全数据的处理结果。
7.一种数据处理装置，其特征在于，包括：
采集模块，用于采集多个安全设备的安全数据，其中，不同的安全设备的安全数据为不同类型的数据；
获取模块，用于采用多任务处理方式，对所述多个安全设备的安全数据进行处理，得到所述多个安全设备的安全数据的处理结果；
存储模块，用于将所述多个安全设备的安全数据的处理结果存储至数据库系统。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的数据处理方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的数据处理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111434628.9A CN114116872A (zh) | 2021-11-29 | 2021-11-29 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111434628.9A CN114116872A (zh) | 2021-11-29 | 2021-11-29 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114116872A true CN114116872A (zh) | 2022-03-01 |
Family
ID=80371248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111434628.9A Pending CN114116872A (zh) | 2021-11-29 | 2021-11-29 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114116872A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114844707A (zh) * | 2022-05-07 | 2022-08-02 | 南京南瑞信息通信科技有限公司 | 一种基于图数据库的电网网络安全分析方法及系统 |
| CN114884987A (zh) * | 2022-04-24 | 2022-08-09 | 青岛海信医疗设备股份有限公司 | 获取设备状态信息的方法、装置及存储介质 |
-
2021
- 2021-11-29 CN CN202111434628.9A patent/CN114116872A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114884987A (zh) * | 2022-04-24 | 2022-08-09 | 青岛海信医疗设备股份有限公司 | 获取设备状态信息的方法、装置及存储介质 |
| CN114884987B (zh) * | 2022-04-24 | 2024-03-29 | 青岛海信医疗设备股份有限公司 | 获取设备状态信息的方法、装置及存储介质 |
| CN114844707A (zh) * | 2022-05-07 | 2022-08-02 | 南京南瑞信息通信科技有限公司 | 一种基于图数据库的电网网络安全分析方法及系统 |
| CN114844707B (zh) * | 2022-05-07 | 2024-04-02 | 南京南瑞信息通信科技有限公司 | 一种基于图数据库的电网网络安全分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111581054B (zh) | 一种基于elk的日志埋点的业务分析告警系统及方法 | |
| US9921936B2 (en) | Method and system for IT resources performance analysis | |
| CN107872454B (zh) | 超大型互联网平台威胁信息监测与分析系统及方法 | |
| CN107147639A (zh) | 一种基于复杂事件处理的实时安全预警方法 | |
| CN111740884B (zh) | 一种日志处理方法及电子设备、服务器、存储介质 | |
| WO2012155455A1 (zh) | 一种基于web平台的日志分析方法及系统 | |
| US11042525B2 (en) | Extracting and labeling custom information from log messages | |
| CN110581773A (zh) | 一种自动化服务监控与报警管理系统 | |
| CN114116872A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| KR20150009798A (ko) | 개인 정보 상시 감시 시스템 및 그 상시 감시 방법 | |
| CN117971606B (zh) | 基于ElasticSearch的日志管理系统及方法 | |
| CN113360554A (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
| CN106407429A (zh) | 文件追踪方法、装置及系统 | |
| CN106534784A (zh) | 一种用于视频分析数据结果集的采集分析存储统计系统 | |
| CN110908957A (zh) | 电力行业网络安全日志审计分析方法 | |
| CN107832333A (zh) | 基于分布式处理和dpi数据构建用户网络数据指纹的方法和系统 | |
| Al-Najran et al. | A requirements specification framework for big data collection and capture | |
| CN107871055B (zh) | 一种数据分析方法和装置 | |
| Song et al. | A framework for digital forensic investigation of big data | |
| CN113778810A (zh) | 一种日志收集方法、装置及系统 | |
| CN107729206A (zh) | 告警日志的实时分析方法、系统和计算机处理设备 | |
| CN116991675A (zh) | 一种异常访问监控方法、装置、计算机设备及存储介质 | |
| CN113434607A (zh) | 基于图数据的行为分析方法、装置、电子设备和存储介质 | |
| CN112685376A (zh) | 海量日志数据分析方法及系统 | |
| CN113190458A (zh) | 自动埋点数据分析的方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |