CN115580546A - 一种数据订阅方法、装置、电子设备及可读存储介质 - Google Patents
一种数据订阅方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN115580546A CN115580546A CN202211420909.3A CN202211420909A CN115580546A CN 115580546 A CN115580546 A CN 115580546A CN 202211420909 A CN202211420909 A CN 202211420909A CN 115580546 A CN115580546 A CN 115580546A
- Authority
- CN
- China
- Prior art keywords
- data
- subscription
- strategy
- independent
- policy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 abstract description 12
- 238000012545 processing Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/026—Capturing of monitoring data using flow identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种数据订阅方法、装置、电子设备及可读存储介质，该方法包括：获取当前业务场景的数据需求，判断所述数据需求中是否存在需要独立订阅的数据源，若是，则根据所述需要独立订阅的数据源从当前接入的流量设备集合中提取目标流量设备子集，以及，为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，为剩余流量设备配置全局订阅策略；若否，则直接为当前接入的流量设备集合配置全局订阅策略。本发明能够根据业务场景的数据需求为需要独立订阅的数据源设备配置独立订阅策略，从而为分析价值高的流量设备制定了独立订阅策略，满足数据分析需求。
Description
技术领域
本发明涉及数据订阅管理技术领域，具体涉及一种数据订阅方法、装置、电子设备及可读存储介质。
背景技术
网络流量分析目前已经成为网络安全检测和调查分析的主要技术手段，它通过对网络通讯流量进行实时采集、数据解析和全量存储，能够实现对各种已知的网络攻击和潜伏的高级未知攻击进行调查分析和追溯取证，在网络流量分析技术中，通常由数据分析平台对所有流量设备的数据进行统一收集，存储，集中查询和分析，从而进行集中的安全事件发现、定位和追溯分析。目前，数据分析平台在网络数据的收集中，主要收集以下几种数据：
（1）警报日志：流量设备产生的所有警报日志；
（2）网络日志：HTTP日志、DNS日志、FTP日志、ICMP日志等各种会话类日志、数据库类日志、文件传输类日志；
（3）非结构化数据：流量设备还原的各类PE文件和非PE文件；
（4）其他自定义数据：除了上述数据类型外，其他用户自定义的网络日志如自定义HTTP日志等；
数据分析平台在对数据的收集和处理上，目前采用全量收集的方式，分析平台提供全局策略，所有流量设备均按照同一种策略进行数据提取和上报。
在实际的应用场景中，流量设备的处理性能不尽相同，其部署位置不一，从数据源的提取和上报来说，由于采用统一的全局策略，如果统一的全局策略是以高性能设备为参考制定，那么势必会造成处理性能稍差的流量设备数据提取不全或数据丢失，如果策略以低性能设备为参考制定，那么处理性能较好的流量设备则不能发挥其应有的数据价值。
从数据收集和处理层面来说，安全分析平台统一对流量设备上报的数据进行全量收集和入库持久化，并未对数据进行清洗、聚合处理，从安全分析的角度来说，尽管原始的数据能提供最直接的数据证据，但在海量的数据中进行数据检索无疑增加了系统的性能开销和损耗；从数据利用和传输效率来说，分析平台不分设备类型、不按设备性能统一提取和订阅相同的数据类型，不仅会影响分析平台数据传输效率和入库性能，更重要的是会造成数据冗余，堆积大量无用的脏数据。因此现有采用全局订阅策略的监控技术会造成数据的丢失或设备数据采集性能的浪费。
发明内容
本发明的目的在于克服现有技术中所存在的数据分析平台对所有流量设备的数据均采用统一的策略进行数据收集、不满足数据分析需求的问题，提供一种数据订阅方法、装置、电子设备及可读存储介质，本方法能够根据业务场景的数据需求，根据需要独立订阅的数据源为指定流量设备配置独立订阅策略和/组合订阅策略，以精准获取分析价值高的数据源，满足数据分析需求。为了实现上述发明目的，本发明提供了以下技术方案：
一种数据订阅方法，包括：
获取当前业务场景的数据需求，判断所述数据需求中是否存在需要独立订阅的数据源，若是，则根据所述需要独立订阅的数据源从当前接入的流量设备集合中提取目标流量设备子集，以及，为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，为剩余流量设备配置全局订阅策略；
若否，则直接为当前接入的流量设备集合配置全局订阅策略。
根据一种具体的实施方式，上述数据订阅方法中，所述为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，包括：
对所提取的目标流量设备子集及其数据链路进行相似性分析，根据相似性分析结果判断其中是否存在可组合的流量设备或者数据链路；若否，则直接为目标流量设备子集及其数据链路配置相应的独立订阅策略；
若是，则为具有相同数据源的流量设备或者链路配置组合订阅策略，并判断当前目标流量设备子集中是否存在未配置策略的流量设备或数据链路，若存在未配置策略的流量设备或数据链路，则为所述未配置策略的流量设备或数据链路配置相应的独立订阅策略。
根据一种具体的实施方式，上述数据订阅方法中，包括：警报日志、元数据日志、文件日志、邮件日志、证书日志中的一种或多种；
其中，所配置独立订阅策略和/或组合订阅策略与每个所述需要独立订阅的数据源的数据类型相关联。
根据一种具体的实施方式，上述数据订阅方法中，所述方法还包括：在配置完当前接入的流量设备集合的订阅策略之后的过滤步骤；
所述过滤步骤，包括：
根据流量设备对应的订阅策略类型设置相应的字段级数据过滤条件，基于所述字段级数据过滤条件对配置了独立订阅策略、组合订阅策略或者所述全局订阅策略的流量设备上传的数据进行过滤。
本发明的另一方面，提供一种数据订阅装置（即数据分析平台），包括：
获取模块，用于获取当前业务场景的数据需求；
判断模块，判断所述数据需求中是否存在需要独立订阅的数据源，若是，则根据所述需要独立订阅的数据源从当前接入的流量设备集合中提取目标流量设备子集，并向配置模块发送第一订阅策略配置指令；若否，则向配置模块发送第二订阅策略配置指令；
配置模块，用于基于所述第一订阅策略配置指令，为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，并为剩余流量设备配置全局订阅策略；以及，基于所述第二订阅策略配置指令直接为当前接入的流量设备集合配置全局订阅策略。
根据一种具体的实施方式，上述数据订阅装置中，所述配置模块被配置为：基于所述第一订阅策略配置指令，对所提取的目标流量设备子集及其数据链路进行相似性分析，根据相似性分析结果判断其中是否存在可组合的流量设备或者数据链路；若否，则直接为目标流量设备子集及其数据链路配置相应的独立订阅策略；
若是，则为具有相同数据源的流量设备或者链路配置组合订阅策略，并判断当前目标流量设备子集中是否存在未配置策略的流量设备或数据链路，若存在未配置策略的流量设备或数据链路，则为所述未配置策略的流量设备或数据链路配置相应的独立订阅策略。
根据一种具体的实施方式，上述数据订阅装置中，所述装置还包括：数据过滤模块，
所述配置模块还用于根据流量设备对应的订阅策略类型设置相应的字段级数据过滤条件，并发送至所述数据过滤模块；
所述数据过滤模块，用于基于相应的字段级数据过滤条件对配置了不同订阅策略的流量设备上传的数据进行过滤。
本发明的另一方面，还提供一种电子设备，包括处理器、网络接口和存储器，所述处理器、所述网络接口和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如上述数据订阅方法。
本发明的另一方面，还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，所述程序指令被至少一个处理器执行时，用于实现上述数据订阅方法。
与现有技术相比，本发明的有益效果：
本发明实施例所提供的数据订阅方法，通过获取当前业务场景的数据需求，判断所述数据需求中是否存在需要独立订阅/或组合订阅策略的数据源，若是，则根据所述需要独立订阅的数据源从当前接入的流量设备集合中提取目标流量设备子集，以及，为所述目标流量设备子集配置独立订阅策略和/或组合订阅策略，为提取所述目标流量设备子集后的剩余流量设备配置全局订阅策略；若否，则直接为当前接入的流量设备集合配置全局订阅策略；本方法能够根据业务场景的数据需求为需要独立订阅的数据源设备配置独立订阅策略，从而为分析价值高的流量设备制定相应的独立订阅策略和/或组合订阅策略，满足数据分析需求，避免采用通用全局策略所造成的数据丢失或设备数据采集性能浪费。
附图说明
图1为本发明示例性实施例的电子设备（即数据分析平台的硬件架构）与其连接的多个流量设备的架构示意图；
图2为本发明示例性实施例的数据订阅方法流程图；
图3为本发明示例性实施例的数据订阅装置架构示意图；
图4为本发明示例性实施例的设备硬件架构示意图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
图1示出了本发明示例性实施例的电子设备（分析平台）与其连接的多个流量设备的架构示意图，
流量设备（如上图中流量设备1、流量设备2）分布式部署于不同的网络节点，每个流量设备支持创建不少于1条网络链路，所有流量设备接入安全分析平台进行集中管理。基于图1所示的分析平台架构，图2示出了本发明示例性实施例的数据订阅方法，包括：
获取当前业务场景的数据需求，判断所述数据需求中是否存在需要独立订阅的数据源，若是，则根据所述需要独立订阅的数据源从当前接入的流量设备集合中提取目标流量设备子集，以及，为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，为剩余流量设备配置全局订阅策略；
若否，则直接为当前接入的流量设备集合配置全局订阅策略。
其中，分析平台即电子设备，可以是终端、计算机、服务器等，本实施例不做限定。
本发明实施例所提供的数据订阅方法，能够根据业务场景的数据需求为需要独立订阅的数据源设备配置独立订阅策略和/或组合订阅策略，从而为分析价值高的独立流量设备、或者可以集中分析的组合流量设备制定了独立订阅策略和/或组合订阅策略，满足业务场景的数据分析需求，避免采用通用全局策略所造成数据的丢失或设备数据采集性能的浪费。
实施例2
在一种可能的实现方式中，通过对当前接入的流量设备集合进行标识定义，或者通过预存设备IP地址的方式对当前接入的流量设备集合进行管理。
在一种可能的实现方式中，为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，包括：
对所提取的目标流量设备子集及其数据链路进行相似性分析，根据相似性分析结果判断其中是否存在可组合的流量设备或者数据链路；若否，则直接为目标流量设备子集及其数据链路配置相应的独立订阅策略；
若是，则为具有相同数据源的流量设备或者链路配置组合订阅策略，并判断当前目标流量设备子集中是否存在未配置策略的流量设备或数据链路，若是，则为所述未配置的流量设备或数据链路配置相应的独立订阅策略。
具体的，对目标流量设备进行流量数据的相似性分析，分析其中是否存在具有相同属性、相同性能或相同数据要求的流量设备或网络链路，若是，即相似的设备或链路为可组合的设备与链路，将可组合的流量设备与数据链路加入组（以标识或IP地址进行定义）并设置组策略。如上图流量设备1、流量设备2作为第一订阅组，流量设备3和流量设备4作为第二订阅组；此外，还提供链路组合订阅，如上图链路1、链路3、链路5可作为一个订阅组，链路2、链路4可作为一个订阅组等等，灵活的组合订阅模式能够满足各种场景的数据订阅配置要求。
本实施例中，通过对具有相同业务要求的设备或链路任意添加为同一个组，归属于组内的设备或链路共享策略，为流量设备的数据订阅提供组策略的订阅模式，进一步增加了数据订阅的灵活度。
在一种可能的实施方式中，所述需要独立订阅的数据源的数据类型，包括：警报日志、元数据日志、文件日志、邮件日志、证书日志中的一种或多种；其中，所配置独立订阅策略和/或组合订阅策略与每个所述需要独立订阅的数据源的数据类型相关联。
例如，以一个特定的业务场景，其需要独立订阅的数据源为：office类文件与图片类文件、特定邮箱地址收/发邮件与邮件附件，以及流量设备1、流量设备2和流量设备3链路6作为一个组合订阅组，流量设备3的链路5为独立订阅链路，流量设备4为全局订阅设备为例：根据office类文件与图片类文件的数据特点设置第一订阅策略（即获取数据的频率与单次获取数据量），根据特定邮箱地址收/发邮件与邮件附件的数据特点设置第二订阅策略；将第一订阅策略作为所述组合订阅组的订阅策略，将第二订阅策略作为链路5的独立订阅策略，将流量设备4配置为全局订阅。
在一种可能的实现方式中，所述方法还包括：在配置完当前接入的流量设备集合的订阅策略之后的过滤步骤；
所述过滤步骤，包括：
根据流量设备对应的订阅策略类型设置相应的字段级数据过滤条件，基于所述字段级数据过滤条件对配置了独立订阅策略、组合订阅策略或者所述全局订阅策略的流量设备上传的数据进行过滤。
其中，根据不同的订阅策略类型设置相应的过滤条件，如警报日志、HTTP日志、DNS日志等，支持根据日志类型进行字段级过滤条件配置。例如：在全局订阅策略下，为了更有针对性的订阅数据，同时减少数据量，可配置仅订阅特定协议（如HTTP协议）以及特定文件类型(如docx，xlsx，pdf等)的网络日志，不匹配条件的的日志将不会订阅。在独立订阅策略中，为了获取更丰富的数据，可选择性订阅更多协议，更多文件类型的数据，以过滤文件类型单一的数据。
本实施例，通过增加数据上报的过滤配置，针对不同订阅策略中设置相应的数据过滤条件，不仅解决了数据传输、数据入库的性能问题，而且能够实现更精准的数据分析要求。
可以理解的是，分析平台需要尽量灵活适配各种业务场景，因此，本发明实施例所提供的应用于分析平台的数据订阅方法，在设置全局策略基础上，根据业务场景的数据需求，配置独立设备策略（根据设备属性、设备性能或数据要求对单台流量设备设置独立的订阅策略）和/或组合订阅策略，从而涵盖了全局策略、设备级策略以及链路级策略，从而满足各种业务场景的需求。
如图3所示，本发明实施例的另一方面，还提供一种数据订阅装置，应用于分析平台，包括：
获取模块，用于获取当前业务场景的数据需求；
判断模块，判断所述数据需求中是否存在需要独立订阅的数据源，若是，则根据所述需要独立订阅的数据源从当前接入的流量设备集合中提取目标流量设备子集，并向配置模块发送第一订阅策略配置指令；若否，则向配置模块发送第二订阅策略配置指令；
配置模块，用于基于所述第一订阅策略配置指令，为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，并为剩余流量设备配置全局订阅策略；以及，基于所述第二订阅策略配置指令直接为当前接入的流量设备集合配置全局订阅策略。
在一种可能的实现方式中，上述配置模块被配置为：所述配置模块被配置为：基于所述第一订阅策略配置指令，对所提取的目标流量设备子集及其数据链路进行相似性分析，根据相似性分析结果判断其中是否存在可组合的流量设备或者数据链路；若否，则直接为目标流量设备子集及其数据链路配置相应的独立订阅策略；
若是，则为具有相同数据源的流量设备或者链路配置组合订阅策略，并判断当前目标流量设备子集中是否存在未配置策略的流量设备或数据链路，若是，则为所述未配置的流量设备或数据链路配置相应的独立订阅策略。
在一种可能的实现方式中，上述数据订阅装置还包括：数据过滤模块，
所述配置模块还用于根据流量设备对应的订阅策略类型设置相应的字段级数据过滤条件，并发送至所述数据过滤模块；
所述数据过滤模块，用于基于相应的字段级数据过滤条件对配置了不同订阅策略的流量设备上传的数据进行过滤。
本实施例，通过增加数据上报的过滤配置，不仅解决了数据传输、数据入库的性能问题，而且能够实现更精准的数据分析要求。
本发明的另一方面，如图4所示，还提供一种分析平台（电子设备），该分析平台包括处理器、网络接口和存储器，所述处理器、所述网络接口和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述数据订阅方法。
本发明的另一方面，还提供一种计算机存储介质，所述计算机存储介质中存储有程序指令，所述程序指令被至少一个处理器执行时，用于实现上述数据订阅方法。
在本发明的实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
应该理解到，本发明所揭露的系统，可通过其它的方式实现。例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，模块之间的通信连接可以是通过一些接口，服务器或单元的间接耦合或通信连接，可以是电性或其它的形式。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种数据订阅方法，其特征在于，包括：
获取当前业务场景的数据需求，判断所述数据需求中是否存在需要独立订阅的数据源，若是，则根据所述需要独立订阅的数据源从当前接入的流量设备集合中提取目标流量设备子集，以及，为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，为剩余流量设备配置全局订阅策略；
若否，则直接为当前接入的流量设备集合配置全局订阅策略。
2.根据权利要求1所述的数据订阅方法，其特征在于，所述为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，包括：
对所提取的目标流量设备子集及其数据链路进行相似性分析，根据相似性分析结果判断其中是否存在可组合的流量设备或者数据链路，若否，则直接为目标流量设备子集及其数据链路配置相应的独立订阅策略；
若是，则为具有相同数据源的流量设备或者链路配置组合订阅策略，并判断当前目标流量设备子集中是否存在未配置策略的流量设备或数据链路，若存在未配置策略的流量设备或数据链路，则为所述未配置策略的流量设备或数据链路配置相应的独立订阅策略。
3.根据权利要求1所述的数据订阅方法，其特征在于，所述需要独立订阅的数据源，包括：警报日志、元数据日志、文件日志、邮件日志、证书日志中的一种或多种；
其中，所配置独立订阅策略和/或组合订阅策略与每个所述需要独立订阅的数据源的数据类型相关联。
4.根据权利要求1-3任一所述的数据订阅方法，其特征在于，所述方法还包括：在配置完当前接入的流量设备集合的订阅策略之后的过滤步骤；
所述过滤步骤，包括：
根据流量设备对应的订阅策略类型设置相应的字段级数据过滤条件，基于所述字段级数据过滤条件对配置了独立订阅策略、组合订阅策略或者所述全局订阅策略的流量设备上传的数据进行过滤。
5.一种数据订阅装置，其特征在于，包括：
获取模块，用于获取当前业务场景的数据需求；
判断模块，判断所述数据需求中是否存在需要独立订阅的数据源，若是，则根据所述需要独立订阅的数据源从当前接入的流量设备集合中提取目标流量设备子集，并向配置模块发送第一订阅策略配置指令；若否，则向配置模块发送第二订阅策略配置指令；
配置模块，用于基于所述第一订阅策略配置指令，为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，并为剩余流量设备配置全局订阅策略；以及，基于所述第二订阅策略配置指令直接为当前接入的流量设备集合配置全局订阅策略。
6.根据权利要求5所述的数据订阅装置，其特征在于，所述配置模块被配置为：基于所述第一订阅策略配置指令，对所提取的目标流量设备子集及其数据链路进行相似性分析，根据相似性分析结果判断其中是否存在可组合的流量设备或者数据链路，若否，则直接为目标流量设备子集及其数据链路配置相应的独立订阅策略；
若是，则为具有相同数据源的流量设备或者链路配置组合订阅策略，并判断当前目标流量设备子集中是否存在未配置策略的流量设备或数据链路，若存在未配置策略的流量设备或数据链路，则为所述未配置策略的流量设备或数据链路配置相应的独立订阅策略。
7.根据权利要求5或6所述的数据订阅装置，其特征在于，所述装置还包括：数据过滤模块，
所述配置模块还用于根据流量设备对应的订阅策略类型设置相应的字段级数据过滤条件，并发送至所述数据过滤模块；
所述数据过滤模块，用于基于相应的字段级数据过滤条件对配置了不同订阅策略的流量设备上传的数据进行过滤。
8.一种电子设备，其特征在于，包括处理器、网络接口和存储器，所述处理器、所述网络接口和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1~4任一项所述的数据订阅方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，所述程序指令被至少一个处理器执行时，用于实现如权利要求1~4任一项所述的数据订阅方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211420909.3A CN115580546B (zh) | 2022-11-15 | 2022-11-15 | 一种数据订阅方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211420909.3A CN115580546B (zh) | 2022-11-15 | 2022-11-15 | 一种数据订阅方法、装置、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115580546A true CN115580546A (zh) | 2023-01-06 |
| CN115580546B CN115580546B (zh) | 2023-02-24 |
Family
ID=84588919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211420909.3A Active CN115580546B (zh) | 2022-11-15 | 2022-11-15 | 一种数据订阅方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115580546B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101364952A (zh) * | 2007-08-08 | 2009-02-11 | 华为技术有限公司 | 事件订阅方法及过滤规则配置方法和相关设备 |
| US8788405B1 (en) * | 2013-03-15 | 2014-07-22 | Palantir Technologies, Inc. | Generating data clusters with customizable analysis strategies |
| US20140280157A1 (en) * | 2013-03-13 | 2014-09-18 | Aeris Communications, Inc. | Management of data feeds from devices and publishing and consumption of data |
| CN106612199A (zh) * | 2015-10-26 | 2017-05-03 | 华耀(中国)科技有限公司 | 一种网络监控数据收集与分析系统及方法 |
| US20170339020A1 (en) * | 2016-05-23 | 2017-11-23 | Tivo Solutions Inc. | Subscription optimizer |
| CN107454123A (zh) * | 2016-05-31 | 2017-12-08 | 株式会社日立制作所 | 数据收集方法和数据收集装置 |
| CN109412850A (zh) * | 2018-10-25 | 2019-03-01 | 新华三技术有限公司合肥分公司 | 消息订阅控制方法及装置 |
| CN109697218A (zh) * | 2018-12-25 | 2019-04-30 | 广东亿迅科技有限公司 | 基于配置策略的高效异构数据多写方法与系统 |
| CN111654397A (zh) * | 2020-06-03 | 2020-09-11 | 中国科学院自动化研究所 | 数据订阅方法、装置、电子设备及存储介质 |
| CN113179181A (zh) * | 2021-04-25 | 2021-07-27 | 珠海格力电器股份有限公司 | 数据采集方法、装置、系统、数据处理装置及电子设备 |
| CN113609384A (zh) * | 2021-07-16 | 2021-11-05 | 广州云从凯风科技有限公司 | 数据订阅方法、设备及计算机存储介质 |
| US20210392496A1 (en) * | 2020-06-15 | 2021-12-16 | TOYOTA MOTOR ENGINEERING & MANUFACTURING NORTH AMERICA, INC., Plano, TX | System and method of manufacturer-approved access to vehicle sensor data by mobile application |
| CN113837636A (zh) * | 2021-09-29 | 2021-12-24 | 平安养老保险股份有限公司 | 业务数据获取方法、装置、设备及存储介质 |
| CN114760201A (zh) * | 2022-03-30 | 2022-07-15 | 烽台科技（北京）有限公司 | 工控设备的数据采集方法、装置、设备及存储介质 |
-
2022
- 2022-11-15 CN CN202211420909.3A patent/CN115580546B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101364952A (zh) * | 2007-08-08 | 2009-02-11 | 华为技术有限公司 | 事件订阅方法及过滤规则配置方法和相关设备 |
| US20140280157A1 (en) * | 2013-03-13 | 2014-09-18 | Aeris Communications, Inc. | Management of data feeds from devices and publishing and consumption of data |
| US8788405B1 (en) * | 2013-03-15 | 2014-07-22 | Palantir Technologies, Inc. | Generating data clusters with customizable analysis strategies |
| CN106612199A (zh) * | 2015-10-26 | 2017-05-03 | 华耀(中国)科技有限公司 | 一种网络监控数据收集与分析系统及方法 |
| US20170339020A1 (en) * | 2016-05-23 | 2017-11-23 | Tivo Solutions Inc. | Subscription optimizer |
| CN107454123A (zh) * | 2016-05-31 | 2017-12-08 | 株式会社日立制作所 | 数据收集方法和数据收集装置 |
| CN109412850A (zh) * | 2018-10-25 | 2019-03-01 | 新华三技术有限公司合肥分公司 | 消息订阅控制方法及装置 |
| CN109697218A (zh) * | 2018-12-25 | 2019-04-30 | 广东亿迅科技有限公司 | 基于配置策略的高效异构数据多写方法与系统 |
| CN111654397A (zh) * | 2020-06-03 | 2020-09-11 | 中国科学院自动化研究所 | 数据订阅方法、装置、电子设备及存储介质 |
| US20210392496A1 (en) * | 2020-06-15 | 2021-12-16 | TOYOTA MOTOR ENGINEERING & MANUFACTURING NORTH AMERICA, INC., Plano, TX | System and method of manufacturer-approved access to vehicle sensor data by mobile application |
| CN113179181A (zh) * | 2021-04-25 | 2021-07-27 | 珠海格力电器股份有限公司 | 数据采集方法、装置、系统、数据处理装置及电子设备 |
| CN113609384A (zh) * | 2021-07-16 | 2021-11-05 | 广州云从凯风科技有限公司 | 数据订阅方法、设备及计算机存储介质 |
| CN113837636A (zh) * | 2021-09-29 | 2021-12-24 | 平安养老保险股份有限公司 | 业务数据获取方法、装置、设备及存储介质 |
| CN114760201A (zh) * | 2022-03-30 | 2022-07-15 | 烽台科技（北京）有限公司 | 工控设备的数据采集方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 赵妙颖等: "基于柔性策略的变压器智能感知数据采集研究", 《计算机应用研究》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115580546B (zh) | 2023-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111131379B (zh) | 一种分布式流量采集系统和边缘计算方法 | |
| WO2022083226A1 (zh) | 异常识别方法和系统、存储介质及电子装置 | |
| US9917735B2 (en) | System and method for big data aggregation in sensor network | |
| CN103152352A (zh) | 一种基于云计算环境的全信息安全取证监听方法和系统 | |
| CN107818150A (zh) | 一种日志审计方法及装置 | |
| CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
| CN103546343B (zh) | 网络流量分析系统的网络流量展示方法和系统 | |
| US10838830B1 (en) | Distributed log collector and report generation | |
| CN110209518A (zh) | 一种多数据源日志数据集中收集存储方法及装置 | |
| CN108063685B (zh) | 日志分析方法及装置 | |
| CN105893413A (zh) | 服务器的服务扩展方法及扩展系统 | |
| CN114339719B (zh) | 一种dpi数据采集方法及相关装置 | |
| CN113225339B (zh) | 网络安全监测方法、装置、计算机设备及存储介质 | |
| Khandait et al. | IoTHunter: IoT network traffic classification using device specific keywords | |
| CN111314301A (zh) | 一种基于dns解析的网站访问控制方法及装置 | |
| CN115580546B (zh) | 一种数据订阅方法、装置、电子设备及可读存储介质 | |
| CN102271331A (zh) | 一种检测业务提供商sp站点可靠性的方法及系统 | |
| CN115712646A (zh) | 一种告警策略生成方法、装置和存储介质 | |
| CN112019604A (zh) | 边缘数据传输方法和系统 | |
| CN112688924A (zh) | 网络协议分析系统 | |
| CN113727348A (zh) | 用户设备ue用户数据的检测方法、设备及存储介质 | |
| US11522886B2 (en) | Multi-stage scanning of computer devices from different geographic locations | |
| CN111181811A (zh) | 统计方法、装置、电子设备及介质 | |
| US20130268657A1 (en) | Sampling from Distributed Streams of Data | |
| CN115664992A (zh) | 网络运行数据的处理方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231222 Address after: 100085 4701-1, 6th floor, building 1-4, courtyard 8, Shangdi West Road, Haidian District, Beijing Patentee after: BEIJING KELAI DATA ANALYSIS Co.,Ltd. Address before: 610041 12th, 13th and 14th floors, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan Patentee before: Kelai Network Technology Co.,Ltd. |