CN109542011B - 一种多源异构监测数据的标准化采集系统 - Google Patents
一种多源异构监测数据的标准化采集系统 Download PDFInfo
- Publication number
- CN109542011B CN109542011B CN201811476803.9A CN201811476803A CN109542011B CN 109542011 B CN109542011 B CN 109542011B CN 201811476803 A CN201811476803 A CN 201811476803A CN 109542011 B CN109542011 B CN 109542011B
- Authority
- CN
- China
- Prior art keywords
- module
- data
- host
- script
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 40
- 238000013515 script Methods 0.000 claims abstract description 66
- 239000000523 sample Substances 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000011022 operating instruction Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 claims 2
- 238000003379 elimination reaction Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000007405 data analysis Methods 0.000 abstract description 5
- 238000013480 data collection Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 102100033641 Bromodomain-containing protein 2 Human genes 0.000 description 1
- 101000871850 Homo sapiens Bromodomain-containing protein 2 Proteins 0.000 description 1
- 208000032826 Ring chromosome 3 syndrome Diseases 0.000 description 1
- 229920001872 Spider silk Polymers 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 231100000279 safety data Toxicity 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24215—Scada supervisory control and data acquisition
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种多源异构监测数据的标准化采集系统，包括用于接受外界信息并进行存储和处理的业务主机模块、用于对数据进行采集的采集探针模块，所述业务主机模块包括Server端模块和主机信息数据模块，所述采集探针模块包括业务层模块、框架层模块、底层基础库模块、应用程序管理模块和监控模块，所述业务层模块包括插件1模块、插件2模块和脚本任务模块。本发明能对原始数据进行全面高效的采集，并能原始数据进行预处理，借助大数据分析技术和海量数据支撑，实现对隐藏异常的监测，有助于完善信息安全监控体系，提升网络综合防护能力和风险处置效率，且数据采集过程中完全不影响操作系统。
Description
技术领域
本发明涉及网络信息安全技术领域，尤其涉及一种多源异构监测数据的标准化采集系统。
背景技术
信息安全领域的数据源根据类型的不同，包括结构化数据，非结构化数据和半结构化数据，数据采集方式主要通过syslog和flow技术进行采集，对于大量多源异构数据源，采用前置探针，对数据进行集中收集、规范化等工作，将数据整合后统一发送到大数据应用系统，应用系统将根据安全事件之间的相关性，进行关联分析，得到更为准确的监测信息，发现攻击源。
基于知识库多源异构数据的采集需求定义规则是对用户需求描述的限定规则，只要按照给定的规则进行描述，解析器就能正确地完成需求的解析；可视化工具是提供给安全管理用户的一个需求描述生成工具，安全管理用户可以很容易地在工具的帮助下完成需求的描述并自动生成需求描述文档；知识库按照确定的格式保存各数据库的基本信息、相关知识及异构解决方案等；推理机在需求解析、分解和优化的过程中，结合知识库完成一些推理工作；包装器和分发器分别完成执行任务的包装和分发；整合引擎完成各子系统反馈的处理结果的整合。对于半结构化和非结构化的数据，将进行统一管理。
该异构数据库访问服务平台能集成当前主流的数据的结构化数据，还必须能集成部分半结构化和非结构化数据。对于数据库的集成，只需提供数据库的基本信息，并在知识专家的帮助下，对数据库的异构问题进行归纳与抽取，找到解决方案，并对信息进行加工，按照统一的标准，融入知识库
主要的技术设计分为数据采集、安全数据中心、分析处理和呈现层。
现有技术中对监测数据采集的报道较多，CN107770290A的专利公开了一种多源异构数据快速采集系统，通过数据采集单元进行数据采集，采集的数据通过数据清洗单元进行数据清洗，数据处理单元进行数据规格化，将整理后的数据传输到云端服务器，以供用户访问使用，用户通过应用服务器访问云端存储服务器，访问过程通过安全认证单元加密认证，保障了云端存储的数据的安全，同时数据处理单元与云端存储服务器之间采用断点续传的传输方式，保障的数据的完整性，但是，经研究发现，该发明不能对采集到的信息进行初步处理，不利于提升工作效率。
CN107463137A的专利公开了一种多源异构数据一体化同步采集设备及其方法，能为大型工程安全监测提供可靠的数据支撑，而且能屏蔽信息系统的异构性和数据表示方式的差异性，将不同系统中的数据通过各种技术手段进行无缝连接，给用户提供透明、便捷的访问方式，获得各所需的有信息，但是研究发现该发明结构复杂，不方便工作人员使用。
CN107995444A的专利公开了一种面向工业生产的通用异构数据采集装置及方法，本发明组成一个从数据采集、数据处理和数据库建立的单一数据节点，并且，本装置的服务器部分充分发挥了互联网的优势，在横向将多套设备和采集装置组成的数据节点连接成了完整的参数采集和过程回溯的数据节点网络，大大提高了大规模生产产品质量监控的效率。但是经研究发现，该发明获取数据较为单一，不利于后期分析。
综上所述，如何利用大数据分析技术架构，统一收集、存储和分析安全设备、网络设备、业务系统及网络流量数据，结合安全场景建模实现数据深度挖掘，采集到更多更详尽的数据，使混杂在海量数据下的网络攻击的蜘丝马迹显露原形，为追查网络攻击提供可靠依据，是目前的主要问题，我们提出了一种多源异构监测数据的标准化采集系统，用来解决上述问题。
发明内容
基于背景技术存在的技术问题，本发明提出了一种多源异构监测数据的标准化采集系统。
本发明提出的一种多源异构监测数据的标准化采集系统，包括用于接受外界信息并进行存储和处理的业务主机模块、用于对数据进行采集的采集探针模块，所述业务主机模块包括Server端模块和主机信息数据模块，所述采集探针模块包括业务层模块、框架层模块、底层基础库模块、应用程序管理模块和监控模块，所述业务层模块包括插件1模块、插件2模块和脚本任务模块，所述框架层模块包括插件管理模块、线程池模块、消息机制模块、定时器模块、脚本执行引擎模块和脚本扩展模块，所述脚本任务模块与脚本执行引擎模块连接，且脚本执行引擎模块和脚本扩展模块连接，所述底层基础库模块包括日志模块、脚本模块、加解密模块、网络模块、本地数据库模块和配置模块，所述本地数据库模块连接有数据库模块和Table表模块，所述Table表模块连接有预处理脚本模块，所述配置模块连接有配置文件，所述应用程序管理模块包括安装模块、升级模块、卸载模块和调试模块，所述监控模块包括资源监控模块、状态上报模块、线程监控模块、降级机制模块、故障上报模块和自动启动模块。
优选地，所述预处理脚本模块包括原始数据关键字/标签（Tag）自动分析模块，所述原始数据关键字/标签（Tag）自动分析模块包括过滤规则模块、去重规则模块和编排规则模块，所述过滤规则模块、去重规则模块和编排规则模块共同连接有文件格式批量转换模块，所述文件格式批量转换模块连接有传输队列模块。
优选地，所述原始数据包括结构化数据和非结构化数据，所述结构化数据和非结构化数据共同包括有传统物理主机、公有云主机、IDC、私有云主机、其他虚拟化环境。
优选地，所述结构化数据包括主机名、操作系统类型、主机IP、主机账号、主机配置和漏洞信息。优选地，所述非结构化数据包括运行的服务、安装的软件、运行的进程、web服务、web目录、操作指令、主机发现数据、syslog日志、文件二进制数据和网络连接数据。
优选地，所述主机信息数据模块包括进程、端口、账号、中间件、数据库、大数据组件、Web应用、Web框架、Web站点、各类主机日志、入侵信息和风险信息。优选地，所述本地数据库模块用于保存采集指令脚本以及部分本地缓存数据。优选地，所述网络模块封装过了网络连接的接口信息。优选地，所述加解密模块实现采集的数据发送至Server端模块的传输加密。
优选地，所述日志模块是指采集探针的运行、安装、错误信息的日志记录。本发明中，将采集探针和业务主机的Server端进行连接，通过控制台自动发布指令至采集探针，采集探针调度的脚本任务进行数据采集，采集探针通过脚本执行引擎执行脚本任务进行原始数据采集，作为数据源的结构化数据，通过脚本提取结构化的源数据，进行简单的格式化处理，而对于非结构化数据，如主机机器运行信息数据，由于网络连接、应用程序或部分网站代码是动态变化的，没有统一的数据结构，是无法通过上面的方式自动生成代码块的，但是还可以通过定制脚本接口的方式生成适应分析处理的数据格式，这种情况下，只能针对每类不同的机器数据信息进行预处理规则的定制开发脚本扩展模块方便工作人员对脚本进行扩展和修改，从而提升脚本任务执行的质量和效率，采集的原始数据缓存到本地数据库的Table表中并加入数据预处理队列，预处理队列通过关键字/标签(Tag)自动分析对原始数据进行标记，同时利用预处理脚本中的过滤规则、去重规则、编排规则对原始数据格式进行重新定义编排，最后运用文件格式批量转换技术，对大量文件的快速转换，转换为标准的JSON格式数据，加入传输队列，传输至服务端JAVA服务。
与现有技术相比，本发明的有益效果是：
1、解决安全运维难题，满足数据全面收集的需求，以及方便分析和展示，为追查网络攻击提供可靠依据，无需启用任何监听端口，数据采集过程中采集探针对占用的所在主机资源消耗严格控制，完全不影响操作系统；
2、基于安全场景建模的技术，借助大数据分析技术和海量数据支撑，实现对隐藏异常的监测，形成基于大数据分析和安全场景建模的异常监测体系，完善信息安全监控体系，提升网络综合防护能力和风险处置效率；
本发明能对原始数据进行全面高效的采集，并能原始数据进行预处理，借助大数据分析技术和海量数据支撑，实现对隐藏异常的监测，有助于完善信息安全监控体系，提升网络综合防护能力和风险处置效率，且数据采集过程中完全不影响操作系统。
附图说明
图1为本发明提出的一种多源异构监测数据的标准化采集系统的客户端采集探针框架框图；图2为本发明提出的一种多源异构监测数据的标准化采集系统的采集数据预处理程序框图；
图3为本发明提出的一种多源异构监测数据的标准化采集系统的预处理脚本框图；图4为本发明提出的一种多源异构监测数据的标准化采集系统的框图；
图5为本发明提出的一种多源异构监测数据的标准化采集系统的原始数据框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-5，本发明提出的一种多源异构监测数据的标准化采集系统，包括用于接受外界信息并进行存储和处理的业务主机模块、用于对数据进行采集的采集探针模块，业务主机模块包括Server端模块和主机信息数据模块，主机信息数据模块包括进程、端口、账号、中间件、数据库、大数据组件、Web应用、Web框架、Web站点、各类主机日志、入侵信息和风险信息，数据采集需先在业务主机上安装1个轻量级采集探针，可通过采集探针深度采集主机的数据信息，覆盖不同类型主机机器信息数据，采集探针仅与Server端保持连接即可，无需启用任何监听端口，运行在系统RING3级别，数据采集过程中采集探针对占用的所在主机资源消耗严格控制，完全不影响操作系统；采集探针模块包括业务层模块、框架层模块、底层基础库模块、应用程序管理模块和监控模块，业务层模块包括插件1模块、插件2模块和脚本任务模块，服务前端平台与采集探针之间的直接任务交互，采用多插件的管理机制，不同插件实现不同功能，包括监控和调度功能；框架层模块包括插件管理模块、线程池模块、消息机制模块、定时器模块、脚本执行引擎模块和脚本扩展模块，脚本任务模块与脚本执行引擎模块连接，且脚本执行引擎模块和脚本扩展模块连接，也成为采集调度中心，接收来自上层下发的采集任务，并对采集线程进行性能控制，管理消息队列，同时执行用于信息采集的扩展脚本（不在本地数据库中存储的脚本，主要来自平台手动下发执行的脚本命令），调度中心配备自身的定时器，通过定时器策略机制执行预定义的采集任务；底层基础库模块包括日志模块、脚本模块、加解密模块、网络模块、本地数据库模块和配置模块，本地数据库模块用于保存采集指令脚本以及部分本地缓存数据，网络模块封装过了网络连接的接口信息，加解密模块实现采集的数据发送至Server端模块的传输加密，日志模块是指采集探针的运行、安装、错误信息的日志记录，主要是采集探针的核心基础，配置文件可对探针配置进行更改，主要是控制日志输出和性能占用的作用，数据采集指令脚本采用自研API进行封装，主要执行主机数据的采集任务，同时负责采集数据的预处理工作，预处理为JSON格式的数据；本地数据库模块连接有数据库模块和Table表模块，Table表模块连接有预处理脚本模块，预处理脚本模块包括原始数据关键字/标签（Tag）自动分析模块，原始数据关键字/标签（Tag）自动分析模块包括过滤规则模块、去重规则模块和编排规则模块，过滤规则模块、去重规则模块和编排规则模块共同连接有文件格式批量转换模块，文件格式批量转换模块连接有传输队列模块，采集探针通过执行脚本进行原始数据采集，采集的原始数据缓存到本地数据库的Table表中并加入数据预处理队列，预处理队列通过关键字/标签(Tag)自动分析对原始数据进行标记，同时利用预处理脚本中的过滤规则、去重规则、编排规则对原始数据格式进行重新定义编排，最后运用文件格式批量转换技术，对大量文件的快速转换，转换为标准的JSON格式数据，加入传输队列，传输至服务端JAVA服务；原始数据包括结构化数据和非结构化数据，结构化数据和非结构化数据共同包括有传统物理主机、公有云主机、IDC、私有云主机、其他虚拟化环境，结构化数据包括主机名、操作系统类型、主机IP、主机账号、主机配置和漏洞信息，作为数据源的结构化数据，通过脚本提取结构化的源数据，进行简单的格式化处理，如正则、类型匹配等提取数据的代码块，并将该部分代码块包装成JSON格式的标准化数据，存放于待发送区，进行发送。该操作过程，应对一个已知标准格式数据处理相对比较简单，但是如果涉及到应用或软件是独立开发的情况时，就会复杂的多；非结构化数据包括运行的服务、安装的软件、运行的进程、web服务、web目录、操作指令、主机发现数据、syslog日志、文件二进制数据和网络连接数据，对于主机机器运行信息数据，由于网络连接、应用程序或部分网站代码是动态变化的，没有统一的数据结构，是无法通过上面的方式自动生成代码块的，但是还可以通过定制脚本接口的方式生成适应分析处理的数据格式，这种情况下，只能针对每类不同的机器数据信息进行预处理规则的定制开发；配置模块连接有配置文件，应用程序管理模块包括安装模块、升级模块、卸载模块和调试模块，主要做对主机上探针的卸载、安装、升级、调试等进行管理，监控模块包括资源监控模块、状态上报模块、线程监控模块、降级机制模块、故障上报模块和自动启动模块，主要用于对采集探针自身的性能监控，针对运行状态、内存占用、CPU占用等，内存、CPU占用过高采集探针可进行自动降级运行，甚至是停止运行，不影响主机的正常业务系统，采集探针与Server端之间日常运行的心跳数据和监控自身状态的数据传输率在每秒1kb-2kb，传输峰值10kbps左右，平均每天每台agent传输6MB左右的数据，对于业务情况复杂的服务器，大概在20MB左右，采集探针与Server端之间的数据传输采用私有加密协议。
本发明中，将采集探针和业务主机的Server端进行连接，通过控制设备自动发布指令至采集探针，采集探针调度的脚本任务进行数据采集，采集探针通过脚本执行引擎执行脚本任务进行原始数据采集，作为数据源的结构化数据，通过脚本提取结构化的源数据，进行简单的格式化处理，而对于非结构化数据，如主机机器运行信息数据，由于网络连接、应用程序或部分网站代码是动态变化的，没有统一的数据结构，是无法通过上面的方式自动生成代码块的，但是还可以通过定制脚本接口的方式生成适应分析处理的数据格式，这种情况下，只能针对每类不同的机器数据信息进行预处理规则的定制开发脚本扩展模块方便工作人员对脚本进行扩展和修改，从而提升脚本任务执行的质量和效率，采集的原始数据缓存到本地数据库的Table表中并加入数据预处理队列，预处理队列通过关键字/标签(Tag)自动分析对原始数据进行标记，同时利用预处理脚本中的过滤规则、去重规则、编排规则对原始数据格式进行重新定义编排，最后运用文件格式批量转换技术，对大量文件的快速转换，转换为标准的JSON格式数据，加入传输队列，传输至服务端JAVA服务。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (1)
1.一种多源异构监测数据的标准化采集系统，包括用于接受外界信息并进行存储和处理的业务主机模块、用于对数据进行采集的采集探针模块，其特征在于：所述业务主机模块包括Server端模块和主机信息数据模块，所述采集探针模块包括业务层模块、框架层模块、底层基础库模块、应用程序管理模块和监控模块，所述业务层模块包括插件1模块、插件2模块和脚本任务模块，所述框架层模块包括插件管理模块、线程池模块、消息机制模块、定时器模块、脚本执行引擎模块和脚本扩展模块，所述脚本任务模块与脚本执行引擎模块连接，且脚本执行引擎模块和脚本扩展模块连接，所述底层基础库模块包括日志模块、脚本模块、加解密模块、网络模块、本地数据库模块和配置模块，所述本地数据库模块连接有数据库模块和Table表模块，所述Table表模块连接有预处理脚本模块，所述配置模块连接有配置文件，所述应用程序管理模块包括安装模块、升级模块、卸载模块和调试模块，所述监控模块包括资源监控模块、状态上报模块、线程监控模块、降级机制模块、故障上报模块和自动启动模块；
所述预处理脚本模块包括原始数据关键字/标签Tag自动分析模块，所述原始数据关键字/标签Tag自动分析模块包括过滤规则模块、去重规则模块和编排规则模块，所述过滤规则模块、去重规则模块和编排规则模块共同连接有文件格式批量转换模块，所述文件格式批量转换模块连接有传输队列模块；
所述原始数据包括结构化数据和非结构化数据，所述结构化数据和非结构化数据共同包括有传统物理主机、公有云主机、IDC、私有云主机、其他虚拟化环境；
所述结构化数据包括主机名、操作系统类型、主机IP、主机账号、主机配置和漏洞信息；
所述非结构化数据包括运行的服务、安装的软件、运行的进程、web服务、web目录、操作指令、主机发现数据、syslog日志、文件二进制数据和网络连接数据；
所述主机信息数据模块包括进程、端口、账号、中间件、数据库、大数据组件、Web应用、Web框架、Web站点、各类主机日志、入侵信息和风险信息；
所述本地数据库模块用于保存采集指令脚本以及部分本地缓存数据；
所述网络模块封装过了网络连接的接口信息；
所述加解密模块实现采集的数据发送至Server端模块的传输加密；
所述日志模块是指采集探针的运行、安装、错误信息的日志记录。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811476803.9A CN109542011B (zh) | 2018-12-05 | 2018-12-05 | 一种多源异构监测数据的标准化采集系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811476803.9A CN109542011B (zh) | 2018-12-05 | 2018-12-05 | 一种多源异构监测数据的标准化采集系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109542011A CN109542011A (zh) | 2019-03-29 |
| CN109542011B true CN109542011B (zh) | 2021-10-22 |
Family
ID=65853719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811476803.9A Active CN109542011B (zh) | 2018-12-05 | 2018-12-05 | 一种多源异构监测数据的标准化采集系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109542011B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110308904B (zh) * | 2019-05-30 | 2024-02-02 | 杭州微时信息技术有限公司 | 多类型前端框架的聚合方法、装置和计算机设备 |
| CN110209673B (zh) * | 2019-05-31 | 2022-01-28 | 四川长虹电器股份有限公司 | 定位数据存储、转换和查询方法 |
| CN110618983B (zh) * | 2019-08-15 | 2023-01-06 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
| CN110825711A (zh) * | 2019-10-17 | 2020-02-21 | 上海易点时空网络有限公司 | 基于Flume快速分区传输数据的方法以及装置 |
| CN111104281B (zh) * | 2019-11-20 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 一种游戏性能监控方法、装置、系统及存储介质 |
| CN110889632B (zh) * | 2019-11-27 | 2023-10-13 | 国网能源研究院有限公司 | 一种公司形象提升系统的数据监测分析系统 |
| CN111124679B (zh) * | 2019-12-19 | 2023-11-21 | 南京莱斯信息技术股份有限公司 | 一种面向多源异构海量数据限时自动处理方法 |
| CN113268530A (zh) * | 2020-02-17 | 2021-08-17 | 浙江大搜车软件技术有限公司 | 海量异构数据采集方法、系统、计算机设备和存储介质 |
| CN113553093B (zh) * | 2020-04-24 | 2023-05-02 | 上海颢联数字科技有限公司 | 一种多来源交易数据并行采集与整合的方法及其系统 |
| CN111949476A (zh) * | 2020-07-16 | 2020-11-17 | 北京思特奇信息技术股份有限公司 | 一种实时监控app内业务健康度的轻量化方法及系统 |
| CN112131110A (zh) * | 2020-09-21 | 2020-12-25 | 安徽捷兴信源信息技术有限公司 | 一种智能手机系统的多源异构数据探针方法及装置 |
| CN112491991B (zh) * | 2020-11-17 | 2023-01-06 | 上海企翔智能科技有限公司 | 工业大数据处理方法、装置和计算机设备 |
| CN112905552A (zh) * | 2021-01-29 | 2021-06-04 | 山东特检鲁安工程技术服务有限公司 | 特种设备异构数据共享方法、系统、服务器及存储设备 |
| CN112994972B (zh) * | 2021-02-02 | 2022-05-20 | 成都卓源网络科技有限公司 | 一种分布式探针监测平台 |
| CN113361723B (zh) * | 2021-05-12 | 2022-06-17 | 北京网瑞达科技有限公司 | 一种基于规则树自动匹配的it运维管理系统和方法 |
| CN114257525A (zh) * | 2021-12-21 | 2022-03-29 | 武汉思普崚技术有限公司 | 一种集控平台网络管理方法、装置、设备及存储介质 |
| CN114510367B (zh) * | 2022-01-11 | 2023-06-02 | 电子科技大学 | 一种安全智能的多源异构数据处理系统 |
| CN114546519B (zh) * | 2022-01-26 | 2023-10-03 | 华北电力大学 | 一种工控安全数据采集系统与方法 |
| CN116432208B (zh) * | 2023-06-08 | 2023-09-05 | 长扬科技(北京)股份有限公司 | 工业互联网数据的安全管理方法、装置、服务器及系统 |
| CN116562271B (zh) * | 2023-07-10 | 2023-10-10 | 之江实验室 | 一种电子病历的质控方法、装置、存储介质及电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1518284A (zh) * | 2003-01-16 | 2004-08-04 | 华为技术有限公司 | 业务测试装置及方法 |
| CN103442008A (zh) * | 2013-08-29 | 2013-12-11 | 中国科学院计算技术研究所 | 一种路由安全检测系统及检测方法 |
| CN105071954A (zh) * | 2015-07-17 | 2015-11-18 | 云南电网有限责任公司信息中心 | 基于探针技术的资源池故障诊断与定位处理方法 |
| CN105677382A (zh) * | 2015-12-28 | 2016-06-15 | 深圳市华讯方舟软件技术有限公司 | 一种大数据库系统的安装工具 |
| CN106301971A (zh) * | 2016-11-17 | 2017-01-04 | 国家电网公司 | 基于流量分析的电力应用性能监控系统 |
| CN107864056A (zh) * | 2017-11-04 | 2018-03-30 | 公安部第三研究所 | 一种分布式事件采集探针、分布式事件高速采集系统及方法 |
| CN107958322A (zh) * | 2017-10-09 | 2018-04-24 | 中国电子科技集团公司第二十八研究所 | 一种城市网络空间综合治理系统 |
| KR20180060005A (ko) * | 2016-11-28 | 2018-06-07 | 주식회사 나라시스템 | 클라우드 환경에서 개인정보 보호를 지원하는 p2p 중개 보안 시스템 |
| CN108229799A (zh) * | 2017-12-20 | 2018-06-29 | 江苏瑞中数据股份有限公司 | 一种多源异构电网运行实时数据接入系统及方法 |
| CN108449407A (zh) * | 2018-03-14 | 2018-08-24 | 中煤科工集团重庆研究院有限公司 | 多源异构煤矿安全监测数据采集方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3125140A1 (en) * | 2015-07-27 | 2017-02-01 | Hong Kong Fortune Technology Limited | Automatic optometry analysis system for children |
| US9699205B2 (en) * | 2015-08-31 | 2017-07-04 | Splunk Inc. | Network security system |
| US9996074B2 (en) * | 2016-09-21 | 2018-06-12 | International Business Machines Corporation | System and predictive modeling method for smelting process control based on multi-source information with heterogeneous relatedness |
-
2018
- 2018-12-05 CN CN201811476803.9A patent/CN109542011B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1518284A (zh) * | 2003-01-16 | 2004-08-04 | 华为技术有限公司 | 业务测试装置及方法 |
| CN103442008A (zh) * | 2013-08-29 | 2013-12-11 | 中国科学院计算技术研究所 | 一种路由安全检测系统及检测方法 |
| CN105071954A (zh) * | 2015-07-17 | 2015-11-18 | 云南电网有限责任公司信息中心 | 基于探针技术的资源池故障诊断与定位处理方法 |
| CN105677382A (zh) * | 2015-12-28 | 2016-06-15 | 深圳市华讯方舟软件技术有限公司 | 一种大数据库系统的安装工具 |
| CN106301971A (zh) * | 2016-11-17 | 2017-01-04 | 国家电网公司 | 基于流量分析的电力应用性能监控系统 |
| KR20180060005A (ko) * | 2016-11-28 | 2018-06-07 | 주식회사 나라시스템 | 클라우드 환경에서 개인정보 보호를 지원하는 p2p 중개 보안 시스템 |
| CN107958322A (zh) * | 2017-10-09 | 2018-04-24 | 中国电子科技集团公司第二十八研究所 | 一种城市网络空间综合治理系统 |
| CN107864056A (zh) * | 2017-11-04 | 2018-03-30 | 公安部第三研究所 | 一种分布式事件采集探针、分布式事件高速采集系统及方法 |
| CN108229799A (zh) * | 2017-12-20 | 2018-06-29 | 江苏瑞中数据股份有限公司 | 一种多源异构电网运行实时数据接入系统及方法 |
| CN108449407A (zh) * | 2018-03-14 | 2018-08-24 | 中煤科工集团重庆研究院有限公司 | 多源异构煤矿安全监测数据采集方法 |
Non-Patent Citations (2)
| Title |
|---|
| Android应用性能数据采集探针研究;马思峻;《计算机应用与软件》;20170715(第7期);第192-197 * |
| APM 数据采集的两种方式深入对比——探针埋点VS互联数据;高效运维;《https://www.sohu.com/a/257059338_262549》;20180930;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109542011A (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109542011B (zh) | 一种多源异构监测数据的标准化采集系统 | |
| CN107943668B (zh) | 计算机服务器集群日志监控方法及监控平台 | |
| CN108521339B (zh) | 一种基于集群日志的反馈式节点故障处理方法及系统 | |
| CN107508722B (zh) | 一种业务监控方法和装置 | |
| CN112632135A (zh) | 一种大数据平台 | |
| CN111382023B (zh) | 代码故障定位方法、装置、设备及存储介质 | |
| CN109460307B (zh) | 基于日志埋点的微服务调用跟踪方法及其系统 | |
| Wu et al. | Zeno: Diagnosing performance problems with temporal provenance | |
| CN111858251B (zh) | 一种基于大数据计算技术的数据安全审计方法及系统 | |
| CN108632111A (zh) | 一种基于日志的服务链路监控方法 | |
| CN112529528B (zh) | 基于大数据流计算的工作流监控与告警方法、装置及系统 | |
| CN108829505A (zh) | 一种分布式调度系统及方法 | |
| Diotalevi et al. | Collection and harmonization of system logs and prototypal Analytics services with the Elastic (ELK) suite at the INFN-CNAF computing centre | |
| CN110351131B (zh) | 一种用于分布式链路的监控方法、装置和电子设备 | |
| CN106384283A (zh) | 一种基于互联网+的服务总线结构及服务总线系统 | |
| CN112187509A (zh) | 多架构云平台执行日志管理方法、系统、终端及存储介质 | |
| CN113672452A (zh) | 一种数据采集任务的运行监控方法、系统 | |
| CN111177239B (zh) | 一种基于hdp大数据集群的统一日志处理方法及系统 | |
| CN116860555A (zh) | 软件运行监控方法、装置、设备以及计算机存储介质 | |
| CN114090382B (zh) | 超融合集群健康巡检方法和装置 | |
| CN115757045A (zh) | 一种交易日志分析方法、系统及装置 | |
| CN115168297A (zh) | 绕行日志审计方法及装置 | |
| CN112422349A (zh) | 面向nfv的网管系统、方法、设备及介质 | |
| Binev | Centralised Monitoring and Alerting Solution for Complex Information Management Infrastructure | |
| CN113760671A (zh) | 在线任务诊断方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |