CN113986656B - 一种基于数据中台的电网数据安全监测系统 - Google Patents

一种基于数据中台的电网数据安全监测系统 Download PDF

Info

Publication number
CN113986656B
CN113986656B CN202111195342.XA CN202111195342A CN113986656B CN 113986656 B CN113986656 B CN 113986656B CN 202111195342 A CN202111195342 A CN 202111195342A CN 113986656 B CN113986656 B CN 113986656B
Authority
CN
China
Prior art keywords
data
sensitive
module
log
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111195342.XA
Other languages
English (en)
Other versions
CN113986656A (zh
Inventor
徐胜国
贾雪
鲁国亮
王晔
郭靓
张付存
姜训
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nari Information and Communication Technology Co
Original Assignee
Nari Information and Communication Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nari Information and Communication Technology Co filed Critical Nari Information and Communication Technology Co
Priority to CN202111195342.XA priority Critical patent/CN113986656B/zh
Publication of CN113986656A publication Critical patent/CN113986656A/zh
Application granted granted Critical
Publication of CN113986656B publication Critical patent/CN113986656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/805—Real-time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Alarm Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于数据中台的电网数据安全监测系统，该系统通过对接数据保护伞操作日志、SDDP接口数据、脱敏日志数据、阿里云平台登录日志和ODPS操作日志统一运用数据中台的实时计算和MaxCompute数据仓库存储能力，经过数据分析、数据计算、告警入库和数据存储，快速分析并生成告警，解决安全组件相对独立，关联分析度不高问题。

Description

一种基于数据中台的电网数据安全监测系统
技术领域
本发明属于信息处理技术领域，具体涉及一种基于数据中台的电网数据安全监测系统。
背景技术
随着电网大数据中心业务逐步推进，业务部门数据接入，数智国网大数据应用平台、供应链金融、数字化审计、企业级报表中心等数据分析服务，以及面向数据中台及传统业务的数据运维等场景不断增多，数据环境更加复杂，安全合规性要求更高，当前数据安全能力已不能满足业务安全需求。为了更好的对数据安全进行监测，相关单位着手实施基于数据中台的数据安全监测建设工作。
现有技术的不足之处：1、安全组件相对独立，关联分析度不高。目前相关安全组件和系统的防护功能呈离散状态分布，缺少关联分析和策略联动；相关日志未进行集中采集和分析提炼，导致中台安全运营工作中无法快速聚焦主要问题进行处置。2、缺乏对数据中台异常行为的实时分析与告警。数据保护伞等安全组件，以静态统计分析与安全审计功能为主。其功能如敏感数据识别，审计数据访问行为等，监测时效性不高（为T+1方式展示结果）。
发明内容
本发明的目的在于提供一种基于数据中台的电网数据安全监测系统，通过对接数据保护伞操作日志、SDDP接口数据、脱敏日志数据、阿里云平台登录日志和ODPS操作日志等，统一运用数据中台的实时计算和MaxCompute数据仓库存储能力，快速分析并生成告警，解决安全组件相对独立，关联分析度不高问题。
为达到上述目的，本发明采用的技术方案如下：
本发明提供一种基于数据中台的数据安全监测系统，包括：数据集成模块，数据分析模块，数据计算模块，数据存储模块和态势展示模块；
所述数据集成模块用于收集并存储数据保护伞操作日志、数据中台云上数据、脱敏日志数据、阿里云平台登录日志和ODPS操作日志；
所述数据分析模块用于对收集的日志数据进行监控，并生成告警数据；
所述数据计算模块用于根据收集的日志数据计算敏感数据以及计算接口服务指标；
所述数据存储模块用于存储所述数据集成模块收集的数据，所述数据分析模块生成的告警数据，所述数据计算模块计算的敏感数据和接口服务指标，以及所述态势展示模块计算的指标数据；
所述态势展示模块包括SDDP态势总览模块，敏感数据态势总览模块和应用展示模块；
所述SDDP态势总览模块用于监控并分析数据中台中的敏感数据，计算相应的指标；
所述敏感数据态势总览模块用于监控并分析数据集成模块收集的敏感数据，计算相应的指标；
所述应用展示模块用于展示所述SDDP态势总览模块和敏感数据态势总览模块计算的指标。
优选的，所述数据集成模块用于，
通过数据中台定时推送的方式，收集数据保护伞操作日志；通过调用SDDP接口方式，收集数据中台云上数据；通过数据中台创建sls投递任务，收集脱敏日志数据；通过数据中台消息中间件datahub，收集阿里云平台登录日志；以及，通过数据中台创建sls投递任务，收集ODPS操作日志。
优选的，所述数据集成模块还用于对收集的数据进行预处理，删除格式不合规及属性个数和要求不一致的数据。
优选的，所述数据集成模块还用于对预处理后的数据进行去重处理，如果在指定的时间间隔interval内，多次出现仅有时间不同其他属性相同的记录，则只保留该重复记录中的最后一条记录。
优选的，所述数据集成模块用于，
对去重后的日志数据进行转发存储，将阿里云平台登录日志存储在分布式消息队列kafka中，将其余来源的日志数据存储在数据中台的ODPS表中。
优选的，所述数据分析模块具体用于，
消费分布式消息队列kafka中的日志数据，根据数据类型反序列化成对应的对象；
将对象转为esper事件并发送到esper；
根据esper事件基于预先定义的告警规则生成告警信息并拆分为告警数据，发送给kafka的告警入库队列。
优选的，所述数据分析模块还用于，
根据待监控数据源元数据的属性定义待监控数据源的告警规则，并将定义的过程翻译为Esper的类SQL语句。
优选的，所述数据分析模块还用于，
设置线程池，将不同来源日志产生的告警数据放到不同的线程，并发入库。
优选的，所述数据计算模块包括离线计算模块和接口服务指标模块；
所述离线计算模块用于定时获取数据保护伞推送的ODPS操作记录、操作详情、ODPS异常事件、敏感信息元数据和项目空间元信息，计算出每天新增的敏感数据；
所述接口服务指标模块用于根据离线计算模块计算的敏感数据计算接口服务指标。
优选的，所述接口服务指标模块还用于，
设置中间表，将离线计算模块计算的敏感数据按类型放入相应的中间表中；
以及，
按照敏感数据识别、敏感数据分布、敏感数据访问热度、敏感数据链路流向和中台数据风险五大类别，对接口服务指标进行分类；所述接口服务指标包括：日识别敏感字段数量，日识别敏感数据量，日识别敏感字段数量，日识别敏感数据量，按照占比的敏感字段量分布，按照占比的敏感数据量分布，按规则类别的敏感字段量分布，按规则类别的敏感数据量分布 ，敏感数据被访问热度，访问敏感数据的热门账户，按敏感类别的敏感数据被访问热度，按敏感类别的访问敏感数据的热门账户，敏感数据流入流向，敏感数据流出流向，敏感数据链路流入流向，敏感数据链路流出流向，中台数据风险，和涉敏表格数、项目空间数、业务系统数。
优选的，所述SDDP态势总览模块包括数据中台SDDP组件、云盾敏感数据保护API接口、指标进程模块和后台数据服务；
所述SDDP组件用于监控并分析数据中台中的Maxcomputer、OSS、ADS、OTS和RDS组件的敏感数据、敏感字段、敏感表和敏感项目空间；
所述云盾敏感数据保护API接口用于将SDDP组件分析的敏感信息暴露给指标进程模块；
所述指标进程模块用于每天定时拉取云盾敏感数据保护API接口，计算出指标数据。
优选的，所述敏感数据态势总览模块包括数据保护伞组件、保护伞数据接口服务、数据服务和Redis缓存；
所述数据保护伞组件用于根据用户配置的规则，监控并分析分布型大数据存储ODPS中所有项目空间的数据，得出敏感数据、敏感字段、敏感表以及关联的用户操作记录；
所述保护伞数据接口服务用于将数据保护伞组件分析的敏感信息暴露给外部应用程序；
所述数据服务用于按需调用保护伞数据接口计算出指标数据插入关系型数据库RDS中，以及将计算的指标数据插入Redis缓存中。
优选的，所述数据存储模块包括关系型数据库RDS、内存数据库Redis和分布型大数据存储ODPS；
所述关系型数据库RDS用于存储数据分析模块产生的告警数据，以及SDDP态势总览模块中计算的指标数据，以及敏感数据态势总览模块中计算的指标数据；
所述内存数据库Redis用于存储所述应用展示模块展示的结果数据；
所述分布型大数据存储ODPS用于存储所述数据集成模块收集的日志数据，以及数据计算模块计算的敏感数据，中间表和接口服务指标。
与现有技术相比，本发明的优点在于：
（1）本发明系统通过采集安全组件日志、数据保护伞日志和SDDP接口数据，统一交给大数据平台处理及进行关联分析，解决安全组件相对独立，关联分析度不高问题；
（2）本发明系统针对用户登录日志、敏感数据日志、审计数据日志、脱敏日志设计多种实时计算分析场景，快速生成告警并通过平台展现给用户，解决数据中台以静态统计分析与安全审计功能为主，缺乏异常行为的实时分析与告警问题。
附图说明
图1为本发明实施例中的基于数据中台的数据安全监测系统架构图；
图2为本发明实施例中的数据流转图；
图3为本发明实施例中的SDDP态势总览模块数据流转图；
图4为本发明实施例中的敏感数据态势总览模块数据流转图。
具体实施方式
下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
参见图1和图2，本发明实施例提供一种基于数据中台的数据安全监测系统，包括：数据集成模块，数据分析模块，数据计算模块，数据存储模块和态势展示模块。
本发明实施例中，数据集成模块用于收集数据保护伞操作日志、数据中台云上数据、脱敏日志数据、阿里云平台登录日志和阿里开放数据处理服务（ODPS）操作日志，以及将阿里云平台登录日志存储在分布式消息队列kafka中，其余数据存储在数据中台的ODPS表中，供后续数据分析、数据计算使用。
作为一种优选的实施方式，通过数据中台定时推送的方式，收集数据保护伞操作日志；通过调用SDDP接口方式，收集数据中台云上数据；通过数据中台创建sls投递任务，收集脱敏日志数据插入ODPS表中；通过数据中台消息中间件datahub，收集阿里云平台登录日志；通过数据中台创建sls投递任务，收集ODPS操作日志。
作为一种优选的实施方式，数据集成模块还用于将一些格式不合规，属性个数和要求的不一致的数据直接删除，提高数据质量。
作为一种优选的实施方式，数据集成模块还用于对数据进行去重，在指定的时间间隔interval内，如果多次出现仅有时间不同，其他属性相同的记录，则只保留该重复记录中的最后一条记录。
作为一种优选的实施方式，数据集成模块对去重后的日志数据进行转发处理，将各种日志分别转发给分布式消息队列Kafka和数据中台的ODPS表中，供后续大数据实时关联分析、计算使用。
本发明实施例中，数据分析模块用于消费分布式消息队列kafka中的数据，并根据数据类型转换成对应的对象，以及将对象转为复杂事件处理引擎（esper）的事件并发送到esper，以及根据esper事件基于预先定义的告警规则生成告警事件，发送给kafka的告警入库队列。其中，esper是第三方开源的工具，以sdk的方式集成进来，之后部署在阿里云的blink服务上。
作为一种优选的实施方式，数据分析模块用于根据kafka队列中数据的类型，反序列化成对应的对象。
作为一种优选的实施方式，数据分析模块还用于，根据待监控数据源元数据的属性定义待监控数据源的告警规则，并将定义的过程翻译为Esper的类SQL语句。
例如，阿里云登录日志的元数据就是包含登录名、登录账号、登录IP等信息，当登录IP等于1.1.1.1时生成告警。
作为一种优选的实施方式，数据分析模块实时监控待监控数据源，当待监控数据源触发告警规则时，发送告警信息给kafka告警入库队列；
作为一种优选的实施方式，数据分析模块还用于将产生的告警信息进行拆分，分成告警数据。
作为一种优选的实施方式，数据分析模块设置线程池，不同来源日志产生的告警数据放到不同的线程池的阻塞队列里，监控线程发现阻塞队列不为空，则取最新的数据，交给线程来处理，然后将处理结果存入到关系型数据库RDS中。本发明中有阿里云登录日志，有其他日志，每个日志都可能产生告警，按照不同来源日志产生的告警放到不同的线程，并发入库。
本发明实施例中，数据计算模块包括离线计算模块和接口服务指标模块，其中离线计算模块用于离线计算敏感数据，接口服务指标模块用于根据计算的敏感数据计算接口服务指标。
离线计算模块获取数据保护伞推送的ODPS操作记录（dsg_operation_record）、操作详情（dsg_operation_record_detail）、ODPS异常事件（dsg_operation_risk_info）、敏感信息元数据（dsg_sensitive_data_meta）和项目空间元信息（dsg_tenant_project_meta），计算出每天新增的敏感数据。其中，数据保护伞每天上午6点前将上述数据推送到数据计算模块指定项目空间。
为了方便接口服务指标计算，接口服务指标模块新建了11张中间表，用于存放离线计算模块的结果数据，例如每日识别敏感数据数量统计表（dsg_day_sensitive_data_count）、敏感数据字段被访问的次数统计表（dsg_sensitive_data_access）、敏感数据在数据中台各层级中的流向表（dsg_sensitive_data_flow）等。接口服务指标模块将离线计算模块的结果数据按照敏感数据识别、敏感数据分布、敏感数据访问热度、敏感数据链路流向、中台数据风险五大类别，细分成18个接口服务指标，满足与其他业务系统对接以及大屏展示要求。其中，18个接口服务指标包括：指标1 ——日识别敏感字段数量，指标2 ——日识别敏感数据量，指标3 ——日识别敏感字段数量（按敏感规则类别区分），指标4 ——日识别敏感数据量（按照敏感类别区分），指标5 ——敏感字段量分布 (按照占比从高到低返回)，指标6 ——敏感数据量分布 (按照占比从高到低返回)，指标7 ——敏感字段量分布(按规则类别划分)，指标8 ——敏感数据量分布 (按规则类别划分)，指标9 ——敏感数据被访问热度，指标10 ——访问敏感数据的热门账户，指标11—— 敏感数据被访问热度（按敏感类别划分），指标12 ——访问敏感数据的热门账户，指标13—— 敏感数据流入流向，指标14 ——敏感数据流出流向，指标15—— 敏感数据链路流入流向（按类别），指标16——敏感数据链路流出流向（按类别），指标17—— 中台数据风险，指标18 ——涉敏表格数、项目空间数、业务系统数。
本发明实施例中，数据存储模块包括关系型数据库RDS、内存数据库Redis和分布型大数据存储ODPS。其中，关系型数据库RDS用于存储数据分析模块产生的告警数据，以及SDDP态势总览模块中指标进程模块计算的指标数据，以及敏感数据态势总览模块中数据服务计算的指标数据；内存数据库Redis用于存储应用展示模块展示的结果数据，使得页面有更快的打开速度；分布型大数据存储ODPS用于存储数据保护伞操作日志、数据中台云上数据、脱敏日志数据、阿里云平台登录日志和ODPS操作日志，以及数据计算模块计算的敏感数据，中间表和接口服务指标。
分布型大数据存储ODPS是一种快速、完全托管的EB级数据仓库解决方案。随着数据收集手段不断丰富，行业数据大量积累，数据规模已增长到了传统软件行业无法承载的海量数据（百TB、PB、EB）级别。MaxCompute致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务。根据预设的建表规则通过ODPS_cmd客户端工具建立MaxCompute数据表，由于MaxCompute是分块存储数据，每块数据大小是64兆，为了防止出现大量小文件，设计定时批量插入的方法，数据达到3万条或者时间达到一天，则进行批量操作，利用MaxCompute中的Tunnel数据传输方法，供离线分析程序使用。
本发明实施例中，态势展示模块包括SDDP态势总览模块和敏感数据态势总览模块；参见图3，SDDP态势总览模块包括数据中台SDDP组件、云盾敏感数据保护API接口、指标进程模块、关系型数据库RDS、后台数据服务和应用展示模块。其中，SDDP组件用于监控并分析数据中台中的Maxcomputer、OSS、ADS、OTS、RDS等组件的敏感数据、敏感字段、敏感表和敏感项目空间；云盾敏感数据保护API接口用于将SDDP组件分析的敏感信息暴露给指标进程模块；指标进程模块用于每天定时拉取云盾敏感数据保护API接口计算出指标数据（如敏感数据TOP5，敏感表覆盖业务系统TOP5，敏感数据不同级别分布情况等）插入关系型数据库RDS中；应用展示模块用于通过后台数据服务获取关系型数据库RDS中的数据，展示给用户。
需要说明的是，SDDP是阿里云的一个云上组件，主要对OSS,ADS，RDS这些组件的敏感数据做分析，而数据计算模块的离线分析，主要是针对数据保护伞同步过来的数据，还有脱敏日志数据等其他类型的数据，专门做的定制化分析，和SDDP起到一个互补作用。
参见图4，敏感数据态势总览模块包括数据保护伞组件、保护伞数据接口服务、数据服务、Redis缓存、关系型数据库RDS数据库和应用展示模块。其中，数据保护伞组件用于根据用户配置的规则，监控并分析分布型大数据存储ODPS中所有项目空间的数据，得出敏感数据、敏感字段、敏感表以及关联的用户操作记录；保护伞数据接口用于将数据保护伞组件分析的敏感信息暴露给外部应用程序；数据服务用于按需调用保护伞数据接口计算出指标数据（如当日敏感字段数、当日敏感数据量、涉敏表格数、涉敏项目数、涉敏业务、昨日敏感数据访问次数等）插入关系型数据库RDS中，同时为了提高页面访问速度，将计算的指标数据插入Redis缓存中，应用展示模块通过后台数据服务拿到Redis中的数据，展示给用户。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种基于数据中台的电网数据安全监测系统，其特征在于，包括：数据集成模块，数据分析模块，数据计算模块，数据存储模块和态势展示模块；
所述数据集成模块用于收集并存储数据保护伞操作日志、数据中台云上数据、脱敏日志数据、阿里云平台登录日志和ODPS操作日志；
所述数据分析模块用于对收集的日志数据进行监控，并生成告警数据；
所述数据计算模块用于根据收集的日志数据计算敏感数据以及计算接口服务指标；所述数据计算模块包括离线计算模块和接口服务指标模块；所述离线计算模块用于定时获取数据保护伞推送的ODPS操作记录、操作详情、ODPS异常事件、敏感信息元数据和项目空间元信息，计算出每天新增的敏感数据；所述接口服务指标模块用于根据离线计算模块计算的敏感数据计算接口服务指标；以及，设置中间表，将离线计算模块计算的敏感数据按类型放入相应的中间表中；以及，按照敏感数据识别、敏感数据分布、敏感数据访问热度、敏感数据链路流向和中台数据风险五大类别，对接口服务指标进行分类；所述接口服务指标包括：日识别敏感字段数量，日识别敏感数据量，按敏感规则类别划分的日识别敏感字段数量，按敏感规则类别划分的日识别敏感数据量，按照占比的敏感字段量分布，按照占比的敏感数据量分布，按敏感规则类别划分的敏感字段量分布，按敏感规则类别划分的敏感数据量分布，敏感数据被访问热度，访问敏感数据的热门账户，按敏感规则类别划分的敏感数据被访问热度，按敏感规则类别划分的访问敏感数据的热门账户，敏感数据流入流向，敏感数据流出流向，按敏感规则类别划分的敏感数据链路流入流向，按敏感规则类别划分的敏感数据链路流出流向，中台数据风险，和涉敏表格数、项目空间数、业务系统数；
所述数据存储模块用于存储所述数据集成模块收集的数据，所述数据分析模块生成的告警数据，所述数据计算模块计算的敏感数据和接口服务指标，以及所述态势展示模块计算的指标数据；
所述态势展示模块包括SDDP态势总览模块，敏感数据态势总览模块和应用展示模块；
所述SDDP态势总览模块用于监控并分析数据中台中的敏感数据，计算相应的指标；所述SDDP态势总览模块包括数据中台SDDP组件、云盾敏感数据保护API接口、指标进程模块和后台数据服务；所述SDDP组件用于监控并分析数据中台中的Maxcomputer、OSS、ADS、OTS和关系型数据库RDS组件的敏感数据、敏感字段、敏感表和敏感项目空间；所述云盾敏感数据保护API接口用于将SDDP组件分析的敏感信息暴露给指标进程模块；所述指标进程模块用于每天定时拉取云盾敏感数据保护API接口，计算出指标数据；
所述敏感数据态势总览模块用于监控并分析数据集成模块收集的敏感数据，计算相应的指标；所述敏感数据态势总览模块包括数据保护伞组件、保护伞数据接口服务、数据服务和内存数据库Redis；所述数据保护伞组件用于根据用户配置的规则，监控并分析分布型大数据存储中所有项目空间的数据，得出敏感数据、敏感字段、敏感表以及关联的用户操作记录；所述保护伞数据接口服务用于将数据保护伞组件分析的敏感信息暴露给外部应用程序；所述数据服务用于按需调用保护伞数据接口计算出指标数据插入关系型数据库RDS中，以及将计算的指标数据插入内存数据库Redis中；
所述应用展示模块用于展示所述SDDP态势总览模块和敏感数据态势总览模块计算的指标。
2.根据权利要求1所述的一种基于数据中台的电网数据安全监测系统，其特征在于，所述数据集成模块用于，
通过数据中台定时推送的方式，收集数据保护伞操作日志；通过调用SDDP接口方式，收集数据中台云上数据；通过数据中台创建sls投递任务，收集脱敏日志数据；通过数据中台消息中间件datahub，收集阿里云平台登录日志；以及，通过数据中台创建sls投递任务，收集ODPS操作日志。
3.根据权利要求2所述的一种基于数据中台的电网数据安全监测系统，其特征在于，所述数据集成模块还用于对收集的数据进行预处理，删除格式不合规及属性个数和要求不一致的数据。
4.根据权利要求3所述的一种基于数据中台的电网数据安全监测系统，其特征在于，所述数据集成模块还用于对预处理后的数据进行去重处理，如果在指定的时间间隔interval内，多次出现仅有时间不同其他属性相同的记录，则只保留最后一条记录。
5.根据权利要求4所述的一种基于数据中台的电网数据安全监测系统，其特征在于，所述数据集成模块用于，
对去重后的日志数据进行转发存储，将阿里云平台登录日志存储在分布式消息队列kafka中，将其余来源的日志数据存储在数据中台的ODPS表中。
6.根据权利要求5所述的一种基于数据中台的电网数据安全监测系统，其特征在于，所述数据分析模块具体用于，
消费分布式消息队列kafka中的日志数据，根据数据类型反序列化成对应的对象；
将对象转为esper事件并发送到esper；
根据esper事件基于预先定义的告警规则生成告警信息并拆分为告警数据，发送给kafka的告警入库队列。
7.根据权利要求6所述的一种基于数据中台的电网数据安全监测系统，其特征在于，所述数据分析模块还用于，
根据待监控数据源元数据的属性定义待监控数据源的告警规则，并将定义的过程翻译为Esper的类SQL语句。
8.根据权利要求6所述的一种基于数据中台的电网数据安全监测系统，其特征在于，所述数据分析模块还用于，
设置线程池，将不同来源日志产生的告警数据放到不同的线程，并发入库。
9.根据权利要求1所述的一种基于数据中台的电网数据安全监测系统，其特征在于，所述数据存储模块包括关系型数据库RDS、内存数据库Redis和分布型大数据存储；
所述关系型数据库RDS用于存储数据分析模块产生的告警数据，以及SDDP态势总览模块中计算的指标数据，以及敏感数据态势总览模块中计算的指标数据；
所述内存数据库Redis用于存储所述应用展示模块展示的结果数据；
所述分布型大数据存储用于存储所述数据集成模块收集的日志数据，以及数据计算模块计算的敏感数据，中间表和接口服务指标。
CN202111195342.XA 2021-10-14 2021-10-14 一种基于数据中台的电网数据安全监测系统 Active CN113986656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111195342.XA CN113986656B (zh) 2021-10-14 2021-10-14 一种基于数据中台的电网数据安全监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111195342.XA CN113986656B (zh) 2021-10-14 2021-10-14 一种基于数据中台的电网数据安全监测系统

Publications (2)

Publication Number Publication Date
CN113986656A CN113986656A (zh) 2022-01-28
CN113986656B true CN113986656B (zh) 2023-12-19

Family

ID=79738519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111195342.XA Active CN113986656B (zh) 2021-10-14 2021-10-14 一种基于数据中台的电网数据安全监测系统

Country Status (1)

Country Link
CN (1) CN113986656B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117574424B (zh) * 2023-11-09 2024-06-21 湖北清江水电开发有限责任公司 一种基于大数据的电力数据智能推送管理系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147639A (zh) * 2017-05-08 2017-09-08 国家电网公司 一种基于复杂事件处理的实时安全预警方法
CN108769048A (zh) * 2018-06-08 2018-11-06 武汉思普崚技术有限公司 一种安全可视化与态势感知平台系统
CN111711599A (zh) * 2020-04-23 2020-09-25 北京凌云信安科技有限公司 基于多元海量数据融合关联分析的安全态势感知系统
CN111885012A (zh) * 2020-07-03 2020-11-03 安徽继远软件有限公司 基于多种网络设备信息采集的网络态势感知方法及系统
CN112241543A (zh) * 2020-10-27 2021-01-19 国网福建省电力有限公司信息通信分公司 一种基于数据中台的敏感数据梳理方法
CN112329031A (zh) * 2020-10-27 2021-02-05 国网福建省电力有限公司信息通信分公司 一种基于数据中台的数据权限控制系统
CN113076355A (zh) * 2021-04-09 2021-07-06 国家计算机网络与信息安全管理中心 一种数据安全流动态势感知的方法
CN113094154A (zh) * 2021-04-01 2021-07-09 国电南瑞科技股份有限公司 一种基于阿里云的大数据处理方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8713693B2 (en) * 2011-07-26 2014-04-29 Salesforce.Com, Inc. Secure access to customer log data in a multi-tenant environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147639A (zh) * 2017-05-08 2017-09-08 国家电网公司 一种基于复杂事件处理的实时安全预警方法
CN108769048A (zh) * 2018-06-08 2018-11-06 武汉思普崚技术有限公司 一种安全可视化与态势感知平台系统
CN111711599A (zh) * 2020-04-23 2020-09-25 北京凌云信安科技有限公司 基于多元海量数据融合关联分析的安全态势感知系统
CN111885012A (zh) * 2020-07-03 2020-11-03 安徽继远软件有限公司 基于多种网络设备信息采集的网络态势感知方法及系统
CN112241543A (zh) * 2020-10-27 2021-01-19 国网福建省电力有限公司信息通信分公司 一种基于数据中台的敏感数据梳理方法
CN112329031A (zh) * 2020-10-27 2021-02-05 国网福建省电力有限公司信息通信分公司 一种基于数据中台的数据权限控制系统
CN113094154A (zh) * 2021-04-01 2021-07-09 国电南瑞科技股份有限公司 一种基于阿里云的大数据处理方法及系统
CN113076355A (zh) * 2021-04-09 2021-07-06 国家计算机网络与信息安全管理中心 一种数据安全流动态势感知的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
网络安全事件关联分析技术与工具研究;琚安康;郭渊博;朱泰铭;王通;;《计算机科学》(第02期);第38-45页 *

Also Published As

Publication number Publication date
CN113986656A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN114925045B (zh) 大数据集成和管理的PaaS平台
CN108197261A (zh) 一种智慧交通操作系统
CN112445863A (zh) 一种数据实时同步方法及系统
CN111221890B (zh) 通用指标类自动监控预警方法及装置
CN112199394A (zh) 告警信息推送方法、系统、智能终端及存储介质
CN112052134A (zh) 一种业务数据的监控方法及装置
CN106951360B (zh) 数据统计完整度计算方法和系统
CN116205396A (zh) 一种基于数据中台的数据全景监控方法及系统
CN111984495A (zh) 一种大数据监控方法、装置和存储介质
CN113986656B (zh) 一种基于数据中台的电网数据安全监测系统
CN111209314A (zh) 一种电力信息系统海量日志数据实时处理系统
CN112825165A (zh) 项目质量管理的方法和装置
CN115640300A (zh) 一种大数据管理方法、系统、电子设备和存储介质
CN116701525A (zh) 一种基于实时数据分析的预警方法、系统和电子设备
CN116961241B (zh) 一种基于电网业务的统一应用监测平台
CN114003568A (zh) 数据处理的方法及相关装置
CN113506098A (zh) 基于多源数据的电厂元数据管理系统及方法
CN113094154A (zh) 一种基于阿里云的大数据处理方法及系统
CN112784129A (zh) 一种泵站设备运维数据监管平台
CN111414355A (zh) 一种海上风电场数据监测存储系统及方法、装置
CN115718690A (zh) 一种数据准确性监控系统和方法
CN112448840B (zh) 一种通信数据质量监控方法、装置、服务器及存储介质
CN114428812A (zh) 报表数据监控方法、装置、设备及存储介质
CN113886465A (zh) 一种用于汽车物流的大数据分析平台
CN109697602B (zh) 一种用于规费征稽的数据处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant