CN115423361A - 风险视图的数据处理方法、装置、存储介质和设备 - Google Patents

风险视图的数据处理方法、装置、存储介质和设备 Download PDF

Info

Publication number
CN115423361A
CN115423361A CN202211211448.9A CN202211211448A CN115423361A CN 115423361 A CN115423361 A CN 115423361A CN 202211211448 A CN202211211448 A CN 202211211448A CN 115423361 A CN115423361 A CN 115423361A
Authority
CN
China
Prior art keywords
data
risk
maintenance
maintenance data
risk behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211211448.9A
Other languages
English (en)
Inventor
吕震
郭玉章
陈洁
李颖
戴春辉
李颢
刘永科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202211211448.9A priority Critical patent/CN115423361A/zh
Publication of CN115423361A publication Critical patent/CN115423361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Technology Law (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种风险视图的数据处理方法、装置、存储介质和设备，该方法为：从数据源系统中获取各个运维数据；对各个运维数据进行处理，得到各个目标运维数据；基于各个目标运维数据，获得与任意一个运维领域主题对应的维表；针对每个风险行为，对满足预设要求的多个维表进行组合，生成风险行为的查询条件；将满足风险行为的查询条件的目标运维数据，标识为风险行为的风险数据；对各个风险数据进行聚合，得到风险行为汇总结果；基于各个员工风险行为清单，生成员工风险视图，以及基于各个组织机构风险行为清单，生成组织机构风险视图。该方法可以使得用户无需花费时间成本从海量运维数据中发现风险行为，从而有效提高数据中心的风险控制效率。

Description

风险视图的数据处理方法、装置、存储介质和设备
技术领域
本申请涉及数据处理领域，尤其涉及一种风险视图的数据处理方法、装置、存储介质和设备。
背景技术
随着银行数据中心运维人员及规模的不断扩大，银行数据中心面临的安全生产压力及监管压力也持续增加，其中大型银行数据中心的运维人员规模达到一千人以上规模、运维主机数量达到一千台以上规模，为支撑业务的正常运营，数据中心每天会存在大量的风险，例如：关键监控缺失、值班人员未及时到岗、变更操作违规、事件未及时处理等。这些风险行为可能会对银行的安全稳定运行造成极大的影响，使银行面临巨大的审计风险与声誉风险，严重时甚至会使银行遭受巨大的经济损失。
目前，银行数据中心的变更、事件、问题管理一般通过流程管理平台进行，生产手工运维操作一般通过运维管理平台进行，生产自动化运维操作一般通过自动化运维平台进行，这些平台之间的功能相对独立，整体的风险行为管理较为离散，基于现有的人工运维风险管理手段，大大降低了银行数据中心的风险控制效率。
为此，如何有效提高数据中心的风险控制效率，成为本领域亟需解决的问题。
发明内容
本申请提供了一种风险视图的数据处理方法、装置、存储介质和设备，目的在于提高数据中心的风险控制效率。
为了实现上述目的，本申请提供了以下技术方案：
一种风险视图的数据处理方法，包括：
从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据；
对各个所述运维数据进行处理，得到各个目标运维数据；
基于各个所述目标运维数据，获得与任意一个运维领域主题对应的维表；
针对每个风险行为，对满足预设要求的多个维表进行组合，生成所述风险行为的查询条件；所述预设要求为：与维表对应的运维领域主题，被纳入到与所述风险行为对应的风险规则中；
将满足所述风险行为的查询条件的目标运维数据，标识为所述风险行为的风险数据；
对各个所述风险行为的风险数据进行聚合，得到风险行为汇总结果；所述风险行为汇总结果包括多个员工风险行为清单，以及多个组织机构风险行为清单；
基于各个所述员工风险行为清单，生成员工风险视图，以及基于各个所述组织机构风险行为清单，生成组织机构风险视图。
可选的，所述从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据，包括：
对于与任意一个风险行为对应的数据源系统，在所述数据源系统提供的运维数据的数据量小于预设阈值的情况下，调用实时数据接入方法，从所述数据源系统中获取所述运维数据。
可选的，所述从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据，包括：
对于与任意一个风险行为对应的数据源系统，在所述数据源系统提供的运维数据的数据量不小于预设阈值的情况下，调用异步数据接入方法，从所述数据源系统中获取所述运维数据。
可选的，所述对各个所述运维数据进行处理，得到各个目标运维数据，包括：
对各个所述风险行为的运维数据进行数据清洗，得到符合第一预设条件的运维数据集合；所述第一预设条件为：任意一个运维数据所包含的字段，并不与其它运维数据所包含的字段重复；
按照预设数据格式，对所述运维数据集合中的运维数据进行数据转换，得到多个有效运维数据；
对各个所述有效运维数据进行数据拉链，得到各个目标运维数据；所述目标运维数据包括所述有效运维数据，以及所述有效运维数据的状态变更记录。
可选的，所述基于各个所述目标运维数据，获得与任意一个运维领域主题对应的维表，包括：
对各个所述目标运维数据进行主题识别，得到各个所述目标运维数据所属的运维领域主题；
将归属于同一运维领域主题的多个目标运维数据进行聚合，得到与每个运维领域主题对应的维表；所述维表包括多个公共指标特征；各个所述公共指标特征均从归属于同一运维领域主题的多个目标运维数据中提取得到。
一种风险视图的数据处理装置，包括：
数据获取单元，用于从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据；
数据处理单元，用于对各个所述运维数据进行处理，得到各个目标运维数据；
维表获取单元，用于基于各个所述目标运维数据，获得与任意一个运维领域主题对应的维表；
维表组合单元，用于针对每个风险行为，对满足预设要求的多个维表进行组合，生成所述风险行为的查询条件；所述预设要求为：与维表对应的运维领域主题，被纳入到与所述风险行为对应的风险规则中；
数据查询单元，用于将满足所述风险行为的查询条件的目标运维数据，标识为所述风险行为的风险数据；
数据聚合单元，用于对各个所述风险行为的风险数据进行聚合，得到风险行为汇总结果；所述风险行为汇总结果包括多个员工风险行为清单，以及多个组织机构风险行为清单；
视图生成单元，用于基于各个所述员工风险行为清单，生成员工风险视图，以及基于各个所述组织机构风险行为清单，生成组织机构风险视图。
可选的，所述数据获取单元具体用于：
对于与任意一个风险行为对应的数据源系统，在所述数据源系统提供的运维数据的数据量小于预设阈值的情况下，调用实时数据接入方法，从所述数据源系统中获取所述运维数据。
可选的，所述数据处理单元具体用于：
对各个所述风险行为的运维数据进行数据清洗，得到符合第一预设条件的运维数据集合；所述第一预设条件为：任意一个运维数据所包含的字段，并不与其它运维数据所包含的字段重复；
按照预设数据格式，对所述运维数据集合中的运维数据进行数据转换，得到多个有效运维数据；
对各个所述有效运维数据进行数据拉链，得到各个目标运维数据；所述目标运维数据包括所述有效运维数据，以及所述有效运维数据的状态变更记录。
一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序被处理器运行时执行所述的风险视图的数据处理方法。
一种风险视图的数据处理设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序被处理器运行时执行所述的风险视图的数据处理方法。
本申请提供的技术方案，从与各个风险行为对应的数据源系统中，获取各个风险行为的运维数据。对各个运维数据进行处理，得到各个目标运维数据。基于各个目标运维数据，获得与任意一个运维领域主题对应的维表。针对每个风险行为，对满足预设要求的多个维表进行组合，生成风险行为的查询条件。将满足风险行为的查询条件的目标运维数据，标识为风险行为的风险数据。对各个风险行为的风险数据进行聚合，得到风险行为汇总结果。基于各个员工风险行为清单，生成员工风险视图，以及基于各个组织机构风险行为清单，生成组织机构风险视图。本申请相较于现有技术，无需花费人力成本对数据源系统提供的海量运维数据进行处理和检查，且基于员工风险视图和组织机构风险视图，为用户提供风险控制的参考依据，使得用户无需花费时间成本从海量运维数据中发现风险行为，从而有效提高数据中心的风险控制效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的一种风险视图的数据处理方法的流程示意图；
图1b为本申请实施例提供的一种维表示意图；
图1c为本申请实施例提供的另一种维表示意图；
图1d为本申请实施例提供的一种风险清单示意图；
图1e为本申请实施例提供的另一种风险清单示意图；
图2为本申请实施例提供的另一种风险视图的数据处理方法的流程示意图；
图3为本申请实施例提供的一种风险视图的数据处理装置的架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
经由申请人发现，现有的人工运维风险管理手段，导致数据中心的风险控制效率降低的原因，主要为：
1、日常运维操作过程中存在的风险操作主要依赖人工从多个运维平台分别获取相关的数据，然后根据风险规则进行手工分析，加工和处理效率较低，且手工分析的结果准确率得不到保障，每年数据中心需要耗费巨大的人力应对风险审计结果的加工与确认。
2、目前的风险行为主要基于事后的运维数据进行分析处理，一般只支持按月等周期，随着风险审计的实时性要求越来越高，现有的加工处理频率已经无法满足最新的风险审计要求。
3、随着银行IT架构、监管政策的不断调整，风险审计的规则可能随时发生变化，一旦风险审计规则发生变化，需要推翻或重构原有的加工逻辑，按照新的规则重新进行加工，存在大量的重复劳动，现有的固定处理模式已经不能满足不断变化的风险审计规则要求。
4、目前针对风险行为的加工较为离散，没有统一的加工与展示方法，运维人员无法及时获取自己的风险行为、组织机构也无法准确获得当前存在的主要风险问题，对于可能造成生产风险的行为不能及时进行干预处置。
为此，本申请实施例提供了一种风险视图的数据处理方法，该方法能够通过统一的运维大数据平台，集成多个应用系统的运维数据，实现对风险行为的快速加工与风险视图展示，提醒用户(例如数据中心的运维人员和管理人员)及时关注和处置风险行为，大大提升了银行数据中心的风险控制效率。
如图1a所示，为本申请实施例提供的一种风险视图的数据处理方法的流程示意图，可应用于运维大数据平台，包括如下所示步骤。
S101：从与各个风险行为对应的数据源系统中，获取各个风险行为的运维数据。
其中，数据中心所涉及的各个风险行为，包括但不限于为：一、已投产的基础设施设备及信息系统未纳入监控管理；二、值班岗位未及时到岗，并按时在值班系统中进行交接班；三、未经审批的情况下，擅自对业务数据进行修改处理；四、未按时间要求完成变更申请的提出、审批、实施；五、在生产版本投产后，未及时更新灾备环境应用版本等。
一般来讲，与数据中心所涉及的各个风险行为对应的数据源系统，包括但不限于为：门禁管理平台、考勤管理平台、流程管理平台、自动化运维平台、运维操作平台等。
此外，数据中心所涉及的各个风险行为的运维数据，包括但不限于为：考勤信息数据、机房门禁出入信息数据、运维操作数据、变更流程工单信息数据等。
需要说明的是，可以利用不同的数据接入方法，从数据源系统中获取运维数据。
可选的，在数据源系统提供的运维数据的数据量小于预设阈值的情况下，调用实时数据接入方法，从数据源系统中获取运维数据，具体的，实时数据接入方法包括但不限于为：利用数据库直连抽取、利用Restful接口获取、利用Kafka消息队列获取等方法。
可选的，在数据源系统提供的运维数据的数据量不小于预设阈值的情况下，调用异步数据接入方法，从数据源系统中获取运维数据，具体的，异步数据接入方法包括但不限于为：利用批量订阅获取、利用文件传输等方法。
基于实时数据接入方法以及异步数据接入方法，使后续对运维数据的加工处理的时效性，远远高于手工处理的时效性，关于数据接入方法的具体使用场景，可以参见表1所示。
表1
Figure BDA0003875378160000081
需要说明的是，表1所示的内容仅仅用于举例说明。
S102：对各个风险行为的运维数据进行数据清洗，得到符合第一预设条件的运维数据集合。
其中，第一预设条件为：任意一个运维数据所包含的字段，并不与其它运维数据所包含的字段重复。
需要说明的是，数据清洗的具体实现方式，为本领域技术人所熟悉的公知常识，这里不再赘述。
S103：按照预设数据格式，对运维数据集合中的运维数据进行数据转换，得到多个有效运维数据。
其中，每个有效运维数据的数据格式都与预设数据格式相同。
需要说明的是，数据转换的具体实现方式，为本领域技术人所熟悉的公知常识，这里不再赘述。
S104：对各个有效运维数据进行数据拉链，得到各个目标运维数据。
其中，目标运维数据包括有效运维数据，以及有效运维数据的状态变更记录。
需要说明的是，数据拉链的具体实现方式，为本领域技术人所熟悉的公知常识，这里不再赘述。
S105：对各个目标运维数据进行主题识别，得到各个目标运维数据所属的运维领域主题。
其中，运维领域主题的类型包括但不限于为：机房门禁记录信息、运维操作信息、变更信息、考勤信息等。
S106：将归属于同一运维领域主题的多个目标运维数据进行聚合，得到与每个运维领域主题对应的维表。
其中，维表包括多个公共指标特征，各个公共指标特征均从归属于同一运维领域主题的多个目标运维数据中提取得到。
在本申请实施例中，所谓的聚合也可简单理解为统计分析，其目的是为了：从归属于同一运维领域主题的多个目标运维数据中，提取出与运维领域主题关联的多个公共指标特征，并基于各个公共指标特征，构建与运维领域主题对应的维表。
一般来讲，适用于数据中心的维度有：人员、处室、群组、团队、系统等等，可以通过抽象出上述的维度，然后将相关的信息按上述维度提前进行聚合，用groupby等sql语句完成聚类，并放在数据仓库，供其它的应用或场景直接进行复用。上述的维度是数据中心经过大量的实践所得出来的合理维度，通过进行聚合操作，可以有效减少通用字段的存储量，并提高其它应用场景的复用率。
需要说明的是，不同维表所包含的公共指标特征并不相同，具体的，以图1b和图1c所示的维表为例，机房门禁记录信息表、维操作信息表、变更信息表、考勤信息表、人员基础信息表、系统基础信息表、考勤汇总表均为维表，各个维表所包含的公共指标特征互不相同。
具体的，机房门禁记录信息表所包含的公共指标特征，可参见表2所示。
表2
Figure BDA0003875378160000091
Figure BDA0003875378160000101
具体的，运维操作信息表所包含的公共指标特征，可参见表3所示。
表3
字段名称 数据类型 中文注释 备注
ORGANIZATION STRING 所属中心
DEPARTMENT STRING 人员所属处室
GROUP STRING 人员所属群组
NAME STRING 人员姓名
LOGIN_NAME STRING 登录名
PERSON_ID STRING 人员ID
LOGIN_TIME DATE 登录时间
END_TIME DATE 退出时间
AUTHORIZED_NAME STRING 授权人登录名
SYSTEM_DEPARTMENT STRING 系统所属处室
SYSTEM_NAME STRING 系统名称
DEVICE_NAME STRING 设备名称
DEVICE_IP STRING 设备IP
ACCOUNT_TITLE STRING 账号名称
PROTOCOL STRING 登录协议
LOGIN_SOURCE_IP STRING 登录源IP
具体的，人员基础信息表所包含的公共指标特征，可参见表4所示。
表4
字段名称 数据类型 中文注释 备注
NUMBER INT 序号
ORGANIZATION STRING 所属中心
DEPARTMENT STRING 所属处室
GROUP STRING 所属群组
NAME STRING 姓名
PERSON_ID STRING 人员ID
CELLPHONE_NUMBER STRING 手机
E_MAIL STRING 邮箱
上述表2、表3以及表4所示的内容仅仅用于举例说明，具体的，表中任意一行所示的内容均代表一个公共指标特征。
基于上述S102-S106所示流程，可以简单理解为：对从数据源系统获取的运维数据中的重复字段进行去重，并从运维数据中提取公共指标特征，形成数据仓库贴源层的数据标准与数据规则，建立贴源层数据表结构。基于贴源层数据表结构，便可按照人员、系统等粒度建立贴源层维度表，去除冗余数据字段(例如：人员姓名、人员ID等字段)，拼接成为汇总及明细层宽表。在源系统数据接入后根据数据定义规则进行自动检核和清洗，过滤掉不符合数据标准的差错数据，减少人工处理的数据量和工作量。
S107：将各个维表和各个目标运维数据保存到数据仓库中。
其中，数据仓库包括贴源数据层、明细及汇总层以及应用层。
在本申请实施例中，各个维表保存在明细及汇总层，各个目标运维数据保存在贴源数据层。
S108：针对每个风险行为，对满足预设要求的多个维表进行组合，生成风险行为的查询条件。
其中，预设要求为：与维表对应的运维领域主题，被纳入到与风险行为对应的风险规则中。
具体的，以对于运维账户串用的场景为例，正常情况下进行自动化运维操作时需要通过门禁刷卡进入后进行操作，即需要有匹配的门禁记录，且大型数据中心一般存在多地多中心的部署模式，即存在多个门禁刷卡地点，此时需要依靠区分人员的考勤打卡区域来判断应该选择哪个区域的门禁系统数据，因此该审计场景至少需要自动化运维操作记录、考勤记录、门禁出入记录等信息，也就是说可以从自动化运维操作记录、考勤记录、门禁出入记录这三张维度表中进行数据筛选。
在本申请实施例中，可以根据预设的数据服务接口提供的可配置式规则，对满足预设要求的多个维表进行组合，生成查询条件。数据服务接口提供的可配置式规则包括但不限于为：AND(即满足条件1又满足条件2)、OR(满足条件1或条件2)、IF(如果满足条件x)、LIKE(模糊匹配关键字y)、WHERE(维表某字段取值范围)之间任意一项或多项的组合。
在本申请实施例中，所谓的组合过程可以理解为：可以通过拖拉拽的方式，来编写查询条件(即类似正则表达式的语句，亦可以理解为类sql语句)。
具体的，针对上述提及的运维账户串用的场景，可配置式规则需要先选中自动化运维操作记录(Oper_log)、考勤记录(Attend_log)、门禁出入记录(Access_log)这三张维表。再根据风险审计的违规规则，通过界面拖拉拽的方式对三张维表进行组合，所生成的查询条件可以是：IF(Attend_log.打卡地点＝北京)THEN(Access_log.地点＝北京ANDOper_log.人员＝Access_log.人员ANDAccess_log.人员＝FALSE)则判定为违规。
需要说明的是，当风险规则发生变化时，可以随时根据新的风险规则进行配置，快速的输出新的报表结果以满足新的业务规则，相较于现有的风险控制方式，风险控制效率将得到明显提高。
S109：从数据仓库中获取满足风险行为的查询条件的目标运维数据，标识为风险行为的风险数据。
其中，数据中心的风险行为有多种类别，为支持全景风险视图展示，首先按照风险行为类别对不同风险进行分类，例如，可分为监控管理、值班管理、数据安全管理、变更管理、事件管理等不同类别。
需要说明的是，在每一类风险行为当中，按照具体的风险规则设置加工规则逻辑，例如，针对监控管理，需要识别出监控管理系统投产后未进行监控纳管、系统监控维护期设置过长、系统告警信息未及时订阅等风险行为的风险数据，并对识别得的风险数据进行针对性加工。
S110：对各个风险行为的风险数据进行聚合，得到风险行为汇总结果。
其中，风险行为汇总结果包括多个员工风险行为清单，以及多个组织机构风险行为清单。员工风险行为清单包括员工的一个或多个风险行为。组织机构风险行为清单包括组织机构的一个或多个风险行为。
需要说明的是，由于个人涉及的风险行为条目数过多，需要进行大量检索筛选才能识别出个人相关的风险行为。为此，通过用户的唯一登录标识号，从各个风险行为的风险数据中，抽取出个人维度相关的全部风险行为，生成员工风险行为清单。运维人员在每日办公时登录个人工作台能够查看与本人相关的风险行为，感知个人的风险态势并及时进行整改，此外，针对高危风险行为，通过短信或邮件等方式提醒运维人员及时干预。
通过处室、人员、行为分类等不同角度提取风险行为趋势特征，得到组织机构风险行为清单。管理人员能够登录个人工作台查看组织机构级的相关风险行为，获取处室、人员、行为分类的趋势，例如：针对同比、环比、风险行为数量最多的TOP人员与处室进行展示，形成全景的风险视图供管理者进行决策。此外，针对高危风险行为以及不良的发展趋势，通过管理手段督促相关人员进行整改，将运维风险行为降到最低。
S111：基于各个员工风险行为清单，生成员工风险视图，并基于各个组织机构风险行为清单，生成组织机构风险视图。
其中，数据中心的运维人员可通过前端界面查看员工风险视图，具体的员工风险视图可以参见图1d所示，此外，数据中心的管理人员也可通过前端界面查看组织机构风险视图，具体的组织机构风险视图可以参见图1e所示。
基于上述S101-S111所示流程，本实施例可具备以下优点：
1、通过统一的维表聚合方法，提取出源系统运维数据的公共对象，在数据整合入池的过程中，完成对运维类数据的检核、清洗、加工与整合，减少从多套运维平台系统重复获取数据，极大的节省了数据接入的数据冗余和手工处理工作，提升了风险数据的自动化处理能力。
2、通过实时数据接入方法和异步数据接入方法，完成数据采集和维表加工，实现对特定风险行为场景的自动化处理，基于维表数据进行条件组合接口配置，支持快速修改风险审计加工规则以满足不断变化的风险行为规则要求，能够支持快速的添加规则、扩展风险行为识别领域，大大节省了开发成本。
3、通过将风险行为分类以及按照个人、组织机构维度进行聚合的方式，将个人风险行为通过个人工作台和预警短信提醒的方式及时推送给运维人员，使其能够获取个人相关的全景风险信息，及时进行干预；将组织机构级风险行为按照多维度进行分类展示与趋势分析，使组织机构能够获取当前的全景风险态势，针对不良风险行为进行整改，促进整体风险水平的提升。
综上所述，本实施例相较于现有技术，无需花费人力成本对数据源系统提供的海量运维数据进行处理和检查，且基于员工风险视图和组织机构风险视图，为用户提供风险控制的参考依据，使得用户无需花费时间成本从海量运维数据中发现风险行为，从而有效提高数据中心的风险控制效率。
需要说明的是，上述实施例提及的S101，为本申请实施例所示风险视图的数据处理方法的一种可选的实现方式。此外，上述实施例提及的S106，也为本申请实施例所示风险视图的数据处理方法的一种可选的实现方式。为此，上述实施例提及的流程，可以概括为图2所述的方法。
如图2所示，为本申请实施例提供的另一种风险视图的数据处理方法的流程示意图，包括如下所示步骤。
S201：从与各个风险行为对应的数据源系统中，获取各个风险行为的运维数据。
S202：对各个运维数据进行处理，得到各个目标运维数据。
S203：基于各个目标运维数据，获得与任意一个运维领域主题对应的维表。
S204：针对每个风险行为，对满足预设要求的多个维表进行组合，生成风险行为的查询条件。
其中，预设要求为：与维表对应的运维领域主题，被纳入到与风险行为对应的风险规则中。
S205：将满足风险行为的查询条件的目标运维数据，标识为风险行为的风险数据。
S206：对各个风险行为的风险数据进行聚合，得到风险行为汇总结果。
其中，风险行为汇总结果包括多个员工风险行为清单，以及多个组织机构风险行为清单。
S207：基于各个员工风险行为清单，生成员工风险视图，以及基于各个组织机构风险行为清单，生成组织机构风险视图。
综上所述，本实施例相较于现有技术，无需花费人力成本对数据源系统提供的海量运维数据进行处理和检查，且基于员工风险视图和组织机构风险视图，为用户提供风险控制的参考依据，使得用户无需花费时间成本从海量运维数据中发现风险行为，从而有效提高数据中心的风险控制效率。
与上述本申请实施例提供的风险视图的数据处理方法相对应，本申请实施例还提供了一种风险视图的数据处理装置。
如图3所示，为本申请实施例提供的一种风险视图的数据处理装置的架构示意图，包括如下所示单元。
数据获取单元100，用于从与各个风险行为对应的数据源系统中，获取各个风险行为的运维数据。
可选的，数据获取单元100具体用于：对于与任意一个风险行为对应的数据源系统，在数据源系统提供的运维数据的数据量小于预设阈值的情况下，调用实时数据接入方法，从数据源系统中获取运维数据。
数据获取单元100具体用于：对于与任意一个风险行为对应的数据源系统，在数据源系统提供的运维数据的数据量不小于预设阈值的情况下，调用异步数据接入方法，从数据源系统中获取运维数据。
数据处理单元200，用于对各个运维数据进行处理，得到各个目标运维数据。
可选的，数据处理单元200具体用于：对各个风险行为的运维数据进行数据清洗，得到符合第一预设条件的运维数据集合；第一预设条件为：任意一个运维数据所包含的字段，并不与其它运维数据所包含的字段重复；按照预设数据格式，对运维数据集合中的运维数据进行数据转换，得到多个有效运维数据；对各个有效运维数据进行数据拉链，得到各个目标运维数据；目标运维数据包括有效运维数据，以及有效运维数据的状态变更记录。
维表获取单元300，用于基于各个目标运维数据，获得与任意一个运维领域主题对应的维表。
可选的，维表获取单元300具体用于：对各个目标运维数据进行主题识别，得到各个目标运维数据所属的运维领域主题；将归属于同一运维领域主题的多个目标运维数据进行聚合，得到与每个运维领域主题对应的维表；维表包括多个公共指标特征；各个公共指标特征均从归属于同一运维领域主题的多个目标运维数据中提取得到。
维表组合单元400，用于针对每个风险行为，对满足预设要求的多个维表进行组合，生成风险行为的查询条件；预设要求为：与维表对应的运维领域主题，被纳入到与风险行为对应的风险规则中。
数据查询单元500，用于将满足风险行为的查询条件的目标运维数据，标识为风险行为的风险数据。
数据聚合单元600，用于对各个风险行为的风险数据进行聚合，得到风险行为汇总结果；风险行为汇总结果包括多个员工风险行为清单，以及多个组织机构风险行为清单。
视图生成单元700，用于基于各个员工风险行为清单，生成员工风险视图，以及基于各个组织机构风险行为清单，生成组织机构风险视图。
综上所述，本实施例相较于现有技术，无需花费人力成本对数据源系统提供的海量运维数据进行处理和检查，且基于员工风险视图和组织机构风险视图，为用户提供风险控制的参考依据，使得用户无需花费时间成本从海量运维数据中发现风险行为，从而有效提高数据中心的风险控制效率。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述本申请提供的风险视图的数据处理方法。
本申请还提供了一种风险视图的数据处理设备，包括：处理器、存储器和总线。处理器与存储器通过总线连接，存储器用于存储程序，处理器用于运行程序，其中，程序运行时执行上述本申请提供的风险视图的数据处理方法，包括如下步骤：
从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据；
对各个所述运维数据进行处理，得到各个目标运维数据；
基于各个所述目标运维数据，获得与任意一个运维领域主题对应的维表；
针对每个风险行为，对满足预设要求的多个维表进行组合，生成所述风险行为的查询条件；所述预设要求为：与维表对应的运维领域主题，被纳入到与所述风险行为对应的风险规则中；
将满足所述风险行为的查询条件的目标运维数据，标识为所述风险行为的风险数据；
对各个所述风险行为的风险数据进行聚合，得到风险行为汇总结果；所述风险行为汇总结果包括多个员工风险行为清单，以及多个组织机构风险行为清单；
基于各个所述员工风险行为清单，生成员工风险视图，以及基于各个所述组织机构风险行为清单，生成组织机构风险视图。
具体的，在上述实施例的基础上，所述从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据，包括：
对于与任意一个风险行为对应的数据源系统，在所述数据源系统提供的运维数据的数据量小于预设阈值的情况下，调用实时数据接入方法，从所述数据源系统中获取所述运维数据。
具体的，在上述实施例的基础上，所述从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据，包括：
对于与任意一个风险行为对应的数据源系统，在所述数据源系统提供的运维数据的数据量不小于预设阈值的情况下，调用异步数据接入方法，从所述数据源系统中获取所述运维数据。
具体的，在上述实施例的基础上，所述对各个所述运维数据进行处理，得到各个目标运维数据，包括：
对各个所述风险行为的运维数据进行数据清洗，得到符合第一预设条件的运维数据集合；所述第一预设条件为：任意一个运维数据所包含的字段，并不与其它运维数据所包含的字段重复；
按照预设数据格式，对所述运维数据集合中的运维数据进行数据转换，得到多个有效运维数据；
对各个所述有效运维数据进行数据拉链，得到各个目标运维数据；所述目标运维数据包括所述有效运维数据，以及所述有效运维数据的状态变更记录。
具体的，在上述实施例的基础上，所述基于各个所述目标运维数据，获得与任意一个运维领域主题对应的维表，包括：
对各个所述目标运维数据进行主题识别，得到各个所述目标运维数据所属的运维领域主题；
将归属于同一运维领域主题的多个目标运维数据进行聚合，得到与每个运维领域主题对应的维表；所述维表包括多个公共指标特征；各个所述公共指标特征均从归属于同一运维领域主题的多个目标运维数据中提取得到。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种风险视图的数据处理方法，其特征在于，包括：
从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据；
对各个所述运维数据进行处理，得到各个目标运维数据；
基于各个所述目标运维数据，获得与任意一个运维领域主题对应的维表；
针对每个风险行为，对满足预设要求的多个维表进行组合，生成所述风险行为的查询条件；所述预设要求为：与维表对应的运维领域主题，被纳入到与所述风险行为对应的风险规则中；
将满足所述风险行为的查询条件的目标运维数据，标识为所述风险行为的风险数据；
对各个所述风险行为的风险数据进行聚合，得到风险行为汇总结果；所述风险行为汇总结果包括多个员工风险行为清单，以及多个组织机构风险行为清单；
基于各个所述员工风险行为清单，生成员工风险视图，以及基于各个所述组织机构风险行为清单，生成组织机构风险视图。
2.根据权利要求1所述的方法，其特征在于，所述从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据，包括：
对于与任意一个风险行为对应的数据源系统，在所述数据源系统提供的运维数据的数据量小于预设阈值的情况下，调用实时数据接入方法，从所述数据源系统中获取所述运维数据。
3.根据权利要求1所述的方法，其特征在于，所述从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据，包括：
对于与任意一个风险行为对应的数据源系统，在所述数据源系统提供的运维数据的数据量不小于预设阈值的情况下，调用异步数据接入方法，从所述数据源系统中获取所述运维数据。
4.根据权利要求1所述的方法，其特征在于，所述对各个所述运维数据进行处理，得到各个目标运维数据，包括：
对各个所述风险行为的运维数据进行数据清洗，得到符合第一预设条件的运维数据集合；所述第一预设条件为：任意一个运维数据所包含的字段，并不与其它运维数据所包含的字段重复；
按照预设数据格式，对所述运维数据集合中的运维数据进行数据转换，得到多个有效运维数据；
对各个所述有效运维数据进行数据拉链，得到各个目标运维数据；所述目标运维数据包括所述有效运维数据，以及所述有效运维数据的状态变更记录。
5.根据权利要求1所述的方法，其特征在于，所述基于各个所述目标运维数据，获得与任意一个运维领域主题对应的维表，包括：
对各个所述目标运维数据进行主题识别，得到各个所述目标运维数据所属的运维领域主题；
将归属于同一运维领域主题的多个目标运维数据进行聚合，得到与每个运维领域主题对应的维表；所述维表包括多个公共指标特征；各个所述公共指标特征均从归属于同一运维领域主题的多个目标运维数据中提取得到。
6.一种风险视图的数据处理装置，其特征在于，包括：
数据获取单元，用于从与各个风险行为对应的数据源系统中，获取各个所述风险行为的运维数据；
数据处理单元，用于对各个所述运维数据进行处理，得到各个目标运维数据；
维表获取单元，用于基于各个所述目标运维数据，获得与任意一个运维领域主题对应的维表；
维表组合单元，用于针对每个风险行为，对满足预设要求的多个维表进行组合，生成所述风险行为的查询条件；所述预设要求为：与维表对应的运维领域主题，被纳入到与所述风险行为对应的风险规则中；
数据查询单元，用于将满足所述风险行为的查询条件的目标运维数据，标识为所述风险行为的风险数据；
数据聚合单元，用于对各个所述风险行为的风险数据进行聚合，得到风险行为汇总结果；所述风险行为汇总结果包括多个员工风险行为清单，以及多个组织机构风险行为清单；
视图生成单元，用于基于各个所述员工风险行为清单，生成员工风险视图，以及基于各个所述组织机构风险行为清单，生成组织机构风险视图。
7.根据权利要求6所述的装置，其特征在于，所述数据获取单元具体用于：
对于与任意一个风险行为对应的数据源系统，在所述数据源系统提供的运维数据的数据量小于预设阈值的情况下，调用实时数据接入方法，从所述数据源系统中获取所述运维数据。
8.根据权利要求6所述的装置，其特征在于，所述数据处理单元具体用于：
对各个所述风险行为的运维数据进行数据清洗，得到符合第一预设条件的运维数据集合；所述第一预设条件为：任意一个运维数据所包含的字段，并不与其它运维数据所包含的字段重复；
按照预设数据格式，对所述运维数据集合中的运维数据进行数据转换，得到多个有效运维数据；
对各个所述有效运维数据进行数据拉链，得到各个目标运维数据；所述目标运维数据包括所述有效运维数据，以及所述有效运维数据的状态变更记录。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序被处理器运行时执行权利要求1-5任一所述的风险视图的数据处理方法。
10.一种风险视图的数据处理设备，其特征在于，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序被处理器运行时执行权利要求1-5任一所述的风险视图的数据处理方法。
CN202211211448.9A 2022-09-30 2022-09-30 风险视图的数据处理方法、装置、存储介质和设备 Pending CN115423361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211211448.9A CN115423361A (zh) 2022-09-30 2022-09-30 风险视图的数据处理方法、装置、存储介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211211448.9A CN115423361A (zh) 2022-09-30 2022-09-30 风险视图的数据处理方法、装置、存储介质和设备

Publications (1)

Publication Number Publication Date
CN115423361A true CN115423361A (zh) 2022-12-02

Family

ID=84205979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211211448.9A Pending CN115423361A (zh) 2022-09-30 2022-09-30 风险视图的数据处理方法、装置、存储介质和设备

Country Status (1)

Country Link
CN (1) CN115423361A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823464A (zh) * 2023-06-06 2023-09-29 海通期货股份有限公司 数据资产管理平台、电子设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823464A (zh) * 2023-06-06 2023-09-29 海通期货股份有限公司 数据资产管理平台、电子设备及计算机可读存储介质
CN116823464B (zh) * 2023-06-06 2024-03-26 海通期货股份有限公司 数据资产管理平台、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110765337B (zh) 一种基于互联网大数据的服务提供方法
CN111291076B (zh) 基于大数据的异常用水监测报警系统及其构建方法
CN109766359B (zh) 一种信用主体综合分析管理系统及方法
WO2009081212A2 (en) Data normalisation for investigative data mining
KR20150009798A (ko) 개인 정보 상시 감시 시스템 및 그 상시 감시 방법
CN113887219B (zh) 一种主管部门热线舆情识别与预警方法及系统
CN106528850B (zh) 基于机器学习聚类算法的门禁数据异常检测方法
CN111159161A (zh) 基于etl规则的数据质量监控及预警系统和方法
CN115423361A (zh) 风险视图的数据处理方法、装置、存储介质和设备
CN112631889B (zh) 针对应用系统的画像方法、装置、设备及可读存储介质
CN109919667A (zh) 一种用于识别企业ip的方法和装置
CN111478439A (zh) 一种区域配网自动化开关遥控成功率分析方法
CN111291029B (zh) 数据清洗方法及装置
CN114265887A (zh) 一种维度数据处理方法、装置、存储介质及电子设备
CN115129356A (zh) 目标事件看板生成方法、存储介质及电子装置
CN112347314B (zh) 一种基于图数据库的数据资源管理系统
CN114155085A (zh) 一种基于表达式引擎的风险指标自动预警的方法、系统
CN114840519A (zh) 一种数据打标签的方法、设备及存储介质
KR20180071699A (ko) 개인 정보 온라인 감시 시스템 및 방법
CA2408506A1 (en) Management of enterprise communications
CN113407530A (zh) 一种权限数据的回收方法、管理装置以及存储介质
CN111858598A (zh) 一种海量数据综合管理系统与方法
CN111368550A (zh) 一种舆情信息管理系统
CN117764455B (zh) 一种数据的通用指标管理方法及系统
CN115809256B (zh) 治安管理综合信息系统和可视化展示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination