CN114548706A - 一种业务风险的预警方法以及相关设备 - Google Patents
一种业务风险的预警方法以及相关设备 Download PDFInfo
- Publication number
- CN114548706A CN114548706A CN202210109655.7A CN202210109655A CN114548706A CN 114548706 A CN114548706 A CN 114548706A CN 202210109655 A CN202210109655 A CN 202210109655A CN 114548706 A CN114548706 A CN 114548706A
- Authority
- CN
- China
- Prior art keywords
- log data
- service system
- event
- log
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
Abstract
本申请实施例提供了一种业务风险的预警方法及相关设备，可以减少人力和资源的消耗，同时提高对异常事件的识别效率。该方法包括：遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据，目标业务系统为待进行业务风险监控的至少一个业务系统中任意一个业务系统，日志数据库中存储有至少一个业务系统所对应的日志格式统一的事件日志数据；对预设风控规则进行解析，得到结构化查询语言SQL查询语句；基于SQL查询语句对目标日志数据进行查询匹配；若匹配成功，则生成与预设风控规则所对应的告警事件；若达到告警事件输出条件，则输出告警事件以及目标日志数据中与告警事件所对应的日志数据。
Description
技术领域
本申请涉及风险监控领域，尤其涉及一种业务风险的预警方法以及相关设备。
背景技术
对于用户数量巨大并具备广泛社会影响力的互联网平台类应用，为满足合规、监管需求或者出于维持平台正常的商业秩序的需要，往往需要在平台运营上耗费巨大的人力和资源，对用户行为、关键业务流程以及关键业务等数据时刻进行关注，实时对异常事件进行处理。
传统的做法依赖大量的数据报表和数据运营人员，能否及时发现问题往往在于数据运营岗的“数据敏感性”及数据报表本身是否直观明了。
即便是数据运营岗“数据敏感性”够高，且数据报表本身直接明了，也会耗费大量的人力和资源，同时也会对异常事件的识别效率不高。
发明内容
本申请实施例提供了一种业务风险的预警方法及相关设备，可以减少人力和资源的消耗，同时提高对异常事件的识别效率。
本申请实施例的第一方面提供了一种业务风险的预警方法，该方法包括：
遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据，所述目标业务系统为待进行业务风险监控的至少一个业务系统中任意一个业务系统，所述日志数据库中存储有所述至少一个业务系统中任意一个业务系统所对应的日志格式统一的事件日志数据；
对预设风控规则进行解析，得到结构化查询语言SQL查询语句，所述预设风控规则与所述目标业务系统相对应；
基于所述SQL查询语句对所述目标日志数据进行查询匹配；
若匹配成功，则生成与所述预设风控规则所对应的告警事件；
若达到告警事件输出条件，则输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据。
一种可能的设计中，所述方法还包括：
实时获取所述至少一个业务系统中每个业务系统所对应的事件日志数据，所述至少一个业务系统中每个业务系统所对应的事件日志的格式统一；
对所述每个业务系统所对应的事件日志数据进行处理；
将处理后的所述每个业务系统所对应的事件日志数据传输至所述目标日志数据库。
一种可能的设计中，所述实时获取所述至少一个业务系统中每个业务系统所对应的事件日志数据包括：
在所述每个业务系统中分别设置对应的日志数据获取日志埋点；
基于所述日志数据获取日志埋点实时获取所述每个业务系统所对应的事件日志数据。
一种可能的设计中，所述基于所述日志数据实时获取日志埋点获取所述每个业务系统所对应的事件日志数据包括：
确定所述每个业务系统所对应的日志字段值；
基于所述日志数据获取日志埋点实时获取所述每个业务系统所对应的日志字段值。
一种可能的设计中，所述对所述每个业务系统所对应的事件日志数据进行处理包括：
对所述每个业务系统所对应的事件日志数据进行去重；
将去重后的所述事件日志数据进行过滤，得到过滤事件日志数据；
将所述过滤事件日志数据进行日志字段转换，得到转换事件日志数据；
为所述转换事件日志数据增加信息标签，以完成对所述每个业务系统所对应的事件日志数据的处理。
一种可能的设计中，所述方法还包括：
判断等待时长是否达到预设时长，若是，则确定达到所述告警事件输出条件；
或，
判断所述告警事件的数量是否达到预设值，若是，则确定达到所述告警事件输出条件。
一种可能的设计中，所述输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据包括：
定义与所述目标业务系统所对应的告警分发规则；
基于所述告警分发规则，将所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据进行输出。
本申请第二方面提供了一种业务风险预警装置，包括：
遍历单元，用于遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据，所述目标业务系统为待进行业务风险监控的至少一个业务系统中任意一个业务系统，所述日志数据库中存储有所述至少一个业务系统中任意一个业务系统所对应的日志格式统一的事件日志数据；
解析单元，用于对预设风控规则进行解析，得到结构化查询语言SQL查询语句，所述预设风控规则与所述目标业务系统相对应；
查询匹配单元，用于基于所述SQL查询语句对所述目标日志数据进行查询匹配；
生成单元，用于若匹配成功，则生成与所述预设风控规则所对应的告警事件；
输出单元，用于若达到告警事件输出条件，则输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据。
一种可能的设计中，所述业务风险预警装置还包括：
获取单元，所述获取单元用于：
实时获取所述至少一个业务系统中每个业务系统所对应的事件日志数据，所述至少一个业务系统中每个业务系统所对应的事件日志的格式统一；
对所述每个业务系统所对应的事件日志数据进行处理；
将处理后的所述每个业务系统所对应的事件日志数据传输至所述目标日志数据库。
一种可能的设计中，所述获取单元实时获取所述至少一个业务系统中每个业务系统所对应的事件日志数据包括：
在所述每个业务系统中分别设置对应的日志数据获取日志埋点；
基于所述日志数据获取日志埋点实时获取所述每个业务系统所对应的事件日志数据。
一种可能的设计中，所述获取单元基于所述日志数据实时获取日志埋点获取所述每个业务系统所对应的事件日志数据包括：
确定所述每个业务系统所对应的日志字段值；
基于所述日志数据获取日志埋点实时获取所述每个业务系统所对应的日志字段值。
一种可能的设计中，所述获取单元对所述每个业务系统所对应的事件日志数据进行处理包括：
对所述每个业务系统所对应的事件日志数据进行去重；
将去重后的所述事件日志数据进行过滤，得到过滤事件日志数据；
将所述过滤事件日志数据进行日志字段转换，得到转换事件日志数据；
为所述转换事件日志数据增加信息标签，以完成对所述每个业务系统所对应的事件日志数据的处理。
一种可能的设计中，所述输出单元还用于：
判断等待时长是否达到预设时长，若是，则确定达到所述告警事件输出条件；
或，
判断所述告警事件的数量是否达到预设值，若是，则确定达到所述告警事件输出条件。
一种可能的设计中，所述输出单元输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据包括：
定义与所述目标业务系统所对应的告警分发规则；
基于所述告警分发规则，将所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据进行输出。
本申请第三方面提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如上述第一方面所述的业务风险的预警方法的步骤。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如上述第一方面所述的业务风险的预警方法的步骤。
综上所述，可以看出，本申请提供的实施例中，业务风险预警装置可以提前将系统的事件日志转化成格式统一的日志数据进行存储，并通过自定义的风控规则对存储的日志数据进行查询，相对于传统的数据报表和数据运营人员进行监控，可以提前配置适应各种风控场景识别业务风险和精准预警的需求，并通过SQL查询语句对日志数据进行风险查询匹配，极大减少对数据报表和数据运营岗个人能力的依赖，进而可以减少人力和资源的消耗，同时提高对异常事件的识别效率。
附图说明
图1为本申请实施例提供的一种业务风险的预警方法的一个流程示意图；
图2为本申请实施例提供的一种业务风险的预警方法的另一流程示意图；
图3为本申请实施例提供的一种业务风险预警装置的虚拟结构示意图；
图4为本申请实施例提供的一种业务风险预警装置的硬件结构示意图；
图5为本申请实施例提供的一种电子设备的实施例示意图；
图6为本申请实施例提供的一种计算机可读存储介质的实施例示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
下面从业务风险预警装置的角度对业务风险的预警方法进行说明，该业务风险预警装置可以为服务器，也可以为服务器中的服务单元，具体不做限定。
请参阅图1，图1为本申请实施例提供的业务风险的预警方法的一个流程示意图，业务风险预警装置在待进行业务风险监控的应用101设置日志埋点，并将日志格式统一定义为Json日志102，业务风险预警装置可以通过设置的日志埋点使用log4j/log4net组件实时获取应用101的Json日志102(日志埋点指的是在代码中添加相关日志信息，确保相关操作触发时可记录下来)，之后通过Kafka消息中间件103进行日志传输，以避免业务高峰期事件日志生成大于消费，造成日志处理及存储系统的负荷过重；
之后，业务风险预警装置使用Logstash104作为日志处理组件，对日志进行去重、过滤、日志字段转换以及增加信息标签等操作，并将完成处理后的日志数据输出至Elasticsearch105进行持久化。Elasticsearch是一个分布式可扩展的实时搜索和分析引擎，是一个建立在全文搜索引擎Apache Lucene(TM)基础上的搜索引擎。当然Elasticsearch并不仅仅是Lucene那么简单，它不仅包括了全文搜索功能，还可以进行分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索；实时分析的分布式搜索引擎；可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。
需要说明的是，业务风险监控装置还可以将Json日志102通过Filebeat106传输至Elasticsearch105，Filebeat是用于转发和集中日志数据的轻量级传送程序。
用户107可以配置风控规则108(风控规则用于判断某个事件或操作是否符合业务正常流程)，业务风险预警装置可以通过风控规则引擎109(风控规则引擎用于针对业务系统可能出现的各类风险，采取相关手段进行事前、事中或事后处理)解析风控规则108得到对应的结构化查询语言(Structured Query Language，SQL)查询语句，并执行步骤110通过该SQL查询语句对目标日志数据进行查询匹配，以判断是否匹配成功；若匹配成功，则生成与风控规则108对应的告警事件，并基于告警组件111，通过钉钉、邮件、微信或短信等方式通知用户107；若匹配不成功，则说明不存在告警事件，则执行步骤112静默继续轮询。可以理解的是，用户107同样可以设置轮询时长，例如每20分钟轮询一次。
综上所述，可以看出，本申请提供的实施例中，业务风险预警装置可以提前将应用的事件日志转化成格式统一的日志数据进行存储，并通过自定义的风控规则对存储的日志数据进行查询，相对于传统的数据报表和数据运营人员进行监控，可以提前配置适应各种风控场景识别业务风险和精准预警的需求，并通过SQL查询语句对日志数据进行风险查询匹配，极大减少对数据报表和数据运营岗个人能力的依赖，进而可以减少人力和资源的消耗，同时提高对异常事件的识别效率。
请参阅图2，图2为本申请实施例提供的业务风险的预警方法的流程示意图，该业务风险的预警方法包括：
201、遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据。
本实施例中，业务风险预警装置在对目标业务系统进行业务风险监控时，可以遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据，其中，该目标业务系统为待进行业务风险监控的至少一个业务系统中任意一个业务系统，该日志数据库中存储有至少一个业务系统中任意一个业务系统所对应的日志格式统一的事件日志数据。可以理解的是，该日志数据库可以为Elasticsearch，当然也还可以是其他类型的数据库，具体不做限定，此处以Elasticsearch为例进行说明，Elasticsearch是一个分布式可扩展的实时搜索和分析引擎，一个建立在全文搜索引擎Apache Lucene(TM)基础上的搜索引擎。当然Elasticsearch并不仅仅是Lucene那么简单，它不仅包括了全文搜索功能，还可以分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索；实时分析的分布式搜索引擎；可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。
需要说明的是，业务风险预警装置对各业务系统的事件日志进行了统一约定，以方便后续的日志处理，日志格式约定为Json(JavaScript Object Notation的简写，是一种轻量级的数据交换格式，当然也还可以是其他的日志格式，具体不做限定)，所有日志字段以key/value键值模式存在。下面对日志数据中包含的日志字段进行说明：
日志字段主要包括：dateTime(时间戳)、title(事件名称)、service(服务名称)、serverIp(实例IP)、class(调用类名)、method(调用方法)、requestId(请求ID)、groupCondition(分组条件)以及result(数据结果)等。
各个字段的作用解析如下：
dateTime:事件发生的时间戳；
service:产生事件的服务名称，用于标记事件产生的来源；
serverIp:service部署实例的IP地址，用于定位排查问题；
class：调用类名记录事件对应的日志埋点系统具体类名，用于定位排查问题；
method：调用方法记录事件对应的日志埋点系统具体方法名，用于定位排查问题；
requestId：请求ID，单个请求的事务处理过程中全局唯一，通过header从上游传递到下游，根据请求ID可推测完整的事务处理服务链路；
groupCondition：分组条件，用户自定义的事件分组维度，可以是任意字符串、hash值、用户ID等，通过设置分组条件优先，业务系统可自行控制风控引擎在Elasticsearch查询样本数据的范围。
title：事件标题，用于标记日志埋点位置、用途、使用场景等；
result：本次方法调用结果。
单个事件日志样本数据举例如下：
一个实施例中，业务风险预警装置还执行如下操作：
实时获取至少一个业务系统中每个业务系统所对应的事件日志数据，该至少一个业务系统中每个业务系统所对应的事件日志的格式统一；
对每个业务系统所对应的事件日志数据进行处理；
将处理后的每个业务系统所对应的事件日志数据通过kafka传输至目标日志数据库。
本实施例中，业务风险预警装置实时获取至少一个业务系统中每个业务系统所对应的事件日志数据，具体的可以在每个业务系统中分别设置对应的日志数据获取日志埋点，基于日志数据获取日志埋点实时获取每个业务系统所对应的事件日志数据，也即业务风险预警装置可以基于日志的系统架构，通过在各个业务系统关键操作中进行日志埋点，使用定制的log4j/log4net组件获取大量格式统一的样本数据。
需要说明的是，业务风险预警装置在基于日志数据实时获取每个业务系统所对应的事件日志数据时，可以确定每个业务系统所对应的日志字段值，并基于日志数据获取日志埋点实时获取每个业务系统所对应的日志字段值，完成对各个业务系统的日志数据的获取。也即业务风险预警装置可以提前对主流的企业级应用开发语言如java或.NET的日志组件完成了封装，可自动完成dateTime、serverName、serverIp、class以及method自段的填充，这样在通过日志埋点处理日志数据时，只需传递groupCondition、title、result三个字段值即可以，减少应用端接入负担。
业务风险预警装置在得到至少一个业务系统中每个业务系统所对应的格式统一的事件日志数据之后，可以通过kafka消息中间件传输事件日志数据到日志处理组件logstash(logstash是一个开源的服务器端数据处理管道，用于集中、转换和存储日志数据，可以同时从多个数据源中获取数据，并对其进行转换以及处理，之后将处理后的数据传输至数据库进行存储)，通过使用kafka消息中间件来传输事件日志数据，能高速率、低延时传输大量事件日志数据，并且具备流量削峰效应，能有效减少因日志传输、接收对日志处理组件造成的负载，增加系统整体可靠性。
业务风险预警装置可以对每个业务系统所对应的事件日志数据进行处理，具体的可以对每个业务系统所对应的事件日志数据进行去重；将去重后的事件日志数据进行过滤，得到过滤事件日志数据；将过滤事件日志数据进行日志字段转换，得到转换事件日志数据；为转换事件日志数据增加信息标签。也即业务风险预警装置使用logstash作为日志处理组件，对日志进行去重、过滤、日志字段转换以及增加信息标签等操作，实现对事件日志数据的处理。
最后，业务风险预警装置通过logstash将完成处理的事件日志数据输出到Elasticsearch进行持久化，Elasticsearch可以接受风控规则引擎的定期查询。由此可以在对目标业务系统进行业务风险监控时，遍历日志数据库(Elasticsearch)，进而可以确定出与目标业务系统所对应的目标日志数据。
202、对预设风控规则进行解析，得到结构化查询语言SQL查询语句。
本实施例中，业务风险预警装置可以对与目标业务系统所对应的预设风控规则进行解析，得到对应的结构化查询语言SQL查询语句。也即，业务风险预警装置可以周期性(通常为60秒或120秒，当然也还可以根据实际情况进行设定，具体不做限定)地解析与目标业务系统所对应的预设风控规则，得到预设风控规则设定的查询条件和阈值，生成适用于Elastic search的SQL查询语句进行数据匹配。
需要说明的是，通过步骤201可以确定出与目标业务系统所对应的目标日志数据，通过步骤202可以对预设风控规则进行解析，然而这两个步骤之间并没有先后执行顺序的限制，可以先执行步骤201，也可以先执行步骤202，或者同时执行，具体不做限定。
203、基于SQL查询语句对目标日志数据进行查询匹配。
本实施例中，业务风险预警装置在对预设风控规则进行解析，得到SQL查询语句之后，可以基于该SQL查询语句对目标日志数据进行查询匹配。可以理解的是，该预设风控规则中包含风控标题、查询时间范围、命中阈值、持续时长的描述，业务风险预警装置通过解析风控规则得到SQL查询语句，并通过该SQL查询语句在指定的周期内从Elasticsearch中搜索匹配该目标日志数据，并在满足预警条件时发送告警数据至告警组件。
204、若匹配成功，则生成与预设风控规则所对应的告警事件。
本实施例中，业务风险预警装置在基于SQL查询语句对目标日志数据进行查询匹配，且匹配成功时，业务风险预警装置便会针对该预设风控规则产生一条告警事件，同时还可以设置该告警事件的状态，例如设置为waiting状态。
205、若达到告警事件输出条件，则输出告警事件以及目标日志数据中与告警事件所对应的日志数据。
本实施例中，业务风险预警装置在针对该预设风控规则产生一条告警事件之后，处于告警事件不会立即发送给告警组件，而是会执行一个判断，以判断是否达到告警事件输出条件，只有在达到告警事件输出条件时才会发送。具体的，业务风险预警装置在产生一条告警事件之后，可以判断等待时长是否达到预设时长，若等待时长达到预设时长，则确定达到告警事件输出条件，则输出告警事件以及目标日志数据中与告警事件所对应的日志数据；或者业务风险预警装置还可以判断告警事件的数量是否达到预设值，若告警事件的数量达到预设值，则确定达到告警事件输出条件，则输出告警事件以及目标日志数据中与告警事件所对应的日志数据。以告警事件输出条件为例进行说明，该等待时长在风控规则内设置，通常会指定持续10分钟、30分钟等，若在等待时长范围内，对应的风控规则一直能匹配到日志数据，则在等待时长结束那一刻将告警事件连同引发告警的样本数据传输至告警组件，由告警组件进行输出。
一个实施例中，业务风险预警装置输出告警事件以及目标日志数据中与告警事件所对应的日志数据包括：
定义与目标业务系统所对应的告警分发规则；
基于告警分发规则，将告警事件以及目标日志数据中与告警事件所对应的日志数据进行输出。
本实施例中，业务风险预警装置在输出告警事件以及目标日志数据中与告警事件所对应的日志数据时，可以定义与目标业务系统所对应的告警分发规则，并基于该告警分发规则，将告警事件以及目标日志数据中与告警事件所对应的日志数据进行输出。业务风险预警装置中的告警组件主要分为告警路由和告警渠道两个模块。告警路由模块用于定义告警分发规则，告警渠道则定义告警通知对象和告警投诉方式(例如钉钉、微信或短信等方式)。告警组件收集告警事件和与告警事件关联的样本数据，告警路由模块可以读取告警事件和样本数据，用户通过关键字或正则匹配这些数据制定分发条件。
下面以用户下单场景为例对本申请实施例提供的业务风险的预警方法进行说明：
运营岗的风控需求：对2小时内，单个用户下单数量少于5，但总金额大于100，000的用户进行预警
业务风险预警装置可以将运营岗的风控需求在风控后台转换为目标风控规则，该目标风控规则具体如下：
风控标题：单个用户2小时下单金额超过100000，订单数少于5；
风控条件：
1、取样时间范围：2h；
2、风控场景(title)：用户下单预警；
3、分组字段：groupCondition；
4、对象：result.bill|数学计算：sum|阈值：>100000【And】；
5、对象：result.bill|数学计算:count|阈值:>5【And】；
6、对象:result.status|逻辑计算：＝＝|阈值：1。
告警事件输出条件：等待时长为0(0代表waiting状态的告警事件等待事件为0秒，即一旦触发就投送至告警组件)；
业务风险预警装置每隔60秒解析该目标风控规则，生成适用于Elasticsearch的SQL查询语句，对存储在Elasticsearch的事件日志索引数据进行查询匹配。若匹配成功，表明用户可能正常进行恶意下单攻击系统。此时风控引擎将向告警组件发出告警事件进行。
在告警环节，业务风险预警装置可以在告警组件中配置将来自“用户下单预警”的风控告警事件，通过钉钉消息发送给订单中心客服钉钉群。在告警组件后台，可以配置告警路由为：
路由：
路由字段：告警事件标题|条件：包含|用户下单
告警方式：钉钉机器人|对象：订单中心客服
通过简单的告警路由配置，订单中心客服就可在收到类似下文的告警消息:
业务告警:【用户下单预警】单个用户2小时下单金额超过100000，订单数少于5；
业务告警详情:
服务器IP:192.168.100.158
服务名称:order-center
调用类名:OrderServer
调用方法:createOrder
请求ID:305602c029ce4c2ba30ba5ecb76ac8df
分组条件：3088119753826498
告警详情:用户3088119753826498 2小时下单金额超过100000，订单数少于5。
综上所述，可以看出，本申请提供的实施例中，业务风险预警装置可以提前将系统的事件日志转化成格式统一的日志数据进行存储，并通过自定义的风控规则对存储的日志数据进行查询，相对于传统的数据报表和数据运营人员进行监控，可以提前配置适应各种风控场景识别业务风险和精准预警的需求，并通过SQL查询语句对日志数据进行风险查询匹配，极大减少对数据报表和数据运营岗个人能力的依赖，进而可以减少人力和资源的消耗，同时提高对异常事件的识别效率。
上面对本申请实施例中业务风险的预警方法进行了描述，下面对本申请实施例中的业务风险预警装置进行描述。
请参阅图3，本申请实施例中业务风险预警装置的虚拟结构示意图，该业务风险预警装置300包括：
遍历单元301，用于遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据，所述目标业务系统为待进行业务风险监控的至少一个业务系统中任意一个业务系统，所述日志数据库中存储有所述至少一个业务系统中任意一个业务系统所对应的日志格式统一的事件日志数据；
解析单元302，用于对预设风控规则进行解析，得到结构化查询语言SQL查询语句，所述预设风控规则与所述目标业务系统相对应；
查询匹配单元303，用于基于所述SQL查询语句对所述目标日志数据进行查询匹配；
生成单元304，用于若匹配成功，则生成与所述预设风控规则所对应的告警事件；
输出单元305，用于若达到告警事件输出条件，则输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据。
一种可能的设计中，所述业务风险预警装置300还包括：
获取单元306，所述获取单元306用于：
实时获取所述至少一个业务系统中每个业务系统所对应的事件日志数据，所述至少一个业务系统中每个业务系统所对应的事件日志的格式统一；
对所述每个业务系统所对应的事件日志数据进行处理；
将处理后的所述每个业务系统所对应的事件日志数据传输至所述目标日志数据库。
一种可能的设计中，所述获取单元306实时获取所述至少一个业务系统中每个业务系统所对应的事件日志数据包括：
在所述每个业务系统中分别设置对应的日志数据获取日志埋点；
基于所述日志数据获取日志埋点实时获取所述每个业务系统所对应的事件日志数据。
一种可能的设计中，所述获取单元306基于所述日志数据实时获取日志埋点获取所述每个业务系统所对应的事件日志数据包括：
确定所述每个业务系统所对应的日志字段值；
基于所述日志数据获取日志埋点实时获取所述每个业务系统所对应的日志字段值。
一种可能的设计中，所述获取单元306对所述每个业务系统所对应的事件日志数据进行处理包括：
对所述每个业务系统所对应的事件日志数据进行去重；
将去重后的所述事件日志数据进行过滤，得到过滤事件日志数据；
将所述过滤事件日志数据进行日志字段转换，得到转换事件日志数据；
为所述转换事件日志数据增加信息标签，以完成对所述每个业务系统所对应的事件日志数据的处理。
一种可能的设计中，所述输出单元305还用于：
判断等待时长是否达到预设时长，若是，则确定达到所述告警事件输出条件；
或，
判断所述告警事件的数量是否达到预设值，若是，则确定达到所述告警事件输出条件。
一种可能的设计中，所述输出单元305输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据包括：
定义与所述目标业务系统所对应的告警分发规则；
基于所述告警分发规则，将所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据进行输出。
上面图3从模块化功能实体的角度对本申请实施例中的业务风险预警装置进行了描述，下面从硬件处理的角度对本申请实施例中的业务风险预警装置进行详细描述，请参阅图4，本申请实施例中的业务风险预警装置400一个实施例，包括：
输入装置401、输出装置402、处理器403和存储器404(其中处理器403的数量可以一个或多个，图4中以一个处理器403为例)。在本申请的一些实施例中，输入装置401、输出装置402、处理器403和存储器404可通过总线或其它方式连接，其中，图4中以通过总线连接为例。
其中，通过调用存储器404存储的操作指令，处理器403，用于执行如下步骤：
遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据，所述目标业务系统为待进行业务风险监控的至少一个业务系统中任意一个业务系统，所述日志数据库中存储有所述至少一个业务系统中任意一个业务系统所对应的日志格式统一的事件日志数据；
对预设风控规则进行解析，得到结构化查询语言SQL查询语句，所述预设风控规则与所述目标业务系统相对应；
基于所述SQL查询语句对所述目标日志数据进行查询匹配；
若匹配成功，则生成与所述预设风控规则所对应的告警事件；
若达到告警事件输出条件，则输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据。
通过调用存储器404存储的操作指令，处理器403，还用于执行图1和图2对应的实施例中的任一方式。
请参阅图5，图5为本申请实施例提供的电子设备的实施例示意图。
如图5所示，本申请实施例提供了一种电子设备，包括存储器510、处理器520及存储在存储器520上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现以下步骤：
遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据，所述目标业务系统为待进行业务风险监控的至少一个业务系统中任意一个业务系统，所述日志数据库中存储有所述至少一个业务系统中任意一个业务系统所对应的日志格式统一的事件日志数据；
对预设风控规则进行解析，得到结构化查询语言SQL查询语句，所述预设风控规则与所述目标业务系统相对应；
基于所述SQL查询语句对所述目标日志数据进行查询匹配；
若匹配成功，则生成与所述预设风控规则所对应的告警事件；
若达到告警事件输出条件，则输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据。
在具体实施过程中，处理器520执行计算机程序511时，可以实现图1和图2对应的实施例中任一实施方式。
由于本实施例所介绍的电子设备为实施本申请实施例中一种业务风险预警装置所采用的设备，故而基于本申请实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍，只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
请参阅图6，图6为本申请实施例提供的一种计算机可读存储介质的实施例示意图。
如图6所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：
遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据，所述目标业务系统为待进行业务风险监控的至少一个业务系统中任意一个业务系统，所述日志数据库中存储有所述至少一个业务系统中任意一个业务系统所对应的日志格式统一的事件日志数据；
对预设风控规则进行解析，得到结构化查询语言SQL查询语句，所述预设风控规则与所述目标业务系统相对应；
基于所述SQL查询语句对所述目标日志数据进行查询匹配；
若匹配成功，则生成与所述预设风控规则所对应的告警事件；
若达到告警事件输出条件，则输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据。
在具体实施过程中，该计算机程序611被处理器执行时可以实现图1和图2对应的实施例中任一实施方式。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，当计算机软件指令在处理设备上运行时，使得处理设备执行如图1对应实施例中的业务风险的预警方法中的流程。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修该，或者对其中部分技术特征进行等同替换；而这些修该或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种业务风险的预警方法，其特征在于，包括：
遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据，所述目标业务系统为待进行业务风险监控的至少一个业务系统中任意一个业务系统，所述日志数据库中存储有所述至少一个业务系统中任意一个业务系统所对应的日志格式统一的事件日志数据；
对预设风控规则进行解析，得到结构化查询语言SQL查询语句，所述预设风控规则与所述目标业务系统相对应；
基于所述SQL查询语句对所述目标日志数据进行查询匹配；
若匹配成功，则生成与所述预设风控规则所对应的告警事件；
若达到告警事件输出条件，则输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
实时获取所述至少一个业务系统中每个业务系统所对应的事件日志数据，所述至少一个业务系统中每个业务系统所对应的事件日志的格式统一；
对所述每个业务系统所对应的事件日志数据进行处理；
将处理后的所述每个业务系统所对应的事件日志数据传输至所述目标日志数据库。
3.根据权利要求2所述的方法，其特征在于，所述实时获取所述至少一个业务系统中每个业务系统所对应的事件日志数据包括：
在所述每个业务系统中分别设置对应的日志数据获取日志埋点；
基于所述日志数据获取日志埋点实时获取所述每个业务系统所对应的事件日志数据。
4.根据权利要求3所述的方法，其特征在于，所述基于所述日志数据实时获取日志埋点获取所述每个业务系统所对应的事件日志数据包括：
确定所述每个业务系统所对应的日志字段值；
基于所述日志数据获取日志埋点实时获取所述每个业务系统所对应的日志字段值。
5.根据权利要求2所述的方法，其特征在于，所述对所述每个业务系统所对应的事件日志数据进行处理包括：
对所述每个业务系统所对应的事件日志数据进行去重；
将去重后的所述事件日志数据进行过滤，得到过滤事件日志数据；
将所述过滤事件日志数据进行日志字段转换，得到转换事件日志数据；
为所述转换事件日志数据增加信息标签，以完成对所述每个业务系统所对应的事件日志数据的处理。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
判断等待时长是否达到预设时长，若是，则确定达到所述告警事件输出条件；
或，
判断所述告警事件的数量是否达到预设值，若是，则确定达到所述告警事件输出条件。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据包括：
定义与所述目标业务系统所对应的告警分发规则；
基于所述告警分发规则，将所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据进行输出。
8.一种业务风险预警装置，其特征在于，包括：
遍历单元，用于遍历日志数据库，以确定出与目标业务系统所对应的目标日志数据，所述目标业务系统为待进行业务风险监控的至少一个业务系统中任意一个业务系统，所述日志数据库中存储有所述至少一个业务系统中任意一个业务系统所对应的日志格式统一的事件日志数据；
解析单元，用于对预设风控规则进行解析，得到结构化查询语言SQL查询语句，所述预设风控规则与所述目标业务系统相对应；
查询匹配单元，用于基于所述SQL查询语句对所述目标日志数据进行查询匹配；
生成单元，用于若匹配成功，则生成与所述预设风控规则所对应的告警事件；
输出单元，用于若达到告警事件输出条件，则输出所述告警事件以及所述目标日志数据中与所述告警事件所对应的日志数据。
9.一种电子设备，包括存储器、处理器，其特征在于，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1至7中任意一项所述的业务风险的预警方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机管理类程序，其特征在于：所述计算机管理类程序被处理器执行时实现如权利要求1至7中任意一项所述的业务风险的预警方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210109655.7A CN114548706A (zh) | 2022-01-27 | 2022-01-27 | 一种业务风险的预警方法以及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210109655.7A CN114548706A (zh) | 2022-01-27 | 2022-01-27 | 一种业务风险的预警方法以及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114548706A true CN114548706A (zh) | 2022-05-27 |
Family
ID=81674086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210109655.7A Pending CN114548706A (zh) | 2022-01-27 | 2022-01-27 | 一种业务风险的预警方法以及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114548706A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114826773A (zh) * | 2022-06-02 | 2022-07-29 | 合肥卓讯云网科技有限公司 | 一种基于日志数据的自定义日志告警方法和装置 |
| CN115514678A (zh) * | 2022-09-23 | 2022-12-23 | 四川新网银行股份有限公司 | 一种互联网金融业务的连续性监控方法及装置 |
| CN116228248A (zh) * | 2023-05-09 | 2023-06-06 | 建信金融科技有限责任公司 | 一种金融业务的风险控制方法和装置 |
| CN116311828A (zh) * | 2023-05-11 | 2023-06-23 | 武汉科迪智能环境股份有限公司 | 报警管理方法、装置、计算机设备及计算机可读存储介质 |
| CN116319055A (zh) * | 2023-04-07 | 2023-06-23 | 广州趣研网络科技有限公司 | 一种风险处理方法、装置、设备及可读存储介质 |
| CN116599822A (zh) * | 2023-07-18 | 2023-08-15 | 云筑信息科技(成都)有限公司 | 一种基于日志采集事件的故障告警治理方法 |
-
2022
- 2022-01-27 CN CN202210109655.7A patent/CN114548706A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114826773A (zh) * | 2022-06-02 | 2022-07-29 | 合肥卓讯云网科技有限公司 | 一种基于日志数据的自定义日志告警方法和装置 |
| CN114826773B (zh) * | 2022-06-02 | 2024-04-16 | 合肥卓讯云网科技有限公司 | 一种基于日志数据的自定义日志告警方法和装置 |
| CN115514678A (zh) * | 2022-09-23 | 2022-12-23 | 四川新网银行股份有限公司 | 一种互联网金融业务的连续性监控方法及装置 |
| CN115514678B (zh) * | 2022-09-23 | 2023-09-26 | 四川新网银行股份有限公司 | 一种互联网金融业务的连续性监控方法 |
| CN116319055A (zh) * | 2023-04-07 | 2023-06-23 | 广州趣研网络科技有限公司 | 一种风险处理方法、装置、设备及可读存储介质 |
| CN116319055B (zh) * | 2023-04-07 | 2023-12-19 | 广州趣研网络科技有限公司 | 一种风险处理方法、装置、设备及可读存储介质 |
| CN116228248A (zh) * | 2023-05-09 | 2023-06-06 | 建信金融科技有限责任公司 | 一种金融业务的风险控制方法和装置 |
| CN116311828A (zh) * | 2023-05-11 | 2023-06-23 | 武汉科迪智能环境股份有限公司 | 报警管理方法、装置、计算机设备及计算机可读存储介质 |
| CN116599822A (zh) * | 2023-07-18 | 2023-08-15 | 云筑信息科技(成都)有限公司 | 一种基于日志采集事件的故障告警治理方法 |
| CN116599822B (zh) * | 2023-07-18 | 2023-10-20 | 云筑信息科技(成都)有限公司 | 一种基于日志采集事件的故障告警治理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114548706A (zh) | 一种业务风险的预警方法以及相关设备 | |
| CN110908883B (zh) | 用户画像数据监控方法、系统、设备及存储介质 | |
| CN111614696B (zh) | 一种基于知识图谱的网络安全应急响应方法及其系统 | |
| US10885185B2 (en) | Graph model for alert interpretation in enterprise security system | |
| CN111740868B (zh) | 告警数据的处理方法和装置及存储介质 | |
| CN111078513B (zh) | 日志处理方法、装置、设备、存储介质及日志告警系统 | |
| CN111046000B (zh) | 一种面向政府数据交换共享的安全监管元数据组织方法 | |
| CN111866016A (zh) | 日志的分析方法及系统 | |
| CN107885634B (zh) | 监控中异常信息的处理方法和装置 | |
| CN111913824A (zh) | 确定数据链路故障原因的方法及相关设备 | |
| CN110830416A (zh) | 网络入侵检测方法和装置 | |
| JP6078485B2 (ja) | 運用履歴分析装置及び方法及びプログラム | |
| CN110909380B (zh) | 一种异常文件访问行为监控方法和装置 | |
| US9645877B2 (en) | Monitoring apparatus, monitoring method, and recording medium | |
| CN111124891A (zh) | 接入状态的检测方法和装置、存储介质及电子装置 | |
| CN115174205A (zh) | 一种网络空间安全实时监测方法、系统及计算机存储介质 | |
| CN114490246A (zh) | 一种监控方法、装置、电子设备以及存储介质 | |
| US11290384B2 (en) | Access origin classification apparatus, access origin classification method and program | |
| Polozhentsev et al. | Novel Cyber Incident Management System for 5G-based Critical Infrastructures | |
| CN115544541B (zh) | 目标对象行为数据的处理方法、设备及存储介质 | |
| CN112751876B (zh) | 消息采集系统的控制方法、装置、电子设备及存储介质 | |
| CN114422324A (zh) | 一种告警信息的处理方法、装置、电子设备及存储介质 | |
| US11886229B1 (en) | System and method for generating a global dictionary and performing similarity search queries in a network | |
| CN117220989A (zh) | 数据驱动的安全策略配置方法及系统 | |
| CN115168165A (zh) | 一种基于日志的业务告警方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |