CN113222223B - 实时数仓的风控联动预警方法、系统、设备及存储介质 - Google Patents

实时数仓的风控联动预警方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN113222223B
CN113222223B CN202110444985.7A CN202110444985A CN113222223B CN 113222223 B CN113222223 B CN 113222223B CN 202110444985 A CN202110444985 A CN 202110444985A CN 113222223 B CN113222223 B CN 113222223B
Authority
CN
China
Prior art keywords
data
early warning
indexes
risk
wind control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110444985.7A
Other languages
English (en)
Other versions
CN113222223A (zh
Inventor
葛昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gangyin Technology Development Co ltd
Original Assignee
Shanghai Gangyin Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gangyin Technology Development Co ltd filed Critical Shanghai Gangyin Technology Development Co ltd
Priority to CN202110444985.7A priority Critical patent/CN113222223B/zh
Publication of CN113222223A publication Critical patent/CN113222223A/zh
Application granted granted Critical
Publication of CN113222223B publication Critical patent/CN113222223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Abstract

本申请涉及电子商务平台准实时数仓建设技术领域，公开了一种实时数仓的风控联动预警方法、系统。实时数仓的风控联动预警方法，包括：预警模型配置，基于业务预先配置不同业务的风控预警模型；数据预警指标定义，基于标准mysql数据库定义数据不同风险区间的风险指标，包括授信指标、黑名单指标、白名单指标；预警指标取数，为不同业务的风控预警模型配置对应的数据预警指标；数据抽取；数据转换；数据加载；风险指标计算，计算数据的风险指标；预警监控，基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控。实现了大数据指标风控联动机制，针对平台异常交易订单、资金风险安全控制。

Description

实时数仓的风控联动预警方法、系统、设备及存储介质
技术领域
本申请涉及电子商务平台准实时数仓建设技术领域，尤其是涉及一种实时数仓的风控联动预警方法、系统、设备及存储介质。
背景技术
数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合，通过对数据仓库中数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。数据仓库为数据最终的目的地做好准备，这些准备包括对数据的清洗、转义、分类、重组、合并、拆分、统计等等。
实时数仓是对实时数据进行采集、同步、计算，并得到结果数据，以供业务方使用。实时数仓能够对外提供分钟级别、甚至秒级别的查询方案。
相关技术中，实时数仓的大数据指标监控机制不健全，缺乏完善的预警监控机制。
发明内容
为了改善上述大数据指标监控机制不健全，缺乏完善的预警监控机制的问题，本申请提供了一种实时数仓的风控联动预警方法、系统、设备及存储介质。
第一方面，本申请提供了实时数仓的风控联动预警方法。
实时数仓的风控联动预警方法，包括：
预警模型配置，基于业务预先配置不同业务的风控预警模型；
数据预警指标定义，基于标准mysql数据库定义数据不同风险区间的风险指标，包括授信指标、黑名单指标、白名单指标；
预警指标取数，为不同业务的风控预警模型配置对应的数据预警指标；
数据抽取，基于业务将mysql数据库中的数据抽取至消息队列Kafka中；
数据转换，基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列Kafka中的数据进加，包括：设置默认值、数据汇总、以其他数据库的数据作为取值条件，以及上传脚本描述；
数据加载，基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库；
风险指标计算，计算数据的风险指标；
预警监控，基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控。
通过采用上述技术方案，实现了大数据指标风控联动机制，针对平台异常交易订单、资金风险安全控制。
优选的，所述风控预警模型为基于业务配置其各标准mysql数据库的预警条件。
优选的，所述预警指标取数具体为：为不同业务的风控预警模型中对应的预警条件配置不同风险区间的数据预警指标。
优选的，所述风险指标计算具体为计算各标准mysql数据库内各数据风险指标值。
优选的，所述基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控包括：
基于风控预警模型提取对应标准mysql数据库内各数据风险指标值；
将提取的标准mysql数据库内各数据风险指标值与其对应的数据预警指标进行比对，区分数据风险区间。
优选的，数据抽取步骤具体为：通过伪装成mysql的slave获取数据的binlog日志，并进行解析，并将解析到的数据发往Kafka队列中。
优选的，将解析的binlog日志进度的标识保存至Redis中，通过改变Redis中相应的数值，以切换binlog的解析进度；同时，通过Zookeeper实现分布多节点。
优选的，所述数据转换和数据加载在同一个consumer服务器控件中完成，consumer消费Kafka中的加工前的原始数据；
consumer服务器控件从在mysql数据库中获取转换策略，然后通过动态代理成对象，将相应的转换策略保存至该代理对象中；
consumer服务器控件从Kafka中消费加工前的原始数据，根据原始数据找到对应的动态代理对象，该动态代理对象根据配置中的转换策略对原始数据进加；
再根据配置的数据来源地和目标地的对应关系将加工好的数据存储至标准mysql数据库。
第二方面，本申请提供了实时数仓的风控联动预警系统。
实时数仓的风控联动预警系统，包括：
数据抽取单元，用于将mysql数据库中的数据抽取至消息队列Kafka中；
转换策略配置单元，用于配置数据的转换策略；
溯源关系配置单元，用于配置数据来源地和目标地的对应关系，并存储至mysql数据库；
预警模型配置单元，用于基于业务配置不同业务的风控预警模型；
数据预警指标配置单元，用于基于标准mysql数据库定义数据不同风险区间的风险指标；
预警指标取数，用于为不同业务的风控预警模型配置对应的数据预警指标；
数据转换单元，用于基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列Kafka中的数据进加；
数据加载单元，用于基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库；
风险指标计算单元，用于计算数据的分享指标；
预警监控单元，用于基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控。
第三方面，本申请提供了一种计算机设备。
一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述实时数仓的风控联动预警方法的计算机程序。
第四方面，本申请提供了一种计算机可读存储介质。
一种计算机可读存储介质，存储有能够被处理器加载并执行上述实时数仓的风控联动预警方法的计算机程序。
综上所述，本申请提供的一种实时数仓自动ETL方法、系统、设备及计算机存储介质包括以下至少一种有益技术效果：
2、实现了大数据指标风控联动机制，针对平台异常交易订单、资金风险安全控制；
1、通过全程配置化所有的数据ETL需求可通过程序配置进完成，无需编写代码，代码、程序安全健壮：所有的数据都会被精确地处理批次，不丢失不重复，及时来源端记录数据到被处理后进标准数据库中间耗时极短在数秒之间；
2、通过将解析的binlog日志进度的标识保存至Redis中，通过改变Redis中相应的数值，以切换binlog的解析进度，便于维护用户可以根据需求随意控制数据ETL的进度条。
附图说明
图1为本申请提供的实时数仓自动ETL及风控联动预警系统的模块示意图。
1、数据抽取单元；2、配置单元；21、转换策略配置单元；22、溯源关系配置单元；23、预警模型配置单元；24、数据预警指标配置单元；25、预警指标取数；3、数据转换单元；4、数据加载单元；5、风险指标计算单元；6、预警监控单元。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本申请首先提供了实时数仓自动ETL方法，包括：
数据抽取，将mysql数据库中的数据抽取至消息队列Kafka中，具体包括：
通过伪装成mysql的slave获取数据的binlog日志，并进行解析，并将解析到的数据发往Kafka队列中；
为了确保数据安全不丢失，将解析的binlog日志进度的标识保存至Redis中，维护人员可以通过改变redis中相应的数值，随意切换binlog的解析进度，以切换binlog的解析进度，从而提高灵活性；同时，通过Zookeeper实现分布多节点；如果正在解析binlog的dam因为网络等原因导致不可，那么备的dam就会无缝接替，继续抽取数据；
综上，用户只需在上配置界面添加数据库名和slave表名就能将相应的数据抽取到Kafka队列中。
数据转换，进入Kafka的数据只是原始的数据，在多数情况下，需要对数据进加，如默认值、数据汇总、甚至是以其他数据库的数据作为取值条件等等，因此，基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列Kafka中的数据进加，包括：设置默认值、数据汇总、以其他数据库的数据作为取值条件，以及上传脚本描述中的一种或多种。
数据加载，将加好的数据加载标准mysql数据库，基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库。
在本申请此实施方式中，数据转换和数据加载在同一个consumer服务器控件中完成，consumer消费Kafka中的加工前的原始数据，即利用监听mysql数据库binlog日志的方式实现实时数据仓库，利用Kafka消息队列进行数据传输，利用Java程序实现ETL程序自动生成。具体为：
consumer服务器控件从在mysql数据库中获取转换策略，然后通过动态代理成对象，将相应的转换策略保存至该代理对象中；
consumer服务器控件从Kafka中消费加工前的原始数据，根据原始数据找到对应的动态代理对象，该动态代理对象根据配置中的转换策略对原始数据进加；
再根据配置的数据来源地和目标地的对应关系将加工好的数据存储至标准mysql数据库。
若原始数据成功转换并加载至标准mysql数据库，consumer服务器控件将消费进度提交给Kafka，且consumer服务器控件继续正常消费；
若消费过程中出现错误，consumer服务器控件则将当前的消费进度保存至Redis中待修复，在错误修复后，consumer服务器控件从Redis中读档，然后继续消费。
为了完善实时数仓的大数据指标监控机制，可以预先对实时数仓进行风控联动预警配置，具体包括：
预警模型配置，基于业务预先配置不同业务的风控预警模型，即基于业务配置其各标准mysql数据库的预警条件；
数据预警指标定义，基于标准mysql数据库定义数据不同风险区间的风险指标，包括授信指标、黑名单指标、白名单指标；
预警指标取数，为不同业务的风控预警模型配置对应的数据预警指标，即为不同业务的风控预警模型中对应的预警条件配置不同风险区间的数据预警指标。
在将数据加载至标准mysql数据库后，即进行各标准mysql数据库内各数据风险指标值的计算，然后进行预警监控，即基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控，具体包括：
基于风控预警模型提取对应标准mysql数据库内各数据风险指标值；
将提取的标准mysql数据库内各数据风险指标值与其对应的数据预警指标进行比对，区分数据风险区间。
本申请还公开了实时数仓自动ETL及风控联动预警系统，包括：
数据抽取单元1，用于将mysql数据库中的数据抽取至消息队列Kafka中；
配置单元2，用于配置数据的转换策略以及数据来源地和目标地的对应关系，并存储至mysql数据库，以及配置预警方案，具体包括：
转换策略配置单元21，用于配置数据的转换策略；
溯源关系配置单元22，用于配置数据来源地和目标地的对应关系，并存储至mysql数据库；
预警模型配置单元23，用于基于业务配置不同业务的风控预警模型；
数据预警指标配置单元24，用于基于标准mysql数据库定义数据不同风险区间的风险指标；
预警指标取数25，用于为不同业务的风控预警模型配置对应的数据预警指标；
数据转换单元3，用于基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列Kafka中的数据进加；
数据加载单元4，用于基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库。
风险指标计算单元5，用于计算数据的分享指标；
预警监控单元6，用于基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控。
本申请还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述实时数仓自动ETL方法的计算机程序。本申请还公开了存储有能够被处理器加载并执行上述实时数仓自动ETL方法的计算机程序，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述埋点采集、统计分析方法的计算机程序。本申请还公开了存储有能够被处理器加载并执行上述埋点采集、统计分析方法的计算机程序，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，不应理解为对本申请的限制。本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。

Claims (7)

1.实时数仓的风控联动预警方法，其特征在于，包括：
预警模型配置，基于业务预先配置不同业务的风控预警模型，所述风控预警模型为基于业务配置其各标准mysql数据库的预警条件；
数据预警指标定义，基于标准mysql数据库定义数据不同风险区间的风险指标，包括授信指标、黑名单指标、白名单指标；
预警指标取数，为不同业务的风控预警模型中对应的预警条件配置不同风险区间的数据预警指标；
数据抽取，基于业务将mysql数据库中的数据抽取至消息队列Kafka中；
数据转换，基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列Kafka中的数据进加，包括：设置默认值、数据汇总、以其他数据库的数据作为取值条件，以及上传脚本描述；
数据加载，基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库；
风险指标计算，为计算各标准mysql数据库内各数据风险指标值；
预警监控，基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控，包括：
基于风控预警模型提取对应标准mysql数据库内各数据风险指标值；
将提取的标准mysql数据库内各数据风险指标值与其对应的数据预警指标进行比对，区分数据风险区间。
2.根据权利要求1所述的实时数仓的风控联动预警方法，其特征在于，数据抽取步骤具体为：通过伪装成mysql的slave获取数据的binlog日志，并进行解析，并将解析到的数据发往Kafka队列中。
3.根据权利要求2所述的实时数仓的风控联动预警方法，其特征在于，将解析的binlog日志进度的标识保存至Redis中，通过改变Redis中相应的数值，以切换binlog的解析进度；同时，通过Zookeeper实现分布多节点。
4.根据权利要求1所述的实时数仓的风控联动预警方法，其特征在于，所述数据转换和数据加载在同一个consumer服务器控件中完成，consumer消费Kafka中的加工前的原始数据；
consumer服务器控件从在mysql数据库中获取转换策略，然后通过动态代理成对象，将相应的转换策略保存至该代理对象中；
consumer服务器控件从Kafka中消费加工前的原始数据，根据原始数据找到对应的动态代理对象，该动态代理对象根据配置中的转换策略对原始数据进加；
再根据配置的数据来源地和目标地的对应关系将加工好的数据存储至标准mysql数据库。
5.实时数仓的风控联动预警系统，其特征在于，包括：
数据抽取单元（1），用于将mysql数据库中的数据抽取至消息队列Kafka中；
转换策略配置单元（21），用于配置数据的转换策略；
溯源关系配置单元（22），用于配置数据来源地和目标地的对应关系，并存储至mysql数据库；
预警模型配置单元（23），用于基于业务配置不同业务的风控预警模型；
数据预警指标配置单元（24），用于基于标准mysql数据库定义数据不同风险区间的风险指标；
预警指标取数（25），用于为不同业务的风控预警模型配置对应的数据预警指标；
数据转换单元（3），用于基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列Kafka中的数据进加；
数据加载单元（4），用于基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库；
风险指标计算单元（5），用于计算数据的分享指标；
预警监控单元（6），用于基于对应业务配置的风控预警模型及风控预警模型对应的数据预警指标对数据的风险指标进行监控。
6.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至4中任一种方法的计算机程序。
7.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至4中任一种方法的计算机程序。
CN202110444985.7A 2021-04-24 2021-04-24 实时数仓的风控联动预警方法、系统、设备及存储介质 Active CN113222223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110444985.7A CN113222223B (zh) 2021-04-24 2021-04-24 实时数仓的风控联动预警方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110444985.7A CN113222223B (zh) 2021-04-24 2021-04-24 实时数仓的风控联动预警方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113222223A CN113222223A (zh) 2021-08-06
CN113222223B true CN113222223B (zh) 2023-02-21

Family

ID=77088952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110444985.7A Active CN113222223B (zh) 2021-04-24 2021-04-24 实时数仓的风控联动预警方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113222223B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116483822B (zh) * 2023-06-21 2023-09-26 建信金融科技有限责任公司 业务数据预警方法、装置、计算机设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法
CN109753531A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种大数据统计方法、系统、计算机设备及存储介质
CN110390465A (zh) * 2019-06-18 2019-10-29 深圳壹账通智能科技有限公司 业务数据的风控分析处理方法、装置和计算机设备
CN111061715A (zh) * 2019-12-16 2020-04-24 北京邮电大学 基于Web和Kafka的分布式数据集成系统及方法
CN111897863A (zh) * 2020-07-31 2020-11-06 珠海市新德汇信息技术有限公司 多源异构数据融合汇聚方法
CN112419041A (zh) * 2020-11-05 2021-02-26 鹏元征信有限公司 一种风险监控方法、装置、存储介质及计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法
CN109753531A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种大数据统计方法、系统、计算机设备及存储介质
CN110390465A (zh) * 2019-06-18 2019-10-29 深圳壹账通智能科技有限公司 业务数据的风控分析处理方法、装置和计算机设备
CN111061715A (zh) * 2019-12-16 2020-04-24 北京邮电大学 基于Web和Kafka的分布式数据集成系统及方法
CN111897863A (zh) * 2020-07-31 2020-11-06 珠海市新德汇信息技术有限公司 多源异构数据融合汇聚方法
CN112419041A (zh) * 2020-11-05 2021-02-26 鹏元征信有限公司 一种风险监控方法、装置、存储介质及计算机设备

Also Published As

Publication number Publication date
CN113222223A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN110661659B (zh) 一种告警方法、装置、系统及电子设备
CN112416645B (zh) 一种基于人工智能的故障根因推断定位方法及装置
EP3425524A1 (en) Cloud platform-based client application data calculation method and device
CN111539633A (zh) 一种业务数据质量的稽核方法、系统、装置和存储介质
CN111897705B (zh) 服务状态处理、模型训练方法、装置、设备和存储介质
CN113641526B (zh) 告警根因定位方法、装置、电子设备及计算机存储介质
CN110347694B (zh) 一种基于物联网的设备监控方法、装置及系统
CN111090440B (zh) 信息处理方法、系统、设备及存储介质
CN113222223B (zh) 实时数仓的风控联动预警方法、系统、设备及存储介质
CN114911800A (zh) 电力系统的故障预测方法、装置以及电子设备
CN104022913A (zh) 用于数据集群的测试方法和装置
CN110377588A (zh) 一种数据库对象访问监测方法、服务器及终端
CN113220757A (zh) 实时数仓自动etl方法、系统、设备及计算机存储介质
CN108337100A (zh) 一种云平台监测的方法和装置
CN111414355A (zh) 一种海上风电场数据监测存储系统及方法、装置
CN113472881B (zh) 在线终端设备的统计方法和装置
CN114153646A (zh) 一种运维故障处置方法、装置及存储介质、处理器
CN114157035A (zh) 一种配电自动化管控方法及系统
CN113407374A (zh) 故障处理方法、装置、故障处理设备及存储介质
CN110955196A (zh) 一种生产工艺指标数据的处理方法及系统
CN114666193B (zh) 针对cdn的异常检测方法、计算设备及存储介质
CN114020571A (zh) 一种索引服务器的监控方法及监控设备
CN109428914B (zh) 监控方法和装置、存储介质、处理器
CN112070474A (zh) 基于互联网的工程项目管理方法、装置及云平台
CN117853221A (zh) 消费信贷模型的监控方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant