CN116483822B - 业务数据预警方法、装置、计算机设备、存储介质 - Google Patents
业务数据预警方法、装置、计算机设备、存储介质 Download PDFInfo
- Publication number
- CN116483822B CN116483822B CN202310736842.2A CN202310736842A CN116483822B CN 116483822 B CN116483822 B CN 116483822B CN 202310736842 A CN202310736842 A CN 202310736842A CN 116483822 B CN116483822 B CN 116483822B
- Authority
- CN
- China
- Prior art keywords
- data
- early warning
- preset
- service
- service data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 95
- 230000010354 integration Effects 0.000 claims abstract description 74
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 238000004590 computer program Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 7
- 230000008520 organization Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 5
- 238000011835 investigation Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 238000013523 data management Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及云计算以及大数据处理技术领域，提供一种业务数据预警方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：接收数据查询请求，根据数据查询请求中的查询条件参数，从共享文件中获取初始业务数据，根据预设的风险预警业务规则，对初始业务数据进行数据处理，得到待监测业务数据，若从待监测业务数据检测到符合预设的预警条件的目标业务数据，则根据预设的预警规则对目标业务数据进行预警分析，得到预警分析结果，其中，共享文件中的业务数据从已构建的风险预警数据整合模型中抽取得到。采用本方法能够减少大量的消除重复计算操作以及数据项去重操作等，提升了业务数据预警效率。
Description
技术领域
本申请涉及云计算以及大数据处理技术领域，特别是涉及一种业务数据预警方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
数据仓库是重要数据分析系统，通过数据仓库可以将多个数据库整合成一个数据管理系统。云数据仓库因其可以实现按需扩展、高可用性以及存储整合等优势，得到了越来越广泛的应用。
目前，在风险预警业务层面上，由于在数据仓库中，不同客户的贴源区不同，经常出现数据项冗余、数据重复加工或者数据口径不一致的问题，使得计算机设备需要执行大量的数据整合处理操作如消除重复计算以及数据项去重等，影响业务数据的风险预警的效率。
由此可见，需要提供一种高效的业务数据预警方案。
发明内容
基于此，有必要针对上述技术问题，提供一种高效的业务数据预警方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种业务数据预警方法。所述方法包括：
接收数据查询请求，数据查询请求携带查询条件参数；
根据查询条件参数，从共享文件中获取初始业务数据；
根据预设的风险预警业务规则，对初始业务数据进行数据处理，得到待监测业务数据；
若从待监测业务数据检测到符合预设的预警条件的目标业务数据，则根据预设的预警规则对目标业务数据进行预警分析，得到预警分析结果；
其中，共享文件存储有业务数据，共享文件中的业务数据通过以下方式获取：执行预设的数据读取脚本，从已构建的风险预警数据整合模型抽取出与风险预警需求相对应的原始业务数据，将原始业务数据加工为格式统一的业务数据，并将业务数据存储至预设的数据表，执行预设的卸数脚本，将预设的数据表中的业务数据输出至共享文件中，格式统一的业务数据包括数据口径、数据定义、范围、关系和规则统一的业务数据。
在其中一个实施例中，将原始业务数据加工为格式统一的业务数据包括：
对原始业务数据进行数据清洗和数据预处理，将原始业务数据转换为格式统一的业务数据。
在其中一个实施例中，将业务数据存储至预设的数据表包括：
将业务数据存储至临时表；
对临时表进行去重处理，将去重处理后的临时表中的业务数据存储至预设的数据表。
在其中一个实施例中，根据预设的风险预警业务规则，对初始业务数据进行数据处理，得到待监测业务数据包括：
根据初始业务数据所属的层级，将初始业务数据划分为多个数据分组；
根据预设的风险预警业务规则，对各数据分组中的初始业务数据进行数据处理，得到待监测业务数据。
在其中一个实施例中，风险预警数据整合模型基于以下方式得到：
获取风险预警业务需求数据；
根据风险预警业务需求数据，确定数据逻辑模型；
基于数据逻辑模型以及预设的模型映射关系，确定数据物理模型；
整合数据逻辑模型和数据物理模型，得到风险预警数据整合模型。
在其中一个实施例中，根据风险预警业务需求数据，确定数据逻辑模型包括：
根据风险预警业务需求数据，确定数据范围；
根据数据范围，确定数据粒度和实体；
根据实体的数据粒度和数据项，对实体进行属性挂接处理；
根据预设的属性定义原则，定义实体属性。
在其中一个实施例中，根据实体的数据粒度和数据项，对实体进行属性挂接处理包括：
针对实体，将相同粒度的属性挂接到同一粒度中，并对归属相同粒度的数据项依次进行去重处理、合并处理以及拆分处理。
在其中一个实施例中，基于数据逻辑模型以及预设的模型映射关系，确定数据物理模型包括：
根据预设的模型转换关系，将数据逻辑模型中的实体转换为物理表，并对物理表进行拆分；
对拆分后的多个物理表进行物理化处理，得到数据物理模型。
第二方面，本申请还提供了一种业务数据预警装置。所述装置包括：
数据转移模块，用于执行预设的数据读取脚本，从已构建的风险预警数据整合模型抽取出与风险预警需求相对应的原始业务数据，将原始业务数据加工为格式统一的业务数据，并将业务数据存储至预设的数据表，执行预设的卸数脚本，将预设的数据表中的业务数据输出至共享文件中，格式统一的业务数据包括数据口径、数据定义、范围、关系和规则统一的业务数据；
查询请求接收模块，用于接收数据查询请求，数据查询请求携带查询条件参数；
数据获取模块，用于根据查询条件参数，从共享文件中获取初始业务数据；
数据处理模块，用于根据预设的风险预警业务规则，对初始业务数据进行数据处理，得到待监测业务数据；
预警分析模块，用于若从待监测业务数据检测到符合预设的预警条件的目标业务数据，则根据预设的预警规则对目标业务数据进行预警分析，得到预警分析结果。
在其中一个实施例中，数据转移模块还用于对原始业务数据进行数据清洗和数据预处理，将原始业务数据转换为格式统一的业务数据。
在其中一个实施例中，数据转移模块还用于将业务数据存储至临时表，对临时表进行去重处理，将去重处理后的临时表中的业务数据存储至预设的数据表。
在其中一个实施例中，数据处理模块还用于根据初始业务数据所属的层级，将初始业务数据划分为多个数据分组，根据预设的风险预警业务规则，对各数据分组中的初始业务数据进行数据处理，得到待监测业务数据。
在其中一个实施例中，装置还包括数据整合模型构建模块，用于获取风险预警业务需求数据，根据风险预警业务需求数据，确定数据逻辑模型，基于数据逻辑模型以及预设的模型映射关系，确定数据物理模型，整合数据逻辑模型和数据物理模型，得到风险预警数据整合模型。
在其中一个实施例中，数据整合模型构建模块还用于根据风险预警业务需求数据，确定数据范围，根据数据范围，确定数据粒度和实体，根据实体的数据粒度和数据项，对实体进行属性挂接处理，根据预设的属性定义原则，定义实体属性。
在其中一个实施例中，数据整合模型构建模块还用于针对实体，将相同粒度的属性挂接到同一粒度中，并对归属相同粒度的数据项依次进行去重处理、合并处理以及拆分处理。
在其中一个实施例中，数据整合模型构建模块还用于根据预设的模型转换关系，将数据逻辑模型中的实体转换为物理表，并对物理表进行拆分，对拆分后的多个物理表进行物理化处理，得到数据物理模型。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述业务数据预警方法中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述业务数据预警方法中的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述业务数据预警方法中的步骤。
上述业务数据预警方法、装置、计算机设备、存储介质和计算机程序产品，预先构建有风险预警数据整合模型，根据数据查询请求中的查询条件参数从共享文件中获取从已构建的风险预警数据整合模型中抽取出的初始业务数据，然后，根据预设的风险预警业务规则，对初始业务数据进行数据处理，得到待监测业务数据，并对待监测业务数据进行检测，若检索到符合预设的预警条件的目标业务数据时，便根据预设的预警规则对目标业务数据进行预警分析，得到预警分析结果。上述过程，通过预先构建风险预警数据整合模型，执行预设的数据读取脚本，能够快速地从已构建的风险预警数据整合模型抽取出与风险预警需求相对应的原始业务数据，再将原始业务数据加工为格式统一的业务数据，并将业务数据存储至预设的数据表，执行预设的卸数脚本，快速地将预设的数据表中的业务数据输出至共享文件中，能够方便各数据使用方从共享文件中进行取数和用数，并且，经过风险预警数据整合模型抽取和数据加工后的数据为数据口径、数据定义、范围、关系和规则统一的业务数据，能够解除各系统之间的数据壁垒，减少了数据项冗余、数据重复加工或数据口径不一致的问题，使得在实际的业务数据预警过程中，能够减少大量的消除重复计算操作以及数据项去重操作等，提升了业务数据预警效率。进一步地，通过风险预警数据整合模型，能够建立统一的数据管控对象，提升数据的规范性。
附图说明
图1为一个实施例中业务数据预警方法的应用环境图；
图2为一个实施例中业务数据预警方法的流程示意图；
图3为一个实施例中数据转移步骤的流程示意图；
图4为另一个实施例中业务数据预警方法的流程示意图；
图5为一个实施例中构建风险预警数据整合模型的流程示意图；
图6为一个实施例中确定数据逻辑模型步骤的流程示意图；
图7为另一个实施例中业务数据预警方法的详细流程示意图；
图8为一个实施例中业务数据预警装置的结构框图；
图9为另一个实施例中业务数据预警装置的详细结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本申请实施例提供的业务数据预警方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上，服务器104上构建有风险预警数据整合模型。具体地，可以是业务人员通过终端102发送携带查询条件参数的数据查询请求至服务器104，服务器104接收该数据查询请求，根据查询条件参数从共享文件中获取初始业务数据，然后，根据预设的风险预警业务规则，对初始业务数据进行数据处理，得到待监测业务数据，若从待监测业务数据检测到符合预设的预警条件的目标业务数据，则根据预设的预警规则对目标业务数据进行预警分析，得到预警分析结果，其中，共享文件中的业务数据从已构建的风险预警数据整合模型中抽取得到。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用云服务器、独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种业务数据处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤S200，接收数据查询请求，数据查询请求携带查询条件参数。
数据查询请求可以是业务人员通过在终端的交互界面上输入查询条件参数生成数据查询请求，查询条件参数可以是SQL（Structured Query Language，结构化查询语言）语句中的查询条件参数。
步骤S400，根据查询条件参数，从共享文件中获取初始业务数据。
初始业务数据为根据查询条件参数从共享文件中的业务数据中查询出的部分业务数据。具体包括客户基本数据、监控模型参数、风险预警产品参数以及其他维度的业务数据。
在实际应用中，共享文件为具备访问权限的多个系统或应用程序等平台共享的文件，数据安全和隐私度更高，该共享文件中存储有大量的业务数据，业务数据可以是结构化的数据，共享文件可以是存储于云数据仓库中。具体地，共享文件中的业务数据为从已构建的风险预警数据整合模型中抽取得到。风险预警数据整合模型基于数据逻辑模型和数据物理模型构建得到，用于从多个数据源如数据库、文件等中提取数据并将其转换为可用于处理和分析的统一格式，便于后续的分析处理。具体地，共享文件中的业务数据通过以下方式获取：执行预设的数据读取脚本，从已构建的风险预警数据整合模型抽取出与风险预警需求相对应的原始业务数据，将原始业务数据加工为格式统一的业务数据，并将业务数据存储至预设的数据表，执行预设的卸数脚本将预设的数据表中的业务数据输出至共享文件中。在实际应用中，经风险预警数据整合模型和数据加工处理后的数据为数据口径、数据定义、范围、关系和规则均一致的数据。
具体实施时，根据查询条件参数，从预设的共享文件中获取的初始业务数据为数据口径、数据定义、范围、关系和规则统一的数据。在另一个实施例中，也可以是业务人员在终端的交互界面进行操作，发送风险预警消息，服务器响应风险预警消息，执行预设的SQL文件，从共享文件中获取初始业务数据。
在另一个实施例中，可以是系统A从风险预警数据整合模型中抽取业务数据，并将业务数据存储至共享文件中，系统B接收数据查询请求，通过与系统A共享的存储目录，找到共享文件，根据查询条件参数从共享文件中获取对应的初始业务数据。
步骤S600，根据预设的风险预警业务规则，对初始业务数据进行数据处理，得到待监测业务数据。
风险预警业务规则包括与风险预警需求相对应的多维业务数据的数据处理规则以及监测指标的确定规则以及计算规则等。待监测业务数据包括待监测的多维的变量、指标、阈值和时间范围等。以个人贷款风险预警为例，待监测业务数据包括客户的基本信息、借款信息、还款信息以及逾期情况等。当获取初始业务数据后，可以是根据预设的风险预警业务规则，对获取的初始业务数据进行处理，确定待监测的变量和指标，例如，对借款人在近半年的借款额进行汇总，得到待监测的近半年的借款总额。然后，将待监测的变量和指标确定为待监测业务数据，也可以是再基于待监测的变量和指标，从初始业务数据中抽取出相应的业务数据，归集待监测的变量和指标，以及相应的业务数据，得到待监测业务数据。
步骤S800，若从待监测业务数据检测到符合预设的预警条件的目标业务数据，则根据预设的预警规则对目标业务数据进行预警分析，得到预警分析结果。
预警规则基于先验数据和历史数据构建，用于结合业务需求对符合预设预警条件的数据进行分析预警和排查，确定潜在的风险和问题。具体地，预警规则可以包括财务信息、征信、负面舆情等方面的规则。预警分析结果可以包括风险等级、预警等级以及预警报告等。
承接上述实施例，当得到待监测业务数据后，可根据预设的预警条件对待监测业务数据进行检测和筛选，以检测是否有达到预设预警条件的异常的目标业务数据。若检测出存在有符合预设的预警条件的目标业务数据，则执行预设的装数脚本，生成风险预警监测任务，然后，根据预警规则对目标业务数据进行预警分析，得到预警分析结果。
举例说明，可以是新一代个人贷款系统通过与房改个贷领域计算子系统共享的存储目录，寻找到指定的共享文件，然后，根据查询条件参数，从共享文件中读取初始业务数据如EVJK_MD_XF01表字段数据，将读取出的EVJK_MD_XF01表字段数据输出到预警表EVJK_TASK_LIST，根据预设的风险预警业务规则，确定待监测的变量和指标，然后，基于待监测的变量和指标，从预警表EVJK_TASK_LIST中抽取对应的待监测业务数据，然后根据预警条件对待监测业务数据进行检测和筛选，当检测到存在有符合预设的预警条件的目标业务数据，则执行预设的装数脚本，生成风险预警监测任务，具体地，还可以是在执行装数脚本，获取相应的目标业务数据后，可按照机构层级分组对目标业务数据进一步加工，将分组加工后的数据输出至与机构层级对应的风险预警监测任务，此时，前端页面上展示对应机构层级的风险预警监测任务。生成风险预警监测任务后，根据预警规则对目标业务数据进行实时的预警分析，该任务可以通过对系统内部的数据进行实时分析，判断是否存在潜在风险，得到预警分析结果，并及时发送预警信息给相关人员。如此，可帮助机构有效管理风险，保障贷款业务的正常运营。进一步地，还可以确定相应的预警等级。例如，以个人贷款预警为例，可以是当监测到授信主题出现经营危机、现金流断裂等情况，偿债能力大幅下降，则可判定该授信主体的预警等级为一级，推送风险控制或风险缓释措施以降低风险。进一步地，还可以进行预警分析结果的可视化，展示基本信息、风险视图、关系图谱、时间轴、财务分析报告视图等，全面展示客户当前状况和风险情况。还可以根据预警等级执行不同的预警操作，对不同风险等级的客户执行不同的预警操作。
上述业务数据预警方法中，预先构建有风险预警数据整合模型，根据数据查询请求中的查询条件参数从共享文件中获取从已构建的风险预警数据整合模型中抽取出的初始业务数据，然后，根据预设的风险预警业务规则，对初始业务数据进行数据处理，得到待监测业务数据，并对待监测业务数据进行检测，若检索到符合预设的预警条件的目标业务数据时，便根据预设的预警规则对目标业务数据进行预警分析，得到预警分析结果。通过预先构建风险预警数据整合模型，执行预设的数据读取脚本，能够快速地从已构建的风险预警数据整合模型抽取出与风险预警需求相对应的原始业务数据，再将原始业务数据加工为格式统一的业务数据，并将业务数据存储至预设的数据表，执行预设的卸数脚本，快速地将预设的数据表中的业务数据输出至共享文件中，能够方便各数据使用方从共享文件中进行取数和用数，并且，经过风险预警数据整合模型抽取和数据加工后的数据为数据口径、数据定义、范围、关系和规则统一的业务数据，能够解除各系统之间的数据壁垒，减少了数据项冗余、数据重复加工或数据口径不一致的问题，使得在实际的业务数据预警过程中，能够减少大量的消除重复计算操作以及数据项去重操作等，提升了业务数据预警效率。进一步地，通过风险预警数据整合模型，能够建立统一的数据管控对象，提升数据的规范性。
如图3所示，在其中一个实施例中，步骤S400之前，还包括：
步骤S320，执行预设的数据读取脚本，从已构建的风险预警数据整合模型抽取出原始业务数据。
步骤S340，对原始业务数据进行数据清洗和数据预处理，将原始业务数据转换为格式统一的业务数据。
步骤S360，将业务数据存储至预设的数据表。
步骤S380，执行预设的卸数脚本，将预设的数据表输出至共享文件中。
风险预警数据整合模型整合有多个内部系统的客户贴源区的业务数据。以个人贷款风险预警为例，风险预警数据整合模型可整合有核算系统、个人贷款系统以及个人贷款计算子系统等多个系统的业务数据。具体地，可以是根据风险预警业务需求从风险预警数据整合模型中抽取出相应的业务数据，并将其存储至共享文件中，以便其他应用程序和系统进行数据取用及数据处理。
具体实施时，可以是执行预定义的数据读取脚本程序如PERL脚本程序，连接数据库，从风险预警数据整合模型中查询出与风险预警需求相关的逻辑模型的物理表数据即原始业务数据，然后，关联物理表，对查询出的物理表数据进行相应的加工处理，包括对原始业务数据进行数据清洗和数据预处理，将原始业务数据转换为格式统一的业务数据，最后，将转换后的业务数据存储至预设的数据表中，接着，执行预设的卸数脚本，将预设的数据表中的数据输出至共享文件中，以便其他系统或平台取用数据。本实施例中，通过执行脚本的方式，能够高效地从风险预警数据整合模型进行取数和卸数，通过将抽取出的格式统一的业务数据存储至共享文件中，能够便于其他系统或平台用数，解决系统间的数据壁垒。可以理解的是，在其他实施例中，还可以是将风险预警数据整合模型封装为接口，并发布该接口，然后，调用风险预警数据整合模型的接口，从风险预警数据整合模型中获取对应的初始业务数据。
在其中一个实施例中，步骤S360包括：步骤S362，将业务数据存储至临时表，对临时表进行去重处理，将去重处理后的临时表中的业务数据存储至预设的数据表。
承接上述实施例，将从风险预警数据整合模型中抽取的原始业务数据转换为格式统一的业务数据后，可以是将处理后的业务数据按照物理表分别存储至临时表中，然后，对临时表进行去重处理，再将去重处理后的临时表中的业务数据存储至预设的数据表中。
举例说明，以个人贷款风险预警为例，可以是从风险预警数据整合模型中定期查询借款人（贷款资金回流借款人）名下所有账户的资金交易流水，如查询贷款账号、一级分行号、放款日期字段，将上月发放的交易流水放入临时表；查询分行号、经办机构、贷款经办人、客户编号、贷款相关参数、借款人基本信息等字段，将月末生成上月发放的存款数据存放到临时表中；查询借款人及配偶、共同借款人名下所有存款账户存入临时表；以及查询并筛选出借款人及配偶、共同借款人名下存款账户及个人贷款借款人名下所有账户转入金额异常的数据存入临时表。然后，对临时表进行去重处理，再将去重处理后的临时表中的数据存储至预设的数据表中。本实施例中，通过将查询出的业务数据存储至临时表中，并对临时表进行去重处理，能够快速消除冗余数据项，提高数据的质量。
如图4所示，在其中一个实施例中，步骤S600包括：
步骤S620，根据初始业务数据所属的层级，将初始业务数据划分为多个数据分组，根据预设的风险预警业务规则，对各数据分组中的初始业务数据进行数据处理，得到待监测业务数据。
实际应用中，业务数据可能分别来自不同的机构层级，如一级机构、二级机构和三级机构，且各机构层级的业务数据数量众多。因此，在获取初始业务数据后，可以是按照初始业务数据所属的机构层级，将初始业务数据划分为多个数据分组，然后，针对各数据分组，根据预设的风险预警业务规则，对各数据分组中的初始业务数据进行数据处理，如依据指标计算方法，计算待监测指标，根据预设的阈值范围筛选出异常的业务数据等，得到待监测业务数据。本实施例中，通过业务数据所属的机构层级对业务数据进行划分，能够提高数据处理的效率。
如图5所示，在其中一个实施例中，风险预警数据整合模型基于以下方式得到：
步骤S100，获取风险预警业务需求数据。
步骤S120，根据风险预警业务需求数据，确定数据逻辑模型。
步骤S140，基于数据逻辑模型以及预设的模型映射关系，确定数据物理模型。
步骤S160，整合数据逻辑模型和数据物理模型，得到风险预警数据整合模型。
风险预警业务需求数据包括内部数据需求和外部数据需求。内部数据需求可包括存贷卡、贷记卡、支付结算、贸易融资、资金业务等业务领域的过程数据、痕迹数据和结果数据。内部数据需求提供了所需的共性数据需求。外部数据需求可包括工商、司法、股票和房产等需求数据，提供完整的数据需求，能够减少数据缺口的出现，缩短风险预警数据整合模型的构建周期，提高数据时效性。
在实际应用中，风险预警业务数据是业务人员经过业务调研和数据调研确定得到的。其中，业务调研包括：基于数据驱动进行模型设计，对所有的业务进行分析，了解各个业务领域、业务线的业务特点，包括业务对象、业务流程、数据流向等；基于需求驱动进行模型设计，需根据数据需求包含的业务范围进行分析；业务调研为确定数据域和数据粒度做准备。数据调研包括：收集数据需求，对数据需求包含的数据项进行梳理与盘点、分析数据项来源数据与业务规则，为后续确定分析范围等设计工作提供基础。在完成数据调研需求分析后，可进一步将业务需求转化为模型的需求，并对模型的满足度进行分析，明确数据逻辑模型的数据缺口部分的过程，进而确定数据逻辑模型。接着，根据预设的数据逻辑模型与数据物理模型的映射关系，将数据逻辑模型转换为数据物理模型，最后，整合数据逻辑模型和数据物理模型，即得到风险预警数据整合模型。本实施例中，通过采用身体的风险预警业务需求数据构建风险预警数据整合模型，能够减少在数据使用过程中出现数据缺口的问题，提高数据时效性，得到风险预警数据整合模型能够满足不同的业务场景。
如图6所示，在其中一个实施例中，步骤S120包括：
步骤S122，根据风险预警业务需求数据，确定数据范围。
步骤S124，根据数据范围，确定数据粒度和实体。
步骤S126，根据实体的数据粒度和数据项，对实体进行属性挂接处理。
步骤S128，根据预设的属性定义原则，定义实体属性。
数据粒度可以是数据仓库汇总保存数据的细化或综合程度。本实施例中，基于风险预警业务需求数据，确定数据逻辑模型的过程可以是：分析风险预警业务需求数据，明确风险预警业务需求数据中所包含的数据范围，分析来源数据，明确来源数据所包含的数据范围。具体地，可以基于风险预警业务需求数据，按照预先设计的主题域进行数据划分，得到数据划分结果，然后，分析数据划分结果，确定各主题域的数据范围。主题域可包括用户、产品、合约/账户、事件、机构、员工、渠道、业务方向、位置和资源项等。
确定数据范围后，可以进一步确定数据粒度和实体。具体地，明确粒度定义与分类，主要是指对粒度数据进行规范命名与定义，并根据数据粒度的细化程度，结合数据来源及应用场景，对粒度进行分类，分类得到的粒度类型包括单一粒度和组合粒度。其中，单一粒度可以是以单一主题域的数据为分析范围确定的，组合粒度可以是以多个主题域的数据为分析范围确定的。实体和数据粒度在逻辑层面是一对一的关系。可以按照实体命名规范为实体命名，实体的定义可以描述实体所包含的业务含义。对于单一粒度，结合业务对象及描述业务对象的实体类型对粒度进行定义；对于组合粒度，按多个维度交叉维度的数据，采用维度表达的业务对象或者业务对象的属性进行定义。明确数据粒度和实体后，可根据实体的数据粒度和数据项，对实体进行属性挂接处理，并根据预设的属性定义原则，对属性逐一进行详细的定义，明确描述属性包含的详细信息。具体地，属性定义包括规范属性命名—详细描述属性—匹配数据字典—确定值域范围—描述业务口径和映射规则。其中，业务口径为用于标志机构编号的唯一标识ID（identity，身份）。本实施例中，将整体风险预警数据需求按照数据粒度进行划分，并对实体进行属性挂接处理和实体属性定义，能够提高数据使用的效率。
在其中一个实施例中，根据实体的数据粒度和数据项，对实体进行属性挂接处理包括：针对实体，将相同粒度的属性挂接到同一粒度中，并对归属相同粒度的数据项依次进行去重处理、合并处理以及拆分处理。
数据项可以是业务系统中与数据仓的业务需求相关的数据，也可以是业务流程中信息流动和信息结构涉及的数据，以及业务系统中数据流相关的数据。数据项可以与数据粒度挂接，用于表示数据粒度的属性。本实施例中，对实体进行属性挂接处理可具体包括：将相同数据粒度的属性挂接到同一粒度中，并对同一粒度中的数据项进行去重处理、合并处理和拆分处理。具体地，可以是，可以对同一粒度中同名同义的数据项，进行去重处理，删除重复的同名同义的数据项；可以对同一粒度中同义不同名的数据项，进行归并处理，将同义不同名的数据项合并为同一数据；以及，可以对同一粒度中同名不同义的数据项，进行拆分处理，将同名不同义的数据项拆分为不同的数据项。
其中，关于上述数据项合并处理中对不同表的实体合并，具体可以包括：依次确定核心实体的粒度、识别实体关系基数、确定从属实体的粒度、定义实体及关系、挂接属性确定单点加工、属性标准化以及通过映射确定逻辑模型实体名，得到最终的逻辑模型。首先，确定核心实体的粒度。例如来自不同系统的两张表的表结构和数据项高度相似，均属于合约/账号类实体，可将上述表中实体合并为同一个业务实体。然后，识别实体关系基数：基数是一种业务规则。其代表实体间会有多少个可能发生的取值关系，分别从两个关联实体的关联方向触发，识别与对方的基数关系。一个客户至多可以拥有N个账户，至少可以拥有1个账户，一个账户可以归属在一个人或多个人名下。接着，确定从属实体的粒度：根据从属实体的类型、与核心实体关系基数来确定从属实体的粒度。属性实体、生命周期实体和条件实体是对业务对象的属性描述或者某方面的条件限制；关系实体描述的两类业务对象之间的关系。例如，一个客户编号可以有多个合约编号，一个主合约编号可以对应多个从合约编号。然后，定义实体及关系。主要包括主实体命名、定义主键、识别关联关系。接着，挂接属性确定单点加工：将同一粒度实体的属性进行合并，涉及两种情况：同系统：将同一系统中多张表的属性合并到同一实体中。跨系统：将来源多个系统中的同一粒度的属性整合到同一实体中。随后，进行属性标准化：在企业级数据字典中可以找到对应含义的数据项，命名、定义、值域和数据字典保持一致；无法找到的数据项，需要明确数据项表达的业务含义，按规范进行命名；如果是代码类数据项，需要整理代码取值范围及取值描述。最后，按照预设的映射关系直接映射得到逻辑模型实体名，确定最终的逻辑模型。本实施例中，通过对同一粒度中的数据项进行去重处理、归并处理和拆分处理，解决了同一实体被多次记录，造成数据仓库冗余的问题。
在其中一个实施例中，基于数据逻辑模型以及预设的模型映射关系，确定数据物理模型包括：根据预设的模型转换关系，将数据逻辑模型中的实体转换为物理表，并对物理表进行拆分，对拆分后的多个物理表进行物理化处理，得到数据物理模型。
数据逻辑模型和数据物理模型一一对应。模型映射关系可理解为模型转换表。模型转换表中包括至少一个数据逻辑模型的属性数据类型，至少一个数据库类型和数据库类型对应的至少一个数据物理模型的数据类型的映射关系，物理数据库类型可包括甲骨文Oracle、MySQL和SQLserver。具体地，可以是根据模型映射关系，将数据逻辑模型中的实体转换为物理表，然后根据数据项类型（原生数据、衍生数据）、加载的频率和时间窗口等，进行物理拆表，得到多个物理表。例如，逻辑模型‘机构综合信息’有一百多个数据项，包含了多层的层级机构，按照实际的技术因素和数据库存放，可以拆分为五个数据物理模型，一是机构基本信息，二是机构行政管理层级信息，三是机构财务汇总层级信息，四是机构对公信贷管理层级信息，五是机构核算机构层级信息。
接着，对拆分后的多个物理表进行物理化处理，包括：中文名命名、英文命名、字段中文命名、英文命名；定义主键、分布键、是否为空设置；物理化策略、物理字段设置；分区策略。其中，物理化策略主要根据第二范式、第三范式实现，分区策略是先根据主题域划分，再根据业务领域进行数据划分。最后，整合物理表和表字段，得到数据物理模型。本实施例中，通过物理拆表和物理化，可将逻辑模型精确地转换为数据物理模型，使得数据逻辑模型物理落地，能够满足业务需求与数据的映射关系，并完成数据物理模型的数据仓库的后台开发。
为了对本申请提供的业务数据预警方法做出更为清楚的说明，下面结合一个具体实施例和附图7进行说明，该具体实施例可以包括以下步骤：
步骤S200，接收数据查询请求，数据查询请求携带查询条件参数。
步骤S310，从已构建的风险预警数据整合模型抽取出原始业务数据，并将原始业务数据转换为格式统一的业务数据，将业务数据存储至临时表，并进行去重处理，将去重处理后的临时表中的业务数据存储至预设的数据表，将预设的数据表输出至共享文件中。
具体地，可以是执行预设的数据读取脚本，从已构建的风险预警数据整合模型抽取出原始业务数据，对原始业务数据进行数据清洗和数据预处理，将原始业务数据转换为格式统一的业务数据，将业务数据存储至临时表，对临时表进行去重处理，将去重处理后的临时表中的业务数据存储至预设的数据表，执行预设的卸数脚本，将预设的数据表输出至共享文件中。
步骤S400，根据查询条件参数，从共享文件中获取初始业务数据。
步骤S620，根据初始业务数据所属的层级，将初始业务数据划分为多个数据分组，根据预设的风险预警业务规则，对各数据分组中的初始业务数据进行数据处理，得到待监测业务数据。
步骤S800，若从待监测业务数据检测到符合预设的预警条件的目标业务数据，则根据预设的预警规则对目标业务数据进行预警分析，得到预警分析结果。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的业务数据预警方法的业务数据预警装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个业务数据预警装置实施例中的具体限定可以参见上文中对于业务数据预警方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种业务数据预警装置800，包括：数据转移模块802、查询请求接收模块810、数据获取模块820、数据处理模块830和预警分析模块840，其中：
数据转移模块802，用于执行预设的数据读取脚本，从已构建的风险预警数据整合模型抽取出与风险预警需求相对应的原始业务数据，将原始业务数据加工为格式统一的业务数据，并将业务数据存储至预设的数据表，执行预设的卸数脚本，将预设的数据表中的业务数据输出至共享文件中，格式统一的业务数据包括数据口径、数据定义、范围、关系和规则统一的业务数据。
查询请求接收模块810，用于接收数据查询请求，数据查询请求携带查询条件参数。
数据获取模块820，用于根据查询条件参数，从共享文件中获取初始业务数据。
数据处理模块830，用于根据预设的风险预警业务规则，对初始业务数据进行数据处理，得到待监测业务数据。
预警分析模块840，用于若从待监测业务数据检测到符合预设的预警条件的目标业务数据，则根据预设的预警规则对目标业务数据进行预警分析，得到预警分析结果。
上述业务数据预警装置，预先构建有风险预警数据整合模型，根据数据查询请求中的查询条件参数从共享文件中获取从已构建的风险预警数据整合模型中抽取出的初始业务数据，然后，根据预设的风险预警业务规则，对初始业务数据进行数据处理，得到待监测业务数据，并对待监测业务数据进行检测，若检索到符合预设的预警条件的目标业务数据时，便根据预设的预警规则对目标业务数据进行预警分析，得到预警分析结果。上述过程，通过预先构建风险预警数据整合模型，执行预设的数据读取脚本，能够快速地从已构建的风险预警数据整合模型抽取出与风险预警需求相对应的原始业务数据，再将原始业务数据加工为格式统一的业务数据，并将业务数据存储至预设的数据表，执行预设的卸数脚本，快速地将预设的数据表中的业务数据输出至共享文件中，能够方便各数据使用方从共享文件中进行取数和用数，并且，经过风险预警数据整合模型抽取和数据加工后的数据为数据口径、数据定义、范围、关系和规则统一的业务数据，能够解除各系统之间的数据壁垒，减少了数据项冗余、数据重复加工或数据口径不一致的问题，使得在实际的业务数据预警过程中，能够减少大量的消除重复计算操作以及数据项去重操作等，提升了业务数据预警效率。进一步地，通过风险预警数据整合模型，能够建立统一的数据管控对象，提升数据的规范性。
在其中一个实施例中，数据转移模块802还用于对原始业务数据进行数据清洗和数据预处理，将原始业务数据转换为格式统一的业务数据。
在其中一个实施例中，数据转移模块810还用于将业务数据存储至临时表，对临时表进行去重处理，将去重处理后的临时表中的业务数据存储至预设的数据表。
在其中一个实施例中，数据处理模块830还用于根据初始业务数据所属的层级，将初始业务数据划分为多个数据分组，根据预设的风险预警业务规则，对各数据分组中的初始业务数据进行数据处理，得到待监测业务数据。
如图9所示，在其中一个实施例中，装置还包括数据整合模型构建模块801，用于获取风险预警业务需求数据，根据风险预警业务需求数据，确定数据逻辑模型，基于数据逻辑模型以及预设的模型映射关系，确定数据物理模型，整合数据逻辑模型和数据物理模型，得到风险预警数据整合模型。
在其中一个实施例中，数据整合模型构建模块801还用于根据风险预警业务需求数据，确定数据范围，根据数据范围，确定数据粒度和实体，根据实体的数据粒度和数据项，对实体进行属性挂接处理，根据预设的属性定义原则，定义实体属性。
在其中一个实施例中，数据整合模型构建模块801还用于针对实体，将相同粒度的属性挂接到同一粒度中，并对归属相同粒度的数据项依次进行去重处理、合并处理以及拆分处理。
在其中一个实施例中，数据整合模型构建模块801还用于根据预设的模型转换关系，将数据逻辑模型中的实体转换为物理表，并对物理表进行拆分，对拆分后的多个物理表进行物理化处理，得到数据物理模型。
上述业务数据预警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储不同系统的业务数据、共享文件中的业务数据等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种业务数据预警方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述业务数据预警方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述业务数据预警方法中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述业务数据预警方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (16)
1.一种业务数据预警方法，其特征在于，所述方法包括：
接收数据查询请求，所述数据查询请求携带查询条件参数；
根据所述查询条件参数，从共享文件中获取初始业务数据；
根据预设的风险预警业务规则，对所述初始业务数据进行数据处理，得到待监测业务数据；
若从所述待监测业务数据检测到符合预设的预警条件的目标业务数据，则根据预设的预警规则对所述目标业务数据进行预警分析，得到预警分析结果；
其中，所述共享文件存储有业务数据，所述共享文件中的业务数据通过以下方式获取：执行预设的数据读取脚本，从已构建的风险预警数据整合模型抽取出与风险预警需求相对应的原始业务数据，将所述原始业务数据加工为格式统一的业务数据，并将所述业务数据存储至预设的数据表，执行预设的卸数脚本，将所述预设的数据表中的业务数据输出至所述共享文件中，所述格式统一的业务数据包括数据口径、数据定义、范围、关系和规则统一的业务数据；
所述风险预警数据整合模型通过整合数据逻辑模型和数据物理模型得到，其中，所述数据逻辑模型基于以下方式确定：获取风险预警业务需求数据，根据所述风险预警业务需求数据，确定数据范围，根据所述数据范围，确定数据粒度和实体，根据所述实体的数据粒度和数据项，对所述实体进行属性挂接处理，根据预设的属性定义原则，定义实体属性，确定数据逻辑模型，所述数据物理模型基于所述数据逻辑模型得到。
2.根据权利要求1所述的方法，其特征在于，所述将所述业务数据存储至预设的数据表包括：
将所述业务数据存储至临时表；
对所述临时表进行去重处理，将去重处理后的临时表中的业务数据存储至预设的数据表。
3.根据权利要求1 所述的方法，其特征在于，所述将所述原始业务数据加工为格式统一的业务数据包括：
对所述原始业务数据进行数据清洗和数据预处理，将所述原始业务数据转换为格式统一的业务数据。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据预设的风险预警业务规则，对所述初始业务数据进行数据处理，得到待监测业务数据包括：
根据所述初始业务数据所属的层级，将所述初始业务数据划分为多个数据分组；
根据预设的风险预警业务规则，对各所述数据分组中的初始业务数据进行数据处理，得到待监测业务数据。
5.根据权利要求1至3任意一项所述的方法，其特征在于，所述风险预警数据整合模型基于以下方式得到：
获取风险预警业务需求数据；
根据所述风险预警业务需求数据，确定数据逻辑模型；
基于所述数据逻辑模型以及预设的模型映射关系，确定数据物理模型；
整合所述数据逻辑模型和所述数据物理模型，得到风险预警数据整合模型。
6.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据所述实体的数据粒度和数据项，对所述实体进行属性挂接处理包括：
针对所述实体，将相同粒度的属性挂接到同一粒度中，并对归属相同粒度的数据项依次进行去重处理、合并处理以及拆分处理。
7.根据权利要求5所述的方法，其特征在于，所述基于所述数据逻辑模型以及预设的模型映射关系，确定数据物理模型包括：
根据预设的模型转换关系，将所述数据逻辑模型中的实体转换为物理表，并对物理表进行拆分；
对拆分后的多个物理表进行物理化处理，得到数据物理模型。
8.一种业务数据预警装置，其特征在于，所述装置包括：
数据整合模型构建模块，用于获取风险预警业务需求数据，根据所述风险预警业务需求数据，确定数据范围，根据所述数据范围，确定数据粒度和实体，根据所述实体的数据粒度和数据项，对所述实体进行属性挂接处理，根据预设的属性定义原则，定义实体属性，确定数据逻辑模型，基于所述数据逻辑模型确定数据物理模型，整合所述数据物理模型和所述数据逻辑模型，得到风险预警数据整合模型；
数据转移模块，用于执行预设的数据读取脚本，从已构建的风险预警数据整合模型抽取出与风险预警需求相对应的原始业务数据，将所述原始业务数据加工为格式统一的业务数据，并将所述业务数据存储至预设的数据表，执行预设的卸数脚本，将所述预设的数据表中的业务数据输出至共享文件中，所述格式统一的业务数据包括数据口径、数据定义、范围、关系和规则统一的业务数据；
查询请求接收模块，用于接收数据查询请求，所述数据查询请求携带查询条件参数；
数据获取模块，用于根据所述查询条件参数，从共享文件中获取初始业务数据；
数据处理模块，用于根据预设的风险预警业务规则，对所述初始业务数据进行数据处理，得到待监测业务数据；
预警分析模块，用于若从所述待监测业务数据检测到符合预设的预警条件的目标业务数据，则根据预设的预警规则对所述目标业务数据进行预警分析，得到预警分析结果。
9.根据权利要求8所述的装置，其特征在于，所述数据转移模块还用于对所述原始业务数据进行数据清洗和数据预处理，将所述原始业务数据转换为格式统一的业务数据。
10.根据权利要求8所述的装置，其特征在于，所述数据转移模块还用于将所述业务数据存储至临时表，对所述临时表进行去重处理，将去重处理后的临时表中的业务数据存储至预设的数据表。
11.根据权利要求8至10任意一项所述的装置，其特征在于，所述数据处理模块还用于根据所述初始业务数据所属的层级，将所述初始业务数据划分为多个数据分组，根据预设的风险预警业务规则，对各所述数据分组中的初始业务数据进行数据处理，得到待监测业务数据。
12.根据权利要求8至10任意一项所述的装置，其特征在于，所述数据整合模型构建模块，还用于基于所述数据逻辑模型以及预设的模型映射关系，确定数据物理模型。
13.根据权利要求8至10任意一项所述的装置，其特征在于，所述数据整合模型构建模块还用于针对所述实体，将相同粒度的属性挂接到同一粒度中，并对归属相同粒度的数据项依次进行去重处理、合并处理以及拆分处理。
14.根据权利要求12所述的装置，其特征在于，所述数据整合模型构建模块还用于根据预设的模型转换关系，将所述数据逻辑模型中的实体转换为物理表，并对物理表进行拆分，对拆分后的多个物理表进行物理化处理，得到数据物理模型。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310736842.2A CN116483822B (zh) | 2023-06-21 | 2023-06-21 | 业务数据预警方法、装置、计算机设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310736842.2A CN116483822B (zh) | 2023-06-21 | 2023-06-21 | 业务数据预警方法、装置、计算机设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116483822A CN116483822A (zh) | 2023-07-25 |
| CN116483822B true CN116483822B (zh) | 2023-09-26 |
Family
ID=87221768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310736842.2A Active CN116483822B (zh) | 2023-06-21 | 2023-06-21 | 业务数据预警方法、装置、计算机设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116483822B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116938606B (zh) * | 2023-09-18 | 2023-12-12 | 北京长亭科技有限公司 | 一种网络流量检测方法以及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008092149A2 (en) * | 2007-01-26 | 2008-07-31 | Information Resources, Inc. | Data fusion methods and systems |
| CN109543096A (zh) * | 2018-10-15 | 2019-03-29 | 平安科技（深圳）有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
| CN110868338A (zh) * | 2019-11-21 | 2020-03-06 | 北京高因科技有限公司 | 一种预警监控方法 |
| CN112613789A (zh) * | 2020-12-29 | 2021-04-06 | 太平金融科技服务（上海）有限公司 | 风险管控数据处理方法、风险预警规则前置数据监控方法 |
| CN113222223A (zh) * | 2021-04-24 | 2021-08-06 | 上海钢银科技发展有限公司 | 实时数仓的风控联动预警方法、系统、设备及存储介质 |
| CN113962514A (zh) * | 2021-09-09 | 2022-01-21 | 浪潮卓数大数据产业发展有限公司 | 一种经营风险识别的方法 |
| CN115082209A (zh) * | 2022-06-28 | 2022-09-20 | 平安银行股份有限公司 | 业务数据风险预警方法、装置、计算机设备及存储介质 |
| CN115689717A (zh) * | 2022-03-16 | 2023-02-03 | 中国工商银行股份有限公司 | 企业风险预警方法、装置、电子设备、介质和程序产品 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8423561B2 (en) * | 2009-07-02 | 2013-04-16 | Catavolt, Inc. | Method and system for simplifying object mapping for a user interface |
-
2023
- 2023-06-21 CN CN202310736842.2A patent/CN116483822B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008092149A2 (en) * | 2007-01-26 | 2008-07-31 | Information Resources, Inc. | Data fusion methods and systems |
| CN109543096A (zh) * | 2018-10-15 | 2019-03-29 | 平安科技（深圳）有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
| CN110868338A (zh) * | 2019-11-21 | 2020-03-06 | 北京高因科技有限公司 | 一种预警监控方法 |
| CN112613789A (zh) * | 2020-12-29 | 2021-04-06 | 太平金融科技服务（上海）有限公司 | 风险管控数据处理方法、风险预警规则前置数据监控方法 |
| CN113222223A (zh) * | 2021-04-24 | 2021-08-06 | 上海钢银科技发展有限公司 | 实时数仓的风控联动预警方法、系统、设备及存储介质 |
| CN113962514A (zh) * | 2021-09-09 | 2022-01-21 | 浪潮卓数大数据产业发展有限公司 | 一种经营风险识别的方法 |
| CN115689717A (zh) * | 2022-03-16 | 2023-02-03 | 中国工商银行股份有限公司 | 企业风险预警方法、装置、电子设备、介质和程序产品 |
| CN115082209A (zh) * | 2022-06-28 | 2022-09-20 | 平安银行股份有限公司 | 业务数据风险预警方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 水质监测预警平台数据库功能构建;毛楠;葛召;冯志国;;环境经济(第11期);第62-63页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116483822A (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10725981B1 (en) | Analyzing big data | |
| US9361320B1 (en) | Modeling big data | |
| US9747127B1 (en) | Worldwide distributed job and tasks computational model | |
| US9747128B1 (en) | Worldwide distributed file system model | |
| CN116483822B (zh) | 业务数据预警方法、装置、计算机设备、存储介质 | |
| CN111125266A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN114880405A (zh) | 一种基于数据湖的数据处理方法及系统 | |
| CN113538154A (zh) | 风险对象的识别方法、装置、存储介质和电子设备 | |
| US11227288B1 (en) | Systems and methods for integration of disparate data feeds for unified data monitoring | |
| CN116842106A (zh) | 资源线索的生成方法和装置 | |
| CN116719799A (zh) | 环保数据治理方法、装置、计算机设备和存储介质 | |
| CN111125103A (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
| CN114860819A (zh) | 商业智能系统的构建方法、装置、设备和存储介质 | |
| CN114153860A (zh) | 业务数据管理方法及装置、电子设备、存储介质 | |
| CN111858598A (zh) | 一种海量数据综合管理系统与方法 | |
| US20230419403A1 (en) | Systems and methods for securing risk in blockchain networks | |
| CN115423595B (zh) | 文件信息处理方法、装置、计算机设备和存储介质 | |
| US20240064032A1 (en) | Systems and methods for managing metrics in blockchain networks | |
| Anusha Bamini et al. | Real-time big data analytics | |
| US7729961B1 (en) | Systems, methods, and computer-readable storage media for analyzing HMDA data | |
| CN115293452A (zh) | 用户行为预测方法、装置、计算机设备和存储介质 | |
| CN117591585A (zh) | 目标数据采集方法、装置及计算机设备 | |
| CN117788138A (zh) | 资源数据处理系统、方法、装置和计算机设备和存储介质 | |
| CN117520314A (zh) | 数据处理方法、装置、电子设备和可读介质 | |
| Kovalchuk et al. | Problem-oriented approach to the formation of information support for judicial and law enforcement agencies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |