CN112380202A - 数据处理方法、装置、设备和存储介质 - Google Patents

数据处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112380202A
CN112380202A CN202011271012.XA CN202011271012A CN112380202A CN 112380202 A CN112380202 A CN 112380202A CN 202011271012 A CN202011271012 A CN 202011271012A CN 112380202 A CN112380202 A CN 112380202A
Authority
CN
China
Prior art keywords
record
records
compared
encrypted data
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011271012.XA
Other languages
English (en)
Inventor
邵丹丹
卢道和
韩海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202011271012.XA priority Critical patent/CN112380202A/zh
Publication of CN112380202A publication Critical patent/CN112380202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种数据处理方法、装置、设备和存储介质。该方法包括：将待比对记录集合划分为多个第一记录组，以及将所述待比对记录集合对应的基准记录集合划分为多个第二记录组；获取各个所述第一记录组对应的第一加密数据，以及各个所述第二记录组对应的第二加密数据；根据各个所述第一加密数据和各个所述第二加密数据，在所述待比对记录集合中确定目标记录，所述目标记录与对应的基准记录不同。本申请实施例的方法提高了数据比对效率。

Description

数据处理方法、装置、设备和存储介质
技术领域
本申请实施例涉及金融科技(Fintech)技术领域，尤其涉及一种数据处 理方法、装置、设备和存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融 业正在逐步向金融科技(Fintech)转变，数据比对技术也不例外，但由于 金融行业的安全性、实时性要求，也对技术提出的更高的要求。
相关技术中，将基准数据和待比对数据导入到Excel表格或数据库中， 针对待比对数据的各个字段分别进行比对，需要比对的数据量较大，数据比 对过程较慢，因此数据比对的效率较低。
发明内容
本申请实施例提供一种数据处理方法、装置、设备和存储介质，以提高 数据比对的效率。
第一方面，本申请实施例提供一种数据处理方法，包括：
将待比对记录集合划分为多个第一记录组，以及将所述待比对记录集合 对应的基准记录集合划分为多个第二记录组；
获取各个所述第一记录组对应的第一加密数据，以及各个所述第二记录 组对应的第二加密数据；
根据各个所述第一加密数据和各个所述第二加密数据，在所述待比对记 录集合中确定目标记录，所述目标记录与对应的基准记录不同。
第二方面，本申请实施例提供一种数据处理装置，包括：
预处理模块，用于将待比对记录集合划分为多个第一记录组，以及将所 述待比对记录集合对应的基准记录集合划分为多个第二记录组；
获取模块，用于获取各个所述第一记录组对应的第一加密数据，以及各 个所述第二记录组对应的第二加密数据；
处理模块，用于根据各个所述第一加密数据和各个所述第二加密数据， 在所述待比对记录集合中确定目标记录，所述目标记录与对应的基准记录不 同。
第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计 算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方 法。
第四方面，本申请实施例提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任 一项所述的方法。
本申请实施例提供的数据处理方法、装置、设备和存储介质，将待比对 记录集合划分为多个第一记录组，并将待比对记录集合对应的基准记录集合 划分为多个与第一记录组对应的第二记录组；进一步根据各个第一记录组对 应的第一加密数据和各个第二记录组对应第二加密数据，对待比对记录集合 和基准记录集合进行比对，在待比对记录集合中确定与基准记录集合中基准 记录不同的目标记录，由于对待比对记录集合进行分组，比对时无需对组内 的所有记录进行一一比对，每次比对的数据量少，能较快完成比对，因此数 据比对的效率较高。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公 开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的系统架构示意图；
图2是本申请提供的数据处理方法一实施例的流程示意图；
图3是本申请实施例提供的数据比对流程示意图；
图4是本申请实施例提供的操作界面示意图；
图5是本申请提供的数据处理装置一实施例的结构示意图；
图6是本申请提供的电子设备实施例的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。 这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是 通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面 的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相 似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一 致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本 公开的一些方面相一致的装置和方法的例子。
本申请的说明书和权利要求书及所述附图中的术语“包括”和“具有” 以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤 或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元， 而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、 方法、产品或设备固有的其它步骤或单元。
首先，对本申请实施例涉及的应用场景进行介绍。
图1为本申请实施例提供的系统架构示意图。如图1所示，本申请实 施例的系统架构中可以包括但不限于：电子设备11和服务器12。
其中，电子设备11和服务器12之间可以通过网络连接。
本申请实施例提供的方法可由一个电子设备如处理器执行相应的软 件代码实现，也可由一个电子设备在执行相应的软件代码的同时，通过和 控制器进行数据交互来实现。
相关技术中，将基准数据和待比对数据导入到Excel表格或数据库中， 针对待比对数据的各个字段分别进行比对，需要比对的数据量较大，数据比 对过程较慢，因此数据比对的效率较低。
而且在待比对数据的字段较多时需要设计较为复杂的sql语句或excel比 对函数，实现较为复杂，进一步，数据量较大时，比对逻辑复杂时，对设备 的内存要求高，比对计算过程容易卡死。
本申请实施例的方法，将待比对记录集合和基准记录集合分别进行分组， 将多个记录划分为一个记录组，进一步根据各个记录组对应的第一加密数据， 对待比对记录集合和基准记录集合进行比对，通过较少步骤在大量数据中快 速定位到目标记录，减少了比对次数，数据比对的效率较高。
本申请实施例的方法，实现过程较为简单，即使在数据量较大时，对 设备的内存要求也不高。
本申请实施例的方法，无需对不同类型字段进行格式化处理的工作，即 不需要对不同类型的记录的数值的格式进行统一化，提高比对效率。
下面以具体的实施例对本申请的技术方案进行详细说明。下面这几个 具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实 施例不再赘述。
图2是本申请提供的数据处理方法一实施例的流程示意图。如图2所示， 本实施例提供的方法，包括：
步骤101、将待比对记录集合划分为多个第一记录组，以及将待比对记 录集合对应的基准记录集合划分为多个第二记录组。
具体的，如表1所示，待比对记录集合包括多个记录，每个记录包括： 该记录的字段以及对应的值，例如资源ID、计费模式、产品名称、交易类型 等等。表1中每一行表示一个记录。基准记录集合与待比对记录集合中包括 的字段相同，但值有可能不同。
为了提高数据处理的效率，将该集合中多个记录分为多个第一记录组， 按照相同的规则将基准记录集合中多个记录也分为多个第二记录组。如表1 中将多个字段以及对应的数值分为一组，如将字段支付者用户标识号(User Identification Number，UIN)、使用者UIN、操作者UIN、产品名称和子产 品名称等分为一组。
表1待比对记录集合1
Figure BDA0002777699910000041
Figure BDA0002777699910000051
步骤102、获取各个第一记录组对应的第一加密数据，以及各个第二记 录组对应的第二加密数据。
具体的，将每个第一记录组的数据进行加密，得到第一加密数据；按照 相同的加密方式将每个第二记录组队员的数据进行加密，得到第二加密数据。
例如，在加密时将第一记录组的多个记录的值生成一个字符串，进行加 密，例如将多个记录的值用“-”连接，得到一个较长的字符串。
例如，表2中分为3个第一记录组和第二记录组，分别第一记录组和第 二记录组分别对应各自的加密数据。
表2
Figure BDA0002777699910000052
Figure BDA0002777699910000061
在一实施例中，可以利用MD5加密算法进行加密，在其他实施例中还可 以采用其他加密算法本申请实施例对此并不限定。
步骤103、根据各个第一加密数据和各个第二加密数据，在待比对记录 集合中确定目标记录，目标记录与对应的基准记录不同。
具体的，如表2所示，分组1，即第一记录组1的第一加密数据，与该 第一记录组1对应的基准记录集合中第二记录组1的第二加密数据不同，则 说明该第一记录组1中存在目标记录，该目标记录与对应的基准记录不同。
进一步，可以重复执行步骤101-103，对第一记录组1进一步进行分组， 加密，再与基准记录集合中第二记录组1中的分组的加密数据进行比对，直 至确定出最终的目标记录。
其中待比对记录集合例如可以是账单。
本实施例的方法，将待比对记录集合划分为多个第一记录组，并将待比 对记录集合对应的基准记录集合划分为多个与第一记录组对应的第二记录组； 进一步根据各个第一记录组对应的第一加密数据和各个第二记录组对应第二 加密数据，对待比对记录集合和基准记录集合进行比对，在待比对记录集合 中确定与基准记录集合中基准记录不同的目标记录，由于对待比对记录集合 进行分组，减少了比对次数，数据比对的效率较高。
在上述实施例的基础上，步骤101中“将待比对记录集合划分为多个 第一记录组”可以通过如下方式实现：
根据待比对记录集合中各个记录的属性信息，将待比对记录集合划分为 多个第一记录组。
具体的，对待比对记录集合中各个记录的字段根据历史差错发生的原因 进行风险类型划分，或还可以根据历史差错发生的次数进行风险等级划分， 例如风险类型包括：
配置风险：由于系统配置错误所引发的问题；
操作风险：人为或者系统原因导致操作错误发生；
复合风险：配置和操作问题均可能引起该问题发生；
需要说明的是，该风险类型划分方式可以依据行业属性或使用偏好进行 自定义，不拘泥于以上3种，可以更多或更少。
例如风险等级包括：
低风险等级：例如在12个账单周期，发生不一致次数低于8％，即不超 过1次；
中风险等级：例如在12个账单周期，发生不一致次数不高于25％，即大 于1次少于等于3次；
高风险等级：例如在12个账单周期，发生不一致次数高于25％，即多于 3次。
在本申请实施例中，可以根据业务规则对字段进行风险类型定义和风险 等级分级，依据不同风险等级和/或风险类型进行差异化处理，即分组。
如下表3所示，将表1中的记录标注属性信息，如风险类型和风险等级。 将表1中的资源ID作为待比对记录集合的标识，可以不参与分组。
表3
Figure BDA0002777699910000071
Figure BDA0002777699910000081
可定义RL为低风险记录，Rm为中风险记录，Rh为高风险记录；
vL为低风险记录值的加密数据；
vm为中风险记录值的加密数据；
vh为高风险记录值的加密数据。
例如，根据风险等级进行分组并按照分组进行加密，如表4所示：
Figure BDA0002777699910000082
Figure BDA0002777699910000083
Figure BDA0002777699910000084
将各个第一记录组的第一加密数据和基准记录集合的各个第二记录组的 第二加密数据进行比对。
基准记录集合的各个第二记录组的加密数据：
VBL为低风险记录值的加密数据；
VBm为中风险记录值的加密数据；
VBh为高风险记录值的加密数据。
将基准记录集合的各个第二记录组的加密数据和待比对记录集合的各个 第一记录组的加密数据进行比对，如表4所示。
表4
Figure BDA0002777699910000091
高风险记录对应的第一记录组与第二记录组的加密数据不同，则需要 进一步重新分组，进行下一轮对比，确定目标记录。
在一实施例中，属性信息包括以下至少一项：风险类型、风险等级、不 一致次数或不一致概率。
步骤101中“将待比对记录集合对应的基准记录集合划分为多个第二记 录组”可以通过如下方式实现：
根据基准记录集合中各个记录的属性信息，将基准记录集合划分为多个 第二记录组。
基准记录集合的分组规则与待比对记录的分组规则相同。
上述实施方式中，根据属性信息进行分组，属性信息可以是根据历史比 对结果获取的，如在n+1次数据比对时，根据前面n次比对得到不一致概率， 动态计算出不一致概率较高的记录，该不一致概率会根据比对次数进行累积， 比对效率随着时间推移稳步提高。
在一实施例中，根据所述待比对记录集合中各个记录的属性信息，将所 述待比对记录集合划分为多个所述第一记录组，具体可以通过如下方式实现：
将所述待比对记录集合中属性信息相同的记录划分在同一个所述第一记 录组中。
根据所述基准记录集合中各个记录的属性信息，将所述基准记录集合划 分为多个所述第二记录组，具体可以通过如下方式实现：
将所述基准记录集合中属性信息相同的记录划分在同一个所述第二记录 组中。
具体的，如表3和表4所示，将风险等级相同的记录划分在同一个记录 组中。
进一步，可以重复执行步骤101-103的方案，直至每个记录组均为单记 录时停止。如表5所示，待比对记录集合和基准记录集合中开始使用时间对 应的记录的加密数据不同，则该待比对记录集合中开始使用时间对应的记录 为目标记录，待比对记录集合和基准记录集合中原价和优惠后总价两个记录 的加密数据不同，因此还需将两个记录的加密数据分别进行比对，确定是两 个记录均与基准记录不同，还是只有一个记录与基准记录不同。
表5
Figure BDA0002777699910000101
如表6所示，待比对记录集合和基准记录集合中原价、优惠后总价两个 记录的加密数据均不同，该记录的原数据如表7所示。
表6
Figure BDA0002777699910000102
表7
资源ID 原价 优惠后总价 开始使用时间
基准记录集合 ins-xyzq -500.00 -500.00 2020/4/28
待比对记录集合 ins-xyzq -300 -300 2020/4/15
上述实施方式中，在进行分组时，将属性信息相同的记录划分在同一个 所述第一记录组中，该些属性信息相同的记录的比对结果相同的概率较大， 因此能提高比对效率。
在一实施例中，若所述属性信息相同的记录为n个，则将所述属性信息 相同的n个记录中的[n/a]个记录划分在同一个所述第一记录组中，n为大于或 等于2的整数，a为大于1的整数，[]为取整符号。
具体的，假设上一次分组时同一组的记录为n个，若该n个记录的加密 数据与基准记录中对应的n个记录的加密数据不同，则进一步分组，将n个 记录中的[n/a]个记录划分在同一个记录组中，例如将[n/2]个记录划分在同一 个记录组中。
a例如为2、3、6或9，a也可以是其他数值。
在一实施例中，a为2和3的倍数，且小于10。
或者，若一组中n个记录太多，也可以进一步细分在一次对比过程中将 n个记录分为多个记录组中。
上述实施方式中，若一个分组中记录较多可以将多个属性信息相同的 记录划分为多个记录组中，提高比对效率。
在一实施例中，若待比对记录集合较多，为了进一步提高比对效率可 以对多个待比对记录集合进行筛选，将不用比对的待比对记录集合剔除， 步骤101之前可以执行如下步骤：
分别获取所述待比对记录集合的第三加密数据，以及所述基准记录集合 的第四加密数据；
根据所述待比对记录集合的第三加密数据和所述基准记录集合的第四加 密数据，确定所述待比对记录集合和所述基准记录集合是否一致。
若不一致，则可以执行步骤101-步骤103的方案；若一致，则结束。
具体的，如表8所示，有多个待比对记录集合，将各个待比对记录集合 的加密数据，分别与各自对应的基准记录集合的加密数据进行比对，确定是 否一致，若不一致，再对该待比对记录集合中的记录进行分组，即执行步骤 101-步骤103的方案。
表8
Figure BDA0002777699910000111
Figure BDA0002777699910000121
表9为基准记录集合的加密数据，分别示出了基准记录集合1-4的加密 数据。
表9
基准记录集合1 基准记录集合2 基准记录集合3 基准记录集合4
资源ID ins-ftzd9ine ins-byvq6xvw ins-e9auvpbe ins-624kdi88
加密数据 99c6ceae4839fc01 21d1b23c99e2f1b4 4e642a8c85a9d019 2bda9a5d4fc73462
表10为待比对记录集合的加密数据，分别示出了待比对记录集合1-4的 加密数据。
表10
待比对记录集合1 待比对记录集合2 待比对记录集合3 待比对记录集合4
资源ID ins-ftzd9ine ins-byvq6xvw ins-e9auvpbe ins-624kdi88
加密数据 99c6ceae4839fc01 21d1b23c99e2f1b4 4e642a8c85a9d019 15ce99b7a1420e98
比对结果如表11所示：
表11
Figure BDA0002777699910000131
如表12所示，按照风险等级对待比对记录集合4中多个记录进行分组， 划分为多个第一记录组，例如还可以按照不一致次数、不一致概率、风险分 类等进行分组。
表12
Figure BDA0002777699910000132
Figure BDA0002777699910000141
将各个第一记录组和第二记录组的数据分别进行加密，根据加密数据进 行比对，如表13所示。
表13
Figure BDA0002777699910000142
上述实施方式中，在对待比对记录集合进行分组之前，若有多个待比对 记录集合则可以先对待比对记录集合进行筛选，将与基准记录集合一致的待 比对记录集合剔除，提高比对效率。
在一实施例中，待比对记录集合例如为当月的账单数据，基准记录集合 例如为根据前一月的账单数据推算的该月的账单数据。
在一实施例中，在对待比对记录集合和基准记录集合进行比对后，可以 生成比对结果，如以表格的形式生成比对结果。
表14
Figure BDA0002777699910000151
如表14所示，核对问题较多的记录依次为[配置描述]、[结束使用时间] 和[开始使用时间]；
其中[配置描述]记录的风险类型为复合风险，进一步可以通知购买操作人 和账单生成人各自核对以确认问题原因；
[开始使用时间]、[结束使用时间]、...的风险类型为配置风险，进一步可 以通知账单生成人对数据进行二次核对。
在一实施例中，如图3所示，在对待比对记录集合和基准记录集合比对 之前，可以对待比对记录集合中的记录进行筛选，剔除不需要比对的记录， 即剔除不必要字段；根据历史比对结果，如根据历史比对结果确定属性信息， 根据属性信息对待比对记录集合中多个记录进行分组并加密，采用同样的规 则对基准记录集合中多个记录进行分组并加密；对待比对记录集合的各个记 录组的加密数据，与基准记录集合的各个记录组的加密数据进行比对，剔除 一致值，即将加密数据相同的记录组去掉，说明待比对记录集合中该些记录组中的记录与基准记录相同无需再进行比对；将剩余不一致的记录组的记录 进行还原，再次分组，并加密，重复执行该步骤，直至获取到最终比对结果， 如与基准记录不同的目标记录，即直至每个不一致的分组均为单个记录为止； 将比对结果存档，可以作为下次比对的参考因素。
在一实施例中，该方法还包括如下步骤：
对待比对记录集合中各个记录的属性信息进行调整。
具体的，例如，如表14中所示，[可用区]记录的风险等级可以从低风险 等级调整为中风险等级，[代金券支出]等记录的风险等级可以从高风险等级调 整为中风险等级。
例如，还可以对目标记录的不一致次数进行调整，如增加不一致次数； 不一致概率也可以进行调整，如对除目标记录之外的记录的不一致概率进行 调整。
进一步，还可以根据对目标记录的核对结果，即根据出现不一致的原因 调整风险类型。
在一实施例中，若属性信息为风险等级，可以具体采用如下方式对目标 记录的风险等级进行调整：
若所述目标记录的风险等级低于第一预设等级，则提高所述目标记录的 风险等级；
若所述待比对记录集合中除所述目标记录之外的其他记录的风险等级高 于第二预设等级，则降低所述其他记录的风险等级。
其中，第一预设等级例如为高风险等级，第二预设等级例如为低风险等 级。例如若目标记录的风险等级为低风险等级，则将该目标记录的风险等级 调整为中风险等级或高风险等级；若待比对记录集合中除目标记录之外的其 他记录的风险等级为高风险等级，则将该其他记录的风险等级调整为中风险 等级或低风险等级。
上述实施方式中，根据数据比对结果，可以对待比对记录集合中的各个 记录的属性信息进行调整，如对风险等级进行调整，从而为后续的数据处理 提供依据，提升比对效率。
在一实施例中，如图4所示，若某个记录的字段为高风险等级，则在操 作过程中可以进行核对提醒。
在一实施例中，可以观察多个周期，若比对结果中该目标记录依然为不 一致的记录，则可以在操作过程中加入核对提醒，或对高风险等级的记录降 级处理，去掉核对提醒，提高操作效率。
本申请实施例的方法，根据待比对记录集合和基准记录集合的比对结果， 可以为内外审计，流程优化，预算规划等提供数据支撑。
在一实施例中，选取预测维度，例如云主机各月采购量作为预测维度，通 过费用金额、资源数量、资源类型、配置参数等维度的合理分析对近期、中 远期业务趋势进行预测，如对未来云主机的采购量进行预测。
其中，预测维度可以是账单中某个字段。
本实施例的数据处理方法，包括：
获取多个时间周期的第一记录集合；
根据各个所述第一记录集合中包括的至少一个记录，确定目标记录在预 设时间范围内的变化量。
具体的，第一记录集合例如为每个月的账单，时间周期例如为月，获取 多个月的第一记录集合，第一记录集合包括多个记录，例如费用金额、资源 数量、资源类型等。
如选取至少一个记录，根据各个第一记录集合中该记录，预测目标记录 在预设时间范围内的变化量，目标记录例如为费用金额，预设时间范围例如 为半年或一年。
在一实施例中，若至少一个记录的数量为一个，所述至少一个记录包括 第一记录，确定目标记录在预设时间范围内的变化量可以通过如下方式实现：
根据相邻时间周期的第一记录集合中的第一记录的差值、预设时间范围 内所述第一记录的变化量，以及所述时间周期内所述第一记录的均值，获取 所述目标记录在预设时间范围内的变化量。
其中，第一记录如费用，例如，通过各月数据和上月数据的费用进行增 量比对，得到趋于正态分布的增幅数据，对未来费用进行预测。
相邻时间周期的第一记录的差值例如Cn-Cn-1，预设时间范围内所述第 一记录的变化量例如为
Figure BDA0002777699910000171
时间周期内所述第一记录的均值例如cavg。
本实施例中，单一参数(如费用)条件下预测：
如根据如下公式得到预测的增幅或降幅CpN：
Figure BDA0002777699910000172
其中，Cn为第n月费用，Cn-1为第n-1月费用，
Figure BDA0002777699910000173
为特定周期费用增 量，其中，特定周期指的是之前的某一段时间范围，如最近12个月或6个月 等，cavg为预测周期费用均值，例如预测每个月的费用增幅或降幅，则预测 周期为1月；σavg为预测周期费用平均波动幅度；N为特定周期内样本数， 例如选取了1000个云主机服务器7-12月各月账单金额，则6(6个月)*1000 ＝6000就是样本数，n为时间参数，如特定周期内包含的预测周期的个数， 如12或6。
在另一实施例中，若至少一个记录的数量为至少两个，至少两个记录包 括第一记录和第二记录，确定目标记录在预设时间范围内的变化量可以通过 如下方式实现：
根据相邻时间周期的第一记录集合中的第一记录的差值、预设时间范围 内所述第一记录的变化量、所述时间周期内所述第一记录的均值，以及预设 时间范围内所述第二记录的变化量，获取所述目标记录在预设时间范围内的 变化量。
其中，第一记录如费用，第二记录如资源数量，预设时间范围内所述第 二记录的变化量如
Figure BDA0002777699910000181
本实施例中，引入多个参数(如费用、资源数量)条件进行预测：
如根据如下公式得到预测的增幅或降幅CpNqN：
Figure BDA0002777699910000182
其中，Q为资源数量，
Figure BDA0002777699910000183
表示特定周期内资源数量的浮动趋势，
Figure BDA0002777699910000184
表 示特定周期内资源数量的浮动趋势的平均值。
在其他实施例中，还可以根据字段的属性和预测要求，选取其他参数进 行预测。
本实施例的方法，根据一段时间内特定参数，例如包括：资源类型、资 源配置属性、数量变动等至少一项，预测和该类资源密切相关的业务产品未 来一段时间的发展趋势及变化幅度，预测结果较为准确，为预算、产品规划 等决策提供参考。比如主打大数据运算功能的GPU主机，在一定时间周期 内，使用量大幅增加，结合项目属主信息，可以预估，依赖大数据计算的AI 产品在未来一段时间有较强的扩展需求，需要做好预算及资源支持规划。
图5为本申请提供的数据处理装置一实施例的结构示意图，如图5所示， 本实施例的数据处理装置，包括：
预处理模块110，用于将待比对记录集合划分为多个第一记录组，以及 将所述待比对记录集合对应的基准记录集合划分为多个第二记录组；
获取模块111，用于获取各个所述第一记录组对应的第一加密数据，以 及各个所述第二记录组对应的第二加密数据；
处理模块112，用于根据各个所述第一加密数据和各个所述第二加密数 据，在所述待比对记录集合中确定目标记录，所述目标记录与对应的基准记 录不同。
在一种可能的实现方式中，预处理模块110，具体用于：
根据所述待比对记录集合中各个记录的属性信息，将所述待比对记录集 合划分为多个所述第一记录组；
根据所述基准记录集合中各个记录的属性信息，将所述基准记录集合划 分为多个所述第二记录组，所述属性信息包括以下至少一项：风险类型、风 险等级、不一致次数或不一致概率。
在一种可能的实现方式中，预处理模块110，具体用于：
将所述待比对记录集合中属性信息相同的记录划分在同一个所述第一记 录组中；
根据所述基准记录集合中各个记录的属性信息，将所述基准记录集合划 分为多个所述第二记录组，包括：
将所述基准记录集合中属性信息相同的记录划分在同一个所述第二记录 组中。
在一种可能的实现方式中，预处理模块110，具体用于：
若所述属性信息相同的记录为n个，则将所述属性信息相同的n个记录 中的[n/a]个记录划分在同一个所述第一记录组中，n为大于或等于2的整数， a为大于1的整数，[]为取整符号。
在一种可能的实现方式中，处理模块112还用于：
分别获取所述待比对记录集合的第三加密数据，以及所述基准记录集合 的第四加密数据；
根据所述待比对记录集合的第三加密数据和所述基准记录集合的第四加 密数据，确定所述待比对记录集合和所述基准记录集合是否一致。
在一种可能的实现方式中，处理模块112还用于：
对所述待比对记录集合中各个记录的属性信息进行调整。
在一种可能的实现方式中，处理模块112具体用于：
若所述目标记录的风险等级低于第一预设等级，则提高所述目标记录的 风险等级；
若所述待比对记录集合中除所述目标记录之外的其他记录的风险等级高 于第二预设等级，则降低所述其他记录的风险等级。
在一种可能的实现方式中，处理模块112还用于：
获取多个时间周期的第一记录集合；
根据各个所述第一记录集合中包括的至少一个记录，确定目标记录在预 设时间范围内的变化量。
在一种可能的实现方式中，若至少一个记录的数量为一个，所述至少一 个记录包括第一记录，所述处理模块112具体用于：
根据相邻时间周期的第一记录集合中的第一记录的差值、预设时间范围 内所述第一记录的变化量，以及所述时间周期内所述第一记录的均值，获取 所述目标记录在预设时间范围内的变化量。
在一种可能的实现方式中，若所述至少一个记录的数量为至少两个，至 少两个所述记录包括第一记录和第二记录，所述处理模块112具体用于：
根据相邻时间周期的第一记录集合中的第一记录的差值、预设时间范围 内所述第一记录的变化量、所述时间周期内所述第一记录的均值，以及预设 时间范围内所述第二记录的变化量，获取所述目标记录在预设时间范围内的 变化量。
本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原 理和技术效果类似，此处不再赘述。
图6为本申请提供的电子设备实施例的结构示意图，如图6所示，该 电子设备包括：
处理器210，以及，用于存储处理器210的可执行指令的存储器211。
可选的，还可以包括：通信接口212，用于实现与其他设备的通信。
上述部件可以通过一条或多条总线进行通信。
其中，处理器210配置为经由执行所述可执行指令来执行前述方法实施 例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。
本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程 序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其 具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处 不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到 本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适 应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包 括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实 施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指 出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精 确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅 由所附的权利要求书来限制。

Claims (13)

1.一种数据处理方法，其特征在于，包括：
将待比对记录集合划分为多个第一记录组，以及将所述待比对记录集合对应的基准记录集合划分为多个第二记录组；
获取各个所述第一记录组对应的第一加密数据，以及各个所述第二记录组对应的第二加密数据；
根据各个所述第一加密数据和各个所述第二加密数据，在所述待比对记录集合中确定目标记录，所述目标记录与对应的基准记录不同。
2.根据权利要求1所述的方法，其特征在于，所述将待比对记录集合划分为多个第一记录组，以及将所述待比对记录集合对应的基准记录集合划分为多个第二记录组，包括：
根据所述待比对记录集合中各个记录的属性信息，将所述待比对记录集合划分为多个所述第一记录组；
根据所述基准记录集合中各个记录的属性信息，将所述基准记录集合划分为多个所述第二记录组，所述属性信息包括以下至少一项：风险类型、风险等级、不一致次数或不一致概率。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待比对记录集合中各个记录的属性信息，将所述待比对记录集合划分为多个所述第一记录组，包括：
将所述待比对记录集合中属性信息相同的记录划分在同一个所述第一记录组中；
根据所述基准记录集合中各个记录的属性信息，将所述基准记录集合划分为多个所述第二记录组，包括：
将所述基准记录集合中属性信息相同的记录划分在同一个所述第二记录组中。
4.根据权利要求3所述的方法，其特征在于，所述将所述待比对记录集合中属性信息相同的记录划分在同一个所述第一记录组中，包括：
若所述属性信息相同的记录为n个，则将所述属性信息相同的n个记录中的[n/a]个记录划分在同一个所述第一记录组中，n为大于或等于2的整数，a为大于1的整数，[]为取整符号。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述将待比对记录集合划分为多个第一记录组之前，还包括：
分别获取所述待比对记录集合的第三加密数据，以及所述基准记录集合的第四加密数据；
根据所述待比对记录集合的第三加密数据和所述基准记录集合的第四加密数据，确定所述待比对记录集合和所述基准记录集合是否一致。
6.根据权利要求2-4任一项所述的方法，其特征在于，还包括：
对所述待比对记录集合中各个记录的属性信息进行调整。
7.根据权利要求6所述的方法，其特征在于，所述属性信息包括风险等级，所述对所述待比对记录集合中各个记录的属性信息进行调整，包括：
若所述目标记录的风险等级低于第一预设等级，则提高所述目标记录的风险等级；
若所述待比对记录集合中除所述目标记录之外的其他记录的风险等级高于第二预设等级，则降低所述其他记录的风险等级。
8.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
获取多个时间周期的第一记录集合；
根据各个所述第一记录集合中包括的至少一个记录，确定目标记录在预设时间范围内的变化量。
9.根据权利要求8所述的方法，其特征在于，若至少一个记录的数量为一个，所述至少一个记录包括第一记录，所述确定目标记录在预设时间范围内的变化量，包括：
根据相邻时间周期的第一记录集合中的第一记录的差值、预设时间范围内所述第一记录的变化量，以及所述时间周期内所述第一记录的均值，获取所述目标记录在预设时间范围内的变化量。
10.根据权利要求8所述的方法，其特征在于，若所述至少一个记录的数量为至少两个，至少两个所述记录包括第一记录和第二记录，所述确定目标记录在预设时间范围内的变化量，包括：
根据相邻时间周期的第一记录集合中的第一记录的差值、预设时间范围内所述第一记录的变化量、所述时间周期内所述第一记录的均值，以及预设时间范围内所述第二记录的变化量，获取所述目标记录在预设时间范围内的变化量。
11.一种数据处理装置，其特征在于，包括：
预处理模块，用于将待比对记录集合划分为多个第一记录组，以及将所述待比对记录集合对应的基准记录集合划分为多个第二记录组；
获取模块，用于获取各个所述第一记录组对应的第一加密数据，以及各个所述第二记录组对应的第二加密数据；
处理模块，用于根据各个所述第一加密数据和各个所述第二加密数据，在所述待比对记录集合中确定目标记录，所述目标记录与对应的基准记录不同。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任一项所述的方法。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-10任一项所述的方法。
CN202011271012.XA 2020-11-13 2020-11-13 数据处理方法、装置、设备和存储介质 Pending CN112380202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011271012.XA CN112380202A (zh) 2020-11-13 2020-11-13 数据处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011271012.XA CN112380202A (zh) 2020-11-13 2020-11-13 数据处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN112380202A true CN112380202A (zh) 2021-02-19

Family

ID=74582364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011271012.XA Pending CN112380202A (zh) 2020-11-13 2020-11-13 数据处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112380202A (zh)

Similar Documents

Publication Publication Date Title
US11163670B2 (en) Data records selection
US8433786B2 (en) Selective instrumentation of distributed applications for transaction monitoring
CN112101939A (zh) 基于区块链的节点管理方法及系统
CN106156040A (zh) 多维度数据管理方法及装置
CN114186989A (zh) 一种资金分配决策方法、装置、服务器及存储介质
CN110737673B (zh) 一种数据处理的方法及系统
US7181449B2 (en) Method, system, and program product for executing a scalar function on a varying number of records within a RDBMS using SQL
CN106709756A (zh) 用户需求信息获取方法和装置
CN102629362A (zh) 一种企业年金账户管理系统中实现灵活账户结构的方法
CN112380202A (zh) 数据处理方法、装置、设备和存储介质
CN115936875A (zh) 金融产品挂单处理方法和装置
CN111563082B (zh) 报表生成方法及装置
CN112037049A (zh) 银行卡收费方法及装置
CN112348657A (zh) 目标信贷用户的确定方法、装置、计算机设备及存储介质
CN110782351A (zh) 适于日终交易的数据处理方法、系统、装置及存储介质
CN114240610B (zh) 资金自动归集方法、装置、计算机设备和存储介质
CN110516195B (zh) 一种金融时间向量的积算方法及时间向量积算器
CN113094589B (zh) 智能服务推荐方法及装置
CN113935817A (zh) 一种基于跨境业务的费用管理方法及装置
CN116823505A (zh) 会计记账方法、装置、设备和存储介质
CN106909553A (zh) 一种数据有效性确定方法及装置
CN117035387A (zh) 一种生成工单报表的方法及系统
CN114529396A (zh) 一种数据处理方法、装置及电子设备
CN112598422A (zh) 交易风险评估方法、系统、设备及存储介质
CN118134656A (zh) 一种基于多因子模型的客户应收信用评分方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination