CN116431742A - 一种大数据量的业务数据加工方法、装置及电子设备 - Google Patents
一种大数据量的业务数据加工方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116431742A CN116431742A CN202310677373.1A CN202310677373A CN116431742A CN 116431742 A CN116431742 A CN 116431742A CN 202310677373 A CN202310677373 A CN 202310677373A CN 116431742 A CN116431742 A CN 116431742A
- Authority
- CN
- China
- Prior art keywords
- business
- service
- processing
- task
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 199
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术领域，具体涉及一种大数据量的业务数据加工方法、装置及电子设备，包括：获取业务关系型数据库表；基于业务关系型数据库连接各业务关系型数据库表，生成业务处理任务，基于业务处理任务创建业务任务指令，并将业务任务指令提交到业务大数据计算平台；将业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将元数据转化成业务大数据计算平台的业务加工任务；以大数据量业务数据作为输入执行业务加工任务中的预设业务加工规则，得到业务数据加工结果。本发明采用灵活的配置方式来对业务数据进行加工设计，通过关系型数据库表名与业务数据关联的方式实现实时、快速的进行业务数据加工。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种大数据量的业务数据加工方法、装置及电子设备。
背景技术
大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
对于大数据量的数据加工，进而用于商业智能，是现代信息化最常见的数据处理方式之一，往往不同企业、不同场景下的业务千差万别，要做到数据加工，具有较强的专业性，需要专门做技术开发才能做到，且并不能保证数据的实时、快速的特性，数据加工环节较为固化，会造成技术开发时耗费大量的人力物力，因此，如何能实时、快速地，且灵活的配置方式来对业务数据进行加工设计，并快速进行数据加工是需要解决的技术问题。
发明内容
本发明提供了一种大数据量的业务数据加工方法、装置及电子设备，用以解决大量数据的数据加工困难、数据实时性较差的问题。
本说明书实施例提供一种大数据量的业务数据处理方法，包括：
获取与大数据量的业务数据所关联的业务关系型数据库表；
基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；
将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；
将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
优选的，所述方法还包括：
以单表的形式将所述业务数据加工结果存储到业务数据库。
优选的，所述业务处理任务包括业务流任务、业务批处理任务；
所述基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，包括：
利用业务关系型数据库，结合预设指令转换函数将所述业务关系型数据库表转化为业务流任务和/或业务批处理任务。
优选的，所述方法还包括：
采用预设监听机制监听执行所述业务加工任务时业务处理任务的变化量，得到预设时间段内的新增和/或删减业务数据。
优选的，所述方法还包括：
同步检查业务加工结果的数据量与业务数据库的数据量，结合监听到的执行所述业务加工任务时业务处理任务的变化量确定所述业务处理任务中批处理业务任务的完成状态。
本说明书实施例还提供一种大数据量的业务数据加工装置，包括：
表名获取模块，用于获取与大数据量的业务数据所关联的业务关系型数据库表；
表名转化模块，用于基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；
数据转化模块，用于将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；
任务执行模块，用于将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
优选的，所述装置还包括：
业务数据存储模块，用于以单表的形式将所述业务数据加工结果存储到业务数据库。
优选的，所述业务处理任务包括业务流任务、业务批处理任务；
所述表名转化模块，包括：
表名转化单元，用于利用业务关系型数据库，结合预设指令转换函数将所述业务关系型数据库表转化为业务流任务和/或业务批处理任务。。
优选的，所述装置还包括：
任务监听模块，用于采用预设监听机制监听执行所述业务加工任务时业务处理任务的变化量，得到预设时间段内的新增和/或删减业务数据。
优选的，所述装置还包括：
状态确定模块，用于同步检查业务加工结果的数据量与业务数据库的数据量，结合监听到的执行所述业务加工任务时业务处理任务的变化量确定所述业务处理任务中批处理业务任务的完成状态。
一种电子设备，其中，该电子设备包括：
处理器以及存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一项所述的方法。
一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个指令，所述一个或多个指令当被处理器执行时，实现上述任一项所述的方法。
本发明可以采用灵活的配置方式来对业务数据进行加工设计，并通过关系型数据库表名与业务数据关联的方式实现实时、快速的进行业务数据加工。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的一种大数据量的业务数据加工方法的原理示意图；
图2为本说明书实施例提供的一种大数据量的业务数据加工装置的结构示意图。
具体实施方式
现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
参照图1为本说明书实施例提供的一种大数据量的业务数据处理方法的原理示意图，包括：
本说明书实施例提供一种大数据量的业务数据处理方法，包括：
S101：获取与大数据量的业务数据所关联的业务关系型数据库表；
S102：基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；
进一步地，所述业务处理任务包括业务流任务、业务批处理任务；
所述基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，包括：
利用业务关系型数据库，结合预设指令转换函数将所述业务关系型数据库表转化为业务流任务和/或业务批处理任务。
在本实施例中，以业务加工任务涉及到的业务关系型数据库表以SQL（StructuredQuery Language，结构化查询语言）方式直接将其通过自研的指令转换函数将业务关系型数据库表转化为Flink Job（开源流处理框架任务），以创建表、Flink CDC（change datacapture，变更数据捕获）流任务的Flink SQL（符合SQL语义的开发语言）任务指令，以生成的FlinkSQL任务指令提交到业务大数据计算平台，执行计算任务，实现将业务关系型数据库表同步到业务大数据计算平台；其中，业务处理任务包括Flink CDC流任务或Flink JDBC（Java DataBase Connectivity,java数据库连接）批处理任务，业务大数据计算平台为Hadoop + Flink为基础的计算框架；由于Flink服务的管理能力包括：任务生成、启动、数据备份、基于备份数据恢复、服务取消、服务停止加备份、Iceberg数据的HDFS（HadoopDistributed File System，Hadoop分布式文件系统）文件删除操作能力等，因此，通过利用将数据转化成Flink能够进行任务处理的方式，可以提高数据使用效率，记录数据备份、数据丢失等数据，便于查看历史数据。
业务关系型数据库表转化过程包括：将一个或多个业务关系型数据库表作为输入，将业务关系型数据库表和/或业务数据进行关联、合并、汇总、筛选过滤以及对各字段进行关联公式计算操作作为加工定义进行转化，得到业务流任务和/或业务批处理任务。
S103：将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；
S104：将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
在本实施例中，将业务数据加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并按同步规则、预设时间规则将元数据实时或定时的同步到业务大数据计算平台，将元数据转化成业务大数据计算平台的业务加工任务，在业务大数据计算平台下制定业务加工规则加入业务加工任务已实现业务加工任务按照预设的业务加工规则执行，实现对业务数据进行加工设计灵活配置，在业务大数据计算平台下，以大数据量业务数据作为输入执行业务加工任务中的预设业务加工规则实现对大数据量业务数据的加工处理，迅速得到业务数据加工结果。
进一步地，所述方法还包括：
以单表的形式将所述业务数据加工结果存储到业务数据库。
在本实施例中，通过采用单表的形式将业务数据加工结果存储到业务数据库，便于后续对加工后的业务数据的提取，查询等，提升业务数据库的响应速度。
进一步地，所述方法还包括：
采用预设监听机制监听执行所述业务加工任务时业务处理任务的变化量，得到预设时间段内的新增和/或删减业务数据。
在本实施例中，采用独立的且预设监听机制的监听器去监听执行所述业务加工任务时业务处理任务的变化量，能够检测业务处理任务在指定时间开始到当前时刻的业务数据新增与业务数据删除量，及时反馈得出业务数据。
进一步地，所述方法还包括：
同步检查业务加工结果的数据量与业务数据库的数据量，结合监听到的执行所述业务加工任务时业务处理任务的变化量确定所述业务处理任务中批处理业务任务的完成状态。
基于Flink的调度服务，针对批处理类任务，得出批处理类任务的结束状态，然后计算业务加工任务的执行，所述针对流处理类任务，检查流处理类任务执行状态，同步检查业务加工结果的数据量与业务数据库的数据量，再结合监听到的执行业务加工任务时业务处理任务的CDC变化量，得出Flink CDC部分的完成状态。
本发明可以采用灵活的配置方式来对业务数据进行加工设计，并通过关系型数据库表名与业务数据关联的方式实现实时、快速的进行业务数据加工。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
图2为本说明书实施例提供的一种红外信号的身份与运动轨迹的互动装置的结构示意图，包括：
表名获取模块201，用于获取与大数据量的业务数据所关联的业务关系型数据库表；
表名转化模块202，用于基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；
数据转化模块203，用于将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；
任务执行模块204，用于将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
进一步地，所述装置还包括：
业务数据存储模块，用于以单表的形式将所述业务数据加工结果存储到业务数据库。
进一步地，所述业务处理任务包括业务流任务、业务批处理任务；
所述表名转化模块202，包括：
表名转化单元，用于利用业务关系型数据库，结合预设指令转换函数将所述业务关系型数据库表转化为业务流任务和/或业务批处理任务。。
进一步地，所述装置还包括：
任务监听模块，用于采用预设监听机制监听执行所述业务加工任务时业务处理任务的变化量，得到预设时间段内的新增和/或删减业务数据。
进一步地，所述装置还包括：
状态确定模块，用于同步检查业务加工结果的数据量与业务数据库的数据量，结合监听到的执行所述业务加工任务时业务处理任务的变化量确定所述业务处理任务中批处理业务任务的完成状态。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机指令，其中，该计算机指令被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机指令：
S101：获取与大数据量的业务数据所关联的业务关系型数据库表；
S102：基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；
S103：将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；
S104：将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机指令，该处理器被设置为运行计算机指令以执行上述任一项方法实施例中的步骤。
进一步地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
进一步地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S101：获取与大数据量的业务数据所关联的业务关系型数据库表；
S102：基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；
S103：将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；
S104：将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
进一步地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种大数据量的业务数据加工方法，其特征在于，包括：
获取与大数据量的业务数据所关联的业务关系型数据库表；
基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；
将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；
将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
2.如权利要求1所述的一种大数据量的业务数据加工方法，其特征在于，所述方法还包括：
以单表的形式将所述业务数据加工结果存储到业务数据库。
3.如权利要求1所述的一种大数据量的业务数据加工方法，其特征在于，所述业务处理任务包括业务流任务、业务批处理任务；
所述基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，包括：
利用业务关系型数据库，结合预设指令转换函数将所述业务关系型数据库表转化为业务流任务和/或业务批处理任务。
4.如权利要求1所述的一种大数据量的业务数据加工方法，其特征在于，所述方法还包括：
采用预设监听机制监听执行所述业务加工任务时业务处理任务的变化量，得到预设时间段内的新增和/或删减业务数据。
5.如权利要求4所述的一种大数据量的业务数据加工方法，其特征在于，所述方法还包括：
同步检查业务加工结果的数据量与业务数据库的数据量，结合监听到的执行所述业务加工任务时业务处理任务的变化量确定所述业务处理任务中批处理业务任务的完成状态。
6.一种大数据量的业务数据加工装置，其特征在于，包括：
表名获取模块，用于获取与大数据量的业务数据所关联的业务关系型数据库表；
表名转化模块，用于基于业务关系型数据库连接各所述业务关系型数据库表，生成业务处理任务，基于所述业务处理任务创建业务任务指令，并将所述业务任务指令提交到业务大数据计算平台；
数据转化模块，用于将所述业务任务指令加工过程中涉及到的业务关系型数据库表、业务加工规则以元数据的方式记录，并将所述元数据转化成业务大数据计算平台的业务加工任务；
任务执行模块，用于将预设业务加工规则加入所述业务加工任务中，以大数据量业务数据作为输入执行所述业务加工任务中的预设业务加工规则，得到业务数据加工结果。
7.一种电子设备，其中，该电子设备包括：
处理器以及存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个指令，所述一个或多个指令当被处理器执行时，实现权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310677373.1A CN116431742A (zh) | 2023-06-09 | 2023-06-09 | 一种大数据量的业务数据加工方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310677373.1A CN116431742A (zh) | 2023-06-09 | 2023-06-09 | 一种大数据量的业务数据加工方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116431742A true CN116431742A (zh) | 2023-07-14 |
Family
ID=87091039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310677373.1A Pending CN116431742A (zh) | 2023-06-09 | 2023-06-09 | 一种大数据量的业务数据加工方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116431742A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6868413B1 (en) * | 2001-05-10 | 2005-03-15 | Networks Associates Technology, Inc. | System and method for customizing and processing business logic rules in a business process system |
| US20150120350A1 (en) * | 2013-10-24 | 2015-04-30 | Xerox Corporation | Method and system for recommending one or more crowdsourcing platforms/workforces for business workflow |
| CN105574022A (zh) * | 2014-10-14 | 2016-05-11 | 阿里巴巴集团控股有限公司 | 一种基于关系数据库的业务对象的处理方法和装置 |
| CN107122369A (zh) * | 2016-02-25 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 一种业务数据处理方法、装置和系统 |
| CN109344153A (zh) * | 2018-08-22 | 2019-02-15 | 中国平安人寿保险股份有限公司 | 业务数据的处理方法及终端设备 |
| CN110781165A (zh) * | 2019-10-10 | 2020-02-11 | 支付宝(杭州)信息技术有限公司 | 一种业务数据的处理方法、装置和设备 |
| CN110941657A (zh) * | 2019-11-08 | 2020-03-31 | 支付宝(杭州)信息技术有限公司 | 业务数据处理方法及装置 |
| CN111737270A (zh) * | 2019-11-12 | 2020-10-02 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统、计算机系统和计算机可读介质 |
| CN111984740A (zh) * | 2020-07-28 | 2020-11-24 | 招联消费金融有限公司 | 业务数据表处理方法、装置、计算机设备和存储介质 |
| CN112380255A (zh) * | 2020-11-16 | 2021-02-19 | 广东亿迅科技有限公司 | 一种业务处理方法、装置、设备和存储介质 |
| CN112860706A (zh) * | 2021-03-11 | 2021-05-28 | 深圳鼎盛电脑科技有限公司 | 一种业务的处理方法、装置、设备及存储介质 |
| CN113364857A (zh) * | 2021-06-03 | 2021-09-07 | 中国工商银行股份有限公司 | 业务数据的处理方法、装置和服务器 |
| CN113392158A (zh) * | 2021-06-11 | 2021-09-14 | 中国工商银行股份有限公司 | 业务数据处理方法、装置及数据中台 |
| CN115511434A (zh) * | 2022-08-23 | 2022-12-23 | 杭州硕磐智能科技有限公司 | 基于业务元数据驱动的企业数据治理方法和系统 |
-
2023
- 2023-06-09 CN CN202310677373.1A patent/CN116431742A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6868413B1 (en) * | 2001-05-10 | 2005-03-15 | Networks Associates Technology, Inc. | System and method for customizing and processing business logic rules in a business process system |
| US20150120350A1 (en) * | 2013-10-24 | 2015-04-30 | Xerox Corporation | Method and system for recommending one or more crowdsourcing platforms/workforces for business workflow |
| CN105574022A (zh) * | 2014-10-14 | 2016-05-11 | 阿里巴巴集团控股有限公司 | 一种基于关系数据库的业务对象的处理方法和装置 |
| CN107122369A (zh) * | 2016-02-25 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 一种业务数据处理方法、装置和系统 |
| CN109344153A (zh) * | 2018-08-22 | 2019-02-15 | 中国平安人寿保险股份有限公司 | 业务数据的处理方法及终端设备 |
| CN110781165A (zh) * | 2019-10-10 | 2020-02-11 | 支付宝(杭州)信息技术有限公司 | 一种业务数据的处理方法、装置和设备 |
| CN110941657A (zh) * | 2019-11-08 | 2020-03-31 | 支付宝(杭州)信息技术有限公司 | 业务数据处理方法及装置 |
| CN111737270A (zh) * | 2019-11-12 | 2020-10-02 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统、计算机系统和计算机可读介质 |
| CN111984740A (zh) * | 2020-07-28 | 2020-11-24 | 招联消费金融有限公司 | 业务数据表处理方法、装置、计算机设备和存储介质 |
| CN112380255A (zh) * | 2020-11-16 | 2021-02-19 | 广东亿迅科技有限公司 | 一种业务处理方法、装置、设备和存储介质 |
| CN112860706A (zh) * | 2021-03-11 | 2021-05-28 | 深圳鼎盛电脑科技有限公司 | 一种业务的处理方法、装置、设备及存储介质 |
| CN113364857A (zh) * | 2021-06-03 | 2021-09-07 | 中国工商银行股份有限公司 | 业务数据的处理方法、装置和服务器 |
| CN113392158A (zh) * | 2021-06-11 | 2021-09-14 | 中国工商银行股份有限公司 | 业务数据处理方法、装置及数据中台 |
| CN115511434A (zh) * | 2022-08-23 | 2022-12-23 | 杭州硕磐智能科技有限公司 | 基于业务元数据驱动的企业数据治理方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
| CN109997126B (zh) | 事件驱动提取、变换、加载（etl）处理 | |
| US8140591B2 (en) | Enabling workflow awareness within a business process management (BPM) system | |
| US11042503B1 (en) | Continuous data protection and restoration | |
| US20240160531A1 (en) | Continuous data protection | |
| CN107103064B (zh) | 数据统计方法及装置 | |
| CN111339073A (zh) | 实时数据处理方法、装置、电子设备及可读存储介质 | |
| CN110807067A (zh) | 关系型数据库和数据仓库的数据同步方法、装置及设备 | |
| CN108573029B (zh) | 一种获取网络访问关系数据的方法、装置及存储介质 | |
| CN110162512A (zh) | 一种日志检索方法、装置及存储介质 | |
| CN103810272A (zh) | 一种数据处理方法和系统 | |
| CN112948492A (zh) | 一种数据处理系统、方法、装置、电子设备及存储介质 | |
| CN115374102A (zh) | 数据处理方法及系统 | |
| CN116560626A (zh) | 基于自定义规则的数据处理方法、系统、设备和存储介质 | |
| CN114820080A (zh) | 基于人群流转的用户分群方法、系统、装置及介质 | |
| CN116010494A (zh) | 一种支持异构数据源的数据交换系统 | |
| CN111221698A (zh) | 任务数据采集方法与装置 | |
| CN112395333A (zh) | 用于排查数据异常的方法、装置、电子设备及存储介质 | |
| CN112286918B (zh) | 数据快速接入转换的方法、装置、电子设备及存储介质 | |
| CN116431742A (zh) | 一种大数据量的业务数据加工方法、装置及电子设备 | |
| CN112506886B (zh) | 一种多源业务操作日志采集方法及系统 | |
| US11681721B2 (en) | Systems and methods for spark lineage data capture | |
| CN113378219B (zh) | 一种非结构化数据的处理方法和系统 | |
| CN111352963A (zh) | 一种数据统计方法及装置 | |
| CN114661693A (zh) | 数据审计的实现方法、存储介质、电子设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230714 |