CN110704518A - 基于Flink引擎的业务数据处理方法及装置 - Google Patents

基于Flink引擎的业务数据处理方法及装置 Download PDF

Info

Publication number
CN110704518A
CN110704518A CN201910789458.2A CN201910789458A CN110704518A CN 110704518 A CN110704518 A CN 110704518A CN 201910789458 A CN201910789458 A CN 201910789458A CN 110704518 A CN110704518 A CN 110704518A
Authority
CN
China
Prior art keywords
flink
json file
json
task
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910789458.2A
Other languages
English (en)
Other versions
CN110704518B (zh
Inventor
王军
孙迁
张毅
王广邦
陈晖�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Suning Cloud Computing Co ltd
SuningCom Co ltd
Original Assignee
Suning Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Cloud Computing Co Ltd filed Critical Suning Cloud Computing Co Ltd
Priority to CN201910789458.2A priority Critical patent/CN110704518B/zh
Publication of CN110704518A publication Critical patent/CN110704518A/zh
Priority to PCT/CN2020/097832 priority patent/WO2021036447A1/zh
Priority to CA3152829A priority patent/CA3152829A1/en
Application granted granted Critical
Publication of CN110704518B publication Critical patent/CN110704518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Abstract

本发明公开一种基于Flink引擎的业务数据处理方法及装置，涉及大数据处理技术领域，能够有效降低针对实时任务的开发成本和维护成本。该方法包括：接收JSON文件，JSON文件由实时业务数据基于预设的标准JSON数据协议生成；校验并解析JSON文件，映射为与JSON文件对应的实体类信息；根据实体类信息利用Flink引擎构建Flink任务，并将Flink任务提交至集群处理。该装置应用有上述方案所提的方法。

Description

基于Flink引擎的业务数据处理方法及装置
技术领域
本发明涉及大数据处理技术领域，尤其涉及一种基于Flink引擎的业务数据处理方法及装置。
背景技术
随着互联网公司业务的快速发展，随之产生的数据也呈井喷式增长，随之而来的是要求实时平台部门为业务部门提供易用、稳定、高效的实时数据服务，因此，基于数据实时计算的业务作业开始崭露头角，并且越来越多的被投入到线上使用，如实时推荐、双十一实时大屏统计、实时反欺诈等。
现有的常规的实时任务开发，需要针对每个实时任务做定制开发，当一个实时任务开发完后，后续待开发的实时任务能复用前一个实时任务的可能性很低，这也就导致了每次实时任务的开发都需要较高的开发成本和维护成本。
发明内容
本发明的目的在于提供一种基于Flink引擎的业务数据处理方法及装置，能够有效降低针对实时任务的开发成本和维护成本。
为了实现上述目的，本发明的一方面提供一种基于Flink引擎的业务数据处理方法，包括：
接收JSON文件，所述JSON文件由实时业务数据基于预设的标准JSON数据协议生成；
校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息；
根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理。
优选地，接收JSON文件，所述JSON文件由实时业务数据，基于预设的标准JSON数据协议生成的方法包括：
基于所述Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；
通过所述标准JSON数据协议将实时业务数据转换生成所述JSON文件；
将所述JSON文件发送至服务端中的Flink引擎。
较佳地，校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息的方法包括：
Flink引擎调用所述标准JSON数据协议对接收到的JSON文件合法性实施校验；
合法性校验通过后，利用Flink引擎中的解析器解析所述JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
优选地，根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理的方法包括：
从所述实体类信息中提取配置信息用于配置Flink引擎的运行环境，所述配置信息包括节点属性值；
提取所述实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；
通过Flink引擎处理所述JSON文件生成Flink任务，并将其提交至集群处理。
优选地，在配置Flink引擎之前还包括：
基于配置的运行环境对所述JSON文件进行预校验，确保任务可被Flink引擎解析。
与现有技术相比，本发明提供的基于Flink引擎的业务数据处理方法具有以下有益效果：
本发明提供的基于Flink引擎的业务数据处理方法中，通过将实时业务数据基于标准JSON数据协议转换成JSON文件，使得数据接入方式变得更加灵活，无论是可视化拖拽、代码构建、甚至手动编辑等方式生成JSON文件，都可接入Flink引擎，有利于降低开发门槛提高开发效率，接着，校验并解析上述JSON文件，使之映射为与之对应的实体类信息，之后根据实体类信息利用Flink引擎构建Flink任务分发至相应集群处理，由于Flink引擎作为新一代的实时组件，具有吞吐量高、实时性高、优秀的内存管理和流控等优点，因此可极大提高业务数据的处理效率。
本发明的另一方面提供一种基于Flink引擎的业务数据处理装置，应用有上述技术方案提到的基于Flink引擎的业务数据处理方法中，该装置包括:
转换单元，用于接收JSON文件，所述JSON文件由实时业务数据基于预设的标准JSON数据协议生成；
解析单元，用于校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息；
任务构建单元，用于根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理。
优选地，所述转换单元包括：
标准协议预设模块，用于基于所述Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；
数据转换模块，用于通过所述标准JSON数据协议将实时业务数据转换生成所述JSON文件；
数据发送模块，用于将所述JSON文件发送至服务端中的Flink引擎。
优选地，所述解析单元包括：
第一校验模块，用于Flink引擎调用所述标准JSON数据协议对接收到的JSON文件合法性实施校验；
解析模块，用于在合法性校验通过后，利用Flink引擎中的解析器解析所述JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
优选地，所述任务构建单元包括：
环境配置模块，用于从所述实体类信息中提取配置信息用于配置Flink引擎的运行环境，所述配置信息包括节点属性值；
第二校验模块，基于配置的运行环境对所述JSON文件进行预校验，确保任务可被Flink引擎解析；
引擎配置模块，用于提取所述实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；
任务分发模块，用于通过Flink引擎处理所述JSON文件生成Flink任务，并将其提交至集群处理。
与现有技术相比，本发明提供的基于Flink引擎的业务数据处理装置的有益效果与上述技术方案提供的基于Flink引擎的业务数据处理方法的有益效果相同，在此不做赘述。
本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于Flink引擎的业务数据处理方法的步骤。
与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的基于Flink引擎的业务数据处理方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一中基于Flink引擎的业务数据处理方法的一种流程示意图；
图2为本发明实施例一中基于Flink引擎的业务数据处理方法的另一种流程图；
图3为JSON生成器在任务画布上的拖拽示例图；
图4为JSON文件的描述示例图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
请参阅图1和图2，本实施例提供一种基于Flink引擎的业务数据处理方法，包括：
接收JSON文件，JSON文件由实时业务数据基于预设的标准JSON数据协议生成；校验并解析JSON文件，映射为与JSON文件对应的实体类信息；根据实体类信息利用Flink引擎构建Flink任务，并将Flink任务提交至集群处理。
本实施例提供的基于Flink引擎的业务数据处理方法中，通过将实时业务数据基于标准JSON数据协议转换成JSON文件，使得数据接入方式变得更加灵活，无论是可视化拖拽、代码构建、甚至手动编辑等方式生成JSON文件，都可接入Flink引擎，有利于降低开发门槛提高开发效率，接着，校验并解析上述JSON文件，使之映射为与之对应的实体类信息，之后根据实体类信息利用Flink引擎构建Flink任务分发至相应集群处理，由于Flink引擎作为新一代的实时组件，具有吞吐量高、实时性高、优秀的内存管理和流控等优点，因此可极大提高业务数据的处理效率。
具体地，上述实施例中接收JSON文件，JSON文件由实时业务数据，基于预设的标准JSON数据协议生成的方法包括：
基于Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；通过标准JSON数据协议将实时业务数据转换生成JSON文件；将JSON文件发送至服务端中的Flink引擎。
具体实施时，在标准JSON数据协议预设完成后，根据业务场景，通过可视化拖拽、代码构建、甚至手动编辑等方式生成JSON文件方式，生成符合预定义协议的JSON文件(.json文件)，然后将JSON文件上传至中转文件系统或以报文方式发送至服务端中的Flink引擎，其中，上述抽象建模为本领域技术人员熟知的技术手段，本实施例在此不做赘述。
请继续参阅图2，上述实施例中校验并解析JSON文件，映射为与JSON文件对应的实体类信息的方法包括：
Flink引擎调用标准JSON数据协议对接收到的JSON文件合法性实施校验；合法性校验通过后，利用Flink引擎中的解析器解析JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
具体实施时，当Flink引擎收到JSON文件后自动调用上述标准JSON数据协议对JSON文件的合法性实施校验，其中，校验的对象包括json语法和语言节点属性值，当合法性校验通过后，利用Flink引擎中的解析器解析JSON文件，并将JSON文件与预定义的本地原生代码Flink数据实体类进行映射，生成实体类信息，实现数据流转；需要说明的是，上述针对JSON文件的合法性校验和JSON文件的解析过程为本领域技术人员常用的技术手段，本实施例再次不做赘述。
进一步地，上述实施例中的根据实体类信息利用Flink引擎构建Flink任务，并将Flink任务提交至集群处理的方法包括：
从实体类信息中提取配置信息用于配置Flink引擎的运行环境，配置信息包括节点属性值；提取实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；通过Flink引擎处理JSON文件生成Flink任务，并将其提交至集群处理。
优选地，上述实施例在配置Flink引擎之前还包括：
基于配置的运行环境对JSON文件进行预校验，确保任务可被Flink引擎解析。
为了便于理解，本实施例采用下述方案做示例性说明：
请参阅图3，首先根据具体的业务逻辑，利用JSON生成器拖拽相应的组件至任务画布上，组件划分纯粹是从业务层面进行，并且每个组件之间由箭头连接，表明数据流向。
接着通过.json语言的节点属性值(tableNodeList)的方式描述各组件和组件之间的关系，如使用节点属性值(tableNodeList)描述各个组件，使用属性值(linkList)描述组件之间的关系，如图4所示。
当需要提交实时任务时，将.json文件发送至Flink引擎，由Flink引擎对.json文件进行解析并进行实体类数据映射，继而构建Flink运行环境、注册自定义函数并提交至Yarn运行。
可见，相较于现有的方案在开发实时任务时，需要重复配置运行环境，执行注册自定义函数UDF、注册数据源Source和接入Sink输出等操作，本实施例通过可视化拖拽的方式节省了上述操作流程，用户无需关注这些重复性工作，通过转交Flink引擎构建、处理，能够大幅降低开发门槛并提高开发效率。
实施例二
本实施例提供一种基于Flink引擎的业务数据处理装置，包括：
转换单元，用于接收JSON文件，JSON文件由实时业务数据基于预设的标准JSON数据协议生成；
解析单元，用于校验并解析JSON文件，映射为与JSON文件对应的实体类信息；
任务构建单元，用于根据实体类信息利用Flink引擎构建Flink任务，并将Flink任务提交至集群处理。
优选地，转换单元包括：
标准协议预设模块，用于基于Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；
数据转换模块，用于通过标准JSON数据协议将实时业务数据转换生成JSON文件；
数据发送模块，用于将JSON文件发送至服务端中的Flink引擎。
优选地，解析单元包括：
第一校验模块，用于Flink引擎调用标准JSON数据协议对接收到的JSON文件合法性实施校验；
解析模块，用于在合法性校验通过后，利用Flink引擎中的解析器解析JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
优选地，任务构建单元包括：
环境配置模块，用于从实体类信息中提取配置信息用于配置Flink引擎的运行环境，配置信息包括节点属性值；
第二校验模块，基于配置的运行环境对JSON文件进行预校验，确保任务可被Flink引擎解析；
引擎配置模块，用于提取实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；
任务分发模块，用于通过Flink引擎处理JSON文件生成Flink任务，并将其提交至集群处理。
与现有技术相比，本实施例提供的基于Flink引擎的业务数据处理装置的有益效果与上述实施例提供的基于Flink引擎的业务数据处理方法的有益效果相同，在此不做赘述。
实施例三
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于Flink引擎的业务数据处理方法的步骤。
与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的基于Flink引擎的业务数据处理方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，上述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于Flink引擎的业务数据处理方法，其特征在于，包括：
接收JSON文件，所述JSON文件由实时业务数据基于预设的标准JSON数据协议生成；
校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息；
根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理。
2.根据权利要求1所述的方法，其特征在于，接收JSON文件，所述JSON文件由实时业务数据，基于预设的标准JSON数据协议生成的方法包括：
基于所述Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；
通过所述标准JSON数据协议将实时业务数据转换生成所述JSON文件；
将所述JSON文件发送至服务端中的Flink引擎。
3.根据权利要求1所述的方法，其特征在于，校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息的方法包括：
Flink引擎调用所述标准JSON数据协议对接收到的JSON文件合法性实施校验；
合法性校验通过后，利用Flink引擎中的解析器解析所述JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
4.根据权利要求1所述的方法，其特征在于，根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理的方法包括：
从所述实体类信息中提取配置信息用于配置Flink引擎的运行环境，所述配置信息包括节点属性值；
提取所述实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；
通过Flink引擎处理所述JSON文件生成Flink任务，并将其提交至集群处理。
5.根据权利要求4所述的方法，其特征在于，在配置Flink引擎之前还包括：
基于配置的运行环境对所述JSON文件进行预校验，确保任务可被Flink引擎解析。
6.一种基于Flink引擎的业务数据处理装置，其特征在于，包括：
转换单元，用于接收JSON文件，所述JSON文件由实时业务数据基于预设的标准JSON数据协议生成；
解析单元，用于校验并解析所述JSON文件，映射为与所述JSON文件对应的实体类信息；
任务构建单元，用于根据所述实体类信息利用Flink引擎构建Flink任务，并将所述Flink任务提交至集群处理。
7.根据权利要求6所述的装置，其特征在于，所述转换单元包括：
标准协议预设模块，用于基于所述Flink任务的数据结构和算子特征抽象建模，预设标准JSON数据协议；
数据转换模块，用于通过所述标准JSON数据协议将实时业务数据转换生成所述JSON文件；
数据发送模块，用于将所述JSON文件发送至服务端中的Flink引擎。
8.根据权利要求6所述的装置，其特征在于，所述解析单元包括：
第一校验模块，用于Flink引擎调用所述标准JSON数据协议对接收到的JSON文件合法性实施校验；
解析模块，用于在合法性校验通过后，利用Flink引擎中的解析器解析所述JSON文件，同时将解析结果与预定义的本地原生代码Flink数据实体类映射，生成实体类信息。
9.根据权利要求8所述的装置，其特征在于，所述任务构建单元包括：
环境配置模块，用于从所述实体类信息中提取配置信息用于配置Flink引擎的运行环境，所述配置信息包括节点属性值；
第二校验模块，基于配置的运行环境对所述JSON文件进行预校验，确保任务可被Flink引擎解析；
引擎配置模块，用于提取所述实体类信息的节点属性值，并在运行环境中依次执行注册数据源Source操作、注册自定义函数UDF操作、接入Sink输出操作和构建执行计划操作，以此配置Flink引擎；
任务分发模块，用于通过Flink引擎处理所述JSON文件生成Flink任务，并将其提交至集群处理。
10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至5任一项所述方法的步骤。
CN201910789458.2A 2019-08-26 2019-08-26 基于Flink引擎的业务数据处理方法及装置 Active CN110704518B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910789458.2A CN110704518B (zh) 2019-08-26 2019-08-26 基于Flink引擎的业务数据处理方法及装置
PCT/CN2020/097832 WO2021036447A1 (zh) 2019-08-26 2020-06-24 基于Flink引擎的业务数据处理方法及装置
CA3152829A CA3152829A1 (en) 2019-08-26 2020-06-24 Method and apparatus for processing business data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910789458.2A CN110704518B (zh) 2019-08-26 2019-08-26 基于Flink引擎的业务数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN110704518A true CN110704518A (zh) 2020-01-17
CN110704518B CN110704518B (zh) 2022-11-08

Family

ID=69193582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910789458.2A Active CN110704518B (zh) 2019-08-26 2019-08-26 基于Flink引擎的业务数据处理方法及装置

Country Status (3)

Country Link
CN (1) CN110704518B (zh)
CA (1) CA3152829A1 (zh)
WO (1) WO2021036447A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240693A (zh) * 2020-01-17 2020-06-05 北京三快在线科技有限公司 实时数据处理方法、装置、设备及存储介质
CN111930589A (zh) * 2020-07-02 2020-11-13 上海微亿智造科技有限公司 流式任务自动化监控系统及方法
CN112230616A (zh) * 2020-10-28 2021-01-15 腾讯科技（深圳）有限公司 一种联动控制方法、装置及联动中间件
CN112287007A (zh) * 2020-10-30 2021-01-29 常州微亿智造科技有限公司 基于Flink SQL引擎的工业生产数据实时处理方法、系统
WO2021036447A1 (zh) * 2019-08-26 2021-03-04 苏宁云计算有限公司 基于Flink引擎的业务数据处理方法及装置
CN112612514A (zh) * 2020-12-31 2021-04-06 青岛海尔科技有限公司 程序开发方法和装置、存储介质及电子装置
CN113076380A (zh) * 2021-04-27 2021-07-06 苏州科达科技股份有限公司 数据同步方法、装置、系统、设备及存储介质
CN113448923A (zh) * 2020-04-17 2021-09-28 北京新氧科技有限公司 文件生成方法、装置及终端
CN113504896A (zh) * 2021-07-12 2021-10-15 云南腾云信息产业有限公司 一种应用程序的业务数据处理方法、装置及移动终端
CN113504904A (zh) * 2021-07-26 2021-10-15 中国平安人寿保险股份有限公司 用户定义函数实现方法、装置、计算机设备和存储介质
CN115795242A (zh) * 2023-02-09 2023-03-14 云筑信息科技(成都)有限公司 一种基于Flink流式计算引擎实现海量数据近实时处理的方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113844976B (zh) * 2021-09-10 2023-04-25 北京声智科技有限公司 告警数据的处理方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480202A (zh) * 2017-07-18 2017-12-15 湖南大学 一种用于多并行处理框架的数据处理方法及装置
CN107688659A (zh) * 2017-09-08 2018-02-13 北京奇艺世纪科技有限公司 一种数据处理方法及装置
CN108984155A (zh) * 2018-05-17 2018-12-11 阿里巴巴集团控股有限公司 数据处理流程设定方法和装置
CN110019651A (zh) * 2019-03-01 2019-07-16 广州亚美信息科技有限公司 一种流式规则引擎及业务数据处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198298B2 (en) * 2015-09-16 2019-02-05 Salesforce.Com, Inc. Handling multiple task sequences in a stream processing framework
CN109814865B (zh) * 2019-01-18 2022-06-03 四川长虹电器股份有限公司 一种基于json数据格式的移动应用页面生成方法
CN110704518B (zh) * 2019-08-26 2022-11-08 苏宁云计算有限公司 基于Flink引擎的业务数据处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480202A (zh) * 2017-07-18 2017-12-15 湖南大学 一种用于多并行处理框架的数据处理方法及装置
CN107688659A (zh) * 2017-09-08 2018-02-13 北京奇艺世纪科技有限公司 一种数据处理方法及装置
CN108984155A (zh) * 2018-05-17 2018-12-11 阿里巴巴集团控股有限公司 数据处理流程设定方法和装置
CN110019651A (zh) * 2019-03-01 2019-07-16 广州亚美信息科技有限公司 一种流式规则引擎及业务数据处理方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036447A1 (zh) * 2019-08-26 2021-03-04 苏宁云计算有限公司 基于Flink引擎的业务数据处理方法及装置
CN111240693A (zh) * 2020-01-17 2020-06-05 北京三快在线科技有限公司 实时数据处理方法、装置、设备及存储介质
CN113448923A (zh) * 2020-04-17 2021-09-28 北京新氧科技有限公司 文件生成方法、装置及终端
CN113448923B (zh) * 2020-04-17 2023-09-12 北京新氧科技有限公司 文件生成方法、装置及终端
CN111930589B (zh) * 2020-07-02 2021-07-27 上海微亿智造科技有限公司 流式任务自动化监控系统及方法
CN111930589A (zh) * 2020-07-02 2020-11-13 上海微亿智造科技有限公司 流式任务自动化监控系统及方法
CN112230616A (zh) * 2020-10-28 2021-01-15 腾讯科技（深圳）有限公司 一种联动控制方法、装置及联动中间件
CN112287007A (zh) * 2020-10-30 2021-01-29 常州微亿智造科技有限公司 基于Flink SQL引擎的工业生产数据实时处理方法、系统
CN112612514A (zh) * 2020-12-31 2021-04-06 青岛海尔科技有限公司 程序开发方法和装置、存储介质及电子装置
CN112612514B (zh) * 2020-12-31 2023-11-28 青岛海尔科技有限公司 程序开发方法和装置、存储介质及电子装置
CN113076380A (zh) * 2021-04-27 2021-07-06 苏州科达科技股份有限公司 数据同步方法、装置、系统、设备及存储介质
CN113076380B (zh) * 2021-04-27 2022-07-26 苏州科达科技股份有限公司 数据同步方法、装置、系统、设备及存储介质
CN113504896A (zh) * 2021-07-12 2021-10-15 云南腾云信息产业有限公司 一种应用程序的业务数据处理方法、装置及移动终端
CN113504896B (zh) * 2021-07-12 2023-08-18 云南腾云信息产业有限公司 一种应用程序的业务数据处理方法、装置及移动终端
CN113504904A (zh) * 2021-07-26 2021-10-15 中国平安人寿保险股份有限公司 用户定义函数实现方法、装置、计算机设备和存储介质
CN115795242A (zh) * 2023-02-09 2023-03-14 云筑信息科技(成都)有限公司 一种基于Flink流式计算引擎实现海量数据近实时处理的方法

Also Published As

Publication number Publication date
CN110704518B (zh) 2022-11-08
WO2021036447A1 (zh) 2021-03-04
CA3152829A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
CN110704518B (zh) 基于Flink引擎的业务数据处理方法及装置
CN114205230B (zh) 云原生网元的配置方法、系统、介质及电子设备
CN101894059B (zh) 一种运行状态的检测方法及系统
CN111309550A (zh) 应用程序的数据采集方法、系统、设备和存储介质
CN110858172A (zh) 一种自动化测试代码生成方法和装置
CN111866016A (zh) 日志的分析方法及系统
CN109446042B (zh) 一种用于智能用电设备的日志管理方法及系统
CN108984202B (zh) 一种电子资源分享方法、装置和存储介质
CN111309751A (zh) 大数据处理方法及装置
CN111159897B (zh) 基于系统建模应用的目标优化方法和装置
CN111104214B (zh) 一种工作流应用方法及装置
CN114138674A (zh) 自动化测试方法、装置及计算机设备
CN115934097A (zh) 生成可执行语句的方法、装置、存储介质及电子装置
CN108595178B (zh) 一种基于hook的数据采集方法、装置及设备
CN112614002A (zh) 数据采集系统、方法、装置、电子设备及计算机存储介质
CN115604343A (zh) 一种数据传输方法、系统、电子设备和存储介质
CN111949549B (zh) 测试请求筛选方法、系统、电子设备和存储介质
CN113591448A (zh) 报表生成方法、装置及存储介质
CN112363774A (zh) Storm实时任务的配置方法及装置
CN112433752A (zh) 页面解析方法、装置、介质及电子设备
CN113486269B (zh) 基于web的电子表格数据处理方法、计算设备和存储介质
CN111401825B (zh) 一种实例化方法和装置
CN115776529A (zh) 报文解析方法及电子设备
CN116939665A (zh) 核心网业务调度优化处理方法及相关设备
CN116415878A (zh) 实现动态配置派件顺延方案的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000

Patentee after: Jiangsu Suning cloud computing Co.,Ltd.

Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000

Patentee before: Suning Cloud Computing Co.,Ltd.

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20240109

Address after: 210000, 1-5 story, Jinshan building, 8 Shanxi Road, Nanjing, Jiangsu.

Patentee after: SUNING.COM Co.,Ltd.

Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000

Patentee before: Jiangsu Suning cloud computing Co.,Ltd.

TR01 Transfer of patent right