CN113641644A - 数据推送系统 - Google Patents
数据推送系统 Download PDFInfo
- Publication number
- CN113641644A CN113641644A CN202110932755.5A CN202110932755A CN113641644A CN 113641644 A CN113641644 A CN 113641644A CN 202110932755 A CN202110932755 A CN 202110932755A CN 113641644 A CN113641644 A CN 113641644A
- Authority
- CN
- China
- Prior art keywords
- data
- pushed
- pushing
- push
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据推送系统。该系统包括:数据仓库,其中,数据仓库中以数据表的形式存储有多份业务数据;用户系统,与数据仓库通信连接,包括用户界面和系统数据库,其中,用户界面用于推送任务的申请和审批,并生成待推送表的元数据,系统数据库用于存储待推送表的元数据及变量数据,其中,变量数据是审评通过后,根据待推送表的元数据从数据仓库获取到的业务数据;业务系统,与用户系统通信连接,用于获取待推送表的变量数据,并将待推送表的变量数据存储至业务数据库中。通过本申请,解决了相关技术中数据推送时需要花费大量时间编写复杂的脚本、且直接采用编写后的脚本进行数据推送,存在数据泄露隐患的问题。
Description
技术领域
本申请涉及数据推送技术领域,具体而言,涉及一种数据推送系统。
背景技术
随着使用互联网的人数不断增多,网络服务平台所服务的人员场景也越来越多,用户画像模型更新迭代快,就需要越来越多的数据推送服务。
相关技术中主要采用先由各级人员审批后再由开发人员编写脚本的流程方式进行数据推送,然而在现行的数据推送服务中,由于开发人员不熟悉推送引擎,编写数据推送所需脚本耗费大量时间;同时,建立新脚本就可以推送数据,待推送数据没有内容审核管控,不仅会产生安全隐患,并且可能产生反复推送现象,导致浪费资源甚至阻塞引擎。
针对相关技术中数据推送时需要花费大量时间编写复杂的脚本、且直接采用编写后的脚本进行数据推送,存在数据泄露隐患的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种数据推送系统,以解决相关技术中数据推送时需要花费大量时间编写复杂的脚本、且直接采用编写后的脚本进行数据推送,存在数据泄露隐患的问题。
根据本申请的一个方面,提供了一种数据推送系统。该数据推送系统包括:数据仓库,其中,数据仓库中以数据表的形式存储有多份业务数据;用户系统,与数据仓库通信连接,包括用户界面和系统数据库,其中,用户界面用于接收推送任务的申请信息以及对推送任务的审批信息,并根据申请信息生成待推送表的元数据,系统数据库用于存储待推送表的元数据以及推送任务的日志信息,其中,日志信息是执行推送任务的过程中产生的信息;业务系统,与用户系统通信连接,包括业务数据库,用于在审批信息指示推送任务审评通过的情况下,获取待推送表的变量数据,并将待推送表的变量数据存储至业务数据库中,其中,待推送表的变量数据是根据待推送表的元数据从数据仓库获取到的业务数据。
可选地,系统还包括推送引擎,用于在推送任务审评通过的情况下,从系统数据库获取待推送表的元数据,根据待推送表的元数据从数据仓库获取待推送表的变量数据,并将待推送表的变量数据推送至目标业务数据库中,其中,目标业务数据库由推送引擎的推送地址确定。
根据本申请的另一个方面,提供了一种数据推送方法,应用于上述的数据推送系统中,包括:接收第一对象输入的推送任务的申请信息,并根据申请信息生成待推送表的元数据以及推送地址;接收第二对象对推送任务的审批信息,并在审批信息指示推送任务审评通过的情况下,根据待推送表的元数据向数据仓库发送数据请求,其中,数据请求用于请求待推送表的变量数据;接收从数据仓库返回的待推送表的变量数据,并根据推送地址将待推送表的变量数据发送至业务系统。
可选的,本数据推送方法接收第一对象输入的推送任务的申请信息包括:响应第一对象在用户界面上的第一触发操作,确定变量数据的设置信息,其中,变量数据的设置信息至少包括以下之一:变量数据的描述信息、变量数据所在的数据仓库、变量数据所在的数据表以及变量数据的推送时间;响应第一对象在用户界面上的第二触发操作,确定推送引擎的设置信息,其中,推送引擎的设置信息至少包括以下之一:推送引擎的类型、配置码、推送原因信息,其中,配置码用于指示推送地址;根据变量数据的设置信息以及推送引擎的设置信息确定推送任务的申请信息。
可选的,推送引擎接收从数据仓库返回的待推送表的变量数据,并根据推送地址将待推送表的变量数据发送至业务系统的动作包括:接收推送引擎从数据仓库获取的待推送表的变量数据;通过推送引擎将待推送表的变量数据发送业务系统中的目标业务数据库中,其中,目标业务数据库是通过推送引擎的推送地址确定的。
可选的,推送引擎将变量数据发送至业务系统后,方法还包括:接收第一对象输入的第一查询指令,并根据第一查询指令获取推送任务的日志信息,其中,日志信息用于记录变量数据的推送情况。
可选的,在接收第一对象输入的推送任务的申请信息,并根据申请信息生成待推送表的元数据之后,方法还包括:接收第一对象输入的第二查询指令,并根据第二查询指令获取推送任务的审批情况信息。
根据本申请的另一方面,提供了一种数据推送装置,应用于上述的数据推送系统中,包括:第一接收单元,用于接收第一对象输入的推送任务的申请信息,并根据申请信息生成待推送表的元数据以及推送地址;第二接收单元,用于接收第二对象对推送任务的审批信息,并在审批信息指示推送任务审评通过的情况下,根据待推送表的元数据向数据仓库发送数据请求,其中,数据请求用于请求待推送表的变量数据;第三接收单元,用于接收从数据仓库返回的待推送表的变量数据,并根据推送地址将待推送表的变量数据发送至业务系统。
根据本发明实施例的另一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,程序运行时控制非易失性存储介质所在的设备执行一种数据推送方法。
根据本发明实施例的另一方面,还提供了一种电子装置,包含处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种数据推送方法。
通过本申请,采用一种数据推送系统,包括:数据仓库,其中,数据仓库中以数据表的形式存储有多份业务数据;用户系统,与数据仓库通信连接,包括用户界面和系统数据库,其中,用户界面用于推送任务的申请和审批,并生成待推送表的元数据,系统数据库用于存储待推送表的元数据及变量数据,其中,变量数据是审评通过后,根据待推送表的元数据从数据仓库获取到的业务数据;业务系统,与用户系统通信连接,用于获取待推送表的变量数据,并将待推送表的变量数据存储至业务数据库中。解决了相关技术中数据推送时需要花费大量时间编写复杂的脚本、且直接采用编写后的脚本进行数据推送,存在数据泄露隐患的问题。进而达到了数据推送系统可视化,提高数据推送的准确性和效率,增强数据推送安全性的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的数据推送系统的示意图;
图2是根据本申请实施例提供的推送引擎工作的示意图;
图3是根据本申请实施例提供的数据推送方法的流程图;
图4是根据本申请实施例提供的审批界面示意图;
图5是根据本申请实施例提供的申请界面示意图;
图6是根据本申请实施例提供的申请结果查询界面示意图;
图7是根据本申请实施例提供的推送日志界面示意图;
图8是根据本申请实施例提供的数据推送装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了解决相关技术中数据推送时需要花费大量时间编写复杂的脚本、且直接采用编写后的脚本进行数据推送,存在数据泄露隐患的问题,基于此,本申请希望提供一种能够解决上述技术问题的方案,其详细内容将在后续实施例中得以阐述。
本申请实施例提供了一种数据推送系统。图1是根据实施例的数据推送系统示意图。该数据推送系统包括:
数据仓库,以数据表的形式存储有多份业务数据。
具体的,业务数据以数据表的形式存储在数据仓库中,包括元数据和变量数据两部分,元数据可以包括表名、字段名,用于确定变量数据位置,变量数据即为所需要的具体数据。用户系统可以通过连接数据仓库来获取所有业务数据中的元数据,从而在用户确定待推送数据的元数据后,通过引擎从数据仓库获取变量数据,并将变量数据存储到业务系统的业务数据库中。
用户系统,与数据仓库通信连接,包括用户界面和系统数据库,其中,用户界面用于接收推送任务的申请信息以及对推送任务的审批信息,并根据申请信息生成待推送表的元数据,系统数据库用于存储待推送表的元数据以及推送任务的日志信息,其中,日志信息是执行推送任务的过程中产生的信息。
具体的,用户界面用来接收推送任务的申请、审批并生成待推送表的元数据,推送任务的申请包括申请信息的确定,申请信息的确定包括设置元数据以及设置推送引擎,其中,在设置元数据时可以设置变量所在库、所在表以及推送时间区间等信息;在设置推送引擎时可以设置所用推送引擎的名称、配置码及相关设置信息,设置完成后可生成待推送表的元数据,待推送表中包含多个变量数据,即为需要从数据仓库获取的数据。
推送任务的审批申请包括审批信息的确定,审批信息中包括模糊搜索,审批通过、驳回选择等内容。系统数据库用来存储审批通过的待推送表的元数据以及推送任务的执行过程中产生的日志信息,其中元数据包括表的名字、字段等信息,日志信息可以通过在搜索界面、时间选择界面输入搜索条件获取到,日志信息具体可以包括推送申请状态、推送结果等内容。
业务系统,与用户系统通信连接,包括业务数据库,用于在审批信息指示推送任务审评通过的情况下,获取待推送表的变量数据,并将待推送表的变量数据存储至业务数据库中,其中,待推送表的变量数据是根据待推送表的元数据从数据仓库获取到的业务数据。
具体的,业务系统中的业务数据库可用于接受和存储待推送表的变量数据,在业务系统对登录的用户身份和权限进行校验无误后,加载相应业务的统一资源定位符(URL),将待推送表的变量数据推送至URL指示的存储位置。
其中,业务数据库可以为关系型数据库,例如,可以为mysql、oracle、sqlsever等关系型数据库。
本申请实施例提供的数据推送系统,通过数据仓库,其中,数据仓库中以数据表的形式存储有多份业务数据;用户系统,与数据仓库通信连接,包括用户界面和系统数据库,其中,用户界面用于接收推送任务的申请信息以及对推送任务的审批信息,并根据申请信息生成待推送表的元数据,系统数据库用于存储待推送表的元数据以及推送任务的日志信息,其中,日志信息是执行推送任务的过程中产生的信息;业务系统,与用户系统通信连接,包括业务数据库,用于在审批信息指示推送任务审评通过的情况下,获取待推送表的变量数据,并将待推送表的变量数据存储至业务数据库中,其中,待推送表的变量数据是根据待推送表的元数据从数据仓库获取到的业务数据,解决了相关技术中数据推送时需要花费大量时间编写复杂的脚本、且直接采用编写后的脚本进行数据推送,存在数据泄露隐患的问题。进而达到了数据推送系统可视化,提高数据推送的准确性和效率,增强数据推送安全性的效果。
可选的,在本申请实施例提供的数据推送系统中还包括推送引擎,用于在推送任务审评通过的情况下,从系统数据库获取待推送表的元数据,根据待推送表的元数据从数据仓库获取待推送表的变量数据,并将待推送表的变量数据推送至目标业务数据库中,其中,目标业务数据库由推送引擎的推送地址确定。
具体的,图2是根据本申请实施例提供的推送引擎工作的示意图,如图2所示,推送引擎可在审批通过后从用户系统中获取待推送表的元数据,包括待推送表的表名、字段、注册码,并在审批通过后根据推送表的元数据从数据仓库中直接读取推送表的变量数据,得到数据文件,然后对数据文件进行压缩、分发,从而写入业务系统的业务数据库里面。
例如,用户申请时可选择QMQ、Kafka等推送引擎,引擎设置完成后可获取变量所在库DB1和变量所在表Table1等元数据,在待推送数据审批通过后就可以根据元数据从数据仓库获取变量数据,也即推送任务的待推送数据,并通过引擎设置中的配置码将待推送数据发送至业务数据库中。
本申请实施例还提供了一种数据推送方法。图3是根据实施例的数据推送方法流程图。如图3所示,该数据推送方法包括:
在步骤S301中,接收第一对象输入的推送任务的申请信息,并根据申请信息生成待推送表的元数据以及推送地址。
具体的,第一对象可以为推送任务的申请者,推送任务的申请信息包括元数据的设置信息和推送引擎的设置信息,其中元数据的设置信息可以包括变量所在库、所在表以及推送时间区间等信息;推送引擎的设置信息可以包括所用推送引擎的名称、配置码(表征推送地址)及相关设置信息,得到申请信息后,即可生成待推送表的元数据以及推送地址,从而为获取待推送表的变量数据提供了数据基础。
在步骤S302中,接收第二对象对推送任务的审批信息,并在审批信息指示推送任务审评通过的情况下,根据待推送表的元数据向数据仓库发送数据请求,其中,数据请求用于请求待推送表的变量数据。
具体的,第二对象可以为推送任务的审批者,图4根据本申请实施例提供的审批界面示意图,如图4所示,审批信息中包括:模糊搜索,可以通过搜索框进行模糊查询申请任务对应的申请单,从而快速定位申请单;可以通过点击标识有“全部”的按钮,提供下拉框,其中包含:全部、待审批、已审批、已驳回共四种分类情况,用于分类显示申请单的审批请求;可以在”操作”列中通过选择:通过、驳回、转发三种选项来对申请进行审批,当审批通过时,推送引擎会根据待推送表的元数据向数据仓库请求待推送表的变量数据。
在步骤S303中,接收从数据仓库返回的待推送表的变量数据,并根据推送地址将待推送表的变量数据发送至业务系统。
需要说明的是,推送地址由推送引擎的设置信息中输的配置码确定,推送地址为业务系统中的业务系统中的目标存储地址,接收从数据仓库返回的待推送表的变量数据后,将待推送表的变量数据发送至目标存储地址。
可选的,在本申请实施例提供的数据推送方法的步骤S301中,接收第一对象输入推送任务的申请信息包括:响应第一对象在用户界面上的第一触发操作,确定变量数据的设置信息,其中,变量数据的设置信息至少包括以下之一:变量数据的描述信息、变量数据所在的数据仓库、变量数据所在的数据表以及变量数据的推送时间;响应第一对象在用户界面上的第二触发操作,确定推送引擎的设置信息,其中,推送引擎的设置信息至少包括以下之一:推送引擎的类型、配置码、推送原因信息,其中,配置码用于指示推送地址;根据变量数据的设置信息以及推送引擎的设置信息确定推送任务的申请信息。
具体的,用户界面包括申请界面,图5是根据本申请实施例提供的申请界面示意图,如图5所示,响应第一触发操作确定变量数据的设置信息包括:填写申请推送变量数据的基本信息,在下拉菜单中选择变量数据所在的数据仓库和所在数据表,在日历中选择变量数据推送的起始和结束时间;响应第二触发操作确定的推送引擎设置信息包括:输入推送引擎消费端的域名和ID,用于确认消费端的地址,其中消费端为业务数据库,在下拉菜单中选择推送引擎工具类型,如Dafka.QMQ等,选择推送时是否开启引擎缓存,选择在遇到服务器不稳定或响应速度慢等问题时是否熔断推动,选择推送时遇到错误数据条数的最大值,超过最大值就会熔断推送,最后填写申请该操作的原因和理由,供申请者审批。
可选的,在本申请实施例提供的数据推送方法的步骤S301中,推送引擎接收从数据仓库返回的待推送表的变量数据,并根据推送地址将待推送表的变量数据发送至业务系统的动作包括:接收推送引擎从数据仓库获取的待推送表的变量数据;通过推送引擎将待推送表的变量数据发送业务系统中的目标业务数据库中,其中,目标业务数据库是通过推送引擎的推送地址确定的。
具体的,图2根据本申请实施例提供的推送引擎工作的示意图,如图2所示,推送引擎可在审批通过后从用户系统中获取待推送表的元数据,并在审批通过后根据待推送表的元数据从数据仓库中直接读取待推送表的变量数据,得到数据文件,然后对数据文件进行压缩、分发,写入业务系统的业务数据库中。
可选的,在本申请实施例提供的数据推送方法的步骤S302中,在接收第一对象输入的推送任务的申请信息,并根据申请信息生成待推送表的元数据之后,方法还包括:接收第一对象输入的第二查询指令,并根据第二查询指令获取推送任务的审批情况信息。
具体的,图6是根据本申请实施例提供的申请结果查询界面示意图,如图6所示,审批界面包括:搜索框,为用户提供模糊查询,用于快速定位申请单;“刷新列表”,用于内容刷新;标识有“全部”的按钮,提供下拉框(全部,待审批,已通过,已驳回),用于分类显示申请单;“操作”列显示审批状态;“审批批注”列显示批注说明。
可选的,在本申请实施例提供的数据推送方法的步骤S303中,推送引擎将变量数据发送至业务系统后,方法还包括:接收第一对象输入的第一查询指令,并根据第一查询指令获取推送任务的日志信息,其中,日志信息用于记录变量数据的推送情况。
具体的,用户界面包括日志界面,图7是根据本申请实施例提供的推送日志界面示意图,如图7所示,日志界面包括:搜索框,为用户提供模糊查询,用于快速定位申请单;“刷新列表”,用于内容刷新;标识有“全部”的按钮,提供下拉框(全部,成功,进行中,失败),用于分类显示不同状态的推送日志;筛选日志始末时间;搜索结果展示内容等信息。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据推送装置,需要说明的是,本申请实施例的数据推送装置可以用于执行本申请实施例所提供的用于数据推送方法。以下对本申请实施例提供的数据推送装置进行介绍。
图8是根据本申请实施例的数据推送装置的示意图。如图8所示,该装置包括:第一接收单元10、第二接收单元20和第三接收单元30。
具体地,第一接收单元10,用于接收第一对象输入的推送任务的申请信息,并根据申请信息生成待推送表的元数据以及推送地址。
第二接收单元20,用于接收第二对象对推送任务的审批信息,并在审批信息指示推送任务审评通过的情况下,根据待推送表的元数据向数据仓库发送数据请求,其中,数据请求用于请求待推送表的变量数据。
第三接收单元30,用于接收从数据仓库返回的待推送表的变量数据,并根据推送地址将待推送表的变量数据发送至业务系统。
本申请实施例提供的数据推送装置,通过第一接收单元10接收第一对象输入的推送任务的申请信息,并根据申请信息生成待推送表的元数据以及推送地址;第二接收单元20接收第二对象对推送任务的审批信息,并在审批信息指示推送任务审评通过的情况下,根据待推送表的元数据向数据仓库发送数据请求,其中,数据请求用于请求待推送表的变量数据;第三接收单元30接收从数据仓库返回的待推送表的变量数据,并根据推送地址将待推送表的变量数据发送至业务系统,解决了相关技术中数据推送时需要花费大量时间编写复杂的脚本、且直接采用编写后的脚本进行数据推送,存在数据泄露隐患的问题,进而达到了数据推送系统可视化、提高脚本编写的工作效率,增强数据资产安全的效果。
可选地,在本申请实施例提供的数据推送装置中,第一接收单元10包括第一接收模块,用于接收第一对象输入的推送任务的申请信息,第一接收模块包括:第一响应子模块,用于响应第一对象在用户界面上的第一触发操作,确定变量数据的设置信息,其中,变量数据的设置信息至少包括以下之一:变量数据的描述信息、变量数据所在的数据仓库、变量数据所在的数据表以及变量数据的推送时间;第二响应子模块,用于响应第一对象在用户界面上的第二触发操作,确定推送引擎的设置信息,其中,推送引擎的设置信息至少包括以下之一:推送引擎的类型、配置码、推送原因信息,其中,配置码用于指示推送地址;确定子模块,用于根据变量数据的设置信息以及推送引擎的设置信息确定推送任务的申请信息。
可选地,在本申请实施例提供的数据推送装置中,第三接收单元30包括:第二接收模块,用于接收推送引擎从数据仓库获取的待推送表的变量数据;推送模块,用于通过推送引擎将待推送表的变量数据发送业务系统中的目标业务数据库中,其中,目标业务数据库是通过推送引擎的推送地址确定的。
可选地,在本申请实施例提供的数据推送装置中,该装置还包括:第四接收单元,用于在接收从数据仓库返回的待推送表的变量数据,并根据推送地址将待推送表的变量数据发送至业务系统之后,接收第一对象输入的第一查询指令,并根据第一查询指令获取推送任务的日志信息,其中,日志信息用于记录变量数据的推送情况。
可选地,在本申请实施例提供的数据推送装置中,该装置还包括:第五接收单元,用于在接收第一对象输入的推送任务的申请信息,并根据申请信息生成待推送表的元数据之后,接收第一对象输入的第二查询指令,并根据第二查询指令获取推送任务的审批情况信息。
所述数据推送装置包括处理器和存储器,上述第一接收单元10、第二接收单元20和第三接收单元30等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决相关技术中数据推送时需要花费大量时间编写复杂的脚本、且直接采用编写后的脚本进行数据推送,存在数据泄露隐患的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请实施例还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,程序运行时控制非易失性存储介质所在的设备执行一种数据推送方法。
本申请实施例还提供了一种电子装置,包含处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种数据推送方法。本文中的电子装置可以是服务器、PC、PAD、手机等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据推送系统,其特征在于,包括:
数据仓库,其中,所述数据仓库中以数据表的形式存储有多份业务数据;
用户系统,与所述数据仓库通信连接,包括用户界面和系统数据库,其中,所述用户界面用于接收推送任务的申请信息以及对所述推送任务的审批信息,并根据所述申请信息生成待推送表的元数据,所述系统数据库用于存储所述待推送表的元数据以及所述推送任务的日志信息,其中,所述日志信息是执行所述推送任务的过程中产生的信息;
业务系统,与所述用户系统通信连接,包括业务数据库,用于在所述审批信息指示所述推送任务审评通过的情况下,获取所述待推送表的变量数据,并将所述待推送表的变量数据存储至所述业务数据库中,其中,所述待推送表的变量数据是根据所述待推送表的元数据从所述数据仓库获取到的业务数据。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括:
推送引擎,用于在所述推送任务审评通过的情况下,从所述系统数据库获取所述待推送表的元数据,根据所述待推送表的元数据从所述数据仓库获取所述待推送表的变量数据,并将所述待推送表的变量数据推送至目标业务数据库中,其中,所述目标业务数据库由所述推送引擎的推送地址确定。
3.一种数据推送方法,其特征在于,所述数据推送方法应用于上述权利要求1至2中任意一项所述的数据推送系统中,包括:
接收第一对象输入的推送任务的申请信息,并根据所述申请信息生成待推送表的元数据以及推送地址;
接收第二对象对所述推送任务的审批信息,并在所述审批信息指示所述推送任务审评通过的情况下,根据所述待推送表的元数据向数据仓库发送数据请求,其中,所述数据请求用于请求所述待推送表的变量数据;
接收从所述数据仓库返回的所述待推送表的变量数据,并根据所述推送地址将所述待推送表的变量数据发送至业务系统。
4.根据权利要求3所述的方法,其特征在于,所述接收第一对象输入的推送任务的申请信息包括:
响应所述第一对象在用户界面上的第一触发操作,确定变量数据的设置信息,其中,所述变量数据的设置信息至少包括以下之一:所述变量数据的描述信息、所述变量数据所在的数据仓库、所述变量数据所在的数据表以及所述变量数据的推送时间;
响应所述第一对象在所述用户界面上的第二触发操作,确定推送引擎的设置信息,其中,所述推送引擎的设置信息至少包括以下之一:所述推送引擎的类型、配置码、推送原因信息,其中,所述配置码用于指示所述推送地址;
根据所述变量数据的设置信息以及所述推送引擎的设置信息确定所述推送任务的申请信息。
5.根据权利要求4所述的方法,其特征在于,所述接收从所述数据仓库返回的所述待推送表的变量数据,并根据所述推送地址将所述待推送表的变量数据发送至业务系统包括:
接收所述推送引擎从所述数据仓库获取的所述待推送表的变量数据;
通过所述推送引擎将所述待推送表的变量数据发送所述业务系统中的目标业务数据库中,其中,所述目标业务数据库是通过所述推送引擎的所述推送地址确定的。
6.根据权利要求3所述的方法,其特征在于,在所述接收从所述数据仓库返回的所述待推送表的变量数据,并根据所述推送地址将所述待推送表的变量数据发送至业务系统之后,所述方法还包括:
接收所述第一对象输入的第一查询指令,并根据所述第一查询指令获取所述推送任务的日志信息,其中,所述日志信息用于记录所述变量数据的推送情况。
7.根据权利要求3所述的方法,其特征在于,在所述接收第一对象输入的推送任务的申请信息,并根据所述申请信息生成待推送表的元数据之后,所述方法还包括:
接收所述第一对象输入的第二查询指令,并根据所述第二查询指令获取所述推送任务的审批情况信息。
8.一种数据推送装置,其特征在于,所述数据推送方法应用于上述权利要求1至2中任意一项所述的数据推送系统中,包括:
第一接收单元,用于接收第一对象输入的推送任务的申请信息,并根据所述申请信息生成待推送表的元数据以及推送地址;
第二接收单元,用于接收第二对象对所述推送任务的审批信息,并在所述审批信息指示所述推送任务审评通过的情况下,根据所述待推送表的元数据向数据仓库发送数据请求,其中,所述数据请求用于请求所述待推送表的变量数据;
第三接收单元,用于接收从所述数据仓库返回的所述待推送表的变量数据,并根据所述推送地址将所述待推送表的变量数据发送至业务系统。
9.一种非易失性存储介质,其特征在于,所非易失性存储介质包括存储的程序,其中,所述程序运行时控制所述非易失性存储介质所在的设备执行权利要求3至7中任意一项所述的数据推送方法。
10.一种电子装置,其特征在于,包含处理器和存储器,所述存储器中存储有计算机可读指令,所述处理器用于运行所述计算机可读指令,其中,所述计算机可读指令运行时执行权利要求3至7中任意一项所述的数据推送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110932755.5A CN113641644B (zh) | 2021-08-13 | 2021-08-13 | 数据推送系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110932755.5A CN113641644B (zh) | 2021-08-13 | 2021-08-13 | 数据推送系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113641644A true CN113641644A (zh) | 2021-11-12 |
CN113641644B CN113641644B (zh) | 2023-08-18 |
Family
ID=78421654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110932755.5A Active CN113641644B (zh) | 2021-08-13 | 2021-08-13 | 数据推送系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113641644B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180095952A1 (en) * | 2016-09-15 | 2018-04-05 | Gb Gas Holdings Limited | System for data management in a large scale data repository |
US20180096001A1 (en) * | 2016-09-15 | 2018-04-05 | Gb Gas Holdings Limited | System for importing data into a data repository |
CN110334307A (zh) * | 2019-07-11 | 2019-10-15 | 税友软件集团股份有限公司 | 一种业务事件推送方法、装置及设备 |
CN111192021A (zh) * | 2019-12-31 | 2020-05-22 | 深圳市跨越新科技有限公司 | 一种oa单据审批实现方法及系统 |
US20200264906A1 (en) * | 2019-02-15 | 2020-08-20 | Citrix Systems, Inc. | Stack-based communications systems and methods |
CN111897815A (zh) * | 2020-07-15 | 2020-11-06 | 中国建设银行股份有限公司 | 一种业务处理方法和装置 |
CN112085469A (zh) * | 2020-09-08 | 2020-12-15 | 中国平安财产保险股份有限公司 | 基于向量机模型的数据审批方法、装置、设备及存储介质 |
CN112712314A (zh) * | 2020-12-29 | 2021-04-27 | 江阴华西化工码头有限公司 | 一种基于物联网传感器的物流数据推荐方法 |
-
2021
- 2021-08-13 CN CN202110932755.5A patent/CN113641644B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180095952A1 (en) * | 2016-09-15 | 2018-04-05 | Gb Gas Holdings Limited | System for data management in a large scale data repository |
US20180096001A1 (en) * | 2016-09-15 | 2018-04-05 | Gb Gas Holdings Limited | System for importing data into a data repository |
US20200264906A1 (en) * | 2019-02-15 | 2020-08-20 | Citrix Systems, Inc. | Stack-based communications systems and methods |
CN110334307A (zh) * | 2019-07-11 | 2019-10-15 | 税友软件集团股份有限公司 | 一种业务事件推送方法、装置及设备 |
CN111192021A (zh) * | 2019-12-31 | 2020-05-22 | 深圳市跨越新科技有限公司 | 一种oa单据审批实现方法及系统 |
CN111897815A (zh) * | 2020-07-15 | 2020-11-06 | 中国建设银行股份有限公司 | 一种业务处理方法和装置 |
CN112085469A (zh) * | 2020-09-08 | 2020-12-15 | 中国平安财产保险股份有限公司 | 基于向量机模型的数据审批方法、装置、设备及存储介质 |
CN112712314A (zh) * | 2020-12-29 | 2021-04-27 | 江阴华西化工码头有限公司 | 一种基于物联网传感器的物流数据推荐方法 |
Non-Patent Citations (2)
Title |
---|
赵赛;: "Flowable工作流的高校财务报销系统的研究与实现", 石家庄学院学报, no. 03, pages 71 - 76 * |
马超逸;瞿连政;: "基于SOA架构的战场态势服务原型系统设计与实现", 指挥控制与仿真, no. 05, pages 110 - 114 * |
Also Published As
Publication number | Publication date |
---|---|
CN113641644B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107483221B (zh) | 一种跨应用问题排查方法、装置及系统 | |
CN106557486A (zh) | 一种数据的存储方法和装置 | |
CN111241073B (zh) | 一种数据质量检查方法及装置 | |
JP2017514218A (ja) | サードパーティアプリケーションの実行 | |
CN110673839B (zh) | 分布式工具配置化构建生成方法及系统 | |
US20140282420A1 (en) | Test automation booster | |
CN108134812B (zh) | 数据处理方法和装置 | |
US11294666B1 (en) | Data structures for managing configuration versions of cloud-based applications | |
US11966732B2 (en) | Data structures for managing configuration versions of cloud-based applications | |
CN109977317B (zh) | 数据查询方法及装置 | |
CN114297204A (zh) | 一种异构数据源的数据存储、检索方法及装置 | |
CN113885860A (zh) | 一种自动配置管理页面生成接口服务的方法及设备 | |
CN112631763A (zh) | 一种主机程序的程序变更方法及装置 | |
Winzinger et al. | Data Flow Testing of Serverless Functions. | |
CN116841653A (zh) | 运维作业的执行方法、装置、处理器及电子设备 | |
CN113641644B (zh) | 数据推送系统 | |
CN115496044A (zh) | 一种在线表格数据生成方法、设备及介质 | |
CN114895851A (zh) | 数据处理方法、装置、存储介质以及电子设备 | |
CN112181407B (zh) | 业务实现处理方法及装置、系统、电子设备和存储介质 | |
CN114629807A (zh) | 工单处理方法、装置及设备 | |
CN111158873A (zh) | 系统状态机实现方法、装置、存储介质及处理器 | |
CN114880394B (zh) | 一种sql脚本的共享方法、设备及介质 | |
CN116781789B (zh) | 一种api服务生成方法及装置 | |
CN116610301A (zh) | 前端资产可视化处理方法、装置及存储介质 | |
CN107479899B (zh) | 文件处理方法和装置、存储介质及处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |