CN116204577A - 数据导出方法及装置、计算机设备及计算机可读存储介质 - Google Patents
数据导出方法及装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116204577A CN116204577A CN202310490530.8A CN202310490530A CN116204577A CN 116204577 A CN116204577 A CN 116204577A CN 202310490530 A CN202310490530 A CN 202310490530A CN 116204577 A CN116204577 A CN 116204577A
- Authority
- CN
- China
- Prior art keywords
- export
- data
- model
- parameters
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 5
- 238000004378 air conditioning Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 14
- 238000007726 management method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000013515 script Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种数据导出方法、数据导出装置、计算机设备及非易失性计算机可读存储介质。方法包括根据获取的预设需求信息确定导出信息,导出信息包括目标法人和导出参数;根据导出参数,获取数据导出模型;接入目标法人对应的数据库,并通过数据导出模型对数据库的数据进行处理,以输出与导出参数匹配的导出数据。本申请首先根据预设需求信息确定包括目标法人和导出参数的导出信息,并根据导出参数获取对应的数据导出模型。接着接入目标法人对应的数据库,并通过确定的数据导出模型对数据库中的数据进行处理,得到与导出参数匹配的导出数据,然后便可输出导出数据。如此,便实现了根据预设需求信息,实现自动化导出数据,从而提高数据导出的效率。
Description
技术领域
本申请涉及计算机应用技术领域,更具体而言,涉及一种数据导出方法、数据导出装置、计算机设备及非易失性计算机可读存储介质。
背景技术
后台数据导出是银行托管的日常工作需求之一,需要在银行对应的数据库中执行脚本来完成数据导出。然而现在一般使用人工执行脚本的方法来实现数据导出,当导出任务逐渐增加时,人工执行脚本的方法难以保证数据导出的效率和准确性。
发明内容
鉴于此,本申请实施方式提供了一种数据导出方法、数据导出装置、计算机设备及非易失性计算机可读存储介质,以根据目标法人的预设需求信息,自动确认导出信息和数据导出模型,并连接对应的数据库,对数据库中的数据进行处理,以输出与导出参数匹配的导出数据,从而实现自动化导出数据。
本申请实施方式的数据导出方法包括根据获取的预设需求信息确定导出信息,所述导出信息包括目标法人和导出参数;根据所述导出参数,获取数据导出模型;接入所述目标法人对应的数据库,并通过所述数据导出模型对所述数据库的数据进行处理,以输出与所述导出参数匹配的导出数据。
本申请实施方式的数据导出装置包括确定模块、获取模块及输出模块。所述确定模块用于根据获取的预设需求信息确定导出信息,所述导出信息包括目标法人和导出参数;获取模块用于根据所述导出参数,获取数据导出模型;所述输出模块用于接入所述目标法人对应的数据库,并通过所述数据导出模型对所述数据库的数据进行处理,以输出与所述导出参数匹配的导出数据。
本申请实施方式的计算机设备包括处理器,所述处理器用于根据获取的预设需求信息确定导出信息,所述导出信息包括目标法人和导出参数;根据所述导出参数,获取数据导出模型;接入所述目标法人对应的数据库,并通过所述数据导出模型对所述数据库的数据进行处理,以输出与所述导出参数匹配的导出数据。
本申请实施方式的非易失性计算机可读存储介质包含计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行如下数据导出方法:根据获取的预设需求信息确定导出信息,所述导出信息包括目标法人和导出参数;根据所述导出参数,获取数据导出模型;接入所述目标法人对应的数据库,并通过所述数据导出模型对所述数据库的数据进行处理,以输出与所述导出参数匹配的导出数据。
本申请的数据导出方法、数据导出装置、计算机设备及非易失性计算机可读存储介质,首先根据预设需求信息确定包括目标法人和导出参数的导出信息,并根据导出参数获取对应的数据导出模型,从而达到自动确认导出信息和数据导出模型的效果。接着接入目标法人对应的数据库,并通过确定的数据导出模型对数据库中的数据进行处理,得到与导出参数匹配的导出数据,然后便可输出导出数据。如此,便可实现了根据目标法人的预设需求信息,实现自动化导出数据,从而提高数据导出的效率及准确性。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的数据导出方法的流程示意图;
图2是本申请某些实施方式的数据导出方法的使用场景示意图;
图3是本申请某些实施方式的数据导出方法的流程示意图;
图4是本申请某些实施方式的数据导出方法的流程示意图;
图5是本申请某些实施方式的数据导出方法的使用场景示意图;
图6是本申请某些实施方式的数据导出方法的使用场景示意图;
图7是本申请某些实施方式的数据导出方法的流程示意图;
图8是本申请某些实施方式的数据导出方法的流程示意图;
图9是本申请某些实施方式的数据导出方法的流程示意图;
图10是本申请某些实施方式的数据导出方法的流程示意图;
图11是本申请某些实施方式的数据导出装置的模块示意图;
图12是本申请某些实施方式的计算机设备的平面示意图;及
图13是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式,实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
请参阅图1,本申请实施方式的数据导出方法包括:
步骤01:根据获取的预设需求信息确定导出信息,导出信息包括目标法人和导出参数。
具体地,随着业务的不断发展,法人的数据库的数量不断增加,同时法人可能需要对导出数据库中的某些数据进行业务处理或数据分析,因此法人可根据实际情况提交导出需求,并生成预设需求信息,其中预设需求信息包括客户需要的导出数据以及其他要求,例如对导出时间和导出频率的要求。
那么,在实现数据导出前,需要根据目标法人的预设需求信息,确定包括目标法人和导出参数的导出信息,其中,导出参数一般为业务处理或数据分析所需要使用的数据指标参数。例如,当法人A需要计算某段时间内的日均存款时,从预设需求信息中获取的目标法人即为法人A,导出参数即为日均存款。特别地,请结合图2,为了便于确定导出信息的准确性,可在前端的可视化页面内显示预设需求信息和导出信息。
步骤02:根据导出参数,获取数据导出模型。
具体地,数据导出模型,例如脚本,可包括特定的数据处理规则,数据导出模型可根据数据处理规则对对应的数据进行处理。导出参数的种类为多个,不同的导出参数对应的数据处理规则不同,使得对应的数据导出模型也不同。因此,在确定导出参数后,需要根据导出参数,确定并获取数据导出模型,接着便可根据导出信息和数据导出模型生成对应的导出任务,同时每新增一个导出任务,可生成对应的任务号,以便于导出任务的管理和执行。
例如,请结合图2,还可在前端页面内显示数据导出模型,目标法人需要计算某段时间内的日均存款时,将数据处理规则为将同一账户在该段时间内每天存款的余额的总和除以该段时间的天数的模型确认为数据导出模型,并获取该数据导出模型,然后生成计算日均存款的导出任务。
现有技术中还可通过在后台做参数配置来生成导出任务,但这样会导致生成导出任务的操作过程较繁琐,且不便于导出任务执行出错时查找配置错误的参数。而本申请的导出任务的内容,参数配置和数据导出模型的确认都可在前端的页面中操作并显示,因此相比于现有技术,本申请可通过在前端的页面进行可视化操作,简化了生成导出任务的操作,并便于在导出任务执行出错时查找配置错误的参数。
步骤03:接入目标法人对应的数据库,并通过数据导出模型对数据库的数据进行处理,以输出与导出参数匹配的导出数据。
具体地,导出任务生成后,便可接入目标法人对应的数据库,然后根据导出参数,使数据导出模型对数据库中与导出参数对应的数据进行处理,以输出与导出参数匹配的导出数据。例如,目标法人需要计算某段时间内的日均存款时,首先接入目标法人对应的数据库,然后通过数据导出模型对数据库中的账户在该段时间内每天存款的余额进行计算,得到该段时间内的日均存款,并将该段时间内的日均存款作为导出数据导出,目标法人接着便可根据导出数据进行后续的操作。
而在输出导出数据时,可通过多种方式导出数据,例如将导出数据汇总到导出文件中,并输出该导出文件,导出参数还可包括导出文件的名称,以增加导出文件的标识性,从而便于后续对导出文件的访问和管理,以及便于目标法人的下载。
在实际使用中,导出文件的数量和数据导出模型的数量都可根据实际情况进行设置。例如,一个法人执行一个导出任务时,设置一个数据导出模型处理一个目标法人的数据库中的数据,并生成一个导出文件。再例如,多个法人都需要执行导出任务,且导出任务对应的数据导出模型都不同的情况下,设置多个数据导出模型分别处理多个目标法人的数据库中的数据,并生成多个导出文件。又例如,某个银行旗下可能会有多个子银行,该银行需要获取所有子银行的相同数据类型的数据,并将所有导出数据存储到一个导出文件时,可设置一个数据导出模型处理多个目标法人的数据库中的数据,并生成一个导出文件。或者,某个法人需要执行不同的导出任务,并将所有导出数据存储到一个导出文件,且每个导出任务对应的数据导出模型不同,那么便可设置多个数据导出模型处理一个目标法人的数据库中的数据,并生成一个导出文件。如此,相对于执行完一个导出任务便需要生成一个导出文件的现有技术,本申请可将多个导出任务导出的数据放置在同一个导出文件中,从而便于导出文件的管理和法人的下载和使用。
本申请的数据导出方法首先根据预设需求信息确定包括目标法人和导出参数的导出信息,并根据导出参数获取对应的数据导出模型,从而达到自动确认导出信息和数据导出模型的效果。接着接入目标法人对应的数据库,并通过确定的数据导出模型对数据库中的数据进行处理,得到与导出参数匹配的导出数据,然后便可输出导出数据。如此,便可实现了根据目标法人的预设需求信息,实现自动化导出数据,从而提高数据导出的效率及准确性。
请参阅图3,可选地,数据导出方法还包括:
步骤04:配置多个法人的基础信息、主机信息和数据库信息,多个法人至少包括目标法人;
步骤03:接入目标法人对应的数据库,包括:
步骤031:在多个法人的基础信息中,获取与目标法人匹配的目标基础信息;
步骤032:根据目标基础信息对应的主机信息和数据库信息,接入目标法人对应的数据库。
具体地,为了便于接入目标法人对应的数据库,可提前配置目标法人的基本信息、主机信息和数据库信息,以便于对目标法人的数据管理。
基础信息可包括法人号码标识(Identity document,ID)、发起行(即提交导出需求的法人)ID、法人名称、法人ID。而法人的业务系统可能包括核心应用模块、财务应用模块和报表应用模块,不同的法人托管的应用模块可能不同,使得可导出的数据的类型不同,例如法人A只托管了核心应用模块,那么本申请只能导出核心应用模块对应的数据,法人B托管了核心应用模块和财务应用模块,那么本申请只能导出核心应用模块对应的数据和财务应用模块对应的数据。因此基础信息中还可包括托管的应用模块的类型,即托管类型。法人可通过不同的应用软件与本申请进行交互,配置的信息还可包括应用软件的信息。特别地,为了便于对应用模块对应的信息进行管理,还可配置应用模块信息,其中应用模块信息包括应用模块ID、环境类型、法人ID、法人名称。
主机信息包括主机ID、主机互联网协议(Internet Protoco,IP)地址、主机类型、操作系统类型、主机用户名及密码和环境类型,其中环境类型通过主机的使用场景进行区分,环境类型包括研发环境和生产环境,研发环境对应的数据类型为测试数据,生产环境对应的数据为生产数据。
数据库信息包括数据库IP、数据库类型、密码及数据库中存储的数据对应的应用模块。其中数据库类型包括Oracle数据库和关系型数据库管理系统(例如MySQL或SQLsever)。
然后可分别将基础信息、主机信息、应用模块信息和数据库信息放入不同的表格中,以便于多个法人的信息的展示和管理。法人的信息可能会发生变动,因此表格呈现的是可编辑的状态,可根据法人的基本信息对表格进行增加、删除或者修改等操作。此外,为了便于工作人员了解具体情况,还可在法人的信息中添加一定的备注信息或描述。
那么,在获取预设需求信息后,可确定获取目标法人,并结合配置的法人的基础信息,获取与目标法人匹配的目标基础信息,以确定目标法人对应的主机信息和数据库信息,从而能够准确地接入目标法人的数据库,对目标法人的数据库中对应的数据进行处理,进而提高数据导出的准确性。
进一步地,同一个法人的业务系统中的数据在一个数据库中,不同的应用模块对应的存储位置不同,那么对数据库的数据进行处理时,还需要明确导出参数对应的应用模块信息,以确定数据库中的目标存储区域,从而准确地对应用模块信息对应的数据进行处理。
请参阅图4,可选地,步骤01:根据目标法人的预设需求信息确定导出参数,包括:
步骤011:解析预设需求信息,以获取导出信息;或者
步骤012:接收输入操作,以配置导出信息。
具体地,确定导出信息的方法有多种。请结合图5,在一些实施例中,在确定导出信息时,若预设需求信息有较固定的格式和选项,例如设置一个包含固定格式和选项的需求表,法人通过选择需求表中的选项来提交导出需求,那么可根据需求表对预设需求信息进行解析。例如,若法人A需要汇总对私客户的全部账户余额,其中对私客户即为客户类型为自然人的客户,便在需求表中选择导出数据为对私客户的全部账户余额的选项,在点击确认按钮后,便可解析预设需求信息后,确认目标法人为法人A,导出参数为对私客户的全部账户余额。
在另一些实施例中,需求表中的固定格式可能无法满足所有法人的所有业务需求,那么法人可直接输入导出需求,此时导出需求的输入格式不限定。在接收到目标法人的输入操作后,工作人员可根据目标法人的输入操作生成预设需求信息,然后根据预设需求信息,在前端的配置页面上有针对性地配置导出信息,从而保证确定的导出参数的准确性。
那么,在配置导出信息后,便可确定对应的数据导出模型。例如图6,在工作人员配置导出信息后,点击确认按钮,此时配置页面上会显示对应的数据导出模型,以供工作人员查看,接着便可根据数据导出模型进行数据处理以及数据导出。
进一步地,用户可通过前端的页面输入导出需求,例如图5,工作人员也可在前端的页面中进行导出信息的配置,例如图6,因此,本申请可通过在前端页面上的操作执行导出任务,而无需人工登录数据库执行导出任务和导出数据的上传。
如此,在确定导出信息时,可根据预设需求信息的实际情况来选择确定的方式,以保证本申请能够根据任何格式的预设需求信息来确定导出信息,从而一方面提高确定的导出信息的准确性,另一方面增加本申请的使用场合。
请参阅图7,可选地,步骤02:根据导出参数,获取数据导出模型,可包括:
步骤021:查询预设的模型库;
步骤022:在预设的模型库中存在与导出参数匹配的模型的情况下,确定匹配的模型为数据导出模型;
步骤023:在预设的模型库中不存在与导出参数匹配的模型的情况下,根据导出参数生成数据导出模型。
具体地,可预设一个模型库,预设的模型库可用于存储一些预先设置的模型,或是根据导出参数生成的全新的模型。在确定导出参数后,可根据预设的模型库中的模型进行数据导出模型的确定。在获取数据导出模型时,为了避免预设的模型库中同一个模型生成多次,造成管理混乱,首先需要查询预设的模型库,判断预设的模型库中是否存在与导出参数匹配的模型。
若预设的模型库中存在与导出参数匹配的模型,可确定经过该模型处理数据库中的数据后得到的导出数据与预设需求信息匹配,那么便将匹配的模型确定为数据导出模型。例如在获取对私客户的所有交易金额时,导出参数包括对私客户的所有交易金额,而预设的数据库中存在可汇总所有客户类型为自然人的客户的交易金额的模型,那么便可将该模型确定为数据导出模型。
若预设的模型库中不存在与导出参数匹配的模型,此时便需要根据导出参数生成一个全新的模型,将该模型确认为数据导出模型,并将数据导出模型存储到预设的模型库中,以便于后续有类似的预设需求信息时,可直接从预设的模型库中获取该模型,并利用该模型对数据库中的数据进行处理。其中类似的预设需求信息为导出的功能需求的信息,例如预设需求信息D为导出日期为2.25号的存款余额,预设需求信息E为导出日期为3.31号的存款余额,那么预设需求信息D和预设需求信息E为类似的预设需求信息。目标法人需要导出日期为2.25的存款余额,但此时预设的模型库中并没有匹配的模型,因此可生成可以导出指定日期的存款余额的模型作为数据导出模型,然后再将该数据导出模型存储到预设的数据库中。而根据预设需求信息E生成导出任务时,便可将生成的可以导出指定日期的存款余额的模型作为数据导出模型。
进一步地,为了提高生成的全新的模型的准确性,在生成导出任务后,可增加复核环节,通过工作人员再次检查导出任务以及数据导出模型是否准确,只有复核环节通过后的导出任务才可被执行,数据导出模型才可存储到预设的模型库中。
相对于每次都人工执行数据导出模型来完成数据导出的现有技术,本申请通过设置一个包含多个模型的预设的模型库,使得若预设需求信息对应的导出参数与预设的模型库中的某个模型匹配时,可自动将匹配的模型作为数据导出模型,数据导出模型便会自动处理对应的数据库中的数据,从而使得数据导出的效率较高。若预设的模型库中不存在与导出参数匹配的模型,则根据导出参数生成一个全新的模型,保证每个导出参数能够有匹配的数据导出模型,并丰富预设的模型库的模型的种类,使得本申请可执行多种导出任务。
请参阅图8,可选地,目标法人包括一个或多个,步骤03:接入目标法人对应的数据库,并通过数据导出模型对数据库的数据进行处理,以输出与导出参数匹配的导出数据,还包括:
步骤033:接入一个或多个目标法人对应的数据库,并通过数据导出模型对各个数据库的数据进行处理,以输出与导出参数匹配的各个目标法人的导出数据。
具体地,在一个或多个目标法人的导出参数相同的情况下,例如多个目标法人都需要导出日期为2.25的存款余额,那么便可接入一个或多个目标法人对应的数据库,并通过对应的数据导出模型,同时对各个数据库进行处理,以在各个数据库中输出与导出参数匹配的各个目标法人的导出数据。接着,可根据目标法人的要求,选择导出数据的输出方式。在一个实施例中,可将各个目标法人的导出数据汇总到一个文件中,在另一个实施例中,可将各个目标法人的导出数据分别存储到对应的文件中。如此,当多个目标法人的导出参数相同时,可利用一个数据导出模型同时对各个数据库进行处理,从而提高导出任务的导出效率。
请参阅图9,可选地,数据导出方法还包括:
步骤05:在预设时段内上传导出数据到预设服务器,预设时段为目标法人的业务处理量低于预设处理量的时段。
具体地,所有导出数据可统一输出到一个预设服务器中,同一个法人的导出数据可放置在同一个文件队列中,同一个法人的不同的导出任务对应的导出数据会输出到对应的文件队列的不同的文件中,以便于法人后续在预设服务器上下载对应的导出数据。目标法人需要使用导出数据时可在预设服务器上下载导出数据。
由于业务系统会和数据库连接,并会在处理业务时对数据库进行一定的操作,而业务处理量会有高峰期和低谷期,即在某段时间内业务处理量会较多,某段时间内业务处理量会较少。若在业务处理量为高峰期时执行导出任务,则有可能会对数据库造成影响,例如若在业务处理量为高峰期时执行导出任务,且导出的数据量较大,那么便可能发生数据库锁表的情况,而被锁的表内的数据是无法被访问的,从而导致对数据库的使用和业务处理造成一定的影响。特别地,在锁表情况发生的情况下,主机信息可用于定位被锁的表位于的主机及数据库,从而可提高处理锁表情况的效率。
因此,可设置预设处理量,当某个时段的业务处理量低于预设处理量时,确认在该时段内进行数据导出不会影响业务系统的业务处理,便将该时段确认为预设时段,并在该预设时段内使得数据导出模型处理目标法人的数据库中的数据,以得到导出数据,并将导出数据上传到预设服务器。从而一方面保证每个预设需求信息对应的导出任务都能被执行,另一方面保证业务系统和数据库都能够正常运行。
特别地,并不是所有导出数据都会在预设时段内上传到预设服务器,若目标法人规定导出时间为某个时段,那么便在目标法人规定的时段上传导出数据。若目标法人规定的时段的业务处理量高于预设处理量,则需要进行评估,若此时业务处理量不会过高,则可直接上传导出数据,若此时业务处理量过高,则需要工作人员进行进一步地评估,以确定是否上传导出数据,从而在减少数据库锁表的情况发生的概率的情况下,确保每个法人的业务需求能够及时地得到满足。
此时,还可与接收法人的导出需求的服务台进行联动,获取目标法人的联系方式,并自动发送短信告知目标法人导出任务已执行完毕,可前往对应的预设服务器上下载导出数据,从而及时通知目标法人下载导出数据,提高目标法人的使用体验。
请参阅图10,可选地,导出参数还包括导出时间和频率,数据导出方法还包括:
步骤06:根据导出时间和频率生成导出任务;
步骤07:对一个或多个目标法人的导出任务进行排序,并根据排序执行导出任务;
步骤03:接入目标法人对应的数据库,并通过数据导出模型对数据库的数据进行处理,以输出与导出参数匹配的导出数据,包括:
步骤034:接入导出任务对应的目标法人的数据库,通过数据导出模型对导出任务对应的数据库的数据进行处理,以输出与导出任务对应的导出参数匹配的导出数据。
具体地,某些法人会有固定导出需求,例如每天、每月、每季重复性地获取某些数据。而导出参数包括导出时间和导出频率,可根据设置导出时间和导出频率来定时执行导出任务,例如设置每个月的1号计算上个月的日均存款。首先根据目标法人、包括导出时间和频率的导出参数和对应的数据导出模型生成导出任务,然后根据导出时间和导出任务的生成时间对一个或多个目标法人的导出任务进行排序,例如将导出时间为同一天的导出任务归为同一任务队列,并按照导出任务的生成时间进行排序。接着再根据顺序,确定当前执行的导出任务。然后接入确定的导出任务对应的目标法人的数据库,并通过数据导出模型对导出任务对应的数据库的数据进行处理,得到导出数据,最后再输出导出数据,从而完成导出任务。
现有技术需要人工重复性地执行同一数据导出模型,且不同处理人理解不同会导致本次提取的数据与上次存在误差,例如法人A有部分客户进行了销户,但在预设需求信息中并没有体现需不需要导出销户的客户的数据,那么在导出数据时,处理人B可能并没有导出销户的客户的数据,而处理人C可能会将销户的客户的数据导出,从而导致两次导出的数据存在一定的误差。而本申请可根据一些公共化、频率固定化或有时间要求的导出需求,根据导出需求灵活设置导出任务的导出时间,并提前生成导出任务,然后根据导出时间和生成时间对导出任务进行排序,以保证导出任务能够在规定的时间内自动地按照顺序执行,从而提高导出任务的执行效率。此外,类似的预设需求信息对应的数据导出模型是一致的,并不会出现导出的数据存在误差的情况,从而保证数据导出的准确性。
为便于更好的实施本申请实施方式的数据导出方法,本申请实施方式还提供一种数据导出装置10。请参阅图11和图12,该数据导出装置10可以包括:
确定模块11,用于根据获取的预设需求信息确定导出信息,导出信息包括目标法人和导出参数;
获取模块12,用于根据导出参数,获取数据导出模型;
输出模块13,用于接入目标法人对应的数据库,并通过数据导出模型对数据库的数据进行处理,以输出与导出参数匹配的导出数据。
本申请的数据导出装置10还可以包括:
配置模块14,用于配置多个法人的基础信息、主机信息和数据库信息,多个法人至少包括目标法人。
输出模块13具体用于在多个法人的基础信息中,获取与目标法人匹配的目标基础信息;根据目标基础信息对应的主机信息和数据库信息,接入目标法人对应的数据库。
确定模块11具体用于解析预设需求信息,以获取导出信息;或者,接收输入操作,以配置导出信息。
获取模块12具体用于查询预设的模型库;在预设的模型库中存在与导出参数匹配的模型的情况下,确定匹配的模型为数据导出模型;在预设的模型库中不存在与导出参数匹配的模型的情况下,根据导出参数生成数据导出模型。
输出模块13具体用于接入一个或多个目标法人对应的数据库,并通过数据导出模型对各个数据库的数据进行处理,以输出与导出参数匹配的各个目标法人的导出数据。
本申请的数据导出装置10还可以包括:
上传模块15,用于在预设时段内上传导出数据到预设服务器,预设时段为目标法人的业务处理量低于预设处理量的时段。
生成模块16,用于根据导出时间和频率生成导出任务。
排序模块17,用于对一个或多个目标法人的导出任务进行排序,并根据排序执行导出任务。
输出模块13具体用于接入导出任务对应的目标法人的数据库,通过数据导出模型对导出任务对应的数据库的数据进行处理,以输出与导出任务对应的导出参数匹配的导出数据。
上述数据导出装置10中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各个模块可以以硬件形式内嵌于或独立于计算机设备中的处理器20中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器20调用执行上述各个模块对应的操作。
请参阅图12,本申请实施方式的计算机设备100包括处理器20。处理器20用于执行上述任意一种实施方式的数据导出方法,为了简洁,在此不再赘述。
请参阅图13,本申请实施方式还提供了一种计算机可读存储介质200,其上存储有计算机程序210,计算机程序210被处理器20执行的情况下,实现上述任意一种实施方式的数据导出方法的步骤,为了简洁,在此不再赘述。
可以理解,计算机程序210包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以是计算机可读存储介质如能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、以及软件分发介质等。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施方式所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (10)
1.一种数据导出方法,其特征在于,包括:
根据获取的预设需求信息确定导出信息,所述导出信息包括目标法人和导出参数;
根据所述导出参数,获取数据导出模型;
接入所述目标法人对应的数据库,并通过所述数据导出模型对所述数据库的数据进行处理,以输出与所述导出参数匹配的导出数据。
2.根据权利要求1所述的数据导出方法,其特征在于,还包括:
配置多个法人的基础信息、主机信息和数据库信息,所述多个法人至少包括所述目标法人;
所述接入所述目标法人对应的数据库,包括:
在多个法人的基础信息中,获取与所述目标法人匹配的目标基础信息;
根据所述目标基础信息对应的主机信息和数据库信息,接入所述目标法人对应的数据库。
3.根据权利要求1所述的数据导出方法,其特征在于,所述根据获取的预设需求信息确定导出信息,包括:
解析所述预设需求信息,以获取所述导出信息;
或者,接收输入操作,以配置所述导出信息。
4.根据权利要求1所述的数据导出方法,其特征在于,所述根据所述导出参数,获取数据导出模型,包括:
查询预设的模型库;
在预设的模型库中存在与所述导出参数匹配的模型的情况下,确定匹配的所述模型为所述数据导出模型;
在预设的模型库中不存在与所述导出参数匹配的模型的情况下,根据所述导出参数生成所述数据导出模型。
5.根据权利要求1所述的数据导出方法,其特征在于,所述目标法人包括一个或多个,所述接入所述目标法人对应的数据库,并通过所述数据导出模型对所述数据库的数据进行处理,以输出与所述导出参数匹配的导出数据,包括:
接入一个或多个所述目标法人对应的数据库,并通过所述数据导出模型对各个所述数据库的数据进行处理,以输出与所述导出参数匹配的各个所述目标法人的所述导出数据。
6.根据权利要求1所述的数据导出方法,其特征在于,所述方法还包括:
在预设时段内上传所述导出数据到预设服务器,所述预设时段为所述目标法人的业务处理量低于预设处理量的时段。
7.根据权利要求1所述的数据导出方法,其特征在于,所述导出参数还包括导出时间和频率,所述方法还包括:
根据所述导出时间和频率生成导出任务;
对一个或多个所述目标法人的所述导出任务进行排序,并根据所述排序执行所述导出任务;
所述接入所述目标法人对应的数据库,并通过所述数据导出模型对所述数据库的数据进行处理,以输出与所述导出参数匹配的导出数据,包括:
接入所述导出任务对应的所述目标法人的数据库,通过所述数据导出模型对导出任务对应的所述数据库的数据进行处理,以输出与所述导出任务对应的所述导出参数匹配的导出数据。
8.一种数据导出装置,其特征在于,包括:
确定模块,用于根据获取的预设需求信息确定导出信息,所述导出信息包括目标法人和导出参数;
获取模块,用于根据所述导出参数,获取数据导出模型;及
输出模块,用于接入所述目标法人对应的数据库,并通过所述数据导出模型对所述数据库的数据进行处理,以输出与所述导出参数匹配的导出数据。
9.一种计算机设备,其特征在于,包括处理器,所述处理器用于权利要求1-7任一项所述的数据导出方法。
10.一种包括计算机程序的非易失性计算机可读存储介质,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1-7任意一项所述的数据导出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310490530.8A CN116204577A (zh) | 2023-05-04 | 2023-05-04 | 数据导出方法及装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310490530.8A CN116204577A (zh) | 2023-05-04 | 2023-05-04 | 数据导出方法及装置、计算机设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116204577A true CN116204577A (zh) | 2023-06-02 |
Family
ID=86511498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310490530.8A Pending CN116204577A (zh) | 2023-05-04 | 2023-05-04 | 数据导出方法及装置、计算机设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116204577A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108664628A (zh) * | 2018-05-14 | 2018-10-16 | 平安科技(深圳)有限公司 | 一种数据的导出方法及设备 |
CN111861140A (zh) * | 2020-06-28 | 2020-10-30 | 微民保险代理有限公司 | 一种业务处理方法、装置、存储介质和电子装置 |
CN112506588A (zh) * | 2020-12-07 | 2021-03-16 | 中国平安人寿保险股份有限公司 | 保险业务的数据处理方法、装置、电子设备及存储介质 |
CN113297153A (zh) * | 2021-06-18 | 2021-08-24 | 中国农业银行股份有限公司 | 数据导出方法、装置、设备及存储介质 |
CN113660307A (zh) * | 2021-07-19 | 2021-11-16 | 中国电子科技集团公司第十五研究所 | 一种算法综合集成服务系统 |
CN113901098A (zh) * | 2021-12-13 | 2022-01-07 | 北京快成科技有限公司 | 一种基于模板的数据导出方法、装置、介质和设备 |
CN114925135A (zh) * | 2022-04-24 | 2022-08-19 | 重庆紫光华山智安科技有限公司 | 数据导出方法、装置、系统、电子设备及存储介质 |
CN115185679A (zh) * | 2022-06-28 | 2022-10-14 | 中汽创智科技有限公司 | 人工智能算法的任务处理方法、装置、服务器及存储介质 |
-
2023
- 2023-05-04 CN CN202310490530.8A patent/CN116204577A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108664628A (zh) * | 2018-05-14 | 2018-10-16 | 平安科技(深圳)有限公司 | 一种数据的导出方法及设备 |
CN111861140A (zh) * | 2020-06-28 | 2020-10-30 | 微民保险代理有限公司 | 一种业务处理方法、装置、存储介质和电子装置 |
CN112506588A (zh) * | 2020-12-07 | 2021-03-16 | 中国平安人寿保险股份有限公司 | 保险业务的数据处理方法、装置、电子设备及存储介质 |
CN113297153A (zh) * | 2021-06-18 | 2021-08-24 | 中国农业银行股份有限公司 | 数据导出方法、装置、设备及存储介质 |
CN113660307A (zh) * | 2021-07-19 | 2021-11-16 | 中国电子科技集团公司第十五研究所 | 一种算法综合集成服务系统 |
CN113901098A (zh) * | 2021-12-13 | 2022-01-07 | 北京快成科技有限公司 | 一种基于模板的数据导出方法、装置、介质和设备 |
CN114925135A (zh) * | 2022-04-24 | 2022-08-19 | 重庆紫光华山智安科技有限公司 | 数据导出方法、装置、系统、电子设备及存储介质 |
CN115185679A (zh) * | 2022-06-28 | 2022-10-14 | 中汽创智科技有限公司 | 人工智能算法的任务处理方法、装置、服务器及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8813178B1 (en) | Systems and methods for preparing and submitting documents to comply with securities regulations | |
JP2005515522A (ja) | データウェアハウスのデータの保全性を検証し、ウェハハウジングされたデータを複数の事前定義の分析モデルに適用する方法およびシステム。 | |
CN110377524B (zh) | 报表系统的测试方法、装置、系统及介质 | |
US10686780B2 (en) | Secure, cloud-based data collection tool | |
CN111061733B (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
EP3062243A1 (en) | Legal discovery tool | |
CN115964272A (zh) | 交易数据自动化测试方法、装置、设备及可读存储介质 | |
CN109189849B (zh) | 一种标准化、流程化的数据录入方法和系统 | |
US10609120B2 (en) | Customized, cloud-based data collection tool | |
CN111984882A (zh) | 数据处理方法、系统及设备 | |
CN113138906A (zh) | 一种调用链数据采集方法、装置、设备及存储介质 | |
CN113868219A (zh) | 账套数据的迁移方法、装置、电子设备及计算机存储介质 | |
CN109542890B (zh) | 数据修改方法、装置、计算机设备及存储介质 | |
CN116228402A (zh) | 一种金融征信特征仓库技术支持系统 | |
CN116204577A (zh) | 数据导出方法及装置、计算机设备及计算机可读存储介质 | |
US10191907B2 (en) | Legal discovery tool implemented in a mobile device | |
CN112905558A (zh) | 一种基于数据库配置的报表系统实现方法及系统 | |
US9070136B2 (en) | Cloud-based skip tracing application | |
CN112862264A (zh) | 企业经营状况分析方法、计算机设备及计算机存储介质 | |
CN115587087B (zh) | 一种基于数据抽取和系统建模的高效数据共享平台 | |
US9892418B1 (en) | Methods systems and computer program products for analyzing utilization of tax preparation application website | |
CN115858377B (zh) | 基于客群管理的数据测试系统和方法 | |
US20220075783A1 (en) | Dynamically detecting and correcting errors in queries | |
US10755324B2 (en) | Selecting peer deals for information technology (IT) service deals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230602 |