CN108959307A - 可扩展数据上报方法、系统、及存储介质 - Google Patents
可扩展数据上报方法、系统、及存储介质 Download PDFInfo
- Publication number
- CN108959307A CN108959307A CN201710365841.6A CN201710365841A CN108959307A CN 108959307 A CN108959307 A CN 108959307A CN 201710365841 A CN201710365841 A CN 201710365841A CN 108959307 A CN108959307 A CN 108959307A
- Authority
- CN
- China
- Prior art keywords
- data
- reported
- expansible
- allocation list
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种可扩展数据上报方法,该方法包括:根据数据平台的类型建立配置表,并根据所述配置表对应的配置信息,对所述配置表进行与数据平台的兼容性和匹配性校验;根据待上报数据的来源对待上报数据进行差异化配置;对配置后的待上报数据进行预处理,并对预处理后的待上报数据进行筛选;利用预设的还原函数对筛选后的待上报数据进行适配,并将适配后的待上报数据上传至所述数据平台。本发明还公开了一种可扩展数据上报系统,以及一种存储介质。本发明解决了现有技术中同一数据上报系统难以兼容多个监管机构,导致在数据上报系统的开发与维护过程中,不但需耗费大量的人力物力,还会造成重复劳动,工作效率较低的技术问题。
Description
技术领域
本发明涉及数据库技术领域,尤其涉及一种可扩展数据上报方法、系统、及存储介质。
背景技术
按照我国监管部门(如银监会、国家外汇管理局、人民银行等)对金融机构监管的相关要求,金融机构的各种业务数据需要向各个监管机构进行主动申报。
随着金融机构业务开展逐渐广泛,为满足相关监管要求,需要由统一的数据上报系统对口各监管机构进行自动化申报。同时,自动化申报对时间点要求严格,需要在有限的时间内完成业务分析、相关业务系统数据筛选、报送接口配套等工作。
由于不同的监管机构之间往往存在差异,因此企业需要上报的客户数据内容也会不同,传统的数据上报方式都是企业根据监管机构量身定制,即各个监管机构都有其对应的专用数据上报系统,数据上报系统与监管机构为一一对应的关系,同一数据上报系统难以兼容多个监管机构,因此,对于企业而言,在数据上报系统的开发与维护过程中,不但会耗费大量的人力物力,还会造成重复劳动,工作效率较低。
发明内容
本发明的主要目的在于提出一种可扩展数据上报方法、系统、及存储介质,旨在解决现有技术中同一数据上报系统难以兼容多个监管机构,,导致在数据上报系统的开发与维护过程中,不但需耗费大量的人力物力,还会造成重复劳动,工作效率较低的技术问题。
为实现上述目的,本发明提供一种可扩展数据上报方法,所述可扩展数据上报方法包括:
根据数据平台的类型建立配置表,并根据所述配置表对应的配置信息,对所述配置表进行与数据平台的兼容性和匹配性校验;
根据待上报数据的来源对待上报数据进行差异化配置;
对配置后的待上报数据进行预处理,并对预处理后的待上报数据进行筛选;
利用预设的还原函数对筛选后的待上报数据进行适配,并将适配后的待上报数据上传至所述数据平台。
优选地,对所述配置表进行与数据平台的兼容性和匹配性校验的步骤包括:
对所述配置表中预设的字段进行与数据平台的兼容性和匹配性校验,所述预设的字段包括业务字段名、业务字段类型、单证字段名、单证字段类型中的一项或多项。
优选地,所述待上报数据的来源包括柜面上报数据和非柜面上报数据,所述根据待上报数据的来源对待上报数据进行差异化配置的步骤包括:
若所述待上报数据为柜面上报数据,则对所述待上报数据进行实时配置处理;
若所述待上报数据为非柜面上报数据,则对所述待上报数据进行异步配置处理。
优选地,对所述待上报数据进行实时配置处理的步骤包括:
根据所述待上报数据对应的发票信息,通过所述配置表中的业务序列号桥接所述业务字段名与单证字段名之间的映射关系,对所述待上报数据进行类型转换。
优选地,对所述待上报数据进行异步配置处理的步骤包括:
将所述待上报数据缓存至预设的临时表中;
通过所述配置表中的业务序列号桥接所述业务字段名与单证字段名之间的映射关系,对所述临时表中缓存的待上报数据进行类型转换。
优选地,所述对预处理后的待上报数据进行筛选的步骤包括:
根据所述配置表中的业务字段名和业务序列号之间的映射关系,对预处理后的待上报数据进行筛选。
优选地,所述对预处理后的待上报数据进行筛选的步骤之后还包括:
将筛选后的待上报数据反馈至预设的中间临时数组。
优选地,所述利用预设的还原函数对筛选后的待上报数据进行适配,并将适配后的待上报数据上传至所述数据平台的步骤包括:
根据所述业务序列号与单证字段名之间的映射关系,对所述中间临时数组进行适配,并将适配后的中间临时数组写入到预设的上传数据数组;
根据所述单证字段名,将所述上传数据数组上传至所述数据平台。
此外,为实现上述目的,本发明还提供一种可扩展数据上报系统,所述可扩展数据上报系统包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的可扩展数据上报程序,所述可扩展数据上报程序被所述处理器执行时实现如上述可扩展数据上报方法所对应的各个步骤。
此外,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有可扩展数据上报程序,所述可扩展数据上报程序被处理器执行时实现如上述可扩展数据上报方法所对应的各个步骤。
本发明所提供的可扩展数据上报方法、系统、及存储介质,可以实现:先根据数据平台的类型建立配置表,并对该配置表进行兼容性和匹配性校验,其次,根据待上报数据的来源对待上报数据进行差异化配置,然后对配置后的待上报数据进行预处理及筛选,最后将筛选后的待上报数据进行适配后上传至上述数据平台。即本发明中,通过对待上报数据进行差异化配置、预处理、筛选、适配等一系列处理,实现了根据数据平台的类型来快速进行数据上报的目的,从而使多个监管机构可以共用一个数据上报系统,对于企业而言,只需开发与维护一个数据上报系统,即可完成向多个监管机构上报数据的工作任务,因此可有效降低所耗费的人力物力,提升工作效率,解决了现有技术中同一数据上报系统难以兼容多个监管机构,,导致在数据上报系统的开发与维护过程中,不但需耗费大量的人力物力,还会造成重复劳动,工作效率较低的技术问题。
附图说明
图1为本发明可扩展数据上报方法第一实施例的流程示意图;
图2为本发明图1所示步骤S40的细化步骤流程示意图;
图3为本发明可扩展数据上报系统涉及的软件运行环境的系统结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明,并且在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
本发明以下实施例提供一种可扩展数据上报方法,该方法中,先根据数据平台的类型建立配置表,并对该配置表进行兼容性和匹配性校验,其次,根据待上报数据的来源对待上报数据进行差异化配置,然后对配置后的待上报数据进行预处理及筛选,最后将筛选后的待上报数据进行适配后上传至上述数据平台。即本发明中,通过对待上报数据进行差异化配置、预处理、筛选、适配等一系列处理,从而使多个监管机构可以共用一个数据上报系统,对于企业而言,只需开发与维护一个数据上报系统,即可完成向多个监管机构上报数据的工作任务,因此可有效降低所耗费的人力物力,提升工作效率。
参照图1,图1为本发明可扩展数据上报方法第一实施例的流程示意图,本实施例中,所述可扩展数据上报方法包括:
步骤S10,根据数据平台的类型建立配置表,并根据所述配置表对应的配置信息,对所述配置表进行与数据平台的兼容性和匹配性校验。
本实施例中,不同的数据平台,其需要报送的上报数据也会有差异,故需要根据数据平台的类型建立配置表rbs_invoice_report_config,其中,该数据平台为监管机构对应的数据接收平台。
为了更好的理解本发明,本实施例提供一种配置表进行举例说明,例如,配置表rbs_invoice_report_config的表数据结构可设置为如下:
其次,建立配置表之后,根据配置表对应的配置信息,对该配置表进行与数据平台的兼容性和匹配性校验。
其中,对所述配置表进行与数据平台的兼容性和匹配性校验包括对所述配置表中各个字段的格式以及类型进行兼容性和匹配性校验。例如,若配置表配置表中的某个字段的类型为日期,且该字段的格式为“yyyy/mm/dd”,则通过兼容性和匹配性校验之后,该字段内存储的数据都会以“yyyy/mm/dd”格式进行存储,如“2017/01/01”表示2017年01月01日;同理,若该表示日期的字段的格式为“mm/dd/yyyy”,则该字段内存储的数据都会以“mm/dd/yyyy”格式进行存储,如“12/31/2016”表示2016年12月31日。另外,若配置表配置表中的某个字段的类型为金额,且该字段的格式为“0.00”,则通过兼容性和匹配性校验之后,该字段内存储的数据都会以“0.00”格式进行存储,如金额大小为200元的数据则存储为“200.00”。
其中,数据库的标准主要包括SQL(Structured Query Language,结构化查询语言)、ODBC(Open Database Connectivity,开放数据库连接)、JDBC(Java Data BaseConnectivity,java数据库连接)等。由于各个数据库系统对数据库标准的支持程度不同,导致基于某一种数据库开发的应用系统在其他数据库上未必能够正常运行,例如如果数据库系统从SOL迁移到Oracle,则需要进行兼容性校验。其中,数据库兼容性校验一般需要解决的技术问题为:
(1)检查原数据库中的所有表能否全部移入新的数据库,并比较所有表中的数据是否正确;
(2)检查原数据库中的所有存储过程和触发器是否能够在新数据库中正确执行并加载;
(3)检查数据库中数据查询速度,判断是否存在较大影响。
其中,匹配性校验为了防止不符合规范的数据进入数据库,在用户对数据进行插入、修改、删除等操作时,DBMS(Database Management System,数据库管理系统)会自动按照一定的约束条件对数据进行监测,使不符合规范的数据不能进入数据库,以确保数据库中存储的数据正确、有效、相容。
进一步地,上述图1所示步骤S10中所述的对所述配置表进行与数据平台的兼容性和匹配性校验的步骤包括:
对所述配置表中预设的字段进行与数据平台的兼容性和匹配性校验,所述预设的字段包括业务字段名、业务字段类型、单证字段名、单证字段类型中的一项或多项。
具体的,对上述配置表rbs_invoice_report_config中的busi_column_name(业务字段名)、busi_column_type(业务字段类型)、vms_column_name(单证字段名)、vms_column_type(单证字段类型)中的一项或多项做兼容性和匹配性校验,然后返回自定义table类型字符索引数组string_array_by_charIndex,用于后续对待上报数据进行适配。
步骤S20,根据待上报数据的来源对待上报数据进行差异化配置。
本实施例中,待上报数据的来源主要包括两种:柜面上报数据和非柜面上报数据,其中,柜面上报数据是指通过柜台录入的数据,非柜面上报数据是指在除柜台之外的其他录入设备录入的数据,例如,由客户自行在官网网页、客户端录入的数据。
其中,对于不同来源的待上报数据,对其进行的配置也不同,对于柜面上报数据,可以直接根据发票打印信息来进行配置;对于非柜面上报数据,则需要先将待上报数据缓存到临时表中,然后对该临时表中的待上报数据进行配置。
步骤S30,对配置后的待上报数据进行预处理,并对预处理后的待上报数据进行筛选。
本实施例中,可以通过重载对配置后的不同来源的待上报数据进行预处理,其中,可以利用sys.anydata的convert转换函数实现将待上报数据中的字符、数值、日期、表记录类型等,返回至上述自定义的table类型字符索引数组anydata_array_by_charIndex。
其中,重载是指函数或者方法有相同的名称,但是参数列表不相同的情形,这样的同名但不同参数的函数或者方法之间,互相称之为重载函数或者方法。可以理解的是,上述待上报数据的来源包括柜面上报数据和非柜面上报数据两种,虽然这两种来源的待上报数据所采用的函数为同一个函数,但是来源不同,对应的数据参数也会不同,因次,需要通过重载的方式来完成对上述待上报数据的预处理。
其中,sys.anydata是Oracle数据库系统提供的一种新的数据类型,开发人员借助此类型可以声明包括任何类型数据的变量。convert转换函数是将数字从一个度量系统转换到另一个度量系统中的函数,例如,convert转换函数可以把日期转换为新数据类型的通用函数,并且可以用不同的格式显示日期/时间数据,常用语法为:CONVERT(number,from_unit,to_unit),其中,Number是以from_units为单位的需要进行转换的数值,From_unit是数值number的单位,To_unit是转换结果的单位。
其中,对预处理后的待上报数据进行筛选是指从预处理后的待上报数据中筛选出需要上报数据平台的数据,如预处理后的待上报数据中存在10列不同类型的数据,而数据平台中只需要录入其中的8列数据,故需要在预处理后的待上报数据筛选出需要上报数据平台的8列数据。
步骤S40,利用预设的还原函数对筛选后的待上报数据进行适配,并将适配后的待上报数据上传至所述数据平台。
本实施例中,可以利用sys.anydata的access还原函数使用动态SQL(StructuredQuery Language,结构化查询语言)形式对筛选后的待上报数据逐一进行适配,然后将适配后的待上报数据上传至上述数据平台。
其中,access函数为应用在Access数据库模块中的函数。对筛选后的待上报数据进行适配包括:根据筛选后的待上报数据的类型,将筛选后的待上报数据的“对号入座”到相应的上传数据数组中,该上传数据数组的数据存放方式与上述数据平台一致。
本实施例所述的可扩展数据上报方法,先根据数据平台的类型建立配置表,并对该配置表进行兼容性和匹配性校验,其次,根据待上报数据的来源对待上报数据进行差异化配置,然后对配置后的待上报数据进行预处理及筛选,最后将筛选后的待上报数据进行适配后上传至上述数据平台。即本发明中,通过对待上报数据进行差异化配置、预处理、筛选、适配等一系列处理,实现了根据数据平台的类型来快速进行数据上报的目的,从而使多个监管机构可以共用一个数据上报系统,对于企业而言,只需开发与维护一个数据上报系统,即可完成向多个监管机构上报数据的工作任务,因此可有效降低所耗费的人力物力,提升工作效率,解决了现有技术中同一数据上报系统难以兼容多个监管机构,,导致在数据上报系统的开发与维护过程中,不但需耗费大量的人力物力,还会造成重复劳动,工作效率较低的技术问题。
进一步地,基于上述第一实施例,本发明可扩展数据上报方法第二实施例中,上述待上报数据的来源包括柜面上报数据和非柜面上报数据,上述图1所示步骤S20中所述的根据待上报数据的来源对待上报数据进行差异化配置的步骤包括:
若所述待上报数据为柜面上报数据,则对所述待上报数据进行实时配置处理;
若上述待上报数据为非柜面上报数据,则对所述待上报数据进行异步配置处理。
进一步地,对上述待上报数据进行实时配置处理的步骤包括:
根据所述待上报数据对应的发票信息,通过所述配置表中的业务序列号桥接所述业务字段名与单证字段名之间的映射关系,对所述待上报数据进行类型转换。
具体的,根据发票打印信息,通过busi_column_serial(业务序列号)桥接busi_column_name(业务字段名)与vms_column_name(单证字段名)之间的映射关系,来实现对上述待上报数据的类型转换。
其中,业务序列号桥接业务字段名与单证字段名之间的映射关系,即由业务序列号可以直接映射待业务字段名或者单证字段名。
进一步地,对上述待上报数据进行异步配置处理的步骤包括:
将所述待上报数据缓存至预设的临时表中;
通过所述配置表中的业务序列号桥接所述业务字段名与单证字段名之间的映射关系,对所述临时表中缓存的待上报数据进行类型转换。
具体的,先将上述待上报数据缓存至预设的临时表中,通过配置实现动态映射关系。实现,通过busi_column_desc(业务字段中文描述)字段关联对应busi_column_name(业务字段名)来确保待上报数据对应各列数据能够写入到临时表对应的列,其次,对临时表中的待上报数据进行逐单处理,通过busi_column_serial(业务序列号)桥接busi_column_name(业务字段名)与vms_column_name(单证字段名)之间的映射关系,来实现对上述待上报数据的类型转换。
本实施例所述的可扩展数据上报方法,对来源于柜面的待上报数据进行实时配置,对来源于非柜面的待上报数据进行异步配置,即可实现对不同来源的待上报数据进行差异化配置的目的,从而能够统一不同来源的待上报数据对应的格式以及类型,可一次性将不同来源的待上报数据上报至数据平台。
进一步地,基于上述第一实施例与第二实施例,本发明可扩展数据上报方法第三实施例中,上述图1所示步骤S30中所述的对预处理后的待上报数据进行筛选的步骤包括:
根据所述配置表中的业务字段名和业务序列号之间的映射关系,对预处理后的待上报数据进行筛选。
进一步地,上述图1所示步骤S30中所述的对预处理后的待上报数据进行筛选的步骤之后还包括:
将筛选后的待上报数据反馈至预设的中间临时数组。
其中,通过信息配置表中的业务字段名和业务序列号之间的映射关系,对预处理后的待上报数据进行筛选,具体的,对预处理后的字符索引数组筛选为自定义table类型的字符索引数组格式的中间临时数组。
其中,从预处理后的待上报数据中筛选出需要上报数据平台的数据,如预处理后的待上报数据中存在10列不同类型的数据,而数据平台中只需要录入其中的8列数据,故需要在字符索引数组中筛选出需要上报数据平台的8列数据,作为中间临时数组。
本实施例所述的可扩展数据上报方法,在对配置后的待上报数据进行预处理之后,需要根据数据平台的类型对预处理后的待上报数据进行筛选,筛选出需要上报数据平台的相关数据,并缓存在预设的中间临时数组,从而能够实现根据数据平台的类型,一次性快速进行数据上报的目的,节省人力物力。
进一步地,参照图2,图2为本发明图1所示步骤S40的细化步骤流程示意图,基于上述第一、第二、第三实施例,本发明可扩展数据上报方法第四实施例中,上述图1所示步骤S40中所述的利用预设的还原函数对筛选后的待上报数据进行适配,并将适配后的待上报数据上传至所述数据平台的步骤包括:
步骤S41,根据所述业务序列号与单证字段名之间的映射关系,对所述中间临时数组进行适配,并将适配后的中间临时数组写入到预设的上传数据数组;
步骤S42,根据所述单证字段名,将所述上传数据数组上传至所述数据平台。
其中,可以利用sys.anydata的access还原函数使用动态SQL形式对中间临时数组逐一进行适配,然后根据业务序列号与单证字段名之间的映射关系,将适配后的中间临时数组写入上传数据数组,最后根据单证字段名将该上传数据数组对号入座上报至上述数据平台。
本实施例所述的可扩展数据上报方法,在对预处理后的待上报数据进行筛选后,对筛选后的待上报数据进行适配,适配后的待上报数据即可一次性上传至数据平台。
本发明还提供一种可扩展数据上报系统,该可扩展数据上报系统包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的可扩展数据上报程序;该系统能够实现:先根据数据平台的类型建立配置表,并对该配置表进行兼容性和匹配性校验,其次,根据待上报数据的来源对待上报数据进行差异化配置,然后对配置后的待上报数据进行预处理及筛选,最后将筛选后的待上报数据进行适配后上传至上述数据平台,即本系统通过对待上报数据进行差异化配置、预处理、筛选、适配等一系列处理,实现了根据数据平台的类型来快速进行数据上报的目的,从而使多个监管机构可以共用一个数据上报系统,对于企业而言,只需开发与维护一个数据上报系统,即可完成向多个监管机构上报数据的工作任务,因此可有效降低所耗费的人力物力,提升工作效率。
具体的,上述可扩展数据上报程序被所述处理器执行时实现下步骤:
根据数据平台的类型建立配置表,并根据所述配置表对应的配置信息,对所述配置表进行与数据平台的兼容性和匹配性校验;
根据待上报数据的来源对待上报数据进行差异化配置;
对配置后的待上报数据进行预处理,并对预处理后的待上报数据进行筛选;
利用预设的还原函数对筛选后的待上报数据进行适配,并将适配后的待上报数据上传至所述数据平台。
为了更好的理解本发明,参照图3,图3为本发明可扩展数据上报系统涉及的软件运行环境的系统结构示意图,本实施例中,上述可扩展数据上报系统可包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口;网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口);存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器;存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图3中示出的系统结构并不构成对上述系统的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图3所示,作为一种计算机存储介质的存储器1005中,可以包括操作系统、网络通信模块、用户接口模块以及可扩展数据上报程序。
如图3所示,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的可扩展数据上报程序,并执行相应的操作。
其中,该可扩展数据上报系统对应的实施例与上述可扩展数据上报方法对应的各个实施例基本相同,故在此不再赘述。
本发明还提供一种存储介质,该存储介质上存储有可扩展数据上报程序,该存储介质能够实现:先根据数据平台的类型建立配置表,并对该配置表进行兼容性和匹配性校验,其次,根据待上报数据的来源对待上报数据进行差异化配置,然后对配置后的待上报数据进行预处理及筛选,最后将筛选后的待上报数据进行适配后上传至上述数据平台,即该存储介质能够通过对待上报数据进行差异化配置、预处理、筛选、适配等一系列处理,实现根据数据平台的类型来快速进行数据上报的目的,从而使多个监管机构可以共用一个数据上报系统,对于企业而言,只需开发与维护一个数据上报系统,即可完成向多个监管机构上报数据的工作任务,因此可有效降低所耗费的人力物力,提升工作效率。
具体的,上述可扩展数据上报程序被处理器执行时实现如下步骤:
根据数据平台的类型建立配置表,并根据所述配置表对应的配置信息,对所述配置表进行与数据平台的兼容性和匹配性校验;
根据待上报数据的来源对待上报数据进行差异化配置;
对配置后的待上报数据进行预处理,并对预处理后的待上报数据进行筛选;
利用预设的还原函数对筛选后的待上报数据进行适配,并将适配后的待上报数据上传至所述数据平台。
其中,该存储介质对应的实施例与上述可扩展数据上报方法对应的各个实施例基本相同,故在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种可扩展数据上报方法,其特征在于,所述可扩展数据上报方法包括:
根据数据平台的类型建立配置表,并根据所述配置表对应的配置信息,对所述配置表进行与数据平台的兼容性和匹配性校验;
根据待上报数据的来源对待上报数据进行差异化配置;
对配置后的待上报数据进行预处理,并对预处理后的待上报数据进行筛选;
利用预设的还原函数对筛选后的待上报数据进行适配,并将适配后的待上报数据上传至所述数据平台。
2.如权利要求1所述的可扩展数据上报方法,其特征在于,对所述配置表进行与数据平台的兼容性和匹配性校验的步骤包括:
对所述配置表中预设的字段进行与数据平台的兼容性和匹配性校验,所述预设的字段包括业务字段名、业务字段类型、单证字段名、单证字段类型中的一项或多项。
3.如权利要求1或2所述的可扩展数据上报方法,其特征在于,所述待上报数据的来源包括柜面上报数据和非柜面上报数据,所述根据待上报数据的来源对待上报数据进行差异化配置的步骤包括:
若所述待上报数据为柜面上报数据,则对所述待上报数据进行实时配置处理;
若所述待上报数据为非柜面上报数据,则对所述待上报数据进行异步配置处理。
4.如权利要求3所述的可扩展数据上报方法,其特征在于,对所述待上报数据进行实时配置处理的步骤包括:
根据所述待上报数据对应的发票信息,通过所述配置表中的业务序列号桥接所述业务字段名与单证字段名之间的映射关系,对所述待上报数据进行类型转换。
5.如权利要求3所述的可扩展数据上报方法,其特征在于,对所述待上报数据进行异步配置处理的步骤包括:
将所述待上报数据缓存至预设的临时表中;
通过所述配置表中的业务序列号桥接所述业务字段名与单证字段名之间的映射关系,对所述临时表中缓存的待上报数据进行类型转换。
6.如权利要求4或5所述的可扩展数据上报方法,其特征在于,所述对预处理后的待上报数据进行筛选的步骤包括:
根据所述配置表中的业务字段名和业务序列号之间的映射关系,对预处理后的待上报数据进行筛选。
7.如权利要求6所述的可扩展数据上报方法,其特征在于,所述对预处理后的待上报数据进行筛选的步骤之后还包括:
将筛选后的待上报数据反馈至预设的中间临时数组。
8.如权利要求7所述的可扩展数据上报方法,其特征在于,所述利用预设的还原函数对筛选后的待上报数据进行适配,并将适配后的待上报数据上传至所述数据平台的步骤包括:
根据所述业务序列号与单证字段名之间的映射关系,对所述中间临时数组进行适配,并将适配后的中间临时数组写入到预设的上传数据数组;
根据所述单证字段名,将所述上传数据数组上传至所述数据平台。
9.一种可扩展数据上报系统,其特征在于,所述可扩展数据上报系统包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的可扩展数据上报程序,所述可扩展数据上报程序被所述处理器执行时实现如权利要求1至8中任意一项所述的可扩展数据上报方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有可扩展数据上报程序,所述可扩展数据上报程序被处理器执行时实现如权利要求1至8中任意一项所述的可扩展数据上报方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710365841.6A CN108959307A (zh) | 2017-05-22 | 2017-05-22 | 可扩展数据上报方法、系统、及存储介质 |
PCT/CN2018/076469 WO2018214599A1 (zh) | 2017-05-22 | 2018-02-12 | 可扩展数据上报方法、系统、及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710365841.6A CN108959307A (zh) | 2017-05-22 | 2017-05-22 | 可扩展数据上报方法、系统、及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108959307A true CN108959307A (zh) | 2018-12-07 |
Family
ID=64395262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710365841.6A Pending CN108959307A (zh) | 2017-05-22 | 2017-05-22 | 可扩展数据上报方法、系统、及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108959307A (zh) |
WO (1) | WO2018214599A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109842610A (zh) * | 2018-12-13 | 2019-06-04 | 平安科技(深圳)有限公司 | 接口请求处理方法、装置、计算机设备及存储介质 |
CN109871407A (zh) * | 2019-01-23 | 2019-06-11 | 深圳壹账通智能科技有限公司 | 备付金数据实时上报方法、装置、计算机设备和存储介质 |
CN112036142A (zh) * | 2020-09-02 | 2020-12-04 | 中国银行股份有限公司 | 一种基于数据配置的实时性报表生成方法及系统 |
CN110909060B (zh) * | 2019-11-26 | 2023-10-03 | 中信银行股份有限公司 | 数据报送方法和系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114764381A (zh) * | 2020-12-30 | 2022-07-19 | 欧普照明股份有限公司 | 能耗数据处理方法,云服务器,以及能耗数据处理系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103309945A (zh) * | 2013-05-15 | 2013-09-18 | 上海证券交易所 | 一种将数据导入数据库的装置 |
CN103678591A (zh) * | 2013-12-12 | 2014-03-26 | 用友软件股份有限公司 | 自动执行多业务单据统计处理的装置和方法 |
CN104572122A (zh) * | 2015-01-28 | 2015-04-29 | 中国工商银行股份有限公司 | 一种软件应用数据的生成装置及方法 |
CN105608088A (zh) * | 2014-11-19 | 2016-05-25 | 中国航空工业集团公司西安飞机设计研究所 | 一种基于配置文件的数据库自动创建与数据动态记录方法 |
CN106599221A (zh) * | 2016-12-16 | 2017-04-26 | 北京用友审计软件有限公司 | 一种数据处理方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117454A (zh) * | 2009-12-30 | 2011-07-06 | 中国银联股份有限公司 | 银行卡安全支付方法及系统 |
CN102236657B (zh) * | 2010-04-28 | 2013-07-31 | 阿里巴巴集团控股有限公司 | 一种处理上报数据的方法和服务器 |
US20120310875A1 (en) * | 2011-06-03 | 2012-12-06 | Prashanth Prahlad | Method and system of generating a data lineage repository with lineage visibility, snapshot comparison and version control in a cloud-computing platform |
CN105512201A (zh) * | 2015-11-26 | 2016-04-20 | 晶赞广告(上海)有限公司 | 数据收集和加工方法及装置 |
-
2017
- 2017-05-22 CN CN201710365841.6A patent/CN108959307A/zh active Pending
-
2018
- 2018-02-12 WO PCT/CN2018/076469 patent/WO2018214599A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103309945A (zh) * | 2013-05-15 | 2013-09-18 | 上海证券交易所 | 一种将数据导入数据库的装置 |
CN103678591A (zh) * | 2013-12-12 | 2014-03-26 | 用友软件股份有限公司 | 自动执行多业务单据统计处理的装置和方法 |
CN105608088A (zh) * | 2014-11-19 | 2016-05-25 | 中国航空工业集团公司西安飞机设计研究所 | 一种基于配置文件的数据库自动创建与数据动态记录方法 |
CN104572122A (zh) * | 2015-01-28 | 2015-04-29 | 中国工商银行股份有限公司 | 一种软件应用数据的生成装置及方法 |
CN106599221A (zh) * | 2016-12-16 | 2017-04-26 | 北京用友审计软件有限公司 | 一种数据处理方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109842610A (zh) * | 2018-12-13 | 2019-06-04 | 平安科技(深圳)有限公司 | 接口请求处理方法、装置、计算机设备及存储介质 |
CN109871407A (zh) * | 2019-01-23 | 2019-06-11 | 深圳壹账通智能科技有限公司 | 备付金数据实时上报方法、装置、计算机设备和存储介质 |
CN110909060B (zh) * | 2019-11-26 | 2023-10-03 | 中信银行股份有限公司 | 数据报送方法和系统 |
CN112036142A (zh) * | 2020-09-02 | 2020-12-04 | 中国银行股份有限公司 | 一种基于数据配置的实时性报表生成方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2018214599A1 (zh) | 2018-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108959307A (zh) | 可扩展数据上报方法、系统、及存储介质 | |
JP5298117B2 (ja) | 分散コンピューティングにおけるデータマージング | |
EP2565802B1 (en) | Data masking setup | |
CN110188573B (zh) | 分区授权方法、装置、设备及计算机可读存储介质 | |
CN109690524A (zh) | 分布式事件处理系统中的数据序列化 | |
US20160140205A1 (en) | Queries involving multiple databases and execution engines | |
CN106503912A (zh) | 一种数据服务系统 | |
CN110287097A (zh) | 批量测试方法、装置及计算机可读存储介质 | |
CN108132987A (zh) | 一种数据查询系统及方法 | |
CN104572122A (zh) | 一种软件应用数据的生成装置及方法 | |
WO2006026659A2 (en) | Services oriented architecture for data integration services | |
CN107103064A (zh) | 数据统计方法及装置 | |
CN111723086A (zh) | 一种数据质量检核方法、装置、设备及可读存储介质 | |
CN111858615A (zh) | 数据库表生成方法、系统、计算机系统和可读存储介质 | |
US20150269234A1 (en) | User Defined Functions Including Requests for Analytics by External Analytic Engines | |
CN107169862B (zh) | 一种银行不良客户存款自动追踪系统 | |
US9213700B2 (en) | Data archiving and de-archiving in a business environment | |
CN108255852B (zh) | Sql执行方法及装置 | |
CN109636323A (zh) | 协同办公平台系统 | |
US20090248186A1 (en) | Methods and Systems for Matching Configurable Manufacturing Capacity Requirements and Availability | |
US20100106749A1 (en) | Reorganizing table-based data objects | |
US10459820B2 (en) | Document clustering in in-memory databases | |
CN104317660A (zh) | 一种银行参数管理系统 | |
CN110728452A (zh) | 分布式流程系统中实现多维组织集成人员选择控制的系统及其方法 | |
US11669509B2 (en) | System and method for achieving optimal change data capture (CDC) on hadoop |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |
|
RJ01 | Rejection of invention patent application after publication |