CN111611441A - 异构数据的处理方法、装置以及计算机设备 - Google Patents
异构数据的处理方法、装置以及计算机设备 Download PDFInfo
- Publication number
- CN111611441A CN111611441A CN202010445686.0A CN202010445686A CN111611441A CN 111611441 A CN111611441 A CN 111611441A CN 202010445686 A CN202010445686 A CN 202010445686A CN 111611441 A CN111611441 A CN 111611441A
- Authority
- CN
- China
- Prior art keywords
- data
- heterogeneous
- entity
- heterogeneous data
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 82
- 238000011068 loading method Methods 0.000 claims abstract description 58
- 238000013507 mapping Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 230000015654 memory Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000011144 upstream manufacturing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 description 11
- 230000006978 adaptation Effects 0.000 description 10
- 230000008878 coupling Effects 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 9
- 238000005859 coupling reaction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000013506 data mapping Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
Abstract
本申请提供了一种异构数据的处理方法、装置以及计算机设备,涉及数据处理技术领域,缓解了对异构数据进行处理的工作难度较大的技术问题。该方法包括:基于所述数据结构建立所述异构数据在数据加载过程中使用的数据加载映射类;按照所述异构数据的实体内容属性生成若干个实体类,并确定每个所述实体类与所述数据加载映射类之间的计算关系;利用所述计算关系将所述异构数据转化为数据结构相同的同构数据。
Description
技术领域
本申请涉及数据处理技术领域,尤其是涉及一种异构数据的处理方法、装置以及计算机设备。
背景技术
在数据处理的过程中,经常需要对大批量的多种不同数据结构的数据进行处理。例如,在金融保险或银行行业,需要对接来自多种不同资金渠道的数据,对于不同的资金渠道,导致数据提供方式各不相同,数据格式结构也都各异,导致需要处理大量的异构数据。
目前的异构数据批处理方法,一般需要根据异构批量数据的数据格式提供方式,开发对应不同的批量处理程序,才能进行数据的统一更新或入库操作。但是,由于数据业务量较大,处理逻辑复杂,导致开发工作量较大,导致异构数据处理的工作难度较大。
发明内容
本发明的目的在于提供一种异构数据的处理方法、装置以及计算机设备,以缓解对异构数据进行处理的工作难度较大的技术问题。
第一方面,本申请实施例提供了一种异构数据的处理方法,所述异构数据的数据结构不相同;所述方法包括:
基于所述数据结构建立所述异构数据在数据加载过程中使用的数据加载映射类;
按照所述异构数据的实体内容属性生成若干个实体类,并确定每个所述实体类与所述数据加载映射类之间的计算关系;
利用所述计算关系将所述异构数据转化为数据结构相同的同构数据。
在一个可能的实现中,基于所述数据结构建立所述异构数据在数据加载过程中使用的数据加载映射类的步骤,包括:
基于所述数据结构中的数据格式选择数据加载器插件;
通过所述数据加载器插件建立所述异构数据在数据加载过程中使用的数据加载映射类。
在一个可能的实现中,按照所述异构数据的实体内容属性生成若干个实体类的步骤,包括:
根据所述异构数据的上游数据接口生成若干个实体类,所述实体类与上游数据接口的实体内容属性相对应;
其中,同构数据的所述实体类根据数据表的结构生成,所述数据表中包含与所有业务相关的字段,所述异构数据的数据转换过程是根据所述数据表的结构执行。
在一个可能的实现中,所述计算关系通过计算表达式或所述实体类的属性名称进行自动复制操作。
在一个可能的实现中,利用所述计算关系将所述异构数据转化为数据结构相同的同构数据的步骤,包括:
计算所述数据加载映射类的属性值;
利用所述计算关系将所述属性值赋值到所述实体类中,以将所述异构数据转化为数据结构相同的同构数据。
在一个可能的实现中,所述异构数据的数据源不相同;所述方法还包括:
根据所述数据源选择数据下载器插件;
利用所述数据下载器插件对所述异构数据进行下载。
在一个可能的实现中,所述异构数据的数据读取方式不相同;利用所述数据下载器插件对所述异构数据进行下载的步骤之后,还包括:
基于所述数据读取方式,确定所述异构数据的读取解析方式;
按照所述读取解析方式利用所述数据加载器插件,对所述数据下载器插件下载的所述异构数据进行解析和读取。
第二方面,提供了一种异构数据的处理装置,所述异构数据的数据结构不相同;所述装置包括:
建立模块,用于基于所述数据结构建立所述异构数据在数据加载过程中使用的数据加载映射类;
确定模块,用于按照所述异构数据的实体内容属性生成若干个实体类,并确定每个所述实体类与所述数据加载映射类之间的计算关系;
转化模块,用于利用所述计算关系将所述异构数据转化为数据结构相同的同构数据。
第三方面,本申请实施例又提供了一种计算机设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
第四方面,本申请实施例又提供了一种计算机可读存储介质,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
本申请实施例带来了以下有益效果:
本申请实施例提供的一种异构数据的处理方法、装置以及计算机设备,能够基于数据结构建立异构数据在数据加载过程中使用的数据加载映射类,按照异构数据的实体内容属性生成若干个实体类,并确定每个实体类与数据加载映射类之间的计算关系,然后,利用计算关系将异构数据转化为数据结构相同的同构数据,本方案中,通过每个实体类与数据加载映射类之间的计算关系将异构数据转化为数据结构相同的同构数据,将业务与功能完全分离,降低业务耦合,增加了模块的复用性,免除了重复开发工作,能够灵活支持多源异构批量数据的处理,同时也提供了一种简单快捷的接入方式,降低了对异构数据进行数据处理的工作难度。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的异构数据的处理方法的流程示意图;
图2为本申请实施例提供的异构数据的处理方法中,实体类属性的一个示例;
图3为本申请实施例提供的异构数据的处理方法的另一流程示意图;
图4为本申请实施例提供的异构数据的处理方法中,数据下载器通用接口的一个示例;
图5为本申请实施例提供的异构数据的处理方法的另一流程示意图;
图6为本申请实施例提供的异构数据的处理方法中,实体类属性的另一个示例;
图7为本申请实施例提供的一种异构数据的处理装置的结构示意图;
图8为示出了本申请实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着信息化的普及,业务系统规模、复杂度明显上升,系统关联也更加紧密。而系统的微服务化又进一步加剧了系统间的耦合程度,数据来源过多也使系统稳定性面临更大的挑战,因此数据闭环被提上日程。实现数据闭环,需要不同系统数据即多源异构数据的批量同步,数据顺利进入对应业务系统,系统才能正确提供数据服务,为业务赋能。除此之外,在金融保险或银行行业,由于数据业务量大,处理逻辑复杂,系统间需要进行批量数据文件交换来统一数据状态。例如在金融保险业务中,需要对接多种资金渠道(不同银行渠道、不同信托渠道)进行数据文件交换,对于不同的资金渠道,数据提供方式各不相同,结构也没有统一标准。因此多源异构数据的处理成为了复杂业务系统必不可少的一环。
目前,传统的异构数据批处理方法,一般由对应的系统开发人员根据异构批量数据的提供方式,开发对应的批处理程序,进行数据的统一更新或入库操作,然而该方法有以下问题:
第一,灵活性差。传统的批量数据处理步骤为:数据读取、数据处理、数据入库,多源异构批量数据需要开发不同的批量程序进行以上步骤,开发工作量大,不同的开发人员开发出的系统质量也各不相同。ETL工具的出现解决开发人员开发工作量问题,但ETL工具集成度高,与其他系统或框架集成时灵活度差,步骤繁琐,内部模块的处理逻辑需要针对业务进行改良时,工作难度大。
第二,业务耦合度高。系统在进行数据入库时,业务处理并不局限于一个步骤,例如某跑批流程:数据读取,然后根据业务公式计算逾期总额(如该字段为空),之后入库(需指定字段业务对应关系),可见除第一步,其他步骤均与业务相关,业务可能遍布流程中一个或多个步骤,导致业务耦合度高。
第三,复用度低。系统的业务高耦合导致系统模块中充斥着特殊业务场景的特殊处理,而无法进行功能模块复用。
基于此,本申请实施例提供了一种异构数据的处理方法、装置以及计算机设备,通过该方法可以缓解对异构数据进行处理的工作难度较大的技术问题。
下面结合附图对本发明实施例进行进一步地介绍。
图1为本申请实施例提供的一异构数据的处理方法的流程示意图。其中,这些异构数据的数据结构不相同。如图1所示,该方法包括:
步骤S110,基于数据结构建立异构数据在数据加载过程中使用的数据加载映射类。
步骤S120,按照异构数据的实体内容属性生成若干个实体类,并确定每个实体类与数据加载映射类之间的计算关系。
步骤S130,利用计算关系将异构数据转化为数据结构相同的同构数据。
通过每个实体类与数据加载映射类之间的计算关系将异构数据转化为数据结构相同的同构数据,将业务与功能完全分离,降低业务耦合,增加了模块的复用性,免除了重复开发工作,能够灵活支持多源异构批量数据的处理,同时也提供了一种简单快捷的接入方式。
下面对上述步骤进行详细介绍。
在实际应用中,多源异构数据均需要以数据源、数据结构、数据读取方式组合后生成,例如:
下面以数据源为FTP协议且数据结构为TXT分隔符类型的数据为例进行说明。如下表所示,数据源:FTP;数据结构:分隔符;数据读取方式:块式读取。
在一些实施例中,上述步骤S110可以包括如下步骤:
步骤a),基于数据结构中的数据格式选择数据加载器插件;
步骤b),通过数据加载器插件建立异构数据在数据加载过程中使用的数据加载映射类。
对于数据加载映射类的准备过程,根据第三方系统提供的数据格式,建立数据加载时使用的映射类,例如,“1|+|小明|+|男|+|”可以设置实体类属性如图2所示。其中,属性需要与异构数据一一对应,对应方式取决于数据加载器的实现,示例中的数据将以“|+|”为分隔符进地切割,并按顺序赋值到属性内。此外,数据加载映射类需要放入数据加载映射类专用文件目录,系统将自动扫描该目录内类文件进行自动加载。
对于数据加载器的选择过程,如果有对应的加载器则返回数据加载映射类对象。如图3所示,示例中的TXT文件可以选择TXT文件分隔符模式加载器,文件将逐条(流式)读取,按分隔符及数据顺序解析到实体映射类中。
如果没有对应加载器则需要按照数据加载器的基础接口进行实现,即通过自定义插件实现。具体的,系统各模块插件使用统一原理实现,当系统提供的默认插件无法满足业务需要,则需要进行自定义插件实现,当前以数据下载器插件举例说明自定义插件的实现流程。
对于系统对应模块插件接口类的实现过程,数据下载器通用接口示例如图4所示,数据下载器通过系统传输过来的初始化参数进行初始化,当使用下载器进行下载时,读取指定的下载信息,系统将自动下载文件到目录路径(本地工作目录)中。如FTP下载,初始化信息为FTP连接权限信息,下载信息为工作目录路径与目标文件在FTP上的远程路径。
配置插件基础信息,示例如下所示:
{
“name”:“DemoLoader”
“mainClass”:“com.test.DemoLoader”
}
系统将通过读取插件基础信息,获取到数据下载器实现类信息,并加载目录内下级lib目录下的所有库文件。
将插件放入对应目录,如下载器目录为/dataDownlader,当系统跑批过程中发现使用该下载器,将对该插件进行热加载,并根据配置文件进行初始化,从而在系统中使用。
通过引入加载器的插件机制增加了模块的复用性,使得一次开发可在任何其他基于该系统开发的子系统中通过拷贝粘贴得以复用。实现了利用插件适配机制达到多源异构数据的适配灵活接入。通过插件适配机制不仅解决了异构数据转换同构数据问题,而且使用该基于插件机制的多源异构批量数据处理方法可以实现模块的一次开发多处使用,业务集中配置与功能完全解耦。
在一些实施例中,上述步骤S120可以包括如下步骤:
步骤c),根据异构数据的上游数据接口生成若干个实体类,实体类与上游数据接口的实体内容属性相对应。
其中,同构数据的实体类根据数据表的结构生成,数据表中包含与所有业务相关的字段,异构数据的数据转换过程是根据数据表的结构执行。
需要说明的是,可以在数据库内建立数据表,该数据表需要根据业务进行领域建模,具体的,提取所有业务相关字段进而建立全集数据字段表,数据库中为全集数据字段表,即上述数据表。该数据表的结构可以作为后续同构数据实体类使用,异构数据将根据该数据表的结构进行数据转换后入库。也可以理解为,异构数据将为该数据表子集或仅入库数据表内存在的字段信息。
示例性的,可以根据存储的信息进行数据库表设计,并建立对应数据库表,使用系统提供的初始化工具进行系统初始化,初始化数据库连接及实体映射关系。
在一些实施例中,异构数据的数据源不相同;该方法还可以包括以下步骤:
步骤e),根据数据源选择数据下载器插件;
步骤f),利用数据下载器插件对异构数据进行下载。
如图3和5所示,在选择数据加载器之前,还可以先选择数据下载器。对于数据下载器的选择过程,示例性的,FTP中读取文件为块式读取,因此需要完整下载文件后解析。系统中如果无对应数据下载器需要按照上述的数据下载器的基础接口进行实现,并返回本地工作目录路径。
通过引入下载器的插件机制增加了模块的复用性,使得一次开发可在任何其他基于该系统开发的子系统中通过拷贝粘贴得以复用。实现了利用插件适配机制达到多源异构数据的适配灵活接入。通过插件适配机制不仅解决了异构数据转换同构数据问题,而且使用该基于插件机制的多源异构批量数据处理方法可以实现模块的一次开发多处使用,业务集中配置与功能完全解耦。
基于上述步骤e)和步骤f),异构数据的数据读取方式不相同;上述步骤f)之后,该方法还可以包括如下步骤:
步骤g),基于数据读取方式,确定异构数据的读取解析方式;
步骤h),按照读取解析方式利用数据加载器插件,对数据下载器插件下载的异构数据进行解析和读取。
需要说明的是,下载器用于获取数据,加载器用于解析以及读取数据,通过数据下载器与加载器自由组合能够更加灵活。具体的,根据下载器与加载器等模块的灵活开发支持,对任何以数据源、数据结构、数据读取方式组合后生成的多源异构数据同样适用,并且根据系统灵活度要求,可将插件适配机制应用于各个模块。
在实际应用中,上述步骤还可以结合渠道信息配置,例如,打开渠道信息配置界面,配置渠道信息,该渠道信息包括渠道码、渠道名称以及渠道说明信息。
对于上述数据下载器,用于确定数据下载器类型,初始化参数与下载参数,针对FTP下载器则为FTP连接信息与对应的路径信息。
对于上述数据加载器,用于确定数据加载器类型,初始化参数与执行参数,针对示例中的TXT文件即为分隔符与源字符串、数据加载映射类信息。
对于上述实体类与数据加载映射类之间的计算关系,可以通过计算表达式(如数据映射表达式)或实体类的属性(如字段)名称进行自动复制操作。对于与数据映射表达式,配置人员在该处指定实体类,将加载实体类属性,通过配置计算表达式,指定实体类与数据加载映射类属性的计算关系,如实体类逾期总额字段可以填入映射类字段加和“overduePricipal+overdueInterest”即逾期本金+逾期利息。
通过信息的界面化配置与数据源结构的自由选择,使系统更为灵活,系统利用可视化配置及模块选择使多源异构的对接灵活性得到明显提升,并且符合现存模板的渠道可以无需开发工作即可完成数据接入。再者,数据映射表达式使原本分布于多个步骤的业务逻辑,集中在数据映射表达式中进行处理,之后进行插件适配时进行一次性数据处理,从而将业务与功能完全分开。
在一些实施例中,上述步骤S130可以包括如下步骤:
步骤i),计算数据加载映射类的属性值;
步骤j),利用计算关系将属性值赋值到实体类中,以将异构数据转化为数据结构相同的同构数据。
如图3和图5所示,在数据加载之后便进行数据适配的过程,数据加载器加载出来的数据映射到渠道自定义映射类中,但映射类与数据库实体类并非一一对应,即加载插件并非统一数据结构。这时需要一种方法将插件返回的异构数据适配为同构数据。
本步骤中,配置的数据映射表达式可以使用,数据映射表达式配置了数据加载映射类与实体类的计算关系,通过解析该表达式,获取数据加载映射类属性值经计算后赋值到实体映射类中,从而将数据同构化,所有异构数据在此步骤将转化为实体类对象与数据库一一对应。
在将异构数据转化为数据结构相同的同构数据至之后,便可以进行对同构数据的数据必要处理过程,例如,对利率进行数据合法性判断、字符串长度校验等,由于该处理过程很可能与计算有关,实际系统也引入了插件机制。如图3和图5所示,在数据处理过程之后,再进行数据存储,即数据在该步骤存储使用ORM框架,直接入库。
下面再以数据源为Mysql数据库、数据结构为结构化数据、数据读取方式为流式读取为例进行说明,如下表所示。
在系统初始化过程之后,进行数据加载映射类准备。根据数据库表结构,建立需要导出数据使用的映射类,存储数据如下表所示:
Id | name | sex |
1 | 小明 | 男 |
2 | 小红 | 女 |
其实体类属性可以如图6所示,属性需要与异构数据一一对应,对应方式取决于数据加载器的实现,示例中的数据将通过数据库列名与实体类属性名是否相同为判断依据,将数据反射加载入实体映射类中。
接下来,在自定义插件实现之后,进行数据下载器进行的选择。传统的文件传输方式需要将文件整体下载才能正确解析文件中的每一条数据,而数据库可以逐条进行读取(即流式读取方式),所以该步骤可省略,直接使用空数据下载器即可。
然后,如图3和图5所示,执行数据加载器的选择过程。如果无对应加载器则需要按照数据加载器的基础接口进行实现,并返回数据加载映射类对象。示例中的数据库数据为天然的流式读取数据,因此数据读取可直接在数据加载器中实现,使用数据库游标逐条将数据读取出来,按数据库列名与实体映射类属性名称的一一对应关系解析到实体映射类中。在选择完成数据加载器之后,如图3和图5所示,再进行渠道信息配置、数据适配、数据处理以及数据存储过程。
图7提供了一种异构数据的处理装置的结构示意图。异构数据的数据结构不相同。如图7所示,异构数据的处理装置700包括:
建立模块701,用于基于数据结构建立异构数据在数据加载过程中使用的数据加载映射类;
确定模块702,用于按照异构数据的实体内容属性生成若干个实体类,并确定每个实体类与数据加载映射类之间的计算关系;
转化模块703,用于利用计算关系将异构数据转化为数据结构相同的同构数据。
在一些实施例中,建立模块701具体用于:
基于数据结构中的数据格式选择数据加载器插件;
通过数据加载器插件建立异构数据在数据加载过程中使用的数据加载映射类。
在一些实施例中,确定模块702具体用于:
根据所述异构数据的上游数据接口生成若干个实体类,所述实体类与上游数据接口的实体内容属性相对应;
其中,同构数据的所述实体类根据数据表的结构生成,所述数据表中包含与所有业务相关的字段,所述异构数据的数据转换过程是根据所述数据表的结构执行。
在一些实施例中,计算关系通过计算表达式或所述实体类的属性名称进行自动复制操作。
在一些实施例中,转化模块703具体用于:
计算数据加载映射类的属性值;
利用计算关系将属性值赋值到实体类中,以将异构数据转化为数据结构相同的同构数据。
在一些实施例中,异构数据的数据源不相同;该装置还包括:
选择模块,用于根据数据源选择数据下载器插件;
下载模块,用于利用数据下载器插件对异构数据进行下载。
在一些实施例中,异构数据的数据读取方式不相同;该装置还包括加载模块,所述加载模块具体用于:
基于所述数据读取方式,确定所述异构数据的读取解析方式;
按照所述读取解析方式利用所述数据加载器插件,对所述数据下载器插件下载的所述异构数据进行解析和读取。
本申请实施例提供的异构数据的处理装置,与上述实施例提供的异构数据的处理方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
如图8所示,本申请实施例提供的一种计算机设备800,包括:处理器801、存储器802和总线,所述存储器802存储有所述处理器801可执行的机器可读指令,当计算机设备运行时,所述处理器801与所述存储器802之间通过总线通信,所述处理器801执行所述机器可读指令,以执行如上述异构数据的处理方法的步骤。
具体地,上述存储器802和处理器801能够为通用的存储器和处理器,这里不做具体限定,当处理器801运行存储器802存储的计算机程序时,能够执行上述异构数据的处理方法。
处理器801可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器802,处理器801读取存储器802中的信息,结合其硬件完成上述方法的步骤。
对应于上述异构数据的处理方法,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述异构数据的处理方法的步骤。
本申请实施例所提供的异构数据的处理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
再例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述异构数据的处理方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种异构数据的处理方法,其特征在于,所述异构数据的数据结构不相同;所述方法包括:
基于所述数据结构建立所述异构数据在数据加载过程中使用的数据加载映射类;
按照所述异构数据的实体内容属性生成若干个实体类,并确定每个所述实体类与所述数据加载映射类之间的计算关系;
利用所述计算关系将所述异构数据转化为数据结构相同的同构数据。
2.根据权利要求1所述的方法,其特征在于,基于所述数据结构建立所述异构数据在数据加载过程中使用的数据加载映射类的步骤,包括:
基于所述数据结构中的数据格式选择数据加载器插件;
通过所述数据加载器插件建立所述异构数据在数据加载过程中使用的数据加载映射类。
3.根据权利要求1所述的方法,其特征在于,按照所述异构数据的实体内容属性生成若干个实体类的步骤,包括:
根据所述异构数据的上游数据接口生成若干个实体类,所述实体类与上游数据接口的实体内容属性相对应;
其中,同构数据的所述实体类根据数据表的结构生成,所述数据表中包含与所有业务相关的字段,所述异构数据的数据转换过程是根据所述数据表的结构执行。
4.根据权利要求1所述的方法,其特征在于,所述计算关系通过计算表达式或所述实体类的属性名称进行自动复制操作。
5.根据权利要求1或4所述的方法,其特征在于,利用所述计算关系将所述异构数据转化为数据结构相同的同构数据的步骤,包括:
计算所述数据加载映射类的属性值;
利用所述计算关系将所述属性值赋值到所述实体类中,以将所述异构数据转化为数据结构相同的同构数据。
6.根据权利要求2所述的方法,其特征在于,所述异构数据的数据源不相同;所述方法还包括:
根据所述数据源选择数据下载器插件;
利用所述数据下载器插件对所述异构数据进行下载。
7.根据权利要求6所述的方法,其特征在于,所述异构数据的数据读取方式不相同;利用所述数据下载器插件对所述异构数据进行下载的步骤之后,还包括:
基于所述数据读取方式,确定所述异构数据的读取解析方式;
按照所述读取解析方式利用所述数据加载器插件,对所述数据下载器插件下载的所述异构数据进行解析和读取。
8.一种异构数据的处理装置,其特征在于,所述异构数据的数据结构不相同;所述装置包括:
建立模块,用于基于所述数据结构建立所述异构数据在数据加载过程中使用的数据加载映射类;
确定模块,用于按照所述异构数据的实体内容属性生成若干个实体类,并确定每个所述实体类与所述数据加载映射类之间的计算关系;
转化模块,用于利用所述计算关系将所述异构数据转化为数据结构相同的同构数据。
9.一种计算机设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有机器可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010445686.0A CN111611441B (zh) | 2020-05-22 | 2020-05-22 | 异构数据的处理方法、装置以及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010445686.0A CN111611441B (zh) | 2020-05-22 | 2020-05-22 | 异构数据的处理方法、装置以及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111611441A true CN111611441A (zh) | 2020-09-01 |
CN111611441B CN111611441B (zh) | 2024-04-09 |
Family
ID=72202392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010445686.0A Active CN111611441B (zh) | 2020-05-22 | 2020-05-22 | 异构数据的处理方法、装置以及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111611441B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417225A (zh) * | 2020-11-30 | 2021-02-26 | 北京明略软件系统有限公司 | 一种多源异构数据的联合查询方法与系统 |
CN112699107A (zh) * | 2020-12-25 | 2021-04-23 | 北京优奥创思科技发展有限公司 | 一种支持高度自定义的数据管理平台 |
CN114255119A (zh) * | 2021-12-24 | 2022-03-29 | 中国工商银行股份有限公司 | 一种虚拟银行网点管理方法及相关装置 |
CN114416206A (zh) * | 2022-01-20 | 2022-04-29 | 四维创智(北京)科技发展有限公司 | 一种插件热加载方法、系统、终端设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102571720A (zh) * | 2010-12-27 | 2012-07-11 | 中国移动通信集团辽宁有限公司 | 一种异构信息内容处理方法及装置 |
US20120260265A1 (en) * | 2011-04-11 | 2012-10-11 | International Business Machines Corporation | Extracting and processing data from heterogeneous computer applications |
CN108133007A (zh) * | 2017-12-22 | 2018-06-08 | 北京明朝万达科技股份有限公司 | 一种数据同步方法和系统 |
CN109086573A (zh) * | 2018-07-30 | 2018-12-25 | 东北师范大学 | 多源生物大数据融合平台 |
CN111026777A (zh) * | 2019-12-13 | 2020-04-17 | 中国南方电网有限责任公司 | 实体类代码生成方法、装置、计算机设备及存储介质 |
-
2020
- 2020-05-22 CN CN202010445686.0A patent/CN111611441B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102571720A (zh) * | 2010-12-27 | 2012-07-11 | 中国移动通信集团辽宁有限公司 | 一种异构信息内容处理方法及装置 |
US20120260265A1 (en) * | 2011-04-11 | 2012-10-11 | International Business Machines Corporation | Extracting and processing data from heterogeneous computer applications |
CN108133007A (zh) * | 2017-12-22 | 2018-06-08 | 北京明朝万达科技股份有限公司 | 一种数据同步方法和系统 |
CN109086573A (zh) * | 2018-07-30 | 2018-12-25 | 东北师范大学 | 多源生物大数据融合平台 |
CN111026777A (zh) * | 2019-12-13 | 2020-04-17 | 中国南方电网有限责任公司 | 实体类代码生成方法、装置、计算机设备及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112417225A (zh) * | 2020-11-30 | 2021-02-26 | 北京明略软件系统有限公司 | 一种多源异构数据的联合查询方法与系统 |
CN112699107A (zh) * | 2020-12-25 | 2021-04-23 | 北京优奥创思科技发展有限公司 | 一种支持高度自定义的数据管理平台 |
CN112699107B (zh) * | 2020-12-25 | 2024-05-17 | 北京优奥创思科技发展有限公司 | 一种支持高度自定义的数据管理平台 |
CN114255119A (zh) * | 2021-12-24 | 2022-03-29 | 中国工商银行股份有限公司 | 一种虚拟银行网点管理方法及相关装置 |
CN114416206A (zh) * | 2022-01-20 | 2022-04-29 | 四维创智(北京)科技发展有限公司 | 一种插件热加载方法、系统、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111611441B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111611441A (zh) | 异构数据的处理方法、装置以及计算机设备 | |
CN109886689B (zh) | 基于区块链的数据存证、取证方法及装置 | |
CN108319460B (zh) | 应用程序安装包的生成方法、装置、电子设备及存储介质 | |
US9043757B2 (en) | Identifying differences between source codes of different versions of a software when each source code is organized using incorporated files | |
CN110188135B (zh) | 文件生成方法及设备 | |
CN111399840B (zh) | 一种模块开发方法及装置 | |
CN110647322B (zh) | 列表渲染方法、装置、电子设备和计算机可读介质 | |
CN110865889A (zh) | 组件间传递事件的方法和装置 | |
CN111988429A (zh) | 算法调度方法以及系统 | |
CN115599359A (zh) | 一种代码生成方法、装置、设备及介质 | |
CN112181430A (zh) | 代码变更统计方法、装置、电子设备及存储介质 | |
CN111414154A (zh) | 前端开发的方法、装置、电子设备和存储介质 | |
CN111399849B (zh) | 一种应用程序安装包的确定方法及系统 | |
CN111488144B (zh) | 一种数据处理方法以及设备 | |
CN112256252B (zh) | 接口生成方法、装置、存储介质及电子设备 | |
CN117234582A (zh) | 一种项目代码处理方法、装置、电子设备及存储介质 | |
CN113656433B (zh) | 实体对象扩展方法、装置、电子设备和存储介质 | |
CN115114321A (zh) | 一种动态查询方法及系统 | |
CN114116866A (zh) | 一种数据获取方法、装置、终端设备及存储介质 | |
CN114896317A (zh) | 一种数据结构转换方法、装置、电子设备及存储介质 | |
CN112463202B (zh) | 操作系统功能组件的配置方法及装置 | |
CN113885996A (zh) | 用户界面的生成方法及装置 | |
CN111737784A (zh) | 基于数字化三维的zxmp s385子架的板卡选型配置方法及设备 | |
CN111338968A (zh) | 项目的功能模块调试方法、装置、介质及电子设备 | |
CN113722538B (zh) | 一种界面动态渲染方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |