CN111984657A - 数据归集方法、装置、存储介质及计算机设备 - Google Patents
数据归集方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN111984657A CN111984657A CN202010920713.5A CN202010920713A CN111984657A CN 111984657 A CN111984657 A CN 111984657A CN 202010920713 A CN202010920713 A CN 202010920713A CN 111984657 A CN111984657 A CN 111984657A
- Authority
- CN
- China
- Prior art keywords
- data
- name
- attribute value
- data source
- data table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据归集方法、装置、存储介质及计算机设备。该方法包括:获取第一目标系统名称、第一属性值和第二属性值;根据所述第一目标系统名称、第一属性值和第二属性值获取第一数据源名称和第一数据表名称;从第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据;获取第二目标系统名称、第三属性值和第四属性值;根据所述第二目标系统名称、第三属性值和第四属性值获取第二数据源名称和第二数据表名称;从所述第二数据源的第二数据表中获取与所述第三属性值、第四属性值匹配的第二数据;根据所述第一数据和所述第二数据构建归集数据。本发明提供的方法可适配各种分库分表架构,从不同的第三方数据源中直接抽取数据。
Description
技术领域
本发明涉及金融科技领域,特别涉及一种应用于资产证券化系统中的数据归集方法、装置、存储介质以及计算机设备。
背景技术
资产证券化是近三十年来世界金融领域最重大和发展最迅速的金融创新工具之一。作为重要的融资手段,资产证券化在国外的使用已经相当普遍。
资产筛选是资产证券化中重要的一环,其第一步是资产数据归集。资产数据归集通常需要从不同的第三方系统(如核心系统,客户中心系统)抽取数据。
现有技术中,在进行资产数据归集时,通常通过调用第三方系统的提供数据接口来从第三方系统抽取数据,进而构建归集数据。这种方法通常需要第三方系统提供符合需求的数据接口以供调用。然而,不同系统对数据的存储方式也不尽相同,各系统本身可能使用不同的中间件、技术对其数据进行分库分表设计。如果需求有变动,则需要第三方系统根据需求来进行改造。这种调用通过第三方系统提供的数据接口获取数据的方式不便于调整需求,并给第三方系统带来了极大的改造负担。
发明内容
本发明实施例提供一种应用于资产证券化系统中的数据归集方法、装置存储介质及计算机设备,以兼容不同第三方数据源的分库分表架构,从不同的第三方数据源直接抽取数据,解决现有技术中通过调用第三方系统提供的数据接口从第三方系统抽取数据时需要第三方系统进行系统改造、不便灵活调整需求的问题。
一方面,本发明实施例提供一种数据归集方法,所述数据归集方法应用于资产证券化系统中,所述方法包括:
获取第一目标系统名称、第一属性值和第二属性值;
根据所述第一目标系统名称、第一属性值和第二属性值获取要操作的第一数据源名称和第一数据表名称;
根据所述第一数据源名称和第一数据表名称从第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据;
获取第二目标系统名称、第三属性值和第四属性值;
根据所述第二目标系统名称、第三属性值和第四属性值获取要操作的第二数据源名称和第二数据表名称;
根据所述第二数据源名称和第二数据表名称从第二数据源的第二数据表中获取与所述第三属性值、第四属性值匹配的第二数据;
根据所述第一数据和所述第二数据构建归集数据,其中,一条归集数据包括一条第一数据和与所述第一数据关联的第二数据。
在本实施例的一种实现方式中,根据所述第一目标系统名称、第一属性值和第二属性值获取要操作的第一数据源名称和第一数据表名称包括:
根据所述第一目标系统名称获取第一目标系统的数据源命名规则和数据表命名规则;
根据所述第一属性值与所述数据源命名规则计算所述第一数据源名称;
根据所述第二属性值与所述数据表命名规则计算所述第一数据表名。
在本实施例的一种实现方式中,所述根据所述第一数据源名称和第一数据表名称从第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据包括:
根据所述第一数据源名称和数据源配置文件将数据源操作对象切换为第一数据源,其中,所述数据源配置文件中配置了数据源名称与数据源地址的映射关系;
根据所述第一数据表名称将数据表操作对象切换为第一数据源的第一数据表;
从所述第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据。
在本实施例的一种实现方式中,所述第一属性为产品号,所述第二属性为借据号,所述第一数据为资产数据;
所述第三属性缺省,所述第四属性为客户ID,所述第二数据为客户数据。
在本实施例的一种实现方式中,所述第三属性值和所述第四属性值从所述第一数据中获取。
另一方面,本发明实施例提供一种数据归集装置,所述数据归集方法应用于资产证券化系统中,所述装置包括:
参数获取模块,用于获取第一目标系统名称、第一属性值和第二属性值;
名称计算模块,用于根据所述第一目标系统名称、第一属性值和第二属性值获取要操作的第一数据源名称和第一数据表名称;
数据获取模块,用于根据所述第一数据源名称和第一数据表名称从第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据;
所述参数获取模块,还用于获取第二目标系统名称、第三属性值和第四属性值;
所述名称计算模块,还用于根据所述第二目标系统名称、第三属性值和第四属性值获取要操作的第二数据源名称和第二数据表名称;
所述数据获取模块,还用于根据所述第二数据源名称和第二数据表名称从所述第二数据源的第二数据表中获取与所述第三属性值、第四属性值匹配的第二数据;
归集数据构建模块,用于根据所述第一数据和所述第二数据构建归集数据,其中,一条归集数据包括一条第一数据和与所述第一数据关联的第二数据。
在本发明的一种实现方式中,所述名称计算模块包括:
规则获取单元,用于根据所述第一目标系统名称获取第一目标系统的数据源命名规则和数据表命名规则;
数据源名称计算单元,用于根据所述第一属性值与所述数据源命名规则计算所述第一数据源名称;
数据表名称计算单元,用于根据所述第二属性值与所述数据表命名规则计算所述第一数据表名。
在本实施例的一种实现方式中,所述数据获取模块包括:
数据源切换单元,用于根据所述第一数据源名称和数据源配置文件将数据源操作对象切换为第一数据源,其中,所述数据源配置文件中配置了数据源名称与数据源地址的映射关系;
数据表切换单元,用于根据所述第一数据表名称将数据表操作对象切换为第一数据源的第一数据表;
数据获取单元,用于从所述第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据。
在本实施例的一种实现方式中,所述第一属性为产品号,所述第二属性为借据号,所述第一数据为资产数据;
所述第三属性缺省,所述第四属性为客户ID,所述第二数据为客户数据。
在本实施例的一种实现方式中,所述第三属性值和所述第四属性值从所述第一数据中获取。
再一方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该计算机指令在被处理器执行时实现上述方法实施例中的任意一种实现方式所述的数据归集方法。
又一方面,本发明实施例提供一种计算机设备,所述设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现上述方法实施例中的任意一种实现方式所述的数据归集方法。
相比于现有技术而言,本发明实施例提供的数据归集方法、装置、存储介质及计算机设备具有如下有益技术效果:
相比于传统的通过第三方系统提供的数据接口从第三方系统获取数据来构建归集数据而言,本发明实施例根据第一目标系统名称和第一属性值和第二属性值获取第一数据源名称和第一数据表名称,根据第一数据源名称和第一数据表名称将数据源操作对象动态切换为第一数据源,将数据表操作对象动态切换为第一数据表,可灵活适配第三方系统的各种分库分表架构,从第三方系统的数据源直接获取数据,无需第三方系统进行改造,可以像操作自有数据源一样操作第三方数据源。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简要的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例的附图,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施例1的数据归集方法的方法流程图;
图2示出了根据本发明实施例2的数据归集方法的方法流程图;
图3示出了根据本发明实施例3的数据归集装置的模块示意图。
具体实施方式
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方案对上述方案进行详细的说明。
【实施例1】
本实施例提供一种应用于资产证券化系统中的数据归集方法,该数据归集方法可用于进行资产数据归集。图1示出了根据本发明实施例1的数据归集方法的方法流程图。如图1所示,本实施例所述的数据归集方法可以包括下述步骤或处理:
S101:获取第一目标系统名称、第一属性值和第二属性值。
其中,资产证券化系统可以提供前端数据归集页面,以供用户输入或选择第一目标系统的名称、第一属性值和第二属性值。然后,可以通过资产证券化系统提供的前端数据归集页面获取用户输入或选择的第一目标系统名称、第一属性值和第二属性值。其中,所述第一目标系统为用户想要获取的数据所在的系统,该系统为与资产证券化系统不同的第三方系统,如核心系统、客户中心系统等。第一属性值、第二属性值为用户想要获取的数据在第一目标系统的键值,其可以例如为产品号、借据号等。
S102:根据所述第一目标系统名称、第一属性值和第二属性值获取要操作的第一数据源名称和第一数据表名称。
其中,可以预先获取各第三方系统的数据源命名规则和数据表命名规则,并将各第三方系统的数据源命名规则和数据表命名规则存储到命名规则配置文件中。不同的第三方系统的分库规则分表规则及分库健分表健可能不同,其数据源命名规则和数据表命名规则也不尽相同。例如,核心系统是按产品号分库、借据号分表,其数据源的命名规则可以为calculator_产品号,其数据表的命名规则可以为逻辑表名_借据号%16。而客户中心系统是单库并按客户ID分表,其数据库不分库,数据表的命名规则可以为逻辑表名_客户ID%16。
在获取了第一目标系统的名称之后,可以根据第一目标系统的名称从命名规则配置文件中获取第一目标系统的数据源命名规则和数据表命名规则。然后,根据的第一属性值和第一目标系统的数据源命名规则得到第一数据源名称,根据第二属性值和数第一目标系统的据表命名规则得到第一数据表名称。其中,第一数据源为第一目标系统的数据库按第一属性分库后的数据库(即一个分库),第一数据表为第一目标系统的数据库按第二属性分表后的数据表(即一个分表),第一目标系统的分库健为第一属性,分表健为第二属性。
例如,核心系统按产品号分库、借据号分表,其数据源的命名规则为:calculator_产品号,其数据表的命名规则为:receipt_借据号%16。若获取的第一目标系统为核心系统,第一属性值为1005,第二属性值为30,则得到的第一数据源的名称则为calculator_1005,第一数据表的名称则为:receipt_14。
在本实施例的一种实现方式中,第二属性值可以缺省。例如,如果缺省借据号,则可以在核心系统的calculator_1005数据源中聚合查询该产品号下的所有借据信息。
S103:根据所述第一数据源名称和第一数据表名称从第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据。
在获取了第一数据源名称和第一数据表名称之后,可以根据第一数据源名称将要操作的目标数据源动态切换为第一数据源,根据第一数据表名称将要操作的目标数据表动态切换为第一数据表,然后从第一数据源的第一数据表中获取与第一属性值、第二属性值匹配的第一数据。
例如,若第一数据源的名称为calculator_1005,第一数据表的名称为:receipt_14,则可以将要操作的数据源动态切换为核心系统的名称为calculator_1005的数据源(即核心系统按产品号分库后名称为receipt_14的库),将要操作的数据表动态切换为核心系统的receipt_14的数据表(即核心系统按借据号分表后名称为receipt_14的表),然后从数据源calculator_1005的数据表receipt_14中获取产品号为1005、借据号为30的资产数据。
S104:获取第二目标系统名称、第三属性值和第四属性值。
其中,在本实施例的一种实现方式中,根据第一属性值和第二属性值从第一目标系统的数据源中获取的第一数据可以有多条,第三属性值和第四属性值可以从第一数据中获取。
具体而言,可以从资产证券化系统提供的前端数据归集页面获取第二目标系统的名称,根据第二目标系统名称获取第二目标系统的数据源命名规则和数据表命名规则,根据第二目标系统的数据源命名规则和数据表命名规则确定要获取的第三属性和第四属性,然后从第一数据中获取第三属性值和第四属性值。
例如,根据产品号1005、借据号30从核心系统获取的资产数据(第一数据)有多条,各资产数据属于不同的客户。根据第二目标系统名称确定第二目标系统为客户中心系统,根据第二目标系统名称获取的第二目标系统的数据源命名规则为customer,数据表命名规则为customer_客户ID%16。此时,可以根据第二目标系统的数据源命名规则和数据表命名规则确定第三属性为缺省,第四属性为客户ID,然后从各资产数据中获取各条资产数据的第四属性值,即客户ID值。
当然,如果第二目标系统不是单库,而是按第三属性分库,则可以根据第二目标系统的数据库命名规则确定第三属性,此时第三属性不缺省,其为第二目标系统的分库健。
S105:根据所述第二目标系统名称、第三属性值和第四属性值获取要操作的第二数据源名称和第二数据表名称。
在获取了第二目标系统的名称、第三属性值和第四属性值之后,可以根据第三属性值和第二目标系统的数据源命名规则得到第二数据源名称,根据第二属性值和数据表命名规则得到第二数据表名称。其中,第二目标系统按第三属性分库,按第四属性分表,即第二目标系统的分库健为第三属性,分表健为第四属性。
例如,若第二目标系统为客户中心系统,客户中心系统的数据库不分库,并按客户ID分表,其数据源名为customer,数据表命名规则为customer_客户ID%16。此时,无论第三属性值为什么值,计算出来的第二数据源的名称都为customer,第二数据表的名称则为:customer_客户ID值%16。此时,第三属性值可以缺省。
S106:根据所述第二数据源名称和第二数据表名称从所述第二数据源的第二数据表中获取与所述第三属性值、第四属性值匹配的第二数据。
在确定了第二数据源名称和第二数据表名称之后,可以根据第二数据源名称和第二数据表名称将要操作的数据源动态切换为第二数据源,将要操作的数据表动态切换为第二数据表,然后从第二数据源的第二数据表中获取与第三属性值和第四属性值匹配的第二数据。
例如,若第二目标系统为客户中心系统,第三属性缺省,第四属性为客户ID,其值为10,计算出来的第二数据源的名称为customer,第二数据表的名称为:customer_6。可以将要操作的数据源动态切换为客户中心系统的名称为customer的数据源,并将要操作的数据表动态切换为客户中心系统的名称为customer_6的数据表,然后从数据源名称为customer,数据表名称为customer_6的数据表中获取客户ID值为10的客户数据。
S107:根据所述第一数据和所述第二数据构建归集数据,其中,一条归集数据包括一条第一数据和与所述第一数据关联的第二数据。
其中,可以根据第一数据和与第一数据关联的第二数据构建归集数据,其中一条归集数据可以包括一条第一数据和与所述第一数据关联的第二数据。例如,第一目标系统为核心系统,获取的第一数据为资产数据,可以从资产数据中获取客户ID,根据该条资产数据中的客户ID从第二目标系统即客户中心系统获取的客户数据即为与第一数据关联的第二数据,该客户数据可以为该条资产数据所述客户的详细客户信息。在获取了资产数据和客户数据后,可以根据一条资产数据和与该条资产数据关联的客户数据,即该条资产数据所属客户的详细信息构建一条归集数据。
可以理解的是,通过本实施例提供的数据归集方法,本实施例可以从多个不同的第三方系统中获取关联数据来构建归集数据。例如,在从第一目标系统获取第一数据,从第二目标系统获取与第一数据关联的第二数据的基础上,本实施例还可以从第二数据中获取第五属性值和第六属性值,根据第五属性值和第六属性值从第三目标系统中获取与第二数据关联的第三数据,根据第一数据、与第一数据关联的第二数据、与第二数据关联的第三数据构建一条归集数据。
本实施例通过根据第三方系统的数据源命名规则和数据表命名规则获取要操作的第三方系统的数据源名称和数据表名称,根据第三方系统中的数据源名称和数据表名称将要操作的数据源动态切换为第三方系统的数据源和数据表,进而从第三方系统的数据源直接获取数据。相比于传统的通过第三方系统提供的接口来获取数据而言,本实施例无需改造第三方系统,可以像操作自有数据一样操作第三方数据源,可以做到第三方系统无感。并且,可以灵活适配不同分库分表架构。
【实施例2】
图2示出了根据本发明实施例2的数据归集方法的方法流程图。如图2所示,在获取了第一数据源名称和第一数据表名称之后,本实施例具体可以采用以下方法从第一数据源的第一数据表中获取与第一属性值、第二属性值匹配的第一数据:
S201:根据第一数据源名称和数据源配置文件将数据源操作对象切换为第一数据源,其中,所述数据源配置文件中配置了数据源名称与数据源地址的映射关系。
具体而言,可以预先获取各第三方系统的数据源名称以及数据源地址,并将数据源名称和数据源地址配置到数据源配置文件中,其中,一个数据源名称与其对应的数据源地址对应。在默认情况下,可以将要操作的数据源默认设置为资产证券化系统本身的数据源。在获取了第一数据源名称后,可以基于注解操作(@DS("#datasource"))和数据源配置文件(整合了各数据源的数据源名称和数据源地址的多数据源整合配置文件)将数据源操作对象动态切换为第一数据源。其中,@DS("#datasource")中的datasource为要操作的数据源名称,如第一数据源名称。
S202:根据第一数据表名称将数据表操作对象切换为第一数据源的第一数据表。
其中,在获取了第一数据表名后,可以将数据库操作语句(SQL语句)中的逻辑表名替换为第一数据表的表名(即将SQL语句中的逻辑表名替换为真实表名),从而将数据表操作对象动态切换为第一数据表。
S203:从所述第一数据源的第一数据表中获取与第一属性值、第二属性值匹配的第一数据。
其中,可以根据第一属性值、第二属性值从第一数据源的第一数据表中获取与第一属性值、第二属性值匹配的第一数据。
进一步地,在获取了第二目标系统、第三属性值、第四属性值后、第二数据源的数据源名称和第二数据表的数据表名称后,也可以通过本实施例提供的上述方法将要操作的数据源动态切换为第二数据源,将要操作的数据表动态切换为第二数据表,进而从第二数据源的第二数据表中获取与第三属性值和第四属性值匹配的第二数据。
具体而言,可以根据第二数据源名称和数据源配置文件将数据源操作对象切换为第二数据源,其中,所述数据源配置文件中配置了数据源名称与数据源地址的映射关系。然后根据第二数据表名称将数据表操作对象切换为第二数据源的第二数据表,进而从从第二数据源的第二数据表中获取与所述第三属性值、第四属性值匹配的第二数据。
本实施方式将各数据源的数据源名称和数据源地址配置在数据源配置文件中,并动态切换数据源,其可以更加灵活的修改功能,快速匹配各种分库分表,实现读写分离。
【实施例3】
本实施例提供一种应用于资产证券化系统中的数据归集装置,该数据归集装置可用于资产数据归集。图3示出了根据本发明实施例3的数据归集装置的模块示意图,如图3所示,本实施例所述的数据归集装置10可以包括:
参数获取模块11,用于获取第一目标系统名称、第一属性值和第二属性值;
名称计算模块12,用于根据所述第一目标系统名称、第一属性值和第二属性值获取要操作的第一数据源名称和第一数据表名称;
数据获取模块13,用于根据所述第一数据源名称和第一数据表名称从第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据;
所述参数获取模块11,还用于获取第二目标系统名称、第三属性值和第四属性值;
所述名称计算模块12,还用于根据所述第二目标系统名称、第三属性值和第四属性值获取要操作的第二数据源名称和第二数据表名称;
所述数据获取模块13,用于根据所述第二数据源名称和第二数据表名称从所述第二数据源的第二数据表中获取与所述第三属性值、第四属性值匹配的第二数据;
归集数据构建模块14,用于根据所述第一数据和所述第二数据构建归集数据,其中,一条归集数据包括一条第一数据和与所述第一数据关联的第二数据。
在本实施例的一种实现方式中,所述名称计算模块包括:
规则获取单元,用于根据所述第一目标系统名称获取第一目标系统的数据源命名规则和数据表命名规则;
数据源名称计算单元,用于根据所述第一属性值与所述数据源命名规则计算所述第一数据源名称;
数据表名称计算单元,用于根据所述第二属性值与所述数据表命名规则计算所述第一数据表名。
在本实施例的一种实现方式中,所述数据获取模块包括:
数据源切换单元,用于根据所述第一数据源名称和数据源配置文件将数据源操作对象切换为第一数据源,其中,所述数据源配置文件中配置了数据源名称与数据源地址的映射关系;
数据表切换单元,用于根据所述第一数据表名称将数据表操作对象切换为第一数据源的第一数据表;
数据获取单元,用于从所述第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据。
在本实施例的一种实现方式中,所述第一属性为产品号,所述第二属性为借据号,所述第一数据为资产数据;所述第三属性缺省,所述第四属性为客户ID,所述第二数据为客户数据。
在本实施例的一种实现方式中,所述第三属性值和所述第四属性值从所述第一数据中获取。
本实施例提供的数据归集装置可用于实现上述实施例所述的数据归集方法,其工作流程和处理方式可参见前述方法实施例的描述,在此不再赘述。
通过以上的实施例的描述,本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施方式的某些部分所述的方法。
【实施例4】
本实施例提供一种计算机存储介质,例如,可以是硬盘、光盘、闪存、软盘、磁带等,其上存储有计算机可读指令,该计算机可读指令能够被处理器执行以实现上述实施例所述的应用于资产证券化系统中的数据归集方法。
【实施例5】
本实施例提供一种计算机设备,至少包括:
存储器,其上存储有计算机程序,
处理器,其可以执行所述计算机程序以实现上述实施例所述的应用于资产证券化系统中的数据归集方法。
本说明书中使用的术语和措辞仅仅为了举例说明,并不意味构成限定。本领域技术人员应当理解,在不脱离所公开的实施方式的基本原理的前提下,对上述实施方式中的各细节可进行各种变化。因此,本发明的保护范围只由权利要求确定,在权利要求中,除非另有说明,所有的术语应按最宽泛合理的意思进行理解。
Claims (12)
1.一种数据归集方法,其特征在于,所述数据归集方法应用于资产证券化系统中,所述方法包括:
获取第一目标系统名称、第一属性值和第二属性值;
根据所述第一目标系统名称、第一属性值和第二属性值获取要操作的第一数据源名称和第一数据表名称;
根据所述第一数据源名称和第一数据表名称从第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据;
获取第二目标系统名称、第三属性值和第四属性值;
根据所述第二目标系统名称、第三属性值和第四属性值获取要操作的第二数据源名称和第二数据表名称;
根据所述第二数据源名称和第二数据表名称从第二数据源的第二数据表中获取与所述第三属性值、第四属性值匹配的第二数据;
根据所述第一数据和所述第二数据构建归集数据,其中,一条归集数据包括一条第一数据和与所述第一数据关联的第二数据。
2.根据权利要求1所述的数据归集方法,其特征在于,根据所述第一目标系统名称、第一属性值和第二属性值获取要操作的第一数据源名称和第一数据表名称包括:
根据所述第一目标系统名称获取第一目标系统的数据源命名规则和数据表命名规则;
根据所述第一属性值与所述数据源命名规则计算所述第一数据源名称;
根据所述第二属性值与所述数据表命名规则计算所述第一数据表名。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一数据源名称和第一数据表名称从第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据包括:
根据所述第一数据源名称和数据源配置文件将数据源操作对象切换为第一数据源,其中,所述数据源配置文件中配置了数据源名称与数据源地址的映射关系;
根据所述第一数据表名称将数据表操作对象切换为第一数据源的第一数据表;
从所述第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据。
4.根据权利要求1所述的方法,其特征在于,
所述第一属性为产品号,所述第二属性为借据号,所述第一数据为资产数据;
所述第三属性为缺省,所述第四属性为客户ID,所述第二数据为客户数据。
5.根据权利要求1所述的方法,其特征在于,
所述第三属性值和所述第四属性值从所述第一数据中获取。
6.一种数据归集装置,其特征在于,所述数据归集方法应用于资产证券化系统中,所述装置包括:
参数获取模块,用于获取第一目标系统名称、第一属性值和第二属性值;
名称计算模块,用于根据所述第一目标系统名称、第一属性值和第二属性值获取要操作的第一数据源名称和第一数据表名称;
数据获取模块,用于根据所述第一数据源名称和第一数据表名称从第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据;
所述参数获取模块,还用于获取第二目标系统名称、第三属性值和第四属性值;
所述名称计算模块,还用于根据所述第二目标系统名称、第三属性值和第四属性值获取要操作的第二数据源名称和第二数据表名称;
所述数据获取模块,还用于根据所述第二数据源名称和第二数据表名称从第二数据源的第二数据表中获取与所述第三属性值、第四属性值匹配的第二数据;
归集数据构建模块,用于根据所述第一数据和所述第二数据构建归集数据,其中,一条归集数据包括一条第一数据和与所述第一数据关联的第二数据。
7.根据权利要求6所述的数据归集装置,其特征在于,所述名称计算模块包括:
规则获取单元,用于根据所述第一目标系统名称获取第一目标系统的数据源命名规则和数据表命名规则;
数据源名称计算单元,用于根据所述第一属性值与所述数据源命名规则计算所述第一数据源名称;
数据表名称计算单元,用于根据所述第二属性值与所述数据表命名规则计算所述第一数据表名。
8.根据权利要求6所述的数据归集装置,其特征在于,所述数据获取模块包括:
数据源切换单元,用于根据所述第一数据源名称和数据源配置文件将数据源操作对象切换为第一数据源,其中,所述数据源配置文件中配置了数据源名称与数据源地址的映射关系;
数据表切换单元,用于根据所述第一数据表名称将数据表操作对象切换为第一数据源的第一数据表;
数据获取单元,用于从所述第一数据源的第一数据表中获取与所述第一属性值、第二属性值匹配的第一数据。
9.根据权利要求6所述的数据归集装置,其特征在于,
所述第一属性为产品号,所述第二属性为借据号,所述第一数据为资产数据;
所述第三属性缺省,所述第四属性为客户ID,所述第二数据为客户数据。
10.根据权利要求6所述的数据归集装置,其特征在于,
所述第三属性值和所述第四属性值从所述第一数据中获取。
11.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该计算机指令在被处理器执行时实现权利要求1-5中任意一项权利要求所述的数据归集方法。
12.一种计算机设备,其特征在于,所述设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现权利要求1-5中任意一项权利要求所述的数据归集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010920713.5A CN111984657B (zh) | 2020-09-04 | 2020-09-04 | 数据归集方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010920713.5A CN111984657B (zh) | 2020-09-04 | 2020-09-04 | 数据归集方法、装置、存储介质及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111984657A true CN111984657A (zh) | 2020-11-24 |
CN111984657B CN111984657B (zh) | 2023-07-25 |
Family
ID=73448480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010920713.5A Active CN111984657B (zh) | 2020-09-04 | 2020-09-04 | 数据归集方法、装置、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111984657B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111986030A (zh) * | 2020-09-02 | 2020-11-24 | 河北幸福消费金融股份有限公司 | 数据处理方法、装置、存储介质以及计算机设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408899A (zh) * | 2008-11-21 | 2009-04-15 | 北京中企开源信息技术有限公司 | 一种网站多数据源切换方法和装置 |
CN103870455A (zh) * | 2012-12-07 | 2014-06-18 | 阿里巴巴集团控股有限公司 | 一种多数据源的数据集成处理方法和装置 |
CN104573115A (zh) * | 2015-02-04 | 2015-04-29 | 新余兴邦信息产业有限公司 | 支持多类型数据库操作的集成接口的实现方法及系统 |
CN105160593A (zh) * | 2015-08-18 | 2015-12-16 | 国家电网公司 | 面向大数据的输变电设备多维异构数据融合方法及系统 |
CN109145025A (zh) * | 2018-09-14 | 2019-01-04 | 阿里巴巴集团控股有限公司 | 一种多数据源集成的数据查询方法、装置及业务服务器 |
CN110532189A (zh) * | 2019-07-18 | 2019-12-03 | 中国人民财产保险股份有限公司 | 一种持续集成系统、方法及装置 |
CN111538754A (zh) * | 2020-06-22 | 2020-08-14 | 杭州城市大数据运营有限公司 | 一种数据归集管理系统、方法、装置、设备和存储介质 |
-
2020
- 2020-09-04 CN CN202010920713.5A patent/CN111984657B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408899A (zh) * | 2008-11-21 | 2009-04-15 | 北京中企开源信息技术有限公司 | 一种网站多数据源切换方法和装置 |
CN103870455A (zh) * | 2012-12-07 | 2014-06-18 | 阿里巴巴集团控股有限公司 | 一种多数据源的数据集成处理方法和装置 |
CN104573115A (zh) * | 2015-02-04 | 2015-04-29 | 新余兴邦信息产业有限公司 | 支持多类型数据库操作的集成接口的实现方法及系统 |
CN105160593A (zh) * | 2015-08-18 | 2015-12-16 | 国家电网公司 | 面向大数据的输变电设备多维异构数据融合方法及系统 |
CN109145025A (zh) * | 2018-09-14 | 2019-01-04 | 阿里巴巴集团控股有限公司 | 一种多数据源集成的数据查询方法、装置及业务服务器 |
CN110532189A (zh) * | 2019-07-18 | 2019-12-03 | 中国人民财产保险股份有限公司 | 一种持续集成系统、方法及装置 |
CN111538754A (zh) * | 2020-06-22 | 2020-08-14 | 杭州城市大数据运营有限公司 | 一种数据归集管理系统、方法、装置、设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
TIEN FABRIANTI KUSUMASARI等: "Data profiling for data quality improvement with OpenRefine", 《2016 INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY SYSTEMS AND INNOVATION (ICITSI)》, pages 1 - 2 * |
安新亮: "数据集成中XML文档和关系数据库映射方法研究", 《信息技术》, vol. 37, no. 3, pages 96 - 99 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111986030A (zh) * | 2020-09-02 | 2020-11-24 | 河北幸福消费金融股份有限公司 | 数据处理方法、装置、存储介质以及计算机设备 |
CN111986030B (zh) * | 2020-09-02 | 2023-09-08 | 河北幸福消费金融股份有限公司 | 数据处理方法、装置、存储介质以及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111984657B (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109254966B (zh) | 数据表查询方法、装置、计算机设备及存储介质 | |
JP6192800B2 (ja) | 個別のデータ値に対する効率よい演算を行うための方法、装置、並びにコンピュータ可読媒体 | |
CN102999561B (zh) | 数据集和数据服务的上下文趋向 | |
US9063992B2 (en) | Column based data transfer in extract, transform and load (ETL) systems | |
CN111177231A (zh) | 报表生成方法和报表生成装置 | |
US9292579B2 (en) | Method and system for document data extraction template management | |
JPWO2015025386A1 (ja) | データ処理システム、データ処理方法およびデータ処理装置 | |
WO2022134583A1 (zh) | 一种保险数据信息的生成方法、装置、服务器及存储介质 | |
CN107798579B (zh) | 一种协议文件的生成方法及其终端 | |
AU2014343044A1 (en) | Method and system for document data extraction template management | |
US9606997B2 (en) | Inferred operations for data analysis | |
CN111414410B (zh) | 数据处理方法、装置、设备和存储介质 | |
CN110928903A (zh) | 数据提取方法及装置、设备和存储介质 | |
WO2019123703A1 (ja) | データ分析支援装置、データ分析支援方法およびデータ分析支援プログラム | |
CN111091883A (zh) | 一种医疗文本处理方法、装置、存储介质及设备 | |
CN111984657A (zh) | 数据归集方法、装置、存储介质及计算机设备 | |
CN107784091B (zh) | 一种操作权限查询方法及终端设备 | |
CN112465564A (zh) | 一种供应商推荐方法、装置、终端 | |
CN102707938A (zh) | 表形式软件规格制作支援方法及装置 | |
CN114969109A (zh) | 一种渐进交互式数据查询系统、方法及介质 | |
CN114997109A (zh) | 单据转换方法、装置、计算机设备和存储介质 | |
KR102256814B1 (ko) | 목적 데이터 선별 방법 및 시스템 | |
CN110598072B (zh) | 一种特征数据聚合方法及装置 | |
CN109542986B (zh) | 网络数据的要素归一化方法、装置、设备及存储介质 | |
CN111309704B (zh) | 数据库操作方法和数据库操作系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |