CN106940725B - 一种征信数据存储调度方法及系统 - Google Patents

Abstract

本发明实施例公开了一种征信数据存储调度方法与系统，用于满足数据多样性的存储要求。本发明实施例方法包括：接收应用系统发出的目标数据的写入请求；判断目标数据是否为非结构化数据；若是，则根据目标数据的写入请求从元数据模块中查询存储资源池中现有数据存储布局的元数据；根据存储资源池中现有数据存储布局的元数据、目标数据的写入请求以及预置的调度算法为目标数据分配第一存储位置；根据第一存储位置向存储资源池发起目标数据的写入操作；接收存储资源池生成的写入操作结果；根据写入操作结果将第一存储位置保存至元数据模块中并将写入操作结果发送至应用系统。

Description

一种征信数据存储调度方法及系统

技术领域

本发明涉及金融领域数据处理领域，具体涉及一种征信数据存储调度方法及系统。

背景技术

大数据征信平台使用的数据具有来源多样化的特点，这些数据结构化、半结构化、非结构化并存。

征信数据涵盖所有政府职能部门监管信息(例如企业基本身份信息，行政许可、认定信息，行政奖罚信息，产品质量监测信息，法院判决信息，知识产权信息)，银行信贷信用信息(例如中国人民银行信贷信用评价信息、各商业银行信贷评价信息、小贷公司信贷评价信息、民间借贷信用评价信息)，行业协会评价信息(例如各行业协会评价信息、水电气电讯交通等社会公共事业单位评价信息)，媒体评价信息，企业运营管理信息，市场反馈信息(例如消费者、交易对方、合作伙伴、员工等)，其内容包括文本，版式文件等各种数据。

在这种情况下传统的结构化数据表已经无法满足数据多样性的存储要求，迫切需要一种同时支持结构化、半结构化和非结构化数据存储、及统一调度的存储系统。

发明内容

本发明实施例提供了一种征信数据存储调度方法及征信数据存储调度系统，用于满足数据多样性的存储要求。

本发明实施例第一方面提供了一种征信数据存储调度方法，包括：

接收应用系统发出的目标数据的写入请求；

判断所述目标数据是否为非结构化数据；

若所述目标数据为非结构化数据，则根据所述目标数据的写入请求从元数据模块中查询存储资源池中现有数据存储布局的元数据；

根据所述存储资源池中现有数据存储布局的元数据、所述目标数据的写入请求以及预置的调度算法为所述目标数据分配第一存储位置，所述第一存储位置为所述目标数据在所述存储资源池中的存储位置；

根据所述目标数据的写入请求以及所述第一存储位置确定所述目标数据的写入操作；

发送所述写入操作至所述存储资源池；

接收所述存储资源池生成的写入操作结果，所述写入操作结果为所述存储资源池根据所述目标数据的写入操作将所述目标数据存储至第二存储位置，并建立所述第一存储位置与所述第二存储位置的映射关系后生成，所述第二存储位置为所述目标数据在所述目标数据对应的物理存储设备中的存储位置。

根据所述写入操作结果将所述第一存储位置保存至所述元数据模块中并将所述写入操作结果发送至所述应用系统。

结合第一方面，在第一方面的第一种可能的实现方式中，当所述目标数据为结构化数据时，从所述元数据模块中获取所述目标数据的归属信息；

根据所述目标数据的归属信息确定所述目标数据对应的目标数据表所属的数据库在所述存储资源池中的目标存储位置；

根据所述目标存储位置向所述存储资源池发起所述目标数据的写入操作；

接收所述存储资源池生成的所述目标数据的写入操作结果，并将所述目标数据的写入操作结果发送至所述应用系统，所述目标数据的写入操作结果为所述存储资源池根据目标存储位置映射关系将目标数据发送至所述目标数据表所属的数据库对应的物理存储设备进行存储之后生成，所述目标存储位置映射关系为所述目标数据表所属的数据库在所述存储资源池中的存储位置与所述目标数据表所属的数据库在对应的物理存储设备中的存储位置的映射关系。

结合第一方面，在第一方面的第二种可能的实现方式中，当应用系统需要读取数据时，可以接收所述应用系统发送的所述目标数据的读取请求；

判断所述目标数据是否为非结构化数据；

若所述目标数据为非结构化数据，则根据所述目标数据的读取请求从所述元数据模块中获取所述目标元数据，所述目标元数据为所述目标数据在所述存储资源池中的第一存储位置；

根据所述目标元数据向所述存储资源池发起所述目标数据的读取操作；

接收所述存储资源池读取到的所述目标数据并将所述目标数据发送至所述应用系统，所述目标数据为所述存储资源池根据所述第一存储位置、以及所述第一存储位置与第二存储位置之间的映射关系来获得所述第二存储位置，并通过所述第二存储位置获得所述目标数据在对应的物理存储设备中的存储位置来读取到的。

结合第一方面以及第一方面第二种可能的实现方式，在第一方面的第三种可能的实现方式中，当所述目标数据为结构化数据时，从所述元数据模块获取所述目标数据的归属信息；

根据所述目标数据的归属信息确定所述目标数据对应的目标数据表所属数据库在所述存储资源池中的第三存储位置；

根据所述第三存储位置向所述存储资源池发起所述目标数据的读取操作；

接收所述存储资源池读取到的所述目标数据，且将所述目标数据发送至所述应用系统，所述目标数据为所述存储资源池根据所述第三存储位置、以及所述第三存储位置与第四存储位置之间的映射关系来获得第四存储位置，并从所述第四存储位置来读取到的，所述第四存储位置为所述目标数据对应的数据表所属的数据库在对应的物理存储设备中的存储位置。

结合第一方面以及第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述元数据模块中预先保存有所述目标数据在所述目标数据表中的位置信息与所述目标数据表所属的数据库在所述存储资源池中的所述第三存储位置的归属关系；

所述存储资源池中预先保存有所述目标数据表所属的数据库在所述存储资源池中对应的所述第三存储位置与所述目标数据表所属的数据库在对应的物理存储设备中的所述第四存储位置的映射关系。，

本发明实施例第二方面提供了一种征信数据存储调度系统，包括：

第一接收模块，用于接收应用系统发出的目标数据的写入请求；

第一判断模块，用于判断所述目标数据是否为非结构化数据；

查询模块，用于在所述目标数据为非结构化数据，根据所述目标数据的写入请求从元数据模块中查询存储资源池中现有数据存储布局的元数据；

分配模块，用于根据所述存储资源池中现有数据存储布局的元数据、所述目标数据的写入请求以及预置的调度算法为所述目标数据分配第一存储位置，所述第一存储位置为所述目标数据在所述存储资源池中的存储位置；

第一确定模块，用于根据所述目标数据的写入请求以及所述第一存储位置确定所述目标数据的写入操作；

发送模块，用于发送所述写入操作至所述存储资源池；

所述第一接收模块还用于接收所述存储资源池生成的写入操作结果，所述写入操作结果为所述存储资源池根据所述目标数据的写入操作将所述目标数据存储至第二存储位置，并建立所述第一存储位置与所述第二存储位置的映射关系后生成，所述第二存储位置为所述目标数据在所述目标数据对应的物理存储设备中的存储位置。

第一处理模块，用于根据所述写入操作结果将所述第一存储位置保存至所述元数据模块中并将所述写入操作结果发送至所述应用系统。

从以上技术方案可以看出，本发明实施例具有以下优点：存储虚拟化，将数据资源中的结构化数据集群和非结构化数据集群虚拟化为一个统一的存储资源池，当应用系统请求写入的数据为结构化数据时，可以将该结构化数据写入结构化数据集群，结构化数据集群为结构化数据提供实际的物理存储空间，当应用系统请求写入的数据为非结构化数据时，可以将该非结构化数据写入非结构化数据集群，非结构化数据集群为非结构化数据提供实际的物理存储空间，只要存储空间足够，则应用系统的结构化数据以及非结构化数据都可以写入存储，满足数据多样化的存储要求。

附图说明

图1为本发明实施例中征信数据存储调度方法的系统部署结构示意图；

图2为本发明实施例中征信数据存储调度方法中数据写入的实施例示意图；

图3为本发明实施例中征信数据存储调度方法中数据读取的实施例示意图；

图4为本发明实施例中征信数据存储调度系统的一个实施例示意图；

图5为本发明实施例中征信数据存储调度系统的另一实施例示意图。

具体实施方式

本发明实施例提供了一种征信数据存储调度方法与系统，用于满足数据多样性的存储要求。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，本发明实施例中征信数据存储调度方法的系统部署的结构示意图，主要由应用系统、征信数据存储调度系统以及数据资源中心组成，其中：

1、应用系统：包括企业征信系统，指为企业用户提供征信服务的系统，可生成企业征信数据。

2、征信数据存储调度系统：是指整合非结构化和结构化的存储集群，对存储集群的储存资源进行封装，虚拟化为统一的共享存储资源池，该存储资源池可集中存储结构化和非结构化数据，为企业征信系统提供征信数据存储服务，包括元数据模块、存储调度模块以及存储资源池，其中原数据模块主要负责保存数据在存储资源池的存储位置信息以及保存存储资源池中的已用和空闲的情况；存储调度模块主要负责接收应用系统的数据读写请求，并结合现有的存储布局，将数据读取请求快读定位到已存的数据，将数据写入请求分配到存储资源池的空闲存储位置；存储资源池为一个虚拟的存储空间，负责对接物理存储设备，并管理数据在存储资源池中的存储位置与该数据在物理存储设备中的实际位置的映射关系。

3、数据资源中心：指提供实际存储空间的物理存储设备，包括非结构化数据集群和非结构化数据集群，结构化数据集群和非结构化数据集群采用了分布式集群架构，当储存空间不够时，可以增加结构化数据集群中的整合库以及增加非结构化数据集群中的数据节点来增加存储容量；非结构化数据集群存储非结构化征信数据，如从各种征信数据源采集的TXT格式、HTML格式、XM格式等数据文件，或企业征信系统生成的征信报告PDF文件等；结构化数据集群存储结构化征信数据，如企业用户的注册信息，即从TXT、HTML、XML等数据文件中提取的企业基本信息、企业经营信息等需要保存到数据表的数据。

请参阅图2，本发明实施例中征信数据存储调度方法中数据写入的实施例包括：

201、接收应用系统发出的目标数据的写入请求。

本实施例中，当企业征信系统请求保存目标数据时，该目标数据可以为某企业的一份企业征信报告，也可以为该企业征信系统采集到的一个税务数据，征信数据存储调度系统中的存储调度模块可以接收企业征信系统发起的目标数据的写入请求。

202、判断目标数据是否为非结构化数据，若是，则执行步骤203至步骤207，若否，则执行步骤208至步骤211。

本实施例中，存储调度模块在接收到目标数据之后，可以判断该目标数据是否为非结构化数据，若是，则执行步骤203至步骤207，若否，则执行步骤208至步骤211。

203、根据目标数据的写入请求从元数据模块中查询存储资源池中现有数据存储布局的元数据。

本实施例中，当存储调度模块确定该目标数据为非结构化数据时，可以根据该目标数据的写入请求从元数据模块中查询存储资源池中现有数据的存储布局的元数据，即存储资源池中哪些位置是有数据的，哪些位置是可以写入数据。

204、根据存储资源池现有数据存储布局的元数据、目标数据的写入请求以及预置的调度算法为目标数据分配第一存储位置。

本实施例中，存储调度模块根据查询获取的存储资源池中现有数据存储布局的元数据，结合目标数据的写入请求以及预置的调度算法(例如先来先服务、最短优先、高优先权优先调度算法、高响应比优先调度算法、基于时间片的轮转调度算法或者电梯调度算法等算法)为目标数据分配第一存储位置，该第一存储位置为目标数据在存储资源池中的存储位置。

205、根据第一存储位置向存储资源池发起目标数据的写入操作。

本实施例中，存储调度模块在确定第一存储位置后，可以根据第一存储位置向存储资源池发起目标数据的写入操作，例如，当确定存储资源池中的A位置为可以写入数据的位置，可以请求将目标数据写入存储资源池中的A位置。

206、接收存储资源池生成的写入操作结果。

本实施例中，存储调度模块可以接收存储资源池生成的写入操作结果。即存储资源池在接收到目标数据的写入操作之后，将目标数据存储至第二存储位置，并建立第一存储位置与第二存储位置的映射关系(即目标数据在存储资源池中的存储位置与目标数据在对应的物理存储设备中的实际存储位置的映射关系)，该物理设备为半结构化数据以及非结构化的数据提供实际的存储空间，即非结构化数据集群，采用分布式集群架构，方便横向扩展存储资源，该第二存储位置为目标数据在目标数据对应的物理存储设备中的存储位置。例如，根据数据写入请求要求保存一份大小为5M的企业征信报告，存储调度模块为该请求分配了对应的存储位置为A，该存储位置是存储资源池的一个存储位置；存储资源池将企业征信报告发送到对应的物理存储设备进行存储，存储的位置为L1，完成存储后，在存储资源池建立A与L1的映射关系。

需要说明的是，物理存储设备可以分为两种，一种为非结构化数据集群，用于存储非结构化数据，另一种为结构化数据集群，用于存储结构化数据。

207、根据写入操作结果将第一存储位置保存至元数据模块中并将写入操作结果发送至应用系统。

本实施例中，征信数据存储调度系统中的存储调度模块在目标数据的保存至对应的物理存储设备之后，将目标数据在存储资源池中的存储位置保存到元数据模块，例如将企业征信报告对应的存储位置A保存到元数据模块，这样就相当于标记该存储位置已用，且可用于数据读取时快速定位，并将目标数据的写入结果返回给应用系统，即告诉应用系统该目标数据已成功进行保存。

208、从元数据模块中获取目标数据的归属信息。

本实施例中，当确定目标数据为结构化数据时，征信数据调度系统中的存储调度模块可以从元数据模块中查询目标数据的归属信息，例如请求新增加一条数据到某个数据表中，即可以从元数据模块中查询该条数据对应的数据表、归属的数据库、及该数据表在存储资源池对应的存储位置等信息。

209、根据目标数据归属信息确定目标数据对应的目标数据表所属的数据库在存储资源池中的目标存储位置。

本实施例中，存储调度模块根据目标数据的归属信息可以确定目标数据对应的目标数据表所属的数据库在存储资源池中的目标存储位置，即确定目标数据表所属的数据库在存储资源池中的存储位置。

210、根据目标存储位置向存储资源池发起目标数据的写入操作。

本实施例中，存储调度模块根据目标存储位置向存储资源池发起目标数据的写入操作，即请求将目标数据写入存储资源池中的目标数据表内。

211、接收存储资源池生成的目标数据的写入操作结果，并将目标数据的写入操作结果发送至应用系统。

本实施例中，存储调度模块请求将目标数据写入存储资源池中的目标数据表，存储资源池接收目标数据的写入操作根据预置的目标存储映射关系将目标数据发送到目标数据表所属的数据库对应的物理存储设备进行存储(该目标数据表所属的数据库对应的物理存储设备为结构化数据提供实际的物理存储空间，即结构化数据集群，采用分布式集群架构，方便横向扩展存储资源)，并返回目标数据的写入操作结果，存储调度模块可以接收到目标数据的写入操作结果，并将该写入操作结果返回应用系统，该目标存储映射关系为目标数据表所属的数据库在存储资源池中的存储位置与目标数据表所属的数据库在目标数据表对应的物理存储设备中的存储位置的映射关系。

综上所述，可以看出，首先存储虚拟化，将数据资源中的结构化数据集群和非结构化数据集群虚拟化为一个统一的存储资源池，只要存储空间足够，则应用系统的结构化数据以及非结构化数据数据都可以写入存储。其次，底层的结构化数据集群和非结构化数据集群采用了分布式集群架构，当存储资源池的存储空间不够时，可以通过横向扩展，即在数据资源中心的结构化数据集群中的增加整合库或者在非结构化数据集群中来增加数据节点，来增加存储容量，从而实现在逻辑上的数据容量无上限，充分体现存储虚拟化的优势。

请参阅图3，本发明实施例中征信数据存储调度方法中数据读取的实施例包括：

301、接收应用系统发送的目标数据的读取请求。

本实施例中，当企业征信系统请求读取目标数据时，存储调度模块可以接收企业征信系统发起的目标数据的读取请求，例如企业征信系统请求读取某企业用户的一份企业征信报告；又例如企业征信系统请求读取一个已采集的原始税务数据文件。

302、判断目标数据是否为非结构化数据，若是，则执行步骤303至步骤305，若否，则执行步骤306至步骤309。

本实施例中，存储调度模块可以判断目标数据是否为非结构化数据，若是，则执行步骤303至步骤305，若否，则执行步骤306至步骤309。

303、根据目标数据的读取请求从元数据模块中获取目标元数据。

本实施例中，存储调度模块接收目标数据的读取请求，从元数据模块查询目标数据的目标元数据，该目标元数据为目标数据在存储资源池中的第一存储位置，元数据模块将目标元数据返回给存储调度模块，例如该目标数据在存储资源池中的存储位置为B，元数据模块返回的目标元数据即为该目标数据在存储资源池中的存储位置B。

304、根据目标元数据向存储资源池发起目标数据的读取操作。

本实施例中，存储调度模块根据查询获取的目标元数据向存储资源池发起目标数据的读取操作，即根据目标元数据向存储资源池请求从目标数据在存储资源池中的存储位置读取目标数据。

305、接收存储资源池读取到的目标数据并将目标数据发送至应用系统。

本实施例中，存储资源池接收到目标数据的读取操作后，根据第一存储位置、以及第一存储位置与第二存储位置之间的映射关系来获得第二存储位置，并通过第二存储位置获得目标数据在对应的物理存储设备中的存储位置，并从目标数据在对应的物理存储设备中的存储位置读取该目标数据，例如根据获取目标数据的元数据，该目标数据在存储资源池的存储位置是B，在根据该存储位置B映射的物理存储设备的实际存储位置L2，并从L2中读取目标数据，在读取到目标数据之后，可以将该目标数据返回给存储调度模块，存储调度模块将该目标数据发送至应用系统。

306、从元数据模块中获取目标数据的归属信息。

本实施例中，当确定目标数据为结构化数据时，存储调度模块可以从元数据模块中查询目标数据的归属信息，例如请求从某个数据表读取一条数据，即可以从元数据模块中查询该条数据对应的数据表、归属的数据库、以及该数据表在存储资源池对应的存储位置等信息。

307、根据目标数据的归属信息确定目标数据对应的目标数据表所属的数据库在存储资源池中的第三存储位置。

本实施例中，存储调度模块根据目标数据的归属信息可以确定目标数据对应的目标数据表所属的数据库在存储资源池中的第三存储位置，即确定目标数据表在存储资源池中的存储位置。

308、根据第三存储位置向存储资源池发起目标数据的读取操作。

本实施例中，存储调度模块根据第三存储位置向存储资源池发起目标数据的读取操作，即请求从存储资源池的第三存储位置中读取该目标数据。

309、接收存储资源池读取到的目标数据，且将目标数据发送至应用系统。

本实施例中，存储调度模块向存储资源池发起目标数据的读取操作，存储资源池接收到目标数据的读取操作，存储资源池根据第三存储位置、以及第三储存位置与第四存储位置之间的映射关系来获得第四存储位置，并从该第四存储位置读取到目标数据，该第四存储位置为目标数据对应的数据表所属的数据库在对应的物理存储设备中的存储位置，在从第四存储位置获取到目标数据之后，存储资源池将该目标数据发送至存储调度模块，存储调度模块将该目标数据发送至应用系统。

需要说明的是，元数据模块中预先保存有目标数据在目标数据表中的位置信息与目标数据表所属的数据库在存储资源池中的第三存储位置的归属关系；存储资源池中预先保存有目标数据表所属的数据库在存储资源池中对应的第三存储位置与目标数据表所属的数据库对应的物理存储设备中的存储位置的映射关系，即数据表的归属信息、数据表存储位置的映射关系，在物理设备中创建数据库时，预先保存到元数据模块和存储资源池中。

综上所述，可以看出，企业征信数据进行征信数据读取操作都可以通过元数据模块来快速定位以及获取到读取位置，然后应用系统可以读取到所需要的数据，底层的结构化数据集群和非结构化数据集群采用了分布式集群架构，当存储资源池的存储空间不够时，可以通过横向扩展，即在数据资源中心的结构化数据集群中的增加整合库或者在非结构化数据集群中来增加数据节点，来增加存储容量，从而实现在逻辑上的数据容量无上限，充分体现存储虚拟化的优势。

上面从征信数据存储调度方法的角度对本发明实施例进行描述，下面从征信数据存储调度系统的角度对本发明实施例进行描述。

请参阅图4，图4为本发明实施例中征信数据存储调度系统的一个实施例示意图，该征信数据存储调度系统包括：

第一接收模块401，用于接收应用系统发出的目标数据的写入请求；

第一判断模块402，用于判断目标数据是否为非结构化数据；

查询模块403，用于在目标数据为非结构化数据，根据目标数据的写入请求从元数据模块中查询存储资源池中现有数据的存储布局；

分配模块404，用于根据存储资源池中的存储布局、目标数据的写入请求以及预置的调度算法为目标数据分配第一存储位置，第一存储位置为目标数据在存储资源池中的存储位置；

第一处理模块405，根据第一存储位置向存储资源池发起目标数据的写入操作；

第一处理模块405还用于接收存储资源池生成的写入操作结果，写入操作结果为存储资源池根据目标数据的写入操作将目标数据存储至第二存储位置，并建立第一存储位置与第二存储位置的映射关系后生成，第二存储位置为目标数据在目标数据对应的物理存储设备中的存储位置。

第二处理模块406，用于根据写入操作结果将第一存储位置保存至元数据模块中并将写入操作结果发送至应用系统。

为了便于理解，下面结合图5进行详细说明。

请参阅图5，本发明实施例中征信数据存储调度系统的另一实施例包括：

第一接收模块501，用于接收应用系统发出的目标数据的写入请求；

第一判断模块502，用于判断目标数据是否为非结构化数据；

查询模块503，用于在目标数据为非结构化数据，根据目标数据的写入请求从元数据模块中查询存储资源池中现有数据的存储布局；

分配模块504，用于根据存储资源池中的存储布局、目标数据的写入请求以及预置的调度算法为目标数据分配第一存储位置，第一存储位置为目标数据在所存储资源池中的存储位置；

第一处理模块505，根据第一存储位置向存储资源池发起目标数据的写入操作；

第一处理模块505还用于接收存储资源池生成的写入操作结果，写入操作结果为存储资源池根据目标数据的写入操作将目标数据存储至第二存储位置，并建立第一存储位置与第二存储位置的映射关系后生成，第二存储位置为目标数据在目标数据对应的物理存储设备中的存储位置。

第二处理模块506，用于根据写入操作结果将第一存储位置保存至元数据模块中并将写入操作结果发送至应用系统；

第一获取模块507，用于在目标数据为结构化数据时，从元数据模块中获取目标数据的归属信息；

第一确定模块508，用于根据目标数据的归属信息确定目标数据所属的数据库对应的目标数据表在存储资源池中的目标存储位置；

第三处理模块509，用于根据目标存储位置向存储资源池发起目标数据的写入操作；

第三处理模块509，还用于接收存储资源池生成的目标数据的写入操作结果，并将目标数据的写入操作结果发送至应用系统，目标数据的写入操作结果为存储资源池根据目标存储位置映射关系将目标数据发送至目标数据表所属的数据库对应的物理存储设备进行存储之后生成，目标存储位置映射关系为目标数据表在存储资源池中的存储位置与目标数据表在目标数据表所属的数据库对应的物理存储设备中的存储位置的映射关系；

第二接收模块510，用于接收应用系统发送的目标数据的读取请求；

第二判断模块511，用于判断目标数据是否为非结构化数据；

第二获取模块512，用于目标数据为非结构化数据时，根据目标数据的读取请求从元数据模块中获取目标元数据，目标元数据为目标数据在存储资源池中的第一存储位置；

第四处理模块513，用于根据目标元数据向存储资源池发起目标数据的读取操作；

第四处理模块513，还用于接收存储资源池读取到的目标数据并将目标数据发送至应用系统，目标数据为存储资源池根据第一存储位置、以及第一存储位置与第二存储位置之间的映射关系来获得第二存储位置，并通过第二存储位置获得目标数据在对应的物理存储设备中的存储位置来读取到的；

第三获取模块514，用于从元数据模块获取所述目标数据的归属信息；

第二确定模块515，用于根据目标数据的归属信息确定目标数据对应的目标数据表所属的数据库在存储资源池中的第三存储位置；

第五处理模块516，用于根据第三存储位置向存储资源池发起目标数据的读取操作；

第五处理模块516，还用于接收存储资源池读取到的目标数据，且将目标数据发送至应用系统，目标数据为存储资源池根据第三存储位置、以及第三存储位置与第四存储位置之间的映射关系来获得第四存储位置，并从第四存储位置来读取到的，第四存储位置为目标数据对应的数据表所属的数据库在对应的物理存储设备中的存储位置。

其中，该元数据模块中预先保存有目标数据在目标数据表中的位置信息与目标数据表所属的数据库在存储资源池中的第三存储位置的归属关系；存储资源池中预先保存有目标数据表所属的数据库在存储资源池中对应的存储位置与目标数据表在目标数据表所属的数据库对应的物理存储设备中的第四存储位置的映射关系。

本实施例中的征信数据存储调度系统的各模块与单元之间的交互方式如前述图2以及图3所示实施例中的描述，具体此处不再赘述。

综上所述，当企业征信系统需要写入数据时，征信数据存储调度系统中的存储调度模块通过第一接收模块501接收应用系统发出的目标数据的写入请求，通过第一判断模块502判断该目标数据是否为非结构化数据，通过查询模块503在目标数据为非结构数据时，根据目标数据的写入请求从元数据模块中查询存储资源池中的存储布局，通过分配模块504根据存储资源池中的存储布局、目标数据的写入请求以及预置的调度算法为目标数据分配第一存储位置，通过第一处理模块504，根据第一存储模块箱存储资源池发起目标数据的写入操作并接收存储资源池生成的写入操作结果，当需要进行征信数据的读取操作时，可以通过第二接收模块510接收应用系统发出的目标数据的读取请求，通过第二判断模块511判断目标数据是否为非结构化数据，通过第二获取模块512在目标数据为非结构化数据时，根据目标数据的读取请求从元数据模块中获取目标元数据，通过第四处理模块513根据目标元数据向存储资源池发起目标数据的读取操作并接收存储资源池读取到的目标数据，且将目标数据发送至应用系统。可以看出，首先是将存储虚拟化，将数据资源中的结构化数据集群和非结构化数据集群虚拟化为一个统一的存储资源池，只要存储空间足够，则应用系统的结构化数据以及非结构化数据都可以写入存储，数据的读取操作，也可以通过元数据模块来获取到读取位置，然后应用系统可以读取到所需的数据。其次，底层的结构化数据集群和非结构化数据集群采用了分布式集群架构，当存储资源池的存储空间不够时，可以通过横向扩展，即在数据资源中心的结构化数据集群中的增加整合库或者在非结构化数据集群中来增加数据节点，来增加存储容量，从而实现在逻辑上的数据容量无上限，充分体现存储虚拟化的优势。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种征信数据存储调度方法，其特征在于，包括：

接收应用系统发出的目标数据的写入请求；

判断所述目标数据是否为非结构化数据；

若所述目标数据为非结构化数据，则根据所述目标数据的写入请求从元数据模块中查询存储资源池中现有数据存储布局的元数据；

根据所述存储资源池中现有数据存储布局的元数据、所述目标数据的写入请求以及预置的调度算法为所述目标数据分配第一存储位置，所述第一存储位置为所述目标数据在所述存储资源池中的存储位置；

根据所述第一存储位置向所述存储资源池发起所述目标数据的写入操作；

接收所述存储资源池生成的写入操作结果，所述写入操作结果为所述存储资源池根据所述目标数据的写入操作将所述目标数据存储至第二存储位置，并建立所述第一存储位置与所述第二存储位置的映射关系后生成，所述第二存储位置为所述目标数据在所述目标数据对应的物理存储设备中的存储位置；

根据所述写入操作结果将所述第一存储位置保存至所述元数据模块中并将所述写入操作结果发送至所述应用系统；

当所述目标数据为结构化数据时，从所述元数据模块中获取所述目标数据的归属信息；

根据所述目标数据的归属信息确定所述目标数据对应的目标数据表所属的数据库在所述存储资源池中的目标存储位置；

根据所述目标存储位置向所述存储资源池发起所述目标数据的写入操作；

接收所述存储资源池生成的所述目标数据的写入操作结果，并将所述目标数据的写入操作结果发送至所述应用系统，所述目标数据的写入操作结果为所述存储资源池根据目标存储位置映射关系将目标数据发送至所述目标数据表所属的数据库对应的物理存储设备进行存储之后生成，所述目标存储位置映射关系为所述目标数据表所属的数据库在所述存储资源池中的存储位置与所述目标数据表所属的数据库在对应的物理存储设备中的存储位置的映射关系。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述应用系统发送的所述目标数据的读取请求；

判断所述目标数据是否为非结构化数据；

若所述目标数据为非结构化数据，则根据所述目标数据的读取请求从所述元数据模块中获取所述目标元数据，所述目标元数据为所述目标数据在所述存储资源池中的第一存储位置；

根据所述目标元数据向所述存储资源池发起所述目标数据的读取操作；

接收所述存储资源池读取到的所述目标数据并将所述目标数据发送至所述应用系统，所述目标数据为所述存储资源池根据所述第一存储位置、以及所述第一存储位置与第二存储位置之间的映射关系来获得所述第二存储位置，并通过所述第二存储位置获得所述目标数据在对应的物理存储设备中的存储位置来读取到的。

3.根据权利要求2所述的方法，其特征在于，当所述目标数据为结构化数据时，所述方法还包括：

从所述元数据模块获取所述目标数据的归属信息；

根据所述目标数据的归属信息确定所述目标数据对应的目标数据表所属数据库在所述存储资源池中的第三存储位置；

根据所述第三存储位置向所述存储资源池发起所述目标数据的读取操作；

接收所述存储资源池读取到的所述目标数据，且将所述目标数据发送至所述应用系统，所述目标数据为所述存储资源池根据所述第三存储位置、以及所述第三存储位置与第四存储位置之间的映射关系来获得第四存储位置，并从所述第四存储位置来读取到的，所述第四存储位置为所述目标数据对应的数据表所属的数据库在对应的物理存储设备中的存储位置。

4.根据权利要求3所述的方法，其特征在于，所述元数据模块中预先保存有所述目标数据在所述目标数据表中的位置信息与所述目标数据表所属的数据库在所述存储资源池中的所述第三存储位置的归属关系；

所述存储资源池中预先保存有所述目标数据表所属的数据库在所述存储资源池中对应的所述第三存储位置与所述目标数据表所属的数据库在对应的物理存储设备中的所述第四存储位置的映射关系。

5.一种征信数据存储调度系统，其特征在于，包括：

第一接收模块，用于接收应用系统发出的目标数据的写入请求；

第一判断模块，用于判断所述目标数据是否为非结构化数据；

查询模块，用于在所述目标数据为非结构化数据，根据所述目标数据的写入请求从元数据模块中查询存储资源池中现有数据存储布局的元数据；

分配模块，用于根据所述存储资源池中现有数据存储布局的元数据、所述目标数据的写入请求以及预置的调度算法为所述目标数据分配第一存储位置，所述第一存储位置为所述目标数据在所述存储资源池中的存储位置；

第一处理模块，根据所述第一存储位置向所述存储资源池发起所述目标数据的写入操作；

所述第一处理模块还用于接收所述存储资源池生成的写入操作结果，所述写入操作结果为所述存储资源池根据所述目标数据的写入操作将所述目标数据存储至第二存储位置，并建立所述第一存储位置与所述第二存储位置的映射关系后生成，所述第二存储位置为所述目标数据在所述目标数据对应的物理存储设备中的存储位置；

第二处理模块，用于根据所述写入操作结果将所述第一存储位置保存至所述元数据模块中并将所述写入操作结果发送至所述应用系统；

第一获取模块，用于在所述目标数据为结构化数据时，从所述元数据模块中获取所述目标数据的归属信息；

第一确定模块，用于根据所述目标数据的归属信息确定所述目标数据对应的目标数据表所属的数据库在所述存储资源池中的目标存储位置；

第三处理模块，用于根据所述目标存储位置向所述存储资源池发起所述目标数据的写入操作；

所述第三处理模块，还用于接收所述存储资源池生成的所述目标数据的写入操作结果，并将所述目标数据的写入操作结果发送至所述应用系统，所述目标数据的写入操作结果为所述存储资源池根据目标存储位置映射关系将目标数据发送至所述目标数据表所属的数据库对应的物理存储设备进行存储之后生成，所述目标存储位置映射关系为所述目标数据表所属的数据库在所述存储资源池中的存储位置与所述目标数据表在所述目标数据表所属的数据库对应的物理存储设备中的存储位置的映射关系。

6.根据权利要求5所述的系统，其特征在于，所述系统还包括：

第二接收模块，用于接收所述应用系统发送的所述目标数据的读取请求；

第二判断模块，用于判断所述目标数据是否为非结构化数据；

第二获取模块，用于所述目标数据为非结构化数据时，根据所述目标数据的读取请求从所述元数据模块中获取所述目标元数据，所述目标元数据为所述目标数据在所述存储资源池中的第一存储位置；

第四处理模块，用于根据所述目标元数据向所述存储资源池发起所述目标数据的读取操作；

所述第四处理模块，还用于接收所述存储资源池读取到的所述目标数据并将所述目标数据发送至所述应用系统，所述目标数据为所述存储资源池根据所述第一存储位置、以及所述第一存储位置与第二存储位置之间的映射关系来获得第二存储位置，并通过所述第二存储位置获得所述目标数据在对应的物理存储设备中的存储位置来读取到的。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：

第三获取模块，用于从所述元数据模块获取所述目标数据的归属信息；

第二确定模块，用于根据所述目标数据的归属信息确定所述目标数据对应的目标数据表所属的数据库在所述存储资源池中的第三存储位置；

第五处理模块，用于根据所述第三存储位置向所述存储资源池发起所述目标数据的读取操作；

所述第五处理模块，还用于接收所述存储资源池读取到的所述目标数据，且将所述目标数据发送至所述应用系统，所述目标数据为所述存储资源池根据所述第三存储位置、以及所述第三存储位置与第四存储位置之间的映射关系来获得第四存储位置，并从所述第四存储位置来读取到的，所述第四存储位置为所述目标数据对应的数据表所属的数据库在对应的物理存储设备中的存储位置。

8.根据权利要求7所述的系统，其特征在于，所述元数据模块中预先保存有所述目标数据在所述目标数据表中的位置信息与所述目标数据表所属的数据库在所述存储资源池中的第三存储位置的归属关系；

所述存储资源池中预先保存有所述目标数据表所属的数据库在所述存储资源池中对应的所述第三存储位置与所述目标数据表所属的数据库在所述目标数据表对应的物理存储设备中的所述第四存储位置的映射关系。