CN105701202A - 一种数据管理方法及系统、业务平台 - Google Patents
一种数据管理方法及系统、业务平台 Download PDFInfo
- Publication number
- CN105701202A CN105701202A CN201610018255.XA CN201610018255A CN105701202A CN 105701202 A CN105701202 A CN 105701202A CN 201610018255 A CN201610018255 A CN 201610018255A CN 105701202 A CN105701202 A CN 105701202A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- attribute information
- correspondence
- business datum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013523 data management Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract description 14
- 230000000875 corresponding effect Effects 0.000 description 72
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据管理方法及系统、业务平台，其中，方法包括：获取业务信息，其中，业务信息携带至少一条第一目标业务数据及对应的第一属性信息；根据每一条第一属性信息构建目标文件目录结构；在至少一个第一数据存储节点上分别创建第一目标文件夹，并将至少一条第一目标业务数据分别存储到对应的第一目标文件夹下；获取目标行业数据的数据结构；在至少一个第二数据存储节点上分别创建第二目标文件夹，并将目标行业数据分别存储到对应的第二目标文件夹下；将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下。通过本发明的技术方案，可实现将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。
Description
技术领域
本发明涉及通信技术领域，特别涉及一种数据管理方法及系统、业务平台。
背景技术
随着互联网技术的发展，许多企业为了达成了解市场的动态变化及竞争对手分析，通常需要网上采集与自己行业相关的业务数据
目前，传统的数据采集系统主要利用垂直搜索和网络爬虫技术相结合以实现数据采集业务，根据用户提供的关键词，利用相应的搜索引擎进行垂直搜索，然后获取对应关键词的多个初始URL(UniformResoureLocator，统一资源定位符)地址，进而利用网络爬虫获取每一个初始URL地址分别对应的多个下级URL地址，利用相应的数据采集规则从多个初始URL地址以及多个下级URL地址分别对应的目标网页上采集相应的业务数据。
但是，在上述技术方案中，数据采集系统的数据库结构与企业内部行业数据对应的数据库结构可能完全不同，并不能将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。
发明内容
本发明提供了一种数据管理方法及系统、业务平台，可实现将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。
第一方面，本发明提供了一种数据管理方法，包括：
S1：从外部数据采集系统获取业务信息，其中，所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息；
S2：根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构；
S3：根据所述文件目录结构在至少一个第一数据存储节点上分别创建第一目标文件夹，并将所述至少一条第一目标业务数据分别存储到对应的第一目标文件夹下；
S4：从外部关系型数据库中获取目标行业数据的数据结构；
S5：根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，并将所述目标行业数据分别存储到对应的第二目标文件夹下；
S6：将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下。
进一步的，在所述将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下之后，还包括：
接收外部客户端发送的数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；
根据所述第二属性信息查询所述目标文件目录结构，从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据，并将所述第二目标业务数据发送到外部客户端。
进一步的，
所述从外部关系型数据库中获取目标行业数据的数据结构，包括：从外部关系型数据库中获取携带目标行业数据的至少一张数据库表；
所述根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，包括：
根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。
第二方面，本发明提供了一种业务平台，包括：
第一接口单元，用于从外部数据采集系统获取业务信息，其中，所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息；
构建单元，用于根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构；
处理单元，用于根据所述文件目录结构在至少一个第一数据存储节点上分别创建第一目标文件夹，并将所述至少一条第一目标数据分别存储到对应的第一目标文件夹下；根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，并将所述目标行业数据分别存储到对应的第二目标文件夹下；将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下；
第二接口单元，用于从外部关系型数据库中获取目标行业数据的数据结构。
进一步的，还包括：
第三接口单元，用于接收外部客户端发送的数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；将第二目标业务数据发送到外部客户端；
所述处理单元，进一步用于根据所述第二属性信息查询所述目标文件目录结构，从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据，并将所述第二目标业务数据发送给第三接口单元。
进一步的，
所述第二接口单元，用于从外部关系型数据库中获取携带目标行业数据的至少一张数据库表；
所述处理单元，用于根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。
第三方面，本发明提供了一种数据管理系统，包括：
如上述第二方面中任一所述的业务平台、客户端及数据采集系统；
其中，所述客户端包括：
第四接口单元，用于向数据采集系统发送目标数据采集指令，其中，所述目标数据采集指令携带目标统一资源定位符URL地址及待采集的每一条第一目标业务数据分别对应的属性信息；
所述数据采集系统，用于根据所述目标统一资源定位符URL地址及待采集的每一条第一目标业务数据分别对应的属性信息配置对应的数据采集模版，利用所述数据采集模版采集至少一条第一目标业务数据，并将所述至少一条第一目标业务数据发送到所述业务平台。
进一步的，
当所述业务平台包括第三接口单元时，所述客户端，进一步包括：
第五接口单元，用于向所述业务平台发送数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；接收所述业务平台发送的第二目标业务数据。
本发明提供了一种数据管理方法及系统、业务平台，根据外部数据采集系统发送的至少一条第一目标业务数据及其对应的属性信息构建文件目录结构，根据该文件目录结构在至少一个第一数据存储节点上构建相应的第一目标文件夹来分别存储对应的第一目标业务数据；相应的，从外部关系型数据库中获取对应的目标行业数据的数据结构，并根据该数据结构在至少一个第二数据存储节点上分别创建对应的第二目标文件夹来存储对应的目标行业数据；进而将每一个第二目标文件夹下存储的行业数据镜像到对应的第一目标文件夹下；可见，通过本发明的技术方案，可实现将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据管理方法的流程图；
图2是本发明一实施例提供的一种业务平台的结构示意图；
图3是本发明一实施例提供的另一种业务平台的结构示意图；
图4是本发明一实施例提供的一种数据管理系统的结构示意图；
图5是本发明一实施例中利用数据管理系统实现数据管理业务的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种数据管理方法，该方法可以包括以下步骤：
S1：从外部数据采集系统获取业务信息，其中，所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息；
S2：根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构；
S3：根据所述文件目录结构在至少一个第一数据存储节点上分别创建第一目标文件夹，并将所述至少一条第一目标业务数据分别存储到对应的第一目标文件夹下；
S4：从外部关系型数据库中获取目标行业数据的数据结构；
S5：根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，并将所述目标行业数据分别存储到对应的第二目标文件夹下；
S6：将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下。
本发明一实施例中，根据外部数据采集系统发送的至少一条第一目标业务数据及其对应的属性信息构建文件目录结构，根据该文件目录结构在至少一个第一数据存储节点上构建相应的第一目标文件夹来分别存储对应的第一目标业务数据；相应的，从外部关系型数据库中获取对应的目标行业数据的数据结构，并根据该数据结构在至少一个第二数据存储节点上分别创建对应的第二目标文件夹来存储对应的目标行业数据；进而将每一个第二目标文件夹下存储的行业数据镜像到对应的第一目标文件夹下；可见，通过本发明的技术方案，可实现将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。
本发明一实施例中，每一个第一数据存储节点可对应一台第一数据存储服务器，通过目标文件目录结构管理每一台第一数据存储服务器的文件命名空间，即根据目标文件目录结构分别在每一台第一数据存储服务器上分别创建对应的第一目标文件夹，并根据目标文件目录结构将每一条第一目标业务数据分别发送至对应的第一数据存储服务器，每一台第一数据存储服务器分别将接收到的第一目标业务数据存储至对应的第一目标文件夹下。
本发明一实施例中，每一个第二数据存储节点可对应一台第二数据存储服务器，这里，可以利用SQOOP工具根据关系型数据库中存储的目标行业数据对应的数据结构，分别在至少一台第二数据存储服务器上构建对应的第二目标文件夹以存储对应的目标行业数据。
进一步的，为了方便用户同时查看相应的第一目标业务数据及该第一目标业务数据对应的行业数据，本发明一个优选实施例中，在所述将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下之后，还包括：
接收外部客户端发送的数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；
根据所述第二属性信息查询所述目标文件目录结构，从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据，并将所述第二目标业务数据发送到外部客户端。
进一步的，由于关系型数据库中利用数据库表来存储行业数据，只需要分别获取每一张数据库表即可获取目标行业数据对应的数据结构，因此，本发明一个优选实施例中，所述从外部关系型数据库中获取目标行业数据的数据结构，包括：从外部关系型数据库中获取携带目标行业数据的至少一张数据库表。
相应的，具备不同标识信息的数据库表可以分别对应不同类型的目标行业数据，因此，为了将不同类型的目标行业数据分别存储在不同的第二目标文件夹下，本发明一个优选实施例中，所述根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，包括：
根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。
如图2所示，本发明实施例提供了一种业务平台20，包括：
第一接口单元201，用于从外部数据采集系统获取业务信息，其中，所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息；
构建单元202，用于根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构；
处理单元203，用于根据所述文件目录结构在至少一个第一数据存储节点205上分别创建第一目标文件夹，并将所述至少一条第一目标数据分别存储到对应的第一目标文件夹下；根据目标行业数据的数据结构在至少一个第二数据存储节点206上分别创建第二目标文件夹，并将所述目标行业数据分别存储到对应的第二目标文件夹下；将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下；
第二接口单元204，用于从外部关系型数据库中获取目标行业数据的数据结构。
进一步的，为了方便用户同时查看相应的第一目标业务数据及该第一目标业务数据对应的行业数据，本发明一个优选实施例中，如图3所示，还包括：
第三接口单元301，用于接收外部客户端发送的数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；将第二目标业务数据发送到外部客户端；
所述处理单元203，进一步用于根据所述第二属性信息查询所述目标文件目录结构，从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据，并将所述第二目标业务数据发送给第三接口单元。
进一步的，由于关系型数据库中利用数据库表来存储行业数据，只需要分别获取每一张数据库表即可获取目标行业数据对应的数据结构，因此，本发明一个优选实施例中，所述第二接口单元204，用于从外部关系型数据库中获取携带目标行业数据的至少一张数据库表；
所述处理单元203，用于根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
如图4所示，本发明实施例提供了一种数据管理系统，包括：
如上述实施例中任一所述的业务平台20、客户端401及数据采集系统402；
其中，所述客户端401包括：
第四接口单元4011，用于向数据采集系统402发送目标数据采集指令，其中，所述目标数据采集指令携带目标统一资源定位符URL地址及待采集的每一条第一目标业务数据分别对应的属性信息；
所述数据采集系统402，用于根据所述目标统一资源定位符URL地址及待采集的每一条第一目标业务数据分别对应的属性信息配置对应的数据采集模版，利用所述数据采集模版采集至少一条第一目标业务数据，并将所述至少一条第一目标业务数据发送到所述业务平台。
本发明一实施例中，为了实现从互联网采集相关的业务数据，并将采集到的业务数据与企业内部的行业数据整合到一起，可通过客户端将被采集的第一目标业务数据对应的目标URL地址及每一条第一目标业务数据分别对应的属性信息发送给数据采集系统，数据采集系统即可根据目标URL地址及每一条第一目标业务数据分别对应的属性信息配置对应的数据采集模版，进而利用该数据采集模版以从目标URL地址对应的网页上采集至少一条对应的第一目标信息，并将采集到的第一目标信息发送到业务平台，相应的，业务平台即可将数据采集系统采集到的每一条第一目标业务数据和企业内部的关系型数据库中存储的目标行业数据按照相应的对应关系整合到一起。
进一步的，为了方便用户同时查看相应的第一目标业务数据及该第一目标业务数据对应的行业数据，以便于进行数据对比及竞争对手分析等，本发明一个优选实施例中，
当所述业务平台20包括第三接口单元301时，所述客户端401，进一步包括：
第五接口单元(附图中未示出)，用于向所述业务平台20发送数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；接收所述业务平台20发送的第二目标业务数据。
如图5所示，结合本发明一实施例的数据管理系统，以利用该数据管理系统实现将从互联网上采集到的对应“手机”的业务数据与存储在数据库中对应“手机”的目标行业数据整合到一起为例，可以包括如下步骤：
步骤501，用户通过客户端将数据采集指令发送给数据采集系统。
这里，数据采集指令应包括待采集的每一条第一目标业务数据对应的目标URL地址及分别对应的属性信息。
举例来说，可以从电商网站“京东”采集某一类产品(比如，手机)的业务数据，相应的则可向数据采集系统发送电商网站“京东”对应“手机”这一分类信息的URL地址及对应的属性信息“手机”；值得说明的是，属性信息包括但不限于产品类型的分类信息，还可以包括其他下级信息，比如，具体的某一品牌手机及该品牌手机分别对应的至少一个型号等。
步骤502，数据采集系统根据数据采集指令配置数据采集模版。
步骤503，数据采集系统利用配置好的数据采集模版从目标URL地址上采集至少一条第一目标业务数据。
步骤504，将采集到的每一条第一目标业务数据及其分别对应的属性信息发送至业务平台。
步骤505，业务平台根据每一条第一业务数据分别对应的属性信息构建目标文件目录结构。
具体地，可以利用每一条第一业务数据分别对应的属性信息构建具备一定层级关系的目标文件目录结构；举例来说，当第一业务数据为对应各品牌手机的相关业务数据时，可将“手机”这一属性信息作为一级文件目录结构，相应的，针对各品牌手机分别对应的品牌名称这一属性信息，可作为“手机”这一一级文件目录结构下的二级文件目录结构。
步骤506，业务平台根据该文件目录结构在至少一个第一数据存储节点上创建对应的第一目标文件夹。
步骤507，将每一条第一目标业务数据分别存储至对应的第一目标文件夹下。
步骤505至步骤507中，每一个第一数据存储节点可对应一台第一数据存储服务器，步骤505中构建的目标文件目录结构可用于管理每一台第一数据存储服务器的文件命名空间，即根据该目标文件目录结构在至少一台第一数据存储服务器上构建对应该目标文件目录结构的第一目标文件夹，比如，对应步骤505中所述的目标文件目录结构，在一台第一数据存储服务器上构建一级文件夹“手机”，相应的，还可在该一级文件夹下分别创建多个二级文件夹，每一个文件夹可分别对应一品牌手机的品牌名称。
值得说明的是，这里可以将不同品牌的“手机”分别对应的业务数据分别存储在不同的第一数据存储节点上，即将不同品牌的“手机”的业务数据存储在不同的第一数据存储服务器上。
步骤508，从企业内部数据库中获取目标行业数据对应的至少一张数据库表。
本发明一实施例中，企业内部一般使用关系型数据库存储目标行业数据，利用不同的数据库表来存储具备不同分类信息的目标行业数据。
步骤509，根据每一张数据库表的标识信息在至少一个第二数据存储节点上构建对应的第二目标文件夹。
本发明一实施例中，关系型数据库使用具备不同标识信息的数据库表来存储具备不同分类信息的目标行业数据；举例来说，可利用多张不同的数据库表来存储不同品牌或型号的“手机”分别对应的目标行业数据，每一张数据库表分别对应的标识信息即对应当前数据库表下存储的“手机”对应的分类信息(比如，品牌名称和/或型号)。
步骤510，将每一张数据库表分别携带的目标行业数据存储到对应的第二目标文件夹下。
这里，可利用SQOOP工具根据每一张数据库表分别对应的数据结构将数据库表转为文件存储格式，文件夹名称对应该表的标识信息，即文件名称为当前数据库表对应的分类信息。
步骤511，将每一个第二目标文件夹下分别存储的目标行业数据镜像到对应的第一目标文件夹下。
这里，可以将每一个第二目标文件夹下的目标行业数据分别镜像到具备相同文件夹名称的第一目标文件夹下，即将具备相同品牌和/或相同型号的“手机”对应的业务数据整合到一个文件夹下。
步骤512，用户通过客户端向业务平台发送数据查询请求。
这里，数据查询请求携带第二目标业务数据对应的第二属性信息，这里，第二属性信息可以是某一品牌手机对应的品牌名称和/或型号。
步骤513，业务平台根据该第二属性信息查询目标文件目录结构以确定对应第二属性信息的第一目标文件夹。
步骤514，业务平台从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据，并将所述第二目标业务数据发送给客户端。
这里，从第一目标文件夹下读取的第二目标业务数据不仅包括了从互联网上采集到的对应“手机”的业务数据，还包括了从对应的第二目标文件夹下镜像到第一目标文件夹的目标行业数据。
本发明各个实施例至少具有如下有益效果：
1、根据外部数据采集系统发送的至少一条第一目标业务数据及其对应的属性信息构建文件目录结构，根据该文件目录结构在至少一个第一数据存储节点上构建相应的第一目标文件夹来分别存储对应的第一目标业务数据；相应的，从外部关系型数据库中获取对应的目标行业数据的数据结构，并根据该数据结构在至少一个第二数据存储节点上分别创建对应的第二目标文件夹来存储对应的目标行业数据；进而将每一个第二目标文件夹下存储的行业数据镜像到对应的第一目标文件夹下；可见，通过本发明的技术方案，可实现将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。
2、用户可通过客户端同时查看相应的目标行业数据及对应该目标行业数据的从互联网上采集到的第一目标业务数据，方便进行竞争对手分析及了解市场的动态变化。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (8)
1.一种数据管理方法，其特征在于，包括：
从外部数据采集系统获取业务信息，其中，所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息；
根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构；
根据所述文件目录结构在至少一个第一数据存储节点上分别创建第一目标文件夹，并将所述至少一条第一目标业务数据分别存储到对应的第一目标文件夹下；
从外部关系型数据库中获取目标行业数据的数据结构；
根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，并将所述目标行业数据分别存储到对应的第二目标文件夹下；
将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下。
2.根据权利要求1所述的方法，其特征在于，在所述将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下之后，还包括：
接收外部客户端发送的数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；
根据所述第二属性信息查询所述目标文件目录结构，从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据，并将所述第二目标业务数据发送到外部客户端。
3.根据权利要求1所述的方法，其特征在于，
所述从外部关系型数据库中获取目标行业数据的数据结构，包括：从外部关系型数据库中获取携带目标行业数据的至少一张数据库表；
所述根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，包括：
根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。
4.一种业务平台，其特征在于，包括：
第一接口单元，用于从外部数据采集系统获取业务信息，其中，所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息；
构建单元，用于根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构；
处理单元，用于根据所述文件目录结构在至少一个第一数据存储节点上分别创建第一目标文件夹，并将所述至少一条第一目标数据分别存储到对应的第一目标文件夹下；根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，并将所述目标行业数据分别存储到对应的第二目标文件夹下；将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下；
第二接口单元，用于从外部关系型数据库中获取目标行业数据的数据结构。
5.根据权利要求4所述的业务平台，其特征在于，还包括：
第三接口单元，用于接收外部客户端发送的数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；将第二目标业务数据发送到外部客户端；
所述处理单元，进一步用于根据所述第二属性信息查询所述目标文件目录结构，从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据，并将所述第二目标业务数据发送给第三接口单元。
6.根据权利要求4所述的业务平台，其特征在于，
所述第二接口单元，用于从外部关系型数据库中获取携带目标行业数据的至少一张数据库表；
所述处理单元，用于根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。
7.一种数据管理系统，其特征在于，包括：
如上述权利要求4至6中任一所述的业务平台、客户端及数据采集系统；
其中，所述客户端包括：
第四接口单元，用于向数据采集系统发送目标数据采集指令，其中，所述目标数据采集指令携带目标统一资源定位符URL地址及待采集的每一条第一目标业务数据分别对应的属性信息；
所述数据采集系统，用于根据所述目标统一资源定位符URL地址及待采集的每一条第一目标业务数据分别对应的属性信息配置对应的数据采集模版，利用所述数据采集模版采集至少一条第一目标业务数据，并将所述至少一条第一目标业务数据发送到所述业务平台。
8.根据权利要求7所述的数据管理系统，其特征在于，当所述业务平台包括第三接口单元时，所述客户端，进一步包括：
第五接口单元，用于向所述业务平台发送数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；接收所述业务平台发送的第二目标业务数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610018255.XA CN105701202B (zh) | 2016-01-12 | 2016-01-12 | 一种数据管理方法及系统、业务平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610018255.XA CN105701202B (zh) | 2016-01-12 | 2016-01-12 | 一种数据管理方法及系统、业务平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105701202A true CN105701202A (zh) | 2016-06-22 |
| CN105701202B CN105701202B (zh) | 2019-04-09 |
Family
ID=56226301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610018255.XA Active CN105701202B (zh) | 2016-01-12 | 2016-01-12 | 一种数据管理方法及系统、业务平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105701202B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776731A (zh) * | 2016-11-18 | 2017-05-31 | 山东浪潮云服务信息科技有限公司 | 一种搜索实现方法、装置和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100162230A1 (en) * | 2008-12-24 | 2010-06-24 | Yahoo! Inc. | Distributed computing system for large-scale data handling |
| CN104135516A (zh) * | 2014-07-29 | 2014-11-05 | 浪潮软件集团有限公司 | 一种基于行业数据采集的分布式云存储方法 |
| CN104915415A (zh) * | 2015-06-08 | 2015-09-16 | 浪潮集团有限公司 | 一种分布式互联网数据采集解析系统 |
| CN105139281A (zh) * | 2015-08-20 | 2015-12-09 | 北京中电普华信息技术有限公司 | 一种电力营销大数据的处理方法及系统 |
-
2016
- 2016-01-12 CN CN201610018255.XA patent/CN105701202B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100162230A1 (en) * | 2008-12-24 | 2010-06-24 | Yahoo! Inc. | Distributed computing system for large-scale data handling |
| CN104135516A (zh) * | 2014-07-29 | 2014-11-05 | 浪潮软件集团有限公司 | 一种基于行业数据采集的分布式云存储方法 |
| CN104915415A (zh) * | 2015-06-08 | 2015-09-16 | 浪潮集团有限公司 | 一种分布式互联网数据采集解析系统 |
| CN105139281A (zh) * | 2015-08-20 | 2015-12-09 | 北京中电普华信息技术有限公司 | 一种电力营销大数据的处理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 白冰等: "《企业竞争情报服务信息平台实现模式研究》", 《情报理论与实践》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776731A (zh) * | 2016-11-18 | 2017-05-31 | 山东浪潮云服务信息科技有限公司 | 一种搜索实现方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105701202B (zh) | 2019-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9158803B2 (en) | Incremental schema consistency validation on geographic features | |
| CN100440783C (zh) | 用于通过网络提供定制内容的方法和系统 | |
| CN109145205A (zh) | 一种基于区块链的跨链数据操作方法和装置 | |
| CN101344881A (zh) | 海量文件型数据的索引生成方法及装置和搜索系统 | |
| CN102164186A (zh) | 一种实现云搜索服务的方法及系统 | |
| CN101464894A (zh) | 数据查询方法和系统 | |
| CN106599111A (zh) | 一种数据管理方法及存储系统 | |
| CN104408044A (zh) | 一种文件存取方法和系统 | |
| CN108717457A (zh) | 一种电子商务平台大数据处理方法和系统 | |
| WO2014022712A2 (en) | Publish information on website | |
| CN102761628A (zh) | 泛域名识别、处理装置及方法 | |
| CN104636368B (zh) | 数据检索方法、装置及服务器 | |
| CN102868601B (zh) | 一种有关基于图形配置数据库业务网络拓扑的路由系统 | |
| CN105404974A (zh) | 一种数据资产化方法、装置及管理平台 | |
| CN102508884A (zh) | 热点事件与实时评论的获取方法及装置 | |
| Kmoch et al. | A spatial data infrastructure approach for the characterization of new zealand's groundwater systems | |
| CN102999558B (zh) | 使用数据结构处理搜索查询 | |
| KR101243056B1 (ko) | 개체 식별 결과 검색 시스템 및 방법 | |
| CN105701202A (zh) | 一种数据管理方法及系统、业务平台 | |
| CN103064832B (zh) | 一种用于操作多层次结构数据集合的方法与设备 | |
| CN108399224A (zh) | 一种网络购物信息的推送的方法 | |
| CN101542467A (zh) | 聚合联合平台 | |
| Ivánová et al. | Provenance in the next-generation spatial knowledge infrastructure | |
| CN111309932B (zh) | 评论数据的查询方法、装置、设备及存储介质 | |
| US8996470B1 (en) | System for ensuring the internal consistency of a fact repository |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190313 Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong. Applicant after: SHANDONG INSPUR CLOUD INFORMATION TECHNOLOGY Co.,Ltd. Address before: 250100 Ji'nan hi tech Zone No. 2877, Shandong Province Applicant before: INSPUR GROUP Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 250100 Ji'nan science and technology zone, Shandong high tide Road, No. 1036 wave of science and Technology Park, building S06 Patentee after: Tidal Cloud Information Technology Co.,Ltd. Address before: 250100 Ji'nan science and technology zone, Shandong high tide Road, No. 1036 wave of science and Technology Park, building S06 Patentee before: SHANDONG INSPUR CLOUD INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park Patentee after: Inspur cloud Information Technology Co.,Ltd. Address before: 250100 Ji'nan science and technology zone, Shandong high tide Road, No. 1036 wave of science and Technology Park, building S06 Patentee before: Tidal Cloud Information Technology Co.,Ltd. |