CN107908371A - 一种数据管理系统及其实现数据管理业务的方法 - Google Patents
一种数据管理系统及其实现数据管理业务的方法 Download PDFInfo
- Publication number
- CN107908371A CN107908371A CN201711292129.4A CN201711292129A CN107908371A CN 107908371 A CN107908371 A CN 107908371A CN 201711292129 A CN201711292129 A CN 201711292129A CN 107908371 A CN107908371 A CN 107908371A
- Authority
- CN
- China
- Prior art keywords
- data
- business datum
- pending business
- storage processing
- pending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据管理系统及其实现数据管理业务的方法，数据管理系统包括：数据采集模块、存储处理模块和分布式存储系统；数据采集模块，用于从采集至少一个待处理业务数据，并将采集的至少一个待处理业务数据分别传输至存储处理模块；存储处理模块，用于在分布式存储系统中预先构建至少一张数据存储表，其中，每一张数据存储表分别对应一个数据类型；针对于接收的每一个待处理业务数据，解析待处理业务数据以确定待处理业务数据的当前数据类型，并将待处理业务数据存储至分布式存储系统中与当前数据类型相对应的数据存储表下。通过本发明的技术方案，可方便对分布式存储系统中存储的各个业务数据进行访问。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种数据管理系统及其实现数据管理业务的方法。
背景技术
随着计算机应用技术的飞速发展，需要存储的业务数据(比如，互联网网站的数据)也在以指数级的增长速度快速增长，如何实现对海量的业务数据进行存储则是我们所面临的重要问题之一。
目前，主要通过分布式存储系统来存储海量的业务数据。由于不同的业务数据可能具备不同的数据类型，具有不同数据类型的业务数据随机存储在分布式存储系统中，不方便对分布式存储系统中存储的各个业务数据进行访问。
发明内容
本发明实施例提供了一种数据管理系统及其实现数据管理业务的方法，可方便对分布式存储系统中存储的各个业务数据进行访问。
第一方面，本发明提供了一种数据管理系统，包括：
数据采集模块、存储处理模块和分布式存储系统；其中，
所述数据采集模块，用于采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；
所述存储处理模块，用于在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。
优选地，
所述存储处理模块，包括：解析单元和第一存储处理单元；其中，
所述解析单元，用于针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；
所述第一存储处理单元，用于在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。
优选地，
所述存储处理模块，进一步包括：第二存储处理单元；其中，
所述第二存储处理单元，用于在所述当前数据类型为图片数据时，将所述待处理业务数据所对应的图片名称作为所述待处理业务数据所对应的第二主键值，在所述分布式存储系统中对应于所述图片数据的第二数据存储表下构建一个以所述第二主键值命名的第二列族，并将所述待处理业务数据存储至所述第二列族中。
优选地，
所述存储处理模块，进一步包括：第三存储处理单元；其中，
所述第三存储处理单元，用于在所述当前数据类型为Json数据时，根据预设规则生成对应于所述Json数据的第三主键值，在所述分布式存储系统中对应于所述Json数据的第三数据存储表下构建一个以所述第三主键值命名的第三列族，并将所述待处理业务数据存储至所述第三列族中。
第二方面，本发明实施例提供了一种利用第一方面中任一所述的数据管理系统实现数据管理业务的方法，包括：
利用所述存储处理模块在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；
利用所述数据采集模块采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；
利用所述存储处理模块针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。
优选地，
所述利用所述存储处理模块针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下，包括：
利用所述解析单元针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；
利用所述第一存储处理单元在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。
优选地，
还包括：利用所述第二存储处理单元在所述当前数据类型为图片数据时，将所述待处理业务数据所对应的图片名称作为所述待处理业务数据所对应的第二主键值，在所述分布式存储系统中对应于所述图片数据的第二数据存储表下构建一个以所述第二主键值命名的第二列族，并将所述待处理业务数据存储至所述第二列族中。
优选地，
还包括：利用所述第三存储处理单元在所述当前数据类型为Json数据时，根据预设规则生成对应于所述Json数据的第三主键值，在所述分布式存储系统中对应于所述Json数据的第三数据存储表下构建一个以所述第三主键值命名的第三列族，并将所述待处理业务数据存储至所述第三列族中。
优选地，
本发明实施例提供了一种数据管理系统及其实现数据管理业务的方法，该数据管理系统由数据采集模块、存储处理模块和分布式存储系统构成，存储处理模块可预先在分布式存储系统中预先构建至少一张数据存储表，每一张数据存储表分别对应一个数据类型，存储处理模块在接收到数据采集模块采集并传输的各个待处理业务数据之后，则可针对于每一个待处理业务数据分别执行：对待处理业务数据进行解析以确定出待处理业务数据的当前数据类型，将待处理业务数据存储至分布式存储系统中与当前数据类型相对应的目标数据存储表下；如此，则可实现将不同数据类型的业务数据分别存储到分布式系统中不同的数据存储表下，可方便对分布式存储系统中存储的各个业务数据进行访问。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据管理系统的结构示意图；
图2是本发明一实施例提供的另一种数据管理系统的结构示意图；
图3是本发明一实施例提供的一种利用数据管理系统管理数据的方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种数据管理系统，包括：
数据采集模块101、存储处理模块102和分布式存储系统103；其中，
所述数据采集模块101，用于采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块102；
所述存储处理模块102，用于在所述所述分布式存储系统103中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统103中与所述当前数据类型相对应的数据存储表下。
如图1所示的实施例，该数据管理系统由数据采集模块、存储处理模块和分布式存储系统构成，存储处理模块可预先在分布式存储系统中预先构建至少一张数据存储表，每一张数据存储表分别对应一个数据类型，存储处理模块在接收到数据采集模块采集并传输的各个待处理业务数据之后，则可针对于每一个待处理业务数据分别执行：对待处理业务数据进行解析以确定出待处理业务数据的当前数据类型，将待处理业务数据存储至分布式存储系统中与当前数据类型相对应的目标数据存储表下；如此，则可实现将不同数据类型的业务数据分别存储到分布式系统中不同的数据存储表下，可方便对分布式存储系统中存储的各个业务数据进行访问。
一般来说，待处理业务数据的数据类型通常可以是文本数据、Json数据或图片数据中的任意一种，因此本发明一个实施例中，存储处理模块在构建分布式存储系统中具有不同结构的数据存储表时，至少可以可以构建三张数据存储表，构建的三张数据存储表分别与文本数据、Json数据及图片数据等三种数据类型一一对应。
相应的，如图2所示，本发明一个实施例中，所述存储处理模块102，包括：解析单元1021和第一存储处理单元1022；其中，
所述解析单元1021，用于针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；
所述第一存储处理单元1022，用于在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统103中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。
不难理解的，与文本数据相对应的数据存储表中可以包括多个列族，通过一个数据存储表存储具有相同数据类型的多个业务数据。
请参考图2，本发明一个实施例中，所述存储处理模块102，进一步包括：第二存储处理单元1023；其中，
所述第二存储处理单元1023，用于在所述待处理业务数据的当前数据类型为图片数据时，将所述待处理业务数据所对应的图片名称作为所述待处理业务数据所对应的第二主键值，在所述分布式存储系统103中对应于所述图片数据的第二数据存储表下构建一个以所述第二主键值命名的第二列族，并将所述待处理业务数据存储至所述第二列族中。
不难理解的，与图片数据相对应的数据存储表中可以包括多个列族，通过一个数据存储表存储具有相同数据类型的多个业务数据。
请参考图2，所述存储处理模块102，进一步包括：第三存储处理单元1024；其中，所述第三存储处理单元1024，用于在待处理业务数据的当前数据类型为Json数据时，根据预设规则生成对应于所述Json数据的第三主键值，在所述分布式存储系统103中对应于所述Json数据的第三数据存储表下构建一个以所述第三主键值命名的第三列族，并将所述待处理业务数据存储至所述第三列族中。
本发明上述实施例中，当待处理业务数据的数据类型是Json数据时，具体则可将该待处理业务数据中指定位置上具有设定长度的字符串作为该待处理数据的第三主键值。
不难理解的，与Json数据相对应的数据存储表中可以包括多个列族，通过一个数据存储表存储具有相同数据类型的多个业务数据。
一般来说，各个业务数据随机存储在分布式存储系统中，当需要访问分布式存储系统中存储的目标业务数据时，则需要根据目标业务数据所对应的主键值在分布式业务系统中进行搜索，搜索量相对较大，不易实现对目标业务数据进行访问。
通过本发明上述各个实施例提供的技术方案，分布式存储系统中构建的每一个数据存储表分别对应有一个数据类型，当需要访问分布式存储系统中存储的目标业务数据时，可首先确定目标业务数据所对应的目标数据类型，然后则可根据确定的目标数据类型在分布式存储系统中查找与该目标数据类型相对应的目标数据存储表，然后确定目标业务数据的主键值，进而根据目标业务数据的主键值从查找的目标数据存储表中确定出用于存储该目标业务数据的目标列族，极易从分布式存储系统中搜索到目标业务数据。
本发明一个实施例中，数据采集模块和存储处理模块可以通过对日志搜集系统Flume的Flume Agent进行二次开发而得到，一个Flume Agent主要由Source，Channel，Sink三个模块组成，这里可以将Source和Channel作为数据采集模块，Source主要负责采集待处理业务数据，Channel主要负责存储待处理业务数据，通过对Sink进行再次开发，使得再次开发后的Sink可以具备解析单元、第一存储处理单元和第二存储处理单元，解析单元能够依次读取Channel中存储的各个待处理业务数据，对读取的每一个待处理业务数据进行解析以各个待处理业务数据的数据类型，然后根据各个待处理业务数据的数据类型将不同数据类型的待处理业务数据存储至分布式存储系统中不同的数据存储表下。
不难理解的，对sink进行再次开发时，可开发出相应的功能单元以实现通过该功能单元在分布式存储系统中构建各个数据类型所分别对应的具有不同结构的数据存储表。
如图3所示，本发明实施例提供了一种利用本发明任意一个实施例中提供的数据管理系统实现数据管理业务的方法，包括：
步骤301，利用所述存储处理模块在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；
步骤302，利用所述数据采集模块采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；
步骤303，利用所述存储处理模块针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。
本发明一个实施例中，所述利用所述存储处理模块针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下，包括：
利用所述解析单元针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；
利用所述第一存储处理单元在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。
本发明一个实施例中，还包括：利用所述第二存储处理单元在所述当前数据类型为图片数据时，将所述待处理业务数据所对应的图片名称作为所述待处理业务数据所对应的第二主键值，在所述分布式存储系统中对应于所述图片数据的第二数据存储表下构建一个以所述第二主键值命名的第二列族，并将所述待处理业务数据存储至所述第二列族中。
本发明一个实施例中，还包括：利用所述第三存储处理单元在所述当前数据类型为Json数据时，根据预设规则生成对应于所述Json数据的第三主键值，在所述分布式存储系统中对应于所述Json数据的第三数据存储表下构建一个以所述第三主键值命名的第三列族，并将所述待处理业务数据存储至所述第三列族中。
综上所述，本发明各个实施例至少具有如下有益效果：
1、本发明一实施例中，该数据管理系统由数据采集模块、存储处理模块和分布式存储系统构成，存储处理模块可预先在分布式存储系统中预先构建至少一张数据存储表，每一张数据存储表分别对应一个数据类型，存储处理模块在接收到数据采集模块采集并传输的各个待处理业务数据之后，则可针对于每一个待处理业务数据分别执行：对待处理业务数据进行解析以确定出待处理业务数据的当前数据类型，将待处理业务数据存储至分布式存储系统中与当前数据类型相对应的目标数据存储表下；如此，则可实现将不同数据类型的业务数据分别存储到分布式系统中不同的数据存储表下，可方便对分布式存储系统中存储的各个业务数据进行访问。
2、本发明一实施例中，分布式存储系统中构建的每一个数据存储表分别对应有一个数据类型，当需要访问分布式存储系统中存储的目标业务数据时，可首先确定目标业务数据所对应的目标数据类型，然后则可根据确定的目标数据类型在分布式存储系统中查找与该目标数据类型相对应的目标数据存储表，然后确定目标业务数据的主键值，进而根据目标业务数据的主键值从查找的目标数据存储表中确定出用于存储该目标业务数据的目标列族，极易从分布式存储系统中搜索到目标业务数据。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃····〃”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (8)
1.一种数据管理系统，其特征在于，包括：
数据采集模块、存储处理模块和分布式存储系统；其中，
所述数据采集模块，用于从采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；
所述存储处理模块，用于在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。
2.根据权利要求1所述的数据管理系统，其特征在于，
所述存储处理模块，包括：解析单元和第一存储处理单元；其中，
所述解析单元，用于针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；
所述第一存储处理单元，用于在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。
3.根据权利要求2所述的数据管理系统，其特征在于，
所述存储处理模块，进一步包括：第二存储处理单元；其中，
所述第二存储处理单元，用于在所述当前数据类型为图片数据时，将所述待处理业务数据所对应的图片名称作为所述待处理业务数据所对应的第二主键值，在所述分布式存储系统中对应于所述图片数据的第二数据存储表下构建一个以所述第二主键值命名的第二列族，并将所述待处理业务数据存储至所述第二列族中。
4.根据权利要求2所述的数据管理系统，其特征在于，
所述存储处理模块，进一步包括：第三存储处理单元；其中，
所述第三存储处理单元，用于在所述当前数据类型为Json数据时，根据预设规则生成对应于所述Json数据的第三主键值，在所述分布式存储系统中对应于所述Json数据的第三数据存储表下构建一个以所述第三主键值命名的第三列族，并将所述待处理业务数据存储至所述第三列族中。
5.一种利用权利要求1至4中任一所述的数据管理系统实现数据管理业务的方法，其特征在于，包括：
利用所述存储处理模块在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；
利用所述数据采集模块采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；
利用所述存储处理模块针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。
6.根据权利要求5所述的方法，其特征在于，
所述利用所述存储处理模块针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下，包括：
利用所述解析单元针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；
利用所述第一存储处理单元在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。
7.根据权利要求6所述的方法，其特征在于，
还包括：利用所述第二存储处理单元在所述当前数据类型为图片数据时，将所述待处理业务数据所对应的图片名称作为所述待处理业务数据所对应的第二主键值，在所述分布式存储系统中对应于所述图片数据的第二数据存储表下构建一个以所述第二主键值命名的第二列族，并将所述待处理业务数据存储至所述第二列族中。
8.根据权利要求6所述的方法，其特征在于，
还包括：利用所述第三存储处理单元在所述当前数据类型为Json数据时，根据预设规则生成对应于所述Json数据的第三主键值，在所述分布式存储系统中对应于所述Json数据的第三数据存储表下构建一个以所述第三主键值命名的第三列族，并将所述待处理业务数据存储至所述第三列族中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711292129.4A CN107908371A (zh) | 2017-12-08 | 2017-12-08 | 一种数据管理系统及其实现数据管理业务的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711292129.4A CN107908371A (zh) | 2017-12-08 | 2017-12-08 | 一种数据管理系统及其实现数据管理业务的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107908371A true CN107908371A (zh) | 2018-04-13 |
Family
ID=61856905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711292129.4A Pending CN107908371A (zh) | 2017-12-08 | 2017-12-08 | 一种数据管理系统及其实现数据管理业务的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107908371A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109446271A (zh) * | 2018-10-31 | 2019-03-08 | 阿里巴巴集团控股有限公司 | 一种数据同步方法、装置、设备及介质 |
| CN109840053A (zh) * | 2019-02-13 | 2019-06-04 | 安徽大尺度网络传媒有限公司 | 一种基于存储系统的在线数据存储优化方法 |
| CN110955704A (zh) * | 2019-12-03 | 2020-04-03 | 北京锐安科技有限公司 | 一种数据管理方法、装置、设备及存储介质 |
| CN111782657A (zh) * | 2020-07-08 | 2020-10-16 | 上海乾臻信息科技有限公司 | 数据处理方法及装置 |
| CN112199042A (zh) * | 2020-09-30 | 2021-01-08 | 深圳市汇顶科技股份有限公司 | 存储空间管理方法、装置、芯片、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101394347A (zh) * | 2008-11-10 | 2009-03-25 | 中国移动通信集团安徽有限公司 | 一种业务数据管理方法和系统 |
| CN101727465A (zh) * | 2008-11-03 | 2010-06-09 | 中国移动通信集团公司 | 分布式列存储数据库索引建立、查询方法及装置与系统 |
| CN104166661A (zh) * | 2013-05-20 | 2014-11-26 | 方正宽带网络服务股份有限公司 | 数据存储系统和数据存储方法 |
| CN104765840A (zh) * | 2015-04-16 | 2015-07-08 | 成都睿峰科技有限公司 | 一种大数据分布式存储的方法和装置 |
| CN105574130A (zh) * | 2015-12-14 | 2016-05-11 | 浪潮通用软件有限公司 | 一种数据传输方法及业务系统 |
-
2017
- 2017-12-08 CN CN201711292129.4A patent/CN107908371A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727465A (zh) * | 2008-11-03 | 2010-06-09 | 中国移动通信集团公司 | 分布式列存储数据库索引建立、查询方法及装置与系统 |
| CN101394347A (zh) * | 2008-11-10 | 2009-03-25 | 中国移动通信集团安徽有限公司 | 一种业务数据管理方法和系统 |
| CN104166661A (zh) * | 2013-05-20 | 2014-11-26 | 方正宽带网络服务股份有限公司 | 数据存储系统和数据存储方法 |
| CN104765840A (zh) * | 2015-04-16 | 2015-07-08 | 成都睿峰科技有限公司 | 一种大数据分布式存储的方法和装置 |
| CN105574130A (zh) * | 2015-12-14 | 2016-05-11 | 浪潮通用软件有限公司 | 一种数据传输方法及业务系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109446271A (zh) * | 2018-10-31 | 2019-03-08 | 阿里巴巴集团控股有限公司 | 一种数据同步方法、装置、设备及介质 |
| CN109840053A (zh) * | 2019-02-13 | 2019-06-04 | 安徽大尺度网络传媒有限公司 | 一种基于存储系统的在线数据存储优化方法 |
| CN110955704A (zh) * | 2019-12-03 | 2020-04-03 | 北京锐安科技有限公司 | 一种数据管理方法、装置、设备及存储介质 |
| CN111782657A (zh) * | 2020-07-08 | 2020-10-16 | 上海乾臻信息科技有限公司 | 数据处理方法及装置 |
| CN111782657B (zh) * | 2020-07-08 | 2024-06-07 | 上海乾臻信息科技有限公司 | 数据处理方法及装置 |
| CN112199042A (zh) * | 2020-09-30 | 2021-01-08 | 深圳市汇顶科技股份有限公司 | 存储空间管理方法、装置、芯片、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107908371A (zh) | 一种数据管理系统及其实现数据管理业务的方法 | |
| US8719308B2 (en) | Method and system to process unstructured data | |
| CN104679778B (zh) | 一种搜索结果的生成方法及装置 | |
| CN105701098B (zh) | 针对数据库中的表生成索引的方法和装置 | |
| CN103902653B (zh) | 一种构建数据仓库表血缘关系图的方法和装置 | |
| US6507837B1 (en) | Tiered and content based database searching | |
| CN107562620A (zh) | 一种埋点自动设置方法和装置 | |
| US20170063695A1 (en) | Full flow retrieval optimized packet capture | |
| US20110113047A1 (en) | System and method for publishing aggregated content on mobile devices | |
| CN104281672A (zh) | 日志数据的处理方法和装置 | |
| CN104182482B (zh) | 一种新闻列表页判断方法及筛选新闻列表页的方法 | |
| CN103425687A (zh) | 一种基于关键词的检索方法和系统 | |
| CN102314497B (zh) | 一种用于识别标记语言文件主体内容的方法和设备 | |
| CN105005562A (zh) | 检索结果的显示处理方法及装置 | |
| CN112765366A (zh) | 基于知识图谱的apt组织画像构建方法 | |
| US10585921B2 (en) | Suggesting patterns in unstructured documents | |
| US11777983B2 (en) | Systems and methods for rapidly generating security ratings | |
| US20170068732A1 (en) | Multi-system segmented search processing | |
| CN105183916A (zh) | 一种管理非结构化数据的装置和方法 | |
| CN110201393A (zh) | 一种配置数据的存储方法、装置及电子设备 | |
| CN106874502A (zh) | 一种视频搜索的方法、装置及终端 | |
| CN105630650A (zh) | 一种日志处理方法、装置及系统 | |
| CN104317867A (zh) | 对搜索引擎返回的网页图片进行实体聚类的系统 | |
| US20090006354A1 (en) | System and method for knowledge based search system | |
| CN106326317A (zh) | 数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180413 |