CN107480283A - 实现大数据快速存储的方法、装置以及存储系统 - Google Patents

Abstract

本发明提供了一种实现大数据快速存储的方法、装置以及存储系统，涉及大数据存储技术领域。其中，实现大数据快速存储的方法包括：通过一个统一的数据入库接口接收多种数据类型的待入库数据；将接收到的待入库数据暂存至消息队列；通过轮询服务对消息队列内的暂存数据进行出列操作，将待入库数据存储到数据库内。本发明实现了大数据的快速存储，主要是针对大数据行业设计与使用，可以独立使用，作为数据存储收集的主要手段，也可以和数据服务配合使用，这样让大数据在实际应用中应用，发挥数据的更大效果。

Description

实现大数据快速存储的方法、装置以及存储系统

技术领域

本发明涉及大数据存储技术领域，具体而言，涉及实现大数据快速存储的方法、装置以及存储系统。

背景技术

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，百度目前的总数据量已超过1000PB，每天需要处理的网页数据达到10PB～100PB，淘宝累计的交易数据量高达100PB，Twitter每天发布超过2亿条消息，新浪微博每天发帖量达到8000万条，中国移动一个省的电话通联记录数据每月可达0.5PB～1PB，一个省会城市公安局道路车辆监控数据三年可达200亿条、总量120TB。据世界权威IT信息咨询分析公司IDC研究报告预测：全世界数据量未来10年将从2009年的0.8ZB增长到2020年的35ZB(1ZB=1000EB=1000000PB)，10年将增长44倍，年均增长40%。早几年人们把大规模数据称为“海量数据”，但实际上，大数据(Big Data)这个概念早在2008年就已被提出。2008年，在Google成立10周年之际，着名的《自然》杂志出版了一期专刊，专门讨论未来的大数据处理相关的一系列技术问题和挑战，其中就提出了“Big Data”的概念。随着大数据概念的普及，人们常常会问，多大的数据才叫大数据。其实，关于大数据，难以有一个非常定量的定义。维基百科给出了一个定性的描述：大数据是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据集。进一步，当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。

公开（公告）号CN105608155A“海量数据分布式存储系统”，涉及一种海量数据分布式存储系统，包括大数据存储模块和小数据存储模块，只是为云计算系统提供运行的基础，不能够进行海量数据的快速接收，防止数据丢失，提高数据入库效率。

因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求，面对越来越庞大的数据量，如何做到数据的快速接收成为亟待解决的技术问题。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。提出了一种实现大数据快速存储的方法、装置以及存储系统，能够进行海量数据的快速接收，防止数据丢失，提高数据入库效率。

本发明的第一方面提出了一种实现大数据快速存储的方法，包括：通过一个统一的数据入库接口接收多种数据类型的待入库数据；将接收到的待入库数据暂存至消息队列；通过轮询服务对消息队列内的暂存数据进行出列操作，将待入库数据存储到数据库内。

优选的是，通过一个统一的数据入库接口接收多种数据类型的待入库数据的步骤，具体包括：通过统一的Json格式传递待入库数据，传递的类型参数值与待入库数据的数据类型相对应，以便后续操作根据类型参数值对待入库数据进行区分。

在上述任一方案中优选的是，将接收到的待入库数据暂存至消息队列的步骤，具体包括：根据优先级属性将需要优先处理的数据放到单独的队列内，对于同一优先级的数据放入同一消息队列内；其中，消息队列为多级队列，暂存数据的过程中不做数据类型的区分。

在上述任一方案中优选的是，通过轮询服务对消息队列内的暂存数据进行出列操作，将待入库数据存储到数据库内的步骤，具体包括：轮询服务根据消息队列的多级队列区分为不同的轮询服务，不同优先级的队列由不同的轮询服务进行处理，在保证高优先级的数据能够优先被处理的情况下不影响正常消息队列的出列工作；轮询服务根据待入库数据的数据类型将待入库数据存储到相应的数据库或数据表内；将入库数据梳理成结构化的数据。

在上述任一方案中优选的是，待入库数据被存储在关系型数据库、非关系型数据库、内存数据库中，数据之间会保持数据的更新和同步，保证数据的一致性。

在上述任一方案中优选的是，还包括：根据已入库数据创建副本数据，已入库数据用于进行数据的存取，副本数据用于进行数据的后续查询和服务，已入库数据和副本数据保持数据的一致性。

在上述任一方案中优选的是，还包括：对已入库数据做数据关联关系处理、数据索引的建立，以支持产品的需求，满足数据服务的要求。

在上述任一方案中优选的是，还包括：通过灾备存储的方式对数据进行故障转移，保证上游系统的正常使用。

在上述任一方案中优选的是，还包括：进行数据库的读写分离，以使数据的入库操作和数据的读取服务相互之间不受影响。

本发明的第二方面提出了一种实现大数据快速存储的装置，包括：统一接收模块，通过一个统一的数据入库接口接收多种数据类型的待入库数据；消息队列模块，将接收到的待入库数据暂存至消息队列；轮询服务模块，通过轮询服务对消息队列内的暂存数据进行出列操作，将待入库数据存储到数据库内。

优选的是，统一接收模块，具体用于：通过统一的Json格式传递待入库数据，传递的类型参数值与待入库数据的数据类型相对应，以便后续操作根据类型参数值对待入库数据进行区分。

在上述任一方案中优选的是，消息队列模块，具体用于：根据优先级属性将需要优先处理的数据放到单独的队列内，对于同一优先级的数据放入同一消息队列内；其中，消息队列为多级队列，暂存数据的过程中不做数据类型的区分。

在上述任一方案中优选的是，轮询服务模块，具体用于：轮询服务根据消息队列的多级队列区分为不同的轮询服务，不同优先级的队列由不同的轮询服务进行处理，在保证高优先级的数据能够优先被处理的情况下不影响正常消息队列的出列工作；轮询服务根据待入库数据的数据类型将待入库数据存储到相应的数据库或数据表内；将入库数据梳理成结构化的数据。

在上述任一方案中优选的是，待入库数据被存储在关系型数据库、非关系型数据库、内存数据库中，数据之间会保持数据的更新和同步，保证数据的一致性。

在上述任一方案中优选的是，还包括：副本模块，根据已入库数据创建副本数据，已入库数据用于进行数据的存取，副本数据用于进行数据的后续查询和服务，已入库数据和副本数据保持数据的一致性。

在上述任一方案中优选的是，还包括：索引模块，对已入库数据做数据关联关系处理、数据索引的建立，以支持产品的需求，满足数据服务的要求。

根据本发明的上述技术方案，优选地，还包括：故障转移模块，通过灾备存储的方式对数据进行故障转移，保证上游系统的正常使用。

在上述任一方案中优选的是，还包括：读写分离模块，进行数据库的读写分离，以使数据的入库操作和数据的读取服务相互之间不受影响。

本发明的第三方面提出了一种存储系统，包括：如上述技术方案所述的实现大数据快速存储的装置。

本发明取得的有益效果是：针对大数据行业设计与使用，也可以独立使用，作为数据存储收集的主要手段，也可以和数据服务配合使用，这样让大数据在实际应用中应用，发挥数据的更大效果，实现了海量数据的快速存储入库，提高了数据数据效率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为按照本发明的实现大数据快速存储的方法的一优选实施例的流程图；

图2为按照本发明的实现大数据快速存储的装置的一优选实施例的示意框图；

图3为按照本发明的存储系统的一优选实施例的示意框图；

图4为按照本发明的存储系统的另一优选实施例的系统构架示意图；

图5为按照本发明的存储系统的如图4所示实施例的数据分布示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1为按照本发明的实现大数据快速存储的方法的一优选实施例的流程图。

如图1所示，提出了一种实现大数据快速存储的方法，包括：步骤102，通过一个统一的数据入库接口接收多种数据类型的待入库数据；步骤104，将接收到的待入库数据暂存至消息队列；步骤106，通过轮询服务对消息队列内的暂存数据进行出列操作，将待入库数据存储到数据库内。

在该实施例中，数据通过统一的入口临时存储到消息队列，消息队列数据出列后存储到数据库；数据统一入口是所有的入库数据使用一个统一的入库，系统根据入库的参数不同进行区分；数据存储到消息队列保证数据能够快速的临时存储下来（直接进行数据入库需要考虑多种关联关系，速度慢，出错几率高），避免入库的数量丢失；消息队列数据出列对入列的数据能够进行逻辑处理，然后梳理成正确的对照关系，进行物理存储到数据库内。

根据本发明实施例的实现大数据快速存储的方法，优选地，步骤102具体包括：通过统一的Json格式传递待入库数据，传递的类型参数值与待入库数据的数据类型相对应，以便后续操作根据类型参数值对待入库数据进行区分。

在该实施例中，由于数据有多种数据格式和数据类型，所以在数据入库时，本发明通过提供一个统一的数据入库接口；入库的数据有多种数据类型，统一的对外接口，统一的Json格式，只是在传递数据时，不同的数据类型，传递的类型参数值不同，后续的操作根据数据类型参数值进行区分。

根据本发明实施例的实现大数据快速存储的方法，优选地，步骤104具体包括：根据优先级属性将需要优先处理的数据放到单独的队列内，对于同一优先级的数据放入同一消息队列内；其中，消息队列为多级队列，暂存数据的过程中不做数据类型的区分。

在该实施例中，把通过WebAPI接口获取到的所有数据都暂时存储到消息队列，消息队列不做数据的区分；消息队列区分多级队列方式，对于优先处理的内容，入列时，进入到单独的队列内，优先被后续的轮询服务进行处理。对于同一优先级的数据，不区分类型，进入同一消息队列内。

根据本发明实施例的实现大数据快速存储的方法，优选地，步骤106具体包括：轮询服务根据消息队列的多级队列区分为不同的轮询服务，不同优先级的队列由不同的轮询服务进行处理，在保证高优先级的数据能够优先被处理的情况下不影响正常消息队列的出列工作；轮询服务根据待入库数据的数据类型将待入库数据存储到相应的数据库或数据表内；将入库数据梳理成结构化的数据。

在该实施例中，轮询服务主要是对于进入消息队列的数据进行出列操作，对于出列的数据，会根据不同的数据类型，存储到不同的数据库内；轮询服务根据消息队列区分为不同的轮询服务，不同优先级的队列内容有不同的轮询服务进行处理。重新保证高优先级的数据能够优先处理掉，同时又不影响正常消息队列的出列工作。轮询服务在处理数据会，会根据不同的数据类型进行处理不同的数据，最后进入不同的存储介质进行存储。

根据本发明上述实施例的实现大数据快速存储的方法，优选地，待入库数据被存储在关系型数据库、非关系型数据库、内存数据库中，数据之间会保持数据的更新和同步，保证数据的一致性。

根据本发明上述实施例的实现大数据快速存储的方法，优选地，还包括：根据已入库数据创建副本数据，已入库数据用于进行数据的存取，副本数据用于进行数据的后续查询和服务，已入库数据和副本数据保持数据的一致性。

根据本发明上述实施例的实现大数据快速存储的方法，优选地，还包括：对已入库数据做数据关联关系处理、数据索引的建立，以支持产品的需求，满足数据服务的要求。

根据本发明上述实施例的实现大数据快速存储的方法，优选地，还包括：通过灾备存储的方式对数据进行故障转移，保证上游系统的正常使用。

根据本发明上述实施例的实现大数据快速存储的方法，优选地，还包括：进行数据库的读写分离，以使数据的入库操作和数据的读取服务相互之间不受影响。

在上述实施例中，根据不同的数据类型存储到不同的数据库或者不同的数据表内；为了存储数据的安全，数据做了两级安全处理。一级做数据的故障转移，用于对数据出现故障时，防止系统宕机。另外一种措施做了数据库的读写分离，让数据的入库操作和数据的读取服务相互之间不受影响。

图2为按照本发明的实现大数据快速存储的装置的一优选实施例的示意框图。

如图2所示，实现大数据快速存储的装置200包括：统一接收模块202，通过一个统一的数据入库接口接收多种数据类型的待入库数据；消息队列模块204，将接收到的待入库数据暂存至消息队列；轮询服务模块206，通过轮询服务对消息队列内的暂存数据进行出列操作，将待入库数据存储到数据库内。

根据本发明的实现大数据快速存储的装置200，优选地，统一接收模块202具体用于：通过统一的Json格式传递待入库数据，传递的类型参数值与待入库数据的数据类型相对应，以便后续操作根据类型参数值对待入库数据进行区分。

根据本发明的实现大数据快速存储的装置200，优选地，消息队列模块204具体用于：根据优先级属性将需要优先处理的数据放到单独的队列内，对于同一优先级的数据放入同一消息队列内；其中，消息队列为多级队列，暂存数据的过程中不做数据类型的区分。

根据本发明的实现大数据快速存储的装置200，优选地，轮询服务模块206具体用于：轮询服务根据消息队列的多级队列区分为不同的轮询服务，不同优先级的队列由不同的轮询服务进行处理，在保证高优先级的数据能够优先被处理的情况下不影响正常消息队列的出列工作；轮询服务根据待入库数据的数据类型将待入库数据存储到相应的数据库或数据表内；将入库数据梳理成结构化的数据。

根据本发明的实现大数据快速存储的装置200，优选地，待入库数据被存储在关系型数据库、非关系型数据库、内存数据库中，数据之间会保持数据的更新和同步，保证数据的一致性。

根据本发明的实现大数据快速存储的装置200，优选地，还包括：副本模块208，根据已入库数据创建副本数据，已入库数据用于进行数据的存取，副本数据用于进行数据的后续查询和服务，已入库数据和副本数据保持数据的一致性。

根据本发明的实现大数据快速存储的装置200，优选地，还包括：索引模块210，对已入库数据做数据关联关系处理、数据索引的建立，以支持产品的需求，满足数据服务的要求。

根据本发明的实现大数据快速存储的装置200，优选地，还包括：故障转移模块212，通过灾备存储的方式对数据进行故障转移，保证上游系统的正常使用。

根据本发明的实现大数据快速存储的装置200，优选地，还包括：读写分离模块214，进行数据库的读写分离，以使数据的入库操作和数据的读取服务相互之间不受影响。

图3为按照本发明的存储系统的的示意框图。

如图3所示，存储系统300包括如上述任一实施例的实现大数据快速存储的装置200。

在该实施例中，大数据的存储主要为对网络爬取的数据，通过数据清理、加工后，梳理成结构化的数据方式进行存储；大数据存储的模块数据都包含有副本数据，主数据主要用于数据的存取，副本数据主要用来后期数据的查询和服务。主数据和副本数据时间通过技术方式保证数据的一致性。大数据存储通过灾备存储模块，对数据进行故障转移，保证一旦有特殊情况发生，能够保证系统不宕机，保证上游系统的正常使用。大数据存储后，会根据数据类型、数据格式不同，进行数据的分类存储；为了支持产品的需求，满足数据服务的要求，会对数据做数据关联关系处理、数据索引的建立；大数据存储后，数据存储会存储到关系型数据库、非关系型数据库、内存数据库等方式进行存储。数据之间会保持数据的更新和同步，保证数据的一致性。

图4为按照本发明的存储系统的构架示意图，图5为按照本发明的存储系统的数据分布示意图。

如图4和图5所示，多个数据入库业务系统402将搜集到的数据发送到数据入库服务器406，随后数据进入Redis服务器410的消息队列中，再由轮询服务器414进行数据出列操作，出列的数据能够通过Solr服务器416提供对外接口，轮询服务器414还将出列数据存入到主数据库服务器420，对应于该主数据库服务器还设有灾备服务器418和从数据库服务器422，从数据库服务器422能够向外部提供数据，出库数据通过Redis出库服务器412向数据出库服务器408提供数据，数据被数据出库业务系统404取出向外提供服务。

在该实施例中，基于大数据的存储系统，所属大数据针对企业大数据的存储和管理。大数据的存储主要为对网络爬取的数据，通过数据清理、加工后，梳理成结构化的数据方式进行存储。大数据存储的模块数据都包含有副本数据，主数据主要用于数据的存取，副本数据主要用来后期数据的查询和服务。主数据和副本数据时间通过技术方式保证数据的一致性。大数据存储通过灾备存储模块，对数据进行故障转移，保证一旦有特殊情况发生，能够保证系统不宕机，保证上游系统的正常使用。大数据存储后，会根据数据类型、数据格式不同，进行数据的分类存储；为了支持产品的需求，满足数据服务的要求，会对数据做数据关联关系处理、数据索引的建立；大数据存储后，数据存储会存储到关系型数据库、非关系型数据库、内存数据库等方式进行存储。数据之间会保持数据的更新和同步，保证数据的一致性。

根据上述各个实施例可知，本发明针对大数据行业设计与使用，也可以独立使用，作为数据存储收集的主要手段，也可以和数据服务配合使用，这样让大数据在实际应用中应用，发挥数据的更大效果，实现了海量数据的快速存储入库，提高了数据数据效率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实现大数据快速存储的方法，将接收到的数据存储到数据库中，其特征在于，包括：

步骤1：通过一个统一的数据入库接口接收多种数据类型的待入库数据；

步骤2：将接收到的所述待入库数据暂存至消息队列；

步骤3：通过轮询服务对所述消息队列内的暂存数据进行出列操作，将所述待入库数据存储到数据库内。

2.根据权利要求1所述的实现大数据快速存储的方法，其特征在于，所述步骤1具体包括：

通过统一的Json格式传递所述待入库数据，传递的类型参数值与所述待入库数据的数据类型相对应。

3.根据权利要求2所述的实现大数据快速存储的方法，其特征在于，所述类型参数值用于在后续操作中对所述待入库数据进行区分。

4.根据权利要求3所述的实现大数据快速存储的方法，其特征在于，所述步骤2具体包括：

根据优先级属性将需要优先处理的数据放到单独的队列内，对于同一优先级的数据放入同一消息队列内；其中，所述消息队列为多级队列，暂存数据的过程中不做数据类型的区分。

5.根据权利要求4所述的实现大数据快速存储的方法，其特征在于，所述步骤3具体包括：

所述轮询服务根据所述消息队列的多级队列区分为不同的轮询服务，不同优先级的队列由不同的轮询服务进行处理，在保证高优先级的数据能够优先被处理的情况下不影响正常消息队列的出列工作；所述轮询服务根据所述待入库数据的数据类型将所述待入库数据存储到相应的数据库或数据表内；将入库数据梳理成结构化的数据。

6.根据权利要求1至5中任一项所述的实现大数据快速存储的方法，其特征在于，所述待入库数据被存储在关系型数据库、非关系型数据库、内存数据库中，在数据之间保持数据的更新和同步。

7.根据权利要求1至5中任一项所述的实现大数据快速存储的方法，其特征在于，还包括：根据已入库数据创建副本数据，使用所述已入库数据用于进行数据的存取，使用所述副本数据用于进行数据的后续查询和服务，使用所述已入库数据和所述副本数据保持数据的一致性。

8.根据权利要求1至5中任一项所述的实现大数据快速存储的方法，其特征在于，还包括：对已入库数据做数据关联关系处理、数据索引的建立。

9.一种实现大数据快速存储的装置，包括用于将接收到的数据存储到数据库中的数据存储模块，其特征在于，包括：

统一接收模块，用于通过一个统一的数据入库接口接收多种数据类型的待入库数据；

消息队列模块，用于将接收到的所述待入库数据暂存至消息队列；

轮询服务模块，用于通过轮询服务对所述消息队列内的暂存数据进行出列操作，将所述待入库数据存储到数据库内。

10.一种存储系统，包括用于存储数据和数据库的硬件设备，其特征在于，包括：如权利要求9所述的实现大数据快速存储的装置。