CN115564500B - 大数据管理方法及大数据管理系统 - Google Patents

Abstract

本发明涉及数据管理技术领域，具体地说，涉及大数据管理方法及大数据管理系统。其包括数据接入模块、数据存储模块、分布式计算模块以及餐品预测模块，其中：所述数据接入模块用于将用户的数据接入至所述数据存储模块内；所述分布式计算模块用于将所述数据存储模块内的部分数据通过商家的设备进行本地计算，该大数据管理方法及大数据管理系统中，将大数据信息分成两部分，一部分通过商家的设备进行计算得到基础的预测餐品，当用户不满意该预测餐品时，另一部分信息被传输到用户的终端内，通过在用户终端内计算进行重新推荐的同时将计算数据传输至数据存储模块内进行存储，达到分布式计算的效果，降低了商家的计算压力。

Description

大数据管理方法及大数据管理系统

技术领域

本发明涉及数据管理技术领域，具体地说，涉及大数据管理方法及大数据管理系统。

背景技术

大数据又称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据管理需要进行数据接入、数据计算以及数据存储三个步骤。

在餐饮行业，商家需要通过大数据来预测人们想要吃什么，然后进行推荐。但是大数据的计算对计算机的性能要求较高，一些规模较小的商家通常只拥有一部手机或者一台电脑，这样的设备计算大量的数据较慢，从而影响预测的效率，再加上一大部分人们都不知道吃什么，会从商家的多个推荐中选取产品进行使用，导致计算的数据进一步增加，增加了计算的时间。

发明内容

本发明的目的在于提供大数据管理方法及大数据管理系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明目的之一在于，提供了大数据管理系统，包括数据接入模块、数据存储模块、分布式计算模块以及餐品预测模块，其中：

所述数据接入模块用于将用户的数据接入至所述数据存储模块内；

所述数据存储模块用于对接入的用户数据进行存储；

所述分布式计算模块用于将所述数据存储模块内的部分数据通过商家的设备进行本地计算，以得到预测餐品；

所述餐品预测模块将预测餐品推荐给用户，当用户没有选择预测餐品时，所述餐品预测模块将所述数据存储模块内的另一部分数据传输至用户的终端设备内，以使数据在终端设备内进行计算，并将计算结果反馈至数据存储模块内。

作为本技术方案的进一步改进，所述数据接入模块包括数据采集单元和数据导入单元，所述数据采集单元的输出端与数据导入单元的输入端连接，所述数据采集单元对用户以往的订单数据进行收集，以得到原始数据，所述数据导入单元将原始数据导入至数据存储模块内。

作为本技术方案的进一步改进，所述数据存储模块包括数据分类单元，所述数据分类单元用于对保存的原始数据进行分类，以得到本地计算文件和终端计算文件，所述数据分类单元的输出端连接有数据传输单元，所述数据传输单元用于对本地计算文件和终端计算文件进行传输。

作为本技术方案的进一步改进，所述分布式计算模块包括本地计算单元，所述本地计算单元的输入端与所述数据传输单元的输出端连接，所述本地计算单元用于对数据传输单元所传输的本地计算文件进行计算分析，以得到预测餐品。

作为本技术方案的进一步改进，所述餐品预测模块包括餐品制定单元、推荐餐品打乱单元、用户状态采集单元以及终端计算单元，其中：

所述餐品制定单元的输入端与所述本地计算单元的输出端连接，所述餐品制定单元根据预测餐品生成推荐餐品；

所述推荐餐品打乱单元用于在用户不喜欢推荐餐品时对推荐餐品进行打乱；

所述用户状态采集单元用于获取推荐餐品打乱单元的状态，当所述推荐餐品打乱单元打乱推荐餐品时，所述数据传输单元将终端计算文件发送给所述终端计算单元；

所述终端计算单元利用用户的终端设备对终端计算文件进行计算，以得到二次预测餐品，所述终端计算单元的输出端与餐品制定单元的输入端连接，所述餐品制定单元将二次预测餐品生成推荐餐品。

作为本技术方案的进一步改进，所述餐品制定单元采用概率计算法，其算法公式如下：

；

式中为预测餐品恰好是喜好食品的概率，为用户喜好的食品，为预测餐品，表示用户喜好的食品恰好为预测餐品的概率。

作为本技术方案的进一步改进，所述终端计算单元的计算方法步骤如下：

S1、数据分类单元将相关信息数据分割成本地计算文件和终端计算文件；

S2、当用户在外卖软件上点击输入输出设备上的推荐餐品打乱单元后，外卖软件调用用户终端的空中接口协议和基站通信，并通过基站与商家设备建立连接；

S3、连接建立成功后，外卖软件向商家设备发送数据接收请求，商家设备通过数据传输单元将终端计算文件发送给至用户终端的外卖软件内；

S4、外卖软件接收到终端计算文件后，开始在终端计算文件内查找用户的喜好食品数据；

S5、查找到喜好食品数据后，外卖软件读取用户终端的内存中记录统计结果，然后通过餐品制定单元将统计结果生成推荐餐品，随后从输出设备展示出来；

S6、外卖软件读取到用户终端的内存中记录统计结果时，继续调用用户终端的空中接口协议与商家设备连接，并通过数据传输单元将统计结果发送至商家设备内。

作为本技术方案的进一步改进，所述分布式计算模块还包括次数记录单元、数据标记单元以及数据删除单元，其中：

所述次数记录单元的输出端与推荐餐品打乱单元的输入端连接，所述次数记录单元对被打乱的餐品次数进行记录；

所述数据标记单元对次数最高的数据进行标记，以得到低质量数据；

所述数据删除单元将被标记的低质量数据删除。

作为本技术方案的进一步改进，所述数据存储模块还包括商家数据库、用户数据库、用户位置定位单元以及资源共享单元，

所述商家数据库用于对所述数据导入单元所导入的数据进行存储，所述用户数据库对终端计算单元计算的预测餐品信息进行收集，所述用户位置定位单元用于对不同用户的位置进行定位，以得到位置信息，所述资源共享单元根据位置信息为位置接近的两个客户创建连接，并在连接后将所述用户数据库内的预测餐品信息发送给信号较差的用户。

本发明目的之二在于，提供了一种用于大数据管理系统的管理方法，包括如下方法步骤：

S1、数据接入模块将用户的数据接入至数据存储模块内进行存储；

S2、分布式计算模块将数据存储模块内的部分数据通过商家的设备进行本地计算，以得到预测餐品；

S3、餐品预测模块将预测餐品推荐给用户；

S4、当用户没有选择预测餐品时，餐品预测模块将数据存储模块内的另一部分数据传输至用户的终端设备内计算并重新预测，同时将计算结果反馈至数据存储模块内。

与现有技术相比，本发明的有益效果：

1、该大数据管理方法及大数据管理系统中，将大数据信息分成两部分，一部分通过商家的设备进行计算得到基础的预测餐品，当用户不满意该预测餐品时，另一部分信息被传输到用户的终端内，通过在用户终端内计算进行重新推荐的同时将计算数据传输至数据存储模块内进行存储，达到分布式计算的效果，降低了商家的计算压力。

2、该大数据管理方法及大数据管理系统中，通过商家数据库和用户数据库的分类，使重要的信息都保留在商家数据库内，用户数据库内的预测餐品信息都是用户终端产生的信息，该信息不会存在较大的隐私，并且用户数据库的分类是通过用户的终端进行的，不会占用商家设备的资源。

附图说明

图1为本发明的整体步骤流程示意图；

图2为本发明的整体模块的结构框图；

图3为本发明的数据接入模块的结构框图；

图4为本发明的数据存储模块的结构框图；

图5为本发明的分布式计算模块的结构框图；

图6为本发明的餐品预测模块的结构框图；

图7为本发明的调节筛选模块的结构框图。

图中各个标号意义为：

100、数据接入模块；110、数据采集单元；120、数据导入单元；

200、数据存储模块；210、商家数据库；220、用户数据库；230、数据分类单元；240、数据传输单元；250、用户位置定位单元；260、资源共享单元；

300、分布式计算模块；310、本地计算单元；320、次数记录单元；330、数据标记单元；340、数据删除单元；

400、餐品预测模块；410、餐品制定单元；420、推荐餐品打乱单元；430、用户状态采集单元；440、终端计算单元；

500、调节筛选模块；510、反馈录入单元；520、数据分析单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图7所示，本实施例目的之一在于，提供了大数据管理系统，包括数据接入模块100、数据存储模块200、分布式计算模块300以及餐品预测模块400，其中：

数据接入模块100用于将用户的数据接入至数据存储模块200内；

数据存储模块200用于对接入的用户数据进行存储；

分布式计算模块300用于将数据存储模块200内的部分数据通过商家的设备进行本地计算，以得到预测餐品；

餐品预测模块400将预测餐品推荐给用户，当用户没有选择预测餐品时，餐品预测模块400将数据存储模块200内的另一部分数据传输至用户的终端设备内，以使数据在终端设备内进行计算，并将计算结果反馈至数据存储模块200内。

需要说明的是，部分数据是指商家设备需要预测用户喜欢产品的数据，该数据的大小可根据商家进行控制。也就是说，在商家设备上创建两个文件夹，然后将获取的数据先放到第一个文件夹内，当商家觉得数据太大处理较慢时，商家手动或者自动（自动是指当者商家设备的CPU负荷过大时，程序对开始运行，负荷状态可通过人工设定）将第一个文件夹中的数据进行拆分（可通过解压缩或者编译的方式进行）成多个，然后将部分数据移动至第二个文件夹内，第二个文件夹内的数据也就是需要发送给用户的数据，因为大数据信息就是海量的数据，里面包含着许多数据文件，数据文件是多个的，因此通过商家设备处理后就能将部分数据移动至其他文件夹内，这也就是数据的划分。

此外，数据接入模块100包括数据采集单元110和数据导入单元120，数据采集单元110的输出端与数据导入单元120的输入端连接，数据采集单元110对用户以往的订单数据进行收集，以得到原始数据，数据导入单元120将原始数据导入至数据存储模块200内。

进一步的，数据存储模块200包括数据分类单元230，数据分类单元230用于对保存的原始数据进行分类，以得到本地计算文件和终端计算文件，数据分类单元230的输出端连接有数据传输单元240，数据传输单元240用于对本地计算文件和终端计算文件进行传输。

再进一步的，分布式计算模块300包括本地计算单元310，本地计算单元310的输入端与数据传输单元240的输出端连接，本地计算单元310用于对数据传输单元240所传输的本地计算文件进行计算分析，以得到预测餐品。

具体的，餐品预测模块400包括餐品制定单元410、推荐餐品打乱单元420、用户状态采集单元430以及终端计算单元440，其中：

餐品制定单元410的输入端与本地计算单元310的输出端连接，餐品制定单元410根据预测餐品生成推荐餐品；

推荐餐品打乱单元420用于在用户不喜欢推荐餐品时对推荐餐品进行打乱；

用户状态采集单元430用于获取推荐餐品打乱单元420的状态，当推荐餐品打乱单元420打乱推荐餐品时，数据传输单元240将终端计算文件发送给终端计算单元440；

终端计算单元440利用用户的终端设备对终端计算文件进行计算，以得到二次预测餐品，终端计算单元440的输出端与餐品制定单元410的输入端连接，餐品制定单元410将二次预测餐品生成推荐餐品。

使用时，通过数据采集模块对用户的相关信息数据进行收集，然后将数据通过数据导入单元120导入至数据存储模块200内，此时数据分类单元230便将数据分为本地计算文件和终端计算文件，本地计算文件通过本地计算单元310计算，为用户提供第一次的餐品推荐，当用户不喜欢第一次的餐品推荐时，由于商家设备的计算能力较慢，此时用户状态采集单元430感应到用户点击推荐餐品打乱单元420后，数据传输单元240将终端计算文件发送给终端计算单元440，此时利用用户的终端设备对终端计算文件内的数据进行计算并得到新的预测餐品（也就是二次预测餐品），这个步骤是在用户的手机或者电脑内完成的，因此便不需要商家的电脑或在手机进行计算，而新的预测餐品会被餐品制定单元410重新生成推荐餐品，当用户还是不满意后，继续重复执行下次步骤，每次计算的信息都会通过数据传输单元240反馈至数据存储模块200内，当用户满意后选择该餐品时，利用用户设备的计算也就随之结束。

需要说明的是，存储在数据存储模块200内的数据可以直接被利用，该数据信息可以直接推荐给其他用户，而其他用户也就不需要进行相应的计算。

也就是说，将大数据信息分成两部分，一部分通过商家的设备进行计算得到基础的预测餐品，当用户不满意该预测餐品时，另一部分信息被传输到用户的终端内，通过在用户终端内计算进行重新推荐的同时将计算数据传输至数据存储模块200内进行存储，达到分布式计算的效果，降低了商家的计算压力。

此外，餐品制定单元410采用概率计算法，其算法公式如下：

；

式中为预测餐品恰好是喜好食品的概率，为用户喜好的食品，为预测餐品，表示用户喜好的食品恰好为预测餐品的概率，预测餐品有多个，通过公式进行多次计算得到，然后选取最大的即可。

进一步的，终端计算单元（440）的计算方法步骤如下：

S1、数据分类单元230将相关信息数据分割成本地计算文件和终端计算文件，其中，本地计算文件通过商家设备进行计算分析，而终端计算文件有多个，均由用户终端来计算；

S2、当用户在外卖软件上点击输入输出设备（也就是显示屏）上的推荐餐品打乱单元420后，外卖软件调用用户终端的空中接口协议（例如GSM、CDMA、PHS等）和基站通信，并通过基站与商家设备建立连接；

S3、连接建立成功后，外卖软件向商家设备发送数据接收请求，商家设备通过数据传输单元240将终端计算文件发送给至用户终端的外卖软件内；

S4、外卖软件接收到终端计算文件后，开始在终端计算文件内查找用户的喜好食品数据（例如历史订单，评价等）；

S5、查找到喜好食品数据后，外卖软件读取用户终端的内存中记录统计结果，然后通过餐品制定单元410将统计结果生成推荐餐品，随后从输出设备（显示屏）展示出来，该结果是与历史订单相似的喜好食品，也就是新的预测餐品（二次预测餐品）；

S6、外卖软件读取到用户终端的内存中记录统计结果时，继续调用用户终端的空中接口协议与商家设备连接，并通过数据传输单元240将统计结果发送至商家设备内，此时商家设备也就不需要进行计算了。

进一步的，管理系统还包括调节筛选模块500，调节筛选模块500包括反馈录入单元510和数据分析单元520，反馈录入单元510为用户提供反馈平台，以得到反馈数据，数据分析单元520对反馈数据进行分析，并得到推荐范围数据，数据分析单元520的输出端与餐品制定单元410的输入端连接，餐品制定单元410根据范围数据对推荐餐品进行制定。

使用时，当用户将餐品打乱后，将打乱的原因输入至反馈录入单元510内，例如不喜欢吃油腻的食物，接下来数据分析单元520便对反馈录入单元510的信息进行识别分析，分析得到油腻食物后，会将油腻食物从推荐食品中去除，从而提高推荐餐品的精准性。

再进一步的，分布式计算模块300还包括次数记录单元320、数据标记单元330以及数据删除单元340，其中：

次数记录单元320的输出端与推荐餐品打乱单元420的输入端连接，次数记录单元320对被打乱的餐品次数进行记录；

数据标记单元330对次数最高的数据进行标记，以得到低质量数据；

数据删除单元340将被标记的低质量数据删除。

就是说当用户不满意该餐品将其打乱后，如果出现多次就说明该餐品不符合用户的喜好，因此通过标记单元将该餐品的数据标记为低质量数据，随后通过数据删除单元340将其删除。

此外，考虑到在一些信号较弱的场所例如电梯间、地下室等，一些用户的收集信号较差，网速较慢，如果此时将网速用来传输终端计算文件的话，那么就会影响用户下单的效率，为此，数据存储模块200还包括商家数据库210、用户数据库220、用户位置定位单元250以及资源共享单元260，

商家数据库210用于对数据导入单元120所导入的数据进行存储，用户数据库220对终端计算单元440计算的预测餐品信息进行收集，用户位置定位单元250用于对不同用户的位置进行定位，以得到位置信息，资源共享单元260根据位置信息为位置接近的两个客户创建连接，并在连接后将用户数据库220内的预测餐品信息发送给信号较差的用户，以减少用户终端设备的网络消耗。

其中，无线协议是指蓝牙或者无线局域网。为了保证连接的稳定性，客户终端的蓝牙或者无线局域网在搜到另一个客户的终端时，会选择信号较强的用户进行连接。

也就是说，当两个用户位置较近时，资源共享单位会将这个两个用户进行绑定连接，然后通过信号较好的数据获取预测餐品信息，然后通过用户终端的无线局域网或者蓝牙等模块连接，并将获取的预测餐品信息发送给信号较差的用户终端内，从而在对用户推荐商品时减少用户网络的消耗。

值得说明的是，通过商家数据库210和用户数据库220的分类，使重要的信息都保留在商家数据库210内，用户数据库220内的预测餐品信息都是用户终端产生的信息，该信息不会存在较大的隐私，并且用户数据库220的分类是通过用户的终端进行的，不会占用商家设备的资源。

本实施例目的之二在于，提供了一种用于大数据管理系统的管理方法，包括如下方法步骤：

S1、数据接入模块100将用户的数据接入至数据存储模块200内进行存储；

S2、分布式计算模块300将数据存储模块200内的部分数据通过商家的设备进行本地计算，以得到预测餐品；

S3、餐品预测模块400将预测餐品推荐给用户；

S4、当用户没有选择预测餐品时，餐品预测模块400将数据存储模块200内的另一部分数据传输至用户的终端设备内计算并重新预测，同时将计算结果反馈至数据存储模块200内。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.大数据管理系统，其特征在于：包括数据接入模块（100）、数据存储模块（200）、分布式计算模块（300）以及餐品预测模块（400），其中：

所述数据接入模块（100）用于将用户的数据接入至所述数据存储模块（200）内；

所述分布式计算模块（300）用于将所述数据存储模块（200）内的部分数据通过商家的设备进行本地计算，以得到预测餐品，所述餐品预测模块（400）将预测餐品推荐给用户，当用户没有选择预测餐品时，所述餐品预测模块（400）将所述数据存储模块（200）内的另一部分数据传输至用户的终端设备内，以使数据在终端设备内进行计算，并将计算结果反馈至数据存储模块（200）内；

所述数据存储模块（200）连接有数据传输单元（240），所述分布式计算模块（300）包括本地计算单元（310），所述餐品预测模块（400）包括餐品制定单元（410）、推荐餐品打乱单元（420）、用户状态采集单元（430）以及终端计算单元（440），其中：

所述餐品制定单元（410）的输入端与所述本地计算单元（310）的输出端连接，所述餐品制定单元（410）根据预测餐品生成推荐餐品；

所述推荐餐品打乱单元（420）用于在用户不喜欢推荐餐品时对推荐餐品进行打乱；

所述用户状态采集单元（430）用于获取推荐餐品打乱单元（420）的状态，当所述推荐餐品打乱单元（420）打乱推荐餐品时，所述数据传输单元（240）将终端计算文件发送给所述终端计算单元（440）；

所述终端计算单元（440）利用用户的终端设备对终端计算文件进行计算，以得到二次预测餐品，所述终端计算单元（440）的输出端与餐品制定单元（410）的输入端连接，所述餐品制定单元（410）将二次预测餐品生成推荐餐品；

所述终端计算单元（440）的计算方法步骤如下：

S1、本地计算单元（310）将相关信息数据分割成本地计算文件和终端计算文件；

S2、当用户在外卖软件上点击输入输出设备上的推荐餐品打乱单元（420）后，外卖软件调用用户终端的空中接口协议和基站通信，并通过基站与商家设备建立连接；

S3、连接建立成功后，外卖软件向商家设备发送数据接收请求，商家设备通过数据传输单元（240）将终端计算文件发送给至用户终端的外卖软件内；

S4、外卖软件接收到终端计算文件后，开始在终端计算文件内查找用户的喜好食品数据；

S5、查找到喜好食品数据后，外卖软件读取用户终端的内存中记录统计结果，然后通过餐品制定单元（410）将统计结果生成推荐餐品，随后从输出设备展示出来；

S6、外卖软件读取到用户终端的内存中记录统计结果时，继续调用用户终端的空中接口协议与商家设备连接，并通过数据传输单元（240）将统计结果发送至商家设备内。

2.根据权利要求1所述的大数据管理系统，其特征在于：所述数据接入模块（100）包括数据采集单元（110）和数据导入单元（120），所述数据采集单元（110）的输出端与数据导入单元（120）的输入端连接，所述数据采集单元（110）对用户以往的订单数据进行收集，以得到原始数据，所述数据导入单元（120）将原始数据导入至数据存储模块（200）内。

3.根据权利要求2所述的大数据管理系统，其特征在于：所述数据存储模块（200）包括数据分类单元（230），所述数据分类单元（230）用于对保存的原始数据进行分类，以得到本地计算文件和终端计算文件，所述数据分类单元（230）的输出端连接有数据传输单元（240），所述数据传输单元（240）用于对本地计算文件和终端计算文件进行传输。

4.根据权利要求3所述的大数据管理系统，其特征在于：所述分布式计算模块（300）包括本地计算单元（310），所述本地计算单元（310）的输入端与所述数据传输单元（240）的输出端连接，所述本地计算单元（310）用于对数据传输单元（240）所传输的本地计算文件进行计算分析，以得到预测餐品。

5.根据权利要求1所述的大数据管理系统，其特征在于：所述餐品制定单元（410）采用概率计算法，其算法公式如下：

；

式中为预测餐品恰好是喜好食品的概率，为用户喜好的食品，为预测餐品，喜好的食品恰好为预测餐品的概率。

6.根据权利要求1所述的大数据管理系统，其特征在于：所述分布式计算模块（300）还包括次数记录单元（320）、数据标记单元（330）以及数据删除单元（340），其中：

所述次数记录单元（320）的输出端与推荐餐品打乱单元（420）的输入端连接，所述次数记录单元（320）对被打乱的餐品次数进行记录；

所述数据标记单元（330）对次数最高的数据进行标记，以得到低质量数据；

所述数据删除单元（340）将被标记的低质量数据删除。

7.根据权利要求4所述的大数据管理系统，其特征在于：所述数据存储模块（200）还包括商家数据库（210）、用户数据库（220）、用户位置定位单元（250）以及资源共享单元（260），

所述商家数据库（210）用于对所述数据导入单元（120）所导入的数据进行存储，所述用户数据库（220）对终端计算单元（440）计算的预测餐品信息进行收集，所述用户位置定位单元（250）用于对不同用户的位置进行定位，以得到位置信息，所述资源共享单元（260）根据位置信息为位置接近的两个客户创建连接，并在连接后将所述用户数据库（220）内的预测餐品信息发送给信号较差的用户。

8.一种用于如权利要求1-7中任意一项所述的大数据管理方法，其特征在于：包括如下方法步骤：

S1、数据接入模块（100）将用户的数据接入至数据存储模块（200）内进行存储；

S2、分布式计算模块（300）将数据存储模块（200）内的部分数据通过商家的设备进行本地计算，以得到预测餐品；

S3、餐品预测模块（400）将预测餐品推荐给用户；

S4、当用户没有选择预测餐品时，餐品预测模块（400）将数据存储模块（200）内的另一部分数据传输至用户的终端设备内计算并重新预测，同时将计算结果反馈至数据存储模块（200）内。

Images