CN107819876A - 一种基于云平台的数据处理方法及系统 - Google Patents

Abstract

本发明提供了一种基于云平台的数据处理方法及系统，涉及云计算的技术领域，该系统包括设置在云服务器上的集群节点，集群节点包括：物联网云端平台，数据处理系统和业务处理系统；物联网云端平台与数据采集设备通信连接，用于获取数据采集设备采集到的数据；数据处理系统与物联网云端平台通信连接，用于对物联网云端平台接收到的数据进行分析，得到分析结果；业务处理系统分别与物联网云端平台和数据处理系统通信连接，用于存储数据处理系统传输的数据和/或分析结果，并为客户端提供相关业务服务，缓解了现有技术中在对线下数据进行分析时，成本较高且安全性较低的技术问题。

Description

一种基于云平台的数据处理方法及系统

技术领域

本发明涉及云计算的技术领域，尤其是涉及一种基于云平台的数据处理方法及系统。

背景技术

目前，随着新零售市场的迅速发展，以及大数据处理领域的快速发展，新零售市场更加需要大数据处理技术的支持，来分析零售店内各类顾客的购买行为。例如，年轻男性群体的购买行为等等。在新零售领域，一种重要环节就是数据层面的打通，用户数据不只存在于线上，线下的数据更加多元丰富。主要是通过各类传感器对顾客的购买行为进行追踪时的采集到的线下数据，由于线下数据一直受制于技术的发展，线下数据不能被充分采集，线下场景中的数据存在很大的真空场景。针对线下数据的采集和处理，主要是为每个零售店对应的设置线下处理器，以通过该处理器来进行处理的分析和处理，但是，这无疑增加了商家的成本。

针对上述问题，还未提出有效解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种基于云平台的数据处理方法及系统，以缓解了现有技术中在对线下数据进行分析时，成本较高且安全性较低的技术问题。

第一方面，本发明实施例提供了一种基于云平台的数据处理系统，包括设置在云服务器上的集群节点，所述集群节点包括：物联网云端平台，数据处理系统和业务处理系统；所述物联网云端平台与数据采集设备通信连接，用于获取所述数据采集设备采集到的数据；所述数据处理系统与所述物联网云端平台通信连接，用于对所述物联网云端平台接收到的所述数据进行分析，得到分析结果；所述业务处理系统分别与所述物联网云端平台和所述数据处理系统通信连接，用于存储所述数据处理系统传输的数据和/或分析结果，并为客户端提供相关业务服务。

进一步地，所述业务处理系统包括：接入管理模块，服务模块和存储模块；所述接入管理模块用于为所述客户端提供数据连接接口，还用于在所述客户端接入所述数据处理系统时，验证所述客户端是否符合接入所述业务处理系统的接入条件；所述服务模块与所述接入管理模块连接，用于在所述接入管理模块的管理下实现与所述客户端的连接，并为所述客户端提供相关服务；所述存储模块与所述数据处理系统连接，用于存储所述数据处理系统传输的数据和/或分析结果。

进一步地，所述接入管理模块包括：权限控制模块，安全控制模块和配额管理模块；所述权限控制模块用于验证所述客户端所属用户是否有接入权限，或者，用于验证通过所述客户端进行登录的登录信息是否为有效的登录信息；所述安全控制模块用于对接入所述数据处理系统的客户端进行安全检测，以检测所述客户端是否为非法程序；所述配额管理模块用于按照已接入所述数据处理系统的客户端的优先级，对已接入所述数据处理系统的客户端的接入状态进行管理。

进一步地，所述业务处理系统包括：数据访问模块，所述数据访问模块用于为所述客户端和所述存储模块提供数据传输通道，以使所述客户端在所述存储模块中进行数据的调用。

进一步地，所述服务模块包括：用户服务模块，设备管理模块，系统设置模块和数据报表模块；所述用户服务模块用于提供用户管理服务，其中，所述用户管理服务为对所述客户端所属用户的用户信息进行管理的服务；所述设备管理模块用于提供设备管理服务，其中，所述设备管理服务为对所述数据采集设备中的设备进行管理的服务；所述系统设置模块用于为用户提供系统设置服务；所述数据报表模块用于为用户提供数据报表服务。

进一步地，所述数据处理系统包括：离线数据处理系统和在线数据处理系统；所述离线数据处理系统通过数据接口与所述物联网云端平台连接，用于对预先从所述物联网云端平台获取到的数据进行分析；所述在线数据处理系统通过数据接口与所述物联网云端平台连接，用于对实时从所述物联网云端平台获取到的数据进行分析。

进一步地，所述数据处理系统还包括：数据清洗模块，所述数据清洗模块通过所述数据接口与所述物联网云端平台连接，用于对从所述物联网云端平台获取到的数据进行清洗操作，以将清洗之后的数据传输至所述离线数据处理系统和/或所述在线数据处理系统中进行分析。

进一步地，所述物联网云端平台包括：设备管理模块，数据处理模块，软件管理模块，数据收集模块和设备认证与授权模块；所述设备管理模块用于对所述数据采集设备中各个设备的运行状态进行管理；所述数据处理模块用于对从所述数据采集设备采集到的数据进行初步处理，并将初步处理之后的数据发送至所述数据处理系统进行分析；所述软件管理模块用于对所述数据采集设备中各个设备的系统软件进行管理；所述数据收集模块用于对从所述数据采集设备进行数据收集的操作进行管理；所述设备认证与授权模块用于对所述数据采集设备的认证和授权进行管理。

第二方面，本发明实施例还提供了一种基于云平台的数据处理方法，该方法应用于所述的数据处理系统，包括：获取数据采集设备采集到的数据；对获取到的所述数据进行分析，得到分析结果；存储所述数据处理系统传输的所述数据和/或所述分析结果。

进一步地，所述方法还包括：在客户端接入所述数据处理系统时，验证所述客户端是否符合接入所述业务处理系统的接入条件。

进一步地，验证所述客户端是否符合接入所述业务处理系统的接入条件包括：验证所述客户端所属用户是否有接入权限，其中，如果验证出有所述接入权限，则允许所述客户端接入；或者，验证通过所述客户端执行登录操作的登录信息是否为有效的登录信息，其中，如果验证出是有效的登录信息，则允许所述客户端接入。

进一步地，所述方法还包括：按照已接入所述数据处理系统的客户端的优先级，对已接入所述数据处理系统的客户端的接入状态进行管理。

进一步地，对获取到的所述数据进行分析，得到分析结果包括：对预先从所述物联网云端平台获取到的数据进行分析；或者，对实时从所述物联网云端平台获取到的数据进行分析。

进一步地，所述方法还包括：对从所述物联网云端平台获取到的数据进行清洗操作，并对清洗之后的数据进行分析，得到分析结果。

在本发明实施例中，在云服务器上设置了集群节点，分别为物联网云端平台，数据处理系统和业务处理系统，其中，首先通过物联网云端平台获取数据采集设备采集到的数据；然后，通过数据处理系统对获取到的数据进行数据分析，得到分析结果；接下来，通过业务处理系统将数据处理系统传输的数据和/或分析结果进行存储，并通过业务处理系统为客户端提供相关业务服务。在本发明实施例中，通过在云服务器上设计上述基于云平台的数据分析系统，能够降低商家的投入成本，同时使得数据采集设备采集到的数据在处理的过程中更加安全可靠，进而缓解了现有技术中在对线下数据进行分析时，成本较高且安全性较低的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于云平台的数据处理系统的示意图；

图2是根据本发明实施例的第一种可选地基于云平台的数据处理系统的示意图；

图3是根据本发明实施例的第二种可选地基于云平台的数据处理系统的示意图；

图4是根据本发明实施例的一种基于云平台的数据处理方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

根据本发明实施例，提供了一种基于云平台的数据处理系统的实施例。

图1是根据本发明实施例的一种基于云平台的数据处理系统的示意图，如图1所示，该基于云平台的数据处理系统包括设置在云服务器上的集群节点，其中，集群节点包括：物联网云端平台10，数据处理系统20和业务处理系统30。

所述物联网云端平台10与数据采集设备通信连接，用于获取所述数据采集设备采集到的数据；

在本发明实施例中，数据采集设备可以为安装在零售店中的各种采集装置，例如，图像采集装置和距离采集装置。其中，图像采集装置可以为抓拍机和摄像机，位置采集装置可以为位置传感器等。

需要说明的是，在本发明实施例中，数据采集设备通过网关设备与物联网云端平台相连接，其中，网关设备包括一级网关或者N级网关。例如，如图3所示，当在零售店中安装一个抓拍机时，该抓拍机可以通过一级网关实现与物联网云端平台的通信连接；当在零售店中安装多个位置传感器时，该多个位置传感器通过二级网关连接至一级网关，从而实现与物联网云端平台的通信连接。

需要说明的是，在本发明实施例中，数据采集设备和物联网云端平台的连接方式并不限定于上述方式，只要能够实现数据采集设备和物联网云端平台之间通信连接的方式，都能够应用在本发明实施例中。

所述数据处理系统20与所述物联网云端平台10通信连接，用于对所述物联网云端平台10接收到的所述数据进行分析，得到分析结果；

在本发明实施例中，数据处理系统20与物联网云端平台10分设在云服务器的不同服务器节点上，该数据处理系统20又可以称为大数据处理系统20，该数据处理系统20主要用于对物联网云端平台采集到的数据进行分析处理。

所述业务处理系统30分别与所述物联网云端平台10和所述数据处理系统20通信连接，用于存储所述数据处理系统传输的数据和/或分析结果，并为客户端提供相关业务服务；

在本发明实施例中，业务处理系统30与应用层中的APP客户端或者WEP客户端相连接，用于对数据处理系统传输的数据和/或分析结果进行存储，以及为客户端提供相关业务服务。

在本发明实施例中，在云服务器上设置了集群节点，分别为物联网云端平台，数据处理系统和业务处理系统，其中，首先通过物联网云端平台获取数据采集设备采集到的数据；然后，通过数据处理系统对获取到的数据进行数据分析，得到分析结果；接下来，通过业务处理系统将数据处理系统传输的数据和/或分析结果进行存储，并通过业务处理系统为客户端提供相关业务服务。在本发明实施例中，通过在云服务器上设计上述基于云平台的数据分析系统，能够降低商家的投入成本，同时使得数据采集设备采集到的数据在处理的过程中更加安全可靠，进而缓解了现有技术中在对线下数据进行分析时，成本较高且安全性较低的技术问题。

随着人工智能和物联网的发展，基于视频分析、Wi-Fi、蓝牙、距离传感器等技术的传感器为各种类型的用户数据采集提供了基础条件。为了更好的支持新零售业务的发展，并且能低成本的接入更多的商家，本发明实施例中所提供的基于云平台的数据处理系统为一套高性能、高稳定和可扩展的数据处理系统。下面将具体介绍上述基于云平台的数据处理系统。

在一个可选的实施方式中，如图2所示，业务处理系统30包括：接入管理模块31，服务模块32和存储模块33。

其中，所述接入管理模块31用于为所述客户端提供数据连接接口，还用于在所述客户端接入所述数据处理系统时，验证所述客户端是否符合接入所述业务处理系统的接入条件；

所述服务模块32与所述接入管理模块连接，用于在所述接入管理模块的管理下实现与所述客户端的连接，并为所述客户端提供相关服务；

所述存储模块33与所述数据处理系统连接，用于存储所述数据处理系统传输的数据和/或分析结果。

在本发明实施例中，在业务处理系统是为应用层中的客户端(例如，APP或者WEP)提供相关业务服务的系统，在该系统中设置了接入管理模块31，服务模块32和存储模块33。

具体地，在接入管理模块31主要为应用层的客户端提供数据连接接口，例如，应用程序编程接口API。除此之外，为了保证基于云平台的数据处理系统的安全性，还需要对接入当前数据处理系统的客户端进行验证，以验证该客户端是否满足接入条件。除此之外，接入管理模块31还用于为客户端所属客户分配开发权限。

例如，针对不用的用户，可以使用不用的客户端来执行相关操作，其中，该客户端可以为预先基于该数据处理系统研发的客户端，此时，普通用户可以通过该客户端进行登录，查询和数据导出等操作。该客户端可以为用户的研发团队基于该数据处理系统研发的客户端，此时，本发明实施例中的基于云平台的数据处理系统通过接入管理模块为该客户端分配对应的接入权限和开发权限，此时，该用户就可以根据该客户端进行登录，查询和数据导出的操作。

服务模块与接入管理模块相连接，用于在接入管理模块的管理下实现与客户端的连接。例如，如果接入管理模块验证出客户端符合接入条件，则允许客户端接入业务处理系统。在客户端接入业务处理系统之后，就能够与服务模块通信连接，从而使得服务模块为客户端提供相关业务服务。

存储模块与数据处理系统相连接，且与服务模块相连接，用于储数据处理系统传输的数据和/或分析结果。其中，物联网云端平台在将数据发送至数据处理系统，以使数据处理系统对该数据进行分析的同时，数据处理系统还可以将该数据直接发送至存储模块中进行存储，并对该数据进行分析，从而将分析结果也发送至存储模块进行存储。

除此之外，数据处理系统在获取到该数据的同时，数据处理系统还可以将该数据直接保存至数据处理系统中的存储器中，并对该数据进行分析，从而将分析结果也发送至存储模块进行存储。

在一个可选的实施方式中，如图3所示，接入管理模块31包括：权限控制模块，安全控制模块和配额管理模块。

所述权限控制模块用于验证所述客户端所属用户是否有接入权限，或者，用于验证通过所述客户端进行登录的登录信息是否为有效的登录信息。

在本发明实施例中，权限控制模块主要是验证客户端所属用户是否有接入权限，以及验证通过客户端进行登录的登录信息是否为有效的登录信息。例如，用户在通过客户端进行登录时，该权限控制模块将验证用户所输入的登录信息(用户名和密码)是否为有效的登录信息，即用户名和密码是否正确。

当权限控制模块验证用户输入的登录信息为有效的登录信息之后，用户可以通过客户端来进行相关的操作。在用户通过客户端进行注册时，可能会给该用户分配不同的权限。例如，在客户端中包括功能1和功能2，但是用户只有使用功能1的权限，没有使用功能2的权限。

如果用户通过客户端想要使用功能2时，权限控制模块将验证该用户是否有相应的权限，如果则，则允许该客户端接入至服务模块的对应模块中。

所述安全控制模块用于对接入所述数据处理系统的客户端进行安全检测，以检测所述客户端是否为非法程序。

在本发明实施例中，为了保证基于云平台的数据处理系统的安全性，还需要通过安全控制模块控制接入该数据处理系统的客户端的安全性。例如，该安全控制模块可以在客户端接入该数据处理系统之前，对该客户端进行安全检查，以检查该客户端是否为非法程序(例如，木马程序)。如果检查出该客户端是非法程序(例如，木马程序)，则不允许该客户端接入该数据处理系统。

通过上述描述可知，在本发明实施例中，通过该接入管理模块中设置权限控制模块和安全控制模块，能够对数据处理系统进行安全防护，防止非法程序对该数据处理系统进行攻击，而造成不必要的损失。

需要说明的是，在安全控制模块中还可以设置熔断策略。熔断策略是指按照已接入所述数据处理系统的客户端的优先级，对已接入所述数据处理系统的客户端的接入状态进行管理。

在本发明实施例中，该基于云平台的数据处理系统能够支持多个客户端同时接入，例如，1000个客户端同时接入，或者2000个客户端同时接入。假设，该基于云平台的数据处理系统所能够支持的客户端的数量为5000个。在某一时刻，有6000个客户端同时接入该基于云平台的数据处理系统。此时，可以按照各个客户端的优先级，对已接入该数据处理系统的客户端的接入状态进行管理。例如，优先保证这6000个客户端中的前5000客户端与该数据处理系统的通信质量。

如果前5000个客户端中有客户端退出登录，此时，可以保证这5999个客户端中的前5000客户端与该数据处理系统的通信质量。以此类推，此处不再详细赘述。

在本发明实施例中，通过在安全控制模块中设置熔断策略，能够保证在数据处理系统接入大量的客户端时，保证优先级高的客户端与该数据处理系统之间的通信质量。

需要说明的是，在本发明实施例中，优先级可以默认按照各个客户端接入该数据处理系统先后顺序来决定。除此之外，还可以按照登录该客户端的用户等级来决定，例如，用户的等级为皇冠用户，用户的等级为蓝钻用户等不同的等级。其中，等级高的用户优先级高，等级低的用户优先级低。此时，就可以按照用户等级来确定各个客户端的优先级，从而，保证优先级高的客户端与该数据处理系统之间的通信质量。

所述配额管理模块用于管理用户的API配额。在本发明实施例中，为了合理分配资源，为访问API的用户限定了使用配额(即，API配额)。当用户每调用一次API操作时，都会消耗一定量的API配额。当API配额使用完后，在下一次分配配额之前，该用户将无法使用API提供的服务。配额会在固定周期进行清零，然后重新分配。

在另一个可选的实施方式中，服务模块32包括：用户服务模块，设备管理模块，系统设置模块和数据报表模块。如图3所示，用户服务模块为图3中的用户中心模块和店铺中心模块。如图3所示，服务模块32除了包括上述模块之外，还包括其他的模块，在本发明实施例中，对此不作具体限制。在本发明实施例中，可以根据实际需要在服务模块32中设置其他的功能模块。

所述用户服务模块用于提供用户管理服务，其中，所述用户管理服务为对所述客户端所属用户的用户信息进行管理的服务；

在本发明实施例中，用户服务模块主要用于为用户提供信息管理服务，例如，用户信息的查询，用户信息的修改，用户信息的注销和用户的登录等操作。

其中，用户服务模块分为用户中心模块和店铺中心模块。用户中心模块主要用于管理个人用户的用户信息，店铺中心模块主要用于店铺用户的用户信息。

所述设备管理模块用于提供设备管理服务，其中，所述设备管理服务为对所述数据采集设备中的设备进行管理的服务；

在本发明实施例中，用户可以通过客户端来管理数据采集设备中硬件设备的运行状态。例如，用户通过客户端发送关闭传感器1的关闭指令时，设备管理模块将为客户端的关闭指令提供相关服务。此时，设备管理模块将向物联网云端平台的设备管理模块发送相应的控制指令。物联网云端平台的设备管理模块在接收到该指令之后，通过网关设备控制传感器1的运行状态为关闭。

需要说明的是，在本发明实施例中，系统和系统之间，模块和模块之间，以及模块和系统之间可以通过同步和异步两种方式进行通信，同步可以采用restful和RPC进行通信，异步可以采用队列等。

所述系统设置模块用于为用户提供系统设置服务。在本发明实施例中，当用户要对客户端进行系统设置时，该系统设置模块就为该用户提供系统设置服务。例如，用户要通过该客户端设置相关权限时，该系统设置模块将为用户提供权限设置模块。

所述数据报表模块用于为用户提供数据报表服务；在本发明实施例中，该数据报表模块主要用于提供相关数据报表服务，例如，报表新建，报表查询，报表更新，报表保存等。

如图3所示，服务模块32除了包括上述模块之外，还包括基础服务模块，如图3所示，基础服务模块用于提供以下服务：日志，短信，队列和任务。其中，日志用于记录用户的操作日志信息；短信用于为用户提供短信服务；队列用于在某个模块的数据处理量较大时，提供缓冲服务；任务可以为定时任务，用户可以通过该模块新建任务，例如，定时任务等。

在另一个可选的实施方式中，如图3所示，该业务处理系统30还包括：数据访问模块34。

其中，所述数据访问模块34用于为所述客户端和所述存储模块提供数据传输通道，以使所述客户端在所述存储模块中进行数据的调用。

如图3所示，当用户想要查看存储模块中的数据时，可以通过客户端发送查询指令，此时，服务模块中的相关模块获取到该查询指令之后，可以通过数据访问模块34从存储模块中查询相应的数据，并返回至客户端中进行显示。

如图3所示，在本发明实施例中，存储模块33中包括：Redis，Mysql和文件系统。Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API；MySQL是一个关系型数据库管理系统；文件系统是操作系统用于明确存储设备(常见的是磁盘，也有基于NAND Flash的固态硬盘)或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。

在另一个可选的实施方式中，数据处理系统20包括：离线数据处理系统和在线数据处理系统。

所述离线数据处理系统通过数据接口与所述物联网云端平台连接，用于对预先从所述物联网云端平台获取到的数据进行分析；

所述在线数据处理系统通过数据接口与所述物联网云端平台连接，用于对实时从所述物联网云端平台获取到的数据进行分析。

如图3所示，离线数据处理系统即为图3中所示的离线计算spark，spark是通用并行框架。在线数据处理系统即为图3中个所示的在线计算storm，storm是一个分布式的、容错的实时计算系统。

在本发明实施例中，物联网云端平台可以预先将从数据采集设备采集到的数据传输给数据处理系统，处理处理系统可以先对采集到的数据进行存储，然后，通过离线数据处理系统统一对采集到的数据进行分析处理。例如，将2017年11月23日采集到的数据进行存储，并统一对2017年11月23日采集到的数据进行分析处理。

在本发明实施例中，物联网云端平台还可以实时将从数据采集设备处采集到的数据传输至数据处理系统，以使数据处理系统实时的对数据进行分析处理。

在另一个可选的实施方式中，所述数据处理系统还包括：数据清洗模块。

在本发明实施例中，所述数据清洗模块通过数据接口与物联网云端平台连接，用于对从物联网云端平台获取到的数据进行清洗操作，以将清洗之后的数据传输至离线数据处理系统和/或在线数据处理系统中进行分析。

具体地，如图3所示，数据处理系统中接口层为其提供数据接口，以及物联网云端平台的接口层为其提供数据接口，此时，数据处理系统和物联网云端平台就能够通过数据接口进行通信连接。物联网云端平台在将数据传输至数据处理系统时，可以首先通过数据处理系统中的数据清洗模块来对数据进行清洗处理，包括，去重，过滤，去掉数据中的无效数据等等各种操作。

在通过数据清洗模块对数据进行清洗之后，就可以通过离线数据处理系统或者在线数据处理系统对清洗之后的数据进行分析。

如图3所示，数据处理系统还包括数据统一接入管理模块，该数据统一接入管理模块用于接入第三方服务，例如，商家ERP系统，商家会员中心和第三方数据等。数据处理系统会统一对上述数据进行处理后，传输给数据采集设备和应用层的客户端来使用。除此之外，该数据统一接入管理模块还能够对第三方数据进行格式转化，转化成该数据处理系统能够识别的格式。

在本发明实施例中，如图3所示，所述物联网云端平台通过网关设备与所述数据采集装置中的各个设备通信连接，所述物联网云端平台用于对以下至少一种信息进行管理：所述数据采集设备中各个设备的运行状态，从所述数据采集设备中获取到的数据的管理，所述数据采集设备中各个设备的系统软件，从所述数据采集设备进行数据收集的操作，所述数据采集设备的认证和授权。

可选地，物联网云端平台包括设备管理模块，数据处理模块，版本升级模块，数据收集模块和设备认证与授权模块。

所述设备管理模块用于对所述数据采集设备中各个设备的运行状态进行管理；其中，运行状态包括开启和关闭等操作管理。

所述数据处理模块用于对从所述数据采集设备采集到的数据进行初步处理，并将初步处理之后的数据发送至所述数据处理系统进行分析；其中，初步处理包括数据的格式转化，数据的分类等操作。

所述软件管理模块用于对所述数据采集设备中各个设备的系统软件进行管理；例如，用于对数据采集设备中各个硬件设备的系统软件进行升级管理。

所述数据收集模块用于对从所述数据采集设备进行数据收集的操作进行管理；例如，收集数据采集设备中哪个硬件设备采集到的数据等操作。

所述设备认证与授权模块用于对所述数据采集设备的认证和授权进行管理。

在本发明实施例中，智能硬件层的数据采集设备只做数据的相关采集，所有的计算和存储全部在云端，通过API对外提供服务。

数据采集设备是基于图像识别和传感器技术的采集设备，聚焦应用于零售场景实现收集消费者行为数据的系列设备，通过收集挖掘相关实时客流量分析、用户特征分析、时间维度分析、浏览行为等用户数据，经过分析和预测，为零售业态提供更好的消费体验和店铺管理。实现以消费者为中心的会员、支付、库存、服务等方面数据的全面打通，建立可以复制的便利店中央式服务管理系统，提升组织效率，实现经营的精细化。

基于大数据的收集，本发明实现在零售场景对人的分析、人与场之间的分析、人与货之间的分析、实现零售数据的跨平台、跨系统的融合与分析、利用机器学习或人工智能的方式实现零售行业的数据智能，提供自动化的预测与建议服务。

综上，通过上述描述可知，在本发明实施例中，数据采集设备与物联网云端平台相连接，并不与数据处理系统相连接，并通过业务处理系统来与接入管理模块进行通信连接。通过该设置方式，能够使得数据处理效率更高，数据的安全性更高。

实施例二：

本发明实施例还提供了一种基于云平台的数据处理方法。

图4是根据本发明实施例的一种基于云平台的数据处理方法的流程图，该方法应用于上述实施例一中的数据处理系统，如图4所示，该基于云平台的数据处理方法主要包括以下步骤：

步骤S402，获取数据采集设备采集到的数据；

在本发明实施例中，通过物联网云端平台获取所述数据采集设备采集到的数据。

步骤S404，对获取到的所述数据进行分析，得到分析结果；

在本发明实施例中，通过数据处理系统对物联网云端平台接收到的数据进行分析，得到分析结果。数据处理系统与物联网云端平台相连接，用于获取物联网云端平台接收到的数据，并对该数据进行分析处理。

步骤S406，存储所述数据处理系统传输的所述数据和/或所述分析结果；

在本发明实施例中，通过业务处理系统存储数据处理系统传输的数据和/或分析结果。

在本发明实施例中，首先通过物联网云端平台获取数据采集设备采集到的数据；然后，通过数据处理系统对获取到的数据进行数据分析，得到分析结果；接下来，通过业务处理系统将数据处理系统传输的数据和/或分析结果进行存储，并通过业务处理系统为客户端提供相关业务服务。在本发明实施例中，通过在云服务器上设计上述基于云平台的数据分析系统，能够降低商家的投入成本，同时使得数据采集设备采集到的数据在处理的过程中更加安全可靠，进而缓解了现有技术中在对线下数据进行分析时，成本较高且安全性较低的技术问题。

在一个可选的实施方式中，该还包括：

在客户端接入所述数据处理系统时，验证所述客户端是否符合接入所述业务处理系统的接入条件。

为了保证基于云平台的数据处理系统的安全性，业务处理系统需要对接入当前数据处理系统的客户端进行验证，以验证该客户端是否满足接入条件。除此之外，接入管理模块还用于为客户端所属客户分配开发权限。

例如，针对不用的用户，可以使用不用的客户端来执行相关操作，其中，该客户端可以为预先基于该数据处理系统研发的客户端，此时，普通用户可以通过该客户端进行登录，查询和数据导出等操作。该客户端可以为用户的研发团队基于该数据处理系统研发的客户端，此时，本发明实施例中的基于云平台的数据处理系统通过接入管理模块为该客户端分配对应的接入权限和开发权限，此时，该用户就可以根据该客户端进行登录，查询和数据导出的操作。

在一个可选的实施方式中，验证所述客户端是否符合接入所述业务处理系统的接入条件包括如下步骤S1或者步骤S2：

步骤S1，验证所述客户端所属用户是否有接入权限，其中，如果验证出有接入权限，则允许所述客户端接入；或者

步骤S2，验证通过所述客户端执行登录操作的登录信息是否为有效的登录信息，其中，如果验证出是有效的登录信息，则允许所述客户端接入。

在本发明实施例中，需要验证客户端所属用户是否有接入权限，以及验证通过客户端进行登录的登录信息是否为有效的登录信息。

例如，用户在通过客户端进行登录时，验证用户所输入的登录信息(用户名和密码)是否为有效的登录信息，即用户名和密码是否正确。当验证用户输入的登录信息为有效的登录信息之后，用户可以通过客户端来进行相关的操作。

在用户通过客户端进行注册时，可能会给该用户分配不同的权限。例如，在客户端中包括功能1和功能2，但是用户只有使用功能1的权限，没有使用功能2的权限。如果用户通过客户端想要使用功能2时，将验证该用户是否有相应的权限，如果则，则允许该客户端接入至服务模块的对应模块中。

在一个可选的实施方式中，该方法还包括：按照已接入所述数据处理系统的客户端的优先级，对已接入所述数据处理系统的客户端的接入状态进行管理。

在本发明实施例中，该基于云平台的数据处理系统能够支持多个客户端同时接入，例如，1000个客户端同时接入，或者2000个客户端同时接入。假设，该基于云平台的数据处理系统所能够支持的客户端的数量为5000个。在某一时刻，有6000个客户端同时接入该基于云平台的数据处理系统。此时，可以按照各个客户端的优先级，对已接入该数据处理系统的客户端的接入状态进行管理。例如，优先保证这6000个客户端中的前5000客户端与该数据处理系统的通信质量。

如果前5000个客户端中有客户端退出登录，此时，可以保证这5999个客户端中的前5000客户端与该数据处理系统的通信质量。以此类推，此处不再详细赘述。

在另一个可选的实施方式中，对获取到的所述数据进行分析，得到分析结果包括如下步骤：

对预先从所述物联网云端平台获取到的数据进行分析；或者

对实时从所述物联网云端平台获取到的数据进行分析。

在本发明实施例中，物联网云端平台可以预先将从数据采集设备采集到的数据传输给数据处理系统，处理处理系统可以先对采集到的数据进行存储，然后，通过离线数据处理系统统一对采集到的数据进行分析处理。例如，将2017年11月23日采集到的数据进行存储，并统一对2017年11月23日采集到的数据进行分析处理。

在本发明实施例中，物联网云端平台还可以实时将从数据采集设备处采集到的数据传输至数据处理系统，以使数据处理系统实时的对数据进行分析处理。

在另一个可选的实施方式中，该方法还包括：对从所述物联网云端平台获取到的数据进行清洗操作，并对清洗之后的数据进行分析，得到分析结果。

物联网云端平台在将数据传输至数据处理系统时，可以首先通过数据处理系统中的数据清洗模块来对数据进行清洗处理，包括，去重，过滤，去掉数据中的无效数据等等各种操作。在通过数据清洗模块对数据进行清洗之后，就可以通过离线数据处理系统或者在线数据处理系统对清洗之后的数据进行分析。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或连接可以是通过一些通信接口，装置或单元的间接耦合或连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种基于云平台的数据处理系统，其特征在于，包括设置在云服务器上的集群节点，所述集群节点包括：物联网云端平台，数据处理系统和业务处理系统；

所述物联网云端平台与数据采集设备通信连接，用于获取所述数据采集设备采集到的数据；

所述数据处理系统与所述物联网云端平台通信连接，用于对所述物联网云端平台接收到的所述数据进行分析，得到分析结果；

所述业务处理系统分别与所述物联网云端平台和所述数据处理系统通信连接，用于存储所述数据处理系统传输的数据和/或分析结果，并为客户端提供相关业务服务。

2.根据权利要求1所述的系统，其特征在于，所述业务处理系统包括：接入管理模块，服务模块和存储模块；

所述接入管理模块用于为所述客户端提供数据连接接口，还用于在所述客户端接入所述数据处理系统时，验证所述客户端是否符合接入所述业务处理系统的接入条件；

所述服务模块与所述接入管理模块连接，用于在所述接入管理模块的管理下实现与所述客户端的连接，并为所述客户端提供相关服务；

所述存储模块与所述数据处理系统连接，用于存储所述数据处理系统传输的数据和/或分析结果。

3.根据权利要求2所述的系统，其特征在于，所述接入管理模块包括：权限控制模块，安全控制模块和配额管理模块；

所述权限控制模块用于验证所述客户端所属用户是否有接入权限，或者，用于验证通过所述客户端进行登录的登录信息是否为有效的登录信息；

所述安全控制模块用于对接入所述数据处理系统的客户端进行安全检测，以检测所述客户端是否为非法程序；

所述配额管理模块用于管理用户的API配额。

4.根据权利要求2所述的系统，其特征在于，所述业务处理系统包括：

数据访问模块，所述数据访问模块用于为所述客户端和所述存储模块提供数据传输通道，以使所述客户端在所述存储模块中进行数据的调用。

5.根据权利要求2所述的系统，其特征在于，所述服务模块包括：用户服务模块，设备管理模块，系统设置模块和数据报表模块；

所述用户服务模块用于提供用户管理服务，其中，所述用户管理服务为对所述客户端所属用户的用户信息进行管理的服务；

所述设备管理模块用于提供设备管理服务，其中，所述设备管理服务为对所述数据采集设备中的设备进行管理的服务；

所述系统设置模块用于为用户提供系统设置服务；

所述数据报表模块用于为用户提供数据报表服务。

6.根据权利要求1所述的系统，其特征在于，所述数据处理系统包括：离线数据处理系统和在线数据处理系统；

所述离线数据处理系统通过数据接口与所述物联网云端平台连接，用于对预先从所述物联网云端平台获取到的数据进行分析；

所述在线数据处理系统通过数据接口与所述物联网云端平台连接，用于对实时从所述物联网云端平台获取到的数据进行分析。

7.根据权利要求6所述的系统，其特征在于，所述数据处理系统还包括：

数据清洗模块，所述数据清洗模块通过所述数据接口与所述物联网云端平台连接，用于对从所述物联网云端平台获取到的数据进行清洗操作，以将清洗之后的数据传输至所述离线数据处理系统和/或所述在线数据处理系统中进行分析。

8.根据权利要求1所述的系统，其特征在于，所述物联网云端平台包括：设备管理模块，数据处理模块，软件管理模块，数据收集模块和设备认证与授权模块；

所述设备管理模块用于对所述数据采集设备中各个设备的运行状态进行管理；

所述数据处理模块用于对从所述数据采集设备采集到的数据进行初步处理，并将初步处理之后的数据发送至所述数据处理系统进行分析；

所述软件管理模块用于对所述数据采集设备中各个设备的系统软件进行管理；

所述数据收集模块用于对从所述数据采集设备进行数据收集的操作进行管理；

所述设备认证与授权模块用于对所述数据采集设备的认证和授权进行管理。

9.一种基于云平台的数据处理方法，应用于上述权利要求1至8中任一项所述的数据处理系统，其特征在于，包括：

获取数据采集设备采集到的数据；

对获取到的所述数据进行分析，得到分析结果；

存储所述数据处理系统传输的所述数据和/或所述分析结果。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

在客户端接入所述数据处理系统时，验证所述客户端是否符合接入所述业务处理系统的接入条件。

11.根据权利要求10所述的方法，其特征在于，验证所述客户端是否符合接入所述业务处理系统的接入条件包括：

验证所述客户端所属用户是否有接入权限，其中，如果验证出有所述接入权限，则允许所述客户端接入；或者

验证通过所述客户端执行登录操作的登录信息是否为有效的登录信息，其中，如果验证出是有效的登录信息，则允许所述客户端接入。

12.根据权利要求9所述的方法，其特征在于，所述方法还包括：

按照已接入所述数据处理系统的客户端的优先级，对已接入所述数据处理系统的客户端的接入状态进行管理。

13.根据权利要求9所述的方法，其特征在于，对获取到的所述数据进行分析，得到分析结果包括：

对预先从所述物联网云端平台获取到的数据进行分析；或者

对实时从所述物联网云端平台获取到的数据进行分析。

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

对从所述物联网云端平台获取到的数据进行清洗操作，并对清洗之后的数据进行分析，得到分析结果。