CN114511372A - 一种智能数据处理方法 - Google Patents

Abstract

本发明提供了一种智能数据处理方法，包括：步骤01：获取数据，存储到一数据库中；步骤02：对数据进行预处理；步骤03：将预处理后的数据分为：商品数据、用户数据、流量数据、门店数据、交易数据；步骤04：对商品数据、用户数据、流量数据分别进行分析计算，分别输出不同的分析结果数据。本发明将数据进行分类处理和同步处理，提高了处理效率。

Description

一种智能数据处理方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种智能数据处理方法。

背景技术

现代社会的营销，由于信息时代数据的多元化，以人为管理模式的营销方式受到限制，例如，设备资源不能得到合理利用，管理者无法实时掌握各项动态资料等。并且，现有的营销系统，虽然能够对用户信息进行收集，但是缺乏对用户群体的分析和细分；缺乏自动化营销工具，工作效率低下；缺乏活动策划的管理、跟踪和评估；缺乏用户、员工、管理者三方的有效信息互动和管理。

此外，传统的营销系统获取数据方式单一，对数据的分析深度不够，对分析结果的展示不详细。而且，对交易信息、用户信息、订单等，都是人工手动输入，人工输入方式不能够涵盖营销信息的各种渠道、营销业绩，无法统计门店的客户情况、客户对产品的使用情况等，从而导致信息缺失，影响营销手段和市场推进。此外，人工输入需要消耗大量的人力和时间，费时费力，效率低下，不能够准确地收集处理各种信息，并且给出及时的反馈。

再者，传统的营销系统，仅仅是对产品的营销数据进行监控和统计，评判方式和处理方式单一化，难以对用户的喜好和倾向的产品与销售情况相结合。往往一个订单只有一种商品关联，更无从知道客户的喜好和商品设置是否合理，例如无法实现对客户的及时准确的推送服务，导致大批量的营销活动开展受到限制、业务扩展受到限制。目前的营销系统，也尚未出现针对用户、员工、管理者三方面的互动行为的营销方法。

而且，传统的营销系统，存在不能及时停止对劣质营销产品推送，且推荐过于频繁，导致用户出现抵触心理，影响其使用；用户不能根据实际需求暂停接收营销产品推送。

传统营销的过程通常是营销者设计好素材，选择营销受众(即目标群体)、预算等可配置参数，将素材投放在社交媒体平台上，平台根据内部的策略进行展示，根据投放平台反馈的统计数据信息，如浏览量、下载量，实际费用等，更新受众、预算等可配置参数，直至该投放过程结束。这是一个典型的序列决策过程，营销的目标是使得实际费用尽可能低的情况下，在目标受众上的转化率(可定为下载量或浏览量)尽可能高。由于素材投放之后，平台内部会在大量的投放素材之间进行竞价和推荐，最终进行展示，而平台的策略无法直接获得，也间接导致素材的投放是一个持续的、动态变化的过程，投放者需要凭借直觉和经验决策，即决定如何进行下一次投放。

发明内容

为了克服以上问题，本发明旨在提供一种智能数据处理方法，对各个数据进行分类计算分析处理，实现数据的智能化分析和计算。

为了实现上述目的，本发明提供了一种智能数据处理方法，包括：

步骤01：获取数据，存储到一数据库中；

步骤02：对数据进行预处理；

步骤03：将预处理后的数据分为：商品数据、用户数据、流量数据、门店数据、交易数据；

步骤04：对商品数据、用户数据、流量数据分别进行分析计算，分别输出不同的分析结果数据。

在一些实施例中，采用“削峰填谷”的方式对数据进行预处理。

在一些实施例中，所述步骤04中对商品数据的分析计算具体包括：对商品数据进行定期计算，每次计算后将结果存储在数据库中同时存储到分布式文件存储数据库(MongoDB)中和缓存到一远程数据库(redis)中。

在一些实施例中，步骤04之后还包括：在数据库中调取到最新的商品数据并且发送给一数据显示单元；数据显示单元将最新的商品数据显示出来。

在一些实施例中，所述步骤04中对用户数据的分析计算具体包括：采用增量计算方式对用户数据进行分析，并且存储于数据库中。

在一些实施例中，所述对用户数据的分析计算还包括：对用户数据进行分类；然后，分析当前新增的用户数据，将新增的用户数据归属到相应类别的用户数据中；

并且同时更新数据库中的用户数据。

在一些实施例中，所述对用户数据的分析计算过程中，还包括：采用一应用程序编程接口(API)，根据用户指令来调用数据库中的用户数据。

在一些实施例中，所述步骤04中对流量数据的分析计算具体包括：

对流量数据进行识别，并且列出所有的访客来源；

对各个访客来源的占比进行计算，并且根据占比对访客来源进行排序；

将排序的结果缓存在远程数据(redis)中。

在一些实施例中，所述步骤04中对门店数据的分析计算具体包括：

接收到查询指令；

分析一个或多个门店数据，得到分析结果；

在分布式文件存储数据库(Mongo DB)中，存储分析结果；

在远程数据库(redis)中，缓存所述分析结果；

根据字段的类型，将所保存的门店数据进行排序；以及，接收到刷新指令后，在分布式文件存储数据库(Mongo DB)中调取到最新的门店数据。

在一些实施例中，所述步骤04中对交易数据的分析计算具体包括：

接收交易数据；交易数据包括订单数据、退单数据、客户身份数据；

将交易数据进行分库分表存储；

对交易数据进行流计算(stream)，将当前传输过来的交易数据进行分类并计算；其中，根据所述订单数据和所述退款数据、以及根据客户身份数据，对客户身份进行识别，将交易数据标记到所对应的客户身份中；

输出计算结果。

本发明的智能数据处理方法，将数据进行分类处理和同步处理，提高了处理效率。

附图说明

图1为本发明的一个实施例的智能数据处理方法的流程示意图

图2为本发明的一个实施例的商品数据的分析计算方法的流程示意图

图3为本发明的一个实施例的用户数据的分析计算方法的流程示意图

图4为本发明的一个实施例的流量数据的分析计算方法的流程示意图

图5为本发明的一个实施例的门店数据的分析计算方法的流程示意图

图6为本发明的一个实施例的交易数据的分析计算方法的流程示意图

具体实施方式

为使本发明的内容更加清楚易懂，以下结合具体实施例，对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。

以下结合附图和具体实施例对本发明的内容进行详细说明。需要注意的是，附图采用非精准的比例来表达，并不用于限制本发明的保护范围。

请参阅图1，本实施例中，一种智能数据处理方法，包括：

步骤01：获取数据，存储到一数据库中；

具体的，对数据的获取方法可以采用常规数据采集方法。数据库可以用于存储各种数据。

步骤02：对数据进行预处理；

具体的，预处理的方法采用“削峰填谷”的方式，对数据进行预处理，从而保证数据的完整性。

步骤03：将预处理后的数据分为：商品数据、用户数据、流量数据；

具体的，根据需求，将数据分为商品数据、用户数据、流量数据等；

步骤04：对商品数据、用户数据、流量数据分别进行分析计算，分别输出不同的分析结果数据。

具体的，对数据的分析计算中，首先，可以包含对数据类型的判断。数据类型的判断包括：

对各种数据进行抽样，得到样本数据；具体的，数据类型识别单元进行1000个数据的抽样作为样本数据。

对样本数据进行判断，判断数据类型，并且记录每个类型中的数据的数量；具体的，数据类型包括整型数据(integer)、字符串类型数据(string)、布尔型数据(Boolean)、空对象指针(null)、数组型数据(array)、对象类型数据(object)。

采用数量最多的类型作为样本数据的类型。

然后，根据不同的数据类型，调用不同的任务单元(job)进行处理。具体的，任务单元的数量能够自动增加或减少，根据数据的量自动调整。

请参阅图2，对商品数据的分析计算可以包括：对商品数据进行定期计算，每次计算后将结果存储在数据库中同时存储到分布式文件存储数据库(Mongo DB)中和缓存到一远程数据库(redis)中。具体的，对获得的商品数据每隔一定时间例如10分钟就计算依次，并且将每次计算结果存储在数据库中，同时缓存到远程数据库(redis)中，这样，加快了系统的读取速度，缓解数据库的压力。此外，步骤04之后还包括：接收到刷新指令后，在分布式文件存储数据库(Mongo DB)中调取到最新的商品数据。

此外，请参阅图3，对用户数据的分析计算具体可以包括：采用增量计算方式对用户数据进行分析，并且存储于数据库中。这里，对用户数据的分析计算还包括：对用户数据进行分类；然后，分析当前新增的用户数据，将新增的用户数据归属到相应类别的用户数据中；并且同时更新数据库中的用户数据。进一步的，对用户数据的分析计算过程中，还包括：采用一应用程序编程接口(API)，根据用户指令来调用数据库中的用户数据。

本实施例中，请参阅图4，对流量数据的分析计算具体包括：

对流量数据进行识别，并且列出所有的访客来源；

对各个访客来源的占比进行计算，并且根据占比对访客来源进行排序。此外，对访客来源进行排序之后还包括：将排序的结果缓存在远程数据(redis)中，这样可以避免后续的重复计算，提高数据处理的效率。

请参阅图5，对门店数据的分析计算具体包括：

接收到查询指令；具体的，查询指令的时间可以按照按天或按周来查询。

分析一个或多个门店数据，得到分析结果；

分布式文件存储数据库(Mongo DB)，存储所述分析结果；这里，分布式文件存储数据库(Mongo DB)中还包含字段索引模块，所述字段索引模块根据字段的类型，将所保存的门店数据进行排序。

远程数据(redis)，缓存所述分析结果。

进一步的，还利用一应用程序编程接口(API)比较所述查询指令是否查询过；如果所述查询指令已经查询过，直接调用之前查询的结果，这样，可以避免重复计算，避免对服务器资源过多的耗费。较佳的，本实施例的分布式文件存储数据库(Mongo DB)中还包含字段索引模块，所述字段索引模块根据字段的类型，将所保存的门店数据进行排序，从而提升了本智能系统的排序功能。

请参阅图6，对交易数据的分析计算具体包括：

接收交易数据；具体的，交易数据包括订单数据和退单数据；交易数据中包含客户身份数据。

将交易数据进行分库分表存储；

对交易数据进行流计算(stream)，将当前传输过来的交易数据进行分类并计算；

输出计算结果。

此外，还包括，根据所述订单数据和所述退款数据、以及根据客户身份数据，对客户身份进行识别，将交易数据标记到所对应的客户身份中。

本发明的智能数据处理方法，将各种数据进行分类处理和同步处理，提高了处理效率。

虽然本发明已以较佳实施例揭示如上，然所述实施例仅为了便于说明而举例而已，并非用以限定本发明，本领域的技术人员在不脱离本发明精神和范围的前提下可作若干的更动与润饰，本发明所主张的保护范围应以权利要求书所述为准。

Claims (10)

1.一种智能数据处理方法，其特征在于，包括：

步骤01：获取数据，存储到一数据库中；

步骤02：对数据进行预处理；

步骤03：将预处理后的数据分为：商品数据、用户数据、流量数据、门店数据、交易数据；

步骤04：对商品数据、用户数据、流量数据分别进行分析计算，分别输出不同的分析结果数据。

2.根据权利要求1所述的智能数据处理方法，其特征在于，采用“削峰填谷”的方式对数据进行预处理。

3.根据权利要求1所述的智能数据处理方法，其特征在于，所述步骤04中对商品数据的分析计算具体包括：对商品数据进行定期计算，每次计算后将结果存储在数据库中同时存储到分布式文件存储数据库(Mongo DB)中和缓存到一远程数据库(redis)中。

4.根据权利要求3所述的智能数据处理方法，其特征在于，步骤04之后还包括：在数据库中调取到最新的商品数据并且发送给一数据显示单元；数据显示单元将最新的商品数据显示出来。

5.根据权利要求1所述的智能数据处理方法，其特征在于，所述步骤04中对用户数据的分析计算具体包括：采用增量计算方式对用户数据进行分析，并且存储于数据库中。

6.根据权利要求5所述的智能数据处理方法，其特征在于，所述对用户数据的分析计算还包括：对用户数据进行分类；然后，分析当前新增的用户数据，将新增的用户数据归属到相应类别的用户数据中；并且同时更新数据库中的用户数据。

7.根据权利要求6所述的智能数据处理方法，其特征在于，所述对用户数据的分析计算过程中，还包括：采用一应用程序编程接口(API)，根据用户指令来调用数据库中的用户数据。

8.根据权利要求1所述的智能数据处理方法，其特征在于，所述步骤04中对流量数据的分析计算具体包括：

对流量数据进行识别，并且列出所有的访客来源；

对各个访客来源的占比进行计算，并且根据占比对访客来源进行排序；

将排序的结果缓存在远程数据(redis)中。

9.根据权利要求1所述的智能数据处理方法，其特征在于，所述步骤04中对门店数据的分析计算具体包括：

接收到查询指令；

分析一个或多个门店数据，得到分析结果；

在分布式文件存储数据库(Mongo DB)中，存储分析结果；

在远程数据库(redis)中，缓存所述分析结果；

根据字段的类型，将所保存的门店数据进行排序；以及，接收到刷新指令后，在分布式文件存储数据库(Mongo DB)中调取到最新的门店数据。

10.根据权利要求1所述的智能数据处理方法，其特征在于，所述步骤04中对交易数据的分析计算具体包括：

接收交易数据；交易数据包括订单数据、退单数据、客户身份数据；

将交易数据进行分库分表存储；

对交易数据进行流计算(stream)，将当前传输过来的交易数据进行分类并计算；其中，根据所述订单数据和所述退款数据、以及根据客户身份数据，对客户身份进行识别，将交易数据标记到所对应的客户身份中；

输出计算结果。

Images