CN109409927A - 基于网络数据的分布式实时营销方法和系统及存储介质 - Google Patents

Abstract

本发明提供了一种基于网络数据的分布式实时营销系统和方法，收集原始网络数据；分析处理原始网络数据，形成交易信息和交易行为；令交易信息和交易行为推送至指定目标；接收交易信息和交易行为，令交易信息和交易行为与营销产品匹配，获得匹配后的营销产品信息，发送至营销产品推荐与展示模块；接收匹配后的营销产品信息，令匹配后的产品信息发送至终端设备或展示。通过对网络数据的实时采集处理，并实时发送到营销平台，并实施智能匹配，体现网络营销实时性；适用于用户行为及交易的所有环节，对业务系统无依赖性，适用于不同的业务系统和平台；无需对业务系统进行改造，即刻上线投产，无需侵入到业务系统，且不会对业务系统造成性能影响。

Description

基于网络数据的分布式实时营销方法和系统及存储介质

技术领域

本发明涉及实时营销领域，具体地，涉及一种基于网络数据的分布式实时营销方法和系统及存储介质。

背景技术

随着移动互联网、电商及网络社交的发展，人们无时无刻都在进行上网、购物、线上线下交易和社交行为。通过对用户访问的内容、关键词、位置信息、购物清单、交易信息等进行分析，获取客户喜好和需求，并有针对性的进行个性化营销变得越来越普遍。目前电商、运营商、银行、保险等企业都在构建营销平台，平台围绕用户的行为进行分析和挖掘，然后有针对性的进行个性化推荐和营销。例如：招商银行会根据你交易消费情况推荐分期还款信息；电信的翼健康会对出现在合作医院内的手机用户发送翼健康APP的推荐信息；58同城会根据用户的使用历史信息、搜索关键词等推荐网站的对应内容与服务等等。

目前的营销平台构建技术主要有基于数据库技术构建、基于日志技术构建、基于大数据处理构建。基于数据库技术构建的营销平台，通过读取系统数据库中的用户信息与行为来进行分析，然后进行推荐和营销。这种技术的主要缺陷是数据处理非实时导致的营销非实时，针对已有数据的营销，缺少未发生或发生中的数据的营销，如需扩展到其他业务，需要更改业务应用导致实现成本高、周期长。基于日志技术构建的营销平台，通过读取系统的日志来获取用户信息与行为来进行分析，然后进行推荐和营销。这种技术的主要缺陷是平台不通用，无法快速扩展到不同业务平台，需要更改业务应用，实现成本高、周期长。大数据处理平台，通过构建企业内的大数据平台，通过多种途径(如日志，数据库，Agent)获取用户信息与行为，并运用大数据技术进行分析，然后进行推荐和营销.这种技术的主要缺陷是通常只适用于运管部门，对业务部门不可用，只负责对运营数据进行处理与存储，负责实时营销的实现。

专利文献CN104574127B提供一种创新营销平台，包括：线上展示交易平台、线下展示交易平台、基础数据库和业务支撑系统四个层次；基础数据库用于存储所收集的各类海量基础信息；所述业务支撑系统包括交易摄合系统；其中，所述交易摄合系统用于以所述基础数据库存储的基础信息作为数据源，基于自动化交易撮合模型分析不同区域和行业的客户需求，发掘出符合所述客户需求的产品和经销渠道信息，并进行供应链自动化匹配。提供的创新营销平台，能够智能发掘出符合客户需求的产品和经销渠道信息，并进行供应链自动化匹配，使企业有针对性推广其产品，从而提高企业的营销能力。上述专利文献通过一定手段获取数据，并对数据进行分析，发掘出符合所述客户需求的产品，进行自动化匹配并推荐相应产品，但是通过数据库获取数据，数据源单一，无法适用于其他业务系统，只适用于已成功发生的业务交易，对交易过程中或者撤销的交易无感知。

专利文献CN103761309A涉及一种运营数据处理方法及系统。具体来说，提供一种基于流式计算与批量计算的双引擎经营分析系统的运营数据处理方法及系统。在系统架构中设置流式计算引擎，增强了数据的实时处理能力，并在数据仓库的基础上整合分布式文件系统以及批量计算引擎，用于非结构化数据、大批量数据的存储与计算，增强了对大数据的存储与分析能力，可提供支持TB、甚至PB级规模数据存储和大数据批量处理能力。同时使用数据仓库处理结构化数据，还可结合微批处理方法处理微批量实时数据，进一步完善了实时数据处理机制。上述专利文献是对业务数据进行处理的方法，但是只对运营数据进行处理与存储，没有对实时营销进行实现，商业价值小，处理方法适用于运管部门，对业务部门不可用。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于网络数据的分布式实时营销方法和系统及存储介质。

根据本发明提供的一种基于网络数据的分布式实时营销系统，包括以下模块，数据与行为采集模块：收集原始网络数据；数据分析与处理模块：分析处理原始网络数据，形成相互匹配的交易信息和交易行为；数据推送模块：令交易信息和交易行为推送至指定目标；实时营销匹配与处理模块：接收交易信息和交易行为，令交易信息和交易行为与营销产品匹配，获得匹配后的营销产品信息，发送至营销产品推荐与展示模块；营销产品推荐与展示模块：接收匹配后的营销产品信息，令匹配网络数据发送至终端设备或展示。

优选地，所述数据推送模块包括，接口配置模块：配置数据传输接口，配置数据内容格式；推送模块：根据传输接口，令交易信息和交易行为发送至指定目标。

优选地，所述实时营销匹配与处理模块包括，数据接收模块：接收交易信息和交易行为；营销规则配置模块：对营销规则进行新增、修改、删除；营销规则匹配与处理模块：根据营销规则，令交易信息和交易行为与营销产品池中的产品信息进行匹配，将匹配结果发送至营销产品推荐与展示模块；营销产品池配置模块：对营销产品池中的产品信息进行新增、修改、删除。

优选地，所述营销产品推荐与展示模块包括，营销产品调用模块：调用匹配后的营销产品信息；营销产品展示模块：展示产品信息；营销产品发送模块：将产品信息发送至终端设备。

优选地，所述数据与行为采集模块包括，采集模块：接收外部设备提供的网络数据；网络层解码模块：对网络数据进行解码；转发模块：令解码后的网络数据转发至数据分析与处理模块。

优选地，所述数据分析与处理模块包括，接收模块：接收数据与行为采集模块转发的网络数据；应用层解码模块：对网络数据进行应用层协议解码，形成非结构化的文本记录；交易关联模块：根据交易模型对文本记录进行交易关联，形成交易记录；消息输出模块：将交易记录输出至数据推送模块。

根据本发明提供的一种基于网络数据的分布式实时营销方法，包括以下步骤，数据与行为采集步骤：收集原始网络数据；数据分析与处理步骤：分析处理原始网络数据，形成相互匹配的交易信息和交易行为；数据推送步骤：令交易信息和交易行为推送至指定目标；实时营销匹配与处理步骤：接收交易信息和交易行为，令交易信息和交易行为与营销产品匹配，获得匹配后的营销产品信息，发送至营销产品推荐与展示步骤；营销产品推荐与展示步骤：接收匹配后的营销产品信息，令匹配后的营销产品信息发送至终端设备或展示。

优选地，所述基于网络数据的分布式实时营销方法还包括动态更新规则步骤；动态更新规则步骤：在系统运行过程中，用户可以通过界面新增或修改营销规则。在应用规则后，系统会异步地构建新的营销匹配规则引擎，当构建完成后短暂暂停数据流并替换引擎，替换成功后重新恢复数据流。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现权利要求7至8中任一项所述的方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、通过对网络数据的实时采集处理，并实时发送到营销平台，并实施智能匹配，体现网络营销实时性；

2、适用于用户行为及交易的所有环节，对业务系统无依赖性，适用于不同的业务系统和平台；

3、无需对业务系统进行改造，即刻上线投产，无需侵入到业务系统，且不会对业务系统造成性能影响；

4、网络数据能够提供全量的过程数据，与常规数据库的最终结果数据相比具有更丰富的用户行为信息，能够更精准的对目标用户进行商业营销；

5、对实时流处理实现了分布式集群，能够支持水平扩展，支撑海量数据的实时分析。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的模块关系图；

图2为本发明的系统框架图；

图3为本发明的数据采集和分析环节流程图；

图4为本发明的营销环节流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种基于网络数据的分布式实时营销方法，包括以下步骤：数据与行为采集步骤：通过分光设备(TAP)镜像用户业务系统网络数据并发送至实时营销系统的数据接收端，以收集原始网络数据，将原始网络数据进行预处理后发送至数据分析与处理步骤并存储原始数据供后续进一步分析；数据分析与处理步骤：分析处理采集步骤预处理后的数据，根据配置进行应用层协议解码以获取交易过程数据。根据交易模型对解码后的交易过程数据进行交易关联，形成交易信息和交易行为；数据推送步骤：令交易信息和交易行为推送至指定目标；实时营销匹配与处理步骤：接收交易信息和交易行为，令交易信息和交易行为与营销产品匹配，获得匹配后的营销产品信息，发送至营销产品推荐与展示步骤；营销产品推荐与展示步骤：接收匹配后的营销产品信息，令匹配后的营销产品信息发送至终端设备或展示。本发明通过对网络数据的实时分析,获取用户的行为数据并将这些数据实时发送到营销平台,营销平台会根据系统规则进行智能匹配；若匹配成功,会实时对用户推荐营销的产品信息。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述方法的步骤。

根据本发明提供的一种基于网络数据的分布式实时营销系统，如图1所示，包括以下模块，数据与行为采集步骤：通过分光设备(TAP)镜像用户业务系统网络数据并发送至实时营销系统的数据接收端，收集原始网络数据，将原始网络数据进行预处理后发送至数据分析与处理步骤并存储原始数据供后续进一步分析；数据分析与处理步骤：分析预处理后的网络数据，根据配置进行应用层协议解码以获取交易过程数据。根据交易模型对解码后的交易过程数据进行交易关联，形成交易信息和交易行为数据；数据推送步骤：令交易信息和交易行为推送至指定目标；实时营销匹配与处理步骤：接收交易信息和交易行为，令交易信息和交易行为与营销产品匹配，获得匹配后的营销产品信息，发送至营销产品推荐与展示步骤；营销产品推荐与展示步骤：接收匹配后的营销产品信息，令匹配后的营销产品信息发送至终端设备或展示。

具体地，所述数据推送模块包括，接口配置模块：配置数据传输接口，配置数据内容格式；推送模块：根据传输接口，令交易网络数据发送至指定目标。

具体地，所述实时营销匹配与处理模块包括，数据接收模块：接收交易信息和交易行为；营销规则配置模块：对营销规则进行新增、修改、删除；营销规则匹配与处理模块：根据营销规则，令交易信息和交易行为与营销产品池中的产品信息进行匹配，将匹配结果则发送至营销产品推荐与展示模块；营销产品池配置模块：对营销产品池中的产品信息进行新增、修改、删除。

具体地，所述营销产品推荐与展示模块包括，营销产品调用模块：调用匹配后的营销产品信息；营销产品展示模块：展示产品信息；营销产品发送模块：将产品信息发送至终端设备。

具体地，所述数据与行为采集模块包括，采集模块：通过分光设备(TAP)镜像用户业务系统网络数据并发送至实时营销系统的数据接收端，接收外部设备提供的网络数据；网络层解码模块：根据TCP/IP层协议对网络数据进行解码形成应用层数据；数据转发模块：令解码后的应用层数据转发至数据分析与处理模块。

具体地，所述数据分析与处理模块包括，接收模块：接收数据与行为采集模块转发的应用层数据；应用层解码模块：根据配置进行应用层协议解码以获取交易过程数据。根据交易模型对解码后的交易过程数据进行交易关联，形成非结构化的交易过程记录；交易关联模块：根据交易关联模型对交易过程记录进行交易关联，形成交易记录和用户行为；消息输出模块：将关联完成的交易记录和用户行为数据输出至数据推送模块。

本发明提供的基于网络数据的分布式实时营销系统，可以通过基于网络数据的分布式实时营销方法的步骤流程实现。本领域技术人员可以将基于网络数据的分布式实时营销方法理解为所述基于网络数据的分布式实时营销系统的优选例。

如图3所示，在数据与行为采集步骤、数据分析与处理步骤中，通过以下步骤能够实现，加载配置：根据配置来初始化整个数据采集和分析环节，主要包括如下内容：监听的网卡信息，待处理的数据匹配规则，待分析数据的协议栈信息，输出配置信息等；监听网卡流量：根据配置绑定服务器网卡并从中接收数据，相对于常见的消息中间件，会提供更高的处理性能；网络层解码：根据TCP/IP协议对数据进行解码，以生成网络会话信息；数据过滤：根据配置和之前生成的会话信息对数据进行过滤，丢弃非交易数据；应用层解码：根据配置对过滤后的网络数据进行应用层解码，内容如HTTP，XML等应用层解码器，以获取详细的交易细节；交易数据关联：根据配置对交易明细数据基于状态机的算法进行关联，将一条或多条明细数据关联成一笔完整的交易数据；交易数据输出：根据配置将关联完成交易数据发送至营销平台进行后续操作。

如图4所示，在产品营销环节的处理步骤中，通过以下步骤能够实现，初始化营销规则引擎：根据加载的配置初始化营销规则引擎，主要包括营销行为特征描述，营销数据使用方式等；绑定数据源：根据配置绑定数据源，接收网络数据采集和分析环节提供的交易数据，优选地，将使用内存交换技术来优化数据传输过程；营销规则匹配：从数据源中加载交易数据，并根据规则引擎进行匹配。如果运行过程中发现规则变化，则进入规则变更流程，动态更新规则引擎。规则引擎会从交易数据中识别出符合要求的交易数据；匹配营销产品：根据配置将匹配到的交易数据进行进一步处理，从中识别出对应的营销行为和需要采取的营销策略，并根据策略对数据进行使用，包括：结果推送至三方系统、通过短信向用户推荐产品等。

在优选的具体实施过程中，以某银行信用卡的实时营销为例，具体实施如下：在信用卡交易系统前端部署数据与行为采集模块。该模块会捕获所有通过该装置的网络数据,同时将网络数据发送到数据分析与处理模块,并且会将网络数据存储在存储介质；数据分析与处理模块接收到网络数据后,会根据已配置的数据模型对网络数据进行分析与处理后得到用户的行为和交易数据(如卡号,消费金额,消费类型等),同时该模块会将用户的行为和交易数据发送到下一个模块,并且会将用户的行为和交易数据存储在存储介质；数据推送模块接收到用户的行为和交易数据后,会根据指定的数据格式(如XML、JSON)对数据进行格式化,格式化完成后会根据指定的频率(如毫秒、秒、分钟)将格式化后的数据推送到指定的接口(如Kafka、MQ)；实时营销匹配与处理模块(如Kafka流处理平台),也就是所述的实时营销平台的核心,会根据业务规则做实时判断此用户行为和交易是否符合营销规则，如是,该模块会将匹配后的结果发送给下一模块；营销产品推荐与展示装置在接收到匹配后的信息后,查询现有的营销产品信息,并将产品信息发送给客户，可以是给客户发短信通知返现金额或赠送积分等，以此促进客户再次消费来达到营销的目的。

在另一个优选的具体实施过程中，以某银行理财产品的实时营销为例，具体实施如下：在理财产品交易平台相关服务器的前端部署数据与行为采集模块，该模块会捕获所有通过的网络数据，当客户发起一笔交易，比如理财产品的查询、理财产品的购买等交易操作时，通过网络抓包捕获这笔交易的网络报文。数据分析与处理模块接收到对应的网络报文后，得到客户信息，比如手机号、交易平台账号信息，根据客户的账号查询客户的资金余额、交易信息。数据推送模块将上述与交易相关的信息推送至实施营销匹配与处理模块，实施营销匹配时将根据客户信息进行理财产品的匹配，根据业务规则匹配到适合的理财产品后，将理财产品展示给消费用户，例如将匹配到的理财产品通过手机短信、APP、银行营业厅柜员等方式推荐给客户。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种基于网络数据的分布式实时营销系统，其特征在于，包括以下模块：

数据与行为采集模块：收集原始网络数据；

数据分析与处理模块：分析处理原始网络数据，形成相互匹配的交易信息和交易行为；

数据推送模块：令交易信息和交易行为推送至指定目标；

实时营销匹配与处理模块：接收交易信息和交易行为，令交易信息和交易行为与营销产品匹配，获得匹配后的营销产品信息，发送至营销产品推荐与展示模块；

营销产品推荐与展示模块：接收匹配后的营销产品信息，令匹配网络数据发送至终端设备或展示。

2.根据权利要求1所述的基于网络数据的分布式实时营销系统，其特征在于，所述数据推送模块包括：

接口配置模块：配置数据传输接口，配置数据内容格式；

推送模块：根据传输接口，令交易信息和交易行为发送至指定目标。

3.根据权利要求1所述的基于网络数据的分布式实时营销系统，其特征在于，所述实时营销匹配与处理模块包括：

数据接收模块：接收交易信息和交易行为；

营销规则配置模块：对营销规则进行新增、修改、删除；

营销规则匹配与处理模块：根据营销规则，令交易信息和交易行为与营销产品池中的产品信息进行匹配，将匹配结果发送至营销产品推荐与展示模块；

营销产品池配置模块：对营销产品池中的产品信息进行新增、修改、删除。

4.根据权利要求1所述的基于网络数据的分布式实时营销系统，其特征在于，所述营销产品推荐与展示模块包括：

营销产品调用模块：调用匹配后的营销产品信息；

营销产品展示模块：展示产品信息；

营销产品发送模块：将产品信息发送至终端设备。

5.根据权利要求1所述的基于网络数据的分布式实时营销系统，其特征在于，所述数据与行为采集模块包括：

采集模块：接收外部设备提供的网络数据；

网络层解码模块：对网络数据进行解码；

转发模块：令解码后的网络数据转发至数据分析与处理模块。

6.根据权利要求1所述的基于网络数据的分布式实时营销系统，其特征在于，所述数据分析与处理模块包括：

接收模块：接收数据与行为采集模块转发的网络数据；

应用层解码模块：对网络数据进行应用层协议解码，形成非结构化的文本记录；

交易关联模块：根据交易模型对文本记录进行交易关联，形成交易记录；

消息输出模块：将交易记录输出至数据推送模块。

7.一种基于网络数据的分布式实时营销方法，其特征在于，包括以下步骤：

数据与行为采集步骤：收集原始网络数据；

数据分析与处理步骤：分析处理原始网络数据，形成相互匹配的交易信息和交易行为；

数据推送步骤：令交易信息和交易行为推送至指定目标；

实时营销匹配与处理步骤：接收交易信息和交易行为，令交易信息和交易行为与营销产品匹配，获得匹配后的营销产品信息，发送至营销产品推荐与展示步骤；

营销产品推荐与展示步骤：接收匹配后的营销产品信息，令匹配后的营销产品信息发送至终端设备或展示。

8.根据权利要求7所述的基于网络数据的分布式实时营销方法，其特征在于，还包括动态更新规则步骤；

动态更新规则步骤：在系统运行过程中，用户可以通过界面新增或修改营销规则。在应用规则后，系统会异步地构建新的营销匹配规则引擎，当构建完成后短暂暂停数据流并替换引擎，替换成功后重新恢复数据流。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求7至8中任一项所述的方法的步骤。