CN113918533B - 一种基于大数据方向的rcs统一消息云服务系统的使用方法 - Google Patents

Abstract

本发明属于大数据存储领域，具体为一种基于大数据方向的RCS统一消息云服务系统，包括标签系统、后台管理系统、用户层、应用管理层和应用支撑层。标签系统包括事实标签、模型标签和预测标签；事实标签、模型标签和预测标签构成RCS统一消息平台用户标签系统。应用管理层通过EK服务总线双向通信有所述应用支撑层，所述应用支撑层包括工作流组件、查询统计组件、发送引擎组件、发送管控中心组件、监控组件和营销组件，本发明平台提供智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理大规模数据，发现新规律，从而提升客户满意度、忠诚度和贡献度，帮助企业实现精益运营，达到提高企业持续竞争力。

Description

一种基于大数据方向的RCS统一消息云服务系统的使用方法

技术领域

本发明属于大数据存储领域，具体为一种基于大数据方向的RCS统一消息云服务系统及其使用方法。

背景技术

随着近几年移动互联网的迅猛发展，金融企业在对客户的专业服务上也有了很多新的变化和需求，如何开发新客户，维护老客户，为客户提供及时、精准的服务，实现差异化营销，提升客户的满意度、忠诚度和贡献度，最终实现提高企业持续竞争力，是各金融企业当今日益关注的战略性问题。手机的日益普及，为实现上述目标提供了一套有效的手段。高效快捷、简单价廉的手机短/彩信服务、APP推送与传统的呼叫中心语音服务、邮件信函服务等一起，成为了金融企业不可或缺的服务手段。和佳汇智RCS统一消息云服务系统配合金融企业业务转型，在降低运营成本和提升服务质量的前提下，更高效、更精准、更精细、更经济地完成客户服务和日常运营。平台集中管理所有消息分发渠道、集中调度消息发送策略，具有强大的用户管理、权限管理、产品管理、渠道管理、日志管理、运营监控以及丰富的多渠道发送模板。但是基金、保险、证券等金融公司在进行基于企业内部私有云上实现跨平台的数据的统一消息管理的布局时，由于目前底层架构都是基于关系型数据库进行的系统搭建，随着企业业务的不断增长及数据的暴增，系统也陆续暴露出不足：如当系统表的数据达到几千万甚至几亿级别的时候，对单条数据的检索将花费数秒甚至达到分钟级别。实际情况更复杂，查询的操作速度将会受到以下几个因素的影响：1高并发的更新(插入、修改、删除)操作单条数据查询的延时将轻而易举地达到分钟级别。2.多表关联后的复杂查询，以及频繁的group by或者order by操作性能下降较为明显。3.海量的历史数据无法有效的进行迁移，数据利用率低。

因此数据由此基于大数据方向的统一消息平台的搭建，原有系统需要迭代升级改造，由关系型数据库向大数据技术进行变革。

发明内容

本发明的目的在于提供一种基于大数据方向的RCS统一消息云服务系统及其使用方法，该系统和方法基于企业客户的业务特点和多部门复合需求，RCS建立高效的数据指标体系，用先进的事件模型抽象用户行为，提供多维度、多指标的交叉分析能力，全面支撑各个团队的日常数据分析需求，驱动业务决策。

为实现上述目的，本发明提供如下技术方案：一种基于大数据方向的RCS统一消息云服务系统，包括标签系统、后台管理系统、用户层、应用管理层和应用支撑层，其中标签系统包括事实标签、模型标签和预测标签，所述事实标签、所述模型标签和所述预测标签构成RCS统一消息平台用户标签系统，方便结合人为设定模型导入规则，如行为喜好，浏览页面频次以及时长等重要信息进行实时记录，针对这些潜在的需求配合营销策略，规则进行打标，实现营销适时，适机，适景推送给用户。所述用户层包括内网用户和外网用户，内网用的是私有IP地址，公网用的是公有IP地址，内网访问广域网是私自地址通过路由器的NAT转换为公有地址。所述应用管理层包括公共服务、查询统计、监控、日志管理、系统配置和营销管理，且所述内网用户和所述外网用户均可调用应用管理层的所述公共服务、所述查询统计、所述监控、所述日志管理、所述系统配置和所述营销管理，提升数据管理能力。所述应用管理层通过EK服务总线双向通信有所述应用支撑层，且所述应用支撑层包括工作流组件、查询统计组件、发送隐形组件、发送管控中心组件、监控组件和营销组件。RCS统一消息云服务系统通过API接口连接有数据存储层，所述数据存储层包括Hbase分布式数据库和ES数据库，且所述Hbase分布式数据库和所述ES数据库均经过MapReduce操作映射，所述数据存储层通过LogStash或者API接口连接Oracle数据库或者Redis数据库。

优选地，一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，为了在客户端应用和消息系统之间异步传递消息，所述事实标签经过埋点操作实时传输用户登录行为至Kafka中间件或HDFS，所述用户登录行为包括行为喜好、浏览页面频次以及浏览时常。

优选地，所述后台管理系统配置用户的基础数据并为用户贴上相应总结概括性标签或者指数随后生成所述模型标签，实现多数据模型标签管理模式。

优选地，所述后台管理系统通过用户属性、行为、位置和特征并且结合数据模型规则生成所述预测标签，实现多数据预测标签管理模式。

优选地，所述Hbase分布式数据库存储在HDFS系统上，Hbase利用Hadoop上的HDFS作为其文件存储系统，利用Hadoop MapReduce来处理Hbase中的海量数据，利用Zookeeper作为协调工具。

优选地，所述数据存储层的数据计算方式包括MapReduce、Spark、SparkStreaming和Flink，多种计算方式并存实现多模态管理。

优选地，所述数据存储层的消息队列传输与数据传输方式包括Flume、kafka和Sqoop，所述flume进行定义配置文件，在配置文件定义source、channel、sink、selector和interceptor等组件并且进行组件连接，所述Sqoop将所述数据存储层的数据与数据库的数据进行转换，多个所述kafka架构构成RCS统一消息队列，且通过所述kafka配合zookeeper来形成一个集群对外提供统一的消息队列服务。

优选地，所述数据存储层的数据源包括日志数据、埋点数据、元数据和其他数据，所述埋点数据包括代码埋点、数据可视化埋点和全埋点，所述日志数据收集埋点事件并且生成所述埋点数据。

优选地，一种基于大数据方向的RCS统一消息云服务系统及其使用方法包括以下步骤：

S1：首先我们建立数据的存储体系，千万级数据利用通用查询场景存储于myslq数据库中；亿级至10亿级数据中维度较少且单条记录小或者多维度建立索引可以支持查询的情况下也存储于myslq数据库中，而亿级至10亿级数据中线上系统根据key实时性查询的数据存储于redis中；10亿级以上的数据中数据维度多且不确定、查询需求符Hbase的rowkey或者二级索引的数据存储在Hbase中，而10亿级以上的数据中需要多维度实时查询的又分为当前解决方案和规划解决方案，其中当前解决方案存储到Kylin中，而规划解决方案需要一种olap支撑多维度海量数据查询数据库。

S2：然后进行搜索体系的建立，分别为文本数据、图片数据和视频数据，文本数据分类为百万级文本数据搜索和海量文本数据搜索，且他们的数据搜索隐形分别为与solr和elasticsearch；然后将图片数据分类为少量图片数据和海量图片数据，其中少量图片数据存储于Hbase数据库系统中，而海量图片数据利用Hbase进行存储索引，然后利用HDFS大文件存储图片；最后将视频数据转换通用场景，然后利用数据库存储索引，服务器存储视频。

S3：随后进行标签系统的建立，平台为用户标签分三类模型进行设计：用户分类为事实标签，模型标签，预测标签，其中事实标签我们通过埋点形式将用户登录行为，如行为喜好，浏览页面频次以及时长等重要信息进行实时记录，并实时传入Kafka中间件，部分数据落地HDFS，模型标签则是通过后台管理系统配置用户的基础数据为用户贴上相应的总结概括性标签以及指数，如针对标签为购物，种类，喜好程度我们设定一个初值，系统通过拉取上面Kafka内容信息，结合人为设定模型导入规则，最终在我们通过计算引擎系统Flink实时的进行标签分析归类打标，预测标签则是我们通过用户的属性，行为，位置和特征，结合数据模型规则，挖掘用户潜在的需求，针对这些潜在的需求配合营销策略，规则进行打标，实现营销适时，适机，适景推送给用户。

S4：最后进行客户端的建立，利用使用JavaScript,HTML和CSS构建跨平台桌面应用程序，创建一个vue，在vue基础上搭建electron，然后利用Nginx、WebSocket和NIO构建同步非阻塞方式。

优选地，针对步骤S4：客户端建立与服务器的连接采用统一接收外部请求，分别经过权限控制、流量控制、过滤器、智能路由转发和链路追踪等步骤。

综上，本发明的方法，与现有技术相比，本发明平台提供智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理大规模的数据。跨平台对接，通过大数据算法，通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，金融领域，从而最终达到提高生产效率、推进科学研究的效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明整体平台构建图；

图2为本发明技术组件图；

图3为本发明数据存储体系图；

图4本发明搜索体系图；

图5为本发明标签系统流程图；

图6为本发明统一接受请求算法图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

请参阅图1-6，本发明提供一种实施例，一种基于大数据方向的RCS统一消息云服务系统及其使用方法，首先我们需要建立数据的存储体系，千万级数据利用通用查询场景存储于myslq数据库中；亿级至10亿级数据中维度较少且单条记录小或者多维度建立索引可以支持查询的情况下也存储于myslq数据库中，而亿级至10亿级数据中线上系统根据key实时性查询的数据存储于redis中；10亿级以上的数据中数据维度多且不确定、查询需求符Hbase的rowkey或者二级索引的数据存储在Hbase中，而10亿级以上的数据中需要多维度实时查询的又分为当前解决方案和规划解决方案，其中当前解决方案存储到Kylin中，而规划解决方案需要一种olap支撑多维度海量数据查询数据库。

参考图2，为了跨平台对接，平台会通过API接口将用户的日志数据进行格式传输至RCS统一消息云服务平台，平台通过数据清洗等方式统一将数据交付Hadoop进行管理。替代陈旧的FTP低性能方式。做到数据的统一整合。

参考图2，数据采集方面，利用flume、logstash、kafka、Elasticsearch 、Kibbna和Filebeat，替代传统数仓的FTP；数据同步及迁移方面，利用Sqoop进行跨数据库数据整合，比Oracle、Mysql、DB2、SqlServer等，将数据清洗成功后全部交由Hadoop系统就行管理。大数据存储方面利用Hadoop HDFS/Hive、Hbase替代传统数仓Oracle、MySQL、MSSQL、DB2等，Hive中的数据是被HDFS管理的数据文件，通过sql完成分布式环境下的计算功能，Hive会把语句转换成MapReduce，然后交给Hadoop执行。大数据计算引擎则采用MapReduce和Spark，替代传统数库任务执行引擎，Hadoop MapReduce采用了多进程模型，而Spark采用了多线程模型，二者联动，打通多源数据，识别唯一用户，帮助企业构建标签及画像体系，赋能业务实现用户精细化运营和精准营销。

为了替代系统数据库任务执行进行消息的延迟回复，关键事件智能回复采用chatbot动态进行人机自动交互，参考图2，当RCS统一消息云服务平台接收一个句子，通过句子分析对用户的话语进行理解，然后得到用户的意图，然后根据根据我们后台构建的表进行相应搜索，随即找到答案。

参考图4，然后进行搜索体系的建立，分别为文本数据、图片数据和视频数据，文本数据分类为百万级文本数据搜索和海量文本数据搜索，且他们的数据搜索隐形分别为与solr和elasticsearch；然后将图片数据分类为少量图片数据和海量图片数据，其中少量图片数据存储于Hbase数据库系统中，而海量图片数据利用Hbase进行存储索引，然后利用HDFS大文件存储图片；最后将视频数据转换通用场景，然后利用数据库存储索引，服务器存储视频，数据存储层的消息队列传输与数据传输方式包括Flume、kafka和Sqoop，所述flume进行定义配置文件，在配置文件定义source、channel、sink、selector和interceptor等组件并且进行组件连接，所述Sqoop将所述数据存储层的数据与数据库的数据进行转换，多个所述kafka架构构成RCS统一消息队列，且通过所述kafka配合zookeeper来形成一个集群对外提供统一的消息队列服务，此服务为精准营销的基础。

参考图5，为了进行标签系统的建立，平台为用户标签分三类模型进行设计：用户分类为事实标签，模型标签，预测标签，其中事实标签我们通过埋点形式将用户登录行为，如行为喜好，浏览页面频次以及时长等重要信息进行实时记录，并实时传入Kafka中间件，部分数据落地HDFS，模型标签则是通过后台管理系统配置用户的基础数据为用户贴上相应的总结概括性标签以及指数，如针对标签为购物，种类，喜好程度我们设定一个初值，系统通过拉取上面Kafka内容信息，结合人为设定模型导入规则，最终在我们通过计算引擎系统Flink实时的进行标签分析归类打标，预测标签则是我们通过用户的属性，行为，位置和特征，结合数据模型规则，挖掘用户潜在的需求，针对这些潜在的需求配合营销策略，规则进行打标，实现营销适时，适机，适景推送给用户，其中数据中心的rds数据利用maxcomputer传输至模型分析引擎，同时数据分析准时引擎经过数据聚合将数据传输到HDFS随后一并传输至模型分析引擎，同时，用户进行操作，根据埋点采集传输规则引擎，规则引擎和HDFS数据转换共同，所以数据汇集到创建的Redis集群和Hbase集群中，然后根据Redis集群和Hbase集群创建存储预处理结果集、中间结果集和黑白名单。

参考图6，为了进行客户端的建立，由服务器创建套接字，创建注册中心，其中注册中心利用不同线程与不同服务器连接，而客户端的服务请求通过不同Channel建立，利用使用JavaScript,HTML和CSS构建跨平台桌面应用程序，创建一个vue，在vue基础上搭建electron，然后利用Nginx、WebSocket和NIO构建同步非阻塞方式，客户端建立与服务器的连接采用统一接收外部请求，分别经过权限控制、流量控制、过滤器、智能路由转发和链路追踪等步骤，基于企业客户的业务特点和多部门复合需求，RCS建立高效的数据指标体系，用先进的事件模型抽象用户行为，提供多维度、多指标的交叉分析能力，全面支撑各个团队的日常数据分析需求，驱动业务决策。

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种基于大数据方向的RCS统一消息云服务系统的使用方法，其特征在于，系统包括标签系统、后台管理系统、用户层、应用管理层和应用支撑层；

其中标签系统包括事实标签、模型标签和预测标签，所述事实标签、所述模型标签和所述预测标签构成RCS统一消息平台用户标签系统；

所述用户层包括内网用户和外网用户；

所述应用管理层包括公共服务、查询统计、监控、日志管理、系统配置和营销管理，且所述内网用户和所述外网用户均可调用应用管理层的所述公共服务、所述查询统计、所述监控、所述日志管理、所述系统配置和所述营销管理；

所述应用管理层通过EK服务总线与所述应用支撑层双向通信，且所述应用支撑层包括工作流组件、查询统计组件、发送隐形组件、发送管控中心组件、监控组件和营销组件；

RCS统一消息云服务系统通过API接口连接有数据存储层，所述数据存储层包括Hbase分布式数据库和ES数据库，且所述Hbase分布式数据库和所述ES数据库均经过MapReduce操作映射，所述数据存储层通过LogStash或者API接口连接Oracle数据库或者Redis数据库；

包括以下步骤：

S1：首先建立数据的存储体系，千万级数据利用通用查询场景存储于myslq数据库中；亿级至10亿级数据中维度较少且单条记录小或者多维度建立索引可以支持查询的情况下也存储于myslq数据库中，而亿级至10亿级数据中线上系统根据key实时性查询的数据存储于redis中；10亿级以上的数据中数据维度多且不确定、查询需求符合Hbase的rowkey或者二级索引的数据存储在Hbase中，而10亿级以上的数据中需要多维度实时查询的又分为当前解决方案和规划解决方案，其中当前解决方案存储到Kylin中，而规划解决方案需要一种olap支撑多维度海量数据查询数据库；

S2：进行搜索体系的建立，分别为文本数据、图片数据和视频数据，文本数据分类为百万级文本数据搜索和海量文本数据搜索，且数据搜索引擎分别为solr和elasticsearch；然后将图片数据分类为少量图片数据和海量图片数据，其中少量图片数据存储于Hbase数据库系统中，而海量图片数据利用Hbase进行存储索引，然后利用HDFS大文件存储图片；最后将视频数据转换通用场景，然后利用数据库存储索引，服务器存储视频；

S3：进行标签系统的建立，平台为用户标签分三类模型进行设计：用户分类为事实标签，模型标签，预测标签，其中事实标签通过埋点形式将用户登录行为进行实时记录，用户登录行为包括行为喜好，浏览页面频次以及时长，并实时传入Kafka中间件，部分数据落地HDFS，模型标签则是通过后台管理系统配置用户的基础数据为用户贴上相应的总结概括性标签以及指数，针对标签为购物，种类，喜好程度设定一个初值，系统通过拉取上面Kafka内容信息，结合人为设定模型导入规则，最终在通过计算引擎系统Flink实时的进行标签分析归类打标，预测标签则是通过用户的属性，行为，位置和特征，结合数据模型规则，挖掘用户潜在的需求，针对这些潜在的需求配合营销策略，规则进行打标，实现营销适时，适机，适景推送给用户；

S4：最后进行客户端的建立，使用JavaScript,HTML和CSS构建跨平台桌面应用程序，创建一个vue，在vue基础上搭建electron，然后利用Nginx、WebSocket和NIO构建同步非阻塞方式。

2.如权利要求1所述的一种基于大数据方向的RCS统一消息云服务系统的使用方法，其特征在于：所述事实标签经过埋点操作实时传输用户登录行为至Kafka中间件或HDFS，所述用户登录行为包括行为喜好、浏览页面频次以及浏览时长。

3.如权利要求1所述的一种基于大数据方向的RCS统一消息云服务系统的使用方法，其特征在于：所述后台管理系统配置用户的基础数据并为用户贴上相应总结概括性标签或者指数随后生成所述模型标签。

4.如权利要求1所述的一种基于大数据方向的RCS统一消息云服务系统的使用方法，其特征在于：所述后台管理系统通过用户属性、行为、位置和特征并且结合数据模型规则生成所述预测标签。

5.如权利要求1的所述的一种基于大数据方向的RCS统一消息云服务系统的使用方法，其特征在于：所述Hbase分布式数据库存储在HDFS系统上。

6.如权利要求1所述的一种基于大数据方向的RCS统一消息云服务系统的使用方法，其特征在于：所述数据存储层的数据计算方式包括MapReduce、Spark、Spark Streaming和Flink。

7.如权利要求1所述的一种基于大数据方向的RCS统一消息云服务系统的使用方法，其特征在于：所述数据存储层的消息队列传输与数据传输方式包括Flume、kafka和Sqoop，所述flume进行定义配置文件，在配置文件定义source、channel、sink、selector和interceptor组件并且进行组件连接，所述Sqoop将所述数据存储层的数据与数据库的数据进行转换，多个所述kafka架构构成RCS统一消息队列，且通过所述kafka配合zookeeper来形成一个集群对外提供统一的消息队列服务。

8.如权利要求1所述的一种基于大数据方向的RCS统一消息云服务系统的使用方法，其特征在于：所述数据存储层的数据源包括日志数据、埋点数据、元数据和其他数据，所述埋点数据包括代码埋点、数据可视化埋点和全埋点，所述日志数据收集埋点事件并且生成所述埋点数据。

9.如权利要求1所述的一种基于大数据方向的RCS统一消息云服务系统的使用方法，其特征在于：针对步骤S4：客户端建立与服务器的连接采用统一接收外部请求，分别经过权限控制、流量控制、过滤器、智能路由转发和链路追踪步骤。

Images