CN116566789A - 商机引擎实时流处理方法 - Google Patents

商机引擎实时流处理方法 Download PDF

Info

Publication number
CN116566789A
CN116566789A CN202310396300.5A CN202310396300A CN116566789A CN 116566789 A CN116566789 A CN 116566789A CN 202310396300 A CN202310396300 A CN 202310396300A CN 116566789 A CN116566789 A CN 116566789A
Authority
CN
China
Prior art keywords
data
service
module
real
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310396300.5A
Other languages
English (en)
Other versions
CN116566789B (zh
Inventor
张可彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Uma Software Technology Co ltd
Original Assignee
Nanjing Uma Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Uma Software Technology Co ltd filed Critical Nanjing Uma Software Technology Co ltd
Priority to CN202310396300.5A priority Critical patent/CN116566789B/zh
Publication of CN116566789A publication Critical patent/CN116566789A/zh
Application granted granted Critical
Publication of CN116566789B publication Critical patent/CN116566789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/0273—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using web services for network management, e.g. simple object access protocol [SOAP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及商机引擎实时流处理方法，涉及商业技术领域。它包含数据接入服务、数据处理服务、数据输出服务以及WEB管理界面，数据接入服务与数据处理服务信号连接，数据处理服务与数据输出服务信号连接，数据输出服务通过WEB管理界面输出信息，并在WEB管理界面对各数据服务选项进行操作控制。日处理信令数据量为16亿条/天，日处理数据能力超过120TB实时信令可根据需求进行持久化和搭载实时/非实时数据分析模块，为业务分析系统提供数据源以及模型结果数据。

Description

商机引擎实时流处理方法
技术领域
本发明涉及商机引擎实时流处理方法，涉及商业技术领域。
背景技术
信令、语音、短信、无线网优以及AAA数据处理作为运营商核心能力，为运营商业务系统、营销系统提供有力的经营支撑，但随着营销场景的持续扩大化、精细化和实时化，越来越显得力不从心，传统的实时数据处理模式的缺陷主要体现在：
1、DPI、信令数据量呈TB级增长，实时处理性能和能力无法满足要求；
2、营销需求百花齐放、千差万别，并且越来越关注实时性，并且具备营销周期短，目标差别大等特点，固化的数据处理无法满足新的市场需求，往往都是是要针对需求定制开发，需求开发周期长，往往错过了最佳的营销活动上线时限；
3、没有一个统一的数据处理平台能提供所有的实时处理能力，包括短信、语音、位置、实时标签全方位的数据处理服务和复杂的营销场景；
4、系统无法快速支撑接入新的实时、非实时数据，快速提供数据的处理和服务能力；
5、实时处理数据无法支撑各种复杂的逻辑组合，如指定位置停留时间超过5分钟、进入某商圈、接到某电话通话时间超过1分钟，拒绝某电话的次数超过3次，前24小时上过某购物平台并浏览过某商品等复杂逻辑组合。
发明内容
本发明的目的在于针对现有技术的缺陷和不足，提供一种商机引擎实时流处理方法，对运营商的实时信令、实时DPI数据进行实时化处理，通过标准化和定制化的处理流程规范，将计算后的数据通过服务接口开放。应用系统可通过实时接口获取所需的商机人群数据、动态标签组合开展高效的实时业务。
为实现上述目的，本发明采用以下技术方案是：它包含数据接入服务、数据处理服务、数据输出服务以及WEB管理界面，数据接入服务与数据处理服务信号连接，数据处理服务与数据输出服务信号连接，数据输出服务通过WEB管理界面输出信息，并在WEB管理界面对各数据服务选项进行操作控制。
进一步的，所述的数据接入服务支持通过FTP接口入、实时的消息队列接口采集信令数据。
进一步的，所述的数据处理服务主要负责实时流处理的底层通信、数据的预处理、路由映射、商机服务处理、原子服务功能及调度功能。
进一步的，所述的WEB管理界面包含用户权限管理、商机管理、原子服务管理、实时标签管理、状态监控及日志管理模块。
进一步的，所述的数据接入服务包含文件服务、实时消息接口、其他数据接口。
进一步的，所述的数据处理服务包含数据适配预处理、数据映射路由、商机处理、商机接口管理、商机规则管理、调度管理、原子服务处理、内容标签处理、基础标签处理、性能统计、数据持久化、数据输出服务、商机数据输出、原子服务输出模块。
商机引擎实时流处理方法的整体流程为：
1、WEB管理系统—WEB服务--配置数据库—Zookeeper集群；
2、原始数据源—Storm集群—Zookeeper集群；
3、Storm集群—传输商机引擎数据。
进一步的，所述的数据处理服务的实时处理通过适配模块、数据映射模块、数据过滤模块、数据输出模块实现，具体流程步骤为：
1、适配模块处理流程：数据源的数据流入适配器Bolt后，根据配置加载根据定义好的接口开发的外部程序，然后通过反射调用加载外部程序中的指定函数，来完成数据的预处理，比如dpi数据的解码，信令数据的过滤等。外部程序中的指定函数以数据源接受到的源数据为输入参数，返回预处理的结果。然后把返回值发到下游Bolt；
2、数据映射模块处理流程：DataCleanBolt从配置文件读取到用户预存的业务相关字段的列表，并从原始数据中把相关字段提取出来，过滤掉字段缺失的数据，并把完整的数据发往后续bolt。用户在配置文件中指定所需字段的名称、位置和分隔符。DataCleanBolt通过分隔符取得原始数据的所有字段，通过用户指定的字段名称和位置取出所需字段，并检查所需字段是否符合规范。而后把所需字段转换为特定格式，发送到后续Bolt；
3、数据过滤模块处理流程：DataFilterBolt负责运行商机引擎的主要过滤业务。DataFilterBolt从Zookeeper读取到过滤规则列表，包括针对各个字段的操作符和阈值，加载这些规则列表，根据规则过滤掉不符合规则的数据，符合规则的数据则和规则id一起发送到后续bolt；
4、数据输出模块处理流程：DataPersistentBolt用户保存或者输出符合商机引擎过滤规则的结果。首先从Zookeeper读取到某个规则所对应的输出方式，读取相应输出类型，参数和选项，建立连接并输出过滤结果。一个DataPersistentBolt实例可以同时维护多重过滤规则所对应的不同数据输出方式。
进一步的，所述的原子服务处理流程为：
1、常驻数据接入输出至商机中间过程；
2、商机中间过程将数据传输至映射Mapper Bolt；
3、规则管理zookeeper同时对映射Mapper Bolt输入管理；
4、映射Mapper Bolt将数据输出至原子规则模块Nuclear Bolt；
5、原子规则模块Nuclear Bolt将管理输出规则信息输出进入原子规则处理子流程进行具体处理，同时资料数据Redis同步输入至原子规则处理子流程进行具体处理，处理完成后输出结果Redis。
采用上述技术方案后，本发明有益效果为：
1.支持灵活的实时商机规则配置功能，可立刻支持基于实时语音、短信、位置复杂应用场景的实时营销新业务上线；
2.支持营销商机任务的预先配置、优化和测试能力，可针对营销活动预先配置营销任务，轻松支撑不同紧急程度、不同时段的营销需求；
3.支持对营销规则的测试和优化能力，最大化的提升营销策略规则性能，确保系统在当前资源情况下同步支撑最多的营销策略；
4.数据开放方式支持安全的消息队列接口以及对内的API接口，方便不同的系统快速对接部署；
5.数据格式、数据接入方式支持配置和模版能力，通过配置可快速接入新的实时、非实时数据源，以及完成复杂的数据预处理；
6.支持不停机的系统平滑扩容，杜绝业务中断，系统中各个处理环节采用集群、双机等部署方式，保证系统不存在单点故障；
7.数据处理能力在省级运营商已经商用验证，日处理信令数据量为16亿条/天，日处理数据能力超过120TB实时信令可根据需求进行持久化和搭载实时/非实时数据分析模块，为业务分析系统提供数据源以及模型结果数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的功能架构图；
图2是本发明的整体处理流程图：
图3是本发明的实时处理流程图；
图4是本发明的原子服务处理流程图。
具体实施方式
商机引擎实时流处理是帮助运营商快速建立各种实时化数据的处理能力，提供定制化的数据处理结果，覆盖所有的信令、标签、DPI上层应用需求，通过提供可实时生效的商机配置能力，管理人员可在配置界面实现商机规则的动态加载，支持新的商机规则处理，帮助运营商快速部署实施新的应用和营销互动，主要应用场景包括：
基于用户实时位置的应用可以获取脱敏后的用户实时位置数据，以及指定位置的人流迁移数据；
基于用户画像的应用可以获取当前用户的实时行为数据；
综合各种营销场景的业务规则的提取指定用户的数据，即提取实时商机数据，一次商机定义为运营商某次营销活动或事件的一位潜在客户，运营者首先根据营销活动设计与信令、DPI、标签数据处理相关对应的规则，通过外部服务接口或者WEB管理界面配置相应规则，规则可根据规则在生效后提取出所需的实时用户列表通过实时消息队列或者接口并输出至应用系统，输出方式包括不限于HDFS、消息队列或内存数据；
尤其适合不断变化的实时营销、需要紧急支撑的实时营销、突发事件支撑等场景；
围绕实时流商机引擎产品部署以及应用主要还有以下角色；
运营商：提供事实处理平台的硬件资源以及信令数据接入的接口；
应用开发者：根据系统的输出结果，设计基于信令数据的应用程序，并根据需要反馈商机需求，无需关注的信令数据进行实时的处理。
参看图1-4所示，本具体实施方式采用的技术方案是：它包含数据接入服务、数据处理服务、数据输出服务以及WEB管理界面，数据接入服务与数据处理服务信号连接，数据处理服务与数据输出服务信号连接，数据输出服务通过WEB管理界面输出信息，并在WEB管理界面对各数据服务选项进行操作控制；
数据接入服务器完成接入运营商各类实时、准实时数据，数据类型包括但是不限于DPI数据、无线网优数据、AAA数据、C网信令、VOLTE信令、2G/3G信令、4G信令、5G信令图像数据；
所述的数据接入服务包含文件服务、实时消息接口、其他数据接口，具体为：
文件服务
提供文件级别的数据接入功能，采集非实时或者准实时的数据，支持FTP等文件传输协议；
对于实时性不高或尚未完成实时化改造的数据源可采用该接入方式，如无线网优数据；
实时消息接口
提实时的数据接入，采实时或者准实时的数据，支持各种标准消息队列，如Kafka、RabbitMQ、RocketMQ；
其他数据接口
根据运营商项目需求提供数据接入定制，主要是接入协议定制，如数据库接口，WEB服务接口；
所述的数据处理服务主要负责实时流处理的底层通信、数据的预处理、路由映射、商机服务处理、原子服务功能及调度功能；
更为具体的，数据处理服务包含数据适配预处理、数据映射路由、商机处理、商机接口管理、商机规则管理、调度管理、原子服务处理、内容标签处理、基础标签处理、性能统计、数据持久化、数据输出服务、商机数据输出、原子服务输出模块，包含以下具体实施内容：
数据适配预处理
数据适配预处理模块将接入的数据进行数据匹配和预处理，主要包括字段格式标准化，数据预清洗，数据预管理转换。通过配置数据接入模版、数据预配置模块，可便捷的对数据进行预处理标准化，数据标准化主要包括数据格式化、数据索引、数据类型识别、脏数据清洗、数据合法性检查、数据时延分析等，如去除手机号码的+86字段，数据清洗主要是去除空字段以及对字段进行合并，以及通过关联一些维表，将数据转换成后续可处理的格式；
数据映射路由
数据映射路由模块将预处理后的数据拆分成指定的字段，拼装成系统内部的元组对象，包括原子服务元组(位置元组、语音元组、短信元组、DPI元组)和商机元组，模块将不同标签的元组根据策略转发给指定的处理模块。管理端可动态配置数据源的不同映射关系和处理规则，动态业务处理逻辑的动态扩展；
商机处理
商机处理模块根据应用系统的营销规则，分析所有的实时数据，筛选出匹配的用户数据，将实时的这批用户转发给数据输出服务模块，可支持各种实时营销业务场景，如：
门店O2O实时营销：用到针对位置的实时事件，需要实时获取在某些位置停留一段时间的人；
存量客户实时维系：用到针对电话和短信的实时事件，需要实时获取与异网客户经理或异网客服联系的我网存量用户；
潜在换机实时营销：用到针对URL的实时事件，需要实时获取访问淘宝或京东等购物网站手机终端页面的用户；
流量产品实时营销：用到针对流量使用的实时事件，需要实时获取流量到达一定阈值的用户；
商机接口管理
商机接口管理主要实现商机规则的接口管理，包括商机规则API接口提供，接口的认证授权，接口调用的日志记录以及后台的WEB后台接口；
商机接口主要包括：
商机数据源查询、商机规则新增、商机规则修改及商机规则状态查询；
商机规则管理
商机规则管理主要负责各个应用商机规则的维护，包括规则状态更新，规则有效性检测、规则优化、商机规则自动功能；
无论是通过程序外部接口还是管理员通过WEB管理界面配置的商机都会存在规则配置的效率问题，模块会自动录入的规则进行效率检查，优化规则的逻辑和顺序，提升系统处理商机的性能；
调度管理
调度管理实现各种商机的周期性调度，将激活的商机规则调度到实时商机处理模块，失效的规则调离出，支持多种负责的调度策略，如单次调度、延时调度、周期性调度，以及周期性的指定时间段调度；
原子服务处理
原子服务处理实现通用的数据处理服务，包括各种数据的通用处理，处理的结果可直接供上层应用使用，满足应用的实时数据需求；
内容标签处理
内容标签定义为不同的行业的用户访问标签，如用户浏览京东某个商品，就可以打上京东某个商品名称的标签。内容标签处理主要是把运营商的实时DPI数据打上内容标签，该功能依赖于DPI数据源数据接入，只有接入DPI数据源后，才可支持相应的标签功能；
在内容标签管理模块后台支持互联网爬虫，可爬取对应内容标签对应的详情数据，如商品价格、评价；
基础标签处理
基础标签定义为APP、WEB、位置、终端4种类型的标签。内容标签处理主要是把运营商的实时DPI数据打上基础标签；
该功能依赖于DPI数据源数据接入，只有接入DPI数据源后，才可支持相应的标签功能；
在内容标签管理模块后台支持互联网爬虫，可爬取对应内容标签对应的详情数据，如商品价格、评价。
性能统计
性能统计实时汇总计算各个处理模块的性能，主要包括：
数据接入实时数据量、原子处理模块性能、商机处理模块性能及各商机的命中情况；
数据持久化
数据持久化完成实时原始数据以及处理后数据的持久化到HDFS或者其他外部系统；
数据输出服务为数据数据完成加工后的数据实时输出，具体为：
商机数据输出
商机数据输出是根据商机规则的配置输出到指定的队列、数据库或者文件系统中；
原子服务输出
原子服务输出将所有原子服务的处理结果通过内存数据库的方式输出，外部应用可通过提供的API接口直接访问对应的原子服务数据；
WEB管理界面为WEB管理功能的具体体现，所述的WEB管理界面包含用户权限管理、商机管理、原子服务管理、实时标签管理、状态监控及日志管理模块，具体为：
日志管理
WEB管理系统自身的日志管理功能，包括日志记录与查询，日志包括操作日志、系统日志，帮助管理员分析系统状态、进行安全审计和辅助故障定位；
状态监控
状态监控展示系统当前的处理性能，通过图形化界面展示当前的业务模块的相关指标，包括数据处理量、处理率、延迟；
用户权限管理
WEB管理系统的角色、用户以及相关的权限管理，包括新建、修改、失效相应的用户账号、角色；
商机管理
一条商机就是一个潜在用户，该用户是通过对应的规则解析匹配的得出，商机管理主要负责实时商机规则、商机相关数据源和映射关系的的配置、商机规则新建、修改和查询，
原子服务管理
原子服务管理主要包括原子服务的输入服务配置、原子服务输出服务配置以及原子服务启用、实效管理；
实时标签管理
标签管理主要提供配置标签处理的输入服务参数、输出服务参数配置，标签规则的配置与查询，以及标签统计功能。
进一步的，所述的数据接入服务支持通过FTP接口入、实时的消息队列接口采集信令数据。
商机引擎实时流处理方法的整体流程为：
1、WEB管理系统—WEB服务--配置数据库—Zookeeper集群；
2、原始数据源—Storm集群—Zookeeper集群；
3、Storm集群—传输商机引擎数据。
进一步的，所述的数据处理服务的实时处理通过适配模块、数据映射模块、数据过滤模块及数据输出模块实现，具体流程步骤为：
1、适配模块处理流程：数据源的数据流入适配器Bolt后，根据配置加载根据定义好的接口开发的外部程序，然后通过反射调用加载外部程序中的指定函数，来完成数据的预处理，比如dpi数据的解码，信令数据的过滤等。外部程序中的指定函数以数据源接受到的源数据为输入参数，返回预处理的结果，然后把返回值发到下游Bolt；
2、数据映射模块处理流程：DataCleanBolt从配置文件读取到用户预存的业务相关字段的列表，并从原始数据中把相关字段提取出来，过滤掉字段缺失的数据，并把完整的数据发往后续bolt。用户在配置文件中指定所需字段的名称、位置和分隔符，DataCleanBolt通过分隔符取得原始数据的所有字段，通过用户指定的字段名称和位置取出所需字段，并检查所需字段是否符合规范，而后把所需字段转换为特定格式，发送到后续Bolt；
3、数据过滤模块处理流程：DataFilterBolt负责运行商机引擎的主要过滤业务。DataFilterBolt从Zookeeper读取到过滤规则列表，包括针对各个字段的操作符和阈值，加载这些规则列表，根据规则过滤掉不符合规则的数据，符合规则的数据则和规则id一起发送到后续bolt；
4、数据输出模块处理流程：DataPersistentBolt用户保存或者输出符合商机引擎过滤规则的结果。首先从Zookeeper读取到某个规则所对应的输出方式，读取相应输出类型，参数和选项，建立连接并输出过滤结果，一个DataPersistentBolt实例可以同时维护多重过滤规则所对应的不同数据输出方式。
进一步的，所述的原子服务处理流程为：
1、常驻数据接入输出至商机中间过程；
2、商机中间过程将数据传输至映射Mapper Bolt；
3、规则管理zookeeper同时对映射Mapper Bolt输入管理；
4、映射Mapper Bolt将数据输出至原子规则模块Nuclear Bolt；
5、原子规则模块Nuclear Bolt将管理输出规则信息输出进入原子规则处理子流程进行具体处理，同时资料数据Redis同步输入至原子规则处理子流程进行具体处理，处理完成后输出结果Redis。
更为具体的，在商机接口还包含了商机输入接口、商机输出接口、原子服务接口，商机输入接口包含新增输入数据源、修改输入数据源、删除输入数据源、新增消费者、修改消费者、删除消费者、新增商机规则、启动商机规则、停止商机规则及删除商机规则；
新增输入数据源
1)请求地址
/httpAction/addDataSource.action
2)参数JSON串
修改输入数据源
1)请求地址
/httpAction/editDataSource.action
2)参数JSON串
删除输入数据源
1)请求地址
/httpAction/deleteDataSource.action
2)参数JSON串
新增消费者
1)请求地址
/httpAction/addConsumer.action
2)参数JSON串
修改消费者
1)请求地址
/httpAction/editConsumer.action
2)参数JSON串
/httpAction/deleteConsumer.action2)参数JSON串
新增商机规则
1)请求地址
/httpAction/addRule.action
2)参数JSON串
启动商机规则
1)请求地址
/httpAction/startRule.action
停止商机规则
1)请求地址
/httpAction/stopRule.action
2)参数JSON串
删除商机规则
1)请求地址
/httpAction/deleteRule.action
2)参数JSON串
商机输出接口为商机引擎使用Redis存储命中结果集，Redis的key使用前缀BE_+商机引擎RequestRuleID，具体包含，List接口、Set接口、SortedSet接口、Hash接口，具体的为：
List接口
格式
ListKey：[value1,value2,value3,value4,…]
说明
主要用于存储不需要去重与排序的普通列表；
Set接口
格式
SetKey：[value1,value2,value3,value4,…]
说明
主要用于结果需要去重的目标集合；
SortedSet接口
格式
SortedSetKey：[value1/score1,value2/score2,value3/score3,value4/score4,…]
说明
主要用于结构需要排序的目标集合，排序使用score；
Hash接口
格式
HashKey：[(key1,value1),(key2,value2),(key3,value3),…]
说明
主要用于存储的每条记录除了需要去重的目标字段外，还包含其它额外的记录信息；
原子服务接口具体为：
用户轨迹查询、当前位置查询
存储类型SortedList
格式APMM_TRACK_mdn：[(dpc_cityid,time1),(dpc_cityid,time1),
(dpc_cityid,time1),…]
说明dpc_cityid位置标识，time1进入位置时间；
区域用户信息
存储类型Set
格式APMM_AREA_dpc_cityid：[mdn1,mdn2,mdn3,…]
说明dpc_cityid位置标识，mdn用户手机号；
用户状态查询
存储类型key
格式APMM_STAT_mdn：state_flag
说明mdn用户手机号，state_flag用户状态；
通话记录查询
数据类型key
格式APCC_mdn：calling_record
说明mdn用户手机号，calling_record通话记录；
短信记录查询
数据类型key
格式APSM_mdn：msg_record
说明mdn用户手机号，msg_record短信记录。
在本实施例中，所有模块的软件运行环境还有具体的要求：
软件底层的分布式处理平台采用开源Storm框架、消息队列采用Kafka，KV数据库采用redis，使用ZooKeeper作为商机规则保存和调度的服务；
编程语言采用JAVA；
配置数据库采用Mysql数据库双机；
软件运维环境为PC服务器，操作系统Linux 64位操作系统；
WEB容器为Tomcat；
同时，组网与配置同样有具体要求：
信令处理服务器5台，配置如下：
(共)24核Intel(R)Xeon(R)CPU E5-2620 v2@2.10GHz；
内存256G；
磁盘300G；
WEB&应用服务器2台，配置如下：
(共)24核Intel(R)Xeon(R)CPU E5-2620 v2@2.10GHz；
内存32G；
磁盘300G；
Mysql服务器2台，配置如下：
(共)24核Intel(R)Xeon(R)CPU E5-2620 v2@2.10GHz；
内存32G；
磁盘500G。
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.商机引擎实时流处理方法，其特征在于：它包含数据接入服务、数据处理服务、数据输出服务以及WEB管理界面，数据接入服务与数据处理服务信号连接，数据处理服务与数据输出服务信号连接，数据输出服务通过WEB管理界面输出信息，并在WEB管理界面对各数据服务选项进行操作控制。
2.商机引擎实时流处理方法，其特征在于：所述的数据接入服务支持通过FTP接口入、实时的消息队列接口采集信令数据。
3.商机引擎实时流处理方法，其特征在于：所述的数据处理服务主要负责实时流处理的底层通信、数据的预处理、路由映射、商机服务处理、原子服务功能及调度功能。
4.商机引擎实时流处理方法，其特征在于：所述的WEB管理界面包含用户权限管理、商机管理、原子服务管理、实时标签管理、状态监控及日志管理模块。
5.商机引擎实时流处理方法，其特征在于：所述的数据接入服务包含文件服务、实时消息接口、其他数据接口。
6.商机引擎实时流处理方法，其特征在于：所述的数据处理服务包含数据适配预处理、数据映射路由、商机处理、商机接口管理、商机规则管理、调度管理、原子服务处理、内容标签处理、基础标签处理、性能统计、数据持久化、数据输出服务、商机数据输出、原子服务输出模块。
7.商机引擎实时流处理方法，其特征在于：整体流程为：
WEB管理系统—WEB服务--配置数据库—Zookeeper集群；
原始数据源—Storm集群—Zookeeper集群；
Storm集群—传输商机引擎数据。
8.商机引擎实时流处理方法，其特征在于：所述的数据处理服务的实时处理通过适配模块、数据映射模块、数据过滤模块、数据输出模块实现，具体流程步骤为：
适配模块处理流程：数据源的数据流入适配器Bolt后，根据配置加载根据定义好的接口开发的外部程序，然后通过反射调用加载外部程序中的指定函数，来完成数据的预处理，比如dpi数据的解码，信令数据的过滤等。外部程序中的指定函数以数据源接受到的源数据为输入参数，返回预处理的结果。然后把返回值发到下游Bolt；
数据映射模块处理流程：DataCleanBolt从配置文件读取到用户预存的业务相关字段的列表，并从原始数据中把相关字段提取出来，过滤掉字段缺失的数据，并把完整的数据发往后续bolt。用户在配置文件中指定所需字段的名称、位置和分隔符。DataCleanBolt通过分隔符取得原始数据的所有字段，通过用户指定的字段名称和位置取出所需字段，并检查所需字段是否符合规范。而后把所需字段转换为特定格式，发送到后续Bolt；
数据过滤模块处理流程：DataFilterBolt负责运行商机引擎的主要过滤业务。DataFilterBolt从Zookeeper读取到过滤规则列表，包括针对各个字段的操作符和阈值，加载这些规则列表，根据规则过滤掉不符合规则的数据，符合规则的数据则和规则id一起发送到后续bolt；
数据输出模块处理流程：DataPersistentBolt用户保存或者输出符合商机引擎过滤规则的结果。首先从Zookeeper读取到某个规则所对应的输出方式，读取相应输出类型，参数和选项，建立连接并输出过滤结果。一个DataPersistentBolt实例可以同时维护多重过滤规则所对应的不同数据输出方式。
9.商机引擎实时流处理方法，其特征在于：所述的原子服务处理流程为：
常驻数据接入输出至商机中间过程；
商机中间过程将数据传输至映射MapperBolt；
规则管理zookeeper同时对映射MapperBolt输入管理；
映射MapperBolt将数据输出至原子规则模块NuclearBolt；
原子规则模块NuclearBolt将管理输出规则信息输出进入原子规则处理子流程进行具体处理，同时资料数据Redis同步输入至原子规则处理子流程进行具体处理，处理完成后输出结果Redis。
CN202310396300.5A 2023-04-13 2023-04-13 商机引擎实时流处理方法 Active CN116566789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310396300.5A CN116566789B (zh) 2023-04-13 2023-04-13 商机引擎实时流处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310396300.5A CN116566789B (zh) 2023-04-13 2023-04-13 商机引擎实时流处理方法

Publications (2)

Publication Number Publication Date
CN116566789A true CN116566789A (zh) 2023-08-08
CN116566789B CN116566789B (zh) 2024-05-10

Family

ID=87500941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310396300.5A Active CN116566789B (zh) 2023-04-13 2023-04-13 商机引擎实时流处理方法

Country Status (1)

Country Link
CN (1) CN116566789B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010032207A1 (en) * 1998-03-12 2001-10-18 Bruce Hartley Operational system for operating on client defined rules
US6850950B1 (en) * 1999-02-11 2005-02-01 Pitney Bowes Inc. Method facilitating data stream parsing for use with electronic commerce
CN103354633A (zh) * 2013-07-31 2013-10-16 上海欣方软件有限公司 基于信令数据挖掘分析的特定移动用户粗定位系统及方法
CN106168909A (zh) * 2016-06-30 2016-11-30 北京奇虎科技有限公司 一种日志的处理方法和装置
CN111475564A (zh) * 2020-04-13 2020-07-31 恒安嘉新（北京）科技股份公司 一种流式数据处理方法、系统、计算机设备及存储介质
CN114519608A (zh) * 2022-02-15 2022-05-20 平安证券股份有限公司 商机提取方法、装置、介质及电子设备
CN115827237A (zh) * 2022-12-13 2023-03-21 重庆邮电大学 一种基于性价比的storm任务调度方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010032207A1 (en) * 1998-03-12 2001-10-18 Bruce Hartley Operational system for operating on client defined rules
US6850950B1 (en) * 1999-02-11 2005-02-01 Pitney Bowes Inc. Method facilitating data stream parsing for use with electronic commerce
CN103354633A (zh) * 2013-07-31 2013-10-16 上海欣方软件有限公司 基于信令数据挖掘分析的特定移动用户粗定位系统及方法
CN106168909A (zh) * 2016-06-30 2016-11-30 北京奇虎科技有限公司 一种日志的处理方法和装置
CN111475564A (zh) * 2020-04-13 2020-07-31 恒安嘉新（北京）科技股份公司 一种流式数据处理方法、系统、计算机设备及存储介质
CN114519608A (zh) * 2022-02-15 2022-05-20 平安证券股份有限公司 商机提取方法、装置、介质及电子设备
CN115827237A (zh) * 2022-12-13 2023-03-21 重庆邮电大学 一种基于性价比的storm任务调度方法

Also Published As

Publication number Publication date
CN116566789B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN111787066B (zh) 一种基于大数据与ai的物联网数据平台
CN103236163B (zh) 一种基于群智网络的交通拥堵规避提示系统
CN104809634B (zh) 旅游数据调研与监测系统
US20190236728A1 (en) Method and apparatus for providing information
CN104838620B (zh) 电信网中的事件管理的设备和方法
CN102724307B (zh) 用于物联网的信息融合引擎及方法
US9477574B2 (en) Collection of intranet activity data
CN108366109A (zh) 一种气象数据数值预报云共享平台和数据共享方法
US8954514B2 (en) System and method for displaying time-sensitive alerts in a mobile device
CN103118138B (zh) 一种基于云服务的消息队列流处理方法
US10671752B1 (en) Computer-based methods and systems for managing private data of users
CN111240861A (zh) 服务提供方法、装置、电子设备及存储介质
CN113536325A (zh) 一种数字化信息风险监控方法及装置
Cacho et al. Social smart destination: a platform to analyze user generated content in smart tourism destinations
CN111770022B (zh) 基于链路监控的扩容方法、系统、设备及计算机存储介质
US20160028671A1 (en) Adaptor Based Communication Systems, Apparatus, and Methods
CN112181678A (zh) 业务数据的处理方法、装置和系统、存储介质、电子装置
CN116566789B (zh) 商机引擎实时流处理方法
CN102831179A (zh) 网页处理方法及装置
CN115567563B (zh) 基于端边云的综合交通枢纽监测预警系统及其控制方法
CN110769056A (zh) 实名制信息处理方法、装置、电子设备及存储介质
CN107180114A (zh) 一种海事卫星通信话单解析方法和系统
CN113076308B (zh) 一种时空大数据服务系统
CN116136801B (zh) 云平台的数据处理方法、装置、电子设备及存储介质
CN105491136A (zh) 消息发送方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant