CN102231869A - 一种增值服务精细化运营系统架构的实现方法 - Google Patents
一种增值服务精细化运营系统架构的实现方法 Download PDFInfo
- Publication number
- CN102231869A CN102231869A CN2011101745770A CN201110174577A CN102231869A CN 102231869 A CN102231869 A CN 102231869A CN 2011101745770 A CN2011101745770 A CN 2011101745770A CN 201110174577 A CN201110174577 A CN 201110174577A CN 102231869 A CN102231869 A CN 102231869A
- Authority
- CN
- China
- Prior art keywords
- data
- added service
- engine
- knowledge
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种增值服务精细化运营系统架构的实现方法,操作步骤是:(1)把增值服务精细化运营系统架构从低往高分为六层,分别是数据源层、数据采集层、数据存储层、数据挖掘层、信息汇聚层和管理应用层;(2)设定增值服务精细化运营系统架构中上述各层的功能,分别是增值服务数据的提供、增值服务数据的采集转换、数据存贮功能、离线和在线数据的挖掘、离线和在线信息的汇聚、人机交互管理和增值服务精细化;(3)设定增值服务精细化运营系统架构中数据和信息的处理方法。该方法实现了分析挖掘的结果数据和知识的快速应用,可支持即时营销、对恶意行为的快速干预和对网络和服务质量的实时监控,并且系统具备动态升级和持续演进的能力。
Description
技术领域
本发明涉及一种增值服务精细化运营系统架构的实现方法,属于电信技术领域,特别是属于电信增值业务技术领域。
背景技术
中国电信增值服务正处在高速发展期,新服务不断涌现,系统容量不断扩大,用户数量不断增加,然而,在高速发展的同时,电信增值服务的这种粗放的发展模式也带来了一些问题:服务质量没有得到足够重视,用户体验没有得到认真关注,潜在需求没有得到深入挖掘,恶意行为没有得到有效控制。随着电信增值服务的进一步发展,上述问题将愈发严重,于是,由注重规模和速度的粗放运营模式向注重质量和体验的精细化运营模式转变成为电信增值服务的大势所趋。
但精细化运营面临许多任务需要完成:如何针对用户的消费行为和消费习惯进行深入地挖掘和精准地营销,以满足用户的潜在需求;如何对垃圾短信、骚扰电话等恶意行为进行精确地识别和迅速地遏制,以保障用户的服务体验;如何对增值服务系统和网络进行精细地评估、诊断、管理和运维,以提升服务的质量。电信运营商需要一个增值服务精细化运营系统架构来完成精细化运营所带来的挑战,因此当前如何科学有效地设计和实现增值服务精细化运营系统架构是一个急需要解决的技术难题。
发明内容
有鉴于此,本发明的目的是提供一种增值服务精细化运营系统架构的实现方法,实现电信增值服务的精细化运营,有效提高电信用户的业务满意度。
为了达到上述目的,本发明提出了一种面向电信增值服务,基于离线和在线数据挖掘的增值服务精细化运营系统架构的实现方法,其特征在于:该方法包括下列操作步骤:
(1)把增值服务精细化运营系统架构从低往高分为六层,分别是数据源层、数据采集层、数据存储层、数据挖掘层、信息汇聚层和管理应用层;
(2)设定增值服务精细化运营系统架构中上述各层的功能,具体是:数据源层完成增值服务数据的提供功能;数据采集层完成增值服务数据的采集转换功能;数据存贮层完成数据存贮功能;数据挖掘层完成离线和在线数据的挖掘功能;信息汇聚层完成离线和在线信息的汇聚功能;管理应用层完成人机交互管理和增值服务精细化功能;
(3)设定增值服务精细化运营系统架构中数据和信息的处理方法,具体是:数据源层通过流数据源网络实体和非流数据源网络实体,为增值服务精细化运营系统提供与增值服务相关的在线时间序列流数据和离线非流数据;数据采集层对来自数据源层的数据进行抽取、转换和加载等数据采集工作,将异构的、不规整的外部数据转化为统一的、规整的系统内部数据;数据存贮层对数据采集层处理完成后的数据进行存贮;数据挖掘层对数据存贮层中存贮的海量数据进行挖掘,发现知识并利用知识从海量数据中识别出有价值的结果数据;信息汇聚层实现数据、知识、操作等各种信息流的汇集和路由;管理应用层使用挖掘获得的结果数据和知识,为用户提供精细化的增值服务。
所述的数据源层位于增值服务精细化运营系统架构的最底层,其功能是给上层提供与增值服务相关的数据,具体包含两类物理实体,第一类网络实体是流数据源,即能够在线地产生与电信增值服务相关的时间序列流数据的物理实体;第二类网络实体是非流数据源,即能够提供与电信增值服务相关的离线的非流数据的物理实体。
所述的数据采集层的功能是对来自所述的数据源层的数据进行抽取、转换和加载处理,完成数据采集工作,将异构的、不规整的外部数据转化为统一的、规整的内部数据,具体包括两个模块,第一个模块是流数据采集引擎,该模块负责对高速到达、无限的流数据进行数据采集,支持各种流数据采集规则的动态加载和执行;第二个模块是非流数据采集引擎,该模块负责对普通的非流数据进行数据采集,支持各种非流数据采集规则的动态加载和执行。
所述的数据存储层的功能是实现数据的存储,并支持对数据的各种操作,具体包括三个模块:第一个模块是缓存数据库,该模块存储来自所述的流数据采集引擎模块的流数据,以及由在线挖掘引擎根据流数据生成的概要数据,同时支持数据同步引擎、在线挖掘引擎和在线分析处理引擎对数据的各种操作,缓存数据库满足流数据实时到达、实时挖掘和处理的需求,具有高性能、高可靠性、实时运行的特点,但存储容量有限;第二个模块是数据仓库,是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,实现对来自数据同步引擎的流数据和来自非流数据采集引擎的非流数据的持久化存储,同时支持离线挖掘引擎和在线分析处理引擎对数据的读取操作,数据仓库的存储量大,但性能要求不高;第三个模块是数据同步引擎,该模块负责将缓存数据库中的流数据同步到数据仓库,同时将已同步的数据从缓存数据库清除以腾出空间存储新到的流数据,支持各种数据同步规则的动态加载和执行。
所述的数据同步规则包括但不限于:周期同步即定时触发同步;定量同步,即缓存数据库中未同步数据累积到一定量时触发同步;定荷同步,即在缓存数据库负荷降低至一定量时触发同步;混合策略同步,即综合考虑上述因素的同步。
所述的数据挖掘层的功能是从海量数据中发现知识,同时利用知识从海量数据中识别出有价值的信息结果,具体包括四个模块:第一个模块是在线挖掘引擎,该模块负责对流数据进行在线挖掘,支持各种流数据挖掘规则的动态加载和执行。在线挖掘引擎首先对新到达的流数据进行预处理,生成概要数据并写入缓存数据库,接着使用特定的规则对概要数据进行挖掘,将生成的知识和结果数据分别写入知识库与结果库。与离线挖掘引擎相比,在线挖掘引擎具有实时性、自适应性以及近似性的特点。第二个模块是离线挖掘引擎,该模块负责对数据仓库中的数据进行离线挖掘,支持各种离线数据挖掘规则的动态加载和执行。离线挖掘引擎将挖掘后生成的知识和结果数据分别写入知识库与结果库。与在线挖掘引擎相比,离线挖掘引擎不具备实时性,但由于时间充裕,数据充分,其支持的规则更多,挖掘的知识和结果更加准确,可对在线挖掘引擎生成的知识和结果进行修正。第三个模块是知识库,该模块是知识的容器,存储固有的先验知识,以及由在线挖掘引擎和离线挖掘引擎发现的新知识,支持在线挖掘引擎和离线挖掘引擎对知识的操作即增、删、改、查等。第四个模块是结果库,该模块负责存储由在线挖掘引擎和离线挖掘引擎根据已有知识从海量数据中发现的信息,支持在线挖掘引擎、离线挖掘引擎以及信息汇聚总线对结果数据的操作即增、删、改、查等。
所述的信息汇聚层的功能是实现信息的汇集和路由,具体包括一个模块,即信息汇聚总线,该模块实现数据、知识、操作等各种信息流的汇集和路由,尤其是实现了在线信息和离线信息的汇总和聚合,在管理应用层与所述的各种引擎和库之间实现了信息总线的功能,从而降低系统的耦合度。
所述的管理应用层的功能是实现对系统的管理功能和增值业务的精细化功能,具体包括两个模块,第一个模块是管理界面模块,该模块提供系统的人机管理界面,通过信息汇聚总线可发起对所述的各种引擎和库的管理操作,并通过信息汇聚总线接收汇总的数据流和知识流,以图形化的方式显示给管理员。第二个模块是服务应用模块,该模块使用特定结果数据和知识,提供精细化的电信增值服务。
所述的流数据挖掘规则包括但不限于:分类即根据已知的分类知识对数据对象的类别进行界定;聚类即根据数据对象内在的相似性将数据分类,并发现其中的知识;关联分析即发现数据对象之间频繁的关联,并发现其中的知识;异常检测即从数据对象中发现与大多数不同的异常者,并发现其中的知识。
所述的离线数据挖掘规则包括但不限于:分类即根据已知的分类知识对数据对象的类别进行界定;聚类即根据数据对象内在的相似性将数据分类,并发现其中的知识;关联分析即发现数据对象之间频繁的关联,并发现其中的知识;异常检测即从数据对象中发现与大多数不同的异常者,并发现其中的知识;预测即根据已知的知识对数据对象的某些属性的数值进行预测;描述区分即描述指定数据对象集的共同特征,发现指定的多个数据对象集的区别。
所述的引擎是指可以动态加载和解释执行设定规则的软件架构或规则执行环境,所述的规则是指用形式化语言或脚本所表述的特定算法和逻辑。通过采用规则-引擎的模式,即所述的各种引擎上可以动态加载和运行所述的多种规则,使所述的增值服务精细化运营系统架构具备了动态升级和持续演进的能力。所述的各种引擎之间都是通过各种所述的库进行联系,即引擎之间都没有直接连接,从而实现了引擎之间的解耦,降低了所述的增值服务精细化运营系统架构整体的耦合度,因而可以通过灵活的部署迅速地生成多种具有精细化运营能力的增值服务平台。
本发明是一种面向电信增值服务,基于离线和在线数据挖掘的增值服务精细化运营系统架构的实现方法,本发明的有益效果在于:通过引入不同的数据源,同时支持对时间序列流数据及其他相关数据的分析挖掘。通过共享数据、知识和结果,实现在线分析挖掘和离线分析挖掘的融合互补,充分发挥前者实时性好和后者准确性高的优势。在线分析挖掘可实现实时响应和紧急处置;离线分析挖掘可对在线分析挖掘产生的知识和结果进行修正和精化,并提供更强大的分析挖掘能力,以利于重大决策。通过紧密结合分析挖掘系统与服务应用系统,实现了分析挖掘的结果数据和知识的快速应用,可支持即时营销、对恶意行为的快速干预和对网络和服务质量的实时监控等精细化服务。通过采用规则-引擎的模式,使系统具备了动态升级和持续演进的能力。本发明通过采用规则-引擎的模式,即所述的各种引擎上可以动态加载和运行所述的多种规则,使系统架构具备了动态升级和持续演进的能力。本发明中所述的各种引擎之间都是通过各种所述的库进行联系,即引擎之间没有直接连接,从而实现了引擎之间的解耦,降低了系统架构整体的耦合度,因而可以通过灵活的部署迅速地生成多种具有精细化运营能力的增值服务平台。
附图说明
图1是本发明一种面向电信增值服务,基于离线和在线数据挖掘的增值服务精细化运营系统架构的实现方法的流程方框图。
图2是本发明增值服务精细化运营系统架构的组成示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
参见图1,介绍本发明提出的一种面向电信增值服务,基于离线和在线数据挖掘的增值服务精细化运营系统架构的实现方法的具体操作步骤:
(1)把增值服务精细化运营系统架构从低往高分为六层,分别是数据源层、数据采集层、数据存储层、数据挖掘层、信息汇聚层和管理应用层;
(2)设定增值服务精细化运营系统架构中上述各层的功能,具体是:数据源层完成增值服务数据的提供功能;数据采集层完成增值服务数据的采集转换功能;数据存贮层完成数据存贮功能;数据挖掘层完成离线和在线数据的挖掘功能;信息汇聚层完成离线和在线信息的汇聚功能;管理应用层完成人机交互管理和增值服务精细化功能;
(3)设定增值服务精细化运营系统架构中数据和信息的处理方法,具体是:数据源层通过流数据源网络实体和非流数据源网络实体,为增值服务精细化运营系统提供与增值服务相关的在线时间序列流数据和离线非流数据;数据采集层对来自数据源层的数据进行抽取、转换和加载等数据采集工作,将异构的、不规整的外部数据转化为统一的、规整的系统内部数据;数据存贮层对数据采集层处理完成后的数据进行存贮;数据挖掘层对数据存贮层中存贮的海量数据进行挖掘,发现知识并利用知识从海量数据中识别出有价值的结果数据;信息汇聚层实现数据、知识、操作等各种信息流的汇集和路由;管理应用层使用挖掘获得的结果数据和知识,为用户提供精细化的增值服务。
本发明中所述的流数据是指时间序列流数据,是大量到达、潜在无限且按照时间顺序排列的数据序列。
下面对上述各个操作步骤作具体说明:
参见图2,所述的数据源层位于增值服务精细化运营系统架构的最底层,其功能是给上层提供与增值服务相关的数据,具体包含两类物理实体,第一类网络实体是流数据源,即能够在线地产生与电信增值服务相关的时间序列流数据的物理实体,例如信令采集设备、电话交换机、短消息中心SMSC、短消息网关、多媒体消息交换中心MMSC、WAP网关、各种增值服务平台及其网站、增值服务系统和网络中的网管代理等,生成的流数据类型包括电话呼叫、短消息、彩信、WAP、WEB等媒体的通信事件和通信记录,各种增值服务的使用记录和消费记录,增值服务系统和网络的实时状态数据等;第二类网络实体是非流数据源,即能够提供与电信增值服务相关的离线的非流数据的物理实体,例如外部数据库、磁盘、业务运营支撑系统BSS/OSS系统、归属位置寄存器HLR、各种增值服务平台等,提供的数据类型包括:用户基本数据、签约数据、服务订购数据、历史通信数据和消费数据等。
所述的数据采集层的功能是对来自所述的数据源层的数据进行抽取、转换和加载处理,完成数据采集工作,将异构的、不规整的外部数据转化为统一的、规整的内部数据,具体包括两个模块,第一个模块是流数据采集引擎,该模块负责对高速到达、无限的流数据进行数据采集,支持各种流数据采集规则的动态加载和执行;第二个模块是非流数据采集引擎,该模块负责对普通的非流数据进行数据采集,支持各种非流数据采集规则的动态加载和执行。
所述的数据存储层的功能是实现数据的存储,并支持对数据的各种操作,具体包括三个模块:第一个模块是缓存数据库,该模块存储来自所述的流数据采集引擎模块的流数据,以及由在线挖掘引擎根据流数据生成的概要数据,同时支持数据同步引擎、在线挖掘引擎和在线分析处理引擎对数据的各种操作,缓存数据库满足流数据实时到达、实时挖掘和处理的需求,具有高性能、高可靠性、实时运行的特点,但存储容量有限;第二个模块是数据仓库,是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,实现对来自数据同步引擎的流数据和来自非流数据采集引擎的非流数据的持久化存储,同时支持离线挖掘引擎和在线分析处理引擎对数据的读取操作,数据仓库的存储量大,但性能要求不高;第三个模块是数据同步引擎,该模块负责将缓存数据库中的流数据同步到数据仓库,同时将已同步的数据从缓存数据库清除以腾出空间存储新到的流数据,支持各种数据同步规则的动态加载和执行。
上面所述的数据同步规则包括但不限于:周期同步即定时触发同步;定量同步,即缓存数据库中未同步数据累积到一定量时触发同步;定荷同步,即在缓存数据库负荷降低至一定量时触发同步;混合策略同步,即综合考虑上述因素的同步。
所述的数据挖掘层的功能是从海量数据中发现知识,同时利用知识从海量数据中识别出有价值的信息结果,具体包括四个模块:第一个模块是在线挖掘引擎,该模块负责对流数据进行在线挖掘,支持各种流数据挖掘规则的动态加载和执行。在线挖掘引擎首先对新到达的流数据进行预处理,生成概要数据并写入缓存数据库,接着使用特定的规则对概要数据进行挖掘,将生成的知识和结果数据分别写入知识库与结果库。与离线挖掘引擎相比,在线挖掘引擎具有实时性、自适应性以及近似性的特点。第二个模块是离线挖掘引擎,该模块负责对数据仓库中的数据进行离线挖掘,支持各种离线数据挖掘规则的动态加载和执行。离线挖掘引擎将挖掘后生成的知识和结果数据分别写入知识库与结果库。与在线挖掘引擎相比,离线挖掘引擎不具备实时性,但由于时间充裕,数据充分,其支持的规则更多,挖掘的知识和结果更加准确,可对在线挖掘引擎生成的知识和结果进行修正。第三个模块是知识库,该模块是知识的容器,存储固有的先验知识,以及由在线挖掘引擎和离线挖掘引擎发现的新知识,支持在线挖掘引擎和离线挖掘引擎对知识的操作即增、删、改、查等。第四个模块是结果库,该模块负责存储由在线挖掘引擎和离线挖掘引擎根据已有知识从海量数据中发现的信息,例如根据垃圾短信的区分规则从海量短信中筛选出来的疑似垃圾短信列表和发送者列表。支持在线挖掘引擎、离线挖掘引擎以及信息汇聚总线对结果数据的操作即增、删、改、查等。
针对电信增值服务领域的数据周期性波动的特点,通过在线和离线分析挖掘能力的融合部署,实现系统整体性能的优化和物理资源的合理配置。系统在忙时如白昼,主要对高速到达的流数据进行在线分析挖掘,在闲时如夜晚则主要进行离线分析挖掘。
所述的信息汇聚层的功能是实现信息的汇集和路由,具体包括一个模块,即信息汇聚总线,该模块实现数据、知识、操作等各种信息流的汇集和路由,尤其是实现了在线信息和离线信息的汇总和聚合,在管理应用层与所述的各种引擎和库之间实现了信息总线的功能,从而降低系统的耦合度。通过信息汇聚总线实现了对当前数据和历史数据的全面集成,支持对实时到达的流数据的动态展示更新。
所述的管理应用层的功能是实现对系统的管理功能和增值业务的精细化功能,具体包括两个模块,第一个模块是管理界面模块,该模块提供系统的人机管理界面,通过信息汇聚总线可发起对所述的各种引擎和库的管理操作,并通过信息汇聚总线接收汇总的数据流和知识流,以图形化的方式显示给管理员。第二个模块是服务应用模块,该模块使用特定结果数据如骚扰电话号码列表等,和知识如喜欢歌手A的用户很可能也喜欢歌手B,提供精细化的电信增值服务,如来电助手服务中在通知用户未接来电号码时删去骚扰电话号码,在彩铃推荐服务中向歌手A铃音用户推荐歌手B的铃音。通过紧密结合所述的数据挖掘功能与服务应用功能,实现了分析挖掘的结果数据和知识的快速应用,可支持即时营销、对恶意行为的快速干预和对网络和服务质量的实时监控等精细化服务。
前面所述的流数据挖掘规则包括但不限于:分类即根据已知的分类知识对数据对象的类别进行界定;聚类即根据数据对象内在的相似性将数据分类,并发现其中的知识;关联分析即发现数据对象之间频繁的关联,并发现其中的知识;异常检测即从数据对象中发现与大多数不同的异常者,并发现其中的知识。
前面所述的离线数据挖掘规则包括但不限于:分类即根据已知的分类知识对数据对象的类别进行界定;聚类即根据数据对象内在的相似性将数据分类,并发现其中的知识;关联分析即发现数据对象之间频繁的关联,并发现其中的知识;异常检测即从数据对象中发现与大多数不同的异常者,并发现其中的知识;预测即根据已知的知识对数据对象的某些属性的数值进行预测;描述区分即描述指定数据对象集的共同特征,发现指定的多个数据对象集的区别。
本发明中所述的引擎是指可以动态加载和解释执行设定规则的软件架构或规则执行环境,所述的规则是指用形式化语言或脚本所表述的特定算法和逻辑。本发明通过采用规则-引擎的模式,即所述的各种引擎上可以动态加载和运行所述的多种规则,使系统架构具备了动态升级和持续演进的能力。
本发明中所述的各种引擎之间都是通过各种所述的库进行联系,即引擎之间没有直接连接,从而实现了引擎之间的解耦,降低了系统架构整体的耦合度,因而可以通过灵活的部署迅速地生成多种具有精细化运营能力的增值服务平台。
利用上面所述方法,发明人快速开发和实现了一批具有精细化运营能力的电信增值服务平台和解决方案,包括:综合营销平台、移动广告系统平台、增值业务分析支撑系统平台、IP承载信令监控平台、业务运行质量分析评价系统平台、增值业务运维管理系统平台等,经过大量实验表明,上述平台能成功提供短信彩信综合营销、彩铃推荐、手机阅读推荐、垃圾短信和骚扰电话防控、来电助手、智能应答、网间监控、增值服务质量评估与网络运维等具有精细化运营能力的多种增值服务。
上述各个平台的具体构成如下表所示:
Claims (10)
1.一种面向电信增值服务,基于离线和在线数据挖掘的增值服务精细化运营系统架构的实现方法,其特征在于:该方法包括下列操作步骤:
(1)把增值服务精细化运营系统架构从低往高分为六层,分别是数据源层、数据采集层、数据存储层、数据挖掘层、信息汇聚层和管理应用层;
(2)设定增值服务精细化运营系统架构中上述各层的功能,具体是:数据源层完成增值服务数据的提供功能;数据采集层完成增值服务数据的采集转换功能;数据存贮层完成数据存贮功能;数据挖掘层完成离线和在线数据的挖掘功能;信息汇聚层完成离线和在线信息的汇聚功能;管理应用层完成人机交互管理和增值服务精细化功能;
(3)设定增值服务精细化运营系统架构中数据和信息的处理方法,具体是:数据源层通过流数据源网络实体和非流数据源网络实体,为增值服务精细化运营系统提供与增值服务相关的在线时间序列流数据和离线非流数据;数据采集层对来自数据源层的数据进行抽取、转换和加载等数据采集工作,将异构的、不规整的外部数据转化为统一的、规整的系统内部数据;数据存贮层对数据采集层处理完成后的数据进行存贮;数据挖掘层对数据存贮层中存贮的海量数据进行挖掘,发现知识并利用知识从海量数据中识别出有价值的结果数据;信息汇聚层实现数据、知识、操作等各种信息流的汇集和路由;管理应用层使用挖掘获得的结果数据和知识,为用户提供精细化的增值服务。
2.根据权利要求1所述的增值服务精细化运营系统架构的实现方法,其特征在于:所述的数据源层位于增值服务精细化运营系统架构的最底层,其功能是给上层提供与增值服务相关的数据,具体包含两类物理实体,第一类网络实体是流数据源,即能够在线地产生与电信增值服务相关的时间序列流数据的物理实体;第二类网络实体是非流数据源,即能够提供与电信增值服务相关的离线的非流数据的物理实体。
3.根据权利要求1所述的增值服务精细化运营系统架构的实现方法,其特征在于:所述的数据采集层的功能是对来自所述的数据源层的数据进行抽取、转换和加载处理,完成数据采集工作,将异构的、不规整的外部数据转化为统一的、规整的内部数据,具体包括两个模块,第一个模块是流数据采集引擎,该模块负责对高速到达、无限的流数据进行数据采集,支持各种流数据采集规则的动态加载和执行;第二个模块是非流数据采集引擎,该模块负责对普通的非流数据进行数据采集,支持各种非流数据采集规则的动态加载和执行。
4.根据权利要求1所述的增值服务精细化运营系统架构的实现方法,其特征在于:所述的数据存储层的功能是实现数据的存储,并支持对数据的各种操作,具体包括三个模块:第一个模块是缓存数据库,该模块存储来自所述的流数据采集引擎模块的流数据,以及由在线挖掘引擎根据流数据生成的概要数据,同时支持数据同步引擎、在线挖掘引擎和在线分析处理引擎对数据的各种操作,缓存数据库满足流数据实时到达、实时挖掘和处理的需求,具有高性能、高可靠性、实时运行的特点,但存储容量有限;第二个模块是数据仓库,是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,实现对来自数据同步引擎的流数据和来自非流数据采集引擎的非流数据的持久化存储,同时支持离线挖掘引擎和在线分析处理引擎对数据的读取操作,数据仓库的存储量大,但性能要求不高;第三个模块是数据同步引擎,该模块负责将缓存数据库中的流数据同步到数据仓库,同时将已同步的数据从缓存数据库清除以腾出空间存储新到的流数据,支持各种数据同步规则的动态加载和执行。
5.根据权利要求1所述的增值服务精细化运营系统架构的实现方法,其特征在于:所述的数据挖掘层的功能是从海量数据中发现知识,同时利用知识从海量数据中识别出有价值的信息结果,具体包括四个模块:第一个模块是在线挖掘引擎,该模块负责对流数据进行在线挖掘,支持各种流数据挖掘规则的动态加载和执行;在线挖掘引擎首先对新到达的流数据进行预处理,生成概要数据并写入缓存数据库,接着使用特定的规则对概要数据进行挖掘,将生成的知识和结果数据分别写入知识库与结果库;与离线挖掘引擎相比,在线挖掘引擎具有实时性、自适应性以及近似性的特点;第二个模块是离线挖掘引擎,该模块负责对数据仓库中的数据进行离线挖掘,支持各种离线数据挖掘规则的动态加载和执行;离线挖掘引擎将挖掘后生成的知识和结果数据分别写入知识库与结果库;与在线挖掘引擎相比,离线挖掘引擎不具备实时性,但由于时间充裕,数据充分,其支持的规则更多,挖掘的知识和结果更加准确,可对在线挖掘引擎生成的知识和结果进行修正;第三个模块是知识库,该模块是知识的容器,存储固有的先验知识,以及由在线挖掘引擎和离线挖掘引擎发现的新知识,支持在线挖掘引擎和离线挖掘引擎对知识的操作即增、删、改、查等;第四个模块是结果库,该模块负责存储由在线挖掘引擎和离线挖掘引擎根据已有知识从海量数据中发现的信息,支持在线挖掘引擎、离线挖掘引擎以及信息汇聚总线对结果数据的操作即增、删、改、查等。
6.根据权利要求1所述的增值服务精细化运营系统架构的实现方法,其特征在于:所述的信息汇聚层的功能是实现信息的汇集和路由,具体包括一个模块,即信息汇聚总线,该模块实现数据、知识、操作等各种信息流的汇集和路由,尤其是实现了在线信息和离线信息的汇总和聚合,在管理应用层与所述的各种引擎和库之间实现了信息总线的功能,从而降低系统的耦合度。
7.根据权利要求1所述的增值服务精细化运营系统架构的实现方法,其特征在于:所述的管理应用层的功能是实现对系统的管理功能和增值业务的精细化功能,具体包括两个模块,第一个模块是管理界面模块,该模块提供系统的人机管理界面,通过信息汇聚总线可发起对所述的各种引擎和库的管理操作,并通过信息汇聚总线接收汇总的数据流和知识流,以图形化的方式显示给管理员;第二个模块是服务应用模块,该模块使用特定结果数据和知识,提供精细化的电信增值服务。
8.根据权利要求4所述的增值服务精细化运营系统架构的实现方法,其特征在于:所述的数据同步规则包括但不限于:周期同步即定时触发同步;定量同步,即缓存数据库中未同步数据累积到一定量时触发同步;定荷同步,即在缓存数据库负荷降低至一定量时触发同步;混合策略同步,即综合考虑上述因素的同步。
9.根据权利要求5所述的增值服务精细化运营系统架构的实现方法,其特征在于:所述的流数据挖掘规则包括但不限于:分类即根据已知的分类知识对数据对象的类别进行界定;聚类即根据数据对象内在的相似性将数据分类,并发现其中的知识;关联分析即发现数据对象之间频繁的关联,并发现其中的知识;异常检测即从数据对象中发现与大多数不同的异常者,并发现其中的知识;所述的离线数据挖掘规则包括但不限于:分类即根据已知的分类知识对数据对象的类别进行界定;聚类即根据数据对象内在的相似性将数据分类,并发现其中的知识;关联分析即发现数据对象之间频繁的关联,并发现其中的知识;异常检测即从数据对象中发现与大多数不同的异常者,并发现其中的知识;预测即根据已知的知识对数据对象的某些属性的数值进行预测;描述区分即描述指定数据对象集的共同特征,发现指定的多个数据对象集的区别。
10.根据权利要求3或4或5所述的增值服务精细化运营系统架构的实现方法,其特征在于:所述的引擎是指可以动态加载和解释执行设定规则的软件架构或规则执行环境,所述的规则是指用形式化语言或脚本所表述的特定算法和逻辑;通过采用规则-引擎的模式,即所述的各种引擎上可以动态加载和运行所述的多种规则,使所述的增值服务精细化运营系统架构具备了动态升级和持续演进的能力;所述的各种引擎之间都是通过各种所述的库进行联系,即引擎之间都没有直接连接,从而实现了引擎之间的解耦,降低了所述的增值服务精细化运营系统架构整体的耦合度,因而可以通过灵活的部署迅速地生成多种具有精细化运营能力的增值服务平台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110174577 CN102231869B (zh) | 2011-06-27 | 2011-06-27 | 一种增值服务精细化运营系统架构的实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110174577 CN102231869B (zh) | 2011-06-27 | 2011-06-27 | 一种增值服务精细化运营系统架构的实现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102231869A true CN102231869A (zh) | 2011-11-02 |
CN102231869B CN102231869B (zh) | 2013-08-21 |
Family
ID=44844393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110174577 Expired - Fee Related CN102231869B (zh) | 2011-06-27 | 2011-06-27 | 一种增值服务精细化运营系统架构的实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102231869B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102739469A (zh) * | 2012-05-28 | 2012-10-17 | 重庆大学 | 一种基于时间序列的Web服务响应时间预测方法 |
CN104376005A (zh) * | 2013-08-14 | 2015-02-25 | 中国移动通信集团甘肃有限公司 | 软件心跳机制信令接入探针用户详单处理方法及系统 |
CN104520886A (zh) * | 2012-03-31 | 2015-04-15 | 环联公司 | 用于基于离线、在线及信用相关数据的目标因特网营销的系统及方法 |
CN105653707A (zh) * | 2015-12-30 | 2016-06-08 | 芜湖乐锐思信息咨询有限公司 | 一种网络信息监控分析系统 |
CN105654346A (zh) * | 2015-12-30 | 2016-06-08 | 芜湖乐锐思信息咨询有限公司 | 基于产品精细化运营的分析系统 |
CN105786941A (zh) * | 2014-12-26 | 2016-07-20 | 中国移动通信集团上海有限公司 | 一种信息挖掘方法和装置 |
CN107239499A (zh) * | 2017-05-03 | 2017-10-10 | 成都国腾实业集团有限公司 | 基于多维异构数据源集成与整合模型的分析方法及系统 |
CN109241179A (zh) * | 2018-08-01 | 2019-01-18 | 协同数据技术(深圳)有限公司 | 基于数据空间的数据治理方法、系统及计算机设备 |
CN109271384A (zh) * | 2018-09-06 | 2019-01-25 | 语联网(武汉)信息技术有限公司 | 译员行为的大数据库及其建立方法、装置与电子设备 |
CN109995540A (zh) * | 2017-12-30 | 2019-07-09 | 中国移动通信集团山西有限公司 | 事件性增值业务的计费方法、系统、设备及介质 |
CN110377752A (zh) * | 2019-06-26 | 2019-10-25 | 广东鼎义互联科技股份有限公司 | 一种应用于政务大厅运营的知识库系统 |
CN111367979A (zh) * | 2020-03-05 | 2020-07-03 | 广州快决测信息科技有限公司 | 一种数据收集方法和系统 |
CN111651524A (zh) * | 2020-06-05 | 2020-09-11 | 第四范式(北京)技术有限公司 | 利用机器学习模型进行线上预测的辅助实现方法及装置 |
CN111679915A (zh) * | 2020-07-23 | 2020-09-18 | 国网上海市电力公司 | 一种基于边缘运算的硬件诊断系统 |
US10885544B2 (en) | 2013-10-30 | 2021-01-05 | Trans Union Llc | Systems and methods for measuring effectiveness of marketing and advertising campaigns |
US11960497B2 (en) | 2020-03-05 | 2024-04-16 | Guangzhou Quick Decision Information Technology Co., Ltd. | Method and system for automatically generating data determining result |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1787527A (zh) * | 2005-12-16 | 2006-06-14 | 上海金鑫计算机系统工程有限公司 | 分布式异构数据的语义化自动挖掘装置及其方法 |
CN101009575A (zh) * | 2006-12-30 | 2007-08-01 | 北京邮电大学 | 在一次呼叫过程中实现多个早期媒体类业务的方法 |
WO2009056030A1 (fr) * | 2007-10-23 | 2009-05-07 | Huawei Technologies Co., Ltd. | Procédé, dispositif et système de transfert de données opérationnelles |
-
2011
- 2011-06-27 CN CN 201110174577 patent/CN102231869B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1787527A (zh) * | 2005-12-16 | 2006-06-14 | 上海金鑫计算机系统工程有限公司 | 分布式异构数据的语义化自动挖掘装置及其方法 |
CN101009575A (zh) * | 2006-12-30 | 2007-08-01 | 北京邮电大学 | 在一次呼叫过程中实现多个早期媒体类业务的方法 |
WO2009056030A1 (fr) * | 2007-10-23 | 2009-05-07 | Huawei Technologies Co., Ltd. | Procédé, dispositif et système de transfert de données opérationnelles |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104520886A (zh) * | 2012-03-31 | 2015-04-15 | 环联公司 | 用于基于离线、在线及信用相关数据的目标因特网营销的系统及方法 |
CN102739469B (zh) * | 2012-05-28 | 2015-01-07 | 重庆大学 | 一种基于时间序列的Web服务响应时间预测方法 |
CN102739469A (zh) * | 2012-05-28 | 2012-10-17 | 重庆大学 | 一种基于时间序列的Web服务响应时间预测方法 |
CN104376005B (zh) * | 2013-08-14 | 2017-09-15 | 中国移动通信集团甘肃有限公司 | 软件心跳机制信令接入探针用户详单处理方法及系统 |
CN104376005A (zh) * | 2013-08-14 | 2015-02-25 | 中国移动通信集团甘肃有限公司 | 软件心跳机制信令接入探针用户详单处理方法及系统 |
US11941658B2 (en) | 2013-10-30 | 2024-03-26 | Trans Union Llc | Systems and methods for measuring effectiveness of marketing and advertising campaigns |
US10885544B2 (en) | 2013-10-30 | 2021-01-05 | Trans Union Llc | Systems and methods for measuring effectiveness of marketing and advertising campaigns |
CN105786941A (zh) * | 2014-12-26 | 2016-07-20 | 中国移动通信集团上海有限公司 | 一种信息挖掘方法和装置 |
CN105786941B (zh) * | 2014-12-26 | 2020-05-01 | 中国移动通信集团上海有限公司 | 一种信息挖掘方法和装置 |
CN105654346A (zh) * | 2015-12-30 | 2016-06-08 | 芜湖乐锐思信息咨询有限公司 | 基于产品精细化运营的分析系统 |
CN105653707A (zh) * | 2015-12-30 | 2016-06-08 | 芜湖乐锐思信息咨询有限公司 | 一种网络信息监控分析系统 |
CN107239499A (zh) * | 2017-05-03 | 2017-10-10 | 成都国腾实业集团有限公司 | 基于多维异构数据源集成与整合模型的分析方法及系统 |
CN109995540A (zh) * | 2017-12-30 | 2019-07-09 | 中国移动通信集团山西有限公司 | 事件性增值业务的计费方法、系统、设备及介质 |
CN109995540B (zh) * | 2017-12-30 | 2022-06-10 | 中国移动通信集团山西有限公司 | 事件性增值业务的计费方法、系统、设备及介质 |
CN109241179A (zh) * | 2018-08-01 | 2019-01-18 | 协同数据技术(深圳)有限公司 | 基于数据空间的数据治理方法、系统及计算机设备 |
CN109271384A (zh) * | 2018-09-06 | 2019-01-25 | 语联网(武汉)信息技术有限公司 | 译员行为的大数据库及其建立方法、装置与电子设备 |
CN110377752A (zh) * | 2019-06-26 | 2019-10-25 | 广东鼎义互联科技股份有限公司 | 一种应用于政务大厅运营的知识库系统 |
CN111367979B (zh) * | 2020-03-05 | 2021-10-26 | 广州快决测信息科技有限公司 | 一种数据收集方法和系统 |
CN111367979A (zh) * | 2020-03-05 | 2020-07-03 | 广州快决测信息科技有限公司 | 一种数据收集方法和系统 |
US11960497B2 (en) | 2020-03-05 | 2024-04-16 | Guangzhou Quick Decision Information Technology Co., Ltd. | Method and system for automatically generating data determining result |
CN111651524A (zh) * | 2020-06-05 | 2020-09-11 | 第四范式(北京)技术有限公司 | 利用机器学习模型进行线上预测的辅助实现方法及装置 |
CN111651524B (zh) * | 2020-06-05 | 2023-10-03 | 第四范式(北京)技术有限公司 | 利用机器学习模型进行线上预测的辅助实现方法及装置 |
CN111679915A (zh) * | 2020-07-23 | 2020-09-18 | 国网上海市电力公司 | 一种基于边缘运算的硬件诊断系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102231869B (zh) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102231869B (zh) | 一种增值服务精细化运营系统架构的实现方法 | |
CN102902752B (zh) | 一种日志监控方法及系统 | |
CN103049274B (zh) | 任务事件处理方法和装置 | |
CN112698953A (zh) | 一种基于微服务的电网智能运检平台 | |
CN107886238A (zh) | 一种基于海量数据分析的业务流程管理系统及方法 | |
CN104933093A (zh) | 基于大数据的地区舆情监控及决策辅助系统和方法 | |
CN109831478A (zh) | 基于规则及模型的分布式实时处理智能决策系统及方法 | |
CN113179173B (zh) | 一种用于高速公路系统的运维监控系统 | |
CN105681768A (zh) | 一种通过通信数据实现人流实时监控的方法 | |
CN106815125A (zh) | 一种日志审计方法及平台 | |
CN105959372A (zh) | 一种基于移动应用的互联网用户数据分析方法 | |
WO2013062237A1 (ko) | 사회적 관계정보 관리 시스템 및 관리 방법 | |
CN105407015A (zh) | 一种业务平台、监控平台、业务监控系统及方法 | |
CN106446085A (zh) | 一种大数据管理系统 | |
CN104504103A (zh) | 一种车辆轨迹点插入性能优化方法及系统、信息采集器、数据库模型 | |
CN102937984B (zh) | 一种收集数据的系统、客户端和方法 | |
CN103530029A (zh) | 基于人机界面用户行为分析的ems图形动态菜单展示方法 | |
CN1319323C (zh) | 实现多渠道提醒业务的方法及提醒管理系统 | |
CN116205396A (zh) | 一种基于数据中台的数据全景监控方法及系统 | |
CN114356692A (zh) | 一种应用监控链路的可视化处理方法、装置及存储介质 | |
CN103516880B (zh) | 一种发送短信的方法和装置 | |
CN103488525A (zh) | 确定与情景相关的用户偏好 | |
CN101882290A (zh) | 互联网环境下基于情境本体的服务集成方法 | |
CN111682999A (zh) | 一种5g消息管理平台及方法 | |
CN104102411B (zh) | 一种文本编辑方法和文本编辑装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130821 Termination date: 20150627 |
|
EXPY | Termination of patent right or utility model |