CN104376005A - 软件心跳机制信令接入探针用户详单处理方法及系统 - Google Patents

软件心跳机制信令接入探针用户详单处理方法及系统 Download PDF

Info

Publication number
CN104376005A
CN104376005A CN201310352369.4A CN201310352369A CN104376005A CN 104376005 A CN104376005 A CN 104376005A CN 201310352369 A CN201310352369 A CN 201310352369A CN 104376005 A CN104376005 A CN 104376005A
Authority
CN
China
Prior art keywords
data
unit
real
analysis
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310352369.4A
Other languages
English (en)
Other versions
CN104376005B (zh
Inventor
包静
王继珍
张锦
李岳峰
林礼虎
何帆
王臣京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Gansu Co Ltd
Original Assignee
China Mobile Group Gansu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Gansu Co Ltd filed Critical China Mobile Group Gansu Co Ltd
Priority to CN201310352369.4A priority Critical patent/CN104376005B/zh
Publication of CN104376005A publication Critical patent/CN104376005A/zh
Application granted granted Critical
Publication of CN104376005B publication Critical patent/CN104376005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种软件心跳机制信令接入探针用户详单处理方法及系统,该系统包括数据采集探针单元、数据预处理单元、分布式计算单元、GP单元、实时数据仓库单元及详单存储查询单元,通过数据采集探针通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;对用户信息进行实时跟踪,计算KPI;分别对PS域和CS域的专题分析业务数据和实时跟踪,存储和管理汇总后的实时计数器Counter数据;对详单数据进行分布式存储和并发查询。与现有技术相比,本发明以探针数据源为主,保证数据的实时性和“每业务每用户”的分析粒度。

Description

软件心跳机制信令接入探针用户详单处理方法及系统
技术领域
本发明涉及移动通信技术领域,尤其涉及一种软件心跳机制信令接入探针用户详单处理方法及系统。
背景技术
如今正逐步进入以手机为核心的“互联网时代”,手机渗透到人的生活,影响人的行为。手机让人们真正进入信息智能社会,未来人和手机不可分离,手机成为时代美学。各种新型手机应用软件如雨后春笋般的出现,给人们的交往提供了便利。新型手机应用软件的发展趋向于“永远在线”,以便随时随地提供服务;新型手机软件的出现,对传统业务如话音、短信、彩信等造成冲击,导致业务收入呈下降趋势;新型手机软件在网络上呈现小包、高频率发送的状态,对网络的无线资源占用较高,严重影响网络质量以及客户感知;新型手机软件实际贡献的网络流量与公司为保障网络质量的投入产出不成正比。
现网用户GPRS(General Packet Radio Service,通信分组无线服务)上网话单生成机制为:用户上网过程中,由SGSN(Service GPRS Support Node,服务GPRS支持节点)、GGSN(Gateway GPRS Support Node,网关GPRS支持节点)设备生成S-CDR(Call Detail Record,呼叫详细记录)和G-CDR原始话单,内容包含用户手机号、IMSI(International Mobile SubscriberIdentity,国际移动用户识别码)、IMEI(International Mobile Station EquipmentIdentity,国际移动台设备识别)、SGSN、GGSN信息、网络标识、运营商标识、上网开始结束时间、时长、流量、位置(初始小区)等内容。原始话单经CG(Charging Gateway,计费网关)进行格式转换及部分话单合并后,送至BOSS(Business & Operation Support System,电信业务运行支撑系统)进行计费。话单生成门限一般设置为流量达到2M或上网时长达到15分钟。
一直以来,流量业务提经营精细化、管理精细化的多,提服务精细化的少。移动互联网发展加速,在网络、终端、应用等条件越来越完善的市场环境下,流量业务的地位或者也在悄悄发生着一些变化,从原来的话音业务从属地位,逐渐显示出独立核心业务的特点。
流量服务精细化将是下一步流量经营竞争的核心部分。流量服务是目前的一个普遍短板,有很大的优化空间,在量价趋同的市场竞争后期,或将影响流量经营的结果。据统计,流量类投诉占到投诉内容的80%以上。
目前流量服务只有三个动作:订购前提醒,使用中提醒,套餐额度使用完提醒。流量超标投诉频发是提醒效果的最好注解。更多的时候提醒已经变成一个标准化动作,作用是一旦发生纠纷用于免责。流量服务精细化的根本原则,应该是帮助用户更好更科学地使用流量,通过帮助手段的完善,提升用户使用流量的各种体验,最后达到较高的满意度。对于运营商来说,流量服务亦是维系客户稳定、增加流量消费、把握流量经营竞争主动的重要工作。
流量服务精细化的动作设计,需要更多研究用户心态,即消费心理。比如超值、占便宜,图方便,从众等。可以提升服务的方面很多,例如:针对高度依赖流量生活人群的应急流量,也可以叫信用流量额度(话费用完手机能接不能打的通信信用服务同理,只不过用户使用习惯今天已经发生变化,电话可以不通,网络不能掉线)针对大流量消费人群进行维系的流量回馈赠送,这个可以是限时消费,过期无效。针对年轻人群社交环境的流量租借,类似代缴话费,可以通过额度控制适当赚取小利息。针对茫然人群的参与流量使用,这部分主要做内容。针对企业客户的定制型流量产品,用于企业促销等。
具体来说,在实现本发明的过程中,发明人发现现有的方案存在如下缺点:
目前GPRS话单内容中,缺少用户访问的网址Url(Uniform Resource Locator,统一资源定位符)、分级链接、网页流媒体信息,无法区分显示P2P(Person to Person,个人对个人)、即时通信类业务类型,无法基于话单进行精准的用户行为分析。GPRS话单中位置信息不准确,所记录信的小区息为用户发起业务时所处的小区,无法展现切换后的小区信息。门户网站现有上网记录展示可读性差,用户对上网费用产生质疑易造成投诉,投诉后因无统一平台查询用户上网记录造成退费,影响市场经营。各专业系统相互独立,分散管理,支撑、网管、客服等系统各自独立建设,无底层统一数据源,造成端到端业务质量、用户行为、业务类型等现有数据没有有效整合,影响流量运营支撑。
发明内容
本发明的目的在于克服现有技术的缺点和不足,提供一种软件心跳机制信令接入探针用户详单处理方法及系统。
一种软件心跳机制信令接入探针用户详单处理系统,所述系统包括数据采集探针单元、数据预处理单元、分布式计算单元、GP单元、实时数据仓库单元及详单存储查询单元,其中,
所述数据采集探针单元,用于通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;
所述数据预处理单元,用于对所述用户信息进行接入分发、适配转换、关联回填和实时跟踪,并实时计算关键业绩指标KPI;
所述分布式计算单元,用于对包交换PS域的专题分析业务数据,进行业务数据的分布式存储和分布式分析;
所述GP单元,用于对电路交换CS域的专题分析业务数据,进行业务数据的分布式存储和分布式分析;
所述实时数据仓库单元,用于对PS域和CS域的xDR数据进行实时跟踪,存储和管理汇总后的实时计数器Counter数据;
所述详单存储查询单元,用于对详单数据进行分布式存储和并发查询。
所述系统还包括数据模型分析单元,用于对PS域的基本KPI以及性能管理PMKPI进行汇总。
所述系统还包括数据仓库单元,用于进行详单数据存储和数据管理,建立多维模型数据并存储,为所述详单存储查询单元提供详单数据。
所述系统还包括Web应用单元,用于向用户提供人机交互接口,接受用户操作请求,并反馈操作结果。
所述系统还包括热点地图单元,用于提供管理接口,进行辅助故障排查、网络实时监视、网络分析、违规业务分析、KPI实时展现、话单核查、新业务支撑、网间非法通信分析和网间业务分析。
所述系统还包括系统管理单元,用于进行系统的后台管理操作。
所述数据采集探针单元进一步包括探针子单元、包检测子单元、数据库子单元及监控子单元,其中,
所述探针子单元,用于应用软件心跳机制探针,通过GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;
所述包检测子单元,用于应用心跳机制负反馈粗细跟踪深度包检测;
所述数据库子单元,用于检测不同场景软件心跳数据,建立网址识别/分类特征库和应用识别/分类特征库;
所述监控子单元,用于应用软件心跳机制流量分析数据质量检验字典库对心跳机制的软件监控关联分析。
一种软件心跳机制信令接入探针用户详单处理方法,所述方法包括:
数据采集探针通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;
对所述用户信息进行接入分发、适配转换、关联回填和实时跟踪,并实时计算关键业绩指标KPI;
分别对PS域和CS域的专题分析业务数据,进行业务数据的分布式存储和分布式分析;
对PS域和CS域的数据进行实时跟踪,存储和管理汇总后的实时计数器Counter数据;
对详单数据进行分布式存储和并发查询。
所述方法还包括:
对PS域的基本KPI以及性能管理PMKPI进行汇总后,再进行业务数据专题分析。
所述数据采集探针通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息,包括:
应用软件心跳机制探针,通过GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;
应用心跳机制负反馈粗细跟踪深度包检测;
检测不同场景软件心跳数据,建立网址识别/分类特征库和应用识别/分类特征库;
应用软件心跳机制流量分析数据质量检验字典库对心跳机制的软件监控关联分析。
本发明通过数据采集探针通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;对用户信息进行接入分发、适配转换、关联回填和实时跟踪,并实时计算关键业绩指标KPI;分别对PS域和CS域的专题分析业务数据,并对PS(Packet Switched,包交换)域和CS(Circuit Switched,电路交换)域的数据进行实时跟踪,存储和管理汇总后的实时计数器Counter数据;对详单数据进行分布式存储和并发查询。与现有技术相比,本发明以探针数据源为主,保证数据的实时性和“每业务每用户”的分析粒度;通过该流量详单系统实现端到端、跨领域和精细化的管理运营,满足全IP网络运营需求,并实现从管理网络性能转向管理业务质量、经营能力的提升。
附图说明
图1为本发明实施例1提供的软件心跳机制信令接入探针用户详单处理系统结构示意图;
图2为本发明实施例1提供的数据采集探针单元11结构示意图;
图3为本发明实施例1提供的软件心跳机制信令接入探针用户详单处理方法原理流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细描述。但本发明的实施方式不限于此。
为解决现有技术中GPRS话单中缺少详细的用户业务信息、实时位置信息等关键内容,无法基于GPRS话单开展精细化流量运营;在投诉处理中,无法翻查用户投诉的实时网速,地理区域,分业务网速;在网络维护中,无法知道设备的端到端实时网速是多少;无法知道小区的数据业务实时覆盖范围等问题,本发明各个实施例通过研究基于日志的底层流量详单标准库,为其他系统提供标准化接口,实现各类应用。用户的详单中除现有GPRS话单内容外,能够详细展示用户访问的一级、二级网址信息、用户访问的业务类型、流量、时长、位置等信息,按业务过程、小区切换截取话单,形成基于用户上网日志的标准详单库,支撑运营分析、行为分析、客户服务、用户投诉、运行维护。可以利用大数据处理、云计算实现海量用户上网日志数据整合分析;精确提取用户小区信息并在话单中及时更新;建立流量详单标准库规范,向其他系统提供标准调用接口;基于详单库的流量地图展示用户端到端实时网速,使用渲染方法表示层级与网速关系;有机的结合时间、地域、业务、用户速率、网络等展示这5个维度,深度挖掘网络运行中数据业务客户感知;用用户感知到的速率,对基站小区业务覆盖范围进行标定;确定距离基站远近不同的用户实时速率;确定不同用户的不同终端;从终端、业务、距离等数据,对网络隐形故障进行发现、对一些业务规律进行挖掘。
如图1所示,为本发明实施例1提供的软件心跳机制信令接入探针用户详单处理系统原理结构图,该系统包括数据采集探针单元11、数据预处理单元12、分布式计算单元13、GP(GreenPlum)单元14、实时数据仓库单元15及详单存储查询单元16,其中,
数据采集探针单元11,用于通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息。
数据采集探针单元11在链路上对流量进行精细化识别,采用旁路方式或串联方式部署于SGSN与GGSN等核心设备之间。通过对GTP(GPRS Tunneling Protocol,GPRS隧道协议)协议的识别以及对封装的应用协议的深度识别,实时获取用户信息。完成协议采集、协议解码分析、控制面会话(包括Attach、Detach、路由区更新、周期路由区更新、PDP激活、PDP去激活等操作)、用户面协议DPI分析等功能。
数据预处理单元12,用于对用户信息进行接入分发、适配转换、关联回填和实时跟踪,并实时计算关键业绩指标KPI。
数据预处理单元12提供对数据采集层上报数据的接入分发、适配转换、关联回填、实时xDR跟踪、实时KPI(Key Performance Indicator,关键业绩指标)计算、基本KPI计算以及信令反查等功能。
分布式计算单元13,用于对包交换PS域的专题分析业务数据,进行业务数据的分布式存储和分布式分析。
分布式计算单元13提供PS域的各种专题分析业务数据、TOP N业务数据的分布式存储和分布式分析,以提高运算速度和存储可靠性。
GP单元14,用于对电路交换CS域的专题分析业务数据,进行业务数据的分布式存储和分布式分析。
GP单元14提供对CS域的各种专题分析业务数据、TOP N业务数据的分布式存储和分布式分析,以提高运算速度和存储可靠性。
实时数据仓库单元15,用于对PS域和CS域的xDR数据进行实时跟踪,存储和管理汇总后的实时计数器Counter数据。
详单存储查询单元16,用于对详单数据进行分布式存储和并发查询。
至此,完成了软件心跳机制信令接入探针用户详单处理系统构建,并可以完成用户详单全面处理的过程。
进一步的,该系统还包括数据模型分析单元17,用于对PS域的基本KPI以及性能管理PMKPI进行汇总。
数据模型分析单元17提供对PS域的基本KPI以及PM(PerformanceManagement,性能管理)KPI的汇总,同时完成PS/CS域专题分析基本KPI的分粒度汇总和数据模型的转换。
进一步的,该系统还包括数据仓库单元18,用于进行详单数据存储和数据管理,建立多维模型数据并存储,为详单存储查询单元提供详单数据。
数据仓库单元18提供对数据存储和数据管理功能,通常需要包括以下几个部分:
详单数据仓库(GP):采用GreenPlum分布式数据库设计,用于存储和管理60天的CS域详单数据。同时提供对CS域的基本KPI、和专题分析基本KPI的分粒度汇总和数据模型的转换。
详单数据仓库(HBase):采用Hadoop Database分布式数据库设计,用于存储和管理60天的PS域详单数据。
多维模型数据仓库:采用Sybase IQ,用于存储按照时间的维度生成15分钟、60分钟、1天的汇总数据、按照空间维度生成CGI(Cell GlobalIdentification)/SAI(Service Area Identifier)、BSC(Base Station Controller)/RNC(Radio Network Controller)、MSC(Mobile Switching Center)/SGSN(Serving GPRS Support Node)的PS域和CS域汇总数据、符合业务需求的多维汇总数据和7天的xDR数据,为业务分析和钻取查询提供数据支撑。
进一步的,该系统还包括Web应用单元19,用于向用户提供人机交互接口,接受用户操作请求,并反馈操作结果。
Web应用单元19提供人机交互接口,产品用户通过浏览器向Web应用子系统发出各种操作请求,Web应用子系统向产品用户反馈操作结果。
进一步的,该系统还包括热点地图单元20,用于提供管理接口,进行辅助故障排查、网络实时监视、网络分析、违规业务分析、KPI实时展现、话单核查、新业务支撑、网间非法通信分析和网间业务分析。
热点地图单元20通过扇区与流量速流区域热点地图提供“拓扑管理”、“实时追踪”、“业务监控”、“违规侦测”、“扩展应用”、“安全和自管理”功能。应用需求包括:辅助故障排查、网络实时监视、网络分析、违规业务分析、KPI实时展现、话单核查、新业务支撑、网间非法通信分析和网间业务分析等方面。
采集层根据数据源的流量决定配置的节点数量。共享层根据数据处理要求决定计算节点数量,根据数据存储要求决定存储节点数量。应用层根据业务应用和客户端数量决定应用节点数量。从而实现按需配置,提高物理资源的利用率。
在每层子系统都采用了主备负荷分担的冗余机制,保证整体系统的可靠性。系统硬件平台统一为PC Server。当系统容量不足时,可以根据计算和存储需求进行平滑线性扩容,而不需要对已经部署的系统进行改动和硬件升级。可以有效降低整体部署成本。
进一步的,该系统还包括系统管理单元21,用于进行系统的后台管理操作。
提供软件安装管理、告警管理、安全管理、应用程序管理、软件补丁管理、日志管理、硬件管理、订单管理、报表管理、业务管理和License管理等功能。数据共享:采用数据层/应用层结合的方式提供多种接口,同时支持同步/异步访问。
数据采集探针单元11的XDR都通过承载网传输到系统管理单元21,则系统管理单元21对承载网的业务带宽有如下计算方法:
XDF流量为数据流量*信息收敛比。
业务带宽为XDR流量*1.2(IP开销)/0.7(带宽利用率)。
根据PS域网络信息,按照信息收敛比5%,可得XDR流量为3500Mbps*5%=175Mbps,考虑冗余,传输带宽为175*1.2/0.7=300Mbps。
综上,从某xx、某xx、某xx探针至主平台之间业务流量如下:
1、某xx90Mbps;2、某xx90Mbps;3、某xx:120Mbps;
若系统管理单元21与IP承载网之间传输流量超过600Mbps,需要采用多GE捆绑或10GE接口传输(实际组网时需要与承载网对接端口一致)。
若探针内部通信交换机与IP承载网的流量带宽需要配置Eth-trunk,将接入承载网交换机上与IP承载网的相连的端口配置为Trunk,Trunk的工作模式推荐使用静态LACP模式链路聚合。系统的数据存取部分,应在技术架构中是采用集中式存储和分布式存储并存的方式。
GP-ETL用于对数据预处理12上传的CS域xDR数据进行收集、分布式存储、多维度分析。同时,根据上层的任务请求,调度需要查询的数据。
GP-Master用于从GP-ETL中获取CS域xDR数据,汇总后生成详单,存储在GP-Segment中。同时,根据用户在Web应用单元19界面上查询详单的请求,将详单通过GP-COGNOS呈现在Web应用单元19上。
GP-Segment用于存储CS域NPM业务的详单。
GP-cognos提供CS域NPM业务在Web界面的图形呈现模板。
面对一个海量且正在爆炸式增长的数据洪流,系统采用多级分布式数据管理架构,逐层过滤无效数据,最大程度提高存储硬件资源和传输资源的利用。
以Gn口数据采集为例,10Gbps的流量,通过探针对原始数据的处理,转换成详单(CDR/UFDR)形式上报中心站,相对10G的原始流量,只需要3%的传输即可,7天详单存储的需求只有11.34T;而客户通常需要的报表数据是对详单进一步汇总计算的结果,只需要不到1G的存储,90%以上的查询,在这1G的报表数据中即可完成,保证了查询的效率。
进一步的,如图2所示,上述的数据采集探针单元11进一步包括探针子单元111、包检测子单元112、数据库子单元113及监控子单元114,其中,
探针子单元111,用于应用软件心跳机制探针,通过GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息。
应用软件心跳机制探针通过对GTP协议的识别以及对封装的应用协议的深度识别,实时获取用户信息。完成协议采集、协议解码分析、生成控制面会话(Attach、Detach、路由区更新、周期路由区更新、PDP激活、PDP去激活等操作)、用户面协议DPI分析等功能。
包检测子单元112,用于应用心跳机制负反馈粗细跟踪深度包检测。
心跳机制负反馈粗细跟踪深度包检测。保证心跳机制数据的实时性和“每业务每用户”的分析粒度;以探针数据源为主分析粒度。
数据库子单元113,用于检测不同场景软件心跳数据,建立网址识别/分类特征库和应用识别/分类特征库。
心跳机制负反馈粗细跟踪深度包检测数据分别在数据共享子系统(DSS)内建立网址识别/分类特征库,应用识别/分类特征库。通过心跳机制负反馈粗细跟踪深度包检测16大场景软件,共187款软件空闲场景的数据,其中有45款软件具有心跳包,即有25%的软件具备心跳包,据此建立了网址识别/分类特征库和应用识别/分类特征库。具体参见下表:
监控子单元114,用于应用软件心跳机制流量分析数据质量检验字典库对心跳机制的软件监控关联分析。
部分软件的心跳机制设计比较混乱,心跳周期小于30秒,对网络的资源消耗较高。应用软件心跳机制流量分析数据质量检验字典库对心跳机制的软件监控关联分析提交Web应用单元19。
应用软件心跳机制流量分析数据质量检验字典库将数据送至热点地图单元20,实现对手机恶意软件、应用软件引发的网络攻击事件的分析和定位与图形展示。
实际上,为了保障整个系统的安全可靠,整个系统内部安全性是按照电信级产品要求设计,从原始信令接入探针开始,所有的传输采取双平面传输,保证在网络故障时,能够及时的切换到备用平面进行数据传输,确保整个系统的数据传输准确,不丢失,下面分别介绍探针和SEQ上的保障措施。
探针上的保障措施:探针和SEQ在进行单据传输时,物理链路上采用双平面方式,保障在主用平面发生故障时,切换到备用平面上进行单据传输,确保单据不丢失。在探针和SEQ之间,采取TCP(Transmission Control Protocol,传输控制协议)可靠连接的方式进行单据传输,TCP连接本身可以保障在传输过程丢包的重传,通过该方式保障当链路不可靠时,传输上的不丢包。
在探针上,当上报链路全部故障时,采用在探针内存中临时缓存单据的方式,保障未上报的单据可以继续保留在探针上。
SEQ上的保障措施:SEQ内部通信采取双平面方式,当主用通信平面故障时,快速切换到备用平面,保证内部通信的通畅。SEQ接入分发模块通过TCP接收到单据后,实时向后续模块进行分发,当后续模块处理拥塞时或内部网络故障时,分发模块会在先缓存数据到内存中,当内存中写满时,分发模块会把单据存储到本地硬盘上,系统拥塞解除后,继续分发缓存的数据到后续模块,确保数据不丢失。
SEQ其他内部模块之间通信采用和接入模块类似的机制,当本模块处理完成后,后续模块未把数据取走之前(可以保留2小时),保存这部分数据在本地硬盘上,确保数据在内部传输过程中不丢失,直到最终数据进入数据库,本地保留的单据数据才会被删除。
数据计算准确性:数据计算基于探针上报的CDR/TDR(Transaction DetailRecord,事务详细记录),计算、钻取公式、维度统一,系统中各业务计算结果准确。SEQ Analyst数据源适配可对多种外部数据源接入的数据格式进行规整,转换成统一格式,用于进行后续的关联分析以及数据统计。当前能接入的数据源包括探针xDR数据、PM系统性能数据,支持流式接入以及文件接入。接入格式支持ASCII以及CSV,并能按需要快速定制接入其他数据格式。数据质量管理支持WEB Service的API开放接口,也支持基于xDR的开放需求系统数据处理。信令采集网关采用分布式部署和计算,并提供汇聚网关,能够把采集网关的数据汇聚后上传到共享层处理。
如图3所示,本发明实施例2提供了一种软件心跳机制信令接入探针用户详单处理方法,具体如下:
步骤100,数据采集探针通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息。
具体来说,应用软件心跳机制探针,通过GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;应用心跳机制负反馈粗细跟踪深度包检测;检测不同场景软件心跳数据,建立网址识别/分类特征库和应用识别/分类特征库;应用软件心跳机制流量分析数据质量检验字典库对心跳机制的软件监控关联分析。
步骤200,对用户信息进行接入分发、适配转换、关联回填和实时跟踪,并实时计算关键业绩指标KPI。
步骤300,分别对PS域和CS域的专题分析业务数据,进行业务数据的分布式存储和分布式分析。
步骤400,对PS域和CS域的数据进行实时跟踪,存储和管理汇总后的实时计数器Counter数据。
步骤500,对详单数据进行分布式存储和并发查询。
进一步的,该方法还包括:
对PS域的基本KPI以及性能管理PMKPI进行汇总后,再进行业务数据专题分析。
本实施例中,心跳机制负反馈粗细跟踪深度包检测,保证心跳机制数据的实时性和“每业务每用户”的分析粒度;以探针数据源为主分析粒度。心跳机制负反馈粗细跟踪深度包检测数据分别在数据共享子系统(DSS)内建立网址识别/分类特征库,应用识别/分类特征库。应用软件心跳机制流量分析数据质量检验字典库数据送至扇区与流量速流区域热点地图模块实现对手机恶意软件、应用软件引发的网络攻击事件的分析和定位与图形展示。以探针数据源为主,保证数据的实时性和“每业务每用户”的分析粒度;通过该流量详短系统实现端到端、跨领域和精细化的管理手段满足全IP网络运营需求,并实现从管理网络性能转向管理业务质量、经营能力的提升。
需要说明的是:上述实施例提供的软件心跳机制信令接入探针用户详单处理系统在软件心跳机制信令接入探针用户详单处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将系统的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的软件心跳机制信令接入探针用户详单处理系统与软件心跳机制信令接入探针用户详单处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
综上,本发明通过数据采集探针通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;对用户信息进行接入分发、适配转换、关联回填和实时跟踪,并实时计算关键业绩指标KPI;分别对PS域和CS域的专题分析业务数据,并对PS域和CS域的数据进行实时跟踪,存储和管理汇总后的实时计数器Counter数据;对详单数据进行分布式存储和并发查询。与现有技术相比,本发明以探针数据源为主,保证数据的实时性和“每业务每用户”的分析粒度;通过该流量详单系统实现端到端、跨领域和精细化的管理运营,满足全IP网络运营需求,并实现从管理网络性能转向管理业务质量、经营能力的提升。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种软件心跳机制信令接入探针用户详单处理系统,其特征在于,所述系统包括数据采集探针单元、数据预处理单元、分布式计算单元、GP单元、实时数据仓库单元及详单存储查询单元,其中,
所述数据采集探针单元,用于通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;
所述数据预处理单元,用于对所述用户信息进行接入分发、适配转换、关联回填和实时跟踪,并实时计算关键业绩指标KPI;
所述分布式计算单元,用于对包交换PS域的专题分析业务数据,进行业务数据的分布式存储和分布式分析;
所述GP单元,用于对电路交换CS域的专题分析业务数据,进行业务数据的分布式存储和分布式分析;
所述实时数据仓库单元,用于对PS域和CS域的xDR数据进行实时跟踪,存储和管理汇总后的实时计数器Counter数据;
所述详单存储查询单元,用于对详单数据进行分布式存储和并发查询。
2.如权利要求1所述的系统,其特征在于,所述系统还包括数据模型分析单元,用于对PS域的基本KPI以及性能管理PMKPI进行汇总。
3.如权利要求1所述的系统,其特征在于,所述系统还包括数据仓库单元,用于进行详单数据存储和数据管理,建立多维模型数据并存储,为所述详单存储查询单元提供详单数据。
4.如权利要求1所述的系统,其特征在于,所述系统还包括Web应用单元,用于向用户提供人机交互接口,接受用户操作请求,并反馈操作结果。
5.如权利要求1所述的系统,其特征在于,所述系统还包括热点地图单元,用于提供管理接口,进行辅助故障排查、网络实时监视、网络分析、违规业务分析、KPI实时展现、话单核查、新业务支撑、网间非法通信分析和网间业务分析。
6.如权利要求1所述的系统,其特征在于,所述系统还包括系统管理单元,用于进行系统的后台管理操作。
7.如权利要求1所述的系统,其特征在于,所述数据采集探针单元进一步包括探针子单元、包检测子单元、数据库子单元及监控子单元,其中,
所述探针子单元,用于应用软件心跳机制探针,通过GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;
所述包检测子单元,用于应用心跳机制负反馈粗细跟踪深度包检测;
所述数据库子单元,用于检测不同场景软件心跳数据,建立网址识别/分类特征库和应用识别/分类特征库;
所述监控子单元,用于应用软件心跳机制流量分析数据质量检验字典库对心跳机制的软件监控关联分析。
8.一种软件心跳机制信令接入探针用户详单处理方法,其特征在于,所述方法包括:
数据采集探针通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;
对所述用户信息进行接入分发、适配转换、关联回填和实时跟踪,并实时计算关键业绩指标KPI;
分别对PS域和CS域的专题分析业务数据,进行业务数据的分布式存储和分布式分析;
对PS域和CS域的数据进行实时跟踪,存储和管理汇总后的实时计数器Counter数据;
对详单数据进行分布式存储和并发查询。
9.如权利要求8所述的方法,其特征在于,所述方法还包括:
对PS域的基本KPI以及性能管理PMKPI进行汇总后,再进行业务数据专题分析。
10.如权利要求8所述的方法,其特征在于,所述数据采集探针通过心跳机制负反馈粗细跟踪,对GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息,包括:
应用软件心跳机制探针,通过GPRS隧道协议和封装的应用协议深度检测识别,实时获取用户信息;
应用心跳机制负反馈粗细跟踪深度包检测;
检测不同场景软件心跳数据,建立网址识别/分类特征库和应用识别/分类特征库;
应用软件心跳机制流量分析数据质量检验字典库对心跳机制的软件监控关联分析。
CN201310352369.4A 2013-08-14 2013-08-14 软件心跳机制信令接入探针用户详单处理方法及系统 Active CN104376005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310352369.4A CN104376005B (zh) 2013-08-14 2013-08-14 软件心跳机制信令接入探针用户详单处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310352369.4A CN104376005B (zh) 2013-08-14 2013-08-14 软件心跳机制信令接入探针用户详单处理方法及系统

Publications (2)

Publication Number Publication Date
CN104376005A true CN104376005A (zh) 2015-02-25
CN104376005B CN104376005B (zh) 2017-09-15

Family

ID=52554925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310352369.4A Active CN104376005B (zh) 2013-08-14 2013-08-14 软件心跳机制信令接入探针用户详单处理方法及系统

Country Status (1)

Country Link
CN (1) CN104376005B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470431A (zh) * 2015-08-14 2017-03-01 中国联合网络通信集团有限公司 一种获取用户感知速率的方法及装置
CN106656779A (zh) * 2017-02-16 2017-05-10 青岛高校信息产业股份有限公司 一种汇聚网关及其接入方法
CN106802907A (zh) * 2016-11-28 2017-06-06 恒安嘉新(北京)科技有限公司 基于码流寻址方式的移动lte的kpi计算方法
CN106815112A (zh) * 2015-11-27 2017-06-09 大唐软件技术股份有限公司 一种基于深度包检测的海量数据监控系统及方法
CN108074086A (zh) * 2016-11-14 2018-05-25 咪咕音乐有限公司 计费系统
WO2019184801A1 (zh) * 2018-03-29 2019-10-03 中兴通讯股份有限公司 网络管理方法和装置
CN110351158A (zh) * 2018-04-08 2019-10-18 恒安嘉新(北京)科技股份公司 网速计算方法及系统
CN110858341A (zh) * 2018-08-22 2020-03-03 中国移动通信集团重庆有限公司 基于分布式存储系统的指标监控方法、装置、设备和介质
CN110912731A (zh) * 2019-10-29 2020-03-24 广州丰石科技有限公司 基于nfv采用dpi技术实现业务识别和拓扑分析的系统和方法
CN113497731A (zh) * 2020-04-04 2021-10-12 杭州迪普科技股份有限公司 集控探针调度方法及集控探针管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070294380A1 (en) * 2006-06-14 2007-12-20 Kabushiki Kaisha Toshiba System and method for periodic server-to-client data delivery
CN102231869A (zh) * 2011-06-27 2011-11-02 北京邮电大学 一种增值服务精细化运营系统架构的实现方法
CN102883347A (zh) * 2012-09-24 2013-01-16 北京智信数通科技有限公司 一种对ps域大流量网络数据的监测分析方法及装置
CN102932198A (zh) * 2012-07-09 2013-02-13 北京中创信测科技股份有限公司 一种实现ps域分布式架构的信令监测装置
CN103067215A (zh) * 2011-10-21 2013-04-24 中兴通讯股份有限公司 实现心跳机制的方法、应用服务器、网络数据库及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070294380A1 (en) * 2006-06-14 2007-12-20 Kabushiki Kaisha Toshiba System and method for periodic server-to-client data delivery
CN102231869A (zh) * 2011-06-27 2011-11-02 北京邮电大学 一种增值服务精细化运营系统架构的实现方法
CN103067215A (zh) * 2011-10-21 2013-04-24 中兴通讯股份有限公司 实现心跳机制的方法、应用服务器、网络数据库及系统
CN102932198A (zh) * 2012-07-09 2013-02-13 北京中创信测科技股份有限公司 一种实现ps域分布式架构的信令监测装置
CN102883347A (zh) * 2012-09-24 2013-01-16 北京智信数通科技有限公司 一种对ps域大流量网络数据的监测分析方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李冰等: "基于流量统计实时识别QQ语音通信的方法", 《高技术通讯》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470431A (zh) * 2015-08-14 2017-03-01 中国联合网络通信集团有限公司 一种获取用户感知速率的方法及装置
CN106470431B (zh) * 2015-08-14 2019-08-02 中国联合网络通信集团有限公司 一种获取用户感知速率的方法及装置
CN106815112A (zh) * 2015-11-27 2017-06-09 大唐软件技术股份有限公司 一种基于深度包检测的海量数据监控系统及方法
CN108074086A (zh) * 2016-11-14 2018-05-25 咪咕音乐有限公司 计费系统
CN106802907A (zh) * 2016-11-28 2017-06-06 恒安嘉新(北京)科技有限公司 基于码流寻址方式的移动lte的kpi计算方法
CN106802907B (zh) * 2016-11-28 2019-05-31 恒安嘉新(北京)科技股份公司 基于码流寻址方式的移动lte的kpi计算方法
CN106656779A (zh) * 2017-02-16 2017-05-10 青岛高校信息产业股份有限公司 一种汇聚网关及其接入方法
CN110324837A (zh) * 2018-03-29 2019-10-11 中兴通讯股份有限公司 一种网络管理方法和装置
WO2019184801A1 (zh) * 2018-03-29 2019-10-03 中兴通讯股份有限公司 网络管理方法和装置
CN110324837B (zh) * 2018-03-29 2022-03-08 中兴通讯股份有限公司 一种网络管理方法和装置
CN110351158A (zh) * 2018-04-08 2019-10-18 恒安嘉新(北京)科技股份公司 网速计算方法及系统
CN110351158B (zh) * 2018-04-08 2020-12-04 恒安嘉新(北京)科技股份公司 网速计算方法及系统
CN110858341A (zh) * 2018-08-22 2020-03-03 中国移动通信集团重庆有限公司 基于分布式存储系统的指标监控方法、装置、设备和介质
CN110912731A (zh) * 2019-10-29 2020-03-24 广州丰石科技有限公司 基于nfv采用dpi技术实现业务识别和拓扑分析的系统和方法
CN110912731B (zh) * 2019-10-29 2022-07-26 广州丰石科技有限公司 基于nfv采用dpi技术实现业务识别和拓扑分析的系统和方法
CN113497731A (zh) * 2020-04-04 2021-10-12 杭州迪普科技股份有限公司 集控探针调度方法及集控探针管理系统
CN113497731B (zh) * 2020-04-04 2023-05-23 杭州迪普科技股份有限公司 集控探针调度方法及集控探针管理系统

Also Published As

Publication number Publication date
CN104376005B (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN104376005B (zh) 软件心跳机制信令接入探针用户详单处理方法及系统
US20220150746A1 (en) Systems and methods for providing mobility aspects to applications in the cloud
CN103997725B (zh) 用于抽象和编排网络环境中的移动数据网络的系统和方法
EP3522466A1 (en) Dynamic scheduling and allocation method and system for network traffic
CN103761309A (zh) 一种运营数据处理方法及系统
CN104053142B (zh) 编排网络环境中的移动数据网络
CN106911483A (zh) 一种基于区块链和云计算平台的计费方法
CN104901838A (zh) 企业网络安全事件管理系统及其方法
Huang et al. Software-defined QoS provisioning for fog computing advanced wireless sensor networks
CN104301161B (zh) 业务质量指标的计算方法、计算装置以及通信系统
CN104468408B (zh) 用于动态调整业务带宽的方法和控制中心服务器
CN107948027A (zh) 一种带有智能家居数据安全备份系统及工作方法
CN102891877A (zh) 实现终端应用的在线处理系统及方法
WO2014008694A1 (zh) 一种实现ps域分布式架构的信令监测装置
CN104734894A (zh) 一种流量数据筛选方法和装置
CN105722139A (zh) 一种基于pcc架构的信令风暴管理方法和装置
CN104660438A (zh) 问题定位处理方法及装置
CN103532729B (zh) 信息的传输方法及装置
CN105516979A (zh) 一种移动网络信息获取和开放的方法和系统
CN110225475A (zh) 一种用户接入方法和核心网
CN102882979B (zh) 基于云计算系统的数据采集与汇总分流的系统和方法
CN105100276B (zh) 一种面向次等内容分发系统的区域内容缓存装置及其方法
CN102137102B (zh) 一种支持多类信息发布方式的业务支撑平台实现方法
CN203071969U (zh) 基于云计算系统的数据采集与汇总分流的系统
CN103166819B (zh) 一种基于业务优先级的网络结构及其推送方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant