CN111901150A - 基于elk存储的历史信令分析与查询方法 - Google Patents

基于elk存储的历史信令分析与查询方法 Download PDF

Info

Publication number
CN111901150A
CN111901150A CN202010619644.4A CN202010619644A CN111901150A CN 111901150 A CN111901150 A CN 111901150A CN 202010619644 A CN202010619644 A CN 202010619644A CN 111901150 A CN111901150 A CN 111901150A
Authority
CN
China
Prior art keywords
signaling
data
call
elk
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010619644.4A
Other languages
English (en)
Inventor
周红敏
程钢
刘志永
冯银海
安腾龙
张阳
丁正
顾晓东
苗伟
左路豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinfang Software Co ltd
Shanghai Cintel Intelligent System Co ltd
Original Assignee
Shanghai Xinfang Software Co ltd
Shanghai Cintel Intelligent System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinfang Software Co ltd, Shanghai Cintel Intelligent System Co ltd filed Critical Shanghai Xinfang Software Co ltd
Priority to CN202010619644.4A priority Critical patent/CN111901150A/zh
Publication of CN111901150A publication Critical patent/CN111901150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0023Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling
    • H04L1/0027Scheduling of signalling, e.g. occurrence thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种基于ELK存储的历史信令分析与查询方法,该方法包括:将信令采集生成的数据发送到信令分析主机;解析数据,将数据中的关键信息发送到信令聚合进程;将解析的数据完整的发送到ELK服务器;根据信令计算会话持续时间并生成会话记录;将会话记录上传到ELK服务器;用户通过Web根据时间和号码查询会话记录;Web根据会话记录查询会话的整个流程和详细数据。本发明的有益效果:1、基于信令采集的数据,不影响现网业务,不需要对现网架构修改,不会增加现有网关和服务的性能开销;2、涵盖整个流程的所有信令数据,不同会话相互独立,同一会话根据时间排序;3、将信令采集数据部署在相应网关,采集的信令数据发送到信令分析主机即可完成。

Description

基于ELK存储的历史信令分析与查询方法
技术领域
本发明涉及通信技术领域,具体来说,涉及一种基于ELK存储的历史信令分析与查询方法。
背景技术
日志,在计算机系统里面,是极其重要的组成部分,日志主要包括系统日志、业务日志以及安全日志,系统运维和开发人员可以通过日志了解服务器软硬件信息、查阅日志信息以及分析错误发生的原因等,但是由于现在的计算机系统大多比较复杂,很多系统都不是在一个地方,甚至都是跨国界的,而且随着现在计算机系统的日益复杂,大数据时代的来临,越来越容易就涉及到几十甚至上百台的服务器,它们都在不停产生各种各样的日志数据,面对如此海量的日志数据,又是分布在各个不同地方,如果我们需要去查找一些信息,通常采用以下三种方式:1)在服务端或网关打印消息,往往意味着问题已经发生,且复现问题存在概率性问题,2)根据日志定位方法,由于日志中记录的是问题发生时的状况,无法溯及既往,仅根据日志难以复现和定位问题,3)在日志中记录每条消息,不但显得冗余,又降低了处理性能,因此亟待推出一种根据进程执行过程中出现的异常的历史信息精准的分析识别系统,运维人员查看告警信息,即可判断异常原因。
发明内容
针对相关技术中的上述技术问题,本发明提出一种基于ELK存储的历史信令分析与查询方法,根据抓取的Packet信息,将会话的整个流程通过Web展示,能够快速的定位及判断系统故障原因。
为实现上述技术目的,本发明的技术方案是这样实现的:一种基于ELK存储的历史信令分析与查询方法,其特征在于,该方法包括:
S1:将信令采集生成的数据发送到信令分析主机;
S2:解析数据,将数据中的关键信息发送到信令聚合进程;
S3:将解析的数据完整的发送到ELK服务器;
S4:根据信令计算会话持续时间并生成会话记录;
S5:将会话记录上传到ELK服务器;
S6:用户通过Web根据时间和号码查询会话记录;
S7:Web根据会话记录查询会话的整个流程和详细数据。
进一步地,所述的S1中进一步包括:
S1.1基于libpcap库,通过端口或协议过滤网络流量写入信令文件,定时将文件压缩并通过ftp或sftp传送到信令分析主机。
进一步地,所述的S2中进一步包括:
S2.1解析原始信令文件,获取其中的主被叫号码和CallID,对于无主被叫号码的信令数据,根据呼叫初始化时的CallID关联到主被叫号码,将主被叫号码、CallID、时间信息写入共享内存,通过共享内存向信令聚合进程发送数据。
进一步地,所述的S3中进一步包括:
S3.1将解析的信令数据压缩后运用Base64编码按照日期进行区分,主被叫号码、CallID及时间作为字段,通过http发送到ELK服务器。
进一步地,所述的S4中进一步包括:
S4.1读取共享内存中信令分析进程的数据,根据主被叫号码、CallID及时间判定是否是同一通呼叫,根据信令数据更新会话记录的开始和结束时间,在判断呼叫结束后生成会话记录。
所述的S5中进一步包括:
S5.1根据主被叫号码、CallID和会话记录起止时间作为字段,通过http发送到ELK服务器;
进一步地,所述的S6中进一步包括:
S6.1用户通过Web查询时,首先根据时间查询某时间段内的所有通话记录,记录显示结果分别为开始时间、结束时间、通话时长、主叫号码和被叫号码。
进一步地,所述的S7中进一步包括:
S7.1选择特定的会话记录,查询该记录的详细信令流程,并通过Web正常呼叫SIP流程。
进一步地,所述的S7.1进一步包括:
S7.1.1用户发起一路呼叫,终端A向该区域的代理服务器发起Invite请求;
S7.1.2代理服务器经过认证/计费中心确认后,向终端B发起Invite请求;
S7.1.3代理服务器向终端A发送呼叫处理中的应答信息:100Trying;
S7.1.4终端B向代理服务器送呼叫处理中的应答信息:100Trying;
S7.1.5终端B指示被叫用户振铃,用户振铃后向代理服务器发送180Ringing振铃信息;
S7.1.6代理服务器向终端A转发被叫用户振铃信息;
S7.1.7被叫用户摘机,终端B向代理服务器返回表示连接成功的应答200OK;
S7.1.8代理服务器向终端A转发成功指示200OK;
S7.1.9终端A收到成功信息后向代理服务器发送ACK信息进行确认;
S7.1.10代理服务器将ACK确认消息转发给终端B;
S7.1.11主被叫用户之间建立通信连接,开始通话。
本发明的有益效果:鉴于现有技术中存在的不足,本申请基于信令采集的数据,信令分析功能及业务零耦合,在用户无感知情况下,对正在进行的电话呼叫及通话不会产生任何影响下采集,采集的不同网关信令数据,满足可伸缩性及可重用性,根据采集和分析网卡包,提取主叫号码进行聚合,生成会话持续时间,并将呼叫数据上传的ELK服务器;
历史信令分析与查询方法具有如下优点:
1、基于信令采集的数据,不影响现网业务,不需要对现网架构修改,不会增加现有网关和服务的性能开销;
2、数据全、涵盖整个流程的所有信令数据,条目清晰,不同会话相互独立,同一会话根据时间排序;
3、对接简单,将信令采集数据部署在相应网关,采集的信令数据发送到信令分析主机即可完成。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的基于ELK存储的历史信令分析与查询方法实施流程框图;
图2是根据本发明实施例所述的基于ELK存储的历史信令分析与查询方法正常呼叫SIP流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
如图1-2所示,根据本发明实施例所述的基于ELK存储的历史信令分析与查询方法,该方法以下步骤:
步骤一,将信令采集生成的数据发送到信令分析主机,基于libpcap库,通过端口或协议过滤网络流量写入信令文件,定时将文件压缩并通过ftp或sftp传送到信令分析主机;
步骤二,解析数据,将数据中的关键信息发送到信令聚合进程,解析原始信令文件,获取其中的主被叫号码和CallID,对于无主被叫号码的信令数据,根据呼叫初始化时的CallID关联到主被叫号码,将主被叫号码、CallID、时间信息写入共享内存,通过共享内存向信令聚合进程发送数据;
步骤三,将解析的数据完整的发送到ELK服务器,将解析的信令数据压缩后运用Base64编码按照日期进行区分,主被叫号码、CallID及时间作为字段,通过http发送到ELK服务器;
步骤四,根据信令计算会话持续时间并生成会话记录,读取共享内存中信令分析进程的数据,根据主被叫号码、CallID及时间判定是否是同一通呼叫,根据信令数据更新会话记录的开始和结束时间,在判断呼叫结束后生成会话记录;
步骤五,将会话记录上传到ELK服务器,根据主被叫号码、CallID和会话记录起止时间作为字段,通过http发送到ELK服务器;
步骤六,用户通过Web根据时间和号码查询会话记录,用户通过Web查询时,首先根据时间查询某时间段内的所有通话记录,记录显示结果分别为开始时间、结束时间、通话时长、主叫号码和被叫号码;
步骤七,Web根据会话记录查询会话的整个流程和详细数据,选择特定的会话记录,查询该记录的详细信令流程,并通过Web正常呼叫SIP流程,如图2所示,进一步包括:
其一,用户发起一路呼叫,终端A向该区域的代理服务器发起Invite请求;
其二,代理服务器经过认证/计费中心确认后,向终端B发起Invite请求;
其三,代理服务器向终端A发送呼叫处理中的应答信息:100Trying;
其四,终端B向代理服务器送呼叫处理中的应答信息:100Trying;
其五,终端B指示被叫用户振铃,用户振铃后向代理服务器发送180Ringing振铃信息;
其六,代理服务器向终端A转发被叫用户振铃信息;
其七,被叫用户摘机,终端B向代理服务器返回表示连接成功的应答200OK;
其八,代理服务器向终端A转发成功指示200OK;
其九,终端A收到成功信息后向代理服务器发送ACK信息进行确认;
其十,代理服务器将ACK确认消息转发给终端B;
其十一,主被叫用户之间建立通信连接,开始通话。
在本发明的一个具体实施例中,本申请中涉及的专业术语说明:
1、CIN-SHS:CINSignalHistorySytem;
2、Ftp:文件传输协议(FileTransferProtocol,FTP)是用于在网络上进行文件传输的一套标准协;
3、Sftp:安全文件传送协议(SecureFileTransferProtocol),用于为传输文件提供一种安全的网络加密方法;
4、Base64:用于传输8Bit字节码的编码方式之一,是一种基于64个可打印字符来表示二进制数据的方法;
5、Libpcap:PacketCaptureLibrary,即数据包捕获函数库,是Unix/Linux平台下的网络数据包捕获函数库;
6、CallID:信令流程中的会话唯一标识,sip中是callID、ansi_map中是billingID、inap里是otid/dtid;
7、ELK:Elasticsearch、Logstash、Kibana的简称,是提供搜集、分析、存储的搜索和分析引擎;
8、Invite:呼叫初始请求;
9、100Trying:呼叫处理中的应答;
10、180Ringing:振铃消息;
11、200OK:摘机或其他消息的正常应答;
12、Cancel:呼叫释放消息;
13、ACK:确认消息。
为了方便理解本发明的上述技术方案,以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
在具体使用时,根据本发明所述的基于ELK存储的历史信令分析与查询方法,首先,在信令网关的数据通过ftp发送到历史信令分析主机,信令分析进程定时巡检某个文件夹,检查到有pcap.gz为后缀的文件夹,对其解压并加载,按照Packet依次读取内容,对内容解析和提取主被叫与时间等信息,解析后的内容编码传送到ELK,提取的主被叫、时间和CallID写入共享内存,信令聚合进程提取共享内存中的主被叫号码、时间和CallID,合并生成通话记录,将记录发送到ELK,用户通过浏览器访问html界面根据主被叫号码和时间查询网关的通话信令记录,选择某条记录找到详细的信令数据。
综上所述,借助于本发明的上述技术方案,通过基于信令采集的数据,信令分析功能及业务零耦合,在用户无感知情况下,对正在进行的电话呼叫及通话不会产生任何影响下采集,采集的不同网关信令数据,满足可伸缩性及可重用性,根据采集和分析网卡包,提取主叫号码进行聚合,生成会话持续时间,并将呼叫数据上传的ELK服务器,呼叫数据按照号码区分,数据直观清晰。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于ELK存储的历史信令分析与查询方法,其特征在于,该方法包括:
S1:将信令采集生成的数据发送到信令分析主机;
S2:解析数据,将数据中的关键信息发送到信令聚合进程;
S3:将解析的数据完整的发送到ELK服务器;
S4:根据信令计算会话持续时间并生成会话记录;
S5:将会话记录上传到ELK服务器;
S6:用户通过Web根据时间和号码查询会话记录;
S7:Web根据会话记录查询会话的整个流程和详细数据。
2.根据权利要求1所述的基于ELK存储的历史信令分析与查询方法,其特征在于,所述的S1中进一步包括:
S1.1基于libpcap库,通过端口或协议过滤网络流量写入信令文件,定时将文件压缩并通过ftp或sftp传送到信令分析主机。
3.根据权利要求1所述的基于ELK存储的历史信令分析与查询方法,其特征在于,所述的S2中进一步包括:
S2.1解析原始信令文件,获取其中的主被叫号码和Call ID,对于无主被叫号码的信令数据,根据呼叫初始化时的Call ID关联到主被叫号码,将主被叫号码、Call ID、时间信息写入共享内存,通过共享内存向信令聚合进程发送数据。
4.根据权利要求1所述的基于ELK存储的历史信令分析与查询方法,其特征在于,所述的S3中进一步包括:
S3.1将解析的信令数据压缩后运用Base64编码按照日期进行区分,主被叫号码、CallID及时间作为字段,通过http发送到ELK服务器。
5.根据权利要求Call ID1所述的基于ELK存储的历史信令分析与查询方法,其特征在于,所述的S4中进一步包括:
S4.1读取共享内存中信令分析进程的数据,根据主被叫号码、Call ID及时间判定是否是同一通呼叫,根据信令数据更新会话记录的开始和结束时间,在判断呼叫结束后生成会话记录。
6.根据权利要求1所述的基于ELK存储的历史信令分析与查询方法,其特征在于,所述的S5中进一步包括:
S5.1根据主被叫号码、Call ID和会话记录起止时间作为字段,通过http发送到ELK服务器;
7.根据权利要求1所述的基于ELK存储的历史信令分析与查询方法,其特征在于,所述的S6中进一步包括:
S6.1用户通过Web查询时,首先根据时间查询某时间段内的所有通话记录,记录显示结果分别为开始时间、结束时间、通话时长、主叫号码和被叫号码。
8.根据权利要求1所述的基于ELK存储的历史信令分析与查询方法,其特征在于,所述的S7中进一步包括:
S7.1选择特定的会话记录,查询该记录的详细信令流程,并通过Web正常呼叫SIP流程。
9.根据权利要求8所述的基于ELK存储的历史信令分析与查询方法,其特征在于,所述的S7.1进一步包括:
S7.1.1用户发起一路呼叫,终端A向该区域的代理服务器发起Invite请求;
S7.1.2代理服务器经过认证/计费中心确认后,向终端B发起Invite请求;
S7.1.3代理服务器向终端A发送呼叫处理中的应答信息:100Trying;
S7.1.4终端B向代理服务器送呼叫处理中的应答信息:100Trying;
S7.1.5终端B指示被叫用户振铃,用户振铃后向代理服务器发送180Ringing振铃信息;
S7.1.6代理服务器向终端A转发被叫用户振铃信息;
S7.1.7被叫用户摘机,终端B向代理服务器返回表示连接成功的应答200OK;
S7.1.8代理服务器向终端A转发成功指示200OK;
S7.1.9终端A收到成功信息后向代理服务器发送ACK信息进行确认;
S7.1.10代理服务器将ACK确认消息转发给终端B;
S7.1.11主被叫用户之间建立通信连接,开始通话。
CN202010619644.4A 2020-06-30 2020-06-30 基于elk存储的历史信令分析与查询方法 Pending CN111901150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010619644.4A CN111901150A (zh) 2020-06-30 2020-06-30 基于elk存储的历史信令分析与查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010619644.4A CN111901150A (zh) 2020-06-30 2020-06-30 基于elk存储的历史信令分析与查询方法

Publications (1)

Publication Number Publication Date
CN111901150A true CN111901150A (zh) 2020-11-06

Family

ID=73191805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010619644.4A Pending CN111901150A (zh) 2020-06-30 2020-06-30 基于elk存储的历史信令分析与查询方法

Country Status (1)

Country Link
CN (1) CN111901150A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997491A (zh) * 2014-05-13 2014-08-20 长春大学 一种量子保密通信电话用户终端扩展网关系统
CN106850318A (zh) * 2017-03-27 2017-06-13 国网山东省电力公司信息通信公司 Ims信令流程可视化展现系统、方法及服务器
CN109257368A (zh) * 2018-10-19 2019-01-22 天津天地伟业投资管理有限公司 一种基于嵌入式设备的通讯会话建立方法
CN109492073A (zh) * 2018-10-31 2019-03-19 北京达佳互联信息技术有限公司 日志搜索方法、日志搜索装置和计算机可读存储介质
CN110620849A (zh) * 2019-09-16 2019-12-27 南京南瑞信息通信科技有限公司 一种ims电话终端呼叫记录集中分拣方法及系统
CN111104302A (zh) * 2019-12-06 2020-05-05 紫光云(南京)数字技术有限公司 一种用于集群系统的改进elk日志分析方法
CN111125044A (zh) * 2019-12-17 2020-05-08 紫光云(南京)数字技术有限公司 一种elk日志监控的改进方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997491A (zh) * 2014-05-13 2014-08-20 长春大学 一种量子保密通信电话用户终端扩展网关系统
CN106850318A (zh) * 2017-03-27 2017-06-13 国网山东省电力公司信息通信公司 Ims信令流程可视化展现系统、方法及服务器
CN109257368A (zh) * 2018-10-19 2019-01-22 天津天地伟业投资管理有限公司 一种基于嵌入式设备的通讯会话建立方法
CN109492073A (zh) * 2018-10-31 2019-03-19 北京达佳互联信息技术有限公司 日志搜索方法、日志搜索装置和计算机可读存储介质
CN110620849A (zh) * 2019-09-16 2019-12-27 南京南瑞信息通信科技有限公司 一种ims电话终端呼叫记录集中分拣方法及系统
CN111104302A (zh) * 2019-12-06 2020-05-05 紫光云(南京)数字技术有限公司 一种用于集群系统的改进elk日志分析方法
CN111125044A (zh) * 2019-12-17 2020-05-08 紫光云(南京)数字技术有限公司 一种elk日志监控的改进方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙丽丽等: "IMS网络信令流程的可视化展现及故障分析技术研究", 《信息通信》 *

Similar Documents

Publication Publication Date Title
CN101489245B (zh) 网络容灾方法、终端和呼叫会话控制功能实体
JP2008148310A (ja) マルチメディアセッション管理方法およびシステム
EP2079024A1 (en) Proxy server, communication system, communication method, and program
JP5051055B2 (ja) シグナリングを伴うインターネットサービスにおけるネットワーク障害発生時の影響範囲特定のための方法、プローブ装置、及び集計サーバ装置
KR20080024481A (ko) Ip 멀티미디어 서브시스템(ims)의 ip 링크를 통한머신의 원격 관리를 위한 방법 및 시스템
KR101453600B1 (ko) 부정호 검출 장치, 부정호 검출 방법, 및 부정호 검출용 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체
JP4481876B2 (ja) サーバ装置の制御方法、クライアント装置の制御方法、セッション制御方法
EP1763205A1 (en) Communication system, transfer control method, telephone device used for same, communication device, and program
JP5914394B2 (ja) パケット抽出方法、パケット抽出装置及びパケット抽出プログラム
CN100361553C (zh) 一种无线终端用户标识保存方法与装置
CN111901150A (zh) 基于elk存储的历史信令分析与查询方法
JP5046252B2 (ja) Ip電話番号調査装置およびその方法
CN101800947B (zh) 一种阻止对误拨呼叫进行回拨的方法和设备
JP4044082B2 (ja) 選択装置、変換装置、選択方法、変換方法、コンピュータプログラム
CN110913084A (zh) 会话录音方法、装置、电子设备及存储介质
CN114245326B (zh) 一种煤矿专网与运营商lte核心网互通的方法、系统及设备
CN115617611A (zh) 信令流程图的生成方法、装置、电子设备和存储介质
JP2008048047A (ja) 端末装置、セッション管理装置、システム、方法、及びプログラム
US20030081593A1 (en) Method for charging internet phone network
CN106921808B (zh) 信息推送方法、信息推送平台以及系统
EP1501257A1 (en) Improvements in or relating to fault tolerant systems
CN104901922A (zh) 基于会话初始协议sip的数据业务处理方法及装置
CN103856641B (zh) 语音呼叫的处理方法、装置与系统
KR20120009660A (ko) Ims 기반 장애분석 서비스 제공 장치, 시스템 및 그 방법
KR100414054B1 (ko) 인터넷폰 시스템의 콜 데이터 관리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106

RJ01 Rejection of invention patent application after publication