CN105978723A - 网络信息管理方法及装置 - Google Patents

网络信息管理方法及装置 Download PDF

Info

Publication number
CN105978723A
CN105978723A CN201610313405.XA CN201610313405A CN105978723A CN 105978723 A CN105978723 A CN 105978723A CN 201610313405 A CN201610313405 A CN 201610313405A CN 105978723 A CN105978723 A CN 105978723A
Authority
CN
China
Prior art keywords
data
client
service end
call chain
call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610313405.XA
Other languages
English (en)
Inventor
姚捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Pinwei Software Co Ltd
Original Assignee
Guangzhou Vipshop Information And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Vipshop Information And Technology Co Ltd filed Critical Guangzhou Vipshop Information And Technology Co Ltd
Priority to CN201610313405.XA priority Critical patent/CN105978723A/zh
Publication of CN105978723A publication Critical patent/CN105978723A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/062Generation of reports related to network traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/067Generation of reports using time frame reporting

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种网络信息管理方法,包括步骤:监测客户端与服务端间的交互数据;根据所述数据的调用关系生成调用链信息;提取所监测到的交互数据的特征值,并结合所述调用链信息生成监控数据。本发明还公开了一种网络信息管理装置。本发明实现对调用链信息的监控,提高了故障分析定位的效率。

Description

网络信息管理方法及装置
技术领域
本发明涉及信息管理技术领域,尤其涉及一种网络信息管理方法及装置。
背景技术
随着信息技术的发展,互联网公司的规模也越来越大,而互联网公司的系统是由大量的分布式服务器构成的,服务器数量少则上千台,多则数万台,如此庞大的服务器系统,服务器间相互连接,呈现复杂的拓扑结构。用户通过网站等操作查询、下单交易和/或支付等任务时,在服务器的拓扑结构中经历了复杂的端到端的计算和调用,任何一个端点的服务器出现故障,都可能导致针对用户的操作请求执行错误或者反应缓慢的问题。
由于分布式网络各端点服务器的监控信息是相互独立的,当用户使用过程中遇到故障时,运维人员只能通过查看各端点服务器的代码日志并分析数据以查找故障,分析定位问题效率低下。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种网络信息管理方法及装置,旨在解决由于分布式网络各端点服务器的监控信息是相互独立的,当用户使用过程中遇到故障时,运维人员只能通过查看各端点服务器的代码日志并分析数据以查找故障,分析定位问题效率低下的问题。
为实现上述目的,本发明提供的一种网络信息管理方法,包括以下步骤:
监测客户端与服务端间的交互数据;
根据所述数据的调用关系生成调用链信息;
提取所监测到的交互数据的特征值,并结合所述调用链信息生成监控数据。
优选地,所述根据所述数据的调用关系生成调用链信息的步骤包括:
根据客户端发送数据的相关信息及客户端标识ID,对客户端发送的数据添加调用链标签;
将客户端发送的数据在服务端及客户端交互的顺序及产生的响应添加到所述调用链标签中;
当客户端接收到所发送数据的响应时,根据所述调用链标签生成调用链信息。
优选地,提取所监测到的交互数据的特征值的步骤包括:
按照数据交互的时间顺序对交互数据进行排序;
从排序后的交互数据中提取特征值,所述特征值包括交互数据的类型及调用结果、客户端类型及标识ID、服务端类型及标识ID。
优选地,所述方法,还包括:
当检测到所述监控数据中存在异常数据时,发送提示信息。
优选地,所述方法,还包括:
确定客户端发送数据的类型及客户端发送的数据在服务端及客户端交互的时间,生成信息统计报告。
此外,为实现上述目的,本发明还提供一种网络信息管理装置,包括:
获取模块,用于监测客户端与服务端间的交互数据;
调用链模块,用于根据所述数据的调用关系生成调用链信息;
监控模块,用于提取所监测到的交互数据的特征值,并结合所述调用链信息生成监控数据。
优选地,所述调用链模块包括:
起始单元,用于根据客户端发送数据的相关信息及客户端标识ID,对客户端发送的数据添加调用链标签;
添加单元,用于将客户端发送的数据在服务端及客户端交互的顺序及产生的响应添加到所述调用链标签中;
结束单元,用于当客户端接收到所发送数据的响应时,根据所述调用链标签生成调用链信息。
优选地,所述监控模块包括:
排序单元,用于按照数据交互的时间顺序对交互数据进行排序;
提取单元,用于从排序后的交互数据中提取特征值,所述特征值包括交互数据的类型及调用结果、客户端类型及标识ID、服务端类型及标识ID。
优选地,所述装置还包括:
提示模块,用于当检测到所述监控数据中存在异常数据时,发送提示信息。
优选地,所述装置还包括:
统计模块,用于确定客户端发送数据的类型及客户端发送的数据在服务端及客户端交互的时间,生成信息统计报告。
本发明监测客户端与服务端间的交互数据;根据所述数据的调用关系生成调用链信息;提取所监测到的交互数据的特征值,并结合所述调用链信息生成监控数据。通过将客户端与服务端间的数据交互以调用链的方式进行记录并生成监控数据,当用户使用过程中遇到故障时,运维人员通过查看监控数据,就可以得知数据交互的过程从而找到故障原因,分析定位问题效率高。
附图说明
图1为本发明网络信息管理方法的第一实施例的流程示意图;
图2为本发明一实施例根据所述数据的调用关系生成调用链信息的流程示意图;
图3为本发明一实施例提取所监测到的交互数据的特征值的流程示意图;
图4为本发明网络信息管理方法的第二实施例的流程示意图;
图5为本发明网络信息管理方法的第三实施例的流程示意图;
图6为本发明一实施例通过探针监测交互数据的流程示意图;
图7为图6中探针的组件架构示意图;
图8为本发明网络信息管理装置的第一实施例的功能模块示意图;
图9为图8中调用链模块一实施例的细化功能模块示意图;
图10为图8中监控模块一实施例的细化功能模块示意图;
图11为本发明网络信息管理装置的第二实施例的功能模块示意图;
图12为本发明网络信息管理装置的第三实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:监测客户端与服务端间的交互数据;根据所述数据的调用关系生成调用链信息;提取所监测到的交互数据的特征值,并结合所述调用链信息生成监控数据。通过将客户端与服务端间的数据交互以调用链的方式进行记录并生成监控数据,当用户使用过程中遇到故障时,运维人员通过查看监控数据,就可以得知数据交互的过程从而找到故障原因,分析定位问题效率高。
由于分布式网络各端点服务器的监控信息是相互独立的,当用户使用过程中遇到故障时,运维人员只能通过查看各端点服务器的代码日志并分析数据以查找故障,分析定位问题效率低下。
基于上述问题,本发明提供一种网络信息管理方法。
参照图1,图1为本发明网络信息管理方法的第一实施例的流程示意图。
在一实施例中,所述方法包括:
步骤S10,监测客户端与服务端间的交互数据;
客户端发送请求数据到服务端,服务端返回响应数据发送给客户端,客户端发送请求数据并接收响应数据的过程中,客户端与服务端间存在数据交互,本发明一实施例采用对客户端与服务端间的交互数据进行监测的方法,监测请求响应是否成功,以便在交互数据中出现异常时能及时查找出故障原因,便于工作人员快速排除故障。
步骤S20,根据所述数据的调用关系生成调用链信息;
数据在客户端与服务端间交互产生调用关系,调用关系包括客户端标识ID、服务端标识ID、客户端发送请求数据的时间、服务端接收请求数据的时间、服务端根据接收的请求数据发送响应数据的时间、客户端接收响应数据的时间等信息,根据接收和发送数据的时间及接收和发送数据的客户端/服务端等信息可以生成数据的调用链信息。
具体地,如图2所示,图2为本发明一实施例根据所述数据的调用关系生成调用链信息的流程示意图;所述步骤S20包括:
步骤S201,根据客户端发送数据的相关信息及客户端标识ID,对客户端发送的数据添加调用链标签;
客户端发送的数据为请求数据,是一次应用系统数据调用的起始端,将客户端标识ID及请求数据的业务类型等相关信息作为调用链标签,将所述调用链标签添加到客户端发送的数据中。
步骤S202,将客户端发送的数据在服务端及客户端交互的顺序及产生的响应添加到所述调用链标签中;
客户端发送的数据在服务端及客户端间交互,即请求数据从客户端发出后依次传递到服务端和/或客户端,最后返回发出请求的客户端,一次应用系统数据调用任务结束,将数据在服务端及客户端交互的顺序及产生的响应添加到所述调用链标签中。
步骤S203,当客户端接收到所发送数据的响应时,根据所述调用链标签生成调用链信息。
客户端从发送请求数据到接收返回的响应数据,一次应用系统数据调用任务结束,根据该次数据应用系统数据调用任务传递过程中的全部调用链标签生成调用链信息。
步骤S30,提取所监测到的交互数据的特征值,并结合所述调用链信息生成监控数据。
交互数据包括客户端发送请求数据的内容及服务端根据接收的请求数据发送响应数据的内容等,数据量庞大,为了便于检索及管理,提取交互数据中的特征值;根据特征值及调用链信息,可以得到监控数据,所述监控数据包括交互数据在客户端与服务端间交互的过程及交互信息的特征信息。
具体地,如图3所示,图3为本发明一实施例提取所监测到的交互数据的特征值的流程示意图;所述步骤S30中提取所监测到的交互数据的特征值的步骤包括:
步骤S301,按照数据交互的时间顺序对交互数据进行排序;
步骤S302,从排序后的交互数据中提取特征值,所述特征值包括交互数据的类型及调用结果、客户端类型及标识ID、服务端类型及标识ID。
一实施例中,将交互数据按照数据交互的时间顺序进行排序,从排序后的交互数据中提取特征值,在客户端的交互数据中提取的特征值包括:调用链标识ID、客户端标识ID、客户端域名、主机名、客户端类型、客户端名称、客户端请求URL、客户端请求参数、客户端请求发送时间、客户端接收响应时间、客户端调用耗时、调用结果等,在服务端的交互数据中提取的特征值包括:调用链标识ID、服务端标识ID、服务端域名、主机名、服务端类型、服务端名称、服务端调用URL、服务端接收请求时间、服务端发送响应时间、服务端调用耗时、调用结果、服务端调用事件列表、服务端注解信息等。
本实施例通过将客户端与服务端间的数据交互以调用链的方式进行记录并生成监控数据,当用户使用过程中遇到故障时,运维人员通过查看监控数据,就可以得知数据交互的过程从而找到故障原因,分析定位问题效率高。
参照图4,图4为本发明网络信息管理方法的第二实施例的流程示意图。基于上述网络信息管理方法的第一实施例,所述方法还包括:
步骤S40,当检测到所述监控数据中存在异常数据时,发送提示信息。
监控数据中包含调用结果,当调用结果显示此次数据调用存在异常时,如调用失败和/或调用过程中某环节耗时超过目标时间一定范围等,可主动发出提示信息,提醒运维人员及时排除故障。
本实施例通过在监控数据中存在异常数据时,主动发送提示信息,提醒运维人员及时排除故障,便于及时发现并排除故障。
参照图5,图5为本发明网络信息管理方法的第三实施例的流程示意图。基于上述网络信息管理方法的第二实施例,所述方法还包括:
步骤S50,确定客户端发送数据的类型及客户端发送的数据在服务端及客户端交互的时间,生成信息统计报告。
用户使用网络系统时的体验数据及系统服务性能指标数据对于改进网络系统有着至关重要的作用,然而,这部分数据却极难收集,本发明一实施例通过收集客户端发送数据及接收响应过程中存在的客户端与服务端间的数据调用关系,统计其中的客户端发送数据的类型及客户端发送的数据在服务端及客户端交互的时间,生成信息统计报告,进而可以得知用户发送数据的类型及数量等,根据用户发送的数据可以查找出用户在网络系统中调用的服务类型,从而可以分析出受用户欢迎的服务类型,服务提供方可以针对用户的喜好对提供的服务进行改进;根据数据在服务端及客户端交互的时间,服务提供方可以对调用环节的技术进行改进,以缩短数据在客户端与服务端间调用的时间,即缩短客户端发送数据到接收数据的时间,提升服务性能。
本实施例通过统计客户端发送数据的类型及客户端发送的数据在服务端及客户端交互的时间,为服务提供方改进网络服务系统提供依据。
为了更好的说明上述网络信息管理的保护方案,下面将通过3个实例进行具体解释。
实例一:
用户在客户端浏览某购物网站,输入关键词A进行搜索,即由客户端的应用A发出交互数据,具体地,如图6所示,在交互数据中添加发送请求的时间、客户端标识ID及数据特征值等信息;服务端根据所述请求数据通过应用B发送响应数据,即为服务端发出交互数据,在交互数据中添加服务端收到请求数据的时间、返回响应数据的时间、服务端标识ID及数据特征值等信息;客户端接收到响应数据显示带关键词A的商品的预览信息及链接供用户浏览,即为客户端接收交互数据,在交互数据中添加接收响应的时间、客户端标识ID及数据特征值等信息;至此,一次数据请求完成,探针将交互数据中添加的时间及地址等信息上传数据上报中心,数据分析引擎读取数据上报中心的数据,并分析数据调用的先后顺序及交互数据在客户端及服务端间的流向等,结合交互数据的特征值生成监控数据(分析结果),将所述监控数据存储在监控数据库中,供监控前端系统调用,当工作人员需要查看监控数据时,通过监控前端系统查询分析结果。
探针安装在客户端为客户端探针,安装在服务端为服务端探针,如图7所示,具体地,客户端探针包含以下组件:
a)客户端请求拦截组件:在客户端发送请求前,记录下请求特征信息;
b)客户端响应拦截组件:在客户端收到响应后,不管成功失败,记录下响应特征信息,并将请求特征信息和响应特征信息合并成一个标准数据格式递交给数据收集组件;
c)数据收集组件:将拦截下来的特征值信息按照标准格式收集起来形成监控数据,并且高效的传递给数据发送组件;
d)数据发送组件:负责将监控数据上报给数据上报中心;
e)调用链信息:为了将端到端的调用串联起来,客户端需要将带有调用链唯一标识的信息传递给服务端;
服务端探针包含以下组件:
a)服务端请求拦截组件:在接收到客户端请求后,记录下请求特征信息;
b)服务端响应拦截组件:在服务端响应前,记录下响应特征信息,并将请求特征信息和响应特征信息合并成一个标准数据格式递交给数据收集组件;
c)数据收集组件:将拦截下来的特征值信息按照标准格式收集起来形成监控数据,并且高效的传递给数据发送组件;
d)数据发送组件:负责将监控数据上报给数据上报中心。
为保证数据分析引擎能够准确分析出完整的调用链关系和相关的性能指标,探针从交互数据中提取特征值,在客户端提取的特征值包括:
调用链标识ID:用来唯一标识这一次端到端的调用;
客户端标识ID:用来唯一标识这个数据结构来源于这个客户端;
客户端域名:记录客户端所在主机的域名;
主机名:记录下客户端所在主机的主机名;
客户端类型:标识客户端的类型,典型的类型有:HTTP客户端,SQL客户端,RPC客户端,Cache客户端;
客户端名称:用来展示调用链时显示给用户查看的客户端名称;
客户端请求URL:记录下客户端请求远程服务的URL;
客户端请求参数:记录下客户端请求远程服务时候附带的相关请求参数;
客户端请求发送时间:记录下客户端发送请求这一时刻的时间戳;
客户端接收响应时间:记录下客户端接收到服务端响应这一时刻的时间戳;
客户端调用耗时:客户端接收响应时间—客户请求发送时间,这个值可以认为是一次客户端到服务端调用的完整耗时;
调用结果:记录下远程请求的调用返回结果。例如,如果是HTTP请求调用,返回结果2XX表示调用成功,返回结果5XX表示调用失败。
在服务端提取的特征值包括:
调用链标识ID:用来唯一标识这一次端到端的调用;
服务端标识ID:用来唯一标识这个数据结构来源于这个服务端;
服务端域名:记录服务端所在主机的域名;
主机名:记录下服务端所在主机的主机名;
服务端类型:标识服务端的类型,典型的类型有:HTTP服务端,SQL服务端,RPC服务端,Cache服务端;
服务端名称:用来展示调用链时显示给用户查看的服务端名称;
服务端调用URL:记录下服务端真实调用的URL;
服务端接收请求时间:记录下服务端接收到请求这一时刻的时间戳;
服务端发送响应时间:记录下服务端发送响应这一时刻的时间戳;
服务端调用耗时:服务端接收请求时间—服务端发送响应时间,这个值可以认为是服务端执行业务逻辑的完整耗时;
调用结果:记录下服务端调用返回结果;例如如果是HTTP请求调用,返回结果2XX表示调用成功,返回结果5XX表示调用失败;
服务端调用事件列表:可由应用自行设定是否将应用事件信息关联到调用链上。例如服务端调用某一个外部服务出错,应用可记录下这个事件,并将它与调用链关联在一起;
服务端注解信息:某些情况下,应用需要记录一些业务字段键值对,并将它们与调用链关联在一起,例如,记录商品ID=0001,操作类型=支付,根据这一注解信息,就很清楚的知道这次调用的业务场景和操作的业务对象。
实例二:
用户在客户端浏览某购物网站,输入关键词A进行搜索,即由客户端的应用A发出交互数据,具体地,如图6所示,在交互数据中添加发送请求的时间、客户端标识ID及数据特征值等信息;服务端根据所述请求数据通过应用B和/或应用C发送响应数据,即为服务端发出交互数据,在交互数据中添加服务端收到请求数据的时间、返回响应数据的时间、服务端标识ID及数据特征值等信息;客户端接收到响应数据显示带关键词A的商品的预览信息及链接供用户浏览,即为客户端接收交互数据,在交互数据中添加接收响应的时间、客户端标识ID及数据特征值等信息;至此,一次数据请求完成,探针将交互数据中添加的时间及地址等信息上传数据上报中心,数据分析引擎读取数据上报中心的数据,并分析数据调用的先后顺序及交互数据在客户端及服务端间的流向等,结合交互数据的特征值生成监控数据(分析结果),将所述监控数据存储在监控数据库中,供监控前端系统调用,当工作人员需要查看监控数据时,通过监控前端系统查询分析结果。
用户点击第一个商品的链接浏览商品详情后,服务端通过应用C发送响应数据返回到客户端供用户浏览,用户了解到可以使用d优惠券,于是点击使用d优惠券下单购买第一个商品,服务端根据客户端发出的请求数据调用d优惠券信息和付款信息结算费用并返回结算响应数据,客户端收到结算响应数据后发现最终结算金额没有减去d优惠券的折扣费用,同时系统检测到监控数据中调用结果存在异常数据,发送提示信息到运维中心,提醒工作人员及时对系统进行检修、排除故障。
实例三:
用户在客户端浏览某购物网站,输入关键词A进行搜索,即由客户端的应用A发出交互数据,具体地,如图6所示,在交互数据中添加发送请求的时间、客户端标识ID及数据特征值等信息;服务端根据所述请求数据通过应用B发送响应数据,即为服务端发出交互数据,在交互数据中添加服务端收到请求数据的时间、返回响应数据的时间、服务端标识ID及数据特征值等信息;客户端接收到响应数据显示带关键词A的商品的预览信息及链接供用户浏览,即为客户端接收交互数据,在交互数据中添加接收响应的时间、客户端标识ID及数据特征值等信息;至此,一次数据请求完成,探针将交互数据中添加的时间及地址等信息上传数据上报中心,数据分析引擎读取数据上报中心的数据,并分析数据调用的先后顺序及交互数据在客户端及服务端间的流向等,结合交互数据的特征值生成监控数据(分析结果),将所述监控数据存储在监控数据库中,供监控前端系统调用,当工作人员需要查看监控数据时,通过监控前端系统查询分析结果。
用户点击多个商品的链接浏览商品,但是在客户端还没有接收全部商品详情数据的情况下就关闭了部分浏览页面,通过对信息统计报告的分析发现,从客户端请求发送时间到客户端接收响应时间的间隔,即服务端发出商品详情数据到客户端接收全部商品详情数据的时间,小于一定值时用户会浏览该页面,超过一定时间还没有接收全部商品详情数据时,用户会选择关闭该页面,根据该信息统计报告,工作人员可以分析客户端请求发送时间、客户端接收响应时间、服务端接收请求时间及服务端发送响应时间等,进而寻找缩短客户端接收全部商品详情数据的时间的解决方法,以提高用户的满意度。
本发明进一步提供一种网络信息管理装置。
参照图8,图8为本发明网络信息管理装置的第一实施例的功能模块示意图。
在一实施例中,所述网络信息管理装置包括:获取模块10、调用链模块20及监控模块30。
所述获取模块10,用于监测客户端与服务端间的交互数据;
客户端发送请求数据到服务端,服务端返回响应数据发送给客户端,客户端发送请求数据并接收响应数据的过程中,客户端与服务端间存在数据交互,本发明一实施例采用对客户端与服务端间的交互数据进行监测的方法,监测请求响应是否成功,以便在交互数据中出现异常时能及时查找出故障原因,便于工作人员快速排除故障。
所述调用链模块20,用于根据所述数据的调用关系生成调用链信息;
数据在客户端与服务端间交互产生调用关系,调用关系包括客户端标识ID、服务端标识ID、客户端发送请求数据的时间、服务端接收请求数据的时间、服务端根据接收的请求数据发送响应数据的时间、客户端接收响应数据的时间等信息,根据接收和发送数据的时间及接收和发送数据的客户端/服务端等信息可以生成数据的调用链信息。
具体地,如图9所示,图9为本发明一实施例中调用链模块20一实施例的细化功能模块示意图;所述调用链模块20包括:
起始单元201,用于根据客户端发送数据的相关信息及客户端标识ID,对客户端发送的数据添加调用链标签;
客户端发送的数据为请求数据,是一次应用系统数据调用的起始端,将客户端标识ID及请求数据的业务类型等相关信息作为调用链标签,将所述调用链标签添加到客户端发送的数据中。
添加单元202,用于将客户端发送的数据在服务端及客户端交互的顺序及产生的响应添加到所述调用链标签中;
客户端发送的数据在服务端及客户端间交互,即请求数据从客户端发出后依次传递到服务端和/或客户端,最后返回发出请求的客户端,一次应用系统数据调用任务结束,将数据在服务端及客户端交互的顺序及产生的响应添加到所述调用链标签中。
结束单元203,用于当客户端接收到所发送数据的响应时,根据所述调用链标签生成调用链信息。
客户端从发送请求数据到接收返回的响应数据,一次应用系统数据调用任务结束,根据该次数据应用系统数据调用任务传递过程中的全部调用链标签生成调用链信息。
所述监控模块30,用于提取所监测到的交互数据的特征值,并结合所述调用链信息生成监控数据。
交互数据包括客户端发送请求数据的内容及服务端根据接收的请求数据发送响应数据的内容等,数据量庞大,为了便于检索及管理,提取交互数据中的特征值;根据特征值及调用链信息,可以得到监控数据,所述监控数据包括交互数据在客户端与服务端间交互的过程及交互信息的特征信息
具体地,如图10所示,图10为本发明一实施例中监控模块30一实施例的细化功能模块示意图;所述监控模块30包括:
排序单元301,用于按照数据交互的时间顺序对交互数据进行排序;
提取单元302,用于从排序后的交互数据中提取特征值,所述特征值包括交互数据的类型及调用结果、客户端类型及标识ID、服务端类型及标识ID。
一实施例中,将交互数据按照数据交互的时间顺序进行排序,从排序后的交互数据中提取特征值,在客户端的交互数据中提取的特征值包括:调用链标识ID、客户端标识ID、客户端域名、主机名、客户端类型、客户端名称、客户端请求URL、客户端请求参数、客户端请求发送时间、客户端接收响应时间、客户端调用耗时、调用结果等,在服务端的交互数据中提取的特征值包括:调用链标识ID、服务端标识ID、服务端域名、主机名、服务端类型、服务端名称、服务端调用URL、服务端接收请求时间、服务端发送响应时间、服务端调用耗时、调用结果、服务端调用事件列表、服务端注解信息等。
本实施例通过将客户端与服务端间的数据交互以调用链的方式进行记录并生成监控数据,当用户使用过程中遇到故障时,运维人员通过查看监控数据,就可以得知数据交互的过程从而找到故障原因,分析定位问题效率高。
参照图11,图11为本发明网络信息管理装置的第二实施例的功能模块示意图。所述网络信息管理装置还包括提示模块40。
所述提示模块40,用于当检测到所述监控数据中存在异常数据时,发送提示信息。
监控数据中包含调用结果,当调用结果显示此次数据调用存在异常时,如调用失败和/或调用过程中某环节耗时超过目标时间一定范围等,可主动发出提示信息,提醒运维人员及时排除故障。
本实施例通过在监控数据中存在异常数据时,主动发送提示信息,提醒运维人员及时排除故障,便于及时发现并排除故障。
参照图12,图12为本发明网络信息管理装置的第三实施例的功能模块示意图。所述网络信息管理装置还包括统计模块50。
所述统计模块50,用于确定客户端发送数据的类型及客户端发送的数据在服务端及客户端交互的时间,生成信息统计报告。
用户使用网络系统时的体验数据及系统服务性能指标数据对于改进网络系统有着至关重要的作用,然而,这部分数据却极难收集,本发明一实施例通过收集客户端发送数据及接收响应过程中存在的客户端与服务端间的数据调用关系,统计其中的客户端发送数据的类型及客户端发送的数据在服务端及客户端交互的时间,生成信息统计报告,进而可以得知用户发送数据的类型及数量等,根据用户发送的数据可以查找出用户在网络系统中调用的服务类型,从而可以分析出受用户欢迎的服务类型,服务提供方可以针对用户的喜好对提供的服务进行改进;根据数据在服务端及客户端交互的时间,服务提供方可以对调用环节的技术进行改进,以缩短数据在客户端与服务端间调用的时间,即缩短客户端发送数据到接收数据的时间,提升服务性能。
本实施例通过统计客户端发送数据的类型及客户端发送的数据在服务端及客户端交互的时间,为服务提供方改进网络服务系统提供依据。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种网络信息管理方法,其特征在于,包括以下步骤:
监测客户端与服务端间的交互数据;
根据所述数据的调用关系生成调用链信息;
提取所监测到的交互数据的特征值,并结合所述调用链信息生成监控数据。
2.如权利要求1所述的网络信息管理方法,其特征在于,所述根据所述数据的调用关系生成调用链信息的步骤包括:
根据客户端发送数据的相关信息及客户端标识ID,对客户端发送的数据添加调用链标签;
将客户端发送的数据在服务端及客户端交互的顺序及产生的响应添加到所述调用链标签中;
当客户端接收到所发送数据的响应时,根据所述调用链标签生成调用链信息。
3.如权利要求2所述的网络信息管理方法,其特征在于,提取所监测到的交互数据的特征值的步骤包括:
按照数据交互的时间顺序对交互数据进行排序;
从排序后的交互数据中提取特征值,所述特征值包括交互数据的类型及调用结果、客户端类型及标识ID、服务端类型及标识ID。
4.如权利要求3所述的网络信息管理方法,其特征在于,所述方法,还包括:
当检测到所述监控数据中存在异常数据时,发送提示信息。
5.如权利要求1至4中任一项所述的网络信息管理方法,其特征在于,所述方法,还包括:
确定客户端发送数据的类型及客户端发送的数据在服务端及客户端交互的时间,生成信息统计报告。
6.一种网络信息管理装置,其特征在于,包括:
获取模块,用于监测客户端与服务端间的交互数据;
调用链模块,用于根据所述数据的调用关系生成调用链信息;
监控模块,用于提取所监测到的交互数据的特征值,并结合所述调用链信息生成监控数据。
7.如权利要求6所述的网络信息管理装置,其特征在于,所述调用链模块包括:
起始单元,用于根据客户端发送数据的相关信息及客户端标识ID,对客户端发送的数据添加调用链标签;
添加单元,用于将客户端发送的数据在服务端及客户端交互的顺序及产生的响应添加到所述调用链标签中;
结束单元,用于当客户端接收到所发送数据的响应时,根据所述调用链标签生成调用链信息。
8.如权利要求7所述的网络信息管理装置,其特征在于,所述监控模块包括:
排序单元,用于按照数据交互的时间顺序对交互数据进行排序;
提取单元,用于从排序后的交互数据中提取特征值,所述特征值包括交互数据的类型及调用结果、客户端类型及标识ID、服务端类型及标识ID。
9.如权利要求8所述的网络信息管理装置,其特征在于,所述装置还包括:
提示模块,用于当检测到所述监控数据中存在异常数据时,发送提示信息。
10.如权利要求6至9中任一项所述的网络信息管理装置,其特征在于,所述装置还包括:
统计模块,用于确定客户端发送数据的类型及客户端发送的数据在服务端及客户端交互的时间,生成信息统计报告。
CN201610313405.XA 2016-05-11 2016-05-11 网络信息管理方法及装置 Pending CN105978723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610313405.XA CN105978723A (zh) 2016-05-11 2016-05-11 网络信息管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610313405.XA CN105978723A (zh) 2016-05-11 2016-05-11 网络信息管理方法及装置

Publications (1)

Publication Number Publication Date
CN105978723A true CN105978723A (zh) 2016-09-28

Family

ID=56992311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610313405.XA Pending CN105978723A (zh) 2016-05-11 2016-05-11 网络信息管理方法及装置

Country Status (1)

Country Link
CN (1) CN105978723A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展(北京)有限公司 分布式服务跟踪实现方法
CN106789335A (zh) * 2017-01-13 2017-05-31 泰康保险集团股份有限公司 一种用于处理信息的方法和系统
CN107483294A (zh) * 2017-09-15 2017-12-15 北京奇艺世纪科技有限公司 监控网络请求的方法及装置
CN107508697A (zh) * 2017-07-17 2017-12-22 武汉微摇科技文化有限公司 一种互动页面的监控系统及方法
CN107678869A (zh) * 2017-07-26 2018-02-09 上海壹账通金融科技有限公司 客户端异常定位方法、装置、计算机设备和存储介质
CN107992415A (zh) * 2017-11-28 2018-05-04 中国银联股份有限公司 一种交易系统的故障定位和分析方法及相关服务器
CN108306856A (zh) * 2017-12-26 2018-07-20 努比亚技术有限公司 一种接口合并方法、客户端、服务器及计算机可读存储介质
CN108933695A (zh) * 2018-06-25 2018-12-04 百度在线网络技术(北京)有限公司 用于处理信息的方法和装置
CN109144884A (zh) * 2018-09-29 2019-01-04 平安科技(深圳)有限公司 程序错误定位方法、装置、及计算机可读存储介质
CN109150977A (zh) * 2018-07-24 2019-01-04 中信百信银行股份有限公司 基于交易链路自动生成全局流水号的方法
CN109347688A (zh) * 2018-11-26 2019-02-15 锐捷网络股份有限公司 一种在无线局域网中定位故障的方法和装置
CN110034948A (zh) * 2019-01-11 2019-07-19 阿里巴巴集团控股有限公司 排查系统故障的方法和装置
CN110177153A (zh) * 2019-06-14 2019-08-27 郑州悉知信息科技股份有限公司 一种日志收集系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661512A (zh) * 2009-09-25 2010-03-03 万斌 一种识别传统表单信息并创建对应Web表单的系统及方法
CN102684934A (zh) * 2011-03-17 2012-09-19 阿里巴巴集团控股有限公司 监控web应用程序性能的方法、系统和web服务器
CN103345487A (zh) * 2013-06-24 2013-10-09 北京奇虎科技有限公司 一种多平台之间数据一致性校验的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661512A (zh) * 2009-09-25 2010-03-03 万斌 一种识别传统表单信息并创建对应Web表单的系统及方法
CN102684934A (zh) * 2011-03-17 2012-09-19 阿里巴巴集团控股有限公司 监控web应用程序性能的方法、系统和web服务器
CN103345487A (zh) * 2013-06-24 2013-10-09 北京奇虎科技有限公司 一种多平台之间数据一致性校验的方法和系统

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展(北京)有限公司 分布式服务跟踪实现方法
CN106487596B (zh) * 2016-10-26 2019-12-13 宜人恒业科技发展(北京)有限公司 分布式服务跟踪实现方法
CN106789335A (zh) * 2017-01-13 2017-05-31 泰康保险集团股份有限公司 一种用于处理信息的方法和系统
CN106789335B (zh) * 2017-01-13 2019-12-17 泰康保险集团股份有限公司 一种用于处理信息的方法和系统
CN107508697B (zh) * 2017-07-17 2020-09-11 武汉微摇科技文化有限公司 一种互动页面的监控系统及方法
CN107508697A (zh) * 2017-07-17 2017-12-22 武汉微摇科技文化有限公司 一种互动页面的监控系统及方法
WO2019019394A1 (zh) * 2017-07-26 2019-01-31 上海壹账通金融科技有限公司 客户端异常定位方法、装置、计算机设备和存储介质
CN107678869B (zh) * 2017-07-26 2020-01-10 深圳壹账通智能科技有限公司 客户端异常定位方法、装置、计算机设备和存储介质
CN107678869A (zh) * 2017-07-26 2018-02-09 上海壹账通金融科技有限公司 客户端异常定位方法、装置、计算机设备和存储介质
CN107483294A (zh) * 2017-09-15 2017-12-15 北京奇艺世纪科技有限公司 监控网络请求的方法及装置
CN107483294B (zh) * 2017-09-15 2020-06-19 北京奇艺世纪科技有限公司 监控网络请求的方法及装置
CN107992415A (zh) * 2017-11-28 2018-05-04 中国银联股份有限公司 一种交易系统的故障定位和分析方法及相关服务器
CN108306856A (zh) * 2017-12-26 2018-07-20 努比亚技术有限公司 一种接口合并方法、客户端、服务器及计算机可读存储介质
CN108306856B (zh) * 2017-12-26 2021-01-01 努比亚技术有限公司 一种接口合并方法、客户端、服务器及计算机可读存储介质
CN108933695A (zh) * 2018-06-25 2018-12-04 百度在线网络技术(北京)有限公司 用于处理信息的方法和装置
CN109150977A (zh) * 2018-07-24 2019-01-04 中信百信银行股份有限公司 基于交易链路自动生成全局流水号的方法
CN109144884A (zh) * 2018-09-29 2019-01-04 平安科技(深圳)有限公司 程序错误定位方法、装置、及计算机可读存储介质
CN109347688A (zh) * 2018-11-26 2019-02-15 锐捷网络股份有限公司 一种在无线局域网中定位故障的方法和装置
CN110034948A (zh) * 2019-01-11 2019-07-19 阿里巴巴集团控股有限公司 排查系统故障的方法和装置
CN110034948B (zh) * 2019-01-11 2021-09-21 创新先进技术有限公司 排查系统故障的方法和装置
CN110177153A (zh) * 2019-06-14 2019-08-27 郑州悉知信息科技股份有限公司 一种日志收集系统

Similar Documents

Publication Publication Date Title
CN105978723A (zh) 网络信息管理方法及装置
US20190347282A1 (en) Technology incident management platform
CN101625686B (zh) 一种监控多数据库之间数据一致性的方法及系统
EP3717984B1 (en) Method and apparatus for providing personalized self-help experience
US20090240652A1 (en) Automated collection of human-reviewed data
US20170109676A1 (en) Generation of Candidate Sequences Using Links Between Nonconsecutively Performed Steps of a Business Process
US20200180148A1 (en) Analytical robotic process automation
US20180046956A1 (en) Warning About Steps That Lead to an Unsuccessful Execution of a Business Process
US11042899B2 (en) System and method for tracking users across a plurality of media platforms
CN111475370A (zh) 基于数据中心的运维监控方法、装置、设备及存储介质
JP6160064B2 (ja) 適用判定プログラム、障害検出装置および適用判定方法
CN109637000B (zh) 发票检验方法及装置、存储介质、电子终端
CN112152823B (zh) 网站运行错误监控方法、装置及计算机存储介质
US20170109639A1 (en) General Model for Linking Between Nonconsecutively Performed Steps in Business Processes
CN105119762A (zh) 云平台基于日志实现交易回放和重做的系统及方法
CN103309887B (zh) 用户行为采集的验证方法及验证装置
CN105637488A (zh) 追踪源代码用于末端用户监控
CN112541077B (zh) 一种用于电网用户服务评价的处理方法及系统
CN112433874A (zh) 一种故障定位方法、系统、电子设备及存储介质
CN1953403A (zh) 用于呈现监控报告的方法和系统
Chen et al. Online summarizing alerts through semantic and behavior information
CN109829769B (zh) 一种电子发票查重方法及系统
Güven et al. Towards establishing causality between Change and Incident
CN116225848A (zh) 日志监测方法、装置、设备和介质
US11822578B2 (en) Matching machine generated data entries to pattern clusters

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171220

Address after: 510000 Guangzhou City, Guangzhou, Guangdong, Fangcun Avenue, one of the 314 self compiled

Applicant after: Guangzhou Pinwei Software Co., Ltd.

Address before: Liwan District Fangcun Huahai street Guangzhou city Guangdong province 510000 No. 20 self 1-5 building (only for office use)

Applicant before: Guangzhou VIPSHOP Information and Technology Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160928