CN104333485A - 一种基于交换机全量的业务数据采集分析方法及系统 - Google Patents
一种基于交换机全量的业务数据采集分析方法及系统 Download PDFInfo
- Publication number
- CN104333485A CN104333485A CN201410602088.4A CN201410602088A CN104333485A CN 104333485 A CN104333485 A CN 104333485A CN 201410602088 A CN201410602088 A CN 201410602088A CN 104333485 A CN104333485 A CN 104333485A
- Authority
- CN
- China
- Prior art keywords
- message
- oriented middleware
- data
- switch
- data acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种基于交换机的业务数据采集分析方法和系统，所述方法包括：通过业务系统的交换机镜像端口，采集与交换机连接的网卡的数据流，并将采集的数据流存储到消息中间件，再从消息中间件中调用数据流进行分析处理。本发明不用通过在被采集业务系统中修改代码和加入插件等方式获取数据，对被采集的业务系统无感知，对采集系统无性能影响，无干扰，部署快速，且实施条件简单，兼容多种操作系统和多种操作平台。
Description
技术领域
本发明涉及业务数据处理领域，特别是涉及一种基于交换机全量的业务数据采集分析方法及系统。
背景技术
目前在交换机侧的数据采集产品市面上很少，企业也还没有广泛的使用此技术，尤其是对业务系统的监控，告警，用户行为分析等，目前的市场上多是采用在业务系统上修改源码添加日志或页面插码等方式进行数据采集，这些方式对业务系统影响很大，需要对业务系统进行改造，改造成本相当大，还极大地增加了业务系统的风险。
发明内容
本发明提出了一种基于交换机全量的业务数据采集分析方法及系统，用于解决通过业务系统改造的方式洞察业务系统存在风险的技术问题。
为了解决上述问题，本发明提出了一种技术方案：一种基于交换机的业务数据采集分析方法，包括：通过业务系统的交换机镜像端口，采集与交换机连接的网卡的数据流，并将采集的数据流存储到消息中间件，再从消息中间件中调用数据流进行分析处理。
在上述技术方案的基础上，本发明还进行了如下改进。
进一步，还包括：根据业务需求在交换机上设置镜像端口。
进一步，所述采集与交换机连接的网卡的数据流，并将采集的数据流存储到消息中间件具体包括：采用Java技术调用libpcap组件或者winpcap组件读取网卡的数据流，并将数据流封装成与底层tcp协议数据包对应的数据对象，将数据对象的IP和端口与业务系统的IP和端口进行匹配，匹配则存储数据对象至消息中间件。
进一步，所述从消息中间件中调用数据流进行分析处理具体包括：从消息中间件中获取数据流，通过tcp协议的seq和ack以及数据包的长度对数据流进行分析和重组，进而还原成http协议的数据对象，再采用多进程及多线程的方式对还原好的数据对象进行处理。
进一步，所述消息中间件采用tuxedo数据库、DB2数据库或Oracle数据库。
本发明的技术方案还包括一种基于交换机的业务数据采集分析系统，包括：
采集服务器，用于通过业务系统的交换机镜像端口，采集与交换机连接的网卡的数据流，并将采集的数据流存储到消息中间件；
消息中间件，用于所述采集服务器采集的数据流；
分析服务器，用于从消息中间件中调用数据流进行分析处理。
进一步，所述采集服务器、消息中间件和分析服务器均能兼容多种操作系统，包括windows操作系统、unix操作系统和linux操作系统。
进一步，所述采集服务器、消息中间件和分析服务器均能兼容多种操作平台，包括32位操作平台和64位操作平台。
进一步，所述采集服务器为多网卡的服务器，其中一块网卡与维护网络进行连接，以实现远程操作，其余网卡均通过光纤或者网线与业务系统的交换机镜像端口进行连接。
进一步，所述消息中间件采用tuxedo数据库、DB2数据库或Oracle数据库。
本发明的有益效果：本发明不用通过在被采集业务系统中修改代码和加入插件等方式获取业务数据，对被采集的业务系统无感知，对采集系统无性能影响，无干扰，部署快速，且实施条件简单。另外，本发明的交换机数据流采集过程采用多线程、多进程、多平台的操作，可以兼容windows、unix、linux操作系统，也可以兼容32位、64位操作平台，为不同业务系统提供了一个统一业务数据采集分析，为企业和电商、B2B、B2C等系统提供一个用户行为分析的应用、为企业提供一个商业决策解决方案。
附图说明
图1为本发明所述基于交换机的业务数据采集分析方法的流程示意图；
图2为本发明实施例二中应用系统的框架示意图；
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一
如图1所示，本实施例提出了一种基于交换机的业务数据采集分析方法，包括：根据业务需求在交换机上设置镜像端口，通过业务系统的交换机镜像端口，采集与交换机连接的网卡的数据流，并将采集的数据流存储到消息中间件，再从消息中间件中调用数据流进行分析处理。
其中，采用Java技术调用底层libpcap或者winpcap组件读取网卡的数据流，将数据流的分析封装成与底层tcp协议数据包对应的数据对象，根据数据对象的源IP、源端口、目标IP和目标端口与业务系统的IP和端口进行匹配，匹配则存储至消息中间件，否则丢弃。
对应地，本实施例还给出了一种基于交换机的业务数据采集分析系统，包括：
采集服务器，为多网卡的服务器，其中一块网卡与维护网络进行连接进行远程操作，其它的网卡通过光纤或者网线与业务系统的核心交换机的镜像端口进行连接。采集服务器用于通过业务系统的交换机镜像端口，采集与交换机连接的网卡的数据流，并将采集的数据流存储到消息中间件。
消息中间件，用于所述采集服务器采集的数据流。
分析服务器，用于从消息中间件中获取数据流，通过tcp协议的seq、ack以及数据包的长度对数据包进行分析和重组进而还原成http协议的数据对象，采用多进程及多线程的方式对还原好的数据对象进行处理，静态数据(图片、js文件、css文件等)以文件方式进行存储，动态数据(图片、js文件、css文件外)存储至数据库，同时动态数据通过http协议的请求的uri及请求参数与配置的业务系统业务规则的uri和参数进行匹配，如匹配则进行业务分析处理。
其中，所述采集服务器、消息中间件和分析服务器均能兼容多种操作系统，包括windows操作系统、unix操作系统和linux操作系统，且均能兼容多种操作平台，包括32位操作平台和64位操作平台。例如，当采集服务器是一个linux系统时，有linux部署安装版本，如果是一个32位系统的话，对应有32系统版本的应用软件。当采集服务器是一个64位系统的windows，对应的是64位系统安装版本的应用软件。
本实施例中，采集服务器通过把采集上来的业务数据以200-2000mb/s的速度存储到消息中间件，在消息中间件中进行数据交互，其数据交互是通过Java通信实现的。所述采集服务器是兼容多种操作系统和多种操作平台，如可以采集不同类型的TCP/IP包，并解析HTTP包。
实施例二
实施例二公开了一种应用上述业务数据采集方法的应用系统，其框架结构示意图，如图2所示：客户终端访问被采集系统如系统1、系统2到系统N等通过F5过核心交换机，交换机的数据是终端访问系统的全量数据，采集服务器通过java采集交换机镜像端口的数据交易，并和消息中间件MQ进行通信交易保存交易结果，分析服务器用多进程和多线程方式把MQ的交易结果取出进行分析汇总。
其中，所述的客户终端包含连接到业务系统的个人掌上电脑PDA、个人PC、手机终端、终端机等；交换机包括业务系统的核心交换机；所述F5为业务系统的负载均衡，消息中间件包括：tuxedo数据库、DB2数据库和oracle数据库等。
其中个人掌上电脑PDA和个人PC等通过业务网访问业务系统，所有的数据交易都会通过交换机的端口镜像到采集服务器，采集服务器用java把采集到的数据与MQ中间件进行数据交易，再由中间件MQ与实时分析服务器和数据统计服务器进行数据交互。
在本实施例中，基于JAVA语音编程技术开发采集服务器，且交换机的业务数据采集过程中，通过多进程和多线程的方式进行分发处理，模块独立性和耦合性强。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于交换机的业务数据采集分析方法，其特征在于，包括：通过业务系统的交换机镜像端口，采集与交换机连接的网卡的数据流，并将采集的数据流存储到消息中间件，再从消息中间件中调用数据流进行分析处理。
2.根据权利要求1所述的业务数据采集分析方法，其特征在于，还包括：根据业务需求在交换机上设置镜像端口。
3.根据权利要求1所述的业务数据采集分析方法，其特征在于，所述采集与交换机连接的网卡的数据流，并将采集的数据流存储到消息中间件具体包括：采用Java技术调用libpcap组件或者winpcap组件读取网卡的数据流，并将数据流封装成与底层tcp协议数据包对应的数据对象，将数据对象的IP和端口与业务系统的IP和端口进行匹配，匹配则存储数据对象至消息中间件。
4.根据权利要求1所述的业务数据采集分析方法，其特征在于，所述从消息中间件中调用数据流进行分析处理具体包括：从消息中间件中获取数据流，通过tcp协议的seq和ack以及数据包的长度对数据流进行分析和重组，进而还原成http协议的数据对象，再采用多进程及多线程的方式对还原好的数据对象进行处理。
5.根据权利要求1所述的业务数据采集分析方法，其特征在于，所述消息中间件采用tuxedo数据库、DB2数据库或Oracle数据库。
6.一种基于交换机的业务数据采集分析系统，其特征在于，包括：
采集服务器，用于通过业务系统的交换机镜像端口，采集与交换机连接的网卡的数据流，并将采集的数据流存储到消息中间件；
消息中间件，用于所述采集服务器采集的数据流；
分析服务器，用于从消息中间件中调用数据流进行分析处理。
7.根据权利要求6所述的业务数据采集分析系统，其特征在于：所述采集服务器、消息中间件和分析服务器均能兼容多种操作系统，包括windows操作系统、unix操作系统和linux操作系统。
8.根据权利要求6所述的业务数据采集分析系统，其特征在于，所述采集服务器、消息中间件和分析服务器均能兼容多种操作平台，包括32位操作平台和64位操作平台。
9.根据权利要求6所述的业务数据采集分析系统，其特征在于，所述采集服务器为多网卡的服务器，其中一块网卡与维护网络进行连接，以实现远程操作，其余网卡均通过光纤或者网线与业务系统的交换机镜像端口进行连接。
10.根据权利要求6所述的业务数据采集分析系统，其特征在于，所述消息中间件采用tuxedo数据库、DB2数据库或Oracle数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410602088.4A CN104333485A (zh) | 2014-10-31 | 2014-10-31 | 一种基于交换机全量的业务数据采集分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410602088.4A CN104333485A (zh) | 2014-10-31 | 2014-10-31 | 一种基于交换机全量的业务数据采集分析方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104333485A true CN104333485A (zh) | 2015-02-04 |
Family
ID=52408143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410602088.4A Pending CN104333485A (zh) | 2014-10-31 | 2014-10-31 | 一种基于交换机全量的业务数据采集分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104333485A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106371846A (zh) * | 2016-09-06 | 2017-02-01 | 上海天旦网络科技发展有限公司 | 基于网络数据和消息中间件的快速开发方法和业务系统 |
| CN107533476A (zh) * | 2015-10-22 | 2018-01-02 | 甲骨文国际公司 | 用于事务处理环境中的有效载荷数据收集监视和分析的系统和方法 |
| CN107846460A (zh) * | 2017-10-30 | 2018-03-27 | 中国人民解放军战略支援部队航天工程大学 | 一种军事信息系统信息流的复现系统及方法 |
| CN111753007A (zh) * | 2020-06-16 | 2020-10-09 | 国家电网有限公司客户服务中心 | 一种基于多系统下可插拔式组件数据汇聚系统及汇聚方法 |
| CN111931066A (zh) * | 2020-09-11 | 2020-11-13 | 四川新网银行股份有限公司 | 一种实时推荐系统设计方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101388763A (zh) * | 2007-09-12 | 2009-03-18 | 北京启明星辰信息技术有限公司 | 一种支持多种数据库类型的sql注入攻击检测系统 |
| CN101425937A (zh) * | 2007-11-02 | 2009-05-06 | 北京启明星辰信息技术有限公司 | 一种适于高速局域网环境的sql注入攻击检测系统 |
| CN102215102A (zh) * | 2011-06-13 | 2011-10-12 | 中亿企网实业发展（上海）有限公司 | 一种带有时间戳的网络监测数据包的方法及用途 |
| US20130194949A1 (en) * | 2012-01-31 | 2013-08-01 | Db Networks, Inc. | Systems and methods for extracting structured application data from a communications link |
| CN103997439A (zh) * | 2014-06-04 | 2014-08-20 | 腾讯科技（深圳）有限公司 | 一种流量监测方法、装置和系统 |
-
2014
- 2014-10-31 CN CN201410602088.4A patent/CN104333485A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101388763A (zh) * | 2007-09-12 | 2009-03-18 | 北京启明星辰信息技术有限公司 | 一种支持多种数据库类型的sql注入攻击检测系统 |
| CN101425937A (zh) * | 2007-11-02 | 2009-05-06 | 北京启明星辰信息技术有限公司 | 一种适于高速局域网环境的sql注入攻击检测系统 |
| CN102215102A (zh) * | 2011-06-13 | 2011-10-12 | 中亿企网实业发展（上海）有限公司 | 一种带有时间戳的网络监测数据包的方法及用途 |
| US20130194949A1 (en) * | 2012-01-31 | 2013-08-01 | Db Networks, Inc. | Systems and methods for extracting structured application data from a communications link |
| CN103997439A (zh) * | 2014-06-04 | 2014-08-20 | 腾讯科技（深圳）有限公司 | 一种流量监测方法、装置和系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107533476A (zh) * | 2015-10-22 | 2018-01-02 | 甲骨文国际公司 | 用于事务处理环境中的有效载荷数据收集监视和分析的系统和方法 |
| US11038963B2 (en) | 2015-10-22 | 2021-06-15 | Oracle International Corporation | System and method for data payload collection monitoring and analysis in a transaction processing environment |
| US11848988B2 (en) | 2015-10-22 | 2023-12-19 | Oracle International Corporation | System and method for data payload collection monitoring and analysis in a transaction processing environment |
| CN106371846A (zh) * | 2016-09-06 | 2017-02-01 | 上海天旦网络科技发展有限公司 | 基于网络数据和消息中间件的快速开发方法和业务系统 |
| CN107846460A (zh) * | 2017-10-30 | 2018-03-27 | 中国人民解放军战略支援部队航天工程大学 | 一种军事信息系统信息流的复现系统及方法 |
| CN107846460B (zh) * | 2017-10-30 | 2020-09-25 | 中国人民解放军战略支援部队航天工程大学 | 一种军事信息系统信息流的复现系统及方法 |
| CN111753007A (zh) * | 2020-06-16 | 2020-10-09 | 国家电网有限公司客户服务中心 | 一种基于多系统下可插拔式组件数据汇聚系统及汇聚方法 |
| CN111931066A (zh) * | 2020-09-11 | 2020-11-13 | 四川新网银行股份有限公司 | 一种实时推荐系统设计方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20150170070A1 (en) | Method, apparatus, and system for monitoring website | |
| CN104333485A (zh) | 一种基于交换机全量的业务数据采集分析方法及系统 | |
| CN107169094B (zh) | 信息聚合方法及装置 | |
| CN107678933A (zh) | 日志生成管理方法、装置、设备及计算机可读存储介质 | |
| US11232479B2 (en) | Methods and systems to evaluate and determine degree of pretense in online advertisement | |
| US8645532B2 (en) | Methods and computer program products for monitoring the contents of network traffic in a network device | |
| CN103546343B (zh) | 网络流量分析系统的网络流量展示方法和系统 | |
| CN110519077A (zh) | 一种日志采集系统、方法、装置、服务器及存储介质 | |
| CN103678372B (zh) | 一种用于获取页面的应用性能的方法和设备 | |
| CN103297291A (zh) | 网站实时状态监控方法及系统 | |
| CN110392039A (zh) | 基于日志和流量采集的网络系统事件溯源方法及系统 | |
| WO2019015670A1 (zh) | 跟踪、监控软件行为的方法、装置及设备 | |
| CN106878397A (zh) | 一种web用户行为反馈方法及系统 | |
| CN106067879B (zh) | 信息的检测方法及装置 | |
| WO2016018342A1 (en) | Remote session information based on process identifier | |
| CN108170609A (zh) | 程序漏洞的定位方法、装置、计算机设备及可读存储介质 | |
| CN105099769A (zh) | 业务平台的异常操作处理方法、设备和系统 | |
| CN107577550B (zh) | 一种确定访问请求的响应是否异常的方法及装置 | |
| CN107517188A (zh) | 一种基于安卓系统的数据处理方法和装置 | |
| CN103618639A (zh) | 媒体数据的监测方法、装置及系统 | |
| CN108334429A (zh) | 用于排查前端页面问题的方法、装置及系统 | |
| EP3096492A1 (en) | Page push method, device, server and system | |
| CN108121637B (zh) | 一种用于记录应用日志的方法与装置 | |
| Wang et al. | Smart devices information extraction in home wi‐fi networks | |
| US7849183B1 (en) | Method of monitoring network and application performance by analyzing web clients and web servers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150204 |