CN108449343A - Ssh协议文本数据采集方法、采集器及计算机设备 - Google Patents

Ssh协议文本数据采集方法、采集器及计算机设备 Download PDF

Info

Publication number
CN108449343A
CN108449343A CN201810235859.9A CN201810235859A CN108449343A CN 108449343 A CN108449343 A CN 108449343A CN 201810235859 A CN201810235859 A CN 201810235859A CN 108449343 A CN108449343 A CN 108449343A
Authority
CN
China
Prior art keywords
ssh
source file
reading
data
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810235859.9A
Other languages
English (en)
Other versions
CN108449343B (zh
Inventor
邓少宝
傅斌
黄林峰
廖磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN TYDIC INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN TYDIC INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN TYDIC INFORMATION TECHNOLOGY Co Ltd filed Critical SHENZHEN TYDIC INFORMATION TECHNOLOGY Co Ltd
Priority to CN201810235859.9A priority Critical patent/CN108449343B/zh
Publication of CN108449343A publication Critical patent/CN108449343A/zh
Application granted granted Critical
Publication of CN108449343B publication Critical patent/CN108449343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/16—Implementing security features at a particular protocol layer
    • H04L63/168—Implementing security features at a particular protocol layer above the transport layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种SSH协议文本数据采集方法、采集器及计算机设备。该方法包括：步骤10、SSH资源池管理读取日志源文件所需的连接资源；步骤20、至少一读取组件争抢所述连接资源以读取日志源文件，如果所述SSH资源池没有空闲连接资源，读取组件会等待直到其他读取组件释放连接资源；步骤30、读取组件将读取到的日志源文件数据存放到共享内存中；步骤40、解析组件从所述共享内存中读取日志源文件数据并根据规则做结构化解析，然后将得到的结构化数据保存到所述共享内存中；步骤50、打包发送组件打包压缩从所述共享内存中获取的结构化数据，然后发送至消息中间件。本发明通过SSH协议远程采集目标机器上的文本数据，无需在目标机器上安装额外的程序。

Description

SSH协议文本数据采集方法、采集器及计算机设备
技术领域
本发明涉及通信领域，尤其涉及一种SSH协议文本数据采集方法、采集器及计算机设备。
背景技术
随着企业信息化程度越来越高，面对着各类平台和系统产生的大量日志(设备日志、系统日志和应用日志等)，如何充分发掘日志价值、提升基础运营能力、降低运营风险成为重要课题，建立满足日志的统一存储、统一查询、统一分析、数据共享、智能预警审计派单、运营评估分析形成评估报告等能力的统一日志平台势在必行。
现有技术中一般使用采集器来采集各种日志。现有的采集器，例如flume、logstash等，虽然功能强大、稳定且扩展性良好，但是它们都无法做到在目标机器完全不配合的情况下进行数据采集。
采集器作为日志平台的核心组成部分，现有很多成熟的产品，但这些产品大多数都是通过在目标机器上安装Agent代理程序实现，但是在生产环境中，企业一般不能接受这种方式，所以有必要研发一款利用通用协议进行远程采集的采集器。
发明内容
因此，本发明的目的在于提供一种SSH(安全外壳)协议文本数据采集方法、采集器及计算机设备、计算机可读存储介质，通过SSH协议远程采集目标机器上的文本数据。
为实现上述目的，本发明提供了一种SSH协议文本数据采集方法，包括：
步骤10、SSH资源池管理读取日志源文件所需的连接资源，以供读取组件读取日志源文件时申请连接资源；
步骤20、至少一读取组件争抢所述连接资源以读取日志源文件，如果所述SSH资源池没有空闲连接资源，读取组件会等待直到其他读取组件释放连接资源；
步骤30、读取组件将读取到的日志源文件数据存放到共享内存中；
步骤40、解析组件从所述共享内存中读取日志源文件数据并根据规则做结构化解析，然后将得到的结构化数据保存到所述共享内存中；
步骤50、打包发送组件打包压缩从所述共享内存中获取的结构化数据，然后发送至消息中间件。
其中，所述读取组件根据日志源文件进行创建，一个日志源文件对应一个读取组件。
其中，步骤30中，所述读取组件按行读取日志源文件数据。
本发明还提供了一种SSH协议文本数据采集器，包括：
SSH资源池，用于管理读取日志源文件所需的连接资源，读取组件读取日志源文件时需要向SSH资源池申请连接资源；
至少一读取组件，用于争抢所述连接资源以读取日志源文件，如果SSH资源池没有空闲连接资源，读取组件会等待直到其他读取组件释放连接资源；
共享内存，用于存储读取组件读取到的日志源文件数据；
解析组件，用于从所述共享内存中读取日志源文件数据并根据规则做结构化解析，然后将得到的结构化数据保存到所述共享内存中；以及
打包发送组件，用于打包压缩从所述共享内存中获取的结构化数据，然后发送至消息中间件。
其中，所述读取组件根据日志源文件进行创建，一个日志源文件对应一个读取组件。
其中，所述读取组件按行读取日志源文件数据。
其中，所述解析组件采用一个或多个线程进行处理。
其中，所述打包发送组件采用一个或多个线程进行处理。
本发明还提供了一种计算机设备，包括：处理器；以及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如上述任一项所述的SSH协议文本数据采集方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的SSH协议文本数据采集方法。
综上，本发明的SSH协议文本数据采集方法、采集器及计算机设备、计算机可读存储介质，通过SSH协议远程采集目标机器上的文本数据，无需在目标机器上安装额外的程序。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其他有益效果显而易见。
附图中，
图1为本发明SSH协议文本数据采集器一较佳实施例的采集过程示意图；
图2为本发明SSH协议文本数据采集器一较佳实施例的方框图；
图3为本发明SSH协议文本数据采集方法一较佳实施例的流程图。
具体实施方式
参见图1，其为本发明SSH协议文本数据采集器一较佳实施例的采集过程示意图。在一采集器部署服务器2上可以同时部署多个本发明的采集器1，并且采集器1与对应的目标机器3分别通信连接，使用采集器1从目标机器3采集文本数据，例如目标机器3上的各类日志源文件，然后采集器1将数据发送给消息中间件4。使用本发明的采集器1，无需在目标机器3上安装额外的程序(SSH协议除外)，可以通过SSH协议远程采集目标机器3上的文本数据，采集器1将采集到的数据根据相应的规则，进行结构化处理，并存放到消息中间件4中，例如Kafka、MQ等。
参见图2，其为本发明SSH协议文本数据采集器一较佳实施例的方框图。本发明SSH协议文本数据采集器1的核心程序模块主要包括：SSH资源池5、读取组件6、共享内存7、解析组件8和打包发送组件9；其中读取组件6，可以根据目标机器上的日志源文件进行创建，一个文件可以对应一个读取组件6。具体如下：
SSH资源池5：采集器1启动时，可以创建一个全局的SSH资源池5，SSH资源池5可以管理读取日志源文件所需的连接资源；所有读取组件6读取日志源文件时需要向SSH资源池5申请连接资源，如果没有空闲连接资源，读取组件6会等待直到其他读取组件6释放出连接资源；SSH资源池5有效的控制了读取组件6打开SSH通道的数量，使采集器1对目标机器的影响控制在有限范围内(CPU资源、内存和网络IO)。
读取组件6：主要作用是争抢SSH资源池5的连接资源以读取日志源文件，并可以按行读取日志源文件数据，然后将读取的日志源文件数据存放到共享内存7中；读取组件6可以是唯一一个和日志源绑定的组件，这样做是为了避免文件数据读取不均；读取组件6的数量至少为一个，也可以为多个。读取组件6在读取日志源文件之前，需要先向SSH资源池5发送指令以获得SSH通道，通过SSH协议远程采集目标机器上的日志源文件数据，采集到的日志源文件数据以执行结果集的形式由SSH资源池5发送给读取组件6。
共享内存7：采集器1启动时，可以创建一个全局的共享内存空间，所有读取组件6读取到的日志源文件数据，都可以放到共享内存7中，共享内存7也可以用于存储结构化数据。
解析组件8：采集器1启动时，可以创建一个全局的解析组件8，解析组件8可以为默认一个线程进行处理，并且可设置多个线程同时进行处理以提升效率，解析组件8从共享内存7中读取日志源文件数据并可以根据预设的规则做结构化解析，然后再将结构化数据保存到共享内存7中。
打包发送组件9：采集器1启动时，可以创建一个全局的打包发送组件9，可以为默认一个线程进行处理，并且可设置多个线程同时处理以提升效率，打包发送组件9从共享内存7中获取结构化数据后，将结构化数据打包压缩，然后发送到消息中间件中，例如Kafka、MQ等。
本发明的SSH协议文本数据采集器无需在目标机器上安装额外的程序(SSH协议除外)，通过SSH协议远程采集目标机器上的文本数据，将采集到的数据根据相应的规则，进行结构化处理，并存放到消息中间件中(如：Kafka、MQ等)；除此之外，本发明的SSH协议文本数据采集器对目标机器产生的影响很小(系统资源占用小)，并且性能强大；不考虑网络带宽的情况下，1小时可以采集10G+数据。由于上述优点，本发明可以在电信行业广泛使用，例如用于统一日志平台；本发明的SSH协议文本数据采集器所采集的目标机器可以是电信行业的各类平台和系统，所采集的文本数据可以是各类平台和系统产生的大量日志(设备日志、系统日志和应用日志等)。
参见图3，其为本发明SSH协议文本数据采集方法一较佳实施例的流程图，该方法主要包括：
步骤10、SSH资源池管理读取日志源文件所需的连接资源，以供读取组件读取日志源文件时申请连接资源；
步骤20、至少一读取组件争抢所述连接资源以读取日志源文件，如果所述SSH资源池没有空闲连接资源，读取组件会等待直到其他读取组件释放连接资源；
步骤30、读取组件将读取到的日志源文件数据存放到共享内存中；读取组件可以按行读取日志源文件数据；
步骤40、解析组件从所述共享内存中读取日志源文件数据并根据规则做结构化解析，然后将得到的结构化数据保存到所述共享内存中；解析组件可以为默认一个线程，并且可设置多个线程同时处理以提升效率；
步骤50、打包发送组件打包压缩从所述共享内存中获取的结构化数据，然后发送至消息中间件；打包发送组件可以为默认一个线程，并且可设置多个线程同时处理以提升效率。
读取组件可以根据日志源文件进行创建，一个日志源文件对应一个读取组件，读取组件数量可以为一个或多个；SSH资源池、共享内存、解析组件以及打包发送组件可以为全局的。
本领域技术人员可以理解，本发明的SSH协议文本数据采集方法中全部或部分步骤可以通过硬件来完成，也可以通过程序来控制相关的硬件完成。相应的，本发明提供了一种计算机设备，包括：处理器；以及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现上述的SSH协议文本数据采集方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的SSH协议文本数据采集方法。作为举例，计算机可读存储介质可以是U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等。
综上，本发明的SSH协议文本数据采集方法、采集器及计算机设备、计算机可读存储介质，通过SSH协议远程采集目标机器上的文本数据，无需在目标机器上安装额外的程序。
以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明后附的权利要求的保护范围。

Claims (10)

1.一种SSH协议文本数据采集方法，其特征在于，包括：
步骤10、SSH资源池管理读取日志源文件所需的连接资源，以供读取组件读取日志源文件时申请连接资源；
步骤20、至少一读取组件争抢所述连接资源以读取日志源文件，如果所述SSH资源池没有空闲连接资源，读取组件会等待直到其他读取组件释放连接资源；
步骤30、读取组件将读取到的日志源文件数据存放到共享内存中；
步骤40、解析组件从所述共享内存中读取日志源文件数据并根据规则做结构化解析，然后将得到的结构化数据保存到所述共享内存中；
步骤50、打包发送组件打包压缩从所述共享内存中获取的结构化数据，然后发送至消息中间件。
2.如权利要求1所述的SSH协议文本数据采集方法，其特征在于，所述读取组件根据日志源文件进行创建，一个日志源文件对应一个读取组件。
3.如权利要求1所述的SSH协议文本数据采集方法，其特征在于，步骤30中，所述读取组件按行读取日志源文件数据。
4.一种SSH协议文本数据采集器，其特征在于，包括：
SSH资源池，用于管理读取日志源文件所需的连接资源，读取组件读取日志源文件时需要向SSH资源池申请连接资源；
至少一读取组件，用于争抢所述连接资源以读取日志源文件，如果SSH资源池没有空闲连接资源，读取组件会等待直到其他读取组件释放连接资源；
共享内存，用于存储读取组件读取到的日志源文件数据；
解析组件，用于从所述共享内存中读取日志源文件数据并根据规则做结构化解析，然后将得到的结构化数据保存到所述共享内存中；以及
打包发送组件，用于打包压缩从所述共享内存中获取的结构化数据，然后发送至消息中间件。
5.如权利要求4所述的SSH协议文本数据采集器，其特征在于，所述读取组件根据日志源文件进行创建，一个日志源文件对应一个读取组件。
6.如权利要求4所述的SSH协议文本数据采集器，其特征在于，所述读取组件按行读取日志源文件数据。
7.如权利要求4所述的SSH协议文本数据采集器，其特征在于，所述解析组件采用一个或多个线程进行处理。
8.如权利要求4所述的SSH协议文本数据采集器，其特征在于，所述打包发送组件采用一个或多个线程进行处理。
9.一种计算机设备，其特征在于，包括：处理器；以及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至3中任一项所述的SSH协议文本数据采集方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的SSH协议文本数据采集方法。
CN201810235859.9A 2018-03-21 2018-03-21 Ssh协议文本数据采集方法、采集器及计算机设备 Active CN108449343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810235859.9A CN108449343B (zh) 2018-03-21 2018-03-21 Ssh协议文本数据采集方法、采集器及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810235859.9A CN108449343B (zh) 2018-03-21 2018-03-21 Ssh协议文本数据采集方法、采集器及计算机设备

Publications (2)

Publication Number Publication Date
CN108449343A true CN108449343A (zh) 2018-08-24
CN108449343B CN108449343B (zh) 2021-07-09

Family

ID=63196280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810235859.9A Active CN108449343B (zh) 2018-03-21 2018-03-21 Ssh协议文本数据采集方法、采集器及计算机设备

Country Status (1)

Country Link
CN (1) CN108449343B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241850A (ja) * 2006-03-10 2007-09-20 Net In Kyoto:Kk 大規模ネットワークシステムにおけるログ収集方法
CN104270334A (zh) * 2014-06-13 2015-01-07 国家电网公司 一种ssh网络安全访问协议监测方法
WO2016082370A1 (zh) * 2014-11-25 2016-06-02 中国科学院声学研究所 一种分布式节点组内任务调度方法及系统
CN106371986A (zh) * 2016-09-08 2017-02-01 上海新炬网络技术有限公司 一种日志处理运维监控系统
CN107547589A (zh) * 2016-06-27 2018-01-05 腾讯科技（深圳）有限公司 一种数据采集处理方法以及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241850A (ja) * 2006-03-10 2007-09-20 Net In Kyoto:Kk 大規模ネットワークシステムにおけるログ収集方法
CN104270334A (zh) * 2014-06-13 2015-01-07 国家电网公司 一种ssh网络安全访问协议监测方法
WO2016082370A1 (zh) * 2014-11-25 2016-06-02 中国科学院声学研究所 一种分布式节点组内任务调度方法及系统
CN107547589A (zh) * 2016-06-27 2018-01-05 腾讯科技（深圳）有限公司 一种数据采集处理方法以及装置
CN106371986A (zh) * 2016-09-08 2017-02-01 上海新炬网络技术有限公司 一种日志处理运维监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱能，罗强: ""数据库连接池"", 《JSP开发项目教程》 *

Also Published As

Publication number Publication date
CN108449343B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN101636738B (zh) 用于统一管理系统环境中障碍和容量信息统一监测的方法及其系统
CN112000741B (zh) 内外网数据交换系统、方法、装置、计算机设备和介质
CN103095819A (zh) 推送数据信息的方法及数据信息推送系统
CN103780700A (zh) 一种实现多源异构系统之间兼容与共享的应用系统和方法
CN111752799A (zh) 一种业务链路跟踪方法、装置、设备及储存介质
CN113656824B (zh) 基于区块链和ipfs技术的物联网智能终端信息安全交互方法
US8463737B2 (en) Realtime unification management information data conversion and monitoring apparatus and method for thereof
CN104219316A (zh) 一种分布式系统中的调用请求处理方法及装置
CN103051692B (zh) 支持极限网络环境的移动作业系统工作平台
CN111338893B (zh) 进程日志处理方法、装置、计算机设备以及存储介质
CN110083439B (zh) 分布式事务系统
CN103297485B (zh) 分布式缓存自动管理系统和分布式缓存自动管理方法
CN110727560A (zh) 云服务报警方法及装置
CN112685499B (zh) 一种工作业务流的流程数据同步方法、装置及设备
US10506392B1 (en) Stream-processing of telecommunication diameter event records
CN105260190A (zh) 基于安卓系统分发技术的安卓应用的运行方法和系统
CN102480489A (zh) 一种用于分布式环境下的日志记录方法和设备
CN112165451B (zh) Apt攻击分析方法、系统及服务器
CN103490978A (zh) 终端、服务器和消息监视方法
CN116010494A (zh) 一种支持异构数据源的数据交换系统
CN104038314A (zh) 一种新型的安监联网动态数据实时传输系统及方法
CN112583937A (zh) 一种公有云和私有云结合的可视化便捷云资源部署系统
CN108449343A (zh) Ssh协议文本数据采集方法、采集器及计算机设备
CN112612848B (zh) 数据实时同步的方法及装置、系统、电子设备、存储介质
CN104216707A (zh) 一种支持多种管理模式的统一管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant