CN108363802A - 基于容器的文本收集方法及其系统 - Google Patents

Abstract

本发明涉及基于容器的文本收集方法及其系统，该方法包括获取被收集容器产生的文本文件，并将文本文件挂载至数据卷中；将文本收集容器运行至被收集容器的同一节点中；将数据卷挂载至文本收集容器中；扫描数据卷内文本文件的内容；判断数据卷内的文本文件是否发生变化；若是，获取文本文件的变化内容，对变化内容进行分类处理并存储；若否，返回扫描数据卷内文本文件的内容的步骤。本发明通过数据卷对被收集容器产生的文本文件进行挂载，利用与被收集容器处于同一节点的文本手机容器挂载数据卷，以容器ID作为目录区分开不同容器产生的文件，方便对文本文件的管理和查看，且利用文本收集容器收集多个文本文件，不受容器引擎的限制，存储文件清晰。

Description

基于容器的文本收集方法及其系统

技术领域

本发明涉及文本收集方法，更具体地说是指基于容器的文本收集方法及其系统。

背景技术

随着虚拟化需求的日益扩张，各种虚拟化技术得到了广泛的应用，基于hypervisor虚拟化技术已经相当成熟，但仍然存在一些性能和资源使用效率方面的问题，因此，容器技术开始得到了大家的青睐。

容器技术是(容器技术定义)，由于容器技术的灵活性需要，容器的运行数据一般都不会做持久化存储，而且随着物理机节点规模的扩大，容器还需要使用各种调度平台实现跨节点迁移，因此如何收集和保存容器运行产生的一些文本信息，如日志等重要信息，就成了容器技术应用中的一大难点。

现有的容器文本收集技术主要有两种方式：一是通过挂载的方式将文本文件挂载到本地磁盘或共享存储中，这种方式存在的问题是不具有灵活性，一旦容器所在的节点出现问题，挂载出来的文件就可能丢失，而且文本文件本身也不存在标签，这些文本的产生容器、产生节点等信息都无法获取，而且一旦有多个容器产生的同名文件存在，还将造成多个容器产生的文件保存在同一个文件中造成文件混乱；二是通过容器引擎的转发并使用全文搜索引擎存储，这种方式需要容器引擎提供格式化的文本数据，并通过一些收集工具将之保存到全文搜索引擎中。这个方案的缺点是对容器引擎的依赖性太强，只能手机容器引擎提供出来的文本数据，不能根据自己的需求收集不同目录下的不同文本数据。

因此，有必要设计一种新的文本收集方法，实现存储文件清晰，且不受容器引擎的限制。

发明内容

本发明的目的在于克服现有技术的缺陷，提供基于容器的文本收集方法及其系统。

为实现上述目的，本发明采用以下技术方案：基于容器的文本收集方法，所述方法包括：

获取被收集容器产生的文本文件，并将文本文件挂载至数据卷中；

将文本收集容器运行至被收集容器的同一节点中；

将数据卷挂载至文本收集容器中；

扫描数据卷内文本文件的内容；

判断数据卷内的文本文件是否发生变化；

若是，则获取文本文件的变化内容，对变化内容进行分类处理并存储；

若否，则返回扫描数据卷内文本文件的内容的步骤。

其进一步技术方案为：获取文本文件的变化内容，对变化内容进行分类处理并存储的步骤，包括以下具体步骤：

获取文本文件的变化内容；

将文本文件的变化内容挂载至文本收集容器的共享存储内；

针对共享存储内的文本文件以文本收集容器的ID作为目录名进行区分；

针对区分后的文本文件进行存储。

其进一步技术方案为：针对区分后的文本文件进行存储的步骤，包括以下具体步骤：

对共享存储内的文本文件进行收集，形成待存储文本文件；

对待存储文本文件进行打标签，形成带标签的文本文件；

将带标签的文本文件存储于全文搜索引擎中。

本发明还提供了基于容器的文本收集系统，包括文件挂载单元、容器运行单元、数据卷挂载单元、扫描单元、判断单元以及文件处理单元；

所述文件挂载单元，用于获取被收集容器产生的文本文件，并将文本文件挂载至数据卷中；

所述容器运行单元，用于将文本收集容器运行至被收集容器的同一节点中；

所述数据卷挂载单元，用于将数据卷挂载至文本收集容器中；

所述扫描单元，用于扫描数据卷内文本文件的内容；

所述判断单元，用于判断数据卷内的文本文件是否发生变化；

所述文件处理单元，用于若是，则获取文本文件的变化内容，对变化内容进行分类处理并存储。

其进一步技术方案为：所述文件处理单元包括内容获取模块、内容挂载模块、区分模块以及存储模块；

所述内容获取模块，用于获取文本文件的变化内容；

所述内容挂载模块，用于将文本文件的变化内容挂载至文本收集容器的共享存储内；

所述区分模块，用于针对共享存储内的文本文件以文本收集容器的ID作为目录名进行区分；

所述存储模块，用于针对区分后的文本文件进行存储。

其进一步技术方案为：所述存储模块包括收集子模块、打标签子模块以及引擎存储子模块；

所述收集子模块，用于对共享存储内的文本文件进行收集，形成待存储文本文件；

所述打标签子模块，用于对待存储文本文件进行打标签，形成带标签的文本文件；

所述引擎存储子模块，用于将带标签的文本文件存储于全文搜索引擎中。

本发明与现有技术相比的有益效果是：本发明的基于容器的文本收集方法，通过数据卷对被收集容器产生的文本文件进行挂载，利用与被收集容器处于同一节点的文本手机容器挂载数据卷，对文本文件的变化内容进行共享存储，以容器ID作为目录区分开不同容器产生的文件，方便对文本文件的管理和查看，且利用文本收集容器收集多个文本文件，不受容器引擎的限制，存储文件清晰。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

图1为本发明具体实施例提供的基于容器的文本收集方法的流程图；

图2为本发明具体实施例提供的获取文本文件的变化内容并对变化内容进行分类处理并存储的流程图；

图3为本发明具体实施例提供的针对区分后的文本文件进行存储的流程图；

图4为本发明具体实施例提供的实际生产机上的性能的文本收集表格；

图5为本发明具体实施例提供的基于容器的文本收集系统的结构框图；

图6为本发明具体实施例提供的文件处理单元的结构框图；

图7为本发明具体实施例提供的存储模块的结构框图。

具体实施方式

为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。

如图1～7所示的具体实施例，本实施例提供的基于容器的文本收集方法，可以云计算产品、容器服务日志收集以及政企云计算项目的日志收集，包含系统日志及业务日志，实现存储文件清晰，且不受容器引擎的限制。

如图1所示，本实施例提供了基于容器的文本收集方法，该方法包括：

S1、获取被收集容器产生的文本文件，并将文本文件挂载至数据卷中；

S2、将文本收集容器运行至被收集容器的同一节点中；

S3、将数据卷挂载至文本收集容器中；

S4、扫描数据卷内文本文件的内容；

S5、判断数据卷内的文本文件是否发生变化；

若是，则S6、获取文本文件的变化内容，对变化内容进行分类处理并存储；

若否，则返回S4步骤。

上述的S1步骤，当被收集容器一旦产生文本文件，则将该文本文件挂载到一个数据卷中，以便于从数据卷中挂载到其他的容器内做分类存储。

对于上述的S2步骤，具体是利用容器编排工具将一个文本收集容器运行在被收集容器的同一个节点中。

对于上述的S3步骤，是将有文本内容的数据卷同时挂载到文件收集容器中。

对于上述的S4步骤，在文本收集容器中运行有文本转写软件，该软件可以扫描数据卷中文本文件的内容变化。

更进一步地，在某些实施例中，上述的S6步骤，获取文本文件的变化内容，对变化内容进行分类处理并存储的步骤，包括以下具体步骤：

S61、获取文本文件的变化内容；

S62、将文本文件的变化内容挂载至文本收集容器的共享存储内；

S63、针对共享存储内的文本文件以文本收集容器的ID作为目录名进行区分；

S64、针对区分后的文本文件进行存储。

将变化内容通过统一的数据流格式写入到挂载在文本收集容器上的一个共享存储中，在写入的时候以容器ID作为目录名区分不同容器产生的文本文件。

另外，在某些实施例中，上述的S64步骤，针对区分后的文本文件进行存储的步骤，包括以下具体步骤：

S641、对共享存储内的文本文件进行收集，形成待存储文本文件；

S642、对待存储文本文件进行打标签，形成带标签的文本文件；

S643、将带标签的文本文件存储于全文搜索引擎中。

运行文本收集容器内的文本采集软件，收集共享存储中的文本文件，并打上各种标签将之存入全文搜索引擎中，这样用户既可以在共享存储中获得整体的文本文件，也可以通过全文搜索引擎获取格式化后的逐行文本信息。

通过文本收集容器作为中转收集容器的方式，非侵入的收集了被收集容器中的文本文件，被收集容器无需做任何工作，通过文本收集容器的中转，还可以对文本内容进行格式统一化、过滤有效内容等工作，文本统一收集到共享存储中，以容器ID作为目录区分开不同容器产生的文件，方便对文件的管理和查看，同时，文本采集软件只需要对共享存储进行采集，对容器本身所处的节点等情况不需要做对应配置，增强了软件的健壮性。

将不同容器生成的同名文本文件分开，而且即使节点本身出现离线等情况，文本文件也不会丢失；相对于通过容器引擎收集文本文件，能收集多个文件，不受容器引擎的限制。

举个例子：使用Kubernetes的Pod特性，将被收集容器和文本收集容器放在同一个Pod中，保证两个容器被调度到同一个节点中，在文本收集容器中，实现了一个文本文件转写工具，将被采集容器的文本挂载到采集容器的特定目录下，转写工具使用echo的方式将文本文件写在共享存储的以容器ID为名称的目录中，达到区分不同容器对应文件的目的，在文本被存入共享存储后，单独部署文件采集工具，将文本逐行添加容器ID、服务名称和来源文件等标签后，存入全文搜索引擎中，应用可以从全文搜索引擎中查找到文本数据并展示出来，经检测，应用程序可以直接从数据库获动态获取到文本文件的变化内容。另外，如图4所示，为深圳市气象局气象服务在线管理平台采用该方法在实际生产机上的性能表现。

再举个例子：通过对组件配置进行修改，来定义日志的采集形式；以Kibana中可以制定详细的图表以及模板，来得到精确的结果；Elasticsearch可以通过规则来定义日志的接收和保留模式；以k8s进行容器调度。启动后通过浏览器访问kibana服务端口，初次启用的时候，会显示创建索引的页面，索引中使用logstash-*是因为fluentd使用索引格式为logstash同样格式；“logstash_format true”如果time-field name中无选项，create按钮会显示灰色，无法创建，此时需要检查fluentd是否已经正常启动和将日志传入elasticsearch，此时可以根据显示tag来对结果进行过滤显示；当然也可以将K8s应用分类显示，具体包括K8s pod名称区分、K8s node主机区分以及其他区分方式，需要用指定方式进行区分时，点击放大镜符号，结果和图样会自动更新；在界面上会有过滤条件项，删除此项则会清除过滤条件；也可以在search中自定义搜索过滤条件。对于单条容器日志内容而言，每条从docker所获取的容器日志包含以下几项：时间、日志信息、流，分为标准输出，标准错误输出等、容器的唯一标识ID、容器在k8s中的namespace、pod id、pod名称、资源名称、标签信息、所在主机、docker log日志文件名、时间戳、日志id、日志类型、日志索引，通常是日志产生的日期、无项等内容。非容器日志会有不同的标签项，如web的get形式，拥有method、req.url、statusCode、response等项。

对于检查服务状态，首先可以通过k8s集群中pod状态进行检查，代码如下：

通过curl命令检查elasticsearch服务状态，能访问到即为正常，代码如下：

通过curl访问kibana服务端口，此代码如下：

有回应即为正常，正常情况下点击create即会出现日志信息界面。

上述的基于容器的文本收集方法，通过数据卷对被收集容器产生的文本文件进行挂载，利用与被收集容器处于同一节点的文本手机容器挂载数据卷，对文本文件的变化内容进行共享存储，以容器ID作为目录区分开不同容器产生的文件，方便对文本文件的管理和查看，且利用文本收集容器收集多个文本文件，不受容器引擎的限制，存储文件清晰。

如图5所示，本实施例还提供了基于容器的文本收集系统，其包括文件挂载单元1、容器运行单元2、数据卷挂载单元3、扫描单元4、判断单元5以及文件处理单元6。

文件挂载单元1，用于获取被收集容器产生的文本文件，并将文本文件挂载至数据卷中。

容器运行单元2，用于将文本收集容器运行至被收集容器的同一节点中。

数据卷挂载单元3，用于将数据卷挂载至文本收集容器中。

扫描单元4，用于扫描数据卷内文本文件的内容。

判断单元5，用于判断数据卷内的文本文件是否发生变化。

文件处理单元6，用于若是，则获取文本文件的变化内容，对变化内容进行分类处理并存储。

对于上述的文件挂载单元1，当被收集容器一旦产生文本文件，则将该文本文件挂载到一个数据卷中，以便于从数据卷中挂载到其他的容器内做分类存储。

对于上述的容器运行单元2而言，具体是利用容器编排工具将一个文本收集容器运行在被收集容器的同一个节点中。

对于上述的数据卷挂载单元3，是将有文本内容的数据卷同时挂载到文件收集容器中。

对于上述的扫描单元4而言，在文本收集容器中运行有文本转写软件，该软件可以扫描数据卷中文本文件的内容变化。

更进一步地，在某些实施例中，上述的文件处理单元6包括内容获取模块61、内容挂载模块62、区分模块63以及存储模块64。

内容获取模块61，用于获取文本文件的变化内容。

内容挂载模块62，用于将文本文件的变化内容挂载至文本收集容器的共享存储内。

区分模块63，用于针对共享存储内的文本文件以文本收集容器的ID作为目录名进行区分。

存储模块64，用于针对区分后的文本文件进行存储。

将变化内容通过统一的数据流格式写入到挂载在文本收集容器上的一个共享存储中，在写入的时候以容器ID作为目录名区分不同容器产生的文本文件。

另外，在某些实施例中，上述的存储模块64包括收集子模块641、打标签子模块642以及引擎存储子模块643。

收集子模块641，用于对共享存储内的文本文件进行收集，形成待存储文本文件。

打标签子模块642，用于对待存储文本文件进行打标签，形成带标签的文本文件。

引擎存储子模块643，用于将带标签的文本文件存储于全文搜索引擎中。

运行文本收集容器内的文本采集软件，收集共享存储中的文本文件，并打上各种标签将之存入全文搜索引擎中，这样用户既可以在共享存储中获得整体的文本文件，也可以通过全文搜索引擎获取格式化后的逐行文本信息。

通过文本收集容器作为中转收集容器的方式，非侵入的收集了被收集容器中的文本文件，被收集容器无需做任何工作，通过文本收集容器的中转，还可以对文本内容进行格式统一化、过滤有效内容等工作，文本统一收集到共享存储中，以容器ID作为目录区分开不同容器产生的文件，方便对文件的管理和查看，同时，文本采集软件只需要对共享存储进行采集，对容器本身所处的节点等情况不需要做对应配置，增强了软件的健壮性。

将不同容器生成的同名文本文件分开，而且即使节点本身出现离线等情况，文本文件也不会丢失；相对于通过容器引擎收集文本文件，能收集多个文件，不受容器引擎的限制。

举个例子：使用Kubernetes的Pod特性，将被收集容器和文本收集容器放在同一个Pod中，保证两个容器被调度到同一个节点中，在文本收集容器中，实现了一个文本文件转写工具，将被采集容器的文本挂载到采集容器的特定目录下，转写工具使用echo的方式将文本文件写在共享存储的以容器ID为名称的目录中，达到区分不同容器对应文件的目的，在文本被存入共享存储后，单独部署文件采集工具，将文本逐行添加容器ID、服务名称和来源文件等标签后，存入全文搜索引擎中，应用可以从全文搜索引擎中查找到文本数据并展示出来，经检测，应用程序可以直接从数据库获动态获取到文本文件的变化内容。另外，如图4所示，为深圳市气象局气象服务在线管理平台采用该方法在实际生产机上的性能表现。

再举个例子：通过对组件配置进行修改，来定义日志的采集形式；以Kibana中可以制定详细的图表以及模板，来得到精确的结果；Elasticsearch可以通过规则来定义日志的接收和保留模式；以k8s进行容器调度。启动后通过浏览器访问kibana服务端口，初次启用的时候，会显示创建索引的页面，索引中使用logstash-*是因为fluentd使用索引格式为logstash同样格式；“logstash_format true”如果time-field name中无选项，create按钮会显示灰色，无法创建，此时需要检查fluentd是否已经正常启动和将日志传入elasticsearch，此时可以根据显示tag来对结果进行过滤显示；当然也可以将K8s应用分类显示，具体包括K8s pod名称区分、K8s node主机区分以及其他区分方式，需要用指定方式进行区分时，点击放大镜符号，结果和图样会自动更新；在界面上会有过滤条件项，删除此项则会清除过滤条件；也可以在search中自定义搜索过滤条件。对于单条容器日志内容而言，每条从docker所获取的容器日志包含以下几项：时间、日志信息、流，分为标准输出，标准错误输出等、容器的唯一标识ID、容器在k8s中的namespace、pod id、pod名称、资源名称、标签信息、所在主机、docker log日志文件名、时间戳、日志id、日志类型、日志索引，通常是日志产生的日期、无项等内容。非容器日志会有不同的标签项，如web的get形式，拥有method、req.url、statusCode、response等项。

对于检查服务状态，首先可以通过k8s集群中pod状态进行检查，代码如下：

通过curl命令检查elasticsearch服务状态，能访问到即为正常，代码如下：

通过curl访问kibana服务端口，此代码如下：

有回应即为正常，正常情况下点击create即会出现日志信息界面。

上述的基于容器的文本收集系统，通过数据卷对被收集容器产生的文本文件进行挂载，利用与被收集容器处于同一节点的文本手机容器挂载数据卷，对文本文件的变化内容进行共享存储，以容器ID作为目录区分开不同容器产生的文件，方便对文本文件的管理和查看，且利用文本收集容器收集多个文本文件，不受容器引擎的限制，存储文件清晰。

上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。

Claims (6)

1.基于容器的文本收集方法，其特征在于，所述方法包括：

获取被收集容器产生的文本文件，并将文本文件挂载至数据卷中；

将文本收集容器运行至被收集容器的同一节点中；

将数据卷挂载至文本收集容器中；

扫描数据卷内文本文件的内容；

判断数据卷内的文本文件是否发生变化；

若是，则获取文本文件的变化内容，对变化内容进行分类处理并存储；

若否，则返回扫描数据卷内文本文件的内容的步骤。

2.根据权利要求1所述的基于容器的文本收集方法，其特征在于，获取文本文件的变化内容，对变化内容进行分类处理并存储的步骤，包括以下具体步骤：

获取文本文件的变化内容；

将文本文件的变化内容挂载至文本收集容器的共享存储内；

针对共享存储内的文本文件以文本收集容器的ID作为目录名进行区分；

针对区分后的文本文件进行存储。

3.根据权利要求1或2所述的基于容器的文本收集方法，其特征在于，针对区分后的文本文件进行存储的步骤，包括以下具体步骤：

对共享存储内的文本文件进行收集，形成待存储文本文件；

对待存储文本文件进行打标签，形成带标签的文本文件；

将带标签的文本文件存储于全文搜索引擎中。

4.基于容器的文本收集系统，其特征在于，包括文件挂载单元、容器运行单元、数据卷挂载单元、扫描单元、判断单元以及文件处理单元；

所述文件挂载单元，用于获取被收集容器产生的文本文件，并将文本文件挂载至数据卷中；

所述容器运行单元，用于将文本收集容器运行至被收集容器的同一节点中；

所述数据卷挂载单元，用于将数据卷挂载至文本收集容器中；

所述扫描单元，用于扫描数据卷内文本文件的内容；

所述判断单元，用于判断数据卷内的文本文件是否发生变化；

所述文件处理单元，用于若是，则获取文本文件的变化内容，对变化内容进行分类处理并存储。

5.根据权利要求4所述的基于容器的文本收集系统，其特征在于，所述文件处理单元包括内容获取模块、内容挂载模块、区分模块以及存储模块；

所述内容获取模块，用于获取文本文件的变化内容；

所述内容挂载模块，用于将文本文件的变化内容挂载至文本收集容器的共享存储内；

所述区分模块，用于针对共享存储内的文本文件以文本收集容器的ID作为目录名进行区分；

所述存储模块，用于针对区分后的文本文件进行存储。

6.根据权利要求5所述的基于容器的文本收集系统，其特征在于，所述存储模块包括收集子模块、打标签子模块以及引擎存储子模块；

所述收集子模块，用于对共享存储内的文本文件进行收集，形成待存储文本文件；

所述打标签子模块，用于对待存储文本文件进行打标签，形成带标签的文本文件；

所述引擎存储子模块，用于将带标签的文本文件存储于全文搜索引擎中。