CN106445638A - 一种基于容器技术的数据采集和处理系统 - Google Patents

一种基于容器技术的数据采集和处理系统 Download PDF

Info

Publication number
CN106445638A
CN106445638A CN201610874097.8A CN201610874097A CN106445638A CN 106445638 A CN106445638 A CN 106445638A CN 201610874097 A CN201610874097 A CN 201610874097A CN 106445638 A CN106445638 A CN 106445638A
Authority
CN
China
Prior art keywords
data
module
container
processing
linux
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610874097.8A
Other languages
English (en)
Inventor
黄文俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd filed Critical SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd
Priority to CN201610874097.8A priority Critical patent/CN106445638A/zh
Publication of CN106445638A publication Critical patent/CN106445638A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于容器技术的数据采集和处理系统，包括数据采集模块、数据传递模块、包装有数据处理模块的Linux容器、容器管理调度平台，其中，数据采集模块为传统数据采集系统中的采集模块，数据采集模块将采集到的数据发送给数据传递模块。本基于容器技术的数据采集和处理系统，数据处理模块可以进行接收数据的实时处理，可以将数据处理模块与数据采集模块部署在一起，实现了多种数据处理方式的同时部署，同时在数据处理方式变更的情况下，可以很容易的进行更新，各个数据处理模块隔离，互相不会干扰和影响，每个模块可以专注与自身的处理过程。整个系统数据处理有条理，处理效率高。

Description

一种基于容器技术的数据采集和处理系统
技术领域
本发明涉及容器技术领域，具体为一种基于容器技术的数据采集和处理系统。
背景技术
Linux容器作为一类操作系统层面的虚拟化技术成果，旨在立足于单一Linux主机交付多套隔离性Linux环境。与虚拟机不同，容器系统并不需要运行特定的访客操作系统。相反，容器共享同一套主机操作系统内核，同时利用访客操作系统的系统库以交付必要的系统功能。由于无需借助于专门的操作系统，因此容器在启动速度上要远远优于虚拟机，容器能够利用Namespaces、Apparmor、SELinux配置、chroot以及CGroups等Linux内核功能，从而交付一套类似于虚拟机的隔离性环境。Linux安全模块能够确保来自容器的主机设备与内核访问行为受到妥善管理，从而避免入侵活动的发生。除此之外，容器还能够通过其主机操作系统运行多种不同Linux发行版——只要各类操作系统拥有同样的底层CPU架构要求。总体而言，容器技术提供了一种立足于各类Linux发行版的容器镜像创建方式，同时利用API进行容器生命周期管理，通过客户端工具实现与该API的交互，进而提供快照以及不同容器主机之间容器实例迁移等能力，在Linux容器技术持续发展的情况下，容器技术由于系统消耗开销小，应用隔离性好，调度方便，部署简易，更新简单等特点，正在得到越来越大规模的使用。
在传统的数据采集和分析系统中，由于数据分析方法的不确定性，存在随时可能变更和对计算依赖大的问题，因此通常做法是进行数据采集后，先进行存储，然后再进行计算分析。
在进行计算分析时，对相同数据也可能存在多种不同的分析计算方法，得出不同的结果或进行不同的后续操作，同时由于方法的多变，随时可能更新计算方法或添加更多新的计算方法，现有的基于容器技术的数据采集和处理系统并不能很好的应对这些变化，造成数据处理缓慢。
发明内容
本发明要解决的技术问题是克服现有的缺陷，提供一种基于容器技术的数据采集和处理系统，数据处理模块可以进行接收数据的实时处理，可以将数据处理模块与数据采集模块部署在一起，实现了多种数据处理方式的同时部署，同时在数据处理方式变更的情况下，可以很容易的进行更新，各个数据处理模块隔离，互相不会干扰和影响，每个模块可以专注与自身的处理过程，数据处理效率高，可以有效解决背景技术中的问题。
为实现上述目的，本发明提供如下技术方案：一种基于容器技术的数据采集和处理系统，包括数据采集模块、数据传递模块、包装有数据处理模块的Linux容器、容器管理调度平台， 其中，数据采集模块为传统数据采集系统中的采集模块，数据采集模块将采集到的数据发送给数据传递模块，数据传递模块负责数据的分发，通过发现模块从容器管理调度平台上获取到Linux容器信息，然后将数据分别分发给每个可用的Linux容器，Linux容器负责接收数据，并处理数据和后续操作，容器管理调度平台负责启动、停止、更新等调度Linux容器。
作为本发明的一种优选技术方案，用户需要新增数据处理应用时，容器管理调度平台启动新应用，并更新应用记录，用户需要删除数据处理应用时，容器管理调度平台删除应用，并更新应用记录，用户需要更新数据处理应用时，容器管理调度平台启动新应用，删除旧应用，并更新应用记录。
作为本发明的一种优选技术方案，数据传递模块不断读取容器管理调度平台的应用记录，在数据无更新的情况下，等待一段时间后再次进行读取，在有数据更新的情况下，根据更新，开启新的数据传输通道到新的应用上。
作为本发明的一种优选技术方案，所述Linux容器不少于三个，数据处理模块包装在Linux容器内，称其为数据处理应用。
作为本发明的一种优选技术方案，数据传递模块包括数据压缩处理器，所述数据压缩处理器由信号变换模块、A/D转换模块、高速缓存模块、数据压缩模块、数据分包模块和数据存储模块组成，其中，信号变换模块，对数据采集模块采集的数据信号进行抬升和限幅；A/D转换模块，与所述信号变换模块连接，把采集到的数据信号转换成数字量信号；高速缓存模块，与所述A/D转换模块连接，对完成A/D转换的数据进行高速缓存；数据压缩模块，与所述高速缓存模块连接，对高速缓存模块中的数据进行压缩处理；数据分包模块，与所述数据压缩模块连接，将压缩后的数据进行分包处理；数据存储模块，与所述数据分包模块连接，并且对数据信号存储。
与现有技术相比，本发明的有益效果是：本基于容器技术的数据采集和处理系统，第一，数据处理模块可以进行接收数据的实时处理，可以将数据处理模块与数据采集模块部署在一起；第二，可以通过添加，删除，更新容器，来随意的增加，移除和更新数据处理模块，实现了多种数据处理方式的同时部署，同时在数据处理方式变更的情况下，可以很容易的进行更新；第三，各个数据处理模块隔离，互相不会干扰和影响，每个模块可以专注与自身的处理过程。整个系统数据处理有条理，处理效率高。
附图说明
图1为本发明框架结构示意图；
图2为本发明用户控制和数据传递流程图；
图3为本发明数据传递模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：一种基于容器技术的数据采集和处理系统，包括数据采集模块、数据传递模块、包装有数据处理模块的Linux容器、容器管理调度平台， 其中，数据采集模块为传统数据采集系统中的采集模块，数据采集模块将采集到的数据发送给数据传递模块，数据传递模块包括数据压缩处理器，所述数据压缩处理器由信号变换模块、A/D转换模块、高速缓存模块、数据压缩模块、数据分包模块和数据存储模块组成，其中，信号变换模块，对数据采集模块采集的数据信号进行抬升和限幅；A/D转换模块，与所述信号变换模块连接，把采集到的数据信号转换成数字量信号；高速缓存模块，与所述A/D转换模块连接，对完成A/D转换的数据进行高速缓存；数据压缩模块，与所述高速缓存模块连接，对高速缓存模块中的数据进行压缩处理；数据分包模块，与所述数据压缩模块连接，将压缩后的数据进行分包处理；数据存储模块，与所述数据分包模块连接，并且对数据信号存储，数据传递模块负责数据的分发，通过发现模块从容器管理调度平台上获取到Linux容器信息，然后将数据分别分发给每个可用的Linux容器，Linux容器不少于三个，Linux容器负责接收数据，并处理数据和后续操作，容器管理调度平台负责启动、停止、更新等调度Linux容器，系统由数据采集模块，数据传递模块，运行与Linux容器中的数据处理模块和容器管理调度平台组成，数据采集模块负责采集数据，并将采集到的数据发送给数据传递模块，通过将传统的数据处理模块包装在Linux容器内，称其为数据处理应用，数据传递模块拿到数据后，通过读取容器管理调度平台内的记录，发现有若干数据处理应用，则将数据分别发送给数据处理应用，进行数据处理，不同的数据处理应用，可以进行不同的数据处理操作，例如存储，分析，告警，数据存储应用受到容器管理调度平台的调度和控制，通过容器管理调度平台，用户可以随意的增加，运行，停止，删除，更新数据处理应用，用户通过容器管理调度平台进行操作后，容器管理调度平台更新本身记录的容器相关信息，数据处理模块通过读取更新后的容器信息，将数据传递到相应的数据处理应用中，数据处理模块可以进行接收数据的实时处理，可以将数据处理模块与数据采集模块部署在一起。
用户需要新增数据处理应用时，容器管理调度平台启动新应用，并更新应用记录，用户需要删除数据处理应用时，容器管理调度平台删除应用，并更新应用记录，用户需要更新数据处理应用时，容器管理调度平台启动新应用，删除旧应用，并更新应用记录，数据传递模块不断读取容器管理调度平台的应用记录，在数据无更新的情况下，等待一段时间后再次进行读取，在有数据更新的情况下，根据更新，开启新的数据传输通道到新的应用上，可以通过添加，删除，更新容器，来随意的增加，移除和更新数据处理模块，实现了多种数据处理方式的同时部署，同时在数据处理方式变更的情况下，可以很容易的进行更新，各个数据处理模块隔离，互相不会干扰和影响，每个模块可以专注与自身的处理过程。整个系统数据处理有条理，处理效率高。
本基于容器技术的数据采集和处理系统，第一，数据处理模块可以进行接收数据的实时处理，可以将数据处理模块与数据采集模块部署在一起；第二，可以通过添加，删除，更新容器，来随意的增加，移除和更新数据处理模块，实现了多种数据处理方式的同时部署，同时在数据处理方式变更的情况下，可以很容易的进行更新；第三，各个数据处理模块隔离，互相不会干扰和影响，每个模块可以专注与自身的处理过程。整个系统数据处理有条理，处理效率高。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于容器技术的数据采集和处理系统，包括数据采集模块、数据传递模块、包装有数据处理模块的Linux容器、容器管理调度平台， 其中，数据采集模块为传统数据采集系统中的采集模块，数据采集模块将采集到的数据发送给数据传递模块，数据传递模块负责数据的分发，通过发现模块从容器管理调度平台上获取到Linux容器信息，然后将数据分别分发给每个可用的Linux容器，Linux容器负责接收数据，并处理数据和后续操作，容器管理调度平台负责启动、停止、更新等调度Linux容器。
2.根据权利要求1所述的一种基于容器技术的数据采集和处理系统，其特征在于：用户需要新增数据处理应用时，容器管理调度平台启动新应用，并更新应用记录，用户需要删除数据处理应用时，容器管理调度平台删除应用，并更新应用记录，用户需要更新数据处理应用时，容器管理调度平台启动新应用，删除旧应用，并更新应用记录。
3.根据权利要求1所述的一种基于容器技术的数据采集和处理系统，其特征在于：数据传递模块不断读取容器管理调度平台的应用记录，在数据无更新的情况下，等待一段时间后再次进行读取，在有数据更新的情况下，根据更新，开启新的数据传输通道到新的应用上。
4.根据权利要求1所述的一种基于容器技术的数据采集和处理系统，其特征在于：所述Linux容器不少于三个，数据处理模块包装在Linux容器内，称其为数据处理应用。
5.根据权利要求1所述的一种基于容器技术的数据采集和处理系统，其特征在于：数据传递模块包括数据压缩处理器，所述数据压缩处理器由信号变换模块、A/D转换模块、高速缓存模块、数据压缩模块、数据分包模块和数据存储模块组成，其中，信号变换模块，对数据采集模块采集的数据信号进行抬升和限幅；A/D转换模块，与所述信号变换模块连接，把采集到的数据信号转换成数字量信号；高速缓存模块，与所述A/D转换模块连接，对完成A/D转换的数据进行高速缓存；数据压缩模块，与所述高速缓存模块连接，对高速缓存模块中的数据进行压缩处理；数据分包模块，与所述数据压缩模块连接，将压缩后的数据进行分包处理；数据存储模块，与所述数据分包模块连接，并且对数据信号存储。
CN201610874097.8A 2016-10-08 2016-10-08 一种基于容器技术的数据采集和处理系统 Pending CN106445638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610874097.8A CN106445638A (zh) 2016-10-08 2016-10-08 一种基于容器技术的数据采集和处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610874097.8A CN106445638A (zh) 2016-10-08 2016-10-08 一种基于容器技术的数据采集和处理系统

Publications (1)

Publication Number Publication Date
CN106445638A true CN106445638A (zh) 2017-02-22

Family

ID=58171604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610874097.8A Pending CN106445638A (zh) 2016-10-08 2016-10-08 一种基于容器技术的数据采集和处理系统

Country Status (1)

Country Link
CN (1) CN106445638A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310512A (zh) * 2019-07-10 2019-10-08 中国联合网络通信集团有限公司 一种基于5g物联网容器技术的停车场定置管理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887255A (zh) * 2009-05-14 2010-11-17 宝山钢铁股份有限公司 一种实时数据传递装置及其方法
US20110246748A1 (en) * 2010-04-06 2011-10-06 Vanish Talwar Managing Sensor and Actuator Data for a Processor and Service Processor Located on a Common Socket
CN105376303A (zh) * 2015-10-23 2016-03-02 深圳前海达闼云端智能科技有限公司 一种Docker实现系统及其通信方法
CN105407140A (zh) * 2015-10-23 2016-03-16 上海比林电子科技有限公司 一种网络化测试系统的计算资源虚拟化系统及方法
CN105677479A (zh) * 2015-12-30 2016-06-15 北京奇艺世纪科技有限公司 并行运行gpu运算程序的实现方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887255A (zh) * 2009-05-14 2010-11-17 宝山钢铁股份有限公司 一种实时数据传递装置及其方法
US20110246748A1 (en) * 2010-04-06 2011-10-06 Vanish Talwar Managing Sensor and Actuator Data for a Processor and Service Processor Located on a Common Socket
CN105376303A (zh) * 2015-10-23 2016-03-02 深圳前海达闼云端智能科技有限公司 一种Docker实现系统及其通信方法
CN105407140A (zh) * 2015-10-23 2016-03-16 上海比林电子科技有限公司 一种网络化测试系统的计算资源虚拟化系统及方法
CN105677479A (zh) * 2015-12-30 2016-06-15 北京奇艺世纪科技有限公司 并行运行gpu运算程序的实现方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310512A (zh) * 2019-07-10 2019-10-08 中国联合网络通信集团有限公司 一种基于5g物联网容器技术的停车场定置管理方法及系统
CN110310512B (zh) * 2019-07-10 2021-02-19 中国联合网络通信集团有限公司 一种基于5g物联网容器技术的停车场定置管理方法及系统

Similar Documents

Publication Publication Date Title
CN100583099C (zh) 文件系统访问记录的动态采集方法
CN108829350A (zh) 基于区块链的数据迁移方法和装置
CN107818120A (zh) 基于大数据的数据处理方法和装置
CN108156225B (zh) 基于容器云平台的微应用监控系统和方法
CN101520797A (zh) 电力系统跨平台大数据文件高速并发存取方法
CN101789171A (zh) 一种数据传送总线变换方法及系统
CN107729219A (zh) 基于超融合存储系统的资源监控方法、装置及终端
CN108710644A (zh) 一种关于政务大数据处理方法
CN111813774B (zh) 一种基于sysdig系统监控获取溯源信息的方法
CN107147721A (zh) 一种分布式部署的审计数据去重系统
CN106445638A (zh) 一种基于容器技术的数据采集和处理系统
CN103731364B (zh) 基于x86平台实现万兆大流量快速收包的方法
Hsieh et al. Performance evaluation of android ipc for continuous sensing applications
CN107506438A (zh) 一种用于物联网的数据处理存储方法以及装置
CN206021244U (zh) 一种分布式计算机集群下的数据采集系统
CN202771495U (zh) 嵌入式智能交通控制收费终端
CN104317747A (zh) 一种网格接收机的数据缓存与发送装置及方法
CN106412513A (zh) 视频处理系统及处理方法
CN106250406A (zh) 一种日志处理方法
CN106685856B (zh) 智能变电站海量网络报文处理方法、系统和设备
CN104038314B (zh) 一种新型的安监联网动态数据实时传输系统及方法
CN103942123B (zh) 一种反向数据抓取实现云容灾备份的方法及系统
CN103077080A (zh) 基于高性能平台的并行程序性能数据采集方法及装置
CN104965737B (zh) 更新数据的获取方法及装置
CN106557530A (zh) 业务系统、数据修复方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170222

WD01 Invention patent application deemed withdrawn after publication