CN107800520A - 基于高速环境下的高可用无损失数据采集存储系统 - Google Patents

基于高速环境下的高可用无损失数据采集存储系统 Download PDF

Info

Publication number
CN107800520A
CN107800520A CN201710869203.8A CN201710869203A CN107800520A CN 107800520 A CN107800520 A CN 107800520A CN 201710869203 A CN201710869203 A CN 201710869203A CN 107800520 A CN107800520 A CN 107800520A
Authority
CN
China
Prior art keywords
module
server end
data
database
engine system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710869203.8A
Other languages
English (en)
Inventor
王军民
杨波
潘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Sheng Yun Photoelectric Technology Co Ltd
Original Assignee
Hunan Sheng Yun Photoelectric Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Sheng Yun Photoelectric Technology Co Ltd filed Critical Hunan Sheng Yun Photoelectric Technology Co Ltd
Priority to CN201710869203.8A priority Critical patent/CN107800520A/zh
Publication of CN107800520A publication Critical patent/CN107800520A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/22—Arrangements for detecting or preventing errors in the information received using redundant apparatus to increase reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space

Abstract

本发明公开了基于高速环境下的高可用无损失数据采集存储系统，包括客户端采集模块、服务器端模块和后台数据库，后台数据库连接有数据库引擎系统，客户端采集模块通过主连接端口连接服务器端主模块的输入端，服务器端主模块的输出端通过数据库主引擎系统连接后台数据库，客户端采集模块通过从连接端口连接服务器端从模块的输入端，服务器端从模块的输出端通过数据库从引擎系统连接后台数据库。本发明能够在高流量以及突发巨大流量的环境下，将数据高稳定、高可靠地发送到服务器端模块，同时保证服务器端主模块和服务器端从模块切换过程中的异常情况下，将采集数据无损的转发到后台数据库。

Description

基于高速环境下的高可用无损失数据采集存储系统
技术领域
本发明涉及信息采集及分析技术领域，具体是基于高速环境下的高可用无损失数据采集存储系统。
背景技术
在数据采集系统运行过程，需要将系统运行的参数、状态等信息记录下来，以供将来对系统的状态进行分析。军方数据采集系统运行于野外机载设备，主要运行野外，外界环境恶劣，不但需要面对各种自然界各种复杂环境，而且由于系统设备处于运动环境，还需要面对颠簸等各种突发状况。
目前采用双机备份的技术来保证数据采集的高可靠性，双机备份包括采集过程的备份以及后台数据的备份，当前后台数据库备份技术已经成熟，只需利用合理的数据库技术，就可以达到数据库引擎以及数据库存储的备份目的；而采集过程备份由于各系统应用目的不同，目前设计采用双采集热备份系统的架构相对较少，尤其是还没有实现在双备份采集系统中，系统采集数据能够无损地切换的算法和架构。
中国专利CN201610959821.7揭示了设计一种集成化高可靠高精度长期监测系统，包括两个换流采编单元、两个综合控制器、交换机、两个监控计算机、解决了系统设备组成复杂、精度低、长期可靠性不足的问题，实现了系统高可靠、高精度以及长期监测的功能，该发明采用硬件上双机备份，达到高可靠的目的，但是该系统主要采用硬件备份达到高可靠目的，没有解决在双机切换过程中的数据丢失问题。
发明内容
本发明的目的在于提供一种精度高、可靠性好的基于高速环境下的高可用无损失数据采集存储系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
基于高速环境下的高可用无损失数据采集存储系统，包括客户端采集模块、服务器端模块和后台数据库，所述服务器端模块包括服务器端主模块和服务器端从模块，所述后台数据库连接有数据库引擎系统，所述数据库引擎系统包括数据库主引擎系统和数据库从引擎系统，所述客户端采集模块通过主连接端口连接服务器端主模块的输入端，服务器端主模块的输出端通过所述数据库主引擎系统连接后台数据库，所述客户端采集模块通过从连接端口连接服务器端从模块的输入端，服务器端从模块的输出端通过所述数据库从引擎系统连接后台数据库。
作为本发明进一步的方案：所述客户端采集模块采用静态编译技术、高速缓存技术和异步编程技术。
作为本发明再进一步的方案：所述客户端采集模块包括数据采集模块、数据发送模块和发送后数据回收模块，所述数据采集模块底层读取采集的数据，将采集的数据插入发送缓存队列尾部，并通知数据发送模块发送，所述数据发送模块为无限循环发送处理线程，连接当前服务器端主模块，采用异步非阻塞方式发送网络数据；所述发送后数据回收模块为回调函数模块，当发送数据完成后，由底层操作系统调用本函数模块。
与现有技术相比，本发明的有益效果是：
本发明中客户端采集模块负责采集系统的结构化以及非结构化数据，本发明能够在高流量以及突发巨大流量的环境下(突发流量10K包/s及10MB/s)，将数据高稳定、高可靠地发送到服务器端模块，同时保证服务器端主模块和服务器端从模块切换过程中的异常情况下，将采集数据无损的转发到后台数据库。
附图说明
图1为本发明的结构示意图。
图2为本发明中客户端采集模块的结构示意图。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
请参阅图1-2，基于高速环境下的高可用无损失数据采集存储系统，包括客户端采集模块、服务器端模块和后台数据库，所述服务器端模块包括服务器端主模块和服务器端从模块，所述后台数据库连接有数据库引擎系统，所述数据库引擎系统包括数据库主引擎系统和数据库从引擎系统，所述客户端采集模块通过主连接端口连接服务器端主模块的输入端，服务器端主模块的输出端通过所述数据库主引擎系统连接，所述客户端采集模块通过从连接端口连接服务器端从模块的输入端，服务器端从模块的输出端通过所述数据库从引擎系统连接后台数据库。所述客户端采集模块负责采集数据，并将采集的数据通过TCP/IP协议传输给服务器端模块，所述客户端采集模块采用单一模块方式，但是采用双连接的方式，与服务器端模块进行通信，解决的问题主要是达到主从两个连接方式以及服务器端主从模块备份之间数据无损地无缝切换；所述服务器端模块的主要功能是接收客户端采集模块采集的数据，将数据写入数据，采用主从备份方式；所述后台数据库采用高可靠双引擎系统，后台数据库对外提供统一的接口，数据库系统内部，数据库主从引擎系统之间可以无缝切换，这部分利用现有数据库的成熟功能即可实现。
所述客户端采集模块采用静态编译技术、高速缓存技术和异步编程技术，静态编译技术支持快速数据处理，采用底层Socket套接字编程，直接调用底层API函数，采用高速缓存技术，支持突发流量的发送，采用异步编程技术，保证数据无损发送到服务器端。
所述客户端采集模块包括数据采集模块、数据发送模块和发送后数据回收模块，所述数据采集模块底层读取采集的数据，将采集的数据插入发送缓存队列尾部，并通知数据发送模块发送，数据采集模块支持大流量，突发数据流量的读取；所述数据发送模块为无限循环发送处理线程，连接当前服务器端主模块，采用异步非阻塞方式发送网络数据；所述发送后数据回收模块为回调函数模块，当发送数据完成后，由底层操作系统调用本函数模块。
本发明中客户端采集模块负责采集系统的结构化以及非结构化数据，本发明能够在高流量以及突发巨大流量的环境下(突发流量10K包/s及10MB/s)，将数据高稳定、高可靠地发送到服务器端模块，同时保证服务器端主模块和服务器端从模块切换过程中的异常情况下，将采集数据无损的转发到后台数据库。
上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。

Claims (3)

1.基于高速环境下的高可用无损失数据采集存储系统，其特征在于，包括客户端采集模块、服务器端模块和后台数据库，所述服务器端模块包括服务器端主模块和服务器端从模块，所述后台数据库连接有数据库引擎系统，所述数据库引擎系统包括数据库主引擎系统和数据库从引擎系统，所述客户端采集模块通过主连接端口连接服务器端主模块的输入端，服务器端主模块的输出端通过所述数据库主引擎系统连接后台数据库，所述客户端采集模块通过从连接端口连接服务器端从模块的输入端，服务器端从模块的输出端通过所述数据库从引擎系统连接后台数据库。
2.根据权利要求1所述的基于高速环境下的高可用无损失数据采集存储系统，其特征在于，所述客户端采集模块采用静态编译技术、高速缓存技术和异步编程技术。
3.根据权利要求1所述的基于高速环境下的高可用无损失数据采集存储系统，其特征在于，所述客户端采集模块包括数据采集模块、数据发送模块和发送后数据回收模块，所述数据采集模块底层读取采集的数据，将采集的数据插入发送缓存队列尾部，并通知数据发送模块发送，所述数据发送模块为无限循环发送处理线程，连接当前服务器端主模块，采用异步非阻塞方式发送网络数据；所述发送后数据回收模块为回调函数模块，当发送数据完成后，由底层操作系统调用本函数模块。
CN201710869203.8A 2017-09-23 2017-09-23 基于高速环境下的高可用无损失数据采集存储系统 Pending CN107800520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710869203.8A CN107800520A (zh) 2017-09-23 2017-09-23 基于高速环境下的高可用无损失数据采集存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710869203.8A CN107800520A (zh) 2017-09-23 2017-09-23 基于高速环境下的高可用无损失数据采集存储系统

Publications (1)

Publication Number Publication Date
CN107800520A true CN107800520A (zh) 2018-03-13

Family

ID=61532348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710869203.8A Pending CN107800520A (zh) 2017-09-23 2017-09-23 基于高速环境下的高可用无损失数据采集存储系统

Country Status (1)

Country Link
CN (1) CN107800520A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109951A (zh) * 2007-08-23 2008-01-23 济南钢铁集团总公司 变电站智能电子设备接入系统
CN101694739A (zh) * 2009-10-10 2010-04-14 江苏省电力公司南京供电公司 一种双通道多功能电能信息采集器及其通讯方法
CN103646522A (zh) * 2013-12-04 2014-03-19 中国电子科技集团公司第五十研究所 消防救援现场数据传输通信系统及数据判断方法
CN204993390U (zh) * 2015-10-07 2016-01-20 杭州锐达数字技术有限公司 用于数据采集器的双传输系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109951A (zh) * 2007-08-23 2008-01-23 济南钢铁集团总公司 变电站智能电子设备接入系统
CN101694739A (zh) * 2009-10-10 2010-04-14 江苏省电力公司南京供电公司 一种双通道多功能电能信息采集器及其通讯方法
CN103646522A (zh) * 2013-12-04 2014-03-19 中国电子科技集团公司第五十研究所 消防救援现场数据传输通信系统及数据判断方法
CN204993390U (zh) * 2015-10-07 2016-01-20 杭州锐达数字技术有限公司 用于数据采集器的双传输系统

Similar Documents

Publication Publication Date Title
CN111277672B (zh) 一种基于非阻塞输入输出模型的能源物联网数据采集方法
CN102035673B (zh) 一种基于光纤通道的通用自动测试系统
CN105572516B (zh) 带时间基准输出的多功能fpga采集单元
CN110212983B (zh) 一种fc信号和以太网信号的转换方法及装置
CN111400312B (zh) 一种基于改进lsm树的边缘存储数据库
CN109257045A (zh) 一种组网式多通道同步隔离数据采集仪
CN110346691A (zh) 一种基于hplc高速电力载波通信的电力线故障诊断装置及方法
CN109413094B (zh) 基于hs-adix网络的航天数据传输系统
CN103092119B (zh) 一种基于fpga的总线状态监视方法
CN102611836B (zh) 一种基于Labview的高速图像采集方法
US9396145B1 (en) In-chip bus tracer
CN107276834B (zh) 一种航空电子环境下光纤通道流量分析记录方法及装置
CN104967667B (zh) 一种基于云服务的软件稳定性测试远程监控系统
CN107800520A (zh) 基于高速环境下的高可用无损失数据采集存储系统
CN202431441U (zh) 一种风电机组的状态监控系统
CN107844447A (zh) 多通道串行总线高速数据采集处理系统及方法
CN108132636A (zh) 基于单片机控制的多通道数据采集处理系统
CN111278022A (zh) 一种物联网WiFi模块性能测试方法及系统
CN208350719U (zh) 一种钢轨裂纹声发射信号高速采集装置
CN204795120U (zh) 一种分体式可扩展的网络报文存储装置
CN108919155A (zh) 一种电能质量监测装置在线监测和现场检定的通信方法
CN205273500U (zh) 城轨道岔高频振动信号采集装置
CN108227652A (zh) 一种基于MTConnect协议的能耗数据采集系统
CN207992753U (zh) 基于单片机控制的多通道数据采集处理系统
CN112800001A (zh) 一种基于arm平台架构的高性能物联网硬件平台及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180313

WD01 Invention patent application deemed withdrawn after publication