CN110557251A - 工业数据安全隔离采集系统及内外网数据单向传输方法 - Google Patents

工业数据安全隔离采集系统及内外网数据单向传输方法 Download PDF

Info

Publication number
CN110557251A
CN110557251A CN201910925641.0A CN201910925641A CN110557251A CN 110557251 A CN110557251 A CN 110557251A CN 201910925641 A CN201910925641 A CN 201910925641A CN 110557251 A CN110557251 A CN 110557251A
Authority
CN
China
Prior art keywords
data
industrial control
acquisition
transmission
control data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910925641.0A
Other languages
English (en)
Other versions
CN110557251B (zh
Inventor
王子托
曹斌
蔡志平
范昌平
黄涛
朱道永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kong'anrong Technology Co Ltd
Original Assignee
Wuhan Kong'anrong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kong'anrong Technology Co Ltd filed Critical Wuhan Kong'anrong Technology Co Ltd
Priority to CN201910925641.0A priority Critical patent/CN110557251B/zh
Publication of CN110557251A publication Critical patent/CN110557251A/zh
Application granted granted Critical
Publication of CN110557251B publication Critical patent/CN110557251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0877Generation of secret information including derivation or calculation of cryptographic keys or passwords using additional device, e.g. trusted platform module [TPM], smartcard, USB or hardware security module [HSM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于网络数据传输技术领域,公开了一种一体化工业数据安全隔离采集系统及内外网数据单向传输方法,对内网中的工控数据进行采集,并通过专用私有通信协议对数据进行编码与解析,丢包单向安全处理控制模块通过加密芯片发送丢包信息给中间节点认证解析后转发给内网节点,实时数据接收与存储模块存储通过建立的外网实时数据历史数据库提供实时数据的浏览功能。本发明不仅通过物理上单向的传输方式,解决了传统数据传输方式存在的所有安全隐患,以绝对安全的方式打破了工厂内外网数据传输壁垒,还利用时序数据库对数据进行高效的存储,为迎接工业大数据技术打造了一个历史数据仓库,为工业大数据改革提供依据。

Description

工业数据安全隔离采集系统及内外网数据单向传输方法
技术领域
本发明属于网络数据传输技术领域,尤其涉及一种一体化工业数据安全隔离采集系统及内外网数据单向传输方法。
背景技术
目前,最接近的现有技术:
工业互联网作为新一代信息技术与制造业深度融合的产物,已经成为工业现代化、发展实体经济的关键支撑。它的安全问题,对国家经济社会发展来讲至关重要。工业互联网的重要性使它成为网络攻击的首要目标。然而,相比于传统的网络与信息系统,大多数的工业控制系统在开发设计时,需要兼顾应用环境、控制管理等多方面因素,首要考虑效率和实时特性。因此,工业控制系统普遍缺乏有效的工业安全防御及数据通信保密措施。近年来,乌克兰连续发生黑客攻击导致的大面积断电事件。
另外,随着工业大数据时代的到来,对工控数据的深度挖掘成为工厂优化生产方式、提高生产效率的敲门砖,然而正是由于互联网的安全问题,国内绝大多数工业实时数据采集与控制系统一直都在内部局域网运行,并将内网与外网进行物理隔离,该方案虽然杜绝了外部网络的一切攻击,但也造成了企业内网与外网之间的信息隔离。所以,打通内外网信息壁垒是工厂实现工业大数据改革的基础。
目前内外网数据传输一般都是在传统的双向通信基础上通过防火墙或者加密等手段进行数据筛选和访问控制,来防止恶意攻击。但是任何基于双向通信的数据传输方式都存在建立隐藏通道的可能,而一旦工业生产设备被不法分子恶意控制,后果将不堪设想。
现有的各种网络安全技术中,防火墙技术可以在一定程度上解决多种网络安全问题。防火墙产品主要包括包过滤防火墙、状态检测包过滤防火墙和应用层代理防火墙。防火墙产品容易遭受包括IP欺骗攻击、DoS拒绝服务攻击、分片攻击、木马攻击等在内的各种网络攻击,而且对这些攻击的防范能力不够。即使是采用状态检测技术的防火墙产品,也会受到包括协议隧道攻击、反弹木马攻击等在内的网络攻击,并且黑客还可以利用FTP-PASV绕过防火墙的认证,从而实现对防火墙的攻击。而对这些安全问题,防火墙产品目前仍没有很好的防范和解决方案。
为了弥补防火墙的不足,物理上单向的数据传输产品应运而生。传统的单向传输系统大多使用网闸隔离两个独立的主机系统或网络,其基本原理在于切断网络之间的通用协议连接,将数据包进行分解或重组为静态数据,对静态数据进行安全审查,包括网络协议检查和代码扫描等;确认后的安全数据流入内部单元。网闸是使用带有多种控制功能的固态开关读写介质连接两个独立主机系统的信息安全设备。它连接的两个独立的主机系统之间,不存在通信的物理连接、逻辑连接、信息传输命令、信息传输协议,不存在依据协议的信息包转发,只有数据文件的无协议“摆渡”,且对固态存储介质只有“读”和“写”两个命令,所以,物理隔离网闸从物理上隔离、阻断了从低密级网络发起的具有潜在攻击可能的一切连接,使"黑客"无法入侵、无法攻击、无法破坏。但是其成本颇高,而且目前最多只支持百兆级网络,如果需要实现千兆级网络需要多路网闸并联,成本直接成倍增加。
目前也有光闸产品实现千兆及万兆网络的单向传输,尽管丢包率很低,但没有解决丢包问题,丢包后需要人工进行干预。
综上所述,现有技术存在的问题是:
现有技术中,无论是单向网闸还是光闸,因为是物理上的单向传输,丢包后无法自动处理,只能采用冗余传输的方式降低丢包率,或者检测到丢包后人工干预。
现有的单向网闸与光闸,只是单向传输设备,没有给工业实时数据内外网融合提供一体化的解决方案,内网工控数据如何采集、数据传输编码与解析、外网工控数据如何存储需要二次开发。
解决上述技术问题的难度:
如何解决物理单向传输的丢包问题是一个无法解决的难题,一旦增加反向传输通道就存在被攻击的潜在危险。根据工控数据的特点,本发明增加了一个反向带中间节点的单向物理传输通道,杜绝了对内网节点的潜在攻击手段。
本发明针对工控数据的特点,增加了一个反向带中间节点的单向物理传输通道,为了保证反向单向传输通道不会成为内网攻击通道,外网端数据包的解析与丢包检测均在加密芯片中完成,检测到丢包后将丢包编号加密后发送中间节点,中间节点认证成功后将解析的丢包信息发送给内网节点。
上述方案中的中间节点只传输丢包编号给内网节点,并通过算法杜绝重放攻击,过滤掉一切可能对内网节点的攻击手段。
上述方案中的加密芯片与中间节点的认证机制保证不会被第三方通过伪造丢包信息对内网节点进行攻击。
本发明提供工控数据一体化的内网数据采集、内外网单向传输与外网实时数据存储方法,需要实现多台内网工控数据服务器不同采集协议、不同采集频率、以及单台内网工控数据服务器多个线程不同采集频率的多任务采集方式,并实现数十个采集线程与多个工控数据服务器之间不同频率的毫秒级同步,难度很大。
本发明外网端基于Hadoop+Hbase的分布式架构使用OpenTSDB实现工控实时数据的外网可靠存储,并确保宕机或数据异常丢失时能够短时间矫正并恢复丢失数据。
解决上述技术问题的意义:
本发明打破内外网信息壁垒,为工厂实现工业大数据改革提供依据,本发明解决了防火墙作为内外网之间屏障所产生的安全问题,提供了一种高效且安全的内外网工控数据采集存储的方式。
为解决现有技术存在的问题,本发明的单向光卡不仅从根本上解决了数据安全传输的问题,而且传输速度可达到万兆。与此同时,单向网卡的成本还非常低。它以光纤为信道,物理上只存在一个方向的信息传输通道,另一个方向没有任何反馈信号,可有效地控制不同安全级别网络之间的信息传输,为数据安全传输主流设备的开发提供依据。
发明内容
针对现有技术存在的问题,本发明提供了一种一体化工业数据安全隔离采集系统及内外网数据单向传输方法。
本发明是这样实现的,一种工业数据安全隔离采集系统包括工控实时数据采集与发送模块、内外网单向安全传输模块、丢包单向安全处理控制模块和实时数据接收与存储模块为一体的软硬件体系;所述工控数据采集模块对内网中的工控数据进行采集,并通过发送模块提取有效数据、对数据重新封装,然后发送到单向安全传输模块。
所述内外网单向安全传输模块主要包括单向传输光卡,通过专用私有通信协议对数据进行编码与解析,并采用缓存与容错机制将封装好的工控数据实现从内网到外网物理上的单向可靠高效传输;所述丢包单向安全处理控制模块运行在数据接收端,在检测到丢包后通过加密芯片发送丢包信息给中间节点,中间节点认证后转发丢包信息给数据采集端重发丢失数据包;所述实时数据接收与存储模块负责接收单向安全传输模块传输的数据,并存储在基于时序数据库建立的外网实时数据历史数据库,并提供实时数据的浏览功能,为工业大数据融合奠定基础。
本发明另一目的在于提供一种工业数据安全隔离采集系统的内外网数据单向传输方法。使用了集工控数据采集、内外网数据安全可靠传输和时序数据库构建为一体的一种工业数据安全隔离采集系统,包括以下步骤:
第一步,工控数据采集,在内网通过专用私有协议采集工控系统中服务器的实时数据;
其具体实施步骤如下:
开启数据采集线程,实现工控数据采集客户端,它负责连接工控数据采集端服务器并采集工控数据;将原始数据中有用的部分提取出来,重新封装成待传输的数据格式;开启数据发送线程,通过专用私有协议发送数据;开启数据存储线程,将采集的工控数据进行短期内的文件缓存;检测与工控数据采集端服务器连接是否正常,如果连接断开则自动重连;对程序进行图形界面封装,提供方便的人机交互功能;通过窗口实时展示采集到的监控项数和发送的监控项数;记录日志,包括操作记录,错误记录。
所述数据采集基于专用私有协议,通过实现工控数据采集端客户端按照一定频率进行采集,内网采集端支持多线程技术,可同时对多个服务器同时进行工控数据采集,且不同的服务器可以设置不同的采集频率,集频率使用操作系统下高精度采集频率控制。
所述工控数据采集和工控数据发送通过队列结构的缓存区分割开,并发执行数据采集线程和数据发送线程。
所述并发执行数据采集线程和数据发送线程包含以下步骤:
将所述采集线程采集到的工控数据保存到数据队列;所述数据发送线程不断扫描数据队列,将扫描到的工控数据取出并进行编码,然后通过专用私有通信协议将工控数据发送出去。
本发明提供一套降低CPU使用率的一种机制,主要包含以下两种方式:
采用高精度计时器配合线程休眠技术,当发现当前时刻离下一次采集时间超过一定阈值(20ms)时,将采集线程进行休眠。
当所述发送线程将数据队列中的数据发送完以后,让发送线程进入休眠状态,直到数据队列中存放较多数据时再将其唤醒继续执行发送工作。
第二步,工控数据传输,工控数据传输利用单向光卡接收工控数据并将工控数据发送到外网。
本发明提供一种降低利用通信协议传输过程中发生丢包事件的概率,具体实施步骤如下:
在保证发送速度的前提下合理的限制发送频率。
外网接收端使用缓存技术将数据接收和处理独立开来,并发执行,降低两次监听操作之间的时间间隔。
将发送端和接收端的通信协议缓冲区配置为最大。
本发明提供一种降低外网端程序CPU占用率的方案,具体方案如下:
在专用私有协议缓冲区为空时让所述数据接收线程休眠;降低数据处理线程的使用率。
第三步,工控数据存储,外网接收存储端将所述单向光卡接收端发送过来的数据进行接收存储,具体实施步骤如下:
开启数据接收线程,通过监听端口,接收数据;开启数据处理线程。数据库正常工作时,将原始数据进行重构,转换成数据库需要的数据格式。数据库宕机时,将数据缓存到本地文件系统;开启数据存储线程,通过Http API方式将数据存储到时序数据库;开启文件数据读取线程,将数据库宕机时缓存的数据读出来重新放到存储队列;通过时序数据库的响应判断数据库是否宕机;检测到数据库宕机后不断往数据库发送测试数据,自动检测数据库是否恢复;对程序进行图形界面封装,提供方便的人机交互功能;通过窗口实时展示接收到的监控项数和已存储的监控项数;记录日志,包括操作记录,错误记录。
本发明提供一种提高数据存储效率的方法:
以70条工控数据为一组打包成一个数组。
利用多线程将数组存入时序数据库。
本发明另一目的在于提供一种所述实现内外网数据单向传输方法的信息数据处理终端。
本发明另一目的在于提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行所述的内外网数据单向传输方法。
综上所述,本发明的优点及积极效果为:
包括工控实时数据采集与发送模块、内外网单向安全传输模块、丢包单向安全处理控制模块和实时数据接收与存储模块为一体的软硬件体系;所述工控数据采集模块对内网中的工控数据进行采集,并通过发送模块提取有效数据、对数据重新封装,然后发送到单向安全传输模块;所述内外网单向安全传输模块主要包括单向传输光卡,通过专用私有通信协议对数据进行编码与解析,并采用缓存与容错机制将封装好的工控数据实现从内网到外网物理上的单向可靠高效传输;所述丢包单向安全处理控制模块运行在数据接收端,在检测到丢包后通过加密芯片发送丢包信息给中间节点,中间节点认证后转发丢包信息给数据采集端重发丢失数据包;所述实时数据接收与存储模块负责接收单向安全传输模块传输的数据,并存储在基于时序数据库建立的外网实时数据历史数据库,并提供实时数据的浏览功能,为工业大数据融合奠定基础。
本发明不仅通过物理上单向的传输方式,解决了传统数据传输方式存在的所有安全隐患,以绝对安全的方式打破了工厂内外网数据传输壁垒,还利用时序数据库对数据进行高效的存储,相当于为迎接工业大数据技术打造了一个历史数据仓库,可视为工业大数据改革迈出的第一步。
附图说明
图1是本发明实施例提供的本发明实施例提供的一体化工业数据安全隔离采集系统示意图。
图中:1、工控实时数据采集与发送模块;2、内外网单向安全传输模块;3、丢包单向安全处理控制模块;4、实时数据接收与存储模块;5、内网数据采集模块;6、工控数据内网发送模块;7、安全传输模块;8、存储模块;9、内网采集发送端;10、外网接收存储端。
图2是本发明实施例提供的内外网数据单向传输方法的流程示意图。
图3是内网采集发送端界面。
图4是外网数据接收端界面。
图中:21、采集服务器部分;211、开关选择部分;212、服务器IP自定义部分;213、协议选择部分;214、采集频率自定义部分;215、操作部分;22、开始停止控制部分;23、发送部分;24、数据实时展示部分;31、日志输出窗口;32、接收部分;33、数据实时展示部分。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现有技术中,最多只支持百兆级网络,如果需要实现千兆级网络需要多路网闸并联,成本直接成倍增加;而且数据安全传输速度慢,甚至有反馈信号,不能安全的进行信息传输。
针对现有技术存在的问题,本发明提供了一种一体化工业数据安全隔离采集系统及内外网数据单向传输方法,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的一体化工业数据安全隔离采集系统,包括:
工控实时数据采集与发送模块1、内外网单向安全传输模块2、丢包单向安全处理控制模块3和实时数据接收与存储模块4。
所述工控数据采集模块1对内网中的工控数据进行采集,并通过发送模块提取有效数据、对数据重新封装,然后发送到单向安全传输模块;
所述内外网单向安全传输模块2主要包括单向传输光卡,通过专用私有通信协议对数据进行编码与解析,并采用缓存与容错机制将封装好的工控数据实现从内网到外网物理上的单向可靠高效传输。
所述丢包单向安全处理控制模块3运行在外网接收端,在检测到丢包后通过加密芯片发送丢包信息给中间节点,中间节点认证后转发丢包信息给数据采集端重发丢失数据包。
所述实时数据接收与存储模块4负责接收单向安全传输模块传输的数据,并存储在基于OpenTSDB时序数据库建立的外网实时数据历史数据库,并提供实时数据的浏览功能。
在本发明实施例中,所述工控实时数据采集与发送模块1对内网中的工控数据进行采集,支持选择现有工业生产控制通信协议(OPC、Modbus等)连接内网工控实时数据服务器进行实时数据采集;数据采集模块采用多线程技术支持对多个服务器设置不同协议、不同采集频率进行采集,支持对同一个服务器的实时数据分块设置不同频率进行采集。
在本发明实施例中,内外网单向安全传输模块2包括:
内网数据采集模块5进行多线程并发执行时采用高精度计时器配合线程休眠技术降低CPU占用率,同时保证采集模块的采集频率与工控实时数据服务器的采集频率同步。
所述工控数据内网发送模块6提取有效数据、对数据重新封装,给每个发送数据连续编号,缓存后发送到单向安全传输模块进行传输;
安全传输模块7通过缓存与容错机制保证数据的可靠传输,合理的限制发送频率,在接收端通过缓存技术将数据接收和处理独立开来,并发执行,最大化地配置发送端与接收端的缓冲区。
所述工控数据的单向传输采用高速单向光卡,没有电子回路,不存在反向的物理传输通路,也没有摆渡介质。
在本发明实施例中,所述丢包单向安全处理控制模块3运行在外网接收端,根据数据包的序号检测在物理单向传输过程中是否丢包,检测到丢包后通过加密芯片发送丢包信息给中间节点,所述加密芯片采用国密算法SM2对丢包信息进行加密,中间节点认证后将丢包信息转发给数据采集端重发丢失数据包。
所述实时数据接收与存储模块4包括:
存储模块8,利用外网接收存储端存储工控数据通过HTTP API方式配合多线程的工作方式将工控数据推送到历史实时数据库。
内网采集发送端9,包含内网采集发送端图形界面,用以用户自定义采集端与服务器之间的属性配置,并向用户展示工控数据采集发送状态。
外网接收存储端10,包含外网数据接收端图形界面,用以用户控制和查看工控数据接收状态。
如图2所示,本发明实施例提供的内外网数据单向传输方法的流程示意图,包括以下步骤:
步骤一,内部网络采集发送端利用采集线程连接内网OPC服务器并接收内网OPC服务器所传的工控数据,并对工控数据进行数据处理,提取有效工控数据并对数据进行重新封装,利用内部网络采集发送端的数据发送线程并通过自有协议将封装好的工控数据发送到安全传输模块。
在此步骤中本发明利用内部网络采集发送端的数据存储线程对封装好的工控数据进行了短期的文件缓存以保证在数据发送过程中数据出现丢包的情况下可以重现对丢包数据进行自动发送;此外设置了服务器连接检测功能,不断对OPC服务器的连接情况进行扫描检测,如果出现连接断开的情况则自动进行重连;同时内部网络采集发送端将自动生成记录日志,包括操作记录,错误记录等。
内部网络采集发送端利用多线程并发独立采集方式进行数据采集,数据采集基于OPC协议,通过实现OPC客户端按照一定频率进行采集,内网采集端通过多线程技术支持多个OPC服务器同时进行采集,且不同的服务器可设置不同的采集频率,此方式很好的适应了工厂数据源分散,数据采集频率不同的特征;数据采集和发送通过所定义的数据队列的缓存区分割开来,并发执行,具体方法是定义一个数据队列保存采集线程采集到的工控数据,数据发送线程不断扫描数据队列,将发现的工控数据取出并进行编码然后通过自有协议将数据发送出去,此方法便于工控数据的统一管理并且可以充分利用电脑物理多核多线程的资源优势;采用高精度计时器配合线程休眠技术令采集或发送线程不工作时进入休眠状态,即当前时刻离下一次采集时间超过所设定的阈值(20ms)时使采集线程进入休眠,当发送线程将队列中的工控数据发送完成后,使发送线程进入休眠状态直至数据队列里存放有较多数据时再将发送线程唤醒继续工作,此方法可以避免线程的浪费节约CPU的使用率。
步骤二,内部网络发送端将采集到的工控数据发送到单向光卡的接收端,单向光卡的发送端利用专用私有通信协议将接收到的工控数据进行编码封装,并采用缓存与容错机制将封装好的工控数据发送到外部网络。
步骤三,外部网络接收存储模块利用数据接收线程,通过监听端口接收工控数据,利用数据处理线程将所接收到的工控数据进行重构转换成数据库需要的数据格式,利用数据存储线程通过Http API方式将工控数据保存到OpenTSDB时序数据库。当外网数据存储端发现丢包后会利用外网接收端运行的丢包单向安全处理控制模块通过通过加密芯片,即对丢包信息进行国密SM2加密后将丢包信息传送给中间节点,中间节点认证后转发丢包信息给数据采集端重新发送丢失数据包。
外部网络接收存储模块数据存储线程会不不断的扫描与OpenTSDB时序数据库的连接情况,当OpenTSDB时序数据库因意外情况出现宕机时,外部网络接收存储模块扫描到与OpenTSDB时序数据库连接处于断开状态,数据存储线程会将数据处理线程处理过的工控数据缓存到本地文件系统,当OpenTSDB时序数据库恢复使用后,数据存储线程扫描到OpenTSDB时序数据库可正常连接,外部网络接收存储模块利用文件数据读取线程将本机文件缓存的工控数据重新存放到OpenTSDB时序数据库中。
在本发明实施例中,本发明通过将70条工控数据打包成一个数组的方式提高了数据库存储效率;此外利用以下两种方法降低了外网端程序CPU的占用率:
将专用私有通信协议的缓冲区设置为最大。
利用线程休眠技术降低数据处理线程的使用率。
在本发明实施例中,本发明对内网采集发送端的程序进行了图形界面的封装,提供了方便的人机交互功能,如图3所示:
内网采集发送端图形界面依次设有采集服务器部分21、开始停止控制部分22、发送部分23和数据实时展示部分24。
在上述采集服务器部分21中依次设有开关选择部分211用于对数据采集某一线程进行控制,服务器IP自定义部分212用于用户自定义填写指定服务器IP地址,协议选择部分213用于用户自定义选择传输协议,采集频率自定义部分214用于用户自定义采集频率,操作部分215用于用户对服务器进行相应的操作;开始停止控制部分22用于控制内网采集发送端的工作状态;发送部分23用于用户自定义发送网卡,日志文件缓存目录和发送文件缓存目录;数据实时展示部分用于用户直观的了解工控数据采集和发送的数量。
在本发明实施例中,本发明对外网数据接收存储端进行了图形界面的封装,提供了方便的人机交互功能,如图4所示:
外网数据接收存储端图形界面依次设有日志输出窗口31、接收部分32和数据实时展示部分33。
在上述日志输出窗口31中可以展示最新日志;接收部分32中用户可以选择接收网卡,自定义数据库主机IP,日志存储目录和数据缓存目录;实时数据展示部分33用户可以直观的理解工控数据接收存储的数量。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种一体化工业数据安全隔离采集系统,其特征在于,所述一体化工业数据安全隔离采集系统,包括:
工控数据采集模块,对内网中的工控数据进行采集,并通过发送模块提取有效数据、对数据重新封装,然后发送到单向安全传输模块;
内外网单向安全传输模块,包括单向传输光卡,通过专用私有通信协议对数据进行编码与解析,并采用缓存与容错机制将封装好的工控数据实现从内网到外网物理上的单向可靠高效传输;
丢包单向安全处理控制模块,运行在外网接收端,在检测到丢包后通过加密芯片发送丢包信息给中间节点,中间节点认证后转发丢包信息给数据采集端重发丢失数据包;
实时数据接收与存储模块,负责接收单向安全传输模块传输的数据,并存储在基于时序数据库建立的外网实时数据历史数据库,并提供实时数据的浏览功能。
2.如权利要求1所述的一体化工业数据安全隔离采集系统,其特征在于,工控实时数据采集与发送模块对内网中的工控数据进行采集,支持选择现有工业生产控制通信协议连接内网工控实时数据服务器进行实时数据采集;数据采集模块采用多线程技术支持对多个服务器设置不同协议、不同采集频率进行采集,支持对同一个服务器的实时数据分块设置不同频率进行采集;
所述内外网单向安全传输模块包括:
内网数据采集模块,进行多线程并发执行时采用高精度计时器配合线程休眠技术降低CPU占用率,同时保证采集模块的采集频率与工控实时数据服务器的采集频率同步;
工控数据内网发送模块,提取有效数据、对数据重新封装,给每个发送数据连续编号,缓存后发送到单向安全传输模块进行传输;
单向安全传输模块,通过缓存与容错机制保证数据的可靠传输,限制发送频率,在接收端通过缓存技术将数据接收和处理独立开来,并发执行,最大化地配置发送端与接收端的缓冲区;
所述单向安全传输模块对工控数据的单向传输采用高速单向光卡,没有电子回路,不存在反向的物理传输通路,也没有摆渡介质。
3.如权利要求1所述的一体化工业数据安全隔离采集系统,其特征在于,所述丢包单向安全处理控制模块运行在外网接收端,根据数据包的序号检测在物理单向传输过程中是否丢包,检测到丢包后通过加密芯片发送丢包信息给中间节点,所述加密芯片采用国密算法SM2对丢包信息进行加密,中间节点认证并解析后将丢包信息转发给内网数据采集端,内网节点根据丢包编号重发丢失数据包;
所述实时数据接收与存储模块包括:
存储模块,利用外网接收存储端存储工控数据通过HTTP API方式配合多线程的工作方式将工控数据推送到历史实时数据库;
内网采集发送端,包含内网采集发送端图形界面,用以用户自定义采集端与服务器之间的属性配置,并向用户展示工控数据采集发送状态;
外网接收存储端,包含外网数据接收端图形界面,用于用户控制和查看工控数据接收状态。
4.一种如权利要求1所述一体化工业数据安全隔离采集系统的内外网数据单向传输方法,其特征在于,所述内外网数据单向传输方法包括以下步骤:
工控数据采集,在内网通过专用私有协议采集工控系统中服务器的实时数据;
工控数据传输,工控数据传输利用单向光卡接收工控数据并将工控数据发送到外网;
工控数据存储,外网接收存储端将所述单向光卡接收端发送过来的数据进行接收存储;
检测与工控数据采集端服务器连接是否正常,如果连接断开则自动重连;对程序进行图形界面封装,提供方便的人机交互功能;通过窗口实时展示采集到的监控项数和发送的监控项数;记录日志,包括操作记录,错误记录。
5.如权利要求4所述的内外网数据单向传输方法,其特征在于,工控数据采集的方法包括:基于专用私有协议,通过实现工控数据采集端客户端按照一定频率进行采集,内网采集端支持多线程技术,可同时对多个服务器同时进行工控数据采集,且不同的服务器可以设置不同的采集频率,集频率使用操作系统下高精度采集频率控制;
所述工控数据采集和工控数据发送通过队列结构的缓存区分割开,并发执行数据采集线程和数据发送线程;
所述并发执行数据采集线程和数据发送线程包含以下步骤:
将所述采集线程采集到的工控数据保存到数据队列;所述数据发送线程不断扫描数据队列,将扫描到的工控数据取出并进行编码,然后通过专用私有通信协议将工控数据发送出去;
工控数据发送中,采用高精度计时器配合线程休眠技术,当发现当前时刻离下一次采集时间超过一定阈值时,将采集线程进行休眠;
当所述发送线程将数据队列中的数据发送完以后,让发送线程进入休眠状态,直到数据队列中存放较多数据时再将其唤醒继续执行发送工作。
6.如权利要求4所述的内外网数据单向传输方法,其特征在于,工控数据传输利用单向光卡接收工控数据并将工控数据发送到外网中,在保证发送速度的前提下合理的限制发送频率;
外网接收端使用缓存技术将数据接收和处理独立开来,并发执行,降低两次监听操作之间的时间间隔;
将发送端和接收端的通信协议缓冲区配置为最大。
7.如权利要求6所述的内外网数据单向传输方法,其特征在于,外网接收端低外网端程序CPU占用率的方法包括
在专用私有协议缓冲区为空时让所述数据接收线程休眠;降低数据处理线程的使用率。
8.如权利要求4所述的内外网数据单向传输方法,其特征在于,工控数据存储的方法包括:
开启数据接收线程,通过监听端口,接收数据;
开启数据处理线程;数据库正常工作时,将原始数据进行重构,转换成数据库需要的数据格式;数据库宕机时,将数据缓存到本地文件系统;
开启数据存储线程,通过Http API方式将数据存储到时序数据库;开启文件数据读取线程,将数据库宕机时缓存的数据读出来重新放到存储队列;通过时序数据库的响应判断数据库是否宕机;检测到数据库宕机后不断往数据库发送测试数据,自动检测数据库是否恢复;
工控数据存储的方法进一步包括:
以70条工控数据为一组打包成一个数组;
利用多线程将数组存入时序数据库。
9.一种实现权利要求4~8任意一项所述内外网数据单向传输方法的信息数据处理终端。
10.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求4-10任意一项所述的内外网数据单向传输方法。
CN201910925641.0A 2019-09-27 2019-09-27 工业数据安全隔离采集系统及内外网数据单向传输方法 Active CN110557251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910925641.0A CN110557251B (zh) 2019-09-27 2019-09-27 工业数据安全隔离采集系统及内外网数据单向传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910925641.0A CN110557251B (zh) 2019-09-27 2019-09-27 工业数据安全隔离采集系统及内外网数据单向传输方法

Publications (2)

Publication Number Publication Date
CN110557251A true CN110557251A (zh) 2019-12-10
CN110557251B CN110557251B (zh) 2022-07-22

Family

ID=68741776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910925641.0A Active CN110557251B (zh) 2019-09-27 2019-09-27 工业数据安全隔离采集系统及内外网数据单向传输方法

Country Status (1)

Country Link
CN (1) CN110557251B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464516A (zh) * 2020-03-23 2020-07-28 青岛黄海学院 一种有效阻击来自内部网络系统攻击的安全网络计算机
CN111586041A (zh) * 2020-05-07 2020-08-25 英赛克科技(北京)有限公司 工业单向隔离网闸系统和数据传输方法
CN111600866A (zh) * 2020-05-12 2020-08-28 福建龙净环保股份有限公司 一种基于互联网的数据传输的方法及系统
CN111756690A (zh) * 2020-05-19 2020-10-09 北京明略软件系统有限公司 一种数据处理系统、方法及服务器
CN111988326A (zh) * 2020-08-25 2020-11-24 广州掌拓教育信息咨询有限公司 一种基于教育数据的互流式多线安全共享方法
CN112468571A (zh) * 2020-11-24 2021-03-09 中国联合网络通信集团有限公司 内外网数据同步方法、装置、电子设备及存储介质
CN112866351A (zh) * 2020-12-31 2021-05-28 成都佳华物链云科技有限公司 数据交互方法、装置、服务器及存储介质
CN112910963A (zh) * 2021-01-18 2021-06-04 翰克偲诺水务集团有限公司 水处理设备局域网与因特网跨网域数据交互的方法及系统
CN113486030A (zh) * 2021-06-29 2021-10-08 北京安盟信息技术股份有限公司 一种基于工业协议分析的实时数据库同步方法及装置
CN113890887A (zh) * 2021-09-26 2022-01-04 苏州众联运动科技有限公司 一种数据转发方法
CN114095247A (zh) * 2021-11-18 2022-02-25 上海云钠信息科技有限公司 一种基于二维码的双向摆渡方法、系统和存储介质
CN114422173A (zh) * 2021-12-09 2022-04-29 绿盟科技集团股份有限公司 一种基于可见光的数据传输的方法、系统和存储介质
CN115223350A (zh) * 2022-07-25 2022-10-21 大庆市索福电子技术开发有限公司 一种结合vpdn协议的抽油机采集系统
CN115412402A (zh) * 2021-05-28 2022-11-29 深圳双安科技有限公司 通信网关
CN116150433A (zh) * 2023-01-05 2023-05-23 江苏恒德网络科技有限公司 一种工控软件数据库生成系统
WO2023226908A1 (zh) * 2022-05-21 2023-11-30 周兴昌 一种单向传输数据的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000074378A1 (en) * 1999-05-28 2000-12-07 Intel Corporation Communicating enhancement data in layers
US20120017079A1 (en) * 2010-07-19 2012-01-19 Owl Computing Technologies, Inc. Secure Acknowledgment Device For One-Way Data Transfer System
CN104486289A (zh) * 2014-10-30 2015-04-01 中国人民解放军信息工程大学 数据单向传输方法及系统
CN105656883A (zh) * 2015-12-25 2016-06-08 冶金自动化研究设计院 一种适用于工控网络的单向传输内外网安全隔离网闸
CN108712235A (zh) * 2018-05-29 2018-10-26 北京光润通科技发展有限公司 一种单向无反馈传输方法
CN109714325A (zh) * 2018-12-19 2019-05-03 北京奇安信科技有限公司 一种单向光闸数据传输方法、系统、电子设备和介质
CN110109996A (zh) * 2019-05-15 2019-08-09 浪潮通用软件有限公司 一种工业互联网设备实时数据采集与存储方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000074378A1 (en) * 1999-05-28 2000-12-07 Intel Corporation Communicating enhancement data in layers
US20120017079A1 (en) * 2010-07-19 2012-01-19 Owl Computing Technologies, Inc. Secure Acknowledgment Device For One-Way Data Transfer System
CN104486289A (zh) * 2014-10-30 2015-04-01 中国人民解放军信息工程大学 数据单向传输方法及系统
CN105656883A (zh) * 2015-12-25 2016-06-08 冶金自动化研究设计院 一种适用于工控网络的单向传输内外网安全隔离网闸
CN108712235A (zh) * 2018-05-29 2018-10-26 北京光润通科技发展有限公司 一种单向无反馈传输方法
CN109714325A (zh) * 2018-12-19 2019-05-03 北京奇安信科技有限公司 一种单向光闸数据传输方法、系统、电子设备和介质
CN110109996A (zh) * 2019-05-15 2019-08-09 浪潮通用软件有限公司 一种工业互联网设备实时数据采集与存储方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王先兵等: "《工业实时数据采集单向安全传输系统的研发与应用》", 《有色矿冶》 *
陈海粟: "《数据单向传输系统的设计与实现》", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464516A (zh) * 2020-03-23 2020-07-28 青岛黄海学院 一种有效阻击来自内部网络系统攻击的安全网络计算机
CN111586041A (zh) * 2020-05-07 2020-08-25 英赛克科技(北京)有限公司 工业单向隔离网闸系统和数据传输方法
CN111600866A (zh) * 2020-05-12 2020-08-28 福建龙净环保股份有限公司 一种基于互联网的数据传输的方法及系统
CN111756690A (zh) * 2020-05-19 2020-10-09 北京明略软件系统有限公司 一种数据处理系统、方法及服务器
CN111988326A (zh) * 2020-08-25 2020-11-24 广州掌拓教育信息咨询有限公司 一种基于教育数据的互流式多线安全共享方法
CN112468571B (zh) * 2020-11-24 2022-02-01 中国联合网络通信集团有限公司 内外网数据同步方法、装置、电子设备及存储介质
CN112468571A (zh) * 2020-11-24 2021-03-09 中国联合网络通信集团有限公司 内外网数据同步方法、装置、电子设备及存储介质
CN112866351B (zh) * 2020-12-31 2023-08-04 成都佳华物链云科技有限公司 数据交互方法、装置、服务器及存储介质
CN112866351A (zh) * 2020-12-31 2021-05-28 成都佳华物链云科技有限公司 数据交互方法、装置、服务器及存储介质
CN112910963A (zh) * 2021-01-18 2021-06-04 翰克偲诺水务集团有限公司 水处理设备局域网与因特网跨网域数据交互的方法及系统
CN115412402B (zh) * 2021-05-28 2024-03-26 深圳双安科技有限公司 通信网关
CN115412402A (zh) * 2021-05-28 2022-11-29 深圳双安科技有限公司 通信网关
CN113486030A (zh) * 2021-06-29 2021-10-08 北京安盟信息技术股份有限公司 一种基于工业协议分析的实时数据库同步方法及装置
CN113890887A (zh) * 2021-09-26 2022-01-04 苏州众联运动科技有限公司 一种数据转发方法
CN114095247A (zh) * 2021-11-18 2022-02-25 上海云钠信息科技有限公司 一种基于二维码的双向摆渡方法、系统和存储介质
CN114422173A (zh) * 2021-12-09 2022-04-29 绿盟科技集团股份有限公司 一种基于可见光的数据传输的方法、系统和存储介质
CN114422173B (zh) * 2021-12-09 2024-02-13 绿盟科技集团股份有限公司 一种基于可见光的数据传输的方法、系统和存储介质
WO2023226908A1 (zh) * 2022-05-21 2023-11-30 周兴昌 一种单向传输数据的方法
CN115223350A (zh) * 2022-07-25 2022-10-21 大庆市索福电子技术开发有限公司 一种结合vpdn协议的抽油机采集系统
CN116150433A (zh) * 2023-01-05 2023-05-23 江苏恒德网络科技有限公司 一种工控软件数据库生成系统
CN116150433B (zh) * 2023-01-05 2023-12-29 深圳市深时机电有限公司 一种工控软件数据库生成系统

Also Published As

Publication number Publication date
CN110557251B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN110557251B (zh) 工业数据安全隔离采集系统及内外网数据单向传输方法
US11223639B2 (en) Endpoint network traffic analysis
CN103391216B (zh) 一种违规外联报警及阻断方法
KR101689296B1 (ko) 보안이벤트 자동 검증 방법 및 장치
EP1319285B1 (en) Monitoring network activity
CN102006186B (zh) 一种内网设备非法外联监控系统及其方法
CN107347057B (zh) 入侵检测方法、检测规则生成方法、装置及系统
CN108931968A (zh) 一种应用于工业控制系统中的网络安全防护系统及其防护方法
CN107276983A (zh) 一种基于dpi和云同步的流量安全控制方法及系统
CN112653664A (zh) 一种网络之间高安全可靠的数据交换系统及方法
US8972543B1 (en) Managing clients utilizing reverse transactions
Hwoij et al. SIEM architecture for the Internet of Things and smart city
CN103634293A (zh) 一种基于双硬件的数据安全传输方法及系统
CN114268457A (zh) 一种多规约多业务公网安全接入方法
CN114095385B (zh) 数据监测系统、数据监测装置及数据监测方法
CN106789967B (zh) 一种多源网络安全事件的采集与同步方法
CN113114626A (zh) 一种基于边缘计算的安全网关系统及其构建方法
CN103023891B (zh) 僵尸网络的检测方法及装置、僵尸网络的对抗方法及装置
CN108390868B (zh) 一种基于http缓存记录的隐蔽通信方法
CN113852544B (zh) 一种基于LoraWan和区块链的安全网关
CN113726820A (zh) 数据传输系统
Sinha et al. Security detection module of IPv6 network
CN115037537A (zh) 异常流量拦截、异常域名识别方法、装置、设备及介质
Yan et al. Design and Application of Security Gateway for Transmission Line Panoramic Monitoring Platform based on Microservice Architecture
CN102843689A (zh) 一种无线局域网安全系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant