CN115150204B - 一种数据传输系统 - Google Patents

Abstract

本申请涉及数据传输技术领域，尤其是涉及一种数据传输系统。该系统包括：服务监听模块，对待接入系统的连接请求进行监听；身份认证模块，对待接入系统进行身份认证；数据配置模块，对所述数据传输系统接收到的数据的加密方式、传输方式和数据缓存方式进行配置；协议转换模块，接收待接入系统发送的原始数据，探测原始数据的数据格式，将解析协议替换为原始数据对应的数据协议；数据加密模块，对原始数据进行加密；数据转发模块，进行数据转发；数据读写模块，进行数据存储和数据写入；OTA固件模块，对配置信息进行远程升级；运行监控模块，对应用系统自身的情况进行监视分析；本申请实现提高数据传输的效率，保障数据传输过程中的稳定性。

Description

一种数据传输系统

技术领域

本申请涉及数据传输技术领域，尤其涉及一种数据传输系统。

背景技术

在进行数据传输和交互时，不同设备需要通过不同的协议进行数据通信、数据采集、控制和版本升级等功能操作。不同的应用系统和设备间有各自的协议约束，在进行数据交互时，不同的接口协议对应的硬件设备、物联网设备和自控系统等不能直接进行数据交互。这给不同系统和设备间的数据传输带来了极大的不便，尤其在新的接口协议出现时，需要开发人员对数据进行相应的处理实现数据相互传输，增加了使用不同协议的系统和设备间进行数据传输的复杂性，降低了数据传输的效率和稳定性。

发明内容

为此，本申请的实施例提供了一种数据传输系统，实现了提高不同系统和设备间传输数据的效率，保障数据传输过程中的稳定性。

第一方面，本申请提供一种数据传输系统。

本申请是通过以下技术手段得以实现的：

一种数据传输系统，所述系统包括：

服务监听模块，用于当接收到待接入系统的连接请求时，对所述连接请求进行监听，并触发身份认证模块；

身份认证模块，用于在收到服务监听模块的触发后，对所述待接入系统进行身份认证，其中，若所述待接入系统的身份认证的结果为合法，则允许所述待接入系统进行数据传输，

其中，若所述待接入系统的身份认证的结果为合法，则接收所述待接入系统发送的原始数据，

若所述待接入系统的身份认证的结果为非法，则拒绝接收所述待接入系统发送的原始数据;

协议转换模块，用于接收所述身份认证模块输出的原始数据，根据预置的解析算法探测所述原始数据的数据格式，将解析协议替换为所述原始数据对应的数据协议；

数据加密模块，用于接收所述身份认证模块输出的原始数据，并对所述原始数据进行Unicode编码，并基于按位补码技术进行补码运算，形成加密数据；

数据读写模块，用于对所述待接入系统的加密数据进行数据存储和数据写入；

数据转发模块，用于对所述加密数据进行数据转发。

OTA固件模块，用于对所述数据配置模块中的配置信息进行远程升级；

运行监控模块，用于对所述传输系统运行的CPU、内存和磁盘IO信息进行展示，对所述传输系统自身的情况进行监视分析。

在本申请一较佳的示例中可以进一步设置为，所述协议转换模块还包括：

数据格式检测单元，用于检测所述原始数据的数据格式；

数据协议解析单元，用于根据所述原始数据的数据格式来确定所述数据格式对应的协议类型，其中协议类型包括MODUBUS协议、IEC协议、M2H协议、HTTP协议、TCP协议和UDP协议。

在本申请一较佳的示例中可以进一步设置为，所述系统还包括：

数据缓存模块，对所述加密数据中的热点数据和数据别名进行缓存。

在本申请一较佳的示例中可以进一步设置为，所述系统还包括：

数据报表模块，用于对所述加密数据进行分析，并形成数据报表进行图形展示。

在本申请一较佳的示例中可以进一步设置为，所述系统还包括：数据计算模块，

数据计算模块，用于对接收到的待接入系统的加密数据进行加工运算和处理，得到业务数据。

在本申请一较佳的示例中可以进一步设置为，数据计算模块还包括数据预处理单元,用于对接收到的原始数据进行初始处理，剔除所述原始数据中的噪声数据，得到预处理的数据；通过移动回归计算方法对所述预处理的数据中的缺失值进行数据填充，得到填充后的数据。

在本申请一较佳的示例中可以进一步设置为，所述系统还包括：

心跳监测模块，用于基于事件监听函数，将监听应用在每个连接事件上，发送心跳数据进行心跳探测，构建稳定的通讯链路。

在本申请一较佳的示例中可以进一步设置为，所述系统还包括：

应用集群模块，用于通过注册数据服务中心，对所述传输系统进行集群部署模式和单节点部署模式设置。

在本申请一较佳的示例中可以进一步设置为，所述数据传输系统的数据存储端采用分布式网络存储技术。

在本申请一较佳的示例中可以进一步设置为，所述数据传输系统采用非阻塞NIO开发的网络通讯框架。

综上所述，与现有技术相比，本申请实施例提供的技术方案带来的有益效果至少包括：

通过本数据传输系统可以实现采用不用协议的设备、系统的兼容接入，提高了数据传输的效率和灵活性；提供一套安全、可靠、稳定、高效的标准协议接收转发、传输数据，打破各应用不同系统的企业数据之间的孤岛，降低企业进行数据传输的难度；同时保障应用系统在进行数据传输时的安全性和稳定性。

附图说明

图1是本申请一示例性实施例提供的一种数据传输系统的结构框图。

具体实施方式

本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。

下面结合说明书附图对本申请实施例作进一步详细描述。

参照图1，在本申请的一个实施例中，提供一种数据传输系统，该数据传输系统包括服务监听模块，身份认证模块，数据配置模块，协议转换模块，数据加密模块，数据读写模块，数据转发模块，OTA固件模块，运行监控模块。服务监听模块，用于当接收到待接入系统的连接请求时，对所述连接请求进行监听，并触发身份认证模块。具体的，待接入系统可以为物联网数据、自控系统数据和其他三方系统数据。监听流程应用程序连接事件，触发三次握手认证，认证之后将识别对应的连接IP和端口，校验通过之后触发身份认证模块，验证对应的注册认证的身份信息。基于事件监听模块的数据处理方式可以确保数据可以进行高效数据传输，避免因系统CPU时钟的频繁终端和应用上下文切换造成资源的浪费。

服务监听模块在监听到连接事件后，触发身份认证模块，对待接入系统进行身份认证，验证待接入系统的合法性，其中包括验证待接入系统的身份标识信息的是否合法，待接入的应用系统的数据配置状态是否合法，验证IP和端口的来源是否可靠。若待接入系统的身份认证的结果为合法，则允许待接入系统与本数据传输系统进行连接，接收待接入系统发送的原始数据；若待接入系统的身份认证的结果为非法，则拒绝待接入系统与本数据传输系统进行连接，拒绝与待接入系统进行数据传输，拒绝接收待接入系统发送的原始数据。具体的，对待接入系统的进行身份认证基于黑白名单模式，可进行指定网址和网络设备进行接入。可以组织一些处于黑名单中的系统接入本数据传输系统中，避免对系统和数据的安全造成威胁。

数据配置模块，用于对数据传输系统接收到的数据的加密方式、传输方式和数据缓存方式进行配置。其中，加密方式可以为三重DES加密法、RSA非对称加密法、Blowfish加密法、Twofish分组加密法中的一种。传输方式可以为并行传输、串行传输、异步传输、同步传输、单工数据传输、半双工数据传输和全双工数据传输中的一种。数据缓存方式可以为Cache aside缓存方式、Read/Write through缓存方式、Write behind缓存方式中的其中一种。具体的接收到的数据可以为采集点位信息，例如三相电流、电压、用电度数、自然水使用量、燃气使用量、数据放大系数、告警系数和/或产能数据。

协议转换模块，用于接收身份认证模块输出的原始数据，根据预置的解析算法探测所述原始数据的数据格式，将解析协议替换为所述原始数据对应的数据协议。具体的本数据传输系统提供原生的TCP服务，在接收到原始数据后，系统调用预置的解析算法，具体算法为E_RULE算法，可自动探测原始数据的数据格式，同时将解析协议替换为该原始数据的数据格式对应的数据协议。

内置有多种协议转换模式，实现多种协议类型的转换。协议转换可以在MODUBUS协议、IEC协议、M2H协议、HTTP协议、TCP协议和UDP协议之间进行转换，具体的通过中间层转换工具，将原始数据转换为原始二进制数据，再根据原始二进制数据生成对应的MODUBS协议、IEC协议、M2H协议、HTTP协议、TCP协议或UDP协议中的一种。

优选的，协议转换模块中还包括：

数据格式检测单元，用于检测所述原始数据的数据格式；

数据协议解析单元，用于根据所述原始数据的数据格式来确定所述数据格式对应的协议类型。

数据加密模块，用于接收身份认证模块输出的原始数据，并对该原始数据进行Unicode编码，并基于按位补码技术对重复数据进行补码运算，形成加密数据。可以理解的是，Unicode编码是一种国际组织指定能容纳所有文字和符号的字符编码方案，Unicode编码使用数字0-0x10FFFF来映射这些字符,可以给每种语言中的每个字符设定一个统一并且唯一的二进制编码。具体的例如原始数据进行Unicode编码为：(0B 03 34 08 C7 00 00 0000 00 00 00 00 00 00 00 00），再将数据进行按位补码，对其中的重复数据（00）进行补码运算，得到(0B 03 34 08 C7 00 12)，其中12表示二进制编码（00）出现的次数，可以有效减少数据的长度。使用补码，可以将符号位和数值域统一进行处理。在上层接收到数据时，将数据进行解码。当一个数据包中包含多条数据时，数据基准以第一条为标准，后续数据做并集进行数据并集替换，将数据展开为原有数据格式，数据加密可以确保数据传输过程安全和准确可靠。

数据读写模块，用于对待接入系统的加密数据进行数据存储和数据写入。具体的，本实施例中，对数据的存储和写入采用基于磁盘顺序读写模式，将数据按顺序写入到对应的扇区。可以加快磁盘寻址时间，提高系统数据读写处理速度和响应时间，避免随机读写造成磁盘IO性能下降。数据读写模块将接收到的数据存入存储系统中，以便后续对数据进行监视展示和图表分析。

数据转发模块，用于对加密数据进行数据转发。本实施例中，数据转发模块提供多种转发协议，可以同时进行多路数据传输，在不同的三方系统和硬件设备间进行数据传输。

OTA固件模块，用于对数据配置模块中的配置信息进行远程升级。通过OTA固件模块对待接入系统的配置信息进行远程升级。此过程不会丢失任何数据和文件，用户无需进行数据备份，无需转到物理存储即可执行软件或固件的更新，可以节省时间和提高效率。

运行监控模块，用于对应用系统运行的CPU、内存和磁盘IO信息进行展示，对应用系统自身的情况进行监视分析。实现对应用系统的状态进行实时监控，是正常、异常或者出现故障，当出现异常或者故障时，可以第一时间发现，采取相应的措施进行处理，确保系统的持续的稳定运行，提高系统传输数据的效率。

优选的，该数据传输系统还包括心跳监测模块，用于维护数据链路中的连接事件的通讯稳定时，基于事件监听函数，将监听应用在每个连接事件上，发送心跳数据进行心跳探测，构建稳定的通讯链路。具体的，心跳数据由一段特殊的标记组成，用于维护系统的采集点之间的心跳连接。此过程中需要向待接入系统发包，如果待接入系统成功接收到心跳包，则说明与待接入系统的连接正常；若待接入系统无法接收到心跳包，则说明待接入系统未连接成功或者连接断开，需要重新进行连接。网络通讯过程复杂多变，在数据传输过程中，会发生数据包丢失的情况，造成接收端接收到的数据包不准确。通过心跳监测模块，通过事件监听函数，将监听应用在每个连接事件上，系统传输数据时处于监听状态，当链路上不再传输数据时，进行心跳数据发送，采用1ping、1pong模式进行心跳探测，可以构建稳定的通信链路，降低数据传输过程中丢包的发生率，确保数据传输过程的稳定、准确和可靠。

优选的，该数据传输系统还包括数据缓存模块，对加密数据中的热点数据和数据别名进行缓存。具体的，可以通过缓存组件Ehcache和进程缓存组件，以Key或Value的形式将热点数据进行缓存，同时也可以设置缓存数据的过期时间，当缓存数据失效或者缓存数据过期时，系统可以自动将相应的失效的缓存数据或者过期的缓存数据进行剔除。可以避免数据进行数据库查询，加快响应速度，提高系统输出传输效率。

优选的，该数据传输系统还包括数据报表模块，用于对加密数据进行分析，并生成数据报表进行图形展示。具体的，可以通过调用Spark分布式大数据计算，对数据进行汇总聚合、合并和分析，同时可以对数据处理对应的最大值、最小值、平均值等进行计算，对物联数据历史运行趋势进行分析，生成周、月、年使用量报表，了解用能情况，排查物联设备存在的安全隐患，以便快速快捷的指导维护人员对各物联设备进行维护和保养，提供用能指导建议。

优选的，该数据传输系统还包括数据计算模块，对接收到的待接入系统的加密数据进行加工运算和处理，得到业务数据。

进一步地，数据计算模块还包括数据预处理单元，用于对接收到的原始数据对原始数据进行初始处理，剔除所述原始数据中的噪声数据，得到预处理的数据；通过移动回归计算方法对所述预处理的数据中的缺失值进行数据填充，得到填充后的数据。

具体的，数据计算模块对接收到的加密数据进行加工运算和处理时，对原始数据进行初始处理，剔除原始数据中的噪声数据，得到预处理的数据；通过移动回归计算方法对所述预处理的数据中的缺失值进行数据填充，得到填充后的数据；通过预设的数据计算方法和业务需求对所述填充后的数据进行计算分析，得到业务数据。具体的，对原始数据的初始加工运算，可以将数据处理成箱型图，剔除原始数据中的噪声数据，分析数据图形规律；若数据存在缺失值，通过移动回归计算方法对数据进行填充，确保数据的准确性。采用滑动窗口间隔方法，根据时间段对数据进行划分，根据业务需求对填充后的数据进行计算分析，例如对同环比、最大值、最小值、平均值、求和、变异系数等进行分析，得到业务数据。同时可以根据分析结果得出数据结论性意见，例如环比增加比例和/或降低比例。

优选的，该数据传输系统还包括应用集群模块，用于通过注册数据服务中心，对应用系统进行集群部署模式和单节点部署模式设置。确保应用系统宕机之后仍有其它节点可以接管业务，把故障服务器上的应用程序转移到备份服务器上进行运行，减少应用系统的停机时间，保证应用系统的正常运行。

优选的，该应用系统的数据存储端采用分布式网络存储技术。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，解决了传统集中式存储系统中单存储服务器的瓶颈问题，还提高了系统的可靠性、可用性和扩展性。

传统的数据库存储主要是以关系型数据库为主，无法提供快速的数据传输。尤其在大数据量的数据存储时，因为数据主要存储在磁盘上，数据索引技术以树形结构为主，数据存储结构无法动态灵活扩展，使用灵活多变的业务需求。受限于底层存储引擎，无法对数据进行压缩处理，造成占用空间大，无法利用缓存技术，将大量的IO读写请求转移到内存中，造成检索和插入速度会非常慢。

优选的，本实施例中的数据传输系统采用NOSQL离散型数据存储结构结合Spark大数据计算引擎框架,通过Spark Streaming对流式数据进行处理，通过优化底层存储引擎WiredTiger和数据处理计算逻辑将原始数据进行熟加工，得到满足业务需求的业务数据。当业务需求发生变动时，无需更改任何结构，不需要新建数据列，只需要将数据进行存储即可。同时提供查询优化请求，可将传统磁盘的IO请求，在内存中构建内存表结构，避免对数据盘进行读写，查询检索数据更加快速和高效。尤其是在处理千万级以上的数据时，性能优势愈发明显，高效的存储引擎优化算法，可以将数据进行列式压缩，提高空间利用率。

优选的，本实施例中数据传输系统采用非阻塞NIO(Nonblocking I/O)开发的网络通讯框架。相比于阻塞BIO（Blocking I/O），采用非阻塞NIO(Nonblocking I/O)开发的网络通讯框架在传输中依赖了非阻塞NIO零拷贝的特性，并发性能非常高，可以对接大量的设备通讯。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将本申请所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

Claims (7)

1.一种数据传输系统，其特征在于，所述系统包括：

服务监听模块，用于当接收到待接入系统的连接请求时，对所述连接请求进行监听，并触发身份认证模块；

身份认证模块，用于在收到服务监听模块的触发后，对所述待接入系统进行身份认证，其中，若所述待接入系统的身份认证的结果为合法，则接收所述待接入系统发送的原始数据，

若所述待接入系统的身份认证的结果为非法，则拒绝接收所述待接入系统发送的原始数据；

数据配置模块，用于对所述数据传输系统接收到的数据的加密方式、传输方式和数据缓存方式进行配置；

协议转换模块，用于接收所述身份认证模块输出的原始数据，根据预置的解析算法探测所述原始数据的数据格式，将解析协议替换为所述原始数据对应的数据协议；

数据加密模块，用于接收所述身份认证模块输出的原始数据，并对所述原始数据进行Unicode编码，并基于按位补码技术进行补码运算，形成加密数据；

数据读写模块，用于对所述数据加密模块输出的加密数据进行数据存储和数据写入；

数据转发模块，用于对所述加密数据进行数据转发；

OTA固件模块，用于对所述数据配置模块中的配置信息进行远程升级；

运行监控模块，用于对所述数据传输系统运行的CPU、内存和磁盘IO信息进行展示，对自身的情况进行监视分析；

心跳监测模块，用于基于事件监听函数，将监听应用在每个连接事件上，发送心跳数据进行心跳探测，构建稳定的通讯链路；

所述数据传输系统采用非阻塞NIO开发的网络通讯框架；

所述协议转换模块还包括：数据格式检测单元，用于检测所述原始数据的数据格式；

数据协议解析单元，用于根据所述原始数据的数据格式来确定所述数据格式对应的协议类型，其中协议类型包括MODUBUS协议、IEC协议、M2H协议、HTTP协议、TCP协议和UDP协议。

2.根据权利要求1所述的数据传输系统，其特征在于，所述系统还包括：

数据缓存模块，对所述加密数据中的热点数据和数据别名进行缓存。

3.根据权利要求1所述的数据传输系统，其特征在于，所述系统还包括：

数据报表模块，用于对所述加密数据进行分析，并形成数据报表进行图形展示。

4.根据权利要求1所述的数据传输系统，其特征在于，所述系统还包括：

数据计算模块，用于对接收到的待接入系统的加密数据进行加工运算和处理，得到业务数据。

5.根据权利要求4所述的数据传输系统，其特征在于，数据计算模块还包括数据预处理单元,用于对接收到的原始数据进行初始处理，剔除所述原始数据中的噪声数据，得到预处理的数据；通过移动回归计算方法对所述预处理的数据中的缺失值进行数据填充，得到填充后的数据。

6.根据权利要求1所述的数据传输系统，其特征在于，所述系统还包括：

应用集群模块，用于通过注册数据服务中心，对所述传输系统进行集群部署模式和单节点部署模式设置。

7.根据权利要求1所述的数据传输系统，其特征在于，所述数据传输系统的数据存储端采用分布式网络存储技术。

Images