CN117319493A - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN117319493A
CN117319493A CN202311261439.5A CN202311261439A CN117319493A CN 117319493 A CN117319493 A CN 117319493A CN 202311261439 A CN202311261439 A CN 202311261439A CN 117319493 A CN117319493 A CN 117319493A
Authority
CN
China
Prior art keywords
preset transmission
transmission protocol
data
protocol
plug
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311261439.5A
Other languages
English (en)
Inventor
高建楠
李竺羲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202311261439.5A priority Critical patent/CN117319493A/zh
Publication of CN117319493A publication Critical patent/CN117319493A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0823—Network architectures or network communication protocols for network security for authentication of entities using certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据处理方法和装置，涉及数据处理技术领域。该方法的一具体实施方式包括：响应于部署预设传输协议代理服务操作，通过预设传输协议代理服务，建立边缘节点和数据采集设备之间的第一预设传输协议连接，边缘节点和中心服务器之间的第二预设传输协议连接；通过第一预设传输协议连接，接收数据采集设备传输的采集数据，对采集数据做协议转换处理，得到预设传输协议数据；通过第二预设传输协议连接，将预设传输协议数据传输至中心服务器，使得中心服务器对预设传输协议数据进行整合展示。该实施方式利用预设传输协议的快速连接和低延迟特性，能够减少数据传输的延迟，提高网络通信效率。

Description

一种数据处理方法和装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法和装置。
背景技术
边缘计算是一种分散式运算的架构，将应用程序、数据资料与服务的运算，由网络中心节点移往网络逻辑上的边缘节点来处理。边缘计算将原本完全由中心节点处理的大型服务加以分解，切割成更小与更容易管理的部分，分散到边缘节点去处理。边缘节点更接近于用户终端装置，可以加快资料的处理与传送速度，减少延迟，提高安全隐私保护。
现有技术的边缘计算场景下，无论是边缘节点到中心服务、边缘节点到边缘设备、以及边缘设备之间的网络通信，大多数使用传统的通信协议，这些传统的通信协议在建立连接和传输数据时，存在较高的延迟和带宽消耗，且在安全防护方面开销较大。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法和装置，至少能够解决现有协议在建立连接和传输数据时存在较高的延迟和带宽消耗，在安全防护方面开销较大的现象。
为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括：
边缘节点响应于部署预设传输协议代理服务操作，通过预设传输协议代理服务，建立边缘节点和数据采集设备之间的第一预设传输协议连接，以及建立边缘节点和中心服务器之间的第二预设传输协议连接；
通过第一预设传输协议连接，接收数据采集设备传输的采集数据，对采集数据做协议转换处理，得到预设传输协议数据；
通过第二预设传输协议连接，将预设传输协议数据传输至中心服务器，使得中心服务器对预设传输协议数据进行整合展示。
可选的，在所述响应于部署传输协议预设传输协议代理服务操作之前，所述方法还包括：
响应于对容器镜像文件中预设传输协议代理服务程序和依赖包的安装操作，解析依赖包，得到依赖环境，在依赖环境下运行预设传输协议代理服务程序，以对每个边缘节点部署预设传输协议代理服务。
可选的，在所述对每个边缘节点部署预设传输协议代理服务的过程中，所述方法还包括：
传输证书申请请求至证书管理机构；其中，证书申请请求包括本地IP地址、证书类型、协议类型，证书用于对服务请求和返回参数进行校验；
接收第三方证书管理机构返回的证书，将证书存储至预设传输协议代理服务的存储目录中。
可选的，在所述对每个边缘节点部署预设传输协议代理服务之后，所述方法还包括：
触发启动边缘节点上部署的预设传输协议代理服务的操作，根据每个预设传输协议代理服务是否接收到预设传输协议数据包、以及预设传输协议数据包的数据格式是否为预设格式，确定预设传输协议代理服务是否可使用。
可选的，预设传输协议代理服务程序和依赖包位于容器镜像文件中，所述方法还包括：
针对开发环境中的容器，通过容器配置文件模块，接收为每个容器配置的处理参数，结合预设传输协议代理服务程序和依赖包，打包为容器镜像文件；
运行容器镜像文件，以在边缘节点服务器中的各个边缘节点上，实现预设传输协议代理服务的容器化部署操作；其中，一个边缘节点服务器中运行一个容器。
可选的，配置的处理参数包括如下一种或多种：
接收对不同容器之间通讯网络的配置操作，以通过通讯网络，接收其他容器传输的组件；
接收对不同容器之间认证权限的配置操作，以在收到其他容器传输的信息时，响应于其他容器的认证权限为通过，确定信息认证通过；
接收为每个容器配置的资源占用上限参数。
可选的，所述建立边缘节点和数据采集设备之间的第一预设传输协议连接，包括：
确定边缘节点和数据采集设备之间采用的原通讯协议，调用可插拔预设传输协议网络接口服务，对原通讯协议进行协议结构转换，得到预设传输协议形式的通讯协议包；其中，可插拔为在不更改原通讯协议源代码基础上，确定协议结构转换方式；
所述通过第一预设传输协议连接，接收数据采集设备传输的采集数据，对采集数据做协议转换处理，包括：
接收数据采集设备通过原通讯协议传输的采集数据，使用与原通讯协议对应的预设传输协议形式的通讯协议包，对采集数据做协议转换处理。
可选的，所述对采集数据做协议转换处理，得到预设传输协议数据，包括：
调用通用预设传输协议插件接口，对采集数据做流处理，得到采集数据流并发送至预设传输协议插件管理器进行协议转换处理，以将接收自预设传输协议插件管理器的预设传输协议数据返回给边缘节点；
其中，预设传输协议插件管理器从采集数据流中读取数据，从每个采集数据的包结构中获取通讯协议类型，以从预设传输协议插件集合中确定与通讯协议类型对应的预设传输协议插件，并将采集数据发送至预设传输协议插件做协议转换处理，接收预设传输协议插件返回的预设传输协议数据并返回给通用预设传输协议插件接口。
可选的，在所述从预设传输协议插件集合中确定与通讯协议类型对应的预设传输协议插件之前，所述方法还包括：
预设传输协议插件管理器调用注册预设传输协议插件函数，将预设传输协议插件注册到预设传输协议插件管理器中，并接收为每个预设传输协议插件配置的对应的通讯协议类型；
在预设传输协议插件管理器安装或启动过程中，调用加载插件函数，以获取在预设传输协议插件管理器中注册的预设传输协议插件集合；
所述接收预设传输协议插件返回的预设传输协议数据并返回给通用预设传输协议插件接口，还包括：
在收到预设传输协议插件返回的预设传输协议数据之后，调用卸载释放插件函数，以对本次调用的预设传输协议插件做资源释放处理。
可选的，在所述将预设传输协议数据传输至中心服务器之前，还包括如下一种或多种：
确定数据采集设备对应的过滤策略，采用过滤策略对预设传输协议数据做过滤处理，得到过滤后的预设传输协议数据；
响应于检测到预设传输协议数据中存在敏感数据，使用与敏感数据对应的脱敏策略，对敏感数据做脱敏处理，得到脱敏数据。
为实现上述目的，根据本发明实施例的另一方面，提供了一种数据处理装置，包括：
协议连接建立模块，用于响应于部署预设传输协议代理服务操作，通过预设传输协议代理服务，建立边缘节点和数据采集设备之间的第一预设传输协议连接，以及建立边缘节点和中心服务器之间的第二预设传输协议连接；
数据转换模块，用于通过第一预设传输协议连接，接收数据采集设备传输的采集数据，对采集数据做协议转换处理，得到预设传输协议数据；
数据传输模块，用于通过第二预设传输协议连接，将预设传输协议数据传输至中心服务器，使得中心服务器对预设传输协议数据进行整合展示。
可选的，所述装置还包括部署模块，用于：
响应于对容器镜像文件中预设传输协议代理服务程序和依赖包的安装操作，解析依赖包，得到依赖环境，在依赖环境下运行预设传输协议代理服务程序，以对每个边缘节点部署预设传输协议代理服务。
可选的，所述部署模块，还用于：
传输证书申请请求至证书管理机构；其中，证书申请请求包括本地IP地址、证书类型、协议类型，证书用于对服务请求和返回参数进行校验；
接收第三方证书管理机构返回的证书，将证书存储至预设传输协议代理服务的存储目录中。
可选的，所述部署模块，还用于：
触发启动边缘节点上部署的预设传输协议代理服务的操作，根据每个预设传输协议代理服务是否接收到预设传输协议数据包、以及预设传输协议数据包的数据格式是否为预设格式，确定预设传输协议代理服务是否可使用。
可选的，预设传输协议代理服务程序和依赖包位于容器镜像文件中，所述装置还包括容器化模块，用于：
针对开发环境中的容器，通过容器配置文件模块，接收为每个容器配置的处理参数，结合预设传输协议代理服务程序和依赖包，打包为容器镜像文件；
运行容器镜像文件，以在边缘节点服务器中的各个边缘节点上，实现预设传输协议代理服务的容器化部署操作；其中，一个边缘节点服务器中运行一个容器。
可选的，配置的处理参数包括如下一种或多种：
接收对不同容器之间通讯网络的配置操作，以通过通讯网络，接收其他容器传输的组件；
接收对不同容器之间认证权限的配置操作，以在收到其他容器传输的信息时，响应于其他容器的认证权限为通过，确定信息认证通过；
接收为每个容器配置的资源占用上限参数。
可选的，所述协议连接建立模块，用于：
确定边缘节点和数据采集设备之间采用的原通讯协议，调用可插拔预设传输协议网络接口服务，对原通讯协议进行协议结构转换，得到预设传输协议形式的通讯协议包；其中，可插拔为在不更改原通讯协议源代码基础上，确定协议结构转换方式；
所述数据转换模块，用于：接收数据采集设备通过原通讯协议传输的采集数据，使用与原通讯协议对应的预设传输协议形式的通讯协议包，对采集数据做协议转换处理。
可选的，所述数据转换模块，用于：
调用通用预设传输协议插件接口，对采集数据做流处理，得到采集数据流并发送至预设传输协议插件管理器进行协议转换处理，以将接收自预设传输协议插件管理器的预设传输协议数据返回给边缘节点；
其中，预设传输协议插件管理器从采集数据流中读取数据，从每个采集数据的包结构中获取通讯协议类型，以从预设传输协议插件集合中确定与通讯协议类型对应的预设传输协议插件，并将采集数据发送至预设传输协议插件做协议转换处理，接收预设传输协议插件返回的预设传输协议数据并返回给通用预设传输协议插件接口。
可选的，预设传输协议插件管理器，用于：
预设传输协议插件管理器调用注册预设传输协议插件函数，将预设传输协议插件注册到预设传输协议插件管理器中，并接收为每个预设传输协议插件配置的对应的通讯协议类型；
在预设传输协议插件管理器安装或启动过程中，调用加载插件函数，以获取在预设传输协议插件管理器中注册的预设传输协议插件集合；以及
在收到预设传输协议插件返回的预设传输协议数据之后，调用卸载释放插件函数，以对本次调用的预设传输协议插件做资源释放处理。
可选的，所述数据传输模块，还包括如下一种或多种：
确定数据采集设备对应的过滤策略，采用过滤策略对预设传输协议数据做过滤处理，得到过滤后的预设传输协议数据；
响应于检测到预设传输协议数据中存在敏感数据，使用与敏感数据对应的脱敏策略，对敏感数据做脱敏处理，得到脱敏数据。
为实现上述目的，根据本发明实施例的再一方面，提供了一种数据处理电子设备。
本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的数据处理方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的数据处理方法。
为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算程序产品。本发明实施例的一种计算程序产品，包括计算机程序，所述程序被处理器执行时实现本发明实施例提供的数据处理方法。
根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：在各个边缘节点上部署预设传输协议代理服务，以与数据采集设备、中心服务器之间建立快速、可靠的预设传输协议通信通道，减少数据传输的延迟和网络堵塞，使得边缘节点能够快速响应数据采集设备传输的采集数据，在将预设传输协议数据传输给中心服务器之前，边缘节点还可以对数据进行过滤或加密等操作，以此减轻中心服务器的负载，提升数据处理效率。此外，还设置有权限验证机制，保证边缘计算环境中数据传输和通信的安全性，防止数据在传输过程中被窃取或篡改，从而提升边缘计算环境的性能和用户体验。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的一种数据处理方法的主要流程示意图；
图2是根据本发明实施例的一种可选的数据处理方法的流程示意图；
图3是根据本发明实施例的另一种可选的数据处理方法的流程示意图；
图4是根据本发明实施例的又一种可选的数据处理方法的流程示意图；
图5是根据本发明实施例的又一种可选的数据处理方法的流程示意图；
图6是根据本发明实施例的一种数据处理装置的主要模块示意图；
图7是本发明实施例可以应用于其中的示例性系统架构图；
图8是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以互相组合。本发明的技术方案中，所涉及的用户个人信息的采集、分析、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法且合理的用途，不在这些合法使用等方面之外共享、泄露或出售，并且接受监管部门的监督管理。应当对用户个人信息采取必要措施，以防止对此类个人信息数据的非法访问，确保有权访问个人信息数据的人员遵守相关法律法规的规定，确保用户个人信息安全。
一旦不再需要这些用户个人信息数据，应当通过限制甚至禁止数据收集和/或删除数据的方式将风险降至最低。当适用时，包括在某些相关应用程序中，通过对数据去标识来保护用户隐私，例如在适用时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在具体地址级别收集位置数据)、控制数据如何被存储、和/或其他方法去标识。
传统的通讯协议，如MQTT(Message Queuing Telemetry Transport，消息队列遥测传输协议)、AMQP(Advanced Message Queuing Protocol，高级消息队列协议)、CoAP(Constrained Application Protocol，受限制的应用协议)以及gRPC(Google RemoteProcedure Call，Google远程过程调用)。
1、MQTT适用于小型数据传输和低带宽环境，但对于大量数据的传输效率较低，且MQTT本身没有内置的安全机制，需要额外的措施来实现数据的加密和身份验证；
2、AMQP是一种复杂的协议，需要较高的技术要求和开发成本。对于简单的通信需求可能会显得过于繁重，由于AMQP提供了丰富的功能和可靠性保证，因此其性能开销相对较高。
3、CoAP是一种面向受限设备的协议，对于高可靠性和大规模通信的场景可能存在一定限制，且CoAP的安全性支持相对有限，需要额外的扩展来实现安全传输和身份验证。
4、gRPC配置相对复杂，需要额外的工作来定义和生成协议的接口和数据类型，对于一些网络限制或防火墙的环境可能不适用。
参见图1，示出的是本发明实施例提供的一种数据处理方法的主要流程图，包括如下步骤：
S101：边缘节点响应于部署预设传输协议代理服务操作，通过预设传输协议代理服务，建立边缘节点和数据采集设备之间的第一预设传输协议连接，以及建立边缘节点和中心服务器之间的第二预设传输协议连接；
S102：通过第一预设传输协议连接，接收数据采集设备传输的采集数据，对采集数据做协议转换处理，得到预设传输协议数据；
S103：通过第二预设传输协议连接，将预设传输协议数据传输至中心服务器，使得中心服务器对预设传输协议数据进行整合展示。
上述实施方式中，边缘计算具有实时性和低延迟响应的特征，而传统的网络协议在建立连接和传输数据时存在较高的延迟和带宽消耗。QUIC(全称，QUICk UDP InternetConnection)作为一种新一代的互联网传输层协议，在边缘计算中使用较少，可以显著减少网络延迟和带宽消耗，提高边缘计算实时性和效率。
QUIC协议的最大优化即简化握手流程到0/1RTT(Round-Trip Time，往返时间)。例如，TCP(Transmission Control Protocol，传输控制协议)的握手流程繁琐，HTTPS(HyperText Transfer Protocol over Secure Socket Layer，以安全为目标的HTTP通道)的握手需要3RTT的耗时，而QUIC将该繁琐流程缩减到了0-1个RTT，最多只消耗1RTT。因而，本方案主要采用QUIC，即预设传输协议优选采用QUIC。
边缘计算环境可能存在不稳定的网络连接或边缘设备的故障，因此需要确保边缘计算的可靠性和容错性。QUIC旨在提供更快速、安全和可靠的网络连接，主要负责处理数据的分段、重组和可靠传输，以确保数据的有效交付。QUIC基于UDP协议而不是传统的TCP。UDP具有较低的延迟和更简单的连接建立过程，但在可靠性和拥塞控制方面相对较弱，鉴于此，QUIC通过在UDP之上构建自己的可靠性和拥塞控制机制，克服了UDP的限制，提供了更可靠和高效的数据传输。QUIC支持多路复用，可以在单个连接上同时传输多个数据流。这意味着可以并发处理多个请求和响应，提高网络的利用率和性能。多路复用还有助于减少连接建立和关闭的开销，提高网络的效率。
对于步骤S101，首先在边缘计算环境中，在各个边缘节点上部署QUIC代理服务器，比如可以使用nginx-quiChe服务作为边缘节点的QUIC代理服务器。此处边缘节点可以是位于网络边缘的服务器、边缘网关或边缘设备等，通过在边缘节点上部署QUIC代理服务器，可以直接与数据采集设备建立第一QUIC连接，以及与中心服务器之间建立第二QUIC连接，减少数据传输的延迟和网络拥塞。
边缘计算环境中的实时通信对于应用场景的需求很高。QUIC的低延迟和连接迁移特性使其成为实时通信的理想协议。通过使用QUIC协议在边缘节点和其他终端设备之间建立快速、可靠的通信通道，能够实现低延迟的数据交换、协同计算和协作。
对于步骤S102，数据采集设备可以多样，比如雷达、人脸采集设备、行车记录仪等，通过前述建立的第一QUIC连接，接收数据采集设备传输的采集数据。不同传输协议对传输的数据格式要求不同，因而需要对收到的采集数据做不同格式的QUIC协议转换处理，得到QUIC协议数据。
对于步骤S103，边缘节点利用QUIC协议的快速传输特性，除了对数据采集设备传输的采集数据进行实时处理和分析外，还可以进行过滤或加密操作，以减轻中心服务器的负载并提高数据处理效率。例如，不同数据采集设备的过滤策略不同，雷达数据需要进行降噪处理，人脸数据需要过滤无关人脸(如人脸轮廓不全)，因而对于采集数据，需要根据传输对象采用相应过滤策略进行过滤处理。例如，QUIC协议数据中存在敏感数据，比如姓名、身份证号码、住址、电话、银行账号、邮箱、密码、医疗信息、教育背景等，不同敏感数据的脱敏策略不同，如针对身份证号将中间10位更改为*，手机号将中间六位更改为*，以此提升数据传输安全性。
中心服务器在收到边缘节点通过第二QUIC连接传输的QUIC协议数据后，可以对QUIC协议数据进行整合展示，比如使用柱状图、饼图、折线图、或者数据列表形式等。
上述实施例所提供的方法，在边缘节点、数据采集设备、中心服务之间建立QUIC通信网络，对采集数据进行QUIC协议转换处理，利用QUIC的快速连接和低延迟特性，能够充分发挥边缘计算优势，减少数据传输的延迟，提高网络通信效率。
参见图2，示出了根据本发明实施例的一种可选的数据处理方法流程示意图，包括如下步骤：
S201：针对开发环境中的容器，通过容器配置文件模块，接收为每个容器配置的处理参数，结合预设传输协议代理服务程序和依赖包，打包为容器镜像文件；
S202：运行容器镜像文件，以在边缘节点服务器中的各个边缘节点上，实现预设传输协议代理服务的容器化部署操作；其中，一个边缘节点服务器中运行一个容器；
S203：响应于对容器镜像文件中预设传输协议代理服务程序和依赖包的安装操作，解析依赖包，得到依赖环境，在依赖环境下运行预设传输协议代理服务程序，以对每个边缘节点部署预设传输协议代理服务；
S204：触发启动边缘节点上部署的预设传输协议代理服务的操作，根据每个预设传输协议代理服务是否接收到预设传输协议数据包、以及预设传输协议数据包的数据格式是否为预设格式，确定预设传输协议代理服务是否可使用。
上述实施方式中，对于QUI的安全处理机制方面，现存的相关技术中采用的方法为设置隧道资产中心、隧道云服务和隧道边缘客户端。在进行通信时，首先由客户端向资产中心发起注册请求，即所有边缘客户端信息由资产中心进行管理。该机制强制要求边缘客户端必须具有隧道资产中心中的资产模型，这就限制了节点的灵活性和扩展性。新的边缘节点需要更新资产模型或进行特定配置，但由于要求资产模型匹配，需要额外的步骤来适应新节点，且存在单点故障风险。
本方案通过虚拟化和容器化，以将不同的边缘节点服务器隔离在独立的虚拟环境中，减少不同边缘节点服务器的边缘节点之间的相互影响，有助于防止恶意节点对其他节点的攻击或干扰。
对于步骤S201，本方案通过容器化边缘计算网络服务器来提高其安全性，容器利用容器引擎的Namespaces和CGroups等技术，可以隔离不同容器的进程、网络、文件系统等资源，以此有效防止一个容器被入侵后影响其他容器和主机。容器镜像只包含应用运行最小化的文件系统，启动后也可以通过Capabilities机制移除非必要权限，可以减少被攻击的风险。另外，使用容器网络可以方便地控制不同容器的网络流量，实现流量限速、隔离等，降低DDoS(Distributed Denial of Service，分布式拒绝服务)风险。
开发环境中针对每个边缘节点服务器配置容器，一个容器仅运行在一个边缘节点服务器中，因而对于每个容器，通过容器配置文件模块Dockerfile，对其nginx-quiche服务程序(即QUIC代理服务)和依赖包、配置的处理参数，打包为容器镜像文件。
此处配置的处理参数，可以是多种，例如：
1)接收对不同容器之间通讯网络的配置操作，如编排容器网络，定义网桥、容器网络等，确保容器间、容器和外界可以通过QUIC协议通信，比如配置容器X和容器Y之间的通讯网络，后续网络X可以接收容器Y传输的组件，如运行基础组件、数据库等。
2)配置安全规范，接收对不同容器之间传输认证权限的配置操作，具体地设置Capabilities白名单，同样以容器X为例，其白名单中包括容器Y，因而在收到容器Y传输的信息时，首先校验容器Y是否位于白名单中，若位于白名单中，则确认该信息认证通过。
3)配置容器的CPU、内存等资源限制，如预占用资源量为CPU 2核、8G，以避免占用过多资源情况。
对于步骤S202～S204，运行容器镜像文件，以在边缘节点服务器中使用docker-compose，对每个边缘节点部署容器化的QUIC代理服务。部署时首先解析依赖包，得到依赖环境。依赖包属于基础环境，是首先部署的对象。
部署完成后，可以在依赖环境中运行QUIC代理服务程序，类似于解析安装包并安装程序，实现在每个边缘节点部署QUIC代理服务的目的。部署完成后，还可以启动每个边缘节点上QUIC代理服务，根据每个QUIC代理服务是否接收到QUIC数据包、以及QUIC数据包的数据格式是否为预设格式，确定QUIC代理服务是否可使用。QUIC数据包实质为一个字符串，但该字符串有固定的格式要求，比如A-B-C，若某一QUIC数据包为ABC形式，则表示该边缘节点的QUIC代理服务不可用，需要重新安装。
除此之外，将QUIC边缘计算服务器容器化还包括应用secrets管理。使用secrets传递证书、Tokens等敏感信息，不保存在镜像或镜像仓库中。QUIC内置了安全性机制，包括加密和身份验证。通过使用传输层安全性协议(TLS，全称Transport Layer SecurityProtocol)进行连接建立和数据加密，QUIC确保数据在传输过程中的安全性和保密性。它还提供了端点身份验证，确保通信双方的身份可信。边缘节点可以利用QUIC提供的安全特性来保护数据的机密性和完整性，防止数据在传输过程中被窃取或篡改。
因而，在对每个边缘节点部署QUIC代理服务的过程中，本方案还可以传输证书申请请求给证书管理机构，接收证书管理机构返回的证书，将证书存储至QUIC代理服务的存储目录中，此处证书管理机构可以是第三方证书管理机构，也可以是内部证书管理机构；其中，证书申请请求包括本地IP(Internet Protocol，网络之间互连的协议)地址、证书类型、协议类型，证书用于对服务请求和返回参数进行校验。
上述实施例所提供的方法，将设置的nginx-quiche代理服务程序和边缘节点服务均容器化运行，以在容器中配置安全规范，构建容器镜像文件，便于统一监控各个边缘节点上部署的QUIC代理服务并进行安全校验。
参见图3，示出了根据本发明实施例的另一种可选的数据处理方法流程示意图，包括如下步骤：
S301：确定边缘节点和数据采集设备之间采用的原通讯协议；
S302：调用可插拔预设传输协议网络接口服务，对原通讯协议进行协议结构转换，得到预设传输协议形式的通讯协议包；其中，可插拔为在不更改原通讯协议源代码基础上，确定协议结构转换方式；
S303：接收数据采集设备通过原通讯协议传输的采集数据，使用与原通讯协议对应的预设传输协议形式的通讯协议包，对采集数据做协议转换处理。
上述实施方式中，本方案中QUIC网络接口使用可插拔设计，解耦了协议处理和业务处理，边缘节点通过可插拔QUIC网络接口与协议栈进行交互。将二者解耦，业务代码不依赖具体协议实现。此处可插拔的含义，为基于原通讯协议确定协议结构转换方式，并不更改源通讯协议的源代码。
1)定义通用QUIC插件接口(参见图4所示)、可插拔QUIC网络接口服务
a..定义连接(Connection)接口，此接口封装了一个QUIC连接的处理。它包含以下函数：
connect()：启动一个新的QUIC连接
send()：在连接上发送数据
receive()：在连接上接收数据
close()：主动关闭连接
连接接口隐藏了诸如握手、流控制、拥塞控制等内部机制。
b.定义流(Stream)接口封装了在QUIC连接上的一个逻辑双向字节流。包含：
read()：从流中读取数据
write()：写入数据到流
close()：关闭流
流接口提供了抽象的数据读写通道。
c.定义配置(Configuration)接口封装连接参数，比如最大流窗口大小(一个流允许有多个)，空闲超时等，可以用来配置一个连接。由于QUIC连接并非长连接，因而设置空闲超时机制，以在使用时建立，使用结束后关闭连接。
d.定义加密(Crypto)接口封装了密钥协商，数据包加密解密等安全相关操作。
e.定义回调(Callback)接口用来注册连接或流事件的回调函数，如连接打开、流关闭等。
通过这些接口的组合，应用可以获取QUIC连接、流对象，进行数据收发。内部协议处理逻辑与应用解耦。这些接口协议的定义较为通用，基本与TCP、UDP协议接口保持一致，使用时保持原有编码习惯，以进一步降低使用成本。
对于步骤S301～S303，本方案首先确定边缘节点和数据采集设备之间采用的原通讯协议，如HTTP、TCP、UDP中的一种。以TCP为例，调用可插拔QUIC网络接口服务，在不更改TCP源代码基础上，基于TCP协议，确定协议结构转换方式，得到QUIC形式的通讯协议包。后续边缘节点接收数据采集设备通过TCP协议传输的采集数据，使用与TCP协议对应的QUIC形式的通讯协议包，对采集数据做协议转换处理。因而第一QUIC连接，实质为原有TCP协议和QUIC形式的通讯协议包的组合。
上述实施例所提供的方法，定义了可插拔的QUI网络接口服务，使用插件机制，最大程度的降低了QUI边缘计算网络部署的复杂性，使得边缘节点对QUI协议具有了较高的兼容性；以及利用QUIC协议的快速连接和低延迟特性，以及边缘节点的存储和计算能力，使得边缘节点能够快速处理数据采集设备传输的采集数据，减少数据传输的距离和时间。
参见图4，示出了根据本发明实施例的又一种可选的数据处理方法流程示意图，包括如下步骤：
S401：调用通用预设传输协议插件接口，对采集数据做流处理，得到采集数据流并发送至预设传输协议插件管理器；
S402：预设传输协议插件管理器从采集数据流中读取数据，从每个采集数据的包结构中获取通讯协议类型；
S403：预设传输协议插件管理器从预设传输协议插件集合中确定与通讯协议类型对应的预设传输协议插件，并将采集数据发送至预设传输协议插件；
S404：预设传输协议插件对采集数据做协议转换处理，得到预设传输协议数据并返回给预设传输协议插件接口；
S405：预设传输协议插件管理器将预设传输协议数据返回给通用预设传输协议插件接口；
S406：通用预设传输协议插件接口将预设传输协议数据返回给边缘节点。
上述实施方式中，对于步骤S401～S406，本方案预先实现QUIC插件管理器，参见图5所示。QUIC插件管理器负责加载卸载插件，管理多种QUIC协议，加载实际的插件对象，对QUIC插件进行生命周期管理，实现动态加载、切换等功能。
1)定义一个registerPlugin()函数(即注册QUIC插件函数)，用以实现将QUIC插件注册到QUIC插件管理器中，并在QUIC插件管理器内部使用一个列表或映射表，来维护“QUIC插件-通讯协议类型”对应关系，呈现key-value形式；
2)提供loadPlugin()函数(即加载插件函数)，以在QUIC插件管理器安装或启动过程中，通过调用该函数，获取在QUIC插件管理器中注册的QUIC插件集合，并从QUIC插件集合中确定与通讯协议类型对应的QUIC插件，调用插件的init()进行初始化；
3)提供getPlugin()函数(即获取插件函数)，将采集数据发给QUIC插件进行协议转换处理；
4)提供unloadPlugin()函数(即释放插件函数)，以在收到QUIC插件返回的QUIC协议数据之后，卸载和释放不需要的QUIC插件，以此释放资源。
通用QUIC插件接口面向所有边缘节点，某一边缘节点调用该通用QUIC插件接口，以通过该通用QUIC插件接口对对采集数据做流处理，得到采集数据流并发送至QUIC插件管理器进行QUIC协议转换处理。通过将采集数据做流处理，能够提升数据传输特性，避免数据处理时序混乱问题。
此外，QUIC采用了自己的拥塞控制和流量控制机制。拥塞控制用于避免网络拥塞，并根据网络状况调整数据传输速率。流量控制用于控制数据发送方与接收方之间的数据流量，避免接收方过载，这些机制有助于提供更稳定和可靠的数据传输。
上述实施例所提供的方法，通过QUIC插件管理器实现对QUIC插件的注册和释放管理机制，实际由QUIC插件完成采集数据的协议转换机制，以最大程度降低QUI边缘计算网络部署的复杂性；使用通用QUIC插件接口与QUIC插件管理器交互，降低了边缘节点的处理数据压力。
本发明实施例提供的方法，相比现有技术至少存在如下有益效果：
1、边缘计算具有实时性和低延迟响应的特征，而传统的网络协议在建立连接和传输数据时存在较高的延迟和带宽消耗。本方案利用QUIC传输协议自身的特性，可以显著减少网络延迟和带宽消耗，提高边缘计算实时性和效率。
2、QUIC协议定义了不同的加密级别，各种加密级别使用不同包序列号空间。不同传输协议对应不同的QUIC形式的通讯协议包，有效保证采集数据的转换正确性；
当一个数据传输给对端后，该数据不能再被申明为丢失，这种方式大大简化了双端传输协议的设计，也减小了发送端的内存压力。现有TCP协议在传输过程中相同的数据可能发生了多次丢失，而使用QUIC，当一个数据被申明丢失时，QUIC开启一段丢失检测的周期，在此之后发送的任何一个数据被确认则刷新检测周期的时间，以此精确地在每个RTT内更新拥塞窗口的大小。另外相比TCP的SACK只能确认三个段，QUIC协议的ACK帧支持更多的段确认，在高丢包场景下，加快了重传恢复的速度，避免零散的范围确认导致的传输中断。
3、边缘计算环境可能存在不稳定的网络连接或边缘设备的故障，因此需要确保边缘计算的可靠性和容错性。QUIC协议具有一些容错机制，如流量控制和拥塞控制，并且提供可插拔的流控方案，以对每条数据流做流控。QUIC能支持连接迁移，不再用四元组标识连接，而是以一个64位的随机数作为ConnctionID来标识，即使IP地址或者端口发生变化，只要ConnctionID不变，这条连接依然维持着，上层业务逻辑不会感知到变化，就不会中断，也就不需要重连。
参见图6，示出了本发明实施例提供的一种数据处理装置600的主要模块示意图，包括：
协议连接建立模块601，用于响应于部署预设传输协议代理服务操作，通过预设传输协议代理服务，建立边缘节点和数据采集设备之间的第一预设传输协议连接，以及建立边缘节点和中心服务器之间的第二预设传输协议连接；
数据转换模块602，用于通过第一预设传输协议连接，接收数据采集设备传输的采集数据，对采集数据做协议转换处理，得到预设传输协议数据；
数据传输模块603，用于通过第二预设传输协议连接，将预设传输协议数据传输至中心服务器，使得中心服务器对预设传输协议数据进行整合展示。
本发明实施装置还包括部署模块，用于：
响应于对容器镜像文件中预设传输协议代理服务程序和依赖包的安装操作，解析依赖包，得到依赖环境，在依赖环境下运行预设传输协议代理服务程序，以对每个边缘节点部署预设传输协议代理服务。
本发明实施装置中，所述部署模块，还用于：
传输证书申请请求至证书管理机构；其中，证书申请请求包括本地IP地址、证书类型、协议类型，证书用于对服务请求和返回参数进行校验；
接收第三方证书管理机构返回的证书，将证书存储至预设传输协议代理服务的存储目录中。
本发明实施装置中，所述部署模块，还用于：
触发启动边缘节点上部署的预设传输协议代理服务的操作，根据每个预设传输协议代理服务是否接收到预设传输协议数据包、以及预设传输协议数据包的数据格式是否为预设格式，确定预设传输协议代理服务是否可使用。
本发明实施装置中，预设传输协议代理服务程序和依赖包位于容器镜像文件中，所述装置还包括容器化模块，用于：
针对开发环境中的容器，通过容器配置文件模块，接收为每个容器配置的处理参数，结合预设传输协议代理服务程序和依赖包，打包为容器镜像文件；
运行容器镜像文件，以在边缘节点服务器中的各个边缘节点上，实现预设传输协议代理服务的容器化部署操作；其中，一个边缘节点服务器中运行一个容器。
本发明实施装置中，配置的处理参数包括如下一种或多种：
接收对不同容器之间通讯网络的配置操作，以通过通讯网络，接收其他容器传输的组件；
接收对不同容器之间认证权限的配置操作，以在收到其他容器传输的信息时，响应于其他容器的认证权限为通过，确定信息认证通过；
接收为每个容器配置的资源占用上限参数。
发明实施装置中，所述协议连接建立模块601，用于：
确定边缘节点和数据采集设备之间采用的原通讯协议，调用可插拔预设传输协议网络接口服务，对原通讯协议进行协议结构转换，得到预设传输协议形式的通讯协议包；其中，可插拔为在不更改原通讯协议源代码基础上，确定协议结构转换方式；
所述数据转换模块602，用于：接收数据采集设备通过原通讯协议传输的采集数据，使用与原通讯协议对应的预设传输协议形式的通讯协议包，对采集数据做协议转换处理。
本发明实施装置中，所述数据转换模块602，用于：
调用通用预设传输协议插件接口，对采集数据做流处理，得到采集数据流并发送至预设传输协议插件管理器进行协议转换处理，以将接收自预设传输协议插件管理器的预设传输协议数据返回给边缘节点；
其中，预设传输协议插件管理器从采集数据流中读取数据，从每个采集数据的包结构中获取通讯协议类型，以从预设传输协议插件集合中确定与通讯协议类型对应的预设传输协议插件，并将采集数据发送至预设传输协议插件做协议转换处理，接收预设传输协议插件返回的预设传输协议数据并返回给通用预设传输协议插件接口。
本发明实施装置中，预设传输协议插件管理器，用于：
预设传输协议插件管理器调用注册预设传输协议插件函数，将预设传输协议插件注册到预设传输协议插件管理器中，并接收为每个预设传输协议插件配置的对应的通讯协议类型；
在预设传输协议插件管理器安装或启动过程中，调用加载插件函数，以获取在预设传输协议插件管理器中注册的预设传输协议插件集合；以及
在收到预设传输协议插件返回的预设传输协议数据之后，调用卸载释放插件函数，以对本次调用的预设传输协议插件做资源释放处理。
本发明实施装置中，所述数据传输模块603，还包括如下一种或多种：
确定数据采集设备对应的过滤策略，采用过滤策略对预设传输协议数据做过滤处理，得到过滤后的预设传输协议数据；
响应于检测到预设传输协议数据中存在敏感数据，使用与敏感数据对应的脱敏策略，对敏感数据做脱敏处理，得到脱敏数据。
另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。
图7示出了可以应用本发明实施例的示例性系统架构700，包括终端设备701、702、703，网络704和服务器705(仅仅是示例)。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，安装有各种通讯客户端应用，用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。
网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
服务器705可以是提供各种服务的服务器，需要说明的是，本发明实施例所提供的方法一般由服务器705执行，相应地，装置一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括协议连接建立模块、数据转换模块、数据传输模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据转换模块还可以被描述为“预设传输协议数据转换模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行上述任一所述的数据处理方法。
本发明的计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本发明实施例中的数据处理方法。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (20)

1.一种数据处理方法，其特征在于，包括：
边缘节点响应于部署预设传输协议代理服务操作，通过预设传输协议代理服务，建立边缘节点和数据采集设备之间的第一预设传输协议连接，以及建立边缘节点和中心服务器之间的第二预设传输协议连接；
通过第一预设传输协议连接，接收数据采集设备传输的采集数据，对采集数据做协议转换处理，得到预设传输协议数据；
通过第二预设传输协议连接，将预设传输协议数据传输至中心服务器，使得中心服务器对预设传输协议数据进行整合展示。
2.根据权利要求1所述的方法，其特征在于，在所述响应于部署预设传输协议代理服务操作之前，所述方法还包括：
响应于对容器镜像文件中预设传输协议代理服务程序和依赖包的安装操作，解析依赖包，得到依赖环境，在依赖环境下运行预设传输协议代理服务程序，以对每个边缘节点部署预设传输协议代理服务。
3.根据权利要求2所述的方法，其特征在于，在所述对每个边缘节点部署预设传输协议代理服务的过程中，所述方法还包括：
传输证书申请请求至证书管理机构；其中，证书申请请求包括本地IP地址、证书类型、协议类型，证书用于对服务请求和返回参数进行校验；
接收第三方证书管理机构返回的证书，将证书存储至预设传输协议代理服务的存储目录中。
4.根据权利要求2或3所述的方法，其特征在于，在所述对每个边缘节点部署预设传输协议代理服务之后，所述方法还包括：
触发启动边缘节点上部署的预设传输协议代理服务的操作，根据每个预设传输协议代理服务是否接收到预设传输协议数据包、以及预设传输协议数据包的数据格式是否为预设格式，确定预设传输协议代理服务是否可使用。
5.根据权利要求2所述的方法，其特征在于，预设传输协议代理服务程序和依赖包位于容器镜像文件中，所述方法还包括：
针对开发环境中的容器，通过容器配置文件模块，接收为每个容器配置的处理参数，结合预设传输协议代理服务程序和依赖包，打包为容器镜像文件；
运行容器镜像文件，以在边缘节点服务器中的各个边缘节点上，实现预设传输协议代理服务的容器化部署操作；其中，一个边缘节点服务器中运行一个容器。
6.根据权利要求5所述的方法，其特征在于，配置的处理参数包括如下一种或多种：
接收对不同容器之间通讯网络的配置操作，以通过通讯网络，接收其他容器传输的组件；
接收对不同容器之间认证权限的配置操作，以在收到其他容器传输的信息时，响应于其他容器的认证权限为通过，确定信息认证通过；
接收为每个容器配置的资源占用上限参数。
7.根据权利要求1所述的方法，其特征在于，所述建立边缘节点和数据采集设备之间的第一预设传输协议连接，包括：
确定边缘节点和数据采集设备之间采用的原通讯协议，调用可插拔预设传输协议网络接口服务，对原通讯协议进行协议结构转换，得到预设传输协议形式的通讯协议包；其中，可插拔为在不更改原通讯协议源代码基础上，确定协议结构转换方式；
所述通过第一预设传输协议连接，接收数据采集设备传输的采集数据，对采集数据做协议转换处理，包括：
接收数据采集设备通过原通讯协议传输的采集数据，使用与原通讯协议对应的预设传输协议形式的通讯协议包，对采集数据做协议转换处理。
8.根据权利要求1或7所述的方法，其特征在于，所述对采集数据做协议转换处理，得到预设传输协议数据，包括：
调用通用预设传输协议插件接口，对采集数据做流处理，得到采集数据流并发送至预设传输协议插件管理器进行协议转换处理，以将接收自预设传输协议插件管理器的预设传输协议数据返回给边缘节点；
其中，预设传输协议插件管理器从采集数据流中读取数据，从每个采集数据的包结构中获取通讯协议类型，以从预设传输协议插件集合中确定与通讯协议类型对应的预设传输协议插件，并将采集数据发送至预设传输协议插件做协议转换处理，接收预设传输协议插件返回的预设传输协议数据并返回给通用预设传输协议插件接口。
9.根据权利要求8所述的方法，其特征在于，在所述从预设传输协议插件集合中确定与通讯协议类型对应的预设传输协议插件之前，所述方法还包括：
预设传输协议插件管理器调用注册预设传输协议插件函数，将预设传输协议插件注册到预设传输协议插件管理器中，并接收为每个预设传输协议插件配置的对应的通讯协议类型；
在预设传输协议插件管理器安装或启动过程中，调用加载插件函数，以获取在预设传输协议插件管理器中注册的预设传输协议插件集合；
所述接收预设传输协议插件返回的预设传输协议数据并返回给通用预设传输协议插件接口，还包括：
在收到预设传输协议插件返回的预设传输协议数据之后，调用卸载释放插件函数，以对本次调用的预设传输协议插件做资源释放处理。
10.根据权利要求1所述的方法，其特征在于，在所述将预设传输协议数据传输至中心服务器之前，还包括如下一种或多种：
确定数据采集设备对应的过滤策略，采用过滤策略对预设传输协议数据做过滤处理，得到过滤后的预设传输协议数据；
响应于检测到预设传输协议数据中存在敏感数据，使用与敏感数据对应的脱敏策略，对敏感数据做脱敏处理，得到脱敏数据。
11.一种数据处理装置，其特征在于，包括：
协议连接建立模块，用于响应于部署预设传输协议代理服务操作，通过预设传输协议代理服务，建立边缘节点和数据采集设备之间的第一预设传输协议连接，以及建立边缘节点和中心服务器之间的第二预设传输协议连接；
数据转换模块，用于通过第一预设传输协议连接，接收数据采集设备传输的采集数据，对采集数据做协议转换处理，得到预设传输协议数据；
数据传输模块，用于通过第二预设传输协议连接，将预设传输协议数据传输至中心服务器，使得中心服务器对预设传输协议数据进行整合展示。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括部署模块，用于：
响应于对容器镜像文件中预设传输协议代理服务程序和依赖包的安装操作，解析依赖包，得到依赖环境，在依赖环境下运行预设传输协议代理服务程序，以对每个边缘节点部署预设传输协议代理服务。
13.根据权利要求12所述的装置，其特征在于，所述部署模块，还用于：
触发启动边缘节点上部署的预设传输协议代理服务的操作，根据每个预设传输协议代理服务是否接收到预设传输协议数据包、以及预设传输协议数据包的数据格式是否为预设格式，确定预设传输协议代理服务是否可使用。
14.根据权利要求12所述的装置，其特征在于，预设传输协议代理服务程序和依赖包位于容器镜像文件中，所述装置还包括容器化模块，用于：
针对开发环境中的容器，通过容器配置文件模块，接收为每个容器配置的处理参数，结合预设传输协议代理服务程序和依赖包，打包为容器镜像文件；
运行容器镜像文件，以在边缘节点服务器中的各个边缘节点上，实现预设传输协议代理服务的容器化部署操作；其中，一个边缘节点服务器中运行一个容器。
15.根据权利要求11所述的装置，其特征在于，所述协议连接建立模块，用于：确定边缘节点和数据采集设备之间采用的原通讯协议，调用可插拔预设传输协议网络接口服务，对原通讯协议进行协议结构转换，得到预设传输协议形式的通讯协议包；其中，可插拔为在不更改原通讯协议源代码基础上，确定协议结构转换方式；
所述数据转换模块，用于：接收数据采集设备通过原通讯协议传输的采集数据，使用与原通讯协议对应的预设传输协议形式的通讯协议包，对采集数据做协议转换处理。
16.根据权利要求11或15所述的装置，其特征在于，所述数据转换模块，用于：
调用通用预设传输协议插件接口，对采集数据做流处理，得到采集数据流并发送至预设传输协议插件管理器进行协议转换处理，以将接收自预设传输协议插件管理器的预设传输协议数据返回给边缘节点；
其中，预设传输协议插件管理器从采集数据流中读取数据，从每个采集数据的包结构中获取通讯协议类型，以从预设传输协议插件集合中确定与通讯协议类型对应的预设传输协议插件，并将采集数据发送至预设传输协议插件做协议转换处理，接收预设传输协议插件返回的预设传输协议数据并返回给通用预设传输协议插件接口。
17.根据权利要求16所述的装置，其特征在于，预设传输协议插件管理器，用于：
预设传输协议插件管理器调用注册预设传输协议插件函数，将预设传输协议插件注册到预设传输协议插件管理器中，并接收为每个预设传输协议插件配置的对应的通讯协议类型；
在预设传输协议插件管理器安装或启动过程中，调用加载插件函数，以获取在预设传输协议插件管理器中注册的预设传输协议插件集合；以及
在收到预设传输协议插件返回的预设传输协议数据之后，调用卸载释放插件函数，以对本次调用的预设传输协议插件做资源释放处理。
18.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
19.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。
20.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的方法。
CN202311261439.5A 2023-09-27 2023-09-27 一种数据处理方法和装置 Pending CN117319493A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311261439.5A CN117319493A (zh) 2023-09-27 2023-09-27 一种数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311261439.5A CN117319493A (zh) 2023-09-27 2023-09-27 一种数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN117319493A true CN117319493A (zh) 2023-12-29

Family

ID=89242003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311261439.5A Pending CN117319493A (zh) 2023-09-27 2023-09-27 一种数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN117319493A (zh)

Similar Documents

Publication Publication Date Title
US11824962B2 (en) Methods and apparatus for sharing and arbitration of host stack information with user space communication stacks
US8006297B2 (en) Method and system for combined security protocol and packet filter offload and onload
US9954873B2 (en) Mobile device-based intrusion prevention system
EP1305687B1 (en) Filtered application-to-application communication
US9942247B2 (en) Traffic shape obfuscation when using an encrypted network connection
EP1854243B1 (en) Mapping an encrypted https network packet to a specific url name and other data without decryption outside of a secure web server
US20160248734A1 (en) Multi-Wrapped Virtual Private Network
US11374978B2 (en) Methods and systems for establishment of security policy between SDN application and SDN controller
WO2008155188A2 (en) Firewall control using remote system information
US11252195B2 (en) Methods and systems for establishment of VPN security policy by SDN application
CN109818910A (zh) 一种数据传输方法、装置和介质
CN115603932A (zh) 一种访问控制方法、访问控制系统及相关设备
Bian et al. A survey on software-defined networking security
US10999303B2 (en) Capturing data
US11956221B2 (en) Encrypted data packet forwarding
KR101971995B1 (ko) 보안을 위한 보안 소켓 계층 복호화 방법
CN111726328A (zh) 用于对第一设备进行远程访问的方法、系统以及相关设备
CN117319493A (zh) 一种数据处理方法和装置
CN116155516B (zh) 视频传输系统、方法、设备及存储介质
CN116827692B (zh) 安全通信方法和安全通信系统
US11950144B2 (en) Context-based security over interfaces in NG-RAN environments in mobile networks
US20220269749A1 (en) Web Browser Communication Validation Extension
CN107257327B (zh) 一种高并发ssl会话管理方法
CN114500399A (zh) 数据传输方法、设备、介质和产品
CN117375857A (zh) 一种报文处理方法、装置、系统及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination