CN117135060B - 基于边缘计算的业务数据处理方法及系统 - Google Patents
基于边缘计算的业务数据处理方法及系统 Download PDFInfo
- Publication number
- CN117135060B CN117135060B CN202311402639.8A CN202311402639A CN117135060B CN 117135060 B CN117135060 B CN 117135060B CN 202311402639 A CN202311402639 A CN 202311402639A CN 117135060 B CN117135060 B CN 117135060B
- Authority
- CN
- China
- Prior art keywords
- protocol conversion
- edge
- service data
- network
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 181
- 238000004891 communication Methods 0.000 claims abstract description 132
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 51
- 230000002159 abnormal effect Effects 0.000 claims description 26
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 230000010354 integration Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Communication Control (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了基于边缘计算的业务数据处理方法及系统，属于数据处理领域，其中方法包括：获取业务数据源对应的边缘设备拓扑网络；获取边缘设备拓扑网络中各个边缘设备对应的网络通信协议；根据业务数据源进行计算任务相关度识别，得到多类业务数据源；对各个边缘设备对应的网络通信协议进行管理，包括建立通信协议转换模块；当接收业务数据传输请求时，匹配协议转换通道，将对应边缘设备的通信协议进行转换，输出转换后的通信协议；将对应边缘设备的业务数据集进行通信传输，进行处理后输出业务处理结果。本申请解决了现有技术中异构边缘设备间业务数据交互与集成计算的技术问题，达到了实现异构边缘设备业务数据集成与高效计算的技术效果。
Description
技术领域
本发明涉及数据处理领域，具体涉及基于边缘计算的业务数据处理方法及系统。
背景技术
随着信息技术的发展，边缘计算作为一种网络计算模式，得到广泛的应用。边缘计算通过在网络边缘部署计算、存储及网络资源，实现网络边缘智能化，在许多应用场景中，业务系统会产生海量异构的数据，这些数据分布在边缘端的各种设备上。但是，这些边缘设备往往采用的是各自的专用协议，对这些分布式的、异构的业务数据难以有效的交互与集成计算。
发明内容
本申请通过提供了基于边缘计算的业务数据处理方法及系统，旨在解决现有技术中异构边缘设备间业务数据交互与集成计算的技术问题。
鉴于上述问题，本申请提供了基于边缘计算的业务数据处理方法及系统。
本申请公开的第一个方面，提供了基于边缘计算的业务数据处理方法，该方法包括：获取业务数据源对应的边缘设备拓扑网络；获取边缘设备拓扑网络中各个边缘设备对应的网络通信协议；根据业务数据源进行计算任务相关度识别，得到多类业务数据源；利用边缘计算智能网关对各个边缘设备对应的网络通信协议进行管理，包括建立通信协议转换模块，其中，通信协议转换模块包括多个协议转换通道，每个协议转换通道数据源对应一类业务数据源；当接收任一边缘设备的业务数据传输请求时，基于边缘设备所属类业务数据源匹配协议转换通道，利用匹配的协议转换通道将对应边缘设备的通信协议进行转换，输出转换后的通信协议；通过转换后的通信协议将对应边缘设备的业务数据集进行通信传输，基于计算任务表进行处理后输出业务处理结果。
本申请公开的另一个方面，提供了基于边缘计算的业务数据处理系统，该系统包括：拓扑结构获取单元，用于获取业务数据源对应的边缘设备拓扑网络；通信协议获取单元，用于获取边缘设备拓扑网络中各个边缘设备对应的网络通信协议；计算任务识别单元，用于根据业务数据源进行计算任务相关度识别，得到多类业务数据源；边缘设备管理单元，用于利用边缘计算智能网关对各个边缘设备对应的网络通信协议进行管理，包括建立通信协议转换模块，其中，通信协议转换模块包括多个协议转换通道，每个协议转换通道数据源对应一类业务数据源；通信协议转换单元，用于当接收任一边缘设备的业务数据传输请求时，基于边缘设备所属类业务数据源匹配协议转换通道，利用匹配的协议转换通道将对应边缘设备的通信协议进行转换，输出转换后的通信协议；业务处理结果单元，用于通过转换后的通信协议将对应边缘设备的业务数据集进行通信传输，基于计算任务表进行处理后输出业务处理结果。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了获取业务数据源对应的边缘设备拓扑网络，明确各边缘设备的位置和连接关系；获取边缘设备拓扑网络中各个边缘设备对应的网络通信协议，确定不同边缘设备采用的通信协议；根据业务数据源进行计算任务相关度识别，得到多类业务数据源，以区分不同类型的业务数据；利用边缘计算智能网关对各设备通信协议进行管理，建立协议转换模块，以实现协议转换功能；匹配协议转换通道，进行协议转换，从而规避异构设备间的协议差异；传输业务数据，进行处理后输出结果，实现业务数据的交互与集成计算的技术方案，解决了现有技术中异构边缘设备间业务数据交互与集成计算的技术问题，达到了实现异构边缘设备业务数据集成与高效计算的技术效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了基于边缘计算的业务数据处理方法的一种流程示意图；
图2为本申请实施例提供了基于边缘计算的业务数据处理方法中得到多类业务数据源的一种流程示意图；
图3为本申请实施例提供了基于边缘计算的业务数据处理系统的一种结构示意图。
附图标记说明：拓扑结构获取单元11，通信协议获取单元12，计算任务识别单元13，边缘设备管理单元14，通信协议转换单元15，业务处理结果单元16。
具体实施方式
本申请提供的技术方案总体思路如下：
本申请实施例提供了基于边缘计算的业务数据处理方法及系统，通过获取边缘设备网络拓扑、识别业务数据类别、建立协议转换模块等步骤，实现异构边缘设备间的业务数据交互与集成计算。
首先获取业务数据对应的边缘设备拓扑，确定设备位置信息，明确数据源。然后获取各设备的网络协议，以掌握设备通信能力。接着根据业务数据特征将数据源分类，便于后续处理。随后利用边缘网关实现协议转换功能，建立通道与设备协议对应，进行协议转换。最后通过转换传输业务数据，并进行集成计算，输出结果。
通过获取设备信息，识别数据类别，实现协议转换等技术手段，解决了异构边缘设备间业务数据不能交互与计算的问题，实现边缘计算环境下业务数据的高效协同，达到简化管理、提升效率的技术效果。
在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示，本申请实施例提供了基于边缘计算的业务数据处理方法，该方法应用于业务数据分布管理系统，该系统与边缘计算智能网关通信连接。
本申请实施例为基于边缘计算的业务数据处理方法，该方法应用于业务数据分布管理系统，该系统与边缘计算智能网关通信连接，其中，该边缘计算智能网关提供边缘计算网络的路由功能，与业务数据分布管理系统实现通信连接。
业务数据处理方法包括：
获取业务数据源对应的边缘设备拓扑网络；
在本申请实施例中，业务数据源是指产生业务数据的来源，比如视频监控摄像头、传感器等。边缘设备拓扑网络是指构成边缘计算的各种边缘设备之间的连接关系。
首先，通过业务数据分布管理系统访问边缘计算智能网关，获取边缘设备拓扑网络，反映边缘计算网络内所有边缘设备的互联关系。然后，结合业务数据源，确定每个业务数据源连接的边缘设备，建立业务数据源与边缘设备的映射关系，从而完成业务数据源对应的边缘设备拓扑网络的获取。
通过获取业务数据源对应的边缘设备拓扑网络，明确不同业务数据源连接的边缘计算节点，以及边缘节点之间的网络组织关系，以备后续进行业务数据的获取和处理。
获取所述边缘设备拓扑网络中各个边缘设备对应的网络通信协议；
在本申请实施例中，在边缘计算环境中，不同的边缘设备可能采用不同的网络通信协议，如MQTT、CoAP等。为了管理这些异构边缘设备的通信，需要获取边缘设备所对应的网络通信协议。
具体的，在边缘设备接入边缘计算网络时，需在边缘计算智能网关上进行注册，注册信息中包含设备所支持的网络协议。通过访问边缘计算智能网关中的设备注册信息，即可获取边缘设备拓扑网络中各个边缘设备的网络通信协议。
通过查询注册信息，可明确边缘设备拓扑网络中的各个边缘设备采用的通信协议，以便在进行业务数据处理时，可根据每个边缘设备对应的通信协议进行交互，实现协议转换等操作，保证业务数据处理的正常进行。
根据所述业务数据源进行计算任务相关度识别，得到多类业务数据源；
进一步的，本步骤具体包括：
通过对所述业务数据源中各个数据源的历史计算任务进行识别，获取各个数据源的任务特征；
基于各个数据源的任务特征，建立各个数据源与其他数据源之间对应的相关矩阵；
利用所述相关矩阵进行矩阵分解，得到所述多类业务数据源，其中，每一类业务数据源中的各个业务数据源之间为协同处理一个计算任务所需要的数据源类型集合。
进一步的，如图2所示，本步骤还包括：
建立各个数据源与其他数据源之间对应的相关矩阵后，根据所述各个数据源与其他数据源之间对应的相关矩阵，获取矩阵偏离指标；
判断所述矩阵偏离指标是否小于等于预设矩阵偏离指标，若所述矩阵偏离指标小于等于所述预设矩阵偏离指标，设置唯一协议转换模板嵌于所述通信协议转换模块，利用所述协议转换模板对各个边缘设备对应的网络通信协议进行统一转换；
若所述矩阵偏离指标大于所述预设矩阵偏离指标，利用所述相关矩阵进行矩阵分解，得到所述多类业务数据源。
在一种可行的实施方式中，为了更好地调度和处理不同的业务数据，根据不同数据源之间在计算任务上的相关性对业务数据源进行分类。
首先，系统访问业务数据源中各个数据源边缘计算任务历史数据库，其中存储了历史上的业务数据边缘计算任务信息。其次，统计每个数据源参与不同类型计算任务的次数、比例等，构建特征向量表示该数据源计算的任务特征，为建立数据源间的相关矩阵奠定基础。然后，利用得到的每个数据源的特征向量，使用向量相似性算法，例如余弦相似性，来刻画两个数据源特征向量的贴近程度，即计算任务相关性，再将每对数据源的相关性作为矩阵中的一个元素，构建出各个数据源与其他数据源之间对应的相关矩阵，反映了不同数据源之间在业务计算上的内在耦合关系。
如果矩阵偏离指标高于预设矩阵偏离指标，则说明业务数据源相关性差异大，此时，基于构建的相关矩阵，使用奇异值分解等矩阵分解算法，提取矩阵的内在特征，重新组合行列，使得结果矩阵呈现出块状特征，得到矩阵分解结果，分解结果能够清晰呈现数据源类别，即相关性较高的数据源会被分为一类，从而得到多类业务数据源，每一类中的数据源之间相关性较高，可以协同进行某类型的边缘计算任务。
利用所述边缘计算智能网关对各个边缘设备对应的网络通信协议进行管理，包括建立通信协议转换模块，其中，所述通信协议转换模块包括多个协议转换通道，每个协议转换通道数据源对应一类业务数据源；
在一种优选的实施方式中，通信协议转换模块是用于实现不同网络协议转换的功能模块，协议转换通道则是通信协议转换模块内用于进行具体协议转换的子通道。
在边缘计算智能网关中设置协议转换芯片，在获取多类业务数据源后，系统调用协议转换芯片，根据多类业务数据源中，设置多个协议转换通道，组成通信协议转换模块，其中，每个协议转换通道对应一类业务数据源。协议转换芯片针对每类业务数据源，在每个协议转换通道中配置参数模板，用于定义该通道的数据源所使用的源协议和目标协议。当业务数据到达时，边缘计算智能网关根据业务数据源的类型判断对应的协议转换通道，然后调用该通道的参数模板，进行网络通信协议管理。
通过针对多类业务数据源，通过边缘计算智能网关对各个边缘设备定制协议转换通道，实现针对不同业务数据源的个性化协议转换管理。
当接收任一边缘设备的业务数据传输请求时，基于边缘设备所属类业务数据源匹配协议转换通道，利用匹配的协议转换通道将对应边缘设备的通信协议进行转换，输出转换后的通信协议；
在本申请实施例中，为了实现异构边缘设备的业务数据处理，需要进行动态的协议转换。
当系统收到任一边缘设备发送的业务数据传输请求时，根据该设备对应的业务数据源类别，匹配通信协议转换模块中合适的协议转换通道。然后，系统调用该协议转换通道所配置的转换模板，按照预定的参数将边缘设备使用的源通信协议转换为需要的通信协议，以实现边缘设备的通信协议的转换，得到转换后的通信协议，实现了业务数据处理过程中的动态协议转换和管理，为协同业务处理提供基础。
通过转换后的通信协议将对应边缘设备的业务数据集进行通信传输，基于计算任务表进行处理后输出业务处理结果。
在本申请实施例中，计算任务表存储了边缘计算网络中预先定义的业务计算任务信息。
在对边缘设备的通信协议转换完成后，获取该边缘设备需要进行处理的业务数据集，通过转换后的通信协议对业务数据集进行通信传输，解析该业务数据集中的各个数据包。然后，基于每个数据包，查找计算任务表，根据每个数据包找到对应的计算任务条目。随后，解析计算任务条目，获得处理该数据的计算函数、处理节点等信息，如果处理节点在边缘端，向对应的边缘设备发送业务数据包，触发分散计算，如果处理节点在云端，将业务数据包发送到云平台的计算集群。接着，调用对应的计算函数，传入数据包作为输入参数，执行预定的业务处理过程，产生业务处理结果。实现异构边缘设备业务数据集成与高效计算。
进一步的，本申请实施例还包括：
设置通信稳定监测模块，将所述通信稳定监测模块与所述通信协议转换模块连接；
基于所述通信稳定监测模块对所述多个协议转换通道转换后的网络进行监测，获取所述多个协议转换通道对应的实时网络稳定性，若任一协议转换通道的实时网络稳定性小于预设网络稳定性，标识为异常协议转换通道，将所述异常协议转换通道的状态设为关闭。
在一种优选的实施方式中，为了提高业务数据处理的可靠性，进一步设置通信稳定性监控机制。
首先，在边缘计算智能网关中设置通信稳定监测模块，用来监控协议转换模块输出的网络通信稳定性。其中，通信稳定监测模块与协议转换模块相连接，这样通信稳定监测模块可以从协议转换模块采集网络数据，收集协议转换模块各通道转换后的数据包、丢包率、延迟等数据，评估协议转换通道的实时网络稳定性。
随后，系统预先设置预设网络稳定性，用户判断协议转换通道状态的优劣。然后，系统利用通信稳定监测模块，对多个协议转换通道进行实时监控，监测各通道转换后的数据包、丢包率、延迟等数据，从而评估各通道的实时网络稳定性。接着，将获得的实时网络稳定性与预设网络稳定性进行对比，如果某个通道的实时稳定性指标低于预设网络稳定性，则将该通道标识为异常协议转换通道。对于被标识的异常协议转换通道，系统将其状态设置为关闭，以隔离该不稳定通道。
通过通信稳定监测模块，主动监测协议转换通道的运行质量，并快速处理异常通道，保证业务数据传输的整体稳定性。
进一步的，本申请实施例还包括：
将所述异常协议转换通道的状态设为关闭后，向所述通信协议转换模块发送切换指令，以所述切换指令对所述异常协议转换通道进行切换，包括：
获取所述多个协议转换通道对应的多个MQTT协议转换队列；
对所述多个MQTT协议转换队列进行识别，按照队列繁忙度获取标识协议转换通道，将所述标识协议转换通道作为所述异常协议转换通道的待切换协议转换通道。
在一种优选的实施方式中，为了进一步优化异常协议转换通道的处理，当异常协议转换通道的状态设为关闭后，业务数据处理系统向通信协议转换模块发送切换指令，指示通信协议转换模块使用备用的正常协议转换通道来替代异常协议转换通道，以实现了对异常通道的平滑切换，避免业务中断，提高处理故障的灵活性。其中，切换指令包含重路由的流量比例、目标通道标识等信息。
具体的，在异常协议转换通道的状态设为关闭后，系统先获取通信协议转换模块中所包含的多个协议转换通道对应多个MQTT协议转换队列，其中，每个MQTT协议转换队列都对应一个协议转换通道，用于缓冲该通道中转换后的数据。通过多个MQTT协议转换队列，可以获得协议转换通道与MQTT协议转换队列的映射关系，为异常协议转换通道切换提供支持。
然后，遍历获取到的多个MQTT协议转换队列，分析每个队列的长度、入队速率、出队速率等队列实时数据，根据队列实时数据计算每个队列的繁忙指标，例如队列剩余缓冲区大小、队列使用率等。随后，将所有MQTT协议转换队列根据繁忙指标从最不繁忙到最繁忙进行排序，从排序结果中选取一个繁忙指标较低，且余量较大的协议转换队列，并找到该协议转换队列对应的协议转换通道进行标识，得到标识协议转换通道。接着，将网络负载较轻的标识协议转换通道作为异常协议转换通道的待切换协议转换通道，当异常协议转换通道关闭后，将流量切换到标识协议转换通道，从而实现通道的平滑切换，避免业务数据处理造成中断，提高了数据处理的灵活性和平滑性。
进一步的，本申请实施例还包括：
在所述边缘计算智能网关设置设备网络和计算网络，其中，所述设备网络用于基于唯一协议转换模板下各个边缘设备的数据通信处理，所述计算网络执行所述计算任务表中的任务，输出所述业务处理结果。
在一种优选的实施方式中，在设置唯一协议转换模板嵌于通信协议转换模块后，在边缘计算智能网关中设置设备网络和计算网络，其中，设备网络是用于连接各边缘设备的网络，以基于唯一协议转换模板对各个边缘设备的数据进行通信处理，实现不同协议设备的数据转换和聚合；计算网络是用于执行业务计算任务的网络，以执行计算任务表中的任务，输出业务处理结果。通过设置设备网络和计算网络，可实现业务数据的隔离集中处理，提高安全性。
进一步的，本申请实施例还包括：
对所述边缘设备拓扑网络中各个边缘设备进行数据源触发识别，得到触发率；
当任一边缘设备对应的触发率满足移除触发率，标识为待移除边缘设备，将所述待移除边缘设备从所述边缘设备拓扑网络中移除。
在一种优选的实施方式中，数据源触发是指业务数据源产生新数据的次数；触发率是单位时间内数据源触发的频次。首先，系统统计分析边缘设备拓扑网络中各边缘设备对应的业务数据源在特定时间段内的触发次数，计算得到这段时间内各业务数据源的触发率，反映数据源的活跃程度。然后，判断每一个边缘设备上数据源的触发率是否低于预先设置的移除触发率，如果一个边缘设备的数据源触发率低于移除触发率，则为满足移除触发率，系统则标记该边缘设备为待移除设备。随后，对于被标记为待移除边缘设备的边缘设备，系统将其从边缘设备网络拓扑结构中删除该边缘设备，实现在业务处理过程中，识别并去除长时间内很少被触发的数据源对应设备，以优化边缘设备拓扑网络，减少维护成本，使业务数据处理更加高效。
综上所述，本申请实施例所提供的基于边缘计算的业务数据处理方法具有如下技术效果：
获取业务数据源对应的边缘设备拓扑网络，明确各边缘设备的位置和连接关系。获取边缘设备拓扑网络中各个边缘设备对应的网络通信协议，确定不同设备采用的协议类型。根据业务数据源进行计算任务相关度识别，得到多类业务数据源，以区分不同类型的数据源。利用边缘计算智能网关对各个边缘设备对应的网络通信协议进行管理，包括建立通信协议转换模块，以实现设备间的协议转换。当接收任一边缘设备的业务数据传输请求时，基于边缘设备所属类业务数据源匹配协议转换通道，利用匹配的协议转换通道将对应边缘设备的通信协议进行转换，输出转换后的通信协议，从而规避设备间协议差异。通过转换后的通信协议将对应边缘设备的业务数据集进行通信传输，基于计算任务表进行处理后输出业务处理结果，实现数据交互与集成计算，达到数据协同与处理。
实施例二
基于与前述实施例中基于边缘计算的业务数据处理方法相同的发明构思，如图3所示，本申请实施例提供了基于边缘计算的业务数据处理系统，该系统与边缘计算智能网关通信连接，该系统包括：
拓扑结构获取单元11，用于获取业务数据源对应的边缘设备拓扑网络；
通信协议获取单元12，用于获取所述边缘设备拓扑网络中各个边缘设备对应的网络通信协议；
计算任务识别单元13，用于根据所述业务数据源进行计算任务相关度识别，得到多类业务数据源；
边缘设备管理单元14，用于利用所述边缘计算智能网关对各个边缘设备对应的网络通信协议进行管理，包括建立通信协议转换模块，其中，所述通信协议转换模块包括多个协议转换通道，每个协议转换通道数据源对应一类业务数据源；
通信协议转换单元15，用于当接收任一边缘设备的业务数据传输请求时，基于边缘设备所属类业务数据源匹配协议转换通道，利用匹配的协议转换通道将对应边缘设备的通信协议进行转换，输出转换后的通信协议；
业务处理结果单元16，用于通过转换后的通信协议将对应边缘设备的业务数据集进行通信传输，基于计算任务表进行处理后输出业务处理结果。
进一步的，计算任务识别单元13包括以下执行步骤：
通过对所述业务数据源中各个数据源的历史计算任务进行识别，获取各个数据源的任务特征；
基于各个数据源的任务特征，建立各个数据源与其他数据源之间对应的相关矩阵；
利用所述相关矩阵进行矩阵分解，得到所述多类业务数据源，其中，每一类业务数据源中的各个业务数据源之间为协同处理一个计算任务所需要的数据源类型集合。
进一步的，计算任务识别单元13还包括以下执行步骤：
根据所述各个数据源与其他数据源之间对应的相关矩阵，获取矩阵偏离指标；
判断所述矩阵偏离指标是否小于等于预设矩阵偏离指标，若所述矩阵偏离指标小于等于所述预设矩阵偏离指标，设置唯一协议转换模板嵌于所述通信协议转换模块，利用所述协议转换模板对各个边缘设备对应的网络通信协议进行统一转换；
若所述矩阵偏离指标大于所述预设矩阵偏离指标，利用所述相关矩阵进行矩阵分解，得到所述多类业务数据源。
进一步的，本申请实施例还包括通信稳定监测单元，该单元包括以下执行步骤：
设置通信稳定监测模块，将所述通信稳定监测模块与所述通信协议转换模块连接；
基于所述通信稳定监测模块对所述多个协议转换通道转换后的网络进行监测，获取所述多个协议转换通道对应的实时网络稳定性，若任一协议转换通道的实时网络稳定性小于预设网络稳定性，标识为异常协议转换通道，将所述异常协议转换通道的状态设为关闭。
进一步的，通信稳定监测单元还包括以下执行步骤：
将所述异常协议转换通道的状态设为关闭后，向所述通信协议转换模块发送切换指令，以所述切换指令对所述异常协议转换通道进行切换，包括：
获取所述多个协议转换通道对应的多个MQTT协议转换队列；
对所述多个MQTT协议转换队列进行识别，按照队列繁忙度获取标识协议转换通道，将所述标识协议转换通道作为所述异常协议转换通道的待切换协议转换通道。
进一步的，计算任务识别单元13还包括以下执行步骤：
在所述边缘计算智能网关设置设备网络和计算网络，其中，所述设备网络用于基于唯一协议转换模板下各个边缘设备的数据通信处理，所述计算网络执行所述计算任务表中的任务，输出所述业务处理结果。
进一步的，本申请实施例包括触发识别单元，该单元包括以下执行步骤：
对所述边缘设备拓扑网络中各个边缘设备进行数据源触发识别，得到触发率；
当任一边缘设备对应的触发率满足移除触发率，标识为待移除边缘设备，将所述待移除边缘设备从所述边缘设备拓扑网络中移除。
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中，并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法，在此不做多余限制。
进一步的，综上所述的第一或第二可能不止代表次序关系，也可能代表某项特指概念，和/或指的是多个元素之间可单独或全部选择。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。
Claims (6)
1.基于边缘计算的业务数据处理方法，其特征在于，所述方法应用于业务数据分布管理系统，所述系统与边缘计算智能网关通信连接，所述方法包括：
获取业务数据源对应的边缘设备拓扑网络；
获取所述边缘设备拓扑网络中各个边缘设备对应的网络通信协议；
根据所述业务数据源进行计算任务相关度识别，得到多类业务数据源；
利用所述边缘计算智能网关对各个边缘设备对应的网络通信协议进行管理，包括建立通信协议转换模块，其中，所述通信协议转换模块包括多个协议转换通道，每个协议转换通道数据源对应一类业务数据源；
当接收任一边缘设备的业务数据传输请求时，基于边缘设备所属类业务数据源匹配协议转换通道，利用匹配的协议转换通道将对应边缘设备的通信协议进行转换，输出转换后的通信协议；
通过转换后的通信协议将对应边缘设备的业务数据集进行通信传输，基于计算任务表进行处理后输出业务处理结果；
其中，根据所述业务数据源进行计算任务相关度识别，得到多类业务数据源，方法包括：
通过对所述业务数据源中各个数据源的历史计算任务进行识别，获取各个数据源的任务特征；
基于各个数据源的任务特征，建立各个数据源与其他数据源之间对应的相关矩阵；
利用所述相关矩阵进行矩阵分解，得到所述多类业务数据源，其中，每一类业务数据源中的各个业务数据源之间为协同处理一个计算任务所需要的数据源类型集合；
其中，所述建立各个数据源与其他数据源之间对应的相关矩阵之后，方法还包括：
根据所述各个数据源与其他数据源之间对应的相关矩阵，获取矩阵偏离指标；
判断所述矩阵偏离指标是否小于等于预设矩阵偏离指标，若所述矩阵偏离指标小于等于所述预设矩阵偏离指标，设置唯一协议转换模板嵌于所述通信协议转换模块，利用所述协议转换模板对各个边缘设备对应的网络通信协议进行统一转换；
若所述矩阵偏离指标大于所述预设矩阵偏离指标，利用所述相关矩阵进行矩阵分解，得到所述多类业务数据源。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
设置通信稳定监测模块，将所述通信稳定监测模块与所述通信协议转换模块连接；
基于所述通信稳定监测模块对所述多个协议转换通道转换后的网络进行监测，获取所述多个协议转换通道对应的实时网络稳定性，若任一协议转换通道的实时网络稳定性小于预设网络稳定性，标识为异常协议转换通道，将所述异常协议转换通道的状态设为关闭。
3.如权利要求2所述的方法，其特征在于，将所述异常协议转换通道的状态设为关闭后，向所述通信协议转换模块发送切换指令，以所述切换指令对所述异常协议转换通道进行切换，包括：
获取所述多个协议转换通道对应的多个MQTT协议转换队列；
对所述多个MQTT协议转换队列进行识别，按照队列繁忙度获取标识协议转换通道，将所述标识协议转换通道作为所述异常协议转换通道的待切换协议转换通道。
4.如权利要求1所述的方法，其特征在于，设置唯一协议转换模板嵌于所述通信协议转换模块后，方法还包括：
在所述边缘计算智能网关设置设备网络和计算网络，其中，所述设备网络用于基于唯一协议转换模板下各个边缘设备的数据通信处理，所述计算网络执行所述计算任务表中的任务，输出所述业务处理结果。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
对所述边缘设备拓扑网络中各个边缘设备进行数据源触发识别，得到触发率；
当任一边缘设备对应的触发率满足移除触发率，标识为待移除边缘设备，将所述待移除边缘设备从所述边缘设备拓扑网络中移除。
6.基于边缘计算的业务数据处理系统，其特征在于，用于实施权利要求1-5任意一项所述的基于边缘计算的业务数据处理方法，所述系统与边缘计算智能网关通信连接，所述系统 包括：
拓扑结构获取单元，所述拓扑结构获取单元用于获取业务数据源对应的边缘设备拓扑网络；
通信协议获取单元，所述通信协议获取单元用于获取所述边缘设备拓扑网络中各个边缘设备对应的网络通信协议；
计算任务识别单元，所述计算任务识别单元用于根据所述业务数据源进行计算任务相关度识别，得到多类业务数据源；
边缘设备管理单元，所述边缘设备管理单元用于利用所述边缘计算智能网关对各个边缘设备对应的网络通信协议进行管理，包括建立通信协议转换模块，其中，所述通信协议转换模块包括多个协议转换通道，每个协议转换通道数据源对应一类业务数据源；
通信协议转换单元，所述通信协议转换单元用于当接收任一边缘设备的业务数据传输请求时，基于边缘设备所属类业务数据源匹配协议转换通道，利用匹配的协议转换通道将对应边缘设备的通信协议进行转换，输出转换后的通信协议；
业务处理结果单元，所述业务处理结果单元用于通过转换后的通信协议将对应边缘设备的业务数据集进行通信传输，基于计算任务表进行处理后输出业务处理结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311402639.8A CN117135060B (zh) | 2023-10-27 | 2023-10-27 | 基于边缘计算的业务数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311402639.8A CN117135060B (zh) | 2023-10-27 | 2023-10-27 | 基于边缘计算的业务数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117135060A CN117135060A (zh) | 2023-11-28 |
| CN117135060B true CN117135060B (zh) | 2024-01-05 |
Family
ID=88860420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311402639.8A Active CN117135060B (zh) | 2023-10-27 | 2023-10-27 | 基于边缘计算的业务数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117135060B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117573328B (zh) * | 2024-01-15 | 2024-03-29 | 西北工业大学 | 基于多模型驱动的并行任务快速处理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102075791B1 (ko) * | 2019-04-10 | 2020-03-02 | 주식회사 와이드티엔에스 | 에지 컴퓨팅에서 IoT 디바이스 연동을 이용한 패스트 데이터 처리 시스템 |
| WO2020227429A1 (en) * | 2019-05-06 | 2020-11-12 | Strong Force Iot Portfolio 2016, Llc | Platform for facilitating development of intelligence in an industrial internet of things system |
| WO2020232717A1 (zh) * | 2019-05-23 | 2020-11-26 | 西门子股份公司 | 边缘侧模型处理的方法、边缘计算设备和计算机可读介质 |
| CN113612820A (zh) * | 2021-07-13 | 2021-11-05 | 之江实验室 | 基于SuperEdge和EdgeXFoundry的云边端设备平台控制架构和方法 |
-
2023
- 2023-10-27 CN CN202311402639.8A patent/CN117135060B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102075791B1 (ko) * | 2019-04-10 | 2020-03-02 | 주식회사 와이드티엔에스 | 에지 컴퓨팅에서 IoT 디바이스 연동을 이용한 패스트 데이터 처리 시스템 |
| WO2020227429A1 (en) * | 2019-05-06 | 2020-11-12 | Strong Force Iot Portfolio 2016, Llc | Platform for facilitating development of intelligence in an industrial internet of things system |
| WO2020232717A1 (zh) * | 2019-05-23 | 2020-11-26 | 西门子股份公司 | 边缘侧模型处理的方法、边缘计算设备和计算机可读介质 |
| CN113612820A (zh) * | 2021-07-13 | 2021-11-05 | 之江实验室 | 基于SuperEdge和EdgeXFoundry的云边端设备平台控制架构和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117135060A (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Venticinque et al. | A methodology for deployment of IoT application in fog | |
| CN107659419B (zh) | 网络切片方法和系统 | |
| CN117135060B (zh) | 基于边缘计算的业务数据处理方法及系统 | |
| CN105610972B (zh) | 集群式的任务调派系统 | |
| CN113448721A (zh) | 算力处理的网络系统及算力处理方法 | |
| CN106330576A (zh) | 容器化微服务自动伸缩及迁移调度的方法、系统和设备 | |
| CN109450790B (zh) | 一种基于流量感知的网络服务功能链智慧供应方法 | |
| CN106533806B (zh) | 多租户SDN网络中基于应用感知提供跨层QoS的方法 | |
| WO2020087926A1 (zh) | 一种数据采集处理方法、装置及系统 | |
| US11750473B2 (en) | System for optimising data communication | |
| CN113259355B (zh) | 一种基于sdn的工业互联网标识切片管理系统 | |
| Lee et al. | An SDN-based packet scheduling scheme for transmitting emergency data in mobile edge computing environments | |
| CN111818156A (zh) | 一种边缘计算装置和共享方法 | |
| CN109040178A (zh) | 配置信息发送方法及装置 | |
| CN115562879B (zh) | 算力感知方法、装置、电子设备和存储介质 | |
| US7051335B2 (en) | Synchronization of applications in distributed systems using an asynchronous communication channel | |
| CN116684472A (zh) | 一种面向端侧算力网络的服务部署系统及其服务部署方法 | |
| CN110505301A (zh) | 一种航空制造车间工业大数据处理框架 | |
| Lee et al. | mIoTwins: design and evaluation of mIoT framework for private edge networks | |
| US20230297885A1 (en) | Big data-based modular ai engine server and driving method of the same | |
| KR20190114126A (ko) | 메시지의 처리 완료 지연 시간을 기초로 스위치로의 메시지 송신을 제어하는 sdn 컨트롤러 및 그 방법 | |
| CN115081679A (zh) | 基于cdc的工业数据动态变化自动感知处理系统 | |
| CN112491574A (zh) | 一种数据处理方法及装置 | |
| CN113678415B (zh) | 用于优化数据通信的系统 | |
| Chang et al. | An M2M computing model for improving the performance among devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |