CN111917848A - 基于边缘计算和云计算协同的数据处理方法及云服务器 - Google Patents
基于边缘计算和云计算协同的数据处理方法及云服务器 Download PDFInfo
- Publication number
- CN111917848A CN111917848A CN202010697879.5A CN202010697879A CN111917848A CN 111917848 A CN111917848 A CN 111917848A CN 202010697879 A CN202010697879 A CN 202010697879A CN 111917848 A CN111917848 A CN 111917848A
- Authority
- CN
- China
- Prior art keywords
- information
- intelligent communication
- data processing
- data
- communication equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请实施例提供的基于边缘计算和云计算协同的数据处理方法及云服务器,首先从每个智能通信设备中获取设备运行记录,其次根据每个设备运行记录确定智能通信设备的数据处理周期信息进而确定数据处理窗口期,然后对多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期并基于目标窗口期将全局调度指令下发给第一智能通信设备,最后根据第一智能通信设备的设备状态信息对全局调度指令进行迭代修正得到目标调度指令并在当前时段与第二智能通信设备的数据处理窗口期重合时将目标调度指令下发给第二智能通信设备。如此,能够在确保对智慧城市的实时、快速运行监控的同时从整体角度出发实现智慧城市中的智能通信设备的数据交互和调度。
Description
技术领域
本申请涉及边缘计算和云计算的大数据处理技术领域,尤其涉及基于边缘计算和云计算协同的数据处理方法及云服务器。
背景技术
随着科学技术的快速发展,现如今的社会已步入大数据时代。大数据的应用领域非常广泛,不仅可以应用于手机app的用户行为数据分析这类的消费娱乐领域,还可以应用于智慧城市运行监控、工业互联网智能制造等这些与国民经济息息相关的重大领域。
以大数据在智慧城市运行监控中的应用为例,通过对智慧城市中的智能通信设备进行大数据分析,能够实现城市与数据、信息的深度融合,从而实现精细化和动态化的运行监控、管理。
然而在实际运用中,智慧城市运行监控仍然面领诸多需要解决或改善的技术问题。其中一个技术问题便是如何在确保对智慧城市的实时、快速运行监控的同时从整体角度出发实现智慧城市中的智能通信设备的数据交互和调度。
发明内容
有鉴于此,本申请提供基于边缘计算和云计算协同的数据处理方法及云服务器,能够在确保对智慧城市的实时、快速运行监控的同时从整体角度出发实现智慧城市中的智能通信设备的数据交互和调度。
根据本申请实施例的第一方面,提供一种基于边缘计算和云计算协同的数据处理方法,应用于与多个智能通信设备通信连接的云服务器,所述方法包括:
向每个智能通信设备发送用于调取每个智能通信设备的设备运行记录的且携带有校验签名字段的请求信息,并在接收到每个智能通信设备基于所述请求信息中的校验签名字段判定出所述云服务器通过安全校验时所反馈的授权信息时,从每个智能通信设备中获取设备运行记录;
根据每个设备运行记录确定与每个设备运行记录对应的智能通信设备的数据处理周期信息,并通过所述数据处理周期信息确定每个智能通信设备的数据处理窗口期;
对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期;基于所述目标窗口期将通过所述设备运行记录确定出的全局调度指令下发给第一智能通信设备;
实时获取所述第一智能通信设备基于所述全局调度指令进行参数配置所生成的设备状态信息,根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令;在当前时段与第二智能通信设备的数据处理窗口期重合时将所述目标调度指令下发给所述第二智能通信设备。
可选地,在当前时段与第二智能通信设备的数据处理窗口期重合时将所述目标调度指令下发给所述第二智能通信设备,进一步包括:
根据每个第二智能通信设备的数据处理窗口期确定每个第二智能通信设备处于闲置状态的时间间隔;
以下发所述全局调度指令的时刻为起始时刻以及每个第二智能通信设备对应的时间间隔计算每个第二智能通信设备对应的指令等待时长;
在以所述起始时刻开始计时且计时时长达到所述指令等待时长时,将所述目标调度指令下发至计时时长达到的所述指令等待时长所对应的第二智能通信设备。
可选地,所述方法还包括:
在每一次下发目标调度指令之后,实时获取接收到该次下发的目标调度指令对应的第二智能通信设备基于所述目标调度指令进行参数配置所生成的设备状态信息;
返回执行与根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令相类似的步骤。
可选地,根据每个设备运行记录确定与每个设备运行记录对应的智能通信设备的数据处理周期信息,包括:
获取每个设备运行记录对应的记录清单文本在预设文本切分标识下对应的多个数值信息,以及多个数值信息之间的二维相关性系数;生成多个数值信息对应的数值列表并确定多个二维相关性系数对应的二维相关性系数分布图;其中,所述数值列表中的每个列表单元具有不同的列表识别权重且所述二维相关性系数分布图中的每个系数节点具有不同中心度,所述中心度用于表征所述系数节点与其它系数节点之间的相关性;
确定出所述多个数值信息在所述数值列表的其中一个列表单元中的数值信息的映射字符,并将所述二维相关性系数分布图中具有最小中心度的系数节点确定为基准属性节点;
基于所述设备运行记录的存储地址信息将所述映射字符加载到所述基准属性节点中以在所述基准属性节点中获得与所述映射字符相匹配的属性字符;通过计算得到的所述映射字符与所述属性字符之间的字符相似权重构建所述多个数值信息和所述多个二维相关性系数之间的属性映射路径;
将所述属性字符对应的字符参数作为基准属性参数并在所述基准属性节点中获取各节点参数;并行地基于所述属性映射路径中的路径描述信息将所述节点参数映射到所述映射字符对应的数值信息中,以在所述映射字符对应的数值信息中得到所述节点参数对应的目标属性参数,并确定所述目标属性参数为所述数值信息的当前属性参数;
在根据所述记录清单文本的格式序列确定出所述记录清单文本具有时序标签以及非时序标签的情况下,根据所述记录清单文本对应的多个数值信息在所述时序标签下的第一数值信息以及所述第一数值信息对应的当前属性参数确定所述记录清单文本对应的多个数值信息在所述非时序标签下的第二数值信息与所述记录清单文本对应的多个数值信息在所述时序标签下的第一数值信息之间的时序评价系数,将所述时序评价系数小于设定系数的第一数值信息从所述时序标签下剔除;在剔除所述时序评价系数小于所述设定系数的第一数值信息之后,基于所述时序标签下的第一数值信息生成所述数据处理周期信息。
可选地,基于所述时序标签下的第一数值信息生成所述数据处理周期信息,包括:
确定所述时序标签下的各第一数值信息对应的指向数据;
根据所述指向数据获取各第一数值信息对应的智能通信设备的状态轨迹数据;
从各状态轨迹数据中提取多个具有关联标识的线程数据;
针对所述多个线程数据中每个线程数据,若该线程数据的关联标识为第一标识则确定该线程数据对应的数据处理线程为工作状态,若该线程数据的关联标识为第二标识则确定该线程数据对应的数据处理线程为闲置状态;
在所述状态轨迹数据对应的数据处理线程为工作状态的第一数量大于数据处理线程为闲置状态的第二数量且所述第一数量与所述第二数量的差值达到设定值时,确定所述状态轨迹数据对应的第一数值信息为智能通信设备处于工作状态下的第一时段信息;否则确定所述状态轨迹数据对应的第一数值信息为智能通信设备处于闲置状态下的第二时段信息;
基于所述第一时段信息和所述第二时段信息生成数据处理周期信息。
可选地,对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期,具体包括:
确定每个数据处理窗口期对应的窗口时长以及时长间隔;
将每个数据处理窗口期的窗口时长按照其对应的时长间隔映射到预设的时序线段上;
根据所述时序线段上的每个窗口时长及其时长间隔确定所述目标窗口期。
可选地,基于所述目标窗口期将通过所述设备运行记录确定出的全局调度指令下发给第一智能通信设备,具体包括:
基于每个设备运行记录对应的资源配置参数确定用于计算每个设备运行记录对应的智能通信设备的资源分配轨迹的时间片资源数据以及加密协议数据,并通过所述时间片资源数据和所述加密协议数据确定待分类的用于生成所述智能通信设备的协同数据分布信息的多个脚本运行文件的文件源码数据,以及不同脚本运行文件之间的兼容性参数;
采用确定的所述多个脚本运行文件的文件源码数据,以及不同脚本运行文件之间的兼容性参数,对所述多个脚本运行文件进行分类,使得位于目标分类类别下的脚本运行文件的文件源码数据对应的数据稳定权重大于预设值、且位于所述目标分类类别下的脚本运行文件之间的兼容性参数对应的加权参数值位于预设的数值区间内;将位于所述目标分类类别下的脚本运行文件按照脚本运行文件的文件签名对应的签名置信度的由大到小的顺序进行排序得到文件序列;
依次根据所述文件序列中的脚本运行文件生成所述智能通信设备的协同数据分布信息并生成与所述协同数据分布信息对应的第一分布轨迹和第二分布轨迹;其中,所述第一分布轨迹用于表征所述智能通信设备在进行数据处理时的数据类型随着时间推移的相似度,所述第二分布轨迹用于表征所述智能通信设备在与所述云服务器交互时的链路稳定性的变化轨迹;
确定所述第一分布轨迹中的n个第一轨迹节点以及所述第二分布轨迹中的n个第二轨迹节点,根据所述第一轨迹节点与所述第二轨迹节点之间的节点信息匹配率确定出每个智能通信设备对应的处理结果信息;其中,n为正整数,所述处理结果信息用于表征所述智能通信设备数据处理速率以及通信活跃度;
基于确定出的多个处理结果信息生成全局调度指令,并将所述全局调度指令下发给在生成所述全局调度指令的时刻下的数据处理窗口期位于所述目标窗口期内的第一智能通信设备。
根据本申请实施例的第二方面,提供一种云服务器,所述云服务器与多个智能通信设备通信连接,所述云服务用于:
向每个智能通信设备发送用于调取每个智能通信设备的设备运行记录的且携带有校验签名字段的请求信息,并在接收到每个智能通信设备基于所述请求信息中的校验签名字段判定出所述云服务器通过安全校验时所反馈的授权信息时,从每个智能通信设备中获取设备运行记录;
根据每个设备运行记录确定与每个设备运行记录对应的智能通信设备的数据处理周期信息,并通过所述数据处理周期信息确定每个智能通信设备的数据处理窗口期;
对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期;基于所述目标窗口期将通过所述设备运行记录确定出的全局调度指令下发给第一智能通信设备;
实时获取所述第一智能通信设备基于所述全局调度指令进行参数配置所生成的设备状态信息,根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令;在当前时段与第二智能通信设备的数据处理窗口期重合时将所述目标调度指令下发给所述第二智能通信设备。
根据本申请实施例的第三方面,提供一种云服务器,包括:处理器、通信总线和存储器;所述处理器通过通信总线从所述存储器中调取计算机程序,并通过运行所述计算机程序以执行上述的方法。
根据本申请实施例的第四方面,提供一种应用于计算机的可读存储介质,所述可读存储介质烧录有计算机程序,所述计算机程序运行时实现上述的方法。
应用本申请实施例基于边缘计算和云计算协同的数据处理方法及云服务器时,首先从每个智能通信设备中获取对应的设备运行记录,其次根据每个设备运行记录确定智能通信设备的数据处理周期信息进而确定每个智能通信设备的数据处理窗口期,然后对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期并基于目标窗口期将全局调度指令下发给第一智能通信设备,最后根据第一智能通信设备的设备状态信息对全局调度指令进行迭代修正得到目标调度指令并在当前时段与第二智能通信设备的数据处理窗口期重合时将目标调度指令下发给第二智能通信设备。
如此,能够基于不同智能通信的数据处理窗口期进行调度指令的下发,从而缓解不同智能通信设备之间的“孤岛效应”,确保智能通信设备的“间接”数据交互和调度且不更改智能通信设备的边缘计算信息架构。这样,能够将边缘计算技术和云计算技术进行互补协同,这样能够在确保对智慧城市的实时、快速运行监控的同时对智慧城市进行全局性的运营分析。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例性实施例示出的一种基于边缘计算和云计算协同的数据处理系统的示意图。
图2是本申请根据一示例性实施例示出的一种基于边缘计算和云计算协同的数据处理方法的流程图。
图3是本申请根据一示例性实施例示出的云服务器的一种硬件结构图。
图4是本申请根据一示例性实施例示出的一种基于边缘计算和云计算协同的数据处理装置的一个实施例框图。
具体实施方式
发明人对现有的智慧城市技术进行分析发现,现有的智慧城市技术为了实现实时快速的运行监控,会将大数据处理技术集成到智慧城市中的智能通信设备侧。这样以来,会导致多个智能通信设备之间产生“孤岛效应”,也即,智能通信设备各自处理各自的数据,难以实现互相之间的交互和调度。
以上现有技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案,都应该是发明人在本发明过程中对本发明做出的贡献。
为改善这一技术问题,本发明实施例提供了基于边缘计算和云计算协同的数据处理方法及云服务器,能够将边缘计算技术和云计算技术进行互补协同,这样能够在确保对智慧城市的实时、快速运行监控的同时从整体角度出发实现智慧城市中的智能通信设备的数据交互和调度,从而确保对智慧城市进行全局性的运营分析。
为了便于对整个方案的说明,首先介绍如图1所示的基于边缘计算和云计算协同的数据处理系统100的通信架构示意图。由图1可见,所述数据处理系统100可以包括云服务器200以及与云服务器200通信连接的多个智能通信设备300。在本实施例中,智能通信设备300可以是部署在智慧城市中的不同类型的设备例如交通摄像头、路灯控制器、医疗机构服务器和政务服务器等,在此不作限定。在本实施例中,通过云服务器200实现多个智能通信设备300之间的间接通信,无需修改智能通信设备300的配置信息,这样能够保障智能通信设备300侧的边缘计算能力,提高边缘侧的数据处理的实时性和准确性。
在上述基础上,本发明实施例提供了基于边缘计算和云计算协同的数据处理方法,所述数据处理方法可以应用于图1中的云服务器200,所述云服务器200在执行所述数据处理方法时,由图3所示的云服务器200的处理器210通过通信总线220从存储器230中调取计算机程序并运行所述计算机程序实现,所述云服务器200在执行上述数据处理方法时具体实施以下步骤S210-步骤S240。
步骤S210,向每个智能通信设备发送用于调取每个智能通信设备的设备运行记录的且携带有校验签名字段的请求信息,并在接收到每个智能通信设备基于所述请求信息中的校验签名字段判定出所述云服务器通过安全校验时所反馈的授权信息时,从每个智能通信设备中获取设备运行记录。
在本实施例中,校验签名字段中包括动态校验码和动态随机数。智能通信设备300可以通过循环冗余校验的方式对校验签名字段进行校验。
步骤S220,根据每个设备运行记录确定与每个设备运行记录对应的智能通信设备的数据处理周期信息,并通过所述数据处理周期信息确定每个智能通信设备的数据处理窗口期。
在步骤S220中,数据处理周期信息用于表征智能通信设备300处于不同数据处理状态下的时段信息,进一步地,数据处理窗口期可以是智能通信设备300停止数据处理或者数据处理负荷较小的时段。
步骤S230,对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期;基于所述目标窗口期将通过所述设备运行记录确定出的全局调度指令下发给第一智能通信设备。
在本实施例中,窗口比率是根据处于数据处理窗口期的智能通信设备300与所有智能通信设备300的比例确定的,因此,第一智能通信设备可以是处于数据处理窗口期的智能通信设备300。
步骤S240,实时获取所述第一智能通信设备基于所述全局调度指令进行参数配置所生成的设备状态信息,根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令;在当前时段与第二智能通信设备的数据处理窗口期重合时将所述目标调度指令下发给所述第二智能通信设备。
在本实施例中,第二智能通信设备是数据处理装窗口期没有与目标窗口期重叠的智能通信设备300。全局调度指令可以是对智能通信设备300进行边缘计算重配置的指令,全局调度指令是云服务器200考虑了智能通信设备300之间的数据协同和数据关联生成的,这样能够缓解不同智能通信设备300之间的“孤岛效应”,使得处于边缘计算架构下的智能通信设备300也能够通过云服务器200进行间接的数据交互。
可以理解,通过上述步骤S210-步骤S240所描述的内容,首先从每个智能通信设备中获取对应的设备运行记录,其次根据每个设备运行记录确定智能通信设备的数据处理周期信息进而确定每个智能通信设备的数据处理窗口期,然后对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期并基于目标窗口期将全局调度指令下发给第一智能通信设备,最后根据第一智能通信设备的设备状态信息对全局调度指令进行迭代修正得到目标调度指令并在当前时段与第二智能通信设备的数据处理窗口期重合时将目标调度指令下发给第二智能通信设备。
如此,能够基于不同智能通信的数据处理窗口期进行调度指令的下发,从而缓解不同智能通信设备之间的“孤岛效应”,确保智能通信设备的“间接”数据交互和调度且不更改智能通信设备的边缘计算信息架构。这样,能够将边缘计算技术和云计算技术进行互补协同,这样能够在确保对智慧城市的实时、快速运行监控的同时对智慧城市进行全局性的运营分析。
在具体实施时,为了确保目标调度指令下发的及时性,步骤S240中所描述的在当前时段与第二智能通信设备的数据处理窗口期重合时将所述目标调度指令下发给所述第二智能通信设备,具体可以包括以下步骤a-步骤d所描述的内容。
步骤a,根据每个第二智能通信设备的数据处理窗口期确定每个第二智能通信设备处于闲置状态的时间间隔。
步骤b,以下发所述全局调度指令的时刻为起始时刻以及每个第二智能通信设备对应的时间间隔计算每个第二智能通信设备对应的指令等待时长。
步骤c,在以所述起始时刻开始计时且计时时长达到所述指令等待时长时,将所述目标调度指令下发至计时时长达到的所述指令等待时长所对应的第二智能通信设备。
步骤d,在每一次下发目标调度指令之后,实时获取接收到该次下发的目标调度指令对应的第二智能通信设备基于所述目标调度指令进行参数配置所生成的设备状态信息,返回执行与根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令相类似的步骤。
在执行上述步骤a-步骤d所描述的内容时,能够针对不同的第二智能通信设备计算对应的指令等待时长,从而确保不同的第二智能通信设备进入闲置状态时及时地下发最新的目标调度指令,这样可以保证所有智能通信设备之间的数据交互和调度的实时性和准确性。此外,通过持续地对调度指令进行迭代,能够确保目标调度指令的实时性。
在实际应用时发明人发现,在确定智能通信设备对应的数据处理周期信息时,容易将一些不具有时间性质的数据参杂到数据处理周期信息中,这样会导致数据处理周期信息具有较大的信息波动(例如相邻的数据处理状态的持续时长差值较大或者相邻的数据处理窗口期的差值较大)。
发明人对这一技术问题进行了研究,发现现有技术在根据设备运行记录确定数据处理周期信息时,没有考虑数值信息的属性参数(属性参数是用于表征数值信息对应的描述内容的),这样会导致把具有不同属性参数的数值信息错误地归纳为具有时间性质的数据,势必会导致数据处理周期信息的不准确。为了改善这一技术问题,步骤S220所描述的根据每个设备运行记录确定与每个设备运行记录对应的智能通信设备的数据处理周期信息,具体可以包括以下步骤S2211-步骤S2215所描述的内容。
步骤S2211,获取每个设备运行记录对应的记录清单文本在预设文本切分标识下对应的多个数值信息,以及多个数值信息之间的二维相关性系数;生成多个数值信息对应的数值列表并确定多个二维相关性系数对应的二维相关性系数分布图;其中,所述数值列表中的每个列表单元具有不同的列表识别权重且所述二维相关性系数分布图中的每个系数节点具有不同中心度,所述中心度用于表征所述系数节点与其它系数节点之间的相关性。
步骤S2212,确定出所述多个数值信息在所述数值列表的其中一个列表单元中的数值信息的映射字符,并将所述二维相关性系数分布图中具有最小中心度的系数节点确定为基准属性节点。
步骤S2213,基于所述设备运行记录的存储地址信息将所述映射字符加载到所述基准属性节点中以在所述基准属性节点中获得与所述映射字符相匹配的属性字符;通过计算得到的所述映射字符与所述属性字符之间的字符相似权重构建所述多个数值信息和所述多个二维相关性系数之间的属性映射路径。
步骤S2214,将所述属性字符对应的字符参数作为基准属性参数并在所述基准属性节点中获取各节点参数;并行地基于所述属性映射路径中的路径描述信息将所述节点参数映射到所述映射字符对应的数值信息中,以在所述映射字符对应的数值信息中得到所述节点参数对应的目标属性参数,并确定所述目标属性参数为所述数值信息的当前属性参数。
步骤S2215,在根据所述记录清单文本的格式序列确定出所述记录清单文本具有时序标签以及非时序标签的情况下,根据所述记录清单文本对应的多个数值信息在所述时序标签下的第一数值信息以及所述第一数值信息对应的当前属性参数确定所述记录清单文本对应的多个数值信息在所述非时序标签下的第二数值信息与所述记录清单文本对应的多个数值信息在所述时序标签下的第一数值信息之间的时序评价系数,将所述时序评价系数小于设定系数的第一数值信息从所述时序标签下剔除;在剔除所述时序评价系数小于所述设定系数的第一数值信息之后,基于所述时序标签下的第一数值信息生成所述数据处理周期信息。
在应用上述步骤S2211-步骤S2215所描述的方法时,能够将数值信息的属性参数考虑在内,从而对不具有时间性质的数值信息进行剔除,避免把具有不同属性参数的数值信息错误地归纳为具有时间性质的数据,这样能够确保生成的数据处理周期信息的准确性,避免数据处理周期信息具有较大的信息波动。
在上述基础上,步骤S2215所描述的基于所述时序标签下的第一数值信息生成所述数据处理周期信息,进一步可以包括以下子步骤所描述的内容:
确定所述时序标签下的各第一数值信息对应的指向数据;
根据所述指向数据获取各第一数值信息对应的智能通信设备的状态轨迹数据;
从各状态轨迹数据中提取多个具有关联标识的线程数据;
针对所述多个线程数据中每个线程数据,若该线程数据的关联标识为第一标识则确定该线程数据对应的数据处理线程为工作状态,若该线程数据的关联标识为第二标识则确定该线程数据对应的数据处理线程为闲置状态;
在所述状态轨迹数据对应的数据处理线程为工作状态的第一数量大于数据处理线程为闲置状态的第二数量且所述第一数量与所述第二数量的差值达到设定值时,确定所述状态轨迹数据对应的第一数值信息为智能通信设备处于工作状态下的第一时段信息;否则确定所述状态轨迹数据对应的第一数值信息为智能通信设备处于闲置状态下的第二时段信息;
基于所述第一时段信息和所述第二时段信息生成数据处理周期信息。
通过上述子步骤所描述的内容,能够准确确定出时序标签下的第一数值信息对应的智能通信设备的不同状态,这样可以确保数据处理周期信息的准确性,并降低数据处理周期信息的识别难度,便于后期快速提取出数据处理窗口期。
可以理解,每个智能通信设备的数据处理窗口期可以是智能通信设备对应的数据处理周期信息中的第二时段信息对应的时段,在确定数据处理窗口期时,可以计算第二时段信息对应的时段的时长值的均值,然后根据该均值确定数据处理窗口期。
在具体实施过程中,步骤S230所描述的对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期,进一步可以包括以下步骤S2311-步骤S2313所描述的内容。
步骤S2311,确定每个数据处理窗口期对应的窗口时长以及时长间隔。
步骤S2312,将每个数据处理窗口期的窗口时长按照其对应的时长间隔映射到预设的时序线段上。
步骤S2313,根据所述时序线段上的每个窗口时长及其时长间隔确定所述目标窗口期。
基于上述步骤S2311-步骤S2313所描述的内容,能够将不同数据处理窗口期对应的窗口时长以及时长间隔统一映射到时序线段上,这样可以准确确定出目标窗口期。
在实际应用时,为了确保对智能通信设备的准确可靠调度以确保智慧城市的正常运行监控,在步骤S230中,基于所述目标窗口期将通过所述设备运行记录确定出的全局调度指令下发给第一智能通信设备,进一步地可以包括以下步骤S2321-步骤S2325所描述的内容。
步骤S2321,基于每个设备运行记录对应的资源配置参数确定用于计算每个设备运行记录对应的智能通信设备的资源分配轨迹的时间片资源数据以及加密协议数据,并通过所述时间片资源数据和所述加密协议数据确定待分类的用于生成所述智能通信设备的协同数据分布信息的多个脚本运行文件的文件源码数据,以及不同脚本运行文件之间的兼容性参数。
步骤S2322,采用确定的所述多个脚本运行文件的文件源码数据,以及不同脚本运行文件之间的兼容性参数,对所述多个脚本运行文件进行分类,使得位于目标分类类别下的脚本运行文件的文件源码数据对应的数据稳定权重大于预设值、且位于所述目标分类类别下的脚本运行文件之间的兼容性参数对应的加权参数值位于预设的数值区间内;将位于所述目标分类类别下的脚本运行文件按照脚本运行文件的文件签名对应的签名置信度的由大到小的顺序进行排序得到文件序列。
步骤S2323,依次根据所述文件序列中的脚本运行文件生成所述智能通信设备的协同数据分布信息并生成与所述协同数据分布信息对应的第一分布轨迹和第二分布轨迹;其中,所述第一分布轨迹用于表征所述智能通信设备在进行数据处理时的数据类型随着时间推移的相似度,所述第二分布轨迹用于表征所述智能通信设备在与所述云服务器交互时的链路稳定性的变化轨迹。
步骤S2324,确定所述第一分布轨迹中的n个第一轨迹节点以及所述第二分布轨迹中的n个第二轨迹节点,根据所述第一轨迹节点与所述第二轨迹节点之间的节点信息匹配率确定出每个智能通信设备对应的处理结果信息;其中,n为正整数,所述处理结果信息用于表征所述智能通信设备数据处理速率以及通信活跃度。
步骤S2325,基于确定出的多个处理结果信息生成全局调度指令,并将所述全局调度指令下发给在生成所述全局调度指令的时刻下的数据处理窗口期位于所述目标窗口期内的第一智能通信设备。
在具体实施过程中,通过上述步骤S2321-步骤S2325所描述的内容,能够给予确定出的多个处理结果信息生成全局调度指令,这样可以确保对智能通信设备的准确可靠调度以确保智慧城市的正常运行监控。
可选地,步骤S2325所描述的基于确定出的多个处理结果信息生成全局调度指令,具体可以包括以下子步骤所描述的内容:分别计算每个处理结果信息之间的干扰因子,根据所述干扰因子确定所述智能通信设备之间的通信拓扑,获取所述通信拓扑的全局变量信息并根据所述全局变量信息生成全局调度指令;其中,所述全局变量信息用于表征所述通信拓扑的通信稳定性,所述全局调度指令用于指示智能通信设备进行边缘计算重配置。如此,能够将处理结果信息之间的干扰因子考虑在内,从而确保全局调度指令的准确性和可靠性,使得智能通信设备能够根据全局调度指令进行适应性的边缘计算重配置。
可选地,为了确保目标调度指令的迭代修正准确性,步骤S240所描述的根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令,进一步可以包括以下步骤S241-步骤S244所描述的内容。
步骤S241,确定所述设备状态信息的状态维度数据;根据所述状态维度数据,从预设数据库中查找满足预设维度聚类条件的多个目标状态信息的状态相关度、信息签名和聚类权重;其中,所述状态相关度包括直接相关度和间接相关度。
步骤S242,基于所述多个目标设备状态信息的状态相关度、信息签名和聚类权重对全局调度指令进行解析,以得到与所述全局调度指令对应的且同时满足所述状态相关度、所述信息签名和所述聚类权重之间的合并条件的指令流;其中,所述指令流包括所述全局调度指令的调度频率。
步骤S243,对所述指令流进行拆分得到多个指令代码对应的函数调用路径,确定每个函数调用路径对应的目标函数的类型参数以及所述目标函数对应的函数容器参数。
步骤S244,基于每个设备状态信息的状态维度数据依次对类型参数和函数容器参数之间的参数影响权重大于设定权重的函数调用路径进行修正,并根据修正后的函数调用路径得到目标调度指令。
如此,能够对基于设备状态信息的状态维度数据对全局调度指令进行解析以确定出多个函数调用路径,从而对函数调用路径的类型参数和函数容器参数进行分析以实现对全局调度指令的准确的迭代修正。
在上述基础上,请结合参阅图4,提供了一种基于边缘计算和云计算协同的数据处理装置400,所述装置应用于与多个智能通信设备通信连接的云服务器,所述装置包括:
记录获取模块410,用于向每个智能通信设备发送用于调取每个智能通信设备的设备运行记录的且携带有校验签名字段的请求信息,并在接收到每个智能通信设备基于所述请求信息中的校验签名字段判定出所述云服务器通过安全校验时所反馈的授权信息时,从每个智能通信设备中获取设备运行记录;
窗口期确定模块420,用于根据每个设备运行记录确定与每个设备运行记录对应的智能通信设备的数据处理周期信息,并通过所述数据处理周期信息确定每个智能通信设备的数据处理窗口期;
指令下发模块430,用于对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期;基于所述目标窗口期将通过所述设备运行记录确定出的全局调度指令下发给第一智能通信设备;
指令迭代模块440,用于实时获取所述第一智能通信设备基于所述全局调度指令进行参数配置所生成的设备状态信息,根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令;在当前时段与第二智能通信设备的数据处理窗口期重合时将所述目标调度指令下发给所述第二智能通信设备。
可选地,所述指令迭代模块440,具体用于:
确定所述设备状态信息的状态维度数据;根据所述状态维度数据,从预设数据库中查找满足预设维度聚类条件的多个目标状态信息的状态相关度、信息签名和聚类权重;其中,所述状态相关度包括直接相关度和间接相关度;
基于所述多个目标设备状态信息的状态相关度、信息签名和聚类权重对全局调度指令进行解析,以得到与所述全局调度指令对应的且同时满足所述状态相关度、所述信息签名和所述聚类权重之间的合并条件的指令流;其中,所述指令流包括所述全局调度指令的调度频率;
对所述指令流进行拆分得到多个指令代码对应的函数调用路径,确定每个函数调用路径对应的目标函数的类型参数以及所述目标函数对应的函数容器参数;
基于每个设备状态信息的状态维度数据依次对类型参数和函数容器参数之间的参数影响权重大于设定权重的函数调用路径进行修正,并根据修正后的函数调用路径得到目标调度指令。
可选地,所述指令迭代模块440,具体用于:
根据每个第二智能通信设备的数据处理窗口期确定每个第二智能通信设备处于闲置状态的时间间隔;
以下发所述全局调度指令的时刻为起始时刻以及每个第二智能通信设备对应的时间间隔计算每个第二智能通信设备对应的指令等待时长;
在以所述起始时刻开始计时且计时时长达到所述指令等待时长时,将所述目标调度指令下发至计时时长达到的所述指令等待时长所对应的第二智能通信设备。
可选地,所述指令迭代模块440,还用于:
在每一次下发目标调度指令之后,实时获取接收到该次下发的目标调度指令对应的第二智能通信设备基于所述目标调度指令进行参数配置所生成的设备状态信息;
返回执行与根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令相类似的步骤。
可选地,窗口期确定模块420,具体用于:
获取每个设备运行记录对应的记录清单文本在预设文本切分标识下对应的多个数值信息,以及多个数值信息之间的二维相关性系数;生成多个数值信息对应的数值列表并确定多个二维相关性系数对应的二维相关性系数分布图;其中,所述数值列表中的每个列表单元具有不同的列表识别权重且所述二维相关性系数分布图中的每个系数节点具有不同中心度,所述中心度用于表征所述系数节点与其它系数节点之间的相关性;
确定出所述多个数值信息在所述数值列表的其中一个列表单元中的数值信息的映射字符,并将所述二维相关性系数分布图中具有最小中心度的系数节点确定为基准属性节点;
基于所述设备运行记录的存储地址信息将所述映射字符加载到所述基准属性节点中以在所述基准属性节点中获得与所述映射字符相匹配的属性字符;通过计算得到的所述映射字符与所述属性字符之间的字符相似权重构建所述多个数值信息和所述多个二维相关性系数之间的属性映射路径;
将所述属性字符对应的字符参数作为基准属性参数并在所述基准属性节点中获取各节点参数;并行地基于所述属性映射路径中的路径描述信息将所述节点参数映射到所述映射字符对应的数值信息中,以在所述映射字符对应的数值信息中得到所述节点参数对应的目标属性参数,并确定所述目标属性参数为所述数值信息的当前属性参数;
在根据所述记录清单文本的格式序列确定出所述记录清单文本具有时序标签以及非时序标签的情况下,根据所述记录清单文本对应的多个数值信息在所述时序标签下的第一数值信息以及所述第一数值信息对应的当前属性参数确定所述记录清单文本对应的多个数值信息在所述非时序标签下的第二数值信息与所述记录清单文本对应的多个数值信息在所述时序标签下的第一数值信息之间的时序评价系数,将所述时序评价系数小于设定系数的第一数值信息从所述时序标签下剔除;在剔除所述时序评价系数小于所述设定系数的第一数值信息之后,基于所述时序标签下的第一数值信息生成所述数据处理周期信息。
可选地,窗口期确定模块420,具体用于:
确定所述时序标签下的各第一数值信息对应的指向数据;
根据所述指向数据获取各第一数值信息对应的智能通信设备的状态轨迹数据;
从各状态轨迹数据中提取多个具有关联标识的线程数据;
针对所述多个线程数据中每个线程数据,若该线程数据的关联标识为第一标识则确定该线程数据对应的数据处理线程为工作状态,若该线程数据的关联标识为第二标识则确定该线程数据对应的数据处理线程为闲置状态;
在所述状态轨迹数据对应的数据处理线程为工作状态的第一数量大于数据处理线程为闲置状态的第二数量且所述第一数量与所述第二数量的差值达到设定值时,确定所述状态轨迹数据对应的第一数值信息为智能通信设备处于工作状态下的第一时段信息;否则确定所述状态轨迹数据对应的第一数值信息为智能通信设备处于闲置状态下的第二时段信息;
基于所述第一时段信息和所述第二时段信息生成数据处理周期信息。
可选地,指令下发模块430,具体用于:
确定每个数据处理窗口期对应的窗口时长以及时长间隔;
将每个数据处理窗口期的窗口时长按照其对应的时长间隔映射到预设的时序线段上;
根据所述时序线段上的每个窗口时长及其时长间隔确定所述目标窗口期。
可选地,指令下发模块430,具体用于:
基于每个设备运行记录对应的资源配置参数确定用于计算每个设备运行记录对应的智能通信设备的资源分配轨迹的时间片资源数据以及加密协议数据,并通过所述时间片资源数据和所述加密协议数据确定待分类的用于生成所述智能通信设备的协同数据分布信息的多个脚本运行文件的文件源码数据,以及不同脚本运行文件之间的兼容性参数;
采用确定的所述多个脚本运行文件的文件源码数据,以及不同脚本运行文件之间的兼容性参数,对所述多个脚本运行文件进行分类,使得位于目标分类类别下的脚本运行文件的文件源码数据对应的数据稳定权重大于预设值、且位于所述目标分类类别下的脚本运行文件之间的兼容性参数对应的加权参数值位于预设的数值区间内;将位于所述目标分类类别下的脚本运行文件按照脚本运行文件的文件签名对应的签名置信度的由大到小的顺序进行排序得到文件序列;
依次根据所述文件序列中的脚本运行文件生成所述智能通信设备的协同数据分布信息并生成与所述协同数据分布信息对应的第一分布轨迹和第二分布轨迹;其中,所述第一分布轨迹用于表征所述智能通信设备在进行数据处理时的数据类型随着时间推移的相似度,所述第二分布轨迹用于表征所述智能通信设备在与所述云服务器交互时的链路稳定性的变化轨迹;
确定所述第一分布轨迹中的n个第一轨迹节点以及所述第二分布轨迹中的n个第二轨迹节点,根据所述第一轨迹节点与所述第二轨迹节点之间的节点信息匹配率确定出每个智能通信设备对应的处理结果信息;其中,n为正整数,所述处理结果信息用于表征所述智能通信设备数据处理速率以及通信活跃度;
基于确定出的多个处理结果信息生成全局调度指令,并将所述全局调度指令下发给在生成所述全局调度指令的时刻下的数据处理窗口期位于所述目标窗口期内的第一智能通信设备。
可选地,指令下发模块430,具体用于:
分别计算每个处理结果信息之间的干扰因子;
根据所述干扰因子确定所述智能通信设备之间的通信拓扑;
获取所述通信拓扑的全局变量信息并根据所述全局变量信息生成全局调度指令;其中,所述全局变量信息用于表征所述通信拓扑的通信稳定性,所述全局调度指令用于指示智能通信设备进行边缘计算重配置。
基于上述同样的发明构思,还提供了一种基于边缘计算和云计算协同的数据处理系统,包括云服务器以及与云服务器通信连接的多个智能通信设备;
所述云服务器用于:
向每个智能通信设备发送用于调取每个智能通信设备的设备运行记录的且携带有校验签名字段的请求信息;
所述智能通信设备用于:
在基于所述请求信息中的校验签名字段判定出所述云服务器通过安全校验时向所述云服务器反馈授权信息;
所述云服务器用于:
在接收到所述授权信息时从每个智能通信设备中获取设备运行记录;
根据每个设备运行记录确定与每个设备运行记录对应的智能通信设备的数据处理周期信息,并通过所述数据处理周期信息确定每个智能通信设备的数据处理窗口期;
对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期;基于所述目标窗口期将通过所述设备运行记录确定出的全局调度指令下发给第一智能通信设备;
实时获取所述第一智能通信设备基于所述全局调度指令进行参数配置所生成的设备状态信息,根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令;在当前时段与第二智能通信设备的数据处理窗口期重合时将所述目标调度指令下发给所述第二智能通信设备。
可选地,所述云服务器,具体用于:
确定所述设备状态信息的状态维度数据;根据所述状态维度数据,从预设数据库中查找满足预设维度聚类条件的多个目标状态信息的状态相关度、信息签名和聚类权重;其中,所述状态相关度包括直接相关度和间接相关度;
基于所述多个目标设备状态信息的状态相关度、信息签名和聚类权重对全局调度指令进行解析,以得到与所述全局调度指令对应的且同时满足所述状态相关度、所述信息签名和所述聚类权重之间的合并条件的指令流;其中,所述指令流包括所述全局调度指令的调度频率;
对所述指令流进行拆分得到多个指令代码对应的函数调用路径,确定每个函数调用路径对应的目标函数的类型参数以及所述目标函数对应的函数容器参数;
基于每个设备状态信息的状态维度数据依次对类型参数和函数容器参数之间的参数影响权重大于设定权重的函数调用路径进行修正,并根据修正后的函数调用路径得到目标调度指令。
可选地,所述云服务器,具体用于:
根据每个第二智能通信设备的数据处理窗口期确定每个第二智能通信设备处于闲置状态的时间间隔;
以下发所述全局调度指令的时刻为起始时刻以及每个第二智能通信设备对应的时间间隔计算每个第二智能通信设备对应的指令等待时长;
在以所述起始时刻开始计时且计时时长达到所述指令等待时长时,将所述目标调度指令下发至计时时长达到的所述指令等待时长所对应的第二智能通信设备。
可选地,所述云服务器,还用于:
在每一次下发目标调度指令之后,实时获取接收到该次下发的目标调度指令对应的第二智能通信设备基于所述目标调度指令进行参数配置所生成的设备状态信息;
返回执行与根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令相类似的步骤。
可选地,所述云服务器,具体用于:
获取每个设备运行记录对应的记录清单文本在预设文本切分标识下对应的多个数值信息,以及多个数值信息之间的二维相关性系数;生成多个数值信息对应的数值列表并确定多个二维相关性系数对应的二维相关性系数分布图;其中,所述数值列表中的每个列表单元具有不同的列表识别权重且所述二维相关性系数分布图中的每个系数节点具有不同中心度,所述中心度用于表征所述系数节点与其它系数节点之间的相关性;
确定出所述多个数值信息在所述数值列表的其中一个列表单元中的数值信息的映射字符,并将所述二维相关性系数分布图中具有最小中心度的系数节点确定为基准属性节点;
基于所述设备运行记录的存储地址信息将所述映射字符加载到所述基准属性节点中以在所述基准属性节点中获得与所述映射字符相匹配的属性字符;通过计算得到的所述映射字符与所述属性字符之间的字符相似权重构建所述多个数值信息和所述多个二维相关性系数之间的属性映射路径;
将所述属性字符对应的字符参数作为基准属性参数并在所述基准属性节点中获取各节点参数;并行地基于所述属性映射路径中的路径描述信息将所述节点参数映射到所述映射字符对应的数值信息中,以在所述映射字符对应的数值信息中得到所述节点参数对应的目标属性参数,并确定所述目标属性参数为所述数值信息的当前属性参数;
在根据所述记录清单文本的格式序列确定出所述记录清单文本具有时序标签以及非时序标签的情况下,根据所述记录清单文本对应的多个数值信息在所述时序标签下的第一数值信息以及所述第一数值信息对应的当前属性参数确定所述记录清单文本对应的多个数值信息在所述非时序标签下的第二数值信息与所述记录清单文本对应的多个数值信息在所述时序标签下的第一数值信息之间的时序评价系数,将所述时序评价系数小于设定系数的第一数值信息从所述时序标签下剔除;在剔除所述时序评价系数小于所述设定系数的第一数值信息之后,基于所述时序标签下的第一数值信息生成所述数据处理周期信息。
可选地,所述云服务器,具体用于:
确定所述时序标签下的各第一数值信息对应的指向数据;
根据所述指向数据获取各第一数值信息对应的智能通信设备的状态轨迹数据;
从各状态轨迹数据中提取多个具有关联标识的线程数据;
针对所述多个线程数据中每个线程数据,若该线程数据的关联标识为第一标识则确定该线程数据对应的数据处理线程为工作状态,若该线程数据的关联标识为第二标识则确定该线程数据对应的数据处理线程为闲置状态;
在所述状态轨迹数据对应的数据处理线程为工作状态的第一数量大于数据处理线程为闲置状态的第二数量且所述第一数量与所述第二数量的差值达到设定值时,确定所述状态轨迹数据对应的第一数值信息为智能通信设备处于工作状态下的第一时段信息;否则确定所述状态轨迹数据对应的第一数值信息为智能通信设备处于闲置状态下的第二时段信息;
基于所述第一时段信息和所述第二时段信息生成数据处理周期信息。
可选地,所述云服务器,具体用于:
确定每个数据处理窗口期对应的窗口时长以及时长间隔;
将每个数据处理窗口期的窗口时长按照其对应的时长间隔映射到预设的时序线段上;
根据所述时序线段上的每个窗口时长及其时长间隔确定所述目标窗口期。
可选地,所述云服务器,具体用于:
基于每个设备运行记录对应的资源配置参数确定用于计算每个设备运行记录对应的智能通信设备的资源分配轨迹的时间片资源数据以及加密协议数据,并通过所述时间片资源数据和所述加密协议数据确定待分类的用于生成所述智能通信设备的协同数据分布信息的多个脚本运行文件的文件源码数据,以及不同脚本运行文件之间的兼容性参数;
采用确定的所述多个脚本运行文件的文件源码数据,以及不同脚本运行文件之间的兼容性参数,对所述多个脚本运行文件进行分类,使得位于目标分类类别下的脚本运行文件的文件源码数据对应的数据稳定权重大于预设值、且位于所述目标分类类别下的脚本运行文件之间的兼容性参数对应的加权参数值位于预设的数值区间内;将位于所述目标分类类别下的脚本运行文件按照脚本运行文件的文件签名对应的签名置信度的由大到小的顺序进行排序得到文件序列;
依次根据所述文件序列中的脚本运行文件生成所述智能通信设备的协同数据分布信息并生成与所述协同数据分布信息对应的第一分布轨迹和第二分布轨迹;其中,所述第一分布轨迹用于表征所述智能通信设备在进行数据处理时的数据类型随着时间推移的相似度,所述第二分布轨迹用于表征所述智能通信设备在与所述云服务器交互时的链路稳定性的变化轨迹;
确定所述第一分布轨迹中的n个第一轨迹节点以及所述第二分布轨迹中的n个第二轨迹节点,根据所述第一轨迹节点与所述第二轨迹节点之间的节点信息匹配率确定出每个智能通信设备对应的处理结果信息;其中,n为正整数,所述处理结果信息用于表征所述智能通信设备数据处理速率以及通信活跃度;
基于确定出的多个处理结果信息生成全局调度指令,并将所述全局调度指令下发给在生成所述全局调度指令的时刻下的数据处理窗口期位于所述目标窗口期内的第一智能通信设备。
可选地,所述云服务器,具体用于:
分别计算每个处理结果信息之间的干扰因子;
根据所述干扰因子确定所述智能通信设备之间的通信拓扑;
获取所述通信拓扑的全局变量信息并根据所述全局变量信息生成全局调度指令;其中,所述全局变量信息用于表征所述通信拓扑的通信稳定性,所述全局调度指令用于指示智能通信设备进行边缘计算重配置。
进一步地,还提供了一种应用于计算机的可读存储介质,所述可读存储介质烧录有计算机程序,所述计算机程序运行时实现如图2所示的方法。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于边缘计算和云计算协同的数据处理方法,其特征在于,应用于与多个智能通信设备通信连接的云服务器,所述方法包括:
向每个智能通信设备发送用于调取每个智能通信设备的设备运行记录的且携带有校验签名字段的请求信息,并在接收到每个智能通信设备基于所述请求信息中的校验签名字段判定出所述云服务器通过安全校验时所反馈的授权信息时,从每个智能通信设备中获取设备运行记录;
根据每个设备运行记录确定与每个设备运行记录对应的智能通信设备的数据处理周期信息,并通过所述数据处理周期信息确定每个智能通信设备的数据处理窗口期;
对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期;基于所述目标窗口期将通过所述设备运行记录确定出的全局调度指令下发给第一智能通信设备;
实时获取所述第一智能通信设备基于所述全局调度指令进行参数配置所生成的设备状态信息,根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令;在当前时段与第二智能通信设备的数据处理窗口期重合时将所述目标调度指令下发给所述第二智能通信设备。
2.根据权利要求1所述的数据处理方法,其特征在于,在当前时段与第二智能通信设备的数据处理窗口期重合时将所述目标调度指令下发给所述第二智能通信设备,进一步包括:
根据每个第二智能通信设备的数据处理窗口期确定每个第二智能通信设备处于闲置状态的时间间隔;
以下发所述全局调度指令的时刻为起始时刻以及每个第二智能通信设备对应的时间间隔计算每个第二智能通信设备对应的指令等待时长;
在以所述起始时刻开始计时且计时时长达到所述指令等待时长时,将所述目标调度指令下发至计时时长达到的所述指令等待时长所对应的第二智能通信设备。
3.根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括:
在每一次下发目标调度指令之后,实时获取接收到该次下发的目标调度指令对应的第二智能通信设备基于所述目标调度指令进行参数配置所生成的设备状态信息;
返回执行与根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令相类似的步骤。
4.根据权利要求1-3任一项所述的数据处理方法,其特征在于,根据每个设备运行记录确定与每个设备运行记录对应的智能通信设备的数据处理周期信息,包括:
获取每个设备运行记录对应的记录清单文本在预设文本切分标识下对应的多个数值信息,以及多个数值信息之间的二维相关性系数;生成多个数值信息对应的数值列表并确定多个二维相关性系数对应的二维相关性系数分布图;其中,所述数值列表中的每个列表单元具有不同的列表识别权重且所述二维相关性系数分布图中的每个系数节点具有不同中心度,所述中心度用于表征所述系数节点与其它系数节点之间的相关性;
确定出所述多个数值信息在所述数值列表的其中一个列表单元中的数值信息的映射字符,并将所述二维相关性系数分布图中具有最小中心度的系数节点确定为基准属性节点;
基于所述设备运行记录的存储地址信息将所述映射字符加载到所述基准属性节点中以在所述基准属性节点中获得与所述映射字符相匹配的属性字符;通过计算得到的所述映射字符与所述属性字符之间的字符相似权重构建所述多个数值信息和所述多个二维相关性系数之间的属性映射路径;
将所述属性字符对应的字符参数作为基准属性参数并在所述基准属性节点中获取各节点参数;并行地基于所述属性映射路径中的路径描述信息将所述节点参数映射到所述映射字符对应的数值信息中,以在所述映射字符对应的数值信息中得到所述节点参数对应的目标属性参数,并确定所述目标属性参数为所述数值信息的当前属性参数;
在根据所述记录清单文本的格式序列确定出所述记录清单文本具有时序标签以及非时序标签的情况下,根据所述记录清单文本对应的多个数值信息在所述时序标签下的第一数值信息以及所述第一数值信息对应的当前属性参数确定所述记录清单文本对应的多个数值信息在所述非时序标签下的第二数值信息与所述记录清单文本对应的多个数值信息在所述时序标签下的第一数值信息之间的时序评价系数,将所述时序评价系数小于设定系数的第一数值信息从所述时序标签下剔除;在剔除所述时序评价系数小于所述设定系数的第一数值信息之后,基于所述时序标签下的第一数值信息生成所述数据处理周期信息。
5.根据权利要求4所述的数据处理方法,其特征在于,基于所述时序标签下的第一数值信息生成所述数据处理周期信息,包括:
确定所述时序标签下的各第一数值信息对应的指向数据;
根据所述指向数据获取各第一数值信息对应的智能通信设备的状态轨迹数据;
从各状态轨迹数据中提取多个具有关联标识的线程数据;
针对所述多个线程数据中每个线程数据,若该线程数据的关联标识为第一标识则确定该线程数据对应的数据处理线程为工作状态,若该线程数据的关联标识为第二标识则确定该线程数据对应的数据处理线程为闲置状态;
在所述状态轨迹数据对应的数据处理线程为工作状态的第一数量大于数据处理线程为闲置状态的第二数量且所述第一数量与所述第二数量的差值达到设定值时,确定所述状态轨迹数据对应的第一数值信息为智能通信设备处于工作状态下的第一时段信息;否则确定所述状态轨迹数据对应的第一数值信息为智能通信设备处于闲置状态下的第二时段信息;
基于所述第一时段信息和所述第二时段信息生成数据处理周期信息。
6.根据权利要求1所述的数据处理方法,其特征在于,对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期,具体包括:
确定每个数据处理窗口期对应的窗口时长以及时长间隔;
将每个数据处理窗口期的窗口时长按照其对应的时长间隔映射到预设的时序线段上;
根据所述时序线段上的每个窗口时长及其时长间隔确定所述目标窗口期。
7.根据权利要求1所述的数据处理方法,其特征在于,基于所述目标窗口期将通过所述设备运行记录确定出的全局调度指令下发给第一智能通信设备,具体包括:
基于每个设备运行记录对应的资源配置参数确定用于计算每个设备运行记录对应的智能通信设备的资源分配轨迹的时间片资源数据以及加密协议数据,并通过所述时间片资源数据和所述加密协议数据确定待分类的用于生成所述智能通信设备的协同数据分布信息的多个脚本运行文件的文件源码数据,以及不同脚本运行文件之间的兼容性参数;
采用确定的所述多个脚本运行文件的文件源码数据,以及不同脚本运行文件之间的兼容性参数,对所述多个脚本运行文件进行分类,使得位于目标分类类别下的脚本运行文件的文件源码数据对应的数据稳定权重大于预设值、且位于所述目标分类类别下的脚本运行文件之间的兼容性参数对应的加权参数值位于预设的数值区间内;将位于所述目标分类类别下的脚本运行文件按照脚本运行文件的文件签名对应的签名置信度的由大到小的顺序进行排序得到文件序列;
依次根据所述文件序列中的脚本运行文件生成所述智能通信设备的协同数据分布信息并生成与所述协同数据分布信息对应的第一分布轨迹和第二分布轨迹;其中,所述第一分布轨迹用于表征所述智能通信设备在进行数据处理时的数据类型随着时间推移的相似度,所述第二分布轨迹用于表征所述智能通信设备在与所述云服务器交互时的链路稳定性的变化轨迹;
确定所述第一分布轨迹中的n个第一轨迹节点以及所述第二分布轨迹中的n个第二轨迹节点,根据所述第一轨迹节点与所述第二轨迹节点之间的节点信息匹配率确定出每个智能通信设备对应的处理结果信息;其中,n为正整数,所述处理结果信息用于表征所述智能通信设备数据处理速率以及通信活跃度;
基于确定出的多个处理结果信息生成全局调度指令,并将所述全局调度指令下发给在生成所述全局调度指令的时刻下的数据处理窗口期位于所述目标窗口期内的第一智能通信设备。
8.一种云服务器,其特征在于,所述云服务器与多个智能通信设备通信连接,所述云服务用于:
向每个智能通信设备发送用于调取每个智能通信设备的设备运行记录的且携带有校验签名字段的请求信息,并在接收到每个智能通信设备基于所述请求信息中的校验签名字段判定出所述云服务器通过安全校验时所反馈的授权信息时,从每个智能通信设备中获取设备运行记录;
根据每个设备运行记录确定与每个设备运行记录对应的智能通信设备的数据处理周期信息,并通过所述数据处理周期信息确定每个智能通信设备的数据处理窗口期;
对确定出的多个数据处理窗口期进行时序匹配得到窗口比率最大的目标窗口期;基于所述目标窗口期将通过所述设备运行记录确定出的全局调度指令下发给第一智能通信设备;
实时获取所述第一智能通信设备基于所述全局调度指令进行参数配置所生成的设备状态信息,根据所述设备状态信息对所述全局调度指令进行迭代修正得到目标调度指令;在当前时段与第二智能通信设备的数据处理窗口期重合时将所述目标调度指令下发给所述第二智能通信设备。
9.一种云服务器,其特征在于,包括:处理器、通信总线和存储器;所述处理器通过通信总线从所述存储器中调取计算机程序,并通过运行所述计算机程序以执行上述权利要求1-7任一项所述的方法。
10.一种应用于计算机的可读存储介质,其特征在于,所述可读存储介质烧录有计算机程序,所述计算机程序运行时实现上述权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010697879.5A CN111917848A (zh) | 2020-07-20 | 2020-07-20 | 基于边缘计算和云计算协同的数据处理方法及云服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010697879.5A CN111917848A (zh) | 2020-07-20 | 2020-07-20 | 基于边缘计算和云计算协同的数据处理方法及云服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111917848A true CN111917848A (zh) | 2020-11-10 |
Family
ID=73280064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010697879.5A Withdrawn CN111917848A (zh) | 2020-07-20 | 2020-07-20 | 基于边缘计算和云计算协同的数据处理方法及云服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111917848A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112437132A (zh) * | 2020-11-11 | 2021-03-02 | 周金华 | 基于云计算和数字化升级的业务资源共享方法及云服务器 |
CN113472547A (zh) * | 2021-09-06 | 2021-10-01 | 湖南和信安华区块链科技有限公司 | 一种基于区块链的安全监控系统 |
-
2020
- 2020-07-20 CN CN202010697879.5A patent/CN111917848A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112437132A (zh) * | 2020-11-11 | 2021-03-02 | 周金华 | 基于云计算和数字化升级的业务资源共享方法及云服务器 |
CN112437132B (zh) * | 2020-11-11 | 2021-09-24 | 重庆南华中天信息技术有限公司 | 基于云计算和数字化升级的业务资源共享方法及云服务器 |
CN113472547A (zh) * | 2021-09-06 | 2021-10-01 | 湖南和信安华区块链科技有限公司 | 一种基于区块链的安全监控系统 |
CN113472547B (zh) * | 2021-09-06 | 2021-11-16 | 湖南和信安华区块链科技有限公司 | 一种基于区块链的安全监控系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11586972B2 (en) | Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs | |
CN106992994B (zh) | 一种云服务的自动化监控方法和系统 | |
CN104298679B (zh) | 应用业务推荐方法及装置 | |
IL275042A (en) | Security monitoring Level of application programming programming with self-adaptation | |
CN109376069B (zh) | 一种测试报告的生成方法及设备 | |
US11042525B2 (en) | Extracting and labeling custom information from log messages | |
CN107862425B (zh) | 风控数据采集方法、设备、系统及可读存储介质 | |
CN110135590B (zh) | 信息处理方法、装置、介质及电子设备 | |
CN113626241B (zh) | 应用程序的异常处理方法、装置、设备及存储介质 | |
CN114817968B (zh) | 无特征数据的路径追溯方法、装置、设备及存储介质 | |
CN107784068A (zh) | 数据变化的获取方法、装置、存储介质、处理器及服务端 | |
CN111917848A (zh) | 基于边缘计算和云计算协同的数据处理方法及云服务器 | |
CN113918526A (zh) | 日志处理方法、装置、计算机设备和存储介质 | |
CN106294406B (zh) | 一种用于处理应用访问数据的方法与设备 | |
CN111800292A (zh) | 基于历史流量的预警方法、装置、计算机设备及存储介质 | |
Lee et al. | ATMSim: An anomaly teletraffic detection measurement analysis simulator | |
CN111949720B (zh) | 基于大数据和人工智能的数据分析方法及云端数据服务器 | |
CN111352676A (zh) | 帮助信息推送方法、帮助系统及可读存储介质 | |
CN112436969A (zh) | 一种物联网设备管理方法、系统、设备及介质 | |
CN113515715B (zh) | 埋点事件编码的生成方法、处理方法及相关设备 | |
CN114282940A (zh) | 用于意图识别的方法及装置、存储介质及电子设备 | |
CN114756301A (zh) | 日志处理方法、装置和系统 | |
CN114579809A (zh) | 事件分析方法、装置、电子设备及存储介质 | |
CN114186272A (zh) | 一种基于数字办公的大数据威胁防护方法及系统 | |
CN109635015B (zh) | 属性数据使用对象的确定方法、装置和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201110 |
|
WW01 | Invention patent application withdrawn after publication |