CN117891595A - 一种数据处理方法及装置、电子设备、存储介质 - Google Patents
一种数据处理方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN117891595A CN117891595A CN202311800089.5A CN202311800089A CN117891595A CN 117891595 A CN117891595 A CN 117891595A CN 202311800089 A CN202311800089 A CN 202311800089A CN 117891595 A CN117891595 A CN 117891595A
- Authority
- CN
- China
- Prior art keywords
- computing
- cloud
- edge
- resource allocation
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000013468 resource allocation Methods 0.000 claims abstract description 134
- 238000000034 method Methods 0.000 claims abstract description 111
- 238000004364 calculation method Methods 0.000 claims abstract description 95
- 230000008569 process Effects 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims description 66
- 238000004590 computer program Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 abstract description 13
- 238000013145 classification model Methods 0.000 description 44
- 238000012549 training Methods 0.000 description 24
- 238000007726 management method Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 8
- 238000012806 monitoring device Methods 0.000 description 7
- 238000005406 washing Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明实施例提供了一种数据处理方法及装置、电子设备、存储介质,所述方法包括:在目标子设备接入主机设备后,获取在控制所述目标子设备过程中生成的计算任务;确定所述计算任务对应的资源分配类型;从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务。通过本发明实施例,实现了将云计算和边缘计算结合,有效解决了云端带宽压力大、隐私泄漏风险高以及边缘计算资源受限等问题,满足高精度、低消耗、快响应、低延时的应用场景需求。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据处理方法、一种数据处理装置、一种电子设备以及一种计算机可读存储介质。
背景技术
随着物联网的蓬勃发展和5G网络的不断完善,智能物联网设备不断增加。目前,智能物联网设备需要将数据传输到云端进行集中处理,但这种方式存在着云端带宽压力大、隐私泄漏风险高等问题。而在边缘侧进行计算虽然可以减轻网络压力和提高隐私保护,但由于边缘计算资源受限,无法满足高精度模型需求。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理方法、一种数据处理装置、一种电子设备以及一种计算机可读存储介质。
本发明第一方面提供了一种数据处理方法,所述方法包括:
在目标子设备接入主机设备后,获取在控制所述目标子设备过程中生成的计算任务;
确定所述计算任务对应的资源分配类型;
从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务。
可选地,所述从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,包括:
在所述资源分配类型为云计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用所述云计算对应的计算资源在云端处理所述计算任务。
可选地,所述从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,包括:
在所述资源分配类型为边缘计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用所述边缘计算对应的计算资源在所述主机设备和/或所述目标子设备中处理所述计算任务。
可选地,所述确定所述计算任务对应的资源分配类型,包括:
确定所述目标子设备的设备类型以及确定所述计算任务的数据特征;
根据所述设备类型和所述数据特征确定所述计算任务对应的资源分配类型。
可选地,还包括:
在处理所述计算任务过程中,当检测到所述针对计算任务的多个指令为重复指令时,对所述重复指令进行去重处理。
可选地,还包括:
在所述资源分配类型为云计算类型时,若检测到所述云端处于断网状态,则将所述计算任务发送至中控平台,以在中控平台中通过蓝牙将所述计算任务广播至所述子设备的关联子设备。
可选地,还包括:
在所述资源分配类型为边缘计算类型时,将所述计算任务对应的执行结果同步至云端。
本发明第二方面提供了一种数据处理装置,所述装置包括:
计算任务生成模块,用于在目标子设备接入主机设备后,获取所述主机设备在控制所述目标子设备过程中生成的计算任务;
资源分配类型确定模块,用于确定所述计算任务对应的资源分配类型;
计算任务处理模块,用于从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务。
本发明第三方面提供了一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述数据处理方法。
本发明第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述数据处理方法。
本发明实施例具有以下优点:
在本发明实施例中在执行计算任务之前可以确定计算任务对应的资源分配类型,进而通过主机设备衔接的云边协同计算系统调用对应的计算资源分类处理计算任务,将云计算和边缘计算结合,有效解决了云端带宽压力大、隐私泄漏风险高、边缘计算资源受限等问题,满足高精度、低消耗、快响应、低延时的应用场景需求。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据处理方法的步骤流程图;
图2是本发明一实施例提供的另一种数据处理方法的步骤流程图;
图3是本发明一实施例提供的另一种数据处理方法的步骤流程图;
图4是本发明一实施例提供的另一种数据处理方法的步骤流程图;
图5是本发明一实施例提供的另一种数据处理方法的步骤流程图;
图6是本发明一实施例提供的一种基于云边协同计算系统的数据处理过程示意图;
图7是本发明一实施例提供的数据处理装置的结构示意图;
图8是本发明一实施例提供的一种电子设备的结构示意图;
图9是本发明一实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本发明一实施例提供的一种数据处理方法的步骤流程图,具体可以包括如下步骤:
步骤101,在目标子设备接入主机设备后,获取在控制目标子设备过程中生成的计算任务;
在本发明实施例中,主机设备可以接入并控制多个子设备,其中,主机设备可以为家庭主机设备,子设备可以为家居设备,例如,空调、洗衣机、电视机、冰箱、监控设备等设备。家庭主机设备作为家居设备的中枢。通过家庭主机设备,用户可以实现对家居设备的远程控制和管理,例如,通过手机或平板电脑等设备发送指令给家庭主机设备,然后由家庭主机设备将指令传递给相应的家居设备,实现设备的智能化管理。在一示例中,通过家庭主机设备还可以对家居设备实现更多的功能和智能化管理。例如,智能灯泡可以通过家庭主机设备实现远程开关控制、亮度调节等功能;智能门锁可以通过家庭主机设备实现远程开锁、密码管理等功能。
在目标子设备接入主机设备后,在控制目标子设备过程中,可以生成设备控制关联的计算任务,计算任务的执行需要占用计算资源。
在一示例中,当用户通过设备控制类APP针对目标子设备进行远程控制时,可以生成远程控制对应的计算任务;在另一示例中,应用对多个子设备进行控制的中控平台在针对目标子设备进行控制时,可以生成目标子设备的计算任务。
步骤102,确定计算任务对应的资源分配类型;
主机设备在获取计算任务后,可以对该计算任务进行分析,确定该计算任务的资源分配类型,其中,资源分配类型可以包括云计算类型和边缘计算类型。
在一示例中,可以在主机设备中存储计算任务与资源分配类型的对应关系,在获取计算任务后,则依照主机设备存储的对应关系查找当前的计算任务所匹配的资源分配类型。
在另一示例中,主机设备中可以调用训练好的分类模型对计算任务进行分析,确定计算任务对应的资源分配类型。其中,分类模型的输入值为计算任务,输出值为资源分配类型,本发明实施例中的分类模型可以为轻量型模型,具体可以采用light-bert或者简单的单隐层网络。
具体的,分类模型的训练过程如下:
步骤S11,针对多个子设备采集计算任务作为分类模型的训练样本;
步骤S12,对训练样本人工标注资源分配类型;
步骤S13,将训练样本输入初始分类模型,得到分类预测值;
步骤S14,基于分类预测值和资源分配类型对初始分类模型中的模型参数进行调整,从而实现分类模型迭代。
其中,模型参数调整的目标为使得分类预测值无限趋近于资源分配类型。
步骤S15,从训练样本中随机抽取部分样本作为测试样本,用于对分类模型进行模型评估,计算分类准确率。
步骤S16,在迭代次数大于或等于目标迭代次数或分类准确率大于或等于目标准确率时,结束分类模型训练。
其中,目标准备率=分类正确数/测试样本数。
步骤103,从集成云计算和边缘计算的云边协同计算系统中调用与资源分配类型匹配的计算资源处理计算任务。
在本发明实施例中,可以使主机设备与云边协同计算系统衔接,以实现对计算任务进行分类处理。云边协同系统中可以融合云计算逻辑和边缘计算逻辑,云边协同系统可以负责协调云计算和边缘计算之间的工作,调用与资源分配类型匹配的计算资源处理计算任务,以充分利用云计算和边缘计算的优势,提高云边协同系统的整体性能和效率。
具体的,在经过对计算任务进行分类后,可以调用云边协同计算系统将计算任务分配至对应的计算资源进行处理,避免全部计算任务集中于云端。
在本发明一实施例中,在处理计算任务过程中,当检测到所述针对计算任务的多个指令为重复指令时,对重复指令进行去重处理。
当云计算和边缘计算都向目标子设备下发相同指令时,会使目标子设备重复执行指令,从而,可以在目标子设备执行指令前,进行指令去重,避免执行重复指令。
在本发明实施例中,计算任务的执行过程可以包括数据通讯、处理、转发、分发等过程。
在本发明实施例中,通过在目标子设备接入主机设备后,获取在控制目标子设备过程中生成的计算任务,从而可以确定计算任务对应的资源分配类型;进而可以从集成云计算和边缘计算的云边协同计算系统中调用与资源分配类型匹配的计算资源处理计算任务,实现了将云计算和边缘计算结合,有效解决了云端带宽压力大、隐私泄漏风险高、边缘计算资源受限等问题,满足高精度、低消耗、快响应、低延时的应用场景需求。
参照图2,示出了本发明一实施例提供的另一种数据处理方法的步骤流程图,具体可以包括如下步骤:
步骤201,在目标子设备接入主机设备后,获取在控制目标子设备过程中生成的计算任务;
在本发明实施例中,主机设备可以接入并控制多个子设备,其中,主机设备可以为家庭主机设备,子设备可以为家居设备,例如,空调、洗衣机、电视机、冰箱、监控设备等设备。家庭主机设备作为家居设备的中枢。通过家庭主机设备,用户可以实现对家居设备的远程控制和管理,例如,通过手机或平板电脑等设备发送指令给家庭主机设备,然后由家庭主机设备将指令传递给相应的家居设备,实现设备的智能化管理。在一示例中,通过家庭主机设备还可以对家居设备实现更多的功能和智能化管理。例如,智能灯泡可以通过家庭主机设备实现远程开关控制、亮度调节等功能;智能门锁可以通过家庭主机设备实现远程开锁、密码管理等功能。
在目标子设备接入主机设备后,在控制目标子设备过程中,可以生成设备控制关联的计算任务,计算任务的执行需要占用计算资源。
在一示例中,当用户通过设备控制类APP针对目标子设备进行远程控制时,可以生成远程控制对应的计算任务;在另一示例中,应用对多个子设备进行控制的中控平台在针对目标子设备进行控制时,可以生成目标子设备的计算任务。
步骤202,确定计算任务对应的资源分配类型;
主机设备在获取计算任务后,可以对该计算任务进行分析,确定该计算任务的资源分配类型,其中,资源分配类型可以包括云计算类型和边缘计算类型。
在一示例中,可以在主机设备中存储计算任务与资源分配类型的对应关系,在获取计算任务后,则依照主机设备存储的对应关系查找当前的计算任务所匹配的资源分配类型。
在另一示例中,主机设备中可以调用训练好的分类模型对计算任务进行分析,确定计算任务对应的资源分配类型。其中,分类模型的输入值为计算任务,输出值为资源分配类型,本发明实施例中的分类模型可以为轻量型模型,具体可以采用light-bert或者简单的单隐层网络。
具体的,分类模型的训练过程如下:
步骤S11,针对多个子设备采集计算任务作为分类模型的训练样本;
步骤S12,对训练样本人工标注资源分配类型;
步骤S13,将训练样本输入初始分类模型,得到分类预测值;
步骤S14,基于分类预测值和资源分配类型对初始分类模型中的模型参数进行调整,从而实现分类模型迭代。
其中,模型参数调整的目标为使得分类预测值无限趋近于资源分配类型。
步骤S15,从训练样本中随机抽取部分样本作为测试样本,用于对分类模型进行模型评估,计算分类准确率。
步骤S16,在迭代次数大于或等于目标迭代次数或分类准确率大于或等于目标准确率时,结束分类模型训练。
其中,准确率=分类正确数/测试样本数。
步骤203,在资源分配类型为云计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用云计算对应的计算资源在云端处理计算任务。
当资源分配类型为云计算类型时,则可以通过云边协同计算系统,将计算任务导入云端进行处理。
在实际应用中,云端计算可以用于处理长周期、非实时的计算任务,如大规模传感器数据,而边缘计算则可以处理需要实时响应的计算任务,例如,安防监控设备的实时计算任务。
如将所有的计算任务统一上传至云端处理,一方面上传云端会导致时延,数据处理慢,无法实时响应,从而云端计算无法满足有实时性要求的计算任务。另一方面,当计算任务过多时,会导致云端处理压力大。
在本发明实施例中,通过对计算任务分类,将资源分配类型为云计算类型的计算任务,通过云边协同计算系统调度至云端处理,可以缓解云端数据处理压力,同时也可以避免有实时性要求的数据上传云端导致的时延问题等。
在本发明实施例中,通过在目标子设备接入主机设备后,获取在控制目标子设备过程中生成的计算任务,从而可以确定计算任务对应的资源分配类型;进而可以在资源分配类型为云计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用云计算对应的计算资源在云端处理计算任务,实现了将云计算和边缘计算结合,将云计算类型的计算任务发送至云端处理,从而有效解决了云端带宽压力大、隐私泄漏风险高的问题。
参照图3,示出了本发明一实施例提供的另一种数据处理方法的步骤流程图,具体可以包括如下步骤:
步骤301,在目标子设备接入主机设备后,获取在控制目标子设备过程中生成的计算任务;
在本发明实施例中,主机设备可以接入并控制多个子设备,其中,主机设备可以为家庭主机设备,子设备可以为家居设备,例如,空调、洗衣机、电视机、冰箱、监控设备等设备。家庭主机设备作为家居设备的中枢。通过家庭主机设备,用户可以实现对家居设备的远程控制和管理,例如,通过手机或平板电脑等设备发送指令给家庭主机设备,然后由家庭主机设备将指令传递给相应的家居设备,实现设备的智能化管理。在一示例中,通过家庭主机设备还可以对家居设备实现更多的功能和智能化管理。例如,智能灯泡可以通过家庭主机设备实现远程开关控制、亮度调节等功能;智能门锁可以通过家庭主机设备实现远程开锁、密码管理等功能。
在目标子设备接入主机设备后,在控制目标子设备过程中,可以生成设备控制关联的计算任务,计算任务的执行需要占用计算资源。
在一示例中,当用户通过设备控制类APP针对目标子设备进行远程控制时,可以生成远程控制对应的计算任务;在另一示例中,应用对多个子设备进行控制的中控平台在针对目标子设备进行控制时,可以生成目标子设备的计算任务。
步骤302,确定计算任务对应的资源分配类型;
主机设备在获取计算任务后,可以对该计算任务进行分析,确定该计算任务的资源分配类型,其中,资源分配类型可以包括云计算类型和边缘计算类型。
在一示例中,可以在主机设备中存储计算任务与资源分配类型的对应关系,在获取计算任务后,则依照主机设备存储的对应关系查找当前的计算任务所匹配的资源分配类型。
在另一示例中,主机设备中可以调用训练好的分类模型对计算任务进行分析,确定计算任务对应的资源分配类型。其中,分类模型的输入值为计算任务,输出值为资源分配类型,本发明实施例中的分类模型可以为轻量型模型,具体可以采用light-bert或者简单的单隐层网络。
具体的,分类模型的训练过程如下:
步骤S11,针对多个子设备采集计算任务作为分类模型的训练样本;
步骤S12,对训练样本人工标注资源分配类型;
步骤S13,将训练样本输入初始分类模型,得到分类预测值;
步骤S14,基于分类预测值和资源分配类型对初始分类模型中的模型参数进行调整,从而实现分类模型迭代。
其中,模型参数调整的目标为使得分类预测值无限趋近于资源分配类型。
步骤S15,从训练样本中随机抽取部分样本作为测试样本,用于对分类模型进行模型评估,计算分类准确率。
步骤S16,在迭代次数大于或等于目标迭代次数或分类准确率大于或等于目标准确率时,结束分类模型训练。
其中,准确率=分类正确数/测试样本数。
步骤303,在资源分配类型为边缘计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用边缘计算对应的计算资源在主机设备和/或目标子设备中处理计算任务。
在计算任务的资源分配类型为边缘计算类型时,则可以在无需上传云端的情况下,在主机设备内处理计算任务,针对具备实时性要求的计算任务可以避免时延。同时,在主机设备、子设备等非云端的边缘设备中计算资源有限情况下,处理部分边缘计算类型的计算任务,分担云端计算处理压力。
在实际应用中,针对实时、短周期数据的处理任务和本地业务的实时处理与执行,边缘计算起到关键作用。边缘计算负责在本地对这些数据进行实时处理,以及执行本地的业务逻辑,从而可以为云端提供高价值的数据。
从而本发明实施例中,通过将云计算和边缘计算融合,可以继承云计算与边缘计算的优势,以实现高精度、低消耗、快响应、低延时的应用场景需求。
在本发明一实施例中,在资源分配类型为边缘计算类型时,将计算任务对应的执行结果同步至云端。
在实际应用中,针对边缘计算类型的计算任务,其处理过程由主机设备等非云端边缘设备执行,同时可以将计算任务对应的执行结果同步上传至云端存储。
例如,在实际应用中,子设备需要将编码铭文传给云端解码,然后云端响应后再传递给用户,会占较大流量资源且运算压力都在云端,当子设备为空调设备时,空调设备的芯片算力较足,可以直接在空调(边缘设备)上进行计算并传给APP,并将结果同步云端,从而实现了节省大量资源。
在本发明实施例中,通过在目标子设备接入主机设备后,获取在控制目标子设备过程中生成的计算任务,从而可以确定计算任务对应的资源分配类型;进而可以在资源分配类型为边缘计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用边缘计算对应的计算资源在主机设备和/或目标子设备中处理计算任务,实现了将云计算和边缘计算结合,将边缘计算类型的计算资源由主机设备快速处理,有效解决了边缘计算资源受限等问题,满足快响应、低延时的应用场景需求。
参照图4,示出了本发明一实施例提供的另一种数据处理方法的步骤流程图,具体可以包括如下步骤:
步骤401,在目标子设备接入主机设备后,获取在控制目标子设备过程中生成的计算任务;
在本发明实施例中,主机设备可以接入并控制多个子设备,其中,主机设备可以为家庭主机设备,子设备可以为家居设备,例如,空调、洗衣机、电视机、冰箱、监控设备等设备。家庭主机设备作为家居设备的中枢。通过家庭主机设备,用户可以实现对家居设备的远程控制和管理,例如,通过手机或平板电脑等设备发送指令给家庭主机设备,然后由家庭主机设备将指令传递给相应的家居设备,实现设备的智能化管理。在一示例中,通过家庭主机设备还可以对家居设备实现更多的功能和智能化管理。例如,智能灯泡可以通过家庭主机设备实现远程开关控制、亮度调节等功能;智能门锁可以通过家庭主机设备实现远程开锁、密码管理等功能。
在目标子设备接入主机设备后,在控制目标子设备过程中,可以生成设备控制关联的计算任务,计算任务的执行需要占用计算资源。
在一示例中,当用户通过设备控制类APP针对目标子设备进行远程控制时,可以生成远程控制对应的计算任务;在另一示例中,应用对多个子设备进行控制的中控平台在针对目标子设备进行控制时,可以生成目标子设备的计算任务。
步骤402,确定目标子设备的设备类型以及确定计算任务的数据特征;
其中,设备类型可以按照设备功能划分为不同功能类别的设备,如空调类、监控类等;设备类型还可以按照设备实时性要求划分为实时性设备和非实时性设备。在本发明实施例中,设备类型不局限于上述示例划分,在实际应用中可以根据需求设置不同的设备类型。
计算任务的数据特征可以包括但不限于实时性特征、周期特征、数据规模特征。
其实,实时性特征可以反映计算特征对实时性的要求,在实际应用中实时性要求高的计算任务需要采用边缘计算,周期特征用于反映计算任务的处理时长,在实际应用中,周期长的计算任务可以采用云端计算,周期短的计算任务可以采用边缘计算,数据规模特征可以反映计算任务的计算量,在实际应用中,数据规模大的计算任务涉及大量数据,可以采用云端计算,数据规模小的计算任务可以采用边缘计算。
步骤403,根据设备类型和数据特征确定计算任务对应的资源分配类型;
可以针对设备类型、数据特征分别设置权重值以及评分,以综合考虑设备类型和数据特征。通过对设备类型、数据特征加权计算确定计算任务的目标分值,进而根据目标分值确定计算任务对应的资源分配类型。
其中,每种设备类型的分值以及每种数据特征的分值可以根据实际需求预先设置,设置类型的权重和数据特征的权重也可以根据实际需求预先设置。
从而,计算任务的目标分值=设备类型分值^设备类型权重+(数据特征1分值+数据特征2分值+...)^数据特征权重。
在实际应用中,可以设置计算任务的目标分值大于预设分值时,确定计算任务的资源分配类型为云计算类型,当计算任务的目标分值小于或等于预设分值时,确定计算任务的资源分配类型为边缘计算类型。其中,本发明实施例中的预设分值可以根据实际需求设置,在本发明实施例中对此不做过多限制。
在一示例中,在确定目标子设备的设备类型后,可以获取设备信息,设备信息可以包括设备状态信息以据设备空余计算空间等信息,进而根据设备类型和设备信息来分配哪些数据可以在边缘终端进行分析和计算,哪些可以直接云端计算。
步骤404,从集成云计算和边缘计算的云边协同计算系统中调用与资源分配类型匹配的计算资源处理计算任务。
在本发明一实施例中,在处理计算任务过程中,当检测到所述针对计算任务的多个指令为重复指令时,对重复指令进行去重处理。
在本发明实施例中,通过在目标子设备接入主机设备后,获取在控制目标子设备过程中生成的计算任务,从而可以确定目标子设备的设备类型以及确定计算任务的数据特征;根据设备类型和数据特征确定计算任务对应的资源分配类型;进而可以从集成云计算和边缘计算的云边协同计算系统中调用与资源分配类型匹配的计算资源处理计算任务,实现了将云计算和边缘计算结合,有效解决了云端带宽压力大、隐私泄漏风险高、边缘计算资源受限等问题,满足高精度、低消耗、快响应、低延时的应用场景需求。
参照图5,示出了本发明一实施例提供的另一种数据处理方法的步骤流程图,具体可以包括如下步骤:
步骤501,在目标子设备接入主机设备后,获取在控制目标子设备过程中生成的计算任务;
在本发明实施例中,主机设备可以接入并控制多个子设备,其中,主机设备可以为家庭主机设备,子设备可以为家居设备,例如,空调、洗衣机、电视机、冰箱、监控设备等设备。家庭主机设备作为家居设备的中枢。通过家庭主机设备,用户可以实现对家居设备的远程控制和管理,例如,通过手机或平板电脑等设备发送指令给家庭主机设备,然后由家庭主机设备将指令传递给相应的家居设备,实现设备的智能化管理。在一示例中,通过家庭主机设备还可以对家居设备实现更多的功能和智能化管理。例如,智能灯泡可以通过家庭主机设备实现远程开关控制、亮度调节等功能;智能门锁可以通过家庭主机设备实现远程开锁、密码管理等功能。
在目标子设备接入主机设备后,在控制目标子设备过程中,可以生成设备控制关联的计算任务,计算任务的执行需要占用计算资源。
在一示例中,当用户通过设备控制类APP针对目标子设备进行远程控制时,可以生成远程控制对应的计算任务;在另一示例中,应用对多个子设备进行控制的中控平台在针对目标子设备进行控制时,可以生成目标子设备的计算任务。
步骤502,确定计算任务对应的资源分配类型;
主机设备在获取计算任务后,可以对该计算任务进行分析,确定该计算任务的资源分配类型,其中,资源分配类型可以包括云计算类型和边缘计算类型。
在一示例中,可以在主机设备中存储计算任务与资源分配类型的对应关系,在获取计算任务后,则依照主机设备存储的对应关系查找当前的计算任务所匹配的资源分配类型。
在另一示例中,主机设备中可以调用训练好的分类模型对计算任务进行分析,确定计算任务对应的资源分配类型。其中,分类模型的输入值为计算任务,输出值为资源分配类型,本发明实施例中的分类模型可以为轻量型模型,具体可以采用light-bert或者简单的单隐层网络。
具体的,分类模型的训练过程如下:
步骤S11,针对多个子设备采集计算任务作为分类模型的训练样本;
步骤S12,对训练样本人工标注资源分配类型;
步骤S13,将训练样本输入初始分类模型,得到分类预测值;
步骤S14,基于分类预测值和资源分配类型对初始分类模型中的模型参数进行调整,从而实现分类模型迭代。
其中,模型参数调整的目标为使得分类预测值无限趋近于资源分配类型。
步骤S15,从训练样本中随机抽取部分样本作为测试样本,用于对分类模型进行模型评估,计算分类准确率。
步骤S16,在迭代次数大于或等于目标迭代次数或分类准确率大于或等于目标准确率时,结束分类模型训练。
其中,准确率=分类正确数/测试样本数。
步骤503,在资源分配类型为云计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用云计算对应的计算资源在云端处理计算任务。
当资源分配类型为云计算类型时,则可以通过云边协同计算系统,将计算任务导入云端进行处理。
在实际应用中,云端计算可以用于处理长周期、非实时的计算任务,如大规模传感器数据,而边缘计算则可以处理需要实时响应的计算任务,例如,安防监控设备的实时计算任务。
如将所有的计算任务统一上传至云端处理,一方面上传云端会导致时延,数据处理慢,无法实时响应,从而云端计算无法满足有实时性要求的计算任务。另一方面,当计算任务过多时,会导致云端处理压力大。
在本发明实施例中,通过对计算任务分类,将资源分配类型为云计算类型的计算任务,通过云边协同计算系统调度至云端处理,可以缓解云端数据处理压力,同时也可以避免有实时性要求的数据上传云端导致的时延问题等。
步骤504,若检测到云端处于断网状态,则将计算任务发送至中控平台,以在中控平台中通过蓝牙将计算任务广播至子设备的关联子设备。
在实际应用中,数据上传云端需要在网络连接正常的情况下进行,当云端处于断网状态,计算任务的资源分配类型为云计算类型无法通过网络上传云端,从而,可以将计算任务发送至中控平台(中控平台为用于对一个或多个子设备发送设备控制指令的平台),由中控平台通过蓝牙将计算任务广播至子设备以及子设备的关联子设备。从而可以确保在断网和联网情况下都能实现子设备的正常运行控制。
例如,计算任务为子设备A和子设备B的场景联动控制,计算任务生成后,在云端未断网时,则计算任务需上传云端处理,当云端断网状态下,则主机设备同过自身通讯将计算任务发送至中控平台,中控平台通过蓝牙计算向子设备A和子设备B控制场景发送场景联动控制的指令。
在本发明实施例中,通过在目标子设备接入主机设备后,获取在控制目标子设备过程中生成的计算任务,从而可以确定计算任务对应的资源分配类型;进而可以在资源分配类型为云计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用云计算对应的计算资源在云端处理计算任务,实现了将云计算和边缘计算结合,将云计算类型的计算任务发送至云端处理,从而有效解决了云端带宽压力大、隐私泄漏风险高的问题。
参照图6,示出了本发明一实施例提供的一种基于云边协同计算系统的数据处理过程示意图,具体可以包括如下步骤:
步骤601,设备接入;
如将子设备接入到主机设备中,从而,在对子设备进行控制过程中,主机设备可以接收到子设备关联的计算任务。
步骤602,采用轻量化模型判定设备数据信息类型(即确定资源分配类型)。
步骤603,按照设备数据信息类型调用云边协同系统进行资源分配,将采用云端计算或边缘设备分配计算处理设置数据(计算任务)。
云计算类型上传云端采用云计算,边缘计算类型由边缘设备(主机设备或子设备)采用边缘计算。
步骤604,云端计算和边缘设备分配计算后得到的指令进行指令去重处理。
需要说明的是,对于方法实施例,为了简单描述,故将其表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图7,示出了本发明一实施例提供的一种数据处理装置的结构示意图,具体可以包括如下模块:
计算任务生成模块701,用于在目标子设备接入主机设备后,获取所述主机设备在控制所述目标子设备过程中生成的计算任务;
资源分配类型确定模块702,用于确定所述计算任务对应的资源分配类型;
计算任务处理模块703,用于从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务。
在本发明一实施例中,计算任务处理模块703可以包括:
第一任务处理子模块,用于在所述资源分配类型为云计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用所述云计算对应的计算资源在云端处理所述计算任务。
在本发明一实施例中,计算任务处理模块703可以包括:
第二任务处理子模块,在所述资源分配类型为边缘计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用所述边缘计算对应的计算资源在所述主机设备和/或所述目标子设备中处理所述计算任务。
在本发明一实施例中,所述资源分配类型确定模块602包括:
设备类型和数据特征确定子模块,用于确定所述目标子设备的设备类型以及确定所述计算任务的数据特征;
资源分配类型确定子模块,用于根据所述设备类型和所述数据特征确定所述计算任务对应的资源分配类型。
在本发明一实施例中,所述装置还可以包括:
指令去重模块,用于在处理所述计算任务过程中,当检测到所述针对计算任务的多个指令为重复指令时,对所述重复指令进行去重处理。
在本发明一实施例中,所述装置还可以包括:
断网模块,用于在所述资源分配类型为云计算类型时,若检测到所述云端处于断网状态,则将所述计算任务发送至中控平台,以在中控平台中通过蓝牙将所述计算任务广播至所述子设备的关联子设备。
在本发明一实施例中,所述装置还可以包括:
执行结果同步模块,用于在所述资源分配类型为边缘计算类型时,将所述计算任务对应的执行结果同步至云端。
在本发明实施例中,通过在目标子设备接入主机设备后,获取在控制所述目标子设备过程中生成的计算任务,从而可以确定所述计算任务对应的资源分配类型;进而可以从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,实现了将云计算和边缘计算结合,有效解决了云端带宽压力大、隐私泄漏风险高、边缘计算资源受限等问题,满足高精度、低消耗、快响应、低延时的应用场景需求。
参照图8,本发明实施例还提供了一种电子设备,可以包括处理器801、存储器802及存储在存储器802上并能够在处理器801上运行的计算机程序,计算机程序被处理器801执行时实现如上数据处理方法。所述数据处理方法包括:
在目标子设备接入主机设备后,获取在控制所述目标子设备过程中生成的计算任务;
确定所述计算任务对应的资源分配类型;
从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务。
可选地,所述从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,包括:
在所述资源分配类型为云计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用所述云计算对应的计算资源在云端处理所述计算任务。
可选地,所述从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,包括:
在所述资源分配类型为边缘计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用所述边缘计算对应的计算资源在所述主机设备和/或所述目标子设备中处理所述计算任务。
可选地,所述确定所述计算任务对应的资源分配类型,包括:
确定所述目标子设备的设备类型以及确定所述计算任务的数据特征;
根据所述设备类型和所述数据特征确定所述计算任务对应的资源分配类型。
可选地,还包括:
在处理所述计算任务过程中,当检测到所述针对计算任务的多个指令为重复指令时,对所述重复指令进行去重处理。
可选地,还包括:
在所述资源分配类型为云计算类型时,若检测到所述云端处于断网状态,则将所述计算任务发送至中控平台,以在中控平台中通过蓝牙将所述计算任务广播至所述子设备的关联子设备。
可选地,还包括:
在所述资源分配类型为边缘计算类型时,将所述计算任务对应的执行结果同步至云端。
在本发明实施例中,通过在目标子设备接入主机设备后,获取在控制所述目标子设备过程中生成的计算任务,从而可以确定所述计算任务对应的资源分配类型;进而可以从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,实现了将云计算和边缘计算结合,有效解决了云端带宽压力大、隐私泄漏风险高、边缘计算资源受限等问题,满足高精度、低消耗、快响应、低延时的应用场景需求。
参照图9,本发明实施例还提供了一种计算机可读存储介质901,计算机可读存储介质901上存储计算机程序,计算机程序被处理器执行时实现如上数据处理方法。所述数据处理方法包括:
在目标子设备接入主机设备后,获取在控制所述目标子设备过程中生成的计算任务;
确定所述计算任务对应的资源分配类型;
从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务。
可选地,所述从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,包括:
在所述资源分配类型为云计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用所述云计算对应的计算资源在云端处理所述计算任务。
可选地,所述从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,包括:
在所述资源分配类型为边缘计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用所述边缘计算对应的计算资源在所述主机设备和/或所述目标子设备中处理所述计算任务。
可选地,所述确定所述计算任务对应的资源分配类型,包括:
确定所述目标子设备的设备类型以及确定所述计算任务的数据特征;
根据所述设备类型和所述数据特征确定所述计算任务对应的资源分配类型。
可选地,还包括:
在处理所述计算任务过程中,当检测到所述针对计算任务的多个指令为重复指令时,对所述重复指令进行去重处理。
可选地,还包括:
在所述资源分配类型为云计算类型时,若检测到所述云端处于断网状态,则将所述计算任务发送至中控平台,以在中控平台中通过蓝牙将所述计算任务广播至所述子设备的关联子设备。
可选地,还包括:
在所述资源分配类型为边缘计算类型时,将所述计算任务对应的执行结果同步至云端。
在本发明实施例中,通过在目标子设备接入主机设备后,获取在控制所述目标子设备过程中生成的计算任务,从而可以确定所述计算任务对应的资源分配类型;进而可以从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,实现了将云计算和边缘计算结合,有效解决了云端带宽压力大、隐私泄漏风险高、边缘计算资源受限等问题,满足高精度、低消耗、快响应、低延时的应用场景需求。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种数据处理方法及装置、电子设备、存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
在目标子设备接入主机设备后,获取在控制所述目标子设备过程中生成的计算任务;
确定所述计算任务对应的资源分配类型;
从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务。
2.根据权利要求1所述的方法,其特征在于,所述从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,包括:
在所述资源分配类型为云计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用所述云计算对应的计算资源在云端处理所述计算任务。
3.根据权利要求1所述的方法,其特征在于,所述从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务,包括:
在所述资源分配类型为边缘计算类型时,从集成云计算和边缘计算的云边协同计算系统中调用所述边缘计算对应的计算资源在所述主机设备和/或所述目标子设备中处理所述计算任务。
4.根据权利要求1所述的方法,其特征在于,所述确定所述计算任务对应的资源分配类型,包括:
确定所述目标子设备的设备类型以及确定所述计算任务的数据特征;
根据所述设备类型和所述数据特征确定所述计算任务对应的资源分配类型。
5.根据权利要求1至4中任一项所述的方法,其特征在于,还包括:
在处理所述计算任务过程中,当检测到所述针对计算任务的多个指令为重复指令时,对所述重复指令进行去重处理。
6.根据权利要求1至4中任一项所述的方法,其特征在于,还包括:
在所述资源分配类型为云计算类型时,若检测到所述云端处于断网状态,则将所述计算任务发送至中控平台,以在中控平台中通过蓝牙将所述计算任务广播至所述子设备的关联子设备。
7.根据权利要求3和4中任一项所述的方法,其特征在于,还包括:
在所述资源分配类型为边缘计算类型时,将所述计算任务对应的执行结果同步至云端。
8.一种数据处理装置,其特征在于,所述装置包括:
计算任务生成模块,用于在目标子设备接入主机设备后,获取所述主机设备在控制所述目标子设备过程中生成的计算任务;
资源分配类型确定模块,用于确定所述计算任务对应的资源分配类型;
计算任务处理模块,用于从集成云计算和边缘计算的云边协同计算系统中调用与所述资源分配类型匹配的计算资源处理所述计算任务。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311800089.5A CN117891595A (zh) | 2023-12-25 | 2023-12-25 | 一种数据处理方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311800089.5A CN117891595A (zh) | 2023-12-25 | 2023-12-25 | 一种数据处理方法及装置、电子设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117891595A true CN117891595A (zh) | 2024-04-16 |
Family
ID=90651652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311800089.5A Pending CN117891595A (zh) | 2023-12-25 | 2023-12-25 | 一种数据处理方法及装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117891595A (zh) |
-
2023
- 2023-12-25 CN CN202311800089.5A patent/CN117891595A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6587330B2 (ja) | ランダムフォレストモデルの訓練方法、電子装置及び記憶媒体 | |
US20190050264A1 (en) | Edge computing platform | |
CN109918205B (zh) | 一种边缘设备调度方法、系统、装置及计算机存储介质 | |
CN111208748B (zh) | 基于物联网的联动控制方法、系统和计算机设备 | |
CN109951538B (zh) | 数据处理方法、装置、系统、电子设备及存储介质 | |
TWI547817B (zh) | 叢集運算架構的資源規劃方法、系統及裝置 | |
CN107741899B (zh) | 处理终端数据的方法、装置及系统 | |
CN111597388B (zh) | 基于分布式系统的样本采集方法、装置、设备及介质 | |
CN109615022B (zh) | 模型上线配置方法和装置 | |
CN110109899B (zh) | 物联网数据填补方法、装置及系统 | |
WO2014194704A1 (en) | A grouping processing method and system | |
CN112286664B (zh) | 任务调度方法、装置、计算机设备及可读存储介质 | |
CN106130960A (zh) | 盗号行为的判断系统、负载调度方法和装置 | |
CN115543577A (zh) | 基于协变量的Kubernetes资源调度优化方法、存储介质及设备 | |
CN113934545A (zh) | 一种视频数据调度方法、系统、电子设备及可读介质 | |
CN106502856B (zh) | 一种信息处理方法及装置 | |
CN111343416B (zh) | 一种分布式图像分析方法、系统及存储介质 | |
CN113242301B (zh) | 真实服务器的选定方法、装置、计算机设备及存储介质 | |
CN112486676B (zh) | 一种基于边缘计算的数据共享分发装置 | |
CN117891595A (zh) | 一种数据处理方法及装置、电子设备、存储介质 | |
CN112231167A (zh) | 云资源监控方法、装置、设备及存储介质 | |
CN114564249B (zh) | 推荐调度引擎、推荐调度方法及计算机可读存储介质 | |
CN115309520A (zh) | 任务迁移方法、装置、电子设备及存储介质 | |
CN114443293A (zh) | 一种大数据平台的部署系统及方法 | |
CN114764372A (zh) | 数据处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |