CN112732718A - 面向云边端的智能结构化数据方法、系统和介质 - Google Patents

面向云边端的智能结构化数据方法、系统和介质 Download PDF

Info

Publication number
CN112732718A
CN112732718A CN202110012673.9A CN202110012673A CN112732718A CN 112732718 A CN112732718 A CN 112732718A CN 202110012673 A CN202110012673 A CN 202110012673A CN 112732718 A CN112732718 A CN 112732718A
Authority
CN
China
Prior art keywords
data
cloud
edge
tasks
hyper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110012673.9A
Other languages
English (en)
Other versions
CN112732718B (zh
Inventor
林伟伟
沈王博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110012673.9A priority Critical patent/CN112732718B/zh
Publication of CN112732718A publication Critical patent/CN112732718A/zh
Application granted granted Critical
Publication of CN112732718B publication Critical patent/CN112732718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向云边端的智能结构化数据方法、系统和介质，包括下述步骤：对智能终端计算任务进行特征提取，所述特征包括：计算任务的可并行性、计算任务的依赖性、计算与任务判断分支的比值、边缘节点当前的网络传输能力以及计算任务的数据类型与当前边缘节点的异构计算资源的适应度；设计hyper‑neat网络g，hyper‑neat网络g定期训练于边缘节点，运行于智能终端；边缘节点向云端传输数据、日志、优质的hyper‑neat网络RNA的种子；云端对从智能终端产生的非结构化数据进行分析、建立、补齐知识体系。本发明能够对智能终端收集到非结构化数据进行结构化，让边缘服务器的异构计算充分发挥其计算特点，加快计算速度。

Description

面向云边端的智能结构化数据方法、系统和介质
技术领域
本发明属于网络安全的技术领域，具体涉及一种面向云边端的智能结构化数据方法、系统和介质。
背景技术
目前由于5G技术的迅速发展、物联网产品的普及、各种应用对云计算能力的要求不断的增加，“云端二体协同”的基本技术组合形态已经开始变得无法满足多样化智能终端“大连接，低时延，大带宽，本地化”的需求。
随着模仿人类脑部与局部神经细胞协同关系出现的“边缘计算”技术，云计算将会翻到下一个篇章——在更靠近终端的边缘网络上提供服务。物联网时代各种各样智能终端的兴起，犹如人类的“眼睛”一般，他们部署着大量的摄像头、传感器、测量仪等设备收集着海量数据，同时也伴随着各式各样的异构计算任务。
然而，在目前的云边端协同一体化的结构中，对于如何处理，从智能终端收集到的各种非结构化的异构计算任务，例如视频处理、文档处理、图片处理、HTML处理等等的问题，变得难以解决。如何最大效率的利用边缘计算节点有限的服务器资源，处理来自终端的大量非结构化的异构计算任务和数据，成为了最大的难题之一。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种面向云边端的智能结构化数据方法、系统和介质，能够对智能终端收集到非结构化数据进行结构化，让边缘服务器的异构计算充分发挥其计算特点，加快计算速度。
为了达到上述目的，本发明采用以下技术方案：
本发明一方面提出了一种面向云边端的智能结构化数据方法，包括下述步骤：
对智能终端计算任务进行特征提取，所述特征包括：计算任务的可并行性、计算任务的依赖性、计算与任务判断分支的比值、边缘节点当前的网络传输能力以及计算任务的数据类型与当前边缘节点的异构计算资源的适应度；
设计hyper-neat网络g，hyper-neat网络g定期训练于边缘节点，运行于智能终端；智能终端计算任务X提取的5种x1,2,3,4,5,加上最后一个偏执节点作为网络的输入；输出节点y1,2,……,n来源于云端定期收集各个边缘节点数据后分析返回而来；设置隐藏节点、输出节点、输出节点的激活函数、隐藏节点的激励函数、隐藏层数量、RNA的种子；
边缘节点向云端传输数据、日志、优质的hyper-neat网络RNA的种子；
云端对从智能终端产生的非结构化数据进行分析、建立、补齐知识体系，对hyper-neat的个别参数，特别是输出节点进行调整，定期选出最优分类类别策略，制定每一个类别的知识图谱，对应训练语料信息，用于对每个类别的非结构化数据进行特定的信息抽取规则和特征提取，之后云端将分析结果反馈给各个边缘节点，根据不同种类的计算任务，执行指定特定的任务卸载的策略,包括根据分类对计算任务进行信息补齐。
优先的，所述计算任务的可并行性具体为：
对程序的循环结构进行分析与评分；
数据流的相关性进行分析与评分；
数据的反相关性进行分析和评分；
计算的输出相关性进行分析和评分；
数据之间的相关距离和相关方向向量的计算；
计算结果加权组合得到A,即为计算任务的第一个特征。
优先的，所述计算任务的依赖性具体为：
采集当前计算任务与其他相关任务的4种依赖关系FS：完成-开始，SS：开始-开始，FF：完成-完成，SF：开始-完成；
通过计算该任务与其他任务的依赖关系，来量化该任务与其他任务的关联性的强弱B，来判断该任务的依赖关系。
优先的，所述计算任务的数据类型与当前边缘节点的异构计算资源的适应度具体为：
将计算任务进行粗分类，包括对视频进行处理，对图片进行分类，对大数据进行处理；
再根据当前边缘服务器所拥有的异构计算资源，针对这些粗分类的计算任务的处理优劣势，来量化边缘服务器处理该任务的难易度记为E，判断是否需要将该任务传入边缘服务器，或者是传输到更高的层次的边缘服务器甚至到云端进行计算，又或是直接在智能终端计算即可。
优先的，hyper-neat的训练是在边缘节点进行定期训练的，每一次定期训练的输出节点个数都可能不一样，由云端传输过来的数目确定，其他的参数设置保留不变；如果云端有具体的参数调整，边缘服务器也会根据云端发来的参数以及RNA种子进行训练，产生新的hyper-neat网络。
优先的，所述优质的hyper-neat网络RNA种子，生成的众多初始网络中，也包括了边缘节点中最终生成的hyper-neat网络，作为种子生成的初始网络之一。
优先的，所述云端对从智能终端产生的非结构化数据进行分析、建立、补齐知识体系中，云端会对从各个边缘节点收集到的数据进行以下几点操作：
标注足够的训练语料；
编写足够的抽取规则；
建立起每个领域数据的知识图谱；
根据知识图谱对每个领域，建立更细的类别分类。
优先的，所述根据分类对计算数据进行信息补齐使其变成结构化的数据，具体为：
智能终端的非结构化数据在被网络分好类y之后会根据对应的知识图谱，提取标注的训练语料X_1，根据抽取规则抽取相应的信息X_2；
如果X_1,X_2根据对应的知识图谱，信息有所缺失，此时就会根据X_1,X_2相应的知识图谱和历史案例，自动生成补齐信息使数据变的完整。
本发明另一方面还提出一种面向云边端的智能结构化数据系统，应用于所述的面向云边端的智能结构化数据方法，包括特征提取模块、hyper-neat网络g模块、数据传输模块以及数据处理模块；
所述特征提取模块，用于对智能终端计算任务进行特征提取，所述特征包括：计算任务的可并行性、计算任务的依赖性、计算与任务判断分支的比值、边缘节点当前的网络传输能力以及计算任务的数据类型与当前边缘节点的异构计算资源的适应度；
所述hyper-neat网络g模块，用于设计hyper-neat网络g，hyper-neat网络g定期训练于边缘节点，运行于智能终端；智能终端计算任务X提取的5种x1,2,3,4,5,加上最后一个偏执节点作为网络的输入；输出节点y1,2,……,n来源于云端定期收集各个边缘节点数据后分析返回而来；设置隐藏节点、输出节点、输出节点的激活函数、隐藏节点的激励函数、隐藏层数量、RNA的种子；
所述数据传输模块，用于边缘节点向云端传输数据、日志、优质的hyper-neat网络RNA的种子；
所述数据处理模块，用于云端对从智能终端产生的非结构化数据进行分析、建立、补齐知识体系，对hyper-neat的个别参数，特别是输出节点进行调整，定期选出最优分类类别策略，制定每一个类别的知识图谱，对应训练语料信息，用于对每个类别的非结构化数据进行特定的信息抽取规则和特征提取，之后云端将分析结果反馈给各个边缘节点，根据不同种类的计算任务，执行指定特定的任务卸载的策略,包括根据分类对计算任务进行信息补齐。
本发明的又一方面还提出了一种存储介质，存储有程序，所述程序被处理器执行时，实现所述的面向云边端的智能结构化数据方法。
本发明与现有技术相比，具有如下优点和有益效果：
本发明提出的一种面向云边端的智能结构化数据方法，在智能终端装载了由边缘节点定期训练的hyper-neat网络用来将从智能终端收集的计算任务进行分类，由于hyper-neat网络的高自适应性，自生长性，大大降低了人工维护成本。即使之后到来更多的数据，只需要确定输出，更改些许网络参数，就能自我生成神经网络拓扑结构。在对终端的计算任务进行分类之后，会根据对应的知识图谱，提取标注的训练语料，根据抽取规则抽取相应的信息对数据进行结构化，并且在之后对信息缺失的计算数据，进行信息补齐。经过结构化的计算任务和数据，有利于之后计算任务和数据在边缘节点进行异构计算和任务的调度策略的寻优。
附图说明
图1是本发明实施例面向云边端的智能结构化数据方法的流程图；
图2是本发明另一个实施例中面向云边端的智能结构化数据方法的流程图；
图3是本发明实施例终端计算任务进行特征提取的结构示意图；
图4是本发明实施例面向云边端的智能结构化数据系统的结构示意图；
图5是本发明实施例的存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
本发明在智能终端装载了由边缘节点定期训练的hyper-neat网络，用来将从智能终端收集的计算任务进行分类。由于hyper-neat网络的高自适应性，自生长性，较低的人工维护成本，即使之后到来更多的数据，只需要确定输出，更改许网络参数，就能自我生成神经网络拓扑结构；在对终端的计算任务进行分类之后，会根据对应的知识图谱，提取标注的训练语料，根据抽取规则抽取相应的信息对数据进行结构化，并且在之后对信息缺失的计算数据，后续的任务卸载部分会根据分类的标签会针对不同的种类的计算任务采用不同的任务卸载策略，大大加快了处理过程。经过结构化的计算任务和数据，有利于之后计算任务和数据在边缘节点进行异构计算和任务的调度策略的寻优
如图1所示，本发明实例提供了一种面向云边端的智能结构化数据，包括以下步骤：
步骤1、对终端计算任务进行特征提取，其中主要包括5个特征，a.计算任务的可并行性；b.计算任务的依赖性；c.计算与任务判断分支的比值；d.边缘节点当前的网络传输能力；e.计算任务的数据类型与当前边缘节点的异构计算资源的适应度；如图3所示。
更进一步的，对其中的部分特征做进一步的说明：
对于a部分，计算任务的可并行性特征提取具体步骤为：
1)对程序的循环结构进行分析与评分；
2)数据流的相关性进行分析与评分；
3)数据的反相关性进行分析和评分；
4)计算的输出相关性进行分析和评分；
5)数据之间的相关距离和相关方向向量的计算。
6)根据上述1)-5)步的计算结构加权组合得到A,即为计算任务的第一个特征；
对于b部分，计算任务的依耐性特征提取具体步骤为：
1)采集当前计算任务与其他相关任务的4种依赖关系FS(完成-开始),SS(开始-开始),FF(完成-完成),SF(开始-完成)；
2)通过计算该任务与其他任务的种4依赖关系，来量化该任务与其他任务的关联性的强弱B，来判断该任务的依赖关系。
对于e部分，计算任务的数据类型与当前边缘节点的异构计算资源的适应度特征提取具体步骤为：
1)将计算任务进行粗分类，如对视频进行处理、对图片进行分类、对大数据进行处理等等；
2)再根据当前边缘服务器所拥有的异构计算资源，针对这些粗分类的计算任务的处理优劣势，来量化边缘服务器处理该任务的难易度记为E，判断是否需要将该任务传入边缘服务器，或者是更高的层次的边缘服务器甚至到云端进行计算，又或是直接在智能终端计算。
步骤2：设计hyper-neat网络g；hyper-neat网络g定期训练于边缘计算节点，运行于智能终端；边缘计算节点会将终端计算任务X提取的5种x_1,x_2,x_3,x_4,x_5,加上最后一个偏执节点作为网络的输入；从云端定期收集到的输出节点y_1,y_(2,)……,y_n，以及设置隐藏节点、输出节点、输出节点的激活函数、隐藏节点的激励函数、隐藏层数量、RNA的种子来训练本地的hyper-neat网络，然后将其部署在智能终端中。并且定期向云端传输数据、日志、优质的hyper-neat网络RNA的种子。
步骤3：云端对从智能终端产生的非结构化数据进行分析、建立、补齐知识体系；对hyper-neat的个别参数，特别是输出节点进行调整，定期选出最优分类类别策略，制定每一个类别的知识图谱，对应训练语料等信息，用于对每个类别的非结构化数据进行特定的信息抽取规则和特征提取。之后云端将分析结果反馈给各个边缘节点，根据不同种类的计算任务，执行指定特定的任务卸载的策略,包括根据分类对计算任务进行信息补齐。
在另一个实施例中，如图2所示，为了更好的阐述本发明，以解决一个视频处理的计算任务为例进行说明，具体为：
第一步：通过智能终端的hyper-neat网络将其归类于图像识别-目标检测的类别中；
第二步：通过云端制定的知识图谱和特征提取策略，对视频数据进行提取，将复杂的多帧数图片信息进行保留为x_1，将视频的大小x_2，时常x_3，需要检测的目标相应信息x_4等特征进行提取，最终形成结构化的数据X；
第三步：对数据X进行信息的补齐，如果传输过来的数据X缺失对应知识图谱所需要的信息，就会根据历史案例进行相应信息的补齐。
第四步：根据图像识别-目标检测的类别采用相应的任务卸载策略，例如将目标图像切割计算任务上传给边缘服务器计算，将图像识别的部分留在智能终端计算即可。
上述方法实施例中的内容均适用于本方法实施例中，本方法实例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实例所达到的有益效果也相同。
综上所述，本发明一种面向云边端的智能结构化数据方法具有以下优点：
由于hyper-neat网络的高自适应性，自生长性，降低了人工维护成本。在对终端的计算任务进行分类之后，会根据对应的知识图谱，提取标注的训练语料，根据抽取规则抽取相应的信息对数据进行结构化，并且在之后对信息缺失的计算数据，后续的任务卸载部分会根据分类的标签会针对不同的种类的计算任务采用不同的任务卸载策略。与此同时还会针对不同的种类的计算任务，采用不同的任务卸载策略，大大加快了处理过程。经过结构化的计算任务和数据，有利于之后的计算任务和数据在边缘节点进行异构计算和任务的调度策略的寻优。
如图4所示，本发明的另一个实施例中，提供了一种面向云边端的智能结构化数据系统，应用于所述的面向云边端的智能结构化数据方法，包括特征提取模块、hyper-neat网络g模块、数据传输模块以及数据处理模块；
所述特征提取模块，用于对智能终端计算任务进行特征提取，所述特征包括：计算任务的可并行性、计算任务的依赖性、计算与任务判断分支的比值、边缘节点当前的网络传输能力以及计算任务的数据类型与当前边缘节点的异构计算资源的适应度；
所述hyper-neat网络g模块，用于设计hyper-neat网络g，hyper-neat网络g定期训练于边缘节点，运行于智能终端；智能终端计算任务X提取的5种x1,2,3,4,5,加上最后一个偏执节点作为网络的输入；输出节点y1,2,……,n来源于云端定期收集各个边缘节点数据后分析返回而来；设置隐藏节点、输出节点、输出节点的激活函数、隐藏节点的激励函数、隐藏层数量、RNA的种子；
所述数据传输模块，用于边缘节点向云端传输数据、日志、优质的hyper-neat网络RNA的种子；
所述数据处理模块，用于云端对从智能终端产生的非结构化数据进行分析、建立、补齐知识体系，对hyper-neat的个别参数，特别是输出节点进行调整，定期选出最优分类类别策略，制定每一个类别的知识图谱，对应训练语料信息，用于对每个类别的非结构化数据进行特定的信息抽取规则和特征提取，之后云端将分析结果反馈给各个边缘节点，根据不同种类的计算任务，执行指定特定的任务卸载的策略,包括根据分类对计算任务进行信息补齐。
如图5所示，本发明的另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现所述的面向云边端的智能结构化数据方法，具体为：
对智能终端计算任务进行特征提取，所述特征包括：计算任务的可并行性、计算任务的依赖性、计算与任务判断分支的比值、边缘节点当前的网络传输能力以及计算任务的数据类型与当前边缘节点的异构计算资源的适应度；
设计hyper-neat网络g，hyper-neat网络g定期训练于边缘节点，运行于智能终端；智能终端计算任务X提取的5种x1,2,3,4,5,加上最后一个偏执节点作为网络的输入；输出节点y1,2,……,n来源于云端定期收集各个边缘节点数据后分析返回而来；设置隐藏节点、输出节点、输出节点的激活函数、隐藏节点的激励函数、隐藏层数量、RNA的种子；
边缘节点向云端传输数据、日志、优质的hyper-neat网络RNA的种子；
云端对从智能终端产生的非结构化数据进行分析、建立、补齐知识体系，对hyper-neat的个别参数，特别是输出节点进行调整，定期选出最优分类类别策略，制定每一个类别的知识图谱，对应训练语料信息，用于对每个类别的非结构化数据进行特定的信息抽取规则和特征提取，之后云端将分析结果反馈给各个边缘节点，根据不同种类的计算任务，执行指定特定的任务卸载的策略,包括根据分类对计算任务进行信息补齐。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.面向云边端的智能结构化数据方法，其特征在于，包括下述步骤：
对智能终端计算任务进行特征提取，所述特征包括：计算任务的可并行性、计算任务的依赖性、计算与任务判断分支的比值、边缘节点当前的网络传输能力以及计算任务的数据类型与当前边缘节点的异构计算资源的适应度；
设计hyper-neat网络g，hyper-neat网络g定期训练于边缘节点，运行于智能终端；智能终端计算任务X提取的5种x1,x2,x3,x4,x5,加上最后一个偏执节点作为网络的输入；输出节点y1,y2,……,yn来源于云端定期收集各个边缘节点数据后分析返回而来；设置隐藏节点、输出节点、输出节点的激活函数、隐藏节点的激励函数、隐藏层数量、RNA的种子；
边缘节点向云端传输数据、日志、优质的hyper-neat网络RNA的种子；
云端对从智能终端产生的非结构化数据进行分析、建立、补齐知识体系，对hyper-neat的个别参数，特别是输出节点进行调整，定期选出最优分类类别策略，制定每一个类别的知识图谱，对应训练语料信息，用于对每个类别的非结构化数据进行特定的信息抽取规则和特征提取，之后云端将分析结果反馈给各个边缘节点，根据不同种类的计算任务，执行指定特定的任务卸载的策略,包括根据分类对计算任务进行信息补齐。
2.根据权利要求1所述面向云边端的智能结构化数据方法，其特征在于，所述计算任务的可并行性具体为：
对程序的循环结构进行分析与评分；
数据流的相关性进行分析与评分；
数据的反相关性进行分析和评分；
计算的输出相关性进行分析和评分；
数据之间的相关距离和相关方向向量的计算；
计算结果加权组合得到A,即为计算任务的第一个特征。
3.根据权利要求1所述面向云边端的智能结构化数据方法，其特征在于，所述计算任务的依赖性具体为：
采集当前计算任务与其他相关任务的4种依赖关系FS：完成-开始，SS：开始-开始，FF：完成-完成，SF：开始-完成；
通过计算该任务与其他任务的依赖关系，来量化该任务与其他任务的关联性的强弱B，来判断该任务的依赖关系。
4.根据权利要求1所述面向云边端的智能结构化数据方法，其特征在于，所述计算任务的数据类型与当前边缘节点的异构计算资源的适应度具体为：
将计算任务进行粗分类，包括对视频进行处理，对图片进行分类，对大数据进行处理；
再根据当前边缘服务器所拥有的异构计算资源，针对这些粗分类的计算任务的处理优劣势，来量化边缘服务器处理该任务的难易度记为E，判断是否需要将该任务传入边缘服务器，或者是传输到更高的层次的边缘服务器甚至到云端进行计算，又或是直接在智能终端计算即可。
5.根据权利要求1所述面向云边端的智能结构化数据方法，其特征在于，hyper-neat的训练是在边缘节点进行定期训练的，每一次定期训练的输出节点个数都可能不一样，由云端传输过来的数目确定，其他的参数设置保留不变；如果云端有具体的参数调整，边缘服务器也会根据云端发来的参数以及RNA种子进行训练，产生新的hyper-neat网络。
6.根据权利要求1所述面向云边端的智能结构化数据方法，其特征在于，所述优质的hyper-neat网络RNA种子，生成的众多初始网络中，也包括了边缘节点中最终生成的hyper-neat网络，作为种子生成的初始网络之一。
7.根据权利要求1所述面向云边端的智能结构化数据方法，其特征在于，所述云端对从智能终端产生的非结构化数据进行分析、建立、补齐知识体系中，云端会对从各个边缘节点收集到的数据进行以下几点操作：
标注足够的训练语料；
编写足够的抽取规则；
建立起每个领域数据的知识图谱；
根据知识图谱对每个领域，建立更细的类别分类。
8.根据权利要求1所述面向云边端的智能结构化数据方法，其特征在于，所述根据分类对计算数据进行信息补齐使其变成结构化的数据，具体为：
智能终端的非结构化数据在被网络分好类y之后会根据对应的知识图谱，提取标注的训练语料X_1，根据抽取规则抽取相应的信息X_2；
如果X_1,X_2根据对应的知识图谱，信息有所缺失，此时就会根据X_1,X_2相应的知识图谱和历史案例，自动生成补齐信息使数据变的完整。
9.面向云边端的智能结构化数据系统，其特征在于，应用于权利要求1-8中任一项所述的面向云边端的智能结构化数据方法，包括特征提取模块、hyper-neat网络g模块、数据传输模块以及数据处理模块；
所述特征提取模块，用于对智能终端计算任务进行特征提取，所述特征包括：计算任务的可并行性、计算任务的依赖性、计算与任务判断分支的比值、边缘节点当前的网络传输能力以及计算任务的数据类型与当前边缘节点的异构计算资源的适应度；
所述hyper-neat网络g模块，用于设计hyper-neat网络g，hyper-neat网络g定期训练于边缘节点，运行于智能终端；智能终端计算任务X提取的5种x1,x2,x3,x4,x5,加上最后一个偏执节点作为网络的输入；输出节点y1,y2,……,yn来源于云端定期收集各个边缘节点数据后分析返回而来；设置隐藏节点、输出节点、输出节点的激活函数、隐藏节点的激励函数、隐藏层数量、RNA的种子；
所述数据传输模块，用于边缘节点向云端传输数据、日志、优质的hyper-neat网络RNA的种子；
所述数据处理模块，用于云端对从智能终端产生的非结构化数据进行分析、建立、补齐知识体系，对hyper-neat的个别参数，特别是输出节点进行调整，定期选出最优分类类别策略，制定每一个类别的知识图谱，对应训练语料信息，用于对每个类别的非结构化数据进行特定的信息抽取规则和特征提取，之后云端将分析结果反馈给各个边缘节点，根据不同种类的计算任务，执行指定特定的任务卸载的策略,包括根据分类对计算任务进行信息补齐。
10.一种存储介质，存储有程序，其特征在于：所述程序被处理器执行时，实现权利要求1-8任一项所述的面向云边端的智能结构化数据方法。
CN202110012673.9A 2021-01-06 2021-01-06 面向云边端的智能结构化数据方法、系统和介质 Active CN112732718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110012673.9A CN112732718B (zh) 2021-01-06 2021-01-06 面向云边端的智能结构化数据方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110012673.9A CN112732718B (zh) 2021-01-06 2021-01-06 面向云边端的智能结构化数据方法、系统和介质

Publications (2)

Publication Number Publication Date
CN112732718A true CN112732718A (zh) 2021-04-30
CN112732718B CN112732718B (zh) 2022-06-14

Family

ID=75589888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110012673.9A Active CN112732718B (zh) 2021-01-06 2021-01-06 面向云边端的智能结构化数据方法、系统和介质

Country Status (1)

Country Link
CN (1) CN112732718B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115689277A (zh) * 2022-10-12 2023-02-03 北京思路智园科技有限公司 云边协同技术下的化工园区风险预警系统
CN116208970A (zh) * 2023-04-18 2023-06-02 山东科技大学 一种基于知识图谱感知的空地协作卸载和内容获取方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3425873A1 (en) * 2017-07-05 2019-01-09 Wipro Limited Method and system for processing data in an internet of things (iot) environment
CN109347924A (zh) * 2018-09-20 2019-02-15 西北大学 一种基于群智感知的推荐方法
CN110795595A (zh) * 2019-09-10 2020-02-14 安徽南瑞继远电网技术有限公司 基于边缘计算的视频结构化存储方法、装置、设备及介质
US20200160207A1 (en) * 2018-11-15 2020-05-21 General Electric Company Automated model update based on model deterioration
CN111402253A (zh) * 2020-04-03 2020-07-10 华东交通大学 融合边缘计算和深度学习的输变电设备状态在线监测方法
CN111639073A (zh) * 2020-04-30 2020-09-08 深圳精匠云创科技有限公司 边缘计算接入方法及边缘计算节点装置
US20200293914A1 (en) * 2019-03-12 2020-09-17 International Business Machines Corporation Natural language generation by an edge computing device
CN111932027A (zh) * 2020-08-28 2020-11-13 电子科技大学 一种融合边缘设施的云服务综合调度优化系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3425873A1 (en) * 2017-07-05 2019-01-09 Wipro Limited Method and system for processing data in an internet of things (iot) environment
CN109347924A (zh) * 2018-09-20 2019-02-15 西北大学 一种基于群智感知的推荐方法
US20200160207A1 (en) * 2018-11-15 2020-05-21 General Electric Company Automated model update based on model deterioration
US20200293914A1 (en) * 2019-03-12 2020-09-17 International Business Machines Corporation Natural language generation by an edge computing device
CN110795595A (zh) * 2019-09-10 2020-02-14 安徽南瑞继远电网技术有限公司 基于边缘计算的视频结构化存储方法、装置、设备及介质
CN111402253A (zh) * 2020-04-03 2020-07-10 华东交通大学 融合边缘计算和深度学习的输变电设备状态在线监测方法
CN111639073A (zh) * 2020-04-30 2020-09-08 深圳精匠云创科技有限公司 边缘计算接入方法及边缘计算节点装置
CN111932027A (zh) * 2020-08-28 2020-11-13 电子科技大学 一种融合边缘设施的云服务综合调度优化系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
施巍松等: "边缘计算:万物互联时代新型计算模型", 《计算机研究与发展》 *
杨绍光: "云边协同关键技术及应用场景研究", 《信息通信技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115689277A (zh) * 2022-10-12 2023-02-03 北京思路智园科技有限公司 云边协同技术下的化工园区风险预警系统
CN115689277B (zh) * 2022-10-12 2024-05-07 北京思路智园科技有限公司 云边协同技术下的化工园区风险预警系统
CN116208970A (zh) * 2023-04-18 2023-06-02 山东科技大学 一种基于知识图谱感知的空地协作卸载和内容获取方法

Also Published As

Publication number Publication date
CN112732718B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN112732718B (zh) 面向云边端的智能结构化数据方法、系统和介质
Zhang et al. New agent-based proactive migration method and system for big data environment (BDE)
Li et al. DeepNFV: A lightweight framework for intelligent edge network functions virtualization
WO2022001918A1 (zh) 构建预测模型的方法、装置、计算设备和存储介质
CN103279392B (zh) 一种云计算环境下虚拟机上运行的负载分类方法
CN109471847B (zh) 一种i/o拥塞控制方法及控制系统
CN113408087B (zh) 一种基于云边系统和视频智能分析的变电站巡视方法
CN110290077B (zh) 一种基于实时业务配置的工业sdn资源分配方法
CN116126488A (zh) 一种服务器无感知计算自适应资源调度方法、系统及计算机设备
WO2023124947A1 (zh) 一种任务处理方法、装置及相关设备
CN112817755A (zh) 基于目标追踪加速的边云协同深度学习目标检测方法
CN113961264B (zh) 一种面向视频监控云边协同的智能卸载算法与系统
US20240095529A1 (en) Neural Network Optimization Method and Apparatus
CN112925964A (zh) 基于云计算服务的大数据采集方法及大数据采集服务系统
CN114429298A (zh) 一种基于bp神经网络的pcb订单组批优化方法
CN106502842B (zh) 数据恢复方法及系统
CN113010296A (zh) 基于形式化模型的任务解析与资源分配方法及系统
WO2023165352A1 (zh) 一种业务对象的分类方法、装置、设备及存储介质
CN110119268B (zh) 基于人工智能的工作流优化方法
CN116915726A (zh) 一种面向分裂联邦学习的客户端选取方法和装置
CN116055495A (zh) 基于综合信任的边缘计算资源协同的方法
CN114035906A (zh) 虚拟机迁移方法、装置、电子设备及存储介质
CN112925831A (zh) 基于云计算服务的大数据挖掘方法及大数据挖掘服务系统
CN117750135B (zh) 一种视频传输的优化方法、装置、设备及介质
Huang et al. Research on the Methods of Data Mining based on the Edge Computing for the IoT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant