CN111800505A - 现场远程终端单元控制下的大数据采集与处理系统 - Google Patents

现场远程终端单元控制下的大数据采集与处理系统 Download PDF

Info

Publication number
CN111800505A
CN111800505A CN202010637683.7A CN202010637683A CN111800505A CN 111800505 A CN111800505 A CN 111800505A CN 202010637683 A CN202010637683 A CN 202010637683A CN 111800505 A CN111800505 A CN 111800505A
Authority
CN
China
Prior art keywords
data
processed
input
tasks
remote terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010637683.7A
Other languages
English (en)
Inventor
胡时英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010637683.7A priority Critical patent/CN111800505A/zh
Publication of CN111800505A publication Critical patent/CN111800505A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提出一种现场远程终端单元控制下的大数据采集与处理系统。所述系统包括布置于现场预定范围内的多个终端数据任务输入组件、与所述终端数据任务输入组件对应连结的数据属性分析单元、具备边缘计算能力的多个远程终端单元以及大数据反馈控制引擎.数据属性分析单元基于所述待处理数据任务的所述输入方式对其进行分组后分析出每组待处理数据任务的数据属性;所述大数据反馈控制系统连接所述数据属性分析单元与所述多个远程终端单元,基于所述数据属性分析单元分析出的所述数据属性以及所述多个远程终端单元的反馈性能值,将所述待处理数据任务进行分配控制。本发明的技术方案能够基于数据任务输入属性分配对应的任务处理方式。

Description

现场远程终端单元控制下的大数据采集与处理系统
技术领域
本发明属于大数据处理技术领域,尤其涉及一种现场远程终端单元控制下的大数据采集与处理。
背景技术
随着万物互联时代的到来,网络中的设备变得复杂多样,并且数量急剧增加。不可避免的,在网络中传输的数据量也在急剧增加。在云计算时代,所有的数据存储与计算均在云端服务器执行,这带来便利的同时也产生了很多需求,比如在面对大数据量的传输时,网络的带宽不足;在处理时效性较高的任务时,数据在网络的传输和云端的计算存在一定的延迟,实时性不足;存在云端的数据的安全性和隐私性问题。很多学者也在尝试缓解和解决这些问题做出了很多努力,对这些方面进行了广泛深入的讨论。在这种情况下,边缘计算应运而生。
边缘计算起源于传媒领域,是指在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的开放平台,就近提供最近端服务。其应用程序在边缘侧发起,产生更快的网络服务响应,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间,或处于物理实体的顶端。而云端计算,仍然可以访问边缘计算的历史数据。
申请号为CN201810952746.0的中国发明专利申请提出一种基于边缘计算的超大规模DPI数据的处理系统,包括:网关,具有DPI插件,进行DPI数据采集和边缘计算;云端服务器,对DPI数据进行存储并对边缘计算无法处理的信息进行处理;数据传输,连接网关和云端服务器,以对数据进行传输。本发明基于边缘计算的超大规模DPI数据的处理系统,网关进行数据采集、数据清洗、特别识别、上报信息提取等边缘计算,云端服务器对边缘计算无法处理的信息进行处理,充分发挥了网关边缘计算的算力,而且减少数据的上传量,减少了带宽的占用,提高了云端服务器的运算效率,从而提高了整体数据处理的效率,同时还减少了数据被窃取的风险,尤其是用户隐私数据,提高了安全性。
申请号为CN201910146350.1的中国发明专利申请提出增加设备端卸载模式及设备中继转发卸载模式,即基于D2D链路技术将计算任务卸载至临近计算资源充足设备或通过临近设备中继转发至边缘云端服务器进行计算卸载,这产生模式选择问题。设备端卸载模式与设备中继转发模式均会涉及节点匹配问题,考虑到设备间的相互关系对节点匹配的影响,增加社会关系来调节转发功率大小、计算资源分配等优化变量。此外,考虑到设备的移动性与系统长期性能,本发明引入时间相关的长期系统优化目标,构成动态优化问题,通过相关算法分析求解,实现IoT计算卸载性能的提升。
然而,现有的边缘计算技术并没有依据输入数据的类型不同,尤其是输入环境的不同给出不同的处理模式;此外,现有技术中的边缘计算并不具备反馈学习能力,从而导致在大数据模式下的任务处理效率无法提升,降低用户用户体验。
发明内容
为解决上述技术问题,本发明提出一种现场远程终端单元控制下的大数据采集与处理系统。所述系统包括布置于现场预定范围内的多个终端数据任务输入组件、与所述终端数据任务输入组件对应连结的数据属性分析单元、具备边缘计算能力的多个远程终端单元以及大数据反馈控制引擎.数据属性分析单元基于所述待处理数据任务的所述输入方式对其进行分组后分析出每组待处理数据任务的数据属性;所述大数据反馈控制系统连接所述数据属性分析单元与所述多个远程终端单元,基于所述数据属性分析单元分析出的所述数据属性以及所述多个远程终端单元的反馈性能值,将所述待处理数据任务进行分配控制。本发明的技术方案能够基于数据任务输入属性分配对应的任务处理方式,实现大数据背景下的数据任务高效处理。
具体来说,本发明的技术方案实现如下:
一种现场远程终端单元控制下的大数据采集与处理系统,所述系统包括布置于现场预定范围内的多个终端数据任务输入组件、与所述终端数据任务输入组件对应连结的数据属性分析单元、具备边缘计算能力的多个远程终端单元以及大数据反馈控制引擎;
作为本发明的第一个优点,所述布置于现场预定范围内的多个终端数据任务输入组件,用于采集并发输入的多个不同类型的待处理数据任务;所述多个不同类型的待处理数据任务的输入方式不同;
本发明技术方案尤其适用于多语言实时翻译沟通的大型商务交流现场,例如,广交会现场的实时大数据翻译请求处理,因此,本发明的技术方案在现场预定范围内布置多个终端数据任务输入组件,用于接收用户的并发翻译请求。
所述数据属性分析单元,用于接收所述终端数据任务输入组件采集的待处理数据任务,并基于所述待处理数据任务的所述输入方式对其进行分组后,分析出每组待处理数据任务的数据属性;所述数据属性包括所述待处理数据的数据大小和数据种类;
其中,所述系统还包括远程云数据处理中心,所述远程云数据处理中心连接所述大数据反馈控制系统;
所述大数据反馈控制系统连接所述数据属性分析单元与所述多个远程终端单元,基于所述数据属性分析单元分析出的所述数据属性以及所述多个远程终端单元的反馈性能值,将所述待处理数据任务进行分配控制,具体包括:
将所述待处理数据任务分配给所述多个远程终端单元,和/或,所述远程云数据处理中心。
所述终端数据任务输入组件还包括输入参数感知组件,所述输入参数感知组件用于感知所述待处理数据任务的输入参数,所述输入参数包括每一个所述待处理数据任务的输入开始时间、输入结束时间以及在所述输入开始时间和所述输入节点时间之间的变化参数;
所述变化参数包括修改、删除、退回、切换界面以及停顿操作之一或者其组合。
所述多个不同类型的待处理数据任务的输入方式不同,具体包括:
所述输入方式包括键盘输入、触摸输入、鼠标选择输入、语音输入之一或者其组合。
所述数据属性分析单元基于所述待处理数据任务的所述输入方式对其进行分组,具体包括:
将通过触摸输入和语音输入的所述待处理数据任务分为第一组。
所述第一组待处理数据任务的处理优先级别高于其他组。
所述多个远程终端单元的反馈性能值包括所述远程终端单元当前的剩余计算能力值以及完成前次待处理数据处理任务后的反馈参数。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的现场远程终端单元控制下的大数据采集与处理系统的整体框架图
图2是图1所述系统的终端数据输入组件的工作原理示意图
图3-5是图1所述系统的大数据采集与处理的整体流程示意图
具体实施方式
下面,结合附图以及具体实施方式,对发明做出进一步的描述。
参见图1,图1是本发明一个实施例的现场远程终端单元控制下的大数据采集与处理系统的整体框架图。
图1中,所述系统包括布置于现场预定范围内的多个终端数据任务输入组件、与所述终端数据任务输入组件对应连结的数据属性分析单元、具备边缘计算能力的多个远程终端单元以及大数据反馈控制引擎、远程云数据处理中心。
图1中还包括分组控制单元;
所述布置于现场预定范围内的多个终端数据任务输入组件,用于采集并发输入的多个不同类型的待处理数据任务;所述多个不同类型的待处理数据任务的输入方式不同;
所述数据属性分析单元,用于接收所述终端数据任务输入组件采集的待处理数据任务,并基于所述待处理数据任务的所述输入方式,利用所述分组控制单元对其进行分组后,分析出每组待处理数据任务的数据属性;所述数据属性包括所述待处理数据的数据大小和数据种类;
所述远程云数据处理中心连接所述大数据反馈控制系统;
所述大数据反馈控制系统连接所述数据属性分析单元与所述多个远程终端单元,基于所述数据属性分析单元分析出的所述数据属性以及所述多个远程终端单元的反馈性能值,将所述待处理数据任务进行分配控制。
所述多个远程终端单元的反馈性能值包括所述远程终端单元当前的剩余计算能力值以及完成前次待处理数据处理任务后的反馈参数。
在一个实例中,前次待处理数据处理任务要处理的数据集包含i个待翻译数据集,
其中,每个远程终端单元反馈的所述反馈性能值Hd按照如下方式计算:
Figure BDA0002570077920000061
其中,Ti为上一次该远程终端单元对于第i个待翻译数据集Xi的处理时间;Di为获取第i个待翻译数据集Xi的时延;Li为第i个数据集的大小;maxX为上一次处理的所有数据集{X1,X2,…,Xs}中最大的数据集的大小;i=1,2,……,s。
如果所述Hd小于预定值并且所述远程终端单元的当前的剩余计算能力低于预定阈值,则所述远程终端单元在预定时间段内不接受新的数据处理任务。
接下来参见图2,图2是图1所述系统的终端数据输入组件的工作原理示意图。
所述终端数据任务输入组件还包括输入参数感知组件,所述输入参数感知组件用于感知所述待处理数据任务的输入参数,所述输入参数包括每一个所述待处理数据任务的输入开始时间、输入结束时间以及在所述输入开始时间和所述输入节点时间之间的变化参数;
所述变化参数包括修改、删除、退回、切换界面以及停顿操作之一或者其组合。
所述多个不同类型的待处理数据任务的输入方式不同,具体包括:
所述输入方式包括键盘输入、触摸输入、鼠标选择输入、语音输入之一或者其组合。
图3-5是图1所述系统的大数据采集与处理的整体流程示意图。
图3中,将通过触摸输入和语音输入的所述待处理数据任务分为第一组。
所述第一组待处理数据任务的处理优先级别高于其他组。
所述数据属性分析单元基于所述待处理数据任务的所述输入方式对其进行分组,具体包括:
将输入参数包括变化参数的所述待处理数据任务分为第二组。
所述大数据反馈控制系统将所述待处理数据任务进行分配控制,具体包括:
判断所述第二组待处理数据任务的输入方式,如果所述输入方式为键盘输入,并且所述第二组待处理数据任务的数据大小超过第一预定值,则将所述第二组待处理数据任务发送至所述远程云数据处理中心。
所述大数据反馈控制系统将所述待处理数据任务进行分配控制,具体包括:
判断所述第二组待处理数据任务的输入方式,如果所述输入方式为键盘输入,并且所述第二组待处理数据任务的数据大小低于第二预定值,则将所述第二组待处理数据任务发送至所述多个远程终端单元中的至少一个。
所述大数据反馈控制系统将所述待处理数据任务进行分配控制,具体包括:
判断所述第二组待处理数据任务中是否存在至少一个待处理任务的输入参数的输入结束时间与输入输入开始时间的差值大于第三预定值,
如果存在,则将所述第二组待处理数据任务划分为第一子集和第二子集,其中所述第一子集中的待处理数据任务的输入参数中的输入结束时间与输入输入开始时间的差值大于第三预定值;
将所述第一子集中待处理数据任务发送给所述远程云数据处理中心;
将第二子集中的待处理数据任务发送至所述多个远程终端单元中的至少一个。
需要注意的是,图3-5所述的流程图仅仅示出了部分处理过程,并不是本申请技术方案的全部。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种现场远程终端单元控制下的大数据采集与处理系统,所述系统包括布置于现场预定范围内的多个终端数据任务输入组件、与所述终端数据任务输入组件对应连结的数据属性分析单元、具备边缘计算能力的多个远程终端单元以及大数据反馈控制引擎;
其特征在于:
所述布置于现场预定范围内的多个终端数据任务输入组件,用于采集并发输入的多个不同类型的待处理数据任务;所述多个不同类型的待处理数据任务的输入方式不同;
所述数据属性分析单元,用于接收所述终端数据任务输入组件采集的待处理数据任务,并基于所述待处理数据任务的所述输入方式对其进行分组后,分析出每组待处理数据任务的数据属性;所述数据属性包括所述待处理数据的数据大小和数据种类;
其中,所述系统还包括远程云数据处理中心,所述远程云数据处理中心连接所述大数据反馈控制系统;
所述大数据反馈控制系统连接所述数据属性分析单元与所述多个远程终端单元,基于所述数据属性分析单元分析出的所述数据属性以及所述多个远程终端单元的反馈性能值,将所述待处理数据任务进行分配控制,具体包括:
将所述待处理数据任务分配给所述多个远程终端单元,和/或,所述远程云数据处理中心。
2.如权利要求1所述的一种现场远程终端单元控制下的大数据采集与处理系统,其特征在于:
所述终端数据任务输入组件还包括输入参数感知组件,所述输入参数感知组件用于感知所述待处理数据任务的输入参数,所述输入参数包括每一个所述待处理数据任务的输入开始时间、输入结束时间以及在所述输入开始时间和所述输入节点时间之间的变化参数;
所述变化参数包括修改、删除、退回、切换界面以及停顿操作之一或者其组合。
3.如权利要求1所述的一种现场远程终端单元控制下的大数据采集与处理系统,其特征在于:
所述多个不同类型的待处理数据任务的输入方式不同,具体包括:
所述输入方式包括键盘输入、触摸输入、鼠标选择输入、语音输入之一或者其组合。
4.如权利要求3所述的一种现场远程终端单元控制下的大数据采集与处理系统,其特征在于:
所述数据属性分析单元基于所述待处理数据任务的所述输入方式对其进行分组,具体包括:
将通过触摸输入和语音输入的所述待处理数据任务分为第一组。
5.如权利要求4所述的一种现场远程终端单元控制下的大数据采集与处理系统,其特征在于:
所述第一组待处理数据任务的处理优先级别高于其他组。
6.如权利要求1所述的一种现场远程终端单元控制下的大数据采集与处理系统,其特征在于:
所述多个远程终端单元的反馈性能值包括所述远程终端单元当前的剩余计算能力值以及完成前次待处理数据处理任务后的反馈参数。
7.如权利要求2所述的一种现场远程终端单元控制下的大数据采集与处理系统,其特征在于:
所述数据属性分析单元基于所述待处理数据任务的所述输入方式对其进行分组,具体包括:
将输入参数包括变化参数的所述待处理数据任务分为第二组。
8.如权利要求7所述的一种现场远程终端单元控制下的大数据采集与处理系统,其特征在于:
所述大数据反馈控制系统将所述待处理数据任务进行分配控制,具体包括:
判断所述第二组待处理数据任务的输入方式,如果所述输入方式为键盘输入,并且所述第二组待处理数据任务的数据大小超过第一预定值,则将所述第二组待处理数据任务发送至所述远程云数据处理中心。
9.如权利要求7所述的一种现场远程终端单元控制下的大数据采集与处理系统,其特征在于:
所述大数据反馈控制系统将所述待处理数据任务进行分配控制,具体包括:
判断所述第二组待处理数据任务的输入方式,如果所述输入方式为键盘输入,并且所述第二组待处理数据任务的数据大小低于第二预定值,则将所述第二组待处理数据任务发送至所述多个远程终端单元中的至少一个。
10.如权利要求7所述的一种现场远程终端单元控制下的大数据采集与处理系统,其特征在于:
所述大数据反馈控制系统将所述待处理数据任务进行分配控制,具体包括:
判断所述第二组待处理数据任务中是否存在至少一个待处理任务的输入参数的输入结束时间与输入输入开始时间的差值大于第三预定值,
如果存在,则将所述第二组待处理数据任务划分为第一子集和第二子集,其中所述第一子集中的待处理数据任务的输入参数中的输入结束时间与输入输入开始时间的差值大于第三预定值;
将所述第一子集中待处理数据任务发送给所述远程云数据处理中心;将第二子集中的待处理数据任务发送至所述多个远程终端单元中的至少一个。
CN202010637683.7A 2020-07-05 2020-07-05 现场远程终端单元控制下的大数据采集与处理系统 Pending CN111800505A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010637683.7A CN111800505A (zh) 2020-07-05 2020-07-05 现场远程终端单元控制下的大数据采集与处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010637683.7A CN111800505A (zh) 2020-07-05 2020-07-05 现场远程终端单元控制下的大数据采集与处理系统

Publications (1)

Publication Number Publication Date
CN111800505A true CN111800505A (zh) 2020-10-20

Family

ID=72810241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010637683.7A Pending CN111800505A (zh) 2020-07-05 2020-07-05 现场远程终端单元控制下的大数据采集与处理系统

Country Status (1)

Country Link
CN (1) CN111800505A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112526945A (zh) * 2020-11-09 2021-03-19 福建福瑞康信息技术有限公司 具备反馈与闭环控制功能的全流程监控与预警系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629368A (zh) * 2018-03-28 2018-10-09 天津师范大学 一种基于联合深度融合的多模态地基云分类方法
CN109685391A (zh) * 2019-01-09 2019-04-26 郭磊 一种多模态融合的智能网络平台及其实现方法
CN111242227A (zh) * 2020-01-16 2020-06-05 天津师范大学 一种基于异构深度特征的多模态地基云识别方法
CN111753559A (zh) * 2020-06-28 2020-10-09 语联网(武汉)信息技术有限公司 一种多源输入方式下的大规模翻译语料任务处理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629368A (zh) * 2018-03-28 2018-10-09 天津师范大学 一种基于联合深度融合的多模态地基云分类方法
CN109685391A (zh) * 2019-01-09 2019-04-26 郭磊 一种多模态融合的智能网络平台及其实现方法
CN111242227A (zh) * 2020-01-16 2020-06-05 天津师范大学 一种基于异构深度特征的多模态地基云识别方法
CN111753559A (zh) * 2020-06-28 2020-10-09 语联网(武汉)信息技术有限公司 一种多源输入方式下的大规模翻译语料任务处理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112526945A (zh) * 2020-11-09 2021-03-19 福建福瑞康信息技术有限公司 具备反馈与闭环控制功能的全流程监控与预警系统

Similar Documents

Publication Publication Date Title
CN101977242A (zh) 一种分层分布式云计算体系结构及服务提供方法
CN109887098B (zh) 一种基于分布式计算的web AR数据呈现方式
CN111311326B (zh) 用户行为实时多维度分析方法、装置及存储介质
EP3321821B1 (en) Big data exchange method and device
CN110839084B (zh) 会话管理方法、装置、设备和介质
CN102684817A (zh) 一种基于数字喷泉码的云存储体系结构及服务提供方法
CN107612984B (zh) 一种基于互联网的大数据平台
CN104104702A (zh) 面向家庭物联网的云计算架构
CN112732802B (zh) 一种基于大数据的企业数据挖掘系统及方法
CN113568756B (zh) 一种密码资源协同动态调度方法和系统
CN111327677A (zh) 一种基于边缘计算的工业物联网资源调度系统及方法
Stepanov et al. Efficient algorithm for evaluating the required volume of resource in wireless communication systems under joint servicing of heterogeneous traffic for the internet of things
CN111800505A (zh) 现场远程终端单元控制下的大数据采集与处理系统
CN111858722A (zh) 一种基于物联网的大数据应用系统及方法
CN109348486B (zh) 一种异构无线网络资源分配方法
CN111510489A (zh) 一种基于人工智能的物联网数据的采集分析系统
KR102028342B1 (ko) 데이터 처리 솔루션을 활용한 실시간 금융 비즈니스 제공 및 의사결정 지원 시스템 및 방법
CN205540723U (zh) 一种基于云计算的信息检索系统
CN112799908B (zh) 基于边缘计算的智能终端安全监控方法、设备和介质
CN104822175B (zh) 一种适用于蜂窝网络的代码迁移方法及系统
Zhang et al. Processing geo-dispersed big data in an advanced mapreduce framework
CN113254480A (zh) 一种数据查询方法及装置
CN105162837A (zh) 海量数据存储环境下提升i/o吞吐率的方法及系统
CN112039936A (zh) 数据传输方法、第一数据处理设备及监控系统
CN114938376A (zh) 基于优先级处理数据的工业物联网及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination