CN113873025A - 数据处理方法及装置、存储介质及电子设备 - Google Patents

数据处理方法及装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113873025A
CN113873025A CN202111121408.0A CN202111121408A CN113873025A CN 113873025 A CN113873025 A CN 113873025A CN 202111121408 A CN202111121408 A CN 202111121408A CN 113873025 A CN113873025 A CN 113873025A
Authority
CN
China
Prior art keywords
server
edge
data
behavior data
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111121408.0A
Other languages
English (en)
Other versions
CN113873025B (zh
Inventor
郭会
李树尉
陈裕
张之则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202111121408.0A priority Critical patent/CN113873025B/zh
Publication of CN113873025A publication Critical patent/CN113873025A/zh
Application granted granted Critical
Publication of CN113873025B publication Critical patent/CN113873025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请提供了一种数据处理方法及装置、存储介质及电子设备，包括：在接收到云端服务器发送的云端指令时，获取终端设备的行为数据，云端指令为云端服务器在监测到终端设备处于空闲状态下所发送的指令，云端指令包括目标对应关系，目标对应关系为云端服务器预先存储的对应关系中与终端设备相匹配的对应关系，基于目标对应关系，确定与终端设备对应的边缘端服务器，将行为数据发送至边缘端服务器，以便于边缘端服务器对行为数据进行处理。本申请方案，终端设备产生的数据不再全部上传至云端服务器，而是将行为数据发送至边缘端服务器进行处理，从而减小终端设备产生的数据对云端服务器的存储资源和网络带宽的消耗，进而提高云端服务器的响应能力。

Description

数据处理方法及装置、存储介质及电子设备
技术领域
本申请涉及物联网技术领域，尤其涉及一种数据处理方法及装置、存储介质及电子设备。
背景技术
银行的各类数据处理中心(即云端服务器)，除处理和保存来自终端设备实时发送的交易数据外，还因营销、风控等原因，需处理和保存终端设备实时发送的交易之外的行为数据(如浏览记录等行为数据，监控等视频数据，购物等图像数据)。随着智能移动终端设备普及率不断提高，5G等新兴技术发展，视频、高清图像等数据导致银行需保存和处理的数据膨胀，造成云端服务器存储资源和网络带宽消耗较大。
发明内容
本申请提供了一种数据处理方法及装置、存储介质及电子设备，目的在于解决现有技术中实时将终端设备所产生的所有数据发送至云端服务器进行处理，导致云端服务器存储资源和网络带宽消耗较大的问题。
为了实现上述目的，本申请提供了以下技术方案：
一种数据处理方法，应用于终端设备，所述方法包括：
在接收到云端服务器发送的云端指令时，获取所述终端设备的行为数据；其中，所述云端指令为所述云端服务器在监测到所述终端设备处于空闲状态下所发送的指令，所述云端指令包括目标对应关系，所述目标对应关系为所述云端服务器预先存储的对应关系中与所述终端设备相匹配的对应关系；
基于所述目标对应关系，确定与所述终端设备对应的边缘端服务器；
将所述行为数据发送至所述边缘端服务器，以便于所述边缘端服务器对所述行为数据进行处理。
上述的方法，可选的，所述云端指令还包括目标替代关系，所述目标备份关系为所述云端服务器预先存储的替代关系中与所述终端设备相匹配的替代关系，所述将所述行为数据发送至所述边缘端服务器之后，还包括：
判断所述行为数据是否成功发送至所述边缘端服务器；
若所述行为数据未成功发送至所述边缘服务器，则基于目标替代关系，确定与所述终端设备对应的替代边缘端服务器；
将所述行为数据发送至所述替代边缘端服务器，以便于所述替代边缘端服务器对所述行为数据进行处理。
上述的方法，可选的，所述对应关系的存储过程，包括：
获取终端设备信息集合和边缘端服务器信息集合；所述终端设备信息集合包括多个终端设备的设备信息，每个终端设备的设备信息包括位置信息、交易数据和行为数据；所述边缘端服务器信息集合包括多个边缘端服务器的服务器信息，每个边缘端服务器的服务器信息包括位置信息和处理能力信息；
基于所述终端设备信息集合和所述边缘端服务器信息集合，构建四叉树；所述四叉树的每个叶子节点包括终端设备和/或至多一个边缘端服务器；
针对所述四叉树中的每个叶子节点，若所述叶子节点中包括边缘端服务器，按照执行顺序，依次对所述叶子节点包括的每个终端设备执行第一操作，所述执行顺序依据所述叶子节点包括的各个终端设备的交易数据确定，所述第一操作包括：判断所述边缘端服务器的剩余资源量是否大于所述终端设备的行为数据的数据量，若大于，则构建所述终端设备和所述边缘端服务器的对应关系，并对所述边缘端服务器的剩余资源量和所述终端设备的行为数据的数据量进行计算，得到新的剩余资源量，若不大于，则当邻居边缘端服务器的剩余资源量大于所述终端设备的行为数据的数据量时，构建所述终端设备和所述邻居边缘端服务器的对应关系；所述邻居边缘端服务器为所述叶子节点的邻居叶子节点包括的边缘端服务器；
针对所述四叉树中的每个叶子节点，若所述叶子节点中不包括边缘端服务器，则对于所述叶子节点包括的每个终端设备，当邻居边缘端服务器的剩余资源量大于所述终端设备的行为数据的数据量时，构建所述终端设备和所述邻居边缘端服务器的对应关系；
存储各个对应关系。
上述的方法，可选的，所述基于所述终端设备信息集合和所述边缘端服务器信息集合，构建四叉树，包括：
基于每个终端设备的位置信息和每个边缘端服务器的位置信息，确定覆盖所有终端设备和所有边缘端服务器的最小矩形空间；
对最小矩形空间进行切分，得到四个子区域，将各个子区域作为待构建四叉树的节点；
将所述待构建四叉树的每个节点作为目标节点；
针对每个目标节点，判断所述目标节点是否满足预设的停止切分条件，若所述目标节点满足所述停止切分条件，则将所述目标节点作为待构建四叉树的叶子节点，若所述目标节点不满足所述停止切分条件，则对所述目标节点进行切分，得到所述目标节点对应的子节点，将所述目标节点对应的每个子节点作为新的目标节点，并基于各个新的目标节点，返回执行所述针对每个目标节点，判断所述目标节点是否满足预设的停止切分条件的步骤；
基于各个目标节点和各个叶子节点，构建四叉树。
上述的方法，可选的，所述判断所述目标节点是否满足预设的停止切分条件，包括：
判断所述目标节点是否至多包括一个边缘端服务器；
若所述目标节点至多包括一个边缘端服务器，则确定出所述目标节点满足预设的停止切分条件；
若所述目标节至少包括两个边缘端服务器，则确定出所述目标节点不满足预设的停止切分条件。
上述的方法，可选的，所述替代关系的存储过程，包括：
针对每个边云端服务器，将所述边云端服务器的邻居边缘端服务器作为该边云端服务器的替代边云端服务器，并构建所述边云端服务与所述替代边缘端服务器的替代关系；
存储各个替代关系。
上述的方法，可选的，所述边缘端服务器对所述行为数据进行处理，包括：
基于预设的数据分类规则，对所述行为数据进行分类处理，得到分类结果；
对所述分类结果进行第二操作；所述第二操作包括：删除和/或保存和/或发送至所述云端服务器。
一种数据处理装置，应用于终端设备，所述装置包括：
获取单元，用于在接收到云端服务器发送的云端指令时，获取所述终端设备的行为数据；其中，所述云端指令为所述云端服务器在监测到所述终端设备处于空闲状态下所发送的指令，所述云端指令包括目标对应关系，所述目标对应关系为所述云端服务器预先存储的对应关系中与所述终端设备相匹配的对应关系；
第一确定单元，用于基于所述目标对应关系，确定与所述终端设备对应的边缘端服务器；
第一发送单元，用于将所述行为数据发送至所述边缘端服务器，以便于所述边缘端服务器对所述行为数据进行处理。
一种存储介质，所述存储介质存储有指令集，其中，所述指令集被处理器执行时实现如上述的数据处理方法。
一种电子设备，包括：
存储器，用于存储至少一组指令集；
处理器，用于执行所述存储器中存储的指令集，通过执行所述指令集实现如上述的数据处理方法。
与现有技术相比，本申请包括以下优点：
本申请提供了一种数据处理方法及装置、存储介质及电子设备，该方法包括：在接收到云端服务器发送的云端指令时，获取终端设备的行为数据，其中，云端指令为云端服务器在监测到终端设备处于空闲状态下所发送的指令，云端指令包括目标对应关系，目标对应关系为云端服务器预先存储的对应关系中与终端设备相匹配的对应关系，基于目标对应关系，确定与终端设备对应的边缘端服务器，将行为数据发送至边缘端服务器，以便于边缘端服务器对行为数据进行处理。可见，本申请方案，终端设备产生的数据不再全部上传至云端服务器，而是将行为数据发送至边缘端服务器进行处理，从而减小终端设备产生的数据对云端服务器的存储资源和网络带宽的消耗，进而提高云端服务器的响应能力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种数据处理系统的结构示意图；
图2为本申请提供的一种数据处理方法的方法流程图；
图3为本申请提供的一种数据处理方法的又一方法流程图；
图4为本申请提供的一种数据处理方法的又一方法流程图；
图5为本申请提供的一种数据处理方法的示例图；
图6为本申请提供的一种数据处理方法的又一示例图；
图7为本申请提供的一种数据处理方法的又一方法流程图；
图8为本申请提供的一种数据处理方法的又一示例图；
图9为本申请提供的一种数据处理方法的又一示例图；
图10为本申请提供的一种数据处理装置的结构示意图；
图11为本申请提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本申请公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本申请公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本申请可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本申请实施例提供了一种数据处理方法，该方法可以应用于数据处理系统，参阅图1，数据处理系统包括云端服务器C、至少一个边缘端服务器E和至少一个终端设备M，其中，Ei表示边缘端服务器，Mi表示终端设备。
本实施中，数据处理方法的执行主体为任意一个终端设备的处理器，参阅图2，数据处理方法的方法流程图如图2所示，具体包括：
S201、在接收到云端服务器发送的云端指令时，获取终端设备的行为数据。
本实施例中，终端设备实时将所产生的交易数据发送至云端服务器进行处理，并将所产生的行为数据进行临时存储，在接收到云端服务器发送的云端指令时，获取临时存储的行为数据。其中，行为数据包括但不限于产品选择过程、键入搜索关键词、停留时间、页面打开时间和社交分享数据。
本实施例中，云端指令为云端服务器在监测到终端设备处于空闲状态下所发送的指令，可选的，可以预先基于终端设备的交易时间段，确定终端设备的空闲时间段，基于终端设备的空闲时间段，在云端服务器进行定时设置，当定时时刻到达时，即认为监测到终端设备处于空闲状态；可选的，还可以通过监控脚本实现对终端设备进行监控。
本实施例中，云端指令包括目标对应关系，其中，目标对应关系为云端服务器预先存储的对应关系中与终端设备相匹配的对应关系。云端服务器所存储的每个对应关系包括终端设备的设备标识和边缘端服务器的边缘端标识。
参阅图3，对应关系的存储过程，具体包括以下步骤：
S301、获取终端设备信息集合和边缘端服务器信息集合。
本实施例中，云端服务器获取终端设备信息集合和边缘端服务器信息集合，其中，终端设备信息集合包括多个终端设备的设备信息，每个终端设备的设备信息包括位置信息、交易信息和行为数据，其中，位置信息包括但不限于经纬度，交易信息包括但不限于交易对手、频度、金额、类型和交易发生地，行为数据包括但不限于产品选择过程、键入搜索关键词、停留时间、页面打开时间和社交分享数据；边缘端服务器信息集合包括多个边缘端服务器的服务器信息，每个边缘端服务器的服务器信息包括位置信息和处理能力信息，其中，处理能力信息包括但不限于存储大小、计算资源和网络带宽。
具体的，每个终端设备向云端服务器发送设备信息，每个边缘端服务器向云端服务器发送服务器信息，云端服务器获取每个终端设备的设备信息、从而集合各个终端设备的设备信息构建终端设备信息集合，以及获取每个边缘端服务器的服务器信息，基于各个边云端服务器的服务器信息，构建边缘端服务器信息集合。
可选的，可以以Mi表示数据处理系统的第i终端，1≤i≤nM，nM表示终端总数。MALL表示所有的终端集合，
Figure BDA0003277154330000071
以某银行为例，其共有终端设备10亿个(如手机银行客户端所在的手机，网上银行使用的电脑终端)，则nM＝10亿。每个终端设备具有位置信息LMi，在客户进行交易过程中产生交易数据TMi，同时还有行为数据BMi。
可选的，可以以Ei表示数据处理系统的第j终端，1≤j≤nE，nE表示终端总数。EALL表示所有的终端集合，
Figure BDA0003277154330000072
以某银行为例，其共有移动终端3万个网点，则nE＝3万。每个边云端服务器具有位置信息LEj，处理能力信息AEj。
S302、基于终端设备信息集合和边缘端服务器信息集合，构建四叉树。
本实施例中，基于终端设备信息集合和边缘端服务器信息集合，构建四叉树，四叉树的每个叶子节点包括终端设备和/或至多一个边缘端服务器，也就是说，四叉树的每个叶子节点要么不包括边缘端服务器，要么包括一个边缘端服务器。
参阅图4，基于终端设备信息集合和边缘端服务器信息集合，构建四叉树的过程，具体包括以下步骤：
S401、基于每个终端设备的位置信息和每个边缘端服务器的位置信息，确定覆盖所有终端设备和所有边缘端服务器的最小矩形空间。
本实施例中，基于数据处理系统包括的每个终端设备的位置信息和每个边缘端服务器的位置信息，确定覆盖所有终端设备和所有边缘端服务器的最小矩形空间，如图5所示，也就是确定覆盖{LM1,LM2,...LMi}和{LE1,LE2,...LEj}的最小矩形R。
S402、对最小矩形空间进行切分，得到四个子区域，将各个子区域作为待构建四叉树的节点。
本实施例中，将最小矩形空间进行切分，得到四个子区域，将各个子区域作为待构建四叉树的节点，也就是作为四叉树中根节点往下的第一层节点。可选的，可以是将最小矩形空间均匀切分成四等份。
例如，参阅图6，将如图6(1)所示的矩形R，切分成如图6(2)所示的子区域R1、子区域R2、子区域R3和子区域R4。
S403、将待构建四叉树的每个节点作为目标节点。
本实施例中，将待构建四叉树的每个节点作为目标节点。
S404、针对每个目标节点，判断目标节点是否满足预设的停止切分条件，若是，执行S405，若否，执行S406。
本实施例中，依次判断每个目标节点是否满足预设的停止切分条件，具体的，参数图7，判断目标节点是否满足预设的停止切分条件的过程，包括以下步骤：
S701、判断目标节点是否至多包括一个边缘端服务器，若是，执行步骤S702，若否，执行S703。
S702、确定出目标节点满足预设的停止切分条件。
本实施例中，若目标节点至多包括一个边缘端服务器，则确定出目标节点满足预设的停止切分条件。
S703、确定出目标节点不满足预设的停止切分条件。
本实施例中，若目标节点至少包括两个边缘端服务器，则确定出目标节点不满足预设的停止切分条件。
S405、将目标节点作为待构建四叉树的叶子节点。
本实施例中，针对每个目标节点，若目标节点满足预设的停止切分条件，则将目标节点作为待构建四叉树的叶子节点，也就是停止对该目标叶子节点的切分。如图6(2)至图6(3)所示，子区域R2、R3和R4均满足停止切分条件，因此，不再对R2、R3和R4进行切分。
S406、对目标节点进行切分，得到目标节点对应的子节点。
本实施例中，针对每个目标节点，若目标节点不满足预设的停止切分条件，则继续对目标节点进行切分，可选的，可以将目标节点对应的子区域切分为均匀的四等份，从而得到目标节点对应的子节点，如图6(2)至图6(3)所示，子区域R1不满足预设的停止切分条件，则继续对R1切分为R11、R12、R13和R14。
S407、将目标节点对应的每个子节点作为新的目标节点，并基于各个新的目标节点，返回执行步骤S404。
本实施例中，将目标节点对应的每个子节点作为新的目标节点，并基于各个新的目标节点，返回执行步骤S404，也就是对每个新的目标节点，判断该目标节点是否满足停止切分条件，若满足，如停止对目标节点的切分，并将目标节点作为待构建四叉树的叶子节点，若不满足，则继续对目标节点进行切分。如图6(3)至图6(4)，R11、R13和R14满足停止切分条件，所以停止对R11、R13和R14的切分，R12因为不满足停止切分条件，则继续将R12切分为R121、R122、R123和R124，在切分之后，又因为R121、R122、R123和R124均满足停止切分条件，所以，停止对R121、R122、R123和R124的切分。
S408、基于各个目标节点和各个叶子节点，构建四叉树。
本实施例中，基于各个目标节点和各个叶子节点，构建四叉树，其中，将第一次切分得到的目标节点构建四叉树的根节点往下的第一层节点，将第二次切分得到的目标节点作为所属节点的下一层节点，以此类推，完成对四叉树的构建，例如，图6对应的四叉树如图8所示。
S303、针对四叉树中的每个叶子节点，判断该叶子节点中是否包括边缘端服务器，若是，执行S304，若否，执行S305。
本实施例中，针对四叉树中的每个叶子节点，判断该叶子节点中是否包括边缘端服务器，也就是判断每个叶子节点对应的区域是否包括边缘端服务器。
S304、按照调用顺序，依次对叶子节点包括的每个终端设备执行第一操作。
本实施例中，每个终端设备Mi位于四叉树的每个叶子节点对应的区域Rk内，Rk内最多有一个边缘端服务器Ej，可选的，可以以全局变量S＝{S1,S2...},记录每个终端Mi所分配的边缘服务器编号。可以以全局变量A＝{A1,A2...}，记录每个边缘端服务器的剩余资源量，可选的，每个边缘端服务器的初始剩余资源量可以为该边缘端服务器的处理能力的一半。
本实施例中，针对四叉树中的每个叶子节点，若该叶子节点对应的区域包括边缘端服务器，则按照执行顺序，依次对叶子节点包括的每个终端设备执行第一操作，其中，执行顺序依据各个终端设备的交易数据确定，可选的，交易相关性越大，总交易量越多，执行顺序越靠前，其中，交易相关性指基于终端设备的交易数据与该边缘端服务器关联程度确定，终端设备的交易数据与该边缘端服务器的关联包括TMi(如交易对手、频度、金额、类型、交易发生地等数据)与Ej相关(如办理业务的交易、交易双方的开户地在等)、或近期Mi与Ej进行了对应、或Mi与Ej已分配终端存在高频交易等。
本实施例中，第一操作包括：判断边缘端服务器的剩余资源量是否大于终端设备的行为数据的数据量，若大于，则构建终端设备和边缘端服务器的对应关系，也就是将该终端设备分配至边缘端服务器，并对边缘端服务器的剩余资源量和终端设备的行为数据的数据量进行计算，得到新的剩余资源量，具体的，新的剩余资源量等于剩余资源量Aj减去终端设备的行为数据的数据量BMi，若不大于，则判断邻居边缘端服务器的剩余资源量是否大于该终端设备的行为数据的数据量，若邻居边缘端服务器的剩余资源量大于该终端设备的行为数据的数据量，则构建终端设备和邻居边缘端服务器的对应关系，也就是，将终端设备分配至邻居边缘端服务器，并对邻居边缘端服务器的剩余资源量和该终端设备的行为数据的数据量进行计算，得到该邻居边缘端服务器的新的剩余资源量，若邻居边缘端服务器的剩余资源量不大于该终端设备的行为数据的数据量，则继续遍历该邻居边云端服务器的邻居边缘端服务器，该其剩余资源量是否大于该终端服务器的行为数据的数据量，直至完成对该终端设备的分配；其中，邻居边缘端服务器为叶子节点的邻居叶子节点包括的边缘端服务器。
S305、对于叶子节点包括的每个终端设备，当邻居边缘端服务器的剩余资源量大于终端设备的行为数据的数据量时，构建终端设备和邻居边缘端服务器的对应关系。
本实施例中，对于叶子节点包括的每个终端设备，判断邻居边缘端服务器的剩余资源量是否大于终端设备的行为数据的数据量，若大于，则构建终端设备和邻居边缘端服务器的对应关系，也就是，将终端设备分配至邻居边缘端服务器，并对邻居边缘端服务器的剩余资源量和该终端设备的行为数据的数据量进行计算，得到该邻居边缘端服务器的新的剩余资源量，若邻居边缘端服务器的剩余资源量不大于该终端设备的行为数据的数据量，则继续遍历该邻居边云端服务器的邻居边缘端服务器，该其剩余资源量是否大于该终端服务器的行为数据的数据量，直至完成对该终端设备的分配。
S306、存储各个对应关系。
本实施例中，在完成对所有的终端设备的分配后，可以通过S＝{S1,S2...},记录每个终端Mi所分配的边缘服务器编号，例如，终端设备M1分配给了边云端服务器E2，则S1＝2，参阅图9，图9为对图5中包括的各个终端设备分配至边云端服务器的示意图，图9中，终端设备M1、M2、M4和M5被分配至边云端服务器E1，终端设备M3、M11和M12被分配至边云端服务器E2，终端设备M6、M7、M8、M9和Mi被分配至边云端服务器Ej。
存储所有的对应关系，可选的，可以将各个对应关系存储的预设的数据库中。
S202、基于目标对应关系，确定与终端设备对应的边缘端服务器。
本实施例中，终端设备基于云端服务器下发的目标对应关系，确定与自身对应的边缘端服务器。具体的，基于目标对应关系中的边云端服务器的边云端标识，确定与该边缘端标识对应的边云端服务器。
S203、将行为数据发送至边缘端服务器，以便于边缘端服务器对行为数据进行处理。
本实施例中，将行为数据发送至边云端服务器。
本实施例中，边云端服务器在成功接收到终端设备发送的行为数据后，对该行为数据进行处理，具体的处理过程包括：
基于预设的数据分类规则，对行为数据进行处理，得到处理结果；
对处理结果进行第二操作；第二操作包括：删除和/或保存和/或发送至云端服务器。
本实施例中，边云端服务器在成功接收到终端设备发送的行为数据后，按预设的数据分类规则，对行为数据进行分类处理，得到分类结果，具体的，可以将行为数据分为本地化数据和/或临时保存数据和/或永久保存数据，对于本地化数据，对该数据进行处理后进行删除，对于临时保存数据，将数据临时保存至边云端服务器中，对于永久保存数据，对数据进行处理后发送至云端服务器进行存储。
S204、判断行为数据是否成功发送至边缘端服务器，若是，直接结束，若否，执行S205。
S205、基于目标替代关系，确定与终端设备对应的替代边缘端服务器，并将行为数据发送至替代边缘端服务器，以便于替代边缘端服务器对行为数据进行处理。
本实施例中，云端指令还包括目标替代关系，目标备份关系为云端服务器预先存储的替代关系中与终端设备相匹配的替代关系。
本实施例中，云端服务器存储替代关系的过程，具体包括以下步骤：
针对每个边云端服务器，边云端服务器的邻居边缘端服务器作为该边云端服务器的替代边云端服务器，并构建边云端服务与替代边缘端服务器的替代关系；
存储各个替代关系。
本实施例中，针对每个边云端服务器，将邻居边缘端服务器作为该边云端服务器的替代边云端服务器，构建该便于边云端服务器与替代边云端服务器的替代关系，例如，同样参阅与8，将边云端服务器E2作为边云端服务器E1的替代边云端服务器。
本实施例中，存储各个替代关系，可选的，可以将各个替代关系存储至数据库中。
本实施例中，基于目标替代关系，确定与终端设备对应的替代边缘端服务器，并将行为数据发送至替代边云端服务器。
本实施例中，替代边云端服务器在成功接收到终端设备发送的行为数据后，按预设的数据分类规则，对行为数据进行分类处理，得到分类结果，具体的，可以将行为数据分为本地化数据和/或临时保存数据和/或永久保存数据，对于本地化数据，对该数据进行处理后进行删除，对于临时保存数据，将数据临时保存至替代边云端服务器中，对于永久保存数据，对数据进行处理后发送至云端服务器进行存储。
本申请实施例提供的数据处理方法中，在接收到云端服务器发送的云端指令时，获取终端设备的行为数据，其中，云端指令为云端服务器在监测到终端设备处于空闲状态下所发送的指令，云端指令包括目标对应关系，目标对应关系为云端服务器预先存储的对应关系中与终端设备相匹配的对应关系，基于目标对应关系，确定与终端设备对应的边缘端服务器，将行为数据发送至边缘端服务器，以便于边缘端服务器对行为数据进行处理。可见，本申请方案，终端设备产生的数据不再全部上传至云端服务器，而是将行为数据发送至边缘端服务器进行处理，从而减小终端设备产生的数据对云端服务器的存储资源和网络带宽的消耗，进而提高云端服务器的响应能力，并且，云端服务器是在终端设备处于空闲状态下才发送云端指令，实现对闲置终端设备的充分利用，提高终端设备的资源利用率。
需要说明的是，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本申请公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请公开的范围在此方面不受限制。
与图1所述的方法相对应，本申请实施例还提供了一种数据处理装置，用于对图1中方法的具体实现，其结构示意图如图10所示，具体包括：
获取单元1001，用于在接收到云端服务器发送的云端指令时，获取所述终端设备的行为数据；其中，所述云端指令为所述云端服务器在监测到所述终端设备处于空闲状态下所发送的指令，所述云端指令包括目标对应关系，所述目标对应关系为所述云端服务器预先存储的对应关系中与所述终端设备相匹配的对应关系；
第一确定单元1002，用于基于所述目标对应关系，确定与所述终端设备对应的边缘端服务器；
第一发送单元1003，用于将所述行为数据发送至所述边缘端服务器，以便于所述边缘端服务器对所述行为数据进行处理。
本申请实施例提供的数据处理装置，终端设备产生的数据不再全部上传至云端服务器，而是将行为数据发送至边缘端服务器进行处理，从而减小终端设备产生的数据对云端服务器的存储资源和网络带宽的消耗，进而提高云端服务器的响应能力，并且，云端服务器是在终端设备处于空闲状态下才发送云端指令，实现对闲置终端设备的充分利用，提高终端设备的资源利用率。
在本申请的一个实施例中，基于前述方案，云端指令还包括目标替代关系，所述目标备份关系为所述云端服务器预先存储的替代关系中与所述终端设备相匹配的替代关系，还可以配置为：
判断单元，用于判断所述行为数据是否成功发送至所述边缘端服务器；
第二确定单元，用于若所述行为数据未成功发送至所述边缘服务器，则基于目标替代关系，确定与所述终端设备对应的替代边缘端服务器；
第二发送单元，用于将所述行为数据发送至所述替代边缘端服务器，以便于所述替代边缘端服务器对所述行为数据进行处理。
在本申请的一个实施例中，基于前述方案，获取单元1001用于对应关系的存储过程，包括获取单元1001具体用于：
获取终端设备信息集合和边缘端服务器信息集合；所述终端设备信息集合包括多个终端设备的设备信息，每个终端设备的设备信息包括位置信息、交易数据和行为数据；所述边缘端服务器信息集合包括多个边缘端服务器的服务器信息，每个边缘端服务器的服务器信息包括位置信息和处理能力信息；
基于所述终端设备信息集合和所述边缘端服务器信息集合，构建四叉树；所述四叉树的每个叶子节点包括终端设备和/或至多一个边缘端服务器；
针对所述四叉树中的每个叶子节点，若所述叶子节点中包括边缘端服务器，按照执行顺序，依次对所述叶子节点包括的每个终端设备执行第一操作，所述执行顺序依据所述叶子节点包括的各个终端设备的交易数据确定，所述第一操作包括：判断所述边缘端服务器的剩余资源量是否大于所述终端设备的行为数据的数据量，若大于，则构建所述终端设备和所述边缘端服务器的对应关系，并对所述边缘端服务器的剩余资源量和所述终端设备的行为数据的数据量进行计算，得到新的剩余资源量，若不大于，则当邻居边缘端服务器的剩余资源量大于所述终端设备的行为数据的数据量时，构建所述终端设备和所述邻居边缘端服务器的对应关系；所述邻居边缘端服务器为所述叶子节点的邻居叶子节点包括的边缘端服务器；
针对所述四叉树中的每个叶子节点，若所述叶子节点中不包括边缘端服务器，则对于所述叶子节点包括的每个终端设备，当邻居边缘端服务器的剩余资源量大于所述终端设备的行为数据的数据量时，构建所述终端设备和所述邻居边缘端服务器的对应关系；
存储各个对应关系。
在本申请的一个实施例中，基于前述方案，获取单元1001用于基于所述终端设备信息集合和所述边缘端服务器信息集合，构建四叉树，包括获取单元1001具体用于：
基于每个终端设备的位置信息和每个边缘端服务器的位置信息，确定覆盖所有终端设备和所有边缘端服务器的最小矩形空间；
对最小矩形空间进行切分，得到四个子区域，将各个子区域作为待构建四叉树的节点；
将所述待构建四叉树的每个节点作为目标节点；
针对每个目标节点，判断所述目标节点是否满足预设的停止切分条件，若所述目标节点满足所述停止切分条件，则将所述目标节点作为待构建四叉树的叶子节点，若所述目标节点不满足所述停止切分条件，则对所述目标节点进行切分，得到所述目标节点对应的子节点，将所述目标节点对应的每个子节点作为新的目标节点，并基于各个新的目标节点，返回执行所述针对每个目标节点，判断所述目标节点是否满足预设的停止切分条件的步骤；
基于各个目标节点和各个叶子节点，构建四叉树。
在本申请的一个实施例中，基于前述方案，获取单元1001用于判断所述目标节点是否满足预设的停止切分条件，包括获取单元1001具体用于：
判断所述目标节点是否至多包括一个边缘端服务器；
若所述目标节点至多包括一个边缘端服务器，则确定出所述目标节点满足预设的停止切分条件；
若所述目标节至少包括两个边缘端服务器，则确定出所述目标节点不满足预设的停止切分条件。
在本申请的一个实施例中，基于前述方案，获取单元1001用于替代关系的存储过程，包括获取单元1001具体用于：
针对每个边云端服务器，将所述边云端服务器的邻居边缘端服务器作为该边云端服务器的替代边云端服务器，并构建所述边云端服务与所述替代边缘端服务器的替代关系；
存储各个替代关系。
在本申请的一个实施例中，基于前述方案，第一发送单元1003用于边缘端服务器对所述行为数据进行处理，包括第一发送单元1003具体用于：
基于预设的数据分类规则，对所述行为数据进行分类处理，得到分类结果；
对所述分类结果进行第二操作；所述第二操作包括：删除和/或保存和/或发送至所述云端服务器。
本申请实施例还提供了一种存储介质，所述存储介质存储有指令集，其中，在所述指令集运行时执行如上文任一实施例公开的数据处理方法。
本申请实施例还提供了一种电子设备，其结构示意图如图11所示，具体包括存储器1101，用于存储至少一组指令集；处理器1102，用于执行所述存储器中存储的指令集，通过执行所述指令集实现如上文任一实施例公开的数据处理方法。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上描述仅为本申请公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种数据处理方法，其特征在于，应用于终端设备，所述方法包括：
在接收到云端服务器发送的云端指令时，获取所述终端设备的行为数据；其中，所述云端指令为所述云端服务器在监测到所述终端设备处于空闲状态下所发送的指令，所述云端指令包括目标对应关系，所述目标对应关系为所述云端服务器预先存储的对应关系中与所述终端设备相匹配的对应关系；
基于所述目标对应关系，确定与所述终端设备对应的边缘端服务器；
将所述行为数据发送至所述边缘端服务器，以便于所述边缘端服务器对所述行为数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述云端指令还包括目标替代关系，所述目标备份关系为所述云端服务器预先存储的替代关系中与所述终端设备相匹配的替代关系，所述将所述行为数据发送至所述边缘端服务器之后，还包括：
判断所述行为数据是否成功发送至所述边缘端服务器；
若所述行为数据未成功发送至所述边缘服务器，则基于目标替代关系，确定与所述终端设备对应的替代边缘端服务器；
将所述行为数据发送至所述替代边缘端服务器，以便于所述替代边缘端服务器对所述行为数据进行处理。
3.根据权利要求2所述的方法，其特征在于，所述对应关系的存储过程，包括：
获取终端设备信息集合和边缘端服务器信息集合；所述终端设备信息集合包括多个终端设备的设备信息，每个终端设备的设备信息包括位置信息、交易数据和行为数据；所述边缘端服务器信息集合包括多个边缘端服务器的服务器信息，每个边缘端服务器的服务器信息包括位置信息和处理能力信息；
基于所述终端设备信息集合和所述边缘端服务器信息集合，构建四叉树；所述四叉树的每个叶子节点包括终端设备和/或至多一个边缘端服务器；
针对所述四叉树中的每个叶子节点，若所述叶子节点中包括边缘端服务器，按照执行顺序，依次对所述叶子节点包括的每个终端设备执行第一操作，所述执行顺序依据所述叶子节点包括的各个终端设备的交易数据确定，所述第一操作包括：判断所述边缘端服务器的剩余资源量是否大于所述终端设备的行为数据的数据量，若大于，则构建所述终端设备和所述边缘端服务器的对应关系，并对所述边缘端服务器的剩余资源量和所述终端设备的行为数据的数据量进行计算，得到新的剩余资源量，若不大于，则当邻居边缘端服务器的剩余资源量大于所述终端设备的行为数据的数据量时，构建所述终端设备和所述邻居边缘端服务器的对应关系；所述邻居边缘端服务器为所述叶子节点的邻居叶子节点包括的边缘端服务器；
针对所述四叉树中的每个叶子节点，若所述叶子节点中不包括边缘端服务器，则对于所述叶子节点包括的每个终端设备，当邻居边缘端服务器的剩余资源量大于所述终端设备的行为数据的数据量时，构建所述终端设备和所述邻居边缘端服务器的对应关系；
存储各个对应关系。
4.根据权利要求3所述的方法，其特征在于，所述基于所述终端设备信息集合和所述边缘端服务器信息集合，构建四叉树，包括：
基于每个终端设备的位置信息和每个边缘端服务器的位置信息，确定覆盖所有终端设备和所有边缘端服务器的最小矩形空间；
对最小矩形空间进行切分，得到四个子区域，将各个子区域作为待构建四叉树的节点；
将所述待构建四叉树的每个节点作为目标节点；
针对每个目标节点，判断所述目标节点是否满足预设的停止切分条件，若所述目标节点满足所述停止切分条件，则将所述目标节点作为待构建四叉树的叶子节点，若所述目标节点不满足所述停止切分条件，则对所述目标节点进行切分，得到所述目标节点对应的子节点，将所述目标节点对应的每个子节点作为新的目标节点，并基于各个新的目标节点，返回执行所述针对每个目标节点，判断所述目标节点是否满足预设的停止切分条件的步骤；
基于各个目标节点和各个叶子节点，构建四叉树。
5.根据权利要求4所述的方法，其特征在于，所述判断所述目标节点是否满足预设的停止切分条件，包括：
判断所述目标节点是否至多包括一个边缘端服务器；
若所述目标节点至多包括一个边缘端服务器，则确定出所述目标节点满足预设的停止切分条件；
若所述目标节至少包括两个边缘端服务器，则确定出所述目标节点不满足预设的停止切分条件。
6.根据权利要求5所述的方法，其特征在于，所述替代关系的存储过程，包括：
针对每个边云端服务器，将所述边云端服务器的邻居边缘端服务器作为该边云端服务器的替代边云端服务器，并构建所述边云端服务与所述替代边缘端服务器的替代关系；
存储各个替代关系。
7.根据权利要求1所述的方法，其特征在于，所述边缘端服务器对所述行为数据进行处理，包括：
基于预设的数据分类规则，对所述行为数据进行分类处理，得到分类结果；
对所述分类结果进行第二操作；所述第二操作包括：删除和/或保存和/或发送至所述云端服务器。
8.一种数据处理装置，其特征在于，应用于终端设备，所述装置包括：
获取单元，用于在接收到云端服务器发送的云端指令时，获取所述终端设备的行为数据；其中，所述云端指令为所述云端服务器在监测到所述终端设备处于空闲状态下所发送的指令，所述云端指令包括目标对应关系，所述目标对应关系为所述云端服务器预先存储的对应关系中与所述终端设备相匹配的对应关系；
第一确定单元，用于基于所述目标对应关系，确定与所述终端设备对应的边缘端服务器；
第一发送单元，用于将所述行为数据发送至所述边缘端服务器，以便于所述边缘端服务器对所述行为数据进行处理。
9.一种存储介质，其特征在于，所述存储介质存储有指令集，其中，所述指令集被处理器执行时实现如权利要求1～7任意一项所述的数据处理方法。
10.一种电子设备，其特征在于，包括：
存储器，用于存储至少一组指令集；
处理器，用于执行所述存储器中存储的指令集，通过执行所述指令集实现如权利要求1～7任意一项所述的数据处理方法。
CN202111121408.0A 2021-09-24 2021-09-24 数据处理方法及装置、存储介质及电子设备 Active CN113873025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111121408.0A CN113873025B (zh) 2021-09-24 2021-09-24 数据处理方法及装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111121408.0A CN113873025B (zh) 2021-09-24 2021-09-24 数据处理方法及装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113873025A true CN113873025A (zh) 2021-12-31
CN113873025B CN113873025B (zh) 2023-12-08

Family

ID=78993778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111121408.0A Active CN113873025B (zh) 2021-09-24 2021-09-24 数据处理方法及装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113873025B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086317A (zh) * 2022-06-13 2022-09-20 国网北京市电力公司 电缆监测方法、装置、非易失性存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109640319A (zh) * 2019-01-16 2019-04-16 腾讯科技（深圳）有限公司 基于接入信息的调度方法、装置及电子设备
CN110336885A (zh) * 2019-07-10 2019-10-15 深圳市网心科技有限公司 边缘节点分配方法、装置、调度服务器及存储介质
CN110557419A (zh) * 2018-06-01 2019-12-10 杭州海康威视数字技术股份有限公司 一种任务处理方法、装置及云计算系统
CN113125675A (zh) * 2021-04-19 2021-07-16 北京物资学院 边缘计算架构的堆场煤炭自燃预警装置和预警方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557419A (zh) * 2018-06-01 2019-12-10 杭州海康威视数字技术股份有限公司 一种任务处理方法、装置及云计算系统
CN109640319A (zh) * 2019-01-16 2019-04-16 腾讯科技（深圳）有限公司 基于接入信息的调度方法、装置及电子设备
CN110336885A (zh) * 2019-07-10 2019-10-15 深圳市网心科技有限公司 边缘节点分配方法、装置、调度服务器及存储介质
CN113125675A (zh) * 2021-04-19 2021-07-16 北京物资学院 边缘计算架构的堆场煤炭自燃预警装置和预警方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086317A (zh) * 2022-06-13 2022-09-20 国网北京市电力公司 电缆监测方法、装置、非易失性存储介质及电子设备

Also Published As

Publication number Publication date
CN113873025B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN111340237B (zh) 数据处理和模型运行方法、装置和计算机设备
CN110874440B (zh) 一种信息推送及其模型训练的方法、装置及电子设备
CN111738357B (zh) 垃圾图片的识别方法、装置及设备
US10282636B2 (en) System, method, and recording medium for efficient cohesive subgraph identification in entity collections for inlier and outlier detection
CN110321448B (zh) 一种图像检索方法、装置和存储介质
CN111046237B (zh) 用户行为数据处理方法、装置、电子设备及可读介质
CN110555164B (zh) 群体兴趣标签的生成方法、装置、计算机设备和存储介质
CN110287201A (zh) 数据访问方法、装置、设备及存储介质
US20220300822A1 (en) Forgetting data samples from pretrained neural network models
US20230069999A1 (en) Method and apparatus for updating recommendation model, computer device and storage medium
CN113873025B (zh) 数据处理方法及装置、存储介质及电子设备
CN113674152A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108564155A (zh) 智能卡定制方法、装置及服务器
CN114897666B (zh) 图数据存储、访问、处理方法、训练方法、设备及介质
US10970341B2 (en) Predictive modeling in event processing systems for big data processing in cloud
CN115905608A (zh) 图像特征获取方法、装置、计算机设备、存储介质
CN112818235B (zh) 基于关联特征的违规用户识别方法、装置和计算机设备
CN113297436A (zh) 基于关系图网络的用户策略分配方法、装置及电子设备
CN114168589A (zh) 索引构建方法及装置
CN111860655A (zh) 用户的处理方法、装置和设备
CN115759233B (zh) 模型的训练方法、图数据处理方法、装置及电子设备
CN111104528A (zh) 图片获取方法、装置及客户端
CN111046307B (zh) 用于输出信息的方法和装置
Padmavathi et al. An Analytical Study of Big Data Clustering Algorithms and its Challenges
CN113268634A (zh) 一种视频数据关联方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant