CN110247977B - 一种基于边缘计算的数据融合的方法和系统 - Google Patents

Abstract

本公开提供了一种基于边缘计算的数据融合的方法和系统，该方法包括：接收中心服务器发送的数据处理任务，根据数据处理任务对获取到的数据进行处理，将处理后的数据发送至中心服务器，以便中心服务器对处理后的数据进行融合，通过本公开实施例的技术方案，相较于现有技术中由中心服务器统一进行处理的方式，由于本实施例是由边缘服务器进行处理，可降低中心服务器的存储和计算负载，实现节约资源，确保数据融合高效运行的技术效果。

Description

一种基于边缘计算的数据融合的方法和系统

技术领域

本公开实施例涉及数据处理技术领域，特别涉及一种基于边缘计算的数据融合的方法和系统。

背景技术

数据融合是将多传感器信息源的数据和信息加以联合、相关及组合，获得更为精确的位置估计及身份估计，从而实现对战场态势和威胁以及其重要程度实时、完整评价的处理过程。数据融合是行业内数据持有者间合作的一种重要手段，也是公司内部不同采集系统采集到的同类型不同结构数据合并解析的必经之路。

在现有技术中，数据融合需借助大数据平台，通过集中处理的方式将从不同数据采集接收数据，通过数据融合的处理(如数据筛选等)。

发明人在实现本发明的过程中，发现至少存在以下问题：

随着数据接入越来越多数据量越来越大，由于从多数据获取的数据均在大数据平台内完成计算、匹配、融合等操作，大数据平台对于数据的存储和计算负载会随之增大，无法保证资源的正常使用，进而可能导致任务堆积，数据融合效率及效果变差。

发明内容

本公开实施例提供一种基于边缘计算的数据融合的方法和系统。

第一方面，本公开实施例提供了一种基于边缘计算的数据融合的方法，所述方法包括：

接收中心服务器发送的数据处理任务；

根据所述数据处理任务对获取到的数据进行处理；

将处理后的数据发送至所述中心服务器，以便所述中心服务器对处理后的数据进行融合。

在一些实施例中，所述根据所述数据处理任务对获取到的数据进行处理，包括：

根据预存的包括数据处理任务与数据处理规则的映射关系确定所述数据处理任务对应的数据处理规则；

根据所述数据处理规则对所述数据进行处理。

在一些实施例中，所述根据所述数据处理规则对所述数据进行处理，包括：

获取所述数据的结构信息；

响应于所述数据的结构信息为非结构化或者半结构化，依次对所述数据进行构建图像、语义解析、提取关键字段和组合处理；或者，

响应于所述数据的结构信息为结构化，对所述数据进行计算目标字段和组合处理。

第二方面，本公开实施例还提供了一种基于边缘计算的数据融合的方法，所述方法包括：

接收多个边缘服务器分别发送的样本数据；

根据预设的融合需求对多个所述样本数据分别进行分析，得到多个数据处理任务；

将每个所述数据处理任务分别发送至与其对应的边缘服务器，以便所述与其对应的边缘服务器根据与其对应的数据处理任务对获取到的数据进行处理；

接收多个所述边缘服务器分别反馈的处理后的数据；

根据多个处理后的数据进行融合。

在一些实施例中，在所述根据预设的融合需求对多个所述样本数据分别进行分析，得到多个数据处理任务之后，所述方法还包括：

分别制定每个所述数据处理任务对应的数据处理规则；

建立每个所述数据处理规则和与其对应的数据处理任务之间的映射关系；

将每个所述映射关系和每个所述数据处理规则分别发送至与其对应的边缘服务器，以便每个所述边缘服务器分别对与其对应的映射关系和数据处理规则进行存储。

第三方面，本公开实施例还提供了一种边缘服务器，所述边缘服务器包括：

第一接收模块，用于接收中心服务器发送的数据处理任务；

处理模块，用于根据所述数据处理任务对获取到的数据进行处理；

第一发送模块，用于将处理后的数据发送至所述中心服务器，以便所述中心服务器对处理后的数据进行融合。

在一些实施例中，所述处理模块具体用于：

根据预存的包括数据处理任务与数据处理规则的映射关系确定所述数据处理任务对应的数据处理规则；

根据所述数据处理规则对所述数据进行处理。

在一些实施例中，所述处理模块具体用于：

获取所述数据的结构信息；

响应于所述数据的结构信息为非结构化或者半结构化，依次对所述数据进行构建图像、语义解析、提取关键字段和组合处理；或者，

响应于所述数据的结构信息为结构化，对所述数据进行计算目标字段和组合处理。

第四方面，本公开实施例还提供了一种中心服务器，所述中心服务器包括：

第二接收模块，用于接收多个边缘服务器分别发送的样本数据；

分析模块，用于根据预设的融合需求对多个所述样本数据分别进行分析，得到多个数据处理任务；

第二发送模块，用于将每个所述数据处理任务分别发送至与其对应的边缘服务器，以便所述与其对应的边缘服务器根据与其对应的数据处理任务对获取到的数据进行处理；

所述第二接收模块，还用于接收多个所述边缘服务器分别反馈的处理后的数据；

融合模块，用于根据多个处理后的数据进行融合。

在一些实施例中，所述中心服务器还包括：

制定模块，用于分别制定每个所述数据处理任务对应的数据处理规则；

建立模块，用于建立每个所述数据处理规则和与其对应的数据处理任务之间的映射关系；

所述第二发送模块还用于，将每个所述映射关系和每个所述数据处理规则分别发送至与其对应的边缘服务器，以便每个所述边缘服务器分别对与其对应的映射关系和数据处理规则进行存储。

本公开实施例提供的基于边缘计算的数据融合的方法，该方法包括：接收中心服务器发送的数据处理任务，根据数据处理任务对获取到的数据进行处理，将处理后的数据发送至中心服务器，以便中心服务器对处理后的数据进行融合，通过本公开实施例的技术方案，相较于现有技术中由中心服务器统一进行处理的方式，由于本实施例是由边缘服务器进行处理，可降低中心服务器的存储和计算负载，实现节约资源，确保数据融合高效运行的技术效果。

附图说明

附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：

图1为本公开实施例的实现基于边缘计算的数据融合的方法的系统的框架图；

图2为本公开实施例的边缘服务器的具体结构示意图；

图3为本公开实施例的基于边缘计算的数据融合的方法的示意图；

图4为本公开另一实施例的基于边缘计算的数据融合的方法的示意图；

图5为本公开实施例的边缘服务器的模块示意图；

图6为本公开实施例的中心服务器的模块示意图；

附图标记：

10、中心服务器，20、边缘服务器，30、数据源，21、接口单元，22、数据处理单元，23、存储单元，24、第一接收模块，25、处理模块，26、第一发送模块，11、第二接收模块，12、分析模块，13、第二发送模块，14、融合模块，15、制定模块，16、建立模块。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的一种基于边缘计算的数据融合的方法和系统进行详细描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

根据本公开实施例的一个方面，本公开实施例提供了一种基于边缘计算的数据融合的方法。

请参阅图1，图1为本公开实施例的实现基于边缘计算的数据融合的方法的系统的框架图。

如图1所示，该系统包括：中心服务器10，中心服务器10是核心网，四个边缘服务器20，每个边缘服务器分别从数据源30中获取数据。

需要说明的是，图1中的数量只是示范性的说明，而不能理解为对本实施例的限定。

图2为本公开实施例的边缘服务器20的具体结构示意图。

如图2所示，边缘服务器20包括：接口单元21，用于连接中心服务器，实现与中心服务器之间的数据交互；数据处理单元22，用于连接数据源，用于与获取数据源中的数据，并对从数据源中获取到的数据进行处理；存储单元23：用于对处理后的数据进行备份等。

请参阅图3，图3为本公开实施例的基于边缘计算的数据融合的方法的示意图。

如图3所示，该方法包括：

S1：边缘服务器接收中心服务器发送的数据处理任务。

在现有技术中，由中心服务器对数据进行获取，并由中心服务器对每个数据进行数据融合。而在该步骤中，是由中心服务器将数据处理任务发送至边缘服务器，以便边缘服务器执行后续的数据处理的步骤(详见后文)。

S2：边缘服务器根据数据处理任务对获取到的数据进行处理。

S3：边缘服务器将处理后的数据发送至中心服务器，以便中心服务器对处理后的数据进行融合。

也就是说，在本公开实施例中，由中心服务器将数据处理任务发送至边缘服务器，由边缘服务器对数据进行处理。

示例性地，中心服务器将与边缘服务器A对应的数据处理任务A发送至边缘服务器A，边缘服务器A获取数据A，通过数据处理任务A对数据A进行处理，得到处理结果A，并将处理结果A发送至中心服务器。

同理，边缘服务器B将得到的处理结果B，并将处理结果B发送至中心服务器。

同理，边缘服务器C将得到的处理结果C，并将处理结果C发送至中心服务器。

同理，边缘服务器D将得到的处理结果D，并将处理结果D发送至中心服务器。

中心服务器在接收到处理结果A、处理结果B、处理结果C、处理结果D后进行融合处理。

基于上述分析可知，相较于现有技术中由中心服务器统一进行处理的方式，由于本实施例是由边缘服务器进行处理，可降低中心服务器的存储和计算负载，实现节约资源，确保数据融合高效运行的技术效果。

在一些实施例中，S2包括：

S2-1：边缘服务器根据预存的包括数据处理任务与数据处理规则的映射关系确定数据处理任务对应的数据处理规则。

其中，映射关系存储数据处理任务与数据处理规则的对应关系。也就是说，在获悉数据处理任务的情况下，可以通过映射关系读取与该数据规则对应的数据处理规则。

S2-2：边缘服务器根据数据处理规则对数据进行处理。

在一些实施例中，S2-2包括：

S2-2-1：边缘服务器获取数据的结构信息。

可以理解的是，不同的数据可能存在不同的结构。部分数据为非结构化的数据，部分数据为半结构化的数据，部分数据为结构化的数据。对于数据的结构信息此处不再详细阐述，具体可参见现有技术。

响应于数据的结构信息为非结构化或者半结构化，执行S2-2-2：边缘服务器依次对数据进行构建图像、语义解析、提取关键字段和组合处理。

响应于数据的结构信息为结构化，执行S2-2-3：边缘服务器对数据进行计算目标字段和组合处理。

示例性地，边缘服务器A获取到数据A的结构信息后，基于该结构信息确定数据A是为非结构化数据，还是半结构化数据，或是结构化数据。

如果数据A为非结构化数据或者半结构化数据，则先对数据A进行构建图像处理，在此基础上对数据A进行语义解析处理，在此基础上进行关键字段提取处理，再次基础上进行组合处理。其中，构建图像、语义解析、关键字段提取和组合处理具体可参见现有技术，此处不再赘述。

如果数据A为结构化数据，则先计算数据A的目标字段，在此基础上进行组合处理。同理，计算目标字段和组合处理具体可参见现有技术，此处不再赘述。

在一些实施例中，若某数据对应的关键字段为空，则对该数据进行删除处理。

由于关键字段为空，则说明该数据的指标缺失，或者与其他数据的数据维度存在差异，因此将该数据进行删除处理，以便实现降低边缘服务器的计算复杂，且确保有效的融合的技术效果。

根据本公开实施例的另一个方面，本公开实施例还提供了一种基于边缘计算的数据融合的方法。

请参阅图4，图4为本公开另一实施例的基于边缘计算的数据融合的方法的示意图。

如图4所示，该方法包括：

S11：中心服务器接收多个边缘服务器分别发送的样本数据。

S12：中心服务器根据预设的融合需求对多个样本数据分别进行分析，得到多个数据处理任务。

S13：中心服务器将每个数据处理任务分别发送至与其对应的边缘服务器，以便与其对应的边缘服务器根据与其对应的数据处理任务对获取到的数据进行处理。

示例性地：中心服务器接收四个边缘服务器分别发送的样本数据，现以边缘服务器A为例进行说明。具体地：

边缘服务器A将样本数据发送至中心服务器。

中心服务器根据融合需求(用户预先给定的)对该样本数据进行分析，得到数据处理任务A，并将数据处理任务A发送至边缘服务器A。

当边缘服务器A获取到数据A时，则基于数据处理任务A对数据A进行处理。

也就是说，在本公开实施例中，中心服务器无需对所有的数据进行融合处理，而是将处理的任务分散至各个边缘服务器，进而降低了计算负载。

在一些实施例中，该方法还包括：

S14：中心服务器接收多个边缘服务器分别反馈的处理后的数据。

S15：中心服务器根据多个处理后的数据进行融合。

在一些实施例中，在S12之后，该方法还包括：

S13’：中心服务器分别制定每个数据处理任务对应的数据处理规则。

S14’：中心服务器建立每个数据处理规则和与其对应的数据处理任务之间的映射关系。

S15’：中心服务器将每个映射关系和每个数据处理规则分别发送至与其对应的边缘服务器，以便每个边缘服务器分别对与其对应的映射关系和数据处理规则进行存储。

示例性地，中心服务器A制定数据处理任务A对应的数据处理规则A，并建立数据处理任务A和数据处理规则A的对映射关系，并将映射关系和数据处理规则分别发送至边缘服务器A。

根据本公开实施例的另一个方面，本公开实施例还提供了一种边缘服务器。

请参阅图5，图5为本公开实施例的边缘服务器的模块示意图。

如图5所示，该边缘服务器包括：

第一接收模块24，用于接收中心服务器发送的数据处理任务；

处理模块25，用于根据数据处理任务对获取到的数据进行处理；

第一发送模块26，用于将处理后的数据发送至中心服务器，以便中心服务器对处理后的数据进行融合。

在一些实施例中，处理模块25具体用于：

根据预存的包括数据处理任务与数据处理规则的映射关系确定数据处理任务对应的数据处理规则；

根据数据处理规则对数据进行处理。

在一些实施例中，处理模块25具体用于：

获取数据的结构信息；

响应于数据的结构信息为非结构化或者半结构化，依次对数据进行构建图像、语义解析、提取关键字段和组合处理；或者，

响应于数据的结构信息为结构化，对数据进行计算目标字段和组合处理。

根据本公开实施例的另一个方面，本公开实施例还提供了一种中心服务器。

请参阅图6，图6为本公开实施例的中心服务器的模块示意图。

如图6所示，该中心服务器包括：

第二接收模块11，用于接收多个边缘服务器分别发送的样本数据；

分析模块12，用于根据预设的融合需求对多个样本数据分别进行分析，得到多个数据处理任务；

第二发送模块13，用于将每个数据处理任务分别发送至与其对应的边缘服务器，以便与其对应的边缘服务器根据与其对应的数据处理任务对获取到的数据进行处理；

第二接收模块11，还用于接收多个边缘服务器分别反馈的处理后的数据；

融合模块14，用于根据多个处理后的数据进行融合。

结合图6可知，在一些实施例中，该中心服务器还包括：

制定模块15，用于分别制定每个数据处理任务对应的数据处理规则；

建立模块16，用于建立每个数据处理规则和与其对应的数据处理任务之间的映射关系；

第二发送模块13还用于，将每个映射关系和每个数据处理规则分别发送至与其对应的边缘服务器，以便每个边缘服务器分别对与其对应的映射关系和数据处理规则进行存储。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (10)

1.一种基于边缘计算的数据融合的方法，其特征在于，应用于边缘服务器，所述方法包括：

向中心服务器发送样本数据；

接收中心服务器发送的数据处理任务；其中，所述数据处理任务是中心服务器接收多个边缘服务器分别发送的样本数据，并根据预设的融合需求对该多个样本数据分别进行分析后，获得的与本边缘服务器对应的数据处理任务；

根据所述数据处理任务对获取到的数据进行处理；

将处理后的数据发送至所述中心服务器，以便所述中心服务器对处理后的数据进行融合。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据处理任务对获取到的数据进行处理，包括：

根据预存的包括数据处理任务与数据处理规则的映射关系确定所述数据处理任务对应的数据处理规则；

根据所述数据处理规则对所述数据进行处理。

3.根据权利要求2所述的方法，其特征在于，所述根据所述数据处理规则对所述数据进行处理，包括：

获取所述数据的结构信息；

响应于所述数据的结构信息为非结构化或者半结构化，依次对所述数据进行构建图像、语义解析、提取关键字段和组合处理；或者，

响应于所述数据的结构信息为结构化，对所述数据进行计算目标字段和组合处理。

4.一种基于边缘计算的数据融合的方法，其特征在于，应用于中心服务器；所述方法包括：

接收多个边缘服务器分别发送的样本数据；

根据预设的融合需求对多个所述样本数据分别进行分析，得到多个数据处理任务；

将每个所述数据处理任务分别发送至与其对应的边缘服务器，以便所述与其对应的边缘服务器根据与其对应的数据处理任务对获取到的数据进行处理；

接收多个所述边缘服务器分别反馈的处理后的数据；

根据多个处理后的数据进行融合。

5.根据权利要求4所述的方法，其特征在于，在所述根据预设的融合需求对多个所述样本数据分别进行分析，得到多个数据处理任务之后，所述方法还包括：

分别制定每个所述数据处理任务对应的数据处理规则；

建立每个所述数据处理规则和与其对应的数据处理任务之间的映射关系；

将每个所述映射关系和每个所述数据处理规则分别发送至与其对应的边缘服务器，以便每个所述边缘服务器分别对与其对应的映射关系和数据处理规则进行存储。

6.一种边缘服务器，其特征在于，所述边缘服务器包括：

第一发送模块，用于向中心服务器发送样本数据；

第一接收模块，用于接收中心服务器发送的数据处理任务；其中，所述数据处理任务是中心服务器接收多个边缘服务器分别发送的样本数据，并根据预设的融合需求对该多个样本数据分别进行分析后，获得的与本边缘服务器对应的数据处理任务；

处理模块，用于根据所述数据处理任务对获取到的数据进行处理；

所述第一发送模块，用于将处理后的数据发送至所述中心服务器，以便所述中心服务器对处理后的数据进行融合。

7.根据权利要求6所述的边缘服务器，其特征在于，所述处理模块具体用于：

根据预存的包括数据处理任务与数据处理规则的映射关系确定所述数据处理任务对应的数据处理规则；

根据所述数据处理规则对所述数据进行处理。

8.根据权利要求7所述的边缘服务器，其特征在于，所述处理模块具体用于：

获取所述数据的结构信息；

响应于所述数据的结构信息为非结构化或者半结构化，依次对所述数据进行构建图像、语义解析、提取关键字段和组合处理；或者，

响应于所述数据的结构信息为结构化，对所述数据进行计算目标字段和组合处理。

9.一种中心服务器，其特征在于，所述中心服务器包括：

第二接收模块，用于接收多个边缘服务器分别发送的样本数据；

分析模块，用于根据预设的融合需求对多个所述样本数据分别进行分析，得到多个数据处理任务；

第二发送模块，用于将每个所述数据处理任务分别发送至与其对应的边缘服务器，以便所述与其对应的边缘服务器根据与其对应的数据处理任务对获取到的数据进行处理；

所述第二接收模块，还用于接收多个所述边缘服务器分别反馈的处理后的数据；

融合模块，用于根据多个处理后的数据进行融合。

10.根据权利要求9所述的中心服务器，其特征在于，所述中心服务器还包括：

制定模块，用于分别制定每个所述数据处理任务对应的数据处理规则；

建立模块，用于建立每个所述数据处理规则和与其对应的数据处理任务之间的映射关系；

所述第二发送模块还用于，将每个所述映射关系和每个所述数据处理规则分别发送至与其对应的边缘服务器，以便每个所述边缘服务器分别对与其对应的映射关系和数据处理规则进行存储。

Images