CN117676641A - 一种大数据数据共享传输方法及设备 - Google Patents

Abstract

本申请提供一种大数据数据共享传输方法及设备，该方法包括：获取多个传输请求方的共享数据传输请求；基于所述共享数据传输请求，获取来自多个传输请求方的待传输数据，以及所述待传输数据的多个传输参数；基于所述多个传输参数，确定目标函数；所述目标函数用于最小化对所述待传输数据进行共享数据传输操作的共享数据传输时长；对所述目标函数进行迭代优化，以确定出最小化共享数据传输时长，以及所述最小化共享数据传输时长对应的目标传输参数值；所述目标传输参数值为所述多个传输参数的最优值；基于所述目标传输参数值，对所述多个传输请求方的所述待传输数据进行共享数据传输操作。本申请的方法能够有效提升数据共享传输的效率。

Description

一种大数据数据共享传输方法及设备

技术领域

本申请涉及大数据技术领域，尤其涉及一种大数据数据共享传输方法及设备。

背景技术

在现有技术中，针对大数据的数据共享传输的优化方案存在一些局限性，这些局限性限制了在大规模数据处理和传输环境中的效率。传统的数据传输方法通常未能全面考虑数据量、传输距离、传输速度、数据质量、安全性等多个因素对数据传输时间和效率方面的影响，导致在实际应用中难以达到最优的数据传输效率。

基于以上不足，有必要提出一种综合考虑多个数据传输因素的大数据数据共享传输的优化方案，以在实际应用中更好地满足大数据共享传输场景下高传输效率的需求。

发明内容

本申请实施例提供一种能够提升数据共享传输效率的大数据数据共享传输方法及设备，具体技术方案如下：

在本申请实施例的第一方面，提供一种大数据数据共享传输方法，所述方法包括：

获取多个传输请求方的共享数据传输请求；

基于所述共享数据传输请求，获取来自多个传输请求方的待传输数据，以及所述待传输数据的多个传输参数；

基于所述多个传输参数，确定目标函数；所述目标函数用于最小化对所述待传输数据进行共享数据传输操作的共享数据传输时长；

对所述目标函数进行迭代优化，以确定出最小化共享数据传输时长，以及所述最小化共享数据传输时长对应的目标传输参数值；所述目标传输参数值为所述多个传输参数的最优值；

基于所述目标传输参数值，对所述多个传输请求方的所述待传输数据进行共享数据传输操作。

可选地，所述多个传输参数包括：数据量、数据压缩比、网络带宽、传输距离、传输速度、安全性因素、处理复杂度、数据质量、数据共享度和可靠性因子。

可选地，所述基于所述多个传输参数，确定目标函数，包括：

根据所述数据量、所述数据压缩比、所述网络带宽、所述传输距离、所述传输速度、所述安全性因素、所述处理复杂度、所述数据质量、所述数据共享度和可靠性因子，构建所述目标函数，表示为：

其中，w为各项的权重，V是数据量，CR是数据压缩比，B是网络带宽，D是传输距离，S是数据传输速度，Sec是安全性，PC是处理复杂度，DQ是数据质量，Shared是共享度量，Reliability是可靠性因子。

可选地，所述对所述目标函数进行迭代优化，以确定出最小化共享数据传输时长，以及所述最小化共享数据传输时长对应的目标传输参数值，包括：

获取所述多个传输参数设置初始参数值；

通过梯度下降算法，对所述多个传输参数中的决策变量值的初始参数值进行迭代优化，直至满足预设条件后停止迭代，计算所述目标函数的最优解，得到所述最小化数据共享传输时长，以及所述决策变量值对应的所述目标传输参数值。

可选地，所述决策变量值包括所述网络带宽、所述数据传输速度、所述安全性、所述共享度量和所述可靠性因子。

可选地，所述获取所述多个传输参数设置初始参数值，包括：

对所述待传输数据进行分析，得到所述待传输数据的数据量、数据压缩比、网络带宽、传输距离、数据传输速度和待共享数据量的初始参数值；

根据所述待共享数据量和所述数据量，确定出所述待传输数据的共享度量的初始参数值；

将所述待传输数据发送至数据分析模型，通过所述数据分析模型输出所述待传输数据的安全性、处理复杂度和数据质量的初始参数值。

可选地，所述根据所述待共享数据量和所述数据量，确定出所述待传输数据的共享度量的初始参数值，包括：

获取所述共享数据量与所述数据量之间求商的第一商值作为所述共享度量的初始参数值。

可选地，所述数据分析模型通过以下方式训练得到：

获取历史传输数据，并从所述历史数据中提取出与所述历史数据的安全性、数据质量和处理复杂度相关的融合特征作为训练样本；所述融合特征至少包括所述历史传输数据的数据属性信息、传输路径信息、传输设备信息、数据访问信息和网络负载信息；

获取所述训练样本对应的标签；所述标签包括所述历史传输数据对应的安全性、处理复杂度和数据质量的真实值；

对初始的数据分析模型进行迭代训练，直至达到预设的训练完成条件，得到训练好的所述数据分析模型。

可选地，所述基于所述目标传输参数值，对所述多个传输请求方的所述待传输数据进行共享数据传输操作，包括：

在对所述待传输数据执行所述共享数据传输操作之前，将所述多个传输参数的值设置为所述目标传输参数值；

基于所述设置完成后的多个传输参数，对所述待传输数据执行所述共享传输操作。

在本申请实施例的又一方面，提供一种大数据数据共享设备，所述设备包括：

请求获取模块，获取多个传输请求方的共享数据传输请求；

数据获取模块，获取基于所述共享数据传输请求，获取来自多个传输请求方的待传输数据，以及所述待传输数据的多个传输参数；

函数确定模块，获取基于所述多个传输参数，确定目标函数；所述目标函数用于最小化对所述待传输数据进行共享数据传输操作的共享数据传输时长；

数据优化模块，获取对所述目标函数进行迭代优化，以确定出最小化共享数据传输时长，以及所述最小化共享数据传输时长对应的目标传输参数值；所述目标传输参数值为所述多个传输参数的最优值；

数据传输模块，获取基于所述目标传输参数值，对所述多个传输请求方的所述待传输数据进行共享数据传输操作。

由上可知，本申请实施至少带来以下有益效果：

(1)本申请通过目标函数，全面考虑了大数据传输中的关键因素，如数据量、传输距离、传输速度、数据质量、安全性等，通过多因素的综合优化，提高了在复杂大数据环境中的传输效率。

(2)本申请特别考虑了数据共享度对传输的影响，并通过共享资源、路径和策略的优化，提高了数据在传输过程中的共享效率，从而降低了整体的传输成本。

(3)在涉及安全性的场景中，本申请能够找到安全性和性能之间的平衡点。通过对安全性和性能的综合优化，确保了在传输过程中既能够保障数据的安全性，又能够维持较高的性能水平。

(4)由于本申请全面考虑了大数据的特殊性，如数据量庞大、传输路径复杂等，因此在大数据环境中具有更好的适应性和性能表现。

(5)本申请的目标函数设计具有一定的可定制性，可以根据具体应用场景的要求进行灵活调整，这使得方案在不同大数据场景中具有更广泛的适用性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的大数据数据共享方法的应用场景示意图；

图2是本申请实施例提供的大数据数据共享传输方法的流程示意图；

图3是本申请实施例提供的大数据数据共享设备的结构示意图；

图4是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

本申请实施例提供一种大数据数据共享传输方法及设备。请参阅图1，图1为本申请实施例所提供的大数据数据共享设备的应用场景示意图，该设备可以包括终端和服务器。本申请提供的大数据数据共享传输方法可以通过终端实现，也可以通过服务器实现。

如图1所示，终端与服务器之间通过网络连接，比如，通过有线或无线网络连接等。其中，终端可以包括但不局限于安装有各位网络平台应用的手机、平板等便携终端，以及电脑、查询机、广告机等固定终端。其中，服务器为用户提供各种业务服务，包括服务推送服务器、用户推荐服务器等。

需要说明的是，图1所示的大数据数据共享设备的应用场景示意图仅仅是一个示例，本申请实施例描述的终端、服务器以及应用场景是为了更加清楚的说明本申请实施例的技术方案，并不生成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着设备的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题同样适用。

其中，终端可以用于：

获取多个传输请求方的共享数据传输请求；

基于所述共享数据传输请求，获取来自多个传输请求方的待传输数据，以及所述待传输数据的多个传输参数；

基于所述多个传输参数，确定目标函数；所述目标函数用于最小化对所述待传输数据进行共享数据传输操作的共享数据传输时长；

对所述目标函数进行迭代优化，以确定出最小化共享数据传输时长，以及所述最小化共享数据传输时长对应的目标传输参数值；所述目标传输参数值为所述多个传输参数的最优值；

基于所述目标传输参数值，对所述多个传输请求方的所述待传输数据进行共享数据传输操作。

需要说明的是，上述终端执行大数据数据共享传输方法的步骤，也可以由服务器执行。

图2示出了本申请实施例提供的一种大数据数据共享传输方法及设备的流程示意图，如图2所示，一种大数据数据共享传输方法及设备包括如下步骤：

步骤101、获取多个传输请求方的共享数据传输请求。

其中，传输请求方是指数据传输的发起者，可以是多个不同的实体、用户、系统或应用，它们有各自的数据需要传输。为了提高传输效率和资源利用率，执行本申请方法的系统可以收集来自多个传输请求方的数据传输请求，并尝试在一定条件下将这些请求进行共享。使得系统可以综合考虑多个传输请求，尽可能在传输路径、网络资源等方面实现共享，以减少重复传输或冗余资源占用。

由于共享的机制会涉及到路径优化、资源调度、传输调度等策略，系统可以根据目标函数、优化算法或者其他决策策略，来确定如何最优地共享数据传输请求，以达到提高整体传输效率的目的。

通过以上方式，通过合理规划和协调多个传输请求，实现数据传输的共享，从而优化系统性能、降低资源消耗，同时满足各个传输请求方的需求。因此依照共享机制有助于执行本申请方法的系统在大数据环境下更有效地利用网络资源，提高数据传输的效率。

步骤102、基于共享数据传输请求，获取来自多个传输请求方的待传输数据，以及待传输数据的多个传输参数。

其中，多个传输参数可以包括：数据量、数据压缩比、网络带宽、传输距离、传输速度、安全性因素、处理复杂度、数据质量、数据共享度和可靠性因子。

在一些实施例中，多个传输请求方可以提交数据传输请求，系统可以通过共享机制综合这些请求，优化数据传输路径，提高传输效率。在共享数据传输请求的基础上，系统可以从多个传输请求方获取待传输的数据，涉及从各个请求方的存储系统、数据库或其他数据源中提取数据。

在一些实施例中，针对来自每个数据传输请求方的待传输数据，系统可以获取数据对应的多个传输参数，包括：

数据量V，表示待传输数据的大小，通常以字节(B)、千字节(KB)、兆字节(MB)等为单位；

数据压缩比CR，表示数据在传输前后的压缩比例；

网络带宽B，表示传输数据的网络通道的带宽，单位通常使用比特每秒(bits persecond，bps)或其衍生单位，如千比特每秒(kbps)、兆比特每秒(Mbps)、吉比特每秒(Gbps)等，取决于网络速度的大小。

传输距离D，表示数据传输的距离，通常以米(m)、千米(km)等为单位，对于多个传输请求方，D的值可以为多个传输请求方各自距传输目的地距离的和值，例如n个传输请求方请求数据共享传输时对应的传输距离D＝D1+D2+D3+…+Dn；

传输速度S，表示数据在传输过程中的速度，通常以比特每秒(bps)、千比特每秒(Kbps)、兆比特每秒(Mbps)等为单位；

安全性Sec，表示数据传输的安全性级别，通常为一个在0到1之间的比率；

处理复杂度PC，用于描述数据传输过程中处理的复杂度；

数据质量DQ，表示数据的质量，是一个相对的质量指标；

数据共享度Shared，表示数据在传输过程中的共享程度，可以是一个比率；

可靠性因子Reliability，表示数据传输的可靠性程度，通常为一个在0到1之间的比率。

通过以上方式，可以综合各个传输请求方的待传输数据，并获取与这些数据相关的多个传输参数，为后续的数据传输优化和决策提供详细的信息。

步骤103、基于多个传输参数，确定目标函数。

其中，目标函数可以用于最小化对待传输数据进行共享数据传输操作的共享数据传输时长。

在一些实施例中，系统已经获取了多个传输参数，包括数据量、数据压缩比、网络带宽、传输距离、传输速度、安全性因素、处理复杂度、数据质量、数据共享度和可靠性因子等。

在一些实施例中，共享数据传输时长是一个表示数据传输操作所花费时间的指标，可以用秒、毫秒或其他时间单位表示。是传输请求方的待传输数据在共享数据传输中完成的时间。

在一些实施例中，目标函数的设计旨在最小化共享数据传输时长，通过调整各个传输参数，系统可以通过优化目标函数来使共享数据传输操作的时长达到最小值。目标函数可以是一个复杂的数学表达式，包括多个传输参数的权重和关系。

在一些实施例中目标函数的优化过程可能涉及到使用优化算法，如梯度下降等，以找到使得目标函数取得最小值的传输参数组合。这个过程旨在最大程度地提高共享数据传输效率，减少传输时间。

综上，通过确定这样的目标函数，系统可以更智能地进行数据传输决策，根据实际情况和传输参数的变化，实现对共享数据传输时长的有效控制和最小化。这有助于优化大数据传输的效率和资源利用。

可选地，步骤103可以包括：

根据数据量、数据压缩比、网络带宽、传输距离、传输速度、安全性因素、处理复杂度、数据质量、数据共享度和可靠性因子，构建目标函数，表示为：

其中，w为各项的权重，V是数据量，CR是数据压缩比，B是网络带宽，D是传输距离，S是数据传输速度，Sec是安全性，PC是处理复杂度，DQ是数据质量，Shared是共享度量，Reliability是可靠性因子。

在一些实施例中，w₁至w₅分别是各项参数的权重，用于调整各项参数在目标函数中的影响力。

可以理解，通过调整这些权重和传输参数的数值，系统可以优化目标函数，找到使得总传输时长T最小化的最优组合，从而实现共享数据传输过程的效率最大化。

步骤104、对目标函数进行迭代优化，以确定出最小化共享数据传输时长，以及最小化共享数据传输时长对应的目标传输参数值。

其中，目标传输参数值为多个传输参数的最优值。在一些实施例中，迭代优化的步骤如下：

(1)、初始参数值：选择一个初始的传输参数值组合作为起点。

(2)计算目标函数：使用初始参数值计算目标函数f(T)的值，即计算共享数据传输时长T。

(3)梯度计算：对目标函数进行梯度计算，得到目标函数对各个传输参数的偏导数。这可以使用梯度下降等优化算法来实现。

(4)参数更新：根据梯度计算结果，更新传输参数的数值，使得目标函数朝着最小值的方向变化。这是迭代优化的关键步骤。

(5)重复迭代：重复步骤(2)-(4)，直到目标函数收敛到最小值或满足停止条件。

(6)最优值确定：在迭代过程中，记录达到最小化T时的传输参数值，这个传输参数值即为最优值。

通过上述迭代过程，系统可以逐步调整传输参数的数值，以找到共享数据传输时长T的最小值，并确定在最小化时的传输参数值。这个过程是通过不断优化目标函数，利用梯度信息指导参数的调整来实现的。最终，得到的最优值将使得数据传输过程在共享时长最短的条件下达到最佳性能

可选地，步骤104可以包括：

获取多个传输参数设置初始参数值；

通过梯度下降算法，对多个传输参数中的决策变量值的初始参数值进行迭代优化，直至满足预设条件后停止迭代，计算目标函数的最优解，得到最小化数据共享传输时长，以及决策变量值对应的目标传输参数值。

在一些实施例中，决策变量值可以包括网络带宽、数据传输速度、安全性、共享度量和可靠性因子。

在一些实施例中，在迭代优化开始前，系统需要获取多个传输参数的初始参数值。这可以是根据先前经验、用户需求或系统配置等确定的初始值。

在一些实施例中，可以使用梯度下降算法，对多个传输参数中的决策变量值进行迭代优化。决策变量值包括网络带宽、数据传输速度、安全性、共享度量和可靠性因子等。

在一些实施例中，在每一次迭代中，计算目标函数的值。目标函数是表示共享数据传输时长的函数，它包括了多个传输参数。在这个过程中，根据当前的决策变量值计算目标函数。

在一些实施例中，可以对目标函数进行梯度计算，得到目标函数对各个决策变量的偏导数。这些梯度值指示了目标函数在当前决策变量值下的变化方向。

在一些实施例中，可以根据梯度计算的结果，更新决策变量值，使得目标函数朝着最小值的方向变化。这是梯度下降算法的核心步骤。

在一些实施例中，设置预设条件，例如达到一定的迭代次数或目标函数的变化不超过某个阈值，作为迭代终止的条件。

在一些实施例中，可以在满足迭代终止条件后，系统得到了最小化共享数据传输时长的目标函数最优解，并且此时的决策变量值即为最优的传输参数值。

通过以上步骤，系统能够经过多次迭代优化，逐渐调整决策变量值，最终找到目标函数的最小值，实现了最小化数据共享传输时长的目标。

为了便于理解对“决策变量值的初始参数值进行迭代优化，直至满足预设条件后停止迭代，计算目标函数的最优解”的过程。下面将以迭代优化决策变量中网络带宽B的计算过程进行举例。首先，传输时长和各个传输参数在首轮迭代开始之前用下角标0来表示，具体为：

以此类推，在第一轮迭代中各参数用下角标1来表示、第二轮迭代中各参数用下角标2来表示，直至达到目标迭代次数为n，目标函数表示为：

以第一轮迭代优化网络带宽B为例，得到优化后的网络带宽B₁：

其中，B₀是网络带宽的初始参数值，/>是目标函数T对网络带宽B的偏导数，α是学习率。这个更新公式表示，在每一轮迭代中，系统通过梯度信息对网络带宽进行调整。学习率控制了参数更新的步幅，确保在优化过程中不会跳过最优解。经过多轮迭代，网络带宽的值逐渐收敛到目标函数最小化的最优解。

需要说明的是，不论是在优化目标函数f(T)的过程中还是过程后，均可以对w₁至w₅的值进行灵活调整，以尽快求取出目标函数的最优解。

可选地，步骤获取多个传输参数设置初始参数值，包括：

对待传输数据进行分析，得到待传输数据的数据量、数据压缩比、网络带宽、传输距离、数据传输速度和待共享数据量的初始参数值；

根据待共享数据量和数据量，确定出待传输数据的共享度量的初始参数值；

将待传输数据发送至数据分析模型，通过数据分析模型输出待传输数据的安全性、处理复杂度和数据质量的初始参数值。

在一些实施例中，可以对待传输数据进行分析，得到待传输数据的初始参数值，包括数据量、数据压缩比、网络带宽、传输距离、数据传输速度和待共享数据量。可以通过数据源、存储系统或其他手段获取。

在一些实施例中，可以根据待共享数据量和数据量，确定出待传输数据的共享度量的初始参数值。共享度量可以表示数据在传输过程中的共享程度，是一个衡量共享效果的指标。

在一些实施例中，可以将待传输数据发送至数据分析模型。数据分析模型是一个机器学习模型或其他分析工具，用于输出待传输数据的安全性、处理复杂度和数据质量等参数的初始值。

在一些实施例中，可以通过数据分析模型的输出，得到待传输数据的安全性、处理复杂度和数据质量等参数的初始值。这些参数可以反映数据在传输过程中的安全性级别、处理难度以及质量等方面的特征。

通过以上方式，可以在数据传输之前对待传输数据进行全面的分析，获取关键参数的初始值。这些初始参数值将作为优化过程的起点，通过迭代优化的方式，根据目标函数进行调整，以达到最小化共享数据传输时长的目标。这种分析和调整的过程有助于在数据传输过程中充分考虑数据特性，实现更有效的共享传输。

可选地，步骤根据待共享数据量和数据量，确定出待传输数据的共享度量的初始参数值，包括：

获取共享数据量与数据量之间求商的第一商值作为共享度量的初始参数值。

例如有一份待传输的数据，总数据量为100MB，而其中有20MB的数据可以参与共享传输，使得本次共享传输操作的共享度量的参数值为20/100＝0.2。

在一些实施例中，数据分析模型可以通过以下方式训练得到：

获取历史传输数据，并从历史数据中提取出与历史数据的安全性、数据质量和处理复杂度相关的融合特征作为训练样本；融合特征至少包括历史传输数据的数据属性信息、传输路径信息、传输设备信息、数据访问信息和网络负载信息；

获取训练样本对应的标签；标签包括历史传输数据对应的安全性、处理复杂度和数据质量的真实值；

对初始的数据分析模型进行迭代训练，直至达到预设的训练完成条件，得到训练好的数据分析模型。

在一些实施例中，可以从系统记录或其他数据源中获取历史传输数据，这些数据可以包含先前的数据传输记录、安全性评估、处理复杂度评估以及数据质量评估等信息。

在一些实施例中，可以从历史传输数据中提取出与安全性、数据质量和处理复杂度相关的融合特征作为训练样本。这些融合特征可以包括历史传输数据的数据属性信息、传输路径信息、传输设备信息、数据访问信息和网络负载信息等。

在一些实施例中，可以对每个训练样本，获取与历史传输数据对应的真实标签。这些标签包括历史传输数据的安全性、处理复杂度和数据质量的真实值。

在一些实施例中，可以将提取的融合特征与对应的标签组合，形成训练样本。每个训练样本包括一组特征和其对应的真实标签。

在一些实施例中，可以设定初始的数据分析模型，这可以是一个机器学习模型，如神经网络、决策树、或其他模型，用于学习历史传输数据中的模式。

在一些实施例中，可以对初始的数据分析模型进行迭代训练。在每一轮训练中，使用训练样本进行模型训练，根据模型输出与真实标签的差异进行参数调整。

在一些实施例中，可以设定预设的训练完成条件，可以是达到一定的训练轮数、模型收敛到一定程度，或其他预设的条件。

在一些实施例中，当训练满足预设条件时，得到训练好的数据分析模型。这个模型可以用于对待传输数据进行分析，输出安全性、处理复杂度和数据质量等参数的预测值。

通过以上步骤，系统能够借助历史传输数据训练出一个数据分析模型，该模型可以根据待传输数据的特征进行预测，提供有关安全性、处理复杂度和数据质量的估计值，从而支持决策过程。

在一些实施例中，下面将对训练好的数据分析模型的推理过程进行举例。仅作为示例，模型输入为：待处理数据的数据属性信息(如数据类型、大小等)、传输路径信息(如传输路径的拓扑结构)、传输设备信息(如传输设备的性能指标)、数据访问信息(如数据的读写模式)和网络负载信息(如网络的实时负载情况)。数据分析模型的输出为：安全性预测值(范围：0-1，表示低到高的安全级别)、处理复杂度预测值(范围：0-1，表示低到高的复杂度)、数据质量预测值(范围：0-1，表示低到高的质量)。

具体实现中，可以对数据分析模型的输入和输出做出更细化的举例：数据属性信息：文件类型为文本，大小为50MB。传输路径信息：通过公共云服务传输。传输设备信息：使用普通服务器进行传输。数据访问信息：读写模式为只读。网络负载信息：当前网络负载较低。将这些特征输入到数据分析模型中，模型进行计算后得到如下预测结果：安全性预测值：0.8(表示较高的安全性)、处理复杂度预测值：0.5(表示中等复杂度)、数据质量预测值：0.9(表示较高的数据质量)。

步骤105、基于目标传输参数值，对多个传输请求方的待传输数据进行共享数据传输操作。

可与理解，系统在获取了目标传输参数值后，可以对多个传输请求方的待传输数据进行共享数据传输操作，以达到最小化共享数据传输时长的目标。这个过程是在考虑了各个传输参数的最优设置和整体网络条件的情况下进行的，以优化数据传输效果。

可选地，步骤105可以包括：

在对待传输数据执行共享数据传输操作之前，将多个传输参数的值设置为目标传输参数值；

基于设置完成后的多个传输参数，对待传输数据执行共享传输操作。

可以理解，系统在设置了目标传输参数值后，将多个传输参数的值调整为这些目标值，然后执行共享数据传输操作，例如将网络带宽的初始参数值8调整为目标传输参数值10。这个过程旨在根据最优参数配置实现数据的高效传输，从而最小化共享数据传输时长。

在一些实施例中，为了方便理解本申请的方法，下面对计算最小化共享传输时长的计算过程进行举例。仅作为示例，各传输参数的目标传输参数值为：数据量V＝100兆字节(MB)、数据压缩比CR＝0.8、网络带宽B＝10兆比特每秒(Mbps)、传输距离D＝50千米(km)、数据传输速度S＝5兆字节每秒(MBps)、安全性因素Sec＝0.9、处理复杂度PC＝3、数据质量DQ＝0.95、数据共享度Share d＝0.8、可靠性因子Reliability＝0.98。再假设w₁至w₅分别为0.2、0.3、0.1、0.2、0.2，则T＝0.2×(100×0.8/10)+0.3×(50/5)+0.1(0.9×3)+0.2×0.8+0.2×0.98＝5.27278947368(s)。表示各传输参数在各自目标传输参数值下，对100MB的待传输数据执行本次共享数据传输操作的预计最优的传输时长为5.27278947368秒。

因此，本申请的方法能够在考虑数据共享传输的多种影响因素的基础上，对各个影响因素的值进行优化，以得到最优化的目标参数值，保证本次数据共享传输操作在各传输参数的最优的目标参数值下进行传输，从而能够显著地提升对大数据数据共享传输的效率。

由上可知，本申请实施至少带来以下有益效果：

(1)本申请通过目标函数，全面考虑了大数据传输中的关键因素，如数据量、传输距离、传输速度、数据质量、安全性等，通过多因素的综合优化，提高了在复杂大数据环境中的传输效率。

(2)本申请特别考虑了数据共享度对传输的影响，并通过共享资源、路径和策略的优化，提高了数据在传输过程中的共享效率，从而降低了整体的传输成本。

(3)在涉及安全性的场景中，本申请能够找到安全性和性能之间的平衡点。通过对安全性和性能的综合优化，确保了在传输过程中既能够保障数据的安全性，又能够维持较高的性能水平。

(4)由于本申请全面考虑了大数据的特殊性，如数据量庞大、传输路径复杂等，因此在大数据环境中具有更好的适应性和性能表现。

(5)本申请的目标函数设计具有一定的可定制性，可以根据具体应用场景的要求进行灵活调整，这使得方案在不同大数据场景中具有更广泛的适用性。

为实现上述方法类实施例，本申请实施例还提供一种大数据数据共享设备，图3示出了本申请实施例提供的一种大数据数据共享设备的结构示意图，所述设备包括：

请求获取模块201，获取多个传输请求方的共享数据传输请求；

数据获取模块202，获取基于所述共享数据传输请求，获取来自多个传输请求方的待传输数据，以及所述待传输数据的多个传输参数；

函数确定模块203，获取基于所述多个传输参数，确定目标函数；所述目标函数用于最小化对所述待传输数据进行共享数据传输操作的共享数据传输时长；

数据优化模块204，获取对所述目标函数进行迭代优化，以确定出最小化共享数据传输时长，以及所述最小化共享数据传输时长对应的目标传输参数值；所述目标传输参数值为所述多个传输参数的最优值；

数据传输模块205，获取基于所述目标传输参数值，对所述多个传输请求方的所述待传输数据进行共享数据传输操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过设备总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作设备、计算机程序和数据库。该内存储器为非易失性存储介质中的操作设备和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像采集设备的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种大数据数据共享传输方法及设备。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过设备总线连接的处理器、存储器、通信接口、显示屏和输入设备。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作设备和计算机程序。该内存储器为非易失性存储介质中的操作设备和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现大数据数据共享传输方法及设备。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入设备可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SR AM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种大数据数据共享传输方法，其特征在于，所述方法包括：

获取多个传输请求方的共享数据传输请求；

基于所述共享数据传输请求，获取来自多个传输请求方的待传输数据，以及所述待传输数据的多个传输参数；

基于所述多个传输参数，确定目标函数；所述目标函数用于最小化对所述待传输数据进行共享数据传输操作的共享数据传输时长；

对所述目标函数进行迭代优化，以确定出最小化共享数据传输时长，以及所述最小化共享数据传输时长对应的目标传输参数值；所述目标传输参数值为所述多个传输参数的最优值；

基于所述目标传输参数值，对所述多个传输请求方的所述待传输数据进行共享数据传输操作。

2.根据权利要求1所述的大数据数据共享传输方法，其特征在于，所述多个传输参数包括：数据量、数据压缩比、网络带宽、传输距离、传输速度、安全性因素、处理复杂度、数据质量、数据共享度和可靠性因子。

3.根据权利要求2所述的大数据数据共享传输方法，其特征在于，所述基于所述多个传输参数，确定目标函数，包括：

根据所述数据量、所述数据压缩比、所述网络带宽、所述传输距离、所述传输速度、所述安全性因素、所述处理复杂度、所述数据质量、所述数据共享度和可靠性因子，构建所述目标函数，表示为：

其中，w为各项的权重，V是数据量，CR是数据压缩比，B是网络带宽，D是传输距离，S是数据传输速度，Sec是安全性，PC是处理复杂度，DQ是数据质量，Shared是共享度量，Reliability是可靠性因子。

4.根据权利要求1所述的大数据数据共享传输方法，其特征在于，所述对所述目标函数进行迭代优化，以确定出最小化共享数据传输时长，以及所述最小化共享数据传输时长对应的目标传输参数值，包括：

获取所述多个传输参数设置初始参数值；

通过梯度下降算法，对所述多个传输参数中的决策变量值的初始参数值进行迭代优化，直至满足预设条件后停止迭代，计算所述目标函数的最优解，得到所述最小化数据共享传输时长，以及所述决策变量值对应的所述目标传输参数值。

5.根据权利要求4所述的大数据数据共享传输方法，其特征在于，所述决策变量值包括网络带宽、数据传输速度、安全性、共享度量和可靠性因子。

6.根据权利要求4所述的大数据数据共享传输方法，其特征在于，所述获取所述多个传输参数设置初始参数值，包括：

对所述待传输数据进行分析，得到所述待传输数据的数据量、数据压缩比、网络带宽、传输距离、数据传输速度和待共享数据量的初始参数值；

根据所述待共享数据量和所述数据量，确定出所述待传输数据的共享度量的初始参数值；

将所述待传输数据发送至数据分析模型，通过所述数据分析模型输出所述待传输数据的安全性、处理复杂度和数据质量的初始参数值。

7.根据权利要求6所述的大数据数据共享传输方法，其特征在于，所述根据所述待共享数据量和所述数据量，确定出所述待传输数据的共享度量的初始参数值，包括：

获取所述共享数据量与所述数据量之间求商的第一商值作为所述共享度量的初始参数值。

8.根据权利要求6所述的大数据数据共享传输方法，其特征在于，所述数据分析模型通过以下方式训练得到：

获取历史传输数据，并从所述历史数据中提取出与所述历史数据的安全性、数据质量和处理复杂度相关的融合特征作为训练样本；所述融合特征至少包括所述历史传输数据的数据属性信息、传输路径信息、传输设备信息、数据访问信息和网络负载信息；

获取所述训练样本对应的标签；所述标签包括所述历史传输数据对应的安全性、处理复杂度和数据质量的真实值；

对初始的数据分析模型进行迭代训练，直至达到预设的训练完成条件，得到训练好的所述数据分析模型。

9.根据权利要求1-8中任一项所述的大数据数据共享传输方法，其特征在于，所述基于所述目标传输参数值，对所述多个传输请求方的所述待传输数据进行共享数据传输操作，包括：

在对所述待传输数据执行所述共享数据传输操作之前，将所述多个传输参数的值设置为所述目标传输参数值；

基于所述设置完成后的多个传输参数，对所述待传输数据执行所述共享传输操作。

10.一种大数据数据共享设备，其特征在于，所述设备包括：

请求获取模块，获取多个传输请求方的共享数据传输请求；

数据获取模块，获取基于所述共享数据传输请求，获取来自多个传输请求方的待传输数据，以及所述待传输数据的多个传输参数；

函数确定模块，获取基于所述多个传输参数，确定目标函数；所述目标函数用于最小化对所述待传输数据进行共享数据传输操作的共享数据传输时长；

数据优化模块，获取对所述目标函数进行迭代优化，以确定出最小化共享数据传输时长，以及所述最小化共享数据传输时长对应的目标传输参数值；所述目标传输参数值为所述多个传输参数的最优值；

数据传输模块，获取基于所述目标传输参数值，对所述多个传输请求方的所述待传输数据进行共享数据传输操作。