CN108401006A - 一种基于相关性模型的数据传输方法和系统 - Google Patents

Abstract

本发明公开了基于相关性模型的数据传输方法和系统，针对冷链物流大数据传输中的带宽限制和数据传输量大这一矛盾提出，目的是为了保证数据能及时正确的传输，无需改变现有的网络架构。其技术方案为：本发明，根据冷链物流大数据数据量庞大，数据容易出现异常值的特点，提出缩尾均值和方差的方法去掉数据异常值。在此基础上提出采用改进后的皮尔斯相关系数模型描述冷链物流中感知结点采样数据的相关性，该模型有效提高系统的鲁棒性。最后通过结点采样数据的相关性，提出数据相关性传输方法，减少物流大数据的传输规模。

Description

一种基于相关性模型的数据传输方法和系统

技术领域

本发明涉及一种数据传输方法，尤其涉及基于相关性模型的数据传输方法和系统。

背景技术

冷链物流是指冷藏冷冻类食品在生产、贮藏运输、销售，到消费前的各个环节中始终处于规定的低温环境下，以保证食品质量，减少食品损耗的一项系统工程。冷链物流的要求比较高，相应的管理和资金方面的投入也比普通的常温物流要大。

冷链物流既要求着眼于各物流环节人工和运营成本的最小化，又要求物流速度快、市场反应灵敏；但是物流市场体系复杂，参与主体众多，信息不对称程度高；冷链食品物流过程基于安全性的质量考虑，需要实现实时的数据监控和跟踪，需要高度信息化的技术支撑，传统的人工数据采集和传输方式已经不能满足需求。

物联网技术的出现解决了这一矛盾，通过部署在冷链物流车辆内部的大量的感知结点，形成的一个多跳的自组织的网络系统，其目的是协作地感知、采集和处理网络覆盖区域中冷链食品的信息，并发送给观察者。系统架构如图1所示。

目前常见的是采用物联网技术的生鲜食品冷链物流信息监控系统，设计采用了采集和上传温度等相关数据的感知结点和用于网络组织的协调器结点，开发用于实时监测、数据存储和网络控制的远程管理系统，并进行完备的冷链环境系统测试和通信性能测试。

由于冷链物流在车辆运输过程中，感知结点采集的数据量庞大，大量的数据需要通过网络传输到服务器端实现保存和监控，而网络的带宽十分有限。通过申请带宽的方法可以从一定程度上解决这一矛盾，但是带宽的申请总是有上限的，而冷链物流的大数据会随着业务量的增长，产生几何级数般的暴增，仅仅通过申请带宽是不能彻底解决这一矛盾。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决这一问题，提供了一种基于相关性模型的数据传输方法和系统，针对冷链物流大数据传输中的带宽限制和数据传输量大这一矛盾提出，目的是为了保证数据能及时正确的传输，随着物流业务增加，物流数据量的激增，方案仍具有较好的适应性，无需改变现有的网络架构。

本发明的技术方案为：本发明揭示了一种基于相关性模型的数据传输方法，包括：

步骤1：采用缩尾均值和方差的方法对感知结点采样数据进行改进，去除结点采样数据异常值；

步骤2：建立物联网感知结点采样数据间的改进型相关性系数模型，以描述两个结点采样数据的相关性程度；

步骤3：基于两个感知结点的相关性程度发送数据，对于相关性程度高的结点，选择其中一个结点发送数据，对于相关性程度低的采样结点，由两个采样结点发送数据。

根据本发明的基于相关性模型的数据传输方法的一实施例，在步骤1中，重复多次通过感知结点采样数据，通过缩尾均值和方差的方法去掉异常值，提高鲁棒性。

根据本发明的基于相关性模型的数据传输方法的一实施例，在步骤2中建立的相关性模型是改进型的皮尔斯相关系数的模型。

根据本发明的基于相关性模型的数据传输方法的一实施例，在步骤3中采用相关性的数据传输方式。

根据本发明的基于相关性模型的数据传输方法的一实施例，在步骤1中，缩尾均值和方差中应用的公式为：

为缩尾分布的均值；

为缩尾方差；

其中F是指原分布，x_γ和x1-_γ是γ和1-γ的分位点，γ为缩尾分布。

根据本发明的基于相关性模型的数据传输方法的一实施例，步骤2中应用的改进型相关性系数公式为：

两个感知结点采样数据设为两个随机变量X₁和X₂，其改进型相关性系数的定义为：

r_ω为采样值的相关性系数；

其中σ_ω1，σ_ω2分别是随机变量X₁,X₂缩尾标准差，μω1,μω2分别是X₁,X₂的缩尾期望值；分别是随机变量X₁,X₂观察值，也即感知结点的采样值。

根据本发明的基于相关性模型的数据传输方法的一实施例，步骤3中数据传输的方式为：

如果X₁和X₂相互独立，则r_ω＝0，否则-1≤r_ω≤1，当|r_ω|接近1时说明这两个结点采样值具有较高的相关性，随机选择其中一个结点传输采样数据，如果r_ω接近0，说明这两个结点采样值相互独立，则同时传输这两个结点的采样数据。

本发明还揭示了一种基于相关性模型的数据传输系统，包括：

采样数据异常值去除模块，采用缩尾均值和方差的方法对感知结点采样数据进行改进，去除结点采样数据异常值；

改进型相关性系数模型建立模块，建立物联网感知结点采样数据间的改进型相关性系数模型，以描述两个结点采样数据的相关性程度；

数据发送模块，基于两个感知结点的相关性程度发送数据，对于相关性程度高的结点，选择其中一个结点发送数据，对于相关性程度低的采样结点，由两个采样结点发送数据。

根据本发明的基于相关性模型的数据传输系统的一实施例，采样数据异常值去除模块中重复多次通过感知结点采样数据，通过缩尾均值和方差的方法去掉异常值，提高鲁棒性。

根据本发明的基于相关性模型的数据传输系统的一实施例，改进型相关性系数模型建立模块中建立的相关性模型是改进型的皮尔斯相关系数的模型。

根据本发明的基于相关性模型的数据传输系统的一实施例，数据发送模块利用采样数据的相关性建立相关性数据传输方法。

根据本发明的基于相关性模型的数据传输系统的一实施例，采样数据异常值去除模块中的缩尾均值和方差中应用的公式为：

为缩尾分布的均值；

为缩尾方差；

其中F是指原分布，x_γ和x_1-γ是γ和1-γ的分位点，γ为缩尾分布。

根据本发明的基于相关性模型的数据传输系统的一实施例，改进型相关性系数模型建立模块应用的改进型相关性系数公式为：

两个感知结点采样数据设为两个随机变量X₁和X₂，其改进型相关性系数的定义为：

r_ω为采样值的相关性系数；

其中σ_ω1，σ_ω2分别是随机变量X₁,X₂缩尾标准差，μ_ω1,μ_ω2分别是X₁,X₂的缩尾期望值；分别是随机变量X₁,X₂观察值，也即感知结点的采样值。

根据本发明的基于相关性模型的数据传输系统的一实施例，数据发送模块的处理为：

如果X₁和X₂相互独立，则r_ω＝0，否则-1≤r_ω≤1，当|r_ω|接近1时说明这两个结点采样值具有较高的相关性，随机选择其中一个结点传输采样数据，如果r_ω接近0，说明这两个结点采样值相互独立，则同时传输这两个结点的采样数据。

本发明对比现有技术有如下的有益效果：本发明根据冷链大数据数据量庞大、感知结点采样数据容易出现异常值的特点，提出缩尾均值和方差的方法去掉数据异常值。在此基础上提出采用改进后的皮尔斯相关系数模型描述冷链物流中感知结点采样数据的相关性，该模型有效提高系统的鲁棒性，最后采用相关性的数据传输方法减少数据传输规模。

本发明通过结点的相关性减少物流大数据的传输，避免了冗余数据在传感网中的传输，有效降低了网络负载，在面对物流大数据传输和监控中，发挥了重要作用。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了冷链大数据传输架构的示意图。

图2示出了采样数据大致的分布图。

图3示出了本发明的基于相关性模型的数据传输方法的一实施例的流程图。

图4示出了本发明的基于相关性模型的数据传输系统的一实施例的原理图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图3示出了本发明的基于相关性模型的数据传输方法的一实施例的流程。请参见图3，下面是对本实施例的数据传输方法的各实施步骤的详细描述。

步骤S1：采用缩尾均值和方差对感知结点采样数据进行改进，去除采样异常值。

感知结点随机采样值X_i可能会落在分布的边缘区域，即尾部区域如图2所示，在图2中采样值落在阴影以外的区域(尾部分布区域)，会造成对采样数据的偏差，此时影响了下述的相关性系数公式结果的精确度。

通过最先采样的n个采样数据求出采样均值和方差公式为：

n₁,n₂分别表示随机变量X₁,X₂观察值的个数，也即采样数据个数。

在求出采样数据的样本均值和方差以后，采样的数据和总是希望落在均值的附近，如果落在远离均值(图2的阴影以外的区域)，则对相关性系数公式(6)产生较大影响，故需要采用缩尾均值和方差的方法提高鲁棒性(鲁棒性是指相关性模型在采样参数波动情况下，系统模型仍然维持相关性性能的特性)在本实施例中，采用缩尾均值和方差的方法，对原分布进行改进，去掉采样数据异常值，提高均值和方差的鲁棒性。

假设F是指原分布，x_γ和x_1-γ是γ和1-γ的分位点，γ为缩尾分布：

从分布可以看出左侧的尾部被“拉进”分位点的内部，结果当观察值等于x_γ的概率是γ，，观察值小于x_γ的概率为0。与此相似，在右侧尾部同样被“拉进”。观察值大于x_1-γ的概率为0。

当采样值落在阴影以外的区域，直接缩尾将该值定义为x₁或者x₂的值，称为缩尾，在图2中，x₁＝x_γ,x₂＝x_1-γ。缩尾分布的均值为公式(3)，缩尾方差为公式(4)。

步骤S2：建立物联网感知结点采样数据间的改进型相关性模型，以描述两个采样结点数据的相关性程度。

相关性模型是统计学的抽样分布的概念，是指2个或2个以上变量取值之间在某种意义下所存在的规律，其目的在于探寻数据集里所隐藏的相关关系网，一般情况下，数据很难满足严格的函数关系，而相关关系要求宽松，研究变量之间的相关关注，通过引入一定的统计指标量化变量之间的相关程度。

本实施例中采用改进的皮尔斯相关系数的模型。

两个感知结点采样数据设为随机变量X₁和X₂，其改进型相关性系数的定义为：

r_ω为采样值的相关性系数；

其中σ_ω1，σ_ω2分别是随机变量X₁,X₂缩尾标准差，μ_ω1,μ_ω2分别是X₁,X₂的缩尾期望值；分别是随机变量X₁,X₂观察值，也即感知结点的采样值。

步骤S3：判断两个采样结点的相关性程度，对于相关性程度高的结点，(随机)选择其中一个采样结点发送数据，对于相关性程度低的结点，两个采样结点(同时)发送数据。

采用相关性的数据传输方式，相关性程度的高低通过一预设值(比如0.1)来判定，相关性系数高于预设值0.1的为相关性程度高，相关性低于预设值0.1的为相互独立的结点。

由于相关性系数本身不够鲁棒性，受到采样数据的影响较大，采样数据较小的波动会产生相关性系数较大的差异。本实施例采用了缩尾相关性系数的方法对原有模型进行改进，提高系统的鲁棒性，系统受采样值波动，变化较小，其定义参见公式(5)，公式(6)是实际计算采样值的相关性系数，其中均值和方差都是缩尾处理后样本均值和方差，该系统鲁棒性有了显著提高。

通过缩尾相关性系数描述两个采样结点的相关性程度|r_ω|≤1，当r_ω接近1时说明这两个结点具有较高的相关性，随机选择其中一个结点传输采样数据；如果r_ω接近0，说明这两个结点相互独立，则同时传输这两个结点的采样数据。

由于冷链物流采样的数据量非常庞大，利用相关性系数模型，描述两个采样结点的相关性程度，有效的减少数据传输规模，确保了系统的稳定性。

图4示出了本发明的基于相关性模型的数据传输系统的一实施例的原理。请参见图4，本实施例的数据传输系统包括：采样数据异常值去除模块、改进型相关性系数模型建立模块、数据发送模块。

采样数据异常值去除模块用于采用缩尾均值和方差的方法对感知结点采样值进行改进，去除感知结点采样数据异常值。采样数据异常值去除模块中的缩尾均值方法中应用的公式为：

为缩尾分布的均值；

为缩尾方差；

其中F是指原分布，x_γ和x₁-_γ是γ和1-γ的分位点，γ为缩尾分布。

改进型相关性系数模型建立模块用于建立物联网感知结点的相关性模型，以描述两个感知结点采样数据的相关性程度。在本实施例中是建立改进型皮尔斯相关性模型。

采用的公式如下：

两个感知结点采样数据设为随机变量X₁和X₂，其改进型相关性系数的定义为：

r_ω为采样值的相关性系数；

其中σ_ω1，σ_ω2分别是随机变量X₁,X₂缩尾标准差，μ_ω1,μ_ω2分别是X₁,X₂的缩尾期望值；分别是随机变量X₁,X₂观察值，也即感知结点的采样值。

数据发送模块利用采样数据的相关性建立相关性数据传输方法，基于所有采样结点中的任意两个采样结点的相关性程度发送数据，对于相关性程度高的采样结点，选择其中一个采样结点发送数据，对于相关性程度低的采样结点，由两个采样结点发送数据。

如果X₁和X₂相互独立，则r_ω＝0，否则-1≤r_ω≤1，当|r_ω|接近1时说明这两个结点采样数据具有较高的相关性，随机选择其中一个结点传输采样数据，如果r_ω接近0，说明这两个结点采样数据相互独立，则同时传输这两个结点的采样数据。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (14)

1.一种基于相关性模型的数据传输方法，其特征在于，包括：

步骤1：采用缩尾均值和方差的方法对感知结点采样数据进行改进，去除结点采样数据异常值；

步骤2：建立物联网感知结点采样数据间的改进型相关性系数模型，以描述两个结点采样数据的相关性程度；

步骤3：基于两个感知结点的相关性程度发送数据，对于相关性程度高的结点，选择其中一个结点发送数据，对于相关性程度低的采样结点，由两个采样结点发送数据。

2.根据权利要求1所述的基于相关性模型的数据传输方法，其特征在于，在步骤1中，重复多次通过感知结点采样数据，通过缩尾均值和方差的方法去掉异常值，提高鲁棒性。

3.根据权利要求1所述的基于相关性模型的数据传输方法，其特征在于，在步骤2中建立的相关性模型是改进型的皮尔斯相关系数的模型。

4.根据权利要求1所述的基于相关性模型的数据传输方法,其特征在于，在步骤3中，采用相关性的数据传输方式。

5.根据权利要求4所述的基于相关性模型的数据传输方法，其特征在于，在步骤1中，缩尾均值和方差中应用的公式为：

为缩尾分布的均值；

为缩尾方差；

其中F是指原分布，x_γ和x_1-γ是γ和1-γ的分位点，γ为缩尾分布。

6.根据权利要求5所述的基于相关性模型的数据传输方法，其特征在于，步骤2中应用的改进型相关性系数公式为：

两个感知结点采样数据设为两个随机变量X₁和X₂，其改进型相关性系数的定义为：

r_ω为采样值的相关性系数；

其中σ_ω1，σ_ω2分别是随机变量X₁,X₂缩尾标准差，μ_ω1,μ_ω2分别是X₁,X₂的缩尾期望值；X_1i,X_2i分别是随机变量X₁,X₂观察值，也即感知结点的采样值。

7.根据权利要求6所述的基于相关性模型的数据传输方法，其特征在于，步骤3中数据传输的方式为：

如果X₁和X₂相互独立，则r_ω＝0，否则-1≤r_ω≤1，当|r_ω|接近1时说明这两个结点采样值具有较高的相关性，随机选择其中一个结点传输采样数据，如果r_ω接近0，说明这两个结点采样值相互独立，则同时传输这两个结点的采样数据。

8.一种基于相关性模型的数据传输系统，其特征在于，包括：

采样数据异常值去除模块，采用缩尾均值和方差的方法对感知结点采样数据进行改进，去除结点采样数据异常值；

改进型相关性系数模型建立模块，建立物联网感知结点采样数据间的改进型相关性系数模型，以描述两个结点采样数据的相关性程度；

数据发送模块，基于两个感知结点的相关性程度发送数据，对于相关性程度高的结点，选择其中一个结点发送数据，对于相关性程度低的采样结点，由两个采样结点发送数据。

9.根据权利要求8所述的基于相关性模型的数据传输系统，其特征在于，采样数据异常值去除模块中重复多次通过感知结点采样数据，通过缩尾均值和方差的方法去掉异常值，提高鲁棒性。

10.根据权利要求8所述的基于相关性模型的数据传输系统，其特征在于，改进型相关性系数模型建立模块中建立的相关性模型是改进型的皮尔斯相关系数的模型。

11.根据权利要求8所述的基于相关性模型的数据传输系统，其特征在于，数据发送模块利用采样数据的相关性建立相关性数据传输方法。

12.根据权利要求9所述的基于相关性模型的数据传输系统，其特征在于，采样数据异常值去除模块中的缩尾均值和方差中应用的公式为：

为缩尾分布的均值；

为缩尾方差；

其中F是指原分布，x_γ和x_1-γ是γ和1-γ的分位点，γ为缩尾分布。

13.根据权利要求10所述的基于相关性模型的数据传输系统，其特征在于，改进型相关性系数模型建立模块应用的改进型相关性系数公式为：

两个感知结点采样数据设为两个随机变量X₁和X₂，其改进型相关性系数的定义为：

r_ω为采样值的相关性系数；

其中σ_ω1，σ_ω2分别是随机变量X₁,X₂缩尾标准差，μ_ω1,μ_ω2分别是X₁,X₂的缩尾期望值；X_1i,X_2i分别是随机变量X₁,X₂观察值，也即感知结点的采样值。

14.根据权利要求11所述的基于相关性模型的数据传输系统，其特征在于，数据发送模块的处理为：

如果X₁和X₂相互独立，则r_ω＝0，否则-1≤r_ω≤1，当|r_ω|接近1时说明这两个结点采样值具有较高的相关性，随机选择其中一个结点传输采样数据，如果r_ω接近0，说明这两个结点采样值相互独立，则同时传输这两个结点的采样数据。