CN117240757A - 一种基于流量自适应数据采集方法和系统 - Google Patents
一种基于流量自适应数据采集方法和系统 Download PDFInfo
- Publication number
- CN117240757A CN117240757A CN202311070768.1A CN202311070768A CN117240757A CN 117240757 A CN117240757 A CN 117240757A CN 202311070768 A CN202311070768 A CN 202311070768A CN 117240757 A CN117240757 A CN 117240757A
- Authority
- CN
- China
- Prior art keywords
- value
- data
- network congestion
- bandwidth
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000007906 compression Methods 0.000 claims abstract description 42
- 230000006835 compression Effects 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000009499 grossing Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000010365 information processing Effects 0.000 claims abstract description 9
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000013480 data collection Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 abstract description 13
- 238000003860 storage Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及数据采集技术领域，具体涉及一种基于流量自适应数据采集方法和系统，所述方法包括，获取传感器发送的数据，得到初始数据信息；根据当前网络环境信息，计算得出带宽预测值；根据带宽预设值计算得出宽带波动值；根据宽带波动值和带宽预测值，采用网络拥塞计算公式判定网络拥塞等级；根据网络拥塞等级对应的压缩等级，采用旋转门算法对初始数据信息进行压缩后得到第一数据信息；采用数据平滑算法对第一数据信息调整采集频率得到第二数据信息；将第二数据信息发送到服务器中，进行信息处理和结果展示。本发明能够根据数据网络情况调整数据的压缩率，在满足数据准确性需求的同时尽可能减少数据传输量，从而保证数据处理的运行稳定。
Description
技术领域
本发明涉及数据采集技术领域，具体涉及一种基于流量自适应数据采集方法和系统。
背景技术
在工业生产中，一个网关需要对多种不同类型的传感器数据进行采集，带来了多协议数据采集工业网关的需求。工业网关往往处于网络节点的边缘端，针对工厂复杂的网络环境使用网络数据流量进行连接。由于工业传感器大量的数据给边缘端网络与数据流量带来了压力，产生了数据压缩的需求。
现在技术中，通用的数据压缩算法如旋转门算法能够压缩数据为拟合值，但固定的门限值使得压缩算法的可控性较差，不能满足工业场景下多样的传感器数据采集需求。平滑度自适应算法根据数据平滑度自适应地调整采集频率，防止数据变化较小时高频采集对数据流量的大量消耗，但是其基于原始数据不能与旋转门算法的压缩数据结合使用。同时，目前的相关算法都没有考虑到工业场景下复杂的网络环境产生的网络拥塞问题，在网络状况较差时大量的数据传输会进一步加剧网络的拥塞。
因此有必要提供新的一种基于流量自适应数据采集方法和系统。
发明内容
基于现有技术中存在的上述问题，本发明实施例的目的在于提供一种基于流量自适应数据采集方法，用于能够数据网络情况调整数据的压缩率，在满足数据准确性需求的同时尽可能减少数据传输量，从而保证数据处理的运行稳定。
为实现上述目的，本发明采用的技术方案是：一种基于流量自适应数据采集方法，包括：
S1，获取传感器发送的数据，对传感器发送的数据进行预处理，得到初始数据信息；
S2，根据当前网络环境信息代入预设的带宽预测公式，计算得出带宽预测值；
S3，根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值；
S4，根据宽带波动值和带宽预测值，采用网络拥塞计算公式判定网络拥塞等级；
S5，根据网络拥塞等级对应的压缩等级，采用旋转门算法对初始数据信息进行压缩后得到第一数据信息；
S6，根据压缩等级，采用数据平滑算法对第一数据信息调整采集频率得到第二数据信息；
S7，将第二数据信息发送到服务器中，进行信息处理和结果展示。
进一步的，S1中，所述对传感器发送的数据进行预处理，得到初始数据信息包括：采用通过lua脚本对传感器发送的数据节点构成的网络拓扑的边缘进行处理，得到初始数据信息。
进一步的，S2中，所述当前网络环境信息包括：当前网络TCP协议的ACK到达的时间、上一个ACK到达的时间、当前ACK确认接收的数据量、上一个ACK确认接收的数据量和当前时刻的往返时延。
进一步的，S2中，所述带宽预测公式为：
其中，Bk为带宽预测值，tk为当前网络TCP协议的ACK到达的时间，tk-1为上一个ACK到达的时间，dk为第k个ACK确认接收的数据量，dk-1为第k-1个ACK确认接收的数据量，RTTk为tk时刻的的往返时延，αk为tk时刻的调节因子。
进一步的，S3中，所述根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值，包括：
步骤S3-1，根据带宽预设值代入平均值计算公式，计算得出宽带预测值的平均值，所述平均值计算公式为：
其中，Bk为带宽预测值，Bavg为前k个带宽预测值的平均值。
步骤S3-2，根据带宽预设值和带宽预测值的平均值代入宽带波动公式，计算得出宽带波动值，所述宽带波动公式为：
其中，Fk为带宽波动值，Bk为带宽预测值，Bavh为前k个带宽预测值的平均值，Bmax为前k个带宽预测值中的最大值。
进一步的，S4中，所述网络拥塞等级包括：网络状态良好、网络发送拥塞和网络状态空闲。
进一步的，S4中，所述网络拥塞计算公式为：
其中，CLk为网络拥塞值，Bk为带宽预测值，Fk为带宽波动值，Bmax为前k个带宽预测值中的最大值。
进一步的，预设有第一网络拥塞阈值和第二网络拥塞阈值，其中第一网络拥塞阈值小于第二网络拥塞阈值，且第一网络拥塞阈值小于1，第二网络拥塞阈值大于1；
当网络拥塞值CLk大于等于第一网络拥塞阈值且小于等于第二网络拥塞阈值，则判定网络拥塞等级为网络状态良好；
当网络拥塞值CLk大于第二网络拥塞阈值，则判定网络拥塞等级为网络发送拥塞；
当网络拥塞值CLk小于第一网络拥塞阈值，则判定网络拥塞等级为网络状态空闲。
进一步的，所述旋转门算法公式为：
ek＝|ηk-ε|
βk＝ek·Fk
其中，ek为k处的压缩数据偏差，ηk为k处的平均压缩误差，ε为误差参考，βk为门限调整参考值，Fk为带宽波动值，Ek为k处的门限值，threshold_E为门槛值，Ek+1为k+1处的门限值，Emax为门限最大值，Emin为门限最小值。
一种基于流量自适应数据采集系统，应用于上述基于流量自适应数据采集方法，所述基于流量自适应数据采集系统包括：
采集单元，用于获取获取传感器发送的数据；
预处理单元，用于对传感器发送的数据进行预处理，得到初始数据信息；
预测单元，用于根据当前网络环境信息代入预设的带宽预测公式，计算得出带宽预测值；
计算单元，用于根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值；
判定单元，用于根据宽带波动值和带宽预测值，采用网络拥塞计算公式判定网络拥塞等级；
第一压缩单元，用于根据网络拥塞等级对应的压缩等级，采用旋转门算法对初始数据信息进行压缩后得到第一数据信息；
第二压缩单元，用于根据压缩等级，采用数据平滑算法对第一数据信息调整采集频率得到第二数据信息；
发送单元，用于将第二数据信息发送到服务器中，进行信息处理和结果展示。
本发明的有益效果是：本发明的基于流量自适应数据采集方法包括：获取传感器发送的数据，对传感器发送的数据进行预处理，得到初始数据信息；根据当前网络环境信息代入预设的带宽预测公式，计算得出带宽预测值；根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值；根据宽带波动值和带宽预测值，采用网络拥塞计算公式判定网络拥塞等级；根据网络拥塞等级对应的压缩等级，采用旋转门算法对初始数据信息进行压缩后得到第一数据信息；根据压缩等级，采用数据平滑算法对第一数据信息调整采集频率得到第二数据信息；将第二数据信息发送到服务器中，进行信息处理和结果展示。本发明能够根据数据网络情况调整数据的压缩率，在满足数据准确性需求的同时尽可能减少数据传输量，从而保证数据处理的运行稳定。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图中：
图1为本发明实施例一提供的基于流量自适应数据采集方法的流程图；
图2为本发明的实施例二提供的基于流量自适应数据采集系统的模块示意图；
图3为本发明的实施例三提供的基于流量自适应数据采集系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施方式：
本发明的第一实施方式提供了一种基于流量自适应数据采集方法，包括：获取传感器发送的数据，对传感器发送的数据进行预处理，得到初始数据信息；根据当前网络环境信息代入预设的带宽预测公式，计算得出带宽预测值；根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值；根据宽带波动值和带宽预测值，采用网络拥塞计算公式判定网络拥塞等级；根据网络拥塞等级对应的压缩等级，采用旋转门算法对初始数据信息进行压缩后得到第一数据信息；根据压缩等级，采用数据平滑算法对第一数据信息调整采集频率得到第二数据信息；将第二数据信息发送到服务器中，进行信息处理和结果展示。本发明能够根据数据网络情况调整数据的压缩率，在满足数据准确性需求的同时尽可能减少数据传输量，从而保证数据处理的运行稳定。
下面对本实施方式的基于流量自适应数据采集方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施方式的具体流程如图1所示，本实施方式应用于基于流量自适应数据采集系统。
步骤S1，获取传感器发送的数据，对传感器发送的数据进行预处理，得到初始数据信息。
具体而言，在工业生产过程中通常设置有多种不同类型的传感器对需要的数据进行采集，通常设置有工业网关将数据上传至服务器中进行处理，工业包括有配置模块和采集模块，配置模块对采集模块信息进行配置处理，从而使得采集模块获取相应类型传感器发送的数据。所述对传感器发送的数据进行预处理，得到初始数据信息包括，采用通过lua脚本对传感器发送的数据节点构成的网络拓扑的边缘进行处理，得到初始数据信息。
步骤S2，根据当前网络环境信息代入预设的带宽预测公式，计算得出带宽预测值。
具体而言，所述当前网络环境信息包括：当前网络TCP协议的ACK到达的时间、上一个ACK到达的时间、当前ACK确认接收的数据量、上一个ACK确认接收的数据量和当前时刻的往返时延。所述将当前网络环境信息输入到预设的带宽预测公式中，计算出带宽预测值中，所述带宽预测公式为：
其中，Bk为带宽预测值，tk为当前网络TCP协议的ACK到达的时间，tk-1为上一个ACK到达的时间，dk为第k个ACK确认接收的数据量，dk-1为第k-1个ACK确认接收的数据量，RTTk为tk时刻的的往返时延，αk为tk时刻的调节因子。
在本实施例中，当αk取较大值时，对带宽预测值的估计比较保守，当αk取较小值时，对值带宽预测值的估计偏高。
步骤S3，根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值。
具体而言，所述根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值，包括：
步骤S3-1，根据带宽预设值代入平均值计算公式，计算得出宽带预测值的平均值，所述平均值计算公式为：
其中，Bk为带宽预测值，Bavg为前k个带宽预测值的平均值。
步骤S3-2，根据带宽预设值和带宽预测值的平均值代入宽带波动公式，计算得出宽带波动值，所述宽带波动公式为：
其中，Fk为带宽波动值，Bk为带宽预测值，Bavg为前k个带宽预测值的平均值，Bmax为前k个带宽预测值中的最大值。
步骤S4，根据宽带波动值和带宽预测值，采用网络拥塞计算公式判定网络拥塞等级。
具体而言，所述网络拥塞等级包括：网络状态良好、网络发送拥塞和网络状态空闲。
所述网络拥塞计算公式为：
其中，CLk为网络拥塞值，Bk为带宽预测值，Fk为带宽波动值，Bmax为前k个带宽预测值中的最大值。
根据网络拥塞计算公式可知，当网络拥塞值CLk稳定在1附近时，此时网络拥塞等级为网络状态良好，当网络拥塞值CLk较大于1，则判定网络拥塞等级为网络发送拥塞；当网络拥塞值CLk较小于1，则判定网络拥塞等级为网络状态空闲。
预设有第一网络拥塞阈值和第二网络拥塞阈值，其中第一网络拥塞阈值小于第二网络拥塞阈值，且第一网络拥塞阈值小于1，第二网络拥塞阈值大于1。
当网络拥塞值CLk大于等于第一网络拥塞阈值且小于等于第二网络拥塞阈值，则判定网络拥塞等级为网络状态良好；
当网络拥塞值CLk大于第二网络拥塞阈值，则判定网络拥塞等级为网络发送拥塞；
当网络拥塞值CLk小于第一网络拥塞阈值，则判定网络拥塞等级为网络状态空闲。
第一网络拥塞阈值和第二网络拥塞阈值可为人工输入。获取第一网络拥塞阈值和第二网络拥塞阈值的方式通常可以有以下几种：其一，由用户直接通过键盘、数据线、USB插入等信息传输方式。其二，工业网关中存储有第一网络拥塞阈值和第二网络拥塞阈值的数据库，由用户从所述数据库中选择出对应的第一网络拥塞阈值和第二网络拥塞阈值作为本步骤S4的第一网络拥塞阈值和第二网络拥塞阈值。其三，工业网关与外界服务器之间通过互联网连接，直接从服务器所在的网络中获取第一网络拥塞阈值和第二网络拥塞阈值，获取方式可以是通过网页读取数据、也可以是直接提取网页中的关键词等等。
在一些示例中，预设第一网络拥塞阈值为0.95，第二网络拥塞阈值为1.05。根据预设的第一网络拥塞阈值和第二网络拥塞阈值得出，当网络拥塞值CLk在[0.95-1.05]之间，则判定网络拥塞等级为网络状态良好；当网络拥塞值CLk在大于1.05，则判定网络拥塞等级为网络发送拥塞；当网络拥塞值CLk在小于0.95；则判定网络拥塞等级为网络状态空闲。
步骤S5，根据网络拥塞等级对应的压缩等级，采用旋转门算法对初始数据信息进行压缩后得到第一数据信息。
具体而言，根据网络拥塞等级对应的压缩等级，其中，网络拥塞等级与压缩等级为预设的一一对应关系，在判定网络拥塞等级为网络发送拥塞时，压缩等级较高，增加压缩率减少数据量，保证数据传输通畅；在判定网络拥塞等级为网络状态空闲时，压缩等级较低，减少压缩率提高数据精度。
其中，所述旋转门算法公式为：
ek＝|ηk-ε|
βk＝ek·Fk
其中，ek为k处的压缩数据偏差，ηk为k处的平均压缩误差，ε为误差参考，βk为门限调整参考值，Fk为带宽波动值，Ek为k处的门限值，threshold_E为门槛值，Ek+1为k+1处的门限值，Emax为门限最大值，Emin为门限最小值。
进一步的，门槛值threshold_E根据压缩等级对应有预设值，门槛值threshold_E是与压缩等级通过预设的表格来对应的，实现自适应动态地调整门限值，从而实现根据网络拥塞等级实时调整传输数据量的目的。
步骤S6，根据压缩等级，采用数据平滑算法对第一数据信息调整采集频率得到第二数据信息。
具体而言，采用数据平滑算法首先计算出采用旋转门算法计算得出的第一数据信息中数据波动的平滑值，然后根据数据波动的平滑值以加法增加间隔，除法快速降低间隔时间的方式自适应调整第一数据信息采集的间隔，得到第二数据信息，进一步减少数据传输量，保证数据传输的稳定。
其中，所述数据平滑算法公式为：
其中，DateDigree为数据波动的平滑值，Dn为第一数据信息中第n个采样点，Dn-1为第一数据信息中第n-1个采样点，In为第一数据信息中第n个采集间隔，In-1为第一数据信息中第n-1个采集间隔，max_I为最大时间间隔，min_I为最小时间间隔，stepDate为单次增加时间间隔，threshold_I为门槛值。
进一步的，门槛值threshold_I根据压缩等级对应有预设值，门槛值threshold_I是与压缩等级通过预设的表格来对应的，实现自适应动态地调整采集间隔，从而实现实时调整采集频率的目的，以进一步减少数据传输量。
步骤S7，将第二数据信息发送到服务器中，进行信息处理和结果展示。
具体而言，采用Mqtt发送模块将第二数据信息发送至对应的mqtt通道以上传至服务器，在云端服务器对数据进行复杂逻辑处理并进行结果的展示。
第二实施方式：
如图2所示，本发明的第二实施方式提供一种基于流量自适应数据采集系统，包括：采集单元201、预处理单元202、计算单元204、判定单元205、第一压缩单元206、第二压缩单元207、发送单元208。
具体而言，采集单元201，用于获取传感器发送的数据；预处理单元202，用于对传感器发送的数据进行预处理，得到初始数据信息；预测单元203，用于根据当前网络环境信息代入预设的带宽预测公式，计算得出带宽预测值；
计算单元204，用于根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值；判定单元205，用于根据宽带波动值和带宽预测值，采用网络拥塞计算公式判定网络拥塞等级；第一压缩单元206，用于根据网络拥塞等级对应的压缩等级，采用旋转门算法对初始数据信息进行压缩后得到第一数据信息；第二压缩单元207，用于根据压缩等级，采用数据平滑算法对第一数据信息调整采集频率得到第二数据信息；发送单元208，用于将第二数据信息发送到服务器中，进行信息处理和结果展示。
不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
第三实施方式：
本发明的第三实施方式提供了一种网络侧服务端，如图3所示，包括至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的命令，指令至少被一个处理器301执行，以使至少一个处理器301能够执行上述的数据处理方法。
其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。
处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。
第四实施方式：
本发明的第四实施方式提供了一种计算机读存储介质，存储有计算机程序。计算机程序被处理器执行时实现第一实施方式中的基于流量自适应数据采集方法。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于流量自适应数据采集方法，其特征在于，包括：
S1，获取传感器发送的数据，对传感器发送的数据进行预处理，得到初始数据信息；
S2，根据当前网络环境信息代入预设的带宽预测公式，计算得出带宽预测值；
S3，根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值；
S4，根据宽带波动值和带宽预测值，采用网络拥塞计算公式判定网络拥塞等级；
S5，根据网络拥塞等级对应的压缩等级，采用旋转门算法对初始数据信息进行压缩后得到第一数据信息；
S6，根据压缩等级，采用数据平滑算法对第一数据信息调整采集频率得到第二数据信息；
S7，将第二数据信息发送到服务器中，进行信息处理和结果展示。
2.根据权利要求1所述的基于流量自适应数据采集方法，其特征在于，S1中，所述对传感器发送的数据进行预处理，得到初始数据信息包括：采用通过lua脚本对传感器发送的数据节点构成的网络拓扑的边缘进行处理，得到初始数据信息。
3.根据权利要求1所述的基于流量自适应数据采集方法，其特征在于，S2中，所述当前网络环境信息包括：当前网络TCP协议的ACK到达的时间、上一个ACK到达的时间、当前ACK确认接收的数据量、上一个ACK确认接收的数据量和当前时刻的往返时延。
4.根据权利要求3所述的基于流量自适应数据采集方法，其特征在于，S2中，所述带宽预测公式为：
其中，Bk为带宽预测值，tk为当前网络TCP协议的ACK到达的时间，tk-1为上一个ACK到达的时间，dk为第k个ACK确认接收的数据量，dk-1为第k-1个ACK确认接收的数据量，RTTk为tk时刻的往返时延，αk为tk时刻的调节因子。
5.根据权利要求1所述的基于流量自适应数据采集方法，其特征在于，S3中，所述根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值，包括：
步骤S3-1，根据带宽预设值代入平均值计算公式，计算得出宽带预测值的平均值，所述平均值计算公式为：
其中，Bk为带宽预测值，Bavg为前k个带宽预测值的平均值。
步骤S3-2，根据带宽预设值和带宽预测值的平均值代入宽带波动公式，计算得出宽带波动值，所述宽带波动公式为：
其中，Fk为带宽波动值，Bk为带宽预测值，Bavg为前k个带宽预测值的平均值，Bmax为前k个带宽预测值中的最大值。
6.根据权利要求1所述的基于流量自适应数据采集方法，其特征在于，S4中，所述网络拥塞等级包括：网络状态良好、网络发送拥塞和网络状态空闲。
7.根据权利要求6所述的基于流量自适应数据采集方法，其特征在于，S4中，所述网络拥塞计算公式为：
其中，CLk为网络拥塞值，Bk为带宽预测值，Fk为带宽波动值，Bmax为前k个带宽预测值中的最大值。
8.根据权利要求7所述的基于流量自适应数据采集方法，其特征在于，S5中，预设有第一网络拥塞阈值和第二网络拥塞阈值，其中第一网络拥塞阈值小于第二网络拥塞阈值，且第一网络拥塞阈值小于1，第二网络拥塞阈值大于1；
当网络拥塞值CLk大于等于第一网络拥塞阈值且小于等于第二网络拥塞阈值，则判定网络拥塞等级为网络状态良好；
当网络拥塞值CLk大于第二网络拥塞阈值，则判定网络拥塞等级为网络发送拥塞；
当网络拥塞值CLk小于第一网络拥塞阈值，则判定网络拥塞等级为网络状态空闲。
9.根据权利要求1所述的基于流量自适应数据采集方法，其特征在于，所述旋转门算法公式为：
ek＝|ηk-ε|
βk＝ek·Fk
其中，ek为k处的压缩数据偏差，ηk为k处的平均压缩误差，ε为误差参考，βk为门限调整参考值，Fk为带宽波动值，Ek为k处的门限值，threshold_E为门槛值，Ek+1为k+1处的门限值，Emax为门限最大值，Emin为门限最小值。
10.一种基于流量自适应数据采集系统，其特征在于，应用于权利要求1-9中所述基于流量自适应数据采集方法，所述基于流量自适应数据采集系统包括：
采集单元，用于获取传感器发送的数据；
预处理单元，用于对传感器发送的数据进行预处理，得到初始数据信息；
预测单元，用于根据当前网络环境信息代入预设的带宽预测公式，计算得出带宽预测值；
计算单元，用于根据带宽预设值代入预设的宽带波动公式，计算得出宽带波动值；
判定单元，用于根据宽带波动值和带宽预测值，采用网络拥塞计算公式判定网络拥塞等级；
第一压缩单元，用于根据网络拥塞等级对应的压缩等级，采用旋转门算法对初始数据信息进行压缩后得到第一数据信息；
第二压缩单元，用于根据压缩等级，采用数据平滑算法对第一数据信息调整采集频率得到第二数据信息；
发送单元，用于将第二数据信息发送到服务器中，进行信息处理和结果展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311070768.1A CN117240757A (zh) | 2023-08-23 | 2023-08-23 | 一种基于流量自适应数据采集方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311070768.1A CN117240757A (zh) | 2023-08-23 | 2023-08-23 | 一种基于流量自适应数据采集方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117240757A true CN117240757A (zh) | 2023-12-15 |
Family
ID=89093852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311070768.1A Pending CN117240757A (zh) | 2023-08-23 | 2023-08-23 | 一种基于流量自适应数据采集方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117240757A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117939202A (zh) * | 2024-03-22 | 2024-04-26 | 深圳市凌壹科技有限公司 | 一种基于在线教育的控制方法及系统 |
-
2023
- 2023-08-23 CN CN202311070768.1A patent/CN117240757A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117939202A (zh) * | 2024-03-22 | 2024-04-26 | 深圳市凌壹科技有限公司 | 一种基于在线教育的控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109510715B (zh) | 带宽分配方法、装置、数据中心以及存储介质 | |
| WO2021026944A1 (zh) | 基于粒子群和神经网络的工业无线流媒体自适应传输方法 | |
| US9160663B2 (en) | Dynamic congestion control | |
| WO2020000504A1 (zh) | 基于arima的冷库温湿度数据预测方法及相关产品 | |
| CN117240757A (zh) | 一种基于流量自适应数据采集方法和系统 | |
| CN110995275B (zh) | 一种对于旋转门压缩算法的改进算法 | |
| CN108768591A (zh) | 一种基于实时丢包信息触发的重传次数动态调整的方法 | |
| CN102971987A (zh) | 基于双时间尺度的视频流传输控制方法 | |
| CN115933787A (zh) | 基于室内环境监测的室内多末端智能控制系统 | |
| CN109495660B (zh) | 一种音频数据的编码方法、装置、设备和存储介质 | |
| CN114945004B (zh) | 拥塞控制方法、装置、电子设备及存储介质 | |
| CN103269458A (zh) | 一种针对窄带网络情况下视频传输的调节控制方法 | |
| CN111970654A (zh) | 一种基于数据特征的传感器节点动态节能采样方法 | |
| CN111767003A (zh) | 一种基于不同工况的采掘设备传感器数据自适应采集方法 | |
| CN111191113B (zh) | 一种基于边缘计算环境的数据资源需求预测和调整方法 | |
| CN117031977A (zh) | 一种智能家居控制方法及系统 | |
| CN117793807A (zh) | 一种用于生态监测的传输中继系统 | |
| CN111769993B (zh) | 一种动态调用物联网通信网关的方法和系统 | |
| CN109451522A (zh) | 一种面向蓝牙网关的流量预测方法及装置 | |
| KR102116244B1 (ko) | 네트워크 트래픽 예측 기반의 효율적인 컨테이너 오토 스케일링 방법 및 장치 | |
| WO2016203541A1 (ja) | 情報処理装置および情報処理方法 | |
| CN115076946A (zh) | 空调器与智能窗户的互联控制方法与装置 | |
| CN115801639A (zh) | 一种带宽探测方法、装置、电子设备及存储介质 | |
| CN106341278A (zh) | 日志上报方法、装置和终端设备 | |
| CN117850561B (zh) | 电能计量芯片的通信复位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |